CN112446287A - 设置设备的控制处理过程的电子装置、方法和存储介质 - Google Patents

Abstract

本发明涉及一种设置设备的控制处理过程的电子装置、方法和存储介质。所述电子装置用于设置用以控制设备的处理过程，所述电子装置包括：至少一个处理器，其被配置为使得所述电子装置进行以下操作：获得拍摄图像；判断所述拍摄图像中所包括的物体的类型；通知表示多个分析处理中的与所述拍摄图像中所包括的物体相对应的对象处理的项；通知通过将所述对象处理应用于所述拍摄图像所获得的结果；以及接收用于将与所述项相对应的处理添加到用以控制所述设备的处理过程的用户指示。

Description

设置设备的控制处理过程的电子装置、方法和存储介质

技术领域

本发明涉及用于设置用以控制设备的处理过程的电子装置、方法和存储介质。

背景技术

存在一种控制设备，其用于基于通过拍摄工件所获得的图像来控制诸如机械臂、致动器或输送机构等的机器人。

在这种类型的控制设备中，存在如下的设备，该设备使得用户能够通过基于目的组合多个处理单位(功能单位)来设置处理过程(流程图)。用户预先设置处理过程，使得可以通过控制设备执行处理过程来自动地执行适合于用户期望实现的目的的处理。

日本特开2001-178686讨论了显示将多个图像处理单位中的各图像处理单位应用于输入图像的结果。

在可以从多个类型的处理单位中选择要用于生成处理过程的处理单位的情况下，用户可能难以选择适当的处理单位。

发明内容

本发明涉及用于向用户通知要由用户使用以生成处理过程的处理单位的电子装置、方法和存储介质。

为了解决上述问题，本发明的实施例提供一种电子装置，用于设置用以控制设备的处理过程，所述电子装置包括：至少一个处理器，其被配置为使得所述电子装置进行以下操作：获得拍摄图像；判断所述拍摄图像中所包括的物体的类型；通知表示多个分析处理中的与所述拍摄图像中所包括的物体相对应的对象处理的项；通知通过将所述对象处理应用于所述拍摄图像所获得的结果；以及接收用于将与所述项相对应的处理添加到用以控制所述设备的处理过程的用户指示。

本发明的另一方面提供一种用于设置用以控制设备的处理过程的方法，所述方法包括：获得拍摄图像；判断所述拍摄图像中所包括的物体的类型；通知表示多个分析处理中的与所述拍摄图像中所包括的物体相对应的对象处理的项；通知通过将所述对象处理应用于所述拍摄图像所获得的结果；以及接收用于将与所述项相对应的处理添加到用以控制所述设备的处理过程的用户指示。

本发明的又一方面提供一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行用于设置用以控制设备的处理过程的方法，所述方法包括：获得拍摄图像；判断所述拍摄图像中所包括的物体的类型；通知表示多个分析处理中的与所述拍摄图像中所包括的物体相对应的对象处理的项；通知通过将所述对象处理应用于所述拍摄图像所获得的结果；以及接收用于将与所述项相对应的处理添加到用以控制所述设备的处理过程的用户指示。

根据本发明，将适合于拍摄图像中所包括的物体的类型的处理单位通知给用户。因此，可以将要由用户使用以生成包括获得拍摄图像的处理过程的处理单位通知给用户。

通过以下参考附图对典型实施例的描述，本发明的其它特征将变得显而易见。

附图说明

图1是示出包括根据典型实施例的图像处理设备的整个系统的结构示例的图。

图2是示出根据典型实施例的图像处理设备的详细内部结构的示例的框图。

图3是示出用于执行执行程序的流程图创建画面的示例的图。

图4是示出流程图创建过程的图。

图5是示出流程图创建支持画面的示例的图。

图6是示出用于支持流程图的创建的处理过程的示例的流程图。

图7是示出工件的类型与推荐处理项之间的关系的表的图。

图8是示出流程图创建支持画面的示例的图。

图9是示出流程图创建支持画面的另一示例的图。

图10是示出包括两个类型的工件的流程图创建支持画面的示例的图。

具体实施方式

在下文中，将参考附图来详细地描述实施例。注意，以下实施例并不旨在限制。在实施例中描述了多个特征，但可以适当地组合这些实施例的特征。此外，在附图中，将相同的附图标记提供至相同或相似的结构，并且省略其重复的描述。

<第一典型实施例>

将参考附图来说明根据本发明的实施例。

图1是示出包括图像处理设备101的整个系统的结构示例的图。该系统包括图像处理设备101、照相机102、机器人103、机器人控制设备104、客户端终端105和照明设备106。该系统用于通过使用机器人103将配置在作业台107上的工件108放置在放置台109至111中的任意放置台上。该系统的使用不限于此。

图像处理设备101控制照相机102和机器人103。图像处理设备101经由机器人控制设备104控制机器人103。图像处理设备101可基于内部程序或来自外部控制设备的控制指示在预定定时直接控制机器人103。图像处理设备101将被描述为在与机器人103和机器人控制设备104各自的壳体不同的壳体中的设备；然而，图像处理设备101可以在与机器人103的壳体和机器人控制设备104的壳体中的任意壳体相同的壳体中。

图像处理设备101设置照相机102的拍摄条件(拍摄参数)，并发出拍摄指示。图像处理设备101从照相机102获得拍摄图像，并且对所获得的图像应用图像处理。图像处理设备101将处理后的拍摄图像输出至客户端终端105以显示该图像。图像处理设备101向机器人控制设备104发送控制指示。

图像处理设备101基于预定义的处理过程来执行针对照相机102、机器人103、机器人控制设备104、客户端终端105和照明设备106的控制处理以及针对所获得的图像的图像处理。该处理过程被设置为可由图像处理设备101执行的多个处理单位的组合。图像处理设备101是可以创建、编辑和更新描述该处理过程的程序的电子装置。

照相机102是拍摄包括物体(在下文中，“工件”)的图像的拍摄设备。照相机102具有用于改变包括变焦倍率、焦距、光圈和信号放大率的各种拍摄参数的机构。可以基于来自图像处理设备101的指示单独地确定这些拍摄参数。

机器人103是基于来自机器人控制设备104的指示而驱动的工业设备。在本实施例中，机器人103包括把持机构(例如，手)和用于移动该把持机构的臂机构(例如，臂)。机器人103是通过控制手和臂来把持和移动工件的机械臂。照相机102附接至机器人103的臂。由此，可以通过移动机器人103的臂来控制照相机102的位置。

机器人控制设备104从图像处理设备101接收控制指示，并且控制机器人103的各轴和手的移动。

客户端终端105包括显示器、输入装置和控制装置，并且客户端终端105连接到图像处理设备101。显示器是诸如液晶显示器等的显示装置。输入装置是诸如键盘、鼠标、输入操作控制器和手势输入装置等的输入单元。输入装置用于各种操作输入。对于输入装置，可以使用配置在显示器中的触摸面板。

客户端终端105基于从图像处理设备101输入的图像来在显示器上显示图像。用户可以通过操作客户端终端105的输入装置来将指示输入到图像处理设备101中。客户端终端105的控制装置连接到图像处理设备101以发送和接收图像和指示。客户端终端105的显示器、输入装置和控制装置将被统称为客户端终端105。

照明设备106由例如卤素照明单元或发光二极管照明单元配置成。

图2是示出图像处理设备101的详细内部结构的示例的框图。图像处理设备101包括接口(I/F)201、计算单元202和存储单元210。

图像处理设备101经由布置在内部总线上的接口201连接到照相机102、机器人控制设备104、客户端终端105和照明设备106中的每个。接口201是基于适合于与上述各个设备进行通信的标准来配置的。可以从诸如网络接口和串行通信接口等的接口中选择接口标准。

计算单元202是用于控制图像处理设备101所执行的处理的控制单元。计算单元202例如由作为通用微处理器的中央处理单元(CPU)或者图像处理处理器配置成。

存储单元210例如是只读存储器(ROM)、随机存取存储器(RAM)、或者诸如可擦除可编程ROM(EPROM)或电可擦除可编程ROM(EEPROM)等的非易失性存储器装置。图像处理设备101可连接到外部存储装置以扩展数据存储区域。存储单元210可以由连接到图像处理设备101的外部存储装置上的诸如文件区域或虚拟存储区域等的区域配置成。

存储单元210包括用于存储计算单元202所执行的程序的程序存储区域211和用于存储处理数据的存储区域212。程序存储区域211存储执行程序213和支持程序214。执行程序213用于执行处理过程。支持程序214用于支持用户设置执行程序213中所描述的处理过程。存储区域212由存储单元210的RAM区域、或者外部存储装置的诸如文件区域或虚拟存储区域等的区域配置成。存储区域212用于临时存储处理数据，并且存储诸如图像处理所用的设置参数等的数据。

作为程序存储区域211中所存储的执行程序213的示例，设置处理过程；通过机器人103将配置在作业台107上的工件108放置在放置台109至111中的任意放置台上进行该处理过程。具体地，图像处理设备101控制机器人103的位置和姿势，使得照相机102位于可以从作业台107的上方拍摄到包括工件108的区域的位置(拍摄位置Pa)。在使照相机102移动到拍摄位置Pa之后，图像处理设备101控制照相机102，使得照相机102拍摄包括工件108的区域。图像处理设备101从照相机102获得拍摄图像，对该拍摄图像进行图像处理(分析处理)，并获得表示工件108的位置和姿势的参数。图像处理设备101基于通过分析处理所获得的表示位置和姿势的参数，来控制机器人103校正工件108的把持位置。图像处理设备101基于表示工件108的位置和姿势的参数，来控制机器人103的移动，使得机器人103的臂把持工件108。图像处理设备101还将所把持的工件108对齐并放置在放置台109至111中的任意放置台上。图1示出放置了工件112的示例，并且将预定数量的工件对齐并放置在放置台109至111中的各放置台上。在图像处理设备101所进行的处理之后或期间，可以在显示装置上适当地显示诸如处理的进度、结果和响应等的信息。

当计算单元202执行支持程序214时，计算单元202将表示执行程序213的处理过程的画面以流程图的形式显示在客户端终端105的显示器上。计算单元202将用于更新执行程序213的处理过程的编辑画面显示在客户端终端105的显示器上。图3是示出表示执行程序213的处理过程的流程图以及编辑画面的示意图。在另一典型实施例中，在通过另一电子装置更新执行程序213之后，可以将执行程序213存储在图像处理设备101的存储单元210中。

客户端终端105的显示器上所显示的画面(编辑画面)包括编辑区域301和流程图区域302。编辑区域301包括：列表320，用于选择用于编辑流程图的多个处理部分；以及列表框316，用于选择作为创建或编辑的对象的执行程序213。

编辑区域301包括按钮(OK按钮)317和按钮(取消按钮)318。按钮317用于完成执行程序213的创建或编辑，并将所创建或编辑的执行程序213存储在保存区中。按钮318用于取消执行程序213的创建或编辑。

编辑区域301包括用于启动支持创建流程图的功能的按钮(创建支持按钮)319。流程图区域302是用于表示代表执行程序213的处理过程的流程图的区域。用户可以通过操作客户端终端105以编辑流程图区域302中所显示的流程图，来设置执行程序213的处理过程。

列表320是表示用于创建代表执行程序213的处理过程的流程图的处理部分(处理单位)的列表。用户使用客户端终端105的输入装置来从列表320拖拽处理部分，将所拖拽的部分放入到流程图区域302中，并用线连接所放入的部分，由此创建流程图。

列表框316用于选择要在画面上显示的流程图。通过操作客户端终端105的输入装置以在列表框316中进行选择，用户可以从要显示的一个流程图切换到另一流程图，或者将新的流程图名称输入到列表框316中。在图3所示的示例中，示出在工件的类型为箱的情况的处理过程。在工件的类型是其它类型的情况下，这些处理部分中的一些处理部分是不同的。因而，当创建用于处理其它类型的工件的流程图时，可能期望通过操作列表框316来切换要显示的流程图。

按钮317是用于提供用于存储所创建的流程图并更新执行程序213的指示的按钮。取消按钮318是用于丢弃直到按下该按钮的时间为止的设置的按钮。创建支持按钮319是用于启动支持创建流程图的功能的按钮。以下将详细说明在选择了创建支持按钮319的情况下的处理。

流程图区域302中所显示的流程图330描述上述一系列控制的处理过程。接着，将说明图3所示的各个处理部分。

处理部分304是表示用于使机器人103的臂机构移动的处理(移动处理)的移动部分。当计算单元202执行处理部分304的处理时，机器人103的臂机构使照相机102移动到作业台107上方的点，使得附接至机器人103的臂机构的照相机102移动到可以拍摄到作业台107上的工件108的位置。

处理部分305是表示用于利用照相机102执行拍摄操作的处理(拍摄处理)的拍摄部分。当计算单元202执行处理部分305的处理时，输出用于利用照相机102执行拍摄处理的控制命令。

处理部分306是表示用于测量工件108的位置的位置测量处理的位置测量部分。处理部分307是表示用于测量工件108的相位的相位测量处理的相位测量部分。如以下将更详细所述，这些处理部分各自是用于使用图像信息的诸如亮度梯度、浓淡信息和颜色信息等的特性信息来测量工件108的部分。

处理部分308是表示用于相对地移动机器人103的手的位置和姿势的校正移动处理的校正移动部分。当计算单元202执行处理部分308的处理时，计算单元202通过基于处理部分306和307所测量到的工件的位置和相位以校正的方式控制机器人103来进行诸如机器人103的手(末端执行器)的转动等的校正移动。

处理部分309是表示用于使机器人103的臂机构移动的处理(移动处理)的移动部分。当计算单元202执行处理部分309的处理时，控制机器人103的臂，使得机器人103的手位于可以把持(拾取)工件108的位置(例如，工件108正上方的位置)。

处理部分310是表示用于控制机器人103的手的开/闭和吸附装置的吸附量的手控制处理的手控制部分。当计算单元202执行处理部分310的处理时，控制机器人103的手的开/闭以把持工件108。

处理部分311是表示用于使机器人103的臂机构移动的处理(移动处理)的移动部分。当计算单元202执行处理部分311的处理时，控制臂的移动以将机器人103的手移动到适合于工件的类型的放置台上方的点。

处理部分312是表示用于使机器人103的臂机构移动的处理(移动处理)的移动部分。当计算单元202执行处理部分312的处理时，控制臂的移动以将机器人103的手移动到工件108将被放置的位置上方的点。

处理部分313是表示用于控制机器人103的手的开/闭和吸附装置的吸附量的手控制处理的手控制部分。当计算单元202执行处理部分313的处理时，控制手的开/闭和吸附量，使得放置工件108。

处理部分314是表示用于使机器人103的臂机构移动的处理(移动处理)的移动部分。当计算单元202执行处理部分314的处理时，将机器人103的臂移动到放置台上方的点。

处理部分315是表示用于判断条件分支的判断处理的分支部分。当计算单元202执行处理部分315的处理时，计算单元202判断处理部分304至314的一系列处理已被执行的次数(执行次数)是否大于或等于阈值。在执行次数小于阈值的情况下，计算单元202将处理返回到处理部分304。在执行次数大于或等于阈值的情况下，计算单元202终止该处理(终止处理)。

响应于用户所进行的特定操作(诸如通过操作客户端终端105而对流程图区域302中所显示的流程图330的处理部分中的任何处理部分进行的双击等)，发生向该处理部分的设置画面的转变。例如，在移动部分的情况下，可以在设置画面中设置诸如用于移动臂的目标位置(坐标)、移动速度和移动路径等的参数。

接着，将说明根据本实施例的在用户创建图3所示的流程图的情况下的问题及其解决方案。

图4是示出流程图创建过程的图。图4示出编辑画面。编辑区域301、流程图区域302、以及这些区域中所包括的处理部分和按钮对应于图3所示的这些区域以及处理部分和按钮，因此将省略说明。

用户开始作业，以创建表示用于使用机器人103将配置在作业台107上的工件108放置在放置台109至111中的任意放置台上的处理过程的流程图。

用户首先创建用于获得拍摄图像以辨别位于作业台107上的工件108的流程。

用户首先通过操作客户端终端105的输入装置，从列表320中选择(拖拽)移动部分，并且将所选择的移动部分沿箭头401所示的方向移动(放下)到流程图区域302。即使对于将照相机102移动到拍摄位置的臂，也将表示目标位置的坐标信息作为移动部分的目标位置的默认预先存储在存储单元210的存储区域212中。由此，用户可以仅通过选择移动部分来将机器人103移动到作业台107上方的点。

用户通过操作客户端终端105的输入装置，来选择拍摄部分并将所选择的拍摄部分沿箭头402所示的方向移动到流程图区域302。移动部分和拍摄部分通过表示连续处理的直线连接。以下信息也被预先存储在存储单元210的存储区域212中：在执行拍摄部分的情况下使用的拍摄参数(例如，曝光和变焦倍率)、以及用于拍摄参数的确定方法(例如，固定值使用、自动曝光和自动调焦)。由此，用户可以仅通过选择拍摄部分来使用拍摄参数进行拍摄。

计算单元202执行处理部分304和处理部分305各自的处理，使得机器人103的臂移动，并且附接至臂的照相机102移动到预定拍摄位置。随后，照相机102进行拍摄。

接着，用户创建用于基于拍摄图像来把持工件108的处理，作为流程图。在该处理中，如果用户不具有与图像处理技术有关的详细知识，则可能存在用户无法判断在列表320中所包括的处理部分中哪个部分是合适的选择的情况。

在本实施例中，进行用于基于拍摄图像来向用户通知在后续阶段要放置的处理部分(处理单位)的创建支持处理，以便辅助用户选择与图像处理有关的处理部分。

图5是示出在选择图4的创建支持按钮319时转变到的支持画面501的示意图。图5的支持画面501可以紧接在显示图3的流程图创建画面之后显示。

支持画面501包括显示区域502、显示区域503和处理项区域504。显示区域502表示拍摄图像和以下所述的图像处理的结果。显示区域503表示分析拍摄图像中所包括的工件的类型的结果。处理项区域504表示与通过分析所获得的工件的类型相对应的处理单位的一个或多个候选。支持画面501包括用于控制创建支持处理的按钮505至508。

按钮505是用于进一步显示处理项区域504中未正显示的处理项的按钮。在处理项区域504中当前显示的推荐项中不存在合适的处理项的情况、或者要进行与其它处理项的比较的情况下，可以通过选择按钮505来显示不同的推荐处理项。

按钮506是用于再次进行(更新)例如拍摄图像的输入、物体识别和推荐处理的呈现的按钮。按钮506用在以下情况中：诸如进行向同一工件的更清晰拍摄图像的切换的情况、以及发生向同一类型的不同工件的拍摄图像的改变的情况等。可以采用诸如实时地输入拍摄图像并周期性地更新拍摄图像的实时取景模式等的模式。

按钮507是用于确定要作为部分采用的处理项的按钮。当选择按钮507时，将处理项区域504中的选择结果与执行程序213相关联地存储在图像处理设备101的存储区域212中。在选择按钮508的情况下，丢弃图5所示的画面中的处理结果，并且该画面返回到图4所示的画面。

接着，将说明计算单元202响应于转变到支持画面501而开始执行的流程图创建支持处理。

图6是示出计算单元202所执行的支持处理的流程图。计算单元202读出存储单元210中所存储的支持程序214并执行所读出的支持程序214，使得实现图6的处理的各步骤。

在步骤S601中，计算单元202获得工件的拍摄图像。在步骤S601中获得的拍摄图像是通过从上方位置拍摄放置在图1所示的作业台107上的工件108所拍摄到的图像。步骤S601中所获得的拍摄图像可以是响应于用户按下了拍摄指示按钮(未示出)所拍摄到的图像，或者可以是实时取景图像。

在步骤S602中，计算单元202进行用于判断(辨别)拍摄图像中的工件的类型的处理。具体地，例如，计算单元202基于背景差分或阈值提取处理来分离工件和背景，并且针对所提取的工件，使用诸如形状、颜色和浓淡分布等的图像特性来判断工件的类型。可以通过使用例如神经网络从预先学习的学习模型进行预测来判断工件的类型。将表示计算单元202所辨别出的工件的类型的信息显示在支持画面501的显示区域503中。

在步骤S603中，计算单元202识别与在步骤S602中辨别出的工件的类型相对应的一个或多个处理单位(处理项)。图7是示出表示工件的类型与相应的处理单位之间的关系的相关信息的图。

在图7中，标识(ID)是指派给工件的各类型的ID编号。工件的类型的示例包括“箱”、“圆环”、“一维/二维(1D/2D)码”和“字符”。在图7中，“候选处理”是与工件的各类型相对应的处理单位(处理项)。

如图7所示，相应的候选处理的内容根据工件的类型而变化。例如，在工件的类型是“箱”的情况下，位置测量处理、相位测量处理、缺陷检测处理和面积测量处理各自被预先设置为候选处理。在工件的类型是“圆环”的情况下，位置测量处理、外径测量处理、内径测量处理和计数处理各自被预先设置为候选处理。

对于各自被设置为“候选处理”的多个处理项，预先设置优先级。例如，在作为物体识别的结果将工件辨别为“箱”的情况下，由于能够利用机器人进行处理被认为是最重要的，因此针对位置测量和相位测量各自设置高优先级。在工件被辨别为“1D/2D码”或“字符”的情况下，针对数据读取处理设置高优先级，以使得能够读取字符串或数值数据。图7中示出的表预先存储在存储单元210的存储区域212中。

在重复支持处理时，可以学习并更新图7所示的表中的工件的类型与候选处理中的处理项之间的对应关系以及候选处理中的处理项的优先级，以提高更频繁地选择的处理项的优先级。该表可以由多个图像处理设备经由网络共享，并且可以更新信息。如果通过经由网络学习或共享来更新工件的类型与候选处理(以及优先级)彼此相关联的表，则频繁使用的处理项的优先级提高。因此，能够更实用地推荐具有高优先级的处理项。

在步骤S603中，将获得与在步骤S602中计算单元202所辨别出的工件的类型相对应的一个或多个处理单位(处理项)的结果显示在支持画面501的处理项区域504中。在处理项区域504中，具有高优先级的处理项显示在高位置处。

还针对支持画面501的处理项区域504中的各个处理项显示复选框。用户使用复选框来选择处理项以预览该处理项的处理结果。例如，选择位置测量处理和相位测量处理。表示处理结果的处理项也可以是与步骤S602中辨别出的工件的类型相对应的所有一个或多个处理单位(处理项)中的各处理单位。

在步骤S604中，计算单元202针对拍摄图像中所包括的工件来执行与所选择的处理项相对应的图像处理。

在步骤S605中，计算单元202将在步骤S604中执行的图像处理的结果显示在显示区域502中。

如上所述，在选择位置测量处理和相位测量处理的情况下，将相位测量处理的结果和位置测量处理的结果各自显示在显示区域502中。

在步骤S606中，计算单元202判断用户通过操作客户端终端105的输入装置是否选择了按钮505。换句话说，计算单元202判断用户是否请求了切换处理项区域504的显示，使得可以选择其它处理项。

如果计算单元202判断为选择了按钮505(步骤S606中为“是”)，则计算单元202切换处理项区域504的显示，使得将包括与处理项区域504中当前显示的处理项不同的至少一个处理项的多个处理项显示在处理项区域504中。处理返回到步骤S603。如果计算单元202判断为没有选择按钮505(步骤S606中为“否”)，则处理进入步骤S607。

在步骤S607中，计算单元202判断用户对处理项的选择是否完成。具体地，计算单元202判断用户通过操作客户端终端105的输入装置是否选择了按钮507。当用户选择了按钮507时，将所选择的处理项作为所选处理项存储在存储单元210中。例如，在选择了与位置测量处理相对应的处理项和与相位测量处理相对应的处理项的状态下，按下按钮507。计算单元202使客户端终端105的显示单元的显示从支持画面501转变到图4所示的编辑画面。如果计算单元202判断为用户对处理项的选择未完成(步骤S607中为“否”)，则处理返回到步骤S601。

如果计算单元202判断为用户对处理项的选择完成(步骤S607中为“是”)，则处理进入步骤S608。在步骤S608中，计算单元202将在步骤S607中选择的处理项作为处理部分添加到在编辑画面中正创建的流程图。

图8是示出在图6的处理之后显示的画面的示例的图。如图8所示，将位置测量部分和相位测量部分添加到流程图801。在流程图区域302中，可以进行对所添加的位置测量部分和所添加的相位测量部分的诸如改变或删除等的编辑。

随后，用户通过选择列表320中的校正移动部分、拖拽所选择的校正移动部分、并且将所拖拽的校正移动部分放入到流程图区域302中，来将校正移动部分添加到流程图801。同样，从列表320中选择诸如移动部分和手控制部分等的部分，并且将所选择的处理部分顺次添加到流程图801。在把持工件的情况、抬起工件的情况、使工件移动到放置台的情况、以及放置工件的情况下，也同样地将诸如移动目的地的坐标信息和机器人的高度等的详细参数预先存储在存储单元210的存储区域212中。由此，用户可以仅通过选择处理部分来设置诸如利用机器人的工件的把持或向放置台的移动等的控制。

由于辨别工件的类型，因此可能存在期望改变处理部分的详细设置的情况。在要测量诸如位置、相位和面积等的对象的情况下，通常，可以输入在工件和背景之间的浓淡比率高且颜色分量的变化量大的拍摄图像，以可靠地分离工件和背景。在要检测缺陷或污垢的情况下，由于通常颜色或浓淡变化信息通常是重要的，因此可以输入工件在动态范围内广泛分布的拍摄图像。

如上所述，在用户通过操作客户端终端105的输入装置来双击处理部分以改变该处理部分的详细设置时，当前画面转变到用于设置该处理部分的详细处理的设置画面。在该设置画面中，在要测量诸如位置、相位和面积等的对象的情况下，可以使用拍摄参数来进行调整以增大对比度。此外，在要检测缺陷或污垢的情况下，可以改变诸如曝光值、信号放大率和白平衡等的设置。

如上所述，根据本实施例，从工件的拍摄图像辨别工件的类型，并且通知与该工件相关联的处理项。此外，还通知该处理项的处理结果。这使得用户能够基于所通知的处理项和所通知的处理结果来选择要添加到流程图的处理项。由于通知了推荐处理项，因此用户可以省略用于组合各种处理项或确认预先所组合的处理项的工作。

在本实施例中，在支持画面中，与工件的类型相关联地通知推荐处理项，并且添加与图像处理有关的处理部分。可以与机器人的控制(诸如机器人的移动等)相组合地将处理项添加到流程图。例如，在作为物体识别的结果而判断为工件的类型是箱的情况下，也可以将机器人校正移动部分、机器人移动部分和机器人手控制部分作为后续阶段中的处理添加到流程图。以这种方式，在显示支持画面时将与机器人控制密切相关的处理部分添加到流程图，使得用户可以进一步省略创建流程图的工作。

在本实施例中，在支持画面的显示区域502中显示拍摄图像和图像处理的结果。显示区域502可被分割为多个区域，并且可以在各个区域中同时显示多个拍摄图像和这些拍摄图像的处理结果。

图9是示出支持画面的变形例的示意图。图9所示的支持画面901包括多个显示区域902。各个显示区域902对应于至少一个处理项，并且显示与各处理项相对应的图像处理的结果。在图9中，针对四个处理项中的各处理项显示图像处理的结果。用户可以在确认各图像处理的结果并比较这些结果的同时，选择要作为处理部分添加的处理项。

<第二典型实施例>

在要进行物体识别处理的拍摄图像中存在仅一个工件的前提下描述了第一实施例。在本实施例中，将描述在拍摄图像中包括两个或更多个工件并且工件是不同类型的示例。在本实施例中，在辨别出两个或更多个工件的情况下，启动针对各个工件的流程图创建支持画面。以下仅说明与第一实施例不同的点。

图10是示出在辨别出多个工件的情况下的支持画面1001的示例的图。在如图10所示辨别出多个工件时，将各个工件显示在显示区域1002中，并向各个工件指派标识符(以下称为“工件ID”)。在图10所示的示例中，向箱1011指派工件ID“1”，并且向圆环工件1012指派工件ID“2”。

当针对各个工件进行物体识别和测量时，针对各个工件将图像处理的结果显示在显示区域1002中。仅针对所选择的工件显示在显示区域503和处理项区域504中所显示的工件的类型的分析结果。可以利用切换按钮1010来改变工件ID。

创建用于机器人控制的流程图的过程基本上类似于图6中所示的过程。然而，在要针对具有不同工件ID的工件来创建用于机器人控制的流程图的情况下，可以省略步骤S601至步骤S604。换句话说，根据本实施例，当在一个拍摄图像中将多个类型的工件辨别为物体时，可以省略用于创建流程图的过程中的处理的一部分。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然本发明包括典型实施例，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (19)

1.一种电子装置，用于设置用以控制设备的处理过程，所述电子装置包括：

至少一个处理器，其被配置为使得所述电子装置进行以下操作：

获得拍摄图像；

判断所述拍摄图像中所包括的物体的类型；

通知表示多个分析处理中的与所述拍摄图像中所包括的物体相对应的对象处理的项；

通知通过将所述对象处理应用于所述拍摄图像所获得的结果；以及

接收用于将与所述项相对应的处理添加到用以控制所述设备的处理过程的用户指示。

2.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为使得所述电子装置进行用于将所述项和所述结果显示在显示器上的进一步操作。

3.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为使得所述电子装置进行用于将以下的内容显示在显示器上的进一步操作：表示与所述拍摄图像中所包括的物体的类型相对应的多个对象处理的多个项、以及通过将所述多个对象处理中的各对象处理应用于所述拍摄图像所获得的多个结果。

4.根据权利要求3所述的电子装置，其中，所述至少一个处理器被配置为使得所述电子装置进行用于将所述多个项中的相应项以及相应结果显示在所述显示器的显示区域内所包括的多个区域的各区域中的进一步操作。

5.根据权利要求1所述的电子装置，还包括存储单元，所述存储单元被配置为将表示物体的类型与处理之间的对应关系的相关信息存储到存储介质中，

其中，基于所述相关信息来识别与所述拍摄图像中所包括的物体的类型相对应的对象处理。

6.根据权利要求5所述的电子装置，其中，所述相关信息还包括表示与所述物体的类型相对应的对象处理的优先级的信息。

7.根据权利要求1所述的电子装置，其中，所述多个分析处理中的各分析处理包括用于测量所述拍摄图像中所包括的物体的位置的图像处理、用于测量所述物体的大小的图像处理以及用于分析所述物体中所表示的信息的图像处理中至少之一。

8.根据权利要求1所述的电子装置，其中，所述设备是被配置为使所述拍摄图像中所包括的物体移动的工业设备。

9.根据权利要求1所述的电子装置，其中，所述至少一个处理器被配置为使得所述电子装置进行以下的进一步操作：

在所述拍摄图像中包括多个物体的情况下，针对所述多个物体中的各物体识别对象处理；以及

通知表示所述对象处理的项和将所述对象处理应用于相应物体的结果。

10.一种用于设置用以控制设备的处理过程的方法，所述方法包括：

获得拍摄图像；

判断所述拍摄图像中所包括的物体的类型；

通知表示多个分析处理中的与所述拍摄图像中所包括的物体相对应的对象处理的项；

通知通过将所述对象处理应用于所述拍摄图像所获得的结果；以及

接收用于将与所述项相对应的处理添加到用以控制所述设备的处理过程的用户指示。

11.根据权利要求10所述的方法，所述方法还包括：将所述项和所述结果显示在显示器上。

12.根据权利要求10所述的方法，所述方法还包括：将以下的内容显示在显示器上：表示与所述拍摄图像中所包括的物体的类型相对应的多个对象处理的多个项、以及通过将所述多个对象处理中的各对象处理应用于所述拍摄图像所获得的多个结果。

13.根据权利要求12所述的方法，所述方法还包括：将所述多个项中的相应项以及相应结果显示在所述显示器的显示区域内所包括的多个区域的各区域中。

14.根据权利要求10所述的方法，所述方法还包括：将表示物体的类型与处理之间的对应关系的相关信息存储到存储介质中，

其中，基于所述相关信息来识别与所述拍摄图像中所包括的物体的类型相对应的对象处理。

15.根据权利要求14所述的方法，其中，所述相关信息还包括表示与所述物体的类型相对应的对象处理的优先级的信息。

16.根据权利要求10所述的方法，其中，所述多个分析处理包括用于测量所述拍摄图像中所包括的物体的位置的图像处理、用于测量所述物体的大小的图像处理以及用于分析所述物体中所表示的信息的图像处理中至少之一。

17.根据权利要求10所述的方法，其中，所述设备是被配置为使所述拍摄图像中所包括的物体移动的工业设备。

18.根据权利要求10所述的方法，所述方法还包括：

在所述拍摄图像中包括多个物体的情况下，针对所述多个物体中的各物体识别对象处理；以及

通知表示所述对象处理的项和将所述对象处理应用于相应物体的结果。

19.一种存储有程序的计算机可读存储介质，所述程序用于使得计算机执行用于设置用以控制设备的处理过程的方法，所述方法包括：

获得拍摄图像；

判断所述拍摄图像中所包括的物体的类型；

通知表示多个分析处理中的与所述拍摄图像中所包括的物体相对应的对象处理的项；

通知通过将所述对象处理应用于所述拍摄图像所获得的结果；以及

接收用于将与所述项相对应的处理添加到用以控制所述设备的处理过程的用户指示。

Images