CN111225142A - 图像处理装置及其控制方法和记录介质 - Google Patents

Abstract

本发明提供图像处理装置及其控制方法和记录介质。作业系统包括机器人控制装置、机器人、图像处理装置和摄像装置。机器人控制装置使用示教点来控制机器人的操作。图像处理装置通过控制摄像装置并且在示教点处拍摄工件来获取图像，并将拍摄后的图像数据和与示教点相对应的机器人的操作位置的数据相关联地存储。在用户进行作业恢复时，图像处理装置通过进行控制以获取在作业恢复期间由摄像装置拍摄到的机器人的操作位置处的图像并且显示该图像与所存储的图像的差异，来进行辅助作业恢复的设置的处理。

Description

图像处理装置及其控制方法和记录介质

技术领域

本发明涉及在控制诸如机器人等的作业用装置中的图像处理技术。

背景技术

在使用摄像装置和机器人装置进行产品的生产、质量确认或运输等的系统中，控制对象(在下文中称为工件)的拾取机构、机器人臂、致动器和运输机构等。通过摄像装置拍摄工件的图像，并且进行图像处理以测量工件的位置或检查工件，从而能够进行机器人装置的控制指示的切换或机器人装置操作的校正，因此可以构建进行更多种作业的系统。

在使用摄像装置或图像处理装置的机器人系统中，各种装置由于装置的触摸或随时间的改变等而偏离预先确定的安装条件，从而可能导致其位置或姿势的偏移(下文中称为位置偏移)。在这种情况下，有可能降低作业的再现性或使作业变得不可能。为了恢复作业，需要恢复或调整构成系统的诸如机器人装置、工作台或夹具工具等的作业工具的位置。

顺便提及，每当产生机器人装置或作业工具的位置偏移时进行位置或姿势的调整作业的方法费时费力。因此，存在使用粘合剂、焊接、金属配件或螺钉等将机器人装置、各种构件或外围仪器固定到刚性高的支架或台子等的方法。然而，在抑制位置偏移的这种方法中，改变作业内容费时费力。例如，假定使用与人协作工作的机器人或控制仪器并且频繁地改变作业内容的系统。由于存在由于工人与机器人、控制仪器或外围作业工具等的接触而频繁产生位置偏移的可能性，因此优选的是能够更简单地恢复系统的作业。

日本特开7-237158公开了一种校正方法，该方法进行以下校正之一：基于位置偏移量，以要拍摄的对象(诸如工件或背景等)为基准来校正要拍摄的对象的位置和姿势；以及以与位置偏移量一样大的量来校正设计数据。

在包括照相机和机器人的现有技术的系统中，在发生构成系统的装置的位置偏移等的情况下的用于辅助恢复作业的处理是不充分的，并且难以再现期望的作业。

发明内容

本发明提供使得能够在短时间内恢复作业并再现期望的作业的图像处理装置。

根据本发明的实施例的一种图像处理装置，包括：控制单元，其被配置为使用表示作业用装置的位置或姿势的示教点来控制所述作业用装置的操作；存储单元，其被配置为将由摄像单元拍摄到的所述示教点处的图像数据和与所述示教点相对应的所述作业用装置的位置或姿势的数据彼此相关联地存储；以及图像处理单元，其被配置为通过对在进行作业恢复时由所述摄像单元拍摄到的所述作业用装置的示教点处的第一图像的数据、以及从所述存储单元读出的所述示教点处的第二图像的数据进行处理，并且显示所述第一图像和所述第二图像，来进行用于辅助作业恢复的设置的辅助处理。

根据本发明的实施例的一种图像处理装置的控制方法，所述控制方法包括：使用表示作业用装置的位置或姿势的示教点来控制所述作业用装置的操作；进行控制以使用摄像单元拍摄所述示教点处的被摄体的图像；将由所述摄像单元拍摄的所述示教点处的图像数据和与所述示教点相对应的所述作业用装置的位置或姿势的数据彼此相关联地存储在存储单元中；以及通过对在进行作业恢复时由所述摄像单元拍摄到的所述作业用装置的示教点处的第一图像的数据、以及从所述存储单元读出的所述示教点处的第二图像的数据进行处理，并且显示所述第一图像和所述第二图像，来进行用于辅助作业恢复的设置的处理。

根据本发明的实施例的一种非暂时性记录介质，其存储有图像处理装置的控制程序，所述控制程序使计算机进行所述图像处理装置的控制方法的各个步骤，所述控制方法包括：使用表示作业用装置的位置或姿势的示教点来控制所述作业用装置的操作；进行控制以使用摄像单元拍摄所述示教点处的被摄体的图像；将由所述摄像单元拍摄的所述示教点处的图像数据和与所述示教点相对应的所述作业用装置的位置或姿势的数据彼此相关联地存储在存储单元中；以及通过对在进行作业恢复时由所述摄像单元拍摄到的所述作业用装置的示教点处的第一图像的数据、以及从所述存储单元读出的所述示教点处的第二图像的数据进行处理，并且显示所述第一图像和所述第二图像，来进行用于辅助作业恢复的设置的处理。

通过下面参考附图对典型实施例的描述，本发明的其它特征将变得明显。

附图说明

图1是包括根据实施例的图像处理装置的系统的整体结构图。

图2是根据实施例的图像处理装置的框图。

图3是表示根据实施例的流程图创建画面的图。

图4是表示根据实施例的机器人移动的设置处理画面的图。

图5是表示将移动点与对应的存储图像相关联的方法的图。

图6是表示作业恢复辅助功能的画面的图。

图7是示出作业恢复辅助功能的处理的流程图。

图8是示出使用作业恢复辅助功能的确认处理的流程图。

具体实施方式

在下文中，将参考附图详细描述本发明的实施例。本实施例示出通过控制机器人进行作业的系统的示例，但本发明也可以应用于包括诸如机械手或传输装置等的作业用装置的各种系统。

图1是包括根据本实施例的图像处理装置的系统的整体结构图。机器人控制装置101根据来自外部装置的控制指示控制机器人102的各个轴或手。本实施例的机器人控制装置101被假定为从图像处理装置103接收控制指示，但是对系统结构或能够使用的指示模式没有限制。另外，在一些情况下机器人控制装置101或图像处理装置103与机器人102容纳在同一壳体中，但是在本实施例中将两者描述为单独的装置。

图像处理装置103通过根据可选过程而设置预定摄像参数来控制由摄像装置104进行的摄像操作，并且进行对拍摄图像的处理或输出处理结果。本实施例的摄像装置104被配置为安装在机器人102上，但是它们可以分开安装。

图像处理装置103向机器人控制装置101发送控制指示。机器人控制装置101接受控制指示，并且通过控制机器人102将机器人102的姿势改变为能够拍摄工作台105上的工件106的图像的姿势(在下文中称为摄像姿势)。一旦机器人102的姿势变为摄像姿势，图像处理装置103就使用摄像装置104拍摄作为被摄体的工件106的图像。图像处理装置103使用拍摄图像的数据进行图像处理，并且识别工件106的类型。然后，图像处理装置103将工件106放置在与该类型相对应的放置台107至109其中之一上。在这种情况下，图像处理装置103还可以根据需要测量工件106的位置和姿势，并且可以校正机器人102的拾取姿势或者检查工件106的质量是否存在问题。如本系统中布置的工件的示例110所示，工件根据其类型被分类并且被布置在放置台107至109其中之一上。

例如，在工业用途中，如果图像处理装置或摄像装置被用作机器人的视觉装置，则用于通过在任何时间进行图像处理等来控制机器人的系统的生产效率降低，因此，通常预先设置适合于图像处理的摄像或构图的定时。

如图1所示，如果将摄像装置104安装在机器人102上，则机器人102被改变为具有摄像姿势，然后通过调整摄像装置104的摄像参数来进行摄像。用户预先将工作台105的上部位置作为摄像的示教点示教给机器人，然后使用该示教点进行重复摄像或图像处理。图像处理装置103存储示教点和与示教点相对应的摄像参数或确定摄像参数的方法(使用固定值、自动曝光或自动调焦等)，并且使用摄像参数进行随后的摄像。示教点被存储在机器人102、机器人控制装置101或图像处理装置103中。另外，表示图像处理的摄像参数或图像处理的内容的数据被存储在图像处理装置103中。对于机器人102拾取或提升工件106的情况、机器人在放置台107至109上方移动的情况、或者确认放置台为空的情形的情况也是如此。执行预先示教机器人102的位置或姿势的处理或者预先设置图像处理的内容的处理。

如果导致机器人102、工作台105以及放置台107至109等之间的位置偏移因而无法确保它们之间的相对位置关系，则存在无法保证期望的作业的问题。将参考图2至6描述在这种情况下的系统的恢复辅助处理。

图2是基于图像处理装置103的框图。图像处理装置103通过多个接口单元203连接到机器人控制装置101和摄像装置104。输入和输出显示装置201以及操作输入装置202是通过接口单元203连接到图像处理装置103的用户接口用的装置。各个装置通过图像处理装置103的内部总线上布置的各个接口单元203彼此连接。各个接口单元203基于适合于通信的标准、根据连接对象由网络接口单元或串行通信接口单元等构成。另一方面，各种类型的装置可以根据系统的目的而设置有任何用户接口单元，或者可以使用处理算法和程序等来动态地确定。

输入和输出显示装置201包括用于显示图像的诸如阴极管或液晶面板等的显示装置。操作输入装置202由键盘、指点装置、触摸面板、输入操作控制器或手势输入装置等构成。

连接到图像处理装置103的摄像装置104可以根据需要设置有照明装置218以用于摄像。照明装置218包括诸如卤素灯或发光二极管等的光源，并且通过接口单元203连接到图像处理装置103。另外，外部存储装置可以连接到图像处理装置103，从而增加存储容量。

图像处理装置103包括由形成为适合于控制图像处理的通用微处理器的中央处理单元(CPU)或图像处理处理器等构成的算术运算单元204。算术运算单元204通过内部总线(诸如数据总线、地址总线或其它控制线等)连接到存储单元205。

要使用的存储单元205的示例包括ROM、RAM、诸如EPROM或EEPROM等的非易失性存储装置、或外部存储装置。“ROM”是“只读存储器”的缩写，而“RAM”是“随机存取存储器”的缩写。“EPROM”是“可擦除可编程只读存储器”的缩写。“EEPROM”是“电可擦除可编程只读存储器”的缩写。外部存储装置例如是由硬盘驱动器装置(HDD)或半导体存储元件构成的存储装置或能够连接到接口单元203的存储装置等。

存储单元205包括处理数据保存区域206和程序存储区域。处理数据保存区域206由存储单元205中的RAM区域或者外部存储装置的文件区域或虚拟存储区域等构成。处理数据保存区域206除了临时存储处理数据之外，还用作图像处理的设置参数等的存储区域。

用于执行本实施例的图像处理的图像处理程序207被存储在存储单元205的程序存储区域中。图像处理程序207是用于根据操作输入装置202进行的各种操作来执行图像处理的设置改变或预定图像处理的程序。另外，关于改变的内容，可以将数据保存在处理数据保存区域206中或从处理数据保存区域206删除。

图像处理程序207由用于实现各种功能的软件模块构成。例如，图像处理模块208是用于实现图像处理的程序的主体。图像处理库209用于由图像处理模块208进行的图像处理中。图像处理库209作为例如静态或动态链接的库而安装在存储单元205中。图像处理设置模块210确定图像处理程序207的动作。根据由操作输入装置202进行的各种操作进行图像处理设置。

此外，图像处理程序207包括用于实现以下功能的输入和输出(I/O)子例程。例如，存在外部装置控制子例程211、保存数据生成子例程212和用于从机器人控制装置101接受控制命令的命令接受子例程213。另外，存在使用RAM区域或算术运算单元204的高速缓存区域等的临时存储子例程214和显示画面生成子例程215。保存数据输出子例程216是用于读出并输出处理数据保存区域206中保存的数据的程序，并且操作接受子例程217是用于从操作输入装置202接受操作指示的程序。各个功能以应用(实用)程序或被配置为静态或动态链接的库的子例程的形式安装在存储单元205中。

图像处理装置103的算术运算单元204的CPU通过执行图像处理程序207来进行摄像装置104的控制和图像处理。另外，用于通过操作接受子例程217接受用户的操作指示的处理或者用于通过命令接受子例程213从机器人控制装置101接受控制命令的处理由操作输入装置202执行。算术运算单元204通过根据操作指示或控制命令而调用图像处理程序207的各个功能模块或库来进行算术运算处理，并且将图像处理结果的数据发送到机器人控制装置101。另外，图像处理结果的数据可以被发送到外部存储装置并且累积(记录)在存储装置中。此外，在画面上对由程序预先存储的画面结构和图像处理结果进行合成，并且执行在输入和输出显示装置201上显示的处理。

图3是示出用于创建图像处理程序207的流程图创建画面的示例的图。该画面显示在输入输出显示装置201上。假定根据本实施例的图像处理程序207是根据由用户使用图像处理装置103创建的流程图来执行的。在另一实施例中，用户使用图1中未示出的图像处理程序创建装置来创建图像处理程序207。在这种情况下，所创建的图像处理程序207被发送到图像处理装置103的存储单元205并存储在存储单元205中。另外，在本实施例中，可以使用包含按功能或目的以固定形式预先准备的组合图像处理流程图的包功能。在这种情况下，用户可以在图形用户界面(GUI)上选择期望的功能并调整参数等。

部列表301是构成流程图的各个处理部的列表。用户可以指定矩形框中所示的各种处理或菱形框中所示的条件分支处理。例如，用户使用操作输入装置202从部列表301中指定期望的处理部。可以通过使用指点装置等进行拖放操作并通过线链接流程图区域302中布置的多个处理部来创建流程图。

由多个处理部构成的流程图303是描述了用于使用机器人102从工作台105提取工件106并根据所述工件的类型将工件放置在放置台107至109其中之一上的处理的示例。在处理开始之后，在机器人移动304中进行用于在工作台105上方移动机器人102的姿势控制，并且机器人102采取摄像姿势。摄像305是拍摄工件106的图像的处理。随后的工件位置计算306是计算工件106的位置或相位的计算处理，并且随后的工件类型识别307是使用彩色图案等识别工件106的类型的处理。机器人校正移动308是根据在工件位置计算306中计算出的工件106的位置和相位来进行机器人102的校正控制，并且在工件的位置上方移动或旋转机器人102的手(末端执行器)的处理。

随后的机器人移动318是将机器人102移动到使用机器人102的手可以拾取工件106的位置(例如，工件106正上方的位置)的处理。机器人手控制309是控制手的打开和闭合以及拾取工件106的处理。随后的机器人移动310是根据工件106的类型在放置台上方进行机器人移动的处理，并且在摄像311中执行拍摄放置台的图像的处理。在数量检查312中进行使用摄像装置104的拍摄图像来检查工件数量的处理。随后的机器人移动313是进行机器人移动到与数量相对应的放置位置的处理。在机器人手控制314中，执行控制手的打开和闭合以及工件106的放置的处理。随后的机器人移动315是在放置台上方进行机器人移动的处理。条件分支316是将机器人102的任务数量与预定值(阈值)进行比较，并且如果任务数量小于预定值则返回到机器人移动304的判断处理。如果任务数量达到预定值，则结束一系列处理。

用户组合期望的处理部，并且创建用作目的的流程图303。在所创建的流程图303中，如果进行任意处理部的双击操作，则流程转移到用于设置该部的详细处理的设置画面的显示处理。如果进行OK按钮317的点击操作，则图像处理装置103生成用于执行流程图303中所描述的处理的图像处理程序207。图4是示出设置画面示例的图。当用户通过双击操作指定处理部304、318、310、313和315中的任何一个时，在输入和输出显示装置201的画面上显示该画面，并且用户可以进行与机器人移动有关的设置操作。

在图4中的画面的左侧的移动点设置方法的框内示出设置机器人102的移动点或姿势的方法。用户可以使用单选按钮选择直接输入401和机器人变量402中的任一个。如果用户选择了机器人变量402，则可以通过在输入框403中指定机器人或其控制装置所存储的示教点(点P)来设置移动目的地。读按钮404是用于读取由机器人或其控制装置存储的示教点的操作按钮。另外，写按钮405是用于存储机器人的当前位置和姿势作为机器人或其控制装置的示教点的操作按钮。

如果用户选择直接输入401，则可以通过画面中央的编辑区域406中的数值来编辑机器人的位置和姿势。操作按钮407是读取当前位置的按钮，用户倾向于利用通过操作按钮407的操作而读取的此时的机器人的位置和姿势的数据来进行编辑。

图4中的画面右侧的区域408示出选择针对机器人的移动目的地的移动模式的方法或移动速度的设置部。位于该区域下方的操作按钮409是用于确认由各种小部件(widget)(401至408)设置的操作的测试执行按钮。位于更下方的OK按钮410是用于存储设置值数据的按钮。如果用户操作OK按钮410，则将各种类型的设置值数据与图像处理程序207等相关联地保存在图像处理装置103的处理数据保存区域206中。在程序执行期间，通过从处理数据保存区域206读出而使用设置值数据。如果用户操作取消按钮411，则丢弃这些设置值。

在图4的左下方，设置有在用户使用与作业恢复辅助有关的功能时使用的操作部(参见412至414)。操作按钮413是作业恢复辅助功能的画面的呼叫按钮。如果用户操作了呼叫按钮，则显示稍后将描述的画面(图6：作业恢复辅助画面601)。

当用户使用作业恢复辅助功能时，设置机器人102的移动点，然后进行由摄像装置104进行的摄像。将拍摄图像数据保存为与移动目的地的设置值(参见401至408)相关联的对应图像的数据。其详情将稍后参考图5来描述。另外，执行存储由摄像装置104使用的摄像参数的处理。除了光圈值、增益、ISO感光度、曝光时间、白平衡和焦距等之外，摄像参数例如是根据摄像装置104中包括的机制的变焦值、平摇和俯仰值等。如果摄像装置104具有手动或自动摄像参数调整功能，则将调整画面呈现给用户。

复选框412用于判断移动目的地的设置值(参见401至408)或摄像参数等的保存，并且根据复选标记是否存在来进行功能使用的判断处理(通过复选标记使用)。另外，可以在图像处理程序中的机器人移动期间的定时执行作业恢复辅助功能的一部分，并且可以提供在任何时间确认布局的移动后判断功能。在这种情况下，使用用于用户指定使用移动后判断功能的复选框414(通过复选标记使用)。

图5示出在用户操作图4的OK按钮410时，由摄像装置104与示教点相关联地自动进行摄像的情况下的数据示例。各个行中示出的数据501至504是移动点ID(识别信息)、移动点信息、对应存储图像的信息以及摄像参数的信息。移动点信息是图4中设置的移动点的各种设置值的信息，并且对应存储图像是在保存移动点时拍摄的存储图像的信息。这些信息与摄像参数组相关联。与机器人移动的处理部(参见图3的机器人移动)相对应地保存移动点ID、设置值和对应存储图像的数据。另一方面，如果操作图4的取消按钮411，则丢弃设置值。

将参考图6和7详细描述作业恢复辅助功能，图6示出作业恢复辅助功能的画面示例。在包括图像处理装置103的机器人系统中，进行用于辅助恢复位置偏移或布局等的画面显示。图7是示出作业恢复辅助功能的处理的流程图。

通过例如当操作图4所示的作业恢复辅助所用的操作按钮413等时执行程序来在输入和输出显示装置201上显示图6所示的画面601。选择部602是具有在用户选择由机器人移动的处理部所设置的移动点ID时使用的旋转控制的框。如果存在多个移动点，则用户可以指定期望的移动点。除了通过用户指定来选择移动点的方法之外，还存在基于半自动或自动设置的方法。例如，进行以下处理：进行系统的连续动作运转等，或者在特征提取处理之后判断特征的形状等，并且估计具有稳定特征的移动点。执行向用户呈现和推荐移动点的估计结果的处理或者基于估计结果的自动设置处理。

选择部603是具有当用户选择照相机ID时使用的旋转控制的框。如果系统包括作为摄像装置的多个照相机，则用户可以通过选择部603指定期望的照相机。除了通过用户指定来选择照相机ID的方法之外，还存在基于半自动或自动设置的方法。例如，进行以下处理：进行系统的连续动作运转等，或者在特征提取处理之后使用特征的形状或分布、或者阴影信息等，并且估计具有稳定特征的摄像装置(特定照相机)。执行向用户呈现和推荐估计结果的处理或者基于估计结果的自动设置处理。

图像显示区域604是用于辅助恢复作业的显示区域。由于与移动点相关联的存储图像605以叠加在当前拍摄图像上的状态显示在图像显示区域604中，因此用户可以容易地确定显示图像之间的差异。在图6中，在当前移动点ID“01”中，示出显示包括工作台105的图像的情况。与图像一起显示基于图像处理所提取的特征信息606。

将参考图7描述生成包括图像显示区域604的显示画面的处理。图7的处理是通过图像处理装置103的算术运算单元204的CPU执行预定程序来实现的。在S701中，进行读取所存储的数据的处理。获取与由图6的选择部602的操作指定的移动点ID(图5：501至504中的任何一个)相对应的存储数据。

在S702中，进行再现摄像条件的处理。基于在S701中获取的数据，通过指定机器人向移动点的移动或摄像参数的设置来再现摄像条件。在S703中，使用摄像装置104进行摄像，并且在随后的S704中，执行特征提取处理。在S704中，针对与所获取的存储数据相对应的图像，在预定区域中进行特征提取处理。图6的选择部608是具有使得可以设置用于进行特征提取的图像处理方法的旋转控制的框。特征提取的图像处理方法中的选择项的示例包括图案匹配、边缘检测、阴影检测、二值化质心、外接矩形、周长和颜色等。可以自由选择可以在图像处理功能中计算特征的方法。

在图6中，在图像显示区域604的框内示出了多个预定区域607。区域607是与进行特征提取的图像处理的对象范围相当的区域，并且在图7的S704中进行使用所提取的特征作为搜索图案的处理。区域607是具有大于阈值的拍摄图像的特征量的区域，并且通过进行例如边缘增强等的特征提取处理，根据边缘的强度梯度或形状等自动设置推荐范围。可选地，可以通过在用户的手动操作下接受指示来校正区域607，或者任意地进行区域设置。

在图7的S705中，对在S703中拍摄的图像进行基于S704的搜索图案的图案搜索处理。在S706中，基于S705的图案搜索结果进行位置偏移计算，计算图案之间的一致率或类似度、以及位置偏移量。稍后将描述计算方法的选择。

在S707中，进行特征强调处理以提高可视性。例如，在图6的图像显示区域604的框内，通过标记×突出显示特征信息606。在S708中，执行图像合成处理，并且生成所选择的移动点的对应存储图像和在S703中拍摄的图像的合成图像。在S709中，还执行对视觉辅助处理的结果进行合成的处理。视觉辅助处理是为了使用户容易地识别位置或姿势等的如S707所示的处理。在S710中，在图6的图像显示区域604中显示合成处理结果。向用户呈现对所选择的移动点的对应存储图像和拍摄图像进行了合成、并且还对通过突出显示特征提取结果而获得的图像进行了合成的最终图像。

在本实施例中，已经描述了以叠加方式显示在工件恢复期间获取的拍摄图像和在设置作为示教点的移动点时拍摄的图像(对应存储图像)的方法。不限于此，可以在单独的画面上显示各个图像或可以并排显示图像等。

图6的选择部609是具有使得可以选择用于计算预先拍摄的对应存储图像的特征和从作业恢复辅助期间的当前拍摄图像提取的特征之间的一致率或类似度的方法的旋转控制的框。所提取的特征的示例包括图案的位置或相位、边缘、阴影值、二值化区域的面积或位置、以及矩形的大小、位置、倾斜度、长度或颜色浓度值等。关于各个特征，可以选择诸如图案之间的一致度、边缘或区域的重心位置之间的差、矩形的大小、位置坐标之间的距离、倾斜度之间的差、长度之间的差或阴影之间的差等的多个特征之间的位置关系等。另一方面，可以设置两个或更多个计算方法的组合。

另外，所需的作业恢复的精度可以根据系统操作或处理而变化。因此，在本实施例中，提供了容许误差的指定部610(图6)。指定部610是具有当用户指定移动点ID中的容许误差时使用的旋转控制的框。容许误差表示在图像测量期间容许多少受再现性影响的误差，并且由像素的数量或实际距离(例如，毫米单位)表示。在本实施例中，假定了用户基于系统操作所需的测量误差量在指定部610中直接指定容许误差的实施例。作为另一实施例，存在一种方法，该方法根据处理所需的测量误差范围、机器人姿势和工件之间的位置关系、系统中使用的摄像装置的装置信息等来估计能够通过图像测量获得的误差量，使用差来计算推荐值，并且将计算出的值呈现给用户。

本实施例具有根据图7的S706中获得的位置偏移计算结果来显示恢复率的功能，由于一致率611在图6的辅助信息的显示栏中被显示为恢复率，因此用户可以进行恢复作业使得在确认一致率的数值的同时提高一致率。另外，校正方向辅助612(图6)的导航显示是用于使用位置偏移计算结果的信息来推荐用于提高一致率611的移动方向(校正方向)的显示。用户可以根据诸如箭头等的指示器确定校正方向。

在使用诸如特征提取(参见608至610)等的图像处理来选择是否使用用户辅助的情况下使用图6的复选框613(通过复选标记使用)。当作业恢复辅助功能结束时，使用操作按钮614。当图6的画面关闭时，进行将各种类型的信息(参见602至613)与当前时间等一起存储在存储器中的处理，以存储最终执行什么恢复。另外，如果可以检测到系统的操作者等，则还可以存储操作者ID等以将其包括在信息中。

在以上描述中，假定在按下图4的操作按钮413的事件时执行图6的作业恢复辅助的画面显示和图7所示的处理，但以下将描述在实际作业期间的机器人移动后立即进行恢复辅助处理的情况。实际作业期间的机器人移动例如是图3的处理部(304、318、310、313和315)中所示的机器人移动。

将参考图8的流程图描述在选中图4的复选框414并且使用移动后判断功能的情况下的处理，由于S801至S806和S809至S812的处理与图7中的S701至706和S707至S710的处理相同，因此将不给出其详细描述，并且将描述它们之间的差异。

在机器人102移动之后立即执行S801至S806的处理，并且在S807中判断位置偏移量。即，执行关于位置偏移量是否落在由容许误差的指定部610(图6)指定的容许误差量内的判断处理。如果判断为位置偏移量落在容许误差量内，则作业恢复辅助处理结束，并且流程进入图像处理程序207的下一处理。另外，如果判断为位置偏移量落在容许误差量之外，则流程进入S808，停止正在执行的图像处理程序207，并且进行画面601的显示处理。在S808之后执行S809至S812的处理。

在图8中，在各个机器人移动时，进行S801(读取数据)、S802(再现摄像条件)或S803(摄像)等。不限于此，可以使用在图像处理程序中执行一次或更多次处理或者预先进行读取处理等的情况下通过将所需数据保持在RAM上来实现与实际作业期间的处理的通用化的方法。

在图8所示的处理中，即使在正在执行图像处理程序207时，也可以判断是否发生了作业布局的位置偏移。如果发生超过阈值的位置偏移，则可以停止系统的后续操作。由此，能够减少作业失败的次数，并且能够在此之后迅速地辅助布局恢复。

另外，可以针对各个图像处理监视和存储S804中的特征提取结果或S806中的位置偏移量的数据，并且可以进行诸如图形显示等的图形表示处理。在这种情况下，例如，进行特定时间段的数据的线性近似或多项式近似，使得用户可以观察到随时间的改变，并且进行使得可以确认图形的倾斜度落在预定阈值范围内的处理。另外，如果判断为随时间的改变是具有预定趋势的改变，则可以通过进行向用户的通知或警告显示等来辅助系统的维护。

在本实施例中，如果在与各种类型的作业有关的系统中发生布局的物理位置偏移，并且作业变得难以进行，则一起显示与恢复作业时的示教位置(作业点)相关联的存储图像和当前图像信息。由此，可以辅助针对布局的物理位置偏移的作业的恢复。此外，由于在作业恢复期间将存储图像和当前拍摄图像的特征信息进行彼此比较，并且可以将恢复率(诸如一致率或类似度)显示为数值，因此用户可以容易地理解布局的恢复情况。另外，如果将存储图像和当前拍摄图像的特征信息进行彼此比较，并且可以找到能够提高它们之间的一致率的信息(校正信息)，则可以输出该信息，从而使得用户能够容易地理解恢复布局的方法并且进行恢复作业。

在本实施例中，由于可以以时间序列方式对作业期间的图像的特征信息进行比较，可以使用形状或强度梯度来估计稳定的特征信息，并且可以推荐特征的提取范围，因此存在用户能够高效地进行设置的优点。另外，通过在图像处理程序的执行期间适当地确认特征提取结果或位置偏移量，并且在超过指定的容许误差量的情况下停止系统操作，可以抑制作业的麻烦。另外，通过进行位置偏移量的图形表示或趋势分析等来输出处理结果，这有助于系统的维护。

如上所述，在图像处理装置中，将作业用装置的示教点和拍摄图像彼此相关联地存储，在进行作业或布局的恢复时显示与示教点相对应的与作业用装置的操作相关联的图像等，并且进行作业恢复的辅助处理。根据本实施例，用户可以在更短的时间内终止用于恢复作业的校正。

在上文中，尽管基于本发明的优选实施例描述了本发明，但本发明不限于这些具体的实施例，并且在本发明的技术范围中还包括不脱离本发明的主旨或范围的各种实施例。可以适当地组合上述实施例中的一部分。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

本申请要求2018年11月26日提交的日本专利申请2018-220364的权益，其全部内容通过引用包含于此。

Claims (12)

1.一种图像处理装置，包括：

控制单元，其被配置为使用表示作业用装置的位置或姿势的示教点来控制所述作业用装置的操作；

存储单元，其被配置为将由摄像单元拍摄到的所述示教点处的图像数据和与所述示教点相对应的所述作业用装置的位置或姿势的数据彼此相关联地存储；以及

图像处理单元，其被配置为通过对在进行作业恢复时由所述摄像单元拍摄到的所述作业用装置的示教点处的第一图像的数据、以及从所述存储单元读出的所述示教点处的第二图像的数据进行处理，并且显示所述第一图像和所述第二图像，来进行用于辅助作业恢复的设置的辅助处理。

2.根据权利要求1所述的图像处理装置，其中，所述图像处理单元通过提取所述第一图像的特征和所述第二图像的特征、计算所述第一图像的特征和所述第二图像的特征的位置或姿势之间的偏移量、并且显示作业恢复的恢复率，来进行所述辅助处理。

3.根据权利要求2所述的图像处理装置，其中，所述图像处理单元通过显示所述第一图像的特征和所述第二图像的特征之间的一致率或类似度作为所述恢复率来进行所述辅助处理。

4.根据权利要求2所述的图像处理装置，其中，所述图像处理单元通过使用所述偏移量而获得并显示用于提高所述恢复率的校正方向来进行所述辅助处理。

5.根据权利要求1至4中任一项所述的图像处理装置，其中，所述图像处理单元进行控制，以在所述辅助处理中显示具有图像显示区域的设置画面，并且在所述图像显示区域中以叠加方式显示所述第一图像和所述第二图像。

6.根据权利要求5所述的图像处理装置，其中，所述图像处理单元进行控制，以将通过图像处理所提取的图像的特征信息与所述第一图像和所述第二图像一起显示在所述图像显示区域中。

7.根据权利要求5所述的图像处理装置，其中，所述图像处理单元进行控制，从而以时间序列方式对所述作业用装置的作业期间的拍摄图像的特征信息进行比较来估计特征信息，并且在所述图像显示区域中显示特征信息的提取范围。

8.根据权利要求5所述的图像处理装置，其中，所述图像处理单元进行用于在所述图像显示区域中显示所述第一图像的特征量大于阈值的区域、并且接受作业恢复的调整或设置的改变的处理。

9.根据权利要求2所述的图像处理装置，其中，在所述作业用装置的作业期间正在执行图像处理程序时，在所述偏移量落在指定的误差量之外的情况下，所述图像处理单元进行用于停止执行所述图像处理程序的处理。

10.根据权利要求9所述的图像处理装置，其中，所述图像处理单元通过重复执行所述图像处理程序并且监视图像的特征提取结果或所述偏移量的改变，来输出图形表示或趋势分析的处理结果。

11.一种图像处理装置的控制方法，所述控制方法包括：

使用表示作业用装置的位置或姿势的示教点来控制所述作业用装置的操作；

进行控制以使用摄像单元拍摄所述示教点处的被摄体的图像；

将由所述摄像单元拍摄的所述示教点处的图像数据和与所述示教点相对应的所述作业用装置的位置或姿势的数据彼此相关联地存储在存储单元中；以及

通过对在进行作业恢复时由所述摄像单元拍摄到的所述作业用装置的示教点处的第一图像的数据、以及从所述存储单元读出的所述示教点处的第二图像的数据进行处理，并且显示所述第一图像和所述第二图像，来进行用于辅助作业恢复的设置的处理。

12.一种非暂时性记录介质，其存储有图像处理装置的控制程序，所述控制程序使计算机进行所述图像处理装置的控制方法的各个步骤，所述控制方法包括：

使用表示作业用装置的位置或姿势的示教点来控制所述作业用装置的操作；

进行控制以使用摄像单元拍摄所述示教点处的被摄体的图像；

将由所述摄像单元拍摄的所述示教点处的图像数据和与所述示教点相对应的所述作业用装置的位置或姿势的数据彼此相关联地存储在存储单元中；以及

通过对在进行作业恢复时由所述摄像单元拍摄到的所述作业用装置的示教点处的第一图像的数据、以及从所述存储单元读出的所述示教点处的第二图像的数据进行处理，并且显示所述第一图像和所述第二图像，来进行用于辅助作业恢复的设置的处理。

Images