CN114928691A - 图像处理装置及方法、生产系统、产品制造方法和介质 - Google Patents

Abstract

本发明涉及图像处理装置及方法、生产系统、产品制造方法和介质。为了提供能够支持摄像单元的安装的图像处理装置，图像处理装置包括：图像获取单元，其被配置为获取图像；特征信息提取单元，其被配置为从图像中提取特征信息；以及第一生成单元，其被配置为基于由特征信息提取单元提取的特征信息来生成用于支持摄像单元的安装的安装支持特征信息。

Description

图像处理装置及方法、生产系统、产品制造方法和介质

技术领域

本发明涉及一种能够支持摄像单元的安装的图像处理装置等。

背景技术

为产品的生产、质量检验和运输等目的，已知用于控制诸如把持装置、机器人臂、以及其它致动器和输送装置等的各种机器人装置的技术。此外，还已知用于使用诸如照相机等的摄像装置来对对象(在下文中，称为工件)进行摄像、通过对所记录的图像数据进行图像处理来监控装置和操作状况、测量工件的位置、以及进行检查的技术。

通过使用上述摄像装置和图像处理装置，通过视觉观察、手动装配和手动对齐等来进行的测量和检查变得不必要。此外，可以进行机器人装置的控制指示和操作校正之间的切换，由此可以构造一种进行更多不同期望的操作的系统。

此外，通过进行图像处理的处理详情之间的切换，可以对一张图像数据进行不同的处理，由此可以进行通过分析多个不同区域来进行的测量和检查、图像处理和监控。在使用诸如照相机等的摄像装置和图像处理装置来实现生产系统和输送系统的视觉功能的情况下，以适当位置和适当姿势将照相机安装在系统内部并保证针对工件的期望构图以及与其它装置的相对位置关系是重要的。

此外，存在如下情况，例如，根据产品的流通量增大和生产量增大，关于如上所述的输送系统和生产系统，仅使用最初已构造的系统不能完成处理，而需要在相同生产工厂或其它生产工厂等内部复制(增设)等同规范的系统。在这样的复制系统中，所复制的输送系统和生产系统的处理速度、准确度和可靠性需要等于或大于最初被构建的输送系统和生产系统的处理速度、准确度和可靠性。由此，在任意多次地重复照相机的位置和姿势的调整、图像处理装置的操作的检验和系统的操作的检验等的处理的同时，重复复杂的调整直到获得所需要的处理速度、准确度和可靠性为止。

例如，在日本特开2020-109915中，包括了判断图像内部的被摄体的类型的判断单元，以及根据被摄体的判断结果，通过参考过往摄像方法的历史向用户推荐适用于对被摄体进行摄像的摄像参数和构图。为此，可以帮助用户，使得通过参考专业摄影师所拍摄的图像和过往拍摄图像可以顺利地拍摄具有相似构图的图像。

然而，在日本特开2020-109915中，虽然可以通过参考在之前对被摄体进行摄像等时的摄像参数的历史来在GUI上推荐下一摄像参数等，但是难以将这样的技术应用于例如需要高准确度的图像测量和图像处理的制造系统。换言之，难以将这样的技术应用于为了以子像素至几个像素为单位地再现摄像位置而需要进行照相机的安装以及位置和姿势的调整的系统。

例如，可以考虑通过采用机器人将诸如几厘米的电子电路等的工件从托盘中取出的处理，或者在输送系统中对齐要在排出装置上被对齐的工件的处理。在该情况下，通常，图像测量装置所需要的准确度经常为几微米至几毫米。

在这种情况下，在没有适当安装照相机的情况下，图像测量结果中会包括大的测量误差，由此机器人不能高准确度地把持工件，以及不能良好地进行对于传送带的码垛(对齐)。此外，存在工件掉落、简单把持工件失败、或者在一些情况下由于工件的不期望的把持姿势而导致工件与附近的输送装置等相碰撞并被损坏的可能性。

为此，在这样的输送系统或者生产系统中，照相机和各种外围装置(机器人、输送装置和工作台等)的相对位置关系和姿势是重要的，并且需要如上所述的复杂的调整操作。

此外，不仅在复制系统中而且还在最初被构建的系统中，例如由于根据一些问题或人为失误等而导致照相机位置偏差或者在系统操作期间发生照相机故障，因此可能需要替换照相机。同样在这种情况下，存在需要如上所述的复杂的调整操作的问题。

在本技术领域中，需要提供一种能够解决上述问题并支持摄像单元的安装的图像处理装置。

发明内容

根据本公开的一个方面，为了解决上述问题，一种图像处理装置包括至少一个处理器或电路，所述至少一个处理器或电路被配置为用作：图像获取单元，其被配置为获取图像；特征信息提取单元，其被配置为从所述图像中提取特征信息；以及第一生成单元，其被配置为基于由所述特征信息提取单元提取的所述特征信息来生成用于支持摄像单元的安装的安装支持特征信息。

根据本公开的另一方面，一种图像处理装置包括至少一个处理器，所述至少一个处理器被配置为用作：信息获取单元，其被配置为获取用于支持摄像单元的安装的安装支持特征信息；搜索单元，其被配置为从由所述摄像单元获取的图像中搜索由所述信息获取单元获取的所述安装支持特征信息；以及安装支持单元，其被配置为基于由所述搜索单元进行的搜索的结果来支持所述摄像单元的所述安装。

根据本公开的又一方面，一种生产系统包括至少一个处理器，所述至少一个处理器被配置为用作：信息获取单元，其被配置为获取用于支持摄像单元的安装的安装支持特征信息；搜索单元，其被配置为从由所述摄像单元获取的图像中搜索由所述信息获取单元获取的所述安装支持特征信息；安装支持单元，其被配置为基于由所述搜索单元进行的搜索的结果来支持所述摄像单元的安装；测量单元，其被配置为获取用于测量对象物的位置和姿势的测量特征信息，以及通过从由所述摄像单元获取的所述图像中搜索所述测量特征信息来测量所述对象物的位置和姿势；以及把持单元，其被配置为基于由所述测量单元进行的测量的结果来把持所述对象物。

根据本公开的又一方面，一种产品制造方法包括：获取用于支持摄像单元的安装的安装支持特征信息；从由所述摄像单元获取的图像中搜索在安装支持特征信息的获取中所获取的所述安装支持特征信息；基于在所述安装支持特征信息的搜索中所获取的搜索结果来支持所述摄像单位的安装；获取用于测量对象物的位置和姿势的测量特征信息，以及通过从由所述摄像单元获取的所述图像中搜索所述测量特征信息来测量所述对象物的位置和姿势；基于在所述位置和所述姿势的测量中所获取的测量结果来把持所述对象物；以及对在所述对象物的把持中所把持的所述对象物进行预定处理。

根据本公开的又一方面，一种图像处理方法包括：获取图像；从所述图像中提取特征信息；以及基于所提取的特征信息生成用于支持摄像单元的安装的安装支持特征信息。

根据本公开的又一方面，一种图像处理方法包括：获取用于支持摄像单元的安装的安装支持特征信息；从由所述摄像单元获取的图像中搜索在安装支持特征信息的获取中获取的所述安装支持特征信息；以及基于在所述安装支持特征信息的搜索中所获取的搜索结果来支持所述摄像单元的安装。

根据本公开的又一方面，一种非易失性计算机可读存储介质其被配置为存储计算机程序，所述计算机程序用于供图像处理装置执行以下步骤：获取图像；从所述图像中提取特征信息；以及基于所提取的特征信息生成用于支持摄像单元的安装的安装支持特征信息。

根据以下参考附图对典型实施例的描述，本公开的其它特征将变得明显。

附图说明

图1是根据实施例的包括图像处理装置101的生产系统的整体配置图。

图2是详细示出根据实施例的对系统控制装置102所设置的系统操作的示例的流程图。

图3是根据实施例的图像处理装置101的框图。

图4是示出根据实施例的用于生成图像处理程序307的流程图生成画面的图。

图5是示出根据实施例的搜索图案登记画面的图。

图6是示出根据实施例的用于生成安装支持信息的序列的流程图。

图7是示出根据实施例的照相机安装支持所使用的特征信息的图。

图8是根据实施例的复制系统的整体配置图。

图9是示出图8中所示的复制系统的搜索图案登记画面的图。

图10是示出根据实施例的照相机安装支持画面的图。

图11是示出根据实施例的照相机安装支持处理的流程图。

图12是用于在图5中点击了测试执行按钮511的情况下的工件的位置/相位测量结果的检验画面。

图13是示出根据实施例的在照相机位置调整之后的测量结果检验画面的图。

具体实施方式

在下文中，参考附图，将使用实施例来描述本公开的偏好模式。在各个图中，相同附图标记被应用于相同的构件或元件，并且将省略或简化重复说明。

图1是包括根据实施例的图像处理装置101的生产系统的整体配置图。

示出了系统控制装置102，以及通过从系统控制装置102向图像处理装置101、装载装置103、机器人104和排出装置105发送指示来控制生产系统的整体操作。此外，系统控制装置102具有诸如内置在其中的CPU等的计算机，以及具有内置在其中的未示出的存储器，并且系统控制装置102通过从上述存储器读取计算机程序来控制整个生产系统。

图1中所示的生产系统具有使用装载装置103来装载托盘109的装载步骤，其中托盘109上装载了作为多个对象物的工件110。此外，使用图像处理装置101和作为第一摄像单元的照相机106来测量工件110的位置和姿势。换言之，图像处理装置101获取用于测量工件的位置和姿势的测量特征信息，并且通过在摄像单元所获取的图像中搜索上述测量特征信息来测量工件的位置和姿势。此外，工件110由作为把持单元的机器人104基于测量结果来把持，并且从托盘109中被取出，以及对工件110进行在排出装置105中对齐、以及加工处理等，由此制造产品。

图像处理装置101具有诸如内置在其中的CPU等的计算机，以及具有内置在其中的未示出的存储器，以及图像处理装置101用作从上述存储器读取计算机程序并设置或进行各种类型的图像处理的图像处理单元。照相机106用作图像获取单元并且通过进行图像拍摄来获取对象物的图像。虽然在图1中照相机106和图像处理装置101作为分立主体被布置在系统内部，但是照相机106和图像处理装置101可以一体地配置。

相似地，图像处理系统由图像处理装置101和系统控制装置102组成，以及图像处理装置101和系统控制装置102可以一体地形成。此外，虽然图像处理装置101和系统控制装置102可以装载在与机器人104或照相机106等的壳体相同的壳体中，但是在此实施例中将它们描述为分立主体。

机器人104具有内置在其中的机器人控制装置，从外部接收控制指示，并且控制诸如机器人的轴和机器人手(端部执行器)等的把持机构的操作。在此实施例中，虽然机器人被示出为具有多关节型机器人的配置，但是可以使用单轴驱动装置、转动台或正交机器人等作为驱动装置。此外，机器人可以是通过组合包括把持机构和吸附机构等的机器人手(端部执行器)而配置的系统装置。

架台107用于固定照相机106和照相机位置调整台108。照相机位置调整台108可以根据来自外部的信号或者手动地通过进行轴调整来调整照相机的空间位置和姿势。

在此实施例中，系统控制装置102将被描述为进行对于整个系统的控制指示。然而，可以根据来自被布置在图1中所示的生产系统的外部的操作装置的控制指示来操作生产系统，或者该生产系统可被配置为基于预先设置时间表来被自动操作。此外，基于由图像处理装置101等所进行的处理的结果，可以通过随后阶段的其它装置来进行其它图像处理，或者可以基于图像处理的结果通过上述其它装置来控制机器人。

图像处理装置101和照相机106被配置为能够使用摄像参数以任意序列进行摄像，处理拍摄图像并且输出其结果。照相机106可以包括用于改变诸如平摇、俯仰、变焦倍率、焦距、光圈和信号放大率等的各种摄像参数的机构。此外，根据来自图像处理装置101或系统控制装置102的指示，照相机能够通过控制上述平摇和俯仰来控制摄像角度，以及改变诸如变焦倍率、焦距、光圈和信号放大率等的各种摄像参数。

在存在用于工业用途等的如图1那样的许多重复操作的生产系统中，图像处理装置被用作机器人和输送装置的视觉感测，由此通过系统控制装置102预先设置整个生产系统的操作。此外，也预先设置优选于图像处理的摄像的定时、参数和构图等。

图2是详细示出对根据实施例的系统控制装置102所设置的系统操作的示例的流程图。根据本实施例的系统操作根据通过用户使用系统控制装置102所生成的流程图的计算机程序来操作。

然而，在通过图1中未示出的系统控制程序生成装置生成了系统控制操作之后，该程序可以被下载到系统控制装置102的存储器中。可替代地，可以以通过用户在GUI上选择或者参数被调整等的形式提供包括通常为了各个功能或为了各个目的所准备的流程图的组合的计算机程序的封装功能。

在图2中所示的流程图中，系统控制装置102通过装载装置103装载托盘109(其上装载了工件110)，并且使用图像处理装置101和照相机106来测量工件110的位置和姿势。该流程图详细示出将工件110在由机器人104把持的同时从托盘109提取并且在排出装置105中对齐工件的处理的流程的示例。

在步骤S201中系统控制装置102开始系统操作。此外，根据从系统控制装置102到装载装置103的控制指示的发送，在步骤S202中装载装置103将台移动预定进给量。据此，其上装载了工件110的托盘109被运送到预定位置。

在步骤S203中，系统控制装置102将图像处理指示发送至图像处理装置101。图像处理装置101使用照相机106所获取的对象物的图像进行图像处理，并且测量工件110的位置和姿势。然后，当可以由图像处理装置101确定出工件110的位置和姿势时，使图像处理装置101利用其结果对系统控制装置102进行回复。此时，图像处理装置101还可以使用照相机106所获得的图像来测量工件110的类型，并且根据需要改变排出位置或进行排序。可替代地，可以使用图像处理来进行工件110中是否存在诸如缺陷等的质量问题的质量检查。

此外，在无法检测到工件110的情况下，系统控制装置102可判断为装载装置的进给量不足并且进一步进给装载装置103的台。此外，可以根据步骤S203的处理结果来判断工件110或托盘109的状况，以及例如，在工件彼此重叠或者从托盘溢出的情况下，系统控制装置102可以改变机器人104的控制速度或者停止系统的操作。

在步骤S204中，根据工件110的位置和姿势的回复信息，系统控制装置102进行将机器人104移动至工件110的上侧或者转动手(端部执行器)的校正操作。

在步骤S205中，系统控制装置102将机器人104的手移动到工件可以被手(端部执行器)把持到的位置处，例如移动到工件110的右上侧等。

在步骤S206中，系统控制装置102通过控制手的开/合来使工件110被把持住(被拾取)。此时，例如在图1中，每次把持一个工件。然后，在步骤S207中，使用机器人104将工件移动到排出装置105的上侧。此外，在步骤S208中，与在流程图的步骤S211中的重复次数的确定以及从外部获得的装载量相对应地，系统控制装置102将机器人104移动到预定设置位置的正上方。

在步骤S209中，系统控制装置102通过控制手的开/合将工件110设置(放置)到预定设置位置。然后，在步骤S210中，系统控制装置102使机器人移动(撤回)到运送架台的上侧。

在步骤S211中机器人的操作数目小于预定次数N1(在图1所示的情况中，N1＝2)、并且系统控制装置102判断为未完成与被水平对齐的一行相对应的全部两个工件110的设置的情况下，处理回到步骤S203。然后，再次进行步骤S203至S211的操作。另一方面，在操作数目达到预定次数N1的情况下，系统控制装置102判断为已经完成了与一行相对应的工件的设置，并且处理前进到步骤S212。

在步骤S212中，在操作数目小于预定次数N2(在图1中所示的情况中，N2＝3)，以及判断为未完成与托盘上的三行相对应的全部工件110的设置(否)的情况下，处理返回到步骤S202，并且装载装置103使托盘前进一行。然后，进行步骤S202至S212。

在步骤S212中，在操作数目已经达到预定次数N2(在图1中所示的情况中，N2＝3)、并且判断为已经完成了与三行相对应的全部工件110的设置(是)的情况下，处理前进到步骤S213。据此，完成了在一个托盘上的工件的把持以及对这些工件的设置操作。针对下一托盘，再次进行图2中所示的全部流程。

此外，在这样的生产系统的情况下，摄像装置和图像处理装置可以不仅用作如上所述的机器人的视觉感测，还可以用于监控系统的操作状况的目的。例如，可以进行与被装载到装载装置103或者托盘109中的工件是否已毁坏、机器人104是否已经进行了偏离期望操作的移动、或者在操作区域附近是否存在阻碍操作的情况有关的持续监控。

图3是根据实施例的图像处理装置101的框图。图像处理装置101包括作为使用液晶面板等来配置的显示单元的输入/输出显示装置301以及使用键盘和鼠标、触摸面板、输入操作控制器和手势输入装置等来配置的用于各种操作输入的操作输入装置302。输入/输出显示装置301和操作输入装置302主要配置用户接口。

此外，图像处理装置101可以不仅连接至照相机106还可以连接至照相机位置调整台108等以用于控制。此外，可附加布置由卤素灯或发光二极管灯等组成的照明装置以用于摄像，以及可以连接外部存储装置以用于增加存储区域。通过布置在图像处理装置101的内部总线上的接口303来连接上述单元。基于适用于与上述单元的通信的规范来配置接口303。例如，接口由网络接口和串行通信接口等组成。

图像处理装置101包括作为由通用微处理器组成的计算机的CPU以及由图像处理处理器等组成的运算操作单元304等作为控制装置(其是图像处理的处理主体)。运算操作单元304通过内部总线(数据总线、地址总线及其它控制线等)连接至存储单元305。存储单元305例如由ROM、RAM或者诸如E(E)PROM等的非易失性存储装置组成。可替代地，可使用外部存储装置(HDD或者由未示出的半导体元件组成的存储装置、以及可以连接至接口303的外部存储装置等)等来配置存储单元305。

存储单元305的数据保存区域306由存储单元305中的RAM区域、或者外部存储装置的文件区域和虚拟存储区域等组成。数据保存区域306用于暂时存储处理数据，并且用于存储图像处理的设置参数等。此外，作为用于进行根据本实施例的图像处理的计算机程序的图像处理程序307存储在存储单元305中。

图像处理程序307根据使用操作输入装置302等所进行的各种操作来改变图像处理的设置等以及进行图像处理。此外，图像处理程序307可以在数据保存区域306中保存改变的详情或者删除改变的详情。此外，图像处理程序307可以通过接口303相对于外部控制装置发送/接收数据，图像处理程序307可以连接至外部存储单元等并且将数据存储在外部存储单元中，以及从外部存储单元接收数据作为输入。

图像处理程序307例如由实现以下功能的软件组成。首先，图像处理308是实现以下图像处理的图像处理程序的主要部分。图像处理308中使用图像处理库309。图像处理库309例如是被静态或动态链接的库，并且安装在存储单元305中。根据通过操作输入装置302等所进行的各种操作来设置确定图像处理308的行为的图像处理设置310。

此外，实现以下功能的输入/输出(I/O)例程包括在图像处理程序307中。换言之，I/O例程包括外部装置控制311、保存数据生成312、从外部控制装置等的接受指示313，以及用于在RAM区域中以及运算操作单元304的缓存区域中暂时存储数据的暂时存储处理314等。此外，I/O例程包括显示画面生成315、保存数据输出316以及从操作输入装置302的接受操作317等。上述功能中的各自以应用(实用)程序或者由被静态或动态链接的库组成的子例程的形式安装在存储单元305中。

通过执行图像处理程序307，图像处理装置101例如可以控制照相机106以及使用图像处理装置的运算操作单元进行图像处理。此外，图像处理装置101可以从操作输入装置302接收用户操作，或者从外部控制装置等接收指示。

根据这样的操作或指示，运算操作单元304可以调用图像处理程序307或库的各个功能，进行运算操作处理，以及将图像处理的结果发送至系统控制装置102。此外，运算操作单元304可以将图像处理的结果积累(记录)在外部存储装置中。此外，运算操作单元304可以将预先存储在程序中的画面配置和图像处理的结果合成为画面，并在输入/输出显示装置301中显示合成后的画面。

图4是示出用于生成根据实施例的图像处理程序307的流程图生成画面的图。通过执行此处生成的流程图，图像处理装置101实现用于进行图2中示出的系统控制中的图像处理的步骤S203。此外，可以在输入/输出显示装置301中显示图4中示出的画面。根据本实施例的图像处理程序307根据通过用户使用图像处理装置101所生成的流程图来操作。

作为另一实施例，可以采用如下的形式：在通过图1中未示出的图像程序生成装置生成了图像处理程序307之后，图像处理程序307被复制到图像处理装置101的存储单元305中的形式。可替代地，可以以如下的形式来提供图像处理程序：用户在GUI上选择包括为了各个功能或各个目的而通常预先准备的图像处理流程图的组合的封装功能、或者调整参数。

在图4中，示出了流程图的处理部分的列表401。用户使用操作输入装置302的鼠标对该部分进行从列表401到流程图区域402的拖放，并且使用线来接合该部分，从而生成流程图。

示出了图像处理流程图403的一个示例。这里，作为示例将描述在系统控制的操作流程中图像处理203的内部处理。

在步骤S404中，图像处理装置101从系统控制装置102接受图像处理请求。此时，可以指定图像处理的流程图，并且可以指定用于执行的图像处理参数和所使用的图像数据的时间。

在步骤S405的图像数据获取处理中，图像处理装置101获取作为照相机106所摄像的对象物的工件的图像数据。除此之外，还可以从照相机中积累的记录数据中获取用于处理的图像。例如，要被获取的数据可以是积累的记录数据中的最近的图像数据或者从系统控制装置指定的测量时间的图像数据。

在步骤S406中，生成的流程图在获取的图像数据中检查(搜索)工件的有/无。例如，可以从图像处理库309中获取有/无检查方法，并且该有/无检查方法可以是例如使用亮度信息和颜色信息来提取工件、以及然后根据工件的面积是否等于或大于预定值来确定有/无的方法。可替代地，可以使用浓度分布和亮度梯度的形状特征信息通过图案匹配来计算有/无，以及可以提取亮度梯度等于或大于预定梯度的像素作为边缘信息，并且可以使用边缘信息的位置、重心和倾斜度等来检查有/无。

在步骤S407中，判断工件有/无。在根据步骤S406中所获得的检查结果判断为工件不存在(否)的情况下，在步骤S409中记录该结果，并且在步骤S410中利用该结果对系统控制装置102进行回复。在步骤S407中判断为工件存在(是)的情况下，处理前进到步骤S408。

在步骤S408中，测量工件的位置和相位。作为用于测量工件的位置和相位的方法，可以使用如下方法，该方法读取并获得预先记录并保存在记录介质上的工件的浓度分布的局部图案图像等的测量特征信息，并且从输入图像中进行对于测量特征信息具有强相关系数的位置和相位的搜索。可替代地，可以安装被配置为从图像中提取诸如工件等的亮度梯度的形状等的特征信息并且基于形状特征信息生成用于测量对象物的位置和姿势的测量特征信息的单元。然后，可以使用测量特征信息进行输入图像上的具有强相关系数的位置和相位的搜索。

在用于记录结果的步骤S409中，记录诸如在步骤S404至S408等中获取的执行结果和判断结果等的数据。也可以存储用于接受特定执行选项的处理请求和详情的步骤S404中的开始时间。此外，可以将在用于获取图像、图像拍摄时间和图像大小、摄像参数以及照相机信息等的步骤S405中获得的图像数据存储为元数据。此外，可以存储在步骤S406的检查中获得的工件的提取面积信息、用于检查的浓度信息和梯度信息、以及颜色信息等。作为步骤S406的执行结果，可以记录工件的检测位置和检测相位、以及相关值等。

以这种方法生成的流程图的执行结果通过由图像处理装置101进行的暂时存储处理314被暂时存储，或者被存储在数据保存区域306中。此外，执行结果可以根据需要而被参考或删除，可以通过接口303而被发送或接收，或者可以通过连接至外部存储单元等而被存储或者输入。在步骤S410中，输出步骤S409的结果或该结果中的一些，并且流程图结束。当输出来自步骤S409的结果时，该结果可以发送到系统控制装置102，可存储在图像处理装置的数据保存区域306中，或者可以输出到输入/输出显示装置301并且在输入/输出显示装置301中显示。

此外，当用户点击按钮411时，图像处理装置101可以生成用于执行在流程图区域402中所显示的流程图的图像处理程序307。此外，通过向列表框412输入新的流程图名称，用户可以向此系统增加新的流程图。此外，用户还可以使用列表框412选择要显示在流程图区域402中的流程图。当点击按钮413时，图像处理程序的生成结束，并且流程图区域402关闭。

此外，当用户双击作为图像处理流程图403的部分的任何一个步骤时，可以进行向用于设置该部分的详细处理的设置画面的转变。这里，将参考图5使用用于测量位置和相位的步骤S408的设置画面作为示例来描述用于登记用于实现位置/相位测量功能的特征图案的方法。

此外，将描述如下的方法，该方法用于在用户安装初始(第一)系统、然后在第二次或后续安装等同系统的情况下，或者在用户安装初始系统、然后改变照相机的安装状态等的情况下，生成用于支持安装操作的支持数据。

图5是示出根据实施例的搜索图案登记画面的图，并且将参考图5描述用于进行作为工件的位置/相位测量步骤(部分)的步骤S408中的图像处理的设置的用户界面。

在位置/相位测量步骤S408中，进行输入图像上的具有强相关系数的位置和相位的搜索，或者使用作为对象物的工件的浓度分布的局部图案图像等来提取工件的亮度梯度的形状特征信息。通过使用这样的特征信息，进行输入图像上的具有强相关系数的位置和相位的搜索。将参考图5中示出的画面来描述用于登记用于搜索的图案图像(测量特征信息)的GUI。

在图5中示出用于选择用于设置的“设置图像”(变为用于设置图像处理的基准的图像)的输入候选的下拉菜单的按钮502。在图5中选择照相机106作为“使用的照相机”，由此将“照相机图像”作为“设置图像”显示，并且当用户点击按钮502时，将照相机106所获取的拍摄图像显示为“照相机图像”。除此之外，已预先保存在图像处理装置101的数据保存区域306中的图像的文件名可以以列表的形式显示为选项，并且可以允许用户选择这些文件名中的一个。当用户从此列表中选择字符串时，所选择的图像被登记为设置图像。

在图5中，“照相机106”被选择为“使用的照相机”，并且“照相机图像”被选择为“设置图像”，照相机106所获取的拍摄图像被用作设置图像。当点击按钮502时，进行用于获取图像的图像获取步骤，并且在图像显示区域503中显示照相机106所获取的拍摄图像(照相机图像)作为设置图像。

接着，用户设置作为用于设置搜索图案(测量特征信息)的区域的搜索图案设置区域504。对于该设置，首先使用按钮505选择区域形状。

作为区域形状，可以使用按钮505从下拉菜单中选择诸如矩形、圆形、椭圆形或环形等的形状。此外，可以进行使用这些形状的组合的区域添加和区域去除等。此外，可以使用诸如鼠标等的操作输入装置302来设置自由的形状。在此实施例中，作为示例，将描述设置了矩形搜索图案设置区域504的情况。

作为对于矩形区域的设置项506，设置了矩形的左上x坐标/y坐标和右下x坐标/y坐标。这里，使用具有拍摄图像的左上侧作为原点以及具有水平方向的x轴并且具有垂直方向的y轴的图像坐标系统。作为用于指定区域的设置项506的方法，除直接输入数值的方法之外，还可以安装提供递增/递减按钮以及通过点击该递增/递减按钮来调整设置项等的功能。

此时，搜索图案设置区域504以叠加在图像显示区域503上的形式被显示，并且在任何时间被更新并显示。据此，用户可以在检验图像显示区域503中的设置图像的同时设置搜索图案设置区域504。这里，使用图5中所示的GUI的上述设置步骤用作用于生成基于上述提取的特征信息来测量对象物的位置和姿势所使用的测量特征信息的第二生成单元(第二生成步骤)。

接着，将描述用于使用搜索图案设置区域504来设置搜索方法的序列。

这里，例如，使用搜索方法507将“形状特征”选择为搜索方法。基于“形状特征”的搜索方法是如下的方法：提取工件的亮度梯度的形状特征信息，并且使用该特征信息进行输入图像上的对于搜索图案设置区域504具有强相关系数的位置和相位的搜索。

作为搜索方法，除此之外，还可以选择“标准化相关”和“匹配”等中的至少一个。这里，“标准化相关”是工件的浓度分布的局部图案信息等被标准化、并且进行对于搜索图案设置区域504具有强相关系数的位置和相位的搜索的方法。此外，“匹配”是例如在照相机106可以获取工件的三维信息的情况下提取三维形状作为模型、在三维空间内部进行三维形状的搜索、并且使相互距离最小化的方法。此外，诸如“形状特征”、“标准化相关”和“匹配”等的搜索方法中的至少之一可被配置为可以基于作为摄像单元的照相机的模型类型而选择。

此外，在图5中示出的示例中，选择“形状特征”作为搜索方法，并且在搜索图案设置区域504和工件之间的相关值超过预定阈值的情况下判断为形状特征已能够被检测到。例如，在相关值超过在预先指定的检测阀值508中所设置的数值的情况下，判断为形状特征已能够被检测到。

除此之外，在搜索图案设置区域504可变换至特定放大/缩小范围509或者透视畸变(摆动和俯仰畸变)范围510的情况下，可以对于图像内部进行工件的搜索，并且可以检测到进入阈值范围的工件。在图5中所示的示例中，将放大/缩小范围509设置为0.9倍至1.1倍，由此可以在允许与所设置的搜索图案的大小差小于百分之10的情况下从图像内部检测到相似工件。

据此，即使在与工件的距离不明确或者存在工件的个体差异的情况下，也可以进行工件的鲁棒的检测。此外，因为透视畸变范围510被设置为±5°的范围，因此可以在相对于所设置的搜索图案允许±5°的摆动和俯仰(绕横轴转动、绕纵轴转动或绕图像转动等)的情况下从图像的内部检测出相似工件。据此，即使在工件倾斜的情况下，也可以进行工件的鲁棒的检测。

在使用505至510的设置结束之后，当点击测试执行按钮511时，使用被选择为“使用的照相机”的照相机106进行摄像，对于所获取的图像进行工件的位置和相位的测量，并且可以检验工件的位置和相位的测量结果。

图12是当在图5中点击了测试执行按钮511时工件的位置/相位测量结果的检验画面。示出了使用在搜索图案设置区域504中所设置的搜索图案来在图像显示区域503的图像中检测相似的特征信息并且显示其结果的示例。

强调并显示已检测出与搜索图案的形状特征相似的形状特征的工件1201至1206。这里，虽然以从相似性(相关)最高到相似性最低的顺序分配ID，但是也可以以检测坐标的升序或降序来分配ID，或者可以基于检测序列等来分配ID。示出了已检测出与搜索图案的形状特征相似的形状特征的工件的数目1207。

窗口1208用于选择被分配给各个检测工件的ID，并且用于显示对于所选择的ID的详细检测信息。窗口1209显示与在窗口1208中所选择的ID有关的详细检测信息。作为检测工件1201的ID，在图12中的窗口1208中选择“1”，由此显示如下的结果，该结果表示作为搜索方法已经基于“形状特征”进行了搜索、以及作为得分的相关值是0.99、以及位置和转动相位的差几乎为0。

当在此状态下点击取消按钮513时，如上述所设置的设置以及设置改变部分被丢弃。

另一方面，当点击OK按钮512时，如上述所设置的搜索图案设置区域504的设置、与位置/相位测量有关的按钮505至透视畸变范围510的设置、以及图12中所示的检测结果等与图像处理程序307等相关联地被保存在数据保存区域306中。当执行程序时或者当进行到图像处理设置画面的转变时读取这些信息。

此外，在当点击OK按钮时照相机安装支持信息保存按钮514被勾选的情况下，进行生成用于支持照相机的安装的安装支持信息的处理，并且还与图像处理程序307相关联地保存处理的结果。这将在下面进行描述。

图6是示出根据实施例的用于生成照相机安装支持信息(用于安装的支持信息)的序列的流程图。图6中示出的序列示出了在勾选了图5中示出的照相机安装支持信息保存按钮514的状态下点击OK按钮512的情况下，图像处理装置101的运算操作单元304进行的流程。

此外，可以在输入了照相机图像的情况下进行图6中示出的流程，或者可以在调整搜索图案设置区域504期间在后台进行图6中示出的流程。通过这样的配置，可以并行进行诸如轮廓提取、阴影计算和标准化等的预处理，降低了用户的操作待机时间，并且可以平滑地生成照相机安装支持信息。

图像处理装置101的运算操作单元304在步骤S601中开始流程，并且在步骤S602中提取周边特征。在步骤S602中，对于在照相机输入图像中设置了搜索图案的搜索图案设置区域504的周边区域，提取对应于形状特征的特征信息。从周边区域提取特征信息的原因是：在不仅工件的特征而且其周边环境的特征也被用作用于进行照相机安装的信息的情况下，准确度更高的可能性高。

作为周边区域的范围，在运算操作单元304的能力和时间存在余地的情况下，可以从包括搜索图案设置区域504的区域(例如，整个图像显示区域503)中提取特征信息。此外，可以在与预先设置的数目相对应的像素的范围之内提取特征信息。

换言之，从图像的第一区域中提取用于生成安装支持特征信息的特征信息，并且从图像中与第一区域不同的第二区域中提取用于生成测量特征信息的特征信息。此外，优选第一区域大于第二区域。

此外，可以从不包括搜索图案设置区域504的周边区域中提取特征量。这里，步骤S602例如用作从图像中提取对象物的或者该对象物周边的特征信息的特征信息提取单元(特征信息提取步骤)。

此外，如果在周边的预定范围之内发现特征，则可以在加宽特征提取区域的同时加宽区域、直到在周边发现特征为止。

图7是示出根据实施例的用于照相机安装支持的特征信息的图，并且示出了从设置了搜索图案的整个图像中提取的形状特征(特征信息)701的示例。

接着，在图6中所示的步骤S603中，将提取出的特征701分离。可以基于诸如位置和形状、梯度强度、阴影平均和阴影偏差等的各类信息来考虑分离方法，并且这样的选项可以被配置为可在GUI或设置文件中被选择。这里，为了简化说明，假定基于提取出的特征701的连接性(连续性)来进行分离。例如，“特征信息”702的列是基于连接性的特征701的分离结果。

在步骤S604中评价分离出的特征701。作为评价指标，使用当调整照相机的位置(换言之，照相机和s工件之间的相对位置)时做出贡献的信息。例如，可以基于诸如特征形状的大小、阴影偏差的大小以及相对于生成了工件模型的图像上的搜索图案设置区域504的距离信息等的各类信息来考虑评价，并且这样的各类信息的选择可以被配置为在GUI或设置文件中进行。这里，步骤S604用作评价由提取单元所提取的特征信息的评价单元。

这里，作为上述信息，假定基于分离出的特征701的图像上的大小来确定评价排名(优先级)。换言之，在步骤S604中评价分离出的特征701的大小，然后在步骤S605中基于该大小进行特征排序，以及确定要被优先用于照相机调整支持的序列。据此，生成根据评价被分配了优先级的安装支持特征信息。

这里，步骤S605用作基于提取的特征信息生成用于支持摄像单元的安装的安装支持特征信息的第一生成单元(第一生成步骤)。

示出通过基于连接性来分离特征信息并且使用大小信息作为评价指标进行排序而生成的安装支持特征信息的图像图表702。在图像图表702中，ID以优先级的顺序而被排序。

步骤S606是保存生成的安装支持特征信息的处理。换言之，保存诸如如上述所设置的搜索图案设置区域504的设置以及与位置和相位测量有关的按钮505至透视畸变范围510的设置等的搜索信息。此外，通过点击OK按钮512，诸如在步骤S602至S605中已提取和计算的安装支持信息等的搜索信息也与图像处理程序307相关联地被保存在图像处理装置101的数据保存区域306等中。此后，在步骤S607中流程结束。

此外，上述安装支持信息包括特征701和特征信息702中所表示的特征信息、各特征信息的大小、位置、相位、强度梯度信息、颜色信息、评价值、用于照相机安装支持的优先级以及图像显示区域503中所显示的原始图像等。此外，安装支持信息被用作用于搜索对象物的搜索信息。

此外，如上所述的设置信息和安装支持信息可以保存在暂时存储处理314和数据保存区域306中，同时通过接口303相对于外部被发送/接收。此外，上述信息可以存储在连接的外部存储装置等中或者可以从外部存储装置输入。

接着，将参考图8至图13描述用于使用安装支持信息和照相机所获取的拍摄图像以及图像处理来复制与图1中所示的生产系统等同的系统、并支持在相同的生产系统中安装第二照相机和后续照相机的方法。此外，通过评价照相机的安装位置和姿势的再现性、输出评价结果以及还输出等同的图像处理结果来进行支持。

图8是根据实施例的复制系统的整体配置图，并且示出图1中所示的生产系统的复制系统。

图8中所示的图像处理装置801至工件810具有与图1中所示的图像处理装置101至工件110相同的配置，并且由此将省略对其的说明。此外，图8中的系统的控制进行与图2中所示的操作流程相似的操作流程。第二摄像单元806用作获取对象物的图像的第二摄像单元。

此外，图像处理装置的内部配置和操作流程图生成画面的说明、以及用于登记搜索图案的方法等具有与图3至图5中所示的配置相似的配置。假定在图1中所示的生产系统中所设置的各类设置信息和诸如安装支持信息等的搜索信息通过经由接口303的与外部存储单元等的连接而被保存。

在此状态下，在图8中所示的复制系统中的图像处理装置801至工件810的物理排列和特征等用与图1中所示的生产系统的特征和准确度等同的特征和准确度来再现的情况下，在图像处理装置801的图像处理中可以进行与图4中所示的流程图403的处理相似的处理。此外，还可以以这种方法进行包括图像处理流程的图2中所示的流程，由此可以容易地复制(增设)具有与图1中所示的操作能力等同的操作能力的生产系统(输送系统)。

然而，实际上，即使在当复制生产系统(输送系统)时根据系统的平面图进行布置和装置生产的情况下，也可能会在各个装配处理中存在装配误差，或者可能会存在对于各个装置或各个构件的个体差异。为此，这样的误差在整个系统中被积累，并且对于复制系统来说在装配之后立即再现相似的系统操作是极其困难的。由此，在系统装配之后，对于各个装置和各个构件需要进行伴随着为了再现目标系统操作的反复试错的很多调整操作和操作检验操作。

图9是示出图8中所示的复制系统的搜索图案登记画面的图表。该画面的组成元素502至513与图5中所示的组成元素502至512相同，并且由此将省略对其的说明。此外，通过读取在当初始系统设置时已被保存的图像处理流程图403的各个处理块中已被设置和保存的处理参数，来再现图像处理装置的各类设置数据。

此外，通过读取被保存为搜索信息的数据，来获得搜索图案设置区域504的设置以及与位置和相位的测量有关的505至510的参数设置、换言之用于测量对象物的位置和姿势的测量特征信息等。

然后，图像处理装置801通过从照相机所获得的图像中搜索上述测量特征信息，来测量上述工件的位置和姿势。此外，通过进行诸如基于作为测量结果的上述对象物的位置和姿势使用上述机器人804把持上述对象物并将对象物输送至输送装置805等的预定位置的处理、或进行预定处理的处理等的预定处理，来制造期望的产品。

然而，此时，在复制系统中的照相机806中，例如存在照相机806和工件810之间或者安装有工件810的托盘809和输送装置803之间的相对位置关系没有在物理上被高精确度再现的高可能性。为此，如图9所示，搜索图案设置区域504的位置和工件810的位置没有彼此重合。由此，在图9所示的状态下，不能进行适当的设置，并且即使在进行了图像处理流程图403所表示的图案搜索(位置和相位的测量)以及图像处理和系统的情况下，也不能再现期望的操作。

在这种情况下，系统安装人员需要通过使用照相机的调整台808等来调整照相机806的位置和姿势、或者通过在某些情况下调整架台807和装载装置803等的布置等，使得可以进行期望的图像测量，来进行调整。此外，在进行调整时，还需要在调整照相机和各种周边装置(机器人、输送装置和工作台等)之间的相对位置关系的同时多次重复由照相机获得的拍摄图像的检验、图像处理装置的操作的检验和系统的操作的检验等。为此，为了确保所请求的处理速度、准确度和可靠性，需要大量的精力和时间。

与此相反，在此实施例中，可以实现这样的摄像装置的高效的安装操作。

图10是示出根据实施例的照相机安装支持画面的图，以及图11是示出根据实施例的照相机安装支持处理的流程图。

在下文中，将参考图10和图11描述根据本实施例的用于支持照相机安装位置的调整的程序的操作。

示出了用于支持照相机的安装的画面1001，以及可以在图9中所示的设置画面501上提供用于开始照相机安装支持处理程序的按钮，以及照相机安装支持处理程序可以被配置为在图像处理的设置没有良好进行等的情况下开始。此外，可以在用于生成像图4中所示的流程图区域402那样的图像处理的流程图的画面上提供用于开始照相机安装支持处理程序的按钮，以及可以在图4中的各个图像处理的设置之前进行照相机的安装位置的调整以及安装状态的检验。

按钮1002用于选择作为安装支持对象的图像的输入候选，并且该图像在此处被配置为照相机图像，并且可以读取已预先通过照相机摄像的存储图像等。

按钮1003用于指定作为安装支持对象的照相机，并且这里选择了照相机806。在连接了多个照相机的图像处理系统中，多个照相机可以被配置为可选择，并且可以根据所选择的照相机来进行用于支持照相机的安装的信息源(在图7中预先被保存的信息)之间的切换。

显示区域1004用于以叠加的方式显示照相机806的输入图像和用于支持照相机的安装的信息。

复选框1005表示是否进行照相机安装支持处理，并且当复选框被勾选时，进行照相机安装支持处理。例如，在用于照相机安装支持的图像处理的运算操作负荷高以及图像处理导致其它图像处理和操作中的阻碍的情况下，可以仅在进行照相机安装调整时开启此复选框。将参考图11中所示的流程图详细描述照相机安装支持处理的详情。

按钮1006用于选择用于照相机安装支持处理的使用特征ID。换言之，按钮1006用作基于图像来设置搜索信息的设置单元，并且可以基于评价单元所进行的评价的结果(优先级)来将预定特征信息设置为搜索信息。

这里，如在图7中所示的特征信息702等中所述，使用特征ID是与分配了特定评价值的特征信息相关联的ID编号。

结果1007是在输入图像上对与使用特征ID1相对应的安装支持特征信息进行搜索的结果，并且以被叠加在输入图像中的形式被显示。

输入图像上的安装支持特征信息的搜索的结果1008被表示为数值等。在此实施例中，如图5中示出的搜索方法507所示，将形状特征信息用作用于测量位置和相位的图像处理，并且因此形状特征相应地被选择为用于支持照相机的安装的安装支持特征信息。然而，作为安装支持特征信息，可以使用局部阴影信息等，并且在照相机使用能够获得三维形状的摄像元件或立体照相机等的情况下，可以使用三维形状信息。

此外，作为使用形状特征信息进行图像搜索的结果1008，显示搜索得分(相似性、相关值)、最接近一致时的放大/缩小倍率、水平位置、垂直位置和各个轴向上的转动值等。用户在参考此数值的同时调整照相机的位置。通常，优选进行调整，使得与已预先被保存的用于照相机安装支持的特征信息相一致的程度变为最大，换言之，搜索得分尽可能最高，以及放大/缩小倍率尽可能接近1.0，以及各个轴向的偏差量尽可能接近0。

此外，在此实施例中，虽然可以在参考搜索得分、倍率和各个轴向上的偏差量的同时进行调整，但是可以显示这三条信息中的至少一条信息，并且可以在参考该至少一条信息的同时进行调整。

引导信息1009在水平方向被设置为X轴、垂直方向被设置为Y轴以及图像形成面的深度方向被设置为Z轴的情况下定义输入图像的轴。然而，可以根据使用的照相机和图像处理库的情况来设置轴的方向。

视觉支持信息1010和1011支持照相机的安装位置。例如，可以像视觉支持信息1010那样使用箭头方向和箭头长度等来显示在X轴和Y轴方向上的偏差的方向、各个轴向中心的转动方向的偏差的方向以及这些偏差的量，或者可以像视觉支持信息1011那样以叠加方式来显示作为目标的原始图像的特征信息的位置。据此，用户可以在视觉上获得用于调整照相机的安装的支持信息。以这种方式，通过显示基于搜索结果的摄像单元的调整方向和调整量中的至少一个，可以缩短调整处理。

复选框1012用于执行自动进行照相机的安装的安装自动调整程序。通过勾选复选框1012，自动调整功能被开启。此功能例如可以在照相机806或照相机的调整台808包括平摇、俯仰、位置调整和变焦等的调整机构(调整单元)的情况下被使用。此外，调整单元可以被配置为能够调整平摇、俯仰和变焦中的至少一个。

在操作这样的调整机构的同时，进行自动调整以使得在1008中所表示的各种数值变得适当。此外，图像处理系统可以被配置为自动检测照相机806或者照相机的调整台808中是否存在上述调整功能(调整机构)，并且在判断为存在调整功能的情况下将复选框1012显示为可勾选。另一方面，在判断为不存在调整功能的情况下，复选框1012可以被显示为灰色或者可不被显示以使得不能进行勾选。

当进行调整时，1008的搜索得分、倍率和各个轴向上的偏差量等的数值中的至少一个变为预定值或者小于预定值的方向可被配置为通过扫描调整机构的整个可移动范围而被找到。可替代地，这样的数值的加权总和值变为预先设置的值或者小于预先设置的值的方向可以被配置为被找到。可替代地，可以使用调整机构的调整量以及随着这样的调整而改变的1008的各种数值等来进行比例控制或者PID的反馈控制等。

示出了在进行照相机安装支持时所设置的特征信息与搜索结果之间的误差的目标值1015，并且例如这里在各个轴向上的位置偏差的量在5个像素之内的情况下，判断为成功(调整完成)。

OK按钮1013用于在能够在参考显示1015的同时进行优选的照相机调整的情况下，结束照相机安装调整支持并且结束此画面1001。

在自动调整的情况下，按钮1013可以被配置为在误差收敛于目标值1015时自动被开启。在手动调整的情况下，用户可以检验出误差收敛于目标值1015之内，并且通过开启按钮1013来结束调整。当调整结束时，可以一同记录此时的使用特征ID、照相机图像、与使用的照相机有关的信息以及各种数值信息(安装支持信息)1008等。

取消按钮1014用于在即使使用预先准备的特征信息和搜索条件等也无法进行优选的照相机调整的情况下，结束照相机安装调整支持并且结束此画面1001。

接着，如上所述，图11是示出根据实施例的照相机安装支持处理的流程图，并且通过图像处理系统内部的计算机执行存储器中存储的计算机程序来进行图11中示出的各个步骤的处理。

如图11中所示，照相机安装支持处理在步骤S1101中开始。开始定时是在图10中所示的示例中点击了照相机安装支持处理的复选框1005的定时。然而，除此之外，还可以将支持画面1001打开的定时等设置为开始定时。

在步骤S1102中读取用于搜索的特征信息。由于在图10中通过按钮1006选择ID1作为使用特征ID，因此如图7的702所示，读取具有最大的大小的ID1的特征信息等作为安装支持特征信息。换言之，步骤S1102用作获取用于支持摄像单元的安装的安装支持特征信息的信息获取单元(信息获取步骤)。

在步骤S1103中输入作为处理对象的图像。换言之，从照相机806或存储装置输入作为处理对象的图像。

步骤S1104是提取输入图像的特征的处理，并且从自照相机等输入的图像中提取用于搜索处理的特征信息。这里，因为“形状特征”被选择为搜索方法，因此使用图像的亮度和梯度信息等来提取形状特征信息。

步骤S1105是特征信息搜索处理，并且基于在步骤S1104中提取的特征信息，进行与在步骤S1102中读取的安装支持特征信息具有强相关系数的特征信息的位置、相位和放大/缩小倍率等的搜索。换言之，步骤S1105用作从自摄像单元中获取的图像中搜索由信息获取单元所获取的安装支持特征信息的搜索单元(搜索步骤)。当进行搜索时，与在图5中所示的用于测量位置和相位的设置画面501上登记搜索图案设置区域504时相似地，可以使用与位置和相位的测量有关的按钮505至透视畸变范围510的参数设置。

可替代地，可以使用与501相似的设置画面或者设置文件来进行图案搜索。此外，如上所述，搜索单元可以基于安装支援特征信息使用“形状特征”、“标准化相关”和“匹配”等之中的至少一个搜索方法来进行搜索。

以这种方式，即使在输入图像、工件或者测量环境中存在偏差的情况下，也可以鲁棒地进行对特征信息的搜索。换言之，在初始系统和环境之间存在微小差别的情况下，检测特征信息，并且可以输出用于校正照相机的位置的数值和支持信息。

步骤S1106是结果输出处理。

像图10中所示的安装支持信息1008那样，在步骤S1105中获取的搜索结果被输出并显示为数值。此时，步骤S1105用作显示由搜索单元所获取的搜索结果的显示单元，并且用作基于搜索单元所获取的搜索结果来支持上述摄像单元的安装的安装支持单元(安装支持步骤)。

在步骤S1107中，评价在步骤S1106中获取的搜索结果。在结果是优选(例如，安装支持信息1008在目标值1015的范围之内)的情况下，判断为是，并且照相机安装支持处理结束。另一方面，在评价不是优选的情况下，判断为否，并且处理前进到步骤S1109。

在步骤S1109中，检验照相机安装支持处理的复选框1005是否开启。在复选框开启的情况下，判断为是，并且处理前进到步骤S1110。另一方面，在复选框关闭的情况下，判断为否，处理前进到步骤S1108，并且处理流程结束。

在步骤S1110中，检测照相机806或照相机的调整台808中是否存在能够调整照相机的方向、位置和变焦的调整功能，以及在存在上述调整功能的情况下，判断照相机的安装自动调整的复选框1012的勾选是否开启。

然后，在步骤S1110中判断为是的情况下，处理前进到照相机位置自动调整步骤的步骤S1111。另一方面，在判断为关闭的情况下，判断为否，并且处理前进到手动位置调整步骤S1112。

在步骤S1111中，进行照相机位置自动调整。在照相机806或照相机的调整台808中存在调整照相机的平摇、俯仰和变焦中的至少一个的调整功能(调整机构)的情况下，指示调整的量。

如上所述，在扫描调整机构的整个可移动范围的情况下，例如在使用适当的区间值改变指示值的同时获取评价值，并且调整可以在评价值变为预定值或小于预定值的时间点结束。可替代地，可以控制调整以使得调整继续直到获取到最好的评价值为止。换言之，步骤S1111用作基于搜索结果来进行摄像单元的位置或姿势的调整的自动调整单元，并且调整平摇、俯仰和变焦中的至少一个。

在步骤S1111中使用反馈控制等的情况下，可以基于先前评价值和指示值之间的关系来确定下一个指示值，并且调整可以在评价值变为预定值或者小于预定值的时间点或者在评价值收敛于预定宽度之内的时间点结束。在步骤S1111中，当进行自动调整指示时，处理回到步骤S1103中的图像输入。

在步骤S1112中，对照相机的位置进行手动调整。例如，在照相机的调整机构或者台的调整机构是手动调整机构的情况下、或者在需要调整到自动调整机构的可移动范围之外的情况下等，进行该调整。

此外，在图11中示出的流程图中，在照相机的调整(步骤S1111或者步骤S1112)之后，进行图像输入步骤S1103。然而，代替前进到步骤S1103，可以判断评价值是否已经改善。在没有改善等的情况下，可以将用于搜索的使用特征ID切换为另一ID，并且可以进行读取步骤S1102。在这种情况下，优选改变ID编号以使得特征信息的大小减小。

以这种方式，可以在尝试支持多个照相机的安装的特征信息切换的同时调整照相机的安装位置，由此可以进行优选的照相机的安装。

图13是图像测量结果检验画面。在图5、图9和图12中，相同附图标记代表相同部件，由此将省略对其的说明。

为了进行与第一系统的图像处理装置801的图像处理相似的图像处理，第二和后续(复制)系统中的各自的图像处理装置801调用图4中所示的流程图区域402。然后，通过点击流程图区域402内部的作为位置/相位测量处理单元的步骤S408，可以打开图13中所示的设置画面501。此外，在图10中所示的照相机安装支持画面1001上，可以进行设置使得在满足了安装目标值1015的时间点进行至下一步骤的自动转变。

在图13中，在图像显示区域503中显示在点击了测试执行按钮511时工件的位置和相位的测量结果。换言之，使用对初始(第一)系统的图像处理装置101所设置的搜索图案设置区域504来进行搜索，从照相机806所获取的拍摄图像的内部中检测相似的特征信息，并且显示其结果。

1301至1306强调并显示已检测到与搜索图案相似的形状特征的工件，并且与图12相似地，以搜索得分(相似性、相关)最高到搜索得分最低的顺序分配ID。根据工件布置在物理位置限制弱的托盘809上以及个体差异等的影响，1303具有最高得分，由此将ID1分配给该工件。根据此时的检测信息1309，可以理解，在X轴方向到Z轴方向上存在小的转动偏差量(照相机与托盘和工件可以彼此面对)，以及测量该位置以使得托盘的放置具有高准确度。

通过进行这样的结果检查显示，可以容易地检验出在第二或后续系统或者相同系统中的第二和后续照相机安装操作中获取了与初始(第一)系统的图像处理的结果等同的图像测量结果。这里，明显地，输出数值是否在优选的误差范围中取决于系统所需要的性能等。

如上，在此实施例中，通过使用在初始(第一)输送系统或生产系统中所调整的照相机和图像处理装置，可以生成并记录用于测量的搜索图案(测量特征信息)。

此外，为了支持第二和后续的等同系统或者相同系统中的第二和后续照相机的安装，可以进行安装支持特征信息的生成、存储和发送等。由此，可以显著地减少用于安装照相机的调整操作。

此外，从图像中搜索特征信息，由此在位置和相位的测量中，可以调整和设置诸如505至510等的搜索参数。换言之，当基于搜索信息进行搜索时，可以调整用于搜索的参数，由此即使在输入图像、工件和测量环境中存在偏差的情况下，也可以鲁棒地检测出特征信息。由此，可以灵活地支持照相机的安装。

此外，作为特征信息，例如可以分析诸如特征形状的大小、阴影偏差的大小以及与生成了工件模型的图像上的搜索图案设置区域504的偏差信息等的特征信息的各类信息。由此，可以通过根据生产系统的处理的特征(例如，背景、工件流入的条件、以及装置的架台和布置等)评价用于进行照相机的安装的特征信息并且输出评价值，来支持用户的判断。

然后，在第二和后续等同系统中或者在相同系统中的第二和后续照相机安装操作中，读取或接收上述安装支持特征信息和设置数据。然后，通过使用这样生成的安装支持特征信息、设置数据、照相机所获取的拍摄图像、以及图像处理，评价照相机的安装位置和姿势的再现性，并且可以输出评价结果或者可以输出等同的图像处理结果。据此，用户可以在检验评价结果(数值和支持显示等)即再现性的同时进行照相机的安装，由此不需要重复用于照相机的调整和系统操作的检验的试错，以及可以显著地减少调整步骤的数目。

此外，基于特征信息的评价结果，可以再次选择用于进行照相机安装支持的安装支持特征信息，由此可以容易地选择根据系统配置、图像处理过程的环境和背景信息等的优选特征信息。此外，可以减少用户的试错。

此外，在照相机或者照相机的调整台包括平摇、俯仰和变焦等的调整机构的情况下，用户可以在手动调整照相机位置之前尝试自动调整，可以减少调整操作。

此外，在照相机或者照相机的调整台包括平摇、俯仰和变焦等的调整机构的情况下，例如还可以在手动操作这样的调整机构的同时调整照相机的布置以使得图10中所示的1008所表示的各种数值变为优选。由此，可以缩短用户针对照相机的位置和姿势的手动调整处理。

此外，可以容易地检验出在第二或后续复制的生产系统中或者在相同生产系统中的第二和后续照相机安装操作中获取了与初始(第一)生产系统的图像处理的结果等同的图像测量结果。

此外，根据本实施例，可以有效地复制包括基于由上述图像处理装置的测量单元所获取的测量结果来把持对象物的把持单元的生产系统。

此外，可以有效地复制包括基于由图像处理装置的测量单元所获取的测量结果来把持对象物的把持步骤、以及对在把持步骤中被把持的对象物进行预定处理的处理步骤的产品制造方法。由此，可以显著地缩短在通过复制初始(第一)生产系统而获取的第二和后续生产系统中的或者在相同生产系统的第二和后续照相机安装操作中的调整操作处理，并且可以显著地改善生产(产品制造)系统的复制效率。

尽管参考典型实施例描述了本公开，但应理解，本公开不限于所公开的典型实施例。以下权利要求的范围将符合最宽泛解释以包含全部这些变型和等效结构和功能。此外，作为根据本实施例的控制的一部分或整体，实现如上所述的实施例的功能的计算机程序可以通过网络或者各种存储介质被提供给图像处理装置。然后，图像处理装置的计算机(或者CPU或MPU等)可以被配置为读取并执行该程序。在这种情况下，该程序和存储该程序的存储介质构成本公开。

本申请要求于2021年2月12日提交的日本专利申请2021-020421的权益，其通过引用整体被并入本文。

Claims (20)

1.一种图像处理装置，其包括至少一个处理器，所述至少一个处理器被配置为用作：

图像获取单元，其被配置为获取图像；

特征信息提取单元，其被配置为从所述图像中提取特征信息；以及

第一生成单元，其被配置为基于由所述特征信息提取单元提取的所述特征信息来生成用于支持摄像单元的安装的安装支持特征信息。

2.根据权利要求1所述的图像处理装置，还包括评价单元，所述评价单元被配置为评价所述特征信息，其中，所述第一生成单元生成与由所述评价单元进行的评价相对应的所述安装支持特征信息。

3.根据权利要求2所述的图像处理装置，其中，所述第一生成单元与所述评价相对应地向所述特征信息分配优先级。

4.根据权利要求1所述的图像处理装置，还包括第二生成单元，所述第二生成单元被配置为基于由所述特征信息提取单元提取的所述特征信息来生成用于测量对象物的位置和姿势的测量特征信息。

5.根据权利要求1所述的图像处理装置，其中，从所述图像的第一区域中提取出用于生成所述安装支持特征信息的特征信息，以及从与所述第一区域不同的第二区域中提取出用于生成测量特征信息的特征信息。

6.根据权利要求5所述的图像处理装置，其中，所述第一区域大于所述第二区域。

7.一种图像处理装置，其包括至少一个处理器，所述至少一个处理器被配置为用作：

信息获取单元，其被配置为获取用于支持摄像单元的安装的安装支持特征信息；

搜索单元，其被配置为从由所述摄像单元获取的图像中搜索由所述信息获取单元获取的所述安装支持特征信息；以及

安装支持单元，其被配置为基于由所述搜索单元进行的搜索的结果来支持所述摄像单元的安装。

8.根据权利要求7所述的图像处理装置，其中，所述搜索单元能够调整用于所述搜索的参数。

9.根据权利要求7所述的图像处理装置，其中，所述安装支持单元包括显示单元，所述显示单元被配置为显示由所述搜索单元进行的搜索的结果。

10.根据权利要求9所述的图像处理装置，其中，所述显示单元显示基于所述搜索的结果的所述摄像单元的调整方向和调整量中的至少一个。

11.根据权利要求9所述的图像处理装置，其中，所述安装支持单元包括自动调整单元，所述自动调整单元被配置为基于所述搜索的结果来调整所述摄像单元的位置或姿势。

12.根据权利要求11所述的图像处理装置，其中，所述自动调整单元调整平摇、俯仰和变焦中的至少一个。

13.根据权利要求7所述的图像处理装置，其中，所述搜索单元基于所述安装支持特征信息，使用形状特征、标准化相关和匹配之中的至少一种搜索方法来进行所述搜索。

14.根据权利要求7所述的图像处理装置，其中，所述搜索单元能够基于所述摄像单元的类型来选择搜索方法。

15.根据权利要求7所述的图像处理装置，还包括测量单元，所述测量单元被配置为获取用于测量对象物的位置和姿势的测量特征信息，从由所述摄像单元获取的所述图像中搜索所述测量特征信息，以及测量所述对象物的位置和姿势。

16.一种生产系统，其包括至少一个处理器，所述至少一个处理器被配置为用作：

信息获取单元，其被配置为获取用于支持摄像单元的安装的安装支持特征信息；

搜索单元，其被配置为从由所述摄像单元获取的图像中搜索由所述信息获取单元获取的所述安装支持特征信息；

安装支持单元，其被配置为基于由所述搜索单元进行的搜索的结果来支持所述摄像单元的安装；

测量单元，其被配置为获取用于测量对象物的位置和姿势的测量特征信息，以及通过从由所述摄像单元获取的所述图像中搜索所述测量特征信息来测量所述对象物的位置和姿势；以及

把持单元，其被配置为基于由所述测量单元进行的测量的结果来把持所述对象物。

17.一种产品制造方法，包括：

获取用于支持摄像单元的安装的安装支持特征信息；

从由所述摄像单元获取的图像中搜索在安装支持特征信息的获取中所获取的所述安装支持特征信息；

基于在所述安装支持特征信息的搜索中所获取的搜索结果来支持所述摄像单元的安装；

获取用于测量对象物的位置和姿势的测量特征信息，以及通过从由所述摄像单元获取的所述图像中搜索所述测量特征信息来测量所述对象物的位置和姿势；

基于在所述位置和所述姿势的测量中所获取的测量结果来把持所述对象物；以及

对在所述对象物的把持中所把持的所述对象物进行预定处理。

18.一种图像处理方法，包括：

获取图像；

从所述图像中提取特征信息；以及

基于所提取的特征信息来生成用于支持摄像单元的安装的安装支持特征信息。

19.一种图像处理方法，包括：

获取用于支持摄像单元的安装的安装支持特征信息；

从由所述摄像单元获取的图像中搜索在安装支持特征信息的获取中获取的所述安装支持特征信息；以及

基于在所述安装支持特征信息的搜索中所获取的搜索结果来支持所述摄像单元的安装。

20.一种非暂时性计算机可读存储介质，其被配置为存储计算机程序，所述计算机程序用于供图像处理装置执行以下步骤：

获取图像；

从所述图像中提取特征信息；以及

基于所提取的特征信息来生成用于支持摄像单元的安装的安装支持特征信息。

Images