CN106062819B - 图像处理装置、图像传感器、图像处理方法 - Google Patents

Abstract

一种图像处理装置具有：存储部，其存储有将多个模型的模型图像缩小而得到的模型模板；缩小部，其以各模型的缩小率使输入图像缩小；搜索部，其基于被缩小后的输入图像和模型模板搜索输入图像中的模型的位置。所述多个模型中的至少两个模型的以同一缩小率对模型图像进行缩小而得到的模型模板存储在所述存储部中。所述至少两个模型共用通过所述缩小部进行的处理。由此，能够从输入图像高速地识别或认知多个模型。

Description

图像处理装置、图像传感器、图像处理方法

技术领域

本发明涉及从输入图像识别或认知模型的技术。

背景技术

在FA(Factory Automation：工厂自动化)领域中，为了测量和监视在流水线上输送的测量对象物(以下，还称为“工件”)，广泛使用称为图像传感器(视觉传感器)的传感器设备。图像传感器由照相机和图像处理装置构成，具有如下功能，即，通过与预先登录的标准物体(以下，还称为“模型”或者“样本”)之间的匹配处理，检测图像内的工件，进行需要的信息的提取和测量等工作。图像传感器的输出例如用于工件的识别、检查以及分类等各种用途。

可是，作为FA领域的最近的趋势，增加了如下的生产方式，即，在一个流水线上混合输送多种工件，按照种类应用不同的处理。例如，在混装商品的装箱流水线中，进行如下的作业，即，在传送机上随机输送不同种类的工件，通过拾取机械手按照种类进行拾取，然后装箱至正确位置。另外，在多品种少量生产的流水线中，在同一流水线上制造形状、颜色、尺寸等规格稍微不同的系列商品，有时由于各个规格的不同，加工方法和检查内容等也不同。

在这样多种工件混合在一起的流水线(以下，称为“混流流水线”)中，需要从图像认知(以及检测或检索)多个模型。公知有如下技术，在针对1个模型进行物体认知时，为了缩短处理时间、减少使用的存储容量、提高精度等，缩小模型图像，生成模型模板(modeltemplate)，对以同样的缩小率将输入图像缩小后的图像进行搜索处理(专利文献1)。尤其，在登录模型大的情况下，该方法带来的效果显著。缩小率可以以如下方式确定，例如使模型包含的特征点数变为规定数量，或登录区域的面积变为规定尺寸。

在混流流水线中，由于识别多个模型，所以上述的搜索处理需要反复进行模型的数量次。因此，存在在模型数量增加时处理时间与其成正比增大的问题。

另外，公知有如下方法，即，在针对1个模型，利用多重解析度图像(金字塔图像(pyramid image))进行物体检测时，将模板的缩小率b与金字塔图像的缩小率a设定为b＝a^N(N为2以上的整数)(专利文献2)。根据该方法，能够减少金字塔图像的张数以及用于对照的模板的数量，因此能够高速进行检测处理。但是，该方法不适于应该进行检测的物体的种类不同的情况。

现有技术文献

专利文献

专利文献1：日本特开2010-67246号公报

专利文献2：日本特开2006-202184号公报

发明内容

发明要解决的问题

本发明是鉴于上述情况而提出的，其目的在于提供一种能够高速地从输入图像识别或认知多个模型的图像处理技术。

用于解决问题的手段

为了达到上述目的，在本发明中，各模型的缩小率尽量确定为相同的值，针对同一缩小率的模型，使输入图像的缩小处理等前处理共用，减少其实施次数，由此使处理高速化。

具体地说，本发明的从输入图像识别或认知多个模型的图像处理装置，具有：存储部，其针对多个模型存储有将模型图像缩小而得到的模型模板，缩小部，其以各模型的缩小率将输入图像缩小，以及搜索部，其基于被缩小后的输入图像和模型模板，搜索输入图像中的模型的位置；所述多个模型中的至少两个模型的以同一缩小率对模型图像进行缩小而得到的模型模板存储在所述存储部中，所述至少两个模型共用通过所述缩小部进行的处理。

图像缩小处理是对全部图像都进行的处理，所以是计算量比较大的处理。尤其，输入图像的解析度越高，计算量越大。在本发明中，使模型的缩小率相同，针对缩小率相同的模型的图像缩小处理共用，由此能够减少整体的计算量。另外，在作为前处理进行图像缩小处理以外的平滑化处理和特征量算出处理等时，也能够将这些处理共用。

优选，本发明的图像处理装置还具有：模型图像输入部，其接受多个模型的模型图像的输入；暂定缩小率确定部，其针对所述多个模型图像分别确定暂定缩小率；缩小率确定部，其基于所述多个模型图像的暂定缩小率，确定各模型图像的缩小率；以及模型模板生成部，其将所述多个模型图像分别以对应的缩小率缩小生成模型模板，并将模型模板与所述缩小率关联起来存储在所述存储部中。

优选，暂定缩小率确定部针对各模型图像按照规定的基准将适宜的缩小率确定为暂定缩小率。缩小率越高，处理越被高速化，但是若缩小率过高，则识别或者认知的精度下降。因此，对于各模型图像存在以权衡处理速度和精度的方式得到的适当的缩小率。暂定缩小率是在这种考虑下的适当的缩小率，例如，能够按照如下的基准确定，即，使模型包含的特征点数量设定为规定数量的基准；将模型图像的面积设定为规定尺寸的基准。

为了根据暂定缩小率求出实际的缩小率，例如，能够以如下方式求得。即，缩小率确定部以组内的暂定缩小率的偏离量为规定的阈值以下的方式将所述多个模型图像分组，针对各个组确定缩小率。组内的暂定缩小率的偏离量例如能够由暂定缩小率的标准偏差或方差等表示。该分组处理(聚类处理)能够利用k-means法等任意的聚类算法进行。另外，该分组处理可以循环地进行分组，找出满足上述基准的分类。此时，适用于各组内的模型图像的缩小率例如能够确定为该组内的模型图像的暂定缩小率的平均值、中央值或最频值等。

作为根据暂定缩小率求出实际的缩小率的其他的方法，例如，还存在如下的方法。即，缩小率确定部存储有预先确定的多个缩小率，将预先确定的多个缩小率中的与模型图像的暂定缩小率对应的缩小率确定为该模型图像的缩小率。优选将与暂定缩小率对应的缩小率设定为预先确定的多个缩小率中的与暂定缩小率最接近的缩小率。在此，接近的基准能够适宜设定，例如，能够采用单纯差或平方差等。另外，优选将与暂定缩小率对应的缩小率设定为预先确定的多个缩小率中的暂定缩小率以上的最小的缩小率或者暂定缩小率以下的最大的缩小率。

此外，本发明能够适用具有上述结构的至少一部分的图像处理装置。另外，本发明还能够适用于具有拍摄物体的照相机和图像处理装置的图像传感器。

另外，本发明还能够适用于用于生成模型模板的图像处理装置。即，本发明的一个方式的针对多个模型生成模型模板的图像处理装置，具有：模型图像输入部，其接受多个模型的模型图像；暂定缩小率确定部，其分别针对所述多个模型图像确定暂定缩小率；缩小率确定部，其基于所述多个模型图像的暂定缩小率，确定各模型图像的缩小率；模型模板生成部，其将所述多个模型图像分别以对应的缩小率缩小生成模型模板；以及输出部，其将所生成的模型模板与对应的缩小率一起输出。如上所述，实际的缩小率的确定方法能够采用基于暂定缩小率分组的方法，或从预先确定的缩小率中选择对应的缩小率的方法。

另外，本发明能够适用于包含上述处理的至少一部分的图像处理方法，或者用于使计算机执行该方法的程序，或者非暂时性存储该程序的计算机能够读取的记录介质。只要上述结构以及处理不产生技术上的矛盾，就能够相互组合，构成本发明。

发明的效果

根据本发明，能够从输入图像高速识别或认知多个模型。

附图说明

图1是表示图像传感器的整体结构的图。

图2是表示图像传感器的硬件结构的图。

图3是表示图像识别装置的与种类辨别相关的功能结构的图。

图4是表示运转模式中的种类辨别处理的流程的流程图。

图5是表示图4的步骤S101中的搜索处理的详细内容的流程图。

图6是说明本实施方式的搜索处理的效果的图。

图7是表示登录模式中的模型登录处理的流程的流程图。

图8是表示图7的步骤S303中分组处理的详细内容的流程图。

图9是说明分组处理的图。

图10是表示登录模式中的模型登录处理的变形例的流程的流程图。

具体实施方式

本发明涉及如下的图像识别技术，即，在被赋予输入图像时，通过模板匹配的方式，从预先登录的多个登录图像(模型图像)中提取与输入图像最吻合的图像。该技术能够适用于FA用的图像传感器、计算机视觉(computer vision)、机器视觉(machine vision)等中的物体辨别工作，和从图像数据库内的图像组中检测与查询图像类似的图像的类似图像检索等。在以下所述的实施方式中，作为本发明的优选的一个应用例子，说明将本发明安装于在多种工件混合输送的混流流水线上进行各工件的检测以及种类辨别的FA用图像传感器中的例子。

(图像传感器)

参照图1，说明本发明的实施方式的图像传感器的整体结构以及适用场景。

图像传感器1是如下系统，其设置在生产流水线等上，利用拍摄制造物体(工件2)而得到的输入图像对工件2进行种类辨别等。此外，在图像传感器1中，除了种类辨别之外，还能够按照需要安装边缘检测、损伤、污染检测、面积、长度和重心测量等各种图像处理功能。

如图1所示，在传送机3上混合输送有多种工件2。图像传感器1从照相机11定期地或者在从PLC4送出触发信号的时刻取入图像，通过图像处理装置(图像识别装置)10对图像中包含的各工件2进行检测和种类辨别等处理，将结果显示在显示器12上，或者向外部装置(PLC4等)输出。PLC(Programmable Logic Controller：可编程控制器)4是对图像传感器1、传送机3、机械手等制造装置(未图示)进行控制的设备。

(图像传感器的硬件结构)

参照图2，说明图像传感器1的硬件结构。图像传感器1大致由照相机11和图像处理装置10构成。

照相机11是用于将工件2的图像取入图像处理装置10的设备，例如优选使用CMOS(Complementary Metal-Oxide-Semiconductor：互补式金属氧化物半导体)照相机或CCD(Charge-Coupled Device：电荷耦合元件)照相机。输入图像的格式(解析度、彩色或黑白、静止图像或动画、灰度、数据格式等)为任意的，可以按照工件2的种类和传感检测的目的适当选择。在将可视光像以外的特殊的图像(X射线图像、热红外图像等)或附加了进深(距离)信息的图像用于检查时，可以使用与该图像相对应的照相机。

图像处理装置10包括CPU(中央运算处理装置)110、作为存储部的主存储器112及硬盘114、照相机接口116、输入接口118、显示控制器120、PLC接口122、通信接口124以及数据读写器126。各部分经由总线128以能够相互进行数据通信的方式连接。

照相机接口116是对CPU110与照相机11之间的数据传送进行中转的部分，具有用于暂时存储来自照相机11的图像数据的图像缓冲存储器116a。输入接口118对CPU110与输入部(鼠标13、键盘、触摸屏、微动控制器(jog control)等)之间的数据传送进行中转。显示控制器120与液晶监视器等显示器12连接，对在该显示器12上的显示进行控制。PLC接口122对CPU110与PLC4之间的数据传送进行中转。通信接口124对CPU110与控制台(或者个人计算机、服务器装置)等之间的数据传送进行中转。数据读写器126对CPU110与作为存储介质的存储卡14之间的数据传送进行中转。

图像处理装置10能够由具有通用结构的计算机构成，CPU110读取执行存储在硬盘114或者存储卡14中的程序(指令码)，由此提供各种功能。这样的程序在存储于存储卡14或光盘等计算机能够读取的记录介质中的状态下，进行流通。

在将通用的个人计算机用作图像处理装置10时，除了用于提供本实施方式中所述的物体辨别功能的应用程序之外，还可以安装用于提供计算机的基本功能的OS(操作系统)。此时，本实施方式的程序通过利用OS所提供的程序模块，可以实现目的功能。此外，本实施方式的程序可以作为单个应用程序进行提供，也可以作为与其它程序的一部分结合的模块进行提供。另外，其功能的一部分或者全部可以由专用的逻辑电路代替。

(图像处理装置的功能结构)

图3示出图像处理装置所提供的与种类辨别(物体辨别)相关的功能结构。图像处理装置10作为与种类辨别相关的功能，具有图像输入部130、搜索部131、存储部137、识别部138、输出部139、模型图像输入部140和模型模板生成部141。图像处理装置10的CPU110执行计算机程序，来实现这些功能块。

在存储部137中存储通过模型模板生成部141生成的模型模板。模型模板是以规定的缩小率对从模型图像输入部140输入的模型图像实施图像缩小处理后，从缩小图像提取特征量而生成的。在本实施方式中，进行粗到精搜索(金字塔搜索)，因此针对一个模型图像生成以及存储缩小率阶梯性地提高的多个模型模板。此外，在本说明书中，将生成模型模板时的缩小率中的最低的缩小率称为模型模板的缩小率。

在存储部137中关联起来存储有模型模板137a和该模型模板的缩小率137b。在存储部137内存储有与辨别对象的物体种类对应的数量的模型模板。此外，模型模板生成部141以使各模型的缩小率尽量相同的方式确定缩小率。因此，在存储部137内至少存在两个(一组)缩小率相同的模型模板。

(图像处理装置的动作)

图像处理装置10具有：“运转模式”，取入在传送机3上输送的工件2的图像，进行工件2的搜索(对照)和种类辨别等处理；“登录模式”，其在运转模式之前，向图像处理装置10登录模型。模式的切换能够由用户任意进行。存储部137内的模型模板137a是在登录模式下通过模型模板生成部141生成的。

以下，在已经生成了模型模板137a的前提下，说明“运转模式”的动作，然后说明“登录模式”中的模型登录动作。

(1)运转模式

按照图4的流程图，说明运转模式中的各功能块的动作以及种类辨别处理的整体流程。

在输入来自PLC4的触发信号时，图像输入部130从照相机11取入图像(步骤S100)。接着，搜索部131从输入图像检测各个工件2(步骤S101)。参照图5说明步骤S101的搜索(对照)处理的详细内容。搜索部131提取存储在存储部137中的模型模板137a的缩小率137b，针对各个缩小率反复执行以下的步骤S201～S203的处理。该步骤S201～S203的处理是搜索处理的前处理。

在步骤S201中，图像缩小部132对输入图像进行与模型模板的缩小率相同的缩小率的图像缩小处理。接着，在步骤S202中，平滑化处理部133对被缩小的图像进行平滑滤波处理，来去除噪音。在步骤S203中，亮度梯度图像生成部134从进行平滑化处理后的图像生成亮度梯度图像。亮度梯度图像生成部134基于亮度梯度，从亮度梯度图像提取边缘或角等特征点。在本实施方式中进行粗到精搜索，因此以阶梯性使缩小率变高的方式，多次执行从缩小图像至生成亮度梯度图像的处理。

步骤S204～S206的处理是实际从输入图像搜索模型的处理，针对多个模型分别反复执行上述处理。在步骤S204中，粗到精搜索部135利用粗到精搜索法搜索模型。即，最初，粗搜索低解析度的图像，在确定了大致的位置后，利用高解析度的图像进行精细定位。粗到精搜索的层数可以为任意层数。根据这样的粗到精搜索，能够高速且高精度地进行定位。接着，在步骤S205中，附近排除部136实施附近排除处理。在步骤S204的搜索处理中，有时在搜索的结果中出现多个检测后补。此时，将位置和/或姿态相似的检测后补视为相同，留下任意一个将剩余的排除，由此省略对重复的检测后补的处理。这就是附近排除处理。在步骤S206中，搜索部131输出这样得到的输入图像中的模型的位置。通过以上处理，从输入图像中搜索登录在存储部137中的所有的模型的位置。

返回图4的流程图的说明。在步骤S102中，识别部138对通过搜索处理检测出的工件进行解析，辨别工件的种类。在对类似的模型进行检测的情况下，有时在识别处理中判定工件与多个模型一致。识别部138判定被检测出的工件与多个模型中的哪个最吻合。该判定方法能够采用各种方法，例如，可以将与工件的类似度最高的模型判定为工件的种类。或者，可以将从被检测出的工件提取的特征量输入用于识别模型种类的识别器，来辨别工件的种类。

对在步骤S101中检测出的所有工件，反复进行步骤S102的处理，由此能够辨别各个工件的种类。该辨别结果通过输出部139输出至显示器12或者PLC4(步骤S103)。

参照图6说明本方法的效果。图6中的(a)是示意性地说明本方法的处理的图，图6中的(b)是示意性地说明以往方法(比较例)的处理的图。在以往方法中，图像缩小处理、平滑化处理以及亮度梯度图像生成处理需要执行与模型的数量相同的次数。相对于此，根据本方法，在模型模板的缩小率相同的情况下，能够使图像缩小处理、平滑化处理以及亮度梯度图像生成处理共用(虚线部)。因此，上述的处理不需要反复执行模型的数量次，能够实现处理的高速化。这些处理是对所有图像的处理，因此计算量比较大，因此通过减少其执行次数能够有效实现高速化。例如，如图6所示，考虑模型的数量为5个且所有模型的缩小率相同时的处理时间。搜索所需要的全部处理时间为1秒钟，其一半被图像缩小处理、平滑化处理和亮度梯度图像生成处理等前处理占用。

这样，在以往的方法中，需要针对各个模型全部执行搜索处理，因此处理时间为1秒钟×5种＝5秒钟。另一方面，在本方法中，只要进行一次前处理即可，因此为0.5秒钟+0.5秒钟×5种＝3秒钟。即，根据本方法，与以往的方法相比，处理时间能够缩短40％。此外，图6的例子示出能够使所有的模型的缩小率相同，且得到最好的效果的例子，但是，只要至少两个模型的缩小率相同，通过使前处理共用，与以往的例子相比，就能够缩短处理时间。

(2)登录模式

接着，按照图7的流程图，说明登录模式中的模型登录处理，尤其说明模型的缩小率的确定方法。此外，例如，在重新设置图像传感器1时，或在流水线输送的工件的种类变更时等，执行图7所示的处理。

首先，在步骤S301中，从模型图像输入部140输入要登录的模型的图像。例如，模型图像输入部140，从在与运转时相同的条件下通过照相机11拍摄得到的多种物体(模型)的图像中，取入被用户指定的区域部分的图像，来作为模型图像。

接着，模型模板生成部141的暂定缩小率确定部141a针对各个模型图像，求出适宜的缩小率(暂定缩小率)。若使缩小率高，则能够使处理高速化，但是，识别精度降低。另一方面，若使缩小率低，则识别精度提高，但是限制了使处理高速化的效果。因此，暂定缩小率确定部141a考虑速度与精度的折中，以规定的基准，求出适于模型图像的缩小率。例如，暂定缩小率确定部141a，可以以模型所包含的特征量个数为规定数量的方式确定暂定缩小率，也可以以使模型的登录区域的面积为规定的尺寸的方式确定暂定缩小率。通常，这样求得的暂定缩小率对于不同的模型为不同的值。

这样，虽然对于各个模型，最佳的缩小率不同，但是模型模板生成部141，在尽量不使处理速度和识别精度降低的范围内，尽量使各模型的缩小率相同。具体地说，在步骤S303中，模型模板生成部141的缩小率确定部141b，以使组内的各模型的暂定缩小率的偏离量足够小的方式，对模型进行分组。该分组的处理能够利用k-means法(聚类算法)等的聚类算法进行，但是能够通过如下的简单的方法实现。

参照图8的流程图说明步骤S303的分组处理的详细内容。首先，模型模板生成部141以使暂定缩小率升序的方式对多个模型进行分类(S401)。另外，将表示组号的变量G初始化为1(S402)。对多个模型反复执行以下的步骤S403～S408。此时，从暂定缩小率小的模型依次进行处理。

首先，将未处理的模型中的暂定缩小率最小的模型追加至组G(S403)，针对追加后的组算出暂定缩小率的标准偏差(S404)。若算出的标准偏差处于阈值以内(S405为是)，则允许向组G追加该模型。即，只要暂定缩小率的偏离量处于允许范围内，就允许向组G追加该模型。另一方面，若在步骤S404中算出的标准偏差比阈值大(S405为否)，则不允许将该模型向组G中追加，从组G删除该模型(S406)。该模型包括在新的组中。即，将表示组号的变量G加1(S407)，将该模型追加至组G(更新后)(S408)。

通过对所有的模型反复执行上述步骤S403～S408的处理，最终，使组内的暂定缩小率的偏离量(标准偏差)为阈值以内的分组工作完成。

参照图9，示例性地说明图8的分组处理。在此，存在7种模型A～G，假设各自的暂定缩小率分别为A：0.3，B：0.33，C：0.42，D：0.65，E：0.67，F：0.71，G：0.75。另外，将标准偏差的阈值设定为0.05。

首先，向组1中追加暂定缩小率最小的模型A。接着，计算向组1中追加了模型B时的组1中的暂定缩小率的标准偏差。如图9中的(a)所示，该标准偏差为0.021，处于阈值以内，能够判断模型B可以包含在组1中。接着，计算向组1追加了模型C时的组1中的暂定缩小率的标准偏差。如图9中的(b)所示，该标准偏差为0.062，超过阈值，因此判断为模型C不包含在组1中。确定组1仅包含模型A以及模型B，使模型C包含在新的组2中。接着，计算向组2中追加了模型D时的组2中的暂定缩小率的标准偏差。如图9中的(c)所示，该标准偏差为0.16，超过阈值，因此判断为模型D不包含在组2中。即，确定组2仅包含模型C，使模型D包含在新的组3中。以下，与上述相同，从暂定缩小率小的模型开始依次追加至组中，判定组内的暂定缩小率的标准偏差是否处于阈值以内。在本例子中，在将模型E、F、G追加至组3中时，如图9中的(d)、(e)、(f)所示，标准偏差都处于阈值以内。因此，确定组3包含模型D、E、F、G。如上所示，模型A～G的7个模型分为3个组(A、B)、(C)、(D、E、F、G)。

此外，在图8的流程图中，从暂定缩小率小模型开始依次进行处理，但是可以从暂定缩小率大的模型开始依次进行处理。或者，可以从暂定缩小率最大的模型和最小的模型开始进行处理。最终，只要以组内的暂定缩小率的标准偏差处于阈值以内的方式分组，不管什么方法都可以。另外，作为偏离量的尺度采用标准偏差，但是可以采用方差，也可以采用最大值与最小值之间的差等。

返回图7的流程图。在完成分组时，在步骤S304中，缩小率确定部141b确定各个组的代表缩小率。在此，将组内的暂定缩小率的平均值作为组的代表缩小率。例如，如图9的例子中的图9中的(f)所示，由模型A、B构成的组1的代表缩小率为0.315，仅由模型C构成的组2的代表缩小率为0.420，由模型D、E、F、G构成的组3的代表缩小率为0.695。此外，代表缩小率可以不是组内的暂定缩小率的平均值，可以为其中央值或最频值等。

在步骤S305中，模型模板生成部141，针对各个模型，以相应的模型所属的组的代表缩小率使模型图像缩小，来生成模型模板。在本实施方式中，利用亮度梯度的特征量进行识别，因此作为模型模板，根据缩小后的模型图像算出用于生成亮度梯度图像的特征量，来作为模型模板。另外，在本实施方式中，由于进行粗到精搜索，所以还基于以比代表缩小率高的缩小率使模型图像缩小而成的模型图像，生成模型模板。

在步骤S306中，模型模板生成部141，将生成的模型模板和其缩小率一起向存储部137输出。由此，在存储部137内关联起来存储模型模板137a和其缩小率137b。

如以上那样，在与各个模型的最佳的缩小率(暂定缩小率)之间的偏离处于允许的范围内的情况下，能够将多个模型的缩小率设定为相同值。

根据本实施方式，由于针对多个模型，将模型登录时的缩小率设定为相同值，所以将运转时的输入图像的缩小处理和特征量提取处理等前处理公用，来实现高速化。另外，因为在将模型的缩小率设定为相同值时，使组内的暂定缩小率的偏离量小(为阈值以内)，所以能够将识别精度降低等的影响抑制在最小限度。

此外，在之后追加模型图像时，只要再次执行上述的登录处理即可。在登录处理中，由于所有的模型图像都需要缩小前的图像，所以为了之后能够追加模型图像，优选在登录处理后还保存缩小前的模型图像。

(模型登录处理(缩小率确定处理)的变形例)

在上述的说明中，基于暂定缩小率对模型分组，由此，确定模型登录时的各模型的缩小率。模型登录处理尤其是缩小率的确定处理还能够通过上述以外的方法实现。例如，作为模型登录处理的变形例，存储预先确定的多个缩小率，基于模型的暂定缩小率，将预先确定的多个缩小率中的某个缩小率确定为模型的缩小率。以下，参照图10说明本例子的模型登录处理。

首先，在步骤S401中，从模型图像输入部140输入要登录的模型的图像。接着，模型模板生成部141针对各个模型图像反复执行以下的步骤S402～S405的处理。在步骤S402中，模型模板生成部141的暂定缩小率确定部141a求出模型图像的适宜的缩小率(暂定缩小率)。该处理与上述说明的处理相同。

接着，缩小率确定部141b将预先确定的多个缩小率中的与暂定缩小率最接近的值的缩小率确定为该模型图像的缩小率。例如，假设预先确定的多个缩小率为(1.0、0.707、0.5、0.354、0.25)。此时，若暂定缩小率为0.3，则作为实际的缩小率选择0.25。同样，对于暂定缩小率0.33、0.42，选择缩小率0.354，对于暂定缩小率0.65、0.67、0.71、0.75，选择缩小率0.707。

此外，若预先确定了多个缩小率，缩小率的确定处理能够通过如下的条件判断方式求出缩小率。以下，r表示暂定缩小率，R表示实际的缩小率。

若0.854≤r，则R＝1

若0.604≤r＜0.854，则R＝0.707

若0.427≤r＜0.604，则R＝0.5

若0.302≤r＜0.427，则R＝0.354

若r＜0.302，则R＝0.250

在步骤S404中，模型模板生成部141以所确定的缩小率使模型图像缩小，生成模型模板。在步骤S405中，模型模板生成部141将生成的模型模板和其缩小率一起向存储部137输出。

即使这样，在与各个模型的最佳的缩小率(暂定缩小率)之间的偏离处于允许的范围内的情况下，能够将多个模型的缩小率设定为相同值。在本方法中，即使在进行了一次登录处理后追加新的模型的情况下，也不对已有的模型模板进行变更。因此，简化追加模型时的处理。另外，还具有在作成模型模板后不需要保存模型图像的优点。

此外，在步骤S403中，将预先确定的多个缩小率中的与暂定缩小率最接近的缩小率确定为模型的缩小率。在上述方式中，利用简单的差作为距离度量，但是可以基于例如平方的差、对数的差、平方根的差等任意的距离度量，选择与暂定缩小率最接近的缩小率。另外，可以选择最接近的缩小率以外的值。例如，可以将暂定缩小率以上的缩小率中的最小的缩小率确定为模型的缩小率，可以将暂定缩小率以下的缩小率中的最大的缩小率确定为模型的缩小率。

另外，在上述的说明中，作为预先确定的多个缩小率，采用1至0.25之间的5个缩小率，但是其个数和缩小率的值能够适当变更。例如，能够采用比0.25小的值。另外，在上述的例中，将缩小率确定为等比数列(公比0.707)，但是不需要为等比数列。

(其它的变形例)

上述的实施方式的结构仅表示本发明的一个具体例子，不限定本发明的范围。本发明在不脱离其技术思想的范围内，能够采用各种具体的结构。例如，在上述实施方式中，说明本发明应用于辨别类似的多个物体的种类的物体辨别装置中的例子，但是本发明的应用范围不限于此。本发明能够应用于从输入图像识别或认知多个模型的任意的图像处理装置，这些多个模型不需要类似。

另外，本发明不限定模板匹配的具体的方法。例如，在识别处理中，可以基于边缘、角、亮度梯度方向和亮度梯度方向直方图等特征量进行识别，还可以利用亮度和颜色等像素值本身进行识别。另外，粗到精搜索等的为了高速化的算法能够采用任意的方法。本发明能够应用于模板匹配的现有的各种方法。此外，需要按照采用的模板匹配方式，变更模型模板制作处理，本领域技术人员易于理解该方法。

另外，在上述的实施方式的说明中，在进行识别处理的图像处理装置中，制作模型模板，但是，制作模型模板的装置和利用作成的模型模板的装置可以不同。本发明能够适用至少针对两个模型利用以相同的缩小率使模型图像缩小得到的模型模板来进行图像识别的图像识别装置(图像处理装置)，还能够适用针对至少两个模型以相同的缩小率使模型图像缩小来制作模型模板的模型模板作成装置(图像处理装置)。

另外，本发明除了上述的实施方式以外还能够适用于登录了异常状态的模型图像而对物体进行检查的图像识别装置，以及不进行搜索而对输入图像的特定区域进行模板匹配处理，或对与模型图像大小相同的输入图像整体进行模板匹配处理的图像识别装置等。

附图标记说明

1：图像传感器，2：工件，3：传送机，4：PLC

10：图像处理装置，11：照相机，12：显示器

130：图像输入部，131：搜索部，137：存储部

140：模型图像输入部，141：模型模板生成部

Claims (15)

1.一种从包含多个种类的工件的输入图像识别或认知多个种类的模型的图像处理装置，其特征在于，

具有：

存储部，其针对多个种类的模型分别存储有将模型图像缩小而得到的模型模板，

缩小部，其以各个种类的模型的代表缩小率分别将输入图像缩小，

搜索部，其基于被缩小后的输入图像和各个种类的模型模板，搜索输入图像中的模型的位置，来从输入图像检测所述工件，

模型图像输入部，其接受多个种类的模型的模型图像的输入，

暂定缩小率确定部，其针对所述多个种类的模型图像分别确定暂定缩小率，

缩小率确定部，其基于所述多个种类的模型图像的暂定缩小率，确定各个种类的模型图像的代表缩小率，以及

模型模板生成部，其将所述多个种类的模型图像分别以对应的代表缩小率缩小，生成模型模板，并将生成的模型模板与对应的代表缩小率关联起来存储在所述存储部中；

所述多个种类的模型中的暂定缩小率彼此不同的至少两个种类的模型的模型模板是以同一代表缩小率对模型图像进行缩小而生成的，

所述至少两个种类的模型共用通过所述缩小部进行的处理。

2.根据权利要求1所述的图像处理装置，其中，

所述缩小率确定部以组内的暂定缩小率的偏离量为规定的阈值以下的方式将所述多个种类的模型图像分组，

所述缩小率确定部各个组的代表缩小率。

3.根据权利要求2所述的图像处理装置，其中，所述缩小率确定部将组内的模型图像的暂定缩小率的平均值确定为该组的代表缩小率。

4.根据权利要求1所述的图像处理装置，其中，所述缩小率确定部存储有预先确定的多个代表缩小率，

所述缩小率确定部将预先确定的多个缩小率中的与模型图像的暂定缩小率对应的缩小率确定为该种类的模型图像的代表缩小率。

5.根据权利要求4所述的图像处理装置，其中，所述缩小率确定部将预先确定的多个缩小率中的与模型图像的暂定缩小率接近的缩小率确定为该种类的模型图像的代表缩小率。

6.一种图像传感器，其特征在于，

具有：

照相机，其用于拍摄物体；以及

权利要求1～5中任一项所述的图像处理装置，其从所述照相机输入的图像识别或认知所述模型，并输出结果。

7.一种针对多个种类的模型生成模型模板的图像处理装置，其中，

具有：

模型图像输入部，其接受多个种类的模型的模型图像，

暂定缩小率确定部，其针对多个种类的模型图像分别确定暂定缩小率，

缩小率确定部，其基于所述多个种类的模型图像的暂定缩小率，确定各个种类的模型图像的代表缩小率，

模型模板生成部，其将所述多个种类的模型图像分别以对应的代表缩小率缩小，生成模型模板，以及

输出部，其将所生成的模型模板与对应的代表缩小率一起输出；

所述多个种类的模型中的暂定缩小率彼此不同的至少两个种类的模型的模型模板是以同一代表缩小率对模型图像进行缩小而生成的。

8.根据权利要求7所述的图像处理装置，其中，所述缩小率确定部以组内的暂定缩小率的偏离量为规定的阈值以下的方式对所述多个种类的模型图像进行分组，

所述缩小率确定部确定各个组的代表缩小率。

9.根据权利要求8所述的图像处理装置，其中，所述缩小率确定部将组内的模型图像的暂定缩小率的平均值确定为该组的代表缩小率。

10.根据权利要求7所述的图像处理装置，其中，所述缩小率确定部存储有预先确定的多个缩小率，

所述缩小率确定部将预先确定的多个缩小率中的与模型图像的暂定缩小率对应的缩小率确定为该模型图像的代表缩小率。

11.根据权利要求10所述的图像处理装置，其中，所述缩小率确定部将预先确定的多个缩小率中的与模型图像的暂定缩小率接近的缩小率确定为该模型图像的代表缩小率。

12.一种从包含多个种类的工件的输入图像识别或认知多个种类的模型的图像处理方法，其特征在于，

计算机执行缩小步骤和搜索步骤，

所述计算机具有存储部，所述存储部针对多个种类的模型分别存储有将模型图像缩小而得到的模型模板，

在所述缩小步骤中，以各个种类的模型的代表缩小率分别将输入图像缩小，

在所述搜索步骤中，基于被缩小后的输入图像和各个种类的模型模板，搜索输入图像中的模型的位置，来从输入图像检测所述工件；

所述计算机接受多个种类的模型的模型图像的输入，

所述计算机针对所述多个种类的模型图像分别确定暂定缩小率，

所述计算机基于所述多个种类的模型图像的暂定缩小率，确定各个种类的模型图像的代表缩小率，

所述计算机将所述多个种类的模型图像分别以对应的代表缩小率缩小，生成模型模板，并将生成的模型模板与对应的代表缩小率关联起来存储在所述存储部中；

所述多个种类的模型中的暂定缩小率彼此不同的至少一部分模型的模型模板是以同一代表缩小率对模型图像进行缩小而生成的，

对同一代表缩小率的不同种类的模型共用所述缩小步骤的处理。

13.一种针对多个种类的模型生成模型模板的图像处理方法，其中

计算机执行：

模型图像输入步骤，接受多个种类的模型的模型图像，

暂定缩小率确定步骤，针对所述多个种类的模型图像分别确定暂定缩小率，

缩小率确定步骤，基于所述多个种类的模型图像的暂定缩小率，确定各个种类的模型图像的代表缩小率，

模型模板生成步骤，将所述多个种类的模型图像分别以对应的代表缩小率缩小，生成模型模板，以及

输出步骤，将所生成的模型模板与对应的代表缩小率一起输出；

所述多个种类的模型中的暂定缩小率彼此不同的至少两个种类的模型的模型模板是以同一代表缩小率对模型图像进行缩小而生成的。

14.一种计算机可读取的记录介质，其中，非暂时性存储用于使计算机执行权利要求12所述的图像处理方法的程序。

15.一种计算机可读取的记录介质，其中，非暂时性存储用于使计算机执行权利要求13所述的图像处理方法的程序。