CN106062820B - 图像识别装置、图像传感器、图像识别方法 - Google Patents

图像识别装置、图像传感器、图像识别方法 Download PDF

Info

Publication number
CN106062820B
CN106062820B CN201480076713.4A CN201480076713A CN106062820B CN 106062820 B CN106062820 B CN 106062820B CN 201480076713 A CN201480076713 A CN 201480076713A CN 106062820 B CN106062820 B CN 106062820B
Authority
CN
China
Prior art keywords
characteristic point
model image
input picture
similar degree
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480076713.4A
Other languages
English (en)
Other versions
CN106062820A (zh
Inventor
小西嘉典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN106062820A publication Critical patent/CN106062820A/zh
Application granted granted Critical
Publication of CN106062820B publication Critical patent/CN106062820B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

一种图像识别装置具有：存储部，针对多个模型图像中分别存储特征点；特征点提取部，从输入图像提取特征点；以及识别部，通过将所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度，基于该第一类似度识别所述输入图像。所述识别部针对输入图像的与作为所述第一类似度的算出对象的模型图像的特征点一致的各个特征点，将该特征点对应的评分相加，算出所述第一类似度。所述多个模型图像中的包含所述特征点的模型图像的数量越少，与所述特征点对应的评分的值越大。

Description

图像识别装置、图像传感器、图像识别方法
技术领域
本发明涉及基于图像的特征点识别图像的技术。
背景技术
在FA(Factory Automation：工厂自动化)领域中，为了测量和监视在流水线上输送的测量对象物(以下，还称为“工件”)，广泛使用称为图像传感器(视觉传感器)的传感器设备。图像传感器由照相机和图像处理装置构成，具有如下功能，即，通过与预先存储的标准物体(以下，还称为“模型”或者“样本”)之间的匹配处理，检测图像内的工件，进行需要的信息的提取和测量等工作。图像传感器的输出例如用于工件的识别、检查以及分类等各种用途。
可是，作为FA领域的最近的趋势，增加了如下的生产方式，即，在一个流水线上混合输送多种工件，按照种类不同适用不同的处理。例如，在混装商品的装箱流水线中，进行如下的作业，即，在传送机上随机输送不同种类的工件，通过拾取机械手按照种类进行拾取，然后装箱至正确位置。另外，在多品种少量生产的流水线上，在同一流水线上制造形状、颜色、尺寸等规格稍微不同的系列商品，有时由于各个规格的不同，加工方法和检查内容等也不同。
在这样多种工件混合在一起的流水线(以下，称为“混流流水线”)中，在根据工件的种类而实施不同的处理时，作为其前提，要求通过图像传感器正确判断工件的种类。在利用模板匹配(template matching)的方式辨别工件的种类的情况下，预先将多种模型图像存储在图像传感器中，求出与工件图像最吻合的模型图像，来推断工件的种类。
在此，说明利用形状和颜色等非常近似的多种模型的图像识别方式中的问题。在模板匹配方式中，根据模型图像的特征点与输入图像的特征点的匹配程度，来算出类似度。如图12所示，考虑利用图像对6种骰子进行物体识别。在将“5”的图像作为输入图像进行识别的情况下，如图中所示，在各模型中算出的类似度在多个模型图像中为100分(满分)，识别结果受输入图像中的噪音等影响。如上那样类似度无差异是因为，存在相互包含关系的模型图像，或者存在共用部分多的模型图像。即，在存在很多类似的模型图像的情况下，很难通过以往的利用类似度的模板匹配方式正确地进行识别。
在专利文献1中，提出如下方案，针对类似的模型图像算出相互的相关值，存储相关性低的特征点位置，仅利用这样的特征点算出类似度。这样，通过仅利用相关性低的特征点算出类似度的方式，即使存在类似的模型图像的情况下，也能够正确地识别。
但是，在专利文献1的方式中，需要对类似的模型图像彼此之间的所有组合进行相关运算，在类似的模型图像多的情况下，组合数量增加(O(n2))，在处理时间以及存储容量上存在问题。而且，在进行识别时，需要一级级地进行1对1的识别处理，对于该处理，在类似的模型数多的情况下，级数变多，处理时间增加(O(nlogn))。
现有技术文献
专利文献
专利文献1：日本特开2009-116385号公报
发明内容
发明要解决的问题
本发明是鉴于上述情况而提出的，其目的在于提供一种即使在包括类似的模型图像的情况下，也能够低处理负荷且高精度地进行识别的图像识别技术。
用于解决问题的手段
为了达到上述目的，在本发明中采用如下结构，即，针对各个特征点设定基于模型图像中的显著性的加权，算出考虑该加权的类似度。
具体地说，本发明的图像识别装置具有：存储部，针对多个模型图像分别存储特征点：特征点提取部，从输入图像提取特征点：以及识别部，通过将所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度(以下，称为加权类似度)，基于该第一类似度识别所述输入图像；所述识别部针对输入图像的与所述第一类似度的算出对象的模型图像的特征点一致的各个特征点，将与该特征点对应的评分(以下，还称为加权评分)相加，算出所述第一类似度，所述多个模型图像中的包含该特征点的模型图像的数量越少，与所述特征点对应的评分的值越大。
考虑到一致的模型图像少的特征点在图像识别中的显著性高，与其它模型相比的识别性能高。另一方面，考虑到一致的模型多的特征点在图像识别中的显著性低。对识别不那么发挥作用。因此，本发明的图像识别装置，对于越是显著性高的特征点，设定越高的加权评分，基于将该加权评分相加而得到的第一类似度，进行图像识别。由此，即使在存在很多类似的模型图像的情况下，也能够高精度地进行识别。
在本发明中，可以将输入图像所含有的特征点作为对象，在进行图像识别时求出加权评分，也可以将模型图像所含有的特征点作为对象，在模型图像存储时预先求出加权评分。
在进行图像识别时求出加权评分的情况下，可以针对输入图像的各个特征点，求出模型图像的与该特征点一致的特征点的数量，按照该数量算出加权评分。在模型图像存储时求出加权评分的情况下，可以针对所有的模型图像的特征点，求出模型图像的与该特征点一致的数量，按照该数量预先算出加权评分。此外，只要是以模型图像的一致数量越少则加权评分越大的方式算出加权评分即可，具体的算出方法可以为任意方式。例如，可以将与一致数量的倒数对应的值作为加权评分，还可以将与所有模型图像数量和一致数之差对应的值作为加权评分。
另外，在本发明中，还优选考虑通过与上述第一类似度不同的基准算出的类似度，来进行图像识别。例如，还优选所述识别部针对所述多个模型图像分别算出与该模型图像的特征点包含在所述输入图像的特征点中的比例对应的第二类似度(以下，还称为单纯类似度)，基于所述第一类似度以及所述第二类似度，确定与所述输入图像最吻合的模型图像。
对于利用第一类似度和第二类似度的具体的识别方法能够考虑到各种方法。例如，考虑将第一类似度与所述第二类似度的单纯和或者加权和最大的模型图像确定为是与所述输入图像最吻合的模型图像。或者，还考虑将所述第二类似度大的模型图像中的所述第一类似度最大的模型图像确定为是与所述输入图像最吻合的模型图像。此外，第二类似度大的模型图像可以是第二类似度排位靠前的规定个数的模型图像，也可以是具有从最大值起规定阈值以内的第二类似度的模型图像。
这样，通过基于第一类似度以及第二类似度进行识别的方法，即使在基于任意一方的类似度而不能够正确进行识别的情况下，也能够正确地进行识别。
此外，本发明能够用于具有上述结构的至少一部分结构的图像识别装置或物体辨别装置。另外，本发明能够用于如下的图像传感器，该图像传感器具有拍摄物体的照相机，和物体辨别装置或图像处理装置。另外，本发明能够用于包括上述处理的至少一部分处理的图像识别方法或物体辨别方法，或者，能够用于使计算机执行相关方法的程序或用于非暂时性存储该程序的计算机能够读取的记录介质。上述结构以及各个处理，只要不产生技术矛盾，能够将它们相互组合构成本发明。
发明的效果
根据本发明，即使在包括类似的模型图像的情况下，也能够低处理负荷且高精度地进行识别。
附图说明
图1是表示图像传感器的整体结构的图。
图2是表示图像传感器的硬件结构的图。
图3是表示图像识别装置的与种类辨别相关的功能结构的图。
图4是表示种类辨别处理的流程的流程图。
图5中的(A)是表示取入的图像的一个例子的图，图5中的(B)表示工件的检测结果的一个例子的图，图5中的(C)表示种类辨别结果的一个例子的图。
图6是表示种类辨别处理的详细流程的流程图。
图7是表示种类辨别处理的详细流程的流程图。
图8是说明按照种类辨别处理中的各个特征点的加权评分的图。
图9是表示种类辨别处理的识别评分的算出例子的图。
图10是表示种类辨别处理的识别评分的算出例子的图。
图11是表示种类辨别处理的识别评分的算出例子的图。
图12是说明现有技术的问题的图。
具体实施方式
本发明涉及如下的图像识别技术，即，在被赋予输入图像时，通过模板匹配的方式，从预先存储的多个存储图像(模型图像)中提取与输入图像最吻合的图像。该技术能够适用于FA用的图像传感器、计算机视觉(computer vision)、机器视觉(machine vision)等中的物体辨别工作，和从图像数据库内的图像群中检测与查询图像类似的图像的类似图像检索等。在以下所述的实施方式中，作为本发明的优选的一个应用例子，说明将本发明安装于在多种工件混合输送的混流流水线上进行各工件的检测以及种类辨别的FA用的图像传感器中的例子。
(图像传感器)
参照图1，说明本发明的实施方式的图像传感器的整体结构以及应用场景。
图像传感器1是如下系统，其设置在生产流水线等上，利用拍摄制造物体(工件2)所得到的输入图像对工件2进行种类辨别等。此外，在图像传感器1中，除了种类辨别之外，还能够按照需要安装边缘检测、损伤污染检测、面积、长度和重心测量等各种图像处理功能。
如图1所示，在传送机3上混合输送多种工件2。图像传感器1，通过照相机11定期或者在从PLC4送出触发信号的时刻取入图像，通过图像处理装置(图像识别装置)10对图像中包含的各工件2进行检测和种类辨别等处理，将其结果显示在显示器12上，或者向外部装置(PLC4等)输出。PLC(Programmable Logic Controller：可编程控制器)4是对图像传感器1、传送机3、机械手等制造装置(未图示)进行控制的设备。
(图像传感器的硬件结构)
参照图2，说明图像传感器1的硬件结构。图像传感器1大致由照相机11和图像处理装置10构成。
照相机11是用于将工件2的图像取入图像处理装置10的设备，例如优选使用CMOS(Complementary Metal-Oxide-Semiconductor：互补式金属氧化物半导体)照相机或CCD(Charge-Coupled Device：电荷耦合元件)照相机。输入图像的格式(解析度、彩色或黑白、静止图像或动画、灰度、数据格式等)为是任意的，可以按照工件2的种类和传感检测的目的适当选择。在将可视光图像以外的特殊的图像(X射线图像、热红外图像等)用于检查时，可以使用与该图像相对应的照相机。
图像处理装置10包括CPU(中央运算处理装置)110、作为存储部的主存储器112及硬盘114、照相机接口116、输入接口118、显示控制器120、PLC接口122、通信接口124以及数据读写器126。各部分经由总线128以能够相互进行数据通信的方式连接。
照相机接口116是对CPU110与照相机11之间的数据传送进行中转的部分，具有用于暂时存储来自照相机11的图像数据的图像缓冲存储器116a。输入接口118对CPU110与输入部(鼠标13、键盘、触摸屏、微动控制器(jog control)等)之间的数据传送进行中转。显示控制器120与液晶监视器等显示器12连接，对在该显示器12上的显示进行控制。PLC接口122对CPU110与PLC4之间的数据传送进行中转。通信接口124对CPU110与控制台(或者个人计算机、服务器装置)等之间的数据传送进行中转。数据读写器126对CPU110与作为存储介质的存储卡14之间的数据传送进行中转。
图像处理装置10能够由具有通用结构的计算机构成，CPU110读取存储在硬盘114或者存储卡14中的程序(指令码)并进行执行，由此提供各种功能。这样的程序以存储于存储卡14或光盘等计算机可读取的记录介质中的状态进行流通。
在将通用的个人计算机用作图像处理装置10时，除了用于提供本实施方式中所述的物体辨别功能的应用程序之外，还可以安装用于提供计算机的基本功能的OS(操作系统)。此时，本实施方式的程序通过利用OS所提供的程序模块，可以实现目的功能。此外，本实施方式的程序可以作为单个应用程序进行提供，也可以作为与其它程序的一部分结合的模块进行提供。另外，其功能的一部分或者全部可以由专用的逻辑电路代替。
(图像处理装置的功能结构)
图3示出图像处理装置所提供的与种类辨别(物体辨别)相关的功能结构。图像处理装置10作为与种类辨别相关的功能，具有图像输入部130、检测部131、特征点提取部132、识别部133、存储部134和输出部135。图像处理装置10的CPU110执行计算机程序，来实现这些功能块。
在存储部134中针对多个模型存储有从模型的图像提取的特征点(模型图像特征点134a)。在本实施方式中，作为特征点采用在图像中灰度值变化大的点或区域，例如，边缘或角等。除此之外，作为特征点还可以采用基于颜色或形状而形成的特征点。例如，能够采用蓝色、黄色、红色作为特征点，或者采用直线的个数或圆的个数等作为特征点。另外，还能够并用灰度值变化大的特征点和颜色的特征点。图像处理装置10能够接收模型图像，从接收的模型图像提取模型图像特征点134a。或者，图像处理装置10可以接收由其它装置提取的与模型图像特征点相关的数据，将它们存储在存储部134中。
(图像处理装置的动作)
图像处理装置10取入在传送机3上输送的工件2的图像，进行工件2的检测和种类辨别等处理。图4是表示图像处理装置10所执行的图像识别处理的整个流程的流程图。以下，按照图4的流程图说明图像识别处理中的各功能块的动作以及种类辨别处理的整个流程。
在从PLC4输入触发信号时，图像输入部130从照相机11取入图像(步骤S100)。图5中的(A)是取入的图像的一个例子，示出在传送机上混合存在有5种物体(例子：混装巧克力)的状态。
接着，检测部131根据输入图像检测各个工件2(步骤S101)。在检测处理中可以使用任意算法。例如，能够利用通过二值化去掉背景后，检测比规定的面积大的区域(像素组)作为工件2的方法，或利用借助图案匹配搜索类似工件的区域的方法等。此外，优选检测部131根据需要对输入图像进行平滑化和去除噪音等的前处理。图5中的(B)是检测结果的一个例子，以虚线矩形示出从图像检测出的各个工件的区域。
接着，特征点提取部132对检测出的工件的图像(以下，称为工件图像)进行解析，提取特征点(步骤S102)。特征点是在图像中灰度值变化大的点或区域等，例如，能够提取边缘或角等作为特征点。
接着，识别部133将工件的特征点与存储在存储部134中的多个模型图像的各个特征点进行比较，辨别工件的种类(步骤S103)。对在步骤S101中所检测出的所有工件反复进行步骤S102以及S103的处理，由此能够辨别各工件的种类。图5中的(C)是辨别结果的一个例子，以1～5的数字示出各个工件的辨别结果(种类)。该辨别结果通过输出部135输出至显示器12或者PLC4(步骤S104)。
图6以及图7表示步骤S103的处理的详细内容。在该处理中，求出单纯类似评分S1(第二类似度)和加权类似评分S2(第一类似度)，利用这2个类似评分对工件进行辨别，其中，单纯类似评分S1(第二类似度)基于工件图像的特征点与模型图像的特征点之间的单纯一致数量，加权类似评分S2(第一类似度)考虑与各个特征点的显著性对应的加权评分。
首先，在步骤S201～S205的循环处理中，针对各模型图像，判断该模型图像所包含的特征点有多少包含在工件图像中，来算出单纯类似评分S1。
识别部133的单纯类似评分算出部133a，在开始处理新的模型图像时，将表示特征点的一致数量的变量n初始化为0(步骤S201)。单纯类似评分算出部133a，针对模型图像内的各特征点，判断在工件图像中是否存在对应的特征点(步骤S202)，在存在的情况下，使一致数量n加1(步骤S203)。单纯类似评分算出部133a针对所有的特征点反复进行上述的处理，算出在工件图像中存在对应的特征点这样的特征点的数量n与模型图像内的所有特征点的数量N的比，来作为单纯类似评分S1(S205)。
如图9所示，作为例子考虑将6种骰子的图像用作模型进行物体识别的情况。为了简化说明，将骰子的点的各个黑圆作为特征点，作为图像特征不考虑轮廓的正方形的情况。在此，“5”点的骰子为工件图像。从该工件图像提取5个特征点。
模型图像“1”中存在1个特征点，模型图像的全部特征点存在于工件图像中，因此，模型图像“1”的单纯类似评分S1为“100”(将n/N的100倍作为100分满分)。同样，对于模型图像“2”～“5”，单纯类似评分S1为“100”。对于模型图像“6”，6个特征点中的4个特征点存在于工件图像中，因此单纯类似评分S1为“67”。
在对照与上述各模型图像的特征点对应的特征点是否存在于工件图像中时，单纯类似评分算出部133a存储工件图像中的各特征点是否包含在各模型图像内这一对应关系(步骤S204)。参照图8，具体进行说明。在“5”点的骰子为工件图像时，从工件图像提取5个特征点。如图8的列300中黑圆所示，将各个特征点作为特征点1～5(例如，特征点1为左上点(小圆点))。在将该工件图像与“3”点的模型图像进行对比时，与“5”点的特征点1、3、5对应的特征点也存在于模型图像中。因此，如图8所示，在步骤S204中，存储工件图像的特征点1、3、5包含在模型图像“3”中，特征点2、4不包含在模型图像“3”的信息。此外，在图8中，通过圆形标记表示存在对应的特征点，通过“×”标记表示不存在。针对所有的模型图像存储这样的对应关系，在步骤S201～S205的循环处理结束的时刻，求出所有的图8所示的工件图像的特征点与模型图像的特征点之间的对应关系301。
在步骤S201～S205的循环处理结束时，识别部133的加权类似评分算出部133b针对工件图像的各个特征点算出与对应的模型图像的数量相对应的加权评分(图7中的步骤S206)。如图8所示，加权类似评分算出部133b针对工件图像的各特征点求出包括该特征点的模型图像的个数302，算出与该个数302的倒数对应的加权评分303。例如，“5”点的模型图像的特征点1包含在“2”、“3”、“4”、“5”、“6”5个模型图像中，因此作为特征点1的加权评分算出为“20(＝100/5)”。特征点2包含在“4”、“5”、“6”3个模型图像中，因此特征点2的加权评分为“33(＝100/3)”。这样，对工件图像的所有的特征点算出加权评分302。此外，在此，将与对应的模型图像数量的倒数相对应的值作为加权评分，但是，只要模型图像数量越少加权评分为越大的值即可，确定方法可以为任意方法。特征点的加权评分可以由将包含该特征点的模型图像数量作为变量的单调递减函数确定。例如，能够将基于所有模型图像数量和包括特征点的模型图像数量之差而确定的值(差值自身或差值与整体数量之比等)作为加权评分。在图8的例子中，特征点1的加权评分可以为6-5＝1，或(6-5)/6×100＝16。
可以认为多个模型图像共用的特征点的显著性低，对图像识别的贡献小。相反，可以认为共用的模型图像少的特征点的显著性高，对图像识别的贡献大。因此，如上所述，越是被使用的模型图像少的特征点，将加权评分设定的越大，由此能够算出考虑了特征点的显著性后的类似度。
接着，加权类似评分算出部133b利用上述的加权评分，算出工件图像与各模型图像之间的加权类似评分S2。具体地说，算出模型图像中的特征点中的存在于工件图像中的特征点的加权评分的和，来作为加权类似评分S2(S207)。如图8所示，对于模型图像“1”，仅特征点3一致，特征点3的加权评分为“33”，因此“33”为工件图像(“5”点的骰子)与模型图像“1”之间的加权类似评分S2。对于模型图像“2”，特征点1、5一致，各自的加权评分为“20”，因此总和“40”为工件图像与模型图像“2”之间的加权类似评分S2。同样，求出与所有的模型图像之间的加权类似评分。
识别部133基于在步骤S205中求出的单纯类似评分S1和在步骤S207中求出的加权类似评分S2，算出工件图像与各模型图像之间的类似度(识别评分)(S208)。在此，以最大值为100的方式使加权类似评分S2标准化，将标准化后的加权类似评分S2与单纯类似评分S1的和作为识别评分。
图9示出了工件图像为骰子“5”时与各模型图像之间的单纯类似评分S1、加权类似评分S2以及识别评分。对于加权类似评分S2，无括号的数值表示标准化后的评分，在括号内示出步骤S207所求出的值。
识别部133将识别评分最高的模型图像判断为与工件图像最吻合，来确定工件的种类(S209)。在图9的例中，模型图像“5”的识别评分最大，因此辨别工件图像为模型图像“5”(骰子的“5”点的图像)。
将骰子的“1”～“4”以及“6”点作为输入图像时的单纯类似评分、加权类似评分以及识别评分的算出结果分别示出在图10中的(A)～(C)、图11中的(A)～(B)中。如图10中的(C)、图11中的(A)、(B)所示，在“3”、“4”以及“6”点的骰子为输入图像的情况下，仅通过单纯类似评分不能够进行区别，不能够正确地进行识别，但是利用考虑了加权类似评分的识别评分，能够正确地进行识别。另外，“1”以及“2”点，虽然多个模型图像的加权类似评分相同，但是由于单纯类似评分之间的差大，所以能够充分地进行识别。如本例子所示，虽然存在仅利用单纯类似评分和加权类似评分的某一方不能够识别的情况，但是通过将这些类似评分组合，能够正确地进行识别。
通过以上的方法，即使在通过基于图12所示的单纯类似评分的模板匹配方法不能够正确地进行识别的情况下，也能够正确地进行识别。这是因为，如图9、图10中的(A)～(C)以及图11中的(A)～(B)所示，最高的识别评分与第二高的识别评分之间的差足够大。正确模型的单纯类似评分以及加权类似评分双方都为高值，正确模型以外的模型的单纯类似评分和加权类似评分中的至少一方为低值。因此，正确模型与正确模型以外的模型的上述识别评分的差足够大。这样，由于正确模型和此外的模型的识别评分的差变大，所以即使在输入图像中存在噪音或变形也能够正确地进行识别。
另外，在采用本方法时，在以往的模板匹配方法之外，仅存储了模型图像特征点与输入图像特征点之间的对应关系，算出基于该对应关系的加权评分，以及算出加权类似评分，因此处理负荷增加得不多。即使在包含很多类似的模型图像的情况下，处理时间和存储容量也不会如专利文献1那样爆发性增加，与以往的方法(仅算出单纯类似评分的方法)几乎不变。
(变形例)
上述的实施方式的结构仅为示出本发明的一个具体例子的结构，不用于限定本发明的保护范围。本发明在不脱离其技术思想的范围内，能够采用各种具体的结构。例如，在上述实施方式中，说明了将本发明用于物体辨别装置的例子，但是，本发明的适用范围不限于此，优选用于类似图像检索装置等。
在上述的实施方式的说明中，求出单纯类似评分与加权类似评分的单纯和，来作为识别评分，但是可以使用将这2个类似评分以规定的比例相加后的值(加权和)来作为识别评分。此时的加权的比例可以是预先设定的值，也可以是用户设定的值。
另外，可以不求出识别评分，分别利用单纯类似评分和加权类似评分对物体种类进行辨别。例如，首先，选择规定个数的单纯类似评分大的模型图像，这些模型图像中的加权类似评分最高的模型图像判断为与输入图像吻合。在此，单纯类似评分大的规定个数的模型图像，可以是单纯类似评分的排位靠前的规定个数的模型图像，也可以是具有从单纯类似评分的最大值起规定阈值以内的单纯类似评分的模型图像。此时的阈值可以由评分的绝对值确定，也可以由与最大值的比例确定。
另外，在上述的实施方式的说明中，虽然基于单纯类似评分和加权类似评分双方进行辨别，但是可以仅基于加权类似评分进行辨别。如上所述，在仅利用加权类似评分的情况下，有时不能够正确地进行辨别，但是，在输入与单纯类似评分差异不大的图像的情况下，能够正确地进行辨别。
另外，在上述的实施方式的说明中，在对照输入图像时，算出各个特征点的加权评分，但是可以在存储模型图像时算出加权评分。即，通过将各模型图像作为输入图像进行与上述相同的加权评分算出处理，能够求出各个特征点的加权评分。在进行图像识别时，在输入图像的特征点与模型图像的特征点一致的情况下，与上述相同地，将该特征点的加权评分相加，算出加权类似评分。即使这样，也能够得到与上述实施方式相同的效果。
另外，在上述的实施方式的说明中，示出了将二维图像(平面图像)作为对象进行图像识别的例子，但是，本发明能够适用于将附加了进深方向的信息的三维图像(立体图像)作为对象的图像识别处理中。此时，模型图像以及输入图像都使用立体照相机等带有测距功能的拍摄装置拍摄到的图像，进行与上述相同的处理即可。另外，本发明的考虑特征点的显著性而进行的识别处理不仅适用于静止图像，而且同样能够适用于动画或声音数据等的时序数据。
附图标记的说明
1：图像传感器，2：工件，3：传送机，4：PLC
10：图像处理装置，11：照相机，12：显示器
130：图像输入部，131：检测部，132：特征点提取部，133：识别部，
134：存储部，135：输出部。

Claims (9)

1.一种图像识别装置，其特征在于，
具有：
存储部，针对多个模型图像分别存储特征点，
特征点提取部，从输入图像提取特征点，以及
识别部，通过将所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度，并且针对所述多个模型图像分别也算出与该模型图像的特征点包含在所述输入图像的特征点中的比例对应的第二类似度，基于该第一类似度和所述第二类似度识别所述输入图像；
所述识别部针对输入图像的与作为所述第一类似度的算出对象的模型图像的特征点一致的各个特征点，将与该特征点对应的评分相加，算出所述第一类似度，
所述多个模型图像中的包含所述特征点的模型图像的数量越少，与所述特征点对应的评分的值越大，
所述识别部将所述第二类似度大的模型图像中的所述第一类似度最大的模型图像确定为与所述输入图像最吻合的模型图像。
2.一种图像识别装置，其特征在于，
具有：
存储部，针对多个模型图像分别存储特征点，
特征点提取部，从输入图像提取特征点，以及
识别部，通过将所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度，并且针对所述多个模型图像分别也算出与该模型图像的特征点包含在所述输入图像的特征点中的比例对应的第二类似度，基于该第一类似度和所述第二类似度识别所述输入图像；
所述识别部针对输入图像的与作为所述第一类似度的算出对象的模型图像的特征点一致的各个特征点，将与该特征点对应的评分相加，算出所述第一类似度，
所述多个模型图像中的包含所述特征点的模型图像的数量越少，与所述特征点对应的评分的值越大，
所述识别部将所述第一类似度与所述第二类似度的单纯和或者加权和最大的模型图像确定为与所述输入图像最吻合的模型图像。
3.根据权利要求1或2所述的图像识别装置，其特征在于，所述识别部针对所述输入图像的各个特征点，求出与该特征点一致的模型图像的数量，基于该数量算出与所述特征点对应的评分。
4.根据权利要求1或2所述的图像识别装置，其特征在于，所述识别部针对所述多个模型图像的各个特征点，求出与该特征点一致的模型图像的数量，基于该数量预先算出与所述特征点对应的评分。
5.一种图像传感器，其特征在于，
具有：
照相机，用于拍摄物体；以及
权利要求1至4中任一项所述的图像识别装置，基于从所述照相机输入的图像辨别所述物体的种类，输出辨别结果。
6.一种对与输入图像吻合的模型图像进行识别的图像识别方法，其特征在于，
计算机执行特征点提取步骤和识别步骤，
所述计算机具有存储部，所述存储部针对多个模型图像分别存储特征点，
在所述特征点提取步骤中，从输入图像提取特征点，
在所述识别步骤中，通过对所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度，并且针对所述多个模型图像分别也算出与该模型图像的特征点包含在所述输入图像的特征点中的比例对应的第二类似度，基于该第一类似度和所述第二类似度识别所述输入图像，
在所述识别步骤中，针对输入图像的与作为所述第一类似度的算出对象的模型图像的特征点一致的各特征点，将与该特征点对应的评分相加，算出所述第一类似度，
所述多个模型图像中的包含该特征点的模型图像的数量越少，与所述特征点对应的评分的值越大，
在所述识别步骤中，将所述第二类似度大的模型图像中的所述第一类似度最大的模型图像确定为与所述输入图像最吻合的模型图像。
7.一种对与输入图像吻合的模型图像进行识别的图像识别方法，其特征在于，
计算机执行特征点提取步骤和识别步骤，
所述计算机具有存储部，所述存储部针对多个模型图像分别存储特征点，
在所述特征点提取步骤中，从输入图像提取特征点，
在所述识别步骤中，通过对所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度，并且针对所述多个模型图像分别也算出与该模型图像的特征点包含在所述输入图像的特征点中的比例对应的第二类似度，基于该第一类似度和所述第二类似度识别所述输入图像，
在所述识别步骤中，针对输入图像的与作为所述第一类似度的算出对象的模型图像的特征点一致的各特征点，将与该特征点对应的评分相加，算出所述第一类似度，
所述多个模型图像中的包含该特征点的模型图像的数量越少，与所述特征点对应的评分的值越大，
在所述识别步骤中，将所述第一类似度与所述第二类似度的单纯和或者加权和最大的模型图像确定为与所述输入图像最吻合的模型图像。
8.一种存储介质，其特征在于，非临时性存储程序，通过使计算机执行该程序，执行特征点提取步骤和识别步骤，
所述计算机具有存储部，所述存储部针对多个模型图像分别存储特征点，
在所述特征点提取步骤中，从输入图像提取特征点，
在所述识别步骤中，通过对所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度，并且针对所述多个模型图像分别也算出与该模型图像的特征点包含在所述输入图像的特征点中的比例对应的第二类似度，基于该第一类似度和所述第二类似度识别所述输入图像，
在所述识别步骤中，针对输入图像的与作为所述第一类似度的算出对象的模型图像的特征点一致的各特征点，将与该特征点对应的评分相加，算出所述第一类似度，
所述多个模型图像中的包含该特征点的模型图像的数量越少，与所述特征点对应的评分的值越大，
在所述识别步骤中，将所述第二类似度大的模型图像中的所述第一类似度最大的模型图像确定为与所述输入图像最吻合的模型图像。
9.一种存储介质，其特征在于，非临时性存储程序，通过使计算机执行该程序，执行特征点提取步骤和识别步骤，
所述计算机具有存储部，所述存储部针对多个模型图像分别存储特征点，
在所述特征点提取步骤中，从输入图像提取特征点，
在所述识别步骤中，通过对所述输入图像的特征点与各模型图像的特征点进行比较，算出所述输入图像与各模型图像之间的第一类似度，并且针对所述多个模型图像分别也算出与该模型图像的特征点包含在所述输入图像的特征点中的比例对应的第二类似度，基于该第一类似度和所述第二类似度识别所述输入图像，
在所述识别步骤中，针对输入图像的与作为所述第一类似度的算出对象的模型图像的特征点一致的各特征点，将与该特征点对应的评分相加，算出所述第一类似度，
所述多个模型图像中的包含该特征点的模型图像的数量越少，与所述特征点对应的评分的值越大，
在所述识别步骤中，将所述第一类似度与所述第二类似度的单纯和或者加权和最大的模型图像确定为与所述输入图像最吻合的模型图像。
CN201480076713.4A 2014-03-14 2014-03-14 图像识别装置、图像传感器、图像识别方法 Active CN106062820B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/057003 WO2015136714A1 (ja) 2014-03-14 2014-03-14 画像識別装置、画像センサ、画像識別方法

Publications (2)

Publication Number Publication Date
CN106062820A CN106062820A (zh) 2016-10-26
CN106062820B true CN106062820B (zh) 2018-12-28

Family

ID=54071191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480076713.4A Active CN106062820B (zh) 2014-03-14 2014-03-14 图像识别装置、图像传感器、图像识别方法

Country Status (5)

Country Link
US (1) US10055670B2 (zh)
EP (1) EP3118813B1 (zh)
JP (1) JP6176388B2 (zh)
CN (1) CN106062820B (zh)
WO (1) WO2015136714A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN108460389B (zh) * 2017-02-20 2021-12-03 阿里巴巴集团控股有限公司 一种识别图像中对象的类型预测方法、装置及电子设备
CN108694398B (zh) * 2017-04-06 2020-10-30 杭州海康威视数字技术股份有限公司 一种图像分析方法及装置
JP6889865B2 (ja) * 2017-09-22 2021-06-18 オムロン株式会社 テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
WO2019092782A1 (ja) * 2017-11-07 2019-05-16 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6687591B2 (ja) 2017-12-26 2020-04-22 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法
JP7207862B2 (ja) * 2018-04-26 2023-01-18 株式会社日立製作所 物体認識装置および方法
JP6763914B2 (ja) * 2018-06-08 2020-09-30 ファナック株式会社 ロボットシステムおよびロボットシステムの制御方法
JP7022036B2 (ja) 2018-08-31 2022-02-17 ファナック株式会社 物品取出システム
US11200632B2 (en) * 2018-11-09 2021-12-14 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP7186128B2 (ja) * 2019-04-24 2022-12-08 株式会社日立製作所 物品認識システムおよび物品認識方法
CN110102906A (zh) * 2019-05-10 2019-08-09 定颖电子(黄石)有限公司 一种镭刻打码系统及镭刻打码工艺
EP3961558A4 (en) * 2019-07-12 2023-01-11 Murata Machinery, Ltd. IMAGE RECOGNITION METHOD AND IMAGE RECOGNITION DEVICE
CN110458044A (zh) * 2019-07-22 2019-11-15 苏州慧润百年物联科技有限公司 一种基于图像识别的判断地面浸水方法
US11948130B2 (en) * 2020-01-30 2024-04-02 BlueOwl, LLC Systems and methods for waste management using recurrent convolution neural network with stereo video input
CN111353419B (zh) * 2020-02-26 2023-08-11 北京百度网讯科技有限公司 图像比对方法、装置、电子设备及存储介质
CN113591921A (zh) * 2021-06-30 2021-11-02 北京旷视科技有限公司 图像识别方法及装置、电子设备、存储介质
CN115170566B (zh) * 2022-09-07 2022-12-13 湖南视比特机器人有限公司 一种工件的识别方法和识别装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1566788A2 (en) * 2004-01-23 2005-08-24 Sony United Kingdom Limited Display
CN101110101A (zh) * 2006-07-17 2008-01-23 松下电器产业株式会社 识别图像的方法及设备
CN101300576A (zh) * 2005-10-31 2008-11-05 索尼英国有限公司 图像处理
CN102938071A (zh) * 2012-09-18 2013-02-20 西安电子科技大学 基于非局部均值的sar图像变化检测模糊聚类分析方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2853168B2 (ja) * 1989-05-31 1999-02-03 株式会社明電舎 パターン認識装置
US7991232B2 (en) * 2004-03-03 2011-08-02 Nec Corporation Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
CN101542520B (zh) * 2007-03-09 2011-12-07 欧姆龙株式会社 识别处理方法及使用该方法的图像处理装置
JP5018404B2 (ja) 2007-11-01 2012-09-05 ソニー株式会社 画像識別装置および画像識別方法、並びに、プログラム
US20100166303A1 (en) * 2008-12-31 2010-07-01 Ali Rahimi Object recognition using global similarity-based classifier
JP5689629B2 (ja) * 2010-08-30 2015-03-25 Juki株式会社 画像処理装置
CN102741882B (zh) * 2010-11-29 2015-11-25 松下电器（美国）知识产权公司 图像分类装置、图像分类方法、集成电路、模型制作装置
US20160005156A1 (en) * 2012-12-27 2016-01-07 Hao Wang Infrared selecting device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1566788A2 (en) * 2004-01-23 2005-08-24 Sony United Kingdom Limited Display
CN101300576A (zh) * 2005-10-31 2008-11-05 索尼英国有限公司 图像处理
CN101110101A (zh) * 2006-07-17 2008-01-23 松下电器产业株式会社 识别图像的方法及设备
CN102938071A (zh) * 2012-09-18 2013-02-20 西安电子科技大学 基于非局部均值的sar图像变化检测模糊聚类分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Classifier combination and score level fusion:concepts and practical aspects;Salim Chitroub;《International Journal of Image and Data Fusion》;20100518;第1卷(第2期);全文 *
introduction to the bag of features paradigm for image classification and retrieval;Stephen O＇Hara 等;《computer science》;20110117;第4节 *
Video Google：a text retrieval approach to object matching in videos;J.Sivic等;《Proceedings Ninth IEEE International Conference on Computer Vision》;20031016;第2卷;摘要，第1-2、4-6节，图2 *

Also Published As

Publication number Publication date
US20170017862A1 (en) 2017-01-19
JP6176388B2 (ja) 2017-08-09
EP3118813B1 (en) 2021-06-02
CN106062820A (zh) 2016-10-26
JPWO2015136714A1 (ja) 2017-04-06
US10055670B2 (en) 2018-08-21
EP3118813A1 (en) 2017-01-18
EP3118813A4 (en) 2017-11-01
WO2015136714A1 (ja) 2015-09-17

Similar Documents

Publication Publication Date Title
CN106062820B (zh) 图像识别装置、图像传感器、图像识别方法
EP3038028B1 (en) Sequencing products recognized in a shelf image
CN103714338B (zh) 图像处理装置和图像处理方法
CN106062819B (zh) 图像处理装置、图像传感器、图像处理方法
CN108573273A (zh) 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
JPWO2014087725A1 (ja) 商品情報処理装置、そのデータ処理方法、およびプログラム
JP2012014544A (ja) コーディネート推薦装置、コーディネート推薦方法及びそのプログラム
US10515459B2 (en) Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor
TWI620131B (zh) 物品辨識系統與方法
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
JP2015187759A (ja) 画像検索装置、画像検索方法
US9721163B2 (en) Image processing apparatus, image processing method, and recording medium
JPWO2016063483A1 (ja) 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置
CN102855635A (zh) 确定人体动作周期及识别人体动作的方法和装置
CN103942576A (zh) 一种用空域多尺度随机特征识别煤岩的方法
CN111222558B (zh) 图像处理方法及存储介质
CN113313704B (zh) 一种集成电路引脚检测方法、装置、终端及存储介质
CN103218801A (zh) 图像处理设备和方法、以及指定标记估计设备和方法
WO2015136716A1 (ja) 画像処理装置、画像センサ、画像処理方法
JP2021096635A (ja) 画像処理装置、画像処理方法、およびプログラム
CN112200180B (zh) 用于瓶体检测分类的方法、装置及瓶体柜
CN105279474A (zh) 判断改变区域的内容的方法和装置
JP2023026031A (ja) 検査プログラム、検査方法、および情報処理装置
CN110414304A (zh) 物体辨别装置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant