CN104217194A - 图像核对方法及装置、模型模板生成方法及装置以及程序 - Google Patents

图像核对方法及装置、模型模板生成方法及装置以及程序 Download PDF

Info

Publication number
CN104217194A
CN104217194A CN201410195547.1A CN201410195547A CN104217194A CN 104217194 A CN104217194 A CN 104217194A CN 201410195547 A CN201410195547 A CN 201410195547A CN 104217194 A CN104217194 A CN 104217194A
Authority
CN
China
Prior art keywords
image
model
characteristic quantity
template
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410195547.1A
Other languages
English (en)
Other versions
CN104217194B (zh
Inventor
小西嘉典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104217194A publication Critical patent/CN104217194A/zh
Application granted granted Critical
Publication of CN104217194B publication Critical patent/CN104217194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像核对方法及装置、模型模板生成方法及装置以及程序，是对于变动具有鲁棒性的模板匹配技术。作为解决手段，图像核对方法包括：取得模型图像的取得步骤；对所述模型图像分别施加不同的变动而生成多个变动图像的变动图像生成步骤；从所述多个变动图像中分别提取特征量的特征量提取步骤；根据所述特征量生成模型模板的模板生成步骤；以及使用输入图像和所述模型模板进行模板匹配的核对步骤。优选针对每个区域使用在特征量步骤中提取出的比例较多的特征量生成模型模板，或者优先使用所提取的特征量数量较多的区域或特征量分布峰态高的区域的特征量生成模型模板。

Description

图像核对方法及装置、模型模板生成方法及装置以及程序
技术领域
本发明涉及通过模板匹配(template matching)进行图像核对的技术。
背景技术
在通过模板匹配进行物体检测的情况下，若所登记的模型图像与核对对象的图像之间产生变动，则检测精度降低。此处所谓的变动是指例如位置偏移或旋转、放大/缩小、物体的细微变形、照明的变化和图像噪声的附加等。
作为针对该问题的应对方法，可考虑准备与各种变动对应的多个模型模板(modetemplate)。例如，根据从不同角度拍摄到的模型图像、变更照明拍摄到的模型图像、施加了噪声的模型图像，分别生成模型模板。由此，在施加了变动的情况下也能够进行检测。
作为另一种应对方法，在非专利文献1中提出了被称之为Geometric Blur(几何模糊)的方法。在该方法中，考虑特征量的位置，应用距离原点越远则方差越大的高斯滤波器，由此能够实现对于变动具有鲁棒性的模板匹配。
在先技术文献
非专利文献
非专利文献1：Berg,Alexander C.,and Jitendra Malik."Geometric blur for templatematching."Computer Vision and Pattern Recognition,2001.CVPR2001.Proceedings ofthe2001IEEE Computer Society Conference on.Vol.1.IEEE,2001.
作为生成多个模型模板加以使用的方法，由于需要按照模型模板的数量进行搜索处理，存在处理时间根据模型模板的数量而线性增加的问题。
另外，在非专利文献1所述的方法中，由于应用了高斯滤波器，因而仅能针对作为连续量的取得单峰型分布的特征量(例如亮度特征量)加以应用。在将对亮度梯度的方向进行量化后的内容用作特征量时等不满足上述条件的情况下，无法应用非专利文献1所述的方法。
发明内容
本发明的目的在于提供一种对于变动具有鲁棒性的模板匹配技术。
为了解决上述课题，本发明第一方面的图像核对方法对模型图像施加所预测的各种变动，根据这些变动图像进行特征提取，使用在各种变动情况下稳定显现的特征量生成模板。
更具体而言，本发明第一方面的图像核对方法是由图像核对装置执行的图像核对方法，包括：取得步骤，取得模型图像；变动图像生成步骤，对所述模型图像分别施加不同的变动而生成多个变动图像；特征量提取步骤，从所述多个变动图像中分别提取出特征量；模板生成步骤，根据所述特征量生成模型模板；以及核对步骤，使用核对图像和所述模型模板，进行模板匹配。
此外，对模型图像施加的变动可为任意变动，例如优选施加旋转、放大/缩小、变形、照明的变化、图像噪声的附加中的至少任一个。
通过这样处理，即使在核对时产生变动的情况下，只要在模板生成时考虑到该变动，就能正确地检测物体。另外，虽然对模型图像施加多种变动，然而所生成的模板仅为1个，因而在核对时不会导致处理速度降低。
在本发明中，优选在特征量提取步骤中，将各个变动图像分割为多个区域，提取出每个区域的特征量。这种情况下，既可以从1个区域提取出1个特征量，也可以从构成1个区域的多个子区域中分别提取特征量。无论何种情况，通过从多个变动图像中按照每个区域提取特征量，都能获得各区域的特征量的分布。作为特征量，例如可使用将亮度的梯度方向量化后得到的内容。
在本发明的模板生成步骤中，优选使用在所述特征量提取步骤中针对所述每个区域提取出的特征量的分布，生成模型模板。此时，即可以使用特征量分布本身生成模型模板，也可以使用对特征量的分布赋予特征的参数(最频值或平均值等)生成模型模板。
或者，优选使用在各区域中提取出的比例高的特征量生成模型模板。其中，提取出的比例高的特征量既可以指从出现频度高的特征量起规定数量的特征量，也可以指出现概率在规定值以上的特征量。例如，可以考虑使用特征量的最频值或使用出现概率在阈值(例如20％)以上的特征量，生成模型模板。
另外，在本发明的模板生成步骤中，优选使用在特征量提取步骤中提取出特征量的数量多的区域的特征量，生成模型模板。此时，假定的是有时能够从区域取得特征量而有时无法从区域取得特征量的情况。作为这种特征量的例子，可举出与亮度梯度相关的特征量。能够从存在边缘的区域获得亮度梯度特征量，而无法从不存在边缘的区域获得亮度梯度特征量。因此，若从多个变动图像提取出这种特征量，则由于区域不同提取出的特征量的数量(提取频度)不同。如上所述，通过使用提取出的特征量数量多的区域的特征量生成模板模型，能够将在各种变动情况下很有可能共同显现的特征量反映于模型模板，因此变动情况下的核对精度得以提升。另外，由于特征量的数量可以很少，因而核对处理实现高速。此外，提取出的特征量数量多的区域既可以是指从该区域提取出的特征量的数量在规定阈值以上的区域，也可以指提取出的特征量的数量属于上位规定比例的区域。
另外，在本发明的模板生成步骤中，优选使用特征量分布的峰态高的区域的特征量，生成模型模板。特征量分布的峰态高是指能够获得在各种变动情况下共同的特征量。因此，通过使用这种特征量生成模型模板，既能够提升变动情况下的核对精度，又能使得核对处理实现高速化。
上述内容中仅使用特征量的出现频度高的区域或特征量分布的峰态高的区域的特征量生成模型模板，但是也可以将出现频度和峰态用作核对时的权重。也就是说，优选还根据特征量在各区域的出现频度和特征量分布的峰态来求出该区域的指标值并进行分配，在核对步骤中实施基于对各区域分配的指标值的加权，以进行输入图像与模型模板的模板匹配。此时，出现频度和峰态越大，则越增大权重。换言之，对特征量的出现频度越高的区域以及特征量分布的峰态越高的区域，越增大其对于核对评分的影响度。通过这样处理，在被施加了变动的情况下也能提高核对精度。
此外，本发明还可以实现为包含上述处理中至少一部分的图像核对方法。另外，本发明还可以实现为用于生成在所述图像核对方法中使用的模型模板的模型模板生成方法。另外，本发明还可以实现为具备用于实施所述图像核对方法和模型模板生成方法的手段的图像核对装置和模型模板生成装置。另外，本发明还可以实现为用于使计算机执行所述图像核对方法和模型模板生成方法的计算机程序。所述各手段和各处理在可能的情况下可以彼此组合而构成本发明。
根据本发明，能够实现对于变动具有鲁棒性的模板匹配。
附图说明
图1是示出本实施方式的图像核对装置的功能块的图。
图2是示出本实施方式的图像核对装置的硬件构成的图。
图3是示出模型模板生成处理的流程的流程图。
图4是用于说明特征量提取的图，(A)表示模型图像的区域分割，(B)表示分割后的区域，(C)表示根据区域的特征量计算，(D)表示亮度梯度方向特征量的量化。
图5是说明特征量分布的制作处理的图，(A)表示模型图像，(B)表示变动图像，(C)表示从各变动图像提取出的亮度梯度方向特征量，(D)表示亮度梯度方向特征量的分布。
图6是说明基于特征量分布的模型模板生成处理的图，(A)表示模型图像，(B)～(D)分别表示各区域的特征量分布。
图7是表示图像核对处理的流程的流程图。
标号说明
100图像核对装置；110模型模板生成处理部；111模型图像取得部；112变动图像生成部；113特征量提取部；114模型模板生成部；120模板匹配部；121核对图像取得部；122特征量提取部；123图像核对部；130模型模板存储部
具体实施方式
下面参照附图，根据实施例示例性详细说明用于实施本发明的方式。其中，在没有特别描述的情况下，本发明的范围局不限于实施例所述的构成部件的尺寸、材质、形状及其相对配置等。
本实施方式的图像核对装置100取得在生产线等中被组装且在传送带上被输送的工件的图像，使用预先登记的模型(模型模板)对该图像进行模式匹配(patternmatching)处理。
图2是本发明实施方式的图像核对装置100的概要构成图。参照图2，图像核对装置100具有：作为运算处理部的CPU(Central Processing Unit，中央处理单元)101、作为存储器部的主存储器102和硬盘103、相机接口104、输入接口105、显示控制器106、PLC(Programmable Logic Controller)接口107、通信接口108、数据读写器109。这些各部分通过总线B以彼此能够进行数据通信的方式连接。
CPU101将存储于硬盘103的程序(code，代码)扩展到主存储器102，以规定顺序执行这些程序，由此进行各种运算。典型地，主存储器102为DRAM(DynamicRandom Access Memory，动态随机存取存储器)等易失性存储装置，除了从硬盘103读取的程序之外，主存储器102还保存由摄像装置8取得的图像数据、工件数据、与模型有关的信息等。进而，硬盘103还可以存储各种设定值等。此外，还可以采用闪速存储器等半导体存储装置来代替硬盘103或与硬盘103一起使用。
相机接口104对CPU101与摄像装置8之间的数据传输进行中介。即，相机接口104与用于拍摄工件而生成图像数据的摄像装置8连接。更具体而言，相机接口104具有能够与1个以上摄像装置8连接且用于暂时蓄积来自摄像装置8的图像数据的图像缓存器104a。而且，相机接口104在图像缓存器104a中蓄积了规定帧数的图像数据时，将该蓄积的数据转送到主存储器102。另外，相机接口104按照CPU101产生的内部指令，向摄像装置8赋予拍摄指令。
输入接口105对CPU101与鼠标4、键盘、触摸面板等输入部之间的数据传输进行中介。即，输入接口105受理用户操作输入部而赋予的操作指令。
显示控制器106与作为显示装置的典型例的显示器2连接，将CPU101中的图像处理结果通知给用户。即，显示控制器106与显示器2连接，控制该显示器2的显示。
PCL接口107对CPU101与控制工件传送机构的PLC5之间的数据传输进行中介。更具体而言，PLC接口107将与由PLC5控制的生产线的状态有关的信息和与工件有关的信息传输给CPU101。
通信接口108对CPU101与控制台(或个人计算机和服务器装置)等之间的数据传输进行中介。典型地，通信接口108由以太网(注册商标)或USB(Universal Serial Bus)等构成。此外，如后所述，还可以通过通信接口108将从发布服务器等下载的程序安装到图像核对装置100，以取代将存储于存储卡6的程序安装到图像核对装置100的方式。
数据读写器109对CPU101与作为存储介质的存储卡6之间的数据传输进行中介。即，图像核对装置100执行的程序等在存储于存储卡6的状态下流通，数据读写器109从该存储卡6读出程序。另外，数据读写器109响应CPU101的内部指令，将摄像装置8取得的图像数据和/或图像核对装置100中的处理结果等写入存储卡6。此外，存储卡6由CF(Compact Flash)、SD(Secure Digital)等通用的半导体存储设备、软盘(Flexible Disk)等磁存储介质、CD-ROM(Compact Disk Read Only Memory)等光学存储介质等构成。
另外，还可以根据需要将图像核对装置100与打印机等其他输出装置连接。
图1示出本实施方式的图像核对装置100的功能块。如上所述，图像核对装置100的CPU101通过执行预先安装的程序(OS和应用程序等)而实现图1所示的功能。此外，还可以将图1所示的功能的一部分或全部实现为专用的硬件。
如图1所示，图像核对装置100大致具有模型模板生成处理部110和模板匹配部120。模型模板生成处理部110是根据模型图像生成模型模板的功能部。通过模型模板生成处理部110生成的模型模板存储于模型模板存储部130中。模板匹配部120是如下功能部，其受理核对对象的图像(核对图像)作为输入，使用存储在模型模板存储部130中的模型模板，判定核对图像与模型模板是否一致。
模型模板生成处理部110具有模型图像取得部111、变动图像生成部112、特征量提取部113、模型模板生成部114。图3是示出由模型模板生成处理部110执行的模型模板生成处理的流程的流程图。另外，模板匹配部120具有核对图像取得部121、特征量提取部122、图像核对部123。图7是表示由模板匹配部120执行的图像核对处理(模板匹配处理)的流程的流程图。参照附图如下依次说明各功能部的详细情况。
<模型模板生成处理>
首先说明由模型模板生成处理部110执行的模型模板生成处理。在本实施方式中，生成如下模型模板，即，即使在模型模板生成时使用的模型图像的拍摄环境和核对对象的图像的拍摄环境发生变化的情况下也能够鲁棒性地进行物体检测的模型模板。作为环境的差异，存在例如明亮度、图像噪声、物体的旋转或大小的变化、变形等。为了能够实现鲁棒性的图像核对，模型模板生成处理部110生成对所输入的模型图像施加了设想的各种变动的多个变动图像，基于根据多个变动图像获得的特征量的分布，生成1个模型模板。
[模型图像取得]
为了生成模型模板，首先由模型图像取得部111取得模型图像(S11)。模型图像是拍摄应通过模板匹配检测的物体而得到的图像。基于模型图像取得部111的模型图像取得方法可为任意方法。例如，既可以读入存储在存储介质中的模型图像数据，也可以经由网络取得模型图像数据。另外，还可以在图像核对装置100组装摄像装置，由模型图像取得部111取得由摄像装置拍摄的数据。
[变动图像生成]
接着，变动图像生成部112对模型图像施加彼此不同的多种变动，生成多个变动图像(S12)。作为变动的例子，可举出旋转、放大/缩小、变形、照明的变化、图像噪声的附加等。变动图像生成部112将组合了以上变动之一或多个后得到的变动施加到模型图像而生成变动图像。关于赋予何种变动以及使各种变动为何种程度，优选实际进行物体检测时考虑所设想的变动加以确定。变动图像生成部112所生成的变动图像的数量可为任意，例如可考虑生成几千到几万张左右的变动图像。
[特征量提取]
接着，特征量提取部113从多个变动图像中分别提取出特征量(S13)。在本实施方式中，采用亮度梯度方向特征量作为要提取的特征量。以下参照图4说明亮度梯度方向特征量。如图4(A)所示，特征量提取部113将变动图像30分割为多个区域。在本实施方式中，分割为具有3像素×3像素的大小的区域。图4(B)是将图4(A)中的区域31放大后示出的图。如图4(B)所示，区域31由3×3的9个像素31A～31I构成。此外，各区域的大小可为3×3以外的任意大小。另外，还可以按照使得各区域彼此重复的方式进行区域分割。
特征量提取部113针对分割区域内的各像素求出亮度梯度的方向和大小(强度)。亮度梯度可以根据对象像素及其周围的像素来求取。图4(C)表示针对区域31内的各像素求出的亮度梯度。其中，箭头的方向表示亮度梯度的方向，箭头的长度表示亮度梯度的大小。图4(C)中，粗线所示的箭头表示亮度梯度强度在规定的阈值以上。在本实施方式中，在某像素的亮度梯度强度小于规定的阈值的情况下，视为未从该像素检测到亮度梯度。在图4(C)的例子中，视为仅从3个像素31C、31E、31G检测到亮度梯度。
如图4(D)所示，将亮度梯度方向量化后进行表示。本实施方式中，将亮度梯度方向分类为8个方向。因此，从图4(C)所示的区域31中提取出方向1的1个亮度梯度和方向2的2个特征量。此外，对亮度梯度方向进行量化时的量化方法可为任意方法。
对模型图像30内的所有区域实施如上处理，从而完成对于1个变动图像的亮度梯度方向特征量的提取。
特征量提取部113对所有变动图像实施上述处理，统合各区域的亮度梯度方向特征量的分布，由此制作出各区域的特征量分布(S14)。参照图5说明根据多个变动图像制作特征量分布的处理。图5(A)是示出模型图像40的图。模型图像40显现出检测对象物体42。此外，图中用阴影示出检测对象物体42的内部，但是内部与边界线具有相同的亮度。以下以模型图像40的区域41为例说明特征量分布制作处理。
图5(B)示出在对模型图像40施加了各种变动(其中，此处限定为旋转和放大/缩小)的情况下区域41中的图像。没有变动的情况下，区域41包含物体42的角部(纵向边缘和横向边缘)，通过变动，边缘的朝向发生变动，或者任一方的边缘或双方的边缘从区域41错开。图5(C)表示从图5(B)所示的各变动图像的区域41提取了亮度梯度方向特征量的结果。能够根据各变动图像获得1个或多个亮度梯度方向特征量。虽然通过所施加的变动提取出的亮度梯度不同，但求平均后获得与模型图像的亮度梯度类似的亮度梯度的概率较高。
在图5的例子中说明了将旋转和放大/缩小作为对模型图像施加的变动，然而在施加诸如改变照明或附加图像噪声等变动的情况下也能进行同样的处理，这是不言自明的。
特征量提取部113如上所述生成根据多个变动图像获得的与1个区域有关的亮度梯度方向特征量的分布。图5(D)是示出模型图像40的区域41的特征量分布的图。在图5(D)中，横轴表示量化后的亮度梯度方向特征量，纵轴表示各亮度梯度方向特征量的出现概率。出现概率指的是某方向的特征量在从某区域提取出的特征量整体所占的比例。在该例子中，示出作为从区域41提取的亮度梯度方向特征量中出现频度较高的是方向1和8。
特征量提取部113根据在步骤S14制作的亮度梯度方向特征量的分布，按照模型图像的每个区域计算模型模板生成时使用的特征量(S15)。在本实施方式中，按照每个区域将该区域内的出现概率(出现比例)较高的亮度梯度方向特征量作为模型模板生成时使用的特征量。其中，出现概率(出现比例)较高的亮度梯度方向特征量指的是在该区域中出现概率(出现比例)处于规定阈值以上的亮度梯度方向特征量。在采用20％作为阈值的情况下，根据图5(D)所示的分布，将方向1和8的亮度梯度方向特征量决定为模型模板生成时使用的特征量。
此外，也可以利用上述以外的基准来选择模型模板生成时使用的特征量。例如，可以将步骤S14中生成的亮度梯度方向特征量的分布本身用作模型模板生成时的特征量。此外，还可以将分布中的最频值、或用0或1表现特征量的有无的值、出现概率本身用作特征量。
[模型模板生成]
模型模板生成部114根据特征量计算部113计算出的特征量生成模型模板(S16)。此时，优先从特征量的出现数较多的区域或分布峰态较大的区域生成模型模板。
例如，在优先从特征量的出现数较多的区域生成模型模板的情况下，使用特征量的出现数在规定阈值以上的区域或特征量的出现数属于规定的上位比例(例如，上位25％)的区域的特征量，生成模型模板。以图6为例进行说明。图6(A)示出模型图像50和其中的3个区域51、52、53。图6(B)～(D)分别表示区域51～53的亮度梯度方向特征量的分布。在图6(B)～(D)中，纵轴表示在步骤S13中提取出的特征量的数量。在该例子中，例如将区域51和52中特征量的出现数(整体的合计)判断为阈值以上，将区域53中特征量的出现数判断为不足阈值。如上进行判断的情况下，模型模板生成部114使用从区域51和52获得的特征，生成模型模板。
根据特征量的分布峰态较大的区域来生成模型模板的情况与上述情况相同。即，使用特征量分布峰态在规定阈值以上的区域的特征量来生成模型模板。此外，这里所谓的峰态表示频度分布的峰值的陡度，只要是峰值越陡则越取高值的指标，则可使用任意指标，并不限于统计学领域定义的峰态。
另外，作为优先根据特征量的出现数较多的区域或分布峰态较大的区域来生成模型模板的手法，优选使这种区域的权重增大。这种情况下，按照每个区域根据特征量的出现数和分布峰态来计算对于该区域的指标值，将该指标值作为该区域的核对时的权重，生成模型模板。
模型模板生成处理部114生成的模型模板被储存于模型模板存储部130。
<模板匹配处理>
接着，参照图7的流程图说明通过模型模板生成处理部120执行的模板匹配处理(图像核对处理)。首先，核对图像取得部121取得核对图像(S21)。核对图像是作为使用模型模板从该图像中检测物体的对象的图像。基于核对图像取得部121的核对图像的取得方法可以与使用模型图像取得部111时同样地为任意方法。
特征量提取部122从核对图像提取出亮度梯度方向特征量(S22)。该特征量提取处理与基于特征量提取部113的处理(步骤S13和图4)相同。特征量提取部113从核对图像的各区域取得亮度梯度方向特征量。
接着，图像核对部123比较特征量提取部122所取得的特征量与模型模板，由此判定核对图像中是否包含核对对象的物体。在该处理中，根据模型模板与从核对图像取得的特征量的类似度来进行判定。此外，在模型模板包含权重(基于特征量的出现数或分布峰态的每个区域的指标值)的情况下，在计算图像整体的类似度(核对评分)时，按照每个区域进行基于该指标值的加权，计算类似度。
<本实施方式的作用/效果>
根据本实施方式，由于对向模型图像施加各种变动后得到的图像进行特征量提取而生成模型模板，因此能够实现对于核对时的环境和物体的变动具有鲁棒性的检测。
由于仅使用出现频度较高的特征量生成模型模板，因此核对处理速度成为高速。另外，出现频度较低的特征量对于核对评分的贡献度较小，因此对于预料之外的变动也能实现具有鲁棒性的检测。
在仅使用对物体赋予特征的图像区域(出现数较多的区域和峰态较高的区域)的特征量的情况下，处理速度成为高速。进而，由于不使用相对于各种变动不稳定的区域，因而对于预料之外的变动也能进行具有鲁棒性的检测。此外，在根据出现次数的多少或峰态的高低采用针对每个区域的权重的情况下，能够进行更准确的检测。
本实施方式还能应用于使用无法获得连续量的特征量的情况。另外，还能应用于特征量分布具备多个峰值的情况。非专利文献1所述的Geometric Blur仅能应用于取连续量且取单峰型分布的特征量。因此，本实施方式能够用于更多种类的特征量。
<变形例>
本实施方式中采用的是亮度梯度方向特征量，但是只要是量化的值，则可以采用任意的特征量。例如，可采用亮度值(例：0～255)、亮度值比较(按照每种相对位置关系用0、1来表现大小关系)、小波转换特征量等。
上述说明中，说明的是模型图像和核对图像为静态图像的情况，然而模型图像和核对图像也可以是静态图像组(动态图像)。对于动态图像的模型模板的生成和核对处理能够与上述说明的对静态图像的处理同样实现，因此本实施方式还能够用于动态图像。此外，对动态图像施加变动的情况下，除了对各静态图像施加上述说明的变动之外，还可以新追加使明亮度逐渐变化的变动、使各图像的时序间隔随机变化等变动。
在上述说明中，通过1个装置执行模型模板生成的和图像核对处理，也可以通过不同的装置来进行模型模板的生成和图像核对。

Claims (16)

1.一种由图像核对装置执行的图像核对方法，其中，所述图像核对方法包括：
取得步骤，取得模型图像；
变动图像生成步骤，对所述模型图像分别施加不同的变动而生成多个变动图像；
特征量提取步骤，从所述多个变动图像中分别提取出特征量；
模板生成步骤，根据所述特征量生成模型模板；以及
核对步骤，使用核对图像和所述模型模板，进行模板匹配。
2.根据权利要求1所述的图像核对方法，其中，在所述特征量提取步骤中，将变动图像分割为多个区域，提取每个区域的特征量。
3.根据权利要求2所述的图像核对方法，其中，在所述模板生成步骤中，针对所述每个区域，使用在所述特征量提取步骤中提取出的特征量的分布，生成所述模型模板。
4.根据权利要求2所述的图像核对方法，其中，在所述模板生成步骤中，针对所述每个区域，使用在所述特征量提取步骤中提取出的比例多的特征量，生成所述模型模板。
5.根据权利要求2至4中任一项所述的图像核对方法，其中，在所述模板生成步骤中，使用在所述特征量提取步骤中提取出特征量的数量多的区域的特征量，生成所述模型模板。
6.根据权利要求2至4中任一项所述的图像核对方法，其中，在所述模板生成步骤中，使用所述特征量的分布峰态高的区域的特征量，生成所述模型模板。
7.根据权利要求2至4中任一项所述的图像核对方法，其中，
在所述模板生成步骤中，针对所述每个区域，根据在所述特征量提取步骤中提取出特征量的数量，分配该区域的指标值，
在所述核对步骤中，将分配给各区域的指标值用作权重。
8.根据权利要求2至4中任一项所述的图像核对方法，其中，
在所述模板生成步骤中，针对所述每个区域，根据在所述特征量提取步骤中提取出的特征量的分布峰态，分配该区域的指标值，
在所述核对步骤中，将分配给各区域的指标值用作权重。
9.根据权利要求1至8中任一项所述的图像核对方法，其中，在所述变动图像生成步骤中对所述模型图像施加的变动是旋转、放大/缩小、变形、照明的变化、图像噪声的附加中的至少任一个。
10.根据权利要求1至9中任一项所述的图像核对方法，其中，所述特征量是亮度梯度的方向。
11.根据权利要求1至9中任一项所述的图像核对方法，其中，所述特征量是亮度值。
12.一种图像核对装置，其中，该图像核对装置具有：
取得部，其取得模型图像；
变动图像生成部，其对所述模型图像分别施加不同的变动而生成多个变动图像；
特征量提取部，其从所述多个变动图像中分别提取出特征量；
模板生成部，其根据所述特征量生成模型模板；以及
核对部，其使用核对图像和所述模型模板，进行模板匹配。
13.一种用于使计算机执行如权利要求1至11中任一项所述方法中的各步骤的计算机程序。
14.一种由模型模板生成装置执行的模型模板生成方法，其中，所述模型模板生成方法包括：
取得步骤，取得模型图像；
变动图像生成步骤，对所述模型图像分别施加不同的变动而生成多个变动图像；
特征量提取步骤，从所述多个变动图像中分别提取出特征量；以及
模板生成步骤，根据所述特征量生成模型模板。
15.一种模型模板生成装置，其中，该模型模板生成装置具有：
取得部，其取得模型图像；
变动图像生成部，其对所述模型图像分别施加不同的变动而生成多个变动图像；
特征量提取部，其从所述多个变动图像中分别提取出特征量；以及
模板生成部，其根据所述特征量生成模型模板。
16.一种用于使计算机执行如权利要求14所述方法的各步骤的计算机程序。
CN201410195547.1A 2013-05-31 2014-05-09 图像核对方法及装置、模型模板生成方法及装置 Active CN104217194B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013115617 2013-05-31
JP2013-115617 2013-05-31

Publications (2)

Publication Number Publication Date
CN104217194A true CN104217194A (zh) 2014-12-17
CN104217194B CN104217194B (zh) 2017-08-25

Family

ID=50685757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410195547.1A Active CN104217194B (zh) 2013-05-31 2014-05-09 图像核对方法及装置、模型模板生成方法及装置

Country Status (4)

Country Link
US (1) US9384419B2 (zh)
EP (1) EP2808828B1 (zh)
JP (1) JP6432162B2 (zh)
CN (1) CN104217194B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389566A (zh) * 2015-11-13 2016-03-09 广东欧珀移动通信有限公司 指纹识别方法、指纹模板的更新方法、装置和移动终端
CN108573273A (zh) * 2017-03-10 2018-09-25 欧姆龙株式会社 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554900B2 (ja) * 2015-04-28 2019-08-07 オムロン株式会社 テンプレート作成装置及びテンプレート作成方法
JP6348093B2 (ja) 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
WO2018070032A1 (ja) * 2016-10-14 2018-04-19 富士機械製造株式会社 画像処理装置
CN108133492B (zh) * 2016-12-01 2022-04-26 京东方科技集团股份有限公司 图像匹配方法、装置和系统
CN107516105B (zh) * 2017-07-20 2020-06-16 阿里巴巴集团控股有限公司 图像处理方法及装置
EP3717975A1 (de) * 2017-11-27 2020-10-07 Siemens Aktiengesellschaft Verfahren und vorrichtung zur projektierung einer spezifi-schen verfahrenstechnischen anlage
US11164015B2 (en) * 2018-05-08 2021-11-02 Ford Global Technologies, Llc Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors
CN111079802B (zh) * 2019-12-02 2023-04-07 易思维（杭州）科技有限公司 一种基于梯度信息的匹配方法
CN116310763B (zh) * 2023-05-10 2023-07-21 合肥英特灵达信息技术有限公司 一种模板图像生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426088A (zh) * 2007-11-02 2009-05-06 索尼株式会社 成像设备及其控制方法以及程序
CN101751574A (zh) * 2008-12-09 2010-06-23 索尼株式会社 图像处理设备、成像装置、成像处理方法和程序
CA2773730A1 (en) * 2010-10-15 2012-04-15 Mitek Systems Systems for mobile image capture and remittance processing

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01250184A (ja) * 1987-12-09 1989-10-05 Ricoh Co Ltd 文字認識方法及び文字の回転角度判定方法
JPH09223197A (ja) * 1996-02-15 1997-08-26 Fujitsu Ltd 文字認識装置
US7512807B2 (en) * 2003-02-25 2009-03-31 Activcard Ireland, Limited Method and apparatus for biometric verification with data packet transmission prioritization
JP4575738B2 (ja) * 2004-09-29 2010-11-04 富士フイルム株式会社 超音波画像境界抽出方法及び超音波画像境界抽出装置、並びに、超音波撮像装置
JP4943228B2 (ja) * 2007-05-22 2012-05-30 Ｊｕｋｉ株式会社 画像のマッチング処理方法
US8004576B2 (en) * 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
JP5550301B2 (ja) * 2009-10-16 2014-07-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8913783B2 (en) * 2009-10-29 2014-12-16 Sri International 3-D model based method for detecting and classifying vehicles in aerial imagery
JP2012123626A (ja) * 2010-12-08 2012-06-28 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
US9031317B2 (en) * 2012-09-18 2015-05-12 Seiko Epson Corporation Method and apparatus for improved training of object detecting system
US9117144B2 (en) * 2013-08-14 2015-08-25 Qualcomm Incorporated Performing vocabulary-based visual search using multi-resolution feature descriptors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101426088A (zh) * 2007-11-02 2009-05-06 索尼株式会社 成像设备及其控制方法以及程序
CN101751574A (zh) * 2008-12-09 2010-06-23 索尼株式会社 图像处理设备、成像装置、成像处理方法和程序
CA2773730A1 (en) * 2010-10-15 2012-04-15 Mitek Systems Systems for mobile image capture and remittance processing
WO2012051624A2 (en) * 2010-10-15 2012-04-19 Mitek Systems Systems for mobile image capture and remittance processing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KONISHI等: "fast and precise template matching based on oriented gradients", 《SPRINGER-VERLAG BERLIN HEIDELBERG》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389566A (zh) * 2015-11-13 2016-03-09 广东欧珀移动通信有限公司 指纹识别方法、指纹模板的更新方法、装置和移动终端
CN105389566B (zh) * 2015-11-13 2018-09-11 广东欧珀移动通信有限公司 指纹识别方法、指纹模板的更新方法、装置和移动终端
US10460149B2 (en) 2015-11-13 2019-10-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for updating fingerprint templates, and mobile terminal
CN108573273A (zh) * 2017-03-10 2018-09-25 欧姆龙株式会社 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质
CN108573273B (zh) * 2017-03-10 2022-02-18 欧姆龙株式会社 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质

Also Published As

Publication number Publication date
US9384419B2 (en) 2016-07-05
EP2808828B1 (en) 2020-08-05
EP2808828A2 (en) 2014-12-03
US20140355886A1 (en) 2014-12-04
JP2015007972A (ja) 2015-01-15
JP6432162B2 (ja) 2018-12-05
EP2808828A3 (en) 2015-04-08
CN104217194B (zh) 2017-08-25

Similar Documents

Publication Publication Date Title
CN104217194A (zh) 图像核对方法及装置、模型模板生成方法及装置以及程序
JP6000455B2 (ja) フォーム認識方法及びフォーム認識装置
JP5506785B2 (ja) 勾配ヒストグラムを用いた指紋表現
JP5521164B2 (ja) 連続して存在する英数字を識別するための画像処理システムおよびその方法
US11080553B2 (en) Image search method and apparatus
US11600031B2 (en) Font creation apparatus, font creation method, and font creation program
US20150278605A1 (en) Apparatus and method for managing representative video images
JP7173309B2 (ja) 学習方法、学習プログラム、および、学習装置
CN112257738A (zh) 机器学习模型的训练方法、装置和图像的分类方法、装置
US20210374527A1 (en) Information processing apparatus, information processing method, and storage medium
CN110570443A (zh) 一种基于结构约束条件生成模型的图像线状目标提取方法
US20080056576A1 (en) Ruled line extracting program, ruled line extracting apparatus and ruled line extracting method
CN110867243B (zh) 一种图像标注方法、装置、计算机系统及可读存储介质
Souza et al. Maximal max-tree simplification
CN101930593B (zh) 单一物体影像萃取系统及方法
JP2015026117A (ja) 画像処理方法、画像処理装置、プログラム及び記録媒体
CN108492345B (zh) 一种基于尺度变换的数据块划分方法
Wilk et al. Sub-pixel point detection algorithm for point tracking with low-power wearable camera systems: A simplified linear interpolation
CN113378864B (zh) 一种锚框参数的确定方法、装置、设备及可读存储介质
KR101796551B1 (ko) 가변조명에 강인한 깊이정보 고속 산출방법 및 시스템
US11195083B2 (en) Object detection system and object detection method
KR101751871B1 (ko) 이미지 데이터 특질 추출 방법 및 장치
Peng et al. Depth and edge auxiliary learning for still image crowd density estimation
Li et al. Visual salience learning via low rank matrix recovery
Juneja et al. A feature fusion method for effective face recognition under variant illumination and noisy conditions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant