CN108573273A - 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质 - Google Patents

图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质 Download PDF

Info

Publication number
CN108573273A
CN108573273A CN201810141229.5A CN201810141229A CN108573273A CN 108573273 A CN108573273 A CN 108573273A CN 201810141229 A CN201810141229 A CN 201810141229A CN 108573273 A CN108573273 A CN 108573273A
Authority
CN
China
Prior art keywords
template
image
resolution
standard form
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810141229.5A
Other languages
English (en)
Other versions
CN108573273B (zh
Inventor
小西嘉典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN108573273A publication Critical patent/CN108573273A/zh
Application granted granted Critical
Publication of CN108573273B publication Critical patent/CN108573273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Nonlinear Science (AREA)
  • Robotics (AREA)
  • Image Analysis (AREA)

Abstract

提供在使用了模板匹配的物体识别中用于将匹配处理实现高速化的图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质。标准模板作成部(202)按各层的每一层作成分辨率不同的多个标准模板。识别模板作成部(203)按各层的每一层作成体现多个标准模板的共用部分的共用模板和体现多个模板间的差异部分的识别模板。在上层等级的匹配处理中，使用标准模板，另一方面，在下层等级的匹配处理中，使用表示模板间的共用部分的共用模板和表示模板间的差异部分的识别模板。

Description

图像处理装置、图像处理方法、模板作成装置、物体识别处理 装置以及记录介质
技术领域
本发明涉及通过模板匹配从图像检测对象物的技术。
背景技术
作为根据物体识别图像检测对象物的一种方法有模板匹配。模板匹配是预先准备成为检测对象的物体的模型(模板)、通过输入图像操作模板图像、算出输入图像上的各位置的类似度、评价算出的类似度从而检测图像中的物体的位置或姿态的方法。基于模板匹配的物体检测在FA(Factory Automation：工厂自动化)的检查或分拣、机器人视觉、监视摄像机等涉及多方面的领域中使用。特别是在最近的模板匹配中，从使用了二维计测的对象物的位置/姿态的检测向使用了三维计测的对象物的位置/姿态的检测应用的技术受到关注。
作为使用了三维计测的模板匹配，提出按从各种视点观看的每一姿态准备个别的模板，对这些模板以循环方式进行匹配的搜索处理方法，与使用了二维计测的情况相比必须准备的模板的数量非常多，带来处理时间增长的问题(例如参照专利文献1)。
作为这种问题的对策，已知基于粗密搜索的模板匹配。粗密搜索是一种将基于模板匹配的搜索处理实现高速化的技术，是反复进行如下处理而最终检测原来的分辨率的对象物的位置/姿态的技术：准备使分辨率以阶梯式不同的图像组(所谓的图像金字塔)，按低分辨率的图像进行粗搜索，以搜索结果为基础锁定搜索范围并针对锁定后的搜索范围按高分辨率的图像进一步进行搜索。
在此，图9是表示使用了图像金字塔的粗密搜索的基本概念的图。
如图9所示，在粗密搜索中，使用使分辨率以阶梯式不同的第一层到第k层(k≥2以上的整数)的k个图像组(图像金字塔)。第一层的分辨率最低，分辨率按第二层、…、第k层的顺序变高。图9是k＝3的例子，第三层与原图像对应，分辨率按第二层、第一层的顺序变低。
在粗密搜索中，最初对分辨率最低的第一层图像进行基于模板匹配的搜索处理，检测物体在第一层中的存在位置(正解候选)(参照图9的第一层图像内所示的检测位置)。接着，在对第二层进行的搜索处理中，与第一层中的检测位置对应的第二层图像被设定为搜索范围，对该搜索范围进行搜索处理(参照图9的第二层图像内所示的检测位置)。同样地，基于第二层中的检测结果来设定第三层图像中的搜索范围，对该搜索范围进行搜索处理，最终确定第三层(原图像)内的物体位置(参照图9的第三层图像内所示的检测位置)。
这样，通过从低分辨率的图像(以下也称为“低分辨率图像”。)向高分辨率的图像(以下也称为“高分辨率图像”。)以阶梯式锁定搜索范围，能削减模板的匹配次数，能缩短处理时间。
现有技术文献
专利文献
专利文献1：日本专利申请公开第2016-207147号公报。
发明内容
发明要解决的课题
但是，在粗密搜索中，随着从低分辨率图像去往高分辨率图像，要匹配的模板的数量(即，成为正解候选的模板的数量)变多。因此，即使能通过锁定搜索范围来缩短处理时间，针对高分辨率图像也必须执行多次匹配处理，匹配处理所需的处理时间变长。作为结果，存在无法充分得到缩短整体的处理时间的效果。
本发明是鉴于以上说明的情况而完成的，其目的在于提供在使用了模板匹配的物体识别中用于将匹配处理实现高速化的技术。
用于解决课题的手段
本发明的一方式的图像处理装置通过模板匹配进行物体的识别，具备：图像取得部，其取得物体的输入图像；标准模板作成部，其分别作成与从不同的视点观看的物体对应的多个标准模板；识别模板作成部，其作成体现各标准模板间的差异部分的多个识别模板；以及模板匹配部，其使用作成的多个识别模板进行与物体的输入图像的匹配。
根据上述构成，分别基于与从不同的视点观看的物体对应的多个标准模板来作成表示标准模板间的差异部分的识别模板，使用作成的识别模板进行匹配处理。这样，通过使用仅体现标准模板间的差异部分的识别模板的匹配，与用标准模板进行匹配的情况相比，更能将处理速度实现高速化。
在上述方式中，识别模板作成部可以设为如下构成：除了作成多个识别模板以外，还作成体现各标准模板间的共用部分的共用模板，模板匹配部使用作成的共用模板和多个识别模板进行与物体的输入图像的匹配。
在上述构成中可以设为如下构成：还具备图像金字塔生成部，其根据物体的输入图像生成分辨率以阶梯式不同的低分辨率图像和分辨率比低分辨率图像高的高分辨率图像，标准模板作成部作成与低分辨率图像对应的低分辨率用的多个标准模板和与高分辨率图像对应的高分辨率用的多个标准模板，识别模板作成部基于高分辨率用的多个标准模板作成高分辨率用的多个识别模板，模板匹配部使用低分辨率用的多个标准模板对低分辨率图像进行匹配，从而进行正解候选的标准模板的锁定，基于锁定结果设定高分辨率图像的搜索范围，使用高分辨率用的多个识别模板对设定后的搜索范围内的高分辨率图像进行匹配。
在上述构成中可以设为如下构成：还具备特征提取部，其从低分辨率图像和上述高分辨率图像分别提取特征量，模板匹配部通过使用低分辨率图像的上述特征量和低分辨率用的多个标准模板进行匹配从而进行正解候选的标准模板的锁定，基于锁定结果来设定高分辨率图像的搜索范围，使用设定的搜索范围内的高分辨率图像的特征量和高分辨率用的多个识别模板进行匹配。
在上述构成中，也可以设为如下构成：通过粗密搜索中的模板匹配来进行物体的位置识别。
本发明的其它方式的图像处理方法通过模板匹配进行物体的识别，包括：取得物体的输入图像的步骤；分别作成与从不同的视点观看的物体对应的多个标准模板的步骤；作成体现各标准模板间的差异部分的多个识别模板的步骤；以及使用作成的多个识别模板进行与物体的输入图像之间的匹配的步骤。
本发明的其它方式的记录介质存储有程序，上述程序用于使计算机执行通过模板匹配进行物体的识别的图像处理，上述程序使计算机执行如下步骤：取得物体的输入图像的步骤；分别作成与从不同的视点观看的物体对应的多个标准模板的步骤；作成体现各标准模板间的差异部分的多个识别模板的步骤；以及使用作成的多个识别模板进行与物体的输入图像之间的匹配的步骤。
发明效果
根据本发明，能提供在使用了模板匹配的物体识别中用于将匹配处理实现高速化的技术。
附图说明
图1是示出物体识别装置的整体构成的图。
图2是示出物体识别装置的硬件构成的图。
图3是示出图像处理装置的功能构成的图。
图4是例示了从相机取入的图像的图。
图5是示出由模板作成装置执行的模板作成处理的流程图。
图6是仅使用了标准模板的模板匹配的说明图。
图7是使用了标准模板、共用模板和识别模板的模板匹配的说明图。
图8是示出由物体识别处理装置执行的物体识别处理的流程图。
图9是示出使用了图像金字塔的粗密搜索的基本概念的图。
附图标记说明
1：物体识别装置、2：物体、3：托盘、4：PLC、10：图像处理装置、11：相机、12：显示器、13：鼠标、14：存储卡、112：主存储器、114：硬盘、116：相机接口、116a：图像缓冲器、118：输入接口、120：显示控制器、122：接口、124：通信接口、126：数据读取器/写入器、128：总线、20：模板作成装置、201：三维CAD数据取得部、202：标准模板作成部、203：识别模板作成部、204：存储部、30：物体识别处理装置、301：模板信息取得部、302：图像取得部、303：图像金字塔生成部、304：特征提取部、305：模板匹配部、305a：最上层模板匹配部、305b：下层模板匹配部、306：识别结果输出部。
具体实施方式
以下，参照附图详细说明本发明的实施方式。此外，对同一要素附上同一附图标记而省略重复的说明。另外，以下的实施方式是用于说明本发明的例示，不是将本发明仅限定于其实施方式的含义。而且，本发明只要不脱离其宗旨，就能进行各种变形。
A.本实施方式
A-1.(物体识别装置的整体构成)
参照图1说明本发明的实施方式的物体识别装置的整体构成和应用场合。
物体识别装置1设置于具备分拣系统的生产线等，是使用从相机11取入的图像并通过模板匹配进行托盘3上的物体2的识别的系统。在托盘3上散装有识别对象的物体2。物体识别装置1按规定的时间间隔从相机11取入图像，通过图像处理装置10执行图像所包括的各物体2的位置和姿态的处理，将其结果输出到PLC(可编程逻辑控制器)4或显示器12等。作为物体识别装置1的输出的识别结果例如应用于拾取机器人的控制、加工装置或印刷装置的控制、物体2的检查或计测等。
A-2.(硬件构成)
参照图2说明物体识别装置1的硬件构成。物体识别装置1大致上包括相机11和图像处理装置10。
相机11是用于将物体2的数字图像取入图像处理装置10的摄像设备，例如能优选使用CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)相机或CCD(Charge-Coupled Device：电荷耦合器件)相机。分辨率、彩色/黑白、静止图像/动态图像、灰度级、数据形式等的输入图像的形式是任意的，能与物体2的种类或传感的目的相应地适当选择。在将X射线图像或热图像等可见光图像以外的特殊的图像应用于物体识别或检查的情况下，可以使用与该图像相应的相机。
图像处理装置10包括CPU(中央运算处理装置)110、作为工作存储器使用的主存储器112、作为固定存储部的硬盘114、相机接口116、输入接口118、显示控制器120、PLC接口122、通信接口124以及数据读取器/写入器126。这些各部经由总线128连接成能相互进行数据通信。
相机接口116是负责进行CPU110和相机11之间的数据传送的部分，具有用于临时存储来自相机11的图像数据的图像缓冲器116a。输入接口118负责进行CPU110和输入部之间的数据传送。输入部包括鼠标13、键盘、触摸面板、点动控制器等。显示控制器120连接到液晶监视器等显示器12，控制该显示器的显示。PLC接口122负责进行CPU110和PLC4之间的数据传送。通信接口124负责进行CPU110和控制台或个人计算机、服务器装置等之间的数据传送。数据读取器/写入器126负责进行CPU110和作为存储介质的存储卡14之间的数据传送。
图像处理装置10能由具有通用的架构的计算机构成，CPU110通过读入、执行由硬盘114或存储卡14保存的程序来提供各种功能。这种程序在由存储卡14或光盘等计算机可读取的记录介质保存的状态下流通，或者通过互联网等提供。此外，本实施方式的程序既可以作为单独的应用程序提供，也可以作为组装入其它程序的一部分的模块提供。另外，其功能的一部分或全部也可以用ASIC等专用电路来替代。
A-3.(功能构成)
在图3中示出图像处理装置10的功能构成。图像处理装置10具备作为模板作成装置20的功能部和作为物体识别处理装置30的功能部。
模板作成装置20是作成在物体识别处理中使用的模板的功能部，具备三维CAD数据取得部201、标准模板作成部202、识别模板作成部203、存储部204。
物体识别处理装置30是通过对从相机11取入的图像使用由模板作成装置20作成、存储的模板来执行模板匹配从而识别图像中的物体的功能部。物体识别处理装置30具备模板信息取得部301、图像取得部302、图像金字塔生成部303、特征提取部304、模板匹配部305、识别结果输出部306。后面详述模板作成装置20和物体识别处理装置30的功能。
图4是例示了从相机11取入的图像的图。如图4所示，在图像中包括多个物体2，且各物体2的位置(XYZ坐标)和姿态(绕XYZ这三轴的角度)是任意的。除了是完全的球体的情况以外，当物体相对于相机11的姿态(朝向)不同时，在图像上移动的物体的形态(形状、颜色等)也会不同。在本实施方式中，通过使用了粗密搜索的模板匹配进行搜索处理，因此，首先作为第一阶段，按构成图像金字塔的各层的每一层准备体现物体的各姿态的个别的模板。在现有的粗密搜索中，即使在低分辨率图像(例如一层图像)中锁定了物体的位置或姿态，随着分辨率按第二层图像、第三层图像变高，在高分辨率图像中成为正解候选的模板的数量变多，存在模板的匹配处理的处理速度下降的问题(参照发明要解决的课题部分)。
作为在低分辨率图像中锁定了物体的位置或姿态的结果，本申请的发明人注意到由于可得到高分辨率图像的正解候选的模板、所以其特征相似者较多的情况，发明了针对在高分辨率图像中用于匹配处理的模板，作成体现各模板间的差异部分的识别模板(根据需要体现各模板的共用部分的共用模板)，使用识别模板进行匹配处理。这样，通过使用识别模板，能提高高分辨率图像的模板匹配的处理速度，进而能提高整体的处理速度(后述详细内容)。
A-4.(模板作成处理)
以下，根据图5的流程说明由模板作成装置20执行的模板作成处理。
三维CAD数据取得部201取得表示识别对象的物体2的三维形状的三维数据(步骤S401)。三维CAD数据取得部201能取得可将识别对象的物体2识别为立体图形的任意的三维数据，在本实施方式中，设为取得三维CAD数据。三维CAD数据取得部201既能从外部的三维CAD服务器等取得三维CAD数据，也能从存储器(省略图示)取得三维CAD数据。
标准模板作成部202使用三维CAD数据取得部201取得的三维数据生成从各种视点观看的物体2的二维图像，基于生成的二维图像作成多个模板(步骤S402)。在本实施方式中，将由标准模板作成部202作成的从各种视点观看的物体2所对应的模板称为“标准模板”。在此，模板是表示识别对象的物体2的图像特征的数据，模板能使用任意的形式。例如作为模板能使用记述了图像中的多个特征点的特征量的排列形式。
作为特征量，例如能使用像素值(亮度)、亮度梯度方向、量子化梯度方向、Hog(Histograms of Oriented Gradients：方向梯度直方图)、HAAR-Like、SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)等。亮度梯度方向是指用连续值表示以特征点为中心的局部区域内的亮度的梯度的方向(角度)，量子化梯度方向是指用离散值表示以特征点为中心的局部区域内的亮度的梯度的方向(例如用0～7的一比特的信息保持八个方向)。
如上所述，在本实施方式中，为了进行使用了分辨率以阶梯式不同的各层的图像(图像金字塔)的粗密搜索，需要作成成为前提的各层的每一层的模板。因而，标准模板作成部202作成分辨率按各层的每一层不同的多个标准模板。作为作成分辨率不同的多个标准模板的方法，有根据分辨率不同的多个物体图像分别作成标准模板的方法、或对根据最高的分辨率的物体图像作成的标准模板实施低分辨率化处理从而作成所需的分辨率的标准模板的方法等。低分辨率化处理是指以各特征点的位置关系为基础将位于近旁的多个特征点统一从而降低模板的分辨率的处理。本来使用哪一个方法作成分辨率不同的多个标准模板是任意的。
当对分辨率以阶梯式不同的各层的图像分别作成多个标准模板时，标准模板作成部202将各层用的标准模板提供给识别模板作成部203。
识别模板作成部203基于从标准模板作成部202供给的各层用的标准模板来作成各层用的共用模板和识别模板(步骤S403)。具体地，按各层的每一层作成体现多个标准模板的共用部分的“共用模板“和体现多个模板间的差异部分的“识别模板”(不过除了作为最上层的第一层)。此外，在能信赖使用了低分辨率图像的标准模板的匹配结果的情况下(例如在几乎不存在是高分辨率图像模板以外的候选和/或背景和没有关系的物体的可能性的情况下)，无需进行使用了下层等级的共用模板的匹配处理。在该情况下，识别模板作成部203只要按各层的每一层不作成共用模板而仅作成识别模板即可(不过除了作为最上层的第一层)。
图6是仅使用了标准模板的模板匹配(现有例)的说明图，图7是使用了标准模板、共用模板以及识别模板的模板匹配(本实施例)的说明图。在图6和图7中，为了便于说明，作为低分辨率图像例示分辨率最低的第一层图像，作为高分辨率图像例示分辨率第二低的第二层图像。
在图6所示的现有例中，当在第一层图像中成为正解候选的模板锁定为一个2像素×2像素的标准模板时，在具有第一层图像的二倍的分辨率的第二层图像中进行与第二层用的所有标准模板、即二十个标准模板的匹配处理。在此，第二层用的标准模板是4像素×4像素+α(图6中α＝1)像素，所以在第二层图像中，需要进行17(＝4×4+1)像素×20个＝340次匹配处理。
另一方面，在图7所示的本实施例中，在第一层图像中直至成为正解候选的模板被锁定为一个2像素×2像素的标准模板为止是与现有例相同的，但在第二层图像中，使用作为各标准模板的特征部分(＝1像素)的二十个识别模板与作为二十个标准模板的共用部分(＝4像素×4像素)的一个共用模板进行匹配处理。即，在第二层图像中可以进行16(＝4×4)像素+(1像素×20个)＝36次匹配处理，因此与需要340次匹配处理的现有例相比，能将处理时间缩短为约1/10。
如已述那样，已经在上层的图像(低分辨率图像)中锁定的检测候选、即完全没有关系的检测候选被从粗密搜索的下层等级排除。因而，下层等级(高分辨率图像)中的模板匹配能被视为类别分类问题(识别问题)，还能应用于使用了学习样本的各种识别方法(例如费歇尔的线形判别、逻辑回归、SVM(Support Vector Machine：支持向量机)、随机森林、神经网络等)。在本实施例所示的模板匹配中，已经在上层的图像(低分辨率图像)中锁定检测候选，所以有在下层等级的候选模板之间共用部分多、差异部分(用于进行识别使用的特征量)少的倾向。通过使用这种特性，在除了作为最上层的第一层的下层等级中，能进行使用了共用模板和识别模板的高速匹配处理。
回到图5，当识别模板作成部203针对除了第一层的各层的图像(高分辨率图像)作成体现多个标准模板的共用部分的共用模板和体现多个模板间的差异部分的识别模板时，将这些共用模板和识别模板存储到存储部204(步骤S404)。另一方面，识别模板作成部203针对作为最上层的第一层的图像(低分辨率图像)不作成共用模板和识别模板，将由标准模板作成部202作成的标准模板原样存储到存储部204(步骤S404)。此外，在以下的说明中，在对由存储部204存储的标准模板、共用模板以及识别模板无需进行特别区分的情况下，将它们统称为“模板信息”。
A-5.(物体识别处理)
接着，沿着图8的流程说明由物体识别处理装置30执行的物体识别处理。
首先，模板信息取得部301取得由模板作成装置20的存储部204存储的模板信息，将其提供给模板匹配部305(步骤S501)。
图像取得部302从相机11取入输入图像(步骤S502)。在该图像中映出任意姿态的物体2。
图像金字塔生成部303根据取入的输入图像(原图像)生成低分辨率图像，生成图像金字塔(步骤S503)。例如能构成包括160像素×120像素的图像金字塔作为第一层图像，能构成包括320像素×240像素等的图像金字塔作为第二层图像。
特征提取部304对构成图像金字塔的各层图像实施特征提取处理(步骤S504)。提取的特征量是与模板的特征量种类相同的特征量，例如可举出量子化梯度方向等。作为对作为最上层的第一层图像进行特征提取处理的结果，可得到具有与第一层图像相同的分辨、将在第一层图像的各像素位置提取到的特征量数据(特征值)作为像素值具备的图像(以下也称为“第一层特征图像”。)。同样地，作为对第二层图像进行特征提取处理的结果，可得到第二层特征图像。
模板匹配部305使用从模板信息取得部301供给的各模板信息和与各模板信息对应的特征提取部304算出的各特征量进行模板匹配。
具体地，首先最上层模板匹配部305a使用第一层特征图像和第一层用模板进行匹配处理(步骤S505)。最上层模板匹配部305a使用标准模板作为分辨率最低的第一层用模板(参照图7的第一层)。若是图7所示的情况，则最上层模板匹配部305a当使用了标准模板的匹配处理的结果是检测出一个成为正解候选的标准模板(2像素×2像素)时，将检测结果通知下层模板匹配部305b。
下层模板匹配部305b基于从最上层模板匹配部305a通知的检测结果来设定第二层特征图像的搜索范围，使用第二层特征图像和第二层用模板进行匹配处理(步骤S506)。下层模板匹配部305b使用各模板间共用的共用模板和体现各模板间的差异的识别模板作为下层模板(参照图7的第二层)。若是图7所示的情况，则下层模板匹配部305b使用一个在二十个标准模板中共用的共用模板(4像素×4像素)和用于识别各标准模板的二十个识别模板(1像素)进行匹配处理。
匹配处理的次数如已经说明的可以是16次(＝4×4)共用模板的匹配处理和20次(＝1×20)识别模板的匹配处理的总计36次匹配处理，与仅使用标准模板进行340次(＝17×20)匹配处理的现有例(参照图6)相比，能将处理时间缩短为约1/10。此外，在能信赖使用了低分辨率图像的标准模板的匹配结果的情况下，能省略下层等级的使用了共用模板的匹配处理，只要进行仅使用了识别模板的匹配处理即可。若是图7所示的情况，则省略使用了共用模板的匹配处理(16次)，且进行仅使用了识别模板的匹配处理(20次)，从而能实现匹配处理的更高速化。
在此，在上述例子中，作为由下层模板匹配部305b进行的匹配处理，仅例示了第二层图像的匹配处理，但在存在第三层图像、第四层图像的情况下，对这些层图像也进行同样的处理。例如在存在第三层图像的情况下，下层模板匹配部305b基于第二层图像中的匹配处理的结果，设定第三层特征图像的搜索范围，使用第三层特征图像和第三层用模板进行匹配处理。进行这种处理的结果是，能识别最下层(若是图7所示的情况则是第二层)中的物体的存在位置。
模板匹配部305当识别物体的存在位置或姿态等时，将表示识别结果的识别信息输出到识别结果输出部306(步骤S507)。识别结果输出部306将从模板匹配部305供给的识别信息输出到外部装置或液晶面板等。识别信息例如能应用于物体2的检查/计测或拾取机器人的控制等。
如以上说明的，根据本实施方式，在基于粗密搜索的模板匹配中，在下层等级的匹配处理中，进行使用了表示模板间的共用部分的共用模板和表示模板间的差异部分的识别模板的匹配处理。这样，通过利用使用了仅体现标准模板间的差异部分的识别模板的匹配，与进行基于标准模板的匹配的情况相比，能将处理速度实现更高速化。
B.变形例
在上述实施方式中，说明了针对最上层等级(低分辨率图像)将正解候选的模板锁定为一个的情况(参照图7所示的第一层)，但并非旨在限于此。例如也可以将与低分辨率图像(第一层图像)的匹配概率为阈值以上的所有模板选择为正解候选，通过下层等级(高分辨率图像)的匹配处理得到正解(物体的位置或姿态等)。
此外，在无法信赖使用了低分辨率图像中的标准模板的匹配结果的情况下，也可以通过将使用了高分辨率图像中的共用模板和识别模板的匹配结果进行组合来提高物体的识别精度。
而且，在上述实施方式中，说明了通过使用根据三维CAD数据得到的模板来进行三维中的物体的位置/姿态的识别(所谓的三维物体识别)的情况，但也能应用于二维物体识别。例如还能应用于识别无规律层叠的散装物体的位置/姿态(三维物体识别)并将其逐一取出的散装分拣系统、识别不重叠地平放的物体的位置或姿态(旋转)(二维物体识别)并将其逐一取出的平放分拣系统等。
另外，在上述实施方式中说明了应用于基于粗密搜索的模板匹配的情况，但并非旨在限定于与物体的位置的锁定相伴的粗密搜索。还能应用于将物体的种类或姿态以阶梯式锁定那样的(在该情况下不与物体的位置的锁定相伴的)分层式匹配方法。
此外，在本说明书中，“部”不仅意味着物理上的构成，还包括通过软件来实现该“部”所具有的功能的情况。此外，既可以通过两个以上的物理上的构成或装置来实现一个“部”或装置所具有的功能，也可以通过一个物理上的单元或装置来实现两个以上的“部”或装置的功能。
此外，在本说明书中上述各处理中的步骤能在处理内容不产生矛盾的范围内任意地改变顺序或者并列执行。
另外，实施在本说明书中说明的各处理的程序也可以存储于记录介质。若使用该记录介质，则能将上述程序安装于图像处理装置10。在此，存储了上述程序的记录介质也可以是非一次性的记录介质。非一次性的记录介质没有特别限定，例如也可以是CD-ROM等记录介质。
(备注1)
一种图像处理装置，具备至少一个硬件处理器，通过模板匹配进行物体的识别，上述硬件处理器通过执行规定的程序作为如下各部发挥功能：图像取得部，其取得上述物体的输入图像；标准模板作成部，其分别作成与从不同的视点观看的上述物体对应的多个标准模板；识别模板作成部，其作成体现上述各标准模板间的差异部分的多个识别模板；以及模板匹配部，其使用作成的上述多个识别模板进行与上述物体的输入图像的匹配。
(备注2)
一种图像处理方法，至少通过一个硬件处理器并通过模板匹配进行物体的识别，上述硬件处理器执行：取得上述物体的输入图像的步骤；分别作成与从不同的视点观看的上述物体对应的多个标准模板的步骤；作成体现上述各标准模板间的差异部分的多个识别模板的步骤；以及使用作成的上述多个识别模板进行与上述物体的输入图像的匹配的步骤。

Claims (9)

1.一种图像处理装置，通过模板匹配进行物体的识别，所述图像处理装置的特征在于，具备：
图像取得部，其取得所述物体的输入图像；
标准模板作成部，其分别作成与从不同的视点观看的所述物体对应的多个标准模板；
识别模板作成部，其作成体现各所述标准模板间的差异部分的多个识别模板；以及
模板匹配部，其使用作成的所述多个识别模板进行与所述物体的输入图像的匹配。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述识别模板作成部除了所述多个识别模板以外还作成体现各所述标准模板间的共用部分的共用模板，
所述模板匹配部使用作成的所述共用模板和所述多个识别模板进行与所述物体的输入图像之间的匹配。
3.根据权利要求1所述的图像处理装置，其特征在于，
还具备图像金字塔生成部，其根据所述物体的输入图像生成分辨率以阶梯式不同的低分辨率图像和分辨率比所述低分辨率图像高的高分辨率图像，
所述标准模板作成部作成与所述低分辨率图像对应的低分辨率用的所述多个标准模板以及与所述高分辨率图像对应的高分辨率用的所述多个标准模板，
所述识别模板作成部基于所述高分辨率用的所述多个标准模板作成所述高分辨率用的所述多个识别模板，
所述模板匹配部通过对所述低分辨率图像使用低分辨率用的所述多个标准模板进行匹配来进行正解候选的所述标准模板的锁定，基于锁定结果设定所述高分辨率图像中的搜索范围，对设定后的搜索范围内的所述高分辨率图像使用高分辨率用的所述多个识别模板进行匹配。
4.根据权利要求3所述的图像处理装置，其特征在于，
还具备特征提取部，其从所述低分辨率图像和所述高分辨率图像分别提取特征量，
所述模板匹配部通过使用所述低分辨率图像的所述特征量和低分辨率用的所述多个标准模板进行匹配从而进行正解候选的所述标准模板的锁定，基于锁定结果来设定所述高分辨率图像中的搜索范围，使用设定后的搜索范围内的所述高分辨率图像的所述特征量和高分辨率用的所述多个识别模板进行匹配。
5.根据权利要求3或4所述的图像处理装置，其特征在于，
通过粗密搜索的模板匹配进行所述物体的识别。
6.一种图像处理方法，通过模板匹配进行物体的识别，所述图像处理方法的特征在于，包括：
取得所述物体的输入图像的步骤；
分别作成与从不同的视点观看的所述物体对应的多个标准模板的步骤；
作成体现各所述标准模板间的差异部分的多个识别模板的步骤；以及
使用作成的所述多个识别模板进行与所述物体的输入图像的匹配的步骤。
7.一种记录介质，存储有程序，所述程序用于使计算机执行通过模板匹配进行物体的识别的图像处理，所述记录介质的特征在于，所述程序使计算机执行：
取得所述物体的输入图像的步骤；
分别作成与从不同的视点观看的所述物体对应的多个标准模板的步骤；
作成体现各所述标准模板间的差异部分的多个识别模板的步骤；以及
使用作成的所述多个识别模板进行与所述物体的输入图像之间的匹配的步骤。
8.一种模板作成装置，作成在模板匹配中使用的模板，所述模板作成装的特征在于，具备：
标准模板作成部，其基于成为匹配对象的物体的输入图像分别作成与从不同的视点观看的所述物体对应的多个标准模板；以及
识别模板作成部，其作成体现各所述标准模板间的差异部分的多个识别模板。
9.一种物体识别处理装置，通过模板匹配进行物体的识别，所述物体识别处理装置的特征在于，具备：
模板信息取得部，其从外部取得分别体现与从不同的视点观看的所述物体对应的多个标准模板间的差异部分的多个识别模板；
取得部，其取得所述物体的输入图像；以及
模板匹配部，其使用取得的所述多个识别模板进行与所述物体的输入图像的匹配。
CN201810141229.5A 2017-03-10 2018-02-11 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质 Active CN108573273B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-046114 2017-03-10
JP2017046114A JP6732214B2 (ja) 2017-03-10 2017-03-10 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム

Publications (2)

Publication Number Publication Date
CN108573273A true CN108573273A (zh) 2018-09-25
CN108573273B CN108573273B (zh) 2022-02-18

Family

ID=61226359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810141229.5A Active CN108573273B (zh) 2017-03-10 2018-02-11 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质

Country Status (4)

Country Link
US (1) US20180260669A1 (zh)
EP (1) EP3373197A1 (zh)
JP (1) JP6732214B2 (zh)
CN (1) CN108573273B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829502A (zh) * 2019-02-01 2019-05-31 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN111144189A (zh) * 2018-11-06 2020-05-12 富士施乐株式会社 识别系统、识别装置、数据获取系统以及数据获取装置
CN117115487A (zh) * 2023-10-23 2023-11-24 睿励科学仪器（上海）有限公司 模板匹配方法、模板匹配系统及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554900B2 (ja) * 2015-04-28 2019-08-07 オムロン株式会社 テンプレート作成装置及びテンプレート作成方法
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
EP3440428B1 (en) * 2016-04-08 2022-06-01 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
EP3836027A4 (en) 2018-08-10 2022-07-06 Yamaha Corporation METHOD AND APPARATUS FOR GENERATION OF FREQUENCY COMPONENT VECTOR OF TIME SERIES DATA
JP7193979B2 (ja) 2018-10-29 2022-12-21 富士フイルムヘルスケア株式会社 医用撮像装置、画像処理装置、および、画像処理方法
JP7277116B2 (ja) * 2018-11-29 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2021097845A1 (zh) * 2019-11-22 2021-05-27 驭势（上海）汽车科技有限公司 一种仿真场景的图像生成方法、电子设备和存储介质
JP7209653B2 (ja) 2020-02-05 2023-01-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
JP7459769B2 (ja) 2020-11-25 2024-04-02 オムロン株式会社 埋設物情報管理装置およびこれを備えた埋設物情報管理システム、埋設物情報管理方法、埋設物情報管理プログラム
CN112784857B (zh) * 2021-01-29 2022-11-04 北京三快在线科技有限公司 一种模型训练以及图像处理方法及装置
CN113361651B (zh) * 2021-03-05 2022-01-04 牧今科技 生成用于物体检测的安全空间列表的方法和计算系统
JPWO2022234742A1 (zh) * 2021-05-06 2022-11-10
CN114398978B (zh) * 2022-01-13 2022-10-11 深圳市腾盛精密装备股份有限公司 一种模板匹配方法、装置、存储介质以及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144057A (ja) * 1997-11-12 1999-05-28 Ricoh Co Ltd 画像認識装置および画像認識方法
JP2003099775A (ja) * 2002-08-21 2003-04-04 Mitsubishi Electric Corp 画像処理装置
EP2048599A1 (en) * 2007-10-11 2009-04-15 MVTec Software GmbH System and method for 3D object recognition
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN104217194A (zh) * 2013-05-31 2014-12-17 欧姆龙株式会社 图像核对方法及装置、模型模板生成方法及装置以及程序
JP2016130979A (ja) * 2015-01-14 2016-07-21 株式会社リコー 検知装置、検知処理プログラム及び検知システム
JP2016207147A (ja) * 2015-04-28 2016-12-08 オムロン株式会社 テンプレート作成装置及びテンプレート作成方法
CN106251353A (zh) * 2016-08-01 2016-12-21 上海交通大学 弱纹理工件及其三维位姿的识别检测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5593217B2 (ja) * 2010-12-28 2014-09-17 クラリオン株式会社 車両用外界認識装置およびそれを用いた車両システム
JP6560852B2 (ja) * 2014-10-10 2019-08-14 日本電信電話株式会社 画像処理装置、方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11144057A (ja) * 1997-11-12 1999-05-28 Ricoh Co Ltd 画像認識装置および画像認識方法
JP2003099775A (ja) * 2002-08-21 2003-04-04 Mitsubishi Electric Corp 画像処理装置
EP2048599A1 (en) * 2007-10-11 2009-04-15 MVTec Software GmbH System and method for 3D object recognition
CN102654902A (zh) * 2012-01-16 2012-09-05 江南大学 基于轮廓向量特征的嵌入式实时图像匹配方法
CN104217194A (zh) * 2013-05-31 2014-12-17 欧姆龙株式会社 图像核对方法及装置、模型模板生成方法及装置以及程序
JP2016130979A (ja) * 2015-01-14 2016-07-21 株式会社リコー 検知装置、検知処理プログラム及び検知システム
JP2016207147A (ja) * 2015-04-28 2016-12-08 オムロン株式会社 テンプレート作成装置及びテンプレート作成方法
CN106251353A (zh) * 2016-08-01 2016-12-21 上海交通大学 弱纹理工件及其三维位姿的识别检测方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DARIU M. GAVRILA: "A Bayesian, Exemplar-Based Approach to Hierarchical Shape Matching", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
HUI LIU 等: "Template-based Multiple Codebooks Generation for Fine-grained Shopping Classification and Retrieval", 《2014 INTERNATIONAL CONFERENCE ON DIGITAL HOME》 *
YOSHINORI KONISHI 等: "Fast 6D Pose Estimation from a Monocular Image Using Hierarchical Pose Trees", 《EUROPEAN CONFERENCE ON COMPUTER VISION 2016》 *
刘凌云 等: "确定对象单目视觉位姿检测算法的研究", 《中国机械工程》 *
宋薇 等: "基于CAD模型的单目六自由度位姿测量", 《光学精密工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144189A (zh) * 2018-11-06 2020-05-12 富士施乐株式会社 识别系统、识别装置、数据获取系统以及数据获取装置
CN109829502A (zh) * 2019-02-01 2019-05-31 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN109829502B (zh) * 2019-02-01 2023-02-07 辽宁工程技术大学 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN117115487A (zh) * 2023-10-23 2023-11-24 睿励科学仪器（上海）有限公司 模板匹配方法、模板匹配系统及存储介质
CN117115487B (zh) * 2023-10-23 2024-03-08 睿励科学仪器（上海）有限公司 模板匹配方法、模板匹配系统及存储介质

Also Published As

Publication number Publication date
JP6732214B2 (ja) 2020-07-29
US20180260669A1 (en) 2018-09-13
JP2018151748A (ja) 2018-09-27
EP3373197A1 (en) 2018-09-12
CN108573273B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN108573273A (zh) 图像处理装置、图像处理方法、模板作成装置、物体识别处理装置以及记录介质
DE102014212304B4 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium
JP6554900B2 (ja) テンプレート作成装置及びテンプレート作成方法
US11676301B2 (en) System and method for efficiently scoring probes in an image with a vision system
EP3376433B1 (en) Image processing apparatus, image processing method, and image processing program
US8526679B2 (en) Image processing apparatus and image processing method
CN109543705A (zh) 模板创建装置及方法、物体识别处理装置以及记录介质
US10430967B2 (en) Information processing apparatus, method, and program
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN108120391A (zh) 信息处理设备和方法、存储介质和物品制造方法
JP5704909B2 (ja) 注目領域検出方法、注目領域検出装置、及びプログラム
Liao et al. 3DPhenoFish: Application for two-and three-dimensional fish morphological phenotype extraction from point cloud analysis
Wang et al. LBP-based edge detection method for depth images with low resolutions
Harikumar et al. Feature extraction techniques for exploratory visualization of vector-valued imagery
US10706319B2 (en) Template creation apparatus, object recognition processing apparatus, template creation method, and program
Shasani et al. Color and Shape Recognition
JP2020071716A (ja) 異常判定方法、特徴量算出方法、外観検査装置
TWI779696B (zh) 視角影像的生成系統與生成方法
Seul Monochromatic textures' features extraction using extended GLCM approach for classification of autonomous cleaning robot work area
US20240135583A1 (en) System and method for efficiently scoring probes in an image with a vision system
Kun-Yi et al. Tea Verification Using Triplet Loss Convolutional Network
Lu Principal Axis Analysis Sub-pixel Edge Detection of Color Images.
Makinde Multivariate rank outlyingness and correlation effects
Farmer Illumination invariant intensity-based image registration using chaos theory
Eberts et al. Deep Convolutional Neural Networks for Pose Estimation in Image-Graphics Search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant