CN108573471B - 图像处理装置、图像处理方法以及记录介质 - Google Patents
图像处理装置、图像处理方法以及记录介质 Download PDFInfo
- Publication number
- CN108573471B CN108573471B CN201810141478.4A CN201810141478A CN108573471B CN 108573471 B CN108573471 B CN 108573471B CN 201810141478 A CN201810141478 A CN 201810141478A CN 108573471 B CN108573471 B CN 108573471B
- Authority
- CN
- China
- Prior art keywords
- template
- image
- viewpoint
- reduction rate
- reduced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 81
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
提供能按每一视点使用具有最佳分辨率的缩小图像来执行物体识别处理的图像处理装置、图像处理方法以及记录介质。图像处理装置(10)具备：缩小率决定部(202)，其使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的物体的二维图像，按每一视点来决定缩小率；模板作成部(203)，其把生成的各视点的二维图像使用对该视点决定的缩小率进行缩小，根据缩小后的图像算出特征量而作成模板；以及模板信息输出部(204)，其按每一视点把模板和在该模板的作成中使用的缩小率关联起来而输出。
Description
技术领域
本发明涉及图像处理装置、图像处理方法以及记录介质。
背景技术
在根据图像检测对象物的一种方法中有被称为模板匹配的方法。模板匹配的基本处理通过预先准备成为检测对象的物体的模板并评价输入图像和模板之间的图像特征的一致度来检测图像中的物体的位置或姿态。基于模板匹配的物体检测例如应用于FA(Factory Automation：工厂自动化)的检查或分拣、机器人视觉、监视摄像机等各种领域中。最近，根据图像的高图像度化、对动态图像进行实时处理的要求等，要求模板匹配的进一步的高速化。
因此，为了在模板匹配中一边维持精度高的识别结果一边实现处理速度的高速化，将成为检测对象的物体的基准图像和输入图像按同一比率缩小，在缩小图像之间评价图像特征的一致度(例如专利文献1)。
现有技术文献
专利文献
专利文献1：日本专利第3066173号公报。
发明内容
发明要解决的课题
以往，设定特定的缩小率后进行了模板匹配。在此，在三维的物体识别中，在即使是同一物体但根据视点的不同看上去较大者也不同的情况下，若与看上去较大的视点相应地将缩小率设定为较高，则看上去较小的视点下的模板的分辨率变低。因此，针对看上去较小的视点下的模板，无法提取最佳数量的特征点，导致识别精度下降。另一方面，若与看上去较小的视点相应地将缩小率设定为较低，则看上去较大的视点下的模板的分辨率超过需要地变高。因此，针对看上去较大的视点下的模板应对照的特征点变多，导致处理速度下降。
因此，本发明的目的在于提供能按每一视点使用具有最佳分辨率的缩小图像来执行物体识别处理的图像处理装置、图像处理方法以及记录介质。
用于解决课题的手段
本发明的一方式的图像处理装置具备：缩小率决定部，其使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的物体的二维图像，按每一视点来决定缩小率；模板作成部，其把生成的各视点的二维图像使用对上述视点决定的缩小率进行缩小，根据缩小后的图像算出特征量而作成模板；以及模板信息输出部，其按每一视点把模板和在上述模板的作成中使用的缩小率关联起来而输出。
根据该方式，对一个物体按每一视点决定缩小率，从而在根据视点的不同看上去较大者也不同的物体的物体识别处理中，能不降低识别精度并能实现CPU(中央运算处理装置)的处理速度的高速化。
在上述图像处理装置中可以是，缩小率决定部基于各视点的模板所包括的特征点的数量或者各视点的缩小后的图像所包括的物体的面积来决定缩小率。根据该方式，能防止每一视点的识别精度和处理速度不匀。通过防止每一视点的识别精度的不匀，例如在使用了识别结果的后续处理中，能不受物体的姿态影响地进行一定的处理，在后续处理中也能实现精度的提高和处理的高速化。此外，通过防止每一视点的处理速度的不匀，例如在把每一视点的识别处理作为并列处理而执行的情况下，也能高效且无浪费地向多个CPU进行处理的分配。
在上述图像处理装置中可以是，缩小率决定部统一对各视点决定的缩小率。根据该方式，物体识别处理时的图像缩小处理或特征量的算出处理等实现共用化，能实现CPU的处理速度的进一步的高速化。
在上述图像处理装置中可以是，缩小率决定部设定既定视点，将与既定视点的位置关系满足规定条件的视点分组为与既定视点为同一组，对同一组的视点设定同一缩小率从而统一缩小率。根据该方式，当统一缩小率时，能容易地进行结合物体的形状的分组，能减小向CPU的负荷。
在上述图像处理装置中可以是，还具备：图像取得部，其取得输入图像；图像缩小部，其把取得的输入图像使用模板信息输出部输出的多个缩小率进行缩小，生成多个缩小输入图像；特征量算出部，其在生成的各缩小输入图像中算出特征量，特征量是与模板作成部算出的特征量为同一种类的特征量；模板匹配部，其基于模板和在与该模板关联起来的缩小率的缩小输入图像中特征量算出部算出的特征量来搜索物体在缩小输入图像中的位置，得到多个对照结果；以及识别结果输出部，其输出将多个对照结果统一后的识别结果。
根据该方式，针对根据视点的不同看上去较大者也不同的物体，能不使识别精度下降，能一边实现CPU的处理速度的高速化一边执行物体识别处理。此外，通过输出将多个对照结果统一后的识别结果，例如在使用了识别结果的后续处理中，能执行考虑了物体被识别到的位置的高效的动作。
在上述图像处理装置中，对照结果包括在缩小输入图像中被识别到的物体的坐标和按每一该坐标示出缩小输入图像和模板之间的图像特征的一致度的对照分数，识别结果输出部在对同一坐标输出不同的对照结果时，可以决定为具有最高的对照分数的模板在该坐标上被识别到，并输出识别结果。根据该方式，在对一个物体按每一视点决定缩小率的方式中，可以应对对同一坐标输出不同的对照结果的情况。
本发明的其它方式的计算机所执行的图像处理方法包括：使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的物体的二维图像的工序；按每一视点决定缩小率的工序；把生成的各视点的二维图像使用对该视点决定的缩小率进行缩小而生成缩小图像的工序；从缩小图像算出特征量而作成模板的工序；以及按每一视点把模板和在该模板的作成中使用的缩小率关联起来而输出的工序。
在上述图像处理方法中可以还包括：取得输入图像的工序；把取得的输入图像使用输出的多个缩小率进行缩小，生成多个缩小输入图像的工序；在生成的各缩小输入图像中算出特征量的工序，特征量是与在模板的作成中使用的特征量为同一种类的特征量；以及基于模板和在与该模板关联起来的缩小率的缩小输入图像中算出的特征量来搜索物体在缩小输入图像中的位置，得到多个对照结果的工序；以及输出把多个对照结果统一后的识别结果的工序。
本发明的其它方式的记录介质存储有程序，上述程序使计算机执行如下处理：使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的物体的二维图像的处理；按每一视点决定缩小率的处理；把生成的各视点的二维图像使用对该视点决定的缩小率进行缩小而生成缩小图像的处理；从缩小图像算出特征量而作成模板的处理；以及按每一视点把模板和在该模板的作成中使用的缩小率关联起来而输出的处理。
在上述记录介质中可以是，上述程序还使计算机执行如下处理：取得输入图像的处理；把取得的输入图像使用输出的多个缩小率进行缩小而生成多个缩小输入图像的处理；在生成的各缩小输入图像中算出特征量的处理，特征量是与在模板的作成中使用的特征量为同一种类的特征量；基于模板和在与该模板关联起来的缩小率的缩小输入图像中算出的特征量来搜索物体在缩小输入图像中的位置而得到多个对照结果的处理；以及输出把多个对照结果统一后的识别结果的处理。
发明效果
根据本发明，能提供通过对一个物体按每一视点设定最佳的缩小率从而能按每一视点使用具有最佳分辨率的缩小图像来执行物体识别处理的图像处理装置、图像处理方法以及记录介质。
附图说明
图1是示出物体识别装置的整体构成的图。
图2是示出物体识别装置的硬件构成的图。
图3是示出图像处理装置的功能构成的图。
图4是示出由模板作成装置执行的模板登录处理的流程的流程图。
图5的(a)是例示从相机取得的输入图像的图，图5的(b)是例示生成从多个视点观看的物体的二维图像的概念图，图5的(c)是例示从特定的视点观看的物体的二维图像的图，图5的(d)是例示从特定的视点观看的物体的二维图像的图。
图6是示出由物体识别处理装置执行的物体识别处理的流程的流程图。
附图标记说明
1：物体识别装置、2：物体、3：托盘、4：PLC、10：图像处理装置、11：相机、12：显示器、13：鼠标、14：存储卡、112：主存储器、114：硬盘、116：相机接口、116a：图像缓冲器、118：输入接口、120：显示控制器、122：接口、124：通信接口、126：数据读取器/写入器、128：总线、20：模板作成装置、201：三维数据取得部、202：缩小率决定部、203：模板作成部、204：模板信息输出部、30：物体识别处理装置、301：图像取得部、302：图像缩小部、303：特征量算出部、304：模板匹配部、305：识别结果输出部、40：存储装置、401：模板DB、501：多面体、502：箭头、503：箭头、504：正上方的顶点、505：正横向的顶点。
具体实施方式
参照附图说明本发明的优选实施方式。此外，以下的实施方式是为了易于理解本发明的内容，而不是为了限定解释本发明的内容。此外，本发明只要不脱离其宗旨，就能进行各种变形。而且，若是本领域技术人员，则能采用将以下描述的各要素置换为等同的要素的实施方式，该实施方式也包括在本发明的范围中。
(物体识别装置的整体构成)
参照图1说明本发明的实施方式的物体识别装置的整体构成和应用场合。
物体识别装置1设置于生产线等，是使用从相机11取入的图像进行托盘3内的物体2的识别的系统。在托盘3中散装有识别对象的物体2。物体识别装置1按规定的时间间隔从相机11取入图像，通过图像处理装置10执行识别图像所包括的各物体2的位置和姿态的处理，将其结果输出到PLC(可编程逻辑控制器)4或显示器12等。作为物体识别装置1的输出的识别结果例如应用于拾取机器人的控制、加工装置或印刷装置的控制、物体2的检查或计测等。
(硬件构成)
参照图2说明物体识别装置1的硬件构成。物体识别装置1大致上包括相机11和图像处理装置10。
相机11是用于将物体2的数字图像取入图像处理装置10的摄像设备，例如能优选使用CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)相机或CCD(Charge-Coupled Device：电荷耦合器件)相机。分辨率、彩色/黑白、静止图像/动态图像、灰度级、数据形式等的输入图像的形式是任意的，能与物体2的种类或传感的目的相应地适当选择。在将X射线图像或热图像等可见光图像以外的特殊的图像应用于物体识别或检查的情况下，可以使用与该图像相应的相机。
图像处理装置10包括相当于硬件处理器的CPU110、作为工作存储器使用的主存储器112、作为固定存储部的硬盘114、相机接口116、输入接口118、显示控制器120、PLC接口122、通信接口124以及数据读取器/写入器126。这些各部经由总线128连接成能相互进行数据通信。
相机接口116是负责进行CPU110和相机11之间的数据传送的部分，具有用于临时存储来自相机11的图像数据的图像缓冲器116a。输入接口118负责进行CPU110和输入部之间的数据传送。输入部包括鼠标13、键盘、触摸面板、点动控制器等。显示控制器120连接到液晶监视器等显示器12，控制该显示器的显示。PLC接口122负责进行CPU110和PLC4之间的数据传送。通信接口124负责进行CPU110和控制台或个人计算机、服务器装置等之间的数据传送。数据读取器/写入器126负责进行CPU110和作为存储介质的存储卡14之间的数据传送。
图像处理装置10能由具有通用的架构的计算机构成，CPU110通过读入、执行由硬盘114或存储卡14保存的程序来提供各种功能。这种程序在由存储卡14或光盘等计算机可读取的记录介质保存的状态下流通，或者通过互联网等提供。此外，本实施方式的程序既可以作为单独的应用程序提供，也可以作为组装入其它程序的一部分的模块提供。此外，其功能的一部分或全部也可以用ASIC等专用电路来替代。
(功能构成)
在图3中示出图像处理装置10的功能构成。图像处理装置10具备作为模板作成装置20的功能部、作为物体识别处理装置30的功能部以及存储装置40。
模板作成装置20是作成在物体识别处理中使用的模板的功能部。由模板作成装置20作成的模板登录于存储装置40的模板数据库(DB)401。物体识别处理装置30是通过对从相机11取入的图像使用在模板DB401中登录的模板执行模板匹配从而识别图像中的物体的功能部。
在此，本说明书中记载的模板是表示识别对象的物体2的图像特征的数据。模板能使用任意的形式，例如能使用记述了图像中的多个特征点的特征量的排列形式。此外，特征点是指表示图像中的物体的边界、物体的轮廓线的弯折部和弯曲部等预先确定的特征在图像坐标上的位置。
模板作成装置20具备三维数据取得部201、缩小率决定部202、模板作成部203以及模板信息输出部204。
三维数据取得部201取得表示识别对象的物体2的三维形状的三维数据。三维数据取得部201能取得能将识别对象的物体2识别为立体图形的任意的三维数据，在本实施方式中，设为取得三维CAD数据。三维数据取得部201既能从外部的三维CAD服务器等取得三维CAD数据，也能从存储装置40取得三维CAD数据。
缩小率决定部202使用三维数据取得部201取得的三维数据生成从多个视点观看的物体2的二维图像，按每一视点决定最佳的缩小率。缩小率越高，越能实现处理的高速化，另一方面，如上所述，若缩小率过高，则会导致识别精度下降。因而，按每一视点存在考虑了处理速度和识别精度的折衷后的适当的缩小率。在本实施方式中，缩小率决定部202能以各视点的模板所包括的特征点的数量成为规定的数量以上的方式和/或以各视点的缩小后的图像所包括的物体2的面积成为固定的方式来决定缩小率。
缩小率决定部202还能统一对各视点决定的缩小率。例如，缩小率决定部202能以组内的缩小率的不匀成为规定的阈值以下的方式将多个视点的缩小率分组并按每一组来决定缩小率。组内的缩小率的不匀的值例如通过缩小率的标准偏差或分散等表示。缩小率决定部202能使用k-means法等任意的聚类算法进行多个视点的分组。
作为统一缩小率的另一方法，例如缩小率决定部202还能利用当视点位置近时观看方法也近似这一倾向按照针对距离既定视点为规定范围内的视点将缩小率设为1、针对距离其它既定视点为规定范围内的视点将缩小率设为2的程度，根据视点位置的不同来决定缩小率。
缩小率决定部202例如能将各组的缩小率决定为组内的缩小率的平均值、中间值、众值等。由此，由后述的物体识别处理装置30进行的图像缩小处理或特征量的算出处理等可以实现共用化，能实现处理速度的高速化。
模板作成部203把缩小率决定部202生成的各视点的二维图像使用对该视点决定的缩小率进行缩小，根据缩小后的图像算出特征量而作成模板。此外，关于模板作成时进行的特征点的检测和特征量的算出，能使用公知的任意方法，因此在本说明书中省略详细的说明。
作为特征量，例如能使用像素值(亮度)、亮度梯度方向、量子化梯度方向、Hog(Histograms of Oriented Gradients：方向梯度直方图)、HAAR-Like、SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)等。亮度梯度方向是指用连续值表示以特征点为中心的局部区域内的亮度的梯度的方向(角度)，量子化梯度方向是指用离散值表示以特征点为中心的局部区域内的亮度的梯度的方向(例如用0～7的一比特的信息保持八个方向)。
模板信息输出部204按每一视点把模板作成部203作成的模板和在该模板的作成中使用的缩小率关联起来而登录到存储装置的模板DB401。
物体识别处理装置30具备图像取得部301、图像缩小部302、特征量算出部303、模板匹配部304以及识别结果输出部305。
图像取得部301从相机11取得输入图像。图像缩小部302将图像取得部301取得的输入图像使用在存储装置40的模板DB401中登录的各缩小率进行缩小，生成登录到模板DB401的缩小率的数量的缩小输入图像。
特征量算出部303针对图像缩小部302生成的各缩小输入图像算出特征量。在此算出的特征量是与模板作成时模板作成部203算出的特征量为同一种类的特征量。
模板匹配部304基于在模板DB401中登录的模板和在与该模板关联起来的缩小率的缩小输入图像中特征量算出部303算出的特征量来搜索物体2在缩小输入图像中的位置，得到多个对照结果。即，模板匹配部304按在模板DB401中登录的模板的数量进行搜索处理。在本实施方式中，针对在模板DB中登录的所有模板，作为对照结果得到在缩小输入图像中被识别到的物体2的坐标、和按每一该坐标示出缩小输入图像和模板之间的图像特征的一致度的对照分数。
识别结果输出部305将模板匹配部304得到的多个对照结果统一，输出最终的识别结果。在本实施方式中，识别结果输出部305将缩小输入图像中的坐标转换为原来的输入图像中的坐标，在对同一坐标输出不同的对照结果时，决定为具有最高的对照分数的模板在该坐标上被识别到，并输出识别结果。
存储装置40具备模板DB401。各视点的模板和该模板的缩小率被关联起来保存于模板DB401中。如上所述，缩小率决定部202能将对各视点决定的缩小率统一，因此在模板DB401中可存在具有同一缩小率的多个模板。
(模板登录处理)
接着，沿着图4的流程图说明由模板作成装置20执行的模板登录处理。此外，当重新设置图像处理装置10时或识别对象的物体2变更时，执行图4所示的模板登录处理。在本实施方式中，设为登录用于进行图5的(a)所示的物体2的物体识别处理的模板。如图5的(a)所示，在输入图像中包括多个物体2，各物体2的位置和姿态是任意的。
在步骤S401中，模板作成装置20的三维数据取得部201取得识别对象的物体2的三维数据。例如，在本实施方式中，三维数据取得部201从外部的三维CAD服务器取得三维CAD数据。
接着，在步骤S402中，模板作成装置20的缩小率决定部202使用三维数据取得部201取得的三维数据生成从多个视点观看的物体的二维图像。在本实施方式中，缩小率决定部202使用三维CAD数据，例如像图5的(b)所示，生成包括物体2的从多面体501的各顶点观看的物体2的二维图像。在图5的(c)中，示出从用箭头502示出的正上方观看的物体2的二维图像，在图5的(d)中示出从用箭头503示出的正横向观看的物体的二维图像。
接下来，在S403中，缩小率决定部202针对在S402中生成的各视点的二维图像按每一视点决定最佳的缩小率。在本实施方式中，缩小率决定部202能基于各视点的模板所包括的特征点的数量或各视点的缩小后的图像所包括的物体2的面积来决定缩小率。
而且，在S404中，缩小率决定部202将对各视点决定的缩小率统一。例如，在本实施方式中，缩小率决定部202设定任意的既定视点，对与既定视点的位置关系满足规定条件的视点进行分组使其与既定视点成为同一组。并且，缩小率决定部202对同一组的视点设定同一缩小率从而将缩小率统一。具体地，例如缩小率决定部202将从用箭头502表示的正上方的顶点504观看的视点以及从用箭头503表示的正横向的顶点505观看的视点设定为既定视点。缩小率决定部202在由特定的既定视点、多面体501的中心、某视点1这三点构成的角度为二十度以内的情况下，将该视点1分组为与既定视点是同一组，对同一组的视点设定既定视点的缩小率。
之后，在S405中，模板作成装置20的模板作成部203将缩小率决定部202生成的各视点的二维图像使用在S403或S404中对该视点决定的缩小率进行缩小，在S406中，根据缩小后的图像算出特征量而作成模板。在本实施方式中，模板作成部203将缩小率决定部202生成的各视点的二维图像使用在S403或S404中对该视点决定的缩小率进行缩小，根据缩小后的图像算出量子化梯度方向而作成模板。
最后，在S407中，模板作成装置20的模板信息输出部204按每一视点将模板作成部203作成的模板和在该模板的作成中使用的缩小率关联起来，将其登录到存储装置40的模板DB401。在本实施方式中，模板作成部203按每一视点将记述了在S406中算出的多个特征点的量子化梯度方向的排列形式的数据与缩小率关联起来进行登录。
(物体识别处理)
接着，沿着图6的流程图说明由物体识别处理装置30执行的物体识别处理。
在步骤S601中，物体识别处理装置30的图像取得部301从相机11取得输入图像。接着，在步骤S602中，物体识别处理装置30的图像缩小部302将图像取得部301取得的输入图像使用在存储装置40的模板DB401中登录的各缩小率进行缩小，生成在模板DB401中登录的缩小率的数量的缩小输入图像。
接下来，在步骤S603中，物体识别处理装置30的特征量算出部303针对图像缩小部302生成的各缩小输入图像算出特征量。在此算出的特征量是与模板作成时模板作成部203算出的特征量为同一种类的特征量，在本实施方式中，是量子化梯度方向。
之后，在步骤S604中，物体识别处理装置30的模板匹配部304基于在模板DB401中登录的模板和在与该模板关联起来的缩小率的缩小输入图像中特征量算出部303算出的特征量来搜索物体2在缩小输入图像中的位置，得到多个对照结果。即，模板匹配部304按在模板DB401中登录的模板的数量进行搜索处理。在本实施方式中，针对在模板DB中登录的所有模板，作为对照结果得到在缩小输入图像中被识别到的物体2的坐标、和按每一该坐标示出缩小输入图像和模板之间的图像特征的一致度的对照分数。
最后，在步骤S605中，物体识别处理装置30的识别结果输出部305将模板匹配部304得到的多个对照结果统一后输出最终的识别结果。在本实施方式中，识别结果输出部305将缩小输入图像中的坐标转换为原来的输入图像中的坐标，在对同一坐标输出不同的对照结果时，决定为具有最高的对照分数的模板在该坐标上识别到，并输出识别结果。
此外，本发明不限定模板匹配的具体的方法，物体识别处理装置30能采用模板匹配的任意的方法。在本实施方式中，物体识别处理装置30基于量子化梯度方向进行物体识别处理，但也能基于其它特征量来进行物体识别处理，也能使用亮度或颜色等、像素值其本身来进行物体识别处理。若是本领域技术人员，则能容易理解模板作成装置20需要作成与物体识别处理装置30所采用的模板匹配相应的模板。此外，粗密搜索等用于实现高速化的算法能适用任意的算法。
此外，将在本说明书中说明的各处理实施的程序也可以存储到记录介质。若使用该记录介质，则能在图像处理装置10中安装上述程序。在此，存储了上述程序的记录介质也可以是非一次性记录介质。非一次性记录介质没有特别限定，例如可以是CD-ROM等记录介质。
此外，上述的实施方式的一部分或全部可以如以下的备注那样记载，但不限于以下内容。
(备注1)
一种图像处理装置，具备至少一个存储器和与上述存储器连接的至少已个硬件处理器，上述硬件处理器使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的上述物体的二维图像，按每一视点决定缩小率，把生成的各视点的上述二维图像使用对该视点决定的上述缩小率进行缩小，根据上述缩小后的图像算出特征量而作成模板，按每一视点把上述模板和在该模板的作成中使用的缩小率关联起来而输出。
(备注2)
一种图像处理方法，通过至少一个以上的硬件处理器并使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的上述物体的二维图像，由上述硬件处理器按每一视点决定缩小率，由上述硬件处理器把生成的各视点的上述二维图像使用对该视点决定的上述缩小率进行缩小，生成缩小图像，由上述硬件处理器根据上述缩小图像算出特征量，作成模板，由上述硬件处理器按每一视点把模板和在该模板的作成中使用的缩小率关联起来而输出。
Claims (8)
1.一种图像处理装置，其特征在于，具备：
缩小率决定部，其使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的所述物体的二维图像，按每一视点来决定最佳的缩小率；
模板作成部，其相对于生成的各视点的所述二维图像的每个，使用对该视点决定的所述最佳的缩小率生成缩小的图像，并按每个视点从缩小后的所述图像算出特征量而作成与所述缩小率对应的模板；以及
模板信息输出部，其按每一视点把所述模板和在所述模板的作成中使用的缩小率关联起来而输出，
所述缩小率决定部基于各视点的所述模板所包括的特征点的数量或者各视点的缩小后的所述图像所包括的所述物体的面积来决定所述缩小率，
所述缩小率决定部设定既定视点，将与所述既定视点的位置关系满足规定条件的视点分组为与所述既定视点为同一组，对同一组的视点设定同一缩小率从而统一所述缩小率。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述缩小率决定部将对各视点决定的所述缩小率统一。
3.根据权利要求1所述的图像处理装置，其特征在于，还具备：
图像取得部，其取得输入图像；
图像缩小部，其把取得的所述输入图像使用所述模板信息输出部输出的多个缩小率进行缩小，生成多个缩小输入图像；
特征量算出部，其针对生成的各缩小输入图像算出特征量，所述特征量是与所述模板作成部算出的特征量为同一种类的特征量；
模板匹配部，其基于所述模板和在与所述模板关联起来的缩小率的缩小输入图像中所述特征量算出部算出的特征量来搜索所述物体在所述缩小输入图像中的位置，得到多个对照结果；以及
识别结果输出部，其输出将所述多个对照结果统一后的识别结果。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述对照结果包括在所述缩小输入图像中被识别到的所述物体的坐标和按每一所述坐标示出所述缩小输入图像和所述模板之间的图像特征的一致度的对照分数，
所述识别结果输出部在对同一坐标输出不同的对照结果时，决定为具有最高的对照分数的模板在所述坐标上被识别到，并输出所述识别结果。
5.一种图像处理方法，由计算机执行，所述图像处理方法的特征在于，包括：
使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的所述物体的二维图像的工序；
按每一视点决定最佳的缩小率的工序；
相对于生成的各视点的所述二维图像的每个，使用对所述视点决定的所述最佳的缩小率生成缩小的图像，由此按每个视点生成缩小图像的工序；
从所述缩小图像算出特征量而作成与所述缩小率对应的模板的工序；以及
按每一视点把模板和在所述模板的作成中使用的缩小率关联起来而输出的工序，
在决定所述缩小率的工序中，基于各视点的所述模板所包括的特征点的数量或者各视点的缩小后的所述图像所包括的所述物体的面积来决定所述缩小率，
在决定所述缩小率的工序中设定既定视点，将与所述既定视点的位置关系满足规定条件的视点分组为与所述既定视点为同一组，对同一组的视点设定同一缩小率从而统一所述缩小率。
6.根据权利要求5所述的图像处理方法，其特征在于，还包括：
取得输入图像的工序；
把取得的所述输入图像使用输出的多个所述缩小率进行缩小，生成多个缩小输入图像的工序；
在生成的各缩小输入图像中算出特征量的工序，所述特征量是与在所述模板的作成中使用的特征量为同一种类的特征量；以及
基于所述模板和在与所述模板关联起来的缩小率的缩小输入图像中算出的特征量来搜索所述物体在所述缩小输入图像中的位置，得到多个对照结果的工序；以及
输出把所述多个对照结果统一后的识别结果的工序。
7.一种计算机可读存储介质，存储程序，所述计算机可读存储介质的特征在于，
所述程序使计算机执行：
使用表示识别对象的物体的三维形状的三维数据来生成从多个视点观看的所述物体的二维图像的处理；
按每一视点决定最佳的缩小率的处理；
相对于生成的各视点的所述二维图像的每个，使用对所述视点决定的所述最佳的缩小率生成缩小的图像，由此按每个视点生成缩小图像的处理；
从所述缩小图像算出特征量而作成与所述缩小率对应的模板的处理；以及
按每一视点把模板和在所述模板的作成中使用的缩小率关联起来而输出的处理，
在决定所述缩小率的处理中，基于各视点的所述模板所包括的特征点的数量或者各视点的缩小后的所述图像所包括的所述物体的面积来决定所述缩小率，
在决定所述缩小率的处理中设定既定视点，将与所述既定视点的位置关系满足规定条件的视点分组为与所述既定视点为同一组，对同一组的视点设定同一缩小率从而统一所述缩小率。
8.根据权利要求7所述的计算机可读存储介质，其特征在于，
所述程序还使所述计算机执行：
取得输入图像的处理；
把取得的所述输入图像使用输出的多个所述缩小率进行缩小而生成多个缩小输入图像的处理；
在生成的各缩小输入图像中算出特征量的处理，所述特征量是与在所述模板的作成中使用的特征量为同一种类的特征量；
基于所述模板和在与所述模板关联起来的缩小率的缩小输入图像中算出的特征量来搜索所述物体在所述缩小输入图像中的位置并得到多个对照结果的处理；以及
输出把所述多个对照结果统一后的识别结果的处理。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017047271A JP6684475B2 (ja) | 2017-03-13 | 2017-03-13 | 画像処理装置、画像処理方法及びプログラム |
| JP2017-047271 | 2017-03-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108573471A CN108573471A (zh) | 2018-09-25 |
| CN108573471B true CN108573471B (zh) | 2023-06-06 |
Family
ID=61226360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810141478.4A Active CN108573471B (zh) | 2017-03-13 | 2018-02-11 | 图像处理装置、图像处理方法以及记录介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10713530B2 (zh) |
| EP (1) | EP3376433B1 (zh) |
| JP (1) | JP6684475B2 (zh) |
| CN (1) | CN108573471B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6554900B2 (ja) * | 2015-04-28 | 2019-08-07 | オムロン株式会社 | テンプレート作成装置及びテンプレート作成方法 |
| JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
| KR102035531B1 (ko) * | 2017-09-26 | 2019-10-24 | 네이버웹툰 주식회사 | 대표 이미지 생성 |
| USD959447S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
| US11205296B2 (en) * | 2019-12-20 | 2021-12-21 | Sap Se | 3D data exploration using interactive cuboids |
| USD959477S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
| USD959476S1 (en) | 2019-12-20 | 2022-08-02 | Sap Se | Display system or portion thereof with a virtual three-dimensional animated graphical user interface |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103828363A (zh) * | 2011-09-29 | 2014-05-28 | 富士胶片株式会社 | 视差调整装置及控制其操作的方法 |
| JP2015026117A (ja) * | 2013-07-24 | 2015-02-05 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム及び記録媒体 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3066173B2 (ja) | 1992-03-18 | 2000-07-17 | 三洋電機株式会社 | パターンマッチング方法 |
| JP3943975B2 (ja) * | 2002-03-29 | 2007-07-11 | キヤノン株式会社 | 情報処理方法および装置 |
| JP2006113807A (ja) * | 2004-10-14 | 2006-04-27 | Canon Inc | 多視点画像の画像処理装置および画像処理プログラム |
| US7706603B2 (en) * | 2005-04-19 | 2010-04-27 | Siemens Corporation | Fast object detection for augmented reality systems |
| JP4866793B2 (ja) * | 2007-06-06 | 2012-02-01 | 安川情報システム株式会社 | 物体認識装置および物体認識方法 |
| CN100583127C (zh) * | 2008-01-14 | 2010-01-20 | 浙江大学 | 一种基于模板匹配的视点无关的人体动作识别方法 |
| JP5774889B2 (ja) * | 2011-03-31 | 2015-09-09 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| JP2015045919A (ja) * | 2013-08-27 | 2015-03-12 | トヨタ自動車株式会社 | 画像認識方法及びロボット |
| EP3069100B1 (en) * | 2013-11-12 | 2018-08-29 | Smart Picture Technologies, Inc. | 3d mapping device |
| JP2015114307A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
| JP6331517B2 (ja) * | 2014-03-13 | 2018-05-30 | オムロン株式会社 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
| EP3118812A4 (en) * | 2014-03-14 | 2017-11-22 | Omron Corporation | Image processing device, image sensor, and image processing method |
| JP6554900B2 (ja) * | 2015-04-28 | 2019-08-07 | オムロン株式会社 | テンプレート作成装置及びテンプレート作成方法 |
| JP6740033B2 (ja) * | 2016-06-28 | 2020-08-12 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法及びプログラム |
-
2017
- 2017-03-13 JP JP2017047271A patent/JP6684475B2/ja active Active
-
2018
- 2018-02-11 CN CN201810141478.4A patent/CN108573471B/zh active Active
- 2018-02-14 EP EP18000142.2A patent/EP3376433B1/en active Active
- 2018-02-22 US US15/902,332 patent/US10713530B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103828363A (zh) * | 2011-09-29 | 2014-05-28 | 富士胶片株式会社 | 视差调整装置及控制其操作的方法 |
| JP2015026117A (ja) * | 2013-07-24 | 2015-02-05 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6684475B2 (ja) | 2020-04-22 |
| US20180260661A1 (en) | 2018-09-13 |
| US10713530B2 (en) | 2020-07-14 |
| JP2018151830A (ja) | 2018-09-27 |
| EP3376433B1 (en) | 2024-03-27 |
| EP3376433A1 (en) | 2018-09-19 |
| CN108573471A (zh) | 2018-09-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108573471B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
| US11120254B2 (en) | Methods and apparatuses for determining hand three-dimensional data | |
| US10515291B2 (en) | Template creation device and template creation method | |
| US10803615B2 (en) | Object recognition processing apparatus, object recognition processing method, and program | |
| US10776657B2 (en) | Template creation apparatus, object recognition processing apparatus, template creation method, and program | |
| US10366307B2 (en) | Coarse-to-fine search method, image processing device and recording medium | |
| US20180260669A1 (en) | Image processing apparatus, image processing method, template generation apparatus, object recognition processor, and object recognition processing program | |
| JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
| KR102073468B1 (ko) | 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 | |
| US10810761B2 (en) | Position and orientation estimation apparatus, position and orientation estimation method, and program | |
| CN112308836B (zh) | 角点检测方法、装置、电子设备及可读存储介质 | |
| US10706319B2 (en) | Template creation apparatus, object recognition processing apparatus, template creation method, and program | |
| WO2017042852A1 (en) | Object recognition appratus, object recognition method and storage medium | |
| WO2015136716A1 (ja) | 画像処理装置、画像センサ、画像処理方法 | |
| JP6717769B2 (ja) | 情報処理装置及びプログラム | |
| CN113939852A (zh) | 物体识别装置以及物体识别方法 | |
| CN115861428A (zh) | 一种位姿测量方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |