CN110414304A - 物体辨别装置及方法 - Google Patents
物体辨别装置及方法 Download PDFInfo
- Publication number
- CN110414304A CN110414304A CN201910255723.9A CN201910255723A CN110414304A CN 110414304 A CN110414304 A CN 110414304A CN 201910255723 A CN201910255723 A CN 201910255723A CN 110414304 A CN110414304 A CN 110414304A
- Authority
- CN
- China
- Prior art keywords
- image
- candidate
- similar degree
- reference body
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 65
- 230000014759 maintenance of location Effects 0.000 claims description 16
- 239000000126 substance Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 18
- 238000000605 extraction Methods 0.000 description 12
- 239000000203 mixture Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000167854 Bourreria succulenta Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019693 cherries Nutrition 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Abstract
提供准确地辨别物体的物体辨别装置及方法。物体辨别装置(1)具备:取得输入物体的图像(31)的图像取得部(12);选择作为输入物体的图像的辨别候选的多个基准物体(32)来生成辨别候选的组的辨别候选选择部(112);对于辨别候选的组中包含的各基准物体、计算与输入物体的图像的类似度的类似度计算部(113);基于由类似度计算部计算的类似度、从组中包含的基准物体中去除规定的类似度的基准物体直至组中包含的基准物体的数量成为规定量为止的识别部(114);若由识别部去除规定的类似度的基准物体则辨别候选选择部更新组,若组被更新,则类似度计算部对于更新后的组中包含的各基准物体,再计算与输入物体的图像的类似度。
Description
技术领域
本发明涉及物体辨别装置及方法。
背景技术
在制造领域以及物流领域中,需求物体的拣选作业以及组装作业的自动化。为了使这些作业自动化而使用机器人。在使用机器人处理作业对象物体的情况下,需要对作业对象物体的位置以及姿态进行计测的机构。为此使用视觉传感器。
为了使机器人进行处理多种物体的作业,需要辨别由视觉传感器计测到的物体的种类。特别是,在制造领域以及物流领域中,对多种多样的物体进行处理,存在相互类似的物体同时存在多个的情况。
为了从包含类似的物体的辨别候选组中辨别对象物体的种类,进行有着眼于类似的物体之间的差异的研究。这里,辨别候选是指,可成为物体辨别装置的输出即辨别结果的物体。
在非专利文献1中,根据欲进行辨别的物体及与该物体类似的物体,预先探索对其识别有很大帮助的模板中的像素群。并且,在非专利文献1中提出有如下方法,在物体的辨别时,在从预先的探索结果所得到的像素群中,在对象物体与欲进行辨别的物体之间进行匹配。
在专利文献1中提出有如下方法,通过特定的特征向量表现各辨别候选。在专利文献1中,基于在特征向量空间中接近的特征向量群,寻找在将对象物体的特征向量在其位置正交射影时,局部的分散性为最大的部分空间。
另外,作为图像特征图案的抽出方法,已知有非专利文献2。作为特征点的提取方法,已知有非专利文献3。作为计算特征量的方法,已知有非专利文献4。
现有技术文献
专利文献
专利文献1:日本专利第38141481号说明书
非专利文献
非专利文献1:樱本康宪,桥本学,“使用对于对象物与类似物的识别有效的像素群的模板匹配”,精密工学会志,81卷7号,平成27年
非专利文献2:Canny,John."A computational approach to edge detection."IEEE Transactions on pattern analysis and machine intelligence 6(1986):679-698.
非专利文献3:Rosten,Edward,and Tom Drummond."Machine learning forhigh-speed corner detection."Computer Vision ECCV 2006(2006):430-443.
非专利文献4:Lowe,David G."Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2(2004):91-110.
发明内容
发明所要解决的课题
在非专利文献1中,所选择的像素群的浓度值有时在拍摄图像与预先取得的对象物体的图像之间较大不同。在该情况下,非专利文献1中,物体的识别可能变得困难。拍摄图像与对象物体的图像之间的像素群的浓度值的差异例如由于物体的污渍、遮挡、传感器的噪声而产生。遮挡是指,处于近前的物体将处于背后的物体隐藏而无法看见的状态。并且,在非专利文献1中,需要按每个设为对象的物体,探索与类似物体进行识别所需的部分图像区域。
在专利文献1中,以分别从类似的物体得到的特征量不同为前提。然而,如工业用部件那样,在特征较少的物体、例如无花纹的单色的物体中,分别从类似的物体抽出的特征量几乎相同的情况较多。在该情况下,在专利文献1中,物体的识别可能变得困难。
本发明鉴于以上的问题而做成,其目的在于提供能够准确地辨别物体的物体辨别装置及方法。
用于解决课题的手段
为了解决上述课题,按照本发明的一个观点的物体辨别装置,其具备:图像取得部,取得作为被输入的物体的输入物体的图像;辨别候选选择部,选择作为取得的输入物体的图像的辨别候选的多个基准物体,从而生成辨别候选的组;类似度计算部,对于辨别候选的组中包含的各基准物体,计算与输入物体的图像的类似度;以及识别部,基于由类似度计算部计算的类似度,从辨别候选的组中包含的基准物体中去除规定的类似度的基准物体,直至辨别候选的组中包含的基准物体的数量成为规定量为止,在通过识别部去除了规定的类似度的基准物体的情况下,辨别候选选择部更新辨别候选的组,在辨别候选的组被更新的情况下,类似度计算部对于更新后的辨别候选的组中包含的各基准物体,再计算与输入物体的图像的类似度。
发明的效果
根据本发明,由于从辨别候选的组中去除规定的类似度的基准物体并对类似度进行再计算,因此能够阶段性地筛选辨别候选的组中包含的基准物体,能够抽出与输入图像类似的基准物体。
附图说明
图1是表示物体辨别装置的功能构成的框图。
图2是表示物体辨别装置的适用例的说明图。
图3是表示物体辨别装置的硬件构成的框图。
图4是表示向物体辨别装置登记示教物体的处理的流程图。
图5是表示物体辨别处理的流程图。
图6是表示权重计算处理的流程图。
图7是表示去除类似度较低的示教物体且判定与输入图像最相似的示教物体的情形的说明图。
图8是表示第2实施例所涉及的权重计算处理的流程图。
图9是表示抽出特征点的情形的说明图。
图10是表示第3实施例所设计的权重计算处理的流程图。
附图标记的说明
1:物体辨别装置,2:照相机,3:容器,10:自动分类机,11:计算部,12:图像取得部,13:输出部,31:输入图像,32:基准物体图像,111:数据保持部,112:辨别候选选择部,113:类似度计算部,114:识别部。
具体实施方式
以下,基于附图对本发明的实施方式进行说明。在本实施方式中,为了判定输入图像对应于预先登记的多个示教物体中的哪一个,阶段性地减少成为辨别候选的示教物体,且将各示教物体与输入图像的类似度再计算。例如,通过从类似度较低的示教物体起按顺序从辨别候选的组中去除,能够将明显不相似的示教物体排除来判定。由此,能够更新辨别候选的组且强调剩余的各示教物体间的特征之差。因此,即使在各示教物体间的图像上的特征之差较少的情况下,也能够准确地判定输入图像对应于哪个示教物体。
本实施方式的物体辨别装置的一个例子,对于表示图像中的局部特征的图像特征要素、以及由多个图像特征要素的组所构成的图像特征图案(pattern),分别计算根据输入图像所得到的图像特征图案、与根据与预先给予的特定的多个基准物体对应的基准物体图像所得到的图像特征图案的类似度。并且,本实施方式的物体辨别装置比较每个基准物体的类似度,来辨别与输入图像对应的基准物体。
本实施方式的物体辨别装置,如上述那样,通过阶段性的筛选、更新辨别候选的组中包含的基准物体,能够与更新前相比更强调该组中剩余的基准物体间的差异。因此,本实施方式的物体辨别装置即使在处理相似的形状、色彩的物体的工业(制造业、运输业等)中,也能够准确地识别物体。
这样的本实施方式的物体辨别装置例如也能够表现为下述装置,具有:取得输入图像的图像输入部;辨别候选选择部,选择多个成为辨别结果的候选的物体(基准物体)即辨别候选;类似度计算部,基于辨别候选的组来计算输入图像的图像特征图案内的图像特征要素各自的权重,根据输入图像的图像特征图案、权重以及辨别候选的图像特征图案来计算类似度;以及识别部,基于由类似度计算部计算出的辨别候选各自的类似度,从辨别候选中至少选择一个;在识别部选择的辨别候选存在多个的情况下,基于所选择的辨别候选,再次计算权重以及类似度。
根据本实施方式的物体辨别装置,例如,去除与输入图像最不相似的辨别候选(基准物体)来制作新的辨别候选的组,基于该新制作的辨别候选的组再计算权重以及类似度。因此,本实施方式的物体辨别装置由于能够抽出各阶段中的有助于辨别候选的辨别的图像特征要素,因此即使在物体的污渍、噪声或遮挡存在的状况下也能够辨别输入图像(被拍摄体物体)。
【实施例1】
使用图1~图7对第1实施例进行说明。图1表示物体辨别装置1的功能构成的一个例子。物体辨别装置1例如具备进行后述的计算处理的计算部11、取得物体的图像数据的图像取得部12、以及输出辨别结果的输出部13。
计算部11例如具备数据保持部111、辨别候选选择部112、类似度计算部113、以及识别部114。
数据保持部111具有将预先取得的与多种物体相关的数据(与基准物体图像相关的数据)保持于存储设备101(参照图3)的功能。也能够将基准物体称作示教物体。这是因为成为辨别候选的基准物体的图像被预先登记在物体辨别装置1中。
辨别候选选择部112具有从在数据保持部111中保持有数据的物体群中选择多个辨别候选的功能。类似度计算部113具有根据图像取得部12所取得的输入图像的图像特征图案与各辨别候选的图像特征图案来计算类似度的功能。识别部114具有根据从各辨别候选所得到的类似度来选择至少一个辨别候选的功能。
这里,图1的下侧所示的辨别候选的组32G是由基准物体的图像32构成的组,该基准物体的图像32是从预先存储的基准物体的图像32中、作为具有与被输入了图像的物体(对象物体)对应(一致)的可能性而选择出的图像。输入图像31是指判定对象的物体。作为物体,例如为在各种制造业中处理的部件、在物流工业中处理的商品等。
类似度计算部113具备权重计算部1131、以及加权类似度计算部1132。权重计算部1131具有基于辨别候选的组、分别计算输入图像的图像特征要素的权重的功能。加权类似度计算部1132具有根据权重计算部1131所计算出的权重、和输入图像的图像特征图案及辨别候选的图像特征图案,求出各辨别候选的类似度的功能。
在图1的下侧,部分示出识别方法的一个例子。对于详细的识别方法的例子,在图5~图7中后述。这里,简单叙述识别方法的概略。判定对象的物体的图像31由图2叙述的照相机2拍摄。不能保证一直清晰地拍摄判定对象的物体的图像31的整体,也存在油等的污渍附着在物体31的表面,或物体31的一部分隐藏在其他物体的阴影下的情况。在本实施例中,提供在这样的不稳定的环境下,准确地辨别色彩、花纹的变化较少而难以区分的物体的方法。
判定对象的物体的图像31也称作输入图像31。物体辨别装置1的辨别候选选择部112从在数据保持部111中预先存储的多个基准物体的图像32中,选择可能成为辨别候选的基准物体的图像32(1)~32(3)。由这些被选择的基准物体的图像32(1)~32(3)形成辨别候选的组32G。作为辨别候选被最初选择的基准物体的图像数量为多个。另外,以下,在不特别对基准物体与基准物体的图像进行区别的情况下,有对两者赋予附图标记32来进行说明的情况。
物体辨别装置1的类似度计算部113计算类似度,该类似度表示包含在辨别候选的组32G中的各基准物体的图像32(1)~32(3)相对于输入图像31的相似程度。对最初计算出类似度时的辨别候选的组赋予附图标记32G(1),对第二次计算出类似度时的辨别候选的组赋予附图标记32G(2)。
物体辨别装置1的识别部114基于由第一次的计算得到的类似度,从辨别候选的组32G(1)中选择一个类似度最低的基准物体的图像。这里,设基准物体的图像32(3)的类似度低于其他的基准物体的图像32(1)、32(2)的类似度。类似度越高,输入图像与基准物体的图像越相似,类似度越低,两者越不相似。
如后述那样,在类似度计算部113中,对于比较各基准物体的图像而得到的特征性的部分,计算与输入图像的类似度。即,类似度计算部113基于与其他物体的图像不同的特征性的位置的集合体、即图像特征图案,比较输入图像与基准物体的图像,从辨别候选的组32G中去除最不相似的基准物体的图像。
若基准物体的图像32(3)被识别部114从辨别候选的组32G中去除,则类似度计算部113对在辨别候选的组32G中剩余的基准物体的图像32(1)、32(2)与输入图像31的类似度进行再计算。
在第二次的计算中,由于在辨别候选的组32G中仅包含基准物体的图像32(1)、32(2)这2个,因此成为第二次的计算对象的图像特征图案与成为第一次的计算对象的图像特征图案不同。在第一次的计算中,基于对三个基准物体的图像32(1)~32(3)进行比较时的特征性的部分计算了类似度。与此相对,在第二次的计算中,基于对2个基准物体的图像32(1)、32(2)进行比较时的特征性的部分来计算类似度。若构成辨别候选的组32G的图像不同,成为类似度计算的基础的特征性的位置也发生变化。因此,在大量的基准物体的图像中被掩盖的特征,随着包含在辨别候选的组32G中的基准物体的图像变化(随着更新)而逐渐被强调,成为判定与输入图像的类似时的重要特征。
虽然在图1中进行了省略,如图7中后述那样,识别部114最终在基准物体的图像32(1)、32(2)中选择与输入图像的类似度最高的基准物体图像32(1)。选择的结果从输出部13输出。
图2表示将物体辨别装置1适用于自动分类机10的情况的外观例。辨别对象(识别对象)的物体31收容于托盘等的容器3而被搬运。在容器3的上方,照相机2通过臂20被安装。照相机2例如是具有CCD(Charge Coupled Device)照相机或者CMOS照相机等的拍摄元件的拍摄装置。由照相机2拍摄到的图像数据向物体辨别装置1发送。物体辨别装置1的图像取得部12取得来自照相机2的图像数据,向计算部11发送。
物体辨别装置1能够使用个人计算机来实现。如在图3中后述那样,通过在通用的计算机中存储规定的计算机程序,能够实现物体辨别装置1。也可以代替地将物体辨别装置1作为专用装置来构成。
物体辨别装置1的辨别结果例如向未图示的机器人控制装置发送,由机器人等取出并载置于规定的场所。
图3表示物体辨别装置1的硬件构成例。物体辨别装置1例如具有处理器100、存储设备101、输入设备102、输出设备103、以及通信接口(通信IF104)。处理器100、存储设备101、输入设备102、输出设备103、以及通信IF104经由总线105连接。在图3中,以物体辨别装置1的计算部11为中心进行图示,但图3所示的构成还能够进一步具备用于实现图像取得部12以及输出部13的输入输出接口(未图示)。
处理器100控制计算部11。处理器100通过执行存储在存储设备101中的物体辨别处理程序P1,来实现图1所述的各功能。
存储设备101成为处理器100的作业区域。存储设备101存储计算机程序P1以及图像数据等。存储设备101,实现数据保持部111。经由通信IF104所取得的数据被暂时存储在存储设备101。作为存储设备101,例如有ROM(Read Only Memory)、RAM(Random AccessMemory)、HDD(Hard Disk Drive)、闪存等。
输入设备102是用于输入数据的装置。作为输入设备102,例如有键盘、鼠标、触摸面板、数字键盘、扫描仪、声音辨别装置等。输出设备103是输出数据的装置。作为输出设备103例如有显示器、打印机、声音合成装置等。
图4是表示向物体辨别装置1登记基准物体的处理(示教处理)的流程图。例如,操作人员在照相机2的视场内载置登记对象的基准物体,并通过照相机2拍摄该基准物体。通过照相机2拍摄到的图像由图像取得部12取得,并向数据保持部111存储(S1)。
物体辨别装置1使用类似度计算部113,从基准物体的图像32中抽出图像特征图案(S2),将抽出的图像特征图案与基准物体的属性信息建立对应并向数据保持部111中保存(S3)。作为基准物体的属性信息,例如有基准物体的品种编号、制造编号、厂商等。
物体辨别装置1判定是否完成了基准物体的登记处理(S4)。例如,若操作人员从输入设备102指示登记作业的完成,则物体辨别装置1判断为基准物体的登记处理完成,结束本处理(S4:是)。
这样,在本实施例中,在数据保持部111中,预先将从拍摄了成为辨别候选的基准物体得到的图像32中所取得的图像特征图案、与该基准物体的属性信息建立对应地保持。
另外,例如,也可以改变基准物体的位置(姿态)或改变光的照射方式,从一个基准物体取得多个图像32,并从各个图像32抽出图像特征图案。在该情况下,也可以将表示基准物体的拍摄时的位置(姿态)的信息、和表示光的照射方式的信息作为属性信息与图像特征图案建立对应而存储。
作为图像特征图案,例如也能够使用图像其本身。在该情况下,图像特征要素与图像中的各像素对应。或者,也可以利用在非专利文献2中详述的利用Canny边缘检测那样的边缘检测而得到的边缘。在该情况下,图像特征要素为检测到的各边缘。
图5是表示物体辨别处理的流程图。在步骤S10中,在权重计算部1131中,执行权重计算处理。权重计算处理的详细内容如图6所示。
在权重计算处理中,基于从由辨别候选选择部112选择的成为辨别候选的组的基准物体的图像32中所得到的图像特征图案、和从由图像取得部12取得的输入图像31中所得到的图像特征图案,求出输入图像31的图像特征图案中的针对各图像特征要素ti(i=1,…,Nt)的权重Wi。这里,Nt是输入图像31具有的图像特征要素的总数量。例如,选择位于坐标(x,y)的像素ti(x,y)作为局部区域ti,求出与图像中的全部像素对应的权重Wi(x,y)即可。
图6是表示由权重计算部1131所进行的权重的计算例的流程图。首先,权重计算部1131从由辨别候选选择部112所选择的辨别候选的组中选择一个成为候选的基准物体图像32,并从数据保持部111中取得与其对应的种类、姿态、图像特征图案等的数据(S101)。
作为最初的辨别候选而选择的基准物体也可以设为在数据保持部111中保持的全部的基准物体。或者,在由图像取得部12取得的输入图像31的种类受限的情况下,也可以将保持在数据保持部111的基准物体中的一部分基准物体选择作为最初的辨别候选的组。
在步骤S102中,权重计算部1131对于由图像取得部12取得的输入图像31中所包含的各图像特征要素ti,执行以下的处理S103、S104。
首先,在步骤S103中,权重计算部1131求出所选择的图像特征要素ti的特征、与在步骤S101中选择的候选m中的各图像特征要素mj(j=1,…,Nm)之差d(m,i,j)。Nm是选择的候选m所包含的图像特征要素的总数。在使用像素作为图像特征要素的情况下,Nm为全部像素数量。例如,在图像以灰度给予的情况下,利用下述式1计算差d(m,i,j)即可。
【式1】
(xi,yi)为ti的坐标。(xj,yj)为mj的坐标。It(xi,yi)、Im(xj,yj)分别是ti、mj的浓度值。δ是像素的偏差的允许范围。在像素的值以RGB颜色空间(r,g,b)表示的情况下,也可以使用r、g、b各自的误差的绝对值的和。
接着权重计算部1131比较计算出的图像特征要素之差d(m,i,j)与预先设定的阈值ε,来调查是否d(m,i,j)(j=1,…,Nm)中的至少一个在阈值内(S103)。
在图像特征要素之差的至少一个在阈值以内的情况下(S103:是),权重计算部1131对表示具有与图像特征要素ti类似的图像特征要素的候选的数量的n(i)加1(S104)。另外,为了进行后述的权重的再计算,也可以保持与对各辨别候选m的n(i)有无进行加法的相关的信息。
若对于全部辨别候选,步骤S101至步骤S104为止的处理结束,则接着进行权重的计算(S105)。与各图像特征要素ti对应的权重Wi例如通过下述式2计算。
【式2】
由此,具有与特定的图像特征要素类似的图像特征要素的辨别候选的数量越多,则与该图像特征要素对应的权重越小,对后述的加权类似度产生的影响越小。
返回图5。在步骤S20中,计算各辨别候选的加权类似度S(t,m)。加权类似度例如通过下述式3计算。
【式3】
这里,I(cond)为指标函数。若条件cond成立则返回1,若不成立时则返回0。
在步骤S30中,通过识别部114,例如根据由类似度计算部113计算出的各辨别候选的类似度,从组32G中去除类似度最低的辨别候选,将剩余的辨别候选选择为新的辨别候选。作为去除方法,例如既可以去除类似度最低的一个候选(基准物体),或者还可以将具有某阈值以下的类似度的辨别候选全部去除。
在步骤S40中,在识别部114中,调查由步骤S30选择出的辨别候选的数量。在所选择的辨别候选的数量存在2个以上时(S40:否),再次返回步骤S10,基于选择的辨别候选,对权重与加权类似度进行再计算。
由此,能够将与输入图像31明显不同的基准物体从辨别候选的对象中去除。因此,能够使在类似的辨别候选之间不同的图像特征要素更加明确,即使产生物体的污渍、噪声、遮挡也能够可靠地进行辨别。
图7是表示在步骤S10~S40中进行的辨别候选的反复选择处理的例子的说明图。如图7所示,各辨别候选32(1)~32(3)、以及由图像取得部12拍摄对象物而得的图像31(输入图像31),受到物体的污渍ST、噪声、遮挡310所致的影响。因此,类似度也受到污渍ST、噪声、遮挡310的影响。
因此,根据设为辨别候选的基准物体(基准物体的图像)的组合,由于污渍、遮挡等的影响,而使错误的辨别候选的加权类似度为最高,有可能输出错误的辨别结果。
与此相对,在本实施例的物体辨别装置1中,由于去除明显不同的辨别候选且对加权类似度进行再计算,因此能够再次重新发现对于未被去除而剩余的辨别候选的辨别有用的图像特征要素。
例如,如图7的(2)所示,在识别第2轮中,通过去除作为辨别候选的基准物体的图像32(3),从而使在作为剩余的辨别候选的图像32(1)与图像32(2)之间,不同的区域更加明确。因此,加权类似度变得难以受到物体的污渍、噪声、遮挡的影响。作为难以被污渍、遮挡等产生的影响左右的作用,辨别候选的基准物体的图像的数量越多则该作用变得更加显著。
更详细地对图7进行说明。图7的输入图像31例如具有3个突起、及切口部CT。在输入图像31也包含油、尘埃等的污渍ST。并且,输入图像31的一部分被其他的物体隐藏(遮挡310)。
设最初选择的辨别候选的组32G中包含3个基准物体的图像32(1)~32(3)。基准物体图像32(1)、32(3)具有切口部CT。基准物体图像32(2)包含污渍ST。
在图7的(1)所示的识别第1轮中,对于与其他的图像最不相同的特征要素321,判定与输入图像31的类似度。图像32(1)的特征要素321(1),由于遮挡310的缘故在输入图像31中不能被发现。因此,判定为该特征要素321(1)与输入图像31不相似。在图7中,将判定为与输入图像相似的特征要素与圆圈标记建立对应,将判定为不相似的特征要素与叉标记建立对应。
图像32(2)具有2个特征要素321(2a)、321(2b)。特征要素321(2a)是在图7的上侧延伸的突起。该特征要素321(2a)由于在输入图像31中不存在,因此判定为与输入图像31不相似。特征要素321(2b)是污渍ST。由于输入图像31也在相同的位置具有污渍ST,因此判定为特征要素321(2b)与输入图像31相似。
图像32(3)的不具备突起的圆滑的曲线部分作为特征要素321(3a)、321(3b)抽出。这是因为其他的图像32(1)、32(2)均具有突起。然而,由于输入图像31具有2个突起,因此判定为特征要素321(3a)、321(3b)与输入图像31不相似。
识别第1轮的结果,在图像32(1)中,判定为一个特征要素321(1)不相似。在图像32(2)中,判定为一个特征要素321(2a)不相似,但其他的一个特征要素321(2b)相似。在图像32(3)中,判定为2个特征要素321(3a)、321(3b)双方均不相似。其结果,作为最不相似的图像32(3)被从辨别候选的组32G中去除。
在辨别第2轮中,通过对剩余的图像32(1)与图像32(2)进行对比,从而将两者的最不相同的点作为特征要素322抽出。
图像32(1)具有圆滑的曲线部分的特征要素322(1a)、切口部的特征要素322(1b)、以及突起的特征要素322(1c)。关于这些3个特征要素322中的、特征要素322(1a)、322(1b),由于输入图像31也具备,因此判定为均相似。对于特征要素322(1c)而言,由于输入图像31不具备,因此判定为不相似。
图像32(2)具有突起的特征要素322(2a)、受到污染的突起的特征要素322(2b)、圆滑的曲线部分的特征要素322(2c)、322(2d)。对于这4个特征要素322中的特征要素322(2a)、322(2c)、322(2d)而言,由于输入图像31不具备,因此判定为不相似。对于特征要素322(2b)而言,由于输入图像31也具备,因此判定为相似。
识别第2轮的结果,图像32(2)的类似度低于图像32(1)的类似度,因此被从辨别候选的组32G中去除。
在识别第3轮中,由于在辨别候选的组32G中仅包含一个图像32(1),因此该最后剩余的图像32(1)作为与输入图像31最相似的图像,即作为最终辨别结果而输出。
返回图5。通过步骤S10~S40的处理,对辨别候选进行反复选择的结果,在剩余的辨别候选的数量为一个时(S40:是),物体辨别装置1将剩余的辨别候选作为辨别结果,从辨别结果输出部13输出(S50)。能够将该辨别结果的输出显示于显示器,或给予图外的机器人或者对机械进行操作的控制器。
根据这样构成的本实施例,通过阶段性的筛选、更新辨别候选的组32G中包含的基准物体,能够与更新前相比更强调该组中剩余的基准物体间的差异。因此,物体辨别装置即使在处理相似的形状、色彩的物体的工业(制造业、运输业等)中,也能够准确地识别物体。
【实施例2】
使用图7以及图8对第2实施例进行说明。包含本实施例的以下的各实施例相当于第1实施例的变形例,故以与第1实施例的差异为中心进行叙述。
本实施例在上述的步骤S10以及步骤S20中,使用特征点以及特征量,计算权重与加权类似度。
图8是表示使用特征点以及特征量计算权重的处理例的流程图。
在步骤S111中,从输入图像31中抽出特征点作为图像特征要素。作为特征点的抽出方法,例如使用在非专利文献3中详述的FAST那样的检测拍摄图像中的角部的方法来抽出特征点即可。
在与抽出特征点同时,也可以取得在该特征点的特征量。例如,也可以通过非专利文献4记载的SIFT那样的记叙特征点周围的亮度梯度等的信息来求出特征量。
图9是表示基于权重计算部1131的特征点抽出例的说明图。通过图像取得部12,从输入图像31中例如将具有角部、边缘等的特征的局部区域抽出作为特征点320,得到其坐标位置(x,y)。在图9中,对特征点给予附图标记320。在图9中,在表示特征点的黑色圆圈标记的一部分示出附图标记320。在特征点的抽出失败的位置附加白色圆圈标记,并给予附图标记320F。
也可以与特征点320的抽出同时取得特征量,并获得该坐标位置(x,y)中的特征量(x,y)。如图9那样,特征点320能够从一个物体取得多个。如图9所示,在由图像取得部12取得的图像中,由于受到光源的影响、其他的物体的遮挡等的影响,因此抽出的特征点不总是相同。
返回图8。在步骤S112中,权重计算部1131从辨别候选中选择一个候选,并从数据保持部111中取得与其对应的种类、姿态、模板图像、特征点、特征量等的数据。
在步骤S113中,权重计算部1131使用在步骤S111选择的特征点抽出方法以及特征量记叙方法,根据选择的辨别候选来计算特征点以及特征量。或者,预先将根据辨别候选所求出的特征点以及特征量保持于数据保持部111,在步骤S113中,也可以从数据保持部111中取得与选择的辨别候选对应的特征点以及特征量。
在步骤S114中,权重计算部1131对于在步骤S111中抽出的图像的各特征点ti实施以下的处理S115、S116。
在步骤S115中,权重计算部1131根据选择的特征点ti、以及在步骤S113中取得的候选m的各特征点mj(j=1,…,Nm),求出特征点之差d(m,i,j)。Nm表示从候选m取得的特征点的个数。例如,作为差d(m,i,j),既可以使用特征点ti的坐标(xi,yi)与特征点mj的坐标(xj,yj)的欧几里得距离,也可以使用特征点ti的特征量F(xi,yi)与特征点mj的特征量F(xj,yj)的误差的绝对值,或还可以使用它们的组合。
接着,权重计算部1131将求出的特征点之差d(m,i,j)与预先设定的阈值ε进行比较,调查d(m,i,j)(j=1,…,Nm)中的至少一个是否在阈值内(S115)。在阈值内的情况下(S115:是),权重计算部1131对表示具有与特征点ti类似的特征点的候选的数量的n(i)加1(S116)。
若对于全部辨别候选,步骤S112~S116的处理结束,则权重计算部1131计算权重(S117)。权重Wi按每个特征点ti求出。
在图5的步骤S20中,本实施例的物体辨别装置1计算各辨别候选的加权类似度S(t,m)。加权类似度也同样使用特征点来计算。
这样构成的本实施例也起到与第1实施例相同的作用效果。进而,在本实施例中,权重计算以及加权类似度计算的对象为捕捉到各物体的特征性的位置的特征点,因此与第1实施例相比,更容易捕捉有助于与类似物的识别的区域。
【实施例3】
使用图10对第3实施例进行说明。在本实施例中,减少步骤S10以及步骤S20的计算中所使用的图像特征要素的数量。
在步骤S105中,权重计算部1131计算与输入图像31的各图像特征要素ti对应的权重Wi。权重计算部1131根据权重Wi判断是否去除该图像特征要素ti。权重计算部1131例如去除表示具有类似的特征的候选的数量的n(i)为0的图像特征要素ti(S106)。
接着,权重计算部1131在步骤S20中的加权类似度计算中,使用仅由在输入图像中未被去除而剩余的图像特征要素构成的图像特征图案与在步骤S105中计算出的权重、以及各辨别候选的图像特征图案,计算加权类似度。
通过步骤S40的分支处理,在再次进行步骤S10中的权重的计算时,权重计算部1131仅利用在步骤S105中未被去除而剩余的图像特征要素,进行权重的计算与图像特征要素的去除。
这样构成的本实施例也起到与第1实施例相同的作用效果。并且,在本实施例中,对权重计算与加权类似度计算不产生影响,或由于能够省略少量的图像特征要素的计算(S106),因此能够实现处理的高速化。
另外,本发明不限于上述实施例,包含各种变形例。例如,上述实施例为了容易理解地说明本发明而详细进行了说明,不限于一定具备所说明的全部的构成。此外,能够将某实施例的构成的一部分置换为其他的实施例的构成,此外,也能够对某实施例的构成加入其他的实施例的构成。此外,对于各实施例的构成的一部分,能够进行其他的构成的追加、削除、置换。
此外,上述的各构成、功能、处理部、处理机构等可以通过例如在集成电路进行设计等由硬件实现其一部分或者全部。此外,上述的各构成、功能等也可以通过处理器编译、执行实现各个功能的程序,从而由软件实现。
实现各功能的程序、表格、文件等的信息能够放置在存储器、硬盘、SSD(SolidState Drive)等的记录装置,或者IC卡、SD卡、DVD等的记录介质中。
此外,关于控制线、信息线,示出了认为在说明上必要的部分,不限于示出安装上所需的全部的控制线、信息线。实际上,可认为几乎全部的构成相互连接。
本发明的各构成要素能够任意取舍选择,具备取舍选择的构成的发明也包含于本发明中。并且权利要求书所记载的构成也能够由权利要求书明示的组合以外的构成组合。
Claims (10)
1.一种物体辨别装置,为辨别物体的装置,其具备:
图像取得部,取得作为被输入的物体的输入物体的图像;
辨别候选选择部,通过选择作为所述取得的输入物体的图像的辨别候选的多个基准物体,从而生成辨别候选的组;
类似度计算部,对于所述辨别候选的组中所包含的各基准物体,计算与所述输入物体的图像的类似度;以及
识别部,基于由所述类似度计算部计算的类似度,从所述辨别候选的组中所包含的所述基准物体之中去除规定的类似度的基准物体,直至所述辨别候选的组中包含的所述基准物体的数量成为规定量为止,
在通过所述识别部去除了所述规定的类似度的基准物体的情况下,所述辨别候选选择部更新所述辨别候选的组,
在所述辨别候选的组被更新的情况下,所述类似度计算部对于所述更新后的辨别候选的组中所包含的所述各基准物体,再计算与所述输入物体的图像的类似度。
2.如权利要求1所述的物体辨别装置,还具备:
辨别结果输出部,将所述规定量的基准物体作为辨别结果输出。
3.如权利要求2所述的物体辨别装置,其中,
所述规定量为1。
4.如权利要求1所述的物体辨别装置,其中,
所述规定的类似度的基准物体是所述辨别候选的组中所包含的所述基准物体中、所述类似度最低的基准物体。
5.如权利要求1所述的物体辨别装置,还具备:
数据保持部,存储与拍摄所述基准物体而得的基准物体图像相关的数据。
6.如权利要求5所述的物体辨别装置,其中,
所述数据保持部将表示所述基准物体图像具有的局部特征的图像特征要素的组即基准物体图像特征图案,作为与所述基准物体图像相关的数据保持,
所述类似度计算部基于表示所述输入物体的图像具有的局部特征的图像特征要素的组即输入物体图像特征图案、与所述基准物体图像特征图案,计算所述类似度。
7.如权利要求6所述的物体辨别装置,其中,
所述类似度计算部基于所述基准物体图像特征图案,对于所述输入物体图像特征图案内的各个所述图像特征要素计算权重,
所述类似度计算部基于所述计算出的权重、所述输入物体图像特征图案、所述基准物体图像特征图案,计算所述类似度。
8.如权利要求7所述的物体辨别装置,其中,
所述类似度计算部,
计算特征点以及特征量作为所述图像特征要素,
基于所述基准物体的特征点以及特征量,对于从所述输入物体图像得到的所述特征点和所述特征量的至少某一个计算所述权重,
基于所述计算出的权重、所述输入物体的图像具有的所述特征点和所述特征量中的某一个、所述基准物体具有的所述特征点和所述特征量中的某一个,计算所述类似度。
9.如权利要求7所述的物体辨别装置,其中,
所述类似度计算部,
基于所述基准物体图像特征图案,对于所述输入物体图像特征图案内的各个所述图像特征要素,计算权重,
基于所述计算出的权重,去除所述输入物体图像特征图案内的规定的所述图像特征要素,
基于未被去除而剩余的所述输入物体图像特征图案内的所述图像特征要素、所述权重、所述基准物体图像特征图案,计算所述类似度。
10.一种物体辨别方法,为使用计算机辨别物体的方法,
所述计算机执行:
图像取得步骤,取得由照相机拍摄到的物体的图像;
辨别候选选择步骤,通过选择作为所述取得的物体的图像的辨别候选的多个基准物体,从而生成辨别候选的组;
类似度计算步骤,对于所述辨别候选的组中所包含的各基准物体,计算与所述输入物体的图像的类似度;以及
辨别步骤,基于所述计算出的类似度,从所述辨别候选的组中所包含的所述基准物体之中去除规定的类似度的基准物体,直至所述辨别候选的组中所包含的所述基准物体的数量成为规定量为止,
在所述辨别候选选择步骤中,在每次所述规定的类似度的基准物体通过所述辨别步骤被去除时更新所述辨别候选的组,
在所述类似度计算步骤中,在所述辨别候选的组每次被更新时,对于所述更新后的辨别候选的组中所包含的所述各基准物体,再计算与所述输入物体的图像的类似度。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018085209A JP7207862B2 (ja) | 2018-04-26 | 2018-04-26 | 物体認識装置および方法 |
JP2018-085209 | 2018-04-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110414304A true CN110414304A (zh) | 2019-11-05 |
CN110414304B CN110414304B (zh) | 2023-10-27 |
Family
ID=68205697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910255723.9A Active CN110414304B (zh) | 2018-04-26 | 2019-04-01 | 物体辨别装置及方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7207862B2 (zh) |
CN (1) | CN110414304B (zh) |
DE (1) | DE102019205039A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02309458A (ja) * | 1989-05-24 | 1990-12-25 | Toshiba Corp | パターン認識装置 |
CN1573798A (zh) * | 2003-05-20 | 2005-02-02 | 发那科株式会社 | 图像处理装置 |
JP2008217348A (ja) * | 2007-03-02 | 2008-09-18 | Canon Inc | 文字認識装置、文字認識方法、コンピュータプログラム |
CN101536035A (zh) * | 2006-08-31 | 2009-09-16 | 公立大学法人大阪府立大学 | 图像识别方法、图像识别装置以及图像识别程序 |
JP2010500688A (ja) * | 2006-08-14 | 2010-01-07 | マイクロソフト コーポレーション | 画像内のオブジェクトの自動分類 |
JP2013218604A (ja) * | 2012-04-11 | 2013-10-24 | Canon Inc | 画像認識装置、画像認識方法及びプログラム |
CN103620645A (zh) * | 2011-06-17 | 2014-03-05 | 丰田自动车株式会社 | 物体识别装置 |
CN106062820A (zh) * | 2014-03-14 | 2016-10-26 | 欧姆龙株式会社 | 图像识别装置、图像传感器、图像识别方法 |
JP2017028407A (ja) * | 2015-07-17 | 2017-02-02 | 富士通株式会社 | 撮影指示プログラム、撮影指示装置、および撮影指示方法 |
-
2018
- 2018-04-26 JP JP2018085209A patent/JP7207862B2/ja active Active
-
2019
- 2019-04-01 CN CN201910255723.9A patent/CN110414304B/zh active Active
- 2019-04-09 DE DE102019205039.5A patent/DE102019205039A1/de not_active Withdrawn
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02309458A (ja) * | 1989-05-24 | 1990-12-25 | Toshiba Corp | パターン認識装置 |
CN1573798A (zh) * | 2003-05-20 | 2005-02-02 | 发那科株式会社 | 图像处理装置 |
JP2010500688A (ja) * | 2006-08-14 | 2010-01-07 | マイクロソフト コーポレーション | 画像内のオブジェクトの自動分類 |
CN101536035A (zh) * | 2006-08-31 | 2009-09-16 | 公立大学法人大阪府立大学 | 图像识别方法、图像识别装置以及图像识别程序 |
JP2008217348A (ja) * | 2007-03-02 | 2008-09-18 | Canon Inc | 文字認識装置、文字認識方法、コンピュータプログラム |
CN103620645A (zh) * | 2011-06-17 | 2014-03-05 | 丰田自动车株式会社 | 物体识别装置 |
JP2013218604A (ja) * | 2012-04-11 | 2013-10-24 | Canon Inc | 画像認識装置、画像認識方法及びプログラム |
CN106062820A (zh) * | 2014-03-14 | 2016-10-26 | 欧姆龙株式会社 | 图像识别装置、图像传感器、图像识别方法 |
JP2017028407A (ja) * | 2015-07-17 | 2017-02-02 | 富士通株式会社 | 撮影指示プログラム、撮影指示装置、および撮影指示方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110414304B (zh) | 2023-10-27 |
JP2019192005A (ja) | 2019-10-31 |
DE102019205039A1 (de) | 2019-10-31 |
JP7207862B2 (ja) | 2023-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gupta et al. | Aligning 3D models to RGB-D images of cluttered scenes | |
TWI619530B (zh) | 針對牌堆的牌堆庫和主圖像的自動生成方法以及相關的牌處理裝置 | |
JP6732214B2 (ja) | 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム | |
US11232589B2 (en) | Object recognition device and object recognition method | |
US9805443B2 (en) | Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly | |
CN107424160A (zh) | 通过视觉系统查找图像中线的系统和方法 | |
CN109426835A (zh) | 信息处理装置、信息处理装置的控制方法和存储介质 | |
JP5956814B2 (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
CN105849774B (zh) | 图像对照装置、图像传感器、处理系统、图像对照方法 | |
EP3109826A2 (en) | Using 3d vision for automated industrial inspection | |
JP6648925B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 | |
KR102073468B1 (ko) | 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 | |
CN105426901B (zh) | 用于对摄像头视野中的已知物体进行分类的方法 | |
WO2015115274A1 (ja) | 物体判別装置、画像センサ、物体判別方法 | |
CN105678737B (zh) | 一种基于Radon变换的数字图像角点检测方法 | |
Wang et al. | Edge extraction by merging 3D point cloud and 2D image data | |
US20160379351A1 (en) | Using 3d vision for automated industrial inspection | |
US20080063272A1 (en) | Character extracting apparatus, method, and program | |
CN106062819B (zh) | 图像处理装置、图像传感器、图像处理方法 | |
WO2009085173A1 (en) | System and method for performing multi-image training for pattern recognition and registration | |
JP2020067308A (ja) | 画像処理方法および画像処理装置 | |
US11189053B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
CN113688846B (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别系统 | |
CN110414304A (zh) | 物体辨别装置及方法 | |
JP7060686B2 (ja) | 画像処理およびオブジェクトの視点決定の方法ならびにシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |