CN107437060B - 对象识别设备、对象识别方法和程序 - Google Patents

对象识别设备、对象识别方法和程序 Download PDF

Info

Publication number
CN107437060B
CN107437060B CN201710367722.4A CN201710367722A CN107437060B CN 107437060 B CN107437060 B CN 107437060B CN 201710367722 A CN201710367722 A CN 201710367722A CN 107437060 B CN107437060 B CN 107437060B
Authority
CN
China
Prior art keywords
candidate
information
image information
detector
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710367722.4A
Other languages
English (en)
Other versions
CN107437060A (zh
Inventor
小堀训成
桥本国松
山内实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN107437060A publication Critical patent/CN107437060A/zh
Application granted granted Critical
Publication of CN107437060B publication Critical patent/CN107437060B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开内容涉及对象识别设备、对象识别方法和程序。对象识别设备包括：图像信息获取装置，用于获取待识别对象的图像信息；存储装置，用于存储将对象候选与能够检测所述对象候选的检测器相关联的检测简档信息以及与所述对象候选相关联的所述对象候选的模型图像信息；以及对象检测装置，其包括在检测简档信息中定义的检测器，该对象检测装置通过使用检测器根据由图像信息获取装置获取的图像信息来检测待识别对象。对象检测装置的检测器通过将检测简档信息中的与该检测器相关联的对象候选的模型图像信息与由图像信息获取装置获取的待识别对象的图像信息进行比较来检测对象候选，并且输出所检测到的对象候选作为待识别对象。

Description

对象识别设备、对象识别方法和程序
技术领域
本公开内容涉及对象识别设备、对象识别方法和用于识别对象的程序。
背景技术
已知基于从对象的拍摄图像提取的轮廓信息来检测对象的位置和姿势(下文称为“位置/姿势”)的设备(参见日本未审查专利申请公开第2008-015895号)。
发明内容
本发明人已发现以下问题。应当注意，对于诸如上述检测器的检测器而言，存在检测器善于检测的对象和检测器不善于检测的对象(例如，具有独特轮廓的对象、具有小厚度的对象等)。因此，取决于所使用的检测器，存在对象不能被检测到即未被检测到的可能性。
本公开内容是为了解决上述问题而做出的，并且本公开内容的主要目的是提供能够防止对象未被检测到并且从而提高识别精度的对象识别设备、对象识别方法和程序。
为了达到上述目的，第一示例性方法是一种对象识别设备，该对象识别设备包括：图像信息获取装置，用于获取待识别对象的图像信息；存储装置，用于存储将对象候选与能够检测所述对象候选的检测器相关联的检测简档信息以及与所述对象候选相关联的所述对象候选的模型图像信息，对象候选是针对待识别对象的候选；以及对象检测装置，该对象检测装置包括在检测简档信息中定义的多个检测器，对象检测装置被配置成通过使用检测器基于由图像信息获取装置获取的图像信息来检测待识别对象，其中，对象检测装置的每个检测器通过将检测简档信息中的与该检测器相关联的对象候选的模型图像信息与由图像信息获取装置获取的待识别对象的图像信息进行比较来检测对象候选，并且输出所检测到的对象候选作为待识别对象。
在该方面，存储装置可以存储将对象候选与能够确定对象候选的确定单元相关联的确定简档信息。对象识别设备还可以包括对象确定装置，该对象确定装置包括在确定简档信息中定义的多个确定单元，对象确定装置被配置成通过使用确定单元基于由图像信息获取装置获取的图像信息来确定从对象检测装置输出的对象候选。对象确定装置可以：基于存储在存储装置中的确定简档信息来选择与由对象检测装置检测到的对象候选对应的确定单元；通过将由图像信息获取装置获取的待识别对象的图像信息的颜色信息和距离信息中至少之一与从对象检测装置输出的对象候选的模型图像信息的颜色信息和距离信息中至少之一进行比较来确定对象候选是否具有等于或大于预定值的可靠性；以及输出被确定为具有等于或大于预定值的可靠性的对象候选作为待识别对象。
在该方面，对象检测装置可以基于由图像信息获取装置获取的待识别对象的图像信息的特征值和所检测到的对象候选的模型图像信息的特征值来检测对象候选的位置/姿势候选。
在该方面，对象识别设备还可以包括聚类处理装置，该聚类处理装置用于将由对象检测装置检测到的对象候选和位置/姿势候选中的类似候选统一为同一候选。
在该方面，对象识别设备还可以包括跟踪处理装置，该跟踪处理装置用于执行跟踪处理并且输出经跟踪处理的对象候选及其位置/姿势候选，跟踪处理是用于以下的处理：获得由对象检测装置检测到的对象候选和位置/姿势候选的模型图像的模型与图像信息的待识别对象之间的几何量，并且从由对象检测装置检测到的对象候选和位置/姿势候选中去除所获得的几何量等于或大于预定量的对象候选和位置/姿势候选。
在该方面，存储装置可以存储在模型图像中的模型上的从包围该模型的三维体素的每个网格到该模型的最近相邻点的信息，以及跟踪处理装置可以通过使用存储在存储装置中的最近相邻点的信息来执行跟踪处理。
在该方面，对象识别设备还可以包括简档信息生成装置，该简档信息生成装置用于生成检测简档信息和确定简档信息中至少之一，检测简档信息基于指示对象候选的特征、包括对象候选的颜色信息、形状信息、记载性信息和物理特性信息中至少之一的特征信息将对象候选与至少一个检测器相关联，对象候选是针对待识别对象的候选，确定简档信息基于指示对象候选的特征、包括对象候选的颜色信息和记载性信息中至少之一的特征信息将对象候选与至少一个确定单元相关联。
为了达到上述目的，另一示例性方面可以是对象识别方法，该对象识别方法包括：获取待识别对象的图像信息的步骤；以及通过使用检测器基于所获取的图像信息来检测待识别对象的步骤，所述检测器被定义在将对象候选与能够检测该对象候选的检测器相关联的检测简档信息中，对象候选是针对待识别对象的候选，其中，每个检测器通过将检测简档信息中的与该检测器相关联的对象候选的模型图像信息与所获取的待识别对象的图像信息进行比较来检测对象候选，并且输出所检测到的对象候选作为待识别对象。
为了达到上述目的，另一示例性方面可以是使计算机执行以下处理的程序：获取待识别对象的图像信息的处理；以及通过使用检测器基于所获取的图像信息来检测待识别对象的处理，所述检测器被定义在将对象候选与能够检测该对象候选的检测器相关联的检测简档信息中，对象候选是针对待识别对象的候选，其中，每个检测器通过将检测简档信息中的与该检测器相关联的对象候选的模型图像信息与所获取的待识别对象的图像信息进行比较来检测对象候选，并且输出所检测到的对象候选作为待识别对象。
根据本公开内容，可以提供能够防止对象未被检测到从而提高识别精度的对象识别设备、对象识别方法和程序。
根据下文给出的详细描述和附图，将会更加充分地理解本发明的以上和其他目的、特征和优点，这些详细描述和附图仅作为示例给出，并因此不应视为限制本发明。
附图说明
图1是示出根据本公开内容的第一实施方式的对象识别设备的示意性系统配置的框图；
图2示出了用于将对象候选与检测器相关联的处理流程的示例；
图3示出了将对象候选与检测器相关联的检测简档(profile)信息的示例；
图4是示出根据本公开内容的第二实施方式的对象识别设备的示意性系统配置的框图；
图5是用于说明聚类处理的图；
图6是示出根据本公开内容的第三实施方式的对象识别设备的示意性系统配置的框图；
图7是用于说明由CLBP确定单元执行的确定方法的图；
图8示出了将对象候选与确定单元相关联的确定简档信息的示例；
图9示出了用于将对象候选与确定单元相关联的处理流程的示例；
图10是示出根据本公开内容的第四实施方式的对象识别设备的示意性系统配置的框图；
图11是用于说明点云的关联的图；
图12示出了用于获得对象位置/姿势候选的模型与待识别对象之间的几何量的技术的示例；
图13示出了三维体素的网格的示例；以及
图14示出了其中结合了第一实施方式至第四实施方式的配置的示例。
具体实施方式
第一实施方式
下文参照附图说明根据本公开内容的各实施方式。图1是示出根据本公开内容的第一实施方式的对象识别设备的示意性系统配置的框图。根据第一实施方式的对象识别设备1是检测具有任意三维(下文称为“3D”)形状的待识别对象(即，待识别目标对象)及其位置和姿势(即，其位置/姿势)的设备。
例如，对象识别设备1可以由主要使用微型计算器的硬件来形成，所述微型计算器包括：执行算术处理等的CPU(中央处理单元)；存储要由CPU执行的算术程序等的存储器，包括ROM(只读存储器)和/或RAM(随机存取存储器)；以及外部地接收以及输出信号的接口单元(I/F)。CPU、存储器和接口单元通过数据总线等彼此连接。
对象识别设备1包括图像信息获取单元2、简档信息生成单元3、存储单元4和对象检测单元5。
图像信息获取单元2是图像信息获取装置的具体示例。图像信息获取单元2通过使用诸如摄像装置的传感器和测距传感器(例如测距成像传感器、毫米波传感器和超声波传感器)来获取对象的图像信息(包括RGB亮度信息(颜色信息)和距离信息)。
简档信息生成单元3是简档信息生成装置的具体示例。简档信息生成单元3生成将作为待识别对象的候选的对象候选与可以检测所述对象候选并且最适宜于检测所述对象候选的检测器相关联的检测简档信息。在检测简档信息中，每个对象候选与具有不同特性的检测器中的至少一个检测器相关联。简档信息生成单元3从多个预定义的检测器中选择用于检测对象候选的最佳检测器并且将该对象候选与所选择的检测器相关联。
注意，所述多个检测器包括例如LineMode检测器51、PnP检测器52、SHOT检测器53和Bayse检测器54。
LineMode检测器51是通过使用多种类型的离散特征值设计针对模板的存储器布置来执行并行计算从而以高速检测对象的检测器。例如，LineMode检测器51最适宜于检测具有特定尺寸或更大尺寸并且具有特征轮廓形状或具有诸如长方体、立方体、圆柱体、锥体或碗形形状的三维形状的对象，例如诸如电话座的对象。例如在S.Hinterstoisser，C.Cagniart，S.Iiic，P.Sturm，N.Navab，P.Fua，V.Lepetit等人的Gradient Response Mapsfor Real-Time Detection of Texture-Less Objects，IEEE Transactions on PatternAnalysis and Machine Intelligence(TPAMI)中公开了LineMode检测器的详细算法，并且其公开内容通过引用并入本说明书。
PnP检测器52是使用SIFT(尺度不变特征变换(Scale-Invariant FeatureTransform))或A-KAZE(加速KAZE)特征值的检测器。例如，PnP检测器52最适宜于检测具有特定尺寸或更大尺寸并且具有纹理的对象，例如糖果盒。
例如，在David G.Lowe的“Distinctive image features from scale-invariantkeypoints，”International Journal of Computer Vision，60，2(2004)，第91页至第110页中详细公开了SIFT，并且其公开内容通过引用并入本说明书。
例如，Pablo F.Alcantarilla，Jesus Nuevo和Adrien Bartoli的Fast ExplicitDiffusion for Accelerrated Features in Nonlinear Scale Spaces，British MachineVision Conference(BMVC)，布里斯托尔，英国，2013年9月中详细公开了A-KAZE，并且其公开内容通过引用并入本说明书。
SHOT检测器53是使用SHOT(方向直方图的签名(Signature of Histograms ofOrienTations))特征值的检测器。例如，SHOT检测器53最适宜于检测具有曲率变化的对象或检测轴对称对象例如碗。
例如，在Tombari等人的Unique signatures of histograms for local surfacedescription.ECCV 2010中详细公开了SHOT，并且其公开内容通过引用并入本说明书。
Bayse检测器54是基于在Bayesian网络中学习了局部块的网络进行检测的检测器。例如，Bayse检测器54最适宜于检测黑色或透明对象例如远程控制器或非刚性对象。
注意，上述检测器51至54仅是示例并且检测器不限于上述检测器。简档信息生成单元3可以选择其他类型的检测器例如HOG(方向梯度直方图(Histograms of OrientedGradients))检测器或SURF(加速鲁棒特征(Speeded Up Robust Features))检测器。也就是说，可以任意确定要被选择的检测器的数量和类型。
简档信息生成单元3基于指示对象候选的特征、包括对象候选的颜色信息、形状信息、记载性信息和物理特性信息中至少之一的特征信息来将对象候选与最适宜于检测该对象候选的检测器相关联。
例如，简档信息生成单元3根据例如图2所示的流程图来选择多个预定义的检测器51至54中的最适宜于检测该对象候选的检测器并且将该对象候选与检测器51至54中的所选择的检测器相关联。
简档信息生成单元3基于由图像信息获取单元2获取的对象候选的图像信息和在存储单元4中预先定义的物理特性信息来确定对象候选是否是刚性的(步骤S101)。物理特性信息包括例如将对象与其物理特性(例如，刚性对象和柔性对象)相关联的信息并且物理特性信息被预先定义在存储单元4中。
当简档信息生成单元3确定对象候选不是刚性时(步骤S101处的否)，简档信息生成单元3选择Bayse检测器54(步骤S102)。另一方面，当简档信息生成单元3确定对象候选是刚性时(步骤S101处的是)，简档信息生成单元3确定对象候选是否是黑色或透明的(步骤S103)。
当简档信息生成单元3确定对象候选是黑色或透明的时(步骤S103处的是)，简档信息生成单元3选择Bayse检测器54(步骤S102)。另一方面，当简档信息生成单元3确定对象候选既不是黑色的也不是透明的时(步骤S103处的否)，简档信息生成单元3确定在对象候选的表面上是否存在记载性信息(包括纹理、符号、图形、象形文字等)(步骤S104)。
当简档信息生成单元3确定在对象候选的表面上不存在记载性信息时(步骤S104处的否)，简档信息生成单元3移动到后面描述的步骤(移动到步骤S108)。另一方面，当简档信息生成单元3确定在对象候选的表面上存在记载性信息时(步骤S104处的是)，简档信息生成单元3确定记载性信息的尺寸(例如字符尺寸、宽度或面积(即，面积的尺寸))是否等于或大于预定值A(步骤S105)。
当简档信息生成单元3确定对象候选的记载性信息的尺寸小于预定值A时(步骤S105中的否)，简档信息生成单元3移动到随后的步骤(移动到步骤S108)。另一方面，当简档信息生成单元3确定对象候选的记载性信息的尺寸等于或大于预定值A时(步骤S105处的是)，简档信息生成单元3确定记载性信息是否是不对称的或非周期性的(步骤S106)。
当简档信息生成单元3确定对象候选的记载性信息既不是不对称的也不是非周期性的时(步骤S106中的否)，简档信息生成单元3移动到随后的步骤(移动到步骤S108)。另一方面，当简档信息生成单元3确定对象候选的记载性信息是不对称的或非周期性的时(步骤S106处的是)，简档信息生成单元3选择PnP检测器52(步骤S107)。
简档信息生成单元3确定对象候选的尺寸(例如，体积、高度、宽度或纵向/横向长度)是否等于或大于预定值B(步骤S108)。当简档信息生成单元3确定对象候选的尺寸等于或大于预定值B时(步骤S108处的是)，简档信息生成单元3确定对象候选是否具有与长方体、立方体、圆柱体、锥体或碗形类似的3D形状(步骤S109)。当简档信息生成单元3确定对象候选具有与长方体、立方体、圆柱体、锥体或碗形形状类似的3D形状时(步骤S109处的是)，简档信息生成单元3选择LineMode检测器51(步骤S110)。另一方面，当简档信息生成单元3确定对象候选不具有与长方体、立方体、圆柱体、锥体或碗形类似的3D形状时(步骤S109处的否)，简档信息生成单元3移动到后面描述的步骤(移动到步骤S111)。
当简档信息生成单元3确定对象候选的尺寸小于预定值B时(步骤S108处的否)，简档信息生成单元3确定对象候选的3D形状是否是轴对称的(步骤S111)。
当简档信息生成单元3确定对象候选的3D形状不是轴对称的时(步骤S111处的否)，简档信息生成单元3选择LineMode检测器51(步骤S110)。另一方面，当简档信息生成单元3确定对象候选的3D形状是轴对称时(步骤S111处的是)，简档信息生成单元3确定对象候选的3D形状是否具有曲率变化并且曲率等于或大于预定值C(步骤S112)。
当简档信息生成单元3确定对象候选的3D形状不具有曲率变化或者曲率小于预定值C时(步骤S112处的否)，简档信息生成单元3选择LineMode检测器51(步骤S110)。另一方面，当简档信息生成单元3确定对象候选的3D形状具有曲率变化并且曲率等于或大于预定值C时(步骤S112处的是)，简档信息生成单元3选择SHOT检测器53(步骤S113)。以这种方式，通过简档信息生成单元3，可以基于指示对象候选的特征、包括对象候选的颜色信息、形状信息、记载性信息和物理特性信息中至少之一的特征信息来自动地生成将对象候选与检测器51至54中的最适宜于检测该对象候选的检测器相关联的检测简档信息。
简档信息生成单元3根据上述流程来生成将对象候选与检测器51至54中的所选择的检测器相关联的检测简档信息并且将所生成的检测简档信息存储到存储单元4中。注意，对象识别设备1不必必须包括简档信息生成单元3。在这样的情况下，将对象候选与检测器51至54中的最适宜于检测该对象候选的检测器相关联的检测简档信息可以被预先存储到存储单元4中。此外，用户可以根据上述流程图来针对每个对象候选选择检测器51至54中的一个检测器并且将所选择的检测简档信息存储到存储单元4中。存储在存储单元4中的检测简档信息可以被配置成使得例如用户可以任意地改变检测简档信息中的定义。
存储单元4是存储装置的具体示例。存储单元4存储由上述简档信息生成单元3生成的检测简档信息。此外，存储单元4存储例如指示对象候选的3D对象形状和位置/姿势候选的多个模型图像(对象的CAD数据等，包括其中表面被添加至点云数据的网格数据、颜色信息等)。存储单元4是由例如前述存储器形成的。
对象检测单元5是对象检测装置的具体示例。对象检测单元5通过使用检测器51至54根据由图像信息获取单元2获取的待识别对象的图像信息来检测待识别对象的对象候选和针对待识别对象的位置/姿势的候选(位置/姿势候选)。
对象检测单元5包括在存储单元4中存储的检测简档信息中定义的检测器(例如，LineMode检测器51、PnP检测器52、SHOT检测器53和Bayse检测器54)。对象检测单元5通过使用这些检测器51至54来检测对象候选及其位置/姿势候选。
应当注意，对于上述检测器51至54中的每个检测器而言，存在检测器善于检测的对象和检测器不善于检测的对象。例如，LineMode检测器51可以精确地检测具有特定尺寸或更大尺寸并且其轮廓形状独特的对象。然而，当由于传感器噪声等对象的轮廓形状的一部分不能够被获取时或者当对象具有较小厚度时，存在LineMode检测器51不能检测到对象的可能性。如上所述，取决于所使用的检测器，存在不能检测到对象的可能性。
为了解决该问题，在根据第一实施方式的对象识别设备1中，检测器51至54中的每个检测器通过将与检测简档信息中的检测器51至54中之一相关联的对象候选的模型图像信息与由图像信息获取单元2获取的待识别对象的图像信息进行比较来检测对象候选。对象检测单元5的检测器51至54中的每个检测器输出检测到的对象候选作为待识别对象。
以这种方式，将对象检测单元5的检测器51至54与最适宜于它们检测的对象候选的模型图像相关联。因此，检测器51至54中的每个检测器通过使用与检测器相关联并且最适宜于检测器检测的对象候选的模型图像来仅检测最适宜于检测器检测的对象候选。因此，可以解决因为存在检测器善于检测的对象和检测器不善于检测的对象而引起的上述问题，因此，可以防止待识别对象未被检测到，从而提高了识别精度。
例如，对象检测单元5的检测器51至54中的每个检测器(例如，LineMode检测器51、PnP检测器52、SHOT检测器53和Bayse检测器54)基于存储在存储单元4中的检测简档信息来从存储单元4获取与该检测器相关联的对象候选的模型图像。然后，检测器51至54中的每个检测器通过将由图像信息获取单元2获取的待识别对象的图像信息(下文中也称为“目标对象图像”)的特征值与从存储单元4获取的与检测器相关联的对象候选的模型图像的特征值进行比较来检测对象候选。
更具体地，检测器51至54中的每个检测器计算由图像信息获取单元2获取的目标对象图像的特征值与存储在存储单元4中的对象候选的模型图像的特征值之间的相关值，并且检测所计算的相关值等于或大于预定值的模型图像的对象候选作为待识别对象。在存储单元4中所存储的检测简档信息中，一个对象候选可以与检测器51至54中两个或更多个检测器相关联。在这样的情况下，检测器51至54中的这些两个或更多个检测器以重复方式检测到同一对象候选。
图3示出了将对象候选与检测器相关联的检测简档信息的示例。如图3所示，对象候选B(糖果盒)与LineMode检测器51和PnP检测器52相关联。因此，LineMode检测器51基于对象候选B的轮廓形状(例如尺寸)来检测对象B而PnP检测器52基于对象候选B的纹理也来检测对象候选B。因此，通过使用具有不同特性的LineMode检测器51和PnP检测器52以重复方式来检测单个对象候选B(即，同一对象候选B)，可以进一步防止对象候选未被检测到。
类似地，对象候选C(碗)与LineMode检测器51和SHOT检测器53相关联。因此，LineMode检测器51基于对象候选C的轮廓形状(例如尺寸)来检测对象候选C而SHOT检测器53基于对象候选C的局部3D形状的曲率变化也来检测对象候选C。因此，通过使用具有不同特性的LineMode检测器51和SHOT检测器53以重复形式来检测单个对象候选C，可以进一步防止对象候选未被检测到。
注意，对象候选A仅与LineMode检测器51相关联。这是因为对象候选A可以通过仅使用LineMode检测器51而被可靠地检测到。同时，对象候选D仅与Bayse检测器54相关联。这是因为由于对象候选D是黑色的，所以不能获取其距离信息。因此，LineMode检测器51不能检测对象候选D，因此对象候选D与LineMode检测器51不相关联。然而，Bayse检测器54可以独自基于对象候选D的RGB亮度信息来可靠地检测对象候选D。因此，对象候选D仅与Bayse检测器54相关联。
如上所述，可以通过根据指示对象候选的特征的特征信息将检测器51至54中的具有不同特性的两个或更多个检测器与单个对象候选相关联并且通过使用检测器51至54中的这些两个或更多个检测器检测对象候选来进一步防止对象候选未被检测到。
此外，对象检测单元5的检测器51至54中的每个检测器基于由图像信息获取单元2获取的目标对象图像的特征值和所检测到的对象候选的模型图像的特征值来检测对象候选的位置/姿势候选。
因此，对象检测单元5的检测器51至54中的每个检测器仅检测最适宜于其检测的对象候选并且还检测该最适宜对象候选的位置/姿势候选。因此，可以防止待识别对象的位置/姿势未被检测到，从而可以提高识别精度。
例如，对象检测单元5的检测器51至54中的每个检测器通过使用k-最近相邻方法来将目标对象图像的特征值与所检测到的对象候选的模型图像的特征值相关联，然后通过使用RANSAC(随机样本一致性(Random Sample Consensus))方法基于对象候选的几何结构来检测对象候选的位置/姿势候选。
注意，用于检测对象的上述方法和用于计算对象的位置/姿势的方法仅是示例并且这些方法不限于上述方法。
如上所说明的那样，对象检测单元5通过使用检测器51至54中的至少一个检测器来检测对象候选及其位置/姿势候选。对象识别设备1的对象检测单元5输出由检测器51至54中的每个检测器检测到的对象候选及其位置/姿势候选作为待识别对象及其位置/姿势。
注意，在上述第一实施方式中，对象检测单元5检测待识别对象的对象候选及其位置/姿势候选。然而，待检测对象不限于上述示例。即，对象检测单元5可以仅检测待识别对象的对象候选。
通过使用根据第一实施方式的对象识别设备1，与在相关领域的对象识别设备相比，召回率(recall)(即，对检出率和未检出率进行指示的指数)能够提高约18％。
第二实施方式
图4是示出根据本公开内容的第二实施方式的对象识别设备的示意性系统配置的框图。除了根据上述第一实施方式的对象识别设备1的部件/结构之外，根据第二实施方式的对象识别设备20还包括执行聚类处理的聚类处理单元6，在该聚类处理中，将由对象检测单元5检测到的对象候选和位置/姿势候选(下文也称为“对象位置/姿势候选”)中的类似候选统一为同一候选。因此，由于可以将由对象检测单元5检测到的对象位置/姿势候选的组中的类似候选统一为一个候选并且针对用户进行输出，因此提高了可用性。
聚类处理单元6是聚类处理装置的具体示例。例如，如图5所示，对象检测单元5通过使用例如多个所选择的检测器(例如，LineMode检测器51和PnP检测器52)来检测待识别对象的对象位置/姿势候选(1)至(3)。聚类处理单元6执行聚类处理，在该聚类处理中，将由对象检测单元5检测到的对象位置/姿势候选(1)至(3)中的类似候选统一为同一候选。具体地，聚类处理单元6通过使用MeanShfit(均值平移)方法等来执行聚类处理。如图5所示，在MeanShfit方法中，对象位置/姿势候选(1)和(2)之间的距离较短，因此对象位置/姿势候选(1)和(2)彼此类似。因此，将对象位置/姿势候选(1)和(2)统一成作为它们的平均的对象位置/姿势候选(4)。注意，由于不存在与对象位置/姿势候选(3)类似的候选，因此未将对象位置/姿势候选(3)与任何其他候选统一。
对象识别设备1输出由聚类处理单元6统一的对象位置/姿势候选作为待识别对象及其位置/姿势。注意，在第二实施方式中，与上述第一实施方式的附图标记相同的附图标记被分配给与第一实施方式中的部件相同的部件并且省略了它们的说明。
第三实施方式
图6是示出根据本公开内容的第三实施方式的对象识别设备的示意性系统配置的框图。除了根据上述第一实施方式的对象识别设备1的部件/结构之外，根据第三实施方式的对象识别设备30还包括对象确定单元7，该对象确定单元7基于颜色信息和距离信息中至少之一来确定由对象检测单元5检测到的对象位置/姿势候选。
为了降低对象检测单元5对对象位置/姿势候选的错误检测，在对象检测单元5检测对象位置/姿势候选之后，对象确定单元7还基于对象位置/姿势候选的颜色信息和距离信息中至少之一来确定对象位置/姿势候选(即，确定对象位置/姿势候选是否正确)。在该确定处理中，对象确定单元7通过逐像素比较模型图像和目标对象图像的颜色信息和距离信息来确定模型图像是否与目标对象图像匹配。
对象确定单元7是对象确定装置的具体示例。对象确定单元7通过将由图像信息获取单元2获取的目标对象图像的距离信息和颜色信息中至少之一与从对象检测单元5输出的对象位置/姿势候选的模型图像信息的颜色信息和距离信息中至少之一进行比较来做出确定。
例如，对象确定单元7执行渲染处理等，并由此比较上述目标对象图像和模型图像。在该渲染处理中，对象确定单元7基于由对象检测单元5检测到的对象位置/姿势候选来将模型图像中的3D对象(被预先登记为模型的3D对象)投射到目标对象图像上。
对象确定单元7针对每个对象位置/姿势候选来将其模型图像与目标对象图像进行比较。基于目标对象图像与模型图像之间的比较，对象确定单元7输出由对象检测单元5检测到的对象位置/姿势候选中的具有等于或大于预定值的可靠性的对象位置/姿势候选作为待识别对象及其位置/姿势。
例如，对象确定单元7将由图像信息获取单元2获取的目标对象图像的距离信息与由对象检测单元5检测到的对象位置/姿势候选的模型图像的距离信息进行比较。然后，当匹配度的差等于或大于确定阈值时，对象确定单元7确定其可靠性等于或大于预定值。
或者，例如，对象确定单元7将由图像信息获取单元2获取的目标对象图像的颜色信息(以下所示的信息项(A)至(D)中至少之一)与由对象检测单元5检测到的对象位置/姿势候选的模型图像的颜色信息进行比较。然后，当匹配度的差等于或大于确定阈值时，对象确定单元7确定对象位置/姿势候选具有等于或大于预定值的可靠性。注意，当上述不匹配度的差等于或小于确定阈值时，对象确定单元7可以确定对象位置/姿势候选具有等于或大于预定值的可靠性。
对象识别设备1输出已被对象确定单元7确定为具有等于或大于预定值的可靠性的对象位置/姿势候选作为待识别对象及其位置/姿势。注意，上述确定阈值被预先定义在存储单元4等中并且被配置成使得用户可以任意地改变该定义。
对象确定单元7包括具有在后面描述的确定简档信息中定义的不同特性的确定单元。例如，对象确定单元7包括色相确定单元71、RGB确定单元72、灰度确定单元73和CLBP确定单元74。
(A)色相
色相确定单元71将RGB亮度信息转换成HSV信息(即，包括三个分量即色相、饱和度/色度以及值/明度/亮度(Hue，Saturation/Chroma，and Value/Lightness/Brightness)的色彩空间信息)，并且通过使用其色相H来执行上述比较。当色相确定单元71通过相同的单一颜色来确定黄色、红色、蓝色、绿色、品红色或青色对象(例如杯子)时，色相确定单元71可以减少错误确定。
(B)RGB
RGB确定单元72通过使用RGB亮度信息的原始值来执行上述比较。当RGB确定单元72确定具有复合颜色(例如白色和黄绿色的复合颜色)的对象或黑色对象(例如远程控制器)时，RGB确定单元72可以减少错误确定。
(C)灰度
灰度确定单元73将RGB亮度信息转换成灰度信息(白/黑信息)并且通过使用所转换的值(即，通过转换RGB亮度信息而获得的值)来执行上述比较。当灰度确定单元73确定具有白基底颜色的对象(例如，碗)时，灰度确定单元73可以减少错误确定。
(D)CLBP(彩色局部二进制图案(Color Local Binary Pattern))
如图7所示，CLBP确定单元74对目标对象图像和模型图像每一者进行颜色通道分离(分离成R图像、G图像和B图像)(图中的(2))，并且计算每个通道的LBP(即，LBP(R)、LBP(G)和LBP(B))(图中的(3))。然后，CLBP确定单元74基于所计算的LBP来创建直方图(图中的(4))并且通过使用所创建的直方图来执行上述比较。注意，LBP能容忍对于图像的照明的变化。通过将LBP转换成直方图，其变成能更加容忍当进行上述渲染时出现的扰动，因此提高了确定精度。当CLBP确定单元74确定具有纹理的对象时，CLBP确定单元74可以减少错误确定。
注意，上述确定单元仅是示例并且确定单元不限于上述确定单元。也就是说，对象确定单元7可以包括任意确定单元，并且可以任意确定确定单元的数量和类型。
应当注意，如上所述，与上述检测器类似，存在确定单元善于确定的对象和确定单元不善于确定的对象。因此，取决于所使用的确定单元，存在做出错误确定的可能性(例如，确定不应当被确定为对象的对象(即，确定所检测到的对象是正确的))。例如，当存在扰动(即，RGB亮度变化)时，RGB确定单元很可能做出错误确定。
为了解决该问题，在根据第三实施方式的对象识别设备30中，存储单元4存储将对象候选与能够针对该对象候选进行确定的确定单元71至74相关联的确定简档信息。对象确定单元7通过基于存储在存储单元4中的确定简档信息来选择确定单元71至74中的与对象候选对应的确定单元并且通过使用确定单元71至74中的所选择的确定单元将由图像信息获取单元2获取的待识别对象的图像信息的颜色信息和距离信息中至少之一与从对象检测单元5输出的对象候选的模型图像信息的颜色信息和距离信息中至少之一进行比较来确定由对象检测单元5检测到的对象候选是否具有等于或大于预定值的可靠性。对象确定单元7输出被确定为具有等于或大于预定值的可靠性的对象候选作为待识别对象。
因此，确定单元71至74中的每个确定单元针对预先定义在确定简档信息中的对于其确定而言最佳的对象候选及其位置/姿势候选执行确定。因此，可以降低对待识别对象的错误检测，从而进一步提高了识别精度。
存储单元4存储将对象候选中的每个对象候选与确定单元71至74中的至少一个相关联的确定简档信息。在确定简档信息中，基于指示对象候选的特征、包括对象候选的颜色信息(例如，相同的单一颜色、复合颜色或对象颜色)和记载性信息(例如是否存在纹理)中至少之一的特征信息来将每个对象候选与确定单元71至74中至少之一相关联。
图8示出了将对象候选与确定单元相关联的确定简档信息的示例。如图8所示，对象候选A具有白色和黄绿色的复合颜色。因此，将可以最优地确定复合颜色的RGB确定单元72与对象候选A相关联。对象候选B具有纹理。因此，将可以最优地确定纹理的CLBP确定单元74与对象候选B相关联。对象候选C具有白基底颜色。因此，将可以最优地确定白基底颜色的灰度确定单元73与对象候选C相关联。对象候选D是黑色。因此，将可以最优地确定黑色的RGB确定单元72与对象候选D相关联。对象候选E是黄色。因此，将可以最优地确定黄色的色相确定单元71与对象候选E相关联。
例如，简档信息生成单元3根据例如图9所示的流程图来选择多个预定义的确定单元71至74中的最适宜于确定对象候选的确定单元并且将对象候选与确定单元71至74中的所选择的确定单元相关联。
简档信息生成单元3基于由图像信息获取单元2获取的对象候选的图像信息来确定对象候选的颜色是否主要为相同的单一颜色(步骤S201)。注意，“主要为相同的单一颜色”表示例如具有单一颜色的区域的尺寸比率比较高并且等于或高于特定值。
当简档信息生成单元3确定对象候选的颜色主要为相同的单一颜色时(步骤S201处的是)，简档信息生成单元3基于由图像信息获取单元2获取的对象候选的图像信息来确定对象候选的颜色是否为黄色、红色、蓝色、绿色、品红色和青色中之一(步骤S202)。另一方面，当简档信息生成单元3确定对象候选的颜色不是相同的单一颜色时(步骤S201中的否)，简档信息生成单元3移动到后面描述的步骤(移动到步骤S204)。
当简档信息生成单元3确定对象候选的颜色是黄色、红色、蓝色、绿色、品红色和青色中之一时(步骤S202处的是)，简档信息生成单元3选择色相确定单元71(步骤S203)。
当简档信息生成单元3确定对象候选的颜色不是黄色、红色、蓝色、绿色、品红色和青色中任一个时(步骤S202处的否)，简档信息生成单元3基于由图像信息获取单元2获取的对象候选的图像信息来确定对象候选是否具有记载性信息(步骤S204)。
当简档信息生成单元3确定对象候选具有记载性信息时(步骤S204处的是)，简档信息生成单元3选择CLBP确定单元(步骤S205)。另一方面，当简档信息生成单元3确定对象候选没有记载性信息时(步骤S204处的否)，简档信息生成单元3基于由图像信息获取单元2获取的对象候选的图像信息来确定对象候选的颜色是否为白基底颜色或灰基底颜色(步骤S206)。注意，“白基底颜色或灰基底颜色”表示例如白色或灰色区域的尺寸比率比较高并且等于或高于特定值。
当简档信息生成单元3确定对象候选的颜色为白基底或灰基底颜色时(步骤S206处的是)，简档信息生成单元3选择灰度确定单元73(步骤S207)。另一方面，当简档信息生成单元3确定对象候选的颜色既不是白基底颜色也不是灰基底颜色时(步骤S206处的否)，简档信息生成单元3选择RGB确定单元72(步骤S208)。
以这种方式，通过简档信息生成单元3，可以基于指示对象候选的特征、包括对象候选的颜色信息和记载性信息中至少之一的特征信息来自动地生成将对象候选与确定单元71至74中的最适宜于确定该对象候选的确定单元相关联的确定简档信息。
简档信息生成单元3根据上述流程来生成将对象候选与确定单元71至74中之一相关联的确定简档信息并且将所生成的确定简档信息存储到存储单元4中。注意，将对象候选与确定单元71至74中的最适宜于确定该对象候选的确定单元相关联的确定简档信息可以被预先存储在存储单元4中。此外，用户可以根据上述流程图来选择确定单元71至74中之一。存储在存储单元4中的确定简档信息可以被配置成使得例如用户可以任意地改变确定简档信息中的定义。
在存储在存储单元4中的确定简档信息中，一个对象候选可以与确定单元71至74中的两个或更多个确定单元相关联。在这样的情况下，确定单元71至74中的这些两个或更多个确定单元以重复方式确定同一对象候选。以这样的方式，可以通过根据指示对象候选的特征的特征信息将确定单元71至74中的具有不同特性的两个或更多个确定单元与单个对象候选相关联并且通过使用确定单元71至74中的这些两个或更多个确定单元确定对象候选来进一步减少对对象候选的错误确定。
如上所说明的那样，对象确定单元7通过使用确定单元71至74中的至少一个确定单元来确定对象候选及其位置/姿势候选。对象识别设备1的对象确定单元7输出已被确定单元71至74中的每个确定单元确定为具有等于或大于预定值的可靠性的对象候选及其位置/姿势候选作为待识别对象及其位置/姿势。
注意，在上述第三实施方式中，对象确定单元7确定待识别对象的对象候选及其位置/姿势候选。然而，要被确定的对象不限于上述示例。也就是说，对象确定单元7可以仅确定待识别对象的对象候选。
通过使用根据第三实施方式的对象识别设备30，与相关领域中的对象识别设备相比，精度(即，对正确结果率和错误检出率进行指示的指数)能够提高约18％。
在第三实施方式中，与上述第一实施方式和第二实施方式的附图标记相同的附图标记被分配给与第一实施方式和第二实施方式中的部件相同的部件并且省略了它们的说明。
第四实施方式
图10是示出根据本公开内容的第四实施方式的对象识别设备的示意性系统配置的框图。除了根据上述第三实施方式的对象识别设备30的部件/结构之外，根据第四实施方式的对象识别设备40还包括跟踪处理单元8，该跟踪处理单元8基于对象的几何形状信息来跟踪由对象检测单元5检测到的对象位置/姿势候选(即，对对象位置/姿势候选保持跟踪)。
当由上述对象确定单元7进行确定时，如果位置/姿势未被精确地估计，则在目标对象图像与模型图像之间会出现像素误差。因此，很可能发生错误确定。因此，在第四实施方式中，在对象确定单元7进行确定之前基于对象位置/姿势候选的几何信息来执行跟踪。因此，可以精确地估计位置/姿势并且可以进一步减少错误确定。
跟踪处理单元8是跟踪处理装置的具体示例。跟踪处理单元8基于对象位置/姿势候选的几何信息来执行例如ICP(迭代最近点(Iterative Closest Point))跟踪(即，使用ICP算法的跟踪处理)以对对象位置/姿势候选保持跟踪。
ICP跟踪是以下技术，在该技术中，例如，如图11所示，将对象位置/姿势候选的模型图像的模型的点云与目标对象图像的待识别对象的点云相关联，并且通过使用最小二乘法来获得对象位置/姿势候选的模型图像的模型与目标对象图像的待识别对象之间的几何量(旋转量和平移量)使得如图12所示减小误差。
注意，通常，ICP跟踪是需要大计算成本的处理。因此，在第四实施方式中，预先计算用于ICP跟踪所需的最近相邻点并且通过使用该最近相邻点来执行ICP跟踪。注意，最重要的是，必需关联前述点。因此，在该技术中，例如，如图13所示，针对模型图像的模型形成3D体素(即，形成包围模型的3D网格体素)并且预先计算在模型上的从每个网格到该模型的最近相邻点。然后，将关于所计算的最近相邻点的信息(例如，最近相邻点的坐标或最近相邻点的索引)与每个体素相关联地存储到存储单元4中。
注意，虽然针对每个体素存储待识别对象的最近相邻点的信息，但是忽略了在体素外的范围中的点。在第四实施方式中，虽然最近相邻点是从点到面，但是最近相邻点不限于该示例。也就是说，最近相邻点可以从点到点。可以根据在体素的每个侧面中的网格的数量和格子的单位(几毫米)来确定图13中的距离X、Y和Z。如上所述，在执行实际ICP跟踪之前计算了ICP跟踪必需的最近相邻点并且将该最近相邻点的信息存储到存储单元4中。然后，如上所述，跟踪处理单元8通过使用存储在存储单元4中的最近相邻点的信息来实时执行ICP跟踪。因此，可以显著地降低ICP跟踪必需的计算成本。
跟踪处理单元8执行上述ICP跟踪。然后，例如，当所获得的几何量等于或大于预定量时，跟踪处理单元8从由对象检测单元5检测到的对象位置/姿势候选中丢弃该对象位置/姿势候选，因为其几何形状不一致。跟踪处理单元8将通过从由对象检测单元5检测到的对象位置/姿势候选中去除丢弃的对象位置/姿势候选而获得的对象位置/姿势候选输出到对象确定单元7。对象确定单元7通过将由图像信息获取单元2获取的目标对象图像的距离信息和颜色信息中至少之一与从跟踪处理单元8输出的对象位置/姿势候选的模型图像信息的颜色信息和距离信息中至少之一进行比较来进行上述确定。
在第四实施方式中，与上述第一实施方式至第三实施方式的附图标记相同的附图标记被分配给与第一实施方式至第三实施方式中的部件相同的部件并且省略了它们的说明。
注意，本公开内容不限于上述实施方式，而是可以在不偏离本公开内容的精神和范围的情况下进行各种修改。
上述第一实施方式至第四实施方式可以彼此任意组合。例如，对象识别设备50可以包括图像信息获取单元2、简档信息生成单元3、存储单元4、对象检测单元5、聚类处理单元6、对象确定单元7和跟踪处理单元8(图14)。在这种情况下，可以以最佳的方式防止待识别对象未被检测到并且防止错误检测，从而可以提高识别精度。
对象检测单元5通过使用检测器51至54来检测对象候选及其位置/姿势候选并且将它们输出至聚类处理单元6。聚类处理单元6将由对象检测单元5检测到的对象位置/姿势候选中的类似候选统一并且将统一的对象位置/姿势候选的组输出至跟踪处理单元8。跟踪处理单元8执行ICP跟踪以对从聚类处理单元6接收的对象位置/姿势候选保持跟踪并且将经ICP跟踪的对象位置/姿势候选输出至对象确定单元7。对象确定单元7通过使用确定单元71至74针对从跟踪处理单元8接收的对象位置/姿势候选进行确定并且输出所确定的对象位置/姿势候选作为待识别对象的位置/姿势。
在本公开内容中，例如，可以通过使CPU或GPU(图形处理单元(GraphicsProcessing Unit))执行计算机程序来实现由上述简档信息生成单元3、对象检测单元5、聚类处理单元6、对象确定单元7和跟踪处理单元8执行的处理中至少之一。
可以使用任何类型的非暂态计算机可读介质将程序存储并且提供给计算器。非暂态计算机可读介质包括任何类型的有形存储介质。非暂态计算机可读介质的示例包括磁存储介质(例如，软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、CD-ROM(致密性盘只读存储器)、CD-R(可记录致密性盘)、CD-R/W(可重写致密性盘)和半导体存储器(例如掩模ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM、RAM(随机存取存储器)等)。可以使用任何类型的暂态计算机可读介质将程序提供给计算机。暂态计算机可读介质的示例包括电信号、光信号和电磁波。暂态计算机可读介质可以经由有线通信线路(例如，电线、光纤)或无线通信线路来将程序提供给计算机。
根据因此所描述的本发明，明显的是可以以许多方式改变本发明的实施方式。这样的改变不应被看作是从本发明的精神和范围的偏离，并且对于本领域的技术人员而言明显的是所有这样的修改都意在包含在所附权利要求书的范围内。

Claims (9)

1.一种对象识别设备，包括：
图像信息获取装置，用于获取待识别对象的图像信息；
存储装置，用于存储将对象候选与能够检测并且最适宜于检测所述对象候选的检测器相关联的检测简档信息以及与所述对象候选相关联的所述对象候选的模型图像信息，所述对象候选是针对所述待识别对象的候选；以及
对象检测装置，其包括在所述检测简档信息中定义的多个检测器，所述对象检测装置被配置成通过使用所述检测器基于由所述图像信息获取装置获取的所述图像信息来检测所述待识别对象，其中，
所述对象检测装置的每个所述检测器通过将所述检测简档信息中的与所述检测器相关联的对象候选的模型图像信息与由所述图像信息获取装置获取的所述待识别对象的图像信息进行比较来检测所述对象候选，并且输出由该检测器检测到的对象候选作为所述待识别对象。
2.根据权利要求1所述的对象识别设备，其中，
所述存储装置存储将所述对象候选与能够确定所述对象候选的确定单元相关联的确定简档信息，
所述对象识别设备还包括对象确定装置，所述对象确定装置包括在所述确定简档信息中定义的多个确定单元，所述对象确定装置被配置成通过使用所述确定单元基于由所述图像信息获取装置获取的所述图像信息来确定从所述对象检测装置输出的所述对象候选，以及
所述对象确定装置：
基于存储在所述存储装置中的所述确定简档信息来选择与由所述对象检测装置检测到的所述对象候选对应的确定单元；
通过将由所述图像信息获取装置获取的所述待识别对象的图像信息的颜色信息和距离信息中至少之一与从所述对象检测装置输出的所述对象候选的所述模型图像信息的颜色信息和距离信息中至少之一进行比较来确定所述对象候选是否具有等于或大于预定值的可靠性；以及
输出被确定为具有等于或大于所述预定值的可靠性的所述对象候选作为所述待识别对象。
3.根据权利要求1或2所述的对象识别设备，其中，所述对象检测装置基于由所述图像信息获取装置获取的所述待识别对象的图像信息的特征值和所检测到的对象候选的所述模型图像信息的特征值来检测所述对象候选的位置/姿势候选。
4.根据权利要求3所述的对象识别设备，还包括聚类处理装置，所述聚类处理装置用于将由所述对象检测装置检测到的对象候选和位置/姿势候选中的类似候选统一为同一候选。
5.根据权利要求3所述的对象识别设备，还包括跟踪处理装置，所述跟踪处理装置用于执行跟踪处理并且输出经跟踪处理的对象候选及其位置/姿势候选，所述跟踪处理是用于以下的处理：获得由所述对象检测装置检测到的所述对象候选和所述位置/姿势候选的模型图像的模型与所述图像信息的所述待识别对象之间的几何量，并且从由所述对象检测装置检测到的所述对象候选和所述位置/姿势候选中去除所获得的几何量等于或大于预定量的对象候选和位置/姿势候选。
6.根据权利要求5所述的对象识别设备，其中，
所述存储装置存储在所述模型图像中的模型上的从包围所述模型的三维体素的每个网格到所述模型的最近相邻点的信息，并且
所述跟踪处理装置通过使用存储在所述存储装置中的所述最近相邻点的信息来执行所述跟踪处理。
7.根据权利要求2所述的对象识别设备，还包括简档信息生成装置，所述简档信息生成装置用于生成所述检测简档信息和所述确定简档信息中至少之一，所述检测简档信息基于指示所述对象候选的特征、包括所述对象候选的颜色信息、形状信息、记载性信息和物理特性信息中至少之一的特征信息将所述对象候选与至少一个检测器相关联，所述对象候选是针对所述待识别对象的候选，所述确定简档信息基于指示所述对象候选的特征、包括所述对象候选的颜色信息和记载性信息中至少之一的特征信息将所述对象候选与至少一个确定单元相关联。
8.一种对象识别方法，包括：
获取待识别对象的图像信息的步骤；以及
通过使用检测器基于所获取的图像信息来检测所述待识别对象的步骤，所述检测器被定义在将对象候选与能够检测并且最适宜于检测所述对象候选的检测器相关联的检测简档信息中，所述对象候选是针对所述待识别对象的候选，其中，
每个所述检测器通过将所述检测简档信息中的与所述检测器相关联的对象候选的模型图像信息与所获取的所述待识别对象的图像信息进行比较来检测所述对象候选，并且输出由该检测器检测到的对象候选作为所述待识别对象。
9.一种非暂态计算机可读介质，存储有当被执行时使计算机执行以下处理的程序：
获取待识别对象的图像信息的处理；以及
通过使用检测器基于所获取的图像信息来检测所述待识别对象的处理，所述检测器被定义在将对象候选与能够检测并且最适宜于检测所述对象候选的检测器相关联的检测简档信息中，所述对象候选是针对所述待识别对象的候选，其中，
每个所述检测器通过将所述检测简档信息中的与所述检测器相关联的对象候选的模型图像信息与所获取的所述待识别对象的图像信息进行比较来检测所述对象候选，并且输出由该检测器检测到的对象候选作为所述待识别对象。
CN201710367722.4A 2016-05-25 2017-05-23 对象识别设备、对象识别方法和程序 Expired - Fee Related CN107437060B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016104124A JP6528723B2 (ja) 2016-05-25 2016-05-25 物体認識装置、物体認識方法及びプログラム
JP2016-104124 2016-05-25

Publications (2)

Publication Number Publication Date
CN107437060A CN107437060A (zh) 2017-12-05
CN107437060B true CN107437060B (zh) 2021-01-15

Family

ID=58714943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710367722.4A Expired - Fee Related CN107437060B (zh) 2016-05-25 2017-05-23 对象识别设备、对象识别方法和程序

Country Status (5)

Country Link
US (1) US10452950B2 (zh)
EP (1) EP3249579B1 (zh)
JP (1) JP6528723B2 (zh)
KR (1) KR101917515B1 (zh)
CN (1) CN107437060B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970577B1 (en) * 2017-09-29 2021-04-06 Snap Inc. Machine learned single image icon identification
KR102444693B1 (ko) * 2017-11-15 2022-09-20 삼성전자 주식회사 청소용 이동장치 및 그 제어방법
CN108037765A (zh) * 2017-12-04 2018-05-15 国网山东省电力公司电力科学研究院 一种用于输电线路巡检的无人机避障系统
US11109065B2 (en) * 2018-09-26 2021-08-31 Google Llc Video encoding by providing geometric proxies
JP7111586B2 (ja) * 2018-11-09 2022-08-02 株式会社Soken 物体検出装置
JP7111297B2 (ja) * 2018-11-26 2022-08-02 株式会社豊田中央研究所 位置ずれ補正装置及びプログラム
CN110232387B (zh) * 2019-05-24 2022-08-05 河海大学 一种基于kaze-hog算法的异源图像匹配方法
EP3915048A4 (en) 2019-06-03 2022-03-30 Samsung Electronics Co., Ltd. ELECTRONIC OBJECT RECOGNITION APPARATUS AND METHOD FOR OPERATING IT
US10867190B1 (en) * 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
US10970550B1 (en) 2020-01-14 2021-04-06 Geenee Gmbh Systems and methods for stream recognition
JP7272296B2 (ja) * 2020-02-07 2023-05-12 トヨタ自動車株式会社 判定方法、判定装置及び判定プログラム
KR102643324B1 (ko) * 2020-10-29 2024-03-07 닛폰세이테츠 가부시키가이샤 식별 장치, 식별 방법 및 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007092756A3 (en) * 2006-02-02 2008-12-18 Honda Motor Co Ltd Hierarchical system for object recognition in images
CN102737227A (zh) * 2011-03-25 2012-10-17 索尼公司 终端装置、信息处理装置、对象识别方法、程序以及系统
JP2015143951A (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573085B2 (ja) 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP4193519B2 (ja) 2003-02-27 2008-12-10 セイコーエプソン株式会社 物体識別方法および物体識別装置
JP4876742B2 (ja) 2006-07-07 2012-02-15 トヨタ自動車株式会社 画像処理装置及び画像処理プログラム
JP5251080B2 (ja) 2007-11-20 2013-07-31 株式会社Ｉｈｉ 物体認識方法
JP5287390B2 (ja) * 2009-03-16 2013-09-11 ソニー株式会社 半導体装置、伝送システム、半導体装置の製造方法及び伝送システムの製造方法
JP5346863B2 (ja) 2010-03-30 2013-11-20 大日本スクリーン製造株式会社 ３次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム
WO2011143633A2 (en) * 2010-05-14 2011-11-17 Evolution Robotics Retail, Inc. Systems and methods for object recognition using a large database
JP5716433B2 (ja) 2011-02-07 2015-05-13 株式会社Ihi 形状認識装置、形状認識方法、および、そのプログラム
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP2013054547A (ja) 2011-09-05 2013-03-21 Kddi Corp 物体認識装置および物体認識方法
JP2013158845A (ja) * 2012-02-01 2013-08-19 Seiko Epson Corp ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム
US9128188B1 (en) * 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
CN105164700B (zh) * 2012-10-11 2019-12-24 开文公司 使用概率模型在视觉数据中检测对象
US9269022B2 (en) * 2013-04-11 2016-02-23 Digimarc Corporation Methods for object recognition and related arrangements
US9424461B1 (en) * 2013-06-27 2016-08-23 Amazon Technologies, Inc. Object recognition for three-dimensional bodies
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
JP2015056057A (ja) 2013-09-12 2015-03-23 トヨタ自動車株式会社 姿勢推定方法及びロボット
US9582516B2 (en) * 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
JP6208018B2 (ja) 2014-01-08 2017-10-04 株式会社東芝 画像認識アルゴリズム組合せ選択装置
US10606885B2 (en) * 2016-11-15 2020-03-31 Evolv Technology Solutions, Inc. Data object creation and recommendation using machine learning based online evolution
US10984054B2 (en) * 2017-07-27 2021-04-20 Robert Bosch Gmbh Visual analytics system for convolutional neural network based classifiers
US10522186B2 (en) * 2017-07-28 2019-12-31 Adobe Inc. Apparatus, systems, and methods for integrating digital media content
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007092756A3 (en) * 2006-02-02 2008-12-18 Honda Motor Co Ltd Hierarchical system for object recognition in images
CN102737227A (zh) * 2011-03-25 2012-10-17 索尼公司 终端装置、信息处理装置、对象识别方法、程序以及系统
JP2015143951A (ja) * 2014-01-31 2015-08-06 オムロン株式会社 物体判別装置、画像センサ、物体判別方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Lilita Kiforenko，et al..Object Detection Using a Combination of Multiple 3D Feature Descriptors.《ICVS 2015: Computer Vision Systems》.2015,第343-353页. *
Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes;Stefan Hinterstoisser，et al.;《ACCV"12: Proceedings of the 11th Asian conference on Computer Vision》;20131231;摘要，第3.2节第1段，第3.2.1节第1段，第3.2.2节 *
Object Detection Using a Combination of Multiple 3D Feature Descriptors;Lilita Kiforenko，et al.;《ICVS 2015: Computer Vision Systems》;20150619;摘要，第1节第3段，第3节第1-2段，第346页第1段，第350页第2段，第348页第4-5段，图2 *

Also Published As

Publication number Publication date
EP3249579B1 (en) 2022-01-19
JP2017211807A (ja) 2017-11-30
CN107437060A (zh) 2017-12-05
US20170344850A1 (en) 2017-11-30
JP6528723B2 (ja) 2019-06-12
KR20170133262A (ko) 2017-12-05
KR101917515B1 (ko) 2018-11-09
EP3249579A1 (en) 2017-11-29
US10452950B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
CN107437060B (zh) 对象识别设备、对象识别方法和程序
CN113781402B (zh) 芯片表面划痕缺陷的检测方法、装置和计算机设备
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
EP2879080B1 (en) Image processing device and method, and computer readable medium
WO2018118914A2 (en) An iterative method for salient foreground detection and multi-object segmentation
EP2486514A1 (en) Face recognition in digital images
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN108846844B (zh) 一种基于海天线的海面目标检测方法
US20130315490A1 (en) Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program
WO2015028842A1 (en) A semi automatic target initialization method based on visual saliency
Yarlagadda et al. A reflectance based method for shadow detection and removal
KR101916460B1 (ko) 깊이 정보를 이용한 물체 인식 방법 및 장치
CN117474918B (zh) 异常检测方法和装置、电子设备以及存储介质
CN114821087A (zh) 一种深度图像关键点的检测与描述模型及方法
CN107085725B (zh) 一种通过基于自适应码本的llc聚类图像区域的方法
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
CN109785367B (zh) 三维模型追踪中外点滤除方法和装置
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
JP2005165969A (ja) 画像処理装置、及び方法
JP6540577B2 (ja) 物体認識装置
JP2019211914A (ja) 物体らしさ推定装置、方法、およびプログラム
Sidorova Global segmentation of textural images on the basis of hierarchical clusterization by predetermined cluster separability
CN111476821B (zh) 基于在线学习的目标跟踪方法
JP4543759B2 (ja) 物体認識方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210115

CF01 Termination of patent right due to non-payment of annual fee