CN108120391A - 信息处理设备和方法、存储介质和物品制造方法 - Google Patents

信息处理设备和方法、存储介质和物品制造方法 Download PDF

Info

Publication number
CN108120391A
CN108120391A CN201711213323.9A CN201711213323A CN108120391A CN 108120391 A CN108120391 A CN 108120391A CN 201711213323 A CN201711213323 A CN 201711213323A CN 108120391 A CN108120391 A CN 108120391A
Authority
CN
China
Prior art keywords
target object
orientation
model
sampling
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711213323.9A
Other languages
English (en)
Inventor
庭山润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN108120391A publication Critical patent/CN108120391A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了信息处理设备和方法、存储介质和物品制造方法。一种计算目标物体的位置和朝向的信息处理设备，包括：三维形状模型保持单元，其获取目标物体的形状的测量数据和目标物体的形状模型；以及位置和朝向计算单元，其基于由三维形状模型保持单元获取的形状模型中用于指定目标物体的朝向的特定部位的采样信息以及目标物体的形状的测量数据来计算目标物体的位置和朝向。

Description

信息处理设备和方法、存储介质和物品制造方法
技术领域
本发明涉及信息处理设备、测量装置、系统、计算方法、存储介质和物品制造方法。
背景技术
近年来，在工厂等的生产线中，通过使用视觉系统在批量加载的物体之中指定个体物体，测量指定物体的位置和朝向(orientation)，以及通过机器人手执行物体的抓握的技术已经被开发。
作为测量物体的三维位置和朝向的方法的一个示例，存在一种模型拟合方法，在该方法中从目标物体的拍摄图像中检测个体物体的近似位置和朝向，并且通过使用位置和朝向作为初始值，将物体的三维形状模型拟合到图像数据。作为模型拟合方法的技术，已知在日本专利申请公开第2011-175477号中公开的方法，在该方法中从目标物体的三维形状模型上的几何特征采样的模型点被投影到目标物体的距离图像或灰度图像上，然后与图像上的几何特征相关联。此外，作为区分具有易于被错误识别的形状的目标物体的朝向的方法，已知日本专利申请公开第2015-194478号中公开的方法。在日本专利申请公开第2015-194478号中所公开的方法中，易于被错误识别为彼此的多个朝向之间的关系被预先登记(register)，并且已经根据近似位置和朝向而模型拟合的朝向被与通过使用基于预先登记的转换参数计算出的朝向进行比较，由此输出具有较高重合度(degree of coincidence)的朝向。
在日本专利申请公开第2011-175477号和日本专利申请公开第2015-194478号中所公开的方法中，虽然由于通过具有稀疏采样密度来减少模型点的数量而缩短了处理时间，但是对每个点的位置和朝向估计的计算的贡献程度相对增加，使得位置和朝向估计的精度降低。如果测量需要通过使用局部形状作为线索来区分物体的朝向差异或类型差异的物体，那么可能由于缺少三维模型上的要作为线索的部位的几何信息而出现错误识别。
相反，如果为了增加位置和朝向估计的精度而使得采样密度稠密并且模型点的数量增加，那么与图像上的几何特征对应的搜索时间与模型点的数量成比例地增加。
日本专利申请公开第2011-179910号公开了一种对要用于模型拟合的模型点进行采样的方法，其中三维模型的面被表示为平面和曲面的集合，并且在每个面被单位面积(area)划分的情况下针对每个小区域(region)生成采样模型点。在日本专利申请公开第2011-179910号的方法中，在被估计为具有小的距离测量误差的区域中将采样密度设置为低，而在被估计为具有大的距离测量误差的小区域中将采样密度设置为高。
在日本专利申请公开第2011-179910号中，根据距离测量误差来控制用于每个小区域的模型点的密度。但是，其中密度被设置为高的小区域不必与具有用作区分物体的朝向差异或类型差异的线索的局部形状的部位重合。
发明内容
例如，本发明提供一种测量装置，该测量装置可以以高速度与高精度区分具有局部形状的物体的位置和朝向。
根据本发明的一方面的信息处理设备是一种计算目标物体的位置和朝向的信息处理设备，该信息处理设备包括：获取单元，被配置为获取目标物体的形状的测量数据和目标物体的形状模型；以及计算器，被配置为基于由获取单元获取的形状模型中用于指定目标物体的朝向的特定部位的采样信息和目标物体的形状的测量数据来计算目标物体的位置和朝向。
附图说明
图1示出了信息处理设备的硬件配置。
图2示出了信息处理设备的配置。
图3示出了目标物体的三维形状模型。
图4A和图4B是示出用于计算目标物体的位置和朝向的处理序列的流程图。
图5A至图5D是相似朝向和特定部位的登记方法的解释图。
图6A至图6C是用于要配对的特定部位的登记的解释图。
图7是示出模型点的概念图。
图8是用于估计特定部位中的几何特征中的测量点的数量的上限值的方法的解释图。
图9A至图9E是位置和朝向计算方法的解释图。
图10A和图10B是示出用于计算目标物体的位置和朝向的处理序列的流程图。
图11A和图11B是示出用于计算目标物体的位置和朝向的处理序列的流程图。
图12A至图12C是用于近似位置和朝向的每个候选的模型点的采样方法的解释图。
图13A至图13D是示出目标物体和相似物体的图。
图14A和图14B是示出目标物体与相似物体之间的区别的处理序列的流程图。
图15示出了机器人系统的配置。
具体实施方式
(第一实施例)
在本实施例中，将给出关于在具有用作相似朝向的区别的线索的局部特征的部位(特定部位)中所包括的几何特征，在以足够可区分的密度对模型点进行预先采样之后以高精度区分相似朝向的方法的描述。
图1示出了根据本实施例的信息处理设备100的硬件配置。
CPU 101总体上控制经由总线106连接的每个设备。CPU 101读出并执行存储在ROM102(其是只读存储器)中的处理步骤和程序。根据本实施例的处理程序、设备驱动等中的每一个以及操作系统(OS)都存储在ROM 102中，临时存储在RAM(随机存取存储器)103中，并被CPU 101适当地执行。输入I/F 104输入从外部设备(例如，成像设备和操作设备)获取的信号作为可以由信息处理设备100处理的格式的输入信号。输出I/F 105将来自信息处理设备100的信号作为可以由外部设备(显示设备)处理的格式的输出信号输出到外部设备。
图2示出了根据本实施例的信息处理设备100的配置。
信息处理设备100具有各处理单元和存储单元22。各处理单元包括测量数据保持单元10、近似位置和朝向计算单元(计算器)11、三维形状模型保持单元12、模型点采样单元13、相似朝向指明(designate)单元14、特定部位指明单元15、特定部位采样单元16、位置和朝向计算单元(计算器)17以及输出单元21，与近似位置和朝向计算单元相比，位置和朝向计算单元可以较精确地获得位置和朝向。此外，信息处理设备100连接到成像设备18、显示设备19、操作设备20以及外部设备(诸如机器人)的控制单元23。要注意的是，在本实施例中，虽然成像设备18、显示设备19、操作设备20和控制单元23被配置为在信息处理设备100的外部，但是信息处理设备100可以被配置为包括成像设备18、显示设备19、操作设备20和控制单元23的集成的信息处理设备。
在下文中，将描述信息处理设备100的各单元。
测量数据保持单元10获取并保持由成像设备18成像的目标物体的测量数据(测量信息)(诸如灰度图像(二维信息)和距离图像(三维信息))。在本实施例中，虽然测量数据保持单元10获取由成像设备18成像的测量数据，但本发明不限于此，并且测量数据保持单元10可以获取预先从存储介质等获得的测量数据。
近似位置和朝向计算单元11是近似计算单元，它计算物体相对于成像设备18的位置和朝向的近似值(近似位置和朝向)。具体而言，首先，从测量数据保持单元10获取测量数据，并且从三维形状模型保持单元12获取目标物体的三维模型。然后，从测量数据中批量加载(loaded in bulk)的物体之中检测一个个体物体，并且计算物体相对于成像设备18的位置和朝向的近似值。
在成像设备18中，假设定义了用作测量位置和朝向的参考的三维坐标系(参考坐标系)。在本实施例中，在成像设备18中使用的传感器的中心是原点、要获取的图像的水平方向是x轴、要获取的图像的垂直方向是y轴并且传感器的光轴是z轴的坐标系被定义为参考坐标系。物体相对于成像设备18的位置和朝向表示物体在参考坐标系中的位置和朝向。
在本实施例中，通过使用对于由传感器获取的距离图像和灰度图像的从多个视点观察到的图像作为模板执行模式匹配来计算参考坐标系中一个个体的近似位置和朝向。但是，可以使用识别近似位置和朝向的其他方法。例如，如果目标物体相对于参考坐标系的相对位置和朝向是已知的，并且它的位置和朝向不改变，那么空间中存在目标物体的可选位置作为原点的坐标系可以被用作参考。此外，如果使用使得能够从批量中检测一个或多个个体物体并计算该一个或多个个体物体的三维位置和朝向的方法，那么可以使用除这里描述的方法以外的任何其它方法。在本实施例中，在目标物体围绕预定轴旋转的情况下，易于被错误识别的物体被作为目标，使得在这里获取的位置和朝向可能被错误地识别。将由近似位置和朝向计算单元11计算出的关于近似位置和朝向的信息输入到位置和朝向计算单元17。
三维形状模型保持单元12获取并保持要经受批量挑选的目标物体的三维形状模型。因而，三维形状模型保持单元12用作三维形状模型的获取单元和保持单元。例如，作为三维形状模型，可以使用其中目标物体的三维形状由多个多边形的组合近似表示的多边形模型。每个多边形由目标物体表面上的三维坐标中的位置和用于配置逼近这个面的多边形的每个点的连接信息配置。要注意的是，虽然多边形通常由三角形配置，但它也可以由矩形或五边形配置。此外，可以使用任何多边形模型，如果它可以通过表面点的三维坐标及该表面点的连接信息近似表示物体形状。可替代地，作为三维形状模型，可以使用表示具有一组分段参数曲面的形状的模型，该模型被称为“边界表示(B-rep)”，诸如CAD数据。此外，可以使用任何其它模式，如果该模式可以表示物体的三维形状。要注意的是，假设用作表示目标物体的表面上的点的坐标的参考的模型坐标系在三维形状模型中被预先设置。
图3示出了在本实施例中使用的、具有几何特征4及其模型坐标系的目标物体3。模型坐标系由X’轴、Y’轴和Z’轴表示，以目标物体3的表面上的点作为原点。三维形状模型保持单元12由存储器(诸如ROM 102和RAM 103)配置，但是可以从存储介质等获取三维形状模型。已经保持的三维形状模型被输入到近似位置和朝向计算单元11、模型点采样单元13、相似朝向指明单元14、特定部位指明单元15以及位置和朝向计算单元17。
模型点采样单元13基于从三维形状模型保持单元12获取的三维形状模型的信息来执行模型点的采样。模型点的采样是基于关于三维形状模型的信息而以允许计算目标物体3的位置和朝向的密度执行的。在模型点采样单元13中，可以基于从近似位置和朝向计算单元11输入的近似位置和朝向的信息进一步执行在采样的模型点之中选择要使用的模型点的处理。
特别地，模型点采样单元13执行以下处理作为选择要使用的模型点的处理。首先，从所有方向渲染(render)三维形状模型，并且将从每个方向观看的三维形状模型的几何特征4与每个方向相关联地登记。接下来，通过选择在最接近根据物体的近似位置和朝向以及拍摄参数计算的视轴向量的方向上登记的几何特征4来选择与选定的几何特征4对应的模型点。作为根据拍摄参数及近似位置和朝向选择模型点的方法，可以使用除三维形状模型上的每个点的三维坐标之外还计算关于法线的信息并且将每个方向上视轴向量和法线向量的内积进行比较的方法。在这种情况下，只登记内积值为负的点(即，视轴向量与法线向量彼此相反的点)。
要注意的是，可以基于用户指令来执行模型点采样单元13对模型点的采样。即，用户可以在参考目标物体3的三维形状模型在其上显示的GUI的同时手动地执行点的采样。此外，关于配置三维形状模型的面，可以执行采样，以将每个面的中心作为模型点。另外，基于物体的近似位置和朝向，可以执行点的采样，以便在作为测量数据的距离图像中是均匀的。具体地，基于目标物体3的近似位置和朝向以及成像设备18的拍摄参数，将三维形状模型投影到二维图像上，并且三维形状模型上已经在二维图像上被均匀采样的点被反投影到三维空间上。此外，如果可以从三维形状模型的面来计算点，那么该方法没有特别限制。关于由模型点采样单元13采样的模型点的信息被输入到特定部位采样单元16及位置和朝向计算单元17。
相似朝向指明单元14在虚拟三维空间中显示目标物体3的三维形状模型、经由用户的操作指定倾向于被错误识别为彼此的两个不同朝向(相似朝向)之间的关系(转换参数)，并且将其登记在存储单元22中。下面将参考图5A至图5D和图7来描述相似朝向的示例。在本实施例中，相似朝向指明单元14将由三维形状模型保持单元12保持的三维形状模型发送到显示设备19，并且在显示设备19的GUI上渲染目标物体3的两个三维形状模型。
随后，由操作设备20获取用户的操作，并且在显示设备19的GUI上将两个三维模型布置在易于被错误识别为彼此的朝向中。然后，获取此时两个模型在虚拟三维空间中的朝向，要被指明为相似朝向的相似朝向之间的转换参数被计算并记录，由此执行登记。由相似朝向指明单元14登记的转换参数被输入到特定部位指明单元15及位置和朝向计算单元17。要注意的是，在本发明中，指明的相似朝向的数量不限于两个，并且可以指明易于被错误识别为彼此的三个或更多个相似朝向。
特定部位指明单元15将包括几何特征4的特定部位指明为用于在相似朝向指明单元14中登记的相似朝向的区别的线索并将其登记在存储单元22中。该特定部位是包括几何特征4的部位，其中几何特征4在具有相似朝向的关系的两个朝向中具有显著不同的外观。具体地，在形成一个三维形状模型的几何特征4之中，包括与形成另一三维形状模型的几何特征4不重叠的几何特征4的部位被登记为特定部位(由图7中的双点线指示的特定部位503)。通过将从三维形状模型保持单元12输入的目标物体3的三维形状模型渲染到显示设备19的GUI，并获取通过用户在操作设备20处的操作而选择的部位，可以执行特定部位的登记。关于由特定部位指明单元15登记的特定部位的信息被输入到特定部位采样单元16，以便对特定部位中的模型数据进行采样。
除了相似朝向的信息，特定部位指明单元15还可以通过使用在模型点采样单元13执行模型采样时关于三维形状模型与模型点之间的相对位置关系的信息来执行自动登记特定部位的处理。具体地，执行以下处理。首先，渲染在虚拟三维空间中具有相似朝向关系的两个三维形状模型。接下来，通过使用关于三维形状模型与模型点之间的相对位置关系的信息，从已经被渲染的每个三维形状模型中采样用于计算特定部位的模型点。关于用于计算特定部位的采样模型点，关于虚拟三维空间中的三维坐标以及将要导出三维形状模型中的哪一个三维形状模型的信息被保持为属性信息。接下来，对于每个模型点，计算离具有与该模型点不同的属性信息的相邻模型点的距离(模型点之间的距离)。在这里，如果模型点之间的距离的最小值具有某个长度或更长，那么对于该点所存在于的部位，确定具有特定部位的可能性。作为指明特定部位的最终处理，包括几何特征4的部位(其包括模型点之间的距离的最小值(最小模型点之间的距离)等于或大于某个值的模型点)被登记为特定部位。
特定部位采样单元16基于从特定部位指明单元15获取的关于特定部位的信息以及从模型点采样单元13获取的关于模型点的信息以与相似朝向可充分区分的密度执行特定部位内部的模型点的采样。作为采样方法，可以执行采样以便在三维模型的面和边缘脊上均匀，或者可以随机执行采样。关于被采样的模型点，与已被采样的特定部位中的几何特征4(面或边缘脊)的对应关系与位置信息一起被保持在存储单元22中。关于与由特定部位指明单元15采样的特定部位的模型点的对应关系的信息被输入到位置和朝向计算单元17。
位置和朝向计算单元17基于所获取的信息来计算目标物体3的位置和朝向(位置和朝向)。在本实施例中，由位置和朝向计算单元17获取的信息包括测量数据(例如，距离图像、灰度图像)、三维形状模型、近似位置和朝向、由两种方法采样的模型点、以及相似朝向的转换参数。
具体地，首先，基于近似位置和朝向来计算位置和朝向，以使三维形状模型最拟合图像中的目标物体3。随后，基于相似朝向的转换参数，获取位置和朝向(其处于与计算出的位置和朝向易于被错误识别的关系)，并且使用该位置和朝向作为初始值分开执行模型拟合。随后，通过使用被包括在特定部位中的模型点来计算和比较模型拟合结果的评估值，并且具有较高评估值的一个的位置和朝向作为最终结果被输入到输出单元21。
通过将模型点投影到距离图像或灰度图像上并且校正位置和朝向以拟合图像上的几何特征来执行模型拟合。关于与模型点相关联的测量数据，可以通过使用距离图像或灰度图像中的任一个或者两者来执行拟合。
输出单元21将关于已经由位置和朝向计算单元17计算出的目标物体3的位置和朝向的信息输出到外部。作为输出目的地，可以列出控制抓住目标物体3等的机器人手的操作的控制单元23。
成像设备18优选地是获取识别目标物体3的位置和朝向所必需的测量信息的传感器。例如，成像设备18可以是拍摄二维图像的相机、拍摄其中每个像素具有深度信息的距离图像的距离传感器，或其组合。作为距离传感器，除了用相机拍摄辐射到目标物体上的狭缝光和激光的反射光并通过三角测量来测量距离的方法以外，还存在使用光飞行时间(lightflight time)等的飞行时间方法。此外，还可以使用从由立体相机拍摄的图像通过三角测量计算距离的方法。此外，如果可以获取识别物体的三维位置和朝向所必需的信息，那么可以使用任何传感器。
成像设备18可以例如向上或向侧面固定到目标物体，或者可以设置在机器人手等中。在本实施例中，使用使得能够获取距离图像和灰度图像两者的传感器。如上所述，测量数据或测量信息(诸如由成像设备18获取的、用作二维图像的灰度图像或距离图像)被输入到测量数据保持单元10。要注意的是，在成像设备18中设置的坐标系在下文中被称为“传感器坐标系”。
显示设备19经由相似朝向指明单元14从三维形状模型保持单元12获取三维形状模型并显示它。此外，它可以显示从成像设备18获取的图像以及由位置和朝向计算单元17计算的位置和朝向，并且可以让用户确认它。例如，液晶显示器、CRT显示器等被用作显示设备19。
操作设备20是例如键盘和鼠标，并且被用于输入来自用户的指令，特别地，鼠标被用于操作GUI。
要注意的是，通过将记录在ROM 102中的程序加载到RAM 103中并执行该程序，被包括在信息处理设备100中的相应处理单元的功能由图1中的CPU 101实现。此外，数据在每个处理单元中的保持和数据在存储单元22中的存储由存储器(诸如图1中的ROM 102和RAM103)执行。
图4A和图4B是示出在本实施例中计算目标物体3的位置和朝向的处理序列的流程图。在这些流程图中，首先，作为针对位置和朝向计算的准备，登记与易于被错误识别的两个位置和朝向(相似朝向)相关的转换参数，并且登记要作为用于区别的线索的特定部位。随后，以作为与登记的特定部位的相似朝向可区分的数字的密度执行模型点的采样。然后，在计算位置和朝向时，基于近似位置和朝向执行一次拟合，然后基于登记的转换参数产生相似朝向。然后，使用已经作为初始值的位置和朝向执行拟合，比较特定部位处的拟合结果，并采用具有较高评估值的位置和朝向。
下面将描述每个处理的细节。
(步骤S401)
在步骤S401中，信息处理设备100获取目标物体3的三维形状模型。所获取的三维形状模型由三维形状模型保持单元12保持。模型点采样单元13、相似朝向指明单元14、特定部位指明单元15及位置和朝向计算单元17从三维形状模型保持单元12获取目标物体3的三维形状模型。
(步骤S402)
在步骤S402中，模型点采样单元13基于输入的三维形状模型的信息对模型点进行采样。此时被采样的点被用于执行将在下面描述的步骤S408和S410中的模型拟合。如果执行用于模型拟合的模型点的采样，那么有必要预先设置三维形状模型上要执行采样的部位和要被采样的模型点的数量(即，采样点的数量)。参考模型点的采样信息，虽然在本实施例中设置了采样点的数量，但是可以替代地在对三维形状模型上的面和/或边缘脊线执行采样时设置采样密度。
三维形状模型上对其实施采样的部位优选地被设置为例如实施整个三维形状模型。通过对整个模型执行采样，预期通过模型拟合来降低输出不正确的位置和朝向的可能性。此外，如果目标物体3具有对模型拟合有很大贡献的几何特征，那么设置可以被限制到仅在三维形状模型中存在几何特征的部位，作为要在其中执行采样的部位。采样点的数量可以在满足模型拟合的精度和处理时间的期望条件的范围内适当地设置。
(步骤S403)
在步骤S403中，相似朝向指明单元14登记表示易于被错误识别为彼此的两个不同朝向(第一朝向和第二朝向)之间的关系的相似朝向的转换参数。作为在该步骤中登记朝向的方法，使用例如在日本专利申请公开No.2015-194478中公开的、使用GUI的方法。此时，用户通过经由相似朝向指明单元14通过使用操作设备20来操作GUI。
图5A至图5D示出了三维形状模型中的相似朝向和特定部位。三维形状模型保持单元12将三维形状模型发送到显示设备19，并且显示设备19显示已经被获取的两个三维形状模型布置在虚拟空间中的状态，如图5A中所示。在这里，两个所显示模型中的一个被称为参考模型501，另一个被称为操作模型502。通过经由信息处理设备100的用户操作，在显示设备19的显示画面上显示的操作模型502被置于其中操作模型502重叠在参考模型501上的状态，使得操作模型502的外观与参考模型501相似，同时参考模型501和操作模型502具有不同朝向。图5B是针对这种状态的示例，并且可以通过从两个模型完全重叠的状态围绕模型坐标系的Z’轴将操作模型502旋转180度来产生相似朝向。在产生相似朝向之后，计算两个三维形状模型之间的转换参数。
在这里，为参考模型和操作模型的三维形状模型设置的模型坐标系分别被称为“参考模型坐标系”和“操作模型坐标系”。此外，在虚拟相机中设置的坐标系被称为“虚拟相机坐标系”。要注意的是，虚拟相机坐标系与成像设备18的参考坐标系被相似地设置。此时，执行从参考模型坐标系到虚拟相机坐标系的朝向转换的3×3旋转矩阵由“RVB”表示，并且执行位置转换的三行平移向量由“tVB”表示。此时，从参考模型坐标系XB＝[XB,YB,ZB]T到虚拟相机坐标系XV＝[XV,YV,ZV]T的转换可以使用4×4矩阵TVB如下表示。
XV’＝TVBXB’
其中，
XV’＝[XV,YV,ZV,1]T
XB’＝[XB,YB,ZB,1]T
[公式1]
在下文中，TVB将被称为“参考模型的位置和朝向”(第一位置和朝向)。
相反，执行从操作模型坐标系到虚拟相机坐标系的朝向转换的3×3旋转矩阵由“RVO”表示，并且执行位置转换的三行平移向量由“tVO”表示。此时，从操作模型坐标系XO＝[XO,YO,ZO]T到虚拟相机坐标系XV＝[XV,YV,ZV]T的转换可以使用4×4矩阵TVO如下表示。
XV’＝TVOXO’
其中，
XO’＝[XO,YO,ZO,1]T
XV’＝[XV,YV,ZV,1]T
[公式2]
在下文中，TVO将被称为“操作模式的位置和朝向”(第二位置和朝向)。
从参考模型的位置和朝向TVB以及操作模型的位置和朝向TVO获取两个三维形状模型之间的相对位置和朝向。假设要获得的相对位置和朝向由“Tr”表示，Tr可以通过以下方式获得。
Tr＝(TVB)-1TVO
计算出的Tr可以由总共六个参数表示，其中三个参数表示位置并且三个参数表示朝向。因而，从Tr获取表示位置和朝向的六个参数的值，并将值的集合添加到列表，作为转换参数。要注意的是，代替六个参数的值，可以使用配置4×4矩阵的16个参数的值的集合作为转换参数。可替代地，可以将表示参考模型的位置和朝向的六个参数以及表示操作模型的位置和朝向的六个参数用作一个集合来作为转换参数。此外，如果参考模型和操作模型之间的相对位置和朝向Tr是可恢复的，换句话说，两个模型之间的位置和朝向可以彼此转换，那么可以使用任何参数作为转换参数。此外，可以使用表示朝向的仅三个参数作为转换参数。
在本实施例中，仅登记一个转换参数。但是，如果存在易于被错误识别的多个朝向，那么可以通过多次执行上述操作来执行每个转换参数的计算和每个转换参数向列表的添加。虽然上面已经描述了使用GUI登记转换参数的方法，但是这里描述的GUI是示例，并且可以通过使用除GUI之外的方法来登记(一个或多个)相似朝向的转换参数。此外，虽然已经描述了模型点的采样方法和相似朝向的登记方法，但是这个处理可以用关于目标物体3的三维形状模型的信息来执行，使得在本实施例中这个处理可以通过替换步骤S402和S403的次序来执行。
(步骤S404)
在步骤S404中，特定部位指明单元15登记要用于在步骤S403中登记的相似朝向的区别的特定部位。在本实施例中，采用相似于步骤S403的、其中用户使用GUI的方法来用于特定部位的登记。用户通过使用操作设备20经由特定部位指明单元15来操作GUI。在具有相似朝向关系的两个三维形状模型和用于登记特定部位的长方体(rectangularparallelepiped)被显示在显示设备19上的状态下，用户通过使用操作设备20来移动或者放大和缩小长方体,选择被长方体包围的部位，并且将该部位登记为特定部位。此时，关于在选择长方体时从虚拟相机可观察到的操作模型的表面，计算在画面上指明的长方体中在深度方向上的存在范围，并且计算由计算出的存在范围和画面上的长方体限定的三维空间。然后，基于操作模型相对于虚拟相机的位置和朝向，将计算出的三维空间重新转换到模型坐标系中并记录。
例如，如果操作模型围绕模型坐标系的Z’轴旋转180度，如图5B中所示，并且登记了类似朝向，那么画面基本上与目标物体3的X’Z’平面重合，如图5C中所示，然后由用于指定特定部位的长方体来指明特定部位503。由于作为区分相似朝向的线索的几何特征4是目标物体3的表面上的圆柱形形状，因此提供长方体以便包括圆柱形形状是有效的。因此，如图5D中所示，长方体的区域被登记为特定部位503。在特定部位503的指明中，虽然在本实施例中描述了使用长方体的方法，但是本发明不限于长方体，并且可以执行使用其它几何形状(诸如圆形、椭圆形和多边形)的指明。
此外，如果特定部位503被登记，那么可以基于在步骤S402中登记的相似朝向来重新计算和记录要配对的特定部位。例如，在具有如图6A中所示的这种形状的目标物体3的情况下，登记围绕模型坐标系的Z’轴旋转180度的相似朝向对于朝向区别而言是有效的，如图6B中所示。在这种相似朝向中，如图6C中所示，将两个区域登记为特定部位601和602被认为是有效的，并且这两个区域是配对的部位。即，如果两个特定部位601和602如图6C中所示被登记，那么，为了在计算位置和朝向时比较相似朝向的评估值，有必要记录两个朝向两者的特定部位。因而，基于转换参数将通过使用操作模型记录的特定部位的三维空间转换到布置有相似的朝向的参考模型的模型坐标系中，并且记录两个三维空间。因此，可以记录具有相似朝向关系的两个朝向的要比较的特定部位。要注意的是，如果登记了多个转换参数或特定部位，那么针对转换参数和特定部位的每个组合执行处理。虽然上面已经描述了使用GUI登记特定部位的方法，但是这里描述的GUI是示例，并且可以使用其它方法。
(步骤S405)
在步骤S405中，特定部位采样单元16基于在步骤S404中登记的特定部位的信息来执行模型点的采样。这里的采样点用于在下面将要描述的步骤S412中的评估值的计算。如果在步骤S405中采样用于采样相似朝向的区别的模型点，那么要被采样的部位被限制到特定部位。
虽然采样点的数量是预先设置的，但是这里的设置值必须是等于或者大于用于区分相似朝向所需的采样点的数量的值。在这里，当被设置的采样点的数量较大时，预期在下面将要描述的步骤S411中计算出的评估值之间的差异变得较大，使得容易区分相似朝向。图7示出了在步骤S402中针对整个目标物体3进行采样的模型点以及在步骤S405中针对包括几何特征4的特定部位503的内部进行采样的模型点。针对整个目标物体3采样的模型点与针对特定部位503采样的模型点之间的模型点密度存在差异，由此将在特定部位内部采样的模型点的密度设置得较高。针对特定部位503采样的模型点以比在整个目标物体3(除特定部位503以外的部位)中采样的模型点高的密度生成，使得可以容易地区分相似朝向。
采样点数量的设置值优选地是例如在由成像设备18获取的测量数据中被登记为特定部位的部位中可能存在的测量点的数量的上限值。测量点的数量的上限值是由可以获取目标物体3的测量数据的成像设备18的分辨率和成像设备18的能捕获的图像范围确定的值。图8是估计特定部位中几何特征4中的测量点的数量的上限值的方法的解释图。如图8中所示，通过将目标物体3布置在虚拟三维空间中成像设备18的能捕获的图像范围800内，可以估计所获取的图像上目标物体3的几何特征4的尺寸(边缘脊线的长度和与面的面积对应的像素的数量)。相反，从所获取的图像中提取的测量数据的密度不能超过图像的分辨率。因此，可以基于关于几何特征4的图像上的尺寸的信息和关于成像设备18的分辨率的信息来估计特定部位中几何特征4中的测量点的数量的上限值。如上所述，预期可以通过设置采样点的数量来确保足够数量的模型点以区分相似朝向。
虽然已经描述了关于特定部位503中的模型点的采样的各个用途的两种方法，但是，以相似于步骤S403的方式，用于采样模型点的设置参数不限于采样点的数量。具体地，可以将特定部位中的采样密度设置为用于采样的设置参数。此外，如果在步骤S403中多个部位被登记为特定部位，那么可以通过上述方法针对每个登记的特定部位计算测量点的数量的上限值，并且可以使用该值作为采样点的数量的设置值。
(步骤S406)
在步骤S406中，测量数据保持单元10获取由成像设备18捕获的目标物体3的距离图像和灰度图像。图9A示出了已经被捕获的图像900。要注意的是，在本实施例中，在对模型点进行采样之后获取测量数据。但是，如果已经由成像设备18执行了成像，那么可以在从步骤S401到步骤S405的一系列处理中的任何地方执行测量数据的获取。
(步骤S407)
在步骤S407中，近似位置和朝向计算单元11从存在于所捕获的图像中的许多批量的目标物体之中检测一个个体物体，并且计算并记录表示目标物体3在传感器坐标系中的近似位置和朝向的六个参数。在基于这里计算的六个参数从模型坐标系到传感器坐标系的坐标转换中，由表示朝向的三个参数表示的3×3旋转矩阵由“RSM”表示，并且由表示位置的三个参数表示的三行平移向量由“tSM”表示。在这种语境下，从模型坐标系XM＝[XM,YM,ZM]T到传感器坐标系XS＝[XS,YS,ZS]T的转换可以通过使用4×4矩阵T0’如下表示。
XS’＝T0’XM’
其中，
XS’＝[XS,YS,ZS,1]T
XM’＝[XM,YM,ZM,1]T
[公式3]
在下文中，T0’将被称为近似位置和朝向。图9B示出了基于近似位置和朝向T0’在拍摄图像上投影三维形状模型的结果。被投影的三维形状模型是虚线901。
(步骤S408)
在步骤S408中，位置和朝向计算单元17通过使用近似位置和朝向T0’作为初始值对三维模型和图像中的目标物体3执行模型拟合来计算目标物体3的位置和朝向。具体地，基于成像设备的参数及近似位置和朝向，将三维形状模型投影到拍摄图像上。此外，被投影的三维形状模型的特征与图像中的目标物体3的特征相关联，以减少残差，并且目标物体3的位置和朝向被计算。计算具有高精度的目标物体3的位置和朝向。在这里，可以由计算出的位置和朝向的六个参数表示并且执行从模型坐标系到传感器坐标系的坐标转换的4×4旋转矩阵由“T0”表示。在这里，图9C示出了用于基于拟合之后的位置和朝向T0将三维形状模型投影到所捕获的图像上的结果。被投影的三维形状模型是虚线902。在这个示例中，近似位置和朝向计算单元11检测到不正确的个体物体。因而，即使在本步骤中执行了具有高精度的位置和朝向计算，也无法计算正确的位置和朝向。
(步骤S409)
在步骤S409中，位置和朝向计算单元17计算在步骤S408中计算的位置和朝向的评估值，将评估值与预定阈值进行比较以确定位置和朝向是否正确，并且确定是否将执行后续处理。例如，将拟合之后的位置和朝向中模型表面上的几何特征与图像中的几何特征之间的三维距离假设为残差(偏差量的获取)。然后，可以使用所有几何特征的残差的平均值E作为得分。
如果计算出的残差的平均值E小于预定阈值(例如，0.1mm)，那么确定可以导出正确的位置和朝向，并且本处理结束。相反，如果残差的平均值大于阈值，那么确定获得了不正确的位置和朝向，并且处理前进到步骤S410。阈值可以例如由用户预先设置。此外，确定位置和朝向是否正确的方法不限于此。例如，基于计算出的T0，可以获得并使用通过对模型进行投影所渲染的图像与捕获的图像之间物体部位中的亮度的规范化互相关系数R。在这种情况下，如果R大于预定值(例如，0.9)，那么处理前进到步骤S411。相反，如果R小于预定值，那么处理前进到步骤S408。要注意的是，如果在这种方法中通过对模型进行投影来执行渲染，那么可以将目标物体3的表面特性考虑在内以反映在亮度的计算中。而且，如果使用使得能够清楚地区分在步骤S408中计算出的位置和朝向是否正确的方法，那么可以使用任何方法。要注意的是，这个处理可以被省略，并且该处理不可避免地前进到步骤S410。
(步骤S410)
在步骤S410中，位置和朝向计算单元17通过使用位置和朝向T0以及从相似朝向指明单元14获取的N组转换参数中的每一组生成位置和朝向的新候选。首先，可从转换参数中恢复的相对位置和朝向由“Tr_i(i＝1至N)”表示，并且通过使用它们中的每一个而产生的位置和朝向的新候选由“Ti’”表示。
Ti’如下计算。
Ti’＝T0Tr-i -1
图9D示出了基于位置和朝向的新候选Ti’将三维形状模型投影到拍摄图像上的状态。被投影的三维形状模型由虚线903示出。接下来，通过使用所生成的新候选的位置和朝向Ti’作为初始值，位置和朝向计算单元17计算(导出)目标物体3的位置和朝向，使得拍摄图像以相似于步骤S408的方式拟合三维形状模型。这里计算的位置和朝向由“Ti”表示。
(步骤S411)
在步骤S411中，位置和朝向计算单元17确定在步骤S409中生成的N个位置和朝向Ti的计算是否已经完成。如果N个Ti的计算已经完成，那么处理前进到步骤S412，否则处理返回到步骤S410。要注意的是，步骤S410中的处理可以关于位置和朝向的N个新候选并行执行。
(步骤S412)
在步骤S412中，位置和朝向计算单元17基于在步骤S305中确定的特定部位的采样信息，关于(N+1)个位置和朝向Ti(i＝0至N)(这已经在步骤S410中计算出来)来计算评估值。具体地，基于特定部位的模型点与测量点之间的重合程度来计算评估值。然后，位置和朝向计算单元17将与计算出的评估值之中的最佳评估值对应的位置和朝向作为目标物体3的最终位置和朝向输出。
作为这里使用的评估值，可以以相似于步骤S409的方式使用残差，或者可以使用基于计算出的位置和朝向将目标物体投影到其上的图像与拍摄图像之间的规范化互相关。此外，如果使用基于评估值清楚地区分正确或不正确的位置和朝向的方法，那么可以使用任何方法。图9E示出了评估两个位置和朝向T0和Ti，并且将Ti作为最终位置和朝向输出的状态。此时输出的最终位置和朝向是由虚线904所示的位置和朝向。
如上所述，在第一实施例中，已经描述了通过在根据特定部位用设置值预先对模型点进行采样之后使用采样的模型点来执行模型拟合和相似朝向的区别的方法。通过使用这种方法，可以以高速和高精度区别具有不同局部部位形状的目标物体之间的朝向差异。
(第二实施例)
在第一实施例中，参数被设置为以便为特定部位采样尽可能多的模型点。模型点的数量越多，相似朝向的区别越容易，而计算评估值的处理时间增加。如果采样点的数量或采样密度的设置值过大，那么可能造成相似朝向的清楚区别与处理时间不能兼容的情况。因而，在本实施例中，采样点的数量或采样密度被确定为使得要采样的模型点的数量等于或小于预定参考值，该预定参考值使得能够在维持区别的精度的同时抑制处理时间的增加。具体地，在执行特定部位的采样之后，附加地执行区分采样点的数量是否过多以及剔除过多数量的采样点的处理。由于根据本实施例的信息处理设备100的配置与第一实施例的配置相似，因此将省略其描述。
接下来，将描述本实施例的处理序列。图10A和图10B示出了在本实施例中计算目标物体3的位置和朝向的处理序列。在图10A中，步骤S1001至S1005与第一实施例中的步骤S401至S405的处理相同，因此将省略其描述。此外，图10B中的步骤S1008至S1014与第一实施例中从步骤S406至步骤S412的处理相同，并且其描述也将被省略。
(步骤S1006)
在步骤S1006中，特定部位采样单元16将在步骤S1005中采样的模型点的数量与要采样的模型点的预定参考值进行比较，并且确定模型点的数量是否过多。模型点的数量的预定参考值(下文也称为“采样参考点数量”)可以与面积无关地设置，但是它可以对于每个被观察的面积分阶段设置。在这里，采样参考点的数量是预先设置的参数。采样参考点的数量被设置在相似朝向可以被区分的范围内，并且可以在期望的处理时间内执行一系列处理。
作为区分特定部位中模型点的数量是否过多的方法，例如，存在如果执行采样处理则对所生成的模型点的数量进行计数的方法。在步骤S1006中，如果特定部位中模型点的数量大于参考模型点的数量，那么确定模型点的数量过多，并且处理前进到步骤S1007。相反，如果特定部位中模型点的数量等于或小于参考模型点的数量，那么处理前进到步骤S1008。
(步骤S1007)
在步骤S1007中，特定部位采样单元16执行对被确定为过多的模型点进行剔除的处理，使得模型点的数量等于或小于预定参考值。作为剔除模型点的方法，例如，存在剔除模型点以便以尽可能相等的间隔在特定部位中分布模型点的方法。具体地，首先，基于关于采样参考值的信息和关于被包括在特定部位中的几何特征的面积和脊线的长度的信息，在假设模型点(其是剔除之后的模型点)被均匀分布的情况下，计算模型点之间的距离的理想值。接下来，针对在特定部位中被实际采样的每个模型点，计算离最近的模型点的距离。如果距离比理想值短，那么用于计算距离的两个模型点中的任一个被剔除。通过对所有模型点顺序执行这个处理，可以剔除模型点以便以大致相等的间隔分布模型点。此外，作为剔除模型点的另一方法，可以使用随机剔除模型点的方法。
虽然采样参考点的数量针对与模型点的剔除有关的设置参数而被设置，但是在执行剔除处理之后三维形状模型上的面和边缘脊上的模型点的密度(下文中被称为“采样参考密度”)可以被设置。在这种情况下，作为剔除过多模型点的方法，首先，针对每个预定表面面积划分特定部位，并且基于关于采样参考密度的信息来计算在该区域中存在的模型点的数量的理想值(下文中也被称为“区域内参考模型点的数量”)。随后，对于每个划分的区域，对在该区域中实际存在的模型点的数量进行计数，并且如果模型点的数量大于区域内参考模型点的数量，那么在每个区域中过多的模型点的数量被剔除。通过执行这个处理，可以剔除模型点使得模型点几乎是均匀分布的。
虽然以上已经描述了本实施例中的处理序列，但是不一定执行紧接在步骤S1005之后的步骤S1006和步骤S1007的处理(它们是本实施例中的特征性处理)。即，可以在从步骤S1005中在特定部位中产生模型点的时间到在步骤S1014中模型点用于计算目标物体的位置和朝向的评估值的时间的可选定时处执行该处理。此外，如果指明了多个特定部位，那么可以执行区分对于每个指明的特定部位模型点的数量是否过多以及剔除模型点的处理。
如上所述，在对特定部位执行采样之后，附加地执行区分被采样点的数量是否过多以及剔除过多数量的点的处理，因此，处理时间的增加可以被抑制，同时维持区别的精度。
(第三实施例)
在第一实施例和第二实施例中，以对于所登记的特定部位而言预期是最佳的数量唯一地采样模型点，并且被采样的模型点被用于区别相似朝向。在这些实施例中，假设目标物体在拍摄图像上只取得了一定程度的有限朝向，并在一定程度上被观察为具有相同的尺寸。但是，如果测量范围在一定程度上大并且目标物体被布置成批量加载状态，那么目标物体可以采取各种朝向，并且可以在成像设备18的测量范围内在图像上以各种尺寸观察到目标物体。在那种情况下，在第一实施例和第二实施例中被采样的模型点的数量不一定是最佳的，并且依赖于目标物体的布置，可能造成过多数量的模型点的采样。在本实施例中，依赖于目标物体布置在测量范围内的什么地方，最佳模型点被选择并用于区别相似朝向。具体地，哪些模型点要被采样是依赖于目标物体的近似位置和朝向的值预先设置的，并且对应的模型点基于关于计算出的近似位置和朝向的信息被选择并用于区别相似朝向。通过使用这种方法，即使目标物体在测量范围内采取各种位置和朝向，也可以在最佳条件下区别相似朝向。由于根据本实施例的信息处理设备100的配置与第一实施例的配置相同，因此将省略其描述。
将描述本实施例的处理序列。图11A和图11B示出了本实施例中目标物体的位置和朝向的计算的处理序列。在图11A中，由于从步骤S1101至步骤S1104的处理与第一实施例中从步骤S401至步骤S404的处理相同，因此将省略其描述。此外，由于图11B中步骤S1107和S1108的处理与第一实施例中的步骤S406和S407的处理相同，因此其描述也将被省略。此外，由于图11B中从步骤S1110至步骤S1114的处理与第一实施例中从步骤S408至步骤S412的处理相同，因此将省略其描述。
(步骤S1105)
在步骤S1105中，特定部位采样单元16设置设定模型点的近似位置和朝向(下文中被称为“近似位置和朝向的候选”)和针对近似位置和朝向的每个候选的采样条件。采样条件包括例如特定部位中的采样密度和要采样的模型点的数量。作为设置采样条件的方法，例如，存在在测量范围内为目标物体的每个位置设置采样条件的方法。
图12A至图12C是示出用于近似位置和朝向的每个候选的模型点的采样方法的解释图。
在图12A中，如从成像设备18看到的，目标物体1200被放在能捕获的图像范围800的前方，并且目标物体1210被放在后方。在这种情况下，放在前方的目标物体1200大于被放在后方的目标物体1210。因而，即使放在前方的目标物体1200的模型点的密度低于放在后方的目标物体1210的模型点的密度，也可以区别相似朝向。因此，在图12A中所示的情况下，将成像设备前方的模型点的采样密度设置得低于在后方的模型点的采样密度是有效的。近似位置和朝向的候选的数量不限于两个，并且可以设置任何数量。在那种情况下，如果被放置的目标物体处于有利于区别相似朝向的位置(例如，几何特征被观察为大的位置)，那么将采样密度设置为低是有效的。相反，如果被放置的目标物体处于不利于区别相似朝向的位置(例如，几何特征被观察为小的位置)，那么将采样密度设置为高是有效的。
不仅可以为测量范围内的位置而且可以为目标物体的每个朝向设置采样条件。例如，如图12B中所示，通过从观察到的朝向围绕xyz的每个轴旋转90度而获得的4×4×4＝64个朝向用作近似位置和朝向的候选，并且可以基于在每个朝向的特定部位中几何特征4的每个视图来设置采样密度。作为示例，示出了如图12C中所示观察到的朝向(其是通过从图12B的朝向围绕y轴旋转90度)。在图12B中，特定部位中的几何特征4被观察为较大。在这种情况下，将图12B中所示的朝向中的采样密度设置为低于图12C中的采样密度是有效的。以相似的方式，关于剩余的朝向，拍摄图像上特定部位中的几何特征4的视图也是不同的。因此，在有利于区别相似朝向的朝向(例如，其中观察到几何特征4的较大部分的朝向)中，将采样密度设置为低是有效的，而在不利于区别相似朝向的朝向(例如，其中观察到几何特征4的较小部分的朝向)中，将采样密度设置为高是有效的。要注意的是，在本实施例中，作为示例，给出了围绕xyz的每个轴旋转90度的情况的描述，但本发明不限于此，并且可以对任意朝向设置采样密度。
虽然上面已经描述了为近似位置和朝向的每个候选设置采样条件的两种方法，但是这些方法可以被组合。例如，在关于位置假设如图12A中所示的两个位置并且关于朝向假设通过使目标物体的朝向围绕xyz的每个轴旋转90度而获得的64种类型朝向的情况下，可以假设总共128种类型的位置和朝向的候选。通过为这128种类型的近似位置和朝向的候选中的每一种设置采样点的数量，可以对于更多的位置和朝向以最佳条件区分相似朝向。
作为设置采样点的数量的方法，虽然可以使用对每个位置、每个朝向或者组合它们的近似位置和朝向的每个候选来设置采样密度本身的值的方法，但是也可以使用其它方法。例如，仅预先设置要作为参考的近似位置和朝向的候选(下文中称为“位置和朝向参考”)及其在位置和朝向参考中的采样密度。随后，关于其它近似位置和朝向的候选，可以设置与位置和朝向参考的差或者与位置和朝向参考中的采样点的数量的比率。此外，可以针对近似位置和朝向的一个候选来设置采样条件，但是本发明不限于此，并且可以针对近似位置和朝向的多个候选设置共享采样条件。此外，本发明不限于设置与近似位置和朝向的候选相关联的采样条件的方法，并且可以使用设置与测量范围或朝向范围内的区域相关联的采样条件的方法。
(步骤S1106)
在图11A的步骤S1106中，特定部位采样单元16根据在步骤S1105中设置的采样条件针对近似位置和朝向的每个候选执行模型点的采样。关于被采样的模型点的信息与近似位置和朝向的候选相关联。关于近似位置和朝向的候选的信息以及关于与其相关联的模型点的信息被发送到位置和朝向计算单元17，并且确定哪些模型点将在步骤S1109中被使用，这是下面要描述的处理。
(步骤S1109)
在步骤S1109中，位置和朝向计算单元17基于在步骤S1108中计算出的关于近似位置和朝向的信息来确定哪个模型点要用于区别相似朝向。作为确定要使用的模型点的方法，执行在步骤S1108中计算出的近似位置和朝向与在步骤S1105中设置的近似位置和朝向的候选之间的核对(collation)。如果从近似位置和朝向的候选之中找出与在步骤S1108中计算出的近似位置和朝向重合的一个候选，那么将与近似位置和朝向的这一个候选相关联的模型点用于区别相似朝向。如果没有从近似位置和朝向的候选之中找出与在步骤S1108中计算出的近似位置和朝向重合的一个候选，那么选择最近的一个近似位置和朝向的候选，并且与其相关联的模型点被用于区别相似朝向。
如上所述，根据本实施例，可以基于关于近似位置和朝向的信息来选择对应的模型点并且区分相似朝向，使得在具有各种位置和朝向的目标物体的测量中，区别的精度和处理时间的限制是兼容的。
(第四实施例)
在第一实施例、第二实施例和第三实施例中，已经描述了区分具有相同形状的物体(对于这种形状，朝向易于被错误识别)的方法。在本实施例中，将描述目标物体与在形状上局部不同的相似物体之间的区别方法。
图13A至图13D示出了目标物体3和相似物体。在本实施例中，假设具有如图13A中所示形状的目标物体3与具有如图13B中所示形状的相似物体1300之间的区别。目标物体3和相似物体1300在形状的一部分(目标物体3的几何特征4和相似物体1300的几何特征1301)中是不同的，例如，如果相似物体批量地与目标物体3混合，那么可以发生错误的识别。为了防止这种错误识别，首先，除了目标物体3的三维形状模型以外，还输入相似物体的三维形状模型，并且可能造成目标物体3与相似物体1300之间的错误识别的相对朝向被登记，然后要作为区别线索的特定部位503被登记。图13C和图13D示出了要登记的特定部位503的示例。之后，在目标物体3和相似物体1300的三维形状模型中分别采样特定部位503中的模型点，对于在拍摄图像上观察到的物体执行模型拟合，并且计算特定部位503中的评估值。随后，使用目标物体3的模型点的特定部位503中的评估值与使用相似物体1300的模型点的特定部位503中的评估值进行比较，使得目标物体3和相似物体1300被区分。要注意的是，由于根据本实施例的信息处理设备100的配置与第一实施例的配置相似，因此将省略其描述。
接下来，将描述本实施例的处理序列。在图14A和图14B中，示出了本实施例中目标物体和相似物体的区别的处理序列。在图14B中，由于从步骤S1406至步骤S1408的处理与第一实施例中从步骤S406至步骤S408的处理相同，因此将省略描述。
(步骤S1401)
在步骤S1401中，模型点采样单元13、相似朝向指明单元14、特定部位指明单元15以及位置和朝向计算单元17从三维形状模型保持单元12获得目标物体3的三维形状模型和相似物体1300的三维形状模型。执行这些处理的次序可以可选地被选择或者可以被同时获得。
(步骤S1402)
在步骤S1402中，模型点采样单元13基于已经输入的关于目标物体3的三维形状模型的信息和关于相似物体1300的三维形状模型的信息来对模型点进行采样。在这里被采样的点用于执行下面将要描述的步骤S1408和S1410中的模型拟合。在这里，用于执行采样的条件与第一实施例的步骤S402中的条件相似，因此将省略其描述。
(步骤S1403)
在步骤S1403中，相似朝向指明单元14关于目标物体3和相似物体1300登记易于被错误识别的相对位置和朝向的转换参数。关于如图13A中所示的目标物体3和相似物体1300，与图13B中所示的相对位置和朝向对应的转换参数被登记。由于登记相对位置和朝向的转换参数的方法与第一实施例的步骤S403中的方法相似，因此将省略其描述。
(步骤S1404)
在步骤S1404中，特定部位指明单元15登记区分具有在步骤S1403中登记的相对位置和朝向的目标物体3与相似物体1300的特定部位503。如果如图13C中所示的相对位置和朝向在步骤S1403中被登记，那么如图13D中所示登记特定部位503是有效的。由于在本实施例中登记特定部位503的方法与第一实施例中的步骤S1403和步骤S404中的方法相似，因此将省略其描述。
(步骤S1405)
在步骤S1405中，特定部位采样单元16基于关于在步骤S1404中登记的特定部位503的信息对于目标物体3的三维形状模型和相似物体1300的三维形状模型中的每个而采样特定部位503中的模型点。在这里，被采样的点用于下面将要描述的步骤S1411中的评估值的计算。在这里，用于执行采样的条件与第一实施例的步骤S405中的条件相似，因此将省略其描述。
(步骤S1409)
在步骤S1409中，位置和朝向计算单元17计算用于在步骤S1408中计算出的目标物体3的位置和朝向的评估值，并将该评估值与预定阈值进行比较。作为评估值的示例，以与第一实施例相似的方式，关于在拟合之后位置和朝向中模型表面上的几何特征与图像中的几何特征之间的三维距离的残差，可以使用全部几何特征的残差的平均值。如果计算出的残差的平均值E小于预定阈值，那么确定物体是目标物体3，并且可以省略后续处理。相反，如果残差的平均值E大于预定阈值，那么确定物体可能是相似物体1300，并且处理前进到步骤S1410。此外，如果在目标物体3与相似物体1300之间清楚地区分的方法用于在步骤S1408中计算的位置和朝向，那么可以使用任何方法。要注意的是，这个处理可以被省略，并且处理可以前进到步骤S1410。
(步骤S1410)
在步骤S1410中，位置和朝向计算单元17通过使用在步骤S1408中计算的位置和朝向T0以及目标物体3的朝向和相似物体1300的朝向的转换参数来生成新的位置和朝向的候选。首先，从转换参数中可恢复的相对位置和朝向由“T”表示，并且通过使用它们中的每一个产生的新的位置和朝向的候选由“T’”表示。
“T”如下计算。
T’＝T0T-1
接下来，位置和朝向计算单元17计算位置和朝向，以便通过以生成的新候选的位置和朝向T’作为初始值来拟合拍摄图像与三维形状模型。在这里，三维形状模型使用目标物体3的模型和相似物体1300的模型两者，并计算它们中的每一个的朝向。通过使用目标物体3的三维形状模型计算的位置和朝向由“TA”表示，并且通过使用相似物体1300的三维形状模型计算的位置和朝向由“TB”表示。
(步骤S1411)
在步骤S1411中，位置和朝向计算单元17关于在步骤S1410中计算出的位置朝向TA、TB根据被登记为特定部位的部位中的模型点与测量点之间的重合程度来计算评估值。作为这里使用的评估值，可以以与步骤S1409相似的方式使用残差，并且也可以使用目标物体3基于计算出的位置和朝向被投影的图像与拍摄图像之间的规范化互相关。此外，如果基于评估值使用清楚地区分位置和朝向是否正确的方法，那么可以使用任何方法。
(步骤S1412)
在步骤S1412中，位置和朝向计算单元17将针对位置和朝向TA计算的评估值(评估值A)与针对位置朝向TB计算的评估值(评估值B)进行比较。具体地，如果评估值A高于评估值B，那么确定拍摄图像中的物体是目标物体3。相反，如果评估值B高于评估值A，那么确定拍摄图像中的物体是相似物体1300。
虽然上面已经描述了本实施例中的处理序列，但是在本实施例中并不总是必须严格遵循图14A和图14B中的处理流程图。例如，如果在步骤S1405中执行特定部位中的模型点的采样，那么如第二实施例中那样确定模型点是否被过度采样，并且如果模型点被过度采样，那么可以添加剔除处理。此外，如第三实施例中那样，可以使用为执行特定部位中的采样的情况下的近似位置和朝向的每个候选设置采样条件的方法。
(第五实施例)
上述成像设备18可以在由支撑构件支撑的状态下使用。在本实施例中，作为示例，如图15中所示，将给出在作为抓握设备的机器人手臂1500中安装和使用的控制系统的描述。具有用作测量单元的成像设备18的测量设备将图案光(pattern light)投影到已经被批量加载在支撑件1550上的目标物体3上并且捕获图像，并且信息处理设备100获取图像。然后，信息处理设备100的位置和朝向计算单元17获得目标物体3的位置和朝向，并且控制单元23获取关于所获得的位置和朝向的信息。控制单元23基于作为测量结果的、关于目标物体3的位置和朝向的信息将驱动命令发送到机器人手臂1500并且控制机器人手臂1500。机器人手臂1500通过作为抓握单元和保持单元的尖端处的机器人手等保持目标物体3，并且通过平移移动和旋转移动来移动物体。另外，通过由机器人手臂1500将目标物体3组装到其它部分，可以制造由多个部分配置的物品，例如电子电路板、机器等。此外，可以通过处理已经移动的目标物体3来制造物品。此外，由信息处理设备100获取的测量数据、图像和计算结果可以显示在显示设备19(诸如显示器)上。
(物品制造方法的实施例)
根据上述实施例的测量装置可以用于制造物品的方法。制造物品的方法可以包括通过使用测量装置来测量物体的步骤以及基于测量结果对已经在该步骤中执行了测量的物体执行处理的步骤。处理可以包括以下中的至少一个：例如处理、切割、运输、组装(安装)、检查和分类。与常规方法相比，本实施例的物品制造方法在物品的性能、质量、生产率和生产成本中的至少一个方面是有利的。
(其它实施例)
本发明的(一个或多个)实施例也可以由读出并执行记录在存储介质(其也可以被更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机实现，以及由系统或装置的计算机通过例如从存储介质中读出并执行计算机可执行指令以便执行上述(一个或多个)实施例之中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个实施例)之中的一个或多个实施例的功能所执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括独立计算机或独立处理器的网络来读出和执行计算机可执行指令。计算机可执行指令可以从例如网络或存储介质中提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的储存器、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存存储器设备、存储卡等等当中的一种或多种。
虽然本发明已经参照示例性实施例进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围是要符合最广泛的解释，以便涵盖所有此类修改和等同的结构及功能。
本申请要求于2016年11月30日提交的日本专利申请No.2016-233160的权益，该申请的全部内容通过引用被结合于此。

Claims (21)

1.一种信息处理设备，其特征在于，所述信息处理设备计算目标物体的位置和朝向，所述信息处理设备包括：
获取单元，被配置为获取目标物体的形状的测量数据和目标物体的形状模型；以及
计算器，被配置为基于由获取单元获取的形状模型中用于指定目标物体的朝向的特定部位的采样信息以及目标物体的形状的测量数据来计算目标物体的位置和朝向。
2.如权利要求1所述的信息处理设备，其中采样信息包括关于要采样的模型点的密度的信息，并且特定部位中的模型点的密度高于除该特定部位以外的部位中的模型点的密度。
3.如权利要求2所述的信息处理设备，其中要采样的模型点的数量等于或小于预定参考值。
4.如权利要求1所述的信息处理设备，其中采样信息根据对目标物体进行成像的成像设备的分辨率或能捕获的图像范围而改变。
5.如权利要求1所述的信息处理设备，还包括近似计算器，该近似计算器被配置为计算目标物体的近似位置和朝向，
其中采样信息针对目标物体的近似位置和朝向的每个候选而设置，以及
被配置为计算目标物体的位置和朝向的计算器还被配置为基于由近似计算器计算的目标物体的近似位置和朝向来确定要用于计算目标物体的位置和朝向的采样信息。
6.如权利要求1所述的信息处理设备，其中获取单元被配置为还获取形状与目标物体相似的相似物体的三维形状模型，
采样信息包括要用于在目标物体与相似物体之间进行区别的特定部位的采样信息，以及
被配置为计算目标物体的位置和朝向的计算器还被配置为基于目标物体的采样信息和相似物体的采样信息来确定被测量的物体是否是目标物体。
7.如权利要求1所述的信息处理设备，还包括被配置为确定采样信息的采样单元。
8.如权利要求7所述的信息处理设备，其中采样单元被配置为确定要采样的模型点的密度以用作采样信息，并且在特定部位中的确定的模型点的密度高于在除所述特定部位以外的部位中要采样的模型点的密度。
9.如权利要求8所述的信息处理设备，其中采样单元被配置为在等于或小于预定参考值的范围内确定要采样的模型点的数量以用作采样信息。
10.如权利要求7所述的信息处理设备，其中采样单元被配置为基于对目标物体进行成像的成像设备的分辨率或能捕获的图像范围来确定采样信息。
11.如权利要求7所述的信息处理设备，还包括近似计算器，该近似计算器被配置为计算目标物体的近似位置和朝向，
其中采样单元被配置为针对目标物体的近似位置和朝向的每个候选设置采样信息，以及
被配置为计算目标物体的位置和朝向的计算器还被配置为基于由近似计算器计算出的目标物体的近似位置和朝向来确定要用于计算目标物体的位置和朝向的采样信息。
12.如权利要求7所述的信息处理设备，其中获取单元被配置为还获取形状与目标物体相似的相似物体的三维形状模型，
采样单元被配置为还确定要用于在目标物体与相似物体之间进行区别的特定部位的采样信息，以及
被配置为计算目标物体的位置和朝向的计算器还被配置为基于目标物体的采样信息和相似物体的采样信息来确定被测量的物体是否是目标物体。
13.如权利要求1所述的信息处理设备，还包括输出单元，该输出单元被配置为输出由被配置为计算目标物体的位置和朝向的计算器计算出的目标物体的位置和朝向的信息。
14.如权利要求1所述的信息处理设备，其中特定部位是用于区分目标物体的相似朝向的部位。
15.一种测量目标物体的位置和朝向的测量装置，其特征在于，该测量装置包括：
测量单元，被配置为测量目标物体的形状；以及
如权利要求1至14中任一项所述的信息处理设备，
其中信息处理设备被配置为获取由测量单元测量的目标物体的形状的测量数据并且计算目标物体的位置和朝向。
16.一种系统，其特征在于，该系统包括：
如权利要求1至14中任一项所述的信息处理设备；以及
机器人，被配置为保持和移动目标物体，
其中机器人被配置为基于从信息处理设备输出的目标物体的位置和朝向来保持目标物体。
17.一种计算目标物体的位置和朝向的方法，其特征在于，该方法包括：
获取步骤，获取目标物体的形状和目标物体的形状模型的测量数据；
指明步骤，在获取步骤中获取的形状模型中，区分目标物体的相似朝向并指明用于指明朝向的特定部位；以及
计算步骤，基于在指明步骤中指明的特定部位的采样信息和目标物体的形状的测量数据，计算目标物体的位置和朝向。
18.一种存储介质，其特征在于，该存储介质存储使计算机执行如权利要求17所述的计算方法的计算机程序。
19.一种设备，包括：
一个或多个处理器；以及
存储器，存储当被执行时使所述一个或多个处理器执行如权利要求17所述的方法的步骤的指令。
20.一种包括用于执行如权利要求17所述的方法的步骤的部件的装置。
21.一种制造物品的方法，其特征在于，该方法包括：
通过使用如权利要求15所述的测量装置来测量目标物体；以及
基于测量的结果处理目标物体。
CN201711213323.9A 2016-11-30 2017-11-28 信息处理设备和方法、存储介质和物品制造方法 Pending CN108120391A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-233160 2016-11-30
JP2016233160A JP2018091656A (ja) 2016-11-30 2016-11-30 情報処理装置、計測装置、システム、算出方法、プログラムおよび物品の製造方法

Publications (1)

Publication Number Publication Date
CN108120391A true CN108120391A (zh) 2018-06-05

Family

ID=60484093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711213323.9A Pending CN108120391A (zh) 2016-11-30 2017-11-28 信息处理设备和方法、存储介质和物品制造方法

Country Status (4)

Country Link
US (1) US20180150969A1 (zh)
EP (1) EP3330921A1 (zh)
JP (1) JP2018091656A (zh)
CN (1) CN108120391A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114364971A (zh) * 2019-08-30 2022-04-15 瑞尼斯豪公司 用于确定样品中存在的组分的光谱装置和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
CN109840947B (zh) * 2017-11-28 2023-05-09 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN108089958B (zh) * 2017-12-29 2021-06-08 珠海市君天电子科技有限公司 Gpu测试方法、终端设备和计算机可读存储介质
JP7119606B2 (ja) * 2018-06-11 2022-08-17 オムロン株式会社 計測システムおよび計測方法
CN109242903B (zh) * 2018-09-07 2020-08-07 百度在线网络技术（北京）有限公司 三维数据的生成方法、装置、设备及存储介质
JP7208480B2 (ja) * 2018-10-12 2023-01-19 富士通株式会社 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法
JP7259648B2 (ja) * 2019-08-30 2023-04-18 オムロン株式会社 顔向き推定装置及び方法
CN113674430A (zh) * 2021-08-24 2021-11-19 上海电气集团股份有限公司 虚拟模型定位配准方法、装置、增强现实设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211066A1 (en) * 2010-02-26 2011-09-01 Canon Kabushiki Kaisha Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
WO2015141178A1 (en) * 2014-03-20 2015-09-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP2007098567A (ja) * 2006-09-25 2007-04-19 Hitachi Ltd 自律制御型ロボットおよびその制御装置
JP4900204B2 (ja) * 2007-11-22 2012-03-21 株式会社Ｉｈｉ 物体認識方法
JP5460341B2 (ja) * 2010-01-06 2014-04-02 キヤノン株式会社 ３次元計測装置及びその制御方法
JP2011175477A (ja) 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の３次元位置姿勢の認識装置及び認識方法
JP6071522B2 (ja) * 2012-12-18 2017-02-01 キヤノン株式会社 情報処理装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211066A1 (en) * 2010-02-26 2011-09-01 Canon Kabushiki Kaisha Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
WO2015141178A1 (en) * 2014-03-20 2015-09-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114364971A (zh) * 2019-08-30 2022-04-15 瑞尼斯豪公司 用于确定样品中存在的组分的光谱装置和方法

Also Published As

Publication number Publication date
US20180150969A1 (en) 2018-05-31
EP3330921A1 (en) 2018-06-06
JP2018091656A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
CN108120391A (zh) 信息处理设备和方法、存储介质和物品制造方法
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
US20170173798A1 (en) Information processing apparatus, information processing method, and storage medium
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN109426835B (zh) 信息处理装置、信息处理装置的控制方法和存储介质
US20180290300A1 (en) Information processing apparatus, information processing method, storage medium, system, and article manufacturing method
EP3502958B1 (en) Object recognition processing apparatus, object recognition processing method, and program
US11232589B2 (en) Object recognition device and object recognition method
CN110793431A (zh) 工件测量装置、工件测量方法以及计算机可读介质
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN110832542A (zh) 识别处理设备、识别处理方法和程序
JP2018151830A (ja) 画像処理装置、画像処理方法及びプログラム
KR20180008575A (ko) 정보 처리 장치, 방법, 및 프로그램
JP2019158628A (ja) 検査装置、検査方法、及び検査プログラム
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
JP3661635B2 (ja) 画像処理方法およびその装置
CN113116377A (zh) 超声成像导航方法、超声设备及存储介质
JP2001143073A (ja) 物体の位置姿勢決定の方法
CN115619783B (zh) 产品加工缺陷的检测方法及装置、存储介质、终端
CN116203976A (zh) 变电站室内巡检方法、装置、无人机和存储介质
EP3605463A1 (en) Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium
JPH05157518A (ja) 物体認識装置
JP7397100B2 (ja) ワーク画像解析装置、ワーク画像解析方法、及びプログラム
CN113496142A (zh) 物流件的体积测量方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180605

RJ01 Rejection of invention patent application after publication