CN103984362B - 位置和姿势测量装置、信息处理装置以及信息处理方法 - Google Patents

位置和姿势测量装置、信息处理装置以及信息处理方法 Download PDF

Info

Publication number
CN103984362B
CN103984362B CN201410042860.1A CN201410042860A CN103984362B CN 103984362 B CN103984362 B CN 103984362B CN 201410042860 A CN201410042860 A CN 201410042860A CN 103984362 B CN103984362 B CN 103984362B
Authority
CN
China
Prior art keywords
posture
target object
rough
information
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410042860.1A
Other languages
English (en)
Other versions
CN103984362A (zh
Inventor
广田祐郎
广田祐一郎
立野圭祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103984362A publication Critical patent/CN103984362A/zh
Application granted granted Critical
Publication of CN103984362B publication Critical patent/CN103984362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种位置和姿势测量装置、信息处理装置以及信息处理方法，这些装置以及所述方法能够稳健地执行位置和姿势的测量。为了实现上述装置和方法，需要从包括目标物体的图像中获取所述目标物体的至少一个粗略位置和姿势；需要基于所获取的粗略位置和姿势新生成至少一个候选位置和姿势，并作为用于导出所述目标物体的位置和姿势的初始位置和姿势；以及基于作为初始位置和姿势而生成的所述候选位置和姿势，通过将所述目标物体的模型信息与所述图像中的所述目标物体进行关联，从而导出图像中的所述目标物体的位置和姿势。

Description

位置和姿势测量装置、信息处理装置以及信息处理方法
技术领域
本发明涉及一种位置和姿势测量装置、信息处理装置以及信息处理方法，用于测量已知形状的物体的位置和姿势。
背景技术
近年来，随着计算机视觉的不断发展，人们正越来越多地研究允许机器人执行复杂任务的技术。这些任务的主要示例中包括工业产品的装配。当机器人自主地执行装配工作时，诸如手等的末端执行器通常需要保持将被装配的组件(目标物体)。在保持组件之前，机器人利用照相机对实际环境进行摄像。然后，通过将目标物体的模型信息与所拍摄的图像进行拟合，机器人测量实际环境中的目标物体的位置和姿势。此外，基于所获得的测量结果，机器人生成运动计划并实际控制致动器。
另外，将被装配的组件可能具有复杂的形状和质地。由于关于模型信息与用于被机器人保持组件的实际环境间的信息拟合需要稳健性(robustness)，因此已进行了各种研究。
例如，日本专利申请特开2012-26974号公报描述了一种以稳健的方式假定照相机的位置和姿势的方法。根据该方法，首先，在照相机可能的位置和姿势范围内，以预定采样间隔生成多个初始位置和姿势。接下来，对每个初始位置和姿势执行拟合计算，具有最高分的位置和姿势被确定为所述拟合的最终位置和姿势。
然而，上述日本专利申请特开2012-26974号公报中描述的方法是基于这样一种假设：即照相机的位置和姿势的可能范围被预先确定在合适的范围内。因此，如果没有满足该假设的话，那么就不能以稳健方式获得照相机的位置和姿势。
发明内容
根据本发明的一个方面，位置和姿势测量装置包括：获取单元，被配置为从包括目标物体的图像中获取所述目标物体的至少一个粗略位置和姿势；生成单元，被配置为基于所获取的粗略位置和姿势而新生成至少一个候选位置和姿势，并将其作为用于导出所述目标物体的位置和姿势的初始值；以及导出单元，被配置为：基于作为初始位置和姿势而生成的所述候选位置和姿势，通过将所述目标物体的模型信息与所述图像中的所述目标物体进行关联，从而导出图像中的所述目标物体的位置和姿势。
根据本发明，可以实现对位置和姿势的稳健测量。
通过下文对示例性实施方式的描述并结合附图，本发明的进一步特征将显而易见。
附图说明
图1示出了根据本发明的第一至第七示例性实施方式的系统配置。
图2的框图示出了程序的模块配置。
图3A至3F示出了三维模型信息的配置。
图4的流程图示出了整个拟合处理过程。
图5A至5C示出了用于从粗略位置和姿势的分布中生成候选位置和姿势的方法。
图6的流程图示出了位置和姿势的计算过程。
图7A和7B示出了如何搜索对应点。
图8示出了边缘的投影图像与检测到的边缘之间的关系。
图9A、9B及9C示出了用于通过校正位置和姿势的可能分布而生成初始位置和姿势的方法。
图10示出了粗略位置和姿势中的三维模型。
图11A和11B示出了如何从所述粗略位置和姿势的三维模型中获得边缘检测点的分布。
图12示出了亮度图像，所述亮度图像包括所述测量目标物体的背景中的噪声。
图13A和13B示出了如何从所述亮度图像中获取边缘检测点的分布。
图14示出了本发明第六示例性实施方式的概念。
图15示出了根据本发明的第八示例性实施方式的机器人系统的配置示例。
具体实施方式
以下将结合附图详细描述本发明的各种示例性实施方式、特征及各方面。以下所描述的各示例性实施方式均示出了本发明的示例性实施方式的具体示例。
根据第一示例性实施方式，目标物体的亮度图像和距离图像同时被摄像装置和投影装置获得。接下来，利用二维尺度使得三维模型信息与亮度图像拟合，利用三维尺度使得所述三维模型信息与距离图像拟合。此外，所获得的结果同时被二维尺度和三维尺度评估。根据本示例性实施方式，尽管同时利用了二维尺度和三维尺度执行拟合，但在本发明中同样可以只使用二维尺度或只使用三维尺度。
针对三维模型信息的初始位置的设置，根据对摄像装置拍摄的亮度图像执行的全搜索而获得位置和姿势的可能分布(粗略位置和姿势的分布)。然后，根据所获得的粗略位置和姿势的分布，生成多个初始的或候选的位置和姿势。此外，根据候选位置和姿势执行拟合。最后，最为匹配的位置和姿势作为最终拟合结果被输出。
以这种方式，可以是局部解的位置和姿势被全面验证，从而能提高拟合的稳健性。以下将详细描述所述处理过程的细节。在以下对根据本发明的所有示例性实施方式的描述中，除非另有指定，否则“拟合”均是指将测量目标物体的二维或三维几何模型与图像中的所述测量目标物体的位置、或位置和姿势进行拟合。
图1示出了根据第一示例性实施方式的位置和姿势测量装置的系统配置。
测量目标物体101是位置和姿势的测量的目标物体。根据本示例性实施方式，如图1所示，为了简化描述，提供了一个测量目标物体101。然而，下文所述的位置和姿势测量处理并没有在很大程度上依赖于测量目标物体的形状、数量或堆积状态。例如，本发明适用于测量一堆具有不同形状的待测量的混合物体中的物体的位置和姿势。
投影装置102将图案光投射在测量目标物体101上。下文将详细描述投影装置102。
摄像装置103拍摄静止图像或移动图像。根据本示例性实施方式，摄像装置103对测量目标物体101执行摄像，上述摄像可以利用或不利用由投影装置102投射在测量目标物体101上的图案光。当摄像完成后，摄像装置103就将拍摄的图像发送给位置和姿势测量装置104。下文将详细描述摄像装置103。
位置和姿势测量装置104与投影装置102和摄像装置103连接。除了控制投影装置102和摄像装置103的操作之外，位置和姿势测量装置104还利用摄像装置103拍摄的图像而获得测量目标物体101的位置和姿势。此外，位置和姿势测量装置104被配置为执行如图2所示的处理，例如，作为运行在处理器或电路中的程序或软件。三维模型信息存储单元202对应于设置在位置和姿势测量装置104内部或外部的存储设备，例如硬盘或存储器。例如，三维模型信息存储单元202可以被包括在硬盘中，且计算机可执行程序也可以被存储在硬盘中，所述计算机可执行程序促使中央处理单元(CPU)执行除了所述三维模型信息存储单元202之外的所述位置和姿势测量装置104的各个单元的功能。接下来，所述位置和姿势测量装置104的CPU读取被存储在硬盘中的计算机可执行程序或数据，将所述计算机可执行程序或数据加载到随机存取存储器(RAM)中，并利用从硬盘中读取的所述计算机可执行程序或数据执行处理。一般个人计算机(PC)可以用作位置和姿势测量装置104。此外，位置和姿势测量装置104通过基于RS-232C或IEEE488的通用通信接口控制投影装置102和摄像装置103的操作。摄像装置103的摄像时间由所述位置和姿势测量装置104控制。
接下来将参照图2中的框图描述所述位置和姿势测量装置104的功能的配置示例。
三维模型信息存储单元202存储三维计算机辅助设计(CAD)模型，所述三维CAD模型可由三维CAD软件或测量目标物体的形状信息来进行处理。通过将三维CAD模型转换成计算机绘图中使用的多个多边形元素而获得形状信息。根据本示例性实施方式，CAD模型是利用多边形元素模拟所述测量目标物体101的形状的三维几何模型。下文将结合图3描述三维模型信息的配置。
如图3A至3C所示，由多边形元素构成的三维几何模型包括点、线和面。各个图3A至3C示出了同一个三维几何模型。
根据由多边形元素构成的三维几何模型的模型信息，图3A所示的三维几何模型的各顶点由所述顶点的索引(index)和所述顶点的三维坐标值管理，如图3D所示。
此外，根据该模型信息，图3B所示的三维几何模型的各个边由所述边的索引和所述边的末端的顶点管理，如图3E所示。
还有，根据该模型信息，图3C所示的三维几何模型的各个面(多边形)由所述多边形的索引、构成所述多边形的线段以及所述多边形的法向量管理，如图3F所示。
所述三维模型信息存储单元202被存储在位置和姿势测量装置104的某个存储器中，或被存储在可由所述位置和姿势测量装置104访问的外部存储器中。
粗略位置和姿势获取单元203获取已由摄像装置103拍摄的测量目标物体101的图像。在本实施例中，测量目标物体101的该图像具有投影装置102投射的图案。接下来，粗略位置和姿势获取单元203从已获得的被拍摄图像中获取测量目标物体101的可能位置和姿势(粗略位置和姿势)。下文将描述具体的方法。
基于粗略位置和姿势获取单元203获得的粗略位置和姿势的分布，候选位置和姿势生成单元204生成多个候选位置和姿势。下文将描述用于生成候选位置和姿势的方法。
候选位置和姿势选择单元205从多个候选位置和姿势中选择一个或多个候选位置和姿势作为初始值，用于位置和姿势的拟合计算。通过筛选所述多个候选位置和姿势，能够减少计算时间。下文将描述用于选择候选位置和姿势的方法。
利用候选位置和姿势选择单元205所选择的候选位置和姿势的位置和姿势，位置和姿势计算单元206将三维模型与摄像装置103获得的亮度图像和距离图像进行拟合。然后，位置和姿势计算单元206计算出最终位置和姿势。
摄像装置103是照相机，用于拍摄提供有测量目标物体101的工作区的图像。在本发明的描述中，没加修饰词的“坐标系”和“位置和姿势”分别表示照相机的“坐标系”以及照相机的坐标系中的“位置和姿势”。另一方面，“模型坐标系”表示为各模型定义的、用于表达组件的三维模型的顶点或者面的位置的坐标系。诸如焦距、主点位置及镜头畸变参数等照相机的内部参数将被预先使用例如以下文章中描述的方法进行校准：“一种用于照相机校准的新型弹性方法”(A flexible new technique for camera calibration)(IEEETransaction Pattern Analysis and Machine Intelligence，第22卷，第11号，1330-1334页，2000年，作者Z.Zhang)。
投影装置102利用液晶投影仪投射图案光。诸如焦距、主点位置及镜头畸变参数等投影仪的内部参数将被预先使用与校准照相机所使用的方法类似的方法进行校准。投影装置102并不限于液晶投影仪，也可以是不同类型的投影仪，只要该投影仪能投射图案光即可。例如，可以是使用数字微镜器件(DMD，digital micro-mirror device)或硅基液晶(LCOS，liquid crystal on silicon)的投影仪。
位置和姿势测量装置104控制投影装置102和摄像装置103以获得测量目标物体的亮度图像和距离图像。
例如，可以如下文所述获得亮度图像和距离图像。首先，当位置和姿势测量装置104获得亮度图像时，所述位置和姿势测量装置104生成预定图案，并通过例如数字视频接口(DVI)等通用显示接口将投影图案的数据发送给投影装置102。此外，所述位置和姿势测量装置104通过例如RS-232C或IEEE488等通用通信接口控制投影装置102的操作。然后，根据所述位置和姿势测量装置104的控制，投影装置102基于被发送的投影图案的数据而在显示装置上显示图案。被投射的图案是例如全开灯图案(full ON pattern)、全关灯图案(full OFF pattern)、空间编码中使用的格雷码或使用相移的正弦波图案。
所述位置和姿势测量装置104从摄像装置103获得由摄像装置103拍摄的、被投射图案的测量目标物体101的图像。换句话说，所述位置和姿势测量装置104获得数字图像信号，所述数字图像信号是根据摄像装置103执行的采样和量化而获得的。此外，所述位置和姿势测量装置104从所获得的图像信号中获取以各像素的亮度(浓度值)表示的图像数据，并将所获得图像数据存储在存储器中。
基于所拍摄的图像中的图案光的形状，利用三角测量原理，从而生成距离图像。通常该方法被称为“主动立体”(active stereo)。用于获得距离图像的方法并不局限于主动立体法，也可以采用例如“被动立体”(passive stereo)等不同的方法来实现本发明的示例性实施方式。
图4的流程图示出了上述信息处理装置的拟合处理的流程。该流程图示出了所述处理流程的概要。以下将参照其他附图来详细描述尤为重要的处理。
在步骤S401中，位置和姿势测量装置104的CPU指示摄像装置103对工作区中的测量目标物体101进行摄像，并获得所述测量目标物体101的亮度图像和距离图像。
在步骤S402中，位置和姿势测量装置104的CPU对所述测量目标物体101的多个粗略位置和姿势的亮度图像执行全搜索，并确定所述位置和姿势的可能分布。利用对图像进行全搜索以获得所述图像中的测量目标物体的粗略位置和姿势的技术是常用技术。例如，一种利用模式匹配(pattern matching)而计算物体的三维模型的图像中的位置和姿势的方法在下述非专利文献中描述：“利用树形分类器集成对堆积物体进行检测和姿态估计”(“Detection and Pose Estimation of Piled Objects using Ensemble of TreeClassifiers”)(Hiroto Yoshii，图像识别和理解会议(MIRU2010)，2010)。
根据该方法，在图像中多次执行模式匹配。从一次匹配处理中获得的结果被记录为一个“投票”。当全部模式匹配都完成后，投票结果就被编译，并作为全搜索的结果被呈现。从一个投票中获得的结果包括测量目标物体的位置和姿势的六个参数的信息。然而，实际上，为了简化计算，与二维尺度或三维尺度相关联的参数可以被分类并以代表值表示。根据本发明，各具有六个位置和姿势参数的多个投票被用作目标组件的位置和姿势的可能分布。
图5A示出了以这种方式获得的粗略位置和姿势的分布的示例。根据本示例性实施方式，尽管出于简化目的而以两个参数(x，y)表达位置和姿势，但实际拟合时可以使用所述位置和姿势的六个参数。
此外，所述用于在根据本示例性实施方式的图像中搜索特定组件的位置和姿势的方法所使用的图像并不限于亮度图像。换句话说，例如距离图像等三维信息也可以用于检索所述组件的位置和姿势。
还有，尽管上文的描述中使用了用于获得粗略位置和姿势的分布的全搜索，但根据本发明，并非总是需要执行图像的全搜索。例如，如果组件被持续放在工作区域中基本相同的位置，那么就可能只对该区域使用局部搜索。
在步骤S403中，基于在步骤S402中获得的粗略位置和姿势的分布，位置和姿势测量装置104的CPU生成预定数量的候选位置和姿势。
首先，CPU基于粗略位置和姿势的分布来计算平均向量μ和协方差矩阵∑，并应用高斯分布。图5B示出了CPU创建的分布图。在图5B中，通过绘制二维高斯分布的概率密度而获得的等高线被添加到图5A所示的粗略位置和姿势的分布中。
接下来，根据所获得的高斯分布，CPU生成预定数量的候选位置和姿势。所述预定数量是通过对系统需要的可允许时间执行逆运算而获得的数量。图5C示出了以这种方式生成的候选位置和姿势。基于已知的概率密度分布而生成采样数据点的方法在本领域中是已知的技术，并且可以采用任意的合适的技术。
在图5C的示例中，在步骤S402中获得的粗略位置和姿势(在图5C中被标绘为黑点)以及新生成的候选位置和姿势(在图5C中被标绘为黑三角)的总数量被设为20。这20个点为初始位置和姿势。
根据本示例性实施方式，由于被设为粗略位置和姿势的位置和姿势被认为具有一定的合理性，因此它们被采用为候选位置和姿势。然而，根据本示例性实施方式，可以只采用新生成的位置和姿势作为候选位置和姿势。
尽管高斯分布被用作概率密度模型，但事实上也可以使用其他分布(预定分布功能)作为概率密度模型，只要该分布能概括所获得的粗略位置和姿势的分布即可。此外，也可以使用正方形分布。
在步骤S404中，位置和姿势测量装置104的CPU从在步骤S403中获得的多个候选位置和姿势中选择具有得分高的预定数量(一个或多个)的候选位置和姿势。得分表示三维模型与亮度图像及距离图像的匹配率。更具体地，CPU执行一次位置和姿势计算处理的位置和姿势更新处理(以下将参照图6中的步骤S601至S606进行描述)。然后，CPU比较候选位置和姿势，并按照高分顺序对候选位置和姿势分类。此外，CPU提取出得分最高的预定数量的候选位置和姿势。
通过只对已被选择的候选位置和姿势执行需要重复处理的位置和姿势计算处理，可以减少总的拟合时间。CPU通过对系统所需的可允许时间执行逆运算而设置候选位置和姿势的预定数量。此外，任何值都可以用作得分，只要该值能表达三维模型与亮度图像或距离图像的匹配度即可。
例如，也可以使用以下方法：获取三维模型与亮度图像或距离图像间的误差向量(下文所述)，并使用范数的倒数(reciprocal ofthe norm)。下文图6的步骤S603中提供了关于误差向量的进一步解释。然而，也可以使用不同的索引。根据上文所述的选择处理，在使用得分评估候选位置和姿势之前，在步骤S601至S606中执行一次(关联一次)位置和姿势更新处理。然而，执行该处理的次数并不限于一次，对方法也没有限制，只要能以适当(合理)方式快速确定合适的初始位置和姿势即可。
例如，可以不更新位置和姿势而计算得分，或者可以在将位置和姿势更新两次或多次之后计算得分。有很多方法能被用作选择处理的实际过程。本发明的选择处理的方法并不限于某种特定方法。
在步骤S405中，位置和姿势测量装置104的CPU为在步骤S404中选择的预定数量的一个或多个候选位置和姿势中的每一个确定最终位置和姿势。下文将参照图6描述位置和姿势计算处理的细节。图6的流程图示出了步骤S405中示出的一个初始位置和姿势的位置和姿势计算处理的详细过程。
根据本示例性实施方式，利用高斯-牛顿方法，通过使用反复运算而重复校正测量目标物体的候选位置和姿势(下文以“s”表示)，从而计算出位置和姿势。根据本示例性实施方式，基于被假定为图像中的边缘的位置和姿势，并基于离被投射在所述图像上的三维模型的边缘的距离，以及所述距离图像的点群数据的各个点和位置与姿势，所述位置和姿势被优化，以便将被转换成三维测量装置的坐标系的面之间的距离的总和最小化。
更确切地说，二维图像中点和直线之间的各符号距离和三维空间中点和平面之间的符号距离被线性泰勒展开式表示为组件的位置和姿势的微小变化的线性函数。接下来，通过建立并解析关于符号距离为0的位置和姿势的微小变化的线性联立方程式，为位置和姿势的所述微小变化重复校正组件的位置和姿势。
在步骤S601中，位置和姿势测量装置104的CPU执行初始化。更准确地说，CPU将在步骤S404中选择的候选位置和姿势设置为下文称为“当前位置和姿势”的所述位置和姿势的初始值。
在步骤S602中，位置和姿势测量装置104的CPU执行关联处理。首先，基于当前位置和姿势，CPU将三维模型的各个边缘投射到图像上，并对各个面执行坐标转换以转换成三维测量装置的坐标系。然后，CPU对边缘和点群数据执行关联。
图7A和7B示出了边缘的拟合方法。
图7A示出了被投射在亮度图像上的三维模型的边缘。首先，在被投射的边缘701上以规律的间隔设置多个控制点702。接下来，在被投射的边缘701的法线方向上为各个控制点702画搜索线703。另外，在其中一个控制点702作为原点的搜索线703的预定范围内执行一维边缘检测。接下来，被检测到的边缘中最靠近控制点的那个点被存储为对应点704。
图7B是将控制点作为原点的图，该图的横轴表示搜索线，纵轴表示亮度梯度的绝对值。检测到的所述边缘作为所述图像中的像素值的亮度梯度的绝对值的极值。在图7B中，将亮度梯度的绝对值的极值大于预定阈值705且最靠近控制点的点设置为对应点704。
接下来，位置和姿势测量装置104的CPU在点群数据和模型的一个面之间执行关联处理。换句话说，CPU在范围图像中搜索一个点，并执行关联处理，其中，在三维空间中该范围图像与该模型面上的各点最近。
在步骤S603中，位置和姿势测量装置104的CPU计算用于求解线性联立方程式的系数矩阵和误差向量。根据本示例性实施方式，系数矩阵的各元素是位置和姿势的微小变化的线性偏导数。针对边缘计算出图像坐标的偏导数，针对点群计算出三维坐标的偏导数。关于误差向量，就边缘而言是被投射的边缘与被检测的边缘在图像中的距离。就点群数据而言，是范围图像中的一个点与模型的一个面上的一个点在三维空间中的距离。
图8示出了边缘的投影图像与被检测边缘之间的关系。在图8中，图像的水平方向和垂直方向分别由u轴和v轴表示。通过在图像中按规律间隔分割各个被投射的边缘而获得的控制点被表示为点(u0，v0)，并且控制点所属的边缘在图像中的倾斜度被表示为相对于u轴的倾斜θ。倾斜θ被计算出，以作为通过基于“s”将边缘两端的三维坐标投射在图像上并连接图像中的两端的坐标而获得的直线的倾斜。图像中的边缘的法向量将会是(sinθ，-cosθ)。此外，控制点的对应点的坐标被设置为(u’，v’)。通过点(u’，v’)并具有倾斜θ的直线上的点(u，v)被表示如下：
u sinθ-v cosθ=d 公式1
其中θ是常数，并且其中
d=u’sinθ-v’cosθ 公式2
图像中的控制点的位置根据测量目标物体的位置和姿势而改变。此外，测量目标物体的位置和姿势的自由度为6度。换句话说，“s”是六维矢量，并由表示测量目标物体的位置的三个元素和表示姿势的三个元素组成。表示姿势的三个元素可以由例如欧拉角或三维矢量表示。三维矢量的方向表示旋转轴，尺寸表示旋转角。根据位置和姿势改变的控制点的点(u，v)可根据线性泰勒展开式在点(u0，v0)附近被近似，例如由公式3表示的那样。Δsi(i=1，2，…，6)表示“s”的各组件的微小变化。
公式3
由正确的“s”获得的控制点在图像中的位置被假定为在公式1表示的直线上。通过把利用公式3近似到的u和v代入到公式1中，就得到公式4。
公式4
其中，r是常数。
r=u0sinθ-v0cosθ 公式5
三维测量装置的坐标系中的三维坐标可以被将被测量的组件的位置和姿势“s”转换为模型坐标系中的三维坐标(x，y，z)。根据粗略位置和姿势，如果点被转换成模型坐标系中的点(x0，y0，z0)，那么由于三维坐标(x，y,z)根据测量目标物体的位置和姿势而改变，因此可以在点(x0，y0，z0)附近通过线性泰勒展开式近似出三维坐标(x，y,z)，如公式6所表示。
公式6
在步骤S602中，当与点群数据中的点相关联的三维模型的面的模型坐标系中的方程式为ax+by+cz=e(a2+b2+c2=1，其中a，b，c及e是常数)时，被正确的“s”转换的(x，y，z)被假定为满足平面的ax+by+cz=e(a2+b2+c2=1)的方程式，并通过将公式6代入所述平面方程式中得到公式7。
公式7
其中，q是常数。
q=ax0+by0+cZ0 公式8
公式6适用于已在步骤S602中进行拟合的所有边缘。此外，由于公式7适用于在步骤S602中已被关联的所有点群数据，因此诸如公式9等关于Δsi的线性联立方程式可以成立。
公式9
其中，公式9可以被表示为公式10。
JΔs=E 公式10
对用于计算出公式9中的线性联立方程式的系数矩阵J的偏导数的计算是根据下述文献中描述的方法执行的：“利用随机化的树识别关键点”(“Keypoint recognitionusing randomized trees”)(IEEE Transactions on Pattern Analysis and MachineIntelligence,第28卷，第9号，2006，V.Lepetit and P.Fua)。
在步骤S604中，位置和姿势测量装置104的CPU基于公式10并利用矩阵J的伪逆矩阵(JT·J)-1·JT而获得Δs。然而，由于边缘和点群数据包括因错误检测而导致的多个异常值，因此使用下文所述的稳健估计方法(robust estimation method)。一般来说，对于异常值的边缘(点群数据)误差d-r(e-q)变得较大。因此关于公式9和10的联立方程式的贡献率变大，作为结果获得的Δs的准确性将会降低。
因此，具有大误差d-r(e-q)的数据被赋予小权重，而具有小误差d-r(e-q)的数据被赋予大权重。权重是通过例如公式11所示的图基(Tukey)函数获得的。
公式11
在公式11中，c1，c2是常数。此外，赋予权重的函数不一定是图基函数。换句话说，可以使用任何函数，只要该函数能对具有大误差的数据赋予较小权重而对具有小误差的数据赋予较大权重即可，例如Huber函数。
当与各个数据(边缘或点群数据)相对应的权重是权重wi时，加权矩阵W被定义为如公式12所表示的那样。
公式12
除了对角组分以外，加权矩阵W是0的方阵。权重wi被用于所述对角组分。通过使用加权矩阵W，将公式10改为公式13。
WJΔs=WE 公式13
通过解公式13得到校正值Δs，如公式14中表示的那样。
Δs=(JTWJ)-1JTWE 公式14
在步骤S605中，位置和姿势测量装置104的CPU利用在步骤S604中算出的位置和姿势的校正值Δs更新所述位置和姿势。
在步骤S606中，位置和姿势测量装置104的CPU判断位置和姿势是否已收敛。如果CPU判定位置和姿势已收敛(在步骤S606中为“是”)，那么所述位置和姿势就被设置为拟合结果，然后处理结束。如果CPU判定位置和姿势还未收敛(在步骤S606中为“否”)，那么处理就返回至步骤S602，然后步骤S602至步骤S605中的处理被再次执行，直至所述位置和姿势被收敛。关于收敛判断，当步骤S605中使用的校正值等于或小于预定值，并且可以被认为无实质变化时，CPU就判定所述位置和姿势已收敛。收敛判断方法并不限于上述方法。例如，在将处理重复预定次数后，处理可以推进至下一个步骤，因为可以认为位置和姿势已收敛。
在步骤S406中，CPU比较在步骤S405中获得的预定数量(一个或多个)的位置和姿势的得分的计算结果，并将具有得分高的一个或多个位置和姿势输出以作为最终拟合结果。得分是与步骤S404中描述的指标类似的指标(index)。
根据本示例性实施方式，从通过在测量目标物体的图像中执行全搜索而获得的结果中确定了测量目标物体的粗略位置和姿势的分布。接下来，基于所述分布，通过全面验证可以是局部解的多个位置和姿势，从而即使是在环境包括大量噪声或者测量目标物体具有复杂的形状的情况下，也能稳健地执行位置和姿势的测量。
根据本发明的测量目标物体的位置和姿势的计算方法并不一定是高斯-牛顿法。例如，可以使用关于计算更为稳健的Levenberg-Marquardt 算法，或者更为简单的最速下降法(steepest descent)。此外，也可以使用不同的非线性最优化计算方法，例如共轭梯度法(conjugate gradient method)或者不完全Cholesky共轭梯度(ICCG，incompleteCholesky-conjugate gradient)法。
根据本示例性实施方式，尽管位置和姿势测量装置104直接从摄像装置103获取所拍摄的图像，但用于获得所拍摄的图像的方法并不局限于该示例。例如，可以从存储有摄像装置103拍摄的图像的存储器中获得所拍摄的图像。在这种情况下，摄像装置103并不一定与位置和姿势测量装置104连接。
根据本示例性实施方式，测量目标物体的三维模型信息与包括摄像装置拍摄的组件的图像的组合被描述为用于拟合的形状信息的组合。然而，形状信息的组合并不限于上述示例。换句话说，可以使用任何信息，只要该信息允许形状信息的关联即可。除了三维模型信息和图像之外，还可以使用激光范围传感器通过测量获得的三维点群信息作为物体的形状信息的示例。
根据第一示例性实施方式，利用多维高斯分布，从测量目标物体的粗略位置和姿势的分布中生成候选位置和姿势。然而，不利用例如高斯分布等概率密度模型也可以生成候选位置和姿势。
作为该种方法的示例，根据本发明的第二示例性实施方式，在预定采样间隔的情况下收集粗略位置和姿势的分布。接下来，基于所获得的结果生成候选位置和姿势。在第一示例性实施方式中，通过图4中的步骤S403确定了位置和姿势的分布，而下文所述的处理取代了图4中的步骤S403。
首先，确定位置和姿势的分布的汇总的范围。图9A示出了图5A所示的位置和姿势的分布在x1至x2以及y1至y2的采样方格(bin)中所拍摄的图像的范围，其中方格的宽度“d”是预先设置的常数。例如，该宽度“d”可以是通过将测量目标物体的长边除以预定值而获得的值。在以下描述中，将描述这样一种情况：测量目标物体的长边的长度为50mm，预定值为10，因此宽度“d”是将50除以10得到的5mm。此外，例如宽度“d”可以不通过除测量目标物体的长边而获得，而是通过将摄像范围除以预定数量而获得。
下文汇总了在上述所设置的方格(bin)范围内的位置和姿势的数量。在图9B中，位于每个网格(grid)中的位置和姿势的数量被计数，并被呈现在各个网格的中心。然后，选择了包括最高票数(4)的网格。在图9B中，所述方格是从左数的第四个网格，是从上数的第三个网格。
最后，在选择的方格中以预定间隔生成候选位置和姿势。可以基于通过系统所需的可允许时间的逆运算获得的候选位置和姿势的数量将预定间隔设置为合适的值。另外，没有必要总是平均所述间隔，并且针对方格中的候选位置和姿势的数量，可以随机生成候选位置和姿势。图9C展示了生成9个候选位置和姿势的情况。
关于以此方式生成的候选位置和姿势，需要执行根据第一示例性实施例的图4中的从步骤S404开始的处理。
按照这种方式，根据本示例性实施例，通过以预定采样间隔汇总粗略位置和姿势的分布并利用该分布，能够比第一示例性实施例更简单更快速地获得结果。
根据第一和第二示例性实施例，描述了基于粗略位置和姿势的分布生成候选位置和姿势的方法，该方法是基于下述假设的：能够获得测量目标物体的多个可能的粗略位置和姿势。但是，生成候选位置和姿势不限于基于粗略位置和姿势的分布的方法。例如，如果通过模板匹配估计粗略位置和姿势，那么就根据匹配的模板的数量或将在搜索中使用的步长(step width)确定被估计的位置和姿势的分辨率。在此情况下，关于实际位置和姿势，在粗略位置和姿势的分辨率的范围内会发生被估计的位置和姿势的不明确。根据第三示例性实施例，考虑到上述不明确因素，下面将描述基于估计的粗略位置和姿势的分辨率生成候选位置和姿势的方法，该方法已经将上述不明确因素考虑在内。在第一示例性实施例中，通过图4中步骤S403中的处理能够确定候选位置和姿势，而下述处理替代了图4中步骤S403中的所述处理。
首先确定粗略位置和姿势的分辨率。粗略位置和姿势的分辨率是表示位置和姿势的最小步长。例如，如果位置的分辨率是1毫米，那么小于1毫米的值就不能估计粗略位置和姿势。粗略位置和姿势的分辨率是基于采样宽度或粗略位置和姿势的精确度或测量目标物体的尺寸来确定的。例如，如果基于第一示例性实施例的图4中的步骤S402中使用的模型拟合的方法被用作粗略位置和姿势的估计方法，那么就基于姿势的采样宽度来确定姿势的分辨率，其中所述姿势的采样宽度被注册为用于拟合而将要使用的模型。例如，如果将姿势参数采样并对姿势参数在网格球顶(geodesic dome)的8度中执行模型拟合，那么作为采样宽度的8度就会成为姿势的分辨率。另外，通过计算相对于利用姿势的分辨率来估计的位置的可能的误差范围，能够得到位置的分辨率。更详细地，利用下述等式，基于姿势参数的分辨率ω[rad]和测量目标物体的长边的长度“w”毫米，能够获得基于所述姿势的最大偏移量(misalignment width)“d”毫米。然后，计算出的“d”被设置为位置的分辨率。
Δs=(JTWJ)1JTWE 公式14
根据本示例性实施例，通过上述方法，基于姿势的采样宽度和测量目标物体的尺寸能够确定粗略位置和姿势的分辨率。但是，粗略位置和姿势的确定方法不限于上述方法。例如，可以根据将要用于估计粗略位置和姿势的图像的分辨率来设置位置的分辨率。另外，位置的分辨率还可以根据位置和姿势的估计的不确定性而设置，上述位置和姿势的估计的不确定性是基于图像传感器的噪声或下述非专利文献讨论的测量目标物体的形状而假设的：IEEE《可视化与计算机图形学事务》(Transactions on Visualization and ComputerGraphics)杂志中的《增强现实中的头部姿势的分析》(“Analysis of head pose accuracyin augmented reality”)，作者W.Hoff和T.Vincent，第六卷，第四号，第319-334页，2000年版。
另外，用户可以提前将位置的分辨率作为设置参数来设置。只要能确定作为粗略位置和姿势的最小可能步长的分辨率，可以使用任何确定方法。确定方法并不有损本发明的本质。
然后，基于粗略位置和姿势的分辨率生成候选位置和姿势。更详细地，候选位置和姿势是如下方式生成的采样：以粗略位置和姿势为中心，在粗略位置和姿势的分辨率的宽度范围内以预定间隔生成。可以基于通过系统所需的可允许时间的逆运算获得的候选位置和姿势的数量将采样间隔设置为合适的值。另外，候选位置和姿势的采样间隔并不一定是预定间隔，并且对于候选位置和姿势的数量而言所述采样间隔可以是随机设置的。关于在所生成的候选者中心的粗略位置和姿势，可以使用第一示例性实施例的图4中的步骤S402中获得的粗略位置和姿势的分布的平均值。另外，如果获得了单个粗略位置和姿势点而不是粗略位置和姿势的分布，那么也可以使用所述单个粗略位置和姿势点。候选位置和姿势的生成方法不限于上述方法。例如，根据粗略位置和姿势的分辨率，可以利用高斯分布来近似位置和姿势的可能范围，然后可以生成候选位置和姿势，正如第一示例性实施例中的情况。在此情况下，从第一示例性实施例的图4中的步骤S402中获得的粗略位置和姿势的平均值的分布中获得与位置和姿势的六个参数相关联的多维高斯分布的平均矢量μ。然后，利用粗略位置和姿势的分辨率宽度，通过设置高斯分布的方差-协方差矩阵∑，能够计算出基于粗略位置和姿势的分辨率的多维高斯分布。另外，与第一示例性实施例的图4中的步骤S403中执行的一样，通过对基于获得的高斯分布的位置和姿势的预定数量进行采样，生成候选位置和姿势。通过利用近似第一示例性实施例中所示的粗略位置和姿势的分布的分布以及基于分辨率的高斯分布，可以生成基于高斯分布的位置和姿势。在此情况下，更具体地，基于上述分辨率通过添加高斯分布而获得的分布被添加到利用第一示例性实施例的图4中的步骤S403中的方法而获得的高斯分布。然后，基于所获得的分布，可以利用与第一示例性实施例的图4中的步骤S403中的方法相似的方法而生成候选位置和姿势。
如上所述，关于候选位置和姿势的生成，生成方法并不受限制，可以利用任何方法，只要能够基于粗略位置和姿势的分辨率来生成候选位置和姿势即可。
关于以此方式生成的候选位置和姿势，与第一示例性实施例中所执行的一样，执行图4中从步骤S404开始的处理。
通过这种方式，根据本示例性实施例，如果已知粗略位置和姿势以及它们的分辨率，那么通过基于由所述分辨率确定的位置和姿势的可能的错误分布生成候选位置和姿势，即使利用低分辨率获得了粗略位置和姿势，也能执行位置和姿势的稳健测量。
根据第一示例性实施例，测量目标物体的粗略位置和姿势的可能的分布是通过全面搜索获得的。但是，实际上，在机器人保持并组装测量目标物体的地方，可以提前将部件对准并且不需要全面搜索。在此情况下，设置的部件的位置和姿势可以被看作是大致近似的。
根据第四示例性实施例，将描述用于确定位置和姿势的分布的方法，在所述位置和姿势处的模型信息基于粗略位置和姿势的三维模型信息中包括的边缘分布来确定。在第一示例性实施例中，通过图4中的步骤S402确定了候选位置和姿势，而以下处理可替代步骤S402。
图10展示了在已知的粗略位置和姿势处的测量目标物体。
三维模型1001被设置在所述粗略位置和姿势处。
重心1002是三维模型1001的重心。当在系统的坐标系统中显示三维模型的位置时，所述位置用上述重心的坐标表示。
纹理1003对应于测量目标物体的直纹。纹理信息是基于纹理1003的。在利用边缘执行具有纹理1003的测量目标物体的拟合的情况下，当搜索相应的点时，可能会错误地利用相邻的直纹的相应的点。此时，相对于直纹，在垂直方向上的拟合可能会对准不良。
根据本示例性实施例，测量目标物体的可能的位置和姿势(候选位置和姿势)被认为分布在相对于上述直纹的垂直方向上。这样，初始(候选)值被设置以便具有与目标物体结构相对应的分布。另外，将初始值与位置和姿势的计算结果比较。并且，将匹配最好的位置和姿势作为正确的位置和姿势而输出。
下文将描述上述处理的细节。
图11A展示了将边缘作为起点的的搜索，所述边缘具有三维模型的控制点。控制点1101、1102、1103中的每一个都是控制点的例子，与上述第一示例性实施例描述的控制点702相似。关于每个控制点，在相对于具有控制点的边缘的垂直方向上划出了搜索线，然后搜索边缘的分布。关于边缘的搜索，将使用第一示例性实施例的图6中步骤S602中描述的方法。
检测点1104是当利用控制点1101作为起点来执行搜索时边缘的检测点。检测点1104和控制点1101的相对位置被记录为通过将重心1002设置为起点而获得的位置。
然后，利用控制点1102作为起点来搜索边缘。在此情况下，由于在图11A所示的搜索线上不存在边缘，因此没有检测到边缘。按照这种方式，搜索所有控制点的边缘。然后，检测点和控制点的相对位置被记录为通过将重心设置为起点而获得的位置。
图11B展示了如上所述已经被记录了的边缘检测点的分布。通过将从控制点检测到的边缘检测点的位置的分布进行移动，以使重心成为起点，从而获得位置的分布。在图11B中，由X代表的两个点是从控制点1101检测到的点。图11A中的检测点1104对应于图11B中的检测点1104。在图11B中，黑色三角形代表的点是从其他控制点检测到的点。在图11B中，尽管不同的标志被用于点的描绘，但是所有这些标志都被认为是下述处理中的相似分布的点的代表。以此种方式获得的边缘检测点的分布表明三维模型中的点的方向和数量，其中当从所述三维模型的控制点搜索对应点时，所述三维模型能够引起错误对应。
因此，人们认为许多局部解位于此分布的位置处。因此，通过根据所述分布生成候选位置和姿势，能够增强匹配的稳健性。将所述分布用作候选位置和姿势的分布，执行第一示例性实施例的图4中的步骤S403以及后面的步骤中的处理。
根据本示例性实施例，纹理的边缘被描述为能够引起错误对应的边缘。但是，本发明的效果不限于从所述纹理得到的边缘。换句话说，所述边缘可以从除了纹理以外的特征中得到(例如从测量目标物体的形状得到的边缘)。
包括锯齿形重复图案的形状是边缘的简单的例子，所述边缘能够导致从形状得出的错误对应。关于这样的形状，根据本示例性实施例的方法，考虑到可能的位置和姿势分布在锯齿形图案被对准的方向上，通过综合的方式生成候选位置和姿势，能够确定最佳位置和姿势。
根据本示例性实施例，错误对应的主要原因被认为是边缘的错误对应。因此，仅相对于被拍摄图像的二维平面的xy方向上的平移分量获得候选位置和姿势的分布。
但是，候选位置和姿势的分布的这种确定方法并不局限于二维平面，也可以类似地在三维空间中实施。换句话说，在三维空间中可以实施与上文已经参考图11描述的利用三维模型的控制点作为起点搜索边缘的处理类似的处理。更具体地，可以通过在包括所述三维模型的控制点的表面的法线方向上搜索所述表面来生成所述分布。
另外，可以通过在二维或三维旋转中执行类似的搜索来生成候选位置和姿势的分布。更具体地，关于被采样的多个旋转轴，在三维模型的每个控制点的预定旋转量的范围内，在圆周方向上搜索边缘。如果检测到了特征，那么旋转轴以及此时的旋转量就被认定为匹配结果。换句话说，通过利用粗略位置和姿势以及三位模型的信息，获得了候选位置和姿势点。然后，通过生成多个候选位置和姿势，能够提高稳健性。这就是本发明第四示例性实施例的构想。
因此，根据本示例性实施例，在已知粗略位置和姿势的情况下，基于已知的粗略位置和姿势以及三维模型信息，能够确定候选位置和姿势的分布。然后，基于所述分布，可以是局部解的多个位置和姿势能够被全面验证。因此，即使对于具有复杂形状的目标物体，也能稳健地执行位置和姿势的测量。
根据第四示例性实施例，根据测量目标物体的粗略位置和姿势以及三维模型，已经在虚拟环境中获得测量目标物体的位置和姿势的可能的分布。于是，当生成测量目标物体的粗略位置和姿势的三维模型的对应点以及被拍摄的图像时，关于组件的边缘与其他边缘的错误对应的问题得到了解决。
作为另一个问题，分布在从摄像装置获得的图像的粗略位置和姿势的组件的外围的边缘会发生错误对应。根据第五示例性实施例，如果已知设置的测量目标物体的粗略位置和姿势，那么就能够基于被拍摄的图像的特征的相对位置分布确定候选位置和姿势，其中所述相对位置分布具有粗略位置和姿势的三维模型信息的原点。
下述处理替代第一示例性实施例的图4中的用于确定位置和姿势的步骤S402。
图12是被拍摄的亮度图像。框1201是从摄像装置103获得的亮度图像的外框。测量目标物体1202是亮度图像中的测量目标物体。水平纹1203是亮度图像中的水平纹(噪声)。这里的噪声是指非测量目标物体1202。换句话说，噪声可能来自测量目标物体的背景中的物体或者背景本身。
根据本示例性实施例，假定噪声是由其他物体引起的。在此情况下，当利用边缘匹配测量目标物体1202时，当搜索对应点时，其他物体引起的测量目标物体上方或下方背景中的水平纹可能会在拟合过程中误用。因此，在图12中垂直方向上可能会发生偏移拟合(offset fitting)。
根据本示例性实施例，我们认为组件的可能的位置和姿势分布在图12中的垂直方向上，如上文所述。因此，候选位置和姿势全部被设置在垂直方向上。然后，通过将比较位置和姿势的计算结果而获得的结果进行比较，并且最终将最匹配的结果作为正确的位置和姿势而输出。
下文将描述上述处理的细节。尽管背景中的水平纹被描述为所述方法的效果的例子，但是本发明可以通过与任何纹理相关的相似的方法实现。
图13A展示了用于将三维模型的控制点作为起点在亮度图像中搜索边缘的方法。
坐标轴1301是系统的坐标系统。投射图像1302是在粗略位置和姿势处投射在三维模型边缘的亮度图像上的图像。投射点1303是在所述亮度图像上投射的粗略位置和姿势处的三维模型的重心。
控制点1304、1305、1306是控制点的例子。这些点与上文第一示例性实施例中描述的控制点702相似。在与设置了上述控制点的边缘垂直的方向上划出了搜索线，然后搜索边缘。关于边缘的搜索，将使用与第一示例性实施例中图6中的步骤S602中描述的方法相似的方法。当控制点1304被设置为起点时，检测点1307是被搜索的边缘的检测点。然后，通过相对于控制点1304移动相对位置从而使重心1303成为起点而获得的点被记录下来。然后，搜索具有作为起点的控制点1302的边缘。在此情况下，一个检测点被记录在右侧。相似地，在所有的控制点处均搜索边缘。然后，通过相对于作为起点的重心移动被检测点的相对位置和控制点而获得的点被记录下来。
图13B展示了已经被记录的边缘检测点的分布。边缘检测点的分布是从控制点检测到的并被移位以便使重心成为起点的边缘检测点的位置的分布。在图13B中，用“X”描绘的三个点是从控制点1305检测到的三个点。图13A中的检测点1307对应于图13B中的检测点1307。图13B中用黑色三角形描绘的点是从其他控制点检测到的点。
在图13B中，尽管使用了不同的标志来描绘点，但是所有这些标志都应当被认为代表了下述处理中的相似分布的点。以此方式获得的边缘检测点的分布表明了当从三维模型的控制点搜索对应点时可能被检测到的错误对应点的方向和数目。因此，我们认为许多局部解位于此分布内。因此，通过按照此分布生成初始位置和姿势，能够增强匹配的稳健性。通过将此分布作为位置和姿势的分布，执行第一示例性实施例的图4中的步骤S403以及后续步骤的处理。
根据本示例性实施例，纹理的边缘被描述为可能会错误对应的边缘。但是，本发明的效果不限于从纹理得到的边缘。换句话说，所述边缘可以从除了纹理以外的特征中得到(例如从三维模型或者背景的形状得到的边缘)。
根据本示例性实施例，和第四示例性实施例中的情况一样，获得了仅关于被拍摄图像的二维平面的位置和姿势的xy方向上的平移分量的位置和姿势分布。但是，位置和姿势分布的这种确定方法并不局限于二维平面，也可以类似地在三维空间中实施。
也可以在三维空间中实施与上文已经参考图13描述的将三维模型的控制点作为起点的边缘搜索处理类似的处理。更具体地，通过将三维模型的控制点设置为起点，在对于各控制点都存在控制点的表面的法线方向上搜索对应点。然后，获得所获得的对应点的分布。
另外，关于在二维平面和三维空间中的旋转，可以利用相似的搜索生成位置和姿势的分布。更确切来说，关于已经被采样的多个旋转轴，通过在圆周方向上的预定旋转量的范围内旋转三维模型的各个控制点，搜索边缘。当检测到特征时，此时的旋转轴和旋转量被选为匹配结果。换句话说，不管维度，不通过执行被拍摄图像的全面搜索获得位置和姿势的分布，仅通过搜索根据被拍摄图像的粗略位置和姿势而设置的三维模型的外围，生成多个初始位置和姿势。本发明第五示例性实施例的主要构想是利用上述方法来增强稳健性。
按照此方式，根据本示例性实施例，如果已知粗略位置和姿势，通过在相对于图像的粗略位置和姿势的三维模型的外围执行搜索，确定位置和姿势的分布。然后，基于上述分布，通过全面验证可能是局部解的所述多个位置和姿势，即使环境包括大量噪声以及目标物体具有复杂的形状，也能稳健地执行位置和姿势的测量。
根据第四、五示例性实施例，获得投射在图像上的三维模型的位置和姿势，作为关于所述图像的将要与所述位置和姿势拟合的形状信息。但是，由于补充信息已经被添加到各个示例性实施例，根据本发明，形状信息中的一个或两个片段并不一定为图像。例如，如果形状信息中的两个片段包括一些对应的区域，那么本发明就可以被应用到任意类型的形状信息的拟合。
例如，本发明可以被应用到三维形状信息的两个片段的拟合中。作为例子，下面将描述这样的情况：基于两个网格模型(mesh model)互相重叠的区域的形状，通过从两个观察点对特定目标物体摄像而生成两个网格模型。因此，下文将描述下列事实：本发明可应用于三维形状的两个片段的拟合。
图14展示了通过二维投射将由虚线(第一形状信息)代表的网格模型1401与由实线(第二形状信息)代表的网格模型1402拟合的例子。每个控制点1403都是网格模型1401上的预定控制点。表面的法线方向上的预定范围内搜索候选对应点，所述候选对应点在所述表面上远离各个控制点。与执行的关于图11B或13B的处理一样，关于已经被搜索的候选对应点，所描绘的从控制点到候选对应点的矢量具有作为中心的网格模型1401的重心，然后在三维空间中生成候选位置和姿势的粗略分布。然后，通过将此分布作为位置和姿势的分布，执行第一示例性实施例的图4中的步骤S403以及后续步骤的处理。
在第一至第六示例性实施例中，候选位置和姿势的生成方法均不相同。实际上，根据本发明的第七示例性实施例，不通过独立地执行各个方法，也能实现位置和姿势的稳健测量。确切地说，通过使用通过汇总部分或全部分布而获得的分布作为位置和姿势的分布，然后，执行步骤S403中的处理以便生成多个初始位置和姿势，能够实现稳健测量。
作为本发明的信息处理装置的有益应用的一个例子，需要测量系统的目标组件的位置和姿势，在该系统中，需要执行下述操作：例如利用工业机器人臂保持、移动以及释放组件。下文将结合图15描述本发明的信息处理装置的应用的一个例子。
图15展示了本发明第八示例性实施例的包括了所述信息处理装置的信息处理系统的示意配置的例子。在图15中，所述系统包括PC1501和照相投影机1502。PC1501和照相投影机1502与第一至第六示例性实施例中描述的系统相似，用于存储包括上述处理流程的程序以及测量目标组件1505的位置和姿势。机器人控制器1503控制机器人臂1504。机器人臂1504包括可移动轴，所述可移动轴包括旋转轴和/或平移轴。机器人控制器1503被连接至PC1501。当机器人臂1504从PC1501接收命令时，所述命令被转换成实际控制命令。然后，机器人臂1504根据所述控制命令移动。
除了上述流程以外，本示例性实施例的PC1501还执行下述处理流程。首先，PC1501存储由第一至第五示例性实施例中描述的系统坐标系定义的机器人坐标系的相对关系，所述系统坐标系是指照相机坐标系和机器人臂。PC1501测量目标组件的位置和姿势并将结果从照相机坐标系转换成机器人坐标系。然后，基于机器人坐标系中的已转换的组件的位置和姿势，机器人臂被移动到机器人臂能够经由机器人控制器来保持该组件的位置和姿势。
以此方式，根据本示例性实施例，关于包括照相机和安装在机器人臂上的投影机的机器人系统，通过基于对未知组件的位置和姿势的测量结果控制机器人臂，能够保持所述未知部件。
其他实施例
本发明的实施例还可以通过系统或装置的、用于读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令以完成本发明中一个或多个实施例功能的计算机来实现；本发明的实施例也可以通过方法来实现，该方法的各步骤由系统或装置的计算机、通过如从存储介质读出并执行计算机可执行指令以完成本发明一个或多个实施例功能来执行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)及其他电路中的一个或多个，也可以包括独立计算机网络或独立计算机处理器网络。计算机可执行指令可以从例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)及分布式计算系统存储器、压缩盘(例如压缩磁盘(CD)、数字化通用盘(DVD)或蓝光盘(BD)TM)、闪存装置、存储卡等中的一个或多个。
【实施例的效果】
如上所述，通过获取目标物体的粗略位置和姿势、基于所获取的粗略位置和姿势重新生成候选初始位置和姿势以及基于所述候选初始位置和姿势获取位置和姿势，能够实现位置和姿势的稳健地测量。
根据第一示例性实施例，根据通过对图像中的测量目标物体执行全面搜索而得到的结果，能够确定粗略位置和姿势的分布，并且，基于所确定的分布，通过全面验证可以是局部解的多个位置和姿势，即使环境包括大量噪声或者测量目标物体具有复杂的形状，也能执行位置和姿势的稳健地测量。
根据第二示例性实施例，通过汇总并利用具有预定采样间隔的粗略位置和姿势的分布，能够实现比第一示例性实施例更简单更快速的处理方法。
根据第三示例性实施例，在已知粗略位置和姿势以及其分辨率或误差的情况下，那么通过基于由所述分辨率确定的位置和姿势的可能的错误分布生成候选位置和姿势，即使利用低分辨率获得了粗略位置和姿势，也能执行位置和姿势的稳健测量。
根据第四示例性实施例，在已知粗略位置和姿势的情况下，基于已知的粗略位置和姿势以及三维模型信息，生成候选位置和姿势。然后，基于所生成的候选位置和姿势，全面验证可以是局部解的多个位置和姿势。因此，即使对于具有复杂形状的目标物体，也能执行位置和姿势的稳健地测量。
根据第五示例性实施例，在已知粗略位置和姿势的情况下，根据对图像中的粗略位置和姿势的三维模型的外围执行搜索处理，生成候选位置和姿势。然后，基于所生成的候选位置和姿势，全面验证可能是局部解的多个位置和姿势。因此，即使环境包括大量噪声以及目标物体具有复杂的形状，也能执行稳健地位置和姿势的测量。
根据第六示例性实施例，如果形状信息的两个片段包括一些对应区域，那么本发明就可以被应用到任意类型的形状信息的拟合中。因此，对于具有未知形状的物体，例如CAD模型，通过拟合从多个方向捕捉的数据，能够使数据耦合。
根据第七示例性实施例，利用第一至第五示例性实施例中描述的候选位置和姿势的生成方法的全部或一部分生成候选位置和姿势，将所述候选位置和姿势的和集作为多个候选位置和姿势，能够得到稳健地位置和姿势测量。
根据第八示例性实施例，关于包括照相机和安装在机器人臂上的投影机的机器人系统，通过基于未知组件的位置和姿势的测量结果控制机器人臂，能够保持所述未知组件。
【定义】
根据本发明的描述，关于第一至第五示例性实施例，三维模型信息和包含由照相机拍摄的测量目标物体的图像的组合被用作用于拟合的形状信息的组合。关于第六示例性实施例，描述了三维网格模型的组合。但是，形状信息的组合不限于上述例子。换句话说，只要能够实现形状信息的拟合，可以使用任何信息。作为物体的形状信息的例子，除了三维模型信息和图像以外，还可以使用利用激光范围传感器测量而获得的三维点组信息。
投影机不限于液晶投影机，只要能够投射图案光，可以使用利用不同方法的投影机。例如，可以是利用数字微镜器件(DMD，digital micro-mirror device)或者硅片液晶(LCOS)的投影机。
关于位置和姿势的计算，尽管本发明同时利用二维和三维级别执行拟合，但是本发明也可以类似地仅应用于二维级别或三维级别。
本发明的测量目标物体的位置和姿势的计算方法并不限于高斯-牛顿法。例如，可以使用计算方面更加稳健的Levenberg-Marquardt算法，或者使用更简单的最速下降法(steepest descent)。另外，也可以使用其他非线性最优化算法，例如共轭梯度法或不完全乔里斯基共轭梯度法(ICCG，Cholesky-conjugate gradient)。
在确定粗略位置和姿势的分布时，用于搜索图像中的特定组件的位置和姿势的图像不限于亮度图像。换句话说，在确定组件的粗略位置和姿势时，也可以使用三维信息，例如距离图像。
另外，尽管在上述描述中使用全面搜索方式来确定粗略位置和姿势的分布，但是根据本发明，并不总是需要执行图像的全面搜索。例如，如果某组件总是被放置在工作区域的大致相同的地方，那么就可以使用仅针对该区域的部分搜索方式。
关于本发明第四示例性实施例的位置和姿势的分布的确定，位置和姿势的分布的搜索范围不限于二维平面的xy方向上的平移分量。位置和姿势的分布的确定不限于二维平面，也可以类似地在三维空间中实施。换句话说，在三维空间中也可以实施与上文已经参考图11描述的利用三维模型的控制点作为起点搜索边缘的处理类似的处理。
更具体地，可以通过在包括所述三维模型的控制点的表面的法线方向上搜索所述表面来生成所述分布。另外，可以通过在二维或三维旋转中执行类似的搜索来生成位置和姿势的分布。确切地讲，相对于被采样的多个旋转轴，在三维模型的每个控制点的预定旋转量的范围内，在圆周方向上搜索边缘。如果检测到了特征，那么此时的旋转轴以及旋转量就被认定为匹配结果。
关于本发明第五示例性实施例的位置和姿势的分布的确定，粗略位置和姿势的分布的搜索范围不限于二维平面的xy方向上的平移分量。位置和姿势的分布的确定不限于二维平面，也可以类似地在三维空间中实施。换句话说，在三维空间中也可以实施与上文已经参考图13描述的利用三维模型的控制点作为起点搜索边缘的处理类似的处理。更确切地，通过将三维模型的控制点设置为起点，在对于各控制点都存在控制点的表面的法线方向上搜索对应点。然后，获得所获得的对应点的分布。另外，可以通过在二维或三维旋转中执行类似的搜索来生成位置和姿势的分布。
关于本发明第四和第五示例性实施例的候选位置和姿势的分布的确定，形状信息的特征不限于由纹理得出的边缘，形状信息可以是任何类型的边缘，只要它能够作为图6中步骤S602中执行的关联处理的依据。例如，形状信息的特征可以是除了纹理以外的特征，例如由三维模型的形状得出的边缘。
关于候选位置和姿势的生成，由于被设置为粗略位置和姿势的分布的位置和姿势被认为应当具有一定的合理性，因此它们被用作初始候选位置和姿势。但是，根据本发明，只有重新生成的候选位置和姿势可以被用作候选位置和姿势，而可以不使用粗略位置和姿势的分布。
尽管在候选位置和姿势的生成过程中高斯分布被用作概率密度模型，但是实际上概率密度模型也可以使用其他分布模型，只要该分布模型能够概括获得的分布。另外，也可以使用方形分布。
关于本发明第二示例性实施例的候选位置和姿势的生成，当在被选择的方格中以预定间隔生成初始值后，没有必要总是平分所述间隔，且对于方格中的候选位置和姿势的数量而言，可以随机生成候选位置和姿势。
另外，关于候选位置和姿势的选择，任何值都可以用作得分，只要它能表示三维模型和亮度图像及距离图像的匹配度。例如，可以使用这样的方法，该方法能够获得三维模型和亮度图像及距离图像之间的错误矢量，并且还使用范数的倒数。但是，也可以使用其他指标。
在候选位置和姿势的选择过程中，在用所述得分评估候选位置和姿势之前，需要执行一次步骤S601至S606中的位置和姿势更新处理。但是，这种处理的执行次数不限于一次，方法也不受限制，只要能够快速确定合适的位置和姿势即可。
根据本发明，能够实现位置和姿势的稳健测量。
虽然已经结合示例性实施例描述了本发明，应当认识到，本发明并不局限于公开的示例性实施例。下列权利要求的范围应当适合最广泛的解释，以便囊括所有改动、等同结构和功能。

Claims (26)

1.一种位置和姿势测量装置，包括：
获取单元，被配置为从包括目标物体的图像中获取所述目标物体的至少一个粗略位置和姿势，其中，基于预定分辨率来获取所述粗略位置和姿势；
生成单元，被配置为基于所获取的粗略位置和姿势以及所述预定分辨率而新生成至少一个候选位置和姿势；
导出单元，被配置为基于利用至少一个候选位置和姿势、通过将所述目标物体的模型信息与所述图像中的目标物体相关联而执行的关联的结果，导出所述图像中的所述目标物体的位置和姿势。
2.根据权利要求1所述的位置和姿势测量装置，其中，
所述获取单元，通过执行关于所述图像的模式匹配，获取图像中所述目标物体的粗略位置和姿势。
3.根据权利要求1所述的位置和姿势测量装置，其中，
所述获取单元，通过利用所述目标物体的模型信息，搜索所述图像而执行模式匹配。
4.根据权利要求1所述的位置和姿势测量装置，其中，
所述生成单元，通过在关于所获取的粗略位置和姿势的预定分辨率的范围内改变表示至少一个位置和姿势的参数，新生成至少一个候选位置和姿势。
5.根据权利要求1所述的位置和姿势测量装置，其中，
所述预定分辨率是用于测量所述粗略位置和姿势的测量精度。
6.根据权利要求1所述的位置和姿势测量装置，其中，所述导出单元还包括：
评估单元，被配置为：评估关联结果；
选择单元，被配置为：基于所述评估单元所执行的评估结果，从生成的候选位置和姿势中选择预定数量的候选位置和姿势，以及，通过更新所选择的候选位置和姿势使得为所选择的候选位置和姿势而设置的模型信息的模型特征和所述图像特征之间的偏移变得较小，从而导出所述图像中所述目标物体的位置和姿势。
7.根据权利要求6所述的位置和姿势测量装置，其中，
所述评估单元，评估在所述模型信息与所述图像中的目标物体相关联时生成的偏移量。
8.根据权利要求1所述的位置和姿势测量装置，其中，
所述导出单元，通过从生成的候选位置和姿势中提取边缘，并比较所提取的边缘与从所述目标物体的模型信息中提取的边缘，导出所述图像中所述目标物体的位置和姿势。
9.一种位置和姿势测量装置，包括：
获取单元，被配置为从包括目标物体的图像中获取所述目标物体的多个粗略位置和姿势；
生成单元，被配置为基于所获取的粗略位置和姿势的分布，新生成至少一个候选位置和姿势；
导出单元，被配置为基于利用至少一个候选位置和姿势、通过将所述目标物体的模型信息与所述图像中的目标物体相关联而执行的关联的结果，导出所述图像中的所述目标物体的位置和姿势。
10.根据权利要求9所述的位置和姿势测量装置，其中，
所述获取单元，通过执行关于所述图像的模式匹配，获取图像中所述目标物体的粗略位置和姿势。
11.根据权利要求9所述的位置和姿势测量装置，其中，
所述获取单元，通过利用所述目标物体的模型信息，搜索所述图像而执行模式匹配。
12.根据权利要求9所述的位置和姿势测量装置，其中，
所述生成单元将所获取的多个粗略位置和姿势的分布近似为预定分布函数，并在近似的分布中新生成至少一个候选位置和姿势。
13.根据权利要求9所述的位置和姿势测量装置，其中，
所述生成单元将所获取的粗略位置和姿势的分布分割为多个区域，然后基于所分割的区域新生成至少一个候选位置和姿势。
14.根据权利要求9所述的位置和姿势测量装置，其中，所述导出单元还包括：
评估单元，被配置为：评估关联结果；
选择单元，被配置为：基于所述评估单元所执行的评估结果，从生成的候选位置和姿势中选择预定数量的候选位置和姿势，以及，通过更新所选择的候选位置和姿势使得为所选择的候选位置和姿势而设置的模型信息的模型特征和所述图像特征之间的偏移变得的较小，从而导出所述图像中所述目标物体的位置和姿势。
15.根据权利要求14所述的位置和姿势测量装置，其中，
所述评估单元，评估在所述模型信息与所述图像中的目标物体相关联时生成的偏移量。
16.根据权利要求9所述的位置和姿势测量装置，其中，
所述导出单元，通过从生成的候选位置和姿势中提取边缘，并比较所提取的边缘与从所述目标物体的模型信息中提取的边缘，导出所述图像中所述目标物体的位置和姿势。
17.一种位置和姿势测量装置，包括：
获取单元，被配置为从包括目标物体的图像中获取所述目标物体的多个粗略位置和姿势；
生成单元，被配置为基于所获取的多个粗略位置和姿势、以及所述目标物体的纹理信息，新生成至少一个候选位置和姿势；
导出单元，被配置为基于利用至少一个候选位置和姿势、通过将所述目标物体的模型信息与所述图像中的目标物体相关联而执行的关联的结果，导出所述图像中的所述目标物体的位置和姿势。
18.一种位置和姿势测量装置，包括：
获取单元，被配置为从包括目标物体的图像中获取所述目标物体的多个粗略位置和姿势；
生成单元，被配置为基于所获取的多个粗略位置和姿势以及所述目标物体的形状信息，新生成至少一个候选位置和姿势；
导出单元，被配置为基于利用至少一个候选位置和姿势、通过将所述目标物体的模型信息与所述图像中的目标物体相关联而执行的关联的结果，导出所述图像中的所述目标物体的位置和姿势。
19.一种用于保持目标物体的信息处理装置，包括：
根据权利要求1所述的位置和姿势测量装置；
保持单元，被配置为保持所述目标物体；以及
控制单元，被配置为基于由所述位置和姿势测量装置所测量的所述目标物体的位置和姿势来控制所述保持单元。
20.一种位置和姿势测量方法，包括：
从包括目标物体的图像中获取所述目标物体的至少一个粗略位置和姿势，其中，基于预定分辨率来获取所述粗略位置和姿势；
基于所获取的粗略位置和姿势以及所述预定分辨率新生成至少一个候选位置和姿势；
将所述目标物体的模型信息的至少一个模型特征与所述图像中包括的所述目标物体的图像特征相关联，所述模型特征是基于包括新生成的候选位置和姿势的多个位置和姿势之一而设置的；
基于所述关联的结果，导出所述图像中的所述目标物体的位置和姿势。
21.一种位置和姿势测量方法，包括：
从包括目标物体的图像中获取所述目标物体的多个粗略位置和姿势；
基于所获取的粗略位置和姿势的分布，新生成至少一个候选位置和姿势；
将所述目标物体的模型信息的至少一个模型特征与所述图像中包括的所述目标物体的图像特征相关联，所述模型特征是基于包括新生成的候选位置和姿势的多个位置和姿势之一而设置的；以及
基于所述关联的结果，导出所述图像中的所述目标物体的位置和姿势。
22.一种位置和姿势测量方法，包括：
从包括目标物体的图像中获取所述目标物体的多个粗略位置和姿势；
基于所获取的多个粗略位置和姿势、以及所述目标物体的纹理信息，新生成至少一个候选位置和姿势；
将所述目标物体的模型信息的每个模型特征与所述图像中包括的所述目标物体的图像特征相关联，所述每个模型特征是基于包括新生成的候选位置和姿势的多个位置和姿势中互不相同的一个位置和姿势而设置的，以及
基于所述关联的结果，导出所述图像中的所述目标物体的位置和姿势。
23.一种位置和姿势测量方法，包括：
从包括目标物体的图像中获取所述目标物体的多个粗略位置和姿势；
基于所获取的多个粗略位置和姿势以及所述目标物体的形状信息，新生成至少一个候选位置和姿势；
将所述目标物体的模型信息的每个模型特征与所述图像中包括的所述目标物体的图像特征相关联，所述每个模型特征是基于包括新生成的候选位置和姿势的多个位置和姿势中互不相同的一个位置和姿势而设置的，以及
基于所述关联的结果，导出所述图像中的所述目标物体的位置和姿势。
24.一种用于保持目标物体的信息处理方法，包括：
根据权利要求20所述的位置和姿势测量方法；以及
保持所述目标物体；
基于由所述位置和姿势测量方法所测量的所述目标物体的位置和姿势来控制所述保持。
25.一种信息处理装置，用于执行目标物体的第一形状信息与第二形状信息的拟合，所述第二形状信息包括与第一形状信息重叠的区域，所述信息处理装置包括：
获取单元，用于获取所述第一形状信息的位置和姿势的可能的分布；
初始位置和姿势生成单元，用于基于所获取的分布生成第一形状信息的初始位置和姿势；
初始位置和姿势选择单元，用于从生成的多个初始位置和姿势中选择至少一个初始位置和姿势；以及
确定单元，用于基于所选择的初始位置和姿势来确定用于与所述第二形状信息执行拟合的第一形状信息的位置和姿势。
26.一种信息处理方法，用于执行目标物体的第一形状信息与第二形状信息的拟合，所述第二形状信息包括与第一形状信息重叠的区域，所述信息处理方法包括：
获取所述第一形状信息的位置和姿势的可能的分布；
基于所获取的分布生成第一形状信息的初始位置和姿势；
从生成的多个初始位置和姿势中选择至少一个初始位置和姿势；以及
基于所选择的初始位置和姿势确定用于与所述第二形状信息执行拟合的第一形状信息的位置和姿势。
CN201410042860.1A 2013-02-07 2014-01-27 位置和姿势测量装置、信息处理装置以及信息处理方法 Active CN103984362B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013022372 2013-02-07
JP2013-022372 2013-02-07
JP2013-222526 2013-10-25
JP2013222526A JP6370038B2 (ja) 2013-02-07 2013-10-25 位置姿勢計測装置及び方法

Publications (2)

Publication Number Publication Date
CN103984362A CN103984362A (zh) 2014-08-13
CN103984362B true CN103984362B (zh) 2018-02-02

Family

ID=50390522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410042860.1A Active CN103984362B (zh) 2013-02-07 2014-01-27 位置和姿势测量装置、信息处理装置以及信息处理方法

Country Status (5)

Country Link
US (3) US9704248B2 (zh)
JP (1) JP6370038B2 (zh)
CN (1) CN103984362B (zh)
DE (1) DE102014000982A1 (zh)
GB (1) GB2512460B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO336680B1 (no) * 2013-12-04 2015-10-19 Global Maritime As Fremgangsmåte for estimering av risiko for minst én utilsiktet sluppet last fra minst én kran på en plattform eller et fartøy på undersjøiske rørledninger og annet undersjøisk utstyr, samt anvendelser av fremgangsmåten
US9710706B2 (en) * 2014-09-23 2017-07-18 GM Global Technology Operations LLC Method for classifying a known object in a field of view of a camera
JP6573354B2 (ja) * 2014-11-28 2019-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10260862B2 (en) * 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors
JP6851986B2 (ja) * 2015-12-21 2021-03-31 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6677522B2 (ja) * 2016-02-15 2020-04-08 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP6523196B2 (ja) * 2016-03-17 2019-05-29 株式会社東芝 推定装置、方法及びプログラム
DE112017001464B4 (de) * 2016-03-22 2021-09-23 Mitsubishi Electric Corporation Abstandsmessvorrichtung und Abstandsmessverfahren
CN107466404B (zh) * 2017-05-11 2023-01-31 达闼机器人股份有限公司 物品搜索方法、装置及机器人
US12002240B2 (en) * 2018-09-04 2024-06-04 Fastbrick Ip Pty Ltd. Vision system for a robotic machine
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
EP4040104A4 (en) * 2019-10-02 2022-11-02 Fujitsu Limited GENERATION METHOD, GENERATION PROGRAM, AND INFORMATION PROCESSING DEVICE
US10855303B1 (en) * 2020-03-16 2020-12-01 Semiconductor Components Industries, Llc Propagation delay compensation and interpolation filter
CN111666876B (zh) * 2020-06-05 2023-06-09 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、装置、电子设备和路侧设备
US11906294B2 (en) * 2020-07-28 2024-02-20 Ricoh Company, Ltd. Alignment apparatus, alignment system, alignment method, and recording medium
CN112066879B (zh) * 2020-09-11 2021-11-19 哈尔滨工业大学 基于计算机视觉的气浮运动模拟器位姿测量装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102421279A (zh) * 2010-09-24 2012-04-18 Juki株式会社 形状基础匹配参数的调整装置、调整方法及部件安装装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471541A (en) * 1993-11-16 1995-11-28 National Research Council Of Canada System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model
WO2001067749A2 (en) * 2000-03-07 2001-09-13 Sarnoff Corporation Camera pose estimation
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US8457390B1 (en) * 2008-10-10 2013-06-04 Cognex Corporation Method and apparatus for training a probe model based machine vision system
JP2010097438A (ja) * 2008-10-16 2010-04-30 Keyence Corp 画像処理を用いた輪郭情報抽出方法、画像処理におけるパターンモデルの作成方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
WO2011012142A1 (en) * 2009-07-29 2011-02-03 Metaio Gmbh Method for determining the pose of a camera with respect to at least one real object
JP2011133273A (ja) * 2009-12-22 2011-07-07 Canon Inc 推定装置及びその制御方法、プログラム
JP5548482B2 (ja) * 2010-02-26 2014-07-16 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
JP4940461B2 (ja) 2010-07-27 2012-05-30 株式会社三次元メディア ３次元物体認識装置及び３次元物体認識方法
JP5839929B2 (ja) 2010-11-19 2016-01-06 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US8600192B2 (en) * 2010-12-08 2013-12-03 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5716433B2 (ja) * 2011-02-07 2015-05-13 株式会社Ihi 形状認識装置、形状認識方法、および、そのプログラム
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102421279A (zh) * 2010-09-24 2012-04-18 Juki株式会社 形状基础匹配参数的调整装置、调整方法及部件安装装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Detection and Pose Estimation of Piled Objects Using Ensemble of Tree Classifiers;Masakazu Matsugu.et al;《Machine Vision-Applications and Systems》;20120331;论文第1-2页及图2 *

Also Published As

Publication number Publication date
JP2014169990A (ja) 2014-09-18
CN103984362A (zh) 2014-08-13
JP6370038B2 (ja) 2018-08-08
US9704248B2 (en) 2017-07-11
US20140219502A1 (en) 2014-08-07
DE102014000982A1 (de) 2014-08-07
GB201402011D0 (en) 2014-03-26
US20170307354A1 (en) 2017-10-26
US10684116B2 (en) 2020-06-16
GB2512460B (en) 2015-07-29
GB2512460A (en) 2014-10-01
US20200284573A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN103984362B (zh) 位置和姿势测量装置、信息处理装置以及信息处理方法
US10515259B2 (en) Method and system for determining 3D object poses and landmark points using surface patches
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5863440B2 (ja) 情報処理装置および方法
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
CN106052646B (zh) 信息处理装置及信息处理方法
JP5800494B2 (ja) 特定領域選択装置、特定領域選択方法及びプログラム
US9153030B2 (en) Position and orientation estimation method and apparatus therefor
JP5251080B2 (ja) 物体認識方法
JP4900204B2 (ja) 物体認識方法
JP5092711B2 (ja) 物体認識装置およびロボット装置
JP2014063475A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
WO2012081687A1 (en) Information processing apparatus, information processing method, and program
JP2021086432A (ja) 情報処理装置、情報処理方法、コンピュータプログラム、計測装置、システムおよび物品の製造方法
JP5104248B2 (ja) 物体認識装置およびロボット装置
JPH09237342A (ja) 注視点を用いた頑健な認識装置
JP5083715B2 (ja) 三次元位置姿勢計測方法および装置
JP2011174891A (ja) 位置姿勢計測装置、位置姿勢計測方法、及びプログラム
JP6766229B2 (ja) 位置姿勢計測装置及び方法
US20240083038A1 (en) Assistance system, image processing device, assistance method and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant