CN101896936B - 用于对象模型与三维点云相匹配的方法 - Google Patents

用于对象模型与三维点云相匹配的方法 Download PDF

Info

Publication number
CN101896936B
CN101896936B CN2008801199551A CN200880119955A CN101896936B CN 101896936 B CN101896936 B CN 101896936B CN 2008801199551 A CN2008801199551 A CN 2008801199551A CN 200880119955 A CN200880119955 A CN 200880119955A CN 101896936 B CN101896936 B CN 101896936B
Authority
CN
China
Prior art keywords
model
object model
point cloud
image
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008801199551A
Other languages
English (en)
Other versions
CN101896936A (zh
Inventor
比约恩·巴鲁瓦
拉尔斯·克吕格尔
克里斯蒂安·韦勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pilz GmbH and Co KG
Original Assignee
Pilz GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz GmbH and Co KG filed Critical Pilz GmbH and Co KG
Publication of CN101896936A publication Critical patent/CN101896936A/zh
Application granted granted Critical
Publication of CN101896936B publication Critical patent/CN101896936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于将对象模型(OM)与三维点云(PW)相匹配的方法，其中点云(PW)借助立体方法(S1)由两个图像(B1，B2)产生并且将聚类方法(S2)应用于点云(PW)上，以便识别分别与一个群(CL)相关的点，接着执行模型匹配(S3)，在该模型匹配中至少一个对象模型(OM)与至少一个群(CL)叠加并且确定对象模型(OM)相对于该群(CL)的最佳位置，借助匹配的对象模型(OM)执行对点的伪相关的校正(S4)，其特征在于，借助至少一个示例对象(BO)训练的分类器(KL)用于由所述图像(B1，B2)的至少之一生成概率图(AM)，其中由概率图(AM)确定在图像(B1，B2)中的与示例对象(BO)类似的至少一个对象(O)的数目和/或存在概率，其中在聚类方法(S2)中和/或在模型匹配(S3)中考虑概率图(AM)。

Description

用于对象模型与三维点云相匹配的方法
本发明涉及一种用于对象模型与三维点云相匹配的方法，其中点云借助立体方法由两个图像生成并且将聚类方法应用于该点云上，以便识别分别与一个群相关的点，并且其中接着执行模型匹配，其中至少一个对象模型与至少一个群叠加并且确定对象模型相对于该群的最优位置，以及其中借助匹配的对象模型校正点的伪相关(Fehlzuordnung)。
为了对象的识别及其三维位置确定，使用了对象模型。在对象模型与3D点云相匹配时，已知的方法(Schmidt，J.，
Figure GPA00001153553200011
C，Krüger，L，
Figure GPA00001153553200012
T.，Hermes，C，2007年.3D Scene Segmentation and Object Tracking inMultiocular Image Sequences.Proc.Int.Conf.on Computer VisionSystems(ICVS)，Bielefeld，Germany)通常导致含糊性(伪正相关)。对象在点云中多次被发现，尽管并非经常存在该情况或者根本不存在该情况。涉及模型匹配的另一问题是匹配的不精确性。目前常用的立体方法基于对在左边图像中和在右边图像中的特征的搜索(边、点、角部、像素块等等)并且接着将相同/相似特征彼此相关。可替选地，局部图像窗的内容通常也在其相似性方面进行检查。所谓的差异值通过确定在左边图像和右边图像中彼此间相关的特征或图像窗的偏移来确定。在被校准的摄像机系统的前提条件下，通过三角测量接着根据差异值可以将深度值与相关的像素相关。在一些情况中，由于错误的相关而出现错误的深度值。在基于边的立体方法中，这通常出现在图像中的重复结构譬如手指、森林等的情况下。由伪相关形成的3D点称作伪对应或者离群值。根据特征的选择，经常或多或少地出现这种效应，但在没有进一步假定的情况下基本上不能被排除。伪对应对于对象模型的匹配有不利影响，因为其导致通过3D点云对该场景的表征的劣化。
在本文献中公开了不同的方法，其专注于伪对应的问题。这些方法的大部分尝试识别离群值，以便随后消除离群值。在此不利的是3D点的数目变得更少或者由此造成的信息损失。其他方法[Hirschmuller，H.，2005年，Accurate and Efficient Stereo Processing by Semi-Global Matchingand Mutual Information，Proc.IEEE Conf.On Computer Vision andPattern Recognition，San Diego，USA.]又尝试，例如通过假定部分平坦的表面来克服该问题。由于这种平坦性假定，不再可以识别精细的结构，这导致信息损失。此外，该方法仅仅在实际能期望是平坦的表面的地方提供良好的结果。
本发明的任务是提出一种用于对象模型与三维点云相匹配的改进的方法。
该任务根据本发明通过具有权利要求1的特征的方法来解决。
有利的改进方案是从属权利要求的主题。
在根据本发明的用于对象模型与三维点云相匹配的方法中，点云借助立体方法由两个图像生成并且将聚类方法应用于该点云上，以便识别分别与一个群相关的点。
为了生成三维点云，可以使用任意的立体方法，尤其是空间-时间立体方法，如在[Schmidt，J.C.，Krüger，L.，
Figure GPA00001153553200022
T.Hermes，C.2007年.3D Scene Segmentation and Object Tracking in MultiocularImage Sequences.Proc.Int.Conf.On Computer Vision Systems(ICVS)，Bielefeld，Germany]中进行了描述。在通过引用结合于此的文献中也描述了一种聚类方法，其例如可以使用在根据本发明的方法中。
在聚类时，点云的被假定属于相同对象的点被汇总为所谓的群。
在聚类之后进行模型匹配，其中至少一个对象模型与至少一个群叠加并且确定对象模型相对于该群的最优位置。在此，尤其是可以使用模型匹配方法，如在[Zhang，Z.1992年.Iterative Point Matching for Registrationof Free-Form Curves，INRIA Technical Report 1658]中进行了描述，其通过引用结合于此。
由于模型匹配可以识别并且消除与一个群错误相关的点。同样，将错误地在所观察的群之外被孤立的或者在其他群中的点(所谓的离群点)相关地识别为所观察的群并且相应地校正相关。
此外，由两个图像的至少一个生成所谓的概率图，其以下如在该文献中通常称作注意图(Attention-map)。注意图的生成在[Tanaka，M.，Hotta，K.，Kurita，T.，Mishima，T.，2008，Dynamic Attention Map by Ising Modelfor Human Face Detection，Int.Conf.]中详细地进行了描述。该公开内容同样通过引用结合于此。为了生成注意图，使用了分类器，例如在[
Figure GPA00001153553200023
C.，Anlauf，J.K.，1999年.A Time Delay Neural Network Algorithm forEstimating Image-pattern Shape and Motion，Image and VisionComputing 17，第281-294页]中所描述的TDNN。该公开内容也通过引用结合于此。分类器事先借助示例图像来训练。借助注意图可以表明在场景中是否存在与示例图像相似的对象或者在该场景中存在多少对象。此外，注意图能够表明这种对象多大可能地在确定的位置上。
注意图现在支持性地在聚类方法中和/或在模型匹配中被考虑。在聚类方法中，注意图用于选择对随后的模型匹配合适的群。在模型匹配中，尤其是可以使用注意图来计算对象模型的初始姿态，从该姿态开始进行模型匹配。由此，改进了模型匹配的收敛特性。良好的初始化在模型匹配中还导致绕过局部最小值的问题，这些局部最小值会导致次优的匹配。
可以执行根据本发明的方法的多次迭代，其中在校正伪相关之后反馈到立体方法中，以便在此不仅针对该点而且必要时针对其他所涉及的点改进对应相关。在此，对于每个点可以确定其在三维点云中停留地点的概率，因为其必须尽可能地在与对象模型类似的对象或群的表面上。以此方式在以立体方法形成对应时不仅考虑了图像区域的相似性而且考虑了停留地点的概率，由此改进了点云的质量，因为出现较少的伪相关。例如，在考虑彼此非常相似的手指时，以较高的概率将点与正确的手指相关而非与相邻的手指相关。
以下借助附图更为详细地阐述了本发明的一个实施例。
唯一的附图示出了用于使对象模型与三维点云相匹配的方法的一个实施例的流程图。
在该附图中示出了用于使对象模型OM与三维点云PW相匹配的方法的一个实施例的流程图。首先将两个立体记录的图像B1、B2输送给立体方法S1。该方法形成由两个图像B1、B2的点构成的对应对。结果是三维点云PW。借助聚类方法S2将点云PW分段，即形成具有相关的点的群CL。
在聚类方法S2之后进行模型匹配S3，其中至少一个对象模型OM与至少一个群CL叠加并且确定对象模型OM相对于该群CL的最优位置。
借助现在在其位置和姿态方面所识别的对象O在伪相关的校正S4期间识别并且消除与群CL错误相关的点。同样，将错误地在所观察的群CL之外被孤立的或者在其他群CL中的点(所谓的离群值)相关地识别为所观察的群CL并且相应地校正相关，其中形成所校正的点云PW′和所校正的群CL′。
步骤聚类方法S2和/或模型匹配S3借助概率图AM来支持，该概率图根据在本文献中的习惯在下面称作注意图AM。
注意图AM在生成步骤S6中由两个图像B1、B2的至少之一生成。为了生成注意图AM，使用分类器KL。该分类器KL事先借助示例对象BO的示例图像在训练步骤S5中被训练。借助注意图AM可以表明在该场景中是否存在与示例对象BO类似的对象O或者在该场景中存在多少对象O。此外，该注意图能够表明这种对象O多大可能地在确定的位置上。
在聚类方法S2中，注意图AM用于选择对随后的模型匹配S3合适的群CL。在模型匹配S3中注意图AM尤其是可以用来计算对象模型OM的初始姿态，从该姿态开始进行对象匹配S3。
可以执行根据本发明的方法的多次迭代，如借助虚线所表示的那样，其中在校正伪相关S4之后被反馈到立体方法S1中。
附图标记表
AM注意图，概率图
B1，B2图像
BO示例对象
CL，CL′群
O对象
OM对象模型
PW，PW′点云
S1立体方法
S2聚类方法
S3模型匹配
S4伪相关的校正
S5训练步骤
S6注意图的生成步骤

Claims (2)

1.一种用于将对象模型(OM)与三维点云(PW)相匹配的方法，其中点云(PW)借助立体方法(S1)由两个图像(B1，B2)产生并且将聚类方法(S2)应用于点云(PW)上，以便识别分别与一个群(CL)相关的点，其中在聚类时，点云的被假定属于相同对象的点被汇总为群，接着执行模型匹配(S3)，在该模型匹配中至少一个对象模型(OM)与至少一个群(CL)叠加并且确定对象模型(OM)相对于该群(CL)的最佳位置，借助匹配的对象模型(OM)执行对点的伪相关的校正(S4)，其特征在于，借助至少一个示例对象(BO)训练的分类器(KL)用于由所述图像(B1，B2)的至少之一生成概率图(AM)，其中由概率图(AM)确定在图像(B1，B2)中的与示例对象(BO)类似的至少一个对象(O)的数目和/或存在概率，其中在聚类方法(S2)中和/或在模型匹配(S3)中考虑概率图(AM)。
2.根据权利要求1所述的方法，其特征在于，借助概率图(AM)确定对象模型(OM)的初始姿态，从该姿态开始进行模型匹配(S3)。
CN2008801199551A 2007-10-09 2008-10-02 用于对象模型与三维点云相匹配的方法 Active CN101896936B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007048320A DE102007048320A1 (de) 2007-10-09 2007-10-09 Verfahren zur Anpassung eines Objektmodells an eine dreidimensionale Punktwolke
DE102007048320.3 2007-10-09
PCT/EP2008/008337 WO2009049774A1 (de) 2007-10-09 2008-10-02 Verfahren zur anpassung eines objektmodells an eine dreidimensionale punktwolke

Publications (2)

Publication Number Publication Date
CN101896936A CN101896936A (zh) 2010-11-24
CN101896936B true CN101896936B (zh) 2012-07-18

Family

ID=39277841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801199551A Active CN101896936B (zh) 2007-10-09 2008-10-02 用于对象模型与三维点云相匹配的方法

Country Status (7)

Country Link
US (1) US8379969B2 (zh)
EP (1) EP2210234B1 (zh)
JP (1) JP5222946B2 (zh)
CN (1) CN101896936B (zh)
DE (1) DE102007048320A1 (zh)
HK (1) HK1143652A1 (zh)
WO (1) WO2009049774A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
EP2602588A1 (en) * 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
KR101841668B1 (ko) 2012-02-15 2018-03-27 한국전자통신연구원 입체 모델 생성 장치 및 방법
US9571726B2 (en) 2012-12-20 2017-02-14 Google Inc. Generating attention information from photos
US9116926B2 (en) * 2012-12-20 2015-08-25 Google Inc. Sharing photos
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
CN104298971B (zh) * 2014-09-28 2017-09-19 北京理工大学 一种3d点云数据中的目标识别方法
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
KR101655606B1 (ko) * 2014-12-11 2016-09-07 현대자동차주식회사 라이다를 이용한 멀티 오브젝트 추적 장치 및 그 방법
GB2554633B (en) * 2016-06-24 2020-01-22 Imperial College Sci Tech & Medicine Detecting objects in video data
US10380767B2 (en) 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
CN108229430B (zh) * 2018-01-30 2022-04-05 浙江大学 一种融合注意力图的商品分类方法
JP7376268B2 (ja) * 2019-07-22 2023-11-08 ファナック株式会社 三次元データ生成装置及びロボット制御システム
JP2021099698A (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム
US11450021B2 (en) * 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
US10861175B1 (en) * 2020-05-29 2020-12-08 Illuscio, Inc. Systems and methods for automatic detection and quantification of point cloud variance
CN111985308B (zh) * 2020-07-07 2023-05-23 华南理工大学 一种微分几何的立体视觉空间曲线匹配方法
US11321822B2 (en) * 2020-07-30 2022-05-03 International Business Machines Corporation Determining image defects using image comparisons
US11315269B2 (en) * 2020-08-24 2022-04-26 Toyota Research Institute, Inc. System and method for generating a point cloud that includes surface normal information
CN112884687B (zh) * 2021-01-29 2022-02-11 郑州信大云筑工程科技有限公司 基于人工智能的测绘激光雷达扫描策略控制方法与系统
US11055428B1 (en) 2021-02-26 2021-07-06 CTRL IQ, Inc. Systems and methods for encrypted container image management, deployment, and execution

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1766552A2 (en) * 2004-06-23 2007-03-28 Strider Labs, Inc. System and method for 3d object recognition using range and intensity
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
EP1897033A4 (en) * 2005-06-16 2015-06-24 Strider Labs Inc SYSTEM AND METHOD FOR RECOGNIZING 2D IMAGES USING 3D CLASS MODELS

Also Published As

Publication number Publication date
DE102007048320A1 (de) 2008-05-15
CN101896936A (zh) 2010-11-24
EP2210234B1 (de) 2013-06-26
JP2010541112A (ja) 2010-12-24
US8379969B2 (en) 2013-02-19
HK1143652A1 (en) 2011-01-07
JP5222946B2 (ja) 2013-06-26
WO2009049774A1 (de) 2009-04-23
US20100310154A1 (en) 2010-12-09
EP2210234A1 (de) 2010-07-28

Similar Documents

Publication Publication Date Title
CN101896936B (zh) 用于对象模型与三维点云相匹配的方法
Melekhov et al. Dgc-net: Dense geometric correspondence network
Strecha et al. Combined depth and outlier estimation in multi-view stereo
Egnal et al. Detecting binocular half-occlusions: Empirical comparisons of five approaches
CN110310320B (zh) 一种双目视觉匹配代价聚合优化方法
JP4887374B2 (ja) ステレオビジョンにおいて散乱視差場を求める方法
US20130162643A1 (en) Physical Three-Dimensional Model Generation Apparatus
US10360313B2 (en) Apparatus and method for generating 3D printing model using multiple textures
Vidal et al. Segmentation of dynamic scenes from the multibody fundamental matrix
Mordohai et al. Stereo using monocular cues within the tensor voting framework
CN107230181A (zh) 实现人脸图像融合的方法及装置
CN110274598B (zh) 一种机器人单目视觉鲁棒定位估计方法
KR20140095838A (ko) 3차원 정보 복원 장치 및 방법
Vidal et al. Three-view multibody structure from motion
Kannala et al. Object recognition and segmentation by non-rigid quasi-dense matching
Jeong et al. Object segmentation ensuring consistency across multi-viewpoint images
KR100792172B1 (ko) 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법
CN110546687A (zh) 图像处理装置及二维图像生成用程序
KR101715782B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
Bartoli et al. A framework for pencil-of-points structure-from-motion
CN108230226A (zh) 自适应分块像素值排序数字可逆水印方法、医学图像系统
WO2017179728A1 (ja) 画像認識装置、画像認識方法および画像認識プログラム
Bharati et al. Res-q: Robust outlier detection algorithm for fundamental matrix estimation
CN113711274A (zh) 增强现实的实现方法
KR101344943B1 (ko) 실시간 스테레오 정합 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant