CN104318552B - 基于凸包投影图匹配的模型配准方法 - Google Patents

基于凸包投影图匹配的模型配准方法 Download PDF

Info

Publication number
CN104318552B
CN104318552B CN201410543339.6A CN201410543339A CN104318552B CN 104318552 B CN104318552 B CN 104318552B CN 201410543339 A CN201410543339 A CN 201410543339A CN 104318552 B CN104318552 B CN 104318552B
Authority
CN
China
Prior art keywords
convex closure
model
dimensional
registration
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410543339.6A
Other languages
English (en)
Other versions
CN104318552A (zh
Inventor
杨健
范敬凡
王涌天
艾丹妮
刘越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ari Mai Di medical technology (Beijing) Co., Ltd.
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201410543339.6A priority Critical patent/CN104318552B/zh
Publication of CN104318552A publication Critical patent/CN104318552A/zh
Application granted granted Critical
Publication of CN104318552B publication Critical patent/CN104318552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于凸包投影图匹配的模型配准方法，该算法由六个步骤实现：1)选取具有旋转平移不变性的三维凸包表面作为参考平面。2)将三维模型上的每一个点平行投影至凸包表面上。3)在待配准模型各自的二维图像间进行特征的提取与匹配。4)将得到的二维特征点对反投影至凸包表面，还原成有效的三维特征配对。5)使用这些三维特征点对估计待配准模型间的刚性变换。6)以这些三维特征点对作为控制点进行全局弹性优化。本发明实现了在不含纹理信息的模型数据上提取特征并完成多视模型的全局配准优化，并具备运算效率高、配准精度高、初始位姿适应性强的特点，可应用于物体跟踪、三维模型拼接及三维重建等领域。

Description

基于凸包投影图匹配的模型配准方法
技术领域
本发明涉及一种基于凸包投影图匹配的模型配准方法，该技术在摄影测量学、运动跟踪、相机位置恢复与物体检索等领域中都有重要应用。
背景技术
近年来，随着计算机图形学、计算机视觉、虚拟现实和增强现实领域的发展，三维模型采集与处理技术的关注度日益提高。而在相关研究中，配准技术则是三维模型分析处理中的关键方法。通常来说，三维模型是由密集的模型或面型描述的，配准技术的目标是求解不同模型间最优的几何变换。在过去的20年中，大量的方法被研究用于三维模型配准问题。其中最具代表性的方法为迭代最邻近点(Iterative Closest Point,ICP)算法，该算法在1992年由Besl和Mckay提出。ICP算法通过最小化两个点集最近点对间的欧氏距离，优化得到两个模型间的最优变换。然而因算法中相似性测度与迭代方式的特点，算法中存在若干缺陷，如依赖初始位姿、迭代过程易陷入局部极小值、计算速度慢等。
为降低配准方法对初始位姿的依赖，大量的学者引入不同的描述子对模型进行描述，或者通过不同的优化算法求取模型的匹配关系。其中，一类有效的优化方法是利用三维模型结构上的形状与纹理信息，对目标物体进行特征的检索与匹配，而后将无关的离散模型配准问题转换为匹配点对间的配准问题，从而实现目标模型的配准。其中，Spin-Image算法提出一种基于三维形状信息的物体识别方法用于包含噪声与信息缺失的物体识别。一种三维SIFT特征描述子可以在三维模型上提取特征，这种特征描述子将区域内的空间与时间信息编码，对模型的方位与噪声有一定的鲁棒性。但此类方法适用于包含纹理信息的三维模型，然而对于只具备空间信息的离散模型数据，该类方法无法精确地检测到特征点，后续的配准过程也无法实现，导致该方法的使用受到局限。
因此需要一种有效的模型配准算法，能够从不含纹理信息的离散模型数据中，检测到特征点，并通过匹配的特征点对计算目标模型和参考模型间的最优三维坐标变换关系。该方法应满足：(1)不需借助模型数据中除坐标信息外的信息，适用面广；(2)不要求待配准的模型之间具有较为接近的位姿，鲁棒性强；(3)计算速度快，满足模型配准实际应用中的时间要求。
发明内容
为克服现有的基于特征描述的模型配准算法中存在的不足，本发明提供一种基于凸包投影图匹配的模型配准方法，能够在不含纹理信息的模型数据上实现特征提取与匹配，该方法包括以下步骤：
第一步：分别计算两组待配准模型的凸包，由凸包顶点及其拓扑结构构成凸包表面上的三角形集合；
第二步：以模型凸包表面的任一三角形平面作为投影平面，将模型中的每个点平行投影至投影平面上，以图象中的频率密度为依据，生成密度图；
第三步：在待配准模型生成的两组投影图序列间进行特征提取与匹配，找到二维图像间的最优特征点匹配序列；
第四步：将二维的特征点配对反投影至三维凸包表面，得到两组模型位于凸包表面上的三维特征点对；
第五步：根据提取得到的三维特征点对，建立欧式空间中几何变换关系的方程组，利用非线性阻尼最小二乘法优化变换参数，获得两组模型之间的刚性变换关系；
第六步：将提取得到的三维特征点对作为TPS弹性变换的控制点，在刚性变换结果基础上，对原始模型进行TPS弹性变换，计算两组模型之间的弹性配准结果。
本发明的有益效果：
与现有方法相比，本方法的优点在于利用模型的凸包表面投影原理，在不含纹理信息的模型数据上实现特征提取与匹配，进而获取待配准目标凸包表面上具有一致性关系的三维特征点配对，并使用该配对点集代替初始模型，完成刚性以及弹性的模型配准。
附图说明
图1为本发明的算法流程图。
图2为平行投影原理图。
图3为模型投影过程示意图。
图4为特征提取与匹配示意图。
图5为特征点对反投影示意图。
图6为配准结果示意图。
具体实施方式
下面结合具体实施例和附图详细说明本发明，但本发明并不仅限于此。
步骤S101，分别计算两组待配准模型的凸包，由凸包顶点及其拓扑结构构成凸包表面上的三角形集合；
三维模型投影至二维积分图像的物理意义可描述为由特定角度观察该三维模型所获得的投影图像，因此该投影图像能够反映三维模型的相应局部特征，可作为配准的依据。考虑到配准过程对投影图像全视角与标准性的需求，投影平面的选取将决定配准过程的效率以及配准结果的精度。凸包的不变性与唯一性确保了待配准的三维模型具备相似的凸包结构，因此使用凸包表面的三角形作为投影平面，不仅覆盖了目标物体的全方位视角，还保证配准过程中两组模型的投影具备相似的投影平面，故能够找到匹配的特征实现模型的配准。同时凸包的顶点数量少于计算速度快两个性质确保了此方法的运算效率高，无论是凸包提取还是后续处理方法均能在较短的时间内完成。
步骤S102，以模型凸包表面的任一三角形平面作为投影平面，将模型中的每个点平行投影至投影平面上，以图象中的频率密度为依据，生成密度图；
投影过程如图2所示，对于给定三个顶点{fa,fb,fc}的三角形平面F，它的单位法向量可以计算得到：
那么原始模型P，即可通过投影至三角形平面得到共面的投影点集合P′：
此时，共面的三维投影点集合P′，经过投影平面单位法向量至z轴上的单位向量(0,0,1)的变换T3D-＞2D，即可得到相应的二维点集合P2d。此后根据二维点集合的密度分布，我们即可建立二维的灰度图像来反应模型在该投影平面上表现出的密度分布。二维图像上每一个像素点的灰度I(u,v)可累计为：
其中，max val表示该幅图像中某一像素点上密度累计的最大值，经过这样的计算后得到的密度分布图像为归一化图像。图3给出一组模型的投影示意图。
步骤S103，在待配准模型生成的两组投影图序列间进行特征提取与匹配，找到二维图像间的最优特征点匹配序列；
对于二维图像特征的提取与匹配问题，有许多基于纹理的特征描述方法，其中最成熟的算法为SIFT算法。SIFT特征描述子在不同的尺度空间中描述特征点的特征方向，通过组合不同尺度空间中特征方向得到的特征向量描述二维图像中的不变特征，并依此匹配特征点。本方法中采用SIFT算法来实现二维图像的特征提取与匹配。图4为特征提取与匹配的示意图。
步骤S104，将二维的特征点配对反投影至三维凸包表面，得到两组模型位于凸包表面上的三维特征点对；
使用SIFT算法匹配投影图像上的特征，得到了待配准的两组模型中二维对应特征的序列。而这些二维特征原本是处于模型凸包表面上不同平面中的特征点，经过z轴单位向量(0,0,1)到相应平面单位法向量的变换T2D-＞3D(即)，可还原该特征点的三维坐标：
将对应特征点序列经由此变换全部还原至凸包表面的三维坐标，可得到两组模型覆盖在凸包表面上的对应三维特征点集合。图5为特征点对反投影后的示意图。
步骤S105，根据提取得到的三维特征点对，建立欧式空间中几何变换关系的方程组，利用非线性阻尼最小二乘法优化变换参数，获得两组模型之间的刚性变换关系；
在特征点反投影过程后，两组模型间的配准问题即转换为了三维点对间的配准问题。Umeyama提出了解决对应点对间配准问题最小二乘解的经典方法。当对应点对中存在错误的匹配点时，最小二乘解将表现出较大的误差。因此，在本方法中还引入了RANSAC优化方法进行奇异点的排除，使得配准方法能够解决存在误匹配特征点对的问题，更加鲁棒。
步骤S106，将提取得到的三维特征点对作为TPS弹性变换的控制点，在刚性变换结果基础上，对原始模型进行TPS弹性变换，计算两组模型之间的弹性配准结果。
获取得到精确的匹配点对后，还可以使用这些对应点对建立TPS方法中的控制点序列，进而对模型进行弹性形变，最小化模型间的弹性能量函数以实现模型的弹性配准。相较以往的TPS算法往往选择均匀分布的空间网格作为控制点，本方法的弹性配准过程避免了网格点密度选取带来的配准精度与时间效率的矛盾，因得到的匹配点对是原模型上关联性与一致性极强的特征点对，通过有限数量的匹配点作为TPS变换的控制点即可实现快速且准确的弹性配准。图6为配准结果的示意图。
虽然参考优选实施例对本发明进行描述，但以上所述实例并不构成本发明保护范围的限定，任何在本发明的精神及原则内的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围内。

Claims (2)

1.一种基于凸包投影图匹配的模型配准方法，其特征在于，包括以下步骤：
第一步：分别计算两组待配准模型的凸包，由凸包顶点及其拓扑结构构成凸包表面上的三角形集合；
第二步：以模型凸包表面的任一三角形平面作为投影平面，将模型中的每个点平行投影至投影平面上，以图像中的频率密度为依据，根据二维点集合的密度分布，建立二维的灰度图像，实现密度图生成；
第三步：在待配准模型生成的两组投影图序列间进行特征提取与匹配，找到二维图像间的最优特征点匹配序列；
第四步：将二维的特征点配对反投影至三维凸包表面，得到两组模型位于凸包表面上的三维特征点对；
第五步：根据提取得到的三维特征点对，建立欧式空间中几何变换关系的方程组，利用非线性阻尼最小二乘法优化变换参数，获得两组模型之间的刚性变换关系；
第六步：将提取得到的三维特征点对作为TPS弹性变换的控制点，在刚性变换结果基础上，对原始模型进行TPS弹性变换，计算两组模型之间的弹性配准结果。
2.如权利要求1所述的一种基于凸包投影图匹配的模型配准方法，其特征在于，利用模型的凸包表面投影原理，在不含纹理信息的模型数据上实现特征提取与匹配，进而获取待配准目标凸包表面上具有一致性关系的三维特征点即配对点，并使用该配对点的集代替初始模型，完成刚性以及弹性的模型配准。
CN201410543339.6A 2014-10-15 2014-10-15 基于凸包投影图匹配的模型配准方法 Active CN104318552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410543339.6A CN104318552B (zh) 2014-10-15 2014-10-15 基于凸包投影图匹配的模型配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410543339.6A CN104318552B (zh) 2014-10-15 2014-10-15 基于凸包投影图匹配的模型配准方法

Publications (2)

Publication Number Publication Date
CN104318552A CN104318552A (zh) 2015-01-28
CN104318552B true CN104318552B (zh) 2017-07-14

Family

ID=52373778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410543339.6A Active CN104318552B (zh) 2014-10-15 2014-10-15 基于凸包投影图匹配的模型配准方法

Country Status (1)

Country Link
CN (1) CN104318552B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101812001B1 (ko) * 2016-08-10 2017-12-27 주식회사 고영테크놀러지 3차원 데이터 정합 장치 및 방법
CN107945172A (zh) * 2017-12-08 2018-04-20 博众精工科技股份有限公司 一种字符检测方法及系统
CN109993730B (zh) * 2019-03-20 2021-03-30 北京理工大学 3d/2d血管配准方法及装置
CN113052765B (zh) * 2021-04-23 2021-10-08 中国电子科技集团公司第二十八研究所 基于最优栅格密度模型的全景图像拼接方法
CN113793250B (zh) * 2021-08-13 2024-09-06 北京迈格威科技有限公司 位姿评价方法、位姿确定方法、对应装置和电子设备
CN116128936A (zh) * 2023-02-15 2023-05-16 北京纳通医用机器人科技有限公司 配准方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254350A (zh) * 2011-07-05 2011-11-23 中国测绘科学研究院 一种三维模型的匹配方法
CN103020960A (zh) * 2012-11-26 2013-04-03 北京理工大学 基于凸包不变性的点云配准方法
JP2014102608A (ja) * 2012-11-19 2014-06-05 Ihi Corp ３次元物体認識装置および３次元物体認識方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110188781A1 (en) * 2010-02-01 2011-08-04 Songxiang Gu Quick 3D-to-2D Points Matching Based on the Perspective Projection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254350A (zh) * 2011-07-05 2011-11-23 中国测绘科学研究院 一种三维模型的匹配方法
JP2014102608A (ja) * 2012-11-19 2014-06-05 Ihi Corp ３次元物体認識装置および３次元物体認識方法
CN103020960A (zh) * 2012-11-26 2013-04-03 北京理工大学 基于凸包不变性的点云配准方法

Also Published As

Publication number Publication date
CN104318552A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN104318552B (zh) 基于凸包投影图匹配的模型配准方法
WO2019157924A1 (zh) 三维物体的实时检测方法及系统
CN107292949B (zh) 场景的三维重建方法、装置及终端设备
WO2015139574A1 (zh) 一种静态物体重建方法和系统
CN105989604A (zh) 一种基于kinect的目标物体三维彩色点云生成方法
CN105654492A (zh) 基于消费级摄像头的鲁棒实时三维重建方法
CN113298934B (zh) 一种基于双向匹配的单目视觉图像三维重建方法及系统
CN106919944A (zh) 一种基于orb算法的大视角图像快速识别方法
CN112562001B (zh) 一种物体6d位姿估计方法、装置、设备及介质
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
Zou et al. Indoor localization and 3D scene reconstruction for mobile robots using the Microsoft Kinect sensor
Fan et al. Convex hull aided registration method (CHARM)
US20170178347A1 (en) Dynamic particle filter parameterization
Untzelmann et al. A scalable collaborative online system for city reconstruction
Guo et al. Line-based 3d building abstraction and polygonal surface reconstruction from images
Esteban et al. Fit3d toolbox: multiple view geometry and 3d reconstruction for matlab
CN106408654B (zh) 一种三维地图的创建方法及系统
Jiao et al. Leveraging local planar motion property for robust visual matching and localization
Li et al. Overview of 3d reconstruction methods based on multi-view
Peng et al. Projective reconstruction with occlusions
Devi et al. An efficient algorithm for image stitching based on scale-invariant feature transform
Peng et al. Deep-Learning-Based Precision Visual Tracking
Li SuperGlue-Based Deep Learning Method for Image Matching from Multiple Viewpoints
Hao et al. Image completion with perspective constraint based on a single image
Huang [Retracted] Corner Detection of the Computer VR Microscope Image Based on the 3D Reconstruction Algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180907

Address after: 100086 Qingyun contemporary building 13, 1306, room 9, mansion court garden, Qingyun Li, Haidian District, Beijing.

Patentee after: Ari Mai Di medical technology (Beijing) Co., Ltd.

Address before: 100081 No. 5, Zhongguancun South Street, Haidian District, Beijing

Patentee before: BEIJING INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right