CN111553985B - 邻图配对式的欧式三维重建方法及装置 - Google Patents

邻图配对式的欧式三维重建方法及装置 Download PDF

Info

Publication number
CN111553985B
CN111553985B CN202010370106.6A CN202010370106A CN111553985B CN 111553985 B CN111553985 B CN 111553985B CN 202010370106 A CN202010370106 A CN 202010370106A CN 111553985 B CN111553985 B CN 111553985B
Authority
CN
China
Prior art keywords
point
point cloud
coordinate system
dimensional
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010370106.6A
Other languages
English (en)
Other versions
CN111553985A (zh
Inventor
刘凯
汪侃
龚俊
朱策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010370106.6A priority Critical patent/CN111553985B/zh
Publication of CN111553985A publication Critical patent/CN111553985A/zh
Application granted granted Critical
Publication of CN111553985B publication Critical patent/CN111553985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供一种欧式三维重建的方法、装置,涉及被动式三维建模技术领域。方法包括:首先,根据邻图配对式的序列图像拓扑结构依次重建多个点云,初始点云作为主点云,然后,从所述主点云始,建立对应表关系依次寻找当前点云和后一点云对应同一世界点的三维坐标点对,接着,结合所述三维坐标点对,使用抗噪声的尺度迭代最近点算法将其他点云配准到所述主点云得到稀疏点云,最后,设置地面控制点,并确定世界坐标系,将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。该方法提高了点云重建的精度,并使重建的点云具有真实的尺寸。

Description

邻图配对式的欧式三维重建方法及装置
技术领域
本发明涉及被动式三维建模技术领域,具体而言,涉及欧式三维重建的方法、装置。
背景技术
获取真实世界中物体的三维模型一直是计算机视觉领域的研究重点,常见的三维建模算法按传感器是否主动向物体照射光源可分为主动式和被动式两种方法。被动式重建中基于运动恢复结构(Structure from Motion,SfM)的重建方法因其简易的设备、方便的操作而应用前景广泛,SfM根据图像添加顺序的拓扑结构可分为增量式SfM、全局式SfM和混合式SfM三种。
点云的尺度指的是重建点云相较于真实世界物体的放缩因子,点云具有真实尺寸指的是点云中两点间距离的测量结果具有量纲,即点云尺寸和真实物体的尺寸一致。传统增量式SfM通过求解透视n点(Perspective n Points,PnP)问题来进行图像配准,重建后点云的一个重要缺陷是尺度信息的丢失,因而在初始化点云后,后续图片重建出的点云与初始点云不重合,重建精度差,并且重建的稀疏点云不具有真实尺寸。
发明内容
本发明的目的在于提供一种欧式三维重建的方法、装置,用于改善现有技术中增量式SfM重建点云精度差,并且重建的稀疏点云不具有真实尺寸技术问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明提供了一种欧式三维重建方法,所述方法包括:根据邻图配对式的序列图像拓扑结构依次重建多个点云,初始点云作为主点云;从所述主点云始,建立对应表关系依次寻找当前点云和后一点云对应同一世界点的三维坐标点对;结合所述三维坐标点对,使用抗噪声的尺度迭代最近点算法将其他点云配准到所述主点云得到稀疏点云;设置地面控制点,并确定世界坐标系,将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。
第二方面,本发明提供了一种欧式三维重建装置,重建装置包括:生成模块,用于从邻图配对式的序列图像中依次重建出多个三维点云,所述序列图像前两张图片重建出主点云;功能模块,用于使用所述抗噪声的迭代最近点算法将各部分点云与所述主点云配准并合并得到稀疏点云;转换模块,用于将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。
相对于现有技术,本发明具有以下有益效果:本发明提供的一种欧式三维方法、装置,首先使用邻图配对式的序列图像拓扑结构依次重建多个点云,可以将不同尺度的点云区分开,为点云的尺度统一做准备;然后,通过建立对应表的方式可以快速地从不同尺度的点云中提取三维坐标点对,方便后续算法的实施;接着,以序列图像中前两张图像重建出的点云作为主点云,使用抗噪声的尺度迭代最近点算法将其他点云配准到主点云,这样重建出的稀疏点云不存在点云分层现象,点云重建精度较高;最后,通过设置地面控制点,并确定世界坐标系,将稀疏点云从主点云坐标系转换到世界坐标系,实现欧式三维重建,这样使重建出的点云具有真实尺寸。
为使本发明的上述目的、特征和优点能更明显易懂,下文根据较佳实施例,并配合所附附图,做详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出本申请实施例提供的电子设备的功能结构框图;
图2示出本申请实施例提供的欧式三维重建的流程图;
图3示出本申请实施例提供的邻图配对式的序列图像重建点云拓扑结构示意图;
图4示出本申请实施例提供的对应表示意图;
图5示出本申请实施例提供的不同惩罚因子μ下抗噪声的尺度迭代最近点算法效果图;
图6(a)-图6(b)示出本申请实施例提供的抗噪声的尺度迭代最近点算法效果图;
图7(a)-图7(d)示出本申请实施例提供的使用不同算法重建的Fountain点云图;
图8(a)-图8(b)示出本申请实施例提供的控制点布置示意图;
图9示出本申请实施例提供的欧式三维重建装置的功能结构框图;
图标:102-存储器;104-处理器;106-控制器;108-外设接口;110-输入输出模块;112-显示模块;300-欧式三维重建装置;301-生成模块;302-功能模块;303-转换模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1,图1示出本申请实施例提供的电子设备100的功能结构框图。如图1所示,电子设备100可以包括存储器102、处理器104、控制器106、外设接口108、输入输出模块110、显示模块112和欧式三维重建装置300。
所述欧式三维重建装置300、存储器102、处理器104、控制器106、外设接口108、输入输出模块110和显示模块112各元件之间直接或间接地电性连接,以实现数据的传输或交互。所述欧式三维重建装置300中包括至少一个可以软件或固件的形式存储于所述存储器102中的软件功能模块。所述存储器102可以存储各种软件程序以及可执行模块,例如,本申请实施例中欧式三维重建装置的各模块、软件程序等;所述处理器104用于执行存储器102中存储的软件程序、可执行模块或将执行的结果保存到存储器102中;所述控制器106用于从存储器102中读取相应的指令,从而控制处理器104执行相应的软件程序或模块。
存储器102可以包括但不限于随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器104可以是一种集成电路芯片,具有信号处理能力。上述处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
外设接口108将各种输入/输入装置耦合至存储器102。在一些实施例中,外设接口108、处理器104以及控制器106可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出模块110用于提供给用户输入数据实现用户与电子设备100的交互。输入输出模块110可以是,但不限于,鼠标和键盘等。
显示模块112在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本申请实施例中,显示模块112可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器104进行计算和处理。
可以理解,图1所示的结构仅为示意,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
在本申请实施例中,电子设备100可以作为用户终端,或者作为服务器。用户终端可以为个人电脑(personal computer,PC)、平板电脑、手机、笔记本电脑、智能电视、机顶盒、车载终端等终端设备。
为了更清楚地介绍本申请实施例提供的技术方案,接下来先对应用场景做介绍。
三维重建技术一直是计算机视觉领域的前沿研究方向,在医学系统、游戏娱乐、机器人导航、摄影测量、影视制作和文物重构等领域得到广泛应用。被动式重建中,增量式从运动恢复结构(Structure from Motion,SfM)的思路是从序列图像或者视频中恢复目标场景或物体三维信息,重建出目标场景或物体的三维点云模型。传统增量式SfM首先从序列图像的前两张图片中重建出初始点云,然后对添加的每一张图片,找到初始点云中的三维点坐标和其在图片中对应的像素点坐标,通过求解PnP问题获取图片对应的相机位姿,最后,使用三角定位算法重建新的点云后与初始点云合并。然而,透视n点求解相机位姿时并不能保证尺度一致性,因此,后续图片重建的点云与初始点云不重合,并且最终重建的稀疏点云也不具有真实尺寸。
结合相关应用场景知识,请参照图2,图2示出了本申请实施例提供的欧式三维重建流程图。欧式三维重建方法包括以下步骤:
步骤201:根据邻图配对式的序列图像拓扑结构依次重建多个点云,初始点云作为主点云;本发明申请实施例中,请参照图3,是邻图配对式的序列图像重建点云拓扑结构示意图。首先,选取序列图像的前两幅图像(图像0、图像1)重建出初始点云,也作为主点云;然后,对添加的每一幅图像(图像2,图像3,…,图像N-1),将其结合前一幅图像重建出新的点云,共重建出N-2个点云;最后,将新重建的N-2个点云按重建顺序依次配准并合并到主点云。
步骤202:从所述主点云始,建立对应表关系依次寻找当前点云和后一点云对应同一世界点的三维坐标点对;
在本发明申请实施例中,步骤201重建的包括主点云在内的N-1个点云彼此独立,并具有不同的尺度。通过建立对应表的方式寻找新建点云和主点云之间的联系。请参照图4,是对应表结构示意图。对应表结构分为图像层、特征点层和查找表层三层,图像0,图像1和图像2是序列图像中相邻的三张图像,
Figure GDA0004217943490000051
是图像0和图像1匹配后的对应匹配点,
Figure GDA0004217943490000052
是图像1和图像2匹配后的对应匹配点。由/>
Figure GDA0004217943490000053
建立查找表tij,查找表的索引是图像匹配点对应的特征点序号(ki,kj),查找表的内容是图像匹配点对应的三维点坐标/>
Figure GDA0004217943490000054
对相邻的两张查找表,如t01、t12中含有相同的特征点序号k1,以特征点序号k1为索引,找到对应的三维坐标点对/>
Figure GDA0004217943490000055
步骤203:结合所述三维坐标点对,使用抗噪声的尺度迭代最近点算法将其他点云配准到所述主点云得到稀疏点云;
本发明申请实施例中,将步骤202通过对应表结构找到的三维坐标点对简记为(pi,qi),则配准算法主要用于求解一个非线性最小二乘问题:
Figure GDA0004217943490000056
其中R、T和s分别表示两片点云之间变换的旋转矩阵、平移向量和尺度因子。非线性最小二乘问题采用平方函数度量误差项,所有误差项具有相同的权重,而噪声坐标点对会产生更大的误差,对总误差的影响很大。因此,最小二乘法求解点云配准问题易受到噪声的影响,配准效果较差。本发明申请实施例中,采用更鲁棒的核函数(Geman-McClure函数)度量误差项,则公式(1)变为:
Figure GDA0004217943490000057
其中ω是Geman-McClure核函数,μ是函数惩罚因子:
Figure GDA0004217943490000058
通过构造三维坐标点对(pi,qi)的线过程L(pi,qi):
Figure GDA0004217943490000059
并令:
Figure GDA0004217943490000061
Figure GDA0004217943490000062
则可将(2)式转换为:
Figure GDA0004217943490000063
在第k步迭代过程中,通过代入k步的R(k)、T(k)和s(k)到式(4)中固定L(pi,qi)后,式(6)变为平方误差项加常数项的形式。此时,公式(6)可选的解法包括基于SVD分解的(Scaling Iterative Closest Point,SICP)算法、基于相似变换李代数(Similar LieAlgebra,SLA)的迭代算法和基于光束平差(Bundle Adjustment,BA)的最小二乘法三种。分别选用Fountain、Herzjesu图像集中的前三张图像重建出两片点云,使用三种算法的配准结果如表1所示,表中C(R,T,s)、t分别表示优化后的最小误差和耗时。
表1不同尺度迭代最近点算法比较结果
Figure GDA0004217943490000064
从表1可以看出,对于无噪声的两片点云配准,常见的尺度配准算法均可以求出准确的变换矩阵。但基于SVD分解的求解方法在速度上相较于其他两种迭代方法更有优势。本发明申请实施例中,使用基于SVD分解的SICP算法求解(6)式而不是其他两种迭代法计算(6)式。
μ值的选取对迭代优化的结果影响很大。当μ值远小于误差项时,ω(x)表现为定值μ,迭代会陷入局部最小值而造成较大的误差;当μ值远大于误差项时,ω(x)表现为平方函数,也会陷入局部最小值而造成较大的误差。分别选用Fountain、Herzjesu、People和Bottle图像集的前三张图像重建出两片点云,在对应表关系找到的三维坐标点对(pi,qi)中加入占比50%,均值0,标准差1.0的高斯白噪声。请参照图5,是不同惩罚因子μ下抗噪声的尺度迭代最近点算法效果图。图像横轴表示以10为对数底的μ值,纵轴表示均方根误差。
如图5所示,当惩罚因子μ值较小或较大时,均方根误差都很大。本发明申请实施例中,惩罚因子μ值取C(0)/(20N~50N),其中:
Figure GDA0004217943490000071
其中,R(0)、T(0)和s(0)分别取3×3的单位矩阵,3×1的零向量和1.0。
本发明申请实施例中,抗噪声的尺度迭代最近点算法,以下简称为ANSICP配准算法步骤如下:
Step 1)输入含有噪声点的三维坐标点对(pi,qi),其中i∈[0,N-1];
Step 2)初始化旋转矩阵R(0)为3×3单位阵,平移向量T(0)为3×1零向量,尺度因子s(0)为1.0,迭代终止阈值ε=0.01,核函数惩罚因子μ=C(0)/(20~50);
Step 3)迭代(第k次迭代)
Step 3.1)将R(k)、T(k)及s(k)代入到式(4)中得L(pi,qi);
Step 3.2)根据式(5-2)计算去中心化后点云对
Figure GDA0004217943490000072
其中i∈[0,N-1];
Step 3.3)令
Figure GDA0004217943490000073
将s视为常数,令/>
Figure GDA0004217943490000074
计算第k+1次旋转矩阵R(k+1)=UVT,尺度因子/>
Figure GDA0004217943490000075
和平移向量/>
Figure GDA0004217943490000076
Step 4)迭代终止条件
Step4.1)计算θ=1-E(k+1)/E(k)
Step4.2)如果θ<ε成立,输出R(k+1)、s(k+1)和T(k+1)
Step4.3)如果θ<ε不成立,令R(k)=R(k+1)、s(k)=s(k+1)和T(k)=T(k+1),返回Step 3)继续迭代过程;
对迭代求出的旋转矩阵R、平移向量T和尺度因子s,通过构建变换矩阵S:
Figure GDA0004217943490000081
将重建的N-2个点云依次配准到主点云,生成稀疏点云。
请参照图6(a)-6(b),是本申请实施例提供的抗噪声的尺度迭代最近点算法效果图。在两片点云(如Fountain点云)的三维坐标点对中选取不同百分比的数据加入均值0,标准差0.5的高斯白噪声。如图6(a)、6(b)所示,SICP配准算法、BA配准算法表示为现有技术的配准算法,ANSICP配准算法表示为本申请实施例中的配准算法,图中横轴表示噪声点对占总点对的百分比,图(a)纵轴表示均方误差,图(b)纵轴表示以10为对数底的时间变量。从图6(a)可以看出,本申请实施例提供的ANSICP配准算法对噪声有很好的抑制作用,配准时的均方误差越小表示配准效果越好,即曲线越往下配准效果越好。图6(b)可以看出,ANSICP配准算法的时间复杂度比SICP配准算法的高,比BA配准算法的低。
请参照图7(a)-图7(d),是本申请实施例提供的使用基于不同算法的增量式SfM重建的Fountain点云图。选取测试图像集(如Fountain图像集)作为序列图像输入,分别使用基于PnP算法的传统增量式SfM、基于ICP、SICP和ANSICP配准算法的改进增量式SfM重建稀疏点云。基ICP和SICP算法的增量式SfM表示为现有技术的重建算法,基于ANSICP算法的改进增量式SfM表示为本申请实施例中的重建算法。如图7(a)-图7(d)所示,基于PnP算法的增量式SfM重建的点云有明显的分层、不重叠现象,重建的点云效果较差;基于ICP算法的增量式SfM重建的点云虽然缓解了分层现象,但是由于尺度的存在,点云与点云之间不能完全重合;基于SICP算法的增量式SfM解决了点云配准上尺度的问题,但是由于噪声点的存在,计算的变换矩阵不够准确,点云也出现了分层现象;基于ANSICP算法的改进增量式SfM很好地克服了上述缺陷,点云重建效果最佳。
步骤204:设置地面控制点,并确定世界坐标系,将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。
本发明申请实施例中,步骤203得到的稀疏点云重建在主点云坐标系下,与世界坐标系下的真实点云存在尺度放缩的关系。在重建场景中布置控制点,并确定世界坐标系,通过控制点建立主点云坐标系和世界坐标系的联系,使用ANSICP配准算法将所述稀疏点云由主点云坐标系转换到世界坐标系下,恢复稀疏点云的尺度。请参照图8(a)-图8(b),是本申请实施例提供的控制点布置示意图。如图8(a)所示,是室外场景中控制点布置示意图。控制点模式是2×2的正方形方格,其中对角方格具有相同的颜色(如黑色或白色),控制点选取为4个方格的交点。如图8(b)所示,是室内场景中控制点布置示意图。控制点模式是5×7的棋盘格,控制点选取为棋盘格的角点。
首先,选取其中一个控制点作为世界原点,建立右手坐标系,如示意图中所示;然后,通过人工测量的方式,获得各控制点的世界坐标pi,接着,在所述序列图像的前两张图像上,手动定位各控制点的像素点对{x(u,v,1),x′(u′,v′,1)},通过三角定位方法计算出各控制点在主点云坐标系下的三维坐标qi,具体实现步骤如下:设
Figure GDA0004217943490000091
分别是两张图片对应的投影矩阵,qi表示主点云坐标系下控制点的三维坐标,则有:
Figure GDA0004217943490000092
Figure GDA0004217943490000093
其中λ、λ’表示未知的尺度参数。从(9)、(10)式中消去λ、λ’可以得到关于qi的线性方程组:
Figure GDA0004217943490000101
对得到的三维坐标点对(pi,qi),使用步骤203中的ANSICP配准算法计算所述主点云坐标系和所述世界坐标系之间的旋转矩阵、平移向量和尺度因子;最后,按照式(8)构建变换矩阵,将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。
接下来请参照图9,本申请实施例提供的欧式三维重建装置的功能结构框图。如图9所示,装置300包括:生成模块301,功能模块302和转换模块303。
生成模块301:用于从邻图配对式的序列图像中依次重建出多个三维点云,所述序列图像前两张图片重建出主点云;功能模块302:用于使用所述抗噪声的迭代最近点算法将各部分点云与所述主点云配准并合并得到稀疏点云;转换模块303:用于将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。
功能模块302中还包括处理模块。处理模块用于建立所述对应表结构依次寻找当前点云和后一点云对应同一世界点的三维坐标点对;可选的,处理模块还用于使用所述ANSICP配准算法寻找所述主点云和其他点云之间的旋转矩阵、平移向量和尺度因子;可选的,处理模块还用于构建变换矩阵将其他点云合并到主点云得到稀疏点云。
转换模块303中也包括处理模块。可选的,处理模块用于根据输入的控制点像素点对计算出控制点在所述主点云坐标系下的三维坐标;可选的,处理模块还用于根据输入的控制点世界坐标和计算的控制点在所述主点云坐标系下的三维坐标,使用所述ANSICP配准算法寻找控制点在所述主点云坐标系和所述世界坐标系之间的旋转矩阵、平移向量和尺度因子;可选的,处理模块还用于构建变换矩阵将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。
前述实施例中的欧式三维重建的方法中的各实施方式和具体实例同样适用于图9的装置,通过前述对欧式三维重建的方法的详细描述,本领域技术人员可以清楚的知道图9中的欧式三维重建的装置的实施方法,所以为了说明书的简洁,在此不再详述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (6)

1.一种欧式三维重建方法,其特征在于,所述方法包括:
根据邻图配对式的序列图像拓扑结构依次重建多个点云,初始点云作为主点云;
从所述主点云始,建立对应表关系依次寻找当前点云和后一点云对应同一世界点的三维坐标点对;
结合所述三维坐标点对,使用抗噪声的尺度迭代最近点算法将其他点云配准到所述主点云得到稀疏点云;
设置地面控制点,并确定世界坐标系,将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系;
所述抗噪声的尺度迭代最近点算法步骤包括:输入含噪声的三维坐标点对(pi,qi),其中i∈[0,N-1],N表示三维坐标点对总数;初始化旋转矩阵R(0)为3×3单位阵,平移向量T(0)为3×1零向量,尺度因子s(0)=1.0,迭代终止阈值ε=0.01,核函数惩罚因子μ=C(0)/(20N~50N),其中:
Figure QLYQS_1
根据第k(k=0,1,2,…)次的输入,计算第k次迭代的线过程L(k)(pi,qi):
Figure QLYQS_2
其中μ是Geman-McClure核函数的惩罚因子;
计算第k次去中心化三维坐标点对
Figure QLYQS_3
其中
Figure QLYQS_4
Figure QLYQS_5
其中K是待分解的三维坐标矩阵,U、V分别是左、右奇异矩阵,D是特征值矩阵,T表示对矩阵转置操作;
计算第k+1次所述旋转矩阵R(k+1)=UVT,所述尺度因子
Figure QLYQS_6
和所述平移向量/>
Figure QLYQS_7
计算比例误差系数θ=1-E(k+1)/E(k),其中E(k)、E(k+1)分别表示代入第k、k+1次迭代结果后的总误差,第k次迭代结果后的总误差是结合所述线过程L(k)(pi,qi)推导出的平方项加常数项的形式:
Figure QLYQS_8
若θ<ε,输出第k+1次的所述旋转矩阵R(k+1)、所述平移向量T(k+1)和所述尺度因子s(k+1)迭代结果,否则,继续迭代过程。
2.根据权利要求1所述的方法,其特征在于,根据邻图配对式的序列图像拓扑结构依次重建多个点云,初始点云作为主点云,所述方法还包括:
根据所述序列图像前两张图像重建出所述主点云;
从所述序列图像第三张图像开始,结合前一图像依次重建出新点云;
重建出的点云数量比所述序列图像数量少1。
3.根据权利要求1所述的方法,其特征在于,从所述主点云始,建立对应表关系依次寻找当前点云和后一点云对应同一世界点的三维坐标点对,所述方法还包括:
所述对应表结构分为图像层、特征点层和查找表层三层,所述图像层包含所述序列图像中所有图像;
所述特征点层由所述图像层中相邻图像的匹配点对构成;
所述查找表层以所述相邻图像的匹配点对序号为索引,对应的三维点坐标为内容。
4.根据权利要求1所述的方法,其特征在于,设置地面控制点,并确定世界坐标系,所述方法还包括:
所述地面控制点包括室外场景中黑白格确定的角点和室内场景中棋盘格确定的角点;
所述世界坐标系是通过选定某一所述地面控制点作为坐标原点,构建的右手坐标系。
5.根据权利要求1所述的方法,其特征在于,将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系,所述方法还包括:
通过人工测量的方式获取所述地面控制点在所述世界坐标系下的三维坐标;
手动测定所述地面控制点在所述序列图像前两张图像中的像素坐标点对;
计算所述地面控制点在所述主点云坐标系下的三维坐标;
使用所述抗噪声的尺度迭代最近点算法计算所述主点云坐标系与所述世界坐标系之间的旋转矩阵、平移向量和尺度因子;
构建变换矩阵,将所述稀疏点云由所述主点云坐标系转换到所述世界坐标系。
6.一种欧式三维重建的装置,其特征在于,所述装置包括:
生成模块:用于从邻图配对式的序列图像中依次重建出多个三维点云,所述序列图像前两张图片重建出主点云;
功能模块:用于使用抗噪声的迭代最近点算法将各部分点云与所述主点云配准并合并得到稀疏点云;
转换模块:用于将所述稀疏点云由所述主点云坐标系转换到世界坐标系;
所述抗噪声的迭代最近点算法包括:输入含噪声的所述各部分点云的三维坐标点对(pi,qi),其中i∈[0,N-1],N表示三维坐标点对总数;初始化旋转矩阵R(0)为3×3单位阵,平移向量T(0)为3×1零向量,尺度因子s(0)为1.0,迭代终止阈值ε为0.01,核函数惩罚因子μ=C(0)/(20N~50N),其中:
Figure QLYQS_9
根据第k(k=0,1,2,…)次的输入,计算第k次迭代的线过程L(k)(pi,qi):
Figure QLYQS_10
其中μ是Geman-McClure核函数的惩罚因子;根据第k次迭代的线过程,计算第k次去中心化三维坐标点对/>
Figure QLYQS_11
其中
Figure QLYQS_12
构造
Figure QLYQS_13
其中K是待分解的三维坐标矩阵,U、V分别是左、右奇异矩阵,D是特征值矩阵,T表示对矩阵转置操作;计算第k+1次所述旋转矩阵R(k+1)=UVT,所述尺度因子/>
Figure QLYQS_14
和所述平移向量/>
Figure QLYQS_15
计算比例误差系数θ=1-E(k+1)/E(k),其中E(k)、E(k+1)分别表示代入第k、k+1次迭代结果后的总误差,第k次迭代结果后的总误差是结合所述线过程L(k)(pi,qi)推导出的平方项加常数项的形式:
Figure QLYQS_16
若θ<ε,输出第k+1次的所述旋转矩阵R(k+1)、所述平移向量T(k+1)和所述尺度因子s(k+1)迭代结果,否则,继续迭代过程;
所述世界坐标系是通过选定某一地面控制点作为坐标原点,构建的右手坐标系。
CN202010370106.6A 2020-04-30 2020-04-30 邻图配对式的欧式三维重建方法及装置 Active CN111553985B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010370106.6A CN111553985B (zh) 2020-04-30 2020-04-30 邻图配对式的欧式三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010370106.6A CN111553985B (zh) 2020-04-30 2020-04-30 邻图配对式的欧式三维重建方法及装置

Publications (2)

Publication Number Publication Date
CN111553985A CN111553985A (zh) 2020-08-18
CN111553985B true CN111553985B (zh) 2023-06-13

Family

ID=72006077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010370106.6A Active CN111553985B (zh) 2020-04-30 2020-04-30 邻图配对式的欧式三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN111553985B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164101B (zh) * 2020-09-29 2023-01-20 北京环境特性研究所 三维点云匹配方法和装置
CN113066163A (zh) * 2021-03-17 2021-07-02 内蒙古工业大学 一种基于二维图像的人体体型三维重建方法
CN113178000B (zh) * 2021-03-26 2022-06-24 杭州易现先进科技有限公司 三维重建方法、装置、电子设备及计算机存储介质
CN113177977B (zh) * 2021-04-09 2022-06-10 上海工程技术大学 一种非接触式三维人体尺寸的测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170135655A1 (en) * 2014-08-08 2017-05-18 Carestream Health, Inc. Facial texture mapping to volume image
CN106023303B (zh) * 2016-05-06 2018-10-26 西安电子科技大学 一种基于轮廓有效性提高三维重建点云稠密程度的方法
CN106296693B (zh) * 2016-08-12 2019-01-08 浙江工业大学 基于3d点云fpfh特征实时三维空间定位方法
CN107170010A (zh) * 2017-05-11 2017-09-15 四川大学 系统校准方法、装置及三维重建系统
CN107830854A (zh) * 2017-11-06 2018-03-23 深圳精智机器有限公司 基于orb稀疏点云与二维码的视觉定位方法
CN108230379B (zh) * 2017-12-29 2020-12-04 百度在线网络技术(北京)有限公司 用于融合点云数据的方法和装置
CN110070598B (zh) * 2018-01-22 2022-11-25 宁波盈芯信息科技有限公司 用于3d扫描重建的移动终端及其进行3d扫描重建方法
EP3594904A1 (en) * 2018-07-11 2020-01-15 InterDigital VC Holdings, Inc. A method and device for encoding/decoding the geometry of a point cloud
CN110310365B (zh) * 2019-06-27 2021-01-05 四川大学 一种三维重建方法及装置
CN110889901B (zh) * 2019-11-19 2023-08-08 北京航空航天大学青岛研究院 基于分布式系统的大场景稀疏点云ba优化方法
CN110930503B (zh) * 2019-12-05 2023-04-25 武汉纺织大学 一种服装三维模型建立方法、系统、存储介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9466143B1 (en) * 2013-05-03 2016-10-11 Exelis, Inc. Geoaccurate three-dimensional reconstruction via image-based geometry
CN109945853A (zh) * 2019-03-26 2019-06-28 西安因诺航空科技有限公司 一种基于3d点云航拍图像的地理坐标定位系统和方法

Also Published As

Publication number Publication date
CN111553985A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553985B (zh) 邻图配对式的欧式三维重建方法及装置
CN111795704B (zh) 一种视觉点云地图的构建方法、装置
Berger et al. A survey of surface reconstruction from point clouds
US20220138484A1 (en) Visual localization method and apparatus based on semantic error image
Chang et al. Automatic registration for articulated shapes
US11042973B2 (en) Method and device for three-dimensional reconstruction
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
US20130272581A1 (en) Method and apparatus for solving position and orientation from correlated point features in images
CN113436238B (zh) 点云配准精度的评估方法、装置和电子设备
CN107492120B (zh) 点云配准方法
CN112396640A (zh) 图像配准方法、装置、电子设备及存储介质
CN108401565B (zh) 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
CN104318552B (zh) 基于凸包投影图匹配的模型配准方法
CN112489099A (zh) 点云配准方法、装置、存储介质及电子设备
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN117132737B (zh) 一种三维建筑模型构建方法、系统及设备
Fieguth et al. Efficient multiresolution counterparts to variational methods for surface reconstruction
CN106408654B (zh) 一种三维地图的创建方法及系统
Mi et al. 3D reconstruction based on the depth image: A review
Coorg Pose imagery and automated three-dimensional modeling of urban environments
CN108961381A (zh) 用于对物体的三维几何模型着色的方法和装置
CN109886988A (zh) 一种微波成像仪定位误差的度量方法、系统、装置及介质
Brito Autocalibration for structure from motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant