CN117635875A - 一种三维重建方法、装置及终端 - Google Patents
一种三维重建方法、装置及终端 Download PDFInfo
- Publication number
- CN117635875A CN117635875A CN202410102833.2A CN202410102833A CN117635875A CN 117635875 A CN117635875 A CN 117635875A CN 202410102833 A CN202410102833 A CN 202410102833A CN 117635875 A CN117635875 A CN 117635875A
- Authority
- CN
- China
- Prior art keywords
- line
- plane
- dimensional reconstruction
- spatial
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 66
- 238000004220 aggregation Methods 0.000 claims abstract description 33
- 230000002776 aggregation Effects 0.000 claims abstract description 33
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 230000004931 aggregating effect Effects 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 230000014759 maintenance of location Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本申请涉及三维建模技术领域,提供了一种三维重建方法、装置及终端,该方法包括:获取所有视觉图像的线段特征,并根据图像位姿对所有视觉图像进行三角化,以获得空间线特征;获取采集的点云地图,将点云地图生成三角面片,并对点云地图栅格化,形成栅格地图,以获得空间线特征与栅格地图的关联关系;将空间线特征根据预设聚合标准进行平面特征聚合;根据空间线特征与栅格地图的关联关系,构建三角面片与空间线特征的误差方程,并根据误差方程对三角面片进行优化,获得优化后三角面片;对优化后三角面片的顶点位置进行优化,获得三维重建模型。本申请通过将点云地图与视觉图像结合的三维重建方法,可以生成高保真,高细节保持的三维重建模型。
Description
技术领域
本申请涉及三维建模技术领域,尤其涉及一种三维重建方法、装置及终端。
背景技术
通过三维重建技术,人们得以从真实世界获取的准确的数字化模型,进而能够支持任意视角观察场景的任意部分,满足数字化展厅演示、住宅办公区域预览以及影视级制作等各方面的需求,因此室内外场景的数字化广受关注和研究。但是现有的技术主要集中在结构化模型生成方面的研究,如专利CN113888391A-一种室内结构化重建方法 装置及计算机可读存储介质和CN115689867A-一种基于马尔科夫聚类的多房间室内场景结构化重建方法的重建方法;均是通过密集点云数据,提取点云特征获得高级、抽象的结构化模型,虽然满足一般房屋主体的重建,但会丢失重建细节。
发明内容
有鉴于此,本申请实施例提供一种维重建方法、装置及终端,可以有效解决现有技术中丢失重建细节的问题等。
第一方面,本申请实施例提供一种三维重建方法,包括:
获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征;
获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系;
将所述空间线特征根据预设聚合标准进行平面特征聚合;
根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片;
对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。
在一些实施例中,所述获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征包括:
通过线段提取器提取所述所有视觉图像中的线段特征;
对所述线段特征通过特征描述子进行描述,根据所述线段特征的所述特征描述子对所述所有视觉图像进行图像间的线段匹配;
根据线段匹配关系将两两视觉图像的线段进行线段三角化,以获得空间线特征。
在一些实施例中,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之前,还包括:
根据所述栅格地图,获取与预设平面邻近的线段,并获取所述线段的所述空间线特征;
所述将所述空间线特征根据预设聚合标准进行平面特征聚合包括:
将所有邻近的所述空间线特征分别进行平面拟合,得到多个拟合平面;
将所述多个拟合平面按照预设聚合标准进行平面特征聚合。
在一些实施例中,所述将所述多个拟合平面按照预设聚合标准进行平面特征聚合包括:
初始化第一个所述拟合平面,作为一个平面类别;
遍历所有的拟合平面,计算每个所述拟合平面邻近的三角面片顶点到当前拟合平面的平均距离;
若所述平均距离大于第一阈值,则不对所述当前拟合平面做聚合;
若所述平均距离小于等于所述第一阈值,则计算所述当前拟合平面与所有平面类别的各个相似度;
从所述各个相似度中获取相似度最大值及所述相似度最大值对应的平面类别;
若所述相似度最大值大于等于第二阈值,则将所述当前拟合平面聚合到所述相似度最大值对应的平面类别中;
若所述相似度最大值小于所述第二阈值,则初始化所述当前拟合平面,以生成新的平面类别。
在一些实施例中,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之后,还包括:
滤除错误的所述空间线特征,具体包括:
将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征;或
计算每个空间线特征对应线段的端点与对应拟合平面的空间欧式距离,若计算得到的所述空间欧式距离大于预设空间距离,则滤除当前空间线特征。
在一些实施例中,所述将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征包括:
对于任意一空间线特征,将与当前空间线特征关联的所述栅格地图中的线段两端点分别投影到多个其他视觉图像上;
在像素平面中计算两个端点分别到多个其他视觉图像的距离,并计算两个端点到同一视觉图像上的距离差;
计算多个所述距离差的平均值,若所述平均值大于预设误差值,则滤除当前空间线特征。
在一些实施例中,所述根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程包括:
获得每一个所述空间线特征对应的聚合后的平面类别;
结合所述空间线特征与所述栅格地图的关联关系,获得每一个所述空间线特征的关联视觉图像集合;
根据空间最近邻规则获得与每一个所述空间线特征最近的三角面片顶点集合;
根据所述聚合后的平面类别、所述关联视觉图像集合及所述三角面片顶点集合,构建空间距离误差方程和多视觉图像光度一致性误差方程。
在一些实施例中,所述对所述优化后三角面片的顶点位置进行优化,获得三维重建模型包括:
通过梯度下降法迭代更新所述三角面片的顶点位置,生成三维重建模型;
其中,所述通过梯度下降法迭代更新所述三角面片的顶点位置包括:
通过第一方程和第二方程计算所述三角面片顶点位置的梯度误差;
通过所述第一方程和所述第二方程构建最小二乘方程,计算迭代更新后的三角面片的顶点位置;
其中,所述第一方程通过空间距离误差方程获得;所述第二方程通过ZNCC图像梯度得到。
第二方面,本申请实施例提供一种三维重建装置,包括:
三角化模块,用于获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征;
栅格化模块,用于获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系;
聚合模块,用于将所述空间线特征根据预设聚合标准进行平面特征聚合;
误差优化模块,用于根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片;
三维重建模型生成模块,用于对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。
第三方面,本申请实施例提供一种终端设备,所述终端设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施上述的三维重建方法。
本申请的实施例具有如下有益效果:本申请通过将点云地图与视觉图像结合实现线特征增强的三维重建方法,首先通过视觉图像获得空间线特征,然后通过点云地图生成三角面片及栅格地图,进而获得所述空间线特征与所述栅格地图的关联关系,然后将所述空间线特征进行平面特征聚合,进一步地,对三角面片进行优化,并对优化后的三角面片的顶点位置进行优化,最后生成高保真,高细节保持的三维重建模型。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的三维重建方法的第一流程示意图;
图2示出了本申请实施例的三维重建方法的第二流程示意图;
图3示出了本申请实施例的点云地图生成三角面片和栅格地图的示意图;
图4示出了本申请实施例的拟合平面示意图;
图5示出了本申请实施例的三维重建方法的第三流程示意图;
图6示出了本申请实施例的三维重建装置的一种结构示意图。
主要元件符号说明:
10-点云地图;20-三角面片;30-栅格地图;40-拟合前平面;50-拟合平面;100-三角化模块;200-栅格化模块;300-聚合模块;400-误差优化模块;500-三维重建模型生成模块。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下文中,可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本申请的各种实施例中被清楚地限定。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
三维重建技术中,现有技术通常是通过密集点云数据,提取点云特征获得高级、抽象的结构化模型,容易丢失重建细节,因此本申请为了得到高保真,高细节保持的三维重建模型提出了一种三维重建方法、装置及终端。
下面结合一些具体的实施例来对该三维重建方法进行说明。
图1示出了本申请实施例的三维重建方法的一种流程示意图。示范性地,该三维重建方法包括以下步骤:
步骤S100,获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征。
首先,需要通过激光雷达设备采集需要三维建模物体的点云地图,并通过相机或者其他可以获取视觉图像的装置获取视觉图像,另外还需要获取视觉图像与点云地图在同一坐标系下的位姿。
其中,为了避免摄像镜头畸变导致视觉图像的误差,在步骤S100之前,需要对所有视觉图像去畸变,在对视觉图像去畸变时,采用已经标定好的相机畸变系数,将输入的原始图片计算得到去畸变图像,本申请和后面所提到的视觉图像均是去畸变后的视觉图像。
在一种实施方式中,如图2所示,步骤S100包括:
步骤S110,通过线段提取器提取所有视觉图像中的线段特征。
步骤S120,对所述线段特征通过特征描述子进行描述,根据所述线段特征的所述特征描述子对所有视觉图像进行图像间的线段匹配。
步骤S130,根据线段匹配关系将两两视觉图像的线段进行线段三角化,以获得空间线特征。
具体地,通过LSD线特征提取器提取所有视觉图像的线段特征,通过DeepLSD对提取的线段特征进行特征描述子描述,由于特征描述子越相似的线段,则可能是物理空间中的同一条线,因此可以通过特征描述子来确定各视觉图像见图像的线段匹配关系,然后根据线段匹配关系将两两所述视觉图像的线段进行线段三角化,以获得空间线特征;其中匹配关系为两个视觉图像中属于同一条线段。
其中,DeepLSD用于对图像提取到的线段进行描述,表征其特征属性。
以一副视觉图像为例,为其中的线段找到另一幅视觉图像中特征描述子最相似的线段(特征描述子越相似,更可能是物理空间中的同一条线),从而通过线线交汇的三角化原理得到空间中的直线。其中,特征描述子可以采用16位8bit的无符号整数表达,描述子欧式距离越小说明线段特征越相似。其中,另一幅视觉图像通过图像搜索配对获得,目的是找到有场景重合,场景存在相似特征的视觉图像。
步骤S200,获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系。
本申请中通过possion重建将点云地图生成三角面片(如图3),并对点云地图进行栅格化,形成栅格地图(如图3),栅格分辨率通常按照点云测距精度和密度进行设置。
步骤S300,将所述空间线特征根据预设聚合标准进行平面特征聚合。
本步骤中,根据栅格地图,将邻近的空间线特征采用RANSAC方法进行平面拟合,得到弥合平面,然后将所述拟合平面(图4示出了一个拟合后平面示意图)按照预设聚合标准进行平面特征聚合。
在步骤S300之前需要根据所述栅格地图,获取与预设平面邻近的线段,并获取所述线段的所述空间线特征。其中,邻近线段通过栅格地图获得,可设置为在栅格内部的线段为邻近;或者按照经验设置一定的球面半径进行空间查询。球面半径的具体大小可以根据需构建模型的物体大小进行设定,在此不做具体限定。
本申请中对拟合平面进行聚合的标准为:拟合平面接近三角面片组成的表面;拟合中心点接近且拟合平面法向接近。
具体地,如图5所示,所述将所述多个拟合平面按照预设聚合标准进行平面特征聚合包括:
步骤S310,初始化第一个所述拟合平面,作为一个平面类别。
刚开始对拟合平面进行聚合时,初始化第一个拟合平面为平面类别C_1,当后面有新的平面类别产生时,则作为平面类别C_2、C_3···C_N。
步骤S320,遍历所有的拟合平面,计算每个所述拟合平面邻近的三角面片顶点到当前拟合平面的平均距离。
步骤S330,若所述平均距离大于第一阈值,则不对所述当前拟合平面做聚合。
步骤S340,若所述平均距离小于等于所述第一阈值,则计算所述当前拟合平面与所有平面类别的各个相似度。
以P_i表示第i个拟合平面,遍历所有的拟合平面,计算拟合平面P_i邻近的三角面片顶点到当前拟合平面的平均距离。若所述平均距离大于第一阈值,则不对当前拟合平面P_i做聚合。若所述平均距离小于等于所述第一阈值,则计算拟合平面P_i与所有平面类别的相似度。其中第一阈值可以根据经验值进行设置。通过下面公式1计算拟合平面P_i与每个平面类别(C_1、C_2、C_3···C_N)的相似度。
公式1为:
score=dot(normal_n,normal_i)/(sqrtnorm(center_n,center_i)+eps);
公式1中,normal_n为第n个平面类别的平面法向量;normal_i :第i个拟合平面的法向量;center_n:第n个平面类别的平面中心;center_i :第i个拟合平面的中心;其中n为1、2、3···N;eps=1e-6为最小误差系数;其中dot为向量点乘函数,sqrtnorm为求两个向量的欧式距离得函数。
步骤S350,从所述各个相似度中获取相似度最大值及所述相似度最大值对应的平面类别。
步骤S360,若所述相似度最大值大于等于第二阈值,则将所述拟合平面聚合到所述当前相似度最大值对应的平面类别中;
步骤S370,若所述相似度最大值小于所述第二阈值,则初始化所述当前拟合平面生成新的平面类别。
其中,第二阈值可以通过经验值进行设置。
步骤S300将所述空间线特征根据预设聚合标准进行平面特征聚合之后,还包括:滤除错误的所述空间线特征。
其中滤除错误的所述空间线特征主要是滤除多视觉图像重投影像素误差较大的线段及空间距离聚合平面较远的线段。具体包括:
将每个空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征;和/或
计算每个空间线特征对应线段的端点与对应拟合平面的空间欧式距离,若计算得到的所述空间欧式距离大于预设空间距离,则滤除当前空间线特征。即对于任意一空间线特征,将与当前空间线特征关联的所述栅格地图中的线段两端点分别投影到多个其他视觉图像上;在像素平面中计算两个端点分别到多个其他视觉图像的距离,并计算两个端点到同一视觉图像上的距离差;计算多个距离差的平均值,若所述平均值大于预设误差值,则滤除当前空间线特征。
可以理解,对于某空间线特征,将其关联的空间线段端点投影到其他视觉图像,计算像素平面中点到线的距离作为误差值,若多视觉图像平均投影误差大于4个像素,则滤除该线特征; 和/或计算所有线段端点与其拟合平面的空间中欧氏距离,若大于空间距离阈值T(其中T为经验值,如0.1m),则滤除该线特征。
步骤S400,根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片。
本步骤通过对三角面片进行优化可以提升所述三角面片与所述空间线特征贴合度。
根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,根据误差方程计算三角面片到所关联的所有视觉图像的空间线特征的聚合平面距离误差,同时,考虑到线特征提取本身的误差,在误差方程加入多视角的光度一致性误差项,具体做法为:使用点面表,将线段附近的顶点的三角面片投影到所光联图像,计算ZNCC误差。
根据所述空间线特征,获得每一个空间线特征对应的聚合后的平面类别,根据所述空间线特征与所述栅格地图的关联关系,获得每一个所述空间线特征关联视觉图像集合/>,根据空间最近邻获得与每一个所述空间线特征最近的三角面片顶点集合/>,基于所述聚合后的平面类别、所述关联视觉图像集合及所述三角面片顶点集合构建空间距离误差方程和多视觉图像光度一致性误差方程构建两个误差项:空间距离误差/>, 多视觉图像光度一致性误差/>;
其中,所述空间距离误差方程为:;
所述多视觉图像光度一致性误差方程为:;
其中,为聚合后的平面的法向量;d为常数。
步骤S500,对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。
本步骤使用梯度下降法优化,迭代更新三角面片顶点位置,最终得到三角面片保持了线特征,且基于稠密点云重建的细节不会被丢失。其中,稠密点云重建指S200步骤中使用泊松重建。
具体的,本步骤包括通过梯度下降法迭代更新所述三角面片顶点位置后生成三维几何模型;其中,所述通过梯度下降法迭代更新所述三角面片顶点位置包括:通过第一方程和第二方程计算误差关于所述三角面片顶点的梯度;其中,当前误差为所述空间线特征的空间误差和光度误差的结合。
构建最小二乘方程,计算迭代更新后得三角面片顶点位置。
其中,第一方程为:。
第二方程为:。
最小二乘方程为:。
迭代更新后得三角面片顶点位置为:。
其中,表示顶点投影到相机i像素平面的雅可比矩阵,/>为ZNCC图像梯度,通过对/>求一阶导数获得;/>为加权系数。
本申请通过一种激光点云和视觉融合的线特征增强三维重建方法,本申请在不损失点云地图精度的前提下,利用视觉图像丰富、精确的线段特征对重建的三维模型特征增强,通过本申请能够生成细节丰富的高精度结构化模型,并且与一般建筑物的结构化重建方法相比,本方法能够更加广泛地应用于各种场景,在线或轮廓特征情况下的三维重建质量也不会损失。
图6示出了本申请实施例的三维重建装置的一种结构示意图。示范性地,该三维重建装置包括:
三角化模块100,用于获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征。
栅格化模块200,用于获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系。
聚合模块300,用于将所述空间线特征根据预设聚合标准进行平面特征聚合。
误差优化模块400,用于根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片。
三维重建模型生成模块500,用于对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。
可以理解,本实施例的装置对应于上述实施例的三维重建方法,上述实施例中的可选项同样适用于本实施例,故在此不再重复描述。
本申请还提供了一种终端设备,示范性地,该终端设备包括处理器和存储器,其中,存储器存储有计算机程序,处理器通过运行所述计算机程序,从而使终端设备执行上述的三维重建方法或者上述三维重建装置中的各个模块的功能。
其中,处理器可以是一种具有信号的处理能力的集成电路芯片。处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、图形处理器(GraphicsProcessing Unit,GPU)及网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
存储器可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器用于存储计算机程序,处理器在接收到执行指令后,可相应地执行所述计算机程序。
本申请还提供了一种可读存储介质,用于储存上述终端设备中使用的所述计算机程序。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种三维重建方法,其特征在于,包括:
获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征;
获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系;
将所述空间线特征根据预设聚合标准进行平面特征聚合;
根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片;
对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。
2.根据权利要求1所述的三维重建方法,其特征在于,所述获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征包括:
通过线段提取器提取所述所有视觉图像中的线段特征;
对所述线段特征通过特征描述子进行描述,根据所述线段特征的所述特征描述子对所述所有视觉图像进行图像间的线段匹配;
根据线段匹配关系将两两视觉图像的线段进行线段三角化,以获得空间线特征。
3.根据权利要求1所述的三维重建方法,其特征在于,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之前,还包括:
根据所述栅格地图,获取与预设平面邻近的线段,并获取所述线段的所述空间线特征;
所述将所述空间线特征根据预设聚合标准进行平面特征聚合包括:
将所有邻近的所述空间线特征分别进行平面拟合,得到多个拟合平面;
将所述多个拟合平面按照预设聚合标准进行平面特征聚合。
4.根据权利要求3所述的三维重建方法,其特征在于,所述将所述多个拟合平面按照预设聚合标准进行平面特征聚合包括:
初始化第一个所述拟合平面,作为一个平面类别;
遍历所有的拟合平面,计算每个所述拟合平面邻近的三角面片顶点到当前拟合平面的平均距离;
若所述平均距离大于第一阈值,则不对所述当前拟合平面做聚合;
若所述平均距离小于等于所述第一阈值,则计算所述当前拟合平面与所有平面类别的各个相似度;
从所述各个相似度中获取相似度最大值及所述相似度最大值对应的平面类别;
若所述相似度最大值大于等于第二阈值,则将所述当前拟合平面聚合到所述相似度最大值对应的平面类别中;
若所述相似度最大值小于所述第二阈值,则初始化所述当前拟合平面,以生成新的平面类别。
5.根据权利要求3所述的三维重建方法,其特征在于,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之后,还包括:
滤除错误的所述空间线特征,具体包括:
将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征;或
计算每个空间线特征对应线段的端点与对应拟合平面的空间欧式距离,若计算得到的所述空间欧式距离大于预设空间距离,则滤除当前空间线特征。
6.根据权利要求5所述的三维重建方法,其特征在于,所述将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征包括:
对于任意一空间线特征,将与当前空间线特征关联的所述栅格地图中的线段两端点分别投影到多个其他视觉图像上;
在像素平面中计算两个端点分别到多个其他视觉图像的距离,并计算两个端点到同一视觉图像上的距离差;
计算多个所述距离差的平均值,若所述平均值大于预设误差值,则滤除当前空间线特征。
7.根据权利要求1所述的三维重建方法,其特征在于,所述根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程包括:
获得每一个所述空间线特征对应的聚合后的平面类别;
结合所述空间线特征与所述栅格地图的关联关系,获得每一个所述空间线特征的关联视觉图像集合;
根据空间最近邻规则获得与每一个所述空间线特征最近的三角面片顶点集合;
根据所述聚合后的平面类别、所述关联视觉图像集合及所述三角面片顶点集合,构建空间距离误差方程和多视觉图像光度一致性误差方程。
8.根据权利要求7所述的三维重建方法,其特征在于,所述对所述优化后三角面片的顶点位置进行优化,获得三维重建模型包括:
通过梯度下降法迭代更新所述三角面片的顶点位置,生成三维重建模型;
其中,所述通过梯度下降法迭代更新所述三角面片的顶点位置包括:
通过第一方程和第二方程计算所述三角面片顶点位置的梯度误差;
通过所述第一方程和所述第二方程构建最小二乘方程,计算迭代更新后的三角面片的顶点位置;
其中,所述第一方程通过空间距离误差方程获得;所述第二方程通过ZNCC图像梯度得到。
9.一种三维重建装置,其特征在于,包括:
三角化模块,用于获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征;
栅格化模块,用于获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系;
聚合模块,用于将所述空间线特征根据预设聚合标准进行平面特征聚合;
误差优化模块,用于根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片;
三维重建模型生成模块,用于对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。
10.一种终端设备,其特征在于,所述终端设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施权利要求1-8中任一项所述的三维重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410102833.2A CN117635875B (zh) | 2024-01-25 | 一种三维重建方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410102833.2A CN117635875B (zh) | 2024-01-25 | 一种三维重建方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117635875A true CN117635875A (zh) | 2024-03-01 |
CN117635875B CN117635875B (zh) | 2024-05-14 |
Family
ID=
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013170360A1 (en) * | 2012-05-17 | 2013-11-21 | Eiffel Medtech Inc. | Method and system for the three-dimensional reconstruction of structures |
CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
CN111242990A (zh) * | 2020-01-06 | 2020-06-05 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 基于连续相位稠密匹配的360°三维重建优化方法 |
CN113345018A (zh) * | 2021-05-31 | 2021-09-03 | 湖南大学 | 一种动态场景下的激光单目视觉融合定位建图方法 |
WO2022002150A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
CN114202632A (zh) * | 2021-12-03 | 2022-03-18 | 北京航空航天大学 | 网格线性结构恢复方法、装置、电子设备及存储介质 |
CN115393386A (zh) * | 2022-10-25 | 2022-11-25 | 杭州华橙软件技术有限公司 | 三维场景图的生成方法、装置、设备及可读存储介质 |
CN116503566A (zh) * | 2023-06-25 | 2023-07-28 | 深圳市其域创新科技有限公司 | 一种三维建模方法、装置、电子设备及存储介质 |
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013170360A1 (en) * | 2012-05-17 | 2013-11-21 | Eiffel Medtech Inc. | Method and system for the three-dimensional reconstruction of structures |
CN108648270A (zh) * | 2018-05-12 | 2018-10-12 | 西北工业大学 | 基于eg-slam的无人机实时三维场景重建方法 |
CN111242990A (zh) * | 2020-01-06 | 2020-06-05 | 西南电子技术研究所(中国电子科技集团公司第十研究所) | 基于连续相位稠密匹配的360°三维重建优化方法 |
WO2022002150A1 (zh) * | 2020-06-30 | 2022-01-06 | 杭州海康机器人技术有限公司 | 一种视觉点云地图的构建方法、装置 |
CN113345018A (zh) * | 2021-05-31 | 2021-09-03 | 湖南大学 | 一种动态场景下的激光单目视觉融合定位建图方法 |
CN114202632A (zh) * | 2021-12-03 | 2022-03-18 | 北京航空航天大学 | 网格线性结构恢复方法、装置、电子设备及存储介质 |
CN115393386A (zh) * | 2022-10-25 | 2022-11-25 | 杭州华橙软件技术有限公司 | 三维场景图的生成方法、装置、设备及可读存储介质 |
CN116503566A (zh) * | 2023-06-25 | 2023-07-28 | 深圳市其域创新科技有限公司 | 一种三维建模方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
CN109242961B (zh) | 一种脸部建模方法、装置、电子设备和计算机可读介质 | |
JP5778237B2 (ja) | ポイントクラウド内の埋め戻しポイント | |
US10846844B1 (en) | Collaborative disparity decomposition | |
US8447099B2 (en) | Forming 3D models using two images | |
US8452081B2 (en) | Forming 3D models using multiple images | |
KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
WO2021017314A1 (zh) | 信息处理方法、定位方法及装置、电子设备和存储介质 | |
US20130127847A1 (en) | System and Method for Interactive Image-based Modeling of Curved Surfaces Using Single-view and Multi-view Feature Curves | |
US8463024B1 (en) | Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling | |
US20210256763A1 (en) | Method and device for simplifying three-dimensional mesh model | |
WO2021143935A1 (zh) | 一种检测方法、装置、电子设备及存储介质 | |
CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
CN108492284B (zh) | 用于确定图像的透视形状的方法和装置 | |
CN111524168A (zh) | 点云数据的配准方法、系统、装置及计算机存储介质 | |
US20150371396A1 (en) | Constructing a 3d structure | |
CN113436338A (zh) | 火灾现场的三维重建方法、装置、服务器及可读存储介质 | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN113920275B (zh) | 三角网格构建方法、装置、电子设备及可读存储介质 | |
CN114981845A (zh) | 图像扫描方法及装置、设备、存储介质 | |
CN110766731A (zh) | 一种全景影像与点云自动配准的方法、装置及存储介质 | |
US8847954B1 (en) | Methods and systems to compute 3D surfaces | |
CN109785421B (zh) | 一种基于空地影像组合的纹理映射方法及系统 | |
US20230053952A1 (en) | Method and apparatus for evaluating motion state of traffic tool, device, and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |