CN108090960A - 一种基于几何约束的目标重建方法 - Google Patents

一种基于几何约束的目标重建方法 Download PDF

Info

Publication number
CN108090960A
CN108090960A CN201711422468.XA CN201711422468A CN108090960A CN 108090960 A CN108090960 A CN 108090960A CN 201711422468 A CN201711422468 A CN 201711422468A CN 108090960 A CN108090960 A CN 108090960A
Authority
CN
China
Prior art keywords
point
dimensional
initial
point cloud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711422468.XA
Other languages
English (en)
Other versions
CN108090960B (zh
Inventor
袁丁
费晓雅
张弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201711422468.XA priority Critical patent/CN108090960B/zh
Publication of CN108090960A publication Critical patent/CN108090960A/zh
Application granted granted Critical
Publication of CN108090960B publication Critical patent/CN108090960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Abstract

本发明涉及一种基于几何约束的目标重建方法,属于计算机视觉领域,包括由运动恢复结构(SFM)方法获得初始点云;图像特征点聚类获得特征点的分类结果,即图像中相似部分的邻域关系;对初始点云的法向特征聚类,利用图像特征点分类结果与初始点云聚类结果之间的对应关系来定义初始点云的几何结构;由几何结构得到初始点云中较稀疏的部分,将此部分定义为“孔洞”,接下来利用“孔洞”区域的结合结构约束通过RANSAC方法与最小二乘法进行空间平面和曲面的拟合;对拟合出的表面进行采样,将得到的三维点加入初始点云从而得到一个稠密的点云模型,最后利用泊松表面重建得到目标的三维模型。本发明的实验结果验证了该方法的可实施性,并且达到较好效果。

Description

一种基于几何约束的目标重建方法
技术领域
本发明涉及一种基于几何约束的目标重建方法,利用目标三维空间点云中存在的几何结构约束对该目标进行三维重建;该方法解决了传统算法中由于纹理稀疏而产生的重建结果中的缺失部分的修补问题,进一步改善了较平滑或曝光过强等表面的重建效果,本发明属于计算机视觉领域。
背景技术
一直以来基于图像的三维重建就是计算机视觉方向的研究热点,Martin在1983年就提出了利用图像中物体的轮廓进行重建的方法,随后在1986年与1987年Chien与Potsmesil又分别提出了利用正交投影提取目标模型的方法与利用多视图透视投影构建目标模型的方法。发展至今,基于图像的三维重建方法从依据上可分为两类:依据主动线索与依据被动线索的建模。
基于主动线索的建模方法通过创造线索并利用这些线索来推断物体的形状,这一类方法也称为shape from X,Shape from Shading依据图像亮度变化推断出表面形状;Shape from Texture利用规则纹理的透视收缩变化对局部表面方向提供信息;Shape fromFocus主要根据散焦程度估计深度。这类方法受到精度低和对图像光照与纹理要求高的限制,从而影响了对其研究的发展。
基于被动线索的建模方法从场景或物体的多幅图像中寻找线索,并利用这些线索推算场景或物体的几何信息。这些被动线索包括物体基本几何元素之间的关系、图像之间的视差关系或匹配特征点的关系以及物体的轮廓信息等。
国内外现存许多利用多视图立体匹配进行三维重建的方法,Steven M.Seitz根据模型及场景的表达方式将其分为四类:基于三维体素的方法、基于表面图元的方法、基于多深度图融合的方法以及基于点云或面片的方法等。基于三维体素的算法。首先在物体三维体数据模型上建立一个能量函数然后使用全局最优算法从体数据中提取一个最佳曲面。该算法需要首先估计出物体的三维包围盒,算法内存消耗较大,因此其精度受体素模型分辨率的限制。基于表面图元的算法。首先利用匹配图像中的特征点计算出物体表面上的曲面图元然后通过贪婪生长法在模型空间中拓展种子图元直到不能产生新的图元即可得到三维模型。该算法计算效率较高,产生的图元模型可以利用点绘制技术高效渲染,但如果要对模型进行精确测量和量化分析,则需要对数据进行后处理生成曲面模型。基于多深度图融合的算法。首先计算每幅图像的深度图像然后将这些深度图像融合成物体的三维模型,该类算法灵活、方便,能够生成高精度的三维模型。基于深度图融合的算法首先由Setiz[1]等人提出的,同时,他们还搭建了用于评估多幅图像立体匹配算法性能的在线平台Middlebury Multi-view Stereo。通过使用激光扫描数据得到物体的真实值(GroundTruth),然后搭建了一个半球型的棚子,用来固定不同视角下的相机,从而获得多视图图像。通过与Ground Truth对比即可得到模型的完成度、错误率等信息,从而比较不同算法之间的优劣。
对于基于图像的目标三维重建,匹配是这类方法中关键的一步,按照成像的原理可知,图像空间中的一个像素对应了三维空间中的一条射线。因此,为了确定空间中一个点的位置,至少需要知道它在两张图像中的成像。而匹配的目的就是在图像间寻找对应的像素,它们由空间中的同一个点投影得到。理论上,匹配是一个很简单的过程,但是因为图像畸变、图像噪声、物体间的遮挡以及重复纹理等因素的存在,实现图像间准确的密集匹配并不容易。另一方面,基于特征扩充的多视图立体匹配算法,首先需要在图像空间进行特征提取,在强纹理的区域可以提取出很多的特征点,而在弱纹理区域则很难提取出有效的特征点,导致重建的模型不完整。而这些不完整的模型中缺失的部分,也就是重建结果中存在的孔洞。
若对具有孔洞的点云数据直接进行曲面重构则会在重新构建的曲面上产生缺失部分或造成原型形体缺失等严重影响。因此,为了能够高效、精确地构造出后处理需要的数据几何模型,必须对点云孔洞进行修补。孔洞修补方法主要可以分为两大类:一类是基于网格模型的孔洞修补算法,如基于变形法的点云孔洞修补方法、波前法、基于边界特征增长的孔洞修补算法、基于泊松方程的三角网格无缝拼接方法等。该类算法在点云分布比较均匀和数据量较小时,能够得到较好的修补效果,但当点云数据较大时,三角网格耗时长。
另一类是基于点云模型的孔洞修补算法,Sharf等提出了一种针对缺失点云的曲面修补算法,通过寻找孔洞邻域周围的点云分布特征,将这些区域和该模型其他区域进行特征匹配,寻找最相似的区域进行黏连,但主要缺点是计算量大,而且一些不相关的特征往往会错误的被用来填补孔洞。Pavel等人提出了一种在点云模型上的孔洞修补算法,这种方法首先计算每个点的邻近点,确定孔洞边界,然后利用边界点的邻近点构造曲面来填补孔洞。陈飞舟等人通过构建Kd-树(K-Dimension Tree)自动提取出点云模型数据的全部边界点,然后利用二次曲面的特性参数化边界点列,最后通过径向基函数表示的差值曲面计算位于孔洞区域内部的数据点,实现孔洞修补,但缺点是过程中可能因为二次曲面逼近点列误差过大而导致参数化失败。邱泽阳等人提出的孔洞修补算法首先通过人工交互的方法在孔洞附近提取不共线的三个点,构成一个三角形,然后将局部测试点向该三角片的平面投影,构造初始三角Bezier曲面片,并进行迭代求精,最后在满足条件的三角曲面片中取点,完成孔洞修补。
Long Yang等人提出的形状可控的点云几何模型重构算法,通过生成孔洞边界来实现孔洞的修补,特别是具有明显细节的部分效果较好。算法由法向传播和位置采样两部分组成,迭代进行直到不再有新的孔洞边界生成为止,这种方法对于曲率变化较大的过渡曲面处的孔洞修补效果明显,但无法自动识别孔洞边界,且对稀疏点云上的孔洞修补误差较大。Yumer M E等人提出基于前馈神经网络的孔洞修补算法,该算法以无序且可能存在噪声的点云为输入,通过训练一个在二维坐标与三维空间坐标之间存在映射关系的神经网络来生成参数空间,从而在几何空间获得一个重建表面。这种方法对于含噪声点的无序点云的孔洞修补来说效果显著,尤其是前馈神经网络中的RBF神经网络,其鲁棒性好、收敛速度快、预测精度高,在大面积、跨面孔洞的修补方法效果显著。王春香等人提出一种利用RBF神经网络进行孔洞修补的方法,将孔洞周围点云数据作为种子点,依据最小二乘法创建一个最小二乘平面完成孔洞填充,然后利用RBF神经网络重新调整填充点,最终完成孔洞修复。这种方法在孔洞修补质量、适用范围方面均展现了一定的优势,但并未考虑REF网络的固有缺陷:众多周知,在聚类中心和宽度值(spread)的确定上,传统RBF采用K均值聚类算法,K均值聚类算法属于硬聚类,它对初值十分敏感,如果出现离群点,则很容易导致中心点偏移,而且初始聚类个数的选取仍没有系统的方法来确定。
目前效果较好的孔洞修补算法一般针对准确性较高的激光扫描点云结果,而且在修补过程中只考虑了点云在三维空间的结构,因此,对于传统视觉方法生成的点云数据的孔洞修补仍有很大的提升空间。
发明内容
本发明的技术解决问题是:克服现有技术的不足,提供一种基于几何约束的目标重建方法,利用二维图像与三维空间点之间的对应关系,定义了无序的点云数据的几何结构,从而实现了较稀疏点云数据的稠密化。本发明有效改善了现有的对于缺失纹理部分容易产生孔洞方法的局限性,并且结合了图像邻域信息对应三维点的几何约束,取得了较好的实验结果。
本发明的技术解决方案是:一种基于几何约束的目标重建方法,包括以下步骤:首先,获取初始点云数据;其次,对图像序列中提取的特征点进行聚类,获得图像特征点分类结果;再次,计算初始点云的法向,利用法向之间的距离及夹角聚类,并与图像特征点分类结果相结合推测出初始点云的几何结构约束;最后,判断点云中孔洞位置,并结合邻域几何结构进行平面或曲面拟合,对拟合平面或曲面采样,将采样得到的三维点加入初始点云,从而获得稠密的点云数据,最后利用泊松表面重建方法得到目标的三维模型;
具体步骤如下:
第一步,获取初始点云;
两视图由运动恢复结构方法可以分为以下三步:
(1)对图像序列中的图像进行两两顺序分组,每两幅图像构成一个图像对,随后分别对各个图像对进行特征点检测、提取以及特征点匹配,同时利用图像EXIF信息计算相机内参数矩阵。EXIF(Exchangeable Image File format)的中文名称为可交换图像文件格式,是专门为数码相机拍摄图像设定的用于记录数码照片的属性信息和拍摄数据的文件格式。在EXIF文件中可以轻松读取到镜头的实际焦距长度F以及图像x轴y轴两个方向的像素距离Px、Py,即图像的像素分辨率。再利用相机感光元件CCD或CMOS的长边实际尺寸L,根据公式(1)可以得到像素单位下的焦距f。
(2)利用匹配特征点(本发明中利用SIFT与SURF特征)与极线约束条件计算该图像对的基础矩阵,然后在其基础上计算本质矩阵,对本质矩阵进行分解得到相机的外参数矩阵,外参数矩阵与计算得到的内参数矩阵共同组成摄像机投影矩阵。
(3)利用摄像机矩阵并通过三角测量得到匹配特征点所对应的三维点云。
两视图由运动恢复结构后的图像对融合过程如下:假设给定的图像序列的长度为n,图像序列中每一幅图像的特征点的集合为I,且前i副图像经过三角测量得到三维点云的集合为Si,第一幅图像与第二幅图像以特征点集I1与I2与已知的相机投影矩阵P1,P2为基础经过三角测量得到三维点云集合S2,对于第三幅图像I3首先需要将其投影矩P3阵转换到与前两幅图像相同的世界坐标系下,然后利用该转换矩阵将图像I3中所对应的三维点云也转换到S2的世界坐标系下,然后利用三角测量重建出I3中特征点对应的三维空间点,这样加上S2就组成了S3,此后每加入一副新的图像Ii,i=4,…,n都进行上述操作,经过重建得到Si,一直到将所有图像融合完成,最终获得初始点云Sn。这其中在每一次得到新的Si都会重新进行bundle adjustment优化以及对外点outliers进行剔除的操作。
第二步,对图像序列中提取的特征点进行聚类,获得图像特征点的分类结果;将特征点的颜色及纹理信息作为聚类标准,利用K-means聚类方法分别对每一张图像中的特征点进行聚类。K-Means算法是一种无监督的聚类算法,其主要思想为对于给定的样本集,按照样本之间的距离大小,将样本集划分为k个簇,让簇内的点尽量紧密的连在一起,并且让簇间的距离尽量的大。
K-means算法的具体步骤如下:
(1)随机选取k个特征点作为初始聚类中心:
μ12,...,μk∈Rn
(2)对于每一个特征点i,计算其应该属于的类:
对于每一个类j,重新计算该类的质心:
重复以上过程直到质心和聚类结果保持不变,则认为收敛结束迭代。
第三步,对初始点云聚类并结合特征点的分类结果获得初始点云的分类结果,也就是点云的几何结构约束;假设二维图像中特征点的聚类结果为:di,j,i=1,2,...,k;j=1,2,...,c,i表示图像序列编号,j表示每幅图像中对应的类别号;计算由第一步得到的初始点云的法向,利用其对应的法向之间的距离对三维点进行K-means聚类,得到初始的聚类结果为Xi,i=1,2,...,C;
当利用三角测量法计算初始点云坐标时,每一个初始点云中的三维点都对应一个或几个二维图像中的特征点di,j,分别处理每一类中的三维点,假设Xi(p)为第i类三维点集中第p个点,它对应的二维图像特征点为di1,j1,Xi(q)为第i类三维点集中第q个点,它对应的二维图像特征点为di2,j2,如果i1=i2并且j1=j2,则这两个特征点的聚类结果是相同的,属于同一个类别,从而可以将它们所对应的三维点定义为同一类;直到处理完所有三维点,得到n个不同类别的三维点的集合,即点云的分类结果,也就是几何结构约束。
第四步,判断初始点云中孔洞的位置,并结合几何结构约束进行平面或曲面拟合,从而得到稠密的点云数据;
假设上一步得到的点云的分类结果为:Xi,i=1,2,...,n,首先初步筛选出有效的分类结果,由于上一步的分类结果可能会存在一些三维点数目少于m的类别,这时将这类三维点定义为误分类的点,属于无效的分类结果;对筛选后的点云分类结果中每一个三维点Xi(p)做如下处理:在Xi(p)的有效分类结果对应的点集内,计算它到每一个点的欧式距离,统计这些距离中小于设定阈值ρ的点的数目,然后计算这些点占有效分类结果中点的数目的百分比,将百分比小于50%的点集定义为孔洞。
对孔洞的填补方法的选择进行判断。对每一个定义为孔洞的点集作如下处理:计算每一个三维点法向与距离它最近的三维点法向之间的夹角θi=<n1,n2>,将所有的夹角求和设置阈值β,如果则判断该孔洞区域为曲面,采用最小二乘法的空间曲面拟合方法;否则判断该孔洞部分为平面,采用RANSAC的平面拟合方法。
利用最小二乘法进行曲面拟合,基于一种逼近理论,使得被测数据与真实数据之间偏差的平方和最小。假设曲面的表达为多个多项式的和:其中ai,j为表达式系数,从而得到误差函数为偏差的平方和:将该式求导并令其偏导数为零,得到一个关于系数的矩阵方程组,根据一般求解线性方程组的方法,即可求解出表达式中的参数值,最终得到曲面表达式。如果直接选用孔洞子集(初始邻域)中所有的三维点进行曲面拟合是不准确的,在这个区域中可能存在噪声或距离较远不符合部分曲面的三维点,这时需要对初始邻近点做进一步选择,这里选择用误差来控制邻近点的选择。具体方法是计算初始邻域中每一个点到待计算点之间的距离,并按距离大小对这些三维点排序;接下来设置一个拟合误差阈值,如果拟合曲面的误差大于这个值,则删去初始邻域中的一点,因为这些点已经按照距离进行了排序,所以可以由后至前删除,再对剩余的点拟合曲面计算误差,递归计算下去直到拟合误差小于设定的阈值,从而获得误差较小较准确的局部曲面。
利用RANSAC方法进行平面拟合,正确数据记为内点(inliers),异常数据记为外点(outliers)。基于随机性和假设性的思想,随机性是根据正确数据出现概率去随机选取抽样数据,根据大数定律,随机性模拟可以近似得到正确结果。假设性是假设选取出的抽样数据都是正确数据,然后用这些正确数据通过问题满足的模型,去计算其他点,然后对这次结果进行一个评分。具体过程如下:
(1)在孔洞点集中随机选取三个点,计算满足这三个点的平面模型:Z=aX+bY+c;
(2)将所有的数据带入这个模型中计算误差,误差表示为每个点到这个拟合平面的距离,统计小于设定阈值sigma的点的数目,从而找到符合拟合平面数据最多的平面作为最佳拟合结果;
接下来在一定的范围内对拟合平面或曲面进行采样,将采样到的三维点添加到初始点云中,从而实现点云的稠密化,最后利用泊松表面重建方法得到目标的三维模型。
本发明与现有技术相比的优点在于:
(1)对于纹理缺失或较平滑的区域,缺少能够准确匹配的特征点,导致现有方法重建的点云结果存在孔洞问题,本发明利用几何结构约束有效改善重建结果,使其完整度得到了提升并生成了较稠密点云;
(2)将图像中的二维信息与三维点结合起来得到几何结构约束,加强了三维点之间的邻域关系,对于距离较近但不属于同一平面的三维点能够很好地进行区分,改善了拟合表面与三维点的符合程度,从而实现三维点的位置更加准确的效果。
附图说明
图1为本发明一种基于几何约束的目标重建方法流程图;
图2为本发明对于Middlebury数据集的实验结果。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步详细说明。
如图1所示,基于几何约束的目标重建方法,包括以下步骤:
步骤一:读入图像序列,由运动恢复结构获得初始三维点云
(1)在Matlab R2016b语言环境下读入图像序列;
(2)对图像序列中的图像进行两两顺序分组,每两幅图像构成一个图像对,并进行特征点检测、提取及匹配(SIFT特征与SURF特征);
(3)利用图像EXIF信息得到相机内参数矩阵K1;
(4)利用匹配特征点与极线约束条件计算该图像对的基础矩阵F和本质矩阵E,分解本质矩阵E得到相机外参数矩阵K2,由相机内参数矩阵K1和外参数矩阵K2共同组成投影矩阵M;
(5)通过三角测量法由投影矩阵M可得到匹配的特征点对应的空间点,将每对图像对生成的空间点进行融合转换到同一个世界坐标系下,并在每次的融合中加入BundleAdjustment剔除外点outliers,最终获得初始点云。
步骤二:二维图像的特征点聚类
对图像序列中每一幅图像做如下处理;
(1)提取图像中特征点所对应的颜色信息并存储为二维矩阵形式RGBN×3,矩阵的每一行表示一个特征点,每个点包含三维的颜色信息,其中N表示特征点个数;
(2)从特征点中随机选择k个样本作为初始的质心向量:μ12,...,μk∈Rn
(3)对于i=1,2,…,N,计算其余特征点xi与各个质心向量μ12,...,μk∈Rn之间的欧氏距离:取最小的距离值,此时的j为xi属于的类别,即Cj=Cj∪{xi};
(4)对于j=1,2,…,k,重新计算该类的聚类中心:
(5)重复进行步骤(3)(4),直到聚类结果及质心均不发生变化,输出聚类结果:di,j,i=1,2,...,k;j=1,2,...,c,其中i表示图像序列编号,j表示每幅图像中对应的类别号,最终获得图像的特征点分类结果;
步骤三:计算初始点云中三维点法向并聚类
(1)将由运动恢复结构得到的初始点云中的三维点坐标存储成pointCloud格式,利用MATLAB自带函数pcnormals得到三维点对应的法向normals;
(2)利用K-means方法对normals进行聚类,具体过程见步骤二的(3)(4)(5)(6),得到三维点初始的聚类结果Xi(i=1,2,...,C);
(3)假设Xi(p)为第i类三维点初始的聚类结果中第p个点,它对应的二维图像特征点为di1,j1,Xi(q)为第i类三维点初始的聚类结果中第q个点,它对应的二维图像特征点为di2,j2,如果i1=i2并且j1=j2,则这两个特征点的聚类结果是相同的,属于同一个类别,从而可以将它们所对应的三维点定义为同一类;
(4)直到处理完所有三维点,得到n个不同类别的三维点的集合,即初始点云的分类结果,也就是初始点云的几何结构;
步骤四:根据几何结构约束判断孔洞位置并拟合表面
(1)筛选上一步得到的初始点云的分类结果,如果某一类结果中的三维点数目小于m,则将此类定义为误分类的点,不包含在有效分类结果中,这里设置m=6;
(2)对于每一个有效分类结果中的三维点Xi(p),找到距离它最近的m个点,计算这m个点到Xi(p)的距离和,从而得到这个距离和占有效分类结果中所有点到Xi(p)的距离和的百分比,如果这个百分比大于50%,则判断这个子集为孔洞区域Hi{X(k)};
其中d{Xi(p),Xi(j)}表示两个三维点之间的距离;
(3)判断孔洞区域为平面或者曲面。假设Xi(p)是属于有效分类结果Xi中的三维点,在Xi内寻找距离它最近的三维点,计算这两个三维点所对应法向之间的夹角θi,每计算一次则排除掉两个三维点,并继续对Xi中剩余的三维点做此处理,直到处理完所有的三维点,将得到的夹角求和从而获得任意两个邻近法向之间的夹角和比较与设置阈值β之间的大小关系,如果夹角和大于阈值β,则判断该孔洞区域为曲面,反之,则判断该孔洞区域为平面。这里设置阈值β=10°。
(4)如果孔洞区域判断为平面,则采用RANSAC方法拟合,在点集Hi{X(k)}中随机选取三个点X1,X2,X3,进行初始平面的拟合:
其中a,b,c为平面参数,(Xi,Yi,Zi)为点的坐标;
计算邻域搜索范围内其他三维点距初始平面的距离,统计距离值小于sigma的点的数目(sigma=1);
迭代次数设置为1000,最终找到符合拟合平面点的数目最多的平面作为最佳拟合平面;
(5)如果孔洞区域判断为曲面,则采用最小二乘法拟合,首先计算孔洞区域中每一个点到待计算点之间的距离,并按距离大小对这些三维点排序计算拟合曲面表达式,设曲面表达式为:这里x,y为三维点坐标,a为表达式系数,f为z坐标的理论值,误差函数为偏差的平方和:将该式求导并令其偏导数为零,得到一个关于系数的矩阵方程组,根据一般求解线性方程组的方法,即可求解出表达式中的参数值,最终得到拟合曲面的表达式;接下来设置一个拟合误差阈值λ,如果拟合曲面的误差大于这个阈值λ,则按照排序由后至前删除三维点,再对剩余的点继续重复拟合曲面计算误差的过程,递归计算下去直到拟合误差小于设定的阈值,从而获得误差较小且较准确的局部最佳拟合曲面。
(6)对该最佳拟合平面或曲面在“孔洞”区域范围内进行采样,将采样出的三维点添加到初始点云中,实现点云的稠密化,最后利用泊松表面重建方法得到目标的三维模型。
图2为本发明对于Middlebury数据集的实验结果。其中左图是Goesele M提出的多视图立体方法的实验结果,中间图是本发明提出方法的实验结果,右图是激光扫描真值。从实验结果中可以看出:左图的方法存在大量的缺失,也就是孔洞区域,尤其是一些无纹理或重复纹理的地方;而本发明的方法则能够比较完整的重建出目标的三维模型,特别是针对纹理缺失或较平滑区域,解决了三维模型中存在孔洞的问题。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于几何约束的目标重建方法,其特征在于:包括以下步骤:
第一步,提取图像序列中的特征点并进行匹配,三角测量处理,得到特征点对应的三维点坐标,所有三维点坐标组成了初始点云;
第二步,对图像序列中提取的特征点进行聚类,获得图像特征点分类结果;
第三步,计算初始点云的法向,利用初始点云的法向之间的距离及法向之间的夹角对初始点云进行聚类,并与第二步获得的图像特征点分类结果相结合获得初始点云的分类结果,即初始点云的几何约束;
第四步,判断初始点云中的孔洞位置,所述孔洞为初始点云中稀疏的部分,并结合初始点云的几何约束进行平面或曲面拟合,在一定范围内对拟合平面或曲面采样,将采样得到的三维点加入初始点云,从而得到稠密的初始点云,最后利用泊松表面重建方法得到目标的三维模型。
2.根据权利要求1所述的基于几何约束的目标重建方法,其特征在于:所述第二步具体实现如下:
对图像序列中每一幅图像做如下处理;
(1)由第一步得到的图像中特征点的位置提取特征点所对应的颜色信息,并存储为二维矩阵形式RGBN×3,二维矩阵的每一行表示一个特征点,每个特征点包含三维的颜色信息,其中N表示特征点个数;
(2)从特征点中随机选择k个样本作为初始的质心向量:μ12,...,μk∈Rn
(3)对于i=1,2,…,N,计算其余特征点xi与各个质心向量μ12,...,μk∈Rn之间的欧氏距离:取最小的距离值,此时的j为xi属于的类别,即Cj=Cj∪{xi},Cj为分类结果;
(4)对于j=1,2,…,|Cj|,重新计算这一类的聚类中心:
(5)重复进行步骤(3)(4),直到聚类结果及质心均不发生变化,输出聚类结果:di,j,i=1,2,...,k;j=1,2,...,c,其中i表示图像序列编号,j表示每幅图像中对应的类别号,最终获得图像的特征点分类结果。
3.根据权利要求1所述的基于几何约束的目标重建方法,其特征在于:所述第三步具体实现如下:
(1)将第一步得到的初始点云中的三维点坐标存储成pointCloud格式,利用MATLAB自带函数pcnormals计算出三维点对应的法向normals;
(2)利用K-means方法对normals进行聚类,得到三维点初始的聚类结果Xi,i=1,2,...,C,其中Xi代表聚类结果,C代表聚类数目;
(3)设Xi(p)为第i类三维点初始的聚类结果中第p个点,它对应的二维图像特征点为di1,j1,Xi(q)为第i类三维点初始的聚类结果中第q个点,它对应的二维图像特征点为di2,j2,如果i1=i2并且j1=j2,则di1,j1,di2,j2两个特征点的聚类结果是相同的,属于同一个类别,从而将di1,j1,di2,j2两个特征点所对应的三维点定义为同一类;
(4)直到处理完所有三维点,得到n个不同类别的三维点的集合,即初始点云的分类结果,也就是初始点云的几何约束。
4.根据权利要求1所述的基于几何约束的目标重建方法,其特征在于:所述第四步具体实现如下:
(1)筛选第三步得到的初始点云的分类结果,如果某一类结果中的三维点数目小于m,则将此类定义为误分类的点,不包含在有效分类结果中,这里设置m=6;
(2)对于每一个有效分类结果中的三维点Xi(p),找到距离它最近的m个点,计算这m个点到Xi(p)的距离和,得到所述距离和占有效分类结果中所有点到Xi(p)的距离和的百分比,如果所述百分比大于50%,则判断这个子集为孔洞区域Hi{X(k)};
其中d{Xi(p),Xi(j)}表示两个三维点之间的距离;
(3)判断孔洞区域为平面或者曲面,设Xi(p)是属于有效分类结果Xi中的三维点,在Xi内寻找距离Xi(p)最近的三维点Xi(q),计算Xi(p),Xi(q)这两个三维点所对应法向之间的夹角θi,每计算一次则排除掉两个三维点,并继续对Xi中剩余的三维点做此处理,直到处理完所有的三维点,将得到的夹角求和获得任意两个邻近法向之间的夹角和比较与设置阈值β之间的大小关系,如果夹角和大于阈值β,则判断所述孔洞区域为曲面,反之,则判断所述孔洞区域为平面;
(4)如果孔洞区域判断为平面,则采用RANSAC方法拟合,在点集Hi{X(k)}中随机选取三个点X1,X2,X3,进行初始平面的拟合:
其中a,b,c为平面参数,(Xi,Yi,Zi)为点的坐标;
计算邻域搜索范围内其他三维点距初始平面的距离,统计距离值小于sigma的点的数目,sigma=1;
迭代次数设置为1000,最终找到符合拟合平面点的数目最多的平面作为最佳拟合平面;
(5)如果孔洞区域判断为曲面,则采用最小二乘法拟合,首先计算孔洞区域中每一个点到待计算点之间的距离,并按距离大小对这些除待计算点之外的孔洞区域的三维点排序再设置一个拟合误差阈值λ,计算拟合曲面表达式,设曲面表达式为:x,y为三维点坐标,a为表达式系数,f为z坐标的理论值,误差函数为偏差的平方和:将该式求导并令其偏导数为零,得到一个关于系数的矩阵方程组,根据一般求解线性方程组的方法,即求解出表达式中的参数值,最终得到拟合曲面的表达式;如果拟合曲面的误差大于这个值,则按照排序由后至前删除三维点,再对剩余的点继续重复拟合曲面计算误差的过程,递归计算下去直到拟合误差小于设定的阈值,从而获得误差较小且较准确的局部最佳拟合曲面;
(6)对所述最佳拟合平面或曲面在孔洞区域范围内进行采样,将采样出的三维点添加到初始点云中,从而得到稠密的点云数据,最后利用泊松表面重建方法得到目标的三维模型。
CN201711422468.XA 2017-12-25 2017-12-25 一种基于几何约束的目标重建方法 Active CN108090960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711422468.XA CN108090960B (zh) 2017-12-25 2017-12-25 一种基于几何约束的目标重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711422468.XA CN108090960B (zh) 2017-12-25 2017-12-25 一种基于几何约束的目标重建方法

Publications (2)

Publication Number Publication Date
CN108090960A true CN108090960A (zh) 2018-05-29
CN108090960B CN108090960B (zh) 2019-03-05

Family

ID=62178886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711422468.XA Active CN108090960B (zh) 2017-12-25 2017-12-25 一种基于几何约束的目标重建方法

Country Status (1)

Country Link
CN (1) CN108090960B (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921939A (zh) * 2018-07-04 2018-11-30 王斌 一种基于图片的三维场景重建方法
CN108961410A (zh) * 2018-06-27 2018-12-07 中国科学院深圳先进技术研究院 一种基于图像的三维线框建模方法及装置
CN109102559A (zh) * 2018-08-16 2018-12-28 Oppo广东移动通信有限公司 三维模型处理方法和装置
CN109658398A (zh) * 2018-12-12 2019-04-19 华中科技大学 一种基于三维测量点云的零件表面缺陷识别与评估方法
CN109696127A (zh) * 2019-03-05 2019-04-30 浙江国自机器人技术有限公司 一种激光识别的方法和设备
CN109696916A (zh) * 2019-03-05 2019-04-30 浙江国自机器人技术有限公司 一种清洗机器人转移的方法和设备
CN109855566A (zh) * 2019-02-28 2019-06-07 易思维(杭州)科技有限公司 一种槽孔特征的提取方法
CN109961517A (zh) * 2019-03-01 2019-07-02 浙江大学 一种用于参数曲面拟合的三角网格重参数化方法
CN110021039A (zh) * 2018-11-15 2019-07-16 山东理工大学 序列图像约束的多视角实物表面点云数据初始配准方法
CN110176020A (zh) * 2019-04-09 2019-08-27 广东工业大学 一种融合2d和3d图像的燕窝杂质分拣方法
CN110223378A (zh) * 2019-05-28 2019-09-10 中国科学院自动化研究所 基于层次聚类的二次曲面基元提取方法、系统、装置
CN110222642A (zh) * 2019-06-06 2019-09-10 上海黑塞智能科技有限公司 一种基于全局图聚类的平面建筑构件点云轮廓提取方法
CN110276839A (zh) * 2019-06-20 2019-09-24 武汉大势智慧科技有限公司 一种基于实景三维数据的底部碎片去除方法
CN110310322A (zh) * 2019-07-06 2019-10-08 北方工业大学 一种10微米级高精度器件装配表面检测方法
CN110443753A (zh) * 2019-07-30 2019-11-12 西安建筑科技大学 一种无重复信息的大型墓室壁画分块自动拼接方法
CN110533726A (zh) * 2019-08-28 2019-12-03 哈尔滨工业大学 一种激光雷达场景三维姿态点法向量估计修正方法
CN110782521A (zh) * 2019-09-06 2020-02-11 重庆东渝中能实业有限公司 移动端三维重建与模型修复方法及系统
CN110930344A (zh) * 2018-08-29 2020-03-27 杭州海康威视数字技术股份有限公司 一种目标的质量确定方法、装置、系统及电子设备
WO2020087564A1 (zh) * 2018-10-31 2020-05-07 深圳大学 三维物体重建方法、计算机设备及存储介质
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于连续相位稠密匹配的360°三维重建优化方法
CN111626288A (zh) * 2019-02-28 2020-09-04 深圳市速腾聚创科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN111768482A (zh) * 2019-03-15 2020-10-13 财团法人工业技术研究院 拼贴扩充方法、编码器与解码器
CN111862352A (zh) * 2020-08-03 2020-10-30 字节跳动有限公司 定位模型优化方法、定位方法和定位设备
CN111915723A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 一种用于室内的三维全景构建方法和系统
CN112132875A (zh) * 2020-08-31 2020-12-25 青岛秀山移动测量有限公司 一种基于面特征的多平台点云匹配方法
CN112233249A (zh) * 2020-10-29 2021-01-15 上海应用技术大学 基于密集点云的b样条曲面拟合方法及装置
CN112287193A (zh) * 2020-10-30 2021-01-29 腾讯科技(深圳)有限公司 数据聚类方法、装置、计算机设备及存储介质
CN112465984A (zh) * 2020-11-12 2021-03-09 西北工业大学 一种基于双层过滤的单目相机序列图像三维重构方法
CN112509141A (zh) * 2020-12-22 2021-03-16 华南理工大学 一种建筑室内三维点云数据中正交平面对的提取方法
CN112669442A (zh) * 2020-12-11 2021-04-16 埃洛克航空科技(北京)有限公司 三维模型局部空间平面估计的方法
CN112767551A (zh) * 2021-01-18 2021-05-07 北京房江湖科技有限公司 三维模型构建方法、装置以及电子设备、存储介质
CN113273211A (zh) * 2018-12-14 2021-08-17 Pcms控股公司 用于对空间数据进行程序化着色的系统和方法
CN113297340A (zh) * 2020-02-23 2021-08-24 北京初速度科技有限公司 点云地图的矢量化、矢量地图转化点云地图的方法和装置
CN113763559A (zh) * 2021-07-01 2021-12-07 清华大学 一种拟合深度图像的几何运动细节重建方法及装置
CN113781649A (zh) * 2021-09-07 2021-12-10 岱悟智能科技(上海)有限公司 一种基于三维扫描点云的建筑物平面图生成方法
CN114170126A (zh) * 2022-02-11 2022-03-11 智道网联科技(北京)有限公司 一种点云稠密化方法、装置和电子设备
CN114299318A (zh) * 2021-12-24 2022-04-08 电子科技大学 一种快速点云数据处理和目标图像匹配的方法及系统
CN114424542A (zh) * 2019-09-27 2022-04-29 苹果公司 具有非规范平滑的基于视频的点云压缩
CN114880332A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 点云数据的存储方法、装置、电子设备及存储介质
CN115546071A (zh) * 2022-11-28 2022-12-30 南京视云信息科技有限公司 一种适于图像恢复的数据处理方法和设备
CN115830246A (zh) * 2023-01-09 2023-03-21 中国地质大学(武汉) 一种基于增量式sfm的球面全景影像三维重建方法
CN116071274A (zh) * 2023-03-23 2023-05-05 成都工业学院 一种基于点云区域生长的跨面孔洞修补方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292900A1 (en) * 2013-02-01 2016-10-06 Apple Inc. Image group processing and visualization
CN106780509A (zh) * 2016-12-01 2017-05-31 山东交通学院 融合多维特征的建筑物点云层次聚类分割方法
CN106846392A (zh) * 2016-12-12 2017-06-13 国网北京市电力公司 三维建模的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160292900A1 (en) * 2013-02-01 2016-10-06 Apple Inc. Image group processing and visualization
CN106780509A (zh) * 2016-12-01 2017-05-31 山东交通学院 融合多维特征的建筑物点云层次聚类分割方法
CN106846392A (zh) * 2016-12-12 2017-06-13 国网北京市电力公司 三维建模的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEMING KONG等: "A new method for building roof segmentation from airborne LiDAR point cloud data", 《MEASUREMENT SCIENCE AND TECHNOLOGY》 *
张坤: "基于三维激光扫描的点云数据逆向重建算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
王小超等: "基于局部重建的点云特征点提取", 《计算机辅助设计与图形学学报》 *

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961410A (zh) * 2018-06-27 2018-12-07 中国科学院深圳先进技术研究院 一种基于图像的三维线框建模方法及装置
CN108961410B (zh) * 2018-06-27 2023-04-18 中国科学院深圳先进技术研究院 一种基于图像的三维线框建模方法及装置
CN108921939A (zh) * 2018-07-04 2018-11-30 王斌 一种基于图片的三维场景重建方法
CN109102559A (zh) * 2018-08-16 2018-12-28 Oppo广东移动通信有限公司 三维模型处理方法和装置
CN109102559B (zh) * 2018-08-16 2021-03-23 Oppo广东移动通信有限公司 三维模型处理方法和装置
CN110930344A (zh) * 2018-08-29 2020-03-27 杭州海康威视数字技术股份有限公司 一种目标的质量确定方法、装置、系统及电子设备
CN110930344B (zh) * 2018-08-29 2023-05-05 杭州海康威视数字技术股份有限公司 一种目标的质量确定方法、装置、系统及电子设备
US11403812B2 (en) 2018-10-31 2022-08-02 Shenzhen University 3D object reconstruction method, computer apparatus and storage medium
WO2020087564A1 (zh) * 2018-10-31 2020-05-07 深圳大学 三维物体重建方法、计算机设备及存储介质
CN110021039A (zh) * 2018-11-15 2019-07-16 山东理工大学 序列图像约束的多视角实物表面点云数据初始配准方法
CN109658398A (zh) * 2018-12-12 2019-04-19 华中科技大学 一种基于三维测量点云的零件表面缺陷识别与评估方法
CN109658398B (zh) * 2018-12-12 2021-05-18 华中科技大学 一种基于三维测量点云的零件表面缺陷识别与评估方法
US11961264B2 (en) 2018-12-14 2024-04-16 Interdigital Vc Holdings, Inc. System and method for procedurally colorizing spatial data
CN113273211A (zh) * 2018-12-14 2021-08-17 Pcms控股公司 用于对空间数据进行程序化着色的系统和方法
CN111626288A (zh) * 2019-02-28 2020-09-04 深圳市速腾聚创科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN109855566A (zh) * 2019-02-28 2019-06-07 易思维(杭州)科技有限公司 一种槽孔特征的提取方法
CN111626288B (zh) * 2019-02-28 2023-12-01 深圳市速腾聚创科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN109855566B (zh) * 2019-02-28 2021-12-03 易思维(杭州)科技有限公司 一种槽孔特征的提取方法
CN109961517A (zh) * 2019-03-01 2019-07-02 浙江大学 一种用于参数曲面拟合的三角网格重参数化方法
CN109696127A (zh) * 2019-03-05 2019-04-30 浙江国自机器人技术有限公司 一种激光识别的方法和设备
CN109696916A (zh) * 2019-03-05 2019-04-30 浙江国自机器人技术有限公司 一种清洗机器人转移的方法和设备
CN109696127B (zh) * 2019-03-05 2021-07-23 浙江国自机器人技术股份有限公司 一种激光识别的方法和设备
CN111768482A (zh) * 2019-03-15 2020-10-13 财团法人工业技术研究院 拼贴扩充方法、编码器与解码器
CN110176020A (zh) * 2019-04-09 2019-08-27 广东工业大学 一种融合2d和3d图像的燕窝杂质分拣方法
CN110223378A (zh) * 2019-05-28 2019-09-10 中国科学院自动化研究所 基于层次聚类的二次曲面基元提取方法、系统、装置
CN110222642B (zh) * 2019-06-06 2021-07-16 上海黑塞智能科技有限公司 一种基于全局图聚类的平面建筑构件点云轮廓提取方法
CN110222642A (zh) * 2019-06-06 2019-09-10 上海黑塞智能科技有限公司 一种基于全局图聚类的平面建筑构件点云轮廓提取方法
CN110276839A (zh) * 2019-06-20 2019-09-24 武汉大势智慧科技有限公司 一种基于实景三维数据的底部碎片去除方法
CN110310322B (zh) * 2019-07-06 2021-08-10 北方工业大学 一种10微米级高精度器件装配表面检测方法
CN110310322A (zh) * 2019-07-06 2019-10-08 北方工业大学 一种10微米级高精度器件装配表面检测方法
CN110443753A (zh) * 2019-07-30 2019-11-12 西安建筑科技大学 一种无重复信息的大型墓室壁画分块自动拼接方法
CN110443753B (zh) * 2019-07-30 2022-09-27 西安建筑科技大学 一种无重复信息的大型墓室壁画分块自动拼接方法
CN110533726B (zh) * 2019-08-28 2021-05-04 哈尔滨工业大学 一种激光雷达场景三维姿态点法向量估计修正方法
CN110533726A (zh) * 2019-08-28 2019-12-03 哈尔滨工业大学 一种激光雷达场景三维姿态点法向量估计修正方法
CN110782521A (zh) * 2019-09-06 2020-02-11 重庆东渝中能实业有限公司 移动端三维重建与模型修复方法及系统
CN114424542A (zh) * 2019-09-27 2022-04-29 苹果公司 具有非规范平滑的基于视频的点云压缩
CN114424542B (zh) * 2019-09-27 2024-02-06 苹果公司 具有非规范平滑的基于视频的点云压缩
CN111242990B (zh) * 2020-01-06 2024-01-30 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于连续相位稠密匹配的360°三维重建优化方法
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于连续相位稠密匹配的360°三维重建优化方法
CN113297340B (zh) * 2020-02-23 2023-12-19 北京初速度科技有限公司 点云地图的矢量化、矢量地图转化点云地图的方法和装置
CN113297340A (zh) * 2020-02-23 2021-08-24 北京初速度科技有限公司 点云地图的矢量化、矢量地图转化点云地图的方法和装置
CN111862352A (zh) * 2020-08-03 2020-10-30 字节跳动有限公司 定位模型优化方法、定位方法和定位设备
CN111915723A (zh) * 2020-08-14 2020-11-10 广东申义实业投资有限公司 一种用于室内的三维全景构建方法和系统
CN112132875B (zh) * 2020-08-31 2023-07-28 青岛秀山移动测量有限公司 一种基于面特征的多平台点云匹配方法
CN112132875A (zh) * 2020-08-31 2020-12-25 青岛秀山移动测量有限公司 一种基于面特征的多平台点云匹配方法
CN112233249A (zh) * 2020-10-29 2021-01-15 上海应用技术大学 基于密集点云的b样条曲面拟合方法及装置
CN112287193A (zh) * 2020-10-30 2021-01-29 腾讯科技(深圳)有限公司 数据聚类方法、装置、计算机设备及存储介质
CN112287193B (zh) * 2020-10-30 2022-10-04 腾讯科技(深圳)有限公司 一种图像分割方法、装置、计算机设备及存储介质
CN112465984A (zh) * 2020-11-12 2021-03-09 西北工业大学 一种基于双层过滤的单目相机序列图像三维重构方法
CN112669442A (zh) * 2020-12-11 2021-04-16 埃洛克航空科技(北京)有限公司 三维模型局部空间平面估计的方法
CN112509141A (zh) * 2020-12-22 2021-03-16 华南理工大学 一种建筑室内三维点云数据中正交平面对的提取方法
CN112767551A (zh) * 2021-01-18 2021-05-07 北京房江湖科技有限公司 三维模型构建方法、装置以及电子设备、存储介质
CN113763559B (zh) * 2021-07-01 2024-04-09 清华大学 一种拟合深度图像的几何运动细节重建方法
CN113763559A (zh) * 2021-07-01 2021-12-07 清华大学 一种拟合深度图像的几何运动细节重建方法及装置
CN113781649A (zh) * 2021-09-07 2021-12-10 岱悟智能科技(上海)有限公司 一种基于三维扫描点云的建筑物平面图生成方法
CN114299318A (zh) * 2021-12-24 2022-04-08 电子科技大学 一种快速点云数据处理和目标图像匹配的方法及系统
CN114170126B (zh) * 2022-02-11 2022-07-05 智道网联科技(北京)有限公司 一种点云稠密化方法、装置和电子设备
CN114170126A (zh) * 2022-02-11 2022-03-11 智道网联科技(北京)有限公司 一种点云稠密化方法、装置和电子设备
CN114880332A (zh) * 2022-07-08 2022-08-09 深圳市信润富联数字科技有限公司 点云数据的存储方法、装置、电子设备及存储介质
CN114880332B (zh) * 2022-07-08 2022-09-16 深圳市信润富联数字科技有限公司 点云数据的存储方法、装置、电子设备及存储介质
CN115546071A (zh) * 2022-11-28 2022-12-30 南京视云信息科技有限公司 一种适于图像恢复的数据处理方法和设备
CN115830246A (zh) * 2023-01-09 2023-03-21 中国地质大学(武汉) 一种基于增量式sfm的球面全景影像三维重建方法
CN116071274A (zh) * 2023-03-23 2023-05-05 成都工业学院 一种基于点云区域生长的跨面孔洞修补方法及系统

Also Published As

Publication number Publication date
CN108090960B (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN108090960B (zh) 一种基于几何约束的目标重建方法
CN110120097B (zh) 大场景机载点云语义建模方法
CN108038905B (zh) 一种基于超像素的目标重建方法
Xia et al. Geometric primitives in LiDAR point clouds: A review
CN111063021B (zh) 一种空间运动目标的三维重建模型建立方法及装置
CN108038906B (zh) 一种基于图像的三维四边形网格模型重建方法
Sun et al. Aerial 3D building detection and modeling from airborne LiDAR point clouds
Furukawa et al. Accurate, dense, and robust multiview stereopsis
CN109410321A (zh) 基于卷积神经网络的三维重建方法
CN108734728A (zh) 一种基于高分辨序列图像的空间目标三维重构方法
Kamencay et al. Improved Depth Map Estimation from Stereo Images Based on Hybrid Method.
CN111899328B (zh) 一种基于rgb数据与生成对抗网络的点云三维重建方法
CN102222357B (zh) 基于图像分割和网格细分的脚型三维表面重建方法
CN106504331A (zh) 基于三维模型检索的牙齿建模方法
CN107657659A (zh) 基于长方体拟合扫描三维点云的曼哈顿结构建筑物自动建模方法
CN103699578B (zh) 一种基于谱图分析的图像检索方法
CN108154104A (zh) 一种基于深度图像超像素联合特征的人体姿态估计方法
Pound et al. A patch-based approach to 3D plant shoot phenotyping
CN107610219A (zh) 一种三维场景重构中几何线索感知的像素级点云稠密化方法
CN103646421A (zh) 基于增强型PyrLK光流法的树木轻量化3D重建方法
CN109920050A (zh) 一种基于深度学习和薄板样条的单视图三维火焰重建方法
Zhang et al. GigaMVS: a benchmark for ultra-large-scale gigapixel-level 3D reconstruction
CN117115359B (zh) 一种基于深度图融合的多视图电网三维空间数据重建方法
CN116612097A (zh) 一种基于表面缺陷图像的木材内部节子形态预测方法及系统
JP2021033682A (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant