CN117853656A - 激光点云与单镜头影像融合构建三维模型的方法和系统 - Google Patents
激光点云与单镜头影像融合构建三维模型的方法和系统 Download PDFInfo
- Publication number
- CN117853656A CN117853656A CN202311864108.0A CN202311864108A CN117853656A CN 117853656 A CN117853656 A CN 117853656A CN 202311864108 A CN202311864108 A CN 202311864108A CN 117853656 A CN117853656 A CN 117853656A
- Authority
- CN
- China
- Prior art keywords
- data
- point cloud
- matching
- feature
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于激光点云与单镜头影像融合构建三维模型的方法和系统,所述方法包括:获取激光点云数据和单镜头影像数据并进行预处理后;分别基于经过预处理的激光点云数据和单镜头影像数据进行特征提取,得到对应激光点云数据的第一特征数据和对应单镜头影像数据的第二特征数据;对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据;基于所述匹配数据构建三维模型。通过先将采集激光数据同时获取到的单镜头影像合成若干张全景影像图,再赋予到软件基于激光三维点云自动建出来的三维模型上,则可有效地解决模型拉花、空洞、变形等相关问题。
Description
技术领域
本发明涉及三维建模技术领域,特别是一种基于激光点云与单镜头影像融合构建三维模型的方法和系统。
背景技术
三维建模技术利用三维制作软件通过虚拟三维空间构建出具有三维数据的模型,由于其可以将实体建筑以三维的立体形象呈现,因此受到各个行业的广泛需求。
目前,有些软件可以通过获取点云数据,以利用点云数据实现自动建模,如瞰景Smart3D、Geomagic等,中国专利申请如CN111815776A、CN112258624A、CN112927360A也记载了关于三维构建的方式,但是上述三维建模方式均存在效果与纹理问题。首先效果问题:会存在点云数据本身厚度与密度问题,若点云数据可以达到1cm厚度,密度可以基本保证整体结构效果,则自动建出的模型效果会佳;其次纹理问题:软件基本都是基于赋色点云来构建,即先赋色再建模,但存在一个点状的束缚,即使软件算法可以使点状纹理匀成面状,也无法避免波浪状纹理。
发明内容
鉴于上述问题,本发明提出一种基于激光点云与单镜头影像融合构建三维模型的方法和系统。
根据本发明的一个方面,提供了一种基于激光点云与单镜头影像融合构建三维模型的方法,所述方法包括:
获取激光点云数据,对所述激光点云数据进行预处理,并提取感兴趣的目标物体;
获取单镜头影像数据,对所述单镜头影像数据进行预处理,以优化单镜头影像数据的图像质量;
分别基于经过预处理的激光点云数据和单镜头影像数据进行特征提取,得到对应激光点云数据的第一特征数据和对应单镜头影像数据的第二特征数据;
对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据;
基于所述匹配数据构建三维模型。
可选地,所述对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据包括:
采用匹配算法,将激光点云特征与图像特征进行匹配,得到一一对应的匹配点,作为匹配数据。
可选地,所述匹配算法包括暴力匹配或FLANN匹配。
可选地,所述基于所述匹配数据构建三维模型包括:
根据匹配点,利用三角测量原理分类提取模型轮廓,初步构建三维模型;
通过迭代最近点算法对初始三维模型进行优化,得到优化后的三维模型。
可选地,所述基于所述匹配数据构建三维模型之后,所述方法还包括:
对构建好的三维模型进行降噪、修补、简化的操作,提高模型视觉效果;
将构建好的三维模型映射到二维屏幕上,实现三维模型的可视化展示。
根据本发明的另一个方面,提供了一种基于激光点云与单镜头影像融合构建三维模型的方法和系统,所述系统包括:
第一数据获取模块,用于获取激光点云数据,对所述激光点云数据进行预处理,并提取感兴趣的目标物体;
第二数据获取模块,用于获取单镜头影像数据,对所述单镜头影像数据进行预处理,以优化单镜头影像数据的图像质量;
特征提取模块,用于分别基于经过预处理的激光点云数据和单镜头影像数据进行特征提取,得到对应激光点云数据的第一特征数据和对应单镜头影像数据的第二特征数据;
特征匹配模块,用于对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据;
模型构建模块,用于基于所述匹配数据构建三维模型。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述任一项所述的基于激光点云与单镜头影像融合构建三维模型的方法。
本发明还提供了一种计算设备,所述计算设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述任一项所述的基于激光点云与单镜头影像融合构建三维模型的方法。
本发明提供了一种基于基于激光点云与单镜头影像融合构建三维模型的方法和系统,通过先将采集激光数据同时获取到的单镜头影像合成若干张全景影像图,再赋予到软件基于激光三维点云自动建出来的三维模型上,则可有效地解决模型拉花、空洞、变形等相关问题。本发明的方案提高了数据采集的工作效率,大大节约了数据采集的外业成本。可适当舍弃手动建模和模型编辑修改,提高模型重建的数据处理效率和精度。并且,建模效果相比当前传统的技术方案有所提高,生成的精细化模型具有广泛应用价值。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明一实施例基于激光点云与单镜头影像融合构建三维模型的方法流程示意图;
图2示出了本发明另一实施例基于激光点云与单镜头影像融合构建三维模型的方法流程示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种基于激光点云与单镜头影像融合构建三维模型的方法,如图1所示,所述方法包括:
S1,获取激光点云数据,对所述激光点云数据进行预处理,并提取感兴趣的目标物体。其中,激光点云数据的获取方式一般是通过三维激光扫描仪,三维激光扫描仪通过扫描选定的目标物体或环境后,能大面积高分辨率地快速获取被测对象表面的三维坐标数据。
S2,获取单镜头影像数据,对所述单镜头影像数据进行预处理,以优化单镜头影像数据的图像质量;具体可以通过无人机搭载视频单摄像头设备进行单镜头影响数据采集。
S3,分别基于经过预处理的激光点云数据和单镜头影像数据进行特征提取,得到对应激光点云数据的第一特征数据和对应单镜头影像数据的第二特征数据。
S4,对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据。在一些实施例中,可以采用匹配算法,将激光点云特征与图像特征进行匹配,得到一一对应的匹配点,作为匹配数据。
S5,基于所述匹配数据构建三维模型。对于上述得到的匹配点,根据匹配点,利用三角测量原理分类提取模型轮廓,初步构建三维模型;通过迭代最近点算法对初始三维模型进行优化,得到优化后的三维模型。
目前精细三维模型基本依据于多镜头可见光的影像方式来构建,在采集与处理过程中花费时间较久,并且数据没有穿透性,导致成果局部呈现拉花现象,而激光点云数据具备较强的穿透能力,并且采集较快,激光点云数据提供了精确的物体几何信息,而单镜头影像数据则包含了丰富的颜色和纹理信息。本实施例的方案通过融合这两种数据,若在理想状态下,自动建模效果会远远超过可见光数据,则在效率及效果上都是一个大大的提升。
在一些实施例中,上述步骤S5之后,还可以包括:对构建好的三维模型进行降噪、修补、简化的操作,提高模型视觉效果;将构建好的三维模型映射到二维屏幕上,实现三维模型的可视化展示。
如图2所示,本发明另一实施例的基于激光点云与单镜头影像融合构建三维模型的方法可以包括:
1,数据预处理
(1)激光点云数据处理:对原始激光点云数据进行去噪、滤波、分类等操作,提取出感兴趣的目标物体。
在一些可选实施例中,可以先利用三维激光扫描目标建筑物的执行外业扫描作业,通过内业布设像控点将倾斜摄影测量的自动空中三角测量的连接点进行关联,以得到三维激光点云数据。对于得到的三维激光点云数据执行去噪、滤波、分类等预处理操作,根据不同建筑物元素类别以提取得到感兴趣的目标物体。
(2)单镜头影像处理:对单镜头影像进行灰度化、归一化、滤波等操作,提高图像质量。通过搭载有单摄像头的无人机利用预先设定的航线进行目标建筑物的单镜头影像拍摄。
2.特征提取与匹配
(1)激光点云特征提取:从处理后的激光点云数据中提取出具有代表性的特征点,如顶点、边缘等。
点云特征提取是处理3D点云数据的关键步骤,其目的是从点云数据中提取出有意义的信息,用于后续的分类、识别、配准等任务。以下是一些点云特征提取的具体技术细节:
1)点云预处理:在特征提取之前,需要对点云数据进行预处理,包括去除噪声、滤波平滑、数据缩减等。这些步骤有助于提高特征提取的准确性和效率。
2)表面重建:在预处理之后,需要进行表面重建,将点云数据转换为更易于分析和处理的表面模型。常用的表面重建算法包括三角形网格重建和体素网格重建。
3)特征描述符:特征描述符是从点云数据中提取出的有意义的信息,用于描述点云的特征。常见的特征描述符包括FPFH(Fast Point Feature Histograms)、SHOT(Statistical Histograms of Oriented Gradients)、PCA-Statistical(PrincipalComponentAnalysis-Statistical)等。
4)特征匹配:在提取出特征描述符之后,需要进行特征匹配,将不同点云之间的特征进行比对和关联。常用的特征匹配算法包括暴力匹配和松弛匹配。
5)特征分类:在特征匹配之后,需要进行特征分类,将相似的特征归为同一类,以便于后续的识别和分类任务。常用的特征分类算法包括K-means聚类和层次聚类。
激光点云数据是描述表面或物体的点的集合。每个点都在空间坐标系中具有对应的(x、y、z)三维数据点进行分类,例如可以利用PointCNN神经网络输出每个数据点进行分类,
(2)图像特征提取:从处理后的单镜头影像中提取出具有代表性的特征点,如角点、边缘点等,得到单镜头影像点云数据。
图像特征提取是计算机视觉领域中的一项关键技术,它涉及从图像中提取出有意义的特征信息,以便后续的图像分类、目标检测、图像检索等任务。以下是一些常见的图像特征提取技术及其具体细节:
1)灰度共生矩阵(GLCM):
概念:基于像素之间的相对位置和方向,统计图像中像素对的灰度级联合分布。
参数:包括方向(0-180度)、距离(通常为1、2、3、4和8)和灰度级(如256级)。
步骤:计算灰度共生矩阵、统计特定的纹理特征(如对比度、相关性、能量等)。
2)SIFT(尺度不变特征变换):
概念:一种在尺度空间中检测局部特征的方法。
步骤:构建尺度空间、关键点检测、关键点定位、方向分配、特征描述符生成。
优点:对尺度和旋转变化具有不变性,对光照和视角变化具有一定程度的鲁棒性。
3)SURF(加速鲁棒特征):
概念:基于Hessian矩阵的检测器,用于在图像中快速检测和描述局部特征。
步骤:海森矩阵计算、特征值和特征向量计算、关键点定位和描述符生成。
优点:比SIFT更快,同时保持了相当的性能。
4)ORB(Oriented FAST and Rotated BRIEF):
概念:是一种高效的特征描述符,结合了FAST关键点检测器和BRIEF描述符。
步骤:关键点检测、关键点描述符生成。
优点:速度较快,同时保持了较好的性能。
5)HOG(Histogram ofOriented Gradients):
概念:基于图像局部区域的梯度方向直方图来表示图像。
步骤:计算图像中不同方向的梯度强度和方向、统计直方图。
应用:常用于行人检测等任务。
6)深度学习方法:
卷积神经网络(CNN):直接从原始图像中提取特征,具有强大的特征学习和抽象能力。常见的CNN结构包括VGG、ResNet、Inception等。
特征金字塔网络(FPN):用于多尺度特征融合,提高目标检测的性能。
自编码器(Autoencoder):通过无监督学习提取图像的有意义特征。
7)其他方法:还有一些其他的方法,如基于小波变换的特征提取、基于傅里叶变换的特征提取等。
在实际应用中,选择哪种特征提取方法取决于具体任务的需求和约束,例如实时性要求、计算资源限制等。
(3)特征匹配:采用合适的匹配算法,将激光点云特征与图像特征进行匹配,得到一一对应的匹配点。
特征匹配是计算机视觉和图像处理领域中一个重要的技术,主要用于图像识别、目标检测、图像拼接等领域。补充特征匹配技术通常涉及到以下几个关键步骤:
1)特征提取:这是特征匹配的第一步,涉及到从图像中提取出有意义的特征。这些特征可以是边缘、角点、纹理等。常用的特征提取算法包括SIFT(尺度不变特征变换)、SURF(加速鲁棒特征)、ORB(定向旋转不变特征)等。
2)特征描述:在提取出特征之后,需要用一种方式来描述这些特征,以便后续的匹配。常用的特征描述算法包括BRIEF(二进制鲁棒独立元素特征)、FREAK(快速鲁棒特征)等。
3)特征匹配:在得到两幅图像的特征描述之后,并将特征匹配起来。常用的匹配算法包括暴力匹配(Brute-Force)、FLANN(快速近邻)等。
4)优化匹配结果:由于匹配过程中可能会出现误匹配的情况,因此需要对匹配结果进行优化。常用的优化算法包括RANSAC(随机采样一致性)、Lowe's ratio test等。
补充特征匹配技术通常会结合以上几个步骤,通过不断优化特征提取、描述和匹配的过程,提高匹配的准确性和效率。在实际应用中,还需要考虑光照变化、遮挡、旋转等因素对特征匹配的影响,以及如何处理多视角、动态场景等问题。
针对上述得到的影像点云数据与激光点云数据,通过寻找同名特征点进行点云粗配准得到匹配点云数据,再对匹配点云数据进行精配准工作,得到更加精准的一一对应的匹配点。
在一些实施例中,可以选用如暴力匹配、FLANN匹配等匹配算法。其中暴力匹配算法,对于影像点云数据与激光点云数据中的每个数据点生成对应的特征描述符,从而将影像点云数据与激光点云数据的数据点进行特征描述符的匹配,以实现数据点的匹配。FLANN匹配是基于KD树构建的快速最近邻搜索算法,实际应用中可以根据不同的情况选用对应的算法。
(4)图像处理:基于大重叠度可见光影像,根据激光点云特征点及图像特征于软件内自动匹配构建若干全景图作为建模基础。
在图像处理中,基于大重叠度可见光影像与激光点云特征点及图像特征的自动匹配构建全景图的过程,是一种高效且精确的三维场景重建方法。以下是具体的实施细节:
1)数据收集:首先,需要收集大重叠度的可见光影像,这些影像应具有足够的重叠度,以便于后续的匹配。同时,还需要获取相应的激光点云数据。
2)特征点提取:对于可见光影像,特征点可以包括角点、边缘、纹理交叉点等。对于激光点云,特征点可能包括尖峰、凹陷、断层等。这些特征点是进行匹配的关键。
3)特征点匹配:基于提取的特征点,软件会自动进行匹配。这通常会使用到一些常见的算法,如SIFT(尺度不变特征变换)、SURF(加速鲁棒特征)或ORB(Oriented FAST andRotated BRIEF)等。这些算法能确保特征点在不同影像之间正确匹配。
4)全景图构建:根据匹配的特征点,软件会利用适当的算法(如球面全景图或立方体全景图)来构建全景图。这个过程可能需要考虑到影像的几何畸变、色彩平衡等因素,以确保全景图的准确性。
5)模型优化:为了提高模型的精度和完整性,可能还需要进行一些额外的优化。这可能包括对全景图的进一步处理,如去噪、补全、优化等。
3.三维模型构建
三维模型构建是一个涉及多个步骤和技术的过程。以下是一些关键的技术细节,这些技术通常用于从无到有地创建三维模型:
(1)数据收集:这是构建模型的第一步,涉及收集用于创建模型的所有必要数据。这可能包括各种来源的图像、扫描数据、测量数据等。
(2)数据处理:在收集了所有必要的数据之后,需要进行一些处理以确保数据的质量和准确性。这可能包括噪声消除、数据平滑、数据缩放等。
(3)三维重建:这个步骤涉及使用三维几何算法从二维图像中重建三维结构。这通常涉及到相机校准、特征匹配、立体视觉等技术。
(4)模型设计:根据提取的特征,利用机器学习和深度学习技术自动构建三维模型。这一步是实现自动化建模的核心环节。
(5)模型优化:对构建的三维模型进行优化,包括去除冗余数据、填补空洞等,以提高模型的质量和精度。这一步是提高建模效率和质量的重要步骤。
4.模型后处理与可视化
(1)模型后处理:对构建好的三维模型进行降噪、修补、简化等操作,提高模型视觉效果。
(2)基于已匹配的全景图对模型自动进行纹理赋色。
1)图像识别和处理:
使用图像识别技术来识别全景图中哪些部分与模型的表面匹配。这通常涉及到特征提取(例如SIFT,SURF等)和特征匹配,以找出全景图和模型之间的对应关系。
对全景图进行预处理,如去噪、色彩校正和图像分割,以确保纹理质量并提高匹配的准确性。
2)纹理映射:
纹理映射是将纹理准确地映射到模型表面的过程。通过确定纹理在模型上的正确位置和方向,实现纹理映射的过程。这通常涉及到UV坐标的调整,使得纹理能够正确地展开并覆盖模型表面。
3)颜色匹配:
在找到匹配的纹理后,需要确保颜色的一致性。这可能涉及到对全景图和模型的颜色进行校准,以确保两者之间的颜色匹配。可以使用颜色空间转换、色彩平衡等技术来实现这一目标。
4)自动化赋色:
利用机器学习或深度学习算法来自动进行纹理赋色。可以训练模型来识别纹理,并根据输入的全景图自动为模型赋色。这需要大量的训练数据和计算资源。
5)优化和调整:
在完成初步的自动赋色后,可能还需要进行一些优化和调整。这可能涉及到手动微调纹理映射、颜色匹配等,以确保最终结果满足要求。
6)考虑光照和阴影:
在为模型赋色时,还需要考虑光照和阴影的影响。需要确保纹理在各种光照条件下都能保持一致性。这可能需要使用一些高级的光照模型和渲染技术。
7)性能优化:
对于大型模型和高清全景图,自动纹理赋色可能会需要大量的计算资源。因此,性能优化也是非常重要的,例如使用GPU加速、优化算法等来提高处理速度。
可选地,可以在ArcScene软件中通过“地形转不规则三角网”的地理处理工具将地形数据集转换为不规则三角网。然后对模型进行纹理映射处理,在OpenGL软件通过将纹理空间中的纹理像素映射到屏幕空间;先对纹理对象进行定义,然后使用glBlindTexture函数选择纹理对象并在绘制三维实景时加载相应的纹理,最后在输出结果前使用glBlindTexture函数删除纹理对象。
(3)三维模型可视化:将构建好的三维模型映射到二维屏幕上,实现三维模型的可视化展示。
本发明实施例的基于激光点云与单镜头影像融合构建三维模型的方法,通过先将采集激光数据同时获取到的单镜头影像合成若干张全景影像图,再赋予到软件基于激光三维点云自动建出来的三维模型上,则可有效地解决模型拉花、空洞、变形等相关问题。本发明实施例的方案提高了数据采集的工作效率,大大节约了数据采集的外业成本。可适当舍弃手动建模和模型编辑修改,提高模型重建的数据处理效率和精度。并且,建模效果相比当前传统的技术方案有所提高,生成的精细化模型具有广泛应用价值。
本发明实施例还提供了一种基于激光点云与单镜头影像融合构建三维模型的系统,所述系统包括:
第一数据获取模块,用于获取激光点云数据,对所述激光点云数据进行预处理,并提取感兴趣的目标物体;
第二数据获取模块,用于获取单镜头影像数据,对所述单镜头影像数据进行预处理,以优化单镜头影像数据的图像质量;
特征提取模块,用于分别基于经过预处理的激光点云数据和单镜头影像数据进行特征提取,得到对应激光点云数据的第一特征数据和对应单镜头影像数据的第二特征数据;
特征匹配模块,用于对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据;
模型构建模块,用于基于所述匹配数据构建三维模型。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述实施例所述的基于激光点云与单镜头影像融合构建三维模型的方法。上述各模块的功能可参见方法实施例的描述,本实施例在此不做赘述。
本发明还提供了一种计算设备,所述计算设备包括处理器以及存储器:所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;所述处理器用于根据所述程序代码中的指令执行上述实施例所述的基于激光点云与单镜头影像融合构建三维模型的方法。
所属领域的技术人员可以清楚地了解到,上述描述的系统、装置、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,为简洁起见,在此不另赘述。
另外,在本发明各个实施例中的各功能单元可以物理上相互独立,也可以两个或两个以上功能单元集成在一起,还可以全部功能单元都集成在一个处理单元中。上述集成的功能单元既可以采用硬件的形式实现,也可以采用软件或者固件的形式实现。
本领域普通技术人员可以理解:所述集成的功能单元如果以软件的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,其包括若干指令,用以使得一台计算设备(例如个人计算机,服务器,或者网络设备等)在运行所述指令时执行本发明各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM),磁碟或者光盘等各种可以存储程序代码的介质。
或者,实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机,服务器,或者网络设备等的计算设备)来完成,所述程序指令可以存储于一计算机可读取存储介质中,当所述程序指令被计算设备的处理器执行时,所述计算设备执行本发明各实施例所述方法的全部或部分步骤。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:在本发明的精神和原则之内,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案脱离本发明的保护范围。
Claims (8)
1.一种基于激光点云与单镜头影像融合构建三维模型的方法,其特征在于,所述方法包括:
获取激光点云数据,对所述激光点云数据进行预处理,并提取感兴趣的目标物体;
获取单镜头影像数据,对所述单镜头影像数据进行预处理,以优化单镜头影像数据的图像质量;
分别基于经过预处理的激光点云数据和单镜头影像数据进行特征提取,得到对应激光点云数据的第一特征数据和对应单镜头影像数据的第二特征数据;
对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据;
基于所述匹配数据构建三维模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据包括:
采用匹配算法,将激光点云特征与图像特征进行匹配,得到一一对应的匹配点,作为匹配数据。
3.根据权利要求2所述的方法,其特征在于,所述匹配算法包括暴力匹配或FLANN匹配。
4.根据权利要求1所述的方法,其特征在于,所述基于所述匹配数据构建三维模型包括:
根据匹配点,利用三角测量原理分类提取模型轮廓,初步构建三维模型;
通过迭代最近点算法对初始三维模型进行优化,得到优化后的三维模型。
5.根据权利要求1所述的方法,其特征在于,所述基于所述匹配数据构建三维模型之后,所述方法还包括:
对构建好的三维模型进行降噪、修补、简化的操作,提高模型视觉效果;
将构建好的三维模型映射到二维屏幕上,实现三维模型的可视化展示。
6.一种基于激光点云与单镜头影像融合构建三维模型的系统,其特征在于,所述系统包括:
第一数据获取模块,用于获取激光点云数据,对所述激光点云数据进行预处理,并提取感兴趣的目标物体;
第二数据获取模块,用于获取单镜头影像数据,对所述单镜头影像数据进行预处理,以优化单镜头影像数据的图像质量;
特征提取模块,用于分别基于经过预处理的激光点云数据和单镜头影像数据进行特征提取,得到对应激光点云数据的第一特征数据和对应单镜头影像数据的第二特征数据;
特征匹配模块,用于对所述第一特征数据和第二特征数据进行特征匹配,得到一一对应的匹配数据;
模型构建模块,用于基于所述匹配数据构建三维模型。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-7任一项所述的基于激光点云与单镜头影像融合构建三维模型的方法。
8.一种计算设备,其特征在于,所述计算设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的基于激光点云与单镜头影像融合构建三维模型的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311864108.0A CN117853656A (zh) | 2023-12-29 | 2023-12-29 | 激光点云与单镜头影像融合构建三维模型的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311864108.0A CN117853656A (zh) | 2023-12-29 | 2023-12-29 | 激光点云与单镜头影像融合构建三维模型的方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117853656A true CN117853656A (zh) | 2024-04-09 |
Family
ID=90541583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311864108.0A Pending CN117853656A (zh) | 2023-12-29 | 2023-12-29 | 激光点云与单镜头影像融合构建三维模型的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117853656A (zh) |
-
2023
- 2023-12-29 CN CN202311864108.0A patent/CN117853656A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544456B (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
EP1986153B1 (en) | Method and system for determining objects poses from range images | |
CN108052942B (zh) | 一种飞机飞行姿态的视觉图像识别方法 | |
CN110796694A (zh) | 一种基于KinectV2的果实三维点云实时获取方法 | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
Pound et al. | A patch-based approach to 3D plant shoot phenotyping | |
Hu et al. | An automatic 3D registration method for rock mass point clouds based on plane detection and polygon matching | |
CN114332134B (zh) | 一种基于密集点云的建筑物立面提取方法和装置 | |
CN108182705A (zh) | 一种基于机器视觉的三维坐标定位方法 | |
CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
Yun et al. | Supervoxel-based saliency detection for large-scale colored 3D point clouds | |
CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
Ji et al. | An evaluation of conventional and deep learning‐based image‐matching methods on diverse datasets | |
Yuan et al. | 3D point cloud recognition of substation equipment based on plane detection | |
CN113345072A (zh) | 一种多视角遥感地形影像点云重建方法及系统 | |
CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
Jisen | A study on target recognition algorithm based on 3D point cloud and feature fusion | |
CN111179271A (zh) | 一种基于检索匹配的物体角度信息标注方法及电子设备 | |
KR102129060B1 (ko) | 단일 깊이 영상을 이용한 내용기반 3차원 모델 검색 방법, 이를 수행하는 3차원 모델 검색 서버 및 컴퓨터로 판독 가능한 기록매체 | |
Abdel-Wahab et al. | Efficient reconstruction of large unordered image datasets for high accuracy photogrammetric applications | |
CN113487741B (zh) | 稠密三维地图更新方法及装置 | |
CN111626096B (zh) | 一种三维点云数据兴趣点提取方法 | |
CN117853656A (zh) | 激光点云与单镜头影像融合构建三维模型的方法和系统 | |
Wu et al. | Geometry guided multi-scale depth map fusion via graph optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |