CN116740288A - 一种融合激光雷达、倾斜摄影的三维重建方法 - Google Patents
一种融合激光雷达、倾斜摄影的三维重建方法 Download PDFInfo
- Publication number
- CN116740288A CN116740288A CN202311014226.2A CN202311014226A CN116740288A CN 116740288 A CN116740288 A CN 116740288A CN 202311014226 A CN202311014226 A CN 202311014226A CN 116740288 A CN116740288 A CN 116740288A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- point cloud
- matching
- dense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000005070 sampling Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000001788 irregular Effects 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种融合激光雷达、倾斜摄影的三维重建方法，包括：S1获取倾斜影像及影像数据并预处理，得到第一倾斜影像，影像数据包括POS数据；S2获取像控点坐标和高精度POS数据；S3对倾斜影像纠正，得到第二倾斜影像；S4对第二倾斜影像进行空中三角测量，通过改进的SIFT得到有效匹配点对；S5基于有效匹配点对进行联合平差和密集匹配得到稠密点云；S6获取激光点云并预处理；S7将激光点云与稠密点云进行坐标统一，用改进的ICP得到融合点云；S8构建三角网并映射纹理，生成三维模型。本发明利用激光雷达分辨率高、抗干扰能力强优势，对倾斜摄影三维模型的缺陷优化，同时对倾斜影像进行纠正处理和对特征匹配的算法改进，提高三维模型精度、完整性和效率。
Description
技术领域
本发明属于三维重建领域，具体涉及一种融合激光雷达、倾斜摄影的三维重建方法。
背景技术
倾斜摄影技术是全球摄影测量领域近十几年发展起来的一项高新技术，它颠覆了以往正射影像只能从垂直角度拍摄的局限，通过在同一飞行平台上搭载多台传感器，同时从一个垂直及四个倾斜等五个不同的角度采集影像，呈现了符合人眼视觉的直观真实世界。它不仅能够真实地反映地物情况，高精度地获取物方纹理信息，还可通过先进的定位、融合、建模等技术，生成真实的三维城市模型。该技术在全球已经广泛应用于应急救援、城市规划、测绘测量等行业。
近年来，三维重建技术在城市规划，土地资源调查，文化遗产保护与修复等方面得到了广泛的应用。此外将三维重建技术应用于电网设备也受到的广泛的关注。例如对对输电杆塔的三维重建，有利于电网的安全运行，同时也提高了输电线路运维检修的效率。如何高精度，高效率地获取三维数据，逐渐成为目前实景三维建模的研究热点。获取三维重建数据源的方式主要3种，即人工建模，无人机倾斜摄影技术和激光雷达建模。
人工建模技术制作周期长、测量工作量大，适合于尺寸和范围较小的物体进行三维建模，否则大范围的输电杆塔建模既不经济，建模效果也不好。基于倾斜摄影技术的三维重建以其效率高、成本低等优点，广泛应用于三维建模的多个邻域中。
但是，倾斜摄影技术也有一定的局限性，倾斜影像存在比例尺差异大、视角差异大、遮挡区域大量存在等问题，给倾斜影像密集匹配造成了很大的困难。此外，由于倾斜摄影拍摄角度及作业方法的限制，经空三加密后的三维点云在有遮挡的区域存在空洞，并不能建立完整的三维模型，这会造成模型的美观度、完整性存在缺陷。而激光点云具有精度高、密度大的优点，而且单纯的激光雷达得到的只有点云信息，重建得到的是模型架构，无法真实的还原真实场景。
因此，设计一种融合激光雷达、倾斜摄影的三维重建方法，通过两者的优势，提高三维重建的精度显得尤为重要。
发明内容
为了解决上述技术问题，本发明提供一种融合激光雷达、倾斜摄影的三维重建方法，利用激光雷达分辨率高、抗干扰能力强等特点，对倾斜摄影三维模型的缺陷进行优化，解决了地物扭曲和空洞问题；此外，通过对倾斜影像进行纠正处理，提高密集匹配的准确性，提高建模的精度、完整性。
本发明提供一种融合激光雷达、倾斜摄影的三维重建方法，包括以下步骤：
S1 获取倾斜影像并进行第一预处理，得到第一倾斜影像及影像数据，所述影像数据包括POS数据；所述POS数据包括影像姿态角信息；
S2 实地选取像控点，获取像控点坐标信息，并对POS数据中的平面坐标和高程值进行转换和精化处理，得到高精度POS数据；
S3 根据高精度POS数据，计算第一倾斜影像与其对应垂直影像间的变换矩阵，通过变换矩阵对第一倾斜影像进行纠正处理，得到第二倾斜影像；
S4 将第二倾斜影像通过高精度POS数据和像控点坐标信息进行空中三角测量，通过改进的SIFT算法对第二倾斜影像进行特征点提取和匹配，得到有效匹配点对；
S5 基于有效匹配点对进行多视角联合平差，得到稀疏点云，将稀疏点云采用多视角密集匹配算法生成稠密点云；
S6 获取激光雷达的激光点云并进行第二预处理；
S7 将预处理后的激光点云与稠密点云进行坐标统一性转换，采用改进的ICP算法进行点云配准融合，得到融合点云；
S8 在融合点云基础上构建三角网，同时对三角网进行平滑和简化，并基于倾斜摄影影像自动映射纹理，生成三维模型。
具体地，步骤S3中所述纠正处理包括：
S31 通过高精度POS数据中的影像姿态角信息，计算得到第一倾斜影像的第一旋转矩阵；
S32 模拟影像拍摄视角的变换，计算各视角下的第一倾斜影像与其对应垂直影像间的变换矩阵；
S33 通过变换矩阵对第一倾斜影像进行重采样，将不同倾斜视角的倾斜影像变换至垂直视角下，得到第二倾斜影像。
具体地，步骤S4进一步包括：
S41 在SIFT算法基础上，使用高斯金字塔构建第二倾斜影像的尺度空间；
S42 对构建的尺度空间利用MSERs算法进行极值检测，根据检测结果定位空间中的特征点；
S43 采用二值化的FREAK描述子对特征点进行特征描述，得到特征向量；
S44 根据余弦相似度对特征向量进行粗匹配，得到初级匹配点对；
S45 采用RANSAC算法对在初级匹配点对进行误匹配点对剔除，得到有效匹配点对。
具体地，步骤S7进一步包括：
S71 对稠密点云和激光点云进行整合，得到整合点云，计算整合点云重心，以重心为中心，计算第二旋转矩阵和平移矩阵，分别进行旋转和平移，得到坐标统一的稠密点云和激光点云；
S72 分别对坐标统一的稠密点云和激光点云进行特征提取，计算各点云的法向量和伞曲率特征，得到点云特征；
S73 将具有相同点云特征的稠密点云和激光点云，基于双向KD树的ICP算法进行匹配融合。
具体地，步骤S5中所述多视角密集匹配算法为基于聚簇和面片模型的多视角密集匹配算法。
具体地，步骤S1中所述第一预处理包括匀光匀色和去畸变。
具体地，步骤S2中所述平面坐标采用高斯-克吕格直角平面投影进行坐标转换；所述高程值采用像控点所求的七参数进行转换，或采用似大地水准精化面改算。
具体地，步骤S6中所述第二预处理包括去噪和平滑。
本发明的有益效果为：
（1）本发明融合无人机倾斜摄影的高效性和激光雷达的精准性，解决了单一数据源建模出现的地物扭曲和空洞问题，提高了建模的精度、完整性和效率；并采用双向KD树的方法对稠密点云和激光点云进行匹配，提高了特征点提取的准确度，为点云融合提供了准确的特征匹配数据，进而提升三维重建的精度。
（2）本发明通过方位元素和倾斜影像之间的对应关系计算倾斜影像与其对应垂直影像间的变换矩阵，通过变换矩阵对倾斜影像进行纠正处理，将不同倾斜视角的影变换至垂直视角下，提高了对倾斜影像进行特征提取和匹配的准确性，进而提高建模的精度和完整性。
（3）本发明通过针对SIFT算法存在特征点检测耗时长、计算量大、倾斜影像匹配精度低效果差的问题，基于SIFT算法，采用MSERs算法作为特征点检测的算法，采用FREAK算法作为特征点描述子，采取了由粗到精的匹配策略，提高了影像匹配的精度和效率，进而提高三维重建的效率和精度。
（4）本发明在将KD树搜索邻域的高效算法与ICP算法相结合对点云进行精准配准融合，大大提高了对海量点云配准的效率，从而进一步提升了三维重建的效率和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法示意图；
图2为本发明实施例中对第一倾斜影像进行纠正处理技术流程图；
图3为本发明实施例生成三维模型的技术流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例的方法示意图；
本发明提供一种融合激光雷达、倾斜摄影的三维重建方法，包括以下步骤：
S1 获取倾斜影像并进行第一预处理，得到第一倾斜影像及影像数据，所述影像数据包括POS数据；所述POS数据包括影像姿态角信息。
在同一飞行平台上搭载五镜头相机，同时从垂直、倾斜不同角度采集地面影像，所述倾斜影像包括镜头垂直地面角度拍摄的一组正片影像，以及镜头朝向与地面成一定夹角拍摄的四组斜片影像。
倾斜摄影技术不仅在摄影方式上区别于传统的垂直航空摄影，其后期数据处理及成果也大不相同。倾斜摄影技术的主要目的是获取地物多个方位（尤其是侧面）的信息并可供用户多角度浏览，实时量测，三维浏览等获取多方面的信息。影像数据携带有拍摄时刻无人机的位置信息（GPS），即相机曝光瞬间的线元素x，y，z和姿态信息，定位定姿系统（POS）中的飞行姿态信息，即记录相机曝光瞬间的姿态角元素，ω，k。
倾斜摄影的航线设计采用专用航线设计软件进行设计，其相对航高、地面分辨率及物理像元尺寸满足三角比例关系。航线设计一般采取30％的旁向重叠度，66％的航向重叠度，目前要生产自动化模型，旁向重叠度需要到达66％，航向重叠度也需要达到66％。航线设计软件生成一个飞行计划文件，该文件包含飞机的航线坐标及各个相机的曝光点坐标位置，实际飞行中，各个相机根据对应的曝光点坐标自动进行曝光拍摄。
倾斜影像有以下特点：反映地物周边真实情况，相对于正射影像，倾斜影像能让用户从多个角度观察地物，更加真实的反映地物的实际情况，极大的弥补了基于正射影像应用的不足；倾斜影像可实现单张影像量测，通过配套软件的应用，可直接基于成果影像进行包括高度、长度、面积、角度、坡度等的量测，扩展了倾斜摄影技术在行业中的应用；建筑物侧面纹理可采集，针对各种三维数字城市应用，利用航空摄影大规模成图的特点，加上从倾斜影像批量提取及贴纹理的方式，能够有效的降低三维建模成本；易于网络发布，倾斜影像的数据格式可采用成熟的技术快速进行网络发布，实现共享应用。
在本发明的实施例中，步骤S1中所述第一预处理包括匀光匀色和去畸变。
具体地，在飞行过程中存在时间和空间上的差异，影像之间会存在色偏，这就需要进行匀光匀色处理；对每架次飞行获取的影像数据进行及时、认真地检查和预处理，严格按照匀光、匀色步骤去对航摄影像进行调整生成，最终获得最佳成像效果的影像数据（TIFF格式）。所有成果进行自身质量检查合格后整理归档，得到最终航摄成果。
影像预处理是航摄影像从不可见到可见，实现其色彩还原的重要步骤。在数字航摄中，影像预处理对后期成果的影响在于处理速度和匀光匀色的调校。
为获得最好的数据，对所述倾斜影像进行匀光匀色处理包括：采取分布式不间断处理数据，保证数据以最快的速度处理出来，提高反馈效率，加快项目完成速度。影像预处理原则是使影像的直方图尽可能布满0～255色阶的区间，并接近正态分布，确保真彩影像色调丰富，颜色饱和，彩色平衡良好，彩色还原正常；在光线明暗差距不大的航摄状况时，对同一条航线使用同一调色模板；若明暗差距大，大气透明度不高时，对一幅或几幅影像进行逐个调色，以达到最佳的真实色彩。倾斜摄影相机装备5个不同朝向的相机，倾斜摄影角度为45°。在拍摄曝光的瞬间，五个相机所拍摄的角度不一致，那么就必然会出现光线反差、强度等的不一致，这样就有可能导致出现同一地物影像在不同相机下的色彩、明暗程度出现差异，最终影响到三维真实场景的精度和效果。结合以往倾斜摄影测量数据处理的经验，可在影像质量检查阶段和Mosaic阶段对影像颜色进行调整，改善试验区局部因为天气影响导致的有雾、反差较差等颜色问题，以消除因为雾气、反差等因素的影响。在航空摄影采集的影像数据预处理完成的基础上，将所有影像数据再进行一次匀光匀色处理，使得整个摄区影像色彩进一步统一。为后期的生产节省调色时间，且让整个项目色彩更自然均一。航摄相关数据成果需进行后处理工作，提供经过匀光、匀色、去畸变等处理手段后的高质量航空影像数据，提供相应的数据处理记录及处理报告，满足相关数据生产的标准与规范要求。
请参阅图2，图2为本发明实施例中对第一倾斜影像进行纠正处理技术流程图。
S2 实地选取像控点，获取像控点坐标信息，并对POS数据中的平面坐标和高程值进行转换和精化处理，得到高精度POS数据。
在本发明的实施例中，步骤S2中所述平面坐标采用高斯-克吕格直角平面投影进行坐标转换；所述高程值采用像控点所求的七参数进行转换，或采用似大地水准精化面改算。
S3 根据高精度POS数据，计算第一倾斜影像与其对应垂直影像间的变换矩阵，通过变换矩阵对第一倾斜影像进行纠正处理，得到第二倾斜影像。
在本发明的实施例中，步骤S3中所述纠正处理包括：
S31 通过高精度POS数据中的影像姿态角信息，计算得到第一倾斜影像的第一旋转矩阵；
S32 模拟影像拍摄视角的变换，计算各视角下的第一倾斜影像与其对应垂直影像间的变换矩阵；
S33 通过变换矩阵对第一倾斜影像进行重采样，将不同倾斜视角的倾斜影像变换至垂直视角下，得到第二倾斜影像。
在本发明的实施例中，通过高精度POS数据中的影像姿态角信息（以OPK转角为例），带入下式中，计算旋转矩阵RN：
；
其中，，/>，/>，，/>，，/>，，/>；/>、/>、/>、/>、/>、/>、/>、/>及/>为相机曝光瞬间的9个方向余弦；相机曝光瞬间的各方向余弦与影像姿态角元素/>，ω，k。
根据计算出倾斜影像的第一旋转矩阵/>，同时由/>+/>计算倾斜影像的线元素/>，其中i、N分别表示倾斜影像和垂直影像。
根据投影变换中像点与物点的关系可得：
；
其中为比例系数，/>为相机矩阵，/>，/>t，，其中/>为像点的三维坐标。
令z=0，上式变为：
令，则/>。
则垂直影像像点与物点的相应关系式如下：
；
同理，倾斜视角影像像点与物点相应关系式如下:
；
联合上述关系式得到：
。
上式中，矩阵即为倾斜与垂直影像对应的变换矩阵，通过变换矩阵对倾斜影像中各视角影像进行纠正处理，得到纠正后的倾斜影像。
请参阅图3，图3为本发明实施例生成三维模型的技术流程图。
S4 将第二倾斜影像通过高精度POS数据和像控点坐标信息进行空中三角测量，通过改进的SIFT算法对第二倾斜影像进行特征点提取和匹配，得到有效匹配点对。
在本发明的实施例中，步骤S4具体为：
S41 在SIFT算法基础上，使用高斯金字塔构建第二倾斜影像的尺度空间。
尺度不变特征变换（SIFT）是一种用来侦测与描述影像局部特征，在空间尺度上寻找极值点，并提取其位置、尺度、旋转不变量的算法。
改进的SIFT算法提取特征点主要步骤如下：
构建高斯尺度空间：
为了在不同的尺度空间内找到稳定的特征点，SIFT算法使用不同尺度的高斯差分核来产生高斯差分尺度空间DOG，具体公式如下式所示：
；
高斯卷积核是实现尺度变换的唯一线性核，于是一副二维影像的尺度空间定义为：
；
其中(x,y)是影像像素的空间坐标，I(x,y)代表原始影像的像素值，大小决定影像的平滑程度，G(x,y,/>)是尺度可变高斯函数，k是尺度空间因子，L(x,y,k/>)是对应尺度下的高斯函数。
S42 对构建的尺度空间利用MSERs算法进行极值检测，根据检测结果定位空间中的特征点。
椭圆域特征检测算法（MSERs），该算法类似于分水岭思想，先提取原始影像的灰度影像，一般灰度影像的灰度范围是0到255，然后在此范围内设定阈值，阈值从0依次增加到255，而二维影像上的灰度值即可视作其“高度”，当阈值增高时，影像中灰度低的像素点即被“淹没”，该区域的影像的灰度值变为0，这个过程类似于在一片丘陵地带不停地注入水的过程，即分水岭思想。
MSERs具有仿射不变的稳定性，对于存在仿射变化的影像灰度具有不变性，且该区域的支持集具有相对灰度变化稳定，可用于检测不同精细程度的区域。当使用不同的灰度阈值对影像进行二值化时得到的最稳定的区域，前后相邻阈值影像间的连通区域，最终得到MSEＲs。因此MSERs分为MSERs+与MSERs-。对于从同一场景得到的两幅具有仿射变换的影像来说，提取的放射不变区域在扭曲变形、尺度大小与旋转方向上存在差异。虽然MSERs得到用椭圆形拟合的仿射不变区域，为了方便进行后续处理，要椭圆形拟合并归一化为圆形，同时放大MSERs区域。
具体过程概括如下：
（1）影像灰度化：将输入的数字影像进行灰度化，然后根据Bin-Sort算法，对影像中的每个像素点按照从大到小或者相反的顺序进行排列。
（2）影像像元聚类：在上步的基础上，通过Union-Find将排序的像点进行操作域映射，然后对每个像元映射的位置进行记录，在映射的区域至下而上的进行查找，根据不断变大的阈值对影像像素点进行二值化处理，在处理过程中被合并的像素点区域记作Q，Q表示任意像素点当，满足：I(p)＞I(q)时Q为判定为最大极值区域，反之为最小极值区域，其中/>表示Q的区域边界。
（3）最大稳定极值区域检测：根据上步的到的极值区域如Q1,…,Qi-1,Qi等，当上述区域符合i/>i+1的条件时，可以计算极值区域变化率，上式中/>用于计算极值区域的面积，/>，若计算的上式结果最小时，则可以判定/>这一极值区域是最大值稳定区域。对每一个符合条件的极值区域计算其/>的值，直到将所有符合条件的/>检测到。检测到的区域记作MSERs+;接着以公式/>对输入的原始影像进行灰度反转处理，然后重复上述两步骤，将提取出的极值区域记作MSERs-。
（4）MSERs椭圆区域结果输出：通过上述步骤提取出的MSERs区域是不规则的，为了便于对特征进行描述，通常采用椭圆对仿射不变区域进行拟合，通过椭圆拟合的区域包含椭圆的长、短半轴即a和b、椭圆倾角θ、重心(,/>)。
椭圆拟合的步骤如下：
在待拟区域Q中通过定义其(p+q)阶二维几何矩，其中p,q=0,1,2....：
；
；
；
；
；
其中，表示椭圆在水平方向的坐标计算公式，同理是垂直方向坐标计算公式。
根据MSERs的原理步骤，易知极值区域Q内的像素点灰度值都被归一化为1，所以上述的公式中像素点灰度值I(x,y)都为1。因此可知矩阵的协方差为，通过矩阵/>可以唯一确定某一特征椭圆，椭圆长、短半轴及其方向角可通过下式计算得出：
，/>；
；
其中，、/>为协方差矩阵/>的两个特征值，可按下式求取：
；
；
对提取的不规则极值区域采取上述步骤，即可得到拟合的MSERs椭圆区域，从而检测出区域中所有的特征点，便于后续的特征区域描述。
S43 采用二值化的FREAK描述子对特征点进行特征描述，得到特征向量。
在本发明的实施例中，对步骤S42确定下来的特征点进行编码，采用FREAK描述子对特征点进行特征描述，得到特征向量，具体方法为：
以步骤S42得到的特征点为中心，采样点均匀分布在以特征点为圆心的7层同心圆上。与特征点间隔越小，采样点越密集；与特征点间隔越大，采样点越稀疏。另外对每一个采样点需要进行高斯平滑以消除噪声对采样点的影响。根据采样点对之间的强度大小关系进行编码，得到二进制特征向量，方式如下：
；
其中，表示一对采样点，/>为描述子长度，/>为采样点对的输出结果。
；
其中为经过高斯平滑后的采样点的灰度值强度，r1和r2为不同采样点所在的同心圆半径，每个特征点本身参与比较，最终得到维的特征点描述子。
由于在采样点的选取过程中，采样点之间部分区域会重叠，造成原特征向量的区分性不高，因此需要对原特征向量进行重构，针对信息量更大的维度实行保留，减少特征向量的冗余性。通过以下步骤对虹膜特征向量进行重构，筛选保留高信息量的维度：首先对检测到的特征点建立一个矩阵，矩阵中的每一行表示一个特征点，每一行中的每一列表示的是上面提到的包括该特征点在内的所有采样点对的比较结果，矩阵大小为N×903，N为检测到的特征点的数目。之后计算矩阵中每一列的平均值，为得到区分性强的特征，列向量的方差应该较大，即对应列的平均值应该更接近0.5。最后计算每一列平均值与值0.5的差，根据差值由小到大进行排序取前512列，最终产生了特征向量。
S44 根据余弦相似度对特征向量进行粗匹配，得到初级匹配点对。
在本发明的实施例中，余弦相似度即余弦距离使用两个特征向量夹角的余弦值计算它们的相似度，从而衡量两个个体间差异的大小。相比欧氏距离，它更加注重两个向量在方向上的差异。所以本发明采用余弦相似度对特征点进行粗匹配，假设初级匹配点对的n维特征向量对应分别为A和B；所述A为[A1 ,A2 ,...,An]，所述B为[B1 ,B2 ,...,Bn]；AT表示矩阵A的转置矩阵，所述初级匹配点对的余弦相似度用cosθ表示：
；
通过计算上述匹配点对特征向量之间的余弦值即cosθ的值，当cosθ的值≥0.9，则认为该匹配点对在方向上的相似度也比较高，此时认为是正确的匹配点对，否则为错误的匹配点对，并将其舍弃。
S45 采用RANSAC算法对在初级匹配点对进行误匹配点对剔除，得到有效匹配点对。
在本发明的实施例中，借助随机抽样一致性算法（RANSAC）辅以动态调整最近邻与次近邻的比值来达到剔除误匹配点对的目的。
S5 基于有效匹配点对进行多视角联合平差，得到稀疏点云和校正后的相机参数；将稀疏点云采用多视角密集匹配算法生成稠密点云。
在本发明的实施例中，步骤S5中所述多视角密集匹配算法为基于聚簇和面片模型的多视角密集匹配算法。
在稀疏点云的基础上，采用基于聚簇和面片模型的多视角密集匹配(ClusteringMultiple View Stereo&Patch-based Multi-View Stereo，CMVS+PMVS)算法生成稠密点云，即在稀疏点云的基础上，划分面片并通过面片扩散扩充面片结构，从而获得密集点云。
S6 获取无人机飞行目标区域的激光雷达的激光点云并进行第二预处理。
在本发明的实施例中，步骤S6中所述第二预处理包括去噪和平滑。对激光点云进行去噪和平滑处理，滤去一些较为明显的野值点。
S7 将预处理后的激光点云与稠密点云进行坐标统一性转换，采用改进的ICP算法进行点云配准融合，得到融合点云。
在本发明的实施例中，步骤S7具体为：
S71 对稠密点云和激光点云进行整合，得到整合点云，计算整合点云重心，以重心为中心，计算第二旋转矩阵和平移矩阵，分别进行旋转和平移，得到坐标统一的稠密点云和激光点云。
对稠密点云和激光点云进行整合，得到整合点云，计算整合点云重心，以重心为中心，以此为中心对所有点云进行旋转和平移，旋转角度为每个点云相对于初始点云所旋转的角度。
数据融合的前提要满足激光点云和倾斜影像的稠密数据空间坐标系的一致性。通过下面2个计算公式可以求解出两个点云数据坐标变换所需的旋转参数和平移参数：
；
；
其中(x,y,z)是整合点云中各点云的初始坐标，(X,Y,Z)是坐标变换后点云坐标。α、β、γ为旋转参数，Δx、Δy、Δz为平移参数。通过手动选取同名特征点的三维空间坐标值可以计算第二旋转矩阵和平移矩阵，即可得到α、β、γ和Δx、Δy、Δz6个参数。
S72 分别对坐标统一的稠密点云和激光点云进行特征提取，计算各点云的法向量和伞曲率特征，得到点云特征；
首先采用最小二乘法通过平面拟合估计求得各点云数据的法向量；然后计算各点云数据伞曲率：设P0为中心点，n是P0点的法向量，Ni(i＝1,2，…，8)为P0的邻域点，则中心点P0的曲率为：
；
其中，ABS表示取绝对值，为邻域点/>的法向量。
可以想象伞可以处于三种状态，完全打开、打开和闭合。当伞闭合时，通过中心点和8个邻域点计算出的向量积的综合，即伞投影面积最大，接近8；当伞逐渐打开数值逐渐变小，直至完全打开投影面积接近零，伞曲率也接近于0。
S73 将具有相同点云特征的稠密点云和激光点云，基于双向KD树的ICP算法进行匹配融合，得到融合点云。
在点云融合过程中采用基于双向KD树的ICP算法，将点云法向量、曲率考虑在内，在计算目标误差时，当点对均是特征点，那么对其设置较大权重，利用这种方法选取比较准确的点对进行点云的融合，本发明用改进的ICP算法用于基于影像的点云的精确配准。对稠密点云和激光点云进行融合时，为了充分利用数据点和其邻域点的互相关系，对点云数据进行高效的处理，同时为点云配准提供准确的特征匹配点，采用KD树空间搜索法。
KD树算法是一种二叉树搜索拓展到三维空间的多维搜索树结构形式，KD树构建算法采用逐级递归的方式，基于最大方差确定分裂维，以分裂维所在结点作为根节点，将数据结构划分为左右两个空间，然后采用递归方式对左右两个空间继续划分直至每一个子集内不再包含点云为止，通过此方法大大提升了点云精确配准的效率，从而进一步提升了三维重建的效率。
在本发明的实施例中，采用基于双向KD树的ICP算法实现点云的精确配准，采用双向KD树法搜索云数据邻近域点，进行匹配融合步骤如下：
S731 对稠密点云点云R和激光点云S，用KD树方法在点云S中找到P的匹配点，组成第一初始对应点集(r,s)，其中r对应点云R中的点，s对应点云S中的点。
S732在点云S中找出其在点云R中的匹配点，组成第二初始对应点集(r’,s’),其中r’对应点云P中的点，s’对应点云S中的点。
S733对第一初始对应点集(r,s)和第二初始对应点集(r’,s’)取交集，得到两组点云的有效特征点，以有效特征点作为点云匹配的最终对应点集开始迭代，获取最终的稠密点云和激光点云的匹配关系，利用匹配关系将其融合，得到融合点云。
初始对应点集中取交集就认为是两组点云准确的对应关系，利用这个关系对两组点云的整体位置和角度进行调整，最后变成一组点云。融合的结果就是两组点云变成一组点云，最后多个角度的点云融合成一个，点的数量相当于多了几倍。
双向KD树法能够有效提取点云特征，提高点云配准精度，利用双向KD树的ICP算法进行循环迭代，把点云法向量、曲率考虑在内，在计算目标误差时，当点对均是特征点，那么对其设置较大权重，利用这种方法选取比较准确的点对进行点云的融合，获取最终的稠密点云和激光点云的匹配关系。
S8在融合点云基础上构建三角网，同时对三角网进行平滑和简化，并基于倾斜摄影影像自动映射纹理，生成三维模型。
不规则三角网构建的流程为：通过“地形转不规则三角网”的地理处理工具将地形数据集转换为不规则三角网。纹理映射处理是通过将纹理空间中的纹理像素映射到屏幕空间；先对纹理对象进行定义，然后使用glBlind Texture函数选择纹理对象并在绘制三维实景时加载相应的纹理，最后在输出结果前使用glBlind Texture函数删除纹理对象。
本发明采用维激光雷达技术辅助倾斜摄影测量去修补盲区缺失的点云，使两者充分发挥各自的优点和特性，既保证了生产效率，又保证了倾斜摄影被遮挡区域点云的完整性，最终提高模型的精细度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，包括以下步骤：
S1 获取倾斜影像并进行第一预处理，得到第一倾斜影像及影像数据，所述影像数据包括POS数据；所述POS数据包括影像姿态角信息；
S2 实地选取像控点，获取像控点坐标信息，并对POS数据中的平面坐标和高程值进行转换和精化处理，得到高精度POS数据；
S3 根据高精度POS数据，计算第一倾斜影像与其对应垂直影像间的变换矩阵，通过变换矩阵对第一倾斜影像进行纠正处理，得到第二倾斜影像；
S4 将第二倾斜影像通过高精度POS数据和像控点坐标信息进行空中三角测量，通过改进的SIFT算法对第二倾斜影像进行特征点提取和匹配，得到有效匹配点对；
S5 基于有效匹配点对进行多视角联合平差，得到稀疏点云，将稀疏点云采用多视角密集匹配算法生成稠密点云；
S6 获取激光雷达的激光点云并进行第二预处理；
S7 将预处理后的激光点云与稠密点云进行坐标统一性转换，采用改进的ICP算法进行点云配准融合，得到融合点云；
S8 在融合点云基础上构建三角网，同时对三角网进行平滑和简化，并基于倾斜摄影影像自动映射纹理，生成三维模型。
2.根据权利要求1所述的一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，步骤S3中所述纠正处理包括：
S31 通过高精度POS数据中的影像姿态角信息，计算得到第一倾斜影像的第一旋转矩阵；
S32 模拟影像拍摄视角的变换，计算各视角下的第一倾斜影像与其对应垂直影像间的变换矩阵；
S33 通过变换矩阵对第一倾斜影像进行重采样，将不同倾斜视角的倾斜影像变换至垂直视角下，得到第二倾斜影像。
3.根据权利要求1所述的一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，步骤S4进一步包括：
S41 在SIFT算法基础上，使用高斯金字塔构建第二倾斜影像的尺度空间；
S42 对构建的尺度空间利用MSERs算法进行极值检测，根据检测结果定位空间中的特征点；
S43 采用二值化的FREAK描述子对特征点进行特征描述，得到特征向量；
S44 根据余弦相似度对特征向量进行粗匹配，得到初级匹配点对；
S45 采用RANSAC算法对在初级匹配点对进行误匹配点对剔除，得到有效匹配点对。
4.根据权利要求1所述的一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，步骤S7进一步包括：
S71 对稠密点云和激光点云进行整合，得到整合点云，计算整合点云重心，以重心为中心，计算第二旋转矩阵和平移矩阵，分别进行旋转和平移，得到坐标统一的稠密点云和激光点云；
S72 分别对坐标统一的稠密点云和激光点云进行特征提取，计算各点云的法向量和伞曲率特征，得到点云特征；
S73 将具有相同点云特征的稠密点云和激光点云，基于双向KD树的ICP算法进行匹配融合。
5.根据权利要求1所述的一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，步骤S5中所述多视角密集匹配算法为基于聚簇和面片模型的多视角密集匹配算法。
6.根据权利要求1所述的一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，步骤S1中所述第一预处理包括匀光匀色和去畸变。
7.根据权利要求1所述的一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，步骤S2中所述平面坐标采用高斯-克吕格直角平面投影进行坐标转换；所述高程值采用像控点所求的七参数进行转换，或采用似大地水准精化面改算。
8.根据权利要求1所述的一种融合激光雷达、倾斜摄影的三维重建方法，其特征在于，步骤S6中所述第二预处理包括去噪和平滑。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311014226.2A CN116740288B (zh) | 2023-08-14 | 2023-08-14 | 一种融合激光雷达、倾斜摄影的三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311014226.2A CN116740288B (zh) | 2023-08-14 | 2023-08-14 | 一种融合激光雷达、倾斜摄影的三维重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116740288A true CN116740288A (zh) | 2023-09-12 |
| CN116740288B CN116740288B (zh) | 2023-10-20 |
Family
ID=87918941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311014226.2A Active CN116740288B (zh) | 2023-08-14 | 2023-08-14 | 一种融合激光雷达、倾斜摄影的三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740288B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117128861A (zh) * | 2023-10-23 | 2023-11-28 | 常州市建筑材料研究所有限公司 | 一种去测站化三维激光扫描桥梁监测系统及监测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 |
| CN113128405A (zh) * | 2021-04-20 | 2021-07-16 | 北京航空航天大学 | 一种结合语义分割与点云处理的植物识别与模型构建方法 |
| CN114332348A (zh) * | 2021-11-16 | 2022-04-12 | 西南交通大学 | 一种融合激光雷达与图像数据的轨道三维重建方法 |
| KR20230036651A (ko) * | 2021-09-08 | 2023-03-15 | 충북대학교 산학협력단 | 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법 |
| CN115937288A (zh) * | 2022-10-12 | 2023-04-07 | 国网四川省电力公司电力科学研究院 | 一种变电站三维场景模型构建方法 |
-
2023
- 2023-08-14 CN CN202311014226.2A patent/CN116740288B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和系统 |
| CN113128405A (zh) * | 2021-04-20 | 2021-07-16 | 北京航空航天大学 | 一种结合语义分割与点云处理的植物识别与模型构建方法 |
| KR20230036651A (ko) * | 2021-09-08 | 2023-03-15 | 충북대학교 산학협력단 | 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법 |
| CN114332348A (zh) * | 2021-11-16 | 2022-04-12 | 西南交通大学 | 一种融合激光雷达与图像数据的轨道三维重建方法 |
| CN115937288A (zh) * | 2022-10-12 | 2023-04-07 | 国网四川省电力公司电力科学研究院 | 一种变电站三维场景模型构建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 任镤: "FR-ICP算法在倾斜摄影测量点云配准中的应用", 《航天返回与遥感》, vol. 44, no. 1, pages 13 - 22 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117128861A (zh) * | 2023-10-23 | 2023-11-28 | 常州市建筑材料研究所有限公司 | 一种去测站化三维激光扫描桥梁监测系统及监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116740288B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN111629193B (zh) | 一种实景三维重建方法及系统 | |
| CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
| CN106373088B (zh) | 大倾斜低重叠率航空图像的快速拼接方法 | |
| CN103822616B (zh) | 一种图分割与地形起伏约束相结合的遥感影像匹配方法 | |
| CN108765298A (zh) | 基于三维重建的无人机图像拼接方法和系统 | |
| CN104156536B (zh) | 一种盾构机刀具磨损的可视化定量标定及分析方法 | |
| Pepe et al. | Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures | |
| CN107492069B (zh) | 基于多镜头传感器的图像融合方法 | |
| CN112288875A (zh) | 一种面向无人机矿山巡检场景的快速三维重建方法 | |
| CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
| CN109903227A (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| CN107192350A (zh) | 一种三维激光扫描仪内参数标定方法及装置 | |
| CN110110621A (zh) | 基于多特征整合深度学习模型的倾斜摄影点云分类方法 | |
| CN116740288B (zh) | 一种融合激光雷达、倾斜摄影的三维重建方法 | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN104751451B (zh) | 基于无人机低空高分辨率影像的密集点云提取方法 | |
| Wang et al. | Unmanned aerial vehicle and structure‐from‐motion photogrammetry for three‐dimensional documentation and digital rubbing of the Zuo River Valley rock paintings | |
| CN113096047B (zh) | 广义云驱动与辐射协同遥感影像几何精校正方法及系统 | |
| CN107610216B (zh) | 基于粒子群优化多视角立体点云生成方法及应用的摄像机 | |
| CN116994012A (zh) | 一种基于生态修复的图斑匹配系统及匹配方法 | |
| CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
| CN113284249B (zh) | 一种基于图神经网络的多视角三维人体重建方法及系统 | |
| CN114913297A (zh) | 一种基于mvs稠密点云的场景正射影像生成方法 | |
| Zhang et al. | Tests and performance evaluation of DMC images and new methods for their processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |