CN113240755B - 基于街景图像与车载激光融合的城市场景构图方法及系统 - Google Patents

基于街景图像与车载激光融合的城市场景构图方法及系统 Download PDF

Info

Publication number
CN113240755B
CN113240755B CN202110781760.0A CN202110781760A CN113240755B CN 113240755 B CN113240755 B CN 113240755B CN 202110781760 A CN202110781760 A CN 202110781760A CN 113240755 B CN113240755 B CN 113240755B
Authority
CN
China
Prior art keywords
laser
image
point cloud
street view
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110781760.0A
Other languages
English (en)
Other versions
CN113240755A (zh
Inventor
高翔
陶冬冬
解则晓
于筱萱
王皓月
胡晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202110781760.0A priority Critical patent/CN113240755B/zh
Publication of CN113240755A publication Critical patent/CN113240755A/zh
Application granted granted Critical
Publication of CN113240755B publication Critical patent/CN113240755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明属于场景构图领域，具体涉及了一种基于街景图像与车载激光融合的城市场景构图方法及系统，旨在解决现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建的问题。本发明包括：分别标定街景相机的内外参数初始值，激光雷达的外参数初始值；基于待构图场景图像构建基于图像特征的优化方程，基于激光点云构建基于点云特征的优化方程，基于每一幅待构图场景图像及对应的各站激光点云构建基于图像与激光对应的优化方程；将优化方程融入统一的全局优化框架，对待优化参数求解并迭代，获得待构图场景的三维构图。本发明实现了大规模城市场景高效、鲁棒、精确的三维构图，为融合多源数据的场景建模提供了思路。

Description

基于街景图像与车载激光融合的城市场景构图方法及系统
技术领域
本发明属于场景构图领域，具体涉及了一种基于街景图像与车载激光融合的城市场景构图方法及系统。
背景技术
城市场景的高精度三维地图在无人驾驶、智慧城市等领域有着广泛的应用与迫切的需求。由于城市场景具有规模大、动态高、结构多样等特点，其高精度三维地图的构建一直以来都是一个研究难点与关键问题。
现有方法大多采用视角更大、视场更广的航拍图像进行三维构图，尽管可以实现城市场景的高效、完整建模，但构建的三维地图缺乏细节，无法应用于无人驾驶、智慧城市等领域。针对城市场景的大规模问题，现有方法多采用从运动恢复结构（SfM，Structurefrom Motion）与多视图立体（MVS，Multiple View Stereo）技术进行稀疏与稠密重建。在重建过程中通过图像检索、分组或者并行化处理技术实现海量图像的高效重建。另外，在基于图像的城市场景三维构图中，有时还会引入其他辅助信息，如相机运动轨迹、相对位姿约束或者全球定位系统（GPS，Global Positioning System）、惯性测量单元（IMU，InertialMeasurement Unit）信息等，以获取更为精确的相机位姿估计结果。然而，现有的基于图像的城市场景构图方法依赖于图像局部纹理特征，易受外界环境干扰，在对动态程度高的城市场景进行构图时会存在精度低、鲁棒性差的不足，甚至出现场景漂移的现象。
基于激光的城市场景三维构图方法中也存在一些利用扫描范围更广的机载激光雷达（LiDAR，Light Detection And Ranging）数据进行城市场景构图的方法。但是与基于航拍图像的方法类似，这类方法构建的地图也存在建筑物立面细节缺乏的问题。而基于车载激光点云的城市场景构图方法主要采用LiDAR同时定位与构图（SLAM，SimultaneousLocalization And Mapping）技术。这类方法采用基于2D LiDAR或者3D LiDAR的方式，有时还会引入如GPS或IMU等辅助信息，实现高效的定位与构图。这类方法的优势在于效率较高，但是构建的地图存在场景稀疏、信息缺失等不足。另外，为获取城市场景更为稠密的激光点云，也可以通过激光扫描仪获取的海量激光点云构建城市场景三维地图。然而，由于大型激光扫描仪的扫描范围受限以及数据采集不便，这类方法难以实现场景的完整覆盖。针对上述问题，存在一些由激光点云获取完整场景模型的方法。其中一些方法利用自相似结构或者简单块体建筑，从不完整的激光扫描结果重建完整的建筑或立面场景；另外一些方法基于曼哈顿世界假设，通过激光点云构建规整的城市场景地图。尽管上述方法有时可以取得较好的重建结果，这些方法或者依赖于用户交互，或者基于较强假设，使其拓展性较差。因此，现有的基于激光的城市场景构图方法难以兼顾场景细节的完整度与场景规模的拓展性。
由于图像与激光数据差异过大、融合困难，基于两种数据融合的场景三维构图方法并不常见。其中一类主要方法是基于SLAM的方法。这类方法通过在图像与激光数据中提取并融合特征，然后引入SLAM框架之中，使其兼具视觉SLAM与激光SLAM的优势。有时，为提高系统的鲁棒性，还会进一步将IMU信息引入其中。尽管这类方法相对于基于单一（图像或激光）数据的SLAM系统在性能上有一定提升，然而由于SLAM框架的在线特征匹配与位姿优化机制，使得这类方法无法充分利用全局信息，在面向大规模场景时仍然会出现场景漂移现象。并且，这类方法更倾向于精确、高效的定位，而不注重完整、鲁棒的构图，因此其构建的三维地图应用场景较为受限。除此之外，还有一些专注三维重建的图像与激光融合方法。然而，这类方法均基于底层局部特征，且面向的对象主要是单体建筑或者小规模建筑群，在面向高动态、大规模城市场景进行构图时存在鲁棒性、拓展性较差的问题。因此，现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建。
发明内容
为了解决现有技术中的上述问题，即现有的基于图像与激光融合的构图方法难以实现高效、鲁棒、精确的大规模城市场景三维地图构建的问题，本发明提供了一种基于街景图像与车载激光融合的城市场景构图方法，该城市场景构图方法包括：
步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街 景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数 初始值；所述街景相机，其内参数包括焦距
Figure 100002_DEST_PATH_IMAGE001
、
Figure 836888DEST_PATH_IMAGE002
以及主点
Figure 100002_DEST_PATH_IMAGE003
、
Figure 654585DEST_PATH_IMAGE004
，其外参数包括旋转矩阵
Figure 100002_DEST_PATH_IMAGE005
以 及平移矩阵
Figure 307283DEST_PATH_IMAGE006
；所述激光雷达，其外参数包括旋转矩阵
Figure 100002_DEST_PATH_IMAGE007
以及平移矩阵
Figure 614768DEST_PATH_IMAGE008
；
步骤S20，提取街景相机获取的待构图场景图像的SIFT（Scale InvariantFeature Transform，尺度不变特征变换）特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；
步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；
基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；
采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；
步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30；
步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。
在一些优选的实施例中，所述激光点云的特征包括激光点云的平面特征和边缘特征，其获取方法为：
步骤S21，分别将所述激光点云中各站激光点云由直角坐标系
Figure 100002_DEST_PATH_IMAGE009
转换为球坐标 系
Figure 177467DEST_PATH_IMAGE010
；
步骤S22，将转换后的激光点云投影至
Figure 100002_DEST_PATH_IMAGE011
平面，并保存激光点云中各点的深度信 息
Figure 240101DEST_PATH_IMAGE012
；
步骤S23，根据激光点云在
Figure 255462DEST_PATH_IMAGE011
平面分布情况与深度信息
Figure 225692DEST_PATH_IMAGE012
，通过LeGO-LOAM法将激 光点云中各点分割为地面点与非地面点；
步骤S24，采用广度优先搜索法对所述非地面点按照
Figure 970794DEST_PATH_IMAGE011
平面分辨率和每个非地 面点的深度信息进行聚类，获得激光点云分割与聚类结果；
步骤S25，根据距离信息计算激光点云分割与聚类结果中每个点在
Figure 345275DEST_PATH_IMAGE011
平面上相 对于周围点的平滑度，并根据平滑度分别进行地面点与非地面点的特征提取，获得激光点 云的平面特征和边缘特征。
在一些优选的实施例中，所述边缘特征匹配，其方法为：
对于当前激光站对应的边缘点子集
Figure 100002_DEST_PATH_IMAGE013
中的一个激光点
Figure 972565DEST_PATH_IMAGE014
，在其各候选匹配激光站中 的激光站对应的边缘点集
Figure 100002_DEST_PATH_IMAGE015
中，采用最近邻搜索法获取与激光点
Figure 621852DEST_PATH_IMAGE014
在
Figure 487040DEST_PATH_IMAGE011
平面上同一行上 的最近邻点
Figure 298001DEST_PATH_IMAGE016
，并且在
Figure 412588DEST_PATH_IMAGE011
平面上下两行上获取次近邻点
Figure 100002_DEST_PATH_IMAGE017
，实现点云的边缘特征匹配。
在一些优选的实施例中，所述平面特征匹配，其方法为：
对于当前激光站对应的平面点子集
Figure 68828DEST_PATH_IMAGE018
中的一个激光点
Figure 788522DEST_PATH_IMAGE014
，在其各候选匹配激光站中 的激光站对应的平面点集
Figure 100002_DEST_PATH_IMAGE019
中，采用最近邻搜索法获取激光点
Figure 301543DEST_PATH_IMAGE014
在
Figure 903426DEST_PATH_IMAGE011
平面上同一行上的 最近邻点
Figure 691253DEST_PATH_IMAGE016
，并且在
Figure 203137DEST_PATH_IMAGE011
平面上同一行或者上下两行上获取次近邻点
Figure 418218DEST_PATH_IMAGE017
，以及在
Figure 241818DEST_PATH_IMAGE011
平面上 下两行上获取第三邻近点
Figure 771019DEST_PATH_IMAGE020
，实现点云的平面特征匹配。
在一些优选的实施例中，所述基于图像特征的优化方程，其构建方法为：
步骤S311，根据所述街景相机的内参数初始值和外参数初始值，采用基于随机抽样一致性的三角测量法计算各特征轨迹对应场景点的三维坐标初值；
步骤S312，利用所述街景相机的内参数初始值和外参数初始值将所述各特征轨迹对应场景点的三维坐标初值进行重投影；
步骤S313，以重投影点与对应的图像SIFT特征点的像素距离为优化目标，以特征轨迹对应的场景点三维坐标以及各幅街景图像对应的街景相机的内参数和外参数为待优化参数，构建基于图像特征的优化方程。
在一些优选的实施例中，步骤S20中获得待构图场景图像的特征轨迹之后还设置有特征轨迹滤除步骤，其方法为：
将基于随机抽样一致性的三角测量法获取的处于设定阈值范围内的数据子集划分为内值；
将内值可见图像数量小于3幅或者场景点与各内值可见相机光心连线夹角最大值小于2°的特征轨迹滤除。
在一些优选的实施例中，所述基于点云特征的优化方程，其构建方法为：
步骤S321，基于所述激光雷达的外参数初始值，将所述平面特征和边缘特征转换为世界坐标系，并通过KNN（K Nearest Neighbor，K最近邻）法分别获取各站激光点云位于世界坐标系下的最近的设定第一数量的激光雷达站点，进行各站激光点云的边缘特征匹配与平面特征匹配；
步骤S322，对于边缘特征匹配，以激光点
Figure 199726DEST_PATH_IMAGE014
到近邻点
Figure 648025DEST_PATH_IMAGE016
和次近邻点
Figure 99866DEST_PATH_IMAGE017
形成的直线
Figure 100002_DEST_PATH_IMAGE021
的 距离为优化目标，对于平面特征匹配，以激光点
Figure 26234DEST_PATH_IMAGE022
到近邻点
Figure 309448DEST_PATH_IMAGE016
、次近邻点
Figure 804014DEST_PATH_IMAGE017
和第三近邻点
Figure 867785DEST_PATH_IMAGE020
形成 的平面
Figure 100002_DEST_PATH_IMAGE023
的距离为优化目标，以各站的激光雷达的外参数为待优化参数，构建基于点云特 征的优化方程。
在一些优选的实施例中，所述基于图像与激光对应的优化方程，其构建方法为：
步骤S331，基于所述街景相机与激光雷达的外参数初始值，通过KNN法分别获取与各街景相机光心最近的设定第二数量的激光雷达站点；
步骤S332，分别将每一个街景相机对应的所述设定第二数量的激光雷达站点的激光点云投影至街景相机采集的待构图场景图像上，获得二维投影点集；
步骤S333，通过二维三角化法分别基于所述二维投影点集构建位于对应的街景相机成像平面上的平面三角形集合；
步骤S334，基于所述平面三角形集合，结合图像特征轨迹与激光点云数据对应关系，构建基于图像与激光对应的优化方程。
在一些优选的实施例中，所述图像特征轨迹与激光点云数据对应关系为：
对于特征轨迹对应场景点的三维坐标初值的点
Figure 207631DEST_PATH_IMAGE024
，记
Figure 407668DEST_PATH_IMAGE024
对应的街景相机的光心位 置为
Figure 100002_DEST_PATH_IMAGE025
，则激光点云在
Figure 73135DEST_PATH_IMAGE024
对应的街景相机上的一个投影三角形为
Figure 93044DEST_PATH_IMAGE026
，
Figure 830056DEST_PATH_IMAGE024
在
Figure 25545DEST_PATH_IMAGE026
上的对应特征 点为
Figure 720969DEST_PATH_IMAGE022
，
Figure 100002_DEST_PATH_IMAGE027
、
Figure 369119DEST_PATH_IMAGE028
、
Figure 100002_DEST_PATH_IMAGE029
分别为
Figure 175401DEST_PATH_IMAGE026
三个顶点
Figure 225396DEST_PATH_IMAGE030
、
Figure 100002_DEST_PATH_IMAGE031
、
Figure 357300DEST_PATH_IMAGE032
对应的空间激光点，获得图像特征轨迹与激光点云 数据对应关系。
本发明的另一方面，提出了一种基于街景图像与车载激光融合的城市场景构图系统，该城市场景构图系统包括以下模块：
参数标定模块，配置为通过街景相机、激光雷达以及全球导航卫星系统的外参数 预标定获取街景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景 相机的内参数初始值；所述街景相机，其内参数包括焦距
Figure 555064DEST_PATH_IMAGE001
、
Figure 571561DEST_PATH_IMAGE002
以及主点
Figure 600697DEST_PATH_IMAGE003
、
Figure 841185DEST_PATH_IMAGE004
，其外参数包括 旋转矩阵
Figure 729507DEST_PATH_IMAGE005
以及平移矩阵
Figure 346433DEST_PATH_IMAGE006
；所述激光雷达，其外参数包括旋转矩阵
Figure 230076DEST_PATH_IMAGE007
以及平移矩阵
Figure 579148DEST_PATH_IMAGE008
；
图像特征轨迹获取模块，配置为提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；
点云特征提取与匹配模块，配置为对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；
图像特征优化模块，配置为对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；
点云特征优化模块，配置为基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；
图像与点云对应优化模块，配置为采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；
全局优化模块，配置为将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转所述图像特征优化模块；
迭代模块，配置为迭代通过所述图像特征优化模块、点云特征优化模块、图像与点云对应优化模块以及全局优化模块进行待优化参数求解，直至达到预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。
本发明的有益效果：
（1）本发明基于街景图像与车载激光融合的城市场景构图方法，针对现有方法大多分别基于街景图像或车载激光雷达点云进行城市场景三维构图，但在效率、鲁棒性、精度等方面存在局限性的问题，提出了一种融合街景图像与车载激光的城市场景构图方法，结合了街景图像信息丰富、空间连续与激光点云精度高、噪声低的优势，将街景图像约束关系，激光点云约束关系以及图像与点云联合约束关系融入统一的全局优化框架之中，以实现大规模城市场景高效、鲁棒、精确的三维构图，可为融合多源数据进行场景建模的探索提供借鉴思路，有着重要的理论研究价值以及广阔的市场应用前景。
（2）本发明基于街景图像与车载激光融合的城市场景构图方法，由于在每次迭代优化后传感器外参数会发生改变，因此，每次迭代优化后在保持图像特征匹配关系不变的前提下，根据调整后的传感器外参数重新获取图像特征与激光数据对应关系，再进行迭代优化，迭代优化过程共进行4次，从而兼顾了场景三维构图的精度和效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于街景图像与车载激光融合的城市场景构图方法的流程示意图；
图2是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的直角坐标系转换球坐标系示意图；
图3是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云边缘特征提取结果；
图4是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云平面特征提取结果；
图5是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云分割与聚类结果；
图6是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云边缘特征匹配示意图；
图7是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云平面特征匹配示意图；
图8是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点投影与三角化示意图；
图9是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的图像特征轨迹与激光数据对应关系示意图；
图10是本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云投影与街景图像场景重合效果示例；
图11（a）-图11（c）是本发明基于街景图像与车载激光融合的城市场景构图方法一 种实施例的
Figure DEST_PATH_IMAGE033
时对应的
Figure 548241DEST_PATH_IMAGE034
曲线，
Figure DEST_PATH_IMAGE035
为基于体素的降采样中的体素尺寸。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于街景图像与车载激光融合的城市场景构图方法，实现了面向大规模城市场景的，基于多源数据融合的三维地图构建，其输入为由街景相机拍摄的街景图像，由车载激光雷达获取的激光点云，由全球导航卫星系统（GNSS，Global NavigationSatellite System）以及传感器（GNSS、街景相机、激光雷达）外参数预先标定获取的街景相机和激光雷达外参初值以及街景相机内参数预先标定获取的内参初值；输出为全局优化后的相机内外参数，激光雷达外参数，以及对应的图像点云和激光点云。整体方法分为三部分：第一部分是建立街景图像约束关系，通过图像特征提取与匹配，特征轨迹连接与三角测量，建立基于图像特征的优化方程；第二部分是建立激光点云约束关系，通过激光点云分割与聚类，点云特征提取与匹配，建立基于点云特征的优化方程；第三部分是建立图像与点云联合约束关系，通过激光点云投影与三角化，图像特征与激光数据对应，建立基于图像与激光对应的优化方程。最后，将上述三部分优化方程融入统一的全局优化框架之中，对待优化参数进行求解，进而实现城市场景的三维构图。
本发明的一种基于街景图像与车载激光融合的城市场景构图方法，该城市场景构图方法包括：
步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街 景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数 初始值；所述街景相机，其内参数包括焦距
Figure 640962DEST_PATH_IMAGE001
、
Figure 379111DEST_PATH_IMAGE002
以及主点
Figure 226982DEST_PATH_IMAGE003
、
Figure 824316DEST_PATH_IMAGE004
，其外参数包括旋转矩阵
Figure 783045DEST_PATH_IMAGE005
以 及平移矩阵
Figure 906859DEST_PATH_IMAGE006
；所述激光雷达，其外参数包括旋转矩阵
Figure 597734DEST_PATH_IMAGE007
以及平移矩阵
Figure 479102DEST_PATH_IMAGE008
；
步骤S20，提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；
步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；
基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；
采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；
步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30；
步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。
为了更清晰地对本发明基于街景图像与车载激光融合的城市场景构图方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于街景图像与车载激光融合的城市场景构图方法，包括步骤S10-步骤S50，各步骤详细描述如下：
步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街 景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数 初始值。所述街景相机，其内参数包括焦距
Figure 303839DEST_PATH_IMAGE001
、
Figure 219842DEST_PATH_IMAGE002
以及主点
Figure 81619DEST_PATH_IMAGE003
、
Figure 778180DEST_PATH_IMAGE004
，其外参数包括旋转矩阵
Figure 78711DEST_PATH_IMAGE005
以 及平移矩阵
Figure 786904DEST_PATH_IMAGE006
；所述激光雷达，其外参数包括旋转矩阵
Figure 147478DEST_PATH_IMAGE007
以及平移矩阵
Figure 65756DEST_PATH_IMAGE008
。
对于街景相机，将世界坐标系下点
Figure 842082DEST_PATH_IMAGE036
的世界坐标记作
Figure DEST_PATH_IMAGE037
，其中，
Figure 529415DEST_PATH_IMAGE038
分 别为点
Figure 60891DEST_PATH_IMAGE036
在世界坐标系下的
Figure DEST_PATH_IMAGE039
轴坐标值，则点
Figure 872989DEST_PATH_IMAGE036
在相机坐标系下对应的点
Figure 515323DEST_PATH_IMAGE040
的相机坐标记 作
Figure DEST_PATH_IMAGE041
，其中，
Figure 932529DEST_PATH_IMAGE042
分别代表点
Figure 697222DEST_PATH_IMAGE040
在相机坐标系下的
Figure 199879DEST_PATH_IMAGE039
轴坐标值，
Figure DEST_PATH_IMAGE043
代表转置，从而 点
Figure 442641DEST_PATH_IMAGE036
与点
Figure 307829DEST_PATH_IMAGE040
的关系如式（1）所示：
Figure DEST_PATH_IMAGE045
将点
Figure 649949DEST_PATH_IMAGE036
在图像坐标系下对应的像素点记为
Figure 702219DEST_PATH_IMAGE046
，则像素点
Figure 889617DEST_PATH_IMAGE046
的图像像素坐标记作
Figure DEST_PATH_IMAGE047
，从而像素点
Figure 406049DEST_PATH_IMAGE046
与点
Figure 450229DEST_PATH_IMAGE040
的关系如式（2）所示：
Figure DEST_PATH_IMAGE049
对于激光雷达，将世界坐标系下点
Figure 282855DEST_PATH_IMAGE050
的世界坐标记作
Figure DEST_PATH_IMAGE051
，其中，
Figure 742786DEST_PATH_IMAGE052
分别为点
Figure 113725DEST_PATH_IMAGE050
在世界坐标系下的
Figure 328805DEST_PATH_IMAGE039
轴坐标值，则点
Figure 558930DEST_PATH_IMAGE050
在激光雷达坐标系下对应的点
Figure DEST_PATH_IMAGE053
的激光雷达坐标记作
Figure 681606DEST_PATH_IMAGE054
，其中，
Figure DEST_PATH_IMAGE055
分别代表点
Figure 782417DEST_PATH_IMAGE053
在激光雷达坐标系下的
Figure 230716DEST_PATH_IMAGE039
轴坐 标值，
Figure 744874DEST_PATH_IMAGE043
代表转置，从而点
Figure 546608DEST_PATH_IMAGE050
与点
Figure 157718DEST_PATH_IMAGE053
的关系如式（3）所示：
Figure DEST_PATH_IMAGE057
通过上述标定过程，获得街景相机和激光雷达的外参数初始值以及街景相机的内参数初始值。
步骤S20，提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹。
首先对采集的各幅街景图像提取尺度不变特征变换（SIFT，Scale InvariantFeature Transform）特征，然后根据相机内外参数初值获取图像候选匹配对并进行SIFT特征匹配，得到街景图像匹配结果。
通过并查集法将所述待构图场景图像的特征匹配结果中的两两图像对之间特征匹配关系连接为跨多幅视图的特征轨迹。
获得待构图场景图像的特征轨迹之后还设置有特征轨迹滤除步骤，其方法为：
将基于随机抽样一致性的三角测量法获取的处于设定阈值范围内的数据子集划分为内值；
将内值可见图像数量小于3幅或者场景点与各内值可见相机光心连线夹角最大值小于2°的特征轨迹滤除，可保证特征轨迹三角测量结果的可靠性。
此处的设定阈值为4像素，即[0,4]范围内的数据为内值，（4,∞]范围内的数据为外值。
对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征。
激光点云的特征包括激光点云的平面特征和边缘特征，其获取方法为：
步骤S21，如图2所示，为本发明基于街景图像与车载激光融合的城市场景构图方 法一种实施例的直角坐标系转换球坐标系示意图，分别将所述激光点云中各站激光点云由 直角坐标系
Figure 386705DEST_PATH_IMAGE009
转换为球坐标系
Figure 184897DEST_PATH_IMAGE010
；
步骤S22，将转换后的激光点云投影至
Figure 118218DEST_PATH_IMAGE011
平面，并保存激光点云中各点的深度信 息
Figure 193621DEST_PATH_IMAGE012
；
步骤S23，根据激光点云在
Figure 983723DEST_PATH_IMAGE011
平面分布情况与深度信息
Figure 472473DEST_PATH_IMAGE012
，通过LeGO-LOAM法将激 光点云中各点分割为地面点与非地面点；
步骤S24，采用广度优先搜索法对所述非地面点按照
Figure 881589DEST_PATH_IMAGE011
平面分辨率和每个非地 面点的深度信息进行聚类，获得激光点云分割与聚类结果；
步骤S25，根据距离信息计算激光点云分割与聚类结果中每个点在
Figure 201712DEST_PATH_IMAGE011
平面上相 对于周围点的平滑度，并根据平滑度分别进行地面点与非地面点的特征提取，获得激光点 云的平面特征和边缘特征。
步骤S25之前还设有离散激光点过滤步骤，其方法为：
分别获取聚类后各类中激光点的数量，并将激光点数量小于30个的类剔除。
根据距离信息计算每个点在
Figure 100397DEST_PATH_IMAGE011
平面上相对于周围点的平滑度，并将可能存在遮 挡的点去除。然后根据平滑度进行特征提取以获得独特的平面和边缘特征。激光雷达每条 线扫描360°，将每一条线都均为6个部分，每个部分点按照平滑度进行排序。然后在每个部 分的非地面点中提取平滑度值最大的20个边缘点，所有点合在一起组成边缘点集
Figure 748548DEST_PATH_IMAGE015
，并且 在
Figure 85988DEST_PATH_IMAGE015
中提取平滑度值最大的2个边缘点，所有点合在一起组成边缘点子集
Figure 198301DEST_PATH_IMAGE013
。同时在每个部 分的地面点中提取平滑度值最小的4个平面点，所有点合在一起组成平面点子集
Figure 471150DEST_PATH_IMAGE018
，并且将 所有平面点进行降采样后视为平面点集
Figure 668913DEST_PATH_IMAGE019
。每一站的激光点云都提取到了4个特征点集：边 缘点子集
Figure 544465DEST_PATH_IMAGE013
、边缘点集
Figure 448967DEST_PATH_IMAGE015
，平面点子集
Figure 955035DEST_PATH_IMAGE018
、平面点集
Figure 702411DEST_PATH_IMAGE019
。如图3和图4所示，分别为本发明基于 街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云边缘特征提取结果 和激光点云平面特征提取结果，图3左图为边缘点子集
Figure 991441DEST_PATH_IMAGE013
，右图为边缘点集
Figure 78346DEST_PATH_IMAGE015
，图4左图为平 面点子集
Figure 552053DEST_PATH_IMAGE018
，右图为平面点集
Figure 662091DEST_PATH_IMAGE019
。
如图5所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云分割与聚类结果，左上图为原始激光点云，右上图为地面激光点云，左下图为非地面激光点云，右下图为非地面点云聚类结果。
分别获取聚类后各类中激光点的数量，并将激光点数量小于30个的类剔除，通过这个方法可以过滤掉激光点云中的离散激光点。
步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程：
步骤S311，根据所述街景相机的内参数初始值和外参数初始值，采用基于随机抽样一致性的三角测量法计算各特征轨迹对应场景点的三维坐标初值。
根据相机的内外参数初值，采用基于随机抽样一致性（RANSAC，RANdom SAmpleConsensus）的三角测量法计算各特征轨迹对应场景点的三维坐标初值。需要注意的是，在RANSAC的过程中，随机抽样的迭代次数为100次，反投影误差的外值阈值设置为4像素，即（4,∞]范围内的数据为外值。
步骤S312，利用所述街景相机的内参数初始值和外参数初始值将所述各特征轨迹对应场景点的三维坐标初值进行重投影。
步骤S313，以重投影点与对应的图像SIFT特征点的像素距离为优化目标，以特征轨迹对应的场景点三维坐标以及各幅街景图像对应的街景相机的内参数和外参数为待优化参数，构建基于图像特征的优化方程。
基于图像特征的优化中的代价函数
Figure 82708DEST_PATH_IMAGE058
如式（4）所示：
Figure 86436DEST_PATH_IMAGE060
其中，
Figure DEST_PATH_IMAGE061
代表第
Figure 340831DEST_PATH_IMAGE014
个特征轨迹与第
Figure 62800DEST_PATH_IMAGE016
个图像之间的重投影误差项，
Figure 21528DEST_PATH_IMAGE062
代表范数。
对于任一对特征轨迹与图像，将其之间的重投影之前的原像素点
Figure 20708DEST_PATH_IMAGE022
的图像像素坐 标记作
Figure DEST_PATH_IMAGE063
，将其之间的重投影之后的重投影点
Figure 305059DEST_PATH_IMAGE046
的图像像素坐标记作
Figure 389690DEST_PATH_IMAGE064
， 则重投影误差项如式（5）所示：
Figure 152109DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE067
代表求
Figure 536954DEST_PATH_IMAGE068
向量的模值。
基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程：
步骤S321，基于所述激光雷达的外参数初始值，将所述平面特征和边缘特征转换为世界坐标系，并通过KNN法分别获取各站激光点云位于世界坐标系下的最近的设定第一数量的激光雷达站点，进行各站激光点云的边缘特征匹配与平面特征匹配；
在获取各站激光点云的特征后，根据激光雷达外参初值将各站点云特征变换至世界坐标系下。对于每站激光点云，通过K最近邻（KNN，K Nearest Neighbor）法搜索其位于世界坐标系下的10站最近的激光点云，进而进行点云边缘与平面特征匹配。
步骤S322，对于边缘特征匹配，以激光点
Figure 726627DEST_PATH_IMAGE014
到近邻点
Figure 157609DEST_PATH_IMAGE016
和次近邻点
Figure 458140DEST_PATH_IMAGE017
形成的直线
Figure 431912DEST_PATH_IMAGE021
的 距离为优化目标，对于平面特征匹配，以激光点
Figure 589224DEST_PATH_IMAGE022
到近邻点
Figure 445185DEST_PATH_IMAGE016
、次近邻点
Figure 487090DEST_PATH_IMAGE017
和第三近邻点
Figure 377685DEST_PATH_IMAGE020
形成 的平面
Figure 971478DEST_PATH_IMAGE023
的距离为优化目标，以各站的激光雷达的外参数为待优化参数，构建基于点云特 征的优化方程。
如图6所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云边缘特征匹配示意图，边缘特征匹配方法为：
对于当前激光站对应的边缘点子集
Figure 986838DEST_PATH_IMAGE013
中的一个激光点
Figure 629172DEST_PATH_IMAGE014
，在其各候选匹配激光站中 的激光站对应的边缘点集
Figure 436591DEST_PATH_IMAGE015
中，采用最近邻搜索法获取与激光点
Figure 138968DEST_PATH_IMAGE014
在
Figure 907204DEST_PATH_IMAGE011
平面上同一行上 的最近邻点
Figure 149966DEST_PATH_IMAGE016
，并且在
Figure 749575DEST_PATH_IMAGE011
平面上下两行上获取次近邻点
Figure 560536DEST_PATH_IMAGE017
，实现点云的边缘特征匹配。
如图7所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云平面特征匹配示意图，平面特征匹配方法为：
对于当前激光站对应的平面点子集
Figure 878385DEST_PATH_IMAGE018
中的一个激光点
Figure 924839DEST_PATH_IMAGE014
，在其各候选匹配激光站中 的激光站对应的平面点集
Figure 316637DEST_PATH_IMAGE019
中，采用最近邻搜索法获取激光点
Figure 360816DEST_PATH_IMAGE014
在
Figure 228278DEST_PATH_IMAGE011
平面上同一行上的 最近邻点
Figure 16105DEST_PATH_IMAGE016
，并且在
Figure 262410DEST_PATH_IMAGE011
平面上同一行或者上下两行上获取次近邻点
Figure 539808DEST_PATH_IMAGE017
，以及在
Figure 832249DEST_PATH_IMAGE011
平面上 下两行上获取第三邻近点
Figure 95871DEST_PATH_IMAGE020
，实现点云的平面特征匹配。
注意，上述过程中，需保证点
Figure 321316DEST_PATH_IMAGE017
和点
Figure 972877DEST_PATH_IMAGE020
不共线，从而能够形成平面
Figure 424718DEST_PATH_IMAGE023
。
基于点云特征的优化中的代价函数
Figure DEST_PATH_IMAGE069
如式（6）所示：
Figure DEST_PATH_IMAGE071
（6）
其中，
Figure 695294DEST_PATH_IMAGE072
、
Figure DEST_PATH_IMAGE073
代表第
Figure 40824DEST_PATH_IMAGE074
个激光站与第
Figure DEST_PATH_IMAGE075
个激光站之间的激光点云特征匹配误差项。
对于任意两个激光站，其之间的激光点云特征匹配误差项如式（7）和式（8）所示：
Figure DEST_PATH_IMAGE077
Figure DEST_PATH_IMAGE079
其中，
Figure 207495DEST_PATH_IMAGE080
为激光点
Figure 167536DEST_PATH_IMAGE014
到近邻点
Figure 304120DEST_PATH_IMAGE016
、次近邻点
Figure 910681DEST_PATH_IMAGE017
、第三近邻点
Figure 107308DEST_PATH_IMAGE020
形成的平面
Figure 596058DEST_PATH_IMAGE023
的距离，
Figure DEST_PATH_IMAGE081
为 激光点
Figure 270753DEST_PATH_IMAGE014
到近邻点
Figure 466242DEST_PATH_IMAGE016
和次近邻点
Figure 427245DEST_PATH_IMAGE017
形成的直线
Figure 403291DEST_PATH_IMAGE021
的距离。
采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程：
步骤S331，基于所述街景相机与激光雷达的外参数初始值，通过KNN法分别获取与各街景相机光心最近的设定第二数量的激光雷达站点。本发明一个实施例中，搜索距各相机光心最近的3站激光雷达。
步骤S332，分别将每一个街景相机对应的所述设定第二数量的激光雷达站点的激光点云投影至街景相机采集的待构图场景图像上，获得二维投影点集。
投影过程需要用到涉及的街景图像的相机内外参数初始值以及激光雷达的外参数初始值。另外，在对激光点云进行投影时，只对位于相机前面且在成像区域内的点进行投影。
步骤S333，通过二维三角化法分别基于所述二维投影点集构建位于对应的街景相机成像平面上的平面三角形集合。
对于每站激光点云在街景图像上的二维投影点集，采用二维三角化算法，构建位于成像平面上的平面三角形集合。如图8所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点投影与三角化示意图，其中点表示激光点在成像平面上的投影点，线表示平面三角形的边。激光点云投影与三角化将会用于获取图像特征与激光数据的对应关系。另外，为保证获取的对应关系的可靠性，只保留面积小于25像素平方，最小内角大于15°的平面三角形。
步骤S334，基于所述平面三角形集合，结合图像特征轨迹与激光点云数据对应关系，构建基于图像与激光对应的优化方程。
如图9所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的图像特征轨迹与激光数据对应关系示意图，图像特征轨迹与激光点云数据对应关系为：
对于特征轨迹对应场景点的三维坐标初值的点
Figure 350518DEST_PATH_IMAGE024
，记
Figure 728410DEST_PATH_IMAGE024
对应的街景相机的光心位 置为
Figure 860314DEST_PATH_IMAGE025
，则激光点云在
Figure 323656DEST_PATH_IMAGE024
对应的街景相机上的一个投影三角形为
Figure 808995DEST_PATH_IMAGE026
，
Figure 103711DEST_PATH_IMAGE024
在
Figure 609778DEST_PATH_IMAGE026
上的对应特征 点为
Figure 232521DEST_PATH_IMAGE022
，
Figure 849447DEST_PATH_IMAGE027
、
Figure 733089DEST_PATH_IMAGE028
、
Figure 347741DEST_PATH_IMAGE029
分别为
Figure 520097DEST_PATH_IMAGE026
三个顶点
Figure 737451DEST_PATH_IMAGE030
、
Figure 944442DEST_PATH_IMAGE031
、
Figure 464416DEST_PATH_IMAGE032
对应的空间激光点。点
Figure 186384DEST_PATH_IMAGE024
与点
Figure 145113DEST_PATH_IMAGE025
的连线与三角形
Figure 878714DEST_PATH_IMAGE082
、 三角形
Figure 897485DEST_PATH_IMAGE026
分别相交于点
Figure DEST_PATH_IMAGE083
、点
Figure 513274DEST_PATH_IMAGE046
。由于反投影误差的存在，点
Figure 275694DEST_PATH_IMAGE022
与点
Figure 254014DEST_PATH_IMAGE046
并不重合。理想情况下， 点
Figure 178108DEST_PATH_IMAGE024
应位于三角形
Figure 484456DEST_PATH_IMAGE082
上，因此，一个特征轨迹可以在其各幅（内值）可见图像上分别建立一 个图9所示的特征轨迹空间点与三个激光点构成的空间平面的对应关系。
将最小化空间距离
Figure 847304DEST_PATH_IMAGE084
作为优化目标，为建立基于图像与激光对应的优化方程，先 根据街景图像外参数初值计算相机位置
Figure 86655DEST_PATH_IMAGE025
初值，并根据图像特征轨迹三角化结果获取其三 维坐标
Figure 181650DEST_PATH_IMAGE024
初值，进而获得直线
Figure DEST_PATH_IMAGE085
的方程，然后找到点
Figure 975294DEST_PATH_IMAGE022
所处的二维投影三角形
Figure 876254DEST_PATH_IMAGE026
以及根据 激光雷达外参数初值计算得到的位于世界坐标系的激光空间三角形顶点坐标
Figure 438953DEST_PATH_IMAGE027
、
Figure 970429DEST_PATH_IMAGE028
、
Figure 110423DEST_PATH_IMAGE029
，进而 得到平面
Figure 956019DEST_PATH_IMAGE082
与直线
Figure 701122DEST_PATH_IMAGE085
的交点
Figure 465815DEST_PATH_IMAGE083
。通过最小化
Figure 296368DEST_PATH_IMAGE084
来优化各街景相机与激光雷达外参以及 各特征轨迹对应空间点的三维坐标。
基于图像与激光对应的优化中的代价函数
Figure 414497DEST_PATH_IMAGE086
如式（9）所示：
Figure 76422DEST_PATH_IMAGE088
其中，
Figure DEST_PATH_IMAGE089
代表第
Figure 621804DEST_PATH_IMAGE030
个图像与第
Figure 939653DEST_PATH_IMAGE031
个激光站的激光点云之间的图像与激光对应误差项。
对于任一对图像与激光站的激光点云，其之间的图像与激光对应误差项如式（10）所示：
Figure DEST_PATH_IMAGE091
其中，
Figure 392631DEST_PATH_IMAGE024
为特征轨迹对应场景点的三维坐标初值的点，
Figure 112325DEST_PATH_IMAGE083
为点
Figure 218822DEST_PATH_IMAGE024
与点
Figure 23967DEST_PATH_IMAGE025
的连线与三 角形
Figure 483898DEST_PATH_IMAGE082
的相交点，点
Figure 120416DEST_PATH_IMAGE025
为点
Figure 335496DEST_PATH_IMAGE024
对应的街景相机的光心位置，三角形
Figure 300041DEST_PATH_IMAGE082
由
Figure 688297DEST_PATH_IMAGE026
三个顶点
Figure 117005DEST_PATH_IMAGE030
、
Figure 440670DEST_PATH_IMAGE031
、
Figure 220407DEST_PATH_IMAGE032
对应的空间激光点构成，
Figure 146775DEST_PATH_IMAGE026
为激光点云在
Figure 367671DEST_PATH_IMAGE024
对应的街景相机上的一个投影三角形。
步骤S40，将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30。
步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。
将上述三类优化方程联合到一起，构建一个全局目标函数，采用Ceres Solver工具包实现待优化参数的全局统一优化以及街景相机的内外参与激光雷达的外参估计，进而实现融合街景图像与车载激光的城市场景构图。需要注意的是，由于图像特征匹配关系不依赖于街景相机外参数，而点云特征匹配关系，图像特征与激光数据对应关系均依赖于街景相机（激光雷达）外参数，而在每次迭代优化后，传感器外参数会发生改变。因此，本发明中每次迭代优化后在保持图像特征匹配关系不变的前提下根据调整后的传感器外参数重新获取图像特征与激光数据对应关系，再次进行优化。上述过程迭代进行，为兼顾精度与效率，本发明中共进行4次迭代。
为定性验证本发明方法的有效性，在采集的街景图像中随机选取若干幅，利用街景相机与激光雷达外参初值，采用KNN算法获取距各幅选取相机最近的10站激光雷达，然后分别利用优化前后的街景相机内外参数，激光雷达外参数将激光点云投影至相应的街景相机成像平面上，如图10所示，为本发明基于街景图像与车载激光融合的城市场景构图方法一种实施例的激光点云投影与街景图像场景重合效果示例，其中第一行和第三行的图为利用优化前参数的激光点云投影结果，第二行和第四行的图为利用优化后参数的激光点云投影结果。
本发明采用F-Measure指标评价优化前后激光点云与图像点云的重合度以定量评 价本发明提出的融合街景图像与车载激光的城市场景构图方法的精度。具体来说，首先对 优化前后的图像与激光点云分别进行基于体素的降采样，体素尺寸
Figure 190134DEST_PATH_IMAGE035
设为0.1m, 0.2m, 0.3m。
对于
Figure 253905DEST_PATH_IMAGE035
的任一取值，在激光点云中采用最近邻搜索图像点云中每一个点的最近点 并记录距离，图像点云遍历中所有点后，依次求能在激光点云中搜索到距离在
Figure 187226DEST_PATH_IMAGE092
范 围内的最近点的图像点占图像点云中所有点的比例，定义为精度
Figure 997050DEST_PATH_IMAGE050
。随着搜索范围的扩大，
Figure 52731DEST_PATH_IMAGE050
值越来越大。
对于
Figure 541481DEST_PATH_IMAGE035
的任一取值，在图像点云中采用最近邻搜索激光点云中每一个点的最近点 并记录距离，激光点云遍历中所有点后，依次求能在图像点云中搜索到距离在
Figure 962315DEST_PATH_IMAGE092
范 围内的最近点的激光点占激光点云中所有点的比例，定义为召回率
Figure DEST_PATH_IMAGE093
。随着搜索范围的扩 大，
Figure 751280DEST_PATH_IMAGE093
值越来越大。
在此基础上，通过
Figure 853228DEST_PATH_IMAGE094
计算F-Measure，
Figure 563695DEST_PATH_IMAGE034
值越大，表示图像点云与激光点 云重合度越好。在
Figure 635556DEST_PATH_IMAGE033
的情况下，随着
Figure 951131DEST_PATH_IMAGE092
搜索范围的变化，
Figure 20718DEST_PATH_IMAGE034
值的曲线图 也随之变化。如图11（a）至图11（c）所示，为本发明基于街景图像与车载激光融合的城市场 景构图方法一种实施例的
Figure 546377DEST_PATH_IMAGE033
时对应的
Figure 359613DEST_PATH_IMAGE034
曲线，图11（a）为
Figure DEST_PATH_IMAGE095
时的
Figure 60852DEST_PATH_IMAGE034
曲线，图 11（b）为
Figure 301341DEST_PATH_IMAGE096
时的
Figure 189663DEST_PATH_IMAGE034
曲线，图11（c）为
Figure DEST_PATH_IMAGE097
时的
Figure 603326DEST_PATH_IMAGE034
曲线。
由图11（a）至图11（c）可知，优化后
Figure 362335DEST_PATH_IMAGE034
值增大，且随着迭代优化次数的增加，
Figure 39304DEST_PATH_IMAGE034
值在递 增，表示图像点云与激光点云的重合度在提高。当迭代优化次数达到3次以上时，
Figure 273976DEST_PATH_IMAGE034
曲线基本 重合，优化效果基本不变。因此，为兼顾精度与效率，本发明中迭代优化共进行4次。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于街景图像与车载激光融合的城市场景构图系统，该城市场景构图系统包括以下模块：
参数标定模块，配置为通过街景相机、激光雷达以及全球导航卫星系统的外参数 预标定获取街景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景 相机的内参数初始值；所述街景相机，其内参数包括焦距
Figure 429014DEST_PATH_IMAGE001
、
Figure 308108DEST_PATH_IMAGE002
以及主点
Figure 952716DEST_PATH_IMAGE003
、
Figure 612368DEST_PATH_IMAGE004
，其外参数包括 旋转矩阵
Figure 508780DEST_PATH_IMAGE005
以及平移矩阵
Figure 570276DEST_PATH_IMAGE006
；所述激光雷达，其外参数包括旋转矩阵
Figure 385786DEST_PATH_IMAGE007
以及平移矩阵
Figure 470416DEST_PATH_IMAGE008
；
图像特征轨迹获取模块，配置为提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；
点云特征提取与匹配模块，配置为对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；
图像特征优化模块，配置为对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；
点云特征优化模块，配置为基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；
图像与点云对应优化模块，配置为采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；
全局优化模块，配置为将所述优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转所述图像特征优化模块；
迭代模块，配置为迭代通过所述图像特征优化模块、点云特征优化模块、图像与点云对应优化模块以及全局优化模块进行待优化参数求解，直至达到预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于街景图像与车载激光融合的城市场景构图系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于街景图像与车载激光融合的城市场景构图方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于街景图像与车载激光融合的城市场景构图方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于街景图像与车载激光融合的城市场景构图方法，其特征在于，该城市场景构图方法包括：
步骤S10，通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数初始值；所述街景相机，其内参数包括焦距
Figure DEST_PATH_IMAGE001
、
Figure 417449DEST_PATH_IMAGE002
以及主点
Figure DEST_PATH_IMAGE003
、
Figure 242186DEST_PATH_IMAGE004
，其外参数包括旋转矩阵
Figure DEST_PATH_IMAGE005
以及平移矩阵
Figure 954927DEST_PATH_IMAGE006
；所述激光雷达，其外参数包括旋转矩阵
Figure DEST_PATH_IMAGE007
以及平移矩阵
Figure 675758DEST_PATH_IMAGE008
；
步骤S20，提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；
步骤S30，对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；
基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；
采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；
步骤S40，将所述基于图像特征的优化方程、所述基于点云特征的优化方程和所述基于图像与激光对应的优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转步骤S30；
步骤S50，迭代优化至预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。
2.根据权利要求1所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述激光点云的特征包括激光点云的平面特征和边缘特征，其获取方法为：
步骤S21，分别将所述激光点云中各站激光点云由直角坐标系
Figure DEST_PATH_IMAGE009
转换为球坐标系
Figure 434636DEST_PATH_IMAGE010
；
步骤S22，将转换后的激光点云投影至
Figure DEST_PATH_IMAGE011
平面，并保存激光点云中各点的深度信息
Figure 531905DEST_PATH_IMAGE012
；
步骤S23，根据激光点云在
Figure 99152DEST_PATH_IMAGE011
平面分布情况与深度信息
Figure 725306DEST_PATH_IMAGE012
，通过LeGO-LOAM法将激光点云中各点分割为地面点与非地面点；
步骤S24，采用广度优先搜索法对所述非地面点按照
Figure 658232DEST_PATH_IMAGE011
平面分辨率和每个非地面点的深度信息进行聚类，获得激光点云分割与聚类结果；
步骤S25，根据距离信息计算激光点云分割与聚类结果中每个点在
Figure 293612DEST_PATH_IMAGE011
平面上相对于周围点的平滑度，并根据平滑度分别进行地面点与非地面点的特征提取，获得激光点云的平面特征和边缘特征。
3.根据权利要求2所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述边缘特征匹配，其方法为：
对于当前激光站对应的边缘点子集
Figure DEST_PATH_IMAGE013
中的一个激光点
Figure 715366DEST_PATH_IMAGE014
，在其各候选匹配激光站中的激光站对应的边缘点集
Figure DEST_PATH_IMAGE015
中，采用最近邻搜索法获取与激光点
Figure 43579DEST_PATH_IMAGE014
在
Figure 917995DEST_PATH_IMAGE011
平面上同一行上的最近邻点
Figure 357066DEST_PATH_IMAGE016
，并且在
Figure 633327DEST_PATH_IMAGE011
平面上下两行上获取次近邻点
Figure DEST_PATH_IMAGE017
，实现点云的边缘特征匹配。
4.根据权利要求2所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述平面特征匹配，其方法为：
对于当前激光站对应的平面点子集
Figure 398020DEST_PATH_IMAGE018
中的一个激光点
Figure 759732DEST_PATH_IMAGE014
，在其各候选匹配激光站中的激光站对应的平面点集
Figure DEST_PATH_IMAGE019
中，采用最近邻搜索法获取激光点
Figure 2494DEST_PATH_IMAGE014
在
Figure 133261DEST_PATH_IMAGE011
平面上同一行上的最近邻点
Figure 537698DEST_PATH_IMAGE016
，并且在
Figure 386705DEST_PATH_IMAGE011
平面上同一行或者上下两行上获取次近邻点
Figure 902000DEST_PATH_IMAGE017
，以及在
Figure 418432DEST_PATH_IMAGE011
平面上下两行上获取第三邻近点
Figure 993770DEST_PATH_IMAGE020
，实现点云的平面特征匹配。
5.根据权利要求1所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述基于图像特征的优化方程，其构建方法为：
步骤S311，根据所述街景相机的内参数初始值和外参数初始值，采用基于随机抽样一致性的三角测量法计算各特征轨迹对应场景点的三维坐标初值；
步骤S312，利用所述街景相机的内参数初始值和外参数初始值将所述各特征轨迹对应场景点的三维坐标初值进行重投影；
步骤S313，以重投影点与对应的图像SIFT特征点的像素距离为优化目标，以特征轨迹对应的场景点三维坐标以及各幅街景图像对应的街景相机的内参数和外参数为待优化参数，构建基于图像特征的优化方程。
6.根据权利要求5所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，步骤S20中获得待构图场景图像的特征轨迹之后还设置有特征轨迹滤除步骤，其方法为：
将基于随机抽样一致性的三角测量法获取的处于设定阈值范围内的数据子集划分为内值；
将内值可见图像数量小于3幅或者场景点与各内值可见相机光心连线夹角最大值小于2°的特征轨迹滤除。
7.根据权利要求2所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述基于点云特征的优化方程，其构建方法为：
步骤S321，基于所述激光雷达的外参数初始值，将所述平面特征和所述边缘特征转换为世界坐标系，并通过KNN法分别获取各站激光点云位于世界坐标系下的最近的设定第一数量的激光雷达站点，进行各站激光点云的边缘特征匹配与平面特征匹配；
步骤S322，对于边缘特征匹配，以激光点
Figure 330073DEST_PATH_IMAGE014
到近邻点
Figure 649059DEST_PATH_IMAGE016
和次近邻点
Figure 754418DEST_PATH_IMAGE017
形成的直线
Figure DEST_PATH_IMAGE021
的距离为优化目标，对于平面特征匹配，以激光点
Figure 766237DEST_PATH_IMAGE022
到近邻点
Figure 324257DEST_PATH_IMAGE016
、次近邻点
Figure 446934DEST_PATH_IMAGE017
和第三近邻点
Figure 672379DEST_PATH_IMAGE020
形成的平面
Figure DEST_PATH_IMAGE023
的距离为优化目标，以各站的激光雷达的外参数为待优化参数，构建基于点云特征的优化方程。
8.根据权利要求1所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述基于图像与激光对应的优化方程，其构建方法为：
步骤S331，基于所述街景相机与激光雷达的外参数初始值，通过KNN法分别获取与各街景相机光心最近的设定第二数量的激光雷达站点；
步骤S332，分别将每一个街景相机对应的所述设定第二数量的激光雷达站点的激光点云投影至街景相机采集的待构图场景图像上，获得二维投影点集；
步骤S333，通过二维三角化法分别基于所述二维投影点集构建位于对应的街景相机成像平面上的平面三角形集合；
步骤S334，基于所述平面三角形集合，结合图像特征轨迹与激光点云数据对应关系，构建基于图像与激光对应的优化方程。
9.根据权利要求8所述的基于街景图像与车载激光融合的城市场景构图方法，其特征在于，所述图像特征轨迹与激光点云数据对应关系为：
对于特征轨迹对应场景点的三维坐标初值的点
Figure 858028DEST_PATH_IMAGE024
，记
Figure 168924DEST_PATH_IMAGE024
对应的街景相机的光心位置为
Figure DEST_PATH_IMAGE025
，则激光点云在
Figure 95291DEST_PATH_IMAGE024
对应的街景相机上的一个投影三角形为
Figure 909664DEST_PATH_IMAGE026
，
Figure 528864DEST_PATH_IMAGE024
在
Figure 61476DEST_PATH_IMAGE026
上的对应特征点为
Figure 525956DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE027
、
Figure 460414DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
分别为
Figure 250515DEST_PATH_IMAGE026
三个顶点
Figure 270424DEST_PATH_IMAGE030
、
Figure DEST_PATH_IMAGE031
、
Figure 804173DEST_PATH_IMAGE032
对应的空间激光点，获得图像特征轨迹与激光点云数据对应关系。
10.一种基于街景图像与车载激光融合的城市场景构图系统，其特征在于，该城市场景构图系统包括以下模块：
参数标定模块，配置为通过街景相机、激光雷达以及全球导航卫星系统的外参数预标定获取街景相机和激光雷达的外参数初始值，通过街景相机的内参数预标定获取街景相机的内参数初始值；所述街景相机，其内参数包括焦距
Figure 593138DEST_PATH_IMAGE001
、
Figure 819720DEST_PATH_IMAGE002
以及主点
Figure 326924DEST_PATH_IMAGE003
、
Figure 133206DEST_PATH_IMAGE004
，其外参数包括旋转矩阵
Figure 42257DEST_PATH_IMAGE005
以及平移矩阵
Figure 643002DEST_PATH_IMAGE006
；所述激光雷达，其外参数包括旋转矩阵
Figure 637503DEST_PATH_IMAGE007
以及平移矩阵
Figure 981897DEST_PATH_IMAGE008
；
图像特征轨迹获取模块，配置为提取街景相机获取的待构图场景图像的SIFT特征，并结合所述街景相机的内参数初始值和外参数初始值进行特征匹配以及特征轨迹连接，获得待构图场景图像的特征轨迹；
点云特征提取与匹配模块，配置为对激光雷达获取的激光点云进行分割与聚类，并对聚类结果进行特征提取，获得激光点云的特征；
图像特征优化模块，配置为对所述待构图场景图像的特征轨迹进行三角测量，构建基于图像特征的优化方程；
点云特征优化模块，配置为基于所述激光点云的特征进行特征匹配，并基于特征匹配结果构建基于点云特征的优化方程；
图像与点云对应优化模块，配置为采集每一幅待构图场景图像对应的各站激光点云，对所述各站激光点云进行投影与三角化，并结合对应的待构图场景图像的特征轨迹与各站激光点云数据对应关系，构建基于图像与激光对应的优化方程；
全局优化模块，配置为将所述基于图像特征的优化方程、所述基于点云特征的优化方程和所述基于图像与激光对应的优化方程融入统一的全局优化框架，对待优化参数求解，并以求解后获得的街景相机内参数、街景相机外参数以及激光雷达外参数替换初始值后，跳转所述图像特征优化模块；
迭代模块，配置为迭代通过所述图像特征优化模块、点云特征优化模块、图像与点云对应优化模块以及全局优化模块进行待优化参数求解，直至达到预先设定的迭代次数后，获得待构图场景的三维构图；所述预先设定的迭代次数为4。
CN202110781760.0A 2021-07-12 2021-07-12 基于街景图像与车载激光融合的城市场景构图方法及系统 Active CN113240755B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110781760.0A CN113240755B (zh) 2021-07-12 2021-07-12 基于街景图像与车载激光融合的城市场景构图方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110781760.0A CN113240755B (zh) 2021-07-12 2021-07-12 基于街景图像与车载激光融合的城市场景构图方法及系统

Publications (2)

Publication Number Publication Date
CN113240755A CN113240755A (zh) 2021-08-10
CN113240755B true CN113240755B (zh) 2021-09-21

Family

ID=77135349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110781760.0A Active CN113240755B (zh) 2021-07-12 2021-07-12 基于街景图像与车载激光融合的城市场景构图方法及系统

Country Status (1)

Country Link
CN (1) CN113240755B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597168B (zh) * 2023-07-18 2023-11-17 齐鲁空天信息研究院 车载激光点云与全景影像的匹配方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法
CN107741234A (zh) * 2017-10-11 2018-02-27 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
CN108133191A (zh) * 2017-12-25 2018-06-08 燕山大学 一种适用于室内环境的实时物体识别方法
US10032276B1 (en) * 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
CN110223389A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 融合图像与激光数据的场景建模方法、系统、装置
CN112833892A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于轨迹对齐的语义建图方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102460A1 (en) * 2009-11-04 2011-05-05 Parker Jordan Platform for widespread augmented reality and 3d mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869136A (zh) * 2015-01-22 2016-08-17 北京雷动云合智能技术有限公司 一种基于多摄像机的协作式视觉slam方法
US10032276B1 (en) * 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
CN107741234A (zh) * 2017-10-11 2018-02-27 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
CN108133191A (zh) * 2017-12-25 2018-06-08 燕山大学 一种适用于室内环境的实时物体识别方法
CN110223389A (zh) * 2019-06-11 2019-09-10 中国科学院自动化研究所 融合图像与激光数据的场景建模方法、系统、装置
CN112833892A (zh) * 2020-12-31 2021-05-25 杭州普锐视科技有限公司 一种基于轨迹对齐的语义建图方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Dense point cloud extraction from UAV captured images in forest area;Wang Tao等;《Proceedings 2011 IEEE International Conference on Spatial Data Mining and Geographical Knowledge Services》;20110801;第389-392页 *
基于视觉的移动机器人室内实时定位与制图技术研究;刘康;《中国优秀硕士学位论文全文数据库信息科技辑》;20181015;第I138-837页 *
结合全景影像的车载街景点云数据增强方法;刘亚文 等;《武汉大学学报(信息科学版)》;20200731;第45卷(第7期);第1015-1020页 *
车载组合全景相机影像空中三角测量技术;王奕丹;《中国优秀博士学位论文全文数据库基础科学辑》;20200615;第A008-38页 *

Also Published As

Publication number Publication date
CN113240755A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
Balsa-Barreiro et al. Generation of visually aesthetic and detailed 3D models of historical cities by using laser scanning and digital photogrammetry
Remondino et al. State of the art in high density image matching
Barazzetti et al. Orientation and 3D modelling from markerless terrestrial images: combining accuracy with automation
Cheng et al. 3D building model reconstruction from multi-view aerial imagery and lidar data
Zhang et al. A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection
Xiao et al. Street environment change detection from mobile laser scanning point clouds
US7509241B2 (en) Method and apparatus for automatically generating a site model
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
Gao et al. Ground and aerial meta-data integration for localization and reconstruction: A review
Zhu et al. Leveraging photogrammetric mesh models for aerial-ground feature point matching toward integrated 3D reconstruction
Zhang et al. 3D building modelling with digital map, lidar data and video image sequences
CN111383335B (zh) 一种众筹照片与二维地图结合的建筑物三维建模方法
Rumpler et al. Probabilistic range image integration for DSM and true-orthophoto generation
CN117315146B (zh) 基于跨尺度多源数据的三维模型的重建方法及存储方法
Gong et al. DSM generation from high resolution multi-view stereo satellite imagery
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
CN113240755B (zh) 基于街景图像与车载激光融合的城市场景构图方法及系统
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams
Ruano et al. A Benchmark for 3D Reconstruction from Aerial Imagery in an Urban Environment.
CN107194334B (zh) 基于光流模型的视频卫星影像密集匹配方法及系统
Zhang et al. Integrating smartphone images and airborne lidar data for complete urban building modelling
Al-Durgham The registration and segmentation of heterogeneous Laser scanning data
Ho et al. Large scale 3D environmental modelling for stereoscopic walk-through visualisation
Rumpler et al. Rapid 3d city model approximation from publicly available geographic data sources and georeferenced aerial images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant