CN116222592B - 一种基于多源数据的高精地图生成方法及系统 - Google Patents

一种基于多源数据的高精地图生成方法及系统 Download PDF

Info

Publication number
CN116222592B
CN116222592B CN202310233868.5A CN202310233868A CN116222592B CN 116222592 B CN116222592 B CN 116222592B CN 202310233868 A CN202310233868 A CN 202310233868A CN 116222592 B CN116222592 B CN 116222592B
Authority
CN
China
Prior art keywords
image
point cloud
precision map
points
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310233868.5A
Other languages
English (en)
Other versions
CN116222592A (zh
Inventor
李晓晖
程雷
胡锐
王进
饶磊
赵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Egova Technology Co ltd
Original Assignee
Beijing Egova Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Egova Technology Co ltd filed Critical Beijing Egova Technology Co ltd
Priority to CN202310233868.5A priority Critical patent/CN116222592B/zh
Publication of CN116222592A publication Critical patent/CN116222592A/zh
Application granted granted Critical
Publication of CN116222592B publication Critical patent/CN116222592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)

Abstract

本发明公开一种基于多源数据的高精地图生成方法及系统。所述方法包括：设置多种传感器，采集生成高精地图所需的数据；提取无人机倾斜摄影影像与专业采集车拍摄影像的影像特征点，对影像特征点进行融合，得到像点稀疏点云；从像点稀疏点云中提取特征要素，对稀疏点云的特征要素进行立体匹配，重建密集点云；将专业采集车激光雷达点云与重建的密集点云进行精度点云重定向配准，确定各高精地图元素的实际位置信息；使用高精地图元素构建高精地图。本发明解决了目前高精地图生产中构建成本高、作业效率低、地图精度与地图鲜度无法均衡的问题，提高地图精度和构建效率。

Description

一种基于多源数据的高精地图生成方法及系统
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于多源数据的高精地图生成方法。
背景技术
在自动驾驶技术方案中，单纯依靠车载传感器无法实现全天候超视距的感知能力，如弯道、匝道以及摄像头视线被障碍物遮挡而限制了感知边界，天气原因给传感器可靠性造成的干扰，都会使车辆无法感知超视距外的路况信息，无法提前做出加速、减速或者提前变道等操作。高精地图可以作为一种行车基础设施提供全天候超视距的感知，解决传感器感知边界和使用条件受限的问题，增强自动驾驶系统的稳健性。
目前，高精地图的构建主要通过载有各种传感器(如激光雷达、GPS、惯性测量单元、以及摄像机等)的采集车采集原始道路数据，通过多种数据融合生成点云地图，然后通过人工标注以及自动化的语义分割算法提取出车道线以及交通标志牌的信息，最后经过人工验证完成高精地图的制作。
然而基于激光雷达等多传感器采集点云地图并通过人工和自动化算法标注的方式制作高精地图存在以下问题：
1、激光雷达造价较高，各类传感器的使用会使地图采集车成本增高，即使使用非常好的激光雷达也需要采集多次才能得到较好的效果，硬件成本和人力成本都很高昂。
2、道路要素提取效率低，激光雷达采集的点云数据一般只包含强度信息，无法像照片一样能够很清楚的分辨各类要素，即使人工标注也存在一定难度。自动化的识别算法也不能解决所有问题，比如车道线污损、模糊等不能被正确识别，后期的人工检查成本也比较高。
3、高精地图采用专业集中制图制作成本高，效率低，导致地图不能及时更新，而众包制图虽然能够快速更新，但是精度较低。高精地图的制作无法兼顾数据精度与数据鲜度。
发明内容
本发明提供了一种基于多源数据的高精地图生成方法，包括：
设置多种传感器，采集生成高精地图所需的数据，包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云；
提取无人机倾斜摄影影像与专业采集车拍摄影像的影像特征点，对影像特征点进行融合，得到像点稀疏点云；
从像点稀疏点云中提取特征要素，对稀疏点云的特征要素进行立体匹配，重建密集点云；
将专业采集车激光雷达点云与重建的密集点云进行精度点云重定向配准，确定各高精地图元素的实际位置信息；
使用高精地图元素构建高精地图。
如上所述的一种基于多源数据的高精地图生成方法，其中，搭建立体采集环境采集生成高精地图所需的数据，具体包括：
下视立体采集：将立体采集环境的视角调整为向下视角，采集基于地面或者倾斜于地面的高精地图元素；
前视立体采集：将立体采集环境的视角调整为地面向前视角，采集垂直于地面或者倾斜于地面的高精地图元素。
如上所述的一种基于多源数据的高精地图生成方法，其中，进行数据融合处理，具体包括：
通过图像处理算法提取影像特征点；
对无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点进行匹配，只保留满足几何约束的匹配，迭代遍历每一对匹配点，从而得到两度同名点或者多度同名点；
通过同名点对，配合初始的GPS参数和IMU参数，进行光束法平差，从平差的结果中获取影像的内参和外参；
根据影像的内参和外参感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，即融合后像点的初步位置信息。
如上所述的一种基于多源数据的高精地图生成方法，其中，影像的外参是指拍摄照片时相机的位置和姿态，影像的内参是指摄像机内部的焦距与相主点位置。
如上所述的一种基于多源数据的高精地图生成方法，其中，从像点稀疏点云中提取特征要素，具体包括如下子步骤：
计算稀疏点云的中心点；
计算稀疏点云中各像点对中心点的贡献率；
将对中心点的贡献率超过预设贡献率的像点作为特征要素。
本发明还提供一种基于多源数据的高精地图生成系统，包括：
数据采集模块21，用于设置多种传感器搭建立体采集环境，采集生成高精地图所需的数据，包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云；
稀疏点云构建模块22，用于提取无人机倾斜摄影影像与专业采集车拍摄影像的影像特征点，对影像特征点进行融合，得到像点稀疏点云；
密集点云重建模块23，用于从像点稀疏点云中提取特征要素，对稀疏点云的特征要素进行立体匹配，重建密集点云；
高精地图位置信息确定模块24，用于将专业采集车激光雷达点云与重建的密集点云进行精度点云重定向配准，确定各高精地图元素的实际位置信息；
高精地图构建模块25，用于使用高精地图元素构建高精地图。
如上所述的一种基于多源数据的高精地图生成系统，其中，搭建立体采集环境采集生成高精地图所需的数据，具体包括：
下视立体采集：将立体采集环境的视角调整为向下视角，采集基于地面或者倾斜于地面的高精地图元素；
前视立体采集：将立体采集环境的视角调整为地面向前视角，采集垂直于地面或者倾斜于地面的高精地图元素。
如上所述的一种基于多源数据的高精地图生成系统，其中，进行数据融合处理，具体包括：
通过图像处理算法提取影像特征点；
对无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点进行匹配，只保留满足几何约束的匹配，迭代遍历每一对匹配点，从而得到两度同名点或者多度同名点；
通过同名点对，配合初始的GPS参数和IMU参数，进行光束法平差，从平差的结果中获取影像的内参和外参；
根据影像的内参和外参感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，即融合后像点的初步位置信息。
如上所述的一种基于多源数据的高精地图生成系统，其中，影像的外参是指拍摄照片时相机的位置和姿态，影像的内参是指摄像机内部的焦距与相主点位置。
如上所述的一种基于多源数据的高精地图生成系统，其中，从像点稀疏点云中提取特征要素，具体包括如下子步骤：
计算稀疏点云的中心点；
计算稀疏点云中各像点对中心点的贡献率；
将对中心点的贡献率超过预设贡献率的像点作为特征要素。
本发明实现的有益效果如下：
1、构建成本低：不要求高激光束的激光点云，也不用多次进行作业。激光雷达的点云不要求高密度，通过影像匹配生成的点云弥补点云密度不够的问题。
2、作业效率高：通过深度学习识别点云中的特征需要很长的训练时间，且有一定几率会失败，最后仍然需要人工验证；而通过人工立体采集的方式可以在内页中很快采集到各种道路元素，并且可以多人分工协作，提升效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种基于多源数据的高精地图生成方法流程图；
图2是本发明实施例二提供的一种基于多源数据的高精地图生成系统示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术对于激光雷达设备的要求很高，一般为64线激光雷达为佳，本发明的高精专业采集车对激光雷达设备的要求可以放低，只需32线激光雷达，也可以多段位置放置16线，以减少采集的成本。也就是说，本发明对激光雷达生成的点云数据的密度不作过多要求，原因是数据处理是可以通过视觉传感器的影像生成密集点云，弥补激光雷达生成的点云数据密度不够的问题。通过在多位置放置16线或者32线激光雷达，能够保证采集的覆盖率。
在高精专业采集车上还需配备视觉传感器(摄像机)，前视摄像头一般可以配备双目或者三目摄像头，以保证对拍摄物体的深度感知；环视摄像头可以配备前、后、左、右四个方向的鱼眼镜头采集图像，组成360全景图片。
本发明还需要配备一个无人机视觉传感器进行低空倾斜摄影作业。倾斜摄影是通过无人机搭载多目视觉传感器(一般为5目，下视、前视、后视、左视、右视)在低空区域对地进行拍摄。通过获取目标区域更详尽的影像数据，搭配采集车的影像数据能够匹配更为准确密集的点云，以及通过生成立体测量环境，在内业中进行人工采集道路元素，成本低、效率高，而且通过众包地图进行地图更新时，有一个配准的基准，避免地图更新后精度损失的问题。
实施例一
如图1所示，本发明实施例一提供一种基于多源数据的高精地图生成方法，包括：
步骤110、设置多种传感器搭建立体采集环境，采集生成高精地图所需的数据，包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云；
具体地，传感器采集到的用于生成高精地图所需数据包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云。
在特定的显示器上建立立体采集环境，搭建立体采集环境采集生成高精地图所需的数据，具体包括：
(1)下视立体采集：
将立体采集环境的视角调整为向下视角，采集基于地面或者倾斜于地面的高精地图元素。例如，道路元素：道路中心线、车道左边界、车道右边界、车道拓扑等；路口元素：路口边界、虚拟车道、路口连接拓扑等；道路指示物：人行横道、路面箭头、路面文字、减速带等。
(2)前视立体采集：将立体采集环境的视角调整为地面向前视角，可以采集垂直于地面或者倾斜于地面的高精地图元素。例如道路设施：红绿灯、速度标志牌、护栏、龙门架等。道路设施一般为相对复杂的三维模型数据；并且由于前视影像相对较少，且可能存在树木或者其他设施遮挡，不一定能形成立体采集环境，所以道路设施的立体采集不一定会成功，因而可以配合元素自动识别的方案共同作业。
步骤120、提取无人机倾斜摄影影像与专业采集车拍摄影像的影像特征点，对影像特征点进行融合，得到像点稀疏点云；
由于单独的采集车上的影像数据是难以生成立体采集环境的，使用无人机和专业采集车进行影像采集，倾斜摄影是高空视角，采集车是平面视角，无人机倾斜影像和专业采集车拍摄影像采集得到的数据都是影像数据，生成立体采集环境需要一定的影像重复度，因此将两者结合得到比较好的采集效果。
将这两组影像数据进行数据融合处理，具体包括：
S1、通过图像处理算法提取影像特征点；
S2、对无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点进行匹配，只保留满足几何约束的匹配，迭代遍历每一对匹配点，从而得到两度同名点或者多度同名点(即表达相同位置的点)；
S3、通过同名点对，配合初始的GPS(全球定位系统)参数和IMU(惯性测量单元)参数，进行光束法平差，从平差的结果中获取影像的内参和外参。
假设已经确定了影像之间很多对同名点，则根据成像原理，对一组同名点来说，从像主点(即摄像机在拍照时的位置，不同影像的像主点位置不同)引一条光线经过影像上的同名点，多条光线必然汇聚于地面上的某一点，这个地面点即为空间中同名点拍摄的位置。在实际作业中，同名点可能有误差，在空间中很难交汇到一点；而且同名点具有多对，需要对多对同名点进行约束，就需要进行平差，将以多对同名点作为观测值的结果约束到同一个误差范围内。
影像的外参是指拍摄照片时相机的位置和姿态，影像的内参是指摄像机内部的焦距与相主点位置。
S4、根据影像的内参和外参感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，即融合后像点的初步位置信息；
在得到影像的内参和外参后就可以模拟人眼立体成像的原理，感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，该稀疏点云初步确认像点的实际位置信息，后续再通过与专业采集车激光雷达点云的配准处理，得到像点精确的位置信息。
具体地，采用公式进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合；其中，Wi为无人机倾斜摄影的第i个影像的特征值，DWi为无人机倾斜摄影的第i个影像的深度信息，Ci为专业采集车拍摄的第i个影像的特征值，DCi为专业采集车拍摄的第i个影像的深度信息，其中，i的取值为1到n，i为无人机倾斜摄影影像和专业采集车拍摄影像的对应匹配影像特征点；μ1、μ2为无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点对融合后像点的影响权重；
影响权重μ1和μ2的确定方式具体为：计算无人机倾斜摄影影像和专业采集车拍摄影像之间的偏差数据，T＝{T1,T2,...,Ti,…,Tn}，构建偏差函数F(W,C)＝μ1W+μ2C-ε(T)，/>使误差函数为0，计算得到的μ1和μ2即为无人机倾斜摄影影像和专业采集车拍摄影像对融合后像点的的影响权重。
步骤130、从像点稀疏点云中提取特征要素，对稀疏点云的特征要素进行立体匹配，重建密集点云；
由于稀疏点云的特征不容易识别，因而可以以已知内外参数的多幅图像(SfM的结果)为输入，采用深度学习的方法从像点稀疏点云中提取特征要素，通过多视图立体匹配算法(Multi-View Stereo(MVS))，重建出相对密集的点云数据，得到真实世界中物体/场景的三维模型。
具体地，通过深度学习的方法从像点稀疏点云中提取特征要素，具体包括如下子步骤：
S1、计算稀疏点云的中心点；
采用公式确定稀疏点云的中心点；其中，λ1、λ2为各属性权重比例；坐标点(x,y)为中心点坐标，(xi,yi)为第i个像点坐标，i的取值为1到n，n稀疏点云中像点总数。
S2、计算稀疏点云中各像点对中心点的贡献率；
采用公式计算第i个像点对中心点z的贡献率，其中，Hi为第i个像点的灰度值，Hz为中心点Z的灰度值。
S3、将对中心点的贡献率超过预设贡献率的像点作为特征要素。
步骤140、将专业采集车激光雷达点云与重建的密集点云进行精度点云重定向配准，确定各高精地图元素的实际位置信息；
激光雷达的点云数据的相对位置一般较为精确，但是车载的GPS和IMU参数不一定准确，导致激光雷达点云与影像集的立体采集环境以及匹配生成的点云并不在一个精度范围区间。所以将激光雷达的点云数据与影像重建的密集点云进行配准，均匀选取点云上少量特征点，找到立体环境中的实际控制点，进行七参数绝对定向(通过三个偏移量、三个旋转量和一个缩放量找到正式世界坐标的位置)，保证激光雷达的点云数据、影像集的立体采集环境、匹配生成的点云处于同一精度范围，避免不同数据不匹配的问题。
步骤150、使用高精地图元素构建高精地图；
对于道路设施，依据标准规范设计好道路设施标准三维模型库，使用这个三维模型库中的模型，通过空间线性变换，将其放置在地图中的相应位置。如此可以最大程度的节省成本，提高作业效率。高精地图文件有具体的格式规范，用几何元素描述了各种各样类型的道路元素，将这些道路元素合并，生成新的高精地图格式文件。
实施例二
如图2所示，本发明实施例二提供一种基于多源数据的高精地图生成系统，包括：
数据采集模块21，用于设置多种传感器搭建立体采集环境，采集生成高精地图所需的数据，包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云；
具体地，传感器采集到的用于生成高精地图所需数据包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云。
在特定的显示器上建立立体采集环境，搭建立体采集环境采集生成高精地图所需的数据，具体包括：
(1)下视立体采集：
将立体采集环境的视角调整为向下视角，采集基于地面或者倾斜于地面的高精地图元素。例如，道路元素：道路中心线、车道左边界、车道右边界、车道拓扑等；路口元素：路口边界、虚拟车道、路口连接拓扑等；道路指示物：人行横道、路面箭头、路面文字、减速带等。
(2)前视立体采集：将立体采集环境的视角调整为地面向前视角，可以采集垂直于地面或者倾斜于地面的高精地图元素。例如道路设施：红绿灯、速度标志牌、护栏、龙门架等。道路设施一般为相对复杂的三维模型数据；并且由于前视影像相对较少，且可能存在树木或者其他设施遮挡，不一定能形成立体采集环境，所以道路设施的立体采集不一定会成功，因而可以配合元素自动识别的方案共同作业。
稀疏点云构建模块22，用于提取无人机倾斜摄影影像与专业采集车拍摄影像的影像特征点，对影像特征点进行融合，得到像点稀疏点云；
由于单独的采集车上的影像数据是难以生成立体采集环境的，使用无人机和专业采集车进行影像采集，倾斜摄影是高空视角，采集车是平面视角，无人机倾斜影像和专业采集车拍摄影像采集得到的数据都是影像数据，生成立体采集环境需要一定的影像重复度，因此将两者结合得到比较好的采集效果。
将这两组影像数据进行数据融合处理，具体包括：通过图像处理算法提取影像特征点；对无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点进行匹配，只保留满足几何约束的匹配，迭代遍历每一对匹配点，从而得到两度同名点或者多度同名点(即表达相同位置的点)；通过同名点对，配合初始的GPS(全球定位系统)参数和IMU(惯性测量单元)参数，进行光束法平差，从平差的结果中获取影像的内参和外参；根据影像的内参和外参感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，即融合后像点的初步位置信息。
假设已经确定了影像之间很多对同名点，则根据成像原理，对一组同名点来说，从像主点(即摄像机在拍照时的位置，不同影像的像主点位置不同)引一条光线经过影像上的同名点，多条光线必然汇聚于地面上的某一点，这个地面点即为空间中同名点拍摄的位置。在实际作业中，同名点可能有误差，在空间中很难交汇到一点；而且同名点具有多对，需要对多对同名点进行约束，就需要进行平差，将以多对同名点作为观测值的结果约束到同一个误差范围内。
影像的外参是指拍摄照片时相机的位置和姿态，影像的内参是指摄像机内部的焦距与相主点位置。
在得到影像的内参和外参后就可以模拟人眼立体成像的原理，感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，该稀疏点云初步确认像点的实际位置信息，后续再通过与专业采集车激光雷达点云的配准处理，得到像点精确的位置信息。
具体地，采用公式进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合；其中，Wi为无人机倾斜摄影的第i个影像的特征值，DWi为无人机倾斜摄影的第i个影像的深度信息，Ci为专业采集车拍摄的第i个影像的特征值，DCi为专业采集车拍摄的第i个影像的深度信息，其中，i的取值为1到n，i为无人机倾斜摄影影像和专业采集车拍摄影像的对应匹配影像特征点；μ1、μ2为无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点对融合后像点的影响权重；
影响权重μ1和μ2的确定方式具体为：计算无人机倾斜摄影影像和专业采集车拍摄影像之间的偏差数据，T＝{T1,T2,…,Ti,…,Tn}，构建偏差函数F(W,C)＝μ1W+μ2C-ε(T)，/>使误差函数为0，计算得到的μ1和μ2即为无人机倾斜摄影影像和专业采集车拍摄影像对融合后像点的的影响权重。
密集点云重建模块23，用于从像点稀疏点云中提取特征要素，对稀疏点云的特征要素进行立体匹配，重建密集点云；
由于稀疏点云的特征不容易识别，因而可以以已知内外参数的多幅图像(SfM的结果)为输入，采用深度学习的方法从像点稀疏点云中提取特征要素，通过多视图立体匹配算法(Multi-View Stereo(MVS))，重建出相对密集的点云数据，得到真实世界中物体/场景的三维模型。
具体地，通过深度学习的方法从像点稀疏点云中提取特征要素，具体包括如下子步骤：
S1、计算稀疏点云的中心点；
采用公式确定稀疏点云的中心点；其中，λ1、λ2为各属性权重比例；坐标点(x,y)为中心点坐标，(xi,yi)为第i个像点坐标，i的取值为1到n，n稀疏点云中像点总数。
S2、计算稀疏点云中各像点对中心点的贡献率；
采用公式计算第i个像点对中心点z的贡献率，其中，Hi为第i个像点的灰度值，Hz为中心点Z的灰度值。
S3、将对中心点的贡献率超过预设贡献率的像点作为特征要素。
高精地图位置信息确定模块24，用于将专业采集车激光雷达点云与重建的密集点云进行精度点云重定向配准，确定各高精地图元素的实际位置信息；
激光雷达的点云数据的相对位置一般较为精确，但是车载的GPS和IMU参数不一定准确，导致激光雷达点云与影像集的立体采集环境以及匹配生成的点云并不在一个精度范围区间。所以将激光雷达的点云数据与影像重建的密集点云进行配准，均匀选取点云上少量特征点，找到立体环境中的实际控制点，进行七参数绝对定向(通过三个偏移量、三个旋转量和一个缩放量找到正式世界坐标的位置)，保证激光雷达的点云数据、影像集的立体采集环境、匹配生成的点云处于同一精度范围，避免不同数据不匹配的问题。
高精地图构建模块25，用于使用高精地图元素构建高精地图；
对于道路设施，依据标准规范设计好道路设施标准三维模型库，使用这个三维模型库中的模型，通过空间线性变换，将其放置在地图中的相应位置。如此可以最大程度的节省成本，提高作业效率。高精地图文件有具体的格式规范，用几何元素描述了各种各样类型的道路元素，将这些道路元素合并，生成新的高精地图格式文件。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (8)

1.一种基于多源数据的高精地图生成方法，其特征在于，包括：
设置多种传感器，采集生成高精地图所需的数据，包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云；
提取无人机倾斜摄影影像与专业采集车拍摄影像的影像特征点，对影像特征点进行融合，得到像点稀疏点云；
从像点稀疏点云中提取特征要素，对稀疏点云的特征要素进行立体匹配，重建密集点云；
将专业采集车激光雷达点云与重建的密集点云进行精度点云重定向配准，确定各高精地图元素的实际位置信息；
使用高精地图元素构建高精地图；
进行数据融合处理，具体包括：
通过图像处理算法提取影像特征点；
对无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点进行匹配，只保留满足几何约束的匹配，迭代遍历每一对匹配点，从而得到两度同名点或者多度同名点；
通过同名点对，配合初始的GPS参数和IMU参数，进行光束法平差，从平差的结果中获取影像的内参和外参；
根据影像的内参和外参感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，即融合后像点的初步位置信息。
2.如权利要求1所述的一种基于多源数据的高精地图生成方法，其特征在于，搭建立体采集环境采集生成高精地图所需的数据，具体包括：
下视立体采集：将立体采集环境的视角调整为向下视角，采集基于地面或者倾斜于地面的高精地图元素；
前视立体采集：将立体采集环境的视角调整为地面向前视角，采集垂直于地面或者倾斜于地面的高精地图元素。
3.如权利要求1所述的一种基于多源数据的高精地图生成方法，其特征在于，影像的外参是指拍摄照片时相机的位置和姿态，影像的内参是指摄像机内部的焦距与相主点位置。
4.如权利要求1所述的一种基于多源数据的高精地图生成方法，其特征在于，从像点稀疏点云中提取特征要素，具体包括如下子步骤：
计算稀疏点云的中心点；
计算稀疏点云中各像点对中心点的贡献率；
将对中心点的贡献率超过预设贡献率的像点作为特征要素。
5.一种基于多源数据的高精地图生成系统，其特征在于，包括：
数据采集模块，用于设置多种传感器搭建立体采集环境，采集生成高精地图所需的数据，包括：无人机倾斜摄影影像、专业采集车拍摄影像和专业采集车激光雷达点云；
稀疏点云构建模块，用于提取无人机倾斜摄影影像与专业采集车拍摄影像的影像特征点，对影像特征点进行融合，得到像点稀疏点云；
密集点云重建模块，用于从像点稀疏点云中提取特征要素，对稀疏点云的特征要素进行立体匹配，重建密集点云；
高精地图位置信息确定模块，用于将专业采集车激光雷达点云与重建的密集点云进行精度点云重定向配准，确定各高精地图元素的实际位置信息；
高精地图构建模块，用于使用高精地图元素构建高精地图；
进行数据融合处理，具体包括：
通过图像处理算法提取影像特征点；
对无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点进行匹配，只保留满足几何约束的匹配，迭代遍历每一对匹配点，从而得到两度同名点或者多度同名点；
通过同名点对，配合初始的GPS参数和IMU参数，进行光束法平差，从平差的结果中获取影像的内参和外参；
根据影像的内参和外参感知影像重复区域的深度信息，依据深度信息进行无人机倾斜摄影影像和专业采集车拍摄影像的影像中的特征点的融合，得到融合后像点的稀疏点云，即融合后像点的初步位置信息。
6.如权利要求5所述的一种基于多源数据的高精地图生成系统，其特征在于，搭建立体采集环境采集生成高精地图所需的数据，具体包括：
下视立体采集：将立体采集环境的视角调整为向下视角，采集基于地面或者倾斜于地面的高精地图元素；
前视立体采集：将立体采集环境的视角调整为地面向前视角，采集垂直于地面或者倾斜于地面的高精地图元素。
7.如权利要求5所述的一种基于多源数据的高精地图生成系统，其特征在于，影像的外参是指拍摄照片时相机的位置和姿态，影像的内参是指摄像机内部的焦距与相主点位置。
8.如权利要求5所述的一种基于多源数据的高精地图生成系统，其特征在于，从像点稀疏点云中提取特征要素，具体包括如下子步骤：
计算稀疏点云的中心点；
计算稀疏点云中各像点对中心点的贡献率；
将对中心点的贡献率超过预设贡献率的像点作为特征要素。
CN202310233868.5A 2023-03-03 2023-03-03 一种基于多源数据的高精地图生成方法及系统 Active CN116222592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310233868.5A CN116222592B (zh) 2023-03-03 2023-03-03 一种基于多源数据的高精地图生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310233868.5A CN116222592B (zh) 2023-03-03 2023-03-03 一种基于多源数据的高精地图生成方法及系统

Publications (2)

Publication Number Publication Date
CN116222592A CN116222592A (zh) 2023-06-06
CN116222592B true CN116222592B (zh) 2023-09-29

Family

ID=86578549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310233868.5A Active CN116222592B (zh) 2023-03-03 2023-03-03 一种基于多源数据的高精地图生成方法及系统

Country Status (1)

Country Link
CN (1) CN116222592B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN111457930A (zh) * 2020-04-02 2020-07-28 武汉中海庭数据技术有限公司 一种利用车载Lidar与无人机联合的高精度测图定位方法
CN112465732A (zh) * 2020-11-27 2021-03-09 武汉大学 一种车载激光点云与序列全景影像的配准方法
CN115017454A (zh) * 2022-05-31 2022-09-06 武汉大学 无人机和移动测量车空地协同组网遥感数据采集系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN111457930A (zh) * 2020-04-02 2020-07-28 武汉中海庭数据技术有限公司 一种利用车载Lidar与无人机联合的高精度测图定位方法
CN112465732A (zh) * 2020-11-27 2021-03-09 武汉大学 一种车载激光点云与序列全景影像的配准方法
CN115017454A (zh) * 2022-05-31 2022-09-06 武汉大学 无人机和移动测量车空地协同组网遥感数据采集系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
全息高精度导航地图:概念及理论模型;余卓渊;闾国年;张夕宁;贾远信;周成虎;葛咏;吕可晶;;地球信息科学学报(第04期);全文 *
基于多幅图像的三维重建理论及算法研究;戴嘉境;《中国优秀硕士学位论文全文数据库》(第第07期期);19-72页 *

Also Published As

Publication number Publication date
CN116222592A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN111144388B (zh) 一种基于单目影像的道路标志标线的更新方法
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN105667518B (zh) 车道检测的方法及装置
CN111275750B (zh) 基于多传感器融合的室内空间全景图像生成方法
CN107194989B (zh) 基于无人机飞机航拍的交通事故现场三维重建系统及方法
CN103377476B (zh) 使用三维地理弧的多模型数据的图像配准
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
US9798928B2 (en) System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
KR20190094405A (ko) 비디오 기반 위치결정 및 매핑을 위한 방법 및 시스템
CN113362247B (zh) 一种激光融合多目相机的语义实景三维重建方法及系统
CN106767706A (zh) 一种无人机勘查交通事故现场的航拍图像采集方法及系统
CN106529495A (zh) 一种飞行器的障碍物检测方法和装置
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN110889899A (zh) 一种数字地表模型的生成方法及装置
CN115019208A (zh) 一种面向动态交通场景的路面三维重建方法和系统
CN110443228A (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN114463303A (zh) 一种基于双目相机和激光雷达融合的道路目标检测方法
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN116222592B (zh) 一种基于多源数据的高精地图生成方法及系统
CN113190564A (zh) 地图更新系统、方法及设备
CN107507249B (zh) 一种智能车立体视觉系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant