CN113375682A - 一种数据融合对实时高精地图自动标注系统及方法 - Google Patents
一种数据融合对实时高精地图自动标注系统及方法 Download PDFInfo
- Publication number
- CN113375682A CN113375682A CN202110644734.3A CN202110644734A CN113375682A CN 113375682 A CN113375682 A CN 113375682A CN 202110644734 A CN202110644734 A CN 202110644734A CN 113375682 A CN113375682 A CN 113375682A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- precision map
- labeling
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 title claims abstract description 22
- 238000002372 labelling Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种数据融合对实时高精地图自动标注系统及方法,涉及高精地图自动标注技术领域,具体为一种数据融合对实时高精地图自动标注系统及方法,包括激光雷达、相机和转换模块,所述转换模块的输入端均连接有激光雷达和相机,所述激光雷达的输出端连接有标注模块。该数据融合对实时高精地图自动标注系统及方法通过标定把图像数据和激光雷达数据构建在同一坐标系,使得同物体在不同数据中有对应的坐标值,由于三维点云可用于检测的特征较稀疏,因此通过彩色图像的物体检测方便快捷,如车道线检测、人行横道、交通标志,构建高精地图时转换到高精地图坐标进行实时标注,可以在标注上省去大量的人力和时间成本,并且试错成本低。
Description
技术领域
本发明涉及高精地图自动标注技术领域,具体为一种数据融合对实时高精地图自动标注系统及方法。
背景技术
高精地图是通过激光雷达获取物体反射的三维点云以及点云激光强度信息组合构建的,车辆的自主导航需要人为的通过点云数据构建车道、交通标志、人行道等位置信息。
目前的高精地图主要依赖于人力标注,并且由于点云本身不具有相应物体的颜色信息,即给人为标注地图带来了不必要的麻烦,人为标注整个地图是非常费时费力的缺点。
发明内容
针对现有技术的不足,本发明提供了一种数据融合对实时高精地图自动标注系统及方法,解决了上述背景技术中提出目前的高精地图主要依赖于人力标注,并且由于点云本身不具有相应物体的颜色信息,即给人为标注地图带来了不必要的麻烦,人为标注整个地图是非常费时费力的问题。
为实现以上目的,本发明通过以下技术方案予以实现:一种数据融合对实时高精地图自动标注系统及方法,包括激光雷达、相机和转换模块,所述转换模块的输入端均连接有激光雷达和相机,所述激光雷达的输出端连接有标注模块,所述标注模块的输入端分别连接有转换模块和检测模块,所述检测模块的输入端连接有相机。
可选的,所述激光雷达用于构建高精地图,所述激光雷达通过API接口与转换模块和标注模块实现数据传输,所述激光雷达、转换模块和标注模块并联电性连接。
可选的,所述相机通过API接口与转换模块和检测模块实现数据传输,所述相机、转换模块和检测模块并联电性连接。
可选的,所述标注模块通过API接口与转换模块和检测模块实现数据输入,所述标注模块、转换模块和检测模块并联电性连接。
可选的,所述数据融合对实时高精地图自动标注方法,包括以下步骤:
S1、采集激光雷达数据:通过激光雷达获取物体反射的三维点云,以及采集激光雷达获取的数据,用于构建高精地图;
S2、采集相机数据:通过相机采集道路影像信息,获取图像数据;
S3、检测模块:将图像数据传输至检测模块,以及检测模块通过检测算法,如阈值分割、深度学习、颜色提取等提取目标位姿信息,并将数据信息传输至转换模块;
S4、转换模块:将激光雷达数据和图像数据传输至转换模块,通过转换模块联合标定获得关系矩阵变换RT,并通过RT矩阵变换,获取目标物高精地图上的对应坐标;
S5、标注模块:将步骤S1、采集激光雷达数据构建的高精地图数据,以及步骤S4、转换模块中的高精地图上的坐标信息导入至标注模块,标注模块对地图上对应的目标位置区域进行处理,得到目标的轮廓进行标注;
S6、获取高精地图:获取带标注信息的高精地图数据。
本发明提供了一种数据融合对实时高精地图自动标注系统及方法,具备以下有益效果:
1、该数据融合对实时高精地图自动标注系统及方法通过标定把图像数据和激光雷达数据构建在同一坐标系,使得同物体在不同数据中有对应的坐标值,由于三维点云可用于检测的特征较稀疏,因此通过彩色图像的物体检测方便快捷,如车道线检测、人行横道、交通标志,构建高精地图时转换到高精地图坐标进行实时标注,可以在标注上省去大量的人力和时间成本,并且试错成本低。
2、该数据融合对实时高精地图自动标注系统及方法提供了一种新的标注思想,融合了多种图像检测方法,比如深度学习,颜色分割以及霍夫检测等,通过实时检测的目标物位置,此为第一部分检测模块,通过标定的变换矩阵,把图像坐标转换为高精地图坐标获得对应物体位置,此为坐标转换模块。获得物体在高精地图的位置,对roi进行阈值分割,轮廓检测等处理后,进行标注操作,保存地图数据,是最后的标注模块。
3、该数据融合对实时高精地图自动标注系统及方法通过激光雷达依赖于实时卫星定位不断拼接每一帧的激光数据后保存地图数据,最后通过人工精细标注完善,以及在原有的基础上加入实时物体检测,把简单容易实现的物体在进行地图构建时,实时标注检测物体,减少各方面的成本花费。
4、该数据融合对实时高精地图自动标注系统及方法可以有效提取车道线、人行横道,交通标识等具有明显特征的物体,不仅仅提高了标注的速度,做到一边采集一边标注,把部分重复操作的部分使用程序代替,还大大减少了人力所需要的金钱成本和时间成本。
5、该数据融合对实时高精地图自动标注系统及方法设置有转换模块通过使用棋盘格标定法对相机进行标定,通过求解相机和激光雷达联合标定获得关系矩阵变换RT,作用是为了获得图像上的目标物在地图上的实际位置,缩小处理范围,定向提取目标物的标注信息;检测模块,因为彩色图像上的特征点相比点云丰富的多,物体检测上相比点云不仅高效而且准确率高,实时性好;标注模块,高精地图通常压缩成二维灰度图,车道线等目标物灰度值较高,区别于其他物体,通过图像获得其小范围区域进行定向处理获得其标注信息,每一帧的标注信息持续拼接叠加,实时更新保存。
附图说明
图1为本发明主视结构示意图;
图2为本发明槽架的结构示意图;
图3为本发明固定框架的结构示意图。
图中:1、激光雷达;2、相机;3、转换模块;4、检测模块;5、标注模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上;术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1至图3,本发明提供一种技术方案:一种数据融合对实时高精地图自动标注系统及方法,包括激光雷达1、相机2和转换模块3,转换模块3的输入端均连接有激光雷达1和相机2,激光雷达1的输出端连接有标注模块5,标注模块5的输入端分别连接有转换模块3和检测模块4,检测模块4的输入端连接有相机2。
发明中:激光雷达1用于构建高精地图,激光雷达1通过API接口与转换模块3和标注模块5实现数据传输,激光雷达1、转换模块3和标注模块5并联电性连接。
发明中:相机2通过API接口与转换模块3和检测模块4实现数据传输,相机2、转换模块3和检测模块4并联电性连接。
发明中:标注模块5通过API接口与转换模块3和检测模块4实现数据输入,标注模块5、转换模块3和检测模块4并联电性连接。
发明中:数据融合对实时高精地图自动标注方法,包括以下步骤:
S1、采集激光雷达数据:通过激光雷达1获取物体反射的三维点云,以及采集激光雷达1获取的数据,用于构建高精地图;
S2、采集相机数据:通过相机2采集道路影像信息,获取图像数据;
S3、检测模块:将图像数据传输至检测模块4,以及检测模块4通过检测算法,如阈值分割、深度学习、颜色提取等提取目标位姿信息,并将数据信息传输至转换模块3;
S4、转换模块:将激光雷达1数据和图像数据传输至转换模块3,通过转换模块3联合标定获得关系矩阵变换RT,并通过RT矩阵变换,获取目标物高精地图上的对应坐标;
S5、标注模块:将步骤S1、采集激光雷达数据构建的高精地图数据,以及步骤S4、转换模块中的高精地图上的坐标信息导入至标注模块5,标注模块5对地图上对应的目标位置区域进行处理,得到目标的轮廓进行标注;
S6、获取高精地图:获取带标注信息的高精地图数据。
综上,该数据融合对实时高精地图自动标注系统及方法,使用时,首先,通过激光雷达1获取物体反射的三维点云,以及采集激光雷达1获取的数据,用于构建高精地图,接着,通过相机2采集道路影像信息,获取图像数据;其次,将图像数据传输至检测模块4,以及检测模块4通过检测算法,如阈值分割、深度学习、颜色提取等提取目标位姿信息,并将数据信息传输至转换模块3;再其次,将激光雷达1数据和图像数据传输至转换模块3,通过转换模块3联合标定获得关系矩阵变换RT,并通过RT矩阵变换,获取目标物高精地图上的对应坐标;然后,将高精地图数据,以及高精地图上的坐标信息导入至标注模块5,标注模块5对地图上对应的目标位置区域进行处理,得到目标的轮廓进行标注;最后,获取带标注信息的高精地图数据。
以上,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (5)
1.一种数据融合对实时高精地图自动标注系统,包括激光雷达(1)、相机(2)和转换模块(3),其特征在于:所述转换模块(3)的输入端均连接有激光雷达(1)和相机(2),所述激光雷达(1)的输出端连接有标注模块(5),所述标注模块(5)的输入端分别连接有转换模块(3)和检测模块(4),所述检测模块(4)的输入端连接有相机(2)。
2.根据权利要求1所述的一种数据融合对实时高精地图自动标注系统及方法,其特征在于:所述激光雷达(1)用于构建高精地图,所述激光雷达(1)通过API接口与转换模块(3)和标注模块(5)实现数据传输,所述激光雷达(1)、转换模块(3)和标注模块(5)并联电性连接。
3.根据权利要求1所述的一种数据融合对实时高精地图自动标注系统及方法,其特征在于:所述相机(2)通过API接口与转换模块(3)和检测模块(4)实现数据传输,所述相机(2)、转换模块(3)和检测模块(4)并联电性连接。
4.根据权利要求1所述的一种数据融合对实时高精地图自动标注系统及方法,其特征在于:所述标注模块(5)通过API接口与转换模块(3)和检测模块(4)实现数据输入,所述标注模块(5)、转换模块(3)和检测模块(4)并联电性连接。
5.根据权利要求1-4任一项所述的一种数据融合对实时高精地图自动标注方法,其特征在于,所述数据融合对实时高精地图自动标注方法,包括以下步骤:
S1、采集激光雷达数据:通过激光雷达(1)获取物体反射的三维点云,以及采集激光雷达(1)获取的数据,用于构建高精地图;
S2、采集相机数据:通过相机(2)采集道路影像信息,获取图像数据;
S3、检测模块:将图像数据传输至检测模块(4),以及检测模块(4)通过检测算法,如阈值分割、深度学习、颜色提取等提取目标位姿信息,并将数据信息传输至转换模块(3);
S4、转换模块:将激光雷达(1)数据和图像数据传输至转换模块(3),通过转换模块(3)联合标定获得关系矩阵变换RT,并通过RT矩阵变换,获取目标物高精地图上的对应坐标;
S5、标注模块:将步骤S1、采集激光雷达数据构建的高精地图数据,以及步骤S4、转换模块中的高精地图上的坐标信息导入至标注模块(5),标注模块(5)对地图上对应的目标位置区域进行处理,得到目标的轮廓进行标注;
S6、获取高精地图:获取带标注信息的高精地图数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110644734.3A CN113375682A (zh) | 2021-06-09 | 2021-06-09 | 一种数据融合对实时高精地图自动标注系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110644734.3A CN113375682A (zh) | 2021-06-09 | 2021-06-09 | 一种数据融合对实时高精地图自动标注系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113375682A true CN113375682A (zh) | 2021-09-10 |
Family
ID=77573401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110644734.3A Pending CN113375682A (zh) | 2021-06-09 | 2021-06-09 | 一种数据融合对实时高精地图自动标注系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113375682A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104865578A (zh) * | 2015-05-12 | 2015-08-26 | 上海交通大学 | 一种室内停车场高精细地图生成装置及方法 |
CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
CN110018470A (zh) * | 2019-03-01 | 2019-07-16 | 北京纵目安驰智能科技有限公司 | 基于多传感器前融合的实例标注方法、模型、终端和存储介质 |
KR20190087338A (ko) * | 2019-02-27 | 2019-07-24 | 주식회사 스트리스 | 수치지도 및 도로정밀지도 구축 자동화를 위한 방법 |
CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
-
2021
- 2021-06-09 CN CN202110644734.3A patent/CN113375682A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104865578A (zh) * | 2015-05-12 | 2015-08-26 | 上海交通大学 | 一种室内停车场高精细地图生成装置及方法 |
CN109556617A (zh) * | 2018-11-09 | 2019-04-02 | 同济大学 | 一种自动建图机器人的地图要素提取方法 |
KR20190087338A (ko) * | 2019-02-27 | 2019-07-24 | 주식회사 스트리스 | 수치지도 및 도로정밀지도 구축 자동화를 위한 방법 |
CN110018470A (zh) * | 2019-03-01 | 2019-07-16 | 北京纵目安驰智能科技有限公司 | 基于多传感器前融合的实例标注方法、模型、终端和存储介质 |
CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111273305B (zh) | 基于全局与局部栅格图多传感器融合道路提取与索引方法 | |
CN108764187B (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
CN106651953B (zh) | 一种基于交通指示牌的车辆位姿估计方法 | |
CN109556617A (zh) | 一种自动建图机器人的地图要素提取方法 | |
CN114413881B (zh) | 高精矢量地图的构建方法、装置及存储介质 | |
CN110648389A (zh) | 基于无人机和边缘车辆协同的城市街景3d重建方法和系统 | |
CN109446973B (zh) | 一种基于深度神经网络图像识别的车辆定位方法 | |
CN104123730A (zh) | 基于道路特征的遥感影像与激光点云配准方法及系统 | |
CN112308913B (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
CN112861748B (zh) | 一种自动驾驶中的红绿灯检测系统及方法 | |
CN111323027A (zh) | 一种基于激光雷达与环视相机融合制作高精度地图方法及装置 | |
CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
CN112419512A (zh) | 一种基于语义信息的空中三维模型修复系统及方法 | |
CN110901638A (zh) | 驾驶辅助方法及系统 | |
CN116895060A (zh) | 一种基于场景重建的三维车道线标注方法与装置 | |
CN115546551A (zh) | 一种基于深度学习的地理信息提取方法及系统 | |
CN113673386B (zh) | 一种交通信号灯在先验地图中的标注方法 | |
CN115031744A (zh) | 一种基于稀疏点云-纹理信息的认知地图定位方法及系统 | |
CN110660113A (zh) | 特征地图的建立方法、装置、采集设备和存储介质 | |
CN113219472A (zh) | 一种测距系统和方法 | |
CN117423077A (zh) | Bev感知模型、构建方法、装置、设备、车辆及存储介质 | |
CN113190564A (zh) | 地图更新系统、方法及设备 | |
CN113375682A (zh) | 一种数据融合对实时高精地图自动标注系统及方法 | |
CN115980780A (zh) | 一种基于激光雷达的区域信息监测方法及系统 | |
Du | Lane line detection and vehicle identification using monocular camera based on matlab |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210910 |