CN108801274B - 一种融合双目视觉和差分卫星定位的地标地图生成方法 - Google Patents
一种融合双目视觉和差分卫星定位的地标地图生成方法 Download PDFInfo
- Publication number
- CN108801274B CN108801274B CN201810339051.5A CN201810339051A CN108801274B CN 108801274 B CN108801274 B CN 108801274B CN 201810339051 A CN201810339051 A CN 201810339051A CN 108801274 B CN108801274 B CN 108801274B
- Authority
- CN
- China
- Prior art keywords
- landmark
- dimensional
- coordinates
- camera
- binocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000009977 dual effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000004971 IR microspectroscopy Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012060 immune response imaging Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000003068 static effect Effects 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种融合双目视觉和差分卫星定位的地标地图生成方法，先搭建采集系统，建立车辆坐标系，再通过双目相机和差分卫星定位的坐标系统一和信号同步实现图像的采集，利用深度学习算法检测采集到的图像中的静态地标，并进行特征提取和三维重建，然后完成坐标系统的转换，为检测到的地标计算出地球坐标系下的精确位置。
Description
技术领域
本发明属于地图测绘技术领域，更为具体地讲，涉及一种融合双目视觉和差分卫星定位的地标地图生成方法。
背景技术
地标地图是一种将地图去除冗余信息以轻量化形式存储的高精度地图，可以为智能车提供部分静态目标感知，或称为地标感知，并通过静态地标的位置实现智能车辆自身的定位。目前，以色列、日本、美国等高科技公司都在从事地标地图方面的研发和采集工作，例如Mobile的EyeQ地图，丰田的地标影像地图，lvl5众包纯视觉地图。而国内例如百度、四维图新、高德等图商都着重于以激光雷达点云的重地图方式来为智能车提供高精度地图。
经过对现有技术专利进行检索发现，我们发现基于双目相机的高精度视觉定位地图生成系统及方法(申请号2016100288342)，基于车载多传感器融合的三维高精度地图生成系统及方法(申请号2017106290232)与本专利相关。基于双目相机的高精度视觉定位地图生成系统及方法是利用了视觉的方式记录图像中的特征点，并将图像特征点植入地图形成特征点地图；基于车载多传感器融合的三维高精度地图生成系统及方法是利用摄像头、激光测距仪、GPS/INS接收处理器和差分卫星定位基准台等生成信息量更大的地图，以通过视觉匹配实现车辆定位。
发明内容
本发明的目的在于克服现有技术的不足，提供一种融合双目视觉和差分卫星定位的地标地图生成方法，利用双目相机和差分卫星定位信号实现静态地标的定位计算，建立轻量化地标地图。
为实现上述发明目的，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，包括以下步骤：
(1)、搭建采集系统，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2；
通过双目相机与双定位天线之间物理关系以及车头方向
标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
(2)、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别采集图像IL、IR；
(3)、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，并构建内参矩阵K；
(4)、利用深度学习算法检测左图像IL或右图像IR中的地标块
利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，
为二维矩形框的四个顶点，i＝1,2,…,N；
(5)、特征点的三维重建
(5.1)、提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
利用多视觉几何方法，重建二维特征点
对应的三维特征点
的坐标
(5.2)、建立优化目标函数F，并对重建的三维特征点进行优化
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
(6)、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标
其中，
再根据相机中心的绝对坐标
和车头朝向
以及地标块重建的相对位
置
确定N个地标块在地球坐标系下绝对坐标
(7)、、重复步骤(4)-(6)，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标
τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值
用平均值
作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
本发明的发明目的是这样实现的：
本发明一种融合双目视觉和差分卫星定位的地标地图生成方法，先搭建采集系统，建立车辆坐标系，再通过双目相机和差分卫星定位的坐标系统一和信号同步实现图像的采集，利用深度学习算法检测采集到的图像中的静态地标，并进行特征提取和三维重建，然后完成坐标系统的转换，为检测到的地标计算出地球坐标系下的精确位置。
同时，本发明一种融合双目视觉和差分卫星定位的地标地图生成方法还具有以下有益效果：
(1)、本发明融合双目相机和双天线差分卫星定位，建立地球坐标系的采集系统。
(2)、本发明中采用的双目相机的基线较大，图像稀疏点重建稳定，精度较单目相机重建精度高。
(3)、本发明采用自动关联深度目标识别方法，利用多帧、多点跟踪，计算同一地标的多个位置，统计得到地标最终经纬度坐标，建立高精度地标地图数据库。
附图说明
图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成系统原理图；
图2是本发明一种融合双目视觉和差分卫星定位的地标地图生成方法流程图；
图3是地标地图生成系统实物图；
图4是双目相机标定前后图像对比图；
图5是地标地图生成效果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
图1是本发明一种融合双目视觉和差分卫星定位的地标地图生成系统原理图。
在本实施例中，如图1所示，本发明一种融合双目视觉和差分卫星定位的地标地图生成系统主要包括：
图像采集模块：用于采集双目相机和差分卫星定位的双定位天线组成；通过对双目相机图像进行矫正，建立统一的地球坐标系，并通过网络或者存储介质上传至地图构建运算中心。其中差分卫星定位信号，采用RTK接收器接收千寻的差分信号获得。
地标识别模块：利用深度学习训练模型检测地标，并返回地标在二维图像中的坐标；
地标定位模块：实现地标跟踪，计算每一时刻的地标位置，统计多次计算的地标位置，建立地标数据库。
下面我们结合图2对本发明一种融合双目视觉和差分卫星定位的地标地图生成方法进行详细，具体包括以下步骤：
S1、搭建采集系统，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2,搭建好的采集系统如图3所示；
通过双目相机与双定位天线之间物理关系以及车头方向
标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
S2、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别同时采集图像，标记为IL、IR；
S3、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，内部参数包括相机的畸变参数、焦距和中心偏移，再利用这些内部参数构建内参矩阵K；在本实施例中，双目相机定标前后的对比效果如图4所示；
S4、利用深度学习算法检测左图像IL或右图像IR中的地标块
在完成此步工作时，首先要搜集地标的训练库，主要包括交通标志等，路灯、车道线、路肩等一切跟交通相关的信息，训练好深度学习模型DM；
再利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，
为二维矩形框的四个顶点，i＝1,2,…,N；
S5、特征点的三维重建
S5.1、利用ORB、SURF、SIFT等算法提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再利用极线搜索方法对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
利用多视觉几何方法，重建二维特征点
对应的三维特征点
的坐标
S5.2、建立优化目标函数F，并对重建的三维特征点进行优化
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
S6、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标
其中，
再根据相机中心的绝对坐标
和车头朝向
以及地标块重建的相对位置
确定N个地标块在地球坐标系下绝对坐标
具体确定方法如下：
将相对三维坐标
按照如下公式转换至地球坐标系下的绝对坐标；
Pi a＝K·R-1·PBi-R1·t
S7、重复步骤S4-S6，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标
τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值
用平均值
作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
在本实施例中，生成的地标地图如图5所示，其中左边是显示的右相机视图，右边显示的是标有地标位置的地图。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，包括以下步骤：
(1)、搭建采集系统，建立车辆坐标系
将双目相机和差分卫星定位的双定位天线固定至车顶，且保证双目相机和双定位天线处于同一平面，同时保证双目相机的中心相距d1，双定位天线的中心d2；
通过双目相机与双定位天线之间物理关系以及车头方向
标定双目相机与双定位天线在以地心为中心的坐标系下的绝对坐标
(2)、图像采集
在双目相机与差分卫星定位信号同步下，左右相机分别采集图像IL、IR；
(3)、相机定标
对双目相机进行内参标定，获取双目相机的内部参数，并构建内参矩阵K；
(4)、利用深度学习算法检测左图像IL或右图像IR中的地标块
利用训练好的深度学习模型DM检测左图像IL或右图像IR中的地标块，标记为B1,B2,…,BN，N表示地标块的个数，再返回地标块的所处的二维矩形框，
为二维矩形框的四个顶点，i＝1,2,…,N；
(5)、特征点的三维重建
(5.1)、提取左、右图像中的二维特征点(xj,yj)L、(xj,yj)R,j＝1,2,…,M，M表示二维特征点的个数，M＞＞N；再对提取的(xj,yj)L和(xj,yj)R进行特征快速匹配，得到匹配后的二维特征点，然后利用双目相机的内部参数对匹配后的二维特征点进行畸变矫正，得到矫正后的二维特征点
利用多视觉几何方法，重建二维特征点
对应的三维特征点
的坐标
(5.2)、建立优化目标函数F，并对重建的三维特征点进行优化
其中，R表示相对旋转矩阵，t表示相对平移向量，d表示计算欧式距离；
(6)、搜索位于地标块中的二维特征点，建立二维特征点的坐标(x1,y1),(x2,y2),…,(xN,yN)到其三维重建的映射下的相对三维坐标
其中，
再根据相机中心的绝对坐标
和车头朝向
以及地标块重建的相对位置
确定N个地标块在地球坐标系下绝对坐标
(7)、重复步骤(4)-(6)，计算连续多帧图像中第i个地标块在地球坐标系下的经纬度坐标
τ表示第τ帧图像，然后求取第i个地标块的经纬度坐标平均值
用平均值
作为第i个地标块最终的经纬度坐标，再将识别到的地标块及对应的经纬度坐标保存到地标数据库，建立地标地图。
2.根据权利要求1所述的一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，所述的双目相机内部参数包括相机的畸变参数、焦距和中心偏移。
3.根据权利要求1所述的一种融合双目视觉和差分卫星定位的地标地图生成方法，其特征在于，所述步骤(6)中，将相对三维坐标
按照如下公式转换至地球坐标系下的绝对坐标；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810339051.5A CN108801274B (zh) | 2018-04-16 | 2018-04-16 | 一种融合双目视觉和差分卫星定位的地标地图生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810339051.5A CN108801274B (zh) | 2018-04-16 | 2018-04-16 | 一种融合双目视觉和差分卫星定位的地标地图生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108801274A CN108801274A (zh) | 2018-11-13 |
| CN108801274B true CN108801274B (zh) | 2021-08-13 |
Family
ID=64094316
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810339051.5A Active CN108801274B (zh) | 2018-04-16 | 2018-04-16 | 一种融合双目视觉和差分卫星定位的地标地图生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108801274B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109583409A (zh) * | 2018-12-07 | 2019-04-05 | 电子科技大学 | 一种面向认知地图的智能车定位方法及系统 |
| DE102018222169A1 (de) * | 2018-12-18 | 2020-06-18 | Eidgenössische Technische Hochschule Zürich | Bordeigenes visuelles Ermitteln kinematischer Messgrößen eines Schienenfahrzeugs |
| CN109828571A (zh) * | 2019-02-18 | 2019-05-31 | 奇瑞汽车股份有限公司 | 基于v2x的自动驾驶车辆、方法和装置 |
| CN110514212A (zh) * | 2019-07-26 | 2019-11-29 | 电子科技大学 | 一种融合单目视觉和差分gnss的智能车地图地标定位方法 |
| CN111311654B (zh) * | 2020-02-13 | 2023-11-24 | 北京百度网讯科技有限公司 | 一种相机位置的配准方法、装置、电子设备及存储介质 |
| CN111461039B (zh) * | 2020-04-07 | 2022-03-25 | 电子科技大学 | 基于多尺度特征融合的地标识别方法 |
| CN111652940B (zh) * | 2020-04-30 | 2024-06-04 | 平安国际智慧城市科技股份有限公司 | 目标异常识别方法、装置、电子设备及存储介质 |
| CN113624244A (zh) * | 2020-05-07 | 2021-11-09 | 中移物联网有限公司 | 基于双目视觉绘制地标地图的装置、系统及方法 |
| CN111598937A (zh) * | 2020-05-18 | 2020-08-28 | 浙江大学 | 一种基于标定区块对靶校正的农田测亩方法及系统 |
| CN112735163B (zh) * | 2020-12-25 | 2022-08-02 | 阿波罗智联(北京)科技有限公司 | 确定目标物体静止状态的方法、路侧设备、云控平台 |
| CN114200498A (zh) * | 2022-02-16 | 2022-03-18 | 湖南天巡北斗产业安全技术研究院有限公司 | 卫星导航/光学组合的目标检测方法及系统 |
| CN118442973B (zh) * | 2024-07-05 | 2024-09-27 | 天津水运工程勘察设计院有限公司 | 基于双目视觉靶标自识别跟踪的海上导管架施工定位方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102506757B (zh) * | 2011-10-10 | 2014-04-23 | 南京航空航天大学 | 双目立体测量系统多视角测量中的自定位方法 |
| US8818133B2 (en) * | 2012-07-11 | 2014-08-26 | Raytheon Company | Point cloud construction with unposed camera |
| CN104748746B (zh) * | 2013-12-29 | 2017-11-03 | 刘进 | 智能机姿态测定及虚拟现实漫游方法 |
| CN104933755B (zh) * | 2014-03-18 | 2017-11-28 | 华为技术有限公司 | 一种静态物体重建方法和系统 |
| CN104376552B (zh) * | 2014-09-19 | 2017-12-29 | 四川大学 | 一种3d模型与二维图像的虚实配准方法 |
| CN106228538B (zh) * | 2016-07-12 | 2018-12-11 | 哈尔滨工业大学 | 基于logo的双目视觉室内定位方法 |
-
2018
- 2018-04-16 CN CN201810339051.5A patent/CN108801274B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108801274A (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108801274B (zh) | 一种融合双目视觉和差分卫星定位的地标地图生成方法 | |
| CN108534782B (zh) | 一种基于双目视觉系统的地标地图车辆即时定位方法 | |
| CN107505644B (zh) | 基于车载多传感器融合的三维高精度地图生成系统及方法 | |
| CN111436216B (zh) | 用于彩色点云生成的方法和系统 | |
| CN109685842B (zh) | 一种基于多尺度网络的稀疏深度稠密化方法 | |
| CN110859044B (zh) | 自然场景中的集成传感器校准 | |
| CN108802785A (zh) | 基于高精度矢量地图和单目视觉传感器的车辆自定位方法 | |
| CN115032651A (zh) | 一种基于激光雷达与机器视觉融合的目标检测方法 | |
| CN112461210B (zh) | 一种空地协同建筑测绘机器人系统及其测绘方法 | |
| CN109547769B (zh) | 一种公路交通动态三维数字场景采集构建系统及其工作方法 | |
| CN109709977B (zh) | 移动轨迹规划的方法、装置及移动物体 | |
| CN110319772A (zh) | 基于无人机的视觉大跨度测距方法 | |
| CN103093459A (zh) | 利用机载LiDAR点云数据辅助影像匹配的方法 | |
| CN117253029B (zh) | 基于深度学习的图像匹配定位方法及计算机设备 | |
| CN113643345A (zh) | 一种基于双光融合的多目道路智能识别方法 | |
| CN112132900B (zh) | 一种视觉重定位方法及系统 | |
| CN114037762B (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
| CN110736472A (zh) | 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法 | |
| CN114063127A (zh) | 一种多焦距视觉slam与gps融合的方法及存储介质 | |
| CN115950435A (zh) | 无人机巡检影像的实时定位方法 | |
| CN114485654A (zh) | 一种基于高精地图的多传感器融合定位方法及装置 | |
| CN110986888A (zh) | 一种航空摄影一体化方法 | |
| CN113296133A (zh) | 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法 | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |