CN112347935B - 一种基于双目视觉slam的自动驾驶车辆定位方法及系统 - Google Patents
一种基于双目视觉slam的自动驾驶车辆定位方法及系统 Download PDFInfo
- Publication number
- CN112347935B CN112347935B CN202011234688.1A CN202011234688A CN112347935B CN 112347935 B CN112347935 B CN 112347935B CN 202011234688 A CN202011234688 A CN 202011234688A CN 112347935 B CN112347935 B CN 112347935B
- Authority
- CN
- China
- Prior art keywords
- binocular vision
- module
- detection
- vehicle
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双目视觉SLAM的自动驾驶车辆定位方法及系统,包括以下步骤,利用标定模块对双目视觉传感器进行自身标定;坐标变换模块获取变换矩阵;所述双目视觉传感器采集道路前方的相机图像;所述相机图像输入检测模块中利用SSD检测算法得到道路前方车辆的平面检测框图像坐标;所述检测模块,计算出道路前方车辆的立体检测框;定位模块进行自身跟踪定位。本发明的有益效果:本发明硬件要求低,仅需要在车前固定一个双目相机传感器,大大降低了成本要求;同时视觉传感器较激光雷达传感器在相似性匹配方面具有较好的优势,能够达到对道路前方车辆立体检测的功能。
Description
技术领域
本发明涉及自动驾驶的技术领域,尤其涉及一种基于双目视觉SLAM的自动驾驶车辆定位方法及车辆定位系统。
背景技术
自动驾驶汽车又称无人驾驶汽车、电脑驾驶汽车、或轮式移动机器人,是一种通过电脑系统实现无人驾驶的智能汽车,汽车自动驾驶技术包括视频摄像头、雷达传感器以及激光测距器来了解周围的交通状况,并通过一个详尽的地图对前方的道路进行导航。在自动驾驶领域中,精确的定位是非常重要的一环,当前主流的自动驾驶车辆的定位方案采用的传感器为激光雷达,定位算法采用激光SLAM算法,其具有简单,技术较成熟的优点。
然而,由于激光雷达传感器固有的缺点,在雨雪及扬尘等天气下定位效果较差,并且激光雷达传感器往往具有较高的价格,这使得成本大大提高。这给自动驾驶车辆的普及带来了极大的不利。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题,提出了本发明。
因此,本发明解决的一个技术问题是:提出一种基于双目视觉SLAM的自动驾驶车辆定位方法,满足自动驾驶车辆在道路上行驶时的定位需求及对道路前方车辆感知的需求。
为解决上述技术问题,本发明提供如下技术方案:一种基于双目视觉SLAM的自动驾驶车辆定位方法,包括以下步骤,利用标定模块对双目视觉传感器进行自身标定;坐标变换模块获取所述双目视觉传感器的左目到车身中心位置的变换矩阵;所述双目视觉传感器采集道路前方的相机图像;所述相机图像输入检测模块中利用SSD检测算法得到道路前方车辆的平面检测框图像坐标;所述检测模块再根据左、右双目中的所述平面检测框图像内的匹配特征点对,计算出道路前方车辆的立体检测框;定位模块使用双目视觉SLAM算法进行自身跟踪定位。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:所述标定模块对所述双目视觉传感器的内参矩阵、畸变系数和双目基线进行标定,通过在所述双目视觉传感器前放置标定板,同时获取左右图像,使用张正友标定法进行标定,得到相机内参、畸变系数和双目基线。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:所述坐标变换模块通过在将所述双目视觉传感器在车辆前固定后,使用刻度尽分别测量出x,y,z三轴的偏移距离,根据所述偏移距离输入所述坐标变换模块中得到变换矩阵。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:所述立体检测框的生成包括以下步骤,用ORB特征检测子对所述平面检测框内的图像区域进行特征检测;使用ORB特征描述子进行特征匹配,匹配输出左右目图像中的对应特征点的图像坐标;使用三角化算法计算出所述特征点对应的空间位置。所述特征点对应的空间点进行最小外接立方体拟合得出所述立体检测框。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:使用所述双目视觉SLAM算法进行自动驾驶车辆自身的运动跟踪包括排除掉图像中车辆的检测框区域,利用图像的其它区域使用基于双目的视觉SLAM算法进行跟踪定位。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:所述张正友标定法进行标定得到相机内参包括以下步骤,所述双目视觉传感器前放置标定板;采集至少两张不同角度的平面标定板图像;计算并检测标定图像中的所有标志点;求解出各标定图像中的单位矩阵H;设畸变系数为0,通过矩阵H求得摄像机的内外参数。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:所述三角化算法包括以下步骤,定义双目摄像机矩阵分别为P与P1,x-x1为两幅图像的一组特征对应点;恢复它们的三维空间点X,即满足x=P X,x1=P1x;对于第一张图像,xPX=0;xP3 TX-P1 TX=0、yP3 T-P2 TX=0、xP2 TX-P1 TX=0;其中Pi T为P的第i行,将上式联立得到AX=0的线性方程组;解AX=0求得三维空间点坐标X。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:所述ORB特征检测子检测包括以下步骤,用FAST特征点检测的方法来检测特征点;利用Harris角点的度量方法,从FAST特征点从挑选出Harris角点响应值最大的N个特征点;定义Harris角点的响应函数定义为R=detM-α(traceM)2。
作为本发明所述基于双目视觉SLAM的自动驾驶车辆定位方法的一种优选方案,其中:所述ORB特征描述子包括以下步骤,选择BRIEF作为特征描述方法;对于任何特征点,RIEF描述子为长度为n的二值码串,所述二值码串是由特征点周围n个点对,即2n个点生成的;将所述2n个点,i=1,2,…,2n组成一个矩阵S;
使用邻域方向θ和对应的旋转矩阵Rθ,构建S的一个校正版本Sθ;
本发明解决的另一个技术问题是:提出一种基于双目视觉SLAM的自动驾驶车辆定位系统,满足自动驾驶车辆在道路上行驶时的定位需求及对道路前方车辆感知的需求。
为解决上述技术问题,本发明提供如下技术方案:一种基于双目视觉SLAM的自动驾驶车辆定位系统,包括标定模块、双目视觉传感器、坐标变换模块、检测模块和定位模块;所述标定模块与所述双目视觉传感器连接其用于其标定;所述坐标变换模块与所述标定模块连接,用于求出所述双目视觉传感器的左目到车身中心位置的变换矩阵;所述检测模块与所述双目视觉传感器连接,用于得到道路前方车辆的平面检测框图像坐标;所述定位模块与所述检测模块连接,用于利用所述检测模块检测的检测框区域进行自身跟踪定位。
本发明的有益效果:本发明硬件要求低,仅需要在车前固定一个双目相机传感器,大大降低了成本要求;同时视觉传感器较激光雷达传感器在相似性匹配方面具有较好的优势,能够达到对道路前方车辆立体检测的功能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。其中:
图1本发明第一种实施例所述基于双目视觉SLAM的自动驾驶车辆定位方法的原理流程示意图;
图2本发明第一种实施例所述基于双目视觉SLAM的自动驾驶车辆定位方法的整体流程结构示意图;
图3本发明第一种实施例所述SSD网络结构示意图;
图4本发明第二种实施例所述基于双目视觉SLAM的自动驾驶车辆定位系统的整体原理结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合说明书附图对本发明的具体实施方式做详细的说明,显然所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广,因此本发明不受下面公开的具体实施例的限制。
其次,此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例,也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述,在详述本发明实施例时,为便于说明,表示器件结构的剖面图会不依一般比例作局部放大,而且所述示意图只是示例,其在此不应限制本发明保护的范围。此外,在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中,需要说明的是,术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一、第二或第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定,术语“安装、相连、连接”应做广义理解,例如:可以是固定连接、可拆卸连接或一体式连接;同样可以是机械连接、电连接或直接连接,也可以通过中间媒介间接相连,也可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1~2的示意,示意为本实施例中提出的一种基于双目视觉SLAM的自动驾驶车辆定位方法,SLAM也称为CML,即时定位与地图构建或并发建图与定位,汽车自动驾驶技术包括视频摄像头、雷达传感器以及激光测距器来了解周围的交通状况,并通过一个详尽的地图(通过有人驾驶汽车采集的地图)对前方的道路进行导航。其中自动驾驶汽车最重要的主控电脑被安排在后车厢,这里除了用于运算的电脑外,还有测距信息综合器,这套核心装备将负责汽车的行驶路线、方式的判断和执行。而对于自动驾驶来说,定位是让无人驾驶汽车知道自身确切位置的技术,这是一个有趣且富有挑战的任务,对于无人驾驶汽车来说非常重要,本实施例则基于视觉进行车辆定位,因为对于自动驾驶汽车,图像是收集起来最简单的数据类型,摄像头便宜且种类繁多,而且易于使用,摄像头图像通常与高精度地图、GPS的数据相结合,从而实现更好的定位效果。
进一步的,本实施例中提出的基于双目视觉SLAM的自动驾驶车辆定位方法具体包括以下步骤,
S1:利用标定模块100对双目视觉传感器200进行自身标定;标定模块100对双目视觉传感器200的内参矩阵、畸变系数和双目基线进行标定,通过在双目视觉传感器200前放置标定板,同时获取左右图像,使用张正友标定法进行标定,得到相机内参、畸变系数和双目基线。
其中张正友标定法进行标定得到相机内参包括以下步骤,
双目视觉传感器200前放置标定板;
采集至少两张不同角度的平面标定板图像;
计算并检测标定图像中的所有标志点;
求解出各标定图像中的单位矩阵H;
设畸变系数为0,通过矩阵H求得摄像机的内外参数。
S2:坐标变换模块300获取双目视觉传感器200的左目到车身中心位置的变换矩阵;坐标变换模块300通过在将双目视觉传感器200在车辆前固定后,使用刻度尽分别测量出x,y,z三轴的偏移距离,根据偏移距离输入坐标变换模块300中得到变换矩阵。
S3:双目视觉传感器200采集道路前方的相机图像;
S4:相机图像输入检测模块400中利用SSD检测算法得到道路前方车辆的平面检测框图像坐标。SSD用于实时目标检测的深度学习框架,指对单张图片中的物体的类别和位置进行标注,位置信息是通过边界框来描述的,该边界框是一组四个数:xmin、ymin、xmax、ymax共同描述物体的位置信息。
参照图3的示意,示意为本实施例提出SSD网络结构示意图,其中SSD使用VGG-16-Atrous作为基础网络,其中黄色部分为在VGG-16基础网络上填加的特征提取层,在最终特征图上做目标检测,同时还在之前选取的特征图上进行预测。利用上述SSD网络结构,使用VGG19网络作为特征提取器的单次检测器,在该网络之后添加自定义卷积层,并使用卷积核执行预测,使用多尺度特征图用于检测,最后生成平面检测框图像。
S5:检测模块400再根据左、右双目中的平面检测框图像内的匹配特征点对,计算出道路前方车辆的立体检测框;
立体检测框的生成包括以下步骤,
用ORB特征检测子对平面检测框内的图像区域进行特征检测;
使用ORB特征描述子进行特征匹配,匹配输出左右目图像中的对应特征点的图像坐标;
使用三角化算法计算出特征点对应的空间位置。
特征点对应的空间点进行最小外接立方体拟合得出立体检测框。
进一步的,其中ORB特征检测子检测包括以下步骤,
用FAST特征点检测的方法来检测特征点;
利用Harris角点的度量方法,从FAST特征点从挑选出Harris角点响应值最大的N个特征点;
定义Harris角点的响应函数定义为R=detM-αtraceM2。
以及ORB特征描述子包括以下步骤,
选择BRIEF作为特征描述方法;
对于任何特征点,RIEF描述子为长度为n的二值码串,二值码串是由特征点周围n个点对,即2n个点生成的;
将2n个点xi,yi,i=1,2,…,2n组成一个矩阵S;
使用邻域方向θ和对应的旋转矩阵Rθ,构建S的一个校正版本Sθ;
将角度离散化,创建了一个查找表,对于每一个θ,只需查表即可快速得到它的点对的集合Sθ。
本实施例中三角化算法包括以下步骤,
定义双目摄像机矩阵分别为P与P1,x-x1为两幅图像的一组特征对应点;
恢复它们的三维空间点X,即满足x=PX,x1=P1x;
对于第一张图像,xPX=0;
xP3 TX-P1 TX=0、yP3 T-P2 TX=0、xP2 TX-P1 TX=0;
其中Pi T为P的第i行,将上式联立得到AX=0的线性方程组;
解AX=0求得三维空间点坐标X。
利用求出的三维空间点坐标X,即与上述特征点对应的空间位置,特征点所对应的空间点进行最小外接立方体拟合,即可获得检测车辆的立体检测框。
S6:定位模块500使用双目视觉SLAM算法进行自身跟踪定位。
用双目视觉SLAM算法进行自动驾驶车辆自身的运动跟踪包括排除掉图像中车辆的检测框区域,利用图像的其它区域使用基于双目的视觉SLAM算法进行跟踪定位。
现有自动驾驶定位方案中,常采用的方案是基于激光雷达传感器的激光SLAM方案,但该方案对于雨、雪及扬法等天气有一定限制且成本昂贵,且安装在车顶的激光雷达很影响车辆的设计,如空气动力学特性、美观等,难以普及。
为了能够有效的避免激光雷达传感器的固有缺陷,以及有效的降低成本。本实施例提出了一种基于双目视觉SLAM的定位方案,不仅能够用于自动驾驶车辆自身的跟踪定位,还能够用于检测前方道路中车辆的立体检测功能。
本实施例中将采用基于激光雷达传感器的激光SLAM方法和本方法分别对自动驾驶车辆的定位精度进行实时测量对比。
测试环境:Ubuntu16.04+Kinetic
在实验中设置自动驾驶车辆数为15,分别采用基于激光雷达传感器的激光SLAM方法和本方法对自动驾驶车辆进行同步定位,分别统计其采样时间和定位精度,定位效果如表1所示;
表1:采用基于激光雷达传感器的激光SLAM方法和本方法对自动驾驶车辆定位效果对比表。
/ | 采样时间(s) | 平均位置误差(m) |
基于激光雷达传感器的激光SLAM方法 | 29.697 | 0.563 |
本方法 | 26.792 | 0.215 |
由上表可见,本方法相对于传统的基于激光雷达传感器的激光SLAM方法定位效果较好,采样时间也相对较短,证实了本发明的视觉传感器较激光雷达传感器在相似性匹配方面具有较好的优势。
实施例2
参照图4的示意,示意为本实施例中一种基于双目视觉SLAM的自动驾驶车辆定位系统,上述基于双目视觉SLAM的自动驾驶车辆定位方法能够依托于本实施例提出的系统进行实现。
更加具体的,本实施例中包括标定模块100、双目视觉传感器200、坐标变换模块300、检测模块400和定位模块500;其中标定模块100与双目视觉传感器200连接其用于其标定;坐标变换模块300与标定模块100连接,用于求出双目视觉传感器200的左目到车身中心位置的变换矩阵;检测模块400与双目视觉传感器200连接,用于得到道路前方车辆的平面检测框图像坐标;定位模块500与检测模块400连接,用于利用检测模块400检测的检测框区域进行自身跟踪定位。
本实施例还需要说明的是,双目视觉传感器200为设置于车辆上的双目摄像机,用于获取车辆周围的图像信息,同时标定模块100和坐标变换模块300为对应用于双目视觉传感器200标定和图像坐标变换的硬件处理芯片,可以设置于双目视觉传感器200内与其内部自身的处理芯片进行集成,也可以单独设置于相机的机身外,并与相机内部主芯片连接,用于双目视觉传感器200的标定和输出相对车身的图像坐标。同样的,检测模块400和定位模块500与双目视觉传感器200连接,接收摄像机采集的图像信息,生成对应的检测框和进行车辆自身的定位,且检测模块400和定位模块500接入自动驾驶系统,可以与自动驾驶的主控机连接,当然此处的连接也不难理解,为检测模块400和定位模块500的芯片硬件的集成,上述芯片均为写入程序算法的芯片硬件设备,可以通过集成的方式进行连接,并能够运行各自对应的软件程序。
如在本申请所使用的,术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体,该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如,组件可以是,但不限于是:在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例,在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中,并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外,这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如,来自一个组件的数据,该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号,以本地和/或远程过程的方式进行通信。
应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种基于双目视觉SLAM的自动驾驶车辆定位方法,其特征在于:包括以下步骤,
利用标定模块(100)对双目视觉传感器(200)进行自身标定;
坐标变换模块(300)获取所述双目视觉传感器(200)的左目到车身中心位置的变换矩阵;
所述双目视觉传感器(200)采集道路前方的相机图像;
所述相机图像输入检测模块(400)中利用SSD检测算法得到道路前方车辆的平面检测框图像坐标;
所述检测模块(400)再根据左、右双目中的所述平面检测框图像内的匹配特征点对,计算出道路前方车辆的立体检测框;
定位模块(500)使用双目视觉SLAM算法进行自身跟踪定位;
其中,所述标定模块(100)对所述双目视觉传感器(200)的内参矩阵、畸变系数和双目基线进行标定,通过在所述双目视觉传感器(200)前放置标定板,同时获取左右图像,使用张正友标定法进行标定,得到相机内参、畸变系数和双目基线;
所述坐标变换模块(300)通过在将所述双目视觉传感器(200)在车辆前固定后,使用刻度尺分别测量出x,y,z三轴的偏移距离,根据所述偏移距离输入所述坐标变换模块(300)中得到变换矩阵;
所述SSD检测算法使用VGG-16-Atrous作为基础网络,并使用VGG19网络作为特征提取器的单次检测器,在该网络之后添加自定义卷积层,并使用卷积核执行预测,使用多尺度特征图进行检测,最后生成平面检测框图像,获得所述道路前方车辆的平面检测框图像坐标;
所述立体检测框的生成包括以下步骤:
用ORB特征检测子对所述平面检测框内的图像区域进行特征检测;
使用ORB特征描述子进行特征匹配,匹配输出左右目图像中的对应特征点的图像坐标;
使用三角化算法计算出所述特征点对应的空间位置;
所述特征点对应的空间点进行最小外接立方体拟合得出所述立体检测框。
2.如权利要求1所述的基于双目视觉SLAM的自动驾驶车辆定位方法,其特征在于:使用所述双目视觉SLAM算法进行自动驾驶车辆自身的运动跟踪包括排除掉图像中车辆的检测框区域,利用图像的其它区域使用基于双目的视觉SLAM算法进行跟踪定位。
3.如权利要求2所述的基于双目视觉SLAM的自动驾驶车辆定位方法,其特征在于:所述张正友标定法进行标定得到相机内参包括以下步骤,
所述双目视觉传感器(200)前放置标定板;
采集至少两张不同角度的平面标定板图像;
计算并检测标定图像中的所有标志点;
求解出各标定图像中的单位矩阵H;
设畸变系数为0,通过矩阵H求得摄像机的内外参数。
4.如权利要求3所述的基于双目视觉SLAM的自动驾驶车辆定位方法,其特征在于:所述三角化算法包括以下步骤,
定义双目摄像机矩阵分别为P与P1,x-x1为两幅图像的一组特征对应点;
恢复它们的三维空间点X,即满足x=PX,x1=P1x;
对于第一张图像,xPX=0;
xP3 TX-P1 TX=0、yP3 T-P2 TX=0、xP2 TX-P1 TX=0;
其中Pi T为P的第i行,将上式联立得到AX=0的线性方程组;
解AX=0求得三维空间点坐标X。
5.如权利要求4所述的基于双目视觉SLAM的自动驾驶车辆定位方法,其特征在于:所述ORB特征检测子检测包括以下步骤,
用FAST特征点检测的方法来检测特征点;
利用Harris角点的度量方法,从FAST特征点从挑选出Harris角点响应值最大的N个特征点;
定义Harris角点的响应函数定义为R=detM-α(traceM)2。
7.一种基于双目视觉SLAM的自动驾驶车辆定位系统,其特征在于:包括标定模块(100)、双目视觉传感器(200)、坐标变换模块(300)、检测模块(400)和定位模块(500);
所述标定模块(100)与所述双目视觉传感器(200)连接,其用于其对所述双目视觉传感器(200)进行自身标定;
所述双目视觉传感器(200)用于采集道路前方的相机图像;
所述坐标变换模块(300)与所述双目视觉传感器(200)连接,用于求出双目视觉传感器(200)的左目到车身中心位置的变换矩阵;
所述检测模块(400)与所述双目视觉传感器(200)连接,用于得到道路前方车辆的平面检测框图像坐标,以及用于计算道路前方车辆的立体检测框;
所述定位模块(500)与所述检测模块(400)连接,用于利用检测模块(400)检测的检测框区域进行自身跟踪定位;
其中,所述标定模块(100)对所述双目视觉传感器(200)的内参矩阵、畸变系数和双目基线进行标定,通过在所述双目视觉传感器(200)前放置标定板,同时获取左右图像,使用张正友标定法进行标定,得到相机内参、畸变系数和双目基线;
所述坐标变换模块(300)通过在将所述双目视觉传感器(200)在车辆前固定后,使用刻度尺分别测量出x,y,z三轴的偏移距离,根据所述偏移距离输入所述坐标变换模块(300)中得到所述变换矩阵;
所述检测模块(400)利用SSD检测算法得到所述道路前方车辆的平面检测框图像坐标,所述SSD检测算法使用VGG-16-Atrous作为基础网络,并使用VGG19网络作为特征提取器的单次检测器,在该网络之后添加自定义卷积层,并使用卷积核执行预测,使用多尺度特征图进行检测,最后生成平面检测框图像,获得所述道路前方车辆的平面检测框图像坐标;
计算道路前方车辆的立体检测框包括以下步骤:
用ORB特征检测子对平面检测框内的图像区域进行特征检测;
使用ORB特征描述子进行特征匹配,匹配输出左右目图像中的对应特征点的图像坐标;
使用三角化算法计算出特征点对应的空间位置;
所述特征点对应的空间位置进行最小外接立方体拟合得出所述立体检测框。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011234688.1A CN112347935B (zh) | 2020-11-07 | 2020-11-07 | 一种基于双目视觉slam的自动驾驶车辆定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011234688.1A CN112347935B (zh) | 2020-11-07 | 2020-11-07 | 一种基于双目视觉slam的自动驾驶车辆定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112347935A CN112347935A (zh) | 2021-02-09 |
CN112347935B true CN112347935B (zh) | 2021-11-02 |
Family
ID=74429471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011234688.1A Active CN112347935B (zh) | 2020-11-07 | 2020-11-07 | 一种基于双目视觉slam的自动驾驶车辆定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112347935B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
CN109583409A (zh) * | 2018-12-07 | 2019-04-05 | 电子科技大学 | 一种面向认知地图的智能车定位方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106767785B (zh) * | 2016-12-23 | 2020-04-07 | 成都通甲优博科技有限责任公司 | 一种双回路无人机的导航方法及装置 |
JP6878219B2 (ja) * | 2017-09-08 | 2021-05-26 | 株式会社東芝 | 画像処理装置および測距装置 |
CN108759823B (zh) * | 2018-05-28 | 2020-06-30 | 浙江大学 | 基于图像匹配的指定道路上低速自动驾驶车辆定位及纠偏方法 |
CN109631855B (zh) * | 2019-01-25 | 2020-12-08 | 西安电子科技大学 | 基于orb-slam的高精度车辆定位方法 |
-
2020
- 2020-11-07 CN CN202011234688.1A patent/CN112347935B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171787A (zh) * | 2017-12-18 | 2018-06-15 | 桂林电子科技大学 | 一种基于orb特征检测的三维重建方法 |
CN109583409A (zh) * | 2018-12-07 | 2019-04-05 | 电子科技大学 | 一种面向认知地图的智能车定位方法及系统 |
Non-Patent Citations (2)
Title |
---|
Deep Learning and Binocular Stereo vision to Achieve Fast Detection and Location of Target;Qingbin Wang等;《Proceedings of 2019 Chinese Intelligent Systems Conference》;20190908;摘要,第1-2节 * |
Stereo R-CNN based 3D Object Detection for Autonomous Driving;Peiliang Li等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;第3-5节,图1,图5 * |
Also Published As
Publication number | Publication date |
---|---|
CN112347935A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110859044B (zh) | 自然场景中的集成传感器校准 | |
CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
US10339390B2 (en) | Methods and apparatus for an imaging system | |
CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
CN110570449B (zh) | 一种基于毫米波雷达与视觉slam的定位与建图方法 | |
US20100235129A1 (en) | Calibration of multi-sensor system | |
CN109961468A (zh) | 基于双目视觉的体积测量方法、装置及存储介质 | |
CN112819711B (zh) | 一种基于单目视觉的利用道路车道线的车辆反向定位方法 | |
CN112136021B (zh) | 用于构建基于地标的高清地图的系统和方法 | |
CN111243029A (zh) | 视觉传感器的标定方法以及装置 | |
CN110927762A (zh) | 一种定位修正方法、装置及系统 | |
JP2018077162A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
CN116184430B (zh) | 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法 | |
CN114993608A (zh) | 一种风洞模型三维姿态角测量方法 | |
CN114777768A (zh) | 一种卫星拒止环境高精度定位方法、系统及电子设备 | |
CN115267756A (zh) | 一种基于深度学习目标检测的单目实时测距方法 | |
CN115456898A (zh) | 停车场的建图方法、装置、车辆及存储介质 | |
CN112347935B (zh) | 一种基于双目视觉slam的自动驾驶车辆定位方法及系统 | |
RU2592711C1 (ru) | Способ и система калибровки комплекса измерения скорости транспортных средств | |
CN113790711B (zh) | 一种无人机低空飞行位姿无控多视测量方法及存储介质 | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
CN114814865A (zh) | 用于车辆测距的方法和系统、车辆及程序产品 | |
CN111141252B (zh) | 一种单目标定测距的方法及系统 | |
CN113763457A (zh) | 落差地形的标定方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210806 Address after: Floor 11, building A1, Huizhi science and Technology Park, 8 Hengtai Road, Nanjing Economic and Technological Development Zone, Jiangsu Province 210000 Applicant after: DILU TECHNOLOGY Co.,Ltd. Address before: 210000 room 602-2, block a, Mingjia science and technology building, 99 Shengli Road, Jiangning District, Nanjing City, Jiangsu Province (Jiangning Development Zone) Applicant before: Nanjing Tiantong Xinchuang Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |