CN112489080A - 基于双目视觉slam的车辆定位及车辆3d检测方法 - Google Patents

基于双目视觉slam的车辆定位及车辆3d检测方法 Download PDF

Info

Publication number
CN112489080A
CN112489080A CN202011361776.8A CN202011361776A CN112489080A CN 112489080 A CN112489080 A CN 112489080A CN 202011361776 A CN202011361776 A CN 202011361776A CN 112489080 A CN112489080 A CN 112489080A
Authority
CN
China
Prior art keywords
vehicle
binocular
detection
algorithm
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011361776.8A
Other languages
English (en)
Inventor
赵强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN202011361776.8A priority Critical patent/CN112489080A/zh
Publication of CN112489080A publication Critical patent/CN112489080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明涉及一种基于双目视觉SLAM的车辆定位及车辆3D检测方法，基于在本体车辆前部指定位置所固定放置的一台双目相机，在车辆行驶的过程中，利用双目相机持续获取图像，并利用双目视觉SLAM算法对自动驾驶车辆进行定位以及对前方道路中车辆的进行3D检测，可以同时满足自动驾驶车辆在道路上行驶时的定位需求及对道路前方车辆感知的需求。

Description

基于双目视觉SLAM的车辆定位及车辆3D检测方法
技术领域
本发明涉及一种基于双目视觉SLAM的车辆定位及车辆3D检测方法，属于自动驾驶领域。
背景技术
在自动驾驶领域中，精确的定位是非常重要的一环。当前主流的车辆的定位方案采用的传感器为激光雷达，定位算法采用激光SLAM算法，其具有简单，技术较成熟的优点。然而，由于激光雷达传感器固有的缺点，在雨，雪及扬尘等天气下定位效果较差，并且激光雷达传感器往往具有较高的价格，这使得成本大大提高，这给自动驾驶车辆的普及带来了极大的不利。
发明内容
本发明所要解决的技术问题是提供一种基于双目视觉SLAM的车辆定位及车辆3D检测方法，以解决自动驾驶车辆领域的车辆定位和车辆检测的高成本问题。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于双目视觉SLAM的车辆定位及车辆3D检测方法，基于在本体车辆前部指定位置所固定放置的一台双目相机，以及双目相机的图像捕获方向指向车辆行进的前方，实现本体车辆行驶过程中的定位、以及对本体车辆周边各个车辆的3D检测，具体由步骤A1到步骤A3实现对本体车辆周边各个车辆的3D检测，由步骤B来实现对本体车辆行驶过程中的定位；
步骤A1.通过预设的相机标定方法，获取双目相机的内参矩阵、畸变系数、双目基线、以及双目相机的左目到本体车辆车身中心的变换矩阵；
步骤A2.在车辆行驶的过程中，利用双目相机持续获取2D双目图像，将本体车辆周边各个车辆作为检测目标，使用预设的目标检测算法分别针对2D双目图像中的检测目标进行检测,从而获得本体车辆周边各个车辆分别在2D双目图像中的2D检测框；
步骤A3.根据步骤A2中获得的本体车辆周边各个车辆的2D检测框，通过以下步骤A3-1至步骤A3-4，获得本体车辆周边各个车辆的3D检测框；
步骤A3-1.利用预设的特征检测算法分别针对2D双目图像中各个2D检测框中的图像区域进行特征检测，获得各2D双目图像分别所对应的图像特征点，然后进入步骤A3-2；
步骤A3-2.针对步骤A3-1中所获各2D双目图像中的图像特征点，利用预设的特征匹配算法进行特征点匹配，从而得到2D双目图像中能匹配到的成对的匹配图像特征点、以及各匹配图像特征点分别在各2D双目图像中的2D图像坐标；
步骤A3-3.针对每一对匹配图像特征点，根据步骤A1中获取的双目相机的内参矩阵、畸变系数、双目基线以及双目相机的左目到本体车辆车身中心的变换矩阵，并应用预设的测距算法获取每一对匹配图像特征点所对应的空间点相对于本体车辆在世界坐标系下的3D坐标；
步骤A3-4.利用预设的拟合算法对每一对匹配图像特征点所对应的空间点进行拟合，获得本体车辆周边各个车辆的3D检测框；
步骤B. 在车辆行驶的过程中，将双目相机持续获取的2D双目图像作为双目视觉SLAM算法的输入图像，然后利用SLAM算法完成对本体车辆的定位。
作为本发明的一种优选技术方案，步骤A1中预设的相机标定方法为张正友标定法。
作为本发明的一种优选技术方案，步骤A2中预设的目标检测算法为SSD检测算法。
作为本发明的一种优选技术方案，步骤A3-1中预设的特征检测算法为ORB特征检测子检测算法。
作为本发明的一种优选技术方案，步骤A3-2中预设的特征匹配算法为ORB特征描述子匹配算法。
作为本发明的一种优选技术方案，步骤A3-3中预设的测距算法为三角化算法。
作为本发明的一种优选技术方案，步骤A3-4中预设的拟合算法为最小外接立方体拟合算法。
作为本发明的一种优选技术方案，步骤B中首先对双目相机获取的图像按照预设的方法进行处理，再用slam算法确定运动轨迹。
作为本发明的一种优选技术方案，预设的方法为去除掉双目相机获取的2D双目图像中的相对于本体车辆的周边运动车辆的图像区域。
与现有的自动驾驶车辆的基于激光雷达传感器的激光SLAM的技术方案相比，本发明提出的方案硬件要求低，仅需要在车前固定一个双目相机和对应的传感器，大大降低了成本。另外，视觉传感器较激光雷达传感器在相似性匹配方面具有较好的优势，同时还能够完成对道路前方车辆3D检测的功能，智能化程度更完善。
附图说明
图1是本发明一种基于双目视觉SLAM的车辆定位及车辆3D检测方法的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于双目视觉SLAM的车辆定位及车辆3D检测方法，如图1所示，在本体车辆前部指定位置所固定放置的一台双目相机，以及双目相机的图像捕获方向指向车辆行进的前方，实现本体车辆行驶过程中的定位、以及对本体车辆周边各个车辆的3D检测，具体由步骤A1到步骤A3实现对本体车辆周边各个车辆的3D检测，由步骤B来实现对本体车辆行驶过程中的定位。
步骤A1.通过张正友相机标定方法，获取双目相机的内参矩阵、畸变系数、双目基线、以及双目相机的左目到本体车辆车身中心的变换矩阵；在相机前放置标定板，同时获取双目相机的左右目图像，使用张正友标定法进行标定，得到相机内参，畸变系数，双目基线。然后标定出双目相机的左目到车身中心的变换矩阵，在将双目相机在车前固定好后，这里使用刻度尽分别测量出x, y, z三轴的偏移距离。
步骤A2.在车辆行驶的过程中，利用双目相机持续获取对应于左右目的同一时刻的两幅2D双目图像，将本体车辆周边各个车辆作为检测目标，使用SSD检测算法分别针对2D双目图像中的检测目标进行检测,从而获得本体车辆周边各个车辆分别在2D双目图像中的2D检测框。
步骤A3.根据步骤A2中获得的本体车辆周边各个车辆的2D检测框，通过以下步骤A3-1至步骤A3-4，获得本体车辆周边各个车辆的3D检测框。
步骤A3-1.利用ORB特征检测子检测算法分别针对2D双目图像中各个2D检测框中的图像区域进行特征检测，获得各2D双目图像分别所对应的图像特征点，然后进入步骤A3-2。
步骤A3-2.针对步骤A3-1中所获各2D双目图像中的图像特征点，利用ORB特征描述子匹配算法进行特征点匹配，从而得到2D双目图像中能匹配到的成对的匹配图像特征点、以及各匹配图像特征点分别在各2D双目图像中的2D图像坐标。
步骤A3-3.针对每一对匹配图像特征点，根据步骤A1中获取的双目相机的内参矩阵、畸变系数、双目基线以及双目相机的左目到本体车辆车身中心的变换矩阵，并应用三角化算法获取每一对匹配图像特征点所对应的空间点相对于本体车辆在世界坐标系下的3D坐标。
步骤A3-4.利用最小外接立方体拟合算法对每一对匹配图像特征点所对应的空间点进行拟合，获得本体车辆周边各个车辆的3D检测框。
步骤B. 在车辆行驶的过程中，对于双目相机持续获取的2D双目图像，首先去除掉双目相机获取的2D双目图像中的相对于本体车辆的周边运动车辆的图像区域，这是因为周围运动的车辆不宜用来作为SLAM算法中的固定的环境特征点，因此需要排除掉，然后再将处理后的图像作为双目视觉SLAM算法的输入图像，再利用SLAM算法完成对本体车辆的运动轨迹跟踪定位，具体地，1）车辆行驶过程中双目相机持续获取双目图像；2）去除双目图像中移动的运动车辆3）利用ORB特征检测子检测算法对去除掉运动车辆后的图像部分分别提取双目图像的图像特征点；4）利用ORB特征描述子匹配算法对左右目图像的图像特征点进行特征匹配，以获得环境的稳定不变的配对关系5）运用三角几何算法算出环境特征点的位置与距离信息；6）重复上述过程，即可算得相机即（本体车辆）相对于周围环境的运动轨迹。
上述技术方案所设计基于双目视觉SLAM的车辆定位及车辆3D检测方法，硬件要求低，仅需要在车前固定一个双目相机和对应的传感器，大大降低了成本。另外，视觉传感器较激光雷达传感器在相似性匹配方面具有较好的优势，同时还能够完成对道路前方车辆3D检测的功能，智能化程度更完善。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (9)

1.基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，基于在本体车辆前部指定位置所固定放置的一台双目相机，以及双目相机的图像捕获方向指向车辆行进的前方，实现本体车辆行驶过程中的定位、以及对本体车辆周边各个车辆的3D检测，具体由步骤A1到步骤A3实现对本体车辆周边各个车辆的3D检测，由步骤B来实现对本体车辆行驶过程中的定位；
步骤A1.通过预设的相机标定方法，获取双目相机的内参矩阵、畸变系数、双目基线、以及双目相机的左目到本体车辆车身中心的变换矩阵；
步骤A2.在车辆行驶的过程中，利用双目相机持续获取2D双目图像，将本体车辆周边各个车辆作为检测目标，使用预设的目标检测算法分别针对2D双目图像中的检测目标进行检测,从而获得本体车辆周边各个车辆分别在2D双目图像中的2D检测框；
步骤A3.根据步骤A2中获得的本体车辆周边各个车辆的2D检测框，通过以下步骤A3-1至步骤A3-4，获得本体车辆周边各个车辆的3D检测框；
步骤A3-1.利用预设的特征检测算法分别针对2D双目图像中各个2D检测框中的图像区域进行特征检测，获得各2D双目图像分别所对应的图像特征点，然后进入步骤A3-2；
步骤A3-2.针对步骤A3-1中所获各2D双目图像中的图像特征点，利用预设的特征匹配算法进行特征点匹配，从而得到2D双目图像中能匹配到的成对的匹配图像特征点、以及各匹配图像特征点分别在各2D双目图像中的2D图像坐标；
步骤A3-3.针对每一对匹配图像特征点，根据步骤A1中获取的双目相机的内参矩阵、畸变系数、双目基线以及双目相机的左目到本体车辆车身中心的变换矩阵，并应用预设的测距算法获取每一对匹配图像特征点所对应的空间点相对于本体车辆在世界坐标系下的3D坐标；
步骤A3-4.利用预设的拟合算法对每一对匹配图像特征点所对应的空间点进行拟合，获得本体车辆周边各个车辆的3D检测框；
步骤B. 在车辆行驶的过程中，将双目相机持续获取的2D双目图像作为双目视觉SLAM算法的输入图像，然后利用SLAM算法完成对本体车辆的定位。
2.根据权利要求1所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，步骤A1中预设的相机标定方法为张正友标定法。
3.根据权利要求1所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，步骤A2中预设的目标检测算法为SSD检测算法。
4.根据权利要求1所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，步骤A3-1中预设的特征检测算法为ORB特征检测子检测算法。
5.根据权利要求1所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，步骤A3-2中预设的特征匹配算法为ORB特征描述子匹配算法。
6.根据权利要求1所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，步骤A3-3中预设的测距算法为三角化算法。
7.根据权利要求1所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，步骤A3-4中预设的拟合算法为最小外接立方体拟合算法。
8.根据权利要求1所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，步骤B中首先对双目相机获取的图像按照预设的方法进行处理，再用slam算法确定运动轨迹。
9.根据权利要求8所述的基于双目视觉SLAM的车辆定位及车辆3D检测方法，其特征在于，预设的方法为去除掉双目相机获取的2D双目图像中的相对于本体车辆的周边运动车辆的图像区域。
CN202011361776.8A 2020-11-27 2020-11-27 基于双目视觉slam的车辆定位及车辆3d检测方法 Pending CN112489080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011361776.8A CN112489080A (zh) 2020-11-27 2020-11-27 基于双目视觉slam的车辆定位及车辆3d检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011361776.8A CN112489080A (zh) 2020-11-27 2020-11-27 基于双目视觉slam的车辆定位及车辆3d检测方法

Publications (1)

Publication Number Publication Date
CN112489080A true CN112489080A (zh) 2021-03-12

Family

ID=74936554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011361776.8A Pending CN112489080A (zh) 2020-11-27 2020-11-27 基于双目视觉slam的车辆定位及车辆3d检测方法

Country Status (1)

Country Link
CN (1) CN112489080A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801077A (zh) * 2021-04-15 2021-05-14 智道网联科技(北京)有限公司 用于自动驾驶车辆的slam初始化的方法及相关装置
CN113390435A (zh) * 2021-05-13 2021-09-14 中铁二院工程集团有限责任公司 高速铁路多元辅助定位系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532320B1 (ko) * 2014-04-18 2015-07-22 국방과학연구소 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법
CN105300403A (zh) * 2015-09-22 2016-02-03 清华大学 一种基于双目视觉的车辆里程计算法
CN108534782A (zh) * 2018-04-16 2018-09-14 电子科技大学 一种基于双目视觉系统的地标地图车辆即时定位方法
CN108827317A (zh) * 2018-08-20 2018-11-16 重庆师范大学 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN110285793A (zh) * 2019-07-08 2019-09-27 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110794828A (zh) * 2019-10-08 2020-02-14 福瑞泰克智能系统有限公司 一种融合语义信息的路标定位方法
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101532320B1 (ko) * 2014-04-18 2015-07-22 국방과학연구소 자율주행 무인차량에 탑재된 쌍안카메라를 이용한 동적물체 검출방법
CN105300403A (zh) * 2015-09-22 2016-02-03 清华大学 一种基于双目视觉的车辆里程计算法
CN108534782A (zh) * 2018-04-16 2018-09-14 电子科技大学 一种基于双目视觉系统的地标地图车辆即时定位方法
CN108827317A (zh) * 2018-08-20 2018-11-16 重庆师范大学 基于稀疏地图和驾驶人识别的室内多平衡车自主导航方法
CN109631855A (zh) * 2019-01-25 2019-04-16 西安电子科技大学 基于orb-slam的高精度车辆定位方法
CN110285793A (zh) * 2019-07-08 2019-09-27 中原工学院 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110794828A (zh) * 2019-10-08 2020-02-14 福瑞泰克智能系统有限公司 一种融合语义信息的路标定位方法
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN111062990A (zh) * 2019-12-13 2020-04-24 哈尔滨工程大学 一种面向水下机器人目标抓取的双目视觉定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
颜亚雄: "基于双目视觉的道路SLAM技术研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, 15 June 2020 (2020-06-15), pages 034 - 997 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801077A (zh) * 2021-04-15 2021-05-14 智道网联科技(北京)有限公司 用于自动驾驶车辆的slam初始化的方法及相关装置
CN113390435A (zh) * 2021-05-13 2021-09-14 中铁二院工程集团有限责任公司 高速铁路多元辅助定位系统
CN113390435B (zh) * 2021-05-13 2022-08-26 中铁二院工程集团有限责任公司 高速铁路多元辅助定位系统

Similar Documents

Publication Publication Date Title
CN110389348B (zh) 基于激光雷达与双目相机的定位与导航方法及装置
CN111369541B (zh) 一种智能汽车恶劣天气条件下车辆检测方法
US20200174112A1 (en) Method and apparatus for enhanced camera and radar sensor fusion
CN106370884B (zh) 基于双目相机计算机视觉技术的车辆测速方法
EP3792660B1 (en) Method, apparatus and system for measuring distance
CN110031829B (zh) 一种基于单目视觉的目标精准测距方法
CN104282020A (zh) 一种基于目标运动轨迹的车辆速度检测方法
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN110717445B (zh) 一种用于自动驾驶的前车距离跟踪系统与方法
CN113848545B (zh) 一种基于视觉和毫米波雷达的融合目标检测和跟踪方法
CN102944224A (zh) 一种无人驾驶车的自动环境感知系统及其工作方法
Zhang et al. Multiple vehicle-like target tracking based on the velodyne lidar
CN113850102B (zh) 基于毫米波雷达辅助的车载视觉检测方法及系统
CN112489080A (zh) 基于双目视觉slam的车辆定位及车辆3d检测方法
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
CN103204104A (zh) 一种车辆全视角驾驶监控系统及方法
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN112683228A (zh) 单目相机测距方法及装置
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN111539278A (zh) 一种用于目标车辆的检测方法及系统
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
García-García et al. 3D visual odometry for road vehicles
CN111239761B (zh) 一种用于室内实时建立二维地图的方法
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination