CN110794828A - 一种融合语义信息的路标定位方法 - Google Patents

一种融合语义信息的路标定位方法 Download PDF

Info

Publication number
CN110794828A
CN110794828A CN201910949534.1A CN201910949534A CN110794828A CN 110794828 A CN110794828 A CN 110794828A CN 201910949534 A CN201910949534 A CN 201910949534A CN 110794828 A CN110794828 A CN 110794828A
Authority
CN
China
Prior art keywords
information
vehicle
pose
frame
landmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910949534.1A
Other languages
English (en)
Inventor
蒋成
张川峰
康宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Freitak Intelligent Systems Co Ltd
Original Assignee
Freitak Intelligent Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Freitak Intelligent Systems Co Ltd filed Critical Freitak Intelligent Systems Co Ltd
Priority to CN201910949534.1A priority Critical patent/CN110794828A/zh
Publication of CN110794828A publication Critical patent/CN110794828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明主要一种车辆位姿信息确定方法，应用于可移动设备，该方法通过传感器接收图像信息及位置信息，并判断图像信息中帧是否是关键帧，所述的关键帧两帧之间经过匹配，若两帧之间的累计运动超过设定的阈值，则为关键帧。同时获取图像信息中的路标区域，若为关键帧，则使用ORB提取图像信息中路标区域的特征点，若为非关键帧，则使用直接法提取图像信息中路标区域的特征点，通过前后两帧特征点之间的位置信息变化，获得车辆新的位姿信息。通过本发明的方法可以提高视觉定位精度，同时可以在一定程度上提高运算速度。

Description

一种融合语义信息的路标定位方法
技术领域：
在自动驾驶领域中，特别是涉及自动驾驶中的定位技术。
背景技术：
目前视觉定位技术主要分为三种，第一种是基于特征点的匹配定位方法，该方法精度高，但是提取特征需要计算关键点和描述子，较为耗时间；第二种是基于关键点的光流法，该方法精度较低，且耗时多；第三种是基于图像像素灰度变化的直接法，该方法速度最快，但是精度受光照等条件的影响。
自动驾驶中常规的定位方式一般为GNSS(Global Navigation SatelliteSystem)结合IMU(Inertial Measurement Unit)组成。GNSS在郊外平原地带能够获取到较好的定位精度，但在复杂的城区环境中，信号传播的多路径反射效应极易造成数米范围的定位精度误差；IMU一般采用陀螺仪、多轴加速度传感器等计量仪器构成，实时检测当前自身的姿态与加速度，根据IMU能够准确递推一定距离内的车辆运动信息，但使用IMU进行航迹推算的过程中会产生误差积累，随时间增长定位精度的退化越严重。通过融合与插值GNSS与IMU数据，可以达到较好的高精度定位效果。
最接近的现有技术中，CN107167826A提供一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位方法，根据高精度导航系统输出的数据中获取到的前方目标及高精度导航中道路计算的目标距离，通过应用基于可变网格区域(携带尺度信息)的ORB特征提取算法，可以在车载双目视觉系统中检索到特定的前方目标，并输出视觉系统到前方目标的距离。根据这一距离以及双目系统在车辆中的安装位置，即可与高精度导航中的车辆轨迹进行校正，提高自动驾驶中的车辆纵向定位精度。但是该发明使用的ORB特征提取算法，虽然提高了定位精度，但计算速度仍然较慢。
发明内容：
在前后关键帧之间的普通帧利用改进的直接法定位，改善直接法的定位精度并且提高定位输出频率，改进的直接法利用imu数据进行航迹推算估计出车辆位姿初始，然后进行优化，提高了精度和速度，提高输出频率解决在车辆大运动下特征点容易跟丢的问题；
本发明提出了一种车辆位姿信息确定方法，应用于可移动设备，方法包括：接受传感器获取的图像信息及位置信息；判断图像信息中帧是否是关键帧，所述的关键帧两帧之间经过匹配，若两帧之间的累计运动超过设定的阈值，则为关键帧；获取图像信息中的路标区域；若为关键帧，则使用ORB提取图像信息中路标区域的特征点；若为非关键帧，则使用直接法提取图像信息中路标区域的特征点；通过前后两帧特征点之间的位置信息变化，获得车辆新的位姿信息。
优选的，获取图像信息中的路标信息包括：使用深度学习目标检测网络检测出路标区域。
优选的，使用ORB提取图像信息中路标区域的特征点包括：
调用实时目标检测网络；
优选的，使用传感器同采集图像并进行识别提取相应的路标区域；
利用ORB提取路标区域的特征点。
优选的，所述的传感器为双目相机。
优选的，所述的使用直接法提取图像信息中路标区域的特征点，包括：使用深度学习目标检测网络检测出路标区域，使用直接法提取路标区域的特征点。
优选的，所述的通过前后两帧特征点之间的位置信息变化，获得车辆新的位姿信息,包括：
通过ORB提取特征点；
利用PNP(Perspective-nPoint)算法计算出两帧之间的平移和旋转，更新车辆位姿。
本发明中的一种车辆位姿信息确定方法，其中，利用PNP算法计算出两帧之间的平移和旋转，更新车辆位姿,包括：搜索前一帧路标区域特征点对应的三维空间坐标；通过ORB特征点汉明距离进行特征点匹配；通过PNP算法处理上述特征点，计算出两关键帧之间的位姿；输出对应位姿。
优选的，所述的在前后两帧图片之间，通过与之时间戳对齐的imu惯性测量模块数据进行航迹推算估计车辆位姿的初值。
利用恢复的三维空间点坐标和imu估计的两帧之间的运动估计，计算前一帧图像上的路标区域投影到后一帧上的像素位置，计算公式：
Figure BDA0002225328090000031
所述运动估计为平移和旋转参数。
优选的，所述输出对应位姿，包括根据位姿信息，建立路标地图。
一种车辆位姿信息确定系统，包括：信息获取模块，包括双目相机获取环境图像信息，及获取具有语义特征点三维空间信息；信息处理模块，用于处理图像信息，并提取图像信息中的路标区域，并获得路标区域的特征点信息，并将前后两帧之间进行特征匹配定位，获得新的位姿。控制模块，得到位姿信息用于车辆的控制。
方法还涉及一种可以移动设备，包括一种车辆位姿信息确定系统，用于控制可移动设备。所述的可移动设备可以是汽车等设备。
本发明包括一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的方法。
本发明包括一种智能驾驶车辆，其中设置有车辆位姿信息确定系统，所述的车辆位姿信息确定系统可以用于控制车辆的驾驶，并运行如上述中任一项的方法。
该方法可以解决利用视觉方法定位易受到动态干扰物影响，导致输出的位姿信息不准确以及特征点法匹配定位耗时长，时间主要集中在计算关键点和描述子等问题，通过本发明的方法可以提高视觉定位精度，同时可以在一定程度上提高运算速度。
附图说明：
图1是根据本发明内容实施的车辆控制中的一种车辆定位方法；
图2是根据本发明实施例中利用直接法进行相机位姿确定的方法
图3是根据本发明实施例中车辆控制系统中的功能模块示意图；
图4是根据本发明实施例中的相机帧率和IMU信息帧率对比示意图；
图5是根据本发明实施例中的基于深度学习目标检测网络的路标区域提取效果图；
图6是本发明实施例前后关键帧ORB特征点法的匹配效果图；
图7是本发明实施例前后关键帧SURF特征点法的匹配效果图；
图8是本发明实施例前后关键帧用ORB特征点法进行匹配效果图；
图9为本发明实施例前后关键帧SURF特征点法的匹配效果图。
具体实施方式：
为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
本发明基于特征点法和直接法融合的双目视觉里程计定位方法，保留了直接法的速度快的特性和特征点法精度高的特性，并且利用路标语义信息的进一步提高了视觉定位精度。先利用深度学习目标检测网络检测出路标区域；在前后关键帧之间利用ORB特征点法在路标区域进行匹配定位，静止的路标区域的特征点匹配定位没有动态障碍物干扰提高定位精度；在前后关键帧之间的普通帧利用改进的直接法定位，改善直接法的定位精度并且提高定位输出频率；最后通过整个算法可以构建出道路的路标区域的地图，方便下次视觉定位使用。
所述的相机位姿为是通过几个已知坐标的特征点，以及他们在相机照片中的成像，求解出相机位于坐标系内的坐标与旋转角度。
本发明的主要方案包括本发明提出了一种车辆位姿信息确定方法，应用于可移动设备，方法包括：
接受传感器获取的图像信息及位置信息；判断图像信息中帧是否是关键帧，所述的关键帧两帧之间经过匹配，若两帧之间的累计运动超过设定的阈值，则为关键帧；获取图像信息中的路标区域；若为关键帧，则使用ORB提取图像信息中路标区域的特征点；若为非关键帧，则使用直接法提取图像信息中路标区域的特征点；通过前后两帧特征点之间的位置信息变化，获得车辆新的位姿信息。
其中，获取图像信息中的路标信息包括：使用深度学习目标检测网络检测出路标区域。其中，使用ORB提取图像信息中路标区域的特征点包括：
调用实时目标检测网络；其中，使用传感器同采集图像并进行识别提取相应的路标区域；利用ORB提取路标区域的特征点。
其中，所述的传感器为双目相机。
其中，所述的使用直接法提取图像信息中路标区域的特征点，包括：使用深度学习目标检测网络检测出路标区域，使用直接法提取路标区域的特征点。
其中，所述的通过前后两帧特征点之间的位置信息变化，获得车辆新的位姿信息,包括：通过ORB提取特征点；利用PNP(Perspective-nPoint)算法计算出两帧之间的平移和旋转，更新车辆位姿。
本发明中的一种车辆位姿信息确定方法，其中，利用PNP算法计算出两帧之间的平移和旋转，更新车辆位姿,包括：搜索前一帧路标区域特征点对应的三维空间坐标；通过ORB特征点汉明距离进行特征点匹配；通过PNP算法处理上述特征点，计算出两关键帧之间的位姿；输出对应位姿。
所述的在前后两帧图片之间，通过与之时间戳对齐的imu惯性测量模块数据进行航迹推算估计车辆位姿的初值。
利用恢复的三维空间点坐标和imu估计的两帧之间的运动估计，计算前一帧图像上的路标区域投影到后一帧上的像素位置，计算公式：
Figure BDA0002225328090000062
所述运动估计为平移和旋转参数。
优选的，所述输出对应位姿，包括根据位姿信息，建立路标地图。
一种车辆位姿信息确定系统，包括：信息获取模块，包括双目相机获取环境图像信息，及获取具有语义特征点三维空间信息；信息处理模块，用于处理图像信息，并提取图像信息中的路标区域，并获得路标区域的特征点信息，并将前后两帧之间进行特征匹配定位，获得新的位姿。控制模块，得到位姿信息用于车辆的控制。
方法还涉及一种可以移动设备，包括一种车辆位姿信息确定系统，用于控制可移动设备。所述的可移动设备可以是汽车等设备。
本发明包括一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的方法。
本发明包括一种智能驾驶车辆，其中设置有车辆位姿信息确定系统，所述的车辆位姿信息确定系统可以用于控制车辆的驾驶，并运行如上述中任一项的方法。
实施例一
图1为本发明实施例中融合语义信息的路标定位方法的流程图，利用深度学习目标检测网路识别道路的各种路标，提取该区域的特征点，进行特征匹配定位。
步骤101，首先使用IMU设备及双目信息获取图像信息及IMU数据。
步骤102，关键帧的判别机制：若相机两帧之间估计出来的平移和旋转大于所设定好的阈值，判定车辆的累计运动到达一定程度设置该帧为关键帧；若相机图像中路标区域移动到图像边缘，判定跟踪不到路标(初始图片或者路标运动消失)，设置该帧为关键帧。
步骤103，若是关键帧，则提取路标区域，利用深度学习目标检测网路识别道路的各种路标，包括交通标识牌和红绿灯等。
步骤106，使用视差法回复路标区域三维信息，包括三维点坐标信息。
步骤105，对于提取的路标区域信息，提取的路标区域利用ORB特征点法(或者其他强人工特征点)提取交通标识牌区域的特征点，包括以下步骤：
(1)本系统开始调用实时目标检测网络(通用的深度学习目标检测网络，例如使用SSD(Single Shot MultiBox Detector)方法；
(2)对双目相机同时刻采集左右目的图像进行识别提取并将其输入到地图信息网络；
(3)利用ORB(Oriented FAST and Rotated BRIEF)算法(或者其他强人工特征点)提取相机左图像的特征点，等待下次提取路标区域信息。
步骤106，将得到的这一关键帧信息与上一帧信息进行匹配定位，并计算得到平移和旋转。
首先使用利用视差法计算世界坐标系下路标的三维空间坐标。通过视差法计算公式，其中目标检测网络识别的路标区域是目标级别的，可以区分目标物信息及目标物的位置信息，通过行搜索就能匹配左右图像的路标区域，直接利用视差法计算世界坐标系下路标的三维空间坐标。其中利用视差法计算公式:
Figure BDA0002225328090000081
式中，xl,yl是图像中的特征点的坐标；X0,Y0,Z0是图像中的特征点对应相机坐标系下的空间坐标；B是双目相机的基线长度；d为视差，即左右图像中匹配的特征点像素的差值；f是相机的焦距。
最后通过整个算法可以构建出道路的路标区域的地图，方便下次视觉定位使用，一方面可以不用再次计算特征点的深度信息，一方面构建出的地图具有语义信息可以减少误匹配。
通过前后两帧的交通标志区域的ORB特征点(或者其他强人工特征点)匹配，以及上一步计算出来的三维空间坐标，利用PNP(Perspective-nPoint)算法计算出两帧之间的平移和旋转，得到相机的位姿。具体包括以下步骤：
1)返回步骤3中，搜索前一帧路标区域特征点对应的三维空间坐标；
2)对于前后关键帧路标区域所提取的特征点，通过相应的ORB特征点的汉明距离进行特征点匹配；匹配是指Orb特征点有相应的描述子可以计算描述子的汉明距离进行匹配。
3)使用PNP算法处理步骤1和步骤2的特征点，计算出两关键帧之间的位姿，位姿信息包括平移和旋转；
4)通过前后两个关键帧之间数据计算出的位姿替换直接法的运动估计来消除累计误差和持续对路标进行跟踪；
步骤110，由上述步骤输出相机位姿。
步骤111，由相机的位姿变换得到车辆的位姿。
步骤112，由使用IMU设备及双目信息获取图像信息及IMU数据，经信息处理之后得到路标信息及位置信息，以及相机及车辆位姿，可以用于建立路标地图。
步骤102，关键帧的判别机制：若相机两帧之间估计出来的平移和旋转大于所设定好的阈值，判定车辆的累计运动到达一定程度设置该帧为关键帧；若相机图像中路标区域移动到图像边缘，判定跟踪不到路标(初始图片或者路标运动消失)，设置该帧为关键帧。
若相机两帧之间估计出来的平移和旋转小于所设定好的阈值，则两帧为非关键帧。
步骤107，如果为非关键帧，则提取路标区域，利用深度学习目标检测网路识别道路的各种路标，包括交通标识牌和红绿灯等，并跟踪路标区域。
步骤108，使用直接法计算获取位姿信息。
所述的直接法是视觉里程计另一主要分支，直接法直接根据像素亮度信息，估计相机的运动，可以完全不用计算关键点和描述子。于是，直接法既避免了特征的计算时间，也避免了特征缺失的情况。只要场景中存在明暗变化，就可以用直接法计算。根据使用像素的数量，直接法分为稀疏、稠密和半稠密三种，具有恢复稠密结构的能力。
步骤109，更新关键帧直接的位姿状态，得到平移和旋转。
步骤110，由上述步骤输出相机位姿。
步骤111，由相机的位姿变换得到车辆的位姿。
步骤112，由使用IMU设备及双目信息获取图像信息及IMU数据，经信息处理之后得到路标信息及位置信息，以及相机及车辆位姿，可以用于建立路标地图。
本发明包括一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的方法。
本发明包括一种智能驾驶车辆，其中设置有车辆位姿信息确定系统，所述的车辆位姿信息确定系统可以用于控制车辆的驾驶，并运行如上述中任一项的方法。
实施例二
图1为本发明实施例中融合语义信息的路标定位方法的流程图，利用深度学习目标检测网路识别道路的各种路标，提取该区域的特征点，进行特征匹配定位。
步骤101，首先使用IMU设备及双目信息获取图像信息及IMU数据。
步骤102，关键帧的判别机制：若相机两帧之间估计出来的平移和旋转大于所设定好的阈值，判定车辆的累计运动到达一定程度设置该帧为关键帧；若相机图像中路标区域移动到图像边缘，判定跟踪不到路标(初始图片或者路标运动消失)，设置该帧为关键帧。
步骤103，若是关键帧，则提取路标区域，利用深度学习目标检测网路识别道路的各种路标，包括交通标识牌和红绿灯等。
步骤106，使用视差法回复路标区域三维信息，包括三维点坐标信息。
步骤105，对于提取的路标区域信息，提取的路标区域利用ORB特征点法(或者其他强人工特征点)提取交通标识牌区域的特征点，包括以下步骤：
(1)本系统开始调用实时目标检测网络(通用的深度学习目标检测网络，例如使用SSD(Single Shot MultiBox Detector)方法；
(2)对双目相机同时刻采集左右目的图像进行识别提取并将其输入到地图信息网络；
(3)利用ORB(Oriented FAST and Rotated BRIEF)算法(或者其他强人工特征点)提取相机左图像的特征点，等待下次提取路标区域信息。
步骤106，将得到的这一关键帧信息与上一帧信息进行匹配定位，并计算得到平移和旋转。
首先使用利用视差法计算世界坐标系下路标的三维空间坐标。通过视差法计算公式，其中目标检测网络识别的路标区域是目标级别的，可以区分目标物信息及目标物的位置信息，通过行搜索就能匹配左右图像的路标区域，直接利用视差法计算世界坐标系下路标的三维空间坐标。其中利用视差法计算公式:
式中，xl,yl是图像中的特征点的坐标；X0,Y0,Z0是图像中的特征点对应相机坐标系下的空间坐标；B是双目相机的基线长度；d为视差，即左右图像中匹配的特征点像素的差值；f是相机的焦距。
通过前后两帧的交通标志区域的ORB特征点(或者其他强人工特征点)匹配，以及上一步计算出来的三维空间坐标，利用PNP(Perspective-nPoint)算法计算出两帧之间的平移和旋转，得到相机的位姿。具体包括以下步骤：
5)返回步骤3中，搜索前一帧路标区域特征点对应的三维空间坐标；
6)对于前后关键帧路标区域所提取的特征点，通过相应的ORB特征点的汉明距离进行特征点匹配；匹配是指Orb特征点有相应的描述子可以计算描述子的汉明距离进行匹配。
7)使用PNP算法处理步骤1和步骤2的特征点，计算出两关键帧之间的位姿，位姿信息包括平移和旋转；
8)通过前后两个关键帧之间数据计算出的位姿替换直接法的运动估计来消除累计误差和持续对路标进行跟踪；
步骤110，由上述步骤输出相机位姿。
步骤111，由相机的位姿变换得到车辆的位姿。
步骤112，由使用IMU设备及双目信息获取图像信息及IMU数据，经信息处理之后得到路标信息及位置信息，以及相机及车辆位姿，可以用于建立路标地图。
步骤102，关键帧的判别机制：若相机两帧之间估计出来的平移和旋转大于所设定好的阈值，判定车辆的累计运动到达一定程度设置该帧为关键帧；若相机图像中路标区域移动到图像边缘，判定跟踪不到路标(初始图片或者路标运动消失)，设置该帧为关键帧。
若相机两帧之间估计出来的平移和旋转小于所设定好的阈值，则两帧为非关键帧。
步骤107，如果为非关键帧，则提取路标区域，利用深度学习目标检测网路识别道路的各种路标，包括交通标识牌和红绿灯等，并跟踪路标区域。
步骤108，使用直接法计算获取位姿信息。
所述的直接法是视觉里程计另一主要分支，直接法直接根据像素亮度信息，估计相机的运动，可以完全不用计算关键点和描述子。于是，直接法既避免了特征的计算时间，也避免了特征缺失的情况。只要场景中存在明暗变化，就可以用直接法计算。根据使用像素的数量，直接法分为稀疏、稠密和半稠密三种，具有恢复稠密结构的能力。
步骤109，更新关键帧直接法的位姿状态，得到平移和旋转。
如图2所示：
本发明使用的改进的直接法,使用改进的直接法可以提高运算速度，及计算精度。改善直接法的定位精度并且提高定位输出频率，改进的直接法利用imu数据进行航迹推算估计出车辆位姿初始，然后进行优化，提高了精度和速度，提高输出频率解决在车辆大运动下特征点容易跟丢的问题；
使用IMU设备及双目信息获取图像信息及IMU数据。
步骤203，在前后两帧图片之间，通过与之时间戳对齐的imu惯性测量模块数据进行航迹推算估计车辆位姿的初值。
步骤204，利用恢复的三维空间点坐标和imu估计的两帧之间的运动估计运动估计包括平移和旋转。
步骤205，利用运动估计进行两帧之间的重投影，计算前一帧图像上的路标区域投影到后一帧上的像素位置，计算公式：
Figure BDA0002225328090000131
Figure BDA0002225328090000132
式中，p1是上一帧图像上的路标区域任意像素点；K是相机内参，由步骤a1得到；P是特征点在相机坐标系下的空间坐标；p2是上一帧图像上的p1在下一帧图像上的投影点；R,t分别是步骤a4中估计出来的前后帧之间的旋转运动和平移运动；ξ是R,t对应的李代数表示。
步骤206，利用灰度不变假设构建部门优化函数，基于光度不变假设得到两个像素之间的误差，进而构建出目标优化函数，目的是迭代优化目标函数求解最佳运动估计，计算公式：
e＝I1(p1)-I2(p2)
Figure BDA0002225328090000141
式中，e是光度误差；I1(p1),I2(p2)分别是像素点p1,p2的灰度值；H(ξ)是目标优化函数。
求得得到对光度误差进行求导；
步骤207，利用高斯-牛顿算法进行位姿优化，优化算法迭代计算出最佳运动估计，此方法由于已经通过imu进行运动估计，初始值较好，迭代较少次数可以达到最佳值；
步骤208，由步骤207利用高斯-牛顿算法进行位姿优化，计算出最佳运动估计，并由运动估计得到位姿信息。输出位姿信息。
此时对于总的运行步骤，进行到步骤110，由上述步骤输出相机位姿。
步骤111，由相机的位姿变换得到车辆的位姿。
步骤112，由使用IMU设备及双目信息获取图像信息及IMU数据，经信息处理之后得到路标信息及位置信息，以及相机及车辆位姿，可以用于建立路标地图。
本发明通过判断关键帧和非关键帧，区分关键帧及非关键帧的运算方法，同时将直接法在现有技术的基础上进行改进，将相机位姿信息的计算方法得到优化，通过本发明的方法可以提高视觉定位精度，同时可以在一定程度上提高运算速度。
实施例三
本发明方案中的车辆位姿信息更新方法，该方法使用的系统设置包括：
步骤301双目相机模块是用来采集双目视觉信息；IMU信息获取模块，用于获取IMU信息；
在改模块中获取图像信息及IMU信息。
步骤302地图获取模块在利用本系统构建好语义地图的情况下工作，目的是获取先验的语义特征点三维空间信息，进行前后帧信息比对。
步骤303关键帧判别模块是用来判别当前的相机帧是否为关键帧；
步骤305深度实时网络模块是用来检测路标区域的；
步骤306特征匹配模块是用来在前后关键帧之间进行匹配定位的；
步骤304 IMU模块是用来获取IMU信息的；
步骤307直接法跟踪模块是用来跟踪路标区域的像素点，进而获取车辆位置信息的；
步骤308位姿输出模块是用来往外输出本系统的位姿信息的；
步骤309语义地图建立与更新模块是用通过提取的三维空间特征点和位姿信息构建语义地图的。
本发明包括一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的方法。
本发明包括一种智能驾驶车辆，其中设置有车辆位姿信息确定系统，所述的车辆位姿信息确定系统可以用于控制车辆的驾驶，并运行如上述中任一项的方法。
如图5所示为使用本发明方法的测试结果示例，本发明实施例基于深度学习目标检测网络的路标区域提取效果图，在场景1中，有红绿灯，交通标识牌和路灯等，通过深度学习目标检测网络，将同一时刻左右目中的路标区域都识别了出来，给基于本定位算法提供了先验信息。
算法中所用的不局限于ORB特征点法，同时可以使用其他强人工特征点代替，如：SIFT或者SURF等。
图6为本发明实施例前后关键帧ORB的匹配效果图，针对场景1中不同时刻的左相机图像同样先进行路标区域提前，然后验证本算法的基于路标区域的特征点匹配定位，可以看出匹配的特征点对都是平行对齐的没有误匹配，说明本算法可靠有效。
图7为本发明实施例前后关键帧SURF的匹配效果图，图7为本发明实施例前后关键帧直接用ORB进行匹配效果图。
图8针对场景1中不同时刻的左相机图像同样先进行路标区域提取(调用目标检测网络识别)，然后验证本算法的基于路标区域的特征点匹配定位，可以看出匹配的特征点对都是平行对齐的没有误匹配，并且特征点匹配比ORB更密集更鲁棒(提取更多特征点，并且准确无误)。图7则有匹配点对交叉，说明有很多误匹配。
对比图6，发现本算法中的匹配策略更精确，所以更换强特征的人工特征点可以有效改进关键帧之间的匹配，提高整个系统的定位精度
说明更换强特征的人工特征点可以有效改进关键帧之间的匹配，提高整个系统的定位精度。
图9所示为使用本发明的车辆位姿信息更新方法，可以获得如图所示的前后关键帧SURF的匹配效果图，针对场景中的道路场景利用视差法恢复左右目上的路标区域的三维空间信息，通过整个算法可以构建出道路的路标区域的地图，方便下次视觉定位使用,一方面可以不用再次计算特征点的深度信息，一方面构建出的地图具有语义信息可以减少误匹配。
本发明涉及一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的方法。
本发明涉及一种智能驾驶车辆，其中设置有车辆位姿信息确定系统，所述的车辆位姿信息确定系统可以用于控制车辆的驾驶，并运行如权利要求1-10中任一项的方法。
本申请中涉及的方法、器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行执行、连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
在本说明书的描述中，术语“一个实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (12)

1.一种车辆位姿信息确定方法，应用于可移动设备，所述的方法包括：接收传感器获取的图像信息及位置信息；
判断图像信息中帧是否是关键帧，所述的关键帧两帧之间经过匹配，
若两帧之间的累计运动超过设定的阈值，则为关键帧；
获取图像信息中的路标区域；
若为关键帧，则使用ORB提取图像信息中路标区域的特征点；
若为非关键帧，则使用直接法提取图像信息中路标区域的特征点；
通过前后两帧特征点之间的位置信息变化，获得车辆新的位姿信息。
2.根据权利要求1所述的一种车辆位姿信息确定方法，其中，所述的获取图像信息中的路标信息包括：使用深度学习目标检测网络检测出路标区域。
3.根据权利要求1所述的一种车辆位姿信息确定方法，其中，所述的使用ORB提取图像信息中路标区域的特征点包括：
调用实时目标检测网络；
使用传感器同采集图像并进行识别提取相应的路标区域；
利用ORB提取路标区域的特征点。
4.根据权利要求3所述的一种车辆位姿信息确定方法，其中，所述的传感器为双目相机。
5.根据权利要求1所述的一种车辆位姿信息确定方法，其中，所述的使用直接法提取图像信息中路标区域的特征点，包括：使用深度学习目标检测网络检测出路标区域，使用直接法提取路标区域的特征点。
6.根据权利要求1所述的一种车辆位姿信息确定方法，其中，所述的通过前后两帧特征点之间的位置信息变化，获得车辆新的位姿信息,包括：
通过ORB提取特征点；
利用PNP(Perspective-nPoint)算法计算出两帧之间的平移和旋转，更新车辆位姿。
7.根据权利要求6所述的一种车辆位姿信息确定方法，其中，利用PNP算法计算出两帧之间的平移和旋转，更新车辆位姿,包括：
搜索前一帧路标区域特征点对应的三维空间坐标；
通过ORB特征点汉明距离进行特征点匹配；
通过PNP算法处理上述特征点，计算出两关键帧之间的位姿；
输出对应位姿。
8.根据权利要求5所述的一种车辆位姿信息更新方法，所述的在前后两帧图片之间，通过与之时间戳对齐的imu惯性测量模块数据进行航迹推算估计车辆位姿的初值。
利用恢复的三维空间点坐标和imu估计的两帧之间的运动估计，计算前一帧图像上的路标区域投影到后一帧上的像素位置，计算公式：
Figure FDA0002225328080000021
所述运动估计为平移和旋转参数。
9.根据权利要求7或8所述的一种车辆位姿信息更新方法，所述输出对应位姿，包括根据位姿信息，建立路标地图。
10.一种车辆位姿信息确定系统，包括：
信息获取模块，包括双目相机获取环境图像信息，及获取具有语义特征点三维空间信息；
信息处理模块，用于处理图像信息，并提取图像信息中的路标区域，并获得路标区域的特征点信息，并将前后两帧之间进行特征匹配定位，获得新的位姿。
控制模块，得到位姿信息用于车辆的控制。
11.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-10中任一项所述的方法。
12.一种智能驾驶车辆，其中设置有车辆位姿信息确定系统，所述的车辆位姿信息确定系统可以用于控制车辆的驾驶，并运行如权利要求1-10中任一项的方法。
CN201910949534.1A 2019-10-08 2019-10-08 一种融合语义信息的路标定位方法 Pending CN110794828A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910949534.1A CN110794828A (zh) 2019-10-08 2019-10-08 一种融合语义信息的路标定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910949534.1A CN110794828A (zh) 2019-10-08 2019-10-08 一种融合语义信息的路标定位方法

Publications (1)

Publication Number Publication Date
CN110794828A true CN110794828A (zh) 2020-02-14

Family

ID=69439298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910949534.1A Pending CN110794828A (zh) 2019-10-08 2019-10-08 一种融合语义信息的路标定位方法

Country Status (1)

Country Link
CN (1) CN110794828A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553945A (zh) * 2020-04-13 2020-08-18 东风柳州汽车有限公司 一种车辆定位方法
CN111780771A (zh) * 2020-05-12 2020-10-16 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN112489080A (zh) * 2020-11-27 2021-03-12 的卢技术有限公司 基于双目视觉slam的车辆定位及车辆3d检测方法
CN113188557A (zh) * 2021-04-28 2021-07-30 江苏方天电力技术有限公司 一种融合语义特征的视觉惯性组合导航方法
CN113587916A (zh) * 2021-07-27 2021-11-02 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN114399532A (zh) * 2022-01-06 2022-04-26 广东汇天航空航天科技有限公司 一种相机位姿确定方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN107730551A (zh) * 2017-01-25 2018-02-23 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN108681711A (zh) * 2018-05-17 2018-10-19 常州信息职业技术学院 一种面向移动机器人的自然路标提取方法
CN109583409A (zh) * 2018-12-07 2019-04-05 电子科技大学 一种面向认知地图的智能车定位方法及系统
CN109671120A (zh) * 2018-11-08 2019-04-23 南京华捷艾米软件科技有限公司 一种基于轮式编码器的单目slam初始化方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730551A (zh) * 2017-01-25 2018-02-23 问众智能信息科技（北京）有限公司 车载相机姿态自动估计的方法和装置
CN107025668A (zh) * 2017-03-30 2017-08-08 华南理工大学 一种基于深度相机的视觉里程计的设计方法
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN108681711A (zh) * 2018-05-17 2018-10-19 常州信息职业技术学院 一种面向移动机器人的自然路标提取方法
CN109671120A (zh) * 2018-11-08 2019-04-23 南京华捷艾米软件科技有限公司 一种基于轮式编码器的单目slam初始化方法及系统
CN109583409A (zh) * 2018-12-07 2019-04-05 电子科技大学 一种面向认知地图的智能车定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HE, YJ: "Camera-Odometer Calibration and Fusion using Graph Based Optimization", 《2017 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (IEEE ROBIO 2017)》, 1 January 2017 (2017-01-01), pages 1624 - 1629 *
张楚东: "基于无人机航拍图像的道路重建技术研究", 《信息科技》, 15 January 2019 (2019-01-15), pages 33 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553945A (zh) * 2020-04-13 2020-08-18 东风柳州汽车有限公司 一种车辆定位方法
CN111553945B (zh) * 2020-04-13 2023-08-11 东风柳州汽车有限公司 一种车辆定位方法
CN111780771A (zh) * 2020-05-12 2020-10-16 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN111780771B (zh) * 2020-05-12 2022-09-23 驭势科技（北京）有限公司 一种定位方法、装置、电子设备及计算机可读存储介质
CN112489080A (zh) * 2020-11-27 2021-03-12 的卢技术有限公司 基于双目视觉slam的车辆定位及车辆3d检测方法
CN113188557A (zh) * 2021-04-28 2021-07-30 江苏方天电力技术有限公司 一种融合语义特征的视觉惯性组合导航方法
CN113188557B (zh) * 2021-04-28 2023-10-20 江苏方天电力技术有限公司 一种融合语义特征的视觉惯性组合导航方法
CN113587916A (zh) * 2021-07-27 2021-11-02 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN113587916B (zh) * 2021-07-27 2023-10-03 北京信息科技大学 实时稀疏视觉里程计、导航方法以及系统
CN114399532A (zh) * 2022-01-06 2022-04-26 广东汇天航空航天科技有限公司 一种相机位姿确定方法和装置

Similar Documents

Publication Publication Date Title
CN110794828A (zh) 一种融合语义信息的路标定位方法
CN111656136B (zh) 使用激光雷达的车辆定位系统
CN111830953B (zh) 车辆自定位方法、装置及系统
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
WO2021017212A1 (zh) 一种多场景高精度车辆定位方法、装置及车载终端
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
WO2020000137A1 (en) Integrated sensor calibration in natural scenes
US10872246B2 (en) Vehicle lane detection system
CN111862673B (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN102565832A (zh) 用附加车载视觉传感器加强gps或gps/传感器车辆定位的方法
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
JPWO2009072507A1 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
JP2008065087A (ja) 静止物地図生成装置
CN110967018B (zh) 停车场定位方法、装置、电子设备及计算机可读介质
CN109029442A (zh) 基于多视角匹配的定位装置及方法
CN110018503B (zh) 车辆的定位方法及定位系统
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US11514588B1 (en) Object localization for mapping applications using geometric computer vision techniques
CN114662587B (zh) 一种基于激光雷达的三维目标感知方法、装置及系统
Laflamme et al. Driving datasets literature review
CN113838129B (zh) 一种获得位姿信息的方法、装置以及系统
Achar et al. Large scale visual localization in urban environments
Wong et al. Single camera vehicle localization using SURF scale and dynamic time warping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination