CN108106627B - 一种基于特征点在线动态标定的单目视觉车辆定位方法 - Google Patents

一种基于特征点在线动态标定的单目视觉车辆定位方法 Download PDF

Info

Publication number
CN108106627B
CN108106627B CN201711384246.3A CN201711384246A CN108106627B CN 108106627 B CN108106627 B CN 108106627B CN 201711384246 A CN201711384246 A CN 201711384246A CN 108106627 B CN108106627 B CN 108106627B
Authority
CN
China
Prior art keywords
characteristic point
point
characteristic
calibration
front truck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711384246.3A
Other languages
English (en)
Other versions
CN108106627A (zh
Inventor
杨殿阁
曹重
江昆
王思佳
肖中阳
谢诗超
柳超然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711384246.3A priority Critical patent/CN108106627B/zh
Publication of CN108106627A publication Critical patent/CN108106627A/zh
Application granted granted Critical
Publication of CN108106627B publication Critical patent/CN108106627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于特征点在线动态标定的单目视觉车辆定位方法，其步骤：搭载相机的车辆为后车，在相机的图像中发现欲定位的车辆即为前车；为定位前车，连续采集前车图像序列，建立空间模型及坐标系；在平直道路上，首先对每一帧图像进行分析，识别前车特征点并记录其特征属性，同时初步估计这些特征点在空间中的位置；根据连续多个时刻获取的车辆特征点匹配与分析，获得其中用于标定的特征点库；获得标定特征点库后，需要获得其中每个特征点的标定后空间位置；完成特征点标定后，将标定信息用于颠簸道路与坡道的前车定位，建立空间关系，完成在颠簸路面与坡道上的车辆定位。本发明实现在多种复杂路况下的高精度、高适应性车辆位置估计。

Description

一种基于特征点在线动态标定的单目视觉车辆定位方法
技术领域
本发明涉及一种车辆定位方法，特别涉及一种在计算机视觉车辆定位领域中，应用在线动态标定前车特征点信息的单目视觉车辆定位方法。
背景技术
环境感知是智能汽车系统中的重要组成部分，其中，利用单目视觉估计车辆位置是环境感知的重要基础。为满足车辆高安全性的需求，环境感知系统需保证无论在任何路面条件下，均输出高精度的、稳定的感知结果。现阶段，包括Mobileye等公司在内的大多数应用于车辆定位的产品与方法是基于车辆处于同一平面的假设，使用标定过的固定相机内外参数实现车辆定位。但这些假设在颠簸路面或者坡道等复杂的道路状况上均无法满足，因此该方法会产生较大的误差，整体的适应性和精度仍有提升空间。另一方面，采用SLAM方法的车辆定位能够实现在颠簸道路与坡道的车辆定位，但需要预先采集的前车特征点信息，这实际行驶条件下往往难以实现，实用性不高。因此，在线动态标定特征点能够有效提升目前单目视觉车辆定位的精度、稳定性与实用性。
综上所述，利用单目视觉技术在线动态标定前车特征点，并基于特征点信息在复杂道路环境下实现车辆精准定位，是提高环境感知精度、稳定性与实用性的有效途径之一，从而推动车辆智能化发展。
发明内容
针对上述问题，本发明的目的是提供一种基于特征点在线动态标定的单目视觉车辆定位方法,该方法在线动态标定前车特征点，并利用前车特征点实现前车单目视觉定位，消除由于车辆震动以及相机外参数变化带来的定位误差，提升结果的稳定性与实用性，实现在多种复杂路况下的高精度、高适应性车辆位置估计。
为实现上述目的，本发明采取以下技术方案：一种基于特征点在线动态标定的单目视觉车辆定位方法，其特征在于包括以下步骤：1)搭载相机的车辆为后车，后车在行驶过程中，在相机的图像中发现欲定位的车辆，该车辆即为前车；为定位前车，连续采集前车图像序列，建立空间模型及坐标系；2)在平直道路上，首先对每一帧图像进行分析，识别前车特征点并记录其特征属性，同时初步估计这些特征点在空间中的位置；3)根据连续多个时刻获取的车辆特征点匹配与分析，获得其中用于标定的特征点库；4)获得标定特征点库后，需要获得其中每个特征点的标定后空间位置；5)完成特征点标定后，将标定信息用于颠簸道路与坡道的前车定位，建立空间关系，完成在颠簸路面与坡道上的车辆定位。
进一步，所述步骤1)中，空间模型及坐标系建立过程步骤如下：1.1)建立空间坐标系O-X0Y0Z0：坐标系固定在前车上，跟随前车运动，坐标系原点位于前车尾部两个轮胎与地面接触的中心点连线的中点，X轴方向沿车辆后轮速度方向，以米为单位；1.2)建立二维直角坐标系Oi-UV和三维直角坐标系O'-X'Y'Z'，二维直角坐标系以图像左上角为原点，向右为U轴正方向，向下为V轴正方向，三维直角坐标系以相机镜头中心为原点，二者均以像素为单位；1.3)由于相机与后车固连，通过求解相机在空间坐标系O-X0Y0Z0中的位置，以及相机与后车的相对位置关系，定位后车位置，据此得到前后两车的相对位置关系，即完成前车定位。
进一步，所述步骤2)中，具体过程包括以下步骤：2.1)针对每一帧图像，采用深度学习方法获取前车的外接矩形框；2.2)采用图像特征点提取方法，对图像中前车外接矩形框内的所有特征点进行提取，并记录其特征点属性，第i个特征点在二维直角坐标系Oi-UV中的位置表示为2.3)建立空间位置关系，通过标定的车辆高度hc，相机焦距f，光轴在图像上的投影(u0,v0)，外界矩形下边缘在二维直角坐标系Oi-UV中V方向的位置v2，计算相机与前车的距离d：
2.4)通过标定的车辆高度hc，相机焦距f，光轴在图像上的投影(u0,v0)，与计算出的距离d，初步估计各特征点在空间坐标系O-X0Y0Z0中的位置如下：
进一步，所述步骤3)中，具体过程包括以下步骤：3.1)根据各图像中的特征点属性，使用SIFT中特征点匹配算法，将各图像中特征点进行匹配，得到任意特征点以及与其匹配的特征点的集合；3.2)建立特征点库；3.3)建立特征点库中每个点在不同时刻的空间位置序列；3.4)定义计算特征点空间分布相似度的函数其中与为特征点库中第i和第j个特征点的空间分布；3.5)将特征点库根据空间分布的相似性进行分类，空间分布具有相似关系的所有特征点为一类，在这些类中，选出具有特征点最多的那一类，则该类即为标定特征点库。
进一步，所述步骤3.2)中，该特征点库具备如下特征：a)库中的特征点之间无法匹配；b)图像序列中的每个特征点均能找到特征点库中的点与之匹配；c)库中每个特征点均能找到至少两张图像存在与之匹配的特征点。
进一步，所述步骤3.3)中，首先找到特征点库中某个点以及与之匹配的图像序列中所有的特征点，将不同时刻下互相匹配的特征点的空间位置放入同一个集合，该集合即为该特征点的空间位置序列，将其画在空间坐标系O-X0Y0Z0中即得到该特征点在不同时刻的位置分布状态。
进一步，所述步骤3.4)中，其计算方法为：3.4.1)找到一组图像序列，其中的每张图像均有能够与第i和第j个特征点匹配的特征点；3.4.2)若图像序列充足，则计算这些图像中两个特征点空间位置间的向量；3.4.3)对所有向量取平均得到标准向量；3.4.4)将各图像计算的向量对标准向量取标准差；3.4.5)若该标准差小于预先设定的阈值，则定义第i和第j个特征点空间分布相似；反之，则定义两个特征点空间分布不相似。
进一步，所述步骤4)中，具体过程包括以下步骤：4.1)选择任意一个特征点i作为基准特征点；4.2)对于标定特征点库中的其他某个特征点j，进行如下操作：4.2.1)在所有图像中找到一组图像序列，该序列中图像同时有两个特征点与特征点i及特征点j匹配；4.2.2)在这些图像中计算两个特征点之间的平移向量；4.2.3)将所有图像中的平移向量取平均值，作为平均平移向量；4.2.4)将特征点i的空间坐标，加上平均平移向量，作为所观测的特征点j的空间位置；4.3)由于前车在空间坐标系O-X0Y0Z0中，关于X轴对称，且车尾在YZ平面上关于Z轴对称，且下表面近似为XY平面，据此将特征点进行平移，直至所有特征点基本与Z轴对称，且Z方向坐标均大于0；4.4)由于车辆在平直道路上行进过程中，不断增加图像序列，因此获得更多的特征点信息以及其对应的空间属性信息，据此削弱由于偶然因素造成的误差，并不断补充标定特征点库，实现在线动态的特征点标定。
进一步，所述步骤5)中，定位方法包括以下步骤：5.1)获得前车特征点信息，并选择至少3个与标定特征点库中匹配的特征点作为待用特征点，定义是这三个特征点在二维直角坐标系Oi-UV下的坐标，是这三个特征点的标定结果，即在空间坐标系O-X0Y0Z0下的坐标；5.2)计算三个特征点在三维直角坐标系O'-X'Y'Z'下的坐标并计算三个点之间的夹角作为坐标系间转换参数，计算需要使用相机内参KI；5.3)假设相机在空间坐标系O-X0Y0Z0下坐标为则建立方程组如下：
解方程后获得相机在O-X0Y0Z0下的位置；5.4)通过前期标定获得相机位置与后车位置的平移向量若定义后车在空间坐标系O-X0Y0Z0下的位置为则其计算方法如下：5.5)后车相对与前车的位置为也就是二者间相对位置在任意空间坐标系下的平移向量为此时获得在颠簸路面与坡道上的车辆定位。
进一步，所述步骤5.2)中，计算方法如下：
式中，θ12、θ23、θ13分别表示特征点1与特征点2、特征点2与特征点3、特征点3与特征点1在三维直角坐标系O'-X'Y'Z'下与原点的夹角。
本发明由于采取以上技术方案，其具有以下优点：1、本发明能够消除路面颠簸与坡度对单目视觉定位的影响，提高精度。2、本发明能够动态标定前车特征点，有效地将图像处理结果与车辆空间特征参数结合，提升该定位方法的实用性。3、本发明将深度学习与计算机视觉算法融入特征点标定过程，提升了标定效率与定位效率，实现特征点实时在线标定。
附图说明
图1是本发明的整体流程示意图；
图2(a)是本发明空间坐标系示意图；
图2(b)是本发明图像坐标系示意图；
图2(c)是本发明相机坐标系示意图；
图3是本发明平直道路测距模型；
图4是本发明某特征点的空间分布状态示意图；
图5是本发明基于空间分布状态相似性的特征点库分类及标定特征点库选择；
图6是本发明标定特征点库的标定结果示意图；
图7是本发明颠簸道路与坡道的空间模型；
图8是本发明定位结果与Mobileye的测距结果的比较。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明提供一种基于特征点在线动态标定的单目视觉车辆定位方法，其包括以下步骤：
1)一辆搭载相机的车辆(后车)在行驶过程中，在相机的图像中发现欲定位的车辆，该车辆即为前车；为定位前车，连续采集前车图像序列，建立空间模型及坐标系如下：
1.1)建立空间坐标系O-X0Y0Z0，如图2(a)所示：坐标系固定在前车上，跟随前车运动，坐标系原点位于前车尾部两个轮胎与地面接触的中心点连线的中点，X轴方向沿车辆后轮速度方向，以米为单位。
1.2)为便于描述，建立了二维直角坐标系Oi-UV和三维直角坐标系O'-X'Y'Z'，如图2(b)、图2(c)所示，二维直角坐标系以图像左上角为原点，向右为U轴正方向，向下为V轴正方向，三维直角坐标系以相机镜头中心为原点，二者均以像素为单位。
1.3)由于相机与后车固连，通过求解相机在空间坐标系O-X0Y0Z0中的位置，以及相机与后车的相对位置关系，即可定位后车位置，据此可以得到前后两车的相对位置关系，即完成前车定位。
2)在平直道路上，首先对每一帧图像进行分析，识别前车特征点并记录其特征属性，同时初步估计这些特征点在空间中的位置，具体步骤如下：
2.1)针对每一帧图像，采用Faster-RCNN等深度学习方法获取前车的外接矩形框；
2.2)采用尺度不变特征转换(SIFT)等图像特征点提取方法，对图像中前车外接矩形框内的所有特征点进行提取，并记录其特征点属性，第i个特征点在二维直角坐标系Oi-UV中的位置表示为
2.3)如图3所示，建立空间位置关系，通过标定的车辆高度hc，相机焦距f，光轴在图像上的投影(u0,v0)，外界矩形下边缘在二维直角坐标系Oi-UV中V方向的位置v2，计算相机与前车的距离d：
2.4)通过标定的车辆高度hc，相机焦距f，光轴在图像上的投影(u0,v0)，与计算出的距离d，初步估计各特征点在空间坐标系O-X0Y0Z0中的位置如下：
式中，表示第i个特征点在空间坐标系O-X0Y0Z0中的位置。
3)根据连续多个时刻获取的车辆特征点匹配与分析，获得其中用于标定的特征点库，具体步骤如下：
3.1)根据各图像中的特征点属性，使用SIFT中特征点匹配算法，将各图像中特征点进行匹配，得到任意特征点以及与其匹配的特征点的集合。
3.2)建立特征点库，该特征点库具备如下特征：
a)库中的特征点之间无法匹配；
b)图像序列中的每个特征点均能找到特征点库中的点与之匹配；
c)库中每个特征点均能找到至少两张图像存在与之匹配的特征点。
3.3)建立特征点库中每个点在不同时刻的空间位置序列，即首先找到特征点库中某个点以及与之匹配的图像序列中所有的特征点，将不同时刻下互相匹配的特征点的空间位置放入同一个集合，该集合即为该特征点的空间位置序列，将其画在空间坐标系O-X0Y0Z0中即可得到该特征点在不同时刻的位置分布状态，如图4所示(x方向坐标均为0)。
3.4)定义计算特征点空间分布相似度的函数其中与为特征点库中第i和第j个特征点的空间分布。
其计算方法为：
3.4.1)找到一组图像序列，其中的每张图像均有能够与第i和第j个特征点匹配的特征点；
3.4.2)若图像序列充足(如大于5张)，则计算这些图像中两个特征点空间位置间的向量；
3.4.3)对所有向量取平均得到标准向量；
3.4.4)将各图像计算的向量对标准向量取标准差；
3.4.5)若该标准差小于预先设定的阈值，则定义第i和第j个特征点空间分布相似；反之，则定义两个特征点空间分布不相似。
3.5)将特征点库根据空间分布的相似性进行分类，空间分布具有相似关系的所有特征点为一类，因此可分为若干类，在这些类中，选出具有特征点最多的那一类，则该类即为标定特征点库，如图5所示。
4)获得标定特征点库后，需要获得其中每个特征点的标定后空间位置，其方法如下：
4.1)选择任意一个特征点i作为基准特征点；
4.2)对于标定特征点库中的其他某个特征点j，进行如下操作：
4.2.1)在所有图像中找到一组图像序列，该序列中图像同时有两个特征点与特征点i及特征点j匹配；
4.2.2)在这些图像中计算两个特征点之间的平移向量；
4.2.3)将所有图像中的平移向量取平均值，作为平均平移向量；
4.2.4)将特征点i的空间坐标，加上平均平移向量，作为所观测的特征点j的空间位置。
4.3)由于前车在空间坐标系O-X0Y0Z0中，关于X轴对称，且车尾在YZ平面上关于Z轴对称，且下表面近似为XY平面，可据此将特征点进行平移，直至所有特征点基本与Z轴对称，且Z方向坐标均大于0，标定结果如图6所示。
4.4)由于车辆在平直道路上行进过程中，不断增加图像序列，因此可获得更多的特征点信息以及其对应的空间属性信息，据此可削弱由于偶然因素造成的误差，并不断补充标定特征点库，实现在线动态的特征点标定。
5)完成特征点标定后，将标定信息用于颠簸道路与坡道的前车定位，建立空间关系如图7所示，完成在颠簸路面与坡道上的车辆定位；
其定位方法如下：
5.1)使用Faster RCNN与SIFT等方法获得前车特征点信息，并选择至少3个与标定特征点库中匹配的特征点作为待用特征点，定义是这三个特征点在二维直角坐标系Oi-UV下的坐标，是这三个特征点的标定结果，即在空间坐标系O-X0Y0Z0下的坐标；
5.2)计算三个特征点在三维直角坐标系O'-X'Y'Z'下的坐标并计算三个点之间的夹角作为坐标系间转换参数，计算需要使用相机内参KI，其计算方法如下：
式中，θ12、θ23、θ13分别表示特征点1与特征点2、特征点2与特征点3、特征点3与特征点1在三维直角坐标系O'-X'Y'Z'下与原点的夹角。
5.3)假设相机在空间坐标系O-X0Y0Z0下坐标为则根据图7的空间关系，可建立方程组如下：
解方程即可获得相机在O-X0Y0Z0下的位置。
5.4)由于相机与后车固连，因此可通过前期标定获得相机位置与后车位置的平移向量若定义后车在空间坐标系O-X0Y0Z0下的位置为则其计算方法如下：
5.5)因此后车相对与前车的位置为也就是二者间相对位置在任意空间坐标系下的平移向量为此时即可获得在颠簸路面与坡道上的车辆定位。
综上所述，将本发明的方法应用到真实道路上，以差分卫星信号RTK提供的结果作为标准值，与Mobileye输出结果作比较，结果如图8所示，可以看出在平直道路上Mobileye的结果与本发明方法的结果相似，误差均很低，而进入颠簸路面Mobileye产生明显误差，而本发明方法并无明显误差，因此可证明本发明的有效性。
上述各实施例仅用于说明本发明，各部件的结构、尺寸、设置位置及形状都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别部件进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (9)

1.一种基于特征点在线动态标定的单目视觉车辆定位方法，其特征在于包括以下步骤：
1)搭载相机的车辆为后车，后车在行驶过程中，在相机的图像中发现欲定位的车辆，该车辆即为前车；为定位前车，连续采集前车图像序列，建立空间模型及坐标系；
2)在平直道路上，首先对每一帧图像进行分析，识别前车特征点并记录其特征属性，同时初步估计这些特征点在空间中的位置；
所述步骤2)中，具体过程包括以下步骤：
2.1)针对每一帧图像，采用深度学习方法获取前车的外接矩形框；
2.2)采用图像特征点提取方法，对图像中前车外接矩形框内的所有特征点进行提取，并记录其特征点属性，第i个特征点在二维直角坐标系Oi-UV中的位置表示为
2.3)建立空间位置关系，通过标定的车辆高度hc，相机焦距f，光轴在图像上的投影(u0,v0)，外界矩形下边缘在二维直角坐标系Oi-UV中V方向的位置v2，计算相机与前车的距离d：
2.4)通过标定的车辆高度hc，相机焦距f，光轴在图像上的投影(u0,v0)，与计算出的距离d，初步估计各特征点在空间坐标系O-X0Y0Z0中的位置如下：
3)根据连续多个时刻获取的车辆特征点匹配与分析，获得其中用于标定的特征点库；
4)获得标定特征点库后，需要获得其中每个特征点的标定后空间位置；
5)完成特征点标定后，将标定信息用于颠簸道路与坡道的前车定位，建立空间关系，完成在颠簸路面与坡道上的车辆定位。
2.如权利要求1所述的方法，其特征在于：所述步骤1)中，空间模型及坐标系建立过程步骤如下：
1.1)建立空间坐标系O-X0Y0Z0：坐标系固定在前车上，跟随前车运动，坐标系原点位于前车尾部两个轮胎与地面接触的中心点连线的中点，X轴方向沿车辆后轮速度方向，以米为单位；
1.2)建立二维直角坐标系Oi-UV和三维直角坐标系O'-X'Y'Z'，二维直角坐标系以图像左上角为原点，向右为U轴正方向，向下为V轴正方向，三维直角坐标系以相机镜头中心为原点，二者均以像素为单位；
1.3)由于相机与后车固连，通过求解相机在空间坐标系O-X0Y0Z0中的位置，以及相机与后车的相对位置关系，定位后车位置，据此得到前后两车的相对位置关系，即完成前车定位。
3.如权利要求1所述的方法，其特征在于：所述步骤3)中，具体过程包括以下步骤：
3.1)根据各图像中的特征点属性，使用SIFT中特征点匹配算法，将各图像中特征点进行匹配，得到任意特征点以及与其匹配的特征点的集合；
3.2)建立特征点库；
3.3)建立特征点库中每个点在不同时刻的空间位置序列；
3.4)定义计算特征点空间分布相似度的函数其中与为特征点库中第i和第j个特征点的空间分布；
3.5)将特征点库根据空间分布的相似性进行分类，空间分布具有相似关系的所有特征点为一类，在这些类中，选出具有特征点最多的那一类，则该类即为标定特征点库。
4.如权利要求3所述的方法，其特征在于：所述步骤3.2)中，该特征点库具备如下特征：
a)库中的特征点之间无法匹配；
b)图像序列中的每个特征点均能找到特征点库中的点与之匹配；
c)库中每个特征点均能找到至少两张图像存在与之匹配的特征点。
5.如权利要求3所述的方法，其特征在于：所述步骤3.3)中，首先找到特征点库中某个点以及与之匹配的图像序列中所有的特征点，将不同时刻下互相匹配的特征点的空间位置放入同一个集合，该集合即为该特征点的空间位置序列，将其画在空间坐标系O-X0Y0Z0中即得到该特征点在不同时刻的位置分布状态。
6.如权利要求3所述的方法，其特征在于：所述步骤3.4)中，其计算方法为：
3.4.1)找到一组图像序列，其中的每张图像均有能够与第i和第j个特征点匹配的特征点；
3.4.2)若图像序列充足，则计算这些图像中两个特征点空间位置间的向量；
3.4.3)对所有向量取平均得到标准向量；
3.4.4)将各图像计算的向量对标准向量取标准差；
3.4.5)若该标准差小于预先设定的阈值，则定义第i和第j个特征点空间分布相似；反之，则定义两个特征点空间分布不相似。
7.如权利要求1所述的方法，其特征在于：所述步骤4)中，具体过程包括以下步骤：
4.1)选择任意一个特征点i作为基准特征点；
4.2)对于标定特征点库中的其他某个特征点j，进行如下操作：
4.2.1)在所有图像中找到一组图像序列，该序列中图像同时有两个特征点与特征点i及特征点j匹配；
4.2.2)在这些图像中计算两个特征点之间的平移向量；
4.2.3)将所有图像中的平移向量取平均值，作为平均平移向量；
4.2.4)将特征点i的空间坐标，加上平均平移向量，作为所观测的特征点j的空间位置；
4.3)由于前车在空间坐标系O-X0Y0Z0中，关于X轴对称，且车尾在YZ平面上关于Z轴对称，且下表面近似为XY平面，据此将特征点进行平移，直至所有特征点基本与Z轴对称，且Z方向坐标均大于0；
4.4)由于车辆在平直道路上行进过程中，不断增加图像序列，因此获得更多的特征点信息以及其对应的空间属性信息，据此削弱由于偶然因素造成的误差，并不断补充标定特征点库，实现在线动态的特征点标定。
8.如权利要求1所述的方法，其特征在于：所述步骤5)中，定位方法包括以下步骤：
5.1)获得前车特征点信息，并选择至少3个与标定特征点库中匹配的特征点作为待用特征点，定义是这三个特征点在二维直角坐标系Oi-UV下的坐标，是这三个特征点的标定结果，即在空间坐标系O-X0Y0Z0下的坐标；
5.2)计算三个特征点在三维直角坐标系O'-X'Y'Z'下的坐标并计算三个点之间的夹角作为坐标系间转换参数，计算需要使用相机内参KI；
5.3)假设相机在空间坐标系O-X0Y0Z0下坐标为则建立方程组如下：
解方程后获得相机在O-X0Y0Z0下的位置；
5.4)通过前期标定获得相机位置与后车位置的平移向量若定义后车在空间坐标系O-X0Y0Z0下的位置为则其计算方法如下：
5.5)后车相对与前车的位置为也就是二者间相对位置在任意空间坐标系下的平移向量为此时获得在颠簸路面与坡道上的车辆定位。
9.如权利要求8所述的方法，其特征在于：所述步骤5.2)中，计算方法如下：
式中，θ12、θ23、θ13分别表示特征点1与特征点2、特征点2与特征点3、特征点3与特征点1在三维直角坐标系O'-X'Y'Z'下与原点的夹角。
CN201711384246.3A 2017-12-20 2017-12-20 一种基于特征点在线动态标定的单目视觉车辆定位方法 Active CN108106627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711384246.3A CN108106627B (zh) 2017-12-20 2017-12-20 一种基于特征点在线动态标定的单目视觉车辆定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711384246.3A CN108106627B (zh) 2017-12-20 2017-12-20 一种基于特征点在线动态标定的单目视觉车辆定位方法

Publications (2)

Publication Number Publication Date
CN108106627A CN108106627A (zh) 2018-06-01
CN108106627B true CN108106627B (zh) 2019-08-09

Family

ID=62210399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711384246.3A Active CN108106627B (zh) 2017-12-20 2017-12-20 一种基于特征点在线动态标定的单目视觉车辆定位方法

Country Status (1)

Country Link
CN (1) CN108106627B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110836656B (zh) * 2018-08-15 2022-01-18 深圳地平线机器人科技有限公司 用于单目adas的防抖测距方法、装置和电子设备
CN111127541B (zh) * 2018-10-12 2024-02-27 杭州海康威视数字技术股份有限公司 车辆尺寸的确定方法、装置及存储介质
CN109801339B (zh) * 2018-12-29 2021-07-20 百度在线网络技术（北京）有限公司 图像处理方法、装置和存储介质
CN110745140B (zh) * 2019-10-28 2021-01-01 清华大学 一种基于连续图像约束位姿估计的车辆换道预警方法
CN110889829B (zh) * 2019-11-09 2023-11-03 东华大学 一种基于鱼眼镜头的单目测距方法
CN111397581B (zh) * 2020-02-27 2022-01-18 清华大学 基于红外led点阵的视觉定位靶标及靶标测量场
CN111462249B (zh) * 2020-04-02 2023-04-18 北京迈格威科技有限公司 一种交通摄像头标定方法及装置
CN111553945B (zh) * 2020-04-13 2023-08-11 东风柳州汽车有限公司 一种车辆定位方法
CN111612849A (zh) * 2020-05-12 2020-09-01 深圳市哈工大交通电子技术有限公司 一种基于流动车辆的摄像机标定方法及系统
CN115472039B (zh) * 2021-06-10 2024-03-01 上海博泰悦臻网络技术服务有限公司 信息处理方法及相关产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102107662A (zh) * 2009-12-25 2011-06-29 张兔生 无人驾驶有轨电轿车及天铁系统
KR101296147B1 (ko) * 2011-03-15 2013-08-19 주식회사 제이캐스트 친환경 이동경로를 제공하는 시스템 및 단말
CN104792302A (zh) * 2015-04-29 2015-07-22 深圳市保千里电子有限公司 一种建模测车距的方法
CN105205459B (zh) * 2015-09-16 2019-02-05 东软集团股份有限公司 一种图像特征点类型的识别方法和装置
CN107390205B (zh) * 2017-07-20 2019-08-09 清华大学 一种利用车联网获取前车特征的单目视觉车辆测距方法

Also Published As

Publication number Publication date
CN108106627A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN108106627B (zh) 一种基于特征点在线动态标定的单目视觉车辆定位方法
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
Hoque et al. A comprehensive review on 3D object detection and 6D pose estimation with deep learning
Huang et al. Robust inter-vehicle distance estimation method based on monocular vision
CN107390205B (zh) 一种利用车联网获取前车特征的单目视觉车辆测距方法
Vatavu et al. Stereovision-based multiple object tracking in traffic scenarios using free-form obstacle delimiters and particle filters
Parra et al. Robust visual odometry for vehicle localization in urban environments
Guo et al. A multimodal ADAS system for unmarked urban scenarios based on road context understanding
CN110969064B (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
Fernández et al. Curvature-based curb detection method in urban environments using stereo and laser
Wu et al. Nonparametric technique based high-speed road surface detection
CN109827516B (zh) 一种通过车轮来测量距离的方法
Zhang et al. A novel vehicle reversing speed control based on obstacle detection and sparse representation
CN109543520B (zh) 一种面向语义分割结果的车道线参数化方法
Haltakov et al. Scene understanding from a moving camera for object detection and free space estimation
Cordts et al. Object-level priors for stixel generation
Li et al. A new 3D LIDAR-based lane markings recognition approach
Han et al. Vehicle class recognition from video-based on 3d curve probes
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Yang et al. Vision-based intelligent vehicle road recognition and obstacle detection method
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
Holder et al. Learning to drive: End-to-end off-road path prediction
García-García et al. 3D visual odometry for road vehicles
Chun-Zhao et al. Drivable road boundary detection for intelligent vehicles based on stereovision with plane-induced homography
Xiong et al. A 3d estimation of structural road surface based on lane-line information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant