CN117372534A - 一种基于道路标识线的车载相机外参动态补偿方法及装置 - Google Patents

一种基于道路标识线的车载相机外参动态补偿方法及装置 Download PDF

Info

Publication number
CN117372534A
CN117372534A CN202311208121.0A CN202311208121A CN117372534A CN 117372534 A CN117372534 A CN 117372534A CN 202311208121 A CN202311208121 A CN 202311208121A CN 117372534 A CN117372534 A CN 117372534A
Authority
CN
China
Prior art keywords
current frame
road
line
semantic segmentation
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311208121.0A
Other languages
English (en)
Inventor
李豪杰
龚锐
王述良
程建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jimu Intelligent Technology Co ltd
Original Assignee
Wuhan Jimu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jimu Intelligent Technology Co ltd filed Critical Wuhan Jimu Intelligent Technology Co ltd
Priority to CN202311208121.0A priority Critical patent/CN117372534A/zh
Publication of CN117372534A publication Critical patent/CN117372534A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了一种基于道路标识线的车载相机外参动态补偿方法及装置，所述方法包括：采集当前帧和上一帧的道路图像，提取道路图像中所有道路标识线的信息得到当前帧语义分割图和上一帧语义分割图；提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算当前帧相对位姿；将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿。本发明的方法可以解决现有外参补偿方式中存在的无法补偿相机外参翻滚角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。

Description

一种基于道路标识线的车载相机外参动态补偿方法及装置
技术领域
本发明自动驾驶领域，涉及车载相机外参补偿技术，具体涉及一种基于道路标识线的车载相机外参动态补偿方法及装置。
背景技术
当前自动驾驶领域内，通常使用车载相机的视觉方式感知自车周围的车辆、行人、障碍物等信息，其中各目标与自车之间的距离信息最为重要。车辆在行使是过程中由于自车颠簸、道路变换等，使得车载相机的外参会在小范围波动，进而影响相关目标的测距精度，因此需要对车载相机的外参进行补偿，以有效提高感知信息的准确度。
目前，车载相机的外参补偿有以下三种方式：
1、基于平行车道线交点的动态外参补偿，是通过计算平行车道线交点，以交点为消失点的性质计算求解姿态角。这种方式依赖行驶过程中的平行车道线的提取，因此当行驶到路口等无车道线场景或处于弯道场景时，则无法对车载相机进行实时有效的外参补偿；在有平行车道线时只能对相机的pitch(俯仰)角、yaw(航向)角进行补偿；再者，对于其他外参，则需要引入车道宽度等先验假设才能计算补偿，这些假设会引入额外误差。
2、基于光流特征点的相机动态外参补偿，是通过计算前后两帧图像中的角点、特征描述子，然后对前后帧特征点进行匹配筛选，得到图像光流后计算当前时刻的摄像头位姿。这种方式需要计算、查找、匹配复杂图像中的特征点，对硬件的算力要求较高，且计算过程比较耗时；行驶过程中图像中如果存在未知运行状态的行人、车辆上的光流点时，则难以精确估计当前摄像头位姿；再者，采用前后帧匹配的方式，在经过一段时间后会积累一定的相机位姿误差，使得到的相机姿态绝对量偏差不断变大。
3、基于IMU惯导的动态外参补偿，是通过安装车载IMU传感器实时输出自车位姿，使用实时车载位姿对车载相机外参进行动态补偿。这种方式需引入额外的惯导传感器，增加了ADAS系统成本；并且车载IMU传感器与相机的采样频率不一致，还需要引入多传感器时间同步等额外算法模型，处理难度比较大且难以真正实现实时同步。另外IMU传感器、车、相机之间并不严格满足“刚体连接”假设，安装位置不理想或剧烈抖动下，IMU传感器输出数值与相机实际外参变化偏差较大。
上述三种机载相机外参补偿方式都有各自的局限性，总的来说，基于车道线交点的补偿方式无法补偿相机外参roll(翻滚)角，基于光流特征点的补偿方式难以消除长时间的累积误差，基于IMU惯导的补偿方式会增加额外设备成本。
发明内容
为了解决现有技术中三种机载相机外参补偿方式存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题，本发明公开了一种基于道路标识线的车载相机外参动态补偿方法及装置。
实现发明目的的技术方案如下：
本发明实施例提供了一种基于道路标识线的车载相机外参动态补偿方法，包括：
S100、通过机载相机采集当前帧和上一帧的道路图像，提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图；
S200、提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；
S300、判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿；
S400、将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿，其中，所述当前帧相对位姿、所述当前帧绝对位姿和所述上一帧绝对位姿均包括俯仰角、航向角和翻滚角。
在一个改进的实施例中，上述基于道路标识线的车载相机外参动态补偿方法，还包括：
S500、判断当前帧的道路图像中是否存在车道线；
S600、若判断存在车道线，依据当前帧语义分割图计算当前帧车道线位置，并计算当前帧车道线位置与初始帧车道线位置之间的偏差；
S700、当判断偏差小于阈值时，将当前帧绝对位姿初始化为初始帧相对位姿，其中，所述初始帧相对位姿包括机载相机内参、外参和安装位置，所述外参包括俯仰角、航向角和翻滚角。
本发明实施例还提供了一种基于道路标识线的车载相机外参动态补偿装置，包括：
机载相机，用于采集当前帧和上一帧的道路图像；
训练后的语义分割模块，用于提取当前帧和上一帧的道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图；
标识线顶点提取模块，用于识别当前帧语义分割图和上一帧语义分割图中每个道路标识线的标识线顶点；
标识线顶点对匹配模块，用于提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；
当前帧相对位姿计算模块，用于判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿；
当前帧绝对位姿计算模块，用于将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿。
在一个改进的实施例中，上述基于道路标识线的车载相机外参动态补偿装置，还包括：
车道线检测模块，用于检测判断当前帧的道路图像中是否存在车道线；
其中，上述当前帧绝对位姿计算模块还用于在判断若存在车道线时，依据当前帧语义分割图计算当前帧车道线位置，计算当前帧车道线位置与初始帧车道线位置之间的偏差；当偏差小于阈值时将当前帧绝对位姿初始化为初始帧相对位姿。
本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于道路标识线的车载相机外参动态补偿方法，以解决现有技术中三种机载相机外参补偿方式中存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于道路标识线的车载相机外参动态补偿方法的计算机程序，以解决解决现有技术中三种机载相机外参补偿方式中存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：本发明提供的基于道路标识线的车载相机外参动态补偿方法相，比于现有的车道线标定、光流标定或IMU惯导，适用范围更广泛；相较于车道线标定，采用了地面标识线在行驶场景中更为常见的特征，可以实现对外参中roll翻滚角的标定。
同时，相对于光流法通过计算图像全局或局部特征描述得到标识线顶点，本发明采用基于语义分割图进行边缘点的标识线顶点提取，耗时更短，稳定性相较而言也更稳定。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种基于道路标识线的车载相机外参动态补偿方法的流程图；
图2为本发明实施例中消除帧间相对位姿累加产生的累积误差的流程图；
图3为本发明实施例中基于道路标识线的车载相机外参动态补偿方法的原理框图；
图4为本发明实施例中计算机设备的示意图；
图5为本发明实施例中基于道路标识线的车载相机外参动态补偿装置的架构图；
其中，401、存储器；402、处理器；501、机载相机；502、训练后的语义分割模块；503、标识线顶点提取模块；504、标识线顶点对匹配模块；505、当前帧相对位姿计算模块；506、当前帧绝对位姿计算模块；507、车道线检测模块。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明实施例提供了一种基于道路标识线的车载相机外参动态补偿方法，参见图1和图3所示，车载相机外参动态补偿方法包括以下步骤：
S100、通过机载相机采集当前帧和上一帧的道路图像，提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图；
S200、提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；
S300、判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿；
S400、将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿，其中，所述当前帧相对位姿、所述当前帧绝对位姿和所述上一帧绝对位姿均包括俯仰角、航向角和翻滚角。
本发明提供的基于道路标识线的车载相机外参动态补偿方法相，比于现有的车道线标定、光流标定或IMU惯导，适用范围更广泛；相较于车道线标定，采用了地面标识线在行驶场景中更为常见的特征，可以实现对外参中roll翻滚角的标定。同时，相对于光流法通过计算图像全局或局部特征描述得到标识线顶点，本发明采用基于语义分割图进行边缘点的标识线顶点提取，耗时更短，稳定性相较而言也更稳定。
在具体实施时，上述步骤S100中，所述提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图，具体包括：
采用传统经典分割模型或训练后的语义分割模型，对机载相机采集的当前帧和上一帧的道路图像中所有类型道路标识线进行分割，得到包括各类型道路标识线信息的当前帧语义分割图和上一帧语义分割图，其中，训练后的语义分割模型通过采用含有各种类型道路标识线的图像作为训练集和验证集，对初始语义分割模型进行反复迭代优化后得到的。
更为具体的，本发明实例中，道路标识线的类型可以为车道线、导流线、导向指示线、停止线、斑马线、网格线、鱼骨线等公路交通标志和标线。
在具体实施时，上述步骤S200中，所述提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集，包括：
S210、分别提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，得到当前帧待匹配特征点集和上一帧匹配特征点集；
S220、依据拓扑关系，将当前帧待匹配特征点集中待匹配特征点与上一帧匹配特征点集中匹配特征点进行匹配，得到多对标识线顶点对；
S230、通过每对标识线顶点对中两个标识线顶点的坐标计算像素距离，提取像素距离小于预设距离阈值的标识线顶点对，得到标识线顶点对集。
需要说明的是，在进行匹配得到标识线顶点对集时，可以采用语义分割图中所有的道路标识线的标识线顶点及其坐标采用拓扑关系和像素距离进行匹配获得，也可以采用语义分割图中特征比较明显的多个道路标识线的标识线顶点及其坐标采用拓扑关系和像素距离进行匹配获得。同时，需要注意的是，在使用多个道路标识线进行匹配得到标识线顶点对集时，需确保标识线顶点对集内标识线顶点对的数量大于等于8，只有在≥8时，才能采用八点法求解前后帧相机的相对位姿。在点对数量小于8时，则需要采用其他方法进行计算。
在具体实施时，上述步骤S210中，分别识别当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点，得到当前帧待匹配特征点集和上一帧匹配特征点集，包括：
S211、依据当前帧语义分割图中多个道路标识线对应的连通域的边界信息，结合当前帧的道路图像的灰度图梯度信息，对每个连通域的边界进行边缘点检测，得到各个道路标识线边缘；对各个道路标识线边缘进行直线检测，将同时为两条直线交点的边缘点作为当前帧待匹配特征点，所有道路标识线的当前帧待匹配特征点形成当前帧待匹配特征点集；
S212、依据上一帧语义分割图中多个道路标识线对应的连通域的边界信息，结合上一帧的道路图像的灰度图梯度信息，对每个连通域的边界进行边缘点检测，得到各个道路标识线边缘；对各个道路标识线边缘进行直线检测，将同时为两条直线交点的边缘点作为上一帧匹配特征点，所有道路标识线的上一帧匹配特征点形成上一帧匹配特征点集。
具体实施时，在当前帧相对上一帧的当前帧相对位姿上述步骤S300中所示的计算当前帧相对上一帧的当前帧相对位姿时，对标识线顶点对集中的标识线顶点对，由对极几何可得矩阵方程其中X1、X2分别上一帧和当前帧的道路图像中匹配后的点对的点坐标，E为需要求解的本质矩阵；使用八点法求解相对位姿，当匹配点对数量大于等于8组时，即可构建矩阵方程，求解出本质矩阵E；然后在本质矩阵E中分解得到旋转矩阵R和平移矩阵T，进而利用R、T得到前后帧相机的相对位姿变化；上述八点法求解位姿为已知算法，本实施例中不对其进行赘述。
本发明的另一个实施例中，在上述步骤S100～S400的基础上，通过采用地面标识线中的车道线信息实时对绝对位姿进行回环检测，以消除帧间相对位姿累加产生的累积误差，具体参见图2和图3所示，车载相机外参动态补偿方法包括以下步骤：
S500、判断当前帧的道路图像中是否存在车道线。
S600、若判断存在车道线，依据当前帧语义分割图计算当前帧车道线位置，并计算当前帧车道线位置与初始帧车道线位置之间的偏差。
具体实施时，通过将初始帧车道线和当前帧车道线中的左右车道线进行对比；若左右两条车道线和车道线四个点的位置在误差范围内，即判断初始帧车道线和当前帧车道线重合，认为相机姿态恢复到起始帧位置。
S700、当判断偏差小于阈值时，认为机载相机与道路的相对位姿恢复到初始状态，将当前帧绝对位姿初始化为初始帧相对位姿，其中，所述初始帧相对位姿包括机载相机内参、外参和安装位置，所述外参包括俯仰角、航向角和翻滚角。当判断偏差大于等于阈值时，则采用步骤S400所示的将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿。
在具体实施时，上述初始帧相对位姿为机载相机安装时通过静态标定方法得到。
本发明实施例中，使用上述方法对车载相机外参动态补偿时，除了使用道路标识线可以实现外侧动态补偿外，还可以使用路边建筑物、电线杆、栏杆等非地面静态物体作为标识，此时，可以采用训练后的分割神经网络对道路图像进行处理，得到含有语义标签的语义分割图。
本发明提供的基于道路标识线的车载相机外参动态补偿方法相，比于现有的车道线标定、光流标定或IMU惯导，适用范围更广泛；相较于车道线标定，采用了地面标识线在行驶场景中更为常见的特征，可以实现对外参中roll翻滚角的标定。通过结合车道线像素特征信息，可以实现动态标定过程中的局部闭环，避免了系统长时间检测的全局累积误差带来的参数偏差越来越大；同时，相对于光流法通过计算图像全局或局部特征描述得到标识线顶点，本发明采用基于语义分割图进行边缘点的标识线顶点提取，耗时更短，稳定性相较而言也更稳定。再者，不同于现有的车道线标定方式，本发明通过利用车道线信息进行动态标定的局部回环，在车载相机外参标定相关领域，是对车道线信息的一种新的应用方式。
在本实施例中，提供了一种计算机设备，如图4所示，包括存储器401、处理器402及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意的基于道路标识线的车载相机外参动态补偿方法，以解决现有技术中三种机载相机外参补偿方式中存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。
具体的，该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述任意的基于道路标识线的车载相机外参动态补偿方法的计算机程序，以解决解决现有技术中三种机载相机外参补偿方式中存在的无法补偿相机外参roll角、难以消除长时间的累积误差和会增加额外设备成本的技术问题。
具体的，计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
基于同一发明构思，本发明实施例中还提供了一种基于道路标识线的车载相机外参动态补偿装置，如下面的实施例所述。由于基于道路标识线的车载相机外参动态补偿装置解决问题的原理与基于道路标识线的车载相机外参动态补偿方法相似，因此上述车载相机外参动态补偿装置的实施可以参见上述实施例中车载相机外参动态补偿方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是本发明实施例的基于道路标识线的车载相机外参动态补偿装置的一种结构框图，如图5所示，车载相机外参动态补偿装置包括：机载相机501、训练后的语义分割模块502、标识线顶点提取模块503、标识线顶点对匹配模块504、当前帧相对位姿计算模块505、当前帧绝对位姿计算模块506，下面对该结构进行说明。
机载相机501，用于采集当前帧和上一帧的道路图像。
训练后的语义分割模块502，用于提取当前帧和上一帧的道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图。
标识线顶点提取模块503，用于识别当前帧语义分割图和上一帧语义分割图中每个道路标识线的标识线顶点；具体实施时，语义分割图中有所有语义标签为地面标识线的连通域，语义分割图中记录每一连通域的边界信息，每一连通域对应一个地面标识线；结合对道路图像进行灰度处理得到灰度图像，在对应的连通域边界利用灰度图梯度信息进行边缘点检测，可以得到更加精细的标识线边缘；依据地面标识线通常为多边形且边为直线的特性对每个连通域边缘点进行直线检测，当检测到边缘点同时为两条直线交点时，将该边缘点作为角点(即标识线顶点)；依次得到每一个地面标识的多个角点后完成实时地面标识线的角点的提取。
标识线顶点对匹配模块504，用于提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集。
当前帧相对位姿计算模块505，用于判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿。
当前帧绝对位姿计算模块506，用于将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿。
在一个改进的实施例中，上述基于道路标识线的车载相机外参动态补偿装置，参见图5所示，车载相机外参动态补偿装置除了包括上述机载相机501、训练后的语义分割模块502、标识线顶点提取模块503、标识线顶点对匹配模块504、当前帧相对位姿计算模块505、当前帧绝对位姿计算模块506外，还包括车道线检测模块507。
车道线检测模块507用于检测判断当前帧的道路图像中是否存在车道线，在判断若存在车道线时，当前帧绝对位姿计算模块506依据当前帧语义分割图计算当前帧车道线位置，计算当前帧车道线位置与初始帧车道线位置之间的偏差，并且当偏差小于阈值时将当前帧绝对位姿初始化为初始帧相对位姿。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于道路标识线的车载相机外参动态补偿方法，其特征在于，包括：
通过机载相机采集当前帧和上一帧的道路图像，提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图；
提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；
判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿；
将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿，其中，所述当前帧相对位姿、所述当前帧绝对位姿和所述上一帧绝对位姿均包括俯仰角、航向角和翻滚角。
2.根据权利要求1所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述提取道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图，包括：
采用训练后的语义分割模型，对机载相机采集的当前帧和上一帧的道路图像中所有类型道路标识线进行分割，得到包括各类型道路标识线信息的当前帧语义分割图和上一帧语义分割图。
3.根据权利要求2所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述道路标识线的类型包括车道线、导流线、导向指示线、停止线、斑马线和网格线。
4.根据权利要求1所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集，包括：
分别提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，得到当前帧待匹配特征点集和上一帧匹配特征点集；
依据拓扑关系，将当前帧待匹配特征点集中待匹配特征点与上一帧匹配特征点集中匹配特征点进行匹配，得到多对标识线顶点对；
通过每对标识线顶点对中两个标识线顶点的坐标计算像素距离，提取像素距离小于预设距离阈值的标识线顶点对，得到标识线顶点对集。
5.根据权利要求4所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，分别识别当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点，得到当前帧待匹配特征点集和上一帧匹配特征点集，包括：
依据当前帧语义分割图中多个道路标识线对应的连通域的边界信息，结合当前帧的道路图像的灰度图梯度信息，对每个连通域的边界进行边缘点检测，得到各个道路标识线边缘；对各个道路标识线边缘进行直线检测，将同时为两条直线交点的边缘点作为当前帧待匹配特征点，所有道路标识线的当前帧待匹配特征点形成当前帧待匹配特征点集；
依据上一帧语义分割图中多个道路标识线对应的连通域的边界信息，结合上一帧的道路图像的灰度图梯度信息，对每个连通域的边界进行边缘点检测，得到各个道路标识线边缘；对各个道路标识线边缘进行直线检测，将同时为两条直线交点的边缘点作为上一帧匹配特征点，所有道路标识线的上一帧匹配特征点形成上一帧匹配特征点集。
6.根据权利要求1～5任一项所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，还包括：
判断当前帧的道路图像中是否存在车道线；
若判断存在车道线，依据当前帧语义分割图计算当前帧车道线位置，并计算当前帧车道线位置与初始帧车道线位置之间的偏差；
当判断偏差小于阈值时，将当前帧绝对位姿初始化为初始帧相对位姿，其中，所述初始帧相对位姿包括机载相机内参、外参和安装位置，所述外参包括俯仰角、航向角和翻滚角。
7.根据权利要求6所述的基于道路标识线的车载相机外参动态补偿方法，其特征在于，所述初始帧相对位姿为机载相机安装时通过静态标定方法得到。
8.一种基于道路标识线的车载相机外参动态补偿装置，其特征在于，包括：
机载相机，用于采集当前帧和上一帧的道路图像；
训练后的语义分割模块，用于提取当前帧和上一帧的道路图像中所有道路标识线的信息，得到当前帧语义分割图和上一帧语义分割图；
标识线顶点提取模块，用于识别当前帧语义分割图和上一帧语义分割图中每个道路标识线的标识线顶点；
标识线顶点对匹配模块，用于提取当前帧语义分割图和上一帧语义分割图中多个道路标识线的标识线顶点及其坐标，通过拓扑关系和像素距离进行匹配得到标识线顶点对集；
当前帧相对位姿计算模块，用于判断当标识线顶点对集中标识线顶点对的数量大于等于8时，依据平面至平面之间标识线顶点对的映射关系，采用八点求解法对标识线顶点对集计算得到当前帧相对上一帧的当前帧相对位姿；
当前帧绝对位姿计算模块，用于将当前帧相对位姿与上一帧绝对位姿累加作为机载相机的当前帧绝对位姿。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于道路标识线的车载相机外参动态补偿方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的基于道路标识线的车载相机外参动态补偿方法的计算机程序。
CN202311208121.0A 2023-09-18 2023-09-18 一种基于道路标识线的车载相机外参动态补偿方法及装置 Pending CN117372534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311208121.0A CN117372534A (zh) 2023-09-18 2023-09-18 一种基于道路标识线的车载相机外参动态补偿方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311208121.0A CN117372534A (zh) 2023-09-18 2023-09-18 一种基于道路标识线的车载相机外参动态补偿方法及装置

Publications (1)

Publication Number Publication Date
CN117372534A true CN117372534A (zh) 2024-01-09

Family

ID=89388232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311208121.0A Pending CN117372534A (zh) 2023-09-18 2023-09-18 一种基于道路标识线的车载相机外参动态补偿方法及装置

Country Status (1)

Country Link
CN (1) CN117372534A (zh)

Similar Documents

Publication Publication Date Title
CN109061703B (zh) 用于定位的方法、装置、设备和计算机可读存储介质
CN109887033B (zh) 定位方法及装置
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
CN110415277B (zh) 基于光流和卡尔曼滤波的多目标追踪方法、系统、装置
US20220011117A1 (en) Positioning technology
CN113034566B (zh) 高精度地图构建方法、装置、电子设备及存储介质
EP2583217A1 (en) Method for obtaining drivable road area
CN111381585B (zh) 一种构建占据栅格地图的方法及其装置、相关设备
CN114248778B (zh) 移动设备的定位方法和定位装置
CN115077519A (zh) 基于模板匹配与激光惯导松耦合的定位建图方法和装置
CN111126327A (zh) 车道线检测方法、系统、车载系统及车辆
CN114545434A (zh) 一种路侧视角测速方法、系统、电子设备及存储介质
CN114485698A (zh) 一种交叉路口引导线生成方法及系统
CN113902047B (zh) 图像元素匹配方法、装置、设备以及存储介质
CN117372534A (zh) 一种基于道路标识线的车载相机外参动态补偿方法及装置
CN115909241A (zh) 一种车道线检测方法、系统、电子设备和存储介质
WO2022133986A1 (en) Accuracy estimation method and system
Subash Automatic road extraction from satellite images using extended Kalman filtering and efficient particle filtering
CN115994934B (zh) 数据时间对齐方法、装置以及域控制器
CN116309943B (zh) 一种停车场语义地图路网构建方法、装置及电子设备
CN113409268B (zh) 基于单目相机的可通行区域检测方法、装置及存储介质
TWI819928B (zh) 車輛偏移檢測方法及相關設備
CN112767458B (zh) 激光点云与图像的配准的方法及系统
US20230074419A1 (en) Training of 3d lane detection models for automotive applications
US20230101472A1 (en) Methods and Systems for Estimating Lanes for a Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination