CN114550042A - 一种道路消失点提取方法、车载传感器标定方法及装置 - Google Patents

一种道路消失点提取方法、车载传感器标定方法及装置 Download PDF

Info

Publication number
CN114550042A
CN114550042A CN202210155594.8A CN202210155594A CN114550042A CN 114550042 A CN114550042 A CN 114550042A CN 202210155594 A CN202210155594 A CN 202210155594A CN 114550042 A CN114550042 A CN 114550042A
Authority
CN
China
Prior art keywords
point
points
vehicle
intersection
road vanishing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210155594.8A
Other languages
English (en)
Inventor
王发平
熊伟
姜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haixing Zhijia Technology Co Ltd
Original Assignee
Shenzhen Haixing Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haixing Zhijia Technology Co Ltd filed Critical Shenzhen Haixing Zhijia Technology Co Ltd
Priority to CN202210155594.8A priority Critical patent/CN114550042A/zh
Publication of CN114550042A publication Critical patent/CN114550042A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems

Abstract

本发明提供了一种道路消失点提取方法、车载传感器标定方法及装置，该道路消失点提取方法包括：获取目标车辆采集的环境图像数据；从环境图像数据中提取各视频帧中的相同特征点；对各相同特征点进行直线拟合，得到拟合直线；分别计算每两个拟合直线的相交点，构建相交点集合；基于各相交点间的距离关系，从相交点集合中确定道路消失点。通过利用环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，场景适应性强。

Description

一种道路消失点提取方法、车载传感器标定方法及装置
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种道路消失点提取方法、车载传感器标定方法及装置。
背景技术
目前，工程车辆领域，自动驾驶系统的感知需求大部分依赖于各种车载传感器探测实现，故基于传感器的目标检测的结果优劣直接会影响到整个自动驾驶系统的性能。在目标检测当中，目标的方位、速度等都是非常关键的状态输出，这些状态输出的计算是建立在传感器内、外参数的标定结果基础上，其中传感器外参在车辆出厂下线标定时都会进行一次静态标定，但是在实际的使用过程当中，外参因为很多因素影响其实是一个动态变化的过程，要求自动驾驶系统能够实现车载传感器的实时自动自校正。
车载摄像头由于性价比高的原因，在自动驾驶传感器系统的应用当中占据着非常重要的位置。目前，基于消失点在图像当中的位置变化来实现的车载摄像头自标定方案，大部分是在具有结构化信息的道路场景中进行的，是通过识别当前道路场景当中的规则化道路标志(如车道线，其他道路标识等)来实现的，主要是依据这些规则化的信息去提取道路消失点，再通过消失点的动态位置变化估算传感器本身的位姿变化。
但是，由于工程车辆实际的工作场景比较复杂，作业场所可能不具备结构化的道路信息，比如港口码头、矿山、封闭园区，此时，传统的提取道路消失点的方法将不再适用。因此，如何在不具备结构化道路信息的作业场景中准确提取出道路消失点，对工程车辆车载摄像头适应所有场景实现参数标定具有重要意义。
发明内容
有鉴于此，本发明实施例提供了一种道路消失点提取方法、车载传感器标定方法及装置，以克服现有技术中在不具备结构化的道路信息时，道路消失点提取困难，进而影响车载传感器参数标定的问题。
根据第一方面，本发明实施例提供了一种道路消失点提取方法，包括：
获取目标车辆采集的环境图像数据；
从所述环境图像数据中提取各视频帧中的相同特征点；
对各相同特征点进行直线拟合，得到拟合直线；
分别计算每两个拟合直线的相交点，构建相交点集合；
基于各相交点间的距离关系，从所述相交点集合中确定道路消失点。
可选地，所述从所述环境图像数据中提取各视频帧中的相同特征点，包括：
获取目标车辆采集的激光雷达点云数据，所述激光雷达点云数据包括：每个点的三维坐标信息和反射强度信息；
对所述环境图像数据的当前视频帧中提取当前静态特征点；
基于所述当前静态特征点确定下一视频帧的特征点提取范围；
基于所述特征点提取范围从所述下一视频帧中提取与所述当前静态特征点的关联静态特征点；
基于所述激光雷达点云数据对所述关联静态特征点进行筛选；
将各视频帧中筛选的关联静态特征点确定为各视频帧中的相同特征点。
可选地，所述基于所述激光雷达点云数据对所述关联静态特征点进行筛选，包括：
从所述激光雷达点云数据中提取下一视频帧的特征点提取范围对应的点云数据；
基于所述点云数据判断所述当前静态特征点与当前关联静态特征点的深度信息变化是否满足预设条件；
在所述当前静态特征点与当前关联静态特征点的深度信息变化不满足预设条件时，剔除所述当前关联静态特征点。
可选地，所述方法还包括：
获取所述目标车辆的方向盘角度信息和车速信息；
建立所述目标车辆的车辆运动模型；
基于所述车辆运动模型、所述方向盘角度信号和所述车速信息，确定所述当前静态特征点在下一视频帧中的偏移距离；
基于所述偏移距离对所述关联静态特征点进行位置修正。
可选地，在分别计算每两个拟合直线的相交点，构建相交点集合之前，所述方法还包括：
获取各拟合直线的斜率；
判断各拟合直线的当前斜率是否满足预设斜率筛选范围；
剔除斜率不满足预设斜率筛选范围的拟合直线。
可选地，在基于各相交点间的距离关系，从所述相交点集合中确定道路消失点之前，所述方法还包括：
获取上一道路消失点的位置；
基于上一道路消失点的位置确定道路消失点的移动范围；
剔除所述相交点集合中不在所述移动范围的相交点。
可选地，所述基于各相交点间的距离关系，从所述相交点集合中确定道路消失点，包括：
分别计算每个相交点与其他相交点间的距离；
基于每个相交点与其他相交点间的距离，分别计算每个相交点与其余所有相交点的距离之和；
对每个相交点与其余所有相交点的距离之和进行排序，将最小距离之和对应的相交点确定为道路消失点。
根据第二方面，本发明实施例提供了一种车载传感器标定方法，其特征在于，包括：
获取目标车辆的车载传感器在上一时刻的外参参数；
采用本发明另一实施例提供的道路消失点提取方法提取目标车辆对应的道路消失点；
计算从上一时刻到当前时刻所述道路消失点在图像中的变化像素差，所述变化像素差包括：垂直方向的变化像素差和水平方向的变化像素差；
基于所述变化像素差对所述车载传感器的外参参数进行更新。
根据第三方面，本发明实施例提供了一种道路消失点提取装置，包括：
第一获取模块，用于获取目标车辆采集的环境图像数据；
第一处理模块，用于从所述环境图像数据中提取各视频帧中的相同特征点；
第二处理模块，用于对各相同特征点进行直线拟合，得到拟合直线；
第三处理模块，用于分别计算每两个拟合直线的相交点，构建相交点集合；
第四处理模块，用于基于各相交点间的距离关系，从所述相交点集合中确定道路消失点。
根据第四方面，本发明实施例提供了一种车载传感器标定装置，包括：
第二获取模块，用于获取目标车辆的车载传感器在上一时刻的外参参数；
第五处理模块，用于采用本发明另一实施例提供的道路消失点提取装置提取目标车辆对应的道路消失点；
第六处理模块，用于计算从上一时刻到当前时刻所述道路消失点在图像中的变化像素差，所述变化像素差包括：垂直方向的变化像素差和水平方向的变化像素差；
第七处理模块，用于基于所述变化像素差对所述车载传感器的外参参数进行更新。
根据第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现本发明第一方面及其任意一种可选方式所述的方法。
根据第六方面，本发明实施例提供了一种电子设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面及其任意一种可选方式所述的方法。
本发明技术方案，具有如下优点：
1.本发明实施例提供了一种道路消失点提取方法及装置，通过获取目标车辆采集的环境图像数据；从环境图像数据中提取各视频帧中的相同特征点；对各相同特征点进行直线拟合，得到拟合直线；分别计算每两个拟合直线的相交点，构建相交点集合；基于各相交点间的距离关系，从相交点集合中确定道路消失点。从而通过利用目标车辆上的车载摄像头所采集的环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，场景适应性强。
2.本发明实施例提供了一种车载传感器标定方法及装置，通过获取目标车辆的车载传感器在上一时刻的外参参数；采用本发明另一实施例提供的道路消失点提取方法提取目标车辆对应的道路消失点；计算从上一时刻到当前时刻道路消失点在图像中的变化像素差，变化像素差包括：垂直方向的变化像素差和水平方向的变化像素差；基于变化像素差对车载传感器的外参参数进行更新。从而通过利用目标车辆上的车载摄像头所采集的环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，进而实现了车载摄像头的自标定，场景适应性强。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的道路消失点提取方法的流程图；
图2为本发明实施例中的车载传感器标定方法的流程图；
图3A和图3B为本发明实施例中的车载传感器姿态变化示意图；
图4为本发明实施例中的道路消失点提取装置的结构示意图；
图5为本发明实施例中的车载传感器标定装置的结构示意图；
图6为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
车载摄像头由于性价比高的原因，在自动驾驶传感器系统的应用当中占据着非常重要的位置。目前，基于消失点在图像当中的位置变化来实现的车载摄像头自标定方案，大部分是在具有结构化信息的道路场景中进行的，是通过识别当前道路场景当中的规则化道路标志(如车道线，其他道路标识等)来实现的，主要是依据这些规则化的信息去提取道路消失点，再通过消失点的动态位置变化估算传感器本身的位姿变化。
但是，由于工程车辆实际的工作场景比较复杂，作业场所通常不具备结构化的道路信息，此时，传统的提取道路消失点的方法将不再适用。因此，如何在不具备结构化道路信息的作业场景中准确提取出道路消失点，对车载摄像头适应所有场景实现参数标定具有重要意义。
在实际应用中，工程车辆的无人驾驶和无人作业涉及的场景具有个性突出，繁杂的特性，多数场景都没有结构化的道路标志信息，比如港口码头、矿山、封闭园区等，这种情况下通过规划化的信息来提取消失点再进行传感器自标定很大概率都会以失败告终。本发明旨在提供一种方案，使得道路不具备结构化标志信息的时候，传感器自标定也能够正常运行，并能输出正确结果。
基于上述问题，本发明实施例提供了一种道路消失点提取方法，可应用于无人驾驶或无人化作业系统等需要配有车载摄像头的场景，如图1所示，该道路消失点提取方法具体包括如下步骤：
步骤S101：获取目标车辆采集的环境图像数据。
具体地，通过目标车辆上设置的摄像头图像采集模块采集车辆周围的环境信息，并以图像的形式发送到目标车辆的控制系统当中，得到环境图像数据。在本发明实施例中，上述的目标车辆是以工程车辆为例进行的说明，在实际应用中，该车辆还可以是普通汽车等，本发明并不以此为限。
步骤S102：从环境图像数据中提取各视频帧中的相同特征点。
其中，该相同特征点为在环境图像数据的连续视频帧中均存在的静态特征点。
步骤S103：对各相同特征点进行直线拟合，得到拟合直线。
具体地，对上述步骤S102提取到的多组相同特征点，可以得到一个连续的视频帧当中能够关联上的所有特征点，将这些特征点各自存储到一个缓存当中，设定独立id并对相同特征点出现的次数进行计数，当数量超过预设数量(比如：5)时，认为已经达到计数条件，可以用来进行直线拟合计算。
示例性地，对于每一组相同特征点可以采用最小二乘法来实现直线拟合，具体过程如下：
a)假设直线方程：y＝a+bx
b)总的误差方程：
Figure BDA0003510788220000091
分别对a、b求偏导可得：
Figure BDA0003510788220000092
Figure BDA0003510788220000093
其中，xi和yi分别表示一组相同特征点中第i个特征点的坐标。
联合(1)、(2)式解方程组，可求得a、b的最佳估计值，带入直线方程即可。
具体地，在一实施例中，在得到拟合直线之后，本发明实施例提供的道路消失点提取方法还通过获取各拟合直线的斜率；判断各拟合直线的当前斜率是否满足预设斜率筛选范围；剔除斜率不满足预设斜率筛选范围的拟合直线。
具体地，上述公式中的b即为拟合直线对应的斜率值，在实际应用中，由于环境复杂多变，在所生成的拟合直线中可能存在环境干扰所形成的拟合直线，为了进一步得到符合实际的有效直线，示例性地，本发明实施例通过将直线的倾斜角在(30°，150°)范围的直线设定为有效直线，从而根据切斜角的范围确定对应的斜率筛选范围，从而提高了拟合直线的有效性，通过剔除无效拟合直线，减少了后续数据处理量，提高了道路消失点计算效率。
步骤S104：分别计算每两个拟合直线的相交点，构建相交点集合。
具体地，经过上述步骤S103会得到许多条拟合直线，通过这些拟合直线去两两计算相交点，构建相交点集合，假设共有n条拟合直线，并两两计算其交点，得到至多n＊(n-1)/2个交点。
步骤S105：基于各相交点间的距离关系，从相交点集合中确定道路消失点。
具体地，上述步骤S105通过分别计算每个相交点与其他相交点间的距离；基于每个相交点与其他相交点间的距离，分别计算每个相交点与其余所有相交点的距离之和；对每个相交点与其余所有相交点的距离之和进行排序，将最小距离之和对应的相交点确定为道路消失点。
示例性地，通过计算每个相交点和其他所有点之间的欧式距离之和，并记录下来；选取计算和最小的那个相交点作为最优消失点即道路消失点。
通过执行上述步骤，本发明实施例提供的道路消失点提取方法，通过利用目标车辆上的车载摄像头所采集的环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，场景适应性强。
具体地，在一实施例中，上述的步骤S102具体包括如下步骤：
步骤S21：获取目标车辆采集的激光雷达点云数据。
其中，激光雷达点云数据包括：每个点的三维坐标信息和反射强度信息。具体地，通过目标车辆上的激光雷达来得到激光雷达点云数据。
步骤S22：对环境图像数据的当前视频帧中提取当前静态特征点。
具体地，通过是在预设的感兴趣区域使用传统的一些特征描述方式(比如FAST、ORB等特征描述)来提取特征点，然后结合目标检测模块输出的结果，滤除动态区域内的特征点(动态特征点由于其动态变化特性，不具备连续帧同一特征点可以拟合成一条直线的理论条件)。示例性地，在机器视觉领域，存在很多目标检测的方法，可以在视频当中实时的检测出动态目标，在图像当中，就体现为一个二维的四边形框，当特征点落入该二维框范围内时，就认为该特征点属于动态点，可滤除。从而通过滤除动态特征点的方式保证提取的特征点均为静态特征点，由于静态特征点在实际空间中的位置是固定不变的，按照静态特征点执行拟合，提高了直线拟合结果的准确性。
步骤S23：基于当前静态特征点确定下一视频帧的特征点提取范围。
具体地，由于车辆在行驶过程中，所拍摄的图像会呈现一定的规律，同一特征点在相邻图像中的位置会发生移动，具体与车辆的方向盘转角与车速有关，基于该图像变化规律可以预测当前静态特征点在下一视频帧中可能出现的范围，该范围即为特征点提取范围，为了简化计算，在实际应用中，可以直接将当前静态特征点的固定邻域作为特征点提取范围，具体固定邻域的范围可根据实际车速等信息需要进行灵活的设置，本发明并不以此为限。
步骤S24：基于特征点提取范围从下一视频帧中提取与当前静态特征点的关联静态特征点。
具体地，首先参照当前静态特征点的提取方式从下一视频帧中提取与当前静态特征点对应的各静态特征点，然后依次判断提取的静态特征点是否在特征点提取范围内，如果不在，则舍弃，仅保留在特征点提取范围内的关联静态特征点。从而特征点提取范围进一步提高了关联静态特征点的准确性，进而提高最终道路消失点结果的准确性。
步骤S25：基于激光雷达点云数据对关联静态特征点进行筛选。
具体地，上述步骤S25通过从激光雷达点云数据中提取当前关联静态特征点对应的点云数据；基于点云数据判断当前静态特征点与当前关联静态特征点的深度信息变化是否满足预设条件；在当前静态特征点与当前关联静态特征点的深度信息变化不满足预设条件时，剔除当前关联静态特征点。
示例性地，通过利用目标车辆的车载摄像头与激光雷达的联合标定参数，计算在当前关联特征点邻域范围内的激光点云，然后计算激光点云中所有激光点的平均深度，由于激光点云当中的每个点，在车辆坐标系下都有对应的x，y，z位置，可以取每个点的y值，然后取平均即可得到平均深度。判断该平均深度相对于当前静态特征点对应深度是否满足预设的深度信息变化限制条件，如果满足则认为该当前关联特征点在距离信息上与当前静态特征点关联成功，说明二者为同一静态特征点，保留该当前关联静态特征点，如果不满足则将该当前关联静态特征点剔除。
其中，上述预设的深度信息变化限制条件可根据目标车辆的实际运动状态进行灵活的设置，示例性地，假设车辆是向前运动的，则车辆前方某个固定特征点相对于车是越来越近的，此时预设的深度变化限制条件就可以限制为“当前帧特征点的距离＜上一帧特征点的距离”，进一步的，也可以根据车速大小，设置一个距离下限(车速越高时，距离下限越低)，本发明并不以此为限。从而通过利用激光雷达点云数据对相邻视频帧间的关联静态特征点进行筛选，提高了最终相同特征点结果的准确性，进而提高了道路消失点结果的准确性。
步骤S26：将各视频帧中筛选的关联静态特征点确定为各视频帧中的相同特征点。
具体地，通过上述步骤依次将后一视频帧中的关联静态特征点作为新的当前静态特征点继续搜索再下一视频帧中的关联静态特征点，直至最后一个视频帧或者所提取的关联静态特征点的数量达到预设数量要求如：5个等，具体预设数量要求可根据直线拟合精度要求及效率要求进行灵活的设置，数量设置越多，则最终进行直线拟合的结果越准确，但是处理效率将下降，反之，数量越少直线拟合精度将下降，但是处理效率将大大提高，通常会在直线拟合精确性和处理效率间进行平衡取值，本发明并不以此为限。
最终通过激光雷达的距离信息增强特征点关联成功率，减少了图像提取的不确定性，提高了道路消失点提取方案的鲁棒性。
具体地，在一实施例中，上述的道路消失点提取方法还包括如下步骤：
步骤S31：获取目标车辆的方向盘角度信息和车速信息。
具体地，可以通过目标车辆的控制系统中实时的获取当前方向盘转角以及车辆速度信息。
步骤S32：建立目标车辆的车辆运动模型。
具体地，在实际应用中，可将车辆运动模型简化为二轮自行车模型，示例性地，可以以阿克曼转向几何为理论基础建立车辆运动学型。
步骤S33：基于车辆运动模型、方向盘角度信号和车速信息，确定当前静态特征点在下一视频帧中的偏移距离。步骤S34：基于偏移距离对关联静态特征点进行位置修正。
具体地，通过将方向盘的转角和车辆速度信息输入上述车辆运动模型，预测出当前静态特征点在下一时刻横方向上会移动多少距离，然后将这个距离信息投影到实际的图像像素坐标系下，再将实际关联到的关联静态特征点的坐标点横向位置减去这个偏差值即可。从而当前车辆在行驶过程中，在方向盘有一定的偏角后，能够通过车辆运动模型将关联到的静态特征点拉回到实际的位置，使得用于直线拟合的点的坐标值更准确，进而进一步提高了最终道路消失点结果的准确性。从而通过对不同距离上的特征点结合方向盘转角信息进行横向位置补偿，在一定程度上减少了小范围方向盘旋转带来的影响，进一步提高图像帧间静态特征点关联的准确度。具体地，在一实施例中，在执行上述步骤S105之前，本发明实施例提供的道路消失点提取方法还包括如下步骤：
步骤S41：获取上一道路消失点的位置。
具体地，由于目标车辆是在实时运动的，道路消失点的位置也会不断发生变化。
步骤S42：基于上一道路消失点的位置确定道路消失点的移动范围。
步骤S43：剔除相交点集合中不在移动范围的相交点。
具体地，由于车辆在行驶的过程中，短时间内车辆姿态不会有很大的变化，所以消失点移动的范围也会在一定的区域之内，可以根据此限制条件，设定一个消失点变化的区域限定条件，将得到的所有的直线相交点与此区域进行比较，落于此区域之外的相交点视为无效相交点，将其剔除，从而进一步提高了道路消失点的准确性。
示例性地，上述消失点变化的区域限定条件可根据不同的车辆种类等进行设置，比如针对大型装载车辆，由于作业环境复杂，可以取原消失点为中心，宽度＝图像宽度/20，高度＝图像高度/10的长方形区域作为消失点的移动范围(数字20和10会根据实际情况有所不同)，本发明并不以此为限。
通过执行上述步骤，本发明实施例提供的道路消失点提取方法，通过利用目标车辆上的车载摄像头所采集的环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，场景适应性强。
本发明实施例还提供了一种车载传感器标定方法，可应用于无人驾驶或无人化作业系统等需要配有车载摄像头的场景，如图2所示，该车载传感器标定方法具体包括如下步骤：
步骤S201：获取目标车辆的车载传感器在上一时刻的外参参数。
其中，车载传感器在上一时刻的外参参数为车载传感器在上一时刻的姿态。
步骤S202：采用本发明另一实施例提供的道路消失点提取方法提取目标车辆对应的道路消失点。具体实现过程参见本发明另一实施例的相关描述，在此不再进行赘述。
步骤S203：计算从上一时刻到当前时刻道路消失点在图像中的变化像素差。
其中，变化像素差包括：垂直方向的变化像素差和水平方向的变化像素差。
步骤S204：基于变化像素差对车载传感器的外参参数进行更新。
具体地，通过上述垂直方向的变化像素差和水平方向的变化像素差分别计算车载传感器在当前时刻相对于上一时刻的位姿变化，位姿变化包括：俯仰角pitch和偏摆角yaw的变化量，然后将得到的变化量加到上一时刻的位姿上，即可得到当前时刻车载传感器的外参参数，从而实现了车载传感器外参的自标定。
上述俯仰角pitch和偏摆角yaw的变化量具体计算方式如下：
如图3A所示，Pitch角变化量ΔPitch通过如下公式计算：
Figure BDA0003510788220000161
其中，Δv：相邻两帧图像中消失点在v(垂直)方向的变化像素差，f：摄像头焦距(像素单位)。
如图3B所示，Yaw角变化量ΔYaw计算通过如下公式计算：
Figure BDA0003510788220000162
其中，Δu：相邻两帧图像中消失点在u(水平)方向的变化像素差，f：摄像头焦距(像素单位)。
本发明实施例提供的车载传感器标定方法，实现了车辆在不具备结构化标志信息的道路中行驶时，也能实现传感器的自标定，在实际的实现过程当中利用了激光雷达的距离信息，在一定程度上保证了其准确性，拓展了传感器自标定的使用场景。
通过执行上述步骤，本发明实施例提供的车载传感器标定方法，通过利用目标车辆上的车载摄像头所采集的环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，进而实现了车载传感器的自标定，场景适应性强。
本发明实施例还提供了一种道路消失点提取装置，如图4所示，该道路消失点提取装置具体包括：
第一获取模块101，用于获取目标车辆采集的环境图像数据。详细内容参见上述步骤S101的详细描述，在此不再进行赘述。
第一处理模块102，用于从环境图像数据中提取各视频帧中的相同特征点。详细内容参见上述步骤S102的详细描述，在此不再进行赘述。
第二处理模块103，用于对各相同特征点进行直线拟合，得到拟合直线。详细内容参见上述步骤S103的详细描述，在此不再进行赘述。
第三处理模块104，用于分别计算每两个拟合直线的相交点，构建相交点集合。详细内容参见上述步骤S104的详细描述，在此不再进行赘述。
第四处理模块105，用于基于各相交点间的距离关系，从相交点集合中确定道路消失点。详细内容参见上述步骤S105的详细描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的道路消失点提取装置，通过利用目标车辆上的车载摄像头所采集的环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，场景适应性强。
本发明实施例还提供了一种车载传感器标定装置，如图5所示，该车载传感器标定装置具体包括：
第二获取模块201，用于获取目标车辆的车载传感器在上一时刻的外参参数。详细内容参见上述步骤S201的详细描述，在此不再进行赘述。
第五处理模块202，用于采用本发明另一实施例提供的道路消失点提取装置提取目标车辆对应的道路消失点。详细内容参见上述步骤S202的详细描述，在此不再进行赘述。
第六处理模块203，用于计算从上一时刻到当前时刻道路消失点在图像中的变化像素差，变化像素差包括：垂直方向的变化像素差和水平方向的变化像素差。详细内容参见上述步骤S203的详细描述，在此不再进行赘述。
第七处理模块204，用于基于变化像素差对车载传感器的外参参数进行更新。详细内容参见上述步骤S204的详细描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的车载传感器标定装置，通过利用目标车辆上的车载摄像头所采集的环境图像数据中各个视频帧中的相同特征点在车辆运动过程中在图像帧间呈现的关系，来拟合直线并计算相交点，并通过相交点间的距离关系进行消失点的筛选，保障了道路消失点提取结果的准确性，这种通过特征点采集来拟合直线，实现了在不需要具备结构化的道路信息时，道路消失点的自动提取，进而实现了车载传感器的自标定，场景适应性强。
如图6所示，本发明实施例还提供了一种电子设备，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法。
上述服务器具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种道路消失点提取方法，其特征在于，包括：
获取目标车辆采集的环境图像数据；
从所述环境图像数据中提取各视频帧中的相同特征点；
对各相同特征点进行直线拟合，得到拟合直线；
分别计算每两个拟合直线的相交点，构建相交点集合；
基于各相交点间的距离关系，从所述相交点集合中确定道路消失点。
2.根据权利要求1所述的方法，其特征在于，所述从所述环境图像数据中提取各视频帧中的相同特征点，包括：
获取目标车辆采集的激光雷达点云数据，所述激光雷达点云数据包括：每个点的三维坐标信息和反射强度信息；
对所述环境图像数据的当前视频帧中提取当前静态特征点；
基于所述当前静态特征点确定下一视频帧的特征点提取范围；
基于所述特征点提取范围从所述下一视频帧中提取与所述当前静态特征点的关联静态特征点；
基于所述激光雷达点云数据对所述关联静态特征点进行筛选；
将各视频帧中筛选的关联静态特征点确定为各视频帧中的相同特征点。
3.根据权利要求2所述的方法，其特征在于，所述基于所述激光雷达点云数据对所述关联静态特征点进行筛选，包括：
从所述激光雷达点云数据中提取当前关联静态特征点对应的点云数据；
基于所述点云数据判断所述当前静态特征点与当前关联静态特征点的深度信息变化是否满足预设条件；
在所述当前静态特征点与当前关联静态特征点的深度信息变化不满足预设条件时，剔除所述当前关联静态特征点。
4.根据权利要求2所述的方法，其特征在于，还包括：
获取所述目标车辆的方向盘角度信息和车速信息；
建立所述目标车辆的车辆运动模型；
基于所述车辆运动模型、所述方向盘角度信号和所述车速信息，确定所述当前静态特征点在下一视频帧中的偏移距离；
基于所述偏移距离对所述关联静态特征点进行位置修正。
5.根据权利要求1所述的方法，其特征在于，在分别计算每两个拟合直线的相交点，构建相交点集合之前，所述方法还包括：
获取各拟合直线的斜率；
判断各拟合直线的当前斜率是否满足预设斜率筛选范围；
剔除斜率不满足预设斜率筛选范围的拟合直线。
6.根据权利要求1所述的方法，其特征在于，在基于各相交点间的距离关系，从所述相交点集合中确定道路消失点之前，所述方法还包括：
获取上一道路消失点的位置；
基于上一道路消失点的位置确定道路消失点的移动范围；
剔除所述相交点集合中不在所述移动范围的相交点。
7.根据权利要求1所述的方法，其特征在于，所述基于各相交点间的距离关系，从所述相交点集合中确定道路消失点，包括：
分别计算每个相交点与其他相交点间的距离；
基于每个相交点与其他相交点间的距离，分别计算每个相交点与其余所有相交点的距离之和；
对每个相交点与其余所有相交点的距离之和进行排序，将最小距离之和对应的相交点确定为道路消失点。
8.一种车载传感器标定方法，其特征在于，包括：
获取目标车辆的车载传感器在上一时刻的外参参数；
采用如权利要求1－7任一项所述的道路消失点提取方法提取目标车辆对应的道路消失点；
计算从上一时刻到当前时刻所述道路消失点在图像中的变化像素差，所述变化像素差包括：垂直方向的变化像素差和水平方向的变化像素差；
基于所述变化像素差对所述车载传感器的外参参数进行更新。
9.一种道路消失点提取装置，其特征在于，包括：
第一获取模块，用于获取目标车辆采集的环境图像数据；
第一处理模块，用于从所述环境图像数据中提取各视频帧中的相同特征点；
第二处理模块，用于对各相同特征点进行直线拟合，得到拟合直线；
第三处理模块，用于分别计算每两个拟合直线的相交点，构建相交点集合；
第四处理模块，用于基于各相交点间的距离关系，从所述相交点集合中确定道路消失点。
10.一种车载传感器标定装置，其特征在于，包括：
第二获取模块，用于获取目标车辆的车载传感器在上一时刻的外参参数；
第五处理模块，用于采用如权利要求9所述的道路消失点提取装置提取目标车辆对应的道路消失点；
第六处理模块，用于计算从上一时刻到当前时刻所述道路消失点在图像中的变化像素差，所述变化像素差包括：垂直方向的变化像素差和水平方向的变化像素差；
第七处理模块，用于基于所述变化像素差对所述车载传感器的外参参数进行更新。
11.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，以执行如权利要求1－8中任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1－8中任一项所述的方法。
CN202210155594.8A 2022-02-18 2022-02-18 一种道路消失点提取方法、车载传感器标定方法及装置 Pending CN114550042A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210155594.8A CN114550042A (zh) 2022-02-18 2022-02-18 一种道路消失点提取方法、车载传感器标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210155594.8A CN114550042A (zh) 2022-02-18 2022-02-18 一种道路消失点提取方法、车载传感器标定方法及装置

Publications (1)

Publication Number Publication Date
CN114550042A true CN114550042A (zh) 2022-05-27

Family

ID=81674975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210155594.8A Pending CN114550042A (zh) 2022-02-18 2022-02-18 一种道路消失点提取方法、车载传感器标定方法及装置

Country Status (1)

Country Link
CN (1) CN114550042A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586511A (zh) * 2022-11-25 2023-01-10 唐山百川工业服务有限公司 一种基于阵列立柱的激光雷达二维定位方法
CN116051657A (zh) * 2023-03-24 2023-05-02 禾多科技（北京）有限公司 雷达外参标定方法、装置、电子设备和计算机可读介质
CN116309814A (zh) * 2022-11-29 2023-06-23 北京斯年智驾科技有限公司 车辆位姿确定方法、装置、计算设备和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115586511A (zh) * 2022-11-25 2023-01-10 唐山百川工业服务有限公司 一种基于阵列立柱的激光雷达二维定位方法
CN115586511B (zh) * 2022-11-25 2023-03-03 唐山百川工业服务有限公司 一种基于阵列立柱的激光雷达二维定位方法
CN116309814A (zh) * 2022-11-29 2023-06-23 北京斯年智驾科技有限公司 车辆位姿确定方法、装置、计算设备和介质
CN116309814B (zh) * 2022-11-29 2024-03-08 北京斯年智驾科技有限公司 车辆位姿确定方法、装置、计算设备和介质
CN116051657A (zh) * 2023-03-24 2023-05-02 禾多科技（北京）有限公司 雷达外参标定方法、装置、电子设备和计算机可读介质

Similar Documents

Publication Publication Date Title
CN109631896B (zh) 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN109902637B (zh) 车道线检测方法、装置、计算机设备和存储介质
AU2018282302B2 (en) Integrated sensor calibration in natural scenes
EP3876141A1 (en) Object detection method, related device and computer storage medium
CN114550042A (zh) 一种道路消失点提取方法、车载传感器标定方法及装置
CN111337947A (zh) 即时建图与定位方法、装置、系统及存储介质
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
CN111448478A (zh) 用于基于障碍物检测校正高清地图的系统和方法
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
CN115797454B (zh) 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN111213153A (zh) 目标物体运动状态检测方法、设备及存储介质
US10554951B2 (en) Method and apparatus for the autocalibration of a vehicle camera system
CN114280582A (zh) 激光雷达的标定校准方法、装置、存储介质及电子设备
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
US20200193184A1 (en) Image processing device and image processing method
CN113580134B (zh) 视觉定位方法、设备、机器人、存储介质及程序产品
CN112116644B (zh) 一种基于视觉的障碍物检测方法和装置、障碍物距离计算方法和装置
JP2018136739A (ja) キャリブレーション装置
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
US11477371B2 (en) Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method
WO2022133986A1 (en) Accuracy estimation method and system
JP2020098550A (ja) キャリブレーション装置、キャリブレーション方法
CN111316337A (zh) 车载成像装置的安装参数的确定与驾驶控制方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination