CN112907678A - 车载相机外参姿态动态估计方法、装置、计算机设备 - Google Patents

车载相机外参姿态动态估计方法、装置、计算机设备 Download PDF

Info

Publication number
CN112907678A
CN112907678A CN202110095818.6A CN202110095818A CN112907678A CN 112907678 A CN112907678 A CN 112907678A CN 202110095818 A CN202110095818 A CN 202110095818A CN 112907678 A CN112907678 A CN 112907678A
Authority
CN
China
Prior art keywords
point
vehicle
intersection
points
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110095818.6A
Other languages
English (en)
Other versions
CN112907678B (zh
Inventor
包国宁
刘国清
敖争光
杨广
王启程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co.,Ltd.
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN202110095818.6A priority Critical patent/CN112907678B/zh
Publication of CN112907678A publication Critical patent/CN112907678A/zh
Application granted granted Critical
Publication of CN112907678B publication Critical patent/CN112907678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及一种车载相机外参姿态动态估计方法、装置、计算机设备和存储介质。方法包括：从当前时刻车辆行驶的视频帧图像中提取每条车道线对应的检测点集；对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分；获取区间内的交点和对应的交点评分；在交点中搜索目标交点，并根据目标交点和交点评分进行计算，得到当前时刻视频帧图像的灭点；获取当前时刻车辆行驶的角速度，并对角速度进行积分计算，得到两帧图像之间车辆的角度变化；对灭点和角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。采用本方法能够有效提高相机外参姿态估计结果的准确性。

Description

车载相机外参姿态动态估计方法、装置、计算机设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种车载相机外参姿态动态估计方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，自动驾驶技术成为学术界和工业领域的一个焦点。车载相机是自动驾驶环境感知最重要的传感器之一，相机外参是将视觉图像信息转换为世界坐标物理信息的关键参数，很大程度上决定了视觉感知结果的准确性，与自动驾驶技术的安全可靠性息息相关。
然而，目前的车载相机外参姿态估计方式中，通常采用固定场景标定的方式，在与标定场景类似的道路环境中具有较高的精度，但在车辆颠簸、坡度等道路环境下则存在较大误差，容易导致相机外参姿态估计结果的准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高相机外参姿态估计结果准确性的车载相机外参姿态动态估计方法、装置、计算机设备和存储介质。
一种车载相机外参姿态动态估计方法，所述方法包括：
从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集；
对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分；
获取所述区间内的交点和所述交点对应的交点评分；所述交点是所述区间内的拟合后的任意两条直线的交点；所述交点评分是根据相交于该点的两直线的质量评分得到的；
在所述交点中搜索目标交点，并根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点；
获取当前时刻车辆行驶时的角速度；
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化；
对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
在其中一个实施例中，所述对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分包括：
对所述检测点集进行分区，统计分区后的每个区间内的检测点的数量；
当所述检测点的数量大于预设阈值时，则对所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分。
在其中一个实施例中，所述对所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分包括：
对所述区间内的检测点进行最小二乘一阶拟合，得到拟合后的直线；
根据所述检测点的数量和所述检测点的分布长度，对所述拟合后的直线进行质量评估，得到所述拟合后的直线对应的质量评分。
在其中一个实施例中，所述获取所述区间内的交点和所述交点对应的交点评分包括：
分别计算每个所述区间内的不同拟合直线之间的交点和交点评分；其中，所述交点评分是根据相交于该点的两直线的质量评分的乘积得到的。
在其中一个实施例中，所述在所述交点中搜索目标交点包括：
在所述交点中任意选取三个交点，计算所述三个交点形成的三角形外接圆的半径；
遍历所述交点进行搜索，将所述三角形外接圆的半径为最小值时对应的三个交点作为目标交点。
在其中一个实施例中，所述根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点包括：
计算所述三角形外接圆的半径为最小值时对应的三个交点对应的交点评分的加权平均值，得到当前时刻视频帧图像的灭点；其中，所述灭点的量测误差为所述三角形外接圆的半径的最小值。
在其中一个实施例中，所述当前时刻车辆行驶时的角速度包括俯仰角速度和偏航角速度；
所述根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化包括：
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述俯仰角速度和偏航角速度进行积分计算，得到两帧图像之间所述车辆的俯仰角变化和偏航角变化；
所述对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值，包括：
对所述灭点、所述俯仰角变化和偏航角变化进行卡尔曼滤波计算，得到当前车载相机的外参俯仰角和偏航角的估计值。
一种车载相机外参姿态动态估计装置，所述装置包括：
提取模块，用于从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集；
分区模块，用于对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分；
获取模块，用于获取所述区间内的交点和所述交点对应的交点评分；所述交点是所述区间内的拟合后的任意两条直线的交点；所述交点评分是根据相交于该点的两直线的质量评分得到的；
搜索模块，用于在所述交点中搜索目标交点，并根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点；
所述获取模块还用于获取当前时刻车辆行驶时的角速度；
计算模块，用于根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化；对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集；
对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分；
获取所述区间内的交点和所述交点对应的交点评分；所述交点是所述区间内的拟合后的任意两条直线的交点；所述交点评分是根据相交于该点的两直线的质量评分得到的；
在所述交点中搜索目标交点，并根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点；
获取当前时刻车辆行驶时的角速度；
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化；
对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集；
对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分；
获取所述区间内的交点和所述交点对应的交点评分；所述交点是所述区间内的拟合后的任意两条直线的交点；所述交点评分是根据相交于该点的两直线的质量评分得到的；
在所述交点中搜索目标交点，并根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点；
获取当前时刻车辆行驶时的角速度；
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化；
对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
上述车载相机外参姿态动态估计方法、装置、计算机设备和存储介质，通过从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集，对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。获取区间内的交点和交点对应的交点评分，交点是区间内的拟合后的任意两条直线的交点，交点评分是根据相交于该点的两直线的质量评分得到的。在交点中搜索目标交点，并根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。获取当前时刻车辆行驶时的角速度，根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对角速度进行积分计算，得到两帧图像之间车辆的角度变化，对灭点和角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。通过将IMU检测的角速度和车道线特征结合，即对灭点和角度变化进行卡尔曼滤波计算，能够得到更加准确的实时估计的外参姿态角的估计值，有效减少因车辆颠簸或道路坡度导致的投影变换误差，从而提高相机外参姿态估计结果的准确性，同时也适用更多的场景，且计算量较小，对硬件平台要求低，容易实现工业应用。
附图说明
图1为一个实施例中车载相机外参姿态动态估计方法的应用环境图；
图2为一个实施例中车载相机外参姿态动态估计方法的流程示意图；
图3A为一个实施例中对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分步骤的流程示意图；
图3B为一个实施例中基于车道线的灭点计算的示意图；
图4为一个实施例中在交点中搜索目标交点步骤的流程示意图；
图5为一个实施例中计算当前车载相机的外参俯仰角和偏航角的估计值步骤的流程示意图；
图6为一个实施例中车载相机外参姿态角估计的流程示意图；
图7为一个实施例中车载相机外参姿态动态估计装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的车载相机外参姿态动态估计方法，可以应用于如图1所示的智能驾驶的应用环境中。其中，可以包括车载相机102、传感器104和计算机设备106。计算机设备106可以与车载相机102、传感器104之间建立的连接，与车载相机102、传感器104进行通信。传感器104与计算机设备106之间可以建立有线连接，也可以建立无线连接。车载相机102可以实时采集车辆行驶时的视频流数据，计算机设备106可以获取车载相机102采集到的车辆行驶时的视频流数据，计算机设备106从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集，对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。计算机设备106获取区间内的交点和交点对应的交点评分，交点是区间内的拟合后的任意两条直线的交点，交点评分是根据相交于该点的两直线的质量评分得到的。计算机设备106在交点中搜索目标交点，并根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。计算机设备106可以获取传感器104采集到的当前时刻车辆行驶时的角速度，计算机设备106根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对角速度进行积分计算，得到两帧图像之间车辆的角度变化。计算机设备106对灭点和角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
在一个实施例中，如图2所示，提供了一种车载相机外参姿态动态估计方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
步骤202，从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集。
智能驾驶车辆中安装有车载相机、传感器和计算机设备，传感器可以包括IMU(Inertial Measurement Unit，惯性测量单元)是一种测量物体三轴角速度和加速度的装置，由三个单轴的加速度计和三个单轴的陀螺仪组成。即IMU装置可以实时测量出车辆行驶时的角速度。在实际工业应用中，关心的是检测车辆在真实世界中的表达，需要将图像坐标中的表达逆投影变换到世界坐标中，这个逆投影变换由相机外参(包括旋转和平移)决定。即相机外参是指相机坐标相对世界坐标的旋转和平移，其中，旋转可以通过滚转角roll、俯仰角pitch和偏航角yaw三个姿态角表示。
具体的，计算机终端可以获取车载相机实时采集到的视频流数据，视频流数据可以包括多帧图像。计算机终端可以从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集。其中，视频帧图像是指具有统一图片格式的多帧图像。视频流数据包括按序排列的多帧图像，视频流数据的传输是指将多帧图像按顺序通过视频流进行传输。车道线是指引导方向的车道标线，用来管制和引导交通，它可以和标志配合使用，也可以单独使用。在车流大的交通路口一般画有导向车道线，目的就是明确行车方向，各行其道，减缓交通压力。检测点集是指车道线投影在图像平面的信息，检测点集可以包括多组有序的二维坐标点集。即已知多条车道线在图像坐标中(图像坐标是指透视投影到的平面)的表达，每条车道线在像素坐标中可以用一组有序二维坐标点(即车道线检测点)表示。车道线对应的检测点集是指在图像上经过一系列图像处理提取出来的表示车道线的二维坐标点集。此外，车道线特征可以包括道路上大多数车道线是平行的，以及车道线投影在图像平面的信息为多组有序的二维坐标点集。
步骤204，对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。
计算机终端从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集之后，终端可以对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。其中，分区是指根据图像大小和预设规则，将每条车道线检测点沿像素坐标预设方向划分为不同的区间。质量评分用于描述拟合直线的质量。例如，为了增强算法的鲁棒性，避免道路中非平行线和弯道的干扰，终端可以根据图像大小和标定的内外参，将每条车道线检测点沿像素坐标v轴方向划分为三个区间，并分别统计每个区间内的检测点数量，当检测点数量满足阈值条件时，比如当检测点数量大于或者等于2时，则终端可以对每个区间内的检测点进行直线拟合，得到拟合后的直线。进一步的，终端可以根据检测点的相关参数计算拟合后的直线对应的质量评分，该评分描述了拟合后直线的质量，质量评分的数值越大，则表明拟合后的直线质量越好。
步骤206，获取区间内的交点和交点对应的交点评分，交点是区间内的拟合后的任意两条直线的交点，交点评分是根据相交于该点的两直线的质量评分得到的。
终端分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分之后，终端可以获取每个区间内的交点和交点对应的交点评分，交点是区间内的拟合后的任意两条直线的交点，交点评分是根据相交于该点的两直线的质量评分得到的。例如，终端将每条车道线对应的检测点集沿像素坐标v轴方向划分为三个区间，则终端可以分别对这三个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分之后，终端可以分别计算每个区间内不同的拟合直线之间的交点和交点评分，即终端需要计算每个区间内两两直线的交点和交点评分。其中，每个区间内的直线交点可以根据拟合直线对应的方程求解得到。
步骤208，在交点中搜索目标交点，并根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。
终端获取区间内的交点和交点对应的交点评分之后，终端在获取到的交点中搜索目标交点，并根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。其中，灭点(Vanishing Point)是指三维空间中一组不平行于投影面的平行线的投影会交于一点，这个点称为灭点，也称为消失点。即在透视投影中，一束平行于投影面的平行线的投影可以保持平行，而不平行于投影面的平行线的投影会聚集到一个点，这个点成为灭点。灭点可以看作是无限远处的一点在投影面上的投影。平行的车道线经过相机投影到图像，终端对图像进行处理提取出车道线对应的检测点集，再对检测点集拟合出多条线求交点，理论上这些线都相交于同一个交点(即灭点)，但由于相机成像并非是一个理想的透视投影模型，同时图像处理提取车道线点集时也会存在误差，且真实的车道线是有宽度的，细化成点集的过程也会造成误差，所以在实际应用中这些线并没有相交于一点，而是落到一定的范围内表现出聚集特性。即理论上线束相交于同一个点，但实际上线束存在一定范围内的多个交点，这个范围描述了交点(即灭点)的不确定度，即误差。
具体的，终端可以采用多种方式在交点中搜索目标交点，并根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。例如，终端采用搜索算法，在获取到的交点中遍历搜索目标交点。假设终端获取到n个交点，则终端可以根据搜索算法在n个交点中任意选取三个交点，使得这三个交点组成的三角形外接圆半径最小。为了保证交点的质量，剔除真实环境不平行或者弯曲的车道线的影响，在多个交点中选择三个使得外接圆半径最小的交点(也可以是若干个交点，选择三个是因为三角形的外接圆计算比较简单)来计算灭点。其中，不确定度是指灭点坐标的标准差，即灭点可以是在以某点为圆心某个值为半径的圆的区域内的任意一点，这个圆的半径描述了灭点的不确定度。这里计算出灭点的不确定度，即外接圆的半径是为了在后续结合IMU估计车载相机的外参提供车道线计算出的车载相机外参的误差。
步骤210，获取当前时刻车辆行驶时的角速度。
车辆行驶过程中相机外参的变化主要有两个因素，一个因素是自车运动变化，另一个因素是道路的路面变化。自车运动的角速度变化可以通过IMU的陀螺仪获取，从而可以使用卡尔曼滤波器对相机外参的姿态角进行预测跟踪。具体的，终端可以通过IMU的陀螺仪获取当前时刻车辆行驶时的角速度。其中，角速度是指车辆行驶时的角速度，可以包括俯仰角速度和偏航角速度。IMU三轴角速度是IMU装置(传感器)提供的三个数值，描述了车辆相对惯性坐标的角度变化速度。
步骤212，根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对角速度进行积分计算，得到两帧图像之间车辆的角度变化。
终端通过IMU的陀螺仪获取当前时刻车辆行驶时的角速度之后，终端可以根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对角速度进行积分计算，得到两帧图像之间车辆的角度变化。即终端可以根据前后两帧图像的时间间隔，对获取到的角速度进行积分计算，得到两帧图像之间车辆的角度变化。
步骤214，对灭点和角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
终端得到两帧图像之间车辆的角度变化之后，终端可以对计算得到的灭点和角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。其中，卡尔曼滤波(Kalman filtering)是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。即卡尔曼滤波是一种递归的估计，只要获知上一时刻状态的估计值以及当前状态的观测值就可以计算出当前状态的估计值，因此不需要记录观测或者估计的历史信息。
传统的车载相机外参姿态估计方式中，如果不做外参的实时估计，通常采用一组固定的离线标定的外参。在车辆颠簸或者道路存在坡度的情况下，车载相机相对路面的角度(相机外参姿态)发生了变化，离线标定的外参失真，如果继续使用固定的外参将会导致较大的逆投影变换误差。而本实施例中，通过从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集，对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。获取区间内的交点和交点对应的交点评分，交点是区间内的拟合后的任意两条直线的交点，交点评分是根据相交于该点的两直线的质量评分得到的。在交点中搜索目标交点，并根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。获取当前时刻车辆行驶时的角速度，根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对角速度进行积分计算，得到两帧图像之间车辆的角度变化，对灭点和角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。由此使得，通过对灭点和角度变化进行卡尔曼滤波计算，可以得到更加准确的实时估计的外参姿态角的估计值，有效减少了因车辆颠簸或道路坡度导致的投影变换误差，具有更高的鲁棒性和准确性，可以适用更多的场景，且计算量较小，对硬件平台要求低，容易实现工业应用。
在一个实施例中，如图3A所示，对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分的步骤，包括：
步骤302，对检测点集进行分区，统计分区后的每个区间内的检测点的数量。
步骤304，当检测点的数量大于预设阈值时，则对区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。
终端从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集之后，终端可以对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。具体的，终端可以对检测点集进行分区，并统计分区后的每个区间内的检测点的数量。当检测点的数量大于预设阈值时，则终端可以对区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。
例如，如图3B所示，为基于车道线的灭点计算的示意图。终端可以根据图像大小和标定的内外参，将每条车道线检测点沿像素坐标v轴方向划分为三个区间，并统计每个区间内的检测点数量。比如预设阈值为2，当某个区间内的检测点的数量大于2时，则终端可以对该区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。其中，终端对检测点集进行分区时，将检测点集划分为多少个区间可以根据预先配置的规则进行划分。例如，终端根据相机标定的内外参计算出车辆正前方一定距离处(例如一处为正前方20m，一处为正前方40m)的像素坐标为(u1，v1)和(u2，v2)。以这两处像素坐标的纵轴坐标v1和v2(v1>v2)为界限，将当前时刻对应的整个图像划分为三个区间。如图3B所示，为一个1280*960像素大小的图像，以v1＝700、v2＝600将整个图像划分为1、2、3三个区间，像素坐标v在区间(700，960)即小于960且大于v1＝700的区域为区间1，像素坐标v小于等于700且大于600的区域为区间2，剩余部分即像素坐标v小于等于600的区域为区间3。终端对检测点集进行分区之后，可以统计分区后的每个区间内的检测点的数量。
具体的，每条车道线在像素坐标下可以用一组有序的二维坐标点(即车道线检测点)表示，如图3B所示的L1带星符号的点集可以表示一条车道线。终端可以计算每条车道线的像素坐标v在区间1内的检测点数量，即像素坐标v大于v1(700)且小于图像高度(960)范围内的车道线检测点数量，即为该车道线在区间1的检测点数量，像素坐标v小于等于v1(700)且大于v2(600)的车道线检测点数量，即为该车道线在区间2的检测点数量，像素坐标v小于等于v2(600)的车道线检测点数量，即为该车道线在区间3的检测点数量。终端可以根据计算出的区间1、区间2和区间3的检测点数量，判断是否满足预设阈值条件。由于两个点才能确定一条直线，本申请中采用的最小二乘一阶拟合是指用最小二乘法进行直线拟合，至少需要两个点才能拟合出直线来，在一些区间内某些车道线检测点的数量可能是小于预设阈值2。比如，图3B所示的L3在区间1中的检测点数量为0，则无法进行直线拟合，因而需要终端根据计算出的区间1、区间2和区间3的检测点数量，首先判断是否满足预设阈值条件。若满足预设阈值条件，则终端可以分别对区间1、区间2和区间3内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。由此使得，通过对检测点集进行分区，并对分区后的每个区间内的检测点进行直线拟合和质量评估，可以有效提高度量估计值的准确率。
在其中一个实施例中，对区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分的步骤，包括：
对区间内的检测点进行最小二乘一阶拟合，得到拟合后的直线。
根据检测点的数量和检测点的分布长度，对拟合后的直线进行质量评估，得到拟合后的直线对应的质量评分。
终端对检测点集进行分区之后，终端可以统计分区后的每个区间内的检测点的数量。当某个区间内的检测点的数量大于预设阈值时，则终端可以对该区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。具体的，终端可以对区间内的检测点进行最小二乘一阶拟合，得到拟合后的直线。进一步的，终端可以根据检测点的数量和检测点的分布长度，对拟合后的直线进行质量评估，得到拟合后的直线对应的质量评分。评分是对最小二乘一阶拟合(直线拟合)的线进行评估，终端可以根据用于拟合的车道线检测点的数量、分布长度进行计算，得到一个对应的评分数值，这个评分数值为一个大于等于0且小于等于1的数值，该评分数值描述了拟合直线的质量，即该评分数值越大，表明拟合直线的质量越好。其中，拟合直线的质量评分规则如下所示：
Figure BDA0002913904510000131
上述公式中，score表示拟合直线的分数，dist表示用于拟合该直线的检测点的最大距离，num表示用于拟合该直线的检测点的数量，R2表示直线的拟合优度，w1、w2和w3为加权因子，Tdist表示检测距离阈值，Tnum表示检测点数量阈值。终端对区间内的检测点进行最小二乘一阶拟合，得到拟合后的直线之后，终端可以根据上述公式(1)对拟合后的直线进行质量评估，得到拟合后的直线对应的质量评分，Score即为拟合后的直线对应的质量评分。由此使得，通过计算每个分区内的拟合后的直线的质量评分，能够更加准确的筛选出评分较高的线，从而有效提高度量估计值的准确率。
在一个实施例中，获取区间内的交点和交点对应的交点评分的步骤，包括：
分别计算每个区间内的不同拟合直线之间的交点和交点评分。其中，交点评分是根据相交于该点的两直线的质量评分的乘积得到的。
终端分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分之后，终端可以获取区间内的交点和交点对应的交点评分。其中，交点评分是根据相交于该点的两直线的质量评分的乘积得到的。具体的，以图3B为例，如图3B所示，存在三条车道线L1、L2、L3以及划分好的三个区间1、2、3。L1在1、2、3区间的直线分别表示为L11、L12、L13；L2在1、2、3区间的直线分别表示为L21、L22、L23；L3在2、3区间的直线分别表示为L32、L33。下面以3区间为例进行说明。终端需要获取3区间内的交点和交点对应的交点评分，即终端需要计算L13、L23、L33两两直线的交点和交点评分，共三个交点。其中，直线交点可以根据拟合直线方程解二元一次方程组得到，直线的质量分数可以按照上述公式(1)计算得到，交点的分数为形成该交点的两条直线的质量分数的乘积。在图3B中，终端在2区间也可以计算得出3个交点，1区间计算得出1个交点。由此使得，通过两两直线的质量评分可以计算得到对应交点的交点评分，从而可以更加准确的计算出候选灭点，有效提高度量估计值的准确率。
在一个实施例中，如图4所示，在交点中搜索目标交点的步骤，包括：
步骤402，在交点中任意选取三个交点，计算三个交点形成的三角形外接圆的半径。
步骤404，遍历交点进行搜索，将三角形外接圆的半径为最小值时对应的三个交点作为目标交点。
终端获取每个区间内的交点和交点对应的交点评分之后，终端可以在获取到的交点中搜索目标交点。具体的，终端可以在交点中任意选取三个交点，计算三个交点形成的三角形外接圆的半径。终端采用搜索算法遍历交点进行搜索，将三角形外接圆的半径为最小值时对应的三个交点作为目标交点。由于一般道路上车道线数量较少，最后形成的交点数量也有限，对搜索算法要求不高，因而可以直接遍历搜索。设最小外接圆半径为rvp，假设有n个交点，在n个交点中任意选取3个交点，计算这3个交点形成三角形的外接圆半径R，如果R小于rvp，则将rvp赋值为R，遍历所有选取情况(总共n*(n-1)*(n-2)/6种选取情况)，可以搜索出使得三角形外接圆半径最小的三个交点。设搜索出的三个交点像素坐标为(u1，v1)、(u2，v2)、(u3，v3)，则三角形外接圆半径计算方法如下：
Figure BDA0002913904510000141
Figure BDA0002913904510000142
Figure BDA0002913904510000143
Figure BDA0002913904510000144
Figure BDA0002913904510000145
Figure BDA0002913904510000151
上式公式(2)中a、b、c分别为三个交点形成三角形的三个边长，p为三个交点形成三角形周长的一半，S为三个交点形成三角形的面积，R为三个交点形成三角形的外接圆半径。即终端可以根据上述公式(2)进行计算，在计算出的所有交点中遍历搜索三个交点，使得这三个交点组成的三角形外接圆半径最小。此外，本申请中的目标交点的计算方式不限于利用搜索算法在计算出的所有交点中遍历搜索三个交点，使得这三个交点组成的三角形外接圆半径最小，还可以是4个交点、5个交点等。由此使得，通过搜索最小三角形外接圆的灭点计算方法，可以保证结果的唯一性，有效提高相机外参姿态估计结果的准确性，且计算量较小，对硬件平台要求低，容易实现工业应用。
在一个实施例中，根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点的步骤，包括：
计算三角形外接圆的半径为最小值时对应的三个交点对应的交点评分的加权平均值，得到当前时刻视频帧图像的灭点；其中，灭点的量测误差为三角形外接圆的半径的最小值。
终端在计算得到的交点中搜索到目标交点之后，终端可以根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。具体的，终端可以计算三角形外接圆的半径为最小值时对应的三个交点对应的交点评分的加权平均值，得到当前时刻视频帧图像的灭点。其中，灭点的量测误差为三角形外接圆的半径的最小值。
例如，设搜索出的三个交点的像素坐标为(u1，v1)、(u2，v2)、(u3，v3)，对应的交点评分为s1，s2，s3，则灭点(uvp，vvp)为：
Figure BDA0002913904510000152
即终端可以根据上述公式(3)计算出当前图像帧的灭点和量测误差。其中，灭点的量测误差为三角形外接圆半径rvp个像素点。灭点理论上是一个点，但实际上由于误差的影响，落在一定的范围内，这个范围如果用圆来表示，圆的半径描述了灭点的不确定度即误差。灭点是在像素坐标系中计算的，像素坐标的单位是像素点。量测误差可以理解为计算误差，灭点的量测误差即灭点的计算误差，假设计算出的灭点坐标为(uvp,vvp)，rvp个像素点误差是指灭点的真实坐标可以是以(uvp，vvp)为圆心，rvp为半径的圆内的任意一点。
道路上平行的车道线经过车载相机的透视投影变换后在像素坐标系下汇聚于灭点，在相机内参不变的情况下，道路前方灭点(uvp，vvp)与相机外参俯仰角pitch和偏航角yaw存在一一对应关系，如下：
Figure BDA0002913904510000161
Figure BDA0002913904510000162
上式公式(4)中(uvp，vvp)为灭点的像素坐标，(cu，cv)为相机光心的像素坐标，fu和fv分别表示x轴和y轴上单位距离表示的像素，θ表示相机外参俯仰角pitch，ψ表示相机外参偏航角yaw。由于检测点误差以及标定误差等因素，实际应用中多条平行车道线的透视投影并非刚好相交于一点，而是存在多个聚集的交点。因而根据灭点的聚集特性，本申请中提出采用搜索最小三角形外接圆的灭点投选方法，同时三角形的外接圆的半径可以映射为灭点的不确定度。终端可以根据上述公式(4)计算当前时刻视频帧图像的相机外参俯仰角(pitch)和偏航角(yaw)的量测值。
本实施例中，基于车道线搜索最小三角形外接圆的灭点投票方法来计算对应的灭点。即已知多条车道线在图像坐标中(图像坐标是指透视投影到的平面)的表达，每条车道线用一组有序二维坐标点表示，这些二维坐标点经过直线拟合后形成多条相交的直线，计算出所有直线的交点，在所有的交点中选择三个交点使得这三个交点形成的三角形外接圆半径最小，对搜索出的三个交点加权计算出灭点的坐标。相较于传统的RANSAC(RandomSample Consensus，随机抽样一致性)的灭点计算方法，通过RANSAC方法计算出的灭点不能保证结果的唯一性，即对同一组数据的多次运行结果可能不一样，而本实施例中提出的搜索最小三角形外接圆灭点计算方法可以保证结果的唯一性，从而有效提高相机外参姿态估计结果的准确性，且计算量较小，对硬件平台要求低，容易实现工业应用。
在一个实施例中，如图5所示，当前时刻车辆行驶时的角速度包括俯仰角速度和偏航角速度，计算当前车载相机的外参俯仰角和偏航角的估计值的步骤，包括：
步骤502，根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对俯仰角速度和偏航角速度进行积分计算，得到两帧图像之间车辆的俯仰角变化和偏航角变化。
步骤504，对灭点、俯仰角变化和偏航角变化进行卡尔曼滤波计算，得到当前车载相机的外参俯仰角和偏航角的估计值。
终端根据上述公式(3)计算出当前图像帧的灭点和量测误差之后，终端可以根据当前时刻车辆行驶时的角速度，计算当前车载相机的外参俯仰角和偏航角的估计值。其中，当前时刻车辆行驶时的角速度可以包括俯仰角速度和偏航角速度。具体的，终端可以根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对俯仰角速度和偏航角速度进行积分计算，得到两帧图像之间车辆的俯仰角变化和偏航角变化。进一步的，终端可以对灭点、俯仰角变化和偏航角变化进行卡尔曼滤波计算，得到当前车载相机的外参俯仰角和偏航角的估计值。具体的计算过程如下：状态量X(t)＝[θ(t)，ψ(t)]T，输入量u(t)＝[q(t)，r(t)]T*dt，状态方程为：
Figure BDA0002913904510000171
上式(5)中q(t)，r(t)分别表示t时刻的俯仰角速度和偏航角速度，终端可以通过IMU陀螺仪获取得到，dt表示滤波器更新时间步长。其中，滤波器的更新时间步长是指前后两次滤波器工作的时间间隔，可以简单理解为前后两帧图像的时间间隔。
由上述公式(4)(5)，得到量测方程为：
Figure BDA0002913904510000172
状态传递矩阵F为2*2单位矩阵，即状态传递矩阵F为2维的单位矩阵，在已知当前时刻的状态量和协方差条件下，可以通过状态传递矩阵和输入量预测下一个时刻的状态量和协方差。状态传递噪声Q根据陀螺仪角速度的随机游走误差设定，状态传递噪声Q描述了状态预测模型的误差。考虑到车载相机外参旋转角度一般不大，可以进行小角度近似，则量测方程近似为：
Figure BDA0002913904510000181
量测矩阵H为：
Figure BDA0002913904510000182
量测噪声R(t)为：
Figure BDA0002913904510000183
由于车载相机安装角度一般比较小，比如前视车载相机角度一般都在几度以内，颠簸和路面的坡度一般也在几度以内，叠加起来通常不会超过15度。因而对于小角度(小于15度)x，tan(x)可以近似为x，这个近似带来的误差不大，从公式(6)到公式(7)采用了小角度近似的方法，即公式(7)中的z(t)是由公式(6)采用了小角度近似后得到的，在卡尔曼滤波器中为观测值。
进一步的，终端以静态标定的俯仰角pitch和偏航角yaw初始化滤波器，并利用卡尔曼滤波器预测和更新状态量。卡尔曼滤波器的状态由以下两个变量表示：X(t)表示t时刻的状态量X，P(t)表示t时刻的后验估计误差协方差矩阵，度量估计值的精确程度。卡尔曼滤波器的操作包括两个阶段：预测与更新。在预测阶段，滤波器使用上一状态的估计，对当前状态进行估计。在更新阶段，滤波器利用对当前状态的观测值优化在预测阶段获得的预测值，以获得一个更精确的新的估计值。其中，预测阶段和更新阶段的计算公式如下:
X(t)-＝FX(t-1)+u(t)
P(t)-＝FP(t-1)FT+Q (10)
K(t)＝P(t)-HT(HP(t)-HT+R)-1
X(t)＝X(t)-+K(t)[(z(t)-HX(t)-]
P(t)＝(I-K(t)H)P(t)- (11)
上式中X(t)表示t时刻状态量的预测值，P(t)表示t时刻估计误差协方差矩阵，F表示状态传递矩阵，FT表示F的转置矩阵，Q为状态传递噪声矩阵，H为量测矩阵，HT为H的转置矩阵，R表示t时刻的量测噪声矩阵，K(t)表示t时刻的卡尔曼增益矩阵，z(t)表示t时刻的观测值，I表示单位矩阵。由此使得，IMU可以检测出车辆颠簸和道路的坡度，通过车道线特征也可以计算出车载相机相对路面的角度，将两者关联到一起进行卡尔曼滤波，使得实时估计的相机外参更为准确，适用范围更广，即具有更高的准确性和鲁棒性。
在一个实施例中，如图6所示，为车载相机外参姿态角估计的流程图。以IMU三轴角速度和车道线检测点作为输入，且假设已知车载相机内外参的标定值，动态估计当前行驶车辆的车载相机的外参姿态角。具体的，终端可以从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集。终端对每条车道线的检测点集进行分区，并统计分区后的每个区间内的检测点的数量。当检测点的数量大于预设阈值2时，则终端可以对区间内的每条车道线的检测点集进行最小二乘一阶拟合，得到拟合后的直线。例如，终端可以在像素坐标系下，将每条车道线检测点集分为三个区间，分别对三个区间的检测点进行直线拟合并打分。即终端可以根据上述公式(1)，对拟合后的直线进行质量评估，得到拟合后的直线对应的质量评分。
进一步的，终端可以分别计算每个区间内的不同线之间的交点和交点分数，即候选灭点和候选灭点评分。终端在计算得到候选灭点之后，终端可以进行灭点投选，即终端在计算出的所有交点(候选灭点)中搜索3个交点，使得这3个点组成的三角形外接圆半径最小。终端可以遍历所有交点进行搜索，将使得三角形外接圆的半径为最小值时对应的三个交点作为目标交点，并对搜索出的三个目标交点的交点评分计算加权平均值，得到单帧图像的灭点，该三角形外接圆的半径映射为灭点的量测误差。即终端可以根据上述公式(2)(3)计算出当前时刻视频帧图像的灭点以及灭点的量测误差。进一步的，终端可以获取当前时刻车辆行驶时的角速度，即终端获取当前时刻车辆行驶时的IMU角速度，并根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对IMU角速度(包括俯仰角速度和偏航角速度)进行积分计算，得到两帧图像之间车辆的俯仰角变化和偏航角变化。即终端可以根据上述公式(5)进行积分计算。进一步的，终端可以根据IMU计算出的角度变化和车道线灭点进行卡尔曼滤波，输出当前车载相机的外参姿态角(pitch和yaw)的估计值。终端以静态标定的pitch和yaw初始化滤波器，利用卡尔曼滤波器预测和更新状态量，即终端可以根据上述公式(4)(5)(6)(7)(8)(9)(10)(11)进行卡尔曼滤波计算，得到当前车载相机的外参俯仰角和偏航角的估计值。经过卡尔曼滤波器更新后的状态量即为当前时刻车载相机外参pitch和yaw的最终输出。
本实施例中，IMU可以检测出车辆颠簸和道路的坡度，通过车道线特征也可以计算出车载相机相对路面的角度，将两者关联到一起实时估计的相机外参更为准确，适用范围更广，即具有更高的准确性和鲁棒性。传统的实时外参估计方法或者对道路和相机安装有较高要求，或者计算量大，难以以较低成本实现工业应用。而本实施例中，基于车道线搜索最小三角形外接圆的灭点投票方法，并结合IMU和车道线特征实时估计相机外参姿态，有效减少了因车辆颠簸或道路坡度导致的投影变换误差，具有更高的鲁棒性和准确性，且计算量较小，对硬件平台要求低，容易实现工业应用。
应该理解的是，虽然图1-6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种车载相机外参姿态动态估计装置，包括：提取模块702、分区模块704、获取模块706、搜索模块708和计算模块710，其中：
提取模块702，用于从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集。
分区模块704，用于对检测点集进行分区，并分别对每个区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。
获取模块706，用于获取区间内的交点和交点对应的交点评分，交点是区间内的拟合后的任意两条直线的交点，交点评分是根据相交于该点的两直线的质量评分得到的。
搜索模块708，用于在交点中搜索目标交点，并根据目标交点的像素坐标和交点评分进行计算，得到当前时刻视频帧图像的灭点。
获取模块706还用于获取当前时刻车辆行驶时的角速度。
计算模块710，用于根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对角速度进行积分计算，得到两帧图像之间车辆的角度变化；对灭点和角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
在一个实施例中，分区模块还用于对检测点集进行分区，统计分区后的每个区间内的检测点的数量。计算模块还用于当检测点的数量大于预设阈值时，则对区间内的检测点进行直线拟合，得到拟合后的直线，并对拟合后的直线进行质量评估得到质量评分。
在一个实施例中，计算模块还用于对区间内的检测点进行最小二乘一阶拟合，得到拟合后的直线；根据检测点的数量和检测点的分布长度，对拟合后的直线进行质量评估，得到拟合后的直线对应的质量评分。
在一个实施例中，计算模块还用于分别计算每个区间内的不同拟合直线之间的交点和交点评分，其中，交点评分是根据相交于该点的两直线的质量评分的乘积得到的。
在一个实施例中，计算模块还用于在交点中任意选取三个交点，计算三个交点形成的三角形外接圆的半径。搜索模块还用于遍历交点进行搜索，将三角形外接圆的半径为最小值时对应的三个交点作为目标交点。
在一个实施例中，计算模块还用于计算三角形外接圆的半径为最小值时对应的三个交点对应的交点评分的加权平均值，得到当前时刻视频帧图像的灭点，其中，灭点的量测误差为三角形外接圆的半径的最小值。
在一个实施例中，计算模块还用于根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对俯仰角速度和偏航角速度进行积分计算，得到两帧图像之间车辆的俯仰角变化和偏航角变化；对灭点、俯仰角变化和偏航角变化进行卡尔曼滤波计算，得到当前车载相机的外参俯仰角和偏航角的估计值。
关于车载相机外参姿态动态估计装置的具体限定可以参见上文中对于车载相机外参姿态动态估计方法的限定，在此不再赘述。上述车载相机外参姿态动态估计装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车载相机外参姿态动态估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各个方法实施例的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车载相机外参姿态动态估计方法，所述方法包括：
从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集；
对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分；
获取所述区间内的交点和所述交点对应的交点评分；所述交点是所述区间内的拟合后的任意两条直线的交点；所述交点评分是根据相交于该点的两直线的质量评分得到的；
在所述交点中搜索目标交点，并根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点；
获取当前时刻车辆行驶时的角速度；
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化；
对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
2.根据权利要求1所述的方法，其特征在于，所述对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分包括：
对所述检测点集进行分区，统计分区后的每个区间内的检测点的数量；
当所述检测点的数量大于预设阈值时，则对所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分。
3.根据权利要求2所述的方法，其特征在于，所述对所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分包括：
对所述区间内的检测点进行最小二乘一阶拟合，得到拟合后的直线；
根据所述检测点的数量和所述检测点的分布长度，对所述拟合后的直线进行质量评估，得到所述拟合后的直线对应的质量评分。
4.根据权利要求1所述的方法，其特征在于，所述获取所述区间内的交点和所述交点对应的交点评分包括：
分别计算每个所述区间内的不同拟合直线之间的交点和交点评分；其中，所述交点评分是根据相交于该点的两直线的质量评分的乘积得到的。
5.根据权利要求1所述的方法，其特征在于，所述在所述交点中搜索目标交点包括：
在所述交点中任意选取三个交点，计算所述三个交点形成的三角形外接圆的半径；
遍历所述交点进行搜索，将所述三角形外接圆的半径为最小值时对应的三个交点作为目标交点。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点包括：
计算所述三角形外接圆的半径为最小值时对应的三个交点对应的交点评分的加权平均值，得到当前时刻视频帧图像的灭点；其中，所述灭点的量测误差为所述三角形外接圆的半径的最小值。
7.根据权利要求1所述的方法，其特征在于，所述当前时刻车辆行驶时的角速度包括俯仰角速度和偏航角速度；
所述根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化包括：
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述俯仰角速度和偏航角速度进行积分计算，得到两帧图像之间所述车辆的俯仰角变化和偏航角变化；
所述对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值，包括：
对所述灭点、所述俯仰角变化和偏航角变化进行卡尔曼滤波计算，得到当前车载相机的外参俯仰角和偏航角的估计值。
8.一种车载相机外参姿态动态估计装置，其特征在于，所述装置包括：
提取模块，用于从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集；
分区模块，用于对所述检测点集进行分区，并分别对每个所述区间内的检测点进行直线拟合，得到拟合后的直线，并对所述拟合后的直线进行质量评估得到质量评分；
获取模块，用于获取所述区间内的交点和所述交点对应的交点评分；所述交点是所述区间内的拟合后的任意两条直线的交点；所述交点评分是根据相交于该点的两直线的质量评分得到的；
搜索模块，用于在所述交点中搜索目标交点，并根据所述目标交点的像素坐标和所述交点评分进行计算，得到当前时刻视频帧图像的灭点；
所述获取模块还用于获取当前时刻车辆行驶时的角速度；
计算模块，用于根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息，对所述角速度进行积分计算，得到两帧图像之间所述车辆的角度变化；对所述灭点和所述角度变化进行卡尔曼滤波计算，得到当前车载相机的外参姿态角的估计值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110095818.6A 2021-01-25 2021-01-25 车载相机外参姿态动态估计方法、装置、计算机设备 Active CN112907678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110095818.6A CN112907678B (zh) 2021-01-25 2021-01-25 车载相机外参姿态动态估计方法、装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110095818.6A CN112907678B (zh) 2021-01-25 2021-01-25 车载相机外参姿态动态估计方法、装置、计算机设备

Publications (2)

Publication Number Publication Date
CN112907678A true CN112907678A (zh) 2021-06-04
CN112907678B CN112907678B (zh) 2022-05-13

Family

ID=76118816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110095818.6A Active CN112907678B (zh) 2021-01-25 2021-01-25 车载相机外参姿态动态估计方法、装置、计算机设备

Country Status (1)

Country Link
CN (1) CN112907678B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113639782A (zh) * 2021-08-13 2021-11-12 北京地平线信息技术有限公司 车载传感器的外参标定方法和装置、设备和介质
CN113870367A (zh) * 2021-12-01 2021-12-31 腾讯科技（深圳）有限公司 相机外参的生成方法、装置、设备、存储介质和程序产品
CN114037977A (zh) * 2022-01-07 2022-02-11 深圳佑驾创新科技有限公司 道路灭点的检测方法、装置、设备及存储介质
CN114219845A (zh) * 2021-11-30 2022-03-22 慧之安信息技术股份有限公司 一种基于深度学习的居住单元面积评判方法和装置
CN114295099A (zh) * 2021-12-28 2022-04-08 合肥英睿系统技术有限公司 基于单目摄像头的测距方法、车载测距设备以及存储介质
CN114638902A (zh) * 2022-03-21 2022-06-17 浙江大学 一种针对车载相机的外参在线估计方法
CN115388914A (zh) * 2022-10-28 2022-11-25 福思(杭州)智能科技有限公司 传感器的参数标定方法、装置、存储介质和电子装置
CN117557616A (zh) * 2024-01-11 2024-02-13 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种单目相机俯仰角确定和深度估计方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110032201A (zh) * 2019-04-19 2019-07-19 成都飞机工业（集团）有限责任公司 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法
CN110858405A (zh) * 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和系统及电子设备
CN110930459A (zh) * 2019-10-29 2020-03-27 北京经纬恒润科技有限公司 灭点提取方法、相机标定方法以及存储介质
CN112146620A (zh) * 2020-11-25 2020-12-29 腾讯科技（深圳）有限公司 目标物体的测距方法及装置
CN112183512A (zh) * 2020-12-02 2021-01-05 深圳佑驾创新科技有限公司 摄像头标定方法、装置、车载终端和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110115912A1 (en) * 2007-08-31 2011-05-19 Valeo Schalter Und Sensoren Gmbh Method and system for online calibration of a video system
CN110858405A (zh) * 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和系统及电子设备
CN109859278A (zh) * 2019-01-24 2019-06-07 惠州市德赛西威汽车电子股份有限公司 车载相机系统相机外参的标定方法及标定系统
CN110032201A (zh) * 2019-04-19 2019-07-19 成都飞机工业（集团）有限责任公司 一种基于卡尔曼滤波的imu机载视觉姿态融合的方法
CN110930459A (zh) * 2019-10-29 2020-03-27 北京经纬恒润科技有限公司 灭点提取方法、相机标定方法以及存储介质
CN112146620A (zh) * 2020-11-25 2020-12-29 腾讯科技（深圳）有限公司 目标物体的测距方法及装置
CN112183512A (zh) * 2020-12-02 2021-01-05 深圳佑驾创新科技有限公司 摄像头标定方法、装置、车载终端和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈世增 等: "利用双灭点估计的车道线检测", 《测绘通报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113639782A (zh) * 2021-08-13 2021-11-12 北京地平线信息技术有限公司 车载传感器的外参标定方法和装置、设备和介质
CN114219845B (zh) * 2021-11-30 2022-08-19 慧之安信息技术股份有限公司 一种基于深度学习的居住单元面积评判方法和装置
CN114219845A (zh) * 2021-11-30 2022-03-22 慧之安信息技术股份有限公司 一种基于深度学习的居住单元面积评判方法和装置
CN113870367A (zh) * 2021-12-01 2021-12-31 腾讯科技（深圳）有限公司 相机外参的生成方法、装置、设备、存储介质和程序产品
CN113870367B (zh) * 2021-12-01 2022-02-25 腾讯科技（深圳）有限公司 相机外参的生成方法、装置、设备、存储介质和程序产品
CN114295099B (zh) * 2021-12-28 2024-01-30 合肥英睿系统技术有限公司 基于单目摄像头的测距方法、车载测距设备以及存储介质
CN114295099A (zh) * 2021-12-28 2022-04-08 合肥英睿系统技术有限公司 基于单目摄像头的测距方法、车载测距设备以及存储介质
CN114037977B (zh) * 2022-01-07 2022-04-26 深圳佑驾创新科技有限公司 道路灭点的检测方法、装置、设备及存储介质
CN114037977A (zh) * 2022-01-07 2022-02-11 深圳佑驾创新科技有限公司 道路灭点的检测方法、装置、设备及存储介质
CN114638902A (zh) * 2022-03-21 2022-06-17 浙江大学 一种针对车载相机的外参在线估计方法
CN115388914A (zh) * 2022-10-28 2022-11-25 福思(杭州)智能科技有限公司 传感器的参数标定方法、装置、存储介质和电子装置
CN117557616A (zh) * 2024-01-11 2024-02-13 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种单目相机俯仰角确定和深度估计方法、装置及设备
CN117557616B (zh) * 2024-01-11 2024-04-02 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种单目相机俯仰角确定和深度估计方法、装置及设备

Also Published As

Publication number Publication date
CN112907678B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN112907678B (zh) 车载相机外参姿态动态估计方法、装置、计算机设备
US20210012520A1 (en) Distance measuring method and device
CN110146909B (zh) 一种定位数据处理方法
US10762643B2 (en) Method for evaluating image data of a vehicle camera
US9275458B2 (en) Apparatus and method for providing vehicle camera calibration
JP6855524B2 (ja) 低速特徴からのメトリック表現の教師なし学習
CN111788571A (zh) 车辆跟踪
CN113916243A (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
US20100158352A1 (en) Apparatus and method for real-time camera tracking
Michot et al. Bi-objective bundle adjustment with application to multi-sensor slam
US11069071B1 (en) System and method for egomotion estimation
CN112729294B (zh) 适用于机器人的视觉和惯性融合的位姿估计方法及系统
EP4386676A1 (en) Method and apparatus for calibrating cameras and inertial measurement unit, and computer device
CN114248778B (zh) 移动设备的定位方法和定位装置
CN113744308B (zh) 位姿优化方法、装置、电子设备、介质及程序产品
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN113223064A (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN114913500B (zh) 位姿确定方法、装置、计算机设备和存储介质
CN113870367B (zh) 相机外参的生成方法、装置、设备、存储介质和程序产品
CN110428452B (zh) 非静态场景点的检测方法、装置、电子设备及存储介质
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
CN114549632A (zh) 车辆定位方法及装置
CN110458887A (zh) 一种基于pca的加权融合室内定位方法
JP6653151B2 (ja) 進行方向推定システム
CN115752476B (zh) 一种基于语义信息的车辆地库重定位方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518051 1101, west block, Skyworth semiconductor design building, 18 Gaoxin South 4th Road, Gaoxin community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.