CN113870367B - 相机外参的生成方法、装置、设备、存储介质和程序产品 - Google Patents
相机外参的生成方法、装置、设备、存储介质和程序产品 Download PDFInfo
- Publication number
- CN113870367B CN113870367B CN202111450008.4A CN202111450008A CN113870367B CN 113870367 B CN113870367 B CN 113870367B CN 202111450008 A CN202111450008 A CN 202111450008A CN 113870367 B CN113870367 B CN 113870367B
- Authority
- CN
- China
- Prior art keywords
- pitch angle
- deviation
- moment
- camera
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供的相机外参的生成方法、装置、设备、存储介质和程序产品,可用于导航地图、自动驾驶与智慧交通场景中,包括:根据输出上一俯仰角观测值的第一时刻至输出下一俯仰角观测值的第二时刻间得到的俯仰角速度,对第一时刻的俯仰角融合值进行俯仰角积分,得到第二时刻的俯仰角预测值,根据上述俯仰角积分所用的俯仰角速度各自的偏差,对第一时刻的俯仰角融合值偏差进行偏差积分,得到第二时刻的俯仰角预测值偏差;基于车道线在后帧车道线图像的灭点得到下一俯仰角观测值的偏差;基于均为第二时刻的俯仰角观测值偏差与俯仰角预测值偏差,融合均为第二时刻的俯仰角观测值与俯仰角预测值,得到第二时刻的俯仰角融合值以输出相机外参。
Description
技术领域
本申请涉及相机外参标定技术领域,特别是涉及一种相机外参的生成方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
基于计算机视觉进行障碍物识别是自动驾驶技术的关键技术之一;自动驾驶中的计算机视觉可以借助车载相机实现。识别出障碍物相对于车身的位置,需借助车载相机的外参。在道路颠簸或者急刹车等引起相机抖动的情况下,需调整车载相机的外参;其中,调整后的车载相机外参的准确性决定了识别到的障碍物相对于车身位置的准确性。
车载相机外参的传统自标定方案中,调整后的车载相机外参的准确性较低,所识别到的障碍物相对于车身位置的准确性也较低。
发明内容
基于此,有必要针对上述技术问题,提供一种相机外参的生成方法、装置、计算机设备、存储介质和计算机程序产品。
一种相机外参的生成方法,所述方法包括:
确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻,以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻;车道线图像是设置于车辆上的相机采集的包括车道线的图像;所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值;
获取从所述第一时刻起至所述第二时刻,位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差;
根据从所述第一时刻至所述第二时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第二时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第二时刻对应的俯仰角预测值的偏差;
获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差;
根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差,对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后,得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
一种相机外参的生成装置,所述装置包括:
时刻确定模块,用于确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻,以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻;车道线图像是设置于车辆上的相机采集的包括车道线的图像;所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值;
角速度和角速度偏差的获取模块,用于获取从所述第一时刻起至所述第二时刻,位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差;
运动积分模块,用于根据从所述第一时刻至所述第二时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第二时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第二时刻对应的俯仰角预测值的偏差;
俯仰角观测值的偏差获取模块,用于获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差;
融合模块,用于根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差,对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后,得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
在一些实施例中,俯仰角观测值的偏差获取模块,还用于确定各车道线在所述后帧车道线图像中的拟合线;将车道线图像中,俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向,得到所述灭点沿所述第一方向分别至各拟合线的距离;基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述灭点沿所述第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差。
在一些实施例中,俯仰角观测值的偏差获取模块,还用于获取所述相机在垂直地面方向上的焦距;基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述相机在垂直地面方向上的焦距,以及所述灭点沿第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差。
在一些实施例中,俯仰角观测值的偏差获取模块,还用于获取所述相机在垂直地面方向上的焦距对应的平方值,并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,将焦距对应的平方值作为比的后项;基于所述灭点沿所述第一方向分别至各拟合线的距离,得到各距离的平方值,对各距离的平方值进行平均,得到距离对应的平均值,并基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,将距离对应的平均值作为比的前项;基于所述比的前项和所述比的后项,得到所述下一俯仰角观测值的偏差。
在一些实施例中,所述装置还包括俯仰角观测值获取模块,用于将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第一坐标值;将在相机坐标系中所述相机的光心在垂直地面方向上的偏移量,作为第一偏移量;基于所述第一坐标值与所述第一偏移量之间的相对大小,以及所述相机在垂直地面方向上的焦距,得到所述下一俯仰角观测值。
在一些实施例中,俯仰角观测值获取模块,还用于将所述第一坐标值与所述第一偏移量的差值作为第一差值,得到所述第一差值与所述相机在垂直地面方向上的焦距之间的比值;对所述第一差值与所述相机在垂直地面方向上的焦距之间的比值进行反正切处理,得到所述下一俯仰角观测值。
在一些实施例中,所述第二时刻对应的外参包括:所述第二时刻下所述相机相对于车辆的偏航角观测值;
所述装置还包括偏航角观测值获取模块,用于将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第二坐标值;将在相机坐标系中所述相机的光心在平行地面方向上的偏移量,作为第二偏移量;基于所述第二坐标值与所述第二偏移量之间的相对大小,以及所述相机在平行地面方向上的焦距,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中,所述偏航角观测值获取模块,还用于将所述第二坐标值与所述第二偏移量的差值作为第二差值,得到所述第二差值与所述相机在平行地面方向上的焦距之间的比值;对所述第二差值与所述相机在平行地面方向上的焦距之间的比值进行反正切处理,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中,所述装置还包括偏航角观测值的偏差获取模块,用于确定各车道线在所述后帧车道线图像中的拟合线;将车道线图像中,偏航角变化引起灭点在车道线图像中的位置变化的方向作为第二方向,得到所述灭点沿所述第二方向分别至各拟合线的距离;基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中,偏航角观测值的偏差获取模块,还用于获取所述相机在平行地面方向上的焦距;基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系,以及灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述相机在平行地面方向上的焦距,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中,所述第二时刻对应的外参包括:所述第二时刻下所述相机相对于所述车辆所处的地面的高度;
所述装置还包括相机高度获取模块,用于基于所述第二时刻之前得到的相机外参和相机内参,通过逆透视投影变换,将所述后帧车道线图像中的车道线从图像坐标系投影至车身坐标系;基于投影至所述车身坐标系的车道线间的距离与相机相对于所述车辆所处的地面的高度成正相关关系,得到所述相机相对于所述车辆所处的地面的高度。
在一些实施例中,所述装置还包括俯仰角融合值的偏差获取模块,用于分别将所述第一时刻对应的俯仰角观测值的偏差和所述第一时刻对应的俯仰角预测值的偏差,作为比的前项和后项,得到所述第一时刻对应的偏差比值;基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及所述第一时刻对应的偏差比值,确定针对所述第一时刻对应的俯仰角预测值的偏差的修正程度;按针对所述第一时刻对应的俯仰角预测值的偏差的修正程度,对所述第一时刻对应的俯仰角预测值的偏差进行修正,并将修正结果作为所述第一时刻对应的俯仰角融合值的偏差。
在一些实施例中,融合模块,还用于基于所述第二时刻对应的俯仰角观测值与所述第二时刻对应的俯仰角预测值之间的相对大小,得到对所述第二时刻对应的俯仰角预测值进行修正的可能修正量;基于所述第二时刻对应的俯仰角观测值的偏差和所述第二时刻对应的俯仰角预测值的偏差,得到所述第二时刻对应的偏差比值;基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系,确定针对所述第二时刻对应的俯仰角预测值的修正程度;利用针对所述第二时刻对应的俯仰角预测值的修正程度,调节所述可能修正量,得到实际修正量;按所述实际修正量,对所述第二时刻对应的俯仰角预测值进行修正,并将修正结果作为所述第二时刻对应的俯仰角融合值。
在一些实施例中,所述装置还包括灭点获取模块,用于确定各车道线在所述后帧车道线图像中的拟合线;确定所述后帧车道线图像上的多个候选点,并基于候选点各自沿同一方向至不同拟合线的距离,得到候选点各自的距离和;将所述多个候选点中距离和最小的候选点作为车道线在所述后帧车道线图像上的灭点。
在一些实施例中,所述装置还包括低频时段的相机外参输出模块,用于确定晚于所述第一时刻且早于所述第二时刻的第三时刻;根据从所述第一时刻至所述第三时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第三时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第三时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第三时刻对应的俯仰角预测值的偏差;基于所述第三时刻对应的俯仰角预测值以及所述第三时刻对应的俯仰角预测值的偏差,输出所述第三时刻对应的相机外参。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行上述相机外参的生成方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行上述相机外参的生成方法。
一种计算机程序产品,其上存储有计算机程序,所述计算机程序被处理器执行上述相机外参的生成方法。
上述相机外参的生成方法、装置、计算机设备、存储介质和计算机程序产品,在基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻至基于车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻的第二时刻之间,获取惯性传感器采集到的俯仰角速度以及俯仰角速度各自的偏差;接着,根据惯性传感器在第一时刻至第二时刻之间采集到的俯仰角速度,对第一时刻的俯仰角融合值进行运动积分处理(该运动积分是针对俯仰角的,因此,也可以将该运动积分称为俯仰角积分),得到第二时刻的俯仰角预测值,并根据上述俯仰角积分时所用的惯性传感器在第一时刻至第二时刻采集到的俯仰角速度各自的偏差,对第一时刻的俯仰角融合值的偏差进行运动积分处理(该运动积分是针对俯仰角的偏差,因此,也可以将该运动积分称为偏差积分),得到第二时刻的俯仰角预测值的偏差;然后,获取基于车道线后帧车道线图像中的灭点得到的下一俯仰角观测值的偏差;基于下一俯仰角观测值的偏差与第二时刻的俯仰角预测值的偏差,对下一俯仰角观测值与第二时刻的俯仰角预测值进行融合,得到第二时刻的俯仰角融合值,以输出准确的第二时刻的相机外参。
附图说明
图1为一个实施例中相机外参的生成方法的应用环境图;
图2为一个实施例中输出俯仰角观测值的频率和车辆惯性传感器采集俯仰角速度的频率示意图;
图3为一个实施例中相机外参的生成方法的流程示意图;
图4为一个实施例中车载相机采集到的车道线图像;
图5为一个实施例中车道线在车道线图像中的拟合线以及灭点示意图;
图6为一个实施例中相机外参的生成方法的流程示意图;
图7为一个实施例中获取俯仰角融合值的流程示意图;
图8为一个实施例中应用本申请提供的相机外参的生成方法的结果示意图;
图9为一个实施例中相机外参的生成装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
本申请涉及的关键术语包括:
AR车辆导航定位:通过增强现实技术(Augmented Reality,AR)对车辆进行空间定位和导航。
ADAS(Advanced Driving Assistant System):高级辅助驾驶系统。
车载相机外参标定:标定每一时刻车载相机相对于车身的空间位置和姿态,包括三维空间平移(Tx, Ty, Tz)和三维旋转角度(Pitch, Roll, Yaw);其中,Pitch、Roll和Yaw分别为俯仰角、翻滚角、偏航角。
图像车道线检测:检测图像中车道线,检测结果一般是类似采样的像素点或者分割的像素块。
IMU(Inertial Measurement Unit):一种惯性测量设备,可以称为惯性传感器,通常包括加速度计和陀螺仪(角速度计)。
卡尔曼滤波(Kalman Filter):一种融合状态量和状态变量运动状态估计方法。
SLAM(Simultaneous Localization and Mapping):泛指同时定位和建图的方法。
灭点:透视投影的一种现象,三维空间中的平行直线经过透视投影到平面,会汇聚相交为一个点,又称为灭点。
IPM(Inverse Perspective Mapping):逆透视投影。
本申请结合图像车道线检测结果和IMU采集的数据,生成车载相机外参,实现车载相机外参的标定。基于本申请提供的方案所得到的车载相机外参可以应用于地图中AR车辆定位导航以及基于众包设备的地图数据生产。对于AR车辆定位导航,本申请提供的方案开发的算法包可以运行在车机平台上;对于基于众包设备的地图数据生产,本申请提供的方案开发的算法包也可以运行在云端的服务器中,其中,车道线图像(或车道线检测结果)和IMU信息需要同步发送到云端的服务器。
以本申请提供的方案开发的算法包运行在云端服务器为例介绍:
如图1所示,车辆110在道路上行驶,并且车道线111和112分别位于车辆110的两侧;其中,可以以车辆110的行驶方向作为车辆110自身坐标系的x轴、以平行于地面且垂直于车辆110行驶方向的方向作为车辆110自身坐标系的y轴、以垂直地面的方向作为车辆110自身坐标系的z轴;在一些场景中,x轴的正方向可以是车辆110的头部朝向,y轴的正方向可以是朝向车辆110左侧的方向,z轴的正方向可以是垂直地面向上的方向,并分别记为x1、y1和z1,得到图1所示的车身坐标系。在一些场景中,车身坐标系的原点O1可以设定在车辆110的两个后轮接地点的连续的中心点,也即位于后轮轴中心点的正下方。
车辆110在行驶过程中,设于车辆的相机(可以称为车载相机)按照第一频率采集道路前方的图像;在车载相机采集到的图像包括车道线111和112的情况下,车载相机采集到的图像可以称为车道线图像。
设于车辆的惯性传感器按照高于第一频率的第二频率进行采集,惯性传感器采集到的旋转角速度为(ωx,ωy,ωz);其中,ωx是在x1轴方向上旋转的角速度,ωy是在y1轴方向上旋转的角速度,ωz是在z1轴方向上旋转的角速度;其中,在y1轴方向上旋转的角速度与车辆相对于地面俯仰变化有关,因此,可以将ωy作为俯仰角速度。
服务器120获取车载相机采集到的车道线图像以及车辆的惯性传感器采集到的俯仰角速度和俯仰角速度的偏差,以得到对应时刻的俯仰角并输出车载相机外参,实现车载相机外参的标定。
其中,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
以下结合图2和图3介绍生成俯仰角的具体方式:
步骤S301,确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻,以及确定基于车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻。
其中,车道线图像是设置于车辆上的相机采集的包括车道线的图像。
基于车道线在车道线图像中的灭点,可以得到俯仰角,该俯仰角属于观测量,可以
称为俯仰角观测值,记为。在某一时刻下的俯仰角观测值是基于车道线在该时刻的
车道线图像(该时刻的车道线图像是:车载相机在该时刻采集得到的车道线图像)中的灭点
得到的俯仰角观测值,例如,图2所示,tk时刻下的俯仰角观测值是基于车道线在
tk时刻的车道线图像中的灭点得到的俯仰角观测值,t2k时刻下的俯仰角观测值是基于车道线在t2k时刻的车道线图像中的灭点得到的俯仰角观测值,t3k时刻
下的俯仰角观测值是基于车道线在t3k时刻的车道线图像中的灭点得到的俯仰
角观测值。
并且,上一俯仰角观测值和下一俯仰角观测值是在输出时间上相邻的两个俯仰角
观测值,例如,若在tk时刻至t3k时刻,基于车道线在对应帧的车道线图像中的灭点所输出的
各时刻下的俯仰角观测值为:、和,那么和属于在输出时间上相邻的两个俯仰角观测值,且相较于而言,属于上一俯仰角观测值,相较于而言,属于下一俯仰角
观测值;同样地,和也属于在输出时间上相邻的两个俯仰角观测
值,且相较于而言,属于上一俯仰角观测值,相较于而
言,属于下一俯仰角观测值。
其中,基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻为车载相机采集前帧车道线图像的时刻,基于车道线后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻为车载相机采集后帧车道线图像的时刻。
步骤S302,获取从第一时刻起至第二时刻,位于车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差。
其中,惯性传感器采集俯仰角速度的频率高于基于车道线在车道线图像中的灭点
输出俯仰角观测值的频率,例如惯性传感器采集俯仰角速度的过程中,每隔0.01秒采集一
个俯仰角速度,而基于车道线在车道线图像中的灭点输出俯仰角观测值的过程中,每隔
0.01×k秒输出一个俯仰角观测值(每隔0.01×k秒输出一个俯仰角观测值,例如是,在tk时
刻至t3k时刻,基于车道线在对应帧的车道线图像中的灭点所输出的各时刻下的俯仰角观测
值为:、和。
如图2所示,在tk至t2k之间,惯性传感器按每隔0.01秒采集一次俯仰角速度的频率进行采集,可以得到俯仰角速度ωy(tk)、ωy(tk+1)、…、ωy(t2k-1)、ωy(t2k)。同样地,在t2k至t3k之间,惯性传感器按每隔0.01秒采集一次俯仰角速度的频率进行采集,可以得到俯仰角速度ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)、ωy(t3k)。
出于测量仪器的精密度的考虑,测量仪器采集到的数据与真实数据之间存在一定的偏差,而惯性传感器作为测量仪器的一种,惯性传感器采集到的俯仰角速度也会与真实的俯仰角速度存在一定的偏差,因此,惯性传感器采集到的各俯仰角速度均有自身相较于真实的俯仰角速度的偏差。
如图2所示,在tk至t3k之间,惯性传感器按每隔0.01秒采集一次俯仰角速度的频率
进行采集得到的俯仰角速度ωy(tk)、ωy(tk+1)、…、ωy(t2k-1)、ωy(t2k)、ωy(t2k+1)、…、ωy
(t3k-1)、ωy(t3k)中,各俯仰角速度相较于各自真实俯仰角速度的偏差记为:、、…、、、、…、、。
步骤S303,根据从第一时刻至第二时刻采集到的俯仰角速度,对第一时刻对应的俯仰角融合值进行运动积分处理,得到第二时刻对应的俯仰角预测值,以及根据从第一时刻至第二时刻采集到的俯仰角速度各自的偏差,对第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到第二时刻对应的俯仰角预测值的偏差。
各时刻下的俯仰角融合值的获取方式相同,本实施例是以得到第二时刻下的俯仰角融合值的方式且第二时刻为t3k进行介绍的,且此处先介绍俯仰角预测值:
在除初始时刻外的各时刻下,都可以基于俯仰角速度,通过运动积分输出俯仰角
预测值;例如,若输出t3k下的俯仰角预测值,则以t2k下的俯仰角融合值为基础,根据ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)、ωy(t3k)进行运动积分,得到
t3k下的俯仰角预测值(具体积分过程参见公式①);该运动积分是以得到俯仰
角为目的,因此,可以将该运动积分称为俯仰角积分。
在得到t3k下的俯仰角预测值的俯仰角积分过程中,所用到的俯仰角
速度为ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)和ωy(t3k);由于俯仰角速度是由惯性传感器测量
得到的,存在一定的偏差,因此,可以基于为得到的俯仰角积分所用到的各俯
仰角速度的偏差进行运动积分,得到的偏差;该运动积分是以得到俯
仰角的偏差为目的的,因此,可以将该运动积分称为偏差积分。
步骤S304,获取基于车道线后帧车道线图像中的灭点得到的上述下一俯仰角观测值的偏差。
灭点是一种透视投影现象,三维空间中的平行直线经过透视投影到平面,会汇聚相交为一个点,该相交点可以称为灭点。
图1所示的场景中,车道线111和112在实际空间中近似平行,车载相机采集车道线图像的过程相当于上述的三维空间中的平行直线经过透视投影至平面的过程,因此,可以确定车道线111和112在车道线图像中的相交点(如图5所示的1132),也即灭点。
车载相机在车身坐标系中的俯仰角不同情况下,灭点在车道线图像上的位置也会
不同,因此,可以根据灭点在车道线图像上的位置预估俯仰角,通过灭点预估得到的俯仰角
属于观测量,可以称为俯仰角观测值;相机也是看成是测量设备,因此,该俯仰角观测值与
真实的俯仰角之间也存在一定的偏差,俯仰角观测值的偏差可以记为。
步骤S305,根据上述下一俯仰角观测值的偏差与第二时刻对应的俯仰角预测值的偏差,对上述下一俯仰角观测值与第二时刻对应的俯仰角预测值进行融合后,得到第二时刻对应的俯仰角融合值以输出第二时刻对应的相机外参。
若第二时刻为t3k,那么上述下一俯仰角观测值为t3k时刻下的俯仰角观测值,可记
为;上述下一俯仰角观测值的偏差为t3k时刻下的俯仰角观测值的偏差,可记为;第二时刻下的俯仰角预测值可记为、第二时刻下的俯仰角预测值的
偏差可记为。
由于俯仰角观测值的偏差是反映俯仰角观测值偏离俯仰角真实值的程度,俯仰角
预测值的偏差是反映俯仰角预测值偏离俯仰角真实值的程度,因此,在融合俯仰角观测值和俯仰角预测值时,可以根据俯仰角观测值和俯仰角预测值各自
的偏差的相对大小,为俯仰角观测值和俯仰角预测值赋予对应的权重;其中,若俯仰角观测
值的偏差大于俯仰角预测值的偏差,那么为俯仰角观测值赋
予的权重小于为俯仰角预测值赋予的权重,若俯仰角观测值的偏差小
于俯仰角预测值的偏差,那么为俯仰角观测值赋予的权重大于为俯仰
角预测值赋予的权重;接着,按照所赋予的权重,对俯仰角观测值
和俯仰角预测值进行加权求和,将加权求和结果作为俯仰角融合值;并将俯仰角融合值作为t3k下的相机外参之一进行输出。
上述相机外参的生成方法中,在基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻至基于车道线后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻的第二时刻之间,获取惯性传感器采集到的俯仰角速度以及俯仰角速度各自的偏差;接着,根据惯性传感器在第一时刻至第二时刻之间采集到的俯仰角速度,对第一时刻的俯仰角融合值进行运动积分处理(该运动积分是针对俯仰角的,因此,也可以将该运动积分称为俯仰角积分),得到第二时刻的俯仰角预测值,并根据上述俯仰角积分时所用的惯性传感器在第一时刻至第二时刻采集到的俯仰角速度各自的偏差,对第一时刻的俯仰角融合值的偏差进行运动积分处理(该运动积分是针对俯仰角的偏差,因此,也可以将该运动积分称为偏差积分),得到第二时刻的俯仰角预测值的偏差;然后,获取基于车道线后帧车道线图像中的灭点得到的下一俯仰角观测值的偏差;基于下一俯仰角观测值的偏差与第二时刻的俯仰角预测值的偏差,对下一俯仰角观测值与第二时刻的俯仰角预测值进行融合,得到第二时刻的俯仰角融合值,以输出准确的第二时刻的相机外参。
除了上述加权求和得到俯仰角融合值的方式,本申请还提供一种得到俯仰角融合值的方式,具体包括:基于上述下一俯仰角观测值与第二时刻对应的俯仰角预测值之间的相对大小,得到对第二时刻对应的俯仰角预测值进行修正的可能修正量;基于上述下一俯仰角观测值的偏差和第二时刻对应的俯仰角预测值的偏差,得到第二时刻对应的偏差比值;基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系,确定针对第二时刻对应的俯仰角预测值的修正程度;利用针对第二时刻对应的俯仰角预测值的修正程度,调节可能修正量,得到实际修正量;按实际修正量,对第二时刻对应的俯仰角预测值进行修正,并将修正结果作为第二时刻对应的俯仰角融合值。
以第二时刻为t3k介绍:基于t3k下的俯仰角观测值与t3k下的俯仰角预
测值之间的相对大小,得到对t3k下的俯仰角预测值进行修正的可
能修正量为:。接着,分别将t3k下的俯仰角观测值的偏差和t3k下的俯仰角预测值的偏差作为比的前项和后项,得到的t3k下的偏差
比值为:。然后,基于针对俯仰角预测值的修正程度与偏差比值之间的负相关
关系,确定针对t3k下的俯仰角预测值的修正程度。将针对t3k下的俯仰角预测值的修正
程度,与可能修正量进行相乘,完成对可能修正量的
调节,并将乘积结果作为实际修正量。将该实际修
正量,与t3k下的俯仰角预测值进行相
加,完成对t3k下的俯仰角预测值的修正,将相加得到的结果作为t3k下的俯仰角
融合值,即:。
上述方式中,基于上述下一俯仰角观测值与第二时刻对应的俯仰角预测值之间的相对大小,得到对第二时刻对应的俯仰角预测值进行修正的可能修正量,并基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系,确定针对第二时刻对应的俯仰角预测值的修正程度;利用针对第二时刻对应的俯仰角预测值的修正程度,调节可能修正量,得到实际修正量,基于该实际修正量完成对第二时刻对应的俯仰角预测值进行修正,使得所得到的第二时刻的俯仰角融合值更加准确地贴近第二时刻下的俯仰角真实值,提升准确性。
在一些实施方式中,得到第一时刻下的俯仰角融合值的偏差的步骤可以包括:分别将第一时刻对应的俯仰角观测值的偏差和第一时刻对应的俯仰角预测值的偏差,作为比的前项和后项,得到第一时刻对应的偏差比值;基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及第一时刻对应的偏差比值,确定针对第一时刻对应的俯仰角预测值的偏差的修正程度;按针对第一时刻对应的俯仰角预测值的偏差的修正程度,对第一时刻对应的俯仰角预测值的偏差进行修正,并将修正结果作为第一时刻对应的俯仰角融合值的偏差。
在第二时刻为t3k的情况下,第一时刻为t2k,对应地,t2k下的俯仰角观测值的偏差
为,t2k下的俯仰角预测值的偏差为。分别将t2k下的俯仰角观测值的偏差和t2k下的俯仰角预测值的偏差,作为比的前项和后项,得到t2k下的偏差
比值:。
基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及t2k
下的偏差比值,确定针对t2k下的俯仰角预测值的偏差的修正程度,也即,
t2k下的偏差比值越大,对t2k下的俯仰角预测值的偏差的修正程度越小。接
着,按针对t2k下的俯仰角预测值的偏差的修正程度,对t2k下的俯仰角预测值的偏
差进行修正,并将修正结果作为t2k下的俯仰角融合值的偏差
。具体来说,可以将作为针对t2k下的俯仰角预测值的偏差的修正程度,
其中,;接着,将与的乘积作为t2k下的俯仰角
融合值的偏差,也即。
上述方式中,分别将第一时刻对应的俯仰角观测值的偏差和第一时刻对应的俯仰角预测值的偏差,作为比的前项和后项,得到第一时刻对应的偏差比值;基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及第一时刻对应的偏差比值,按针对第一时刻对应的俯仰角预测值的偏差的修正程度,对第一时刻对应的俯仰角预测值的偏差进行修正,使得第一时刻对应的俯仰角融合值的偏差可以较为准确地反映第一时刻下的俯仰角融合值相对于俯仰角真实值的偏离程度,提高俯仰角的准确性。
在一些实施方式中,获取车道线在后帧车道线图像中的灭点的方式,可以包括如下步骤:确定各车道线在后帧车道线图像中的拟合线;确定后帧车道线图像上的多个候选点,并基于候选点各自沿同一方向至不同拟合线的距离,得到候选点各自的距离和;将多个候选点中距离和最小的候选点作为车道线在后帧车道线图像上的灭点。
以第二时刻为t3k为例介绍,对应地,后帧车道线图像是车载相机在t3k时采集到的图像。图4是车载相机拍摄到的车道线图像,该车道线图像包括车道线111和车道线112;接着,基于车道线图像检测算法,从后帧车道线图像中提取属于车道线111的像素采样点1111以及属于车道线112的像素采样点1121(如图5所示);接着,对像素采样点1111进行拟合,得到车道线111的拟合线,对像素采样点1121进行拟合,得到车道线112的拟合线。
其中,车道线图像检测算法可以基于深度学习技术实现。深度学习网络架构使用基础网络可以是shufflenetv2。其基本原理是首先在大量训练图像中标注车道线的采样点,然后将标注结果和原始图像输入到shufflenetv2网络中进行训练,训练完成后,shufflenetv2网络对于新的未标注的图像,也具备车道线检测能力。
shufflenetv2网络输出的检测结果包含两个部分,第一部分是采样点的坐标,第二部分是采样点的特征向量。采样点的特征向量的距离越近代表采样点属于同一根车道线的概率越大。根据特征向量之间的距离对采样点进行聚类就能得到分组的采样点,每组采样点都来自同一根车道线。
采用shufflenetv2的主要原因是其模型比较轻量,适合在车机平台上部署运行。检测车道线像素采样点,相较于像素分割面而言,可以提升聚类分组的效率。
车载相机拍摄得到的图像具有坐标系,该坐标系可以称为图像坐标系;如图4和图5所示,本实施例的图像坐标系是以图像左上角为原点,左上角指向右上角的方向为x轴(为与车身坐标系区分开,记为x2轴),左上角指向右下角的方向为y轴(为与车身坐标系区分开,记为y2轴)。
在确定车道线111和112在后帧车道线图像中的拟合线后,可以在后帧车道线图像中确定多个候选点1131、1132和1133;接着,可以确定每一候选点沿同一方向分别至车道线111的拟合线以及车道线112的拟合线的距离,得到每一候选点各自的距离和,例如候选点1131沿同一方向分别至车道线111的拟合线以及至车道线112的拟合线的距离分别为a和b,那么候选点1131的距离和为a+b;候选点1132也是按照上述同一方向分别至车道线111的拟合线以及至车道线112的拟合线的距离,并得到候选点1132的距离和;候选点1133也是按照上述同一方向分别至车道线111的拟合线以及至车道线112的拟合线的距离,并得到候选点1133的距离和。若候选点1132的距离和最小,则将候选点1132作为车道线在后帧车道线图像上的灭点。
其中,上述同一方向可以是沿x2轴的方向,也可以是沿y2轴的方向,还可以是沿与x2轴呈45°的方向。
车道线的拟合线可以用直线方程y=kix+bi表征;ki和bi分别代表直线在图像坐标系下的斜率和截距,i表征不同车道线。
在上述同一方向为沿y2轴方向时,且车道线的拟合线用上述直线方程表征时,若
作为灭点的候选点在图像坐标系的坐标为(vx,vy),作为灭点的候选点在多个候选段点中满
足如下方程:;也即,作为灭点的候选点沿y2轴方向至各
车道线的拟合线的距离和最小。方程可以通过拉格朗日
乘数法转化为线性方程求解。
上述方式中,在确定各车道线的拟合线后,基于候选点沿同一方向至不同拟合线的距离,得到候选点各自的距离,并将距离和最小的候选段作为灭点,提升灭点的准确性,提升俯仰角和偏航角的精度。
在一些实施方式中,获取基于车道线后帧车道线图像中的灭点得到的上述下一俯仰角观测值的偏差,具体包括如下步骤:确定各车道线在后帧车道线图像中的拟合线;将车道线图像中,俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向,得到灭点沿第一方向分别至各拟合线的距离;基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及灭点沿第一方向分别至各拟合线的距离,得到上述下一俯仰角观测值的偏差。
在车道线图像中,俯仰角变化引起灭点在车道线图像中的位置变化的方向,示例性说明为:当车载相机沿车身坐标系的y1轴发生旋转时,会引起车载相机的俯仰角发生变化,从而引起灭点在车道线图像中的位置沿y2轴变化,因此,车道线图像中的y2轴方向是车道线图像中俯仰角变化引起灭点在车道线图像中的位置变化的方向。
以图像坐标系中的y2轴为第一方向以及第二时刻为t3k进行介绍:
若灭点在t3k时刻采集的车道线图像中的坐标记为(vx,vy),那么灭点沿y2轴分别
至各车道线的拟合线的距离为,其中i表征不同的车道线。灭点沿y2轴
方向至拟合线的距离与俯仰角观测值的偏差之间具有正相关关系,也即灭点沿y2轴方
向至拟合线的距离越大,俯仰角观测值的偏差越大,因此,根据灭点沿y2轴至各车道线
拟合线的距离,可以得到灭点对应的距离平均值,并近似得到t3k下的俯仰角观测值的偏差。
上述方式中,沿车道线图像中俯仰角变化引起灭点在车道线图像中的位置变化的方向,灭点分别至各车道线的拟合线的距离与俯仰角观测值的偏差之间的正相关关系,得到上述下一俯仰角观测值的偏差,实现基于灭点对俯仰角观测值的偏差的近似计算。
在一些实施例中,上述基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及灭点沿第一方向分别至各拟合线的距离,得到上述下一俯仰角观测值的偏差,具体包括如下步骤:获取相机在垂直地面方向上的焦距;基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,以及灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及相机在垂直地面方向上的焦距,以及灭点沿第一方向分别至各拟合线的距离,得到上述下一俯仰角观测值的偏差。
设相机坐标系的x轴和y轴与成像平面平行,且以平行地面方向为x轴,以垂直地面
方向为y轴,那么,相机在平行地面方向上的焦距可以记为,相机在垂直地面方向上的焦
距可以记为。其中,车载相机在平行地面方向上的焦距发生变化,会引起灭点在车道线
图像中沿图4示出的x2轴方向的位置发生变化的方向;车载相机在垂直地面的方向上的焦
距发生变化,会引起灭点在车道线图像中沿图4示出的y2轴方向的位置发生变化的方向。
根据相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间负相关关
系,灭点沿y2轴方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及相
机在垂直地面方向上的焦距,以及灭点沿第一方向分别至各拟合线的距离的平均值,可
以近似得到t3k下的俯仰角观测值的偏差。
在一些实施例中,上述基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,以及灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及相机在垂直地面方向上的焦距,以及灭点沿第一方向分别至各拟合线的距离,得到上述下一俯仰角观测值的偏差,具体包括如下步骤:获取相机在垂直地面方向上的焦距对应的平方值,并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,将焦距对应的平方值作为比的后项;基于灭点沿第一方向分别至各拟合线的距离,得到各距离的平方值,对各距离的平方值进行平均,得到距离对应的平均值,并基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,将距离对应的平均值作为比的前项;基于比的前项和比的后项,得到上述下一俯仰角观测值的偏差。
记相机在垂直地面方向上的焦距为,则相机在垂直地面方向上的焦距对应的平
方值为。灭点在t3k时刻采集的车道线图像中的坐标记为(vx,vy),那么灭点沿y2轴分别至
各车道线的拟合线的距离为,各距离的平方值为,
各距离的平方值进行平均所得到的与距离对应的平均值为。
按照基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关
系,以及灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,分别
将和作为比的前项和后项,得到,该属于灭点的能量方差,可以直接作为俯仰角观测值的偏差,也即。
在一些实施例中,基于车道线在后帧车道线图像中的灭点,得到上述下一俯仰角观测值,具体包括如下步骤:将在图像坐标系中,车道线在后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第一坐标值;将在相机坐标系中相机的光心在垂直地面方向上的偏移量,作为第一偏移量;基于第一坐标值与第一偏移量之间的相对大小,以及相机在垂直地面方向上的焦距,得到上述下一俯仰角观测值。
设相机坐标系的x轴和y轴与成像平面平行,且以平行地面方向为x轴,以垂直地面
方向为y轴,那么,相机光心在平行地面方向上的偏移量可以记为,相机光心在垂直地面
方向上的偏移量可以记为。同时,将相机光心在垂直地面方向上的偏移量作为第一偏
移量。
同样地,图像坐标系x2-O2-y2中,俯仰角变化引起灭点在车道线图像中的位置发生变化的方向是y2轴,因此,将车道线在车道线图像中的灭点(vx,vy)在y2轴方向上的坐标值vy作为第一坐标值。
上述方式中,结合相机光心在垂直地面方向上的偏移量和灭点在y2轴方向上的坐标值间的相对大小,以及相机在垂直地面方向上的焦距,确定对应时刻的俯仰角观测值,提升俯仰角观测值的准确性。
在一些实施例中,上述基于第一坐标值与第一偏移量之间的相对大小,以及相机在垂直地面方向上的焦距,得到第二时刻对应的俯仰角观测值,具体包括如下步骤:将第一坐标值与第一偏移量的差值作为第一差值,得到第一差值与相机在垂直地面方向上的焦距之间的比值;对第一差值与相机在垂直地面方向上的焦距之间的比值进行反正切处理,得到上述下一俯仰角观测值。
计算机设备可以将第一坐标值与第一偏移量的差值作为第一差值,得到
第一差值与相机在垂直地面方向上的焦距之间的比值为;接着,对该比
值进行反正切处理,得到该比值的反正切值,并将该反正切值作为
上述下一俯仰角观测值,也即。
上述方式中,对第一坐标值与第一偏移量的差值,与相机在垂直地面方向上的焦距之间的比值进行反正切处理,得到上述下一俯仰角观测值,提升俯仰角观测值的准确性。
第二时刻下相机相对于车辆的偏航角观测值是通过如下步骤得到的:将在图
像坐标系中,车道线在后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的
位置变化的方向上的坐标值,作为第二坐标值;将在相机坐标系中相机的光心在平行地面
方向上的偏移量,作为第二偏移量;基于第二坐标值与第二偏移量之间的相对大小,以及相
机在平行地面方向上的焦距,得到第二时刻下相机相对于车辆的偏航角观测值。
在车道线图像中,偏航角变化引起灭点在车道线图像中的位置变化的方向,示例性说明为:当车载相机沿车身坐标系的x1轴旋转时,会引起车载相机的偏航角发生变化,从而引起灭点在车道线图像中的位置沿x2轴变化,因此,车道线图像中的x2轴方向是车道线图像中偏航角变化引起灭点在车道线图像中的位置变化的方向。
设灭点在第二时刻采集得到的后帧车道线图像中的坐标为(vx,vy),那么可以将灭
点在x2轴方向上的坐标值vx作为第二坐标值。将相机坐标系中相机光心在平行地面方向上
的偏移量作为第二偏移量。计算机设备获取第二坐标值与第二偏移量之间的相对大小,以及相机在平行地面方向上的焦距,得到第二时刻下相机相对于车辆的偏航角
观测值。
上述方式中,结合相机光心在平行地面方向上的偏移量和灭点在x2轴方向上的坐标值间的相对大小,以及相机在平行地面方向上的焦距,确定对应时刻的偏航角观测值,提升偏航角观测值的准确性。
在一些实施例中,上述基于第二坐标值与第二偏移量之间的相对大小,以及相机在平行地面方向上的焦距,得到第二时刻下相机相对于车辆的偏航角观测值,具体包括如下步骤:将第二坐标值与第二偏移量的差值作为第二差值,得到第二差值与相机在平行地面方向上的焦距之间的比值;对第二差值与相机在平行地面方向上的焦距之间的比值进行反正切处理,得到第二时刻下相机相对于车辆的偏航角观测值。
计算机设备可以将第二坐标值与第二偏移量的差值作为第二差值,得到
第二差值与相机在平行地面方向上的焦距之间的比值。接着,计算机设备
可以将该比值的反正切值作为第二时刻下相机相对于车辆的偏航角观测值,也即。
上述方式中,对第二坐标值与第二偏移量的差值,与相机在平行地面方向上的焦距之间的比值进行反正切处理,得到第二时刻对应的偏航角观测值,提升偏航角观测值的准确性。
在一些实施例中,第二时刻下相机相对于车辆的偏航角观测值的偏差是
通过如下步骤得到的:确定各车道线在后帧车道线图像中的拟合线;将车道线图像中,偏航
角变化引起灭点在车道线图像中的位置变化的方向作为第二方向,得到灭点沿第二方向分
别至各拟合线的距离;基于灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的
正相关关系,以及灭点沿第二方向分别至各拟合线的距离,得到第二时刻下相机相对于车
辆的偏航角观测值的偏差。
将车道线图像中偏航角变化引起灭点在车道线图像中的位置变化的方向作为第
二方向,也即将x2轴方向作为第二方向;若灭点在后帧车道线图像中的坐标为(vx,vy),且车
道线的拟合线通过直线方向y=kix+bi表征,那么得到灭点沿x2轴方向分别至各拟合线的距
离为,并得到灭点至各车道线的拟合线的距离的平均值;根据点沿
x2轴方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,得到第二时
刻下相机相对于车辆的偏航角观测值的偏差。
上述方式中,沿车道线图像中偏航角变化引起灭点在车道线图像中的位置变化的方向,灭点分别至各车道线的拟合线的距离与偏航角观测值的偏差之间的正相关关系,得到第二时刻下的偏航角观测值的偏差,实现基于灭点对偏航角观测值的偏差的近似计算。
在一些实施例中,上述基于灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及灭点沿第二方向分别至各拟合线的距离,得到第二时刻下相机相对于车辆的偏航角观测值的偏差,包括:获取相机在平行地面方向上的焦距;基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系,以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及相机在平行地面方向上的焦距,以及灭点沿第二方向分别至各拟合线的距离,得到第二时刻下相机相对于车辆的偏航角观测值的偏差。
计算机设备基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负
相关关系,以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关
系,结合相机在平行地面方向上的焦距,以及灭点沿x2轴方向分别至各拟合线的距离的平均值,得到第二时刻下相机相对于车辆的偏航角观测值的偏差。
在一些实施例中,上述基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系,以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及相机在平行地面方向上的焦距,以及灭点沿第二方向分别至各拟合线的距离,得到第二时刻下相机相对于车辆的偏航角观测值的偏差,具体包括如下步骤:获取相机在平行地面方向上的焦距对应的平方值,并基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系,将焦距对应的平方值作为比的后项;基于灭点沿第二方向分别至各拟合线的距离,得到各距离的平方值,对各距离的平方值进行平均,得到距离对应的平均值,并基于灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,将距离对应的平均值作为比的前项;基于比的前项和比的后项,得到第二时刻对应的偏航角观测值的偏差。
记相机在平行地面方向上的焦距为,则相机在平行地面方向上的焦距对应的平
方值为。灭点在t3k时刻采集的车道线图像中的坐标记为(vx,vy),那么灭点沿x2轴分别至
各车道线的拟合线的距离为,各距离的平方值为,各距离的平方
值进行平均所得到的与距离对应的平均值为。
按照基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关
系,以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,分别
将和作为比的前项和后项,得到,该
属于灭点的能量方差,可以直接作为偏航角观测值的偏差,也即。
在一些实施例中,第二时刻对应的外参包括:第二时刻下相机相对于车辆所处的
地面的高度,相机相对于车辆所处的高度可以记为。第二时刻下相机相对于车辆相对于
车辆所处的地面的高度是通过如下步骤得到的:基于第二时刻之前得到的相机外参和相机
内参,通过逆透视投影变换,将后帧车道线图像中的车道线从图像坐标系投影至车身坐标
系;基于投影至车身坐标系的车道线间的距离与相机相对于车辆所处的地面的高度成正相
关关系,得到相机相对于车辆所处的地面的高度。
其中,车道线间的距离可以称为车道宽度,单车道宽度,也即左右车道线之间的距离一般为3.5米至3.75米之间,统计均值为3.6米。
计算机设备基于第二时刻之前得到的相机外参和相机内参,通过逆透视投影变换
IPM,将后帧车道线图像中的车道线从图像坐标系投影至车身坐标系中,基于投影至车身坐
标系的车道线间的距离与相机相对于车辆所处的地面的高度成正相关关系,得到相机相对
于车辆所处的地面的高度;相机高度的求解公式如下:
另外,若在第一时刻或第二时刻等输出俯仰角融合值的时刻输出相机高度,则可
以将公式中通过灭点法计算得到的俯仰角观测值替换为当前时刻得到的俯仰角
融合值;示例性地,由于在t2k会得到俯仰角融合值,因此,可以将公式
中的俯仰角观测值替换为俯仰角融合值,得到t2k时刻的相机高度,实现
相机高度的更新。
上述方式中,利用车道宽度与相机高度成正相关的关系,求解相机高度,提升相机高度的准确性。
在一些实施例中,在晚于第二时刻且早于第二时刻的第三时刻的情况下,由于车载相机在第三时刻未采集车道线图像,因此,可以将运动积分得到的俯仰角预测值作为第三时刻的相机外参并输出,具体包括如下步骤:确定晚于第一时刻且早于第二时刻的第三时刻;根据从第一时刻至第三时刻采集到的俯仰角速度,对第一时刻对应的俯仰角融合值进行运动积分处理,得到第三时刻对应的俯仰角预测值,以及根据从第一时刻至第三时刻采集到的俯仰角速度各自的偏差,对第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到第三时刻对应的俯仰角预测值的偏差;基于第三时刻对应的俯仰角预测值以及第三时刻对应的俯仰角预测值的偏差,输出第三时刻对应的相机外参。
以第三时刻为t3k-1为例介绍,对应地,第一时刻为t2k:惯性传感器从t2k至t3k-1采集
到的俯仰角速度为ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)。以t2k下的俯仰角融合值
为基础,根据惯性传感器从t2k至t3k-1采集到的俯仰角速度,进行俯仰角积分,得到t3k-1下的
俯仰角预测值,也即:
另外,由于相机的偏航角和高度受道路颠簸或急刹车的影响较小,在实际应用中
无需高频更新,因此,计算机设备可以将在t2k时刻通过灭点得到的偏航角观测值作为
t3k-1下的相机外参进行输出,以及将t2k时刻得到的相机高度作为t3k-1下的相机外参进行
输出。
上述方式中,在无基于灭点输出的俯仰角观测值的情况下,直接将俯仰角积分结果作为当前时刻的相机外参进行输出,实现相机外参的高频输出。
本申请提供一种相机外参的生成方法,主要包括俯仰角的生成步骤、偏航角的生成步骤和相机高度的生成步骤。
以下结合图6至图7介绍俯仰角的生成步骤:
步骤S1,确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻,以及确定基于车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻;
其中,车道线图像是设置于车辆上的相机采集的包括车道线的图像;其中,所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值;
步骤S2,确定车道线在后帧车道线图像的拟合线和灭点,具体包括:
步骤S21,确定各车道线在后帧车道线图像中的拟合线;
步骤S22,确定后帧车道线图像上的多个候选点,并基于候选点各自沿同一方向至不同拟合线的距离,得到候选点各自的距离和;
步骤S23,将多个候选点中距离和最小的候选点作为车道线在后帧车道线图像上的灭点;
步骤S3,确定上述下一俯仰角观测值,具体包括:
步骤S31,将在图像坐标系中,车道线在后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第一坐标值;
步骤S32,将在相机坐标系中相机的光心在垂直地面方向上的偏移量,作为第一偏移量;
步骤S33,将第一坐标值与第一偏移量的差值作为第一差值,得到第一差值与相机在垂直地面方向上的焦距之间的比值;
步骤S34,对第一差值与相机在垂直地面方向上的焦距之间的比值进行反正切处理,得到上述下一俯仰角观测值;
步骤S4,确定上述下一俯仰角观测值的偏差,具体包括:
步骤S41,将车道线图像中,俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向,得到灭点沿第一方向分别至各拟合线的距离;
步骤S42,获取相机在垂直地面方向上的焦距对应的平方值,并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,将焦距对应的平方值作为比的后项;
步骤S43,基于灭点沿第一方向分别至各拟合线的距离,得到各距离的平方值,对各距离的平方值进行平均,得到距离对应的平均值,并基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,将距离对应的平均值作为比的前项;
步骤S44,基于比的前项和比的后项,得到上述下一俯仰角观测值的偏差;
步骤S5,确定第二时刻下的俯仰角预测值和第二时刻下的俯仰角预测值的偏差,具体包括:
步骤S51,获取从第一时刻起至第二时刻,位于车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差;
步骤S52,根据从第一时刻至第二时刻采集到的俯仰角速度,对第一时刻下的俯仰角融合值进行运动积分处理,得到第二时刻下的俯仰角预测值;
步骤S53,根据从第一时刻至第二时刻采集到的俯仰角速度各自的偏差,对第一时刻下的俯仰角融合值的偏差进行运动积分处理,得到第二时刻下的俯仰角预测值的偏差;
其中,第一时刻下的俯仰角融合值的偏差是通过如下步骤得到的:分别将第一时刻下的俯仰角观测值的偏差和第一时刻下的俯仰角预测值的偏差,作为比的前项和后项,得到第一时刻下的偏差比值;基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及第一时刻下的偏差比值,确定针对第一时刻下的俯仰角预测值的偏差的修正程度;按针对第一时刻下的俯仰角预测值的偏差的修正程度,对第一时刻下的俯仰角预测值的偏差进行修正,并将修正结果作为第一时刻下的俯仰角融合值的偏差。
步骤S6,融合上述下一俯仰角观测值和第二时刻下的俯仰角预测值,得到第二时刻下的俯仰角融合值,具体包括:
步骤S61,基于上述下一俯仰角观测值与第二时刻下的俯仰角预测值之间的相对大小,得到对第二时刻下的俯仰角预测值进行修正的可能修正量;
步骤S62,基于上述下一俯仰角观测值的偏差和第二时刻下的俯仰角预测值的偏差,得到第二时刻下的偏差比值;
步骤S63,基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系,确定针对第二时刻下的俯仰角预测值的修正程度;
步骤S64,利用针对第二时刻下的俯仰角预测值的修正程度,调节可能修正量,得到实际修正量;
步骤S65,按实际修正量,对第二时刻下的俯仰角预测值进行修正,并将修正结果作为第二时刻下的俯仰角融合值。
以下介绍偏航角的生成步骤:
步骤S71,将在图像坐标系中,车道线在后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第二坐标值;
步骤S72,将在相机坐标系中相机的光心在平行地面方向上的偏移量,作为第二偏移量;
步骤S73,将第二坐标值与第二偏移量的差值作为第二差值,得到第二差值与相机在平行地面方向上的焦距之间的比值;
步骤S74,对第二差值与相机在平行地面方向上的焦距之间的比值进行反正切处理,得到第二时刻下相机相对于车辆的偏航角观测值。
以下介绍相机高度的生成步骤:
步骤S81,基于第二时刻之前得到的相机外参和相机内参,通过逆透视投影变换,将后帧车道线图像中的车道线从图像坐标系投影至车身坐标系;
步骤S82,基于投影至车身坐标系的车道线间的距离与相机相对于车辆所处的地面的高度成正相关关系,得到相机相对于车辆所处的地面的高度。
计算机设备将第二时刻下的俯仰角融合值、偏航角观测值和相机高度作为第二时刻对应的相机外参进行输出。
针对晚于第一时刻且早于第二时刻的第三时刻的相机外参:
计算机设备可以通过如下步骤输出第三时刻的俯仰角:根据从第一时刻至第三时刻采集到的俯仰角速度,对第一时刻对应的俯仰角融合值进行运动积分处理,得到第三时刻对应的俯仰角预测值,并作为第三时刻的相机外参进行输出。
计算机设备可以将第一时刻得到的偏航角观测值作为第三时刻的偏航角进行输出,将第一时刻得到的相机高度作为第三时刻的相机高度进行输出。
上述提供的相机外参标定方案能够自动化地标定车载相机相对车身的俯仰角、偏航角和相机高度,这三个参数在AR车辆导航定位、众包地图数据生产、ADAS、以及自动驾驶等实际应用场景中是较为重要的相机外参,对这个三个参数的进行动态实时的标定能够极大提升相关应用的数据精度和体验效果。
为了更好地理解上述方法,以下详细阐述一个本申请相机外参的生成方法的应用实例。本应用实例的惯性传感器为IMU,通过融合车道线图像的检测结果和IMU信息,实现车载相机的外参标定,主要包括:
(1)利用车道线图像中多条车道线检测结果,根据车道线的平行性和车道宽度估计车载相机相对车身的外参;
(2)利用IMU信息,通过运动积分计算车载相机外参在连续两帧图像之间的变化量;
(3)利用车道线图像车道检测结果估计的外参和IMU信息计算的外参变化量,通过卡尔曼滤波融合输出实时外参结果。
本应用实例可以应用于地图中AR车辆定位导航以及基于众包设备的地图数据生产。对于AR车辆定位导航,本应用实例的算法包一般运行在车机平台上;对于基于众包设备的地图数据生产,本应用实例的算法包也可以运行在云端,但图像(或车道线检测结果)和IMU信息也需要同步发送到云端。
本应用实例,主要包括以下三个模块:
一、车道线图像检测模块:
从车载相机拍摄的车道线图像中检测车道线是本应用实例的二维基础模块。该模块的输入对象是单帧车道线图像,输出的是车道线的像素采样点,且根据像素采样点是否属于同一根车道线进行分组。车载相机一般水平朝前安装在前挡风玻璃中间偏上位置。考虑到图像水平视野有限,一般只要求检测以车辆中心的左/中/右三条车道内的四条车道线。
二、基于车道线检测结果的相机外参估计模块:
根据车道线检测结果估计相机外参是本应用实例的三维基础模块。该模块的输入
对象是已经分好组的车道线的像素采样点,输出相机相对车身坐标系的高度,俯仰角观
测值和偏航角观测值。车身坐标系的原点设定在两个后轮接地点的连线的中心
点,即位于后轮轴中心点的正下方。车身坐标系的x轴正方向朝前,y轴的正方向朝着车辆前
进方向的左侧,z轴的正方向垂直地面向上,翻滚角Roll,俯仰角Pitch,偏航角Yaw分别沿x,
y,z轴的旋转。因为水平偏移(Tx, Ty)和翻滚角(Roll)的精度于对于车载相机外参的应用
一般不敏感,所以水平偏移可以通过标尺测量得到(5cm误差范围以内),翻滚角由车厂安装
保证为0度(1度误差范围内)。
三、融合IMU信息的相机外参实时更新模块:
融合IMU信息的相机外参实时更新是本应用实例的核心效果模块。其输入包括两部分,一部分是基于车道线检测结果估计的相机外参,即前一模块的输出,另一部分是IMU信息,即加速度和旋转角速度。其输出的是融合了两部分输入后实时计算的相机外参。IMU一般附着安装在相机的固定支架上。车载相机采集图像并完成车道线检测的频率一般较低,例如1Hz。如果只依赖车道线检测结果,相机外参输出频率只能达到1Hz,且在车道线检测缺失的情况下不能更新外参输出。IMU的输出频率通常高达50~100Hz,融合IMU信息后,外参的输出可达到相同频率(实时更新一般要求30Hz以上),且在车道线缺失或者漏检的情况下能够维持外参更新输出。
以下具体介绍上述三个模块:
一、车道线图像检测模块:
车道线图像检测采用的是深度学习技术。深度学习网络架构使用基础网络是shufflenetv2。其基本原理是首先在大量训练图像中标注车道线的像素采样点,然后将标注结果和原始图像输入到shufflenetv2网络中进行训练,训练完成后的网络,对于新的未标注的图像,也具备检测能力。
网络输出的检测结果包含两个部分,第一部分是像素采样点的坐标,第二部分是像素采样点的特征向量。特征向量的距离越近代表像素采样点属于同一根车道线的概率越大。根据特征向量之间的距离对像素采样点进行聚类就能得到分组的采样点,每组像素采样点都来自同一根车道线。
采用shufflenetv2的主要原因是其模型比较轻量,适合在车机平台上部署运行。检测车道线像素采样点而不是像素分割面则是为了提升聚类分组的效率。
二、基于车道线检测结果的相机外参估计
通过车道线图像检测结果估计相机外参主要基于两个假设。第一个是车道线在三维空间的平行性,第二个是车道线到图像的投影满足透视变换关系。第一个假设在统计意义上是成立的,除了少量的分叉道路场景;第二个假设则要求图像经过去畸变。相机的畸变系数在车辆出厂前一般已经标定,根据畸变系数就能对图像去畸变。为了提高效率,本应用实例直接对检测到的车道线的像素采样点做去畸变而不对全图做去畸变。
(1)直线拟合与筛选:对每组经过去畸变车道线像素采样点进行直线拟合,得到用于表征车道线的拟合线的直线方程y=kix+bi;ki和bi分别代表直线在图像坐标系下的斜率和截距,i表示不同的车道线;其中图像坐标系是以图像左上角为原点,向右为x轴正方向,向下为y轴正方向,图像宽度w,高度h(单位:像素)。每条拟合线与图像下边界的交点的横坐标为xi=(bi-h)/ki,从多条拟合线中筛选出与图像下边界的交点最靠近图像中心线x=w/2左右两边各2条拟合线(根据道路情况,总共最多4条,最少需要2条)。
(2)基于车道线在图像中的灭点计算俯仰角观测值和偏航角观测值:
如图5所示,车道线111的拟合线和车道线112的拟合线条在车道线图像上汇聚于一点,即灭
点(vx,vy)。灭点(vx,vy)可以采用最小二乘法计算,最小化能量式为:
其中,和分别是相机在x轴、y轴方向上的焦距,和分别是相机在x轴、y轴
方向上的中心点偏移量;、、和均是车辆出厂前预先标定好的相机内参。俯仰角观
测值的偏差和偏航角观测值的偏差与灭点的能量方差成正相关,本应用
实例所采用的近似计算公式为:
(3)计算相机高度:若已知相机内参和相机外参,可以通过IPM将车道线从图像
坐标系投影变换到车身坐标系。投影到车身坐标系后,车道线之间的距离(即车道宽度)与
相机的高度成正比。利用这一特性,相机的高度可以利用车道宽度来求解。单车道的宽度,
即左右两条车道线之间的距离一般为3.5~3.75米,统计均值3.6米。相机高度的求解公式
如下, 。
三、融合IMU信息的相机外参实时更新模块:
IMU信息包括旋转角速度和加速度以及它们的测量方差(也即偏差)。本应用实例
主要使用旋转角速度(ωx,ωy,ωz)中的俯仰角速度ωy及其测量方差(也可以称为偏差),对高频的俯仰角速度进行运动积分可以实时更新相机的俯仰角Pitch。
设基于车载相机采集的车道线图像中的车道线灭点,每隔0.01×k秒输出一个俯
仰角观测值,IMU每隔0.01秒采集一次俯仰角速度。若t0时刻为初始时刻,t0时刻下没有俯仰
角融合值,此时可以以t0时刻下通过灭点法计算得到的俯仰角观测值为基础,进
行俯仰角积分,得到tk时刻下的俯仰角预测值,所用的俯仰角积分公式为(可以理解的是,
在t0时刻至tk时刻之间的任一时刻的俯仰角预测值都可以利用如下公式确定):
同样地,t0时刻下没有俯仰角融合值的偏差,此时可以以俯仰角观测值
的偏差为基础,进行偏差积分,得到tk时刻下的俯仰角预测值的偏差,所用的偏差积
分公式为(可以理解的是,在t0时刻至tk时刻之间的任一时刻的俯仰角预测值的偏差都可以
利用如下公式确定):
在tk时刻下,车载相机再次采集车道线图像,此时通过灭点法计算得到的俯仰角
观测值为,该俯仰角观测值的偏差为;由于tk时刻下基于俯仰角积分得
到的俯仰角预测值为,该俯仰角预测值的偏差为,此时可以通过卡尔曼
滤波将tk时刻下的俯仰角观测值和tk时刻下的俯仰角预测值进行融合,得到tk时刻下的俯
仰角融合值,并且将tk时刻下的俯仰角观测值的偏差和tk时刻下的俯仰角预测
值的偏差进行融合,得到俯仰角融合值的偏差,计算公式如下:
当n为大于等于2的整数时,计算机设备可以输出t(n-1)k时刻下的俯仰角融合值,因此得到tnk时刻下的俯仰角预测值所用的俯仰角积分的公式为(可以理解的是,在t(n-1)k时刻至tnk时刻之间的任一时刻的俯仰角预测值都可以利用如下公式确定):
得到tnk时刻下的俯仰角预测值的偏差,所用的偏差积分的公式为(可以理解的是,在t(n-1)k时刻至tnk时刻之间的任一时刻的俯仰角预测值的偏差都可以利用如下公式确定):
由于相机的偏航角和相机高度受道路颠簸或者急刹车的影响较小,实际应用中一
般不需要高频更新。偏航角可以直接采用灭点法进行更新即可,相机高度则可将其计算公
式中的灭点法计算的替换为卡尔曼滤波融合后的。当俯仰角通过运动积分进
行高频更新输出时,偏航角和相机高度可以同步输出上次灭点法计算的结果,最终实现整
体的高频外参输出。
本应用实例提供的车载相机外参标定方案能够自动化地标定车载相机相对车身的俯仰角、偏航角和相机高度,这三个参数在AR车辆导航定位、众包地图数据生产、ADAS、以及自动驾驶等实际应用场景中是较为重要的相机外参,对这个三个参数的进行动态实时的标定能够极大提升相关应用的数据精度和体验效果。
图8展示的是俯仰角最终的卡尔曼滤波融合效果,其中是低频的灭点法计算
的俯仰角观测值,ωy是高频的俯仰角速度,是高频的俯仰角融合值。如图8所示,灭点
法输出的不但频率较低,而且间隔不均匀,这是某些情况下灭点计算失败导致的,例
如车道线缺失,车道线漏检或者图像漏传;IMU输出的俯仰角速度ωy频率很高,但是存在一
些不连续的跳点,这是车身遭遇颠簸或者急刹车等情况导致的;最终融合输出的俯仰角不仅频率高,而且光滑连续,克服了和ωy数据中存在问题。
本应用实例中的图像车道线检测模块,还可以利用LaneNet等深度学习方案、或者Hough变换方案实现。本应用实例的灭点法计算俯仰角观测值和偏航角观测值还可以根据先对拟合线两两求交,求出多个灭点,然后解算出多组俯仰角观测值和偏航角观测值进行平均得到。本应用实例的卡尔曼滤波融合可以替换为无迹卡尔曼滤波、粒子滤波等。
本应用实例提出了一种新的标定车载相机外参的方案。该方案是一种自标定方案,没有场地限制和额外的人力设备成本。其次,该方案提取图像中的车道线作为语义特征,对比常规SLAM算法提取图像点特征,车道线特征更加稳定,不容易受道路外部环境影响。最后,该方案通过卡尔曼滤波融合了IMU信息,不但克服了部分路段车道线磨损或缺失的问题,而且能够输出动态的实时外参,适配了道路颠簸或者急刹车等引起外参变化的情况。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种相机外参的生成装置,包括:
时刻确定模块901,用于确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻,以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻;车道线图像是设置于车辆上的相机采集的包括车道线的图像;所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值;
角速度和角速度偏差的获取模块902,用于获取从所述第一时刻起至所述第二时刻,位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差;
运动积分模块903,用于根据从所述第一时刻至所述第二时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第二时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第二时刻对应的俯仰角预测值的偏差;
俯仰角观测值的偏差获取模块904,用于获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差;
融合模块905,用于根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差,对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后,得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
在一些实施例中,俯仰角观测值的偏差获取模块904,还用于确定各车道线在所述后帧车道线图像中的拟合线;将车道线图像中,俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向,得到所述灭点沿所述第一方向分别至各拟合线的距离;基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述灭点沿所述第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差。
在一些实施例中,俯仰角观测值的偏差获取模块904,还用于获取所述相机在垂直地面方向上的焦距;基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述相机在垂直地面方向上的焦距,以及所述灭点沿第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差。
在一些实施例中,俯仰角观测值的偏差获取模块904,还用于获取所述相机在垂直地面方向上的焦距对应的平方值,并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,将焦距对应的平方值作为比的后项;基于所述灭点沿所述第一方向分别至各拟合线的距离,得到各距离的平方值,对各距离的平方值进行平均,得到距离对应的平均值,并基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,将距离对应的平均值作为比的前项;基于所述比的前项和所述比的后项,得到所述下一俯仰角观测值的偏差。
在一些实施例中,所述装置还包括俯仰角观测值获取模块,用于将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第一坐标值;将在相机坐标系中所述相机的光心在垂直地面方向上的偏移量,作为第一偏移量;基于所述第一坐标值与所述第一偏移量之间的相对大小,以及所述相机在垂直地面方向上的焦距,得到所述下一俯仰角观测值。
在一些实施例中,俯仰角观测值获取模块,还用于将所述第一坐标值与所述第一偏移量的差值作为第一差值,得到所述第一差值与所述相机在垂直地面方向上的焦距之间的比值;对所述第一差值与所述相机在垂直地面方向上的焦距之间的比值进行反正切处理,得到所述下一俯仰角观测值。
在一些实施例中,所述第二时刻对应的外参包括:所述第二时刻下所述相机相对于车辆的偏航角观测值;
所述装置还包括偏航角观测值获取模块,用于将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第二坐标值;将在相机坐标系中所述相机的光心在平行地面方向上的偏移量,作为第二偏移量;基于所述第二坐标值与所述第二偏移量之间的相对大小,以及所述相机在平行地面方向上的焦距,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中,所述偏航角观测值获取模块,还用于将所述第二坐标值与所述第二偏移量的差值作为第二差值,得到所述第二差值与所述相机在平行地面方向上的焦距之间的比值;对所述第二差值与所述相机在平行地面方向上的焦距之间的比值进行反正切处理,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中,所述装置还包括偏航角观测值的偏差获取模块,用于确定各车道线在所述后帧车道线图像中的拟合线;将车道线图像中,偏航角变化引起灭点在车道线图像中的位置变化的方向作为第二方向,得到所述灭点沿所述第二方向分别至各拟合线的距离;基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中,偏航角观测值的偏差获取模块,还用于获取所述相机在平行地面方向上的焦距;基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系,以及灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述相机在平行地面方向上的焦距,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中,所述第二时刻对应的外参包括:所述第二时刻下所述相机相对于所述车辆所处的地面的高度;
所述装置还包括相机高度获取模块,用于基于所述第二时刻之前得到的相机外参和相机内参,通过逆透视投影变换,将所述后帧车道线图像中的车道线从图像坐标系投影至车身坐标系;基于投影至所述车身坐标系的车道线间的距离与相机相对于所述车辆所处的地面的高度成正相关关系,得到所述相机相对于所述车辆所处的地面的高度。
在一些实施例中,所述装置还包括俯仰角融合值的偏差获取模块,用于分别将所述第一时刻对应的俯仰角观测值的偏差和所述第一时刻对应的俯仰角预测值的偏差,作为比的前项和后项,得到所述第一时刻对应的偏差比值;基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及所述第一时刻对应的偏差比值,确定针对所述第一时刻对应的俯仰角预测值的偏差的修正程度;按针对所述第一时刻对应的俯仰角预测值的偏差的修正程度,对所述第一时刻对应的俯仰角预测值的偏差进行修正,并将修正结果作为所述第一时刻对应的俯仰角融合值的偏差。
在一些实施例中,融合模块905,还用于基于所述第二时刻对应的俯仰角观测值与所述第二时刻对应的俯仰角预测值之间的相对大小,得到对所述第二时刻对应的俯仰角预测值进行修正的可能修正量;基于所述第二时刻对应的俯仰角观测值的偏差和所述第二时刻对应的俯仰角预测值的偏差,得到所述第二时刻对应的偏差比值;基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系,确定针对所述第二时刻对应的俯仰角预测值的修正程度;利用针对所述第二时刻对应的俯仰角预测值的修正程度,调节所述可能修正量,得到实际修正量;按所述实际修正量,对所述第二时刻对应的俯仰角预测值进行修正,并将修正结果作为所述第二时刻对应的俯仰角融合值。
在一些实施例中,所述装置还包括灭点获取模块,用于确定各车道线在所述后帧车道线图像中的拟合线;确定所述后帧车道线图像上的多个候选点,并基于候选点各自沿同一方向至不同拟合线的距离,得到候选点各自的距离和;将所述多个候选点中距离和最小的候选点作为车道线在所述后帧车道线图像上的灭点。
在一些实施例中,所述装置还包括低频时段的相机外参输出模块,用于确定晚于所述第一时刻且早于所述第二时刻的第三时刻;根据从所述第一时刻至所述第三时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第三时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第三时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第三时刻对应的俯仰角预测值的偏差;基于所述第三时刻对应的俯仰角预测值以及所述第三时刻对应的俯仰角预测值的偏差,输出所述第三时刻对应的相机外参。
关于相机外参的生成装置的具体限定可以参见上文中对于相机外参的生成方法的限定,在此不再赘述。上述相机外参的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相机外参的生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种相机外参的生成方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,其上存储有计算机程序,所述计算机程序被处理器执行上述各个方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上的实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (30)
1.一种相机外参的生成方法,其特征在于,所述方法包括:
确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻,以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻;车道线图像是设置于车辆上的相机采集的包括车道线的图像;所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值;
获取从所述第一时刻起至所述第二时刻,位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差;
根据从所述第一时刻至所述第二时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第二时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第二时刻对应的俯仰角预测值的偏差;所述第一时刻对应的俯仰角融合值是根据所述第一时刻对应的俯仰角观测值和所述第一时刻对应的俯仰角预测值融合得到的;
针对各车道线在所述后帧车道线图像中的拟合线,将车道线图像中俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向,得到所述灭点沿所述第一方向分别至各拟合线的距离;
基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述灭点沿所述第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差;
根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差,对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后,得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
2.根据权利要求1所述的方法,其特征在于,所述基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述灭点沿所述第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差,包括:
获取所述相机在垂直地面方向上的焦距;
基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述相机在垂直地面方向上的焦距,以及所述灭点沿第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差。
3.根据权利要求2所述的方法,其特征在于,所述基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述相机在垂直地面方向上的焦距,以及所述灭点沿第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差,包括:
获取所述相机在垂直地面方向上的焦距对应的平方值,并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,将焦距对应的平方值作为比的后项;
基于所述灭点沿所述第一方向分别至各拟合线的距离,得到各距离的平方值,对各距离的平方值进行平均,得到距离对应的平均值,并基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,将距离对应的平均值作为比的前项;
基于所述比的前项和所述比的后项,得到所述下一俯仰角观测值的偏差。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第一坐标值;
将在相机坐标系中所述相机的光心在垂直地面方向上的偏移量,作为第一偏移量;
基于所述第一坐标值与所述第一偏移量之间的相对大小,以及所述相机在垂直地面方向上的焦距,得到所述下一俯仰角观测值。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一坐标值与所述第一偏移量之间的相对大小,以及所述相机在垂直地面方向上的焦距,得到所述下一俯仰角观测值,包括:
将所述第一坐标值与所述第一偏移量的差值作为第一差值,得到所述第一差值与所述相机在垂直地面方向上的焦距之间的比值;
对所述第一差值与所述相机在垂直地面方向上的焦距之间的比值进行反正切处理,得到所述下一俯仰角观测值。
6.根据权利要求1所述的方法,其特征在于,所述第二时刻对应的相机外参还包括:所述第二时刻下所述相机相对于车辆的偏航角观测值;
所述方法还包括:
将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第二坐标值;
将在相机坐标系中所述相机的光心在平行地面方向上的偏移量,作为第二偏移量;
基于所述第二坐标值与所述第二偏移量之间的相对大小,以及所述相机在平行地面方向上的焦距,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第二坐标值与所述第二偏移量之间的相对大小,以及所述相机在平行地面方向上的焦距,得到所述第二时刻下所述相机相对于车辆的偏航角观测值,包括:
将所述第二坐标值与所述第二偏移量的差值作为第二差值,得到所述第二差值与所述相机在平行地面方向上的焦距之间的比值;
对所述第二差值与所述相机在平行地面方向上的焦距之间的比值进行反正切处理,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定各车道线在所述后帧车道线图像中的拟合线;
将车道线图像中,偏航角变化引起灭点在车道线图像中的位置变化的方向作为第二方向,得到所述灭点沿所述第二方向分别至各拟合线的距离;
基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
9.根据权利要求8所述的方法,其特征在于,所述基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差,包括:
获取所述相机在平行地面方向上的焦距;
基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系,以及灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述相机在平行地面方向上的焦距,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
10.根据权利要求1所述的方法,其特征在于,所述第二时刻对应的相机外参还包括:所述第二时刻下所述相机相对于所述车辆所处的地面的高度;
所述方法还包括:
基于所述第二时刻之前得到的相机外参和相机内参,通过逆透视投影变换,将所述后帧车道线图像中的车道线从图像坐标系投影至车身坐标系;
基于投影至所述车身坐标系的车道线间的距离与相机相对于所述车辆所处的地面的高度成正相关关系,得到所述相机相对于所述车辆所处的地面的高度。
11.根据权利要求1所述的方法,其特征在于,在所述根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第二时刻对应的俯仰角预测值的偏差之前,所述方法还包括:
分别将所述第一时刻对应的俯仰角观测值的偏差和所述第一时刻对应的俯仰角预测值的偏差,作为比的前项和后项,得到所述第一时刻对应的偏差比值;
基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及所述第一时刻对应的偏差比值,确定针对所述第一时刻对应的俯仰角预测值的偏差的修正程度;
按针对所述第一时刻对应的俯仰角预测值的偏差的修正程度,对所述第一时刻对应的俯仰角预测值的偏差进行修正,并将修正结果作为所述第一时刻对应的俯仰角融合值的偏差。
12.根据权利要求1所述的方法,其特征在于,根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差,对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后,得到所述第二时刻对应的俯仰角融合值,包括:
基于所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值之间的相对大小,得到对所述第二时刻对应的俯仰角预测值进行修正的可能修正量;
基于所述下一俯仰角观测值的偏差和所述第二时刻对应的俯仰角预测值的偏差,得到所述第二时刻对应的偏差比值;
基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系,确定针对所述第二时刻对应的俯仰角预测值的修正程度;
利用针对所述第二时刻对应的俯仰角预测值的修正程度,调节所述可能修正量,得到实际修正量;
按所述实际修正量,对所述第二时刻对应的俯仰角预测值进行修正,并将修正结果作为所述第二时刻对应的俯仰角融合值。
13.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定各车道线在所述后帧车道线图像中的拟合线;
确定所述后帧车道线图像上的多个候选点,并基于候选点各自沿同一方向至不同拟合线的距离,得到候选点各自的距离和;
将所述多个候选点中距离和最小的候选点作为车道线在所述后帧车道线图像上的灭点。
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定晚于所述第一时刻且早于所述第二时刻的第三时刻;
根据从所述第一时刻至所述第三时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第三时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第三时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第三时刻对应的俯仰角预测值的偏差;
基于所述第三时刻对应的俯仰角预测值以及所述第三时刻对应的俯仰角预测值的偏差,输出所述第三时刻对应的相机外参。
15.一种相机外参的生成装置,其特征在于,所述装置包括:
时刻确定模块,用于确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻,以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻;车道线图像是设置于车辆上的相机采集的包括车道线的图像;其中,所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值;
角速度和角速度偏差的获取模块,用于获取从所述第一时刻起至所述第二时刻,位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差;
运动积分模块,用于根据从所述第一时刻至所述第二时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第二时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第二时刻对应的俯仰角预测值的偏差;所述第一时刻对应的俯仰角融合值是根据所述第一时刻对应的俯仰角观测值和所述第一时刻对应的俯仰角预测值融合得到的;
俯仰角观测值的偏差获取模块,用于针对各车道线在所述后帧车道线图像中的拟合线,将车道线图像中俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向,得到所述灭点沿所述第一方向分别至各拟合线的距离;基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述灭点沿所述第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差;
融合模块,用于根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差,对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后,得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
16.根据权利要求15所述的装置,其特征在于,俯仰角观测值的偏差获取模块,还用于获取所述相机在垂直地面方向上的焦距;基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,以及所述相机在垂直地面方向上的焦距,以及所述灭点沿第一方向分别至各拟合线的距离,得到所述下一俯仰角观测值的偏差。
17.根据权利要求16所述的装置,其特征在于,俯仰角观测值的偏差获取模块,还用于获取所述相机在垂直地面方向上的焦距对应的平方值,并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系,将焦距对应的平方值作为比的后项;基于所述灭点沿所述第一方向分别至各拟合线的距离,得到各距离的平方值,对各距离的平方值进行平均,得到距离对应的平均值,并基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系,将距离对应的平均值作为比的前项;基于所述比的前项和所述比的后项,得到所述下一俯仰角观测值的偏差。
18.根据权利要求15所述的装置,其特征在于,所述装置还包括俯仰角观测值获取模块,用于将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第一坐标值;将在相机坐标系中所述相机的光心在垂直地面方向上的偏移量,作为第一偏移量;基于所述第一坐标值与所述第一偏移量之间的相对大小,以及所述相机在垂直地面方向上的焦距,得到所述下一俯仰角观测值。
19.根据权利要求18所述的装置,其特征在于,俯仰角观测值获取模块,还用于将所述第一坐标值与所述第一偏移量的差值作为第一差值,得到所述第一差值与所述相机在垂直地面方向上的焦距之间的比值;对所述第一差值与所述相机在垂直地面方向上的焦距之间的比值进行反正切处理,得到所述下一俯仰角观测值。
20.根据权利要求15所述的装置,其特征在于,所述第二时刻对应的相机外参还包括:所述第二时刻下所述相机相对于车辆的偏航角观测值;
所述装置还包括偏航角观测值获取模块,用于将在图像坐标系中,车道线在所述后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值,作为第二坐标值;将在相机坐标系中所述相机的光心在平行地面方向上的偏移量,作为第二偏移量;基于所述第二坐标值与所述第二偏移量之间的相对大小,以及所述相机在平行地面方向上的焦距,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
21.根据权利要求20所述的装置,其特征在于,所述偏航角观测值获取模块,还用于将所述第二坐标值与所述第二偏移量的差值作为第二差值,得到所述第二差值与所述相机在平行地面方向上的焦距之间的比值;对所述第二差值与所述相机在平行地面方向上的焦距之间的比值进行反正切处理,得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
22.根据权利要求15所述的装置,其特征在于,所述装置还包括偏航角观测值的偏差获取模块,用于确定各车道线在所述后帧车道线图像中的拟合线;将车道线图像中,偏航角变化引起灭点在车道线图像中的位置变化的方向作为第二方向,得到所述灭点沿所述第二方向分别至各拟合线的距离;基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
23.根据权利要求22所述的装置,其特征在于,偏航角观测值的偏差获取模块,还用于获取所述相机在平行地面方向上的焦距;基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系,以及灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系,以及所述相机在平行地面方向上的焦距,以及所述灭点沿所述第二方向分别至各拟合线的距离,得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
24.根据权利要求15所述的装置,其特征在于,所述第二时刻对应的相机外参还包括:所述第二时刻下所述相机相对于所述车辆所处的地面的高度;
所述装置还包括相机高度获取模块,用于基于所述第二时刻之前得到的相机外参和相机内参,通过逆透视投影变换,将所述后帧车道线图像中的车道线从图像坐标系投影至车身坐标系;基于投影至所述车身坐标系的车道线间的距离与相机相对于所述车辆所处的地面的高度成正相关关系,得到所述相机相对于所述车辆所处的地面的高度。
25.根据权利要求15所述的装置,其特征在于,所述装置还包括俯仰角融合值的偏差获取模块,用于分别将所述第一时刻对应的俯仰角观测值的偏差和所述第一时刻对应的俯仰角预测值的偏差,作为比的前项和后项,得到所述第一时刻对应的偏差比值;基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系,以及所述第一时刻对应的偏差比值,确定针对所述第一时刻对应的俯仰角预测值的偏差的修正程度;按针对所述第一时刻对应的俯仰角预测值的偏差的修正程度,对所述第一时刻对应的俯仰角预测值的偏差进行修正,并将修正结果作为所述第一时刻对应的俯仰角融合值的偏差。
26.根据权利要求15所述的装置,其特征在于,融合模块,还用于基于所述第二时刻对应的俯仰角观测值与所述第二时刻对应的俯仰角预测值之间的相对大小,得到对所述第二时刻对应的俯仰角预测值进行修正的可能修正量;基于所述第二时刻对应的俯仰角观测值的偏差和所述第二时刻对应的俯仰角预测值的偏差,得到所述第二时刻对应的偏差比值;基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系,确定针对所述第二时刻对应的俯仰角预测值的修正程度;利用针对所述第二时刻对应的俯仰角预测值的修正程度,调节所述可能修正量,得到实际修正量;按所述实际修正量,对所述第二时刻对应的俯仰角预测值进行修正,并将修正结果作为所述第二时刻对应的俯仰角融合值。
27.根据权利要求15所述的装置,其特征在于,所述装置还包括灭点获取模块,用于确定各车道线在所述后帧车道线图像中的拟合线;确定所述后帧车道线图像上的多个候选点,并基于候选点各自沿同一方向至不同拟合线的距离,得到候选点各自的距离和;将所述多个候选点中距离和最小的候选点作为车道线在所述后帧车道线图像上的灭点。
28.根据权利要求15所述的装置,其特征在于,所述装置还包括低频时段的相机外参输出模块,用于确定晚于所述第一时刻且早于所述第二时刻的第三时刻;根据从所述第一时刻至所述第三时刻采集到的俯仰角速度,对所述第一时刻对应的俯仰角融合值进行运动积分处理,得到所述第三时刻对应的俯仰角预测值,以及根据从所述第一时刻至所述第三时刻采集到的俯仰角速度各自的偏差,对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理,得到所述第三时刻对应的俯仰角预测值的偏差;基于所述第三时刻对应的俯仰角预测值以及所述第三时刻对应的俯仰角预测值的偏差,输出所述第三时刻对应的相机外参。
29.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的方法。
30.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111450008.4A CN113870367B (zh) | 2021-12-01 | 2021-12-01 | 相机外参的生成方法、装置、设备、存储介质和程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111450008.4A CN113870367B (zh) | 2021-12-01 | 2021-12-01 | 相机外参的生成方法、装置、设备、存储介质和程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113870367A CN113870367A (zh) | 2021-12-31 |
CN113870367B true CN113870367B (zh) | 2022-02-25 |
Family
ID=78985369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111450008.4A Active CN113870367B (zh) | 2021-12-01 | 2021-12-01 | 相机外参的生成方法、装置、设备、存储介质和程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113870367B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110440805A (zh) * | 2019-08-09 | 2019-11-12 | 深圳市道通智能航空技术有限公司 | 一种偏航角的融合方法、装置及飞行器 |
CN112800986A (zh) * | 2021-02-02 | 2021-05-14 | 深圳佑驾创新科技有限公司 | 车载摄像头外参标定方法、装置、车载终端和存储介质 |
CN112907678A (zh) * | 2021-01-25 | 2021-06-04 | 深圳佑驾创新科技有限公司 | 车载相机外参姿态动态估计方法、装置、计算机设备 |
CN113327270A (zh) * | 2020-02-28 | 2021-08-31 | 炬星科技(深圳)有限公司 | 视觉惯导方法、装置、设备及计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4527171B2 (ja) * | 2007-05-18 | 2010-08-18 | 中菱エンジニアリング株式会社 | 単一gpsと慣性データ(加速度,角速度)によるビークル姿勢角の計測方法 |
GB2565264B (en) * | 2017-05-23 | 2022-03-09 | Atlantic Inertial Systems Ltd | Inertial navigation system |
CN111649739B (zh) * | 2020-06-02 | 2023-09-01 | 阿波罗智能技术(北京)有限公司 | 定位方法和装置、自动驾驶车辆、电子设备和存储介质 |
CN113326800B (zh) * | 2021-06-22 | 2022-09-16 | 苏州智加科技有限公司 | 车道线位置确定方法、装置、车载终端及存储介质 |
-
2021
- 2021-12-01 CN CN202111450008.4A patent/CN113870367B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110440805A (zh) * | 2019-08-09 | 2019-11-12 | 深圳市道通智能航空技术有限公司 | 一种偏航角的融合方法、装置及飞行器 |
CN113327270A (zh) * | 2020-02-28 | 2021-08-31 | 炬星科技(深圳)有限公司 | 视觉惯导方法、装置、设备及计算机可读存储介质 |
CN112907678A (zh) * | 2021-01-25 | 2021-06-04 | 深圳佑驾创新科技有限公司 | 车载相机外参姿态动态估计方法、装置、计算机设备 |
CN112800986A (zh) * | 2021-02-02 | 2021-05-14 | 深圳佑驾创新科技有限公司 | 车载摄像头外参标定方法、装置、车载终端和存储介质 |
Non-Patent Citations (2)
Title |
---|
Inertial measurement unit aided extrinsic parameters calibration for stereo vision systems;Feng Weiwu 等;《Optics and Laser in Engineering》;ELSEVIER;20201130;第134卷;全文 * |
Motion Constraints and Vanishing Point Aided Land;Liu Zhenbo 等;《micromachines》;20180520;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113870367A (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106803271B (zh) | 一种视觉导航无人机的摄像机标定方法及装置 | |
US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
CN112907678B (zh) | 车载相机外参姿态动态估计方法、装置、计算机设备 | |
JP7404010B2 (ja) | 位置推定装置及び方法 | |
CN105931275A (zh) | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 | |
CN111263960B (zh) | 用于更新高清晰度地图的设备和方法 | |
CN107941217A (zh) | 一种机器人定位方法、电子设备、存储介质、装置 | |
CN112347205B (zh) | 一种车辆误差状态的更新方法和装置 | |
CN109949364B (zh) | 一种基于路侧单目摄像头的车辆姿态检测精度优化方法 | |
CN110865650A (zh) | 基于主动视觉的无人机位姿自适应估计方法 | |
JP7173471B2 (ja) | 3次元位置推定装置及びプログラム | |
JP5214355B2 (ja) | 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム | |
CN113503873A (zh) | 一种多传感器融合的视觉定位方法 | |
JP7145770B2 (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
CN112862818B (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
CN110598370A (zh) | 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计 | |
CN113870367B (zh) | 相机外参的生成方法、装置、设备、存储介质和程序产品 | |
CN114913500B (zh) | 位姿确定方法、装置、计算机设备和存储介质 | |
KR102506411B1 (ko) | 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체 | |
JP2022190173A (ja) | 位置推定装置 | |
CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 | |
KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
Lee et al. | LiDAR Ground Detection based Dynamic Inverse Perspective Mapping of BEV Lanes | |
Ernst et al. | Large-scale 3D Roadside Modelling with Road Geometry Analysis: Digital Roads New Zealand | |
WO2022179047A1 (zh) | 一种状态信息估计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |