CN113870367A - 相机外参的生成方法、装置、设备、存储介质和程序产品 - Google Patents

相机外参的生成方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN113870367A
CN113870367A CN202111450008.4A CN202111450008A CN113870367A CN 113870367 A CN113870367 A CN 113870367A CN 202111450008 A CN202111450008 A CN 202111450008A CN 113870367 A CN113870367 A CN 113870367A
Authority
CN
China
Prior art keywords
pitch angle
deviation
moment
camera
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111450008.4A
Other languages
English (en)
Other versions
CN113870367B (zh
Inventor
唐逸之
谢非
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111450008.4A priority Critical patent/CN113870367B/zh
Publication of CN113870367A publication Critical patent/CN113870367A/zh
Application granted granted Critical
Publication of CN113870367B publication Critical patent/CN113870367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供的相机外参的生成方法、装置、设备、存储介质和程序产品，可用于导航地图、自动驾驶与智慧交通场景中，包括：根据输出上一俯仰角观测值的第一时刻至输出下一俯仰角观测值的第二时刻间得到的俯仰角速度，对第一时刻的俯仰角融合值进行俯仰角积分，得到第二时刻的俯仰角预测值，根据上述俯仰角积分所用的俯仰角速度各自的偏差，对第一时刻的俯仰角融合值偏差进行偏差积分，得到第二时刻的俯仰角预测值偏差；基于车道线在后帧车道线图像的灭点得到下一俯仰角观测值的偏差；基于均为第二时刻的俯仰角观测值偏差与俯仰角预测值偏差，融合均为第二时刻的俯仰角观测值与俯仰角预测值，得到第二时刻的俯仰角融合值以输出相机外参。

Description

相机外参的生成方法、装置、设备、存储介质和程序产品
技术领域
本申请涉及相机外参标定技术领域，特别是涉及一种相机外参的生成方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
基于计算机视觉进行障碍物识别是自动驾驶技术的关键技术之一；自动驾驶中的计算机视觉可以借助车载相机实现。识别出障碍物相对于车身的位置，需借助车载相机的外参。在道路颠簸或者急刹车等引起相机抖动的情况下，需调整车载相机的外参；其中，调整后的车载相机外参的准确性决定了识别到的障碍物相对于车身位置的准确性。
车载相机外参的传统自标定方案中，调整后的车载相机外参的准确性较低，所识别到的障碍物相对于车身位置的准确性也较低。
发明内容
基于此，有必要针对上述技术问题，提供一种相机外参的生成方法、装置、计算机设备、存储介质和计算机程序产品。
一种相机外参的生成方法，所述方法包括：
确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻，以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻；车道线图像是设置于车辆上的相机采集的包括车道线的图像；所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值；
获取从所述第一时刻起至所述第二时刻，位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差；
根据从所述第一时刻至所述第二时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第二时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第二时刻对应的俯仰角预测值的偏差；
获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差；
根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差，对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后，得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
一种相机外参的生成装置，所述装置包括：
时刻确定模块，用于确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻，以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻；车道线图像是设置于车辆上的相机采集的包括车道线的图像；所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值；
角速度和角速度偏差的获取模块，用于获取从所述第一时刻起至所述第二时刻，位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差；
运动积分模块，用于根据从所述第一时刻至所述第二时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第二时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第二时刻对应的俯仰角预测值的偏差；
俯仰角观测值的偏差获取模块，用于获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差；
融合模块，用于根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差，对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后，得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
在一些实施例中，俯仰角观测值的偏差获取模块，还用于确定各车道线在所述后帧车道线图像中的拟合线；将车道线图像中，俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向，得到所述灭点沿所述第一方向分别至各拟合线的距离；基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述灭点沿所述第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差。
在一些实施例中，俯仰角观测值的偏差获取模块，还用于获取所述相机在垂直地面方向上的焦距；基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述相机在垂直地面方向上的焦距，以及所述灭点沿第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差。
在一些实施例中，俯仰角观测值的偏差获取模块，还用于获取所述相机在垂直地面方向上的焦距对应的平方值，并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，将焦距对应的平方值作为比的后项；基于所述灭点沿所述第一方向分别至各拟合线的距离，得到各距离的平方值，对各距离的平方值进行平均，得到距离对应的平均值，并基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，将距离对应的平均值作为比的前项；基于所述比的前项和所述比的后项，得到所述下一俯仰角观测值的偏差。
在一些实施例中，所述装置还包括俯仰角观测值获取模块，用于将在图像坐标系中，车道线在所述后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第一坐标值；将在相机坐标系中所述相机的光心在垂直地面方向上的偏移量，作为第一偏移量；基于所述第一坐标值与所述第一偏移量之间的相对大小，以及所述相机在垂直地面方向上的焦距，得到所述下一俯仰角观测值。
在一些实施例中，俯仰角观测值获取模块，还用于将所述第一坐标值与所述第一偏移量的差值作为第一差值，得到所述第一差值与所述相机在垂直地面方向上的焦距之间的比值；对所述第一差值与所述相机在垂直地面方向上的焦距之间的比值进行反正切处理，得到所述下一俯仰角观测值。
在一些实施例中，所述第二时刻对应的外参包括：所述第二时刻下所述相机相对于车辆的偏航角观测值；
所述装置还包括偏航角观测值获取模块，用于将在图像坐标系中，车道线在所述后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第二坐标值；将在相机坐标系中所述相机的光心在平行地面方向上的偏移量，作为第二偏移量；基于所述第二坐标值与所述第二偏移量之间的相对大小，以及所述相机在平行地面方向上的焦距，得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中，所述偏航角观测值获取模块，还用于将所述第二坐标值与所述第二偏移量的差值作为第二差值，得到所述第二差值与所述相机在平行地面方向上的焦距之间的比值；对所述第二差值与所述相机在平行地面方向上的焦距之间的比值进行反正切处理，得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中，所述装置还包括偏航角观测值的偏差获取模块，用于确定各车道线在所述后帧车道线图像中的拟合线；将车道线图像中，偏航角变化引起灭点在车道线图像中的位置变化的方向作为第二方向，得到所述灭点沿所述第二方向分别至各拟合线的距离；基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及所述灭点沿所述第二方向分别至各拟合线的距离，得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中，偏航角观测值的偏差获取模块，还用于获取所述相机在平行地面方向上的焦距；基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系，以及灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及所述相机在平行地面方向上的焦距，以及所述灭点沿所述第二方向分别至各拟合线的距离，得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中，所述第二时刻对应的外参包括：所述第二时刻下所述相机相对于所述车辆所处的地面的高度；
所述装置还包括相机高度获取模块，用于基于所述第二时刻之前得到的相机外参和相机内参，通过逆透视投影变换，将所述后帧车道线图像中的车道线从图像坐标系投影至车身坐标系；基于投影至所述车身坐标系的车道线间的距离与相机相对于所述车辆所处的地面的高度成正相关关系，得到所述相机相对于所述车辆所处的地面的高度。
在一些实施例中，所述装置还包括俯仰角融合值的偏差获取模块，用于分别将所述第一时刻对应的俯仰角观测值的偏差和所述第一时刻对应的俯仰角预测值的偏差，作为比的前项和后项，得到所述第一时刻对应的偏差比值；基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系，以及所述第一时刻对应的偏差比值，确定针对所述第一时刻对应的俯仰角预测值的偏差的修正程度；按针对所述第一时刻对应的俯仰角预测值的偏差的修正程度，对所述第一时刻对应的俯仰角预测值的偏差进行修正，并将修正结果作为所述第一时刻对应的俯仰角融合值的偏差。
在一些实施例中，融合模块，还用于基于所述第二时刻对应的俯仰角观测值与所述第二时刻对应的俯仰角预测值之间的相对大小，得到对所述第二时刻对应的俯仰角预测值进行修正的可能修正量；基于所述第二时刻对应的俯仰角观测值的偏差和所述第二时刻对应的俯仰角预测值的偏差，得到所述第二时刻对应的偏差比值；基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系，确定针对所述第二时刻对应的俯仰角预测值的修正程度；利用针对所述第二时刻对应的俯仰角预测值的修正程度，调节所述可能修正量，得到实际修正量；按所述实际修正量，对所述第二时刻对应的俯仰角预测值进行修正，并将修正结果作为所述第二时刻对应的俯仰角融合值。
在一些实施例中，所述装置还包括灭点获取模块，用于确定各车道线在所述后帧车道线图像中的拟合线；确定所述后帧车道线图像上的多个候选点，并基于候选点各自沿同一方向至不同拟合线的距离，得到候选点各自的距离和；将所述多个候选点中距离和最小的候选点作为车道线在所述后帧车道线图像上的灭点。
在一些实施例中，所述装置还包括低频时段的相机外参输出模块，用于确定晚于所述第一时刻且早于所述第二时刻的第三时刻；根据从所述第一时刻至所述第三时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第三时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第三时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第三时刻对应的俯仰角预测值的偏差；基于所述第三时刻对应的俯仰角预测值以及所述第三时刻对应的俯仰角预测值的偏差，输出所述第三时刻对应的相机外参。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述相机外参的生成方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述相机外参的生成方法。
一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行上述相机外参的生成方法。
上述相机外参的生成方法、装置、计算机设备、存储介质和计算机程序产品，在基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻至基于车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻的第二时刻之间，获取惯性传感器采集到的俯仰角速度以及俯仰角速度各自的偏差；接着，根据惯性传感器在第一时刻至第二时刻之间采集到的俯仰角速度，对第一时刻的俯仰角融合值进行运动积分处理（该运动积分是针对俯仰角的，因此，也可以将该运动积分称为俯仰角积分），得到第二时刻的俯仰角预测值，并根据上述俯仰角积分时所用的惯性传感器在第一时刻至第二时刻采集到的俯仰角速度各自的偏差，对第一时刻的俯仰角融合值的偏差进行运动积分处理（该运动积分是针对俯仰角的偏差，因此，也可以将该运动积分称为偏差积分），得到第二时刻的俯仰角预测值的偏差；然后，获取基于车道线后帧车道线图像中的灭点得到的下一俯仰角观测值的偏差；基于下一俯仰角观测值的偏差与第二时刻的俯仰角预测值的偏差，对下一俯仰角观测值与第二时刻的俯仰角预测值进行融合，得到第二时刻的俯仰角融合值，以输出准确的第二时刻的相机外参。
附图说明
图1为一个实施例中相机外参的生成方法的应用环境图；
图2为一个实施例中输出俯仰角观测值的频率和车辆惯性传感器采集俯仰角速度的频率示意图；
图3为一个实施例中相机外参的生成方法的流程示意图；
图4为一个实施例中车载相机采集到的车道线图像；
图5为一个实施例中车道线在车道线图像中的拟合线以及灭点示意图；
图6为一个实施例中相机外参的生成方法的流程示意图；
图7为一个实施例中获取俯仰角融合值的流程示意图；
图8为一个实施例中应用本申请提供的相机外参的生成方法的结果示意图；
图9为一个实施例中相机外参的生成装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
本申请涉及的关键术语包括：
AR车辆导航定位：通过增强现实技术(Augmented Reality，AR)对车辆进行空间定位和导航。
ADAS（Advanced Driving Assistant System）：高级辅助驾驶系统。
车载相机外参标定：标定每一时刻车载相机相对于车身的空间位置和姿态，包括三维空间平移(Tx, Ty, Tz)和三维旋转角度(Pitch, Roll, Yaw)；其中，Pitch、Roll和Yaw分别为俯仰角、翻滚角、偏航角。
图像车道线检测：检测图像中车道线，检测结果一般是类似采样的像素点或者分割的像素块。
IMU（Inertial Measurement Unit）：一种惯性测量设备，可以称为惯性传感器，通常包括加速度计和陀螺仪(角速度计)。
卡尔曼滤波(Kalman Filter)：一种融合状态量和状态变量运动状态估计方法。
SLAM（Simultaneous Localization and Mapping）：泛指同时定位和建图的方法。
灭点：透视投影的一种现象，三维空间中的平行直线经过透视投影到平面，会汇聚相交为一个点，又称为灭点。
IPM（Inverse Perspective Mapping）：逆透视投影。
本申请结合图像车道线检测结果和IMU采集的数据，生成车载相机外参，实现车载相机外参的标定。基于本申请提供的方案所得到的车载相机外参可以应用于地图中AR车辆定位导航以及基于众包设备的地图数据生产。对于AR车辆定位导航，本申请提供的方案开发的算法包可以运行在车机平台上；对于基于众包设备的地图数据生产，本申请提供的方案开发的算法包也可以运行在云端的服务器中，其中，车道线图像（或车道线检测结果）和IMU信息需要同步发送到云端的服务器。
以本申请提供的方案开发的算法包运行在云端服务器为例介绍：
如图1所示，车辆110在道路上行驶，并且车道线111和112分别位于车辆110的两侧；其中，可以以车辆110的行驶方向作为车辆110自身坐标系的x轴、以平行于地面且垂直于车辆110行驶方向的方向作为车辆110自身坐标系的y轴、以垂直地面的方向作为车辆110自身坐标系的z轴；在一些场景中，x轴的正方向可以是车辆110的头部朝向，y轴的正方向可以是朝向车辆110左侧的方向，z轴的正方向可以是垂直地面向上的方向，并分别记为x1、y1和z1，得到图1所示的车身坐标系。在一些场景中，车身坐标系的原点O1可以设定在车辆110的两个后轮接地点的连续的中心点，也即位于后轮轴中心点的正下方。
车辆110在行驶过程中，设于车辆的相机（可以称为车载相机）按照第一频率采集道路前方的图像；在车载相机采集到的图像包括车道线111和112的情况下，车载相机采集到的图像可以称为车道线图像。
设于车辆的惯性传感器按照高于第一频率的第二频率进行采集，惯性传感器采集到的旋转角速度为（ωx,ωy,ωz）；其中，ωx是在x1轴方向上旋转的角速度，ωy是在y1轴方向上旋转的角速度，ωz是在z1轴方向上旋转的角速度；其中，在y1轴方向上旋转的角速度与车辆相对于地面俯仰变化有关，因此，可以将ωy作为俯仰角速度。
服务器120获取车载相机采集到的车道线图像以及车辆的惯性传感器采集到的俯仰角速度和俯仰角速度的偏差，以得到对应时刻的俯仰角并输出车载相机外参，实现车载相机外参的标定。
其中，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
以下结合图2和图3介绍生成俯仰角的具体方式：
步骤S301，确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻，以及确定基于车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻。
其中，车道线图像是设置于车辆上的相机采集的包括车道线的图像。
基于车道线在车道线图像中的灭点，可以得到俯仰角，该俯仰角属于观测量，可以 称为俯仰角观测值，记为
Figure 976463DEST_PATH_IMAGE002
。在某一时刻下的俯仰角观测值是基于车道线在该时刻的 车道线图像（该时刻的车道线图像是：车载相机在该时刻采集得到的车道线图像）中的灭点 得到的俯仰角观测值，例如，图2所示，tk时刻下的俯仰角观测值
Figure 490621DEST_PATH_IMAGE004
是基于车道线在 tk时刻的车道线图像中的灭点得到的俯仰角观测值，t2k时刻下的俯仰角观测值
Figure 682568DEST_PATH_IMAGE006
是基于车道线在t2k时刻的车道线图像中的灭点得到的俯仰角观测值，t3k时刻 下的俯仰角观测值
Figure 231361DEST_PATH_IMAGE008
是基于车道线在t3k时刻的车道线图像中的灭点得到的俯仰 角观测值。
并且，上一俯仰角观测值和下一俯仰角观测值是在输出时间上相邻的两个俯仰角 观测值，例如，若在tk时刻至t3k时刻，基于车道线在对应帧的车道线图像中的灭点所输出的 各时刻下的俯仰角观测值为：
Figure 850561DEST_PATH_IMAGE004
、
Figure 852015DEST_PATH_IMAGE006
和
Figure 50915DEST_PATH_IMAGE008
，那么
Figure 516532DEST_PATH_IMAGE004
和
Figure 244316DEST_PATH_IMAGE006
属于在输出时间上相邻的两个俯仰角观测值，且相较于
Figure 998646DEST_PATH_IMAGE006
而言，
Figure 532395DEST_PATH_IMAGE004
属于上一俯仰角观测值，相较于
Figure 790201DEST_PATH_IMAGE004
而言，
Figure 220045DEST_PATH_IMAGE006
属于下一俯仰角 观测值；同样地，
Figure 258409DEST_PATH_IMAGE006
和
Figure 267953DEST_PATH_IMAGE008
也属于在输出时间上相邻的两个俯仰角观测 值，且相较于
Figure 911424DEST_PATH_IMAGE008
而言，
Figure 43328DEST_PATH_IMAGE006
属于上一俯仰角观测值，相较于
Figure 506670DEST_PATH_IMAGE006
而 言，
Figure 585485DEST_PATH_IMAGE008
属于下一俯仰角观测值。
其中，基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻为车载相机采集前帧车道线图像的时刻，基于车道线后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻为车载相机采集后帧车道线图像的时刻。
步骤S302，获取从第一时刻起至第二时刻，位于车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差。
其中，惯性传感器采集俯仰角速度的频率高于基于车道线在车道线图像中的灭点 输出俯仰角观测值的频率，例如惯性传感器采集俯仰角速度的过程中，每隔0.01秒采集一 个俯仰角速度，而基于车道线在车道线图像中的灭点输出俯仰角观测值的过程中，每隔 0.01×k秒输出一个俯仰角观测值（每隔0.01×k秒输出一个俯仰角观测值，例如是，在tk时 刻至t3k时刻，基于车道线在对应帧的车道线图像中的灭点所输出的各时刻下的俯仰角观测 值为：
Figure 880200DEST_PATH_IMAGE004
、
Figure 386268DEST_PATH_IMAGE006
和
Figure 336906DEST_PATH_IMAGE008
。
如图2所示，在tk至t2k之间，惯性传感器按每隔0.01秒采集一次俯仰角速度的频率进行采集，可以得到俯仰角速度ωy(tk)、ωy(tk+1)、…、ωy(t2k-1)、ωy(t2k)。同样地，在t2k至t3k之间，惯性传感器按每隔0.01秒采集一次俯仰角速度的频率进行采集，可以得到俯仰角速度ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)、ωy(t3k)。
出于测量仪器的精密度的考虑，测量仪器采集到的数据与真实数据之间存在一定的偏差，而惯性传感器作为测量仪器的一种，惯性传感器采集到的俯仰角速度也会与真实的俯仰角速度存在一定的偏差，因此，惯性传感器采集到的各俯仰角速度均有自身相较于真实的俯仰角速度的偏差。
如图2所示，在tk至t3k之间，惯性传感器按每隔0.01秒采集一次俯仰角速度的频率 进行采集得到的俯仰角速度ωy(tk)、ωy(tk+1)、…、ωy(t2k-1)、ωy(t2k)、ωy(t2k+1)、…、ωy (t3k-1)、ωy(t3k)中，各俯仰角速度相较于各自真实俯仰角速度的偏差记为：
Figure 16149DEST_PATH_IMAGE010
、
Figure 103054DEST_PATH_IMAGE012
、…、
Figure 842340DEST_PATH_IMAGE014
、
Figure 280274DEST_PATH_IMAGE016
、
Figure 435312DEST_PATH_IMAGE018
、…、
Figure 704619DEST_PATH_IMAGE020
、
Figure 552490DEST_PATH_IMAGE022
。
步骤S303，根据从第一时刻至第二时刻采集到的俯仰角速度，对第一时刻对应的俯仰角融合值进行运动积分处理，得到第二时刻对应的俯仰角预测值，以及根据从第一时刻至第二时刻采集到的俯仰角速度各自的偏差，对第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到第二时刻对应的俯仰角预测值的偏差。
其中，各时刻下的俯仰角融合值是根据该时刻下的俯仰角观测值和该时刻下的俯 仰角预测值融合得到的，其中，俯仰角融合值和俯仰角预测值分别记为
Figure 477720DEST_PATH_IMAGE024
和
Figure 498766DEST_PATH_IMAGE026
。
各时刻下的俯仰角融合值的获取方式相同，本实施例是以得到第二时刻下的俯仰角融合值的方式且第二时刻为t3k进行介绍的，且此处先介绍俯仰角预测值：
在除初始时刻外的各时刻下，都可以基于俯仰角速度，通过运动积分输出俯仰角 预测值；例如，若输出t3k下的俯仰角预测值
Figure 294684DEST_PATH_IMAGE028
，则以t2k下的俯仰角融合值
Figure 375772DEST_PATH_IMAGE030
为基础，根据ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)、ωy(t3k)进行运动积分，得到 t3k下的俯仰角预测值
Figure 788299DEST_PATH_IMAGE028
（具体积分过程参见公式①）；该运动积分是以得到俯仰 角为目的，因此，可以将该运动积分称为俯仰角积分。
Figure DEST_PATH_IMAGE032_53A
①
在得到t3k下的俯仰角预测值
Figure 878615DEST_PATH_IMAGE028
的俯仰角积分过程中，所用到的俯仰角 速度为ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)和ωy(t3k)；由于俯仰角速度是由惯性传感器测量 得到的，存在一定的偏差，因此，可以基于为得到
Figure 60197DEST_PATH_IMAGE028
的俯仰角积分所用到的各俯 仰角速度的偏差进行运动积分，得到
Figure 984291DEST_PATH_IMAGE028
的偏差
Figure 680852DEST_PATH_IMAGE034
；该运动积分是以得到俯 仰角的偏差为目的的，因此，可以将该运动积分称为偏差积分。
另外，由于得到
Figure 981383DEST_PATH_IMAGE028
的俯仰角积分是以
Figure 283051DEST_PATH_IMAGE030
为基础进行的，因此， 可以以
Figure 440363DEST_PATH_IMAGE030
的偏差
Figure 561903DEST_PATH_IMAGE036
为基础，根据为得到
Figure 931704DEST_PATH_IMAGE028
的俯仰角积分所用到 的各俯仰角速度的偏差进行运动积分，得到
Figure 619038DEST_PATH_IMAGE028
的偏差，偏差积分过程参见公式 ②。
Figure DEST_PATH_IMAGE038_47A
②
步骤S304，获取基于车道线后帧车道线图像中的灭点得到的上述下一俯仰角观测值的偏差。
灭点是一种透视投影现象，三维空间中的平行直线经过透视投影到平面，会汇聚相交为一个点，该相交点可以称为灭点。
图1所示的场景中，车道线111和112在实际空间中近似平行，车载相机采集车道线图像的过程相当于上述的三维空间中的平行直线经过透视投影至平面的过程，因此，可以确定车道线111和112在车道线图像中的相交点（如图5所示的1132），也即灭点。
车载相机在车身坐标系中的俯仰角不同情况下，灭点在车道线图像上的位置也会 不同，因此，可以根据灭点在车道线图像上的位置预估俯仰角，通过灭点预估得到的俯仰角 属于观测量，可以称为俯仰角观测值；相机也是看成是测量设备，因此，该俯仰角观测值与 真实的俯仰角之间也存在一定的偏差，俯仰角观测值的偏差可以记为
Figure 681672DEST_PATH_IMAGE040
。
步骤S305，根据上述下一俯仰角观测值的偏差与第二时刻对应的俯仰角预测值的偏差，对上述下一俯仰角观测值与第二时刻对应的俯仰角预测值进行融合后，得到第二时刻对应的俯仰角融合值以输出第二时刻对应的相机外参。
若第二时刻为t3k，那么上述下一俯仰角观测值为t3k时刻下的俯仰角观测值，可记 为
Figure 87245DEST_PATH_IMAGE008
；上述下一俯仰角观测值的偏差为t3k时刻下的俯仰角观测值的偏差，可记为
Figure 995158DEST_PATH_IMAGE042
；第二时刻下的俯仰角预测值可记为
Figure 802577DEST_PATH_IMAGE028
、第二时刻下的俯仰角预测值的 偏差可记为
Figure 504954DEST_PATH_IMAGE034
。
由于俯仰角观测值的偏差是反映俯仰角观测值偏离俯仰角真实值的程度，俯仰角 预测值的偏差是反映俯仰角预测值偏离俯仰角真实值的程度，因此，在融合俯仰角观测值
Figure 601086DEST_PATH_IMAGE008
和俯仰角预测值
Figure 109428DEST_PATH_IMAGE028
时，可以根据俯仰角观测值和俯仰角预测值各自 的偏差的相对大小，为俯仰角观测值和俯仰角预测值赋予对应的权重；其中，若俯仰角观测 值的偏差
Figure 709036DEST_PATH_IMAGE042
大于俯仰角预测值的偏差
Figure 847894DEST_PATH_IMAGE034
，那么为俯仰角观测值
Figure 228059DEST_PATH_IMAGE008
赋 予的权重小于为俯仰角预测值
Figure 212196DEST_PATH_IMAGE028
赋予的权重，若俯仰角观测值的偏差
Figure 197469DEST_PATH_IMAGE042
小 于俯仰角预测值的偏差
Figure 303966DEST_PATH_IMAGE034
，那么为俯仰角观测值
Figure 109111DEST_PATH_IMAGE008
赋予的权重大于为俯仰 角预测值
Figure 162517DEST_PATH_IMAGE028
赋予的权重；接着，按照所赋予的权重，对俯仰角观测值
Figure 799035DEST_PATH_IMAGE008
和俯仰角预测值
Figure 14116DEST_PATH_IMAGE028
进行加权求和，将加权求和结果作为俯仰角融合值
Figure 306557DEST_PATH_IMAGE044
；并将俯仰角融合值
Figure 960392DEST_PATH_IMAGE044
作为t3k下的相机外参之一进行输出。
上述相机外参的生成方法中，在基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻至基于车道线后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻的第二时刻之间，获取惯性传感器采集到的俯仰角速度以及俯仰角速度各自的偏差；接着，根据惯性传感器在第一时刻至第二时刻之间采集到的俯仰角速度，对第一时刻的俯仰角融合值进行运动积分处理（该运动积分是针对俯仰角的，因此，也可以将该运动积分称为俯仰角积分），得到第二时刻的俯仰角预测值，并根据上述俯仰角积分时所用的惯性传感器在第一时刻至第二时刻采集到的俯仰角速度各自的偏差，对第一时刻的俯仰角融合值的偏差进行运动积分处理（该运动积分是针对俯仰角的偏差，因此，也可以将该运动积分称为偏差积分），得到第二时刻的俯仰角预测值的偏差；然后，获取基于车道线后帧车道线图像中的灭点得到的下一俯仰角观测值的偏差；基于下一俯仰角观测值的偏差与第二时刻的俯仰角预测值的偏差，对下一俯仰角观测值与第二时刻的俯仰角预测值进行融合，得到第二时刻的俯仰角融合值，以输出准确的第二时刻的相机外参。
除了上述加权求和得到俯仰角融合值的方式，本申请还提供一种得到俯仰角融合值的方式，具体包括：基于上述下一俯仰角观测值与第二时刻对应的俯仰角预测值之间的相对大小，得到对第二时刻对应的俯仰角预测值进行修正的可能修正量；基于上述下一俯仰角观测值的偏差和第二时刻对应的俯仰角预测值的偏差，得到第二时刻对应的偏差比值；基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系，确定针对第二时刻对应的俯仰角预测值的修正程度；利用针对第二时刻对应的俯仰角预测值的修正程度，调节可能修正量，得到实际修正量；按实际修正量，对第二时刻对应的俯仰角预测值进行修正，并将修正结果作为第二时刻对应的俯仰角融合值。
以第二时刻为t3k介绍：基于t3k下的俯仰角观测值
Figure 389099DEST_PATH_IMAGE008
与t3k下的俯仰角预 测值
Figure 837398DEST_PATH_IMAGE028
之间的相对大小，得到对t3k下的俯仰角预测值
Figure 882715DEST_PATH_IMAGE008
进行修正的可 能修正量为：
Figure 12345DEST_PATH_IMAGE046
。接着，分别将t3k下的俯仰角观测值的偏差
Figure 357875DEST_PATH_IMAGE042
和t3k下的俯仰角预测值的偏差
Figure 445917DEST_PATH_IMAGE034
作为比的前项和后项，得到的t3k下的偏差 比值为：
Figure 447371DEST_PATH_IMAGE048
。然后，基于针对俯仰角预测值的修正程度
Figure 443009DEST_PATH_IMAGE050
与偏差比值之间的负相关关 系，确定针对t3k下的俯仰角预测值的修正程度
Figure 580729DEST_PATH_IMAGE052
。将针对t3k下的俯仰角预测值的修正程 度
Figure 839672DEST_PATH_IMAGE052
，与可能修正量
Figure DEST_PATH_IMAGE054_32A
进行相乘，完成对可能修正量的调节，并 将乘积结果作为实际修正量
Figure DEST_PATH_IMAGE056_30A
。将该实际修正量
Figure DEST_PATH_IMAGE057_13A
，与t3k下的俯仰角预测值
Figure 984215DEST_PATH_IMAGE028
进行相加，完成对t3k 下的俯仰角预测值
Figure 455647DEST_PATH_IMAGE028
的修正，将相加得到的结果作为t3k下的俯仰角融合值，即：
Figure DEST_PATH_IMAGE059_15A
。
其中，针对俯仰角预测值的修正程度
Figure 306929DEST_PATH_IMAGE050
与偏差比值之间的负相关关系，可以通过 公式
Figure DEST_PATH_IMAGE061_15A
具体表征，因此，t3k下的俯仰角预测值的修正程度
Figure DEST_PATH_IMAGE063_19A
。
可以理解的是，t2k下的俯仰角融合值
Figure 533511DEST_PATH_IMAGE030
的获取方式与t3k下的俯仰角融 合值
Figure 306295DEST_PATH_IMAGE044
的获取方式相同，这里不赘述。
上述方式中，基于上述下一俯仰角观测值与第二时刻对应的俯仰角预测值之间的相对大小，得到对第二时刻对应的俯仰角预测值进行修正的可能修正量，并基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系，确定针对第二时刻对应的俯仰角预测值的修正程度；利用针对第二时刻对应的俯仰角预测值的修正程度，调节可能修正量，得到实际修正量，基于该实际修正量完成对第二时刻对应的俯仰角预测值进行修正，使得所得到的第二时刻的俯仰角融合值更加准确地贴近第二时刻下的俯仰角真实值，提升准确性。
在一些实施方式中，得到第一时刻下的俯仰角融合值的偏差的步骤可以包括：分别将第一时刻对应的俯仰角观测值的偏差和第一时刻对应的俯仰角预测值的偏差，作为比的前项和后项，得到第一时刻对应的偏差比值；基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系，以及第一时刻对应的偏差比值，确定针对第一时刻对应的俯仰角预测值的偏差的修正程度；按针对第一时刻对应的俯仰角预测值的偏差的修正程度，对第一时刻对应的俯仰角预测值的偏差进行修正，并将修正结果作为第一时刻对应的俯仰角融合值的偏差。
在第二时刻为t3k的情况下，第一时刻为t2k，对应地，t2k下的俯仰角观测值的偏差 为
Figure 846997DEST_PATH_IMAGE065
，t2k下的俯仰角预测值的偏差为
Figure 224889DEST_PATH_IMAGE067
。分别将t2k下的俯仰角观测值的偏差
Figure 356793DEST_PATH_IMAGE065
和t2k下的俯仰角预测值的偏差
Figure 85715DEST_PATH_IMAGE067
，作为比的前项和后项，得到t2k下的偏差 比值：
Figure DEST_PATH_IMAGE069_16A
。
基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系，以及t2k 下的偏差比值
Figure DEST_PATH_IMAGE070_9A
，确定针对t2k下的俯仰角预测值的偏差
Figure 961267DEST_PATH_IMAGE067
的修正程度，也即， t2k下的偏差比值
Figure DEST_PATH_IMAGE071_11A
越大，对t2k下的俯仰角预测值的偏差
Figure 787140DEST_PATH_IMAGE067
的修正程度越小。接 着，按针对t2k下的俯仰角预测值的偏差
Figure 27629DEST_PATH_IMAGE067
的修正程度，对t2k下的俯仰角预测值的偏 差
Figure 40584DEST_PATH_IMAGE067
进行修正，并将修正结果作为t2k下的俯仰角融合值
Figure 923090DEST_PATH_IMAGE030
的偏差
Figure 9994DEST_PATH_IMAGE036
。 具体来说，可以将
Figure DEST_PATH_IMAGE073_9A
作为针对t2k下的俯仰角预测值的偏差
Figure 280439DEST_PATH_IMAGE067
的修正程度，其 中，
Figure DEST_PATH_IMAGE075_6A
；接着，将
Figure DEST_PATH_IMAGE076_10A
与
Figure 339330DEST_PATH_IMAGE067
的乘积作为t2k下的俯仰角融合值
Figure 759947DEST_PATH_IMAGE030
的偏差
Figure 29254DEST_PATH_IMAGE036
，也即
Figure DEST_PATH_IMAGE078_24A
。
可以理解的是，得到t3k下的俯仰角融合值
Figure 142703DEST_PATH_IMAGE044
的偏差
Figure 864672DEST_PATH_IMAGE080
的方式与上 述得到t2k下的俯仰角融合值
Figure 88980DEST_PATH_IMAGE030
的偏差
Figure 150477DEST_PATH_IMAGE036
的方式相同，这里不赘述。
上述方式中，分别将第一时刻对应的俯仰角观测值的偏差和第一时刻对应的俯仰角预测值的偏差，作为比的前项和后项，得到第一时刻对应的偏差比值；基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系，以及第一时刻对应的偏差比值，按针对第一时刻对应的俯仰角预测值的偏差的修正程度，对第一时刻对应的俯仰角预测值的偏差进行修正，使得第一时刻对应的俯仰角融合值的偏差可以较为准确地反映第一时刻下的俯仰角融合值相对于俯仰角真实值的偏离程度，提高俯仰角的准确性。
在一些实施方式中，获取车道线在后帧车道线图像中的灭点的方式，可以包括如下步骤：确定各车道线在后帧车道线图像中的拟合线；确定后帧车道线图像上的多个候选点，并基于候选点各自沿同一方向至不同拟合线的距离，得到候选点各自的距离和；将多个候选点中距离和最小的候选点作为车道线在后帧车道线图像上的灭点。
以第二时刻为t3k为例介绍，对应地，后帧车道线图像是车载相机在t3k时采集到的图像。图4是车载相机拍摄到的车道线图像，该车道线图像包括车道线111和车道线112；接着，基于车道线图像检测算法，从后帧车道线图像中提取属于车道线111的像素采样点1111以及属于车道线112的像素采样点1121（如图5所示）；接着，对像素采样点1111进行拟合，得到车道线111的拟合线，对像素采样点1121进行拟合，得到车道线112的拟合线。
其中，车道线图像检测算法可以基于深度学习技术实现。深度学习网络架构使用基础网络可以是shufflenetv2。其基本原理是首先在大量训练图像中标注车道线的采样点，然后将标注结果和原始图像输入到shufflenetv2网络中进行训练，训练完成后，shufflenetv2网络对于新的未标注的图像，也具备车道线检测能力。
shufflenetv2网络输出的检测结果包含两个部分，第一部分是采样点的坐标，第二部分是采样点的特征向量。采样点的特征向量的距离越近代表采样点属于同一根车道线的概率越大。根据特征向量之间的距离对采样点进行聚类就能得到分组的采样点，每组采样点都来自同一根车道线。
采用shufflenetv2的主要原因是其模型比较轻量，适合在车机平台上部署运行。检测车道线像素采样点，相较于像素分割面而言，可以提升聚类分组的效率。
车载相机拍摄得到的图像具有坐标系，该坐标系可以称为图像坐标系；如图4和图5所示，本实施例的图像坐标系是以图像左上角为原点，左上角指向右上角的方向为x轴（为与车身坐标系区分开，记为x2轴），左上角指向右下角的方向为y轴（为与车身坐标系区分开，记为y2轴）。
在确定车道线111和112在后帧车道线图像中的拟合线后，可以在后帧车道线图像中确定多个候选点1131、1132和1133；接着，可以确定每一候选点沿同一方向分别至车道线111的拟合线以及车道线112的拟合线的距离，得到每一候选点各自的距离和，例如候选点1131沿同一方向分别至车道线111的拟合线以及至车道线112的拟合线的距离分别为a和b，那么候选点1131的距离和为a+b；候选点1132也是按照上述同一方向分别至车道线111的拟合线以及至车道线112的拟合线的距离，并得到候选点1132的距离和；候选点1133也是按照上述同一方向分别至车道线111的拟合线以及至车道线112的拟合线的距离，并得到候选点1133的距离和。若候选点1132的距离和最小，则将候选点1132作为车道线在后帧车道线图像上的灭点。
其中，上述同一方向可以是沿x2轴的方向，也可以是沿y2轴的方向，还可以是沿与x2轴呈45°的方向。
车道线的拟合线可以用直线方程y=kix+bi表征；ki和bi分别代表直线在图像坐标系下的斜率和截距，i表征不同车道线。
在上述同一方向为沿y2轴方向时，且车道线的拟合线用上述直线方程表征时，若 作为灭点的候选点在图像坐标系的坐标为(vx,vy)，作为灭点的候选点在多个候选段点中满 足如下方程：
Figure DEST_PATH_IMAGE082_6A
；也即，作为灭点的候选点沿y2轴方向至各车 道线的拟合线的距离和最小。方程
Figure DEST_PATH_IMAGE083_8A
可以通过拉格朗日乘数法 转化为线性方程求解。
上述方式中，在确定各车道线的拟合线后，基于候选点沿同一方向至不同拟合线的距离，得到候选点各自的距离，并将距离和最小的候选段作为灭点，提升灭点的准确性，提升俯仰角和偏航角的精度。
在一些实施方式中，获取基于车道线后帧车道线图像中的灭点得到的上述下一俯仰角观测值的偏差，具体包括如下步骤：确定各车道线在后帧车道线图像中的拟合线；将车道线图像中，俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向，得到灭点沿第一方向分别至各拟合线的距离；基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及灭点沿第一方向分别至各拟合线的距离，得到上述下一俯仰角观测值的偏差。
在车道线图像中，俯仰角变化引起灭点在车道线图像中的位置变化的方向，示例性说明为：当车载相机沿车身坐标系的y1轴发生旋转时，会引起车载相机的俯仰角发生变化，从而引起灭点在车道线图像中的位置沿y2轴变化，因此，车道线图像中的y2轴方向是车道线图像中俯仰角变化引起灭点在车道线图像中的位置变化的方向。
以图像坐标系中的y2轴为第一方向以及第二时刻为t3k进行介绍：
若灭点在t3k时刻采集的车道线图像中的坐标记为(vx,vy)，那么灭点沿y2轴分别 至各车道线的拟合线的距离为
Figure DEST_PATH_IMAGE085_16A
，其中i表征不同的车道线。灭点沿y2轴方向 至拟合线的距离与俯仰角观测值的偏差
Figure 825040DEST_PATH_IMAGE040
之间具有正相关关系，也即灭点沿y2轴方向至 拟合线的距离越大，俯仰角观测值的偏差
Figure 971988DEST_PATH_IMAGE040
越大，因此，根据灭点沿y2轴至各车道线拟合 线的距离，可以得到灭点对应的距离平均值，并近似得到t3k下的俯仰角观测值的偏差
Figure 734408DEST_PATH_IMAGE087
。
上述方式中，沿车道线图像中俯仰角变化引起灭点在车道线图像中的位置变化的方向，灭点分别至各车道线的拟合线的距离与俯仰角观测值的偏差之间的正相关关系，得到上述下一俯仰角观测值的偏差，实现基于灭点对俯仰角观测值的偏差的近似计算。
在一些实施例中，上述基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及灭点沿第一方向分别至各拟合线的距离，得到上述下一俯仰角观测值的偏差，具体包括如下步骤：获取相机在垂直地面方向上的焦距；基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，以及灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及相机在垂直地面方向上的焦距，以及灭点沿第一方向分别至各拟合线的距离，得到上述下一俯仰角观测值的偏差。
设相机坐标系的x轴和y轴与成像平面平行，且以平行地面方向为x轴，以垂直地面 方向为y轴，那么，相机在平行地面方向上的焦距可以记为
Figure 712728DEST_PATH_IMAGE089
，相机在垂直地面方向上的焦 距可以记为
Figure 902401DEST_PATH_IMAGE091
。其中，车载相机在平行地面方向上的焦距
Figure 802224DEST_PATH_IMAGE089
发生变化，会引起灭点在车道线 图像中沿图4示出的x2轴方向的位置发生变化的方向；车载相机在垂直地面的方向上的焦 距
Figure 165072DEST_PATH_IMAGE091
发生变化，会引起灭点在车道线图像中沿图4示出的y2轴方向的位置发生变化的方向。
其中，相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系， 也即，相机在垂直地面方向上的焦距
Figure 935582DEST_PATH_IMAGE091
越小，俯仰角观测值的偏差
Figure 358473DEST_PATH_IMAGE040
越大。
根据相机在垂直地面方向上的焦距
Figure 745592DEST_PATH_IMAGE091
与俯仰角观测值的偏差
Figure 584235DEST_PATH_IMAGE040
之间负相关关 系，灭点沿y2轴方向至拟合线的距离与俯仰角观测值的偏差
Figure 537147DEST_PATH_IMAGE040
之间的正相关关系，以及相 机在垂直地面方向上的焦距
Figure 334202DEST_PATH_IMAGE091
，以及灭点沿第一方向分别至各拟合线的距离的平均值，可 以近似得到t3k下的俯仰角观测值的偏差
Figure 677459DEST_PATH_IMAGE087
。
上述方式中，基于相机在垂直地面方向上的焦距
Figure 647689DEST_PATH_IMAGE091
和灭点沿第一方向分别至各拟 合线的距离，近似得到俯仰角观测值的偏差，提升偏差的准确性。
在一些实施例中，上述基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，以及灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及相机在垂直地面方向上的焦距，以及灭点沿第一方向分别至各拟合线的距离，得到上述下一俯仰角观测值的偏差，具体包括如下步骤：获取相机在垂直地面方向上的焦距对应的平方值，并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，将焦距对应的平方值作为比的后项；基于灭点沿第一方向分别至各拟合线的距离，得到各距离的平方值，对各距离的平方值进行平均，得到距离对应的平均值，并基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，将距离对应的平均值作为比的前项；基于比的前项和比的后项，得到上述下一俯仰角观测值的偏差。
记相机在垂直地面方向上的焦距为
Figure 658370DEST_PATH_IMAGE091
，则相机在垂直地面方向上的焦距对应的平 方值为
Figure 360747DEST_PATH_IMAGE093
。灭点在t3k时刻采集的车道线图像中的坐标记为(vx,vy)，那么灭点沿y2轴分别至 各车道线的拟合线的距离为
Figure DEST_PATH_IMAGE095_5A
，各距离的平方值为
Figure DEST_PATH_IMAGE097_12A
，各距离的 平方值进行平均所得到的与距离对应的平均值为
Figure DEST_PATH_IMAGE099_8A
。
按照基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关 系，以及灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，分别 将
Figure DEST_PATH_IMAGE099_9A
和
Figure 643830DEST_PATH_IMAGE093
作为比的前项和后项，得到
Figure DEST_PATH_IMAGE101_6A
，该
Figure DEST_PATH_IMAGE102_10A
属于灭点的能量方差，可以直接作为俯仰角观测值的偏差，也即
Figure DEST_PATH_IMAGE104_8A
。
上述方式中，将与距离对应的平均值
Figure 480067DEST_PATH_IMAGE106
和相机在垂直地面方向 上的焦距对应的平方值
Figure 610835DEST_PATH_IMAGE093
，分别作为比的前项和后项，保证所得到的俯仰角观测值的偏差 的准确性。
一些实施例中，俯仰角观测值的偏差还可以是
Figure 484113DEST_PATH_IMAGE108
；其 中，
Figure 864278DEST_PATH_IMAGE110
，
Figure 848415DEST_PATH_IMAGE112
可以看作是灭点法的系统方差，以进一步提升俯仰角观测值偏差的准确 性。
在一些实施例中，基于车道线在后帧车道线图像中的灭点，得到上述下一俯仰角观测值，具体包括如下步骤：将在图像坐标系中，车道线在后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第一坐标值；将在相机坐标系中相机的光心在垂直地面方向上的偏移量，作为第一偏移量；基于第一坐标值与第一偏移量之间的相对大小，以及相机在垂直地面方向上的焦距，得到上述下一俯仰角观测值。
设相机坐标系的x轴和y轴与成像平面平行，且以平行地面方向为x轴，以垂直地面 方向为y轴，那么，相机光心在平行地面方向上的偏移量可以记为
Figure 833688DEST_PATH_IMAGE114
，相机光心在垂直地面 方向上的偏移量可以记为
Figure 940185DEST_PATH_IMAGE116
。同时，将相机光心在垂直地面方向上的偏移量
Figure 745330DEST_PATH_IMAGE116
作为第一偏 移量。
同样地，图像坐标系x2-O2-y2中，俯仰角变化引起灭点在车道线图像中的位置发生变化的方向是y2轴，因此，将车道线在车道线图像中的灭点(vx,vy)在y2轴方向上的坐标值vy作为第一坐标值。
可以得到第一坐标值和第一偏移量的相对大小为
Figure 595474DEST_PATH_IMAGE118
，结合相机在垂直地面 方向上的焦距
Figure 435254DEST_PATH_IMAGE091
，可以得到上述下一俯仰角观测值
Figure 650335DEST_PATH_IMAGE002
。
上述方式中，结合相机光心在垂直地面方向上的偏移量和灭点在y2轴方向上的坐标值间的相对大小，以及相机在垂直地面方向上的焦距，确定对应时刻的俯仰角观测值，提升俯仰角观测值的准确性。
在一些实施例中，上述基于第一坐标值与第一偏移量之间的相对大小，以及相机在垂直地面方向上的焦距，得到第二时刻对应的俯仰角观测值，具体包括如下步骤：将第一坐标值与第一偏移量的差值作为第一差值，得到第一差值与相机在垂直地面方向上的焦距之间的比值；对第一差值与相机在垂直地面方向上的焦距之间的比值进行反正切处理，得到上述下一俯仰角观测值。
计算机设备可以将第一坐标值与第一偏移量的差值
Figure 739513DEST_PATH_IMAGE118
作为第一差值，得到 第一差值
Figure 596611DEST_PATH_IMAGE118
与相机在垂直地面方向上的焦距
Figure 25318DEST_PATH_IMAGE091
之间的比值为
Figure 473617DEST_PATH_IMAGE120
；接着，对该比 值
Figure 253354DEST_PATH_IMAGE120
进行反正切处理，得到该比值的反正切值
Figure 445301DEST_PATH_IMAGE122
，并将该反正切值作为 上述下一俯仰角观测值，也即
Figure 728515DEST_PATH_IMAGE124
。
需要说明的是，相机在平行地面方向上的焦距
Figure 613294DEST_PATH_IMAGE089
、相机在垂直地面方向上的焦距
Figure 880328DEST_PATH_IMAGE091
、相机光心在平行地面方向上的偏移量
Figure 548069DEST_PATH_IMAGE114
、以及相机光心在垂直地面方向上的偏移量
Figure 13686DEST_PATH_IMAGE116
， 均是车辆出厂前预先标定好的相机内参。
上述方式中，对第一坐标值与第一偏移量的差值，与相机在垂直地面方向上的焦距之间的比值进行反正切处理，得到上述下一俯仰角观测值，提升俯仰角观测值的准确性。
在一些实施例中，第二时刻对应的外参包括：第二时刻下相机相对于车辆的偏航 角观测值，偏航角观测值可以记为
Figure 272629DEST_PATH_IMAGE126
。
第二时刻下相机相对于车辆的偏航角观测值
Figure 495800DEST_PATH_IMAGE126
是通过如下步骤得到的：将在图 像坐标系中，车道线在后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的 位置变化的方向上的坐标值，作为第二坐标值；将在相机坐标系中相机的光心在平行地面 方向上的偏移量，作为第二偏移量；基于第二坐标值与第二偏移量之间的相对大小，以及相 机在平行地面方向上的焦距，得到第二时刻下相机相对于车辆的偏航角观测值。
在车道线图像中，偏航角变化引起灭点在车道线图像中的位置变化的方向，示例性说明为：当车载相机沿车身坐标系的x1轴旋转时，会引起车载相机的偏航角发生变化，从而引起灭点在车道线图像中的位置沿x2轴变化，因此，车道线图像中的x2轴方向是车道线图像中偏航角变化引起灭点在车道线图像中的位置变化的方向。
设灭点在第二时刻采集得到的后帧车道线图像中的坐标为(vx,vy)，那么可以将灭 点在x2轴方向上的坐标值vx作为第二坐标值。将相机坐标系中相机光心在平行地面方向上 的偏移量
Figure 295129DEST_PATH_IMAGE114
作为第二偏移量。计算机设备获取第二坐标值与第二偏移量之间的相对大小
Figure 552935DEST_PATH_IMAGE128
，以及相机在平行地面方向上的焦距
Figure 717200DEST_PATH_IMAGE089
，得到第二时刻下相机相对于车辆的偏航角 观测值
Figure 755563DEST_PATH_IMAGE126
。
上述方式中，结合相机光心在平行地面方向上的偏移量和灭点在x2轴方向上的坐标值间的相对大小，以及相机在平行地面方向上的焦距，确定对应时刻的偏航角观测值，提升偏航角观测值的准确性。
在一些实施例中，上述基于第二坐标值与第二偏移量之间的相对大小，以及相机在平行地面方向上的焦距，得到第二时刻下相机相对于车辆的偏航角观测值，具体包括如下步骤：将第二坐标值与第二偏移量的差值作为第二差值，得到第二差值与相机在平行地面方向上的焦距之间的比值；对第二差值与相机在平行地面方向上的焦距之间的比值进行反正切处理，得到第二时刻下相机相对于车辆的偏航角观测值。
计算机设备可以将第二坐标值与第二偏移量的差值
Figure 30686DEST_PATH_IMAGE128
作为第二差值，得到 第二差值
Figure 408578DEST_PATH_IMAGE128
与相机在平行地面方向上的焦距
Figure 806061DEST_PATH_IMAGE089
之间的比值
Figure 3825DEST_PATH_IMAGE130
。接着，计算机设备 可以将该比值
Figure 348218DEST_PATH_IMAGE131
的反正切值作为第二时刻下相机相对于车辆的偏航角观测值，也即
Figure 642933DEST_PATH_IMAGE133
。
上述方式中，对第二坐标值与第二偏移量的差值，与相机在平行地面方向上的焦距之间的比值进行反正切处理，得到第二时刻对应的偏航角观测值，提升偏航角观测值的准确性。
在一些实施例中，第二时刻下相机相对于车辆的偏航角观测值
Figure 883422DEST_PATH_IMAGE126
的偏差
Figure 896377DEST_PATH_IMAGE135
是 通过如下步骤得到的：确定各车道线在后帧车道线图像中的拟合线；将车道线图像中，偏航 角变化引起灭点在车道线图像中的位置变化的方向作为第二方向，得到灭点沿第二方向分 别至各拟合线的距离；基于灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的 正相关关系，以及灭点沿第二方向分别至各拟合线的距离，得到第二时刻下相机相对于车 辆的偏航角观测值的偏差。
将车道线图像中偏航角变化引起灭点在车道线图像中的位置变化的方向作为第 二方向，也即将x2轴方向作为第二方向；若灭点在后帧车道线图像中的坐标为(vx,vy)，且车 道线的拟合线通过直线方向y=kix+bi表征，那么得到灭点沿x2轴方向分别至各拟合线的距 离为
Figure 778883DEST_PATH_IMAGE137
，并得到灭点至各车道线的拟合线的距离
Figure 865787DEST_PATH_IMAGE138
的平均值；根据点沿 x2轴方向至拟合线的距离与偏航角观测值
Figure 339494DEST_PATH_IMAGE126
的偏差
Figure 511849DEST_PATH_IMAGE135
之间的正相关关系，得到第二时 刻下相机相对于车辆的偏航角观测值
Figure 994783DEST_PATH_IMAGE126
的偏差
Figure 201774DEST_PATH_IMAGE135
。
上述方式中，沿车道线图像中偏航角变化引起灭点在车道线图像中的位置变化的方向，灭点分别至各车道线的拟合线的距离与偏航角观测值的偏差之间的正相关关系，得到第二时刻下的偏航角观测值的偏差，实现基于灭点对偏航角观测值的偏差的近似计算。
在一些实施例中，上述基于灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及灭点沿第二方向分别至各拟合线的距离，得到第二时刻下相机相对于车辆的偏航角观测值的偏差，包括：获取相机在平行地面方向上的焦距；基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系，以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及相机在平行地面方向上的焦距，以及灭点沿第二方向分别至各拟合线的距离，得到第二时刻下相机相对于车辆的偏航角观测值的偏差。
计算机设备基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负 相关关系，以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关 系，结合相机在平行地面方向上的焦距
Figure 49644DEST_PATH_IMAGE089
，以及灭点沿x2轴方向分别至各拟合线的距离
Figure 771612DEST_PATH_IMAGE138
的平均值，得到第二时刻下相机相对于车辆的偏航角观测值
Figure 995920DEST_PATH_IMAGE126
的偏差
Figure 57417DEST_PATH_IMAGE135
。
上述方式中，基于相机在平行地面方向上的焦距
Figure 138506DEST_PATH_IMAGE089
和灭点沿第二方向分别至各拟 合线的距离，近似得到偏航角观测值的偏差，提升偏差的准确性。
在一些实施例中，上述基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系，以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及相机在平行地面方向上的焦距，以及灭点沿第二方向分别至各拟合线的距离，得到第二时刻下相机相对于车辆的偏航角观测值的偏差，具体包括如下步骤：获取相机在平行地面方向上的焦距对应的平方值，并基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系，将焦距对应的平方值作为比的后项；基于灭点沿第二方向分别至各拟合线的距离，得到各距离的平方值，对各距离的平方值进行平均，得到距离对应的平均值，并基于灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，将距离对应的平均值作为比的前项；基于比的前项和比的后项，得到第二时刻对应的偏航角观测值的偏差。
记相机在平行地面方向上的焦距为
Figure 19874DEST_PATH_IMAGE089
，则相机在平行地面方向上的焦距对应的平 方值为
Figure 47873DEST_PATH_IMAGE140
。灭点在t3k时刻采集的车道线图像中的坐标记为(vx,vy)，那么灭点沿x2轴分别至 各车道线的拟合线的距离为
Figure 26193DEST_PATH_IMAGE138
，各距离的平方值为
Figure 215866DEST_PATH_IMAGE142
，各距离的平方值 进行平均所得到的与距离对应的平均值为
Figure 115689DEST_PATH_IMAGE144
。
按照基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关 系，以及灭点沿第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，分别 将
Figure 478537DEST_PATH_IMAGE145
和
Figure DEST_PATH_IMAGE146AA
作为比的前项和后项，得到
Figure 780205DEST_PATH_IMAGE148
，该
Figure 406359DEST_PATH_IMAGE149
属于灭点的能量方差，可以直接作为偏航角观测值的偏差，也即
Figure 324636DEST_PATH_IMAGE151
。
上述方式中，将与距离对应的平均值
Figure 428859DEST_PATH_IMAGE152
和相机在平行地面方向上的 焦距对应的平方值
Figure 381771DEST_PATH_IMAGE140
，分别作为比的前项和后项，保证所得到的偏航角观测值的偏差的准 确性。
一些实施例中，偏航角观测值的偏差还可以是
Figure 178826DEST_PATH_IMAGE154
；其中，
Figure 522082DEST_PATH_IMAGE156
，
Figure 226733DEST_PATH_IMAGE158
可以看作是灭点法的系统方差，以进一步提升偏航角观测值偏差的准确性。
在一些实施例中，第二时刻对应的外参包括：第二时刻下相机相对于车辆所处的 地面的高度，相机相对于车辆所处的高度可以记为
Figure 971835DEST_PATH_IMAGE160
。第二时刻下相机相对于车辆相对于 车辆所处的地面的高度是通过如下步骤得到的：基于第二时刻之前得到的相机外参和相机 内参，通过逆透视投影变换，将后帧车道线图像中的车道线从图像坐标系投影至车身坐标 系；基于投影至车身坐标系的车道线间的距离与相机相对于车辆所处的地面的高度成正相 关关系，得到相机相对于车辆所处的地面的高度。
其中，车道线间的距离可以称为车道宽度，单车道宽度，也即左右车道线之间的距离一般为3.5米至3.75米之间，统计均值为3.6米。
计算机设备基于第二时刻之前得到的相机外参和相机内参，通过逆透视投影变换 IPM，将后帧车道线图像中的车道线从图像坐标系投影至车身坐标系中，基于投影至车身坐 标系的车道线间的距离与相机相对于车辆所处的地面的高度成正相关关系，得到相机相对 于车辆所处的地面的高度；相机高度
Figure 736529DEST_PATH_IMAGE160
的求解公式如下：
Figure 567082DEST_PATH_IMAGE162
Figure 75423DEST_PATH_IMAGE164
。
其中，W为车道宽度常量，一般设定为3.6米，（
Figure 940611DEST_PATH_IMAGE166
,
Figure 876206DEST_PATH_IMAGE168
）和（
Figure 928476DEST_PATH_IMAGE170
，
Figure 240509DEST_PATH_IMAGE172
）分别是两条相邻 车道线的经去畸变处理的任意采样点，
Figure 225782DEST_PATH_IMAGE002
和
Figure 269961DEST_PATH_IMAGE126
是灭点法计算得到的俯仰角和偏航 角。
另外，若在第一时刻或第二时刻等输出俯仰角融合值的时刻输出相机高度，则可 以将
Figure 871844DEST_PATH_IMAGE174
公式中通过灭点法计算得到的俯仰角观测值
Figure 925251DEST_PATH_IMAGE002
替换为当前时刻得到的俯仰角 融合值
Figure 499452DEST_PATH_IMAGE024
；示例性地，由于在t2k会得到俯仰角融合值
Figure 776849DEST_PATH_IMAGE030
，因此，可以将
Figure 334869DEST_PATH_IMAGE174
公式 中的俯仰角观测值
Figure 660809DEST_PATH_IMAGE002
替换为俯仰角融合值
Figure 417412DEST_PATH_IMAGE030
，得到t2k时刻的相机高度，实现 相机高度的更新。
上述方式中，利用车道宽度与相机高度成正相关的关系，求解相机高度，提升相机高度的准确性。
在一些实施例中，在晚于第二时刻且早于第二时刻的第三时刻的情况下，由于车载相机在第三时刻未采集车道线图像，因此，可以将运动积分得到的俯仰角预测值作为第三时刻的相机外参并输出，具体包括如下步骤：确定晚于第一时刻且早于第二时刻的第三时刻；根据从第一时刻至第三时刻采集到的俯仰角速度，对第一时刻对应的俯仰角融合值进行运动积分处理，得到第三时刻对应的俯仰角预测值，以及根据从第一时刻至第三时刻采集到的俯仰角速度各自的偏差，对第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到第三时刻对应的俯仰角预测值的偏差；基于第三时刻对应的俯仰角预测值以及第三时刻对应的俯仰角预测值的偏差，输出第三时刻对应的相机外参。
以第三时刻为t3k-1为例介绍，对应地，第一时刻为t2k：惯性传感器从t2k至t3k-1采集 到的俯仰角速度为ωy(t2k)、ωy(t2k+1)、…、ωy(t3k-1)。以t2k下的俯仰角融合值
Figure 803394DEST_PATH_IMAGE030
为基础，根据惯性传感器从t2k至t3k-1采集到的俯仰角速度，进行俯仰角积分，得到t3k-1下的 俯仰角预测值，也即：
Figure 583131DEST_PATH_IMAGE176
。
同样地，t3k-1下的俯仰角预测值
Figure 775078DEST_PATH_IMAGE178
的偏差
Figure 323871DEST_PATH_IMAGE180
是以
Figure 146334DEST_PATH_IMAGE030
的偏差
Figure 210105DEST_PATH_IMAGE036
为基础，根据得到
Figure 143425DEST_PATH_IMAGE178
的俯仰角积分所用的俯仰角速度各自的偏 差，进行偏差积分得到的，也即：
Figure 609042DEST_PATH_IMAGE182
。
计算机设备将得到的
Figure 602406DEST_PATH_IMAGE178
和
Figure 91156DEST_PATH_IMAGE180
作为t3k-1下的相机外参进行输 出。
另外，由于相机的偏航角和高度受道路颠簸或急刹车的影响较小，在实际应用中 无需高频更新，因此，计算机设备可以将在t2k时刻通过灭点得到的偏航角观测值
Figure 890485DEST_PATH_IMAGE126
作为 t3k-1下的相机外参进行输出，以及将t2k时刻得到的相机高度
Figure 413870DEST_PATH_IMAGE160
作为t3k-1下的相机外参进行 输出。
上述方式中，在无基于灭点输出的俯仰角观测值的情况下，直接将俯仰角积分结果作为当前时刻的相机外参进行输出，实现相机外参的高频输出。
本申请提供一种相机外参的生成方法，主要包括俯仰角的生成步骤、偏航角的生成步骤和相机高度的生成步骤。
以下结合图6至图7介绍俯仰角的生成步骤：
步骤S1，确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻，以及确定基于车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻；
其中，车道线图像是设置于车辆上的相机采集的包括车道线的图像；其中，所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值；
步骤S2，确定车道线在后帧车道线图像的拟合线和灭点，具体包括：
步骤S21，确定各车道线在后帧车道线图像中的拟合线；
步骤S22，确定后帧车道线图像上的多个候选点，并基于候选点各自沿同一方向至不同拟合线的距离，得到候选点各自的距离和；
步骤S23，将多个候选点中距离和最小的候选点作为车道线在后帧车道线图像上的灭点；
步骤S3，确定上述下一俯仰角观测值，具体包括：
步骤S31，将在图像坐标系中，车道线在后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第一坐标值；
步骤S32，将在相机坐标系中相机的光心在垂直地面方向上的偏移量，作为第一偏移量；
步骤S33，将第一坐标值与第一偏移量的差值作为第一差值，得到第一差值与相机在垂直地面方向上的焦距之间的比值；
步骤S34，对第一差值与相机在垂直地面方向上的焦距之间的比值进行反正切处理，得到上述下一俯仰角观测值；
步骤S4，确定上述下一俯仰角观测值的偏差，具体包括：
步骤S41，将车道线图像中，俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向，得到灭点沿第一方向分别至各拟合线的距离；
步骤S42，获取相机在垂直地面方向上的焦距对应的平方值，并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，将焦距对应的平方值作为比的后项；
步骤S43，基于灭点沿第一方向分别至各拟合线的距离，得到各距离的平方值，对各距离的平方值进行平均，得到距离对应的平均值，并基于灭点沿第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，将距离对应的平均值作为比的前项；
步骤S44，基于比的前项和比的后项，得到上述下一俯仰角观测值的偏差；
步骤S5，确定第二时刻下的俯仰角预测值和第二时刻下的俯仰角预测值的偏差，具体包括：
步骤S51，获取从第一时刻起至第二时刻，位于车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差；
步骤S52，根据从第一时刻至第二时刻采集到的俯仰角速度，对第一时刻下的俯仰角融合值进行运动积分处理，得到第二时刻下的俯仰角预测值；
步骤S53，根据从第一时刻至第二时刻采集到的俯仰角速度各自的偏差，对第一时刻下的俯仰角融合值的偏差进行运动积分处理，得到第二时刻下的俯仰角预测值的偏差；
其中，第一时刻下的俯仰角融合值的偏差是通过如下步骤得到的：分别将第一时刻下的俯仰角观测值的偏差和第一时刻下的俯仰角预测值的偏差，作为比的前项和后项，得到第一时刻下的偏差比值；基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系，以及第一时刻下的偏差比值，确定针对第一时刻下的俯仰角预测值的偏差的修正程度；按针对第一时刻下的俯仰角预测值的偏差的修正程度，对第一时刻下的俯仰角预测值的偏差进行修正，并将修正结果作为第一时刻下的俯仰角融合值的偏差。
步骤S6，融合上述下一俯仰角观测值和第二时刻下的俯仰角预测值，得到第二时刻下的俯仰角融合值，具体包括：
步骤S61，基于上述下一俯仰角观测值与第二时刻下的俯仰角预测值之间的相对大小，得到对第二时刻下的俯仰角预测值进行修正的可能修正量；
步骤S62，基于上述下一俯仰角观测值的偏差和第二时刻下的俯仰角预测值的偏差，得到第二时刻下的偏差比值；
步骤S63，基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系，确定针对第二时刻下的俯仰角预测值的修正程度；
步骤S64，利用针对第二时刻下的俯仰角预测值的修正程度，调节可能修正量，得到实际修正量；
步骤S65，按实际修正量，对第二时刻下的俯仰角预测值进行修正，并将修正结果作为第二时刻下的俯仰角融合值。
以下介绍偏航角的生成步骤：
步骤S71，将在图像坐标系中，车道线在后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第二坐标值；
步骤S72，将在相机坐标系中相机的光心在平行地面方向上的偏移量，作为第二偏移量；
步骤S73，将第二坐标值与第二偏移量的差值作为第二差值，得到第二差值与相机在平行地面方向上的焦距之间的比值；
步骤S74，对第二差值与相机在平行地面方向上的焦距之间的比值进行反正切处理，得到第二时刻下相机相对于车辆的偏航角观测值。
以下介绍相机高度的生成步骤：
步骤S81，基于第二时刻之前得到的相机外参和相机内参，通过逆透视投影变换，将后帧车道线图像中的车道线从图像坐标系投影至车身坐标系；
步骤S82，基于投影至车身坐标系的车道线间的距离与相机相对于车辆所处的地面的高度成正相关关系，得到相机相对于车辆所处的地面的高度。
计算机设备将第二时刻下的俯仰角融合值、偏航角观测值和相机高度作为第二时刻对应的相机外参进行输出。
针对晚于第一时刻且早于第二时刻的第三时刻的相机外参：
计算机设备可以通过如下步骤输出第三时刻的俯仰角：根据从第一时刻至第三时刻采集到的俯仰角速度，对第一时刻对应的俯仰角融合值进行运动积分处理，得到第三时刻对应的俯仰角预测值，并作为第三时刻的相机外参进行输出。
计算机设备可以将第一时刻得到的偏航角观测值作为第三时刻的偏航角进行输出，将第一时刻得到的相机高度作为第三时刻的相机高度进行输出。
上述提供的相机外参标定方案能够自动化地标定车载相机相对车身的俯仰角、偏航角和相机高度，这三个参数在AR车辆导航定位、众包地图数据生产、ADAS、以及自动驾驶等实际应用场景中是较为重要的相机外参，对这个三个参数的进行动态实时的标定能够极大提升相关应用的数据精度和体验效果。
为了更好地理解上述方法，以下详细阐述一个本申请相机外参的生成方法的应用实例。本应用实例的惯性传感器为IMU，通过融合车道线图像的检测结果和IMU信息，实现车载相机的外参标定，主要包括：
（1）利用车道线图像中多条车道线检测结果，根据车道线的平行性和车道宽度估计车载相机相对车身的外参；
（2）利用IMU信息，通过运动积分计算车载相机外参在连续两帧图像之间的变化量；
（3）利用车道线图像车道检测结果估计的外参和IMU信息计算的外参变化量，通过卡尔曼滤波融合输出实时外参结果。
本应用实例可以应用于地图中AR车辆定位导航以及基于众包设备的地图数据生产。对于AR车辆定位导航，本应用实例的算法包一般运行在车机平台上；对于基于众包设备的地图数据生产，本应用实例的算法包也可以运行在云端，但图像（或车道线检测结果）和IMU信息也需要同步发送到云端。
本应用实例，主要包括以下三个模块：
一、车道线图像检测模块：
从车载相机拍摄的车道线图像中检测车道线是本应用实例的二维基础模块。该模块的输入对象是单帧车道线图像，输出的是车道线的像素采样点，且根据像素采样点是否属于同一根车道线进行分组。车载相机一般水平朝前安装在前挡风玻璃中间偏上位置。考虑到图像水平视野有限，一般只要求检测以车辆中心的左/中/右三条车道内的四条车道线。
二、基于车道线检测结果的相机外参估计模块：
根据车道线检测结果估计相机外参是本应用实例的三维基础模块。该模块的输入 对象是已经分好组的车道线的像素采样点，输出相机相对车身坐标系的高度
Figure 312556DEST_PATH_IMAGE160
，俯仰角观 测值
Figure 350919DEST_PATH_IMAGE002
和偏航角观测值
Figure 626042DEST_PATH_IMAGE126
。车身坐标系的原点设定在两个后轮接地点的连线的中心 点，即位于后轮轴中心点的正下方。车身坐标系的x轴正方向朝前，y轴的正方向朝着车辆前 进方向的左侧，z轴的正方向垂直地面向上，翻滚角Roll，俯仰角Pitch，偏航角Yaw分别沿x， y，z轴的旋转。因为水平偏移（Tx, Ty）和翻滚角（Roll）的精度于对于车载相机外参的应用 一般不敏感，所以水平偏移可以通过标尺测量得到（5cm误差范围以内），翻滚角由车厂安装 保证为0度（1度误差范围内）。
三、融合IMU信息的相机外参实时更新模块：
融合IMU信息的相机外参实时更新是本应用实例的核心效果模块。其输入包括两部分，一部分是基于车道线检测结果估计的相机外参，即前一模块的输出，另一部分是IMU信息，即加速度和旋转角速度。其输出的是融合了两部分输入后实时计算的相机外参。IMU一般附着安装在相机的固定支架上。车载相机采集图像并完成车道线检测的频率一般较低，例如1Hz。如果只依赖车道线检测结果，相机外参输出频率只能达到1Hz，且在车道线检测缺失的情况下不能更新外参输出。IMU的输出频率通常高达50~100Hz，融合IMU信息后，外参的输出可达到相同频率（实时更新一般要求30Hz以上），且在车道线缺失或者漏检的情况下能够维持外参更新输出。
以下具体介绍上述三个模块：
一、车道线图像检测模块：
车道线图像检测采用的是深度学习技术。深度学习网络架构使用基础网络是shufflenetv2。其基本原理是首先在大量训练图像中标注车道线的像素采样点，然后将标注结果和原始图像输入到shufflenetv2网络中进行训练，训练完成后的网络，对于新的未标注的图像，也具备检测能力。
网络输出的检测结果包含两个部分，第一部分是像素采样点的坐标，第二部分是像素采样点的特征向量。特征向量的距离越近代表像素采样点属于同一根车道线的概率越大。根据特征向量之间的距离对像素采样点进行聚类就能得到分组的采样点，每组像素采样点都来自同一根车道线。
采用shufflenetv2的主要原因是其模型比较轻量，适合在车机平台上部署运行。检测车道线像素采样点而不是像素分割面则是为了提升聚类分组的效率。
二、基于车道线检测结果的相机外参估计
通过车道线图像检测结果估计相机外参主要基于两个假设。第一个是车道线在三维空间的平行性，第二个是车道线到图像的投影满足透视变换关系。第一个假设在统计意义上是成立的，除了少量的分叉道路场景；第二个假设则要求图像经过去畸变。相机的畸变系数在车辆出厂前一般已经标定，根据畸变系数就能对图像去畸变。为了提高效率，本应用实例直接对检测到的车道线的像素采样点做去畸变而不对全图做去畸变。
在车道线互相平行且投影到图像是透视变换的情况下，可以通过灭点法计算相机 的俯仰角观测值
Figure 3934DEST_PATH_IMAGE002
和偏航角观测值
Figure 401417DEST_PATH_IMAGE126
，通过车道线IPM投影计算相机的高度
Figure 599181DEST_PATH_IMAGE160
。具体 算法流程如下：
（1）直线拟合与筛选：对每组经过去畸变车道线像素采样点进行直线拟合，得到用于表征车道线的拟合线的直线方程y=kix+bi；ki和bi分别代表直线在图像坐标系下的斜率和截距，i表示不同的车道线；其中图像坐标系是以图像左上角为原点，向右为x轴正方向，向下为y轴正方向，图像宽度w，高度h（单位：像素）。每条拟合线与图像下边界的交点的横坐标为xi=(bi-h)/ki，从多条拟合线中筛选出与图像下边界的交点最靠近图像中心线x=w/2左右两边各2条拟合线（根据道路情况，总共最多4条，最少需要2条）。
（2）基于车道线在图像中的灭点计算俯仰角观测值
Figure 740312DEST_PATH_IMAGE002
和偏航角观测值
Figure 972710DEST_PATH_IMAGE126
： 如图5所示，车道线111的拟合线和车道线112的拟合线条在车道线图像上汇聚于一点，即灭 点(vx,vy)。灭点(vx,vy)可以采用最小二乘法计算，最小化能量式为：
Figure 478778DEST_PATH_IMAGE184
该最小化问题可以通过拉格朗日乘数法转化为线性方程求解。求解出灭点(vx,vy) 后，计算俯仰角观测值
Figure 226154DEST_PATH_IMAGE002
和偏航角观测值
Figure 108659DEST_PATH_IMAGE126
的公式如下：
Figure 195564DEST_PATH_IMAGE186
其中，
Figure 934850DEST_PATH_IMAGE089
和
Figure 107205DEST_PATH_IMAGE091
分别是相机在x轴、y轴方向上的焦距，
Figure 793401DEST_PATH_IMAGE114
和
Figure 797130DEST_PATH_IMAGE116
分别是相机在x轴、y轴 方向上的中心点偏移量；
Figure 645000DEST_PATH_IMAGE089
、
Figure 570231DEST_PATH_IMAGE091
、
Figure 602995DEST_PATH_IMAGE114
和
Figure 664492DEST_PATH_IMAGE116
均是车辆出厂前预先标定好的相机内参。俯仰角观 测值
Figure 683263DEST_PATH_IMAGE002
的偏差
Figure 892528DEST_PATH_IMAGE188
和偏航角观测值
Figure 654948DEST_PATH_IMAGE126
的偏差
Figure 633268DEST_PATH_IMAGE190
与灭点的能量方差成正相关，本应用 实例所采用的近似计算公式为：
Figure 88520DEST_PATH_IMAGE192
Figure 457184DEST_PATH_IMAGE194
其中，
Figure 820033DEST_PATH_IMAGE112
和
Figure 121701DEST_PATH_IMAGE158
是灭点法的系统方差，在本应用实例中，可设置为
Figure 482275DEST_PATH_IMAGE196
，
Figure 400553DEST_PATH_IMAGE198
。
（3）计算相机高度
Figure 504775DEST_PATH_IMAGE160
：若已知相机内参和相机外参，可以通过IPM将车道线从图像 坐标系投影变换到车身坐标系。投影到车身坐标系后，车道线之间的距离（即车道宽度）与 相机的高度成正比。利用这一特性，相机的高度可以利用车道宽度来求解。单车道的宽度, 即左右两条车道线之间的距离一般为3.5~3.75米，统计均值3.6米。相机高度
Figure 660950DEST_PATH_IMAGE160
的求解公式 如下，
Figure 254742DEST_PATH_IMAGE200
Figure 597999DEST_PATH_IMAGE202
。
其中，W为车道宽度常量，一般设定为3.6米，（
Figure 302649DEST_PATH_IMAGE166
,
Figure 47752DEST_PATH_IMAGE168
）和（
Figure 812445DEST_PATH_IMAGE170
，
Figure 642998DEST_PATH_IMAGE172
）分别是两条相邻 车道线的经过去畸变的任意采样点，
Figure 354602DEST_PATH_IMAGE002
和
Figure 16528DEST_PATH_IMAGE126
是灭点法计算得到的俯仰角和偏航角。
三、融合IMU信息的相机外参实时更新模块：
IMU信息包括旋转角速度和加速度以及它们的测量方差（也即偏差）。本应用实例 主要使用旋转角速度（ωx,ωy,ωz）中的俯仰角速度ωy及其测量方差（也可以称为偏差）
Figure 889806DEST_PATH_IMAGE204
，对高频的俯仰角速度进行运动积分可以实时更新相机的俯仰角Pitch。
设基于车载相机采集的车道线图像中的车道线灭点，每隔0.01×k秒输出一个俯 仰角观测值，IMU每隔0.01秒采集一次俯仰角速度。若t0时刻为初始时刻，t0时刻下没有俯仰 角融合值，此时可以以t0时刻下通过灭点法计算得到的俯仰角观测值
Figure 473234DEST_PATH_IMAGE206
为基础，进 行俯仰角积分，得到tk时刻下的俯仰角预测值，所用的俯仰角积分公式为（可以理解的是， 在t0时刻至tk时刻之间的任一时刻的俯仰角预测值都可以利用如下公式确定）：
Figure 519687DEST_PATH_IMAGE208
；
同样地，t0时刻下没有俯仰角融合值的偏差，此时可以以俯仰角观测值
Figure 239381DEST_PATH_IMAGE206
的偏差
Figure 345878DEST_PATH_IMAGE210
为基础，进行偏差积分，得到tk时刻下的俯仰角预测值的偏差，所用的偏差积 分公式为（可以理解的是，在t0时刻至tk时刻之间的任一时刻的俯仰角预测值的偏差都可以 利用如下公式确定）：
Figure 151023DEST_PATH_IMAGE212
在tk时刻下，车载相机再次采集车道线图像，此时通过灭点法计算得到的俯仰角 观测值为
Figure 1167DEST_PATH_IMAGE214
，该俯仰角观测值的偏差为
Figure 840947DEST_PATH_IMAGE216
；由于tk时刻下基于俯仰角积分得 到的俯仰角预测值为
Figure 56028DEST_PATH_IMAGE218
，该俯仰角预测值的偏差为
Figure 410786DEST_PATH_IMAGE220
，此时可以通过卡尔曼 滤波将tk时刻下的俯仰角观测值和tk时刻下的俯仰角预测值进行融合，得到tk时刻下的俯 仰角融合值
Figure 736725DEST_PATH_IMAGE222
，并且将tk时刻下的俯仰角观测值的偏差和tk时刻下的俯仰角预测 值的偏差进行融合，得到俯仰角融合值
Figure 431011DEST_PATH_IMAGE222
的偏差
Figure 144889DEST_PATH_IMAGE224
，计算公式如下：
Figure 659047DEST_PATH_IMAGE226
Figure 850994DEST_PATH_IMAGE228
Figure 399787DEST_PATH_IMAGE230
其中，
Figure 222250DEST_PATH_IMAGE050
为针对俯仰角预测值的修正程度，也可以称为卡尔曼增益；
Figure 286021DEST_PATH_IMAGE232
表示对tk 时刻下的俯仰角预测值
Figure 219342DEST_PATH_IMAGE218
的修正程度。
当n为大于等于2的整数时，计算机设备可以输出t(n-1)k时刻下的俯仰角融合值，因此得到tnk时刻下的俯仰角预测值所用的俯仰角积分的公式为（可以理解的是，在t(n-1)k时刻至tnk时刻之间的任一时刻的俯仰角预测值都可以利用如下公式确定）：
Figure 684958DEST_PATH_IMAGE234
得到tnk时刻下的俯仰角预测值的偏差，所用的偏差积分的公式为（可以理解的是，在t(n-1)k时刻至tnk时刻之间的任一时刻的俯仰角预测值的偏差都可以利用如下公式确定）：
Figure 412743DEST_PATH_IMAGE236
由于相机的偏航角和相机高度受道路颠簸或者急刹车的影响较小，实际应用中一 般不需要高频更新。偏航角可以直接采用灭点法进行更新即可，相机高度则可将其计算公 式中的灭点法计算的
Figure 963810DEST_PATH_IMAGE002
替换为卡尔曼滤波融合后的
Figure 700822DEST_PATH_IMAGE024
。当俯仰角通过运动积分进 行高频更新输出时，偏航角和相机高度可以同步输出上次灭点法计算的结果，最终实现整 体的高频外参输出。
本应用实例提供的车载相机外参标定方案能够自动化地标定车载相机相对车身的俯仰角、偏航角和相机高度，这三个参数在AR车辆导航定位、众包地图数据生产、ADAS、以及自动驾驶等实际应用场景中是较为重要的相机外参，对这个三个参数的进行动态实时的标定能够极大提升相关应用的数据精度和体验效果。
图8展示的是俯仰角最终的卡尔曼滤波融合效果，其中
Figure 958628DEST_PATH_IMAGE002
是低频的灭点法计算 的俯仰角观测值，ωy是高频的俯仰角速度，
Figure 185210DEST_PATH_IMAGE024
是高频的俯仰角融合值。如图8所示，灭点 法输出的
Figure 426835DEST_PATH_IMAGE002
不但频率较低，而且间隔不均匀，这是某些情况下灭点计算失败导致的，例 如车道线缺失，车道线漏检或者图像漏传；IMU输出的俯仰角速度ωy频率很高，但是存在一 些不连续的跳点，这是车身遭遇颠簸或者急刹车等情况导致的；最终融合输出的俯仰角
Figure 436379DEST_PATH_IMAGE024
不仅频率高，而且光滑连续，克服了
Figure 876588DEST_PATH_IMAGE002
和ωy数据中存在问题。
本应用实例中的图像车道线检测模块，还可以利用LaneNet等深度学习方案、或者Hough变换方案实现。本应用实例的灭点法计算俯仰角观测值和偏航角观测值还可以根据先对拟合线两两求交，求出多个灭点，然后解算出多组俯仰角观测值和偏航角观测值进行平均得到。本应用实例的卡尔曼滤波融合可以替换为无迹卡尔曼滤波、粒子滤波等。
本应用实例提出了一种新的标定车载相机外参的方案。该方案是一种自标定方案，没有场地限制和额外的人力设备成本。其次，该方案提取图像中的车道线作为语义特征，对比常规SLAM算法提取图像点特征，车道线特征更加稳定，不容易受道路外部环境影响。最后，该方案通过卡尔曼滤波融合了IMU信息，不但克服了部分路段车道线磨损或缺失的问题，而且能够输出动态的实时外参，适配了道路颠簸或者急刹车等引起外参变化的情况。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种相机外参的生成装置，包括：
时刻确定模块901，用于确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻，以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻；车道线图像是设置于车辆上的相机采集的包括车道线的图像；所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值；
角速度和角速度偏差的获取模块902，用于获取从所述第一时刻起至所述第二时刻，位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差；
运动积分模块903，用于根据从所述第一时刻至所述第二时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第二时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第二时刻对应的俯仰角预测值的偏差；
俯仰角观测值的偏差获取模块904，用于获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差；
融合模块905，用于根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差，对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后，得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
在一些实施例中，俯仰角观测值的偏差获取模块904，还用于确定各车道线在所述后帧车道线图像中的拟合线；将车道线图像中，俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向，得到所述灭点沿所述第一方向分别至各拟合线的距离；基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述灭点沿所述第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差。
在一些实施例中，俯仰角观测值的偏差获取模块904，还用于获取所述相机在垂直地面方向上的焦距；基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述相机在垂直地面方向上的焦距，以及所述灭点沿第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差。
在一些实施例中，俯仰角观测值的偏差获取模块904，还用于获取所述相机在垂直地面方向上的焦距对应的平方值，并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，将焦距对应的平方值作为比的后项；基于所述灭点沿所述第一方向分别至各拟合线的距离，得到各距离的平方值，对各距离的平方值进行平均，得到距离对应的平均值，并基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，将距离对应的平均值作为比的前项；基于所述比的前项和所述比的后项，得到所述下一俯仰角观测值的偏差。
在一些实施例中，所述装置还包括俯仰角观测值获取模块，用于将在图像坐标系中，车道线在所述后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第一坐标值；将在相机坐标系中所述相机的光心在垂直地面方向上的偏移量，作为第一偏移量；基于所述第一坐标值与所述第一偏移量之间的相对大小，以及所述相机在垂直地面方向上的焦距，得到所述下一俯仰角观测值。
在一些实施例中，俯仰角观测值获取模块，还用于将所述第一坐标值与所述第一偏移量的差值作为第一差值，得到所述第一差值与所述相机在垂直地面方向上的焦距之间的比值；对所述第一差值与所述相机在垂直地面方向上的焦距之间的比值进行反正切处理，得到所述下一俯仰角观测值。
在一些实施例中，所述第二时刻对应的外参包括：所述第二时刻下所述相机相对于车辆的偏航角观测值；
所述装置还包括偏航角观测值获取模块，用于将在图像坐标系中，车道线在所述后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第二坐标值；将在相机坐标系中所述相机的光心在平行地面方向上的偏移量，作为第二偏移量；基于所述第二坐标值与所述第二偏移量之间的相对大小，以及所述相机在平行地面方向上的焦距，得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中，所述偏航角观测值获取模块，还用于将所述第二坐标值与所述第二偏移量的差值作为第二差值，得到所述第二差值与所述相机在平行地面方向上的焦距之间的比值；对所述第二差值与所述相机在平行地面方向上的焦距之间的比值进行反正切处理，得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
在一些实施例中，所述装置还包括偏航角观测值的偏差获取模块，用于确定各车道线在所述后帧车道线图像中的拟合线；将车道线图像中，偏航角变化引起灭点在车道线图像中的位置变化的方向作为第二方向，得到所述灭点沿所述第二方向分别至各拟合线的距离；基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及所述灭点沿所述第二方向分别至各拟合线的距离，得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中，偏航角观测值的偏差获取模块，还用于获取所述相机在平行地面方向上的焦距；基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系，以及灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及所述相机在平行地面方向上的焦距，以及所述灭点沿所述第二方向分别至各拟合线的距离，得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
在一些实施例中，所述第二时刻对应的外参包括：所述第二时刻下所述相机相对于所述车辆所处的地面的高度；
所述装置还包括相机高度获取模块，用于基于所述第二时刻之前得到的相机外参和相机内参，通过逆透视投影变换，将所述后帧车道线图像中的车道线从图像坐标系投影至车身坐标系；基于投影至所述车身坐标系的车道线间的距离与相机相对于所述车辆所处的地面的高度成正相关关系，得到所述相机相对于所述车辆所处的地面的高度。
在一些实施例中，所述装置还包括俯仰角融合值的偏差获取模块，用于分别将所述第一时刻对应的俯仰角观测值的偏差和所述第一时刻对应的俯仰角预测值的偏差，作为比的前项和后项，得到所述第一时刻对应的偏差比值；基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系，以及所述第一时刻对应的偏差比值，确定针对所述第一时刻对应的俯仰角预测值的偏差的修正程度；按针对所述第一时刻对应的俯仰角预测值的偏差的修正程度，对所述第一时刻对应的俯仰角预测值的偏差进行修正，并将修正结果作为所述第一时刻对应的俯仰角融合值的偏差。
在一些实施例中，融合模块905，还用于基于所述第二时刻对应的俯仰角观测值与所述第二时刻对应的俯仰角预测值之间的相对大小，得到对所述第二时刻对应的俯仰角预测值进行修正的可能修正量；基于所述第二时刻对应的俯仰角观测值的偏差和所述第二时刻对应的俯仰角预测值的偏差，得到所述第二时刻对应的偏差比值；基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系，确定针对所述第二时刻对应的俯仰角预测值的修正程度；利用针对所述第二时刻对应的俯仰角预测值的修正程度，调节所述可能修正量，得到实际修正量；按所述实际修正量，对所述第二时刻对应的俯仰角预测值进行修正，并将修正结果作为所述第二时刻对应的俯仰角融合值。
在一些实施例中，所述装置还包括灭点获取模块，用于确定各车道线在所述后帧车道线图像中的拟合线；确定所述后帧车道线图像上的多个候选点，并基于候选点各自沿同一方向至不同拟合线的距离，得到候选点各自的距离和；将所述多个候选点中距离和最小的候选点作为车道线在所述后帧车道线图像上的灭点。
在一些实施例中，所述装置还包括低频时段的相机外参输出模块，用于确定晚于所述第一时刻且早于所述第二时刻的第三时刻；根据从所述第一时刻至所述第三时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第三时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第三时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第三时刻对应的俯仰角预测值的偏差；基于所述第三时刻对应的俯仰角预测值以及所述第三时刻对应的俯仰角预测值的偏差，输出所述第三时刻对应的相机外参。
关于相机外参的生成装置的具体限定可以参见上文中对于相机外参的生成方法的限定，在此不再赘述。上述相机外参的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储相机外参的生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种相机外参的生成方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，其上存储有计算机程序，所述计算机程序被处理器执行上述各个方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上的实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (19)

1.一种相机外参的生成方法，其特征在于，所述方法包括：
确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻，以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻；车道线图像是设置于车辆上的相机采集的包括车道线的图像；所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值；
获取从所述第一时刻起至所述第二时刻，位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差；
根据从所述第一时刻至所述第二时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第二时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第二时刻对应的俯仰角预测值的偏差；
获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差；
根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差，对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后，得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
2.根据权利要求1所述的方法，其特征在于，获取基于所述车道线在后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差，包括：
确定各车道线在所述后帧车道线图像中的拟合线；
将车道线图像中，俯仰角变化引起灭点在车道线图像中的位置变化的方向作为第一方向，得到所述灭点沿所述第一方向分别至各拟合线的距离；
基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述灭点沿所述第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差。
3.根据权利要求2所述的方法，其特征在于，所述基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述灭点沿所述第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差，包括：
获取所述相机在垂直地面方向上的焦距；
基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述相机在垂直地面方向上的焦距，以及所述灭点沿第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差。
4.根据权利要求3所述的方法，其特征在于，所述基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，以及灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，以及所述相机在垂直地面方向上的焦距，以及所述灭点沿第一方向分别至各拟合线的距离，得到所述下一俯仰角观测值的偏差，包括：
获取所述相机在垂直地面方向上的焦距对应的平方值，并基于相机在垂直地面方向上的焦距与俯仰角观测值的偏差之间的负相关关系，将焦距对应的平方值作为比的后项；
基于所述灭点沿所述第一方向分别至各拟合线的距离，得到各距离的平方值，对各距离的平方值进行平均，得到距离对应的平均值，并基于灭点沿所述第一方向至拟合线的距离与俯仰角观测值的偏差之间的正相关关系，将距离对应的平均值作为比的前项；
基于所述比的前项和所述比的后项，得到所述下一俯仰角观测值的偏差。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将在图像坐标系中，车道线在所述后帧车道线图像中的灭点在俯仰角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第一坐标值；
将在相机坐标系中所述相机的光心在垂直地面方向上的偏移量，作为第一偏移量；
基于所述第一坐标值与所述第一偏移量之间的相对大小，以及所述相机在垂直地面方向上的焦距，得到所述下一俯仰角观测值。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第一坐标值与所述第一偏移量之间的相对大小，以及所述相机在垂直地面方向上的焦距，得到所述下一俯仰角观测值，包括：
将所述第一坐标值与所述第一偏移量的差值作为第一差值，得到所述第一差值与所述相机在垂直地面方向上的焦距之间的比值；
对所述第一差值与所述相机在垂直地面方向上的焦距之间的比值进行反正切处理，得到所述下一俯仰角观测值。
7.根据权利要求1所述的方法，其特征在于，所述第二时刻对应的外参包括：所述第二时刻下所述相机相对于车辆的偏航角观测值；
所述方法还包括：
将在图像坐标系中，车道线在所述后帧车道线图像中的灭点在偏航角变化引起灭点在车道线图像中的位置变化的方向上的坐标值，作为第二坐标值；
将在相机坐标系中所述相机的光心在平行地面方向上的偏移量，作为第二偏移量；
基于所述第二坐标值与所述第二偏移量之间的相对大小，以及所述相机在平行地面方向上的焦距，得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
8.根据权利要求7所述的方法，其特征在于，所述基于所述第二坐标值与所述第二偏移量之间的相对大小，以及所述相机在平行地面方向上的焦距，得到所述第二时刻下所述相机相对于车辆的偏航角观测值，包括：
将所述第二坐标值与所述第二偏移量的差值作为第二差值，得到所述第二差值与所述相机在平行地面方向上的焦距之间的比值；
对所述第二差值与所述相机在平行地面方向上的焦距之间的比值进行反正切处理，得到所述第二时刻下所述相机相对于车辆的偏航角观测值。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定各车道线在所述后帧车道线图像中的拟合线；
将车道线图像中，偏航角变化引起灭点在车道线图像中的位置变化的方向作为第二方向，得到所述灭点沿所述第二方向分别至各拟合线的距离；
基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及所述灭点沿所述第二方向分别至各拟合线的距离，得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
10.根据权利要求9所述的方法，其特征在于，所述基于灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及所述灭点沿所述第二方向分别至各拟合线的距离，得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差，包括：
获取所述相机在平行地面方向上的焦距；
基于相机在平行地面方向上的焦距与偏航角观测值的偏差之间的负相关关系，以及灭点沿所述第二方向至拟合线的距离与偏航角观测值的偏差之间的正相关关系，以及所述相机在平行地面方向上的焦距，以及所述灭点沿所述第二方向分别至各拟合线的距离，得到所述第二时刻下所述相机相对于车辆的偏航角观测值的偏差。
11.根据权利要求1所述的方法，其特征在于，所述第二时刻对应的外参包括：所述第二时刻下所述相机相对于所述车辆所处的地面的高度；
所述方法还包括：
基于所述第二时刻之前得到的相机外参和相机内参，通过逆透视投影变换，将所述后帧车道线图像中的车道线从图像坐标系投影至车身坐标系；
基于投影至所述车身坐标系的车道线间的距离与相机相对于所述车辆所处的地面的高度成正相关关系，得到所述相机相对于所述车辆所处的地面的高度。
12.根据权利要求1所述的方法，其特征在于，在所述根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第二时刻对应的俯仰角预测值的偏差之前，所述方法还包括：
分别将所述第一时刻对应的俯仰角观测值的偏差和所述第一时刻对应的俯仰角预测值的偏差，作为比的前项和后项，得到所述第一时刻对应的偏差比值；
基于针对俯仰角预测值的偏差的修正程度与偏差比值之间的负相关关系，以及所述第一时刻对应的偏差比值，确定针对所述第一时刻对应的俯仰角预测值的偏差的修正程度；
按针对所述第一时刻对应的俯仰角预测值的偏差的修正程度，对所述第一时刻对应的俯仰角预测值的偏差进行修正，并将修正结果作为所述第一时刻对应的俯仰角融合值的偏差。
13.根据权利要求1所述的方法，其特征在于，根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差，对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后，得到所述第二时刻对应的俯仰角融合值，包括：
基于所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值之间的相对大小，得到对所述第二时刻对应的俯仰角预测值进行修正的可能修正量；
基于所述下一俯仰角观测值的偏差和所述第二时刻对应的俯仰角预测值的偏差，得到所述第二时刻对应的偏差比值；
基于针对俯仰角预测值的修正程度与偏差比值之间的负相关关系，确定针对所述第二时刻对应的俯仰角预测值的修正程度；
利用针对所述第二时刻对应的俯仰角预测值的修正程度，调节所述可能修正量，得到实际修正量；
按所述实际修正量，对所述第二时刻对应的俯仰角预测值进行修正，并将修正结果作为所述第二时刻对应的俯仰角融合值。
14.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定各车道线在所述后帧车道线图像中的拟合线；
确定所述后帧车道线图像上的多个候选点，并基于候选点各自沿同一方向至不同拟合线的距离，得到候选点各自的距离和；
将所述多个候选点中距离和最小的候选点作为车道线在所述后帧车道线图像上的灭点。
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定晚于所述第一时刻且早于所述第二时刻的第三时刻；
根据从所述第一时刻至所述第三时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第三时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第三时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第三时刻对应的俯仰角预测值的偏差；
基于所述第三时刻对应的俯仰角预测值以及所述第三时刻对应的俯仰角预测值的偏差，输出所述第三时刻对应的相机外参。
16.一种相机外参的生成装置，其特征在于，所述装置包括：
时刻确定模块，用于确定基于车道线在前帧车道线图像中的灭点输出上一俯仰角观测值的第一时刻，以及确定基于所述车道线在后帧车道线图像中的灭点输出下一俯仰角观测值的第二时刻；车道线图像是设置于车辆上的相机采集的包括车道线的图像；其中，所述上一俯仰角观测值和所述下一俯仰角观测值是在输出时间上相邻的两个俯仰角观测值；
角速度和角速度偏差的获取模块，用于获取从所述第一时刻起至所述第二时刻，位于所述车辆上的惯性传感器采集的俯仰角速度与俯仰角速度各自的偏差；
运动积分模块，用于根据从所述第一时刻至所述第二时刻采集到的俯仰角速度，对所述第一时刻对应的俯仰角融合值进行运动积分处理，得到所述第二时刻对应的俯仰角预测值，以及根据从所述第一时刻至所述第二时刻采集到的俯仰角速度各自的偏差，对所述第一时刻对应的俯仰角融合值的偏差进行运动积分处理，得到所述第二时刻对应的俯仰角预测值的偏差；
俯仰角观测值的偏差获取模块，用于获取基于所述车道线后帧车道线图像中的灭点得到的所述下一俯仰角观测值的偏差；
融合模块，用于根据所述下一俯仰角观测值的偏差与所述第二时刻对应的俯仰角预测值的偏差，对所述下一俯仰角观测值与所述第二时刻对应的俯仰角预测值进行融合后，得到所述第二时刻对应的俯仰角融合值以输出所述第二时刻对应的相机外参。
17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至15中任一项所述的方法。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至15中任一项所述的方法。
CN202111450008.4A 2021-12-01 2021-12-01 相机外参的生成方法、装置、设备、存储介质和程序产品 Active CN113870367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111450008.4A CN113870367B (zh) 2021-12-01 2021-12-01 相机外参的生成方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111450008.4A CN113870367B (zh) 2021-12-01 2021-12-01 相机外参的生成方法、装置、设备、存储介质和程序产品

Publications (2)

Publication Number Publication Date
CN113870367A true CN113870367A (zh) 2021-12-31
CN113870367B CN113870367B (zh) 2022-02-25

Family

ID=78985369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111450008.4A Active CN113870367B (zh) 2021-12-01 2021-12-01 相机外参的生成方法、装置、设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN113870367B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008142757A1 (ja) * 2007-05-18 2008-11-27 Churyo Engineering Co., Ltd. 単一gpsと慣性データ(加速度,角速度)によるビークル姿勢角の計測方法
US20180340779A1 (en) * 2017-05-23 2018-11-29 Atlantic Inertial Systems Limited Inertial navigation system
CN110440805A (zh) * 2019-08-09 2019-11-12 深圳市道通智能航空技术有限公司 一种偏航角的融合方法、装置及飞行器
CN112800986A (zh) * 2021-02-02 2021-05-14 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN112907678A (zh) * 2021-01-25 2021-06-04 深圳佑驾创新科技有限公司 车载相机外参姿态动态估计方法、装置、计算机设备
CN113326800A (zh) * 2021-06-22 2021-08-31 苏州智加科技有限公司 车道线位置确定方法、装置、车载终端及存储介质
CN113327270A (zh) * 2020-02-28 2021-08-31 炬星科技（深圳）有限公司 视觉惯导方法、装置、设备及计算机可读存储介质
US20210370970A1 (en) * 2020-06-02 2021-12-02 Baidu Online Network Technology (Beijing) Co., Ltd. Positioning Method And Apparatus, Autonomous Driving Vehicle, Electronic Device And Storage Medium

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008142757A1 (ja) * 2007-05-18 2008-11-27 Churyo Engineering Co., Ltd. 単一gpsと慣性データ(加速度,角速度)によるビークル姿勢角の計測方法
US20180340779A1 (en) * 2017-05-23 2018-11-29 Atlantic Inertial Systems Limited Inertial navigation system
CN110440805A (zh) * 2019-08-09 2019-11-12 深圳市道通智能航空技术有限公司 一种偏航角的融合方法、装置及飞行器
CN113327270A (zh) * 2020-02-28 2021-08-31 炬星科技（深圳）有限公司 视觉惯导方法、装置、设备及计算机可读存储介质
US20210370970A1 (en) * 2020-06-02 2021-12-02 Baidu Online Network Technology (Beijing) Co., Ltd. Positioning Method And Apparatus, Autonomous Driving Vehicle, Electronic Device And Storage Medium
CN112907678A (zh) * 2021-01-25 2021-06-04 深圳佑驾创新科技有限公司 车载相机外参姿态动态估计方法、装置、计算机设备
CN112800986A (zh) * 2021-02-02 2021-05-14 深圳佑驾创新科技有限公司 车载摄像头外参标定方法、装置、车载终端和存储介质
CN113326800A (zh) * 2021-06-22 2021-08-31 苏州智加科技有限公司 车道线位置确定方法、装置、车载终端及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FENG WEIWU 等: "Inertial measurement unit aided extrinsic parameters calibration for stereo vision systems", 《OPTICS AND LASER IN ENGINEERING》 *
LIU ZHENBO 等: "Motion Constraints and Vanishing Point Aided Land", 《MICROMACHINES》 *

Also Published As

Publication number Publication date
CN113870367B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
US8233660B2 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
US20180307922A1 (en) Method of detecting obstacle around vehicle
CN112907678B (zh) 车载相机外参姿态动态估计方法、装置、计算机设备
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
CN112815939B (zh) 移动机器人的位姿估计方法及计算机可读存储介质
CN110865650A (zh) 基于主动视觉的无人机位姿自适应估计方法
CN109949364B (zh) 一种基于路侧单目摄像头的车辆姿态检测精度优化方法
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
CN113503873A (zh) 一种多传感器融合的视觉定位方法
JP7145770B2 (ja) 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム
CN112862818B (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
CN110598370A (zh) 基于sip和ekf融合的多旋翼无人机鲁棒姿态估计
CN112146620B (zh) 目标物体的测距方法及装置
CN113870367B (zh) 相机外参的生成方法、装置、设备、存储介质和程序产品
CN114913500B (zh) 位姿确定方法、装置、计算机设备和存储介质
KR102506411B1 (ko) 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체
JP2022190173A (ja) 位置推定装置
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
Ernst et al. Large-scale 3D Roadside Modelling with Road Geometry Analysis: Digital Roads New Zealand
Lee et al. LiDAR Ground Detection based Dynamic Inverse Perspective Mapping of BEV Lanes
WO2022179047A1 (zh) 一种状态信息估计方法及装置
JP2013159246A (ja) 車両位置姿勢推定装置及びプログラム
WO2022198590A1 (zh) 一种标定方法、装置、智能驾驶系统和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant