CN112348902B - 路端相机的安装偏差角标定方法、装置及系统 - Google Patents
路端相机的安装偏差角标定方法、装置及系统 Download PDFInfo
- Publication number
- CN112348902B CN112348902B CN202011412554.4A CN202011412554A CN112348902B CN 112348902 B CN112348902 B CN 112348902B CN 202011412554 A CN202011412554 A CN 202011412554A CN 112348902 B CN112348902 B CN 112348902B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- transformation matrix
- road
- camera
- monocular camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000009434 installation Methods 0.000 title claims abstract description 47
- 230000009466 transformation Effects 0.000 claims abstract description 202
- 239000011159 matrix material Substances 0.000 claims abstract description 180
- 239000003550 marker Substances 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种路端相机的安装偏差角标定方法、装置及系统，方法应用于自动驾驶车辆中的车载处理器，车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；自动驾驶车辆内置组合导航设备和激光雷达；方法包括：获取激光雷达采集的点云数据；获取组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取单目相机采集的图像数据；根据点云数据、变换关系和图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵；根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定。本申请能够通过车载处理器完成路端相机的安装偏差角的自标定过程。
Description
技术领域
本申请涉及相机标定技术领域，尤其是涉及一种路端相机的安装偏差角标定方法、装置及系统。
背景技术
在L4级及以上级别的自动驾驶中，车路协同是必不可少的一部分，车路协同中路基感知系统为决策系统提供路端信息、环境信息，也可以在车辆定位失效时辅助车辆定位，是自动驾驶系统的重要支撑。路基感知系统中传感器组成方案通常有单目摄像头方案、激光加单目摄像头方案、双目摄像头方案等等，单目摄像头方案因为成本低、结构简单被大量使用。
单目摄像头通常使用吊臂安装于路边的路杆上，其拥有俯仰和航向两个自由度，横滚与地面平行固定。在安装时，俯仰和航向会做安装标定，以获得安装偏差角，然而经过长时间的环境影响后，其安装偏差角会发生变化，使得摄像头获得的数据不再准确，不能为决策、定位系统提供准确的参考，甚至会造成错误的决策。
传统的方法是采用人工手持标定板在预先测定的坐标上为安装偏差角的矫正提供基准，然而在高速公路上路基摄像头可能多达十万个以上，使用人工来标定所有摄像头是耗费巨大的行为。
发明内容
本申请的目的在于提供一种路端相机的安装偏差角标定方法、装置及系统，能够通过车载处理器完成路端相机的安装偏差角的自标定过程。
第一方面，本申请实施例提供一种路端相机的安装偏差角标定方法，方法应用于自动驾驶车辆中的车载处理器，车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；自动驾驶车辆内置组合导航设备和激光雷达；方法包括：获取激光雷达采集的点云数据；点云数据为激光雷达对安装于路杆上的单目相机进行扫描得到的；获取组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取单目相机采集的图像数据；图像数据为单目相机对标记有至少四个标志角点的自动驾驶车辆拍摄得到的图像；根据点云数据、世界坐标系与本车坐标系的变换关系、及图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵；根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定；其中，当前估计位姿变换矩阵和初始估计位姿变换矩阵均是由相机坐标系到路杆坐标系的位姿变换矩阵。
进一步的，上述根据点云数据、变换关系和图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵的步骤，包括：根据点云数据，确定由激光雷达坐标系到路杆坐标系的估计平移变换矩阵；对图像数据进行目标检测，得到图像中各标志角点的像素坐标，并基于各标志角点的像素坐标，利用PNP算法计算得到由相机坐标系到世界坐标系的估计位姿变换矩阵；基于估计平移变换矩阵、世界坐标系与本车坐标系的变换关系、由相机坐标系到世界坐标系的估计位姿变换矩阵，计算单目相机的当前估计位姿变换矩阵。
进一步的，上述根据点云数据，确定由激光雷达坐标到路杆坐标的估计平移变换矩阵的步骤，包括：对点云数据进行体素网格处理，得到点云数据对应的多个体素；根据每个体素对应的协方差阵中的特征值，计算每个体素对应的杆状检测指标；如果连续指定个体素分别对应的杆状检测指标均大于预设阈值，确定连续指定个体素为路杆；从点云数据中提取路杆对应的点云，得到由激光雷达坐标到路杆坐标的估计平移变换矩阵。
进一步的，上述根据每个体素对应的协方差阵中的特征值，计算路杆检测指标的步骤，包括：通过以下公式计算路杆检测指标Sj：
其中，为协方差阵Covj的特征值；α为调节因子；
其中，为第j个体素的均值中心，pi为该体素内的一个点，n为体素内的点数，记为Covj的特征值，且/>
进一步的，上述基于各标志角点的像素坐标，利用PNP算法计算得到由相机坐标系到世界坐标系的估计位姿变换矩阵的步骤，包括：获取各标志角点在车体坐标系中的车体坐标；将车体坐标由车体坐标系转换到世界坐标系中，得到各标志角点的世界坐标；基于各标志角点的世界坐标、各标志角点的像素坐标，利用PNP算法求解出由相机坐标系到世界坐标系的估计位姿变换矩阵。
进一步的，上述基于估计平移变换矩阵、世界坐标系与本车坐标系的变换关系、由相机坐标系到世界坐标系的估计位姿变换矩阵，计算单目相机的当前估计位姿变换矩阵的步骤，包括：通过以下公式计算单目相机的当前估计位姿变换矩阵
其中，I3×3为单位矩阵；和/>分别为预先标定的由车体坐标系b系到激光雷达坐标系M系的初始估计位姿变换矩阵中的旋转变换矩阵和平移变换矩阵；/>和/>分别为世界坐标系W系与车体坐标系b系的变换关系中的旋转变换矩阵和平移变换矩阵；/>表示由激光雷达坐标系M系到路杆坐标系L系的估计平移变换矩阵；/>表示由相机坐标系c系到世界坐标系W系的估计位姿变换矩阵。
进一步的，上述根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵的步骤，包括：通过以下公式计算单目相机对应的误差位姿变换矩阵
其中，表示单目相机的由相机坐标系c系到路杆坐标系L系的当前估计位姿变换矩阵；/>表示单目相机的由相机坐标系c系到路杆坐标系L系的初始估计位姿变换矩阵；上标T表示矩阵的转置。
第二方面，本申请实施例提供一种路端相机的安装偏差角标定装置，装置应用于自动驾驶车辆中的车载处理器，车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；自动驾驶车辆内置组合导航设备和激光雷达；装置包括：数据获取模块，用于获取激光雷达采集的点云数据；点云数据为激光雷达对安装于路杆上的单目相机进行扫描得到的；获取组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取单目相机采集的图像数据；图像数据为单目相机对标记有至少四个标志角点的自动驾驶车辆拍摄得到的图像；数据分析模块，用于根据点云数据、世界坐标系与本车坐标系的变换关系、及图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵；误差计算模块，用于根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定；其中，当前估计位姿变换矩阵和初始估计位姿变换矩阵均是由相机坐标系到路杆坐标系的位姿变换矩阵。
第三方面，本申请实施例提供一种路端相机的安装偏差角标定系统，系统包括：自动驾驶车辆和单目相机；自动驾驶车辆上标注有至少四个标志角点，自动驾驶车辆内置组合导航设备、激光雷达和车载处理器；单目相机安装于路杆上；组合导航设备和激光雷达分别与车载处理器通信连接，车载处理器用于执行第一方面所述的方法。
第四方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现第一方面所述的方法。
第五方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的路端相机的安装偏差角标定方法，应用于自动驾驶车辆中的车载处理器，车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；自动驾驶车辆内置组合导航设备和激光雷达；方法包括：获取激光雷达对安装于路杆上的单目相机进行扫描得到的点云数据；获取组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取单目相机采集对标记有至少四个标志角点的自动驾驶车辆拍摄得到的图像数据；根据上述点云数据、上述世界坐标系与本车坐标系的变换关系和上述图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵；进一步根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定。本申请实施例中，车载处理器可以利用组合导航设备、激光雷达以及路端单目相机提供的数据，对单目相机的安装偏差角进行快速标定。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种路端相机的安装偏差角标定系统的示意图；
图2为本申请实施例提供的一种路端相机的安装偏差角标定方法的流程图；
图3为本申请实施例提供的另一种路端相机的安装偏差角标定方法的流程图；
图4为本申请实施例提供的一种路端相机的安装偏差角标定装置的结构框图；
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
鉴于传统的路端相机安装偏差角标定方法是采用人工手持标定板的方式，在预先测定的坐标上为安装偏差角的矫正提供基准，而高速公路上路基摄像头可能多达十万个以上，使用人工来标定所有摄像头是耗费巨大的行为。因此，本申请实施例提供一种路端相机的安装偏差角标定方法、装置及系统，能够快速完成对路端相机的安装偏差角标定过程。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种路端相机的安装偏差角标定系统进行详细介绍。
图1为本申请实施例提供的一种路端相机的安装偏差角标定系统的示意图，该系统包括：自动驾驶车辆11和单目相机12；自动驾驶车辆11上标注有至少四个标志角点，自动驾驶车辆11内置组合导航设备111、激光雷达112和车载处理器113；单目相机12安装于路杆13上；组合导航设备111和激光雷达112分别与车载处理器113通信连接。
上述激光雷达112用于对安装于路杆13上的单目相机进行扫描得到点云数据。
组合导航设备111可以提供世界坐标系与本车坐标系的变换关系，即其中，/>表示由世界坐标系W系与本车坐标系b系的估计位姿变换矩阵；/>和/>分别为世界坐标系W系与车体坐标系b系的旋转变换矩阵和平移变换矩阵。
单目相机12用于在自动驾驶车辆11经过时，对标记有至少四个标志角点的该自动驾驶车辆11进行拍摄得到图像数据；
车载处理器113基于上述获取的各种数据执行如下的方法步骤，以完成对路端相机的安装偏差角的标定过程。具体的标定过程参见下述方法实施例。
在介绍方法之前，首先对本申请实施例中涉及的各种坐标系及位姿变换进行定义：
1、坐标系定义
采用右前上作为车体坐标系(b系)，人为设定的世界坐标系(W系)，路杆坐标系(L系)与w系坐标轴平行，相机坐标系(c系)，激光雷达坐标系(M系)。
2、位姿变换定义
定义是坐标系B到坐标系A的位姿变换矩阵，其中/>代表旋转变换矩阵，/>代表平移变换矩阵。
定义真实位姿变换估计位姿变换/>和误差位姿变换/>的关系为
上式中其中偏差角/>θ、γ、ψ分别表示俯仰偏差角、横滚偏差角以及航向偏差角，/>×表示由/>构成的反对称矩阵。
本申请实施例提供的路端相机的安装偏差角标定方法的使用场景如下：
假设单目相机最初安装于路杆上为t0时刻，该时刻的由相机坐标系到路杆坐标系的估计位姿变换矩阵为一已知值，即预先标定的值经过时间k后，时刻tk的估计位姿变换矩阵为/>则/>与/>之间的偏差/>即为最终要求的结果，也就是本申请实施例中所述的误差位姿变换矩阵，上角标T代表矩阵的转置。
问题进一步转化，为了求得先需要求得/>在tk时刻/>可表示为位姿变换矩阵的链乘形式,以下tk均被省略
展开可得
因为故/>代入上式可得
其中和/>分别为组合导航获得的w系到b系的旋转和平移，/>和/>为预先标定的b系到M系的旋转变换矩阵和平移变换矩阵，/>为基于激光雷达数据确定的M系到L系的平移变换矩阵，/>为基于单目相机采集的图像数据确定的c系到W系的估计位姿变换矩阵。
上面的各个参数除了和/>为已知量外，其余均为未知量，需要基于激光雷达、组合导航设备和单目相机提供的数据进行分析计算而确定，因此，本申请实施例提供的方法的流程图如图2所示。
图2为本申请实施例提供的一种路端相机的安装偏差角标定方法的流程图，该方法应用于上述自动驾驶车辆中的车载处理器，可以对安装于路杆上的单目相机进行安装偏差角标定；自动驾驶车辆内置组合导航设备和激光雷达；该方法具体包括以下步骤：
步骤S202，获取激光雷达采集的点云数据；点云数据为激光雷达对安装于路杆上的单目相机进行扫描得到的；获取组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取单目相机采集的图像数据；图像数据为单目相机对标记有至少四个标志角点的自动驾驶车辆拍摄得到的图像。
具体实施时，在自动驾驶车辆从路端相机，即安装于路杆上的单目相机视野内经过时，就可以通过自动驾驶车辆上的激光雷达、组合导航设备和路杆上的单目相机进行数据采集，然后当车载处理器获取到这些数据时，就可以一系列算法对上述单目相机进行安装偏差角的标定。
上述组合导航设备为满足一定姿态和定位精度的设备，能够为车辆提供准确的世界坐标系下的位置信息以及世界坐标系到本车坐标系的估计位姿变换矩阵。
上述自动驾驶车辆上还需要预先标记至少四个标志角点，可以标记在车辆外表面，不限颜色，显眼即可，其作用是给单目相机提供由相机坐标系到世界坐标系的媒介，通过对标记有标志角点的自动驾驶车辆进行图像采集，可以基于采集的图像中标志角点的坐标进行后续NPN算法计算过程，以确定出单目相机的当前估计位姿变换矩阵，即当前检测时刻tk时刻的估计位姿变换矩阵。
步骤S204，根据点云数据、世界坐标系与本车坐标系的变换关系和图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵。
在获取到上述数据后，可以进一步，根据点云数据，确定由激光雷达坐标系到路杆坐标系的估计平移变换矩阵；基于图像数据中各标志角点的像素坐标，利用PNP算法计算得到由相机坐标系到世界坐标系的估计位姿变换矩阵；基于估计平移变换矩阵、世界坐标系与本车坐标系的变换关系、由相机坐标系到世界坐标系的估计位姿变换矩阵，计算出单目相机的当前估计位姿变换矩阵。
步骤S206，根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定；其中，当前估计位姿变换矩阵和初始估计位姿变换矩阵均是由相机坐标系到路杆坐标系的位姿变换矩阵。
本申请实施例提供的路端相机的安装偏差角标定方法，应用于自动驾驶车辆中的车载处理器，车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；自动驾驶车辆内置组合导航设备和激光雷达；方法包括：获取激光雷达对安装于路杆上的单目相机进行扫描得到的点云数据；获取组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取单目相机采集对标记有至少四个标志角点的自动驾驶车辆拍摄得到的图像数据；根据上述点云数据、上述变换关系和上述图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵；进一步根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定。本申请实施例中，车载处理器可以利用组合导航设备、激光雷达以及路端单目相机提供的数据，对单目相机的安装偏差角进行快速标定。
上述根据点云数据、世界坐标系与本车坐标系的变换关系和图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵的步骤，可以参考图3所示的流程图实现：
步骤S302，根据点云数据，确定由激光雷达坐标系到路杆坐标系的估计平移变换矩阵。
具体实施时，包括以下步骤：
(1)对点云数据进行体素网格处理，得到点云数据对应的多个体素；
对于tk时刻的激光雷达的点云数据记为Mtk,为了后续分割处理计算方便，首先会根据雷达的安装高度对雷达数据垂直空间进行分割，确保地面点的滤除。
(2)根据每个体素对应的协方差阵中的特征值，计算每个体素对应的杆状检测指标；
通过以下公式计算路杆检测指标Sj：
其中，为协方差阵Covj的特征值；α为调节因子；
其中，为第j个体素的均值中心，pi为该体素内的一个点，n为体素内的点数，记为Covj的特征值，且/>
(3)如果连续指定个体素分别对应的杆状检测指标均大于预设阈值，确定连续指定个体素为路杆；即当Sj大于一定阈值，标记该体素为杆状物，通过在垂直空间中检索相关体素，当连续体素超过一定高度后，确认该杆状物为路杆。
(4)从点云数据中提取路杆对应的点云，得到由激光雷达坐标到路杆坐标的估计平移变换矩阵。
从点云中提取路杆对应的点即可得到
步骤S304，对图像数据进行目标检测，得到图像中各标志角点的像素坐标，并基于各标志角点的像素坐标，利用PNP算法计算得到由相机坐标系到世界坐标系的估计位姿变换矩阵；
具体包括以下步骤：
(1)获取各标志角点在车体坐标系中的车体坐标；
设Pi b为第i个标志角点在车体坐标系中的位置，记为其单位为米，i＝1,2,3,4,表明在车上总共做了4个标志点。
(2)将车体坐标由车体坐标系转换到世界坐标系中，得到各标志角点的世界坐标；
将机体上的标志角点Pi b转换到世界坐标系下的坐标：
(3)基于各标志角点的世界坐标、各标志角点的像素坐标，利用PNP算法求解出由相机坐标系到世界坐标系的估计位姿变换矩阵。
上述路端相机通过角度检测，得到各标志角点在图像中的像素坐标：
至此，得到了一系列2D-3D匹配的点对pi～Pi W,接着在已知相机内参矩阵K的情况下(每个相机在出厂前或者在使用前可先行矫正过内参矩阵，并进行过去畸变)求解出为了获得/>的最优估计，采用下列步骤：
(1)初始值：tk＝t1，Imax＝-1
(2)通过PnP算法求解出tk时刻的位姿估计：
(3)接着利用tk时刻的将所有时刻T＝t1,…tn下的标志角点投影到图像中：
其中[]1:2为向量的1到2行。
随后计算角点投影和实际检测的角点pi像素之差：
如果T时刻的d<3(像素)，那么内值数：
I←I+1,同时在集合M中记下T时刻。
遍历完所有的时刻后，如果I>Imax，Imax←I，替换集合M，
tk←tk+1
(4)如果tk<tn,重复步骤(2)和(3)；
(5)最后得到一个满足最多内值的其记为/>的初始估计值，接着利用最大内值对应的集合M，再次利用最小二乘法，使得目标方程值最小：
最终得到了的最优估计。
步骤S306，基于估计平移变换矩阵、世界坐标系与本车坐标系的变换关系、由相机坐标系到世界坐标系的估计位姿变换矩阵，计算单目相机的当前估计位姿变换矩阵。
通过以下公式计算单目相机的当前估计位姿变换矩阵
其中，I3×3为单位矩阵；和/>分别为预先标定的由车体坐标系b系到激光雷达坐标系M系的初始估计位姿变换矩阵中的旋转变换矩阵和平移变换矩阵；/>和/>分别为世界坐标系W系与车体坐标系b系的变换关系中的旋转变换矩阵和平移变换矩阵；/>表示由激光雷达坐标系M系到路杆坐标系L系的估计平移变换矩阵；/>表示由相机坐标系c系到世界坐标系W系的估计位姿变换矩阵。
在计算出单目相机的当前估计位姿变换矩阵后，进一步通过以下公式计算单目相机对应的误差位姿变换矩阵/>
其中，表示单目相机的由相机坐标系c系到路杆坐标系L系的当前估计位姿变换矩阵；/>表示单目相机的由相机坐标系c系到路杆坐标系L系的初始估计位姿变换矩阵；上标T表示矩阵的转置。
本申请实施例提供的方法能够简化标定过程，无需人工参与，在自动驾驶车辆从路基相机视野内经过即可自动标定出单目相机的安装偏差角。
基于上述方法实施例，本申请实施例还提供一种路端相机的安装偏差角标定装置，该装置应用于自动驾驶车辆中的车载处理器，车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；自动驾驶车辆内置组合导航设备和激光雷达；参见图4所示，该装置包括：
数据获取模块42，用于获取激光雷达采集的点云数据；点云数据为激光雷达对安装于路杆上的单目相机进行扫描得到的；获取组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取单目相机采集的图像数据；图像数据为单目相机对标记有至少四个标志角点的自动驾驶车辆拍摄得到的图像；数据分析模块44，用于根据点云数据、变换关系和图像数据进行分析计算，得到单目相机的当前估计位姿变换矩阵；误差计算模块46，用于根据当前估计位姿变换矩阵和单目相机的初始估计位姿变换矩阵，计算单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定；其中，当前估计位姿变换矩阵和初始估计位姿变换矩阵均是由相机坐标系到路杆坐标系的位姿变换矩阵。
进一步的，上述数据分析模块44还用于：根据点云数据，确定由激光雷达坐标系到路杆坐标系的估计平移变换矩阵；对图像数据进行目标检测，得到图像中各标志角点的像素坐标，并基于各标志角点的像素坐标，利用PNP算法计算得到由相机坐标系到世界坐标系的估计位姿变换矩阵；基于估计平移变换矩阵、变换关系、由相机坐标系到世界坐标系的估计位姿变换矩阵，计算单目相机的当前估计位姿变换矩阵。
进一步的，上述数据分析模块44还用于：对点云数据进行体素网格处理，得到点云数据对应的多个体素；根据每个体素对应的协方差阵中的特征值，计算每个体素对应的杆状检测指标；如果连续指定个体素分别对应的杆状检测指标均大于预设阈值，确定连续指定个体素为路杆；从点云数据中提取路杆对应的点云，得到由激光雷达坐标到路杆坐标的估计平移变换矩阵。
进一步的，上述数据分析模块44还用于：通过以下公式计算路杆检测指标Sj：
其中，为协方差阵Covj的特征值；α为调节因子；
其中，为第j个体素的均值中心，pi为该体素内的一个点，n为体素内的点数,记为Covj的特征值，且/>
进一步的，上述数据分析模块44还用于：获取各标志角点在车体坐标系中的车体坐标；将车体坐标由车体坐标系转换到世界坐标系中，得到各标志角点的世界坐标；基于各标志角点的世界坐标、各标志角点的像素坐标，利用PNP算法求解出由相机坐标系到世界坐标系的估计位姿变换矩阵。
进一步的，上述数据分析模块44还用于：通过以下公式计算单目相机的当前估计位姿变换矩阵
其中，I3×3为单位矩阵；和/>分别为预先标定的由车体坐标系b系到激光雷达坐标系M系的初始估计位姿变换矩阵中的旋转变换矩阵和平移变换矩阵；/>和/>分别为世界坐标系W系与车体坐标系b系的变换关系中的旋转变换矩阵和平移变换矩阵；/>表示由激光雷达坐标系M系到路杆坐标系L系的估计平移变换矩阵；/>表示由相机坐标系c系到世界坐标系W系的估计位姿变换矩阵。
进一步的，上述误差计算模块46还用于：通过以下公式计算单目相机对应的误差位姿变换矩阵
其中，表示单目相机的由相机坐标系c系到路杆坐标系L系的当前估计位姿变换矩阵；/>表示单目相机的由相机坐标系c系到路杆坐标系L系的初始估计位姿变换矩阵；上标T表示矩阵的转置。
本申请实施例提供的路端相机的安装偏差角标定装置，其实现原理及产生的技术效果和前述路端相机的安装偏差角标定方法实施例相同，为简要描述，路端相机的安装偏差角标定装置的实施例部分未提及之处，可参考前述路端相机的安装偏差角标定方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图5所示，为该电子设备的结构示意图，其中，该电子设备包括处理器51和存储器50，该存储器50存储有能够被该处理器51执行的计算机可执行指令，该处理器51执行该计算机可执行指令以实现上述方法。
在图5示出的实施方式中，该电子设备还包括总线52和通信接口53，其中，处理器51、通信接口53和存储器50通过总线52连接。
其中，存储器50可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口53(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线52可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器51可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器51中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器51可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器51读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的路端相机的安装偏差角标定方法、装置、系统和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种路端相机的安装偏差角标定方法，其特征在于，所述方法应用于自动驾驶车辆中的车载处理器，所述车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；所述自动驾驶车辆内置组合导航设备和激光雷达；所述方法包括：
获取所述激光雷达采集的点云数据；所述点云数据为所述激光雷达对安装于所述路杆上的所述单目相机进行扫描得到的；获取所述组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取所述单目相机采集的图像数据；所述图像数据为所述单目相机对标记有至少四个标志角点的所述自动驾驶车辆拍摄得到的图像；
根据所述点云数据、所述世界坐标系与本车坐标系的变换关系、及所述图像数据进行分析计算，得到所述单目相机的当前估计位姿变换矩阵；
根据所述当前估计位姿变换矩阵和所述单目相机的初始估计位姿变换矩阵，计算所述单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定；其中，所述当前估计位姿变换矩阵和所述初始估计位姿变换矩阵均是由相机坐标系到路杆坐标系的位姿变换矩阵。
2.根据权利要求1所述的方法，其特征在于，根据所述点云数据、所述世界坐标系与本车坐标系的变换关系、及所述图像数据进行分析计算，得到所述单目相机的当前估计位姿变换矩阵的步骤，包括：
根据所述点云数据，确定由激光雷达坐标系到路杆坐标系的估计平移变换矩阵；
对所述图像数据进行目标检测，得到所述图像中各标志角点的像素坐标，并基于所述各标志角点的像素坐标，利用PNP算法计算得到由相机坐标系到世界坐标系的估计位姿变换矩阵；
基于所述估计平移变换矩阵、所述世界坐标系与本车坐标系的变换关系、所述由相机坐标系到世界坐标系的估计位姿变换矩阵，计算所述单目相机的当前估计位姿变换矩阵。
3.根据权利要求2所述的方法，其特征在于，根据所述点云数据，确定由激光雷达坐标到路杆坐标的估计平移变换矩阵的步骤，包括：
对所述点云数据进行体素网格处理，得到点云数据对应的多个体素；
根据每个所述体素对应的协方差阵中的特征值，计算每个所述体素对应的杆状检测指标；
如果连续指定个所述体素分别对应的所述杆状检测指标均大于预设阈值，确定连续指定个体素为路杆；
从所述点云数据中提取所述路杆对应的点云，得到由激光雷达坐标到路杆坐标的估计平移变换矩阵。
4.根据权利要求3所述的方法，其特征在于，根据每个所述体素对应的协方差阵中的特征值，计算路杆检测指标的步骤，包括：
通过以下公式计算路杆检测指标Sj：
其中，为协方差阵Covj的特征值；α为调节因子；
其中，为第j个体素的均值中心，pi为该体素内的一个点，n为体素内的点数，记为Covj的特征值，且/>
5.根据权利要求2所述的方法，其特征在于，基于所述各标志角点的像素坐标，利用PNP算法计算得到由相机坐标系到世界坐标系的估计位姿变换矩阵的步骤，包括：
获取各标志角点在车体坐标系中的车体坐标；
将所述车体坐标由车体坐标系转换到世界坐标系中，得到各标志角点的世界坐标；
基于所述各标志角点的世界坐标、各标志角点的像素坐标，利用PNP算法求解出由相机坐标系到世界坐标系的估计位姿变换矩阵。
6.根据权利要求2所述的方法，其特征在于，基于所述估计平移变换矩阵、所述世界坐标系与本车坐标系的变换关系、所述由相机坐标系到世界坐标系的估计位姿变换矩阵，计算所述单目相机的当前估计位姿变换矩阵的步骤，包括：
通过以下公式计算所述单目相机的当前估计位姿变换矩阵
其中，I3×3为单位矩阵；和/>分别为预先标定的由车体坐标系b系到激光雷达坐标系M系的初始估计位姿变换矩阵中的旋转变换矩阵和平移变换矩阵；/>和/>分别为世界坐标系W系与车体坐标系b系的变换关系中的旋转变换矩阵和平移变换矩阵；/>表示由激光雷达坐标系M系到路杆坐标系L系的估计平移变换矩阵；/>表示由相机坐标系c系到世界坐标系W系的估计位姿变换矩阵。
7.根据权利要求1所述的方法，其特征在于，根据所述当前估计位姿变换矩阵和所述单目相机的初始估计位姿变换矩阵，计算所述单目相机对应的误差位姿变换矩阵的步骤，包括：
通过以下公式计算所述单目相机对应的误差位姿变换矩阵
其中，表示所述单目相机的由相机坐标系c系到路杆坐标系L系的当前估计位姿变换矩阵；/>表示所述单目相机的由相机坐标系c系到路杆坐标系L系的初始估计位姿变换矩阵；上标T表示矩阵的转置。
8.一种路端相机的安装偏差角标定装置，其特征在于，所述装置应用于自动驾驶车辆中的车载处理器，所述车载处理器用于对安装于路杆上的单目相机进行安装偏差角标定；所述自动驾驶车辆内置组合导航设备和激光雷达；所述装置包括：
数据获取模块，用于获取所述激光雷达采集的点云数据；所述点云数据为所述激光雷达对安装于所述路杆上的所述单目相机进行扫描得到的；获取所述组合导航设备提供的世界坐标系与本车坐标系的变换关系；获取所述单目相机采集的图像数据；所述图像数据为所述单目相机对标记有至少四个标志角点的所述自动驾驶车辆拍摄得到的图像；
数据分析模块，用于根据所述点云数据、所述世界坐标系与本车坐标系的变换关系、及所述图像数据进行分析计算，得到所述单目相机的当前估计位姿变换矩阵；
误差计算模块，用于根据所述当前估计位姿变换矩阵和所述单目相机的初始估计位姿变换矩阵，计算所述单目相机对应的误差位姿变换矩阵，以完成路端相机的安装角偏差角标定；其中，所述当前估计位姿变换矩阵和所述初始估计位姿变换矩阵均是由相机坐标系到路杆坐标系的位姿变换矩阵。
9.一种路端相机的安装偏差角标定系统，其特征在于，所述系统包括：自动驾驶车辆和单目相机；所述自动驾驶车辆上标注有至少四个标志角点，所述自动驾驶车辆内置组合导航设备、激光雷达和车载处理器；所述单目相机安装于路杆上；所述组合导航设备和所述激光雷达分别与所述车载处理器通信连接，所述车载处理器用于执行如权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011412554.4A CN112348902B (zh) | 2020-12-03 | 2020-12-03 | 路端相机的安装偏差角标定方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011412554.4A CN112348902B (zh) | 2020-12-03 | 2020-12-03 | 路端相机的安装偏差角标定方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348902A CN112348902A (zh) | 2021-02-09 |
| CN112348902B true CN112348902B (zh) | 2024-04-09 |
Family
ID=74427379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011412554.4A Active CN112348902B (zh) | 2020-12-03 | 2020-12-03 | 路端相机的安装偏差角标定方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348902B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112558028B (zh) * | 2021-02-26 | 2021-05-07 | 中智行科技有限公司 | 路边传感器标定方法和装置 |
| CN112837384B (zh) * | 2021-03-01 | 2024-07-19 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆标记方法、装置和电子设备 |
| CN115327512A (zh) * | 2021-05-10 | 2022-11-11 | 北京万集科技股份有限公司 | 激光雷达与相机的标定方法、装置、服务器和存储介质 |
| CN113344906B (zh) * | 2021-06-29 | 2024-04-23 | 阿波罗智联(北京)科技有限公司 | 车路协同中相机评估方法、装置、路侧设备和云控平台 |
| CN113658248B (zh) * | 2021-08-09 | 2024-07-19 | 煤炭科学研究总院有限公司 | 自移机尾的姿态监测方法、装置及电子设备 |
| CN113819924A (zh) * | 2021-09-10 | 2021-12-21 | 北京控制工程研究所 | 一种惯性导航试验初始基准快速标定方法 |
| CN113884104B (zh) * | 2021-09-27 | 2024-02-02 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
| CN114333328B (zh) * | 2022-01-18 | 2023-02-28 | 广州方纬智慧大脑研究开发有限公司 | 基于浮动车定位数据的卡口标定方法、装置和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110673115A (zh) * | 2019-09-25 | 2020-01-10 | 杭州飞步科技有限公司 | 雷达与组合导航系统的联合标定方法、装置、设备及介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10867409B2 (en) * | 2019-04-22 | 2020-12-15 | Great Wall Motor Company Limited | Methods and systems to compensate for vehicle calibration errors |
-
2020
- 2020-12-03 CN CN202011412554.4A patent/CN112348902B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110673115A (zh) * | 2019-09-25 | 2020-01-10 | 杭州飞步科技有限公司 | 雷达与组合导航系统的联合标定方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 机载激光雷达系统标定方法;章大勇;吴文启;吴美平;;光学精密工程;20091115(第11期);全文 * |
| 面向井下无人机自主飞行的人工路标辅助位姿估计方法;单春艳;杨维;耿翠博;;煤炭学报;20190815(第S1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348902A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348902B (zh) | 路端相机的安装偏差角标定方法、装置及系统 | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| CN110119698B (zh) | 用于确定对象状态的方法、装置、设备和存储介质 | |
| US20210343044A1 (en) | Vehicle camera calibration apparatus and method | |
| CN112419385B (zh) | 一种3d深度信息估计方法、装置及计算机设备 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN112912932B (zh) | 一种车载摄像头的标定方法、装置及终端设备 | |
| CN108229406B (zh) | 一种车道线检测方法、装置及终端 | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN114067001B (zh) | 车载相机角度标定方法、终端及存储介质 | |
| CN110766761B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN111382591B (zh) | 一种双目相机测距校正方法及车载设备 | |
| CN111222417A (zh) | 一种用于提高基于车载图像车道线提取精度的方法及装置 | |
| CN113496528B (zh) | 固定交通路侧场景下视觉检测目标位置标定方法及装置 | |
| CN113256701B (zh) | 一种距离的获取方法、装置、设备及可读存储介质 | |
| CN112255604A (zh) | 一种雷达数据准确性的判断方法、装置及计算机设备 | |
| CN111982132B (zh) | 数据处理方法、装置和存储介质 | |
| CN115079143A (zh) | 一种用于双桥转向矿卡的多雷达外参快速标定方法及装置 | |
| CN118311955A (zh) | 无人机控制方法、终端、无人机及存储介质 | |
| CN116358486A (zh) | 基于单目相机的目标测距方法、装置及介质 | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| CN111538008A (zh) | 变换矩阵确定方法、系统及装置 | |
| CN116912328A (zh) | 一种逆透视变换矩阵的标定方法及装置 | |
| CN116630401A (zh) | 鱼眼相机测距方法及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |