CN116843747A - 相机与激光雷达的标定方法以及标定系统 - Google Patents

Abstract

本发明提供了一种相机与激光雷达的标定方法以及标定系统，涉及自动驾驶技术领域。该相机和激光雷达以临时布置的参照物组进行标定，参照物组中的每个参照物具有在其高度方向上的唯一顶点。该标定方法包括：获取由相机采集的图像数据；获取由激光雷达采集的点云数据并转换为鸟瞰视角点云栅格数据；以相同的标记顺序执行初步顶点标记来确定每个参照物的第一顶点搜索范围以及第二顶点搜索范围；在第一顶点搜索范围内搜索图像数据中的参照物的顶点并确定像素坐标；在第二顶点搜索范围内搜索鸟瞰视角点云栅格数据中的参照物的顶点并确定三维坐标；计算相机与激光雷达的映射公式。本发明的系统以及方法能够适于频繁变化的环境。

Description

相机与激光雷达的标定方法以及标定系统

技术领域

本发明涉及自动驾驶技术，并且具体地，涉及一种相机与激光雷达的标定方法以及标定系统。

背景技术

无人驾驶车辆自动行驶过程中，通过感知系统实时监测周身路面环境信息是确保行车安全的必要条件。目前在驾驶车辆领域应用广泛的感知传感器包括激光雷达、相机和毫米波雷达等，这几种传感器都有各自的特点：激光雷达产生的点云数据有较高的空间测量精度，能大概描绘出目标物体的形状；相机产生的图像数据带有色彩信息，对物体的种类和轮廓识别较为精确；毫米波雷达识别距离远，能获取目标的运动姿态信息。和人类司机的视觉能力相比较，这几种传感器单独使用都有各自的局限，比如激光雷达难以区分刚性目标（人、车、落石）和非刚性目标（浮土、烟尘），相机难以精确计算目标的空间位置和三维尺寸。因此，无人驾驶车辆的感知系统通常需要安装多种类型的传感器以取长补短。

同一系统下的多传感器产生的数据势必要整合到唯一的系统坐标系下进行数据融合。同种类传感器的尺度和结构相似，标定和转化也较为容易。然而，相机和激光雷达这两种类型的传感器，尺度单位不一致，数据维度也不一致，数据的标定和融合也就更复杂一些。对于相机和激光雷达的融合标定，目前可行的技术路线是计算出从激光雷达的三维空间映射到相机的二维空间上的旋转平移矩阵，以此统一两类传感器的尺度单位和维度，实现数据融合的基准。

为实现相机和激光雷达的标定，自动或辅助驾驶相关领域的主流技术方案是采取专业的标定车间、实验室等场地内精确布置一些固定参照物。通过这些参照物作为媒介联通相机和激光雷达的坐标系，实现2D-3D空间映射矩阵的解算。然而，在频繁变化的环境下（例如，道路随着矿藏采剥作业面的推进会频繁变化的矿山无人车运营环境），不具备复杂固定标定场景的搭建条件。因此，需要设计一套适应变化环境下的标定方法。

发明内容

本发明的目的在于提出一种相机与激光雷达的标定方法以及标定系统，其能够在简单布置参照物的情况实现相机与激光雷达的融合标定，并且结果满足映射精度要求。

根据本发明的一方面，提供了一种相机与激光雷达的标定方法，所述相机和所述激光雷达以在进行标定时临时布置的参照物组进行标定，所述参照物组中的每个参照物具有在其高度方向上的唯一顶点，所述方法包括：获取由所述相机采集的所述参照物组的图像数据；获取由所述激光雷达采集的所述参照物组的点云数据，并转换所述点云数据为鸟瞰视角（BEV）点云栅格数据；以相同的标记顺序，对所述图像数据和所述鸟瞰视角点云栅格数据执行初步顶点标记，来确定每个参照物的所述图像数据中的第一顶点搜索范围以及所述鸟瞰视角点云栅格数据中的第二顶点搜索范围；在所述第一顶点搜索范围内，搜索所述图像数据中的所述参照物的顶点，并确定所述顶点的像素坐标；在所述第二顶点搜索范围内，搜索所述鸟瞰视角点云栅格数据中的所述参照物的顶点，并确定所述顶点的三维坐标；和根据所述标记顺序，将所述参照物组中的每个参照物的顶点的像素坐标和三维坐标进行配对，并根据所配对的像素坐标和三维坐标，计算所述相机与所述激光雷达的映射公式。

可选地，所述参照物组包括至少三个参照物，并且所述参照物被布置成在三维空间的各个维度上彼此不在同一平面。

可选地，执行初步顶点标记包括：分别在所述图像数据和所述鸟瞰视角点云栅格数据上，根据顶点特征对所述参照物进行点击标记，以获得标记点。

可选地，执行初步顶点标记还包括：根据对所述参照物的点击标记的顺序，基于所述标记点生成连线标记，并分别显示在所述图像数据和所述鸟瞰视角点云栅格数据上，以确保相同的标记顺序。

可选地，确定所述第一顶点搜索范围和所述第二顶点搜索范围包括：将所述图像数据上的标记点的第一设定周边范围确定为所述第一顶点搜索范围；和将所述鸟瞰视角点云栅格数据上的标记点的第二设定周边范围确定为所述第二顶点搜索范围。

可选地，在所述第一顶点搜索范围内搜索所述图像数据中的所述参照物的顶点包括：计算在所述第一顶点搜索范围内的所有像素的色阶值；计算每个像素的色阶值与其邻域像素的色阶值之间的阶差；将阶差与设定阈值进行比较；将具有大于设定阈值的阶差的像素确定为备选像素；和在所述备选像素中，搜索像素坐标（X,Y）中的Y值最小的像素作为所述图像数据中的所述参照物的顶点。

可选地，在所述第二顶点搜索范围内，搜索所述鸟瞰视角点云栅格数据中的所述参照物的顶点包括：获取在所述第二顶点搜索范围内的所有点云的三维坐标（X,Y,Z）；搜索三维坐标（X,Y,Z）中的Z值最大的点云作为所述鸟瞰视角点云栅格数据中的所述参照物的顶点。

可选地，计算所述相机与所述激光雷达的映射公式包括：针对每个参照物的所配对的像素坐标和三维坐标，确定表示所述相机的坐标系相对于所述激光雷达的坐标系的位姿的旋转平移矩阵表示；基于所有参照物的旋转平移矩阵表示，解算所述相机与所述激光雷达的映射公式。

根据本发明的另一方面，提供了一种相机与激光雷达的标定系统，所述标定系统执行根据本发明的标定方法，所述标定系统包括：相机，所述相机用于获取参照物组的图像数据；激光雷达，所述激光雷达用于获取所述参照物组的点云数据；显示模块，所述显示模块将所述点云数据转换为鸟瞰视角点云栅格数据，并分别显示所述鸟瞰视角点云栅格数据和所述图像数据，以实现所述参照物组中的参照物的初步顶点标记；标定模块，所述标定模块根据所述参照物的初步顶点标记，分别在所述图像数据和所述鸟瞰视角点云栅格数据中确定顶点搜索范围，并在其中搜索所述参照物的顶点，以确定所述顶点的像素坐标和三维坐标，从而根据所述像素坐标和所述三维坐标计算所述相机与所述激光雷达的映射公式。

可选地，所述相机和所述激光雷达包括在无人驾驶车辆中。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本发明的限定。

图1示出了根据本发明的实施方式的参照物组的布置方式的示例。

图2示出了根据本发明的实施方式的标定方法的流程图。

图3示出了根据本发明的实施方式的图像数据的简化示意图。

图4示出了根据本发明的实施方式的鸟瞰视角点云栅格数据的示例。

图5示出了根据本发明的实施方式的相机与激光雷达的标定系统的示例。

具体实施方式

为更清楚地阐述本发明的目的、技术方案及优点，以下将结合附图对本发明的实施例进行详细的说明。应当理解，下文对于实施例的描述旨在对本发明的总体构思进行解释和说明，而不应当理解为是对本发明的限制。在说明书和附图中，相同或相似的附图标记指代相同或相似的部件或构件。为了清晰起见，附图不一定按比例绘制，并且附图中可能省略了一些公知部件和结构。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。措词“一”或“一个”不排除多个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”、“顶”或“底”等等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。当诸如层、膜、区域或衬底基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。

图1示出了根据本发明的实施方式的参照物组的布置方式的示例。如图1所示，待进行标定的相机10和激光雷达20可以位于无人驾驶车辆100上，并在与无人驾驶车辆100的一定距离处布置参照物组30，由此相机10和激光雷达20能够以参照物组30进行标定。

根据本发明的实施方式，参照物组30可以在进行标定时被临时布置在场地中。即，参照物组30可以不是固定不动的，而是可以为完成标定过程而现场临时布置，并可以在标定过程结束后就被从场地中移走。因此，参照物组30通常是容易摆放、搬运的物体的组合。更优选地，参照物组30可以是相关场地中常用的物体的组合。

以这种方式，使得根据本发明的实施方式的标定方法可以适用于环境随时间变化的场地。例如，在矿山运营场地中，道路会随着矿藏采剥作业面的推进而频繁变化。由于在这种变化场地或变化环境中，不具备搭建经过精确布置的固定参照物的场景的条件，因此无法使用传统的相机与激光雷达的标定方法。根据本发明的实施方式的标定方法由于可以以临时布置的参照物组30进行标定，因此不会受到环境或场地的变化性的限制，而是可以在每次标定时临时选择可用的场地作为标定区域，并将参照物组30布置在所选择的标定区域中来进行标定。作为示例，可以选择地形较为起伏，但没有大型目标干涉的区域作为临时标定场地或标定区域。

如图1所示，参照物组30包括多个参照物300。根据本发明的实施方式，参照物组30需要包括至少三个参照物300，由于对激光雷达的三维数据到相机的二维数据的映射矩阵的解算需要至少三个参照物才可以实现。优选地，参照物组30包括至少六个参照物300，以减少解算误差、提高标定结果的准确性和可靠性。

如图1所示，多个参照物300可以被布置成彼此相距至少第一距离D1。作为示例，第一距离D1可以是2米。此外，多个参照物300可以被布置成与无人驾驶车辆100相距第二距离D2。即，参照物组30可以被布置在无人驾驶车辆100的前方的第二距离D2处。作为示例，第二距离D2可以是在10米至16米的范围内。另外，参照物组30可以被布置成相对于无人驾驶车辆100的车轴中心C布置，例如相对于所述车轴中心C对称布置，并被布置在左右两侧上距车轴中心C的第三距离D3内。作为示例，第三距离D3可以是6米。

通过以上布置方式，可以确保无人驾驶车辆100上的相机10和激光雷达20能够清晰地采集到每个参照物300的图像数据和点云数据，并在后续的标定过程中可以较清晰地和准确地识别出每个参照物300，以完成初步顶点标定和顺序匹配步骤，这将在下文中详细描述。然而，应当理解的是，上述的第一距离D1、第二距离D2和第三距离D3仅是示例，可以根据具体情况而适当修改和调整，只要保证相机10和激光雷达20可以保证对每个参照物300完成可使用的数据采集即可。此外，还应当理解的是，多个参照物300彼此之间的布置距离，以及与无人驾驶车辆100之间的距离关系可以根据所需的标定精度而合适地修改和调整。而且，参照物300本身尺寸的选择也可以根据相机和激光雷达以及后续的标定算法能够准确识别和执行而确定或合适地调整。

根据本发明的实施方式，多个参照物300可以彼此错落布置。如图1所示，多个参照物300被彼此错开布置成三排。然而，图1是为了简便而将每一排的参照物300示出为处于同一平面。优选地，多个参照物300可以布置成在三维空间的各个维度上彼此不在同一平面。例如，可以将在同一排的参照物300稍微错开布置。而且优选地，可以将多个参照物300布置在稍微起伏的场地上，这使得多个参照物300的高度也可以不在同一平面。

以这种方式，可以使得多个参照物300彼此具有不同的三维空间位置，从而使得相机和激光雷达可以根据多个不同的三维空间位置执行映射公式的解算，这提高了解算准确性、确保标定精度。应当注意的是，根据本发明的实施方式，多个参照物300至少被布置成两排。

根据本发明的实施例，参照物组30中的每个参照物300具有在其高度方向上的唯一顶点。例如，参照物300可以具有椎体形状，使得当被放置在路面上时，可以识别到该椎体物体的顶点。以这种方式，使得每个参照物300可以具有在视觉和算法搜索上都能够被唯一识别的点。由此，通过在相机和激光点云的采集数据中搜索该点作为标定点，可以实现两者的标定过程。

作为示例，参照物组30中的参照物300可以是同一种物体。作为示例，参照物300可以是交通锥，如待下文描述的图3所示。然而，本发明的实施方式不限于此。

图2示出了根据本发明的实施方式的标定方法的流程图。在如上所述的根据需要布置好参照物组30之后，可以将无人驾驶车辆100行驶至预定位置，以根据参照物组30对无人驾驶车辆100上的相机10和激光雷达20进行标定。

在步骤S1中，由相机10和激光雷达20采集数据。具体地，一方面，使用相机10采集参照物组30的图像数据。在获取由相机10采集的图像数据之后，可以实施显示所述图像数据。图3示出了根据本发明的实施方式的图像数据110的简化示意图。为了便于清楚显示，图3仅简单图示了图像数据中的参照物300，而没有图示其他周围场景。应当理解的是，在实践中，由相机10采集的图像数据110可以例如是由相机10拍摄的照片，

并且作为示例，可以以视频流的方式显示刷新。

另一方面，使用激光雷达20采集参照物组30的点云数据。进一步地，在获取由激光雷达20采集的点云数据之后，为了将所述点云数据也在显示器上进行显示，需要将点云数据以鸟瞰视角（BEV）辅助显示。即，需要先将点云数据转换为鸟瞰视角点云栅格数据，从而以鸟瞰视角显示在显示器上。由此，可以在显示器上显示鸟瞰视角点云栅格数据，以供后续过程使用。如图4所示，图4示出了根据本发明的实施方式的鸟瞰视角点云栅格数据210的示例。

作为示例，转换鸟瞰视角点云栅格数据的方法可以包括：将无人驾驶车辆所在区域以车体为中心，划分为10CM X 10CM大小的栅格地图。每个点云按照其X、Y轴坐标投影到对应的栅格里进行局部地图染色。对于任一栅格，如果没有点云投射进入，则保持原始黑色。点云投射进入，则染绿色。对于有多个点云投影的栅格，计算其中点云的高度差，即其中点云Z轴最低值和最高值之前的差值。将高度差超过3.5cm的栅格染红色，并标记为非地面点云。

以这种方式，可以例如根据颜色，容易地在鸟瞰视角点云栅格数据中找到非地面点云。由于如上所述，通常选择的参照物的布置场地是较空旷的、没有明显目标干涉的区域，因此所采集的鸟瞰视角点云栅格数据中的非地面点云基本上集中在参照物300上。例如，在设置6个参照物的情况下，可以从鸟瞰视角点云栅格数据中显示或识别6个或6组非地面点云。由此，根据这些非地面点云，可以在鸟瞰视角点云栅格数据中识别出参照物300，从而可以进行后续的初步顶点标记。

为了清楚地图示且便于理解，图4中直接示出了所识别到的非地面点云（例如附图标记“B”，下文将详细描述）。然而，应当注意的是，在实践中，鸟瞰视角点云栅格数据210会如上文所描述的呈现颜色上的区别，并由此识别和标记非地面点云。

因此，在步骤S1中，可以分别获取由相机10和激光雷达20对参照物组30采集的图像数据和点云数据，并将点云数据转换成鸟瞰视角点云栅格数据，以在显示器上分别显示参照物组30的图像数据110（如图3所示）和鸟瞰视角点云栅格数据210（如图4所示）。

在步骤S2中，可以以相同的标记顺序，对图像数据110和鸟瞰视角点云栅格数据210执行初步顶点标记，来确定每个参照物的图像数据110中的第一顶点搜索范围以及鸟瞰视角点云栅格数据210中的第二顶点搜索范围。

对于相机10的图像数据110，如图3所示，由于其以图像的形式显示，因此可以通过人工视觉来辨识每个参照物300的顶点。作为示例，技术人员可以根据参照物300的顶点特征（例如，参照物的视觉上的尖部或最高点），在显示的图像中人工初步识别参照物300的大致顶点位置，并在所识别的位置处进行点击标记，以将图像数据110中的被点击标记的点确定为初步顶点标记的标记点。由此，在对图像数据110的初步顶点标记之后，图像数据110中可以被标记有与所布置的参照物300的数量相同数量的标记点。作为示例，图3中的一个标记点以附图标记“A”表示。

对于激光雷达20的鸟瞰视角点云栅格数据210，如上所述，可以根据特定颜色（例如红色）从鸟瞰视角点云栅格数据210中识别到每个参照物300所对应的点云或点云组。这是根据转换后的鸟瞰视角点云栅格数据的放大率而不同。例如，在放大率较小的情况下，如图4中示出的情况，一个参照物300所对应的多个点云被集中成一个点，因此在视觉上呈现为一个点云。此时，从鸟瞰视角点云栅格数据210中识别的是每个参照物300所对应的点云。在这种情况下，对该点云执行如上关于图像数据110所述的点击标记即可，并同样地获得鸟瞰视角点云栅格数据210中的多个标记点。而在放大率较大的情况下，可呈现出每个参照物300所对应的多个点云。在这种情况下，可以在视觉上从这些点云中初步选择对应于参照物顶点的点云，并执行点击标记，来获得标记点。由此，在对鸟瞰视角点云栅格数据210的初步顶点标记之后，鸟瞰视角点云栅格数据210可以被标记有与所布置的参照物300的数量相同数量的标记点。作为示例，图4中的一个标记点以附图标记“B”表示。

根据本发明的实施方式，对图像数据110和鸟瞰视角点云栅格数据210执行初步顶点标记的顺序应当是一致或相同的。例如，如果在图像数据110中，以从左到右的顺序依次地进行点击标记的情况下，则在鸟瞰视角点云栅格数据210中，也应当按照从左到右的顺序依次地进行点击标记。以这种方式进行标记的目的在于，为实现后续的配对过程。由于映射公式的解算需要基于每个顶点的2D坐标和3D坐标之间的映射关系，因此进行顶点配对，可以成功地将后续计算的2D像素坐标和3D点云坐标锁定到相对应的参照物300，从而确保标定计算的准确性。

作为示例，在初步顶点标记的过程中，可以根据对参照物300的点击标记的顺序，基于标记点生成连线标记，并分别显示在图像数据110和鸟瞰视角点云栅格数据210上，以确保相同的标记顺序。例如，图3中示出图像数据110的连线标记ATA，并且图4中示出鸟瞰视角点云栅格数据210的连线标记BTB。如图3和图4所示，连线标记ATA基于每个标记点A生成。例如，可以在点击标记当前标记点A时，可以在当前标记点A之前的相邻的前一标记点A与当前标记点A之间直接生成一条连线作为连线标记ATA的一部分。然后，在点击相邻的下一标记点A时，在当前标记点A与下一标记点A之间沿着刚刚生成的连线而生成另一条连线作为连线标记ATA的一部分。以此类推，直到点击完成所有的标记点A，此时所得到的连线即为连线标记ATA。

同样地，可以以类似的方式在鸟瞰视角点云栅格数据210生成连线标记BTB。例如，在两个标记点B之间进行连线可以生成连线标记BTB的一部分。在以相同的标记顺序，点击完成所有的标记点B之后，所得到的连线即为连线标记BTB。

以这种方式，可以通过在执行初步顶点标记过程之后，通过比对图像数据110和鸟瞰视角点云栅格数据210中的连线标记的图形，来判断是否按照相同的顺序进行点击标记。如图3和图4所示，可以看到连线标记ATA和连线标记BTB具有相同的线型走势和弯折路径，因此可以确定是以相同的顺序对图像数据110和鸟瞰视角点云栅格数据210进行点击标记，从而能够确保标定准确性和可靠性。

针对每个参照物300，在确定标记点A和B之后，可以分别基于标记点A和B确定用于图像数据110的第一顶点搜索范围和用于鸟瞰视角点云栅格数据210的第二顶点搜索范围。

作为示例，对于图像数据110，可以将标记点A的第一设定周边范围确定为相应参照物300的第一顶点搜索范围。此处，第一设定周边范围可以是以标记点A为中心的设定周边像素范围。作为示例，第一设定周边范围可以是以标记点A为中心的9×9个像素的范围。然而，本发明的实施方式不限于此，可以根据具体需要设置第一设定周边范围。根据本发明的实施方式，图像数据110中的每个标记点A都具有各自的第一顶点搜索范围。

作为示例，对于鸟瞰视角点云栅格数据210，可以将标记点B的第二设定周边范围确定为相应参照物300的第二顶点搜索范围。此处，第二设定周边范围可以是以标记点B为中心的设定周边栅格范围。作为示例，第二设定周边范围可以是以标记点B为中心的5×5个栅格范围。然而，本发明的实施方式不限于此，可以根据具体需要设置第二设定周边范围。根据本发明的实施方式，鸟瞰视角点云栅格数据210的每个标记点B都具有各自的第二顶点搜索范围。

在步骤S3中，在第一顶点搜索范围内，搜索图像数据110中的参照物300的顶点，并确定所述顶点的像素坐标（X,Y）。在第二顶点搜索范围内，搜索鸟瞰视角点云栅格数据210中的参照物300的顶点，并确定所述顶点的三维坐标（X,Y,Z）。

对于图像数据110，作为示例，可以使用色阶插值法在第一顶点搜索范围内搜索每个参照物300的顶点。下文以一个参照物300为例进行说明，其他参照物300可以以相同的方式进行顶点搜索。

具体地，根据第一顶点搜索范围，确定在该范围内的所有像素各自的像素坐标（X,Y）和色阶值C（X,Y）。例如，色阶值C=R+G/2。其中，R为该像素的R通道色阶值；G为该像素的G通道色阶值。然后，针对该范围内的每个像素，计算其与邻域像素的色阶值之间的阶差。在本文中，在像素的像素坐标为（X,Y）的情况下，该像素的邻域像素可以例如是具有以下像素坐标的像素：（X-1,Y）、（X,Y-1）、（X+1,Y）、（X ,Y+1）。并且，每个邻域像素具有各自的色阶值C（X-1,Y）、C（X,Y-1）、C（X+1,Y）、C（X ,Y+1）。

通过将邻域像素的色阶值减去所述像素的色阶值（例如，C（X-1,Y）- C（X,Y）），来计算所述像素的阶差。此后，将所计算的多个阶差中的每个与设定阈值Ct进行比较。如果存在任意一个阶差大于设定阈值Ct（例如，C（X-1,Y）- C（X,Y）>Ct），则将所述像素确定为备选像素，并相应地获得该备选像素的像素坐标（X,Y）。

根据上述计算方式，遍历第一顶点搜索范围内的所有像素进行计算，以确定出全部的备选像素以及其像素坐标。以这种方式，通过计算和比较阶差，可以在第一顶点搜索范围内执行边缘提取。即，由于色阶的差异而可以区分地面和参照物，并把属于参照物范围的像素筛选出作为备选像素。

此后，在所确定的备选像素之中，搜索所有备选像素的像素坐标（X,Y）之中的Y值最小的像素作为图像数据110中的参照物300的顶点。由于图像数据110的坐标记录方式通常是零点在Y方向上的最上侧，并沿Y方向向下逐渐增大，因此作为参照物300最高点的顶点的坐标应当在最上方，所以应当具有最小的Y值。由此，在所有备选像素中搜索具有最小Y值的像素作为参照物300的顶点，并将所述像素的像素坐标记录为图像数据110中的参照物300的顶点的二维的像素坐标。

然而，本发明的实施方式不限于此。也可以使用其他搜索方式在第一顶点搜索范围内搜索参照物300的顶点，只要能够从第一顶点搜索范围内识别出与参照物300的顶点相对应的像素即可。

对于鸟瞰视角点云栅格数据210，可以获取在第二顶点搜索范围内的所有点云的三维坐标（X,Y,Z）。然后，搜索所有三维坐标（X,Y,Z）中的Z值最大的点云作为鸟瞰视角点云栅格数据210中的参照物300的顶点。由于参照物300的顶点为最高点，因此应当在Z方向上具有最大值。由此，在第二顶点搜索范围内搜索具有最大Z值的点云作为参照物300的顶点，并将所述像素的三维坐标记录为鸟瞰视角点云栅格数据210中的参照物300的顶点的三维坐标。

在步骤S4中，根据上述的标记顺序，将参照物组30中的每个参照物300的顶点的像素坐标和三维坐标进行配对，并根据所配对的像素坐标和三维坐标，计算相机10与激光雷达20的映射公式。

如上所述，由于以相同的顺序执行标记点的初步顶点标记，因此可以根据标记顺序对根据每个标记点计算的像素坐标和三维坐标进行配对。例如，可以将所计算的多个像素坐标和多个三维坐标分别锁定到各自相应的标记点以及该标记点对应的参照物，从而实现像素坐标、三维坐标、参照物的配对，以获得像素坐标和三维坐标的配对坐标对。根据本发明的实施方式，配对坐标对的数量应当对应于所布置的参照物300的数量。然而，可以存在由于计算质量原因，而取舍其中部分的配对坐标对的情况，这可以根据具体情况而定。然而，根据本发明的实施方式，应当获得至少三个配对坐标对，否则可以中断标定流程。

此后，可以根据经配对的像素坐标和三维坐标计算相机10与激光雷达20的映射公式。作为示例，可以针对每个参照物，根据其相对应的所配对的像素坐标和三维坐标，确定旋转平移矩阵表示[R,T]。该旋转平移矩阵表示[R,T]可以理解为用于表示相机10的坐标系相对于激光雷达20的坐标系的位姿。作为示例，旋转平移矩阵表示[R,T]可以如下表示：。

其中，（X_c,Y_c,1）为像素坐标；（X_w,Y_w,Z_w,1）为三维坐标；K为相机的内参。

在确定针对每个参照物的旋转平移矩阵表示[R,T]之后，根据多个参照物的旋转平移矩阵表示[R,T]，例如利用求解参数的方式解算出相机10与激光雷达20的映射公式。作为示例，可以采用PnP（Perspective-n-Point）技术。PnP技术可以包括多种解法，例如直接线性变换（DLT，Direct Linear Transform）、3对点位姿估计P3P等等。可以根据需要采用合适的PnP解法进行计算。由于PnP技术是本领域技术人员公知的常用解算技术，因此在本文中不再过多赘述。根据本发明的实施方式，“映射公式”可以是用于将激光雷达20的三维空间映射到相机10的二维空间上的旋转平移矩阵。

此外，作为示例，可以将解算完成后获得的相机10与激光雷达20的映射公式记录到配置文件中，以例如用于后续无人驾驶车辆100的行驶的相机10与激光雷达20的融合标定。

图5示出了根据本发明的实施方式的相机与激光雷达的标定系统1000的示例。

如图5所示，标定系统1000可以包括相机10、激光雷达20、显示模块80和标定模块90。根据本发明的实施方式，标定系统1000可以执行根据本发明的实施方式的标定方法。

根据本发明的实施方式，相机10用于获取参照物组30的图像数据110。激光雷达20用于获取参照物组30的点云数据。根据本发明的实施方式，显示模块80用于将点云数据转换为鸟瞰视角点云栅格数据210，并分别显示鸟瞰视角点云栅格数据210和图像数据110，以实现参照物组30中的参照物300的初步顶点标记。根据本发明的实施方式，标定模块90可以根据参照物300的初步顶点标记，分别在图像数据110和鸟瞰视角点云栅格数据210中确定顶点搜索范围，并在所述顶点搜索范围中，搜索参照物300的顶点，以确定顶点的像素坐标和三维坐标，从而根据所述像素坐标和所述三维坐标计算相机10与激光雷达20的映射公式。

有利地，根据本发明的实施方式的相机与激光雷达的标定方法和标定系统可以适用于环境随时间变化的运营环境。由于根据本发明的实施方式的标定方法可以以临时布置的参照物组进行标定，因此可以避免搭建固定参照目标，从而适用于这种变化运营环境的道路场地的变化特性。因此，本发明提供了一种在变化运营环境内就可以执行和实现的相机与激光雷达的标定方法和标定系统，这使得能够节省时间和经济成本，并提高项目推进效率。

此外，根据本发明的实施方式的相机与激光雷达的标定方法和标定系统还具有易操作性、简便性，所利用的参照物可以是作业现场易于获得的物体（例如交通锥、路障），且非技术专业人士也能熟练使用参照物快速布设出标定环境，其他标定流程可通过软件算法封装成一键执行。

另外，根据本发明的相机与激光雷达的标定方法和标定系统可以尤其适用于矿区作业场景。由于矿区作业场景崎岖不平反而让同等高度的参照物布置完成之后也产生高度差，实现了激光雷达标定参照点在三维空间的三个维度上都不在同一平面，进一步提高了空间映射公式解算的精度。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种相机与激光雷达的标定方法，其特征在于，所述相机和所述激光雷达以在进行标定时临时布置的参照物组进行标定，所述参照物组中的每个参照物具有在其高度方向上的唯一顶点，所述方法包括：

获取由所述相机采集的所述参照物组的图像数据；

获取由所述激光雷达采集的所述参照物组的点云数据，并转换所述点云数据为鸟瞰视角点云栅格数据；

以相同的标记顺序，对所述图像数据和所述鸟瞰视角点云栅格数据执行初步顶点标记，来确定每个参照物的所述图像数据中的第一顶点搜索范围以及所述鸟瞰视角点云栅格数据中的第二顶点搜索范围；

在所述第一顶点搜索范围内，搜索所述图像数据中的所述参照物的顶点，并确定所述顶点的像素坐标；

在所述第二顶点搜索范围内，搜索所述鸟瞰视角点云栅格数据中的所述参照物的顶点，并确定所述顶点的三维坐标；和

根据所述标记顺序，将所述参照物组中的每个参照物的顶点的像素坐标和三维坐标进行配对，并根据所配对的像素坐标和三维坐标，计算所述相机与所述激光雷达的映射公式。

2.根据权利要求1所述的标定方法，其特征在于，所述参照物组包括至少三个参照物，并且所述参照物被布置成在三维空间的各个维度上彼此不在同一平面。

3.根据权利要求1所述的标定方法，其特征在于，执行初步顶点标记包括：分别在所述图像数据和所述鸟瞰视角点云栅格数据上，根据顶点特征对所述参照物进行点击标记，以获得标记点。

4.根据权利要求3所述的标定方法，其特征在于，执行初步顶点标记还包括：根据对所述参照物的点击标记的顺序，基于所述标记点生成连线标记，并分别显示在所述图像数据和所述鸟瞰视角点云栅格数据上，以确保相同的标记顺序。

5. 根据权利要求4所述的标定方法，其特征在于，确定所述第一顶点搜索范围和所述第二顶点搜索范围包括：

将所述图像数据上的标记点的第一设定周边范围确定为所述第一顶点搜索范围；和

将所述鸟瞰视角点云栅格数据上的标记点的第二设定周边范围确定为所述第二顶点搜索范围。

6.根据权利要求1所述的标定方法，其特征在于，在所述第一顶点搜索范围内搜索所述图像数据中的所述参照物的顶点包括：

计算在所述第一顶点搜索范围内的所有像素的色阶值；

计算每个像素的色阶值与其邻域像素的色阶值之间的阶差；

将阶差与设定阈值进行比较；

将具有大于设定阈值的阶差的像素确定为备选像素；和

在所述备选像素中，搜索像素坐标（X,Y）中的Y值最小的像素作为所述图像数据中的所述参照物的顶点。

7.根据权利要求1所述的标定方法，其特征在于，在所述第二顶点搜索范围内，搜索所述鸟瞰视角点云栅格数据中的所述参照物的顶点包括：

获取在所述第二顶点搜索范围内的所有点云的三维坐标（X,Y,Z）；

搜索三维坐标（X,Y,Z）中的Z值最大的点云作为所述鸟瞰视角点云栅格数据中的所述参照物的顶点。

8.根据权利要求1所述的标定方法，其特征在于，计算所述相机与所述激光雷达的映射公式包括：

针对每个参照物的所配对的像素坐标和三维坐标，确定表示所述相机的坐标系相对于所述激光雷达的坐标系的位姿的旋转平移矩阵表示；

基于所有参照物的旋转平移矩阵表示，解算所述相机与所述激光雷达的映射公式。

9.一种相机与激光雷达的标定系统，其特征在于，所述标定系统执行根据权利要求1-8中任一项所述的标定方法，所述标定系统包括：

相机，所述相机用于获取参照物组的图像数据；

激光雷达，所述激光雷达用于获取所述参照物组的点云数据；

显示模块，所述显示模块将所述点云数据转换为鸟瞰视角点云栅格数据，并分别显示所述鸟瞰视角点云栅格数据和所述图像数据，以实现所述参照物组中的参照物的初步顶点标记；

标定模块，所述标定模块根据所述参照物的初步顶点标记，分别在所述图像数据和所述鸟瞰视角点云栅格数据中确定顶点搜索范围，并在其中搜索所述参照物的顶点，以确定所述顶点的像素坐标和三维坐标，从而根据所述像素坐标和所述三维坐标计算所述相机与所述激光雷达的映射公式。

10.根据权利要求9所述的标定系统，其特征在于，

所述相机和所述激光雷达包括在无人驾驶车辆中。