CN111538008B - 变换矩阵确定方法、系统及装置 - Google Patents

Abstract

本申请提供一种变换矩阵确定方法、系统及装置，方法包括：获取多个数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据，雷达与相机安装在车辆的同一侧且预设标定物与车辆的距离大于预设距离；针对每一数据组，获取该数据组中雷达数据对应的包括该雷达数据和变换矩阵的参考图像数据；将每一数据组中的图像数据、该数据组中雷达数据对应的参考图像数据输入至构建的最小能量方程，确定使最小能量方程取值最小时的变换矩阵。由于实现雷达信号与图像平面投影所需的变换矩阵是通过标定方式获取求解得到的，因此得到的雷达坐标系与相机坐标系的变换矩阵具有抗噪能力，进而由变换矩阵可实现雷达信号到图像平面的精准投影。

Description

变换矩阵确定方法、系统及装置

技术领域

本申请涉及智能驾驶技术领域，尤其涉及一种变换矩阵确定方法、系统及装置。

背景技术

在智能驾驶系统中，车载雷达信号与车载相机的图像视觉信息的融合可以提高行驶车道中车辆及其它障碍物的检测。为了对齐雷达信号与图像视觉信息，需要计算车载雷达和车载相机之间的相对位置的变换矩阵(即外参标定)。

相关技术中，是通过将车载雷达所测范围与车载相机的可视范围划分多个区域，然后针对每个区域，根据实践经验人为设置变换系数，从而得到多个二维单应性映射关系。然而这种单应性映射关系是非线性、不连续的，并且采集的车载雷达信号通常也存在噪声，因此通过单应性映射关系将车载雷达信号投影到图像的准确度比较低。

发明内容

有鉴于此，本申请提供一种变换矩阵确定方法、系统及装置，以解决利用相关技术中单应性映射关系将车载雷达信号投影到图像的准确度比较低的问题。

根据本申请实施例的第一方面，提供一种变换矩阵确定方法，所述方法包括：

获取至少两个数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据，且各数据组是通过预设标定物在不同位置时同步得到，所述雷达数据为雷达采集的预设标定物的位置信息，所述图像数据为相机采集图像中的预设标定物的位置信息；所述雷达与所述相机安装在车辆的同一侧，且预设标定物与所述车辆之间的距离大于预设距离；

针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据，所述参考图像数据至少包括该雷达数据和变换矩阵，所述变换矩阵用于雷达坐标系与相机坐标系之间的转换；

将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

根据本申请实施例的第二方面，提供一种变换矩阵确定系统，包括车辆外部的预设标定物，安装在车辆上的相机和雷达，以及分别与所述雷达和所述相机电通信连接的变换矩阵确定装置，所述雷达与所述相机安装在车辆的同一侧，且预设标定物与所述车辆之间的距离大于预设距离；

所述雷达，用于采集预设标定物在不同位置时的雷达数据，所述雷达数据为所述雷达采集的所述预设标定物的位置信息；

所述相机，用于采集所述预设标定物在不同位置时的图像数据，所述图像数据为所述相机采集图像中的预设标定物在图像坐标系中的位置信息；

所述变换矩阵确定装置，用于获取至少两个数据组，所述两个数据组包括同步的所述雷达数据和所述图像数据，针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据，所述参考图像数据至少包括该雷达数据和变换矩阵，所述变换矩阵用于雷达坐标系和相机坐标系的转换；将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

根据本申请实施例的第三方面，提供一种变换矩阵确定装置，所述装置包括：

第一获取模块，用于获取至少两个数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据，且各数据组是通过预设标定物在不同位置时同步得到，所述雷达数据为雷达采集的预设标定物的位置信息，所述图像数据为相机采集图像中的预设标定物的位置信息；所述雷达与所述相机安装在车辆的同一侧，且预设标定物与所述车辆之间的距离大于预设距离；

第二获取模块，用于针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据，所述参考图像数据至少包括该雷达数据和变换矩阵，所述变换矩阵用于雷达坐标系与图像坐标系之间的转换；

矩阵确定模块，用于将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

应用本申请实施例，通过获取两个以上数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据且各数据组是通过预设标定物在不同位置时同步得到的，所述雷达数据为雷达采集的预设标定物的位置信息，所述图像数据为相机采集图像中的预设标定物的位置信息，雷达与相机安装在车辆的同一侧，且预设标定物与车辆之间的距离大于预设距离，然后针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据(至少包括该雷达数据和变换矩阵，变换矩阵用于雷达坐标系与相机坐标系之间的转换)，将每一数据组中的图像数据和该数据组中雷达数据对应的参考图像数据输入预先构建的最小能量方程，获取使最小能量方程取值最小时所述变换矩阵中各元素的元素值。

基于上述描述可知，由于实现雷达信号与图像平面投影所需的变换矩阵是通过标定方式获取雷达数据和图像数据，并通过将图像数据和由雷达数据和变换矩阵组成的参考图像数据输入最小能量方程求解得到的，因此求解得到的雷达坐标系与相机坐标系之间的变换矩阵具有一定的抗噪能力，进而由变换矩阵可实现雷达信号到图像平面的精准投影，即先由该变换矩阵将雷达信号转换到相机坐标位置信息，再由相机坐标系与图像坐标系之间的关系式将相机坐标位置信息转换到图像平面位置信息。

附图说明

图1A为本申请根据一示例性实施例示出的一种变换矩阵确定方法的实施例流程图；

图1B为本申请根据图1A所示实施例示出的一种雷达采集标定物的雷达数据结构示意图；

图1C为本申请根据图1A所示实施例示出的一种相机采集标定物的图像；

图1D为本申请根据图1A所示实施例示出的一种相机采集的道路图像；

图1E为本申请根据图1A所示实施例示出的一种雷达采集的原始雷达信号；

图1F为本申请根据图1A所示实施例示出的一种雷达信号投影到道路图像中的效果图；

图2为本申请根据一示例性实施例示出的一种变换矩阵确定系统结构图；

图3为本申请根据一示例性实施例示出的一种变换矩阵确定装置的实施例结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前，只是利用雷达平面与图像平面的单应性映射关系实现雷达信号到图像平面的投影，然而这种单应性映射关系并不是通过一系列的原理推导得到的映射关系，因此不具有抗噪能力，且准确度也比较低。

为解决上述问题，本申请提出一种变换矩阵确定方法，通过获取两个以上数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据且各数据组是通过预设标定物在不同位置时同步得到的，所述雷达数据为雷达采集的预设标定物的位置信息，所述图像数据为相机采集图像中的预设标定物的位置信息，雷达与相机安装在车辆的同一侧，且预设标定物与车辆之间的距离大于预设距离，然后针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据(至少包括该雷达数据和变换矩阵，变换矩阵用于雷达坐标系与相机坐标系之间的转换)，将每一数据组中的图像数据和该数据组中雷达数据对应的参考图像数据输入预先构建的最小能量方程，获取使最小能量方程取值最小时所述变换矩阵中各元素的元素值。

基于上述描述可知，由于实现雷达信号与图像平面投影所需的变换矩阵是通过标定方式获取雷达数据和图像数据，并通过将图像数据和由雷达数据和变换矩阵组成的参考图像数据输入最小能量方程求解得到的，因此求解得到的雷达坐标系与相机坐标系之间的变换矩阵具有一定的抗噪能力，进而由变换矩阵可实现雷达信号到图像平面的精准投影，即先由该变换矩阵将雷达信号转换到相机坐标位置信息，再由相机坐标系与图像坐标系之间的关系式将相机坐标位置信息转换到图像平面位置信息。

需要说明的是，本申请中的变换矩阵确定方法，操作简单方便，可以应用在任意电子设备上，以得到变换矩阵中各元素的标定参数。

下面以具体实施例对本申请技术方案进行详细说明。

图1A为本申请根据一示例性实施例示出的一种变换矩阵确定方法的实施例流程图，如图1A所示，该变换矩阵确定方法包括如下步骤：

步骤101：获取至少两个数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据，且各数据组是通过预设标定物在不同位置时同步得到。

在一实施例中，雷达与相机安装在车辆的同一侧，且预设标定物与车辆之间的距离大于预设距离；每一数据组中的雷达数据为雷达采集的预设标定物的位置信息，图像数据为相机采集图像中的预设标定物的位置信息。

其中，雷达采集的预设标定物的位置信息可以是雷达与预设标定物之间的径向距离和偏航角，相机采集图像中的预设标定物的位置信息可以是预设标定物中心点在图像中的坐标值。由于雷达对金属材质物体具有反射强、聚焦好的特点，因此预设标定物可以是十字型的金属标定物(十字点处由于是两条线的交叉，其反射最强)，可以从雷达原始采集的雷达信号中提取反射最强的十字点处的雷达数据。通过将雷达和相机安装在车辆的同一侧(如车辆前方)，可以保证标定物在相机的可视范围内的同时，雷达也能采集到标定物反射的雷达信号。为了保证标定物在雷达坐标系中的高度值可以近似为某一数值(如0)，在标定时，预设标定物的放置位置与车辆之间的距离大于预设距离(如25米)。由于雷达和相机均是应用在车辆上，因此雷达可以是毫米波雷达，相机可以是车载相机。

需要说明的是，当预设标定物的数量为1个时，可以通过将预设标定物放置在距车辆为预设距离之外的不同位置，针对每一位置，获取一个数据组；当预设标定物的数量为多个时，可以通过将多个预设标定物同时放置在距车辆为预设距离之外的不同位置，针对每一位置，获取一个数据组。

在一示例性场景中，如图1B-1C所示，假设预设标定物的数量为1个，预设距离为25米，通过将预设标定物放置在距车辆为25米之外的不同位置处，并分别利用在车辆同一侧设有的雷达和相机采集标定物在不同位置处的雷达数据和图像。当预设标定物放置在某一位置时，图1B为雷达采集标定物的雷达数据结构示意图，采集的雷达数据为径向距离r和偏航角θ，图1C为相机采集的图像，图像数据为标定物的中心点在图像中的坐标(u，v)。

步骤102：针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据，该参考图像数据至少包括雷达数据和变换矩阵，变换矩阵用于雷达坐标系与相机坐标系之间的转换。

在一实施例中，针对每一数据组，可以先确定该数据组中雷达数据在雷达坐标系中的雷达坐标位置信息，再确定所述雷达坐标位置信息在相机坐标系中的相机坐标位置信息，所述相机坐标位置信息由该雷达数据和变换矩阵表示，最后再确定所述相机坐标位置信息在图像坐标系中的参考图像数据。

其中，首先通过将该雷达数据输入雷达坐标系与雷达数据转换关系式获取雷达坐标位置信息，雷达坐标系与雷达数据转换关系式如下：

其中，雷达坐标系由横轴、纵轴、Z轴组成，横轴和纵轴分别表示物体在水平方向和垂直方向距雷达的距离，Z轴表示的是物体高度，由于雷达采集的雷达数据是通过将预设标定物放置在距车辆为预设距离之外的位置采集的，因此满足将Z轴表示的物体高度用某一数值近似处理的条件，如可以将雷达坐标系与雷达数据转换关系式中的物体高度z用0表示。基于此，得到由雷达数据(r,θ)表示的雷达坐标位置信息(x,y,0)。

其次，通过将雷达坐标位置信息输入雷达坐标系与相机坐标系转换关系式，获取相机坐标位置信息，雷达坐标系与相机坐标系转换关系式如下：

其中，(x′,y′,z′)表示相机坐标系中的相机坐标位置信息，(x,y,z)表示雷达坐标系中的雷达坐标位置信息，R表示变换矩阵中的3×3旋转正交矩阵，t表示变换矩阵中的3×1平移矩阵。将雷达坐标位置信息(x,y,0)代入公式2中得到：

相机坐标位置信息(x′,y′,z′)由r、θ、R、t表示。

最后，通过将相机坐标位置信息输入相机坐标系与图像坐标系转换关系式，获取参考图像数据，相机坐标系与图像坐标系转换关系式如下：

其中，(f_x,f_y,c_x,c_y)表示已知的相机内参，(u,v)为参考图像数据，(x′,y′,z′)表示相机坐标位置信息。将由r、θ、R、t表示的相机坐标位置信息(x′,y′,z′)代入公式3中，得到的参考图像数据(u,v)由r、θ、R、t表示。

步骤103：将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使最小能量方程取值最小时的变换矩阵中各元素的元素值。

在一实施例中，在执行步骤103之前，可以先通过如下方式构建最小能量方程：

依据各数据组中的图像数据与各数据组中雷达数据对应的参考图像数据进行计算得到如下最小二乘残差方程：

其中，n表示数据组的数量，(u_i，v_i)表示第i个数据组中的图像数据，

表示第i个数据组中的参考图像数据，(x′_i,y′_i,z′_i)是由雷达数据和变换矩阵表示的相机坐标位置信息，(f_x,f_y,c_x,c_y)表示已知的相机内参；将所述最小二乘残差方程进行去分母化处理得到如下最小能量方程：∑_i{[u_iz′_i-(f_xx′_i+c_xz′_i)]²+[v_iz′_i-(f_yy′_i+c_yz′_i)]²}。

其中，由于最小二乘残差方程是一个包含分母的高阶方程，为了求解方便，可以对其进行去分母化处理，并将去分母后的最小二乘残差方程作为最小能量方程。

在一实施例中，针对确定使最小能量方程取值最小时的变换矩阵中各元素的元素值的过程，可以通过利用LM(Levenberg-Marquard，列文伯格-马夸尔特法)算法进行最小化求解，获取最佳解，即变换矩阵R和t中的元素值。

在一示例性场景中，如图1D所示，为车辆行驶过程中，车载相机采集的道路图像；如图1E所示，为雷达采集的原始雷达信号，其中，第一幅小图中的横轴表示的是物体的相对运动速度，纵轴表示的是物体与雷达之间的距离，第二幅小图中的横轴表示的是物体在雷达坐标系中的水平方向距离，纵轴表示的是物体在雷达坐标系中的垂直方向距离，颜色标尺为由不同颜色表示的反射强度，即反射信号的功率大小；如图1F所示，为利用上述步骤101至步骤103得到的变换矩阵，将雷达信号投影到道路图像中的效果图，其中，投影颜色越深表示反射强度越大，通过投影颜色和识别到的图像的视觉信息的结合，以及雷达信号中表示的物体的相对运动速度可以精确定位出前方行驶的车辆。

本申请实施例中，通过获取两个以上数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据且各数据组是通过预设标定物在不同位置时同步得到的，所述雷达数据为雷达采集的预设标定物的位置信息，所述图像数据为相机采集图像中的预设标定物的位置信息，雷达与相机安装在车辆的同一侧，且预设标定物与车辆之间的距离大于预设距离，然后针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据(至少包括该雷达数据和变换矩阵，变换矩阵用于雷达坐标系和相机坐标系的转换)，将每一数据组中的图像数据和该数据组中雷达数据对应的参考图像数据输入预先构建的最小能量方程，获取使最小能量方程取值最小时所述变换矩阵中各元素的元素值。

基于上述描述可知，由于实现雷达信号与图像平面投影所需的变换矩阵是通过标定方式获取雷达数据和图像数据，并通过将图像数据和由雷达数据和变换矩阵组成的参考图像数据输入最小能量方程求解得到的，因此求解得到的雷达坐标系与相机坐标系之间的变换矩阵具有一定的抗噪能力，进而由变换矩阵可实现雷达信号到图像平面的精准投影，即先由该变换矩阵将雷达信号转换到相机坐标位置信息，再由相机坐标系与图像坐标系之间的关系式将相机坐标位置信息转换到图像平面位置信息。

图2为本申请根据一示例性实施例示出的一种变换矩阵确定系统的结构图，该系统包括：车辆外部的预设标定物201，安装在车辆上的相机202和雷达203，以及分别与雷达和相机电通信连接的变换矩阵确定装置204，雷达203与相机202安装在车辆的同一侧，且预设标定物201与车辆之间的距离大于预设距离；

其中，所述雷达203，用于采集预设标定物201在不同位置时的雷达数据，所述雷达数据为所述雷达采集的所述预设标定物201的位置信息；

所述相机202，用于采集所述预设标定物201在不同位置时的图像，并获取所述图像的图像数据，所述图像数据为所述相机采集图像中的预设标定物201的位置信息；

所述变换矩阵确定装置204，用于获取至少两个数据组，所述两个数据组包括同步的所述雷达数据和所述图像数据，针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据，所述参考图像数据至少包括该雷达数据和变换矩阵，所述变换矩阵用于雷达坐标系和相机坐标系的转换；将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

图3为本申请根据一示例性实施例示出的一种变换矩阵确定装置的实施例结构图，所述变换矩阵确定装置包括：

第一获取模块310，用于获取至少两个数据组，各数据组包括雷达和相机分别针对预设标定物采集的雷达数据和图像数据，且各数据组是通过预设标定物在不同位置时同步得到，所述雷达数据为雷达采集的预设标定物的位置信息，所述图像数据为相机采集图像中的预设标定物的位置信息；所述雷达与所述相机安装在车辆的同一侧，且预设标定物与所述车辆之间的距离大于预设距离；

第二获取模块320，用于针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据，所述参考图像数据至少包括该雷达数据和变换矩阵，所述变换矩阵用于雷达坐标系与图像坐标系之间的转换；

矩阵确定模块330，用于将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

在一可选实现方式中，所述第二获取模块320，具体用于确定所述雷达数据在雷达坐标系中的雷达坐标位置信息；确定所述雷达坐标位置信息在相机坐标系中的相机坐标位置信息，所述相机坐标位置信息由所述雷达数据和变换矩阵表示；确定所述相机坐标位置信息在图像坐标系中的参考图像数据。

在一可选实现方式中，所述雷达坐标系由横轴、纵轴、Z轴组成，横轴和纵轴分别表示物体在水平方向和垂直方向距雷达的距离，Z轴表示的是物体高度，不同雷达数据转换后的雷达坐标位置信息中沿Z轴方向的坐标值相同。

在一可选实现方式中，不同雷达数据转换后的雷达坐标位置信息中沿Z轴方向的坐标值为0。

在一可选实现方式中，所述装置还包括(图3中未示出)：

能量方程构建模块，用于依据各数据组中的图像数据与各数据组中雷达数据对应的参考图像数据进行计算得到如下最小二乘残差方程：

其中，n表示数据组的数量，(u_i，v_i)表示第i个数据组中的图像数据，

表示第i个数据组中的参考图像数据，(x′_i,y′_i,z′_i)是由雷达数据和变换矩阵表示的相机坐标位置信息，(f_x,f_y,c_x,c_y)表示已知的相机内参；

将所述最小二乘残差方程进行去分母化处理得到所述最小能量方程。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (11)

1.一种变换矩阵确定方法，其特征在于，所述方法包括：

获取至少两个数据组，各数据组包括雷达和相机分别针对十字型的金属标定物采集的雷达数据和图像数据，且各数据组是通过十字型的金属标定物在不同位置时同步得到，所述雷达数据为雷达采集的十字型的金属标定物的位置信息，所述雷达采集的十字型的金属标定物的位置信息为反射最强的点处的雷达数据；所述图像数据为相机采集图像中的十字型的金属标定物中心点在图像中的坐标值；所述雷达与所述相机安装在车辆的同一侧，且十字型的金属标定物与所述车辆之间的距离大于预设距离，所述预设距离至少使得雷达数据坐标值计算满足物体高度用特定数值近似处理的条件；雷达采集的十字型的金属标定物的位置信息包括雷达与十字型的金属标定物之间的径向距离和偏航角；

针对每一数据组，基于物体高度用特定数值近似处理的条件，确定该数据组中雷达数据在雷达坐标系中的雷达坐标位置信息；不同雷达数据转换后的雷达坐标位置信息中沿物体高度方向的坐标值相同；雷达坐标位置信息的横轴/纵轴大小分别根据所述径向距离和偏航角的余弦/正弦的乘积得到；

针对每一数据组，获取与该数据组中雷达坐标位置信息对应的参考图像数据，所述参考图像数据至少包括该雷达坐标位置信息和变换矩阵，所述变换矩阵用于雷达坐标系与相机坐标系之间的转换；

将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

2.根据权利要求1所述的方法，其特征在于，针对每一数据组，获取与该数据组中雷达数据对应的参考图像数据，包括：

确定所述雷达数据在雷达坐标系中的雷达坐标位置信息；

确定所述雷达坐标位置信息在相机坐标系中的相机坐标位置信息，所述相机坐标位置信息由所述雷达数据和变换矩阵表示；

确定所述相机坐标位置信息在图像坐标系中的参考图像数据。

3.根据权利要求2所述的方法，其特征在于，所述雷达坐标系由横轴、纵轴、Z轴组成，横轴和纵轴分别表示物体在水平方向和垂直方向距雷达的距离，Z轴表示的是物体高度，

不同雷达数据转换后的雷达坐标位置信息中沿Z轴方向的坐标值相同。

4.根据权利要求3所述的方法，其特征在于，不同雷达数据转换后的雷达坐标位置信息中沿Z轴方向的坐标值为0。

5.根据权利要求2所述的方法，其特征在于，所述最小能量方程通过以下方式构建：

依据各数据组中的图像数据与各数据组中雷达数据对应的参考图像数据进行计算得到如下最小二乘残差方程：

其中，n表示数据组的数量，(u_i，v_i)表示第i个数据组中的图像数据，

表示第i个数据组中的参考图像数据，(x_i ^′,y_i ^′,z_i ^′)是由雷达数据和变换矩阵表示的相机坐标位置信息，(f_x,f_y,c_x,c_y)表示已知的相机内参；

将所述最小二乘残差方程进行去分母化处理得到所述最小能量方程。

6.一种变换矩阵确定系统，包括车辆外部的十字型的金属标定物，安装在车辆上的相机和雷达，以及分别与所述雷达和所述相机电通信连接的变换矩阵确定装置，其特征在于，所述雷达与所述相机安装在车辆的同一侧，且十字型的金属标定物与所述车辆之间的距离大于预设距离，所述预设距离至少使得雷达数据坐标值计算满足物体高度用特定数值近似处理的条件；

所述雷达，用于采集十字型的金属标定物在不同位置时的雷达数据，所述雷达数据为所述雷达采集的所述十字型的金属标定物的位置信息，所述雷达采集的十字型的金属标定物的位置信息为反射最强的点处的雷达数据；

所述相机，用于采集所述十字型的金属标定物在不同位置时的图像，并获取所述图像的图像数据，所述图像数据为所述相机采集图像中的十字型的金属标定物中心点在图像中的坐标值；

所述变换矩阵确定装置，用于获取至少两个数据组，所述两个数据组包括同步的所述雷达数据和所述图像数据，雷达采集的十字型的金属标定物的位置信息包括雷达与十字型的金属标定物之间的径向距离和偏航角；针对每一数据组，基于物体高度用特定数值近似处理的条件，确定该数据组中雷达数据在雷达坐标系中的雷达坐标位置信息；不同雷达数据转换后的雷达坐标位置信息中沿物体高度方向的坐标值相同；雷达坐标位置信息的横轴/纵轴大小分别根据所述径向距离和偏航角的余弦/正弦的乘积得到；针对每一数据组，获取与该数据组中雷达坐标位置信息对应的参考图像数据，所述参考图像数据至少包括该雷达坐标位置信息和变换矩阵，所述变换矩阵用于雷达坐标系和相机坐标系的转换；将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

7.一种变换矩阵确定装置，其特征在于，所述装置包括：

第一获取模块，用于获取至少两个数据组，各数据组包括雷达和相机分别针对十字型的金属标定物采集的雷达数据和图像数据，且各数据组是通过十字型的金属标定物在不同位置时同步得到，所述雷达数据为雷达采集的十字型的金属标定物的位置信息，所述雷达采集的十字型的金属标定物的位置信息为反射最强的点处的雷达数据，所述图像数据为相机采集图像中的十字型的金属标定物中心点在图像中的坐标值；所述雷达与所述相机安装在车辆的同一侧，且十字型的金属标定物与所述车辆之间的距离大于预设距离，所述预设距离至少使得雷达数据坐标值计算满足物体高度用特定数值近似处理的条件；雷达采集的十字型的金属标定物的位置信息包括雷达与十字型的金属标定物之间的径向距离和偏航角；

第二获取模块，用于针对每一数据组，基于物体高度用特定数值近似处理的条件，确定该数据组中雷达数据在雷达坐标系中的雷达坐标位置信息；不同雷达数据转换后的雷达坐标位置信息中沿物体高度方向的坐标值相同；雷达坐标位置信息的横轴/纵轴大小分别根据所述径向距离和偏航角的余弦/正弦的乘积得到；针对每一数据组，获取与该数据组中雷达坐标位置信息对应的参考图像数据，所述参考图像数据至少包括该雷达坐标位置信息和变换矩阵，所述变换矩阵用于雷达坐标系与图像坐标系之间的转换；

矩阵确定模块，用于将每一数据组中的图像数据、以及该数据组中雷达数据对应的参考图像数据输入至已构建的最小能量方程，确定使所述最小能量方程取值最小时所述变换矩阵中各元素的元素值。

8.根据权利要求7所述的装置，其特征在于，所述第二获取模块，具体用于确定所述雷达数据在雷达坐标系中的雷达坐标位置信息；确定所述雷达坐标位置信息在相机坐标系中的相机坐标位置信息，所述相机坐标位置信息由所述雷达数据和变换矩阵表示；确定所述相机坐标位置信息在图像坐标系中的参考图像数据。

9.根据权利要求8所述的装置，其特征在于，所述雷达坐标系由横轴、纵轴、Z轴组成，横轴和纵轴分别表示物体在水平方向和垂直方向距雷达的距离，Z轴表示的是物体高度。

10.根据权利要求9所述的装置，其特征在于，不同雷达数据转换后的雷达坐标位置信息中沿Z轴方向的坐标值为0。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：

能量方程构建模块，用于依据各数据组中的图像数据与各数据组中雷达数据对应的参考图像数据进行计算得到如下最小二乘残差方程：

其中，n表示数据组的数量，(u_i，v_i)表示第i个数据组中的图像数据，

表示第i个数据组中的参考图像数据，(x_i ^′,y_i ^′,z_i ^′)是由雷达数据和变换矩阵表示的相机坐标位置信息，(f_x,f_y,c_x,c_y)表示已知的相机内参；

将所述最小二乘残差方程进行去分母化处理得到所述最小能量方程。

Images