CN114706048A - 雷达和摄像头联合标定的校准方法及装置 - Google Patents

Abstract

本说明书实施例公开了雷达和摄像头联合标定的校准方法及装置，通过摄像头获取第一时刻的第一目标对象的第一位置信息；同时通过雷达获取该目标对象的第二位置信息；若第一位置信息和第二位置信息之间的空间位置距离大于第一阈值，则根据第一位置信息和摄像头的位置信息，判断第一目标对象与摄像头所在位置之间的距离是否大于第二阈值，若是，则调节摄像头的设备参数，使空间位置距离小于第一阈值；若否，则调节雷达的设备参数，使空间位置距离小于第一阈值，从而解决了现有技术中存在的雷达和摄像头联合标定易受环境影响，导致雷达和摄像头采集的位置信息难以融合，无法准确地进行联合标定的技术问题。

Description

雷达和摄像头联合标定的校准方法及装置

技术领域

本申请涉及智能交通系统技术领域，尤其涉及雷达和摄像头联合标定的校准方法及装置。

背景技术

智能交通系统中的路侧设备，可以通过毫米波雷达和摄像头对道路上的车辆进行扫描和定位。现有的雷达和摄像头联合标定的方法如下：

CN202010625105.1《一种多线激光雷达和红外摄像头的联合标定装置及标定方法》中介绍了一种采用了发光正六边形联合标定装置进行标定，通过求解激光点云角点和视觉角点构建的变换方程实现多线激光雷达和红外摄像头的联合标定。

CN201910624873.2《一种基于LM算法的毫米波雷达与摄像头联合标定方法》中提出了一种基于LM算法的毫米波雷达与摄像头联合标定方法，通过同时打开毫米波雷达和摄像头，放置标定物进行数据采集；再对采集的数据进行融合，并使用LM算法来实现坐标转移矩阵的联合标定。

上述现有技术通过对雷达和摄像头参数进行计算，达到联合标定的目的。但由于道路环境复杂，雷达和摄像头易受环境影响，导致在实际使用过程中，随着使用时间的增长，由于安装误差、性能误差、参数误差等导致，雷达和摄像头感知到车辆经纬度、速度、航向角等信息有较大偏差，导致利用雷达和摄像头感知到的车辆的经纬度等信息有较大偏差，导致雷达和摄像头感知的车辆的位置信息难以融合，无法进行联合标定。

发明内容

本说明书实施例提供的雷达和摄像头联合标定的校准方法及装置，可以提高雷达采集的目标对象的位置信息和摄像头采集的目标对象的位置信息的准确性，以解决现有的雷达和摄像头联合标定受环境影响，导致雷达和摄像头联合标定过程中，雷达采集的目标对象的位置信息结果与摄像头采集的目标对象的位置信息结果存在较大偏差，难以融合，无法准确地进行联合标定这一技术问题。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种雷达和摄像头联合标定的校准方法，包括：

通过摄像头获取第一时刻的第一目标对象的第一位置信息；

通过雷达获取所述第一时刻的所述第一目标对象的第二位置信息；

若所述第一位置信息和所述第二位置信息之间的空间位置距离大于第一阈值，则根据所述第一位置信息和所述摄像头的位置信息，判断所述第一目标对象与所述摄像头所在位置之间的距离是否大于第二阈值，得到判断结果；

若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离大于第二阈值，则调节所述摄像头的设备参数，使所述空间位置距离小于所述第一阈值；

若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离不大于所述第二阈值，则调节所述雷达的设备参数，使所述空间位置距离小于所述第一阈值。

可选的，所述方法还包括，

将调整后的所述雷达的设备参数，以及与调整后的所述雷达的设备参数对应的所述摄像头的设备参数存储在服务器中。

可选的，所述方法还包括，

获取所述雷达调节后采集的第二目标对象的第三位置信息；

获取所述摄像头调节后采集的所述第二目标对象的第四位置信息；

基于所述第三位置信息和所述第四位置信息，获取所述第二目标对象的位置信息的联合标定结果。

可选的，所述方法还包括：

若所述第一时刻的所述第一位置信息和所述第二时刻的所述第二位置信息之间的空间位置距离小于第一阈值，则基于所述第一位置信息和所述第二位置信息对所述第一目标对象的位置信息进行联合标定得到所述第一目标对象的位置。

可选的，所述通过摄像头获取第一时刻的第一目标对象的第一位置信息，具体包括：

建立所述摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系；

确定所述第一目标对象在所述像素坐标系内的像素坐标；

根据所述第一目标对象的像素坐标和所述对应关系，确定所述第一目标对象的第一位置信息。

可选的，所述确定所述第一目标对象在所述像素坐标系内的像素坐标，具体包括：

建立所述第一目标对象对应的空间立体图形；

确定所述空间立体图形的几何中心对应的像素坐标。

可选的，所述建立所述摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系，具体包括：

获取所述摄像头采集的图像帧；

选取所述图像帧中多个位置标定点；

获取多个所述位置标定点对应的像素坐标；

获取所述多个所述位置标定点对应的GPS坐标；

根据所述多个所述位置标定点的像素坐标和所述多个位置标定点的GPS 坐标，建立所述摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系。

可选的，所述调节所述摄像头的设备参数，具体包括：

调整所述位置标定点的像素坐标，使所述空间位置距离小于所述第一阈值；

根据调整后的所述位置标定点的像素坐标和所述位置标定点的GPS位置信息，建立调整后所述像素坐标系与所述GPS坐标系之间的对应关系。

可选的，调节所述雷达的设备参数，具体包括：调整所述雷达的航向角，使所述空间位置距离小于所述第一阈值。

本说明书实施例提供的一种雷达和摄像头联合标定的实时校准装置，包括：

第一获取模块，用于通过摄像头获取第一时刻的第一目标对象的第一位置信息；

第二获取模块，用于通过雷达获取所述第一时刻的所述第一目标对象的第二位置信息；

判断模块，若所述第一位置信息和所述第二位置信息之间的空间位置距离大于第一阈值，则根据所述第一位置信息和所述摄像头的位置信息，用于判断所述第一目标对象与所述摄像头所在位置之间的距离是否大于第二阈值，得到判断结果；

第一处理模块，若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离大于第二阈值，用于调节所述摄像头的设备参数，使所述空间位置距离小于所述第一阈值；

第二处理模块，若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离不大于第二阈值，用于调节所述雷达的设备参数，使所述空间位置距离小于所述第一阈值。

本说明书一个实施例实现了能够达到以下有益效果：

在联合标定过程中，摄像头采集的第一时刻第一目标对象的第一位置信息与雷达采集的第一时刻第一目标对象的第二位置信息之间的空间位置距离大于第一阈值时，判断第一目标对象与摄像头所在位置之间的距离是否大于第二阈值，若第一目标对象与摄像头所在位置之间的距离大于第二阈值，则表明第一目标对象距离摄像头较远，此时雷达采集的第二位置信息较摄像头采集的第一位置信息准确，因此，在联合标定过程中，以雷达采集的第二位置信息为准，调整摄像头的相关参数，使调整后的摄像头采集的第一位置信息与第二位置信息之间的空间位置距离小于第一阈值，利用调整后的摄像头采集的第一位置信息和第二位置信息可对与第一目标对象位置信息相同的目标对象进行联合标定，从而解决现有技术中，雷达和摄像头易受环境影响，导致在实际联合标定过程中，雷达和摄像头采集到车辆位置信息有较大偏差，导致雷达和摄像头采集的车辆的位置信息难以融合，无法进行准确的联合标定的技术问题。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的雷达和摄像头联合标定的校准方法的流程示意图；

图2是本说明书实施例提供的雷达和摄像头联合标定的实时校准装置的结构示意图。

具体实施方式

为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书一个或多个实施例保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

现有的雷达和摄像头联合标定的方法如下：

CN202010625105.1《一种多线激光雷达和红外摄像头的联合标定装置及标定方法》中介绍了一种采用了发光正六边形联合标定装置进行标定，通过求解激光点云角点和视觉角点构建的变换方程实现多线激光雷达和红外摄像头的联合标定。

CN201910624873.2《一种基于LM算法的毫米波雷达与摄像头联合标定方法》中提出了一种基于LM算法的毫米波雷达与摄像头联合标定方法，通过同时打开毫米波雷达和摄像头，放置标定物进行数据采集；再对采集的数据进行融合，并使用LM算法来实现坐标转移矩阵的联合标定。

上述现有技术通过对雷达和摄像头参数进行计算，达到联合标定的目的。但由于道路环境复杂，雷达和摄像头易受环境影响，导致在实际使用过程中，随着使用时间的增长，由于安装误差、性能误差、参数误差等，导致雷达和摄像头采集到车辆经纬度、速度、航向角等信息有较大偏差，导致利用雷达和摄像头感知到的车辆的经纬度等信息有较大偏差，导致雷达和摄像头采集的车辆的位置信息难以融合。

为了解决现有技术中的缺陷，本说明书实施例中给出了以下实施例：

图1为本说明书实施例提供的一种雷达和摄像头联合标定的校准方法的流程示意图。从设备角度而言，该流程的执行主体可以为服务器。如图1所示，该流程可以包括以下步骤：

步骤110：通过摄像头获取第一时刻的第一目标对象的第一位置信息；

本说明书实施例中，第一目标对象可以是指定区域内的车辆、行人等对象；可通过摄像头实时采集指定区域内的第一目标对象的位置信息；通过摄像头获取第一时刻的第一目标对象的第一位置信息，具体包括，采集第一时刻对应的图像帧，并建立该图像帧所在的像素坐标系与GPS坐标系之间的对应关系，确定第一目标对象在像素坐标系中的像素坐标，根据第一目标对象的像素坐标和上述对应关系，确定第一目标对象的GPS位置信息，从而得到第一目标对象在第一时刻的第一位置信息。

步骤120：通过雷达获取第一时刻的第一目标对象的第二位置信息。

本说明书实施例中，在摄像头采集第一时刻第一目标对象所在的位置信息的同时，利用雷达采集第一目标对象的位置信息，该位置信息为第一目标对象的第二位置信息。

步骤130：若第一位置信息和第二位置信息之间的空间位置距离大于第一阈值，则根据第一位置信息和摄像头的位置信息，判断第一目标对象与摄像头所在位置之间的距离是否大于第二阈值，得到判断结果。

本说明书实施例中，第一阈值为摄像头采集的第一目标对象的位置信息与雷达采集的第一目标对象的位置信息之间的空间位置距离，具体的，该空间位置距离可用马氏距离表示。第一位置信息和第二位置信息之间的空间位置距离大于第一阈值，则表示第一位置信息和第二位置信息偏差较大，难以融合以得到联合标定的结果；第一目标对象与摄像头之间的距离在第二阈值范围内表示：摄像头采集的第一位置信息相比雷达采集的第二位置信息的准确性更高，所以，联合标定中，应以第一位置信息为准，调节雷达的相关设备参数以调整第二位置信息，使第一位置信息和调整后的第二位置信息能够融合，进而得到第一目标对象和第二目标对象的联合标定结果。具体的，第二阈值的取值范围与用于联合标定的雷达和摄像头的实际使用场景有关，不作具体限定。

步骤140：若判断结果表示第一目标对象与摄像头所在位置之间的距离大于第二阈值，则调节摄像头的设备参数，使空间位置距离小于第一阈值。

本说明书实施例中，步骤140具体可以包括：若第一目标对象与摄像头所在位置之间的距离大于第二阈值，则表明第一目标对象距离摄像头较远，第一目标对象位于摄像头能够准确确定目标对象的位置信息的范围之外，此时，雷达采集的第一目标对象的位置信息相对较准确，因此，以雷达采集的第一目标对象的第二位置信息为准，调节摄像头的相关参数，使调节后的摄像头采集的第一位置信息与雷达采集的第二位置信息之间的空间位置距离小于第一阈值，并将此时第一目标对象对应的雷达参数和摄像头参数记录在服务器中，以便后续对与第一目标对象的位置信息相同的目标对象进行联合标定时，可以直接调用对应的雷达和摄像头参数，从而提高联合标定的效率。

步骤150：若判断结果表示第一目标对象与摄像头所在位置之间的距离不大于第二阈值，则调节摄像头的设备参数，使空间位置距离小于第一阈值。

本说明书实施例中，步骤150具体可以包括：若判断结果表示第一目标对象与摄像头所在位置之间的距离不大于第二阈值，则表明第一目标对象距离摄像头较近，在摄像头能够准确确定目标对象的位置信息的范围内，此时，摄像头采集的第一目标对象的位置信息相对较准确，因此，以摄像头采集的第一目标对象的第一位置信息为准，调节雷达的相关参数，使调节后的雷达采集的第二位置信息与摄像头采集的第一位置信息之间的空间位置距离小于第一阈值，并将此时与第一目标对象对应的雷达参数和摄像头参数记录在服务器中，以便后续对与第一目标对象的位置信息相同的目标对象进行联合标定时，可以直接调用雷达和摄像头对应的参数，从而提高联合标定的效率。

图2中方法，在联合标定过程中，摄像头采集的第一时刻第一目标对象的第一位置信息与雷达采集的第一时刻第一目标对象的第二位置信息之间的空间位置距离大于第一阈值时，判断第一目标对象与摄像头所在位置之间的距离是否大于第二阈值，若第一目标对象与摄像头所在位置之间的距离大于第二阈值，则表明第一目标对象距离摄像头较远，此时雷达采集的第二位置信息较摄像头采集的第一位置信息准确，因此，在联合标定过程中，以雷达采集的第二位置信息为准，调整摄像头的相关参数，使调整后的摄像头采集的第一位置信息与第二位置信息之间的空间位置距离小于第一阈值，利用调整后的摄像头采集的第一位置信息和第二位置信息可对与第一目标对象位置信息相同的目标对象进行联合标定，从而解决现有技术中，雷达和摄像头易受环境影响，导致在实际联合标定过程中，由于安装误差、性能误差、参数误差等，导致雷达和摄像头采集到车辆经纬度、速度、航向角等信息有较大偏差，导致利用雷达和摄像头感知到的车辆的经纬度等信息有较大偏差，导致雷达和摄像头采集的车辆的位置信息难以融合的技术问题。

基于图2中的方法，本说明书实施例还提供了该方法的一些具体实施方案，下面进行说明。

本说明书实施例中，将调整后的雷达的设备参数，以及与调整后的雷达的设备参数对应的摄像头的设备参数对应存储在服务器中，具体包括：当调整后的雷达采集的第一目标对象的第二位置信息与第一位置信息之间的空间位置距离小于第一阈值时，将此时调整后的雷达参数和对应的摄像头参数记录在服务器中，以便后续在对与第一目标对象位置信息相同的其他目标对象进行联合标定时，能够直接提取相关设备对应的设备参数，可以提高联合标定的效率。

本说明书实施例中，对雷达和摄像头调节后，雷达采集的第三位置信息与摄像头采集的第四位置信息之间的空间位置距离小于第一阈值，则获取雷达调节后采集的第二目标对象的第三位置信息；获取摄像头调节后采集的第二目标对象的第四位置信息；基于第三位置信息和第四位置信息，获取第二目标对象的位置信息的联合标定结果。

本说明书实施例中，若第一时刻的第一位置信息和第二时刻的第二位置信息之间的空间位置距离小于第一阈值，则表明此时摄像头采集的第一位置信息与雷达采集的第二位置信息能够用于联合标定，因此，可以基于第一位置信息和第二位置信息对第一目标对象的位置信息进行联合标定得到第一目标对象的位置。

本说明书实施例中，通过摄像头获取第一时刻的第一目标对象的第一位置信息，具体包括：建立摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系；确定第一目标对象在像素坐标系内的像素坐标；根据第一目标对象的像素坐标和对应关系，确定第一目标对象的第一位置信息。

本说明书实施例中，确定第一目标对象在像素坐标系内的像素坐标，具体包括：建立第一目标对象对应的空间立体图形，在上述像素坐标系中车辆通常采用长方体表示；确定空间立体图形的几何中心对应的像素坐标为第一目标对象的像素坐标。

本说明书实施例中，建立摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系，具体包括：获取摄像头采集的图像帧；选取图像帧中多个位置标定点；分别获取多个位置标定点对应的像素坐标；分别获取多个位置标定点对应的GPS坐标；根据多个位置标定点的像素坐标和多个位置标定点的GPS坐标，建立摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系。

本说明书实施例中，调节摄像头的设备参数，其实质是调整摄像头采集的图像帧所在的像素坐标系与GPS坐标系之间的对应关系，从而使根据调整后的对应关系确定的像素点的GPS坐标更加准确；调整过程具体包括：调整图像帧中位置标定点的像素坐标，其中，位置标定点的数量通常为4～6个，具体可通过调整其中一个位置标定点或多个位置标定点的像素坐标，利用调整后的对应关系，确定的第一位置信息与雷达采集的第二位置信息之间的空间位置距离小于第一阈值时，则无需再调整位置标定点的坐标。根据调整后的位置标定点的像素坐标和位置标定点的GPS位置信息，建立调整后像素坐标系与GPS坐标系之间的对应关系。

本说明书实施例中，调节雷达的设备参数，具体包括：调整雷达的航向角，使空间位置距离小于第一阈值，后续可利用调整后的雷达采集的目标对象的位置信息与摄像头采集的目标对象的位置信息对目标对象的位置进行联合标定。

本说明书实施例中，在联合标定过程中，摄像头采集的第一时刻第一目标对象的第一位置信息与雷达采集的第一时刻第一目标对象的第二位置信息之间的空间位置距离大于第一阈值时，判断第一目标对象与摄像头所在位置之间的距离是否大于第二阈值，若第一目标对象与摄像头所在位置之间的距离大于第二阈值，则表明第一目标对象距离摄像头较远，此时雷达采集的第二位置信息较摄像头采集的第一位置信息准确，因此，在联合标定过程中，以雷达采集的第二位置信息为准，调整摄像头的相关参数，使调整后的摄像头采集的第一位置信息与第二位置信息之间的空间位置距离小于第一阈值，利用调整后的摄像头采集的第一位置信息和第二位置信息可对与第一目标对象位置信息相同的目标对象进行联合标定，从而解决现有技术中，雷达和摄像头易受环境影响，导致在实际联合标定过程中，由于安装误差、性能误差、参数误差等，导致雷达和摄像头采集到车辆经纬度、速度、航向角等信息有较大偏差，导致利用雷达和摄像头感知到的车辆的经纬度等信息有较大偏差，导致雷达和摄像头采集的车辆的位置信息难以融合，无法准确进行联合标定这一技术问题。

基于同样的思路，本说明书实施例还提供了上述方法对应的装置。图2 为本说明书实施例提供的对应于图1中方法的一种雷达和摄像头联合标定的实时校准装置的结构示意图。如图2所示，该装置200可以包括：

第一获取模块210，用于通过摄像头获取第一时刻的第一目标对象的第一位置信息；第二获取模块220，用于通过雷达获取第一时刻的第一目标对象的第二位置信息；判断模块230，若第一位置信息和第二位置信息之间的空间位置距离大于第一阈值，则根据第一位置信息和摄像头的位置信息，用于判断第一目标对象与摄像头所在位置之间的距离是否大于第二阈值，得到判断结果；第一处理模块240，若判断结果表示第一目标对象与摄像头所在位置之间的距离大于第二阈值，用于调节摄像头的设备参数，使空间位置距离小于第一阈值；第二处理模块250，若判断结果表示第一目标对象与摄像头所在位置之间的距离不大于第二阈值，用于调节雷达的设备参数，使空间位置距离小于第一阈值。

基于图2中的装置，本说明书实施例还提供了该装置的一些具体实施方案，下面进行说明。

可选的，装置还用于将调整后的雷达的设备参数，以及与调整后的雷达的设备参数对应的摄像头的设备参数存储在服务器中。

可选的，第一获取模块210，用于获取雷达调节后采集的第二目标对象的第三位置信息；可选的，第二获取模块220，用于获取摄像头调节后采集的第二目标对象的第四位置信息；基于第三位置信息和第四位置信息，获取第二目标对象的位置信息的联合标定结果。

可选的，若第一时刻的第一位置信息和第二时刻的第二位置信息之间的空间位置距离小于第一阈值，则装置，用于基于第一位置信息和第二位置信息对第一目标对象的位置信息进行联合标定得到第一目标对象的位置。

可选的，第一获取模块210，用于通过摄像头获取第一时刻的第一目标对象的第一位置信息，具体包括：建立摄像头采集的图像的像素坐标系与GPS 坐标系之间的对应关系；确定第一目标对象在像素坐标系内的像素坐标；根据第一目标对象的像素坐标和对应关系，确定第一目标对象的第一位置信息。

可选的，第一获取模块210，用于确定第一目标对象在像素坐标系内的像素坐标，具体包括：建立第一目标对象对应的空间立体图形；确定空间立体图形的几何中心对应的像素坐标。

可选的，第一获取模块210，用于建立摄像头采集的图像的像素坐标系与 GPS坐标系之间的对应关系，具体包括：获取摄像头采集的图像帧；选取图像帧中多个位置标定点；获取多个位置标定点对应的像素坐标；获取多个位置标定点对应的GPS坐标；根据多个位置标定点的像素坐标和多个位置标定点的GPS坐标，建立摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系。

可选的，第一处理模块240，用于调节摄像头的设备参数，具体包括：调整位置标定点的像素坐标，使空间位置距离小于第一阈值；根据调整后的位置标定点的像素坐标和位置标定点的GPS位置信息，建立调整后像素坐标系与GPS坐标系之间的对应关系。

可选的，第二处理模块250，用于调节雷达的设备参数，具体包括：调整雷达的航向角，使空间位置距离小于第一阈值。

基于同样的思路，本说明书实施例还提供了上述方法对应的设备。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、 AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell UniversityProgramming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、 Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机摄像头电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种雷达和摄像头联合标定的校准方法，其特征在于，包括：

通过摄像头获取第一时刻的第一目标对象的第一位置信息；

通过雷达获取所述第一时刻的所述第一目标对象的第二位置信息；

若所述第一位置信息和所述第二位置信息之间的空间位置距离大于第一阈值，则根据所述第一位置信息和所述摄像头的位置信息，判断所述第一目标对象与所述摄像头所在位置之间的距离是否大于第二阈值，得到判断结果；

若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离大于所述第二阈值，则调节所述摄像头的设备参数，使所述空间位置距离小于所述第一阈值；

若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离不大于所述第二阈值，则调节所述雷达的设备参数，使所述空间位置距离小于所述第一阈值。

2.如权利要求1所述的方法，其特征在于，所述方法还包括，将调整后的所述雷达的设备参数，以及与调整后的所述雷达的设备参数对应的所述摄像头的设备参数存储在服务器中。

3.如权利要求2所述的方法，其特征在于，所述方法还包括，

获取所述雷达调节后采集的第二目标对象的第三位置信息；

获取所述摄像头调节后采集的所述第二目标对象的第四位置信息；

基于所述第三位置信息和所述第四位置信息，获取所述第二目标对象的位置信息的联合标定结果。

4.如权利要求1中所述的方法，其特征在于，所述方法还包括：

若所述第一时刻的所述第一位置信息和所述第二时刻的所述第二位置信息之间的空间位置距离小于第一阈值，则基于所述第一位置信息和所述第二位置信息对所述第一目标对象的位置信息进行联合标定得到所述第一目标对象的位置。

5.如权利要求1中所述的方法，其特征在于，如权利要求1中所述的方法，其特征在于，所述通过摄像头获取第一时刻的第一目标对象的第一位置信息，具体包括：

建立所述摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系；

确定所述第一目标对象在所述像素坐标系内的像素坐标；

根据所述第一目标对象的像素坐标和所述对应关系，确定所述第一目标对象的第一位置信息。

6.如权利要求5中所述的方法，其特征在于，所述确定所述第一目标对象在所述像素坐标系内的像素坐标，具体包括：

建立所述第一目标对象对应的空间立体图形；

确定所述空间立体图形的几何中心对应的像素坐标。

7.如权利要求5中所述的方法，其特征在于，所述建立所述摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系，具体包括：

获取所述摄像头采集的图像帧；

选取所述图像帧中多个位置标定点；

获取多个所述位置标定点对应的像素坐标；

获取所述多个所述位置标定点对应的GPS坐标；

根据所述多个所述位置标定点的像素坐标和所述多个位置标定点的GPS坐标，建立所述摄像头采集的图像的像素坐标系与GPS坐标系之间的对应关系。

8.如权利要求7所述的方法，其特征在于，所述调节所述摄像头的设备参数，具体包括：

调整所述位置标定点的像素坐标，使所述空间位置距离小于所述第一阈值；

根据调整后的所述位置标定点的像素坐标和所述位置标定点的GPS位置信息，建立调整后所述像素坐标系与所述GPS坐标系之间的对应关系。

9.如权利要求1所述的方法，其特征在于，调节所述雷达的设备参数，具体包括：调整所述雷达的航向角，使所述空间位置距离小于所述第一阈值。

10.一种雷达和摄像头联合标定的实时校准装置，包括：

第一获取模块，用于通过摄像头获取第一时刻的第一目标对象的第一位置信息；

第二获取模块，用于通过雷达获取所述第一时刻的所述第一目标对象的第二位置信息；

判断模块，若所述第一位置信息和所述第二位置信息之间的空间位置距离大于第一阈值，则根据所述第一位置信息和所述摄像头的位置信息，用于判断所述第一目标对象与所述摄像头所在位置之间的距离是否大于第二阈值，得到判断结果；

第一处理模块，若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离大于第二阈值，用于调节所述摄像头的设备参数，使所述空间位置距离小于所述第一阈值；

第二处理模块，若所述判断结果表示所述第一目标对象与所述摄像头所在位置之间的距离不大于所述第二阈值，用于调节所述雷达的设备参数，使所述空间位置距离小于所述第一阈值。

Images