CN113219428A - 相机与雷达的融合标定方法和装置 - Google Patents

Abstract

本发明提供了一种相机与雷达的融合标定方法和装置，涉及车辆驾驶的技术领域，相机和雷达安装于目标车辆中，该方法包括：基于定位框架确定标定支架的放置角度，以使定位框架的中心线平行于标定支架的中心线，其中，定位框架与目标车辆的车头前端贴合，标定支架设置有标靶；获取标靶的采集位置信息和预设位置信息，其中，采集位置信息根据相机和雷达得到，预设位置信息根据标定支架获得；根据采集位置信息和预设位置信息，对相机与雷达进行融合标定，通过定位框架与标定支架的配合，实现快速精准对标靶定位的目的，保证标定准确性且成本较低。

Description

相机与雷达的融合标定方法和装置

技术领域

本发明涉及车辆驾驶的技术领域，尤其是涉及一种相机与雷达的融合标定方法和装置。

背景技术

随着车辆自动驾驶技术的发展，一般通过视觉系统和雷达装置结合，对车辆行进过程中道路上目标物进行识别，以便车辆能够根据目标物位置，进行避障等操作，以保证车辆自动驾驶的安全可靠性。

在使用摄像头和毫米波雷达探测前方目标物辅助驾驶之前，需要给相机和毫米波雷达进行坐标定位标定，使对目标物的探测更加准确。一般为了保证定位标定的准确性，通过高精度仪器对标定支架和下线车辆进行精准定位，但此种方式成本较高，不利于广泛应用。

发明内容

有鉴于此，本发明的目的在于提供一种相机与雷达的融合标定方法和装置，通过定位框架与标定支架的配合，实现快速精准对标靶定位的目的，保证标定准确性且成本较低。

第一方面，实施例提供一种相机与雷达的融合标定方法，相机和雷达安装于目标车辆中，所述方法包括：

基于定位框架确定所述标定支架的放置位置，以使所述定位框架的中心线平行于所述标定支架的中心线，其中，所述定位框架与所述目标车辆的车头前端贴合，所述标定支架设置有标靶；

基于所述放置位置获取所述标靶的采集位置信息和预设位置信息，其中，所述采集位置信息根据所述相机和所述雷达得到，所述预设位置信息根据所述标定支架获得；

根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定。

在可选的实施方式中，在基于定位框架确定所述标定支架的放置位置的步骤之前，所述方法还包括：

接收上位机发送的标定指令，并控制所述定位框架与所述标定支架的确定放置位置。

在可选的实施方式中，根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定的步骤，包括：

根据所述采集位置信息和所述预设位置信息的偏差确定校正值；

基于所述校正值对所述采集位置信息进行校正，得到的目标位置信息；

当所述目标位置信息与所述预设位置信息之间的差值满足差值阈值范围时，则确定所述相机和所述雷达的融合标定校正值。

在可选的实施方式中，所述方法还包括：

基于所述融合标定校正值，对所述相机和所述雷达下一时刻采集的目标物位置信息进行校正。

在可选的实施方式中，所述定位框架设置有第一十字激光射线发射装置，所述标定支架上设置有第二十字激光射线发射装置，基于定位框架确定所述标定支架的放置位置的步骤，包括：

当所述第一十字激光射线发射装置发出的十字激光射线与所述第一十字激光射线发射装置发出的十字激光射线的横向射线重合时，确定所述标定支架的放置位置。

在可选的实施方式中，所述标定支架上还设置有用于对所述十字激光射线进行采集的感知装置和用于提醒所述十字激光射线中横向射线重合的提醒装置。

在可选的实施方式中，所述标定支架上还设置有执行机构，基于定位框架确定所述标定支架的放置位置的步骤，还包括：

控制所述标定支架移动，直至所述第一十字激光射线发射装置发出的十字激光射线与所述第一十字激光射线发射装置发出的十字激光射线的横向射线重合。

第二方面，实施例提供一种相机与雷达的融合标定装置，相机和雷达安装于目标车辆中，所述装置包括：

确定模块，基于定位框架确定所述标定支架的放置位置，以使所述定位框架的中心线平行于所述标定支架的中心线，其中，所述定位框架与所述目标车辆的车头前端贴合，所述标定支架设置有标靶；

获取模块，基于所述放置位置获取所述标靶的采集位置信息和预设位置信息，其中，所述采集位置信息根据所述相机和所述雷达得到，所述预设位置信息根据所述标定支架获得；

标定模块，根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定。

第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。

第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。

本发明实施例提供的一种相机与雷达的融合标定方法和装置，通过与车辆车头前端贴合的定位框架，能够定位出标定支架的放置位置和角度，使得标定支架与定位框架之间的中心线彼此平行，进而通过相机雷达对标靶位置进行采集，以实现融合标定，无需精度较高的测量仪器控制标定支架摆放，节省成本。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种相机与雷达的融合标定方法流程图；

图2为本发明实施例提供的一种相机与雷达的融合标定应用场景示意图；

图3为本发明实施例提供的另一种相机与雷达的融合标定应用场景示意图；

图4为本发明实施例提供的一种相机与雷达的融合标定装置的功能模块图；

图5为本发明实施例提供的一种电子设备的硬件架构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前的车辆生产厂家为了实现更加安全可靠的车辆驾驶性能，一般会在车辆上搭载辅助驾驶系统，即在车辆生产下线时，将视觉系统(如相机等设备)和雷达装置(如毫米波雷达)安装到相应车辆上后，再对该具有辅助驾驶功能的车辆进行销售。在视觉系统和雷达装置完成安装后，为了保证目标物识别的准确性，往往采用高精度仪器控制标定支架的摆放位置。但高精度仪器的成本较高，并不利于广泛应用。

基于此，本发明实施例提供的一种相机与雷达的融合标定方法和装置，通过定位框架与标定支架的配合，实现快速精准对标靶定位的目的，保证标定准确性且成本较低。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于相机与雷达的融合标定方法进行详细介绍，相机和雷达安装于目标车辆中，对该目标车辆中的相机和雷达进行融合标定，该方法可应用于车辆中的控制器、控制设备，该控制设备可与相机集成于一体，该控制设备可通过太线与车辆中其他控制设备或控制系统进行通讯连接。

图1为本发明实施例提供的一种基于相机与雷达的融合标定方法流程图。

如图1所示，该方法包括以下步骤：

步骤S102，基于定位框架确定所述标定支架的放置位置，以使所述定位框架的中心线平行于所述标定支架的中心线，其中，所述定位框架与所述目标车辆的车头前端贴合，所述标定支架设置有标靶，如图2所示；

其中，由于车辆的停放位置姿态并不能准确限制，故而对该车辆的相机和雷达的标定支架的摆放位置也无法准确确定。本发明实施例通过贴合车辆前端的定位框架，确定对应的标定支架摆放位置，以通过标靶的精确位置实现相机和雷达的准确标定。需要说明的是，定位框架和标定支架采用如图2中的结构，能够固定的更加稳固，成本更低。

作为一种可选的实施例，雷达可采用毫米波雷达，定位框架和标定支架均采用非金属材料搭建，使该毫米波雷达在无金属的环境中标定，省去吸波棉的使用。

步骤S104，基于所述放置位置获取所述标靶的采集位置信息和预设位置信息，其中，所述采集位置信息根据所述相机和所述雷达得到，所述预设位置信息根据所述标定支架获得，可以理解的是，该预设位置信息为理想情况下的位置信息；

作为一种可选的实施例，标定支架上还设置有定位装置和信号发射终端，采用定位装置确定出该标定支架的预设位置信息，并通过信号发射终端发送给控制器；相机和雷达对标靶的位置进行采集，得到采集位置信息，也发送给控制器。

步骤S106，根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定。

在实际应用的优选实施例中，通过与车辆车头前端贴合的定位框架，能够定位出标定支架的放置位置和角度，使得标定支架与定位框架之间的中心线彼此平行，进而通过相机雷达对标靶位置进行采集，以实现融合标定，无需精度较高的测量仪器控制标定支架摆放，节省成本。

在可选的实施方式中，在步骤S102之前，所述方法还包括：接收上位机发送的标定指令，并控制所述定位框架与所述标定支架的确定放置位置。

这里，上位机控制目标车辆中的相机和雷达进行融合标定，控制器基于该标定指令，将标定支架放置于相应位置和角度，其中心线与定位框架的中心线平行。

在可选的实施方式中，步骤S106还可以通过以下步骤实现，包括：

步骤1.1)，根据所述采集位置信息和所述预设位置信息的偏差确定校正值；

作为一种可选的实施例，可采集位置信息坐标与预设位置信息坐标的差值确定出两者的偏差校正值。

步骤1.2)，基于所述校正值对所述采集位置信息进行校正，得到的目标位置信息；

步骤1.3)，当所述目标位置信息与所述预设位置信息之间的差值满足差值阈值范围时，则此时的校正值较为准确，能够满足车辆驾驶领域中对目标物检测需要的精度，将该校正值确定为所述相机和所述雷达的融合标定校正值。

作为一种可选的实施例，标定后的雷达可发送毫米波在车辆行驶过程中，对目标物距离车辆的横向距离、纵向距离均进行精准检测，并计算出该目标物的相对速度，以便车辆进行相应操作实现避障，保证车辆行驶的安全可靠性。

步骤1.4)，若所述目标位置信息与所述预设位置信息之间的差值不满足差值阈值范围，则可重新对标定支架的放置位置和放置角度进行调整，并重新执行上述标定步骤。

其中，本发明实施例采用的方法简易，能够基于该融合标定校正值，实现相机和雷达同时标定，提升效率，且标定支架的定位零件成本低，定位方法简单，车辆生产下线方的工人能够快速实现定位，提高了应用便利广泛性。

在前述实施例的基础上，该方法还包括：

步骤1.5)，基于所述融合标定校正值，对所述相机和所述雷达下一时刻采集的目标物位置信息进行校正。

示例性地，经过本发明实施例中确定的融合标定校正值，可对该车辆后续任一时刻采集的目标物位置信息进行相应校正，以保证能够获取更加准确的位置信息和相对速度。

作为另一种可选的实施例，经过本发明实施例中确定的融合标定校正值，对车辆中安装的相机和雷达的相应参数进行调整，并采用调整后的相机和雷达重新对标靶位置进行采集，判断此时的采集位置信息与预设位置信息之间的误差是否满足预设误差范围，若满足，则该车辆中雷达相机后续任一时刻采集的目标物位置信息即为较为精确的，无需再进行校准；若不满足，则重新根据新的误差值对车辆中安装的相机和雷达的相应参数进行调整，直至产生的误差满足预设误差范围。

为了便于更加清楚地对标定支架与定位框架之间的交互进行说明，引入附图3，在可选的实施方式中，所述定位框架设置有第一十字激光射线发射装置，所述标定支架上设置有第二十字激光射线发射装置，基于定位框架确定所述标定支架的放置位置的步骤S102，可包括：当所述第一十字激光射线发射装置发出的十字激光射线与所述第一十字激光射线发射装置发出的十字激光射线的横向射线重合时，确定所述标定支架的放置位置。

其中，定位框架上的第一十字激光射线发射装置依据目标车辆位置(目标车辆坐标位置)发出十字激光射线。

这里，为了保证标定结果更加准确，标靶位置需要较为精准，在前述实施例的基础上，使得标靶平行或垂直目标车辆，更加准确地对标定支架的位置进行定位，除定位框架与标定支架发出的十字激光射线的纵向射线相平行之外，十字激光射线的横向射线还需重合。如图3中所示，第一十字激光射线发射装置发出段状十字射线，第二十字激光射线发射装置发出点状十字射线，当两者的横向射线重合时，此时确定出标定支架的摆放位置和放置角度。

在可选的实施方式中，所述标定支架上还设置有执行机构，该步骤S102还包括：

控制所述标定支架移动，直至所述第一十字激光射线发射装置发出的十字激光射线与所述第一十字激光射线发射装置发出的十字激光射线的横向射线重合。

示例性地，控制器基于上位机的标定指令对目标车辆中相机和雷达进行标定，将定位框架贴合车辆车头前端后，控制标定支架中的执行机构带动标定支架进行移动，直至横向射线重合，将此时的位置确定为标定支架的放置位置。其中，该执行机构可包括万向轮、驱动设备、小型电机设备等等，能够根据控制器发送的控制信号移动到相应的坐标位置即可，并不对执行机构的组成设备进行限定。

在可选的实施方式中，所述标定支架上还设置有用于对所述十字激光射线进行采集的感知装置和用于提醒所述十字激光射线中横向射线重合的提醒装置。

在实际应用的优选实施例中，标定支架上的感知装置能够通过拍摄该十字激光射线所存在的照片并识别出照片图像中横向射线是否重合、或通过红外等方式感知该横向射线是否重合，并在识别到横向射线重合的情况下，通过信号发射终端将重合信号发送给控制器，以便控制器控制执行机构停止动作。需要说明的是，控制器能够控制执行机构按照特定速度、特定方向进行移动，并移动到特定位置坐标处。如果需要对标定支架进行较为精细的调整移动，即控制执行机构移动的速度较为缓慢、标定支架位置确定的时间较长，当横向射线重合时，即确定出标定支架位置的情况下，停止执行机构进行动作的同时，控制感情能够通过标定支架上还设置的提醒装置进行提醒，以便工作人员及时发现。该提醒装置可采用振动设备、蜂鸣器等等。

作为另一种可选的实施例，定位框架、标定支架也可通过工作人员人工移动到相应位置，并通过人眼观察横向射线是否重合，以判断是否继续移动标定支架，进而确定标定支架的位置。

如图4所示，本发明实施例还提供一种相机与雷达的融合标定装置400，相机和雷达安装于目标车辆中，所述装置包括：

确定模块401，基于定位框架确定所述标定支架的放置位置，以使所述定位框架的中心线平行于所述标定支架的中心线，其中，所述定位框架与所述目标车辆的车头前端贴合，所述标定支架设置有标靶；

获取模块402，基于所述放置位置获取所述标靶的采集位置信息和预设位置信息，其中，所述采集位置信息根据所述相机和所述雷达得到，所述预设位置信息根据所述标定支架获得；

标定模块403，根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定。

其中，通过与车辆车头前端贴合的定位框架和标定支架之间的配合，确定出能够与定位框架的中心线平行的标定支架的放置位置和放置角度，在保证该标定支架放置位置精确的情况下，再通过相机雷达对标靶位置进行采集，以实现融合标定，使得标定准确性更高，节省成本，保证车辆自动行驶过程中，对目标物检测的准确性，提高用户行驶安全可靠性。

图5为本发明实施例提供的电子设备300的硬件架构示意图。参见图5所示，该电子设备300包括：机器可读存储介质301和处理器302，还可以包括非易失性存储介质303、通信接口304和总线305；其中，机器可读存储介质301、处理器302、非易失性存储介质303和通信接口304通过总线305完成相互间的通信。处理器302通过读取并执行机器可读存储介质301中相机与雷达的融合标定的机器可执行指令，可执行上文实施例描述相机与雷达的融合标定方法。

本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的相机与雷达的融合标定方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种相机与雷达的融合标定方法，其特征在于，相机和雷达安装于目标车辆中，所述方法包括：

基于定位框架确定标定支架的放置位置，以使所述定位框架的中心线平行于所述标定支架的中心线，其中，所述定位框架与所述目标车辆的车头前端贴合，所述标定支架设置有标靶；

基于所述放置位置获取所述标靶的采集位置信息和预设位置信息，其中，所述采集位置信息根据所述相机和所述雷达得到，所述预设位置信息根据所述标定支架获得；

根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定。

2.根据权利要求1所述的方法，其特征在于，在基于定位框架确定所述标定支架的放置位置的步骤之前，所述方法还包括：

接收上位机发送的标定指令，并控制所述定位框架与所述标定支架的确定放置位置。

3.根据权利要求1所述的方法，其特征在于，根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定的步骤，包括：

根据所述采集位置信息和所述预设位置信息的偏差确定校正值；

基于所述校正值对所述采集位置信息进行校正，得到的目标位置信息；

当所述目标位置信息与所述预设位置信息之间的差值满足差值阈值范围时，则确定所述相机和所述雷达的融合标定校正值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于所述融合标定校正值，对所述相机和所述雷达下一时刻采集的目标物位置信息进行校正。

5.根据权利要求1所述的方法，其特征在于，所述定位框架设置有第一十字激光射线发射装置，所述标定支架上设置有第二十字激光射线发射装置，基于定位框架确定所述标定支架的放置位置的步骤，包括：

当所述第一十字激光射线发射装置发出的十字激光射线与所述第一十字激光射线发射装置发出的十字激光射线的横向射线重合时，确定所述标定支架的放置位置。

6.根据权利要求5所述的方法，其特征在于，所述标定支架上还设置有用于对所述十字激光射线进行采集的感知装置和用于提醒所述十字激光射线中横向射线重合的提醒装置。

7.根据权利要求5所述的方法，其特征在于，所述标定支架上还设置有执行机构，基于定位框架确定所述标定支架的放置位置的步骤，还包括：

控制所述标定支架移动，直至所述第一十字激光射线发射装置发出的十字激光射线与所述第一十字激光射线发射装置发出的十字激光射线的横向射线重合。

8.一种相机与雷达的融合标定装置，其特征在于，相机和雷达安装于目标车辆中，所述装置包括：

确定模块，基于定位框架确定标定支架的放置位置，以使所述定位框架的中心线平行于所述标定支架的中心线，其中，所述定位框架与所述目标车辆的车头前端贴合，所述标定支架设置有标靶；

获取模块，基于所述放置位置获取所述标靶的采集位置信息和预设位置信息，其中，所述采集位置信息根据所述相机和所述雷达得到，所述预设位置信息根据所述标定支架获得；

标定模块，根据所述采集位置信息和所述预设位置信息，对所述相机与所述雷达进行融合标定。

9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现权利要求1至7任一项所述的方法的步骤。

Images