CN116152356A - 标定方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种标定方法、装置、设备及存储介质，涉及计算机视觉技术领域，该方法包括：获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据；其中，多个不同位置为将标定板移动到路侧相机和路侧雷达共同感知范围内的多个位置而获得；识别路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将标定板区域与定位数据进行对齐，以获得标定板区域点对信息；根据标定板区域点对信息，对路侧相机和路侧雷达进行标定。实现了自动采集数据、自动联合标定的效果，减少了人力成本，提高了采集数据的安全性和标定效率。

Description

标定方法、装置、设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，具体而言，涉及一种标定方法、装置、设备及存储介质。

背景技术

车路协同是指全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与多传感器融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。为了实现智慧交通的车路协同，需要对路侧感知设备之间进行联合标定，并保证标定精度更好地提高车端自动驾驶的安全性。

目前，联合标定的方式是通过人工到道路中央举标定板采集数据，随后到办公室人工选点进行标定。该方式对于人力和实施安全并不友好，对使用人员的技术要求也相对较高，不适合普通工人使用，且人力成本高，采集数据的安全性和效率低。

发明内容

有鉴于此，本申请实施例的目的在于提供一种标定方法、装置、设备及存储介质，通过分别获取标定板被移动到路侧相机和路侧雷达共同感知范围内多个位置采集的二维数据、三维数据，以及多个位置的定位数据；然后识别二维数据与三维数据下的标定板区域，并与定位数据对齐点对，根据这些点对信息采用预设标定算法对路侧相机和路侧雷达进行标定，实现了自动采集数据、自动联合标定的效果，减少了人力成本，提高了采集数据的安全性和标定效率，从而解决了上述技术问题。

第一方面，本申请实施例提供一种标定方法，所述方法包括：获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据；其中，所述多个不同位置为将所述标定板移动到路侧相机和路侧雷达共同感知范围内的多个位置而获得；识别所述路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将所述标定板区域与所述定位数据进行对齐，以获得标定板区域点对信息；根据所述标定板区域点对信息，对所述路侧相机和路侧雷达进行标定。

在上述实现过程中，通过分别获取标定板被移动到路侧多个感知设备，例如路侧相机和路侧雷达，它们共同感知范围内多个位置采集的二维数据、三维数据，以及多个位置的定位数据；然后识别二维数据与三维数据下的标定板区域，并与定位数据对齐点对，根据这些点对信息采用预设标定算法对路侧相机和路侧雷达进行标定，实现了自动采集数据、自动联合标定的效果，减少了人力成本，提高了采集数据的安全性和标定效率。

可选地，所述获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据，包括：将标定板安装在移动工具上，移动所述移动工具驶入路侧相机、路侧雷达共同感知范围内的多个位置并停止预设时间；在所述预设时间内，采集标定板在所述多个位置时的路侧相机二维数据、路侧雷达三维数据、以及定位数据；其中，所述预设时间包括：同时采集所述路侧相机二维数据以及路侧雷达三维数据的最短时间。

在上述实现过程中，通过利用移动工具装载标定板移动到路侧相机和路侧雷达共同感知范围内多个位置，在预设时间内同时多次自动采集对应位置的二维数据、三维数据和定位数据，实现了自动采集数据、自动联合标定的效果，提高了标定人员的安全程度，降低了标定采集数据的风险；自动化标定流程，无需人工选点，同时降低了对标定人员的技术要求；设置预设时间段内采集数据，避免了录取时间段内几帧图像出现错误而无法进行后续标定的问题，减少了录制次数，提高了标定效率。

可选地，所述标定板包括：粘贴反光纸的二维码图纸，所述二维码图纸与水平面呈预设角度。

在上述实现过程中，通过在标定板外围设置反光纸，由于雷达原理是发射一束激光到标定板，根据反射回来的激光解析出点云信息，因而能够提高路侧雷达获取点云三维数据的准确度和效率；标定板倾斜预设角度，方便路侧雷达采集标定板更准确的三维空间信息。

可选地，所述识别所述路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将所述标定板区域与所述定位数据进行对齐，以获得标定板区域点对信息，包括：对所述路侧相机二维数据进行图像识别，获得标定板区域的平面像素信息；对所述路侧雷达三维数据进行点云强度识别，获得所述标定板区域的空间点云信息；对所述标定板区域的平面像素信息、空间点云信息、定位数据进行对齐，获得所述标定板区域点对信息。

在上述实现过程中，通过对标定板被移动到路侧相机和路侧雷达共同感知范围内多个位置采集的二维数据、三维数据进行图像识别、点云强度识别，可识别出标定板区域的坐标点信息，并与定位数据对齐，以方便后续利用点对信息进行标定，实现了自动采集数据、自动联合标定的效果，减少了人力成本，提高了采集数据的安全性和标定效率。

可选地，所述对所述标定板区域的平面像素信息、空间点云信息、定位数据进行对齐，获得所述标定板区域点对信息，包括：根据所述标定板区域的平面像素信息、空间点云信息，确定标定板的中心点坐标信息；其中，所述中心点坐标信息包括：中心点平面坐标信息、中心点空间坐标信息；根据所述标定板的物理信息、所述中心点坐标信息，计算出所述标定板区域内其他像素点相对于中心点的偏移量；其中，所述标定板的物理信息包括：标定板的长度、宽度、倾斜角度；根据所述中心点坐标信息、偏移量，确定所述标定板区域内其他像素点的坐标信息；将所述中心点坐标信息、所述其他像素点的坐标信息与定位数据进行对齐，获得标定板区域点对信息。

在上述实现过程中，通过对路侧相机和路侧雷达共同感知范围内采集的多个位置的标定板数据和定位数据；识别出标定板区域后，通过中心点坐标和偏移量换算出各个点的坐标信息，并分别与定位数据对齐点对，实现了标定板区域各个点坐标的快速准确计算，简单快捷，提高了标定效率。

可选地，所述根据所述标定板区域点对信息，对所述路侧相机和路侧雷达进行标定，包括：根据标定板区域点对信息，调用三维到二维点对运动模型进行标定，获得标定转换关系。

在上述实现过程中，通过对路侧相机和路侧雷达共同感知范围内采集的多个位置的标定板数据和定位数据进行识别对齐，获得标定板区域的点对信息，根据这些点对信息调用相关预设标定算法模型对路侧相机和路侧雷达进行联合标定，实现了自动采集数据、自动联合标定的效果；自动化标定流程，无需人工选点，同时降低了对标定人员的技术要求；减少了人力成本，提高了采集数据的安全性和标定效率。

可选地，所述定位数据通过实时动态载波相位差分方法获取。

在上述实现过程中，通过对标定板进行RTK实时测量定位，能够达到厘米级的高精度，提高了后续标定的准确率。

第二方面，本申请实施例提供了一种标定装置，所述装置包括：采集模块，用于获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据；其中，所述多个不同位置为将所述标定板移动到路侧相机和路侧雷达共同感知范围内的多个位置而获得；识别对齐模块，用于识别所述路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将标定板区域与所述定位数据进行对齐，以获得标定板区域点对信息；联合标定模块，用于根据标定板区域点对信息，对所述路侧相机和路侧雷达进行标定。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种标定方法的流程图；

图2为本申请实施例提供的一种相机与雷达联合标定的示意图；

图3为本申请实施例提供的标定装置的功能模块示意图；

图4为本申请实施例提供标定装置的电子设备的方框示意图。

图标：210-采集模块；220-识别对齐模块；230-联合标定模块；300-电子设备；311-存储器；312-存储控制器；313-处理器；314-外设接口；315-输入输出单元；316-显示单元。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在介绍本申请实施例前，首先对涉及的几个技术概念作简要介绍。

路侧感知设备：在道路侧的路侧杆上安装的相机、激光雷达、毫米波雷达等多种传感器设备用于感知周围环境。一般路侧通过在路杆上安装摄像机(电子眼)、激光雷达、毫米波雷达等感知设备来获取路面状况，并通过路侧边缘计算单元MEC将消息融合汇总得出变道，超车，绿波通行等策略下发给智能汽车(车端)。因为智能汽车自身的角色和硬件限制，只能获取到周围片面的车辆信息，而路侧则可以以另一种更高的视角给自动驾驶提供更加全面的信息。

PnP(Perspective-n-Point)算法：是求解3D(三维)到2D(二维)点对运动的方法。通过在已知世界坐标系下N个三维空间点的真实坐标以及这些空间点在图像成像中的N个像点，计算出其投影关系，再进一步计算相机所在的位姿；其中，已知量是空间点的真实坐标和图像坐标，未知量(求解量)是相机的位姿。

相机和雷达的联合标定：相机得到的信息是一个2D的平面，只能通过视觉得到不准确的对象信息，雷达得到的则是有深浅的点状集群。将二者进行联合标定，即是二者坐标系拉齐的一个过程。联合标定后相机和雷达同时感知物体就能呈现一个含有图像且立体的3D效果。

本申请发明人注意到，随着计算机视觉和智慧交通的不断发展，为了使路侧感知设备能够更好地学习和感知周围环境，通常采用多传感器融合的方式，比如，采用雷达和相机融合的方式。在雷达和相机融合过程中，雷达和相机之间的外参的准确性决定了环境感知的准确性。为了实现智慧交通的车路协同，需要对路侧感知设备之间进行联合标定，并保证标定精度更好地提高车端自动驾驶的安全性。但目前，联合标定的方式是通过人工到道路中央举标定板采集数据，随后到办公室人工选点进行标定。该方式对于人力和实施安全并不友好，对使用人员的技术要求也相对较高，不适合普通工人使用，且人力成本高，采集数据的安全性和效率低。有鉴于此，通过路侧感知设备之间自动化联合标定能够提升标定精度，更好地服务车端自动驾驶的安全性，通过不断实验得到了客户端与服务端交互自动采集数据、自动标定的流程，具体地，本申请实施例提供了一种如下介绍的标定方法、装置、设备及存储介质。

请参阅图1，图1为本申请实施例提供的一种标定方法的流程图。下面对本申请实施例进行详细阐释。该方法包括：步骤100、步骤120和步骤140。

步骤100：获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据；其中，多个不同位置为将标定板移动到路侧相机和路侧雷达共同感知范围内的多个位置而获得；

步骤120：识别路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将标定板区域与定位数据进行对齐，以获得标定板区域点对信息；

步骤140：根据标定板区域点对信息，对所述路侧相机和路侧雷达进行标定。

示例性地，路侧多个感知设备可以包括：本申请中的路测相机、路测雷达，以及其他诸如地感线圈、光照传感器等路测感知设备。路侧相机二维数据可以是：道路侧的路侧杆上安装的摄像机、电子眼、工业相机等路侧感知设备采集的感知区域内道路的视频、图像信息，每一帧视频图像一般是图像二维坐标系下的像素点数据，在本申请实施例中则是标定板所在位置及其附近区域的二维图像信息。路侧雷达三维数据可以是：道路侧的路侧杆上安装的激光雷达、毫米波雷达等路侧感知设备采集的感知区域内道路的激光点云信息，一般是三维坐标系下的空间坐标点数据，在本申请实施例中则是标定板所在位置及其附近区域的三维信息。多个位置可以是：路侧相机和路侧雷达共同感知范围内每一根车道线所在物理位置及其附近区域的物理位置，每个具体位置可尽量不相同，以增大标定数据采集的有效性。

可选地，获取路侧相机二维数据、路侧雷达三维数据以及定位数据的采集过程可以基于智能汽车客户端与服务端的交互，其中，客户端集成了多传感器的录制程序，负责数据的自动获取或采集；服务端作为后端负责处理、计算获取的数据，进行联合标定。路侧相机二维数据可以是相机视频流的形式，可通过RTSP(Real Time Streaming Protocol，实时流传输协议)协议或者集成的相机动态链接库实现录制；路侧雷达三维数据可以是激光点云的形式，可通过与路侧灯杆的MEC(Mobile Edge Computing：边缘计算技术)交互下发录制的ROS命令，从定义的点云上传协议实现录制和拉取；定位数据可以是单点定位(SinglePoint Positioning：SPP)数据、差分GPS定位数据、RTK GPS定位数据等多种形式，如果是RTK数据，可通过MQTT协议与用于标定板定位的相关控制器交互，实现控制标定板RTK定位信息的录制和拉取。如图2所示，在进行相机与激光联合标定时，用户在客户端选择目标相机，并根据目标相机选择同杆激光对应的激光雷达，等标定板被移动到共同感知区域内车道线某位置，点击“录制”开始录制采集数据，同时获取上述相机视频流、激光点云和标定板定位信息等三种数据，录制完成上传数据到服务端处理器，识别标定板区域并结合定位信息对齐点对，根据系统预设的标定算法对目标相机与选择的雷达进行标定。

通过分别获取标定板被移动到路侧多个感知设备，例如路侧相机和路侧雷达，它们共同感知范围内多个位置采集的二维数据、三维数据，以及多个位置的定位数据；然后识别二维数据与三维数据下的标定板区域，并与定位数据对齐点对，根据这些点对信息采用预设标定算法对路侧相机和路侧雷达进行标定，实现了自动采集数据、自动联合标定的效果，减少了人力成本，提高了采集数据的安全性和标定效率。

在一个实施例中，步骤100可以包括：步骤101和步骤102。

步骤101：将标定板安装在移动工具上，移动移动工具驶入路侧相机、路侧雷达共同感知范围内的多个位置并停止预设时间；

步骤102：在预设时间内，采集标定板在多个位置时的路侧相机二维数据、路侧雷达三维数据、以及定位数据；其中，预设时间包括：同时采集路侧相机二维数据以及路侧雷达三维数据的最短时间。

示例性地，移动工具可以是：运输小车、小巴车等多种可安装标定板，并能够自由移动的载体工具。预设时间可以是：同时采集路侧相机二维数据以及路侧雷达三维数据的最短时间，还可以是固定设置的一段录制时间，例如：3s、4s、5s、6s、7s等多种录制时长；录制这么长时间也为了后续图像识别，如果录取时间段内可能有几帧图像存在问题，则可直接丢弃，选择更清晰的图像帧视频数据，以减少录制次数，提高标定效率。

可选地，如图2所示，用户通过客户端观看需要标定的路侧相机视频流，判断标定车在远处进入感知范围内，指导安全员驻车停稳后，用户选择需要标定的目标相机、激光雷达进行数据采集，点击开始录制后，服务器收到客户端消息自动录制相机视频、激光点云和定位数据。等待预设时间用户点击停止录制，服务器将自动停止录制数据，录制结束，并生成相应文件。用户重复操作录制足够相应数据后，点击“去标定”，客户端给服务器发送标定请求，服务端自动调用标定算法进行标定，10分钟之后可输出标定结果文件。具体地，移动工具以小巴车为例。在小巴车顶上固定自研设计的标定板作为标定车，将标定车由相机和激光雷达感知范围之外的车道线A缓慢驶进感知范围内后停车熄火5秒，在标定车稳定静止的5秒预设时间内，同时录制相机视频，激光点云bag包和定位信息等三种数据。5秒之后标定车启动，并以每小时20千米以下的时速缓慢前进至完全离开感知范围后更换车道线，重复以上流程，保证每次车道线的多个位置都不相同，至少两次就能得到精度相对较高的标定结果。

特别地，该方法解决了多传感器时间戳对不齐导致标定结果不准确甚至不可用的问题。多传感器对齐时间戳是为了对齐不同感知数据的空间点，这就需要一个相同的时钟源，同时还需要知道相机曝光成像的时间点，才能对齐多传感器的时间戳。因选择停车打点录制数据的方式，图像，点云和定位信息无空间上的位移，成功解决了多传感器时间戳不能完全对齐的问题。

通过利用移动工具装载标定板移动到路侧相机和路侧雷达共同感知范围内多个位置，在预设时间内同时多次自动采集对应位置的二维数据、三维数据和定位数据，实现了自动采集数据、自动联合标定的效果，提高了标定人员的安全程度，降低了标定采集数据的风险；自动化标定流程，无需人工选点，同时降低了对标定人员的技术要求；设置预设时间段内采集数据，避免了录取时间段内几帧图像出现错误而无法进行后续标定的问题，减少了录制次数，提高了标定效率。

在一个实施例中，标定板包括：粘贴反光纸的二维码图纸，二维码图纸与水平面呈预设角度。

示例性地，标定板一般是指带有固定间距图案阵列的平板。在机器视觉、图像测量、摄影测量、三维重建等应用中，为校正镜头畸变、确定物理尺寸和像素间的换算关系、以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型。其具体可通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，可以得出相机的几何模型，从而得到高精度的测量和重建结果。预设角度可以是：45°、30°、60°等多种倾斜角度。

本申请中的整个标定板可以是由两块共同边连接在一起的正方形图案，都与水平面成45度角固定安装在小巴车车头位置，其中，每个正方形中心是相机标定所需的固定间距的二维码图纸，且图纸外围粘贴一圈反光纸。

通过在标定板外围设置反光纸，由于雷达原理是发射一束激光到标定板，根据反射回来的激光解析出点云信息，因而能够提高路侧雷达获取点云三维数据的准确度和效率；标定板倾斜预设角度，方便路侧雷达采集标定板更准确的三维空间信息。

在一个实施例中，步骤120可以包括：步骤121、步骤122和步骤123。

步骤121：对路侧相机二维数据进行图像识别，获得标定板区域的平面像素信息；

步骤122：对路侧雷达三维数据进行点云强度识别，获得标定板区域的空间点云信息；

步骤123：对标定板区域的平面像素信息、空间点云信息、定位数据进行对齐，获得标定板区域点对信息。

示例性地，图像识别可以是：利用服务端后台对采集的图像进行处理、分析和理解，识别出当前模式下的标定板目标和对象；图像的传统识别流程可分为四个步骤：图像采集→图像预处理→特征提取→图像识别，图像识别的方法可以是特征脸(PCA)人脸识别法、神经网络人脸识别法、线段Hausdorff距离(LHD)人脸识别法、支持向量机(SVM)人脸识别法、商品识别技术。点云强度识别可以是：基于采集的标定板点云数据的强度信息可以对点云数据进行噪声过滤运算，将一定强度范围内的点云数据自动化移除，让反射强度高的目标位置看起来明亮，让反射强度低的目标位置看起来灰暗。基于点云数据反射强度信息，可以对标定板等特定类型的数据目标进行独立分离，从而提取出标定板区域；点云强度识别的方法可以是PointNet网络点云特征提取、VoxelNet提取、Transformer点云分析算法等多种方式。

可选地，采用上述图像识别、点云强度识别中的任意一种方式对路侧相机二维数据、路侧雷达三维数据进行识别，识别出视频与点云下的标定板区域，其中，视频是通过识别标定板二维码确认标定板区域的平面轮廓信息，点云则是因标定板贴了一圈反光纸，利用点云强度的不同识别出标定板区域的空间信息，将这两种信息中的各个标定板点坐标通过定位信息进行关联、匹配对齐，获得包含这三种信息的点对信息。

通过对标定板被移动到路侧相机和路侧雷达共同感知范围内多个位置采集的二维数据、三维数据进行图像识别、点云强度识别，可识别出标定板区域的坐标点信息，并与定位数据对齐，以方便后续利用点对信息进行标定，实现了自动采集数据、自动联合标定的效果，减少了人力成本，提高了采集数据的安全性和标定效率。

在一个实施例中，步骤123可以包括：步骤1231、步骤1232、步骤1233和步骤1234。

步骤1231：根据标定板区域的平面像素信息、空间点云信息，确定标定板的中心点坐标信息；其中，中心点坐标信息包括：中心点平面坐标信息、中心点空间坐标信息；

步骤1232：根据标定板的物理信息、中心点坐标信息，计算出标定板区域内其他像素点相对于中心点的偏移量；其中，标定板的物理信息包括：标定板的长度、宽度、倾斜角度；

步骤1233：根据中心点坐标信息、偏移量，确定标定板区域内其他像素点的坐标信息；

步骤1234：将中心点坐标信息、其他像素点的坐标信息与定位数据进行对齐，获得标定板区域点对信息。

示例性地，采用步骤121-122的图像识别、点云强度识别方法对路侧相机二维数据、路侧雷达三维数据进行识别，识别出视频与点云下的标定板区域的平面轮廓信息和空间信息。该平面轮廓信息中包含了标定板的多个像素点二维坐标，空间信息中包含了标定板的点云块集合。将视频中标定板的像素点、点云块的集合和定位信息进行拉齐，由于定位信息是标定板的位置，因此同一份数据中标定板区域所有像素点都是同一个定位信息。先确定标定板中心点的坐标信息，又已知标定板的长、宽、倾斜角等物理信息、以及定位设备与标定板中心点的差值，通过标定板的长、宽和倾斜角可换算出其他像素点与标定板中心点的偏移量。根据中心点坐标信息和偏移量，可换算出标定板区域其他像素点的坐标信息，分别与定位信息对应匹配对齐绑定，进而获得像素各个点、点云块各个点与定位信息的绑定关系，从而得到标定板区域各个像素点，点云块和定位信息的点对。

通过对路侧相机和路侧雷达共同感知范围内采集的多个位置的标定板数据和定位数据；识别出标定板区域后，通过中心点坐标和偏移量换算出各个点的坐标信息，并分别与定位数据对齐点对，实现了标定板区域各个点坐标的快速准确计算，简单快捷，提高了标定效率。

在一个实施例中，步骤140可以包括：步骤141。

步骤141：根据标定板区域点对信息，调用三维到二维点对运动模型进行标定，获得标定转换关系。

示例性地，三维到二维点对运动模型可以是服务端处理器内置的PNP算法，也可以是其他三维空间到二维平面转换的算法。标定可以是指：用户选择的某一目标路侧相机和路侧雷达的联合标定，路侧相机得到的信息是标定板区域的一个2D平面，只能通过视觉得到不准确的对象信息，路侧雷达得到的则是标定板区域有深浅的点状集群。将二者进行联合标定，即是二者坐标系拉齐的一个过程，联合标定后路侧相机和路侧雷达同时感知物体就能呈现一个含有图像且立体的3D效果。

PNP算法通过在已知雷达坐标系下N个三维空间点的点云坐标以及这些空间点在相机图像坐标系中的N个像点坐标，计算出其投影关系，再进一步计算出标定转换关系。其中，已知量是标定板区域空间点的点云坐标和图像坐标，未知量(求解量)是转换矩阵。服务端输入绑定好的点对集合，调用opencv数据库中的PNP算法，输出标定转换矩阵返回至客户端，呈现标定板区域含有图像且立体的3D效果，完成标定，从而在感知其他物体时也能呈现相同的效果。

通过对路侧相机和路侧雷达共同感知范围内采集的多个位置的标定板数据和定位数据进行识别对齐，获得标定板区域的点对信息，根据这些点对信息调用相关预设标定算法模型对路侧相机和路侧雷达进行联合标定，实现了自动采集数据、自动联合标定的效果；自动化标定流程，无需人工选点，同时降低了对标定人员的技术要求；减少了人力成本，提高了采集数据的安全性和标定效率。

在一个实施例中，定位数据通过实时动态载波相位差分方法获取。

示例性地，实时动态载波相位差分方法可以是：Real-time kinematic(RTK)实时动态差分法的GPS定位测量。RTK定位是以载波相位观测量为根据的实时差分GPS测量，它的实现一般由这几样组成：卫星、基准站、移动站、电台，基准站。可选地，将RTK设备安装在小巴车车尾巴位置对标定板移动的位置进行实时GPS定位。其通过接收卫星数据，并根据自身基准坐标数据进行计算，得出偏差值，再通过电台(现在通过4G等无线网络也多)方式，将结果传给移动站；移动站接收GPS卫星的载波相位与来自基准站的载波相位(及偏差结果)，并组成相位差分观测值进行及时处理，从而得到精度比DGPS高得多的定位实时测量结果。通过RTK设备对标定板进行RTK实时测量定位，能够达到厘米级的高精度，提高了后续标定的准确率。

请参阅图3，图3为本申请实施例提供的一种标定装置的模块功能示意图。该装置包括：采集模块210、识别对齐模块220和联合标定模块230。

采集模块210，用于获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据；其中，所述多个不同位置为将所述标定板移动到路侧相机和路侧雷达共同感知范围内的多个位置而获得；

识别对齐模块220，用于识别所述路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将标定板区域与所述定位数据进行对齐，以获得标定板区域点对信息；

联合标定模块230，用于根据标定板区域点对信息，对所述路侧相机和路侧雷达进行标定。

可选地，采集模块210可以用于：

将标定板安装在移动工具上，移动所述移动工具驶入路侧相机、路侧雷达共同感知范围内多个位置并停止预设时间；

在所述预设时间内，采集标定板在所述多个位置的路侧相机二维数据、路侧雷达三维数据、以及定位数据；其中，所述预设时间包括：同时采集所述路侧相机二维数据以及路侧雷达三维数据的最短时间。

可选地，所述标定板包括：粘贴反光纸的二维码图纸，所述二维码图纸与水平面呈预设角度。

可选地，识别对齐模块220可以用于：

对所述路侧相机二维数据进行图像识别，获得标定板区域的平面像素信息；

对所述路侧雷达三维数据进行点云强度识别，获得所述标定板区域的空间点云信息；

对所述标定板区域的平面像素信息、空间点云信息、定位数据进行对齐，获得所述标定板区域点对信息。

可选地，识别对齐模块220可以用于：

根据所述标定板区域的平面像素信息、空间点云信息，确定标定板的中心点坐标信息；其中，所述中心点坐标信息包括：中心点平面坐标信息、中心点空间坐标信息；

根据所述标定板的物理信息、所述中心点坐标信息，计算出所述标定板区域内其他像素点相对于中心点的偏移量；其中，所述标定板的物理信息包括：标定板的长度、宽度、倾斜角度；

根据所述中心点坐标信息、偏移量，确定所述标定板区域内其他像素点的坐标信息；

将所述中心点坐标信息、所述其他像素点的坐标信息与定位数据进行对齐，获得标定板区域点对信息。

可选地，联合标定模块230可以用于：

根据标定板区域点对信息，调用三维到二维点对运动模型进行标定，获得标定转换关系。

可选地，所述定位数据通过实时动态载波相位差分方法获取。

请参阅图4，图4是电子设备的方框示意图。电子设备300可以包括存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316。本领域普通技术人员可以理解，图4所示的结构仅为示意，其并不对电子设备300的结构造成限定。例如，电子设备300还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。

上述的存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器313用于执行存储器中存储的可执行模块。

其中，存储器311可以是，但不限于，随机存取存储器(Random Access Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(ProgrammableRead-Only Memory，简称PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，简称EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，简称EEPROM)等。其中，存储器311用于存储程序，所述处理器313在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备300所执行的方法可以应用于处理器313中，或者由处理器313实现。

上述的处理器313可能是一种集成电路芯片，具有信号的处理能力。上述的处理器313可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述的外设接口314将各种输入/输出装置耦合至处理器313以及存储器311。在一些实施例中，外设接口314，处理器313以及存储控制器312可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

上述的输入输出单元315用于提供给用户输入数据。所述输入输出单元315可以是，但不限于，鼠标和键盘等。

上述的显示单元316在电子设备300与用户之间提供一个交互界面(例如用户操作界面)给用户参考。在本实施例中，所述显示单元316可以是液晶显示器或触控显示器。液晶显示器或触控显示器可以对处理器执行所述程序的过程进行显示。

本实施例中的电子设备300可以用于执行本申请实施例提供的各个方法中的各个步骤。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的步骤。

本申请实施例所提供的上述方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种标定方法，其特征在于，所述方法包括：

获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据；其中，所述多个不同位置为将所述标定板移动到路侧相机和路侧雷达共同感知范围内的多个位置而获得；

识别所述路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将所述标定板区域与所述定位数据进行对齐，以获得标定板区域点对信息；

根据所述标定板区域点对信息，对所述路侧相机和路侧雷达进行标定。

2.根据权利要求1所述的方法，其特征在于，所述获取标定板在多个不同位置时路侧多个感知设备采集的数据，所述数据包括路侧相机二维数据、路侧雷达三维数据以及定位数据，包括：

将标定板安装在移动工具上，移动所述移动工具驶入路侧相机、路侧雷达共同感知范围内的多个位置并停止预设时间；

在所述预设时间内，采集标定板在所述多个位置时的路侧相机二维数据、路侧雷达三维数据、以及定位数据；其中，所述预设时间包括：同时采集所述路侧相机二维数据以及路侧雷达三维数据的最短时间。

3.根据权利要求2所述的方法，其特征在于，其中，所述标定板包括：粘贴反光纸的二维码图纸，所述二维码图纸与水平面呈预设角度。

4.根据权利要求1所述的方法，其特征在于，所述识别所述路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将所述标定板区域与所述定位数据进行对齐，以获得标定板区域点对信息，包括：

对所述路侧相机二维数据进行图像识别，获得标定板区域的平面像素信息；

对所述路侧雷达三维数据进行点云强度识别，获得所述标定板区域的空间点云信息；

对所述标定板区域的平面像素信息、空间点云信息、定位数据进行对齐，获得所述标定板区域点对信息。

5.根据权利要求4所述的方法，其特征在于，所述对所述标定板区域的平面像素信息、空间点云信息、定位数据进行对齐，获得所述标定板区域点对信息，包括：

根据所述标定板区域的平面像素信息、空间点云信息，确定标定板的中心点坐标信息；其中，所述中心点坐标信息包括：中心点平面坐标信息、中心点空间坐标信息；

根据所述标定板的物理信息、所述中心点坐标信息，计算出所述标定板区域内其他像素点相对于中心点的偏移量；其中，所述标定板的物理信息包括：标定板的长度、宽度、倾斜角度；

根据所述中心点坐标信息、偏移量，确定所述标定板区域内其他像素点的坐标信息；

将所述中心点坐标信息、所述其他像素点的坐标信息与定位数据进行对齐，获得标定板区域点对信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述标定板区域点对信息，对所述路侧相机和路侧雷达进行标定，包括：

根据标定板区域点对信息，调用三维到二维点对运动模型进行标定，获得标定转换关系。

7.根据权利要求1-6任一所述的方法，其特征在于，其中，所述定位数据通过实时动态载波相位差分方法获取。

8.一种标定装置，其特征在于，所述装置包括：

采集模块，用于获取标定板在多个位置的路侧相机二维数据、路侧雷达三维数据以及定位数据；其中，所述多个位置为将所述标定板移动到路侧相机和路侧雷达共同感知范围内的多个位置而获得；

识别对齐模块，用于识别所述路侧相机二维数据、路侧雷达三维数据中的标定板区域，并将标定板区域与所述定位数据进行对齐，以获得标定板区域点对信息；

联合标定模块，用于根据所述标定板区域点对信息，对所述路侧相机和路侧雷达进行标定。

9.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的方法的步骤。

Images