CN113724333A - 一种雷达设备的空间标定方法和系统 - Google Patents

Abstract

本申请提供了一种雷达设备的空间标定方法和系统。其中，该方法包括：获取同一时刻的图像和雷达测量数据，该雷达测量数据包括地理区域的多个标志点的雷达坐标；根据图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标；确定至少两个标志点匹配对，每个标志点匹配对包括一个标志点的地理坐标和所述一个标志点的雷达坐标；根据所述至少两个标志点匹配对，获得所述雷达测量数据与所述地理区域之间的标定关系。上述方法能够提高空间标定的准确率和效率。

Description

一种雷达设备的空间标定方法和系统

技术领域

本申请涉及人工智能(artificial intelligence，AI)领域，尤其涉及一种雷达设备的空间标定方法和系统。

背景技术

目前，城市中各个区域都部署了大量的视频监控相机进行实时监控。例如，在城市交通路口部署视频监控相机用于实时监控交通路口的车流、人流等交通信息，并且随着人工智能技术的发展，人脸识别、车牌识别、车型识别等技术已普遍应用于交通路口的自动化监控，极大的提升了交通监管效率，保障了城市交通的安全有序。视频相机具有信息密度高、颜色信息丰富的优点，但是视频相机对于远处的成像不清晰，在存在遮挡时无法成像，例如，对于安装在交通路口的电警相机，其在安装时会有10°左右的向下俯视角度，对于距离该相机较远的车辆，电警相机的成像区域较小导致所拍摄的车辆的清晰度不高，此外，对于同型号的车辆，电警相机所拍摄的图像中将存在明显的遮挡现象。因此，为了解决视频监控相机在目标定位功能上的缺点，智慧交通领域引入了雷达设备(例如毫米波雷达)进行目标定位，雷达设备可以直接返回目标的坐标、速度，可以有效解决目标遮挡问题。

雷达设备在用于进行目标定位之前，需要对其应用的场景进行空间标定，例如雷达设备在用于对交通路口场景中的目标进行定位时，需要对交通路口进行空间标定，确定出目标在雷达坐标系下的雷达坐标与目标在地理区域的地理坐标之间的对应关系，确定目标在雷达坐标系下的雷达坐标与在地理区域中的地理坐标之间的对应关系的方法称为雷达设备的空间标定技术。

现有的空间标定技术方案需要在一个地理区域的空间中确定标志点，记录标志点的地理坐标，然后将标志点的地理坐标与雷达设备返回的雷达坐标进行一一对应，从而完成空间标定。由于雷达设备对静止目标的测量结果不准确且人工在记录标志点的地理坐标时无法严格保证与雷达设备的采集时间严格一致，导致标定不够准确，误差较大。如何实现对地理区域进行准确高效的空间标定时目前亟待解决的问题。

发明内容

本申请提供了一种雷达设备的空间标定方法和系统，通过该方法保证获取到同一时刻的标志点的地理坐标和雷达坐标，能够提高空间标定的准确率和效率。

第一方面，提供了一种雷达设备的空间标定方法，包括：空间标定系统获取同一时刻的图像和雷达测量数据，所述图像由设置于地理区域的摄像机拍摄得到，雷达测量数据由设置于所述地理区域的雷达设备测量得到，所述雷达测量数据包括所述地理区域中的多个标志点的雷达坐标；该空间标定系统根据所述图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标；该空间标定系统确定至少两个标志点匹配对，每个标志点匹配对包括一个标志点的地理坐标和所述一个标志点的雷达坐标；该空间标定系统根据所述至少两个标志点匹配对，获得所述雷达测量数据与所述地理区域之间的标定关系。

在本申请提供的方案中，空间标定系统利用摄像机拍摄的图像为中介，间接计算得到与标志点的雷达坐标相对应的地理坐标，此外，图像的拍摄时刻与雷达测量数据的测量时刻为同一时刻，这样可以避免人工去测量标志点的地理坐标，减少了工作量，而且，以图像为中介可以有效避免雷达设备对静止目标测量不准确，提高所获取到的标志点的雷达坐标以及地理坐标的精度，进而提高雷达设备的空间标定的准确率和效率。

结合第一方面，在第一方面的一种可能的实现方式中，空间标定系统根据标志点检测算法确定所述图像中的标志点的像素坐标；该空间标定系统根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获得所述图像中记录的标志点的地理坐标。

在本申请提供的方案中，空间标定系统利用图像中记录的标志点的像素坐标以及图像与地理区域之间的标定关系，可以间接得到标志点的地理坐标，从而可以避免人为的去测量标志点的地理坐标，有效避免雷达设备对静止目标测量不准确的问题。

结合第一方面，在第一方面的一种可能的实现方式中，所述摄像机与所述雷达设备独立部署于所述地理区域，所述雷达设备的测量区域和所述摄像机的拍摄区域存在交集区域，所述至少两个标志点匹配对对应的标志点为所述交集区域中的标志点。

在本申请提供的方案中，雷达设备的测量区域和摄像机的拍摄区域存在交集区域可以保证摄像机和雷达设备能够同时对该交集区域中的同一个标志点进行有效的记录和测量，提高空间标定的准确性。

结合第一方面，在第一方面的一种可能的实现方式中，空间标定系统将所述至少两个标志点匹配对中所有标志点的地理坐标或雷达坐标进行直线拟合，获得拟合直线；该空间标定系统计算每个标志点的地理坐标或雷达坐标到所述拟合直线的距离；若到所述拟合直线的距离小于第一阈值的标志点的地理坐标或雷达坐标的个数不大于第二阈值，则确定所述至少两个标志点匹配对有效。

在本申请提供的方案中，空间标定系统通过将所有标志点的地理坐标或雷达坐标进行直线拟合，并通过判断是否满足直线分布从而确定标志点匹配对是否有效，在标志点匹配对不满足直线分布，即标志点匹配对有效的情况下才用于计算标定关系，可以保证计算得到的标定关系的准确性。

结合第一方面，在第一方面的一种可能的实现方式中，空间标定系统输入所述图像至标志物检测模型，根据所述标志物检测模型获得所述图像中的标志物的像素坐标；该空间标定系统根据所述图像中的标志物的像素坐标确定所述标志点的像素坐标。

在本申请提供的方案中，空间标定系统可以利用标志物检测模型首先确定图像中标志物的像素坐标，然后进一步根据标志点检测算法确定标志点的像素坐标，不需要人为参与，提高了标志点的像素坐标的获取效率和准确性。

结合第一方面，在第一方面的一种可能的实现方式中，空间标定系统根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获取所述图像中的标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标；该空间标定系统获取所述摄像机的参数，所述摄像机的参数包括所述摄像机在所述地理区域中的位置距地面的垂直高度和所述摄像机在所述地面上的垂直投影点的地理坐标；该空间标定系统根据所述标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标和所述摄像机的参数确定所述标志点的地理坐标。

在本申请提供的方案中，空间标定系统不能直接获取到标志点的地理坐标，但标志点的地理坐标与图像中记录的标志点的地理坐标存在固定的位置关系，空间标定系统可以通过获取图像中标志点的地理坐标以及摄像机的参数，间接确定标志点的地理坐标。

结合第一方面，在第一方面的一种可能的实现方式中，空间标定系统发送所述雷达测量数据与所述地理区域之间的标定关系至处理装置，以使得所述处理装置在获取所述雷达设备测量到的被检测目标的雷达坐标后，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标；或者，该空间标定系统存储所述标定关系；当获取到所述雷达设备测量到的被检测目标的雷达坐标后，获取所述标定关系，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标。

结合第一方面，在第一方面的一种可能的实现方式中，所述地理区域为交通路口，所述被检测目标为所述雷达设备测量的所述交通路口的车辆。

结合第一方面，在第一方面的一种可能的实现方式中，所述雷达设备测量的所述交通路口的车辆为可疑车辆，所述空间标定系统将所述可疑车辆的地理坐标发送至警务系统。

结合第一方面，在第一方面的一种可能的实现方式中，所述空间标定系统将所述车辆的地理坐标发送至交通管理系统，以使得所述交通管理系统根据所述车辆的地理坐标确定所述车辆在所述交通路口的行车轨迹，进一步根据所述行车轨迹确定所述车辆的违章行为。

结合第一方面，在第一方面的一种可能的实现方式中，所述被检测目标为可疑人员；所述空间标定系统将所述可疑人员的地理坐标发送至安全管理系统，以使得安全管理人员根据所述可疑人员的地理坐标及时搜找所述可疑人员。

结合第一方面，在第一方面的一种可能的实现方式中，所述被检测目标为危险目标，所述空间标定系统将所述危险目标的地理坐标发送至危险排查管理系统，以使得危险排查人员根据所述危险目标的地理坐标及时到达该区域进行危险排查。

第二方面，提供了一种空间标定系统，包括：获取单元，用于获取同一时刻的图像和雷达测量数据，所述图像由设置于地理区域的摄像机拍摄得到，所述雷达测量数据由设置于所述地理区域的雷达设备测量得到，所述雷达测量数据包括所述地理区域中的多个标志点的雷达坐标；坐标转换单元，用于根据所述图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标；计算单元，用于确定至少两个标志点匹配对，每个标志点匹配对包括一个标志点的地理坐标和所述一个标志点的雷达坐标，并根据所述至少两个标志点匹配对，获得所述雷达测量数据与所述地理区域之间的标定关系。

结合第二方面，在第二方面的一种可能的实现方式中，所述坐标转换单元，具体用于：根据标志点检测算法确定所述图像中的标志点的像素坐标；根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获得所述图像中记录的标志点的地理坐标。

结合第二方面，在第二方面的一种可能的实现方式中，所述摄像机与所述雷达设备独立部署于所述地理区域，所述雷达设备的测量区域和所述摄像机的拍摄区域存在交集区域，所述至少两个标志点匹配对对应的标志点为所述交集区域中的标志点。

结合第二方面，在第二方面的一种可能的实现方式中，所述至少两个标志点匹配对为有效的标志点匹配对，所述计算单元，还用于：将所述至少两个标志点匹配对中所有标志点的地理坐标或雷达坐标进行直线拟合，获得拟合直线；计算每个标志点的地理坐标或雷达坐标到所述拟合直线的距离；若到所述拟合直线的距离小于第一阈值的标志点的地理坐标或雷达坐标的个数不大于第二阈值，则确定所述至少两个标志点匹配对有效。

结合第二方面，在第二方面的一种可能的实现方式中，所述坐标转换单元，具体用于：输入所述图像至标志点检测模型，根据所述标志物检测模型获得所述图像中的标志物的像素坐标；根据所述图像中的标志物的像素坐标确定所述标志点的像素坐标。

结合第二方面，在第二方面的一种可能的实现方式中，所述获取单元，还用于获取所述摄像机的参数，所述摄像机的参数包括所述摄像机在所述地理区域中的位置距地面的垂直高度和所述摄像机在所述地面上的垂直投影点的地理坐标；所述坐标转换单元，还用于根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获取所述图像中的标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标；根据所述标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标和所述摄像机的参数确定所述标志点的地理坐标。

结合第二方面，在第二方面的一种可能的实现方式中，所述计算单元，还用于发送所述雷达测量数据与所述地理区域之间的标定关系至处理装置，以使得所述处理装置在获取所述雷达设备测量到的被检测目标的雷达坐标后，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标；或者，所述计算单元，还用于存储所述标定关系，当获取到所述雷达设备测量到的被检测目标的雷达坐标后，获取所述标定关系，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标。

第三方面，提供了一种计算设备，所述计算设备包括处理器和存储器，所述存储器用于存储程序代码，所述处理器执行所述存储器存储的程序代码以实现上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当该计算机程序被处理器执行时，所述处理器执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。

第五方面，提供了一种计算机程序产品，该计算机程序产品包括指令，当该计算机程序产品被处理器执行时，上述处理器执行上述第一方面以及结合上述第一方面中的任意一种实现方式的方法。

附图说明

图1为本申请实施例提供的一种系统架构的示意图；

图2为本申请实施例提供的一种空间标定系统的结构示意图；

图3为本申请实施例提供的一种空间标定方法的流程示意图；

图4为本申请实施例提供的一种空间测量设备的示意图；

图5A为本申请实施例提供的一种标定设备的示意图；

图5B为本申请实施例提供的又一种标定设备的示意图；

图6为本申请实施例提供的一种透视变换示意图；

图7为本申请实施例提供的一种违章检测方法的流程示意图；

图8为本申请实施例提供的一种计算设备的结构示意图；

图9为本申请实施例提供的一种计算设备系统的结构示意图。

具体实施方式

下面结合附图对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

地理区域是物理世界中的一个具体区域，例如交通路口、交通道路、小区门口等区域。本申请提供一种雷达设备的空间标定方法，该方法由空间标定系统执行，通过该空间标定方法可以实现对雷达设备进行空间标定。雷达设备的空间标定具体为：计算一个地理区域中的点的雷达坐标与该点对应的地理坐标之间的对应关系，这种对应关系也称为标定关系。该地理区域对应的雷达测量数据可以是独立安装的雷达设备，例如毫米波设备，测量得到的数据，也可以是与摄像机安装在一起的雷达设备(例如雷视一体机)测量得到的数据。应理解，根据空间标定的方法所获得的每一个标定关系是从一个固定位置测量一个地理区域获得的雷达测量数据与该地理区域的空间之间的对应关系，当测量的位置变化了，标定关系也变化了。根据计算获得的标定关系可以将任意处在该地理区域中的目标的雷达坐标转换为所述目标在地理区域的地理坐标。例如，在交通路口区域，在该区域设置有雷达设备，通过本申请提供的方法对交通路口进行空间标定，使得可以将雷达设备测量得到的车辆等交通目标的雷达坐标转换为在交通路口的地理坐标，准确监控到车辆的地理位置。

本申请中的像素坐标是图像中目标所在位置的像素点的坐标，像素坐标是二维坐标。

本申请中的雷达坐标是安装在固定位置的雷达设备直接测量返回的目标的坐标，雷达坐标是二维坐标，此外，雷达设备还会返回目标的速度。

本申请中的地理坐标是表示一个地理区域中的点的三维坐标值，需要说明的是，物理世界中，同一个点在不同的坐标系下其对应的坐标值是不同的。本申请中点的地理坐标可以是任意坐标系下的坐标值，例如，本申请中目标的地理坐标可以是目标对应的经度、纬度和海拔组成的三维坐标，也可以是目标对应的自然坐标系下的X坐标、Y坐标和Z坐标组成的三维坐标，还可以是其它形式的坐标，只要该坐标可以唯一确定一个点在地理区域中的位置，本申请对具体选用何种形式的坐标不作限定。

如图1所示，空间标定系统可部署在云环境，具体为云环境上的一个或多个计算设备上(例如：中心服务器)。该系统也可以部署在边缘环境中，具体为边缘环境中的一个或多个计算设备(边缘计算设备)上，边缘计算设备可以为服务器。所述云环境指云服务提供商拥有的，用于提供计算、存储、通信资源的中心计算设备集群；所述边缘环境指在地理位置上距离原始数据采集设备较近的，用于提供计算、存储、通信资源的边缘计算设备集群。原始数据采集设备指采集空间标定系统所需的原始数据的设备，包括但不限于摄像机、雷达、红外相机、磁感线圈等，原始数据采集设备包括置于交通道路的固定位置，用于以自身视角采集交通道路的原始数据(例如：视频数据、雷达数据、红外数据等)的设备，还包括人工采集数据的设备(例如：实时动态载波相位差分技术(real time kinematic，RTK)空间测量设备)等。

空间标定系统用于根据原始数据采集设备采集到的原始数据进行标定关系计算，得到图像与地理区域之间的对应关系以及雷达设备测量得到的数据与地理区域之间的对应关系。空间标定系统内部的单元可以有多种划分，本申请不对其进行限制。图2为一种示例性的划分方式，如图2所示，空间标定系统200包括获取单元210、坐标转换单元220和计算单元230。下面分别介绍每个功能单元的功能。

所述获取单元210用于获取原始数据采集设备在同一时刻采集到的原始数据，主要包括设置于地理区域的摄像机拍摄得到的图像数据，以及设置于地理区域的雷达设备测量得到的雷达测量数据，雷达测量数据中包括地理区域中的多个点的雷达坐标。应理解，图像数据包括多个视频帧，每一帧都是一幅图像。可选的，获取单元210在获取到摄像机采集的图像数据之后，输出至坐标转换单元220。

坐标转换单元220，用于根据所述图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标。可选的，所述标志点可以是图像中的标志物的几何中心。

计算单元230，用于确定至少两个标志点匹配对，每个标志点匹配对包括一个标志点的地理坐标和所述一个标志点的雷达坐标，并根据所述至少两个标志点匹配对获得雷达测量数据与所述地理区域之间的标定关系。通过计算得到的标定关系，可以将车辆等交通目标的雷达坐标转换为地理坐标。

本申请中，空间标定系统200可以为软件系统，其内部包含的各功能单元在硬件设备上的部署形式较为灵活，例如，整个系统可以部署在一个环境中的一台或多台计算设备中，也可以分布式部署在不同环境的多台计算设备中。

应理解，相关的雷达设备的标定方法都是利用手工测量目标的地理坐标，然后将雷达设备返回的目标的雷达坐标与手工测量得到的目标的地理坐标进行对齐，从而计算得到标定关系，然而雷达设备对静止目标进行测量所得到的测量结果不准确，且无法保证目标的雷达坐标和地理坐标的采集时间严格一致，因此，利用现有的标定方法进行标定将会产生较大的误差。所以，为了提高空间标定的精度和适用性，本申请提供了一种雷达设备的空间标定方法和系统，该方法可以在雷达设备测量地理区域中的任何一个点的雷达坐标之时或之后，利用部署于该地理区域的摄像机拍摄的图像确定该点在图像中对应的点的像素坐标，并进一步利用摄像机拍摄的图像与地理区域之间的标定关系，得到该点的地理坐标，最终通过多个点的雷达坐标和地理坐标确定雷达测量数据与地理区域之间的标定关系，该方法提高了标定精度，扩展了适用场景。

请参见图3，图3为本申请实施例提供的一种雷达设备的空间标定方法的流程示意图。如图3所示，该方法包括但不限于以下步骤：

实施本申请实施例所提供的方法之前，需要预先获取到部署于该地理区域的摄像机拍摄的图像与该地理区域之间的标定关系，例如预先通过空间测量设备，比如RTK设备，测量得到多个测量点的地理坐标，然后根据摄像机拍摄的图像数据中的测量点的像素坐标进行计算，得到摄像机拍摄的图像与地理区域之间的标定关系。空间测量设备可以在待标定的地理区域内选择任意一个位置作为测量点。

在本申请的一个实施例中，为了使空间测量设备在测量地理区域中的点时，拍摄该地理区域的摄像机拍摄的画面中能够有效地记录该空间测量设备对应的点的像素位置，可对空间测量设备进行一定的改进。例如，可以通过在空间测量设备上增加标志物，使得标志物的几何中心(即标志点)与测量点(即测量设备实际测量的地理区域的地面上的某一点)位于同一垂直方向，即标志点与测量点除了高度不一致之外，其它的测量值都相同。或者可以通过在空间测量设备上增加一个发光源作为标志点。

特别的，可以对标志物进行特殊的设计或额外的处理以使得对摄像机拍摄得到的图像进行标志点检测时提高检测的准确率，例如，选用球形的标志物、给标志物增加特定的颜色、使标志物红外敏感等，以提高标志物与其它物体的区分度，以使得标志物可以更加容易的在图像中被检测到，可以进一步将标志物的一个点(例如：球形标志物的几何中心)作为图像中的标志点。

示例性的，参见图4，图4是本申请实施例提供的一种空间测量设备的示意图。如图4所示，该空间测量设备400包括一个连接杆401、固定在连接杆401上的测量设备402以及固定在连接杆401上的标志物403，连接杆401穿过标志物403的几何中心。标志物403可以是一个球形标志物，该连接杆401的轴心穿过该球形标志物的球心，测量设备402中内置了高性能处理器和存储器等结构，可以直接测量得到与连接杆401垂直相交的地面上的接触点(即测量点)的地理坐标，该测量点的地理坐标是三维坐标，既可以是由经度、纬度、海拔组成的地理坐标，也可以是根据地理区域构成的自然坐标系下的三维坐标。不同的空间测量设备可以获得不同的不同类型的三维坐标或者同一类型的空间测量设备也可以获得不同类型的三维坐标，不同类型的三维坐标之间也可以进行互相转换，本申请不对空间测量设备获得的地理坐标的类型进行限定。

由于物理空间中的球形在任何方位或角度下的二维成像都是圆形，并且球心和圆心是对应一致的，因此，摄像机拍摄到的图像中的该球形标志物对应的圆形的圆心即对应该球形标志物的球心。采用球形标志物的球心作为标志点，在摄像机拍摄到图像后，可以通过成熟的圆检测算法找到球形标志物所对应的圆形图像，进而可以准确的找到圆心(即标志点)的像素坐标。因此，选用球形标志物可以保证获得标志点的像素坐标的精度，当然，也可以选用其它形体的标志物，例如椭球标志物等，本申请对此不作限定。

在一种实施例中，可以同时多个人(或设备)使用多个携带标志物的空间测量设备同时进行测量，摄像机拍摄得到的每个图像中可以同时包含多个标志点，可以同时获取一个地理区域中的多个不同空间位置的标志点对应的像素坐标；当然，也可以使用一个携带标志物的空间测量设备进行测量，通过在摄像机拍摄区域不断移动空间测量设备，获取多个图像，每个图像中包含一个标志点，结合多个图像，也可以获取多个不同空间位置的标志点对应的像素坐标。还应理解，可以是多个摄像机同时进行拍摄，各自分别获取标志点在多个不同空间位置对应的像素坐标，从而用于各自摄像机拍摄的图像与该地理区域之间的空间标定。

根据空间测量设备测量得到的测量点的地理坐标和摄像机参数可以得到图像中记录的标志点的地理坐标，根据摄像机拍摄的图像可以得到标志点的像素坐标，在得到标志点的像素坐标以及其对应的地理坐标之后，可以采用多种方法建立每个摄像机视角下的图像到物理世界的标定关系，例如，可以根据单应变换原理计算由像素坐标转换为地理坐标的单应变换矩阵H，单应变换公式为(m，n，h)＝H*(s，k)，(m，n，h)为图像中的标志点的地理坐标，(s，k)为图像中标志点的像素坐标，每个摄像机拍摄的图像对应的H矩阵不同。

本申请实施例提供的一种雷达设备的空间标定方法的具体步骤如下：

S301：获取同一时刻的图像和雷达测量数据。

具体地，空间标定系统可以通过设置于地理区域的摄像机获取到该摄像机拍摄的一段视频数据，该视频数据由不同时刻的视频帧组成，其中视频数据中的视频帧是按照时间顺序排列的，每个视频帧都是一个图像，每个图像中记录了一个或多个标志物(或者标志点)，对每个图像进行标志物检测进而对标志物对应的标志点进行检测(或者仅对标志点进行检测)可以获得标志点的像素坐标。空间标定系统可以通过设置于地理区域的雷达设备进行测量，例如通过设置于地理区域的毫米波雷达进行测量，从而得到标志物(或者标志点)的雷达坐标。应理解，摄像机和雷达设备可以独立部署于地理区域，摄像机拍摄的地理区域与雷达设备所测量的地理区域为同一地理区域。

另外，为了保证能够获取到同一时刻的图像和雷达测量数据，则需要保证雷达设备的测量区域和摄像机的拍摄区域存在交集区域，上述标志物或标志点为该交集区域中的标志物或标志点。对于摄像机来说，其有效感知区域为距离摄像机较近的地理区域，而雷达设备存在短距雷达和长距雷达，若采用短距雷达，则可以将短距雷达安装至摄像机附近，那么距离摄像机较近的地理区域则为交集区域；若采用长距雷达，那么不能将长距雷达安装至摄像机附近，否则将无法有效确定交集区域，需要将长距雷达与摄像机分别安装于不同的固定位置，长距雷达的安装位置和摄像机的安装位置存在一定的距离，则距离摄像机较近的地理区域为交集区域。

应理解，通过确定交集区域可以保证摄像机和雷达设备所采集到的数据的准确性，进一步提高标定精度。在确定了交集区域之后，使标定设备垂直于该交集区域中的路面或任意选定的平面在该交集区域内进行移动，以使得摄像机和雷达设备能够同步采集到足够的用于空间标定的数据。

需要说明的是，为了使得摄像机和雷达设备能够准确有效的记录和测量标志点，可以对标定设备进行一定的改进。例如，可以在标定设备上增加标志物，使得标志物的几何中心(标志点)与标定设备和地面的接触点位于同一垂直方向，或者在标定设备上增加一个发光源作为标志点。

如图5A所示，标定设备510包括连接杆511、固定在连接杆511上的标志物512以及固定在连接杆511上的角反射器513，连接杆511穿过标志物512的几何中心，该标志物512为一个球形标志物，其几何中心为球形标志物的球心。因为雷达设备对金属敏感，角反射器513选用金属材质，当雷达设备发射的雷达电磁波扫描到角反射器513之后，电磁波会在金属角上产生折射放大，产生很强的回波信号，同时，为了减小对角反射器513的雷达回波造成干扰，连接杆511和球形标志物512优先采用非金属材质，例如塑料等。或者是，如图5B所示，标定设备520包括连接杆521以及固定在连接杆521上的金属标志物522，连接杆521穿过标志物522的几何中心，标志物522为金属球。标志物522兼具了图5A中角反射器513的功能，对毫米波雷达发射的电磁波信号进行反射，连接杆521采用非金属材质。

应理解，标志物和角反射器也可以不必连接在同一个连接杆上，只要它们之间相对位置固定、或者相对位置虽有变化但变化已知，也可以通过相关处理将标志物和角反射器转换为在同一个连接杆上进行处理，其原理类似，在此不再赘述。

可选的，摄像机与雷达设备可以集成到一个设备(例如雷视一体机)，然后安装于地理区域的同一固定位置，摄像机与雷达设备也可以分别安装于地理区域的不同固定位置。

在一种可能的实现方式中，摄像机在对地理区域进行拍摄时，对于拍摄得到的包含标志点的每个图像都携带一个时间戳信息，雷达设备在对标志点进行测量时，对于返回的每个标志点的雷达坐标也同样携带一个时间戳信息，空间标定系统对图像携带的时间戳信息和雷达坐标携带的时间戳信息进行比对，若图像携带的时间戳信息与雷达坐标携带的时间戳信息的差值的绝对值小于预设阈值，则可以判定图像的获取时刻与雷达坐标的获取时刻为同一时刻，否则，则认为当前的数据不完整，需要重新获取，预设阈值可以根据需要进行设置，例如可以设置为0.001秒。

可以理解，空间标定系统通过比对图像携带的时间戳信息和雷达坐标携带的时间戳信息，可以将摄像机拍摄的图像与毫米波雷达测量的雷达坐标进行一一对应，保证图像的拍摄时刻与雷达坐标的测量时刻为同一时刻。

S302：根据所述图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标。

具体地，标志点的像素坐标可以是地理区域中一个标志物在摄像机拍摄的图像中形成的二维物体的中心点的像素坐标，或者是标志物上的一个发光源(例如激光源)在图像中形成的容易识别的点的像素坐标。通过对图像进行分析处理可以找到标志点，从而可以得到标志点的像素坐标。

可选的，根据标志点检测算法确定所述图像中的标志点的像素坐标。

示例性的，当该标志点的像素坐标为标志物在摄像机拍摄的图像中形成的二维物体的中心点的像素坐标时，通过对图像进行分析处理找到标志点的像素坐标的方法具体可以是：

利用相应的标志物检测算法对图像进行标志物检测，确定标志物在图像中的位置，目前计算机视觉领域已经非常成熟，形成了各种检测算法，可以根据实际需要进行选择。例如可以采用yolo、faster-rcnn等深度学习模型进行标志物检测。

应理解，对于标志物检测算法为深度学习模型的情况，需要对深度学习模型进行训练，训练后的深度学习模型具备了检测标志物的能力，输入任一一个包含标志物的图像至深度学习模型，深度学习模型则可以检测到标志物所在的位置，并用边界框(例如：矩形框、圆形框、椭圆框等)将检测到的标志物标注出来。

下面以yolo模型为例，对标志物检测过程进行阐述说明。yolo模型包含若干网络层，其中卷积层用于提取图像中的标志物的特征，全连接层用于对卷积层提取的标志物的特征进行检测和识别。

首先需要对yolo模型进行训练，以使得yolo模型具备标志物检测的功能。在进行训练时，首先获取多个训练集，训练集中包括多个样本图像，每个样本图像为包含标志物的图像，每个图像中都包括一个标志物的标签信息，该标签信息用于将标志物在图像中的位置标注出来并注明该标志物的类型。其次，将yolo模型的参数初始化，然后输入训练集的样本图像至yolo模型，yolo模型中的卷积层对每一个样本中的标志物进行特征提取，全连接层对卷积层输出的标志物的特征进行检测和识别，预测出该标志物在图像中的位置；将预测得到的标志物在图像中的位置与该图像中标志物的标签信息进行比对，并计算出损失函数，利用计算得到的损失函数调整yolo模型中的参数。迭代执行上述计算过程，直到损失函数值收敛之后，且计算得到的损失函数值小于预设阈值时，则停止迭代，此时，yolo模型已经训练完毕，即已经具备标志物检测功能，可以用来进行标志物检测。

得到训练完成的yolo模型之后，利用该yolo模型对摄像机拍摄的包含标志物的图像进行标志物检测，卷积层提取图像中的标志物的特征，全连接层对该标志物的特征进行检测识别，识别完成之后，将该标志物在图像中的位置用边界框标注出来，并将该标志物的类别信息也标注出来，其中，边界框可以是矩形框、圆形框、椭圆框等。

通过标志物检测算法在图像中检测到标志物之后，需要进一步的确定标志点的像素坐标，例如选择边界框的中心点的像素坐标作为标志点的像素坐标。或者可以通过相应的标志点检测算法获取标志点的像素坐标，例如，对于球形标志物，其在任何角度下的成像都是圆形，其球心与圆心相对应，即标志点的像素坐标就是图像中球形标志物所对应的圆形的圆心的像素坐标。在图像中检测到圆形标志物之后，边界框的中心就是圆心，通过获取边界框的中心的像素坐标就可以得到圆心的像素坐标，也可以利用基于最小二乘法的圆检测算法稳定的获取圆心的像素坐标，当然也可以利用其它的圆检测算法，本申请对此不作限定。应理解，圆检测算法在计算机视觉领域已经非常成熟并被广泛应用，本申请在此不再赘述。

当该标志点的像素坐标是一个发光源(例如激光源)在图像中形成的容易识别的点的像素坐标时，可通过突变点检测算法进行标志点的像素坐标检测，例如：可以采用分析图像中的RGB分布，确定发光点在图像中的像素坐标。

应理解，可通过上述检测标志点的方法对一个或多个图像进行标志点检测，由此获得多个标志点的像素坐标。

在一种可能的实现方式中，根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获得所述图像中记录的标志点的地理坐标。

具体地，摄像机拍摄的图像与地理区域之间的标定关系可以采用多种方法进行建立，例如，可以根据单应变换原理建立摄像机拍摄的图像与地理区域之间的标定关系，单应变换公式为(m，n，h)＝H*(s，k)，其中(m，n，h)为图像中标志点的地理坐标，(s，k)为图像中标志点的像素坐标，H为转换矩阵，因此，根据上述得到的图像中的标志点的像素坐标以及转换矩阵，可以计算得到图像中的标志点的地理坐标。

值得注意的是，本申请实施例中，所选取的标志点并不在地面上，而是标定设备上设置的标志物的一个点(例如标定设备上的球形标志物的球心)，由于标志物在图像中更容易被检测到，在图像中获得的标志物的标志点的像素坐标也更准确。

由于摄像机的成像模型为小孔成像，小孔成像是根据透视原理将三维空间映射到二维空间，并且投影射线经过同一个投影中心。因此摄像机所拍摄的图像中的标志点所对应的地理坐标实际是标定设备上的标志点投射在地面上的点的地理坐标，即为设置于固定位置的摄像机的中心与标定设备上的标志物的标志点的连线的延长线与地面形成的角以及标定设备和地面垂直接触的点与标志点的垂直高度所构成的三角形中在地面上的一个斜点(即该三角形的斜边上的一个顶点)的地理坐标。

示例性的，如图6所示，标定设备的标志点为球形标志物的球心R，与标定设备和地面的接触点P点位于同一垂直方向且高于地面一定高度，根据前述摄像机成像原理，通过摄像机拍摄的图像与地理区域之间的标定关系，可以获取得到标志点在摄像机拍摄角度下在地面上形成的投影点(即Q点)的地理坐标，而为了计算得到与标志点的雷达坐标相对应匹配的地理坐标，则需要计算标志点的垂直投影点的地理坐标，即P点的地理坐标。计算P点的地理坐标可以采用摄像机的参数(主要是摄像机距地面的高度和摄像机在地面上的垂直投影点的地理坐标)和投影点的地理坐标，根据标定设备上的标志点的高度与投影点在摄像机拍摄角度下形成的三角形以及摄像机距地面的高度与投影点在摄像机拍摄角度下形成的三角形为两个相似三角形的原理，确定标志点对应的垂直投影点的地理坐标。

以该地理区域的空间构建一个空间坐标系，在该空间坐标系下x和y分别表示地面上的第一维度和第二维度，h为与地面垂直的高度构成的第三维度。由于P点和Q点均为地面上的点，则第三维度可以直接确定为0。

为了获取P点的第一和第二维度的坐标(x1，y1)，需要获取球心R距离P点的高度值(即球心R的第三维度坐标值)h1、Q点的第一和第二维度的坐标(x2，y2)、摄像机垂直地面的高度h2以及摄像机垂直投影到地面的投影点M的地理坐标(x3，y3)。h1可以通过空间测量设备获取，或者通过其它测量设备获取，例如：采用直尺测量、激光测距、带刻度的测量杆直接读取等方式获取h1。(x2，y2)可以根据摄像机拍摄的图像与地理区域之间的标定关系计算得到，h2以及(x3，y3)可以在预先设置摄像机时得到，h2和(x3，y3)为摄像机的参数。在获取到上述数据之后，可以计算P点的地理坐标。具体地，可以根据基本的几何数学原理，例如相似三角形原理推导得到P点的第一和第二维度的坐标(x1，y1)。如图7所示，由于三角形RPQ与三角形AMQ是相似三角形，而RP＝h1、AM＝h2，MQ＝(x2,y2)-(x3,y3)，PQ＝(x2,y2)-(x1,y1)，根据相似原理，RP/AM＝PQ/MQ，即：h1/h2＝(x2,y2)-(x1,y1)/(x2,y2)-(x3,y3)，由此得到：h1/h2＝x2-x1/x2-x3，h1/h2＝y2-y1/y2-y3。

因此，可以使用下述公式1计算得到x1：

x1＝(h2*x2-h1*(x2-x3))/h2公式1

可以使用下述公式2计算得到y1：

y1＝(h2*y2-h1*(y2-y3))/h2公式2

可以理解，通过上述方法，可以以摄像机拍摄的图像为中介，得到图像中的标志点在地理区域的垂直投影点的地理坐标，即可以得到与标志点的雷达坐标相对应匹配的地理坐标，不必直接测量标志点的雷达坐标对应的地理坐标，可以有效减小标定工作量和标定成本，缩短标定时间，提高标定精度。

S303：确定至少两个标志点匹配对。

具体地，由于图像的拍摄时刻与雷达坐标的测量时刻为同一时刻，因此可以根据时间的对应关系将计算得到的标志点在地理区域的垂直投影点的地理坐标和雷达设备测量得到的标志点的雷达坐标进行一一对应，获得多个标志点匹配对，一个标志点匹配对表示一个标志点的雷达坐标以及其在地理区域中对应的地理坐标构成的坐标对。为了计算标志点的雷达坐标与对应在地理区域中的地理坐标之间的标定关系，准确的对地理区域进行空间标定，通常需要获取多个标志点匹配对，例如：在一种计算空间标定关系的算法中，至少需要获取两个标志点匹配对才能进行计算标定关系，为了提高精确性，一般都是获取数十个标志点匹配对进行计算。

进一步的，为了保证计算得到的标定关系的准确性，需要确定参与计算的标志点匹配对的有效性，只有在获取到的标志点匹配对满足条件，获取的标志点匹配对有效的情况下，计算得到的标定关系才会准确，即空间标定才会准确。判断标志点匹配对的有效性的方法有三种：1、直线分布判断法；2、地理区域覆盖判断法；3、标志点匹配对分布数量判断法。在本申请中，方法1为判断标志点匹配对有效性的必须判断方法，在方法1判断的结论为标志点匹配对有效的情况下，这些标志点匹配对可用于进行空间标定关系的计算。值得说明的是，在实际应用中，上述三种方法也可以结合使用判断标志点匹配对是否有效，即在方法1确定标志点匹配对有效的基础上继续结合方法2和/或方法3进行判断，使得标志点匹配对同时满足多个有效条件的时候确定这些标志点匹配对为可有效用于计算空间标定关系的标志点匹配对，这样可以进一步提高后续获得的空间标定关系的准确性。例如：同时满足方法1和方法2中的条件时认为多个标志点匹配对有效；或者是结合方法1和方法3进行判断，同时满足方法1和方法3中的条件时认为多个标志点匹配对有效；或者是结合方法1、方法2和方法3进行判断，同时满足方法1、方法2和方法3中的条件时认为多个标志点匹配对有效，本申请对此不作限定。

下面具体介绍上述三种判断标志点匹配对的有效性的方法的具体实现：

1、直线分布判断法：判断所有获取到的标志点匹配对是否是直线分布，若是，则获取的标志点匹配对不满足有效性，继续执行前述S301-S302以获取更多的标志点匹配对；若不是，则获取的标志点匹配对满足有效性。

在获取得到多对标志点匹配对之后，对所有标志点的雷达坐标或对应的地理坐标进行直线拟合，可以同时拟合两类坐标，也可以只拟合其中一类坐标，因为这两类坐标存在特定的对应关系，即如果一类是直线分布的话，那么另一类也一定是直线分布。

下面以拟合所有标志点的地理坐标为例来说明标志点匹配对是否是直线分布的一种示例性方法：

首先，根据所有标志点的地理坐标进行直线拟合，获得拟合直线。在拟合完成之后，遍历计算所有标志点的地理坐标到拟合直线的距离。其中，所有的地理坐标都是已知的，可以根据欧式几何中的点到直线的距离公式可以计算得到每个地理坐标到拟合直线的距离。

其次，判断每个地理坐标到直线的距离是否小于第一阈值，并判断满足距离小于第一阈值的地理坐标的个数是否大于第二阈值，若到直线的距离小于第一阈值的地理坐标的个数大于第二阈值，则可以认为所有标志点的地理坐标是分布在一条直线上，不满足计算标定关系的条件，需要重新获取多对标志点匹配对；否则可以认为所有标志点的地理坐标是没有分布在一条直线，满足计算标定关系的条件，获取的标志点匹配对有效，可以利用所获取到的多对标志点匹配对计算标定关系。

其中，第一阈值和第二阈值可以根据实际需要进行设定，本申请对此不作限定。另外，上述提到的拟合直线在拟合过程中确定的，所述拟合直线可以根据标志点的地理坐标进行确定，其具体确定过程是本领域惯用的技术方法，在此不再赘述。

应理解，我们计算的标定关系是两个平面之间的标定关系，而一条直线是不能确定一个平面的。因此，若获取到的标志点匹配对是直线分布的话，那么最终计算得到的标定关系是不准确的，换句话说，计算得到的变换矩阵不是唯一的，而是随机一个满足条件的变换矩阵。所以，为了提高空间标定的准确性，保证计算得到的变换矩阵是唯一的，获取到的标志点匹配对不能是直线分布。

应理解，在确定获取的标志点匹配对是非直线分布的情况下，可以判断出获取的标志点匹配对有效。但是，为了进一步提高计算得到的标定关系的准确性，也可以结合下述方法的一种或多种进一步进行标志点匹配对有效性的判断。

可选的，在标志点匹配对是非直线分布的情况下，结合下述方法2进一步判断标志点匹配对是否有效：

2、地理区域覆盖判断法：判断所获取的多个标志点匹配对是否覆盖了交集区域(即在整个交集区域中都有分布)，若是，则满足计算标定关系的条件，获取的标志点匹配对有效；若不是，则不满足计算标定关系的条件。

首先，在获取得到多对标志点匹配对之后，针对所有的标志点的地理坐标，获取包含所有标志点的地理坐标的图形的面积。

应理解，标志点的地理坐标在地面上是一些稀疏点，本身是没有面积的，而为了判断标志点的地理坐标是否覆盖了所有的交集区域(即在整个交集区域中都有分布)，需要利用包含所有标志点的地理坐标的图形的面积与交集区域的面积的比值关系进行判断。

包含所有标志点的地理坐标的图形可以是正方形、矩形、三角形等，也可以是凸包，凸包表示包含所有地理坐标的最小凸多边形，即凸包在包含所有标志点的地理坐标的多边形中是面积最小的。凸包的具体获取方式可以参考矩阵实验室(MATrixLABoratory，MATLAB)的convhull函数，在此不再赘述。

其次，在得到凸包之后，计算凸包面积相对交集区域面积的比例值，最后，在计算得到比例值之后，根据与第三阈值的关系判断是否满足计算条件。当该比例值大于第三阈值，则可以认为所获取的标志点匹配对覆盖了所有的交集区域(即在整个交集区域中都有分布)，满足计算标定关系的条件，获取的标志点匹配对有效，可以利用所获取到的多对标志点匹配对计算标定关系；否则可以认为所获取的标志点匹配对没有覆盖所有的交集区域，不满足计算标定关系的条件，需要重新获取多对标志点匹配对或者继续获取标志点匹配对(增加部分标志点匹配对)。其中，第三阈值可以根据需要进行设定，本申请对此不作限定。

可以理解，通过上述判断方式，可以保证获取到的标志点匹配对覆盖了所有的交集区域，提高了获得的标定关系的鲁棒性。

可选的，在标志点匹配对是非直线分布的情况下，可以结合下述方法3进一步判断标志点匹配对是否有效：

3、标志点匹配对分布数量判断法：统计交集区域中每个区域中的标志点匹配对的数量，判断存在标志点匹配对或者标志点匹配对数量大于第四阈值的区域比例是否大于第五阈值，若是，则获得的标志点匹配对有效，若不是，则认为还需获取该地域一些区域的标志点匹配对。

首先，对交集区域进行分区，可以将交集区域平均分成多个面积相等的较小的区域。

示例性的，将交集区域平均分成5*5＝25个正方形的小区域，当然，区域划分的具体方式以及所得到的每个区域的形状可以根据需要进行划分，本申请对此不作限定。

其次，在获取得到多个标志点匹配对之后，遍历判断每个区域是否存在标志点的地理坐标或每个区域的地理坐标的数量是否大于第四阈值，统计存在地理坐标或地理坐标的数量大于第四阈值的区域的数量与划分得到的所有区域的数量的比例值。

然后，在统计得到比例值之后，根据与第五阈值的关系判断是否满足计算条件。若该比例值大于第五阈值，则可以认为所有标志点的地理坐标在地理区域中是均匀分布的，满足计算标定关系的条件，获取的标志点匹配对有效，可以利用所获取到的多对标志点匹配对计算标定关系；否则可以认为所有标志点的地理坐标在地理区域中不是均匀分布的，不满足计算标定关系的条件，需要重新获取多对标志点匹配对或继续获取部分标志点匹配对。其中，第四阈值和第五阈值可以根据需要进行设定，本申请对此不作限定。

容易理解，通过上述判断方式，可以保证获取到的标志点匹配对在地理区域中是均匀分布的，可以减少空间标定误差，提高空间标定精度。

应理解，当S303判定多个标志点匹配对为无效时，空间标定系统继续执行S301-S302，获得更多的标志点匹配对，再进行S303中的有效性判断，直到S303中判断获得的多个标志点匹配对为有效时，则执行后续S304。

S304：根据至少两个标志点匹配对，获得雷达测量数据与地理区域之间的标定关系。

具体地，空间标定系统可以根据获取得到的至少两个有效的标志点匹配对，建立每个雷达设备所测量的数据到物理世界中该地理区域的标定关系。

需要说明的是，雷达设备在部署时是以运动的目标(例如运动的车辆)为参照调整测量坐标平面与地面平行，因此，毫米波雷达的测量坐标平面与空间坐标系(即地理坐标所对应的坐标系)的XY平面存在仿射变换关系，可以选择仿射变换作为雷达设备测量的数据与地理区域之间的标定关系。

应理解，计算仿射变换的算法属于计算机视觉领域的基础内容，并已经广泛被开源计算机视觉库(open source computer vision library，OPENCV)、MATLAB等软件集成，可以直接使用进行仿射变换的计算，例如，可以直接通过OPENCV库的getAffineTransform函数对多个有效标志点匹配对进行计算，得到雷达设备测量的数据与地理区域之间的标定参数，进而得到相应的标定关系。

容易理解，在获得了每个雷达设备对应的标定参数之后，可以根据该标定参数，对每个雷达设备测量得到的目标的雷达坐标进行转换，获得该目标对应的地理坐标，但应注意，设置于不同位置的雷达设备所对应的标定参数各不相同，应利用各自对应的标定参数分别进行转换，获得目标的多个对应的地理坐标。

应理解，上述方法实施例所涉及的步骤S301至步骤S304只是示意性的描述概况，不应构成具体限定，可以根据需要对所涉及的步骤进行增加、减少或合并。

通过对地理区域进行空间标定之后，获得了雷达设备测量的数据与该地理区域的标定关系，空间标定系统可以存储该标定关系，当获取到雷达设备测量的被检测目标的雷达坐标后，获取标定关系，根据标定关系和被检测目标的雷达坐标，确定被检测目标在该地理区域的地理坐标。空间标定系统在根据标定关系和被检测目标的雷达坐标，确定被检测目标在该地理区域的地理坐标时，被检测的目标可以根据应用场景的不同而具有不同的含义。例如，在确定交通路口的车辆违章的应用场景中，被检测目标交通路口的车辆；在确定可疑车辆的行车位置的应用场景中，被检测目标即为交通道路上的可疑车辆；在确定某区域(例如居民小区内部)的可疑人员时，被检测目标即为该区域中的可疑人员；在确定某区域(例如：工厂)的危险情况时，被检测目标即为该区域中的危险目标(例如：出故障机器、着火物体等)。

或者空间标定系统可以将计算获得的空间标定关系发送至处理装置，以使得处理装置在获取雷达设备测量的被检测目标的雷达坐标后，根据标定关系和被检测目标的雷达坐标，确定被检测目标在所述地理区域的地理坐标。处理装置可以根据标定关系的应用场景的不同而不同，例如：处理装置可以是交通管理系统中的用于确定车辆的地理坐标的装置，也可以是警务系统中用于确定可疑车辆的地理坐标的装置，还可以是安全管理系统中用于确定可疑人员的地理坐标的装置，还可以是危险排查管理系统中用于确定危险目标的地理坐标的装置。

总之，本申请中的空间标定系统获得的空间标定关系可应用于多种场景，且应用本申请的空间标定关系的执行主体既可以是空间标定系统自身，也可以是接收到空间标定系统发送的空间标定关系的其他处理装置或系统，本申请不做限定。

下面以空间标定系统自身利用计算得到的空间标定关系确定交通路口的违章车辆为例，具体介绍空间标定关系的应用：在交通路口中，计算完雷达设备与一个地理区域中的标定关系后，空间标定系统可以存储该标定关系，在后续时间中，空间标定系统可以通过分析摄该雷达设备测量得到的测量数据，利用已获得的空间标定关系实现对交通路口中车辆的定位、得到车辆在交通路口的地理坐标，进一步确定车辆与交通标志线的位置关系以确定车辆的违章情况。如图7所示：

S701：对道路交通场景进行空间标定，存储空间标定关系。

具体地，利用上述图3所述的方法对交通道路场景进行空间标定，建立每个雷达设备测量的标志点和物理世界中的地理区域中的标志点之间的标定关系。将空间标定关系存储在空间标定系统。

S702：对雷达设备测量到的数据进行处理，对其中所有的车辆进行识别并定位。

具体地，在需要进行违章判断时，空间标定系统利用目标检测算法对摄像机拍摄的视频数据进行目标检测，识别出视频数据中的所有车辆，例如利用SSD、RCNN等已经训练好的神经网络模型对视频数据中的车辆进行检测。应理解，神经网络模型需要预先进行训练，所使用的训练集中的训练图片的标注应包括要识别的目标的类型(例如机动车、非机动车等)，使得神经网络模型学习训练集中每种类型的目标的特征。在识别完成之后，可以根据雷达设备的测量结果，获得所有车辆的雷达坐标。

S703：对所有车辆进行目标跟踪，获取所有车辆的雷达坐标序列。

具体地，目标跟踪指对相邻时刻的同一目标进行跟踪测量，由目标当前时刻的雷达坐标和历史时刻的雷达坐标可得到目标的雷达坐标序列。

S704：计算车辆在地理区域的运动轨迹，根据车辆在地理区域的运动轨迹完成车辆违章检测。

具体地，S703中得到的车辆的雷达坐标序列实际上是由一连串(多个)的雷达坐标，针对该运动轨迹序列中的每一个雷达坐标，利用上述S304中计算得到的标定参数，计算得到每个点的雷达坐标对应的地理坐标，完成坐标转换。

在完成所有雷达坐标转换为地理坐标之后，即得到了车辆在物理世界中的地理区域的运动轨迹序列。空间标定系统可以将获得的车辆在物理世界中的地理区域的运动轨迹序列发送给交通管理系统。交通管理系统可以为不同的违章类型设置特定的检测区域，例如对于闯红灯的违章，可以在每条车道的停车线前后各设置一个检测区域，记录并分析从空间标定系统获得的每辆车在地理区域的运动轨迹，如果当前车道的信号灯状态为红灯，并且车辆轨迹依次穿过设置的两个检测区域，则认为该车辆闯红灯；对于压线行使的违章，设置禁止压线行使的车道线区域，记录并分析每辆车的运动轨迹，如果车辆轨迹经过该区域，则认为车辆压线行使；对于不按规定车道行使的违章，可以在两条车道设置两个检测区域，如果车辆轨迹依次经过设置的两个检测区域，则认为车辆不按规定车道行使，判断为违章。

可以看出，通过图3所示的方法对道路交通场景进行空间标定，建立雷达测量数据与地理区域的标定关系，进而可以对车辆进行准确定位，并跟踪车辆目标，通过对车辆轨迹的分析可以用于完成车辆违章检测。

上述详细阐述了本申请实施例的方法，为了便于更好的实施本申请实施例上述方案，相应地，下面还提供用于配合实施上述方案的相关设备。

如图2所示，本申请还提供一种空间标定系统，该空间标定系统用于执行前述雷达设备的空间标定方法。本申请对该空间标定系统中的功能单元的划分不做限定，可以根据需要对该空间标定系统中的各个单元进行增加、减少或合并。图2示例性地提供了一种功能单元的划分：

空间标定系统200包括获取单元210、坐标转换单元220以及计算单元230。

具体地，所述获取单元210用于执行前述步骤S301，且可选的执行前述步骤中可选的方法，获取得到摄像机拍摄的图像以及同一时刻下雷达设备测量得到的数据。

所述坐标转换单元220用于执行前述步骤S302，以根据图像中记录的标志点的像素坐标，获得图像中记录的标志点的地理坐标。

所述计算单元230用于执行前述步骤S303-S304，且可选的执行前述步骤中可选的方法，然后确定有效的至少两个标志点匹配对并根据有效的至少两个标志点匹配对获得所述雷达测量数据与所述地理区域之间的标定关系。

上述三个单元之间互相可通过通信通路进行数据传输，应理解，空间标定系统200包括的各单元可以为软件单元、也可以为硬件单元、或部分为软件单元部分为硬件单元。

参见图8，图8为本申请实施例提供的一种计算设备的结构示意图。如图8所示，计算设备800包括：处理器810、通信接口820以及存储器830，所示处理器810、通信接口820以及存储器830通过内部总线840相互连接。应理解，该计算设备800可以为云环境中的计算设备，或边缘环境中的计算设备。

所述处理器810可以由一个或者多个通用处理器构成，例如中央处理器(centralprocessing unit，CPU)，或者CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)、可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)、现场可编程逻辑门阵列(field-programmable gatearray，FPGA)、通用阵列逻辑(generic array logic，GAL)或其任意组合。

总线840可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。所述总线840可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但不表示仅有一根总线或一种类型的总线。

存储器830可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)；存储器830也可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器830还可以包括上述种类的组合。

需要说明的是，计算设备800的存储器830中存储了空间标定系统200的各个单元对应的代码，处理器810执行这些代码实现了空间标定系统200的各个单元的功能，即执行了S301-S304的方法。

如图9所示，由于空间标定系统的各个部分可能在不同环境上的多台计算设备上运行。因此，本申请还提出了一种计算设备系统。如图9所示，该计算设备系统包括多个计算设备900。每个计算设备900包括处理器910、通信接口920、存储器930和总线940。处理器910、通信接口920和存储器930之间通过总线940通信。计算设备900之间通过通信网络建立通信通路。其中，处理器910可以为CPU。存储器930可以包括易失性存储器(英文：volatilememory)，例如RAM。存储器930还可以包括非易失性存储器，例如ROM，快闪存储器，HDD或SSD。存储器930中存储有可执行代码，处理器910执行该可执行代码以执行空间标定的部分方法。存储器930中还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUX^TM,UNIX^TM,WINDOWS^TM等。

任一计算设备900可以为云环境中的计算设备，或边缘环境中的计算设备，或终端环境中的计算设备，例如计算设备900可以是前述图1中的边缘计算设备或中心服务器。

上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

Claims (16)

1.一种雷达设备的空间标定方法，其特征在于，包括：

获取同一时刻的图像和雷达测量数据，所述图像由设置于地理区域的摄像机拍摄得到，所述雷达测量数据由设置于所述地理区域的雷达设备测量得到，所述雷达测量数据包括所述地理区域中的多个标志点的雷达坐标；

根据所述图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标；

确定至少两个标志点匹配对，每个标志点匹配对包括一个标志点的地理坐标和所述一个标志点的雷达坐标；

根据所述至少两个标志点匹配对，获得所述雷达测量数据与所述地理区域之间的标定关系。

2.如权利要求1所述的方法，其特征在于，所述根据所述图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标，包括：

根据标志点检测算法确定所述图像中记录的标志点的像素坐标；

根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获得所述图像中记录的标志点的地理坐标。

3.如权利要求1或2所述的方法，其特征在于，

所述摄像机与所述雷达设备独立部署于所述地理区域，所述雷达设备的测量区域和所述摄像机的拍摄区域存在交集区域，所述至少两个标志点匹配对对应的标志点为所述交集区域中的标志点。

4.如权利要求1-3任一项所述的方法，其特征在于，所述至少两个标志点匹配对为有效的标志点匹配对，在确定至少两个标志点匹配对之前，所述方法还包括：

将所述至少两个标志点匹配对中所有标志点的地理坐标或雷达坐标进行直线拟合，获得拟合直线；

计算每个标志点的地理坐标或雷达坐标到所述拟合直线的距离；

若到所述拟合直线的距离小于第一阈值的标志点的地理坐标或雷达坐标的个数不大于第二阈值，则确定所述至少两个标志点匹配对有效。

5.如权利要求2所述的方法，其特征在于，所述根据标志点检测算法确定所述图像中的标志点的像素坐标，包括：

输入所述图像至标志物检测模型，根据所述标志物检测模型获得所述图像中的标志物的像素坐标；

根据所述图像中的标志物的像素坐标确定所述标志点的像素坐标。

6.如权利要求2或5所述的方法，其特征在于，所述根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获得所述图像中记录的标志点的地理坐标，包括：

根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获取所述图像中的标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标；

获取所述摄像机的参数，所述摄像机的参数包括所述摄像机在所述地理区域中的位置距地面的垂直高度和所述摄像机在所述地面上的垂直投影点的地理坐标；

根据所述标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标和所述摄像机的参数确定所述标志点的地理坐标。

7.如权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

发送所述雷达测量数据与所述地理区域之间的标定关系至处理装置，以使得所述处理装置在获取所述雷达设备测量到的被检测目标的雷达坐标后，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标；

或者，

存储所述标定关系；

当获取到所述雷达设备测量到的被检测目标的雷达坐标后，获取所述标定关系，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标。

8.一种空间标定系统，其特征在于，包括：

获取单元，用于获取同一时刻的图像和雷达测量数据，所述图像由设置于地理区域的摄像机拍摄得到，所述雷达测量数据由设置于所述地理区域的雷达设备测量得到，所述雷达测量数据包括所述地理区域中的多个标志点的雷达坐标；

坐标转换单元，用于根据所述图像中记录的标志点的像素坐标，获得所述图像中记录的标志点的地理坐标；

计算单元，用于确定至少两个标志点匹配对，每个标志点匹配对包括一个标志点的地理坐标和所述一个标志点的雷达坐标，并根据所述至少两个标志点匹配对，获得所述雷达测量数据与所述地理区域之间的标定关系。

9.如权利要求8所述的空间标定系统，其特征在于，所述坐标转换单元，具体用于：

根据标志点检测算法确定所述图像中记录的标志点的像素坐标；

根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获得所述图像中记录的标志点的地理坐标。

10.如权利要求8或9所述的空间标定系统，其特征在于，所述摄像机与所述雷达设备独立部署于所述地理区域，所述雷达设备的测量区域和所述摄像机的拍摄区域存在交集区域，所述至少两个标志点匹配对对应的标志点为所述交集区域中的标志点。

11.如权利要求8-10任一项所述的空间标定系统，其特征在于，所述至少两个标志点匹配对为有效的标志点匹配对，所述计算单元，还用于：

将所述至少两个标志点匹配对中所有标志点的地理坐标或雷达坐标进行直线拟合，获得拟合直线；

计算每个标志点的地理坐标或雷达坐标到所述拟合直线的距离；

若到所述拟合直线的距离小于第一阈值的标志点的地理坐标或雷达坐标的个数不大于第二阈值，则确定所述至少两个标志点匹配对有效。

12.如权利要求9所述的空间标定系统，其特征在于，所述坐标转换单元，具体用于：

输入所述图像至标志点检测模型，根据所述标志物检测模型获得所述图像中的标志物的像素坐标；

根据所述图像中的标志物的像素坐标确定所述标志点的像素坐标。

13.如权利要求9或12所述的空间标定系统，其特征在于，

所述获取单元，还用于获取所述摄像机的参数，所述摄像机的参数包括所述摄像机在所述地理区域中的位置距地面的垂直高度和所述摄像机在所述地面上的垂直投影点的地理坐标；

所述坐标转换单元，还用于根据所述标志点的像素坐标和所述摄像机拍摄的图像与所述地理区域之间的标定关系，获取所述图像中的标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标；根据所述标志点在所述摄像机的拍摄角度下在地面上形成的投影点的地理坐标和所述摄像机的参数确定所述标志点的地理坐标。

14.如权利要求8-13任一项所述的空间标定系统，其特征在于，

所述计算单元，还用于发送所述雷达测量数据与所述地理区域之间的标定关系至处理装置，以使得所述处理装置在获取所述雷达设备测量到的被检测目标的雷达坐标后，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标；

或者，

所述计算单元，还用于存储所述标定关系，当获取到所述雷达设备测量到的被检测目标的雷达坐标后，获取所述标定关系，根据所述标定关系和所述被检测目标的雷达坐标，确定所述被检测目标在所述地理区域的地理坐标。

15.一种计算设备，其特征在于，所述计算设备包括存储器和处理器，所述处理器执行所述存储器存储的计算机指令，使得所述计算设备执行权利要求1-7任一项所述的方法。

16.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，所述处理器执行权利要求1-7任一项所述的方法。

Images