CN114910875A - 一种雷达和相机的联合标定方法、装置及介质 - Google Patents

一种雷达和相机的联合标定方法、装置及介质 Download PDF

Info

Publication number
CN114910875A
CN114910875A CN202210697885.XA CN202210697885A CN114910875A CN 114910875 A CN114910875 A CN 114910875A CN 202210697885 A CN202210697885 A CN 202210697885A CN 114910875 A CN114910875 A CN 114910875A
Authority
CN
China
Prior art keywords
radar
calibration
coordinates
coordinate
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210697885.XA
Other languages
English (en)
Inventor
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202210697885.XA priority Critical patent/CN114910875A/zh
Publication of CN114910875A publication Critical patent/CN114910875A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请公开了一种雷达和相机的联合标定方法、装置及介质，涉及目标标定领域，主要解决现有的雷达相机标定方法需要相机和毫米波雷达布设于同一位置，使得两者的经纬度坐标保持一致的问题，本申请所提供方法，得到了雷达GPS坐标在全局UTM坐标系下的雷达UTM坐标，也就是雷达相对于全局UTM坐标系的偏移距离，及雷达坐标系相对于全局UTM坐标系的旋转角，也就是全局UTM坐标系与雷达坐标系之间的映射关系，本方法不需要雷达与相机设置于同一经纬度，另外，将标定车辆的GPS运动数据与雷达测量数据作为筛选标定点迹的数据来源，极大的提升了标定的准确度和速度。

Description

一种雷达和相机的联合标定方法、装置及介质
技术领域
本申请涉及目标标定领域，特别是涉及一种雷达和相机的联合标定方法、装置及介质。
背景技术
在智能交通领域，当前的目标检测跟踪系统以视频检测为主，而相机易受外界环境如多变光照、恶劣天气的影响，难以对目标进行稳定且高准确度的全天候、全时域的检测。近年来，毫米波雷达因其低廉的价格和受光照、烟尘、雨雪等天气因素影响较小的优良特性获得了研究者们的广泛关注，越来越多的研究者利用毫米波雷达和相机的互补性，将两种传感器融合作为性能稳定、高性价比的环境感知方案。然而，毫米波雷达和相机融合的前提是进行联合标定，以此来获得两种传感器对同一目标位置的统一表达。现有的，通过将所有标定车辆的像素坐标和雷达坐标分别转换成世界坐标，基于全局最优匹配算法进行求解像素坐标和雷达坐标之间的映射关系。
通过将所有标定车辆的像素坐标和雷达坐标分别转换成世界坐标的方案，相机和毫米波雷达需要布设于同一位置，使得两者的经纬度坐标保持一致，不适用于相机和毫米波雷达布设在不同位置的交通场景；另外，现有的方案在复杂的交通场景下即车辆目标较多时需要消耗大量的时间，不能较好的满足交通场景下快速标定的要求，而当车辆目标较少时难以保证标定精度，并且在此过程中使用相机标定结果进行车辆像素坐标和世界坐标的转换，但该映射关系由标定车辆检测框内的一点和标定车辆的定位数据计算得到，显然是存在较大误差的，直接应用于此过程的坐标转换，累积的误差会进一步降低标定的精度，拖慢标定的速度。
由此可见，提供一种不限制相机与雷达布设位置、标定精度高的雷达相机联合标定方法，是本领域人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种不限制相机与雷达布设位置的雷达和相机的联合标定方法。
为解决上述技术问题，本申请提供一种雷达和相机的联合标定方法，包括：
获取相机拍摄的视频数据、雷达监测的雷达测量数据、标定车辆上传的GPS运动数据、相机GPS坐标、雷达GPS坐标；
以所述相机为坐标原点建立全局UTM坐标系；
将所述雷达GPS坐标转换至所述全局UTM坐标系，得到雷达UTM坐标；
构建ROI区域，所述雷达的监测点位于所述ROI区域；
根据所述GPS运动数据，获取位于所述ROI区域且满足连续性分段预设距离阈值的所述标定车辆的GPS点迹；
根据所述雷达测量数据，获取与所述GPS点迹对应的时间段的所述标定车辆的雷达点迹，且所述雷达点迹满足所述连续性分段预设距离阈值和长度预设阈值；
将所述雷达点迹中的直行点迹作为标定点迹；
根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角。
优选地，所述的雷达和相机的联合标定方法，所述构建ROI区域，所述雷达的监测点位于所述ROI区域，包括：
选取3个或3个以上的所述雷达；
将所述雷达的位置连线，围成多边形区域，将所述多边形区域作为所述ROI区域，其中，所述雷达的监测点与所述ROI区域的任意相邻两顶点的连线所围成的面积之和等于所述ROI区域的面积。
优选地，所述的雷达和相机的联合标定方法，所述根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角，包括：
以所述雷达为原点建立局部UTM坐标系；
获取所述标定车辆在所述局部UTM坐标系下的第一坐标，所述第一坐标记为(Xt,Yt)；
获取所述标定点迹的直角坐标，所述直角坐标标记为(Xr,Yr)；
根据第一公式将所述直角坐标转换至所述局部UTM坐标系下，得到第二坐标(X′r,Y′r)；
所述第一公式为：X′r＝Xr cos(Rθ)-Yr sin(Rθ)，Y′r＝Xr sin(Rθ)+Yr cos(Rθ)；
其中，Rθ为所述旋转角，初始化Rθ为0；
通过优化函数，以梯度下降法迭代得到所述旋转角的最优解；
所述优化函数为：L(Rθ)＝[Xt-X′r,Yt-Y′r]；
其中，L(Rθ)表示Rθ的取值集合。
优选地，所述的雷达和相机的联合标定方法，所述根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角之后，还包括：
对所述视频数据检测到的所述标定车辆的坐标进行标定，建立所述标定车辆的像素坐标与全局UTM坐标系之间的第一映射关系；
获取目标车辆在所述雷达坐标系下下的目标车辆雷达坐标；
获取所述目标车辆的目标像素坐标；
根据第二公式，得到所述目标车辆的理论像素坐标；
所述第二公式为：
Figure BDA0003703441500000031
其中，X表示所述理论像素坐标的横坐标，Y表示所述理论像素坐标的纵坐标，Tx表示所述雷达UTM坐标的横坐标，Ty表示所述雷达UTM坐标的纵坐标，Xr表示所述目标车辆雷达坐标的横坐标，Yr表示所述目标雷达车辆坐标的纵坐标，λ表示坐标调节因子，初始化所述坐标调节因子为1，H表示所述第一映射关系；
判断所述理论像素坐标与所述目标像素坐标之间的余弦距离是否大于预设距离；
若是，以二分搜索算法得到满足所述预设距离的所述坐标调节因子。
优选地，所述的雷达和相机的联合标定方法，所述对所述视频数据检测到的所述标定车辆的坐标进行标定，建立所述标定车辆的像素坐标与全局UTM坐标系之间的第一映射关系，包括：
获取所述视频数据中所述标定车辆的检测框坐标，以检测框中心点坐标作为所述标定车辆的所述像素坐标；
将所述标定车辆的GPS坐标转换到所述全局UTM坐标系下，得到所述全局UTM坐标系；
得到所述全局UTM坐标系到所述像素坐标的单应性矩阵，所述单应性矩阵为所述第一映射关系。
优选地，所述的雷达和相机的联合标定方法，获取所述视频数据中所述标定车辆的检测框坐标，以检测框中心点坐标作为所述标定车辆的所述像素坐标，包括：
基于预训练的深度学习车辆重识别算法对所述视频数据中的标定车辆进行识别；
获取所述标定车辆的所述检测框坐标，以所述检测框中心点坐标作为所述标定车辆的所述像素坐标。
优选地，所述的雷达和相机的联合标定方法，所述标定点迹包括目标距离、角度、纬度、经度、高度数据信息。
为解决上述技术问题，本申请还提供一种雷达和相机的联合标定装置，包括：
获取模块，用于获取相机拍摄的视频数据、雷达监测的雷达测量数据、相机GPS坐标、雷达GPS坐标和标定车辆GPS坐标；
建立模块，用于以所述相机为坐标原点建立全局UTM坐标系；
确定雷达UTM坐标模块，用于将所述雷达GPS坐标转换至所述全局UTM坐标系，得到雷达UTM坐标；
构建模块，用于构建ROI区域，所述雷达的监测点位于所述ROI区域；
获取GPS点迹模块，用于根据所述GPS运动数据，获取位于所述ROI区域且满足连续性分段预设距离阈值的所述标定车辆的GPS点迹；
获取雷达点迹模块，用于根据所述雷达测量数据，获取与所述GPS点迹对应的时间段的所述标定车辆的雷达点迹，且所述雷达点迹满足所述连续性分段预设距离阈值和长度预设阈值；
确定模块，用于将所述雷达点迹中的直行点迹作为标定点迹；
计算模块，用于根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角。
为解决上述技术问题，本申请还提供一种雷达和相机的联合标定装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述的雷达和相机的联合标定方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的雷达和相机的联合标定方法的步骤。
本申请所提供的雷达和相机的联合标定方法，获取相机拍摄的视频数据、雷达监测的雷达测量数据、标定车辆上传的GPS运动数据、相机GPS坐标、雷达GPS坐标，以相机为坐标原点建立全局UTM坐标系，将雷达GPS坐标转换至全局UTM坐标系下，可得到雷达UTM坐标，也就是以雷达相对于全局UTM坐标系的偏移距离，构建ROI区域，雷达的监测点位于ROI区域，根据GPS运动数据，获取位于ROI区域且满足连续性分段预设距离阈值的标定车辆的GPS点迹，根据雷达测量数据，获取与GPS点迹对应的时间段的标定车辆的雷达点迹，且雷达点迹满足连续性分段预设距离阈值和长度预设阈值，将雷达点迹中的直行点迹作为标定点迹，根据标定点迹，得到雷达的雷达坐标系相对于全局UTM坐标系的旋转角。根据本实施例提供的雷达和相机的联合标定方法，不需要雷达与相机设置于同一经纬度，将标定车辆的GPS运动数据与雷达测量数据作为筛选标定点迹的数据来源，计算雷达坐标系与全局UTM坐标系的旋转角，也就是全局UTM坐标系与雷达坐标系之间的映射关系，以得到同一目标位置的统一表达。
另外，本申请还提供一种装置及介质，与上述方法对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种雷达和相机的联合标定方法的流程图；
图2为本申请实施例提供的一种雷达和相机的联合标定装置的示意图；
图3为本申请实施例提供的另一种雷达和相机的联合标定装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种不限制相机与雷达布设位置，且能够在线自校准的高精度快速的雷达和相机的联合标定方法。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
现有的通过将所有标定车辆的像素坐标和雷达坐标分别转换成世界坐标，基于全局最优匹配算法进行求解像素坐标和雷达坐标之间的映射关系的方案中，相机和毫米波雷达需要布设于同一位置，使得两者的经纬度坐标保持一致，不适用于相机和毫米波雷达布设在不同位置的交通场景。另外，现有的方案中需要对测量区域内的所有标定车辆进行标定，该过程在复杂的交通场景下，即车辆目标较多时需要消耗大量的时间，不能满足交通场景下快速标定的要求，而当车辆目标较少时难以保证标定精度，并且在此过程中使用相机标定结果进行车辆像素坐标和世界坐标的转换，但该映射关系由网联车辆检测框内的一点的坐标和网联车辆的定位数据计算得到，由检测框内一点的坐标作为标定车辆的坐标显然是存在较大误差的，这个坐标直接应用于坐标转换，累积的误差会进一步降低标定的精度，拖慢标定的速度。
图1为本申请实施例提供的一种雷达和相机的联合标定方法的流程图，如图1所示，雷达和相机的联合标定方法包括：
S11：获取相机拍摄的视频数据、雷达监测的雷达测量数据、相机GPS坐标、雷达GPS坐标和标定车辆GPS坐标；
需要说明的是，本实施例提供的应用于至少一个相机、至少一个雷达及至少一个标定车辆的环境中。本实施例提到的标定车辆指的是装载有实时动态(Real-timekinematic，RTK)测量仪或者全球定位系统(Global Positioning System，GPS)测量仪的车辆，用于上传标定车辆的GPS坐标数据。本申请实施例进行联合标定时，仅需要至少一个标定车辆的测量数据，不需要对全部标定车辆的数据进行标定，提高标定的速率。
本实施例提到的相机拍摄的视频数据包括标定车辆的移动数据，以便于后续使用，在实际应用中，相机拍摄的数据可能包含标定车辆和非标定车辆，可通过算法对相机拍摄到的所有视频数据进行区分，得到需要的标定车辆的移动数据；雷达监测的雷达测量数据指的是雷达监测到的标定车辆移动点迹，在实际应用中，雷达监测到的数据可能包含标定车辆和非标定车辆，可通过算法对雷达监测的所有雷达测量数据进行区分，以得到需要的标定车辆移动点迹。
相机的GPS坐标和雷达的GPS坐标，可以是安装相机或雷达时检测好的，也可以是相机或雷达实时上传的，本实施例不作限制。
另外，本实施例提到的雷达为毫米波雷达。
S12：以相机为坐标原点建立全局UTM坐标系；
S13：将雷达GPS坐标转换至全局UTM坐标系，得到雷达UTM坐标；
本实施例得到的雷达UTM坐标的横纵坐标表示以雷达相对于全局UTM坐标系的偏移距离。
S14：构建ROI区域，雷达的监测点位于ROI区域；
本实施例提到的感兴趣区域(ROI，Region Of Interest)区域指的是预先设置好的一个区域，以ROI区域中的检测到的数据作为标定计算的依据。其中，雷达的监测点需位于ROI区域内。
优选地，当雷达的个数大于3个时，选取3个或3个以上的雷达；以一个雷达和相机的标定过程为例，剩余预设雷达和相机的标定重复该过程。
将雷达的位置连线，围成多边形区域，将多边形区域作为ROI区域，其中，雷达的监测点与ROI区域的任意相邻两顶点的连线所围成的面积之和等于ROI区域的面积。
本实施例提到的由雷达围成的多边形区域，为雷达所能围成的最大面积的区域。任意一个雷达监测点与多边形区域的任意相邻两顶点的连线所围成的面积之和等于ROI区域的面积，则说明雷达的监测点位于ROI区域内。
S15：根据GPS运动数据，获取位于ROI区域且满足连续性分段预设距离阈值的标定车辆的GPS点迹；
S16：根据雷达测量数据，获取与GPS点迹对应的时间段的标定车辆的雷达点迹，且雷达点迹满足连续性分段预设距离阈值和长度预设阈值；
在雷达监测的雷达测量数据中，包含有时间戳、目标ID、距离、角度等字段，在标定车辆上传的GPS运动数据中，包含时间戳、纬度、经度、高度等字段。
步骤S15对ROI区域内的GPS点迹，按照相邻点的距离是否满足连续性分段预设距离阈值对标定车辆的GPS点迹进行分段，得到满足要求的标定车辆的GPS点迹；
根据雷达测量数据，步骤S16根据步骤S15得到的标定车辆的GPS点迹，提取对应时间段的雷达点迹，并根据标定车辆的ID对雷达点迹进行划分，得到标定车辆在对应时间段的雷达点迹，再判断此时的得到雷达点迹是否满足连续性分段预设距离阈值和长度预设阈值，以得到满足要求的标定车辆的雷达点迹。
通过步骤S15和步骤S16的筛选，得到目标车辆的点迹满足预设距离阈值的且位于同一时间段的GPS点迹与雷达点迹。
S17：将雷达点迹中的直行点迹作为标定点迹；
为了便于计算，选取雷达点迹中的直行点迹作为标定点迹用于后续计算。优选地，标定点迹包含目标距离、角度、纬度、经度、高度数据信息。
S18：根据标定点迹，得到雷达的雷达坐标系相对于全局UTM坐标系的旋转角。
GPS点迹与雷达点迹满足预设距离阈值的且位于同一时间段，结合全局UTM坐标系，可计算出雷达坐标系相对于全局UTM坐标系的旋转角。
具体地，获取相机拍摄的视频数据、雷达监测的雷达测量数据、标定车辆上传的GPS运动数据、相机GPS坐标、雷达GPS坐标和，以相机为坐标原点建立全局UTM坐标系，构建ROI区域，雷达的监测点位于ROI区域，根据GPS运动数据，获取位于ROI区域且满足连续性分段预设距离阈值的标定车辆的GPS点迹，根据雷达测量数据，获取与GPS点迹对应的时间段的标定车辆的雷达点迹，且雷达点迹满足连续性分段预设距离阈值和长度预设阈值，将雷达点迹中的直行点迹作为标定点迹，根据标定点迹，得到雷达的雷达坐标系相对于全局UTM坐标系的旋转角，另外，将雷达GPS坐标转换至全局UTM坐标系下，可得到雷达UTM坐标，也就是以雷达相对于全局UTM坐标系的偏移距离。根据本实施例提供的雷达和相机的联合标定方法，不需要雷达与相机设置于同一经纬度，将标定车辆的GPS运动数据与雷达测量数据作为筛选标定点迹的数据来源，计算雷达坐标系与全局UTM坐标系的旋转角，也就是全局UTM坐标系与雷达坐标系之间的映射关系，以得到同一目标位置的统一表达。
根据上述实施例，本实施例提供一种计算旋转角的优选方案，步骤S18包括，根据标定点迹，得到雷达的雷达坐标系相对于全局UTM坐标系的旋转角，包括：
以雷达为原点建立局部UTM坐标系；
获取标定车辆在局部UTM坐标系下的第一坐标，第一坐标记为(Xt,Yt)；
获取标定点迹的直角坐标，直角坐标标记为(Xr,Yr)；
根据第一公式将直角坐标转换至局部UTM坐标系下，得到第二坐标(X′r,Y′r)；
第一公式为：X′r＝Xr cos(Rθ)-Yr sin(Rθ)，Y′r＝Xr sin(Rθ)+Yr cos(Rθ)；
其中，Rθ为旋转角，初始化Rθ为0；
通过优化函数，以梯度下降法迭代得到旋转角的最优解；
优化函数为：L(Rθ)＝[Xt-X′r,Yt-Y′r]；
其中，L(Rθ)表示Rθ的取值集合。
需要说明的是，本实施例提到的获取标定车辆在局部UTM坐标系下的第一坐标，指的是将标定车辆GPS坐标转换至UTM坐标系下。
本实施例提到的标定点迹的直角坐标，指的是将标定点迹的极坐标转换为直角坐标以统一计算；进一步地，通过第一公式得到标定点迹在局部UTM坐标系下的第二坐标。
通过梯度下降法迭代，得到旋转角Rθ的最优解，也就是旋转角Rθ的最小值。
通过本实施例提供的计算方法，计算出雷达坐标系与全局UTM坐标系的旋转角，以得到同一目标位置的统一表达。
现有的技术方案中，在相机和毫米波雷达产生微小振动偏移或旋转时，需要重复整个标定步骤进行重新标定，这就需要网联车辆再次提供定位数据，而这无疑提高了标定的成本，不利于交通场景下大规模应用。本实施例提供一种不需要再次标定，实现旋转角的校正的方案，根据标定点迹，得到雷达的雷达坐标系相对于全局UTM坐标系的旋转角之后，还包括：
对视频数据检测到的标定车辆的坐标进行标定，建立标定车辆的像素坐标与全局UTM坐标系之间的第一映射关系；
获取目标车辆在所述雷达坐标系下下的目标车辆雷达坐标；
获取目标车辆的目标像素坐标；
根据第二公式，得到目标车辆的理论像素坐标；
第二公式为：
Figure BDA0003703441500000101
其中，X表示理论像素坐标的横坐标，Y表示理论像素坐标的纵坐标，Tx表示雷达UTM坐标的横坐标，Ty表示雷达UTM坐标的纵坐标，Xr表示所述目标车辆雷达坐标的横坐标，Yr表示所述目标车辆雷达坐标的纵坐标，λ表示坐标调节因子，初始化所述坐标调节因子为1，H表示所述第一映射关系；
判断理论像素坐标与目标像素坐标之间的余弦距离是否大于预设距离；
若是，以二分搜索算法得到满足预设距离的坐标调节因子。
需要说明的是，本实施例提到的像素坐标指的是根据相机拍摄的视频数据得到的标定车辆的像素坐标，本实施例提到的全局UTM坐标系指的是将标定车辆的GPS坐标转换到全局UTM坐标系下。
本实施例提到的目标车辆与标定车辆不同，目标车辆上不需要设置用于上传GPS定位数据的装置。目标车辆的像素坐标指的是，通过相机拍摄的视频数据得到的目标车辆的像素坐标。
本实施例提到的雷达UTM坐标为雷达GPS坐标转换至所述全局UTM坐标系的坐标，横纵坐标即表示局部UTM坐标系相对于全局UTM坐标系的偏移距离。
若旋转角没有因为相机或雷达的位置发生变化，则当坐标调节因子为1时，根据第二公式得到的理论像素坐标与目标像素坐标是一致的。
当理论像素坐标与目标像素坐标不一致时，计算理论像素坐标与目标像素坐标之间的余弦距离是否大于预设距离，也就是目前发生的偏移是否在预计范围内。若余弦距离超过预设距离，则需要对旋转角进行校正，通过二分搜索算法得到满足预设距离的坐标调节因子，也就是通过该表坐标调节因子的值，使理论像素坐标与目标像素坐标的余弦距离小于预设距离。
通过本实施例提供的方案，在计算出旋转角后，不需要再次重复标定的过程，通过坐标调节因子对旋转角进行校正，以降低标定成本。
根据上述实施例，本实施例提供一种计算像素坐标的优选方案，对视频数据检测到的标定车辆的坐标进行标定，建立标定车辆的像素坐标与全局UTM坐标系之间的第一映射关系，包括：
获取视频数据中标定车辆的检测框坐标，以检测框中心点坐标作为标定车辆的像素坐标；
将标定车辆的GPS坐标转换到全局UTM坐标系下，得到全局UTM坐标系；
得到全局UTM坐标系到像素坐标的单应性矩阵，单应性矩阵为第一映射关系。
通过将检测框的中心点作为标定车辆的像素坐标，提高标定的准确度。另外，目标车辆的像素坐标也可以通过选定检测框的中心点作为目标车辆的像素坐标，提高计算坐标调节因子的准确度。
根据上述实施例，本实施例提供一种优选方案，获取视频数据中标定车辆的检测框坐标，以检测框中心点坐标作为标定车辆的像素坐标，包括：
基于预训练的深度学习车辆重识别算法对视频数据中的标定车辆进行识别；
获取标定车辆的检测框坐标，以检测框中心点坐标作为标定车辆的像素坐标。
本实施例提到的基于预训练的深度学习车辆重识别算法，通过预训练，得到训练好的可以用于识别标定车辆的深度学习车辆重识别算法。更好地识别出标定车辆以进行后续标定计算。
在上述实施例中，对于雷达和相机的联合标定方法进行了详细描述，本申请还提供雷达和相机的联合标定装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
基于功能模块角度，图2为本申请实施例提供的一种雷达和相机的联合标定装置示意图，如图2所示，包括：
获取模块21，用于获取相机拍摄的视频数据、雷达监测的雷达测量数据、标定车辆上传的GPS运动数据、相机GPS坐标、雷达GPS坐标；
建立模块22，用于以相机为坐标原点建立全局UTM坐标系；
确定雷达UTM坐标模块23，用于将所述雷达GPS坐标转换至所述全局UTM坐标系，得到雷达UTM坐标；
构建模块24，用于构建ROI区域，所述雷达的监测点位于所述ROI区域；
获取GPS点迹模块25，用于根据所述GPS运动数据，获取位于所述ROI区域且满足连续性分段预设距离阈值的所述标定车辆的GPS点迹；
获取雷达点迹模块26，用于根据所述雷达测量数据，获取与所述GPS点迹对应的时间段的所述标定车辆的雷达点迹，且所述雷达点迹满足所述连续性分段预设距离阈值和长度预设阈值；
确定模块27，用于将雷达点迹中的直行点迹作为标定点迹；
计算模块28，用于根据标定点迹，得到雷达的雷达坐标系相对于全局UTM坐标系的旋转角。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
具体地，通过获取模块21获取相机拍摄的视频数据、雷达监测的雷达测量数据、标定车辆上传的GPS运动数据、相机GPS坐标、雷达GPS坐标，通过建立模块22以相机为坐标原点建立全局UTM坐标系，确定雷达UTM坐标模块23将所述雷达GPS坐标转换至所述全局UTM坐标系，得到雷达UTM坐标；构建模块24构建ROI区域，雷达的监测点位于ROI区域；获取GPS点迹模块25根据获取模块21获取的GPS运动数据，获取位于所述ROI区域且满足连续性分段预设距离阈值的所述标定车辆的GPS点迹；获取雷达点迹模块26根据获取模块21获取的雷达测量数据，获取与所述GPS点迹对应的时间段的所述标定车辆的雷达点迹，且所述雷达点迹满足所述连续性分段预设距离阈值和长度预设阈值；确定模块27将获取雷达点迹模块25得到的雷达点迹中的直行点迹作为标定点迹；计算模块28根据标定点迹，得到雷达的雷达坐标系相对于全局UTM坐标系的旋转角。本实施例提供一种雷达和相机的联合标定装置，不需要雷达与相机设置于同一经纬度，将标定车辆的GPS运动数据与雷达测量数据作为筛选标定点迹的数据来源，计算雷达坐标系与全局UTM坐标系的旋转角，也就是全局UTM坐标系与雷达坐标系之间的映射关系，以得到同一目标位置的统一表达。
图3为本申请实施例提供的另一种雷达和相机的联合标定装置的结构图，如图3所示，雷达和相机的联合标定装置包括：存储器30，用于存储计算机程序；
处理器31，用于执行计算机程序时实现如上述实施例雷达和相机的联合标定方法的步骤。
本实施例提供的雷达和相机的联合标定装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的雷达和相机的联合标定方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于实现雷达和相机的联合标定方法所涉及到的数据等。
在一些实施例中，雷达和相机的联合标定装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解，图3中示出的结构并不构成对雷达和相机的联合标定装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的雷达和相机的联合标定装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：雷达和相机的联合标定方法，不需要雷达与相机设置于同一经纬度，将标定车辆的GPS运动数据与雷达测量数据作为筛选标定点迹的数据来源，计算雷达坐标系与全局UTM坐标系的旋转角，进而建立全局UTM坐标系与雷达坐标系之间的映射关系，以得到同一目标位置的统一表达。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述雷达和相机的联合标定方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的计算机可读存储介质，其上存储有计算机程序，当处理器执行该程序时，可实现以下方法：雷达和相机的联合标定方法，不需要雷达与相机设置于同一经纬度，将标定车辆的GPS运动数据与雷达测量数据作为筛选标定点迹的数据来源，计算雷达坐标系与全局UTM坐标系的旋转角，进而建立全局UTM坐标系与雷达坐标系之间的映射关系，以得到同一目标位置的统一表达。
以上对本申请所提供的雷达和相机的联合标定方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种雷达和相机的联合标定方法，其特征在于，包括：
获取相机拍摄的视频数据、雷达监测的雷达测量数据、标定车辆上传的GPS运动数据、相机GPS坐标、雷达GPS坐标；
以所述相机为坐标原点建立全局UTM坐标系；
将所述雷达GPS坐标转换至所述全局UTM坐标系，得到雷达UTM坐标；
构建ROI区域，所述雷达的监测点位于所述ROI区域；
根据所述GPS运动数据，获取位于所述ROI区域且满足连续性分段预设距离阈值的所述标定车辆的GPS点迹；
根据所述雷达测量数据，获取与所述GPS点迹对应的时间段的所述标定车辆的雷达点迹，且所述雷达点迹满足所述连续性分段预设距离阈值和长度预设阈值；
将所述雷达点迹中的直行点迹作为标定点迹；
根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角。
2.根据权利要求1所述的雷达和相机的联合标定方法，其特征在于，所述构建ROI区域，所述雷达的监测点位于所述ROI区域，包括：
选取3个或3个以上的所述雷达；
将所述雷达的位置连线，围成多边形区域，将所述多边形区域作为所述ROI区域，其中，所述雷达的监测点与所述ROI区域的任意相邻两顶点的连线所围成的面积之和等于所述ROI区域的面积。
3.根据权利要求1所述的雷达和相机的联合标定方法，其特征在于，所述根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角，包括：
以所述雷达为原点建立局部UTM坐标系；
获取所述标定车辆在所述局部UTM坐标系下的第一坐标，所述第一坐标记为(Xt,Yt)；
获取所述标定点迹的直角坐标，所述直角坐标标记为(Xr,Yr)；
根据第一公式将所述直角坐标转换至所述局部UTM坐标系下，得到第二坐标(Xr′,Yr′)；
所述第一公式为：Xr'＝Xrcos(Rθ)-Yrsin(Rθ)，Yr'＝Xrsin(Rθ)+Yrcos(Rθ)；
其中，Rθ为所述旋转角，初始化Rθ为0；
通过优化函数，以梯度下降法迭代得到所述旋转角的最优解；
所述优化函数为：L(Rθ)＝[Xt-Xr′,Yt-Yr′]；
其中，L(Rθ)表示Rθ的取值集合。
4.根据权利要求3所述的雷达和相机的联合标定方法，其特征在于，所述根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角之后，还包括：
对所述视频数据检测到的所述标定车辆的坐标进行标定，建立所述标定车辆的像素坐标与全局UTM坐标系之间的第一映射关系；
获取目标车辆在所述雷达坐标系下的目标车辆雷达坐标；
获取所述目标车辆的目标像素坐标；
根据第二公式，得到所述目标车辆的理论像素坐标；
所述第二公式为：
Figure FDA0003703441490000021
其中，X表示所述理论像素坐标的横坐标，Y表示所述理论像素坐标的纵坐标，Tx表示所述雷达UTM坐标的横坐标，Ty表示所述雷达UTM坐标的纵坐标，Xr表示所述目标车辆雷达坐标的横坐标，Yr表示所述目标车辆雷达坐标的纵坐标，λ表示坐标调节因子，初始化所述坐标调节因子为1，H表示所述第一映射关系；
判断所述理论像素坐标与所述目标像素坐标之间的余弦距离是否大于预设距离；
若是，以二分搜索算法得到满足所述预设距离的所述坐标调节因子。
5.根据权利要求4所述的雷达和相机的联合标定方法，其特征在于，所述对所述视频数据检测到的所述标定车辆的坐标进行标定，建立所述标定车辆的像素坐标与全局UTM坐标系之间的第一映射关系，包括：
获取所述视频数据中所述标定车辆的检测框坐标，以检测框中心点坐标作为所述标定车辆的所述像素坐标；
将所述标定车辆的GPS坐标转换到所述全局UTM坐标系下，得到所述全局UTM坐标系；
得到所述全局UTM坐标系到所述像素坐标的单应性矩阵，所述单应性矩阵为所述第一映射关系。
6.根据权利要求5所述的雷达和相机的联合标定方法，其特征在于，获取所述视频数据中所述标定车辆的检测框坐标，以检测框中心点坐标作为所述标定车辆的所述像素坐标，包括：
基于预训练的深度学习车辆重识别算法对所述视频数据中的标定车辆进行识别；
获取所述标定车辆的所述检测框坐标，以所述检测框中心点坐标作为所述标定车辆的所述像素坐标。
7.根据权利要求1所述的雷达和相机的联合标定方法，其特征在于，所述标定点迹包括目标距离、角度、纬度、经度、高度数据信息。
8.一种雷达和相机的联合标定装置，其特征在于，包括：
获取模块，用于获取相机拍摄的视频数据、雷达监测的雷达测量数据、相机GPS坐标、雷达GPS坐标和标定车辆GPS坐标；
建立模块，用于以所述相机为坐标原点建立全局UTM坐标系；
确定雷达UTM坐标模块，用于将所述雷达GPS坐标转换至所述全局UTM坐标系，得到雷达UTM坐标；
构建模块，用于构建ROI区域，所述雷达的监测点位于所述ROI区域；
获取GPS点迹模块，用于根据所述GPS运动数据，获取位于所述ROI区域且满足连续性分段预设距离阈值的所述标定车辆的GPS点迹；
获取雷达点迹模块，用于根据所述雷达测量数据，获取与所述GPS点迹对应的时间段的所述标定车辆的雷达点迹，且所述雷达点迹满足所述连续性分段预设距离阈值和长度预设阈值；
确定模块，用于将所述雷达点迹中的直行点迹作为标定点迹；
计算模块，用于根据所述标定点迹，得到所述雷达的雷达坐标系相对于所述全局UTM坐标系的旋转角。
9.一种雷达和相机的联合标定装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的雷达和相机的联合标定方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的雷达和相机的联合标定方法的步骤。
CN202210697885.XA 2022-06-20 2022-06-20 一种雷达和相机的联合标定方法、装置及介质 Pending CN114910875A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210697885.XA CN114910875A (zh) 2022-06-20 2022-06-20 一种雷达和相机的联合标定方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210697885.XA CN114910875A (zh) 2022-06-20 2022-06-20 一种雷达和相机的联合标定方法、装置及介质

Publications (1)

Publication Number Publication Date
CN114910875A true CN114910875A (zh) 2022-08-16

Family

ID=82772467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210697885.XA Pending CN114910875A (zh) 2022-06-20 2022-06-20 一种雷达和相机的联合标定方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114910875A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117723069A (zh) * 2023-12-20 2024-03-19 中北数科(河北)科技有限公司 一种车辆定位实现方法、装置、电子设备及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117723069A (zh) * 2023-12-20 2024-03-19 中北数科(河北)科技有限公司 一种车辆定位实现方法、装置、电子设备及系统

Similar Documents

Publication Publication Date Title
CN112966587B (zh) 目标检测模型的训练方法、目标检测方法及相关设备
WO2021057612A1 (zh) 传感器的标定方法和装置
CN113359097B (zh) 一种毫米波雷达和相机联合标定的方法
CN102262092B (zh) 能见度测量系统及方法
CN111523465A (zh) 基于摄像机标定及深度学习算法的船舶身份识别系统
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN107301649B (zh) 一种基于超像素的区域合并sar图像海岸线检测算法
Bai et al. An intelligent water level monitoring method based on SSD algorithm
CN113705375A (zh) 一种船舶航行环境视觉感知设备及方法
CN114858226B (zh) 一种无人机山洪流量测量方法、装置及设备
CN115079168B (zh) 基于激光雷达与毫米波雷达融合的建图方法、装置及设备
CN114782548B (zh) 基于全局图像的雷视数据标定方法、装置、设备及介质
CN114910875A (zh) 一种雷达和相机的联合标定方法、装置及介质
Santos et al. A real-time low-cost marker-based multiple camera tracking solution for virtual reality applications
CN112255604A (zh) 一种雷达数据准确性的判断方法、装置及计算机设备
CN116679314A (zh) 融合点云强度的三维激光雷达同步建图与定位方法及系统
Wu et al. A Review of Non-Contact Water Level Measurement Based on Computer Vision and Radar Technology
CN115830140A (zh) 一种海上近程光电监控方法、系统、介质、设备及终端
CN116934863A (zh) 一种相机外参确定方法、装置及电子设备
Hwang et al. Wave height measurement scheme using wave detector based on convolutional neural network and PPM calculator with ocean wave images
Sulaj et al. Examples of real-time UAV data processing with cloud computing
Serati et al. Digital surface model generation from high-resolution satellite stereo imagery based on structural similarity
Liu et al. A novel depth measurement method for urban flooding based on surveillance video images and a floating ruler
WO2023028823A1 (zh) 雷达的标定方法、装置、终端设备及存储介质
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination