CN114170303A - 雷达和摄像头的联合标定方法、装置、系统、设备及介质 - Google Patents

雷达和摄像头的联合标定方法、装置、系统、设备及介质 Download PDF

Info

Publication number
CN114170303A
CN114170303A CN202111216723.1A CN202111216723A CN114170303A CN 114170303 A CN114170303 A CN 114170303A CN 202111216723 A CN202111216723 A CN 202111216723A CN 114170303 A CN114170303 A CN 114170303A
Authority
CN
China
Prior art keywords
coordinates
image
associated target
road
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111216723.1A
Other languages
English (en)
Inventor
张�成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Genvict Technology Co Ltd
Original Assignee
Shenzhen Genvict Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Genvict Technology Co Ltd filed Critical Shenzhen Genvict Technology Co Ltd
Priority to CN202111216723.1A priority Critical patent/CN114170303A/zh
Publication of CN114170303A publication Critical patent/CN114170303A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及了一种雷达和摄像头的联合标定方法、装置、系统及介质，该联合标定方法包括：获取摄像头实时采集的图像数据，并对图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；根据联合标定集确定坐标变换矩阵，坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。实施本发明的技术方案，大大降低了人力成本和时间成本，而且，提高了联合标定的精度，能够满足大规模部署的要求。

Description

雷达和摄像头的联合标定方法、装置、系统、设备及介质
技术领域
本发明涉及智能交通(Intelligent Transportation System，ITS)领域，尤其涉及一种雷达和摄像头的联合标定方法、装置、系统、设备及介质。
背景技术
随着自动驾驶的单个车辆智能过渡到车辆/车路协同的多智体智能发展中，基于多模式、多场景的物联网前端感知的多源数据融合技术显得越来越重要。其中毫米波雷达与摄像头数据融合被广泛应用，但是毫米波雷达与摄像头的标定精度直接决定了融合数据的质量，是数据融合的关键。
目前在车路协同实际应用中，毫米波雷达与摄像头的联合标定通常需要人工选取标定点及放置标定物，因此，操作复杂，且标定精度不高。
发明内容
本发明要解决的技术问题在于，现有技术存在的操作复杂且标定精度不高的缺陷。
本发明解决其技术问题所采用的技术方案是：构造一种雷达和摄像头的联合标定方法，包括：
第一获取步骤：获取摄像头实时采集的图像数据，并对所述图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；
第二获取步骤：获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；
联合确定步骤：根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；
矩阵确定步骤：根据所述联合标定集确定坐标变换矩阵，所述坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。
优选地，通过以下方式确定关联目标车辆：
在预设时段内，根据所获取的车辆在图像坐标系中的图像坐标，将第一时刻距离摄像头安装位置最近的车辆作为第一目标车辆；
在预设时段内，根据所获取的车辆在道路坐标系中的道路坐标，将第一时刻距离毫米波雷达安装位置最近的车辆作为第二目标车辆，其中，所述摄像头与所述毫米波雷达的安装位置接近；
将所述第一目标车辆及所述第二目标车辆确定为关联目标车辆。
优选地，根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集，包括：
判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件；
若符合所述均匀覆盖条件，则将多个关联目标车辆的图像坐标及道路坐标加入联合标定集；
若不符合所述均匀覆盖条件，则重新执行所述第一获取步骤。
优选地，判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件，包括：
步骤S341.在预先对图像区域所划分的九宫格中，依次确定每个关联目标车辆的图像坐标落入到的宫格；
步骤S342.判断每一宫格是否均落入有关联目标车辆的图像坐标，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件。
优选地，步骤S342包括：
判断每一宫格中落入到的关联目标车辆的数量是否均大于预设值，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件。
优选地，将多个关联目标车辆的图像坐标及道路坐标加入联合标定集，包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，均从中选取N个关联目标车辆的图像坐标，并将所选取的关联目标车辆的图像坐标及所对应的道路坐标加入联合标定集，其中，N为预设值，且大于等于1。
优选地，还包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，将未选中的关联目标车辆的图像坐标及所对应的道路坐标加入测试集，而且，
在所述矩阵确定步骤之后，还包括：
根据所述测试集，对所确定的坐标变换矩阵进行验证，以判断是否满足预设的精度条件；
若满足所述精度条件，则将所确定的坐标变换矩阵作为最终的坐标变换矩阵；
若不满足所述精度条件，则重新执行所述第一获取步骤。
优选地，从中选取N个关联目标车辆的图像坐标，包括：
从中分散选取N个关联目标车辆的图像坐标。
本发明还构造一种雷达和摄像头的联合标定装置，包括：
第一获取模块，用于获取摄像头实时采集的图像数据，并对所述图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；
第二获取模块，用于获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；
联合确定模块，用于根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；
矩阵确定模块，用于根据所述联合标定集确定坐标变换矩阵，所述坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。
本发明还构造一种雷达和摄像头的联合标定系统，包括毫米波雷达、摄像头，还包括以上所述的联合标定装置。
本发明还构造一种计算机设备，包括处理器及存储有计算机程序的存储器，所述处理器在执行所述计算机程序时实现以上所述的联合标定方法。
本发明还构造一种存储介质，存储有计算机程序，所述计算机程序在被处理器执行时实现以上所述的联合标定方法。
本发明所提供的技术方案可在无人干扰情况下实现毫米波雷达和摄像头的全自动化联合标定，相比较于现有的联合标定方法中需要人工选取大量标定点及摆放标定物，具有不需要设置特殊标定物(例如角反射器)、操作简单、标定效率高等优点，大大降低了人力成本和时间成本，而且，由于无人为因素干扰，所以提高了联合标定的精度，能够满足大规模部署的要求，为毫米波雷达和摄像头的数据融合的准确性提供了保障，从而可更快速灵活的搭建该系统，具有一定的社会效益和经济效益。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中：
图1是本发明雷达和摄像头的联合标定方法实施例一的流程图；
图2是本发明雷达和摄像头的联合标定系统实施例一的应用场景图；
图3是本发明雷达和摄像头的联合标定装置实施例一的逻辑结构图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明雷达和摄像头的联合标定方法实施例一的流程图，结合图2所示的场景图，摄像头20与毫米波雷达30均架设在L型电警杆上，且两者近距离安装。摄像头20例如为广角鱼眼摄像头，其拍摄区域为A2，并且根据所拍摄图像的图像平面建立对应的图像坐标系；毫米波雷达30的毫米波覆盖范围为A3，并且根据毫米波雷达检测的道路平面建立对应的道路坐标系。另外，在标定前，还需要调整摄像头20与毫米波雷达30的检测时间同步，以及，通过调整摄像头20与毫米波雷达30的安装角度，使其两者的检测范围尽可能多地重叠。而且，一旦摄像头20与毫米波雷达30的安装角度调整好后，后期使用将不再改变。如果安装角度需要改变，则需要重新进行标定。该实施例的联合标定方法应用于联合标定装置10中，联合标定装置10通过相应的数据线分别与摄像头20及毫米波雷达30相连，且具体包括以下步骤：
第一获取步骤S10：获取摄像头实时采集的图像数据，并对所述图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；
在该步骤中，结合图2，当联合标定装置10从摄像头20获取到所采集的图像数据之后，根据车辆深度学习识别模型(包括但不局限：sequeezenet-ssd、mobilenetv2-ssd、cascade-rcnn、vgg-repulsionloss等)，实时地对图像进行车辆检测识别，依据动态跟踪技术(包括但不限于扩展卡尔曼滤波、最大似然估计等)，确定跟踪后车辆目标位置信息，即，确定车辆在图像坐标系下的图像坐标。
第二获取步骤S20：获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；
在该步骤中，结合图2，当联合标定装置10从毫米波雷达30获取到所检测的车辆距离数据之后，通过分析计算可确定车辆在道路坐标系中的道路坐标。
联合确定步骤S30：根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；
在该步骤中，根据图像检测结果和毫米波雷达检测结果进行融合处理，确定出同一时刻下的关联目标车辆，进而获取该关联目标车辆的图像坐标及道路坐标，即，确定出同一目标车辆分别在图像坐标系及道路坐标系中的坐标。按同样的方法，可确定出一段时间内多个时刻分别所对应的关联目标车辆，进而根据关联目标车辆的图像坐标及道路坐标，确定联合标定集。
矩阵确定步骤S40：根据所述联合标定集确定坐标变换矩阵，所述坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。
在该步骤中，根据联合标定集可确定出坐标变换矩阵，该坐标变换矩阵为单应矩阵(Homography)H，它描述了两个平面之间的映射关系，即，毫米波雷达检测的道路平面(对应道路坐标系)与图像平面(对应图像坐标系)间的映射关系。
该实施例的技术方案在无人干扰情况下，实现了毫米波雷达和摄像头的全自动化联合标定，相比较于现有的联合标定方法中需要人工选取大量标定点及摆放标定物，具有不需要设置特殊标定物(例如角反射器)、操作简单、标定效率高等优点，大大降低了人力成本和时间成本，而且，由于无人为因素干扰，所以提高了联合标定的精度，能够满足大规模部署，为两者的数据融合的准确性提供了保障，从而可更快速灵活的搭建该系统，具有一定的社会效益和经济效益。
进一步地，在一个可选实施例中，联合确定步骤S30可通过以下方式确定关联目标车辆：
在预设时段内，根据所获取的车辆在图像坐标系中的图像坐标，将第一时刻距离摄像头安装位置最近的车辆作为第一目标车辆；
在预设时段内，根据所获取的车辆在道路坐标系中的道路坐标，将第一时刻距离毫米波雷达安装位置最近的车辆作为第二目标车辆，其中，所述摄像头与所述毫米波雷达的安装位置接近；
将所述第一目标车辆及所述第二目标车辆确定为关联目标车辆。
在该实施例中，将同一时刻下图像坐标系中距离摄像头的安装位置最近的目标车辆(第一目标车辆)与道路坐标系中距离毫米波雷达的安装位置最近的目标车辆(第二目标车辆)进行关联，这样，由于距离摄像头和毫米波雷达最近的目标车辆不管在视频覆盖范围内还是毫米波雷达覆盖范围内都不存在遮挡，所以可保证关联目标车辆的准确性，进而保障联合标定的高精度。
进一步地，在一个可选实施例中，联合确定步骤S30中，根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集，具体包括：
判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件；
若符合所述均匀覆盖条件，则将多个关联目标车辆的图像坐标及道路坐标加入联合标定集；
若不符合所述均匀覆盖条件，则重新执行所述第一获取步骤S10。
在该实施例中，为保证所确定的坐标变换矩阵的准确度，可使联合标定集中的多个关联目标车辆在图像坐标系中的位置均匀分散。
进一步地，在一个具体实施例中，判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件，具体包括：
步骤S341.在预先对图像区域所划分的九宫格中，依次确定每个关联目标车辆的图像坐标落入到的宫格；
步骤S342.判断每一宫格是否均落入有关联目标车辆的图像坐标，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件。
在该实施例中，将图像区域(对应视频检测范围区域)划分为九宫格，同时，还可建立与每个宫格对应的存储序列，即，共建立九个存储序列。对于所确定的多个关联目标车辆，可根据多个关联目标车辆的图像坐标，逐个判断每个关联目标车辆的图像坐标落入到九宫格中的哪一宫格，并同步保存到相对应的存储序列中。然后，再判断每一宫格是否均落入有关联目标车辆的图像坐标，若是，则可确定符合预设的均匀覆盖条件，反之，则可确定不符合均匀覆盖条件，继续执行步骤第一获取步骤S10。
进一步地，在一个具体实施例中，步骤S342包括：判断每一宫格中落入到的关联目标车辆的数量是否均大于预设值N，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件，其中，N为预设值，且大于等于1。在该实施例中，为提高联合标定的精度，可增加训练样本数据的数量，即，只有在九宫格中每一宫格所对应的存储序列中的样本数据的数量均大于等于N时，才确定符合预设的均匀覆盖条件，反之，则确定不符合。
进一步地，在一个具体实施例中，将多个关联目标车辆的图像坐标及道路坐标加入联合标定集，具体包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，均从中选取N个关联目标车辆的图像坐标，并将所选取的关联目标车辆的图像坐标及所对应的道路坐标加入联合标定集。
在该实施例中，由于每个存储序列中关联目标车辆的个数不相同，但最少的关联目标车辆的数量也大于等于N，即，九宫格中每一宫格所对应的存储序列中的样本数据的数量均大于等于N，此时，可从每一宫格所对应的存储序列中选取N个关联目标车辆的图像坐标，并将该N个关联目标车辆的图像坐标及道路坐标加入联合标定集，这样，联合标定集中便具有9N个关联目标车辆的数据。另外，预设值N的取值大于1，且N越大，联合标定的精度越高。
进一步地，从中选取N个关联目标车辆的图像坐标，包括：从中分散选取N个关联目标车辆的图像坐标。这样，针对每个宫格所对应的存储序列，在从中选取N个关联目标车辆的图像坐标时，可分散选取，以进一步保证训练样本数据均匀覆盖图像检测区域。
进一步地，在一个可选实施例中，还包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，将未选中的关联目标车辆的图像坐标及所对应的道路坐标加入测试集，而且，
在所述矩阵确定步骤之后，还包括：
根据所述测试集，对所确定的坐标变换矩阵进行验证，以判断是否满足预设的精度条件；
若满足所述精度条件，则将所确定的坐标变换矩阵作为最终的坐标变换矩阵；
若不满足所述精度条件，则重新执行所述第一获取步骤。
在该实施例中，当某一宫格所对应的存储序列中的关联目标车辆的数量大于N时，除了选取并加入到联合标定集的N个关联目标车辆的数据外，可将其余的关联目标车辆的数据加入到测试集。而且，在根据联合标定集确定出坐标变换矩阵之后，再利用测试集对坐标变换矩阵进行验证其联合标定精度。当联合标定精度满足要求时，结束标定。当联合标定精度没有满足时，继续进行数据采集、联合标定与验证工作。
在一个可选实施例中，矩阵确定步骤S30可根据以下方式来确定确定坐标变换矩阵：
首先，关于坐标变换矩阵H，又称为单应矩阵(Homography)，其用于表征道路坐标系与图像坐标系之间的映射关系，而且，H是一个3x3的矩阵，可以乘以任意非零常数，具体如下所示：
Figure BDA0003310947460000101
其中，(u1,v1)为图像坐标系下关联目标车辆的图像坐标，(u2,v2)为道路坐标系下关联目标车辆的道路坐标。
在上式中，令h9为非零值，该实施例以h9＝1为例，上式可变换为：
h1u1+h2v1+h3-h7u1u2-h8v1u2＝u2
h4u1+h5v1+h6-h7u1v2-h8v1v2＝v2
进一步整理可得：
Figure BDA0003310947460000111
Figure BDA0003310947460000112
由于联合标定集合中有n(n＝9N，且n≥9)个关联目标车辆的数据，所以可得：
Figure BDA0003310947460000113
根据以上公式，可计算出h1、h2、h3、h4、h5、h6、h7、h8的值，即，可确定出坐标变换矩阵H，然后输出该坐标变换矩阵H，从而完成联合标定。
图3是本发明雷达和摄像头的联合标定装置实施例一的逻辑结构图，该实施例的联合标定装置包括：第一获取模块11、第二获取模块12、联合确定模块13和矩阵确定模块14，其中，第一获取模块11用于获取摄像头实时采集的图像数据，并对所述图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；第二获取模块12用于获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；联合确定模块13用于根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；矩阵确定模块14用于根据所述联合标定集确定坐标变换矩阵，所述坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。
本发明还构造一种雷达和摄像头的联合标定系统，结合图2，该联合标定系统包括毫米波雷达30、摄像头20及分别与毫米波雷达30、摄像头20相连的联合标定装置10，该联合标定装置10的逻辑结构可参照前文所述，在此不做赘述。应理解，在其它实施例中，摄像头20的类型并不限于广角鱼眼摄像头；毫米波雷达30和摄像头20的安装方式也不局限于安装在L型电警杆上，例如，也可安装于龙门架上；联合标定装置10可为工控机，且其可通过多种通讯方式与毫米波雷达30、摄像头20相连。
本发明还构造一种计算机设备，包括处理器及存储有计算机程序的存储器，该处理器在执行该计算机程序时实现以上所述的联合标定方法。
图4是本发明计算机设备实施例一的结构图，该实施例的计算机设备400可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备400包括通过系统总线401连接的处理器402、存储器和网络接口405，其中，存储器可以包括非易失性存储介质403和内存储器404。
该非易失性存储介质403可存储操作系统4031和计算机程序4032。该计算机程序4032包括程序指令，该程序指令被执行时，可使得处理器402执行上述雷达和摄像头的联合标定方法。
该处理器402用于提供计算和控制能力，以支撑整个计算机设备400的运行。
该内存储器404为非易失性存储介质403中的计算机程序4032的运行提供环境，该计算机程序4032被处理器402执行时，可使得处理器402执行上述雷达和摄像头的联合标定方法。
该网络接口405用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备400的限定，具体的计算机设备400可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器402用于运行存储在存储器中的计算机程序4032，以实现如下步骤：
在一实施例中，处理器402在实现上述雷达和摄像头的联合标定方法时，具体实现如下步骤：
第一获取步骤：获取摄像头实时采集的图像数据，并对所述图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；
第二获取步骤：获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；
联合确定步骤：根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；
矩阵确定步骤：根据所述联合标定集确定坐标变换矩阵，所述坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。
在一实施例中，处理器502在实现上述雷达和摄像头的联合标定方法时，具体通过以下方式确定关联目标车辆：
在预设时段内，根据所获取的车辆在图像坐标系中的图像坐标，将第一时刻距离摄像头安装位置最近的车辆作为第一目标车辆；
在预设时段内，根据所获取的车辆在道路坐标系中的道路坐标，将第一时刻距离毫米波雷达安装位置最近的车辆作为第二目标车辆，其中，所述摄像头与所述毫米波雷达的安装位置接近；
将所述第一目标车辆及所述第二目标车辆确定为关联目标车辆。
在一实施例中，处理器502在实现上述雷达和摄像头的联合标定方法时，根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集，具体包括：
判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件；
若符合所述均匀覆盖条件，则将多个关联目标车辆的图像坐标及道路坐标加入联合标定集；
若不符合所述均匀覆盖条件，则重新执行所述第一获取步骤。
在一实施例中，处理器502在实现上述雷达和摄像头的联合标定方法时，判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件，具体包括：
步骤S341.在预先对图像区域所划分的九宫格中，依次确定每个关联目标车辆的图像坐标落入到的宫格；
步骤S342.判断每一宫格是否均落入有关联目标车辆的图像坐标，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件。
在一实施例中，处理器502在实现上述雷达和摄像头的联合标定方法时，步骤S342具体包括：
判断每一宫格中落入到的关联目标车辆的数量是否均大于预设值，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件。
在一实施例中，处理器502在实现上述雷达和摄像头的联合标定方法时，将多个关联目标车辆的图像坐标及道路坐标加入联合标定集，具体包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，均从中选取N个关联目标车辆的图像坐标，并将所选取的关联目标车辆的图像坐标及所对应的道路坐标加入联合标定集，其中，N为预设值，且大于等于1。
在一实施例中，处理器502在实现上述雷达和摄像头的联合标定方法时，还包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，将未选中的关联目标车辆的图像坐标及所对应的道路坐标加入测试集，而且，
在所述矩阵确定步骤之后，还包括：
根据所述测试集，对所确定的坐标变换矩阵进行验证，以判断是否满足预设的精度条件；
若满足所述精度条件，则将所确定的坐标变换矩阵作为最终的坐标变换矩阵；
若不满足所述精度条件，则重新执行所述第一获取步骤。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明还构造一种存储介质，存储有计算机程序，该计算机程序在被处理器执行时实现以上所述的联合标定方法。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何纂改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (12)

1.一种雷达和摄像头的联合标定方法，其特征在于，包括：
第一获取步骤：获取摄像头实时采集的图像数据，并对所述图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；
第二获取步骤：获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；
联合确定步骤：根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；
矩阵确定步骤：根据所述联合标定集确定坐标变换矩阵，所述坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。
2.根据权利要求1所述的雷达和摄像头的联合标定方法，其特征在于，通过以下方式确定关联目标车辆：
在预设时段内，根据所获取的车辆在图像坐标系中的图像坐标，将第一时刻距离摄像头安装位置最近的车辆作为第一目标车辆；
在预设时段内，根据所获取的车辆在道路坐标系中的道路坐标，将第一时刻距离毫米波雷达安装位置最近的车辆作为第二目标车辆，其中，所述摄像头与所述毫米波雷达的安装位置接近；
将所述第一目标车辆及所述第二目标车辆确定为关联目标车辆。
3.根据权利要求1所述的雷达和摄像头的联合标定方法，其特征在于，根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集，包括：
判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件；
若符合所述均匀覆盖条件，则将多个关联目标车辆的图像坐标及道路坐标加入联合标定集；
若不符合所述均匀覆盖条件，则重新执行所述第一获取步骤。
4.根据权利要求3所述的雷达和摄像头的联合标定方法，其特征在于，判断多个关联目标车辆的图像坐标是否符合预设的均匀覆盖条件，包括：
步骤S341.在预先对图像区域所划分的九宫格中，依次确定每个关联目标车辆的图像坐标落入到的宫格；
步骤S342.判断每一宫格是否均落入有关联目标车辆的图像坐标，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件。
5.根据权利要求4所述的雷达和摄像头的联合标定方法，其特征在于，步骤S342包括：
判断每一宫格中落入到的关联目标车辆的数量是否均大于预设值，若是，则确定符合预设的均匀覆盖条件；若否，则确定不符合预设的均匀覆盖条件。
6.根据权利要求5所述的雷达和摄像头的联合标定方法，其特征在于，将多个关联目标车辆的图像坐标及道路坐标加入联合标定集，包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，均从中选取N个关联目标车辆的图像坐标，并将所选取的关联目标车辆的图像坐标及所对应的道路坐标加入联合标定集，其中，N为预设值，且大于等于1。
7.根据权利要求6所述的雷达和摄像头的联合标定方法，其特征在于，还包括：
针对落入到每一宫格中的多个关联目标车辆的图像坐标，将未选中的关联目标车辆的图像坐标及所对应的道路坐标加入测试集，而且，
在所述矩阵确定步骤之后，还包括：
根据所述测试集，对所确定的坐标变换矩阵进行验证，以判断是否满足预设的精度条件；
若满足所述精度条件，则将所确定的坐标变换矩阵作为最终的坐标变换矩阵；
若不满足所述精度条件，则重新执行所述第一获取步骤。
8.根据权利要求6所述的雷达和摄像头的联合标定方法，其特征在于，从中选取N个关联目标车辆的图像坐标，包括：
从中分散选取N个关联目标车辆的图像坐标。
9.一种雷达和摄像头的联合标定装置，其特征在于，包括：
第一获取模块，用于获取摄像头实时采集的图像数据，并对所述图像数据进行车辆检测识别及获取车辆在图像坐标系中的图像坐标；
第二获取模块，用于获取毫米波雷达实时检测的车辆距离数据，并获取车辆在道路坐标系中的道路坐标；
联合确定模块，用于根据预设时段内多个车辆的图像坐标及道路坐标，确定出不同时刻的关联目标车辆，并根据多个关联目标车辆的图像坐标及道路坐标确定联合标定集；
矩阵确定模块，用于根据所述联合标定集确定坐标变换矩阵，所述坐标变换矩阵用于表征道路坐标系与图像坐标系之间的映射关系。
10.一种雷达和摄像头的联合标定系统，包括毫米波雷达、摄像头，其特征在于，还包括权利要求9所述的联合标定装置。
11.一种计算机设备，包括处理器及存储有计算机程序的存储器，其特征在于，所述处理器在执行所述计算机程序时实现权利要求1-8任一项所述的联合标定方法。
12.一种存储介质，存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求1-8任一项所述的联合标定方法。
CN202111216723.1A 2021-10-19 2021-10-19 雷达和摄像头的联合标定方法、装置、系统、设备及介质 Pending CN114170303A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111216723.1A CN114170303A (zh) 2021-10-19 2021-10-19 雷达和摄像头的联合标定方法、装置、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111216723.1A CN114170303A (zh) 2021-10-19 2021-10-19 雷达和摄像头的联合标定方法、装置、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN114170303A true CN114170303A (zh) 2022-03-11

Family

ID=80476918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111216723.1A Pending CN114170303A (zh) 2021-10-19 2021-10-19 雷达和摄像头的联合标定方法、装置、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN114170303A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782548A (zh) * 2022-04-20 2022-07-22 深圳市旗扬特种装备技术工程有限公司 基于全局图像的雷视数据标定方法、装置、设备及介质
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法
CN117784121A (zh) * 2024-02-23 2024-03-29 四川天府新区北理工创新装备研究院 一种路侧传感器联合标定方法、系统及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782548A (zh) * 2022-04-20 2022-07-22 深圳市旗扬特种装备技术工程有限公司 基于全局图像的雷视数据标定方法、装置、设备及介质
CN114782548B (zh) * 2022-04-20 2024-03-29 深圳市旗扬特种装备技术工程有限公司 基于全局图像的雷视数据标定方法、装置、设备及介质
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法
CN117784121A (zh) * 2024-02-23 2024-03-29 四川天府新区北理工创新装备研究院 一种路侧传感器联合标定方法、系统及电子设备

Similar Documents

Publication Publication Date Title
US11422261B2 (en) Robot relocalization method and apparatus and robot using the same
CN111310775B (zh) 数据训练方法、装置、终端设备及计算机可读存储介质
CN108898086B (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN109188457B (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
Zhao et al. Vision-based anti-uav detection and tracking
US20200334457A1 (en) Image recognition method and apparatus
CN110850872A (zh) 机器人巡检方法、装置、计算机可读存储介质及机器人
US10726580B2 (en) Method and device for calibration
CN114170303A (zh) 雷达和摄像头的联合标定方法、装置、系统、设备及介质
CN112164032B (zh) 一种点胶方法、装置、电子设备及存储介质
CN112561948B (zh) 基于时空轨迹的伴随轨迹识别方法、设备及存储介质
CN110632582B (zh) 声源定位方法、装置及存储介质
CN111612822B (zh) 对象跟踪方法、装置、计算机设备和存储介质
US11435289B2 (en) Optical distortion measuring apparatus and optical distortion measuring method, image processing system, electronic apparatus and display apparatus
CN112085056B (zh) 目标检测模型生成方法、装置、设备及存储介质
CN111062400B (zh) 目标匹配方法及装置
US20230214989A1 (en) Defect detection method, electronic device and readable storage medium
CN113744348A (zh) 一种参数标定方法、装置及雷视融合检测设备
CN111507204A (zh) 倒计时信号灯的检测方法、装置、电子设备及存储介质
CN115616937A (zh) 自动驾驶仿真测试方法、装置、设备和计算机可读介质
US11034028B2 (en) Pose determining method for mobile robot and apparatus and mobile robot thereof
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
US20230401670A1 (en) Multi-scale autoencoder generation method, electronic device and readable storage medium
CN114897987A (zh) 一种确定车辆地面投影的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination