CN112017250B - 标定参数确定方法、装置、雷视设备和雷球接力系统 - Google Patents

标定参数确定方法、装置、雷视设备和雷球接力系统 Download PDF

Info

Publication number
CN112017250B
CN112017250B CN202010898994.9A CN202010898994A CN112017250B CN 112017250 B CN112017250 B CN 112017250B CN 202010898994 A CN202010898994 A CN 202010898994A CN 112017250 B CN112017250 B CN 112017250B
Authority
CN
China
Prior art keywords
radar
target
coordinate
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010898994.9A
Other languages
English (en)
Other versions
CN112017250A (zh
Inventor
汤琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010898994.9A priority Critical patent/CN112017250B/zh
Publication of CN112017250A publication Critical patent/CN112017250A/zh
Application granted granted Critical
Publication of CN112017250B publication Critical patent/CN112017250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供了一种标定参数确定方法、装置、雷视设备和雷球接力系统。该标定参数确定方法，包括：获取雷达采集的多个监控对象的雷达数据以及相机采集的多个探测对象的图像数据；从多个监控对象中选取出目标监控对象，基于目标监控对象的雷达数据和多个探测对象的图像数据，从多个探测对象中选取与目标监控对象对应的目标探测对象；从目标对象的图像数据和雷达数据中选取出多个坐标对；针对每个坐标对，包括目标对象在雷达的雷达坐标系下的雷达坐标和目标对象在相机的图像坐标系下的图像坐标，且雷达采集该雷达坐标的时刻与相机采集该图像坐标的时刻相同；依据多个坐标对确定出用于对雷达的雷达坐标与相机的图像坐标进行转换的单应性矩阵。

Description

标定参数确定方法、装置、雷视设备和雷球接力系统
技术领域
本申请涉及智能交通技术，特别涉及标定参数确定方法、装置、雷视设备和雷球接力系统。
背景技术
目前，雷达虽然可以较为准确的对监控对象进行定位，但却不能直观的获取监控对象的外部特征。同样的，相机虽然可以准确的获取监控对象的外部特征，但却无法准确的对监控对象进行定位。因此，在实际应用时，通常会同时使用雷达与相机来分别的获取监控对象的不同信息，以使获取的信息更为全面。
但是，由于雷达与相机的架设位置和视场范围的不同，导致雷达与相机需先经过标定，才能使两者获取的信息建立关联。通常，在对雷达和相机进行标定时，需要人为的在雷达和相机的重叠视场内布置封闭的标定场景并设置标定参照物以进行标定。但是，上述人为设置标定场景和标定参照物来进行标定的方法，在存在有车辆通行需求的真实道路中则难以实施。
发明内容
本申请提供了一种标定参数确定方法、装置、雷视设备和雷球接力系统，用以在无需人为布置标定场景以及设置标定参照物的前提下，自动的实现雷视设备中雷达和相机间的标定。
本申请提供的技术方案包括：
根据本申请的第一方面，提供一种标定参数确定方法，该方法应用于雷视设备，所述雷视设备包括相机和雷达，所述相机和所述雷达具有重叠视场，该方法包括：
获取所述雷达在所述重叠视场内采集的多个监控对象的雷达数据；
获取所述相机在所述重叠视场内采集的多个探测对象的图像数据；
从所述多个监控对象中选取出目标监控对象，基于所述目标监控对象的雷达数据和所述多个探测对象的图像数据，从所述多个探测对象中选取与所述目标监控对象对应的目标探测对象，并确定所述目标监控对象和所述目标探测对象是所述雷达和所述相机同时探测到的同一目标对象；
从所述目标对象的图像数据和雷达数据中选取出多个坐标对；针对每个坐标对，包括所述目标对象在所述雷达的雷达坐标系下的雷达坐标和所述目标对象在所述相机的图像坐标系下的图像坐标，且所述雷达采集该雷达坐标的时刻与所述相机采集该图像坐标的时刻相同；
依据所述多个坐标对确定出用于对所述雷达的雷达坐标与所述相机的图像坐标进行转换的单应性矩阵。
根据本申请的第二方面，提供一种标定参数确定装置，应用于雷视设备，所述雷视设备包括相机和雷达，所述相机和所述雷达具有重叠视场，该装置包括：
数据获取单元，用于获取所述雷达在所述重叠视场内采集的多个监控对象的雷达数据，以及所述相机在所述重叠视场内采集的多个探测对象的图像数据；
目标匹配单元，用于从所述多个监控对象中选取出目标监控对象，基于所述目标监控对象的雷达数据和所述多个探测对象的图像数据，从所述多个探测对象中选取与所述目标监控对象对应的目标探测对象，并确定所述目标监控对象和所述目标探测对象是所述雷达和所述相机同时探测到的同一目标对象；
坐标对选取单元，用于从所述目标对象的图像数据和雷达数据中选取出多个坐标对；针对每个坐标对，包括所述目标对象在所述雷达的雷达坐标系下的雷达坐标和所述目标对象在所述相机的图像坐标系下的图像坐标，且所述雷达采集该雷达坐标的时刻与所述相机采集该图像坐标的时刻相同；
矩阵确定单元，用于依据所述多个坐标对确定出用于对所述雷达的雷达坐标与所述相机的图像坐标进行转换的单应性矩阵。
根据本申请的第三方面，提供一种雷球接力系统，该系统包括：多个雷视设备和球机；任何一个雷视设备按照上述的标定参数确定方法确定用于对该雷视设备中雷达的雷达坐标与该雷视设备中相机的图像坐标进行转换的单应性矩阵。
根据本申请的第四方面，提供一种雷视设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现上述的标定参数确定方法。
由以上技术方案可以看出，本申请中，由于能够从相机探测到的多个探测对象中确定出与雷达探测到的目标监控对象相对应的目标探测对象(即目标监控对象和目标探测对象是雷达和相机同时探测到的同一目标对象)，进而能够从该目标对象的图像数据和雷达数据中选取出多个坐标对，并依据该多个坐标对确定出用于对雷达的雷达坐标与相机的图像坐标进行转换的单应性矩阵，这实现了在无需人为布置标定场景，也无需人为设置标定参照物的前提下的相机和雷达间的自动标定，使得雷达和相机的标定过程不再受标定环境的限制，提高了雷达和相机标定过程的易用性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的雷视设备的重叠视场的示意图；
图2为本申请实施例提供的标定参数确定方法的流程图；
图3为本申请实施例提供的目标探测对象的确定流程图；
图4为本申请实施例提供的单应性矩阵的校验流程图；
图5为本申请实施例提供的单应性矩阵的置信度的确定流程图
图6为本申请实施例提供的标定参数确定装置的结构示意图；
图7为本申请提供的标定参数确定装置所在雷视设备的一种硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的，本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”，“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一，第二，第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本申请的描述更清楚简洁，下面对本申请中的一些技术术语进行解释：
雷视设备：雷视设备是由一台雷达和一台相机构成的监控设备，雷视设备中的相机包括但不局限于摄像机，摄像机包括网络摄像机IPC、相机、双目相机、鱼眼相机、球机等，雷达包括但不局限于毫米波雷达和激光雷达等，雷视设备中的相机和雷达对准同一监控场景。雷达可以获得该监控场景内目标的距离、速度、方位等信息，相机则可以获得该监控场景内目标的图像信息。雷视设备中的相机和雷达可以是一体结构，也可以非一体结构。雷达和相机可以同向安装，也可以对向安装，但要保证监控场景能同时在相机和雷达的视场内。通常来说，雷达的有效探测范围要大于相机的有效探测范围。图1示例性示出了一个由相机A和雷达A构成的雷视设备A，该相机A的监控视场A与雷达A的监控视场A的重叠视场作为该雷视设备A的探测范围。
雷达：基于雷达原理对目标进行探测的设备，能够探测目标对象的位置，距离和方位，如激光雷达，毫米波雷达等。
下面对本申请实施例提供的单应性矩阵确定方法进行详细说明：
请参见图2，为本申请实施例提供的一种单应性矩阵确定方法的流程图。图2所示流程的执行主体可以是电子设备。在一个例子中，这里的电子设备可为指定区域内安装的某一雷视设备，该雷视设备可以包括相机和雷达，该相机和该雷达具有重叠视场。可选地，这里的指定区域可以是用于供车辆通行的道路，学校或公园等区域，下文不再一一说明。
如图2所示，该流程可包括以下步骤：
步骤101，获取雷视设备中的雷达在重叠视场内采集的多个监控对象的雷达数据。
当任一监控对象进入上述雷视设备中雷达与相机的重叠视场(即雷视设备的探测范围)时，由于目标对象会对雷达所发射的无线电波进行散射，因此雷达会接收到目标对象在上述重叠视场内移动过程中所散射的散射回波，即雷达信号。之后，该雷达可以将所获得的雷达信号转换至自身的雷达坐标系，进而获得该监控对象在上述重叠视场内的雷达数据(该监控对象的雷达数据至少包括该监控对象在该雷达的雷达坐标系下的雷达坐标和该雷达坐标的采集时刻)。
可选的，上述雷达的雷达坐标系可通过以下方式构建：以该雷达所在位置为坐标原点，以指向该雷达右侧方向为X轴正方向，以指向该雷达正前方方向为Y轴正方向构建出雷达坐标系。
在实际应用中，雷达在每一时刻所接收到的散射回波，其在雷达坐标系中实际体现为由许多坐标所构成的点云。为了能够方便的获得监控对象在上述雷达坐标系下的坐标，可以从每一时刻获得的点云中仅选取出一个能够表征监控对象的坐标作为该采集时间点采集到的该监控对象的坐标。例如，可以按预设的聚类算法对任一时刻采集到的点云进行聚类处理，以在聚类处理后得到用于表征监控对象的一个坐标。又例如，可以固定的在任一时刻采集到的点云中选择具有最大X轴坐标或最大Y轴坐标的坐标作为用于表征监控对象的坐标。当然，还可以通过其它方式在点云中选择出坐标，本申请对此不作限定。
在本申请实施例中，监控对象的具体对象类型可以根据实际情况来设定，本申请对此并不具体限定，但需保证该监控对象是移动的对象，而不能是静止的对象。基于此，为了避免雷达将重叠视场内的静止对象如广告牌、路标、或静止的车辆、行人等当作监控对象，进而采集该对象的雷达数据并用于后续步骤的执行，可以对该雷达在重叠视场内采集的任一对象的雷达数据进行筛选。
可选的，本步骤101获取雷视设备中的雷达在重叠视场内采集的多个监控对象的雷达数据可以包括：获取雷达在重叠视场内采集的任一对象的雷达数据，雷达数据包括对象在雷达的雷达坐标系中的多个雷达坐标；基于该多个雷达坐标生成该对象对应的运动轨迹；若该运动轨迹的轨迹长度大于预设的第一预设阈值，则将该对象的雷达数据确定为监控对象的雷达数据。这样，可以过滤掉静止的目标并避免雷达的误检。
示例性的，若选择监控对象的对象类型为机动车，由于机动车的行驶路线通常为直线，因此可以在上述利用轨迹长度过滤掉静止目标的前提下，进一步判断上述的运动轨迹的轨迹方向是否始终保持一致，并在判断结果为是的情况下，将该对象的雷达数据确定为监控对象的雷达数据。
需要说明的是，上述的第一预设阈值可以根据实际情况设置，本申请对此不做限定。
在一个例子中，本申请实施例中的雷视设备由一枪机和一毫米波雷达构成。其中，毫米波雷达：是工作在毫米波波段(millimeter wave)探测的雷达。毫米波是指30～300GHz频域(波长为1～10mm)的，但通常24GHz的雷达也认为是毫米波雷达。
步骤102，获取雷视设备中相机在重叠视场内采集的多个探测对象的图像数据。
当任一探测对象进入上述雷视设备中雷达与相机的重叠视场(即雷视设备的探测范围)时，该雷视设备中的相机便可采集到该监控对象在重叠视场内的视频流，并基于预先配置的识别算法从采集的视频流中识别出该监控对象。这里，可根据监控对象的类型不同，相应的在相机中配置不同的识别算法。例如，当监控对象为车辆时，可预先在雷视设备的相机中配置车辆识别算法，使相机可基于该车辆识别算法从视频流中识别出车辆。而当监控对象为行人时，可预先在雷视设备的相机中配置行人识别算法，使该相机可基于该行人识别算法从视频流中识别出行人。
需要说明的是，监控对象的具体类型可根据实际情况设置，相应的，配置于相机中与监控对象的具体类型相适配的识别算法也可根据实际情况设置，例如采用已有的相关算法，也可以采用深度学习进行图像中目标的类型识别，本申请对此并不限定。
当雷视设备中的相机从视频流中识别出探测对象后，会在前述的识别算法基础上结合预先配置的跟踪算法，从采集到的视频流中获取该探测对象在重叠视场内的图像数据(该探测对象的图像数据包括：该探测对象在相机的图像坐标系中的图像坐标和该图像坐标的采集时刻)。
可选的，上述相机的图像坐标系可以通过以下方式构建：以相机的显示画面的左上角顶点作为坐标原点，以水平向右为X轴正方向，以垂直向下为Y轴负方向构建出图像坐标系。
在实际应用中，由于在每一时间点，探测对象在上述的图像坐标系中均投影为一个包含多个坐标的坐标区域。因此，为了方便的获得探测对象在图像坐标系下的坐标，可以从每一时刻的坐标区域中仅选取一个坐标作为表征该探测对象的坐标。例如，可以基于探测对象投影在图像坐标系中的坐标区域的区域边缘外接出一个矩形框，并选择该矩形框下边缘的中点所对应的坐标的作为表征该探测对象的坐标。当然，还可以通过其它方式在上述坐标区域中选取出用于表征该探测对象的坐标，本申请对此不作限定。
在本申请实施例中，为了避免相机将重叠视场内的静止对象如广告牌、路标、或静止的车辆、行人等当作探测对象，进而采集该对象的图像数据并用于后续步骤的执行，可以对该相机在重叠视场内采集的任一对象的图像数据进行筛选。
可选的，本步骤102中获取相机在重叠视场内采集的多个探测对象的图像数据可以包括：获取相机在重叠视场内采集的任一对象的图像数据，图像数据包括对象在相机的图像坐标系下的多个相机坐标；基于多个相机坐标生成对象对应的运动轨迹；若运动轨迹的轨迹长度大于预设的第二预设阈值，则将对象的图像数据确定为探测对象的图像数据。
示例性的，若选择探测对象的对象类型为机动车，由于机动车的行驶路线通常为直线，因此可以在上述利用轨迹长度过滤掉静止目标的前提下，进一步判断上述的运动轨迹的轨迹方向是否始终保持一致，并在判断结果为是的情况下，将该对象的图像数据确定为探测对象的图像数据。
需要说明的是，上述的第二预设阈值可以根据实际情况设置，本申请对此不做限定。
步骤103，从多个监控对象中选取出目标监控对象，基于目标监控对象的雷达数据和多个探测对象的图像数据，从多个探测对象中选取与目标监控对象对应的目标探测对象，并确定目标监控对象和目标探测对象是雷达和相机同时探测到的同一目标对象。
在本步骤103中，目标监控对象可以是多个监控对象中的任意一个监控对象，当然也不排除使用本方法来确定出指定的监控对象，并基于指定的监控对象的探测数据和监控数据进行坐标转换矩阵的标定。
在本申请实施例中，基于目标监控对象的雷达数据和多个探测对象的图像数据，从多个探测对象中选取与目标监控对象对应的目标探测对象有多种实现方式，下文会结合图3所示流程，对其中一种实现方式进行详细描述，这里暂不赘述。
步骤104，从目标对象的图像数据和雷达数据中选取出多个坐标对；针对每个坐标对，包括目标对象在雷达的雷达坐标系下的雷达坐标和目标对象在相机的图像坐标系下的图像坐标，且雷达采集该雷达坐标的时刻与相机采集该图像坐标的时刻相同。其中，选取出的多个坐标对为匹配坐标对，匹配坐标对的数量至少是4个。
在一种可能的实现方式中，若目标对象的图像数据中的各图像坐标不共线(即基于各图像坐标所生成的运动轨迹不为直线)、且目标对象的雷达数据中的各雷达坐标也不共线(即基于各雷达坐标所生成的运动轨迹不为直线)，则可以在该目标对象的图像数据和雷达数据中选取多个匹配的坐标对。
例如，当雷视设备中相机与雷达的重叠视场为真实道路中的弯道，且监控对象和探测对象的对象类型均为机动车时，由于机动车需按车道行驶，因此雷视设备中相机采集到的目标探测对象的图像坐标所构成的运动轨迹为曲线，即目标探测对象的图像坐标不共线。同样的，雷视设备中雷达采集到的目标监控对象的雷达坐标所构成的运动轨迹也为曲线，即目标监控对象的雷达坐标不共线。这也意味着，在上述的雷视设备的布设方式下，目标对象的图像数据中的各图像坐标是不共线的、且该目标对象的雷达数据中的各雷达坐标也是不共线的。
在另一种可能的实现方式中，若目标对象的图像数据中的各图像坐标共线、且该目标对象的雷达数据中的各雷达坐标也共线，则需要先获得至少两个目标对象的雷达数据和图像数据，且至少两个目标对象中的第一目标对象的图像坐标与至少两个目标对象中的第二目标对象的图像坐标不共线、且第一目标对象的雷达坐标与第二目标对象的雷达也不共线。之后，再针对上述至少两个目标对象中的每一目标对象，从该目标对象的雷达数据和图像数据中选取出至少一个坐标对，以选取出多个坐标对。在本实现方式下，可基于第一目标对象的雷达坐标或图像坐标生成运动轨迹(记为运动轨迹1)，基于第二目标对象的雷达坐标或图像坐标生成运动轨迹(记为运动轨迹2)。若运动轨迹1和运动轨迹2的间距大于预设的间距，则可确定第一目标对象的图像坐标与第二目标对象的图像坐标不共线、且第一目标对象的雷达坐标与第二目标对象的雷达也不共线。
例如，当雷视设备中相机与雷达的重叠视场为真实道路中的直道，且监控对象和探测对象的对象类型均为机动车时，由于机动车需按车道行驶，因此雷视设备中相机采集到的目标探测对象的图像坐标所构成的运动轨迹是直线，即目标探测对象的各图像坐标共线。同样的，雷视设备中雷达采集到的目标监控对象的雷达坐标所构成的运动轨迹也是直线，即目标监控对象的雷达坐标也是共线的。这也意味着，在上述的雷视设备的布设方式下，目标对象的图像数据中的各图像坐标是共线的、且该目标对象的雷达数据中的各雷达坐标也是共线的。
在本步骤104中，从目标对象的图像数据和雷达数据中选取出多个坐标对时，可以根据目标对象的雷达数据中各雷达坐标的采集时刻和该目标对象的图像数据中各图像坐标的采集时刻来选取坐标对。
可选的，在选取目标对象的任意一个坐标对时，可以首先在该目标对象的雷达数据中选择出一个雷达坐标。之后，依据选择出的该雷达坐标的采集时刻，在该目标对象的图像数据中选取相机在该采集时刻所采集的图像坐标，进而将选取出的该图像坐标与前述选取出的雷达坐标组成一个坐标对。当然，也可以在该目标对象的图像数据中选择出一个图像坐标，进而利用该图像坐标的采集时刻选取出雷达在该采集时刻采集的雷达坐标，以组成一个坐标对。
步骤105，依据多个坐标对确定出用于对雷达的雷达坐标与相机的图像坐标进行转换的单应性矩阵。
在本申请实施例中，上述步骤104中所选取出的多个坐标对中的雷达坐标分别为(X1,Y1)，(X2,Y2)，(X3,Y3)，(X4,Y4)…(Xi,Yi)，多个坐标对中的图像坐标分别为(X1',Y1')，(X2',Y2')，(X3',Y3')，(X4',Y4')…(Xi',Yi')。
为了求解得到单应性矩阵，可以基于上述步骤104选取出的多个坐标对构建出如下B＝Ax形式的齐次方程组：
齐次方程组
在上述齐次方程组中，系数矩阵T是由上述选择出的至少4个坐标对中的雷达坐标和图像坐标按照既定方式组合而成，待求解的系数矩阵T则为待求解的单应性矩阵，那么，通过对上述齐次方程组进行求解，即可得到待求解的单应性矩阵。
在求解上述齐次方程组的过程中，可以用到下述公式(一)与公式(二)，本领域技术人员可以通过上述齐次方程组并结合数学概念，得到该公式(一)与公式(二)：
基于上述公式(一)和公式(二)可知，基于一个坐标对，即可求解出两个矩阵系数，那么，基于至少4个坐标对，便可求解出一个单应性矩阵。将上述步骤104中选取出的多个坐标对带入上述的公式(一)和公式(二)，便可得到用于对雷达的雷达坐标与相机的图像坐标进行转换的单应性矩阵。
再例如，对于二坐标雷达的坐标x，y以及图像坐标u,v，有如下关系式：
T是一个3×3的矩阵，也就是要求解的单应性变换矩阵，9个未知数可以通过以下变换变为8个，以x，y变换到u为例：
通过以上的变换，我们可以把t33固定为1，剩下的8个未知数通过前述选取的坐标对来拟合，由于每一个坐标对能提供2组方程，所以至少需要4个坐标对来求解出上述矩阵中的8个未知数。设我们有n≥4个目标雷达坐标(x1 y1)…(xn yn)以及对应的n个图像坐标(u1 v1)…(un vn)，记Ti＝[ti1 ti2 ti3]′，U＝[u1 u2 … un]，V＝[v1 v2 … vn]，In×1＝[1 1… 1]，以及则转换矩阵T＝[T1′ T2′ T′3]'可以通过以下公式计算获得，其中上标“T”代表转置，上标“-1”代表逆矩阵：
T1＝(PTP)-1PTU
T2＝(PTP)-1PTV
T3＝(PTP)-1PTIn×1
将前述选取的坐标对带入上述的公式即可求解出矩阵T，即求解出待求解的单应性矩阵。
至此，完成图2所示流程。
由以上技术方案可以看出，本申请中，由于能够从相机探测到的多个探测对象中确定出与雷达探测到的目标监控对象相对应的目标探测对象(即目标监控对象和目标探测对象是雷达和相机同时探测到的同一目标对象)，进而能够从该目标对象的图像数据和雷达数据中选取出多个坐标对，并依据该多个坐标对确定出用于对雷达的雷达坐标与相机的图像坐标进行转换的单应性矩阵，这实现了在无需人为布置标定场景，也无需人为设置标定参照物的前提下的相机和雷达间的自动标定，使得雷达和相机的标定过程不再受标定环境的限制，提高了雷达和相机标定过程的易用性。
下面对上述步骤103中如何基于目标监控对象的雷达数据和多个探测对象的图像数据，从多个探测对象中选取与目标监控对象对应的目标探测对象进行详细描述：
参见图3，图3为本申请实施例提供的目标探测对象的确定流程图，该流程可以包括：
步骤201，基于目标监控对象的雷达数据中的雷达坐标确定出第一轨迹方向，基于目标监控对象的雷达数据中的采集时刻确定出第一时间区间。
示例性的，在本步骤201中，首先可基于目标监控对象的雷达数据中的雷达坐标生成第一运动轨迹，之后再基于该第一运动轨迹确定出第一轨迹方向。
可选的，在确定第一运动轨迹的第一轨迹方向时，可以依据该第一运动轨迹在雷视设备中雷达的雷达坐标系中X轴或Y轴上的取值来确定。例如，当以雷达坐标系中的Y轴上的取值来确定第一轨迹方向时，若第一运动轨迹在Y轴上的取值逐渐增大(采集时刻较早的雷达坐标在Y轴上的取值小于采集时刻较晚的雷达坐标在Y轴上的取值)，则可以确定该第一运动轨迹的第一轨迹方向为第一方向。相反的，若第一运动轨迹在Y轴上的取值逐渐减小(采集时刻较晚的雷达坐标在Y轴上的取值小于采集时刻较早的雷达坐标在Y轴上的取值)，则可以确定该第一运动轨迹的第一轨迹方向为第二方向。
示例性的，在本步骤201中，基于目标监控对象的雷达数据中的采集时刻确定出第一时间区间，可以首先在目标监控对象的雷达数据中选择出初始采集时刻(雷达数据的所有采集时刻中最早的采集时刻)和结束采集时刻(雷达数据的所有采集时刻中最晚的采集时刻)，之后基于该初始采集时刻和该结束采集时刻确定为第一时间区间。
步骤202，针对每个探测对象，基于该探测对象的图像数据中的图像坐标确定出第二轨迹方向，基于该探测对象的图像数据中的采集时刻确定出第二时间区间。
示例性的，在本步骤201中，针对每个探测对象，首先可基于该探测对象(记为探测对象1)的图像数据中的图像坐标生成第二运动轨迹，之后再基于该第二运动轨迹确定出第二轨迹方向。
可选的，在确定探测对象1的第二运动轨迹的第二轨迹方向时，可以依据该第二运动轨迹在雷视设备中相机的图像坐标系中X轴或Y轴上的取值来确定。例如，当以图像坐标系中的Y轴上的取值来确定第二轨迹方向时，若第二运动轨迹在Y轴上的取值逐渐增大(采集时刻较早的图像坐标在Y轴上的取值小于采集时刻较晚的图像坐标在Y轴上的取值)，则可以确定该第二运动轨迹的第二轨迹方向为第二方向。相反的，若第二运动轨迹在Y轴上的取值逐渐减小(采集时刻较晚的图像坐标在Y轴上的取值小于采集时刻较早的图像坐标在Y轴上的取值)，则可以确定该第二运动轨迹的第二轨迹方向为第一方向。
示例性的，在本步骤201中，基于该探测对象1的图像数据中的采集时刻确定出第二时间区间，可以首先在该探测对象1的图像数据中选择出初始采集时刻(图像数据的所有采集时刻中最早的采集时刻)和结束采集时刻(图像数据的所有采集时刻中最晚的采集时刻)，之后基于该初始采集时刻和该结束采集时刻确定出第二时间区间。
步骤203，若第一轨迹方向与第二轨迹方向相同，且第一时间区间与第二时间区间相交，则将该探测对象确定为目标监控对象的候选探测对象。
示例性的，若第一时间区间与第二时间区间相交，则表示雷达采集目标监控对象的雷达数据的过程中，相机也采集到了探测对象1的图像数据。即，在时间维度上，目标监控对象与该探测对象1是同时出现在雷视设备的探测范围内的两个对象。
示例性的，若第一轨迹方向与第二轨迹方向相同，则表示目标监控对象的运动方向与探测对象1的运动方向相同。即，在运动方向这一维度上，目标监控对象与该探测对象1是同向运动的两个对象。
基于上述描述可知，本步骤201通过对第一轨迹方向与第二轨迹方向是否相同，且第一时间区间与第二时间区间是否相交进行判断，既可以在时间维度上过滤掉与目标监控对象并未同时出现在重叠视场的探测对象，也可以过滤掉与目标监控对象的运动方向不同的探测对象。
步骤204，从目标监控对象的所有候选探测对象中选取出一个候选探测对象作为目标探测对象。
在本步骤204中，从目标监控对象的所有候选探测对象中选取出一个候选探测对象作为目标探测对象有多种实现方式。
作为其中一种实现方式，可以针对每一候选探测对象，计算该候选探测对象的第二运动轨迹与目标监控对象的第一运动轨迹间的相似度。将最大相似度对应的候选探测对象确定为目标探测对象。
可选的，在计算第二运动轨迹与第一运动轨迹间的相似度时，可以采用离散弗雷歇距离(Discrete Frechet Distance)算法，最长公共子序列(longest comonsubsequence)算法等，本申请相似度的计算方式不做限定。
在本步骤204中，之所以计算各候选探测对象的第二运动轨迹与目标监控对象的第一运动轨迹之间的相似度，是因为计算得到相似度能够表征第二运动轨迹与第一运动轨迹同时归属于同一目标对象的概率。因此，在基于第一运动轨迹与每个候选探测对象的相似度选取目标探测对象时，可以将最大相似度对应的候选探测对象确定为目标探测对象。
示例性的，若在前述步骤203中仅确定出一个候选探测对象，则可以在计算得到该候选探测对象的第二运动与目标监控对象的第一运动轨迹间的相似度后，将该相似度与预设的相似度阈值进行比较；若该相似度大于预设的相似度阈值，则将该候选探测对象确定为目标探测对象；否则，重新执行上述步骤201至步骤203以重新确定出候选探测对象。这里之所以会出现仅存在一个候选探测对象，但该候选探测对象的第二运动轨迹与目标监控对象的第一运动轨迹不匹配的情况，是由于探测对象的移动速度过快或探测对象的外部特征与环境相近似等原因导致相机没有成功识别出该探测对象所致。
以上对上述步骤103中如何基于目标监控对象的雷达数据和多个探测对象的图像数据，从多个探测对象中选取与目标监控对象对应的目标探测对象进行详细了描述。
在依据多个坐标对确定出用于对雷达的雷达坐标与相机的图像坐标进行转换的单应性矩阵之后，还需要对该单应性矩阵进行校验。下面结合图4所示流程，对如何校验单应性矩阵进行详细描述。
参见图4，图4为本申请实施例提供的单应性矩阵的校验流程图，该流程可以包括：
步骤301，获取雷达采集的校验对象在雷达的雷达坐标系下的雷达坐标，以及相机采集的校验对象在相机的图像坐标系下的坐标区域。
在本申请实施例中，校验对象可以是在获得单应性矩阵之后进入雷视设备中相机和雷达的重叠视场内的任意一个对象。
在一个例子中，在采集校验对象在雷达坐标系下的雷达坐标时，可以直接的采集该校验对象在雷达坐标系下的雷达坐标，但这样的采集方式会在重叠视场内存在多个校验对象时，因各校验对象的相互遮挡，导致校验对象的雷达坐标的采集不够准确。
在另一个例子中，可以在采集校验对象在雷达坐标系下的雷达坐标之前，先判断当前出现在重叠视场内的校验对象的数量是否大于预设数量。若否，则表示当前处于该重叠视场内的校验对象较少，各校验对象间存在相互遮挡的概率就较小，因此可以较为准确的采集到校验对象的雷达坐标。若是，则可以等待重叠视场内的校验对象的数量小于预设数量时，再采集校验对象的雷达坐标。
在本申请实施例中，可以基于雷达采集到探测对象的雷达坐标的采集时刻，确定出相机采集到该校验对象在图像坐标系下的坐标区域。
可选的，在获取到探测对象的雷达坐标后，可以依据该探测对象的雷达坐标的采集时刻在相机采集的视频流中确定出在该采集时刻拍摄的图像。之后，可以基于预先配置的识别算法识别出该图像中的每一校验对象，以及每一校验对象投影在相机的图像坐标系下的坐标区域。
步骤302，基于单应性矩阵将校验对象的雷达坐标转换为图像坐标系下的图像坐标。
作为一个示例，可以将校验对象的雷达坐标与单应性矩阵进行计算，以将校验对象的雷达坐标转换为图像坐标系下的图像坐标。
步骤303，基于转换后的图像坐标与相机采集的校验对象在图像坐标系下的坐标区域确定单应性矩阵的置信度。
在本申请实施例中，确定单应性矩阵的置信度有多种实现方式。下文图5示例性的示出了其中一种实现方式，下文会结合图5所示流程详细描述，这里暂不赘述。
步骤304，基于单应性矩阵的置信度确定单应性矩阵是否为目标单应性矩阵。
在本步骤304中，基于单应性矩阵的置信度确定单应性矩阵是否为目标单应性矩阵有多种实现方式。
作为其中一种实现方式，可以在确定出一个单应性矩阵并得到该单应性矩阵的置信度后，比较该单应性矩阵的置信度是否大于预设的置信度阈值；若大于，则表示该单应性矩阵的准确性满足实际需求，进而可以将该单应性矩阵确定为目标矩阵；若小于，则表示该单应性矩阵的准确性不能满足实际需求，需要重新确定单应性矩阵。
作为另一种实现方式，可以在确定出两个或两个以上的单应性矩阵并得到每一单应性矩阵的置信度后，从确定出的所有单应性矩阵中选择出置信度最高的单应性矩阵。作为示例，也可以获取置信度最高的单应性矩阵之后再与上一种实现方式相结合，比如比较该单应性矩阵的置信度是否大于预设的置信度阈值；若大于，则表示该单应性矩阵的准确性满足实际需求，进而将该单应性矩阵确定为目标矩阵；若小于，则表示该单应性矩阵的准确性不能满足实际需求，需要重新确定单应性矩阵。
需要说明的是，预设的置信度可以是根据实际情况设置，本申请对此不做具体限定。
在确定出目标矩阵后，可以将该目标矩阵部署在雷视设备中，以用于对后续雷达采集的监控对象的雷达数据，以及相机采集的探测对象的图像数据进行关联，实现雷达与相机针对同一对象的共同监控。
以上对如何校验单应性矩阵进行了描述。
下面对上述步骤303中如何基于转换后的图像坐标与相机采集的校验对象在图像坐标系下的坐标区域确定单应性矩阵的置信度进行描述。
参见图5，图5为本申请实施例提供的单应性矩阵的置信度的确定流程图，该流程可以包括：
步骤401，当存在多个校验对象，每个校验对象对应一个转换后的图像坐标和一个坐标区域的情况下，针对每一校验对象，若该校验对象对应的转换后的图像坐标位于该校验对象对应的坐标区域，则确定该转换后的图像坐标命中该坐标区域；否则，确定该转换后的图像坐标未命中该坐标区域。
在本申请实施例中，雷达和相机可以在指定时长内采集多个校验对象对应的雷达坐标值和坐标区域。这样，在依据单应性矩阵对各校验对象的雷达坐标进行转换后，每个校验对象则均对应于一个转换后的图像坐标和一个坐标区域，进而能够针对每一校验对象，探测该校验对象对应的转换后的图像坐标是否位于该校验对象对应的坐标区域。
若该校验对象对应的转换后的图像坐标位于该校验对象对应的坐标区域，则表示校验对象的雷达坐标在经过单应性矩阵的转换后，被正确的转换至该校验对象投影在图像坐标系下的坐标区域内。即，针对该校验对象的雷达坐标而言，单应性矩阵是准确的，可以确定该转换后的图像坐标命中该坐标区域。反之，则可以确定该转换后的图像坐标没有命中该坐标区域。
步骤402，统计转换后的图像坐标命中坐标区域的命中数，以及转换后的图像坐标未命中坐标区域的未命中数，并基于统计得到的命中数与未命中数确定单应性矩阵的置信度。
在本申请实施例中，在统计得到命中数以及未命中数后，则可对命中数以及未命中数进行计算，以得到单应性矩阵的置信度。
可选的，上述的计算过程可以是：先对命中数以及未命中数进行求和得到校验总数。之后，计算命中数与校验总数之间的比值，将计算得到的比值确定为单应性矩阵的置信度。
以上对上述步骤303中如何基于转换后的图像坐标与相机采集的校验对象在图像坐标系下的坐标区域确定单应性矩阵的置信度进行描述进行了描述。
以上对本申请提供的标定参数确定方法进行了描述。下面对本申请提供的雷球接力系统进行描述：
该雷球接力系统可以包括：多个雷视设备和球机；其中，任何一个雷视设备均按照上述的标定参数确定方法确定用于对该雷视设备中雷达的雷达坐标与该雷视设备中相机的图像坐标进行转换的单应性矩阵。
在上述的雷球接力系统中，多个雷视设备可用于对同一目标对象进行接力探测，以获得同一目标对象在多个雷视设备的探测范围内的运动轨迹信息；球机则用于根据雷视设备探测到的目标对象的运动轨迹信息对该目标对象进行跟踪和拍摄。
以上对本申请提供的雷球接力系统进行了描述。
除上述描述的标定参数确定方法和雷球接力系统之外，本申请实施例还提供了一种标定参数确定装置，该装置可应用于雷视设备，该雷视设备包括相机和雷达，该相机和雷达具有重叠视场。
如图6所示，图6为本申请实施例提供的标定参数确定装置的结构示意图，该标定参数确定装置可以包括：
数据获取单元，用于获取雷达在重叠视场内采集的多个监控对象的雷达数据，以及相机在重叠视场内采集的多个探测对象的图像数据；
目标匹配单元，用于从多个监控对象中选取出目标监控对象，基于目标监控对象的雷达数据和多个探测对象的图像数据，从多个探测对象中选取与目标监控对象对应的目标探测对象，并确定目标监控对象和目标探测对象是雷达和相机同时探测到的同一目标对象；
坐标对选取单元，用于从目标对象的图像数据和雷达数据中选取出多个坐标对；针对每个坐标对，包括目标对象在雷达的雷达坐标系下的雷达坐标和目标对象在相机的图像坐标系下的图像坐标，且雷达采集该雷达坐标的时刻与相机采集该图像坐标的时刻相同；
矩阵确定单元，用于依据多个坐标对确定出用于对雷达的雷达坐标与相机的图像坐标进行转换的单应性矩阵。
以上对图6所示装置进行了描述。
在一种可能的实施方式中，监控对象的雷达数据包括监控对象在雷达坐标系下的雷达坐标和该雷达坐标的采集时间；探测对象的图像数据包括探测对象在图像坐标系下的图像坐标和该图像坐标的采集时间；目标匹配单元基于目标监控对象的雷达数据和多个探测对象的图像数据，从多个探测对象中选取与目标监控对象对应的目标探测对象，包括：
基于目标监控对象的雷达数据中的雷达坐标确定出第一轨迹方向，基于目标监控对象的雷达数据中的采集时刻确定出第一时间区间；
针对每个探测对象，基于该探测对象的图像数据中的图像坐标确定出第二轨迹方向，基于该探测对象的图像数据中的采集时刻确定出第二时间区间；
若第一轨迹方向与第二轨迹方向相同，且第一时间区间与第二时间区间相交，则将该探测对象确定为目标监控对象的候选探测对象；
从目标监控对象的所有候选探测对象中选取出一个候选探测对象作为目标探测对象。
在一种可能的实施方式中，目标匹配单元从目标监控对象的所有候选探测对象中选取出一个候选探测对象作为目标探测对象，包括：
针对每一候选探测对象，基于该候选探测对象的图像数据中的图像坐标和目标监控对象的雷达数据中的雷达坐标确定出轨迹相似度；
基于确定出的轨迹相似度从目标监控对象的所有候选探测对象中选取出作为目标探测对象的候选探测对象。
在一种可能的实施方式中，数据获取单元获取雷达在重叠视场内采集的多个监控对象的雷达数据，包括：
获取雷达在重叠视场内采集的任一对象的雷达数据，雷达数据包括对象在雷达的雷达坐标系中的多个雷达坐标；
基于多个雷达坐标生成对象对应的运动轨迹；
若运动轨迹的轨迹长度大于预设的第一预设阈值，则将对象的雷达数据确定为监控对象的雷达数据。
在一种可能的实施方式中，数据获取单元获取相机在重叠视场内采集的多个探测对象的图像数据，包括：
获取相机在重叠视场内采集的任一对象的图像数据，图像数据包括对象在相机的图像坐标系下的多个相机坐标；
基于多个相机坐标生成对象对应的运动轨迹；
若运动轨迹的轨迹长度大于预设的第二预设阈值，则将对象的图像数据确定为探测对象的图像数据。
在一种可能的实施方式中，标定参数确定装置还包括：校验单元；该校验单元，用于获取雷达采集的校验对象在雷达坐标系下的雷达坐标，以及相机采集的校验对象在图像坐标系下的坐标区域；
基于单应性矩阵将校验对象的雷达坐标转换为图像坐标系下的图像坐标；
基于转换后的图像坐标与相机采集的校验对象在图像坐标系下的坐标区域确定单应性矩阵的置信度；
基于单应性矩阵的置信度确定单应性矩阵是否为目标单应性矩阵。
在一种可能的实施方式中，校验单元基于转换后的图像坐标与相机采集的校验对象在图像坐标系下的坐标区域确定单应性矩阵的置信度，包括：
当存在多个校验对象，每个校验对象对应一个转换后的图像坐标和一个坐标区域的情况下，针对每一校验对象，若该校验对象对应的转换后的图像坐标位于该校验对象对应的坐标区域，则确定该转换后的图像坐标命中该坐标区域；否则，确定该转换后的图像坐标未命中该坐标区域；
统计转换后的图像坐标命中坐标区域的命中数，以及转换后的图像坐标未命中坐标区域的未命中数，并基于统计得到的命中数与未命中数确定单应性矩阵的置信度。
以上对标定参数确定装置进行了详细描述。
请参见图7，图7为本申请提供的标定参数确定装置所在雷视设备的一种硬件结构图，该硬件结构包括：处理器和机器可读存储介质。
其中，机器可读存储介质，用于存储机器可执行指令；
处理器，用于读取并执行机器可读存储介质存储的机器可执行指令，以实现前述的标定参数确定方法。
作为一个实施例，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：易失机器可读存储介质、非易失性机器可读存储介质或者类似的存储介质。具体地，机器可读存储介质可以是RAM(Radom Access Memory，随机存取机器可读存储介质)、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、DVD等)，或者类似的存储介质，或者它们的组合。
至此，完成图7示设备的描述。
本申请实施例还提供了一种包括机器可执行指令的机器可读存储介质，例如图7中所示的机器可读存储介质，机器可执行指令可由标定参数确定装置中的处理器执行以实现以上描述的标定参数确定方法。
以上仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种标定参数确定方法，其特征在于，该方法应用于雷视设备，所述雷视设备包括相机和雷达，所述相机和所述雷达具有重叠视场，该方法包括：
获取所述雷达在所述重叠视场内采集的多个监控对象的雷达数据；
获取所述相机在所述重叠视场内采集的多个探测对象的图像数据；
从所述多个监控对象中选取出目标监控对象，根据所述目标监控对象的轨迹方向与每个探测对象的轨迹方向的一致性，以及根据所述目标监控对象的雷达数据采集时间与每个探测对象的图像数据采集时间的相近性，从所述多个探测对象中选取出与所述目标监控对象对应的目标探测对象；并确定所述目标监控对象和所述目标探测对象是所述雷达和所述相机同时探测到的同一目标对象；
从所述目标对象的图像数据和雷达数据中选取出多个坐标对；针对每个坐标对，包括所述目标对象在所述雷达的雷达坐标系下的雷达坐标和所述目标对象在所述相机的图像坐标系下的图像坐标，且所述雷达采集到该雷达坐标的时刻与所述相机采集到该图像坐标的时刻相同；
依据所述多个坐标对确定出用于对所述雷达的雷达坐标与所述相机的图像坐标进行转换的单应性矩阵。
2.根据权利要求1所述的方法，其特征在于，所述监控对象的雷达数据包括监控对象在所述雷达坐标系下的雷达坐标和该雷达坐标的采集时间；所述探测对象的图像数据包括探测对象在所述图像坐标系下的图像坐标和该图像坐标的采集时间；
根据所述目标监控对象的轨迹方向与每个探测对象的轨迹方向的一致性，以及根据所述目标监控对象的雷达数据采集时间与每个探测对象的图像数据采集时间的相近性，从所述多个探测对象中选取出与所述目标监控对象对应的目标探测对象，包括：
基于所述目标监控对象的雷达数据中的雷达坐标确定出第一轨迹方向，基于所述目标监控对象的雷达数据中的采集时刻确定出第一时间区间；
针对每个探测对象，基于该探测对象的图像数据中的图像坐标确定出第二轨迹方向，基于该探测对象的图像数据中的采集时刻确定出第二时间区间；
若第一轨迹方向与第二轨迹方向相同，且第一时间区间与第二时间区间相交，则将该探测对象确定为所述目标监控对象的候选探测对象；
从所述目标监控对象的所有候选探测对象中选取出一个候选探测对象作为目标探测对象。
3.根据权利要求2所述的方法，其特征在于，所述从所述目标监控对象的所有候选探测对象中选取出一个候选探测对象作为目标探测对象，包括：
针对每一候选探测对象，基于该候选探测对象的图像数据中的图像坐标和所述目标监控对象的雷达数据中的雷达坐标确定出轨迹相似度；
基于确定出的轨迹相似度从所述目标监控对象的所有候选探测对象中选取出作为所述目标探测对象的候选探测对象。
4.根据权利要求1所述的方法，其特征在于，所述获取所述雷达在所述重叠视场内采集的多个监控对象的雷达数据，包括：
获取所述雷达在所述重叠视场内采集的任一对象的雷达数据，雷达数据包括对象在所述雷达的雷达坐标系中的多个雷达坐标；
基于所述多个雷达坐标生成所述对象对应的运动轨迹；
若所述运动轨迹的轨迹长度大于预设的第一预设阈值，则将所述对象的雷达数据确定为监控对象的雷达数据。
5.根据权利要求1所述的方法，其特征在于，所述获取所述相机在所述重叠视场内采集的多个探测对象的图像数据，包括：
获取所述相机在所述重叠视场内采集的任一对象的图像数据，图像数据包括对象在所述相机的图像坐标系下的多个相机坐标；
基于所述多个相机坐标生成所述对象对应的运动轨迹；
若所述运动轨迹的轨迹长度大于预设的第二预设阈值，则将所述对象的图像数据确定为探测对象的图像数据。
6.根据权利要求1所述的方法，其特征在于，在依据所述多个坐标对确定出用于对所述雷达的雷达坐标与所述相机的图像坐标进行转换的单应性矩阵之后，该方法还包括：
获取所述雷达采集的校验对象在所述雷达坐标系下的雷达坐标，以及所述相机采集的所述校验对象在所述图像坐标系下的坐标区域；
基于所述单应性矩阵将所述校验对象的雷达坐标转换为所述图像坐标系下的图像坐标；
基于转换后的图像坐标与所述相机采集的所述校验对象在所述图像坐标系下的坐标区域确定所述单应性矩阵的置信度；
基于所述单应性矩阵的置信度确定所述单应性矩阵是否为目标单应性矩阵。
7.根据权利要求6所述的方法，其特征在于，所述基于转换后的图像坐标与所述相机采集的所述校验对象在所述图像坐标系下的坐标区域确定所述单应性矩阵的置信度，包括：
当存在多个校验对象，每个校验对象对应一个转换后的图像坐标和一个坐标区域的情况下，针对每一校验对象，若该校验对象对应的转换后的图像坐标位于该校验对象对应的坐标区域，则确定该转换后的图像坐标命中该坐标区域；否则，确定该转换后的图像坐标未命中该坐标区域；
统计转换后的图像坐标命中坐标区域的命中数，以及转换后的图像坐标未命中坐标区域的未命中数，并基于统计得到的所述命中数与未命中数确定所述单应性矩阵的置信度。
8.一种标定参数确定装置，其特征在于，应用于雷视设备，所述雷视设备包括相机和雷达，所述相机和所述雷达具有重叠视场，该装置包括：
数据获取单元，用于获取所述雷达在所述重叠视场内采集的多个监控对象的雷达数据，以及所述相机在所述重叠视场内采集的多个探测对象的图像数据；
目标匹配单元，用于从所述多个监控对象中选取出目标监控对象，根据所述目标监控对象的轨迹方向与每个探测对象的轨迹方向的一致性度，以及根据所述目标监控对象的雷达数据采集时间与每个探测对象的图像数据采集时间的相近性度，从所述多个探测对象中选取出与所述目标监控对象对应的目标探测对象；并确定所述目标监控对象和所述目标探测对象是所述雷达和所述相机同时探测到的同一目标对象；
坐标对选取单元，用于从所述目标对象的图像数据和雷达数据中选取出多个坐标对；针对每个坐标对，包括所述目标对象在所述雷达的雷达坐标系下的雷达坐标和所述目标对象在所述相机的图像坐标系下的图像坐标，且所述雷达采集该雷达坐标的时刻与所述相机采集该图像坐标的时刻相同；
矩阵确定单元，用于依据所述多个坐标对确定出用于对所述雷达的雷达坐标与所述相机的图像坐标进行转换的单应性矩阵。
9.一种雷球接力系统，其特征在于，该系统包括：多个雷视设备和球机；任何一个雷视设备按照权利要求1至7任一项所述的标定参数确定方法确定用于对该雷视设备中雷达的雷达坐标与该雷视设备中相机的图像坐标进行转换的单应性矩阵。
10.一种雷视设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1至7任一项所述的标定参数确定方法。
CN202010898994.9A 2020-08-31 2020-08-31 标定参数确定方法、装置、雷视设备和雷球接力系统 Active CN112017250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010898994.9A CN112017250B (zh) 2020-08-31 2020-08-31 标定参数确定方法、装置、雷视设备和雷球接力系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010898994.9A CN112017250B (zh) 2020-08-31 2020-08-31 标定参数确定方法、装置、雷视设备和雷球接力系统

Publications (2)

Publication Number Publication Date
CN112017250A CN112017250A (zh) 2020-12-01
CN112017250B true CN112017250B (zh) 2023-07-25

Family

ID=73504103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010898994.9A Active CN112017250B (zh) 2020-08-31 2020-08-31 标定参数确定方法、装置、雷视设备和雷球接力系统

Country Status (1)

Country Link
CN (1) CN112017250B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112526470A (zh) * 2020-12-22 2021-03-19 北京百度网讯科技有限公司 标定雷达参数的方法和装置、电子设备、存储介质
CN112763993A (zh) * 2020-12-22 2021-05-07 北京百度网讯科技有限公司 标定雷达参数的方法和装置、电子设备、存储介质
CN112578357B (zh) * 2020-12-24 2024-05-28 阿波罗智联(北京)科技有限公司 雷达标定参数的修正方法、装置、电子设备和路侧设备
CN113380039B (zh) * 2021-07-06 2022-07-26 联想(北京)有限公司 数据处理方法、装置和电子设备
CN113744348A (zh) * 2021-08-31 2021-12-03 南京慧尔视智能科技有限公司 一种参数标定方法、装置及雷视融合检测设备
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN114494447A (zh) * 2021-12-15 2022-05-13 浙江大华技术股份有限公司 数据标定方法、电子设备及计算机可读存储装置
CN114459372B (zh) * 2022-01-26 2024-08-27 江苏瑞成建筑科技有限公司 一种钢架构钢柱形变损坏在线智能预警方法
CN114509762A (zh) * 2022-02-15 2022-05-17 南京慧尔视智能科技有限公司 一种数据处理方法、装置、设备及介质
CN115249270B (zh) * 2022-09-22 2022-12-30 广州市德赛西威智慧交通技术有限公司 一种雷视一体机自动重标注方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006007940A (ja) * 2004-06-24 2006-01-12 Fujitsu Ltd レーダ装置の校正方法、レーダ装置、監視システム、プログラム
CN109901142A (zh) * 2019-02-28 2019-06-18 东软睿驰汽车技术（沈阳）有限公司 一种标定方法及装置
CN110221275A (zh) * 2019-05-21 2019-09-10 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置
CN111025283A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 雷达与球机联动的方法及装置
CN111025250A (zh) * 2020-01-07 2020-04-17 湖南大学 一种车载毫米波雷达在线标定方法
CN111383285A (zh) * 2019-11-25 2020-07-07 的卢技术有限公司 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
CN111383294A (zh) * 2018-12-27 2020-07-07 杭州海康威视数字技术股份有限公司 一种安防雷达系统中防区的绘制方法及装置
CN111398924A (zh) * 2020-04-29 2020-07-10 上海英恒电子有限公司 雷达安装角度标定方法及系统
WO2020161703A2 (en) * 2019-02-06 2020-08-13 Essence Security International (E.S.I.) Ltd. Radar location system and method
CN111538008A (zh) * 2019-01-18 2020-08-14 杭州海康威视数字技术股份有限公司 变换矩阵确定方法、系统及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006007940A (ja) * 2004-06-24 2006-01-12 Fujitsu Ltd レーダ装置の校正方法、レーダ装置、監視システム、プログラム
CN111025283A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 雷达与球机联动的方法及装置
CN111383294A (zh) * 2018-12-27 2020-07-07 杭州海康威视数字技术股份有限公司 一种安防雷达系统中防区的绘制方法及装置
CN111538008A (zh) * 2019-01-18 2020-08-14 杭州海康威视数字技术股份有限公司 变换矩阵确定方法、系统及装置
WO2020161703A2 (en) * 2019-02-06 2020-08-13 Essence Security International (E.S.I.) Ltd. Radar location system and method
CN109901142A (zh) * 2019-02-28 2019-06-18 东软睿驰汽车技术（沈阳）有限公司 一种标定方法及装置
CN110221275A (zh) * 2019-05-21 2019-09-10 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置
CN111383285A (zh) * 2019-11-25 2020-07-07 的卢技术有限公司 一种基于毫米波雷达与摄像机传感器融合标定方法及系统
CN111025250A (zh) * 2020-01-07 2020-04-17 湖南大学 一种车载毫米波雷达在线标定方法
CN111398924A (zh) * 2020-04-29 2020-07-10 上海英恒电子有限公司 雷达安装角度标定方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wei Wang ; Yang Liu ; Rui Chen ; Jing Xu.A calibration method with anistropic weighting for LiDAR and stereo camera system.2019 IEEE International Conference on Robotics and Biomimetics (ROBIO).2020,422-426. *
一种基于点云匹配的激光雷达/IMU联合标定方法;吴昱晗，王蕴宝，薛庆全，郄晓斌，李志强;电子技术应用;第45卷(第12期);78-82 *

Also Published As

Publication number Publication date
CN112017250A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112017250B (zh) 标定参数确定方法、装置、雷视设备和雷球接力系统
CN112014845B (zh) 一种车辆障碍物定位方法、装置、设备及存储介质
AU2014202300B2 (en) Traffic monitoring system for speed measurement and assignment of moving vehicles in a multi-target recording module
US10036809B2 (en) Real-time warning for distracted pedestrians with smartphones
US8401240B2 (en) Passive single camera imaging system for determining motor vehicle speed
US9002068B2 (en) Video speed detection system
KR101378498B1 (ko) 통행 속도와 차량 좌표를 결정한 후 이를 판별하고 도로교통법 위반을 자동으로 기록하는 방법 및 장치
CN110609281B (zh) 一种区域检测方法及装置
US10692225B2 (en) System and method for detecting moving object in an image
CN112016483B (zh) 目标检测的接力系统、方法、装置及设备
CN104935893A (zh) 监视方法和装置
Tung et al. Use of phone sensors to enhance distracted pedestrians’ safety
CN109410593A (zh) 一种鸣笛抓拍系统及方法
CN105741261A (zh) 一种基于四摄像头的平面多目标定位方法
CN113034586B (zh) 道路倾角检测方法和检测系统
CN110765823A (zh) 一种目标识别方法及装置
CN115546705A (zh) 目标识别方法、终端设备及存储介质
US11747431B2 (en) Vehicle positioning method and apparatus, and vehicle
CN112419405A (zh) 一种目标跟踪联合显示方法、安防系统及电子设备
CN109633678A (zh) 大视场光电成像跟踪系统多约束条件航迹起始检测方法
CN110287957B (zh) 一种低慢小目标的定位方法及定位装置
CN110728249A (zh) 目标行人的跨摄像机识别方法、装置及系统
CN105842704A (zh) 一种基于激光测距的智能人流量分类统计系统及其方法
JP2020160901A (ja) 物体追跡装置および物体追跡方法
CN110910633A (zh) 路况信息处理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant