CN112485785A - 一种目标检测方法、装置及设备 - Google Patents

一种目标检测方法、装置及设备 Download PDF

Info

Publication number
CN112485785A
CN112485785A CN202011219388.6A CN202011219388A CN112485785A CN 112485785 A CN112485785 A CN 112485785A CN 202011219388 A CN202011219388 A CN 202011219388A CN 112485785 A CN112485785 A CN 112485785A
Authority
CN
China
Prior art keywords
radar
camera
target object
coordinate system
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011219388.6A
Other languages
English (en)
Inventor
谷之韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011219388.6A priority Critical patent/CN112485785A/zh
Publication of CN112485785A publication Critical patent/CN112485785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供一种目标检测方法、装置及设备，该方法包括：获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度；基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。通过本申请的技术方案，不需要人工标定雷达坐标系与相机坐标系之间的标定矩阵，实现标定矩阵的自动标定，适合在各种无法进行人工标定的场景使用，场景适应性比较强。

Description

一种目标检测方法、装置及设备
技术领域
本申请涉及监控领域，尤其是涉及一种目标检测方法、装置及设备。
背景技术
雷达是利用电磁波探测目标对象的传感器，雷达发射电磁波对目标对象进行照射，并接收该目标对象的回波，由此获得该目标对象至电磁波发射点的距离，距离变化率(径向速度)，方位，高度等信息，基于上述特性，雷达被广泛应用于智能交通领域。雷达的一个常见应用是，通过雷达监控道路上的车辆的运动信息，如监控道路上的车辆的距离，速度，方位，高度等信息。
相机是采集目标对象的视频图像的传感器，视频图像能够提供形貌、颜色、纹理等信息，视频图像是利用成像器件对固定视场进行曝光获得。
随着探测准确度要求的提高，在环境感知、目标探测等应用场景，需要对雷达获取的探测数据与相机采集的视频图像进行融合，如根据该探测数据和该视频图像得到信息更丰富的图像，从而基于融合结果进行目标检测。
为了对同一目标对象的探测数据与视频图像进行融合，需要对雷达坐标系(雷达获取的探测数据的坐标系)与相机坐标系(相机采集的视频图像的坐标系)的映射关系进行标定，即，人工标定雷达坐标系与相机坐标系的映射关系。基于雷达坐标系与相机坐标系的映射关系，可以从探测数据和视频图像中识别出同一目标对象，从而将同一目标对象的探测数据与视频图像进行融合。
但是，上述方式需要人工标定雷达坐标系与相机坐标系的映射关系，在某些应用场景下，可能无法完成映射关系的人工标定，且存在一定的人力成本。
发明内容
第一方面，本申请提供一种目标检测方法，所述方法应用于雷视设备，所述雷视设备至少包括雷达和相机，所述雷达探测的空间范围与所述相机探测的空间范围有重叠区域，所述方法包括：
获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；
基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
在一种可能的实施方式中，所述雷视设备包括第一姿态传感器，第二姿态传感器和测距传感器；所述获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度，包括：
通过所述第一姿态传感器获取所述雷达的第一姿态数据；其中，所述第一姿态数据包括所述雷达的俯仰角，偏航角和横滚角；
通过所述第二姿态传感器获取所述相机的第二姿态数据；其中，所述第二姿态数据包括所述相机的俯仰角，偏航角和横滚角；
通过所述测距传感器获取所述雷视设备的安装高度。
在一种可能的实施方式中，所述基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵，包括：
基于所述雷达的第一姿态数据确定第一平移旋转矩阵；其中，所述第一平移旋转矩阵包括所述雷达绕x轴旋转的坐标变换矩阵，所述雷达绕y轴旋转的坐标变换矩阵，所述雷达绕z轴旋转的坐标变换矩阵；
基于所述相机的第二姿态数据确定第二平移旋转矩阵；其中，所述第二平移旋转矩阵包括所述相机绕x轴旋转的坐标变换矩阵，所述相机绕y轴旋转的坐标变换矩阵，所述相机绕z轴旋转的坐标变换矩阵；
基于所述第一平移旋转矩阵，所述第二平移旋转矩阵，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
在一种可能的实施方式中，所述获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度，包括：
在所述雷视设备已安装完成时，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或者，
若所述雷达的姿态数据和/或所述相机的姿态数据发生变化，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或，
若所述雷视设备的安装高度发生变化，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或者，
基于预设周期，获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度。
在一种可能的实施方式中，所述方法还包括：基于所述标定矩阵实现所述雷达和所述相机对同一目标对象的检测；具体包括：
根据所述标定矩阵，将所述雷达探测的第一目标对象的雷达坐标转换到所述第一目标对象在相机坐标系中的图像坐标；
基于所述第一目标对象在相机坐标系中的图像坐标，从所述相机探测的目标对象中确定与所述第一目标对象为同一目标对象的第二目标对象；
将所述雷达获取的所述第一目标对象的探测数据与所述相机获取的所述第二目标对象的探测数据进行关联，并基于关联数据对所述第二目标对象的运动轨迹进行更新。
在一种可能的实施方式中，所述方法还包括：基于所述标定矩阵实现所述雷达和所述相机对同一目标对象的检测；具体包括：
根据所述标定矩阵，将所述相机探测的第三目标对象的图像坐标转换到所述第三目标对象在雷达坐标系中的雷达坐标；
基于所述第三目标对象在雷达坐标系中的雷达坐标，从所述雷达探测的目标对象中确定与所述第三目标对象为同一目标对象的第四目标对象；
将所述相机获取的所述第三目标对象的探测数据与所述雷达获取的所述第四目标对象的探测数据进行关联，并基于关联数据对所述第三目标对象的运动轨迹进行更新。
在一种可能的实施方式中，所述雷达为毫米波雷达，所述相机为枪机。
第二方面，本申请提供一种目标检测装置，所述装置应用于雷视设备，所述雷视设备至少包括雷达和相机，所述雷达探测的空间范围与所述相机探测的空间范围有重叠区域，所述装置包括：
获取模块，用于获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；
确定模块，用于基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
第三方面，本申请提供一种雷视设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度；
基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
第四方面，本申请提供一种雷视设备，所述雷视设备至少包括第一姿态传感器，第二姿态传感器，测距传感器，雷达，相机和处理器；其中：
所述第一姿态传感器，用于获取所述雷达的第一姿态数据；
所述第二姿态传感器，用于获取所述相机的第二姿态数据；
所述测距传感器，用于获取所述雷视设备的安装高度；
所述雷达，用于对目标对象进行探测，得到目标对象的探测数据；
所述相机，用于对目标对象进行探测，得到目标对象的探测数据；
所述处理器，用于基于所述雷达的第一姿态数据，所述相机的第二姿态数据，相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵；基于所述标定矩阵，所述雷达探测的目标对象的探测数据，所述相机探测的目标对象的探测数据，实现所述雷达和所述相机对同一目标对象的检测。
由以上技术方案可见，本申请实施例中，可以基于雷达的姿态数据，相机的姿态数据，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵，而不需要人工标定雷达坐标系与相机坐标系之间的标定矩阵，不需要用户参与标定过程，从而实现标定矩阵的自动标定，适合在各种无法进行人工标定的场景使用，场景适应性比较强，可以实现免人工标定，节省人力成本，用户体验较好。在雷达或者相机的姿态数据发生变化，或者雷视设备的安装高度发生变化时，可以重新确定标定矩阵，及时快速更新标定矩阵，避免标定矩阵失效。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的目标检测方法的流程示意图；
图2是本申请一种实施方式中的雷视设备的结构示意图；
图3是本申请一种实施方式中的雷视设备的结构示意图；
图4是本申请一种实施方式中的目标检测方法的流程示意图；
图5是本申请一种实施方式中的旋转平移的示意图；
图6是本申请一种实施方式中的目标检测装置的结构示意图；
图7是本申请一种实施方式中的雷视设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例提出一种目标检测方法，用于确定雷达坐标系与相机坐标系之间的标定矩阵，该标定矩阵表示雷达坐标系(雷达获取的探测数据的坐标系)与相机坐标系(相机获取的探测数据的坐标系)之间的坐标转换关系。
示例性的，该目标检测方法可以应用于雷视设备，该雷视设备至少可以包括雷达和相机，雷达探测的空间范围与相机探测的空间范围有重叠区域，即雷达和相机能够对同一区域进行探测。雷达是利用电磁波探测目标对象的传感器，雷达发射电磁波对目标对象进行照射，并接收该目标对象的回波，由此获得该目标对象至电磁波发射点的距离，距离变化率(径向速度)，方位，高度等探测数据。相机是采集目标对象的图像数据的传感器，图像数据能够提供形貌、颜色、纹理等信息，图像数据是相机利用成像器件对固定视场进行曝光获得。
雷达可以为毫米波雷达(工作在毫米波波段的雷达)或者激光雷达(以发射激光束探测目标的位置、速度等特征量的雷达)，对此雷达的类型不做限制。雷达的数量可以为一个，也可以为至少两个，当雷达的数量为至少两个时，则可以确定每个雷达的雷达坐标系与相机坐标系之间的标定矩阵。
相机可以为枪机，即枪型摄像机，枪机的外观可以为长方体，安装后无法转动，用于监控固定区域。当然，相机也可以为其它类型的摄像机，对此不做限制。相机的数量可以为一个，也可以为至少两个，当相机的数量为至少两个时，则可以确定每个相机的相机坐标系与雷达坐标系之间的标定矩阵。
比如说，若雷视设备包括相机1、相机2、雷达1和雷达2，则确定相机1的相机坐标系与雷达1的雷达坐标系之间的标定矩阵，确定相机1的相机坐标系与雷达2的雷达坐标系之间的标定矩阵，确定相机2的相机坐标系与雷达1的雷达坐标系之间的标定矩阵，确定相机2的相机坐标系与雷达2的雷达坐标系之间的标定矩阵。为了方便描述，后续以一个雷达和一个相机为例。
在相关技术中，为了确定相机坐标系与雷达坐标系之间的标定矩阵，可以人工标定雷达坐标系与相机坐标系之间的标定矩阵。比如说，在雷达和相机的重叠视场，针对不同距离和方位上的同一目标对象进行探测，同步采集多组雷达坐标和相机坐标，根据这些雷达坐标和这些相机坐标计算该标定矩阵。
但是，上述方式受限于雷视设备的安装场景，仍然需要借助“目标对象”的数据进行标定，若在雷达无法探测目标对象的场景(如监测水面场景时动物目标无法行走)，或者，在相机无法探测目标对象的场景(如较黑暗环境下无法探测到目标对象)，则上述标定方法失效，无法采集同一目标对象的多组雷达坐标和相机坐标。上述方式有一定的人力成本，仍然需要人工参与标定。
与上述方式不同的是，本申请实施例中，可以基于雷达的姿态数据，相机的姿态数据，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵，不需要人工标定雷达坐标系与相机坐标系之间的标定矩阵，不需要用户参与标定过程，从而实现标定矩阵的自动标定，适合在各种无法进行人工标定的场景使用，场景适应性强，可以实现免人工标定，节省人力成本，用户体验较好。
以下结合具体实施例，对本申请实施例的技术方案进行说明。
参见图1所示，为目标检测方法的流程图，该方法可以包括：
步骤101，获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度。
示例性的，雷视设备还可以包括第一姿态传感器，可以通过该第一姿态传感器获取雷达的第一姿态数据，该第一姿态数据可以包括雷达的俯仰角(如pitch_radar)，雷达的偏航角(如yaw_radar)和雷达的横滚角(如roll_radar)。
第一姿态传感器可以是能够进行三维运动姿态测量的传感器，包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器，第一姿态传感器可以与雷达连体设计或置于雷达内部，以便于获取准确的姿态数据，综上所述，第一姿态传感器能够得到雷达的俯仰角，偏航角和横滚角等三维姿态数据。
示例性的，雷视设备还可以包括第二姿态传感器，可以通过该第二姿态传感器获取相机的第二姿态数据，该第二姿态数据可以包括相机的俯仰角(如pitch_camera)，相机的偏航角(如yaw_camera)和相机的横滚角(如roll_camera)。
第二姿态传感器可以是能够进行三维运动姿态测量的传感器，包括但不限于三轴陀螺仪、三轴加速度计、三轴电子罗盘等运动传感器，第二姿态传感器可以与相机连体设计或置于相机内部，以便于获取准确的姿态数据，综上所述，第二姿态传感器能够得到相机的俯仰角，偏航角和横滚角等三维姿态数据。
示例性的，雷视设备还可以包括测距传感器(如激光测距传感器)，可以通过该测距传感器获取雷视设备的安装高度，该安装高度实际上是测距传感器与探测平面之间的垂直距离，可以将该垂直距离作为雷视设备的安装高度，也可以将该垂直距离作为雷达的安装高度或者相机的安装高度。
比如说，测距传感器可以与雷达连体设计或置于雷达内部，可以通过测距传感器获取雷达的安装高度，该安装高度也可以作为雷视设备的安装高度。
以激光测距传感器为例，由激光二极管对准目标(即位于探测平面的目标)发射激光脉冲，经目标反射后激光向各方向散射，部分散射光返回到传感器接收器，被光学系统接收后成像到雪崩光电二极管，雪崩光电二极管是内部具有放大功能的光学传感器，能检测微弱的光信号。通过记录并处理从光脉冲发出到返回被接收所经历的时间，即可测定激光测距传感器与探测平面之间的距离。
步骤102，基于雷达的第一姿态数据，相机的第二姿态数据，相机的内部参数(即相机内参)和雷视设备的安装高度(即雷视设备与探测平面之间的垂直距离)，确定雷达坐标系与相机坐标系之间的标定矩阵。
示例性的，可以基于雷达的该第一姿态数据确定第一平移旋转矩阵，该第一平移旋转矩阵可以包括雷达绕x轴旋转的坐标变换矩阵，雷达绕y轴旋转的坐标变换矩阵，雷达绕z轴旋转的坐标变换矩阵。可以基于相机的该第二姿态数据确定第二平移旋转矩阵，该第二平移旋转矩阵可以包括相机绕x轴旋转的坐标变换矩阵，相机绕y轴旋转的坐标变换矩阵，相机绕z轴旋转的坐标变换矩阵。然后，基于该第一平移旋转矩阵，该第二平移旋转矩阵，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
在实际应用中，也可以基于雷达的第一姿态数据，相机的第二姿态数据和相机的内部参数，确定雷达坐标系与相机坐标系之间的标定矩阵，即，在确定雷达坐标系与相机坐标系之间的标定矩阵时，不需要考虑雷视设备的安装高度。
在一种可能的实施方式中，若雷达探测到的数据为二维数据(即雷达所在平面的数据)，则基于雷达的第一姿态数据，相机的第二姿态数据，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。或者，若雷达探测到的数据为三维数据(即雷达所在平面以及垂直于该平面的数据)，则基于雷达的第一姿态数据，相机的第二姿态数据和相机的内部参数，确定雷达坐标系与相机坐标系之间的标定矩阵。或者，若雷达探测到的数据为三维数据，则基于雷达的第一姿态数据，相机的第二姿态数据，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
在上述实施例中，相机的内部参数可以简称为相机内参，该相机内参为与相机自身特性相关的参数，是已经标定的参数，相机内参为已知参数。比如说，相机内参可以包括：镜头焦距f，图像坐标系原点在像素坐标系中的坐标(u0，v0)，每个像素点在图像平面x、y方向上的物理尺寸dx、dy。
步骤103，基于标定矩阵实现雷达和相机对同一目标对象的检测。
比如说，基于雷达坐标系与相机坐标系之间的标定矩阵，从雷达获取的探测数据(即点云数据)和相机获取的探测数据(即图像数据)中识别出同一目标对象，从而将同一目标对象的点云数据和图像数据融合，得到信息更丰富的数据，基于融合结果进行目标检测，实现雷达和相机对同一目标对象的检测。
在一种可能的实施方式中，可以根据雷达坐标系与相机坐标系之间的标定矩阵，将雷达探测的第一目标对象的雷达坐标转换到第一目标对象在相机坐标系中的图像坐标；基于第一目标对象在相机坐标系中的图像坐标，从相机探测的目标对象中确定与第一目标对象为同一目标对象的第二目标对象；将雷达获取的第一目标对象的探测数据与相机获取的第二目标对象的探测数据进行关联，并基于关联数据对第二目标对象的运动轨迹进行更新，即，将第二目标对象的运动轨迹更新到第一目标对象的运动轨迹中，或者，将第一目标对象的运动轨迹更新到第二目标对象的运动轨迹中，实现对同一目标对象的检测。
比如说，假设雷达探测的第一目标对象的雷达坐标为坐标值q1，则根据标定矩阵将坐标值q1转换为坐标值q1’，坐标值q1’是第一目标对象在相机坐标系中的图像坐标。从相机探测的目标对象中确定与第一目标对象为同一目标对象的第二目标对象，第二目标对象的图像坐标为坐标值q1’。在此基础上，将雷达获取的第一目标对象的探测数据(如坐标值q1的探测数据)与相机获取的第二目标对象的探测数据(如坐标值q1’的探测数据)进行关联。
在另一可能的实施方式中，可以根据雷达坐标系与相机坐标系之间的标定矩阵，将相机探测的第三目标对象的图像坐标转换到第三目标对象在雷达坐标系中的雷达坐标；基于第三目标对象在雷达坐标系中的雷达坐标，从雷达探测的目标对象中确定与第三目标对象为同一目标对象的第四目标对象；将相机探测的第三目标对象的探测数据与雷达探测的第四目标对象的探测数据进行关联，并基于关联数据对第三目标对象的运动轨迹进行更新，即，将第三目标对象的运动轨迹更新到第四目标对象的运动轨迹中，或者，将第四目标对象的运动轨迹更新到第三目标对象的运动轨迹中，实现对同一目标对象的检测。
比如说，假设相机探测的第三目标对象的图像坐标为坐标值q2，则根据标定矩阵将坐标值q2转换为坐标值q2’，坐标值q2’是第三目标对象在雷达坐标系中的雷达坐标。从雷达探测的目标对象中确定与第三目标对象为同一目标对象的第四目标对象，第四目标对象的雷达坐标为坐标值q2’。在此基础上，将相机获取的第三目标对象的探测数据(如坐标值q2的探测数据)与雷达获取的第四目标对象的探测数据(如坐标值q2’的探测数据)进行关联。
在一种可能的实施方式中，步骤101-步骤103的执行时机，可以包括：
情况一、在雷视设备的初始安装过程中，若雷视设备已安装完成，则获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度，并执行后续步骤，即雷视设备已安装完成时执行步骤101-步骤103，得到并记录标定矩阵。
情况二、若雷达的姿态数据和/或相机的姿态数据发生变化，则获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度，并执行后续步骤，即，在雷视设备安装完成(安装完成时已记录标定矩阵)后，若雷达的姿态数据和/或相机的姿态数据发生变化，则执行步骤101-步骤103，得到新标定矩阵。
情况三、若雷视设备的安装高度发生变化，则获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度，并执行后续步骤，即，在雷视设备安装完成后，若雷视设备的安装高度发生变化，则执行步骤101-步骤103，得到并记录新的标定矩阵。
情况四、基于预设周期(可以根据经验配置)，获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度，并执行后续步骤，即，在雷视设备安装完成后，每隔预设周期就执行步骤101-步骤103，得到并记录新的标定矩阵。比如说，若预设周期为24小时，则每隔24小时就执行步骤101-步骤103。
示例性的，上述执行顺序只是为了方便描述给出的示例，在实际应用中，还可以改变步骤之间的执行顺序，对此执行顺序不做限制。而且，在其它实施例中，并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其它实施例中可能被分解为多个步骤进行描述；本说明书中所描述的多个步骤，在其它实施例也可能被合并为单个步骤进行描述。
由以上技术方案可见，本申请实施例中，可以基于雷达的姿态数据，相机的姿态数据，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵，而不需要人工标定雷达坐标系与相机坐标系之间的标定矩阵，不需要用户参与标定过程，从而实现标定矩阵的自动标定，适合在各种无法进行人工标定的场景使用，场景适应性比较强，可以实现免人工标定，节省人力成本，用户体验较好。在雷达或者相机的姿态数据发生变化，或者雷视设备的安装高度发生变化时，可以重新确定标定矩阵，及时快速更新标定矩阵，避免标定矩阵失效。
以下结合具体应用场景，对本申请实施例的上述技术方案进行说明。
参见图2所示，为雷视设备的结构示意图，雷视设备可以包括雷达，相机，姿态探测模块和中央处理模块。雷视设备可以安装一个或多个雷达(如毫米波雷达或激光雷达)，每个雷达可以对应不同的探测方位或探测距离，使用多个雷达时可以进行雷达目标匹配，以免造成目标失配导致判断错误。雷视设备可以安装一个或多个相机(如枪型摄像机)，使用多个相机时能够实现目标范围内的全覆盖，使用多个相机时可以进行图像拼接以形成相机坐标系的统一。
姿态探测模块：在雷视设备安装完成后，雷达与探测平面(也称为实际测量面，如地面、水面等)形成一定倾斜的俯仰角，偏航角和横滚角，姿态探测模块获取雷达的俯仰角，偏航角和横滚角，并将雷达的俯仰角，偏航角和横滚角发送给中央处理模块。比如说，第一姿态传感器与雷达连体设计或置于雷达内部，姿态探测模块通过第一姿态传感器获取雷达的俯仰角，偏航角和横滚角。
相机与探测平面形成一定倾斜的俯仰角，偏航角和横滚角，姿态探测模块获取相机的俯仰角，偏航角和横滚角，并将相机的俯仰角，偏航角和横滚角发送给中央处理模块。比如说，第二姿态传感器与相机连体设计或置于相机内部，姿态探测模块通过第二姿态传感器获取相机的俯仰角，偏航角和横滚角。
姿态探测模块获取雷视设备的安装高度，并将雷视设备的安装高度发送给中央处理模块。比如说，测距传感器(如激光测距传感器)与雷达连体设计或置于雷达内部，姿态探测模块通过测距传感器获取雷达的安装高度(即测距传感器与探测平面之间的垂直距离)，雷达的安装高度作为雷视设备的安装高度。
中央处理模块：中央处理模块包括标定计算子模块和坐标转换子模块，标定计算子模块基于雷达的俯仰角，偏航角和横滚角，相机的俯仰角，偏航角和横滚角，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵，完成标定过程，并将该标定矩阵发送给坐标转换子模块。
坐标转换子模块根据标定矩阵，雷达的探测数据和相机的探测数据，完成雷达的探测数据与相机的探测数据的坐标转换，实现雷达和相机对同一目标对象的检测。比如说，坐标转换子模块基于该标定矩阵，从雷达获取的探测数据(即点云数据)和相机获取的探测数据(即图像数据)中识别出同一目标对象，从而将同一目标对象的点云数据和图像数据融合，得到信息更丰富的数据，基于融合结果进行目标检测，实现雷达和相机对同一目标对象的检测。
示例性的，姿态探测模块可以包括第一姿态传感器，第二姿态传感器和测距传感器。中央处理模块可以置于雷达中，也可以置于相机中，也可以单独成为一个模块，对此不做限制。中央处理模块可以通过有线或者无线等方式与其它模块(如雷达、相机和姿态探测模块等)进行相互通信。
在一种可能的实施方式中，雷视设备的结构可以参见图3所示，雷视设备可以包括枪机、毫米波雷达、姿态探测模块、安装支架和外壳。枪机的镜头与毫米波雷达的收发天线平面保持平行，以保证毫米波雷达与枪机视场角大部分重叠。毫米波雷达集成了嵌入式处理器，该嵌入式处理器可以作为中央处理模块，即毫米波雷达在具备探测目标功能之外，进行标定计算和坐标转换。外壳保护雷视设备的内部电路，安装支架可固定雷视设备与测量杆或底座上。
示例性的，姿态探测模块可以包括激光测距传感器，第一姿态传感器和第二姿态传感器，该激光测距传感器用于获取雷视设备的安装高度(如毫米波雷达的安装高度)，该第一姿态传感器用于获取毫米波雷达的俯仰角，偏航角和横滚角，该第二姿态传感器用于获取枪机的俯仰角，偏航角和横滚角。
在一种可能的实施方式中，参见图4所示，目标检测方法可以包括：
步骤401、中央处理模块启动标定功能。在启动标定功能后，可以执行后续步骤，以确定雷达坐标系与相机坐标系之间的标定矩阵。
示例性的，在雷视设备的初始安装过程中，若雷视设备已安装完成，则中央处理模块启动标定功能。或，若雷达的姿态数据和/或相机的姿态数据发生变化，则中央处理模块启动标定功能。或，若雷视设备的安装高度发生变化，则中央处理模块启动标定功能。或，每隔预设周期，中央处理模块启动标定功能。
步骤402、姿态探测模块获取雷达的俯仰角，雷达的偏航角和雷达的横滚角，并获取相机的俯仰角，相机的偏航角和相机的横滚角，并获取雷视设备的安装高度，即雷视设备与探测平面的垂直距离，将雷视设备的安装高度记为hr。
步骤403、姿态探测模块将雷达的俯仰角，偏航角，横滚角，相机的俯仰角，偏航角，横滚角和雷视设备的安装高度发送给中央处理模块。
步骤404、中央处理模块基于雷达的俯仰角，雷达的偏航角，雷达的横滚角，相机的俯仰角，相机的偏航角，相机的横滚角，雷视设备的安装高度和相机的内部参数(即相机内参)，确定雷达坐标系与相机坐标系之间的标定矩阵，该标定矩阵用于表示雷达坐标系与相机坐标系之间的相关转换关系。
该相机的内部参数可以包括：镜头焦距f，图像坐标系原点在像素坐标系中的坐标(u0，v0)，每个像素点在图像平面x、y方向上的物理尺寸dx、dy。
为了确定雷达坐标系与相机坐标系之间的标定矩阵，可以采用如下方式：
步骤a1、基于雷达的俯仰角(如pitch_radar)，雷达的偏航角(如yaw_radar)和雷达的横滚角(如roll_radar)确定第一平移旋转矩阵，该第一平移旋转矩阵可以包括雷达绕x轴旋转的坐标变换矩阵Rx_r，雷达绕y轴旋转的坐标变换矩阵Ry_r，雷达绕z轴旋转的坐标变换矩阵Rz_r，r表示雷达的平移旋转矩阵。
比如说，可以基于平移旋转矩阵原理得到雷达的第一平移旋转矩阵，例如，参见公式(1)所示，可以基于雷达的俯仰角pitch_radar确定雷达绕x轴旋转的坐标变换矩阵Rx_r，参见公式(2)所示，可以基于雷达的横滚角roll_radar确定雷达绕y轴旋转的坐标变换矩阵Ry_r，参见公式(3)所示，可以基于雷达的偏航角yaw_radar确定雷达绕z轴旋转的坐标变换矩阵Rz_r。
Figure BDA0002761527880000141
Figure BDA0002761527880000142
Figure BDA0002761527880000143
从上述公式(1)、公式(2)和公式(3)可以看出，坐标变换矩阵Rx_r、坐标变换矩阵Ry_r和坐标变换矩阵Rz_r均是三行三列的坐标变换矩阵。
参见图5所示，为旋转平移的示意图，Rx_r、Ry_r和Rz_r分别为雷达绕x轴、y轴和z轴旋转的坐标变换矩阵，pitch_radar、roll_radar和yaw_radar分别为雷达的俯仰角、横滚角和偏航角，可以由姿态传感器采集得到。
步骤a2、基于相机的俯仰角(如pitch_camera)，相机的偏航角(如yaw_camera)和相机的横滚角(如roll_camera)，确定第二平移旋转矩阵，该第二平移旋转矩阵可以包括相机绕x轴旋转的坐标变换矩阵Rx_c，相机绕y轴旋转的坐标变换矩阵Ry_c，相机绕z轴旋转的坐标变换矩阵Rz_c，c表示相机的平移旋转矩阵。
比如说，可以基于平移旋转矩阵原理得到相机的第二平移旋转矩阵，例如，参见公式(4)所示，可以基于相机的俯仰角pitch_camera确定相机x轴旋转的坐标变换矩阵Rx_c，参见公式(5)所示，可以基于相机的横滚角roll_camera确定相机绕y轴旋转的坐标变换矩阵Ry_c，参见公式(6)所示，可以基于相机的偏航角yaw_camera确定相机绕z轴旋转的坐标变换矩阵Rz_c。
Figure BDA0002761527880000151
Figure BDA0002761527880000152
Figure BDA0002761527880000153
步骤a3、基于第一平移旋转矩阵，第二平移旋转矩阵，雷视设备的安装高度和相机的内部参数，确定雷达坐标系与相机坐标系之间的标定矩阵。比如说，可以采用公式(7)确定雷达坐标系与相机坐标系之间的标定矩阵：
Figure BDA0002761527880000154
在公式(7)中，(u,v)表示相机坐标系中的坐标，(xr,yr)表示雷达坐标系中的坐标。示例性的，若雷达探测到的数据为三维数据，即探测到的坐标为(xr,yr,zr)，则公式(7)中的(xr,yr,-hr)可以替换为(xr,yr,zr)，也可以继续使用(xr,yr,-hr)，若雷达探测到的数据为二维数据，即探测到的坐标为(xr,yr)，则公式(7)采用(xr,yr,-hr)。
综上所述，针对相机坐标系中的任一坐标(u,v)，可以通过公式(7)，将该坐标(u,v)转换为雷达坐标系中的坐标(xr,yr)。同理，针对雷达坐标系中的任一坐标(xr,yr)，可以通过公式(7)，将该坐标(xr,yr)转换为相机坐标系中的坐标(u,v)。
显然，坐标(u,v)与(xr,yr)之间的转换关系就是雷达坐标系与相机坐标系之间的转换关系，即雷达坐标系与相机坐标系之间的标定矩阵，参见公式(7)所示。
在公式(7)中，dx、dy、(u0，v0)和f为相机的内部参数，不会随相机的转动而变化，为已知量，具体含义参见上述实施例，在此不再重复赘述。Rx_r、Ry_r和Rz_r为第一平移旋转矩阵，Rx_c、Ry_c和Rz_c为第二平移旋转矩阵，hr为雷视设备的安装高度，具体获取方式参见上述实施例，在此不再重复赘述。
在公式(7)中，Yc表示相机坐标系(光心坐标系)下相机与目标对象沿光轴的距离，可看做比例系数，通过归一化得到。从公式(7)可以看出，
Figure BDA0002761527880000161
Figure BDA0002761527880000162
显然，能够得到Yc的值。
下面结合具体应用场景，对公式(7)的标定矩阵的推导过程进行说明。
示例性的，世界坐标系是绝对坐标系，雷达坐标系与世界坐标系之间的关系可用旋转矩阵、平移矩阵、雷达探测/成像关系来描述，比如说，雷达坐标系(xr,yr,zr)与世界坐标系(Xw,Yw,Zw)的转换公式可以参见公式(8)所示。
Figure BDA0002761527880000163
在公式(8)中，zr＝-hr，hr表示雷视设备的安装高度。
示例性的，世界坐标系是绝对坐标系，相机坐标系与世界坐标系之间的关系可用旋转矩阵、平移矩阵、雷达探测/成像关系来描述，比如说，相机坐标系(u,v)与世界坐标系(Xw,Yw,Zw)的转换公式可以参见公式(9)所示。
Figure BDA0002761527880000171
示例性的，结合雷达坐标系(xr,yr,zr)与世界坐标系(Xw,Yw,Zw)之间的转换关系，以及，相机坐标系(u,v)与世界坐标系(Xw,Yw,Zw)之间的转换关系，就可以得到雷达坐标系(xr,yr,zr)与相机坐标系(u,v)之间的转换关系，参见公式(7)所示，该转换关系为雷达坐标系(xr,yr,zr)与相机坐标系(u,v)之间的标定矩阵。
步骤405、中央处理模块基于标定矩阵实现雷达和相机对同一目标对象的检测。比如说，当雷视设备的监控区域出现目标对象后，雷达和相机探测到目标对象后，各自将目标对象的信息输入到中央处理模块，由中央处理模块将雷达获取的目标对象的探测数据与相机获取的目标对象的探测数据进行关联。
由以上技术方案可见，本申请实施例中，可以基于雷达的姿态数据，相机的姿态数据，相机的内部参数和雷视设备的安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵，而不需要人工标定雷达坐标系与相机坐标系之间的标定矩阵，不需要用户参与标定过程，从而实现标定矩阵的自动标定，适合在各种无法进行人工标定的场景使用，场景适应性比较强，可以实现免人工标定，节省人力成本，用户体验较好。在雷达或者相机的姿态数据发生变化，或者雷视设备的安装高度发生变化时，可以重新确定标定矩阵，及时快速更新标定矩阵，避免标定矩阵失效。
基于与上述方法同样的申请构思，本申请实施例中提出一种目标检测装置，所述装置应用于雷视设备，所述雷视设备至少包括雷达和相机，所述雷达探测的空间范围与所述相机探测的空间范围有重叠区域，参见图6所示，为所述目标检测装置的结构示意图，所述装置包括：
获取模块61，用于获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；
确定模块62，用于基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
在一种可能的实施方式中，所述雷视设备包括第一姿态传感器，第二姿态传感器和测距传感器；所述获取模块61获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度时具体用于：
通过所述第一姿态传感器获取所述雷达的第一姿态数据；其中，所述第一姿态数据包括所述雷达的俯仰角，偏航角和横滚角；
通过所述第二姿态传感器获取所述相机的第二姿态数据；其中，所述第二姿态数据包括所述相机的俯仰角，偏航角和横滚角；
通过所述测距传感器获取所述雷视设备的安装高度。
在一种可能的实施方式中，所述确定模块62基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵时具体用于：
基于所述雷达的第一姿态数据确定第一平移旋转矩阵；其中，所述第一平移旋转矩阵包括所述雷达绕x轴旋转的坐标变换矩阵，所述雷达绕y轴旋转的坐标变换矩阵，所述雷达绕z轴旋转的坐标变换矩阵；
基于所述相机的第二姿态数据确定第二平移旋转矩阵；其中，所述第二平移旋转矩阵包括所述相机绕x轴旋转的坐标变换矩阵，所述相机绕y轴旋转的坐标变换矩阵，所述相机绕z轴旋转的坐标变换矩阵；
基于所述第一平移旋转矩阵，所述第二平移旋转矩阵，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
在一种可能的实施方式中，所述获取模块61获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度时具体用于：
在所述雷视设备已安装完成时，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或者，
若所述雷达的姿态数据和/或所述相机的姿态数据发生变化，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或，
若所述雷视设备的安装高度发生变化，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或者，
基于预设周期，获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度。
在一种可能的实施方式中，所述装置还包括检测模块63，所述检测模块63，用于基于所述标定矩阵实现所述雷达和所述相机对同一目标对象的检测；
所述检测模块63基于所述标定矩阵实现所述雷达和所述相机对同一目标对象的检测时具体用于：根据所述标定矩阵，将所述雷达探测的第一目标对象的雷达坐标转换到所述第一目标对象在相机坐标系中的图像坐标；基于所述第一目标对象在相机坐标系中的图像坐标，从所述相机探测的目标对象中确定与所述第一目标对象为同一目标对象的第二目标对象；将所述雷达获取的所述第一目标对象的探测数据与所述相机获取的所述第二目标对象的探测数据进行关联，并基于关联数据对所述第二目标对象的运动轨迹进行更新。
所述检测模块63基于所述标定矩阵实现所述雷达和所述相机对同一目标对象的检测时具体用于：根据所述标定矩阵，将所述相机探测的第三目标对象的图像坐标转换到所述第三目标对象在雷达坐标系中的雷达坐标；基于所述第三目标对象在雷达坐标系中的雷达坐标，从所述雷达探测的目标对象中确定与所述第三目标对象为同一目标对象的第四目标对象；将所述相机获取的所述第三目标对象的探测数据与所述雷达获取的所述第四目标对象的探测数据进行关联，并基于关联数据对所述第三目标对象的运动轨迹进行更新。
基于与上述方法同样的申请构思，本申请实施例中提出一种雷视设备，参见图7所示，所述雷视设备可以包括：处理器71和机器可读存储介质72，所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令；所述处理器71用于执行机器可执行指令，以实现如下步骤：
获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度；
基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的目标检测方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
基于与上述方法同样的申请构思，本申请实施例还提供一种雷视设备，所述雷视设备至少包括第一姿态传感器，第二姿态传感器，测距传感器，雷达，相机和处理器；所述第一姿态传感器，用于获取所述雷达的第一姿态数据；所述第二姿态传感器，用于获取所述相机的第二姿态数据；所述测距传感器，用于获取所述雷视设备的安装高度；所述雷达，用于对目标对象进行探测，得到目标对象的探测数据；所述相机，用于对目标对象进行探测，得到目标对象的探测数据；所述处理器，用于基于所述雷达的第一姿态数据，所述相机的第二姿态数据，相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵；基于所述标定矩阵，所述雷达探测的目标对象的探测数据，所述相机探测的目标对象的探测数据，实现所述雷达和所述相机对同一目标对象的检测。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，所述方法应用于雷视设备，所述雷视设备至少包括雷达和相机，所述雷达探测的空间范围与所述相机探测的空间范围有重叠区域，所述方法包括：
获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；
基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
2.根据权利要求1所述的方法，其特征在于，所述雷视设备包括第一姿态传感器，第二姿态传感器和测距传感器；所述获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度，包括：
通过所述第一姿态传感器获取所述雷达的第一姿态数据；其中，所述第一姿态数据包括所述雷达的俯仰角，偏航角和横滚角；
通过所述第二姿态传感器获取所述相机的第二姿态数据；其中，所述第二姿态数据包括所述相机的俯仰角，偏航角和横滚角；
通过所述测距传感器获取所述雷视设备的安装高度。
3.根据权利要求1所述的方法，其特征在于，所述基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵，包括：
基于所述雷达的第一姿态数据确定第一平移旋转矩阵；其中，所述第一平移旋转矩阵包括所述雷达绕x轴旋转的坐标变换矩阵，所述雷达绕y轴旋转的坐标变换矩阵，所述雷达绕z轴旋转的坐标变换矩阵；
基于所述相机的第二姿态数据确定第二平移旋转矩阵；其中，所述第二平移旋转矩阵包括所述相机绕x轴旋转的坐标变换矩阵，所述相机绕y轴旋转的坐标变换矩阵，所述相机绕z轴旋转的坐标变换矩阵；
基于所述第一平移旋转矩阵，所述第二平移旋转矩阵，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度，包括：
在所述雷视设备已安装完成时，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或者，
若所述雷达的姿态数据和/或所述相机的姿态数据发生变化，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或，
若所述雷视设备的安装高度发生变化，则获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；或者，
基于预设周期，获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
基于所述标定矩阵实现所述雷达和所述相机对同一目标对象的检测；
具体包括：
根据所述标定矩阵，将所述雷达探测的第一目标对象的雷达坐标转换到所述第一目标对象在相机坐标系中的图像坐标；
基于所述第一目标对象在相机坐标系中的图像坐标，从所述相机探测的目标对象中确定与所述第一目标对象为同一目标对象的第二目标对象；
将所述雷达获取的所述第一目标对象的探测数据与所述相机获取的所述第二目标对象的探测数据进行关联，并基于关联数据对所述第二目标对象的运动轨迹进行更新。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：基于所述标定矩阵实现所述雷达和所述相机对同一目标对象的检测；
具体包括：
根据所述标定矩阵，将所述相机探测的第三目标对象的图像坐标转换到所述第三目标对象在雷达坐标系中的雷达坐标；
基于所述第三目标对象在雷达坐标系中的雷达坐标，从所述雷达探测的目标对象中确定与所述第三目标对象为同一目标对象的第四目标对象；
将所述相机获取的所述第三目标对象的探测数据与所述雷达获取的所述第四目标对象的探测数据进行关联，并基于关联数据对所述第三目标对象的运动轨迹进行更新。
7.根据权利要求1-3任一项所述的方法，其特征在于，
所述雷达为毫米波雷达，所述相机为枪机。
8.一种目标检测装置，其特征在于，所述装置应用于雷视设备，所述雷视设备至少包括雷达和相机，所述雷达探测的空间范围与所述相机探测的空间范围有重叠区域，所述装置包括：
获取模块，用于获取所述雷达的第一姿态数据，所述相机的第二姿态数据和所述雷视设备的安装高度；
确定模块，用于基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
9.一种雷视设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
获取雷达的第一姿态数据，相机的第二姿态数据和雷视设备的安装高度；
基于所述雷达的第一姿态数据，所述相机的第二姿态数据，所述相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵。
10.一种雷视设备，其特征在于，所述雷视设备至少包括第一姿态传感器，第二姿态传感器，测距传感器，雷达，相机和处理器；其中：
所述第一姿态传感器，用于获取所述雷达的第一姿态数据；
所述第二姿态传感器，用于获取所述相机的第二姿态数据；
所述测距传感器，用于获取所述雷视设备的安装高度；
所述雷达，用于对目标对象进行探测，得到目标对象的探测数据；
所述相机，用于对目标对象进行探测，得到目标对象的探测数据；
所述处理器，用于基于所述雷达的第一姿态数据，所述相机的第二姿态数据，相机的内部参数和所述安装高度，确定雷达坐标系与相机坐标系之间的标定矩阵；基于所述标定矩阵，所述雷达探测的目标对象的探测数据，所述相机探测的目标对象的探测数据，实现所述雷达和所述相机对同一目标对象的检测。
CN202011219388.6A 2020-11-04 2020-11-04 一种目标检测方法、装置及设备 Pending CN112485785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011219388.6A CN112485785A (zh) 2020-11-04 2020-11-04 一种目标检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011219388.6A CN112485785A (zh) 2020-11-04 2020-11-04 一种目标检测方法、装置及设备

Publications (1)

Publication Number Publication Date
CN112485785A true CN112485785A (zh) 2021-03-12

Family

ID=74928091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011219388.6A Pending CN112485785A (zh) 2020-11-04 2020-11-04 一种目标检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112485785A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436279A (zh) * 2021-07-23 2021-09-24 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN114235003A (zh) * 2021-11-16 2022-03-25 中国航空工业集团公司雷华电子技术研究所 一种机载雷达天线运动参数的解算方法及测姿系统
CN114879184A (zh) * 2021-11-29 2022-08-09 比业电子（北京）有限公司 雷达、扶梯的失效检测方法、装置、电子设备和存储介质
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190004178A1 (en) * 2016-03-16 2019-01-03 Sony Corporation Signal processing apparatus and signal processing method
US20190204427A1 (en) * 2017-12-28 2019-07-04 Lyft, Inc. Sensor calibration facility

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190004178A1 (en) * 2016-03-16 2019-01-03 Sony Corporation Signal processing apparatus and signal processing method
US20190204427A1 (en) * 2017-12-28 2019-07-04 Lyft, Inc. Sensor calibration facility

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
林鸿生;胡春生;: "三维成像激光雷达图像与摄像机图像的融合", 内燃机与动力装置, no. 1, pages 7 - 10 *
许小徐;黄影平;胡兴;: "智能汽车激光雷达和相机数据融合系统标定", 光学仪器, no. 06, pages 82 - 89 *
贾子永;任国全;李冬伟;程子阳;: "基于梯形棋盘格的摄像机和激光雷达标定方法", 计算机应用, no. 07, pages 2062 - 2066 *
贾子永;任国全;李冬伟;程子阳;: "视觉与激光雷达信息融合的目标领航车识别方法", 火力与指挥控制, no. 06, pages 60 - 64 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436279A (zh) * 2021-07-23 2021-09-24 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN114235003A (zh) * 2021-11-16 2022-03-25 中国航空工业集团公司雷华电子技术研究所 一种机载雷达天线运动参数的解算方法及测姿系统
CN114235003B (zh) * 2021-11-16 2023-08-18 中国航空工业集团公司雷华电子技术研究所 一种机载雷达天线运动参数的解算方法及测姿系统
CN114879184A (zh) * 2021-11-29 2022-08-09 比业电子（北京）有限公司 雷达、扶梯的失效检测方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN112485785A (zh) 一种目标检测方法、装置及设备
EP3182157B1 (en) Method for creating a spatial model with a hand-held distance measuring device
JP5192822B2 (ja) 少なくとも１つの標的の測量方法及びその測地装置
US10341647B2 (en) Method for calibrating a camera and calibration system
CN101451833B (zh) 激光测距装置及方法
KR20180044279A (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
CN111936821A (zh) 用于定位的系统和方法
US9612115B2 (en) Target-correlated electronic rangefinder
US20130322697A1 (en) Speed Calculation of a Moving Object based on Image Data
CN112394347B (zh) 一种目标检测方法、装置及设备
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN105182319A (zh) 一种基于射频和双目视觉的目标定位系统及方法
JP6773573B2 (ja) 位置特定装置、位置特定方法、位置特定システム、位置特定用プログラム、無人航空機および無人航空機識別用ターゲット
GB2483224A (en) Imaging device with measurement and processing means compensating for device motion
WO2022077296A1 (zh) 三维重建方法、云台负载、可移动平台以及计算机可读存储介质
CN115023627A (zh) 用于将世界点投影到滚动快门图像的高效算法
CN113767264A (zh) 参数标定方法、装置、系统和存储介质
CN114296057A (zh) 一种计算测距系统相对外参的方法、装置和存储介质
TWI726630B (zh) 地圖建構系統以及地圖建構方法
JP2022538571A (ja) 調整装置及びライダー測定装置
CN113433566B (zh) 地图建构系统以及地图建构方法
JPH06300844A (ja) 相対方位測定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination