CN110660186A - 基于雷达信号在视频图像中识别目标对象的方法及装置 - Google Patents

基于雷达信号在视频图像中识别目标对象的方法及装置 Download PDF

Info

Publication number
CN110660186A
CN110660186A CN201810712994.8A CN201810712994A CN110660186A CN 110660186 A CN110660186 A CN 110660186A CN 201810712994 A CN201810712994 A CN 201810712994A CN 110660186 A CN110660186 A CN 110660186A
Authority
CN
China
Prior art keywords
image
radar
coordinate value
coordinate
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810712994.8A
Other languages
English (en)
Other versions
CN110660186B (zh
Inventor
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810712994.8A priority Critical patent/CN110660186B/zh
Publication of CN110660186A publication Critical patent/CN110660186A/zh
Application granted granted Critical
Publication of CN110660186B publication Critical patent/CN110660186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于雷达信号在视频图像中识别目标对象的方法及装置，该方法包括：获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像；基于所述雷达信号确定所述目标对象在雷达平面坐标系上的投影区域；将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息；确定所述目标对象在所述视频图像中的高度信息；基于所述位置信息、所述宽度信息，以及所述高度信息，确定所述目标对象在所述视频图像中的图像区域。应用该方法，可以实现在视频图像中完整准确地识别出侵入监测区域的目标对象，从而实现准确无误地监测监控区域中是否侵入可疑对象。

Description

基于雷达信号在视频图像中识别目标对象的方法及装置
技术领域
本申请涉及安防技术领域，尤其涉及一种基于雷达信号在视频图像中识别目标对象的方法及装置。
背景技术
在传统安防系统中，通常利用单一的监控设备对监控区域进行监测，以在监测到可疑对象侵入监控区域时进行报警。其中，可以利用摄像机采集监控场景的视频图像，在采集到的视频图像中提取出前景目标，后续通过计算机视觉算法对该前景目标进行特征提取，以确定该前景目标是否为可疑对象；还可以利用雷达对监控场景进行探测，通过对探测得到的雷达信号进行处理分析，以确定监控场景中是否侵入有可疑对象。
然而，一方面，摄像机采集到的视频图像很容易受到环境影响，例如，在大雾、风雨等恶劣天气条件下，摄像机所采集到的视频图像将不清晰，从而，在视频图像中无法准确提取出完整的前景目标，也就无法准确提取到前景目标的特征；另一方面，利用雷达对监控场景进行探测，虽然探测到的雷达信号不受环境影响，且基于该雷达信号可以获取到目标对象的速度、方位等信息，但是，由于雷达信号并不反应探测到的目标对象的直观特征，从而，也就无法进一步基于雷达信号对探测到对象进行分类识别，以确定探测到的对象是否为可疑对象。
综上所述，在传统的安防系统中，采用单一的监控设备并无法实现准确无误地监测监控区域中是否侵入可疑对象。
发明内容
有鉴于此，本申请提供一种基于雷达信号在视频图像中识别目标对象的方法及装置，以实现在视频图像中完整准确地识别出侵入监测区域的目标对象，从而便于后续准确提取该目标对象的特征，以确定该目标对象是否为可疑对象，从而实现准确无误地监测监控区域中是否侵入有可疑对象。
根据本申请实施例的第一方面，提供一种基于雷达信号在视频图像中识别目标对象的方法，所述方法包括：
获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像；
基于所述雷达信号确定所述目标对象在雷达平面坐标系上的投影区域；
将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息；
确定所述目标对象在所述视频图像中的高度信息；
基于所述位置信息、所述宽度信息，以及所述高度信息，确定所述目标对象在所述视频图像中的图像区域。
可选的，所述将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息，包括：
将所述投影区域的指定顶点在所述雷达平面坐标系下的雷达坐标值与预先确定的单应性矩阵进行设定运算，得到所述指定顶点在所述图像平面坐标系下的图像坐标值；
根据所述指定顶点在所述图像平面坐标系下的图像坐标值确定所述目标对象在所述视频图像中的位置信息、宽度信息。
可选的，所述单应性矩阵通过以下方式确定：
获取至少一组标定参数，每一组所述标定参数包括N个坐标值对，每一所述坐标值对包括标定参照物在雷达坐标系中的雷达坐标值和所述标定参照物在图像坐标系中的图像坐标值；
其中，所述N为不小于4的自然数，每一所述坐标值对中的雷达坐标值与图像坐标值在时间和空间上满足预设匹配条件，所述N个坐标值对中的N个雷达坐标值分别对应的坐标点在所述雷达坐标系中不共线，且所述N个坐标值对中的N个图像坐标值分别对应的坐标点在所述图像坐标系中不共线；
基于所述至少一组标定参数求解出一个用于将雷达坐标值转换为图像坐标值的单应性矩阵。
可选的，所述基于所述至少一组标定参数求解出一个用于将雷达坐标值映射为图像坐标值的单应性矩阵，包括：
针对所述至少一组标定参数中的任一组标定参数，基于所述标定参数与待求解的坐标转换系数矩阵组成齐次方程组，以求解齐次方程组的形式求解出所述待求解的坐标转换系数矩阵；
在所求解出的至少一个坐标转换系数矩阵中，选取一个坐标转换系数矩阵作为用于将雷达坐标值映射为图像坐标值的单应性矩阵。
可选的，所述将所述投影区域的指定顶点在所述雷达平面坐标系下的雷达坐标值与预先确定的单应性矩阵进行设定运算，得到所述指定顶点在所述图像平面坐标系下的图像坐标值，包括：
将所述投影区域的左下顶点和右下顶点各自在所述雷达平面坐标系下的雷达坐标值，分别与预先确定的单应性矩阵进行设定运算，得到所述左下顶点在所述图像平面坐标系下的第一图像坐标值，以及所述右下顶点在所述图像平面坐标系下的第二图像坐标值；
所述根据所述指定顶点在所述图像平面坐标系下的图像坐标值确定所述目标对象在所述视频图像中的位置信息、宽度信息，包括：
将所述第一图像坐标值与所述第二图像坐标值确定为所述目标对象在所述视频图像中的位置信息；
将所述第一图像坐标值与所述第二图像坐标值之间的欧式距离确定为所述目标对象在所述视频图像中的宽度信息。
可选的，在所述方法之前，所述方法还包括：
确定所述视频图像中像素点的像素大小对应的真实物理距离；
所述确定所述目标对象在所述视频图像中的高度信息包括：
利用预设的物理高度除以所述像素点的像素大小对应的真实物理距离，将计算得到的结果确定为所述目标对象在所述视频图像中的高度信息。
可选的，所述确定所述视频图像中像素点的像素大小对应的真实物理距离，包括：
选取第一坐标值对和第二坐标值对，所述第一坐标值对包括第一雷达坐标值和第一图像坐标值，所述第二坐标值对包括第二雷达坐标值和第二图像坐标值，所述第一雷达坐标值和第一图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值，所述第二雷达坐标值和第二图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值；
计算出所述第一雷达坐标值与所述第二雷达坐标值在所述雷达平面坐标系的指定坐标轴方向上的第一距离差值，并计算出所述第一图像坐标值与所述第二图像坐标值在所述图像平面坐标系的指定坐标轴方向上的第二距离差值；
利用所述第一距离差值除以所述第二距离差值，将计算得到的结果确定为所述视频图像中像素点的像素大小对应的真实物理距离。
可选的，所述确定所述目标对象在所述视频图像中的高度信息包括：
根据所述摄像机相对于监控区域的安装高度与安装角度、所述目标对象与所述摄像机之间的水平真实物理距离，以及所述监控区域在所述视频图像中的高度信息确定目标对象在视频图像中的高度信息。
可选的，所述方法还包括：
检测所述目标对象在雷达平面坐标系上的投影区域是否处于设定的警戒区域中；
若是，则对所述目标对象在所述视频图像中的图像区域进行分类识别；根据分类识别的结果确定是否执行报警处理。
根据本申请实施例的第二方面，提供一种基于雷达信号在视频图像中识别目标对象的装置，所述装置包括：
获取模块，用于获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像；
投影区域确定模块，用于基于所述雷达信号确定所述目标对象在雷达平面坐标系上的投影区域；
映射模块，用于将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息；
高度确定模块，用于确定所述目标对象在所述视频图像中的高度信息；
图像区域确定模块，用于基于所述位置信息、所述宽度信息，以及所述高度信息，确定所述目标对象在所述视频图像中的图像区域。
可选的，所述映射模块包括：
运算子模块，用于将所述投影区域的指定顶点在所述雷达平面坐标系下的雷达坐标值与预先确定的单应性矩阵进行设定运算，得到所述指定顶点在所述图像平面坐标系下的图像坐标值；
第一确定子模块，用于根据所述指定顶点在所述图像平面坐标系下的图像坐标值确定所述目标对象在所述视频图像中的位置信息、宽度信息。
可选的，所述装置还包括：
参数获取模块，用于获取至少一组标定参数，每一组所述标定参数包括N个坐标值对，每一所述坐标值对包括标定参照物在雷达坐标系中的雷达坐标值和所述标定参照物在图像坐标系中的图像坐标值；
其中，所述N为不小于4的自然数，每一所述坐标值对中的雷达坐标值与图像坐标值在时间和空间上满足预设匹配条件，所述N个坐标值对中的N个雷达坐标值分别对应的坐标点在所述雷达坐标系中不共线，且所述N个坐标值对中的N个图像坐标值分别对应的坐标点在所述图像坐标系中不共线；
求解模块，用于基于所述至少一组标定参数求解出一个用于将雷达坐标值转换为图像坐标值的单应性矩阵。
可选的，所述求解模块包括：
矩阵求解子模块，用于针对所述至少一组标定参数中的任一组标定参数，基于所述标定参数与待求解的坐标转换系数矩阵组成齐次方程组，以求解齐次方程组的形式求解出所述待求解的坐标转换系数矩阵；
矩阵选取子模块，用于在所求解出的至少一个坐标转换系数矩阵中，选取一个坐标转换系数矩阵作为用于将雷达坐标值映射为图像坐标值的单应性矩阵。
可选的，所述运算子模块具体用于：
将所述投影区域的左下顶点和右下顶点各自在所述雷达平面坐标系下的雷达坐标值，分别与预先确定的单应性矩阵进行设定运算，得到所述左下顶点在所述图像平面坐标系下的第一图像坐标值，以及所述右下顶点在所述图像平面坐标系下的第二图像坐标值；
所述第一确定子模块具体用于：
将所述第一图像坐标值与所述第二图像坐标值确定为所述目标对象在所述视频图像中的位置信息；
将所述第一图像坐标值与所述第二图像坐标值之间的欧式距离确定为所述目标对象在所述视频图像中的宽度信息。
可选的，所述装置还包括：
距离确定模块，用于确定所述视频图像中像素点的像素大小对应的真实物理距离；
所述高度确定模块具体用于：
利用预设的物理高度除以所述像素点的像素大小对应的真实物理距离，将计算得到的结果确定为所述目标对象在所述视频图像中的高度信息。
可选的，所述距离确定模块包括：
选取模块，用于选取第一坐标值对和第二坐标值对，所述第一坐标值对包括第一雷达坐标值和第一图像坐标值，所述第二坐标值对包括第二雷达坐标值和第二图像坐标值，所述第一雷达坐标值和第一图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值，所述第二雷达坐标值和第二图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值；
计算模块，用于计算出所述第一雷达坐标值与所述第二雷达坐标值在所述雷达平面坐标系的指定坐标轴方向上的第一距离差值，并计算出所述第一图像坐标值与所述第二图像坐标值在所述图像平面坐标系的指定坐标轴方向上的第二距离差值；
第二确定子模块，用于利用所述第一距离差值除以所述第二距离差值，将计算得到的结果确定为所述视频图像中像素点的像素大小对应的真实物理距离。
可选的，所述高度确定模块具体用于：
根据所述摄像机相对于监控区域的安装高度与安装角度、所述目标对象与所述摄像机之间的水平真实物理距离，以及所述监控区域在所述视频图像中的高度信息确定目标对象在视频图像中的高度信息。
可选的，所述装置还包括：
检测模块，用于检测所述目标对象在雷达平面坐标系上的投影区域是否处于设定的警戒区域中；
识别模块，用于若检测到所述目标对象在所述视频图像中的图像区域进行分类识别；
报警模块，用于根据分类识别的结果确定是否执行报警处理。
根据本申请实施例的第三方面，提供一种计算机设备，包括处理器、通信接口、存储器和通信总线；
其中，所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一基于雷达信号在视频图像中识别目标对象的方法的步骤。
根据本申请实施例的第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一基于雷达信号在视频图像中识别目标对象的方法的步骤。
由上述实施例可见，通过获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像，基于雷达信号确定目标对象在雷达平面坐标系上的投影区域，后续将该投影区域映射至图像平面坐标系，则可以得到目标对象在视频图像中的位置信息、宽度信息，后续进一步确定目标对象在视频图像中的高度信息，基于该位置信息、该宽度信息、该高度信息，即可确定目标对象在视频图像中的图像区域，由此可见，由于雷达信号不受环境影响，从而基于雷达信号在视频图像中确定出的目标对象则较为准确，从而后续基于视频图像可以准确提取到目标对象的特征，以确定该目标对象是否为可疑对象，从而实现准确无误地监测监控区域中是否侵入有可疑对象。
附图说明
图1为本申请一示例性实施例示出的一种实现基于雷达信号在视频图像中识别目标对象的方法的应用场景示意图；
图2为本申请一示例性实施例提供的基于雷达信号在视频图像中识别目标对象的方法的实施例流程图；
图3为地面上的监测区域与雷达平面坐标系的俯视图一种示例；
图4为摄像机120对监控区域130进行监测的模型示意图；
图5为视频图像的一种示例；
图6为雷达目标与视频图像中的图像区域之间映射关系的一种示例；
图7为本申请一示例性实施例示出的基于雷达信号在视频图像中识别目标对象的方法的另一个实施例流程图；
图8为载有标定参照物的车辆的移动轨迹的一种示例；
图9为雷达坐标值与图像坐标值的对应关系的一种示例；
图10为本申请基于雷达信号在视频图像中识别目标对象的装置所在计算机设备的一种硬件结构图；
图11为本申请一示例性实施例示出的基于雷达信号在视频图像中识别目标对象的装置的实施例框图；
图12为本申请一示例性实施例提供的计算机设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参见图1，为本申请一示例性实施例示出的一种实现基于雷达信号在视频图像中识别目标对象的方法的应用场景示意图。如图1所示，针对同一监控区域130，同时布设雷达110与摄像机120，其中，雷达110内部的发射机(图1中并未示出)可向监控区域130发射无线电波，雷达110内部的接收机(图1中并未示出)可接收散射回波，也即雷达信号，基于该雷达信号可以确定监控区域130是否侵入有目标对象，例如，如图1所示，监控区域130侵入有目标对象140，进一步，基于该雷达信号还可以获取到目标对象140的距离、速度、方位等信息，并且所获取到目标对象140的距离、速度、方位等信息较为准确；摄像机120则可以采集监控区域130的视频图像，通过对该视频图像进行分析处理，可以确定监控区域130是否侵入有目标对象，例如，如图1所示，监控区域130侵入有目标对象140，进一步通过该视频图像可以提取到目标对象140的直观特征，通过这些直观特征，即可以分析出目标对象140是否为可疑对象，例如，假设分析得出目标对象140为小鸟，则目标对象140并非为可疑对象，又例如，假设分析得出目标对象140为车辆或人，则目标对象140为可疑对象。
需要说明的是，图1中所示例的雷达110与摄像机120各自相对于监控区域130的布设位置仅仅作为示例，在实际应用中，还可以存在其他布设雷达110与摄像机120的方式，例如，可以将雷达110与摄像机120布设于同一位置上，本申请实施例对此并不作限制，此外，雷达110可以为毫米波雷达，摄像机120可以为球形摄像机、双目摄像机、鱼眼摄像机等等，本申请实施例对此不作限制。
本领域技术人员可以理解的是，上述目标对象140的距离、速度、方位等信息是无法通过视频图像准确获取到的，同时，上述直观特征也是无法通过雷达信号获取到的，由此可见，仅通过雷达110或仅通过摄像机120所获取到的针对目标对象的信息比较单一，通过单一的信息并无法实现准确无误地监测监控区域中是否侵入可疑对象。
基于此，本申请实施例提供一种基于雷达信号在视频图像中识别目标对象的方法，通过该方法，可以实现基于雷达信号在视频图像中识别出目标对象(也即雷达目标)，从而同时获取到目标对象的距离、速度、方位等信息，以及该目标对象的直观特征，以便后续利用获取到的信息与直观特征对目标对象进行进一步的分析处理，可以准确无误地识别出目标对象是否为可疑对象，也即实现准确无误地监测监控区域中是否侵入可疑对象。
如下，示出下述实施例对本申请实施例提供的基于雷达信号在视频图像中识别目标对象的方法进行详细说明：
实施例一：
请参见图2，为本申请一示例性实施例提供的基于雷达信号在视频图像中识别目标对象的方法的实施例流程图，该方法在上述图1所示应用场景的基础上，可以包括以下步骤：
步骤201：获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像。
以图1所示例的应用场景为例，在本申请实施例中，可以获取雷达110与摄像机120的相同时刻采集目标对象140的雷达信号，视频图像。
步骤202：基于雷达信号确定目标对象在雷达平面坐标系上的投影区域。
在本申请实施例中，可以以雷达所在位置为坐标原点，定义一个与地面平行的雷达平面坐标系，例如，该雷达平面坐标系以指向雷达右侧方向为X轴正方向，以指向雷达正前方方向为Y轴正方向，例如，如图3所示，为地面上的监测区域与雷达平面坐标系的俯视图一种示例。通过图3所示例的雷达平面坐标系，可以直观地表示出雷达目标与雷达之间的真实物理距离，例如，假设某一点在雷达平面坐标系中的雷达坐标为(1.16，7.55)，则表示该点在X轴方向所对应的物理方位上，与雷达之间的真实物理距离为1.16m，该点在Y轴方向所对应的物理方位上，与雷达之间的真实物理距离为7.55m。
在本申请实施例中，可以基于雷达信号确定目标对象在图3所示例的雷达平面坐标系上的投影区域。具体的，可以基于雷达信号在距离-多普勒维度上的频谱宽度以及雷达目标点的分布范围等信息，在地面上的监测区域中确定出目标对象，例如，如图3中所示例的黑色实线所围成的不规则区域表示目标对象，后续，进一步获取该不规则区域的外接矩形，例如，如图3中所示例的黑色虚线所围成的矩形区域，那么，在本申请实施例中，则可以将该矩形区域作为目标对象在雷达平面坐标系上的投影区域。
在本申请实施例中，具体是如何基于雷达信号在距离-多普勒维度上的频谱宽度以及雷达目标点的分布范围等信息，在地面上的监测区域中确定出目标对象的，本领域技术人员可以参见现有技术中的相关描述，本申请对此不再详述。
步骤203：将投影区域映射至图像平面坐标系，得到目标对象在视频图像中的位置信息、宽度信息。
首先说明，本申请实施例中所描述的图像平面坐标系以视频图像的左上角顶点在坐标原点，以水平向右为X轴正方向，以垂直向下为Y轴正方向。
单应性被定义为从一个平面到另一个平面的投影映射，本申请实施例中利用单应性矩阵，将投影区域映射至图像平面坐标系，具体可以为：将投影区域的指定顶点在雷达平面坐标系下的雷达坐标值与单应性矩阵进行设定运算，例如，按照如下公式(一)进行运算，得到该指定顶点在图像平面坐标系下的图像坐标值。
Figure BDA0001717018240000121
在上述公式(一)中，
Figure BDA0001717018240000122
即表示单应性矩阵，(x'，y')表示图像坐标值，(x，y)表示雷达坐标值。
在本申请实施例中，可以采用标定方式获取上述单应性矩阵，获取该单应性矩阵的具体过程，还请参见下述实施例二中的详细描述，在此先不做详述。
在一实施例中，上述指定顶点可以为投影区域的左下顶点(例如图3中所示例的点A)和右下顶点(例如图3中所示例的点B)，那么，通过按照上述公式(一)进行运算，即可得到左下顶点A与右下顶点B各自在图像坐标系下的图像坐标值。需要说明的是，在本申请实施例中，为了描述方便，将投影区域的左下顶点A在图像平面坐标系下的图像坐标值称为第一图像坐标值，将投影区域的右下顶点B在图像平面坐标系下的图像坐标值称为第二图像坐标值。
后续，可以将第一图像坐标值与第二图像坐标值确定为目标对象在视频图像中的位置信息，并将第一图像坐标值与第二图像坐标值之间的欧式距离确定为目标对象在视频图像中的宽度信息。
步骤204：确定目标对象在视频图像中的高度信息。
在一实施例中，可以利用预设的物理高度，例如2m，除以视频图像中像素点的像素大小对应的真实物理距离，将计算得到的结果作为目标对象在视频图像中的高度信息，其中，计算得出视频图像中像素点的像素大小对应的真实物理距离的具体过程，可以参见下述实施例二中的详细描述，在此先不作详述。
举例来说，假设视频图像中像素点的像素大小对应的真实物理距离为0.2m，那么，利用预设的物理高度2m除以该0.2m，所得到的值为10，那么，目标对象在视频图像中的高度信息则为10个像素点的大小。
在一实施例中，若雷达110与摄像机120布设于同一位置，则可以根据摄像机120相对于监控区域130的安装角度
Figure BDA0001717018240000131
与安装高度h，目标对象与摄像机120之间的水平真实距离c(由于雷达110与摄像机120布设于同一位置，从而通过雷达110探测得到的雷达信号即可得到c的具体值)，以及监控区域130在视频图像中的高度信息Hs，再结合摄像机120的完整视场角ψ，即可推算出某一高度的目标对象在视频图像上的高度信息hp。
具体的，如图4所示，为摄像机120对监控区域130进行监测的模型示意图。如图4所示，监控区域130的左侧边界与摄像机120之间的水平距离为a，右侧边界与摄像机120之间的水平距离为b，摄像机120的完整视场角为ψ，监控区域130对应的相机视场角，即摄像机130相对于监控区域130的安装角度为
Figure BDA0001717018240000132
目标对象(图4中的粗实线即表示目标对象)对应的相机视场角为φ，其中，上述a、b，以及ψ的值为已知值，上述
Figure BDA0001717018240000133
则可以通过如下公式(二)计算得出：
Figure BDA0001717018240000134
在上述公式(二)中，Hs、H均为已知值。
基于与上述公式(二)同样的原理，则可以得知：
Figure BDA0001717018240000135
继而，对上述公式(三)进行变形，即可得到：
上述φ的求解过程如下：
参见图4可知：
Figure BDA0001717018240000141
Figure BDA0001717018240000142
Figure BDA0001717018240000143
结合上述公式(五)、(六)、(七)即可求解出h、φ。
进一步，将求解出的φ代入上述公式(四)，即可计算得出hp。
步骤205：基于目标图像在视频图像中的位置信息、宽度信息以及高度信息，确定目标对象在视频图像中的图像区域。
本领域技术人员可以理解的是，基于上述步骤中得到的目标对象在视频图像中的位置信息、宽度信息以及高度信息，即可得到目标对象在视频图像中的对应区域。
在一实施例中，可以将该对应区域直接作为目标对象在视频图像中图像区域。
在一实施例中，可以对该对应区域进行扩张，将扩张得到的区域作为目标对象在视频图像中的图像区域，例如，如图5所示，视频图像的一种示例，在图5中，虚线矩形框表示目标对象在视频图像中的对应区域，实线矩形框则表示目标对象在视频图像中的图像区域。本领域技术人员可以理解的是，通过该种处理，可以使得图像区域中包含完整的目标对象。
为了使本领域技术人员可以更加清楚地理解通过雷达信号确定出的目标对象与视频图像中的图像区域之间的映射关系，示出图6，该图6为雷达目标与视频图像中的图像区域之间映射关系的一种示例。
由上述实施例可见，通过获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像，基于雷达信号确定目标对象在雷达平面坐标系上的投影区域，后续将该投影区域映射至图像平面坐标系，则可以得到目标对象在视频图像中的位置信息、宽度信息，后续进一步确定目标对象在视频图像中的高度信息，基于该位置信息、该宽度信息、该高度信息，即可确定目标对象在视频图像中的图像区域，由此可见，由于雷达信号不受环境影响，从而基于雷达信号在视频图像中确定出的目标对象则较为准确，从而后续基于视频图像可以准确提取到目标对象的特征，以确定该目标对象是否为可疑对象，从而实现准确无误地监测监控区域中是否侵入有可疑对象。
基于上述实施例，可将上述方法应用于非法入侵检测的应用场景，例如，如图1所示，监控区域130侵入有目标对象140，此时，雷达110可以采集到该目标对象140的雷达信号，同时，摄像机120可以采集到监控区域130的视频图像，基于该雷达信号可以获取到目标对象140的距离、速度、方位等信息，并且所获取到目标对象140的距离、速度、方位等信息较为准确，进一步，应用上述方法，可以确定目标对象140在雷达平面坐标系上的投影区域，并确定该投影区域在视频图像中对应的图像区域，之后，可以确定该投影区域是否位于预设的警戒区域150中，若是，则可以对该图像区域进行分类识别，例如，将该图像区域输入设定的卷积神经网络CNN，以对目标对象进行分类识别，后续，则可以根据分类识别的结果确定是否执行报警处理，例如，若分类识别结果表示目标对象140为人或车辆，则确定目标对象140为可疑对象，并执行报警处理，又例如，若分类识别结果表示目标对象140为小鸟，则可以确定目标对象140并非为可疑对象，从而可以不执行报警处理。
至此，完成实施例一的相关描述。
实施例二：
请参见图7，为本申请一示例性实施例示出的基于雷达信号在视频图像中识别目标对象的方法的另一个实施例流程图，用于预先标定出将雷达坐标值转换为图像坐标值的单应性矩阵，该方法在上述图2所示方法的基础上，可以包括以下步骤：
步骤701：获取至少一组标定参数，每一组标定参数包括N个坐标值对，每一坐标值对包括标定参照物在雷达坐标系中的雷达坐标值与该标定参照物在图像坐标系中的图像坐标值，其中，N为不小于4的自然数，每一坐标值对中的雷达坐标值与图像坐标值在时间和空间上满足预设匹配条件，N个坐标值对中的N个雷达坐标值分别对应的坐标点在雷达坐标系中不共线，且N个坐标值对中的N个图像坐标值分别对应的坐标点在图像坐标系中不共线。
步骤702：基于至少一组标定参数，求解出一个用于将雷达坐标值映射为图像坐标值的单应性矩阵。
如下，对上述步骤701至步骤702进行描述：
在本申请实施例中，可以获取至少一组标定参数，每一组标定参数包括N个坐标值对，每一坐标值对包括标定参照物在雷达坐标系中的雷达坐标值与标定参数物在图像坐标系中的图像坐标值，也即，每一组标定参数包括N个设定点的雷达坐标值与图像坐标值。
以一组标定参数为例，可以借助角反射器等设备实现一个较为明显的标定参照物，在一实施例中，可以将该标定参照物置于一个可移动物体，例如车辆上，之后，控制该车辆载有该标定参照物在监控区域130中按照预设的轨迹进行移动，在移动过程中，雷达110会按照其信号采集时间间隔采集雷达信号，每采集一次雷达信号，则可以获取一个雷达平面坐标系下的雷达坐标值，同时，摄像机120也将按照其图像采集时间间隔对该标定参照物进行图像采集，每采集一次，则可以得到一幅视频图像，进而得到一个图像平面坐标系下的图像坐标值。
需要说明的是，上述车辆的移动轨迹可以不为一条直线，且尽量均匀的分布在监控区域130中，例如，如图8所示，为载有标定参照物的车辆的移动轨迹的一种示例。
后续，以N为4为例，可以在上述雷达110所采集到的雷达坐标值中选择4个雷达坐标值，并且在摄像机120所采集到的图像坐标值中选择4个图像坐标值，利用该4个雷达坐标值与该4个图像坐标值组成4个坐标值对，其中，每一坐标值对中的雷达坐标值与图像坐标值在时间和空间上满足预设匹配条件。
上述预设匹配条件可以为：坐标值对中的雷达坐标值与图像坐标值是在近似同一时刻，对近似同一空间位置上的标定参照物进行采集得到的。
具体过程为：若雷达110的信号采集时刻与摄像机120的图像采集时刻严格同步，那么，则可以按照时间顺序，将雷达110采集到的雷达坐标值与摄像机120采集到的图像坐标值进行一一对应，然后从中挑选出4组对应的雷达坐标值与图像坐标值即可。
若雷达110的信号采集时刻与摄像机120的图像采集时刻并不严格同步，那么则可以首先按照采集时刻，将在同一时刻采集到的雷达坐标值与图像坐标值挑选出来，并进行一一对应，组成坐标值对，若此时坐标值对的数量小于4，例如为2对，那么，则可以继续根据标定参照物的运动轨迹、速度等信息，从剩余的雷达坐标值与图像坐标值中再匹配出2对坐标值对即可。
如图9所示，为雷达坐标值与图像坐标值的对应关系的一种示例，在图9中，每一对以直线相连的雷达坐标值与图像坐标值即组成一对坐标值对。
需要说明的是，在本申请实施例中，所选取的N个坐标值对中的N个雷达坐标值分别对应的坐标点在雷达坐标系中不共线，并且，该N个坐标值对中的N个图像坐标值分别对应的坐标点在图像坐标系中也不共线。
如下，描述基于一组标定参数，求解出一个用于将雷达坐标值映射为图像坐标值的单应性矩阵的具体过程：
首先说明，在上述实施例一所示例的单应性矩阵中，另h33＝1，那么该单应性矩阵则有8个自由度，则至少需要4对特征点才可求解出该单应性矩阵，那么，上述N可以为不小于4的自然数。以N＝4为例，假设得到的4个目标点在雷达平面坐标系下的雷达坐标值分别为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，并假设该4个目标点在图像平面坐标系下的图像坐标值分别为(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')，基于该假设，为了求解得到单应性矩阵，可以写出如下A*x＝B形式的齐次方程组：
Figure BDA0001717018240000181
齐次方程组
在上述齐次方程组中，系数矩阵是由N对坐标值对中的坐标值按照既定方式组合而成，待求解的坐标转换系数矩阵则为待求解的单应性矩阵中的各个元素组成，那么，通过对上述齐次方程组进行求解，即可得到待求解的坐标转换系数矩阵，也即单应性矩阵中的各个元素。
另外，在求解上述齐次方程组的过程中，可以用到下述公式(八)与公式(九)，本领域技术人员可以通过上述实施例一中的公式(一)，结合数学概念，得到该公式(八)与公式(九)：
Figure BDA0001717018240000182
Figure BDA0001717018240000183
通过上述描述可知，基于一组标定参数，即可求解出一个坐标转换系数矩阵，那么，基于至少一组标定参数，则可求解出至少一个坐标转换系数矩阵，此时，可以在求解出的至少一个坐标转换系数矩阵中选取其中一个作为本申请实施例中参与运算的单应性矩阵，例如，可以通过随机采样一致性算法，在求解出的至少一个单应性矩阵中选取其中一个。
本领域技术人员可以理解的是，上述描述的通过随机采样一致性算法，在求解出的至少一个单应性矩阵中选取其中一个仅仅作为举例，在实际应用中，还可以存在其他算法，本申请对此并不作限制。
此外，在本申请实施例中，还可以选取第一坐标值对和第二坐标值对，例如，可以在上述一组标定参数中选取两对坐标值对，为了描述方便，将所选取的两对坐标值对分别称为第一坐标值对和第二坐标值对。
第一坐标值对包括第一雷达坐标值和第一图像坐标值，例如分别为(x1,y1)，(x1',y1')，第二坐标值对包括第二雷达坐标值和第二图像坐标值，例如分别为(x2,y2)、(x2',y2')，其中，第一雷达坐标值和第一图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值，第二雷达坐标值和第二图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值。
后续，计算出第一雷达坐标值与第二雷达坐标值在雷达平面坐标系的指定坐标轴方向上，例如X轴方向上的第一距离差值，并计算出第一图像坐标值与第二图像坐标值在图像平面坐标系的指定坐标轴方向上，例如X轴方向上的第二距离差值，利用下述公式(十一)进行计算，将计算得到的结果确定为视频图像中像素点的像素大小对应的真实物理距离d。
由上述实施例可见，通过获取至少一组包括N个坐标值对的标定参数，针对每一组标定参数进行求解，得到一个单应性矩阵，后续，在求解得到的至少一个单应性矩阵中选取其中一个单应性矩阵作为本申请中参与运算的单应性矩阵，由于在求解单应性矩阵的过程中，仅需涉及较为简单的矩阵求解算法，从而计算得到单应性矩阵的算法复杂性较低。
至此，完成实施例二的相关描述。
与前述基于雷达信号在视频图像中识别目标对象的方法的实施例相对应，本申请还提供了基于雷达信号在视频图像中识别目标对象的装置的实施例。
本申请基于雷达信号在视频图像中识别目标对象的装置的实施例可以应用在计算机设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为本申请基于雷达信号在视频图像中识别目标对象的装置所在计算机设备的一种硬件结构图，除了图10所示的处理器1001、内存1002、网络接口1003、以及非易失性存储器1004之外，实施例中装置所在的计算机设备通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图11，为本申请一示例性实施例示出的基于雷达信号在视频图像中识别目标对象的装置的实施例框图，该装置可以包括：获取模块1101、投影区域确定模块1102、映射模块1103、高度确定模块1104，以及图像区域确定模块1105。
其中，获取模块1101，可以用于获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像；
投影区域确定模块1102，可以用于基于所述雷达信号确定所述目标对象在雷达平面坐标系上的投影区域；
映射模块1103，可以用于将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息；
高度确定模块1104，可以用于确定所述目标对象在所述视频图像中的高度信息；
图像区域确定模块1105，可以用于基于所述位置信息、所述宽度信息，以及所述高度信息，确定所述目标对象在所述视频图像中的图像区域。
在一实施例中，所述映射模块1103可以包括(图11中未示出)：
运算子模块，用于将所述投影区域的指定顶点在所述雷达平面坐标系下的雷达坐标值与所述单应性矩阵进行设定运算，得到所述指定顶点在所述图像平面坐标系下的图像坐标值；
第一确定子模块，用于根据所述指定顶点在所述图像平面坐标系下的图像坐标值确定所述目标对象在所述视频图像中的位置信息、宽度信息。
在一实施例中，所述运算子模块具体可以用于：
将所述投影区域的左下顶点和右下顶点各自在所述雷达平面坐标系下的雷达坐标值，分别与预先确定的单应性矩阵进行设定运算，得到所述左下顶点在所述图像平面坐标系下的第一图像坐标值，以及所述右下顶点在所述图像平面坐标系下的第二图像坐标值；
所述第一确定子模块具体可以用于：
将所述第一图像坐标值与所述第二图像坐标值确定为所述目标对象在所述视频图像中的位置信息；
将所述第一图像坐标值与所述第二图像坐标值之间的欧式距离确定为所述目标对象在所述视频图像中的宽度信息。
在一实施例中，所述装置还可以包括(图11中未示出)：
参数获取模块，用于获取至少一组标定参数，每一组所述标定参数包括N个坐标值对，每一所述坐标值对包括标定参照物在雷达坐标系中的雷达坐标值和所述标定参照物在图像坐标系中的图像坐标值；
其中，所述N为不小于4的自然数，每一所述坐标值对中的雷达坐标值与图像坐标值在时间和空间上满足预设匹配条件，所述N个坐标值对中的N个雷达坐标值分别对应的坐标点在所述雷达坐标系中不共线，且所述N个坐标值对中的N个图像坐标值分别对应的坐标点在所述图像坐标系中不共线；
求解模块，用于基于所述至少一组标定参数求解出一个用于将雷达坐标值转换为图像坐标值的单应性矩阵。
在一实施例中，所述求解模块包括(图11中未示出)：
矩阵求解子模块，用于针对所述至少一组标定参数中的任一组标定参数，基于所述标定参数与待求解的坐标转换系数矩阵组成齐次方程组，以求解齐次方程组的形式求解出所述待求解的坐标转换系数矩阵；
矩阵选取子模块，用于在所求解出的至少一个坐标转换系数矩阵中，选取一个坐标转换系数矩阵作为用于将雷达坐标值映射为图像坐标值的单应性矩阵。
在一实施例中，所述运算子模块具体可以用于：
将所述投影区域的左下顶点和右下顶点各自在所述雷达平面坐标系下的雷达坐标值，分别与预先确定的单应性矩阵进行设定运算，得到所述左下顶点在所述图像平面坐标系下的第一图像坐标值，以及所述右下顶点在所述图像平面坐标系下的第二图像坐标值；
所述第一确定子模块具体可以用于：
将所述第一图像坐标值与所述第二图像坐标值确定为所述目标对象在所述视频图像中的位置信息；
将所述第一图像坐标值与所述第二图像坐标值之间的欧式距离确定为所述目标对象在所述视频图像中的宽度信息。
在一实施例中，所述装置还可以包括(图11中未示出)：
距离确定模块，用于确定所述视频图像中像素点的像素大小对应的真实物理距离；
所述高度确定模块1104可以具体用于：
利用预设的物理高度除以所述像素点的像素大小对应的真实物理距离，将计算得到的结果确定为所述目标对象在所述视频图像中的高度信息。
在一实施例中，所述距离确定模块，可以包括(图11中未示出)：
选取模块，用于选取第一坐标值对和第二坐标值对，所述第一坐标值对包括第一雷达坐标值和第一图像坐标值，所述第二坐标值对包括第二雷达坐标值和第二图像坐标值，所述第一雷达坐标值和第一图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值，所述第二雷达坐标值和第二图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值；
计算模块，用于计算出所述第一雷达坐标值与所述第二雷达坐标值在所述雷达平面坐标系的指定坐标轴方向上的第一距离差值，并计算出所述第一图像坐标值与所述第二图像坐标值在所述图像平面坐标系的指定坐标轴方向上的第二距离差值；
第二确定子模块，用于利用所述第一距离差值除以所述第二距离差值，将计算得到的结果确定为所述视频图像中像素点的像素大小对应的真实物理距离。
在一实施例中，所述高度确定模块1104可以具体用于：根据所述摄像机相对于监控区域的安装高度与安装角度、所述目标对象与所述摄像机之间的水平真实物理距离，以及所述监控区域在所述视频图像中的高度信息确定目标对象在视频图像中的高度信息。
在一实施例中，所述装置还可以包括(图11中未示出)：
检测模块，用于检测所述目标对象在雷达平面坐标系上的投影区域是否处于设定的警戒区域中；
识别模块，用于若检测到所述目标对象在所述视频图像中的图像区域进行分类识别；
报警模块，用于根据分类识别的结果确定是否执行报警处理。
请继续参见图12，本申请还提供一种计算机设备，包括处理器1201、通信接口1202、存储器1203，以及通信总线1204。
其中，处理器1201、通信接口1202、存储器1203通过通信总线1204进行相互间的通信；
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的计算机程序，处理器1201执行所述计算机程序时实现本申请提供的任一基于雷达信号在视频图像中识别目标对象的方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请提供的任一基于雷达信号在视频图像中识别目标对象的方法的步骤。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (20)

1.一种基于雷达信号在视频图像中识别目标对象的方法，其特征在于，所述方法包括：
获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像；
基于所述雷达信号确定所述目标对象在雷达平面坐标系上的投影区域；
将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息；
确定所述目标对象在所述视频图像中的高度信息；
基于所述位置信息、所述宽度信息，以及所述高度信息，确定所述目标对象在所述视频图像中的图像区域。
2.根据权利要求1所述的方法，其特征在于，所述将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息，包括：
将所述投影区域的指定顶点在所述雷达平面坐标系下的雷达坐标值与预先确定的单应性矩阵进行设定运算，得到所述指定顶点在所述图像平面坐标系下的图像坐标值；
根据所述指定顶点在所述图像平面坐标系下的图像坐标值确定所述目标对象在所述视频图像中的位置信息、宽度信息。
3.根据权利要求2所述的方法，其特征在于，所述单应性矩阵通过以下方式确定：
获取至少一组标定参数，每一组所述标定参数包括N个坐标值对，每一所述坐标值对包括标定参照物在雷达坐标系中的雷达坐标值和所述标定参照物在图像坐标系中的图像坐标值；
其中，所述N为不小于4的自然数，每一所述坐标值对中的雷达坐标值与图像坐标值在时间和空间上满足预设匹配条件，所述N个坐标值对中的N个雷达坐标值分别对应的坐标点在所述雷达坐标系中不共线，且所述N个坐标值对中的N个图像坐标值分别对应的坐标点在所述图像坐标系中不共线；
基于所述至少一组标定参数求解出一个用于将雷达坐标值转换为图像坐标值的单应性矩阵。
4.根据权利要求3所述的方法，其特征在于，所述基于所述至少一组标定参数求解出一个用于将雷达坐标值映射为图像坐标值的单应性矩阵，包括：
针对所述至少一组标定参数中的任一组标定参数，基于所述标定参数与待求解的坐标转换系数矩阵组成齐次方程组，以求解齐次方程组的形式求解出所述待求解的坐标转换系数矩阵；
在所求解出的至少一个坐标转换系数矩阵中，选取一个坐标转换系数矩阵作为用于将雷达坐标值映射为图像坐标值的单应性矩阵。
5.根据权利要求2所述的方法，其特征在于，所述将所述投影区域的指定顶点在所述雷达平面坐标系下的雷达坐标值与预先确定的单应性矩阵进行设定运算，得到所述指定顶点在所述图像平面坐标系下的图像坐标值，包括：
将所述投影区域的左下顶点和右下顶点各自在所述雷达平面坐标系下的雷达坐标值，分别与预先确定的单应性矩阵进行设定运算，得到所述左下顶点在所述图像平面坐标系下的第一图像坐标值，以及所述右下顶点在所述图像平面坐标系下的第二图像坐标值；
所述根据所述指定顶点在所述图像平面坐标系下的图像坐标值确定所述目标对象在所述视频图像中的位置信息、宽度信息，包括：
将所述第一图像坐标值与所述第二图像坐标值确定为所述目标对象在所述视频图像中的位置信息；
将所述第一图像坐标值与所述第二图像坐标值之间的欧式距离确定为所述目标对象在所述视频图像中的宽度信息。
6.根据权利要求1所述的方法，其特征在于，在所述方法之前，所述方法还包括：
确定所述视频图像中像素点的像素大小对应的真实物理距离；
所述确定所述目标对象在所述视频图像中的高度信息包括：
利用预设的物理高度除以所述像素点的像素大小对应的真实物理距离，将计算得到的结果确定为所述目标对象在所述视频图像中的高度信息。
7.根据权利要求6所述的方法，其特征在于，所述确定所述视频图像中像素点的像素大小对应的真实物理距离，包括：
选取第一坐标值对和第二坐标值对，所述第一坐标值对包括第一雷达坐标值和第一图像坐标值，所述第二坐标值对包括第二雷达坐标值和第二图像坐标值，所述第一雷达坐标值和第一图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值，所述第二雷达坐标值和第二图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值；
计算出所述第一雷达坐标值与所述第二雷达坐标值在所述雷达平面坐标系的指定坐标轴方向上的第一距离差值，并计算出所述第一图像坐标值与所述第二图像坐标值在所述图像平面坐标系的指定坐标轴方向上的第二距离差值；
利用所述第一距离差值除以所述第二距离差值，将计算得到的结果确定为所述视频图像中像素点的像素大小对应的真实物理距离。
8.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象在所述视频图像中的高度信息包括：
根据所述摄像机相对于监控区域的安装高度与安装角度、所述目标对象与所述摄像机之间的水平真实物理距离，以及所述监控区域在所述视频图像中的高度信息确定目标对象在视频图像中的高度信息。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述方法还包括：
检测所述目标对象在雷达平面坐标系上的投影区域是否处于设定的警戒区域中；
若是，则对所述目标对象在所述视频图像中的图像区域进行分类识别；
根据分类识别的结果确定是否执行报警处理。
10.一种基于雷达信号在视频图像中识别目标对象的装置，其特征在于，所述装置包括：
获取模块，用于获取雷达、摄像机在相同时刻采集目标对象的雷达信号、视频图像；
投影区域确定模块，用于基于所述雷达信号确定所述目标对象在雷达平面坐标系上的投影区域；
映射模块，用于将所述投影区域映射至图像平面坐标系，得到所述目标对象在所述视频图像中的位置信息、宽度信息；
高度确定模块，用于确定所述目标对象在所述视频图像中的高度信息；
图像区域确定模块，用于基于所述位置信息、所述宽度信息，以及所述高度信息，确定所述目标对象在所述视频图像中的图像区域。
11.根据权利要求10所述的装置，其特征在于，所述映射模块包括：
运算子模块，用于将所述投影区域的指定顶点在所述雷达平面坐标系下的雷达坐标值与预先确定的单应性矩阵进行设定运算，得到所述指定顶点在所述图像平面坐标系下的图像坐标值；
第一确定子模块，用于根据所述指定顶点在所述图像平面坐标系下的图像坐标值确定所述目标对象在所述视频图像中的位置信息、宽度信息。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
参数获取模块，用于获取至少一组标定参数，每一组所述标定参数包括N个坐标值对，每一所述坐标值对包括标定参照物在雷达坐标系中的雷达坐标值和所述标定参照物在图像坐标系中的图像坐标值；
其中，所述N为不小于4的自然数，每一所述坐标值对中的雷达坐标值与图像坐标值在时间和空间上满足预设匹配条件，所述N个坐标值对中的N个雷达坐标值分别对应的坐标点在所述雷达坐标系中不共线，且所述N个坐标值对中的N个图像坐标值分别对应的坐标点在所述图像坐标系中不共线；
求解模块，用于基于所述至少一组标定参数求解出一个用于将雷达坐标值转换为图像坐标值的单应性矩阵。
13.根据权利要求12所述的装置，其特征在于，所述求解模块包括：
矩阵求解子模块，用于针对所述至少一组标定参数中的任一组标定参数，基于所述标定参数与待求解的坐标转换系数矩阵组成齐次方程组，以求解齐次方程组的形式求解出所述待求解的坐标转换系数矩阵；
矩阵选取子模块，用于在所求解出的至少一个坐标转换系数矩阵中，选取一个坐标转换系数矩阵作为用于将雷达坐标值映射为图像坐标值的单应性矩阵。
14.根据权利要求11所述的装置，其特征在于，所述运算子模块具体用于：
将所述投影区域的左下顶点和右下顶点各自在所述雷达平面坐标系下的雷达坐标值，分别与预先确定的单应性矩阵进行设定运算，得到所述左下顶点在所述图像平面坐标系下的第一图像坐标值，以及所述右下顶点在所述图像平面坐标系下的第二图像坐标值；
所述第一确定子模块具体用于：
将所述第一图像坐标值与所述第二图像坐标值确定为所述目标对象在所述视频图像中的位置信息；
将所述第一图像坐标值与所述第二图像坐标值之间的欧式距离确定为所述目标对象在所述视频图像中的宽度信息。
15.根据权利要求10所述的装置，其特征在于，所述装置还包括：
距离确定模块，用于确定所述视频图像中像素点的像素大小对应的真实物理距离；
所述高度确定模块具体用于：
利用预设的物理高度除以所述像素点的像素大小对应的真实物理距离，将计算得到的结果确定为所述目标对象在所述视频图像中的高度信息。
16.根据权利要求15所述的装置，其特征在于，所述距离确定模块包括：
选取模块，用于选取第一坐标值对和第二坐标值对，所述第一坐标值对包括第一雷达坐标值和第一图像坐标值，所述第二坐标值对包括第二雷达坐标值和第二图像坐标值，所述第一雷达坐标值和第一图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值，所述第二雷达坐标值和第二图像坐标值分别为同一对象点在雷达坐标系下的坐标值、以及在图像坐标系下的坐标值；
计算模块，用于计算出所述第一雷达坐标值与所述第二雷达坐标值在所述雷达平面坐标系的指定坐标轴方向上的第一距离差值，并计算出所述第一图像坐标值与所述第二图像坐标值在所述图像平面坐标系的指定坐标轴方向上的第二距离差值；
第二确定子模块，用于利用所述第一距离差值除以所述第二距离差值，将计算得到的结果确定为所述视频图像中像素点的像素大小对应的真实物理距离。
17.根据权利要求10所述的装置，其特征在于，所述高度确定模块具体用于：
根据所述摄像机相对于监控区域的安装高度与安装角度、所述目标对象与所述摄像机之间的水平真实物理距离，以及所述监控区域在所述视频图像中的高度信息确定目标对象在视频图像中的高度信息。
18.根据权利要求10至17任一所述的装置，其特征在于，所述装置还包括：
检测模块，用于检测所述目标对象在雷达平面坐标系上的投影区域是否处于设定的警戒区域中；
识别模块，用于若检测到所述目标对象在所述视频图像中的图像区域进行分类识别；
报警模块，用于根据分类识别的结果确定是否执行报警处理。
19.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线；
其中，所述处理器、通信接口、存储器通过所述通信总线进行相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-9任一所述方法的步骤。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述方法的步骤。
CN201810712994.8A 2018-06-29 2018-06-29 基于雷达信号在视频图像中识别目标对象的方法及装置 Active CN110660186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810712994.8A CN110660186B (zh) 2018-06-29 2018-06-29 基于雷达信号在视频图像中识别目标对象的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810712994.8A CN110660186B (zh) 2018-06-29 2018-06-29 基于雷达信号在视频图像中识别目标对象的方法及装置

Publications (2)

Publication Number Publication Date
CN110660186A true CN110660186A (zh) 2020-01-07
CN110660186B CN110660186B (zh) 2022-03-01

Family

ID=69027112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810712994.8A Active CN110660186B (zh) 2018-06-29 2018-06-29 基于雷达信号在视频图像中识别目标对象的方法及装置

Country Status (1)

Country Link
CN (1) CN110660186B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429530A (zh) * 2020-04-10 2020-07-17 浙江大华技术股份有限公司 一种坐标标定方法及相关装置
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统
CN111626108A (zh) * 2020-04-17 2020-09-04 浙江大华技术股份有限公司 一种目标的识别方法及系统
CN111736169A (zh) * 2020-06-29 2020-10-02 杭州海康威视数字技术股份有限公司 一种数据同步方法、设备及系统
CN111929672A (zh) * 2020-08-06 2020-11-13 浙江大华技术股份有限公司 移动轨迹的确定方法及装置、存储介质和电子装置
CN111951331A (zh) * 2020-07-07 2020-11-17 中国人民解放军93114部队 基于视频图像的飞行装置精准定位方法、装置和电子设备
CN112015231A (zh) * 2020-07-31 2020-12-01 中标慧安信息技术股份有限公司 监控视频分区处理方法及系统
CN112016483A (zh) * 2020-08-31 2020-12-01 杭州海康威视数字技术股份有限公司 目标检测的接力系统、方法、装置及设备
CN112541953A (zh) * 2020-12-29 2021-03-23 江苏航天大为科技股份有限公司 一种基于雷达信号和视频同步坐标映射的车辆检测方法
CN112818170A (zh) * 2021-01-25 2021-05-18 浙江大华技术股份有限公司 移动参数显示方法和装置
CN113449571A (zh) * 2020-03-27 2021-09-28 杭州海康威视数字技术股份有限公司 目标对象的匹配方法及装置、目标对象监控系统
CN113567972A (zh) * 2021-08-03 2021-10-29 广州海事科技有限公司 基于雷达的海上监控方法、系统、设备及存储介质
CN113639871A (zh) * 2020-04-24 2021-11-12 杭州海康威视系统技术有限公司 目标对象检测方法、装置及设备、存储介质
CN114049733A (zh) * 2021-11-10 2022-02-15 通号通信信息集团有限公司 入侵检测方法、监控平台、入侵检测系统和可读存储介质
CN114333199A (zh) * 2020-09-30 2022-04-12 中国电子科技集团公司第五十四研究所 一种报警方法、设备及系统、芯片
CN114511978A (zh) * 2021-12-27 2022-05-17 浙江华锐捷技术有限公司 一种入侵预警方法、装置、车辆和计算机可读存储介质
CN115100293A (zh) * 2022-06-24 2022-09-23 河南工业大学 一种ads-b信号补盲方法
CN116106895A (zh) * 2023-02-21 2023-05-12 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法
CN113567972B (zh) * 2021-08-03 2024-07-02 广州海事科技有限公司 基于雷达的海上监控方法、系统、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049918A (zh) * 2011-10-17 2013-04-17 天津市亚安科技股份有限公司 一种视频监控中准确计算实际目标大小的方法
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
CN103176185A (zh) * 2011-12-26 2013-06-26 上海汽车集团股份有限公司 用于检测道路障碍物的方法及系统
US20160187477A1 (en) * 2014-12-29 2016-06-30 Sony Corporation Surveillance apparatus having a radar sensor
CN105893931A (zh) * 2015-02-16 2016-08-24 松下知识产权经营株式会社 物体检测装置和物体检测方法
JP2017508155A (ja) * 2014-02-28 2017-03-23 タイコ・ファイヤー・アンド・セキュリティ・ゲーエムベーハーＴｙｃｏ Ｆｉｒｅ ＆ Ｓｅｃｕｒｉｔｙ ＧｍｂＨ ワイヤレスセンサネットワークにおけるリアルタイム位置検出システム
KR20170070754A (ko) * 2015-12-14 2017-06-22 이우균 초광대역 레이더를 이용한 보안 시스템 및 그를 이용한 보안 서비스 제공 방법
CN107272021A (zh) * 2016-03-30 2017-10-20 德尔福技术有限公司 使用雷达和视觉定义的图像检测区域的对象检测
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
CN107766855A (zh) * 2017-10-25 2018-03-06 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
CN108198223A (zh) * 2018-01-29 2018-06-22 清华大学 一种激光点云与视觉图像映射关系快速精确标定方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049918A (zh) * 2011-10-17 2013-04-17 天津市亚安科技股份有限公司 一种视频监控中准确计算实际目标大小的方法
CN103176185A (zh) * 2011-12-26 2013-06-26 上海汽车集团股份有限公司 用于检测道路障碍物的方法及系统
CN103065323A (zh) * 2013-01-14 2013-04-24 北京理工大学 一种基于单应性变换矩阵的分段空间对准方法
JP2017508155A (ja) * 2014-02-28 2017-03-23 タイコ・ファイヤー・アンド・セキュリティ・ゲーエムベーハーＴｙｃｏ Ｆｉｒｅ ＆ Ｓｅｃｕｒｉｔｙ ＧｍｂＨ ワイヤレスセンサネットワークにおけるリアルタイム位置検出システム
US20160187477A1 (en) * 2014-12-29 2016-06-30 Sony Corporation Surveillance apparatus having a radar sensor
CN105893931A (zh) * 2015-02-16 2016-08-24 松下知识产权经营株式会社 物体检测装置和物体检测方法
KR20170070754A (ko) * 2015-12-14 2017-06-22 이우균 초광대역 레이더를 이용한 보안 시스템 및 그를 이용한 보안 서비스 제공 방법
CN107272021A (zh) * 2016-03-30 2017-10-20 德尔福技术有限公司 使用雷达和视觉定义的图像检测区域的对象检测
CN107590433A (zh) * 2017-08-04 2018-01-16 湖南星云智能科技有限公司 一种基于毫米波雷达和车载摄像头的行人检测方法
CN107766855A (zh) * 2017-10-25 2018-03-06 南京阿凡达机器人科技有限公司 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
CN107991671A (zh) * 2017-11-23 2018-05-04 浙江东车智能科技有限公司 一种基于雷达数据和视频信号融合识别危险目标的方法
CN108198223A (zh) * 2018-01-29 2018-06-22 清华大学 一种激光点云与视觉图像映射关系快速精确标定方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449571A (zh) * 2020-03-27 2021-09-28 杭州海康威视数字技术股份有限公司 目标对象的匹配方法及装置、目标对象监控系统
CN111458721A (zh) * 2020-03-31 2020-07-28 江苏集萃华科智能装备科技有限公司 一种暴露垃圾的识别定位方法、装置及系统
CN111429530B (zh) * 2020-04-10 2023-06-02 浙江大华技术股份有限公司 一种坐标标定方法及相关装置
CN111429530A (zh) * 2020-04-10 2020-07-17 浙江大华技术股份有限公司 一种坐标标定方法及相关装置
CN111626108A (zh) * 2020-04-17 2020-09-04 浙江大华技术股份有限公司 一种目标的识别方法及系统
CN111626108B (zh) * 2020-04-17 2023-04-21 浙江大华技术股份有限公司 一种目标的识别方法及系统
CN113639871B (zh) * 2020-04-24 2022-12-23 杭州海康威视系统技术有限公司 目标对象检测方法、装置及设备、存储介质
CN113639871A (zh) * 2020-04-24 2021-11-12 杭州海康威视系统技术有限公司 目标对象检测方法、装置及设备、存储介质
CN111736169A (zh) * 2020-06-29 2020-10-02 杭州海康威视数字技术股份有限公司 一种数据同步方法、设备及系统
CN111951331B (zh) * 2020-07-07 2024-02-27 中国人民解放军93114部队 基于视频图像的飞行装置精准定位方法、装置和电子设备
CN111951331A (zh) * 2020-07-07 2020-11-17 中国人民解放军93114部队 基于视频图像的飞行装置精准定位方法、装置和电子设备
CN112015231A (zh) * 2020-07-31 2020-12-01 中标慧安信息技术股份有限公司 监控视频分区处理方法及系统
CN111929672A (zh) * 2020-08-06 2020-11-13 浙江大华技术股份有限公司 移动轨迹的确定方法及装置、存储介质和电子装置
CN112016483A (zh) * 2020-08-31 2020-12-01 杭州海康威视数字技术股份有限公司 目标检测的接力系统、方法、装置及设备
CN112016483B (zh) * 2020-08-31 2024-06-04 杭州海康威视数字技术股份有限公司 目标检测的接力系统、方法、装置及设备
CN114333199A (zh) * 2020-09-30 2022-04-12 中国电子科技集团公司第五十四研究所 一种报警方法、设备及系统、芯片
CN114333199B (zh) * 2020-09-30 2024-03-26 中国电子科技集团公司第五十四研究所 一种报警方法、设备及系统、芯片
CN112541953A (zh) * 2020-12-29 2021-03-23 江苏航天大为科技股份有限公司 一种基于雷达信号和视频同步坐标映射的车辆检测方法
CN112541953B (zh) * 2020-12-29 2023-04-14 江苏航天大为科技股份有限公司 一种基于雷达信号和视频同步坐标映射的车辆检测方法
CN112818170A (zh) * 2021-01-25 2021-05-18 浙江大华技术股份有限公司 移动参数显示方法和装置
CN113567972B (zh) * 2021-08-03 2024-07-02 广州海事科技有限公司 基于雷达的海上监控方法、系统、设备及存储介质
CN113567972A (zh) * 2021-08-03 2021-10-29 广州海事科技有限公司 基于雷达的海上监控方法、系统、设备及存储介质
CN114049733A (zh) * 2021-11-10 2022-02-15 通号通信信息集团有限公司 入侵检测方法、监控平台、入侵检测系统和可读存储介质
CN114511978B (zh) * 2021-12-27 2024-02-20 浙江华锐捷技术有限公司 一种入侵预警方法、装置、车辆和计算机可读存储介质
CN114511978A (zh) * 2021-12-27 2022-05-17 浙江华锐捷技术有限公司 一种入侵预警方法、装置、车辆和计算机可读存储介质
CN115100293A (zh) * 2022-06-24 2022-09-23 河南工业大学 一种ads-b信号补盲方法
CN116342708A (zh) * 2022-12-05 2023-06-27 广西北港大数据科技有限公司 基于单应性变换的毫米波雷达与摄像头自动标定方法
CN116106895A (zh) * 2023-02-21 2023-05-12 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法
CN116106895B (zh) * 2023-02-21 2024-01-26 郑州大学 基于视觉与无线感知融合的多点微动智能监测系统与方法

Also Published As

Publication number Publication date
CN110660186B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN110660186B (zh) 基于雷达信号在视频图像中识别目标对象的方法及装置
CN111025283B (zh) 雷达与球机联动的方法及装置
US9286678B2 (en) Camera calibration using feature identification
CN102792314B (zh) 交叉通行碰撞警报系统
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN110264495B (zh) 一种目标跟踪方法及装置
CN112102409B (zh) 目标检测方法、装置、设备及存储介质
CN110067274B (zh) 设备控制方法及挖掘机
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
KR20160062880A (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
CN104954747B (zh) 视频监视方法和装置
CN113537049B (zh) 地面点云数据处理方法、装置、终端设备及存储介质
CN106778633B (zh) 一种基于区域分割的行人识别方法
CN116152863B (zh) 一种人员信息识别方法、装置、电子设备及存储介质
CN113743385A (zh) 一种无人船水面目标检测方法、装置及无人船
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN116311078A (zh) 一种林火分析及监测方法、系统
CN112800918A (zh) 一种非法运动目标的身份识别方法及装置
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
CN106780613B (zh) 多摄像头标定结果的可视化方法及其系统
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
Ko et al. Rectified trajectory analysis based abnormal loitering detection for video surveillance
CN110287957B (zh) 一种低慢小目标的定位方法及定位装置
CN112802100A (zh) 一种入侵检测方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant