CN114693799A - 参数标定方法、目标物体跟踪方法、设备和系统 - Google Patents

参数标定方法、目标物体跟踪方法、设备和系统 Download PDF

Info

Publication number
CN114693799A
CN114693799A CN202011628751.XA CN202011628751A CN114693799A CN 114693799 A CN114693799 A CN 114693799A CN 202011628751 A CN202011628751 A CN 202011628751A CN 114693799 A CN114693799 A CN 114693799A
Authority
CN
China
Prior art keywords
value
radar
camera
target object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011628751.XA
Other languages
English (en)
Inventor
汤琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202011628751.XA priority Critical patent/CN114693799A/zh
Publication of CN114693799A publication Critical patent/CN114693799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供一种参数标定方法、目标物体跟踪方法、设备和系统,参数标定方法包括:接收参数标定开始通知;响应于参数标定开始通知,获取摄像机拍摄到的第一图片;第一图片中包括第一物体的图像;从第一图片中检测到第一图像,第一图像是第一物体的图像;计算第一图像中目标像素对应的T值和P值;根据P值获取与第一物体匹配的第一目标物体;第一目标物体是雷达监测到的物体;查找第一目标物体的雷达坐标所在的第一网格;雷达坐标是雷达坐标系中的坐标;根据T值更新第一网格对应的参考值。本申请能够改善雷达联动摄像机进行目标物体跟踪时摄像机画面中只有目标物体的局部特征或者完全没有目标物体的情况,提高摄像机对目标物体的跟踪拍摄效果。

Description

参数标定方法、目标物体跟踪方法、设备和系统
技术领域
本申请涉及智能终端技术领域,特别涉及一种参数标定方法、目标物体跟踪方法、设备和系统。
背景技术
雷达与摄像机联动系统可以用于入侵监测,主要功能在于:对重点边界或者区域进行监控和管理,防止非法入侵或意外闯入,实时预览并跟踪监视非法入侵目标的入侵行为。由于雷达的坐标系(以下称为雷达坐标系)和摄像机的坐标系(以下称为摄像机坐标系)建立方法不同,为了实现雷达联动摄像机,需要通过执行参数标定来求取雷达坐标系中坐标与摄像机坐标系中坐标(以下称为摄像坐标)之间的转换关系,从而在雷达中按照雷达坐标系检测到目标物体后,能够将目标物体在雷达坐标系中的坐标转换为摄像机坐标系中的摄像坐标,使得摄像机能够基于转换得到的摄像坐标调整拍摄状态,准确的跟踪拍摄该目标物体的图像。
目前常见的参数标定方法有单点标定、多点标定和全球定位系统(GPS,GlobalPositioning System)标定等。但是,通过现有的标定方法标定完成后,在雷达联动摄像机进行目标物体跟踪时,存在摄像机拍摄的图像中只有目标物体的局部特征图像或者完全没有目标物体图像的情况,摄像机对目标物体的跟踪拍摄效果差。
发明内容
本申请提供了一种参数标定方法、设备和系统,能够改善雷达联动摄像机进行目标物体跟踪时摄像机拍摄图像中只有目标物体的局部特征图像或者完全没有目标物体图像的情况,提高摄像机对目标物体的跟踪拍摄效果。
本申请还提供了一种目标物体跟踪方法、设备和系统,能够基于本申请参数标定方法得到的参数标定结果设置摄像机的摄像坐标,提高雷达联动摄像机时摄像机对目标物体的跟踪拍摄效果。
第一方面,本申请实施例提供一种参数标定方法,包括:
接收参数标定开始通知;
响应于所述参数标定开始通知,获取所述摄像机拍摄到的第一图片;所述第一图片中包括至少一个物体的图像;
从所述第一图片中检测到第一图像,所述第一图像是第一物体的图像;所述第一物体是所述至少一个物体中的一个物体;
计算所述第一图像中目标像素对应的T值和P值,所述T值是所述摄像机拍摄到第二图片时的T值,所述P值是所述摄像机拍摄到第二图片时的P值,所述第二图片是所述目标像素位于图片指定位置的图片;
根据所述P值获取与所述第一物体匹配的第一目标物体;所述第一目标物体是雷达监测到的物体;
查找所述第一目标物体的雷达坐标所在的第一网格;所述雷达坐标是雷达坐标系中的坐标;
根据所述T值更新所述第一网格对应的参考值,所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值。
在一种可能的实现方式中,所述根据所述T值更新所述第一网格对应的参考值,包括:
计算历史T值以及所述目标像素对应的T值的平均值,将所述平均值作为所述参考值,所述历史T值是根据所述目标像素对应的T值更新所述参考值之前用于更新所述参考值的T值。
在一种可能的实现方式中,所述根据所述P值获取与所述第一物体匹配的第一目标物体,包括:
获取所述雷达监测到的目标物体的雷达坐标;
根据所述目标物体的雷达坐标计算所述目标物体的P值;
从所述目标物体中查找P值与所述第一物体的P值之间的差值小于预设第一阈值的目标物体,根据查找到的目标物体确定所述第一目标物体。
在一种可能的实现方式中,所述根据查找到的目标物体确定所述第一目标物体,包括:
如果查找到的目标物体的数量为1,将查找到的目标物体作为所述第一目标物体;
如果查找到的目标物体的数量大于1,从所述第一图片包括的物体图像中查找与所述第一图像之间的距离小于预设第二阈值的物体图像,如果查找到的物体图像的数量是第一数值,所述第一数值是查找到的目标物体的数量减1,将查找到的目标物体按照雷达坐标从远到近的顺序排序,将查找到的物体图像和所述第一图像按照从小到大的顺序排序,获取与所述第一图像的排序位置相同的目标物体,作为所述第一目标物体。
在一种可能的实现方式中,所述第一网格是预设网格地势图中的一个网格;所述预设网格地势图通过对所述雷达的监测区域进行网格划分得到;
该方法还包括:确定所述网格地势图的指定区域中已标定网格的占比达到预设第三阈值,结束所述参数标定,所述已标定网格是具有所述参数值的网格。
第二方面,本申请实施例提供一种目标物体跟踪方法,包括:
检测到目标物体时,获取目标物体的雷达坐标;所述雷达坐标是雷达坐标系中的坐标;
根据预设的雷达坐标系与摄像机坐标系之间的坐标转换关系,计算所述雷达坐标对应的PTZ值;
如果查找到与所述雷达坐标对应的参考值,根据所述参考值修正所述PTZ值中的T值;所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值;
将修正后的PTZ值发送至摄像机,所述修正后的PTZ值用于使得所述摄像机按照所述修正后的PTZ值进行图像拍摄。
在一种可能的实现方式中,所述根据所述参考值修正所述PTZ值中的T值,包括:
使用所述参考值替换所述PTZ值中的T值。
在一种可能的实现方式中,所述查找到与所述雷达坐标对应的参考值,包括:
查找到所述雷达坐标对应的第二网格;
如果所述第二网格具有对应的参考值,将所述第二网格对应的参考值作为与所述雷达坐标对应的参考值;
如果所述第二网格不具有对应的参考值,查找具有对应参考值的网格中距离所述第二网格最近的第三网格,如果所述第三网格与所述第二网格之间的距离不大于预设第四阈值,将所述第三网格对应的参考值作为所述雷达坐标对应的参考值。
第三方面,本申请实施例提供一种参数标定系统,包括:
摄像机,用于跟踪拍摄物体;
雷达,用于生成目标物体的雷达坐标,所述雷达坐标是雷达坐标系中的坐标;
处理设备,用于接收参数标定开始通知;响应于所述参数标定开始通知,获取所述摄像机拍摄到的第一图片;所述第一图片中包括至少一个物体的图像;从所述第一图片中检测到第一图像,所述第一图像是第一物体的图像;所述第一物体是所述至少一个物体中的一个物体;计算所述第一图像中目标像素对应的T值和P值,所述T值是所述摄像机拍摄到第二图片时的T值,所述P值是所述摄像机拍摄到第二图片时的P值,所述第二图片是所述目标像素位于图片指定位置的图片;根据所述P值获取与所述第一物体匹配的第一目标物体;所述第一目标物体是雷达监测到的物体;查找所述第一目标物体的雷达坐标所在的第一网格;所述雷达坐标是雷达坐标系中的坐标;根据所述T值更新所述第一网格对应的参考值,所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值。
在一种可能的实现方式中,还包括:
客户端设备,用于检测到所述用户的参数标定开始操作,向所述处理设备发送所述参数标定开始通知。
第四方面,本申请实施例提供一种目标物体跟踪系统,包括:
摄像机,用于跟踪拍摄目标物体;
雷达,用于生成所述目标物体的雷达坐标,所述雷达坐标是雷达坐标系中的坐标;
处理设备,用于检测到目标物体时,获取目标物体的雷达坐标;所述雷达坐标是雷达坐标系中的坐标;根据预设的雷达坐标系与摄像机坐标系之间的坐标转换关系,计算所述雷达坐标对应的PTZ值;如果查找到与所述雷达坐标对应的参考值,根据所述参考值修正所述PTZ值中的T值;所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值;将修正后的PTZ值发送至摄像机,所述修正后的PTZ值用于使得所述摄像机按照所述修正后的PTZ值进行图像拍摄。
第五方面,本申请实施例提供一种处理设备,包括:
一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行第一方面或第二方面任一项所述的方法。
第六方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行第一方面或第二方面任一项所述的方法。
本申请实施例参数标定方法中,接收参数标定开始通知,响应于所述参数标定开始通知,获取所述摄像机拍摄到的第一图片,所述第一图片中包括至少一个物体的图像,从所述第一图片中检测到第一图像,所述第一图像是第一物体的图像;所述第一物体是所述至少一个物体中的一个物体,计算所述第一图像中目标像素对应的T值和P值,所述T值是所述摄像机拍摄到第二图片时的T值,所述P值是所述摄像机拍摄到第二图片时的P值,所述第二图片是所述目标像素位于图片指定位置的图片,根据所述P值获取与所述第一物体匹配的第一目标物体,所述第一目标物体是雷达监测到的物体,查找所述第一目标物体的雷达坐标所在的第一网格;雷达坐标是雷达坐标系中的坐标,根据所述T值更新所述第一网格对应的参考值,所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值,从而得到了雷达监测区域的若干个网格对应的参考值,该参考值是摄像机的T值的参考值,只要在标定过程中,使得雷达监测区域中地势不平整区域包括的网格尽量都具有参考值,则可以使得摄像机在该网格处跟踪拍摄目标物体时,能够基于该参考值修正摄像机的T值,使得摄像机拍摄得到的图像中目标物体图像位于摄像机拍摄画面的合适位置。
附图说明
图1A为本申请实施例雷达坐标系建立方法一个示例图;
图1B为本申请实施例雷达坐标系建立方法另一个示例图;
图1C为本申请实施例雷达监测区域的网格化地势图示例图;
图1D为本申请实施例像素坐标系建立方法一个示例图;
图2A为本申请实施例参数标定方法的使用场景的一个示例图;
图2B为本申请实施例参数标定方法的适用场景的另一个示例图;
图3为本申请实施例参数标定方法的GUI以及数据交互示例图;
图4A为本申请参数标定方法一个实施例的流程图;
图4B为本申请参数标定方法另一个实施例的流程图;
图5为本申请目标物体跟踪方法一个实施例的流程图;
图6为本申请参数标定装置一个实施例的结构示意图;
图7为本申请目标物体跟踪装置一个实施例的结构示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
首先对本申请实施例涉及的名词进行示例性而非限定性的说明。
现有的实现方案中,参数标定方法有单点标定、多点标定和GPS标定等。单点标定方法主要用于雷达和摄像机的安装位置之间的水平距离为0m的情况下,通过采集一组标定点数据(包括标定点在雷达坐标系中的坐标、标定点图像位于摄像机拍摄图像中心点时摄像机在摄像机坐标系中的坐标)完成雷达和摄像机之间的参数标定。多点标定方法对雷达和摄像机之间的安装位置关系没有限制,通过采集三组以上标定点数据完成雷达和摄像机之间的参数标定。GPS标定方法对雷达和摄像机之间的安装位置关系没有限制,通过采集雷达和摄像机安装位置所对应的GPS数据以及采集一组标定点数据完成雷达和摄像机之间的参数标定。但是,通过现有的参数标定方法完成参数标定(也即得到雷达坐标系的坐标和摄像机坐标系的坐标之间的转换关系,以下简称为坐标转换关系)后,在雷达联动摄像机进行目标物体跟踪时,存在摄像机的拍摄图像中只有目标物体的局部特征图像或者完全没有目标物体图像的情况,而摄像机跟踪拍摄的主要目标是:尽量拍摄到完整的目标物体图像,并且,目标物体图像的中心点与拍摄图像的中心点尽量接近或重合,因此,摄像机对目标物体的跟踪拍摄效果差。举例来说,假设目标物体是人,存在摄像机拍摄的图像中只包括目标人的一部分图像或者完全没有目标人的图像的情况。
经发明人统计发现,目标物体处于雷达监测区域中的地势不平整区域时,容易出现摄像机拍摄的图像中目标物体图像不完整或者没有目标物体图像的情况,而且,目标物体不完整大多为垂直方向上的不完整,例如只有目标物体上半部分的图像、只有目标物体中间部分的图像、或者只有目标物体下半部分的图像等。而造成这种情况的原因主要在于:现有技术中单点标定、多点标定和GPS标定等标定方法,只能适用于雷达监测区域地势平整的情况下,也即是说:只有在目标物体处于地势平整区域时,使用现有技术的参数标定方法得到的坐标转换关系计算摄像机的摄像坐标,对摄像机拍摄状态进行调整,才能够使得摄像机拍摄的图像中目标物体图像位于图像的合适位置,达到较好的拍摄效果。如果目标物体处于地势不平整区域,仍然基于上述方式计算摄像坐标对摄像机拍摄状态进行调整,由于目标物体所在位置的垂直高度高于或者低于地势平整区域的地平面,因此才出现摄像机无法拍摄到目标物体完整图像甚至拍摄不到目标物体图像的情况。
为此,本申请实施例提出一种参数标定方法、处理设备和系统,能够改善上述雷达联动摄像机进行目标物体跟踪时摄像机拍摄画面中只有目标物体的局部特征或者完全没有目标物体的情况,提高雷达联动摄像机时摄像机对目标物体的跟踪拍摄效果。
进而,本申请实施例还提出一种目标物体跟踪方法、处理设备和系统,能够基于本申请实施例参数标定方法得到的标定结果设置摄像机的摄像坐标,提高雷达联动摄像机时摄像机对目标物体的跟踪拍摄效果。
首先,对本申请实施例中涉及到的名词进行示例性而非限定性的说明。
雷达:雷达,英文Radar的音译,源于radio detection and ranging的缩写,意思为"无线电探测和测距",即用无线电的方法发现目标并测定它们的空间位置。因此,雷达也被称为“无线电定位”。雷达是利用电磁波探测目标的电子设备。雷达发射电磁波对目标进行照射并接收其回波,由此获得目标至电磁波发射点的距离、距离变化率(径向速度)、方位、高度等信息。按雷达频段分,可分为超视距雷达、微波雷达、毫米波雷达等。
摄像机:摄像机,是把光学图象信号转变为电信号,以便于存储或者传输。当拍摄一个物体时,此物体上反射的光被摄像机镜头收集,使其聚焦在摄像器件的受光面上,再通过摄像器件把光转变为电能,即得到了“视频信号”。光电信号很微弱,需通过预放电路进行放大,再经过各种电路进行处理和调整,最后得到的标准信号可以送到录像机等记录媒介上记录下来,或通过传播系统传播或送到监视器上显示出来。球型摄像机:之所以叫做球型,仅是针对外形而言,能够自由调整视角的旋转角P、俯仰角T、以及变焦倍数Z,是一种PTZ相机,适用于目标跟踪抓拍,以及防区环视等。
雷达坐标系是基于雷达建立的坐标系,本申请实施例中以雷达坐标系是二维坐标系为例,具体的,参见图1A所示,可以以雷达10的物理中心点O’在水平面20上的投影点O作为雷达坐标系的原点,结合图1B所示,雷达在水平面20上的监测区域为例如图1B中所示的扇形区域,可以以与扇形区域的圆心角角平分线Oy作为y轴正方向,与Oy垂直的方向Ox作为x轴正方向。则雷达监测区域内的每一位置A均可以计算得到其在雷达坐标系中的坐标(x,y),本申请实施例中将雷达坐标系中的坐标称为雷达坐标。需要说明的是,图1B中雷达坐标系仅为示例,并不用以限制雷达坐标系的建立方法,例如,也可以以扇形区域的圆心角角平分线方向作为x轴正方向、或者以扇形的经过极点O的边界线作为x轴正方向等等均可以建立与图1B不同的雷达坐标系。需要说明的是,基于极坐标系和直角坐标系的转换原理可知,雷达坐标系也可以是极坐标系,具体建立方法本申请实施例不再赘述。
本申请实施例中,在雷达中建立雷达监测区域的网格化地势图,将雷达监测区域划分为若干个子区域,以方便后续记录雷达监测区域不同位置的雷达坐标对应的预设参数。本申请实施例将划分得到的子区域称为网格。划分得到的网格的面积可以相同或不同,为了便于管理和计算,优选为网格的面积相同。例如图1C所示,示出了一种雷达监测区域的网格化地势图的建立方法,具体的:雷达监测区域为扇形区域,建立雷达监测区域的外接矩形ABCD,将矩形ABCD平均划分为m行、n列,得到mn个矩形网格。图1C中m和n的取值均为4仅为示例,并不用以限制m、n的具体取值。图1C中将雷达监测区域划分为矩形网格仅为示例,并不用以限制本申请实施例参数标定方法中网格的划分方式,例如还可以将矩形ABCD划分为斜向网格、蜂窝状网格等等。雷达可以通过记录每一个网格的指定点例如中心点的雷达坐标来记录每个网格。需要说明的是,雷达监测区域划分的小区域的数量本申请实施例不作限定,但是,理论上来讲,划分得到的小区域越多,后续获取到的参数标定结果越精确,基于参数标定结果进行雷达联动摄像机时,摄像机对目标物体的跟踪拍摄效果越好。
摄像机坐标系是针对于摄像机的拍摄状态建立的坐标系,本申请实施例中以摄像机坐标系包括旋转角P、俯仰角T、以及变焦倍数Z这三个维度为例。具体的,摄像机中包括3个电机,本申请实施例中将3个电机分别称为水平电机、垂直电机以及变焦电机,其中,水平电机用于控制摄像机的镜头在水平方向转动,从而使得摄像机的拍摄方向在水平方向转动,垂直电机用于控制摄像机的镜头在垂直方向转动,从而使得摄像机的拍摄方向在垂直方向转动,变焦电机用于驱动摄像机镜头中的对焦镜片组移动,以改变摄像机镜头的变焦倍数,对焦镜片组相对于初始位置的移动距离与摄像机镜头的变焦倍数对应。这里的旋转角是指水平电机相对于水平初始方向的转动角度;俯仰角是指垂直电机相对于垂直初始方向的转动角度;变焦倍数是指相对于对焦镜片组初始位置、变焦电机驱动对焦镜片组移动的距离。摄像机镜头具有初始位置,可以在摄像机出厂时设置、或者用户使用过程中自主设置,相应的,在镜头初始位置下,水平电机、垂直电机以及对焦镜片组都具有自身的初始位置。摄像机获取水平电机相对于水平初始位置的转动角度,可以得到摄像机的旋转角,获取垂直电机相对于垂直初始位置的转动角度,可以得到摄像机的俯仰角,获取变焦电机驱动对焦镜片组移动的距离可以得到摄像机的变焦倍数。本申请实施例中将摄像机拍摄时对应的摄像机坐标系中的坐标称为PTZ值。摄像机坐标系中的PTZ值用于记录摄像机的拍摄状态信息。
像素坐标系是针对于摄像机拍摄的图片建立的坐标系,参见图1D,本申请实施例中以用户观看图片角度,将图片的左上角顶点作为原点O,以图片的上边界向右作为x轴正方向,图片的左边界向下作为y轴正方向,相应的,图片中每个像素均可以得到其在像素坐标系中的坐标。本申请实施例中将像素坐标系中的坐标称为像素坐标。
通过现有技术的单点标定、多点标定或者GPS标定等参数标定方法,可以得到雷达坐标系中雷达坐标与摄像机坐标系中摄像坐标之间的坐标转换关系。例如,给定一个雷达坐标系中的坐标(xi,yi),就可以基于该转换关系得到摄像机坐标系中的一个摄像坐标(Pi,Ti,Zi)。现有技术中参数标定完成(也即获得上述雷达坐标系中极坐标与摄像机坐标系中摄像坐标之间的坐标转换关系)后,如果雷达确定了目标物体,可以获取目标物体在雷达坐标系中的雷达坐标,根据上述坐标转换关系将雷达坐标转换为摄像坐标,将摄像坐标发送给摄像机,摄像机调整至摄像坐标指示的拍摄状态进行拍摄。目标物体位于地势平整区域时,目标物体图像位于摄像机拍摄图像中的合适位置,达到较好的拍摄效果;而如果目标物体位于地势不平整区域,摄像机拍摄的图像中可能只有目标物体的局部特征图像或者完全没有目标物体图像,摄像机对目标物体的跟踪拍摄效果差。
为此,雷达与摄像机在使用现有技术的参数标定方法完成参数标定,得到雷达坐标系中雷达坐标与摄像机坐标系中摄像坐标之间的坐标转换关系之外,还执行本申请实施例的参数标定方法,获得雷达坐标系中雷达坐标与摄像机坐标系中摄像坐标的T值的另一种转换关系。在目标物体处于地势不平整区域时,使用本申请实施例的转换关系修正使用坐标转换关系计算出来的摄像坐标中的T值,从而使得目标物体图像能够位于摄像机拍摄图像中的合适位置。
首先,对本申请实施例参数标定方法的使用场景进行举例说明。如图2A所示,可以包括:客户端设备21、雷达22、摄像机23和处理设备24,处理设备24与客户端21、雷达22和摄像机23之间分别建立通信连接,进行数据通信,通信连接方式可以为有线连接或者无线连接,本申请实施例不作限定;其中,雷达22可以用于:如果监测到物体,生成物体的物体标识以及位置信息;摄像机23可以用于:对雷达22监测到的物体进行拍摄;客户端设备21可以用于:为用户提供图形用户界面(GUI,Graphical User Interface),实现用户与客户端设备21之间的交互,例如:客户端21可以向用户展示基于雷达22监测到的物体标识和位置信息所生成的监测图像,和/或,向用户展示摄像机23拍摄到的图像;处理设备24可以用于执行本申请实施例参数标定方法。
可选地,处理设备24是独立存在的设备,或者,集成在雷达22中。可选地,上述客户端设备21、雷达22、摄像机23和处理设备24是分别独立存在的设备,或者,雷达22和处理设备24集成为一体机,或者,雷达22、摄像机23和处理设备24集成为一体机,或者,客户端设备21、雷达22、摄像机23、处理设备24集成为一体机。
以处理设备24集成在雷达22中为例,如图2B所示,可以包括:客户端设备21、雷达22和摄像机23;其中,客户端设备21、雷达22和摄像机23之间分别建立通信连接,进行数据通信,通信连接方式可以为有线连接或者无线连接,本申请实施例不作限定。客户端设备21可以用于为用户提供图形用户界面(GUI,Graphical User Interface),实现用户与雷达22、和/或用户与摄像机23之间的交互,例如:客户端设备21可以向用户展示基于雷达22发送的目标物体位置信息生成的监测图像,和/或,向用户展示摄像机23拍摄到的图像;并且,客户端设备21可以接收用户针对于雷达22的操作指示、将操作指示发送至雷达22,实现用户对于雷达22的控制,和/或,客户端设备21可以接收用户针对于摄像机23的操作指示、将操作指示发送至摄像机23,实现用户对于摄像机23的控制。其中,客户端设备21可以是计算机(computer)、平板电脑(Pad,portable android device)等电子设备。
图3是本申请实施例参数标定方法的GUI、以及数据交互示例图,该示例图基于图2B所示的系统架构,示例性说明本申请实施例提供的参数标定方法。
参见图3中31部分所示,用户在客户端设备21中进入参数标定启动界面,针对于参数标定启动界面中的“标定开始”控件执行选择操作,可选地,该选择操作可以由用户执行例如图3中所示的手指点击操作实现,也可以由用户操作鼠标执行点击操作实现;相应的,客户端设备21检测到用户针对于“标定开始”控件的选择操作,向雷达22和摄像机23发送参数标定开始通知;相应的,雷达22和摄像机23分别接收到参数标定开始通知,响应于该通知,两者之间进行数据交互完成参数标定,这一过程中,第一物体可以在雷达22的监测区域中移动,可选地,第一物体可以尽量在雷达22的监测区域中地势不平整区域移动,以使得参数标定中更好的学习到地势不平整区域对应的摄像机参数,后续雷达和摄像机基于该参数进行目标物体的跟踪拍摄可以更好的拍摄到目标物体。需要说明的是,第一物体可以是1个也可以是多个,图3中以雷达22检测到2个第一物体001、002,摄像机23拍摄到一个第一物体为例。第一物体可以是用户为了参数标定而设置的物体,也可以是实际应用中出现在雷达和摄像机检测范围的物体。
参见图3中32部分所示,参数标定开始后,客户端设备可以在为用户展示的界面中设置“标定结束”控件,用户在决定结束参数标定流程时,可以针对于客户端设备21展示界面中的“标定结束”控件执行选择操作,可选地,该选择操作可以由用户执行例如图3中所示的手指点击操作实现,也可以由用户操作鼠标执行点击操作实现;相应的,客户端设备21检测到用户针对于“标定结束”控件的选择操作,向雷达22发送参数标定结束通知(图3中未示出),以通知雷达22结束本申请实施例的参数标定流程。
在另一种可能的实现方式中,参数标定流程的结束也可以不由用户触发,而是由处理设备在检测到参数标定满足预设条件后自动结束参数标定流程。
以下,通过图4A对本申请参数标定方法进行更为详细的说明。图4A是本申请实施例参数标定方法一个实施例的流程图,该方法可以应用于包括处理设备或者集成有处理设备的雷达,如图4A所示,该方法可以包括:
步骤401:接收参数标定开始通知。
本步骤可以对应图3中31部分,此时,本步骤可以包括:接收电子设备发送的参数标定开始通知,参数标定开始通知在电子设备检测到用户针对于第一控件的选择操作时发送。在图3中以第一控件是“标定开始”控件为例。
步骤402:响应于参数标定开始通知,获取摄像机拍摄到的第一图片;第一图片中包括至少一个物体的图像。
其中,第一图片可以是摄像机拍摄的视频帧。至少一个物体可以是用户为参数标定设置的标定物体,也可以是实际物理环境中的物体。
步骤403:从第一图片中检测到第一图像,第一图像是第一物体的图像。
可选地,可以预设第一模型,第一模型是预先训练的、用于检测图片中物体图像的模型。具体的,可以将其中标注有物体图像外接框的图片作为样本输入初始模型,进行模型训练,得到上述第一模型。初始模型可以是深度学习网络。第一模型的输入可以是图片,输出是图片中各物体图像的外接框。
如果外接框是矩形,可以使用外接框两个对角顶点的像素坐标来记录一个外接框。
需要说明的是,从图片中可能检测到多个物体的图像,可以将每个物体的图像均作为第一物体的图像,也可以选择一个物体的图像作为第一物体的图像。
步骤404:计算第一图像中目标像素对应的T值和P值;T值是摄像机能够拍摄到第二图片时的T值,P值是摄像机能够拍摄到第二图片时的P值,第二图片是目标像素位于图片指定位置的图片。
在一种可能的实现方式中,目标像素可以是第一图像的下边沿中点,如果第一图像通过外接框标识,目标像素可以是外接框下边沿的中点;上述图片指定位置可以是图片的中心点。
本步骤中,可以无需实际调整摄像机的PT值使得摄像机实际拍摄第二图片,直接根据拍摄第一图片是摄像机的PT值即可以计算上述目标像素对应的T值和P值。以目标像素是第一图像的下边沿中点,图片指定位置是图片的中心点为例,说明如何计算目标像素对应的P值和T值:
根据拍摄第一图片时摄像机的Z值,确定Z值对应的摄像机的视场角范围,视场角范围包括:T值的范围H以及P值的范围V。其中,确定Z值对应的摄像机的视场角范围的方法本申请实施例不作限定,例如:在一种可能的实现方式中,可以通过查表方式确定视场角范围,通过预先实际测量可以获得摄像机任意变焦倍数与视场角范围的对应表,使用时通过查表获得拍摄第一图片时摄像机的Z值对应的视场角范围;在另一种可能的实现方式中,可以根据摄像机内参计算得到视场角范围。具体计算公式如下:
Figure BDA0002878065380000091
Figure BDA0002878065380000092
其中,f为Z值对应的焦距,h为摄像机靶面的水平宽度,v为摄像机靶面的垂直高度。摄像机靶面是指摄像机中图像传感器的感光区域。
根据拍摄到第一图片时的P值、T值、以及获取到的视场角范围计算摄像机第一拍摄方向的旋转角范围
Figure BDA0002878065380000093
俯仰角范围
Figure BDA0002878065380000094
P是摄像机拍摄到第一图片时的P值,T是摄像机拍摄到第一图片时的T值。
对第一图片中任意像素(u,v),令图像宽度为imgW,高度为imgH,均为已知量,此时可以计算目标像素对应的P值和T值,以下公式中p表示目标像素对应的P值,t表示目标像素对应的T值:
p=P+H*(u-imgW/2)/imgW,第一旋转角t=T+V*(v-imgH/2)/imgH。上述第一拍摄方向是摄像机拍摄到第一图片时的拍摄方向。
需要说明的是,以上计算目标像素的P值和T值的方法仅为示例,还可以使用其他方法计算上述目标像素的P值和T值。
步骤405:根据P值获取与第一物体匹配的第一目标物体;第一目标物体是雷达监测到的物体。
本步骤可以包括:
获取雷达监测到的目标物体的雷达坐标;
根据目标物体的雷达坐标计算目标物体的P值;
从目标物体中查找P值与第一物体的P值之间的差值小于预设第一阈值的目标物体,根据查找到的目标物体确定第一目标物体。
其中,可能存在查找不到目标物体的情况,此时,可以直接返回步骤402,获取摄像机拍摄的下一个图片,或者返回步骤403,从第一图片中获取下一个第一物体的图像。
其中,如果多个物体的位置较为接近,可能存在查找到多个目标物体的情况,因此,上述根据查找到的目标物体确定第一目标物体,可以包括:
如果查找到的目标物体的数量为1,将查找到的目标物体作为第一目标物体;
如果查找到的目标物体的数量大于1,从第一图片包括的物体图像中查找与第一图像之间的距离小于预设第二阈值的物体图像,如果查找到的物体图像的数量是第一数值,第一数值是查找到的目标物体的数量减1,将查找到的目标物体按照雷达坐标从远到近的顺序排序,将查找到的物体图像和第一图像按照从小到大的顺序排序,获取与第一图像的排序位置相同的目标物体,作为第一目标物体。
其中,如果查找到的物体的数量不是第一数量,可以直接返回步骤402,获取摄像机拍摄的下一个图片;或者,返回步骤403,从第一图片中获取下一个第一物体的图像。
步骤406:查找第一目标物体的雷达坐标所在的第一网格。
其中,如果通过网格的中心点的雷达坐标来记录网格,则中心点的雷达坐标与第一目标物体的雷达坐标最接近的网格是上述第一网格。
步骤407:根据目标像素对应的T值更新第一网格对应的参考值,参考值是雷达和摄像机联动时摄像机的T值的参考数值。
可选地,根据所述T值更新所述第一网格对应的参考值,可以包括:
计算历史T值以及所述目标像素对应的T值的平均值,将所述平均值作为所述参考值,所述历史T值是根据所述目标像素对应的T值更新所述参考值之前用于更新所述参考值的T值。
具体的,可以通过以下公式实现上述平均值T2的计算:
T2=((T1*N)+Tx)/(N+1);
其中,T1是更新前的参考值,Tx是目标像素对应的T值,N是更新前该参考值的历史更新次数。
通过重复执行上述步骤402~步骤407,可以得到雷达的若干个网格对应的参考值,该参数值是摄像机的T值的参考数值,只要在标定过程中,第一物体尽量在雷达监测区域中的地势不平整区域移动,处理设备可以自动学习得到地势不平整区域对应网格的参考值,可以使得摄像机在该网格处跟踪拍摄目标物体时,能够基于该参考值修正摄像机的T值,使得摄像机拍摄得到的图像中目标物体图像位于摄像机拍摄图像的合适位置。
参见图4B所示,为了使得参数标定过程中得到的参考值更为准确,步骤403和步骤404之间,还可以包括:
步骤400:确定检测到的第一图像是否是第一物体的完整图像,如果是,执行步骤404,如果否,执行步骤408。
本步骤可以包括:
判断第一图像的下边沿与第一图片的下边沿是否重合,如果重合,确定检测到的第一图像不是第一物体的完整图像,如果不重合,确定第一图像是第一物体的完整图像。
步骤408:调整摄像机的T值,返回步骤402重新获取摄像机在T值调整后拍摄到的第一图片,从第一图片中检测到该第一物体的图像,如此循环,直到确定第一图像是第一物体的完整图像。
其中,在调整摄像机的T值时,可以使得第一物体的图像在像素坐标系中向y轴负方向移动,从而在若干次调整摄像机的T值后,摄像机拍摄的第一图片中所包括的第一物体的图像是第一物体的完整图像。在调整摄像机的T值时,可以按照预设步长进行调整,步长的具体取值本申请实施例不作限定。
对于重新获取到的第一图片,从第一图片中检测该第一物体的图像,可以包括:
检测重新获取到的第一图片中的物体图像,得到每个物体图像的指定像素点的第一像素坐标,根据上一次从第一图片中检测到的第一图像的指定像素点的第二像素坐标,从第一像素坐标中查找与第二像素坐标的距离最近的第一像素坐标,将该第一像素坐标对应的物体图像作为重新获取到的第一图片中第一物体的图像。指定像素点可以是物体图像的任意点,优选为图像的中心点、下边沿中点等特殊位置的点。
通过调整摄像机的T值使得第一图片中检测到该第一物体的完整图像,更容易使得步骤404中计算目标像素的T值和P值时,第二图片中尽量包括第一物体的完整图像,从而优化网格对应的参数值。
可选地,参见图4B,可以为处理设备预设参数标定的结束条件,此时,在步骤407之后,该方法还可以包括:
步骤409:确定预设网格地势图的指定区域中已标定网格的占比达到预设第三阈值,结束参数标定,已标定网格是具有对应的参数值的网格。
如果指定区域中已标定网格的占比未达到预设第三阈值,可以返回步骤402重新获取摄像机在T值调整后拍摄到的第一图片,从第一图片中检测第一图像,如此循环,直到指定区域中已标定网格的占比达到预设第三阈值,结束参数标定。
由于雷达的监测区域中可能存在某些区域不容易出现目标物体,例如雷达的监测区域中由一堵墙将监测区域划分两个子区域,一个子区域是树林,人迹罕至,另一个子区域是人们的活动范围,此时,就可以将上述另一个子区域在网格地势图中对应的区域设置为指定区域,从而使得参数标定结束条件更为合理。或者,如果雷达监测区域中只有部分区域是地势不平整区域,也可以将地势不平整区域在网格地势图中对应的区域设置为指定区域,从而使得参数标定结束条件更为合理。
第三阈值是大于0小于等于1的数值,具体取值本申请实施例不作限定。第三阈值越大,指定区域中已标定网格越多,相应的,参数标定完成后,雷达和摄像机联动时能够具有更多的参考值来对摄像机的T值进行修正,从而使得目标物体处于地势不平整区域时,目标物体图像能够处于摄像机拍摄图像中的合适位置。
图5为本申请目标物体跟踪方法一个实施例的流程图,该方法可以应用于雷达,如图5所示,该方法可以包括:
步骤501:检测到目标物体时,获取目标物体的雷达坐标。
这里的目标物体是雷达监测到的入侵物体,或者用户为雷达指定的监测物体。
步骤502:根据预设的雷达坐标系与摄像机坐标系之间的坐标转换关系,计算雷达坐标对应的PTZ值。
其中,预设的雷达坐标系与摄像机坐标系之间的坐标转换关系可以使用现有技术中的单点标定、多点标定以及GPS标定等标定方法对雷达和摄像机进行参数标定得到。
步骤503:如果查找到与雷达坐标对应的参考值,根据参考值修正PTZ值中的T值;参考值是雷达和摄像机联动时摄像机的T值的参考数值。
本步骤中可以使用上述图4A和图4B所示的参数标定方法得到的网格与参考值之间的对应关系实现。具体的,本步骤中查找到与雷达坐标对应的参考值,可以包括:
查找到雷达坐标对应的第二网格;
如果第二网格具有对应的参考值,将第二网格对应的参考值作为与雷达坐标对应的参考值;
如果第二网格不具有对应的参考值,查找具有对应参考值的网格中距离第二网格最近的第三网格,如果第三网格与第二网格之间的距离不大于预设第四阈值,将第三网格对应的参考值作为雷达坐标对应的参考值。
其中,如果第三网格与第二网格之间的距离大于预设第四阈值,则可以不对PTZ值进行修正,直接将PTZ值发送至摄像机。
本步骤中根据参考值修正PTZ值中的T值,可以包括:
使用参考值替换PTZ值中的T值。
步骤504:将修正后的PTZ值发送至摄像机,修正后的PTZ值用于使得摄像机按照修正后的PTZ值进行图像拍摄。
图5所示的方法中,使用现有技术中参数标定方法得到的雷达坐标系与摄像机坐标系之间的转换关系、以及本申请实施例参数标定方法得到的网格极坐标对应的参考值共同确定摄像机拍摄目标物体所使用的摄像坐标,从而保证不管目标物体处于平整地势还是不平整地势,目标物体图像都能处于摄像机拍摄图像中的合适位置。
可以理解的是,上述实施例中的部分或全部步骤或操作仅是示例,本申请实施例还可以执行其它操作或者各种操作的变形。此外,各个步骤可以按照上述实施例呈现的不同的顺序来执行,并且有可能并非要执行上述实施例中的全部操作。
图6为本申请参数标定装置一个实施例的结构图,该装置可以应用于处理设备或者与集成有处理设备的雷达,如图6所示,该装置60可以包括:
接收单元61,用于接收参数标定开始通知;
第一获取单元62,用于响应于所述参数标定开始通知,获取所述摄像机拍摄到的第一图片;所述第一图片中包括至少一个物体的图像;
检测单元63,用于从所述第一图片中检测到第一图像,所述第一图像是第一物体的图像;第一物体是至少一个物体中的一个物体;
计算单元64,用于计算所述第一图像中目标像素对应的T值和P值,所述T值是所述摄像机拍摄到第二图片时的T值,所述P值是所述摄像机拍摄到第二图片时的P值,所述第二图片是所述目标像素位于图片指定位置的图片;
第二获取单元65,用于根据所述P值获取与所述第一物体匹配的第一目标物体;所述第一目标物体是雷达监测到的物体;
查找单元66,用于查找所述第一目标物体的雷达坐标所在的第一网格;雷达坐标是雷达坐标系中的坐标;
更新单元67,用于根据所述T值更新所述第一网格对应的参考值,所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值。
在一种可能的实现方式中,更新单元67具体可以用于:计算历史T值以及所述目标像素对应的T值的平均值,将所述平均值作为所述参考值,所述历史T值是根据所述目标像素对应的T值更新所述参考值之前用于更新所述参考值的T值。
在一种可能的实现方式中,第二获取单元65具体可以用于:获取所述雷达监测到的目标物体的雷达坐标;根据所述目标物体的雷达坐标计算所述目标物体的P值;从所述目标物体中查找P值与所述第一物体的P值之间的差值小于预设第一阈值的目标物体,根据查找到的目标物体确定所述第一目标物体。
在一种可能的实现方式中,第二获取单元65具体可以用于:如果查找到的目标物体的数量为1,将查找到的目标物体作为所述第一目标物体;如果查找到的目标物体的数量大于1,从所述第一图片包括的物体图像中查找与所述第一图像之间的距离小于预设第二阈值的物体图像,如果查找到的物体图像的数量是第一数值,所述第一数值是查找到的目标物体的数量减1,将查找到的目标物体按照雷达坐标从远到近的顺序排序,将查找到的物体图像和所述第一图像按照从小到大的顺序排序,获取与所述第一图像的排序位置相同的目标物体,作为所述第一目标物体。
在一种可能的实现方式中,所述第一网格是预设网格地势图中的一个网格;所述预设网格地势图通过对所述雷达的监测区域进行网格划分得到;
该装置60还可以包括:结束判决单元,用于确定所述网格地势图的指定区域中已标定网格的占比达到预设第三阈值,结束所述参数标定,所述已标定网格是具有所述参数值的网格。
图7为本申请目标物体跟踪装置一个实施例的结构图,该装置可以应用于处理设备或者与集成有处理设备的雷达,如图7所示,该装置70可以包括:
获取单元71,用于检测到目标物体时,获取目标物体的雷达坐标;所述雷达坐标是雷达坐标系中的坐标;
计算单元72,用于根据预设的雷达坐标系与摄像机坐标系之间的坐标转换关系,计算所述雷达坐标对应的PTZ值;
修正单元73,用于如果查找到与所述雷达坐标对应的参考值,根据所述参考值修正所述PTZ值中的T值;所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值;
发送单元74,用于将修正后的PTZ值发送至摄像机,所述修正后的PTZ值用于使得所述摄像机按照所述修正后的PTZ值进行图像拍摄。
在一种可能的实现方式中,修正单元73具体可以用于:使用所述参考值替换所述PTZ值中的T值。
在一种可能的实现方式中,修正单元73具体可以用于:查找到所述雷达坐标对应的第二网格;如果所述第二网格具有对应的参考值,将所述第二网格对应的参考值作为与所述雷达坐标对应的参考值;如果所述第二网格不具有对应的参考值,查找具有对应参考值的网格中距离所述第二网格最近的第三网格,如果所述第三网格与所述第二网格之间的距离不大于预设第四阈值,将所述第三网格对应的参考值作为所述雷达坐标对应的参考值。
图6所示实施例提供的装置60可用于执行本申请图4A和图4B所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
图7所示实施例提供的装置70可用于执行本申请图5所示方法实施例的技术方案,其实现原理和技术效果可以进一步参考方法实施例中的相关描述。
应理解以上图6~图7所示的装置的各个单元的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分单元以软件通过处理元件调用的形式实现,部分单元通过硬件的形式实现。例如,获取单元可以为单独设立的处理元件,也可以集成在电子设备的某一个芯片中实现。其它单元的实现与之类似。此外这些单元全部或部分可以集成在一起,也可以独立实现。在实现过程中,上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些单元可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit;以下简称:ASIC),或,一个或多个微处理器(Digital Singnal Processor;以下简称:DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array;以下简称:FPGA)等。再如,这些单元可以集成在一起,以片上系统(System-On-a-Chip;以下简称:SOC)的形式实现。
本申请实施例还提供一种参数标定系统,包括:摄像机、雷达和处理设备,处理设备分别连接摄像机和雷达;其中,
摄像机,用于跟踪拍摄物体;
雷达,用于生成目标物体的雷达坐标,所述雷达坐标是雷达坐标系中的坐标;
处理设备,用于接收参数标定开始通知;响应于所述参数标定开始通知,获取所述摄像机拍摄到的第一图片;所述第一图片中包括至少一个物体的图像;从所述第一图片中检测到第一图像,所述第一图像是第一物体的图像;所述第一物体是所述至少一个物体中的一个物体;计算所述第一图像中目标像素对应的T值和P值,所述T值是所述摄像机拍摄到第二图片时的T值,所述P值是所述摄像机拍摄到第二图片时的P值,所述第二图片是所述目标像素位于图片指定位置的图片;根据所述P值获取与所述第一物体匹配的第一目标物体;所述第一目标物体是雷达监测到的物体;查找所述第一目标物体的雷达坐标所在的第一网格;雷达坐标是雷达坐标系中的坐标;根据所述T值更新所述第一网格对应的参考值,所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值。
可选地,该系统还可以包括:
客户端设备,用于检测到所述用户的参数标定开始操作,向所述处理设备发送所述参数标定开始通知。
本申请实施例还提供一种目标物体跟踪系统,包括:摄像机、雷达和处理设备,处理设备分别连接摄像机和雷达;其中,
摄像机,用于跟踪拍摄目标物体;
雷达,用于生成所述目标物体的雷达坐标,所述雷达坐标是雷达坐标系中的坐标;
处理设备,用于检测到目标物体时,获取目标物体的雷达坐标;所述雷达坐标是雷达坐标系中的坐标;根据预设的雷达坐标系与摄像机坐标系之间的坐标转换关系,计算所述雷达坐标对应的PTZ值;如果查找到与所述雷达坐标对应的参考值,根据所述参考值修正所述PTZ值中的T值;所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值;将修正后的PTZ值发送至摄像机,所述修正后的PTZ值用于使得所述摄像机按照所述修正后的PTZ值进行图像拍摄。
本申请实施例还提供一种处理设备,包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行图4A~图5所示实施例提供的方法。
本申请还提供一种雷达,所述雷达包括存储介质和中央处理器,所述存储介质可以是非易失性存储介质,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述非易失性存储介质连接,并执行所述计算机可执行程序以实现本申请图4A~图5所示实施例提供的方法。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行本申请图4A~图5所示实施例提供的方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,当其在计算机上运行时,使得计算机执行本申请图4A~图5所示实施例提供的方法。
本申请实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a和b,a和c,b和c或a和b和c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory;以下简称:ROM)、随机存取存储器(Random Access Memory;以下简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种参数标定方法,其特征在于,包括:
接收参数标定开始通知;
响应于所述参数标定开始通知,获取摄像机拍摄到的第一图片;所述第一图片中包括至少一个物体的图像;
从所述第一图片中检测到第一图像,所述第一图像是第一物体的图像;所述第一物体是所述至少一个物体中的一个物体;
计算所述第一图像中目标像素对应的T值和P值,所述T值是所述摄像机拍摄到第二图片时的T值,所述P值是所述摄像机拍摄到第二图片时的P值,所述第二图片是所述目标像素位于图片指定位置的图片;
根据所述P值获取与所述第一物体匹配的第一目标物体;所述第一目标物体是雷达监测到的物体;
查找所述第一目标物体的雷达坐标所在的第一网格;所述雷达坐标是雷达坐标系中的坐标;
根据所述T值更新所述第一网格对应的参考值,所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述T值更新所述第一网格对应的参考值,包括:
计算历史T值以及所述目标像素对应的T值的平均值,将所述平均值作为所述参考值,所述历史T值是根据所述目标像素对应的T值更新所述参考值之前用于更新所述参考值的T值。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述P值获取与所述第一物体匹配的第一目标物体,包括:
获取所述雷达监测到的目标物体的雷达坐标;
根据所述目标物体的雷达坐标计算所述目标物体的P值;
从所述目标物体中查找P值与所述第一物体的P值之间的差值小于预设第一阈值的目标物体,根据查找到的目标物体确定所述第一目标物体。
4.根据权利要求3所述的方法,其特征在于,所述根据查找到的目标物体确定所述第一目标物体,包括:
如果查找到的目标物体的数量为1,将查找到的目标物体作为所述第一目标物体;
如果查找到的目标物体的数量大于1,从所述第一图片包括的物体图像中查找与所述第一图像之间的距离小于预设第二阈值的物体图像;如果查找到的物体图像的数量是第一数值,所述第一数值是查找到的目标物体的数量减1,将查找到的目标物体按照雷达坐标从远到近的顺序排序,将查找到的物体图像和所述第一图像按照从小到大的顺序排序,获取与所述第一图像的排序位置相同的目标物体,作为所述第一目标物体。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述第一网格是预设网格地势图中的一个网格;所述预设网格地势图通过对所述雷达的监测区域进行网格划分得到;
该方法还包括:确定所述网格地势图的指定区域中已标定网格的占比达到预设第三阈值,结束所述参数标定,所述已标定网格是具有对应参数值的网格。
6.一种目标物体跟踪方法,其特征在于,包括:
检测到目标物体时,获取目标物体的雷达坐标;所述雷达坐标是雷达坐标系中的坐标;
根据预设的雷达坐标系与摄像机坐标系之间的坐标转换关系,计算所述雷达坐标对应的PTZ值;
如果查找到与所述雷达坐标对应的参考值,根据所述参考值修正所述PTZ值中的T值;所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值;
将修正后的PTZ值发送至摄像机,所述修正后的PTZ值用于使得所述摄像机按照所述修正后的PTZ值进行图像拍摄。
7.根据权利要求6所述的方法,其特征在于,所述根据所述参考值修正所述PTZ值中的T值,包括:
使用所述参考值替换所述PTZ值中的T值。
8.根据权利要求6或7所述的方法,其特征在于,所述查找到与所述雷达坐标对应的参考值,包括:
查找到所述雷达坐标对应的第二网格;
如果所述第二网格具有对应的参考值,将所述第二网格对应的参考值作为与所述雷达坐标对应的参考值;
如果所述第二网格不具有对应的参考值,查找具有对应参考值的网格中距离所述第二网格最近的第三网格,如果所述第三网格与所述第二网格之间的距离不大于预设第四阈值,将所述第三网格对应的参考值作为所述雷达坐标对应的参考值。
9.一种参数标定系统,其特征在于,包括:
摄像机,用于跟踪拍摄物体;
雷达,用于生成目标物体的雷达坐标,所述雷达坐标是雷达坐标系中的坐标;
处理设备,用于接收参数标定开始通知;响应于所述参数标定开始通知,获取所述摄像机拍摄到的第一图片;所述第一图片中包括至少一个物体的图像;从所述第一图片中检测到第一图像,所述第一图像是第一物体的图像;所述第一物体是所述至少一个物体中的一个物体;计算所述第一图像中目标像素对应的T值和P值,所述T值是所述摄像机拍摄到第二图片时的T值,所述P值是所述摄像机拍摄到第二图片时的P值,所述第二图片是所述目标像素位于图片指定位置的图片;根据所述P值获取与所述第一物体匹配的第一目标物体;所述第一目标物体是雷达监测到的物体;查找所述第一目标物体的雷达坐标所在的第一网格;所述雷达坐标是雷达坐标系中的坐标;根据所述T值更新所述第一网格对应的参考值,所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值。
10.根据权利要求9所述的参数标定系统,其特征在于,还包括:
客户端设备,用于检测到用户的参数标定开始操作,向所述处理设备发送所述参数标定开始通知。
11.一种目标物体跟踪系统,其特征在于,包括:
摄像机,用于跟踪拍摄目标物体;
雷达,用于生成所述目标物体的雷达坐标,所述雷达坐标是雷达坐标系中的坐标;
处理设备,用于检测到目标物体时,获取目标物体的雷达坐标;所述雷达坐标是雷达坐标系中的坐标;根据预设的雷达坐标系与摄像机坐标系之间的坐标转换关系,计算所述雷达坐标对应的PTZ值;如果查找到与所述雷达坐标对应的参考值,根据所述参考值修正所述PTZ值中的T值;所述参考值是雷达和摄像机联动时所述摄像机的T值的参考数值;将修正后的PTZ值发送至摄像机,所述修正后的PTZ值用于使得所述摄像机按照所述修正后的PTZ值进行图像拍摄。
12.一种处理设备,其特征在于,包括:
一个或多个处理器;存储器;以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述设备执行时,使得所述设备执行权利要求1至8任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行权利要求1至8任一项所述的方法。
CN202011628751.XA 2020-12-31 2020-12-31 参数标定方法、目标物体跟踪方法、设备和系统 Pending CN114693799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011628751.XA CN114693799A (zh) 2020-12-31 2020-12-31 参数标定方法、目标物体跟踪方法、设备和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011628751.XA CN114693799A (zh) 2020-12-31 2020-12-31 参数标定方法、目标物体跟踪方法、设备和系统

Publications (1)

Publication Number Publication Date
CN114693799A true CN114693799A (zh) 2022-07-01

Family

ID=82134189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011628751.XA Pending CN114693799A (zh) 2020-12-31 2020-12-31 参数标定方法、目标物体跟踪方法、设备和系统

Country Status (1)

Country Link
CN (1) CN114693799A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051815A (zh) * 2023-03-31 2023-05-02 四川省寰宇众恒科技有限公司 一种基于单目摄像头的目标定位方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051815A (zh) * 2023-03-31 2023-05-02 四川省寰宇众恒科技有限公司 一种基于单目摄像头的目标定位方法及系统
CN116051815B (zh) * 2023-03-31 2023-06-20 四川省寰宇众恒科技有限公司 一种基于单目摄像头的目标定位方法及系统

Similar Documents

Publication Publication Date Title
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
CN111753609B (zh) 一种目标识别的方法、装置及摄像机
CN110658518B (zh) 一种目标入侵检测方法及装置
CN111025283B (zh) 雷达与球机联动的方法及装置
CN108038415B (zh) 一种基于机器视觉的无人机自动检测与跟踪方法
CN114637023A (zh) 用于激光深度图取样的系统及方法
CN103700140B (zh) 用于单枪机‑多球机联动的空间建模方法
CN110579764B (zh) 深度相机和毫米波雷达的配准方法、装置、电子设备
WO2022179207A1 (zh) 视窗遮挡检测方法及装置
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN108596117B (zh) 一种基于二维激光测距仪阵列的场景监控方法
US11335026B1 (en) Detecting target objects in a 3D space
CN110718137A (zh) 目标物密度分布地图的构建方法及装置、终端、移动装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112712129A (zh) 多传感器融合方法、装置、设备及存储介质
CN112911249A (zh) 目标对象的跟踪方法、装置、存储介质及电子装置
CN115359130A (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN117115784A (zh) 目标数据融合的车辆检测方法及检测装置
CN112305529B (zh) 参数标定方法、目标物体跟踪方法、设备和系统
CN114693799A (zh) 参数标定方法、目标物体跟踪方法、设备和系统
JP2020021368A (ja) 画像解析システム、画像解析方法及び画像解析プログラム
CN116503566B (zh) 一种三维建模方法、装置、电子设备及存储介质
CN113068000B (zh) 视频目标的监控方法、装置、设备、系统及存储介质
CN115272493B (zh) 一种基于连续时序点云叠加的异常目标检测方法及装置
Liu et al. Outdoor camera calibration method for a GPS & camera based surveillance system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination