CN117031463A - 一种雷达视频协同的区域入侵目标跟踪方法 - Google Patents

一种雷达视频协同的区域入侵目标跟踪方法 Download PDF

Info

Publication number
CN117031463A
CN117031463A CN202311295186.3A CN202311295186A CN117031463A CN 117031463 A CN117031463 A CN 117031463A CN 202311295186 A CN202311295186 A CN 202311295186A CN 117031463 A CN117031463 A CN 117031463A
Authority
CN
China
Prior art keywords
target
radar
intrusion
ptz
ball machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311295186.3A
Other languages
English (en)
Other versions
CN117031463B (zh
Inventor
胡宗品
李昂
路同亚
李开文
秦胜贤
任梦奇
任刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Falcon Wave Technology Co ltd
Original Assignee
Anhui Falcon Wave Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Falcon Wave Technology Co ltd filed Critical Anhui Falcon Wave Technology Co ltd
Priority to CN202311295186.3A priority Critical patent/CN117031463B/zh
Publication of CN117031463A publication Critical patent/CN117031463A/zh
Application granted granted Critical
Publication of CN117031463B publication Critical patent/CN117031463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种雷达视频协同的区域入侵目标跟踪方法，涉及区域入侵目标检测技术领域，包括以下步骤：初始化球机识别目标和雷达探测目标，实时判断球机视场内是否有入侵目标；若当前球机视场内有入侵目标，根据入侵目标在图像中像素点的位置，调整球机的PTZ值，使得入侵目标移动至图像中心位置；若当前球机视场内无入侵目标，将球机控制权转换为雷达，删除雷达中已进行过雷球联动的入侵目标；若雷达探测的入侵目标TargetCamera不为空，从中选择航迹最优的入侵目标，并将TargetCamera的位置坐标转换为球机的PTZ值，进而控制球机转动至指定的PTZ。本发明结合毫米波雷达大范围探测和图像识别目标捕捉的特点，有效提高了区域入侵目标跟踪的准确性和鲁棒性。

Description

一种雷达视频协同的区域入侵目标跟踪方法
技术领域
本发明涉及区域入侵目标检测技术领域，具体来说，涉及一种雷达视频协同的区域入侵目标跟踪方法。
背景技术
近年来，智能视频监控技术得到了广泛的应用，但在实际运行过程中常存在受环境影响较大、监控范围小、难以主动发现运动目标等问题。随着机器视觉的普及和毫米波雷达在民用领域的快速发展，雷达加视频球机的安防方案逐步得到应用。一方面，雷达具有探测范围广，不受雨雪雾等天气环境影响的特点；另一方面，视频球机可以通过PTZ（Pan-Tilt-Zoom）控制来扩大监控范围和获取监控局部细节的能力。基于雷达加视频球机的安防方案作为高效且全面的安防手段，在无人值守的情况下，可以实现对区域入侵目标的检测、跟踪、预警和报警功能，达到二十四小时智能监控的效果。
在雷达球机联动方面，根据雷达探测的目标位置，通过控制球机的PTZ指向指定区域是常用的雷球联动手段。如沈玉龙等人提出将毫米波雷达探测到的目标位置转换为相应球机的PTZ（相机的偏转角、俯仰角、变焦倍数）值，从而进行单目标进行跟踪（沈玉龙等.一种基于PTZ目标跟踪型监控方法: CN110933372A. 2020-03-27）。邓伟提出以雷达目标轨迹点为圆心以半径r画圆确定视场中心点，以跟踪轨迹点的关联进行转动跟踪的多目标跟踪方法（邓伟.基于雷达控制球机跟踪多目标的方法及系统: CN110824468B. 2021-08-13）。然而，在以往雷球联动方法中，常存在以下缺陷：首先，毫米波雷达的探测和球机转动角度均存在精度问题，在将雷达探测的入侵目标平面坐标（x，y）转换为球机PTZ值的过程中，很难保证每次调整都能将入侵目标置于球机界面的中心区域。其次，毫米波雷达往往存在虚警，以往雷球联动方法很少考虑虚警的影响。最后，毫米波只能探测运动目标，若入侵目标在入侵后停止运动或微动，以往雷球联动方法存在难以持续跟踪入侵目标的问题。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种雷达视频协同的区域入侵目标跟踪方法，利用目标位于图像中像素点的位置微调球机的PTZ值，使得目标移动至图像中心区域；基于图像识别技术，消除雷达虚警对雷球联动中虚假目标误跟踪的影响，以及对静止或微动目标难以持续跟踪的技术问题。
本发明的技术方案是这样实现的：
一种雷达视频协同的区域入侵目标跟踪方法，包括以下步骤：
初始化球机识别目标和雷达探测目标为空，标定球机的控制权为球机，实时判断球机视场内是否有入侵目标；
若当前球机视场内发现入侵目标，根据入侵目标在图像中像素点的位置，调整球机的PTZ值，使得入侵目标移动至图像中心位置；
若当前球机视场内未发现入侵目标，将球机控制权转换为雷达，删除雷达探测目标TargetCamera中已进行过雷球联动的入侵目标；
其中，对于雷达是否探测到入侵目标，包括以下步骤：
若雷达探测的入侵目标TargetCamera不为空，且雷达探测的入侵目标仅有一个，则根据雷达的坐标信息，将其转换为控制球机的PTZ值，并控制球机转动至当前PTZ值进行目标跟踪；
若雷达探测的入侵目标TargetCamera不为空，且雷达探测的入侵目标多于一个，从中选择航迹最优的入侵目标，并将TargetCamera的位置坐标转换为球机的PTZ值，进而控制球机转动至指定的PTZ。
其中，步骤所述实时判断球机视场内是否有入侵目标，包括以下步骤：
获取球机的视频流信息，基于图像识别技术，实时拍照并判断球机视场内是否有入侵目标，其中；
对于检测到的目标，将目标类型targetType、目标在图片中的像素点位置（targetX，targetY）、目标高度targetHidth存入球机识别目标TargetCamera（targetType， targetX，targetY，targetHidth），其中，目标在图片中的像素点位置（targetX，targetY）为检测目标的中心点位置。
其中，步骤所述判断球机视场内是否有入侵目标，包括以下步骤：
标定当前球机视场内有入侵目标，其中，包括以下步骤：
若球机视场内识别目标不为空且球机视场中仅有单目标，根据目标在图片中目标的像素点位置，计算将目标移至图片中心所要调整的PTZ值delPTZ（delPan，delTilt， delZoom），表示为：delPan = [（CameraWidth*0.5 – CentralX）/ CameraWidth] * PannowView；
delTilt = [（CameraHidth*0.5 – CentralY）/ CameraHidth] * TiltnowView；
根据目标在图片中所占的高度targetHidth，遵循目标在图片中所占的高度targetHidth为图片总高度1/4的原则，调整变焦倍数delZoom，计算得到delZoom，表示为：
delZoom = [（CameraHidth*0.25 – targetHidth）/ （CameraHidth*0.25）]；
根据球机的PTZ现在值PTZnow（Pannow，Tiltnow，Zoomnow）和需要调整的PTZ值delPTZ（delPan，delTilt，delZoom），得到球机应转向的PTZ值PTZ1（Pan1，Tilt1，Zoom1），表示为：
Pan1 = Pannow + delPan；
Tilt1 = Tiltnow + Tilt1；
Zoom1 = Zoomnow + delZoom；
调整球机至指定的PTZ1（Pan1，Tilt1，Zoom1），使目标位于球机中心位置。
其中，步骤所述当前球机视场内有入侵目标，还包括以下步骤：
若球机视场内识别出n个入侵目标，基于各入侵目标在图像中的像素点值，计算得到多入侵目标TargetCamera的像素中心点值，表示为：
；
；
以像素中心点为跟踪目标，调整球机的PTZ值，使得入侵TargetCamera移动至图像中心位置。
其中，步骤所述删除雷达探测目标TargetCamera中已进行过雷球联动的入侵目标，包括以下步骤：
若对于已跟踪过的雷达目标进行删除后，雷达探测的入侵目标仍不为空；
根据雷达探测的目标航迹质量，选择航迹质量最优的入侵目标进行跟踪，其中，航迹最优为航迹质量评分数最高，根据其坐标信息TargetRadar（R，ß，V），将其转换为控制球机的PTZ值，并控制球机转动至指定的PTZ值。
其中，步骤转换为控制球机的PTZ值，包括以下步骤：
根据雷达探测到的坐标信息TargetRadar（R，ß，V），转换为雷达坐标系下的XYZ值，表示为：
；
；
；
获取球机坐标系下ABC值，表示为：
；
；
；
根据目标在到球机坐标系下ABC值，球机初始的PTZ值PTZ 0 （Pan0，Tilt0，Zoom0）下照射的地面中心位置坐标（A0，B0，0），计算球机应转向的PTZ值PTZ 1 （Pan1，Tilt1，Zoom1），其中，包括：
球机应调整的水平偏转角delPan，表示为：
；
；
球机PTZ应转向的Tilt1值和Zoom1值，表示为：
；
；
球机应转向的PTZ值PTZ 1 （Pan1，Tilt1，Zoom1），表示为：
，/>，；控制球机转动至PTZ 1 （Pan1，Tilt1，Zoom1）。
其中，步骤所述雷达是否探测到入侵目标，还包括以下步骤：
若雷达探测的入侵目标TargetCamera为空，则返回到初始状态。
本发明的有益效果：
1、本发明利用毫米波雷达进行大范围目标搜索，将雷达探测到的目标位置坐标TargetCamera转换为球机的PTZ值，从而控制球机转动，使得球机能够进行大范围的区域监视。
2、本发明通过球机控制权RightControl转换，在球机视场内发现目标后，通过将球机控制权交予球机，并利用目标位于图像中像素点的位置微调球机的PTZ值，使得被监控目标始终位于球机视频的中心区域，提高了目标跟踪的稳定性及跟踪效果。
3、本发明基于图像识别技术，消除雷达虚警对雷球联动中虚假目标误跟踪的影响，同时对于静止或微动目标，毫米波雷达因目标丢失难以持续跟踪的问题，并通过球机控制权转换和图像识别技术对静止或微动目标进行持续跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种雷达视频协同的区域入侵目标跟踪方法的流程示意图；
图2是根据本发明实施例的一种雷达视频协同的区域入侵目标跟踪方法的雷达空间直角坐标系x,y,z图；
图3是根据本发明实施例的一种雷达视频协同的区域入侵目标跟踪方法的球机空间直角坐标系a,b,c图；
图4是根据本发明实施例的一种雷达视频协同的区域入侵目标跟踪方法的雷达和球机的协同空间直角坐标系图；
图5是根据本发明实施例的一种雷达视频协同的区域入侵目标跟踪方法的目标在图片中像素点位置示意图，其中，(a)为单目标在图片中的像素点位置，（b）为多目标在图片中的像素点位置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种雷达视频协同的区域入侵目标跟踪方法。
如图1所示，根据本发明实施例的雷达视频协同的区域入侵目标跟踪方法，包括以下步骤：
步骤S1，初始化球机的控制权为球机RightControl =Camera，球机的初始PTZ值为PTZ 0 （Pan0，Tilt0，Zoom0），基于智能识别算法实时判断球机视场内是否有入侵目标；
另外，如图2所示，对毫米波雷达，建立雷达空间直角坐标系xyz，雷达距离地面高度为H，O点为雷达垂直地面的投影点和坐标系xyz的原点，雷达的照射方向为y轴的正半轴；
另外，如图3所示，对球机，建立直角坐标系abc，球机距离地面高度为Hc，Oc点为球机垂直地面的投影点和坐标系abc的原点，球机初始PTZ值PTZ 0 （Pan0，Tilt0，Zoom0）下照射的地面中心位置坐标为（A0，B0，0），其中，Pan0为读取的相机水平偏转角度，；/>，且ZoomLength为标定的常数值。
另外，如图4所示，根据雷达和球机的安装高度和位置，对雷达和球机进行校准，使得目标在雷达坐标系的XYZ值能够转换为球机坐标系下的ABC值；同时，为计算简便，对两坐标系进行了对齐处理，雷达坐标系的xyz轴的方向分别与球机坐标系的bac轴平行；例如，对于雷达探测的目标TargetRadar（R，ß，V），R表示目标与雷达的距离，ß表示目标与雷达法线的夹角（即与y轴的夹角），V表示目标相对于雷达的径向速度，则目标TargetRadar（R，ß，V）在雷达坐标系下的XYZ值，表示为：
；
；
；
因两坐标系a与y的差值为Del_ay，b与x的差值为Del_bx，都以水平面作为高度基准，c与z的差值为0，因此，目标TargetRadar（R，ß，V）在球机坐标系下的ABC值，表示为：
；
；
；
步骤S2，获取球机的视频流信息，基于图像识别技术，实时拍照并判断球机视场内是否有入侵目标，此处入侵目标一般为人员、非机动车或机动车；对于检测到的目标，将目标类型targetType、目标在图片中的像素点位置（targetX，targetY）、目标高度targetHidth存入TargetCamera（targetType，targetX，targetY，targetHidth），此处目标在图片中的像素点位置（targetX，targetY）为检测目标的中心点位置；
步骤S201，若球机视场内识别目标不为空（TargetCamera'=Null）且TargetCamera中仅有单目标，则入侵目标在图像中的像素点值即为像素中心点值TargetCameraCentral （CentralX，CentralY），表示为：
CentralX = targetX；
CentralY = targetY；
步骤S202，若球机视场内识别出n个入侵目标，基于各入侵目标在图像中的像素点值，计算得到多入侵目标TargetCamera的像素中心点值，表示为：
；
；
步骤203，根据步骤S201或步骤S202中的像素中心点TargetCameraCentral （CentralX，CentralY），调整球机的PTZ值，使得入侵TargetCamera移动至图像中心位置；
具体的，如图5所示，其中，图5（a）为单目标在图片中的像素点位置，图5（b）为多目标在图片中的像素点位置；CameraWidth为图片宽度的像素数量，CameraHidth为图片高度的像素数量；
其中，获取球机当前的PTZ值，保存为PTZnow（Pannow，Tiltnow，Zoomnow），因球机在不同变焦倍数下，视场角不同，即变焦倍数Zoomnow越大，视场角越小。因此，根据球机当前的Zoomnow值，查表得到当前球机的视场角（PannowView，TiltnowView），即图片宽度的像素数CameraWidth对应的视场角为PannowView，图片高度的像素数CameraHidth对应的视场角为TiltnowView；
具体的，对于单目标，如图5(a)所示，根据目标在图片中目标的像素点位置，计算将目标移至图片中心所要调整的PTZ值delPTZ（delPan，delTilt，delZoom），表示为：
delPan = [（CameraWidth*0.5 – CentralX）/ CameraWidth] * PannowView；
delTilt = [（CameraHidth*0.5 – CentralY）/ CameraHidth] * TiltnowView；
另外，根据目标在图片中所占的高度targetHidth，调整变焦倍数delZoom，参照步骤S2中目标在图片中的高度targetHidth，遵循目标在图片中所占的高度targetHidth为图片总高度的1/4的原则，计算得到delZoom，表示为：
delZoom = [（CameraHidth*0.25 – targetHidth）/ （CameraHidth*0.25）]；
另外，根据球机的PTZ现在值PTZnow（Pannow，Tiltnow，Zoomnow）和需要调整的PTZ值delPTZ（delPan，delTilt，delZoom），得到球机应转向的PTZ值PTZ1（Pan1，Tilt1，Zoom1），表示为：
Pan1 = Pannow + delPan；
Tilt1 = Tiltnow + Tilt1；
Zoom1 = Zoomnow + delZoom；
调整球机至指定的PTZ1（Pan1，Tilt1，Zoom1）,即可使目标位于球机中心位置；
此外，对于多目标，如图5(b)所示，图中矩形块为计算得到的像素中心点TargetCameraCentral（CentralX，CentralY），以像素中心点为跟踪目标，重复上述计算方式即可。
借助于上述方案，球机控制权交由球机（RightControl=Camera），此时对于静止或微动目标，毫米波雷达因目标丢失难以持续跟踪的问题，通过球机控制权转换的方案，基于图像识别技术对静止或微动目标进行持续跟踪，克服了毫米波雷达难以追踪静止或微动目标的问题。
步骤S3，若球机视场内识别目标为空，即表示球机当前视场内不存在入侵目标，随即将球机的控制权交由雷达（RightControl=Radar），此时雷达便可调动球机进行更大范围的目标监视和搜寻。
步骤S4，对于TargetRadar中已跟踪过的雷达目标进行删除。
其中，因该方案一套雷达只设计了一套球机进行联动，因此，不可能对多目标进行持续跟踪，只能选择多目标中的一个进行跟踪；
本技术方案，在实际应用过程中，因杂草、风吹动树梢等因素的影响，毫米波雷达常存在虚警的可能。对于TargetRadar中已跟踪过的雷达目标，基于图像识别结果，该雷达目标TargetRadar引导的球机视场内并未发现入侵目标TargetCamera，更没有将球机控制权交由相机进行持续跟踪，说明该雷达目标TargetRadar为虚警。因此，应将该虚假雷达目标TargetRadar进行删除，消除雷达虚警对雷球联动虚假目标误跟踪的影响。
步骤S5，若对于TargetRadar中已跟踪过的雷达目标进行删除后，雷达探测的入侵目标TargetRadar仍不为空，根据雷达探测的目标航迹质量，选择航迹质量最优的入侵目标进行跟踪，根据其坐标信息TargetRadar（R，ß，V），将其转换为控制球机的PTZ值，并控制球机转动至指定的PTZ值。
步骤S501，根据雷达探测到的坐标信息TargetRadar（R，ß，V），转换为雷达坐标系下的XYZ值，表示为：
；
；
；
步骤S502，根据目标在雷达坐标系下的XYZ值，计算得到球机坐标系下ABC值，表示为：
；
；
；
步骤S503，根据目标在到球机坐标系下ABC值，球机初始的PTZ值PTZ 0 （Pan0， Tilt0，Zoom0）下照射的地面中心位置坐标（A0，B0，0），计算球机应转向的PTZ值PTZ 1 （Pan1， Tilt1，Zoom1），其中，包括：
球机应调整的水平偏转角delPan，表示为：
；
因此，；
球机PTZ应转向的Tilt1值和Zoom1值，表示为：
；
；
所以，球机应转向的PTZ值PTZ 1 （Pan1，Tilt1，Zoom1），表示为：
，/>，；
步骤S504，控制球机转动至PTZ 1 （Pan1，Tilt1，Zoom1）。
步骤S505，返回步骤S2，实时判断球机视场内是否由入侵目标。
步骤S6，若雷达探测的入侵目标TargetRadar为空，返回初始状态。
步骤S601，当雷达探测的入侵目标TargetRadar为空时，此时球机视界内也没有目标入侵，应将球机置于初始状态，将球机PTZ值置为PTZ 0 （Pan0，Tilt0，Zoom0），继续照射中心位置坐标为（A0，B0，0）的地面；球机的控制权交由相机RightControl = Camera，球机识别目标TargetCamera = Null和雷达探测目标TargetRadar = Null均置为空。
综上，借助于本发明的上述技术方案，具有如下效益：
1、本发明利用毫米波雷达进行大范围目标搜索，将雷达探测到的目标位置坐标TargetCamera转换为球机的PTZ值，从而控制球机转动，使得球机能够进行大范围的区域监视。
2、本发明通过球机控制权RightControl转换，在球机视场内发现目标后，通过将球机控制权交予球机，并利用目标位于图像中像素点的位置微调球机的PTZ值，使得被监控目标始终位于球机视频的中心区域，提高了目标跟踪的稳定性及跟踪效果。
3、本发明基于图像识别技术，消除雷达虚警对雷球联动中虚假目标误跟踪的影响，同时对于静止或微动目标，毫米波雷达因目标丢失难以持续跟踪的问题，并通过球机控制权转换和图像识别技术对静止或微动目标进行持续跟踪。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (7)

1.一种雷达视频协同的区域入侵目标跟踪方法，其特征在于，包括以下步骤：
初始化球机识别目标和雷达探测目标为空，标定球机的控制权为球机，实时判断球机视场内是否有入侵目标；
若当前球机视场内发现入侵目标，根据入侵目标在图像中像素点的位置，调整球机的PTZ值，使得入侵目标移动至图像中心位置；
若当前球机视场内未发现入侵目标，将球机控制权转换为雷达，删除雷达探测目标TargetCamera中已进行过雷球联动的入侵目标；
其中，对于雷达是否探测到入侵目标，包括以下步骤：
若雷达探测的入侵目标TargetCamera不为空，且雷达探测的入侵目标仅有一个，则根据雷达的坐标信息，将其转换为控制球机的PTZ值，并控制球机转动至当前PTZ值进行目标跟踪；
若雷达探测的入侵目标TargetCamera不为空，且雷达探测的入侵目标多于一个，从中选择航迹最优的入侵目标，并将TargetCamera的位置坐标转换为球机的PTZ值，进而控制球机转动至指定的PTZ。
2.根据权利要求1所述的雷达视频协同的区域入侵目标跟踪方法，其特征在于，步骤所述实时判断球机视场内是否有入侵目标，包括以下步骤：
获取球机的视频流信息，基于图像识别技术，实时拍照并判断球机视场内是否有入侵目标，其中；
对于检测到的目标，将目标类型targetType、目标在图片中的像素点位置（targetX， targetY）、目标高度targetHidth存入球机识别目标TargetCamera（targetType，targetX， targetY，targetHidth），其中，目标在图片中的像素点位置（targetX，targetY）为检测目标的中心点位置。
3.根据权利要求2所述的雷达视频协同的区域入侵目标跟踪方法，其特征在于，步骤所述判断球机视场内是否有入侵目标，包括以下步骤：
标定当前球机视场内有入侵目标，其中，包括以下步骤：
若球机视场内识别目标不为空且球机视场中仅有单目标，根据目标在图片中目标的像素点位置，计算将目标移至图片中心所要调整的PTZ值delPTZ（delPan，delTilt，delZoom），表示为：
delPan = [（CameraWidth*0.5 – CentralX）/ CameraWidth] * PannowView；
delTilt = [（CameraHidth*0.5 – CentralY）/ CameraHidth] * TiltnowView；
根据目标在图片中所占的高度targetHidth，遵循目标在图片中所占的高度targetHidth为图片总高度1/4的原则，调整变焦倍数delZoom，计算得到delZoom，表示为：
delZoom = [（CameraHidth*0.25 – targetHidth）/ （CameraHidth*0.25）]；
根据球机的PTZ现在值PTZnow（Pannow，Tiltnow，Zoomnow）和需要调整的PTZ值delPTZ （delPan，delTilt，delZoom），得到球机应转向的PTZ值PTZ1（Pan1，Tilt1，Zoom1），表示为：
Pan1 = Pannow + delPan；
Tilt1 = Tiltnow + Tilt1；
Zoom1 = Zoomnow + delZoom；
调整球机至指定的PTZ1（Pan1，Tilt1，Zoom1），使目标位于球机中心位置。
4.根据权利要求3所述的雷达视频协同的区域入侵目标跟踪方法，其特征在于，步骤所述当前球机视场内有入侵目标，还包括以下步骤：
若球机视场内识别出n个入侵目标，基于各入侵目标在图像中的像素点值，计算得到多入侵目标TargetCamera的像素中心点值，表示为：
；
；
以像素中心点为跟踪目标，调整球机的PTZ值，使得入侵TargetCamera移动至图像中心位置。
5.根据权利要求1或4所述的雷达视频协同的区域入侵目标跟踪方法，其特征在于，步骤所述删除雷达探测目标TargetCamera中已进行过雷球联动的入侵目标，包括以下步骤：
若对于已跟踪过的雷达目标进行删除后，雷达探测的入侵目标仍不为空；
根据雷达探测的目标航迹质量，选择航迹质量最优的入侵目标进行跟踪，其中，航迹最优为航迹质量评分数最高，根据其坐标信息TargetRadar（R，ß，V），将其转换为控制球机的PTZ值，并控制球机转动至指定的PTZ值。
6.根据权利要求5所述的雷达视频协同的区域入侵目标跟踪方法，其特征在于，步骤转换为控制球机的PTZ值，包括以下步骤：
根据雷达探测到的坐标信息TargetRadar（R，ß，V），转换为雷达坐标系下的XYZ值，表示为：
；
；
；
获取球机坐标系下ABC值，表示为：
；
；
；
根据目标在到球机坐标系下ABC值，球机初始的PTZ值PTZ 0 （Pan0，Tilt0，Zoom0）下照射的地面中心位置坐标（A0，B0，0），计算球机应转向的PTZ值PTZ 1 （Pan1，Tilt1，Zoom1），其中，包括：
球机应调整的水平偏转角delPan，表示为：
；
；
球机PTZ应转向的Tilt1值和Zoom1值，表示为：
；
；
球机应转向的PTZ值PTZ 1 （Pan1，Tilt1，Zoom1），表示为：
，；控制球机转动至PTZ 1 （Pan1，Tilt1，Zoom1）。
7.根据权利要求1所述的雷达视频协同的区域入侵目标跟踪方法，其特征在于，步骤所述雷达是否探测到入侵目标，还包括以下步骤：
若雷达探测的入侵目标TargetCamera为空，则返回到初始状态。
CN202311295186.3A 2023-10-09 2023-10-09 一种雷达视频协同的区域入侵目标跟踪方法 Active CN117031463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311295186.3A CN117031463B (zh) 2023-10-09 2023-10-09 一种雷达视频协同的区域入侵目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311295186.3A CN117031463B (zh) 2023-10-09 2023-10-09 一种雷达视频协同的区域入侵目标跟踪方法

Publications (2)

Publication Number Publication Date
CN117031463A true CN117031463A (zh) 2023-11-10
CN117031463B CN117031463B (zh) 2023-12-22

Family

ID=88641594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311295186.3A Active CN117031463B (zh) 2023-10-09 2023-10-09 一种雷达视频协同的区域入侵目标跟踪方法

Country Status (1)

Country Link
CN (1) CN117031463B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101036833B1 (ko) * 2010-03-31 2011-05-25 국방과학연구소 표적 추적 시스템의 레이다 센서와 영상 센서 간의 정렬오차 추정 장치 및 방법
US9778351B1 (en) * 2007-10-04 2017-10-03 Hrl Laboratories, Llc System for surveillance by integrating radar with a panoramic staring sensor
CN108254741A (zh) * 2018-01-16 2018-07-06 中国人民解放军海军航空大学 基于循环神经网络的目标航迹预测方法
CN109031277A (zh) * 2018-06-21 2018-12-18 电子科技大学 一种穿墙雷达多目标图像域稳健跟踪方法
US20190353775A1 (en) * 2018-05-21 2019-11-21 Johnson Controls Technology Company Building radar-camera surveillance system
CN111025283A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 雷达与球机联动的方法及装置
CN112419405A (zh) * 2019-08-23 2021-02-26 杭州海康威视数字技术股份有限公司 一种目标跟踪联合显示方法、安防系统及电子设备
CN113671480A (zh) * 2021-07-10 2021-11-19 亿太特(陕西)科技有限公司 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN115423845A (zh) * 2022-09-22 2022-12-02 安徽江淮汽车集团股份有限公司 融合毫米波雷达及相机的目标对象检测与跟踪方法
CN115512281A (zh) * 2022-11-21 2022-12-23 北京数字绿土科技股份有限公司 一种结合视频相机和激光雷达的入侵物监测方法和系统
US20230007183A1 (en) * 2021-06-30 2023-01-05 Green It Korea Co., Ltd. Method and system for providing intelligent control by using radar security camera
CN116520275A (zh) * 2023-04-10 2023-08-01 西安电子科技大学 探测追踪低慢小目标的雷达光电一体化方法和系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9778351B1 (en) * 2007-10-04 2017-10-03 Hrl Laboratories, Llc System for surveillance by integrating radar with a panoramic staring sensor
KR101036833B1 (ko) * 2010-03-31 2011-05-25 국방과학연구소 표적 추적 시스템의 레이다 센서와 영상 센서 간의 정렬오차 추정 장치 및 방법
CN108254741A (zh) * 2018-01-16 2018-07-06 中国人民解放军海军航空大学 基于循环神经网络的目标航迹预测方法
US20190353775A1 (en) * 2018-05-21 2019-11-21 Johnson Controls Technology Company Building radar-camera surveillance system
CN109031277A (zh) * 2018-06-21 2018-12-18 电子科技大学 一种穿墙雷达多目标图像域稳健跟踪方法
CN111025283A (zh) * 2018-10-09 2020-04-17 杭州海康威视数字技术股份有限公司 雷达与球机联动的方法及装置
CN112419405A (zh) * 2019-08-23 2021-02-26 杭州海康威视数字技术股份有限公司 一种目标跟踪联合显示方法、安防系统及电子设备
US20230007183A1 (en) * 2021-06-30 2023-01-05 Green It Korea Co., Ltd. Method and system for providing intelligent control by using radar security camera
CN113671480A (zh) * 2021-07-10 2021-11-19 亿太特(陕西)科技有限公司 雷达与视频融合交通目标跟踪方法、系统、设备、终端
CN115423845A (zh) * 2022-09-22 2022-12-02 安徽江淮汽车集团股份有限公司 融合毫米波雷达及相机的目标对象检测与跟踪方法
CN115512281A (zh) * 2022-11-21 2022-12-23 北京数字绿土科技股份有限公司 一种结合视频相机和激光雷达的入侵物监测方法和系统
CN116520275A (zh) * 2023-04-10 2023-08-01 西安电子科技大学 探测追踪低慢小目标的雷达光电一体化方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
屈立成 等: "雷达引导的视频联动监控模型及算法", 计算机应用, vol. 38, no. 12, pages 3625 - 3630 *
李波 等: "机载雷达图像目标识别模型仿真研究", 计算机仿真, vol. 31, no. 12, pages 33 - 36 *

Also Published As

Publication number Publication date
CN117031463B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
EP3573024B1 (en) Building radar-camera surveillance system
JP3515926B2 (ja) 車両の周辺監視装置
US5847755A (en) Method and apparatus for detecting object movement within an image sequence
US8405720B2 (en) Automatic calibration of PTZ camera system
CN109920185A (zh) 一种基于毫米波雷达与视频数据融合检测移动目标的方法
CN110850403A (zh) 一种多传感器决策级融合的智能船水面目标感知识别方法
US20060244826A1 (en) Method and system for surveillance of vessels
JP2003016429A (ja) 車両周辺監視装置
CN115184917B (zh) 一种融合毫米波雷达与相机的区域目标跟踪方法
Snidaro et al. Sensor fusion for video surveillance
CN107360394A (zh) 应用于边防视频监控系统的多预置点动态智能监测方法
CN105141887A (zh) 一种基于热成像的海缆区域视频告警方法
CN116266360A (zh) 一种基于多源信息融合的车辆目标检测跟踪方法
CN116520275A (zh) 探测追踪低慢小目标的雷达光电一体化方法和系统
CN117031463B (zh) 一种雷达视频协同的区域入侵目标跟踪方法
Kang et al. Multi-views tracking within and across uncalibrated camera streams
CA2520091C (en) Detection system, method for detecting objects and computer program therefor
CN116342642A (zh) 目标跟踪方法、装置、电子设备及可读存储介质
CN115761693A (zh) 一种基于全景图像下车位标志点检测与车辆跟踪定位方法
CN115471526A (zh) 基于多源异构信息融合的自动驾驶目标检测与跟踪方法
Domhof et al. Multi-sensor object tracking performance limits by the cramer-rao lower bound
Hu et al. Grid-based control of active cameras for waterway ship surveillance
Aycard et al. Puvame-new french approach for vulnerable road users safety
Chen Highway overhead structure detection using video image sequences
CN116027319A (zh) 一种基于雷达光电目标融合的雷达自动标注系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant