CN116520275A - 探测追踪低慢小目标的雷达光电一体化方法和系统 - Google Patents

探测追踪低慢小目标的雷达光电一体化方法和系统 Download PDF

Info

Publication number
CN116520275A
CN116520275A CN202310376964.5A CN202310376964A CN116520275A CN 116520275 A CN116520275 A CN 116520275A CN 202310376964 A CN202310376964 A CN 202310376964A CN 116520275 A CN116520275 A CN 116520275A
Authority
CN
China
Prior art keywords
target
photoelectric
radar
coordinate
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310376964.5A
Other languages
English (en)
Inventor
何学辉
吕烜威
李子萌
马浪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310376964.5A priority Critical patent/CN116520275A/zh
Publication of CN116520275A publication Critical patent/CN116520275A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种探测追踪低慢小目标的雷达光电一体化方法和系统，通过四元数法和卡尔曼滤波方法将雷达和光电数据进行融合，双传系统互相补充校正，当系统检测数据受到干扰时仍能进行目标的跟踪，提高了系统的抗干扰性和稳定性，可以根据需求部署在各种复杂环境中，具备抗风沙、暴晒和雷雨等恶劣环境的能力，能够在白天和夜间全天候全时段进行低慢小目标的监测，同时通过多重判定确定当前跟踪目标，提高目标持续跟踪的准确性。此外本发明在系统上配套终端显控软件，能够实时显示目标运动轨迹和可见光与红外视频画面，拥有良好的人机交互逻辑，方便用户进行操作。

Description

探测追踪低慢小目标的雷达光电一体化方法和系统
技术领域
本发明属于雷达探测技术领域，具体涉及一种探测追踪低慢小目标的雷达光电一体化方法和系统。
背景技术
通常，“低慢小”目标主要指地空域飞行，较慢飞行速度，且外形特性小的不容易被发现的飞行器或者悬空物。常见的目标有多旋翼无人机、热气球等。由于“低慢小”目标体积小，机动性强，很容易对机场、油田等有关国防、民生重要的设施构成威胁，因此对“低慢小”目标进行全天时、全天候检测与防范具有重要的价值和意义。
由于“低慢小”目标低空、慢速的运动特点，探测系统需要同时具备较高的距离分辨率和较大的探测距离，雷达面临的问题有目标飞行高度低，地标回波强以及地表杂波多普勒展宽等问题。雷达需要实现在较低信杂比情况下实现强杂波抑制，需要采用自适应CFAR检测算法来检测目标，同时使用单脉冲测角方法来对目标空间位置进行测量。24Ghz脉冲多普勒雷达是基于运动目标多普勒效应来探测目标的相对运动速度的全相参体制雷达，可用于全天候探测目标的位置和速度信息。并且脉冲多普勒体制雷达同时具备较高的距离分辨率和速度分辨率。
光电跟踪系统具有高清可见光长焦传感器和制冷式和红外传感器，兼备昼夜成像功能，可以通过可见光传感器与红外传感器来捕获目标的图像，通过智能跟踪的决策和算法设计来对目标进行识别和跟踪，以得到目标在图像中的脱靶量，根据目标偏离中心的角度和像素点大小可以换算出目标的方位和俯仰角度数以确定目标的位置信息。
但由于现实环境复杂多变，目标较小等因素，各自系统使用单一传感器进行目标的探测跟踪往往无法达到探测需求，因此从业人员逐渐重视雷达光电一体化检测平台的开发，充分利用两者优势来进行互补，以达到实际“低慢小”目标检测的需求。
南京睿捷智慧交通科技研究院有限公司在其申请的专利文献“雷达光电一体化安防平台系统”(专利申请号：202211077439.5，申请公布号：CN 115436937A)中提出了一种雷达光电一体化安防平台系统。该系统利用雷达电磁波信号发现监控范围内的人员车辆等目标，进而通过雷达引导光电监控设备对目标完成识别确认等动作，进而做出相关反制措施。但是，该方法仍然存在的不足是：由于该方法针对行人车辆等目标较大的情形，对球机视野调整和实时对焦需求较低，且光电系统自身所带的识别算法功能相对比较单一，如果以该系统去追踪“低慢小”目标，很容易丢失目标甚至不能发现目标。
北京高普乐光电科技股份公司在其申请的专利文献“雷达和光电联动的预警方法、装置及系统”(专利申请号：202110605899.X，申请公布号：CN 113064157A)中提出了一种雷达和光电联动的预警方法和系统。该系统利用雷达检测到的目标位置信息来引导光电传感器指向的位置和缩放倍数，对目标进行图像采集和目标识别。该方法存在的不足之处为：单独采用雷达检测信息来进行目标方位的确定具有延后性，当目标速度较快或者目标距离较近时，根据雷达信息引导光电很容易丢失目标，且在环境较为复杂的情况下雷达探测能力大打折扣，容易受到杂波干扰等影响，尤其雷达检测范围内目标较多时，很难连续跟踪指定目标甚至会引导向错误的目标。
综上，目前市面上广泛使用的由雷达探测目标方位引导光电的技术方案虽然能够满足一定场景的需求，但是当目标RCS较小、目标在雷达探测盲区以及背景电磁波环境较为复杂时，在实际使用时很难得到目标检测结果。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了探测追踪低慢小目标的雷达光电一体化方法和系统。本发明要解决的技术问题通过以下技术方案实现：
本发明提供了一种探测追踪低慢小目标的雷达光电一体化方法包括：
步骤1，获取已经结构组装以及校准之后的雷达光电一体化系统；
其中，所述雷达光电一体化系统包括工控机、光电系统以及雷达系统；
步骤2，利用雷达系统在当前时刻扫描探测区域，并对探测区域内的目标进行检测以获取各个目标的回波数据，将当前时刻的所有回波数据发送给所述工控机；
步骤3，工控机对当前时刻接收的回波数据进行解析和处理，得到当前时刻目标在雷达系统坐标系下的三维坐标值，并将每个目标的三维坐标值按照时序组成第一航迹；
步骤4，将该三维坐标值转化为光电系统坐标系下的光电坐标值，以及将第一航迹转换为光电系统坐标系下的第二航迹；
步骤5，按照采集需求确定待采集目标，利用待采集目标在光电系统坐标系下的光电坐标值引导光电系统中的影像传感器的指向，并通过缩放和对焦的方式使得待采集目标位于所述影像传感器的视频画面中心，从而实现待采集目标的图像采集，将采集的视频流上传至工控机；
步骤6，工控机对视频流中的目标进行检测，并将相邻帧间的检测结果进行匹配得到每个目标的运动航迹；
步骤7，计算每个图像中每个目标在当前帧中距离画面重心坐标的欧式距离，将欧式距离最小的目标判定为当前跟踪目标，并根据当前跟踪目标的实际运动的角度值调整光电系统的方位和指向，从而实现持续跟踪。
本发明提供了一种探测追踪低慢小目标的雷达光电一体化系统包括：
工控机、光电系统以及雷达系统；
雷达系统在当前时刻扫描探测区域，并对探测区域内的目标进行检测以获取各个目标的回波数据，将当前时刻的所有回波数据发送给所述工控机；
工控机对当前时刻接收的回波数据进行解析和处理，得到当前时刻目标在雷达系统坐标系下的三维坐标值，并将每个目标的三维坐标值按照时序组成第一航迹；
工控机将该三维坐标值转化为光电系统坐标系下的光电坐标值，以及将第一航迹转换为光电系统坐标系下的第二航迹；
工控机按照采集需求确定待采集目标，利用待采集目标在光电系统坐标系下的光电坐标值引导光电系统中的影像传感器的指向，并通过缩放和对焦的方式使得待采集目标位于所述影像传感器的视频画面中心，从而实现待采集目标的图像采集，将采集的视频流上传至工控机；
工控机对视频流中的目标进行检测，并将相邻帧间的检测结果进行匹配得到每个目标的运动航迹；
工控机计算每个图像中每个目标在当前帧中距离画面重心坐标的欧式距离，将欧式距离最小的目标判定为当前跟踪目标，并根据当前跟踪目标的实际运动的角度值调整光电系统的方位和指向，从而实现持续跟踪。
本发明提供了一种探测追踪低慢小目标的雷达光电一体化方法和系统，通过四元数法和卡尔曼滤波方法将雷达和光电数据进行融合，双传系统互相补充校正，当某个系统检测数据受到干扰时仍能进行目标的跟踪，提高了系统的抗干扰性和稳定性，可以根据需求部署在各种复杂环境中，具备抗风沙、暴晒和雷雨等恶劣环境的能力，能够在白天和夜间全天候全时段进行低慢小目标的监测。此外，本发明在系统上配套终端显控软件，能够实时显示目标运动轨迹和可见光与红外视频画面，拥有良好的人机交互逻辑，方便用户进行操作。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1是本发明提供的一种探测追踪低慢小目标的雷达光电一体化系统的示意图；
图2是本发明提供的探测追踪低慢小目标的雷达光电一体化方法的流程示意图；
图3是本发明提供的探测追踪低慢小目标的雷达光电一体化方法的过程示意图；
图4是本发明提供的雷达与光电系统坐标系统位置关系模型。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
本发明提出了雷达引导的视频联动监控系统。该系统综合雷达与视频监控系统的优点，旨在解决现有视频监控系统遇到的问题，提供一个稳定可靠的监控平台，使视频监控系统能够更好地应用在各类安防监控领域。雷达引导的视频联动监控系统通过雷达引导摄像机对指定区域进行全方位监控，不受摄像机可见区域限制以及雨、雪、雾、浮尘、扬沙等特殊天气因素的影响，提供了一种稳定可靠的视频传输机制，解决了现有视频监控系统监测区域范围固定、监测距离有限、监视死角较多等问题，实现了全天时、全天候、全方位、远距离的安防监控。本发明不仅能够在“低慢小”目标的检测和识别中发挥作用，根据本发明的原理进行适当调整，即可在海边边防、森林防火、野生动物检测、校园安全检测各个领域发挥较大的作用，具有良好的应用前景。
本发明是一个由雷达、光电、交换机和工控机组成的雷达光电联动的“低慢小”目标检测识别和自动跟踪系统，并使用定制结构将其固定为一体化结构，具体结构如附图1所示。其利用雷达探测范围广和能够全天候发现目标的优势来引导光电指向目标方位，并进行对焦和放大倍数的调整来将目标置于视野中心，进而根据由自建训练集训练出的模型库对视野中目标进行实时检测和分析，标注目标类型和编号，实时根据运动目标在图像中的脱靶量和当前视野角度值和像素点的对应关系来求得目标移动角度，持续向球机发送PTZ调度指令来调整球机指向，使得目标始终位于视频画面中心。
本发明利用雷达、光电各自优势，将多个传感器的数据进行融合以达到精确定位的目的，同时利用特制的“低慢小”目标训练集训练得到的权重文件进行目标识别和追踪，达到了大范围覆盖、低探测盲区、全天候检测和实时性跟踪的要求，同时大大降低了目标区域监测的成本。
下面结合附图和实施例，对本发明做进一步的阐述。
结合图2以及图3，本发明提供了一种探测追踪低慢小目标的雷达光电一体化方法，包括：
步骤1，获取已经结构组装以及校准之后的雷达光电一体化装置；
其中，所述雷达光电一体化装置包括工控机、光电系统以及雷达系统。
本发明的工控机配套有终端显控软件，能够实时显示目标运动轨迹和可见光与红外视频画面，拥有良好的人机交互逻辑，方便用户进行操作。现有技术使用普通计算机进行系统搭建，需要在环境较优的情况下使用，受气候和天气影响较大，同时终端显控软件的功能较为简单，人机交互接口较少，与本发明的实用性相差较大。
本发明使用预定的T字型一体化支架将雷达系统和光电系统进行固定，以确保光电和雷达在一水平面或者夹角固定，从而确保坐标转换精度；对雷达和光电系统进行初始化，标定两系统的初始指向方位维和俯仰维的角度值。
步骤2，利用雷达系统在当前时刻扫描探测区域，并对探测区域内的目标进行检测以获取各个目标的回波数据，将当前时刻的所有回波数据发送给所述工控机；
本发明中雷达系统持续检测并传回扫描范围内的目标信号，数据传回工控机的上位机软件后，将对数据按照格式进行解析和算法处理，主要包括脉冲压缩，动目标检测、恒虚警处理和点迹凝聚等操作，并将目标点的轨迹信息绘制在上位机软件的显示界面中。如果涉及多目标，则对其进行航迹匹配和编号处理。
步骤3，工控机对当前时刻接收的回波数据进行解析和处理，得到当前时刻目标在雷达系统坐标系下的三维坐标值，并将每个目标的三维坐标值按照时序组成第一航迹。
在一种具体的方式中，本发明的步骤3包括：
步骤31，将当前时刻的回波数据进行解析和处理得到目标在当前时刻的径向距离、方位角值；
步骤32，根据目标当前时刻的径向距离以及方位角生成目标在雷达系统坐标下的当前时刻的三维坐标；
步骤33，根据目标在雷达系统坐标下的三维坐标按照时序组成生成第一航迹。
步骤4，将该三维坐标值转化为光电系统坐标系下的光电坐标值，以及将第一航迹转换为光电系统坐标系下的第二航迹；
在一种具体的方式中，本发明的步骤4包括：
步骤41，建立雷达系统、光电系统以及公共参考坐标系的公共关系，并建立雷达系统从公共参考坐标系至三维笛卡尔坐标系的转化表达式；
步骤42，根据转化表达式、雷达系统坐标系与光电系统坐标系之间的轴距离，确定数据从雷达系统坐标系转化到光电系统坐标系所利用的平移表达式；
步骤43，利用所述平移表达式，将雷达系统坐标系下的三维坐标值转化为光电系统坐标系下的光电坐标值以及将第一航迹转换为光电系统坐标系下的第二航迹。
下面结合图4来对步骤4作进一步的描述。
本发明的复合探测装置用于固定平台，雷达与光电的位置安装相对固定，且雷达系统与光电系统的距离较近，可忽略地球曲率所造成的影响。雷达系统与光电系统存在固定位置关系，该位置关系通过标定得到。雷达与光电系统及目标空间模型如图4所示。
建立雷达与光电的坐标系及公共参考坐标系的公共关系，M点作为雷达与光电探测的同一目标，引入世界坐标系(X,Y,Z)，雷达与光电系统探测坐标系分别为(Xr,Yr,Zr)，(Xg,Yg,Zg)。雷达测得目标M的距离，俯仰和方位为光电系统测得目标M的球坐标为/>本发明利用四元数法进行坐标变换。将目标数据从球坐标系下变换到三维笛卡尔坐标系中，可以得到目标在笛卡尔坐标系下各方向距离转换表达式：
Rz＝Rr*cos(Rθ)
则目标在雷达坐标系下矢量为V，其四元数表达式为：
V＝0+Rx*i+Ry*j+Rz*k
在将雷达探测目标转换到光电坐标系下时，需要将雷达所测得目标的位置数据进行平移，若两个坐标系下坐标轴相距的距离为dx,dy,dz，则平移的表达式如下：
V'＝0+(Rx+dx)*i+(Ry+dy)*j+(Rz+dz)*k
根据该表达式可将雷达探测目标的位置与光电坐标系重合。
步骤5，按照采集需求确定待采集目标，利用待采集目标在光电系统坐标系下的光电坐标值引导光电系统中的影像传感器的指向，并通过缩放和对焦的方式使得待采集目标位于所述影像传感器的视频画面中心，从而实现待采集目标的图像采集，将采集的视频流上传至工控机；
步骤5为图2中的图像配准过程，在一种具体的方式中，本发明的步骤5包括：
步骤51，根据光电系统坐标系下的光电坐标值，确定目标相对于光电系统的俯仰角和方位角度；
步骤52，俯仰角和方位角度确定最终指向角度；
步骤53，根据光电系统初始化时的初始指向角度与最终指向角度的差异，确定光电系统所需的调整角度值；
步骤54，按照所需的调整角度向光电系统发送调整指令，以使光电系统调整自身从而使得目标位于光电系统的视频画面中心；
步骤55，根据目标在视频画面中心所占比例的大小，发送指令以使光电系统进行光电角度的调整。
步骤6，工控机对视频流中的目标进行检测，并将相邻帧间的检测结果进行匹配得到每个目标的运动航迹；
作为本发明一种可选的实施方式，步骤6包括：
步骤61，对视频流中的辅助流进行抽帧操作，得到连续的图像帧；
步骤62，对图像帧利用训练好的yolov5模型进行目标检测和识别，得到每一帧的实际检测结果；
本发明可以通过自制“低慢小”数据集，针对“低慢小”目标进行专门的目标识别权重文件训练，提高小目标检测识别的精度和速度。现有技术使用大范围普通数据集训练的权值模型，大多数为人、车辆和大型动物等数据集，导致对较小目标的识别效果较差，在实际使用时很难检测到“低慢小”目标。本发明使用的yolov5目标识别权重文件能够不断迭代更新，提高检测结果的准确行。
步骤63，将上一帧中多个目标的实际检测结果输入卡尔曼滤波器，得到每个目标在当前帧的预测位置；
步骤64，将当前帧的实际检测结果与目标在当前帧的预测位置进行数据关联，得到相邻两帧图像中多个同一目标的关联结果；
作为本发明一种可选的实施方式，步骤64包括：
步骤641，将当前帧的实际检测结果与目标在当前帧的预测位置进行数据关联；
步骤642，若步骤641中每个目标均存在与其关联的目标，表示每个目标均关联成功，则根据IOU来进行二次判决，若IOU大于预设的交并比阈值则判定关联成功，更新关联成功的目标的位置和航迹信息；
步骤643，若步骤641中IOU小于预设的交并比阈值，则判定步骤641中的目标关联失败；
步骤644，若步骤641中存在未成功关联的目标，则计算根据该目标在前一帧与当前帧的实际位置计算该目标的IOU，若IOU大于所述交并比阈值，则表示该目标关联成功，更新该目标的位置信息和航迹，若IOU小于交并比阈值则表示该目标关联失败；
步骤645，若步骤644中仍有目标关联失败，则为该目标新建一个航迹，对于新建立的航迹进行考察，若三帧内该目标持续存在，则保存该目标的位置和航迹信息，若未通过考察，则将该目标和对应的航迹信息删掉；
步骤645，在步骤642至步骤645中的目标关联成功后，则根据关联结果将目标和对应的航迹信息进行更新。
步骤65，针对每一帧图像都执行步骤63至64的步骤，得到相邻帧间每个目标的运动航迹。
由于雷达和光电系统探测特性差异，其目标数据输出频率不同，需要通过时间配准将各测量信息都统一到相同的时间坐标系上，为雷达和光电系统数据融合做准备，时间同步是提高目标感知精度的关键。本发明首先将雷达与光电通过统一时钟分频的思路由上位机软件实现输出同步，再采用串行合并的方法进行时间配准，提高了两系统数据融合检测的精度。
本发明采用卡尔曼滤波估值算法来进行雷达和光电系统的数据融合。本发明在数据融合前对数据进行预处理，对超出使用范围的“野值”进行剔除，然后让雷达与光电按照卡尔曼滤波公式独立进行滤波，获得局部最优估计，最后再将局部最优估计在主滤波器内完成数据融合，获得全局最优估计，以达到目标航迹预测的数据融合效果，大大提高系统的跟踪能力和识别效果。
步骤7，计算每个图像中每个目标在当前帧中距离画面重心坐标的欧式距离，将欧式距离最小的目标判定为当前跟踪目标，并根据当前跟踪目标的实际运动的角度值调整光电系统的方位和指向，从而实现持续跟踪。
作为本发明一种可选的实施方式，步骤7包括：
步骤71，在得到每个目标的运动航迹后，则计算图像中每个目标距离图像正中心坐标的欧氏距离；
步骤72，判断是否存在多个欧氏距离相等或者相差小于预设的距离阈值的情况，如果存在，则计算目标在相邻帧之间的IOU，选择IOU最大的目标作为当前跟踪目标；
步骤73，如果不存在多个欧氏距离相等或者相差小于预设的距离阈值的情况，则选择欧式距离最小的目标作为当前跟踪目标；
步骤74，根据当前跟踪目标的中心点在相邻帧间移动的像素点值和当前光电的视野范围计算当前跟踪目标的实际运动角度值；
本步骤得到当前跟踪目标信息后，根据该目标的中心点在相邻帧间移动的像素点值和当前光电的视野范围来计算得到目标实际运动的角度值，以调整光电的方位和俯仰指向。
示例性的，如当前球机视野范围为方位维32°，俯仰维18°，光电视频分辨率为1920×1080，前后两帧中，目标中心在图像中方位维移动了64个像素点，俯仰维移动了100个像素点，则目标移动的距离在当前视野中的角度值的计算方法为：
θ＝64/1920*32＝1.07°
根据角度偏移值来调整光电指向角度，使得目标始终位于视频画面中心。
步骤75，将当前跟踪目标的实际运动角度值发送给光电系统，以使光电系统调整自身的方位和俯仰指向从而持续跟踪所述当前跟踪目标。
光电系统根据实际运送角度值，调整自身的方位和俯仰角以使当前跟踪目标始终位于画面中心。同时，更新当前跟踪目标在光电坐标系下的位置坐标，并由坐标处理模块来换算得到该目标在雷达坐标系下的位置坐标，并与雷达检测到的目标坐标结果进行匹配和关联，当两者误差较大时，则由雷达重新引导光电和跟踪。
若目标只进行了微小的位置偏移即调整光电的指向会造成画面频繁抖动。本发明引入多种判决条件机制，来保证只有目标运动超出适当的阈值时，才进行光电的指向调整，以防止画面的持续抖动和对光电的频繁指令操作。若目标在进行运动时逐渐光电或者靠近光电，则需要控制光电进行画面的放大和缩小，以保证目标在画面中清晰可见，便于系统识别和监测。本发明在进行光电视野的放大缩小时，同样制定了多种阈值判断方法，当目标在画面中比例小于阈值时，则进行放大操作，若大于阈值时，则进行缩小操作。同时为了保证画面缩放流畅，本发明添加多种判决条件进行制约和调整。
本发明提供了一种探测追踪低慢小目标的雷达光电一体化系统包括：工控机、光电系统以及雷达系统；
雷达系统在当前时刻扫描探测区域，并对探测区域内的目标进行检测以获取各个目标的回波数据，将当前时刻的所有回波数据发送给所述工控机；
工控机对当前时刻接收的回波数据进行解析和处理，得到当前时刻目标在雷达系统坐标系下的三维坐标值，并将每个目标的三维坐标值按照时序组成第一航迹；
工控机将该三维坐标值转化为光电系统坐标系下的光电坐标值，以及将第一航迹转换为光电系统坐标系下的第二航迹；
工控机按照采集需求确定待采集目标，利用待采集目标在光电系统坐标系下的光电坐标值引导光电系统中的影像传感器的指向，并通过缩放和对焦的方式使得待采集目标位于所述影像传感器的视频画面中心，从而实现待采集目标的图像采集，将采集的视频流上传至工控机；
工控机对视频流中的目标进行检测，并将相邻帧间的检测结果进行匹配得到每个目标的运动航迹；
工控机计算每个图像中每个目标在当前帧中距离画面重心坐标的欧式距离，将欧式距离最小的目标判定为当前跟踪目标，并根据当前跟踪目标的实际运动的角度值调整光电系统的方位和指向，从而实现持续跟踪。
本发明由雷达、光电和工控机组成，可以根据需求部署在各种复杂环境中，具备抗风沙、暴晒和雷雨等恶劣环境的能力，能够在白天和夜间全天候全时段进行“低慢小”目标的监测。本发明开发了配套终端显控软件，能够实时显示目标运动轨迹和可见光与红外视频画面，拥有良好的人机交互逻辑，方便用户进行操作。现有的最好的技术使用普通计算机进行系统搭建，需要在环境较优的情况下使用，受气候和天气影响较大，同时终端显控软件的功能较为简单，人机交互接口较少，与本发明的实用性相差较大。
本发明通过自制“低慢小”数据集的方法，针对“低慢小”目标进行了专门的目标识别权重文件训练，大大提高了小目标检测识别的精度和速度。最好的现有技术使用大范围普通数据集训练的权值模型，大多数为人、车辆和大型动物等数据集，导致对较小目标的识别效果较差，在实际使用时很难检测到“低慢小”目标。同时，本系统使用的yolov5进行目标识别，能够不断迭代更新。
本发明使用四元数法和卡尔曼滤波方法，将雷达和光电数据进行融合，双传感器互相补充校正，当某个传感器受到干扰时仍能进行目标的跟踪，提高了系统的抗干扰性和稳定性。现有的最好的技术停留在仅仅使用雷达数据来引导光电的方法，没有实现雷达系统和光电系统的数据融合。当雷达收到干扰或者目标较小RCS较低导致无法检测目标方位时，现有的系统则无法正常进行跟踪工作。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种探测追踪低慢小目标的雷达光电一体化方法，其特征在于，包括：
步骤1，获取已经结构组装以及校准之后的雷达光电一体化系统；
其中，所述雷达光电一体化系统包括工控机、光电系统以及雷达系统；
步骤2，利用雷达系统在当前时刻扫描探测区域，并对探测区域内的目标进行检测以获取各个目标的回波数据，将当前时刻的所有回波数据发送给所述工控机；
步骤3，工控机对当前时刻接收的回波数据进行解析和处理，得到当前时刻目标在雷达系统坐标系下的三维坐标值，并将每个目标的三维坐标值按照时序组成第一航迹；
步骤4，将该三维坐标值转化为光电系统坐标系下的光电坐标值，以及将第一航迹转换为光电系统坐标系下的第二航迹；
步骤5，按照采集需求确定待采集目标，利用待采集目标在光电系统坐标系下的光电坐标值引导光电系统中的影像传感器的指向，并通过缩放和对焦的方式使得待采集目标位于所述影像传感器的视频画面中心，从而实现待采集目标的图像采集，将采集的视频流上传至工控机；
步骤6，工控机对视频流中的目标进行检测，并将相邻帧间的检测结果进行匹配得到每个目标的运动航迹；
步骤7，计算每个图像中每个目标在当前帧中距离画面重心坐标的欧式距离，将欧式距离最小的目标判定为当前跟踪目标，并根据当前跟踪目标的实际运动的角度值调整光电系统的方位和指向，从而实现持续跟踪。
2.根据权利要求1所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，结构组装以及校准得到雷达光电一体化装置的过程如下：
使用预定的T字型一体化支架将雷达系统和光电系统进行固定，以确保光电和雷达在一水平面或者夹角固定，从而确保坐标转换精度；
对雷达和光电系统进行初始化，标定两系统的初始指向方位维和俯仰维的角度值。
3.根据权利要求1所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，步骤3包括：
步骤31，将当前时刻的回波数据进行解析和处理得到目标在当前时刻的径向距离、方位角值；
步骤32，根据目标当前时刻的径向距离以及方位角生成目标在雷达系统坐标下的当前时刻的三维坐标；
步骤33，根据目标在雷达系统坐标下的三维坐标按照时序组成生成第一航迹。
4.根据权利要求1所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，步骤4包括：
步骤41，建立雷达系统、光电系统以及公共参考坐标系的公共关系，并建立雷达系统从公共参考坐标系至三维笛卡尔坐标系的转化表达式；
步骤42，根据转化表达式、雷达系统坐标系与光电系统坐标系之间的轴距离，确定数据从雷达系统坐标系转化到光电系统坐标系所利用的平移表达式；
步骤43，利用所述平移表达式，将雷达系统坐标系下的三维坐标值转化为光电系统坐标系下的光电坐标值以及将第一航迹转换为光电系统坐标系下的第二航迹。
5.根据权利要求1所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，步骤5包括：
步骤51，根据光电系统坐标系下的光电坐标值，确定目标相对于光电系统的俯仰角和方位角度；
步骤52，俯仰角和方位角度确定最终指向角度；
步骤53，根据光电系统初始化时的初始指向角度与最终指向角度的差异，确定光电系统所需的调整角度值；
步骤54，按照所需的调整角度向光电系统发送调整指令，以使光电系统调整自身从而使得目标位于光电系统的视频画面中心；
步骤55，根据目标在视频画面中心所占比例的大小，发送指令以使光电系统进行光电角度的调整。
6.根据权利要求1所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，步骤6包括：
步骤61，对视频流中的辅助流进行抽帧操作，得到连续的图像帧；
步骤62，对图像帧利用训练好的yolov5模型进行目标检测和识别，得到每一帧的实际检测结果；
步骤63，将上一帧中多个目标的实际检测结果输入卡尔曼滤波器，得到每个目标在当前帧的预测位置；
步骤64，将当前帧的实际检测结果与目标在当前帧的预测位置进行数据关联，得到相邻两帧图像中多个同一目标的关联结果；
步骤65，针对每一帧图像都执行步骤63至64的步骤，得到相邻帧间每个目标的运动航迹。
7.根据权利要求6所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，在步骤64包括：
步骤641，将当前帧的实际检测结果与目标在当前帧的预测位置进行数据关联；
步骤642，若步骤641中每个目标均存在与其关联的目标，表示每个目标均关联成功，则根据IOU来进行二次判决，若IOU大于预设的交并比阈值则判定关联成功，更新关联成功的目标的位置和航迹信息；
步骤643，若步骤641中IOU小于预设的交并比阈值，则判定步骤641中的目标关联失败；
步骤644，若步骤641中存在未成功关联的目标，则计算根据该目标在前一帧与当前帧的实际位置计算该目标的IOU，若IOU大于所述交并比阈值，则表示该目标关联成功，更新该目标的位置信息和航迹，若IOU小于交并比阈值则表示该目标关联失败；
步骤645，若步骤644中仍有目标关联失败，则为该目标新建一个航迹，对于新建立的航迹进行考察，若三帧内该目标持续存在，则保存该目标的位置和航迹信息，若未通过考察，则将该目标和对应的航迹信息删掉；
步骤645，在步骤642至步骤645中的目标关联成功后，则根据关联结果将目标和对应的航迹信息进行更新。
8.根据权利要求1所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，步骤7包括：
步骤71，在得到每个目标的运动航迹后，则计算图像中每个目标距离图像正中心坐标的欧氏距离；
步骤72，判断是否存在多个欧氏距离相等或者相差小于预设的距离阈值的情况，如果存在，则计算目标在相邻帧之间的IOU，选择IOU最大的目标作为当前跟踪目标；
步骤73，如果不存在多个欧氏距离相等或者相差小于预设的距离阈值的情况，则选择欧式距离最小的目标作为当前跟踪目标；
步骤74，根据当前跟踪目标的中心点在相邻帧间移动的像素点值和当前光电的视野范围计算当前跟踪目标的实际运动角度值；
步骤75，将当前跟踪目标的实际运动角度值发送给光电系统，以使光电系统调整自身的方位和俯仰指向从而持续跟踪所述当前跟踪目标。
9.根据权利要求8所述的探测追踪低慢小目标的雷达光电一体化方法，其特征在于，在步骤75之后，
光电系统根据实际运送角度值，调整自身的方位和俯仰角以使当前跟踪目标始终位于画面中心。
10.一种探测追踪低慢小目标的雷达光电一体化系统，其特征在于，包括：工控机、光电系统以及雷达系统；
雷达系统在当前时刻扫描探测区域，并对探测区域内的目标进行检测以获取各个目标的回波数据，将当前时刻的所有回波数据发送给所述工控机；
工控机对当前时刻接收的回波数据进行解析和处理，得到当前时刻目标在雷达系统坐标系下的三维坐标值，并将每个目标的三维坐标值按照时序组成第一航迹；
工控机将该三维坐标值转化为光电系统坐标系下的光电坐标值，以及将第一航迹转换为光电系统坐标系下的第二航迹；
工控机按照采集需求确定待采集目标，利用待采集目标在光电系统坐标系下的光电坐标值引导光电系统中的影像传感器的指向，并通过缩放和对焦的方式使得待采集目标位于所述影像传感器的视频画面中心，从而实现待采集目标的图像采集，将采集的视频流上传至工控机；
工控机对视频流中的目标进行检测，并将相邻帧间的检测结果进行匹配得到每个目标的运动航迹；
工控机计算每个图像中每个目标在当前帧中距离画面重心坐标的欧式距离，将欧式距离最小的目标判定为当前跟踪目标，并根据当前跟踪目标的实际运动的角度值调整光电系统的方位和指向，从而实现持续跟踪。
CN202310376964.5A 2023-04-10 2023-04-10 探测追踪低慢小目标的雷达光电一体化方法和系统 Pending CN116520275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310376964.5A CN116520275A (zh) 2023-04-10 2023-04-10 探测追踪低慢小目标的雷达光电一体化方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310376964.5A CN116520275A (zh) 2023-04-10 2023-04-10 探测追踪低慢小目标的雷达光电一体化方法和系统

Publications (1)

Publication Number Publication Date
CN116520275A true CN116520275A (zh) 2023-08-01

Family

ID=87400313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310376964.5A Pending CN116520275A (zh) 2023-04-10 2023-04-10 探测追踪低慢小目标的雷达光电一体化方法和系统

Country Status (1)

Country Link
CN (1) CN116520275A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117031463A (zh) * 2023-10-09 2023-11-10 安徽隼波科技有限公司 一种雷达视频协同的区域入侵目标跟踪方法
CN117968665A (zh) * 2024-03-28 2024-05-03 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种目标融合方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117031463A (zh) * 2023-10-09 2023-11-10 安徽隼波科技有限公司 一种雷达视频协同的区域入侵目标跟踪方法
CN117031463B (zh) * 2023-10-09 2023-12-22 安徽隼波科技有限公司 一种雷达视频协同的区域入侵目标跟踪方法
CN117968665A (zh) * 2024-03-28 2024-05-03 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种目标融合方法及系统

Similar Documents

Publication Publication Date Title
CN110414396B (zh) 一种基于深度学习的无人艇感知融合算法
CN116520275A (zh) 探测追踪低慢小目标的雷达光电一体化方法和系统
CN111368706A (zh) 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN109212545A (zh) 基于主动视觉的多信源目标跟踪测量系统及跟踪方法
CN110850403A (zh) 一种多传感器决策级融合的智能船水面目标感知识别方法
CN112394382B (zh) 一种抗长时遮挡的低慢小目标跟踪装置及方法
CN110081982B (zh) 一种基于双光谱光电搜索的无人机目标定位方法
KR102001594B1 (ko) 비가시공간 투시 레이더-카메라 융합형 재난 추적 시스템 및 방법
US20210319221A1 (en) Vessel Height Detection Through Video Analysis
CN114419825A (zh) 基于毫米波雷达和摄像头的高铁周界入侵监测装置及方法
CN113566833A (zh) 一种多传感器融合的车辆定位方法及系统
CN109597432B (zh) 一种基于车载摄像机组的无人机起降监控方法及系统
CN107561593A (zh) 一种小型无人飞行器复合探测装置
CN111913190B (zh) 一种基于彩色红外光谱共孔径成像的临近空间暗弱目标定向装置
CN105810023B (zh) 机场起落架收放自动监测方法
CN113219454A (zh) 基于毫米波雷达的防车辆和人员侵入跑道的系统及方法
CN115032627A (zh) 分布式多传感器多模态无人集群目标融合跟踪方法
CN113156417A (zh) 反无人机探测系统、方法和雷达设备
CN115035470A (zh) 一种基于混合视觉的低小慢目标识别与定位方法及系统
CN210572736U (zh) 一种低小慢目标自动探测、跟踪、识别系统
CN114998846A (zh) 海上钻井平台智能化系统的实现方法、系统及相关组件
CN113743286A (zh) 一种多源信号融合的目标监测系统及方法
CN109708659B (zh) 一种分布式智能光电低空防护系统
WO2023173879A1 (zh) 一种光电雷达综合侦察系统
CN204297108U (zh) 直升机避障系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination