CN116577776A - 一种多源自主协同的目标探测与智能识别方法及系统 - Google Patents
一种多源自主协同的目标探测与智能识别方法及系统 Download PDFInfo
- Publication number
- CN116577776A CN116577776A CN202310850581.7A CN202310850581A CN116577776A CN 116577776 A CN116577776 A CN 116577776A CN 202310850581 A CN202310850581 A CN 202310850581A CN 116577776 A CN116577776 A CN 116577776A
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- photoelectric sensor
- value
- risk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims description 67
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000009545 invasion Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000005622 photoelectricity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种多源自主协同的目标探测与智能识别方法，首先获取多源传感器测量的目标的航迹参数，多源传感器包括光电传感器和雷达；基于雷达测量的航迹参数，计算目标威胁等级，确定高危目标集；对雷达测量的高危目标的航迹参数进行坐标转换，得到高危目标相对光电传感器的位置关系；根据得到的位置关系调节光电传感器探测位置，并获得高危目标图像信息；基于图像信息进行高危目标智能检测识别，自动锁定高危目标进行跟踪。通过雷达确定的高危目标引导光电传感器探测，在无人工干预条件下，全自动探测、锁定入侵目标，持续高精度稳定跟踪，有效解决了多源传感器协同探测难、目标识别能力弱、恶劣环境虚警高等瓶颈问题。
Description
技术领域
本发明涉及探测与智能识别系统，具体是涉及一种多源自主协同的目标探测与智能识别方法及系统。
背景技术
传统时常采用“雷达”+“光电”的探测手段，实际工作过程中，雷达往往会因杂波、地物产生干扰航迹，导致难以从众多雷达航迹中区分是否存在入侵目标，无法完成关键的目标确认，因此需要光电传感器配合雷达进行协同观察，由雷达对光电进行指向引导，确定目标类别。而此协同过程的操控相当复杂，不仅需要高频的雷达数据持续引导光电传感器转动，保证目标能够出现在光电传感器视场中，还需要操作员对光电进行合理的焦距（视场）、聚焦调节，保持目标看的见、看得清，发现目标后，手动操作目标完成锁定、目视进行目标识别工作。即使配备专业人员也难以长时间持续完成以上操作，容易出现漏警与误判等情况。传统手段存在以下缺点：（1）多数情况下，雷达、光电、电侦等传感器往往独立工作，自主协同能力弱；（2）受地物杂波、空飘干扰、环境变化等因素影响，低慢小目标检测虚警率高；（3）目标识别需要人在回路、辅助判读识别，智能识别水平低；（4）受多源传感器方位、距离等参数精度差异大的影响，目标引导定位准确度差。
发明内容
发明目的：针对以上缺点，本发明提供一种全自动探测、锁定入侵目标，持续高精度稳定跟踪的多源自主协同的目标探测与智能识别方法。
本发明还提供一种多源自主协同的目标探测与识别系统。
技术方案：为解决上述问题，本发明采用一种多源自主协同的目标探测与智能识别方法，包括以下步骤：
（1）获取多源传感器测量的目标的航迹参数，多源传感器包括光电传感器和雷达；
（2）基于雷达测量的航迹参数，计算目标威胁等级，确定高危目标集；
（3）对雷达测量的高危目标的航迹参数进行坐标转换，得到高危目标相对光电传感器的位置关系；
（4）根据得到的位置关系调节光电传感器探测位置，并获得高危目标图像信息；
（5）基于图像信息进行高危目标智能检测识别，自动锁定高危目标进行跟踪。
进一步的，所述步骤（1）中还包括多源传感器的部署，基于探测任务的需求，获得任务背景参量，基于任务背景参量和各传感器的探测范围进行各传感器部署，包括1台雷达和N台光电传感器，对光电传感器编号并设定优先级，根据目标危险等级调配使用，高优先级光电传感器跟踪高危险等级目标，任务背景参量包括待监视的目标类型、监视范围和作用距离。
进一步的，所述步骤（1）中对多源传感器进行部署后，利用无人机靶机为合作源目标，对多源传感器进行位置校准，具体包括以下步骤：
（1.1）使用水平气泡仪保证雷达、光电传感器安装平面水平；
（1.2）对雷达进行粗略的偏北方位、俯仰、距离修正，初始修正值记为，其中为偏北方位修正值，为俯仰修正值，为距离修正值；
对光电传感器进行粗略的偏北方位、俯仰修正，初始修正值记为，其中，为偏北方位修正值，为俯仰修正值；
（1.3）获得无人机靶机的飞行数据，其中代表无人机靶机第个记录点的经度值，代表无人机靶机第个记录点的维度值，代表无人机靶机第个记录点的高度值，代表第个记录点的时间戳，代表无人机靶机飞行数据的记录点总数；
同时获取雷达对无人机靶机探测的航迹数据，其中代表雷达探测到无人机靶机第个航迹点相对雷达的偏北角，代表雷达探测到无人机靶机第个航迹点相对雷达的俯仰角，代表雷达探测到无人机靶机第个航迹点相对雷达的斜距值，代表雷达探测到无人机靶机第个航迹点的时间戳，代表雷达探测到的无人机靶机航迹点的总数；
同时获取光电传感器对无人机靶机探测的航迹数据 ，其中代表光电传感器探测到无人机靶机第个航迹点相对光电传感器的偏北角，代表光电传感器探测到无人机靶机第个航迹点相对光电传感器的俯仰角，代表光电传感器探测到无人机靶机第个航迹点的时间戳，代表光电传感器探测到的无人机靶机航迹点的总数；
（1.4）将无人机靶机飞行数据中的经度值、维度值、高度值由WGS84坐标系转化为分别以雷达和光电传感器的部署点为原点、正北方向为方位0°、水平方向为俯仰0°的极坐标系数据，并进行时间插值得到雷达参考值，和光电参考值；
（1.5）分别计算雷达和光电传感器的二次修正值：
其中，雷达的方位二次修正值、俯仰二次修正值、距离二次修正值的计算公式分别为：
，
，
，
光电传感器的方位二次修正值、俯仰二次修正值的计算公式分别为：
，
，
（1.6）根据雷达和光电传感器的二次修正值，分别计算雷达和光电传感器的最终修正值：
雷达的方位、俯仰、距离的最终修正值为:
，
光电传感器的方位、俯仰的最终修正值为：
，
（1.7）按雷达和光电传感器的最终修正值修正雷达和光电传感器的基准。
进一步的，所述步骤（2）中基于若干雷达测量的航迹参数，实时计算若干目标威胁等级，获得若干目标威胁度；每间隔的时间进行一次威胁度排序，并判定是否有目标的威胁度超过阈值，如果有威胁度超阈值的一个或多个目标，且当前没有开始雷达引导，则直接选择威胁度最高的目标作为高危目标进行引导；如果已经有引导的高危目标，且目前最大威胁度的目标就是引导的高危目标则雷达继续引导，若目前最大威胁度的目标不是引导的高危目标，则判定引导的高危目标的持续引导时间是否超过目标切换阈值，若，则将目前最大威胁度的目标切换为高危目标进行引导，否则继续对原高危目标进行引导。
进一步的，目标威胁等级的计算公式为：
，
其中，为目标信噪比威胁贡献度，为目标幅度威胁贡献度、为实时位置威胁贡献度，为航迹质量威胁贡献度；
目标信噪比威胁贡献度计算公式如下：
，
其中，为航迹信噪比均值，为典型目标最弱信噪比，为权重系数，为调节系数；
目标幅度威胁贡献度计算公式如下：
，
其中，为航迹点幅度均值，为典型目标最低幅度值，为权重系数，为调节系数；
实时位置威胁贡献度计算公式如下：
，
其中，为目标实时位置距离所有核心区中点的最小值，为最小威胁临界距离，为权重系数；
航迹质量威胁贡献度计算公式如下：
，
其中，为目标当前航迹质量，为统计航迹质量的周期数，为权重系数。
进一步的，所述步骤（4）中光电传感器探测位置的调节具体包括以下步骤：
（4.1）根据高危目标相对光电传感器的位置关系，得到调节光电传感器探测位置的引导值，将调节光电传感器方位角和俯仰角的引导值发送给光电传感器，引导光电传感器指向对准该位置；
（4.2）调节光电传感器的视场，已知光电传感器的垂直视场角与水平视场角的固定比例关系，根据水平视场角计算得到垂直视场角，光电传感器水平视场角设定值的计算公式为：
，
其中，为雷达在以光电传感器为中心的随机测距误差，为调节光电传感器探测位置的引导值；
（4.3）调节光电传感器聚焦值。
进一步的，所述调节光电传感器探测位置的引导值的计算公式为：
，
，
，
其中，对雷达测量的高危目标的航迹参数进行坐标转换，得到高危目标相对光电传感器的球坐标，代表方位角，代表俯仰角，代表距离，代表时间戳，为高危目标的航迹点编号，为当前时间，为上一引导值。
进一步的，所述步骤（5）的具体步骤为：通过卷积神经网络对图像信息进行检测、识别，其中包括离线处理与在线处理：离线处理对目标图片进行标注，采用包括不同尺度、不同占比的目标图片作为训练样本，对YOLOV7网络进行训练；在线处理是利用训练完成后的YOLOV7网络对图像信息进行实时推理输出得到目标检测识别结果信息；如果获得的图像信息中存在一个或多个目标，目标表示为，其中表示目标外接矩形中心点在图像中的横坐标，表示目标外接矩形中心点在图像中的纵坐标，表示目标外接矩形的宽度，表示目标外接矩形的高度；图像宽高尺寸为，图像中心点坐标为，如果存在检测出的目标其位置同时满足：
，
，
那么选定该目标进行锁定跟踪；
如果存在多个目标同时满足以上条件则选择距离图像中心点最近的目标作为选定目标进行锁定跟踪。
进一步的，还包括步骤（6）建立目标告警模型，对突发性单体、集群性高危目标进行实时告警，具体步骤为：
（6.1）对图像中目标尺寸进行统计，建立跟踪区域，其中表示跟踪区域中心点在图像中的横坐标，表示跟踪区域中心点在图像中的纵坐标，表示跟踪区域的宽度，表示跟踪区域的高度，对落入跟踪区域的目标的尺寸进行归一化，得到目标占比：
，
（6.2）根据目标占比调节光电传感器的视场，设定值的合理区间，当时，视场不调节，当，则视场调小一次，当，则视场调大一次；
（6.3）多次调节光电传感器的视场，至值落入合理区间，此时若跟踪区域内仍存在目标，确定目标入侵，进行告警。
本发明还采用一种多源自主协同的目标探测与智能识别方法的系统，包括：
轨迹参数获取模块，用于多源传感器测量的目标的航迹参数，多源传感器包括光电传感器和雷达；
参数计算模块，用于基于雷达测量的航迹参数，计算目标威胁等级，确定高危目标集；并对雷达测量的高危目标的航迹参数进行坐标转换，得到高危目标相对光电传感器的位置关系；
图像获取模块，用于根据得到的位置关系调节光电传感器探测位置，并获得高危目标图像信息；
识别跟踪模块，用于基于图像信息进行高危目标智能检测识别，自动锁定高危目标进行跟踪。
有益效果：本发明相对于现有技术，其显著优点是能够通过雷达确定的高危目标引导光电传感器探测，在无人工干预条件下，全自动探测、锁定入侵目标，持续高精度稳定跟踪，并识别目标类型、身份等信息，有效解决了多源传感器协同探测难、目标识别能力弱、恶劣环境虚警高等瓶颈问题。
附图说明
图1是本发明多源自主协同的目标探测与智能识别方法的流程图。
图2是本发明多源自主协同的目标探测与识别系统的组成图。
图3是本发明探测到无人机效果图。
图4是本发明探测到无人机航迹效果图。
图5是本发明采用的卷积神经网络架构。
实施方式
如图1所示，本实施例中一种多源自主协同的目标探测与智能识别方法，包括以下步骤：
（1）建立任务驱动的多源传感器编配计算模型；
根据任务需求，获得待监视的目标类型、监视范围和作用距离等任务背景参量，根据任务背景参量和传感器威力范围部署雷达、光电、电侦等多源传感器。在本实施例中，主要部署雷达和光电传感器。
光电传感器作用距离计算公式如下：
，
其中，为目标到光电传感器的作用距离；为信号提取因子；为目标的有效辐射面积；为目标的辐射亮度；为目标在焦平面上所占的像元数；为背景辐射亮度；为光学系统入瞳面积；为大气透过率；为工作时光学系统的透过率；为探测器单个像元面积；为工作时的积分时间；为波段有效探测度；SNR为最低信噪。
雷达作用距离计算公式如下：
，
其中，为目标到雷达的作用距离；为雷达发射功率，为全向接收天线增益，为定向发射天线增益，为雷达信号波长，为典型目标反射截面积，为玻尔兹曼常数，为噪声温度，为接收系统等效带宽，为识别系数，是系统损耗，为噪声系数。
电侦传感器作用距离计算公式如下：
，
其中，为目标到无线电侦测设备的作用距离；为典型目标发射功率，为全向接收天线增益，为定向天线增益，为典型侦测信号波长，为设备最低可感应信号功率。
（2）基于合作源目标，对雷达、光电、电侦等传感器进行位置校准；
对多源传感器进行部署后，选择飞行无人机靶机为合作源目标。利用标定无人机，对雷达、光电、电侦等多源传感器进行位置校准，减小协同的系统误差。
步骤（2.1）：对雷达、光电传感器进行定点安装，通过在雷达、光电传感器基准面上安装的水平气泡仪观察设备水平调节情况，保证安装后两种设备水平仪气泡位于正中心。
步骤（2.2）：对雷达进行粗略的偏北方位、俯仰、距离修正，初始修正值记为（1.2）对雷达进行粗略的偏北方位、俯仰、距离修正，初始修正值记为，例如（64.24°，-2.35°, 32.3m），其中（64.24°）为偏北方位修正值，（-2.35°）为俯仰修正值，（32.3m）为距离修正值。
对光电传感器进行粗略的偏北方位、俯仰修正，初始修正值记为，例如（23.74°，0.92°），其中，（23.74°）为偏北方位修正值，（0.92°）为俯仰修正值。
（2.3）记录飞行无人机靶机GPS飞行数据，其中代表无人机靶机第个记录点的经度值，代表无人机靶机第个记录点的维度值，代表无人机靶机第个记录点的高度值(WGS84坐标系)，代表第个记录点的时间戳，例如（32. 036901°，118.8282645°，109.3m，1629276695.2），雷达、光电传感器同时对无人机靶机探测，记录雷达探测航迹数据，其中代表雷达探测到无人机靶机第个航迹点相对雷达的偏北角，代表雷达探测到无人机靶机第个航迹点相对雷达的俯仰角，代表雷达探测到无人机靶机第个航迹点相对雷达的斜距值，代表雷达探测到无人机靶机第个航迹点的时间戳，，如（337.17°，0.46°, 407.5m，1629276696.3），代表雷达探测到的无人机靶机航迹点的总数。记录光电探测航迹数据 ，其中代表光电传感器探测到无人机靶机第个航迹点相对光电传感器的偏北角，代表光电传感器探测到无人机靶机第个航迹点相对光电传感器的俯仰角，代表光电传感器探测到无人机靶机第个航迹点的时间戳，，如（336.13°，0.86°，1629276696.9），代表光电传感器探测到的无人机靶机航迹点的总数。
（2.4）将靶机GPS飞行数据中的经度值、维度值、高度值由WGS84坐标系转化为分别以雷达和光电传感器的部署点为原点、正北方向为方位0°、水平方向为俯仰0°的极坐标系数据，并进行时间插值得到雷达参考值，和光电参考值。根据本实施例中靶机GPS飞行数据（32. 036901°，118.8282645°，109.3m，1629276695.2），得到的雷达参考值为（336.52°，0.62°, 401.2m，1629276696.3），光电传感器参考值为（336.55°，0.62°，1629276696.9）。
（2.5）分别计算雷达和光电传感器的二次修正值，其中，雷达的方位二次修正值、俯仰二次修正值、距离二次修正值的计算公式分别为：
，
，
，
光电传感器的方位二次修正值、俯仰二次修正值的计算公式分别为：
，
，
记录多个类似点并计算二次修正值后取平均，其中雷达方位、俯仰、距离二次修正值为：（ -0.59°,0.16°，-6.2），光电传感器的方位、俯仰二次修正值为：（ 0.66°, -0.30°）。
（2.6）根据雷达和光电传感器的二次修正值，分别计算雷达和光电传感器的最终修正值：
雷达的方位、俯仰、距离的最终修正值为:
，
光电传感器的方位、俯仰的最终修正值为：
，
雷达的方位、俯仰、距离的最终修正值为:
（63.65°，-2.19°，26.1m）= （64.24°- 0.59°，-2.35°+ 0.16°, 32.3m -6.2 m ），
光电传感器方位、俯仰最终修正值为：
( 24.40°，0.62°) = ( 23.74°+ 0.66°，0.92°- 0.30°)。
（1.7）按雷达和光电传感器的最终修正值修正雷达和光电传感器的基准。
（3）根据传感器探测威力，计算目标威胁等级并排序，生成高危目标集，开始引导光电传感器；
这里，选择雷达传感器生成高危目标集。
步骤（3.1）：对雷达测量的航迹参数进行威胁等级计算，计算方式如下：
，
其中，为目标信噪比威胁贡献度，为目标幅度威胁贡献度、为实时位置威胁贡献度，为航迹质量威胁贡献度。
目标信噪比威胁贡献度计算公式如下：
，
其中，为航迹信噪比均值，为典型目标最弱信噪比，为权重系数，为调节系数。
目标幅度威胁贡献度计算公式如下：
，
其中，为航迹点幅度均值，为典型目标最低幅度值，为权重系数，为调节系数。
实时位置威胁贡献度计算公式如下：
，
其中，为目标实时位置距离所有核心区中点的最小值，为最小威胁临界距离，为权重系数。
航迹质量威胁贡献度计算公式如下：
，
其中，为目标当前航迹质量，为统计航迹质量的周期数（即最大可能质量数），为权重系数。
目标总威胁度为 = 12+15+33+9=69。
对所有雷达航迹统计以上威胁度的值。
步骤（3.2）：每间隔的时间进行一次威胁度排序，并判定是否有目标的威胁度超过阈值，如果有威胁度超阈值的一个或多个目标，且当前没有开始雷达引导，则直接选择威胁度最高目标作为引导目标；如果已经有引导目标，且最大威胁值目标就是引导目标则持续引导，若最大威胁值目标不是引导目标，则判定引导目标的持续引导时间是否超过目标切换阈值，在本实施例中设置为30秒，若，则将目前最大威胁度的目标切换为高危目标进行引导，否则持续由原目标进行引导。
（4）根据目标指示指令，光电传感器实现自适应探测调优，调整其视场、聚焦值等参数，并快速调转至指定位置，输出高质量红外、可见光图像。
步骤（4.1）：将雷达目标的经、纬、高通过坐标换算，换算到光电传感器坐标系得到目标相对于光电传感器的球坐标，其中代表方位角，代表俯仰角，代表距离，代表时间戳，为高危目标的航迹点编号。基于雷达数据对光电进行引导，引导指令调用周期为，例如0.5秒，那么每隔0.5秒进行一次引导值计算，若当前时间为，最近引导点为，上一个引导点为，那么当前引导指令值应为，其中：
，
，
，
以为引导值发送给光电传感器，引导光电传感器指向对准该位置。
步骤（4.2）：同步调节视场，雷达在以光电为中心球坐标点位的大致的随机测距误差为，例如为50米，则水平视场角设定值计算如下：
，
转换为角度值约为5.74度，即搜索水平视场调节为5.74度。垂直视场角与水平视场角是固定比例关系，由探测器配置确定。
步骤（4.3）：同步调节光电传感器聚焦值，聚焦值为以探测距离为参数的一个经验函数，通过目标标定获取，具体方法是无人机悬停，手动将光电调节到指定视场，并调节光电聚焦值，使目标清晰可见，记录此时的距离和聚焦值作为一个标定点。由近及远确定多个标定值，再进行插值即可形成一个输入为输出为聚焦值的数值表。基于该表进行聚焦调节保证目标清晰。
（5）基于图像信息进行目标智能检测识别，自动锁定目标开始高精度跟踪；
这里，图像信息包含红外、可见光图像。
步骤（5.1）：对图像中目标进行检测、识别，构建轻量化卷积神经网络作为检测、识别手段，包含离线处理与在线处理。离线处理是事先完成的工作，对目标图片进行标注，采用包含不同尺度，不同占比的目标图片作为训练样本，对卷积神经网络进行训练。在线处理是利用训练完成后的卷积神经网络进行实时推理输出得到目标检测识别结果信息。
步骤（5.2）：基于以下规则进行目标符合度判定，当判定存在疑似目标时进行目标锁定跟踪，步骤（4.1）检测结果存在一个或多个目标，目标表示为，其中表示目标外接矩形中心点在图像中的横坐标，表示目标外接矩形中心点在图像中的纵坐标，表示目标外接矩形的宽度，表示目标外接矩形的高度，例如某目标可表示为（530，234，20，18）。图像宽高尺寸为，图像中心点坐标为，如果存在检测出的目标其位置同时满足：
，
，
如果图像宽高尺寸为（1920，1080），图像中心点坐标则为（960，540），判定目标其位置：
，
，
满足范围要求，该目标可进行锁定跟踪。
如果存在多个目标同时满足以上条件则选择距离图像中心点最近的目标作为选定目标进行锁定跟踪。
步骤（5.3）：进行跟踪模块初始化，对于选定目标的外接矩形进行外扩，外扩后的矩形区域用坐上点和右下点表示，其中左上点为，右下点为，计算方法如下：
，
，
，
，
对于外接矩形（530，234，20，18）进行外扩为：
，
，
，
，
选择该区域初始化KCF跟踪器,即可持续进行目标锁定跟踪。
（6）建立系统目标告警模型，对突发性单体、集群性高危目标进行实时告警；
基于目标尺寸和距离值建立系统目标告警模型。
步骤（6.1）：对图像中目标尺寸进行统计，KCF跟踪器输出跟踪位置矩形框表示为，例如（530，234，20，18），其中表示跟踪区域中心点在图像中的横坐标，表示跟踪区域中心点在图像中的纵坐标，表示跟踪区域的宽度，表示跟踪区域的高度。统计外界矩形中心点落入该区域的检测目标的尺寸进行归一化，得到目标占比：
，
步骤（6.2）：此时，目标视场根据值来调节，设定值的合理区间，当时，视场不调节，当，则视场调小一次，当，则视场调大一次；如此反复直至值落入合理区间，视场调节动作结束。根据以上规则可实现视场自动反馈控制。而聚焦值同样根据步骤4中方法进行调节。在本实施例中，设定值的合理区间，，则视场调小一次。当经过多次视场调节，出现时，目标在视场中已经足够大，如果此时在跟踪位置矩形框内仍然有目标，则说明系统确认入侵目标，进行告警。
（7）重复步骤（3）至步骤（6），完成系统全天候目标监视。
Claims (10)
1.一种多源自主协同的目标探测与智能识别方法，其特征在于，包括以下步骤：
（1）获取多源传感器测量的目标的航迹参数，多源传感器包括光电传感器和雷达；
（2）基于雷达测量的航迹参数，计算目标威胁等级，确定高危目标集；
（3）对雷达测量的高危目标的航迹参数进行坐标转换，得到高危目标相对光电传感器的位置关系；
（4）根据得到的位置关系调节光电传感器探测位置，并获得高危目标图像信息；
（5）基于图像信息进行高危目标智能检测识别，自动锁定高危目标进行跟踪。
2.根据权利要求1所述的多源自主协同的目标探测与智能识别方法，其特征在于，所述步骤（1）中还包括多源传感器的部署，基于探测任务的需求，获得任务背景参量，基于任务背景参量和各传感器的探测范围进行各传感器部署，包括1台雷达和N台光电传感器，对光电传感器编号并设定优先级，根据目标危险等级调配使用，任务背景参量包括待监视的目标类型、监视范围和作用距离。
3.根据权利要求2所述的多源自主协同的目标探测与智能识别方法，其特征在于，所述步骤（1）中对多源传感器进行部署后，利用无人机靶机为合作源目标，对多源传感器进行位置校准，具体包括以下步骤：
（1.1）使用水平气泡仪保证雷达、光电传感器安装平面水平；
（1.2）对雷达进行粗略的偏北方位、俯仰、距离修正，初始修正值记为，其中为偏北方位修正值，为俯仰修正值，为距离修正值；
对光电传感器进行粗略的偏北方位、俯仰修正，初始修正值记为，其中，为偏北方位修正值，为俯仰修正值；
（1.3）获得无人机靶机的飞行数据，其中代表无人机靶机第个记录点的经度值，代表无人机靶机第个记录点的维度值，代表无人机靶机第个记录点的高度值，代表第个记录点的时间戳，代表无人机靶机飞行数据的记录点总数；
同时获取雷达对无人机靶机探测的航迹数据，其中代表雷达探测到无人机靶机第个航迹点相对雷达的偏北角，代表雷达探测到无人机靶机第个航迹点相对雷达的俯仰角，代表雷达探测到无人机靶机第个航迹点相对雷达的斜距值，代表雷达探测到无人机靶机第个航迹点的时间戳，代表雷达探测到的无人机靶机航迹点的总数；
同时获取光电传感器对无人机靶机探测的航迹数据 ，其中代表光电传感器探测到无人机靶机第个航迹点相对光电传感器的偏北角，代表光电传感器探测到无人机靶机第个航迹点相对光电传感器的俯仰角，代表光电传感器探测到无人机靶机第个航迹点的时间戳，代表光电传感器探测到的无人机靶机航迹点的总数；
（1.4）将无人机靶机飞行数据中的经度值、维度值、高度值由WGS84坐标系转化为分别以雷达和光电传感器的部署点为原点、正北方向为方位0°、水平方向为俯仰0°的极坐标系数据，并进行时间插值得到雷达参考值，和光电参考值；
（1.5）分别计算雷达和光电传感器的二次修正值：
其中，雷达的方位二次修正值、俯仰二次修正值、距离二次修正值的计算公式分别为：
，
，
，
光电传感器的方位二次修正值、俯仰二次修正值的计算公式分别为：
，
，
（1.6）根据雷达和光电传感器的二次修正值，分别计算雷达和光电传感器的最终修正值：
雷达的方位、俯仰、距离的最终修正值为:
，
光电传感器的方位、俯仰的最终修正值为：
，
（1.7）按雷达和光电传感器的最终修正值修正雷达和光电传感器的基准。
4.根据权利要求1所述的多源自主协同的目标探测与智能识别方法，其特征在于，所述步骤（2）中基于若干雷达测量的航迹参数，实时计算若干目标威胁等级，获得若干目标威胁度；每间隔的时间进行一次威胁度排序，并判定是否有目标的威胁度超过阈值，如果有威胁度超阈值的一个或多个目标，且当前没有开始雷达引导，则直接选择威胁度最高的目标作为高危目标进行引导；如果已经有引导的高危目标，且目前最大威胁度的目标就是引导的高危目标则雷达继续引导，若目前最大威胁度的目标不是引导的高危目标，则判定引导的高危目标的持续引导时间是否超过目标切换阈值，若，则将目前最大威胁度的目标切换为高危目标进行引导，否则继续对原高危目标进行引导。
5.根据权利要求4所述的多源自主协同的目标探测与智能识别方法，其特征在于，目标威胁等级的计算公式为：
，
其中，为目标信噪比威胁贡献度，为目标幅度威胁贡献度、为实时位置威胁贡献度，为航迹质量威胁贡献度；
目标信噪比威胁贡献度计算公式如下：
，
其中，为航迹信噪比均值，为典型目标最弱信噪比，为权重系数，为调节系数；
目标幅度威胁贡献度计算公式如下：
，
其中，为航迹点幅度均值，为典型目标最低幅度值，为权重系数，为调节系数；
实时位置威胁贡献度计算公式如下：
，
其中，为目标实时位置距离所有核心区中点的最小值，为最小威胁临界距离，为权重系数；
航迹质量威胁贡献度计算公式如下：
，
其中，为目标当前航迹质量，为统计航迹质量的周期数，为权重系数。
6.根据权利要求4所述的多源自主协同的目标探测与智能识别方法，其特征在于，所述步骤（4）中光电传感器探测位置的调节具体包括以下步骤：
（4.1）根据高危目标相对光电传感器的位置关系，得到调节光电传感器探测位置的引导值，将调节光电传感器方位角和俯仰角的引导值发送给光电传感器，引导光电传感器指向对准该位置；
（4.2）调节光电传感器的视场，已知光电传感器的垂直视场角与水平视场角的固定比例关系，根据水平视场角计算得到垂直视场角，光电传感器水平视场角设定值的计算公式为：
，
其中，为雷达在以光电传感器为中心的随机测距误差，为调节光电传感器探测位置的引导值；
（4.3）调节光电传感器聚焦值。
7.根据权利要求6所述的多源自主协同的目标探测与智能识别方法，其特征在于，所述调节光电传感器探测位置的引导值的计算公式为：
，
，
，
其中，对雷达测量的高危目标的航迹参数进行坐标转换，得到高危目标相对光电传感器的球坐标，代表方位角，代表俯仰角，代表距离，代表时间戳，为高危目标的航迹点编号，为当前时间，为上一引导值。
8.根据权利要求6所述的多源自主协同的目标探测与智能识别方法，其特征在于，所述步骤（5）的具体步骤为：通过卷积神经网络对图像信息进行检测、识别，其中包括离线处理与在线处理：离线处理对目标图片进行标注，采用包括不同尺度、不同占比的目标图片作为训练样本，对YOLOV7网络进行训练；在线处理是利用训练完成后的YOLOV7网络对图像信息进行实时推理输出得到目标检测识别结果信息；如果获得的图像信息中存在一个或多个目标，目标表示为，其中表示目标外接矩形中心点在图像中的横坐标，表示目标外接矩形中心点在图像中的纵坐标，表示目标外接矩形的宽度，表示目标外接矩形的高度；图像宽高尺寸为，图像中心点坐标为，如果存在检测出的目标其位置同时满足：
，
，
那么选定该目标进行锁定跟踪；
如果存在多个目标同时满足以上条件则选择距离图像中心点最近的目标作为选定目标进行锁定跟踪。
9.根据权利要求8所述的多源自主协同的目标探测与智能识别方法，其特征在于，还包括步骤（6）建立目标告警模型，对突发性单体、集群性高危目标进行实时告警，具体步骤为：
（6.1）对图像中目标尺寸进行统计，建立跟踪区域，其中表示跟踪区域中心点在图像中的横坐标，表示跟踪区域中心点在图像中的纵坐标，表示跟踪区域的宽度，表示跟踪区域的高度，对落入跟踪区域的目标的尺寸进行归一化，得到目标占比：
，
（6.2）根据目标占比调节光电传感器的视场，设定值的合理区间，当时，视场不调节，当，则视场调小一次，当，则视场调大一次；
（6.3）多次调节光电传感器的视场，至值落入合理区间，此时若跟踪区域内仍存在目标，确定目标入侵，进行告警。
10.一种应用权利要求1所述多源自主协同的目标探测与智能识别方法的系统，其特征在于，包括：
轨迹参数获取模块，用于多源传感器测量的目标的航迹参数，多源传感器包括光电传感器和雷达；
参数计算模块，用于基于雷达测量的航迹参数，计算目标威胁等级，确定高危目标集；并对雷达测量的高危目标的航迹参数进行坐标转换，得到高危目标相对光电传感器的位置关系；
图像获取模块，用于根据得到的位置关系调节光电传感器探测位置，并获得高危目标图像信息；
识别跟踪模块，用于基于图像信息进行高危目标智能检测识别，自动锁定高危目标进行跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310850581.7A CN116577776B (zh) | 2023-07-12 | 2023-07-12 | 一种多源自主协同的目标探测与智能识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310850581.7A CN116577776B (zh) | 2023-07-12 | 2023-07-12 | 一种多源自主协同的目标探测与智能识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116577776A true CN116577776A (zh) | 2023-08-11 |
| CN116577776B CN116577776B (zh) | 2023-09-22 |
Family
ID=87538192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310850581.7A Active CN116577776B (zh) | 2023-07-12 | 2023-07-12 | 一种多源自主协同的目标探测与智能识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116577776B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117347992A (zh) * | 2023-10-11 | 2024-01-05 | 华中科技大学 | 一种小型雷达光电随动系统的目标捕捉和识别方法 |
| CN117968665A (zh) * | 2024-03-28 | 2024-05-03 | 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) | 一种目标融合方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203310993U (zh) * | 2013-07-08 | 2013-11-27 | 北京顶亮科技有限公司 | 雷达和光电一体化综合探测识别装置 |
| CN106405540A (zh) * | 2016-08-31 | 2017-02-15 | 上海鹰觉科技有限公司 | 基于雷达和光电设备互补的探测识别装置及方法 |
| CN111796269A (zh) * | 2020-06-12 | 2020-10-20 | 中国船舶重工集团公司第七二四研究所 | 一种基于目标威胁的雷达和光电航迹数据联合处理方法 |
| CN112348882A (zh) * | 2020-11-13 | 2021-02-09 | 北京环境特性研究所 | 一种基于多源探测器的低空目标跟踪信息融合方法和系统 |
| CN112799051A (zh) * | 2020-12-24 | 2021-05-14 | 济南和普威视光电技术有限公司 | 一种低慢小目标的自动捕获跟踪方法及系统 |
| CN114139373A (zh) * | 2021-11-30 | 2022-03-04 | 中航空管系统装备有限公司 | 一种面向无人机反制车的多传感器自动协同管理方法 |
| US20220197281A1 (en) * | 2019-10-18 | 2022-06-23 | Central China Optoelectronic Technology Research Institute | Intelligent decision-making method and system for unmanned surface vehicle |
| CN115480240A (zh) * | 2022-09-15 | 2022-12-16 | 中国电子科技集团公司第十四研究所 | 一种针对小型无人机的多传感器协同探测方法 |
| CN115761421A (zh) * | 2022-11-03 | 2023-03-07 | 南京莱斯电子设备有限公司 | 一种多源信息融合低慢小目标探测方法及无人空防系统 |
| CN116088551A (zh) * | 2023-01-31 | 2023-05-09 | 中国电子科技集团公司第五十四研究所 | 一种基于综合视景的飞行引导方法 |
| CN116165653A (zh) * | 2022-12-30 | 2023-05-26 | 山东神戎电子股份有限公司 | 一种雷达光电联动目标跟踪方法 |
-
2023
- 2023-07-12 CN CN202310850581.7A patent/CN116577776B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN203310993U (zh) * | 2013-07-08 | 2013-11-27 | 北京顶亮科技有限公司 | 雷达和光电一体化综合探测识别装置 |
| CN106405540A (zh) * | 2016-08-31 | 2017-02-15 | 上海鹰觉科技有限公司 | 基于雷达和光电设备互补的探测识别装置及方法 |
| US20220197281A1 (en) * | 2019-10-18 | 2022-06-23 | Central China Optoelectronic Technology Research Institute | Intelligent decision-making method and system for unmanned surface vehicle |
| CN111796269A (zh) * | 2020-06-12 | 2020-10-20 | 中国船舶重工集团公司第七二四研究所 | 一种基于目标威胁的雷达和光电航迹数据联合处理方法 |
| CN112348882A (zh) * | 2020-11-13 | 2021-02-09 | 北京环境特性研究所 | 一种基于多源探测器的低空目标跟踪信息融合方法和系统 |
| CN112799051A (zh) * | 2020-12-24 | 2021-05-14 | 济南和普威视光电技术有限公司 | 一种低慢小目标的自动捕获跟踪方法及系统 |
| CN114139373A (zh) * | 2021-11-30 | 2022-03-04 | 中航空管系统装备有限公司 | 一种面向无人机反制车的多传感器自动协同管理方法 |
| CN115480240A (zh) * | 2022-09-15 | 2022-12-16 | 中国电子科技集团公司第十四研究所 | 一种针对小型无人机的多传感器协同探测方法 |
| CN115761421A (zh) * | 2022-11-03 | 2023-03-07 | 南京莱斯电子设备有限公司 | 一种多源信息融合低慢小目标探测方法及无人空防系统 |
| CN116165653A (zh) * | 2022-12-30 | 2023-05-26 | 山东神戎电子股份有限公司 | 一种雷达光电联动目标跟踪方法 |
| CN116088551A (zh) * | 2023-01-31 | 2023-05-09 | 中国电子科技集团公司第五十四研究所 | 一种基于综合视景的飞行引导方法 |
Non-Patent Citations (3)
| Title |
|---|
| 任清安 等: "雷达光电智能协同探测技术研究", 《雷达科学与技术》, vol. 14, no. 2, pages 173 - 177 * |
| 单海蛟: "多源传感器数据融合自主稳定跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 6, pages 9 - 71 * |
| 董凯 等: "无人机集群目标智能化跟踪技术", 《指挥信息系统与技术》, vol. 13, no. 1, pages 45 - 50 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117347992A (zh) * | 2023-10-11 | 2024-01-05 | 华中科技大学 | 一种小型雷达光电随动系统的目标捕捉和识别方法 |
| CN117968665A (zh) * | 2024-03-28 | 2024-05-03 | 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) | 一种目标融合方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116577776B (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116577776B (zh) | 一种多源自主协同的目标探测与智能识别方法及系统 | |
| CN115761421A (zh) | 一种多源信息融合低慢小目标探测方法及无人空防系统 | |
| CN113627473B (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
| RU2666479C1 (ru) | Способ обеспечения автоматической посадки летательного аппарата | |
| CN107678023A (zh) | 一种对民用无人机的无源定位和识别系统 | |
| CN106405540A (zh) | 基于雷达和光电设备互补的探测识别装置及方法 | |
| CN110132226B (zh) | 一种无人机巡线的距离及方位角测量系统和方法 | |
| CN104297739B (zh) | 一种通航监视中对光电跟踪设备的引导方法 | |
| CN107219520A (zh) | 一种反无人机分布式组网探测方法及其装置 | |
| CN105137421A (zh) | 光电复合低空预警探测系统 | |
| CN109284904B (zh) | 用于成像任务有效规划的云层窗口自主感知决策方法 | |
| CN113176586B (zh) | 一种雨滴测量方法及固态面阵激光雨滴谱仪 | |
| CN112033371B (zh) | 一种无人机载单目标板自适应能见度探测方法及系统 | |
| CN106569206B (zh) | 一种基于微波光学复合的目标探测方法 | |
| CN110068827A (zh) | 一种无人机自主目标测距的方法 | |
| CN116520275A (zh) | 探测追踪低慢小目标的雷达光电一体化方法和系统 | |
| CN109708659B (zh) | 一种分布式智能光电低空防护系统 | |
| CN114966579A (zh) | 一种雷达系统的定标参数的获取方法及装置 | |
| CN116609278B (zh) | 一种农田重金属光谱数据的采集方法及系统 | |
| CN116086408B (zh) | 一种基于工业相机的智能测绘系统 | |
| CN112560751A (zh) | 一种阳台高空坠物风险检测方法及系统 | |
| WO2023223036A1 (en) | Uav flight path optimisation | |
| CN114092522A (zh) | 一种机场飞机起降智能捕获跟踪方法 | |
| CN115560640A (zh) | 一种基于双站观测的弹丸脱靶量在线自动检测方法及系统 | |
| JP6679357B2 (ja) | 飛行物体監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |