CN111192289A - 一种飞行器目标自动跟踪方法 - Google Patents

一种飞行器目标自动跟踪方法 Download PDF

Info

Publication number
CN111192289A
CN111192289A CN201911180439.6A CN201911180439A CN111192289A CN 111192289 A CN111192289 A CN 111192289A CN 201911180439 A CN201911180439 A CN 201911180439A CN 111192289 A CN111192289 A CN 111192289A
Authority
CN
China
Prior art keywords
target
tracking
aircraft
image
starting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911180439.6A
Other languages
English (en)
Other versions
CN111192289B (zh
Inventor
高山
项志杰
宋文亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Original Assignee
Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Huazhong Tianjing Tongshi Technology Co ltd filed Critical Wuhan Huazhong Tianjing Tongshi Technology Co ltd
Priority to CN201911180439.6A priority Critical patent/CN111192289B/zh
Publication of CN111192289A publication Critical patent/CN111192289A/zh
Application granted granted Critical
Publication of CN111192289B publication Critical patent/CN111192289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种飞行器目标自动跟踪方法，第一步是初始目标的自动跟踪，对光电经纬仪接收到的红外图像进行预处理，使用卷积神经网络检测校正的图像中是否有飞行器目标及飞行器释放的飞行目标，存入备选缓存并记录图像坐标，启动KCF跟踪器对图像坐标初始化，开始跟踪循环；第二步是跟踪切换，如果是飞行器再次释放的飞行目标，到达需要跟踪的批次数N，将记录该飞行目标图像坐标，启动KCF跟踪器对图像坐标初始化，开始新目标跟踪循环，在搜索窗口坐标内使用KCF跟踪器搜索目标，得到目标脱靶量，如果有对应目标，则输出脱靶量并进入下一个跟踪循环，如果没有对应目标，输出跟踪中断信号，结束循环。

Description

一种飞行器目标自动跟踪方法
技术领域
本发明属于计算机视觉技术领域，涉及运动目标的跟踪技术，特别是涉及一种基于卷积神经网络探测与CRF目标跟踪的飞行器目标自动跟踪方法。
背景技术
包括民航飞机、无人机在内的飞行器的定位与导航方法一直是导航与飞控领域的研究重点。
基于计算机视觉的无人机目标跟踪系统是指通过目标检测和跟踪算法从拍摄的图像序列中估计目标的运动信息，再通过控制伺服系统自动调整光电经纬仪的镜头，使得被跟踪的目标一直出现在镜头范围内，从而有效地完成飞行器目标自动跟踪的系统。目前计算机视觉技术的发展趋势是借助更大更深的网络来深度学习，更好的性能表现通常依赖于训练更大的网络或者把多种模型综合到一起。
卷积神经网络YOLO v2使用一个轻量级卷积神经网络实现飞行器目标的识别，但是在跟踪方面，它并不能很好地在运动镜头上分辨当前目标是否为上一帧图像上的同一个目标，因此不利于跟踪某一个相同飞行器目标的情况；同时其原始结构无法使用单通道图像目标，结构对于红外图像有一定冗余，需要进一步修改以提升运算速度。
核化相关滤波器（Kernelized Correlation Filter，KCF）是一种鉴别式跟踪方法，一般都是在跟踪过程中训练一个目标检测器，使用目标检测器去检测下一帧预测位置是否是目标，然后再使用新检测结果去更新训练集进而更新目标检测器。跟踪器KCF能够实现分辨当前目标是否为上一帧图像上的同一个目标，但是它没有新目标探测能力，因此对于飞行器发射或释放出的新的飞行目标无法判断。
质心跟踪算法是现有光电经纬仪常用的一种目标探测跟踪方式，该方式通过检测目标质心完成目标探测和跟踪，但是该方式不适用于多目标情况，也不能够判断目标类型。
发明内容
本发明的目的是克服现有技术的不足，提供一种基于卷积神经网络探测与CRF目标跟踪的飞行器目标自动跟踪方法。
为了实现上述目的，本发明提供一种飞行器目标自动跟踪方法，包括如下步骤：
第一步，初始目标的自动跟踪
11）对光电经纬仪接收到的红外图像进行预处理，使用参数γ=2对图像进行伽马校正；
12）使用经过修改的YOLO卷积神经网络检测校正的图像中是否有飞行器目标及飞行器释放的飞行目标；若无则重复步骤11）～12）；
13）如果探测到飞行器目标，则将飞行器目标存入备选缓存，同时记录该目标的图像坐标；
14）启动KCF跟踪器，对飞行器目标的图像坐标初始化，开始跟踪循环；
第二步，目标的跟踪切换
21）如果探测到备选缓存以外新的目标，则把新目标存入目标缓存，并启动判断逻辑；
22）判断该目标是否为飞行器再次释放的飞行目标；如果不是，KCF跟踪器跟踪当前目标，重复步骤21）～22）；
23）如果是飞行器再次释放的飞行目标，则判断是否到达需要跟踪的批次数N；如果未到达，KCF跟踪器跟踪当前目标，重复步骤21）～23）；
24）如果达到了批次N，将记录该飞行目标图像坐标，启动KCF跟踪器对图像坐标初始化，开始新目标跟踪循环；
第三步，跟踪循环
31）对上一个循环得到的目标图像坐标或KCF跟踪器初始化的校正图像或者进行扩增，得到搜索窗口坐标；
32）在搜索窗口坐标内使用KCF跟踪器搜索目标，得到目标脱靶量（即是目标坐标）；如果有对应目标，则输出脱靶量并进入下一个跟踪循环；如果没有对应目标，输出跟踪中断信号，结束循环。
所述的一种飞行器目标自动跟踪方法，其步骤21）中是通过目标的相对位置、相对速度和当前图像判断相似度来判断是否为新的目标。
本发明的有益效果是：
本发明方法在目标探测阶段使用经过修改的YOLO卷积神经网络，在目标跟踪阶段使用KCF跟踪，这个安排发挥了卷积神经网络优秀的探测能力，能够基于目标类型进行决策，发挥了KCF固定跟踪同一个目标的能力。
本发明方法发挥了KCF固定跟踪同一个目标的能力，从而有效的避免了纯YOLO无法确定同一个目标的问题，实现了KCF欠缺的对新目标决策的功能，能够基于目标类型进行决策，避免了质心算法盲目判断新目标的情况。
本发明方法能够实现准确的跟踪目标转换功能：先自动跟踪视野中的飞行器，然后跟踪飞行器释放的第N个飞行目标，其中N为需要跟踪的批次数。
本发明方法在镜头随伺服系统运动的多目标情况下，准确跟踪同一个目标，并输出脱靶量。
本发明方法能实现高于25Hz的脱靶量输出频率，大大提高了运算速度。
附图说明
图1是本发明的初始目标自动跟踪流程图；
图2是本发明的目标跟踪切换流程图；
图3是本发明的跟踪循环流程图。
具体实施方式
下面结合附图对本发明作进一步的说明。
本发明公开了一种飞行器目标自动跟踪方法。本发明方案有两组配套硬件及系统。
1，带有信号处理嵌入式系统、伺服系统和光电经纬仪，其中光电经纬仪包含有由红外镜头和成像电路构成的红外相机，光电经纬仪内的触发器每隔10ms发送一个触发信号，触发红外相机曝光，相机曝光完成后，把红外图像信号通过经纬仪内的光模块变成光纤信号，光纤信号经过光纤传输到地面计算机（工控机）上，再经过光端机和采集卡变成数字信号，传输给检测软件；经纬仪是成熟的技术产品，能够通过伺服系统控制镜头在方位0～360°，俯仰-5～185°内运动。
2，地面计算机使用i7-6700的CPU，16G的内存，NVIDIA 2080Ti的GPU，6T的硬盘，连接有光端机，布设Windows 7系统，接收图像，计算其中目标坐标，通过串口输出脱靶量到经纬仪，同时通过串口与伺服系统进行信息交换。
3，软件运行主要步骤：开启自动跟踪软件，光端机解析光纤信号得到的红外图像，启动目标检测模块，即进入目标自动跟踪流程，如果目标自动跟踪流程得到有效目标，进入跟踪循环流程，同时启动目标跟踪切换流程，在目标跟踪切换流程得到脱靶量后，将脱靶量通过串口传输到光电经纬仪上，经纬仪上的系统依据脱靶量与焦距控制伺服系统转动，从而保持目标在红外视场范围中心，其中目标自动跟踪流程和目标跟踪切换流程内部使用卷积神经网络探测目标的计算通过调用GPU实现加速运算。
参照图1至图3所示，具体的步骤如下。
第一步，初始目标自动跟踪流程。
11）接收来自红外传感器的图像，对图像进行预处理。
12）使用参数γ=2对图像进行伽马校正。
13）校正图像传递给目标探测线程和目标跟踪线程。
14）探测线程中，使用修改的卷积神经网络检测图像中是否有飞行器目标、飞行器释放的一个或多个飞行目标和状态异常的目标（飞行目标解体坠落或消失）。
15）如果探测到飞行器目标，则把飞行器目标存入备选缓存，同时将目标图像坐标传递给目标跟踪线程。如果没有探测到飞行器目标，重新开始初始目标自动跟踪流程。
16）当目标跟踪线程收到与图像和目标坐标，启动KCF跟踪器初始化，开始跟踪循环。
第二步，目标跟踪切换流程。
21）接收来自红外传感器的图像，对图像进行预处理。
22）使用参数γ=2对图像进行伽马校正。
23）校正图像传递给目标探测线程和目标跟踪线程。
24）探测线程中，使用修改的卷积神经网络检测图像中是否有飞行器目标、飞行器释放的一个或多个飞行目标和状态异常的目标（飞行目标解体坠落或消失）。
25）如果探测到备选缓存以外新的目标，则把新目标存入目标缓存，并启动判断逻辑；如果不是新目标，KCF跟踪器跟踪当前目标，重新开始切换流程。
本步骤中是通过目标的相对位置、相对速度和当前图像判断相似度来判断是否为新的目标。
26）判断目标是否为飞行器新释放的目标。如果不是，KCF跟踪器跟踪当前目标，重新开始切换流程；如果是飞行器新释放的目标，判断是否到达需要跟踪的批次数N。如果未到达，KCF跟踪器跟踪当前目标，重新开始切换流程；如果达到了批次N，将目标图像坐标传递给目标跟踪线程，重新启动KCF跟踪初始化，开始新目标跟踪循环。
第三步，跟踪循环流程。
31）在KCF跟踪器已经被初始化的情况下，接收校正图像。
32）对图像中初始化或者上一个循环得到的目标图像坐标进行扩增，得到搜索窗口坐标。
33）在搜索窗口坐标内使用KCF跟踪器搜索目标，得到目标脱靶量（即是目标坐标）。如果有对应目标，则输出脱靶量并进入下一个跟踪循环；如果没有对应目标，输出跟踪中断信号，结束循环。
本发明方法能够实现准确的跟踪目标转换功能（飞行器—飞行器释放的飞行物）：先自动跟踪视野中的飞行器（比如飞机），然后跟踪飞行器释放（发射）的第N个飞行目标，其中N为需要跟踪的批次数。
本发明方法在镜头随伺服系统运动的多目标情况下，准确跟踪同一个目标，并输出脱靶量。本发明方法能实现高于25Hz的脱靶量输出频率，大大提高了运算速度。
上述实施例仅例示性说明本发明的原理和功效，以及部分运用的实施例，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (2)

1.一种飞行器目标自动跟踪方法，其特征在于：包括如下步骤
第一步，初始目标的自动跟踪
11）对光电经纬仪接收到的红外图像进行预处理，使用参数γ=2对图像进行伽马校正；
12）使用经过修改的YOLO卷积神经网络检测校正的图像中是否有飞行器目标及飞行器释放的飞行目标；若无则重复步骤11）～12）；
13）如果探测到飞行器目标，则将飞行器目标存入备选缓存，同时记录该目标的图像坐标；
14）启动KCF跟踪器，对飞行器目标的图像坐标初始化，开始跟踪循环；
第二步，目标的跟踪切换
21）如果探测到备选缓存以外新的目标，则把新目标存入目标缓存，并启动判断逻辑；
22）判断该目标是否为飞行器再次释放的飞行目标；如果不是，KCF跟踪器跟踪当前目标，重复步骤21）～22）；
23）如果是飞行器再次释放的飞行目标，则判断是否到达需要跟踪的批次数N；如果未到达，KCF跟踪器跟踪当前目标，重复步骤21）～23）；
24）如果达到了批次N，将记录该飞行目标图像坐标，启动KCF跟踪器对图像坐标初始化，开始新目标跟踪循环；
第三步，跟踪循环
31）对上一个循环得到的目标图像坐标或KCF跟踪器初始化的校正图像或者进行扩增，得到搜索窗口坐标；
32）在搜索窗口坐标内使用KCF跟踪器搜索目标，得到目标脱靶量；如果有对应目标，则输出脱靶量并进入下一个跟踪循环；如果没有对应目标，输出跟踪中断信号，结束循环。
2.根据权利要求1所述的一种飞行器目标自动跟踪方法，其特征在于，所述的步骤21）中是通过目标的相对位置、相对速度和当前图像判断相似度来判断是否为新的目标。
CN201911180439.6A 2019-11-27 2019-11-27 一种飞行器目标自动跟踪方法 Active CN111192289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911180439.6A CN111192289B (zh) 2019-11-27 2019-11-27 一种飞行器目标自动跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911180439.6A CN111192289B (zh) 2019-11-27 2019-11-27 一种飞行器目标自动跟踪方法

Publications (2)

Publication Number Publication Date
CN111192289A true CN111192289A (zh) 2020-05-22
CN111192289B CN111192289B (zh) 2022-06-14

Family

ID=70709451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911180439.6A Active CN111192289B (zh) 2019-11-27 2019-11-27 一种飞行器目标自动跟踪方法

Country Status (1)

Country Link
CN (1) CN111192289B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316317A (zh) * 2017-05-23 2017-11-03 深圳市深网视界科技有限公司 一种行人多目标跟踪方法和装置
CN108960286A (zh) * 2018-06-01 2018-12-07 深圳市茁壮网络股份有限公司 一种目标跟踪定位方法及装置
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN109993769A (zh) * 2019-03-07 2019-07-09 安徽创世科技股份有限公司 一种深度学习ssd算法结合kcf算法的多目标跟踪系统
US20190213420A1 (en) * 2018-01-09 2019-07-11 Qualcomm Incorporated Adaptive object detection and recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316317A (zh) * 2017-05-23 2017-11-03 深圳市深网视界科技有限公司 一种行人多目标跟踪方法和装置
US20190213420A1 (en) * 2018-01-09 2019-07-11 Qualcomm Incorporated Adaptive object detection and recognition
CN108960286A (zh) * 2018-06-01 2018-12-07 深圳市茁壮网络股份有限公司 一种目标跟踪定位方法及装置
CN109034018A (zh) * 2018-07-12 2018-12-18 北京航空航天大学 一种基于双目视觉的低空小型无人机障碍物感知方法
CN109712171A (zh) * 2018-12-28 2019-05-03 上海极链网络科技有限公司 一种基于相关滤波器的目标跟踪系统及目标跟踪方法
CN109993769A (zh) * 2019-03-07 2019-07-09 安徽创世科技股份有限公司 一种深度学习ssd算法结合kcf算法的多目标跟踪系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUOYUAN XU 等: "Real-time Implementation of YOLO+JPDA for Small Scale UAV Multiple Object Tracking", 《2018 INTERNATIONAL CONFERENCE ON UNMANNED AIRCRAFT SYSTEMS (ICUAS)》 *
常川 等: "基于机载机器视觉的无人机自主目标跟踪研究", 《网络安全技术与应用》 *

Also Published As

Publication number Publication date
CN111192289B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
US9759605B2 (en) Low-orbit satellite-borne image-spectrum associated detection method and payload
CN109741369B (zh) 一种用于机器人跟踪目标行人的方法及系统
CN104125372B (zh) 一种目标光电搜索探测方法
CN103631273B (zh) 基于绝对角位置轨迹信息的光电跟踪系统及方法
CN111160212B (zh) 一种基于YOLOv3-Tiny改进的跟踪学习检测系统及方法
US9383170B2 (en) Laser-aided passive seeker
CN111583307A (zh) 运动目标实时检测跟踪系统及方法
CN103278142B (zh) 光电系统连续跟踪自动切换方法
CN111192289B (zh) 一种飞行器目标自动跟踪方法
CN113610896B (zh) 一种简易火控瞄具中目标提前量测量方法及系统
CN115047903A (zh) 一种自动导引识别跟踪目标的方法以及装置
CN110701963A (zh) 一种红外/雷达复合导引头交班性能改进方法
TWI641265B (zh) Mobile target position tracking system
CN110647173B (zh) 一种视频跟踪系统及方法
CN114092522B (zh) 一种机场飞机起降智能捕获跟踪方法
CN114119671A (zh) 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN112364854B (zh) 基于检测跟踪融合的机载目标抵近引导系统及方法
CN116529767A (zh) 使用捕获多个光谱的相机的同时定位和建图
CN109375212B (zh) 可移动无人平台中基于雷达和光电转台的目标检测方法
Wang et al. Research on CAMshift Algorithm Based on Feature Matching and Prediction Mechanism
CN113168530A (zh) 目标检测设备及方法、成像装置和可移动平台
CN116929149B (zh) 一种基于图像制导的目标识别及制导方法
CN113934222B (zh) 适用于飞船绕飞过程交会对接激光雷达合作目标组的识别方法
JP2002188914A (ja) 赤外線撮像装置
Gu et al. Design and Development of Real-Time Automatic Tracking and Decision System for RoboMaster Competition Robot Using Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant