CN112634322A - 一种基于多路提取与智能识别自主引导的复合跟踪系统及方法 - Google Patents
一种基于多路提取与智能识别自主引导的复合跟踪系统及方法 Download PDFInfo
- Publication number
- CN112634322A CN112634322A CN202011344425.6A CN202011344425A CN112634322A CN 112634322 A CN112634322 A CN 112634322A CN 202011344425 A CN202011344425 A CN 202011344425A CN 112634322 A CN112634322 A CN 112634322A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- module
- servo
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000000605 extraction Methods 0.000 title claims abstract description 24
- 150000001875 compounds Chemical class 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000012544 monitoring process Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 11
- 239000000126 substance Substances 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种基于多路提取与智能识别自主引导的复合跟踪系统及方法，涉及目标跟踪领域，该系统包括电视传感器、红外传感器、伺服稳定平台、目标识别模块、目标跟踪模块、综合控制模块和伺服驱动模块；伺服稳定平台用于带动电视传感器、红外传感器转动以改变监测角度，综合控制模块、伺服驱动模块用于控制伺服稳定平台的转动；目标识别模块、目标跟踪模块用于接收电视传感器和/或红外传感器发送的视频图像信号，对图像信号进行处理并输至综合控制模块；综合控制模块用于接收图像处理后的信息，对伺服稳定平台进行控制，进而对电视传感器和/或红外传感器进行控制。本发明能够在目标丢失后快速捕捉目标，重新对目标进行稳定跟踪。
Description
技术领域
本发明涉及目标跟踪领域，具体涉及一种基于多路提取与智能识别自主引导的复合跟踪系统及方法。
背景技术
光电跟踪系统通常包括指向器和综合显控模块，光电指向器安装在舱(室)外的高点处，通常包括电视传感器、红外传感器等光电传感器及方位俯仰陀螺、方位俯仰电机、方位俯仰测角编码器和伺服稳定平台；综合显控模块安装在驾驶室内，综合显控模块通常包括综合控制机箱、操控面板和显示面板。
综合控制机箱主要由综合控制模块、图像处理单元、目标识别单元、伺服驱动模块、供电单元、视频编码单元、显控单元组成；操控面板主要由摇杆、按键组成。
光电指向器安装在高点处，其内部的光电传感器用于对目标进行成像并发送给综合控制机箱，综合控制机箱用于向光电指向器发送指令，调整光电传感器的状态使其对准目标，以得到较好的成像结果，在成像时，白天主要通过电视传感器搜索和观察目标，夜间通过红外传感器搜索和观察目标。
电视和红外的图像属性存在较大差距，电视图像一般呈现清晰细腻特点，可对目标进行清晰识别，但受光照条件影响较大，主要通过相关跟踪算法、神经网络算法来对电视图像进行解算；红外图像一般黑白灰度特征较为明显，几乎不受光照条件影响，但难以识别目标细节，主要通过形心跟踪算法、质心跟踪算法对红外图像进行解算。
目前的光电跟踪系统在实际跟踪目标时，一般仅采用电视或红外的单通道图像作为跟踪源，当光照条件变化较大(顺光、逆光)、场景变化较快时，跟踪效果较差。
此外，由于光电系统安装于舰艇等运动平台时，当风浪较大时会导致舰艇剧烈摇摆，增加了光电系统跟踪目标的难度，当遭遇速度快、尺寸小、机动性强的运动目标时，容易丢失目标，无法进行稳定跟踪，且难以再次捕捉目标。
发明内容
针对现有技术中存在的缺陷，本发明本发明的目的在于提供一种基于多路提取与智能识别自主引导的复合跟踪系统及方法，能够在目标丢失后快速捕捉目标，重新对目标进行稳定跟踪。
为达到以上目的，本发明采取的技术方案是：
一种基于多路提取与智能识别自主引导的复合跟踪系统，包括电视传感器、红外传感器、伺服稳定平台、目标识别模块、目标跟踪模块、综合控制模块、伺服驱动模块；
所述电视传感器、红外传感器均设置在伺服稳定平台上，通过伺服稳定平台的转动带动电视传感器、红外传感器转动以改变监测角度，综合控制模块、伺服驱动模块均与伺服稳定平台，用于控制伺服稳定平台的转动；所述目标识别模块用于接收电视传感器、红外传感器发送的视频图像信号，并对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；所述目标跟踪模块用于接收电视传感器和/或红外传感器发送的视频图像信号，对图像信号进行处理，输出脱靶信号至综合控制模块；同时还用于接收目标识别模块传输至综合控制模块的相关信息；所述综合控制模块用于接收目标跟踪模块的脱靶量信息、目标识别模块的识别信息、伺服稳定平台的伺服信息，并生成驱动指令发送至伺服驱动模块；所述伺服驱动模块用于接收综合控制模块的驱动指令，对伺服稳定平台进行闭环伺服控制，对电视传感器和/或红外传感器进行变倍调焦控制。
进一步的，所述系统还包括显控模块和操控面板，所述综合控制模块用于向显控模块反馈状态信息，所述显控模块用于接收操控面板的摇杆与按键的信号，转换为控制指令，发送到综合控制模块。
进一步的，所述目标识别模块还包括轨迹预测单元，轨迹预测单元用于预估目标物的运动轨迹。
一种基于多路提取与智能识别自主引导的复合跟踪方法，包括以下步骤：
A、电视传感器和/或红外传感器采集相应的视频图像信息并发送至目标识别模块和图像处理模块；
B、目标识别模块对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；目标跟踪模块对图像信号进行处理，输出脱靶信号至综合控制模块；
C、综合控制模块将相应的信息输送至显控模块，显控模块向综合控制模块输出综合控制信号；
D、综合控制模块对获取的信号进行解算并输出控制信号至伺服驱动模块；
E、伺服驱动模块控制伺服稳定平台转动，以改变电视传感器和/或红外传感器的视场。
进一步的，所述目标识别模块用于对目标跟踪模块进行辅助跟踪，辅助跟踪的方法如下：
目标识别模块，获取视频图像信号并进行识别，输出识别信息即目标类型和位置信息，计算并输出偏差量至综合控制模块，偏差量即当前目标的位置与传感器视场中心的偏差，其数据发送频率为1s/次；
目标跟踪模块获取图像信号进行处理，输出脱靶信号至综合控制模块，综合控制模块计算偏差量，根据偏差量计算控制信息并发送至伺服驱动模块控制伺服稳定平台转动；
判断目标跟踪模块是否丢失目标，若是，综合控制模块将目标识别模块发送的目标类型和位置信息发送至目标跟踪模块，目标跟踪模块接收引导并更新波门，重新输出脱靶信息并计算偏差量；否则，继续获取图像信息并进行处理。
进一步的，步骤B中，目标跟踪模块对图像信号进行处理，输出脱靶信号至综合控制模块具体包括以下步骤：
S1、获取相应的视频图像信息，所述视频图像信息包括电视图像和/或红外图像；
S2、读取视频图像信息的图像帧；
S3、选取匹配区域；
S4、设置波门；
S4、对电视图像和/或红外图像，同时分别使用相关跟踪算法、神经网络跟踪算法和形心跟踪算法对波门内图像进行计算；
S5、判断相关跟踪算法、神经网络跟踪算法和形心跟踪算法的计算结果是否满足跟踪精度要求，若满足要求的算法为三种，转入步骤S6；若满足要求的算法为两种，转入步骤S7；
S6、针对各自算法的精度值，设置相应权重进行融合，将融合后的结果作为均值脱靶量作为最终结果进行输出，转入步骤S8；同时，用均值作为最终使用的位置偏差值，并据此重新设置相关跟踪、形心跟踪、神经网络跟踪的参考窗和搜索窗，使之重合，实时校正跟踪窗口的中心；
S7、以满足要求的算法结果作为最终结果进行输出，转入步骤S8；
S8、分别对电视图像和红外图像进行三种跟踪算法的结果进行多模融合，输出电视通道的脱靶量融合结果Et和红外通道的脱靶量融合结果Ei；
S9、将电视图像多模融合偏差数据、红外图像多模融合偏差数据输出至综合控制模块；
S10、综合控制模块对电视图像多模融合偏差数据、红外图像多模融合偏差数据进行双通道偏差融合处理并输出；
S11、根据双通道偏差融合结果控制伺服电机进行复合闭环继续跟踪。
进一步的，步骤S3中所述选择匹配区域具体步骤为：
设V代表一帧全视场的图像，Vc为视场中心点；F为该帧图像中待确定的匹配区域，Fc为匹配区域的中心点，S代表前一帧的匹配子图在V中的对应位置，Sc是前一帧的匹配子图的中心点；
现有独立的相关跟踪器中，没有将伺服控制系统的特性结合起来考虑，不论S在V中处于什么位置，通常会让F包含S并且对称于S，即Fc与Sc重合；但是实际上，当相关算法在一帧图像中找到匹配子图后，伺服系统会将匹配子图转移至视场中心，匹配子图离中心越远，转移的距离越大，伺服系统对目标图像运动的作用应该大于目标实际运动在图像中的反映；
在匹配前选取的区域F与S并不对称，而是F包含S，且S偏向Vc，偏向程度与Sc和Vc之间的距离成正比；
Fc与Sc重合当且仅当Sc与Vc重合；当S紧靠视场边缘时，F相应的也紧靠视场边缘，根据这一规律可以推导出计算Fc的坐标(xF，yF)的公式：
其中，xS和yS是Sc的坐标，WV、WF、WS分别为V、F和S的宽度，HV、HF、HS分别为V、F和S的高度；当(xF，yF)的坐标确定，F的高度及宽度均确定，从而可以确定匹配区域。
进一步的，步骤S1中获取电视图像和/或红外图像时，需要从相应的跟踪通道获取，其中，目标跟踪模块根据偏差数据选择跟踪通道包括以下步骤：在选择时，默认电视通道进行跟踪；
S1、获取电视通道的脱靶量Et并控制伺服进行闭环跟踪；
S2、计算电视跟踪的精度，判断电视跟踪精度是否满足要求，若是，转入步骤S1继续使用电视通道进行跟踪，否则，转入步骤S3；
具体的判断方法为：本实施例的图像帧率为40fps，即每隔25ms更新一次脱靶量，控制一次伺服运动，每帧的脱靶量为Et，连续5帧为一个判定周期，若连续5帧Et均大于等于Ev2，Ev2取0.8mrad，，则认为电视通道跟踪不稳定，根据精度不满足要求，此时转入步骤S3；
S3、判断红外通道是否稳定，即连续5帧中，至少一帧Ei小于Ev2，若是，转入步骤S4，否则，转入步骤S8；
S4、切换成红外通道进行跟踪，更新电视通道波门，转入步骤S5；
S5、利用红外通道的脱靶量Ei控制伺服进行跟踪，转入步骤S6；
S6、判断跟踪精度是否满足要求，若是，转入步骤S5，否则，转入步骤S7；
S7、判断电视通道是否稳定，若是，切换至电视通道进行跟踪，更新红外通道波门，转入步骤S1；否则，转入步骤S8；
S8、对电视通道、红外通道相对应的偏差数据进行加权平均值计算，即利用电视通道与红外通道的脱靶量均值0.5*(Et+Ei)作为最终伺服控制量，控制伺服进行闭环跟踪一周期，转入步骤S9；
S9、判断电视通道的稳定性是否高于红外通道，若是，转入步骤S1，否则，转入步骤S4；
具体的，将Et与Ei进行分析比较，若电视通道更稳定，即Et＜Ei，切换成电视跟踪状态，转入步骤S1；若红外通道更稳定，即Ei＜Et，切换成红外跟踪状态，转入步骤S4。
进一步的，
所述步骤B还包括以下步骤：轨迹预测单元预估目标物的运动轨迹，其具体计算方法参见具体实施方式。
与现有技术相比，本发明的优点在于：
(1)本发明中基于多路提取与智能识别自主引导的复合跟踪方法，目标识别模块对视频图像进行分析，当视频中检测到目标时，将识别到的目标在图像中的坐标发送给图像跟踪模块，引导图像跟踪模块的波门对目标进行捕获并自动转入目标跟踪状态；图像跟踪模块对目标进行跟踪的过程中，目标识别模块定时跟新目标图像坐标信息，并对跟踪模块的波门进行修正，防止海浪等外界干扰信息导致目标跟踪模块丢失目标；本发明在跟踪过程中当塔架、桅杆或其物体遮挡造成目标短暂丢失，只要目标能再次出现在视场中，目标识别单元便能识别出目标，然后引导图像跟踪模块对目标再次进行捕获和跟踪。
同时跟踪模块对于框选的目标，可以牢固锁定，长时间虽会有偏移，经过识别模块定时引导(更新波门和图像坐标信息)，可以实时纠正图像跟踪板长时间提取目标发生偏移的影响，提高跟踪稳定性和准确度。
(2)本发明中基于多路提取与智能识别自主引导的复合跟踪方法，使用多模跟踪算法对视频图像进行分析，自适应能力强，抗干扰性能好，具有锁定目标短暂丢失后的再次捕获的能力，能适用于大部分复杂背景
(3)本发明中基于多路提取与智能识别自主引导的复合跟踪方法，通过目标识别模块对目标跟踪模块进行辅助跟踪，目标识别模块获取视频图像信号并进行识别，输出识别信息即目标类型和位置信息，计算并输出偏差量至综合控制模块，偏差量即当前目标的位置与传感器视场中心的偏差，其数据发送频率为1s/次；目标跟踪模块获取图像信号进行处理，输出脱靶信号至综合控制模块，综合控制模块计算偏差量，根据偏差量计算控制信息并发送至伺服驱动模块控制伺服稳定平台转动；判断目标跟踪模块是否丢失目标，若是，综合控制模块将目标识别模块发送的目标类型和位置信息发送至目标跟踪模块，目标跟踪模块接收引导并更新波门，重新输出脱靶信息并计算偏差量；否则，继续获取图像信息并进行处理。通过附着跟踪能够有效避免目标跟踪模块扫描不全导致的目标丢失，能够提高跟踪效率和准确率。
(4)本发明中基于多路提取与智能识别自主引导的复合跟踪方法，轨迹预测单元能够根据方位角来预测目标投影在相应平面坐标的运动方向，估计出的方向。当出现目标丢失的情况时，轨迹预测单元将计算结果发送至伺服驱动模块，伺服驱动模块控制伺服稳定平台向对应的方向转动，能够再次快速捕捉到目标并发送至跟踪模块进行再次跟踪。
附图说明
图1为本发明实施例中基于多路提取与智能识别自主引导的复合跟踪系统的结构框图；
图2为本发明实施例中向程度与Sc和Vc之间关系图；
图3为本发明实施例中跟踪模块进行跟踪的流程图；
图4为本发明实施例中双通道融合跟踪的流程图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。
参见图1所示，本发明实施例提供一种基于多路提取与智能识别自主引导的复合跟踪系统，包括电视传感器、红外传感器、伺服稳定平台、目标识别模块、目标跟踪模块、综合控制模块、伺服驱动模块、显控模块和操控面板。
其中，电视传感器、红外传感器均设置在伺服稳定平台上，通过伺服稳定平台的转动带动电视传感器、红外传感器转动以改变监测角度，综合控制模块、伺服驱动模块均与伺服稳定平台，用于控制伺服稳定平台的转动。
目标识别模块用于接收电视传感器、红外传感器发送的视频图像信号，并对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块。
目标跟踪模块用于接收电视传感器和/或红外传感器发送的视频图像信号，对图像信号进行处理，输出脱靶信号至综合控制模块；同时还用于接收目标识别模块传输至综合控制模块的相关信息。
综合控制模块用于接收图像处理单元的脱靶量信息、目标识别模块的识别信息、伺服稳定平台的伺服信息、显控模块的控制指令，并生成驱动指令发送至伺服驱动模块。
伺服驱动模块用于接收综合控制模块的驱动指令，对伺服稳定平台进行闭环伺服控制，对电视传感器和/或红外传感器进行变倍调焦控制。
显控模块用于接收操控面板的摇杆与按键的信号，转换为控制指令，发送到综合控制模块。
本发明实施例中，综合控制模块与显控模块之间通过网络交互模块连接，网络交互模块还用于接收经由目标跟踪模块传递的视频信息并发送至显控模块，显控模块还与外部显示器连接。
本发明还提供一种基于多路提取与智能识别自主引导的复合跟踪方法，包括以下步骤：
A、电视传感器和/或红外传感器采集相应的视频图像信息并发送至目标识别模块和图像处理模块。
B、目标识别模块对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；目标跟踪模块对图像信号进行处理，输出脱靶信号至综合控制模块。
C、综合控制模块将相应的信息输送至显控模块，显控模块向综合控制模块输出综合控制信号。
D、综合控制模块对获取的信号进行解算并输出控制信号至伺服驱动模块。
E、伺服驱动模块控制伺服稳定平台转动，以改变电视传感器和/或红外传感器的视场。
在进行跟踪时，由于目标识别模块会对所获取的视频图像信息进行全面扫描，扫描频率较低但准确度较高，而目标跟踪模块对所获取的视频图像信息进行部分扫描(与模板相对应的部分区域)，扫描频率较高，但是当视频图像信息中的目标与模板中的目标位置差异较大时，容易判定为目标丢失，导致跟踪失败，同时，综合控制模块收到相应的信息后，会输出控制信号至伺服驱动模块，控制伺服稳定平台向偏离目标的方向转动，导致目标丢失。
因此，在实际跟踪时，通过目标识别模块对目标跟踪模块进行辅助跟踪，辅助跟踪的方法如下：
目标识别模块，获取视频图像信号并进行识别，输出识别信息即目标类型和位置信息，计算并输出偏差量至综合控制模块，偏差量即当前目标的位置与传感器视场中心的偏差，其数据发送频率为1s/次。
目标跟踪模块获取图像信号进行处理，输出脱靶信号至综合控制模块，综合控制模块计算偏差量，根据偏差量计算控制信息并发送至伺服驱动模块控制伺服稳定平台转动。
判断目标跟踪模块是否丢失目标，若是，综合控制模块将目标识别模块发送的目标类型和位置信息发送至目标跟踪模块，目标跟踪模块接收引导并更新波门，重新输出脱靶信息并计算偏差量；否则，继续获取图像信息并进行处理。
通过上述方法，能够有效避免目标跟踪模块扫描不全导致的目标丢失，能够提高跟踪效率和准确率。
跟踪模块进行跟踪具体包括以下步骤：
S1、获取相应的视频图像信息(包括电视图像和/或红外图像)。
S2、读取视频图像信息的图像帧。
S3、选取匹配区域。
S4、设置波门。
S4、对电视图像和/或红外图像，同时分别使用相关跟踪算法、神经网络跟踪算法和形心跟踪算法对波门内图像进行计算。
对电视和红外传感器通道，针对每一种跟踪算法，根据设定的初始波门位置，对单帧图像进行处理后，均得出一个脱靶量的值。对某一通道，分别设为Es(神经网络算法处理后的脱靶量值)、Ex(相关跟踪算法处理后的脱靶量值)和Ez(形心跟踪算法处理后的脱靶值)。
S5、判断相关跟踪算法、神经网络跟踪算法和形心跟踪算法的计算结果是否满足跟踪精度要求，若满足要求的算法为三种，转入步骤S6；若满足要求的算法为两种，转入步骤S7。
其中，判断计算结果是否满足跟踪精度要求的具体判断方法为：对于常用的光电跟踪系统精度要求，一般均要求脱靶量≤0.5mrad，但在系统实际工作跟踪过程中，上述计算得来的Es、Ex、Ez根据前述分析的电视、红外图像属性及光照条件变化的原因，会存在较大的浮动，本实施例中，将有效阈值设定为Tv，根据经验值，Tv取1.5mrad，即Es(Ex、Ez)＞Tv则认为目标丢失，不符合精度要求，剔去，不参与后续融合计算；即Es(Ex、Ez)≤Tv则认为符合精度要求，保留，参与后续融合计算。
S6、针对各自算法的精度值，设置相应权重进行融合，将融合后的结果作为均值脱靶量作为最终结果进行输出，转入步骤S8。同时，用均值作为最终使用的位置偏差值，并据此重新设置相关跟踪、形心跟踪、神经网络跟踪的参考窗和搜索窗，使之重合，再对三种跟踪运算的结果作无偏估计，实时校正跟踪窗口的中心。
其中，加权均值的计算方法如下：
电视通道的三种算法融合输出后的均值脱靶量为Et，红外通道的三种算法融合输出后的均值脱靶量为Ei。
脱靶量(Es、Ex、Ez)均≤Tv(1.5mrad)时，为有效结果，此时针对电视通道设置各脱靶量的权重时，弱化形心算法的影响，加大神经网络的权重，即最终的输出结果脱靶量Et＝0.2Ez+0.3Ex+0.5Es；
针对红外通道则设置各脱靶量的权重时，弱化相关跟踪算法的影响，加大形心算法的权重，即最终的输出结果脱靶量Ei＝0.2Ex+0.3Es+0.5Ez。
S7、以满足要求的算法结果作为最终结果进行输出，转入步骤S8。
图像处理单元同时输出电视和红外双通道多模融合后的脱靶量数据(Et、Ei)，发送至综合控制模块，综合控制模块进行双通道脱靶量偏差融合处理，输出融合后的偏差数据，控制伺服进行复合闭环跟踪。
电视、红外单一通道的图像可以实现相关、神经网络、领域等三种跟踪算法，每种算法可以独立工作，也可以多种算法同时启用，协同工作，实现在数据级的融合，真正实现融合跟踪的功能。具体过程如下：
综合控制模块默认为电视跟踪，获取电视通道的脱靶量Et去控制伺服单元进行闭环跟踪，同时计算跟踪精度，此时红外通道的仍然在进行上述的脱靶量提取与融合输出Ei，只是不控制伺服。
此处的图像帧率为40fps，即每隔25ms更新一次脱靶量，控制一次伺服运动，每帧的脱靶量为Et，连续5帧为一个判定周期，若连续5帧Et均大于等于Ev2(此处Ev2取0.8mrad，此处为精确判定，Ev2＜Ev1)，则认为电视通道跟踪不稳定，精度不满足要求，切换成红外通道；
此时若红外通道精度满足要求(不出现连续5帧Ei≥Ev2的情况)，则利用红外通道的脱靶量Ei进行控制伺服闭环跟踪，同时电视通道的仍然在进行上述的脱靶量提取与融合输出Et，只是不控制伺服。
此时若红外与电视通道精度均不满足要求(连续5帧Et＞Ev2且Ei＞Ev2)，则判定为两个通道均不稳定，此时存在丢失目标的风险，利用电视与红外通道的脱靶量均值0.5*(Et+Ei)作为最终伺服控制量，控制伺服进行闭环跟踪。
下一个控制周期中，Et与Ei进行分析比较，若电视通道更稳定(Et＜Ei)，切换成电视跟踪状态；若红外通道更稳定(Ei＜Et)，切换成红外跟踪状态。
循环重复上述过程。
S8、分别对电视图像和红外图像进行三种跟踪算法的结果进行多模融合，输出Et(电视通道的脱靶量融合结果)和Ei(红外通道的脱靶量融合结果)。
S9、将电视图像多模融合偏差数据、红外图像多模融合偏差数据输出至综合控制模块。
S10、综合控制模块对电视图像多模融合偏差数据、红外图像多模融合偏差数据进行双通道偏差融合处理并输出。
S11、根据双通道偏差融合结果控制伺服电机进行复合闭环继续跟踪。
步骤S4中使用相关跟踪算法(最小远离距离匹配算法(Minimum Far Distance)MFD)对波门内图像进行计算具体包括以下步骤：
假设模板图像A的大小为M×N像素，那么与任一同样大小的图像B的远离距离D按公式一计算：
其中
公式一中，wi,j为权值，wi,j在(0，1]之间取值，距离模板图像A的中心越近的位置，权值越大，根据当前图像B的中心与模板A的中心距离确定，当距离为0时取1，当距离为最大值，设最大值为Sm)，
时取0，具体计算公式为Wi,j＝1-S/Sm，且wi,j满足公式一的要求，其中，S为偏离中心的像素距离。
T为像素灰度相似性阈值，在2到12之间取值，根据经验值一般取为10，Ai,j为图像A的灰度值，Bi,j为图像B的灰度值。
将模板在获取的当前图像的匹配区域内逐列逐行滑动，统计模板图像与每个待匹配位置处区域子图之间的远离距离(MFD距离)，将所有远离距离进行绘图得到整个匹配区域的相关曲面，该相关曲面的谷值点即为最佳匹配位置。
设置一个累加和计算的门限值L，当模板滑到到图像里面的某一个位置处，需要计算该处当前点的MFD，如果此处是做了第K次滑动，则前面已经计算过K-1次MFD，每次计算都会将MFD与L进行比较，更新，确保L为最小值，L等于前面各点已经计算出的MFD值中的最小值，在计算当前点的远离距离MFD的过程中，一旦当前MFD大于L，就认为该点不匹配，中止计算并让模板滑动到下一点。如果当前点的累加结果D小于L，则L重新赋值为D，作为后面其它位置处累加计算的新门限。
这种单调下降调整累加和门限的算法，使得在大多数非匹配点处，累加过程很早就被中止了，从而大大节省了计算时间。
在以下两种情况，需要对MFD算法的模板进行更新：1、对传感器的参数进行调节时(变焦、调焦、调节亮度、对比度等)进行更新；2、每隔10帧图像时自动更新模板；
MFD算法的更新的模板采用当前匹配子图和旧模板加权合并的方法，即新模板Mn＝p·Mc+(1－p)·Mo，其中Mc为匹配子图，Mo为旧模板，p为权值。
可以用分段函数的形式，根据匹配置信度G的大小设置不同的p值，置信度越高，匹配子图在新模板中所占的比例就越大。匹配置信度G＝1－Dmin/Dmax，其中的Dmin为精匹配过程完成之后得到的最小远离距离，Dmax为最大最远距离。
进一步的，当传感器传输的图像信息在受环境因素(如薄雾)或噪声影响造成目标图像边缘不够锐利时，相邻点的像素灰度相似性阈值T相同，导致匹配结果中有多个相邻点具有相同的MFD值，需要在这几个匹配点中进行随机选取一个座位匹配子图进行模板更新，目前主要采用随机选择或顺次选择，但是模板更新后就可能产生漂移。
为解决这一问题，本发明通过动态调整像素相似性阈值来避免，具体步骤如下：
当前匹配过程中采用的阈值为T0，依据当前的匹配点数量N和匹配置信度G，在[Tmin，Tmax]范围内动态调整下一帧匹配时采用的阈值T1，包括以下两步：
若N＞1，则T1＝max(Tmin，T0/2)，否则T1＝min(Tmax，T0+1)；当G＜0.7，T1＝Tmax；当0.7≤G＜0.8，T1＝max(Tmax－3，T0)。
当匹配点N＞1，即出现多个匹配点时，调整下一帧匹配阈值T1＝max(Tmin，T0/2)，减小阈值，从而避免多个相邻点具有相同的MFD值，使得下一帧的匹配更加精确。
当匹配点N＝1时，根据G的取值确定下一帧匹配阈值T1，且T1＞T0，增加阈值后，能够获得更好的抗噪声和局部遮挡的效果。
当前的匹配置信度G小于0.7时，说明目标区域出现了形变，下一帧匹配阈值T1＝Tmax。
通过动态调整像素相似性阈值的方法不仅计算量较小，且能够有效减少同时出现多个匹配点的概率，减缓了模板漂移，对抗噪声和目标形变的能力影响较小。
在相关跟踪算法中，匹配区域的选择也是影响算法性能的一个重要因素，本实施例中，获取匹配区域具体步骤为：
设V代表一帧全视场的图像，Vc为视场中心点；F为该帧图像中待确定的匹配区域，Fc为匹配区域的中心点，S代表前一帧的匹配子图在V中的对应位置，Sc是前一帧的匹配子图的中心点。
现有独立的相关跟踪器中，没有将伺服控制系统的特性结合起来考虑，不论S在V中处于什么位置，通常会让F包含S并且对称于S，即Fc与Sc重合；但是实际上，当相关算法在一帧图像中找到匹配子图后，伺服系统会将匹配子图转移至视场中心，匹配子图离中心越远，转移的距离越大，伺服系统对目标图像运动的作用应该大于目标实际运动在图像中的反映(否则无法跟踪)。
参见图2所示，基于上述特性，在匹配前选取的区域F与S并不对称，而是F包含S，且S偏向Vc，偏向程度与Sc和Vc之间的距离成正比。
Fc与Sc重合当且仅当Sc与Vc重合；当S紧靠视场边缘时，F相应的也紧靠视场边缘，根据这一规律可以推导出计算Fc的坐标(xF，yF)的公式：
其中，xS和yS是Sc的坐标，WV、WF、WS分别为V、F和S的宽度，HV、HF、HS分别为V、F和S的高度。
当(xF，yF)的坐标确定，F的高度及宽度均确定，从而可以确定匹配区域，本实施例中选取匹配区域的方法，能够在有限的计算能力下尽量扩大了匹配搜索的有效范围，允许更快的伺服控制速度。
步骤S5中使用神经网络跟踪算法对波门内图像进行计算具体包括以下步骤：
该算法采用深度卷积神经网络实现的软件算法，首先通过大量的可训练卷积核提取出图像中典型目标的特征，然后将这些特征不断抽象和稀疏化，并将其从背景信息中剥离开来，最终利用分类器实现目标的检测定位与目标分类的。
该算法包括能够对电视和红外两种类型的图像进行目标自主识别，其中识别目标主要针对船、车、人等典型目标，但不局限于这类型目标，具有很强的迁移能力和可拓展性，同时能够支持多路的视频输入处理，在性能方面，能够达到30帧/路的处理速度，在保证低于10％漏检率的情况下达到小于10％的虚警率，并且对目标的识别准确率大于90％。
识别类型可以根据训练的模型来选定需要识别的目标。
本实施例的神经网络跟踪算法采用基于YOLO网络的多目标识别方法，该方法能够将输入的原始图像直接输出成目标的位置和类别信息，在网络结构上，网络参照Darknet-53结构对目标图像进行特征提取。
由于该网络在倒数第二层为全连接层，网络的输入维度必须固定，因此在网络进行识别之前，获取到的目标图像需要归一化到448*448*3的尺寸大小。
在目标图像进行归一化之后，网络会将图像分割成一个7*7的网格，其中每一个网格负责识别落入自己网格的目标，具体实现是通过多次卷积、池化运算来提取目标的高级抽象特征，然后利用最后两层全连接层进行回归得到一个7*7*s的矩阵。
矩阵中每个位置的S维向量代表的是每个网格获得的回归结果，其中包括目标区域的中心坐标(xi,yi)、宽高(wi,hi)、IOU(在特定数据集中检测相应物体准确度的一个标准)和每个类别的分类概率，两个区域的IOU计算公式如下：
其中A∩表示两个区域相交的面积，A表示两个区域的面积之和。
假设每个网格回归的目标区域为K个，目标类别为C个，则S＝k*5+C。
在损失函数方面，训练网格使用的损失函数定义如下所示(计算误差时所有的坐标值会按照图像大小归一化到[0,1])：
其中λloc、λnotx,y,w,h分别代表网络回归得到目标框的横坐标、纵坐标、宽度和高度，x’,y’,w’,h’分别代表真实目标框的横坐标、纵坐标、宽度和高度，Cij,C’ij分别代表预测目标框IOU，pi(c)与pi'(c)分别表示目标框预测类别得分和真实得分，
在由目标落入当前网格时为1，其他情况为0，
表示有目标落入当前网格时为0，其他情况为1。
深度卷积神经网络的复杂度评估是网络结构设计的关键，如果检测识别任务复杂度高于网络复杂度，网络的训练则难以收敛；反之。任务复杂度高于网络复杂度，模型维度过高，样本量少，则容易产生过拟合现象。因此，在设计卷积神经网络模型时需要充分分析检测分类任务的复杂度。除此之外，网络设计还需要考虑实时性问题，若网络复杂度过高，平台硬件计算能力有限时，网络在实际情况进行推理运算时将无法满足实时性要求。
由于深度卷积神经网络是有监督模型，因此需要使用带标签的样本对模型进行训练，而训练的关键在于损失函数的设计。由于卷积神经网络需要同时输出目标的位置信息和类别信息，因此在设计损失函数时需要同时考虑目标的定位误差和类别误差，类别误差中包含背景类的类别误差计算，而在训练过程中背景类样本量通常会高于前景类的样本量。
步骤S5中使用形心跟踪算法对波门内图像进行计算具体包括以下步骤：目标图像的总能量E为：
E＝∫∫δ(x,y)dxdy
式中，δ(x,y)为像元的能量密度，dxdy为像元面积。
目标图像能量矩为：
式中，Mx、My为目标图像对x轴的能量矩和对y轴的能量矩，x、y为像元面积dx dy到y轴的距离和到x轴的距离。
质心的坐标，即目标质心偏离视场中心的偏差量为：
实际应用时，常简化成二值化处理：预先计算波门内图像的自适应分割阈值T，然后用阈值T对目标图像进行分割处理，将原来的灰度图像{f(x,y)，x、y＝0、1、…、N－1}变成二值图像{g(x,y)，x、y＝0、1、…、N－1}。
自适应分割阈值T的计算方法如下：
a、定义一个初始化阈值T，设置T为波门内灰度均值。
b、根据阈值图将每个像素数据P(n,m)分为目标像素数据G1与背景像素数据G2。(n为行，m为列)。
c、计算G1的平均值m1，G2的平均值m2。
d、定义一个新的阈值T’＝(m1+m2)/2
e、转入步骤b，将新的阈值像素数据继续分为目标与背景像素数据。
F、重复步骤c至e，直到计算出来的新阈值等于上一次阈值。
分割过程可用下式表示：
则图像的总能量E，目标图像能量矩可简化为：
计算Mx与My，即为脱靶量，其中：
N——灰度超过阈值T的像元数，
yi——灰度超过阈值T的第i个像元的垂直坐标，
xi——灰度超过阈值T的第i个像元的水平坐标。
步骤S1中获取电视图像和/或红外图像时，需要从相应的跟踪通道获取，其中，目标跟踪模块根据偏差数据选择跟踪通道包括以下步骤：在选择时，默认电视通道进行跟踪。
S1、获取电视通道的脱靶量Et并控制伺服进行闭环跟踪。
S2、计算电视跟踪的精度，判断电视跟踪精度是否满足要求，若是，转入步骤S1继续使用电视通道进行跟踪，否则，转入步骤S3(同时，红外通道进行相应脱靶量提取与融合输出Ei，只是不控制伺服)。
具体的判断方法为：本实施例的图像帧率为40fps，即每隔25ms更新一次脱靶量，控制一次伺服运动，每帧的脱靶量为Et，连续5帧为一个判定周期，若连续5帧Et均大于等于Ev2(此处Ev2取0.8mrad，此处为精确判定，Ev2＜Ev1)，则认为电视通道跟踪不稳定，根据精度不满足要求，此时转入步骤S3。
S3、判断红外通道是否稳定，即连续5帧中，至少一帧Ei小于Ev2，若是，转入步骤S4，否则，转入步骤S8。
S4、切换成红外通道进行跟踪，更新电视通道波门，转入步骤S5。
S5、利用红外通道的脱靶量Ei控制伺服进行跟踪，(同时电视通道的仍然在进行上述的脱靶量提取与融合输出Et，只是不控制伺服)转入步骤S6。
S6、判断跟踪精度是否满足要求，若是，转入步骤S5，否则，转入步骤S7。
S7、判断电视通道是否稳定，若是，切换至电视通道进行跟踪，更新红外通道波门，转入步骤S1；否则，转入步骤S8。
若红外通道与电视通道精度均不满足要求，即连续5帧Et＞Ev2且Ei＞Ev2，则判定为两个通道均不稳定，此时存在丢失目标的风险。
S8、对电视通道、红外通道相对应的偏差数据进行加权平均值计算，即利用电视通道与红外通道的脱靶量均值0.5*(Et+Ei)作为最终伺服控制量，控制伺服进行闭环跟踪一周期，转入步骤S9。
S9、判断电视通道的稳定性是否高于红外通道，若是，转入步骤S1，否则，转入步骤S4。
具体的，将Et与Ei进行分析比较，若电视通道更稳定(Et＜Ei)，切换成电视跟踪状态，转入步骤S1；若红外通道更稳定(Ei＜Et)，切换成红外跟踪状态，转入步骤S4。
在实际跟踪时，目标识别模块对视频图像进行分析，当视频中检测到目标时，将识别到的目标在图像中的坐标发送给图像跟踪模块，引导图像跟踪模块的波门对目标进行捕获并自动转入目标跟踪状态。
图像跟踪模块对目标进行跟踪的过程中，目标识别模块定时跟新目标图像坐标信息，并对跟踪模块的波门进行修正，防止海浪等外界干扰信息导致目标跟踪模块丢失目标。
本发明在跟踪过程中当塔架、桅杆或其物体遮挡造成目标短暂丢失，只要目标能再次出现在视场中，目标识别单元便能识别出目标，然后引导图像跟踪模块对目标再次进行捕获和跟踪。
同时跟踪模块对于框选的目标，可以牢固锁定，长时间虽会有偏移，经过识别模块定时引导(更新波门和图像坐标信息)，可以实时纠正图像跟踪板长时间提取目标发生偏移的影响，提高跟踪稳定性和准确度。
目标识别模块还包括轨迹预测单元，轨迹预测单元用于预估目标物的运动轨迹，其具体计算方法如下：
假设目标为匀速直线运动，在每一个采样周期内，它的运动方向(航向)和运动距离都是一定的，将目标运动的轨迹从三维空间投影到x-y平面、y-z平面、x-z平面后，相应的运动轨迹仍然为匀速直线，可以据此估算出目标下一时刻的运动轨迹。
而目标运动的方位角运动轨迹仅与x、y方向相关，通过将方位角投影在x-y平面来估算目标的运动方向，即航向；信息仅与目标真实坐标中的x和y有关，利用方位角来预测目标投影在内的运动方向，估计出的方向，称之为航向。
x-y平面内航向的估算方法如下：设目标在第i个采样时刻的方位角的量测值为βi，则存在：
i为正整数，其中，
为方位角的真实值，ei为测量误差，i为采样点的个数。
设目标在空间直角坐标系中的真实坐标为(xi,yi,zi)，则：
由此可知：yicosβi-xisinβi＝-ritanei＝-di
其中，ri＝xicosβi+yisinβi
设vx，vy是一个采样周期内目标在x和y方向上运动的距离，定义航向为vx/vy，求取vx/vy的步骤如下：
yi＝yn-(n-i)vy,xi＝xn-(n-i)vx
则存在：
其中，
v＝[vy vx]T，εn＝[d1 d2 ... dn]
舍去包含误差信息的向量εn，则可得v的近似值
根据tanβn＝yn/xn，得到vx/xy的近似值k：
根据k和前n个采样时刻的方位角信息，就可以预测出第n+1个采样时刻的方位角βn+1：Tanβn+1＝yn+1/xn+1
yi＝yn+1-(n+1-i)vy,xi＝xn+1-(n+1-i)vx
由此可得：
目标第n+1个采样点上的方位角信息就包含在[yn+1,xn+1]中，舍去包含误差信息的向量εn，可得[yn+1,xn+1]T的近似值：
其中，
设βn+1的预测值为
可得：
根据vy/vx＝k，可求出
进而计算出
值。
在此基础上，高度角与目标在y-z，x-z方向上的运动有关，可以根据方位角来预测目标投影在相应平面坐标的运动方向，估计出的方向。当出现目标丢失的情况时，轨迹预测单元将计算结果发送至伺服驱动模块，伺服驱动模块控制伺服稳定平台向对应的方向转动，能够再次快速捕捉到目标并发送至跟踪模块进行再次跟踪。
本发明不仅局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本发明相同或相近似的技术方案，均在其保护范围之内。
Claims (9)
1.一种基于多路提取与智能识别自主引导的复合跟踪系统，其特征在于：包括电视传感器、红外传感器、伺服稳定平台、目标识别模块、目标跟踪模块、综合控制模块、伺服驱动模块；
所述电视传感器、红外传感器均设置在伺服稳定平台上，通过伺服稳定平台的转动带动电视传感器、红外传感器转动以改变监测角度，综合控制模块、伺服驱动模块均与伺服稳定平台，用于控制伺服稳定平台的转动；
所述目标识别模块用于接收电视传感器、红外传感器发送的视频图像信号，并对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；
所述目标跟踪模块用于接收电视传感器和/或红外传感器发送的视频图像信号，对图像信号进行处理，输出脱靶信号至综合控制模块；同时还用于接收目标识别模块传输至综合控制模块的相关信息；
所述综合控制模块用于接收目标跟踪模块的脱靶量信息、目标识别模块的识别信息、伺服稳定平台的伺服信息，并生成驱动指令发送至伺服驱动模块；
所述伺服驱动模块用于接收综合控制模块的驱动指令，对伺服稳定平台进行闭环伺服控制，对电视传感器和/或红外传感器进行变倍调焦控制。
2.如权利要求1所述的一种基于多路提取与智能识别自主引导的复合跟踪系统，其特征在于：所述系统还包括显控模块和操控面板，所述综合控制模块用于向显控模块反馈状态信息，所述显控模块用于接收操控面板的摇杆与按键的信号，转换为控制指令，发送到综合控制模块。
3.如权利要求1所述的一种基于多路提取与智能识别自主引导的复合跟踪系统，其特征在于：所述目标识别模块还包括轨迹预测单元，轨迹预测单元用于预估目标物的运动轨迹。
4.一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：包括以下步骤：
A、电视传感器和/或红外传感器采集相应的视频图像信息并发送至目标识别模块和图像处理模块；
B、目标识别模块对视频图像信号进行识别，输出识别信息即目标类型和位置信息至综合控制模块；目标跟踪模块对图像信号进行处理，输出脱靶信号至综合控制模块；
C、综合控制模块将相应的信息输送至显控模块，显控模块向综合控制模块输出综合控制信号；
D、综合控制模块对获取的信号进行解算并输出控制信号至伺服驱动模块；
E、伺服驱动模块控制伺服稳定平台转动，以改变电视传感器和/或红外传感器的视场。
5.如权利要求4所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：所述目标识别模块用于对目标跟踪模块进行辅助跟踪，辅助跟踪的方法如下：
目标识别模块，获取视频图像信号并进行识别，输出识别信息即目标类型和位置信息，计算并输出偏差量至综合控制模块，偏差量即当前目标的位置与传感器视场中心的偏差，其数据发送频率为1s/次；
目标跟踪模块获取图像信号进行处理，输出脱靶信号至综合控制模块，综合控制模块计算偏差量，根据偏差量计算控制信息并发送至伺服驱动模块控制伺服稳定平台转动；
判断目标跟踪模块是否丢失目标，若是，综合控制模块将目标识别模块发送的目标类型和位置信息发送至目标跟踪模块，目标跟踪模块接收引导并更新波门，重新输出脱靶信息并计算偏差量；否则，继续获取图像信息并进行处理。
6.如权利要求4所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：步骤B中，目标跟踪模块对图像信号进行处理，输出脱靶信号至综合控制模块具体包括以下步骤：
S1、获取相应的视频图像信息，所述视频图像信息包括电视图像和/或红外图像；
S2、读取视频图像信息的图像帧；
S3、选取匹配区域；
S4、设置波门；
S4、对电视图像和/或红外图像，同时分别使用相关跟踪算法、神经网络跟踪算法和形心跟踪算法对波门内图像进行计算；
S5、判断相关跟踪算法、神经网络跟踪算法和形心跟踪算法的计算结果是否满足跟踪精度要求，若满足要求的算法为三种，转入步骤S6；若满足要求的算法为两种，转入步骤S7；
S6、针对各自算法的精度值，设置相应权重进行融合，将融合后的结果作为均值脱靶量作为最终结果进行输出，转入步骤S8；同时，用均值作为最终使用的位置偏差值，并据此重新设置相关跟踪、形心跟踪、神经网络跟踪的参考窗和搜索窗，使之重合，实时校正跟踪窗口的中心；
S7、以满足要求的算法结果作为最终结果进行输出，转入步骤S8；
S8、分别对电视图像和红外图像进行三种跟踪算法的结果进行多模融合，输出电视通道的脱靶量融合结果Et和红外通道的脱靶量融合结果Ei；
S9、将电视图像多模融合偏差数据、红外图像多模融合偏差数据输出至综合控制模块；
S10、综合控制模块对电视图像多模融合偏差数据、红外图像多模融合偏差数据进行双通道偏差融合处理并输出；
S11、根据双通道偏差融合结果控制伺服电机进行复合闭环继续跟踪。
7.如权利要求6所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：步骤S3中所述选择匹配区域具体步骤为：
设V代表一帧全视场的图像，Vc为视场中心点；F为该帧图像中待确定的匹配区域，Fc为匹配区域的中心点，S代表前一帧的匹配子图在V中的对应位置，Sc是前一帧的匹配子图的中心点；
现有独立的相关跟踪器中，没有将伺服控制系统的特性结合起来考虑，不论S在V中处于什么位置，通常会让F包含S并且对称于S，即Fc与Sc重合；但是实际上，当相关算法在一帧图像中找到匹配子图后，伺服系统会将匹配子图转移至视场中心，匹配子图离中心越远，转移的距离越大，伺服系统对目标图像运动的作用应该大于目标实际运动在图像中的反映；
在匹配前选取的区域F与S并不对称，而是F包含S，且S偏向Vc，偏向程度与Sc和Vc之间的距离成正比；
Fc与Sc重合当且仅当Sc与Vc重合；当S紧靠视场边缘时，F相应的也紧靠视场边缘，根据这一规律可以推导出计算Fc的坐标(xF，yF)的公式：
其中，xS和yS是Sc的坐标，WV、WF、WS分别为V、F和S的宽度，HV、HF、HS分别为V、F和S的高度；当(xF，yF)的坐标确定，F的高度及宽度均确定，从而可以确定匹配区域。
8.如权利要求6所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：
步骤S1中获取电视图像和/或红外图像时，需要从相应的跟踪通道获取，其中，目标跟踪模块根据偏差数据选择跟踪通道包括以下步骤：在选择时，默认电视通道进行跟踪；
S1、获取电视通道的脱靶量Et并控制伺服进行闭环跟踪；
S2、计算电视跟踪的精度，判断电视跟踪精度是否满足要求，若是，转入步骤S1继续使用电视通道进行跟踪，否则，转入步骤S3；
具体的判断方法为：本实施例的图像帧率为40fps，即每隔25ms更新一次脱靶量，控制一次伺服运动，每帧的脱靶量为Et，连续5帧为一个判定周期，若连续5帧Et均大于等于Ev2，Ev2取0.8mrad，，则认为电视通道跟踪不稳定，根据精度不满足要求，此时转入步骤S3；
S3、判断红外通道是否稳定，即连续5帧中，至少一帧Ei小于Ev2，若是，转入步骤S4，否则，转入步骤S8；
S4、切换成红外通道进行跟踪，更新电视通道波门，转入步骤S5；
S5、利用红外通道的脱靶量Ei控制伺服进行跟踪，转入步骤S6；
S6、判断跟踪精度是否满足要求，若是，转入步骤S5，否则，转入步骤S7；
S7、判断电视通道是否稳定，若是，切换至电视通道进行跟踪，更新红外通道波门，转入步骤S1；否则，转入步骤S8；
S8、对电视通道、红外通道相对应的偏差数据进行加权平均值计算，即利用电视通道与红外通道的脱靶量均值0.5*(Et+Ei)作为最终伺服控制量，控制伺服进行闭环跟踪一周期，转入步骤S9；
S9、判断电视通道的稳定性是否高于红外通道，若是，转入步骤S1，否则，转入步骤S4；
具体的，将Et与Ei进行分析比较，若电视通道更稳定，即Et＜Ei，切换成电视跟踪状态，转入步骤S1；若红外通道更稳定，即Ei＜Et，切换成红外跟踪状态，转入步骤S4。
9.如权利要求5所述的一种基于多路提取与智能识别自主引导的复合跟踪方法，其特征在于：所述步骤B还包括以下步骤：轨迹预测单元预估目标物的运动轨迹，其具体计算方法如下：
假设目标为匀速直线运动，在每一个采样周期内，它的运动方向(航向)和运动距离都是一定的，将目标运动的轨迹从三维空间投影到x-y平面、y-z平面、x-z平面后，相应的运动轨迹仍然为匀速直线，可以据此估算出目标下一时刻的运动轨迹；
而目标运动的方位角运动轨迹仅与x、y方向相关，通过将方位角投影在x-y平面来估算目标的运动方向，即航向；
信息仅与目标真实坐标中的x和y有关，利用方位角来预测目标投影在内的运动方向，估计出的方向，称之为航向；
x-y平面内航向的估算方法如下：
设目标在第i个采样时刻的方位角的量测值为βi，则存在：
其中，
为方位角的真实值，ei为测量误差，i为采样点的个数；
设目标在空间直角坐标系中的真实坐标为(xi,yi,zi)，则：
由此可知：yicosβi-xisinβi＝-ritanei＝-di
其中，ri＝xicosβi+yisinβi
设vx，vy是一个采样周期内目标在x和y方向上运动的距离，定义航向为vx/vy，求取vx/vy的步骤如下：
yi＝yn-(n-i)vy,xi＝xn-(n-i)vx
则存在：
其中，
v＝[vy vx]T
εn＝[d1 d2 dn]
舍去包含误差信息的向量εn，则可得v的近似值
其中，
根据tanβn＝yn/xn，得到vx/xy的近似值k：
根据k和前n个采样时刻的方位角信息，就可以预测出第n+1个采样时刻的方位角βn+1：
Tanβn+1＝yn+1/xn+1
yi＝yn+1-(n+1-i)vy,xi＝xn+1-(n+1-i)vx
由此可得：
目标第n+1个采样点上的方位角信息就包含在[yn+1,xn+1]中，舍去包含误差信息的向量εn，可得[yn+1,xn+1]T的近似值：
其中，
设βn+1的预测值为
可得：
根据vy/vx＝k，可求出
进而计算出
值；
在此基础上，高度角与目标在y-z，x-z方向上的运动有关，可以根据方位角来预测目标投影在相应平面坐标的运动方向，估计出的方向；
当出现目标丢失的情况时，轨迹预测单元将计算结果发送至伺服驱动模块，伺服驱动模块控制伺服稳定平台向对应的方向转动，能够再次快速捕捉到目标并发送至跟踪模块进行再次跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011344425.6A CN112634322A (zh) | 2020-11-25 | 2020-11-25 | 一种基于多路提取与智能识别自主引导的复合跟踪系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011344425.6A CN112634322A (zh) | 2020-11-25 | 2020-11-25 | 一种基于多路提取与智能识别自主引导的复合跟踪系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634322A true CN112634322A (zh) | 2021-04-09 |
Family
ID=75303936
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011344425.6A Pending CN112634322A (zh) | 2020-11-25 | 2020-11-25 | 一种基于多路提取与智能识别自主引导的复合跟踪系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634322A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888362A (zh) * | 2021-09-23 | 2022-01-04 | 四川大学 | 一种基于时空张量特征的压路机施工轨迹识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101173987A (zh) * | 2007-10-31 | 2008-05-07 | 北京航空航天大学 | 多模多目标精密跟踪装置和方法 |
| CN101860732A (zh) * | 2010-06-04 | 2010-10-13 | 天津市亚安科技电子有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
| CN103838258A (zh) * | 2014-02-26 | 2014-06-04 | 上海微小卫星工程中心 | 一种应用于天基空间目标的自动跟踪方法及系统 |
| CN109634311A (zh) * | 2018-12-05 | 2019-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种跟踪记录方法 |
| CN111880482A (zh) * | 2020-06-17 | 2020-11-03 | 中国人民解放军陆军军事交通学院镇江校区 | 一种高精度的传感器视轴伺服控制系统及其方法 |
-
2020
- 2020-11-25 CN CN202011344425.6A patent/CN112634322A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101173987A (zh) * | 2007-10-31 | 2008-05-07 | 北京航空航天大学 | 多模多目标精密跟踪装置和方法 |
| CN101860732A (zh) * | 2010-06-04 | 2010-10-13 | 天津市亚安科技电子有限公司 | 一种控制云台摄像机自动跟踪目标的方法 |
| CN103838258A (zh) * | 2014-02-26 | 2014-06-04 | 上海微小卫星工程中心 | 一种应用于天基空间目标的自动跟踪方法及系统 |
| CN109634311A (zh) * | 2018-12-05 | 2019-04-16 | 中国科学院长春光学精密机械与物理研究所 | 一种跟踪记录方法 |
| CN111880482A (zh) * | 2020-06-17 | 2020-11-03 | 中国人民解放军陆军军事交通学院镇江校区 | 一种高精度的传感器视轴伺服控制系统及其方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113888362A (zh) * | 2021-09-23 | 2022-01-04 | 四川大学 | 一种基于时空张量特征的压路机施工轨迹识别方法 |
| CN113888362B (zh) * | 2021-09-23 | 2023-07-18 | 四川大学 | 一种基于时空张量特征的压路机施工轨迹识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Automatic laser profile recognition and fast tracking for structured light measurement using deep learning and template matching | |
| US9990736B2 (en) | Robust anytime tracking combining 3D shape, color, and motion with annealed dynamic histograms | |
| US8098889B2 (en) | System and method for vehicle detection and tracking | |
| US7620202B2 (en) | Target orientation estimation using depth sensing | |
| CN111932580A (zh) | 一种基于卡尔曼滤波与匈牙利算法的道路3d车辆跟踪方法及系统 | |
| CN110244322A (zh) | 基于多源传感器的路面施工机器人环境感知系统及方法 | |
| CN112257569B (zh) | 一种基于实时视频流的目标检测和识别方法 | |
| CN111932583A (zh) | 一种基于复杂背景下的时空信息一体化智能跟踪方法 | |
| US20070140526A1 (en) | Image processing method | |
| CN110009665A (zh) | 一种遮挡环境下的目标检测跟踪方法 | |
| CN109993770B (zh) | 一种自适应时空学习与状态识别的目标跟踪方法 | |
| CN114399675A (zh) | 一种基于机器视觉与激光雷达融合的目标检测方法和装置 | |
| Hamdi et al. | Drotrack: High-speed drone-based object tracking under uncertainty | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
| CN116229385A (zh) | 一种基于卷积神经网络结合贪心算法的车辆3d多目标跟踪方法 | |
| CN112634322A (zh) | 一种基于多路提取与智能识别自主引导的复合跟踪系统及方法 | |
| Gong et al. | Multi-target trajectory tracking in multi-frame video images of basketball sports based on deep learning | |
| CN107437071B (zh) | 一种基于双黄线检测的机器人自主巡检方法 | |
| CN109887004A (zh) | 一种基于tld算法的无人船海域目标跟踪方法 | |
| CN113221739A (zh) | 基于单目视觉的车距测量方法 | |
| He et al. | Intelligent vehicle pedestrian tracking based on YOLOv3 and DASiamRPN | |
| Wang et al. | Improving target detection by coupling it with tracking | |
| CN115797397A (zh) | 一种机器人全天候自主跟随目标人员的方法及系统 | |
| EP4099210A1 (en) | Method for training a neural network for semantic image segmentation | |
| CN115457075A (zh) | 一种基于sac-pid的移动机器人目标跟随方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |