CN111462189A - 一种图像锁定跟踪系统及方法 - Google Patents
一种图像锁定跟踪系统及方法 Download PDFInfo
- Publication number
- CN111462189A CN111462189A CN202010300114.3A CN202010300114A CN111462189A CN 111462189 A CN111462189 A CN 111462189A CN 202010300114 A CN202010300114 A CN 202010300114A CN 111462189 A CN111462189 A CN 111462189A
- Authority
- CN
- China
- Prior art keywords
- tracking
- target
- image
- module
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000010365 information processing Effects 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000004891 communication Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000002068 genetic effect Effects 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000013213 extrapolation Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 24
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000779 smoke Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像锁定跟踪系统及方法,涉及图像处理技术,其中的一种图像锁定跟踪系统,包括:输入-输出模块、数字信号处理模块、通信接口模块、电源模块。本发明的系统具有硬件自检能力和硬件工作状态信息指示、故障定位指示,视频图像跟踪信息处理系统与上位机信息交互;在每帧视频图像的场逆程结束前给出当前帧的目标跟踪信息。
Description
技术领域
本发明涉及图像处理技术,具体涉及一种图像锁定跟踪系统及方法。
背景技术
目前,现有图像锁定跟踪系统都不能满足目标尺寸变化自动跟踪的要求,不能够复合多模式目标跟踪;且搜索范围小,设备的体积重量大。
发明内容
本发明的主要目的在于提供一种图像锁定跟踪系统及方法。
根据本发明的一个方面,提供了一种图像锁定跟踪系统,包括:
输入-输出模块,用于接收成像传感器将视频信号传输给FPGA,FPGA将得到的数据转换为适合数字信号处理器DSP接收的数据格式后,发送给数字信号处理模块;
数字信号处理模块,用于视频图像跟踪信息处理系统的处理核心,主要完成实现系统算法;
通信接口模块,用于完成信号处理器与外部的接口,电平适配、数据格式转换;接收中心控制系统发送的各种控制信号和数据,并将其转换为适合于数字信号处理模块接收的数据格式与信号电平后,发送给数字信号处理模块;与系统上位机的RS422串行接口;与序列图像信号源的接口;
电源模块,用于向系统的各个模块提供所要求的电源。
进一步地,所述数字信号处理模块包括:
输入图像自适应整定模块,用于改善不同光照和外界环境条件下获取的图像主观和客观质量,降低传感器噪声、环境电磁干扰噪声和电路传输噪声,使系统在车内复杂电磁干扰环境和各种外界天候条件下均具有良好的性能;
基于遗传算法的快速图像匹配模块,用于在保证匹配结果具有最优精度的前提下,使计算量降低;
匹配点定位技术和基于目标图像模版变化智能感知的模版刷新模块,用于保证跟踪点的高精度和高稳定性;
基于后验判别准则的目标遮挡判断模块,用于准确判断遮挡物出现的可能性,并在遮挡现象实际发生时,使系统进入盲跟-再捕状态;
目标尺寸变化自动跟踪模块,用于结合系统变焦的视场角信息,配合一定的准则识别目标尺寸由小到大变化,并根据识别结果调整处理参数,保证在系统变焦过程中目标跟踪的高精度和高稳定性;
复合多模式目标跟踪模块,用于采用形心和图像相关匹配两种方式对目标进行跟踪,用于不同的跟踪情况。
更进一步地,所述数字信号处理模块包括特征提取模块,所述特征提
取模块包括:
颜色特征提取模块,用于图像或图像区域所对应的景物的颜色特征提取;
纹理特征提取模块,用于图像或图像区域所对应的景物的纹理特征提取;
形状特征提取模块,用于图像或图像区域所对应的景物的形状特征提取;
空间关系特征提取模块,用于图像或图像区域所对应的景物的空间关系特征提取。
根据本发明的又一个方面,提供了一种图像锁定跟踪方法,包括
以下步骤:
S1,系统待命状态工作流程,系统上初始进入待命状态,当将接收到上位机发送的锁定命令时,视频图像跟踪信息处理系统,进入跟踪状态进行目标跟踪,当目收到上位机的解锁命令时,视频图像跟踪信息处理系统返回待命状态;
S2,系统目标跟踪任务流程,包括切割目标模板、稳定跟踪和目标遮挡判别。
进一步地,所述步骤S1包括:
跟踪系统主要针对地面的静止或运动目标进行稳定跟踪,当接收到上位机发送的锁定命令后,对上位机锁定的位置进行跟踪,并将跟踪的误差量,送给伺服系统;
伺服系统根据误差量输出控制伺服转动,使跟踪目标始终位于视场的中心;
视频图像跟踪信息处理系统与外部视频传感器、上位机、伺服控制系统、显示控制相连,视频传感器将视频采集信号送给光电跟踪系统;
上位机通过命令接口控制视频图像跟踪信息处理系统,并接收视频图像跟踪信息处理系统的状态信息;
视频传感器将采集的图像输出给跟踪系统,并将当前处理图像的视场角发送给跟踪系统;
伺服系统将当前位置的码盘值实时发送给视频图像跟踪信息处理系统,当视频图像跟踪信息处理系统处于跟踪状态时,系统将目标的误差量发送给伺服系统,由该系统对转台进行控制从而实现对目标的指向跟踪;
视频图像跟踪信息处理系统将处理的视频结果传输给显示控制设备,由显示控制设备进行回传显示。
更进一步地,所述步骤S1还包括:
图像锁定跟踪系统的工作模式是接收上位机命令进行目标跟踪,具体操作过程为,操作手将波门十字压到目标身上后,发出锁定命令,视频图像跟踪信息处理系统利用相关跟踪算法,对指定的目标区域进行自动跟踪。
更进一步地,所述步骤S2包括:
进入跟踪任务流程;
判断是否收到跟踪解锁命令,是则返回到空闲任务状态;
如没收到跟踪解锁命令,则对波门十字中心的窗口区域进行采样,获取原始跟踪图像;
在原始跟踪图像上,获取波门十字中心的目标区域模板图像;
利用个目标模板图像,对目标进行匹配跟踪处理,得到目标的跟踪位置;
进行遮挡状态判别,判断跟踪目标是都被遮挡,如果是,则利用目标运动轨迹信息和目标模板信息进行目标再捕获;同时,报告上位机当前目标的跟踪状态,并通知伺服系统转入记忆外推状态;如果在3-5秒时间内,没有再捕获到目标,则报目标丢失;在屏幕上显示当前系统的任务状态和工作模式:用跟踪波门标记跟踪目标;如果跟踪目标丢失,则显示目标丢失状态;
如果跟踪目标没被遮挡,将跟踪目标的位置信息及跟踪状态报告给上位机,并生成目标误差量,发送给伺服系统,控制伺服系统指向跟踪目标;在屏幕上显示当前系统的任务状态和工作模式:用跟踪波门标记跟踪目标;如果跟踪目标丢失,则显示目标丢失状态。
本发明的优点:
本发明的系统具有硬件自检能力和硬件工作状态信息指示、故障定位指示,视频图像跟踪信息处理系统与上位机信息交互;在每帧视频图像的场逆程结束前给出当前帧的目标跟踪信息。
本发明基于新原理输入图像自适应整定技术能正确探测、识别和
跟踪目标;基于遗传算法的快速图像匹配技术保证了系统的实时性和跟踪精度;智能感知的模版刷新技术确保高精度和高稳定性;目标遮挡判断技术,能在遮挡发生时,使系统进入“盲跟-再捕“状态。
采用背景静止或运动小目标、成像面目标的稳定跟踪算法;算法能够适应烟尘干扰、火光干扰、前景地物短时遮挡干扰,能够在干扰过后继续稳定跟踪。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明实施例的图像锁定跟踪系统结构框图;
图2是本发明实施例的图像锁定跟踪系统结构图;
图3是本发明实施例的数字信号处理模块结构图;
图4是本发明实施例的图像锁定跟踪方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
参考图1,如图1所示,一种图像锁定跟踪系统,包括:
输入-输出模块,用于接收成像传感器将视频信号传输给FPGA,FPGA将得到的数据转换为适合数字信号处理器DSP接收的数据格式后,发送给数字信号处理模块;
数字信号处理模块,用于视频图像跟踪信息处理系统的处理核心,主要完成实现系统算法;
通信接口模块,用于完成信号处理器与外部的接口,电平适配、数据格式转换;接收中心控制系统发送的各种控制信号和数据,并将其转换为适合于数字信号处理模块接收的数据格式与信号电平后,发送给数字信号处理模块;与系统上位机的RS422串行接口;与序列图像信号源的接口;
电源模块,用于向系统的各个模块提供所要求的电源。
本发明的系统具有硬件自检能力和硬件工作状态信息指示、故障定位指示,视频图像跟踪信息处理系统与上位机信息交互;在每帧视频图像的场逆程结束前给出当前帧的目标跟踪信息。
本发明基于新原理输入图像自适应整定技术能正确探测、识别和
跟踪目标;基于遗传算法的快速图像匹配技术保证了系统的实时性和跟踪精度;智能感知的模版刷新技术确保高精度和高稳定性;目标遮挡判断技术,能在遮挡发生时,使系统进入“盲跟-再捕“状态。
采用背景静止或运动小目标、成像面目标的稳定跟踪算法;算法能够适应烟尘干扰、火光干扰、前景地物短时遮挡干扰,能够在干扰过后继续稳定跟踪。
所述数字信号处理模块包括:
输入图像自适应整定模块,用于改善不同光照和外界环境条件下获取的图像主观和客观质量,降低传感器噪声、环境电磁干扰噪声和电路传输噪声,使系统在车内复杂电磁干扰环境和各种外界天候条件下均具有良好的性能;
基于遗传算法的快速图像匹配模块,用于在保证匹配结果具有最优精度的前提下,使计算量降低;
匹配点定位技术和基于目标图像模版变化智能感知的模版刷新模块,用于保证跟踪点的高精度和高稳定性;
基于后验判别准则的目标遮挡判断模块,用于准确判断遮挡物出现的可能性,并在遮挡现象实际发生时,使系统进入盲跟-再捕状态;
目标尺寸变化自动跟踪模块,用于结合系统变焦的视场角信息,配合一定的准则识别目标尺寸由小到大变化,并根据识别结果调整处理参数,保证在系统变焦过程中目标跟踪的高精度和高稳定性;
复合多模式目标跟踪模块,用于采用形心和图像相关匹配两种方式对目标进行跟踪,用于不同的跟踪情况。
所述数字信号处理模块包括特征提取模块,所述特征提
取模块包括:
颜色特征提取模块,用于图像或图像区域所对应的景物的颜色特征提取;
纹理特征提取模块,用于图像或图像区域所对应的景物的纹理特征提取;
形状特征提取模块,用于图像或图像区域所对应的景物的形状特征提取;
空间关系特征提取模块,用于图像或图像区域所对应的景物的空间关系特征提取。
系统组成方式:
跟踪系统主要针对地面的静止或运动目标进行稳定跟踪,光电跟踪系统由2路独立的视频通道组成,一路CCD、一路红外,当接收到上位机发送的锁定命令后,对上位机锁定的位置进行跟踪,并将跟踪的误差量,送给伺服系统,由伺服系统根据误差量输出控制伺服转动,使跟踪目标始终位于视场的中心。
图2为机载对地光电跟踪系统组成框图,系统有两路视频通道,两路视频均输入视频跟踪器,可根据需要选择相应的通道对视频图像进行处理。视频图像跟踪信息处理系统与4个外部设备相连(视频传感器、上位机、伺服控制系统、显示控制),视频传感器将视频采集信号送给光电跟踪系统;上位机通过命令接口控制视频图像跟踪信息处理系统,并接收视频图像跟踪信息处理系统的状态信息;视频传感器将采集的图像输出给跟踪系统,并将当前处理图像的视场角发送给跟踪系统;伺服系统将当前位置的码盘值实时发送给视频图像跟踪信息处理系统,当视频图像跟踪信息处理系统处于跟踪状态时,系统将目标的误差量发送给伺服系统,由该系统对转台进行控制从而实现对目标的指向跟踪;视频图像跟踪信息处理系统将处理的视频结果传输给显示控制设备,由显示控制设备进行回传显示。
系统工作模式:
系统的功能是跟踪上位机指定的地面目标,因此,系统的工作模式就是接收上位机命令进行目标跟踪。具体操作过程为,操作手将波门十字压到目标身上后,发出锁定命令,视频图像跟踪信息处理系统利用相关跟踪算法,对指定的目标区域进行自动跟踪。
目标、背景:
典型目标:车辆、固定建筑物等地面目标;
背景类型:俯视地面背景。
视频图像跟踪信息处理系统工作参数:
系统有两路视频通道,两路视频的成像尺寸、帧频不同,其他的工作参数是一致的,现将视频的系统的工作参数列于下表中。
预期达到的技术指标 :
视频图像跟踪信息处理系统总体性能指标:
目标跟踪精度:±1象素;
目标特征信息数据刷新率:成像系统输出帧频;
系统接口:
成像传感器接口:PAL接口;
监视图像数据输出接口: VGA接口或其他输出接口;
上位机控制信息交互接口,双向RS422串行接口(波特率由总体确定);
信号处理器尺寸、重量和功耗:
体积:90×50×25mm3(长×宽×高)嵌入式电路板卡1块;
重量:≤80g(不含散热冷板);
功耗:≤5W;
电源:+5V。
环境条件:
工作温度:-40~+55℃;
冲击振动:≥10g;
电磁兼容:符合军用电子产品标准;
使用环境:机载。
可靠性:MTBF>2400小时。
具有硬件自检能力和硬件工作状态信息指示、故障定位指示。
视频图像跟踪信息处理系统与上位机信息交互(通过与上位机的双向同步串行接口):
发送:目标位置信息;
接收:控制命令(信息格式根据总体确定);
视频图像跟踪信息处理系统信息输出时刻(视频图像跟踪信息处理系统实时性指标):在每帧视频图像的场逆程结束前给出当前帧的目标跟踪信息。
实时图像处理算法软件:
功能指标:
抑制地面背景对目标跟踪的影响。
实时给出目标位置参量。
目标丢失后进行有限视场再捕获。
性能指标:
图像跟踪精度
形心跟踪精度:<2象素;
全视场相关匹配跟踪精度:帧间精度1象素。
技术路线和途径:
视频图像跟踪信息处理系统硬件体系结构
视频图像跟踪信息处理系统电路结构:
为提高系统的可靠性和可维护性,视频图像跟踪信息处理系统采用模块化设计,整个系统的硬件由功能相对对立的输入-输出模块、通信接口模块、数字信号处理模块和电源转换模块组成,系统的总体结构如图1所示。
视频图像跟踪信息处理系统机械结构
视频图像跟踪信息处理系统由数字信号处理模块板和通用组件2个模块板组合在一起,构成嵌入式信号处理器通用组件。视频输入输出模块、通信接口模块和内部电源模块集成在一起。
视频图像跟踪信息处理系统组件采用嵌入式结构,信号处理器能够独立运行,不需要外部辅助电路和元器件,并具有集成度高、体积小、重量轻、功耗低、电磁兼容性能好、可靠性高、可维修性好等技术特点。
各功能模块的描述:
输入-输出模块:
接收成像传感器将视频信号传输给FPGA,FPGA将得到的数据转换为适合数字信号处理器DSP接收的数据格式后,发送给数字信号处理模块。
接收红外、可见光成像传感器输出的图像数据,通过FPGA接口芯片对输入的数字图象转换为适合数字信号处理器DSP接收的数据格式后,发送给数字信号处理模块。
通过FPGA在接收的数字图象中嵌入显示符号(跟踪标志、跟踪状态指示信息等),将数字视频信号发送给显示终端,或转化为PAL信号发送给显示控制设备。显示符号的插入与否,以及插入符号的选择受数字信号处理模块控制,通过设定FPGA接口芯片的工作参数实现。
接收数字信号处理模块的控制命令,根据程序指令设定输入数字图象的采样区域、输出模拟视频信号中嵌入的标志、符号、及其显示位置等。
数字信号处理模块:
数字信号处理模块为视频图像跟踪信息处理系统的处理核心模块,主要完成实现系统算法。其主要功能有:
向输入-输出模块发送控制命令、工作参数和系统时钟。
接收输入-输出模块发送的数字图象数据,完成数据处理任务;根据处理任务的要求对处理器的硬件结构和组成进行实时在线重组。
根据数据处理的结果,生成跟踪标志控制字,将跟踪标志控制字与待显示的数字图象,送给输入-输出模块。
通过通信接口模块接收上位机的控制信号、转台姿态数据、成像传感器扫描位置数据、传感器视场角数据、系统测试与调试信号。
通过通信接口模块向中心控制系统发送目标跟踪误差量、信号处理器工作状态、信号处理器测试与调试信息。
通信接口模块:
完成信号处理器与外部的接口,电平适配、数据格式转换等。
接收中心控制系统发送的各种控制信号和数据,并将其转换为适合于数字信号处理模块接收的数据格式与信号电平后,发送给数字信号处理模块。
与系统上位机的RS422串行接口。
与序列图像信号源的接口。将存储于计算机硬盘中的外场试验数据或理论计算数据实时注入信号处理器,对视频图像跟踪信息处理系统进行调试与检验。
电源模块:
向系统的各个模块提供所要求的电源。
视频图像跟踪信息处理系统实现方案与技术性能:
使用具有柔性硬件结构的嵌入式通用4片TS101数字模块作为本系统的核心处理模块,根据本系统的计算量需求使用1个4片TS101模块。
图3为数字模块组成方式。
已达到的关键技术指标-运算能力:工作频率由内部倍频器设置,可以达到720MHz、800MHz或1.1GHz,相应的时钟周期为1.39ns、1.25ns或1.11ns,每秒可执行指令数5760、6400和7200MIPS。片上带有5个双通道(A、B两通道)数字视频口(VP口),可同时处理多路数字视频流。最大限度降低功耗的同时,能够在目标通道密度下提供高级别的视频处理性能。
其它技术特点:数字处理模块是一种以数字信号处理器DSP为基本单元的,具有超立方体柔性硬件结构的通用信息处理模块,能够通过DSP软件实时在线定义系统的硬件结构,硬件结构的变换时间≤1us。该处理模块有多种可选型号,包括不同的工作温度范围、不同的电源电压、以及总线型结构(有限扩展能力)和节点型结构(无限扩展能力)等。该处理模块能够满足各种类型信息处理算法对处理速度、存储容量、数据交换能力和处理结构(流水、并行、混合结构等)的要求,能够基本满足各种不同环境的使用要求(体积、重量、功耗、环境条件、电磁兼容能力等)。该信息处理模块无论在系统结构、信息处理能力、信息交换能力、体积重量、调试开发简便性、电磁环境兼容性等方面都处于国内领先地位。
信号处理器实时处理算法软件:
根据本项目的任务要求,信号处理器的算法软件的功能包括:
地面背景静止或运动小目标、成像面目标的稳定跟踪算法;算法能够适应烟尘干扰、火光干扰、前景地物短时遮挡干扰,能够在干扰过后继续稳定跟踪。
在系统变焦时,稳定跟踪目标算法(此时要求系统有自动调焦能力)。
视频图像目标跟踪技术:
采用自主研发的视频图像目标跟踪技术,具有国内领先水平,主要包含以下几个关键内容:
基于新原理的输入图像自适应整定技术。该技术使输入图像被整定为一种标准状态,有效地改善不同光照和外界环境条件下获取的图像主观和客观质量,降低传感器噪声、环境电磁干扰噪声和电路传输噪声,使系统在车内复杂电磁干扰环境和各种外界天候条件下均具有良好的性能,是正确探测、识别和跟踪目标,提高武器系统全天候作战能力的前提。
基于遗传算法的快速图像相关匹配技术。该技术在保证匹配结果具有最优精度的前提下,使计算量降低1-2个数量级,保证了系统的实时性和跟踪精度。传统的降低计算量的方法都是以降低匹配精度为代价的,且只能使计算量降低4倍左右。
基于新的跟踪正确性判别准则的匹配点定位技术和基于目标图像模版变化智能感知的模版刷新技术。这两项技术保证了跟踪点的高精度和高稳定性,解决了传统方法由于跟踪误差积累和目标运动姿态变化所导致的跟踪点“漂移”和误配的难题。基于新原理的跟踪正确性判别准则也为跟踪系统受到外界各种干扰后,准确再捕目标提供了客观的判别依据。
基于后验判别准则的目标遮挡判断技术。该技术能够准确地判断遮挡物出现的可能性,并在遮挡现象实际发生时,使系统进入“盲跟-再捕“状态。
基于新原理的目标尺寸变化自动跟踪技术。结合系统变焦的视场角信息,配合一定的准则识别目标尺寸由小到大变化,并根据识别结果调整处理参数,保证在系统变焦过程中目标跟踪的高精度和高稳定性。
复合多模式目标跟踪技术。采用形心和图像相关匹配两种方式对目标进行跟踪,用于不同的跟踪情况。当目标是具有一定信噪比或对比度的点目标和小面目标阶段,采用形心跟踪方式进行跟踪,当目标为具有一定尺寸的面目标,采用图像相关匹配技术进行跟踪,从形心跟踪切换到相关跟踪的基本依据是目标的尺寸,算法会根据目标的实际尺寸进行跟踪算法的切换。
上述目标跟踪技术已在多个定型批产的军用视频图像目标跟踪器中应用,其中包括与本系统功能和指标要求类同机载对地光电跟踪系统。
实施例2
参考图4,如图4所示,一种图像锁定跟踪方法,包括以下步骤:
S1,系统待命状态工作流程,系统上初始进入待命状态,当将接收到上位机发送的锁定命令时,视频图像跟踪信息处理系统,进入跟踪状态进行目标跟踪,当目收到上位机的解锁命令时,视频图像跟踪信息处理系统返回待命状态;
S2,系统目标跟踪任务流程,包括切割目标模板、稳定跟踪和目标遮挡判别。
1.根据权利要求4所述的图像锁定跟踪方法,其特征在于,所述步骤
S1包括:
跟踪系统主要针对地面的静止或运动目标进行稳定跟踪,当接收到上位机发送的锁定命令后,对上位机锁定的位置进行跟踪,并将跟踪的误差量,送给伺服系统;
伺服系统根据误差量输出控制伺服转动,使跟踪目标始终位于视场的中心;
视频图像跟踪信息处理系统与外部视频传感器、上位机、伺服控制系统、显示控制相连,视频传感器将视频采集信号送给光电跟踪系统;
上位机通过命令接口控制视频图像跟踪信息处理系统,并接收视频图像跟踪信息处理系统的状态信息;
视频传感器将采集的图像输出给跟踪系统,并将当前处理图像的视场角发送给跟踪系统;
伺服系统将当前位置的码盘值实时发送给视频图像跟踪信息处理系统,当视频图像跟踪信息处理系统处于跟踪状态时,系统将目标的误差量发送给伺服系统,由该系统对转台进行控制从而实现对目标的指向跟踪;
视频图像跟踪信息处理系统将处理的视频结果传输给显示控制设备,由显示控制设备进行回传显示。
所述步骤S1还包括:
图像锁定跟踪系统的工作模式是接收上位机命令进行目标跟踪,具体操作过程为,操作手将波门十字压到目标身上后,发出锁定命令,视频图像跟踪信息处理系统利用相关跟踪算法,对指定的目标区域进行自动跟踪。
所述步骤S2包括:
进入跟踪任务流程;
判断是否收到跟踪解锁命令,是则返回到空闲任务状态;
如没收到跟踪解锁命令,则对波门十字中心的窗口区域进行采样,获取原始跟踪图像;
在原始跟踪图像上,获取波门十字中心的目标区域模板图像;
利用个目标模板图像,对目标进行匹配跟踪处理,得到目标的跟踪位置;
进行遮挡状态判别,判断跟踪目标是都被遮挡,如果是,则利用目标运动轨迹信息和目标模板信息进行目标再捕获;同时,报告上位机当前目标的跟踪状态,并通知伺服系统转入记忆外推状态;如果在3-5秒时间内,没有再捕获到目标,则报目标丢失;在屏幕上显示当前系统的任务状态和工作模式:用跟踪波门标记跟踪目标;如果跟踪目标丢失,则显示目标丢失状态;
如果跟踪目标没被遮挡,将跟踪目标的位置信息及跟踪状态报告给上位机,并生成目标误差量,发送给伺服系统,控制伺服系统指向跟踪目标;在屏幕上显示当前系统的任务状态和工作模式:用跟踪波门标记跟踪目标;如果跟踪目标丢失,则显示目标丢失状态。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种图像锁定跟踪系统,其特征在于,包括:
输入-输出模块,用于接收成像传感器将视频信号传输给FPGA,FPGA将得到的数据转换为适合数字信号处理器DSP接收的数据格式后,发送给数字信号处理模块;
数字信号处理模块,用于视频图像跟踪信息处理系统的处理核心,主要完成实现系统算法;
通信接口模块,用于完成信号处理器与外部的接口,电平适配、数据格式转换;接收中心控制系统发送的各种控制信号和数据,并将其转换为适合于数字信号处理模块接收的数据格式与信号电平后,发送给数字信号处理模块;与系统上位机的RS422串行接口;与序列图像信号源的接口;
电源模块,用于向系统的各个模块提供所要求的电源。
2.根据权利要求1所述的图像锁定跟踪系统,其特征在于,所述数字
信号处理模块包括:
输入图像自适应整定模块,用于改善不同光照和外界环境条件下获取的图像主观和客观质量,降低传感器噪声、环境电磁干扰噪声和电路传输噪声,使系统在车内复杂电磁干扰环境和各种外界天候条件下均具有良好的性能;
基于遗传算法的快速图像匹配模块,用于在保证匹配结果具有最优精度的前提下,使计算量降低;
匹配点定位技术和基于目标图像模版变化智能感知的模版刷新模块,用于保证跟踪点的高精度和高稳定性;
基于后验判别准则的目标遮挡判断模块,用于准确判断遮挡物出现的可能性,并在遮挡现象实际发生时,使系统进入盲跟-再捕状态;
目标尺寸变化自动跟踪模块,用于结合系统变焦的视场角信息,配合一定的准则识别目标尺寸由小到大变化,并根据识别结果调整处理参数,保证在系统变焦过程中目标跟踪的高精度和高稳定性;
复合多模式目标跟踪模块,用于采用形心和图像相关匹配两种方式对目标进行跟踪,用于不同的跟踪情况。
3.根据权利要求1所述的图像锁定跟踪系统,其特征在于,所述数字
信号处理模块包括特征提取模块,所述特征提取模块包括:
颜色特征提取模块,用于图像或图像区域所对应的景物的颜色特征提取;
纹理特征提取模块,用于图像或图像区域所对应的景物的纹理特征提取;
形状特征提取模块,用于图像或图像区域所对应的景物的形状特征提取;
空间关系特征提取模块,用于图像或图像区域所对应的景物的空间关系特征提取。
4.一种图像锁定跟踪方法,其特征在于,包括以下步骤:
S1,系统待命状态工作流程,系统上初始进入待命状态,当将接收到上位机发送的锁定命令时,视频图像跟踪信息处理系统,进入跟踪状态进行目标跟踪,当目收到上位机的解锁命令时,视频图像跟踪信息处理系统返回待命状态;
S2,系统目标跟踪任务流程,包括切割目标模板、稳定跟踪和目标遮挡判别。
5.根据权利要求4所述的图像锁定跟踪方法,其特征在于,所述步骤
S1包括:
跟踪系统主要针对地面的静止或运动目标进行稳定跟踪,当接收到上位机发送的锁定命令后,对上位机锁定的位置进行跟踪,并将跟踪的误差量,送给伺服系统;
伺服系统根据误差量输出控制伺服转动,使跟踪目标始终位于视场的中心;
视频图像跟踪信息处理系统与外部视频传感器、上位机、伺服控制系统、显示控制相连,视频传感器将视频采集信号送给光电跟踪系统;
上位机通过命令接口控制视频图像跟踪信息处理系统,并接收视频图像跟踪信息处理系统的状态信息;
视频传感器将采集的图像输出给跟踪系统,并将当前处理图像的视场角发送给跟踪系统;
伺服系统将当前位置的码盘值实时发送给视频图像跟踪信息处理系统,当视频图像跟踪信息处理系统处于跟踪状态时,系统将目标的误差量发送给伺服系统,由该系统对转台进行控制从而实现对目标的指向跟踪;
视频图像跟踪信息处理系统将处理的视频结果传输给显示控制设备,由显示控制设备进行回传显示。
6.根据权利要求4所述的图像锁定跟踪方法,其特征在于,所述步骤
S1还包括:
图像锁定跟踪系统的工作模式是接收上位机命令进行目标跟踪,具体操作过程为,操作手将波门十字压到目标身上后,发出锁定命令,视频图像跟踪信息处理系统利用相关跟踪算法,对指定的目标区域进行自动跟踪。
7.根据权利要求4所述的图像锁定跟踪方法,其特征在于,所述步骤
S2包括:
进入跟踪任务流程;
判断是否收到跟踪解锁命令,是则返回到空闲任务状态;
如没收到跟踪解锁命令,则对波门十字中心的窗口区域进行采样,获取原始跟踪图像;
在原始跟踪图像上,获取波门十字中心的目标区域模板图像;
利用个目标模板图像,对目标进行匹配跟踪处理,得到目标的跟踪位置;
进行遮挡状态判别,判断跟踪目标是都被遮挡,如果是,则利用目标运动轨迹信息和目标模板信息进行目标再捕获;同时,报告上位机当前目标的跟踪状态,并通知伺服系统转入记忆外推状态;如果在3-5秒时间内,没有再捕获到目标,则报目标丢失;在屏幕上显示当前系统的任务状态和工作模式:用跟踪波门标记跟踪目标;如果跟踪目标丢失,则显示目标丢失状态;
如果跟踪目标没被遮挡,将跟踪目标的位置信息及跟踪状态报告给上位机,并生成目标误差量,发送给伺服系统,控制伺服系统指向跟踪目标;在屏幕上显示当前系统的任务状态和工作模式:用跟踪波门标记跟踪目标;如果跟踪目标丢失,则显示目标丢失状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300114.3A CN111462189B (zh) | 2020-04-16 | 2020-04-16 | 一种图像锁定跟踪系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010300114.3A CN111462189B (zh) | 2020-04-16 | 2020-04-16 | 一种图像锁定跟踪系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111462189A true CN111462189A (zh) | 2020-07-28 |
CN111462189B CN111462189B (zh) | 2023-06-20 |
Family
ID=71684666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010300114.3A Active CN111462189B (zh) | 2020-04-16 | 2020-04-16 | 一种图像锁定跟踪系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111462189B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112578675A (zh) * | 2021-02-25 | 2021-03-30 | 中国人民解放军国防科技大学 | 一种高动态视觉控制系统及其任务分配与多核实现方法 |
CN113108811A (zh) * | 2021-04-08 | 2021-07-13 | 西安应用光学研究所 | 光电转塔跟踪精度自动分析计算装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100007736A1 (en) * | 2007-02-14 | 2010-01-14 | Panasonic Corporation | Monitoring camera and monitoring camera control method |
CN102590811A (zh) * | 2012-01-13 | 2012-07-18 | 西安电子科技大学 | 基于fpga的调频连续波小型sar成像系统 |
CN103325126A (zh) * | 2013-07-09 | 2013-09-25 | 中国石油大学(华东) | 一种在尺度变化和遮挡情况下的视频目标跟踪方法 |
WO2014131252A1 (zh) * | 2013-02-28 | 2014-09-04 | 杭州海康威视数字技术股份有限公司 | 人体目标锁定跟踪装置和方法 |
CN104092991A (zh) * | 2014-07-11 | 2014-10-08 | 金陵科技学院 | 针对目标跟踪控制的图像信号综合处理装置及实现方法 |
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪系统及方法 |
CN104616322A (zh) * | 2015-02-10 | 2015-05-13 | 山东省科学院海洋仪器仪表研究所 | 船载红外目标图像辨识跟踪方法及其装置 |
CN108228262A (zh) * | 2016-12-12 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种TigerSharc DSP快速加载方法 |
CN109885099A (zh) * | 2017-12-06 | 2019-06-14 | 智飞智能装备科技东台有限公司 | 一种用于无人机跟踪锁定目标的视觉识别系统 |
CN110555866A (zh) * | 2019-08-07 | 2019-12-10 | 北京首贝科技发展有限公司 | 一种改进kcf特征描述符的红外目标跟踪方法 |
-
2020
- 2020-04-16 CN CN202010300114.3A patent/CN111462189B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100007736A1 (en) * | 2007-02-14 | 2010-01-14 | Panasonic Corporation | Monitoring camera and monitoring camera control method |
CN102590811A (zh) * | 2012-01-13 | 2012-07-18 | 西安电子科技大学 | 基于fpga的调频连续波小型sar成像系统 |
WO2014131252A1 (zh) * | 2013-02-28 | 2014-09-04 | 杭州海康威视数字技术股份有限公司 | 人体目标锁定跟踪装置和方法 |
CN103325126A (zh) * | 2013-07-09 | 2013-09-25 | 中国石油大学(华东) | 一种在尺度变化和遮挡情况下的视频目标跟踪方法 |
CN104134222A (zh) * | 2014-07-09 | 2014-11-05 | 郑州大学 | 基于多特征融合的车流监控图像检测和跟踪系统及方法 |
CN104092991A (zh) * | 2014-07-11 | 2014-10-08 | 金陵科技学院 | 针对目标跟踪控制的图像信号综合处理装置及实现方法 |
CN104616322A (zh) * | 2015-02-10 | 2015-05-13 | 山东省科学院海洋仪器仪表研究所 | 船载红外目标图像辨识跟踪方法及其装置 |
CN108228262A (zh) * | 2016-12-12 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种TigerSharc DSP快速加载方法 |
CN109885099A (zh) * | 2017-12-06 | 2019-06-14 | 智飞智能装备科技东台有限公司 | 一种用于无人机跟踪锁定目标的视觉识别系统 |
CN110555866A (zh) * | 2019-08-07 | 2019-12-10 | 北京首贝科技发展有限公司 | 一种改进kcf特征描述符的红外目标跟踪方法 |
Non-Patent Citations (6)
Title |
---|
宋华军等: "实时目标跟踪系统处理平台设计及快速算法研究", 《电子器件》 * |
宋华军等: "实时目标跟踪系统处理平台设计及快速算法研究", 《电子器件》, no. 03, 26 September 2004 (2004-09-26), pages 474 - 477 * |
宋家慧: "图像跟踪系统的研制及跟踪算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
宋家慧: "图像跟踪系统的研制及跟踪算法的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 July 2007 (2007-07-15), pages 1 - 19 * |
陈婉秋等: "基于DSP的目标跟踪半实物仿真系统设计", 《电光与控制》 * |
陈婉秋等: "基于DSP的目标跟踪半实物仿真系统设计", 《电光与控制》, vol. 23, no. 02, 9 December 2015 (2015-12-09) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112578675A (zh) * | 2021-02-25 | 2021-03-30 | 中国人民解放军国防科技大学 | 一种高动态视觉控制系统及其任务分配与多核实现方法 |
CN113108811A (zh) * | 2021-04-08 | 2021-07-13 | 西安应用光学研究所 | 光电转塔跟踪精度自动分析计算装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111462189B (zh) | 2023-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6867799B2 (en) | Method and apparatus for object surveillance with a movable camera | |
US10198867B2 (en) | Display control device, display control method, and program | |
US10242454B2 (en) | System for depth data filtering based on amplitude energy values | |
Senior et al. | Acquiring multi-scale images by pan-tilt-zoom control and automatic multi-camera calibration | |
CN108319918B (zh) | 一种嵌入式跟踪器及应用于嵌入式跟踪器的目标跟踪方法 | |
WO2002029722A3 (en) | Object tracking system using multiple cameras | |
CN111462189B (zh) | 一种图像锁定跟踪系统及方法 | |
CN113890977B (zh) | 机载视频处理装置及具有其的无人机 | |
CN112256627A (zh) | 一种光电跟踪系统高清高帧频实时图像处理平台及方法 | |
CN105116886A (zh) | 一种机器人自主行走的方法 | |
US6377242B1 (en) | Display pointer tracking device | |
CN108871317B (zh) | 一种高精度星敏感器信息处理系统 | |
Piekarski et al. | Integrated head and hand tracking for indoor and outdoor augmented reality | |
CN112687113A (zh) | 一种路侧信息感知设备 | |
CN112762945A (zh) | 高精度地图全要素采集设备的信息同步方法、系统及装置 | |
CN110082739A (zh) | 数据同步方法和设备 | |
CN113763466A (zh) | 一种回环检测方法、装置、电子设备和存储介质 | |
CN116907469A (zh) | 多模态数据联合优化的同步定位及建图方法及系统 | |
CN107846549A (zh) | 一种目标跟踪方法、装置及系统 | |
CN218825835U (zh) | 一种雷视一体机 | |
WO2023160445A1 (zh) | 即时定位与地图构建方法、装置、电子设备及可读存储介质 | |
CN215182441U (zh) | 一种路侧信息感知设备 | |
JP2002311127A (ja) | レーダ探知装置 | |
Lu et al. | Camera calibration from two shadow trajectories | |
CN115567780A (zh) | 扩增实境系统及其操作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |