CN109859250B - 一种航空红外视频多目标检测与跟踪方法及装置 - Google Patents
一种航空红外视频多目标检测与跟踪方法及装置 Download PDFInfo
- Publication number
- CN109859250B CN109859250B CN201811383075.7A CN201811383075A CN109859250B CN 109859250 B CN109859250 B CN 109859250B CN 201811383075 A CN201811383075 A CN 201811383075A CN 109859250 B CN109859250 B CN 109859250B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- position information
- infrared video
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
Abstract
本发明实施例提供一种航空红外视频多目标检测与跟踪方法及装置,包括:获取航空红外视频;对所述航空红外视频中的多目标的位置利用自适应阈值法进行检测,得到所述航空红外视频中多目标的位置;对所述航空红外视频中的多目标的位置利用核相关算法进行跟踪,获取所述航空红外视频中的多目标的运动轨迹。本发明实施例将航空红外视频多目标检测与跟踪巧妙地结合起来,并采用一定的数据存储结构将多目标的位置独立存储,实现了航空红外视频中多目标的自动检动态测与跟踪。
Description
技术领域
本发明实施例涉及计算机视觉领域,更具体地,涉及一种航空红外视频多目标检测与跟踪方法及装置。
背景技术
目标跟踪的主要目的是通过处理与分析,从成像传感器获得的图像序列,计算出运动目标在每一帧图像上的二维坐标位置,将图像序列中连续帧里的同一运动目标关联起来,获取运动目标完整的运动轨迹。简单的说,就是在下一帧图像中找到目标的确定位置,并反馈给跟踪系统进行跟踪。
一方面,现有技术中,对于红外图像而言,目标一般对应于图像中较亮的区域,即感兴趣的区域一般为图像中较亮即辐射能量高的部分,而图像背景区域较暗。因此,针对航空红外视频的检测就是通过合适的阈值,将图像分割为目标区域和背景区域,从而将这些目标从图像背景中分割出来。经典的分割算法主要有边缘分割法和阈值分割法。由于红外视频存在信息单一,且边界模糊的特点,因此边缘分割法并不适用于红外图像的目标分割,常采用阈值分割法对红外视频进行目标检测。阈值分割法具体包括最大类间方差算法(OTSU)和均值迭代算法等;其中,最大类间方差算法(OTSU)通过计算得出一个阈值,将图像分为前景和背景,但是当图像背景较复杂,对比度较低时,很难将目标与背景完全分离;而均值迭代算法则是通过均值将图像分别前景和背景,再对结果重复进行多次相同的操作,直到将目标与背景很好地分离出来,但是如果目标在整幅图像中比例较大的时候,通过该方法可能会将目标也除掉。
另一方面,现有技术中,针对于航空红外视频的目标跟踪常采用的方法包括卡尔曼滤波跟踪算法、meanshift跟踪算法、卡尔曼与meanshift结合的目标跟踪算法、粒子滤波跟踪算法及相关滤波跟踪算法等。其中,卡尔曼滤波跟踪算法根据目标的运动信息来预测和估计目标的位置实现跟踪,对目标的遮挡问题有一定的稳健性,但是只适用于线性系统,因此并不适用;meanshift跟踪算法根据目标的色彩概率分布求得下一帧的位置,通过反复迭代实现目标跟踪,实现过程简单,计算速度快,但是由于直方图特征在目标颜色特征的描述方面略显匮乏,缺少空间信息,所以容易受到图像背景;卡尔曼与meanshift结合的目标跟踪算法对这两种目标跟踪算法的缺点有了一定的改善,但对于航空红外视频而言,目标尺度和场景动态变化,目标与背景相互交杂,互相影响,因此并不适用;粒子滤波跟踪算法则因为计算量巨大,一般不予考虑。而核相关滤波跟踪算法作为一种新颖的跟踪算法,跟踪准确率和高速与其他跟踪算法相比都有很大提升,在对航空红外视频进行目标跟踪时能取得比较好的效果。同时,上述方法通常用来跟踪单个目标,无法满足多目标的跟踪需求,而核相关滤波的跟踪算法作为一种新颖的跟踪算法,跟踪准确率和速率与上述跟踪算法相比都有很大提高,且能应用于航空红外视频多目标的跟踪。
因此,现有技术中,缺乏一种针对航空红外视频多目标检测与跟踪的方法及装置,能将航空红外视频多目标检测与航空红外视频多目标跟踪结合起来,实现航空红外视频多目标的检测与跟踪。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的航空红外视频多目标检测与跟踪方法及装置。
根据本发明实施例的第一方面,提供一种航空红外视频多目标检测与跟踪方法,该方法包括:
获取航空红外视频;对航空红外视频中的多目标的位置利用均值迭代算法进行检测,得到航空红外视频中多目标的位置;对航空红外视频中的多目标的位置利用核相关算法进行跟踪,获取航空红外视频中的多目标的运动轨迹。
根据本发明实施例第二方面,提供了一种航空红外视频多目标检测与跟踪装置,该装置包括:依次连接的采集模块、检测模块和跟踪模块;采集模块,用于获取航空红外视频;检测模块,用于对航空红外视频中的多目标的位置利用均值迭代算法进行检测,得到航空红外视频中多目标的位置;跟踪模块,用于对航空红外视频中的多目标的位置利用核相关算法进行跟踪,获取航空红外视频中的多目标的运动轨迹。
根据本发明实施例的第三方面,提供了一种电子设备,包括:至少一个处理器;以及与处理器通信连接的至少一个存储器,其中:存储器存储有可被处理器执行的程序指令,处理器调用程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的航空红外视频多目标检测与跟踪方法。
根据本发明实施例的第四方面,提供了一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储计算机指令,计算机指令使计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的航空红外视频多目标检测与跟踪方法。
本发明实施例提供的航空红外视频多目标检测与跟踪方法及装置,将航空红外视频多目标检测与跟踪巧妙地结合起来,并采用一定的数据存储结构将多目标的位置独立存储,实现了航空红外视频中多目标的动态自动检测与跟踪。其中,利用核相关算法实现动态场景下多目标的跟踪:根据每个目标在当前帧图像中的第一位置信息及下一帧图像,采用每个目标分别对应的跟踪模型,预测获得每个目标在下一帧图像中的第二位置信息,以及在确认目标没有离开跟踪区域后,将第二位置信息记录为目标在下一帧图像中的目标位置信息,能够实现基于航空红外视频对跟踪区域内的多个目标进行跟踪。
应当理解的是,以上的一般描述和后文的细节描述是示例性和解释性的,并不能限制本发明实施例。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例的航空红外视频多目标检测与跟踪方法的流程示意图;
图2为本发明实施例的数据存储结构的示意图;
图3为本发明另一实施例的航空红外视频多目标检测与跟踪方法的流程示意图;
图4为本发明再一实施例的航空红外视频多目标检测与跟踪方法的流程示意图;
图5为本发明实施例的航空红外视频多目标跟踪装置的结构示意图;
图6为本发明实施例的电子设备的结构示意图;
图7为本发明再一实施例的航空红外视频多目标检测与跟踪方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一方面,现有技术中,对于红外图像而言,目标一般对应于图像中较亮的区域,即感兴趣的区域一般为图像中较亮即辐射能量高的部分,而图像背景区域较暗。因此,针对航空红外视频的检测就是通过合适的阈值,将图像分割为目标区域和背景区域,从而将这些目标从图像背景中分割出来。经典的分割算法主要有边缘分割法和阈值分割法。由于红外视频存在信息单一,且边界模糊的特点,因此边缘分割法并不适用于红外图像的目标分割,常采用阈值分割法对红外视频进行目标检测。阈值分割法具体包括最大类间方差算法(OTSU)和均值迭代算法等;其中,最大类间方差算法(OTSU)通过计算得出一个阈值,将图像分为前景和背景,但是当图像背景较复杂,对比度较低时,很难将目标与背景完全分离;而均值迭代算法则是通过均值将图像分别前景和背景,再对结果重复进行多次相同的操作,直到将目标与背景很好地分离出来,但是如果目标在整幅图像中比例较大的时候,通过该方法可能会将目标也除掉。
另一方面,现有技术中,针对于航空红外视频的目标跟踪常采用的方法包括卡尔曼滤波跟踪算法、meanshift跟踪算法、卡尔曼与meanshift结合的目标跟踪算法、粒子滤波跟踪算法及相关滤波跟踪算法等。其中,卡尔曼滤波跟踪算法根据目标的运动信息来预测和估计目标的位置实现跟踪,对目标的遮挡问题有一定的稳健性,但是只适用于线性系统,因此并不适用;meanshift跟踪算法根据目标的色彩概率分布求得下一帧的位置,通过反复迭代实现目标跟踪,实现过程简单,计算速度快,但是由于直方图特征在目标颜色特征的描述方面略显匮乏,缺少空间信息,所以容易受到图像背景;卡尔曼与meanshift结合的目标跟踪算法对这两种目标跟踪算法的缺点有了一定的改善,但对于航空红外视频而言,目标尺度和场景动态变化,目标与背景相互交杂,互相影响,因此并不适用;粒子滤波跟踪算法则因为计算量巨大,一般不予考虑。而核相关滤波跟踪算法作为一种新颖的跟踪算法,跟踪准确率和高速与其他跟踪算法相比都有很大提升,在对航空红外视频进行目标跟踪时能取得比较好的效果。同时,上述方法通常用来跟踪单个目标,无法满足多目标的跟踪需求,而核相关滤波的跟踪算法作为一种新颖的跟踪算法,跟踪准确率和速率与上述跟踪算法相比都有很大提高,且能应用于航空红外视频多目标的跟踪。
因此,现有技术中,缺乏一种针对航空红外视频多目标检测与跟踪的方法及装置,能将航空红外视频多目标检测与航空红外视频多目标跟踪结合起来,实现航空红外视频多目标的检测与跟踪。
基于此,本发明实施例提供一种航空红外视频多目标检测与跟踪方法,该方法能够针对航空红外视频中多个目标进行动态检测与跟踪,独立记录每一个目标的运动轨迹。参见图1,该方法包括:S1、获取航空红外视频;S2、对航空红外视频中的多目标的位置利用自适应阈值法进行检测,得到航空红外视频中多目标的位置;S3、对航空红外视频中的多目标的位置利用核相关算法进行跟踪,获取航空红外视频中的多目标的运动轨迹。
具体地,航空红外视频一般采用无人机上的红外摄像头在高空进行拍摄获得,利用自适应阈值法对进行了图像预处理的航空红外视频进行检测,确定航空红外视频中多目标的位置,利用核相关算法对航空红外视频中多目标的位置进行跟踪,获取航空红外视频中的多目标的运动轨迹。
基于上述实施例,参见图7,所述对所述航空红外视频中的多目标利用自适应阈值法进行检测,包括:
采用拉普拉斯边界增强算子对所述航空红外视频进行边界增强与分段线性增强,得到目标增强且背景抑制的航空红外视频;
采用自适应阈值法对所述目标增强且背景抑制的航空红外视频进行二值化,所述自适应阈值法的公式为:
T=m+k*σ
其中,T为二值化的所述目标增强且背景抑制的航空红外视频,m为所述目标增强且背景抑制的航空红外视频的均值,σ为所述目标增强且背景抑制的航空红外视频的标准差,k为自适应阈值常数;
对二值化处理之后的所述目标增强且背景抑制的航空红外视频依次进行均值滤波和形态学滤波;提取每个连通区域的外接矩形,得到所述航空红外视频中多目标的位置。
基于上述实施例,所述对所述航空红外视频中的多目标利用核相关算法进行跟踪,包括:
101、根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像,采用每个目标分别对应的跟踪模型,预测获得每个目标在下一帧图像中的第二位置信息;当前帧图像为航空红外视频中的任意一帧图像。
具体地,在步骤101中,对于每个待跟踪的目标,根据对应的第一位置信息及读取到的当前帧图像的下一帧图像,采用跟踪模型去预估每个目标在下一帧图像中的第二位置信息。本发明实施例对跟踪模型的具体类型不作限定,包括但不限于采用核相关滤波(KCF)跟踪算法建立的跟踪模型。其中,核相关滤波跟踪算法是在跟踪过程中训练一个目标检测器,使用目标检测器去检测下一帧预测位置是否是目标,然后再使用新检测结果去更新训练集进而更新目标检测器。而在训练目标检测器时一般选取目标区域为正样本,目标的周围区域为负样本,当然越靠近目标的区域为正样本的可能性越大。该算法相比于其他跟踪算法跟踪准确率相当稳定,特别是跟踪速度有了很大的提升。因此,利用KCF(核相关滤波)跟踪算法实现了动态场景下不同尺度的多目标的跟踪。
102、对于每个目标,若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域,则将第二位置信息记录为目标在下一帧图像中的目标位置信息。
具体地,由于无人机需要对多个目标进行跟踪,因此,无人机跟踪的条件不能是跟踪某一个目标,而是跟踪设定一个跟踪区域。换言之,无人机只对跟踪区域内的目标进行跟踪,当其中一个目标离开跟踪区域后,就不对该目标继续跟踪,而继续对跟踪区域内的目标进行跟踪。因此,需要根据第二位置信息及下一帧图像依次对每个目标进行判断,若目标没有离开跟踪区域,则将第二位置信息记录为目标位置信息,否则,不记录。可以理解的是,基于跟踪模型预测的第二位置信息仅为临时存储的位置信息,只有在确认目标没有离开跟踪区域后,才将第二位置信息记录为下一帧图像的目标位置信息。
并且,在步骤102后可将下一帧图像作为当前帧图像、将目标位置信息作为第一位置信息并返回执行步骤101,从而通过循环执行步骤101和步骤102,依次对航空红外视频中的每一帧图像进行处理,获得每一目标在每一帧图像的目标位置信息。根据目标位置信息可在每一帧图像中将每一目标标注出来,最终可输出每一目标在每一帧图像中的跟踪结果(即含有目标位置标注的图像)、每一个目标在每一帧图像的目标位置信息(记录为位置文件)和跟踪视频。
本发明实施例提供的方法,通过根据每个目标在当前帧图像中的第一位置信息及下一帧图像,采用每个目标分别对应的跟踪模型,预测获得每个目标在下一帧图像中的第二位置信息,以及在确认目标没有离开跟踪区域后,将第二位置信息记录为目标在下一帧图像中的目标位置信息,能够实现基于航空红外视频对跟踪区域内的多个目标进行跟踪。
基于上述实施例的内容,作为一种可选实施例,预测获得每个目标在下一帧图像中的第二位置信息之后,还包括:将第二位置信息存储于数据存储结构;其中,数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构;目标编号矢量结构包括多个第一单元,每个第一单元用于存储一个目标对应的编号信息;目标跟踪模型矢量结构包括多个第二单元,每个第二单元用于存储一个目标对应的跟踪模型;目标位置矢量结构包括多个第三单元及第四单元,每个第三单元用于存储一个目标的第二位置信息,每个第四单元用于存储一个目标在一帧图像中的目标位置信息;相应地,将第二位置信息记录为目标在下一帧图像中的目标位置信息之后,还包括:将目标位置信息记录至与下一帧图像及目标对应的第四单元。具体地,参见图2,数据存储结构包括三块:
其中,第一块为目标编号矢量结构,该结构包括多个第一单元(即图中的Target1和Target2等,每个Target为一个第一单元),每一个第一单元用于存储一个目标的编号信息(每个编号信息是唯一的),编号信息的数据类型可以为C++中string类,存储于c++中的容器类型vector;
其中,第二块为目标跟踪模型矢量结构,该结构包括多个第二单元(即图中的Tracker1和Tracker2等,每个Tracker为一个第二单元),每一个第二单元用于存储一个目标对应的跟踪模型,其中,跟踪模型的数据类型可以为OpenCV的Tracker类,Tracker封装了多种比较成熟的跟踪算法,本发明实施例可采用其中的KCF(核相关滤波)跟踪算法,存储于c++中的容器类型vector;
其中,第三块为目标位置矢量结构,该结构包括两个部分,第一部分为第一列的目标临时存储位置,目标临时存储位置包括多个第三单元(即为图中的Location1和Location2等,每个Location为一个第三单元),每一个第三单元用于存储目标的当前帧的位置,即为第二位置信息;第二部分为目标位置,目标位置包括多列第四单元,每一列第四单元用于存储多个目标在一帧图像中的目标位置信息,即每一个第四单元用于存储特定目标在特定帧数图像的目标位置信息,例如Location4-2用于存储编号信息为4的目标在第2帧图像的目标位置信息。另外,目标位置信息的数据类型可以为OpenCV中的Rect2d类(Rect2d为一个矩形类,其中有矩形的左上角坐标、长和宽来定义一个矩形)。存储于c++中的容器类型vector,构成了一个二维矢量。
因此,基于上述数据存储结构,矢量的每一行都代表一个目标,每个目标独立存储,只需要在分别在以上三块vector结构的末尾添加新的目标的信息就可以增加一个新的待跟踪目标,而删除目标只需要找到对应目标的行,然后删除该行。因此,基于该数据存储结构,可以很方便的实现对目标的增加和删除,各个目标独立存储互不影响,满足多目标的跟踪需求。
因此,在上述数据存储结构的基础上,在步骤101中得到下一帧图像的第二位置信息后,将该第二位置信息存储至该目标对应的第三单元,并在步骤102确认目标没有离开跟踪区域后,将第二位置信息作为目标位置信息存储至与该目标及下一帧图像对应的第四单元中。
另外,在执行步骤101前,可对航空红外视频进行读取以及对目标的位置文件的解析读入;具体地,先获取每个目标在当前帧图像中的第一位置信息,获取的方式包括但不限于以下方式:参见图3,可首先利用OpenCV打开航空红外视频(即航空红外视频),读取航空红外视频中的任意一帧图像,该图像即为当前帧图像。可以理解的是,由于需要获取当前帧图像的下一帧图像,因此,该当前帧图像不应为航空红外视频中的最后一帧图像。然后,读取存储待跟踪的目标的位置的txt文件,进行文件解析后,将目标的编号信息和第一位置信息(即目标位置信息)读入数据存储结构中的对应位置(目标的编号信息存储在第一单元,第一位置信息存储第四单元)。换言之,该txt文件中存储有每个目标的第一位置信息,通过读取该txt文件,即可获得第一位置信息。之后,可对目标进行初始化,具体调用OpenCV库的Tracker类对输入的目标初始化,获得该目标对应的跟踪模型,例如选择KCF(核相关滤波)跟踪方法,将所有初始化获得的每个目标对应的跟踪模型存储在对应的第二单元中。
基于上述实施例的内容,作为一种可选实施例,根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域,包括:若根据第二位置信息及下一帧图像,判断目标不处于边界缓冲区域,则确认目标没有离开跟踪区域;边界缓冲区域是在下一帧图像中设置的一片图像区域。具体地,可预先对每一帧图像设置对应的边界缓冲区,该边界缓冲区是图像上的一片特定的图像区域。当根据第二位置信息判断目标所处的位置不处于该边界缓冲区内,则判定目标没有离开跟踪区域或跟踪场景,需要在数据存储结构中增加与下一帧图像及该目标对应的第四单元,并将第二位置信息位置目标位置信息记录至该第四单元。
相应地,基于上述实施例的内容,作为一种可选实施例,根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域,还包括:若根据第二位置信息及下一帧图像,判断目标处于边界缓冲区域,则确认目标离开跟踪区域,并删除第一单元中存储的目标的编号信息。具体地,若判定目标离开了跟踪区域,则无需继续跟踪该目标,将用于存储该目标的编号信息的第一单元进行删除。
基于上述实施例的内容,作为一种可选实施例,将第二位置信息记录为目标在下一帧图像中的目标位置信息之后,还包括:若判断获知跟踪区域内增加了新目标且新目标与正在跟踪的目标不重复,则在目标编号矢量结构中添加用于存储新目标的编号信息的第一单元,以及在目标跟踪模型矢量结构中添加用于存储与新目标对应的跟踪模型的第二单元,并对新目标进行跟踪。
作为一种可选实施例,提供一种确认新目标与正在跟踪的目标不重复的方法,包括但不限于:通过掩膜处理,将正在跟踪的目标进行屏蔽后,若判断获知新目标的位置与屏蔽的位置不重叠,则确认新目标与正在跟踪的目标不重复。
具体地,还需要对新增加的新目标的重复性进行检测。即,如果在无人机的跟踪期间加入了新目标,需要对其进行检测,确认该新目标是否已经存在。本发明实施例可采用掩膜处理,把正在跟踪的目标进行屏蔽,然后再添加新的新目标,当该新目标的位置与屏蔽的位置重叠时,即认为该新目标已存在,无需继续进行跟踪。如果不存在,则可按照上述对航空红外视频进行读取以及对目标的位置文件的解析读入,以及对目标进行初始化的步骤在数据存储结构中进行相应的设置,从而将新目标的编号信息存储至第一单元,将跟踪模型存储至第二单元,以对该新目标进行跟踪。
本发明实施例提供的方法,动态检测场景的内的目标,实现对新加入目标的重复检测,自动增加或删除,当场景内不存在跟踪目标时自动终止程序。重复目标检测方法,采用掩膜处理方法,对重复目标进行判断,比常规的特征匹配方法有更高的效率,缩短了处理时间。并经过测试对掩膜区域进行了合理的扩充,提高了检测的准确性。
基于上述实施例的内容,作为一种可选实施例,删除第一单元中存储的目标的编号信息之后,还包括:若确认存储有目标的编号信息的第一单元的数量为零,则确认跟踪结束。具体地,参见图4,由于每次目标离开跟踪区域后,都会删除该目标的编号信息,因此,若存储编号信息的第一单元的数量为0后,表明跟踪区域内没有待跟踪的目标,可以结束跟踪,终止程序。
采用本发明实施例提供的航空红外视频多目标检测与跟踪方法,不同数量的目标的跟踪速度如下表1所示,不同尺寸的目标的跟踪速度如下表2所示:
表1不同数量目标的跟踪速度
表2不同尺寸目标的跟踪速度
目标尺寸 | 跟踪速度(多帧结果取平均值) |
40X40(1600pix) | 4.8ms |
50X50(2500pix) | 7.5ms |
60X60(3600pix) | 9.4ms |
70X70(4900pix) | 11.7ms |
80X80(6400pix) | 15.6ms |
因此,本发明实施例提供的航空红外视频多目标检测与跟踪方法实现了对航空红外视频中多目标的动态的跟踪,并采用特定设计的数据存储结构将目标之间独立存储,动态输出目标的位置。结果表明,本发明实施例能够同时稳定跟踪每一个目标,并记录其轨迹,采用的(KCF)核相关滤波跟踪使得跟踪速度也比其他跟踪算法有很大的提升。
基于上述实施例的内容,本发明实施例提供了一种航空红外视频多目标跟踪装置,该航空红外视频多目标跟踪装置用于执行上述方法实施例中的航空红外视频多目标检测与跟踪方法。参见图5,该装置包括:
预测模块501,用于根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像,采用每个目标分别对应的跟踪模型,预测获得每个目标在下一帧图像中的第二位置信息;当前帧图像为航空红外视频中的任意一帧图像。
具体地,对于每个待跟踪的目标,预测模块501根据对应的第一位置信息及读取到的当前帧图像的下一帧图像,采用跟踪模型去预估每个目标在下一帧图像中的第二位置信息。本发明实施例对跟踪模型的具体类型不作限定,包括但不限于采用核相关滤波(KCF)跟踪算法建立的跟踪模型。
记录模块502,用于对于每个目标,若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域,则将第二位置信息记录为目标在下一帧图像中的目标位置信息。
具体地,由于无人机需要对多个目标进行跟踪,因此,无人机跟踪的条件不能是跟踪某一个目标,而是跟踪设定一个跟踪区域。换言之,无人机只对跟踪区域内的目标进行跟踪,当其中一个目标离开跟踪区域后,就不对该目标继续跟踪,而继续对跟踪区域内的目标进行跟踪。因此,记录模块502需要根据第二位置信息及下一帧图像依次对每个目标进行判断,若目标没有离开跟踪区域,则将第二位置信息记录为目标位置信息,否则,不记录。可以理解的是,基于跟踪模型预测的第二位置信息仅为临时存储的位置信息,只有记录模块502在确认目标没有离开跟踪区域后,才将第二位置信息记录为下一帧图像的目标位置信息。
并且,还可将下一帧图像作为当前帧图像、将目标位置信息作为第一位置信息重新输入预测模块501,从而通过循环执行预测模块501和记录模块502,依次对航空红外视频中的每一帧图像进行处理,获得每一目标在每一帧图像的目标位置信息。根据目标位置信息可在每一帧图像中将每一目标标注出来,最终可输出每一目标在每一帧图像中的跟踪结果(即含有目标位置标注的图像)、每一个目标在每一帧图像的目标位置信息(记录为位置文件)和跟踪视频。
本发明实施例提供的装置,通过根据每个目标在当前帧图像中的第一位置信息及下一帧图像,采用每个目标分别对应的跟踪模型,预测获得每个目标在下一帧图像中的第二位置信息,以及在确认目标没有离开跟踪区域后,将第二位置信息记录为目标在下一帧图像中的目标位置信息,能够实现基于航空红外视频对跟踪区域内的多个目标进行跟踪。
作为一种可选实施例,预测模块在预测获得每个目标在下一帧图像中的第二位置信息之后,还用于:将第二位置信息存储于数据存储结构;
其中,数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构;目标编号矢量结构包括多个第一单元,每个第一单元用于存储一个目标对应的编号信息;目标跟踪模型矢量结构包括多个第二单元,每个第二单元用于存储一个目标对应的跟踪模型;目标位置矢量结构包括多个第三单元及第四单元,每
个第三单元用于存储一个目标的第二位置信息,每个第四单元用于存储一个目标在一帧图像中的目标位置信息;相应地,记录模块在将第二位置信息记录为目标在下一帧图像中的目标位置信息之后,还用于:将目标位置信息记录至与下一帧图像及目标对应的第四单元。
作为一种可选实施例,记录模块,包括:判断单元,用于若根据第二位置信息及下一帧图像,判断目标不处于边界缓冲区域,则确认目标没有离开跟踪区域;边界缓冲区域是在下一帧图像中设置的一片图像区域。
作为一种可选实施例,判断单元还用于:若根据第二位置信息及下一帧图像,判断目标处于边界缓冲区域,则确认目标离开跟踪区域,并删除第一单元中存储的目标的编号信息。
作为一种可选实施例,记录模块还包括:重复判断单元在将第二位置信息记录为目标在下一帧图像中的目标位置信息之后,用于若判断获知跟踪区域内增加了新目标且新目标与正在跟踪的目标不重复,则在目标编号矢量结构中添加用于存储新目标的编号信息的第一单元,以及在目标跟踪模型矢量结构中添加用于存储与新目标对应的跟踪模型的第二单元,并对新目标进行跟踪。
作为一种可选实施例,重复判断单元具体用于:通过掩膜处理,将正在跟踪的目标进行屏蔽后,若判断获知新目标的位置与屏蔽的位置不重叠,则确认新目标与正在跟踪的目标不重复。
作为一种可选实施例,判断单元在删除第一单元中存储的目标的编号信息之后,还用于:若确认存储有目标的编号信息的第一单元的数量为零,则确认跟踪结束。
本发明实施例提供了一种电子设备,如图6所示,该设备包括:处理器(processor)601、存储器(memory)602和总线603;其中,处理器601及存储器602分别通过总线603完成相互间的通信;处理器601用于调用存储器602中的程序指令,以执行上述实施例所提供的航空红外视频多目标检测与跟踪方法,例如包括:根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像,采用每个目标分别对应的跟踪模型,预测获得每个目标在下一帧图像中的第二位置信息;当前帧图像为航空红外视频中的任意一帧图像;对于每个目标,若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域,则将第二位置信息记录为目标在下一帧图像中的目标位置信息。
本发明实施例还提供一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令使计算机执行对应实施例所提供的航空红外视频多目标检测与跟踪方法,例如包括:根据每个目标在当前帧图像中的第一位置信息及当前帧图像的下一帧图像,采用每个目标分别对应的跟踪模型,预测获得每个目标在下一帧图像中的第二位置信息;当前帧图像为航空红外视频中的任意一帧图像;对于每个目标,若根据第二位置信息及下一帧图像判断获知目标没有离开跟踪区域,则将第二位置信息记录为目标在下一帧图像中的目标位置信息。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种航空红外视频多目标检测与跟踪方法,其特征在于,包括:
获取航空红外视频;
对所述航空红外视频中的多目标的位置利用自适应阈值法进行检测,得到所述航空红外视频中多目标的位置;
对所述航空红外视频中的多目标的位置利用核相关算法进行跟踪,获取所述航空红外视频中的多目标的运动轨迹;
所述对所述航空红外视频中的多目标的位置利用核相关算法进行跟踪,包括:
根据每个目标在当前帧图像中的第一位置信息及所述当前帧图像的下一帧图像,采用每个所述目标分别对应的跟踪模型,预测获得每个所述目标在所述下一帧图像中的第二位置信息;所述当前帧图像为航空红外视频中的任意一帧图像;
对于每个所述目标,若根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域,则将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息;
所述预测获得每个所述目标在所述下一帧图像中的第二位置信息之后,还包括:
将所述第二位置信息存储于数据存储结构;
其中,所述数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构;所述目标编号矢量结构包括多个第一单元,每个所述第一单元用于存储一个目标对应的编号信息;所述目标跟踪模型矢量结构包括多个第二单元,每个所述第二单元用于存储一个所述目标对应的所述跟踪模型;所述目标位置矢量结构包括多个第三单元及第四单元,每个所述第三单元用于存储一个所述目标的所述第二位置信息,每个所述第四单元用于存储一个所述目标在一帧图像中的所述目标位置信息;
相应地,所述将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息之后,还包括:
将所述目标位置信息记录至与所述下一帧图像及所述目标对应的所述第四单元。
2.根据权利要求1所述的一种航空红外视频多目标检测与跟踪方法,其特征在于,所述对所述航空红外视频中的多目标利用自适应阈值法进行检测,包括:
采用拉普拉斯边界增强算子对所述航空红外视频进行边界增强与分段线性增强,得到目标增强且背景抑制的航空红外视频;
采用自适应阈值法对所述目标增强且背景抑制的航空红外视频进行二值化,所述自适应阈值法的公式为:
T=m+k*σ
其中,T为所述目标增强且背景抑制的航空红外视频二值化阈值,m为所述目标增强且背景抑制的航空红外视频的均值,σ为所述目标增强且背景抑制的航空红外视频的标准差,k为自适应阈值常数;
对二值化处理之后的所述目标增强且背景抑制的航空红外视频依次进行均值滤波和形态学滤波,提取每个连通区域的外接矩形,得到所述航空红外视频中多目标的位置。
3.根据权利要求1所述的一种航空红外视频多目标检测与跟踪方法,其特征在于,所述根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域,包括:
若根据所述第二位置信息及所述下一帧图像,判断所述目标不处于边界缓冲区域,则确认所述目标没有离开所述跟踪区域;所述边界缓冲区域是在所述下一帧图像中设置的一片图像区域。
4.根据权利要求3所述的一种航空红外视频多目标检测与跟踪方法,其特征在于,所述根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域,还包括:
若根据所述第二位置信息及所述下一帧图像,判断所述目标处于所述边界缓冲区域,则确认所述目标离开所述跟踪区域,并删除所述第一单元中存储的所述目标的编号信息。
5.根据权利要求3所述的一种航空红外视频多目标检测与跟踪方法,其特征在于,所述将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息之后,还包括:
若判断获知所述跟踪区域内增加了新目标且所述新目标与正在跟踪的所述目标不重复,则在所述目标编号矢量结构中添加用于存储所述新目标的编号信息的第一单元,以及在所述目标跟踪模型矢量结构中添加用于存储与所述新目标对应的跟踪模型的第二单元,并对所述新目标进行跟踪。
6.根据权利要求5所述的一种航空红外视频多目标检测与跟踪方法,其特征在于,通过以下方式确认所述新目标与正在跟踪的所述目标不重复:
通过掩膜处理,将正在跟踪的所述目标进行屏蔽后,若判断获知所述新目标的位置与屏蔽的位置不重叠,则确认所述新目标与正在跟踪的所述目标不重复。
7.根据权利要求4所述的方法,其特征在于,所述删除所述第一单元中存储的所述目标的编号信息之后,还包括:
若确认存储有所述目标的编号信息的所述第一单元的数量为零,则确认跟踪结束。
8.一种航空红外视频多目标检测与跟踪装置,其特征在于,包括:依次连接的采集模块、检测模块和跟踪模块;
所述采集模块,用于获取航空红外视频;
所述检测模块,用于对所述航空红外视频中的多目标的位置利用自适应阈值法进行检测,得到所述航空红外视频中多目标的位置;
所述跟踪模块,用于对所述航空红外视频中的多目标的位置利用核相关算法进行跟踪,获取所述航空红外视频中的多目标的运动轨迹;
所述对所述航空红外视频中的多目标的位置利用核相关算法进行跟踪,包括:
根据每个目标在当前帧图像中的第一位置信息及所述当前帧图像的下一帧图像,采用每个所述目标分别对应的跟踪模型,预测获得每个所述目标在所述下一帧图像中的第二位置信息;所述当前帧图像为航空红外视频中的任意一帧图像;
对于每个所述目标,若根据所述第二位置信息及所述下一帧图像判断获知所述目标没有离开跟踪区域,则将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息;
所述预测获得每个所述目标在所述下一帧图像中的第二位置信息之后,还包括:
将所述第二位置信息存储于数据存储结构;
其中,所述数据存储结构包括目标编号矢量结构、目标跟踪模型矢量结构及目标位置矢量结构;所述目标编号矢量结构包括多个第一单元,每个所述第一单元用于存储一个目标对应的编号信息;所述目标跟踪模型矢量结构包括多个第二单元,每个所述第二单元用于存储一个所述目标对应的所述跟踪模型;所述目标位置矢量结构包括多个第三单元及第四单元,每个所述第三单元用于存储一个所述目标的所述第二位置信息,每个所述第四单元用于存储一个所述目标在一帧图像中的所述目标位置信息;
相应地,所述将所述第二位置信息记录为所述目标在所述下一帧图像中的目标位置信息之后,还包括:
将所述目标位置信息记录至与所述下一帧图像及所述目标对应的所述第四单元。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811383075.7A CN109859250B (zh) | 2018-11-20 | 2018-11-20 | 一种航空红外视频多目标检测与跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811383075.7A CN109859250B (zh) | 2018-11-20 | 2018-11-20 | 一种航空红外视频多目标检测与跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109859250A CN109859250A (zh) | 2019-06-07 |
CN109859250B true CN109859250B (zh) | 2023-08-18 |
Family
ID=66890152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811383075.7A Active CN109859250B (zh) | 2018-11-20 | 2018-11-20 | 一种航空红外视频多目标检测与跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109859250B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111369570B (zh) * | 2020-02-24 | 2023-08-18 | 成都空御科技有限公司 | 一种视频图像的多目标检测跟踪方法 |
CN111415370A (zh) * | 2020-04-13 | 2020-07-14 | 中山大学 | 一种基于嵌入式的红外复杂场景目标实时跟踪方法及系统 |
CN111898438A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 一种监控场景多目标跟踪方法及系统 |
CN111898436A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 一种基于视觉信号的多目标跟踪处理优化方法 |
CN111898437A (zh) * | 2020-06-29 | 2020-11-06 | 北京大学 | 一种目标检测方法、装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006139565A (ja) * | 2004-11-12 | 2006-06-01 | Nissan Motor Co Ltd | 移動ベクトル検出装置及びその方法 |
JP2007141046A (ja) * | 2005-11-21 | 2007-06-07 | Toyo Seikan Kaisha Ltd | 成形解析手法、及び成形解析装置 |
CN101567087A (zh) * | 2009-05-25 | 2009-10-28 | 北京航空航天大学 | 复杂天空背景下红外序列图像弱小目标检测与跟踪方法 |
CN104794731A (zh) * | 2015-05-12 | 2015-07-22 | 成都新舟锐视科技有限公司 | 用于球机控制策略的多目标检测跟踪方法 |
CN105353368A (zh) * | 2015-11-09 | 2016-02-24 | 中国船舶重工集团公司第七二四研究所 | 一种基于策略判决的自适应变结构雷达对海目标跟踪方法 |
CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和系统 |
CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、系统及存储装置 |
CN108089184A (zh) * | 2017-12-08 | 2018-05-29 | 中国船舶重工集团公司第七二四研究所 | 一种tws雷达目标空间位置分组并行跟踪处理方法 |
US10055853B1 (en) * | 2017-08-07 | 2018-08-21 | Standard Cognition, Corp | Subject identification and tracking using image recognition |
CN108574846A (zh) * | 2018-05-18 | 2018-09-25 | 中南民族大学 | 一种视频压缩域目标跟踪方法和系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9171382B2 (en) * | 2012-08-06 | 2015-10-27 | Cloudparc, Inc. | Tracking speeding violations and controlling use of parking spaces using cameras |
-
2018
- 2018-11-20 CN CN201811383075.7A patent/CN109859250B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006139565A (ja) * | 2004-11-12 | 2006-06-01 | Nissan Motor Co Ltd | 移動ベクトル検出装置及びその方法 |
JP2007141046A (ja) * | 2005-11-21 | 2007-06-07 | Toyo Seikan Kaisha Ltd | 成形解析手法、及び成形解析装置 |
CN101567087A (zh) * | 2009-05-25 | 2009-10-28 | 北京航空航天大学 | 复杂天空背景下红外序列图像弱小目标检测与跟踪方法 |
CN104794731A (zh) * | 2015-05-12 | 2015-07-22 | 成都新舟锐视科技有限公司 | 用于球机控制策略的多目标检测跟踪方法 |
CN105353368A (zh) * | 2015-11-09 | 2016-02-24 | 中国船舶重工集团公司第七二四研究所 | 一种基于策略判决的自适应变结构雷达对海目标跟踪方法 |
CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和系统 |
US10055853B1 (en) * | 2017-08-07 | 2018-08-21 | Standard Cognition, Corp | Subject identification and tracking using image recognition |
CN108009473A (zh) * | 2017-10-31 | 2018-05-08 | 深圳大学 | 基于目标行为属性视频结构化处理方法、系统及存储装置 |
CN108089184A (zh) * | 2017-12-08 | 2018-05-29 | 中国船舶重工集团公司第七二四研究所 | 一种tws雷达目标空间位置分组并行跟踪处理方法 |
CN108574846A (zh) * | 2018-05-18 | 2018-09-25 | 中南民族大学 | 一种视频压缩域目标跟踪方法和系统 |
Non-Patent Citations (1)
Title |
---|
tracking multiple independent targets:Evidence for a parallel tracking mechanism;ZENON W. PYLYSHYN 等;《Spatial Vision》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109859250A (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859250B (zh) | 一种航空红外视频多目标检测与跟踪方法及装置 | |
CN107424171B (zh) | 一种基于分块的抗遮挡目标跟踪方法 | |
CN109325961B (zh) | 无人机视频多目标跟踪方法及装置 | |
CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
US8571261B2 (en) | System and method for motion detection in a surveillance video | |
US10373320B2 (en) | Method for detecting moving objects in a video having non-stationary background | |
CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
CN109584266B (zh) | 一种目标检测方法及装置 | |
CN112926410A (zh) | 目标跟踪方法、装置、存储介质及智能视频系统 | |
CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
CN109389609B (zh) | 基于fart神经网络的交互自反馈红外目标检测方法 | |
CN110647836A (zh) | 一种鲁棒的基于深度学习的单目标跟踪方法 | |
CN113256683B (zh) | 目标跟踪方法及相关设备 | |
WO2008101039A1 (en) | System and method for adaptive pixel segmentation from image sequences | |
CN111062415B (zh) | 基于对比差异的目标对象图像提取方法、系统及存储介质 | |
CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
KR101595334B1 (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
CN110472638A (zh) | 一种目标检测方法、装置及设备、存储介质 | |
CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
CN113657219A (zh) | 一种视频对象检测跟踪方法、装置及计算设备 | |
CN113657218A (zh) | 一种能够减少冗余数据的视频对象检测方法及装置 | |
KR101908938B1 (ko) | 배경모델 기반 시간축 최소값 필터링 및 로그 히스토그램을 이용한 전경 객체 검출 방법 | |
CN113869163A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
KR20220074319A (ko) | 다양한 샘플을 이용하여 개선한 확률기반 사물검출기 | |
CN113297949A (zh) | 高空抛物检测方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |