CN109741370B - 一种目标跟踪方法和装置 - Google Patents
一种目标跟踪方法和装置 Download PDFInfo
- Publication number
- CN109741370B CN109741370B CN201910007010.0A CN201910007010A CN109741370B CN 109741370 B CN109741370 B CN 109741370B CN 201910007010 A CN201910007010 A CN 201910007010A CN 109741370 B CN109741370 B CN 109741370B
- Authority
- CN
- China
- Prior art keywords
- target
- confirmed
- frame image
- current frame
- targets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种目标跟踪方法、装置、电子设备和计算机可读存储介质,所述方法的一实施方式包括:从当前帧图像中获取至少一个待确认目标;针对前一帧图像中的任一已确认目标:获取其每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标;针对当前帧图像中的任一待确认目标:获取其每一邻域目标的距离和偏离角度输入所述数学模型,以确定该待确认目标的位置矢量分布指标;获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标。该实施方式能够对同一目标进行稳定持续跟踪。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种目标跟踪方法、装置、电子设备和计算机可读存储介质。
背景技术
在红外半实物仿真技术试验过程中,需要对多个红外目标进行检测、跟踪并识别。由于多个红外目标的形状、大小(即目标面积)、位置(即目标中心坐标)和灰度值非常接近,同时存在仿真图像跳帧等因素,对目标进行持续稳定跟踪具有很大困难。为了支撑后续目标识别处理和识别准确度,必须解决多个相似红外目标的跟踪问题。
因此,需要提供一种用于跟踪多个相似目标的方法。
发明内容
本发明要解决的技术问题是如何跟踪多个相似目标。
为了解决上述技术问题,本发明提供了一种目标跟踪方法。
本发明实施例的目标跟踪方法可将当前帧图像与前一帧图像中的同一目标进行关联以跟踪该目标;其中,当前帧图像与前一帧图像为相邻帧图像;所述方法包括:从当前帧图像中获取至少一个待确认目标;针对前一帧图像中的任一已确认目标:选取该图像中该已确认目标的至少一个邻域目标,获取每一邻域目标相对于该已确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标;针对当前帧图像中的任一待确认目标:选取该图像中该待确认目标的至少一个邻域目标,获取每一邻域目标相对于该待确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入所述数学模型,以确定该待确认目标的位置矢量分布指标;获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标。
优选地,所述选取该图像中该已确认目标的至少一个邻域目标,具体包括:确定该图像中基于该已确认目标的四个象限,从每一象限中选取距该已确认目标最近的目标作为邻域目标;所述选取该图像中该待确认目标的至少一个邻域目标,具体包括:确定该图像中基于该待确认目标的四个象限,从每一象限中选取距该待确认目标最近的目标作为邻域目标。
优选地,所述方法进一步包括:在所述从当前帧图像中获取至少一个待确认目标之后:针对前一帧图像中的任一已确认目标,获取当前帧图像中每一待确认目标与该已确认目标在至少一个预设维度的相似度指数;在相似度指数小于预设阈值的待确认目标的数量为1时,将该待确认目标与该已确认目标确定为同一目标;在相似度指数小于预设阈值的待确认目标的数量大于1时,针对该待确认目标执行确定位置矢量分布指标的步骤,将当前帧图像中除该待确认目标之外的目标舍弃。
优选地,所述维度包括:目标面积、目标中心坐标和目标灰度平均值;所述相似度指数为待确认目标与已确认目标在每一维度取值差值的平方和;以及,所述从当前帧图像中获取至少一个待确认目标,具体包括:确定当前帧图像中灰度为极大值的像素点,以该像素点及其连通的像素点组成初选目标,并确定每一初选目标的面积、中心坐标、灰度平均值和信噪比;将面积、和/或信噪比不符合预设判别条件的初选目标去除,将其余初选目标确定为当前帧图像的待确认目标。
优选地,所述方法进一步包括:在所述从当前帧图像中获取至少一个待确认目标之前:利用预设的滤波算子对当前帧图像进行形态学滤波;形态学滤波之后,依据预设的卷积算子对当前帧图像进行局部累加处理;以及,当前帧图像和前一帧图像都为红外图像。
在另一方面,本发明提供一种目标跟踪装置。
本发明实施例的目标跟踪装置可用于将当前帧图像与前一帧图像中的同一目标进行关联以跟踪该目标;其中,当前帧图像与前一帧图像为相邻帧图像;所述装置可包括:目标检测单元,用于从当前帧图像中获取至少一个待确认目标;第一计算单元,用于:针对前一帧图像中的任一已确认目标:选取该图像中该已确认目标的至少一个邻域目标,获取每一邻域目标相对于该已确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标;第二计算单元,用于:针对当前帧图像中的任一待确认目标:选取该图像中该待确认目标的至少一个邻域目标,获取每一邻域目标相对于该待确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入所述数学模型,以确定该待确认目标的位置矢量分布指标;关联单元,用于获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标。
优选地,第一计算单元可进一步用于:确定该图像中基于该已确认目标的四个象限,从每一象限中选取距该已确认目标最近的目标作为邻域目标;第二计算单元可进一步用于:确定该图像中基于该待确认目标的四个象限,从每一象限中选取距该待确认目标最近的目标作为邻域目标;以及,所述装置可进一步包括相似度匹配单元,其用于:在所述从当前帧图像中获取至少一个待确认目标之后:针对前一帧图像中的任一已确认目标,获取当前帧图像中每一待确认目标与该已确认目标在至少一个预设维度的相似度指数;在相似度指数小于预设阈值的待确认目标的数量为1时,将该待确认目标与该已确认目标确定为同一目标;在相似度指数小于预设阈值的待确认目标的数量大于1时,针对该待确认目标执行确定位置矢量分布指标的步骤,将当前帧图像中除该待确认目标之外的目标舍弃。
优选地,所述维度可包括:目标面积、目标中心坐标和目标灰度平均值;所述相似度指数为待确认目标与已确认目标在每一维度取值差值的平方和;目标检测单元可进一步用于:确定当前帧图像中灰度为极大值的像素点,以该像素点及其连通的像素点组成初选目标,并确定每一初选目标的面积、中心坐标、灰度平均值和信噪比;将面积、和/或信噪比不符合预设判别条件的初选目标去除,将其余初选目标确定为当前帧图像的待确认目标;所述装置可进一步包括预处理单元,其用于:在所述从当前帧图像中获取至少一个待确认目标之前:利用预设的滤波算子对当前帧图像进行形态学滤波;形态学滤波之后,依据预设的卷积算子对当前帧图像进行局部累加处理;以及,当前帧图像和前一帧图像都为红外图像。
在又一个方面,本发明提供一种电子设备。
本发明实施例的电子设备可包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的目标跟踪方法。
在再一个方面,本发明提供一种计算机可读存储介质。
本发明实施例的计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的目标跟踪方法。
本发明的上述技术方案具有如下优点:在本发明实施例中,对当前帧图像进行形态学过滤和局部累加之后,可提取待确认目标并过滤孤立噪点,之后针对每一待确认目标与前一帧图像的已确认目标进行面积、中心坐标、灰度平均值等维度的相似度比较,确定当前帧图像中与已确认目标为同一目标的可能性较高的多个待确认目标,之后分别计算该待确认目标的位置矢量分布指标(该指标可反映邻域目标相对于该待确认目标的总体分布情况,在相邻帧图像中该指标具有较好稳定性),利用该指标即可在当前帧图像中准确判定前一帧图像已确认目标的同一目标,在连续的相邻帧图像中使用上述方法,即可对同一目标进行稳定持续跟踪。特别地,本发明方法可成功应用于多个相似红外目标的跟踪,由此解决现有的相似红外目标跟踪过程中容易混淆错跟的问题。
附图说明
图1是本发明实施例的目标跟踪方法的主要步骤示意图;
图2是本发明实施例的前一帧图像示意图;
图3是本发明实施例的当前帧图像示意图;
图4是本发明实施例的目标跟踪装置的组成部分示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例的目标跟踪方法的主要步骤示意图,该方法可将当前帧图像与前一帧图像中的同一目标进行关联以跟踪该目标。可以理解,当前帧图像与前一帧图像为相邻帧图像。
在本发明实施例中,上述图像可以是红外图像,也可以是可见光图像,还可以是其它任何类型的图像。在进行下文的处理和计算时,需要进行灰度计算,在本发明实施例中,灰度可以表示描述明暗对比的各种单通道数据,例如可见光图像中的传统灰度数据、红外图像中表征红外线强度的像素值等。因此,对于可见光图像来说,在执行本发明方法之前,可将其转换为传统的灰度图像;对于红外图像来说,不必进行上述转换。
此外,对于下文中即将出现的已确认目标和未确认目标,二者在本文中的含义如下:已确认目标指的是已经进行标记的目标,上述标记可以是:已经识别出目标(即已经获得目标的标识ID信息)或者已经将目标与之前图像中的某一目标完成了关联(即仅将此目标对应于之前的目标,知晓二者是同一目标)。待确认目标指的是未进行标记的目标,即当前还没有与之前图像的目标完成关联的目标。例如,在前一帧图像中,若已经将目标A标记为此前的某一目标,则A为已确认目标;在当前帧图像中,若已经将目标B标记为前一帧图像的某一目标,目标C尚未标记,则B为已确认目标,C为待确认目标。一般地,在开始执行本发明实施例的目标跟踪方法时,前一帧图像中的目标都为已确认目标,当前帧图像中的目标都为待确认目标。
本发明实施例的目标跟踪方法可具体执行如下步骤:
步骤S101:从当前帧图像中获取至少一个待确认目标。
在执行本步骤进行目标提取之前,可首先执行以下预处理:
1.利用预设的滤波算子对当前帧图像进行形态学滤波。
具体地,在本步骤中可利用已知的形态学滤波方法对原始图像进行处理,便于后续目标检测。数学形态学滤波算法包括腐蚀、膨胀、开运算、闭运算等,实际应用中可利用不同的运算次序,合理设置滤波算子,对不同的场景图像进行处理。
在一些实施例中,若针对的图像是仿真的空天背景红外图像,目标距离较远,且为点目标或小面积目标,背景主要是云或天空,此时可采用以下滤波算子来抑制背景、突出目标:
其中,x、y、z可分别取2、-1、1,以上算子元素中除x、y、z之外均为零。
使用时,将原始灰度图像(包括当前帧图像和前一帧图像)与上述滤波算子进行卷积运算,即可实现形态学滤波。可以理解的是,上述过滤过程可采用其它现有方法,不限于上述形态学方法。
2.形态学滤波之后,依据预设的卷积算子对当前帧图像进行局部累加处理。
可以理解,经过形态学滤波的图像,亮噪点被消除,成片的云背景被抑制,只有目标点被留下。理论上直接选取灰度极大点(即邻域内灰度最大的像素点)即可认定为可能的目标点。但在实际图像中情况比较复杂,由于目标可能闪烁变化、目标大小和滤波算子不匹配等原因,直接选取极大点往往存在误差。针对性地,在本发明实施例中,可首先对图像进行局部累加处理,之后再选取灰度极大点,这样更具鲁棒性。其中,局部累加处理即利用卷积算子作为卷积核对图像进行卷积处理,卷积算子可设置如下:
其中,x、y、z可设置为正数。
可理解,进行上述局部累加处理也可选用其它算法或算子。此外,上述形态学滤波步骤和局部累加步骤仅为优选,并非本发明的必要步骤,上述内容并不对本发明的实施方式形成任何限制。
3.确定当前帧图像中灰度为极大值的像素点,以该像素点及其连通的像素点组成初选目标,并确定每一初选目标的面积、中心坐标、灰度平均值和信噪比。其中,灰度极大值像素点连通的像素点可如下例所示。例如,灰度极大值像素点为A,A与B、C相连,B与D、E相连,C与F相连,而D、E、F没有其它连接点,则A连通的像素点为B、C、D、E、F。
此外,目标的面积指的是目标包含的像素数量,目标中心指的是目标的几何中心,灰度平均值可以是目标包含像素点灰度的算数平均值,目标的信噪比指的是目标灰度平均值与背景(图像中除该目标之外的像素点均为背景)灰度标准差的比值。需要说明的是,后续将要介绍的目标之间的距离指的是目标中心之间的距离,目标之间的连线(包括直线、射线、线段)指的是目标中心之间的连线。
在获取到初选目标之后,可将面积、和/或信噪比不符合预设判别条件的初选目标去除(例如将面积小于预设数量的目标、以及信噪比小于预设数值的目标去除),将其余初选目标确定为当前帧图像的待确认目标。通过以上方式,能够有效过滤图像中的孤立噪点和无效目标。
可以理解,上述目标提取和噪点过滤也可采用其它方法,本发明对此不作限制。
4.通过以上步骤,可从当前帧图像中提取到至少一个待确认目标。此时,可对上述待确认目标进行初步检测。具体地,在本发明实施例中,可针对前一帧图像中的任一已确认目标,获取当前帧图像中每一待确认目标与该已确认目标在至少一个预设维度的相似度指数。其中,上述维度可以是:目标面积、目标中心坐标和目标灰度平均值,相似度指数可以是:待确认目标与已确认目标在每一维度取值差值的平方和,即,若已确认目标为A,其面积、横坐标、纵坐标、灰度平均值分别为SA、MA、NA、IA,待确认目标为B,其面积、横坐标、纵坐标、灰度平均值分别为SB、MB、NB、IB,则相似度指数如下式所示:
(SA-SB)2+(MA-MB)2+(NA-NB)2+(IA-IB)2
可以理解,上述维度也可以选择为目标的其它特征,相似度指数也可通过其它方式进行计算。
在得到相似度指数之后,判断该指数是否小于预设阈值,统计当前帧图像中相似度指数小于上述阈值的待确认目标数量。如果相似度指数小于上述阈值的待确认目标仅有一个,则将该待确认目标确定为前一帧图像中该已确认目标的同一目标,本发明的目标跟踪方法结束。如果相似度指数小于上述阈值的待确认目标为多个,则针对该多个待确认目标执行后续步骤,将当前帧图像中除该待确认目标之外的目标舍弃。
可以理解,舍弃指的并不是将目标从当前帧图像中去除,而是将其排除于此次目标关联过程。例如,在当前帧图像中寻找前一帧图像中A目标的同一目标时,若当前帧图像中相似度指数小于上述阈值的待确认目标为B、C,相似度指数不小于上述阈值的待确认目标为D、E,则在此次寻找过程中不考虑D、E(即将二者舍弃,寻找前一帧图像中下个目标的同一目标时还可能考虑),仅考虑B、C,针对B、C执行后续步骤。
可以理解,以上基于相似度指数的判断规则也可根据应用环境采用其它形式,本发明并不对此进行限制。
步骤S102:针对前一帧图像中的任一已确认目标:选取该图像中该已确认目标的至少一个邻域目标,获取每一邻域目标相对于该已确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标。
在本步骤中,上述邻域目标可以根据预设策略进行选取。例如,邻域目标可以是:前一帧图像中的所有目标(包括已确认目标和未确认目标)、或者与该已确认目标的距离不超过预设距离的所有目标(包括已确认目标和未确认目标)。较佳地,在本发明实施例中,还提供以下方法确定邻域目标:确定该图像中基于该已确认目标的四个象限,从每一象限中选取距该已确认目标最近的目标作为邻域目标。显然,这种方法具有更快的运算速度和更好的鲁棒性。可理解,上述四个象限可通过建立平面直角坐标系来实现。图2是本发明实施例的前一帧图像示意图,在图2中,目标A为本步骤针对的待确认目标,根据经过目标A中心的X轴和Y轴即可确定四个象限,其中,C、D处于第一象限,B处于第二象限,E、F处于第三象限,G处于第四象限,若按照上述邻域目标选取方法可将C、B、F、G选取为邻域目标。
实际应用中,可将中心经过X正半轴的目标作为第一象限的目标,将中心经过Y正半轴的目标作为第二象限的目标,将中心经过X负半轴的目标作为第三象限的目标,将中心经过Y负半轴的目标作为第四象限的目标。
在本步骤中,邻域目标相对于该已确认目标的距离为二者中心的距离,邻域目标相对于该已确认目标的偏离角度指的是从经过该已确认目标的X正半轴到该已确认目标到邻域目标的射线的角度(以逆时针方向为正)。实际应用中,可将该已确认目标中心作为极点建立极坐标系,邻域目标相对于该已确认目标的距离即为邻域目标在该极坐标系下的极径,邻域目标相对于该已确认目标的偏离角度即为邻域目标在该极坐标系下的极角。请参见图2,若图2中已确认目标为A,以A为中心可建立极轴为AX的极坐标系,则目标C的极径CA为C相对于A的距离,C的极角θ为C相对于A的偏离角度。
获取到每一邻域目标的上述距离和偏离角度之后,可将上述距离和偏离角度输入预设数学模型,即可确定该已确认目标的位置矢量分布指标。一般地,位置矢量分布指标可以是向量,上述数学模型可根据应用场景具体设置,其可以是以每一邻域目标的上述距离和偏离角度作为输入数据的公式或算法。例如,数学模型可以是以下算法:对于从第一、二、三、四象限分别选取的邻域目标(ρ1,θ1)、(ρ2,θ2)、(ρ3,θ3)、(ρ4,θ4),其中ρ表示极径,可分别计算h1=ρ1 2×θ1,h2=ρ2 2×(180°-θ2),h3=ρ3 2×(θ3-180°),h4=ρ4 2×(360°-θ4),将h1、h2、h3、h4组成向量,该向量即为位置矢量分布指标。
可理解,位置矢量分布指标由该已确认目标周围目标的位置矢量决定,可表征相对于该已确认目标来说其它目标的总体分布情况。可以理解,对于相邻帧图像来说,同一目标的位置矢量分布指标具有较好的稳定性,即使在图像抖动的情况下也较为稳定,因此可用该指标作为同一目标判别的依据。在下一步骤,可针对当前帧图像存在的每一待确认目标,计算其位置矢量分布指标与前一帧图像的该指标进行比较,从而关联两帧图像中的同一目标。
步骤S103:针对当前帧图像中的任一待确认目标:选取该图像中该待确认目标的至少一个邻域目标,获取每一邻域目标相对于该待确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入上述数学模型,以确定该待确认目标的位置矢量分布指标。
在本步骤中,可在当前帧图像中利用类似步骤S102的方法确定当前的每一待确认目标的邻域目标、基于每一待确认目标建立极坐标系、计算每一待确认目标的位置矢量分布指标。需要说明的是,在一次目标关联过程中(即确定前一帧图像的一个已确认目标在当前帧图像的同一目标的过程中),在当前帧图像和前一帧图像需执行相同的邻域目标选取策略、相同的位置矢量分布指标计算方法(即上述数学模型相同)。例如,当前帧图像中选取邻域目标的方法可以是:确定该图像中基于该待确认目标的四个象限,从每一象限中选取距该待确认目标最近的目标作为邻域目标。此外,步骤S103可于步骤S102之前、之后执行,二者也可同时执行。图3是本发明实施例的当前帧图像示意图,在图3中,目标a为当前的待确认目标,此时可经过a中心建立极坐标系aX',从而计算a的位置矢量分布指标。若目标b、c也是当前的待确认目标,可分别在b、c中心建立极坐标系,分别计算b、c的位置矢量分布指标。
步骤S104:获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标。
在本步骤中,可在当前帧图像中获取位置矢量分布指标与已确认目标最接近的待确认目标。对于上例中向量形式的位置矢量分布指标来说,可计算每一待确认目标的位置矢量分布指标与已确认目标的位置矢量分布指标之间的欧式距离(即两个向量对应分量差值的平方和,再开方),将最小欧式距离对应的待确认目标确定为已确认目标的同一目标。
通过上述设置,即可关联前一帧图像和当前帧图像的每一目标。在多帧图像中重复步骤S101到步骤S104即可实现每一目标的持续稳定跟踪。
可以理解,本发明方法可应用于实物环境、仿真环境以及半实物仿真环境的目标跟踪。特别地,本发明方法可成功应用于多个近似目标的跟踪。例如,台球中的多个球为大小相等的相似目标,利用高速摄像机拍摄其运动轨迹之后,针对连续的多帧图像,可应用本发明方法跟踪每一球的运动轨迹,实现每一球全自动地稳定持续跟踪。
在本发明实施例的技术方案中,对当前帧图像进行形态学过滤和局部累加之后,可提取待确认目标并过滤孤立噪点,之后针对每一待确认目标与前一帧图像的已确认目标进行面积、中心坐标、灰度平均值等维度的相似度比较,确定当前帧图像中与已确认目标为同一目标的可能性较高的多个待确认目标,之后分别计算该待确认目标的位置矢量分布指标(该指标可反映邻域目标相对于该待确认目标的总体分布情况,在相邻帧图像中该指标具有较好稳定性),利用该指标即可在当前帧图像中准确判定前一帧图像已确认目标的同一目标,在连续的相邻帧图像中使用上述方法,即可对同一目标进行稳定持续跟踪。特别地,本发明方法可成功应用于多个相似红外目标的跟踪,由此解决现有的相似红外目标跟踪过程中容易混淆错跟的问题。
需要说明的是,对于前述的各方法实施例,为了便于描述,将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,某些步骤事实上可以采用其它顺序进行或者同时进行。此外,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是实现本发明所必须的。
为便于更好的实施本发明实施例的上述方案,下面还提供用于实施上述方案的相关装置。
请参阅图4所示,本发明实施例提供的目标跟踪装置可用于将当前帧图像与前一帧图像中的同一目标进行关联以跟踪该目标;其中,当前帧图像与前一帧图像为相邻帧图像。所述目标跟踪装置400可包括:目标检测单元401、第一计算单元402、第二计算单元403和关联单元404。
其中:目标检测单元401可用于从当前帧图像中获取至少一个待确认目标。
第一计算单元402可用于:针对前一帧图像中的任一已确认目标:选取该图像中该已确认目标的至少一个邻域目标,获取每一邻域目标相对于该已确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标。
第二计算单元403可用于:针对当前帧图像中的任一待确认目标:选取该图像中该待确认目标的至少一个邻域目标,获取每一邻域目标相对于该待确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入所述数学模型,以确定该待确认目标的位置矢量分布指标。
关联单元404可用于获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标。
在本发明实施例中,第一计算单元402可进一步用于:确定该图像中基于该已确认目标的四个象限,从每一象限中选取距该已确认目标最近的目标作为邻域目标。
实际应用中,第二计算单元403可进一步用于:确定该图像中基于该待确认目标的四个象限,从每一象限中选取距该待确认目标最近的目标作为邻域目标。
具体应用场景中,所述装置400可进一步包括相似度匹配单元,其用于:在所述从当前帧图像中获取至少一个待确认目标之后:针对前一帧图像中的任一已确认目标,获取当前帧图像中每一待确认目标与该已确认目标在至少一个预设维度的相似度指数;在相似度指数小于预设阈值的待确认目标的数量为1时,将该待确认目标与该已确认目标确定为同一目标;在相似度指数小于预设阈值的待确认目标的数量大于1时,针对该待确认目标执行确定位置矢量分布指标的步骤,将当前帧图像中除该待确认目标之外的目标舍弃。
作为一个优选方案,所述维度可包括:目标面积、目标中心坐标和目标灰度平均值;所述相似度指数为待确认目标与已确认目标在每一维度取值差值的平方和。
较佳地,目标检测单元401可进一步用于:确定当前帧图像中灰度为极大值的像素点,以该像素点及其连通的像素点组成初选目标,并确定每一初选目标的面积、中心坐标、灰度平均值和信噪比;将面积、和/或信噪比不符合预设判别条件的初选目标去除,将其余初选目标确定为当前帧图像的待确认目标。
在一些实施例中,所述装置400可进一步包括预处理单元,其用于:在所述从当前帧图像中获取至少一个待确认目标之前:利用预设的滤波算子对当前帧图像进行形态学滤波;形态学滤波之后,依据预设的卷积算子对当前帧图像进行局部累加处理。
此外,在本发明实施例中,当前帧图像和前一帧图像都为红外图像。
在本发明实施例中,还提供一种电子设备,包括:一个或多个处理器和存储装置。其中,存储装置用于存储一个或多个程序。当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的目标跟踪方法。
在另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中的。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该设备执行时,使得该设备执行的步骤包括:从当前帧图像中获取至少一个待确认目标;针对前一帧图像中的任一已确认目标:选取该图像中该已确认目标的至少一个邻域目标,获取每一邻域目标相对于该已确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标;针对当前帧图像中的任一待确认目标:选取该图像中该待确认目标的至少一个邻域目标,获取每一邻域目标相对于该待确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入所述数学模型,以确定该待确认目标的位置矢量分布指标;获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标。
综上所述,在本发明实施例的技术方案中,对当前帧图像进行形态学过滤和局部累加之后,可提取待确认目标并过滤孤立噪点,之后针对每一待确认目标与前一帧图像的已确认目标进行面积、中心坐标、灰度平均值等维度的相似度比较,确定当前帧图像中与已确认目标为同一目标的可能性较高的多个待确认目标,之后分别计算该待确认目标的位置矢量分布指标(该指标可反映邻域目标相对于该待确认目标的总体分布情况,在相邻帧图像中该指标具有较好稳定性),利用该指标即可在当前帧图像中准确判定前一帧图像已确认目标的同一目标,在连续的相邻帧图像中使用上述方法,即可对同一目标进行稳定持续跟踪。特别地,本发明方法可成功应用于多个相似红外目标的跟踪,由此解决现有的相似红外目标跟踪过程中容易混淆错跟的问题。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种目标跟踪方法,其将当前帧图像与前一帧图像中的同一目标进行关联以跟踪该目标;其中,当前帧图像与前一帧图像为相邻帧图像;其特征在于,所述方法包括:
从当前帧图像中获取至少一个待确认目标;
针对前一帧图像中的任一已确认目标:选取该图像中该已确认目标的至少一个邻域目标,获取每一邻域目标相对于该已确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标;
针对当前帧图像中的任一待确认目标:选取该图像中该待确认目标的至少一个邻域目标,获取每一邻域目标相对于该待确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入所述数学模型,以确定该待确认目标的位置矢量分布指标;
获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标;
其中,所述选取该图像中该已确认目标的至少一个邻域目标,具体包括:确定该图像中基于该已确认目标的四个象限,从每一象限中选取距该已确认目标最近的目标作为邻域目标;
所述选取该图像中该待确认目标的至少一个邻域目标,具体包括:确定该图像中基于该待确认目标的四个象限,从每一象限中选取距该待确认目标最近的目标作为邻域目标;
所述数学模型为以下算法:对于从四个象限分别选取的邻域目标(ρ1,θ1)、(ρ2,θ2)、(ρ3,θ3)、(ρ4,θ4),其中ρ表示极径,θ表示极角,分别计算h1=ρ1 2×θ1,h2=ρ2 2×(180°-θ2),h3=ρ3 2×(θ3-180°),h4=ρ4 2×(360°-θ4),将h1、h2、h3、h4组成向量,该向量即为位置矢量分布指标。
2.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
在所述从当前帧图像中获取至少一个待确认目标之后:
针对前一帧图像中的任一已确认目标,获取当前帧图像中每一待确认目标与该已确认目标在至少一个预设维度的相似度指数;
在相似度指数小于预设阈值的待确认目标的数量为1时,将该待确认目标与该已确认目标确定为同一目标;
在相似度指数小于预设阈值的待确认目标的数量大于1时,针对该待确认目标执行确定位置矢量分布指标的步骤,将当前帧图像中除该待确认目标之外的目标舍弃。
3.根据权利要求2所述的方法,其特征在于,
所述维度包括:目标面积、目标中心坐标和目标灰度平均值;所述相似度指数为待确认目标与已确认目标在每一维度取值差值的平方和;以及,所述从当前帧图像中获取至少一个待确认目标,具体包括:
确定当前帧图像中灰度为极大值的像素点,以该像素点及其连通的像素点组成初选目标,并确定每一初选目标的面积、中心坐标、灰度平均值和信噪比;
将面积、和/或信噪比不符合预设判别条件的初选目标去除,将其余初选目标确定为当前帧图像的待确认目标。
4.根据权利要求1-3任一所述的方法,其特征在于,
所述方法进一步包括:在所述从当前帧图像中获取至少一个待确认目标之前:利用预设的滤波算子对当前帧图像进行形态学滤波;形态学滤波之后,依据预设的卷积算子对当前帧图像进行局部累加处理;
以及,当前帧图像和前一帧图像都为红外图像。
5.一种目标跟踪装置,用于将当前帧图像与前一帧图像中的同一目标进行关联以跟踪该目标;其中,当前帧图像与前一帧图像为相邻帧图像;其特征在于,所述装置包括:
目标检测单元,用于从当前帧图像中获取至少一个待确认目标;
第一计算单元,用于:针对前一帧图像中的任一已确认目标:选取该图像中该已确认目标的至少一个邻域目标,获取每一邻域目标相对于该已确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入预设数学模型,以确定该已确认目标的位置矢量分布指标;
第二计算单元,用于:针对当前帧图像中的任一待确认目标:选取该图像中该待确认目标的至少一个邻域目标,获取每一邻域目标相对于该待确认目标的距离和偏离角度,并将获取的每一邻域目标的距离和偏离角度输入所述数学模型,以确定该待确认目标的位置矢量分布指标;
关联单元,用于获取当前帧图像中位置矢量分布指标最接近前一帧图像中该已确认目标的待确认目标,将该待确认目标与该已确认目标确定为同一目标;第一计算单元进一步用于:确定该图像中基于该已确认目标的四个象限,从每一象限中选取距该已确认目标最近的目标作为邻域目标;
第二计算单元进一步用于:确定该图像中基于该待确认目标的四个象限,从每一象限中选取距该待确认目标最近的目标作为邻域目标;
所述数学模型为以下算法:对于从四个象限分别选取的邻域目标(ρ1,θ1)、(ρ2,θ2)、(ρ3,θ3)、(ρ4,θ4),其中ρ表示极径,θ表示极角,分别计算h1=ρ1 2×θ1,h2=ρ2 2×(180°-θ2),h3=ρ3 2×(θ3-180°),h4=ρ4 2×(360°-θ4),将h1、h2、h3、h4组成向量,该向量即为位置矢量分布指标。
6.根据权利要求5所述的装置,其特征在于,
所述装置进一步包括相似度匹配单元,其用于:在所述从当前帧图像中获取至少一个待确认目标之后:针对前一帧图像中的任一已确认目标,获取当前帧图像中每一待确认目标与该已确认目标在至少一个预设维度的相似度指数;在相似度指数小于预设阈值的待确认目标的数量为1时,将该待确认目标与该已确认目标确定为同一目标;在相似度指数小于预设阈值的待确认目标的数量大于1时,针对该待确认目标执行确定位置矢量分布指标的步骤,将当前帧图像中除该待确认目标之外的目标舍弃。
7.根据权利要求6所述的装置,其特征在于,
所述维度包括:目标面积、目标中心坐标和目标灰度平均值;
所述相似度指数为待确认目标与已确认目标在每一维度取值差值的平方和;
目标检测单元进一步用于:确定当前帧图像中灰度为极大值的像素点,以该像素点及其连通的像素点组成初选目标,并确定每一初选目标的面积、中心坐标、灰度平均值和信噪比;将面积、和/或信噪比不符合预设判别条件的初选目标去除,将其余初选目标确定为当前帧图像的待确认目标;
所述装置进一步包括预处理单元,其用于:在所述从当前帧图像中获取至少一个待确认目标之前:利用预设的滤波算子对当前帧图像进行形态学滤波;形态学滤波之后,依据预设的卷积算子对当前帧图像进行局部累加处理;
以及,当前帧图像和前一帧图像都为红外图像。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910007010.0A CN109741370B (zh) | 2019-01-04 | 2019-01-04 | 一种目标跟踪方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910007010.0A CN109741370B (zh) | 2019-01-04 | 2019-01-04 | 一种目标跟踪方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109741370A CN109741370A (zh) | 2019-05-10 |
CN109741370B true CN109741370B (zh) | 2020-09-11 |
Family
ID=66363399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910007010.0A Active CN109741370B (zh) | 2019-01-04 | 2019-01-04 | 一种目标跟踪方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109741370B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111123255A (zh) * | 2019-12-13 | 2020-05-08 | 意诺科技有限公司 | 对活动目标进行定位的方法、装置及系统 |
CN111598062B (zh) * | 2020-07-21 | 2020-10-27 | 深圳市天和荣科技有限公司 | 一种宠物识别方法、系统、可读存储介质及计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930072A (zh) * | 2010-07-28 | 2010-12-29 | 重庆大学 | 基于多特征融合的红外弱小运动目标航迹起始方法 |
CN106530310A (zh) * | 2016-10-25 | 2017-03-22 | 深圳大学 | 一种基于人体头顶部识别的行人统计方法及装置 |
CN107992791A (zh) * | 2017-10-13 | 2018-05-04 | 西安天和防务技术股份有限公司 | 目标跟踪失效重检方法及装置、存储介质、电子设备 |
CN108229459A (zh) * | 2018-01-04 | 2018-06-29 | 北京环境特性研究所 | 一种目标跟踪方法 |
-
2019
- 2019-01-04 CN CN201910007010.0A patent/CN109741370B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101930072A (zh) * | 2010-07-28 | 2010-12-29 | 重庆大学 | 基于多特征融合的红外弱小运动目标航迹起始方法 |
CN106530310A (zh) * | 2016-10-25 | 2017-03-22 | 深圳大学 | 一种基于人体头顶部识别的行人统计方法及装置 |
CN107992791A (zh) * | 2017-10-13 | 2018-05-04 | 西安天和防务技术股份有限公司 | 目标跟踪失效重检方法及装置、存储介质、电子设备 |
CN108229459A (zh) * | 2018-01-04 | 2018-06-29 | 北京环境特性研究所 | 一种目标跟踪方法 |
Non-Patent Citations (4)
Title |
---|
A detection method for infrared multi-target in aerospace backgound;Wang Ningming等;《PROCEEDINGS OF SPIE》;20151105;第1-5页 * |
A set of measurement systems for the dynamic visible scatter characteristics of space target;Huang Jianming等;《PROCEEDINGS OF SPIE》;20150304;第1-7页 * |
基于形态学和邻域差值的红外小目标检测算法;王铎等;《光电技术应用》;20160430;第31卷(第2期);第19-20页 * |
基于邻域灰度分布的IR弱小目标检测;徐英等;《国防科技大学学报》;20081231;第24卷(第5期);第84-87页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109741370A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240064391A1 (en) | Methods for refining rgbd camera poses | |
CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
CN110992263B (zh) | 一种图像拼接方法及系统 | |
CN109145803B (zh) | 手势识别方法及装置、电子设备、计算机可读存储介质 | |
CN111369495B (zh) | 一种基于视频的全景图像的变化检测方法 | |
CN108345821B (zh) | 面部追踪方法及设备 | |
CN111723801B (zh) | 鱼眼相机图片中目标检测矫正的方法与系统 | |
CN111340749B (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
CN112861870B (zh) | 指针式仪表图像矫正方法、系统及存储介质 | |
CN109741370B (zh) | 一种目标跟踪方法和装置 | |
CN114331879A (zh) | 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法 | |
CN114998773B (zh) | 适用于无人机系统航拍图像的特征误匹配剔除方法及系统 | |
CN112991374A (zh) | 基于Canny算法的边缘增强方法、装置、设备及存储介质 | |
CN113781523B (zh) | 一种足球检测跟踪方法及装置、电子设备、存储介质 | |
CN113902932A (zh) | 特征提取方法、视觉定位方法及装置、介质和电子设备 | |
CN113822927A (zh) | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 | |
CN113744307A (zh) | 一种基于阈值动态调整的图像特征点跟踪方法和系统 | |
WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
CN117132503A (zh) | 一种图像局部高亮区域修复方法、系统、设备及存储介质 | |
CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及系统 | |
CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
Yu et al. | Accurate motion detection in dynamic scenes based on ego-motion estimation and optical flow segmentation combined method | |
CN115035168A (zh) | 基于多约束的光伏面板多源图像配准方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |