CN110738688B - 一种红外超弱运动目标检测方法 - Google Patents

一种红外超弱运动目标检测方法 Download PDF

Info

Publication number
CN110738688B
CN110738688B CN201911020999.5A CN201911020999A CN110738688B CN 110738688 B CN110738688 B CN 110738688B CN 201911020999 A CN201911020999 A CN 201911020999A CN 110738688 B CN110738688 B CN 110738688B
Authority
CN
China
Prior art keywords
target
image sequence
background
determining
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911020999.5A
Other languages
English (en)
Other versions
CN110738688A (zh
Inventor
孙晓亮
李俊
于起峰
刘肖琳
张雄锋
尚洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201911020999.5A priority Critical patent/CN110738688B/zh
Publication of CN110738688A publication Critical patent/CN110738688A/zh
Application granted granted Critical
Publication of CN110738688B publication Critical patent/CN110738688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种新的红外超弱运动目标检测方法。所述方法包括:获取待检测的红外图像序列,分别抑制红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列,对目标图像序列中的运动目标进行目标增强,以及抑制目标图像序列中的背景残差,得到增强目标图像序列,通过自适应阈值分割,确定增强目标图像序列的候选目标集合,通过计算候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定候选目标集合中的真实目标。采用本方法能够实现对超弱运动目标进行检测。

Description

一种红外超弱运动目标检测方法
技术领域
本申请涉及计算机视觉、图像处理技术领域,特别是涉及一种红外超弱运动目标检测方法。
背景技术
随着计算机视觉以及图像处理技术的发展,对目标跟踪检测的准确性要求越来越高。近年来,红外检测相关硬件及软件算法均处在不断发展的状态,已有方法利用不同的图像信息实现目标检测,总体上可归结为基于单帧图像和序列图像方法两类。
(1)基于单帧图像的红外弱小目标检测
基于单帧图像的红外弱小目标检测方法主要利用图像中目标与背景之间的特性差异,实现图像中弱小目标的检测。从利用的图像成分特性的角度可将已有方法主要归结为以下三类:利用目标外观特性实现目标检测、利用背景高空间相关特性实现目标检测及利用局部目标与背景之间的特性差异的检测方法。
(2)基于序列图像的弱小目标检测
基于单帧图像的弱小目标检测方法仅利用单帧图像信息完成目标检测,可实现高效的目标检测,但要求单帧图像中目标与周围背景存在足够的差异,对于复杂背景或目标极为微弱的情况,基于单帧图像的检测方法往往得不到满意的检测结果。相比于单帧图像,序列图像包含时序信息,通过时序上多帧数据跟踪关联,有助于提升算法在复杂背景及目标微弱情况下的检测能力,尤其是对于超弱运动目标,但由于要用到时序上多帧图像信息,算法效率不及基于单帧图像的算法,因此,基于序列图像的弱小目标检测方法的受关注程度不及基于单帧图像的方法。
以上两种方法均无法准确的识别超弱运动目标,从而无法准确的进行超弱运动目标检测。
发明内容
基于此,有必要针对上述技术问题,提供一种能够解决序列图像中超弱运动目标检测问题的一种红外超弱运动目标检测方法。
一种红外超弱运动目标检测方法,所述方法包括:
获取待检测的红外图像序列;
分别抑制所述红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列;
对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列;
通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合;
通过计算所述候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定所述候选目标集合中的真实目标。
在其中一个实施例中,还包括:获取所述红外图像序列中相邻两帧图像中对应点的位置坐标向量;根据所述位置坐标向量,确定所述相邻两帧图像对应的单应性矩阵;根据所述单应性矩阵,将所述相邻两帧图像转化到同一坐标下,通过帧间差分抑制所述红外图像序列中帧间重叠区域背景。
在其中一个实施例中,还包括:确定非重叠区域的外边缘为背景像素,将所述背景像素中的边缘像素点确定为背景种子点;采用快速最小障碍距离度量,确定所述红外图像序列中当前图像中其他像素点与所述背景种子点的最小障碍距离;根据所述最小障碍距离确定其他像素点与所述背景种子点的相似度,根据相似度满足条件的其他像素点,抑制所述红外图像序列中帧间非重叠区域背景。
在其中一个实施例中,还包括:对所述目标图像序列中图像构建同心框局部邻域结构;所述同心框局部邻域结构中目标位于每个同心框中心,中心框尺寸与预先设置的滑动窗口尺寸相同;通过所述滑动窗口在所述同心局部邻域结构中滑动,计算每个滑动窗口中外框方差和中心框方差;根据所述外框方差和所述中心框方差,得到方差差异;根据每个滑动窗口的方差差异,得到同心框局部邻域结构的局部方差差异;根据所述局部方差差异,对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列。
在其中一个实施例中,还包括:根据所述增强图像序列的均值、标准差以及预先设置的控制参数,得到分割阈值;根据所述分割阈值,通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合。
在其中一个实施例中,还包括:根据每个候选目标的目标运动速度,进行目标轨迹检测;根据每个候选目标的目标运动速度和灰度外观特征,进行目标轨迹跟踪;根据目标轨迹检测结果和目标轨迹跟踪结果,确定所述候选目标集合中的真实目标。
一种红外超弱运动目标检测装置,所述装置包括:
图像获取模块,用于获取待检测的红外图像序列;
图像处理模块,用于分别抑制所述红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列;对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列;
目标检测模块,用于通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合;通过计算所述候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定所述候选目标集合中的真实目标。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待检测的红外图像序列;
分别抑制所述红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列;
对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列;
通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合;
通过计算所述候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定所述候选目标集合中的真实目标。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待检测的红外图像序列;
分别抑制所述红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列;
对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列;
通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合;
通过计算所述候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定所述候选目标集合中的真实目标。
上述一种红外超弱运动目标检测方法、装置、计算机设备和存储介质,通过对红外图像序列中帧间重叠区域背景以及非重叠区域背景进行抑制,然后对红外图像序列中图像中确定的目标进行目标增强,以及进一步抑制图像中的背景残差,从而对图像中目标进行增强处理,最后采用自适应分割的方式,通过计算选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定候选目标集合中的真实目标。本发明实施例,可以准确的进行超弱运动目标的检测。
附图说明
图1为一个实施例中红外超弱运动目标检测方法的流程示意图;
图2为一个实施例中抑制重叠区域背景步骤的流程示意图;
图3为另一个实施例中抑制非重叠区域背景步骤的流程示意图;
图4为一个实施例中局部区域的结构示意图;
图5为一个实施例中交替进行轨迹检测与轨迹跟踪的流程示意图;
图6为一个实施例中前向传播能量累积处理的示意图;
图7为一个实施例中后向传播能量累积处理的示意图;
图8为一个实施例中红外超弱运动目标检测装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种红外超弱运动目标检测方法,该方法可以应用在终端中,包括以下步骤:
步骤102,获取待检测的红外图像序列。
红外图像序列指的是通过红外检测设备连续拍摄得到的。红外图像序列中每一帧图像根据时间信息进行排序,从而形成连续的序列。
步骤104,分别抑制红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列。
重叠区域背景指的是红外图像序列中帧间图像叠加的部分,非重叠区域背景指的是红外图像序列中帧间图像非叠加的部分。
通过抑制杂乱的背景,可以实现对超弱运动目标的检测。
步骤106,对目标图像序列中的运动目标进行目标增强,以及抑制目标图像序列中的背景残差,得到增强目标图像序列。
背景残差指的是由于背景抑制而产生的残差,通过消除背景残差可以提高目标检测的准确性。
抑制背景残差采用局部均值方差的方式实现,因此也进一步增强了目标图像序列中运动目标的信号,从而实现同时对运动目标进行目标增强。
步骤108,通过自适应阈值分割,确定增强目标图像序列的候选目标集合。
自适应阈值分割指的是通过增强目标图像序列的参数,可以自适应调节阈值,从而实现自适应分割,通过自适应分割可以确定增强目标图像序列中的候选目标,从而根据候选目标确定候选目标集合。
步骤110,通过计算候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定候选目标集合中的真实目标。
目标运动速度指的是根据序列的时间关系计算得到的候选目标的运动速度,灰度外观特征指的是目标对应的像素情况,结合上述背景抑制的结果,可以准确的检测红外图像序列中超弱运动目标。
上述一种红外超弱运动目标检测方法中,通过对红外图像序列中帧间重叠区域背景以及非重叠区域背景进行抑制,然后对红外图像序列中图像中确定的目标进行目标增强,以及进一步抑制图像中的背景残差,从而对图像中目标进行增强处理,最后采用自适应分割的方式,通过计算选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定候选目标集合中的真实目标。本发明实施例,可以准确的进行超弱运动目标的检测。
在其中一个实施例中,如图2所示,提供一种抑制重叠区域背景步骤的示意性流程图,具体步骤如下:
步骤202,获取红外图像序列中相邻两帧图像中对应点的位置坐标向量。
步骤204,根据位置坐标向量,确定相邻两帧图像对应的单应性矩阵。
步骤206,根据单应性矩阵,将相邻两帧图像转化到同一坐标下,通过帧间差分抑制红外图像序列中帧间重叠区域背景。
本实施例中,通过帧间图像的单应性,然后通过帧间差分可以抑制帧间重叠区域的背景。
在一个具体实施例中,由于平面单应性模型近似于帧间运动,因此可以建立帧间匹配点集合{(xi,x'i)}M,其中,x′i和xi分别指两帧图像中对应点的位置坐标向量。根据单应性模型,可以得到两帧图像之间的单应性变换关系如下:
x′i×Hxi=0
其中,H指的是单应性矩阵,由上述公式可以看出,只需确定四个点就可以计算得到单应性矩阵。
在具体计算时,可以基于FAST特征点和稀疏光流方法建立相邻帧图像之间对应点关系,使用RANSAC算法,鲁棒求解单应性矩阵。完成相邻帧图像间单应矩阵的求解,进而可将图像变换到同一坐标系下,通过帧间差分减除图像中复杂背景,实现相邻帧间重叠区域背景抑制。
在其中一个实施例中,如图3所示,提供一种抑制非重叠区域背景步骤的示意性流程图,具体步骤如下:
步骤302,确定非重叠区域的外边缘为背景像素,将背景像素中的边缘像素点确定为背景种子点。
步骤304,采用快速最小障碍距离度量,确定红外图像序列中当前图像中其他像素点与背景种子点的最小障碍距离。
步骤306,根据最小障碍距离确定其他像素点与背景种子点的相似度,根据相似度满足条件的其他像素点,抑制红外图像序列中帧间非重叠区域背景。
由于非重叠区域的外边缘一般为背景像素,可通过衡量非重叠区域其余像素点与边缘背景像素点之间的相似性抑制非帧间重叠区域杂乱背景,因此,本实施例中利用局部灰度相关特性,采用快速最小障碍距离度量,将边缘像素点选为背景种子点,衡量非重叠区域其余像素点与种子点之间的相似性。
具体的,对于当前输入的图像f(x,y,k),(x,y)表示像素点坐标,k表示时间戳,定义图像中路径π=<π[0],…,π[k]>为一组相邻像素点,给定路径损失函数β及种子点集合S,采用四邻域结构,距离图D中像素点p对应的度量值如下:
Figure GDA0003536262330000071
其中,ΠS,p表示连接p与S中种子点所有路径的集合,π[i]表示路径π中第i个像素点坐标,最小障碍距离度量对应的路径损失函数β定义为:
Figure GDA0003536262330000072
在另一个实施例中,为了加速最小障碍距离度量的计算,可以采用迭代的方式,迭代公式如下:
Figure GDA0003536262330000073
其中,p(q)表示像素点q对应的具有最小路径损失函数值D(q)的路径,<q,p>表示相邻像素点p与q之间的连接边,P(q)·<q,p>即由P(q)及<q,p>组成的p对应的路径,简记为Pq(p)。重新定义路径损失函数β为:
β(Pq(p))=max{U(q),f(p)}-min{L(q),f(p)}
U(q)与L(q)分别为路径P(q)中像素点灰度的最大值与最小值。在每次迭代中采用正、反光栅扫描高效更新U、L及D。经过有限次迭代,可以得到距离图D,从而根据距离图D可以确定与背景种子点的相似像素,从而对非重叠区域背景进行抑制。
在一个实施例中,得到增强目标图像序列的步骤包括:对目标图像序列中图像构建同心框局部邻域结构,同心框局部邻域结构中目标位于每个同心框中心,中心框尺寸与预先设置的滑动窗口尺寸相同,通过滑动窗口在同心局部邻域结构中滑动,计算每个滑动窗口中外框方差和中心框方差,根据外框方差和中心框方差,得到方差差异,根据每个滑动窗口的方差差异,得到同心框局部邻域结构的局部方差差异,根据局部方差差异,对目标图像序列中的运动目标进行目标增强,以及抑制目标图像序列中的背景残差,得到增强目标图像序列。
本实施例中,在进行背景残差抑制的同时,对目标图像中运动目标进行增强,从而提高运动目标检测的准确性。
值得说明的是,在帧间重叠区域与非重叠区域背景抑制中,由于配准误差、杂乱干扰等因素的存在,在背景抑制结果中不可避免地存在背景残差。
在一个具体的实施例中,方差差异定义如下:
Figure GDA0003536262330000081
其中,
Figure GDA0003536262330000082
及VARDj分别为第j个滑动窗口对应的中心框方差、外部框方差及方差差异。若多个滑动窗口对应的VARD均较大,则它们对应的中心较有可能存在目标,因此,定义均值局部方差差异:
Figure GDA0003536262330000083
其中,Din表示中心框尺寸,在背景抑制的结果上,计算
Figure GDA0003536262330000084
实现背景残差的抑制及超弱运动目标信号的增强。
在其中一个实施例中,确定候选目标集合的步骤包括:根据增强图像序列的均值、标准差以及预先设置的控制参数,得到分割阈值,根据分割阈值,通过自适应阈值分割,确定增强目标图像序列的候选目标集合。
具体的,确定阈值Th的公式为:
Th=μ+λσ
其中,μ和σ分别为增强目标图像序列的均值和标准差,λ为预先设置的控制参数,在候选目标确定过程中,为尽可能地保证超弱运动目标不被漏检,通过设置控制参数的大小可以设置较低的阈值。
在其中一个实施例中,确定真实目标的步骤包括:根据每个候选目标的目标运动速度,进行目标轨迹检测,根据每个候选目标的目标运动速度和灰度外观特征,进行目标轨迹跟踪,根据目标轨迹检测结果和目标轨迹跟踪结果,确定候选目标集合中的真实目标。
具体的,本发明采用目标运动速度和灰度外观特征两个方面对目标轨迹进行度量,分别对应于准则一,即:局部轨迹平滑性,以及准则二,即:轨迹评价函数,对于局部轨迹平滑性,采用归一化速度的方差来定义,具体表达式如下:
Figure GDA0003536262330000091
Figure GDA0003536262330000092
其中,T表示待评价轨迹,L表示轨迹长度,通过目标位置差分得到目标运动速度
Figure GDA0003536262330000093
Figure GDA0003536262330000094
表示第l个速度分量,
Figure GDA0003536262330000095
在红外弱小目标检测中,一般认为目标区域的灰度值高于周围背景区域,且目标能量并不集中于一点,而是分散于一定尺寸的目标区域内,本发明采用局部区域定义,如图4所示。Rt及Rb分别表示第l帧图像中以(x0,y0)为中心的目标区域及背景区域,定义局部灰度差为:
Figure GDA0003536262330000096
可得递归方程为:
Figure GDA0003536262330000097
Figure GDA0003536262330000098
其中,式中F(Pl)为评价函数,ψl(Pl)用于记录各阶段使得评价函数值最大的目标轨迹点,Pl为第l帧图像中像素位置(x,y),对应的灰度值为f'(x,y,l),对时间窗口L内的图像序列进行递归求解,得到最大化的评价函数值,并依据ψl(Pl)回溯得到真实的目标轨迹。
依据前述轨迹度量准则对每一候选目标轨迹进行评价,进而高效地搜索真实目标轨迹。轨迹搜索包含对新出现目标轨迹的检测与对已检测到目标轨迹的跟踪,轨迹检测依据轨迹度量准则一评价结果,轨迹跟踪需综合利用准则一与准则二的评价结果,在搜索中交替进行轨迹检测与轨迹跟踪,如图5所示。
在另一个实施例中,针对轨迹检测,引入批处理模式,并将轨迹搜索过程分解,将其转化为轨迹迭代生长问题,实现高效求解。对于可能存在交叉或重叠,参考多目标跟踪领域常用的做法,假设同一时刻、同一位置最多出现一个目标,依据轨迹评价结果,采用非极大值抑制方法筛选出每一目标位置上评价结果最高的轨迹,通过轨迹竞争消除轨迹交叉或重叠。
具体的,针对已检测到的目标轨迹,在持续输入的序列图像中,采用滑动时间窗口的方式实现超弱运动目标的持续检测与跟踪。对于当前帧图像f(x,y,k),获取的信息包含已有轨迹集合{tracke}及当前帧中候选目标集合
Figure GDA0003536262330000101
通过将已有轨迹与候选目标连接实现目标跟踪,在连接过程中存在三种情况:1)已有轨迹与候选目标成功连接;2)已有轨迹没有成功连接到候选目标,轨迹中断;3)候选目标中出现新的目标,没有已有轨迹与之对应。
首先将{tracke}与
Figure GDA0003536262330000102
连接,找出情况一对应的目标轨迹。对此,本发明依次计算候选目标与各个轨迹之间的匹配度,建立如下所示的匹配优化函数:
Figure GDA0003536262330000103
Figure GDA0003536262330000104
Xei表示轨迹tracke与候选目标
Figure GDA0003536262330000105
的连接标识,sei表示准则一轨迹平滑度度量结果。本优化函数可视为二分图匹配问题,本发明采用匈牙利算法高效求解。
对于超弱运动目标检测,由于目标较为微弱,极有可能低于分割阈值,造成漏检,若漏检发生在当前帧中,对应情况二;除去目标新出现的情况,情况三对应目标由弱变强,漏检发生在当前帧之前。对于情况二及情况三,本发明提出前向传播能量累积处理及后向传播的能量累积方法进行处理方法。对于前向传播能量累积处理方法,如图6所示,图中圆形搜索区域尺寸依据目标运动速度上限确定,累积时间窗口长度为L1,依据累积结果的信噪比约束进行筛选,满足约束的轨迹对应轨迹评价函数F作为依据准则二的度量结果,同时采用准则一对此轨迹进行评价,对应的轨迹平滑度度量结果为S,综合准则一与准则二的度量结果,该轨迹最终的度量结果M为:
Figure GDA0003536262330000111
其中,α表示另一个控制参数,采用Sigmod函数形式融合F与S,保证融合后轨迹度量结果仍具有可比性,进而完成轨迹竞争等操作。后向传播能量累积处理方法如图7所示,累积时间窗口长度为L2,其余处理同前向传播能量累积方法。
在超弱运动目标检测中,上述轨迹检测与跟踪过程交替进行,对于当前帧f(x,y,k),首先采用轨迹跟踪方法将已有轨迹跟踪到f(x,y,k),并更新轨迹状态。从候选目标集合中删除已成功跟踪的目标,然后再从候选目标集合{Ck-L+1,…,Ck}运用轨迹检测方法检测出新出现的目标轨迹。
应该理解的是,虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种红外超弱运动目标检测装置,包括:图像获取模块802、图像处理模块804和目标检测模块806,其中:
图像获取模块802,用于获取待检测的红外图像序列;
图像处理模块804,用于分别抑制所述红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列;对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列;
目标检测模块806,用于通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合;通过计算所述候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定所述候选目标集合中的真实目标。
在其中一个实施例中,图像处理模块804还用于获取所述红外图像序列中相邻两帧图像中对应点的位置坐标向量;根据所述位置坐标向量,确定所述相邻两帧图像对应的单应性矩阵;根据所述单应性矩阵,将所述相邻两帧图像转化到同一坐标下,通过帧间差分抑制所述红外图像序列中帧间重叠区域背景。
在其中一个实施例中,图像处理模块804还用于确定非重叠区域的外边缘为背景像素,将所述背景像素中的边缘像素点确定为背景种子点;采用快速最小障碍距离度量,确定所述红外图像序列中当前图像中其他像素点与所述背景种子点的最小障碍距离;根据所述最小障碍距离确定其他像素点与所述背景种子点的相似度,根据相似度满足条件的其他像素点,抑制所述红外图像序列中帧间非重叠区域背景。
在其中一个实施例中,图像处理模块804还用于对所述目标图像序列中图像构建同心框局部邻域结构;所述同心框局部邻域结构中目标位于每个同心框中心,中心框尺寸与预先设置的滑动窗口尺寸相同;通过所述滑动窗口在所述同心局部邻域结构中滑动,计算每个滑动窗口中外框方差和中心框方差;根据所述外框方差和所述中心框方差,得到方差差异;根据每个滑动窗口的方差差异,得到同心框局部邻域结构的局部方差差异;根据所述局部方差差异,对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列。
在其中一个实施例中,目标检测模块806还用于根据所述增强图像序列的均值、标准差以及预先设置的控制参数,得到分割阈值;根据所述分割阈值,通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合。
在其中一个实施例中,目标检测模块806还用于根据每个候选目标的目标运动速度,进行目标轨迹检测;根据每个候选目标的目标运动速度和灰度外观特征,进行目标轨迹跟踪;根据目标轨迹检测结果和目标轨迹跟踪结果,确定所述候选目标集合中的真实目标。
关于一种红外超弱运动目标检测装置的具体限定可以参见上文中对于一种红外超弱运动目标检测方法的限定,在此不再赘述。上述一种红外超弱运动目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种一种红外超弱运动目标检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种红外超弱运动目标检测方法,所述方法包括:
获取待检测的红外图像序列;
分别抑制所述红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列;
对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列;
通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合;
通过计算所述候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定所述候选目标集合中的真实目标;包括:
根据每个候选目标的目标运动速度,得到归一化速度方差为:
Figure FDA0003558176590000011
根据所述归一化速度方差确定局部轨迹平滑性为:
Figure FDA0003558176590000012
其中,T表示待评价轨迹,L表示轨迹长度,
Figure FDA0003558176590000013
Figure FDA0003558176590000014
表示通过目标位置差分得到的目标运动速度,
Figure FDA0003558176590000015
表示第l个速度分量;
根据局部轨迹平滑性,进行目标轨迹检测;
根据每个候选目标的目标运动速度和灰度外观特征,进行目标轨迹跟踪;
根据目标轨迹检测结果和目标轨迹跟踪结果,确定所述候选目标集合中的真实目标。
2.根据权利要求1所述的方法,其特征在于,抑制所述红外图像序列中帧间重叠区域背景,包括:
获取所述红外图像序列中相邻两帧图像中对应点的位置坐标向量;
根据所述位置坐标向量,确定所述相邻两帧图像对应的单应性矩阵;
根据所述单应性矩阵,将所述相邻两帧图像转化到同一坐标下,通过帧间差分抑制所述红外图像序列中帧间重叠区域背景。
3.根据权利要求1所述的方法,其特征在于,抑制所述红外图像序列中帧间非重叠区域背景,包括:
确定非重叠区域的外边缘为背景像素,将所述背景像素中的边缘像素点确定为背景种子点;
采用快速最小障碍距离度量,确定所述红外图像序列中当前图像中其他像素点与所述背景种子点的最小障碍距离;
根据所述最小障碍距离确定其他像素点与所述背景种子点的相似度,根据相似度满足条件的其他像素点,抑制所述红外图像序列中帧间非重叠区域背景。
4.根据权利要求1所述的方法,其特征在于,对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列,包括:
对所述目标图像序列中图像构建同心框局部邻域结构;所述同心框局部邻域结构中目标位于每个同心框中心,中心框尺寸与预先设置的滑动窗口尺寸相同;
通过所述滑动窗口在所述同心局部邻域结构中滑动,计算每个滑动窗口中外框方差和中心框方差;
根据所述外框方差和所述中心框方差,得到方差差异;
根据每个滑动窗口的方差差异,得到同心框局部邻域结构的局部方差差异;
根据所述局部方差差异,对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合,包括:
根据所述增强目标 图像序列的均值、标准差以及预先设置的控制参数,得到分割阈值;
根据所述分割阈值,通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合。
6.一种红外超弱运动目标检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取待检测的红外图像序列;
图像处理模块,用于分别抑制所述红外图像序列中帧间重叠区域背景以及非重叠区域背景,得到目标图像序列;对所述目标图像序列中的运动目标进行目标增强,以及抑制所述目标图像序列中的背景残差,得到增强目标图像序列;
目标检测模块,用于通过自适应阈值分割,确定所述增强目标图像序列的候选目标集合;通过计算所述候选目标集合中每个候选目标的目标运动速度和灰度外观特征,确定所述候选目标集合中的真实目标;
目标检测模块,还用于根据每个候选目标的目标运动速度,得到归一化速度方差为:
Figure FDA0003558176590000031
根据所述归一化速度方差确定局部轨迹平滑性为:
Figure FDA0003558176590000032
其中,T表示待评价轨迹,L表示轨迹长度,
Figure FDA0003558176590000033
Figure FDA0003558176590000034
表示通过目标位置差分得到的目标运动速度,
Figure FDA0003558176590000035
表示第l个速度分量;根据局部轨迹平滑性,进行目标轨迹检测;根据每个候选目标的目标运动速度和灰度外观特征,进行目标轨迹跟踪;根据目标轨迹检测结果和目标轨迹跟踪结果,确定所述候选目标集合中的真实目标。
7.根据权利要求6所述的装置,其特征在于,所述图像处理模块还用于获取所述红外图像序列中相邻两帧图像中对应点的位置坐标向量;根据所述位置坐标向量,确定所述相邻两帧图像对应的单应性矩阵;根据所述单应性矩阵,将所述相邻两帧图像转化到同一坐标下,通过帧间差分抑制所述红外图像序列中帧间重叠区域背景。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201911020999.5A 2019-10-25 2019-10-25 一种红外超弱运动目标检测方法 Active CN110738688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911020999.5A CN110738688B (zh) 2019-10-25 2019-10-25 一种红外超弱运动目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911020999.5A CN110738688B (zh) 2019-10-25 2019-10-25 一种红外超弱运动目标检测方法

Publications (2)

Publication Number Publication Date
CN110738688A CN110738688A (zh) 2020-01-31
CN110738688B true CN110738688B (zh) 2022-05-13

Family

ID=69271307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911020999.5A Active CN110738688B (zh) 2019-10-25 2019-10-25 一种红外超弱运动目标检测方法

Country Status (1)

Country Link
CN (1) CN110738688B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516689B (zh) * 2021-09-10 2022-03-22 北京理工大学 一种基于关联帧约束的纹影特征可视化增强方法
CN114066937B (zh) * 2021-11-06 2022-09-02 中国电子科技集团公司第五十四研究所 一种大尺度遥感影像多目标跟踪方法
CN114037633B (zh) * 2021-11-18 2022-07-15 南京智谱科技有限公司 一种红外图像处理的方法及装置
CN117710235B (zh) * 2024-02-06 2024-05-14 浙江华感科技有限公司 图像目标增强方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739691A (zh) * 2009-12-04 2010-06-16 北京智安邦科技有限公司 视频虚警目标检测方法及装置
CN103714553A (zh) * 2012-10-09 2014-04-09 杭州海康威视数字技术股份有限公司 一种多目标跟踪方法和装置
CN107861123A (zh) * 2017-10-24 2018-03-30 武汉大学 一种穿墙雷达在复杂环境下对多运动目标实时跟踪的方法
US10032285B1 (en) * 2015-11-05 2018-07-24 National Technology & Engineering Solutions Of Sandia, Llc Multi-hypothesis moving object detection system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023212A (zh) * 2016-05-24 2016-10-12 西安电子科技大学 一种基于金字塔逐层传播聚类的超像素分割方法
CN108596946A (zh) * 2018-03-21 2018-09-28 中国航空工业集团公司洛阳电光设备研究所 一种运动目标实时检测方法及系统
US10996679B2 (en) * 2018-04-17 2021-05-04 Baidu Usa Llc Method to evaluate trajectory candidates for autonomous driving vehicles (ADVs)
CN109859247B (zh) * 2019-02-19 2022-09-06 南京理工大学 近地面场景红外小目标检测方法
CN110084833A (zh) * 2019-04-25 2019-08-02 北京计算机技术及应用研究所 一种基于自适应邻域判决技术的红外运动目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739691A (zh) * 2009-12-04 2010-06-16 北京智安邦科技有限公司 视频虚警目标检测方法及装置
CN103714553A (zh) * 2012-10-09 2014-04-09 杭州海康威视数字技术股份有限公司 一种多目标跟踪方法和装置
US10032285B1 (en) * 2015-11-05 2018-07-24 National Technology & Engineering Solutions Of Sandia, Llc Multi-hypothesis moving object detection system
CN107861123A (zh) * 2017-10-24 2018-03-30 武汉大学 一种穿墙雷达在复杂环境下对多运动目标实时跟踪的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Real-time visual enhancement for infrared small dim targets in video;Xiaoliang Sun,Xiaolin Liu,Zhixuan Tang,Gucan Long,Qifeng Yu;《Infrared Physics and Technology》;20170630;第83卷;第217-226 *
Robust object tracking with bidirectional corner matching and trajectory smoothness algorithm;Guoshan Wu,Yi Yu,Xiaokang Yang,Qing Yan,Ke gu;《2012 IEEE 14th International Workshop on Multimedia Signal Processing》;IEEE;20121130;第294-298页 *
基于复杂地面背景序列图像的运动弱小目标检测;侯旺,欧阳红军,雷志辉,刘晓春;《光学技术》;20130331;第39卷(第2期);第168-173页 *
天基微弱运动点目标检测研究综述;吕凭乐,赵丹新,孙胜利;《红外》;20170131;第38卷(第1期);第1-5页 *

Also Published As

Publication number Publication date
CN110738688A (zh) 2020-01-31

Similar Documents

Publication Publication Date Title
CN110738688B (zh) 一种红外超弱运动目标检测方法
CN111462200B (zh) 一种跨视频行人定位追踪方法、系统及设备
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
CN110998594B (zh) 检测动作的方法和系统
US5170440A (en) Perceptual grouping by multiple hypothesis probabilistic data association
Tissainayagam et al. Object tracking in image sequences using point features
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
CN112639873A (zh) 基于单对象姿态估计器的多个对象的姿态跟踪设备和方法
US6826292B1 (en) Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation
CN110751096B (zh) 一种基于kcf轨迹置信度的多目标跟踪方法
CN111354022B (zh) 基于核相关滤波的目标跟踪方法及系统
CN110335313B (zh) 音频采集设备定位方法及装置、说话人识别方法及系统
CN111931720B (zh) 跟踪图像特征点的方法、装置、计算机设备和存储介质
KR20210074163A (ko) 공동 검출 및 기술 시스템 및 방법
Huang et al. S3: Learnable sparse signal superdensity for guided depth estimation
CN115063454A (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN111476814B (zh) 目标跟踪方法、装置、设备及存储介质
US20240037758A1 (en) Target tracking method, computer-readable storage medium, and computer device
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN115631397A (zh) 一种基于双模态图像的目标检测方法及装置
CN114638862A (zh) 一种视觉跟踪方法及跟踪装置
JP4070558B2 (ja) 画像追跡装置および方法
CN116681730A (zh) 一种目标物追踪方法、装置、计算机设备和存储介质
KR20100013855A (ko) 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant