CN112395990B - 多帧红外图像弱小目标检测方法、装置、设备和存储介质 - Google Patents

多帧红外图像弱小目标检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112395990B
CN112395990B CN202011297947.5A CN202011297947A CN112395990B CN 112395990 B CN112395990 B CN 112395990B CN 202011297947 A CN202011297947 A CN 202011297947A CN 112395990 B CN112395990 B CN 112395990B
Authority
CN
China
Prior art keywords
image
connected region
target
frame
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011297947.5A
Other languages
English (en)
Other versions
CN112395990A (zh
Inventor
马龙
黄姗姗
舒聪
李彦龙
李世飞
喻钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Technological University
Original Assignee
Xian Technological University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Technological University filed Critical Xian Technological University
Priority to CN202011297947.5A priority Critical patent/CN112395990B/zh
Publication of CN112395990A publication Critical patent/CN112395990A/zh
Application granted granted Critical
Publication of CN112395990B publication Critical patent/CN112395990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本申请公开了多帧红外图像弱小目标检测方法、装置、设备和存储介质，方法包括：获取多帧连续的红外图像。通过弱小目标检测网络模型从当前帧红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到当前帧初始目标分割图像。将当前帧初始目标分割图像输入至帧间关联网络模型，以预先存储的前N帧的初始目标分割图像为参考，对当前帧初始目标分割图像进行修正，得到当前帧目标分割图像。通过弱小目标检测网络模型将目标检测问题转换成图像分割问题来解决，并且通过帧间关联网络模型实现了多帧红外图像的检测，克服了单帧红外图像检测中虚警、漏检等问题。

Description

多帧红外图像弱小目标检测方法、装置、设备和存储介质
技术领域
本申请涉及信息技术领域，尤其涉及多帧红外图像弱小目标检测方法、装置、设备和存储介质。
背景技术
当传感器进行远距离探测时，兴趣目标经常表现出面积小、信噪比低的特点，我们称之为弱小目标。复杂背景下的弱小目标检测是精确制导、红外预警、靶场测量等自动目标识别领域的经典难题。近年来，随着消费级无人机数量的激增，弱小目标检测成为低空安保、要地防护亟待突破的关键技术。
近年来，深度学习技术在诸如图像分类、人脸识别、光学目标检测、跟踪等计算机视觉领域，取得了巨大的成功。一般地，红外图像建模为：
f(x,y)＝fT(x,y)+fB(x,y) (1)
其中，f(x,y)表示(x,y)的像素强度，fT(x,y)，fB(x,y)分别表示目标、背景在(x,y)的强度。表达式(1)认为，在红外图像中，任一像素的强度，可以用目标、背景在该点的红外辐射强度之和来表示。
传统的背景估计与抑制等弱小目标检测方法均是基于表达式(1)提出的。这种方法首先采用各类平滑滤波器，利用邻域像素值估计当前像素值，这称作背景估计。然后,根据表达式(1)通过将原始图像与估计背景相减可以提取潜在目标，这称作背景抑制。
但是，现有的方法的风险在于，在背景抑制中，目标被减去了一个背景估计值(通常不为0)，这会削弱目标的强度。在背景估计方法和抑制方法设计得不够精巧的情况下，这可能导致目标的显著度进一步降低，进而损害检测精度。此外，现有的方法一般对单帧红外图像进行检测，虚警、漏检等问题严重。
发明内容
本申请的主要目的在于解决现有的多帧红外图像弱小目标检测方法精度低、效率差的技术问题。
一种多帧红外图像弱小目标检测方法，包括：
以预设的时间间隔获取多帧连续的红外图像，将各红外图像依次输入至弱小目标检测网络模型。
通过所述弱小目标检测网络模型从当前帧红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到当前帧初始目标分割图像，存储当前帧初始目标分割图像。
所述弱小目标检测网络模型的表达式为：
f＝fT∪fB
其中，f表示红外图像，fT表示红外图像的目标区域，fB表示红外图像的背景区域。
将当前帧初始目标分割图像输入至帧间关联网络模型，以预先存储的前N帧的初始目标分割图像为参考，对当前帧初始目标分割图像进行修正，得到当前帧目标分割图像；其中，N为大于等于1的整数。
将当前帧目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到所述二值图像中的目标的特征信息。
可选地，所述将当前帧目标分割图像转化成二值图像，包括以下步骤：
从当前帧目标分割图像中获取第一像素；所述第一像素为当前帧目标分割图像中的任一像素。
将所述第一像素的辐射强度与预设的强度阈值进行比较，若所述辐射强度小于所述强度阈值，则将所述第一像素的灰度值设定为0，若所述辐射强度大于所述强度阈值，则将所述第一像素的灰度值设定为255；最终设定当前帧目标分割图像中的任一像素的灰度值，以得到所述二值图像。
可选地，所述强度阈值的表达式为：
Tr＝m+0.5*(maxv-m)
其中，Tr表示所述强度阈值，m表示当前帧目标分割图像中的各像素的平均辐射强度，maxv表示当前帧目标分割图像中的各像素的最大辐射强度。
可选地，所述对当前帧初始目标分割图像进行修正，包括以下步骤：对当前帧初始目标分割图像进行虚警剔除和漏检补充。
可选地，在所述以预设的时间间隔获取多帧连续的红外图像之前，还包括以下步骤：
创建所述弱小目标检测网络模型。分别对多个训练用红外图像进行预处理，得到多个预处理训练图像。分别获取各预处理训练图像所对应的训练目标分割图像样本。通过所述弱小目标检测网络模型分别提取各预处理训练图像中的训练特征数据，以各训练目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，直至所述弱小目标检测网络模型的参数收敛，得到训练后的所述弱小目标检测网络模型。
可选地，在所述以预设的时间间隔获取多帧连续的红外图像之前，还包括以下步骤：
创建所述帧间关联网络模型。预设多组训练用目标分割图像集合；训练用目标分割图像集合包括多帧连续的训练用目标分割图像。分别获取各组训练用目标分割图像集合所对应的意向训练目标分割图像样本。通过所述帧间关联网络模型分别提取各组预处理训练图像中的第二训练特征数据，以意向训练目标分割图像样本作为所述第二训练特征数据的输出参考，对所述帧间关联网络模型进行训练，直至所述帧间关联网络模型的参数收敛。
可选地，所述特征信息包括所述目标的位置、尺寸、形状。
基于相同的技术构思，本申请还提供了一种多帧红外图像弱小目标检测装置，包括：
获取模块，用于以预设的时间间隔获取多帧连续的红外图像；
处理模块，用于通过弱小目标检测网络模型从所述获取模块所获取的当前帧红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到当前帧初始目标分割图像，存储当前帧初始目标分割图像；将当前帧初始目标分割图像输入至帧间关联网络模型，以预先存储的前N帧的初始目标分割图像为参考，对当前帧初始目标分割图像进行修正，得到当前帧目标分割图像；其中，N为大于等于1的整数；将当前帧目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到所述二值图像中的目标的特征信息；
所述弱小目标检测网络模型的表达式为：
f＝fT∪fB
其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域。
基于相同的技术构思，本申请还提供了一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上述的多帧红外图像弱小目标检测方法中的步骤。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述的多帧红外图像弱小目标检测方法中的步骤。
本申请的有益效果：通过弱小目标检测网络模型将目标检测问题转换成图像分割问题来解决，并且通过帧间关联网络模型实现了多帧红外图像的检测，克服了单帧红外图像检测中虚警、漏检等问题,有效提高了红外图像中的弱小目标检测精度，且运行高效。
附图说明
图1为本申请实施例中多帧红外图像弱小目标检测方法的流程示意图。
图2为本申请实施例中多帧红外图像弱小目标检测方法中SDDNet模型的实验效果图。
图3为本申请实施例中多帧红外图像弱小目标检测方法的ROC曲线实验图。
图4为本申请实施例中多帧红外图像弱小目标检测方法的第一实验效果图。
图5为本申请实施例中多帧红外图像弱小目标检测方法的第二实验效果图。
图6为本申请实施例中多帧红外图像弱小目标检测装置的结构示意图。
图7为本申请实施例中计算机设备的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。
图1为本申请一些实施方式中一种多帧红外图像弱小目标检测方法的流程图，如图1所示，可以包括以下步骤S1-S4：
S1、以预设的时间间隔获取多帧连续的红外图像。
自然界中，一切物体都可以辐射红外线，因此利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。
S2、通过所述弱小目标检测网络模型从当前帧红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到当前帧初始目标分割图像，存储当前帧初始目标分割图像。
一些实施方式中，所述弱小目标检测网络模型的表达式为：
f＝fT∪fB (2)
其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域。
与背景技术中的表达式(1)不同，表达式(2)中的各个变量被去掉了位置索引，用来表示区域而非像素。根据表达式(2)，本申请将红外弱小目标检测问题转化为将图像划分成目标区域和背景区域的二类分割问题。
本申请中的弱小目标检测网络模型，我们简称为SDDNet(small and dim targetsdetection network)模型。该弱小目标检测网络模型本质上是一个二类分割网络，它的作用是把图像中的目标区域和背景区域分割开来，其输入为图像，输出为目标与背景的二类分割图，输出的二类分割图与输入的红外图像大小相同。该弱小目标检测网络模型的结构设计非常简单，使用了尽可能少的网络层数，同时未使用图像分割中常用的多分辨率处理、多层特征融合等策略，提高了运算效率，处理速度非常快，在典型单个GPU上平均可以达到600多FPS。同时，该网络非常适合于弱小目标提取，可以获得接近于1的目标检测概率，同时保持很低的虚警率。
一些实施方式中，所述弱小目标检测网络模型采用编码器-解码器(encoder-decoder)结构。
编码器用于所述红外图像中的特征数据提取，采用了堆栈残差块(stackresidual blocks)结构，具有强大的特征提取能力，可以从弱小目标不显著的表观中提取到有利于目标分割的显著特征。
解码器用于目标区域的分割，采用了堆栈上采样块(stack upsample block)结构，其作用是逐层恢复特征图的尺寸，最终得到与输入图像大小相同的目标分割图像。
S3、将当前帧初始目标分割图像输入至帧间关联网络模型，以预先存储的前N帧的初始目标分割图像为参考，对当前帧初始目标分割图像进行修正，得到当前帧目标分割图像；其中，N为大于等于1的整数。
一些实施方式中，所述对当前帧初始目标分割图像进行修正，包括以下步骤：对当前帧初始目标分割图像进行虚警剔除和漏检补充。
本申请中的帧间关联网络模型，我们简称为IC(interframe correlation)网络模型。弱小目标检测网络模型与帧间关联网络模型组合后的模型称为IC-SDDNet(SDDNetwith interframe correlation)模型。
在实际应用中，常常可以获得关于目标的连续多帧图像，即图像序列。图像序列中记录了目标在某一个时间段的强度、形状及运动轨迹等信息。相比于单张图像，图像序列提供的信息更加丰富。如果能有效利用这些信息，可以进一步提升目标检测的精度。本申请设计了一个基于神经网络的帧间关联(IC)模块，用于捕捉、融合这些信息。在有连续多帧图像可用的情况下，IC模型可以接续到SDDNet模型之后，有效抑制背景杂波并提取真实目标。在多个极弱小目标数据集上的测试结果表明，IC-SDDNet模型可以进一步降低虚警率，同时保持很高的检测率。在实时系统中，当前时刻为t时，只有t时刻及t时刻之前的图像信息可以利用。因此，IC模型只利用第t-N+1时刻到t时刻共N帧图像信息。
IC模型仍然采用了与SDDNet模型类似的编码器-解码器架构，但是网络结构更加精炼。其中，编码器部分仅采用了3个残差块(residual blocks)，主要用来进行多帧图像分割结果的特征提取和融合；解码器仅采用同样数量的上采样块(upsample blocks)，主要用来逐层恢复特征图至输入图像尺寸，并输出修正后的当前时刻图像分割结果。
S4、将当前帧目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到所述二值图像中的目标的特征信息。
SDDNet模型输出的是目标分割图像，目标分割图中给出了红外图像中一个像素归属于目标的概率(理想状态下，目标像素的概率为1，背景像素的概率为0)。
二值图像是指在图像中，灰度等级只有两种，也就是说，图像中的任何像素点的灰度值均为0或者255，分别代表黑色和白色。本申请中，二值图像的白色区域表述目标区域，黑色区域表示背景区域。
一些实施方式中，所述将当前帧目标分割图像转化成二值图像，包括以下步骤S411-S412：
S411：从当前帧目标分割图像中获取第一像素；所述第一像素为当前帧目标分割图像中的任一像素；
所述第一像素为所述目标分割图像中的任一像素；
S412：将所述第一像素的辐射强度与预设的强度阈值进行比较，若所述辐射强度小于所述强度阈值，则将所述第一像素的灰度值设定为0，若所述辐射强度大于所述强度阈值，则将所述第一像素的灰度值设定为255；最终设定当前帧目标分割图像中的任一像素的灰度值，以得到所述二值图像。
一些实施方式中，所述强度阈值的表达式为：
Tr＝m+0.5*(maxv-m) (3)
其中，Tr表示所述强度阈值，m表示当前帧目标分割图像中的各像素的平均辐射强度，maxv表示当前帧目标分割图像中的各像素的最大辐射强度。
二值图像的连通区域标记是指对图像中不同连通区域中的像素设置唯一的标号，是计算机视觉、模式识别和图像处理等领域中众多算法的基础。
一些实施方式中，所述标记所述二值图像的连通区域，以得到目标的特征信息，包括以下步骤S421-S428：
S421：预设并初始化连通区标记二维数组b、连通区点数记录数组d、连通区合并标记数组t；
S422：从所述二值图像的左上方开始，按从左到右、从上到下的顺序逐点扫描所述二值图像的像素点p，判断像素点p的灰度值是否等于0；若是，则执行步骤S423；若否，则执行步骤S426；
S423:对像素点p所属连通区进行判断并标记：
从连通区标记二维数组b中取像素点p的左、左上、上和右上四个邻近点的连通区序号值，分别记为x1、x2、x3、x4，如果x1、x2、x3、x4中某些点超出边界无法取得，则将其设为0；
另设变量x，定义其取值规则为：若x2、x3、x4均为0，则x取0，否则x按顺序取第一个非0值；在获得x的值后，按以下步骤进行：
a)若x＝0，且x1＝0，则像素点p为新的连通区，按照k＝k+1的序号累加方式得到一个新的连通区序号k，k为连通区序号，初始时k设为0，使得检测到的第一个连通区序号为1，并在检测到新的连通区后逐渐递增，根据图像像素点p的位置，将新的连通区序号k记录在连通区标记二维数组b中，并将连通区点数记录数组d中新的连通区序号k对应的元素加1,即d[k]＝d[k]+1；然后，转向步骤S423；
b)若x＝0，且x1≠0，则像素点p不是新的连通区，p点属于x1的连通区，故在连通区标记二维数组b中将像素点p的连通区序号标记为x1，并修改连通区点数记录数组d，将连通区点数记录数组d中连通区序号标记为x1对应的元素加1，即d[x1]＝d[x1]+1；然后，转向步骤S426；
c)若x3＝0，x4≠0，且x1、x2存在非0值时，像素点p承担了将两个连通区连接起来的功能，取得x4的值以及x1、x2中的第一个非0值，共两个值，然后转向步骤S324；
d)若上面条件均不满足，转向步骤S425；
S424：根据连通区合并标记数组t，检查步骤c)中所取两个值代表的连通区是否已合并，
若未合并，则在连通区合并标记数组t中将这两个连通区序号作合并标记,标记的方法是，
若i、j两个连通区需要合并，则改写t[i]＝j或者t[j]＝i；
S425：在连通区标记二维数组b中将图像像素点p的连通区序号标记为m，并将m域的点数加1，即d[m]＝d[m]+1；
S426：检查图像是否扫描完毕，若还没扫描完毕转向步骤S422，若已扫描完毕，则执行步骤S427；
S427：根据连通区合并标记数组t，对前面步骤得到的连通区标记二维数组b和连通区点数记录数组d进行修改，实现连通区的合并处理，扫描连通区标记二维数组b的非0点，设其序号的值为j，j为连通区标记二维数组b的非0点的连通区序号，根据t[j]取值做如下处理：
a)若t[j]＝0，说明以j为连通区序号的点构成了一个单独的域，不需要与任何其他域进行合并；
b)若t[j]≠0，说明以j为序号标记值的域与以t[j]为标记值的域是连通的，应进行合并，将所有连通序号标记为j的点修改为t[j]，同时修改连通区点数数组d，d[t[j]]＝d[j]+d[t[j]]，然后将d[j]清0；
S428：依据最终的连通区标记二维数组b和连通区点数记录数组d来确定连通区数量、点数和位置分布等信息，即得到目标的特征信息。
一些实施方式中，所述特征信息包括所述目标的位置、尺寸、形状等。
一些实施方式中，该多帧红外图像弱小目标检测方法还包括步骤S5：根据所述特征信息得到所述目标对应的外接矩形框图像。
弱小目标检测网络模型、帧间关联网络模型分别由神经网络模型训练得到。
一些实施方式中，在步骤S1之前，该多帧红外图像弱小目标检测方法还包括以下步骤S01-S04：
S01、创建所述弱小目标检测网络模型。
S02、分别对多个训练用红外图像进行预处理，得到多个预处理训练图像。
所述预处理包括图像尺寸调整、图像旋转以及图像翻转等。
S03、分别获取各预处理训练图像所对应的初始训练目标分割图像样本。
人工预先为每个训练用红外图像设置对应的初始训练目标分割图像样本，弱小目标检测网络模型在训练过程中计算实际生成的训练目标分割图像与预先设置的初始训练目标分割图像样本之间的偏差，根据偏差大小做自我参数调整，达到训练目的。
S04、通过所述弱小目标检测网络模型的卷积层分别提取各预处理训练图像中的第一训练特征数据，以各初始训练目标分割图像样本作为所述第一训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，直至所述弱小目标检测网络模型的参数收敛，得到训练后的所述弱小目标检测网络模型。
一些实施方式中，在步骤S04之后，步骤S1之前，该多帧红外图像弱小目标检测方法还包括以下步骤S05-S08：
S05、创建所述帧间关联网络模型。
S06、预设多组训练用目标分割图像集合。训练用目标分割图像集合包括多帧连续的训练用目标分割图像。
训练用目标分割图像由训练后的弱小目标检测网络模型输出得到。
S07、分别获取各组训练用目标分割图像集合所对应的意向训练目标分割图像样本。
人工预先为每组训练用目标分割图像集合设置对应的意向训练目标分割图像样本，帧间关联网络模型在训练过程中计算实际生成的最终训练目标分割图像与预先设置的意向训练目标分割图像样本之间的偏差，根据偏差大小做自我参数调整，达到训练目的。
S08、通过所述帧间关联网络模型的卷积层分别提取各组预处理训练图像中的第二训练特征数据，以意向训练目标分割图像样本作为所述第二训练特征数据的输出参考，对所述帧间关联网络模型进行训练，直至所述帧间关联网络模型的参数收敛。
通过训练，使得IC模型能够学习到真实目标的空间域和时间域特征，进而实现以下功能：1、对于单帧检测结果中，由于与目标高度相似而被错误划分为目标的背景杂波(通常称为虚警)，IC模型予以剔除；2、对于单帧检测结果中，由于表观过于弱小而未能被提取的目标(通常称为漏检)，IC模型能够予以填补。
一些实施方式中，所述以各目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，包括以下步骤S041-S042：
S041、以训练目标分割图像样本为参考，通过加权的二值交叉熵(binary crossentropy)函数计算得到所述弱小目标检测网络模型输出的训练目标分割图像的误差。
可选地，加权的二值交叉熵函数的表达式为：
l＝w·y·logx+(1-w)(1-y)log(1-x) (4)
其中，l表示所述误差，x为所述弱小目标检测网络模型的输出结果，y为标签，w为统计得到的预处理训练图像中背景区域面积的占比。考虑到弱小目标图像中，目标与背景的平衡问题，本申请在训练弱小目标检测网络模型过程时，采用了加权的二值交叉熵函数。w可设为0.9859。通过w的调节，一张训练图像中，目标损失与背景损失处在一个大体相当的水平。这很好地避免了训练过程被面积占多的背景主导，从而更好地学习到弱小目标的特征，提高网络的有效性。
S042、采用反向传导法根据所述误差调整所述弱小目标检测网络模型各层的参数。
本实施例中，收集了约100段红外极弱小目标图像序列，共计约包含80000张图像，其中，90％用于训练，10％用于训练验证。IC模型与SDDNet模型采用的二值交叉熵函数相同，在此不再赘述。训练是在NVIDIA DGX工作站上进行的，该工作站有四个Tesla V100gpu，采用分布式数据并行框架。在NVIDIA GPU加速容器中使用优化的PyTorch深度学习框架来实现所需模型。具体的训练策略如下：将每帧训练图像左右翻转进行数据增强以扩充训练集。在每张GPU上我们一次处理32帧图像，在卷积层和激活函数之间对数据进行批量正则化。使用Adam作为优化器，其参数b1和b2分别设置为0.5和0.999。训练SDDNet模型时，学习率设置为0.0001；训练IC模型时，学习效率设置为0.001。SDDNet模型、IC模型都是在不使用随机失活技术(dropout)的情况下训练的。在迭代过程中跟踪验证错误，在训练结束时，使用产生该错误最小值的权重。
图2展示了6组数据集(S1-S6)仅通过本申请中的弱小目标检测网络模型进行单帧检测后获得的典型结果。其中，第一行为输入至SDDNet模型的原始红外图像；第二行为SDDNet模型输出的图像分割结果。图像分割结果中给出了每一像素属于目标的概率，采用强度阈值Tr对该图进行二值化处理以提取目标。第三行为目标的外接矩形框图像。第四行给出了6组数据对应的关于Tr的ROC(Receiver operating characteristic)。PD(probability of detection)和FA(probability of false alarm)被用来评估弱小目标检测方法的性能。PD表示检测到真实目标的概率，FA表示错误检测到目标的概率。
可以看到，从较低的FA开始，PD就比较稳定地达到了接近于1的较高水平。需要特别指出的是，现有的弱小目标检测方法的FA的上限一般为1，对应于最低阈值。而本申请中，FA有一个非常低的上限(图2中ROC曲线末端的点)，其原因是，SDDNet模型输出的图像分割结果非常精确，在这个结果图中，绝大部分的背景杂波被彻底滤除掉了，这些区域的值确定地为0。因此，即使Tr＝0，最终的目标提取结果仍然会保持很低的FA。而现有的方法对于背景杂波的抑制效果往往不佳，因此其FA上限也较高。在实际应用中，最优阈值可根据ROC确定。
图3展示了N取最优帧数5时，IC-SDDNet模型在上述6组数据集上的ROC曲线。对比图2中ROC曲线可以看到，对应于相近PD的FA的值显著降低了。这证明IC模型确实起到了降低虚警的作用。
图4和图5给出了IC-SDDNet模型的输出结果经过后处理得到的目标检测结果，第一行为原连续帧红外图像，第二行为SDDNet模型的检测结果，第三行为IC-SDDNet模型的检测结果。对比SDDNet模型的检测结果可以看到，图4中，SDDNet模型将一些与目标辐射特性极其相似的背景杂波作为目标错误地检出了，造成了虚警(见图4第2、3和6帧)；图5中，由于某些图像帧中目标辐射太弱，SDDNet模型未能将这些目标检出，造成了漏检(见图5第2行最后一帧)。而IC-SDDNet模型的检测结果则没有出现虚警和漏检的错误。这主要得益于IC模型能够根据目标的时空特征，对误检目标进行剔除，同时对一些漏检目标进行补充。
上述实施例中，通过SDDNet模型将目标检测问题转换成图像分割问题来解决，并且通过IC模型实现了多帧红外图像的检测，克服了单帧红外图像检测中虚警、漏检等问题,有效提高了红外图像中的弱小目标检测精度，且运行高效。
基于相同的技术构思，本申请还提供了一种多帧红外图像弱小目标检测装置，其可用于多帧红外图像中的弱小目标检。本申请实施例中的装置能够实现对应于上述图1所对应的实施例中所执行的多帧红外图像弱小目标检测的方法的步骤。该装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图6所示，该装置包括获取模块1和处理模块2。所述处理模块2和获取模块2的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块2可用于控制所述获取模块1的收发操作。
所述获取模块1，用于以预设的时间间隔获取多帧连续的红外图像。
所述处理模块2，用于通过弱小目标检测网络模型从所述获取模块所获取的当前帧红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到当前帧初始目标分割图像，存储当前帧初始目标分割图像；将当前帧初始目标分割图像输入至帧间关联网络模型，以预先存储的前N帧的初始目标分割图像为参考，对当前帧初始目标分割图像进行修正，得到当前帧目标分割图像；其中，N为大于等于1的整数；将当前帧目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到所述二值图像中的目标的特征信息；
所述弱小目标检测网络模型的表达式为：
f＝fT∪fB
其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域。
上述实施例中，通过SDDNet模型将目标检测问题转换成图像分割问题来解决，并且通过IC模型实现了多帧红外图像的检测，克服了单帧红外图像检测中虚警、漏检等问题,有效提高了红外图像中的弱小目标检测精度，且运行高效。
基于相同的技术构思，本申请还提供了一种计算机设备，如图7所示，该计算机设备包括输入输出单元31、处理器32和存储器33，所述存储器33中存储有计算机可读指令，所述计算机可读指令被所述处理器32执行时，使得所述处理器执行上述各实施方式中的所述的多帧红外图像弱小目标检测方法的步骤。
图6中所示的获取模块1对应的实体设备为图7所示的输入输出单元31，该输入输出单元31能够实现获取模块1部分或全部的功能，或者实现与获取模块1相同或相似的功能。
图6中所示的处理模块2对应的实体设备为图7所示的处理器32，该处理器32能够实现处理模块2部分或全部的功能，或者实现与处理模块2相同或相似的功能。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施方式中的所述的多帧红外图像弱小目标检测方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。

Claims (9)

1.一种多帧红外图像弱小目标检测方法，其特征在于，包括：
以预设的时间间隔获取多帧连续的红外图像，将各红外图像依次输入至弱小目标检测网络模型；
通过所述弱小目标检测网络模型从当前帧红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到当前帧初始目标分割图像，存储当前帧初始目标分割图像；
所述弱小目标检测网络模型的表达式为： f＝fT∪fB，
其中，f表示红外图像，fT表示红外图像的目标区域，fB表示红外图像的背景区域；
将当前帧初始目标分割图像输入至帧间关联网络模型，以预先存储的前N帧的初始目标分割图像为参考，对当前帧初始目标分割图像进行虚警剔除和漏检补充修正，得到当前帧目标分割图像；其中，N为大于等于1的整数；
将当前帧目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到所述二值图像的目标特征信息；
所述标记所述二值图像的连通区域，以得到所述二值图像的目标特征信息，包括以下步骤S421-S428：
S421：预设并初始化连通区标记二维数组b、连通区点数记录数组d、连通区合并标记数组t；
S422：从所述二值图像的左上方开始，按从左到右、从上到下的顺序逐点扫描所述二值图像的像素点p，判断像素点p的灰度值是否等于0；若是，则执行步骤S423；若否，则执行步骤S426；
S423:对像素点p所属连通区进行判断并标记：
从连通区标记二维数组b中取像素点p的左、左上、上和右上四个邻近点的连通区序号值，分别记为x1、x2、x3、x4，如果x1、x2、x3、x4中某些点超出边界无法取得，则将其设为0；
另设变量x，定义其取值规则为：若x2、x3、x4均为0，则x取0，否则x 按顺序取第一个非0值；在获得x的值后，按以下步骤进行：
a)若x＝0，且x1＝0，则像素点p为新的连通区，按照k＝k+1的序号累加方式得到一个新的连通区序号k，k为连通区序号，初始时k设为0，使得检测到的第一个连通区序号为1，并在检测到新的连通区后逐渐递增，根据图像像素点p的位置，将新的连通区序号k记录在连通区标记二维数组b中，并将连通区点数记录数组d中新的连通区序号k对应的元素加1 ,即d[k]＝d[k]+1；然后，转向步骤S423；
b)若x＝0，且x1≠0，则像素点p不是新的连通区，p点属于x1的连通区，故在连通区标记二维数组b中将像素点p的连通区序号标记为x1，并修改连通区点数记录数组d，将连通区点数记录数组d中连通区序号标记为x1对应的元素加1，即d[x1]＝d[x1]+1；然后，转向步骤S426；
c)若x3＝0，x4≠0，且x1、x2存在非0值时，像素点p承担了将两个连通区连接起来的功能，取得x4的值以及x1、x2中的第一个非0值，共两个值，然后转向步骤S424；
d)若上面条件均不满足，转向步骤S425；
S424：根据连通区合并标记数组t，检查步骤c)中所取两个值代表的连通区是否已合并，
若未合并，则在连通区合并标记数组t中将这两个连通区序号作合并标记 , 标记的方法是，
若i、j两个连通区需要合并，则改写t[i]＝j或者t[j]＝i；
S425：在连通区标记二维数组b中将图像像素点p的连通区序号标记为m，并将m域的点数加1，即d[m]＝d[m]+1；
S426：检查图像是否扫描完毕，若还没扫描完毕转向步骤S422，若已扫描完毕，则执行步骤S427；
S427：根据连通区合并标记数组t，对前面步骤得到的连通区标记二维数组 b和连通区点数记录数组d进行修改，实现连通区的合并处理，扫描连通区标记二维数组b的非0点，设其序号的值为j，j为连通区标记二维数组b的非0点的连通区序号，根据t[j]取值做如下处理：
a)若t[j]＝0，说明以j为连通区序号的点构成了一个单独的域，不需要与任何其他域进行合并；
b)若t[j]≠0，说明以j为序号标记值的域与以t[j]为标记值的域是连通的，应进行合并，将所有连通序号标记为j的点修改为t[j]，同时修改连通区点数数组d，d[t[j]]＝d[j]+d[t[j]]，然后将d[j]清0；
S428：依据最终的连通区标记二维数组b和连通区点数记录数组d来确定连通区数量、点数和位置分布等信息，即得到目标的特征信息。
2.根据权利要求1所述的多帧红外图像弱小目标检测方法，其特征在于，
所述将当前帧目标分割图像转化成二值图像，包括以下步骤：
从当前帧目标分割图像中获取第一像素；所述第一像素为当前帧目标分割图像中的任一像素；
将所述第一像素的辐射强度与预设的强度阈值进行比较，若所述辐射强度小于所述强度阈值，则将所述第一像素的灰度值设定为0，若所述辐射强度大于所述强度阈值，则将所述第一像素的灰度值设定为255；最终设定当前帧目标分割图像中的任一像素的灰度值，以得到所述二值图像。
3.根据权利要求2所述的多帧红外图像弱小目标检测方法，其特征在于，
所述强度阈值的表达式为：，
其中，Tr表示所述强度阈值，m表示当前帧目标分割图像中的各像素的平均辐射强度，maxv表示当前帧目标分割图像中的各像素的最大辐射强度。
4.根据权利要求1所述的多帧红外图像弱小目标检测方法，其特征在于，
在所述以预设的时间间隔获取多帧连续的红外图像之前，还包括以下步骤：
创建所述弱小目标检测网络模型；
分别对多个训练用红外图像进行预处理，得到多个预处理训练图像；
分别获取各预处理训练图像所对应的训练目标分割图像样本；
通过所述弱小目标检测网络模型分别提取各预处理训练图像中的训练特征数据，以各训练目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，直至所述弱小目标检测网络模型的参数收敛，得到训练后的所述弱小目标检测网络模型。
5.根据权利要求1所述的多帧红外图像弱小目标检测方法，其特征在于，
在所述以预设的时间间隔获取多帧连续的红外图像之前，还包括以下步骤： 创建所述帧间关联网络模型；
预设多组训练用目标分割图像集合；训练用目标分割图像集合包括多帧连续的训练用目标分割图像；
分别获取各组训练用目标分割图像集合所对应的意向训练目标分割图像样本；
通过所述帧间关联网络模型分别提取各组预处理训练图像中的第二训练特征数据，以意向训练目标分割图像样本作为所述第二训练特征数据的输出参考，对所述帧间关联网络模型进行训练，直至所述帧间关联网络模型的参数收敛。
6.根据权利要求1所述的多帧红外图像弱小目标检测方法，其特征在于，
所述特征信息包括所述目标的位置、尺寸、形状。
7.一种多帧红外图像弱小目标检测装置，其特征在于，包括：
获取模块，用于以预设的时间间隔获取多帧连续的红外图像；
处理模块，用于通过弱小目标检测网络模型从所述获取模块所获取的当前帧红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到当前帧初始目标分割图像，存储当前帧初始目标分割图像；将当前帧初始目标分割图像输入至帧间关联网络模型，以预先存储的前N帧的初始目标分割图像为参考，对当前帧初始目标分割图像进行虚警剔除和漏检补充修正，得到当前帧目标分割图像；其中，N为大于等于1的整数；将当前帧目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到所述二值图像的目标特征信息；
所述弱小目标检测网络模型的表达式为： f＝fT∪fB，其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域；
所述标记所述二值图像的连通区域，以得到所述二值图像的目标特征信息，包括以下步骤S421-S428：
S421：预设并初始化连通区标记二维数组b、连通区点数记录数组d、连通区合并标记数组t；
S422：从所述二值图像的左上方开始，按从左到右、从上到下的顺序逐点扫描所述二值图像的像素点p，判断像素点p的灰度值是否等于0；若是，则执行步骤S423；若否，则执行步骤S426；
S423:对像素点p所属连通区进行判断并标记：
从连通区标记二维数组b中取像素点p的左、左上、上和右上四个邻近点的连通区序号值，分别记为x1、x2、x3、x4，如果x1、x2、x3、x4中某些点超出边界无法取得，则将其设为0；
另设变量x，定义其取值规则为：若x2、x3、x4均为0，则x取0，否则x 按顺序取第一个非0值；在获得x的值后，按以下步骤进行：
a)若x＝0，且x1＝0，则像素点p为新的连通区，按照k＝k+1的序号累加方式得到一个新的连通区序号k，k为连通区序号，初始时k设为0，使得检测到的第一个连通区序号为1，并在检测到新的连通区后逐渐递增，根据图像像素点p的位置，将新的连通区序号k记录在连通区标记二维数组b中，并将连通区点数记录数组d中新的连通区序号k对应的元素加1 ,即d[k]＝d[k]+1；然后，转向步骤S423；
b)若x＝0，且x1≠0，则像素点p不是新的连通区，p点属于x1的连通区，故在连通区标记二维数组b中将像素点p的连通区序号标记为x1，并修改连通区点数记录数组d，将连通区点数记录数组d中连通区序号标记为x1对应的元素加1，即d[x1]＝d[x1]+1；然后，转向步骤S426；
c)若x3＝0，x4≠0，且x1、x2存在非0值时，像素点p承担了将两个连通区连接起来的功能，取得x4的值以及x1、x2中的第一个非0值，共两个值，然后转向步骤S424；
d)若上面条件均不满足，转向步骤S425；
S424：根据连通区合并标记数组t，检查步骤c)中所取两个值代表的连通区是否已合并，
若未合并，则在连通区合并标记数组t中将这两个连通区序号作合并标记 , 标记的方法是，
若i、j两个连通区需要合并，则改写t[i]＝j或者t[j]＝i；
S425：在连通区标记二维数组b中将图像像素点p的连通区序号标记为m，并将m域的点数加1，即d[m]＝d[m]+1；
S426：检查图像是否扫描完毕，若还没扫描完毕转向步骤S422，若已扫描完毕，则执行步骤S427；
S427：根据连通区合并标记数组t，对前面步骤得到的连通区标记二维数组 b和连通区点数记录数组d进行修改，实现连通区的合并处理，扫描连通区标记二维数组b的非0点，设其序号的值为j，j为连通区标记二维数组b的非0点的连通区序号，根据t[j]取值做如下处理：
a)若t[j]＝0，说明以j为连通区序号的点构成了一个单独的域，不需要与任何其他域进行合并；
b)若t[j]≠0，说明以j为序号标记值的域与以t[j]为标记值的域是连通的，应进行合并，将所有连通序号标记为j的点修改为t[j]，同时修改连通区点数数组d，d[t[j]]＝d[j]+d[t[j]]，然后将d[j]清0；
S428：依据最终的连通区标记二维数组b和连通区点数记录数组d来确定连通区数量、点数和位置分布等信息，即得到目标的特征信息。
8.一种计算机设备，其特征在于，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中的任一所述的多帧红外图像弱小目标检测方法中的步骤。
9.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中的任一所述的多帧红外图像弱小目标检测方法中的步骤。
CN202011297947.5A 2020-11-19 2020-11-19 多帧红外图像弱小目标检测方法、装置、设备和存储介质 Active CN112395990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011297947.5A CN112395990B (zh) 2020-11-19 2020-11-19 多帧红外图像弱小目标检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011297947.5A CN112395990B (zh) 2020-11-19 2020-11-19 多帧红外图像弱小目标检测方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112395990A CN112395990A (zh) 2021-02-23
CN112395990B true CN112395990B (zh) 2024-04-12

Family

ID=74607235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011297947.5A Active CN112395990B (zh) 2020-11-19 2020-11-19 多帧红外图像弱小目标检测方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112395990B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665015B (zh) * 2023-06-26 2024-04-02 中国科学院长春光学精密机械与物理研究所 一种基于YOLOv5的红外序列图像弱小目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403433A (zh) * 2016-05-20 2017-11-28 南京理工大学 一种复杂云背景下红外小目标检测方法
CN110827262A (zh) * 2019-11-06 2020-02-21 西北工业大学 一种基于连续有限帧红外图像的弱小目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10671855B2 (en) * 2018-04-10 2020-06-02 Adobe Inc. Video object segmentation by reference-guided mask propagation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403433A (zh) * 2016-05-20 2017-11-28 南京理工大学 一种复杂云背景下红外小目标检测方法
CN110827262A (zh) * 2019-11-06 2020-02-21 西北工业大学 一种基于连续有限帧红外图像的弱小目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李天甲 ; 许四祥 ; 姚志生 ; 王洋 ; .基于DSP的自适应弱小目标检测方法.计算机应用与软件.2018,(01),全文. *

Also Published As

Publication number Publication date
CN112395990A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
EP1693782B1 (en) Method for facial features detection
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
KR20170110609A (ko) 타깃 획득 방법 및 장치
Al-Hmouz et al. License plate localization based on a probabilistic model
Khalifa et al. Malaysian Vehicle License Plate Recognition.
Ten Kate et al. Mid-range and distant vehicle detection with a mobile camera
CN111666842A (zh) 一种基于双流空洞卷积神经元网络的阴影检测方法
CN112395990B (zh) 多帧红外图像弱小目标检测方法、装置、设备和存储介质
CN113989794B (zh) 一种车牌检测和识别方法
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN114626445B (zh) 基于光流网络与高斯背景建模的大坝白蚁视频识别方法
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
Lin et al. Knowledge-based hierarchical region-of-interest detection
CN113409352B (zh) 单帧红外图像弱小目标检测方法、装置、设备和存储介质
Khosla et al. A neuromorphic system for object detection and classification
Das et al. Application of Extended Hough Transform Technique for Stationary Images in Vehicle License Plate
US20220292292A1 (en) Apparatus and method for recognizing formalized character set based on weakly supervised localization
CN116994261B (zh) 一种大数据精准教学智能题卡图像智能识别系统
CN114898410B (zh) 一种基于小波变换的跨分辨率行人重识别方法
CN112419227B (zh) 基于小目标搜索缩放技术的水下目标检测方法和系统
Oh et al. Improved deeplab v3+ with metadata extraction for small object detection in intelligent visual surveillance systems
Patel et al. An introduction to license plate detection system
Aldabbagh et al. Novel algorithm for Iraqi car license plate detection and recognition
CN114004742A (zh) 图像重建方法、训练方法、检测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant