CN113409352B - 单帧红外图像弱小目标检测方法、装置、设备和存储介质 - Google Patents
单帧红外图像弱小目标检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN113409352B CN113409352B CN202011297946.0A CN202011297946A CN113409352B CN 113409352 B CN113409352 B CN 113409352B CN 202011297946 A CN202011297946 A CN 202011297946A CN 113409352 B CN113409352 B CN 113409352B
- Authority
- CN
- China
- Prior art keywords
- image
- connected region
- target
- weak
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000001514 detection method Methods 0.000 claims abstract description 89
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 238000003709 image segmentation Methods 0.000 claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 230000005855 radiation Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000033962 Fontaine progeroid syndrome Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了单帧红外图像弱小目标检测方法、装置、设备和存储介质，方法包括：获取红外图像。通过弱小目标检测网络模型从红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像。将目标分割图像转化成二值图像，并标记二值图像的连通区域，以得到目标的特征信息。将目标检测问题转换成图像分割问题来解决，有效提高了单帧红外图像中的弱小目标检测精度，且运行高效。
Description
技术领域
本申请涉及信息技术领域，尤其涉及单帧红外图像弱小目标检测方法、装置、设备和存储介质。
背景技术
当传感器进行远距离探测时，兴趣目标经常表现出面积小、信噪比低的特点，我们称之为弱小目标。复杂背景下的弱小目标检测是精确制导、红外预警、靶场测量等自动目标识别领域的经典难题。近年来，随着消费级无人机数量的激增，弱小目标检测成为低空安保、要地防护亟待突破的关键技术。
近年来，深度学习技术在诸如图像分类、人脸识别、光学目标检测、跟踪等计算机视觉领域，取得了巨大的成功。一般地，红外图像建模为：
f(x,y)＝fT(x,y)+fB(x,y) (1)
其中，f(x,y)表示(x,y)的像素强度，fT(x,y)，fB(x,y)分别表示目标、背景在(x,y)的强度。表达式(1)认为，在红外图像中，任一像素的强度，可以用目标、背景在该点的红外辐射强度之和来表示。
传统的背景估计与抑制等弱小目标检测方法均是基于表达式(1)提出的。这种方法首先采用各类平滑滤波器，利用邻域像素值估计当前像素值，这称作背景估计。然后,根据表达式(1)通过将原始图像与估计背景相减可以提取潜在目标，这称作背景抑制。
但是，现有的方法的风险在于，在背景抑制中，目标被减去了一个背景估计值(通常不为0)，这会削弱目标的强度。在背景估计方法和抑制方法设计得不够精巧的情况下，这可能导致目标的显著度进一步降低，进而损害检测精度。
发明内容
本申请的主要目的在于解决现有的单帧红外图像弱小目标检测方法精度低、效率差的技术问题。
一种单帧红外图像弱小目标检测方法，包括：
获取红外图像。
通过弱小目标检测网络模型从所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像。
所述弱小目标检测网络模型的表达式为：
f＝fT∪fB
其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域。
将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息。
可选地，所述将所述目标分割图像转化成二值图像，包括以下步骤：
从所述目标分割图像中获取第一像素；所述第一像素为所述目标分割图像中的任一像素。
将所述第一像素的辐射强度与预设的强度阈值进行比较，若所述辐射强度小于所述强度阈值，则将所述第一像素的灰度值设定为0，若所述辐射强度大于所述强度阈值，则将所述第一像素的灰度值设定为255；最终设定所述目标分割图像中的任一像素的灰度值，以得到所述二值图像。。
可选地，所述强度阈值的表达式为：
Tr＝m+0.5*(maxv-m)
其中，Tr表示所述强度阈值，m表示所述目标分割图像中的各像素的平均辐射强度，maxv表示所述目标分割图像中的各像素的最大辐射强度。
可选地，在所述标记所述二值图像的连通区域，以得到目标的特征信息之后，还包括以下步骤：
根据所述特征信息得到所述目标对应的外接矩形框图像。
可选地，在所述获取红外图像之前，还包括以下步骤：
创建所述弱小目标检测网络模型。分别对多个训练用红外图像进行预处理，得到多个预处理训练图像。分别获取各预处理训练图像所对应的训练目标分割图像样本。通过所述弱小目标检测网络模型分别提取各预处理训练图像中的训练特征数据，以各训练目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，直至所述弱小目标检测网络模型的参数收敛，得到训练后的所述弱小目标检测网络模型。
可选地，所述以各目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，包括以下步骤：
以训练目标分割图像样本为参考，通过加权的二值交叉熵函数计算得到所述弱小目标检测网络模型输出的训练目标分割图像的误差。
采用反向传导法根据所述误差调整所述弱小目标检测网络模型各层的参数。
可选地，所述特征信息包括所述目标的位置、尺寸、形状。
基于相同的技术构思，本申请还提供了一种单帧红外图像弱小目标检测装置，包括：
获取模块，用于获取红外图像；
处理模块，用于通过弱小目标检测网络模型从所述获取模块所获取的所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像；将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息。
所述弱小目标检测网络模型的表达式为：
f＝fT∪fB
其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域。
基于相同的技术构思，本申请还提供了一种计算机设备，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上述的单帧红外图像弱小目标检测方法中的步骤。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述的单帧红外图像弱小目标检测方法中的步骤。
本申请的有益效果：将目标检测问题转换成图像分割问题来解决，有效提高了单帧红外图像中的弱小目标检测精度，且运行高效。
附图说明
图1为本申请实施例中单帧红外图像弱小目标检测方法的流程示意图。
图2为本申请实施例中单帧红外图像弱小目标检测方法的实验效果图。
图3为本申请实施例中单帧红外图像弱小目标检测装置的结构示意图。
图4为本申请实施例中计算机设备的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。
图1为本申请一些实施方式中一种单帧红外图像弱小目标检测方法的流程图，如图1所示，可以包括以下步骤S1-S3：
S1、获取红外图像。
自然界中，一切物体都可以辐射红外线，因此利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。
S2、通过弱小目标检测网络模型从所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像。
一些实施方式中，所述弱小目标检测网络模型的表达式为：
f＝fT∪fB (2)
其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域。
与背景技术中的表达式(1)不同，表达式(2)中的各个变量被去掉了位置索引，用来表示区域而非像素。根据表达式(2)，本申请将红外弱小目标检测问题转化为将图像划分成目标区域和背景区域的二类分割问题。
本申请中的弱小目标检测网络模型，我们简称为SDDNet(small and dim targetsdetection network)模型，由神经网络模型训练得到。该弱小目标检测网络模型本质上是一个二类分割网络，它的作用是把图像中的目标区域和背景区域分割开来，其输入为图像，输出为目标与背景的二类分割图，输出的二类分割图与输入的红外图像大小相同。该弱小目标检测网络模型的结构设计非常简单，使用了尽可能少的网络层数，同时未使用图像分割中常用的多分辨率处理、多层特征融合等策略，提高了运算效率，处理速度非常快，在典型单个GPU上平均可以达到600多FPS。同时，该网络非常适合于弱小目标提取，可以获得接近于1的目标检测概率，同时保持很低的虚警率。
一些实施方式中，所述弱小目标检测网络模型采用编码器-解码器(encoder-decoder)结构。
编码器用于所述红外图像中的特征数据提取，采用了堆栈残差块(stackresidual blocks)结构，具有强大的特征提取能力，可以从弱小目标不显著的表观中提取到有利于目标分割的显著特征。
解码器用于目标区域的分割，采用了堆栈上采样块(stack upsample block)结构，其作用是逐层恢复特征图的尺寸，最终得到与输入图像大小相同的目标分割图像。
S3、将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息。
弱小目标检测网络模型输出的是目标分割图像，目标分割图中给出了红外图像中一个像素归属于目标的概率(理想状态下，目标像素的概率为1，背景像素的概率为0)。
二值图像是指在图像中，灰度等级只有两种，也就是说，图像中的任何像素点的灰度值均为0或者255，分别代表黑色和白色。本申请中，二值图像的白色区域表述目标区域，黑色区域表示背景区域。
一些实施方式中，所述将所述目标分割图像转化成二值图像，包括以下步骤：
S311：从所述目标分割图像中获取第一像素；
所述第一像素为所述目标分割图像中的任一像素；
S312：将所述第一像素的辐射强度与预设的强度阈值进行比较，若所述辐射强度小于所述强度阈值，则将所述第一像素的灰度值设定为0，若所述辐射强度大于所述强度阈值，则将所述第一像素的灰度值设定为255；最终设定所述目标分割图像中的任一像素的灰度值，以得到所述二值图像。
一些实施方式中，所述强度阈值的表达式为：
Tr＝m+0.5*(maxv-m) (3)
其中，Tr表示所述强度阈值，m表示所述目标分割图像中的各像素的平均辐射强度，maxv表示所述目标分割图像中的各像素的最大辐射强度。
二值图像的连通区域标记是指对图像中不同连通区域中的像素设置唯一的标号，是计算机视觉、模式识别和图像处理等领域中众多算法的基础。
一些实施方式中，所述标记所述二值图像的连通区域，以得到目标的特征信息，包括以下步骤：
S321：预设并初始化连通区标记二维数组b、连通区点数记录数组d、连通区合并标记数组t；
S322：从所述二值图像的左上方开始，按从左到右、从上到下的顺序逐点扫描所述二值图像的像素点p，判断像素点p的灰度值是否等于0；若是，则执行步骤S323；若否，则执行步骤S326；
S323:对像素点p所属连通区进行判断并标记：
从连通区标记二维数组b中取像素点p的左、左上、上和右上四个邻近点的连通区序号值，分别记为x1、x2、x3、x4，如果x1、x2、x3、x4中某些点超出边界无法取得，则将其设为0；
另设变量x，定义其取值规则为：若x2、x3、x4均为0，则x取0，否则x按顺序取第一个非0值；在获得x的值后，按以下步骤进行：
a)若x＝0，且x1＝0，则像素点p为新的连通区，按照k＝k+1的序号累加方式得到一个新的连通区序号k，k为连通区序号，初始时k设为0，使得检测到的第一个连通区序号为1，并在检测到新的连通区后逐渐递增，根据图像像素点p的位置，将新的连通区序号k记录在连通区标记二维数组b中，并将连通区点数记录数组d中新的连通区序号k对应的元素加1,即d[k]＝d[k]+1；然后，转向步骤S323；
b)若x＝0，且x1≠0，则像素点p不是新的连通区，p点属于x1的连通区，故在连通区标记二维数组b中将像素点p的连通区序号标记为x1，并修改连通区点数记录数组d，将连通区点数记录数组d中连通区序号标记为x1对应的元素加1，即d[x1]＝d[x1]+1；然后，转向步骤S326；
c)若x3＝0，x4≠0，且x1、x2存在非0值时，像素点p承担了将两个连通区连接起来的功能，取得x4的值以及x1、x2中的第一个非0值，共两个值，然后转向步骤S324；
d)若上面条件均不满足，转向步骤S325；
S324：根据连通区合并标记数组t，检查步骤c)中所取两个值代表的连通区是否已合并，
若未合并，则在连通区合并标记数组t中将这两个连通区序号作合并标记,标记的方法是，
若i、j两个连通区需要合并，则改写t[i]＝j或者t[j]＝i；
S325：在连通区标记二维数组b中将图像像素点p的连通区序号标记为m，并将m域的点数加1，即d[m]＝d[m]+1；
S326：检查图像是否扫描完毕，若还没扫描完毕转向步骤S322，若已扫描完毕，则执行步骤S327；
S327：根据连通区合并标记数组t，对前面步骤得到的连通区标记二维数组b和连通区点数记录数组d进行修改，实现连通区的合并处理，扫描连通区标记二维数组b的非0点，设其序号的值为j，j为连通区标记二维数组b的非0点的连通区序号，根据t[j]取值做如下处理：
a)若t[j]＝0，说明以j为连通区序号的点构成了一个单独的域，不需要与任何其他域进行合并；
b)若t[j]≠0，说明以j为序号标记值的域与以t[j]为标记值的域是连通的，应进行合并，将所有连通序号标记为j的点修改为t[j]，同时修改连通区点数数组d，d[t[j]]＝d[j]+d[t[j]]，然后将d[j]清0；
S328：依据最终的连通区标记二维数组b和连通区点数记录数组d来确定连通区数量、点数和位置分布等信息，即得到目标的特征信息。
一些实施方式中，所述特征信息包括所述目标的位置、尺寸、形状等。
一些实施方式中，该单帧红外图像弱小目标检测方法还包括步骤S4：根据所述特征信息得到所述目标对应的外接矩形框图像。
一些实施方式中，在步骤S1之前，该单帧红外图像弱小目标检测方法还包括以下步骤：
S01、创建所述弱小目标检测网络模型。
S02、分别对多个训练用红外图像进行预处理，得到多个预处理训练图像。
所述预处理包括图像尺寸调整、图像旋转以及图像翻转等。
S03、分别获取各预处理训练图像所对应的训练目标分割图像样本。
人工预先为每个训练用红外图像设置对应的训练目标分割图像样本，弱小目标检测网络模型在训练过程中计算实际生成的训练目标分割图像与预先设置的训练目标分割图像样本之间的偏差，根据偏差大小做自我参数调整，达到训练目的。
S04、通过所述弱小目标检测网络模型的卷积层分别提取各预处理训练图像中的训练特征数据，以各训练目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，直至所述弱小目标检测网络模型的参数收敛，得到训练后的所述弱小目标检测网络模型。
一些实施方式中，所述以各目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，包括以下步骤S041-S042：
S041、以训练目标分割图像样本为参考，通过加权的二值交叉熵(binary crossentropy)函数计算得到所述弱小目标检测网络模型输出的训练目标分割图像的误差。
可选地，加权的二值交叉熵函数的表达式为：
l＝w·y·logx+(1-w)(1-y)log(1-x) (4)
其中，l表示所述误差，x为所述弱小目标检测网络模型的输出结果，y为标签，w为统计得到的预处理训练图像中背景区域面积的占比。考虑到弱小目标图像中，目标与背景的平衡问题，本申请在训练弱小目标检测网络模型过程时，采用了加权的二值交叉熵函数。w可设为0.9859。通过w的调节，一张训练图像中，目标损失与背景损失处在一个大体相当的水平。这很好地避免了训练过程被面积占多的背景主导，从而更好地学习到弱小目标的特征，提高网络的有效性。
S042、采用反向传导法根据所述误差调整所述弱小目标检测网络模型各层的参数。
本实施例中，收集了约100段红外极弱小目标图像序列，共计约包含80000张图像，其中，90％用于训练，10％用于训练验证。训练是在NVIDIA DGX工作站上进行的，该工作站有四个Tesla V100 gpu，采用分布式数据并行框架。在NVIDIA GPU加速容器中使用优化的PyTorch深度学习框架来实现所需模型。具体的训练策略如下：将每帧训练图像左右翻转进行数据增强以扩充训练集。在每张GPU上我们一次处理32帧图像，在卷积层和激活函数之间对数据进行批量正则化。使用Adam作为优化器，其参数b1和b2分别设置为0.5和0.999。训练弱小目标检测网络模型时，学习率设置为0.0001。弱小目标检测网络模型在不使用随机失活技术(dropout)的情况下训练的。在迭代过程中跟踪验证错误，在训练结束时，使用产生该错误最小值的权重。
图2展示了该单帧红外图像弱小目标检测方法在6组数据集(S1-S6)上获得的典型结果。其中，第一行为输入至弱小目标检测网络模型的原始红外图像；第二行为弱小目标检测网络模型输出的图像分割结果。图像分割结果中给出了每一像素属于目标的概率，采用强度阈值Tr对该图进行二值化处理以提取目标。第三行为目标的外接矩形框图像。第四行给出了6组数据对应的关于Tr的ROC(Receiver operating characteristic)。PD(probability of detection)和FA(probability of false alarm)被用来评估弱小目标检测方法的性能。PD表示检测到真实目标的概率，FA表示错误检测到目标的概率。
可以看到，从较低的FA开始，PD就比较稳定地达到了接近于1的较高水平。需要特别指出的是，现有的弱小目标检测方法的FA的上限一般为1，对应于最低阈值。而本申请中，FA有一个非常低的上限(图2中ROC曲线末端的点)，其原因是，SDDNet输出的图像分割结果非常精确，在这个结果图中，绝大部分的背景杂波被彻底滤除掉了，这些区域的值确定地为0。因此，即使Tr＝0，最终的目标提取结果仍然会保持很低的FA。而现有的方法对于背景杂波的抑制效果往往不佳，因此其FA上限也较高。在实际应用中，最优阈值可根据ROC确定。
表1给出了采用强度阈值Tr时，该单帧红外图像弱小目标检测方法的结果。同时，表1也给出了具有代表性的现有方法IPI、RW、LCM、MGDWE、Tophat、Maxmean、Maxmed采用同样的阈值计算方法时的目标检测结果。表中“FAIL”表示全图绝大多数地方被标记为目标区域，以致于FA极其高。从表1中可以看到，本申请在绝大多数测试数据上都取得了最好的结果。在部分数据集上，PD或者FA可能不是最好的，但是综合性能是最好的，也即在保持较低FA的同时，获得了较高的PD。
表1
同时，本申请记录了模型的执行效率(表2)。经过TensorRT加速后，在单张NVIDIATesla V100 GPU上，平均帧频高达632FPS；即使在单张NVIDIA Jetson TX2嵌入式AI计算设备上，平均帧频依然能够达到254FPS.因此，本申请的弱小目标检测网络模型非常高效，完全可以对视频图像进行实时处理。同时，可以看到，弱小目标检测网络模型的处理速度几乎不受场景复杂度的影响，这一点对于检测系统的稳定性是非常有利的。
表2
上述实施例中，通过将目标检测问题转换成图像分割问题来解决，有效提高了单帧红外图像中的弱小目标检测精度，且运行高效。
基于相同的技术构思，本申请还提供了一种单帧红外图像弱小目标检测装置，其可用于单帧红外图像中的弱小目标检。本申请实施例中的装置能够实现对应于上述图1所对应的实施例中所执行的单帧红外图像弱小目标检测的方法的步骤。该装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图3所示，该装置包括获取模块1和处理模块2。所述处理模块2和获取模块2的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块2可用于控制所述获取模块1的收发操作。
所述获取模块1，用于获取红外图像。
所述处理模块2，用于通过弱小目标检测网络模型从所述获取模块所获取的所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像；将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息。
所述弱小目标检测网络模型的表达式为：
f＝fT∪fB
其中，f表示所述红外图像，fT表示所述红外图像的目标区域，fB表示所述红外图像的背景区域。
上述实施例中，通过将目标检测问题转换成图像分割问题来解决，有效提高了单帧红外图像中的弱小目标检测精度，且运行高效。
基于相同的技术构思，本申请还提供了一种计算机设备，如图4所示，该计算机设备包括输入输出单元31、处理器32和存储器33，所述存储器33中存储有计算机可读指令，所述计算机可读指令被所述处理器32执行时，使得所述处理器执行上述各实施方式中的所述的单帧红外图像弱小目标检测方法的步骤。
图3中所示的获取模块1对应的实体设备为图4所示的输入输出单元31，该输入输出单元31能够实现获取模块1部分或全部的功能，或者实现与获取模块1相同或相似的功能。
图3中所示的处理模块2对应的实体设备为图4所示的处理器32，该处理器32能够实现处理模块2部分或全部的功能，或者实现与处理模块2相同或相似的功能。
基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施方式中的所述的单帧红外图像弱小目标检测方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。
Claims (10)
1.一种单帧红外图像弱小目标检测方法，其特征在于，包括：
获取红外图像；
通过弱小目标检测网络模型从所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像；
所述弱小目标检测网络模型的表达式为：其中，/>表示所述红外图像，/>表示所述红外图像的目标区域，/>表示所述红外图像的背景区域；
将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息；
所述标记所述二值图像的连通区域，以得到目标的特征信息，包括以下步骤：
S321：预设并初始化连通区标记二维数组b、连通区点数记录数组d、连通区合并标记数组t；
S322：从所述二值图像的左上方开始，按从左到右、从上到下的顺序逐点扫描所述二值图像的像素点p，判断像素点p的灰度值是否等于0；若是，则执行步骤S323；若否，则执行步骤S326；
S323:对像素点p所属连通区进行判断并标记：从连通区标记二维数组b中取像素点p的左、左上、上和右上四个邻近点的连通区序号值，分别记为x1、x2、x3、x4，如果x1、x2、x3、x4中某些点超出边界无法取得，则将其设为0，另设变量x，定义其取值规则为：若x2、x3、x4均为0，则x取0，否则x 按顺序取第一个非0值；在获得x的值后，按以下步骤进行：
a)若x＝0，且x1＝0，则像素点p为新的连通区，按照k＝k+1的序号累加方式得到一个新的连通区序号k，k为连通区序号，初始时k设为0，使得检测到的第一个连通区序号为1，并在检测到新的连通区后逐渐递增，根据图像像素点p的位置，将新的连通区序号k记录在连通区标记二维数组b中，并将连通区点数记录数组d中新的连通区序号k对应的元素加1 ,即d[k]＝d[k]+1；然后，转向步骤S323；
b)若x＝0，且x1≠0，则像素点p不是新的连通区，p点属于x1的连通区，故在连通区标记二维数组b中将像素点p的连通区序号标记为x1，并修改连通区点数记录数组d，将连通区点数记录数组d中连通区序号标记为x1对应的元素加1，即d[x1]＝d[x1]+1；然后，转向步骤S326；
c)若x3＝0，x4≠0，且x1、x2存在非0值时，像素点p承担了将两个连通区连接起来的功能，取得x4的值以及x1、x2中的第一个非0值，共两个值，然后转向步骤S324；
d)若上面条件均不满足，转向步骤S325；
S324：根据连通区合并标记数组t，检查步骤c)中所取两个值代表的连通区是否已合并，若未合并，则在连通区合并标记数组t中将这两个连通区序号作合并标记 , 标记的方法是，若i、j两个连通区需要合并，则改写t[i]＝j或者t[j]＝i；
S325：在连通区标记二维数组b中将图像像素点p的连通区序号标记为m，并将m域的点数加1，即d[m]＝d[m]+1；
S326：检查图像是否扫描完毕，若还没扫描完毕转向步骤S322，若已扫描完毕，则执行步骤S327；
S327：根据连通区合并标记数组t，对前面步骤得到的连通区标记二维数组 b和连通区点数记录数组d进行修改，实现连通区的合并处理，扫描连通区标记二维数组b的非0点，设其序号的值为j，j为连通区标记二维数组b的非0点的连通区序号，根据t[j]取值做如下处理：
a)若t[j]＝0，说明以j为连通区序号的点构成了一个单独的域，不需要与任何其他域进行合并；
b)若t[j]≠0，说明以j为序号标记值的域与以t[j]为标记值的域是连通的，应进行合并，将所有连通序号标记为j的点修改为t[j]，同时修改连通区点数数组d，d[t[j]]＝d[j]+d[t[j]]，然后将d[j]清0；
S328：依据最终的连通区标记二维数组b和连通区点数记录数组d来确定连通区数量、点数和位置分布等信息，即得到目标的特征信息；
所述弱小目标检测结果采用四行图形方式展示，具体为：
第一行为输入至弱小目标检测网络模型的原始红外图像；
第二行为弱小目标检测网络模型输出的图像分割结果；图像分割结果中给出了每一像素属于目标的概率，采用强度阈值Tr对该图进行二值化处理以提取目标；
第三行为目标的外接矩形框图像；
第四行采用PD和FA给出对应的关于强度阈值Tr的ROC，其中：PD表示检测到真实目标的概率，FA表示错误检测到目标的概率。
2.根据权利要求1所述的单帧红外图像弱小目标检测方法，其特征在于，
所述将所述目标分割图像转化成二值图像，包括以下步骤：
从所述目标分割图像中获取第一像素；所述第一像素为所述目标分割图像中的任一像素；
将所述第一像素的辐射强度与预设的强度阈值进行比较，若所述辐射强度小于所述强度阈值，则将所述第一像素的灰度值设定为0，若所述辐射强度大于所述强度阈值，则将所述第一像素的灰度值设定为255；最终设定所述目标分割图像中的任一像素的灰度值，以得到所述二值图像。
3.根据权利要求2所述的单帧红外图像弱小目标检测方法，其特征在于，
所述强度阈值的表达式为：其中，Tr表示所述强度阈值，/>表示所述目标分割图像中的各像素的平均辐射强度，/>表示所述目标分割图像中的各像素的最大辐射强度。
4.根据权利要求1所述的单帧红外图像弱小目标检测方法，其特征在于，
在所述标记所述二值图像的连通区域，以得到目标的特征信息之后，还包括以下步骤：
根据所述特征信息得到所述目标对应的外接矩形框图像。
5.根据权利要求1所述的单帧红外图像弱小目标检测方法，其特征在于，
在所述获取红外图像之前，还包括以下步骤：
创建所述弱小目标检测网络模型；
分别对多个训练用红外图像进行预处理，得到多个预处理训练图像；
分别获取各预处理训练图像所对应的训练目标分割图像样本；
通过所述弱小目标检测网络模型分别提取各预处理训练图像中的训练特征数据，以各训练目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，直至所述弱小目标检测网络模型的参数收敛，得到训练后的所述弱小目标检测网络模型。
6.根据权利要求5所述的单帧红外图像弱小目标检测方法，其特征在于，
所述以各目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，包括以下步骤：
以训练目标分割图像样本为参考，通过加权的二值交叉熵函数计算得到所述弱小目标检测网络模型输出的训练目标分割图像的误差；
采用反向传导法根据所述误差调整所述弱小目标检测网络模型各层的参数。
7.根据权利要求1所述的单帧红外图像弱小目标检测方法，其特征在于，
所述特征信息包括所述目标的位置、尺寸、形状。
8.一种单帧红外图像弱小目标检测装置，其特征在于，包括：
获取模块，用于获取红外图像；
处理模块，用于通过弱小目标检测网络模型从所述获取模块所获取的所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像；将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息；
所述弱小目标检测网络模型的表达式为：其中，/>表示所述红外图像，/>表示所述红外图像的目标区域，/>表示所述红外图像的背景区域；
所述标记所述二值图像的连通区域，以得到目标的特征信息，包括以下步骤：
S321：预设并初始化连通区标记二维数组b、连通区点数记录数组d、连通区合并标记数组t；
S322：从所述二值图像的左上方开始，按从左到右、从上到下的顺序逐点扫描所述二值图像的像素点p，判断像素点p的灰度值是否等于0；若是，则执行步骤S323；若否，则执行步骤S326；
S323:对像素点p所属连通区进行判断并标记：从连通区标记二维数组b中取像素点p的左、左上、上和右上四个邻近点的连通区序号值，分别记为x1、x2、x3、x4，如果x1、x2、x3、x4中某些点超出边界无法取得，则将其设为0，另设变量x，定义其取值规则为：若x2、x3、x4均为0，则x取0，否则x 按顺序取第一个非0值；在获得x的值后，按以下步骤进行：
a)若x＝0，且x1＝0，则像素点p为新的连通区，按照k＝k+1的序号累加方式得到一个新的连通区序号k，k为连通区序号，初始时k设为0，使得检测到的第一个连通区序号为1，并在检测到新的连通区后逐渐递增，根据图像像素点p的位置，将新的连通区序号k记录在连通区标记二维数组b中，并将连通区点数记录数组d中新的连通区序号k对应的元素加1 ,即d[k]＝d[k]+1；然后，转向步骤S323；
b)若x＝0，且x1≠0，则像素点p不是新的连通区，p点属于x1的连通区，故在连通区标记二维数组b中将像素点p的连通区序号标记为x1，并修改连通区点数记录数组d，将连通区点数记录数组d中连通区序号标记为x1对应的元素加1，即d[x1]＝d[x1]+1；然后，转向步骤S326；
c)若x3＝0，x4≠0，且x1、x2存在非0值时，像素点p承担了将两个连通区连接起来的功能，取得x4的值以及x1、x2中的第一个非0值，共两个值，然后转向步骤S324；
d)若上面条件均不满足，转向步骤S325；
S324：根据连通区合并标记数组t，检查步骤c)中所取两个值代表的连通区是否已合并，若未合并，则在连通区合并标记数组t中将这两个连通区序号作合并标记 , 标记的方法是，若i、j两个连通区需要合并，则改写t[i]＝j或者t[j]＝i；
S325：在连通区标记二维数组b中将图像像素点p的连通区序号标记为m，并将m域的点数加1，即d[m]＝d[m]+1；
S326：检查图像是否扫描完毕，若还没扫描完毕转向步骤S322，若已扫描完毕，则执行步骤S327；
S327：根据连通区合并标记数组t，对前面步骤得到的连通区标记二维数组 b和连通区点数记录数组d进行修改，实现连通区的合并处理，扫描连通区标记二维数组b的非0点，设其序号的值为j，j为连通区标记二维数组b的非0点的连通区序号，根据t[j]取值做如下处理：
a)若t[j]＝0，说明以j为连通区序号的点构成了一个单独的域，不需要与任何其他域进行合并；
b)若t[j]≠0，说明以j为序号标记值的域与以t[j]为标记值的域是连通的，应进行合并，将所有连通序号标记为j的点修改为t[j]，同时修改连通区点数数组d，d[t[j]]＝d[j]+d[t[j]]，然后将d[j]清0；
S328：依据最终的连通区标记二维数组b和连通区点数记录数组d来确定连通区数量、点数和位置分布等信息，即得到目标的特征信息；
所述弱小目标检测结果采用四行图形方式展示，具体为：
第一行为输入至弱小目标检测网络模型的原始红外图像；
第二行为弱小目标检测网络模型输出的图像分割结果；图像分割结果中给出了每一像素属于目标的概率，采用强度阈值Tr对该图进行二值化处理以提取目标；
第三行为目标的外接矩形框图像；
第四行采用PD和FA给出对应的关于强度阈值Tr的ROC，其中：PD表示检测到真实目标的概率，FA表示错误检测到目标的概率。
9.一种计算机设备，其特征在于，包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中的任一所述的单帧红外图像弱小目标检测方法中的步骤。
10.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中的任一所述的单帧红外图像弱小目标检测方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011297946.0A CN113409352B (zh) | 2020-11-19 | 2020-11-19 | 单帧红外图像弱小目标检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011297946.0A CN113409352B (zh) | 2020-11-19 | 2020-11-19 | 单帧红外图像弱小目标检测方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409352A CN113409352A (zh) | 2021-09-17 |
| CN113409352B true CN113409352B (zh) | 2024-03-15 |
Family
ID=77677432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011297946.0A Active CN113409352B (zh) | 2020-11-19 | 2020-11-19 | 单帧红外图像弱小目标检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409352B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019000653A1 (zh) * | 2017-06-30 | 2019-01-03 | 清华大学深圳研究生院 | 一种图像目标识别方法及装置 |
| CN109389609A (zh) * | 2018-10-24 | 2019-02-26 | 西安电子科技大学 | 基于fart神经网络的交互自反馈红外目标检测方法 |
| CN110827262A (zh) * | 2019-11-06 | 2020-02-21 | 西北工业大学 | 一种基于连续有限帧红外图像的弱小目标检测方法 |
-
2020
- 2020-11-19 CN CN202011297946.0A patent/CN113409352B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019000653A1 (zh) * | 2017-06-30 | 2019-01-03 | 清华大学深圳研究生院 | 一种图像目标识别方法及装置 |
| CN109389609A (zh) * | 2018-10-24 | 2019-02-26 | 西安电子科技大学 | 基于fart神经网络的交互自反馈红外目标检测方法 |
| CN110827262A (zh) * | 2019-11-06 | 2020-02-21 | 西北工业大学 | 一种基于连续有限帧红外图像的弱小目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 焦建彬等.基于人工神经网络的红外小目标检测.《控制工程》.2010,第第17卷卷(第第5期期),611-613页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409352A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Heinzler et al. | Cnn-based lidar point cloud de-noising in adverse weather | |
| Yousif et al. | Toward an optimized neutrosophic K-means with genetic algorithm for automatic vehicle license plate recognition (ONKM-AVLPR) | |
| CN108229490B (zh) | 关键点检测方法、神经网络训练方法、装置和电子设备 | |
| US6587586B1 (en) | Extracting textual information from a video sequence | |
| Khalifa et al. | Malaysian Vehicle License Plate Recognition. | |
| CN110110667B (zh) | 一种硅藻图像的处理方法、系统及相关组件 | |
| CN112580383B (zh) | 二维码识别方法、装置、电子设备及存储介质 | |
| Ibrahim et al. | License plate recognition (LPR): a review with experiments for Malaysia case study | |
| Thajeel et al. | A Novel Approach for Detection of Copy Move Forgery using Completed Robust Local Binary Pattern. | |
| CN114444565B (zh) | 一种图像篡改检测方法、终端设备及存储介质 | |
| CN112365451A (zh) | 图像质量等级的确定方法、装置、设备及计算机可读介质 | |
| CN111507337A (zh) | 基于混合神经网络的车牌识别方法 | |
| Parvin et al. | Vehicle number plate detection and recognition techniques: a review | |
| CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
| CN113674308A (zh) | 基于图像增强与多重检测的sar图像舰船目标快速检测方法 | |
| Lei et al. | Infrared pedestrian segmentation algorithm based on the two-dimensional Kaniadakis entropy thresholding | |
| de Almeida et al. | Vehicle occurrence-based parking space detection | |
| Hasan et al. | Neural Network-Powered License Plate Recognition System Design | |
| CN112395990B (zh) | 多帧红外图像弱小目标检测方法、装置、设备和存储介质 | |
| CN117218672A (zh) | 一种基于深度学习的病案文字识别方法及系统 | |
| CN113409352B (zh) | 单帧红外图像弱小目标检测方法、装置、设备和存储介质 | |
| CN116953702A (zh) | 基于演绎范式的旋转目标检测方法及装置 | |
| CN117765486A (zh) | 模型训练、车道线检测方法、装置、电子设备及存储介质 | |
| Arafat et al. | A vehicular license plate recognition framework for skewed images | |
| CN115424250A (zh) | 一种车牌识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |