CN111222502A - 一种红外小目标图像标注方法及系统 - Google Patents

Abstract

本发明涉及一种红外小目标图像标注方法及系统，包括：将红外采集设备获取的视频数据中的原始图像转换为8比特单通道图像；将时间相近的三帧单通道图像拼接为一张三通道图像；用标记框对各张三通道图像进行标记；根据标记框中各点的灰度值确定标记框的质心，通过质心重新调整标记框的大小和位置。将时间相近的三帧单通道图像拼接为一张三通道图像，可在单张图像中保留时序信息；然后再对三通道图像中的目标进行标记；最后计算标记框的质心，根据质心调整标记框的大小和位置，将目标及其周围设定范围内的背景包含在标记框中，针对小目标神经网络模型将时域和更丰富的空域信息融合进图像标记中，提升了模型在红外侦查监测设备中的准确性和实用价值。

Description

一种红外小目标图像标注方法及系统

技术领域

本发明涉及红外图像处理领域，尤其涉及一种红外小目标图像标注方法及系统。

背景技术

在当前大数据时代，作为一种数据驱动型的技术，深度卷积神经网络在海量的标注数据支持下进行模型的学习和训练，构建出高性能模型，在目标检测、识别和跟踪等图像处理领域取得了巨大的成功。神经网络在丰富多样的海量标注数据支持下，深度卷积神经网络模型具备很强的泛化能力，能够随着数据的变化自适应地调整，适应不同的应用场景。此外，卷积神经网络优异的表现还得益于其庞大而复杂的深层结构，增强了模型的非线性拟合能力。卷积神经网络具有和生物神经网络相似的权值共享结构，通过分层逐步提取图像中的特征信息，浅层网络提取一些低级特征，深层网络通过对低级特征组合得到高级抽象特征，通过这种层次化结构，深度卷积神经网络实现了从“点”到“线”到“局部”再到“整体”的特征抽象过程，最终完成的分类或检测任务。

在小目标检测和识别的应用中，一般认为大小在3×3像素和9×9像素之间的目标是小目标，在图像中占据整幅图像较小的区域。采用神经网络算法对小目标进行检测和识别时，面临背景环境复杂，目标特征不显著的难点。深度神经网络的深层结构由于下采样的原因，难以获得高级的抽象特征，因此当前主流检测标记方法，训练样本特征不够丰富，直接限制了模型的检测和识别性能。

发明内容

本发明针对现有技术中存在的技术问题，提供一种红外小目标图像标注方法及系统，解决现有标记方法得到的训练样本特征不够丰富的问题。

本发明解决上述技术问题的技术方案如下：一种红外小目标图像标注方法，所述方法包括：

步骤1，将红外采集设备获取的视频数据中的原始图像转换为8比特单通道图像；

步骤2，将时间相近的三帧所述单通道图像拼接为一张三通道图像；

步骤3，用标记框对各张所述三通道图像进行标记；

步骤4，根据所述标记框中各点的灰度值确定所述标记框的质心，调整所述标记框的大小和位置使所述标记框包含所述目标及其周围设定范围内的背景信息。

一种红外小目标图像标注系统，包括：图像预处理模块、图像拼接模块、图像标记模块和标记框确定模块；

图像预处理模块，用于将红外采集设备获取的视频数据中的原始图像转换为单通道图像；

图像拼接模块，用于将时间相近的三帧所述单通道图像拼接为一张三通道图像；

图像标记模块，用标记框对各张所述三通道图像进行标记；

标记框确定模块，根据所述标记框中各点的灰度值确定所述标记框的质心，调整所述标记框的大小和位置使所述质心为所述标记框的中心。

本发明的有益效果是：对图像进行预处理的过程中将时间相近的三帧单通道图像拼接为一张三通道图像，可在单张图像中保留时序信息，然后再对该三通道图像中的目标进行标记，最后确定标记框的质心，根据质心再调整标记框的大小和位置，将目标及其周围设定范围内的背景包含在标记框中。本发明针对小目标神经网络模型将时域和更丰富的空域信息融合进图像标记中，充分发挥神经网络强大的拟合和泛化能力，达到精确识别红外小目标的目的，提升了模型在红外侦查监测设备中的准确性和实用价值。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1中利用红外采集设备原始图像灰度值的均值和标准差对所述原始图像的灰度值做分段线性变换得到所述8比特单通道图像。

进一步，所述分段线性变化的公式为：

其中，μ和σ分别为原始图像的灰度值的均值和标准差，x为原始图像的各点的灰度值，y为线性变换后得到的单通道图像各点的灰度值，

为向下取整运算。

进一步，所述步骤2中将时间相近的三帧所述单通道图像拼接为一张三通道图像的过程包括：

将f_i，f_i+1，f_i+2和f_i，f_i+2，f_i+4分别拼接成一张所述三通道图像；

其中，f_i表示按时序排列的任意第i帧单通道图像。

进一步，所述步骤4中所述质心的坐标的计算公式为：

其中，M和N分别表示标记框包含的子图像的宽度和高度，(x_min,y_min)，和(x_max,y_max)分别表示子图像的左上角坐标和右下角坐标,f(x_i,y_i)表示子图像中点(x_i,y_i)的灰度值，(x_c,y_c)表示质心坐标。

进一步，所述步骤4还包括：根据所述质心所在的轴调整所述标记框的宽度和高度。

进一步，确定所述设定范围的方法包括：调整后所述标记框的宽度和高度分别为2w和2h，；

其中，w的确定方法为：在所述标记框中找出经过质心且与所述标记框的宽平行的线段l₁，计算所述线段l₁中各点的灰度均值m₁，在所述线段l₁上找出灰度大于所述均值m₁且与所述质心连通的点的数目即为w；

h的确定方法为：在所述标记框中找出经过质心且与所述标记框的高平行的线段l₂，计算所述线段l₂中各点的灰度均值m₂，在所述线段l₂上找出灰度大于所述均值m₂且与所述质心连通的点的数目即为h表示与。

采用上述进一步方案的有益效果是，将原始图像转换为单通道图像时，利用图像的均值和标准差做分段线性变化，尽可能的保留特征信息；将连续帧以及间隔帧的三个单通道图像分别进行拼接，保证图像的数据量同时在图像中保留时序信息；使用一个较大矩形框标记小目标，然后在标记框中求子图像的质心，以该质心作为最终标记框中心，在图像标记中保留空间信息。

附图说明

图1为本发明提供的一种红外小目标图像标注方法的流程图；

图2为本发明提供的一种红外小目标图像标注方法的实施例的流程图；

图3为需要进行标记的红外小目标图像的实施例的示意图；

图4为利用传统方法进行标记的标记框的具体实施例的示意图；

图5为利用本发明提供的一种红外小目标图像标注方法的进行标记的标记框的具体实施例的示意图；

图6为本发明提供的一种红外小目标图像标注系统的实施例的结构框图；

图7为本发明实施例提供的一种电子设备的实体结构示意图。

附图中，各标号所代表的部件列表如下：

101、图像预处理模块，102、图像拼接模块，103、图像标记模块，104、标记框确定模块，201、处理器，202、通信接口，203、存储器，204、通信总线。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示为本发明提供的一种红外小目标图像标注方法的流程图，由图1可知，该方法包括：

步骤1，将红外采集设备获取的视频数据中的原始图像转换为单通道图像。

步骤2，将时间相近的三帧单通道图像拼接为一张三通道图像。

步骤3，用标记框对各张三通道图像进行标记。

步骤4，根据标记框中各点的灰度值确定标记框的质心，调整标记框的大小和位置使所述标记框包含所述目标及其周围设定范围内的背景信息。

本发明提供的一种红外小目标图像标注方法，为解决小目标检测数据集标记特征少的问题，通过图像处理的手段对图像标记进行专门的处理，对图像进行预处理的过程中将时间相近的三帧单通道图像拼接为一张三通道图像，可在单张图像中保留时序信息，再对该三通道图像中的目标进行标记，最后确定标记框的质心，根据质心再调整标记框的大小和位置，将目标及其周围设定范围内的背景包含在标记框中。本发明针对小目标神经网络模型将时域和更丰富的空域信息融合进图像标记中，充分发挥神经网络强大的拟合和泛化能力，达到精确识别红外小目标的目的，提升了模型在红外侦查监测设备中的实用价值。

实施例1

本发明提供的实施例1为本发明提供的一种红外小目标图像标注方法的实施例，如图2所示为本发明提供的一种红外小目标图像标注方法的实施例的流程图，由图2可知，该方法的实施例包括：

步骤1，将红外采集设备获取的视频数据中的原始图像转换为单通道图像。

红外小目标数据大多为红外采集设备获取的视频数据，而神经网络训练的样本数据为图像数据，首先需要将红外视频转换成单帧图像；此外，红外成像设备采集到的原始图像多为14比特的图像数据，需要转换为8比特的单通道图像。为了尽可能的保留特征信息，利用图像的均值和标准差做分段线性变化。

具体的，可以利用图像灰度值的均值和标准差对原始图像的灰度值做分段线性变化得到8比特单通道图像的灰度值。分段线性变化的公式为：

其中，μ和σ分别为原始图像灰度值的均值和标准差，x为原始图像的各点的灰度值，y为线性变换后得到的8比特单通道图像各点的灰度值，

为向下取整运算。

步骤2，将时间相近的三帧单通道图像拼接为一张三通道图像。

视频中的每帧图像代表了不同时刻的场景，连续帧的间隔时间比较短，目标所处位置不会有较大幅度的变动，为了在图像中保留时序信息，采取了对时间相近的图像进行拼接的策略。对时间相近的三帧单通道图像进行拼接的具体方案可以灵活设置，本发明实施例同的方案中，假设f1，f2，f3，…fi…fn为经过步骤1处理后得到的按时序排列的单通道图像帧序列，对于任意一个f_i，将fi，fi₊₁，fi₊₂组成一个三通道的图像，fi，fi₊₂，fi₊₄也组成一个三通道图像，三通道图像按照序列的顺序对应RGB通道。

即具体的，将时间相近的三帧单通道图像拼接为一张三通道图像的过程包括：

将f_i，f_i+1，f_i+2和f_i，f_i+2，f_i+4分别拼接成一张三通道图像。其中，f_i表示按时序排列的任意第i帧单通道图像。

将连续帧以及间隔帧的三个单通道图像分别进行拼接，保证图像的数据量同时在图像中保留时序信息。

步骤3，用标记框对各张三通道图像进行标记。

按照常规方法，将目标在三通道图像中用矩形框标出，并存为xml文件，标记的矩形框需包含目标及其周围一定范围内的背景信息。

步骤4，根据标记框中各点的灰度值确定标记框的质心，调整标记框的大小和位置使所述标记框包含所述目标及其周围设定范围内的背景信息。

如图3所示为需要进行标记的红外小目标图像的实施例的示意图，图4为利用传统方法进行标记的标记框的具体实施例的示意图，图5为利用本发明提供的一种红外小目标图像标注方法的标记框的具体实施例的示意图，由图3、图4和图5可知，当前主流目标检测神经网络的标记框是一个将目标紧凑包裹的矩形框。在小目标检测中，由于目标比较小，标记工作需要更为精细，而小目标在图像场景中通常为一块均匀区域的高亮点，传统的标记方法丢失了该种空间信息。本发明的时空域标记方法利用步骤3标记的较大矩形框标记小目标，然后在标记框中求子图像的质心。质心的坐标的计算公式为：

其中，M和N分别表示标记框包含的子图像的宽度和高度，(x_min,y_min)，和(x_max,y_max)分别表示子图像的左上角坐标和右下角坐标,f(x_i,y_i)表示子图像中点(x_i,y_i)的灰度值，(x_c,y_c)表示质心坐标。

目标的周围设定范围的确定过程中，时空域标记的最终宽度和高度根据质心所在的轴调整。标记框的宽度根据质心所在子图像内的一行像素值确定，首先求该行像素的均值，框的高度与确定宽度的策略一致。调整后标记框的宽度和高度分别为2w和2h，其中，w的确定方法为：在标记框中找出经过质心且与标记框的宽平行的线段l₁，计算线段l₁中各点的灰度均值m₁，在线段l₁上找出灰度大于均值m₁且与质心连通的点的数目即为w；h的确定方法为：在标记框中找出经过质心且与标记框的高平行的线段l₂，计算线段l₂中各点的灰度均值m₂，在线段l₂上找出灰度大于均值m₂且与质心连通的点的数目即为h。表示与。最终，获得时空域标记方法的标记框的中心坐标为(xc,yc)，宽度和高度分别为(2w,2h)。

实施例2

本发明提供的实施例2为本发明提供的一种红外小目标图像标注系统的实施例，如图6所示为本发明提供的一种红外小目标图像标注系统的实施例的结构框图，由图6可知，该系统包括：图像预处理模块101、图像拼接模块102、图像标记模块103和标记框确定模块104。

图像预处理模块101，用于将红外采集设备获取的视频数据中的原始图像转换为8比特单通道图像。

图像拼接模块102，用于将时间相近的三帧单通道图像拼接为一张三通道图像。

图像标记模块103，用标记框对各张三通道图像进行标记。

标记框确定模块104，根据标记框中各点的灰度值确定标记框的质心，调整标记框的大小和位置使标记框包含目标及其周围设定范围内的背景信息。

图7为本发明实施例提供的一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器201、通信接口202、存储器203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信。处理器201可以调用存储在存储器203上并可在处理器201上运行的计算机程序，以执行上述各实施例提供的红外小目标图像标注方法，例如包括：步骤1，将红外采集设备获取的视频数据中的原始图像转换为8比特单通道图像；步骤2，将时间相近的三帧单通道图像拼接为一张三通道图像；步骤3，用标记框对各张三通道图像进行标记；步骤4，根据标记框中各点的灰度值确定标记框的质心，调整标记框的大小和位置使标记框包含目标及其周围设定范围内的背景信息。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的红外小目标图像标注方法，例如包括：步骤1，将红外采集设备获取的视频数据中的原始图像转换为8比特单通道图像；步骤2，将时间相近的三帧单通道图像拼接为一张三通道图像；步骤3，用标记框对各张三通道图像进行标记；步骤4，根据标记框中各点的灰度值确定标记框的质心，调整标记框的大小和位置使标记框包含目标及其周围设定范围内的背景信息。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种红外小目标图像标注方法，其特征在于，所述方法包括：

步骤1，将红外采集设备获取的视频数据中的原始图像转换为8比特单通道图像；

步骤2，将时间相近的三帧所述单通道图像拼接为一张三通道图像；

步骤3，用标记框对各张所述三通道图像进行标记；

步骤4，根据所述标记框中各点的灰度值确定所述标记框的质心，调整所述标记框的大小和位置使所述标记框包含所述目标及其周围设定范围内的背景信息。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中利用红外采集设备原始图像灰度值的均值和标准差对所述原始图像的灰度值做分段线性变化，得到所述8比特单通道图像的灰度值。

3.根据权利要求2所述的方法，其特征在于，所述分段线性变化的公式为：

其中，μ和σ分别为原始图像灰度值的均值和标准差，x为原始图像的各点的灰度值，y为线性变换后得到的8比特单通道图像各点的灰度值，

为向下取整运算。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中将时间相近的三帧所述单通道图像拼接为一张三通道图像的过程包括：

将f_i，f_i+1，f_i+2和f_i，f_i+2，f_i+4分别拼接成一张所述三通道图像；

其中，f_i表示按时序排列的任意第i帧单通道图像。

5.根据权利要求1所述的方法，其特征在于，所述步骤4中所述质心的坐标的计算公式为：

其中，M和N分别表示标记框包含的子图像的宽度和高度，(x_min,y_min)，和(x_max,y_max)分别表示子图像的左上角坐标和右下角坐标,f(x_i,y_i)表示子图像中点(x_i,y_i)的灰度值，(x_c,y_c)表示质心坐标。

6.根据权利要求5所述的方法，其特征在于，所述步骤4还包括：根据所述质心所在的轴调整所述标记框的宽度和高度。

7.根据权利要求6所述的方法，其特征在于，确定所述设定范围的方法包括：调整后所述标记框的宽度和高度分别为2w和2h；

其中，w的确定方法为：在所述标记框中找出经过质心且与所述标记框的宽平行的线段l₁，计算所述线段l₁中各点的灰度均值m₁，在所述线段l₁上找出灰度大于所述均值m₁且与所述质心连通的点的数目即为w；

h的确定方法为：在所述标记框中找出经过质心且与所述标记框的高平行的线段l₂，计算所述线段l₂中各点的灰度均值m₂，在所述线段l₂上找出灰度大于所述均值m₂且与所述质心连通的点的数目即为h。

8.一种红外小目标图像标注方法，其特征在于，所述系统包括：图像预处理模块、图像拼接模块、图像标记模块和标记框确定模块；

图像预处理模块，用于将红外采集设备获取的视频数据中的原始图像转换为8比特单通道图像；

图像拼接模块，用于将时间相近的三帧所述单通道图像拼接为一张三通道图像；

图像标记模块，用标记框对各张所述三通道图像进行标记；

标记框确定模块，根据所述标记框中各点的灰度值确定所述标记框的质心，调整所述标记框的大小和位置使标记框包含目标及其周围设定范围内的背景信息。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述红外小目标图像标注方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述红外小目标图像标注方法的步骤。

Images