CN111047546A - 一种红外图像超分辨率重构方法、系统及电子设备 - Google Patents

Abstract

本发明提供一种红外图像超分辨率重构方法、系统及电子设备，该方法包括：采集多种场景的高分辨率红外图像，并进行预处理；通过预训练的ResNet网络提取高分辨率红外图像的特征图，并构建生成器网络，通过生成器网络捕获红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；将实际采集的高分辨率红外图像和由所述生成器网络生成的高分辨率红外图像输入判别器网络，通过判别器网络计算判断真实采集图像或生成图像的概率；对生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型。通过该方案解决了现有超分辨率重构方法成像质量低、难以广泛应用的问题，可以提高重构图像的质量，降低对采集图像的要求，方便广泛应用。

Description

一种红外图像超分辨率重构方法、系统及电子设备

技术领域

本发明涉及图像处理领域，尤其涉及一种红外图像超分辨率重构方法、系统及电子设备。

背景技术

红外成像由于其具有抗干扰、识别能力强的特点，被广泛应用于视频监控、医学检测和工业检测等领域。当前红外成像应用中，大多数采用小面阵的红外探测器采集图像，而小面阵红外成像设备采集到红外图像分辨率较低难以满足日益增长的应用需求。采用大面阵红外探测器可以有效提高红外图像分辨率，但往往成本高昂，难以被广泛应用。

针对低分辨率红外图像的处理，还可以通过软件算法提高图像质量，基于图像的超分辨率重构常见有基于插值的方法和基于重构的方法，基于插值的方法过程简单，运算速度快，但容易丢失图像的高频信息，成像质量差，基于重构的方法可以对低分辨率图像在空间域或变换域重建出高分辨率图像，其对图像采集具有一定要求，难以广泛应用。

有鉴于此，有必要提出一种成像质量好且能广泛应用的超分辨率重构方法。

发明内容

有鉴于此，本发明实施例提供了一种红外图像超分辨率重构方法及系统，以解决的现有超分辨率图像重构成像质量差、难以广泛应用的问题。

在本发明实施例的第一方面，提供了一种红外图像超分辨率重构方法，包括：

根据待检测红外目标特征属性，采集多种场景的高分辨率红外图像，并对所述高分辨率红外图像预处理；

通过预训练的ResNet网络提取所述高分辨率红外图像的特征图，并根据所述的ResNet网络结构构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；

将实际采集的高分辨率红外图像和由所述生成器网络生成的高分辨率红外图像输入判别器网络，通过所述判别器网络计算判断高分辨率红外图像为真实采集图像或生成图像的概率；

对所述生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型。

在本发明实施例的第二方面，提供了一种红外图像超分辨率重构系统，包括：

采集模块，用于根据待检测红外目标特征属性，采集多种场景的高分辨率红外图像，并对所述高分辨率红外图像预处理；

生成模块，用于通过预训练的ResNet网络提取所述高分辨率红外图像的特征图，并根据所述的ResNet网络结构构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；

判断模块，用于将实际采集的高分辨率红外图像和由所述生成器网络生成的高分辨率红外图像输入判别器网络，通过所述判别器网络计算判断高分辨率红外图像为真实采集图像或生成图像的概率；

训练模块，用于对所述生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型。

在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例中，根据待检测红外目标特征属性，采集多种场景的高分辨率红外图像，并对高分辨率红外图像预处理，通过预训练的ResNet网络提取所述高分辨率红外图像的特征图，并根据所述的ResNet网络结构构建生成器网络，通过，生成器网络捕获，高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；将实际采集的高分辨率红外图像和生成的高分辨率红外图像输入判别器网络，通过判别器网络计算判断高分辨率红外图像为真实采集图像或生成图像的概率；对所述生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型，可以提高红外图像质量，解决了现有超分辨率重构方法成像质量不高、适用范围不广的问题，降低图像采集成本的同时降低对重构图像的要求，保障重构图像的质量，运算效率高，方便对红外图像中的目标检测。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明的一个实施例提供的红外图像超分辨率重构方法的流程示意图；

图2为本发明的一个实施例提供的红外图像超分辨率重构系统的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。

请参阅图1，本发明实施例提供的一种红外图像超分辨率重构方法的流程示意图，包括：

S101、根据待检测红外目标特征属性，采集多种场景的高分辨率红外图像，并对所述高分辨率红外图像预处理；

所述待检测红外目标为通过探测到的目标辐射的红外信号检测到的目标物，一般可以为人、车辆、动物等。红外目标的特征属性可以是目标的尺寸大小、辐射强度等。所述多种场景是指多个复杂场景，如人流、车流密集的区域场景，最少可以采集三个复杂场景下的红外目标图像，为提高红外目标检测的准确率，可以增加采集的场景。

可选的，通过红外热成像仪拍摄不同复杂场景下，不同目标的红外图像，并不断改变红外热成像仪的对焦、变焦参数以及曝光参数，形成红外目标图像数据集。在红外目标数据集中红外图像的拍摄场景、目标、焦距参数、曝光参数等均可以不同，保证数据集的多样性。

所述预处理过程具体可包括图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动等方法，对所述红外目标图像进行数据增强。

具体的，分别通过图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动的方法对所述红外目标图像进行数据增强；基于数据类别不平衡采用类别平衡策略进行数据增广；对所述红外目标图像进行随机排序。

S102、通过预训练的ResNet网络提取所述高分辨率红外图像的特征图，并根据所述的ResNet网络结构构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；

所述ResNet网络模型为一种用于特征提取的残差学习网络，通过ImageNet分类数据集对ResNet网络进行预训练，利用训练后的ResNet网络提取红外目标图像的特征图。所述生成器网络用于根据实际采集的高分辨率红外图像生成高分辨率红外图像，通过引入随机噪声生成图像输入到判别器进行真假判定。

可选的，若生成式对抗网络的目标函数为：

给定生成器，求解最优判别器即为最小化交叉熵过程，最优判别器网络的目标函数为：

其中，z为输入随机噪声向量，从先验分布P_z(z)中采样，x为从真实数据分布P_data(x)中的采样值，E为期望值，D表示判别器、G表示生成器、G(z)表示由随机噪声生成的图像，V(D,G)为目标函数、θ_D为判别器参数、θ_G为生成器参数。

一个特定网络层l的梯度σ(W^l)²/2，其中l∈{1,...,L}。设σ₁和σ₂分别为第一奇异值和第二奇异值，如果σ₁＞σ₂，则σ(W^l)²/2的梯度为

其中u₁和v₁分别是第一个左奇异向量和第一个右奇异向量。如果σ₁＝σ₂，则σ(W^l)²/2是不可微的。然而，在实际中，由于训练中的数值误差会让σ₁和σ₂不可能完全相等。

S103、将实际采集的高分辨率红外图像和由所述生成器网络生成的高分辨率红外图像输入判别器网络，通过所述判别器网络计算判断高分辨率红外图像为真实采集图像或生成图像的概率；

所述判别器网络用于对实际采集图像和生成器生成图像进行判断，计算为真实图像的概率，一般为一个二分类模型(如SVM模型)。

可选的，通过功率迭代趋近目标奇异值和奇异向量；

从随机初始化的v开始(开始于l-1层)，迭代执行下式：

u←w^lv,v←(w^l)^Tu,

将权重矩阵归一化为谱范数恒等于1的式子，控制权重梯度恒小于等于1，以对判别器D进行1-lipschitz限制。

基于谱范数归一化的思想，通过对W矩阵谱归一化的方式，真正将f_Θ的梯度控制在了小于或等于1的范围内。判别器目标函数转换为：

S104、对所述生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型。

每个权重矩阵的前三个奇异值σ₀,σ₁,σ₂是最有用的，可使用Alrnoldi迭代方法进行有效计算。

具体的，调整每个的顶部奇异值σ₀，朝向固定值σ_reg或朝向第二个奇异值的比例r，表示为朝向r·sg(σ₁)，其中，sg是控制梯度的操作；

使用部分奇异值的分解来代替σ₀，对于给定权重W，将第一个奇异值向量u₀和v₀以及固定的奇异值σ_clamp，将权重限制在：

其中，固定的σ_clamp设置为σ_reg或者r·sg(σ₁)；

将第一个奇异值σ₀控制住，防止突然性的爆炸。

采用

零中心梯度惩罚：

其中，γ为，E_PD(x)为，F为，D(x)为判别器判定为真实图像概率。

可选的，固定所述生成器网络或所述判别器网络一方的权重，更新对应另一方的网络参数权重，持续交换迭代，直至生成器网络和判别器网络收敛，训练完所有高分辨率红外图像，以改进所述生成器网络及所述判别器网络的结构。

当判别器无法判断为生成图像或真实图像时，设定判别概率为1/2。

通过本实施例提供的方法，可以解决现有红外图像超分辨率重构方法成像质量低、难以广泛应用的问题，可以有效提高成像质量，降低成本，方便广泛应用。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图2为本发明实施例提供的一种红外图像超分辨率重构系统的结构示意图，该系统包括：

采集模块210，用于根据待检测红外目标特征属性，采集多种场景的高分辨率红外图像，并对所述高分辨率红外图像预处理；

可选的，所述根据待检测红外目标特征属性，采集多种场景下的高分辨率红外图像包括：

通过红外热成像仪拍摄不同复杂场景下，不同目标的红外图像，并不断改变红外热成像仪的对焦、变焦参数以及曝光参数，形成红外目标图像数据集。

可选的，所述对高分辨率红外图像预处理包括：

分别通过图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动的方法对所述红外目标图像进行数据增强；

基于数据类别不平衡采用类别平衡策略进行数据增广；

对所述红外目标图像进行随机排序。

生成模块220，用于通过预训练的ResNet网络提取所述高分辨率红外图像的特征图，并根据所述的ResNet网络结构构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；

可选的，所述根据所述的ResNet网络构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本包括：

若生成式对抗网络的目标函数为：

给定生成器，则最优判别器网络的目标函数为：

其中，z为输入随机噪声向量，从先验分布P_z(z)中采样，x为从真实数据分布P_data(x)中的采样值，E为期望值，D表示判别器、G表示生成器、G(z)表示由随机噪声生成的图像，V(D,G)为目标函数、θ_D为判别器参数、θ_G为生成器参数。

判断模块230，用于将实际采集的高分辨率红外图像和由所述生成器网络生成的高分辨率红外图像输入判别器网络，通过所述判别器网络计算判断高分辨率红外图像为真实采集图像或生成图像的概率；

可选的，所述通过所述判别器网络判断高分辨率红外图像为真实采集图像或生成图像的概率包括：

通过功率迭代趋近目标奇异值和奇异向量；

从随机初始化的v开始(开始于l-1层)，迭代执行下式：

u←w^lv,v←(w^l)^Tu,

将权重矩阵归一化为谱范数恒等于1的式子，控制权重梯度恒小于等于1，以对判别器D进行1-lipschitz限制。

基于谱范数归一化的思想，通过对W矩阵谱归一化的方式，真正将f_Θ的梯度控制在了小于或等于1的范围内。判别器目标函数转换为：

可选的，所述通过所述判别器网络判断高分辨率红外图像为真实采集图像或生成图像的概率包括：

调整每个的顶部奇异值σ₀，朝向固定值σ_reg或朝向第二个奇异值的比例r，表示为朝向r·sg(σ₁)，其中，sg是控制梯度的操作；

使用部分奇异值的分解来代替σ₀，对于给定权重W，将第一个奇异值向量u₀和v₀以及固定的奇异值σ_clamp，将权重限制在：

其中，固定的σ_clamp设置为σ_reg或者r·sg(σ₁)；

采用

零中心梯度惩罚：

其中，γ为调节参数，E_PD(x)为判别器梯度F范数的期望，D(x)为判别器判定为真实图像的概率，▽表示梯度算子。

训练模块240，用于对所述生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型。

可选的，所述对所述生成器网络和判断器网络交替训练，得到优化调整的红外图像超分辨率重构模型包括：

固定所述生成器网络或所述判别器网络一方的权重，更新对应另一方的网络参数权重，持续交换迭代，训练完所有高分辨率红外图像，以改进所述生成器网络及所述判别器网络的结构。

在本发明的一个实施例中提供了一种用于红外目标图像分割的电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中S101至S104步骤。

在本发明的一个实施例中还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述实施例提供的红外目标图像分割方法，所述非暂态计算机可读存储介质包括如：ROM/RAM、磁碟、光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种红外图像超分辨率重构方法，其特征在于，包括：

根据待检测红外目标特征属性，采集多种场景的高分辨率红外图像，并对所述高分辨率红外图像预处理；

通过预训练的ResNet网络提取所述高分辨率红外图像的特征图，并根据所述的ResNet网络结构构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；

将实际采集的高分辨率红外图像和由所述生成器网络生成的高分辨率红外图像输入判别器网络，通过所述判别器网络计算判断高分辨率红外图像为真实采集图像或生成图像的概率；

对所述生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型。

2.根据权利要求1所述的方法，其特征在于，所述根据待检测红外目标特征属性，采集多种场景下的高分辨率红外图像包括：

通过红外热成像仪拍摄不同复杂场景下，不同目标的红外图像，并不断改变红外热成像仪的对焦、变焦参数以及曝光参数，形成红外目标图像数据集。

3.根据权利要求1所述的方法，其特征在于，所述对高分辨率红外图像预处理包括：

分别通过图像旋转平移、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动的方法对所述红外目标图像进行数据增强；

基于数据类别不平衡采用类别平衡策略进行数据增广；

对所述红外目标图像进行随机排序。

4.根据权利要求1所述的方法，其特征在于，所述根据所述的ResNet网络构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本包括：

若生成式对抗网络的目标函数为：

给定生成器，则最优判别器网络的目标函数为：

其中，z为输入随机噪声向量，从先验分布P_z(z)中采样，x为从真实数据分布P_data(x)中的采样值，E为期望值，D表示判别器、G表示生成器、G(z)表示由随机噪声生成的图像，V(D,G)为目标函数、θ_D为判别器参数、θ_G为生成器参数。

5.根据权利要求1所述的方法，其特征在于，所述通过所述判别器网络判断高分辨率红外图像为真实采集图像或生成图像的概率包括：

通过功率迭代趋近目标奇异值和奇异向量；

将权重矩阵归一化为谱范数恒等于1的式子，控制权重梯度恒小于等于1，以对判别器D进行1-lipschitz限制。

6.根据权利要求1所述的方法，其特征在于，所述通过所述判别器网络判断高分辨率红外图像为真实采集图像或生成图像的概率包括：

调整每个的顶部奇异值σ₀，朝向固定值σ_reg或朝向第二个奇异值的比例r，表示为朝向r·sg(σ₁)，其中，sg是控制梯度的操作；

使用部分奇异值的分解来代替σ₀，对于给定权重W，将第一个左右奇异值向量u₀和v₀以及固定的奇异值σ_clamp，将权重限制在：

其中，固定的σ_clamp设置为σ_reg或者r·sg(σ₁)；

采用

零中心梯度惩罚,改善生成器和判别器的平滑度和有界性：

其中，γ为调节参数，E_PD(x)为判别器梯度F范数的期望，D(x)为判别器判定为真实图像的概率，

表示梯度算子。

7.根据权利要求1所述的方法，其特征在于，所述对所述生成器网络和判断器网络交替训练，得到优化调整的红外图像超分辨率重构模型包括：

固定所述生成器网络或所述判别器网络一方的权重，更新对应另一方的网络参数权重，持续交换迭代，训练完所有高分辨率红外图像，以改进所述生成器网络及所述判别器网络的结构。

8.一种红外图像超分辨率重构系统，其特征在于，包括：

采集模块，用于根据待检测红外目标特征属性，采集多种场景的高分辨率红外图像，并对所述高分辨率红外图像预处理；

生成模块，用于通过预训练的ResNet网络提取所述高分辨率红外图像的特征图，并根据所述的ResNet网络结构构建生成器网络，通过所述生成器网络捕获所述高分辨率红外图像数据样本的潜在分布并生成新的高分辨率红外图像样本；

判断模块，用于将实际采集的高分辨率红外图像和由所述生成器网络生成的高分辨率红外图像输入判别器网络，通过所述判别器网络计算判断高分辨率红外图像为真实采集图像或生成图像的概率；

训练模块，用于对所述生成器网络和判别器网络交替训练，得到优化调整的红外图像超分辨率重构模型。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述红外图像超分辨率重构方法的步骤。

Images