CN112927172B

CN112927172B - 图像处理网络的训练方法和装置、电子设备和存储介质

Info

Publication number: CN112927172B
Application number: CN202110506167.5A
Authority: CN
Inventors: 金晟; 刘文韬; 钱晨
Original assignee: Beijing Sensetime Technology Development Co Ltd
Current assignee: Beijing Sensetime Technology Development Co Ltd
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2021-08-24
Anticipated expiration: 2041-05-10
Also published as: CN112927172A

Abstract

本公开实施例提供一种图像处理网络的训练方法和装置、电子设备和存储介质，其中，上述的训练方法可以包括：对干净图像进行多种图像增强操作，得到多张增强图像，每一张所述增强图像对应一种类型的所述图像增强操作；确定多张待融合图像的融合权重；所述待融合图像包括所述多张增强图像，或者，所述待融合图像包括所述多张增强图像以及所述干净图像；利用所述多张待融合图像的融合权重对所述多张待融合图像进行加权融合，得到融合增强图像；将所述融合增强图像作为图像处理网络的至少部分训练样本，对所述图像处理网络进行训练。本公开实施例提高了网络对各噪声的抗干扰能力。

Description

图像处理网络的训练方法和装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术，具体涉及一种图像处理网络的训练方法和装置、电子设备和存储介质。

背景技术

可以利用图像处理网络执行多种类型的图像处理任务，例如，可以检测图像中的目标对象（例如，目标对象可以是人体图像中的肢体关键点）；也可以进行分类，例如，输出图像中人体行为或者人体姿态的类型，等。输入图像处理网络的图像，有时会带有噪声（如，雨雪、暗光、高斯噪点等），为了提升图像处理网络的抗干扰性，使得网络能够适应噪声环境下的图像输入，相关技术中，在网络的训练阶段可以对干净（即无噪声）图像样本进行数据增强。

但是，传统的数据增强方式，通常需要预先知道网络应用环境下的噪声种类，并针对性的对干净图像样本进行所述该预知噪声进行对应的数据增强。这种方式下训练得到的图像处理网络，对上述预知噪声具有较好的抗干扰性，而在网络的实际部署情况中，往往很难预知部署环境中的噪声种类，噪声的种类繁多，图像处理网络在遇到“未知”噪声时仍然会存在性能下降明显的问题。

发明内容

有鉴于此，本公开实施例至少提供一种图像处理网络的训练方法和装置、电子设备和存储介质，以提高图像处理网络的抗干扰性。

第一方面，提供一种图像处理网络的训练方法，所述方法包括：

对干净图像进行多种图像增强操作，得到多张增强图像，每一张所述增强图像对应一种类型的所述图像增强操作；

确定多张待融合图像的融合权重；所述待融合图像包括所述多张增强图像，或者，所述待融合图像包括所述多张增强图像以及所述干净图像；

利用所述多张待融合图像的融合权重对所述多张待融合图像进行加权融合，得到融合增强图像；

将所述融合增强图像作为图像处理网络的至少部分训练样本，对所述图像处理网络进行训练。

第二方面，提供一种图像处理网络的训练装置，所述装置包括：

图像增强模块，用于对干净图像进行多种图像增强操作，得到多张增强图像，每一张所述增强图像对应一种类型的所述图像增强操作；

权重确定模块，用于确定多张待融合图像的融合权重；所述待融合图像包括所述多张增强图像，或者，所述待融合图像包括所述多张增强图像以及所述干净图像；

图像融合模块，用于利用所述多张待融合图像的融合权重对所述多张待融合图像进行加权融合，得到融合增强图像；

训练处理模块，用于将所述融合增强图像作为图像处理网络的至少部分训练样本，对所述图像处理网络进行训练。

第三方面，提供一种电子设备，该设备可以包括存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机可读指令，实现本公开任一实施例的方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的方法。

第五方面，提供一种计算机程序产品，其中包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例的方法。

本公开实施例提供图像处理网络的训练方法和装置、电子设备和存储介质，通过将对干净图像执行多种图像增强操作得到的多张增强图像进行加权融合，这样融合后可以得到新的噪声类型的融合增强图像，从而使得训练的图像处理网络不局限于处理特定图像增强操作对应的增强图像，能够扩大图像处理网络所处理的图像中噪声的广度，提升网络对各类噪声的抗干扰能力。

附图说明

为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出了本公开至少一个实施例提供的一种图像处理网络的训练方法；

图2示出了本公开至少一个实施例提供的一种图像处理网络的训练原理图；

图3示出了本公开至少一个实施例提供的一种对抗混合训练的示意图；

图4示出了本公开至少一个实施例提供的一种图像处理网络的训练流程；

图5示出了本公开至少一个实施例提供的一种知识蒸馏的示意图；

图6示出了本公开至少一个实施例提供的一种图像处理网络的训练流程；

图7示出了本公开至少一个实施例提供的一种图像处理方法的流程图；

图8示出了本公开至少一个实施例提供的一种图像处理网络的训练装置；

图9示出了本公开至少一个实施例提供的另一种图像处理网络的训练装置。

具体实施方式

为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

本公开实施例提供了一种图像处理网络的训练方法，该方法旨在训练图像处理网络提升抗干扰性。该图像处理网络可以包括但不限于如下类型的网络：

例如，目标检测网络：示例性的，可以通过目标检测网络检测图像中人体的某个部位，可以是人体肢体关键点，也可以是待增加特效的人体特定部位。

又例如，图像分类网络：示例性的，可以通过图像分类网络输出图像中的人体所做行为的类型信息，或者还可以识别图像中人体姿态动作的类型。

当将图像处理网络应用于上述的目标检测或图像分类等多种类型的图像处理任务时，有时作为网络输入的待处理图像可能会带有噪声，该噪声的种类包括但不限于：雨雪天气导致的图像上的雨雪噪声、图像暗光、高斯噪点等。在现实生活中，图像处理网络的部署环境中会存在或发生何种类型的噪声，有时是不可预知的，环境中的噪声无处不在，而且噪声的种类繁多。本公开实施例提供的图像处理网络的训练方法，旨在训练图像处理网络提高对噪声环境中的各种已知或未知的噪声的抗干扰能力。

图1示出了本公开至少一个实施例提供的一种图像处理网络的训练方法，如图1所示，该方法可以包括如下处理：

在步骤100中，对干净图像进行多种图像增强操作，得到多张增强图像，每一张所述增强图像对应一种类型的图像增强操作。

在图1的流程描述中，请结合图2的示意。

其中，在对图像处理网络的训练过程中，可以使用包括大量样本图像的训练样本集，例如，该训练样本集中可以包括很多干净图像。对于其中的任一张干净图像，都可以根据本实施例的图1所示的流程进行处理。所述的干净图像（clean image）是指无噪声的图像。

本步骤中，可以对图2中的干净图像21并行的进行多种图像增强操作。请结合图2所示，示意了k种（O₁至O_k）图像增强策略，例如，该k种图像增强策略可以是暗光、高斯噪点、天气、离焦模糊等。此外，该k种图像增强策略可以是固定设置，在对每一张干净图像执行图1的训练流程时都采用该固定设置的k种图像增强策略，或者，也可以是各张干净图像执行图1的训练流程时随机产生k种图像增强策略，即各张干净图像采用的k种图像增强策略不完全相同。可以根据上述k种图像增强策略，对干净图像21进行图像增强操作。

对干净图像21执行k种图像增强策略对应的图像增强操作可以是并行的，每一种图像增强操作对应生成一张增强图像，增强图像即对干净图像进行增强操作后的图像。如图2所示，例如，对干净图像21执行O₁对应的图像增强后，得到增强图像22；又例如，对干净图像21执行O_k对应的图像增强后，得到增强图像23。上述例子中可以对干净图像21分别进行k种图像增强操作后，可以对应生成k张增强图像。

在步骤102中，确定多张待融合图像的融合权重。

所述的多张待融合图像可以包括步骤100中生成的多张增强图像，或者也可以包括该多张增强图像和干净图像。

例如，可以将步骤100中生成的多张增强图像作为待融合图像，分别确定各张增强图像对应的融合权重。又例如，可以将这多张增强图像和干净图像都作为待融合图像，分别确定各张增强图像和干净图像各自对应的融合权重。

此外，本步骤中的融合权重的确定方式可以有多种，包括但不限于：

例如，可以预先设置各张增强图像各自对应的融合权重，示例性的，可以将各张增强图像的融合权重都设置为1。

又例如，还可以按照迪利特雷（Dirichlet）分布的方式设置多张增强图像各自的融合权重，并据此权重进行融合。

再例如，还可以通过神经网络的方式生成融合权重，比如，假设有k张待融合图像，可以将该k张待融合图像作为神经网络的输入，由神经网络直接输出该k张待融合图像分别对应的融合权重。示例性的，可以将上述神经网络称为增强生成网络，可以将k待融合图像输入训练好的增强生成网络，得到该增强生成网络输出的权重信息，该权重信息中可以包括分别对应各个待融合图像的融合权重。

在步骤104中，利用所述多张待融合图像的融合权重对所述多张待融合图像进行加权融合，得到融合增强图像。

本步骤中，假设所述多张待融合图像包括k张增强图像，那么可以将该k张增强图像进行加权融合。

请参见图2的示意，每一张增强图像都可以有自己对应的融合权重。例如，增强图像22对应融合权重M₀，增强图像23对应融合权重M_k。将k张增强图像进行加权融合后得到融合增强图像24。

可以用如下的公式（1）表示加权融合的过程：

I_mix=

......（1）

其中，I_mix表示融合增强图像，k表示k张增强图像，I表示干净图像21，

表示对干净图像21按照图像增强策略O_k执行图像增强操作后，得到的增强图像；而

表示增强图像

对应的融合权重。

此外，上述示例是以将k张增强图像融合成一张融合增强图像为例，还可以是对该k张增强图像进行任意组合，得到多张不同的融合增强图像，并将这些多张融合增强图像分别作为待训练的图像处理网络的输入样本。

在步骤106中，将所述融合增强图像作为图像处理网络的至少部分训练样本，对该图像处理网络进行训练。

如图2的示意，可以将融合增强图像24输入图像处理网络25，得到该图像处理网络25输出的图像处理结果。在不同的应用场景下，该图像处理结果可以不同，例如，可以是检测到的图像中的目标对象，如人体肢体的关键点；还可以是检测到的图像中的人体姿态动作的类型。

在图像处理网络的训练过程中，可以基于所述图像处理结果和所述图像处理网络的监督信息，调整所述图像处理网络的网络参数。

例如，步骤104中由图像处理网络输出的图像处理结果可以是网络输出的预测值，该图像处理结果存在一个对应的标签值（ground truth）。可以根据图像处理结果和该标签值计算损失，例如，可以是计算MSE loss（(mean-squared loss，均方误差）。该MSE loss可以作为一种监督信息，并可以据此调整图像处理网络25的网络参数。

此外，本步骤中的融合增强图像可以是将全部的增强图像融合成的一张融合增强图像，也可以是上述示例的将k张增强图像进行任意组合得到的多张融合增强图像中的其中一张。并且，在该图像处理网络的训练过程中，该融合增强图像也可以是作为图像处理网络的至少部分训练样本，图像处理网络的训练样本集中还可以包括除上述融合增强图像之外的其他的图像样本，这些样本中的每一个都可以作为图像处理网络的输入。

本实施例的图像处理网络的训练方法，通过将多种图像增强操作对应生成的多张增强图像进行加权融合，这样融合后可以得到新的噪声类型的融合增强图像，从而使得训练的图像处理网络不局限于处理特定的k种图像增强策略增强后的图像，能够扩大图像处理网络所处理的图像中噪声的广度，提升网络的广谱（对各类噪声）的抗干扰能力。

在另一个实施例中，以通过神经网络生成融合权重的方式为例，描述该图像处理网络的训练过程。并且，在该例子中，可以将该用于生成融合权重的神经网络与图像处理网络进行对抗训练，以进一步提升图像处理网络的抗干扰能力。请参见图3示意的对抗混合训练原理图，并结合图4的训练流程图所示：

在步骤400中，对干净图像进行多种图像增强操作，得到多张增强图像，每一张所述增强图像对应一种类型的图像增强操作。

本实施例中，干净图像用I表示，示意了k种（O₁至O_k）图像增强策略，例如，该k种图像增强策略可以是暗光、高斯噪点、天气、离焦模糊等。每一种图像增强策略对应生成一张增强图像，增强图像即对干净图像进行增强操作后的图像。如图3所示，例如，对干净图像I执行O₁对应的图像增强后，得到增强图像I₁；对干净图像I执行O_k对应的图像增强后，得到增强图像I_k。

本实施例是假设待融合图像包括上述的k种增强图像和干净图像。

在步骤402中，将所述多张增强图像和干净图像，输入待训练的增强生成网络，得到所述增强生成网络输出的权重信息，所述权重信息中包括分别对应各个增强图像的融合权重。

本步骤中，干净样本I也可以作为一种类型的图像，用I₀表示，可以将k张增强图像 I₁至I_k，以及所述的I₀都输入增强生成网络（Augmentation Generator）。该增强生成网络用于生成各张增强图像分别对应的融合权重。该增强生成网络可以用

表示。示例性的，该增强生成网络可以是U-Net网络。

请参见图3的示意，增强生成网络

可以输出权重信息，该权重信息中可以包括分别对应每一张增强图像的融合权重。例如，增强图像I₁对应融合权重M₁，增强图像I_k对应融合权重M_k，干净图像I₀对应融合权重M₀。

实际实施中，上述的融合权重可以是一个标准化注意力图（normalized attention map）的形式，例如，假设增强图像的分辨率是H*W，那标准化注意力图即M^H*W。每一个增强图像都对应一个标准化注意力图，那增强生成网络输出的权重信息的形式即标准化注意力图集合。请参见图3的示意，

、

至

各自都是一个标准化注意力图，图的尺寸是H*W。

在步骤404中，基于所述各个增强图像和干净图像的融合权重，对所述多张增强图像进行加权融合，得到融合增强图像。

可以用如下的公式（2）表示加权融合的过程：

......（2）

其中，I_mix表示融合增强图像，k表示k张增强图像，I表示干净图像，

表示对干净图像按照图像增强策略O_k进行图像增强后，得到的增强图像；而

表示增强图像

对应的融合权重。可以看到，该公式（2）相比于公式（1），增加了干净图像的加权融合，对应融合权重M₀。

此外，由公式（2）还可以看到，融合权重与图像之间的加权融合，可以是先通过像素级的乘法操作（Element-wise Multiplication）将各张增强图像I_k与其对应的融合权重

进行相乘后，再通过像素级的加法操作将各乘法后的结果进行相加，最终得到融合增强图像

。

在步骤406中，将所述融合增强图像输入待训练的图像处理网络，得到所述图像处理网络输出的图像处理结果。

如图3的示意，该图像处理网络以姿态估计网络（Pose Estimator network）为例，该姿态估计网络用于输出人体肢体的关键点，具体可以是输出通过二维高斯编码得到的人体姿态热度图（Heatmap），该人体姿态热度图中的每一通道对应一个人体关键点。

在步骤408中，基于根据所述图像处理结果得到的监督信息，对所述图像处理网络和所述增强生成网络进行对抗训练，以调整所述图像处理网络和增强生成网络的网络参数。

本实施例中，监督信息可以是用于在网络训练过程中提供监督作用的信息，用于作为网络参数调整的依据。其中，可以根据图像处理网络输出的图像处理结果得到该监督信息，例如，可以确定该图像处理结果及其对应的标签值之间的差异，据此求得的损失函数值作为监督信息。

以图像处理网络是姿态估计网络为例，在该姿态估计网络的训练过程中，可以将增强生成网络

和姿态估计网络

进行对抗训练，在对抗训练过程中调整该增强生成网络和姿态估计网络这两个网络的网络参数。该对抗训练指的是：增强生成网络努力生成更加困难的样本，希望能够迷惑住姿态估计网络，而姿态估计网络希望对各类困难的样本，都能够输出准确的结果。即增强生成网络和姿态估计网络两者的参数调整目标是相反的。

例如，姿态估计网络的损失函数可以是如下的公式（3）表示：

......（3）

上述的公式（3）的损失函数可以是MSE loss，其中，

是姿态估计网络的网络参数，

表示姿态估计网络输出的图像处理结果，例如是人体姿态热度图，

表示人体姿态热度图对应的标签值。

根据公式（3），即为：基于姿态估计网络输出的人体姿态热度图及其对应的标签值，得到MSE loss作为第一损失。

例如，增强生成网络的损失函数可以是如下的公式（4）表示：

......（4）

本实施例中，可以将根据公式（4）得到的

称为增强生成网络对应的第二损失，该第二损失与第一损失可以呈负相关。所述的负相关指的是第一损失和第二损失的变动方向是相反的，比如，第一损失的值越大时，第二损失的值就越小；反之，第一损失的值越小，第二损失的值越大。例如，如上述的公式（4），可以将第一损失的负数

作为增强生成网络对应的第二损失。需要说明的是，

不局限于上述公式（4）所示的形式，例如，还可以是

=-0.6

，即以一定的系数对

取负数。

请继续参见图3，可以依据第一损失调整姿态估计网络的网络参数，并基于第二损失调整所述增强生成网络的网络参数。

本实施例的图像处理网络的训练方法，通过将多种图像增强策略对应生成的多张增强图像进行加权融合，使得训练的图像处理网络提升了广谱（对各类噪声）的抗干扰能力；并且，通过对增强生成网络和图像处理网络的对抗训练，使得图像处理网络具备更强的抗干扰性。

在又一个实施例中，为了在训练图像处理网络提升抗干扰性的基础上，保持网络在干净样本条件下的精度不降低，本实施例还增加了通过干净图像样本训练得到的教师图像处理网络，以知识蒸馏的方式对图像处理网络进行监督。

首先，请参见图5的示意，其中的教师图像处理网络仍以对人体进行姿态估计的网络为例(Teacher Pose Estimator)，该教师图像处理网络可以用

表示。该

可以采用与图像处理网络

相同的网络结构，这样可以避免教师图像处理网络过于复杂而导致花费较多的时间和资源去训练。示例性的，图像处理网络可以采用ResNet或者HRNet等网络结构。

此外，教师图像处理网络可以是用干净图像样本训练的。具体的，假设用于训练图像处理网络的样本集中包括N个干净图像样本（N为自然数），那么也可以用这N个干净图像样本去训练教师图像处理网络。比如，对于其中任一个干净图像样本，按照图3示意的流程去生成融合增强图像，并利用融合增强图像作为图像处理网络的输入；而可以直接将干净图像样本作为教师图像处理网络的输入，对该教师图像处理网络进行训练。由于教师图像处理网络是直接通过干净图像样本训练的，所以能够在干净图像上保持很好的精度，并利用训练好的教师图像处理网络的输出对图像处理网络进行监督。

假设教师图像处理网络输出的图像处理结果可以称为教师输出结果，那么，可以根据该教师输出结果和图像处理网络输出的图像处理结果，计算蒸馏损失，参见如下的公式（5）：

......（5）

上述公式（5）计算的损失函数也是MSE loss，可以用

表示蒸馏损失，其中，

表示干净图像输入教师图像处理网络

后得到的教师输出结果。

而图像处理网络

的总体的损失函数可以表示为如下的公式（6）：

......（6）

例如，

可以为0.1，本实施例不限制

的取值。图像处理网络可以根据

调整其网络参数。该

可以称为图像处理网络的总损失。

图6示意了图像处理网络的训练流程，请结合图6、图5和图3来看该训练流程，可以包括如下处理，其中，教师图像处理网络假设已经提前通过干净图像样本训练好，并且，增强生成网络和图像处理网络的网络参数进行了初始化。该图6描述的可以是一张干净图像在所述图像处理网络训练阶段的处理流程，其中，前述实施例已经描述的处理流程，这里将简单说明，详细处理过程可以参见前述的任一方法实施例。

在步骤600中，对干净图像并行的进行多种图像增强策略对应的增强操作，得到对应的多张增强图像，每一张所述增强图像对应一种所述图像增强策略。

例如，干净图像用I表示，通过k种（O₁至O_k）图像增强策略的增强操作，得到了对应的k张增强图像I₁至I_k。干净样本I也可以作为一种类型的图像，用I₀表示。

在步骤602中，将所述多张增强图像和干净图像，输入增强生成网络，得到所述增强生成网络输出的权重信息。

例如，可以将I₀至I_k都输入增强生成网络

，增强生成网络

可以输出权重信息，该权重信息中可以包括分别对应每一张增强图像的融合权重，M₀至M_k。

在步骤604中，基于所述各个增强图像和干净图像的融合权重，对所述多张增强图像进行加权融合，得到融合增强图像。

例如，可以根据M₀至M_k，对增强图像I₀至I_k进行加权融合，得到融合增强图像I_mix。

在步骤606中，将所述融合增强图像输入图像处理网络，得到图像处理网络输出的图像处理结果。

例如，可以将I_mix输入图像处理网络，得到图像处理网络输出的图像处理结果，该图像处理结果可以是人体姿态热度图（Heatmap）。

在步骤608中，基于图像处理结果及其标签值得到第一损失，基于图像处理结果及教师输出结果得到蒸馏损失，根据第一损失和蒸馏损失得到图像处理网络的总损失。还可以基于第一损失得到第二损失，该第二损失与第一损失负相关。

例如，可以根据公式（3）计算得到第一损失

。

例如，可以根据公式（4）得到第二损失

。

例如，可以根据公式（5）计算得到蒸馏损失

。

例如，可以根据公式（6）得到图像处理网络的总损失

。

在步骤610中，基于所述的总损失调整图像处理网络的网络参数，并基于第二损失调整增强生成网络的网络参数。

本实施例的图像处理网络的训练方法，通过将多种图像增强策略对应生成的多张增强图像进行加权融合，使得训练的图像处理网络提升了广谱（对各类噪声）的抗干扰能力；并且，通过对增强生成网络和图像处理网络的对抗训练，使得图像处理网络具备更强的抗干扰性；此外，还通过教师图像处理网络的监督，保证了图像处理网络在干净图像上的精度。

通过上述的本公开任一实施例训练得到的图像处理网络，可以将该已训练好的图像处理网络应用于对目标图像进行处理，得到图像处理结果。该图像处理结果例如可以包括：目标图像中的目标对象的检测结果，或者目标图像中的图像信息的检测结果。如下举例图像处理结果，包括但不限于：

例如，所述的目标对象可以是人体、人体部位等。其中的目标对象的检测结果可以是由目标图像中识别出指甲、眼睛等人体部位，以根据检测到的人体部位添加特效或其他处理。还可以是由带有各种背景环境的目标图像中检测到目标对象的位置。又例如，还可以检测目标图像中的图像信息，所述的图像信息可以是检测图像中人体行为的类型，如，踢球、弯腰、打架等；还可以检测人手所做的姿势，比如，可以通过人手做出OK、画圈等不同的手势，以根据检测到的手势进行相关控制操作。

图7示例了一种将已训练完成的图像处理网络应用于对目标图像进行处理的图像处理方法，该方法可以包括：

在步骤700中，接收待处理的目标图像。

该目标图像在不同的场景下可以是不同的，例如，可以是一个包含人体的图像。该目标图像可以是不带噪声的干净图像，也可以是噪声图像。

在步骤702中，通过预先训练的图像处理网络，对所述目标图像进行处理，得到图像处理结果。

其中，本实施例中的图像处理网络是按照本公开任一实施例的训练方法训练得到的。在不同的场景下，该图像处理网络可以是不同的：

例如，在目标检测的任务中，该图像处理网络可以输出目标图像中的目标对象。比如该目标对象可以是人身体的某个部位，或者是人体肢体的关键点。

又例如，在分类任务中，该图像处理网络可以输出目标图像中的图像信息的分类结果。比如，该分类结果可以是人体姿态动作的类型，或者是人体行为种类。

本实施例的图像处理方法，由于在图像处理网络的训练中使用了融合增强图像，并且使用了对抗训练以及知识蒸馏等方式，使得训练得到的图像处理网络具有较好的抗干扰能力，而且该网络能够保持干净图像上的精度，从而在网络的实际应用中，不论输入图像是干净图像还是噪声图像，都可以达到较好的精度，并且具有广谱的抗干扰能力。

图8示出了本公开至少一个实施例提供的一种图像处理网络的训练装置，如图8所示，该装置可以包括：图像增强模块81、权重确定模块82、图像融合模块83和训练处理模块84。

图像增强模块81，用于对干净图像进行多种图像增强操作，得到多张增强图像，每一张所述增强图像对应一种类型的所述图像增强操作。

权重确定模块82，用于确定多张待融合图像的融合权重；所述待融合图像包括所述多张增强图像，或者，所述待融合图像包括所述多张增强图像以及所述干净图像。

图像融合模块83，用于利用所述多张待融合图像的融合权重对所述多张待融合图像进行加权融合，得到融合增强图像。

训练处理模块84，用于将所述融合增强图像作为图像处理网络的至少部分训练样本，对所述图像处理网络进行训练。

在一个例子中，权重确定模块82，具体用于：将所述多张待融合图像输入训练好的增强生成网络，得到所述增强生成网络输出的权重信息，所述权重信息中包括分别对应各个待融合图像的融合权重。

在一个例子中，权重确定模块82，具体用于：将所述多张待融合图像输入待训练的增强生成网络，得到所述增强生成网络输出的分别对应各个待融合图像的融合权重。

训练处理模块84，在用于对图像处理网络进行训练时，包括：将所述融合增强图像输入所述图像处理网络，得到所述图像处理网络输出的图像处理结果；基于根据所述图像处理结果得到的监督信息，对所述图像处理网络和所述增强生成网络进行对抗训练，以调整所述图像处理网络和增强生成网络的网络参数。

在一个例子中，训练处理模块84，在用于对所述图像处理网络和所述增强生成网络进行对抗训练时，包括：基于所述图像处理网络输出的图像处理结果、以及所述图像处理结果的标签值，得到所述第一损失；根据所述第一损失，得到所述增强生成网络对应的第二损失，所述第二损失和第一损失呈负相关；基于所述第一损失调整所述图像处理网络的网络参数，并基于所述第二损失调整所述增强生成网络的网络参数。

在一个例子中，训练处理模块84，在用于对所述图像处理网络进行训练时，包括：基于所述图像处理网络输出的图像处理结果、以及所述图像处理网络对应的教师图像处理网络的教师输出结果，得到蒸馏损失，其中，所述图像处理结果是将所述融合增强图像输入所述图像处理网络处理得到；所述教师图像处理网络是根据干净图像样本训练得到；根据所述蒸馏损失，调整所述图像处理网络的网络参数。

在一个例子中，如图9所示，该装置还可以包括：图像处理模块85，用于将所述干净图像输入预先训练得到的所述教师图像处理网络，得到所述教师输出结果；其中，所述教师图像处理网络的网络结构与所述图像处理网络的网络结构相同。

在一个例子中，已训练完成的图像处理网络可以用于对目标图像进行处理得到图像处理结果：所述图像处理结果包括以下任一种：所述目标图像中的目标对象的检测结果、所述目标图像中的图像信息的检测结果。

在一些实施例中，上述装置可以用于执行上文所述的对应任意方法，为了简洁，这里不再赘述。

本公开实施例还提供了一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机可读指令，实现本说明书任一实施例的方法。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本说明书任一实施例的方法。

本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本公开实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例描述的图像处理网络的训练方法的步骤。

本公开实施例还提供一种计算机程序产品，包括计算机程序，该程序被处理器执行时实现本公开任一实施例描述的图像处理网络的训练方法。

其中，本公开实施例所述的“和/或”表示至少具有两者中的其中一个，例如，“多和/或B”包括三种方案：多、B、以及“多和B”。

本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPG多（现场可编程门阵列）或多SIC（专用集成电路）来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理（PD多）、移动音频或视频播放器、游戏操纵台、全球定位系统（GPS）接收机、或例如通用串行总线（USB）闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备（例如EPROM、EEPROM和闪存设备）、磁盘（例如内部硬盘或可移动盘）、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims

1.一种图像处理网络的训练方法，其特征在于，所述方法包括：

通过待训练的增强生成网络，确定多张待融合图像的融合权重；所述待融合图像包括所述多张增强图像，或者，所述待融合图像包括所述多张增强图像以及所述干净图像；

将所述融合增强图像作为图像处理网络的至少部分训练样本，对所述图像处理网络进行训练；所述对所述图像处理网络进行训练，包括：将所述融合增强图像输入所述图像处理网络，得到所述图像处理网络输出的图像处理结果；基于根据所述图像处理结果得到的监督信息，对所述图像处理网络和所述增强生成网络进行对抗训练，以调整所述图像处理网络和增强生成网络的网络参数；

所述监督信息包括第一损失；所述对所述图像处理网络和所述增强生成网络进行对抗训练，包括：基于所述图像处理网络输出的图像处理结果、以及所述图像处理结果的标签值，得到所述第一损失；根据所述第一损失，得到所述增强生成网络对应的第二损失，所述第二损失和第一损失呈负相关；基于所述第一损失调整所述图像处理网络的网络参数，并基于所述第二损失调整所述增强生成网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，

所述对所述图像处理网络进行训练，包括：

基于所述图像处理网络输出的图像处理结果、以及所述图像处理网络对应的教师图像处理网络的教师输出结果，得到蒸馏损失；所述教师图像处理网络是根据干净图像样本训练得到；其中，所述图像处理结果是将所述融合增强图像输入所述图像处理网络处理得到；

根据所述蒸馏损失，调整所述图像处理网络的网络参数。

3.根据权利要求2所述的方法，其特征在于，在所述得到蒸馏损失之前，所述方法还包括：

将所述干净图像输入预先训练得到的所述教师图像处理网络，得到所述教师输出结果；其中，所述教师图像处理网络的网络结构与所述图像处理网络的网络结构相同。

4.根据权利要求1~3任一所述的方法，其特征在于，已训练完成的图像处理网络用于对目标图像进行处理得到图像处理结果，所述图像处理结果包括以下任一种：所述目标图像中的目标对象的检测结果、所述目标图像中的图像信息的检测结果。

5.一种图像处理网络的训练装置，其特征在于，所述装置包括：

权重确定模块，用于通过待训练的增强生成网络，确定多张待融合图像的融合权重；所述待融合图像包括所述多张增强图像，或者，所述待融合图像包括所述多张增强图像以及所述干净图像；

训练处理模块，用于将所述融合增强图像作为图像处理网络的至少部分训练样本，对所述图像处理网络进行训练；

所述训练处理模块，在用于对图像处理网络进行训练时，包括：将所述融合增强图像输入所述图像处理网络，得到所述图像处理网络输出的图像处理结果；基于根据所述图像处理结果得到的监督信息，对所述图像处理网络和所述增强生成网络进行对抗训练，以调整所述图像处理网络和增强生成网络的网络参数；

所述训练处理模块，在用于对所述图像处理网络和所述增强生成网络进行对抗训练时，包括：基于所述图像处理网络输出的图像处理结果、以及所述图像处理结果的标签值，得到第一损失；根据所述第一损失，得到所述增强生成网络对应的第二损失，所述第二损失和第一损失呈负相关；基于所述第一损失调整所述图像处理网络的网络参数，并基于所述第二损失调整所述增强生成网络的网络参数。

6.根据权利要求5所述的装置，其特征在于，

所述训练处理模块，在用于对所述图像处理网络进行训练时，包括：基于所述图像处理网络输出的图像处理结果、以及所述图像处理网络对应的教师图像处理网络的教师输出结果，得到蒸馏损失，其中，所述图像处理结果是将所述融合增强图像输入所述图像处理网络处理得到；所述教师图像处理网络是根据干净图像样本训练得到；根据所述蒸馏损失，调整所述图像处理网络的网络参数。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

图像处理模块，用于将所述干净图像输入预先训练得到的所述教师图像处理网络，得到所述教师输出结果；其中，所述教师图像处理网络的网络结构与所述图像处理网络的网络结构相同。

8.根据权利要求5~7任一所述的装置，其特征在于，已训练完成的图像处理网络用于对目标图像进行处理得到图像处理结果：所述图像处理结果包括以下任一种：所述目标图像中的目标对象的检测结果、所述目标图像中的图像信息的检测结果。

9.一种电子设备，其特征在于，包括：存储器、处理器，所述存储器用于存储计算机可读指令，所述处理器用于调用所述计算机可读指令，实现权利要求1至4任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至4任一所述的方法。