CN110070175A - 图像处理方法、模型训练方法及装置、电子设备 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、模型训练方法及装置、电子设备。所述图像处理方法基于循环网络实现，所述循环网络包括第一网络和门结构模型，所述方法包括：获取基于第一网络处理后的图像数据；基于所述图像数据和所述门结构模型获得阈值参数；根据所述阈值参数，确定所述图像数据的处理策略。本发明实施例的技术方案能够实现循环网络中第一网络的循环使用，实现了资源的合理利用，避免了资源浪费。

Description

图像处理方法、模型训练方法及装置、电子设备

技术领域

本发明涉及深度学习技术领域，具体涉及一种图像处理方法、模型训练方法及装置、电子设备。

背景技术

卷积神经网络的网络结构大多包括主干网络和分支任务网络，主干网络用于提取特征，分支网络通常使用主干网络的特征进行实际任务分类等。主干网络通常使用多个相同结构的神经网络模块组合的方式完成，图像数据会依次不重复的通过这些相同的神经网络模块，这种方式造成了一定的资源浪费。因此，如何解决这种资源浪费的问题，目前尚无有效解决方案。

发明内容

为解决现有存在的技术问题，本发明实施例提供了一种图像处理方法、模型训练方法及装置、电子设备。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像处理方法，所述图像处理方法基于循环网络实现，所述循环网络包括第一网络和门结构模型，所述方法包括：

获取基于第一网络处理后的图像数据；

基于所述图像数据和所述门结构模型获得阈值参数；

根据所述阈值参数，确定所述图像数据的处理策略。

上述方案中，所述循环网络还包括第二网络，所述根据所述阈值参数，确定所述图像数据的处理策略包括：

响应于所述阈值参数为第一预设阈值的情况，则基于所述第一网络处理所述图像数据；

响应于所述阈值参数为第二预设阈值的情况，则采用所述第二网络处理所述图像数据。

上述方案中，在基于所述第一网络处理所述图像数据之前，还包括：

对所述第一网络的参数进行调整，得到更新后的参数，其中，所述参数包括归一化层的均值和方差；

基于所述第一网络采用更新后的参数对所述图像数据进行处理。

上述方案中，所述对所述第一网络的参数进行调整，得到更新后的参数，包括：

将所述第一网络的归一化层的均值与所述图像数据的均值进行加权叠加，得到所述更新后的参数。

上述方案中，所述根据所述图像数据和所述门结构模型获得阈值参数，包括：

对所述图像数据进行全局池化处理，获得池化处理数据；

基于全连接层对所述池化处理数据进行处理，获得处理数据；

通过归一化指数函数对所述处理数据进行处理，获得所述阈值参数。

上述方案中，所述全连接层包括第一连接层和第二连接层，所述基于全连接层对所述池化处理数据进行处理，获得处理数据，包括：

分别基于所述第一全连接层和所述第二全连接层对所述池化处理数据进行处理，获得第一处理数据和第二处理数据。

上述方案中，所述通过归一化指数函数对所述处理数据进行处理，获得所述阈值参数，包括：

通过归一化指数函数分别对所述第一处理数据和第二处理数据进行处理，获得第一概率和第二概率，其中，所述第一概率表示通过所述第一网络处理所述图像数据的概率；所述第二概率表示不通过所述第一网络处理所述图像数据的概率；

基于所述第一概率和所述第二概率确定所述阈值参数。

本发明实施例还提供了一种模型训练方法，所述模型训练方法用于训练门结构模型，所述门结构模型用于确定循环网络中基于第一网络处理后的图像数据的处理策略；

所述模型训练方法包括：

获得样本图像数据以及所述样本图像数据对应的样本阈值参数；

基于所述样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型。

上述方案中，所述基于所述多个样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型，包括：

对所述样本图像数据进行全局池化处理，获得样本池化处理数据；

基于全连接层对所述样本池化处理数据进行处理，获得样本处理数据；

基于所述样本处理数据和对应的样本阈值参数进行训练，获得所述门结构模型。

上述方案中，所述全连接层包括第一连接层和第二连接层，所述基于全连接层对所述样本池化处理数据进行处理，获得样本处理数据，包括：

分别基于所述第一全连接层和所述第二全连接层对所述样本池化处理数据进行处理，获得第一样本处理数据和第二样本处理数据。

上述方案中，所述基于所述样本处理数据和对应的样本阈值参数进行训练，获得所述门结构模型，包括：

基于所述样本阈值参数分别获得所述第一样本处理数据对应的第一标签数据和所述第二样本处理数据对应的第二标签数据；

分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。

上述方案中，所述分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练之前，所述方法还包括：

分别在所述第一样本处理数据和所述第二样本处理数据中添加噪声数据，得到更新后的第一样本处理数据和第二样本处理数据；

所述分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型，包括

分别基于更新后的第一样本处理数据和对应的第一标签数据、更新后的所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。

本发明实施例还提供了一种图像处理装置，所述装置应用于循环网络，所述循环网络包括第一网络和门结构模型；所述图像处理装置包括第一获取单元和图像处理单元；其中，

所述第一获取单元，用于获取基于第一网络处理后的图像数据；还用于基于所述图像数据和所述门结构模型获得阈值参数；

所述图像处理单元，用于根据所述获取单元获得的所述阈值参数，确定所述图像数据的处理策略。

上述方案中，所述循环网络还包括第二网络；所述图像处理单元，用于响应于所述阈值参数为第一预设阈值的情况，则基于所述第一网络处理所述图像数据；响应于所述阈值参数为第二预设数值的情况，则采用所述第二网络处理所述图像数据。

上述方案中，所述图像处理单元，还用于在基于所述第一网络处理所述图像数据之前，对所述第一网络的参数进行调整，得到更新后的参数，其中，所述参数包括归一化层的均值和方差；基于所述第一网络采用更新后的参数对所述图像数据进行处理。

上述方案中，所述图像处理单元，用于将所述第一网络的归一化层的均值与所述图像数据的均值进行加权叠加，得到所述更新后的参数。

上述方案中，所述图像处理单元，用于对所述图像数据进行全局池化处理，获得池化处理数据；基于全连接层对所述池化处理数据进行处理，获得处理数据；通过归一化指数函数对所述处理数据进行处理，获得所述阈值参数。

上述方案中，所述全连接层包括第一连接层和第二连接层，所述图像处理单元，用于分别基于所述第一全连接层和所述第二全连接层对所述池化处理数据进行处理，获得第一处理数据和第二处理数据。

上述方案中，所述图像处理单元，用于通过归一化指数函数分别对所述第一处理数据和第二处理数据进行处理，获得第一概率和第二概率，其中，所述第一概率表示通过所述第一网络处理所述图像数据的概率；所述第二概率表示不通过所述第一网络处理所述图像数据的概率；基于所述第一概率和所述第二概率确定所述阈值参数。

本发明实施例还提供了一种模型训练装置，所述模型训练装置用于训练门结构模型，所述门结构模型用于确定循环网络中基于第一网络处理后的图像数据的处理策略；所述装置包括：第二获取单元和训练单元；其中，

所述第二获取单元，用于获得样本图像数据以及所述样本图像数据对应的样本阈值参数；

所述训练单元，用于基于所述样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型。

上述方案中，所述训练单元，用于对所述样本图像数据进行全局池化处理，获得样本池化处理数据；基于全连接层对所述样本池化处理数据进行处理，获得样本处理数据；基于所述样本处理数据和对应的样本阈值参数进行训练，获得所述门结构模型。

上述方案中，所述全连接层包括第一连接层和第二连接层，所述训练单元，用于分别基于所述第一全连接层和所述第二全连接层对所述样本池化处理数据进行处理，获得第一样本处理数据和第二样本处理数据。

上述方案中，所述训练单元，用于基于所述样本阈值参数分别获得所述第一样本处理数据对应的第一标签数据和所述第二样本处理数据对应的第二标签数据；分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。

上述方案中，所述训练单元，还用于分别在所述第一样本处理数据和所述第二样本处理数据中添加噪声数据，得到更新后的第一样本处理数据和第二样本处理数据；分别基于更新后的第一样本处理数据和对应的第一标签数据、更新后的所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述图像处理方法的步骤；或者，

该程序被处理器执行时实现本发明实施例所述模型训练方法的步骤。

本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述图像处理方法的步骤；或者，

所述处理器执行所述程序时实现本发明实施例所述模型训练方法的步骤。

本发明实施例提供的图像处理方法、模型训练方法及装置、电子设备，所述图像处理方法基于循环网络实现，所述循环网络包括第一网络和门结构模型；所述方法包括：获取基于第一网络处理后的图像数据；基于所述图像数据和所述门结构模型获得阈值参数；根据所述阈值参数，确定所述图像数据的处理策略。采用本发明实施例的技术方案，通过门结构模型决策循环网络中图像数据的处理策略，能够实现循环网络中第一网络的循环使用，实现了资源的合理利用，避免了资源浪费的问题。

附图说明

图1为本发明实施例的图像处理方法的一种流程示意图；

图2为本发明实施例的图像处理方法的另一种流程示意图；

图3为本发明实施例的图像处理方法中通过门结构模型的处理示意图；

图4a和图4b分别为本发明实施例的图像处理方法的应用示意图；

图5为本发明实施例的图像处理方法的又一种流程示意图；

图6为本发明实施例的图像处理方法中的第一网络通过更新的参数的处理示意图；

图7为本发明实施例的模型训练方法的流程示意图；

图8为本发明实施例的图像处理装置的组成结构示意图；

图9为本发明实施例的模型训练装置的组成结构示意图；

图10为本发明实施例的电子设备的硬件组成结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

本发明实施例提供了一种图像处理方法，所述图像处理方法基于循环网络实现，所述循环网络包括第一网络和门结构模型。作为一种示例，所述循环网络可以是神经网络，例如卷积神经网络。相关技术中，神经网络中具有多个相同的处理模块(Block)或层结构(所述层结构例如卷积神经网络中的卷积层)，多个处理模块或层结构的结构相同，且每个处理模块或层结构的输入数据和输出数据的维度也相同。其中，维度可表示为(通道数(channel)、高度(height)、宽度(width))；其中，高度(height)和宽度(width)可表示图像数据的尺寸。基于此，本实施例中的第一网络可以为上述相关技术中具有相同结构的处理模块或层结构，可以理解，本实施例中的第一网络为循环网络中可循环使用的网络。所述门结构模型作为循环网络中的一部分，用于确定图像数据在所述循环网络中的处理策略，例如确定循环通过所述第一网络处理图像数据的处理策略等等。

图1为本发明实施例的图像处理方法的一种流程示意图，如图1所示，所述方法包括：

步骤101：获取基于第一网络处理后的图像数据。

本步骤中，图像数据是第一网络输出的图像数据。而对于所述第一网络的输入数据，作为第一种实施方式，所述第一网络的输入数据可以是原始图像数据，所述原始图像数据为输入至循环网络的初始数据。这种情况下，第一网络为循环网络中的第一个网络，则原始图像数据在通过所述循环网络进行图像处理过程中首先输入至第一网络。作为第二种实施方式，所述第一网络的输入数据还可以是循环网络中除所述第一网络之外的其他网络处理后的图像数据，此时所述第一网络在循环网络中并非是第一个网络，则原始图像数据在通过所述循环网络进行图像处理过程中首先输入至其他网络，通过其他网络处理后的图像数据作为所述第一网络的输入数据。作为第三种实施方式，所述第一网络的输入数据还可以是所述第一网络处理后的数据，可以理解，所述第一网络的输出数据还可以作为所述第一网络的输入数据，即所述第一网络在循环网络中循环使用。

步骤102：基于所述图像数据和所述门结构模型获得阈值参数。

本实施例中，所述门结构模型为采用预设模型训练方法训练获得的门结构模型，所述门结构模型用于确定所述图像数据的处理策略；通过将所述图像数据输入至所述门结构模型获得的不同的阈值参数确定对应的处理策略。

本步骤中，所述基于所述图像数据和所述门结构模型获得阈值参数，包括：将所述图像数据输入所述门结构模型，获得阈值参数。其中，所述阈值参数的取值为两个，则本步骤中，所述基于所述图像数据和所述门结构模型获得阈值参数，包括：基于所述图像数据和所述门结构模型获得第一阈值参数或第二阈值参数；所述第一阈值参数用于指示所述图像数据的处理策略为第一处理策略；所述第二阈值参数用于指示所述图像数据的处理策略为第二处理策略。其中，所述第一处理策略为重新采用所述第一网络处理所述图像数据的处理策略；所述第二处理策略为区别于所述第一处理策略的其他处理策略，例如通过除所述第一网络以外的其他网络处理所述图像数据的处理策略。

本实施例中，所述门结构模型作为循环网络的一部分，具有特定的网络结构，可以理解，所述门结构模型为所述循环网络中的部分网络。作为一种示例，所述门结构模型具有多个处理模块或处理层，用于对输入的图像数据进行图像处理；所述门结构模型中的最后一个处理模块或处理层用于对图像数据的图像处理结果进行归一化处理，以获得所述阈值参数。

步骤103：根据所述阈值参数，确定所述图像数据的处理策略。

本步骤中，所述根据所述阈值参数，确定所述图像数据的处理策略，包括：根据所述阈值参数确定是否重新采用所述第一网络处理所述图像处理的处理策略。

本实施例中，基于阈值参数的不同确定图像数据对应的处理策略。作为一种示例，在所述图像数据通过所述门结构模型的处理获得的阈值参数为所述第一阈值参数的情况下，确定所述图像数据重新采用所述第一网络进行处理的第一处理策略。相应的，所述基于第一网络处理后的图像数据重新作为所述第一网络的输入数据，重新采用所述第一网络进行处理。

采用本发明实施例的技术方案，通过门结构模型决策循环网络中图像数据的处理策略，能够实现循环网络中第一网络的循环使用，实现了资源的合理利用，避免了资源浪费的问题。

本发明实施例还提供了一种图像处理方法。本实施例在前述实施例的基础上，对前述实施例中的步骤103进行具体说明。本实施例中，所述循环网络还包括第二网络，可以理解，所述循环网络中还包括除所述第一网络之外的其他网络，记为第二网络。则所述方法包括：

步骤101：获取基于第一网络处理后的图像数据。

步骤102：基于所述图像数据和所述门结构模型获得阈值参数。

本实施例中的步骤101和步骤102与前述实施例中的步骤101和步骤102相同，这里不再赘述。

步骤103a：响应于所述阈值参数为第一预设阈值的情况，确定第一处理策略，即确定所述图像数据的处理策略为基于所述第一网络处理所述图像数据；

步骤103b：响应于所述阈值参数为第二预设阈值的情况，确定第二处理策略，即确定所述图像数据的处理策略为采用所述第二网络处理所述图像数据。

本实施例中，所述第一网络处理后的图像数据可重新作为所述第一网络的输入数据，或者也可作为所述第二网络的输入数据。通过所述门结构模型输出的阈值参数的不同执行将所述图像数据是重新输入至所述第一网络进行处理，或是将所述图像数据输入至所述第二网络进行处理。

作为一种示例，所述阈值参数的取值可以是1或0，以第一预设阈值为1为例，则响应于所述阈值参数为1的情况，表示通过所述第一网络重新对所述图像数据进行图像处理；相应的，以第二预设阈值为0为例，则响应于所述阈值参数为0的情况，表示通过第二网络对所述图像数据进行图像处理。

采用本发明实施例的技术方案，通过门结构模型决策循环网络中图像数据的处理策略，即通过图像数据输入至门结构模型后的不同取值执行重新基于第一网络处理图像数据，或是通过第二网络处理图像数据，能够实现循环网络中第一网络的循环使用，实现了资源的合理利用，避免了资源浪费的问题。

基于前述实施例，本发明实施例还提供了一种图像处理方法，所述图像处理方法基于循环网络实现，所述循环网络包括第一网络、第二网络和门结构模型。图2为本发明实施例的图像处理方法的另一种流程示意图。如图2所示，所述方法包括：

步骤201：获取基于第一网络处理后的图像数据。

本实施例步骤201的详细描述可参照前述实施例的步骤101的详细描述，这里不再赘述。

步骤202：对所述图像数据进行全局池化(Global Pool)处理，获得池化处理数据。

步骤203：基于全连接(FC，Fully Connected)层对所述池化处理数据进行处理，获得处理数据。

步骤204：通过归一化指数函数对所述处理数据进行处理，获得阈值参数。

本实施例中，门结构模型包括全局池化层和FC层，图像数据首先输入全局池化层进行全局池化处理。其中，所述全局池化处理用于降低图像数据的维度，从而减少计算量。例如，若图像数据表示为N*C*H*W，其中，N可表示图像数量；C为通道数量；H为高度(height)；W为宽度(width)；则通过全局池化处理获得的池化处理数据可表示为N*C*1*1。进一步地，基于FC层对池化处理数据进行处理，再通过归一化指数函数对全连接层处理后的处理数据进行处理，获得阈值参数。

在本发明的一种可选实施例中，所述全连接层包括第一连接层和第二连接层，则所述基于全连接层对所述池化处理数据进行处理，获得处理数据，包括：分别基于所述第一全连接层和所述第二全连接层对所述池化处理数据进行处理，获得第一处理数据和第二处理数据。相应的，所述通过归一化指数函数对所述处理数据进行处理，获得所述阈值参数，包括：通过归一化指数函数分别对所述第一处理数据和第二处理数据进行处理，获得第一概率和第二概率，其中，所述第一概率表示通过所述第一网络处理所述图像数据的概率；所述第二概率表示不通过所述第一网络处理所述图像数据的概率；基于所述第一概率和所述第二概率确定所述阈值参数。

本实施例中，门结构模型中具有两个全连接层，记为第一全连接层和第二全连接层。每个全连接层分别对池化处理数据进行处理，获得第一处理数据和第二处理数据。以池化处理数据表示为N*C*1*1为例，则通过第一全连接层和第二全连接层处理获得的处理数据可表示为N*2*1*1。这种情况下，通过第一全连接层和第二全连接层的降维处理，获得的所述第一处理数据和所述第二处理数据为两个通道的处理数据，其中，每个通道的数据分别对应于第一处理数据和第二处理数据。也可以理解，第一处理数据和第二处理数据可分别对应于不同的处理策略。进一步地，通过归一化指数函数(例如Softmax函数)分别对第一处理数据和第二处理数据进行处理，获得表示通过所述第一网络处理所述图像数据的第一概率以及表示不通过所述第一网络处理所述图像数据的第二概率；再通过ArgMax函数对第一概率和第二概率值进行处理，获得阈值参数。

步骤205a：响应于所述阈值参数为第一预设阈值的情况，则基于所述第一网络处理所述图像数据；

步骤205b：响应于所述阈值参数为第二预设阈值的情况，则采用所述第二网络处理所述图像数据。

本实施例步骤205a至步骤205b的详细描述可参照前述实施例的步骤103a至步骤103b的详细描述，这里不再赘述。

图3为本发明实施例的图像处理方法中通过门结构模型的处理示意图。结合图3所示，获得图像数据后，将图像数据分别送入第1路线、第2路线和第3路线(如图3中的1、2、3所示)；其中，通过第1路线将图像数据输入第一网络，通过第2路线将图像数据输入门结构模型中的全局池化层，获得池化处理数据；将池化处理数据输入至全连接层(FC层)，获得处理数据；将处理数据通过Softmax函数和ArgMax函数进行处理，获得阈值参数；图3中的阈值参数例如g所示。则将通过第一网络处理后的图像数据乘以g，将第3路线的图像数据乘以(1-g)，基于g乘以所述图像数据的结果以及(1-g)乘以所述图像数据的结果获得处理后的图像数据。作为一种示例，g为1，则(1-g)为0，相当于(1-g)乘以所述图像数据的结果为0，则最终获得的处理后的数据为通过第一网络处理的图像数据。相应的，作为另一种示例，g为0，则(1-g)为1，相当于g乘以所述图像数据的结果为0，则最终获得的处理后的数据为跳过第一网络的所述图像数据。

需要说明的是，图3中所示的噪声数据为训练过程中使用的，在本实施例中不涉及使用噪声数据。

结合上述所述，本实施例中的门结构模型相当于一个“开关”，用于决策图像数据的处理流向。下面结合一具体的示例对本实施例中的门结构模型进行说明。

图4a和图4b分别为本发明实施例的图像处理方法的应用示意图，在本应用示意中，所述门结构模型可相当于一个“单刀双掷开关”，通过所述门结构获得的阈值参数的不同取值决策该“单刀双掷开关”的动端与哪一侧的通路连接。如图4a所示，在获得的阈值参数的取值为第一预设阈值的情况下(例如前述实施例中所述第一预设阈值为1)的情况下，决策该“单刀双掷开关”的动端与对应于第一网络的通路连接，即将所述图像数据重新输入所述第一网络。如图4b所示，在获得的阈值参数的取值为第二预设阈值的情况下(例如前述实施例中所述第一预设阈值为0)的情况下，决策该“单刀双掷开关”的动端与对应于第二网络的通路连接，即“跳过”第一网络，将所述图像数据输入至第二网络。

本实施例中，作为一种示例，通过门结构模型控制图像数据重新输入第一网络的次数、也即通过所述第一网络处理所述图像数据的次数与相关技术中的神经网络中应具有的处理模块(Block)或层结构的数量相关；作为一种示例，所述第一网络的循环处理次数不超过相关技术中的神经网络中的具有相同结构的处理模块(Block)或层结构的总数量，即所述第一网络的总计算量不超过相关技术中的神经网络中的具有相同结构的处理模块(Block)或层结构对应的总计算量。其中，所述第一网络在循环使用过程中，除了最高循环次数的输出作为第二网络的输入之外，其他循环次数的输出均重新输入至所述第一网络。从另一方面来说，门结构模型也可通过所述图像数据确定所述第一网络的循环使用次数。

采用本发明实施例的技术方案，通过门结构模型决策循环网络中图像数据的处理策略，即通过图像数据输入至门结构模型后的不同取值执行重新基于第一网络处理图像数据，或是通过第二网络处理图像数据，能够实现循环网络中第一网络的循环使用，实现了资源的合理利用，避免了资源浪费的问题。

基于前述实施例，本发明还提供了一种图像处理方法，所述图像处理方法基于循环网络实现，所述循环网络包括第一网络和门结构模型。图5为本发明实施例的图像处理方法的又一种流程示意图。如图5所示，所述方法包括：

步骤301：获取基于第一网络处理后的图像数据；

步骤302：基于所述图像数据和所述门结构模型获得阈值参数。

本实施例步骤301至步骤302的详细描述可参照前述实施例的步骤101至步骤102的详细描述，这里不再赘述。

步骤303a：响应于所述阈值参数为第一预设阈值的情况，对所述第一网络的参数进行调整，得到更新后的参数，基于所述第一网络采用更新后的参数对所述图像数据进行处理；其中，所述参数包括归一化(BN)层的均值和方差；

步骤303b：响应于所述阈值参数为第二预设阈值的情况，则采用所述第二网络处理所述图像数据。

本实施例中步骤303a和步骤303b中针对图像处理的处理方式的具体描述可参照前述实施例中步骤205a和步骤205b中的详细描述，这里不再赘述。

本实施例步骤303a中，通过所述第一网络对所述图像数据进行处理的过程中包括批归一化(BN，Batch Normarlization)处理，BN处理是对图像数据进行减均值和除方差，再进行尺度放缩和位置偏移操作；在这个过程中会不断累积均值(mean)和方差(var)。基于此，所述第一网络的参数包括BN层的均值和方差。

作为一种实施方式，所述对所述第一网络的参数进行调整，得到更新后的参数，包括：将所述第一网络的归一化层的均值与所述图像数据的均值进行加权叠加，得到所述更新后的参数。

具体的，更新后的均值满足以下表达式：

mean1’＝momentum*mean1+(1-momentum)*mean2 (1)

其中，mean1’表示更新后的归一化层的均值，mean1更新前的归一化层的均值，mean2表示所述图像数据的均值；momentum表示预设的动量系数。

所述更新后的归一化层的方差，满足：

var1’＝momentum*var1+(1-momentum)*var2 (2)

其中，var1’表示更新后的归一化层的方差，var1表示更新前的归一化层的方差，所述var2表示所述图像数据的方差；momentum表示预设的动量系数。

作为一种示例，若首次通过所述第一网络处理图像数据，则可通过预先配置的初始均值和初始方差对所述图像数据进行批归一化处理。在通过所述图像数据和所述门结构模型获得的阈值参数为第一预设阈值的情况下，参照上述表达式(1)和表达式(2)对均值和方差进行更新。其中，mean1表示更新前的归一化层的均值，本示例中为初始均值，var1表示更新前的归一化层的方差，本示例中位初始方差；即可通过初始均值和图像数据的均值进行加权处理，获得更新后的均值，通过初始方差和图像数据的方差进行加权处理，获得更新后的方差。其中，所述动量系数可以为0.9。

作为另一种实施方式，所述对所述第一网络的参数进行调整，得到更新后的参数，包括：从所述第一网络的多个参数中选择第一参数，所述第一参数区别于在先通过所述第一网络对图像数据进行处理采用的参数。

本实施例中，所述第一网络中具有多个用于图像处理的参数；所述参数包括归一化(BN)层的均值和方差。

通常情况下，循环使用同一网络(如第一网络)，会重复进行BN处理，而每次的BN处理会累积均值(mean)和方差(var)，这样由于均值(mean)和方差(var)的不断累积会面临训练困难，带来梯度爆炸和梯度消失的问题。基于此，本实施例中提出了可变BN(LVBN，LocalVariable Batch Normalization)参数。

本实施例中，响应于所述阈值参数为第一预设阈值的情况，对BN参数(包括归一化层的均值和方差)进行更新，即在先通过第一网络进行图像数据的处理过程所选择的归一化层的均值和方差与在后通过第一网络进行图像数据的处理过程所选择的归一化层的均值和方差不同。

图6为本发明实施例的图像处理方法中的第一网络通过更新的参数的处理示意图。如图6所示，图像数据通过第一网络过程中，先进行卷积处理，再进行批归一化处理，第一网络中包括三组BN参数，三组BN参数包括均值和方差；假设第一网络循环处理了三次图像数据，则分别对图像数据进行三次处理的过程中选择使用不同的BN参数，例如，首次通过第一网络处理图像数据过程中，可采用BN1进行批归一化处理；重新通过第一网络处理图像数据过程中，可采用BN2进行批归一化处理；再次重新通过第一网络处理图像数据过程中，可采用BN3进行批归一化处理。

这样，在第一网络循环使用过程中，通过不同的BN参数，大大降低了批归一化层的均值和方差的累积程度，能够避免第一网络重复使用带来的梯度爆炸和梯度消失的问题，也解决了第一网络循环使用所带来的训练难度和性能下降。

可选地，从所述第一网络的多个参数中选择第一参数、并基于所述第一网络采用所述第一参数对所述图像数据进行处理后，若基于所述图像数据和所述门结构模型获得的阈值参数为第一预设阈值的情况，即重新采用所述第一网络处理所述图像数据的情况下，对所述第一参数进行累积更新。

具体的，结合图6所示的示例，若采用BN1作为BN参数进行批归一化处理，BN1包括均值1和方差1。则基于第一网络采用BN1进行图像处理后，基于处理后的图像数据和门结构模型获得阈值参数。若阈值参数为第一预设阈值，即表明需要循环采用所述第一网络进行图像处理，则一方面，需要对BN1包括的均值1和方差1分别按照上述表达式(1)和表达式(2)进行累积更新；另一方面，在循环采用所述第一网络进行图像处理过程中，需要采用区别于BN1的其他BN进行图像处理，例如选择BN2进行图像处理。

本实施例步骤303b中，响应于所述阈值参数为第二预设阈值的情况，所述采用所述第二网络处理所述图像数据之前，所述方法可以包括：对所述第一网络的参数进行调整，得到更新后的参数，其中，所述参数包括归一化层的均值和方差。其中，更新后的参数可满足前述表达式(1)和表达式(2)，这里不再赘述。

本实施例中，在确定不通过所述第一网络对所述图像数据进行处理而是采用第二网络对所述图像数据进行处理的场景下，也可对第一网络的参数进行更新。

采用本发明实施例的技术方案，一方面，通过门结构模型决策循环网络中图像数据的处理策略，即通过图像数据输入至门结构模型后的不同取值执行重新基于第一网络处理图像数据，或是通过第二网络处理图像数据，能够实现循环网络中第一网络的循环使用，实现了资源的合理利用，避免了资源浪费的问题；另一方面，在循环使用第一网络时通过参数的更新，大大降低了批归一化层的均值和方差的累积程度，避免了第一网络重复使用带来的梯度爆炸和梯度消失的问题，也解决了第一网络循环使用所带来的训练难度和性能下降，实现了第一网络的正常循环使用。

基于前述实施例，本发明实施例还提供了一种模型训练方法，所述模型训练方法用于训练门结构模型，所述门结构模型用于确定循环网络中基于第一网络处理后的图像数据的处理策略。作为一种示例，所述循环网络可以是神经网络，例如卷积神经网络。相关技术中，神经网络中具有多个相同的处理模块(Block)或层结构(所述层结构例如卷积神经网络中的卷积层)，多个处理模块或层结构的结构相同，且每个处理模块或层结构的输入数据和输出数据的维度也相同。其中，维度可表示为(通道数(channel)、高度(height)、宽度(width))；其中，高度(height)和宽度(width)可表示图像数据的尺寸。基于此，本实施例中的第一网络可以为上述相关技术中具有相同结构的处理模块或层结构，可以理解，本实施例中的第一网络为循环网络中可循环使用的网络。

所述门结构模型作为循环网络中的一部分，用于确定图像数据在所述循环网络中的处理策略，例如确定循环通过所述第一网络处理图像数据的处理策略等等。本实施例的门结构模型为前述用于输出阈值参数的门结构模型。可以理解，本实施例所要保护的技术方案可以是前述实施例、本实施例、或者前述实施例和本实施例的组合。为了节省篇幅，在前述实施例中未对门结构模型的训练方式进行具体描述，具体的门结构模型的训练方式可参照本实施例所述；相应的，在本实施例中也未对门结构模型的应用进行具体描述，具体的门结构模型的应用方式可参照前述实施例中所述。可以理解，本实施例的技术方案在前述实施例中步骤102之前执行，也即在“基于所述图像数据和所述门结构模型获得阈值参数”之前，执行本实施例的技术方案。

图7为本发明实施例的模型训练方法的流程示意图；如图7所示，所述方法包括：

步骤401：获得样本图像数据以及所述样本图像数据对应的样本阈值参数。

本步骤中，所述样本图像数据为用于训练门结构模型的图像数据；所述样本阈值参数可以为预先配置的对应于图像处理策略的阈值参数取值，作为一种示例，所述样本阈值参数可以是1或0，不同的阈值参数取值对应不同的图像处理策略，所述图像处理策略至少包括第一处理策略和第二处理策略，所述第一处理策略为循环采用所述第一网络处理所述图像数据的图像处理策略，所述第二处理策略为基于所述第一网络处理后的图像数据采用第二网络处理的图像处理策略。

步骤402：基于所述样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型。

在本发明的一种可选实施例中，所述基于所述多个样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型，包括：对所述样本图像数据进行全局池化处理，获得样本池化处理数据；基于全连接层对所述样本池化处理数据进行处理，获得样本处理数据；基于所述样本处理数据和对应的样本阈值参数进行训练，获得所述门结构模型。

本实施例中，门结构模型包括全局池化层和FC层，图像数据首先输入全局池化层进行全局池化处理，所述全局池化处理用于降低图像数据的维度，从而减少计算量。例如，若图像数据的表示为N*C*H*W，其中，N可表示图像数量；C为通道数量；H为高度(height)；W为宽度(width)；则通过全局池化处理获得的池化处理数据可表示为N*C*1*1。进一步地，基于FC层对池化处理数据进行处理，获得样本处理数据；再基于所述样本处理数据和对应的样本阈值参数进行训练的过程中对门结构模型中的全局池化层和FC层中的参数进行调整，以获得门结构模型。

可选地，所述全连接层包括第一连接层和第二连接层，所述基于全连接层对所述样本池化处理数据进行处理，获得样本处理数据，包括：分别基于所述第一全连接层和所述第二全连接层对所述样本池化处理数据进行处理，获得第一样本处理数据和第二样本处理数据。相应的，所述基于所述样本处理数据和对应的样本阈值参数进行训练，获得所述门结构模型，包括：基于所述样本阈值参数分别获得所述第一样本处理数据对应的第一标签数据和所述第二样本处理数据对应的第二标签数据；分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。

本实施例中，门结构模型中具有两个全连接层，记为第一全连接层和第二全连接层。每个全连接层分别对池化处理数据进行处理，获得第一处理数据和第二处理数据；以池化处理数据表示为N*C*1*1为例，则通过第一全连接层和第二全连接层处理获得的处理数据可表示为N*2*1*1。在这种情况下，通过第一全连接层和第二全连接层的降维处理，获得的所述第一处理数据和所述第二处理数据为两个通道的处理数据，其中，每个通道的数据分别对应于第一处理数据和第二处理数据。也可以理解，第一处理数据和第二处理数据可分别对应于不同的阈值参数取值；再基于所述样本处理数据和对应的样本阈值参数进行训练的过程中对门结构模型中的全局池化层、第一全连接层和第二全连接层中的参数进行调整，以获得门结构模型。

本实施例中的全局池化处理过程可参照前述实施例所述，这里不再赘述。

在本发明的一种可选实施例中，所述分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练之前，所述方法还包括：分别在所述第一样本处理数据和所述第二样本处理数据中添加噪声数据，得到更新后的第一样本处理数据和第二样本处理数据。相应的，所述分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型，包括分别基于更新后的第一样本处理数据和对应的第一标签数据、更新后的所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。添加噪声的作用在于增加门结构模型的训练变化多样性，防止门结构模型由于概率输出固化导致的训练不充分。

作为一种示例，可通过随机的方式改变第一样本处理数据和第二样本处理数据以实现添加噪声数据。例如，可通过设置随机数集合，将随机数集合中的随机数采用随机的方式替换所述第一样本处理数据和所述第二样本处理数据的方式以实现噪声数据的添加。

采用本发明实施例的技术方案，通过训练获得的门结构模型决策循环网络中图像数据的处理策略，即通过图像数据输入至门结构模型后的不同取值执行重新基于第一网络处理图像数据，或是通过第二网络处理图像数据，能够实现循环网络中第一网络的循环使用，实现了资源的合理利用，避免了资源浪费的问题。

本发明实施例还提供了一种图像处理装置。图8为本发明实施例的图像处理装置的组成结构示意图；如图8所示，所述装置应用于循环网络，所述循环网络包括第一网络和门结构模型；所述图像处理装置包括第一获取单元51和图像处理单元52；其中，

所述第一获取单元51，用于获取基于第一网络处理后的图像数据；还用于基于所述图像数据和所述门结构模型获得阈值参数；

所述图像处理单元52，用于根据所述获取单元获得的所述阈值参数，确定所述图像数据的处理策略。

在本发明的一种可选实施例中，所述循环网络还包括第二网络；所述图像处理单元52，用于响应于所述阈值参数为第一预设阈值的情况，则基于所述第一网络处理所述图像数据；响应于所述阈值参数为第二预设阈值的情况，则采用所述第二网络处理所述图像数据。

在本发明的一种可选实施例中，所述图像处理单元52，还用于在基于所述第一网络处理所述图像数据之前，对所述第一网络的参数进行调整，得到更新后的参数，其中，所述参数包括归一化层的均值和方差；基于所述第一网络采用更新后的参数对所述图像数据进行处理。

在本发明的一种可选实施例中，所述图像处理单元52，用于将所述第一网络的归一化层的均值与所述图像数据的均值进行加权叠加，得到所述更新后的参数。

在本发明的一种可选实施例中，所述图像处理单元52，用于对所述图像数据进行全局池化处理，获得池化处理数据；基于全连接层对所述池化处理数据进行处理，获得处理数据；通过归一化指数函数对所述处理数据进行处理，获得所述阈值参数。

在本发明的一种可选实施例中，所述全连接层包括第一连接层和第二连接层，所述图像处理单元52，用于分别基于所述第一全连接层和所述第二全连接层对所述池化处理数据进行处理，获得第一处理数据和第二处理数据。

在本发明的一种可选实施例中，所述图像处理单元52，用于通过归一化指数函数分别对所述第一处理数据和第二处理数据进行处理，获得第一概率和第二概率，其中，所述第一概率表示通过所述第一网络处理所述图像数据的概率；所述第二概率表示不通过所述第一网络处理所述图像数据的概率；基于所述第一概率和所述第二概率确定所述阈值参数。

本发明实施例中，所述装置中的第一获取单元51和图像处理单元52，在实际应用中均可由中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，DigitalSignal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。

需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例还提供了一种模型训练装置。图9为本发明实施例的模型训练装置的组成结构示意图；如图9所示，所述模型训练装置用于训练门结构模型，所述门结构模型用于确定循环网络中基于第一网络处理后的图像数据的处理策略；所述装置包括：第二获取单元61和训练单元62；其中，

所述第二获取单元61，用于获得样本图像数据以及所述样本图像数据对应的样本阈值参数；

所述训练单元62，用于基于所述样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型。

在本发明的一种可选实施例中，所述训练单元62，用于对所述样本图像数据进行全局池化处理，获得样本池化处理数据；基于全连接层对所述样本池化处理数据进行处理，获得样本处理数据；基于所述样本处理数据和对应的样本阈值参数进行训练，获得所述门结构模型。

在本发明的一种可选实施例中，所述全连接层包括第一连接层和第二连接层，所述训练单元62，用于分别基于所述第一全连接层和所述第二全连接层对所述样本池化处理数据进行处理，获得第一样本处理数据和第二样本处理数据。

在本发明的一种可选实施例中，所述训练单元62，用于基于所述样本阈值参数分别获得所述第一样本处理数据对应的第一标签数据和所述第二样本处理数据对应的第二标签数据；分别基于所述第一样本处理数据和对应的第一标签数据、所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。

在本发明的一种可选实施例中，所述训练单元62，还用于分别在所述第一样本处理数据和所述第二样本处理数据中添加噪声数据，得到更新后的第一样本处理数据和第二样本处理数据；分别基于更新后的第一样本处理数据和对应的第一标签数据、更新后的所述第二样本处理数据和对应的第二标签数据进行训练，获得所述门结构模型。

本发明实施例中，所述装置中的第二获取单元61和训练单元62，在实际应用中均可由CPU、DSP、MCU或FPGA实现。

需要说明的是：上述实施例提供的模型训练装置在进行模型训练时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的模型训练装置与模型训练方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例还提供了一种电子设备，图10为本发明实施例的电子设备的硬件组成结构示意图，如图10所示，所述电子设备包括存储器72、处理器71及存储在存储器72上并可在处理器71上运行的计算机程序，所述处理器71执行所述程序时实现本发明实施例所述的应用于图像处理装置中的图像处理方法的步骤；或者，所述处理器71执行所述程序时实现本发明实施例所述的应用于模型训练装置中的模型训练方法的步骤。

可以理解，电子设备中的各个组件通过总线系统73耦合在一起。可理解，总线系统73用于实现这些组件之间的连接通信。总线系统73除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统73。

可以理解，存储器72可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器72旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器71中，或者由处理器71实现。处理器71可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器71可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器71可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器72，处理器71读取存储器72中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的应用于图像处理装置中的图像处理方法的步骤；或者，该程序被处理器执行时实现本发明实施例所述的应用于模型训练装置中的模型训练方法的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置、设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法基于循环网络实现，所述循环网络包括第一网络和门结构模型，所述方法包括：

获取基于第一网络处理后的图像数据；

基于所述图像数据和所述门结构模型获得阈值参数；

根据所述阈值参数，确定所述图像数据的处理策略。

2.根据权利要求1所述的方法，其特征在于，所述循环网络还包括第二网络，所述根据所述阈值参数，确定所述图像数据的处理策略包括：

响应于所述阈值参数为第一预设阈值的情况，则基于所述第一网络处理所述图像数据；

响应于所述阈值参数为第二预设阈值的情况，则采用所述第二网络处理所述图像数据。

3.根据权利要求1或2所述的方法，其特征在于，在基于所述第一网络处理所述图像数据之前，还包括：

对所述第一网络的参数进行调整，得到更新后的参数，其中，所述参数包括归一化层的均值和方差；

基于所述第一网络采用更新后的参数对所述图像数据进行处理。

4.根据权利要求3所述的方法，其特征在于，所述对所述第一网络的参数进行调整，得到更新后的参数，包括：

将所述第一网络的归一化层的均值与所述图像数据的均值进行加权叠加，得到所述更新后的参数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述图像数据和所述门结构模型获得阈值参数，包括：

对所述图像数据进行全局池化处理，获得池化处理数据；

基于全连接层对所述池化处理数据进行处理，获得处理数据；

通过归一化指数函数对所述处理数据进行处理，获得所述阈值参数。

6.一种模型训练方法，其特征在于，所述模型训练方法用于训练门结构模型，所述门结构模型用于确定循环网络中基于第一网络处理后的图像数据的处理策略；

所述模型训练方法包括：

获得样本图像数据以及所述样本图像数据对应的样本阈值参数；

基于所述样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型。

7.一种图像处理装置，其特征在于，所述装置应用于循环网络，所述循环网络包括第一网络和门结构模型；所述图像处理装置包括第一获取单元和图像处理单元；其中，

所述第一获取单元，用于获取基于第一网络处理后的图像数据；还用于基于所述图像数据和所述门结构模型获得阈值参数；

所述图像处理单元，用于根据所述获取单元获得的所述阈值参数，确定所述图像数据的处理策略。

8.一种模型训练装置，其特征在于，所述模型训练装置用于训练门结构模型，所述门结构模型用于确定循环网络中基于第一网络处理后的图像数据的处理策略；所述装置包括：第二获取单元和训练单元；其中，

所述第二获取单元，用于获得样本图像数据以及所述样本图像数据对应的样本阈值参数；

所述训练单元，用于基于所述样本图像数据以及对应的样本阈值参数进行训练，获得所述门结构模型。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5任一项所述方法的步骤；或者，

该程序被处理器执行时实现权利要求6所述方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述方法的步骤；或者，

所述处理器执行所述程序时实现权利要求6所述方法的步骤。