CN112836804B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了图像处理方法、装置，该方法包括：对原始模型中的每一个目标模块分别进行转换操作，得到处理模型，原始模型被预先训练，目标模块包括：多个分支，转换操作包括：对于目标模块中的每一个分支，将该分支的计算参数转换为该分支对应的卷积层的参数，其中，每一个分支对应的卷积层的尺寸为同一预设尺寸；融合该每一个分支对应的卷积层的参数，得到该目标模块对应的卷积层参数；将该目标模块转换为具有该目标模块对应的卷积层参数的、该目标模块对应的卷积层；接收待处理图像，利用处理模型对待处理图像进行处理。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及神经网络领域，具体涉及图像处理方法、装置、电子设备及存储介质。

背景技术

目前，在实际应用中采用的卷积神经网络通常为诸如ResNet、RegNet的多路架构卷积神经网络，多路架构卷积神经网络的精度高，但多路架构卷积神经网络结构复杂，速度慢，在一些实时性要求较高的应用场景受限。诸如VGG-16的单路架构卷积神经网络虽然结构简单、速度快，但由于精度远低于多分支架构神经网络，难以实际应用。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。

本申请实施例提供一种图像处理方法，包括：

对原始模型中的每一个目标模块分别进行转换操作，得到处理模型，其中，原始模型被预先训练，所述目标模块包括：多个分支，所述转换操作包括：对于所述目标模块中的每一个分支，将所述分支的计算参数转换为所述分支对应的卷积层的参数，其中，每一个分支对应的卷积层的尺寸为同一预设尺寸；融合所述每一个分支对应的卷积层的参数，得到所述目标模块对应的卷积层参数；将所述目标模块转换为具有所述目标模块对应的卷积层参数的、所述目标模块对应的卷积层；

接收待处理图像，利用处理模型对待处理图像进行处理。

本申请实施例提供一种图像处理装置，包括：

处理模型生成单元，被配置为对原始模型中的每一个目标模块分别进行转换操作，得到处理模型，其中，原始模型被预先训练，所述目标模块包括：多个分支，所述转换操作包括：对于所述目标模块中的每一个分支，将所述分支的计算参数转换为所述分支对应的卷积层的参数，其中，每一个分支对应的卷积层的尺寸为同一预设尺寸；融合所述每一个分支对应的卷积层的参数，得到所述目标模块对应的卷积层参数；将所述目标模块转换为具有所述目标模块对应的卷积层参数的、所述目标模块对应的卷积层；

图像处理单元，被配置为接收待处理图像，利用处理模型对待处理图像进行处理。

本申请实施例提供的图像处理方法、装置，分别将原始模型中的每一个目标模块转换为目标模块对应的卷积层，得到处理模型。处理模型中的目标模块对应的卷积层相比于原始模型中的目标模块，结构精简，任意一个目标模块对应的卷积层均具有更快的处理速度，使得处理模型相比于原始模型，结构精简，具有更快的处理速度。同时，目标模块对应的卷积层为在目标模块被训练之后，对目标模块进行转换操作得到，任意一个目标模块对应的卷积层的精度均较高，使得处理模型的精度较高。从而，处理模型同时具有较快的处理速度和较高的精度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的图像处理方法的流程图；

图2示出了模块的结构的示意图；

图3示出了将目标模块转换为目标模块对应的卷积层的示意图；

图4示出了对比原始模型的结构和处理模型的结构的效果示意图；

图5示出了本申请实施例提供的图像处理装置的结构框图；

图6示出了本申请实施例提供的电子设备的结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请实施例提供的图像处理方法的流程图，该方法包括：

步骤101，对原始模型中的每一个目标模块分别进行转换操作，得到处理模型。

在本申请中，原始模型可以为多路架构卷积神经网络。

原始模型包括多个模块。多个模块按顺序排序，对于每一个模块，该模块与相邻的模块连接。

例如，原始模型包括22个模块。所有模块可以分为多个阶段例如5个阶段，每一个阶段的第一个模块的步长(stride)为预设步长例如2以进行降采样。

在本申请中，原始模型中的模块包括：多个分支，分支可以包括卷积处理单元、批正则化(batch normalization,简称BN)层。

在本申请中，在对原始模型中的每一个目标模块分别进行转换操作之后，预先利用训练样本集，迭代地对原始模型进行训练，直至原始模型收敛。

在本申请中，原始模型中的目标模块为：在原始模型收敛之后，为得到处理模型，原始模型中的需要被转换的模块。

在原始模型收敛之后，可以对原始模型中的每一个目标模块分别进行转换操作，得到处理模型。

在本申请中，模块中的每一个分支中的卷积处理单元不同。例如，模块中的每一个卷积处理单元均为卷积层，模块中的每一个卷积层中的卷积核的尺寸不同。例如，模块包括3x3卷积层、1x1卷积层。模块包括两个分支，一个分支由3x3卷积层和一个BN层组成，另一个分支由1x1卷积层和另一个BN层组成。3x3卷积层中的卷积核的尺寸均为3x3，1x1卷积层中的卷积核的尺寸均为1x1。

在本申请中，对于模块中的每一个分支，该分支中的卷积处理单元的输入可以为该模块的输入，该分支的卷积处理单元的输出可以作为该分支中的BN层的输入。模块的输出可以基于模块中的每一个分支的输出生成，模块的输出可以作为下一个模块的输入。

对于模块中的每一个分支，该分支中的卷积处理单元中的卷积核尺寸小于或等于预设尺寸。

在一些实施例中，原始模型中的模块的多个分支包括:第一分支、第二分支、第三分支，第一分支中的卷积处理单元为同一预设尺寸的卷积层，第二分支中的卷积处理单元为1x1卷积层、第三分支中的卷积处理单元为恒等映射。恒等映射可以视为利用单位矩阵进行的1x1卷积。当模块的多个分支包括第一分支、第二分支、第三分支时，每一个阶段的第一个模块不使用模块中的第三分支。

在一些实施例中，同一预设尺寸为3x3。

请参考图2，其示出了模块的结构的示意图。

在图2中，从左至右依次为第一分支、第二分支、第三分支。在图2中，示例性地示出了模块的第一分支中的3x3卷积层和第一分支中的与3x3卷积层连接的BN层、模块的第二分支中的1x1卷积层和第二分支中的与1x1卷积层连接的BN层、第三分支中的BN层。

在一些实施例中，原始模型包括多个目标模块。在原始模型收敛之后，可以对原始模型中的多个目标模块中的每一个目标模块分别执行转换操作。

在本申请中，原始模型可以为多路架构卷积神经网络，若原始模型中的每一个模块均为目标模块时，在对原始模型中的每一个模块分别执行转换操作之后，得到的处理模型为单路架构卷积神经网络。换言之，将多路架构卷积神经网络中的每一个模块替换为模块对应的卷积层，得到处理模型。

在本申请中，对目标模块执行转换操作包括：对于该目标模块中的每一个分支，将该分支的计算参数转换为该分支对应的卷积层的参数，其中，该目标模块的每一个分支对应的卷积层的尺寸为同一预设尺寸；融合该每一个分支对应的卷积层的参数，得到该目标模块对应的卷积层参数；将目标模块转换为具有该目标模块对应的卷积层参数的、该目标模块对应的卷积层。

在本申请中，分支的计算参数包括：该分支中的卷积处理单元的核张量、该分支中的批正则化层的与转换相关的参数例如该分支中的卷积处理单元的每一个输出通道的均值和标准差。分支对应的卷积层的参数可以包括：该分支对应的卷积层的核张量、该分支对应的卷积层的每一个输出通道的偏置项。

卷积层的核张量(kernel tensor)为与卷积层相关的一系列权重矩阵。卷积层的核张量包括卷积层中的每一个卷积核的权重矩阵。

在本申请中，目标模块中的每一个分支对应的卷积层的尺寸为同一预设尺寸，例如目标模块中的每一个分支对应的卷积层的尺寸均为3x3。

在本申请中，对于每一个分支，该分支对应的卷积层可以理解为可以执行该分支执行的任务，精度可以达到或接近该分支的精度的卷积层。

可以预先对于多个类型中的每一个类型的分支，确定该类型的分支的计算参数与该类型的分支对应的卷积层的参数之间的关联关系。

例如，第一类型的分支为由3x3卷积层和与3x3卷积层连接的BN层组成的分支，可以预先确定该一个类型的分支的计算参数与第一类型的分支对应的3x3卷积层的参数之间的关联关系，第二类型的分支为由1x1卷积层和与1x1卷积层连接的BN层组成的分支，可以预先确定第二类型的分支的计算参与第二类型的分支对应的3x3卷积层的参数之间的关联关系。

对于一个目标模块，在对于该目标模块中的每一个分支，将该分支的计算参数转换为该分支对应的卷积层的参数时，可以根据预先确定的、该分支的计算参数与该分支对应的卷积层的参数之间的关联关系，将该分支的计算参数转换为该分支对应的卷积层的参数。

在本申请中，根据分支的计算参数与分支对应的卷积层的参数的关联关系，即可完成分支的计算参数到分支对应的卷积层的参数的转换，因此，在将分支的计算参数转换为分支对应的卷积层的参数时，可以不构建分支对应的卷积层。

在一些实施例中，分支的计算参数包括：该分支中的卷积处理单元的核张量和该分支中的批正则化层的与转换相关的参数；将该分支的计算参数转换为该分支对应的卷积层的参数包括：将该分支的计算参数转换为该分支对应的初步转换卷积层的参数，该分支对应的初步转换卷积层的参数包括：该分支对应的初步转换卷积层的核张量、该分支对应的初步转换卷积层的每一个输出通道的偏置项；基于该分支对应的初步转换卷积层的参数，得到该分支对应的卷积层的参数。

在本申请中，对于目标模块中的每一个分支，该分支中的卷积处理单元中的卷积核的尺寸与该分支对应的初步转换卷积层中的卷积核的尺寸相同。

例如，目标模块中的一个分支由3x3卷积层和一个BN层组成，该分支中的卷积处理单元中的卷积核的尺寸与该分支对应的初步转换卷积层中的卷积核的尺寸相同，该分支对应的初步转换卷积层中的卷积核的尺寸为3x3，该分支对应的初步转换卷积层为一个3x3卷积层。目标模块中的另一个分支由1x1卷积层和另一个BN层组成，该另一个分支中的卷积处理单元中的卷积核的尺寸与该另一个分支对应的初步转换卷积层中的卷积核的尺寸相同，该另一个分支对应的初步转换卷积层中的卷积核的尺寸为1x1，该另一个分支对应的初步转换卷积层为一个1x1卷积层。

卷积处理单元的核张量可以理解为与卷积处理单元相关的一系列权重矩阵。卷积处理单元的核张量包括的权重数量为：卷积处理单元的输出通道数量×卷积处理单元的输入通道数量×卷积处理单元中的卷积核的高×卷积处理单元中的卷积核的宽。

对于卷积处理单元的每一个输出通道，卷积处理单元的核张量中的、对应于该输出通道的所有权重矩阵可以称之为该输出通道的子核张量。相应的，卷积处理单元的核张量由卷积处理单元的每一个输出通道的子核张量组成。

在本申请中，对于目标模块中的任意一个分支，该分支中的BN层的与转换相关的参数可以包括该分支中的卷积处理单元的每一个输出通道的均值、标准差、缩放因子、偏置项。

对于目标模块中的一个分支，当将该分支的计算参数转换为该分支对应的初步转换卷积层的参数时，对于每一个输出通道，确定该分支对应的初步转换卷积层的、该输出通道的子核张量和该分支对应的初步转换卷积层的、该输出通道的偏置项。从而，可以确定该分支对应的初步转换卷积层的每一个输出通道的子核张量，该分支对应的初步转换卷积层的每一个输出通道的子核张量组成该分支对应的初步转换卷积层的核张量，可以确定该分支对应的初步转换卷积层的每一个输出通道的偏置项。

对于每一个输出通道，当确定该分支对应的初步转换卷积层的、该输出通道的子核张量时，可以根据第一参数项集合、该分支中的卷积处理单元的该输出通道的子核张量、第一先验关系，确定该分支对应的初步转换卷积层的、该输出通道的子核张量。

第一参数项集合可以由该分支中的卷积处理单元的该输出通道的标准差、缩放因子组成。第一先验关系指示第一参数项集合中的参数项、该分支中的卷积处理单元的该输出通道的子核张量、该分支对应的初步转换卷积层的该输出通道的子核张量之间的关联关系。

对于每一个输出通道，当确定该分支对应的初步转换卷积层的、该输出通道的偏置项时，可以根据第二参数项集合、该分支中的卷积处理单元的该输出通道的偏置项、第二先验关系，确定该分支对应的初步转换卷积层的、该输出通道的偏置项。

第二参数项集合可以由该分支中的卷积处理单元的该输出通道的均值、标准差、缩放因子组成。第二先验关系指示第二参数项集合中的参数项、该分支中的卷积处理单元的该输出通道的偏置项、该分支对应的初步转换卷积层的该输出通道的偏置项之间的关联关系。

在一些实施例中，将分支的计算参数转换为该分支对应的初步转换卷积层的参数包括：采用以下公式确定该分支对应的初步转换卷积层的核张量和该分支对应的初步转换卷积层的每一个输出通道的偏置项：

其中，Wi表示该分支中的卷积处理单元的核张量中的、第i个输出通道的子核张量，Wi’表示该分支对应的初步转换卷积层的核张量中的、第i个输出通道的子核张量，γi表示该分支中的卷积处理单元的第i个输出通道的缩放因子，σi表示该分支中的卷积处理单元的第i个输出通道的标准差，μi表示该分支中的卷积处理单元的第i个输出通道的均值，bi’表示该分支对应的初步转换卷积层的、第i个输出通道的偏置项，βi表示该分支中的卷积处理单元的、第i个输出通道的偏置项。

在本申请中，对于目标模块中的一个分支，当该分支中的卷积处理单元为卷积层时，若该卷积层中的卷积核的尺寸等于预设尺寸，则该分支对应的初步转换卷积层即为该分支对应的卷积层，该分支对应的初步转换卷积层的参数即为该分支对应的卷积层的参数。若该卷积层中的卷积核的尺寸小于预设尺寸，由于可以利用0值将该分支对应的初步转换卷积层中的每一个卷积核填充为预设尺寸的卷积核，得到该分支对应的卷积层。因此，该分支对应的卷积层的参数可以由该分支对应的初步转换卷积层的参数、所有参与填充的0值组成。

例如，目标模块中的多个分支包括:第一分支、第二分支、第三分支，第一分支中的卷积处理单元为3x3卷积层，第一分支包括3x3卷积层和BN层，第二分支中的卷积处理单元为1x1卷积层，第二分支包括1x1卷积层和BN层，第三分支中的卷积处理单元为恒等映射，第三分支包括恒等映射和BN层。预设尺寸为3x3。

对于目标模块中的第一分支，第一分支对应的初步转换卷积层为第一分支对应的一个3x3卷积层，第一分支对应的初步转换卷积层即为第一分支对应的卷积层，第一分支对应的初步转换卷积层的参数即为第一分支对应的卷积层的参数。

对于目标模块中的第二个分支，第二分支对应的初步转换卷积层为第二分支对应的一个1x1卷积层，由于可以利用0值分别将第二个分支对应的一个1x1卷积层中的每一个1x1卷积核均填充为3x3卷积核，得到第二个分支对应的一个3x3卷积层即第二个分支对应的卷积层。因此，第二个分支对应的卷积层的参数可以由第二分支对应的一个1x1卷积层的参数、参与填充的所有0值组成。

对于目标模块中的第三个分支，第三分支对应的初步转换卷积层为第三分支对应的一个1x1卷积层，由于可以利用0值分别将第三个分支对应的一个1x1卷积层中的每一个1x1卷积核均填充为3x3卷积核，得到第三个分支对应的一个3x3卷积层即第三个分支对应的卷积层。因此，第三个分支对应的卷积层的参数可以由第三分支对应的一个1x1卷积层的参数、参与填充的所有0值组成。

在本申请中，在得到目标模块中的每一个分支对应的卷积层的参数之后，可以融合每一个分支对应的卷积层的参数，得到该目标模块对应的卷积层参数。该目标模块对应的卷积层参数可以包括该目标模块对应的核张量、该目标模块对应的偏置项。该目标模块对应的核张量即为该目标模块对应的卷积层的核张量，该目标模块对应的偏置项可以由每一个输出通道的目标偏置项组成，每一个输出通道的目标偏置项即为该目标模块对应的卷积层的每一个输出通道的偏置项。

对于每一个输出通道，可以根据每一个分支对应的卷积层的该输出通道的子核张量、第三先验关系，确定目标模块对应的卷积层的、该输出通道的子核张量。第三先验关系指示每一个分支对应的卷积层的该输出通道的子核张量、目标模块对应的卷积层的该输出通道的子核张量的关联关系。从而，可以确定目标模块对应的卷积层的每一个输出通道的子核张量，目标模块对应的卷积层的每一个输出通道的子核张量组成目标模块对应的卷积层的核张量。

对于每一个输出通道，可以根据每一个分支对应的卷积层的该输出通道的偏置项、第四先验关系，确定目标模块对应的卷积层的该输出通道的偏置项。第四先验关系指示每一个分支对应的卷积层的该输出通道的偏置项、目标模块对应的卷积层的该输出通道的偏置项的关联关系。从而，可以确定目标模块对应的目标偏置项即目标模块对应的卷积层的每一个输出通道的偏置项。

在得到一个目标模块对应的卷积层参数之后，可以生成具有该目标模块对应的卷积层参数的、该目标模块对应的卷积层，该目标模块对应的卷积层的尺寸与该目标模块中的分支对应的卷积层的尺寸相同，由该目标模块对应的卷积层替换目标模块。从而，将该目标模块转换为具有该目标模块对应的卷积层参数的、该目标模块对应的卷积层。

在一些实施例中，融合每一个分支对应的卷积层的参数，得到该目标模块对应的卷积层参数包括：将该每一个分支对应的卷积层的核张量相加，得到该目标模块对应的核张量；将该每一个分支对应的卷积层的偏置项相加，得到该目标模块对应的偏置项。

例如，目标模块中的多个分支包括:第一分支、第二分支、第三分支，第一分支包括3x3卷积层和BN层，第二分支包括1x1卷积层和BN层、第三分支包括恒等映射和BN层。第一分支对应的卷积层为第一分支对应的3x3卷积层，第二分支对应的卷积层为第二分支对应的3x3卷积层，第三分支对应的卷积层为第三分支对应的3x3卷积层。

将第一分支对应的3x3卷积层的核张量、第二分支对应的3x3卷积层的核张量、第三分支对应的3x3卷积层的核张量相加，得到目标核张量。

将第一分支对应的3x3卷积层的偏置项、第二分支对应的3x3卷积层的偏置项、第三分支对应的3x3卷积层的偏置项相加，得到目标偏置项。

在本申请中，在将目标模块中的每一个分支对应的卷积层的核张量相加时，以通道为单位，将每一个分支对应的卷积层的、第i个输出通道的子核张量相加，得到目标模块对应的卷积层的核张量中的、第i个输出通道的子核张量。通过以通道为单位相加得到的目标模块对应的卷积层的每一个子核张量组成目标模块对应的卷积层的核张量。

在本申请中，在将目标模块中的每一个分支对应的卷积层的偏置项相加时，以通道为单位，将每一个分支对应的卷积层的、第i个输出通道的偏置项相加，得到目标模块对应的卷积层的、第i个输出通道的偏置项。从而，得到目标模块对应的卷积层的每一个输出通道的偏置项。

请参考图3，其示出了将目标模块转换为目标模块对应的卷积层的示意图。

在图3中，示例性的示出了一个目标模型中的第一分支、第二分支、第三分支，第一分支由3x3卷积层和BN层组成，第二分支由1x1卷积层和BN层组成、第三分支由恒等映射和BN层组成。

第一分支对应的卷积层为第一分支对应的3x3卷积层301，将第二分支对应的卷积层为第二分支对应的3x3卷积层302，第三分支对应的卷积层为第三分支对应的3x3卷积层303。

将第一分支对应的3x3卷积层301、第二分支对应的3x3卷积层302、第三分支对应的3x3卷积层303转换为目标模块对应的3x3卷积层304。

在图3中，示例性地示出了第一分支对应的3x3卷积层301的多个输出通道的子核张量305、第二分支对应的3x3卷积层的多个输出通道的子核张量306、第三分支对应的3x3卷积层303的多个输出通道的子核张量307。

示例性地示出了第一分支对应的3x3卷积层301的多个输出通道的偏置项308、第二分支对应的3x3卷积层302的多个输出通道的偏置项309、第三分支对应的3x3卷积层303的多个输出通道的偏置项310。

以通道为单位，将每一个分支对应的卷积层的、第i个输出通道的子核张量相加，得到目标模块对应的3x3卷积层304的第i个输出通道的子核张量311，通过相加得到的目标模块对应的3x3卷积层304的每一个子核张量组成目标模块对应的3x3卷积层304的核张量。以通道为单位，将每一个分支对应的卷积层的、第i个输出通道的偏置项相加，得到目标模块对应的3x3卷积层304的、第i个输出通道的偏置项312。

在得到目标模块对应的3x3卷积层的核张量和得到目标模块对应的3x3卷积层的每一个输出通道的偏置项之后，得到目标模块对应的3x3卷积层，即将目标模块中的每一个分支对应的卷积层转换为目标模块对应的3x3卷积层。

步骤102，接收待处理图像，利用处理模型对待处理图像进行处理。

在得到处理模型之后，可以接收待处理图像，利用处理模型对待处理图像进行处理。在利用处理模型对待处理图像进行处理时，由每一个目标模块对应的卷积层对目标模块对应的卷积层的输入进行处理。

请参考图4，其示出了对比原始模型的结构和处理模型的结构的效果示意图。

在图4的左侧，示例性地示出了原始模型中的4个模块，对于每一个模块，该模块由3x3卷积分支、1x1卷积分支、恒等映射分支组成，3x3卷积分支由3x3卷积层和BN层组成，1x1卷积分支由1x1卷积层和BN层组成、恒等映射分支由恒等映射和BN层组成。在从上至下的方向上，第1个模块为某一个阶段中的第1个模块，不使用恒等映射，因此，未示出第1个模块中的恒等映射分支。

在图4的右侧，示例性地示出了处理模型中的4个3x3卷积层，处理模型中的每一个3x3卷积层各自对应原始模型中的一个模块。对于每一个模块，通过转换操作，将该模块转换为该模块对应的3x3卷积层。换言之，利用该模块对应的3x3卷积层替换该模块中的三个分支。

在本申请中，处理模型中的目标模块对应的卷积层相比于原始模型中的目标模块，结构精简，任意一个目标模块对应的卷积层均具有更快的处理速度，使得处理模型相比于原始模型，结构精简，具有更快的处理速度。同时，目标模块对应的卷积层为在目标模块被训练之后，对目标模块进行转换操作得到，任意一个目标模块对应的卷积层的精度均较高，使得处理模型的精度较高。从而，处理模型同时具有较快的处理速度和较高的精度。

请参考图5，其示出了本申请实施例提供的图像处理装置的结构框图。图像处理装置包括：处理模型生成单元501，图像处理单元502。

处理模型生成单元501被配置为对原始模型中的每一个目标模块分别进行转换操作，得到处理模型，其中，原始模型被预先训练，所述目标模块包括：多个分支，所述转换操作包括：对于所述目标模块中的每一个分支，将所述分支的计算参数转换为所述分支对应的卷积层的参数，其中，每一个分支对应的卷积层的尺寸为同一预设尺寸；融合所述每一个分支对应的卷积层的参数，得到所述目标模块对应的卷积层参数；将所述目标模块转换为具有所述目标模块对应的卷积层参数的、所述目标模块对应的卷积层；

图像处理单元502被配置为接收待处理图像，利用处理模型对待处理图像进行处理。

在一些实施例中，分支的计算参数包括：该分支中的卷积处理单元的核张量和所述分支中的批正则化层的与转换相关的参数；处理模型生成单元501进一步被配置为将所述分支的计算参数转换为所述分支对应的初步转换卷积层的参数，所述分支对应的初步转换卷积层的参数包括：所述分支对应的初步转换卷积层的核张量、所述分支对应的初步转换卷积层的每一个输出通道的偏置项；基于所述分支对应的初步转换卷积层的参数，得到所述分支对应的卷积层的参数。

在一些实施例中，处理模型生成单元501进一步被配置为采用以下公式确定所述分支对应的初步转换卷积层的核张量和所述分支对应的初步转换卷积层的每一个输出通道的偏置项：

其中，Wi表示所述分支中的卷积处理单元的核张量中的、第i个输出通道的子核张量，Wi’表示所述分支对应的初步转换卷积层的核张量中的、第i个输出通道的子核张量，γi表示所述分支中的卷积处理单元的第i个输出通道的缩放因子，σi表示所述分支中的卷积处理单元的第i个输出通道的标准差，μi表示所述分支中的卷积处理单元的第i个输出通道的均值，bi’表示所述分支对应的初步转换卷积层的、第i个输出通道的偏置项，βi表示所述分支中的卷积处理单元的、第i个输出通道的偏置项。

在一些实施例中，处理模型生成单元501进一步被配置为将所述每一个分支对应的卷积层的核张量相加，得到所述目标模块对应的核张量；将所述每一个分支对应的卷积层的偏置项相加，得到所述目标模块对应的偏置项。

在一些实施例中，所述原始模型包括多个目标模块。

在一些实施例中，多个分支包括:第一分支、第二分支、第三分支，第一分支中的卷积处理单元为同一预设尺寸的卷积层，第二分支中的卷积处理单元为1x1卷积层、第三分支中的卷积处理单元为恒等映射。

在一些实施例中，同一预设尺寸为3x3。

图6是本实施例提供的一种电子设备的结构框图。电子设备包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述方法。

电子设备还可以包括一个电源组件626被配置为执行电子设备的电源管理，一个有线或无线网络接口650被配置为将电子设备连接到网络，和一个输入输出(I/O)接口658。电子设备可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

对原始模型中的每一个目标模块分别进行转换操作，得到处理模型，其中，所述原始模型被预先训练，所述原始模型为多路架构卷积神经网络，所述目标模块包括：多个分支，所述转换操作包括：对于所述目标模块中的每一个分支，将所述分支的计算参数转换为所述分支对应的卷积层的参数，所述分支的计算参数包括：所述分支中的卷积处理单元的核张量和所述分支中的批正则化层的与转换相关的参数；所述分支对应的卷积层的参数包括：所述分支对应的卷积层的核张量和所述分支对应的卷积层的每一个输出通道的偏置项；其中，每一个分支对应的卷积层的尺寸为同一预设尺寸；融合所述每一个分支对应的卷积层的参数，得到所述目标模块对应的卷积层参数；将所述目标模块转换为具有所述目标模块对应的卷积层参数的、所述目标模块对应的卷积层；

接收待处理图像，利用处理模型对待处理图像进行处理。

2.根据权利要求1所述的方法，其特征在于，将所述分支的计算参数转换为所述分支对应的卷积层的参数包括：

将所述分支的计算参数转换为所述分支对应的初步转换卷积层的参数，所述分支对应的初步转换卷积层的参数包括：所述分支对应的初步转换卷积层的核张量、所述分支对应的初步转换卷积层的每一个输出通道的偏置项；

基于所述分支对应的初步转换卷积层的参数，得到所述分支对应的卷积层的参数。

3.根据权利要求2所述的方法，其特征在于，将所述分支的计算参数转换为所述分支对应的初步转换卷积层的参数包括：

采用以下公式确定所述分支对应的初步转换卷积层的核张量和所述分支对应的初步转换卷积层的每一个输出通道的偏置项：

其中，Wi表示所述分支中的卷积处理单元的核张量中的、第i个输出通道的子核张量，Wi’表示所述分支对应的初步转换卷积层的核张量中的、第i个输出通道的子核张量，γi表示所述分支中的卷积处理单元的第i个输出通道的缩放因子，σi表示所述分支中的卷积处理单元的第i个输出通道的标准差，μi表示所述分支中的卷积处理单元的第i个输出通道的均值，bi’表示所述分支对应的初步转换卷积层的、第i个输出通道的偏置项，βi表示所述分支中的卷积处理单元的、第i个输出通道的偏置项。

4.根据权利要求1－3中任一项所述的方法，其特征在于，融合所述每一个分支对应的卷积层的参数，得到所述目标模块对应的卷积层参数包括：

将所述每一个分支对应的卷积层的核张量相加，得到所述目标模块对应的核张量；

将所述每一个分支对应的卷积层的偏置项相加，得到所述目标模块对应的偏置项。

5.根据权利要求4所述的方法，其特征在于，所述原始模型包括多个目标模块。

6.根据权利要求4所述的方法，其特征在于，所述多个分支包括：第一分支、第二分支、第三分支，第一分支中的卷积处理单元为所述同一预设尺寸的卷积层，第二分支中的卷积处理单元为1x1卷积层、第三分支中的卷积处理单元为恒等映射。

7.根据权利要求4所述的方法，其特征在于，所述同一预设尺寸为3x3。

8.一种图像处理装置，其特征在于，所述装置包括：

处理模型生成单元，被配置为对原始模型中的每一个目标模块分别进行转换操作，得到处理模型，其中，原始模型被预先训练，所述原始模型为多路架构卷积神经网络，所述目标模块包括：多个分支，所述转换操作包括：对于所述目标模块中的每一个分支，将所述分支的计算参数转换为所述分支对应的卷积层的参数，所述分支的计算参数包括：所述分支中的卷积处理单元的核张量和所述分支中的批正则化层的与转换相关的参数；所述分支对应的卷积层的参数包括：所述分支对应的卷积层的核张量和所述分支对应的卷积层的每一个输出通道的偏置项；其中，每一个分支对应的卷积层的尺寸为同一预设尺寸；融合所述每一个分支对应的卷积层的参数，得到所述目标模块对应的卷积层参数；将所述目标模块转换为具有所述目标模块对应的卷积层参数的、所述目标模块对应的卷积层；

图像处理单元，被配置为接收待处理图像，利用处理模型对待处理图像进行处理。

9.一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的方法。