CN111008924A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、电子设备及存储介质，所述方法包括：将待处理图像输入预先训练得到的卷积网络模型；通过卷积网络模型对待处理图像进行处理；输出待处理图像的处理结果；其中，卷积网络模型包括：具有线性相位约束的卷积网络模块；卷积网络模块包括深度卷积网络层和线性相位逐点卷积网络层，深度卷积网络层采用尺寸为3*3的卷积核，线性相位逐点卷积网络层采用尺寸为1*1的线性相位逐点卷积核，线性相位逐点卷积核的权值在深度方向上对称或者反对称。本申请基于具有通道数缩减功能的卷积网络模型对图像进行处理，能有效降低图像处理过程中的参数量，降低图像处理的复杂度和图像处理设备的计算量。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

以卷积神经网络算法为代表的人工智能技术近年来获得巨大的发展，广泛应用于计算机视觉领域，在图像识别、图像压缩、目标检测等方向取得了成功的应用。但是传统卷积神经网络结构中存在大量的冗余参数，计算复杂度过高，对于计算设备的计算能力有着非常高的要求，很难部署到边缘计算设备中，因此在算法落地于实际场景时面临着诸多困难。

在相关技术中，可以采用以下方法克服上述提到的问题：

(1)采用神经网络压缩与加速的方法对训练好的复杂神经网络模型进行优化，例如剪枝、低秩分解、量化、知识蒸馏等方法，降低其参数量和计算复杂度，使得训练得到的神经网络模型可以很容易地部署在资源有限的边缘计算设备中；

(2)针对终端设备设计专门的轻量化卷积神经网络结构，例如：应用了轻量化卷积神经网络的模型有mobilenet、mobilenet v2、shufflenet、shufflenet v2等，可以很容易地部署在资源有限的边缘计算设备中。

然而，在上述第(1)种方法中，剪枝的方法对硬件非常不友好，很难发挥出硬件加速的优势；低秩分解在以小尺寸卷积进行设计的网络中已经很难实现网络的压缩与加速；量化会有一定的精度损失，对于通用的硬件很难发挥出算法的优势；知识蒸馏理论复杂，只能用于具有softmax函数的分类任务，并且性能往往有限，还处在理论发展中。在上述第(2)种方法中，针对各种轻量化卷积神经网络结构，在降低参数量及计算复杂度方面存在一定的局限性，仍存在可改进的空间。

发明内容

本申请实施例提供了一种图像处理方法、装置、电子设备及存储介质，旨在提供一种通过具有具有线性相位约束的卷积网络模型对图像进行处理的方案，该模型采用线性相位逐点卷积核构建，能显著降低图像处理过程中的参数量，降低对计算设备的计算能力的要求，能较好地应用到各种需要对图像进行处理的边缘计算设备中。

本申请实施例第一方面提供了一种图像处理方法，包括：

将待处理图像输入预先训练得到的卷积网络模型；

通过所述卷积网络模型对所述待处理图像进行处理；

输出所述待处理图像的处理结果；

其中，所述卷积网络模型包括：具有线性相位约束的卷积网络模块；所述卷积网络模块包括深度卷积网络层和线性相位逐点卷积网络层，所述深度卷积网络层采用尺寸为3*3的卷积核，所述线性相位逐点卷积网络层采用尺寸为1*1的线性相位逐点卷积核，所述线性相位逐点卷积核的权值在深度方向上对称或者反对称。

可选地，将待处理图像输入预先训练得到的卷积网络模型前，所述方法还包括：

构建多种类型的线性相位逐点卷积核，所述多种类型包括：正偶型卷积核、反偶型卷积核、正奇型卷积核以及反奇型卷积核；

根据多种类型中任意一种类型的线性相位逐点卷积核，构建具有线性相位约束的卷积网络模块；

根据构建的卷积网络模块，构建卷积网络初始模型；

利用预设图像样本对所述卷积网络初始模型进行训练，得到所述卷积网络模型。

可选地，所述多种类型的线性相位逐点卷积核是通过满足线性相位的FIR因果系统构建的，所述FIR因果系统中的冲击序列为：h(n)＝±h(N-n)，0≤n≤N，其中，h为所述线性相位逐点卷积核在深度方向上的权值，N为输入所述线性相位逐点卷积网络层的特征图的通道数；

构建多种类型的线性相位逐点卷积核，包括：

根据h(n)成正对称且N为偶数时的冲击序列，构建正偶型卷积核；

根据h(n)成反对称且N为偶数时的冲击序列，构建反偶型卷积核；

根据h(n)成正对称且N为奇数时的冲击序列，构建正奇型卷积核；

根据h(n)成反对称且N为奇数时的冲击序列，构建反奇型卷积核。

可选地，所述卷积网络模型还包括：标准卷积网络层、池化层、全连接层、分类层以及输出层；

通过所述卷积网络模型对所述待处理图像进行处理，包括：

通过所述标准卷积网络层对所述待处理图像进行卷积操作，得到第一操作结果；

通过至少一个所述卷积网络模块对所述第一操作结果中的特征图进行通道数缩减，并进行卷积操作，得到第二操作结果；

通过所述池化层对所述第二操作结果进行池化，得到第三操作结果；

通过所述全连接层对所述第三操作结果进行全连接，得到第四操作结果；

通过所述分类层对所述第四操作结果进行分类，得到分类结果；

输出所述待处理图像的处理结果，包括：

根据所述分类结果得到所述待处理图像的处理结果，输出所述处理结果。

可选地，通过至少一个所述卷积网络模块对所述第一操作结果中的特征图进行通道数缩减，并进行卷积操作，包括：

通过所述深度卷积网络层对所述第一操作结果进行卷积操作，得到N个特征图；

当N为偶数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为N/2个特征图，并对所述N/2个特征图进行卷积操作；

当N为奇数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为(N+1)/2个特征图，并对所述(N+1)/2个特征图进行卷积操作。

可选地，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为N/2个特征图，包括：

通过所述正偶型卷积核将特征图K1对应的矩阵与特征图N-K1+1对应的矩阵相加，或者，通过所述反偶型卷积核将特征图K2对应的矩阵与特征图N-K2+1对应的矩阵相减，将所述N个特征图缩减为N/2个特征图，其中，1≤K1≤N/2，1≤K2≤N/2；

通过所述线性相位逐点卷积网络层将所述N个特征图缩减为(N+1)/2个特征图，包括：

通过所述正奇型卷积核将特征图K3对应的矩阵与特征图N-K3+1对应的矩阵相加，或者，通过所述反奇型卷积核将特征图K4对应的矩阵与特征图N-K4+1对应的矩阵相减，将所述N个特征图缩减为(N+1)/2个特征图其中，1≤K3<(N+1)/2，1≤K4<(N+1)/2。

可选地，通过所述深度卷积网络层对所述第一操作结果进行卷积操作，包括：

通过尺寸为3*3的卷积核对所述第一操作结果进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

对所述N/2个特征图进行卷积操作，包括：

通过尺寸为1*1*(N/2)的卷积核对所述N/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

对所述(N+1)/2个特征图进行卷积操作，包括：

通过尺寸为1*1*(N+1)/2的卷积核对所述(N+1)/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理。

可选地，根据多种类型中任意一种类型的线性相位逐点卷积核，构建具有线性相位约束的卷积网络模块，包括：

若输入所述线性相位逐点卷积网络层的特征图的通道数为偶数，采用所述正偶型卷积核，或所述反偶型卷积核构建具有线性相位约束的卷积网络模块；

若输入所述线性相位逐点卷积网络层的特征图的通道数为奇数，采用所述正奇型卷积核，或所述反奇型卷积核构建具有线性相位约束的卷积网络模块。

本申请实施例第二方面提供了一种图像处理装置，包括：

输入模块，用于将待处理图像输入预先训练得到的卷积网络模型；

处理模块，用于通过所述卷积网络模型对所述待处理图像进行处理；

输出模块，用于输出所述待处理图像的处理结果；

其中，所述卷积网络模型包括：具有线性相位约束的卷积网络模块；所述卷积网络模块包括深度卷积网络层和线性相位逐点卷积网络层，所述深度卷积网络层采用尺寸为3*3的卷积核，所述线性相位逐点卷积网络层采用尺寸为1*1的线性相位逐点卷积核，所述线性相位逐点卷积核的权值在深度方向上对称或者反对称。

可选地，所述装置还包括：

第一构建模块，用于构建多种类型的线性相位逐点卷积核，所述多种类型包括：正偶型卷积核、反偶型卷积核、正奇型卷积核以及反奇型卷积核；

第二构建模块，用于根据多种类型中任意一种类型的线性相位逐点卷积核，构建具有线性相位约束的卷积网络模块；

第三构建模块，用于根据构建的卷积网络模块，构建卷积网络初始模型；

训练模块，用于利用预设图像样本对所述卷积网络初始模型进行训练，得到所述卷积网络模型。

可选地，所述多种类型的线性相位逐点卷积核是通过满足线性相位的FIR因果系统构建的，所述FIR因果系统中的冲击序列为：h(n)＝±h(N-n)，0≤n≤N，其中，h为所述线性相位逐点卷积核在深度方向上的权值，N为输入所述线性相位逐点卷积网络层的特征图的通道数；

所述第一构建模块包括：

正偶卷积构建模块，用于根据h(n)成正对称且N为偶数时的冲击序列，构建正偶型卷积核；

反偶卷积构建模块，用于根据h(n)成反对称且N为偶数时的冲击序列，构建反偶型卷积核；

正奇卷积构建模块，用于根据h(n)成正对称且N为奇数时的冲击序列，构建正奇型卷积核；

反奇卷积构建模块，用于根据h(n)成反对称且N为奇数时的冲击序列，构建反奇型卷积核。

可选地，所述卷积网络模型还包括：标准卷积网络层、池化层、全连接层、分类层以及输出层；

所述处理模块包括：

第一处理模块，用于通过所述标准卷积网络层对所述待处理图像进行卷积操作，得到第一操作结果；

第二处理模块，用于通过至少一个所述卷积网络模块对所述第一操作结果中的特征图进行通道数缩减，并进行卷积操作，得到第二操作结果；

第三处理模块，用于通过所述池化层对所述第二操作结果进行池化，得到第三操作结果；

第四处理模块，用于通过所述全连接层对所述第三操作结果进行全连接，得到第四操作结果；

第五处理模块，用于通过所述分类层对所述第四操作结果进行分类，得到分类结果；

所述输出模块包括：

输出子模块，用于根据所述分类结果得到所述待处理图像的处理结果，输出所述处理结果。

可选地，所述第二处理模块包括：

第一卷积模块，用于通过所述深度卷积网络层对所述第一操作结果进行卷积操作，得到N个特征图；

第二卷积模块，用于当N为偶数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为N/2个特征图，并对所述N/2个特征图进行卷积操作；

第三卷积模块，用于当N为奇数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为(N+1)/2个特征图，并对所述(N+1)/2个特征图进行卷积操作。

可选地，所述第二卷积模块包括：

第一通道数缩减模块，用于通过所述正偶型卷积核将特征图K1对应的矩阵与特征图N-K1+1对应的矩阵相加，或者，通过所述反偶型卷积核将特征图K2对应的矩阵与特征图N-K2+1对应的矩阵相减，将所述N个特征图缩减为N/2个特征图，其中，1≤K1≤N/2，1≤K2≤N/2；

所述第三卷积模块包括：

第二通道数缩减模块，用于通过所述正奇型卷积核将特征图K3对应的矩阵与特征图N-K3+1对应的矩阵相加，或者，通过所述反奇型卷积核将特征图K4对应的矩阵与特征图N-K4+1对应的矩阵相减，将所述N个特征图缩减为(N+1)/2个特征图其中，1≤K3<(N+1)/2，1≤K4<(N+1)/2。

可选地，所述第一卷积模块包括：

第一卷积子模块，用于通过尺寸为3*3的卷积核对所述第一操作结果进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

所述第二卷积模块还包括：

第二卷积子模块，用于通过尺寸为1*1*(N/2)的卷积核对所述N/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

所述第三卷积模块还包括：

第三卷积子模块，用于通过尺寸为1*1*(N+1)/2的卷积核对所述(N+1)/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理。

可选地，所述第一构建模块包括：

第一卷积网络构建模块，用于若输入所述线性相位逐点卷积网络层的特征图的通道数为偶数，采用所述正偶型卷积核，或所述反偶型卷积核构建具有线性相位约束的卷积网络模块；

第二卷积网络构建模块，用于若输入所述线性相位逐点卷积网络层的特征图的通道数为奇数，采用所述正奇型卷积核，或所述反奇型卷积核构建具有线性相位约束的卷积网络模块。

本申请实施例第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的方法的步骤。

本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所述的方法中的步骤。

本申请实施例提供了一种图像处理方法，该方法基于一种采用了线性相位逐点卷积核构建的卷积网络模型实现，该线性相位逐点卷积核本质上采用了对称滤波器的方法，使用这种形式的滤波器可以在基本不损失网络模型性能的前提下降低网络参数量以及计算复杂度，使得模型可以离线地运行在计算能力有限和存储资源有限的边缘计算设备中，同时，由于该线性相位逐点卷积核权值具有对称的形式，在硬件设计中可以利用该优势减少存储访问成本，大幅提高硬件的运行速度。因而，本申请基于该具有通道数缩减功能的卷积网络模型对图像进行处理，能有效降低图像处理过程中的参数量，降低图像处理的复杂度和图像处理设备的计算量，并较好地应用于一些边缘计算设备中。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例示出的卷积网络模型的训练过程示意图；

图2是本申请一实施例示出的线性相位逐点卷积核的示意图；

图3a是本申请一实施例示出的第一种线性相位逐点卷积核的计算原理图；

图3b是本申请一实施例示出的第二种线性相位逐点卷积核的计算原理图；

图4是本申请一实施例示出的一种图像处理方法的流程示意图；

图5是本申请一实施例示出的一种对待处理图像进行处理的流程示意图；

图6是本申请一实施例示出的对特征图进行通道数缩减的流程示意图；

图7是本申请一实施例示出的一种图像处理过程的完整示意图；

图8是本申请一实施例示出的一种图像处理过程的数据流向示意图；

图9是本申请一实施例示出的一种图像处理装置的结构示意图；

图10是本申请一实施例示出的一种电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在对本申请的图像处理方法进行说明前，首先对轻量化卷积神经网络进行说明。

轻量化网络设计方法是指针对移动终端以及一些计算资源有限的边缘计算设备，采用小尺寸卷积、深度可分离卷积、组卷积等卷积运算单元以及通道混合等方法设计轻量且高效的神经网络模型。但是，在各种轻量化卷积神经网络中，1*1逐点卷积层的参数量占据网络参数总量的主要部分。因此，对轻量化卷积神经网络的压缩加速可以从该1*1逐点卷积层进一步考虑。

本申请正是从1*1逐点卷积层进一步考虑，设计了一种线性相位逐点卷积核，基于该线性相位逐点卷积核构建1*1逐点卷积层，进而构建具有线性相位约束的轻量化卷积神经网络，由于构建得到的1*1逐点卷积层相比于传统的1*1逐点卷积层参数量明显减少，因此，本申请的具有线性相位约束的轻量化卷积神经网络能有效降低网络参数，降低模型的计算量和复杂度。

本申请提出的卷积网络模型正是基于上述具有线性相位约束的轻量化卷积神经网络构建的，该卷积网络模型具体可用于图像识别、图像压缩、目标检测等方向。在对本申请中的图像处理方法进行详细说明前，下面先对本申请的卷积网络模型的训练过程进行说明。

图1是本申请一实施例示出的卷积网络模型的训练过程示意图。参照图1，本申请实施例可采用如下步骤训练得到卷积网络模型：

步骤S11：构建多种类型的线性相位逐点卷积核，所述多种类型包括：正偶型卷积核、反偶型卷积核、正奇型卷积核以及反奇型卷积核。

在本申请实施例中，多种类型的线性相位逐点卷积核是通过满足线性相位的FIR因果系统构建的，FIR因果系统中的冲击序列为：h(n)＝±h(N-n)，0≤n≤N，其中，h为所述线性相位逐点卷积核在深度方向上的权值，N为输入线性相位逐点卷积网络层的特征图的通道数。

具体地，构建多种类型的线性相位逐点卷积核的过程包括：

根据h(n)成正对称且N为偶数时的冲击序列，构建正偶型卷积核；

根据h(n)成反对称且N为偶数时的冲击序列，构建反偶型卷积核；

根据h(n)成正对称且N为奇数时的冲击序列，构建正奇型卷积核；

根据h(n)成反对称且N为奇数时的冲击序列，构建反奇型卷积核。

在本申请实施例中，根据线性相位FIR滤波器的原理，定义1*1卷积核的权值在深度方向上对称或反对称的滤波器为广义的线性相位逐点卷积核。根据输入卷积核的通道数是偶数还是奇数，和卷积核的权值在深度方向是正对称结构还是反对称结构，共有4种类型的线性相位逐点卷积核，如图2所示。图2是本申请一实施例示出的线性相位逐点卷积核的示意图，在图2中，图(a)是正偶型卷积核，图(b)是反偶型卷积核，图(c)是正奇型卷积核，图(d)是反奇型卷积核。

在本申请实施例中，当输入线性相位逐点卷积核的特征图的通道数为偶数时，可以采用正偶型卷积核或者反偶型卷积核对特征图的通道进行处理；当输入线性相位逐点卷积核的特征图的通道数为奇数时，可以采用正奇型卷积核或者反奇型卷积核对特征图的通道进行处理。

图3a是本申请一实施例示出的第一种线性相位逐点卷积核的计算原理图。参照图3a，输入线性相位逐点卷积核的特征图的通道数为4(即：图3a中的特征图1-特征图4)，输入的特征图的通道数为偶数，在采用正偶型卷积核(尺寸为1*1*4)进行通道处理时，首先将特征图1对应的矩阵与特征图4对应的矩阵相加，实现将通道1与通道4合并，然后将特征图2对应的矩阵与特征图3对应的矩阵相加，实现将通道2与通道3合并，从而将4个通道缩减为2个通道，最后利用尺寸为1*1*2的卷积核对剩余的2个特征图进行卷积操作。

假设采用反偶型卷积核(尺寸为1*1*4)进行通道处理(图中未示出)，首先将特征图1对应的矩阵与特征图4对应的矩阵相减，实现将通道1与通道4合并，然后将特征图2对应的矩阵与特征图3对应的矩阵相减，实现将通道2与通道3合并，从而将4个通道缩减为2个通道，最后利用尺寸为1*1*2的卷积核对剩余的2个特征图进行卷积操作。

在本申请实施例中，假设输入线性相位逐点卷积核的特征图的通道数为5，在采用正奇型卷积核(尺寸为1*1*5)进行通道处理时，首先将特征图1对应的矩阵与特征图5对应的矩阵相加，实现将通道1与通道5合并，然后将特征图2对应的矩阵与特征图4对应的矩阵相加，实现将通道2与通道4合并，特征图3对应的矩阵不变，从而将5个通道缩减为3个通道，最后利用尺寸为1*1*3的卷积核对剩余的3个特征图进行卷积操作。

在本申请实施例中，假设输入线性相位逐点卷积核的特征图的通道数为5，在采用反奇型卷积核(尺寸为1*1*5)进行通道处理时，首先将特征图1对应的矩阵与特征图5对应的矩阵相减，实现将通道1与通道5合并，然后将特征图2对应的矩阵与特征图4对应的矩阵相减，实现将通道2与通道4合并，特征图3对应的矩阵不变，从而将5个通道缩减为3个通道，最后利用尺寸为1*1*3的卷积核对剩余的3个特征图进行卷积操作。

图3b是本申请一实施例示出的第二种线性相位逐点卷积核的计算原理图。在图3b中，在通过4个卷积核(即：对应图3b中的Filter*4)对输入的4通道的特征图(即：对应图3b中的4channel input)进行处理后，将得到的4个特征图(即：对应图3b中的Maps*4)输入5个尺寸为1*1*4的正偶型卷积核(即：对应图3b中的Filter*5)，这5个正偶型卷积核中的每一个正偶型卷积核(即：对应图3b中的Symmetric 1*1Conv)在对4个特征图进行通道操作时，首先将4个特征图减少为2个特征图，然后再利用尺寸为1*1*2的卷积核进行通道操作，最后输出一个特征图，5个卷积核共输出5个特征图(即：对应图3b中的Maps*5)。

步骤S12：根据多种类型中任意一种类型的线性相位逐点卷积核，构建具有线性相位约束的卷积网络模块。

具体地，步骤S12可以包括：

若输入所述线性相位逐点卷积网络层的特征图的通道数为偶数，采用所述正偶型卷积核，或所述反偶型卷积核构建具有线性相位约束的卷积网络模块；

若输入所述线性相位逐点卷积网络层的特征图的通道数为奇数，采用所述正奇型卷积核，或所述反奇型卷积核构建具有线性相位约束的卷积网络模块。

在本申请实施例中，可根据卷积网络模型在实际场景中的应用，设计卷积网络模块，进而构建卷积网络模型。

在本申请实施例中，一个卷积网络模块中包括一层深度卷积网络层和一层线性相位逐点卷积网络层。在构建卷积网络模块时，首先采用尺寸为3*3的卷积核构建深度卷积网络层。当深度卷积网络层采用的卷积核的个数为偶数时，输入线性相位逐点卷积网络层的特征图的通道数为偶数，则可以采用正偶型卷积核继续构建线性相位逐点卷积网络层，该层线性相位逐点卷积网络层采用的卷积核的尺寸为1*1，且采用的卷积核可以全部由正偶型卷积核组成，或由部分正偶型卷积核和部分标准1*1卷积核组成；或者，也可以采用反偶型卷积核继续构建线性相位逐点卷积网络层，该层线性相位逐点卷积网络层采用的卷积核的尺寸为1*1，且采用的卷积核可以全部由反偶型卷积核组成，或由部分反偶型卷积核和部分标准1*1卷积核组成。

在本申请实施例中，当深度卷积网络层采用的卷积核的个数为奇数时，输入线性相位逐点卷积网络层的特征图的通道数为奇数，则可以采用正奇型卷积核继续构建线性相位逐点卷积网络层，该层线性相位逐点卷积网络层采用的卷积核的尺寸为1*1，且采用的卷积核可以全部由正奇型卷积核组成，或由部分正奇型卷积核和部分标准1*1卷积核组成；或者，也可以采用反奇型卷积核继续构建线性相位逐点卷积网络层，该层线性相位逐点卷积网络层采用的卷积核的尺寸为1*1，且采用的卷积核可以全部由反奇型卷积核组成，或由部分反奇型卷积核和部分标准1*1卷积核组成。

步骤S13：根据构建的卷积网络模块，构建卷积网络初始模型。

在本申请实施例中，构建完毕卷积网络模块后，可以继续构建卷积网络初始模型，例如构建得到的卷积网络初始模型可以包括：至少一层标准卷积网络层、至少一个卷积网络模块、池化层、全连接层、分类层以及输出层。

步骤S14：利用预设图像样本对所述卷积网络初始模型进行训练，得到所述卷积网络模型。

在本申请实施例中，在构建得到卷积网络初始模型后，将预设图像样本输入卷积网络初始模型，对该卷积网络初始模型进行训练，具体地，训练过程可以是：

通过标准卷积网络层对待处理图像进行卷积操作，得到第一操作结果；

通过至少一个卷积网络模块对第一操作结果中的特征图进行通道数缩减，并进行卷积操作，得到第二操作结果；

通过池化层对第二操作结果进行池化，得到第三操作结果；

通过全连接层对第三操作结果进行全连接，得到第四操作结果；

通过分类层对第四操作结果进行分类，得到分类结果。

在训练过程中，不断重复上述过程，对卷积网络模型的参数进行调整，直到满足预设的收敛条件，得到卷积网络模型。

在本申请实施例中，在训练得到卷积网络模型后，就可以利用该模型对图像进行处理。

图4是本申请一实施例示出的一种图像处理方法的流程示意图。参照图4，本申请的图像处理方法包括以下步骤：

步骤S21：将待处理图像输入预先训练得到的卷积网络模型；

步骤S22：通过所述卷积网络模型对所述待处理图像进行处理；

步骤S23：输出所述待处理图像的处理结果；

其中，所述卷积网络模型包括：具有线性相位约束的卷积网络模块；所述卷积网络模块包括深度卷积网络层和线性相位逐点卷积网络层，所述深度卷积网络层采用尺寸为3*3的卷积核，所述线性相位逐点卷积网络层采用尺寸为1*1的线性相位逐点卷积核，所述线性相位逐点卷积核的权值在深度方向上对称或者反对称。

在本申请实施例中，线性相位逐点卷积核的权值在深度方向上对称时包括：正偶型卷积核和正奇型卷积核；线性相位逐点卷积核的权值在深度方向上成反对称时包括：反偶型卷积核和反奇型卷积核。深度卷积网络层的步长可任意设置，当需要进行下采样操作时，可将步长设置为2，否则默认为1。

本申请实施例中处理图像的卷积网络模型采用了线性相位逐点卷积核构建，该线性相位逐点卷积核本质上采用了对称滤波器的方法，使用这种形式的滤波器可以在基本不损失网络模型性能的前提下降低网络参数量以及计算复杂度，使得模型可以离线地运行在计算能力有限和存储资源有限的边缘计算设备中，同时，由于该线性相位逐点卷积核权值具有对称的形式，在硬件设计中可以利用该优势减少存储访问成本，大幅提高硬件的运行速度。因而，本申请基于该具有通道数缩减功能的卷积网络模型对图像进行处理，能有效降低图像处理过程中的参数量，降低图像处理的复杂度和图像处理设备的计算量，并较好地应用于一些边缘计算设备中。

图5是本申请一实施例示出的一种对待处理图像进行处理的流程示意图。参照图5，对待处理图像进行处理可以包括以下步骤：

步骤S31：通过所述标准卷积网络层对所述待处理图像进行卷积操作，得到第一操作结果。

在本申请实施例中，标准卷积网络层采用的卷积核的尺寸和步长可以根据实际需求任意设置。

步骤S32：通过至少一个所述卷积网络模块对所述第一操作结果中的特征图进行通道数缩减，并进行卷积操作，得到第二操作结果。

在本申请实施例中，卷积网络模块的个数可以根据实际需求任意设置。

步骤S33：通过所述池化层对所述第二操作结果进行池化，得到第三操作结果。

在本申请实施例中，在卷积网络模块之后设置有池化层，池化方式可以是最大池化或平均池化，具体可根据实际需求设置。

步骤S34：通过所述全连接层对所述第三操作结果进行全连接，得到第四操作结果。

步骤S35：通过所述分类层对所述第四操作结果进行分类，得到分类结果。

在本申请实施例中，可以采用softmax分类器对全连接层输出的结果进行分类，得到分类结果。

相应地，步骤S23可以是：根据所述分类结果得到所述待处理图像的处理结果，输出所述处理结果。

图6是本申请一实施例示出的对特征图进行通道数缩减的流程示意图。参照图6，上述步骤S32可以包括：

步骤S321：通过所述深度卷积网络层对所述第一操作结果进行卷积操作，得到N个特征图。

步骤S322：当N为偶数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为N/2个特征图，并对所述N/2个特征图进行卷积操作。

具体地，步骤S322可以包括：

通过所述正偶型卷积核将特征图K1对应的矩阵与特征图N-K1+1对应的矩阵相加，或者，通过所述反偶型卷积核将特征图K2对应的矩阵与特征图N-K2+1对应的矩阵相减，将所述N个特征图缩减为N/2个特征图，其中，1≤K1≤N/2，1≤K2≤N/2。

在本申请实施例中，当N为偶数时，可通过正偶型卷积核或者反偶型卷积核将深度卷积网络层输出的N个特征图缩减为N/2个特征图，关于正偶型卷积核或者反偶型卷积核对特征图通道数进行缩减的原理具体可参照前文所述，在此不作赘述。

步骤S323：当N为奇数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为(N+1)/2个特征图，并对所述(N+1)/2个特征图进行卷积操作。

具体地，步骤S323可以包括：

通过所述正奇型卷积核将特征图K3对应的矩阵与特征图N-K3+1对应的矩阵相加，或者，通过所述反奇型卷积核将特征图K4对应的矩阵与特征图N-K4+1对应的矩阵相减，将所述N个特征图缩减为(N+1)/2个特征图其中，1≤K3<(N+1)/2，1≤K4<(N+1)/2。

在本申请实施例中，当N为奇数时，可通过正奇型卷积核或者反奇型卷积核将深度卷积网络层输出的N个特征图缩减为(N+1)/2个特征图，关于正奇型卷积核或者反奇型卷积核对特征图通道数进行缩减的原理具体可参照前文所述，在此不作赘述。

在一种实施方式中，在通过卷积网络模型进行图像处理时，还可以加入批归一化处理和非线性化处理。结合前述实施例，通过深度卷积网络层对第一操作结果进行卷积操作具体可以是：

通过尺寸为3*3的卷积核对所述第一操作结果进行卷积操作，对得到的结果进行批归一化处理和非线性化处理。

通过批归一化处理，能有效降低图像处理过程中的参数量，在进行非线性化处理时，可以采用RELU激活函数，或者其他类型的激活函数。

本申请实施例中，在对N/2个特征图进行卷积操作时，具体可以是：

通过尺寸为1*1*(N/2)的卷积核对所述N/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理。

相应地，在对(N+1)/2个特征图进行卷积操作时，具体可以是：

通过尺寸为1*1*(N+1)/2的卷积核对所述(N+1)/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理。

图7是本申请一实施例示出的一种图像处理过程的完整示意图。图8是本申请一实施例示出的一种图像处理过程的数据流向示意图。下面将结合图7和图8对本申请提出的图像处理方法进行一个完整的说明。

在本申请实施例中，卷积网络模型的标准卷积网络层的层数为1，采用32个3*3*3的卷积核组成，步长为2，在标准卷积网络层之后，由13个具有线性相位约束的卷积网络模块组成，每一个卷积网络模块由一层深度卷积网络层和一层线性相位逐点卷积网络层组成，深度卷积网络层采用32个3*3*32的卷积核组成，步长为1或2(当需要下采样时，可以将步长设置为2，否则默认为1)，线性相位逐点卷积网络层采用64个1*1*32的线性相位逐点卷积核组成，在卷积网络模块之后，是池化层、1*1*1000的全连接层、分类层以及输出层。

现假设输入的图像的尺寸为224*224*3，利用该卷积网络模型对输入的图像进行处理的过程包括：将图像输入标准卷积网络层，输出得到32个112*112的特征图；将32个112*112的特征图输入第一个卷积网络模块的深度卷积网络层，输出得到32个112*112的特征图，将这32个112*112的特征图再输入线性相位逐点卷积网络层，输出得到64个112*112的特征图；然后将64个112*112的特征图输入第二个卷积网络模块(第二个卷积网络模块中的深度卷积网络层采用的步长为2)，输出得到128个56*56的特征图；类似地，将每一个卷积网络模块输出的结果输入到下一个卷积网络模块中进行卷积操作；然后将最后一个卷积网络模块输出的特征图通过池化层进行池化，再输入全连接层进行全连接操作，接着输入分类层通过分类器(例如：softmax分类器)进行分类操作，最后通过输出层输出图像处理结果，具体可参照图7和图8所示，图8中仅示例了9个卷积网络模块的训练过程示意图。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

本申请还提供了一种图像处理装置900，如图9所示。图9是本申请一实施例示出的一种图像处理装置的结构示意图。参照图9，本申请的图像处理装置900包括：

输入模块901，用于将待处理图像输入预先训练得到的卷积网络模型；

处理模块902，用于通过所述卷积网络模型对所述待处理图像进行处理；

输出模块903，用于输出所述待处理图像的处理结果；

其中，所述卷积网络模型包括：具有线性相位约束的卷积网络模块；所述卷积网络模块包括深度卷积网络层和线性相位逐点卷积网络层，所述深度卷积网络层采用尺寸为3*3的卷积核，所述线性相位逐点卷积网络层采用尺寸为1*1的线性相位逐点卷积核，所述线性相位逐点卷积核的权值在深度方向上对称或者反对称。

可选地，所述装置900还包括：

第一构建模块，用于构建多种类型的线性相位逐点卷积核，所述多种类型包括：正偶型卷积核、反偶型卷积核、正奇型卷积核以及反奇型卷积核；

第二构建模块，用于根据多种类型中任意一种类型的线性相位逐点卷积核，构建具有线性相位约束的卷积网络模块；

第三构建模块，用于根据构建的卷积网络模块，构建卷积网络初始模型；

训练模块，用于利用预设图像样本对所述卷积网络初始模型进行训练，得到所述卷积网络模型。

可选地，所述多种类型的线性相位逐点卷积核是通过满足线性相位的FIR因果系统构建的，所述FIR因果系统中的冲击序列为：h(n)＝±h(N-n)，0≤n≤N，其中，h为所述线性相位逐点卷积核在深度方向上的权值，N为输入所述线性相位逐点卷积网络层的特征图的通道数；

所述第一构建模块包括：

正偶卷积构建模块，用于根据h(n)成正对称且N为偶数时的冲击序列，构建正偶型卷积核；

反偶卷积构建模块，用于根据h(n)成反对称且N为偶数时的冲击序列，构建反偶型卷积核；

正奇卷积构建模块，用于根据h(n)成正对称且N为奇数时的冲击序列，构建正奇型卷积核；

反奇卷积构建模块，用于根据h(n)成反对称且N为奇数时的冲击序列，构建反奇型卷积核。

可选地，所述卷积网络模型还包括：标准卷积网络层、池化层、全连接层、分类层以及输出层；

所述处理模块包括：

第一处理模块，用于通过所述标准卷积网络层对所述待处理图像进行卷积操作，得到第一操作结果；

第二处理模块，用于通过至少一个所述卷积网络模块对所述第一操作结果中的特征图进行通道数缩减，并进行卷积操作，得到第二操作结果；

第三处理模块，用于通过所述池化层对所述第二操作结果进行池化，得到第三操作结果；

第四处理模块，用于通过所述全连接层对所述第三操作结果进行全连接，得到第四操作结果；

第五处理模块，用于通过所述分类层对所述第四操作结果进行分类，得到分类结果；

所述输出模块包括：

输出子模块，用于根据所述分类结果得到所述待处理图像的处理结果，输出所述处理结果。

可选地，所述第二处理模块包括：

第一卷积模块，用于通过所述深度卷积网络层对所述第一操作结果进行卷积操作，得到N个特征图；

第二卷积模块，用于当N为偶数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为N/2个特征图，并对所述N/2个特征图进行卷积操作；

第三卷积模块，用于当N为奇数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为(N+1)/2个特征图，并对所述(N+1)/2个特征图进行卷积操作。

可选地，所述第二卷积模块包括：

第一通道数缩减模块，用于通过所述正偶型卷积核将特征图K1对应的矩阵与特征图N-K1+1对应的矩阵相加，或者，通过所述反偶型卷积核将特征图K2对应的矩阵与特征图N-K2+1对应的矩阵相减，将所述N个特征图缩减为N/2个特征图，其中，1≤K1≤N/2，1≤K2≤N/2；

所述第三卷积模块包括：

第二通道数缩减模块，用于通过所述正奇型卷积核将特征图K3对应的矩阵与特征图N-K3+1对应的矩阵相加，或者，通过所述反奇型卷积核将特征图K4对应的矩阵与特征图N-K4+1对应的矩阵相减，将所述N个特征图缩减为(N+1)/2个特征图其中，1≤K3<(N+1)/2，1≤K4<(N+1)/2。

可选地，所述第一卷积模块包括：

第一卷积子模块，用于通过尺寸为3*3的卷积核对所述第一操作结果进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

所述第二卷积模块还包括：

第二卷积子模块，用于通过尺寸为1*1*(N/2)的卷积核对所述N/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

所述第三卷积模块还包括：

第三卷积子模块，用于通过尺寸为1*1*(N+1)/2的卷积核对所述(N+1)/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理。

可选地，所述第一构建模块包括：

第一卷积网络构建模块，用于若输入所述线性相位逐点卷积网络层的特征图的通道数为偶数，采用所述正偶型卷积核，或所述反偶型卷积核构建具有线性相位约束的卷积网络模块；

第二卷积网络构建模块，用于若输入所述线性相位逐点卷积网络层的特征图的通道数为奇数，采用所述正奇型卷积核，或所述反奇型卷积核构建具有线性相位约束的卷积网络模块。

基于同一发明构思，本申请另一实施例提供一种电子设备1000，如图10所示。图10是本申请一实施例示出的一种电子设备的示意图。该电子设备包括存储器1002、处理器1001及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像处理方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

将待处理图像输入预先训练得到的卷积网络模型；

通过所述卷积网络模型对所述待处理图像进行处理；

输出所述待处理图像的处理结果；

其中，所述卷积网络模型包括：具有线性相位约束的卷积网络模块；所述卷积网络模块包括深度卷积网络层和线性相位逐点卷积网络层，所述深度卷积网络层采用尺寸为3*3的卷积核，所述线性相位逐点卷积网络层采用尺寸为1*1的线性相位逐点卷积核，所述线性相位逐点卷积核的权值在深度方向上对称或者反对称。

2.根据权利要求1所述的方法，其特征在于，将待处理图像输入预先训练得到的卷积网络模型前，所述方法还包括：

构建多种类型的线性相位逐点卷积核，所述多种类型包括：正偶型卷积核、反偶型卷积核、正奇型卷积核以及反奇型卷积核；

根据多种类型中任意一种类型的线性相位逐点卷积核，构建具有线性相位约束的卷积网络模块；

根据构建的卷积网络模块，构建卷积网络初始模型；

利用预设图像样本对所述卷积网络初始模型进行训练，得到所述卷积网络模型。

3.根据权利要求2所述的方法，其特征在于，所述多种类型的线性相位逐点卷积核是通过满足线性相位的FIR因果系统构建的，所述FIR因果系统中的冲击序列为：h(n)＝±h(N-n)，0≤n≤N，其中，h为所述线性相位逐点卷积核在深度方向上的权值，N为输入所述线性相位逐点卷积网络层的特征图的通道数；

构建多种类型的线性相位逐点卷积核，包括：

根据h(n)成正对称且N为偶数时的冲击序列，构建正偶型卷积核；

根据h(n)成反对称且N为偶数时的冲击序列，构建反偶型卷积核；

根据h(n)成正对称且N为奇数时的冲击序列，构建正奇型卷积核；

根据h(n)成反对称且N为奇数时的冲击序列，构建反奇型卷积核。

4.根据权利要求1或2所述的方法，其特征在于，所述卷积网络模型还包括：标准卷积网络层、池化层、全连接层、分类层以及输出层；

通过所述卷积网络模型对所述待处理图像进行处理，包括：

通过所述标准卷积网络层对所述待处理图像进行卷积操作，得到第一操作结果；

通过至少一个所述卷积网络模块对所述第一操作结果中的特征图进行通道数缩减，并进行卷积操作，得到第二操作结果；

通过所述池化层对所述第二操作结果进行池化，得到第三操作结果；

通过所述全连接层对所述第三操作结果进行全连接，得到第四操作结果；

通过所述分类层对所述第四操作结果进行分类，得到分类结果；

输出所述待处理图像的处理结果，包括：

根据所述分类结果得到所述待处理图像的处理结果，输出所述处理结果。

5.根据权利要求4所述的方法，其特征在于，通过至少一个所述卷积网络模块对所述第一操作结果中的特征图进行通道数缩减，并进行卷积操作，包括：

通过所述深度卷积网络层对所述第一操作结果进行卷积操作，得到N个特征图；

当N为偶数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为N/2个特征图，并对所述N/2个特征图进行卷积操作；

当N为奇数时，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为(N+1)/2个特征图，并对所述(N+1)/2个特征图进行卷积操作。

6.根据权利要求5所述的方法，其特征在于，通过所述线性相位逐点卷积网络层将所述N个特征图缩减为N/2个特征图，包括：

通过所述正偶型卷积核将特征图K1对应的矩阵与特征图N-K1+1对应的矩阵相加，或者，通过所述反偶型卷积核将特征图K2对应的矩阵与特征图N-K2+1对应的矩阵相减，将所述N个特征图缩减为N/2个特征图，其中，≤K1≤N/2，1≤K2≤N/2；

通过所述线性相位逐点卷积网络层将所述N个特征图缩减为(N+1)/2个特征图，包括：

通过所述正奇型卷积核将特征图K3对应的矩阵与特征图N-K3+1对应的矩阵相加，或者，通过所述反奇型卷积核将特征图K4对应的矩阵与特征图N-K4+1对应的矩阵相减，将所述N个特征图缩减为(N+1)/2个特征图其中，1≤K3<(N+1)/2，1≤K4<(N+1)/2。

7.根据权利要求5所述的方法，其特征在于，通过所述深度卷积网络层对所述第一操作结果进行卷积操作，包括：

通过尺寸为3*3的卷积核对所述第一操作结果进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

对所述N/2个特征图进行卷积操作，包括：

通过尺寸为1*1*(N/2)的卷积核对所述N/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理；

对所述(N+1)/2个特征图进行卷积操作，包括：

通过尺寸为1*1*(N+1)/2的卷积核对所述(N+1)/2个特征图进行卷积操作，对得到的结果进行批归一化处理和非线性化处理。

8.一种图像处理装置，其特征在于，包括：

输入模块，用于将待处理图像输入预先训练得到的卷积网络模型；

处理模块，用于通过所述卷积网络模型对所述待处理图像进行处理；

输出模块，用于输出所述待处理图像的处理结果；

其中，所述卷积网络模型包括：具有线性相位约束的卷积网络模块；所述卷积网络模块包括深度卷积网络层和线性相位逐点卷积网络层，所述深度卷积网络层采用尺寸为3*3的卷积核，所述线性相位逐点卷积网络层采用尺寸为1*1的线性相位逐点卷积核，所述线性相位逐点卷积核的权值在深度方向上对称或者反对称。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-7任一所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一所述的方法中的步骤。

Images