CN111368941A - 一种图像处理方法、装置以及计算机存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置及存储介质。该方法包括：获取待模拟的3D卷积模型及训练数据；将3D卷积模型分解为3D空间卷积模型和3D时间卷积模型的级联，获得伪3D级联卷积模型；用训练数据训练伪3D级联卷积模型，获取3D空间卷积模型和3D时间卷积模型的参数；将3D空间卷积模型和3D时间卷积模型转化为2D空间卷积模型和2D时间卷积模型；为2D空间卷积模型和2D时间卷积模型设置特征重排规则；将3D空间卷积模型和3D时间卷积模型的模型参数映射成2D空间卷积模型和2D时间卷积模型的参数，获得2D级联卷积模型；利用2D空间卷积模型和2D时间卷积模型对图像进行卷积运算。通过上述方式，本申请能够通过2D卷积模型实现利用3D卷积运算进行的图像处理。

Description

一种图像处理方法、装置以及计算机存储介质

技术领域

本申请涉及视频分析技术领域，特别是涉及一种图像处理方法、装置以及计算机存储介质。

背景技术

卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(Shift-Invariant ArtificialNeural Networks,SIANN)”。

对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被应用于计算机视觉、自然语言处理等领域。

其中，一维卷积主要用于对只有一个维度的序列提取特征，比如信号、股价、天气、文本以及自然语言处理领域。2D卷积可以提取单张静态图像的静态空间特征，然后同神经网络结合完成图像的分类、检测等计算机视觉方面的任务。3D卷积能提取视频及多帧图像在时间和空间上的信息。

发明内容

本申请主要解决的技术问题是提供一种图像处理方法，能够解决现有技术中利用3D卷积模型实现的图像处理技术无法通过2D卷积模型实现的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像处理方法，具体步骤包括：获取待模拟的3D卷积模型以及训练数据；将所述3D卷积模型分解为3D空间卷积模型和3D时间卷积模型的级联，以获得伪3D级联卷积模型；利用所述训练数据训练所述伪3D级联卷积模型，以获取所述3D空间卷积模型和3D时间卷积模型的模型参数；将所述3D空间卷积模型和3D时间卷积模型转化2D空间卷积模型和2D时间卷积模型；为所述2D空间卷积模型和2D时间卷积模型设置相应的特征重排规则；将所述3D空间卷积模型和3D时间卷积模型的模型参数映射成所述2D空间卷积模型和2D时间卷积模型的模型参数，以获得2D级联卷积模型；利用所述2D空间卷积模型和2D时间卷积模型对图像进行卷积运算。

本申请的有益效果是：区别于现有技术的情况，本申请将3D卷积模型分解为伪3D卷积模型的级联，再将伪3D卷积模型的级联转化为2D卷积模型，其中，2D卷积模型的参数为3D卷积模型参数映射得到，再利用特征重排，可以将利用3D卷积实现的图像处理的方法通过2D卷积模拟实现。

附图说明

图1是本申请3D卷积模型一般实现方法一实施例的示意框图；

图2是本申请2D卷积模型一般实现方法一实施例的示意图；

图3是本申请图像处理方法一实施例的流程示意图；

图4是本申请图像处理方法应用分组卷积一实施例的示意图；

图5是本申请图像处理装置一实施例的示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，术语“包括”和“具有”以及他们任何形变，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解是，本文所描述的实施例可以与其他实施例结合。

参阅图1和图2，图1为3D卷积模型一般实现方法一实施例的示意图，图2为2D卷积模型一般实现方法一实施例的示意图。图1所示的3D卷积模型的卷积核为k₁×k₂×k₃，输入特征为F∈R^{B×C×T×H×W}，经3D卷积模型进行卷积运算后，输出特征为F′∈R^{B×C′×T′×H′×W′}。其中，B表示样本数特征，C表示通道特征、T表示时间特征，H、W分别表示图像或视频帧的高、宽。图2所示的2D卷积模型的卷积核为k₄×k₅，输入特征为F∈R^B×C×H×W，经3D卷积模型进行卷积运算后，输出特征为F′∈R^{B×C′×H′×W′}。

本实施例提供一种图像处理方法，具体请参阅图3，图3为本申请图像处理方法一实施例的流程示意图。具体步骤包括：

S100，获取待模拟的3D卷积模型以及训练数据。

本实施例中，以图1所示的3D卷积模型为例，待模拟的3D卷积模型的卷积核的大小为k₁×k₂×k₃，其中，k₁为时间深度，k₂为高度尺寸，k₃为宽度尺寸。在此步骤中，为了获得较好的训练结果，除了获取训练数据外，还要获取负样本数据。

S200，将3D卷积模型分解为3D空间卷积模型和3D时间卷积模型的级联，以获得伪3D级联卷积模型。

分解得到的3D空间卷积模型的卷积核为1×k₂×k₃，3D时间卷积模型的卷积核为k₁×1×1。在由3D空间卷积模型和3D时间卷积模型组成的伪3D级联卷积模型中，3D空间卷积模型的输出特征作为3D时间卷积模型的输入特征。

S300，利用训练数据训练伪3D级联卷积模型，以获取3D空间卷积模型和3D时间卷积模型的模型参数。

S400，将3D空间卷积模型和3D时间卷积模型转化2D空间卷积模型和2D时间卷积模型。

为了实现彻底将3D卷积模型转化为2D卷积模型，需要将3D空间卷积模型转化为2D空间卷积模型，首先需将3D时间卷积模型转化为2D时间卷积模型，其中，2D空间卷积模型的卷积核的大小为k₂×k₃，2D时间卷积模型的卷积核的大小为k₁×1。

S500，将3D空间卷积模型和3D时间卷积模型的模型参数映射成2D空间卷积模型和2D时间卷积模型的模型参数，以获得2D级联卷积模型。

此步骤中，将步骤S300中训练所得的3D空间卷积模型和3D时间卷积模型的模型参数映射到2D空间卷积模型和2D时间卷积模型中，以作为2D空间卷积模型的模型参数和2D时间卷积模型的参数。

具体地，2D空间卷积模型可以是GROUP＝T的分组卷积模型，其卷积核为k₂×k₃，其中需要将3D空间卷积模型的模型参数在输入通道维度上复制T份，并取消时间维度，例如，3D空间卷积模型的模型参数是维度为C×C′×1×k₂×k₃的张量，将3D空间卷积模型的模型参数在输入通道维度C上复制T份，再取消第三维度，得到2D空间卷积模型的模型参数，2D空间卷积模型的模型参数是维度为TC×C′×k₂×k₃的张量。其中，T为3D卷积模型所对应的输入特征的时间深度。

参阅图4，图4为本申请图像处理方法应用分组卷积一实施例的示意图，图中(a)表示输入的视频或图像信息，(c)表示将输入的时间深度为T的视频或图像信息分为T组分别进行卷积运算。如此一来，可将输入的时间深度为T的视频或图像进行T组的分组卷积运算。

可选地，将3D时间卷积模型的模型参数直接复用为2D时间卷积模型的模型参数。

S600，为2D空间卷积模型和2D时间卷积模型设置相应的特征重排规则。

3D卷积模型所需的输入特征为五维输入特征，例如，图1所示的五维输入特征为F∈R^{B×C×T×H×W}，经过3D卷积运算后，得到输出特征为F′∈R^{B×C′×T′×H′×W′}。而2D卷积模型所需的输入特征为四维输入特征，若直接将五维输入特征输入2D卷积模型，则会超出2D卷积模型的计算能力，造成无法处理的情况，因此，需要为2D空间卷积模型和2D时间卷积模型设置相应的特征重排规则，将五维输入特征进行特征重排。

具体地，设置第一特征重排规则，以将3D卷积模型所对应的输入特征的通道维度和时间维度进行交换，并将交换后的输入特征的时间维度和通道维度进行合并，以作为2D空间卷积模型的输入特征。

输入特征F∈R^{B×C×T×H×W}依照上述第一特征重排规则进行维度重排的维度变化如下：

B×C×T×H×W→B×T×C×H×W→B×TC×H×W，

重排后得到2D空间卷积模型的输入特征的维度为B×TC×H×W，经过2D空间卷积模型的卷积计算后，得到2D空间卷积模型的输出特征的维度为B×TC′×H′×W′，经2D空间卷积模型的卷积计算得到的输出特征可表示为R^{B×TC′×H′×W′}。

上述2D空间卷积模型忽略了时间特征，时间特征的提取需要通过2D时间卷积模型来实现，而2D时间卷积模型的卷积计算需要在时间维度上滑动进行，因此，需对2D空间卷积模型的输出特征R^{B×TC′×H′×W′}进行特征重排。

具体地，设置第二特征重排规则，以将2D空间卷积模型的输出特征的合并的时间维度和通道维度进行拆分，将2D空间卷积模型的输出特征的高度维度和宽度维度进行合并，并2D空间卷积模型的输出特征拆分后的时间维度和通道维度进行交换，以作为2D时间卷积模型的输入特征。经第二特征重排规则对输出特征R^B×TC×H×W的维度重排。

经2D空间卷积模型的卷积计算得到的输出特征R^{B×TC′×H′}×W^′，依照上述第二特征重排规则进行特征重排的维度变化如下：

B×TC′×H′×W′→B×T×C′×H′×W′→B×T×C′×H′W′→B×C′×T×H′W′。

重排后得到2D时间卷积模型的输入特征的维度为B×C′×T×H′W′，经过2D时间卷积模型的卷积计算后，得到2D时间卷积模型的输出特征的维度为B×C′×T′×H′W′，经2D时间卷积模型的卷积计算得到的输出特征可表示为R^{B×C′×T′×H′W′}。

卷积计算结束之前，经2D时间卷积模型的卷积计算得到的输出特征R^{B×C′×T′×H′W′}还不是最终的输出结果，输出特征R^{B×C′×T′×H′W′}需返回2D空间卷积模型继续进行卷积计算，因此经2D时间卷积模型的卷积计算得到的输出特征R^{B×C′×T′×H′W′}需进行特征重排。

具体地，设置第三特征重排规则，以将2D时间卷积模型的输出特征的通道维度和时间维度进行交换，将2D空间卷积模型的输出特征的合并的高度维度和宽度维度进行拆分，并2D空间卷积模型的输出特征交换后的时间维度和通道维度进行合并，以作为2D级联卷积模型的输出特征。

经2D空间卷积模型的卷积计算得到的输出特征R^{B×C′×T′×H′W′}，依照上述第三特征重排规则进行特征重排的维度变化如下：

B×C′×T′×H′W′→B×T′×C′×H′W′→B×T′×C′×H′×W′→B×T′C′×H′×W′。

经2D空间卷积模型的卷积计算得到的输出特征R^{B×C′×T′×H′W′}经第三重排规则的特征重排后，得到的特征的维度为B×T′C′×H′×W′，得到的特征R^{B×T′C′×H′×W′}就可以输入2D空间卷积模型进行卷积计算。

S700，利用所述2D空间卷积模型和2D时间卷积模型对图像进行卷积运算；

经过上述步骤S100-S600，可以实现将3D卷积运算通过2D卷积来模拟实现，可以实现对多帧图像或视频的卷积运算，以实现图像分类、动作识别等。

请参阅图5，图5是本申请图像处理装置一实施例的电路结构示意框图。如图5所示，图像处理装置包括相互耦接的处理器11和存储器12。存储器12中存储有计算机程序，处理器11用于执行计算机程序以实现如上述本申请图像处理方法实施例的步骤。

关于处理执行的各步骤的描述请参照上述本申请图像处理方法实施例的各步骤的描述，在此不再赘述。

在本申请的各实施例中，所揭露的图像处理方法和图像处理装置，可以通过其它的方式实现。例如，以上所描述的图像处理装置的各实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待模拟的3D卷积模型以及训练数据；

将所述3D卷积模型分解为3D空间卷积模型和3D时间卷积模型的级联，以获得伪3D级联卷积模型；

利用所述训练数据训练所述伪3D级联卷积模型，以获取所述3D空间卷积模型和3D时间卷积模型的模型参数；

将所述3D空间卷积模型和3D时间卷积模型转化为2D空间卷积模型和2D时间卷积模型；

将所述3D空间卷积模型和3D时间卷积模型的模型参数映射成所述2D空间卷积模型和2D时间卷积模型的模型参数，以获得2D级联卷积模型；

为所述2D空间卷积模型和2D时间卷积模型设置相应的特征重排规则；

利用所述2D空间卷积模型和2D时间卷积模型对图像进行卷积运算。

2.根据权利要求1所述的方法，其特征在于，所述3D卷积模型的卷积核的大小为k₁×k₂×k₃；

所述将所述3D卷积模型分解为3D空间卷积模型和3D时间卷积模型的级联的步骤包括：

将所述3D空间卷积模型和3D时间卷积模型的卷积核的大小分别设置为1×k₂×k₃和k₁×1×1；

所述将所述3D空间卷积模型和3D时间卷积模型转化2D空间卷积模型和2D时间卷积模型的步骤包括：

所述2D空间卷积模型和2D时间卷积模型的卷积核的大小分别设置为k₂×k₃和k₁×1；

其中，k₁为时间深度，k₂和k₃为高度尺寸和宽度尺寸。

3.根据权利要求1所述的方法，其特征在于，所述为所述2D空间卷积模型和2D时间卷积模型设置相应的特征重排规则的步骤包括：

设置第一特征重排规则，以将所述3D卷积模型所对应的输入特征的通道维度和时间维度进行交换，并将交换后的所述输入特征的时间维度和通道维度进行合并，以作为所述2D空间卷积模型的输入特征。

4.根据权利要求3所述的方法，其特征在于，所述为所述2D空间卷积模型和2D时间卷积模型设置相应的特征重排规则的步骤进一步包括：

设置第二特征重排规则，以将所述2D空间卷积模型的输出特征的合并的时间维度和通道维度进行拆分，将所述2D空间卷积模型的输出特征的高度维度和宽度维度进行合并，并所述2D空间卷积模型的输出特征拆分后的时间维度和通道维度进行交换，以作为所述2D时间卷积模型的输入特征。

5.根据权利要求4所述的方法，其特征在于，所述为所述2D空间卷积模型和2D时间卷积模型设置相应的特征重排规则的步骤进一步包括：

设置第三特征重排规则，以将所述2D时间卷积模型的输出特征的通道维度和时间维度进行交换，将所述2D空间卷积模型的输出特征的合并的高度维度和宽度维度进行拆分，并所述2D空间卷积模型的输出特征交换后的时间维度和通道维度进行合并，以作为所述2D级联卷积模型的输出特征。

6.根据权利要求1所述的方法，其特征在于，所述将所述3D空间卷积模型和3D时间卷积模型的模型参数映射成所述2D空间卷积模型和2D时间卷积模型的模型参数的步骤包括：

将所述3D空间卷积模型的模型参数在输入通道维度上复制T份，并取消时间维度，以作为所述2D空间卷积模型的模型参数，T为所述3D卷积模型所对应的输入特征的时间深度。

7.根据权利要求6所述的方法，其特征在于，所述将所述3D空间卷积模型和3D时间卷积模型的模型参数映射成所述2D空间卷积模型和2D时间卷积模型的模型参数的步骤包括：

将所述3D时间卷积模型的模型参数直接复用为所述2D时间卷积模型的模型参数。

8.一种图像处理装置，其特征在于，所述装置包括处理器和存储器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-7中任一项所述方法的步骤。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被执行时实现如权利要求1-7中任一项所述方法的步骤。

Images