CN110309836B - 图像特征提取方法、装置、存储介质和设备 - Google Patents

Abstract

公开了一种图像特征提取方法、装置、存储介质和设备。其中的图像特征提取方法包括：获取当前卷积层对应的卷积分组数，其中，所述卷积分组数是根据当前卷积层对应的输入通道数和分组基数确定的；根据所述卷积分组数，对第一图像特征进行分组卷积处理，得到卷积处理后的第二图像特征。本公开提供的技术方案有利于在保证神经网络具有较好的处理准确性的同时，使神经网络具有较小的计算代价和较低的计算延迟。

Description

图像特征提取方法、装置、存储介质和设备

技术领域

本公开涉及计算机视觉技术，尤其是一种图像特征提取方法、图像特征提取装置、存储介质以及电子设备。

背景技术

在一些应用场景中，由于终端设备的硬件条件等因素，往往不仅要考虑部署在终端设备中的卷积神经网络的处理准确性，还要考虑卷积神经网络的计算代价和计算延迟。如何在保证卷积神经网络具有较好的处理准确性的同时，兼顾较小的计算代价和较低的计算延迟，是一个值得关注的技术问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像特征提取方法、图像特征提取装置、存储介质和电子设备。

根据本公开实施例的一个方面，提供一种图像特征提取方法，包括：至获取当前卷积层对应的卷积分组数，其中，所述卷积分组数是根据当前卷积层对应的输入通道数和分组基数确定的；根据所述卷积分组数，对第一图像特征进行分组卷积处理，得到卷积处理后的第二图像特征。

根据本公开实施例的另一个方面，提供一种图像特征提取装置，包括：获取模块，用于获取当前卷积层对应的卷积分组数，其中，所述卷积分组数是根据当前卷积层对应的输入通道数和分组基数确定的；分组卷积处理模块，用于根据所述获取模块获取到的卷积分组数，对第一图像特征进行分组卷积处理，得到卷积处理后的第二图像特征。

根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述图像特征提取方法。

根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述图像特征提取方法。

基于本公开上述实施例提供的一种图像特征提取方法和装置，通过获取当前卷积层对应的卷积分组数，由于该卷积分组数是由当前卷积层对应的输入通道数和分组基数确定的，因此，每一次进行分组卷积处理时，不同分组卷积处理均对应相同的输入通道数，且每一个分组卷积处理均可以对应多个输入通道数，从而本公开不仅有利于提高乘法器的利用率。由此可知，本公开提供的技术方案有利于在保证神经网络具有较好的处理准确性的同时，使神经网络具有较小的计算代价和较低的计算延迟。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1为本公开所适用的一个场景示意图；

图2为本公开所适用的另一个场景示意图；

图3为本公开所适用的再一个场景示意图；

图4为本公开所适用的又一个场景示意图；

图5为本公开的图像特征提取方法一个实施例的流程示意图；

图6为本公开的从待处理图像特征中提取图像特征的过程的一个例子的示意图；

图7为本公开的从待处理图像特征中提取图像特征的过程的另一个例子的示意图；

图8为本公开的图像特征提取装置一个例子的结构示意图；

图9为本公开的图像特征提取装置为一神经网络的一个例子的示意图；

图10为本公开的图像特征提取装置为另一神经网络的一个例子的示意图；

图11为本公开一示例性实施例提供的电子设备的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或者两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，神经网络的部署往往会受到设备硬件条件的限制，例如，如果神经网络所消耗的计算资源较大，则神经网络无法部署在智能移动电话或者智能车载系统等计算资源较少的终端设备中。另外，如果神经网络的计算延迟较大，则神经网络很难应用在对实时性要求较高的任务中。

为了降低神经网络的计算代价和计算延迟，以尽量避免设备的硬件条件的限制，一些神经网络使用DSC(Depthwise Separable Convolutions，深度可分离卷积)来取代神经网络中的传统卷积。深度可分离卷积通常包括两部分内容，即DC(DepthwiseConvolution，深度卷积)以及PC(Pointwise Convolution，逐点卷积)。

深度可分离卷积在实现卷积处理过程中，通常先只考虑区域，然后，再考虑通道，实现了通道和区域的分离。深度可分离卷积所需要的参数数量小于传统卷积所需要的参数数量。然而，由于深度可分离卷积中的深度卷积的卷积分组数量等于深度卷积的输入通道数量，因此在通过执行卷积运算的硬件设备在计算过程中，不仅会造成设备中的乘法器的利用率不足，而且，分组数量较多还会导致(Memory Access Cost，内存访问成本)的增加，从而不利于降低神经网络的计算代价和计算延迟。

示例性概述

本公开提供的图像特征提取技术可广泛应用于分类任务、目标检测任务、分割任务以及低层视觉(low-level vision)任务等多种计算机视觉任务中。

一个例子如图1所示。图1中，设备100获得待识别人脸图像101(如利用其摄像头拍摄获得待识别人脸图像101或者通过网络传输获得待识别人脸图像101等)。该待识别人脸图像110被输入至部署在设备100中的第一卷积运算模块102中，该第一卷积运算模块102可以采用本公开提供的图像特征提取技术，对待识别人脸图像101进行特征提取处理，第一卷积运算模块102输出待识别人脸图像101的特征图103。之后，相似度计算模块105将第一卷积运算模块102输出的特征图103与预先设置的参考图像集(GallerySet)104中的多个人脸特征进行相似度计算，并根据相似度计算结果确参考图像集104中的与待识别人脸图像101相匹配的人脸特征，确定出待识别人脸图像101的身份信息，从而完成人脸识别。

另一个例子如图2所示。图2中，设备200获得待检测图像201(如利用其摄像头拍摄获得待检测图像201或者通过网络传输获得待检测图像201等)，该待检测图像201被输入至预先部署在设备200中的第二卷积运算模块202中。第二卷积运算模块202通过执行FastRCNN(Fast Regions with CNN，快速的带区域的卷积神经网络的卷积运算，对待检测图像201进行特征提取处理，获得待检测图像201的特征图203，之后，第二卷积运算模块202再确定出特征图203中的感兴趣区域，第二卷积运算模块202对其确定出的感兴趣区域进行分类处理以及回归处理，并根据分类结果确定目标对象的边界框的位置信息，从而完成目标检测。

再一个例子如图3所示。图3中，设备300获得待分割图像301(如利用其摄像头拍摄获得待分割图像301或者通过网络传输获得待分割图像301等)，该待分割图像300被输入至预先部署在设备300中的第三卷积运算模块302中。第三卷积运算模块302通过执行FCN(Fully Convolutional Networks，全卷积网络)的卷积运算对待分割图像301进行特征提取处理，获得待分割图像301的第一特征图303，然后，该第三卷积运算模块302再对第一特征图303进行上采样处理，使上采样处理获得的第二特征图304与待分割图像301的尺寸大小相同，之后，该第三卷积运算模块302再针对第二特征图304进行逐像素分类，以确定每一个像素的语义，最终形成待分割图像301对应的语义图，从而完成图像分割。

又一个例子如图4所示。图4中，设备400获得待清晰处理图像401(如利用其摄像头拍摄获得待清晰处理图像401或者通过网络传输获得待清晰处理图像401等)，该待清晰处理图像401被输入至预先部署在设备400中的第四卷积运算模块402中。第四卷积运算模块402执行Dual CNN(Dual Convolutional Neural Networks，对偶卷积神经网络)的卷积运算。第四卷积运算模块402包括两个分支，即Net-D(如包括3层的卷积神经网络等)和Net-S(如包括20层的卷积神经网络等)。Net-D用于提取待清晰处理图像401中的细节特征，从而获得待清晰处理图像401的细节特征图403。Net-S用于提取待清晰处理图像401中的结构特征，从而获得待清晰处理图像401的结构特征图404。第四卷积运算模块402通过Net-D和Net-S，获得细节特征图403和结构特征图404。然后，第四卷积运算模块402通过对细节特征图403和结构特征图404进行后续的处理，从而可以形成并输出恢复了待清晰处理图像401中的细节和结构的清晰图像，进而可以实现去雾、去雨或者去模糊等效果。

示例性方法

图5为本公开的图像特征提取方法一个实施例的流程图。如图5所示，该实施例的方法块包括步骤：S500和S501。下面对各步骤分别进行说明。

S500、获取当前卷积层对应的卷积分组数。

本公开中的当前卷积层是指当前需要针对接收到的第一图像特征，执行分组卷积处理的层。本公开中的卷积分组数可以是指在执行分组卷积处理时，对输入的图像特征进行组划分，所获得的组的数量。本公开中的卷积分组数是根据当前卷积层对应的输入通道数和分组基数确定的。

本公开中的分组基数通常为预先设置的已知值，且分组基数通常为大于1的整数。本公开可以将当前卷积层对应的输入通道数和分组基数的商作为当前卷积层对应的卷积分组数。对于不同的当前卷积层而言，如果不同的当前卷积层各自对应的输入通道数不相同，则本公开针对不同的当前卷积层所获得的卷积分组数通常不相同。相对于现有技术的分组卷积而言，由于现有技术的分组卷积的卷积分组数是固定不变的，而本公开中的卷积分组数通常是随着当前卷积层对应的输入通道数的变化而变化的，因此，本公开针对第一图像特征进行分组卷积处理的方式，可以称为可变式分组卷积处理。本公开的可变式分组卷积处理可以应用在深度可分离卷积中，例如，深度可分离卷积中的深度卷积可以替换为本公开的可变式分组卷积处理，从而有利于避免深度分分离卷积由于深度卷积的分组数过多，而导致的乘法器的利用率不足以及内存访问成本增加的现象。

S501、根据卷积分组数，对第一图像特征进行分组卷积处理，得到卷积处理后的第二图像特征。

本公开中的第一图像特征可以认为是提供给当前卷积层的图像特征(即当前卷积层的输入图像特征)。第一图像特征可以为Featuremap(特征图)等。本公开中的第二图像特征可以认为是当前卷积层针对输入图像特征，而输出的图像特征，例如，输出的Featuremap等。

本公开中的分组卷积处理可以认为是：第一图像特征的通道数被划分为N组(N大于1)，N即为卷积分组数，相应的，当前卷积层中的卷积核的也被划分为N组，卷积核的大小保持不变，一组卷积核对应第一图像特征的一组通道数，一组卷积核根据其对应的通道数，对第一图像特征进行分组卷积处理。

本公开中的分组卷积处理通常会使第二图像特征的通道数与第一图像特征的通道数不同，例如，本公开可以使第二图像特征的通道数为第一图像特征的通道数的一倍。

本公开通过获取当前卷积层对应的卷积分组数，由于该卷积分组数是由当前卷积层对应的输入通道数和分组基数确定的，因此，在每一次进行分组卷积处理时，不同分组卷积处理均对应相同的输入通道数，且每一个分组卷积处理均可以对应多个输入通道数，从而不仅有利于避免卷积运算过程中对乘法器利用率用不足的现象，而且还有利于避免分组数量过多而导致的内存访问时间成本增加的现象。因此，本公开在有利于保证卷积神经网络具有较好的处理准确性的同时，使神经网络具有较小的计算代价和较低的计算延迟。

在一个可选示例中，本公开中的分组基数是根据执行卷积运算的设备(该设备可以为神经网络加速器、人工智能芯片)中的乘加单元的数据排布格式设置的。本公开中的数据排布格式可以利用与乘加单元在执行一次卷积运算时相关的KCP来体现，其中，KCP中的K表示一次卷积运算后的输出特征图的通道数量；C表示一次卷积运算的输入特征图的通道数量；P表示单张输入特征图上参与一次卷积运算的点的数量。本公开中的数据排布格式通常与KCP中的C相关。KCP中的每个字母前的数字表示相应的数量。例如，5K6C7P表示：乘加单元在执行一次卷积运算后的输出特征图的通道数为5，乘加单元在执行一次卷积运算时需要的输入特征图的通道数为6，单个输入特征图上参与一次卷积运算的点的数量为7。

可选的，本公开中的分组基数可以为X的非零正整数倍，X通常可以为大于1的正整数。例如，分组基数可以为X、2X、3X、4X或者5X等。

本公开通过根据设备中的数据排布格式确定分组基数，可以使当前卷积层在对第一图像特征进行分组卷积处理时，当前卷积层中的卷积核可以利用乘加单元中的所有乘法器进行卷积运算，从而可以避免乘法器得不到充分利用的现象，而且还可以避免分组数量过多而导致的内存访问时间成本增加的现象。

在一个可选示例中，本公开还可以对上述分组卷积处理后获得的第二图像特征进行逐点卷积(Pointwise Convolution)处理，得到逐点卷积处理后的第三图像特征。逐点卷积处理可以是指采用1×1大小的卷积核所进行的卷积运算。本公开中的逐点卷积处理可以使第三图像特征的通道数与第二图像特征的通道数不相同，例如，第三图像特征的通道数可以是第二图像特征的通道数的两倍。本公开中的逐点卷积处理也可以使第三图像特征的通道数与第二图像特征的通道数相同，即保持通道数不变。

本公开通过对分组卷积处理后获得的第二图像特征进行逐点卷积处理，可以将分组卷积处理得到的特征结合起来，从而有利于提高特征的准确性。

在一个可选示例中，本公开对图像特征进行分组卷积处理以及逐点卷积处理，可以认为是针对图像特征的一种基本处理单元，该基本处理单元用于针对第一图像特征进行特征提取，从而获得从第一图像特征中提取出的图像特征。本公开可以根据实际需求，对该基本处理单元进行相应形式的组合，从而形成相应的神经网络。

在一个可选示例中，本公开可以对一待处理图像特征先后执行两次分组卷积处理以及逐点卷积处理，之后，根据最后获得的图像特征，确定从该待处理图像特征中提取出的图像特征。具体的，本公开可以先将待处理图像特征作为第一图像特征，对第一图像特征进行一次分组卷积处理和逐点卷积处理，从而第一次获得一第三图像特征，第一次获得的第三图像特征的通道数和空间分辨率通常与待处理图像特征的通道数和空间分辨率相同。然后，本公开将该第三图像特征作为第一图像特征，再次执行分组卷积处理和逐点卷积处理(即针对第三图像特征进行分组卷积处理和逐点卷积处理)，从而第二次获得一第三图像特征。第二次获得的第三图像特征的通道数和空间分辨率通常与待处理图像特征的通道数和空间分辨率相同。最后，本公开可以根据第二次获得的第三图像特征，确定从待处理图像特征中提取出的图像特征。最终从待处理图像特征中提取出的图像特征的通道数和空间分辨率通常与待处理图像特征的通道数和空间分辨率相同。

本公开中的对待处理图像特征先后执行两次分组卷积处理以及逐点卷积处理，并利用第二次获得的第三图像特征，形成从待处理图像特征中提取出的图像特征，可以认为是针对待处理图像特征的一种组合处理方式，该组合处理方式可以是神经网络中的一种块处理方式；从而有利于使神经网络的结构模块化，有利于提高神经网络的可维护性。另外，由于该块处理方式可以使其对应的输入通道数和空间分辨率与其对应的输出通道数和空间分辨率相同，因此，该块处理方式可以称为同阶段块处理方式，该块可以称为同阶段卷积模块。

在一个可选示例中，本公开可以将第二次获得的第三图像特征与提供给当前卷积层的待处理图像特征进行逐元素相加，从而得到第四图像特征，即本公开在分组卷积处理和逐点卷积处理的基础上，采用了反向残差(Inverted Residual)的形式。本公开中的第四图像特征的空间分辨率和通道数通常与待处理图像特征的空间分辨率和通道数相同。本公开可以将该第四图像特征作为从待处理图像特征中提取出的图像特征。本公开中的逐元素相加可以是指：针对第二次获得的第三图像特征和待处理图像特征中的相同位置处的一像素点而言，将该第三图像特征中的该像素点的各通道的取值分别与待处理图像特征中的该像素点的相应通道的取值，进行相加。例如，将该第三图像特征中的该像素点的第一通道的取值与待处理图像特征中的该像素点的第一通道的取值，进行相加，以此类推，直到将该第三图像特征中的该像素点的最后一通道的取值与待处理图像特征中的该像素点的最后一通道的取值，进行相加。

在一个可选示例中，本公开从待处理图像特征中提取图像特征的过程的一个例子可以如图6所示。

图6中，待处理图像特征的通道数为C/2(其中，C为大于2的偶数)，待处理图像特征被作为第一图像特征，被作为第一图像特征的待处理图像特征在经过一次可变式分组卷积处理后，得到通道数为C的一第二图像特征，该第二图像特征在经过一次逐点卷积处理后，获得通道数为C/2的一第三图像特征，该第三图像特征被作为第一图像特征，被作为第一图像特征的第三图像特征在经过一次可变式分组卷积处理后，得到通道数为C的另一第二图像特征，该另一第二图像特征在经过一次逐点卷积处理后，获得通道数为C/2的另一第三图像特征。该另一第三图像特征与待处理图像特征进行逐元素相加，相加后获得的第四图像特征，被作为从待处理图像特征中提取出的图像特征。

图6所示的处理过程可以被作为神经网络中的一个块(block)所执行的处理过程，为了方便描述，本公开可以将该块称为block1。在block1所执行的处理过程中，卷积核移动的步长(stride)为1。

本公开通过将第二次获得的第三图像特征与提供给当前卷积层的待处理图像特征进行逐元素相加，有利于避免第一图像特征在进行了多次串行的卷积处理而造成的特征丢失现象，从而有利于提高最终提取出的图像特征的准确性。

在一个可选示例中，本公开可以针对一待处理图像特征进行两次并行的分组卷积处理以及逐点卷积处理，之后，再针对并行处理获得的两个图像特征，进行相应的处理，从而确定从该待处理图像特征中提取出的图像特征。具体的，本公开可以先将待处理图像特征分别作为两个第一图像特征，即第一个第一图像特征和第二个第一图像特征，然后，对两个第一图像特征分别进行一次分组卷积处理和逐点卷积处理，从而获得两个第三图像特征，即第一个第三图像特征和第二个第三图像特征。第一次获得的两个第三图像特征的通道数通常与待处理图像特征的通道数不相同，例如，可以是待处理图像特征的通道数的两倍。第一次获得的两个第三图像特征的空间分辨率通常与待处理图像特征的空间分辨率不相同，例如，第一次获得的两个第三图像特征的空间分辨率可以是待处理图像特征的空间分辨率的一半。第一次获得的两个第三图像特征的通道数和空间分辨率通常相同。之后，本公开可以将第一个第三图像特征和第二个第三图像特征进行逐元素相加，从而得到第五图像特征。然后，本公开可以将第五图像特征作为第一图像特征，即对第五图像特征进行一次分组卷积处理和逐点卷积处理，从而再次获得一第三图像特征。再次获得的该第三图像特征的空间分辨率和通道数通常与第五图像特征的空间分辨率和通道数相同；例如，再次获得的第三图像特征的空间分辨率可以是待处理图像特征的空间分辨率的一半，而再次获得的第三图像特征的通道数可以是待处理图像特征的通道数的一倍。最后，本公开可以根据该再次获得的第三图像特征，确定从待处理图像特征中提取出的图像特征。最终从待处理图像特征中提取出的图像特征的通道数和空间分辨率通常与待处理图像特征的通道数和空间分辨率不相同。例如，最终提取出的图像特征的空间分辨率可以是待处理图像特征的空间分辨率的一半，而最终提取出的图像特征的通道数可以是待处理图像特征的通道数的一倍。

本公开中的对待处理图像特征并行执行分组卷积处理和逐点卷积处理，并将并行处理获得图像特征逐元素相加，可以等效通道数增倍的效果，从而有利于降低在对待处理图像特征进行下采样时，丢失的特征信息，进而有利于提高最终获得的图像特征的准确性。本公开的并行处理、逐元素相加、对逐元素相加后的图像特征进行分组卷积处理和逐点卷积处理、以及形成最终的图像特征的过程，可以认为是针对待处理图像特征的一种便于使用的组合处理方式，该组合处理方式可以是神经网络中的一种块处理方式；从而有利于使神经网络的结构模块化，有利于提高神经网络的可维护性。另外，由于该块处理方式可以使其对应的输入通道数和空间分辨率与其对应的输出通道数和空间分辨率不相同，因此，该块处理方式可以称为降采样块处理方式。该块可以称为降采样卷积模块。

在一个可选示例中，本公开可以将待处理图像作为第三个第一图像特征，即对第三个第一图像特征进行一次分组卷积处理和逐点卷积处理，从而获得第三个第三图像特征；本公开可以将第三个第三图像特征与上述针对第五图像特征进行分组卷积处理和逐点卷积处理而获得的第三图像特征进行逐元素相加，从而得到第六图像特征。本公开可以将第六图像特征作为从待处理图像中提取出的图像特征。由此可知，本公开在分组卷积处理和逐点卷积处理的并串结合的基础上，采用了反向残差的形式。本公开中的第六图像特征的空间分辨率和通道数通常与待处理图像特征的空间分辨率和通道数不相同。例如，第六图像特征的空间分辨率可以是待处理图像特征的空间分辨率的一半，而第六图像特征的通道数可以是待处理图像特征的通道数的一倍，从而本公开可以对待处理图像特征的降采样处理。

在一个可选示例中，本公开从待处理图像特征中提取图像特征的过程的另一个例子可以如图7所示。

图7中，待处理图像特征的通道数为C/2，待处理图像特征被作为第一图像特征，本公开针对被作为第一图像特征的待处理图像特征，并行进行三次可变式分组卷积处理，从而得到通道数为C的三个第二图像特征，这三个第二图像特征在分经过一次逐点卷积处理后，获得通道数为C的三个第三图像特征。图7中的上面两个并行分支中的第三图像特征进行逐元素相加，获得通道数为C的第五图像特征，第五图像特征被作为第一图像特征，被作为第一图像特征的第五图像特征在经过一次可变式分组卷积处理后，得到通道数为2C的一第二图像特征，该通道数为2C的第二图像特征在经过一次逐点卷积处理后，获得并串处理后的通道数为C的第三图像特征。该并串处理后的通道数为C的第三图像特征与图7中的最下面的一个第三图像特征进行逐元素相加，获得第六图像特征，本公开将第六图像特征作为从待处理图像特征中提取出的图像特征。

图7所示的处理过程可以被作为神经网络中的另一个块(block)所执行的处理过程，为了方便描述，本公开可以将该另一个块称为block2。在block2所执行的处理过程中，卷积核移动的步长为2。

本公开通过在并串结合处理的基础上，将并串处理后的图像特征与第三个图像特征进行逐元素相加，有利于避免待处理图像特征在进行并串处理而造成的特征丢失现象，从而有利于提高最终提取出的图像特征的准确性。

示例性装置

图8为本公开的图像特征提取装置的一个实施例的结构示意图。该实施例的装置可用于实现本公开上述各方法实施例。如图8所示，该实施例的装置可以包括：获取模块800以及分组卷积处理模块801。可选的，该装置还可以包括：逐点卷积处理模块802。可选的，本公开的图像特征提取装置可以为一个神经网络。

获取模块800用于获取当前卷积层对应的卷积分组数。其中的卷积分组数是根据当前卷积层对应的输入通道数和分组基数确定的。可选的，本公开中的分组基数可以是根据用于图像特征提取的设备中的数据排布格式设置的。

分组卷积处理模块801用于根据获取模块800获取到的卷积分组数，对第一图像特征进行分组卷积处理，得到卷积处理后的第二图像特征。

逐点卷积处理模块802用于对分组卷积处理模块801得到的第二图像特征进行逐点卷积处理，得到逐点卷积处理后的第三图像特征。

在一个可选示例中，本公开可以利用获取模块800、分组卷积处理模块801以及逐点卷积处理模块802形成多个单元，多个单元和相应的输出模块一起可以形成神经网络中的一个块，例如，上述block1和block2等。

一个例子，本公开中的图像特征提取装置可以包括：第一单元、第二单元和第一输出模块。其中的第一单元可以由获取模块800、分组卷积处理模块801以及逐点卷积处理模块802形成。其中的第二单元可以由获取模块800、分组卷积处理模块801以及逐点卷积处理模块802形成。第二单元与第一单元和第一输出模块分别连接。第一单元、第二单元和第一输出模块一起，可以形成一个块(如图6所示的block1)。该块可以称为同阶段卷积模块。

待处理图像特征(即块的输入图像特征)被作为第一单元中的分组卷积处理模块801的输入图像特征，即第一图像特征。第一单元中的分组卷积处理模块801可以根据第一单元中的获取模块800获得的当前卷积层对应的卷积分组数对待处理图像特征进行分组卷积处理，第一单元中的分组卷积处理模块801输出的图像特征被作为第一单元中的逐点卷积处理模块802的输入图像特征。第一单元中的分组卷积处理模块801输出的图像特征在经过第一单元中的逐点卷积处理模块802的逐点卷积处理后，输出的图像特征被作为第二单元中的分组卷积处理模块801的输入图像特征。第二单元中的分组卷积处理模块801在对其输入图像特征进行分组卷积处理后，获得的图像特征，被提供给第二单元中的逐点卷积处理模块802。第二单元中的逐点卷积处理模块802在对其输入图像特征进行逐点卷积处理后，输出的图像特征被提供给第一输出模块。第一输出模块用于根据第二单元中的逐点卷积处理模块输出的图像特征，确定从待处理图像特征中提取出的图像特征。例如，第一输出模块可以包括第一相加模块。该第一相加模块可以将第二单元中的逐点卷积处理模块输出的图像特征与待处理图像特征进行逐元素相加，得到一图像特征；该图像特征即为本公开的块从输入的待处理图像特征中提取出的图像特征。

另一个例子，本公开中的图像特征提取装置可以包括：第二相加模块、第三单元、第四单元、第五单元以及第二输出模块。其中的第三单元可以由获取模块800、分组卷积处理模块801以及逐点卷积处理模块802形成。其中的第四单元可以由获取模块800、分组卷积处理模块801及逐点卷积处理模块802形成。其中的第五单元可以由获取模块800、分组卷积处理模块801以及逐点卷积处理模块802形成。第三单元和第四单元分别与第二相加模块连接，第二相加模块还与第五单元连接。第三单元、第四单元、第五单元、第二相加模块以及第二输出模块一起，可以形成一个块(如图7所示的block2)。该块可以称为降采样卷积模块。

待处理图像特征(即块的输入图像特征)被分别作为第三单元和第四单元中的分组卷积处理模块801的输入图像特征，即第一图像特征。第三单元和第三单元中的分组卷积处理模块801可以根据其所在单元中的获取模块800获得的当前卷积层对应的卷积分组数，分别对待处理图像特征进行分组卷积处理，第三单元中的分组卷积处理模块801输出的图像特征被作为第三单元中的逐点卷积处理模块802的输入图像特征，第四单元中的分组卷积处理模块801输出的图像特征被作为第四单元中的逐点卷积处理模块802的输入图像特征。第三单元中的逐点卷积处理模块802输出的图像特征，会与第四单元的逐点卷积处理模块802输出的图像特征，进行逐元素相加，获得一相加后的图像特征。该相加后的图像特征被被作为第五单元中的分组卷积处理模块801的输入图像特征。第五单元中的分组卷积处理模块801对其输入图像特征进行分组卷积处理，获得的图像特征被作为第五单元中的逐点卷积处理模块802的输入图像特征。第五单元中的逐点卷积处理模块802对其输入图像特征进行逐点卷积处理后，输出的图像特征被提供给第二输出模块。第二输出模块用于根据第五单元中的逐点卷积处理模块输出的图像特征，确定从待处理图像特征中提取出的图像特征。例如，第二输出模块可以包括第三相加模块。且该图像特征提取装置还包括：第六单元。第六单元可以认为是块的短接分支。第六单元可以由获取模块800、分组卷积处理模块801以及逐点卷积处理模块802形成。

待处理图像特征(即块的输入图像特征)被作为第六单元中的分组卷积处理模块801的输入图像特征，即第一图像特征。第六单元中的分组卷积处理模块801可以根据第一单元中的获取模块800获得的当前卷积层对应的卷积分组数对待处理图像特征进行分组卷积处理，第六单元中的分组卷积处理模块801输出的图像特征被作为第三相加模块的一输入图像特征。第三相加模块的另一输入图像特征为第五单元中的逐点卷积处理模块802输出的图像特征。第三相加模块可以将两路输入图像特征进行逐元素相加，得到一图像特征；该图像特征即为本公开的块从输入的待处理图像特征中提取出的图像特征。

在本公开的图像特征提取装置为神经网络的情况下，本公开的神经网络可以称为可变式分组卷积神经网络。该可变式分组卷积神经网络至少包括：多个block1(即同阶段卷积模块)和多个block2(即降采样卷积模块)。

可选的，本公开的可变式分组卷积神经网络的主干部分一个例子如图9所示。

图9所示的可变式分组卷积神经网络的主干部分包括：顺序连接的第一卷积层901(如卷积核大小为5×5的卷积层)、第一降采样卷积模块902、第二降采样卷积模块903、第三降采样卷积模块904、第一同阶段卷积模块905、第二同阶段卷积模块906、第四降采样卷积模块907、第三同阶段卷积模块908、第二卷积层909(如卷积核大小为1×1的卷积层)、池化层910(例如，全局平均池化层)和全连接层911。图9所示的可变式分组卷积神经网络的主干部分可以将神经网络的输入图像特征(例如，Featuremap)的空间分辨率，下采样到1/32，使感受野得到增加。图9所示的可变式分组卷积神经网络的主干部分通常用于实现分类任务。

可选的，本公开的可变式分组卷积神经网络的一个例子如图10所示。

图10所示的可变式分组卷积神经网络的主干部分(Backbone)包括：顺序连接的第一卷积层1001(如卷积核大小为5×5的卷积层)、第一降采样卷积模块1002、第二降采样卷积模块1003、第三降采样卷积模块1004、第一同阶段卷积模块1005、第二同阶段卷积模块1006、第四降采样卷积模块1007、第三同阶段卷积模块1008、第四同阶段卷积模块1009、第五降采样卷积模块1010以及第五同阶段卷积模块1011，第五同阶段卷积模块1011的输出为可变式分组卷积神经网络的第一输出。

图10所示的可变式分组卷积神经网络还包括：从第二降采样卷积模块1003的输出引出的第一网络分支，该第一网络分支包括：第六同阶段卷积模块1012。

图10所示的可变式分组卷积神经网络还包括：从第二同阶段卷积模块1006的输出引出的第二网络分支，该第二网络分支包括：第七同阶段卷积模块1013。

图10所示的可变式分组卷积神经网络还包括：从第四同阶段卷积模块1009的输出引出的第三网络分支，所述第三网络分支包括：第八同阶段卷积模块1014。

图10所示的可变式分组卷积神经网络还包括：从第五同阶段卷积模块1011的输出引出的第四网络分支，第四网络分支可以包括：顺序连接的第九同阶段卷积模块1015、第一上采样模块1016以及第十同阶段卷积模块1017。第三网络分支最终输出的图像特征与第四网络分支最终输出的图像特征进行逐元素相加后形成可变式分组卷积神经网络的第二输出；

图10所示的可变式分组卷积神经网络还包括：从第二输出引出的第五网络分支，第五网络分支包括：顺序连接的第十一同阶段卷积模块1018、第二上采样模块1019以及第十二同阶段卷积模块1020。第二网络分支最终输出的图像特征与第五网络分支最终输出的图像特征逐元素相加后，形成可变式分组卷积神经网络的第三输出。

图10所示的可变式分组卷积神经网络还包括：从第三输出引出的第六网络分支，第六网络分支包括：顺序连接的第十三同阶段卷积模块1021、第三上采样模块1022以及第十四同阶段卷积模块1023，第一网络分支最终输出的图像特征在与第六网络分支最终输出的图像特征，进行逐元素相加后，形成可变式分组卷积神经网络的第四输出。

图10所示的可变式分组卷积神经网络的主干部分可以将神经网络的输入图像特征的空间分辨率下采样到1/64，使感受野得到增加。另外，该架构采用了图像特征金字塔的图像特征融合模式，富含语义特征的高层特征信息在进行上采样后，与富含细节信息的底层特征信息进行融合，并在金字塔的不同特征层分别进行预测处理，有利于提高预测处理的准确性。图10所示的可变式分组卷积神经网络通常用于检测、分割、low-level vision等任务。

示例性电子设备

下面参考图11来描述根据本公开实施例的电子设备。图11示出了根据本公开实施例的电子设备的框图。如图11所示，电子设备111包括一个或多个处理器1111和存储器1112。

处理器1111可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备111中的其他组件以执行期望的功能。

存储器1112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(ROM)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1111可以运行所述程序指令，以实现上文所述的本公开的各个实施例的图像特征提取方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备111还可以包括：输入装置1113以及输出装置1114等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备1113还可以包括例如键盘、鼠标等等。该输出装置1114可以向外部输出各种信息。该输出设备1114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备111中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备111还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像特征提取方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的图像特征提取方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种图像特征提取方法，包括：

获取当前卷积层对应的卷积分组数，其中，所述卷积分组数是根据当前卷积层对应的输入通道数和分组基数确定的；

根据所述卷积分组数，对第一图像特征进行分组卷积处理，得到卷积处理后的第二图像特征；

其中，所述分组基数是根据用于图像特征提取的设备中的乘加单元的数据排布格式设置的，所述数据排布格式与一次卷积运算的输入特征图的通道数量相关。

2.根据权利要求1所述的方法，其中，所述方法还包括：

对所述第二图像特征进行逐点卷积处理，得到逐点卷积处理后的第三图像特征。

3.根据权利要求2所述的方法，其中，所述方法还包括：

将待处理图像特征作为第一图像特征，得到第三图像特征；

将所述第三图像特征再次作为第一图像特征，以再次得到第三图像特征；

根据所述再次得到的第三图像特征，确定从所述待处理图像特征中提取出的图像特征。

4.根据权利要求3所述的方法，其中，所述根据所述再次得到的第三图像特征，确定从所述待处理图像特征中提取出的图像特征，包括：

将所述再次得到的第三图像特征与所述待处理图像特征进行逐元素相加，得到第四图像特征；

其中，所述第四图像特征被作为从所述待处理图像特征中提取出的图像特征。

5.根据权利要求2所述的方法，其中，所述方法还包括：

将待处理图像特征分别作为第一个第一图像特征和第二个第一图像特征，以得到第一个第三图像特征和第二个第三图像特征；

将所述第一个第三图像特征和第二个第三图像特征进行逐元素相加，得到第五图像特征；

将所述第五图像特征作为所述第一图像特征，以再次得到第三图像特征；

根据所述再次得到的第三图像特征，确定从所述待处理图像特征中提取出的图像特征。

6.根据权利要求5所述的方法，其中，所述方法还包括：

将所述待处理图像作为第三个第一图像特征，以得到第三个第三图像特征；

所述根据所述再次得到的第三图像特征，确定从所述待处理图像特征中提取出的图像特征，包括：

将所述再次得到的第三图像特征与所述第三个第三图像特征进行逐元素相加，得到第六图像特征；其中，所述第六图像特征被作为从所述待处理图像特征中提取出的图像特征。

7.一种图像特征提取装置，包括：

获取模块，用于获取当前卷积层对应的卷积分组数，其中，所述卷积分组数是根据当前卷积层对应的输入通道数和分组基数确定的；

分组卷积处理模块，用于根据所述获取模块获取到的卷积分组数，对第一图像特征进行分组卷积处理，得到卷积处理后的第二图像特征；

其中，所述分组基数是根据用于图像特征提取的设备中的乘加单元的数据排布格式设置的，所述数据排布格式与一次卷积运算的输入特征图的通道数量相关。

8.根据权利要求7所述的装置，其中，所述装置还包括：

逐点卷积处理模块，用于对所述分组卷积处理模块得到的第二图像特征进行逐点卷积处理，得到逐点卷积处理后的第三图像特征。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-6中任一项所述的方法。

10.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-6中任一项所述的方法。

Images