CN115578583B - 图像处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法，涉及人工智能技术领域，尤其涉及深度学习、计算机视觉和图像处理技术领域。具体实现方案为：确定图像的注意力特征序列中多个注意力特征各自的局域信息；针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用目标子模型对该注意力特征进行处理，得到专家输出结果；以及根据多个注意力特征各自的专家输出结果，确定图像的处理结果。本公开还提供了一种图像处理装置、电子设备和存储介质。

Description

图像处理方法、装置、电子设备和存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、计算机视觉和图像处理技术。更具体地，本公开提供了一种图像处理方法、装置、电子设备和存储介质。

背景技术

随着深度学习技术的发展，深度学习模型的可学习参数越来越多，导致模型规模越来越大，模型的训练周期大幅延长。

混合专家模型引入多个并行的专家结构，可以针对特征进行并行计算。在硬件条件有限的情况下，混合专家模型能够提高大规模深度学习模型的计算效率。

发明内容

本公开提供了一种图像处理方法、装置、设备以及存储介质。

根据第一方面，提供了一种图像处理方法，该方法包括：确定图像的注意力特征序列中多个注意力特征各自的局域信息；针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用目标子模型对该注意力特征进行处理，得到专家输出结果；以及根据多个注意力特征各自的专家输出结果，确定图像的处理结果。

根据第二方面，提供了一种图像处理装置，该装置包括：第一确定模块，用于确定图像的注意力特征序列中多个注意力特征各自的局域信息；第一处理模块，用于针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用目标子模型对该注意力特征进行处理，得到专家输出结果；以及第二确定模块，用于根据多个注意力特征各自的专家输出结果，确定图像的处理结果。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据本公开提供的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是相关技术中混合专家模型的基本结构单元的框图；

图2是根据本公开的一个实施例的图像处理方法的流程图；

图3是根据本公开的一个实施例的确定局域信息的方法的流程图；

图4A是根据本公开的一个实施例的混合专家模型的基本结构单元的框图；

图4B是根据本公开的一个实施例的图像处理方法的原理示意图；

图5是根据本公开的一个实施例的图像处理装置的框图；

图6是根据本公开的一个实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在深度学习领域，一些在业内已经研究比较成熟、得到较多认可的模型，可以作为标准模型，用来对新模型的性能指标进行衡量和对比，上述标准模型可以称为Benchmark。

随着深度学习技术的发展，深度学习模型的可学习参数越来越多，在各种任务的Benchmark上不断出现可以刷新模型精度的算法，使模型精度达到最高的算法可以称为最佳性能算法，最佳性能算法在模型上达到的效果可以称为SOTA(State-of-The-Art)结果。

深度学习模型的可学习参数越来越多，规模越来越大，落地场景也越发丰富。但是，由于目前模型的串行计算特性，大规模深度学习模型的计算效率大幅降低，更大模型的训练周期大幅延长，超大模型的发展受到严重阻碍。

当深度学习模型的规模过大，占用显存超过单张显卡上限时，可以将模型并行分布在多张显卡上。例如，引入包含多个专家结构的混合专家模型，多个专家结构并行分布在多张显卡上，且具备并行计算特性。在硬件有限的条件下，混合专家模型能够在不损害计算效率的前提下，引入更大量可学习参数，在多种任务场景下都得到了SOTA结果。

但是，混合专家模型在结构、损失函数等方面的设计，都还有较大的优化空间。因此，进一步优化混合专家模型，使得混合专家模型的精度更高、处理效果更好，具有重要意义。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

混合专家模型例如是基于Transformer的混合专家模型(以下简称为混合专家模型)，混合专家模型由多个相同的基本结构单元串联组成。

图1是相关技术中混合专家模型的基本结构单元的框图。

如图1所示，混合专家模型的基本结构单元100可以包括注意力模块110、Routing模块120和专家模块130。注意力模块110例如包括注意力子模型(Attention)。专家模块130例如包括n(n为大于等于2的整数)个并行的专家子模型。专家子模型例如是FFN(Feed-Forward Network，前向传播网络)子模型，FFN子模型可以包括两个全连接层和一个激活层，用于进行特征提取。

基本结构单元100的输入可以是待处理数据的初始特征序列(Token序列)，初始特征序列输入注意力模块110，经注意力模块110的注意力子模型处理为注意力特征序列。

Routing模块120可以包括一个R_outing(路径选择)函数。针对注意力特征序列的每个注意力特征，可以使用Routing模块120中的Routing函数为该注意力特征指定一个专家子模型。因此，注意力特征序列中的多个注意力特征可以分发到不同的专家子模型分别进行处理。经多个专家子模型处理后的注意力特征可以再组成新的特征序列，作为基本结构单元100的输出。

基本结构单元100的输出可以作为下一个基本结构单元100的输入，重复上述处理过程，直至得到最后一个基本结构单元100的输出。根据最后一个基本结构单元100的输出可以得到待处理数据的处理结果。

可以理解，多个专家子模型各自对应的属性不同。例如，在自然语言处理领域，多个专家子模型可以分别对应动词、名词、副词等多种词属性。在计算机视觉中的人脸识别领域，多个专家子模型可以分别对应鼻子、眼睛、眉毛等人脸属性。根据注意力特征序列中的多个注意力特征各自的属性，经Routing函数将不同属性的注意力特征分发到对应属性的专家子模型分别进行处理，可以提高专家子模型的处理效果，进而提高待处理数据的处理效果。

在自然语言处理领域，待处理数据例如是文本，基本结构单元100的输入可以是文本特征序列，文本特征序列中每一个特征都可以表征为一个单词或字。因此，对每一个特征进行Routing(路径选择)的含义是明晰的。例如，将动词属性的特征分发到针对动词属性的专家子模型，将名词属性的特征分发到针对名词属性的专家子模型等等，可以提高文本特征序列的处理效果，进而提高待处理文本的处理效果。

在计算机视觉领域，待处理数据例如是图像，可以将图像划分为多个图像块，确定多个图像块各自的特征，得到图像的初始特征序列，作为基本结构单元100的输入。然而，图像的初始特征序列中每个特征表征一个图像块，相比于文本中的字或单词，图像块边界模糊、含义不明，且冗余度较高。对这样一个边界模糊、意义不明、冗余度较高的特征进行Routing是低效的，路径选择效果差、效率低，造成专家子模型的处理效果差，进而造成待处理图像的处理效果较差。

因此，在计算机视觉领域进一步优化混合专家模型，是极其重要的。

下面结合图2、图3以及图4A～4B对本公开提供的图像处理方法进行详细说明。

图2是根据本公开的一个实施例的图像处理方法的流程图。

如图2所示，该图像处理方法200可以包括操作S210～操作S230。

在操作S210，确定图像的注意力特征序列中多个注意力特征各自的局域信息。

例如，可以将图像划分为多个图像块，使用一个全连接层对多个图像块进行特征提取，得到该多个图像块各自的初始特征，组成初始特征序列。该初始特征序列可以作为深度学习模型的输入，该深度学习模型例如是基于Transformer的混合专家模型。

本实施例提供的混合专家模型可以包括注意力子模型，可以将初始特征序列输入注意力子模型，得到注意力特征序列。该注意力特征序列中的每个注意力特征具有全局的注意力分数，注意力特征的注意力分数可以表征该注意力特征在所有注意力特征中的权重。可以理解，注意力特征的权重越高，该注意力特征所表示的图像块所包含的信息对于图像处理的作用越高。

可以理解，注意力特征的权重作为全局信息能够表征注意力特征的重要性。本实施例还可以针对每个注意力特征确定各自的局域信息，该局域信息可以表征注意力特征的属性。

例如，针对每个注意力特征，可以确定该注意力特征所表示的图像块在图像中的位置，确定该位置周围的特征为该注意力特征的相邻特征。可以理解，相邻特征可以与该注意力特征直接相邻，也可以与该注意力特征间接相邻。可以获取该注意力特征的信息以及相邻特征的信息作为该注意力特征的局域信息。

可以理解，局域信息包含了注意力特征以及相邻特征的信息，可以使得注意力特征的含义更加明确。例如，图像是人脸图像，人脸眼部的一个图像块的注意力特征在获取局域信息后，由于包含了更多的周围眼部信息，因此，能够使得该注意力特征属于眼部特征的含义更加明确。

在操作S220，针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用目标子模型对该注意力特征进行处理，得到专家输出结果。

例如，针对每个注意力特征，由于该注意力特征的局域信息能够表征该注意力特征的属性，因此，根据该注意力特征的局域信息可以将该注意力特征分发给对应属性的专家子模型(目标子模型)。目标子模型对分发来的注意力特征进行处理，可以得到专家输出结果。例如可以根据该注意力特征的权重进行特征提取，得到特征提取结果，作为专家输出结果。

可以理解，针对属于目标属性的注意力特征，使用与目标属性对应的专家子模型进行处理，能够提高处理效果。

在操作S230，根据多个注意力特征各自的专家输出结果，确定图像的处理结果。

例如，多个注意力特征的专家输出结果组成最终的专家处理结果，根据专家处理结果，可以确定图像的处理结果。在人脸识别领域，图像的处理结果可以包括对象的年龄、性别等。

本实施例还可以应用于其他图像分类的场景，例如车辆检测场景，图像的处理结果可以是车辆的类别，如机动车、电动车等。本实施例还可以应用于目标检测、OCR识别等图像处理领域。例如在目标检测领域，图像处理结果可以是图像中目标对象的位置，在OCR识别领域图像处理结果可以是图像中的文本信息。

本公开的实施例通过确定注意力特征的局域信息，根据注意力特征的局域信息所表征的属性，将该注意力特征分发给对应属性的专家子模型，能够提高该注意力特征的处理效果。

图3是根据本公开的一个实施例的确定局域信息的方法的流程图。

如图3所示，可以将图像310划分为多个(例如400个)图像块，将多个图像块输入一个全连接层，可以得到多个图像块的初始特征序列320。该初始特征序列320的开始位置为人为添加的Class Token(分类标识符)，因此，初始特征序列320的长度等于图像310中图像块的个数加1。

例如，初始特征序列320作为混合专家模型的输入，经混合专家模型的注意力子模型处理后，得到注意力特征序列330。注意力特征序列330的开始位置也是Class Token。可以将注意力特征序列330开始位置的Class Token取出，得到注意力特征序列331。注意力特征序列331中注意力特征的个数与图像310中图像块的个数相同。

例如，可以将注意力特征序列331转换为注意力特征矩阵340，注意力特征矩阵340中多个注意力特征与图像310中的多个图像块是各自对应的。因此，注意力特征矩阵340中的每个注意力特征的位置与该注意力特征所表示的图像块在图像310中的位置是一致的。

需要说明的是，注意力特征矩阵340可以是方阵，也可以是行数和列数不相等的矩阵。对应地，图像310可以是正方形，也可以是长方形。

例如，针对注意力特征矩阵340中的每个注意力特征，可以获取该注意力特征周围的相邻注意力特征的信息，该注意力特征的信息和相邻注意力特征的信息可以一起作为该注意力特征的局域信息。

根据本公开的实施例，可以对上述注意力特征矩阵340进行卷积操作、平均池化操作、或者最大池化操作来实现相邻注意力特征的获取。因此，本实施例可以对混合专家模型进行结构的改进，例如增加卷积子模型、平均池化子模型或最大池化子模型中的之一，以便确定注意力特征的局域信息。

下面结合图4A～4B对本实施例提供的混合专家模型的结构和图像处理方法的原理进行说明。

图4A是根据本公开的一个实施例的混合专家模型的基本结构单元的框图。

如图4A所示，混合专家模型的基本结构单元400可以包括注意力模块410、局域信息处理模块420、Routing模块430以及专家模块440。

注意力模块410例如包括注意力子模型，用于对输入的初始特征序列进行计算，得到注意力特征序列。初始特征序列例如是待处理图像的多个图像块各自的初始特征组成的序列。

局域信息处理模块420例如包括核为k*k的卷积子模型、平均池化子模型或最大池化子模型中的之一，k例如可以等于3。卷积子模型、平均池化子模型或最大池化子模型可以用于确定注意力特征序列中的每个注意力特征的局域信息。

专家模块440例如包括多个并行的专家子模型，多个专家子模型可以与多个属性各自对应。例如，在人脸识别领域，多个专家子模型可以分别对应鼻子、眼睛、眉毛等人脸属性。

Routing模块430例如包括Routing函数，用于针对每个注意力特征，根据局域信息计算该注意力特征属于各个属性的概率，并根据概率将该注意力特征分发给对应属性的专家子模型。

针对专家模块440中的专家子模型，用于针对分发来的注意力特征，基于权重进行特征提取，得到专家输出结果。

注意力特征序列中的每个注意力特征各自的专家输出特征可以集结为新的特征序列，作为专家输出特征序列。当前基本结构单元400输出的专家输出特征序列可以作为下一个基本结构单元400的输入，直至得到最后一个基本结构单元400的专家输出特征序列，根据最后一个基本结构单元400的专家输出特征序列，可以确定待处理图像的处理结果。

图4B是根据本公开的一个实施例的图像处理方法的原理示意图。

如图4B所示，待处理图像401可以包括多个图像，针对每个待处理图像，可以划分为多个图像块，并确定多个图像块各自的特征，得到该待处理图像的初始特征序列，初始特征序列的开始位置为Class Token。多个待处理图像各自的初始特征序列组成初始特征序列集合402。

例如，初始特征序列集合402可以作为维度为[b，t，d]的序列集合输入混合专家模型的基本结构单元400。其中，b表示图像数量(例如b＝10)，t为每个初始特征序列的长度(该长度等于对应图像的图像块个数加1，例如图像块个数为400，t＝401)，d为单个特征的表征维度，该表征维度可以表示该单个特征的信息容量(例如d＝512)。

初始特征序列集合402输入基本结构单元400的注意力模块410，注意力模块410例如包括注意力子模型。初始特征序列集合402经注意力子模型的处理，可以得到注意力特征序列集合403。将注意力特征序列集合403中每个注意力特征序列的Class Token取出，得到维度为[b，t-1，d]的注意力特征序列集合404。

例如，针对注意力特征序列集合404中每个长度为t-1注意力特征序列，可以转换为维度为的特征矩阵。因此，注意力特征序列集合404可以转换为维度是/>的注意力特征矩阵集合405。针对注意力特征矩阵集合405中每个矩阵注意力特征矩阵，该注意力特征矩阵中多个注意力特征与图像401中对应图像的多个图像块是各自对应的，每个注意力特征的位置与该注意力特征所表示的图像块在图像中的位置是一致的。

例如，可以将注意力特征矩阵集合405输入局域信息处理模块420，局域信息处理模块420例如包括卷积子模型、平均池化子模型或最大池化子模型中的之一。使用局域信息处理模块420对注意力特征矩阵集合405中的每个注意力特征进行处理，使得每个注意力特征获得相邻注意力特征的信息，每个注意力特征自身的信息和相邻注意力特征的信息可以一起作为该注意力特征的局域信息。

例如，在得到每个注意力特征的局域信息之后，可以将维度是 的注意力特征矩阵集合405转换为维度是[b，t-1，d]的序列集合，并将取出的每个序列的Class Token放回，得到维度是[b，t，d]的注意力特征序列集合406。注意力特征序列集合404和注意力特征序列集合406是对应的，注意力特征序列集合406中每个注意力特征包含了各自的局域信息。

例如，基本结构单元400的专家模块440包括多个并行的专家子模型。多个专家子模型可以与多个属性各自对应。例如，在人脸识别领域，多个专家子模型可以分别对应鼻子、眼睛、眉毛等人脸属性。针对注意力特征序列集合406中的每个注意力特征，可以使用Routing模块430基于该注意力特征的局域信息，计算该注意力特征属于各个属性的概率。

例如，可以将注意力特征序列集合406中每个注意力特征的概率分配给注意力特征序列集合404中对应的注意力特征，使得注意力特征序列集合404中每个注意力特征各自具有多个概率，多个概率与多个属性各自对应。

例如，针对注意力特征序列集合404中的每个注意力特征，可以将与自身概率最大值对应的属性作为该注意力特征的目标属性，并将该注意力特征分发给专家模块440中与上述目标属性对应的专家子模型。专家子模型对注意力特征进行处理，可以得到专家处理结果。该专家处理结果例如是对注意力特征基于权重进行进一步提取后的专家输出特征。

例如，针对注意力特征序列集合404中的每个注意力特征，还可以按照自身的多个概率对各个属性进行排序，将排序结果中前m(m为大于等于2的整数，例如m＝2)个的属性作为注意力特征的目标属性。将该注意力特征分发给专家模块440中与m个目标属性对应的m个专家子模型，可以得到m个专家子模型各自输出的目标处理结果，将m个专家子模型各自输出的目标处理结果进行加权平均，可以得到该注意力特征的专家输出结果，专家输出结果例如是专家输出特征。

注意力特征序列集合404中每个注意力特征的专家输出特征可以集结为专家输出特征序列集合407，专家输出特征序列集合407中每个专家输出序列的开始位置为ClassToken，Class Token可以汇总该输出特征序列的总体信息。

根据本公开的实施例，混合专家模型可以包括多个基本结构单元400，每个基本结构单元包括注意力模块410、局域信息处理模块420、Routing模块430以及专家模块440。每个基本结构单元输出的专家输出特征序列集合407，可以作为下一个基本结构单元的输入，重复上述处理过程，直至得到最后一个基本结构单元400输出的专家输出特征序列集合407。针对最后一个专家输出特征序列集合407中的每个专家输出序列，提取该专家输出序列的Class Token，根据提取的Class Token可以对该输出特征序列进行分类，得到图像401中对应图像的处理结果408。

本实施例在混合专家模型的基本结构单元中设置了局域信息处理模块，能够确定注意力特征的局域信息，以便提高对注意力特征进行路径选择的准确性，进而提高图像处理效果。

图5是根据本公开的一个实施例的图像处理装置的框图。

如图5所示，该图像处理装置500包括第一确定模块501、第一处理模块502和第二确定模块503。

第一确定模块501用于确定图像的注意力特征序列中多个注意力特征各自的局域信息。

第一处理模块502用于针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用所述目标子模型对该注意力特征进行处理，得到专家输出结果。

第二确定模块503用于根据所述多个注意力特征各自的专家输出结果，确定所述图像的处理结果。

根据本公开的实施例，第一确定模块501包括转换子模块和第一确定子模块。

转换子模块用于将注意力特征序列转换为注意力特征矩阵。

第一确定子模块用于针对注意力特征矩阵中的每个注意力特征，根据该注意力特征在注意力特征矩阵中的位置以及位于位置周围的相邻注意力特征，确定该注意力特征的局域信息。

根据本公开的实施例，深度学习模型包括局域信息处理子模型，局域信息处理子模型为卷积子模型、平均池化子模型或最大池化子模型中的之一。第一确定子模块用于针对注意力特征矩阵中的每个注意力特征，使用局域信息处理子模型获取相邻注意力特征的信息，得到注意力特征的局域信息。

根据本公开的实施例，多个专家子模型与多个属性各自对应；第一处理模块包括计算子模块、计算子模块和第一处理子模块。

计算子模块用于根据该注意力特征的局域信息，计算该注意力特征属于各个属性的概率。

第二确定子模块用于根据概率，从深度学习模型的多个专家子模型中确定目标子模型。

第一处理子模块用于使用目标子模型对注意力特征进行处理，得到注意力特征的专家输出结果。

根据本公开的实施例，目标子模型包括多个目标子模型；第一处理模块包括第二处理子模块和第三处理子模块。

第二处理子模块用于针对每个目标子模型，使用该目标子模型对注意力特征进行处理，得到该注意力特征的目标输出结果。

第三处理子模块用于根据多个目标子模型各自的目标输出结果，确定专家输出结果。

根据本公开的实施例，深度学习模型包括注意力子模型；图像处理装置500还包括划分模块、第三确定模块和第二处理模块。

划分模块用于将图像划分为多个图像块。

第三确定模块用于确定多个图像块各自的初始特征，得到初始特征序列。

第二处理模块用于使用注意力子模型对初始特征序列进行处理，得到注意力特征序列。

根据本公开的实施例，深度学习模型包括多个基本结构单元，每个基本结构单元包括注意力子模型、局域信息处理子模型和多个专家子模型，局域信息处理子模型为卷积子模型、平均池化子模型或最大池化子模型中的之一；图像处理装置500还包括转换模块和第三处理模块。

转换模块用于将当前基本结构单元输出的多个注意力特征各自的专家输出结果转换为新的特征序列。

第三处理模块用于模块，用于将新的特征序列作为下一个基本结构单元的初始特征序列，针对下一个基本结构单元，返回第二处理模块。

根据本公开的实施例，图像的处理结果包括图像的类别、图像中的目标对象的位置以及图像中的文本信息中的之一。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像处理方法。例如，在一些实施例中，图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种图像处理方法，包括：

确定图像的注意力特征序列中多个注意力特征各自的局域信息，其中，所述图像为人脸图像，所述局域信息表征所述注意力特征的属性，所述属性包括所述人脸图像中人脸的各个部位；

针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用所述目标子模型对该注意力特征进行处理，得到专家输出结果；以及

根据所述多个注意力特征各自的专家输出结果，确定所述图像的处理结果；

其中，所述多个专家子模型与多个属性各自对应；所述针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用所述目标子模型对该注意力特征进行处理，得到专家输出结果包括：针对每个注意力特征，

根据该注意力特征的局域信息，计算该注意力特征属于各个属性的概率；

根据所述概率，从所述深度学习模型的多个专家子模型中确定所述目标子模型；以及

使用所述目标子模型对所述注意力特征进行处理，得到所述注意力特征的专家输出结果；

其中，每个专家子模型输出的专家输出结果表征与该专家子模型对应的人脸部位的识别结果；

所述确定所述图像的处理结果包括：根据多个专家子模型输出的多个人脸部位的识别结果，确定整个人脸的识别结果。

2.根据权利要求1所述的方法，其中，所述确定图像的注意力特征序列中多个注意力特征各自的局域信息包括：

将所述注意力特征序列转换为注意力特征矩阵；

针对所述注意力特征矩阵中的每个注意力特征，根据该注意力特征在所述注意力特征矩阵中的位置以及位于所述位置周围的相邻注意力特征，确定该注意力特征的局域信息。

3.根据权利要求2所述的方法，其中，所述深度学习模型包括局域信息处理子模型，所述局域信息处理子模型为卷积子模型、平均池化子模型或最大池化子模型中的之一；所述针对所述注意力特征矩阵中的每个注意力特征，根据该注意力特征在所述注意力特征矩阵中的位置以及位于所述位置周围的相邻注意力特征，确定该注意力特征的局域信息包括：针对所述注意力特征矩阵中的每个注意力特征，

使用所述局域信息处理子模型获取所述相邻注意力特征的信息，得到所述注意力特征的局域信息。

4. 根据权利要求1至3中任一项所述的方法，其中，所述目标子模型包括多个目标子模型；所述使用所述目标子模型对该注意力特征进行处理，得到专家输出结果包括：

针对每个目标子模型，使用该目标子模型对所述注意力特征进行处理，得到该注意力特征的目标输出结果；以及

根据所述多个目标子模型各自的目标输出结果，确定所述专家输出结果。

5.根据权利要求1所述的方法，其中，所述深度学习模型包括注意力子模型；所述方法还包括：

将所述图像划分为多个图像块；

确定所述多个图像块各自的初始特征，得到初始特征序列；以及

使用所述注意力子模型对所述初始特征序列进行处理，得到所述注意力特征序列。

6. 根据权利要求5所述的方法，其中，所述深度学习模型包括多个基本结构单元，每个基本结构单元包括所述注意力子模型、局域信息处理子模型和所述多个专家子模型，所述局域信息处理子模型为卷积子模型、平均池化子模型或最大池化子模型中的之一；所述方法还包括：

将当前基本结构单元输出的所述多个注意力特征各自的专家输出结果转换为新的特征序列；以及

将所述新的特征序列作为下一个基本结构单元的初始特征序列，针对所述下一个基本结构单元，返回使用所述注意力子模型对所述初始特征序列进行处理，得到所述注意力特征序列的步骤，直至得到最后一个基本结构单元输出的专家输出结果。

7.根据权利要求1所述的方法，其中，所述图像的处理结果包括所述图像的类别以及所述图像中的目标对象的位置中的之一。

8.一种图像处理装置，包括：

第一确定模块，用于确定图像的注意力特征序列中多个注意力特征各自的局域信息，其中，所述图像为人脸图像，所述局域信息表征所述注意力特征的属性，所述属性包括所述人脸图像中人脸的各个部位；

第一处理模块，用于针对每个注意力特征，根据该注意力特征的局域信息，从深度学习模型的多个专家子模型中确定目标子模型，并使用所述目标子模型对该注意力特征进行处理，得到专家输出结果；以及

第二确定模块，用于根据所述多个注意力特征各自的专家输出结果，确定所述图像的处理结果；

其中，所述多个专家子模型与多个属性各自对应；所述第一处理模块包括：

计算子模块，用于根据该注意力特征的局域信息，计算该注意力特征属于各个属性的概率；

第二确定子模块，用于根据所述概率，从所述深度学习模型的多个专家子模型中确定所述目标子模型；以及

第一处理子模块，用于使用所述目标子模型对所述注意力特征进行处理，得到所述注意力特征的专家输出结果；

其中，每个专家子模型输出的专家输出结果表征与该专家子模型对应的人脸部位的识别结果；

所述第二确定模块，用于根据多个专家子模型输出的多个人脸部位的识别结果，确定整个人脸的识别结果。

9.根据权利要求8所述的装置，其中，所述第一确定模块包括：

转换子模块，用于将所述注意力特征序列转换为注意力特征矩阵；

第一确定子模块，用于针对所述注意力特征矩阵中的每个注意力特征，根据该注意力特征在所述注意力特征矩阵中的位置以及位于所述位置周围的相邻注意力特征，确定该注意力特征的局域信息。

10.根据权利要求9所述的装置，其中，所述深度学习模型包括局域信息处理子模型，所述局域信息处理子模型为卷积子模型、平均池化子模型或最大池化子模型中的之一；所述第一确定子模块用于针对所述注意力特征矩阵中的每个注意力特征，使用所述局域信息处理子模型获取所述相邻注意力特征的信息，得到所述注意力特征的局域信息。

11. 根据权利要求8至10中任一项所述的装置，其中，所述目标子模型包括多个目标子模型；所述第一处理模块包括：

第二处理子模块，用于针对每个目标子模型，使用该目标子模型对所述注意力特征进行处理，得到该注意力特征的目标输出结果；以及

第三处理子模块，用于根据所述多个目标子模型各自的目标输出结果，确定所述专家输出结果。

12.根据权利要求8所述的装置，其中，所述深度学习模型包括注意力子模型；所述装置还包括：

划分模块，用于将所述图像划分为多个图像块；

第三确定模块，用于确定所述多个图像块各自的初始特征，得到初始特征序列；以及

第二处理模块，用于使用所述注意力子模型对所述初始特征序列进行处理，得到所述注意力特征序列。

13. 根据权利要求12所述的装置，其中，所述深度学习模型包括多个基本结构单元，每个基本结构单元包括所述注意力子模型、局域信息处理子模型和所述多个专家子模型，所述局域信息处理子模型为卷积子模型、平均池化子模型或最大池化子模型中的之一；所述装置还包括：

转换模块，用于将当前基本结构单元输出的所述多个注意力特征各自的专家输出结果转换为新的特征序列；以及

第三处理模块，用于将所述新的特征序列作为下一个基本结构单元的初始特征序列，针对所述下一个基本结构单元，返回第二处理模块，直至得到最后一个基本结构单元输出的专家输出结果。

14.根据权利要求8所述的装置，其中，所述图像的处理结果包括所述图像的类别以及所述图像中的目标对象的位置中的之一。

15. 一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至7中任一项所述的方法。