CN108875540A - 图像处理方法、装置和系统及存储介质 - Google Patents

Abstract

本发明实施例提供一种图像处理方法、装置和系统以及存储介质。图像处理方法包括：获取人脸图像；对人脸图像进行人脸语义分割，以获得用于指示人脸图像中的人脸所在位置的人脸热力图和用于指示人脸图像中的不同像素是否属于同一人脸的标签信息；以及基于标签信息和人脸热力图区分人脸热力图中的不同人脸。根据本发明实施例的图像处理方法、装置和系统以及存储介质，在对人脸图像进行人脸语义分割时，除获得人脸热力图之外，还获得标签信息。基于标签信息可以区分人脸热力图中的不同人脸。结合人脸热力图和标签信息可以识别人脸图像中的每个人脸所在的位置。因此，根据本发明实施例的图像处理方法可以很好地解决多个人脸重叠时无法区分的问题。

Description

图像处理方法、装置和系统及存储介质

技术领域

本发明涉及图像处理领域，更具体地涉及一种图像处理方法、装置和系统以及存储介质。

背景技术

在传统的人脸语义分割技术中，对于一张输入图像，输出一张人脸热力图，人脸热力图中的响应区域对应于输入图像中人脸所在的区域。这种方法的局限在于，当多个人脸有重叠时，无法通过人脸热力图区分彼此。因此，需要提供一种新的用于实现人脸语义分割的图像处理方法。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种图像处理方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种图像处理方法。图像处理方法包括：获取人脸图像；对人脸图像进行人脸语义分割，以获得用于指示人脸图像中的人脸所在位置的人脸热力图和用于指示人脸图像中的不同像素是否属于同一人脸的标签信息；以及基于标签信息和人脸热力图区分人脸热力图中的不同人脸。

示例性地，标签信息包括标签信息图，标签信息图中的每个像素与人脸图像中的一个或多个像素相对应，标签信息图中的像素值一致的像素用于指示人脸图像中的对应像素属于同一人脸。

示例性地，标签信息包括至少两个图像，基于标签信息和人脸热力图区分人脸热力图中的不同人脸包括：将至少两个图像结合，并基于结合后的图像区分人脸热力图中的不同人脸。

示例性地，方法还包括：基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡。

示例性地，基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡包括：基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域；基于目标热力图区域判断目标人脸是否被遮挡。

示例性地，方法还包括：对人脸热力图进行插值和/或缩放，以获得转换热力图。

示例性地，基于目标热力图区域判断目标人脸是否被遮挡包括：计算目标热力图区域中的目标人脸与标准人脸热力图中的标准人脸之间的相似度；将相似度与相似度阈值相比较，如果相似度大于相似度阈值，则确定目标人脸未被遮挡，否则确定目标人脸被遮挡。

示例性地，基于目标热力图区域判断目标人脸是否被遮挡包括：将目标热力图区域输入遮挡判断网络，以获得用于指示目标人脸是否被遮挡的目标遮挡结果。

示例性地，目标遮挡结果包括目标人脸被遮挡的概率。

示例性地，目标遮挡结果包括目标人脸分别被至少一种预定遮挡物遮挡的概率。

示例性地，基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域包括：基于标签信息确定目标人脸在人脸热力图或转换热力图中的位置；以及根据确定的位置从人脸热力图或转换热力图中提取目标热力图区域。

根据本发明另一方面，提供了一种图像处理装置，包括：获取模块，用于获取人脸图像；以及语义分割模块，用于对人脸图像进行人脸语义分割，以获得用于指示人脸图像中的人脸所在位置的人脸热力图和用于指示人脸图像中的不同像素是否属于同一人脸的标签信息；区分模块，用于基于标签信息和人脸热力图区分人脸热力图中的不同人脸。

根据本发明另一方面，提供了一种图像处理系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述图像处理方法。

根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述图像处理方法。

根据本发明实施例的图像处理方法、装置和系统以及存储介质，在对人脸图像进行人脸语义分割时，除获得人脸热力图之外，还获得标签信息。基于标签信息可以区分人脸热力图中的不同人脸。结合人脸热力图和标签信息可以识别人脸图像中的每个人脸所在的位置。因此，根据本发明实施例的图像处理方法在实现针对人脸的语义分割的同时，还可以将不同的人脸准确地区分开，该方法可以很好地解决多个人脸重叠时无法区分的问题，能够实现针对单个人脸的人脸语义分割。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的图像处理方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的图像处理方法的示意性流程图；

图3示出根据本发明一个实施例的语义分割网络的网络结构示意图；

图4示出根据本发明一个实施例的人脸热力图的示意图；

图5示出根据本发明一个实施例的对象热力图的示意图；

图6示出根据本发明一个实施例的图像处理装置的示意性框图；以及

图7示出根据本发明一个实施例的图像处理系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

本发明实施例提供了一种图像处理方法、装置和系统以及存储介质。根据本发明实施例，在对人脸图像进行人脸语义分割时，除获得人脸热力图之外，还获得标签信息。基于标签信息可以区分人脸热力图中的不同人脸。结合人脸热力图和标签信息可以识别人脸图像中的每个人脸所在的位置。根据本发明实施例的图像处理方法和装置可以应用于任何需要对人脸进行识别的领域。

首先，参照图1来描述用于实现根据本发明实施例的图像处理方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列

(FPGA)、可编程逻辑阵列(PLA)、微处理器中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。

所述图像采集装置110可以采集人脸图像，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集人脸图像，并将采集的图像发送给电子设备100。

示例性地，用于实现根据本发明实施例的图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的图像处理方法。图2示出根据本发明一个实施例的图像处理方法200的示意性流程图。如图2所示，图像处理方法200包括以下步骤S210、S220和S230。

在步骤S210，获取人脸图像。

人脸图像可以是任何包含人脸的图像。人脸图像可以是静态图像，也可以是视频中的视频帧。人脸图像可以是图像采集装置采集到的原始图像，也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。

在步骤S220，对人脸图像进行人脸语义分割，以获得用于指示人脸图像中的人脸所在位置的人脸热力图和用于指示人脸图像中的不同像素是否属于同一人脸的标签信息。

根据本发明实施例，步骤S220可以包括：将人脸图像输入语义分割网络，以获得人脸热力图和标签信息。

示例性地，人脸语义分割可以采用语义分割网络实现。语义分割网络可以是任何合适的神经网络，例如全卷积网络。例如，可以将人脸图像输入语义分割网络，语义分割网络输出一张人脸热力图，人脸热力图中的响应区域即为人脸区域。示例性地，可以将人脸图像提取为张量的形式，获得图像张量，该图像张量可以代表人脸图像。将人脸图像输入语义分割网络，可以是将上述图像张量输入语义分割网络。

图3示出根据本发明一个实施例的语义分割网络的网络结构示意图。如图3所示，语义分割网络可以包括卷积层、池化层、卷积层、池化层、上采样层、卷积层、上采样层、卷积层这样的网络结构。示例性地，池化层可以是平均池化层。图3所示的网络结构仅是示例，语义分割网络可以具有任何合适的网络结构，其可以根据需要设定。

如图3所示，输入图像(例如上述人脸图像)输入第一个卷积层，随后通过卷积、池化层后，再通过上采样和卷积层，最终可以得到两个输出，即热力图(即人脸热力图)和标签信息。

图3示出根据本发明一个实施例的人脸热力图的示意图。如图3所示，在人脸热力图中，人脸(主要是人脸皮肤)所在的像素为白色(例如像素的像素值为1)，其余位置的像素均为黑色(例如像素的像素值为0)。从人脸热力图上，可以非常简单地识别出人脸所在的位置。当人脸图像中存在重叠的人脸时，可能无法直接通过热力图区分彼此，此时可以利用其他信息(例如本文所述标签信息)辅助区分不同人脸。需注意，人脸热力图与原始的人脸图像的尺寸可以相等，也可以不等。人脸热力图可以具有任意合适的尺寸，其可以根据需要设定，本发明不对此进行限制。例如，原始的人脸图像的尺寸可以是300像素×300像素，人脸热力图的尺寸可以是200像素×200像素，虽然人脸热力图比原始的人脸图像小，但是其仍然可以反映各人脸在原始的人脸图像上的位置。

示例性地，人脸热力图中的每个像素的像素值可以用于指示人脸图像中的对应像素属于人脸的概率。人脸热力图中的每个像素可以与人脸图像中的一个或多个像素对应。人脸热力图与人脸图像的尺寸相等时，人脸热力图中的每个像素可以与人脸图像中的一个像素对应。人脸热力图与人脸图像的尺寸不相等时，人脸热力图中的每个像素可以与人脸图像中的多个像素组成的图像块对应。

在一个示例中，标签信息可以仅包括一个图像，称为标签信息图。与人脸热力图类似地，标签信息图中的每个像素可以与人脸图像中的一个或多个像素相对应。标签信息图中的像素值一致的像素可以用于指示人脸图像中的对应像素属于同一人脸，反之，标签信息图中的像素值不一致的像素可以用于指示人脸图像中的对应像素不属于同一人脸。标签信息图与人脸图像的尺寸相等时，标签信息图中的每个像素可以与人脸图像中的一个像素对应。标签信息图与人脸图像的尺寸不相等时，标签信息图中的每个像素可以与人脸图像中的多个像素组成的图像块对应。

在另一个示例中，标签信息可以包括至少两个图像，将该至少两个图像结合起来可以判断人脸图像中哪些像素属于同一人脸。

标签信息并不局限于图像的形式，其可以是任意形式的数据，只要根据标签信息能够区分开人脸热力图上的不同人脸即可。

例如，人脸热力图的尺寸可以与输入图像等大，占据一个信道。示例性地，如果人脸热力图的某个像素的像素值大于0.5(该阈值可以任意设定)，则可以确定人脸图像上的、与该像素相对应的像素属于人脸，反之，如果人脸热力图的某个像素的像素值不大于0.5，则可以确定人脸图像上的、与该像素相对应的像素不属于人脸。标签信息可以包括一个标签信息图，标签信息图的尺寸可以与输入图像等大，占据一个信道。示例性地，如果标签信息图中的某两个像素的像素值一致(例如都是0.3)，则可以确定这两个像素属于同一张人脸，反之，如果标签信息图中的某两个像素的像素值不一致，则可以确定这两个像素不属于同一张人脸。应理解，本文所述的标签信息图的两个像素的像素值一致，并不一定要求两个像素的像素值完全相等，二者可以具有一定的差距，例如，如果该差距在预设的差距阈值内则可认为两个像素的像素值一致。

在步骤S230，基于标签信息和人脸热力图区分人脸热力图中的不同人脸。

由于人脸热力图与人脸图像具有像素对应关系，因此根据标签信息可以确定人脸热力图上哪些像素属于同一人脸。将人脸热力图和标签信息结合，可以得到每张人脸在人脸热力图上所占据的区域。

示例性地，标签信息包括至少两个图像，步骤S230可以包括：将至少两个图像结合，并基于结合后的图像区分人脸热力图中的不同人脸。

如上文所述，标签信息可以包括至少两个图像，将该至少两个图像结合起来可以判断人脸图像中哪些像素属于同一人脸。示例性地，至少两个图像中的任意两个图像具有像素对应关系，将至少两个图像结合可以包括：将至少两个图像的对应像素的像素值相加，以获得结合后的图像。例如，至少两个图像的数目是两个，并且这两个图像的尺寸相等。可以将第一个图像的第一个像素的像素值与第二个图像的第一个像素的像素值相加，获得的数值作为结合后的图像的第一个像素的像素值，将第一个图像的第二个像素的像素值与第二个图像的第二个像素的像素值相加，获得的数值作为结合后的图像的第二个像素的像素值，以此类推。示例性地，将上述至少两个图像进行结合所获得的结合后的图像可以是诸如上述标签信息图的图像，即，结合后的图像中的像素值一致的像素可以用于指示人脸图像中的对应像素属于同一人脸，反之，结合后的图像中的像素值不一致的像素可以用于指示人脸图像中的对应像素不属于同一人脸。可以参考以上关于标签信息图的描述来理解结合后的图像，此处不再赘述。

根据本发明实施例的图像处理方法，在对人脸图像进行人脸语义分割时，除获得人脸热力图之外，还获得标签信息。基于标签信息可以区分人脸热力图中的不同人脸。结合人脸热力图和标签信息可以识别人脸图像中的每个人脸所在的位置。因此，根据本发明实施例的图像处理方法在实现针对人脸的语义分割的同时，还可以将不同的人脸准确地区分开，该方法可以很好地解决多个人脸重叠时无法区分的问题，能够实现针对单个人脸的人脸语义分割。

示例性地，根据本发明实施例的图像处理方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的图像处理方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的图像处理方法还可以分布地部署在服务器端和客户端处。例如，可以在客户端获取人脸图像(例如在图像采集端采集人脸图像)，客户端将获取的图像传送给服务器端(或云端)，由服务器端(或云端)进行图像处理。

在进行人脸识别之前对人脸遮挡状态进行预判断，可以减小人脸识别的难度，提高人脸识别的效率。传统的判断人脸遮挡状态的方式相当于黑名单机制，做法是穷尽各种遮挡情况，例如眼镜遮挡、口罩遮挡、电线杆遮挡、人流密集时人挡人等。此外，传统的遮挡判断方法需要对每种遮挡情况训练一种神经网络进行分类，而神经网络的训练会导致极大的计算资源消耗，并且难以同时收集足够多遮挡情形的数据来训练。因此，传统的遮挡判断方法消耗的计算资源较大，同时难以获得理想的遮挡判断结果。为解决现有方法带来的局限，本发明实施例采用语义分割(Instance Segmentation)来判断人脸遮挡状态。

人脸语义分割方式获得人脸热力图，从人脸热力图中可以获知各人脸的位置。本领域技术人员可以理解，如果人脸的一部分被遮挡，则其呈现在热力图中时将是不完整的、有缺失的人脸。因此，可以利用目标人脸在人脸热力图中呈现的状态来判断目标人脸是否被遮挡。基于人脸语义分割来判断人脸遮挡状态的方式无需穷举遮挡情况，也无需针对不同遮挡情况训练多种不同的神经网络，因此消耗的计算资源少，遮挡判断的效果好。下面描述基于人脸语义分割结果进行人脸遮挡判断的实施例。

根据本发明实施例，图像处理方法200还可以包括：基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡。

图5示出根据本发明一个实施例的对象(即人)热力图的示意图。获取对象热力图的方式与获取人脸热力图类似。在图5所示的对象热力图中，存在三个人，其中的任一人的人脸均可以作为目标人脸。如上文所述，如果人脸的一部分被遮挡，则其呈现在热力图中时将是不完整的、有缺失的人脸。因此，可以利用目标人脸在人脸热力图中呈现的状态来判断目标人脸是否被遮挡。

示例性地，基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡可以包括：基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域；基于目标热力图区域判断目标人脸是否被遮挡。

当人脸图像中存在多个人脸时，通过人脸语义分割，可以区分每个人脸。如上文描述的，可以结合标签信息和人脸热力图将人脸图像中的不同人脸区分开并且可以确定每个人脸的位置。参见图5，可以将三个人的人脸区分开。假设目标人脸为最左侧的人脸，则可以将图5所示的人脸热力图中包含最左侧的人脸的图像块(即目标热力图)提取出来，进而基于提取出的图像块判断目标人脸是否被遮挡。

在一个示例中，可以直接从人脸热力图中提取目标热力图区域，并对提取出的目标热力图区域进行后续的处理，以判断目标人脸是否被遮挡。

在另一个示例中，可以首先将人脸热力图进行一定的转换处理，使其尺寸满足要求，进而从转换热力图中提取目标热力图区域，并对提取出的目标热力图区域进行后续的处理，以判断目标人脸是否被遮挡。例如，在人脸热力图与原始的人脸图像的尺寸不相等的情况下，可以考虑首先将人脸热力图恢复成原始的人脸图像的尺寸，随后从获得的转换热力图中提取目标热力图区域。

对人脸热力图进行转换可以通过插值和/或缩放的方式实现，也就是说，图像处理方法200还可以包括：对人脸热力图进行插值和/或缩放，以获得转换热力图。例如，原始的人脸图像的尺寸是300像素×300像素，人脸热力图的尺寸是200像素×200像素，可以将人脸热力图插值成300像素×300像素大小的图像，或者可以将人脸热力图直接缩放到300像素×300像素大小。上述通过插值和缩放的方式对人脸热力图进行转换仅是示例而非对本发明的限制，可以采用任何合适的方式对人脸热力图进行转换，以获得所需的转换热力图。

在上述实施例中，通过人脸语义分割来判断人脸遮挡状态。与现有的遮挡判断方法相比，本发明实施例提供的方法消耗的计算资源少，遮挡判断的效果好，可以有效地提高人脸识别效率。

根据本发明实施例，基于目标热力图区域判断目标人脸是否被遮挡可以包括：计算目标热力图区域中的目标人脸与标准人脸热力图中的标准人脸之间的相似度；将相似度与相似度阈值相比较，如果相似度大于相似度阈值，则确定目标人脸未被遮挡，否则确定目标人脸被遮挡。

标准人脸热力图可以是预先准备好的。示例性地，标准人脸热力图以图像形式呈现时的结果可以类似于图3，即标准人脸所在的像素可以具有第一像素值(例如1)，其余像素可以具有第二像素值(例如0)。示例性地，标准人脸热力图中的标准人脸是椭圆形的，而目标热力图中的目标人脸由于被某些物体遮挡而被识别为其他形状(例如方形、不完整的椭圆形、或半圆形等)，则标准人脸与目标人脸之间的相似度会比较小。因此，可以用标准人脸和目标人脸之间的相似度判断目标人脸是否被遮挡，如果二者的相似度小于大于一定阈值，则认为目标人脸未被遮挡，否则认为其被遮挡。相似度阈值可以是任何合适的数值，其可以根据需要设定，本发明不对此进行限制。

根据本发明实施例，基于目标热力图区域判断目标人脸是否被遮挡可以包括：将目标热力图区域输入遮挡判断网络，以获得用于指示目标人脸是否被遮挡的目标遮挡结果。

遮挡判断网络可以是任何合适的神经网络，例如卷积神经网络。遮挡判断网络可以包括一个或多个子神经网络。每个子神经网络可以包括依次连接的特征提取网络以及分类网络。特征提取网络用于提取目标热力图区域的图像特征。例如，特征提取网络可以包括特定数目的卷积层和池化层，特征提取网络可以输出若干特征图(feature map)作为图像特征。分类网络用于接收图像特征，并基于图像特征预测目标人脸被任意遮挡物或某些预定遮挡物遮挡的概率和/或目标人脸未被任意遮挡物或某些预定遮挡物遮挡的概率。示例性地，分类网络可以包括全连接层。

特征提取网络以及分类网络的网络结构可以预先设定，并且可以随着整个遮挡判断网络的训练进行调整。例如，特征提取网络的卷积层的数目、池化层的数目、卷积层和池化层的连接顺序、每个卷积层的卷积核的长和宽、每个池化层的步长等数据均可以调整。

为与下文所述的训练过程中的样本人脸的遮挡结果进行区分，可以将目标人脸的遮挡结果称为目标遮挡结果。

根据本发明一个实施例，目标遮挡结果可以包括目标人脸被遮挡的概率和/或目标人脸未被遮挡的概率。在本实施例中，遮挡判断网络用于预测目标人脸被任意遮挡物遮挡的概率和/或未被任意遮挡物遮挡的概率。也就是说，遮挡判断网络用于执行二分类任务。例如，遮挡判断网络输出的结果(即目标遮挡结果)可以是在[0,1]范围内的任意数值，目标遮挡结果的值越接近1，说明目标人脸被遮挡的概率越大。可以理解，目标人脸被任意遮挡物遮挡的概率与未被任意遮挡物遮挡的概率之和为1，遮挡判断网络输出的可以是这两种概率中的任何一者或两者。

根据本发明另一个实施例，目标遮挡结果可以包括目标人脸分别被n种预定遮挡物遮挡的概率和/或目标人脸分别未被n种预定遮挡物遮挡的概率，n≥1。预定遮挡物可以是任何物体，例如眼镜、口罩、帽子、电线杆、人脸、头发等等。可以对实现上述二分类任务(判断是否被任意遮挡物遮挡)的遮挡判断网络的网络结构进行改进，使其具有更多可解释性，能够应用于不同的遮挡情况，例如口罩遮挡、太阳镜遮挡等，从而满足不同的情景需求。

在本实施例中，遮挡判断网络用于预测目标人脸分别被n种预定遮挡物遮挡的概率和/或目标人脸分别未被n种预定遮挡物遮挡的概率。也就是说，遮挡判断网络可以用于执行多分类任务。例如，遮挡判断网络输出的结果(即目标遮挡结果)可以是n维向量，每个维度为在[0,1]范围内的任意数值，用于表示目标人脸被该维度所对应的遮挡物遮挡的概率，每个维度的值越接近1，说明目标人脸被该维度所对应的遮挡物遮挡的概率越大。

利用遮挡判断网络预测人脸被遮挡的状态，一方面能够有效地得到图像中的信息，能够细致地对不同情形(例如不同遮挡物)的遮挡进行分类，并且能够抵抗一些特定形状物体的干扰；另一方面神经网络具有模型小、处理速度快的特点，神经网络一旦训练完成，投入实际使用的时候，消耗的计算资源少，可以进一步有效地提高人脸识别效率。

根据本发明一个实施例，遮挡判断网络可以包括单独的子神经网络，基于目标热力图区域判断目标人脸是否被遮挡可以包括：将目标热力图区域输入子神经网络，以获得子神经网络输出的目标人脸分别被n种预定遮挡物遮挡的概率和/或目标人脸分别未被n种预定遮挡物遮挡的概率。

所述单独的子神经网络可以用于预测目标人脸分别被n种预定遮挡物遮挡的概率和/或目标人脸分别未被n种预定遮挡物遮挡的概率。可以采用一个单独的子神经网络实现多分类功能，即采用共同的子神经网络同时判断目标人脸被各不同遮挡物遮挡的概率。在很多情形下，人脸被遮挡的方式多种多样，例如眼镜遮挡、口罩遮挡、电线杆遮挡、人流密集时人挡人等，针对每种遮挡情况训练一个神经网络的话可能会导致极大的计算资源消耗。因此，采用同一神经网络实现多种遮挡情况的判断的方式可以进一步节省计算资源。

根据本发明另一个实施例，n≥2，遮挡判断网络包括m个子神经网络，m个子神经网络中的每一个与n种预定遮挡物中的至少一种相对应，2≤m≤n，基于目标热力图区域判断目标人脸是否被遮挡可以包括：将目标热力图区域分别输入m个子神经网络，以获得m个子神经网络中的每一个输出的、目标人脸分别被与该子神经网络相对应的至少一种预定遮挡物遮挡的概率和/或目标人脸分别未被与该子神经网络相对应的至少一种预定遮挡物遮挡的概率。

m个子神经网络中的每一个用于预测目标人脸被对应的预定遮挡物遮挡的概率和/或目标人脸未被对应的预定遮挡物遮挡的概率。示例性地，可以采用多个子神经网络作为遮挡判断网络，其中每个子神经网络均执行二分类任务，即仅判断目标人脸是否被某一预定遮挡物遮挡。此外，在遮挡判断网络中，可以有部分子神经网络执行二分类任务，判断目标人脸是否被某一预定遮挡物遮挡，另外一部分子神经网络执行多分类任务，判断目标人脸是否被多种预定遮挡物遮挡。因此，m可以小于或等于n。采用不同子神经网络实现多种遮挡情况的判断的方式可以提高分类的准确度，也就是可以提高遮挡判断的准确度。

根据本发明实施例，n≥2，遮挡判断网络包括特征提取网络和k个分类网络，k个分类网络中的每一个与n种预定遮挡物中的至少一种相对应，2≤k≤n，基于目标热力图区域判断目标人脸是否被遮挡可以包括：将目标热力图区域输入特征提取网络，以提取人脸图像的图像特征；以及将图像特征分别输入k个分类网络，以获得k个分类网络中的每一个输出的、目标人脸分别被与该分类网络相对应的至少一种预定遮挡物遮挡的概率和/或目标人脸分别未被与该分类网络相对应的至少一种预定遮挡物遮挡的概率。

如上文所述，特征提取网络可以包括特定数目的卷积层和池化层，特征提取网络可以输出若干特征图(feature map)作为图像特征。特征提取网络的参数可以由n个预定遮挡物的遮挡判断流程共享。可以基于特征提取网络输出的图像特征预测目标人脸分别被n种预定遮挡物遮挡的概率和/或目标人脸分别未被n种预定遮挡物遮挡的概率。在一个示例中，k个分类网络中的每个分类网络均执行二分类任务，即仅判断目标人脸是否被某一预定遮挡物遮挡。在另一个示例中，k个分类网络中，可以有部分分类网络执行二分类任务，判断目标人脸是否被某一预定遮挡物遮挡，另外一部分分类网络执行多分类任务，判断目标人脸是否被多种预定遮挡物遮挡。因此，k可以小于或等于n。与上述采用m个子神经网络作为遮挡判断网络的方式相比，不同遮挡物的遮挡判断流程共享图像特征的方式可以减少神经网络的参数量，提高计算效率。

根据本发明实施例，基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域包括：基于标签信息确定目标人脸在人脸热力图或转换热力图中的位置；以及根据确定的位置从人脸热力图或转换热力图中提取目标热力图区域。

上文已经描述了标签信息，本领域技术人员可以根据上文描述理解如何基于标签信息确定目标人脸在人脸热力图中的位置，此处不再赘述。转换热力图由人脸热力图转换而来，二者之间具有像素对应关系，因此基于标签信息还可以进一步确定目标人脸在转换热力图中的位置。确定目标人脸在人脸热力图或转换热力图中的位置之后，可以从人脸热力图或转换热力图中提取包含目标对象的图像块作为目标热力图区域。

在采用遮挡判断网络和/或语义分割网络的情况下，可以预先对遮挡判断网络和/或语义分割网络进行训练，本领域技术人员可以理解这些网络的训练方式，本文不对此进行赘述。

根据本发明另一方面，提供一种图像处理装置。图6示出了根据本发明一个实施例的图像处理装置600的示意性框图。

如图6所示，根据本发明实施例的图像处理装置600包括获取模块610、语义分割模块620和区分模块630。所述各个模块可分别执行上文中结合图2-5描述的图像处理方法的各个步骤/功能。以下仅对该图像处理装置600的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

获取模块610用于获取人脸图像。获取模块610可以由图1所示的电子设备中的处理器102运行存储装置106中存储的程序指令来实现。

语义分割模块620用于对所述人脸图像进行人脸语义分割，以获得用于指示所述人脸图像中的人脸所在位置的人脸热力图和用于指示人脸图像中的不同像素是否属于同一人脸的标签信息。语义分割模块620可以由图1所示的电子设备中的处理器102运行存储装置106中存储的程序指令来实现。

区分模块630用于基于标签信息和人脸热力图区分人脸热力图中的不同人脸。区分模块630可以由图1所示的电子设备中的处理器102运行存储装置106中存储的程序指令来实现。

示例性地，标签信息包括标签信息图，标签信息图中的每个像素与人脸图像中的一个或多个像素相对应，标签信息图中的像素值一致的像素用于指示人脸图像中的对应像素属于同一人脸。

示例性地，标签信息包括至少两个图像，区分模块630具体用于：将至少两个图像结合，并基于结合后的图像区分人脸热力图中的不同人脸。

示例性地，图像处理装置600还包括：判断模块(未示出)，用于基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡。

示例性地，判断模块具体用于：基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域；基于目标热力图区域判断目标人脸是否被遮挡。

示例性地，图像处理装置600还包括：转换模块(未示出)，用于对人脸热力图进行插值和/或缩放，以获得转换热力图。

示例性地，区分模块630具体用于：计算目标热力图区域中的目标人脸与标准人脸热力图中的标准人脸之间的相似度；将相似度与相似度阈值相比较，如果相似度大于相似度阈值，则确定目标人脸未被遮挡，否则确定目标人脸被遮挡。

示例性地，区分模块630具体用于：将目标热力图区域输入遮挡判断网络，以获得用于指示目标人脸是否被遮挡的目标遮挡结果。

示例性地，目标遮挡结果包括目标人脸被遮挡的概率。

示例性地，目标遮挡结果包括目标人脸分别被至少一种预定遮挡物遮挡的概率。

示例性地，区分模块630具体用于：基于标签信息确定目标人脸在人脸热力图或转换热力图中的位置；以及根据确定的位置从人脸热力图或转换热力图中提取目标热力图区域。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图7示出了根据本发明一个实施例的图像处理系统700的示意性框图。图像处理系统700包括图像采集装置710、存储装置(即存储器)720、以及处理器730。

所述图像采集装置710用于采集人脸图像。图像采集装置710是可选的，图像处理系统700可以不包括图像采集装置710。在这种情况下，可以利用其他图像采集装置采集人脸图像，并将采集的图像发送给图像处理系统700。

所述存储装置720存储用于实现根据本发明实施例的图像处理方法中的相应步骤的计算机程序指令。

所述处理器730用于运行所述存储装置720中存储的计算机程序指令，以执行根据本发明实施例的图像处理方法的相应步骤。

在一个实施例中，所述计算机程序指令被所述处理器730运行时用于执行以下步骤：获取人脸图像；对人脸图像进行人脸语义分割，以获得用于指示人脸图像中的人脸所在位置的人脸热力图和用于指示人脸图像中的不同像素是否属于同一人脸的标签信息；以及基于标签信息和人脸热力图区分人脸热力图中的不同人脸。

示例性地，标签信息包括标签信息图，标签信息图中的每个像素与人脸图像中的一个或多个像素相对应，标签信息图中的像素值一致的像素用于指示人脸图像中的对应像素属于同一人脸。

示例性地，标签信息包括至少两个图像，所述计算机程序指令被所述处理器730运行时所用于执行的基于标签信息和人脸热力图区分人脸热力图中的不同人脸的步骤包括：将至少两个图像结合，并基于结合后的图像区分人脸热力图中的不同人脸。

示例性地，所述计算机程序指令被所述处理器730运行时还用于执行以下步骤：基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡的步骤包括：基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域；基于目标热力图区域判断目标人脸是否被遮挡。

示例性地，所述计算机程序指令被所述处理器730运行时还用于执行以下步骤：对人脸热力图进行插值和/或缩放，以获得转换热力图。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的基于目标热力图区域判断目标人脸是否被遮挡的步骤包括：计算目标热力图区域中的目标人脸与标准人脸热力图中的标准人脸之间的相似度；将相似度与相似度阈值相比较，如果相似度大于相似度阈值，则确定目标人脸未被遮挡，否则确定目标人脸被遮挡。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的基于目标热力图区域判断目标人脸是否被遮挡的步骤包括：将目标热力图区域输入遮挡判断网络，以获得用于指示目标人脸是否被遮挡的目标遮挡结果。

示例性地，目标遮挡结果包括目标人脸被遮挡的概率。

示例性地，目标遮挡结果包括目标人脸分别被至少一种预定遮挡物遮挡的概率。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域的步骤包括：基于标签信息确定目标人脸在人脸热力图或转换热力图中的位置；以及根据确定的位置从人脸热力图或转换热力图中提取目标热力图区域。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的图像处理装置的各个功能模块，并和/或者可以执行根据本发明实施例的图像处理方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：获取人脸图像；对人脸图像进行人脸语义分割，以获得用于指示人脸图像中的人脸所在位置的人脸热力图和用于指示人脸图像中的不同像素是否属于同一人脸的标签信息；以及基于标签信息和人脸热力图区分人脸热力图中的不同人脸。

示例性地，标签信息包括标签信息图，标签信息图中的每个像素与人脸图像中的一个或多个像素相对应，标签信息图中的像素值一致的像素用于指示人脸图像中的对应像素属于同一人脸。

示例性地，标签信息包括至少两个图像，所述程序指令在运行时所用于执行的基于标签信息和人脸热力图区分人脸热力图中的不同人脸的步骤包括：将至少两个图像结合，并基于结合后的图像区分人脸热力图中的不同人脸。

示例性地，所述程序指令在运行时还用于执行以下步骤：基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡。

示例性地，所述程序指令在运行时所用于执行的基于人脸热力图和标签信息判断人脸图像中的目标人脸是否被遮挡的步骤包括：基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域；基于目标热力图区域判断目标人脸是否被遮挡。

示例性地，程序指令在运行时还用于执行以下步骤：对人脸热力图进行插值和/或缩放，以获得转换热力图。

示例性地，所述程序指令在运行时所用于执行的基于目标热力图区域判断目标人脸是否被遮挡的步骤包括：计算目标热力图区域中的目标人脸与标准人脸热力图中的标准人脸之间的相似度；将相似度与相似度阈值相比较，如果相似度大于相似度阈值，则确定目标人脸未被遮挡，否则确定目标人脸被遮挡。

示例性地，所述程序指令在运行时所用于执行的基于目标热力图区域判断目标人脸是否被遮挡的步骤包括：将目标热力图区域输入遮挡判断网络，以获得用于指示目标人脸是否被遮挡的目标遮挡结果。

示例性地，目标遮挡结果包括目标人脸被遮挡的概率。

示例性地，目标遮挡结果包括目标人脸分别被至少一种预定遮挡物遮挡的概率。

示例性地，所述程序指令在运行时所用于执行的基于标签信息，从人脸热力图或对人脸热力图进行转换获得的转换热力图中提取包含目标人脸的目标热力图区域的步骤包括：基于标签信息确定目标人脸在人脸热力图或转换热力图中的位置；以及根据确定的位置从人脸热力图或转换热力图中提取目标热力图区域。

根据本发明实施例的图像处理系统中的各模块可以通过根据本发明实施例的实施图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像处理装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，包括：

获取人脸图像；

对所述人脸图像进行人脸语义分割，以获得用于指示所述人脸图像中的人脸所在位置的人脸热力图和用于指示所述人脸图像中的不同像素是否属于同一人脸的标签信息；以及

基于所述标签信息和所述人脸热力图区分所述人脸热力图中的不同人脸。

2.如权利要求1所述的方法，其中，所述标签信息包括标签信息图，所述标签信息图中的每个像素与所述人脸图像中的一个或多个像素相对应，所述标签信息图中的像素值一致的像素用于指示所述人脸图像中的对应像素属于同一人脸。

3.如权利要求1所述的方法，其中，所述标签信息包括至少两个图像，所述基于所述标签信息和所述人脸热力图区分所述人脸热力图中的不同人脸包括：

将所述至少两个图像结合，并基于结合后的图像区分所述人脸热力图中的不同人脸。

4.如权利要求1所述的方法，其中，所述方法还包括：

基于所述人脸热力图和所述标签信息判断所述人脸图像中的目标人脸是否被遮挡。

5.如权利要求4所述的方法，其中，所述基于所述人脸热力图和所述标签信息判断所述人脸图像中的目标人脸是否被遮挡包括：

基于所述标签信息，从所述人脸热力图或对所述人脸热力图进行转换获得的转换热力图中提取包含所述目标人脸的目标热力图区域；

基于所述目标热力图区域判断所述目标人脸是否被遮挡。

6.如权利要求5所述的方法，其中，所述方法还包括：

对所述人脸热力图进行插值和/或缩放，以获得所述转换热力图。

7.如权利要求5所述的方法，其中，所述基于所述目标热力图区域判断所述目标人脸是否被遮挡包括：

计算所述目标热力图区域中的所述目标人脸与标准人脸热力图中的标准人脸之间的相似度；

将所述相似度与相似度阈值相比较，如果所述相似度大于所述相似度阈值，则确定所述目标人脸未被遮挡，否则确定所述目标人脸被遮挡。

8.如权利要求5所述的方法，其中，所述基于所述目标热力图区域判断所述目标人脸是否被遮挡包括：

将所述目标热力图区域输入遮挡判断网络，以获得用于指示所述目标人脸是否被遮挡的目标遮挡结果。

9.如权利要求8所述的方法，其中，所述目标遮挡结果包括所述目标人脸被遮挡的概率。

10.如权利要求8所述的方法，其中，所述目标遮挡结果包括所述目标人脸分别被至少一种预定遮挡物遮挡的概率。

11.如权利要求5所述的方法，其中，所述基于所述标签信息，从所述人脸热力图或对所述人脸热力图进行转换获得的转换热力图中提取包含所述目标人脸的目标热力图区域包括：

基于所述标签信息确定所述目标人脸在所述人脸热力图或所述转换热力图中的位置；以及

根据确定的位置从所述人脸热力图或所述转换热力图中提取所述目标热力图区域。

12.一种图像处理装置，包括：

获取模块，用于获取人脸图像；以及

语义分割模块，用于对所述人脸图像进行人脸语义分割，以获得用于指示所述人脸图像中的人脸所在位置的人脸热力图和用于指示所述人脸图像中的不同像素是否属于同一人脸的标签信息；

区分模块，用于基于所述标签信息和所述人脸热力图区分所述人脸热力图中的不同人脸。

13.一种图像处理系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至11任一项所述的图像处理方法。

14.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至11任一项所述的图像处理方法。