CN113610865B - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法包括：从图像序列中获取关键帧图像，并生成所述关键帧图像对应的第一头发抠图结果，所述第一头发抠图结果用于表征所述关键帧图像中头发区域的位置信息；确定所述图像序列中的当前帧图像与所述关键帧图像之间的相对运动信息；根据所述相对运动信息对所述第一头发抠图结果进行变换，得到所述当前帧图像对应的第二头发抠图结果，所述第二头发抠图结果用于表征所述当前帧图像中头发区域的位置信息。上述的图像处理方法、装置、电子设备及计算机可读存储介质，能够准确得到图像序列中各帧图像中头发区域的位置信息，且降低了计算量，提高了图像处理效率。

Description

图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及影像技术领域，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

在影像技术领域中，对于图像中的前景区域及背景区域进行分离是经常使用的一种图像处理过程。对于包含有人物的人物图像，在识别人像图像中前景的人像区域时，由于人的头发细节较多，容易导致出现前景的人像区域识别不准确的情况。如何准确识别出人物图像中的头发区域成了亟需解决的技术问题。

发明内容

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够准确得到图像序列中各帧图像中头发区域的位置信息，且降低了计算量，提高了图像处理效率。

本申请实施例公开了一种图像处理方法，包括：

从图像序列中获取关键帧图像，并生成所述关键帧图像对应的第一头发抠图结果，所述第一头发抠图结果用于表征所述关键帧图像中头发区域的位置信息；

确定所述图像序列中的当前帧图像与所述关键帧图像之间的相对运动信息；

根据所述相对运动信息对所述第一头发抠图结果进行变换，得到所述当前帧图像对应的第二头发抠图结果，所述第二头发抠图结果用于表征所述当前帧图像中头发区域的位置信息。

本申请实施例公开了一种图像处理装置，包括：

抠图模块，用于从图像序列中获取关键帧图像，并生成所述关键帧图像对应的第一头发抠图结果，所述第一头发抠图结果用于表征所述关键帧图像中头发区域的位置信息；

运动确定模块，用于确定所述图像序列中的当前帧图像与所述关键帧图像之间的相对运动信息；

变换模块，用于根据所述相对运动信息对所述第一头发抠图结果进行变换，得到所述当前帧图像对应的第二头发抠图结果，所述第二头发抠图结果用于表征所述当前帧图像中头发区域的位置信息。

本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质，从图像序列中获取关键帧图像，并生成该关键帧图像对应的第一头发抠图结果，确定图像序列中的当前帧图像与关键帧图像之间的相对运动信息，并根据该相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果，能够基于当前帧图像与关键帧图像之间的相对运动信息以及关键帧的第一头发抠图结果准确得到当前帧图像的第二头发抠图结果，从而可精准确定图像序列中的各帧图像中头发区域的位置信息，提高了图像序列的人像区域识别的精确度。此外，只需要对关键帧图像进行头发的抠图处理，能够降低计算量，提高图像处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的框图；

图2为一个实施例中图像处理方法的流程图；

图3为另一个实施例中图像处理方法的流程图；

图4A为一个实施例中头部感兴趣区域的示意图；

图4B为一个实施例中头部的三维空间的示意图；

图5A为一个实施例中头部区域的示意图；

图5B为一个实施例中关键帧图像的头部区域与当前帧图像的头部区域之间的非重合区域的示意图；

图6为一个实施例中对当前帧图像进行虚化处理的示意图；

图7为一个实施例中图像处理装置的框图；

图8为一个实施例中电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一人像分割结果称为第二人像分割结果，且类似地，可将第二人像分割结果称为第一人像分割结果。第一人像分割结果和第二人像分割结果两者都是人像分割结果，但其不是同一人像分割结果。

本申请实施例提供一种电子设备。该电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本申请实施例相关的图像处理技术的各个方面。

电子设备在对图像进行处理时，通常需要先区分图像中的前景区域及背景区域，再进一步针对该前景区域和/或背景区域进行处理(如图像虚化、人物美白、亮度调节、去雾处理等)。对于包含有人物的人物图像，由于人的头发细节较多，在识别人像图像中前景的人像区域时，容易导致出现前景的人像区域识别不准确的情况。为了解决该问题，在相关的技术中会对人物图像进行人物分割处理及头发的抠图处理，再结合人物分割结果及头发抠图结果共同确定前景的人物区域，从而提高前景人物区域识别的准确性。

对于包含有多帧图像的图像序列(例如通过摄像头采集的预览图像序列或视频等)，若是针对图像序列中的每帧图像都进行人物分割处理及头发的抠图处理，会导致电子设备的计算量增加，增加电子设备的功耗，且会影响电子设备的图像处理效率。

在本申请实施例中，提供一种图像处理方法、装置、电子设备及计算机可读存储介质，能够准确得到图像序列中各帧图像中头发区域的位置信息，且降低了计算量，提高了图像处理效率。

本申请实施例提供一种电子设备，该电子设备可包括但不限于手机、智能可穿戴设备、平板电脑、PC(Personal Computer，个人计算机)、车载终端、数码相机等，本申请实施例对此不作限定。该电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

需要说明的是，虽然图1中仅示出了一个成像设备110，但是在本申请实施例中，可包括至少两个成像设备110，每个成像设备110可分别对应一个图像传感器114，也可多个成像设备110对应一个图像传感器114，在此不作限定。每个成像设备110的工作过程可参照上述所描述的内容。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

示例性地，结合图1的图像处理电路，对本申请实施例所提供的图像处理方法进行说明。ISP处理器140可从成像设备110或图像存储器130中获取图像序列，其中，图像序列可包括多帧(指两帧或两个以上)图像，ISP处理器140可对该图像序列中包含的各帧图像进行处理，确定各帧图像中头发区域的位置信息。ISP处理器可从图像序列中获取关键帧图像，并生成该关键帧图像对应的第一头发抠图结果，该第一头发抠图结果用于表征关键帧图像中头发区域的位置信息。ISP处理器140在对当前帧图像进行处理时，可确定图像序列中的当前帧图像与该关键帧图像之间的相对运动信息，并根据该相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果，从而确定当前帧中头发区域的位置信息。

在一些实施例中，ISP处理器140在得到当前帧图像对应的第二头发抠图结果后，可根据该第二头发抠图结果精准地确定当前帧图像中的前景人像区域的位置信息，通过该前景人像区域的位置信息可区分当前帧图像的前景人像区域及背景区域，并可进一步基于该前景人像区域的位置信息对当前帧图像进行处理，例如，可基于该前景人像区域的位置信息对当前帧图像的背景区域进行虚化处理，对前景人像区域进行人物美化处理(如美白处理、塑形处理等)，或是调整前景人像区域的亮度等，但不限于此。

如图2所示，在一个实施例中，提供一种图像处理方法，可应用于上述的电子设备，该方法可包括以下步骤：

步骤210，从图像序列中获取关键帧图像，并生成关键帧图像对应的第一头发抠图结果。

电子设备可获取图像序列，图像序列可包含有多帧图像，该多帧图像之间可以是具有时间先后顺序的图像，每帧图像可分别对应不同的时间戳，相邻的两帧图像中上一帧图像的时间戳可早于下一帧图像的时间戳。图像序列可以是电子设备通过摄像头实时采集的预览图像序列、通过摄像头拍摄的视频，或是电子设备从存储器中读取的视频数据等。每帧图像对应的时间戳可用于表示该帧图像的采集时刻(如摄像头采集的每帧预览图像的时刻)，也可以用于表示该帧图像的播放时刻(如视频数据中每帧图像播放的时刻)等。

在本申请实施例中，图像序列的各帧图像中可包含有人物，可从图像序列中获取关键帧图像，该关键帧图像可以是需要进行头发的抠图处理的图像。在一些实施例中，可按照预设的选取规则从图像序列中选取关键帧图像。例如，可每隔第一帧数从图像序列中选取关键帧图像，可选地，该第一帧数可以是预先设置的固定帧数(如5帧、3帧、6帧等，但不限于此)。又例如，也可基于图像内容的差异性来选择关键帧图像，电子设备可对相邻的两帧图像进行图像匹配，确定相邻两帧图像之间的相似性，若相邻两帧图像的相似性低于相似阈值(如90％、95％等)，则可将相邻两帧图像中的后一帧图像选取为关键帧图像；又例如，也可对每帧图像进行人像分割处理，得到每帧图像的人像分割结果，可将图像的人像分割结果与最新选取的关键帧图像的人像分割结果进行比对，若二者之间的差异大于差异阈值(如5％、8％、10％等)，则可将该帧图像作为新的关键帧图像。

在一些实施例中，若图像序列为视频数据，也可直接将视频数据中的I帧

(I-Frame)作为关键帧图像，I帧是一个全帧压缩编码帧，I帧可理解为图像画面完整保留的视频帧，在对视频数据进行解码时仅需要I帧的数据即可重构完整图像而不需要参考其它视频帧的数据。需要说明的是，也可采用其它方式获取关键帧图像，本申请实施例对获取关键帧图像的具体方式不作限定。

电子设备可对关键帧图像进行头发的抠图处理，得到第一头发抠图结果，第一头发抠图结果用于表征关键帧图像中头发区域的位置信息。可选地，该第一头发抠图结果可包括第一头发掩膜，第一头发掩膜可用于标注关键帧图像中的头发区域。在一些实施例中，第一头发掩膜可通过不同的值表示像素点所属的区域，例如用0表示像素点属于非头发区域，用1表示像素点属于头发区域；或是用灰度值255(即白色)表示像素点属于非头发区域，用灰度值0(即黑色)表示像素点属于头发区域；也可用归一化后0～1之间的值表示各个像素点属于头发区域的概率，像素点的值越接近1，说明属于头发区域的概率越大。

对关键帧图像进行头发的抠图处理的方式可包括但不限于泊松抠图(PoissonMatting)方法、基于贝叶斯理论的贝叶斯抠图(Bayes Matting)、基于数据驱动的机器学习抠图方法或者封闭式表面抠图方法等不使用深度学习的传统抠图方法，或者运用诸如卷积神经网络(Convolutional Neutral Network，CNN)等人工神经网络的基于深度学习的抠图方法。示例性地，可通过头发抠图模型对关键帧图像进行头发的抠图处理，识别关键帧图像中的头发区域，得到第一头发抠图结果，该头发抠图模型可以是预先根据第一人像训练集训练得到的，该第一人像训练集可包括大量的第一人像样本图像，以及包括每张第一人像样本图像对应的用于标注头发区域的标注信息(如每张第一人像样本图像对应的头发样本掩膜等)。

步骤220，确定图像序列中的当前帧图像与关键帧图像之间的相对运动信息。

图像序列中的当前帧图像可指的是当前需要处理的图像，也即当前需要确定前景区域的图像。由于在图像序列中较为接近的几帧图像之间的运动差异较小，因此，可根据当前帧图像与关键帧图像进行运动估计，得到当前帧图像与关键帧图像之间的相对运动信息，并根据该相对运动信息对当前帧图像对应的第二发丝抠图结果进行估计，其中，该关键帧图像可为当前帧图像的前置关键帧图像，也即在当前帧图像之前最近的关键帧图像。

在一些实施例中，上述的相对运动信息可以是帧级别的运动信息，如当前帧图像与关键帧图像之间的相对平移及旋转信息，可选地，电子设备可通过各类传感器(如姿态传感器、加速度传感器、重力传感器等)获取电子设备的位姿信息，并根据关键帧图像对应的第一时间戳获取与该第一时间戳匹配的第一位姿信息，并根据当前帧图像对应的第二时间戳获取与该第二时间戳匹配的第二位姿信息，根据该第一位姿信息及第二位姿信息得到帧级别的运动信息。

在一些实施例中，上述的相对运动信息也可以是相素级别的运动信息，可对当前帧图像与关键帧图像进行运动估计，得到当前帧图像中的各个像素点相对该关键帧图像的运动矢量，该运动矢量可用于表示各个像素点的运动方向及运动距离(或运动速度)。对当前帧图像与关键帧图像进行运动估计的方式，可包括但不限于采用区域匹配的方式进行运动估计、采用光流法进行运动估计、采用频域法进行运动估计等。

其中，采用区域匹配的方式进行运动估计，可以是将当前帧图像划分为多个图像块，属于同一图像块的各个像素点可认为运动信息信息。对于每个图像块，可在关键帧图像在搜索与当前图像块匹配的图像块，基于当前帧图像的当前图像块及该关键帧图像匹配的图像块可以确定两个图像块之间的相对位移，则该相对位置可作为当前图像块中各个像素点相的运动矢量。可选地，搜索匹配的图像块的搜索算法可包括但不限于三步法、四步法、非对称十字多层六边形搜索法等。

采用光流法进行运动估计，可以是计算当前帧图像与关键帧图像之间的光流场，光流场是一个二维矢量场，它可以反映当前帧图像上每一像素点的灰度变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。光流场包含的信息即是各个像素点的瞬时运动速度矢量信息。

采用频域法进行运动估计，可以是利用当前帧图像的频域信息与关键帧图像的频域信息进行图像配准，并基于配准结果估计算得到当前帧图像的运动场，该运动场可包括当前帧图像中各个像素点的运动矢量。

需要说明的是，确定图像序列中的当前帧图像与关键帧图像之间的相对运动信息的方式并不仅限于上述的几种方式，也可以是其它方式，本申请实施例对此不作限定。

步骤230，根据相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果。

可利用当前帧图像与关键帧图像之间的相对运动信息对第一头发抠图结果进行变换，以估计得到当前帧图像对应的第二头发抠图结果，第二头发抠图结果用于表征当前帧图像中头发区域的位置信息。在一些实施例中，电子设备可根据第一头发抠图结果确定关键帧图像中属于头发区域的各个像素点的像素坐标，并根据该相对运动信息对该属于头发区域的各个像素点的像素坐标进行偏移，偏移后的各个像素点的像素坐标组成的图像区域即为当前帧图像中的头发区域，以得到第二头发抠图结果。

在一些实施例中，第一头发抠图结果包括第一头发掩膜，可根据相对运动信息对该第一头发掩膜进行变换，确定第一头发掩膜中属于头发区域的各个像素点在当前帧图像中的像素坐标，从而得到当前帧图像对应的第二头发掩膜，第二头发掩膜可用于标注当前帧图像中的头发区域。

对于图像序列中的每帧图像，均可采用上述实施例中描述的方式得到相应的头发抠图结果。在一些实施例中，在获取当前帧图像后，若该当前帧图像被选取为关键帧图像，则可直接对该当前帧图像进行头发的抠图处理，得到相应的头发抠图结果；若该当前帧图像为非关键帧图像，则可根据与最近的关键帧图像之间的相对运动信息，以及该最近的关键帧图像的头发抠图结果，得到该当前帧图像的头发抠图结果。

在本申请实施例中，从图像序列中获取关键帧图像，并生成该关键帧图像对应的第一头发抠图结果，确定图像序列中的当前帧图像与关键帧图像之间的相对运动信息，并根据该相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果，能够基于当前帧图像与关键帧图像之间的相对运动信息以及关键帧的第一头发抠图结果准确得到当前帧图像的第二头发抠图结果，从而可精准确定图像序列中的各帧图像中头发区域的位置信息，提高了图像序列的人像区域识别的精确度。此外，只需要对关键帧图像进行头发的抠图处理，能够降低计算量，提高图像处理效率。

如图3所示，在另一个实施例中，提供一种图像处理方法，可应用于上述的电子设备，该方法可包括以下步骤：

步骤302，从图像序列中获取关键帧图像，并对关键帧图像进行人像分割处理，得到第一人像分割结果。

电子设备可对关键帧图像进行人像分割处理，识别关键帧图像中的人像区域，得到关键帧图像对应的第一人像分割结果，再基于第一人像分割结果识别关键帧图像中的头发区域，得到第一头发抠图结果，该第一人像分割结果可用于表征关键帧图像中人像区域的位置信息。

具体地，对关键帧图像进行人像分割处理的方式，可包括但不限于利用基于图论的人像分割方法、基于聚类的人像分割方法、基于语义的人像分割方法、基于实例的人像分割方法、基于deeplab系列的网络模型的人像分割方法、基于U型网络(U-Net)的分割方法或者基于全卷积网络(Fully Convolutional Network，FCN)的人像分割方法等方式。

以电子设备通过人像分割模型对关键帧图像进行人像分割处理，得到第一人像分割结果为例，该人像分割模型可以是U-Net结构的模型，该人像分割模型中可包括编码器及解码器，编码器中可包括多个下采样层，解码器可包括多个上采样层。人像分割模型可通过编码器的多个下采样层先对关键帧图像进行多次的下采样卷积处理，再通过解码器的多个上采样层进行多次的上采样处理，得到人像分割图。人像分割模型中，相同分辨率之间的下采样层及上采样层之间可实现跳跃连接，将相同分辨率之间的下采样层与上采样层的特征进行融合，使得上采样过程更加准确。

可选地，人像分割模型可以是根据第二人像训练集训练得到的，该第二人像训练集可包括多张携带有人像标签的第二人像样本图像，该人像标签可用于标注人像样本图像中的人像区域，例如，该人像标签可包括人像掩膜等。

在一些实施例中，在对关键帧图像进行人像分割处理之前，可先对关键帧图像进行人脸检测，判断该关键帧图像中是否包含有人脸区域，若该关键帧图像中包含有人脸区域，则可对该关键帧图像进行人像分割处理；若该关键帧图像不包含人脸区域，则可舍弃该关键帧图像，可下一帧图像作为新的关键帧图像进行人脸检测。人脸检测的方式可包括但不限于基于人脸模板进行检测的方式、基于分类器进行人脸检测的方式及通过深度神经网络进行人脸检测等方式。

在一些实施例中，也可直接对关键帧图像进行人像分割处理，若未在关键帧图像中识别到人像区域，则可舍弃该关键帧图像，可下一帧图像作为新的关键帧图像进行人像分割处理。

步骤304，基于第一人像分割结果识别关键帧图像中的头发区域，以得到第一头发抠图结果。

可基于该第一人像分割结果对关键帧图像进行头发的抠图处理，识别关键帧图像中的头发区域。作为一种具体实施方式，该第一人像分割结果可包括第一人像分割图，该第一人像分割图可用于标注关键帧图像中的人像区域，第一人像分割图可为单通道图像，可将该第一人像分割图与关键帧图像进行通道拼接，并将拼接后的图像(拼接后可为四通道图像)输入头发抠图模型中，通过头发抠图模型识别关键帧图像的头发区域，得到第一头发抠图结果。结合第一人像分割结果对关键帧图像进行头发的抠图处理，可提高得到的第一头发抠图结果的准确性，更加精准地识别关键帧图像中的头发区域。

在一些实施例中，电子设备可基于第一人像分割结果确定关键帧图像中的第一头部感兴趣区域(region of interest，ROI)，并对该第一头部感兴趣区域进行头发的抠图处理，得到第一头发抠图结果。进一步地，可基于第一人像分割结果获取关键帧图像的人脸信息，并基于该人脸信息确定第一头部感兴趣区域，该人脸信息可至少包括人脸区域信息，人脸区域信息可用于表征人脸区域在关键帧图像中的图像位置，进一步地，该人脸区域信息可包括关键帧图像中人脸的外接矩形框的位置坐标。

图4A为一个实施例中头部感兴趣区域的示意图。如图4A所示，可基于关键帧图像400的人脸信息确定人脸区域410，并基于该人脸区域410确定第一头部感兴趣区域420，该第一头部感兴趣区域420可用于进行头发的抠图处理。

基于该人脸信息确定的第一头部感兴趣区域的方式，可包括但不限于以下几种：

方式一、根据人脸区域信息确定人脸区域，保持该人脸区域的中心像素点的像素坐标不变，按照预设倍数(例如2倍、3倍等)对人脸区域进行放大，得到第一头部感兴趣区域。

方式二、可根据第一人像分割结果确定人像轮廓线，并根据该人像轮廓线及人脸区域信息得到头发轮廓线，该头发轮廓线即为第一人像分割结果中头发区域的外边缘。作为一种具体实施方式，可将人像轮廓线中的像素点不处于人脸区域，且与该人脸区域之间的像素距离小于距离阈值的像素点确定为头发轮廓线上的像素点，以得到头发轮廓线。也可采用其它方式得到头发轮廓线，在此不作限定。

可预先人脸区域进行放大，得到初始感兴趣区域，并利用该头发轮廓线对该初始感兴趣区域进行修正，得到第一头部感兴趣区域。可选地，可根据头发轮廓线调整初始感兴趣区域的尺寸及位置，以保证头发轮廓线及人脸区域均处于第一头部感兴趣区域。利用头发轮廓线确定第一头部感兴趣区域，能够提高确定的第一头部感兴趣区域的准确性，以保证后续头发抠图处理的准确性。

方式三、人脸区域信息还可包括头部旋转信息，头部旋转信息可用于表征与人脸区域对应的头部在三维空间中的旋转状态，可选地，该三维空间可以是以头部的中心点为原点所建立的三维空间系。头部旋转信息可包括头部在三维空间下的旋转角度，在一些实施例中，该头部旋转信息可采用欧拉角进行表示，该头部旋转信息可包括头部的俯仰角(pitch)、偏航角(yaw)及翻滚角(roll)。

图4B为一个实施例中头部的三维空间的示意图。如图4B所示，可以头部的中心点为原点建立三维空间坐标系，该三维空间坐标系可包括x轴、y轴及z轴，其中，俯仰角(pitch)为围绕x轴旋转的角度，偏航角(yaw)为围绕y轴旋转的角度，翻滚角(roll)为围绕z轴旋转的角度，该俯仰角(pitch)可用于描述头部前后偏转(即绕x轴旋转)的角度，偏航角(yaw)可用于描述人脸的左右偏转(即绕y轴旋转)的角度，翻滚角(roll)可用于描述头部的左右倾斜(即绕z轴旋转)的角度。通过头部旋转信息可确定头部的姿态。

作为一种具体实施方式，人脸区域信息可包括关键帧图像中人脸的外接矩形框的四个角点的像素坐标，也即人脸区域的四个角点的像素坐标，可根据该人脸区域的四个角点的像素坐标以及头部旋转信息计算得到第一头部感兴趣区域的四个角点的像素坐标。具体地，可根据该人脸区域的四个角点的像素坐标计算人脸区域的尺寸信息，该尺寸信息可包括人脸区域的宽度及高度。可对该人脸区域的宽度及高度进行放大，得到放大后的初始感兴趣区域，再根据头部旋转信息中的偏航角及翻滚角，对初始感兴趣区域的四个角点的像素横坐标进行调整，得到第一头部感兴趣区域四个角点的像素横坐标。可根据头部旋转信息中的翻滚角，对初始感兴趣区域的四个角点的像素纵坐标进行调整，得到第一头部感兴趣区域四个角点的像素纵坐标，从而确定第一头部感兴趣区域。基于人脸区域信息及对应的头部旋转信息确定第一头部感兴趣区域，能够提高确定的第一头部感兴趣区域的准确性，以保证后续头发抠图处理的准确性。

在本申请实施例中，仅对关键帧图像的第一头部感兴趣区域进行头发的抠图处理，不需要对整张的关键帧图像进行处理，可减少计算量，提高图像处理效率。

步骤306，对图像序列中的当前帧图像进行人像分割处理，得到第二人像分割结果。

对当前帧图像进行人像分割处理的方式可与对关键帧图像进行人像分割处理的方式类似，可参照上述实施例中关于对关键帧图像进行人像分割处理的描述，在此不再重复赘述。

步骤308，根据第一人像分割结果以及第二人像分割结果，计算关键帧图像的人像区域相对当前帧图像的光流信息。

在本申请实施例中，可通过光流法计算当前帧图像与关键帧图像之间的相对运动信息。光流法满足两个基本假设条件：1、亮度不变条件，同一目标在不同帧间运动时，其亮度不会发生改变；2、时间连续或运动是“小运动”，即时间的变化不会引起目标位置的剧烈变化，相邻帧之间位移要比较小。因此，可通过计算关键帧图像的各个像素点相对当前帧图像沿横坐标轴、纵坐标轴及时间方向的偏导数，即可计算得到关键帧图像的各个像素点相对当前帧图像的光流场。

在一些实施例中，可根据第一人像分割结果以及第二人像分割结果，计算得到关键帧图像的人像区域相对当前帧图像的光流信息，该光流信息可包括关键帧图像的人像区域中包含的各个像素点对应的光流矢量，该光流矢量可用于表征像素点从关键帧图像到当前帧图像的运动方向及运动速度等。

作为一种具体实施方式，可根据第一人像分割结果确定关键帧图像的人像区域，并根据第二人像分割结果确定当前帧图像的人像区域，将关键帧图像的人像区域包含的各个第一像素点与当前帧图像的人像区域包含的各个第二像素点进行匹配，可根据各个匹配的第一像素点的像素坐标及第二像素点的像素坐标，计算得到各个第一像素点对应的偏移量，该偏移量即为第一像素点相对当前帧图像的光流矢量，从而得到关键帧图像的人像区域的光流场。进一步地，计算光流信息的方式可以是稠密光流法、Lucas-Kanade光流法等，在此不作限定。

步骤310，根据光流信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果。

在一些实施例中，可根据第一头发抠图结果确定关键帧图像中属于头发区域的各个像素点，并获取该各个像素点对应的光流矢量，可根据头发区域的各个像素点对应的光流矢量对该各个像素点进行偏移，偏移后的各个像素点所组成的区域即为当前帧图像中的头发区域。

在本申请实施例中，利用光流法计算当前帧图像相对关键帧图像的光流场，并利用该光流场对关键帧图像的第一头发抠图结果进行变换，可以得到当前帧图像的第二头发抠图结果，从而避免每帧图像都需要进行头发的抠图处理导致计算量过大的问题。而且，在本申请实施例中，利用关键帧图像的第一人像分割结果及当前帧图像的第二人像分割结果，确定关键帧图像的人像区域相对当前帧图像的光流信息，由于头发区域属于人像区域的一部分，从而可提高得到的第二头发抠图结果的准确性，且不需要整图计算光流信息，进一步降低了计算量。

在一些实施例中，在步骤根据相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果之前，上述方法还包括：根据第一人像分割结果及第二人像分割结果，确定关键帧图像的头部区域与当前帧图像的头部区域之间的非重合图像面积，该非重合图像面积可指的是关键帧图像与当前帧图像之间，头部区域不重合的面积。可选地，可将关键帧图像的头部区域包含的像素点与当前帧图像的头部区域包含的像素点进行比对，并将两个头部区域不相同的像素点(指像素坐标不同的像素点)的总数量作为非重合图像面积。

作为一种实施方式，可根据第一人像分割结果确定关键帧图像的第一头部感兴趣区域，并根据第二人像分割结果确定当前帧图像的第二头部感兴趣区域，可将第一头部感兴趣区域包含的头部区域与第二头部感兴趣区域包含的头部区域进行比对，确定二者之间存在差异的像素点，该存在差异的像素点可指的是同一像素坐标的像素点仅属于第一头部感兴趣区域包含的头部区域或仅属于第二头部感兴趣区域包含的头部区域。

具体地，可统计像素坐标同时处于第一头部感兴趣区域包含的头部区域以及第二头部感兴趣区域包含的头部区域的像素点数量，该像素点数量即可表征关键帧图像的头部区域与当前帧图像的头部区域之间的重合图像面积，该重合图像面积可理解为第一头部感兴趣区域的头部区域与第二头部感兴趣区域的头部区域之间的交集。再将第一头部感兴趣区域的头部区域与第二头部感兴趣区域的头部区域的总图像面积(即二者之间的并集)减去该重合图像面积，得到非重合图像面积。

可选地，也可直接统计像素坐标仅处于第一头部感兴趣区域的头部区域或仅处于第二头部感兴趣区域的头部区域的像素点数量，并将该像素点数量作为非重合图像面积。示例性地，如图5A所示，可基于关键帧图像500的第一人像分割结果确定第一头部感兴趣区域510，该第一头部感兴趣区域510可包括头部区域512，还可确定当前帧图像的第二头部感兴趣区域(图未示)。如图5B所示，可将第一头部感兴趣区域的头部区域与第二头部感兴趣区域的头部区域进行叠加(指相同像素坐标的像素点叠加)，得到二者之间的非重合区域520，并统计该非重合区域520包含的像素点数量，得到非重合图像面积。

需要说明的是，根据第二人像分割结果确定当前帧图像的第二头部感兴趣区域可参照上述实施例中描述的根据第一人像分割结果确定关键帧图像的第一头部感兴趣区域的方式，在此不再赘述。

可判断关键帧图像的头部区域与当前帧图像的头部区域之间的非重合图像面积是否大于第一面积阈值且小于第二面积阈值，其中，该第一面积阈值可小于第二面积阈值。若非重合图像面积不大于第一面积阈值，可认为关键帧图像与当前帧图像之间的图像差异极小，因此，可不确定关键帧图像与当前帧图像之间的相对运动信息，直接将该第一头发抠图结果作为当前帧图像对应的第二头发抠图结果。可进一步减少计算量，提高图像处理效率。

若非重合图像面积不小于第二面积阈值，则可认为关键帧图像与当前帧图像之间的图像差异过大，利用关键帧图像与当前帧图像之间的相对运动信息及关键帧图像的第一头发抠图结果，估计得到当前帧图像的第二头发抠图结果的准确性会较差。因此，在一些实施例中，可跳过当前帧图像，不对当前帧图像进行处理，并将下一帧图像作为新的当前帧图像，并对新的当前帧图像进行人像分割处理，继续执行确定关键帧图像的头部区域与当前帧图像的头部区域之间的非重合图像面积等步骤。

在一些实施例中，若非重合图像面积不小于第二面积阈值，也可直接对当前帧图像进行头发的抠图处理，识别当前帧图像中的头发区域，得到当前帧图像对应的第二头发抠图结果。对当前帧图像进行头发的抠图处理的方式可与对关键帧进行头发的抠图处理的方式相同，也可不同，从而可保证图像序列的每帧图像都可得到头发抠图结果。可选地，在非重合图像面积不小于第二面积阈值的情况下，也可直接将当前帧图像作为新的关键帧图像，并对该当前帧图像进行头发的抠图处理，得到相应的头发抠图结果。从而可提高头发抠图结果的准确性。

若非重合图像面积大于第一面积阈值且小于第二面积阈值，则可执行根据相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果的步骤，利用当前帧图像与关键帧图像之间的相对运动信息对关键帧图像的第一头发抠图结果进行变换，得到当前帧图像的第二头发抠图结果。可选地，针对每个非关键帧的当前帧图像，均可计算与前置关键帧图像之间的相对运动信息；也可以在当前帧图像的头部区域与前置关键帧图像的头部区域之间的非重合图像面积大于第一面积阈值且小于第二面积阈值时，才计算与前置关键帧图像之间的相对运动信息，本申请实施例对此不作限定。

在本申请实施例中，可确定关键帧图像的头部区域与当前帧图像的头部区域之间的非重合图像面积，在该非重合图像面积过小时，可直接将关键帧图像的第一头发抠图结果作为当前帧图像的第二头发抠图结果，减少计算量，在该非重合图像面积过大时，可不对当前帧图像进行处理或是对当前帧图像进行头发的抠图处理，保证得到的当前帧图像的第二头发抠图结果的准确性，在非重合图像在合适范围内时，基于当前帧图像与关键帧图像之间的相对运动信息对关键帧的第一头发抠图结果进行变换，准确得到当前帧图像的第二头发抠图结果，在降低计算量的同时保证结果准确性。

在一些实施例中，步骤图像序列中获取关键帧图像，包括：每隔第一帧数从图像序列中选取关键帧图像。

可每隔第一帧数从图像序列中选取关键帧图像，该第一帧数可以是根据当前帧图像与关键帧图像之间的相对运动信息确定的。在确定当前帧图像与关键帧图像之间的相对运动信息后，可根据该相对运动信息对第一帧数进行调整。可选地，相对运动信息可包括相对运动速度，该第一帧数与相对运动速度可呈负相关关系。在相对运动速度较大时，说明当前帧图像与关键帧图像之间的图像差异较大，运动幅度较大，则可设置较小的第一帧数，保证图像处理的准确性。在相对运动速度较小时，说明当前帧图像与关键帧图像之间的图像差异较小，运动幅度较小，则可设置较大的第一帧数，进一步降低计算量，降低电子设备的功耗。

在一些实施例中，上述的图像处理方法，还可包括：根据第二头发抠图结果及第二人像分割结果对当前帧图像进行虚化处理，得到目标虚化图像。

可将当前帧图像的第二头发抠图结果与第二人像分割结果进行融合，得到当前帧图像对应的目前人像区域信息，由于第二头发抠图结果能够精准标注当前帧图像中的头发区域，因此得到的目标人像区域信息的精度更高，能够更加准确地确定当前帧图像的前景人像区域。

作为一种实施方式，可利用第二头发抠图结果对第二人像分割结果进行修正，可选地，可根据第二人像分割结果确定属于人像与背景交接区域的像素点，并根据第二头发抠图结果对属于人像与背景交接区域的像素点进行调整，可查找属于人像与背景交接区域的各个像素点，在发丝抠图结果中对应头发区域还是背景区域，从而对人像与背景交接区域的各个像素点进行准确区域，避免头发区域的像素点被识别为背景区域的像素点，或背景区域的像素点被识别为前景人像区域的像素点，以得到准确性更高的目前人像区域信息。

需要说明的是，在其它实施例中，也可采用其它方式将第二头发抠图结果与第二人像分割结果进行融合，例如，可直接取第二头发抠图结果与第二人像分割结果之间的并集，也即将当前帧图像中被第二头发抠图结果标注为头发区域或被第二人像分割结果标注为人像区域的像素点均确定为属于人像区域等，并不仅限于上述的几种方式。

可根据目前人像区域信息确定当前帧图像的前景人像区域及除前景人像区域外的背景区域，并对该背景区域进行虚化处理。虚化处理可采用高斯滤波器、均值模糊处理、中值模糊处理等方式进行实现，在此不作限定。可选地，还可获取当前帧图像的深度信息，并根据背景区域对应的深度信息确定背景区域的虚化参数，根据该虚化参数对背景区域进行虚化处理，该虚化参数可用于表征虚化力度，虚化力度越大，虚化程度越高，即背景区域越模糊。

如图6所示，在一些实施例中，步骤根据第二头发抠图结果及第二人像分割结果对当前帧图像进行虚化处理，得到目标虚化图像，可包括以下步骤：

步骤602，将第二头发抠图结果与第二人像分割结果进行融合，得到目标人像区域信息。

在一些实施例中，在对关键帧图像及当前帧图像进行人像分割处理之前，均可先对关键帧图像及当前帧图像进行下采样处理，并对下采样后的关键帧图像及当前帧图像进行人像分割处理，可减少人像分割处理的计算量。

可对当前帧图像进行下采样处理，得到下采样图像，并对该下采样图像进行人像分割处理，得到第二人像分割结果。可选地，可按照目标图像尺寸对当前帧图像进行下采样处理，得到具备该目标图像尺寸的下采样图像，该目标图像尺寸可以是人像分割模型规定的输入尺寸，从而可使得输入的下采样图像与人像分割模型适配，提高人像分割处理的准确性。

也可对关键帧图像进行下采样处理，并对下采样后的关键帧图像进行人像分割处理，得到第一人像分割结果，再利用该第一人像分割结果对下采样后的关键帧图像进行头发的抠图处理，识别下采样后的关键帧图像中的头发区域，得到第一头发抠图结果。

可确定当前帧图像下采样后得到的下采样图像，与下采样后的关键帧图像之间的相对运动信息，并根据该相对运动信息对第一头发抠图结果进行变换得到该下采样图像的第二头发抠图结果，再将第二头发抠图结果与第二人像分割结果进行融合，得到目标人像区域信息，该目标人像区域信息可用于表征该下采样图像中的前景人像区域。

步骤604，根据目标人像区域信息对下采样图像的背景区域进行虚化处理，得到第一虚化图像。

可根据目标人像区域信息确定下采样图像的前景人像区域及背景区域，该背景区域即为下采样图像中除前景人像区域以外的图像区域，可对下采样图像的背景区域进行虚化处理，得到第一虚化图像。

步骤606，对目标人像区域信息及第一虚化图像进行上采样处理，并将上采样后的目标人像区域信息及上采样后的第一虚化图像与当前帧图像进行融合，得到目标虚化图像。

可将目标人像区域信息及第一虚化图像进行上采样处理，上采样后的目标人像区域信息及上采样后的第一虚化图像的图像尺寸可与当前帧图像相同。该上采样处理的方式可包括但不限于引导滤波上采样、双线性插值上采样、最邻近元插值上采样等。可将上采样后的目标人像区域信息及上采样后的第一虚化图像与当前帧图像进行融合，得到目标虚化图像，该融合的方式可包括但不限于取均值进行融合、分配不同权重系数融合、Alpha融合处理等。以Alpha融合处理为例，Alpha融合处理可为当前帧图像及上采样后的第一虚化图像中的每个像素点分别赋予一个Alpha值，使得当前帧图像及上采样后的第一虚化图像具有不同的透明度。可将上采样后的目标人像区域信息作为上采样后的第一虚化图像的Alpha值，将上采样后的第一虚化图像与当前帧图像进行融合，得到目标虚化图像。

在一些实施例中，对关键帧图像进行头发的抠图处理，得到第一头发抠图结果后，也可将第一头发抠图结果与第一人像分割结果进行融合，得到关键帧图像的目标人像区域信息，并根据该目标人像区域信息对关键帧图像进行虚化处理。对关键帧图像进行虚化处理的方式可与上述实施例中对当前帧图像进行虚化处理的方式相似，在此不再重复赘述。

在本申请实施例中，能够在不明显增加计算量的前提下，得到图像序列中各帧图像准确的目标人像区域信息，以提高头发区域的虚化效果，可改善将部分头发区域错误地虚化或遗漏部分头发区域未虚化的情况，提高了图像序列中各帧图像的虚化效果。

如图7所示，在一个实施例中，提供一种图像处理装置700，可应用于上述的电子设备，该图像处理装置700可包括抠图模块710、运动确定模块720及变换模块730。

抠图模块710，用于从图像序列中获取关键帧图像，并生成关键帧图像对应的第一头发抠图结果，第一头发抠图结果用于表征关键帧图像中头发区域的位置信息。

运动确定模块720，用于确定图像序列中的当前帧图像与关键帧图像之间的相对运动信息。

变换模块730，用于根据相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果，该第二头发抠图结果用于表征当前帧图像中头发区域的位置信息。

在本申请实施例中，从图像序列中获取关键帧图像，并生成该关键帧图像对应的第一头发抠图结果，确定图像序列中的当前帧图像与关键帧图像之间的相对运动信息，并根据该相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果，能够基于当前帧图像与关键帧图像之间的相对运动信息以及关键帧的第一头发抠图结果准确得到当前帧图像的第二头发抠图结果，从而可精准确定图像序列中的各帧图像中头发区域的位置信息，提高了图像序列的人像区域识别的精确度。此外，只需要对关键帧图像进行头发的抠图处理，能够降低计算量，提高图像处理效率。

在一个实施例中，上述图像处理装置700除了包括抠图模块710、运动确定模块720及变换模块730，还包括分割模块。

分割模块，用于对关键帧图像进行人像分割处理，得到第一人像分割结果，第一人像分割结果用于表征关键帧图像中人像区域的位置信息。

抠图模块710，还用于基于第一人像分割结果识别关键帧图像中的头发区域，以得到第一头发抠图结果。

分割模块，还用于对图像序列中的当前帧图像进行人像分割处理，得到第二人像分割结果，第二人像分割结果用于表征当前帧图像中人像区域的位置信息。

在一个实施例中，相对运动信息包括光流信息。运动确定模块720，还用于根据第一人像分割结果以及第二人像分割结果，计算关键帧图像的人像区域相对当前帧图像的光流信息。

变换模块730，还用于根据光流信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果。

在本申请实施例中，利用光流法计算当前帧图像相对关键帧图像的光流场，并利用该光流场对关键帧图像的第一头发抠图结果进行变换，可以得到当前帧图像的第二头发抠图结果，从而避免每帧图像都需要进行头发的抠图处理导致计算量过大的问题。而且，在本申请实施例中，利用关键帧图像的第一人像分割结果及当前帧图像的第二人像分割结果，确定关键帧图像的人像区域相对当前帧图像的光流信息，由于头发区域属于人像区域的一部分，从而可提高得到的第二头发抠图结果的准确性，且不需要整图计算光流信息，进一步降低了计算量。

在一个实施例中，上述图像处理装置700除了包括抠图模块710、运动确定模块720、变换模块730及分割模块，还包括面积确定模块。

面积确定模块，用于根据第一人像分割结果及第二人像分割结果，确定关键帧图像的头部区域与当前帧图像的头部区域之间的非重合图像面积。

变换模块730，还用于若非重合图像面积大于第一面积阈值且小于第二面积阈值，则根据相对运动信息对第一头发抠图结果进行变换，得到当前帧图像对应的第二头发抠图结果，其中，第一面积阈值小于第二面积阈值。

在一个实施例中，变换模块730，还用于若非重合图像面积不大于第一面积阈值，则将第一头发抠图结果作为当前帧图像对应的第二头发抠图结果。

在一个实施例中，变换模块730，还用于若非重合图像面积不小于第二面积阈值，则跳过当前帧图像，并将下一帧图像作为新的当前帧图像；或，若非重合图像面积不小于第二面积阈值，则识别当前帧图像中的头发区域，得到当前帧图像对应的第二头发抠图结果。

在本申请实施例中，可确定关键帧图像的头部区域与当前帧图像的头部区域之间的非重合图像面积，在该非重合图像面积过小时，可直接将关键帧图像的第一头发抠图结果作为当前帧图像的第二头发抠图结果，减少计算量，在该非重合图像面积过大时，可不对当前帧图像进行处理或是对当前帧图像进行头发的抠图处理，保证得到的当前帧图像的第二头发抠图结果的准确性，在非重合图像在合适范围内时，基于当前帧图像与关键帧图像之间的相对运动信息对关键帧的第一头发抠图结果进行变换，准确得到当前帧图像的第二头发抠图结果，在降低计算量的同时保证结果准确性。

在一个实施例中，上述图像处理装置700除了包括抠图模块710、运动确定模块720、变换模块730、分割模块及面积确定模块，还包括虚化模块。

虚化模块，用于根据第二头发抠图结果及第二人像分割结果对当前帧图像进行虚化处理，得到目标虚化图像。

在一个实施例中，分割模块，还用于对当前帧图像进行下采样处理，得到下采样图像，并对下采样图像进行人像分割处理，得到第二人像分割结果。

虚化模块，包括第一融合单元、虚化单元及第二融合单元。

第一融合单元，用于将第二头发抠图结果与第二人像分割结果进行融合，得到目标人像区域信息。

虚化单元，用于根据目标人像区域信息对下采样图像的背景区域进行虚化处理，得到第一虚化图像，下采样图像的背景区域为下采样图像除人像区域以外的图像区域。

第二融合单元，用于对目标人像区域信息及第一虚化图像进行上采样处理，并将上采样后的目标人像区域信息及上采样后的第一虚化图像与当前帧图像进行融合，得到目标虚化图像。

在本申请实施例中，能够在不明显增加计算量的前提下，得到图像序列中各帧图像准确的目标人像区域信息，以提高头发区域的虚化效果，可改善将部分头发区域错误地虚化或遗漏部分头发区域未虚化的情况，提高了图像序列中各帧图像的虚化效果。

图8为一个实施例中电子设备的结构框图。如图8所示，电子设备800可以包括一个或多个如下部件：处理器810、与处理器810耦合的存储器820，其中存储器820可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器810执行时实现如上述各实施例描述的方法。

处理器810可以包括一个或者多个处理核。处理器810利用各种接口和线路连接整个电子设备800内的各个部分，通过运行或执行存储在存储器820内的指令、程序、代码集或指令集，以及调用存储在存储器820内的数据，执行电子设备800的各种功能和处理数据。可选地，处理器810可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器810可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器810中，单独通过一块通信芯片进行实现。

存储器820可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器820可用于存储指令、程序、代码、代码集或指令集。存储器820可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备800在使用中所创建的数据等。

可以理解地，电子设备800可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM可为多种形式，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上对本申请实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

从图像序列中获取关键帧图像，并对所述关键帧图像进行人像分割处理，得到第一人像分割结果，所述第一人像分割结果用于表征所述关键帧图像中人像区域的位置信息；

基于所述第一人像分割结果识别所述关键帧图像中的头发区域，以得到第一头发抠图结果；所述第一头发抠图结果用于表征所述关键帧图像中头发区域的位置信息；

对所述图像序列中的当前帧图像进行人像分割处理，得到第二人像分割结果，所述第二人像分割结果用于表征所述当前帧图像中人像区域的位置信息；

确定所述图像序列中的当前帧图像与所述关键帧图像之间的相对运动信息；

根据所述第一人像分割结果及所述第二人像分割结果，确定所述关键帧图像的头部区域与所述当前帧图像的头部区域之间的非重合图像面积；

若所述非重合图像面积大于第一面积阈值且小于第二面积阈值，则根据所述相对运动信息对所述第一头发抠图结果进行变换，得到所述当前帧图像对应的第二头发抠图结果，所述第二头发抠图结果用于表征所述当前帧图像中头发区域的位置信息，其中，所述第一面积阈值小于所述第二面积阈值。

2.根据权利要求1所述的方法，其特征在于，所述相对运动信息包括光流信息；所述确定所述图像序列中的当前帧图像与所述关键帧图像之间的相对运动信息，包括：

根据所述第一人像分割结果以及所述第二人像分割结果，计算所述关键帧图像的人像区域相对所述当前帧图像的光流信息；

所述根据所述相对运动信息对所述第一头发抠图结果进行变换，得到所述当前帧图像对应的第二头发抠图结果，包括：

根据所述光流信息对所述第一头发抠图结果进行变换，得到所述当前帧图像对应的第二头发抠图结果。

3.根据权利要求1所述的方法，其特征在于，在所述确定所述关键帧图像的头部区域与所述当前帧图像的头部区域之间的非重合图像面积之后，所述方法还包括：

若所述非重合图像面积不大于第一面积阈值，则将所述第一头发抠图结果作为所述当前帧图像对应的第二头发抠图结果。

4.根据权利要求1所述的方法，其特征在于，在所述确定所述关键帧图像的头部区域与所述当前帧图像的头部区域之间的非重合图像面积之后，所述方法还包括：

若所述非重合图像面积不小于第二面积阈值，则跳过所述当前帧图像，并将下一帧图像作为新的当前帧图像；或

若所述非重合图像面积不小于第二面积阈值，则识别所述当前帧图像中的头发区域，得到所述当前帧图像对应的第二头发抠图结果。

5.根据权利要求1～4任一所述的方法，其特征在于，所述方法还包括：

根据所述第二头发抠图结果及所述第二人像分割结果对所述当前帧图像进行虚化处理，得到目标虚化图像。

6.根据权利要求5所述的方法，其特征在于，所述对所述图像序列中的当前帧图像进行人像分割处理，得到第二人像分割结果，包括：

对所述当前帧图像进行下采样处理，得到下采样图像；

对所述下采样图像进行人像分割处理，得到第二人像分割结果。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第二头发抠图结果及所述第二人像分割结果对所述当前帧图像进行虚化处理，得到目标虚化图像，包括：

将所述第二头发抠图结果与所述第二人像分割结果进行融合，得到目标人像区域信息；

根据所述目标人像区域信息对所述下采样图像的背景区域进行虚化处理，得到第一虚化图像，所述下采样图像的背景区域为所述下采样图像除人像区域以外的图像区域；

对所述目标人像区域信息及第一虚化图像进行上采样处理，并将上采样后的目标人像区域信息及上采样后的第一虚化图像与所述当前帧图像进行融合，得到目标虚化图像。

8.根据权利要求1～4任一所述的方法，其特征在于，所述从图像序列中获取关键帧图像，包括：

每隔第一帧数从图像序列中选取关键帧图像；

其中，所述第一帧数是根据所述相对运动信息确定的，所述相对运动信息包括相对运动速度，所述第一帧数与所述相对运动速度呈负相关关系。

9.一种图像处理装置，其特征在于，包括：

抠图模块，用于从图像序列中获取关键帧图像，并对所述关键帧图像进行人像分割处理，得到第一人像分割结果，所述第一人像分割结果用于表征所述关键帧图像中人像区域的位置信息；基于所述第一人像分割结果识别所述关键帧图像中的头发区域，以得到第一头发抠图结果；所述第一头发抠图结果用于表征所述关键帧图像中头发区域的位置信息；对所述图像序列中的当前帧图像进行人像分割处理，得到第二人像分割结果，所述第二人像分割结果用于表征所述当前帧图像中人像区域的位置信息；

运动确定模块，用于确定所述图像序列中的当前帧图像与所述关键帧图像之间的相对运动信息；

面积确定模块，用于根据所述第一人像分割结果及所述第二人像分割结果，确定所述关键帧图像的头部区域与所述当前帧图像的头部区域之间的非重合图像面积；

变换模块，用于若所述非重合图像面积大于第一面积阈值且小于第二面积阈值，则根据所述相对运动信息对所述第一头发抠图结果进行变换，得到所述当前帧图像对应的第二头发抠图结果，所述第二头发抠图结果用于表征所述当前帧图像中头发区域的位置信息，其中，所述第一面积阈值小于第二面积阈值。

10.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至8任一所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一所述的方法。