CN115205307A - 图像处理方法和装置、电子设备 - Google Patents

Abstract

本申请涉及一种图像处理方法和装置、电子设备以及计算机可读存储介质，包括：第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；同时，第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度。

Description

图像处理方法和装置、电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法和装置、电子设备以及计算机可读存储介质。

背景技术

目前人像掩膜图的生成方法，通常采用matting(抠图)的方法来抠图人像，并将抠图结果用于虚化、曝光、对焦等不同应用处理。随着对图像质量需求的提高，人像掩膜图往往需要在发丝部分也抠图精准，需要计算量通常较大，因此耗时也比较大。除了发丝级人像抠图外，还需要做图像后处理。因此每一帧的耗时为人像抠图耗时和图像后处理耗时之和，方案整体耗时进一步增大。

发明内容

本申请实施例提供一种图像处理方法和装置、电子设备以及计算机可读存储介质，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度。

一种图像处理方法，包括：

第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；

同时，第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图，所述下一个图像对应的发丝级人像分割掩膜图用于输入至所述第二线程。

一种图像处理装置，包括：

第二线程处理模块，用于第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；

第一线程处理模块，用于在所述第二线程处理模块处理的同时，第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图，所述下一个图像对应的发丝级人像分割掩膜图用于输入至所述第二线程。

一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；

同时，第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图，所述下一个图像对应的发丝级人像分割掩膜图用于输入至所述第二线程。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；

同时，第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图，所述下一个图像对应的发丝级人像分割掩膜图用于输入至所述第二线程。

上述图像处理方法、装置、电子设备以及计算机可读存储介质，通过第二线程获取当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；同时，第一线程获取当前待处理图像的下一个图像，对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程，第二线程和第一线程可并行完成图像处理的任务，使得图像渲染任务和图像分割任务可并行处理，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中图像处理方法的流程示意图；

图3为一个实施例中线程1和线程2并行进行图像处理的流程示意图；

图4为一个实施例中得到发丝级人像分割掩膜图的流程示意图；

图5为一个实施例中显式三值图人像抠图算法的流程示意图；

图6为一个实施例中隐式三值图人像抠图算法的流程示意图；

图7为一个实施例中单一编解码结构示意图；

图8为一个实施例中输入原图、对应的三值化人像分割掩膜图、发丝级人像分割掩膜图的对比示意图；

图9为另一个实施例中图像处理方法的流程示意图；

图10为一个实施例中图像处理装置的结构框图；

图11为另一个实施例中图像处理装置的结构框图；

图12为一个实施例中电子设备的内部结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中图像处理方法的应用环境图。如图1所示，该应用环境包括终端110和服务器120，终端110和服务器120可以分别独立或配合完成图像处理方法，终端110或服务器120通过第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；同时，第一线程获取当前待处理图像的下一个图像，对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程，可以利用发丝级人像分割掩膜图对待处理图像进行背景虚化，人像提取、留色、霓虹人像等图像处理，得到目标图像。其中终端110可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。其中服务器120可以为一个服务器或服务器集群。服务器120还可以从终端110获取待处理视频，将处理得到的目标图像返回至终端110显示。

图2为一个实施例中图像处理方法的流程图。图2所示的图像处理方法可应用于上述终端110或服务器120中，包括：

步骤202，第二线程获取当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像。

其中，当前待处理图像可以是电子设备拍摄的图像，也可以是电子设备本地存储的图像，还可以是从网上下载的图像等不限于此。待处理图像可以是raw图(原始图像)、YUV图、RGB(Red Green Blue,红绿蓝)图等。待处理RGB图像是指RGB形式的待处理图像，可以将raw图、YUV图进行格式转换得到待处理RGB图像。发丝级人像分割掩膜图是用于识别图像中人像部分的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的人像部分，当人像含有头发，且头发的发丝较清晰时，发丝级人像分割掩膜图可以清楚的分割出发丝尾部，保证头发的边缘分割与期望的一致性。

当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图可以是经过归一化后的图像。归一化后的图像可以是指图像中所有像素点的像素值在0～1的范围内，或者所有像素点的像素值在-1～1的范围内等不限于此。归一化的方式可以是将图像中每个像素点RGB三通道的值先减均值，后除以图像中像素值的方差的方式。

当前待处理图像可以是经过图像缩放后形成的预设尺寸的图像。其中预设尺寸可以自定义，也可以是与发丝级人像分割模型匹配的尺寸。

具体地，第二线程和第一线程是并行的二个不同的线程，原始图像数据的获取可通过第一线程或第二线程中的其中一个或两个进行，如果只由其中一个线程获取原始图像数据，则需要将获取到的原始图像数据传递至另一个线程使用。第一线程获取当前待处理图像后，对当前待处理图像进行处理得到当前待处理图像对应的当前发丝级人像分割掩膜图，然后将当前待处理图像对应的当前发丝级人像分割掩膜图传递至第二线程，当第二线程根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像的同时，第一线程获取当前待处理图像的下一个图像，对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，从而第二线程在对当前待处理图像进行图像渲染处理时，第一线程也同步并行，对当前待处理图像的下一个图像进行发丝级人像分割。

步骤204，同时，第一线程获取当前待处理图像的下一个图像，对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程。

其中，同时是指第一线程与第二线程在进行图像处理时，存在并行的重叠时间，可以是时间起始时间和终止时间刚好完全重叠，也可以是部分时间重叠。当前待处理图像的下一个图像可以是在当前待处理图像之后实时采集得到的时间上相邻的图像，也可以是同一个视频中按顺序播放的下一个图像。

具体地，第一线程对下一个图像进行发丝级人像分割，可以通过发丝级人像分割模型得到输出的下一个图像对应的发丝级人像分割掩膜图。进行发丝级人像分割有多种不同的方式，在一个实施例中，基于人像分割算法产生三值化人像分割掩膜图，再结合原始图像输入进行发丝级人像抠图，即显式三值图人像抠图算法。获取经过图像前处理后的RGB图像经过人像分割算法，得到三值化人像分割掩膜图。将三值化人像分割掩膜图归一化后与前处理后的RGB图像通道拼接后，输入发丝级人像抠图算法模块进行处理，最后获取发丝级人像分割掩膜图。三值化人像分割掩膜图的像素值有三个，如0、1和-1，或其它自定义的不同的三种值，每种值代表了一种区域，分别包括人像区域、背景区域和过渡区域，过渡区域是人像区域、背景区域之间的区域，过渡区域一般为头发区域。

在一个实施例中，采用隐式三值图人像抠图算法，不依赖三值化人像分割掩膜图，直接对原始图像进行发丝级人像抠图，获取经过图像前处理后的RGB图像，直接经过包含编码-解码结构的发丝级人像抠图模型，输出发丝级人像分割掩膜图。发丝级人像掩膜图中的像素点的像素值只有两个，例如0和1，或者0和255等。可以用0表示人像轮廓区域的像素值，其中发丝级体现了人像轮廓区域的发丝轮廓能准确的识别出，发丝部分识别为人像轮廓区域内的像素。用255表示人像掩膜图中除了人像轮廓区域之外的其他区域的像素值。

第一线程可主动将下一个图像对应的发丝级人像分割掩膜图返回至第二线程，也可以由第二线程在时间周期到达时向第一线程发送获取请求，根据获取请求再由第一线程将下一个图像对应的发丝级人像分割掩膜图返回至第二线程。

可以理解，当当前待处理图像为第一帧图像时，第一线程对第一帧图像进行发丝级人像分割，得到第一帧图像对应的发丝级人像分割掩膜图时，此时第二线程由于还没有得到任何图像的发丝级人像分割掩膜图，所以可处于空闲状态，或第二线程处理其它的任务。在第一线程处理得到第一帧图像对应的发丝级人像分割掩膜图后，第二线程获取第一帧图像和第一帧图像对应的发丝级人像分割掩膜图，进行渲染图像处理时，第一线程此时同步进行第二帧图像的发丝级人像分割，从而使得第一线程和第二线程并行工作，加快了目标图像的输出速度。如图3所示，为2个线程，线程1和线程2并行进行图像处理的流程示意图。

本实施例中的图像处理方法，第二线程获取当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；同时，第一线程获取当前待处理图像的下一个图像，对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程，第二线程和第一线程可并行完成图像处理的任务，使得图像渲染任务和图像分割任务可并行处理，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度。

在一个实施例中，第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图包括：第二线程从第一线程获取当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图。

具体地，获取原始图像数据只由第一线程进行，第一线程用于获取原始图像数据，并将原始图像和处理得到的对应的发丝级人像分割掩膜图一起返回至第二线程。第一线程可主动将下一个图像和下一个图像对应的发丝级人像分割掩膜图返回至第二线程，也可以由第二线程在时间周期到达时向第一线程发送获取请求，根据获取请求再由第一线程将下一个图像和下一个图像对应的发丝级人像分割掩膜图返回至第二线程。由于每个图像和对应的发丝级人像分割掩膜图都是由第一线程一起传输给第二线程的，所以避免了图像和发丝级人像分割掩膜图不匹配的情况，提高了图像处理的准确性。

本实施例中，由第一线程统一获取原始图像数据，并将原始图像和处理得到的对应的发丝级人像分割掩膜图一起返回至第二线程，保证了发丝级人像分割掩膜图和对应原始图像的同步，进一步提高了图像处理的准确性。

在一个实施例中，当前待处理图像的获取包括以下方式中的至少一种：

方式一：从实时采集装置获取实时采集的图像得到当前待处理图像。

具体地，可以实时的获取采集装置采集的图像，如从传感器获取当前待处理图像或当前待处理图像之后采集的相邻图像得到下一个图像。当处于预览模式时，可通过第一线程或第二线程不停的获取实时预览的图像。

方式二：从解码装置获取解码的图像得到当前待处理图像。

具体地，可以对已存储的视频进行解码，第一线程或第二线程可从解码装置获取已解码的图像作为待处理的图像，对当前待处理图像处理完毕，则获取当前待处理图像之后解码的相邻图像得到下一个图像。

本实施例中，可以通过不断获取实时采集的图像或解码后的图像，从而依次对获取到的图像进行处理，实现图像的实时图像处理和对已保存的图像进行图像处理。

在一个实施例中，方法还包括：对获取的图像进行图像前处理得到对应的调整图像，获取的图像为当前待处理图像或当前待处理图像的下一个图像。图像前处理包括以下步骤中的至少一种：对输入图像进行图像缩放处理调整到预设尺寸；将输入图像的方向旋转至目标方向；对输入图像进行归一化处理。

具体地，对输入图像进行图像缩放，将图像缩放到发丝级人像抠图模型所需要的大小，例如但不限于图像大小为800X600。将输入图像旋转到发丝级人像抠图模型所需要的方向，如顺时针旋转90度等。归一化的方式可自定义，如将输入图像每个像素点RGB三通道的值先减均值，如通常取值127.5，后除以图像中像素值的方差的方式得到归一化后的待处理RGB图像。如输入图像像素值为X，经过(X-127.5)/127.5计算得到归一化后的图像的像素值。也可以采用其他方式进行归一化，如直接将输入图像的像素值除以255，计算得到归一化后的图像的像素值。可以理解，以上三种不同的前处理方式可按不同的顺序任意结合，在一个实施例中，按顺序依次进行上述三种前处理，先进行图像缩放，再进行方向旋转，最后进行归一化处理。

本实施例中，对图像进行调整，得到调整图像，便于形成符合发丝级人像抠图模型输入要求的输入数据。形成统一标准进行图像处理，也使得发丝级人像抠图模型适用度高，提高图像处理效率。

在一个实施例中，如图4所示，步骤204包括：

步骤204A，对下一个图像对应的调整图像进行人像分割得到三值化人像分割掩膜图，三值化人像分割掩膜图包括人像区域，背景区域和边缘区域，边缘区域是人像区域与背景区域之间的过渡区域。

具体地，三值化人像分割掩膜图可以通过将图像输入三值化人像分割模型处理得到，三值化人像分割模型可以采用卷积神经网络CNN(Convolutional Neural Networks)采用的算法，可以是但不限于deeplab系列分割算法、U-Net算法、FCN(Fully ConvolutionalNeural Networks，全卷积神经网络)。通常包括Encoder特征编码模块和Decoder目标模板生成模块。Encoder编码模块采用不限于Mobilenet、Resnet、vgg等backbone实现编码，编码模块即特征提取模块，用于进行特征提取。解码模块用于对图像特征进行处理得到三值化人像分割掩膜图。

三值化人像分割模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络参数的三值化人像分割模型，通过训练损失代价不断调整网络参数进行训练得到的。每组训练数据包括包含人像的训练RGB图像和已标注人像掩膜图。其中，训练RGB图像为训练的三值化人像分割模型的输入，已标注三值化人像训练掩膜图(mask)作为训练的三值化人像分割模型期望输出得到的真实值(ground truth)。已标注三值化人像训练掩膜图中人的身体是一种类别，背景是一种类别，身体与背景的边缘地带是一种类别，经过训练后，三值化人像分割模型直接生成对应的三值化人像分割掩膜图，三值化人像分割掩膜图包含三种不同的数值，每种数值代表一种类别。三值化人像分割模型可采用深度学习类算法得到，例如CNN(Convolutional Neural Networks，卷积神经网络)、U-Net算法、FCN(FullyConvolutional Neural Networks，全卷积神经网络)等。

在一个实施例中，三值化人像分割掩膜图还可以通过先输入二值化人像分割模型，得到二值化人像分割掩膜图后，采用对边缘确定过渡区域，得到第三类区域的方式，得到三值化人像分割掩膜图。其中二值化人像分割模型的训练数据由包含人像的训练RGB图像和已标注二值化人像训练掩膜图组成，已标注二值化人像训练掩膜图中人的身体是一种类别，背景是一种类别。这样经过训练后，二值化人像分割模型生成对应的二值化人像分割掩膜图后，采用对边缘过渡区域，设置第三类区域，生成对应的三值化人像分割掩膜图。

步骤204B，将下一个图像对应的调整图像与三值化人像分割掩膜图拼接后输入第一发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图。

具体地，第一发丝级人像抠图模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络参数的第一发丝级人像抠图模型，通过训练损失代价不断调整网络参数进行训练得到的。每组训练数据包括训练图像与三值化人像分割训练掩膜图拼接后得到的拼接图和已标注发丝级人像分割训练掩膜图。其中，拼接图为训练的发丝级人像抠图模型的输入，已标注发丝级人像分割训练掩膜图作为训练的发丝级人像抠图模型期望输出得到的真实值(ground truth)。已标注发丝级人像分割训练掩膜图中人的身体是一种类别，背景是一种类别，人的身体包括头发区域，且发丝尾部准确清晰，经过训练后，发丝级人像抠图模型直接生成对应的发丝级人像分割掩膜图。由于训练数据包括了三值化人像分割训练掩膜图，发丝级人像抠图模型可以识别出过渡区域，过渡区域一般为头发区域，从而针对头发区域分配更高的复杂度，能识别出更准确的发丝部分，得到更精准的发丝级人像分割掩膜图。第一发丝级人像抠图模型可采用深度学习类算法得到，例如CNN(ConvolutionalNeural Networks，卷积神经网络)、U-Net算法、FCN(Fully Convolutional NeuralNetworks，全卷积神经网络)等。第一发丝级人像抠图模型通常包括Encoder特征编码模块和Decoder目标模板生成模块。Encoder编码模块采用不限于Mobilenet、Resnet、vgg等backbone实现编码，编码模块即特征提取模块，用于进行特征提取。解码模块用于对图像特征进行处理得到发丝级人像分割掩膜图。如图5所示，为显式三值图人像抠图算法的流程示意图。

本实施例中，先得到三值化人像分割掩膜图，再将调整后的原图像与之拼接输入第一发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图，通过精准的三值化人像分割掩膜图有助于得到更准确的发丝级人像分割掩膜图，适应于效果优先场景和平台。

在一个实施例中，步骤204包括：将下一个图像对应的调整图像输入第二发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图。

具体地，第二发丝级人像抠图模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络参数的第二发丝级人像抠图模型，通过训练损失代价不断调整网络参数进行训练得到的。每组训练数据包括训练图像和已标注发丝级人像分割训练掩膜图。其中，训练图像为训练的发丝级人像抠图模型的输入，已标注发丝级人像分割训练掩膜图作为训练的发丝级人像抠图模型期望输出得到的真实值(ground truth)。已标注发丝级人像分割训练掩膜图中人的身体是一种类别，背景是一种类别，人的身体包括头发区域，且发丝尾部准确清晰，经过训练后，发丝级人像抠图模型直接生成对应的发丝级人像分割掩膜图。由于可直接将原始图像输入发丝级人像抠图模型就可以识别出发丝部分，无需三值化人像分割掩膜图，复杂度低，方便高效。第二发丝级人像抠图模型可采用深度学习类算法得到，例如CNN(Convolutional Neural Networks，卷积神经网络)、U-Net算法、FCN(FullyConvolutional Neural Networks，全卷积神经网络)等。第二发丝级人像抠图模型通常包括Encoder特征编码模块和Decoder目标模板生成模块。Encoder编码模块采用不限于Mobilenet、Resnet、vgg等backbone实现编码，编码模块即特征提取模块，用于进行特征提取。解码模块用于对图像特征进行处理得到发丝级人像分割掩膜图。如图6所示，为隐式三值图人像抠图算法的流程示意图。

本实施例中，可以直接将原图像输入第二发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图，无需依赖于三值化人像分割掩膜图，复杂度低，适应于性能优先场景和平台。

在一个实施例中，上述提到的三值化人像分割模型和第一发丝级人像抠图模型、第二发丝级人像抠图模型都包含enc-dec结构，即编解码结构。单一enc-dec结构如图7所示。其中输入为归一化后的图像。Encoder模块一般由MobileNet、ShuffleNet、ResNet等基本backbone组成。Decoder模块一般由反卷积或插值上采样组成。跳跃连接用于将浅层特征融合到深层特征处，增加算法模型的泛化能力。输出为分割后的三值化人像分割掩膜图，或者发丝级人像分割掩膜图。

在一个实施例中，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像包括：根据当前发丝级人像分割掩膜图确定当前待处理图像的背景区域和人像区域；对背景区域进行第一渲染处理；对人像区域进行第二渲染处理。

具体地，电子设备基于人像掩膜图中每个像素点的像素值，确定人像掩膜图中的背景区域。例如背景区域中的像素值均为0。并基于背景区域在待处理RGB图像中的位置，对待处理RGB图像的背景区域进行第一渲染处理，对背景区域之外的人像区域进行第二渲染处理，对于不同的图像处理效果分别对应了不同的第一渲染处理和第二渲染处理，渲染处理包括但不限于虚化、留色、霓虹人像等。虚化为人体部分保持清晰，背景部分做模糊处理。留色为人体部分保留彩色，背景部分做黑白处理。将渲染处理后的效果图输出到设备显示。如对于背景虚化，则对背景区域进行虚化处理，对人像区域保持清晰度不变得到目标图像。霓虹人像就是一种“电影光斑”效果模式，加大背景虚化力度，加大光斑，对背景区域进行强虚化处理，对人像区域保持清晰度不变得到目标图像。

本实施例中，由于发丝级人像掩膜图中有效区分了背景区域和包含头发的前景人像区域，那么对待处理RGB图像中的背景区域和人像区域分别进行不同的渲染处理，能精准到发丝级别，得到的效果更好。且第二线程在进行渲染处理时，同步的第一线程也在进行图像的抠图处理，进一步提高了图像的处理效率。

在一个实施例中，方法还包括：第二线程将当前目标图像输出显示。

具体地，第二线程完成渲染操作后，就将当前目标图像输出显示，其中，第二线程的渲染处理图像滞后于第一线程的人像抠图一帧。在第一线程对第二帧进行人像抠图时，第二线程对第一帧进行渲染处理并输出显示。

本实施例中，通过第二线程将当前目标图像输出显示，便于用户观看图像处理效果。

在一个具体的实施例中，提供一种图像处理方法，具体包括以下过程：

1、第一线程通过图像传感器获取第一帧待处理原始图像。待处理原始图像不限于是raw图、YUV图、RGB图等，当待处理原始图像不是RGB图时，将待处理原始图像转换为待处理RGB图像，第一线程将第一帧待处理RGB图像作为当前待处理图像。第一线程对当前待处理图像处理完毕，则获取下一个图像作为当前待处理图像进行处理。

2、第一线程将当前待处理图像进行图像缩放，将图像缩放到发丝级人像抠图模型所需要的大小，将缩放后的图像旋转到发丝级人像抠图模型所需要的方向，将调整方向后的图像进行归一化。

3、第一线程判断当前平台模式，如果当前平台模式是效果优先模式，则对调整后的图像进行人像分割得到三值化人像分割掩膜图，将调整图像与三值化人像分割掩膜图拼接后输入第一发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图。如图8所示，为一个实施例中，输入的原图、对应的三值化人像分割掩膜图和发丝级人像分割掩膜图的示意图。

4、如果当前平台模式是性能优先模式，则第一线程直接将调整后的图像输入第二发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图。

5、如果第一线程当前处理的图像是第一帧图像，则在没有生成发丝级人像分割掩膜图之前，第二线程可处于空闲状态或处理其它任务。如果第一线程当前处理的图像是第二帧图像，则第二线程从第一线程获取第一帧图像和第一帧图像对应的当前发丝级人像分割掩膜图，在第一线程处理第二帧图像时，第二线程同步根据第一帧图像和第一帧图像对应的当前发丝级人像分割掩膜图对第一帧图像进行渲染图像处理得到对应的当前目标图像，渲染处理包括但不限于虚化、留色、霓虹人像等，第二线程将处理后得到的当前目标图像输出显示。以此类推下去，第二线程的渲染处理图像滞后于第一线程的人像抠图一帧。

本实施例中，第一线程首先进行当前帧抠图所需的图像前处理，再进行发丝级人像抠图。第二线程获取第一线程已经处理结束的上一帧的原始图像和对应的发丝级人像分割掩膜图，进行上一帧图像渲染处理，并将上一帧图像渲染处理结果输出，第二线程和第一线程可并行完成图像处理的任务，使得图像渲染任务和图像分割任务可并行处理，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，且由第一线程统一获取原始图像，并将当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图传递至第二线程，保证了发丝级人像分割掩膜图和对应原始图像的同步，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度。

在一个实施例中，如图9所示，提供了一种图像处理方法，包括以下步骤：

步骤302，第二线程获取当前待处理图像的下一个图像，将当前待处理图像的下一个图像传递至第一线程。第二线程从第一线程获取当前待处理图像的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像，当前待处理图像是第二线程直接获取的。

步骤304，同时，第一线程对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程，其中第一线程是从第二线程获取的当前待处理图像的下一个图像。

具体地，获取原始图像由第二线程进行，第二线程获取原始图像后传递至第一线程，由第一线程对原始图像进行发丝级人像分割，得到对应的发丝级人像分割掩膜图再返回至第二线程。如果是第一帧图像，则第二线程处理空闲状态或处理其它任务，如果是第二帧图像，第一线程在对第二帧图像进行发丝级人像分割时，第二线程根据第一线程返回的第一帧图像对应的发丝级人像分割掩膜图进行渲染处理，达到线程间的任务并行，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，且保证了发丝级人像分割掩膜图和对应原始图像的同步，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度。

本实施例中，通过第二线程获取原始图像数据，将原始图像数据传递至第一线程，第一线程对原始图像进行发丝级人像分割，得到图像对应的发丝级人像分割掩膜图，图像对应的发丝级人像分割掩膜图用于输入至第二线程，在第一线程处理图像的同时，第二线程根据由第一线程返回的上一个图像的发丝级人像分割掩膜图和上一个原始图像进行渲染处理，从而第二线程和第一线程可并行完成图像处理的任务，使得图像渲染任务和图像分割任务可并行处理，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度，由第二线程统一获取原始图像数据，将原始图像数据传递至第一线程，保证了发丝级人像分割掩膜图和对应原始图像的同步，进一步提高了图像处理的准确性。

可以理解，本实施例中的发丝级人像分割和根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像的过程可参考上述实施例中的步骤。

应该理解的是，虽然图2、图4、图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4、图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图10为一个实施例的图像处理装置500的结构框图。如图10所示，一种图像处理装置500，包括：第二线程处理模块502、第一线程处理模块504，其中：

第二线程处理模块502，用于第二线程获取当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像。

第一线程处理模块504，用于在第二线程处理模块502处理的同时，第一线程获取当前待处理图像的下一个图像，对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程。

本实施中的图像处理装置500，通过第二线程获取当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；同时，第一线程获取当前待处理图像的下一个图像，对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程，第二线程和第一线程可并行完成图像处理的任务，使得图像渲染任务和图像分割任务可并行处理，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度。

在一个实施例中，第二线程处理模块502还用于第二线程从第一线程获取当前待处理图像和当前待处理图像对应的当前发丝级人像分割掩膜图。

本实施例中，由第一线程统一获取原始图像数据，并将原始图像和处理得到的对应的发丝级人像分割掩膜图一起返回至第二线程，保证了发丝级人像分割掩膜图和对应原始图像的同步，进一步提高了图像处理的准确性。

在一个实施例中，第二线程处理模块502还用于通过第二线程直接获取当前待处理图像，第一线程处理模块504还用于通过第一线程从第二线程获取当前待处理图像的下一个图像。

本实施例中，由第二线程统一获取原始图像数据，并将原始图像数据传递至第一线程，只由一个线程获取原始图像数据，保证了发丝级人像分割掩膜图和对应原始图像的同步，进一步提高了图像处理的准确性。

在一个实施例中，第一线程处理模块504还用于通过以下方式中的至少一种获取当前待处理图像，方式一：从实时采集装置获取实时采集的图像得到当前待处理图像，方式二：从解码装置获取解码的图像得到当前待处理图像。

本实施中的图像处理装置500，可以通过不断获取实时采集的图像或解码后的图像，从而依次对获取到的图像进行处理，实现图像的实时图像处理和对已保存的图像进行图像处理。

在一个实施例中，第一线程处理模块504还用于对获取的图像进行图像前处理得到对应的调整图像，获取的图像为当前待处理图像或当前待处理图像的下一个图像，图像前处理包括以下步骤中的至少一种：对输入图像进行图像缩放处理调整到预设尺寸；将输入图像的方向旋转至目标方向；对输入图像进行归一化处理。

本实施中的图像处理装置500，对图像进行调整，得到调整图像，便于形成符合发丝级人像抠图模型输入要求的输入数据。形成统一标准进行图像处理，也使得发丝级人像抠图模型适用度高，提高图像处理效率。

在一个实施例中，第一线程处理模块504还用于对下一个图像对应的调整图像进行人像分割得到三值化人像分割掩膜图，三值化人像分割掩膜图包括人像区域，背景区域和边缘区域，边缘区域是人像区域与背景区域之间的过渡区域；将下一个图像对应的调整图像与三值化人像分割掩膜图拼接后输入第一发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图。

本实施例中，先得到三值化人像分割掩膜图，再将调整后的原图像与之拼接输入第一发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图，通过精准的三值化人像分割掩膜图有助于得到更准确的发丝级人像分割掩膜图，适应于效果优先场景和平台。

在一个实施例中，第一线程处理模块504还用于将下一个图像对应的调整图像输入第二发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图。

本实施例中，可以直接将原图像输入第二发丝级人像抠图模型进行处理，得到发丝级人像分割掩膜图，无需依赖于三值化人像分割掩膜图，复杂度低，适应于性能优先场景和平台。

在一个实施例中，第二线程处理模块502还用于根据当前发丝级人像分割掩膜图确定当前待处理图像的背景区域和人像区域；对背景区域进行第一渲染处理；对人像区域进行第二渲染处理。

本实施例中，由于发丝级人像掩膜图中有效区分了背景区域和包含头发的前景人像区域，那么对待处理RGB图像中的背景区域和人像区域分别进行不同的渲染处理，能精准到发丝级别，得到的效果更好。且第二线程在进行渲染处理时，同步的第一线程也在进行图像的抠图处理，进一步提高了图像的处理效率。

在一个实施例中，第二线程处理模块502还用于通过第二线程将当前目标图像输出显示。

本实施例中，通过第二线程将当前目标图像输出显示，便于用户观看图像处理效果。

在一个实施例中，如图11所示，提供了一种图像处理装置600，包括：

第二线程处理模块602，用于第二线程获取当前待处理图像的下一个图像，将当前待处理图像的下一个图像传递至第一线程，所述第二线程从第一线程获取当前待处理图像的当前发丝级人像分割掩膜图，根据当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像，当前待处理图像是所述第二线程直接获取的。

第一线程处理模块604，用于同时，第一线程对下一个图像进行发丝级人像分割，得到下一个图像对应的发丝级人像分割掩膜图，下一个图像对应的发丝级人像分割掩膜图用于输入至第二线程。

本实施例中，获取原始图像由第二线程进行，第二线程获取原始图像后传递至第一线程，由第一线程对原始图像进行发丝级人像分割，得到对应的发丝级人像分割掩膜图再返回至第二线程。如果是第一帧图像，则第二线程处理空闲状态或处理其它任务，如果是第二帧图像，第一线程在对第二帧图像进行发丝级人像分割时，第二线程根据第一线程返回的第一帧图像对应的发丝级人像分割掩膜图进行渲染处理，达到线程间的任务并行，通过多线程并行处理生成发丝级人像分割掩膜图和图像后处理，节省了耗时，提高了对视频进行发丝级图像处理的处理效率，保证了视频的流畅度，由第二线程统一获取原始图像数据，将原始图像数据传递至第一线程，保证了发丝级人像分割掩膜图和对应原始图像的同步。

关于图像处理装置具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图12为一个实施例中电子设备的内部结构示意图。如图12所示，该电子设备包括通过系统总线连接的处理器、存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述的图像处理方法。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行本申请实施例中所描述的图像处理方法。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例中所描述的图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；

同时，第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图，所述下一个图像对应的发丝级人像分割掩膜图用于输入至所述第二线程。

2.根据权利要求1所述的方法，其特征在于，所述第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图包括：

所述第二线程从所述第一线程获取所述当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图。

3.根据权利要求1所述的方法，其特征在于，所述当前待处理图像是所述第二线程直接获取的，所述第一线程是从所述第二线程获取的所述当前待处理图像的下一个图像。

4.根据权利要求1所述的方法，其特征在于，所述当前待处理图像的获取包括以下方式中的至少一种：

从实时采集装置获取实时采集的图像得到所述当前待处理图像；

从解码装置获取解码的图像得到所述当前待处理图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：

对获取的图像进行图像前处理得到对应的调整图像，所述获取的图像为所述当前待处理图像或当前待处理图像的下一个图像；

所述图像前处理包括以下步骤中的至少一种：

对输入图像进行图像缩放处理调整到预设尺寸；

将输入图像的方向旋转至目标方向；

对输入图像进行归一化处理。

6.根据权利要求5所述的方法，其特征在于，所述第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图包括：

对所述下一个图像对应的调整图像进行人像分割得到三值化人像分割掩膜图，所述三值化人像分割掩膜图包括人像区域，背景区域和边缘区域，所述边缘区域是人像区域与背景区域之间的过渡区域；

将所述下一个图像对应的调整图像与所述三值化人像分割掩膜图拼接后输入第一发丝级人像抠图模型进行处理，得到所述发丝级人像分割掩膜图。

7.根据权利要求5所述的方法，其特征在于，所述第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图包括：

将所述下一个图像对应的调整图像输入第二发丝级人像抠图模型进行处理，得到所述发丝级人像分割掩膜图。

8.根据权利要求1所述的方法，其特征在于，所述根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像包括：

根据所述当前发丝级人像分割掩膜图确定当前待处理图像的背景区域和人像区域；

对所述背景区域进行第一渲染处理；

对所述人像区域进行第二渲染处理。

9.根据权利要求1至4中或6至8中任一项所述的方法，其特征在于，所述方法还包括：

所述第二线程将所述当前目标图像输出显示。

10.一种图像处理装置，其特征在于，包括：

第二线程处理模块，用于第二线程获取当前待处理图像和所述当前待处理图像对应的当前发丝级人像分割掩膜图，根据所述当前发丝级人像分割掩膜图对当前待处理图像进行图像处理得到对应的当前目标图像；

第一线程处理模块，用于在所述第二线程处理模块处理的同时，第一线程获取所述当前待处理图像的下一个图像，对所述下一个图像进行发丝级人像分割，得到所述下一个图像对应的发丝级人像分割掩膜图，所述下一个图像对应的发丝级人像分割掩膜图用于输入至所述第二线程。

11.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法。

Images