CN113658197B - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113658197B
CN113658197B CN202110958531.1A CN202110958531A CN113658197B CN 113658197 B CN113658197 B CN 113658197B CN 202110958531 A CN202110958531 A CN 202110958531A CN 113658197 B CN113658197 B CN 113658197B
Authority
CN
China
Prior art keywords
hair
image
mask
portrait
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110958531.1A
Other languages
English (en)
Other versions
CN113658197A (zh
Inventor
李章宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110958531.1A priority Critical patent/CN113658197B/zh
Publication of CN113658197A publication Critical patent/CN113658197A/zh
Application granted granted Critical
Publication of CN113658197B publication Critical patent/CN113658197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法,包括:获取待处理图像的第一人像掩膜及头发分割结果;根据所述待处理图像、所述第一人像掩膜及所述头发分割结果确定所述待处理图像对应的背景复杂度;若所述背景复杂度小于或等于第一复杂度阈值,则根据所述待处理图像的头发抠图结果及所述第一人像掩膜生成目标人像掩膜;若所述背景复杂度大于所述第一复杂度阈值,则根据所述第一人像掩膜及所述头发分割结果生成目标人像掩膜。上述的图像处理方法、装置、电子设备及计算机可读存储介质,能够准确得到待处理图像的人像掩膜,提高了待处理图像的人像区域的识别准确性。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及影像技术领域,具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在影像技术领域中,对于图像中的前景区域及背景区域进行分离是经常使用的一种图像处理过程。对于包含有人物的人物图像,在识别人像图像中前景的人像区域时,由于人的头发细节较多,容易导致出现前景的人像区域识别不准确的情况。
发明内容
本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质,能够准确得到待处理图像的人像掩膜,提高了待处理图像的人像区域的识别准确性。
本申请实施例公开了一种图像处理方法,包括:获取待处理图像的第一人像掩膜及头发分割结果,所述第一人像掩膜用于表征所述待处理图像中的人像区域位置,所述头发分割结果为对所述待处理图像进行头发区域的分割处理得到的;根据所述待处理图像、所述第一人像掩膜及所述头发分割结果确定所述待处理图像对应的背景复杂度;若所述背景复杂度小于或等于第一复杂度阈值,则根据所述待处理图像的头发抠图结果及所述第一人像掩膜生成目标人像掩膜,所述头发抠图结果为对所述待处理图像进行头发区域的抠图处理得到的;若所述背景复杂度大于所述第一复杂度阈值,则根据所述第一人像掩膜及所述头发分割结果生成目标人像掩膜。
本申请实施例公开了一种图像处理装置,包括:获取模块,用于获取待处理图像的第一人像掩膜及头发分割结果,所述第一人像掩膜用于表征所述待处理图像中的人像区域位置,所述头发分割结果为对所述待处理图像进行头发区域的分割处理得到的;复杂度确定模块,用于根据所述待处理图像、所述第一人像掩膜及所述头发分割结果确定所述待处理图像对应的背景复杂度;第一处理模块,用于若所述背景复杂度小于或等于第一复杂度阈值,则根据所述待处理图像的头发抠图结果及所述第一人像掩膜生成目标人像掩膜,所述头发抠图结果为对所述待处理图像进行头发区域的抠图处理得到的;第二处理模块,用于若所述背景复杂度大于所述第一复杂度阈值,则根据所述第一人像掩膜及所述头发分割结果生成目标人像掩膜。
本申请实施例公开了一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
本申请实施例公开了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法。
本申请实施例公开的图像处理方法、装置、电子设备及计算机可读存储介质,根据待处理图像、待处理图像的第一人像掩膜及头发分割结果确定待处理图像对应的背景复杂度,若该背景复杂度小于或等于第一复杂度阈值,则根据待处理图像的头发抠图结果及第一人像掩膜生成目标人像掩膜,若该背景复杂度大于第一复杂度阈值,则根据第一人像掩膜及所述头发分割结果生成目标人像掩膜,在待处理图像为简单背景图像时,利用精细度更高、表现力更优的头发抠图结果生成目标人像掩膜,能够提高头发区域中发丝的清晰效果,在待处理图像为复杂背景图像时,头发抠图结果的表现力较差,则利用头发分割结果生成目标人像掩膜,能够准确得到待处理图像的人像掩膜,提高了待处理图像的人像区域的识别准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理电路的框图;
图2为一个实施例中图像处理方法的流程图;
图3为一个实施例中计算背景复杂度的流程图;
图4A为一个实施例中头发扩展感兴趣区域的示意图;
图4B为一个实施例中计算头发外轮廓的示意图;
图5为一个实施例中生成背景复杂度图像的示意图;
图6为另一个实施例中图像处理方法的流程图;
图7A为一个实施例中将目标抠图结果与第一人像掩膜进行融合的示意图;
图7B为一个实施例中将目标分割结果与第一人像掩膜进行融合的示意图;
图8为又一个实施例中图像处理方法的流程图;
图9A为一个实施例中得到第三人像掩膜的示意图;
图9B为一个实施例中将第三人像掩膜与第一人像掩膜进行融合的示意图;
图10为一个实施例中图像处理装置的框图;
图11为一个实施例中电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一人像掩膜称为第二人像掩膜,且类似地,可将第二人像掩膜称为第一人像掩膜。第一人像掩膜和第二人像掩膜两者都是人像掩膜,但其不是同一人像掩膜。
本申请实施例提供一种电子设备。该电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明,图1仅示出与本申请实施例相关的图像处理技术的各个方面。
电子设备在对图像进行处理时,通常需要先区分图像中的前景区域及背景区域,再进一步针对该前景区域和/或背景区域进行处理(如图像虚化、人物美白、亮度调节、去雾处理等)。对于包含有人物的人物图像,由于人的头发细节较多,在识别人像图像中前景的人像区域时,容易导致出现前景的人像区域识别不准确的情况。为了解决该问题,在相关的技术中会对人物图像进行人物分割处理及头发的抠图处理,再结合人物分割结果及头发抠图结果共同确定前景的人物区域,从而提高前景人物区域识别的准确性。
对于包含有多帧图像的图像序列(例如通过摄像头采集的预览图像序列或视频等),若是针对图像序列中的每帧图像都进行人物分割处理及头发的抠图处理,会导致电子设备的计算量增加,增加电子设备的功耗,且会影响电子设备的图像处理效率。
在本申请实施例中,提供一种图像处理方法、装置、电子设备及计算机可读存储介质,能够准确得到图像序列中各帧图像中头发区域的位置信息,且降低了计算量,提高了图像处理效率。
本申请实施例提供一种电子设备,该电子设备可包括但不限于手机、智能可穿戴设备、平板电脑、PC(Personal Computer,个人计算机)、车载终端、数码相机等,本申请实施例对此不作限定。该电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明,图1仅示出与本申请实施例相关的图像处理技术的各个方面。
如图1所示,图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
需要说明的是,虽然图1中仅示出了一个成像设备110,但是在本申请实施例中,可包括至少两个成像设备110,每个成像设备110可分别对应一个图像传感器114,也可多个成像设备110对应一个图像传感器114,在此不作限定。每个成像设备110的工作过程可参照上述所描述的内容。
此外,图像传感器114也可将原始图像数据发送给姿态传感器120,姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140,或者姿态传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如,姿态传感器120接口将原始图像数据发送给图像存储器130,图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器130,以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据,并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器140的输出还可发送给图像存储器130,且显示器160可从图像存储器130读取图像数据。在一个实施例中,图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如,统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
示例性地,结合图1的图像处理电路,对本申请实施例所提供的图像处理方法进行说明。ISP处理器140可从成像设备110或图像存储器130中获取待处理图像,并获取该待处理图像的第一人像掩膜及头发分割结果,该第一人像掩膜可用于表征待处理图像中的人像区域位置,头发分割结果为对待处理图像进行头发区域的分割处理得到的。ISP处理器140可根据待处理图像、第一人像掩膜、头发分割结果确定待处理图像对应的背景复杂度。若背景复杂度小于或等于第一复杂度阈值,则ISP处理器140可根据待处理图像的头发抠图结果及第一人像掩膜生成目标人像掩膜,该头发抠图结果为对待处理图像进行头发区域的抠图处理得到的。若背景复杂度大于第一复杂度阈值,则ISP处理器140可根据第一人像掩膜及头发分割结果生成目标人像掩膜。
在一些实施例中,ISP处理器140在得到目标人像掩膜后,可基于该目标人像掩膜将待处理图像中前景的人像区域与背景区域进行分离,并对人像区域和/或背景区域进行进一步的图像处理,例如,可对背景区域进行虚化处理,对人像区域进行美化处理(如美白处理、调整亮度、塑形处理等),但不限于此。ISP处理器140可将处理后的图像输出到显示器160进行显示,或是将处理后的图像存储到图像存储器130中。
需要说明的是,本申请实施例所提供的图像处理方法也可通过电子设备的其它处理器实现,如通过CPU(central processing unit,中央处理器)、GPU(graphicsprocessing unit,图形处理器)等处理器,该其它处理器可获取经ISP处理器140处理后的图像数据,也即获取待处理图像,并实现本申请实施例所提供的图像处理方法。
如图2所示,在一个实施例中,提供一种图像处理方法,可应用于上述的电子设备,该方法可包括以下步骤:
步骤210,获取待处理图像的第一人像掩膜及头发分割结果。
待处理图像可以是包含有人物的图像,该待处理图像可为彩色图像,例如可以是RGB(Red Green Blue,红绿蓝)格式的图像或YUV(Y表示明亮度,U和V表示色度)格式的图像等。待处理图像可以是需要进行前景的人像区域与背景区域分离的图像。待处理图像可以是预先存储在电子设备的存储器中的图像,也可以是电子设备通过摄像头实时采集到的图像。
电子设备可从存储器或通过摄像头获取待处理图像,并获取待处理图像的第一人像掩膜及头发分割结果,该第一人像掩膜可用于表征待处理图像中的人像区域位置,能够对待处理图像中属于人像区域的像素点进行标注。可选地,在第一人像掩膜中,可采用不同的像素值表示人像区域以及非人像区域(即背景区域),例如,像素值为255表示像素点属于人像区域,像素值为0表示像素点属于背景区域;或像素值为1表示像素点属于人像区域,像素值为0表示像素点属于背景区域等;也可采用0~1之间的值表示各个像素点属于人像区域的概率,越接近1的值表示像素点属于人像区域的概率越高等,但不限于此。
在一些实施例中,第一人像掩膜可预先存储在存储器,电子设备在获取待处理图像后,可根据待处理图像的图像标识从存储器中获取对应的第一人像掩膜,该图像标识可包括但不限于图像编号、图像采集时刻、图像名称等信息。第一人像掩膜也可以是电子设备在获取到待处理图像后,对待处理图像进行人像识别生成的。对待处理图像进行人像识别的方式,可包括但不限于以下几种方式:
方式一、基于待处理图像的深度图识别待处理图像的人像区域,得到第一人像掩膜。可对待处理图像进行深度估计,得到待处理图像的深度图,该深度图可包括待处理图像中的各个像素点对应的深度信息,该深度信息可用于表征被拍摄物体上的点与摄像头之间的距离,深度信息越大可表示距离越远。由于人像区域与背景区域之间的深度信息区别较大,因此,可根据深度图识别待处理图像的人像区域,例如,可将待处理图像中深度信息小于第一深度阈值的像素点组成的区域确定为人像区域,将深度信息大于第二深度阈值的像素点组成的区域确定为背景区域等,其中,第一深度阈值可小于或等于第二深度阈值。
电子设备对待处理图像进行深度估计的方式可以是软件的深度估计方式,也可以是结合硬件设备计算深度信息的方式等。软件的深度估计方式可包括但不限于使用深度估计模型等神经网络进行深度估计的方式,该深度估计模型可通过深度训练集训练得到,深度训练集可包括多张样本图像及每张样本图像对应的深度图等。结合硬件设备的深度估计方式可包括但不限于利用多摄像头(例如双摄像头)进行深度估计、利用结构光进行深度估计、利用TOF(Time of flight,飞行时间)进行深度估计等。本申请实施例对深度估计的方式不作限定。
方式二、可对待处理图像进行人像分割处理,得到第一人像掩膜。人像分割处理的方法可包括但不限于利用基于图论的人像分割方法、基于聚类的人像分割方法、基于语义的人像分割方法、基于实例的人像分割方法、基于deeplab系列的网络模型的人像分割方法、基于U型网络(U-Net)的分割方法或者基于全卷积网络(Fully ConvolutionalNetwork,FCN)的人像分割方法等方式。
以电子设备通过人像分割模型对待处理图像进行人像分割处理,得到第一人像掩膜为例,该人像分割模型可以是U-Net结构的模型,该人像分割模型中可包括编码器及解码器,编码器中可包括多个下采样层,解码器可包括多个上采样层。人像分割模型可通过编码器的多个下采样层先对待处理图像进行多次的下采样卷积处理,再通过解码器的多个上采样层进行多次的上采样处理,得到第一人像掩膜。人像分割模型中,相同分辨率之间的下采样层及上采样层之间可实现跳跃连接,将相同分辨率之间的下采样层与上采样层的特征进行融合,使得上采样过程更加准确。
可选地,人像分割模型可以是根据第一人像样本集合训练得到的,该第一人像样本集合可包括多张携带有人像标签的人像样本图像,该人像标签可用于标注人像样本图像中的人像区域,例如,该人像标签可包括样本人像掩膜等。
上述的头发分割结果可为对待处理图像进行头发区域的分割处理得到的,头发分割结果可预先存储在存储器中,电子设备在获取待处理图像后,可根据待处理图像的图像标识从存储器中获取对应的头发分割结果。头发分割结果也可以是电子设备在获取到待处理图像后,对待处理图像进行头发区域的分割处理得到的。对待处理图像进行头发区域的分割处理的方法可与进行人像分割处理的方法类似,如可通过头发分割模块对待处理图像进行头发区域的分割处理,得到头发分割结果,该头发分割模块可以是根据第二人像样本集合训练得到的,该第二人像样本集合可包括多张标注有头发区域的人像样本图像等,可参考上述人像分割的描述,在此不再赘述。
可选地,头发分割结果可包括第一头发掩膜,第一头发掩膜可用于表征待处理图像中的头发区域位置,能够对待处理图像中属于头发区域的像素点进行标注。可选地,在第一头发掩膜中,可采用不同的像素值表示头发区域以及非头发区域。
步骤220,根据待处理图像、第一人像掩膜及头发分割结果确定待处理图像对应的背景复杂度。
背景复杂度可用于描述待处理图像中背景区域的复杂程度,背景区域包含的内容越丰富,则对应的背景复杂度可越高。作为一种实施方式,可根据第一人像掩膜及头发分割结果确定待处理图像的背景区域,并对背景区域进行边缘检测,提取背景区域的边缘特征,并根据该边缘特征确定待处理图像对应的背景复杂度。可选地,背景区域包含的边缘特征越多,可说明背景区域的内容细节越丰富,背景复杂度可越高。可采用Canny边缘检测算子、Laplacian检测算子、DoG检测算子、索菲尔检测算子等对待处理图像进行边缘检测,但不限于此。
步骤230,判断背景复杂度是否大于第一复杂度阈值,若是,则执行步骤250,若否,则执行步骤240。
可判断待处理图像对应的背景复杂度是否大于第一复杂度阈值,若待处理图像对应的背景复杂度大于该第一复杂度阈值,则背景区域为复杂背景,可确定待处理图像为复杂背景图像;若待处理图像对应的背景复杂度小于或等于第一复杂度阈值,则背景区域为简单背景,可确定待处理图像为简单背景图像。
步骤240,根据待处理图像的头发抠图结果及第一人像掩膜生成目标人像掩膜。
头发抠图结果为对待处理图像进行头发区域的抠图处理得到的,由于头发抠图结果在待处理图像的背景区域为简单背景时,表现力更优、准确性更高,因此,若待处理图像为简单背景图像,则电子设备可获取待处理图像的头发抠图结果,并根据该头发抠图结果及第一人像掩膜生成目标人像掩膜。可选地,头发抠图结果可包括第二头发掩膜,第二头发腌膜可对待处理图像中属于头发区域的像素点进行标注,进一步地,第二头发掩膜可采用0~1的值表示像素点属于头发区域的概率。相较于头发分割结果,头发抠图的精细度可更高。
头发抠图结果可预先存储在存储器中,也可以是电子设备在确定待处理图像的背景复杂度小于或等于第一复杂度阈值后,对待处理图像进行头发区域的抠图处理,得到头发抠图结果。头发区域的抠图处理方式可包括但不限于泊松抠图(Poisson Matting)方法、基于贝叶斯理论的贝叶斯抠图(Bayes Matting)、基于数据驱动的机器学习抠图方法或者封闭式表面抠图方法等不使用深度学习的传统抠图方法,或者运用诸如卷积神经网络(Convolutional Neutral Network,CNN)等人工神经网络的基于深度学习的抠图方法。
作为一种具体实施方式,电子设备可将待处理图像输入头发抠图模型,通过该头发抠图模型提取待处理图像的特征,并根据特征确定待处理图像中的头发区域,以得到头发抠图结果。其中,头发抠图模型可以是基于第三人像样本集合训练得到的,该第三人像样本集合包括多张标注有头发区域的人像样本图像。相对于头发分割模型,头发抠图模型识别头发区域的精细度更高,可选地,为了保证头发抠图模型的精度,可按照预设的精度条件对头发抠图模型进行训练,使得头发抠图模型输出的头发抠图结果满足该精度条件。可选地,该精度条件可采用一项或多项精度指标进行设定,例如,该精度指标可包括得到的人像分割结果与真实人像分割结果之间的绝对误差和(Sum of Absolute Difference,SAD)、均方误差(mean squared error,MSE)、梯度误差等;精度条件可包括得到的头发抠图结果与真实的头发区域之间的误差小于SAD阈值、小于MSE阈值、小于梯度误差阈值等中的一种或多种。
在一些实施例中,该头发抠图模型可以是采用U-Net等网络架构的模型,也可采用生成对抗网络的模型架构等,第三人像样本集合中可包括简单背景样本图像及复杂背景样本图像,通过复杂背景样本图像对采用生成对抗网络模型架构的头发抠图模型进行训练,可提高网络鲁棒性,提高头发抠图模型在复杂背景图像中的表现力,提高头发抠图结果的准确性。
步骤250,根据第一人像掩膜及头发分割结果生成目标人像掩膜。
在待处理图像的背景区域为复杂背景时,对待处理图像进行头发区域的抠图处理所得到的头发抠图结果表现力较差,容易出现将背景区域误认为是头发区域的情况,准确性较低,因此,若待处理图像为背景复杂图像,则可根据第一人像掩膜及头发分割结果生成目标人像掩膜。根据待处理图像的背景复杂度,选择合适的头发识别结果,能够提高生成的目标人像掩膜的准确性。
需要说明的是,上述的第一复杂度阈值可根据多次的试验结果统计得到,例如,可对多张具有不同背景复杂度的样本图像进行头发区域的抠图处理,并得到各张样本图像对应的头发抠图结果,可对各张样本图像对应的头发抠图结果的准确性进行统计分析,并基于分析结果确定第一复杂度阈值,以使得大部分背景复杂度小于或等于该第一复杂度阈值的样本图像的头发抠图结果的准确性高,而大部分背景复杂度大于该第一复杂度阈值的样本图像的头发抠图结果的准确性低。
在本申请实施例中,根据待处理图像、待处理图像的第一人像掩膜及头发分割结果确定待处理图像对应的背景复杂度,若该背景复杂度小于或等于第一复杂度阈值,则根据待处理图像的头发抠图结果及第一人像掩膜生成目标人像掩膜,若该背景复杂度大于第一复杂度阈值,则根据第一人像掩膜及头发分割结果生成目标人像掩膜,在待处理图像为简单背景图像时,利用精细度更高、表现力更优的头发抠图结果生成目标人像掩膜,能够提高头发区域中发丝的清晰效果,在待处理图像为复杂背景图像时,头发抠图结果的表现力较差,则利用头发分割结果生成目标人像掩膜,能够准确得到待处理图像的人像掩膜,提高了待处理图像的人像区域的识别准确性。
如图3所示,在一个实施例中,步骤根据待处理图像、第一人像掩膜及头发分割结果确定待处理图像对应的背景复杂度,可包括以下步骤:
步骤302,根据第一人像掩膜及头发分割结果,确定待处理图像中的头发扩展感兴趣区域。
头发扩展感兴趣区域可包含头发区域及部分背景区域,作为一种实施方式,可根据头发分割结果确定待处理图像中的头发区域,并确定该头发区域的边界框(boundingBox),可选地,该边界框可以是头发区域的外接矩形框,边界框所包含的图像区域可定义为头发感兴趣区域,可对该头发感兴趣区域进行扩展,得到头发扩展感兴趣区域。例如,可按照预设的放大倍数(如1倍、2倍等)对头发感兴趣区域进行放大,得到头发扩展感兴趣区域,头发扩展感兴趣区域的中心像素点可与头发感兴趣区域的中心像素点相同;也可将头发感兴趣区域的长和宽增加预设的边界值,得到头发扩展感兴趣区域。
示例性地,图4A为一个实施例中头发扩展感兴趣区域的示意图。如图4A所示,可先根据待处理图像400的第一人像掩膜及头发分割结果确定头发区域,并计算头发区域的边界框410,再基于该边界框410进行区域扩展,得到头发扩展感兴趣区域420,头发扩展感兴趣区域420中可至少包括头发区域及部分背景区域。
在一些实施例中,头发分割结果可包括第一头发掩膜,步骤根据第一人像掩膜及头发分割结果,确定待处理图像中的头发扩展感兴趣区域,可包括:对第一头发掩膜中的头发区域进行膨胀处理;对第一人像掩膜中的人像区域进行腐蚀处理;根据膨胀处理后的第一头发掩膜及腐蚀处理后的第一人像掩膜确定头发外轮廓;基于头发外轮廓确定头发扩展感兴趣区域。
膨胀处理是一种局部求最大值的操作,可利用第一卷积核与第一头发掩膜中的头发区域进行卷积,计算该第一卷积核所覆盖的像素点,以扩大第一头发掩膜中的头发区域。腐蚀处理是一种局部求最小值的操作,可利用第二卷积核与第一人像掩膜中的人像区域进行卷积,保留覆盖该第二卷积核的像素点,以缩小第一人像掩膜中的人像区域。
可根据膨胀处理后的第一头发掩膜及腐蚀处理后的第一人像掩膜确定头发外轮廓,该头发外轮廓可用于指示头发区域。进一步地,可将膨胀处理后的第一头发掩膜减去腐蚀处理后的第一人像掩膜,以得到头发外轮廓。图4B为一个实施例中计算头发外轮廓的示意图。如图4B所示,可将膨胀处理后的第一头发掩膜440减去腐蚀处理后的第一人像掩膜430,得到头发外轮廓450。头发外轮廓450的计算公式可为式(1):
hair_outline=hair_mask-erode(pe_mask) 式(1);
其中,hair_outline表示头发外轮廓450,hair_mask表示膨胀处理后的第一头发掩膜440,erode(pe_mask)表示腐蚀处理后的第一人像掩膜430。
在一些实施例中,可根据头发外轮廓确定头发区域的边界框,并对该边界框进行扩展,得到头发扩展感兴趣区域。进一步地,可对头发外轮廓所指示的图像区域进行连通域检测,该头发外轮廓所指示的图像区域可以是第一头发掩膜中的图像区域,也可以是待处理图像或第一人像掩膜中的图像区域。可确定连通域面积小于面积阈值的噪声区域,并删除该噪声区域,以得到目标头发区域,通过删除头发区域中小面积的噪声,可以提高头发区域识别的准确性,并提高后续计算背景复杂度的准确性。需要说明的是,本申请实施例对连通域检测的方式不作限定。
可确定目标头发区域对应的第一边界框,并对该第一边界框进行扩展,得到头发扩展感兴趣区域,例如,可按照预设倍数对第一边界框进行放大,得到头发扩展感兴趣区域;或是将第一边界框的长和宽增加预设的边界值,得到头发扩展感兴趣区域。可选地,在对第一边界框进行扩展后,还可根据头发外轮廓对扩展的区域进行调整,以得到头发扩展感兴趣区域。例如,可根据头发外轮廓对扩展的区域进行调整,使得头发外轮廓处于头发扩展感兴趣区域的中间区域,头发外轮廓在横坐标轴上的坐标分布可处于头发扩展感兴趣区域的长的中间,头发外轮廓在纵坐标轴上的坐标分布可处于头发扩展感兴趣区域的宽的中间等,但不限于此。
步骤304,计算头发扩展感兴趣区域的第一梯度信息。
在一些实施例中,在确定头发扩展感兴趣区域后,可从待处理图像中裁剪出该头发扩展感兴趣区域,得到扩展图像,并计算扩展图像中各个像素点的梯度值,得到第一梯度信息。计算第一梯度信息可方式可包括但不限于基于Sobel算子计算第一梯度信息、基于scharr算子计算第一梯度信息、基于Laplacian算子计算第一梯度信息等。
以基于Sobel算子计算第一梯度信息为例,Sobel算子可包括与水平方向对应的第一矩阵、与垂直方向对应的第二矩阵。可将扩展图像分别与第一矩阵及第二矩阵进行卷积计算,得到各个像素点在水平方向上的第一梯度值及在垂直方向上的第二梯度值,再根据各个像素点的第一梯度值及第二梯度值计算得到各个像素点的目标梯度值,也即得到第一梯度信息。具体地,可采用公式(2)及公式(3)计算得到第一梯度信息:
G=|Gx|+|Gy| 公式(3);
其中,A表示扩展图像(即头发扩展感兴趣区域),Gx表示扩展图像在水平方向上的梯度信息,Gy表示扩展图像在垂直方向上的梯度信息,G表示第一梯度信息。
步骤306,根据第一梯度信息计算背景复杂度。
可将头发扩展感兴趣区域对应的背景复杂度作为待处理图像对应的背景复杂度,该头发扩展感兴趣区域对应的背景复杂度可以是头发扩展感兴趣区域的整体背景复杂度。作为一种实施方式,可将头发扩展感兴趣区域中属于背景区域的各个像素点的目标梯度值作为该各个像素点对应的复杂度,并根据头发扩展感兴趣区域中属于背景区域的各个像素点的复杂度得到头发扩展感兴趣区域的整体背景复杂度。
在一些实施例中,可根据第一人像掩膜及头发分割结果,从第一梯度信息中删除第二梯度信息,以得到第三梯度信息,其中,该第二梯度信息可包括第一人像掩膜的人像区域对应的梯度信息,以及头发分割结果中的头发区域对应的梯度信息,该第三梯度信息即为头发扩展感兴趣区域中的背景区域的梯度信息。
可对第三梯度信息进行膨胀处理及模糊处理,得到与头发扩展感兴趣区域对应的背景复杂度图像,并根据该背景复杂度图像计算整体背景复杂度。模糊处理可采用高斯模糊、均值模糊、中值模糊等处理方式,具体的膨胀处理方式及模糊处理方式在本申请实施例中不作限定。该背景复杂度图像可用于表征头发扩展感兴趣区域中的背景区域在不同位置的复杂程度。
示例性地,图5为一个实施例中生成背景复杂度图像的示意图。如图5所示,可计算头发扩展感兴趣区域的第一梯度信息510,并从第一梯度信息510中删除第二梯度信息520,也即,从第一梯度信息510中删除人像区域的梯度信息,得到第三梯度信息520,该第三梯度信息520即为头发扩展感兴趣区域的背景区域的梯度信息。可对第三梯度信息520进行膨胀处理及模糊处理,得到背景杂度图像530,该背景复杂度图像530可用于表征头发扩展感兴趣区域中的背景区域在不同位置的复杂程度。
作为一种实施方式,头发扩展感兴趣区域对应的整体背景复杂度可以是头发扩展感兴趣区域包含的背景区域的平均复杂度。该背景复杂度图像可包括头发扩展感兴趣区域中属于背景区域的各个像素点的复杂度,可计算背景复杂度图像的平均复杂度,并将该平均复杂度作为头发扩展感兴趣区域对应的整体背景复杂度。
作为另一种实施方式,头发扩展感兴趣区域对应的整体背景复杂度也可以是头发扩展感兴趣区域中属于背景区域的像素点最频繁出现的复杂度。可预先划分多个复杂度区间,并统计背景复杂度图像中的各个像素点的复杂度所处的复杂度区间。可确定最多像素点的复杂度所处的目标复杂度区间,并根据该目标复杂度区域确定整体背景复杂度,例如,可将该目标复杂度区间的中间复杂度作为整体背景复杂度等,但不限于此。
可将头发扩展感兴趣区域对应的整体背景复杂度作为待处理图像对应的背景复杂度,并判断该背景复杂度是否大于第一复杂度阈值,从而确定待处理图像为简单背景图像还是复杂背景图像。
需要说明的是,也可采用其它方式计算背景复杂度,例如,可获取头发扩展感兴趣区域中头发区域的第一纹理颜色信息,以及获取头发扩展感兴趣区域中背景区域的第二纹理颜色信息,可将第一纹理颜色信息及第二纹理颜色信息进行匹配,计算二者的相似度,并根据该相似度确定背景复杂度;可将该相似度直接作为背景复杂度,若相似度大于相似度阈值,则可确定待处理图像为复杂背景图像,若该相似度小于或等于相似度阈值,则可确定待处理图像为简单背景图像,但不限于此。
在本申请实施例中,根据待处理图像中头发扩展感兴趣区域的第一梯度信息计算待处理图像对应的背景复杂度,不需要对整个待处理图像的背景区域进行复杂度计算,可以减少计算量,且利用头发扩展感兴趣区域的整体背景复杂度可准确判断利用头发抠图结果还是头发分割结果生成目标人像掩膜,保证了生成的目标人像掩膜的准确性。
如图6所示,在另一个实施例中,提供一种图像处理方法,可应用于上述的电子设备,该方法可包括以下步骤:
步骤602,获取待处理图像的第一人像掩膜及头发分割结果。
步骤604,根据待处理图像、第一人像掩膜及头发分割结果确定待处理图像对应的背景复杂度。
步骤606,判断背景复杂度是否大于第一复杂度阈值,若是,则执行步骤612,若否,则执行步骤608。
步骤602~606的描述可参考上述各实施例中的相关描述,在此不再重复赘述。
步骤608,对待处理图像的头发抠图结果进行第一优化处理,得到目标抠图结果。
在待处理图像对应的背景复杂度小于或等于第一复杂度阈值时,待处理图像为简单背景图像,可根据表现力更优、准确性更高的头发抠图结果及第一人像掩膜生成目标人像掩膜。在本申请实施例中,可对待处理图像的头发抠图结果进行第一优化处理,得到准确性更高、精细度更高的目标抠图结果,并根据该目标抠图结果及第一人像掩膜生成目标人像掩膜,以提高目标人像掩膜的准确性。
在一些实施例中,第一优化处理可包括但不限于以下几种处理方式中的至少一种:
方式一、虽然待处理图像为简单背景图像,但是待处理图像的背景区域中依然可能存在部分图像内容较为丰富的背景子区域。因此,可对头发抠图结果中,处于复杂背景子区域周围的头发区域进行腐蚀处理及模糊处理。其中,复杂背景子区域为头发抠图结果中复杂度大于第二复杂度阈值的背景子区域,第二复杂度阈值小于第一复杂度阈值。
可选地,头发抠图结果可以是对头发扩展感兴趣区域进行头发区域的抠图处理得到的。可获取头发扩展感兴趣区域对应的背景复杂度图像,并根据该背景复杂度图像对头发扩展感兴趣区域中的背景区域进行划分,若存在复杂度大于第二复杂度阈值的背景子区域,则可将该背景子区域确定为复杂背景子区域。复杂背景子区域可以是像素点的复杂度均大于第二复杂度阈值的背景子区域,也可以是平均复杂度大于第二复杂度阈值的背景子区域等,在此不作限定。
在背景子区域的图像内容较为丰富时,在对待处理图像进行头发区域的抠图处理时,可能会出现将该背景子区域误识别为头发区域的情况。因此,可对头发抠图结果中,处于复杂背景子区域周围的头发区域进行腐蚀处理及模糊处理,缩小处于复杂背景子区域周围的头发区域,并实现从复杂背景子区域到头发区域的自然过渡,提高头发区域的准确性。
方式二、提高头发抠图结果中,处于简单背景子区域周围的头发区域的置信度。其中,简单背景子区域为头发抠图结果中复杂度小于或等于第二复杂度阈值的背景子区域。
可根据上述的背景复杂度图像对头发扩展感兴趣区域中的背景区域进行划分,若存在复杂度小于或等于第二复杂度阈值的背景子区域,则可将该背景子区域确定为第一简单子区域。简单背景子区域可以是像素点的复杂度均小于或等于第二复杂度阈值的背景子区域,也可以是平均复杂度小于或等于第二复杂度阈值的背景子区域等,在此不作限定。
由于头发抠图结果在简单背景的表现力更优、结果更加准确,因此,可提高头发抠图结果中,处于简单背景子区域周围的头发区域的置信度,该置信度可用于表征像素点属于头发区域的可信度(也可理解为概率),像素点的置信度越高,属于头发区域的可能性越大,结果越可靠。通过提高头发抠图结果中,处于简单背景子区域周围的头发区域的置信度,能够使得发丝在简单背景的图像中更加显性,提高头发区域的准确性。
方式三、基于引导滤波器对头发抠图结果进行上采样滤波处理。在一些实施例中,头发抠图结果可以是通过头发抠图模型对裁剪出的头发扩展感兴趣区域处理得到的,该头发抠图模型可为小尺度网络模型,得到的头发抠图结果的分辨率可较小。因此,可先将头发抠图结果放大至与裁剪出的头发扩展感兴趣区域相同的尺寸(或放大于与待处理图像相同的尺寸),再以裁剪出的头发扩展感兴趣区域(或待处理图像)为引导滤波器的引导图像,引导滤波器可基于裁剪出的头发扩展感兴趣区域(或待处理图像)的图像信息,对头发抠图结果进行滤波处理,能够使得滤波处理后的头发抠图结果的纹理及边缘等特征与头发扩展感兴趣区域相似,从而提高头发抠图结果的精细度及准确性。
需要说明的是,头发抠图模型也可以是大尺度网络模型,可得到高分辨率的头发抠图结果,以提高头发抠图结果的准确性,基于引导滤波器对头发抠图结果进行上采样滤波处理并不是必要处理步骤。
方式四、若待处理图像对应的图像场景为目标场景,则对头发抠图结果的头发区域进行腐蚀处理及模糊处理。其中,目标场景可为场景亮度值低于亮度阈值的场景,例如夜晚场景、亮度较暗的室内场景等。头发抠图结果在明亮场景下的发丝清晰效果较果,而在较暗的场景下,头发抠图结果的表现力较差,可能会出现头发区域不准确的情况。因此,在本申请实施例中,可先判断待处理图像对应的图像场景是否为目标场景,若为目标场景,则可对头发抠图结果的头发区域进行腐蚀处理及模糊处理,以使得头发区域的边缘向内收缩以及模糊过渡,提高了头发区域的准确性。
在一些实施例中,可通过场景分类模型判断待处理图像对应的图像场景是否为目标场景,该场景分类模型可以是根据大量的目标场景样本图像进行训练得到的,场景分类模型可提取待处理图像的图像特征,并根据该图像特征判断待处理图像是否属于目标场景。
在一些实施例中,电子设备可获取待处理图像对应的感光值(ISO),该感光值可用于是衡量底片对于光的灵敏程度。若待处理图像为电子设备通过摄像头实时采集的图像,则可直接获取摄像头当前的感光值,若待处理图像为存储器中存储的图像,则可从存储器中读取该待处理图像相关的拍摄参数,从而获取感光值。
可判断待处理图像对应的感光值是否大于感光阈值,若感光值大于感光阈值,说明待处理图像的感光值较高,感光值越高,底片对弱光的敏感度越高,则可捕抓到更多的弱光,适用于光线较暗的场景下使用。因此,若待处理图像对应的感光值大于感光阈值,可确定待处理图像对应的图像场景为目标场景。该感光阈值可以是经过多次试验测试得到的经验值。
需要说明的是,判断待处理图像对应的图像场景是否为目标场景也可采用其它方式,本申请实施例对此不作限定。
第一优化处理方式可以仅包括上述几种方式中的一种,也可以是多种方式的任意组合,各种方式的先后执行顺序在本申请实施例中不作限制。
步骤610,将目标抠图结果与第一人像掩膜进行融合,得到目标人像掩膜。
在一些实施例中,由于目标抠图结果包括更多的发丝细节,因此,将目标抠图结果与第一人像掩膜进行融合,可以是取目标抠图结果与第一人像掩膜的并集,可使得目标人像掩膜具备更丰富、更细致的发丝效果。
作为一种实施方式,针对每个像素点,可将像素点在目标抠图结果的值以及在第一人像掩膜中的值进行比较,并取其中的最大值,该最大值即为像素点在目标人像掩膜中的值。具体地,可按照公式(4)将目标抠图结果与第一人像掩膜进行融合:
T_MASK(x,y)=MAX(Matting(x,y),pe_mask(x,y)) 公式(4);
其中,Matting(x,y)表示像素点(x,y)在目标抠图结果的值,pe_mask(x,y)表示像素点(x,y)在第一人像掩膜中的值,T_MASK(x,y)表示像素点(x,y)在目标人像掩膜中的值。
示例性地,图7A为一个实施例中将目标抠图结果与第一人像掩膜进行融合的示意图。如图7A所示,可对头发抠图结果710进行第一优化处理,得到目标抠图结果720,再将目标抠图结果720与第一人像掩膜730进行融合,得到目标人像掩膜740。
在一些实施例中,头发的抠图算法若只支持单人的头发区域的抠图处理,则若待处理图像中包括至少两个人像,可先将第一人像掩膜与头发分割结果进行融合,得到第二人像掩膜,再将目标抠图结果与该第二人像掩膜进行融合,得到目标人像掩膜。可选地,将第一人像掩膜与头发分割结果进行融合的方式也可以是取第一人像掩膜与头发分割结果的并集。具体地,针对每个像素点,可将像素点在第一人像掩膜的值与像素点在头发分割结果的值进行比较,并取其中的最大值,该最大值即为像素点在第二人像掩膜的值。可按照公式(5)将第一人像掩膜与头发分割结果进行融合:
pe2_mask(x,y)=MAX(hair_mask(x,y),pe_mask(x,y)) 公式(5);
其中,pe2_mask(x,y)表示像素点(x,y)在第二人像掩膜中的值,hair_mask(x,y)表示像素点(x,y)在头发分割结果中的值,pe_mask(x,y)表示像素点(x,y)在第一人像掩膜中的值。可将第二人像掩膜作为新的第一人像掩膜,并按照上述的公式(4)与目标抠图结果进行融合,得到目标人像掩膜。
步骤612,对头发分割结果进行第二优化处理,得到目标分割结果。
在待处理图像对应的背景复杂度大于第一复杂度阈值时,待处理图像为复杂背景图像,头发抠图结果表现力较差,可根据第一人像掩膜及头发分割结果生成目标人像掩膜。在本申请实施例中,可对头发分割结果进行第二优化处理,得到准确性更高、精细度更高的目标分割结果,并根据该目标分割结果及第一人像掩膜生成目标人像掩膜,以提高目标人像掩膜的准确性。
在一些实施例中,第二优化处理可包括但不限于以下几种处理方式中的至少一种:
方式一、对头发分割结果的头发区域进行腐蚀处理。通过对头发分割结果的头发区域进行腐蚀处理,可以改善头发分割出的头发区域过多的情况,提高头发分割结果的准确性。
方式二、对头发分割结果的头发区域进行模糊处理。通过对头发分割结果的头发区域进行模糊处理,可以使得头发分割结果中的头发区域的边缘过渡自然。
方式三、基于引导滤波器对头发分割结果进行引导滤波处理。可将待处理图像作为引导滤波器的引导图像,引导滤波器可基于待处理图像的图像信息对头发分割结果进行引导滤波处理,以得到更加精细的头发分割结果。
在一些实施例中,当头发区域的面积过小时,对头发分割结果进行引导滤波会出现像素级的网格状,因此,可对引导滤波处理后的头发分割结果进行模糊处理,以改善出现像素级的网格状的情况,提高头发分割结果的准确度及精细度。
方式四、基于背景复杂度对头发分割结果进行伽玛校正处理。可根据待处理图像对应的背景复杂度计算伽玛参数,并根据该伽玛参数对头发分割结果进行伽玛校正处理。具体地,可按照公式(6)计算伽玛参数,并按照公式(7)进行伽玛校正处理:
其中,gamma表示伽玛参数,complexity表示背景复杂度,x表示原始值,y表示校正后的值。通过对头发分割结果进行伽玛校正处理,可进行自适应内收过渡处理,提高头发分割结果的准确度。
第二优化处理方式可以仅包括上述几种方式中的一种,也可以是多种方式的任意组合,各种方式的先后执行顺序在本申请实施例中不作限制。例如,可先对头发分割结果进行腐蚀处理,再对腐蚀处理后的头发分割结果进行模糊处理,再基于引导滤波器对模糊处理后的头发分割结果进行引导滤波处理,再进一步地基于背景复杂度对引导滤波处理后的头发分割结果进行伽玛校正处理,得到目标分割结果。
步骤614,将目标分割结果与第一人像掩膜进行融合,得到目标人像掩膜。
相较于第一人像掩膜,目标分割结果可包括更多的发丝细节,可将目标分割结果与第一人像掩膜进行融合,得到精细度更高、包含更多细节的目标人像掩膜。可以取目标分割结果与第一人像掩膜的并集,得到目标人像掩膜。
作为一种实施方式,针对每个像素点,可将像素点在目标分割结果的值与像素点在第一人像掩膜的值进行比较,并取其中的最大值,该最大值即为像素点在目标人像掩膜的值。可按照公式(8)将目标分割结果与第一人像掩膜进行融合:
T_MASK(x,y)=MAX(hair2_mask(x,y),pe_mask(x,y)) 公式(8);
其中,hair2_mask(x,y)像素点(x,y)在目标分割结果的值,pe_mask(x,y)表示像素点(x,y)在第一人像掩膜中的值,T_MASK(x,y)表示像素点(x,y)在目标人像掩膜中的值。
示例性地,图7B为一个实施例中将目标分割结果与第一人像掩膜进行融合的示意图。如图7B所示,可对头发分割结果750进行第二优化处理,得到目标分割结果760,再将目标分割结果760与第一人像掩膜730进行融合,得到目标人像掩膜770。
在本申请实施例中,通过对头发抠图结果或头发分割结果进行优化,得到精细度更高、准确性更高的目标抠图结果或目标分割结果,可提高生成的目标人像掩膜中头发区域的准确性,并使得目标人像掩膜包含更丰富的发丝细节,进一步地,可提高后续基于目标人像掩膜对待处理图像进行图像处理的处理效果。
如图8所示,在另一个实施例中,提供一种图像处理方法,可应用于上述的电子设备,该方法可包括以下步骤:
步骤802,获取待处理图像的第一人像掩膜及头发分割结果。
步骤802的描述可参考上述各实施例中的相关描述,在此不再重复赘述。
步骤804,根据第一人像掩膜及头发分割结果,确定内过渡参数。
内过渡参数可用于表征对头发区域进行内过渡处理程度,通过对头发区域进行内过渡处理,可使得头发区域的边缘更加准确且过渡自然,避免头发区域的边缘过于锐利。可选地,内过渡参数可包括内过渡宽度,内过渡处理可至少包括模糊处理。
在一些实施例中,可根据头发分割结果,确定第一人像掩膜中的头发感兴趣区域,并根据头发感兴趣区域的图像面积确定内过渡参数。可根据头发分割结果确定第一人像掩膜中的头发区域的边界框(boundingBox)。可选地,该边界框可以是头发区域的外接矩形框,可将该边界框所包含的图像区域定义为头发感兴趣区域。
可选地,可从第一人像掩膜中裁剪出该头发感兴趣区域,并判断裁剪出的头发感兴趣区域的图像面积是否满足处理条件,若满足处理条件,则可对裁剪出的头发感兴趣区域进行内过渡处理,若不满足处理条件,则可不对裁剪出的头发感兴趣区域进行内过渡处理。其中,处理条件可包括但不限于裁剪出的头发感兴趣区域的图像面积大于面积阈值、裁剪出的头发感兴趣区域的图像面积占第一人像掩膜的总图像面积的比例大于比例阈值等。仅在头发感兴趣区域的图像面积较大时进行内过渡处理,避免误处理的情况,能够提高处理后的头发区域的准确性。
可根据裁剪出的头发感兴趣区域的图像面积确定内过渡参数,作为一种具体实施方式,可计算头发感兴趣区域对应的裁剪比例,并获取待处理图像包含的人像数量,可根据该裁剪比例及人像数量确定内过渡参数。裁剪比例可指的是裁剪出的头发感兴趣区域的图像面积占第一人像掩膜的总图像面积的比例,具体地,在裁剪比例较大且人像数量较少时,内过渡参数可较大,在裁剪比例较小或人像数量较多时,内过渡参数可较小。可选地,可将该裁剪比例除以人像数量,得到每个人像对应的平均裁剪比例,该平均裁剪比例与内过渡宽度可呈正相关关系,在平均裁剪比例较大,内过渡宽度可较大。通过裁剪比例及人像数量自适应确定内过渡参数,可提高内过渡处理的准确性,进一步保证头发区域的准确性。
步骤806,根据内过渡参数对第一人像掩膜的头发区域进行模糊处理,以得到第三人像掩膜,并将第三人像掩膜与第一人像掩膜进行融合,得到新的第一人像掩膜。
在一些实施例中,可根据内过渡参数对头发感兴趣区域中的头发区域进行模糊处理,以得到第三人像掩膜。进一步地,可对裁剪出的头发感兴趣区域中的头发区域进行腐蚀处理,再基于确定的内过渡宽度对腐蚀处理后的头发感兴趣区域中的头发区域进行模糊处理,可选地,该模糊处理可包括但不限于均值模糊处理,该内过渡宽度可用于表征头发区域的模糊处理程度。进一步地,该内过渡宽度可以是进行模糊处理的滤波器的模糊半径,模糊半径越大,模糊程度越大,模糊效果越强,可根据该模糊半径对第一人像掩膜的头发区域的边缘进行模糊处理,以达到模糊过渡的效果。
在一些实施例中,可根据裁剪出的头发感兴趣区域对应的裁剪坐标,将模糊处理后的头发感兴趣区域回填到第一人像掩膜,得到第三人像掩膜,该裁剪坐标可以是第一人像掩膜中的头发区域的边界框的四个角点坐标。将模糊处理后的头发感兴趣区域回填到第一人像掩膜,直接将第一人像掩膜中未处理的头发感兴趣区域替换为该模糊处理后的头发感兴趣区域,得到第三人像掩膜。
示例性地,图9A为一个实施例中得到第三人像掩膜的示意图。如图9A所示,可根据头发分割结果确定第一人像掩膜910的头发感兴趣区域,并从第一人像掩膜910中裁剪出头发感兴趣区域920,可对裁剪出的头发感兴趣区域920进行模糊处理,得到模糊处理后的头发感兴趣区域930,再将模糊处理后的头发感兴趣区域930回填到第一人像掩膜910,得到第三人像掩膜940。通过裁剪出头发感兴趣区域,可有效减少计算量,提高图像处理效率。
电子设备可将第三人像掩膜与第一人像掩膜进行融合,得到新的第一人像掩膜,该融合方式包括但不限于取均值进行融合、分配不同权重系数融合等。
在一些实施例中,可根据第一人像掩膜及头发分割结果,确定头发外轮廓,并对头发外轮廓进行膨胀处理及模糊处理,以得到目标权重图,再基于目标权重图,将第三人像掩膜与第一人像掩膜进行融合,得到新的第一人像掩膜。
可选地,可计算第一人像掩膜的人像区域的边界框(boundingBox),可选地,该边界框可以是人像区域的外接矩形框,得到第一人像掩膜的人像感兴趣区域。可从第一人像掩膜中裁剪出人像感兴趣区域,并对裁剪出的人像感兴趣区域中的人像区域进行腐蚀处理,可将头发分割结果减去腐蚀处理后的人像感兴趣区域,得到头发外轮廓。
可对头发外轮廓进行膨胀处理及模糊处理,得到更加平滑、柔和的目标权重图,该目标权重图可作为第三人像掩膜与第一人像掩膜的融合权重。在一些实施例中,可对头发外轮廓进行膨胀处理及模糊处理,得到第一权重图,并根据第一人像掩膜及头发分割结果,确定不包含头发区域的头部区域,可根据该第一权重图与该头部区域生成目标权重图。
基于头发外轮廓得到的第一权重图在头发与人脸毗连的情况下会出现错误融合(例如融合得到的新的第一人像掩膜出现人脸锯齿、过渡太宽等问题),所以需要进行人脸保护,去除第一权重图中人脸区域的权重。可对不包含头发区域的头部区域进行膨胀处理,并将第一权重图中与膨胀处理后的头部区域相减,得到目标权重图。能够避免在头发与人脸毗连的情况下出现错误融合的问题,提高后续融合的准确性。
作为一种实施方式,可将第三人像掩膜与第一人像掩膜进行Alpha融合处理,Alpha融合处理可为第三人像掩膜及第一人像掩膜中的每个像素点分别赋予一个Alpha值,使得第三人像掩膜与第一人像掩膜具有不同的透明度。具体地,可将目标权重图作为第三人像掩膜的Alpha值,基于目标权重图,将第三人像掩膜与第一人像掩膜进行Alpha融合,得到新的第一人像掩膜。
具体地,将第三人像掩膜与第一人像掩膜进行Alpha融合处理,Alpha融合处理的公式可如式(9)所示:
I=αI1+(1-α)I2 式(9);
其中,I1表示第三人像掩膜,α表示目标权重图,I2表示第一人像掩膜,I表示融合得到的新的第一人像掩膜。
示例性地,图9B为一个实施例中将第三人像掩膜与第一人像掩膜进行融合的示意图。如图9B所示,可将目标权重图950作为第三人像掩膜940的Alpha值,并第三人像掩膜940与第一人像掩膜910进行Alpha融合处理,得到新的第一人像掩膜960。利用目标权重图作为Alpha值进行融合,可提高得到的新的第一人像掩膜的准确性,且使得融合得到的新的第一人像掩膜更加平滑、柔和。
步骤808,根据待处理图像、第一人像掩膜及头发分割结果确定待处理图像对应的背景复杂度。
步骤810,判断背景复杂度是否大于第一复杂度阈值,若是,则执行步骤816,若否,则执行步骤812。
步骤812,对待处理图像的头发抠图结果进行第一优化处理,得到目标抠图结果。
步骤814,将目标抠图结果与新的第一人像掩膜进行融合,得到目标人像掩膜。
步骤816,对头发分割结果进行第二优化处理,得到目标分割结果。
步骤818,将目标分割结果与新的第一人像掩膜进行融合,得到目标人像掩膜。
步骤808~818的描述可参考上述各实施例中的相关描述,在此不再重复赘述。
在待处理图像对应的背景复杂度小于或等于第一复杂度阈值时,可根据待处理图像的头发抠图结果及新的第一人像掩膜生成目标人像掩膜。进一步地,可对头发抠图结果进行第一优化处理,并将第一优化处理后得到的目标抠图结果与新的第一人像掩膜进行融合,得到目标人像掩膜。
在待处理图像对应的背景复杂度大于第一复杂度阈值时,可根据第一人像掩膜及新的第一人像掩膜生成目标人像掩膜。进一步地,可对头发分割结果进行第二优化处理,并将第二优化处理后得到的目标分割结果与新的第一人像掩膜进行融合,得到目标人像掩膜。
具体的融合方式可参考上述各实施例中描述的将目标抠图结果与第一人像掩膜进行融合,以及将目标分割结果与第一人像掩膜进行融合的描述,在此不再赘述。
在一些实施例中,电子设备在得到目标人像掩膜后,可根据目标人像掩膜对待处理图像进行虚化处理,得到目标图像。可选地,可根据目标人像掩膜确定待处理图像前景的人像区域及背景区域,并对待处理图像中的背景区域进行虚化处理,以得到目标图像,其中,虚化处理可采用高斯滤波器、均值模糊处理、中值模糊处理等方式进行实现,在此不作限定。
在一些实施例中,电子设备也可先对待处理图像进行背景区域的虚化处理,得到虚化图像,再基于目标人像掩膜,将虚化图像与待处理图像进行融合,得到目标图像。该融合的方式可包括但不限于取均值进行融合、分配不同权重系数融合、Alpha融合处理等。以Alpha融合处理为例,可将目标人像掩膜作为虚化图像的Alpha值,将待处理图像与虚化图像进行融合。
作为一种具体实施方式,对待处理图像中的背景区域进行虚化处理的方式,可以是基于待处理图像的深度图对待处理图像的背景区域进行区域划分,将背景区域中深度信息相同或相近的像素点划分到同一区域中,得到一个或多个背景子区域,可根据划分后的各个背景子区域的像素点的深度信息确定各个背景子区域对应的虚化参数,再根据各个背景子区域对应的虚化参数对各个背景子区域进行虚化处理。该虚化参数可用于描述虚化程度,例如可包括虚化力度、虚化系数等参数,深度信息较大的背景子区域可对应较大的虚化程度,深度信息较小的背景子区域可对应较小的虚化程度,从而可分别对不同的背景子区域进行不同程度的虚化处理。
由于目标人像掩膜的人像边缘保持了锐利、清晰的头发边缘,且保持了柔和的内过渡,避免了头发边缘过锐带来的贴图感,以及人像边缘过渡太宽带来身体边缘的漏虚问题。目标人像掩膜补充了丰富的发丝细节,在待处理图像为简单背景图像时,利用精细度更高、表现力更优的头发抠图结果生成目标人像掩膜,能够实现发丝清晰锐利的效果,使得虚化图像的发丝区域显著。在待处理图像为复杂背景图像时,利用头发分割结果生成目标人像掩膜,能够让虚化图像的头发边缘实现由内而外的自然渐变过渡,提高了虚化效果。
在本申请实施例中,可先基于头发分割结果对第一人像掩膜进行内过渡的模糊处理,使得第一人像掩膜的头发边缘更加准确、过渡自然,再基于待处理图像的背景复杂度补充第一人像掩膜中头发区域的外轮廓的发丝细节,提高目标人像掩膜中人像区域的准确性,进一步提高了后续基于目标人像掩膜对待处理图像进行图像处理的处理效果。
如图10所示,在一个实施例中,提供一种图像处理装置1000,可应用于上述的电子设备,该图像处理装置1000可包括获取模块1010、复杂度确定模块1020、第一处理模块1030及第二处理模块1040。
获取模块1010,用于获取待处理图像的第一人像掩膜及头发分割结果。其中,第一人像掩膜用于表征待处理图像中的人像区域位置,头发分割结果为对待处理图像进行头发区域的分割处理得到的。
复杂度确定模块1020,用于根据待处理图像、第一人像掩膜及头发分割结果确定待处理图像对应的背景复杂度。
第一处理模块1030,用于若背景复杂度小于或等于第一复杂度阈值,则根据待处理图像的头发抠图结果及第一人像掩膜生成目标人像掩膜。其中,头发抠图结果为对待处理图像进行头发区域的抠图处理得到的。
第二处理模块1040,用于若背景复杂度大于第一复杂度阈值,则根据第一人像掩膜及头发分割结果生成目标人像掩膜。
在本申请实施例中,在待处理图像为简单背景图像时,利用精细度更高、表现力更优的头发抠图结果生成目标人像掩膜,能够提高头发区域中发丝的清晰效果,在待处理图像为复杂背景图像时,头发抠图结果的表现力较差,则利用头发分割结果生成目标人像掩膜,能够准确得到待处理图像的人像掩膜,提高了待处理图像的人像区域的识别准确性。
在一个实施例中,复杂度确定模块1020,包括扩展区域确定单元、梯度计算单元及复杂度计算单元。
扩展区域确定单元,用于根据第一人像掩膜及头发分割结果,确定待处理图像中的头发扩展感兴趣区域。
在一个实施例中,扩展区域确定单元,还用于对第一头发掩膜中的头发区域进行膨胀处理;对第一人像掩膜中的人像区域进行腐蚀处理;根据膨胀处理后的第一头发掩膜及腐蚀处理后的第一人像掩膜确定头发外轮廓;基于头发外轮廓确定头发扩展感兴趣区域。
在一个实施例中,扩展区域确定单元,还用于对头发外轮廓所指示的图像区域进行连通域检测,确定连通域面积小于面积阈值的噪声区域,并删除噪声区域,以得到目标头发区域;确定目标头发区域对应的第一边界框,并对第一边界框进行扩展,得到头发扩展感兴趣区域。
梯度计算单元,用于计算头发扩展感兴趣区域的第一梯度信息。
复杂度计算单元,用于根据第一梯度信息计算背景复杂度。
在一个实施例中,复杂度计算单元,还用于根据第一人像掩膜及头发分割结果,从第一梯度信息中删除第二梯度信息,以得到第三梯度信息;对第三梯度信息进行膨胀处理及模糊处理,得到与头发扩展感兴趣区域对应的背景复杂度图像;根据背景复杂度图像计算整体背景复杂度,并将整体背景复杂度作为待处理图像对应的背景复杂度。其中,第二梯度信息包括第一人像掩膜的人像区域对应的梯度信息,以及头发分割结果中的头发区域对应的梯度信息。
在本申请实施例中,根据待处理图像中头发扩展感兴趣区域的第一梯度信息计算待处理图像对应的背景复杂度,不需要对整个待处理图像的背景区域进行复杂度计算,可以减少计算量,且利用头发扩展感兴趣区域的整体背景复杂度可准确判断利用头发抠图结果还是头发分割结果生成目标人像掩膜,保证了生成的目标人像掩膜的准确性。
在一个实施例中,第一处理模块1030,还用于若背景复杂度小于或等于第一复杂度阈值,则对待处理图像的头发抠图结果进行第一优化处理,得到目标抠图结果,并将目标抠图结果与第一人像掩膜进行融合,得到目标人像掩膜。
在一个实施例中,第一优化处理包括以下中的至少一种:
对头发抠图结果中,处于复杂背景子区域周围的头发区域进行腐蚀处理及模糊处理,其中,复杂背景子区域为头发抠图结果中复杂度大于第二复杂度阈值的背景子区域,第二复杂度阈值小于第一复杂度阈值;
提高头发抠图结果中,处于简单背景子区域周围的头发区域的置信度,其中,简单背景子区域为头发抠图结果中复杂度小于或等于第二复杂度阈值的背景子区域;
基于引导滤波器对头发抠图结果进行上采样滤波处理;
若待处理图像对应的图像场景为目标场景,则对头发抠图结果的头发区域进行腐蚀处理及模糊处理,目标场景为场景亮度值低于亮度阈值的场景。
在一个实施例中,第一处理模块1030,还用于若待处理图像中包括至少两个人像,则将第一人像掩膜与头发分割结果进行融合,得到第二人像掩膜,再将目标抠图结果与第二人像掩膜进行融合,得到目标人像掩膜。
在一个实施例中,第二处理模块1040,还用于若背景复杂度大于第一复杂度阈值,则对头发分割结果进行第二优化处理,得到目标分割结果,并将目标分割结果与第一人像掩膜进行融合,得到目标人像掩膜。
在一个实施例中,第二优化处理包括以下中的至少一种:
对头发分割结果的头发区域进行腐蚀处理;
对头发分割结果的头发区域进行模糊处理;
基于引导滤波器对头发分割结果进行引导滤波处理;
基于背景复杂度对头发分割结果进行伽玛校正处理。
在本申请实施例中,通过对头发抠图结果或头发分割结果进行优化,得到精细度更高、准确性更高的目标抠图结果或目标分割结果,可提高生成的目标人像掩膜中头发区域的准确性,并使得目标人像掩膜包含更丰富的发丝细节,进一步地,可提高后续基于目标人像掩膜对待处理图像进行图像处理的处理效果。
在一个实施例中,上述图像处理装置1000除了包括获取模块1010、复杂度确定模块1020、第一处理模块1030及第二处理模块1040,还包括内过渡参数确定模块及第三处理模块。
内过渡参数确定模块,用于根据第一人像掩膜及头发分割结果,确定内过渡参数。
第三处理模块,用于根据内过渡参数对第一人像掩膜的头发区域进行模糊处理,以得到第三人像掩膜;以及用于将第三人像掩膜与第一人像掩膜进行融合,得到新的第一人像掩膜。
在一个实施例中,内过渡参数确定模块,还用于根据头发分割结果,确定第一人像掩膜中的头发感兴趣区域,并根据头发感兴趣区域的图像面积确定内过渡参数。
在一个实施例中,第三处理模块,还用于根据内过渡参数对头发感兴趣区域中的头发区域进行模糊处理,以得到第三人像掩膜。
在一个实施例中,图像处理装置1000还包括权重图生成模块,用于根据第一人像掩膜及头发分割结果,确定头发外轮廓,并对头发外轮廓进行膨胀处理及模糊处理,以得到目标权重图。
第三处理模块,还用于基于目标权重图,将第三人像掩膜与第一人像掩膜进行融合,得到新的第一人像掩膜。
在一个实施例中,权重图生成模块,还用于对头发外轮廓进行膨胀处理及模糊处理,得到第一权重图;根据第一人像掩膜及头发分割结果,确定不包含头发区域的头部区域;以及用于对头部区域进行膨胀处理,并将第一权重图中与膨胀处理后的头部区域相减,得到目标权重图
第一处理模块1030,还用于若背景复杂度小于或等于第一复杂度阈值,则根据待处理图像的头发抠图结果及新的第一人像掩膜生成目标人像掩膜。
第二处理模块1040,还用于若背景复杂度大于第一复杂度阈值,则根据第一人像掩膜及新的第一人像掩膜生成目标人像掩膜。
在本申请实施例中,可先基于头发分割结果对第一人像掩膜进行内过渡的模糊处理,使得第一人像掩膜的头发边缘更加准确、过渡自然,再基于待处理图像的背景复杂度补充第一人像掩膜中头发区域的外轮廓的发丝细节,提高目标人像掩膜中人像区域的准确性,进一步提高了后续基于目标人像掩膜对待处理图像进行图像处理的处理效果。
图11为一个实施例中电子设备的结构框图。如图11所示,电子设备1100可以包括一个或多个如下部件:处理器1110、与处理器1110耦合的存储器1120,其中存储器1120可存储有一个或多个计算机程序,一个或多个计算机程序可以被配置为由一个或多个处理器1110执行时实现如上述各实施例描述的方法。
处理器1110可以包括一个或者多个处理核。处理器1110利用各种接口和线路连接整个电子设备1100内的各个部分,通过运行或执行存储在存储器1120内的指令、程序、代码集或指令集,以及调用存储在存储器1120内的数据,执行电子设备1100的各种功能和处理数据。可选地,处理器1110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现。处理器1110可集成中央处理器(Central Processing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器1110中,单独通过一块通信芯片进行实现。
存储器1120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory,ROM)。存储器1120可用于存储指令、程序、代码、代码集或指令集。存储器1120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1100在使用中所创建的数据等。
可以理解地,电子设备1100可包括比上述结构框图中更多或更少的结构元件,例如,包括电源模块、物理按键、WiFi(Wireless Fidelity,无线保真)模块、扬声器、蓝牙模块、传感器等,还可在此不进行限定。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现如上述实施例描述的方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、ROM等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM,PROM)、可擦除PROM(Erasable PROM,EPROM)、电可擦除PROM(Electrically ErasablePROM,EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory,RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM可为多种形式,诸如静态RAM(Static RAM,SRAM)、动态RAM(Dynamic Random Access Memory,DRAM)、同步DRAM(synchronous DRAM,SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM,DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM,ESDRAM)、同步链路DRAM(Synchlink DRAM,SLDRAM)、存储器总线直接RAM(Rambus DRAM,RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM,DRDRAM)。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上对本申请实施例公开的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种图像处理方法,其特征在于,包括:
获取待处理图像的第一人像掩膜及头发分割结果,所述第一人像掩膜用于表征所述待处理图像中的人像区域位置,所述头发分割结果为对所述待处理图像进行头发区域的分割处理得到的;
根据所述待处理图像、所述第一人像掩膜及所述头发分割结果确定所述待处理图像对应的背景复杂度;
若所述背景复杂度小于或等于第一复杂度阈值,则根据所述待处理图像的头发抠图结果及所述第一人像掩膜生成目标人像掩膜,所述头发抠图结果为对所述待处理图像进行头发区域的抠图处理得到的;
若所述背景复杂度大于所述第一复杂度阈值,则根据所述第一人像掩膜及所述头发分割结果生成目标人像掩膜。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待处理图像、所述第一人像掩膜及所述头发分割结果确定所述待处理图像对应的背景复杂度,包括:
根据所述第一人像掩膜及所述头发分割结果,确定所述待处理图像中的头发扩展感兴趣区域;
计算所述头发扩展感兴趣区域的第一梯度信息;
根据所述第一梯度信息计算背景复杂度。
3.根据权利要求2所述的方法,其特征在于,所述头发分割结果包括第一头发掩膜;所述根据所述第一人像掩膜及所述头发分割结果,确定所述待处理图像中的头发扩展感兴趣区域,包括:
对所述第一头发掩膜中的头发区域进行膨胀处理;
对所述第一人像掩膜中的人像区域进行腐蚀处理;
根据膨胀处理后的第一头发掩膜及腐蚀处理后的第一人像掩膜确定头发外轮廓;
基于所述头发外轮廓确定头发扩展感兴趣区域。
4.根据权利要求3所述的方法,其特征在于,所述基于所述头发外轮廓确定头发扩展感兴趣区域,包括:
对所述头发外轮廓所指示的图像区域进行连通域检测,确定连通域面积小于面积阈值的噪声区域,并删除所述噪声区域,以得到目标头发区域;
确定所述目标头发区域对应的第一边界框,并对所述第一边界框进行扩展,得到头发扩展感兴趣区域。
5.根据权利要求2所述的方法,其特征在于,所述根据所述第一梯度信息计算背景复杂度,包括:
根据所述第一人像掩膜及所述头发分割结果,从所述第一梯度信息中删除第二梯度信息,以得到第三梯度信息,其中,所述第二梯度信息包括所述第一人像掩膜的人像区域对应的梯度信息,以及所述头发分割结果中的头发区域对应的梯度信息;
对所述第三梯度信息进行膨胀处理及模糊处理,得到与所述头发扩展感兴趣区域对应的背景复杂度图像;
根据所述背景复杂度图像计算整体背景复杂度,并将所述整体背景复杂度作为所述待处理图像对应的背景复杂度。
6.根据权利要求1~5任一所述的方法,其特征在于,所述根据所述待处理图像的头发抠图结果及所述第一人像掩膜生成目标人像掩膜,包括:
对所述待处理图像的头发抠图结果进行第一优化处理,得到目标抠图结果;
将所述目标抠图结果与所述第一人像掩膜进行融合,得到目标人像掩膜;
所述根据所述第一人像掩膜及所述头发分割结果生成目标人像掩膜,包括:
对所述头发分割结果进行第二优化处理,得到目标分割结果;
将所述目标分割结果与所述第一人像掩膜进行融合,得到目标人像掩膜。
7.根据权利要求6所述的方法,其特征在于,所述第一优化处理包括以下中的至少一种:
对所述头发抠图结果中,处于复杂背景子区域周围的头发区域进行腐蚀处理及模糊处理,其中,所述复杂背景子区域为所述头发抠图结果中复杂度大于第二复杂度阈值的背景子区域,所述第二复杂度阈值小于所述第一复杂度阈值;
提高所述头发抠图结果中,处于简单背景子区域周围的头发区域的置信度,其中,所述简单背景子区域为所述头发抠图结果中复杂度小于或等于所述第二复杂度阈值的背景子区域;
基于引导滤波器对所述头发抠图结果进行上采样滤波处理;
若所述待处理图像对应的图像场景为目标场景,则对所述头发抠图结果的头发区域进行腐蚀处理及模糊处理,所述目标场景为场景亮度值低于亮度阈值的场景。
8.根据权利要求6所述的方法,其特征在于,所述第二优化处理包括以下中的至少一种:
对所述头发分割结果的头发区域进行腐蚀处理;
对所述头发分割结果的头发区域进行模糊处理;
基于引导滤波器对所述头发分割结果进行引导滤波处理;
基于所述背景复杂度对所述头发分割结果进行伽玛校正处理。
9.根据权利要求6所述的方法,其特征在于,所述将所述目标抠图结果与所述第一人像掩膜进行融合,得到目标人像掩膜,包括:
若所述待处理图像中包括至少两个人像,则将所述第一人像掩膜与所述头发分割结果进行融合,得到第二人像掩膜;
将所述目标抠图结果与所述第二人像掩膜进行融合,得到目标人像掩膜。
10.根据权利要求1~5、7~9任一所述的方法,其特征在于,在所述获取待处理图像的第一人像掩膜及头发分割结果之后,所述方法还包括:
根据所述第一人像掩膜及头发分割结果,确定内过渡参数;
根据所述内过渡参数对所述第一人像掩膜的头发区域进行模糊处理,以得到第三人像掩膜;
将所述第三人像掩膜与所述第一人像掩膜进行融合,得到新的第一人像掩膜;
所述根据所述待处理图像的头发抠图结果及所述第一人像掩膜生成目标人像掩膜,包括:
根据所述待处理图像的头发抠图结果及所述新的第一人像掩膜生成目标人像掩膜;
所述根据所述第一人像掩膜及所述头发分割结果生成目标人像掩膜,包括:
根据所述第一人像掩膜及所述新的第一人像掩膜生成目标人像掩膜。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第一人像掩膜及头发分割结果,确定内过渡参数,包括:
根据所述头发分割结果,确定所述第一人像掩膜中的头发感兴趣区域;
根据所述头发感兴趣区域的图像面积确定内过渡参数;
所述根据所述内过渡参数对所述第一人像掩膜的头发区域进行模糊处理,以得到第三人像掩膜,包括:
根据所述内过渡参数对所述头发感兴趣区域中的头发区域进行模糊处理,以得到第三人像掩膜。
12.根据权利要求10所述的方法,其特征在于,在所述将所述第三人像掩膜与所述第一人像掩膜进行融合,得到新的第一人像掩膜之前,所述方法还包括:
根据所述第一人像掩膜及头发分割结果,确定头发外轮廓;
对所述头发外轮廓进行膨胀处理及模糊处理,以得到目标权重图;
所述将所述第三人像掩膜与所述第一人像掩膜进行融合,得到新的第一人像掩膜,包括:
基于所述目标权重图,将所述第三人像掩膜与所述第一人像掩膜进行融合,得到新的第一人像掩膜。
13.根据权利要求12所述的方法,其特征在于,所述对所述头发外轮廓进行膨胀处理及模糊处理,以得到目标权重图,包括:
对所述头发外轮廓进行膨胀处理及模糊处理,得到第一权重图;
根据所述第一人像掩膜及头发分割结果,确定不包含头发区域的头部区域;
对所述头部区域进行膨胀处理,并将所述第一权重图中与膨胀处理后的头部区域相减,得到目标权重图。
14.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像的第一人像掩膜及头发分割结果,所述第一人像掩膜用于表征所述待处理图像中的人像区域位置,所述头发分割结果为对所述待处理图像进行头发区域的分割处理得到的;
复杂度确定模块,用于根据所述待处理图像、所述第一人像掩膜及所述头发分割结果确定所述待处理图像对应的背景复杂度;
第一处理模块,用于若所述背景复杂度小于或等于第一复杂度阈值,则根据所述待处理图像的头发抠图结果及所述第一人像掩膜生成目标人像掩膜,所述头发抠图结果为对所述待处理图像进行头发区域的抠图处理得到的;
第二处理模块,用于若所述背景复杂度大于所述第一复杂度阈值,则根据所述第一人像掩膜及所述头发分割结果生成目标人像掩膜。
15.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至13任一所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至13任一所述的方法。
CN202110958531.1A 2021-08-20 2021-08-20 图像处理方法、装置、电子设备及计算机可读存储介质 Active CN113658197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110958531.1A CN113658197B (zh) 2021-08-20 2021-08-20 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110958531.1A CN113658197B (zh) 2021-08-20 2021-08-20 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113658197A CN113658197A (zh) 2021-11-16
CN113658197B true CN113658197B (zh) 2023-09-05

Family

ID=78491711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110958531.1A Active CN113658197B (zh) 2021-08-20 2021-08-20 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113658197B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115482308B (zh) * 2022-11-04 2023-04-28 平安银行股份有限公司 图像处理方法、计算机设备及存储介质
CN118037559A (zh) * 2022-11-11 2024-05-14 蔚来移动科技有限公司 基于车体抠像的图像处理方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942794A (zh) * 2014-04-16 2014-07-23 南京大学 一种基于置信度的图像协同抠图方法
CN111080656A (zh) * 2019-12-10 2020-04-28 腾讯科技(深圳)有限公司 一种图像处理的方法、图像合成的方法以及相关装置
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN112308866A (zh) * 2020-11-04 2021-02-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112581481A (zh) * 2020-12-30 2021-03-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942794A (zh) * 2014-04-16 2014-07-23 南京大学 一种基于置信度的图像协同抠图方法
CN111080656A (zh) * 2019-12-10 2020-04-28 腾讯科技(深圳)有限公司 一种图像处理的方法、图像合成的方法以及相关装置
CN111507994A (zh) * 2020-04-24 2020-08-07 Oppo广东移动通信有限公司 一种人像提取方法、人像提取装置及移动终端
CN112308866A (zh) * 2020-11-04 2021-02-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN112581481A (zh) * 2020-12-30 2021-03-30 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Confidence-driven image co-matting";Linbo Wang etc.;《ELSEVIER》;131-139 *

Also Published As

Publication number Publication date
CN113658197A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN111402135B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN110149482B (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN110248096B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN111741211B (zh) 图像显示方法和设备
CN106778928B (zh) 图像处理方法及装置
CN110473185B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113888437A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2019105297A1 (zh) 图像虚化处理方法、装置、移动设备及存储介质
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2022261828A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN112308797B (zh) 角点检测方法、装置、电子设备及可读存储介质
CN111161136B (zh) 图像虚化方法、图像虚化装置、设备及存储装置
CN110881103B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113610865B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN110378934B (zh) 主体检测方法、装置、电子设备和计算机可读存储介质
CN112581481B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN113298829B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110688926A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant