CN113313626A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113313626A CN113313626A CN202110552743.XA CN202110552743A CN113313626A CN 113313626 A CN113313626 A CN 113313626A CN 202110552743 A CN202110552743 A CN 202110552743A CN 113313626 A CN113313626 A CN 113313626A
- Authority
- CN
- China
- Prior art keywords
- original image
- area
- portrait
- face
- blurring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 title claims description 41
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 238000000034 method Methods 0.000 claims description 62
- 230000000875 corresponding effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 10
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 12
- 238000003384 imaging method Methods 0.000 description 25
- 230000011218 segmentation Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000010606 normalization Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开一种图像处理方法,所述方法包括:识别原始图像中的人像区域,并根据所述人像区域得到所述原始图像对应的人像掩膜;根据所述人像掩膜确定所述人像区域在所述原始图像中的第一面积占比;对所述原始图像进行人脸检测,确定所述原始图像中包含的人脸区域信息;根据所述第一面积占比以及所述人脸区域信息确定虚化参数,并根据所述人像掩膜及所述虚化参数对所述原始图像的背景区域进行虚化处理。实施本申请实施例,可以减少计算量,提高虚化效率,还可以平衡烘托整体人像和烘托局部人脸两种不同的拍摄需求,能够优化人像拍摄的拍摄效果。
Description
技术领域
本申请涉及影像技术领域,具体涉及图像处理方法、装置、电子设备及存储介质。
背景技术
在一幅摄影作品中,背景虚化可以很好地烘托主体,特别是在人像拍摄的场景中,背景虚化可以很好地烘托人像。目前,大部分具有摄影功能的电子设备都可以提供自动背景虚化的功能,用户可以在拍摄预览界面中选择对焦目标(如人像),由电子设备自动识别图像中除对焦目标以外的背景区域,并对背景区域进行虚化。
然而,在实践中发现,主流的背景虚化算法往往需要同时对图像进行对焦目标检测和图像深度估计,并利用图像深度估计的结果指导背景区域的虚化。图像深度估计往往需要较大的计算量,导致主流的背景虚化算法难以满足视频拍摄或者拍摄预览等场景对实时性的要求,在运算能力较弱的运算平台下也难以达到理想的虚化效果。即,主流的背景虚化算法存在计算量较大,虚化效率较低的问题。
发明内容
本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质,能够减少计算量,提高虚化效率。
本申请实施例公开一种图像处理方法,所述方法包括:识别原始图像中的人像区域,并根据所述人像区域得到所述原始图像对应的人像掩膜;根据所述人像掩膜确定所述人像区域在所述原始图像中的第一面积占比;对所述原始图像进行人脸检测,确定所述原始图像中包含的人脸区域信息;根据所述第一面积占比以及所述人脸区域信息确定虚化参数,并根据所述人像掩膜及所述虚化参数对所述原始图像的背景区域进行虚化处理。
本申请实施例公开一种图像处理装置,所述装置包括:人像识别模块,用于识别原始图像中的人像区域,并根据所述人像区域得到所述原始图像对应的人像掩膜;以及,根据所述人像掩膜确定所述人像区域在所述原始图像中的第一面积占比;人脸识别模块,用于对所述原始图像进行人脸检测,确定所述原始图像中包含的人脸区域信息;虚化模块,用于根据所述第一面积占比以及所述人脸区域信息确定虚化参数,并根据所述人像掩膜及所述虚化参数对所述原始图像的背景区域进行虚化处理。
本申请实施例一种电子设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现本申请实施例公开的任意一种图像处理方法。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本申请实施例公开的任意一种图像处理方法。
与相关技术相比,本申请实施例具有以下有益效果:
电子设备可以对原始图像进行人像识别,在识别出原始图像中的人像区域之后,可根据人像区域对应的人像掩模确定人像区域在原始图像中的第一面积占比。此外,电子设备还可以对原始图像进行人脸检测,得到原始图像中包含的人脸区域信息。人像区域的第一面积占比以及人脸区域信息可以反映人像以及人脸与拍摄原始图像的成像设备之间的物理距离信息。因此,电子设备根据第一面积占比以及人脸区域信息确定虚化参数,并根据人像掩膜及虚化参数对原始图像的背景区域进行虚化处理,可以在无需图像深度估计的情况下对背景区域进行虚化,达到烘托人像主体的拍摄效果,可以有效减少计算量,提高虚化效率。此外,由于虚化参数的计算融合了人像区域和人脸区域的信息,使得虚化参数可以有效平衡烘托整体人像和烘托局部人脸两种不同的拍摄需求,进而能够优化人像拍摄的拍摄效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例公开的一种图像处理电路的结构示意图;
图2是本申请实施例公开的一种图像处理方法的流程示意图;
图3是本申请实施例公开的一种人像分割模型的结构示意图;
图4是本申请实施例公开的一种与原始图像对应的人像掩膜的示例图;
图5是本申请实施例公开的一种人脸检测模型的结构示意图;
图6是本申请实施例公开的一种人像区域和人脸区域的示例图;
图7是本申请实施例公开的另一种图像处理方法的流程示意图;
图8是本申请实施例公开的一种图像处理装置的结构示意图;
图9是本申请实施例公开的另一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在相关技术中,基于深度估计的背景虚化方法需要先对图像进行深度估计,图像深度估计又可分为应用深度测量传感器的硬件级深度估计方法,以及不应用深度测量传感器的纯软件深度估计方法。
在应用深度测量传感器的硬件级深度估计方法中,深度测量传感器可包括深度摄像头、结构光测量装置等,但不限于此。在智能手机或者智能手表等中小型的移动终端上设置深度测量传感器会大大增加设计难度和成本,使得基于硬件级深度估计的背景虚化方法难以广泛应用于移动终端。
基于纯软件深度估计的背景虚化方法虽然可以免于使用深度测量传感器,但纯软件深度估计方法往往是根据RGB图像中像素值和图像深度之间的潜在关联,拟合出将RGB图像映射为深度图的映射关系,以通过该映射关系进行图像深度估计。一般而言,拟合过程的计算量较高,当应用背景虚化方法的电子设备运算能力有限时,基于纯软件深度估计的背景虚化方法难以满足视频拍摄或者拍摄预览等场景对实时性的要求。
本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质,能够减少计算量,提高虚化效率。以下分别进行详细说明。
请参阅图1,图1是本申请实施例公开的一种图像处理电路的结构示意图。该图像处理电路可应用于智能手机、智能平板、智能手表等电子设备,但不限于此。如图1所示,图像处理电路可包括成像设备(摄像头)110、姿态传感器120、图像存储器130、图像信号处理(Image Signal Processing,ISP)处理器140、逻辑控制器150以及显示器160。
图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理,ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器114可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。
此外,图像传感器114也可将原始图像数据发送给姿态传感器120,姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140,或者姿态传感器120将原始图像数据存储到图像存储器130中。
ISP处理器140按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器140还可从图像存储器130接收图像数据。例如,姿态传感器120接口将原始图像数据发送给图像存储器130,图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时,ISP处理器140可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器130,以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据,并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器140的输出还可发送给图像存储器130,且显示器160可从图像存储器130读取图像数据。在一个实施例中,图像存储器130可被配置为实现一个或多个帧缓冲器。
ISP处理器140确定的统计数据可发送给控制逻辑器150。例如,统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备110的控制参数及ISP处理器140的控制参数。例如,成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜112阴影校正参数。
在一个实施例中,通过成像设备(摄像头)110中的透镜112和图像传感器114获取待虚化的原始图像,并将原始图像发送至ISP处理器140。ISP处理器140并根据人像区域得到所述原始图像对应的人像掩膜,并根据人像掩膜确定人像区域在原始图像中的第一面积占比。ISP处理器140可同时对原始图像进行人脸检测,确定原始图像中包含的人脸区域信息。在确定人像区域在原始图像中的第一面积占比以及原始图像中包含的人脸区域信息之后,ISP处理器140可根据第一面积占比以及人脸区域信息确定虚化参数,并根据人像掩膜及虚化参数对原始图像的背景区域进行虚化处理。
在一些实施例中,ISP处理器140根据第一面积占比以及人脸区域信息确定虚化参数之后,也可将虚化参数发送至控制逻辑器150,由控制逻辑器150根据虚化参数调整透镜112控制参数,以改变透镜112的焦距,从而对原始图像的背景区域进行虚化。
在一些实施例中,ISP处理器140在对原始图像的背景区域进行虚化处理,得到虚化图像之后,还可进一步将虚化图像输出至显示器160,以供用户观看。
请参阅图2,图2是本申请实施例公开的一种图像处理方法的流程示意图,图2所示的方法可适用于包括上述图像处理电路的电子设备,该电子设备可包括智能手机、智能手表、平板电脑、相机等,但不限于此。如图2所示,该方法可包括:
210、识别原始图像中的人像区域,并根据人像区域得到原始图像对应的人像掩膜。
在本申请实施例中,原始图像可为电子设备的成像设备拍摄到的图像,也可以是其它设备通过有线或者无线通信传输至电子设备中的图像,或是存储在电子设备的存储器中的图像,具体不做限定。原始图像可包括多种不同的图像数据,包括但不限于:基于YUV颜色空间的色彩数据、基于RGB颜色空间的色彩数据、纹理数据。
电子设备在获取到原始图像之后,可通过人像分割方法或人像抠图(Matting)方法识别原始图像中的人像区域,人像区域可指原始图像中由被识别为人像的像素点所组成的区域,本申请实施例对从原始图像中识别出人像区域的实施方式不做限定。
人像分割方法可包括但不限于:基于图论的分割方法、基于聚类的分割方法、基于语义的分割方法和基于实例的分割方法等从原始图像中识别出人像区域。
人像Matting方法可包括但不限于:不使用深度学习(Deep Learning,DL)技术的传统Matting方法和使用DL的人像Matting方法。深度学习所使用的分割模型可包括但不限于:DeepLab系列的任意一种分割模型,U型网络(U-Net)、全卷积网络(FullyConvolutional Network,FCN)。无论采用何种模型结构,都可利用人像数据集对待训练的分割模型进行训练,使得训练后得到的分割模型可以学习到人像分割的能力,能够对输入的原始图像进行人像分割,识别出原始图像中的人像区域。其中,人像数据集可包括多张对标注有人像掩模的的样本人像图像;电子设备可采用有监督学习、无监督学习或者半监督学习等训练方式对分割模型进行训练,本申请实施例不做限定。
示例性的,请参阅图3,图3是本申请实施例公开的一种人像分割模型的结构示意图。如图3所示,该人像分割模型300可包括编码器310、解码器320和归一化(Softmax)层330。其中:
编码器310可包括多个卷积层。可选的,可采用MobileNet系列、ShuffleNet系统中的任意一种神经网络模型作为编码器310。
解码器320,可包括但不限于:卷积层、反卷积层、上采样层、批标准化层(BatchNormalization,BN)层、线性整流(Rectified Linear Unit,ReLU)层。
如图3所示,编码器310和解码器320包括的网络层之间还可存在跳跃连接。基于上述的跳跃连接,可将解码器310包括的浅层网络提取到的图像特征与解码器320包括的深层网络提取到的图像特征进行融合,有利于增加人像分割模型的泛化能力。
输入的原始图像送入编码器310之后,经过编码器310和解码器320的特征提取,可得到原始图像中每个像素点被识别为人像区域的预测值。
Softmax层330,可用于对原始图像中每个像素点被识别为人像区域的预测值进行归一化。即,用于将原始图像中每个像素点被识别为人像区域的预测值映射至[0,1]的概率范围内,得到原始图像中每个像素点被识别为人像区域的概率。
示例性的,请参阅图4,图4是本申请实施例公开的一种与原始图像对应的人像掩膜的示例图。如图4所示,白色像素点对应于背景区域,黑色像素点对应于人像区域。
在本申请实施例中,电子设备在识别出原始图像中的人像区域之后,可以根据识别出的人像区域得到原始图像对应的人像掩模,人像掩模用于指示原始图像中的人像区域。电子设备在生成人像掩模之后,若将原始图像与人像掩模相乘,相乘后原始图像中的人像区域被保留,而除人像区域以外的背景区域则会被消除,从而达到了从原始图像中抠取出人像区域的效果。
在本申请实施例中,电子设备可将原始图像中的各个像素点被识别为人像区域的概率与掩模阈值进行比较,以根据比较结果生成原始图像的人像掩模,人像掩模用于指示原始图像中的人像区域。示例性的,可将掩模阈值设置为a,a∈[0,1]。在原始图像中被识别为人像区域的概率大于a的像素点在人像掩模中的取值为255;被识别为人像区域的概率小于或等于a的像素点在人像掩模中的取值为0。
220、根据人像掩膜确定人像区域在原始图像中的第一面积占比。
在本申请实施例中,电子设备在确定原始图像对应的人像掩模之后,可以通过人像掩模从原始图像中提取出人像区域。电子设备可进一步计算提取出的人像区域的图像面积,并计算抠取出的人像区域的图像面积与原始图像的面积之间的比值作为上述的第一面积占比。可选的,人像区域的图像面积可用人像区域所包含的像素点数量进行表示,原始图像的面积可用原始图像所包含的像素点数量进行表示;相应地,人像区域的图像面积与原始图像的面积之间的比值可用人像区域所包含的像素点数量与原始图像所包含的像素点数量之间的比值进行表示。
在本申请实施例中,电子设备可能在原始图像中识别出一个或多个人像区域。当人像区域的数量大于1时,电子设备可将根据人像掩模抠取出的各个人像区域的面积相加,将相加得到的面积和与原始图像的面积之间的比值作为人像区域的第一面积占比。或者,电子设备也可以从提取出的多个人像区域中选取出一个人像区域,将选取出的人像区域对应的人像掩模的面积与原始图像的面积之间的比值作为人像区域的第一面积占比。其中,电子设备从多个人像区域中选取出一个人像区域的选取规则可包括但不限于:选取图像面积最大的人像区域、选取最靠近原始图像的中心区域的人像区域、随机选取。
230、对原始图像进行人脸检测,确定原始图像中包含的人脸区域信息。
在本申请实施例中,电子设备可通过特征匹配、机器学习或者深度学习等方法进行人脸检测。
示例性的,基于机器学习方法进行人脸检测时,电子设备可提取图像的纹理、梯度等图像特征,然后采用以下的任意一种模型进行人脸检测:瀑布模型、并行瀑布模型、标量树模型、金字塔模型、决策树模型或者矢量树模,但不限于此。
示例性的,基于深度学习进行人脸检测时,电子设备可采用多任务卷积神经网络(Multi-task Convolutional Neural Network,MT-CNN)的人脸检测方法。请参阅图5,图5是本申请实施例公开的一种人脸检测模型的结构示意图。如图5所示,该人脸检测模型500可包括多个卷积层,卷积层中可包括但不限于批标准化层(Batch Normalization,BN)层、线性整流(Rectified Linear Unit,ReLU)层。将原始图像输入至人脸检测模型500,经过人脸检测模型500包括的各个卷积层的处理后,人脸检测模型500可输出一个或多个6维的人脸检测框信息。在每个6维的人脸检测框信息中,其中2维可用于指示人脸检测框中包含的图像区域被识别为真实人脸的概率;另外4维可用于指示人脸框在原始图像中的位置,记作face_roi[x,y,w,h],x可为人脸框的左上角点在原始图像中的横坐标,y可为人脸框的左上角点在原始图像中的纵坐标,w可用于指示人脸框的宽度,h可用于指示人脸框的高度。
需要说明的是,无论采用何种方法进行人脸检测,电子设备在对原始图像进行人脸检测后,得到的人脸检测结果中可包括一个或多个用于指示人脸的人脸检测框。电子设备可进一步通过计算人脸检测框的面积与原始图像的面积之间的比值,得到人脸区域在原始图像中的第二面积占比。示例性的,人脸检测框的面积可根据人脸检测框信息中包括的人脸检测框的长度和宽度确定。和/或,电子设备可通过人脸检测框的数量确定原始图像中的人脸数量。因此,电子设备在对原始图像进行人脸检测之后,得到的人脸区域信息可包括:人脸区域在原始图像中的第二面积占比和/或原始图像中的人脸数量。
在本申请实施例中,原始图像中的人脸数量可能大于1,可能检测得到多个人脸检测框。当人脸数量大于1时,电子设备可将各个人脸检测框的面积相加,将相加得到的面积和与原始图像的面积之间的比值作为人脸区域的第二面积占比。或者,电子设备也可以从多个人脸检测框中选取出一个人脸检测框,将选取出的人脸检测框的面积与原始图像的面积之间的比值作为人像区域的第二面积占比。其中,电子设备从多个人脸检测框中选取出一个人脸检测框的选取规则可包括但不限于:选取面积最大的人脸检测框、选取最靠近原始图像的中心区域的人脸检测框、随机选取。
此外,上述的步骤210和步骤230在逻辑上没有必然的先后顺序,电子设备也可同时执行上述的两个步骤。步骤210中的人像区域可指整个人像所占据的区域,例如全身照中人的整个躯体所占据的区域。而步骤230中的人脸区域可指人脸所占据的区域,人脸区域可包括但不限于全脸、侧脸等不同的脸部角度。示例性的,请参阅图6,图6是本申请实施例公开的一种人像区域和人脸区域的示例图。如图6所示,人像区域610可为人像整体占据的图像区域,而人脸区域620可为人脸检测框所框示的区域。
240、根据第一面积占比以及人脸区域信息确定虚化参数,并根据人像掩膜及虚化参数对原始图像的背景区域进行虚化处理。
在本申请实施例中,人像区域在原始图像中的第一面积占比可以直接反映人像与拍摄原始图像的成像设备之间的物理距离信息。例如,第一面积占比越大,人像与成像设备之间的物理距离越近;反之,第一面积占比越小,人像与成像设备之间的物理距离越远。
在本申请实施例中,人脸区域信息可包括人脸区域在原始图像中的第二面积占比和/或人脸数量等信息。人脸区域在原始图像中的第二面积占比可以直接反映人脸与拍摄原始图像的成像设备之间的物理距离信息。例如,第二面积占比越大,人脸与成像设备之间的物理距离越近;反之,第二面积占比越小,人脸与成像设备之间的物理距离越远。原始图像中的人脸数量则可以反映原始图像中是否存在人脸。
此外,结合人像区域的第一面积占比与原始图像中的人脸数量,还可隐含拍摄到的人像角度信息。例如,当第一面积占比较大,但原始图像中的人脸数量为0时,拍摄到的可能是人像背影或者侧影。
在本申请实施例中,虚化参数可包括但不限于:虚化等级。虚化等级可用于指示对背景区域进行虚化处理的程度的参数,虚化等级越高,虚化处理后的背景区域越模糊;反之,虚化等级越低,虚化处理后的背景区域越清晰。上述的背景区域可指原始图像中除人脸区域或者人像区域以外的其他区域。
在本申请实施例中,虚化处理可通过高斯模糊、方框模糊、双重模糊等模糊算法实现,但不限于此。示例性的,当使用高斯模糊对背景区域进行虚化处理时,高斯模糊的模糊半径可作为虚化等级的衡量指标,模糊半径越大,虚化等级越高。
在本申请实施例中,电子设备根据第一面积占比以及人脸区域信息确定虚化参数。也就是说,虚化参数可以是融合人像与成像设备之间的物理距离信息、人脸与成像设备之间的物理距离信息、人像角度信息等一种或多种信息确定出的。因此,电子设备确定出的虚化参数可以模拟人像拍摄时光圈调节对应的景深规律。在得到虚化参数之后,电子设备可以利用人像掩模从原始图像中分割出包括除人脸区域或者人像区域以外的背景区域,并通过上述的虚化参数对背景区域进行虚化处理,以使背景区域模糊,从而达到烘托人像主体的拍摄效果。
可见,电子设备无需对图像进行图像深度估计,仅通过对人像区域的识别和对人脸区域的检测,即可确定出虚化参数并根据该虚化参数执行对背景区域的虚化,从而可以减少计算量,提高虚化效率。此外,由于虚化参数的计算融合了人像区域和人脸区域的信息,使得虚化参数可以有效平衡烘托整体人像和烘托局部人脸两种不同的拍摄需求,进而能够优化人像拍摄的拍摄效果。
在一个实施例中,当人脸区域信息包括的人脸数量不为0,或者人脸区域信息包括的人脸区域在原始图像中的第二面积占比不为0时,原始图像中存在人脸。需要说明的是,当人脸区域信息仅包括上述的第二面积占比时,第二面积占比的数值也可隐含人脸数量。例如,当第二面积占比不为0时,隐含了原始图像中的人脸数量不为0。电子设备可进一步根据人像区域在原始图像中的第一面积占比以及人脸区域在原始图像中的第二面积占比确定原始图像的虚化等级。即,虚化等级可根据人像区域和人脸区域的面积大小共同确定,确定出的虚化等级可以平衡烘托整体人像和烘托局部人脸两种不同的拍摄需求。
可选的,第一面积占比和第二面积占比均可与原始图像的虚化等级呈正相关关系。即,第一面积占比越大,人像与成像设备的物理距离越近,虚化等级越高,虚化处理后的背景区域越模糊。第二面积占比越大,人脸与成像设备的物理距离越近,虚化等级越高,虚化处理后的背景区域越模糊。基于此,电子设备确定出的虚化等级可以满足人像和人脸与成像设备之间的物理距离和景深之间的一般规律,利用该虚化等级对背景区域进行虚化处理,可以模拟调节光圈所能达到的景深效果。
可选的,电子设备可计算人像区域在原始图像中的第一面积占比与第一系数的第一乘积,以及计算人脸在原始图像中的第二面积占比与第二系数的第二乘积,进而根据第一乘积和第二乘积确定原始图像的虚化等级。示例性的,虚化等级可通过以下公式进行计算:虚化等级=k1*a+k2*b。其中,k1可为第一系数,k2可为第二系数,且k1>0,k2>0;a可为第一面积占比,b可为第二面积占比。k1和k2可根据实际的业务需求设置,可为经验值。通过调节k1和k2的比值,可以调整人像区域和人脸区域分别与虚化等级的相关程度。例如,当k1>k2时,虚化等级与人像区域的第一面积占比的相关程度大于虚化等级与人脸区域的第二面积占比的相关程度,虚化等级与人像区域的第一面积占比更相关;当k1<k2时,虚化等级与人脸区域的第二面积占比更相关。可见,通过第一面积占比和第二面积占比分别对应的系数计算虚化等级,可以根据实际的拍摄需求调整人像区域和人脸区域在计算虚化等级时的权重,使得背景区域的虚化效果可以更接近光圈调节所带来的虚化效果。
可见,当原始图像既包括人像又包括人脸时,电子设备根据原始图像中人像区域的面积和人脸区域的面积确定虚化等级,使得确定出的虚化等级可以平衡烘托整体人像和烘托局部人脸两种不同的拍摄需求。
在一个实施例中,当人脸区域信息包括的人脸数量为0时,说明原始图像中不存在人脸,原始图像中的人像可能为人像背影、人像侧影或者原始图像中的人像拍摄不全。因此,电子设备可进一步根据人像区域在原始图像中的第一面积占比与第一阈值的比较结果确定原始图像的虚化等级。第一阈值可根据实际的业务需求设置,可为经验值,例如可设置为0.05。
可选的,电子设备可以在人脸数量等于0,且第一面积占比小于第一阈值时,将原始图像的虚化等级确定为0。当第一面积占比小于第一阈值时,人像区域在原始图像中的面积占比过小,从原始图像中识别出的人像区域可能是错误的识别结果,或者也可能是拍摄不全的人像。因此,电子设备可将虚化等级设置为0,即不模糊背景区域,以减少不必要的虚化处理所增加的计算量。
可选的,电子设备还可以在人脸数量等于0,且第一面积占比大于第一阈值时,根据第一面积占比与第三系数的第三乘积确定原始图像的虚化等级。当第一面积占比大于第一阈值时,虽然无法在原始图像中检测出人脸,但原始图像中仍包括较为完整的人像,该人像可能为侧影或者背影。因此,电子设备可根据人像区域的第一面积占比确定虚化等级,虚化等级与第一面积占比可呈正相关关系。示例性的,虚化等级可以参考以下公式计算:虚化等级=k3*a;其中,k3为第三系数,k3>0,a可为第一面积占比。可见,当原始图像中不存在人脸时,电子设备也可以根据人像区域的面积计算出相应的虚化等级,以对背景区域进行虚化处理,从而使得拍摄人像背影或侧影时,也可以模拟调节光圈所能达到的景深效果,对人像的背影或者侧影进行烘托。
可见,当原始图像只包括人像,不包括人脸时,电子设备也可以根据人像区域的面积确定虚化等级,使得拍摄人像侧影或者背影等场景下,也能够达到虚化背景区域,烘托人像主体的拍摄效果。
在一个实施例中,电子设备在执行上述的步骤210或步骤230之前,可以对获取到的原始图像执行预处理操作。预处理操作可包括但不限于:旋转操作、缩放操作、归一化操作中的一种或多种操作。
旋转操作,可指将原始图像的某个像素点为中心旋转一定角度的操作。电子设备可根据原始图像的宽度和高度判断原始图像的拍摄方向,例如当宽度大于高度时,原始图像的拍摄方向为横拍;当高度大于宽度时,原始图像的拍摄方向为竖拍。或者,根据拍摄到原始图像的成像设备记录的拍摄方向值判断原始图像的拍摄方向。其中,拍摄方向可包括:横拍或者竖拍。
当电子设备执行步骤210时通过人像分割模型识别人像区域,且人像分割模型的输入图像的拍摄方向与原始图像的拍摄方向不一致时,电子设备可执行旋转操作,以使旋转后的原始图像与人像分割模型输入图像的拍摄方向一致。或者,当电子设备执行步骤230通过人脸检测模型进行人脸检测,且人脸检测模型的输入图像的拍摄方向与原始图像的拍摄方向不一致时,电子设备可执行旋转操作,以使旋转后的原始图像与人脸检测模型输入图像的拍摄方向一致。其中,旋转的方向不做限定,可包括顺时针旋转或者逆时针旋转。示例性的,原始图像710的拍摄方向为横拍,将横拍的原始图像710按照逆时针方向旋转90°,得到竖拍的原始图像720。
缩放操作,可指对原始图像的图像尺寸进行缩小或放大的操作。当上述的人像分割模型或者人脸检测模型的输入图像的图像尺寸与原始图像的图像尺寸不一致时,电子设备可对原始图像执行缩小或放大的操作,以使缩小或放大后的原始图像的图像尺寸与人像分割模型或者人脸检测模型的输入图像的图像尺寸一致。示例性的,若分割模型的输入图像的图像尺寸为640*480,则需要将原始图像的图像尺寸缩小或放大至640*480。
归一化操作,可指对原始图像中各个像素点的图像数据值映射到至[0,1]的范围内。归一化操作可包括:将原始图像中每个像素点对应的RGB三通道的数值进行先减均值再除方差的操作。示例性的,假设均值为127.5,则针对原始图像中任意一个像素点对应的RGB通道的数值X,先减均值再除方差的操作可通过以下公式表示:(X-127.5)/127.5。或者,归一化操作可包括:将原始图像中每个像素点对应的RGB三通道的数值直接除以255。示例性的,针对原始图像中任意一个像素点对应的RGB通道的数值X,直接除以255的操作可通过以下公式表示:X/255。
在本申请实施例中,当使用人像分割模型或者人脸检测模型对原始图像进行处理时,可以先通过上述的一种或多种预处理操作使得原始图像的图像规格符合人像分割模型或人脸检测模型输入图像的图像规格。
请参阅图7,图7是本申请实施例公开的另一种图像处理方法的流程示意图,图7所示的方法可适用于包括上述的电子设备。如图7所示,该方法可包括:
710、识别原始图像中的人像区域,并根据人像区域得到原始图像对应的人像掩膜。
在本申请实施例中,电子设备可通过人像分割方法或人像Matting方法包括的任意一种方法或多种方法的结合从原始图像中识别出人像区域,具体不做限定。电子设备根据人像区域得到的人像掩模,可以是图像尺寸与原始图像的尺寸对应的二值图,即人像掩模包括的各个像素点的值为0或255,值为255的像素点为与人像区域对应的像素点。
720、识别人像掩模中的连通域,得到人像掩模包括的一个或多个连通域的图像面积。
在本申请实施例中,人像掩模中的连通域,可指人像掩模中具有相同像素值并且位置相邻的像素组成的区域。电子设备可通过种子填充(Seed Filling)、两遍扫描(Two-Pass)等一种或多种方法识别人像掩模中的连通域,具体不做限定。当识别出人像掩模包括的一个或多个连通域之后,电子设备可根据每个连通域包括的像素点数量确定各个连通域的图像面积。
730、从人像掩模包括的各个连通域中选取出图像面积最大的连通域,并将图像面积最大的连通域在原始图像中的面积占比确定为人像区域在原始图像中的第一面积占比。
在本申请实施例中,电子设备可遍历人像掩模包括的各个连通域,将每两个连通域的图像面积进行比较,从而选取出图像面积最大的连通域,本申请实施例对选取出面积最大的连通域的具体实施方式不做限定。
在一些实施例中,为了减少连通域的比较次数,进而减少计算量,电子设备可以先对人像掩模包括的各个连通域进行筛选,保留图像面积大于或等于第二阈值的连通域,再从保留的连通域中选取出图像面积最大的连通域。其中,第二阈值可根据实际的业务需求设定,可为经验值,以通过第二阈值将人像掩模中面积较小的连通域去除,保留面积较大的连通域。面积较小的连通域可能是识别人像区域或者根据人像区域生成人像掩模时的误识别导致的误差。先去除误差,再选取出最大连通域,可以减有效少计算量。
在本申请实施例中,电子设备可能从原始图像中识别出一个或多个人像区域,这可能是拍摄背景中存在其他人像的干扰导致的。一般来说,作为拍摄目标的人像与成像设备之间的物理距离小于其他人像与成像设备之间的物理距离,作为拍摄目标的人像在原始图像中的面积较大,在人像掩模中的面积也较大。因此,电子设备可以在选取出图像面积最大的连通域之后,将图像面积最大的连通域与原始图像的面积占比确定为人像区域的第一面积占比,从而可以从原始图像包括的多个人像中筛选出作为拍摄目标的人像。
740、对原始图像进行人脸检测,得到一个或多个人脸检测框。
在本申请实施例中,每个人脸检测可携带有人脸检测框中包含的图像区域被识别为真实人脸的概率。电子设备可通过任意一种人脸检测方法或多种人脸检测方法的结合对原始图像进行人脸检测,具体不做限定。
750、对原始图像包括的各个人脸检测框进行筛选,保留与基准人脸框之间的重合度小于第三阈值的人脸框。
在本申请实施例中,基准人脸框可为各个人脸检测中包含的图像区域被识别为真实人脸的概率最高的人脸检测框。即,电子设备在执行步骤750之前,可以先根据各个人脸检测框携带人脸检测框中包括的图像区域被识别为真实人脸的概率,从各个人脸检测框中选取出概率最大的人脸检测框作为基准人脸框。
在本申请实施例中,电子设备在选取出基准人脸框之后,可以依次计算各个人脸检测框中除基准人脸框以外的其他人脸框与基准人脸检测框的重合度,并保留重合度低(小于第三阈值)的人脸框,去除重合度高的人脸框。上述的第三阈值可以参考实际的业务需求设定,可为经验值,具体不做限定。第三阈值的取值越高,保留的人脸框数量越多,人脸框检测查全率越高;第三阈值的取值越低,保留的人脸框数量越少,人脸框检测查准率越高。在本申请实施例中,可平衡人脸框检测的查全率和查准率设置第三阈值的取值。
可选的,可以将两个人脸检测框之间的交并比(Intersection of Union,IoU)作为两个人脸检测框之间的重合度的衡量指标。两个人脸检测框之间的交并比,可指两个人脸检测框重合部分的面积除以它们合并起来的面积得到的值。交并比的值越高,两个人脸检测框的重合度越高;交并比的值越低,两个人脸检测框的重合度越低。
在一些实施例中,电子设备在得到一个或多个人脸检测框之后,可以通过任意一种非极大值抑制(Non Maximum Suppression,NMS)操作对人脸框进行筛选,以保留与基准人脸框之间的重合度小于第三阈值的人脸检测框,具体不做限定。
760、将保留的人脸检测框中面积最大的人脸检测框在原始图像中的面积占比确定为人脸区域在原始图像中的第二面积占比,并将保留的人脸框的数量确定为原始图像中的人脸数量。
在本申请实施例中,电子设备可遍历保留的各个人脸检测框,将每两个保留的人脸检测框的面积进行比较,从而选取出面积最大的人脸检测框作,本申请实施例对选取出面积最大的人脸检测框的实施方式不做限定。选取出最大人脸框之后,电子设备可计算积最大的人脸检测框在原始图像中的面积占比作为人脸区域在原始图像中的第二面积占比,从而可以筛选出作为拍摄目标的人脸。
进一步地,电子设备可将保留的人脸检测框的数量确定为原始图像中的人脸数量,使得对人脸数量的检测更加准确。
770、根据第一面积占比、第二面积占比以及人脸数量确定虚化参数。
在本申请实施例中,虚化参数可包括:虚化等级。步骤770可包括以下实施方式中的任意一种或多种的结合。
方式一:当人脸数量不为0时,根据人像区域在原始图像中的第一面积占比以及人脸区域在原始图像中的第二面积占比确定原始图像的虚化等级。可选的,虚化等级可通过以下公式进行计算:虚化等级=k1*a+k2*b。其中,k1可为第一系数,k2可为第二系数,且k1>0,k2>0;a可为第一面积占比,b可为第二面积占比。
方式二:当人脸数量等于0,且第一面积占比小于第一阈值时,将虚化等级确定为0。
方式三:当人脸数量等于0,且第一面积占比大于或等于第一阈值时,根据第一面积占比与第三系数的第三乘积确定原始图像的虚化等级。可选的,虚化等级可以参考以下公式计算:虚化等级=k3*a;其中,k3为第三系数,k3>0,a可为第一面积占比。
780、根据人像掩膜及虚化参数对原始图像的背景区域进行虚化处理。
可见,在本申请实施例中,电子设备可从原始图像中准确识别出作为拍摄目标的人像和人脸,并结合作为拍摄目标的人像和人脸在原始图像中的信息(如面积占比和数量)确定虚化参数,从而可以排除背景中其他人像的干扰,在无需图像深度估计的情况下对背景区域进行虚化,达到烘托作为拍摄目标的人像主体的拍摄效果,可以有效减少计算量,提高虚化效率。
请参阅图8,图8是本申请实施例公开的一种图像处理装置的结构示意图,该图像处理装置可适用于前述的电子设备。如图8所示,该图像处理装置810,可包括:人像识别模块810、人脸识别模块820、虚化模块830。
人像识别模块810,可用于识别原始图像中的人像区域,并根据人像区域得到原始图像对应的人像掩膜;以及,根据人像掩膜确定人像区域在原始图像中的第一面积占比。
人脸识别模块820,可用于对原始图像进行人脸检测,确定原始图像中包含的人脸区域信息。
虚化模块830,可用于根据第一面积占比以及人脸区域信息确定虚化参数,并根据人像掩膜及虚化参数对原始图像的背景区域进行虚化处理。
在一个实施例中,虚化参数可包括虚化等级;人脸区域信息可包括:人脸区域在原始图像中的第二面积占比。
虚化模块830,可包括:参数确定单元和虚化处理单元。
参数确定单元,可用于根据第一面积占比以及第二面积占比确定原始图像的虚化等级。可选的,第一面积占比和第二面积占比均与原始图像的虚化等级呈正相关关系。
虚化处理单元,可用于根据人像掩膜及虚化参数对原始图像的背景区域进行虚化处理。
在一个实施例中,虚化模块830,可包括:参数确定单元和虚化处理单元。
参数确定单元,可用于计算人像区域的第一面积占比与第一系数的第一乘积,以及计算人脸区域的第二面积占比与第二系数的第二乘积;第一系数和第二系数均大于0;以及,根据第一乘积和第二乘积确定原始图像的虚化等级。
在一个实施例中,人脸区域信息还可包括:原始图像中的人脸数量。
参数确定单元,还可用于在人脸数量等于0时,根据人像区域的第一面积占比与第一阈值的比较结果确定原始图像的虚化等级。
在一个实施例中,参数确定单元,还可用于在人脸数量等于0,且第一面积占比小于第一阈值时,将原始图像的虚化等级确定为0;和/或,在人脸数量等于0,且第一面积占比大于或等于第一阈值时,根据第一面积占比与第三系数的第三乘积确定原始图像的虚化等级。
在一个实施例中,人脸识别模块820,可包括:人脸检测单元、第一筛选单元、第一确定单元。
人脸检测单元,可用于对原始图像进行人脸检测,得到一个或多个人脸检测框;每个人脸检测框携带有人脸检测框中包含的图像区域被识别为真实人脸的概率;
第一筛选单元,可用于对原始图像包括的各个人脸检测框进行筛选,保留与基准人脸框之间的重合度小于第三阈值的人脸检测框;基准人脸框为各个人脸检测框中包含的图像区域被识别为真实人脸的概率最高的人脸检测框;
第一确定单元,可用于将保留的人脸检测框中面积最大的人脸检测框在原始图像中的面积占比确定为人脸区域在原始图像中的第二面积占比。
可选的,第一确定单元,还可用于将保留的人脸检测框的数量确定为原始图像中的人脸数量。
在一个实施例中,人像识别模块810,可包括:人像识别单元、第二确定单元。
人像识别单元,可用于识别原始图像中的人像区域,并根据人像区域得到原始图像对应的人像掩膜。
第二确定单元,可用于识别人像掩模中的连通域,得到人像掩模包括的一个或多个连通域的图像面积;以及,从人像掩模包括的各个连通域中选取出图像面积最大的连通域;以及,将图像面积最大的连通域在原始图像中的面积占比确定为人像区域在原始图像中的第一面积占比。
在一个实施例中,人像识别模块810,还可包括:第二筛选单元。
第二筛选单元,可用于对人像掩模包括的各个连通域进行筛选,保留图像面积大于或等于第二阈值的连通域;从保留的连通域中选取出图像面积最大的最大连通域。
在本申请实施例中,图像处理装置无需对图像进行图像深度估计,仅通过对人像区域的识别和对人脸区域的检测,即可确定出虚化参数并根据该虚化参数执行对背景区域的虚化,从而可以减少计算量,提高虚化效率。此外,由于虚化参数的计算融合了人像区域和人脸区域的信息,使得虚化参数可以有效平衡烘托整体人像和烘托局部人脸两种不同的拍摄需求,进而能够优化人像拍摄的拍摄效果。
请参阅图9,图9是本申请实施例公开的另一种电子设备的结构示意图。如图9所示,该电子设备可以包括:
存储有可执行程序代码的存储器910;
与存储器910耦合的处理器920;
其中,处理器920调用存储器910中存储的可执行程序代码,执行本申请实施例公开的任意一种图像处理方法。
需要说明的是,图9所示的电子设备还可以包括电源、输入按键、摄像头、扬声器、屏幕、RF电路、Wi-Fi模块、蓝牙模块、传感器等未显示的组件,本实施例不作赘述。
本申请实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序被处理器执行时实现本申请实施例公开的任意一种图像处理方法。
本申请实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种图像处理方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种图像处理方法,其特征在于,所述方法包括:
识别原始图像中的人像区域,并根据所述人像区域得到所述原始图像对应的人像掩膜;
根据所述人像掩膜确定所述人像区域在所述原始图像中的第一面积占比;
对所述原始图像进行人脸检测,确定所述原始图像中包含的人脸区域信息;
根据所述第一面积占比以及所述人脸区域信息确定虚化参数,并根据所述人像掩膜及所述虚化参数对所述原始图像的背景区域进行虚化处理。
2.根据权利要求1所述的方法,其特征在于,所述虚化参数包括虚化等级,所述人脸区域信息包括:人脸区域在所述原始图像中的第二面积占比;所述根据所述人像区域的第一面积占比以及所述人脸信息确定所述原始图像的虚化等级,包括:
根据所述第一面积占比以及所述第二面积占比确定所述原始图像的虚化等级。
3.根据权利要求2所述的方法,其特征在于,所述第一面积占比和所述第二面积占比均与所述原始图像的虚化等级呈正相关关系。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一面积占比以及所述第二面积占比确定所述原始图像的虚化等级,包括:
计算所述人像区域的所述第一面积占比与第一系数的第一乘积,以及计算所述人脸区域的所述第二面积占比与第二系数的第二乘积;所述第一系数和所述第二系数均大于0;
根据所述第一乘积和所述第二乘积确定所述原始图像的虚化等级。
5.根据权利要求2所述的方法,其特征在于,所述人脸区域信息还包括:所述原始图像中的人脸数量;所述方法还包括:
在所述人脸数量等于0时,根据所述人像区域的所述第一面积占比与第一阈值的比较结果确定所述原始图像的虚化等级。
6.根据权利要求5所述的方法,其特征在于,所述在所述人脸数量等于0时,根据所述人像区域的第一面积占比与第一阈值的比较结果确定所述原始图像的虚化等级,包括:
在所述人脸数量等于0,且所述第一面积占比小于第一阈值时,将所述原始图像的虚化等级确定为0;和/或,
在所述人脸数量等于0,且所述第一面积占比大于或等于第一阈值时,根据所述第一面积占比与第三系数的第三乘积确定所述原始图像的虚化等级;所述第三系数大于0。
7.根据权利要求2所述的方法,其特征在于,所述对所述原始图像进行人脸检测,确定所述原始图像中包含的人脸区域信息,包括:
对所述原始图像进行人脸检测,得到一个或多个人脸检测框;每个人脸检测框携带有人脸检测框中包含的图像区域被识别为真实人脸的概率;
对所述原始图像包括的各个人脸检测框进行筛选,保留与基准人脸框之间的重合度小于第三阈值的人脸检测框;所述基准人脸框为所述各个人脸检测框中包含的图像区域被识别为真实人脸的概率最高的人脸检测框;
将保留的人脸检测框中面积最大的人脸检测框在所述原始图像中的面积占比确定为人脸区域在所述原始图像中的第二面积占比。
8.根据权利要求7所述的方法,其特征在于,在所述对所述原始图像包括的各个人脸框进行筛选,保留与基准人脸框之间的重合度小于第三阈值的人脸框之后,所述方法还包括:
将保留的人脸框的数量确定为所述原始图像中的人脸数量。
9.根据权利要求1-8任一项所述的方法,其特征在于,所述根据所述人像掩膜确定所述人像区域在所述原始图像中的第一面积占比,包括:
识别所述人像掩模中的连通域,得到所述人像掩模包括的一个或多个连通域的图像面积;
从所述人像掩模包括的各个连通域中选取出图像面积最大的连通域;
将所述图像面积最大的连通域在所述原始图像中的面积占比确定为所述人像区域在所述原始图像中的第一面积占比。
10.根据权利要求9所述的方法,其特征在于,所述从所述人像掩模包括的各个连通域中选取出面积最大的最大连通域,包括:
对所述人像掩模包括的各个连通域进行筛选,保留图像面积大于或等于第二阈值的连通域;
从保留的连通域中选取出图像面积最大的最大连通域。
11.一种图像处理装置,其特征在于,所述装置包括:
人像识别模块,用于识别原始图像中的人像区域,并根据所述人像区域得到所述原始图像对应的人像掩膜;以及,根据所述人像掩膜确定所述人像区域在所述原始图像中的第一面积占比;
人脸识别模块,用于对所述原始图像进行人脸检测,确定所述原始图像中包含的人脸区域信息;
虚化模块,用于根据所述第一面积占比以及所述人脸区域信息确定虚化参数,并根据所述人像掩膜及所述虚化参数对所述原始图像的背景区域进行虚化处理。
12.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至10任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理处理器执行时实现如权利要求1至10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552743.XA CN113313626A (zh) | 2021-05-20 | 2021-05-20 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110552743.XA CN113313626A (zh) | 2021-05-20 | 2021-05-20 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113313626A true CN113313626A (zh) | 2021-08-27 |
Family
ID=77373874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110552743.XA Pending CN113313626A (zh) | 2021-05-20 | 2021-05-20 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313626A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115183763A (zh) * | 2022-09-13 | 2022-10-14 | 南京北新智能科技有限公司 | 一种基于人脸识别和栅格法的人员地图定位方法 |
CN115802144A (zh) * | 2023-01-04 | 2023-03-14 | 荣耀终端有限公司 | 视频拍摄方法及相关设备 |
CN115883958A (zh) * | 2022-11-22 | 2023-03-31 | 荣耀终端有限公司 | 一种人像拍摄方法 |
CN116193275A (zh) * | 2022-12-15 | 2023-05-30 | 荣耀终端有限公司 | 视频处理方法及相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481186A (zh) * | 2017-08-24 | 2017-12-15 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN108234882A (zh) * | 2018-02-11 | 2018-06-29 | 维沃移动通信有限公司 | 一种图像虚化方法及移动终端 |
CN111754528A (zh) * | 2020-06-24 | 2020-10-09 | Oppo广东移动通信有限公司 | 人像分割方法、装置、电子设备和计算机可读存储介质 |
CN112016469A (zh) * | 2020-08-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
-
2021
- 2021-05-20 CN CN202110552743.XA patent/CN113313626A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481186A (zh) * | 2017-08-24 | 2017-12-15 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN108234882A (zh) * | 2018-02-11 | 2018-06-29 | 维沃移动通信有限公司 | 一种图像虚化方法及移动终端 |
CN111754528A (zh) * | 2020-06-24 | 2020-10-09 | Oppo广东移动通信有限公司 | 人像分割方法、装置、电子设备和计算机可读存储介质 |
CN112016469A (zh) * | 2020-08-28 | 2020-12-01 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115183763A (zh) * | 2022-09-13 | 2022-10-14 | 南京北新智能科技有限公司 | 一种基于人脸识别和栅格法的人员地图定位方法 |
CN115883958A (zh) * | 2022-11-22 | 2023-03-31 | 荣耀终端有限公司 | 一种人像拍摄方法 |
CN116193275A (zh) * | 2022-12-15 | 2023-05-30 | 荣耀终端有限公司 | 视频处理方法及相关设备 |
CN116193275B (zh) * | 2022-12-15 | 2023-10-20 | 荣耀终端有限公司 | 视频处理方法及相关设备 |
CN115802144A (zh) * | 2023-01-04 | 2023-03-14 | 荣耀终端有限公司 | 视频拍摄方法及相关设备 |
CN115802144B (zh) * | 2023-01-04 | 2023-09-05 | 荣耀终端有限公司 | 视频拍摄方法及相关设备 |
CN117336597A (zh) * | 2023-01-04 | 2024-01-02 | 荣耀终端有限公司 | 视频拍摄方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111402135B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
EP3598736B1 (en) | Method and apparatus for processing image | |
CN113766125B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
EP3480784B1 (en) | Image processing method, and device | |
EP3783564A1 (en) | Image processing method, computer readable storage medium, and electronic device | |
CN110602467B (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
CN111028190A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113313626A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108198152B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN108259770B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
EP3809327A1 (en) | Subject recognition method, electronic device, and computer readable storage medium | |
CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
CN109068060B (zh) | 图像处理方法和装置、终端设备、计算机可读存储介质 | |
CN113298735A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113673474B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN112581481B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108259769B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113223023A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
CN113610884A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN113674303A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110689007B (zh) | 主体识别方法和装置、电子设备、计算机可读存储介质 | |
CN108737733B (zh) | 信息提示方法和装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |