CN113947568B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113947568B CN113947568B CN202111130003.3A CN202111130003A CN113947568B CN 113947568 B CN113947568 B CN 113947568B CN 202111130003 A CN202111130003 A CN 202111130003A CN 113947568 B CN113947568 B CN 113947568B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- skin
- image
- skin tone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 99
- 238000001514 detection method Methods 0.000 claims description 92
- 238000000034 method Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备及存储介质,其中,图像处理方法包括;获取待分割图像;待分割图像包括至少一个待处理区域;基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值;基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值;根据前景概率查询表和背景概率查询表,确定每个像素的输入特征值对应的肤色标识;根据待分割图像中每个像素对应的肤色标识,从待分割图像中确定皮肤区域;皮肤区域中每个像素对应的肤色标识为第一肤色标识。这种方式下,可以获得准确度较高的肤色先验值,从而使得最终从待分割图像中确定出的皮肤区域更加符合实际,且鲁棒性较高。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
肤色检测是人体图像处理的基础,由于肤色信息具有相对稳定性,不易受人体姿态、面部表情等的影响,因此肤色检测被广泛应用于敏感图像过滤、人脸检测和识别等方面。目前,肤色检测引起了很多研究人员的关注,提出的检测算法有很多。
目前比较具有代表性的算法:基于肤色椭圆模型的肤色检测,由经验可知,如果将皮肤信息映射到YCrCb空间,则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布,该椭圆大小位置等参数由设计者的经验知识确定;使用肤色椭圆模型对肤色进行检测时,只需判断像素是否落在椭圆内,如果是,则可以判断该像素为皮肤像素,否则就是非皮肤像素;这种方法虽然简洁,但在实际应用中,当图像背景复杂时,其误检率较高,准确度较低。
因此,如何提高肤色检测算法的鲁棒性、准确性尤为重要。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质,本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种图像处理方法,包括:
获取待分割图像;待分割图像包括至少一个待处理区域;
基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值;预设肤色信息范围表征预设色彩空间下皮肤的颜色范围;
基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值;
根据前景概率查询表和背景概率查询表,确定每个像素的输入特征值对应的肤色标识;前景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的前景概率值;背景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的背景概率值;肤色标识包括第一肤色标识,第一肤色标识表征对应的像素是皮肤像素;第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值;
根据待分割图像中每个像素对应的肤色标识,从待分割图像中确定皮肤区域;皮肤区域中每个像素对应的肤色标识为第一肤色标识。
一个可选的实施例中,方法还包括:
构建输入特征空间;输入特征空间包括输入特征值所有可能的取值;
根据前景检测模型对所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的前景概率值,根据每个输入特征值的前景概率值生成前景概率查询表;
根据背景检测模型对所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的背景概率值,根据每个输入特征值的背景概率值生成背景概率查询表。
一个可选的实施例中,肤色标识还包括第二肤色标识,第二肤色标识表征对应的像素是非皮肤像素;前景检测模型的训练方法包括:
获取前景训练样本,前景训练样本包括样本图像中前景像素对应的输入特征值;前景像素的肤色标识为第一肤色标识;
根据前景训练样本对第一神经网络模型进行前景检测训练,得到前景检测模型;
背景检测模型的训练方法包括:
获取背景训练样本,背景训练样本包括样本图像中背景像素对应的输入特征值;背景像素的肤色标识为第二肤色标识;
根据背景训练样本对第二神经网络模型进行背景检测训练,得到背景检测模型。
一个可选的实施例中,方法还包括:
获取样本图像,样本图像包括前景像素、背景像素和至少一个待处理区域;
基于预设肤色信息范围和样本图像中至少一个待处理区域内每个像素的像素值,确定样本图像对应的肤色先验值;
基于样本图像对应的肤色先验值和样本图像中每个像素的像素值,确定样本图像中每个像素对应的样本输入特征值;
将样本图像中前景像素对应的样本输入特征值作为前景训练样本;
将样本图像中背景像素对应的样本输入特征值作为背景训练样本。
一个可选的实施例中,肤色先验值包括第一肤色先验值;
基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值,包括:
将至少一个待处理区域中像素值满足预设肤色信息范围的像素确定为目标像素;
对所有待处理区域中目标像素的像素值计算平均值,得到第一肤色先验值。
一个可选的实施例中,基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值,包括:
将待分割图像中每个像素的像素值与第一肤色先验值进行拼接,得到每个像素对应的输入特征值。
一个可选的实施例中,肤色先验值还包括至少一个第二肤色先验值;第二肤色先验值的数量与待分割图像中待处理区域的数量相等;
基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值,包括:
对各待处理区域中目标像素的像素值计算平均值,得到各待处理区域对应的第二肤色先验值;
基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值,包括:
当待分割图像中的像素为位于待处理区域内的像素时,将像素的像素值与对应的第二肤色先验值进行拼接,得到像素对应的输入特征值;
当待分割图像中的像素为位于待处理区域外的像素时,将像素的像素值与第一肤色先验值进行拼接,得到像素对应的输入特征值。
根据本公开实施例第二方面,提供一种图像处理装置,包括:
第一获取模块,被配置为执行获取待分割图像;待分割图像包括至少一个待处理区域;
第一确定模块,被配置为执行基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值;预设肤色信息范围表征预设色彩空间下皮肤的颜色范围;
第一构建模块,被配置为执行基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值;
第二确定模块,被配置为执行根据前景概率查询表和背景概率查询表,确定每个像素的输入特征值对应的肤色标识;前景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的前景概率值;背景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的背景概率值;肤色标识包括第一肤色标识,第一肤色标识表征对应的像素是皮肤像素;第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值;
第三确定模块,被配置为执行根据待分割图像中每个像素对应的肤色标识,从待分割图像中确定皮肤区域;皮肤区域中每个像素对应的肤色标识为第一肤色标识。
一个可选的实施例中,装置还包括:
第二构建模块,被配置为执行构建输入特征空间;输入特征空间包括输入特征值所有可能的取值;
第一生成模块,被配置为执行根据前景检测模型对所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的前景概率值,根据每个输入特征值的前景概率值生成前景概率查询表;
第二生成模块,被配置为执行根据背景检测模型对所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的背景概率值,根据每个输入特征值的背景概率值生成背景概率查询表。
一个可选的实施例中,肤色标识还包括第二肤色标识,第二肤色标识表征对应的像素是非皮肤像素;装置还包括:
第一训练模块,被配置为执行获取前景训练样本,前景训练样本包括样本图像中前景像素对应的输入特征值;前景像素的肤色标识为第一肤色标识;根据前景训练样本对第一神经网络模型进行前景检测训练,得到前景检测模型;
第二训练模块,被配置为执行获取背景训练样本,背景训练样本包括样本图像中背景像素对应的输入特征值;背景像素的肤色标识为第二肤色标识;根据背景训练样本对第二神经网络模型进行背景检测训练,得到背景检测模型。
一个可选的实施例中,装置还包括:
训练样本确定模块,被配置为执行获取样本图像,样本图像包括前景像素、背景像素和至少一个待处理区域;基于预设肤色信息范围和样本图像中至少一个待处理区域内每个像素的像素值,确定样本图像对应的肤色先验值;基于样本图像对应的肤色先验值和样本图像中每个像素的像素值,确定样本图像中每个像素对应的样本输入特征值;将样本图像中前景像素对应的样本输入特征值作为前景训练样本;将样本图像中背景像素对应的样本输入特征值作为背景训练样本。
一个可选的实施例中,肤色先验值包括第一肤色先验值;第一确定模块,被配置为执行:
将至少一个待处理区域中像素值满足预设肤色信息范围的像素确定为目标像素;
对所有待处理区域中目标像素的像素值计算平均值,得到第一肤色先验值。
一个可选的实施例中,第一构建模块,被配置为执行:
将待分割图像中每个像素的像素值与第一肤色先验值进行拼接,得到每个像素对应的输入特征值。
一个可选的实施例中,肤色先验值还包括至少一个第二肤色先验值;第二肤色先验值的数量与待分割图像中待处理区域的数量相等;
第一确定模块,被配置为执行:
对各待处理区域中目标像素的像素值计算平均值,得到各待处理区域对应的第二肤色先验值;
第一构建模块,被配置为执行:
当待分割图像中的像素为位于待处理区域内的像素时,将像素的像素值与对应的第二肤色先验值进行拼接,得到像素对应的输入特征值;
当待分割图像中的像素为位于待处理区域外的像素时,将像素的像素值与第一肤色先验值进行拼接,得到像素对应的输入特征值。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行指令,以实现本公开实施例的第一方面中任一项的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例的第一方面中任一项的方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序存储在可读存储介质中,计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序,使得计算机设备执行本公开实施例的第一方面中任一项的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过获取待分割图像;待分割图像包括至少一个待处理区域;基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值;预设肤色信息范围表征预设色彩空间下皮肤的颜色范围;基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值;根据前景概率查询表和背景概率查询表,确定每个像素的输入特征值对应的肤色标识;前景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的前景概率值;背景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的背景概率值;肤色标识包括第一肤色标识,第一肤色标识表征对应的像素是皮肤像素;第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值;根据待分割图像中每个像素对应的肤色标识,从待分割图像中确定皮肤区域;皮肤区域中每个像素对应的肤色标识为第一肤色标识。这种方式下,可以获得准确度较高的肤色先验值,从而使得最终从待分割图像中确定出的皮肤区域更加符合实际,且鲁棒性较高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图;
图2是根据一示例性实施例示出的一种图像处理方法的流程图;
图3是根据一示例性实施例示出的一种确定第一肤色先验值的流程图;
图4是根据一示例性实施例示出的一种图像处理流程的示意图;
图5是根据一示例性实施例示出的一种构建每个像素的输入特征值的流程图;
图6是根据示例性实施例示出的一种确定每个像素的输入特征值对应的肤色标识的流程图;
图7是根据一示例性实施例示出的一种生成前景概率查询表和背景概率查询表的流程图;
图8是根据一示例性实施例示出的一种前景检测模型的训练步骤的流程图;
图9是根据一示例性实施例示出的一种背景检测模型的训练步骤的流程图;
图10是根据一示例性实施例示出的一种获取前景训练样本和背景训练样本的流程图;
图11是根据一示例性实施例示出的一种图像处理装置框图;
图12是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的第一对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,图1根据一示例性实施例示出的一种应用环境的示意图,如图1所示,包括服务器01和终端02。可选的,服务器01和终端02可以通过无线链路连接,也可以通过有线链路连接,本公开在此不做限定。
在一个可选的实施例中,服务器01可以用于对获取的待分割图像进行处理,从待分割图像中确定出皮肤区域。具体的,服务器01可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选的,该服务器01上运行的操作系统可以包括但是不限于IOS、Linux、Windows、Unix、Android系统等。
一个可选的实施例中,终端02可以是待分割图像的提供方,用于向服务器01发送待分割图像。可选的,当服务器01从待分割图像中确定出皮肤区域后,也可以经过后续处理步骤将包含皮肤区域的标识的图像发送至终端02,用于在终端02上显示。具体的,终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备等类型的电子设备。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外,需要说明的是,图1所示的仅仅是本公开提供的图像处理方法的一种应用环境,在实际应用中,还可以包括其他应用环境,例如待分割图像中皮肤区域的确定,也可以在终端02上实现。
图2是根据一示例性实施例示出的一种图像处理方法的流程图,如图2所示,图像处理方法用于服务器、终端等电子设备中,包括以下步骤:
在步骤S201中,获取待分割图像;所述待分割图像包括至少一个待处理区域。
一个可选的实施例中,待分割图像可以是服务器从终端处获取的。在一个具体的实施例中,该终端可以是图像采集设备,比如摄像头。待处理区域是通过对象检测算法对待分割图像进行对象检测后得到的,检测的对象包括任意人体肤色部分。例如,在人脸识别的应用场景中,通过摄像头对人脸进行采集后,服务器获取的待分割图像为人脸图像,通过人脸检测算法对人脸图像进行检测,得到的待处理区域为该人脸图像中的人脸区域;当人脸图像存在多个人脸时,对应的检测结果包括多个人脸区域。又例如,在手势识别的应用场中,待分割图像为手势图像,检测后得到的待处理区域为手势图像中的手部区域;当手势图像存在多个手势时,对应的检测结果包括多个手部区域。又例如,在对未知图像进行检测后,可得到该未知图像中一个或多个待处理区域,多个待处理区域可以是同一人体的不同肤色部分,多个待处理区域也可以是不同人体的相同肤色部分,多个待处理区域还可以是不同人体的不同肤色部分;具体结果根据相应的对象检测模型或算法确定。
在步骤S203中,基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值;预设肤色信息范围表征预设色彩空间下皮肤的颜色范围。
传统的肤色检测方式,大多是通过总结出一定经验,设定皮肤颜色的范围,对待检测的图像进行过滤从而筛选出皮肤像素;本公开的一个可选的实施例中,基于传统的肤色检测方法,对待处理区域进行检测得到肤色先验值,并将该肤色先验值用于后续的处理步骤中,可以提高皮肤区域检测的准确度。
一个可选的实施方式中,预设肤色信息范围指的是预设色彩空间下皮肤的颜色范围,需要注意的是,不同的色彩空间中皮肤对应的颜色范围是不同的,即,预设肤色信息根据实际使用的色彩空间确定,对应的,每个像素的像素值是基于同一个色彩空间进行表征的。
一个可选的实施方式中,每个像素的像素值包括预设色彩空间中至少一个色彩通道对应的通道值,该预设色彩空间与预设肤色信息范围对应的色彩空间相同。其中,预设色彩空间包括RGB色彩空间、YCrCb色彩空间、HSV色彩空间中的任一种。
第一种具体的实施例中,当预设色彩空间为RGB色彩空间时,每个像素的像素值包括红色通道值、绿色通道值和蓝色通道值;对应的,预设肤色信息范围包括:
在均匀光照环境下:R>95AND G>40B>20AND MAX(R,G,B)-MIN(R,G,B)>15AND ABS(R-G)>15AND R>G AND R>B;
在侧光拍摄环境下:R>220AND G>210AND B>170AND ABS(R-G)<=15AND R>B ANDG>B。
第二种具体的实施例中,预设色彩空间为YCrCb色彩空间;YcbCr色彩空间是一种常用的肤色检测的色彩模型,其中Y代表亮度,Cr代表光源中的红色分量,Cb代表光源中的蓝色分量。人的肤色在外观上的差异是由色度引起的,不同人的肤色分布集中在较小的区域内。经过大量的皮肤统计信息得知,如果将肤色信息映射到YCrCb空间,这些皮肤像素在CrCb二维空间中分布在近似的椭圆区域内。因此如果预先得到一个CrCb的肤色分布椭圆,通过判断当前像素点的CbCr是否落在该椭圆区域内,就可以很容易地确认当前像素点是否属于肤色;因而,可选的,每个像素的像素值可以包括亮度通道值、红色色度通道值和蓝色色度通道值;或者,每个像素的像素值也可以只包括红色色度通道值和蓝色色度通道值;对应的,预设肤色信息范围由实际使用的椭圆皮肤检测模型确定。
此外,当预设色彩空间为YCrCb色彩空间时,还可使用简单的CrCb范围筛选法。由经验可知,正常黄种人的Cr分量大约在133至173之间,Cb分量大约在77至127之间,因此,预设肤色信息范围可以是133≤Cr≤173,77≤Cb≤127;实际应用时,根据实际需求放大或缩小范围可以得到不同的效果。
第三种具体的实施例中,当预设色彩空间为HSV色彩空间时,每个像素的像素值包括色调通道值H、饱和度通道值S和亮度通道值V;对应的,预设肤色信息范围包括7<H<20,28<S<256,50<V<256。
一个可选的实施例中,肤色先验值包括第一肤色先验值;第一肤色先验值是基于所有待处理区域进行判断得到,因此,不管该待分割图像中存在一个还是多个待处理区域,第一肤色先验值仅有一个;图3是根据一示例性实施例示出的一种确定第一肤色先验值的流程图,包括:
在步骤S301中,将至少一个待处理区域中像素值满足预设肤色信息范围的像素确定为目标像素。
可选的,预设肤色信息范围可参考上文具体实施例。将所有待处理区域内满足预设肤色信息范围的像素确定为目标像素,统计得到目标像素的数量。
在步骤S303中,对所有待处理区域中目标像素的像素值计算平均值,得到第一肤色先验值。
可选的,对所有所述待处理区域中目标像素的像素值计算平均值,即可得到第一肤色先验值。
下面通过一个例子对上述可选的实施例进行说明。如图4所示,图4是根据一示例性实施例示出的一种图像处理流程的示意图;假设预设色彩空间为RGB色彩空间,待分割图像为RGB图像,存在两个待处理区域分别为bounding box1和bounding box2,该RGB图像中每个像素的像素值包括位于红色通道上的红色通道值R、位于绿色通道上的绿色通道值G和位于蓝色通道上的蓝色通道值B;采用前文第一种具体的实施例中提供的预设肤色信息范围对bounding box1和bounding box2进行判断。下面基于图4介绍确定第一肤色先验值的具体实施例:
假设在bounding box1的红色通道中满足预设肤色信息范围的目标像素为图中标黑的10个像素,则该10个像素求红色通道值总和为SumR1=R1+R2+……+R10,绿色通道中满足预设肤色信息范围的目标像素数量为15个,则对应的绿色通道值总和为SumG1=G1+G2+……+G15,蓝色通道中满足预设肤色信息范围的目标像素数量为10个,则对应的蓝色通道值总和SumB1=B1+B2+……+B10;同理,若在bounding box2的红色通道中满足预设肤色信息范围的目标像素为图中标黑的5个像素,该5个像素求红色通道值总和为SumR2,绿色通道中满足预设肤色信息范围的目标像素为10个像素,该10个像素对应的红色通道值总和为SumG2,蓝色通道中满足预设肤色信息范围的目标像素为5个像素,该5个像素对应的蓝色通道值总和为SumB2;则,针对bounding box1中红色通道中的10个目标像素和bounding box2中红色通道中的5个目标像素,求解它们红色通道平均值为SumR3/15,其中,SumR3=SumR1+SumR2;同理,针对bounding box1中绿色通道中的15个目标像素和bounding box2中绿色通道中的10个目标像素,求解它们绿色通道平均值为SumG3/25,其中,SumG3=SumG1+SumG2;针对bounding box1中蓝色通道中的10个目标像素和bounding box2中蓝色通道中的5个目标像素,求解它们蓝色通道平均值为Sum B3/15,其中,SumB3=SumB1+SumB2;最后,得到的第一肤色先验值为(SumR3/15,SumG3/25,SumB3/15)。
一个可选的实施例中,肤色先验值还包括至少一个第二肤色先验值,第二肤色先验值的数量与待处理区域的数量相等;上述基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值,还可以包括以下步骤:
对各待处理区域中目标像素的像素值计算平均值,得到各待处理区域对应的第二肤色先验值。
即,若存在多个待处理区域,则对多个待处理区域中每个待处理区域的每个像素的像素值进行判断,得到每个待处理区域对应的第二肤色先验值。
可选的,针对每个待处理区域,将其中满足预设肤色信息范围的像素确定为目标像素,得到每个待处理区域各自区域内目标像素的数量,然后对各待处理区域内的目标像素的像素值计算平均值,得到各待处理区域对应的第二肤色先验值。
下面基于图4介绍确定第二肤色先验值的具体实施例:
由于每个待处理区域是采用相同的计算方式得到各自对应的第二肤色先验值的,下面仅以bounding box1为例进行说明:由于bounding box1中红色通道中满足预设肤色信息范围的目标像素为图中标黑的10个像素,对应的红色通道值总和为SumR1,绿色通道中满足预设肤色信息范围的目标像素数量为15个,对应的绿色通道值总和为SumG1,蓝色通道中满足预设肤色信息范围的目标像素数量为10个,对应的蓝色通道值总和为SumB1,分别求解各颜色通道平均值即可得到该bounding box1对应的第二肤色先验值为(SumR1/10,SumG1/15,SumB1/10);同理可得bounding box2对应的第二肤色先验值为(SumR2/5,SumG2/10,SumB2/5)。
可选的,根据实际应用场景可以对第一肤色先验值和第二肤色先验值进行选择性的计算。相对而言,第一肤色先验值是基于整体图像计算得到的,适用于全局图像肤色较协调或皮肤区域占全局图像较大比例的场景中,例如,身份认证中的人脸识别和人像美容等。而第二肤色先验值是针对局部区域计算得到的,适用于大场景图像中的肤色检测,例如,全景环视图像中需要多个人脸进行同时识别时,该多个人脸来自于不同人体,可能存在人种、肤色的差异,此时第二肤色先验值较第一肤色先验值更加准确。当然,第一肤色先验值和第二肤色先验值可以协同计算和使用,以获得更好的效果。
此外,一个可选的实施例中,可以直接根据每个bounding box中所有像素的像素值计算得到肤色先验值。但是,由于实际拍摄的待分割图像中,背景干扰因素较多,例如使用bounding box来划分人脸时,人脸可能存在遮挡,比如口罩、墨镜等,如图4所示,这导致使用这种简单的肤色先验值进行计算时,容易因为这些遮挡区域造成计算得到的人脸先验值错误,从而导致最终肤色分割结果的退化。因此,相较于通过该简单方法计算得到的肤色先验值,通过上述可选的实施例确定的第一肤色先验值和第二肤色先验值,可以将口罩、墨镜等干扰因素进行排除,得到的肤色先验值更加准确,对bounding box进行肤色预分割,这可以使得后续分割得到的皮肤区域更加符合实际。
在步骤S205中,基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值。
一个可选的实施例中,基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值,该输入特征值用于后续的识别。
图5是根据一示例性实施例示出的一种构建每个像素的输入特征值的流程图,包括:
在步骤S501中,当待分割图像中的像素为位于待处理区域内的像素时,将像素的像素值与对应的第二肤色先验值进行拼接,得到像素对应的输入特征值。
可选的,基于图4所示的图像,以bounding box1中的任一像素为例,假设该像素的像素值为(R1,G1,B1),则将其与对应的第二肤色先验值(SumR1/10,SumG1/15,SumB1/10)进行拼接后,得到该像素对应的输入特征值为(R1,G1,B1,SumR1/10,SumG1/15,SumB1/10);又以bounding box2中的任一像素为例,假设该像素的像素值为(R2,G2,B2),则将其与对应的第二肤色先验值(SumR2/5,SumG2/10,SumB2/5)进行拼接后,得到该像素对应的输入特征值为(R2,G2,B2,SumR2/5,SumG2/10,SumB2/5)。
在步骤S503中,当待分割图像中的像素为位于待处理区域外的像素时,将像素的像素值与第一肤色先验值进行拼接,得到像素对应的输入特征值。
可选的,基于图4所示的图像,对于位于bounding box1和bounding box2之外的任一像素,例如像素M(R0,G0,B0),将其与第一肤色先验值(SumR3/15,SumG3/25,SumB3/15)进行拼接后,得到像素M对应的输入特征值为(R0,G0,B0,SumR3/15,SumG3/25,SumB3/15)。
上述实施例中,针对待分割图像中像素的两种位置情况,分别对位于待处理区域内的像素与位于待处理区域外的像素使用了两种拼接方式,即针对位于待处理区域内的像素使用第二肤色先验值进行拼接,针对位于待处理区域外的像素使用第一肤色先验值进行拼接。而在另一种可选的实施例中,也可以针对待分割图像中每个像素均使用第一肤色先验值进行拼接,得到每个像素对应的输入特征值。
本公开实施例在对图像进行皮肤区域的识别过程中,通过在原始像素的像素值的基础上加入肤色先验值,利用肤色先验值与原始像素值构建得到输入特征值,如此,可以获得较好的识别效果,可以显著提升肤色分割精度。
在步骤S207中,根据前景概率查询表和背景概率查询表,确定每个像素的输入特征值对应的肤色标识;前景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的前景概率值;背景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的背景概率值;肤色标识包括第一肤色标识,第一肤色标识表征对应的像素是皮肤像素;第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值。
本公开实施例中,前景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的前景概率值,前景概率值表征该输入特征值属于肤色的可能性,前景概率值越大则该输入特征值是肤色的可能性越大;背景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的背景概率值,背景概率值表征该输入特征值属于非肤色的可能性,背景概率值越大则该输入特征值是非肤色的可能性越大。每个像素对应的肤色标识用于表征该像素是肤色还是非肤色,本公开实施例中肤色标识包括第一肤色标识,第一肤色标识表征对应的像素是皮肤像素。
一种可选的实施例中,针对待分割图像中每个像素对应的输入特征值,从前景概率查询表中确定该输入特征值对应的前景概率值,从背景概率查询表中确定该输入特征值对应的背景概率值,再根据该输入特征值对应的前景概率值和背景概率值确定其对应的像素的肤色标识。例如,第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值。
一个具体的实施例中,肤色标识还第二肤色标识,第二肤色标识表征对应像素为非皮肤像素。针对每个输入特征值:执行图6所示流程,图6是根据示例性实施例示出的一种确定每个像素的输入特征值对应的肤色标识的流程图,包括:
在步骤S601中,判断输入特征值对应的前景概率值与对应的背景概率值之差是否大于等于预设值;若输入特征值对应的前景概率值与对应的背景概率值之差大于等于预设值,执行步骤S603;否则,执行步骤S605。
在步骤S603中,确定输入特征值对应的肤色标识为第一肤色标识。
在步骤S605中,确定输入特征值对应的肤色标识为第二肤色标识。
可选的,上述预设值可以根据实际经验确定,例如,预设值可以取0.1。
一个可选的实施例中,本公开图像处理方法还包括前景概率查询表和背景概率查询表的生成步骤,图7是根据一示例性实施例示出的一种生成前景概率查询表和背景概率查询表的流程图,包括:
在步骤S701中,构建输入特征空间;输入特征空间包括输入特征值所有可能的取值。
其中,输入特征空间与前述预设色彩空间相对应的,输入特征空间的大小需要能够容纳输入特征值所有可能的取值。例如,当预设色彩空间为RGB色彩空间时,每个像素的像素值是一个三维向量,则肤色先验值也是一个三维向量,其构成的输入特征值是由两个三维向量拼接而成的,即包含6个数值,由于每个数值(R/G/B)由8bit表示,且每个数值的取值范围是0~255,则输入特征空间的大小为256*6,以容纳输入特征值所有可能的取值。
需要指出的是,此处每个像素的像素值和肤色先验值可以是其他维度的向量,每个数值也可以用其他比特数表示。
在步骤S703中,根据前景检测模型对所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的前景概率值,根据每个输入特征值的前景概率值生成前景概率查询表。
其中,前景检测模型是预先训练好的。根据前景检测模型对所有可能的取值中的每个输入特征值的前景概率值进行预测,然后根据每个输入特征值的前景概率值生成前景概率查询表。一种具体的实施例中,前景概率查询表如下表所示:
在步骤S705中,根据背景检测模型对所述所有可能的取值中的每个输入特征值进行检测,得到所述每个输入特征值的背景概率值,根据所述每个输入特征值的背景概率值生成所述背景概率查询表。
其中,背景检测模型是预先训练好的。根据背景检测模型对所有可能的取值中的每个输入特征值的背景概率值进行预测,然后根据每个输入特征值的背景概率值生成背景概率查询表。一种具体的实施例中,背景概率查询表如下表所示:
可选的,上述前景检测模型和背景检测模型可以采用高斯混合模型,高斯混合模型是一类常见的机器学习聚类算法,该算法将多个高斯分布通过不同的权重参数进行组合,用以表示特征空间中样本出现的概率密度。
本公开实施例中,预先根据前景检测模型对输入特征值所有可能的取值预先进行前景概率值的预测,以及根据背景检测模型对输入特征值所有可能的取值预先进行背景概率值的预测,分别生成前景概率查询表和背景概率查询表;从而,在后续的应用过程中,对于待分割图像中每个像素的输入特征值,可以直接从两个查询表中获得每个像素的输入特征值对应的前景概率值和背景概率值,然后只需判断两个概率值的大小关系,即可确定每个像素的肤色标识,如此,可以快速从图像中分割出皮肤区域,可以提高图像的处理速度。
一个可选的实施例中,本公开图像处理方法还包括前景检测模型和背景检测模型的训练步骤。
图8是根据一示例性实施例示出的一种前景检测模型的训练步骤的流程图。
在步骤S801中,获取前景训练样本,前景训练样本包括样本图像中前景像素对应的输入特征值;前景像素的肤色标识为第一肤色标识。
在步骤S803中,根据前景训练样本对第一神经网络模型进行前景检测训练,得到前景检测模型。
具体的,训练过程中,搭建待训练的第一神经网络模型,第一神经网络模型可以采用相关的现有检测模型的基础结构进行搭建;获取前景训练样本,定义损失函数,利用损失函数确定损失值,当损失值大于预设阈值时,基于损失值进行反向传播,对模型进行网络参数更新以得到更新后的模型。直至损失值小于等于预设阈值时,得到训练好的前景检测模型。
图9是根据一示例性实施例示出的一种背景检测模型的训练步骤的流程图。
在步骤S901中,获取背景训练样本,背景训练样本包括样本图像中背景像素对应的输入特征值;背景像素的肤色标识为第二肤色标识。
在步骤S903中,根据背景训练样本对第二神经网络模型进行背景检测训练,得到背景检测模型。
具体的,背景检测模型的训练过程可以参考上述实施例中前景检测模型的训练过程,此处不再赘述。
一个可选的实施例中,在上述前景检测模型以及背景检测模型的训练过程中,还包括获取所述前景训练样本和背景训练样本的步骤。如图10所示,图10是根据一示例性实施例示出的一种获取前景训练样本和背景训练样本的流程图。
在步骤S1001中,获取样本图像,样本图像包括前景像素、背景像素和至少一个待处理区域。
具体的,预先收集足够的样本图像,样本图像包括前景像素、背景像素和至少一个待处理区域;前景像素指的是肤色标识为第一肤色标识的像素,背景像素指的是肤色标识为第二肤色标识的像素。至少一个待处理区域为样本图像中的皮肤区域。例如待处理区域为人脸bonding box,该bounding box是一个大致包含训练样本图像中的人脸区域的图形。样本图像的色彩模式根据实际应用需求进行确定,可以是RGB、YCbCr、HSV或者其他的色彩模式。
在步骤S1003中,基于预设肤色信息范围和样本图像中至少一个待处理区域内每个像素的像素值,确定样本图像对应的肤色先验值。
具体的,该步骤确定样本图像对应的肤色先验值,与实际应用中的步骤S203基于同样的原理。需要说明的是,在训练过程中,若同时计算了第一肤色先验值和第二肤色先验值,则实际应用中,步骤S203也需要分别计算第一肤色先验值和第二肤色先验值;若仅计算了第一肤色先验值,则实际应用中,步骤S203只需确定第一肤色先验值。样本图像对应的肤色先验值的确定方式可以参考上文确定第一肤色先验值的实施例和第二肤色先验值的实施例,此处不再赘述。
在步骤S1005中,基于样本图像对应的肤色先验值和样本图像中每个像素的像素值,确定样本图像中每个像素对应的样本输入特征值。
具体的,样本图像中每个像素对应的样本输入特征值可以参考上文关于构建每个像素的输入特征值的方式;实际应用时,步骤S205中输入特征值的构建方式是基于训练过程中样本输入特征值确定的。
在步骤S1007中,将样本图像中前景像素对应的样本输入特征值作为前景训练样本。
在步骤S1009中,将样本图像中背景像素对应的样本输入特征值作为背景训练样本。
具体的,在确定样本图像中每个像素的样本输入特征值后,对每个像素的样本输入特征值进行分类;即,根据每个像素的肤色标识,来确定每个像素对应的样本输入特征值是作为前景训练样本,还是作为背景训练样本;从而,将原始样本图像经过一系列处理后,得到前景训练样本和背景训练样本,分别用于前景检测模型的训练和背景检测模型的训练。
通过上述模型训练步骤得到的前景检测模型和背景检测模型,完成对输入特征值所有可能的取值进行前景概率值和背景概率值的预测,以生成前景概率查询表和背景概率查询表,如此,在实际应用过程中,无需再使用前景检测模型和背景检测模型,只需根据两个查询表即可快速确定出待分割图像中每个像素的肤色标识,进而分割出皮肤区域,可以显著提升图像处理效率。
在步骤S209中,根据待分割图像中每个像素对应的肤色标识,从待分割图像中确定皮肤区域;皮肤区域中每个像素对应的肤色标识为第一肤色标识。
一种可选的实施例中,在确定每个像素的肤色标识之后,根据每个像素对应的肤色标识,从待分割图像中确定皮肤区域。例如,将待分割图像中肤色标识为第一肤色标识的像素标记为皮肤像素,该待分割图像中的所有皮肤像素进行区域连通,得到皮肤区域。后续可根据需求基于该皮肤区域生成掩码图像,例如对皮肤区域进行美化处理等操作。
综上,本公开实施例基于预设肤色信息范围对待分割图像中待处理区域进行肤色预分割得到肤色先验值,然后基于肤色先验值和待分割图像中每个像素的像素值构建每个像素的输入特征值,根据前景概率查询表和背景概率查询表,确定每个像素的输入特征值对应的肤色标识,最终根据每个像素对应的肤色标识,从待分割图像中确定皮肤区域。如此,本公开实施例可以准确地将皮肤像素从图像中分割出来,且在复杂背景环境下鲁棒性较高。
图11是根据一示例性实施例示出的一种图像处理装置框图。参照图11,该装置包括第一获取模块1101、第一确定模块1102、第一构建模块1103、第二确定模块1104和第三确定模块1105。
第一获取模块1101,被配置为执行获取待分割图像;待分割图像包括至少一个待处理区域;
第一确定模块1102,被配置为执行基于预设肤色信息范围和至少一个待处理区域中每个像素的像素值,确定肤色先验值;预设肤色信息范围表征预设色彩空间下皮肤的颜色范围;
第一构建模块1103,被配置为执行基于肤色先验值和待分割图像中每个像素的像素值,构建每个像素的输入特征值;
第二确定模块1104,被配置为执行根据前景概率查询表和背景概率查询表,确定每个像素的输入特征值对应的肤色标识;前景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的前景概率值;背景概率查询表包括多个输入特征值与多个输入特征值中每个输入特征值对应的背景概率值;肤色标识包括第一肤色标识,第一肤色标识表征对应的像素是皮肤像素;第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值;
第三确定模块1105,被配置为执行根据待分割图像中每个像素对应的肤色标识,从待分割图像中确定皮肤区域;皮肤区域中每个像素对应的肤色标识为第一肤色标识。
一个可选的实施例中,装置还包括:
第二构建模块,被配置为执行构建输入特征空间;输入特征空间包括输入特征值所有可能的取值;
第一生成模块,被配置为执行根据前景检测模型对所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的前景概率值,根据每个输入特征值的前景概率值生成前景概率查询表;
第二生成模块,被配置为执行根据背景检测模型对所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的背景概率值,根据每个输入特征值的背景概率值生成背景概率查询表。
一个可选的实施例中,肤色标识还包括第二肤色标识,第二肤色标识表征对应的像素是非皮肤像素;装置还包括:
第一训练模块,被配置为执行获取前景训练样本,前景训练样本包括样本图像中前景像素对应的输入特征值;前景像素的肤色标识为第一肤色标识;根据前景训练样本对第一神经网络模型进行前景检测训练,得到前景检测模型;
第二训练模块,被配置为执行获取背景训练样本,背景训练样本包括样本图像中背景像素对应的输入特征值;背景像素的肤色标识为第二肤色标识;根据背景训练样本对第二神经网络模型进行背景检测训练,得到背景检测模型。
一个可选的实施例中,装置还包括:
训练样本确定模块,被配置为执行获取样本图像,样本图像包括前景像素、背景像素和至少一个待处理区域;基于预设肤色信息范围和样本图像中至少一个待处理区域内每个像素的像素值,确定样本图像对应的肤色先验值;基于样本图像对应的肤色先验值和样本图像中每个像素的像素值,确定样本图像中每个像素对应的样本输入特征值;将样本图像中前景像素对应的样本输入特征值作为前景训练样本;将样本图像中背景像素对应的样本输入特征值作为背景训练样本。
一个可选的实施例中,肤色先验值包括第一肤色先验值;第一确定模块1102,被配置为执行:
将至少一个待处理区域中像素值满足预设肤色信息范围的像素确定为目标像素;
对所有待处理区域中目标像素的像素值计算平均值,得到第一肤色先验值。
一个可选的实施例中,第一构建模块1103,被配置为执行:
将待分割图像中每个像素的像素值与第一肤色先验值进行拼接,得到每个像素对应的输入特征值。
一个可选的实施例中,肤色先验值还包括至少一个第二肤色先验值;第二肤色先验值的数量与待分割图像中待处理区域的数量相等;
第一确定模块1102,被配置为执行:
对各待处理区域中目标像素的像素值计算平均值,得到各待处理区域对应的第二肤色先验值;
第一构建模块1103,被配置为执行:
当待分割图像中的像素为位于待处理区域内的像素时,将像素的像素值与对应的第二肤色先验值进行拼接,得到像素对应的输入特征值;
当待分割图像中的像素为位于待处理区域外的像素时,将像素的像素值与第一肤色先验值进行拼接,得到像素对应的输入特征值。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种用于图像处理的电子设备1200的框图。
该电子设备可以是服务器,还可以是终端设备,其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种服务器,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的图像处理方法。
在示例性实施例中,还提供了一种计算机可读存储介质,当该计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的图像处理方法。
在示例性实施例中,还提供了一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序存储在可读存储介质中,计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序,使得计算机设备执行本公开实施例的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (13)
1.一种图像处理方法,其特征在于,包括:
获取待分割图像;所述待分割图像包括至少一个待处理区域;
基于预设肤色信息范围和所述至少一个待处理区域中每个像素的像素值,确定肤色先验值;所述预设肤色信息范围表征预设色彩空间下皮肤的颜色范围;所述肤色先验值包括第一肤色先验值;
基于所述肤色先验值和所述待分割图像中每个像素的像素值,构建所述每个像素的输入特征值;
根据前景概率查询表和背景概率查询表,确定所述每个像素的输入特征值对应的肤色标识;所述前景概率查询表包括多个输入特征值与所述多个输入特征值中每个输入特征值对应的前景概率值;所述背景概率查询表包括所述多个输入特征值与所述多个输入特征值中每个输入特征值对应的背景概率值;所述肤色标识包括第一肤色标识,所述第一肤色标识表征对应的像素是皮肤像素;所述第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值;
根据所述待分割图像中每个像素对应的肤色标识,从所述待分割图像中确定皮肤区域;所述皮肤区域中每个像素对应的肤色标识为所述第一肤色标识;
所述基于预设肤色信息范围和所述至少一个待处理区域中每个像素的像素值,确定肤色先验值,包括:
将所述至少一个待处理区域中像素值满足所述预设肤色信息范围的像素确定为目标像素;
对所有所述待处理区域中目标像素的像素值计算平均值,得到所述第一肤色先验值;
所述基于所述肤色先验值和所述待分割图像中每个像素的像素值,构建所述每个像素的输入特征值,包括:
将所述待分割图像中每个像素的像素值与所述第一肤色先验值进行拼接,得到所述每个像素对应的输入特征值。
2.根据权利要求1所述的图像处理方法,其特征在于,所述方法还包括:
构建输入特征空间;所述输入特征空间包括所述输入特征值所有可能的取值;
根据前景检测模型对所述所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的前景概率值,根据所述每个输入特征值的前景概率值生成所述前景概率查询表;
根据背景检测模型对所述所有可能的取值中的每个输入特征值进行检测,得到所述每个输入特征值的背景概率值,根据所述每个输入特征值的背景概率值生成所述背景概率查询表。
3.根据权利要求2所述的图像处理方法,其特征在于,所述肤色标识还包括第二肤色标识,所述第二肤色标识表征对应的像素是非皮肤像素;所述前景检测模型的训练方法包括:
获取前景训练样本,所述前景训练样本包括样本图像中前景像素对应的输入特征值;所述前景像素的肤色标识为所述第一肤色标识;
根据所述前景训练样本对第一神经网络模型进行前景检测训练,得到所述前景检测模型;
所述背景检测模型的训练方法包括:
获取背景训练样本,所述背景训练样本包括样本图像中背景像素对应的输入特征值;所述背景像素的肤色标识为所述第二肤色标识;
根据所述背景训练样本对第二神经网络模型进行背景检测训练,得到所述背景检测模型。
4.根据权利要求3所述的图像处理方法,其特征在于,所述方法还包括:
获取所述样本图像,所述样本图像包括所述前景像素、所述背景像素和至少一个待处理区域;
基于所述预设肤色信息范围和所述样本图像中至少一个待处理区域内每个像素的像素值,确定所述样本图像对应的肤色先验值;
基于所述样本图像对应的肤色先验值和所述样本图像中每个像素的像素值,确定所述样本图像中每个像素对应的样本输入特征值;
将所述样本图像中前景像素对应的样本输入特征值作为所述前景训练样本;
将所述样本图像中背景像素对应的样本输入特征值作为所述背景训练样本。
5.根据权利要求1所述的图像处理方法,其特征在于,所述肤色先验值还包括至少一个第二肤色先验值;所述第二肤色先验值的数量与所述待分割图像中待处理区域的数量相等;
所述基于预设肤色信息范围和所述至少一个待处理区域中每个像素的像素值,确定肤色先验值,包括:
对各所述待处理区域中目标像素的像素值计算平均值,得到各所述待处理区域对应的第二肤色先验值;
所述基于所述肤色先验值和所述待分割图像中每个像素的像素值,构建所述每个像素的输入特征值,包括:
当所述待分割图像中的像素为位于所述待处理区域内的像素时,将所述像素的像素值与对应的第二肤色先验值进行拼接,得到所述像素对应的输入特征值;
当所述待分割图像中的像素为位于所述待处理区域外的像素时,将所述像素的像素值与第一肤色先验值进行拼接,得到所述像素对应的输入特征值。
6.一种图像处理装置,其特征在于,包括:
第一获取模块,被配置为执行获取待分割图像;所述待分割图像包括至少一个待处理区域;
第一确定模块,被配置为执行基于预设肤色信息范围和所述至少一个待处理区域中每个像素的像素值,确定肤色先验值;所述预设肤色信息范围表征预设色彩空间下皮肤的颜色范围;所述肤色先验值包括第一肤色先验值;
第一构建模块,被配置为执行基于所述肤色先验值和所述待分割图像中每个像素的像素值,构建所述每个像素的输入特征值;
第二确定模块,被配置为执行根据前景概率查询表和背景概率查询表,确定所述每个像素的输入特征值对应的肤色标识;所述前景概率查询表包括多个输入特征值与所述多个输入特征值中每个输入特征值对应的前景概率值;所述背景概率查询表包括所述多个输入特征值与所述多个输入特征值中每个输入特征值对应的背景概率值;所述肤色标识包括第一肤色标识,所述第一肤色标识表征对应的像素是皮肤像素;所述第一肤色标识对应的像素的输入特征值的前景概率值与对应的背景概率值之差大于等于预设值;
第三确定模块,被配置为执行根据所述待分割图像中每个像素对应的肤色标识,从所述待分割图像中确定皮肤区域;所述皮肤区域中每个像素对应的肤色标识为所述第一肤色标识;
所述第一确定模块,被配置为执行:
将所述至少一个待处理区域中像素值满足所述预设肤色信息范围的像素确定为目标像素;
对所有所述待处理区域中目标像素的像素值计算平均值,得到所述第一肤色先验值;
所述第一构建模块,被配置为执行:
将所述待分割图像中每个像素的像素值与所述第一肤色先验值进行拼接,得到所述每个像素对应的输入特征值。
7.根据权利要求6所述的图像处理装置,其特征在于,所述装置还包括:
第二构建模块,被配置为执行构建输入特征空间;所述输入特征空间包括所述输入特征值所有可能的取值;
第一生成模块,被配置为执行根据前景检测模型对所述所有可能的取值中的每个输入特征值进行检测,得到每个输入特征值的前景概率值,根据所述每个输入特征值的前景概率值生成所述前景概率查询表;
第二生成模块,被配置为执行根据背景检测模型对所述所有可能的取值中的每个输入特征值进行检测,得到所述每个输入特征值的背景概率值,根据所述每个输入特征值的背景概率值生成所述背景概率查询表。
8.根据权利要求7所述的图像处理装置,其特征在于,所述肤色标识还包括第二肤色标识,所述第二肤色标识表征对应的像素是非皮肤像素;所述装置还包括:
第一训练模块,被配置为执行获取前景训练样本,所述前景训练样本包括样本图像中前景像素对应的输入特征值;所述前景像素的肤色标识为所述第一肤色标识;根据所述前景训练样本对第一神经网络模型进行前景检测训练,得到所述前景检测模型;
第二训练模块,被配置为执行获取背景训练样本,所述背景训练样本包括样本图像中背景像素对应的输入特征值;所述背景像素的肤色标识为所述第二肤色标识;根据所述背景训练样本对第二神经网络模型进行背景检测训练,得到所述背景检测模型。
9.根据权利要求8所述的图像处理装置,其特征在于,所述装置还包括:
训练样本确定模块,被配置为执行获取所述样本图像,所述样本图像包括所述前景像素、所述背景像素和至少一个待处理区域;基于所述预设肤色信息范围和所述样本图像中至少一个待处理区域内每个像素的像素值,确定所述样本图像对应的肤色先验值;基于所述样本图像对应的肤色先验值和所述样本图像中每个像素的像素值,确定所述样本图像中每个像素对应的样本输入特征值;将所述样本图像中前景像素对应的样本输入特征值作为所述前景训练样本;将所述样本图像中背景像素对应的样本输入特征值作为所述背景训练样本。
10.根据权利要求6所述的图像处理装置,其特征在于,所述肤色先验值还包括至少一个第二肤色先验值;所述第二肤色先验值的数量与所述待分割图像中待处理区域的数量相等;
所述第一确定模块,被配置为执行:
对各所述待处理区域中目标像素的像素值计算平均值,得到各所述待处理区域对应的第二肤色先验值;
所述第一构建模块,被配置为执行:
当所述待分割图像中的像素为位于所述待处理区域内的像素时,将所述像素的像素值与对应的第二肤色先验值进行拼接,得到所述像素对应的输入特征值;
当所述待分割图像中的像素为位于所述待处理区域外的像素时,将所述像素的像素值与第一肤色先验值进行拼接,得到所述像素对应的输入特征值。
11.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至5中任一项所述的图像处理方法。
12.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至5中任一项所述的图像处理方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序存储在可读存储介质中,计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序,使得所述计算机设备执行如权利要求1至5中任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130003.3A CN113947568B (zh) | 2021-09-26 | 2021-09-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111130003.3A CN113947568B (zh) | 2021-09-26 | 2021-09-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113947568A CN113947568A (zh) | 2022-01-18 |
CN113947568B true CN113947568B (zh) | 2024-03-29 |
Family
ID=79328726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111130003.3A Active CN113947568B (zh) | 2021-09-26 | 2021-09-26 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113947568B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114820349B (zh) * | 2022-04-01 | 2023-05-02 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251898A (zh) * | 2008-03-25 | 2008-08-27 | 腾讯科技(深圳)有限公司 | 一种肤色检测方法及装置 |
CN102096823A (zh) * | 2011-02-12 | 2011-06-15 | 厦门大学 | 基于高斯模型和最小均方差的人脸检测方法 |
CN106407909A (zh) * | 2016-08-31 | 2017-02-15 | 北京云图微动科技有限公司 | 人脸识别方法、装置及系统 |
CN107025441A (zh) * | 2017-03-29 | 2017-08-08 | 北京小米移动软件有限公司 | 肤色检测方法及装置 |
CN110378846A (zh) * | 2019-06-28 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 一种处理图像磨皮的方法、装置、介质和电子设备 |
CN111062891A (zh) * | 2019-12-16 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106611429B (zh) * | 2015-10-26 | 2019-02-05 | 腾讯科技(深圳)有限公司 | 检测皮肤区域的方法和检测皮肤区域的装置 |
-
2021
- 2021-09-26 CN CN202111130003.3A patent/CN113947568B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101251898A (zh) * | 2008-03-25 | 2008-08-27 | 腾讯科技(深圳)有限公司 | 一种肤色检测方法及装置 |
CN102096823A (zh) * | 2011-02-12 | 2011-06-15 | 厦门大学 | 基于高斯模型和最小均方差的人脸检测方法 |
CN106407909A (zh) * | 2016-08-31 | 2017-02-15 | 北京云图微动科技有限公司 | 人脸识别方法、装置及系统 |
CN107025441A (zh) * | 2017-03-29 | 2017-08-08 | 北京小米移动软件有限公司 | 肤色检测方法及装置 |
CN110378846A (zh) * | 2019-06-28 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 一种处理图像磨皮的方法、装置、介质和电子设备 |
CN111062891A (zh) * | 2019-12-16 | 2020-04-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113947568A (zh) | 2022-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991380B (zh) | 人体属性识别方法、装置、电子设备以及存储介质 | |
WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
CN111428581A (zh) | 人脸遮挡检测方法及系统 | |
WO2018036462A1 (zh) | 图像分割的方法、计算机设备及存储介质 | |
CN108701217A (zh) | 一种人脸肤色识别方法、装置和智能终端 | |
CN108463823B (zh) | 一种用户头发模型的重建方法、装置及终端 | |
CN105359162A (zh) | 用于图像中的与脸部有关的选择和处理的图像掩模 | |
WO2022179401A1 (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
CN111191521B (zh) | 人脸活体检测方法、装置、计算机设备及存储介质 | |
CN109871845A (zh) | 证件图像提取方法及终端设备 | |
CN111275685A (zh) | 身份证件的翻拍图像识别方法、装置、设备及介质 | |
CN111739027A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN111353546A (zh) | 图像处理模型的训练方法、装置、计算机设备和存储介质 | |
CN109766828A (zh) | 一种车辆目标分割方法、装置及通信设备 | |
CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
CN113344000A (zh) | 证件翻拍识别方法、装置、计算机设备和存储介质 | |
CN113469092A (zh) | 字符识别模型生成方法、装置、计算机设备和存储介质 | |
CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
CN112686820A (zh) | 虚拟美妆方法、装置和电子设备 | |
CN113947568B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN113012188A (zh) | 图像融合方法、装置、计算机设备和存储介质 | |
CN115760870A (zh) | 一种图像重点区域的分割方法、装置、设备及存储介质 | |
CN111582155A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
CN109064431B (zh) | 一种图片亮度调节方法、设备及其存储介质 | |
CN112465882B (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |