CN107146203A - 一种图像虚化方法及终端 - Google Patents
一种图像虚化方法及终端 Download PDFInfo
- Publication number
- CN107146203A CN107146203A CN201710166905.XA CN201710166905A CN107146203A CN 107146203 A CN107146203 A CN 107146203A CN 201710166905 A CN201710166905 A CN 201710166905A CN 107146203 A CN107146203 A CN 107146203A
- Authority
- CN
- China
- Prior art keywords
- image
- measured
- area
- facial image
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000003313 weakening effect Effects 0.000 title claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims abstract description 121
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims description 18
- 230000004075 alteration Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Abstract
本发明实施例公开了一种图像虚化方法及其终端，其中，该方法包括：获取当前图像并对当前图像进行人脸检测，得到待测人脸图像；对待测人脸图像进行肤色检测，得到待测人脸图像的非肤色区域；对非肤色区域进行虚化处理，得到目标图像。本发明实施例中，由于先对当前图像进行了人脸检测及肤色检测，再对所检测出的非肤色区域进行不同程度的虚化处理，不需要样本便完成了对当前图像的虚化，提高了虚化效率及虚化效果。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像虚化方法及其终端。
背景技术
对于双摄像头的移动终端，在进行照片虚化时，通常通过一个摄像头成像，另一个摄像头获取照片的深度信息，并以此完成照片的虚化。但是，对于单摄像头的移动终端来说，其无法获取照片的深度信息，一般先以前一帧图像作为样本，再基于该样本对当前帧图像进行虚化处理，虚化效果较差，且效率较低。
发明内容
本发明实施例提供一种图像虚化方法及其终端，可提高虚化效果及效率。
本发明实施例提供了一种图像虚化方法，包括：
获取当前图像；
对当前图像进行人脸检测，得到待测人脸图像；
对待测人脸图像进行肤色检测，得到待测人脸图像的非肤色区域；
对非肤色区域进行虚化处理，得到目标图像。
本发明实施例还提供了一种终端，包括:
获取单元，用于获取当前图像；
第一检测单元，用于对当前图像进行人脸检测，得到待测人脸图像；
第二检测单元，用于对待测人脸图像进行肤色检测，得到待测人脸图像的非肤色区域；
虚化单元，用于对非肤色区域进行虚化处理，得到目标图像。
本发明实施例中，先获取当前图像并对其进行人脸检测，得到待测人脸图像，再对待测人脸图像进行肤色检测，得到非肤色区域，最后对非肤色区域进行虚化处理以得到目标图像。由于本实施例先对当前图像进行了人脸检测及肤色检测，再对所检测出的非肤色区域进行不同程度的虚化处理，不需要样本便完成了对当前图像的虚化，提高了虚化效率及虚化效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的一种图像虚化方法的流程示意图；
图2是本发明第二实施例提供的一种图像虚化方法的流程示意图；
图3是步骤S202的子流程示意图；
图4是本发明一实施例提供的一种强分类器的结构示意图；
图5是本发明一实施例提供的一种特征模板的示意图；
图6是本发明一实施例提供的一种子窗口的结构示意图；
图7是本发明一实施例提供的另一种子窗口的结构示意图；
图8是本发明一实施例提供的待测人脸图像示意图；
图9是步骤S203的子流程示意图；
图10是第一区域示意图；
图11是第二区域示意图；
图12是肤色检测效果图；
图13是本发明第一实施例提供的一种终端的结构示意图；
图14是本发明第二实施例提供的一种终端的结构示意图；
图15是本发明第三实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
具体实现中，本发明实施例中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
终端支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在终端上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
需要说明的是，本发明实施例的图像虚化方法适用于单摄像头的移动终端。
请参考图1，是本发明第一实施例提供的图像虚化方法的流程示意图，如图所示，该方法可以包括以下步骤：
S101，获取当前图像。
用户可以通过触控或者语音的方式向终端发送开启拍照应用的指令，终端在接收到用户发送的开启拍照应用指令的时，可以开启拍照应用以获取初始图像。其中，该初始图像以缓存的形式存储在终端中。该初始图像可以是YUV格式的，也可以是RGB格式的。若该初始图像是YUV格式的，可提取Y通道图像以作为当前图像。
S102，对当前图像进行人脸检测，得到待测人脸图像。
终端可以采用人脸检测方法对当前图像进行人脸检测以得到待测人脸图像。该部分将在下一实施例中详述。
S103，对待测人脸图像进行肤色检测，得到待测人脸图像的非肤色区域。
终端对待测人脸图像进行肤色检测，以得到待测人脸图像的肤色区域及非肤色区域。其中，对待测人脸图像进行肤色检测的具体过程将在下一实施例中详述。
S104，对非肤色区域进行虚化处理，得到目标图像。
终端确定出肤色区域和非肤色区域之后，可以使用盒装滤波器或者其他低通滤波器对非肤色区域进行虚化处理，从而凸显出肤色区域的清晰度，得到目标图像。其中，对待测人脸图像来说，非肤色区域包括头发等，肤色区域包括人脸区域等。
本发明实施例中，先获取当前图像并对其进行人脸检测，得到待测人脸图像，再对待测人脸图像进行肤色检测，得到非肤色区域，最后对非肤色区域进行虚化处理以得到目标图像。由于本实施先对当前图像进行了人脸检测及肤色检测，再对所检测出的非肤色区域进行不同程度的虚化处理，不需要样本便完成了对当前图像的虚化，提高了虚化效率及虚化效果。
请参考图2，是本发明第二实施例提供的图像虚化方法的流程示意图，如图所示，该方法可以包括以下步骤：
S201，获取当前图像。
用户可以通过触控或者语音的方式向终端发送开启拍照应用的指令，终端在接收到用户发送的开启拍照应用指令的时，可以开启拍照应用以获取初始图像。其中，该初始图像以缓存的形式存储在终端中。该初始图像可以是YUV格式的，也可以是RGB格式的。若该初始图像是YUV格式的，可提取Y通道图像以作为当前图像。
S202，对当前图像进行人脸检测，得到待测人脸图像。
请参考图3，步骤S202可以包括以下步骤：
S2021，训练强分类器。
作为一种可选的实施方式，训练强分类器的具体过程如下：
(1)选定训练样本T＝{(x1，y1)，(x2，y2)…(xi，yi)…(xN，yN)}，并将该训练样本存储于指定位置，如样本数据库中。其中xi表示第i个样本，yi＝0时表示其为负样本(非人脸)，yi＝1时表示其为正样本(人脸)。N为训练样本数量。x1表示第1个样本，y1表示第1个样本的值，当y1＝0时表示其为负样本(非人脸)，y1＝1时表示其为正样本(人脸)；x2表示第2个样本，y2表示第2个样本的值，当y2＝0时表示其为负样本(非人脸)，y2＝1时表示其为正样本(人脸)；xN表示第N个样本，yN表示第N个样本的值，当yN＝0时表示其为负样本(非人脸)，yN＝1时表示其为正样本(人脸)。
(2)初始化训练样本的权值分布D1，即给每个训练样本设置相同的权值，可以表示为：
D1＝(w11，w12…w1i…w1N)，w1i＝1/N，i＝1，2…N
其中，w11表示第1个样本所对应的权值，w12表示第2个样本所对应的权值，w1i表示第i个样本所对应的权值，w1N表示第N个样本所对应的权值。
(3)设置迭代次数t，t＝1,2,...,N，N为自然数。
(4)归一化权值：
其中，Dt(i)为第t次循环中第i个样本的权值，qt(i)为第t次循环中第i个样本的归一化权值。
(5)对训练样本进行学习以得到多个弱分类器，并计算每一弱分类器在训练样本上的分类误差率：使用具有权值分布Dt的训练样本学习得到弱分类器h(xi，fi，pi，θi)，计算弱分类器的分类错误率εt：
其中，一个弱分类器h(xi，fi，pi，θi)是由特征fi，阈值θi，以及偏置位置pi组成：
另外，xi为一个训练样本，特征fi与弱分类器hi(xi，fi，pi，θi)具有一一对应的关系，偏置位pi的作用是控制不等式的方向，使得不等式符号都是小于等于号，训练一个弱分类器的就是找到最优阈值值θi的过程。
(6)从(5)中确定的弱分类器中，找出一个具有最小的分类错误率εt(i)的弱分类器ht。
(7)根据分类误差率计算弱分类器的系数βt：
βt＝εt/(1-εt)
其中，该系数表示每一弱分类器在强分类器中所占的权值，当xi被正确地分类时，ei的值取0，当被xi错误地分类时，ei的值取1。并跟该系数对所有训练样本的权值进行更新：
(8)所有训练样本的权值更新后，循环执行步骤(4)到(7)，直到迭代N次后，结束迭代，得到强分类器H(x)：
其中，αt＝log(1/βt)。
根据上述方法所得到的强分类器可以如图4所示。在该图中，该强分类器由3个级联的弱分类器组成。
S2022，按照预设缩小比例对该当前图像进行缩小以得到第一图像。
终端可以按照预设缩小比例对该当前图像进行缩小以得到第一图像，以便提高检测目标人脸图像的效率。例如，终端处理一张1300万像素的图像，需要20ms，如果将该1300万像素的图像缩小10倍，相应的处理时间也会缩小。其中，预设放大比例可以根据终端处理图像的性能决定。
S2023，将该第一图像进行多次划分以得到多张第二图像，每张该第二图像包括多个子窗口。
终端可以将该第一图像进行多次划分以得到多张第二图像，每张该第二图像包括多个子窗口，其中每次划分的子窗口的个数越多，计算得出的Haar特征值也越多，检测到的人脸图像更加准确，但是每次划分的子窗口越多，计算Haar特征值的时间也会相应增加，另外，子窗口的最大数量不能超过强分类器检测的最大子窗口数量，所以划分的子窗口的数量可以根据检测人脸图像的准确性、计算Haar特征值的时间、强分类器子窗口的数量等因素综合考虑。其中，Haar特征值可以通过图像的子窗口的像素值计算得出，并用于描述图像的灰度变化。
举例来说，终端初次可以将第一图像划分为20*20个子窗口，然后可以按照等比例扩大划分子窗口的数量，如按照3倍的比例扩大划分子窗口的数量，即可以将该第一图像划分为60*60个子窗口、180*180个子窗口或540*540个子窗口等。
S2024，根据积分图计算每张该第二图像中每个子窗口的Haar特征值。
由于计算Haar特征值需要已知每个子窗口的像素值，每个子窗口的像素值可以根据子窗口的端点处的积分图计算出，所以可以根据积分图计算每张第二图像的Haar特征值。
作为一种可选的实施方式，上述根据积分图计算每个子窗口的Haar特征值，可以包括：根据该积分图计算该每个子窗口对应的像素值；根据该每个子窗口的像素值计算该每个子窗口的Haar特征值。
需要说明的是，当前图像中的任意一点的积分图是指从图像的左上角到这点所构成的矩形区域内所有点的像素值值之和，同理对于具有多个子窗口第二图像中，每个子窗口端点处的积分图为该端点到该图像左上角所包含的所有子窗口的像素值之和。所以在计算出各个子窗口端点处的积分图的情况下，可以根据积分图计算各个子窗口的像素值，并可以根据每个子窗口的像素值计算各子窗口的Haar特征值。
进一步，在计算Haar特征值时，首先需要选择合适的特征模版，特征模版是由两个或多个的矩形组合而成，特征模板内有黑色和白色两种矩形，其中常见的特征模版如图5所示。其中每种特征模版仅对应一种特征，但每种特征可以对应多种特征模版，常见的特征有边缘特征、线性特征、点特征、对角特征，然后将特征模版按照预设规则放置在灰度图像对应的子窗口中，计算该特征模版放置区域对应的Haar特征值，该Haar特征值由特征模版中白色矩形区域的像素和减去黑色矩形区域的像素和计算得出。其中，预设规则包括设置特征模版的大小、特征模版在子窗口中放置的位置，预设规则根据灰度图像划分的子窗口的数量决定。
其中，在选定特征模版的情况下，由于特征模版的大小不同，且在每张第二图像的的子窗口中放置的位置不同，所以对于一个特征模版，每张第二图像中对应有多个Haar特征，同时可以选择多个特征模版来计算每张第二图像的Haar特征，另外，该每张第二图像的划分的子窗口的数量不一样，所以每张第二图像的Haar特征值的数量不一样。
举例来说，终端可以将灰度图像缩小1000倍，并将该缩小后的灰度图像划分为20*20个子窗口，根据积分图计算各个子窗口的像素值，其步骤包括：
1、计算各个子窗口端点处的积分图，这里以计算如图6中的子窗口D的端点(i,j)处的积分图为例，端点(i,j)的积分图为该点到灰度图像左上角所包括的各子窗口的像素之和，可表示为：
Integral(i,j)＝子窗口D的像素值+子窗口C的像素值+子窗口B的像素值+子窗口A的像素值；
因为Integral(i-1,j-1)＝子窗口A的像素值；
Integral(i-1,j)＝子窗口A的像素值+子窗口C的像素值；
Integral(i,j-1)＝子窗口B的像素值+子窗口A的像素值；
所以，Integral(i,j)进一步可以表示为：
Integral(i,j)＝Integral(i,j-1)+Integral(i-1,j)-Integral(i-1,j-1)+子窗口D的像素值；
其中，Integral(,)表示某点的积分图，进过观察发现(i,j)点的积分图可以通过(i,j-1)点的积分图Integral(i,j-1)加上第j列的像素和ColumnSum(j)获得，即(i,j)点的积分图可以表示为：
Integral(i,j)＝Integral(i,j-1)+ColumnSum(j)；
其中，ColumnSum(0)＝0，Integral(0,j)＝0，所以对于20*20的子窗口，灰度图像上所有子窗口端点处的积分图可以通过19+19+2*19*19＝760次迭代求得。
2、根据各子窗口端点处的积分图计算各个子窗口的像素值，这里以计算子窗口D的像素值为例，由步骤1可知子窗口D的像素值可以由端点(i,j)、(i,j-1)，(i-1,j)及(i-1,j-1)处的积分图计算得出，即子窗口D的像素值可表示为：
子窗口D的像素值＝Integral(i,j)+Integral(i-1,j-1)-Integral(i-1,j)-Integral(i,j-1)；
根据上式可知，只要已知各个子窗口端点处的积分图，就可以计算出各个子窗口的像素值。
进一步，在获得各个子窗口的像素值以后，可以根据各个窗口的像素值计算Haar特征值，其中选择不同的特征模版，放置的位置不同，且特征模版的尺寸不同，对应的Haar特征值不同，选择图5中的以边缘特征对应的特征模板为例，如图7所示，该特征模版对应区域的Haar特征值可以由子窗口A的像素值减去子窗口B的像素值。
S2025，根据强分类器及每张该第二图像得到的Haar特征值检测出多张第一人脸图像。
在计算出每张第二图像中各个子窗口的Haar特征值后，终端可以根据强分类器及每张该第二图像得到的Haar特征值检测出多张第一人脸图像，也就是说根据一张第二图像的Haar特征值及强分类器可以检测出一张第一人脸图像。具体的，强分类器可以由若干个弱分类器组成，将每张第二图像的子窗口的Haar特征值输入到强分类器中，逐级通过各个弱分类器，相当于弱分类器判断Haar特征值是否满足对应的预设人脸特征条件，若满足，则允许该Haar特征值通过，若不满足，则不允许该Haar特征值通过。如果有一级未通过，则该Haar特征值对应的子窗口将被拒绝，并分类为非人脸，每一级都能够通过，则对该Haar特征值进一步处理以找出该Haar特征值对应的子窗口，并将该Haar特征值对应的子窗口分类为人脸，对每张第二图像中分类为人脸的子窗口进行合并，以得到每张第二图像对应的第一人脸图像(例如，将子窗口数量为20*20的第二图像中检测出的人脸子窗口进行合并得到一张对应的第一人脸图像)。本实施例中所描述的根据强分类器及每张该第二图像得到的Haar特征值检测出多张第一人脸图像的方法的步骤比较简单，从而降低人脸图像检测的复杂度，且该强分类器可以是由多个弱分类器组成，所以提高了人脸检测的准确率。
举例来说，如图4所示，该强分类器是由3个级联的弱分类器组成，将子窗口数量为24*24的第二图像的各个子窗口的Haar特征值依次输入到3个弱分类器中，每个弱分类器判断该Haar特征值是否满足对应的预设人脸特征条件，若满足，则允许该Haar特征值通过，若不满足，则不允许该Haar特征值通过。如果有一级未通过，则该Haar特征值对应的子窗口将被拒绝，并分类为非人脸，每一级都能够通过，则对该Haar特征值进一步处理以找出该Haar特征值对应的子窗口，并将该Haar特征值对应的子窗口分类为人脸，将子窗口数量为24*24的第二图像中分类为人脸的子窗口进行合并，以得子窗口数量为24*24的第二图像对应的第一人脸图像。同理可以根据以上步骤计算子窗口数量为36*36的第二图像对应的第一人脸图。
S2026，将该多张第一人脸图像进行合并得到待测人脸图像。
将该多张第一人脸图像进行合并得到该目标人脸图像，也就是说对不同子窗口数量的第二图像得到的多张人脸图像进行合并得到该待测人脸图像。具体的，将不同的第一人脸图像进行对比，若某两张第一人脸图像重叠面积大于预设阈值，则认为这两张第一人脸图像表示同一人脸，对这两张第一人脸进行合并，即将这两张第一人脸的位置和大小的平均值作为合并后得到的人脸位置和大小；如果某两张第一人脸图像重叠面积小于预设阈值，则认为该两张第一人脸图像表示两个不同的人脸，将该两张人脸图像合并成一张图像，该图像具有两个人脸区域，经过多次对比及合并操作可以得到待测人脸图像。其中，所检测出的人脸图像如图8所示。
S203，根据待测人脸图像确定分类阈值区间。
请参考图9，步骤S203可以包括以下步骤：
S2031，对待测人脸图像进行提取处理，得到第一区域。
第一区域即待测人脸图像的中心区域Rc。以如图8所示的待测人脸图像为例，假设人脸检测初始坐标表示为{x,y,w,h}，其中x表示待测人脸图像左上角的横坐标，y表示待测人脸图像左上角的纵坐标，w表示待测人脸图像的宽，h表示待测人脸图像的高。采用公式(1)计算待测人脸图像的中心区域Rc：
RC＝{x+d*w,y+d*h,(1-2*d)*w,(1-2*d)*h} (1)
其中，d为尺度参数，取值范围为0—0.5。
所得到的中心区域如图10所示，本实施例中，限定该中心区域内全为肤色。
S2032，对待测人脸图像进行扩大及移动处理，得到第二区域。
第二区域即经扩大及移动处理后的待测人脸图像所在的区域Ro。采用公式(2)对图8所示的待测人脸图像按比例进行扩大及移动处理，得到第二区域Ro：
RO＝{x,y-d*h,w,(1+d)*h}； (2)
所得到的第二区域如图11所示，本实施例中，第二区域包括肤色区域和非肤色区域(如毛发、背景等等)。
举例来说，先将如图8所示的待测人脸图像进行扩大处理，再将左上角的横坐标向左上角方向移动，便可得到如图11所示的第二区域。对比图8及图11可以看出，图11中的图像比图8中的图像多了更多的毛发区域及背景区域。需要说明的是，对图8所示待测人脸图像进行扩大处理的目的是为了提高肤色检测的准确性。
S2033，计算第一区域在色差通道的最大色差值及最小色差值。
采用公式(3)计算第一区域Rc在色差(cr)通道的最大色差值Rc-max，采用公式(4)计算第一区域Rc在色差(cr)通道的最小色差值Rc-min：
S2034，对第二区域进行聚类，计算第二区域的原始分割阈值。
作为一种可选的实施方式，本实施例中采用大津法(又称为最大类间方差法)来对第二区域进行聚类，以计算第二区域的原始分割阈值。其中，先对大津法做如下说明：大津法是一种确定图像二值化分割阈值的算法。对于图像I(x,y)，前景(即目标)和背景的分割阈值记作S，属于前景的像素点数占整幅图像的比例记为ω0，其平均灰度μ0；背景像素点数占整幅图像的比例为ω1，其平均灰度为μ1。图像的总平均灰度记为μ，类间方差记为g。
假设图像的背景较暗，并且图像的大小为M×N，图像中像素的灰度值小于阈值S的像素个数记作N0，像素灰度大于阈值S的像素个数记作N1，则分类阈值g＝ω0ω1(μ0-μ1)2。
采用大津法对如图11所示的第二区域Ro进行聚类，可得到第二区域Ro的原始分割阈值S0。
S2035，根据最大色差值、最小色差值及原始分割阈值得到分类阈值区间。
该分类阈值区间用于检测待测人脸图像的肤色区域及非肤色区域。
该步骤分为两种情况：
第一种，若原始分割阈值So＜{RC-min,RC-max}，则确定出目标分割阈值的最小值Smin＝So，最大值Smax＝RC-max+λ*D，其中，D∝(RC-min,So)，λ表示正相关于，D表示正相关于阈值S和色差值R之差。因此，所确定的分类阈值区间为[Smin，Smax]，即[S0，RC-max+λ*D]。
第二种，若原始分割阈值So＞{RC-min,RC-max}，则确定出目标分割阈值的最小值Smin＝RC-min+λ*D，最大值Smax＝So，其中，D∝(RC-min,So)。因此，所确定的分类阈值区间为[Smin，Smax]，即[Rc-min+λ*D，S0]。举例来说，假如原始分割阈值是150，第一区域Rc的最大色差值为140，最小色差值为120，则得到的分类阈值区间为(150，120+λ*D)。
S204，根据分类阈值区间遍历待测人脸图像，以得到待测人脸图像的肤色区域及非肤色区域。
若得到的分类阈值区间为(110，150)，利用该分类阈值区间对待测人脸图像进行遍历，便可得到待测人脸图像中的肤色区域及非肤色区域。如图12所示，肤色检测效果如图所示，图中的区域1为肤色区域，区域2为非肤色区域。
S205，对非肤色区域进行虚化处理，得到目标图像。
在图像中，由于肤色信息不受人体姿态、面部表情等的影响，具有相对的稳定性。且由于肤色与大多数背景物体的颜色有比较明显的区别，因此，用户采用移动智能终端进行照片拍摄时，想要突出肤色区域。基于此，对前述人脸图像，将对其非肤色区域进行虚化处理，以此突出肤色区域的清晰度，从而得到目标图像。作为一种可选的实施方式，可以使用盒装滤波器或者其他低通滤波器对非肤色区域进行虚化处理。
需要说明的是，本实施例中，通过步骤S201至S204实现了图像的肤色区域检测。在该肤色检测过程中，当前图像看作是图像序列中的一帧图像，基于每一帧图像，计算该帧图像的第一区域(即中心区域)，相当于在每一帧图像上提取一小样本，根据该小样本的最大色差值、最小色差值以及大津法可确定出每一帧图像的分类阈值区间，最后根据分类阈值区间确定出每一帧图像的肤色区域及非肤色区域。与现有技术相比，该肤色检测过程有如下优点：
(1)传统基于先验信息的肤色检测方法，通常是给定一区域，基于该区域对图像进行肤色检测。该区域即事先所确定的用于肤色检测的先验信息。该方法准确性低下，尤其是在受光照或不同肤色人群本身影响时。而本实施例中的检测方法，是针对当帧图像进行样本提取以及分类阈值区间的确定，从而在当帧图像完成肤色检测，该方法具有实时性和动态性，且不受光照或不同肤色人群本身的影响，准确性较高；
(2)传统基于模式识别的肤色检测方法，通常是对多个肤色样本及非肤色样本进行处理，运算复杂度高，检测效率低下，且该方法仍然受光照或不同肤色人群本身的影响较大。而本实施例中的检测方法，是针对当帧图像进行样本提取以及分类阈值区间的确定，从而在当帧图像完成肤色检测，不需要事先对多个样本进行处理，从而降低了运算复杂度，提高了检测效率。且该方法在当帧图像完成肤色检测，不受其它帧图像的影响，从而提高了检测的准确性。
本发明实施例中，先获取当前图像并对其进行人脸检测，得到待测人脸图像，并根据待测人脸图像确定分类阈值区间，接着根据分类阈值区间对待测人脸图像进行遍历以得到待测人脸图像的肤色区域及非肤色区域，最后对非肤色区域进行虚化处理以得到目标图像。由于先对当前图像进行了人脸检测及肤色检测，再对所检测出的非肤色区域进行不同程度的虚化处理，不需要样本便完成了对当前图像的虚化，提高了虚化效率及虚化效果。
参见图13，是本发明第一实施例提供的一种终端的结构示意图，如图所示，该终端可以包括：
获取单元10，用于获取当前图像；
第一检测单元11，用于对当前图像进行人脸检测，得到待测人脸图像；
第二检测单元12，用于对待测人脸图像进行肤色检测，得到待测人脸图像的非肤色区域；
虚化单元13，用于对非肤色区域进行虚化处理。
本发明实施例中，先通过获取单元10获取当前图像，并通过第一检测单元11对当前图像进行人脸检测，得到待测人脸图像，再通过第二检测单元12对待测人脸图像进行肤色检测，得到非肤色区域，最后通过虚化单元13对非肤色区域进行虚化处理以得到目标图像。由于对当前图像进行了人脸检测及肤色检测，仅对所检测出的非肤色区域进行不同程度的虚化处理，不需要样本便完成了对当前图像的虚化，提高了虚化效率及虚化效果。
参见图14，是本发明第二实施例提供的一种终端的结构示意图，如图所示，该终端可以包括：
训练单元20，用于训练强分类器；
获取单元21，用于获取当前图像；
第一检测单元22，用于根据强分类器对当前图像进行人脸检测，得到待测人脸图像；
第二检测单元23，用于对待测人脸图像进行肤色检测，得到待测人脸图像的非肤色区域；
虚化单元24，用于对非肤色区域进行虚化处理。
作为一种可选的实时方式，训练单元21具体用于：
初始化训练样本的权值分布，该训练样本包括人脸样本和非人脸样本；
对训练样本进行学习以得到多个弱分类器；
计算每一弱分类器在训练样本上的分类误差率；
根据分类误差率计算弱分类器的系数，系数表示每一弱分类器在强分类器中所占的权值；
根据系数更新训练样本中的权值分布并进行迭代计算，以得到强分类器，该强分类器为每次迭代计算中加权分类误差率最小的弱分类器。
作为一种可选的实时方式，第一检测单元22具体用于：
按照预设缩小比例对当前图像进行缩小以得到第一图像；
将第一图像进行多次划分以得到多张第二图像，每张第二图像包括多个子窗口；
根据积分图计算每张第二图像中每个子窗口的Haar特征值；
根据强分类器及每张第二图像得到的Haar特征值检测出多张第一人脸图像；
将多张第一人脸图像进行合并得到待测人脸图像。
作为一种可选的实施方式，第二检测单元23具体包括：
确定单元211，用于根据待测人脸图像确定分类阈值区间；
遍历单元212，用于根据分类阈值区间遍历所述待测人脸图像，得到待测人人脸图像的非肤色区域。
作为一种可选的实施方式，确定单元211具体用于：
对待测人脸图像进行提取处理，得到第一区域；
对待测人脸图像进行扩大及移动处理，得到第二区域；
计算第一区域的最大色差值及最小色差值；
计算第二区域的原始分割阈值；
根据最大色差值、最小色差值及原始分割阈值得到分类阈值区间。
本发明实施例中，先通过训练单元20训练出一强分类器，再通过获取单元21获取当前图像，并通过第一检测单元22根据强分类器对当前图像进行人脸检测，得到待测人脸图像，再通过第二检测单元23对待测人脸图像进行肤色检测，得到非肤色区域，最后通过虚化单元24对非肤色区域进行虚化处理以得到目标图像。由于对当前图像进行了人脸检测及肤色检测，仅对所检测出的非肤色区域进行不同程度的虚化处理，不需要样本便完成了对当前图像的虚化，提高了虚化效率及虚化效果。
此外，本发明实施例通过第二检测单元23实现图像的肤色检测过程中，当前图像看作是图像序列中的一帧图像，基于每一帧图像，计算该帧图像的第一区域，相当于在每一帧图像上提取一小样本，根据该小样本的最大色差值、最小色差值以及大津法可确定出每一帧图像的分类阈值区间，最后根据分类阈值区间确定出每一帧图像的肤色区域及非肤色区域。在上述检测过程中，是针对当帧图像进行样本提取以及分类阈值区间的确定，从而在当帧图像完成肤色检测，该方法具有实时性和动态性，且不受光照或不同肤色人群本身的影响，准确性较高；且该方法在当帧图像完成肤色检测，不需要事先对多个样本进行处理，从而降低了运算复杂度，提高了检测效率。
需要说明的是，图13及图14所示终端的具体工作流程已在前述方法流程部分做了详述，在此不再赘述。
参见图15，是本发明第三实施例提供的一种终端的结构示意图，本实施例中所描述的终端可以包括：至少一个处理器301，例如CPU，至少一个用户接口303，存储器304，至少一个通信总线302。其中，通信总线302用于实现这些组件之间的连接通信。其中，用户接口303可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口303还可以包括标准的有线接口、无线接口。存储器304可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器304可选的还可以是至少一个位于远离前述处理器301的存储装置。其中处理器301可以结合图13至14所描述的终端，存储器304中存储一组程序代码，且处理器301调用存储器304中存储的程序代码，用于执行以下操作：
获取当前图像；
对当前图像进行人脸检测，得到待测人脸图像；
对待测人脸图像进行肤色检测，得到待测人脸图像的非肤色区域；
对非肤色区域进行虚化处理，得到目标图像。
作为一种可选的实施方式，处理器301调用存储器304中的代码还可以执行以下操作：
根据待测人脸图像确定分类阈值区间；
根据分类阈值区间遍历待测人脸图像，得到待测人脸图像的非肤色区域。
作为一种可选的实施方式，处理器301调用存储器304中的代码还可以执行以下操作：
对待测人脸图像进行提取处理，得到第一区域；
对待测人脸图像进行扩大及移动处理，得到第二区域；
计算第一区域的最大色差值、最小色差值；
计算第二区域的原始分割阈值；
根据最大色差值、最小色差值及原始分割阈值得到分类阈值区间。
作为一种可选的实施方式，处理器301调用存储器304中的代码还可以执行以下操作：
按照预设缩小比例对当前图像进行缩小以得到第一图像；
将第一图像进行多次划分以得到多张第二图像，每张第二图像包括多个子窗口；
根据积分图计算每张第二图像中每个子窗口的Haar特征值；
根据强分类器及每张第二图像得到的Haar特征值检测出多张第一人脸图像；
将多张第一人脸图像进行合并得到待测人脸图像。
作为一种可选的实施方式，处理器301调用存储器304中的代码还可以执行以下操作：
初始化训练样本的权值分布，训练样本包括人脸样本和非人脸样本；
对训练样本进行学习以得到多个弱分类器；
计算每一弱分类器在训练样本上的分类误差率；
根据分类误差率计算弱分类器的系数，系数表示每一弱分类器在强分类器中所占的权值；
根据系数更新所述训练样本中的权值分布并进行迭代计算，以得到强分类器，强分类器为每次迭代计算中加权分类误差率最小的弱分类器。
本发明实施例中，由于对当前图像进行了人脸检测及肤色检测，仅对所检测出的非肤色区域进行不同程度的虚化处理，不需要样本便完成了对当前图像的虚化，提高了虚化效率及虚化效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
此外，在本申请所提供的几个实施例中，应该理解到，所揭露的、终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例终端中的单元可以根据实际需要进行合并、划分和删减。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图像虚化方法，其特征在于，包括：
获取当前图像；
对所述当前图像进行人脸检测，得到待测人脸图像；
对所述待测人脸图像进行肤色检测，得到所述待测人脸图像的非肤色区域；
对所述非肤色区域进行虚化处理，得到目标图像。
2.如权利要求1所述的方法，其特征在于，对所述待测人脸图像进行肤色检测，得到所述待测人脸图像的非肤色区域具体包括：
根据所述待测人脸图像确定分类阈值区间；
根据所述分类阈值区间遍历所述待测人脸图像，得到所述待测人脸图像的所述非肤色区域。
3.如权利要求2所述的方法，其特征在于，根据所述待测人脸图像确定分类阈值区间具体包括：
对所述待测人脸图像进行提取处理，得到第一区域；
对所述待测人脸图像进行扩大及移动处理，得到第二区域；
计算所述第一区域的最大色差值及最小色差值；
计算所述第二区域的原始分割值；
根据所述最大色差值、最小色差值及原始分割阈值得到所述分类阈值区间。
4.如权利要求1至3任一项所述的方法，其特征在于，对所述当前图像进行人脸检测，得到待测人脸图像具体包括：
按照预设缩小比例对所述当前图像进行缩小，得到第一图像；
将所述第一图像进行多次划分，得到多张第二图像，每张所述第二图像包括多个子窗口；
根据积分图计算每张所述第二图像中每个子窗口的Haar特征值；
根据强分类器及每张所述第二图像得到的Haar特征值检测出多张第一人脸图像；
将所述多张第一人脸图像进行合并得到所述待测人脸图像。
5.如权利要求4所述的方法，其特征在于，根据强分类器及每张所述第二图像得到的Haar特征值检测出多张第一人脸图像之前，还包括：
初始化训练样本的权值分布，所述训练样本包括人脸样本和非人脸样本；
对所述训练样本进行学习以得到多个弱分类器；
计算每一所述弱分类器在所述训练样本上的分类误差率；
根据所述分类误差率计算所述弱分类器的系数，所述系数表示每一所述弱分类器在所述强分类器中所占的权值；
根据所述系数更新所述训练样本中的权值分布并进行迭代计算，以得到所述强分类器，所述强分类器为每次迭代计算中加权分类误差率最小的所述弱分类器。
6.一种终端，其特征在于，包括：
获取单元，用于获取当前图像；
第一检测单元，用于对所述当前图像进行人脸检测，得到待测人脸图像；
第二检测单元，用于对所述待测人脸图像进行肤色检测，得到所述待测人脸图像的非肤色区域；
虚化单元，用于对所述非肤色区域进行虚化处理，得到目标图像。
7.如权利要求6所述的终端，其特征在于，所述第二检测单元具体包括：
确定单元，用于根据所述待测人脸图像确定分类阈值区间；
遍历单元，用于根据所述分类阈值区间遍历所述待测人脸图像，得到所述待测人脸图像的所述非肤色区域。
8.如权利要求7所述的终端，其特征在于，所述确定单元具体用于：
对所述待测人脸图像进行提取处理，得到第一区域；
对所述待测人脸图像进行扩大及移动处理，得到第二区域；
计算所述第一区域的最大色差值及最小色差值；
计算所述第二区域的原始分割阈值；
根据所述最大色差值、最小色差值及原始分割阈值得到所述分类阈值区间。
9.如权利要求6至8任一项所述的终端，其特征在于，所述第一检测单元具体用于：
按照预设缩小比例对所述当前图像进行缩小以得到第一图像；
将所述第一图像进行多次划分以得到多张第二图像，每张所述第二图像包括多个子窗口；
根据积分图计算每张所述第二图像中每个子窗口的Haar特征值；
根据强分类器及每张所述第二图像得到的Haar特征值检测出多张第一人脸图像；
将所述多张第一人脸图像进行合并得到所述待测人脸图像。
10.如权利要求9所述的终端，其特征在于，所述终端还包括训练单元，用于：
初始化训练样本的权值分布，所述训练样本包括人脸样本和非人脸样本；
对所述训练样本进行学习以得到多个弱分类器；
计算每一所述弱分类器在所述训练样本上的分类误差率；
根据所述分类误差率计算所述弱分类器的系数，所述系数表示每一所述弱分类器在所述强分类器中所占的权值；
根据所述系数更新所述训练样本中的权值分布并进行迭代计算，以得到所述强分类器，所述强分类器为每次迭代计算中加权分类误差率最小的所述弱分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710166905.XA CN107146203A (zh) | 2017-03-20 | 2017-03-20 | 一种图像虚化方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710166905.XA CN107146203A (zh) | 2017-03-20 | 2017-03-20 | 一种图像虚化方法及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107146203A true CN107146203A (zh) | 2017-09-08 |
Family
ID=59783595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710166905.XA Withdrawn CN107146203A (zh) | 2017-03-20 | 2017-03-20 | 一种图像虚化方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107146203A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154466A (zh) * | 2017-12-19 | 2018-06-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN109727192A (zh) * | 2018-12-28 | 2019-05-07 | 北京旷视科技有限公司 | 一种图像处理的方法及装置 |
| CN110991298A (zh) * | 2019-11-26 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
-
2017
- 2017-03-20 CN CN201710166905.XA patent/CN107146203A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154466A (zh) * | 2017-12-19 | 2018-06-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108154466B (zh) * | 2017-12-19 | 2021-12-07 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN109727192A (zh) * | 2018-12-28 | 2019-05-07 | 北京旷视科技有限公司 | 一种图像处理的方法及装置 |
| CN109727192B (zh) * | 2018-12-28 | 2023-06-27 | 北京旷视科技有限公司 | 一种图像处理的方法及装置 |
| CN110991298A (zh) * | 2019-11-26 | 2020-04-10 | 腾讯科技（深圳）有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
| CN110991298B (zh) * | 2019-11-26 | 2023-07-14 | 腾讯科技（深圳）有限公司 | 图像的处理方法和装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019174130A1 (zh) | 票据识别方法、服务器及计算机可读存储介质 | |
| US20190294921A1 (en) | Field identification in an image using artificial intelligence | |
| CN107146204A (zh) | 一种图像美颜方法及终端 | |
| CN111448581A (zh) | 使用深层神经网络进行图像处理的系统和方法 | |
| US8537129B2 (en) | Techniques for recognizing movement of one or more touches across a location on a keyboard grid on a touch panel interface | |
| CN104361313B (zh) | 一种基于多核学习异构特征融合的手势识别方法 | |
| CN112272830A (zh) | 通过标签传递改善图像分类 | |
| CN109637664A (zh) | 一种bmi评测方法、装置及计算机可读存储介质 | |
| CN107146196A (zh) | 一种图像美颜方法及终端 | |
| JP2009506464A (ja) | 筆跡入力のスタイルを意識した使用 | |
| CN106803077A (zh) | 一种拍摄方法及终端 | |
| US11295495B2 (en) | Automatic positioning of textual content within digital images | |
| CN107146203A (zh) | 一种图像虚化方法及终端 | |
| CN106878614A (zh) | 一种拍摄方法及终端 | |
| CN113762269A (zh) | 基于神经网络的中文字符ocr识别方法、系统、介质及应用 | |
| CN107424125A (zh) | 一种图像虚化方法及终端 | |
| CN114821610A (zh) | 一种基于树状神经网络的从图像生成网页代码的方法 | |
| CN109376618A (zh) | 图像处理方法、装置及电子设备 | |
| CN108255298B (zh) | 一种投影交互系统中的红外手势识别方法及设备 | |
| CN110263741A (zh) | 视频帧提取方法、装置及终端设备 | |
| JP7364639B2 (ja) | デジタル化された筆記の処理 | |
| Shashidhar et al. | Indian sign language recognition using 2-d convolution neural network and graphical user interface | |
| CN113434912B (zh) | 一种材料合规性校验方法及装置 | |
| CN115393179A (zh) | 书写处理方法、装置、电子设备和可读存储介质 | |
| CN108171149B (zh) | 一种人脸识别方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170908 |