CN111815653B - 一种人脸与身体肤色区域的分割方法、系统和设备 - Google Patents

Abstract

本发明公开一种人脸与身体肤色区域的分割方法、系统和设备。本发明方法通过压缩域的信息，设计一种顺序肤色块检测法，然后根据人脸肤色块与身体肤色块的结构特点，区分两类肤色块，从而实现关键帧的人脸肤色块检测的及时截止，减少了计算量；随后，通过压缩域的运动与预测信息，确定后续帧搜索区域，亦避免了各帧完全搜索。

Description

一种人脸与身体肤色区域的分割方法、系统和设备

技术领域

本发明涉及视频编码技术领域，尤其涉及一种人脸与身体肤色区域的分割方法、系统和设备。

背景技术

随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。无论是人脸视频检索、还是在线视频美颜，视频压缩，精确快速的人脸定位技术都会增强其事半功倍的效果。另一方面，虽然人脸与身体的肤色区域具有相同的肤色特性，但在视觉关注度上却有着显著的不同。如不加以区分，进行完全肤色区域搜索的人脸检测，则会造成人脸检测计算量的浪费；而当在总体码率不足的情况下进行编转码，则会将码率分配到对视频质量提升不大的区域，进一步恶化视觉效果。

发明内容

本发明实施例的目的在于提供一种人脸与身体肤色区域的分割方法、系统和设备，旨在解决现有人脸检测中人脸和肤色不加以区分，造成人脸检测计算量浪费的问题。

本发明实施例的第一目的在于提供一种人脸与身体肤色区域的分割方法，所述方法包括：

Step1：创建当前帧第一检测区域Ω₁；

Step2：对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，当检测到肤色块时，则标识该肤色块为当前人脸第一肤色标识块gmb₁；将所有检测过的块从第一检测区域Ω₁中删除；

Step3：对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，直到检测到非肤色块，则标识该非肤色块左邻接肤色块为当前人脸第二肤色标识块gmb₂，接着，将所有检测过的块从第一检测区域Ω₁中删除；

Step4：根据第一肤色标识块和第二肤色标识块的位置，求取当前人脸区域和当前身体肤色区域。

本发明实施例的第二目的在于提供一种人脸与身体肤色区域的分割系统，所述系统包括：

第一检测区域创建模块，创建当前帧第一检测区域Ω₁；

第一肤色标识块标识模块，用于对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，当检测到肤色块时，则标识该肤色块为当前人脸第一肤色标识块gmb₁；将所有检测过的块从第一检测区域Ω₁中删除；

第二肤色标识块标识模块，用于对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，直到检测到非肤色块，则标识该非肤色块左邻接肤色块为当前人脸第二肤色标识块gmb₂，接着，将所有检测过的块从第一检测区域Ω₁中删除；

人脸区域和身体肤色区域求取装置，用于根据第一肤色标识块和第二肤色标识块的位置，求取当前人脸区域和当前身体肤色区域。

本发明实施例的第三目的在于提一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述人脸与身体肤色区域的分割方法的步骤。

本发明的有益效果

本发明提出一种人脸与身体肤色区域的分割法。本方法通过压缩域的信息，设计一种顺序肤色块检测法，然后根据人脸肤色块与身体肤色块的结构特点，区分两类肤色块，从而实现关键帧的人脸肤色块检测的及时截止，减少了计算量；随后，通过压缩域的运动与预测信息，确定后续帧搜索区域，亦避免了各帧完全搜索。

附图说明

图1是本发明实施例提供的一种人脸与身体肤色区域的分割方法流程图；

图2是本发明实施例提供的一种求取当前人脸区域和当前身体肤色区域方法流程图；

图3是本发明实施例提供的一种五官非肤色区域删除方法流程图；

图4是本发明实施例提供的一种人脸与身体肤色区域的分割系统结构图；

图5是本发明实施例提供的一种人脸区域和身体肤色区域求取装置结构图；

图6是本发明实施例提供的一种五官非肤色区域删除模块结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据本发明实施例获得其他的等同实施例。

本发明提出一种人脸与身体肤色区域的分割方法、系统和设备。本发明方法通过压缩域的信息，设计一种顺序肤色块检测法，然后根据人脸肤色块与身体肤色块的结构特点，区分两类肤色块，从而实现关键帧的人脸肤色块检测的及时截止，减少了计算量；随后，通过压缩域的运动与预测信息，确定后续帧搜索区域，亦避免了各帧完全搜索。

图1是本发明实施例提供的一种人脸与身体肤色区域的分割方法流程图；所述方法包括

Step1：创建当前帧第一检测区域Ω₁；

具体为：如果当前帧为I帧或者numI＞Thres_I，则将当前帧中划分为最大块且属于非边界、非孤立块的预测块划入第一检测区域Ω₁；否则，将当前帧划分为最大块的帧内预测块且属于非边界、非孤立块的预测块，划入当前帧第一检测区域Ω₁。

其中，numI表示当前帧I块数量，当前帧初始值为视频第一帧；Thres_I表示I块门限阈值，一般Thres_I＞0.8*bkw*bkh；

Step2：对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，当检测到肤色块时，则标识该肤色块为当前人脸第一肤色标识块gmb₁；将所有检测过的块从第一检测区域Ω₁中删除；

gmb₁＝gmb(i₁,j₁)；其中，gmb(i₁,j₁)表示当前图像第i₁行第j₁列块，i₁、j₁分别表示第一肤色标识块在当前图像中的行序号、列序号。

所述肤色检测采用本技术领域常规的肤色检测方法，在此不再赘述；

可选地，若没有检测到肤色块，则判断当前帧的下一帧是否存在，若存在，则将当前帧的下一帧设置为当前帧，重回Step1；若不存在，则结束。

Step3：对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，直到检测到非肤色块，则标识该非肤色块左邻接肤色块为当前人脸第二肤色标识块gmb₂，接着，将所有检测过的块从第一检测区域Ω₁中删除。

所述满足第一位置条件的块集合ψ₀＝{gmb(i,j)|i＝i₁,j₁+1≤j≤bkw}；其中，gmb(i,j)表示当前帧第i行第j列的块，bkw表示当前图像(以块为单位的图像)的块宽度；

gmb₂＝gmb(i₁,j₂)；gmb(i₁,j₂)表示当前图像第i₁行第j₂列块，j₂别表示第二肤色标识块在当前图像中的列序号，第二肤色标识块的在当前图像中的行序号与第一肤色标识块的在当前图像中的行序号相同；

可选地，本发明另一实施中，若没有检测到非肤色块，则标识第二肤色标识块gmb₂＝gmb(i₁,bkw)，并删除所有已检测过的块；

所述肤色检测采用常规的基于块的肤色检测方法进行检测，在此不再赘述；

Step4：根据第一肤色标识块和第二肤色标识块的位置，求取当前人脸区域和当前身体肤色区域；

图2是本发明实施例提供的一种求取当前人脸区域和当前身体肤色区域方法流程图；

Step41：构建当前人脸区域χ_f和第一跨度变量L₁；

χ_f＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}；L₁＝j₂-j₁。

Step42：构建第一检测集ψ₁、第二检测集ψ₂；

Step43：创建第一、第二模式变量sk₁、sk₂；

所述第一、第二模式变量的值用于控制编码步骤的选择跳转；本发明实施例中第一、第二模式变量均用0,1两个数值控制不同情况下的流程跳转；所述第一、第二模式变量的也可以为其他任意不同数值对；本发明实施例中，第一模式变量、第二模式变量赋初值为0，即sk₁＝sk₂＝0；

所述肤色检测采用常规的基于块的肤色检测方法进行检测，在此不再赘述；

Step44：首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，更新第一肤色标识块gmb₁，计算非肤色块的亮度均值，色度分量均值；然后对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，更新第二肤色标识块gmb₂，计算非肤色块的亮度均值，色度分量均值；最后，将所有检测过的块从Ω₁中删除。

具体为：首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，若没有检测到非肤色块，则更新第一肤色标识块gmb₁为第一检测集ψ₁内具有最小列号的块；否则，若检测到非肤色块，则令第一模式变量sk₁＝1，结束对第一检测集ψ₁内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₁,um₁,vm₁。然后，对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，若没有检测到非肤色块，则更新第二肤色标识块gmb₂为第二检测集ψ₂内具有最大列号的块；否则，若检测到非肤色块，则令第二模式变量sk₂＝1，结束对第二检测集ψ₂内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₂,um₂,vm₂。最后，将所有检测过的块从Ω₁中删除。

所述肤色检测方法采用本技术领域常规的方法，在此不再赘述。

Step45：根据第一、第二模式变量判断是否进行五官非肤色区域删除；

具体为：若第一模式变量sk₁＝1或者第二模式变量sk₂＝1，则进行五官非肤色区域删除；否则，进入Step46。

进一步地，本发明实施例中，Step2与Step3之间还包括步骤：创建第一、第二累计变量k₁、k₂、第一、第二临时集合；

图3是本发明实施例提供的一种五官非肤色区域删除方法流程图；

所述进行五官非肤色区域删除包括：

步骤A1：根据第一模式变量及第一临时集合，更新第一累计变量；

具体为：若第一模式变量sk₁＝1，则首先判断第一临时集合是否为空，若空则令第一累计变量k₁＝1；若非空，则进一步判断第一检测集ψ₁检测到的非肤色块是否与第一临时集合内块不连通，若不连通则令第一累计变量k₁＝k₁+1。接着将第一检测集ψ₁检测到的该非肤色块划入第一临时集合。

步骤A2：根据第二模式变量及第二临时集合，更新第二累计变量；

具体为：若第二模式变量sk₂＝1，则首先判断第二临时集合是否为空，若空则令第二累计变量k₂＝1；若非空，则进一步判断ψ₂检测到的该非肤色块是否与第二临时集合内块不连通，若不连通则令第二累计变量k₂＝k₂+1。接着将ψ₂检测到的该非肤色块划入第二临时集合。

步骤A3：根据第一、第二累计变量，更新第一、第二肤色标识块；

若k₁＞3或k₂＞3，则直接进入Step46；否则(k₁≤3且k₂≤3)，则判断是否满足第一条件，若不满足第一条件，则进入第二条件的判定；若满足第一条件，则先进行第一肤色标识块的更新，再进入第二条件的判定。

所述第二条件的判定具体为：判断是否满足第二条件，若不满足第二条件，则重回step2(进行下一人脸检测)；若满足第二条件，则进行第二肤色标识块的更新。

所述进行第一肤色标识块的更新具体为：对ψ₁剩余未检测块，继续从右至左依次进行肤色检测，直至检测到与之前ψ₁内检测到非肤色块不连通的非肤色块，则更新第一肤色标识块为ψ₁中具有最小列号的肤色块；否则，令gmb₁＝gmb(i₁+1,j₁)。最后，将所有检测过的块从Ω₁中删除，将上述ψ₁中新检测到的连通的非肤色块划入第一临时集合。

所述进行第二肤色标识块的更新具体为：对ψ₂剩余未检测块，继续从左至右依次进行肤色检测，直至检测到与之前ψ₂内检测到非肤色块不连通的非肤色块，则更新第二肤色标识块为ψ₂中具有最大列号的肤色块；否则，令gmb₂＝gmb(i₁+1,j₂)。最后，将所有检测过的块从Ω₁中删除，将上述ψ₂中新检测到的连通的非肤色块划入第二临时集合。Thres表示阈值，一般可选Thres＜10。

所述肤色检测方法采用本技术领域常规的方法，在此不再赘述。

Step46：更新第一、第二肤色标识块gmb₁、gmb₂对应i₁,j₁,j₂的值，更新当前人脸区域χ_f＝χ_fY{gmb(i,j)|i＝i₁,j₁≤j≤j₂}，求取临时变量temp＝L₁，更新第一跨度变量L₁＝j₂-j₁。

Step47：根据第三模式变量和第四模式变量选择跳转步骤，求取当前人脸区域和当前身体肤色区域；

进一步地，本发明实施例中，Step2与Step3之间还包括步骤：创建第三、第四模式变量；

所述第三、第四模式变量用于控制编码步骤的选择跳转；本发明实施例中第三、第四模式变量均用0,1两个数值控制不同情况下的流程跳转；所述第三、第四模式变量的也可以为其他任意不同数值对；本发明实施例中，第三、第四模式变量赋初值为0，

具体为：若第四模式变量为0，则进入步骤B1；否则，进入步骤B2。

步骤B1：若L₁＞temp，则令第三模式变量为1，重回Step42；否则若第三模式变量为0，令当前人脸区域为空集，进入步骤B4；否则令第四模式变量为1，重回Step42。

步骤B2：若L₁＞temp，则令当前人脸截止行号为i₁-1，当前人脸区域χ_f＝χ_fΙ{gmb(i,j)|i≤i₁-1}，当前身体肤色区域起始行号为i₁，L₁＝temp进入步骤B3；否则，重回Step42。

步骤B3：进行当前身体肤色区域检测。包括：

B300：令当前身体肤色区域χ_b＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}。

B301：对当前身体肤色区域与χ_b邻接的未检测块，进行肤色检测，将判断为肤色块的划入当前身体肤色区域χ_b，并将检测过的块从Ω₁中删除。

B302：若存在与前身体肤色区域χ_b邻接的未检测块，则重回B301；否则完成当前身体肤色区域检测。

步骤B4，若第一检测区域Ω₁为空，则判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，重回Step1；若不存在，则结束；

可选地，若第一检测区域Ω₁为非空，则进行下一人脸及其身体肤色区域的检测，令χ_f、χ_b赋值为空集，重回Step2。

对应于上文实施例所述的一种人脸与身体肤色区域的分割方法，图4是本发明实施例提供的一种人脸与身体肤色区域的分割系统结构图；所述人脸与身体肤色区域的分割系统包括：

第一检测区域创建模块，创建当前帧第一检测区域Ω₁；

第一肤色标识块标识模块，用于对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，当检测到肤色块时，则标识该肤色块为当前人脸第一肤色标识块gmb₁；将所有检测过的块从第一检测区域Ω₁中删除；

第二肤色标识块标识模块，用于对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，直到检测到非肤色块，则标识该非肤色块左邻接肤色块为当前人脸第二肤色标识块gmb₂，接着，将所有检测过的块从第一检测区域Ω₁中删除。

人脸区域和身体肤色区域求取装置，用于根据第一肤色标识块和第二肤色标识块的位置，求取当前人脸区域和当前身体肤色区域。

进一步地，第一检测区域创建模块中，创建当前帧第一检测区域Ω₁具体为：如果当前帧为I帧或者numI＞Thres_I，则将当前帧中划分为最大块且属于非边界、非孤立块的预测块划入第一检测区域Ω₁；否则，将当前帧划分为最大块的帧内预测块且属于非边界、非孤立块的预测块，划入当前帧第一检测区域Ω₁。

其中，numI表示当前帧I块数量，当前帧初始值为视频第一帧；Thres_I表示I块门限阈值，一般Thres_I＞0.8*bkw*bkh；

进一步地，第一肤色标识块标识模块中，gmb₁＝gmb(i₁,j₁)；其中，gmb(i₁,j₁)表示当前图像第i₁行第j₁列块，i₁、j₁分别表示第一肤色标识块在当前图像中的行序号、列序号。

可选地，所述人脸与身体肤色区域的分割系统还包括第一判断模块，

第一判断模块，用于对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，若没有检测到肤色块，则判断当前帧的下一帧是否存在，若存在，则将当前帧的下一帧设置为当前帧，重回第一检测区域创建模块；若不存在，则结束。

进一步地，第二肤色标识块标识模块中，所述满足第一位置条件的块集合ψ₀＝{gmb(i,j)|i＝i₁,j₁+1≤j≤bkw}；其中，gmb(i,j)表示当前帧第i行第j列的块，bkw表示当前图像(以块为单位的图像)的块宽度；

gmb₂＝gmb(i₁,j₂)；gmb(i₁,j₂)表示当前图像第i₁行第j₂列块，j₂别表示第二肤色标识块在当前图像中的列序号，第二肤色标识块的在当前图像中的行序号与第一肤色标识块的在当前图像中的行序号相同；

可选地，所述人脸与身体肤色区域的分割系统还包括第二判断模块，

第二判断模块，用于对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，若没有检测到非肤色块，则标识第二肤色标识块gmb₂＝gmb(i₁,bkw)，并删除所有已检测过的块；

进一步地，所述人脸与身体肤色区域的分割系统还包括第一、第二累计变量和第一、第二临时集合创建模块，与第一肤色标识块标识模块和第二肤色标识块标识模块相连，用于创建第一、第二累计变量k₁、k₂、第一、第二临时集合；

进一步地，图5是本发明实施例提供的一种人脸区域和身体肤色区域求取装置结构图；所述人脸区域和身体肤色区域求取装置包括：

当前人脸区域和第一跨度变量构建模块，用于构建当前人脸区域χ_f和第一跨度变量L₁；χ_f＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}；L₁＝j₂-j₁。

第一、第二检测集构建模块，用于构建第一检测集ψ₁、第二检测集ψ₂；

第一、第二模式变量创建模块，用于创建第一、第二模式变量sk₁、sk₂；

所述第一、第二模式变量的值用于控制编码步骤的选择跳转；本发明实施例中第一、第二模式变量均用0,1两个数值控制不同情况下的流程跳转；所述第一、第二模式变量的也可以为其他任意不同数值对；本发明实施例中，第一模式变量、第二模式变量赋初值为0，即sk₁＝sk₂＝0；

第一、第二肤色标识块更新及非肤色块亮度均值、色度分量均值计算模块，用于首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，更新第一肤色标识块gmb₁，计算非肤色块的亮度均值，色度分量均值；然后对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，更新第二肤色标识块gmb₂，计算非肤色块的亮度均值，色度分量均值；最后，将所有检测过的块从Ω₁中删除。

具体为：首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，若没有检测到非肤色块，则更新第一肤色标识块gmb₁为第一检测集ψ₁内具有最小列号的块；否则，若检测到非肤色块，则令第一模式变量sk₁＝1，结束对第一检测集ψ₁内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₁,um₁,vm₁。然后，对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，若没有检测到非肤色块，则更新第二肤色标识块gmb₂为第二检测集ψ₂内具有最大列号的块；否则，若检测到非肤色块，则令第二模式变量sk₂＝1，结束对第二检测集ψ₂内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₂,um₂,vm₂。最后，将所有检测过的块从Ω₁中删除。

五官非肤色区域删除判定模块模块，用于根据第一、第二模式变量判断是否进行五官非肤色区域删除；

具体为：若第一模式变量sk₁＝1或者第二模式变量sk₂＝1，则进行五官非肤色区域删除；否则，第一跨度变量更新模块。

第一跨度变量更新模块，用于更新第一、第二肤色标识块gmb₁、gmb₂对应i₁,j₁,j₂的值，更新当前人脸区域χ_f＝χ_fY{gmb(i,j)|i＝i₁,j₁≤j≤j₂}，求取临时变量temp＝L₁，更新第一跨度变量L₁＝j₂-j₁。

当前人脸区域和当前身体肤色区域求取模块，用于根据第三模式变量和第四模式变量选择跳转步骤，求取当前人脸区域和当前身体肤色区域。

进一步地，图6是本发明实施例提供的一种五官非肤色区域删除模块结构图。所述五官非肤色区域删除判定模块包括：

第一累计变量更新模块，用于根据第一模式变量及第一临时集合，更新第一累计变量；

具体为：若第一模式变量sk₁＝1，则首先判断第一临时集合是否为空，若空则令第一累计变量k₁＝1；若非空，则进一步判断第一检测集ψ₁检测到的非肤色块是否与第一临时集合内块不连通，若不连通则令第一累计变量k₁＝k₁+1。接着将第一检测集ψ₁检测到的该非肤色块划入第一临时集合。

第二累计变量更新模块，用于根据第二模式变量及第二临时集合，更新第二累计变量；

具体为：若第二模式变量sk₂＝1，则首先判断第二临时集合是否为空，若空则令第二累计变量k₂＝1；若非空，则进一步判断ψ₂检测到的该非肤色块是否与第二临时集合内块不连通，若不连通则令第二累计变量k₂＝k₂+1。接着将ψ₂检测到的该非肤色块划入第二临时集合。

第一、第二肤色标识块更新模块，用于根据第一、第二累计变量，更新第一、第二肤色标识块；

具体为：若k₁＞3或k₂＞3，则直接进入第一跨度变量更新模块；否则(k₁≤3且k₂≤3)，则判断是否满足第一条件，若不满足第一条件，则进入第二条件的判定；若满足第一条件，则先进行第一肤色标识块的更新，再进入第二条件的判定。

所述第二条件的判定具体为：判断是否满足第二条件，若不满足第二条件，则重回第一肤色标识块标识模块(进行下一人脸检测)；若满足第二条件，则进行第二肤色标识块的更新。

所述进行第一肤色标识块的更新具体为：对ψ₁剩余未检测块，继续从右至左依次进行肤色检测，直至检测到与之前ψ₁内检测到非肤色块不连通的非肤色块，则更新第一肤色标识块为ψ₁中具有最小列号的肤色块；否则，令gmb₁＝gmb(i₁+1,j₁)。最后，将所有检测过的块从Ω₁中删除，将上述ψ₁中新检测到的连通的非肤色块划入第一临时集合。

所述进行第二肤色标识块的更新具体为：对ψ₂剩余未检测块，继续从左至右依次进行肤色检测，直至检测到与之前ψ₂内检测到非肤色块不连通的非肤色块，则更新第二肤色标识块为ψ₂中具有最大列号的肤色块；否则，令gmb₂＝gmb(i₁+1,j₂)。最后，将所有检测过的块从Ω₁中删除，将上述ψ₂中新检测到的连通的非肤色块划入第二临时集合。Thres表示阈值，一般可选Thres＜10。

进一步地，所述人脸与身体肤色区域的分割系统还包括第三、第四模式变量创建模块，

第三、第四模式变量创建模块，与第一肤色标识块标识模块和第二肤色标识块标识模块相连，用于创建第三、第四模式变量；

所述第三、第四模式变量用于控制编码步骤的选择跳转；本发明实施例中第三、第四模式变量均用0,1两个数值控制不同情况下的流程跳转；所述第三、第四模式变量的也可以为其他任意不同数值对；本发明实施例中，第三、第四模式变量赋初值为0，

具体为：若第四模式变量为0，则进入第三判断模块；否则，进入第四判断模块。

第三判断模块，用于判断若L₁＞temp，则令第三模式变量为1，重回第一、第二检测集构建模块；否则若第三模式变量为0，令当前人脸区域为空集，进入第五判断模块；否则令第四模式变量为1，重回第一、第二检测集构建模块。

第四判断模块，用于判断若L₁＞temp，则令当前人脸截止行号为i₁-1，当前人脸区域χ_f＝χ_fΙ{gmb(i,j)|i≤i₁-1}，当前身体肤色区域起始行号为i₁，L₁＝temp进入当前身体肤色区域检测模块；否则，重回第一、第二检测集构建模块。

当前身体肤色区域检测模块，用于进行当前身体肤色区域检测。

第五判断模块，用于判断若第一检测区域Ω₁为空，则判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，重回第一检测区域创建模块；若不存在，则结束；

可选地，所述当前人脸区域和当前身体肤色区域求取模块还包括第六判断模块，用于判断若第一检测区域Ω₁非空则进行下一人脸及其身体肤色区域的检测，令χ_f、χ_b赋值为空集，重回第一肤色标识块标识模块。

进一步地，所述当前身体肤色区域检测模块还包括

当前身体肤色区域设置模块，用于令当前身体肤色区域χ_b＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}；

肤色检测及当前身体肤色区域更新模块，用于对当前身体肤色区域与χ_b邻接的未检测块，进行肤色检测，将判断为肤色块的划入当前身体肤色区域χ_b，并将检测过的块从Ω₁中删除；

第七判断模块，用于判断若存在与前身体肤色区域χ_b邻接的未检测块，则重回肤色检测及当前身体肤色区域更新模块；否则完成当前身体肤色区域检测。

本发明实施例还提供的一种终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可被在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述人脸与身体肤色区域的分割方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各系统实施例中各模块的功能。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人脸与身体肤色区域的分割方法，其特征在于，所述方法包括：

Step1：创建当前帧第一检测区域Ω₁；

Step2：对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，当检测到肤色块时，则标识该肤色块为当前人脸第一肤色标识块gmb₁；将所有检测过的块从第一检测区域Ω₁中删除；

Step3：对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，直到检测到非肤色块，则标识该非肤色块左邻接肤色块为当前人脸第二肤色标识块gmb₂，接着，将所有检测过的块从第一检测区域Ω₁中删除；

Step4：根据第一肤色标识块和第二肤色标识块的位置，求取当前人脸区域和当前身体肤色区域；

所述创建当前帧第一检测区域Ω₁具体为：如果当前帧为I帧或者numI＞Thres_I，则将当前帧中划分为最大块且属于非边界、非孤立块的预测块划入第一检测区域Ω₁；否则，将当前帧划分为最大块的帧内预测块且属于非边界、非孤立块的预测块，划入当前帧第一检测区域Ω₁；

其中，numI表示当前帧I块数量，当前帧初始值为视频第一帧；Thres_I表示I块门限阈值，Thres_I＞0.8*bkw*bkh；

所述当前人脸第一肤色标识块gmb₁gmb₁＝gmb(i₁,j₁)；其中，gmb(i₁,j₁)表示当前图像第i₁行第j₁列块，i₁、j₁分别表示第一肤色标识块在当前图像中的行序号、列序号；

所述满足第一位置条件的块集合ψ₀＝{gmb(i,j)|i＝i₁,j₁+1≤j≤bkw}；其中，gmb(i,j)表示当前帧第i行第j列的块，bkw表示当前图像的块宽度；

所述当前人脸第二肤色标识块gmb₂＝gmb(i₂,j₂)；gmb(i₂,j₂)表示当前图像第i₁行第j₂列块，j₂别表示第二肤色标识块在当前图像中的列序号，第二肤色标识块的在当前图像中的行序号与第一肤色标识块的在当前图像中的行序号相同；

所述对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，若没有检测到非肤色块，则标识第二肤色标识块gmb₂＝gmb(i₁,bkw)，并删除所有已检测过的块；

所述根据第一肤色标识块和第二肤色标识块的位置，求取当前人脸区域和当前身体肤色区域包括：

Step41：构建当前人脸区域χ_f和第一跨度变量L₁；

χ_f＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}；L₁＝j₂-j₁；

Step42：构建第一检测集ψ₁、第二检测集ψ₂；

Step43：创建第一、第二模式变量sk₁、sk₂；

Step44：首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，更新第一肤色标识块gmb₁，计算非肤色块的亮度均值，色度分量均值；然后对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，更新第二肤色标识块gmb₂，计算非肤色块的亮度均值，色度分量均值；最后，将所有检测过的块从Ω₁中删除；

Step45：根据第一、第二模式变量判断是否进行五官非肤色区域删除；

Step46：更新第一、第二肤色标识块gmb₁、gmb₂对应i₁,j₁,j₂的值，更新当前人脸区域χ_f＝χ_f Y{gmb(i,j)|i＝i₁,j₁≤j≤j₂}，求取临时变量temp＝L₁，更新第一跨度变量L₁＝j₂-j₁；

Step47：根据第三模式变量和第四模式变量选择跳转步骤，求取当前人脸区域和当前身体肤色区域；

所述第一模式变量、第二模式变量赋初值为0，即sk₁＝sk₂＝0；

所述根据第一、第二模式变量判断是否进行五官非肤色区域删除具体为：若第一模式变量sk₁＝1或者第二模式变量sk₂＝1，则进行五官非肤色区域删除；否则，进入Step46；

Step2与Step3之间还包括步骤：创建第一、第二累计变量k₁、k₂、第一、第二临时集合；

Step2与Step3之间还包括步骤：创建第三、第四模式变量；

所述根据第三模式变量和第四模式变量选择跳转步骤，求取当前人脸区域和当前身体肤色区域具体为：若第四模式变量为0，则进入步骤B1；否则，进入步骤B2；

步骤B1：若L₁＞temp，则令第三模式变量为1，重回Step42；否则若第三模式变量为0，令当前人脸区域为空集，进入步骤B4；否则令第四模式变量为1，重回Step42；

步骤B2：若L₁＞temp，则令当前人脸截止行号为i₁-1，当前人脸区域χ_f＝χ_f I{gmb(i,j)|i≤i₁-1}，当前身体肤色区域起始行号为i₁，L₁＝temp进入步骤B3；否则，重回Step42；

步骤B3：进行当前身体肤色区域检测；

步骤B4，若第一检测区域Ω₁为非空，则进行下一人脸及其身体肤色区域的检测，令χ_f、χ_b赋值为空集，重回Step2；若第一检测区域Ω₁为空，则判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，重回Step1；若不存在，则结束；

所述进行当前身体肤色区域检测包括：

B300：令当前身体肤色区域χ_b＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}；

B301：对当前身体肤色区域与χ_b邻接的未检测块，进行肤色检测，将判断为肤色块的划入当前身体肤色区域χ_b，并将检测过的块从Ω₁中删除；

B302：若存在与前身体肤色区域χ_b邻接的未检测块，则重回B301；否则完成当前身体肤色区域检测。

2.如权利要求1所述的人脸与身体肤色区域的分割方法，其特征在于，所述对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，更新第一肤色标识块gmb₁，计算非肤色块的亮度均值，色度分量均值具体为：首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，若没有检测到非肤色块，则更新第一肤色标识块gmb₁为第一检测集ψ₁内具有最小列号的块；否则，若检测到非肤色块，则令第一模式变量sk₁＝1，结束对第一检测集ψ₁内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₁,um₁,vm₁；

所述对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，更新第二肤色标识块gmb₂，计算非肤色块的亮度均值，色度分量均值具体为：对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，若没有检测到非肤色块，则更新第二肤色标识块gmb₂为第二检测集ψ₂内具有最大列号的块；否则，若检测到非肤色块，则令第二模式变量sk₂＝1，结束对第二检测集ψ₂内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₂,um₂,vm₂。

3.如权利要求2所述的人脸与身体肤色区域的分割方法，其特征在于，所述进行五官非肤色区域删除包括：

步骤A1：根据第一模式变量及第一临时集合，更新第一累计变量；

具体为：若第一模式变量sk₁＝1，则首先判断第一临时集合是否为空，若空则令第一累计变量k₁＝1；若非空，则进一步判断第一检测集ψ₁检测到的非肤色块是否与第一临时集合内块不连通，若不连通则令第一累计变量k₁＝k₁+1；接着将第一检测集ψ₁检测到的该非肤色块划入第一临时集合；

步骤A2：根据第二模式变量及第二临时集合，更新第二累计变量；

具体为：若第二模式变量sk₂＝1，则首先判断第二临时集合是否为空，若空则令第二累计变量k₂＝1；若非空，则进一步判断ψ₂检测到的该非肤色块是否与第二临时集合内块不连通，若不连通则令第二累计变量k₂＝k₂+1；接着将ψ₂检测到的该非肤色块划入第二临时集合；

步骤A3：根据第一、第二累计变量，更新第一、第二肤色标识块；

具体为：若k₁＞3或k₂＞3，则直接进入Step46；否则(k₁≤3且k₂≤3)，则判断是否满足第一条件，若不满足第一条件，则进入第二条件的判定；若满足第一条件，则先进行第一肤色标识块的更新，再进入第二条件的判定；

所述第二条件的判定具体为：判断是否满足第二条件，若不满足第二条件，则重回step2；若满足第二条件，则进行第二肤色标识块的更新；

4.如权利要求3所述的人脸与身体肤色区域的分割方法，其特征在于，所述进行第一肤色标识块的更新具体为：对ψ₁剩余未检测块，继续从右至左依次进行肤色检测，直至检测到与之前ψ₁内检测到非肤色块不连通的非肤色块，则更新第一肤色标识块为ψ₁中具有最小列号的肤色块；否则，令gmb₁＝gmb(i₁+1,j₁)；最后，将所有检测过的块从Ω₁中删除，将上述ψ₁中新检测到的连通的非肤色块划入第一临时集合；

所述进行第二肤色标识块的更新具体为：对ψ₂剩余未检测块，继续从左至右依次进行肤色检测，直至检测到与之前ψ₂内检测到非肤色块不连通的非肤色块，则更新第二肤色标识块为ψ₂中具有最大列号的肤色块；否则，令gmb₂＝gmb(i₁+1,j₂)；最后，将所有检测过的块从Ω₁中删除，将上述ψ₂中新检测到的连通的非肤色块划入第二临时集合；Thres表示阈值，Thres＜10。

5.一种人脸与身体肤色区域的分割系统，其特征在于，所述系统包括：

第一检测区域创建模块，创建当前帧第一检测区域Ω₁；

第一肤色标识块标识模块，用于对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，当检测到肤色块时，则标识该肤色块为当前人脸第一肤色标识块gmb₁；将所有检测过的块从第一检测区域Ω₁中删除；

第二肤色标识块标识模块，用于对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，直到检测到非肤色块，则标识该非肤色块左邻接肤色块为当前人脸第二肤色标识块gmb₂，接着，将所有检测过的块从第一检测区域Ω₁中删除；

人脸区域和身体肤色区域求取装置，用于根据第一肤色标识块和第二肤色标识块的位置，求取当前人脸区域和当前身体肤色区域；

所述第一检测区域创建模块中，创建当前帧第一检测区域Ω₁具体为：如果当前帧为I帧或者numI＞Thres_I，则将当前帧中划分为最大块且属于非边界、非孤立块的预测块划入第一检测区域Ω₁；否则，将当前帧划分为最大块的帧内预测块且属于非边界、非孤立块的预测块，划入当前帧第一检测区域Ω₁；

其中，numI表示当前帧I块数量，当前帧初始值为视频第一帧；Thres_I表示I块门限阈值，Thres_I＞0.8*bkw*bkh；

所述第一肤色标识块标识模块中，gmb₁＝gmb(i₁,j₁)；其中，gmb(i₁,j₁)表示当前图像第i₁行第j₁列块，i₁、j₁分别表示第一肤色标识块在当前图像中的行序号、列序号；

所述第二肤色标识块标识模块中，所述满足第一位置条件的块集合ψ₀＝{gmb(i,j)|i＝i₁,j₁+1≤j≤bkw}；其中，gmb(i,j)表示当前帧第i行第j列的块，bkw表示当前图像的块宽度；

gmb₂＝gmb(i₂,j₂)；gmb(i₂,j₂)表示当前图像第i₁行第j₂列块，j₂别表示第二肤色标识块在当前图像中的列序号，第二肤色标识块的在当前图像中的行序号与第一肤色标识块的在当前图像中的行序号相同；

所述人脸与身体肤色区域的分割系统还包括第一判断模块，

第一判断模块，用于对当前帧第一检测区域Ω₁内块按从上至下从左至右的顺序，依次进行肤色检测，若没有检测到肤色块，则判断当前帧的下一帧是否存在，若存在，则将当前帧的下一帧设置为当前帧，重回第一检测区域创建模块；若不存在，则结束；

所述人脸与身体肤色区域的分割系统还包括第二判断模块，

第二判断模块，用于对当前帧第一检测区域Ω₁内，满足第一位置条件的块集合ψ₀按块在图像中的位置，从左至右依次进行肤色检测，若没有检测到非肤色块，则标识第二肤色标识块gmb₂＝gmb(i₁,bkw)，并删除所有已检测过的块；

所述人脸与身体肤色区域的分割系统还包括第一、第二累计变量和第一、第二临时集合创建模块，与第一肤色标识块标识模块和第二肤色标识块标识模块相连，用于创建第一、第二累计变量k₁、k₂、第一、第二临时集合；

所述人脸区域和身体肤色区域求取装置包括：

当前人脸区域和第一跨度变量构建模块，用于构建当前人脸区域χ_f和第一跨度变量L₁；

X_f＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}；L₁＝j₂-j₁；

第一、第二检测集构建模块，用于构建第一检测集ψ₁、第二检测集ψ₂；

第一、第二模式变量创建模块，用于创建第一、第二模式变量sk₁、sk₂；

第一模式变量、第二模式变量赋初值为0，即sk₁＝sk₂＝0；

第一、第二肤色标识块更新及非肤色块亮度均值、色度分量均值计算模块，用于首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，更新第一肤色标识块gmb₁，计算非肤色块的亮度均值，色度分量均值；然后对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，更新第二肤色标识块gmb₂，计算非肤色块的亮度均值，色度分量均值；最后，将所有检测过的块从Ω₁中删除；

五官非肤色区域删除判定模块模块，用于根据第一、第二模式变量判断是否进行五官非肤色区域删除；

具体为：若第一模式变量sk₁＝1或者第二模式变量sk₂＝1，则进行五官非肤色区域删除；否则，第一跨度变量更新模块；

第一跨度变量更新模块，用于更新第一、第二肤色标识块gmb₁、gmb₂对应i₁,j₁,j₂的值，更新当前人脸区域χ_f＝χ_f Y{gmb(i,j)|i＝i₁,j₁≤j≤j₂}，求取临时变量temp＝L₁，更新第一跨度变量L₁＝j₂-j₁；

当前人脸区域和当前身体肤色区域求取模块，用于根据第三模式变量和第四模式变量选择跳转步骤，求取当前人脸区域和当前身体肤色区域；

所述人脸与身体肤色区域的分割系统还包括第三、第四模式变量创建模块，

第三、第四模式变量创建模块，与第一肤色标识块标识模块和第二肤色标识块标识模块相连，用于创建第三、第四模式变量；第三、第四模式变量赋初值为0，若第四模式变量为0，则进入第三判断模块；否则，进入第四判断模块；

第三判断模块，用于判断若L₁＞temp，则令第三模式变量为1，重回第一、第二检测集构建模块；否则若第三模式变量为0，令当前人脸区域为空集，进入第五判断模块；否则令第四模式变量为1，重回第一、第二检测集构建模块；

第四判断模块，用于判断若L₁＞temp，则令当前人脸截止行号为i₁-1，当前人脸区域χ_f＝χ_f I{gmb(i,j)|i≤i₁-1}，当前身体肤色区域起始行号为i₁，L₁＝temp进入当前身体肤色区域检测模块；否则，重回第一、第二检测集构建模块；

当前身体肤色区域检测模块，用于进行当前身体肤色区域检测；

第五判断模块，用于若第一检测区域Ω₁为非空，则进行下一人脸及其身体肤色区域的检测，令χ_f、χ_b赋值为空集，重回第一肤色标识块标识模块；判断若第一检测区域Ω₁为空，则判断是否当前帧的下一帧存在，若存在，则将当前帧的下一帧设置为当前帧，重回第一检测区域创建模块；若不存在，则结束；

所述当前人脸区域和当前身体肤色区域求取模块还包括第六判断模块，用于判断若第一检测区域Ω₁非空则进行下一人脸及其身体肤色区域的检测，令χ_f、χ_b赋值为空集，重回第一肤色标识块标识模块；

所述当前身体肤色区域检测模块还包括

当前身体肤色区域设置模块，用于令当前身体肤色区域χ_b＝{gmb(i,j)|i＝i₁,j₁≤j≤j₂}；

肤色检测及当前身体肤色区域更新模块，对当前身体肤色区域与χ_b邻接的未检测块，进行肤色检测，将判断为肤色块的划入当前身体肤色区域χ_b，并将检测过的块从Ω₁中删除；

第七判断模块，用于判断若存在与前身体肤色区域χ_b邻接的未检测块，则重回肤色检测及当前身体肤色区域更新模块；否则完成当前身体肤色区域检测。

6.如权利要求5所述的人脸与身体肤色区域的分割系统，其特征在于，所述五官非肤色区域删除判定模块包括：对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，更新第一肤色标识块gmb₁，计算非肤色块的亮度均值，色度分量均值具体为：具体为：首先对第一检测集ψ₁内所有块，从右至左依次进行肤色检测，若没有检测到非肤色块，则更新第一肤色标识块gmb₁为第一检测集ψ₁内具有最小列号的块；否则，若检测到非肤色块，则令第一模式变量sk₁＝1，结束对第一检测集ψ₁内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₁,um₁,vm₁；

对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，更新第二肤色标识块gmb₂，计算非肤色块的亮度均值，色度分量均值具体为：对第二检测集ψ₂内所有块，从左至右依次进行肤色检测，若没有检测到非肤色块，则更新第二肤色标识块gmb₂为第二检测集ψ₂内具有最大列号的块；否则，若检测到非肤色块，则令第二模式变量sk₂＝1，结束对第二检测集ψ₂内剩余块的肤色检测，计算该非肤色块的亮度均值，色度分量均值，分别记为ym₂,um₂,vm₂。

7.如权利要求6所述的人脸与身体肤色区域的分割系统，其特征在于，

第一累计变量更新模块，用于根据第一模式变量及第一临时集合，更新第一累计变量；

具体为：若第一模式变量sk₁＝1，则首先判断第一临时集合是否为空，若空则令第一累计变量k₁＝1；若非空，则进一步判断第一检测集ψ₁检测到的非肤色块是否与第一临时集合内块不连通，若不连通则令第一累计变量k₁＝k₁+1；接着将第一检测集ψ₁检测到的该非肤色块划入第一临时集合；

第二累计变量更新模块，用于根据第二模式变量及第二临时集合，更新第二累计变量；

具体为：若第二模式变量sk₂＝1，则首先判断第二临时集合是否为空，若空则令第二累计变量k₂＝1；若非空，则进一步判断ψ₂检测到的该非肤色块是否与第二临时集合内块不连通，若不连通则令第二累计变量k₂＝k₂+1；接着将ψ₂检测到的该非肤色块划入第二临时集合；

第一、第二肤色标识块更新模块，用于根据第一、第二累计变量，更新第一、第二肤色标识块；

具体为：若k₁＞3或k₂＞3，则直接进入第一跨度变量更新模块；否则(k₁≤3且k₂≤3)，则判断是否满足第一条件，若不满足第一条件，则进入第二条件的判定；若满足第一条件，则先进行第一肤色标识块的更新，再进入第二条件的判定；

所述第二条件的判定具体为：判断是否满足第二条件，若不满足第二条件，则重回第一肤色标识块标识模块；若满足第二条件，则进行第二肤色标识块的更新；

8.如权利要求7所述的人脸与身体肤色区域的分割系统，其特征在于，

所述进行第一肤色标识块的更新具体为：对ψ₁剩余未检测块，继续从右至左依次进行肤色检测，直至检测到与之前ψ₁内检测到非肤色块不连通的非肤色块，则更新第一肤色标识块为ψ₁中具有最小列号的肤色块；否则，令gmb₁＝gmb(i₁+1,j₁)；最后，将所有检测过的块从Ω₁中删除，将上述ψ₁中新检测到的连通的非肤色块划入第一临时集合；

所述进行第二肤色标识块的更新具体为：对ψ₂剩余未检测块，继续从左至右依次进行肤色检测，直至检测到与之前ψ₂内检测到非肤色块不连通的非肤色块，则更新第二肤色标识块为ψ₂中具有最大列号的肤色块；否则，令gmb₂＝gmb(i₁+1,j₂)；最后，将所有检测过的块从Ω₁中删除，将上述ψ₂中新检测到的连通的非肤色块划入第二临时集合；Thres表示阈值，Thres＜10。

9.一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述人脸与身体肤色区域的分割方法。