CN107563278A - 一种基于肤色检测的快速眼唇定位方法和系统 - Google Patents

Abstract

本发明公开一种基于肤色检测的快速眼唇定位方法和系统。本发明方法设计一种眼唇定位技术，首先通过肤色检测初步确定眼部位置，然后利用眼唇几何位置关系，确定唇部位置，判定。本发明方法一方面可以缩减眼唇搜索范围，另一方面也可以降低眼唇独立判断引起的误判，从而提升眼唇定位技术的时效性。

Description

一种基于肤色检测的快速眼唇定位方法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于肤色检测的快速眼唇定位方法和系统。

背景技术

随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。无论是人脸视频检索、还是在线视频美颜，精确快速的眼唇定位技术都会增强其事半功倍的效果。目前主流的专设眼唇图像定位技术，计算量大，制约了算法的在线使用和二次开发效率。

发明内容

本发明实施例的目的在于提出一种基于肤色检测的快速眼唇定位方法，旨在解决现有技术眼唇图像定位技术，计算量大，开发效率低的问题。

本发明实施例是这样实现的，一种基于肤色检测的快速眼唇定位方法，所述方法包括：

为当前图像中每个块设置相应的肤色标识符；

如果当前图像所有块的肤色标识符均为0，则无需眼唇定位，直接结束；

进行人眼待定区域定位及并设置相应的判定模式；

按判定模式进行眼唇定位，标识。

所述为当前图像中每个块设置相应的肤色标识符具体为：

用业内公开的以块为单位的肤色判定方法，判断当前图像中每个块是否为肤色块，如果bk_t(i,j)判定为肤色块，则设置该块肤色标识符为1，即note_t(i,j)＝1；否则，设置note_t(i,j)＝0；

所述进行人眼待定区域定位及并设置相应的判定模式包括以下步骤：

Step31：首先查找满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j-1)＝1的块，若找到，则首先记为sbk_t(is,js)，称为人眼起始判定块，然后进入Step32；如果找不到则直接进入Step32；

Step32：然后查找到满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j+1)＝1的块，若找到，则首先记为dbk_t(id,jd)称为人眼中止判定块，然后进入Step33；如果找不到则直接进入Step33；

Step33:如果sbk_t(is,js)和dbk_t(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进入所述步骤“按判定模式进行眼唇定位，标识”；

否则，如果sbk_t(is,js)和dbk_t(id,jd)都不存在，则结束；

否则如果sbk_t(is,js)和dbk_t(id,jd)两者只有一个存在，则首先进行人眼待定区域的融合，即仅当sbk_t(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入所述步骤“按判定模式进行眼唇定位，标识”；而仅当dbk_t(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入所述步骤“按判定模式进行眼唇定位，标识”；

其中，bk_t(i,j)表示当前图像的第i行第j块，bkw、bkh分别表示图像划分成块以后，图像以块为单位的列数和行数。note_t(i,j)表示当前图像的第i行第j块的肤色标识符；

is、js分别表示人眼起始判定块的行列号，note_t(i-1,j)表示当前图像的第i-1行第j块的肤色标识符；note_t(i,j-1)表示当前图像的第i行第j-1块的肤色标识符；

id、jd分别表示人眼中止判定块的行列号，note_t(i,j+1)表示当前图像的第i行第j+1块的肤色标识符。

本发明实施例的另一目的在于提出一种基于肤色检测的快速眼唇定位系统。所述系统包括：

肤色块判断处理模块，用于为当前图像中每个块设置相应的肤色标识符；

具体为：用业内公开的以块为单位的肤色判定方法，判断当前图像中每个块是否为肤色块，如果bk_t(i,j)判定为肤色块，则设置该块肤色标识符为1，即note_t(i,j)＝1；否则，设置note_t(i,j)＝0；

其中，bk_t(i,j)表示当前图像的第i行第j块，bkw、bkh分别表示图像划分成块以后，图像以块为单位的列数和行数。note_t(i,j)表示当前图像的第i行第j块的肤色标识符。

肤色标识符判断模块，用于判断如果当前图像所有块的肤色标识符均为0，则无需眼唇定位，直接结束；否则进入人眼待定区域判定模式设置装置；

人眼待定区域判定模式设置装置，用于进行人眼待定区域定位并设置相应的判定模式；

人眼定位及标识装置，用于按判定模式进行眼唇定位，标识。

所述人眼待定区域判定模式设置装置包括：

人眼起始判定块查找判断模块，用于首先查找满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j-1)＝1的块，若找到，则首先记为sbk_t(is,js)，称为人眼起始判定块，然后进入人眼中止判定块查找判断模块；如果找不到则直接进入人眼中止判定块查找判断模块；

其中，is、js分别表示人眼起始判定块的行列号，note_t(i-1,j)表示当前图像的第i-1行第j块的肤色标识符；note_t(i,j-1)表示当前图像的第i行第j-1块的肤色标识符；

人眼中止判定块查找判断模块，用于查找到满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j+1)＝1的块，若找到，则首先记为dbk_t(id,jd)称为人眼中止判定块，然后进入判定模式设置模块；如果找不到则直接进入判定模式设置模块；

其中，id、jd分别表示人眼中止判定块的行列号，note_t(i,j+1)表示当前图像的第i行第j+1块的肤色标识符；

判定模式设置模块，用于判断如果sbk_t(is,js)和dbk_t(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进人眼定位及标识装置；

否则，如果sbk_t(is,js)和dbk_t(id,jd)都不存在，则结束；

否则如果sbk_t(is,js)和dbk_t(id,jd)两者只有一个存在，则首先进行人眼待定区域的融合，即仅当sbk_t(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入人眼定位及标识装置；而仅当dbk_t(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入人眼定位及标识装置。

本发明的有益效果

本发明提出一种基于肤色检测的快速眼唇定位方法和系统。本发明方法设计一种眼唇定位技术，首先通过肤色检测初步确定眼部位置，然后利用眼唇几何位置关系，确定唇部位置，判定。本发明方法一方面可以缩减眼唇搜索范围，另一方面也可以降低眼唇独立判断引起的误判，从而提升眼唇定位技术的时效性。

附图说明

图1是本发明优选实施例一种基于肤色检测的快速眼唇定位方法流程图；

图2是图1中Step3详细方法流程图；

图3是图2Step33中的正面判定模式详细方法流程图；

图4是图2Step33中的侧面判定模式详细方法流程图；

图5是图3和图4中的唇部判定详细方法流程图；

图6是图3和图4中的单侧人眼判定详细方法流程图；

图7是本发明优选实施例一种基于肤色检测的快速眼唇定位系统结构图；

图8是图7中的人眼待定区域判定模式设置装置结构图；

图9是图8判定模式设置模块中的正面判定模式模块结构图；

图10是图8判定模式设置模块中的侧面判定模式模块结构图；

图11是图9和图10中的第一、第二唇部判定模块详细结构图；

图12是图9和图10中的第一、第二单侧人眼判定模块详细结构图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

本发明提出一种基于肤色检测的快速眼唇定位方法和系统。本发明方法设计一种眼唇定位技术，首先通过肤色检测初步确定眼部位置，然后利用眼唇几何位置关系，确定唇部位置，判定。本发明方法一方面可以缩减眼唇搜索范围，另一方面也可以降低眼唇独立判断引起的误判，从而提升眼唇定位技术的时效性。

实施例一

图1是本发明优选实施例一种基于肤色检测的快速眼唇定位方法流程图；所述方法包括以下步骤：

Step1：为当前图像中每个块设置相应的肤色标识符；

具体为：用业内公开的以块为单位的肤色判定方法，判断当前图像中每个块是否为肤色块，如果bk_t(i,j)判定为肤色块，则设置该块肤色标识符为1，即note_t(i,j)＝1；否则，设置note_t(i,j)＝0。

其中，bk_t(i,j)表示当前图像的第i行第j块(块的大小可为16x16等大小的块)，bkw、bkh分别表示图像划分成块以后，图像以块为单位的列数和行数。note_t(i,j)表示当前图像的第i行第j块的肤色标识符。

Step2：如果当前图像所有块的肤色标识符均为0，则无需眼唇定位，直接结束。

Step3：进行人眼待定区域定位及并设置相应的判定模式。

图2是图1中Step3详细方法流程图；包括以下步骤：

Step31：首先查找满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j-1)＝1的块，若找到，则首先记为sbk_t(is,js)，称为人眼起始判定块，然后进入Step32；如果找不到则直接进入Step32。

其中，is、js分别表示人眼起始判定块的行列号，note_t(i-1,j)表示当前图像的第i-1行第j块的肤色标识符；note_t(i,j-1)表示当前图像的第i行第j-1块的肤色标识符；

Step32：然后查找到满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j+1)＝1的块，若找到，则首先记为dbk_t(id,jd)称为人眼中止判定块，然后进入Step33；如果找不到则直接进入Step33。

其中，id、jd分别表示人眼中止判定块的行列号，note_t(i,j+1)表示当前图像的第i行第j+1块的肤色标识符；

Step33:如果sbk_t(is,js)和dbk_t(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进入Step4；

否则，如果sbk_t(is,js)和dbk_t(id,jd)都不存在，则结束；

否则(即sbk_t(is,js)和dbk_t(id,jd)两者只有一个存在)，则首先进行人眼待定区域的融合，即仅当sbk_t(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入Step4；而仅当dbk_t(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入Step4。

Step4：按判定模式进行眼唇定位，标识。

正面判定模式：

图3是图2Step33中的正面判定模式详细方法流程图；包括以下步骤：

步骤A1：对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，并将相应的结果作标识。

步骤A2：如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认。

即如果lbk₁-lbk₂＝0且L₂-R₁≥max(1,1/2*lbk₁)，则完成人眼定位，然后进入步骤A3；否则，标识图像无人眼存在，直接结束。

其中，lbk₁、lbk₂分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R₁、L₂分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域。

步骤A3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域。即

唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件}，唇部待判区域条件：

H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且note_t(i,j)＝0。其中，

H_lipu＝H_cent_L+int((W_cent_R-W_cent_L)/2)、

H_lipd＝H_cent_L+int((W_cent_R-W_cent_L)/2*3)、

W_lipl＝int(max(R₁-lbk₁*2/3,(R₁-L₂)/2-lbk₁*2))、

W_lipr＝int(min(L₂+lbk₁*2/3,(R₁-L₂)/2+lbk₁*2))

H_cent_L、W_cent_L、H_cent_R、W_cent_R以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值。

步骤A4：如果唇部待判区域不存在，则直接结束；否则进入步骤A5。

步骤A5：对唇部待判区域，进行唇部判定。

侧面判定模式：

图4是图2Step33中的侧面判定模式详细方法流程图；包括以下步骤：

步骤B1：对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识。

步骤B2：如果存在人眼区域，则进入步骤B3，否则结束。

步骤B3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域。

情况1：sbk_t(is,js)存在，则唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件1}。

唇部待判区域条件1：H_cent_L+size_sh*2≤i≤H_cent_L+size_sh*6且W_cent_L≤j≤W_cent_L+lbk₁*2且note_t(i,j)＝0。

情况2：dbk_t(is,js)存在，则唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件2}唇部待判区域条件2：H_cent_R+size_dh*2≤i≤H_cent_R+size_dh*6且

W_cent_R-2*lbk₂≤j≤W_cent_R且note_t(i,j)＝0。

其中，size_sh、size_dh以块为单位的人眼第一区域行宽、人眼第二区域行宽。

步骤B4：如果唇部待判区域不存在，则直接结束；否则进入步骤B5。

步骤B5：对唇部待判区域，进行唇部判定。

上述唇部判定法和单侧人眼判定法可用下述方法，也可用业内公知的其他方法。

唇部判定法：

图5是图3和图4中的唇部判定详细方法流程图；包括以下步骤：

步骤C1，计算唇部待判区域的色度类分统计量f1：

f1＝sum(sign(u(m,n),v(m,n))|条件1))

其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；

区域条件：y(m,n)和u(m,n)和v(m,n)均∈唇部待定区域；

分类条件1：u(m,n)<128且v(m,n)>128且v(m,n)-128>128-u(m,n)；

分类条件2：u(m,n)>128且v(m,n)>128且v(m,n)-128>u(m,n)-128；

分类条件3：u(m,n)＝128且v(m,n)＝128且(y(m,n)≤50或者y(m,n)≥180)；

y(m,n)、u(m,n)、v(m,n)分别表示第m行第n列的亮度值、U色度值、V色度值。

步骤C2，判断如果num-f1<Thres2，则判定唇部待判区域为唇部；否则，则判定为不是唇部；

其中，Thres2表示第二门限阈值，一般可取Thres2≤16；num为唇部待判区域的像素点个数。

单侧人眼判定方法：

图6是图3和图4中的单侧人眼判定详细方法流程图；包括以下步骤：

步骤D1，计算人眼待定区域的亮度值分布

p(k)＝sum(sign(y(m,n)＝k|y(m,n)∈人眼待定区域))。

其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；y(m,n)表示第m行第n列的亮度值；

步骤D2，求人眼待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值。

perk1(k)＝max(p(k))、k_max1＝arg(k|perk1(k))、

perk2(k)＝max(p(k)|p(k)≠perk1(k))、k_max2＝arg(k|perk2(k))。

其中，perk1(k)、k_max1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、k_max2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；k_max1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给k_max1，k_max2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给k_max2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值。

步骤D3，如果abs(k_max1-k_max2)>Thres，则判定人眼待定区域为人眼，并标识该区域内所有块为人眼并将该人眼待定区域称为人眼区域，否则，标识为非人眼，直接结束。

即sbk_t(i,j)＝sign(bk_t(i,j)|人眼标识条件)，其中人眼标识条件：abs(k_max1-k_max2)>Thres且bk_t(i,j)∈人眼待定区域。

其中，sbk_t(i,j)表示块bk_t(i,j)的人眼标识参数；Thres表示门限阈值，一般可取Thres>50。

实施例二

图7是本发明优选实施例一种基于肤色检测的快速眼唇定位系统结构图；所述系统包括：

肤色块判断处理模块，用于为当前图像中每个块设置相应的肤色标识符；

具体为：用业内公开的以块为单位的肤色判定方法，判断当前图像中每个块是否为肤色块，如果bk_t(i,j)判定为肤色块，则设置该块肤色标识符为1，即note_t(i,j)＝1；否则，设置note_t(i,j)＝0。

其中，bk_t(i,j)表示当前图像的第i行第j块(块的大小可为16x16等大小的块)，bkw、bkh分别表示图像划分成块以后，图像以块为单位的列数和行数。note_t(i,j)表示当前图像的第i行第j块的肤色标识符。

肤色标识符判断模块，用于判断如果当前图像所有块的肤色标识符均为0，则无需眼唇定位，直接结束；否则进入人眼待定区域判定模式设置装置；

人眼待定区域判定模式设置装置，用于进行人眼待定区域定位并设置相应的判定模式；

人眼定位及标识装置，用于按判定模式进行眼唇定位，标识。

图8是图7中的人眼待定区域判定模式设置装置结构图；所述装置包括：

人眼起始判定块查找判断模块，用于首先查找满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j-1)＝1的块，若找到，则首先记为sbk_t(is,js)，称为人眼起始判定块，然后进入人眼中止判定块查找判断模块；如果找不到则直接进入人眼中止判定块查找判断模块。

其中，is、js分别表示人眼起始判定块的行列号，note_t(i-1,j)表示当前图像的第i-1行第j块的肤色标识符；note_t(i,j-1)表示当前图像的第i行第j-1块的肤色标识符；

人眼中止判定块查找判断模块，用于查找到满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j+1)＝1的块，若找到，则首先记为dbk_t(id,jd)称为人眼中止判定块，然后进入判定模式设置模块；如果找不到则直接进入判定模式设置模块。

其中，id、jd分别表示人眼中止判定块的行列号，note_t(i,j+1)表示当前图像的第i行第j+1块的肤色标识符；

判定模式设置模块，用于判断如果sbk_t(is,js)和dbk_t(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进人眼定位及标识装置；

否则，如果sbk_t(is,js)和dbk_t(id,jd)都不存在，则结束；

否则(即sbk_t(is,js)和dbk_t(id,jd)两者只有一个存在)，则首先进行人眼待定区域的融合，即仅当sbk_t(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入人眼定位及标识装置；而仅当dbk_t(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入人眼定位及标识装置。

图9是图8判定模式设置模块中的正面判定模式模块结构图；所述模块包括

第一单侧人眼判定模块，用于对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，并将相应的结果作标识。

人眼定位模块，用于判断如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认。

即如果lbk₁-lbk₂＝0且L₂-R₁≥max(1,1/2*lbk₁)，则完成人眼定位，然后进入步骤A3；否则，标识图像无人眼存在，直接结束。

其中，lbk₁、lbk₂分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R₁、L₂分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域。

第一唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，确定唇部待判区域。即唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件}，唇部待判区域条件：H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且note_t(i,j)＝0。其中，H_lipu＝H_cent_L+int((W_cent_R-W_cent_L)/2)、

H_lipd＝H_cent_L+int((W_cent_R-W_cent_L)/2*3)、

W_lipl＝int(max(R₁-lbk₁*2/3,(R₁-L₂)/2-lbk₁*2))、

W_lipr＝int(min(L₂+lbk₁*2/3,(R₁-L₂)/2+lbk₁*2))

H_cent_L、W_cent_L、H_cent_R、W_cent_R以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值。

第一唇部待判区域存在判断模块，用于判断如果唇部待判区域不存在，则直接结束；否则进入第一唇部判定模块。

第一唇部判定模块，用于对唇部待判区域，进行唇部判定；

图10是图8判定模式设置模块中的侧面判定模式模块结构图；所述模块包括

第二单侧人眼判定模块，用于对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识。

人眼区域存在判断模块，用于判断如果存在人眼区域，则进入第二唇部待判区域确定模块，否则结束。

第二唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，确定唇部待判区域。

情况1：sbk_t(is,js)存在，则唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件1}。

唇部待判区域条件1：H_cent_L+size_sh*2≤i≤H_cent_L+size_sh*6且W_cent_L≤j≤W_cent_L+lbk₁*2且note_t(i,j)＝0。

情况2：dbk_t(is,js)存在，则唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件2}唇部待判区域条件2：H_cent_R+size_dh*2≤i≤H_cent_R+size_dh*6且

W_cent_R-2*lbk₂≤j≤W_cent_R且note_t(i,j)＝0。

其中，size_sh、size_dh以块为单位的人眼第一区域行宽、人眼第二区域行宽。

第二唇部待判区域存在判断模块，用于判断如果唇部待判区域不存在，则直接结束；否则进入第二唇部判定模块。

第二唇部判定模块，用于对唇部待判区域，进行唇部判定。

图11是图9和图10中的第一、第二唇部判定模块详细结构图；所述模块包括

唇部待判区域色度分类统计量计算模块，用于计算唇部待判区域的色度类分统计量f1：

f1＝sum(sign(u(m,n),v(m,n))|条件1))

其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；

区域条件：y(m,n)和u(m,n)和v(m,n)均∈唇部待定区域；

分类条件1：u(m,n)<128且v(m,n)>128且v(m,n)-128>128-u(m,n)；

分类条件2：u(m,n)>128且v(m,n)>128且v(m,n)-128>u(m,n)-128；

分类条件3：u(m,n)＝128且v(m,n)＝128且(y(m,n)≤50或者y(m,n)≥180)；

y(m,n)、u(m,n)、v(m,n)分别表示第m行第n列的亮度值、U色度值、V色度值。

唇部待判区域判定模块，用于判断如果num-f1<Thres2，则判定唇部待判区域为唇部；否则，则判定为不是唇部；

其中，Thres2表示第二门限阈值，一般可取Thres2≤16；num为唇部待判区域的像素点个数。

图12是图9和图10中的第一、第二单侧人眼判定模块详细结构图；所述模块包括

人眼待定区域亮度值分布计算模块，用于计算人眼待定区域的亮度值分布p(k)＝sum(sign(y(m,n)＝k|y(m,n)∈人眼待定区域))。

其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；y(m,n)表示第m行第n列的亮度值；

亮度值分布最大、次最大值对应的亮度值获取模块，用于求人眼待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值。

perk1(k)＝max(p(k))、k_max1＝arg(k|perk1(k))、

perk2(k)＝max(p(k)|p(k)≠perk1(k))、k_max2＝arg(k|perk2(k))。

其中，perk1(k)、k_max1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、k_max2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；k_max1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给k_max1，k_max2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给k_max2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值。

人眼标识模块，用于如果abs(k_max1-k_max2)>Thres，则判定人眼待定区域为人眼，并标识该区域内所有块为人眼并将该人眼待定区域称为人眼区域，否则，标识为非人眼，直接结束。

即sbk_t(i,j)＝sign(bk_t(i,j)|人眼标识条件)，其中人眼标识条件：abs(k_max1-k_max2)>Thres且bk_t(i,j)∈人眼待定区域。

其中，sbk_t(i,j)表示块bk_t(i,j)的人眼标识参数；Thres表示门限阈值，一般可取Thres>50。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种基于肤色检测的快速眼唇定位方法，其特征在于，所述方法包括：

为当前图像中每个块设置相应的肤色标识符；

如果当前图像所有块的肤色标识符均为0，则无需眼唇定位，直接结束；

进行人眼待定区域定位及并设置相应的判定模式；

按判定模式进行眼唇定位，标识。

2.如权利要求1所述的基于肤色检测的快速眼唇定位方法，其特征在于，

所述为当前图像中每个块设置相应的肤色标识符具体为：

用业内公开的以块为单位的肤色判定方法，判断当前图像中每个块是否为肤色块，如果bk_t(i,j)判定为肤色块，则设置该块肤色标识符为1，即note_t(i,j)＝1；否则，设置note_t(i,j)＝0。

3.如权利要求1所述的基于肤色检测的快速眼唇定位方法，其特征在于，

所述进行人眼待定区域定位及并设置相应的判定模式包括以下步骤：

Step31：首先查找满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j-1)＝1的块，若找到，则首先记为sbk_t(is,js)，称为人眼起始判定块，然后进入Step32；如果找不到则直接进入Step32；

Step32：然后查找到满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j+1)＝1的块，若找到，则首先记为dbk_t(id,jd)称为人眼中止判定块，然后进入Step33；如果找不到则直接进入Step33；

Step33:如果sbk_t(is,js)和dbk_t(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进入所述步骤“按判定模式进行眼唇定位，标识”；

否则，如果sbk_t(is,js)和dbk_t(id,jd)都不存在，则结束；

否则如果sbk_t(is,js)和dbk_t(id,jd)两者只有一个存在，则首先进行人眼待定区域的融合，即仅当sbk_t(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入所述步骤“按判定模式进行眼唇定位，标识”；而仅当dbk_t(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入所述步骤“按判定模式进行眼唇定位，标识”；

其中，bk_t(i,j)表示当前图像的第i行第j块，bkw、bkh分别表示图像划分成块以后，图像以块为单位的列数和行数。note_t(i,j)表示当前图像的第i行第j块的肤色标识符；

is、js分别表示人眼起始判定块的行列号，note_t(i-1,j)表示当前图像的第i-1行第j块的肤色标识符；note_t(i,j-1)表示当前图像的第i行第j-1块的肤色标识符；

id、jd分别表示人眼中止判定块的行列号，note_t(i,j+1)表示当前图像的第i行第j+1块的肤色标识符。

4.如权利要求3所述的基于肤色检测的快速眼唇定位方法，其特征在于，

所述正面判定模式包括以下步骤：

步骤A1：对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，并将相应的结果作标识；

步骤A2：如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认；

即如果lbk₁-lbk₂＝0且L₂-R₁≥max(1,1/2*lbk₁)，则完成人眼定位，然后进入步骤A3；否则，标识图像无人眼存在，直接结束；

其中，lbk₁、lbk₂分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R₁、L₂分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域；

步骤A3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域；即

唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件}，唇部待判区域条件：

H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且note_t(i,j)＝0；

其中，H_lipu＝H_cent_L+int((W_cent_R-W_cent_L)/2)、

H_lipd＝H_cent_L+int((W_cent_R-W_cent_L)/2*3)、

W_lipl＝int(max(R₁-lbk₁*2/3,(R₁-L₂)/2-lbk₁*2))、

W_lipr＝int(min(L₂+lbk₁*2/3,(R₁-L₂)/2+lbk₁*2))

H_cent_L、W_cent_L、H_cent_R、W_cent_R以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值；

步骤A4：如果唇部待判区域不存在，则直接结束；否则进入步骤A5；

步骤A5：对唇部待判区域，进行唇部判定。

5.如权利要求3所述的基于肤色检测的快速眼唇定位方法，其特征在于，所述侧面判定模式包括以下步骤：

步骤B1：对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识；

步骤B2：如果存在人眼区域，则进入步骤B3，否则结束；

步骤B3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域；

情况1：sbk_t(is,js)存在，则唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件1}；

唇部待判区域条件1：H_cent_L+size_sh*2≤i≤H_cent_L+size_sh*6且W_cent_L≤j≤W_cent_L+lbk₁*2且note_t(i,j)＝0；

情况2：dbk_t(is,js)存在，则唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件2}唇部待判区域条件2：H_cent_R+size_dh*2≤i≤H_cent_R+size_dh*6且

W_cent_R-2*lbk₂≤j≤W_cent_R且note_t(i,j)＝0；

其中，size_sh、size_dh以块为单位的人眼第一区域行宽、人眼第二区域行宽；

步骤B4：如果唇部待判区域不存在，则直接结束；否则进入步骤B5；

步骤B5：对唇部待判区域，进行唇部判定。

6.如权利要求4或5所述的基于肤色检测的快速眼唇定位方法，其特征在于，

所述唇部判定法包括以下步骤：

步骤C1，计算唇部待判区域的色度类分统计量f1；

f1＝sum(sign(u(m,n),v(m,n))|条件1))

其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；

区域条件：y(m,n)和u(m,n)和v(m,n)均∈唇部待定区域；

分类条件1：u(m,n)<128且v(m,n)>128且v(m,n)-128>128-u(m,n)；

分类条件2：u(m,n)>128且v(m,n)>128且v(m,n)-128>u(m,n)-128；

分类条件3：u(m,n)＝128且v(m,n)＝128且(y(m,n)≤50或者y(m,n)≥180)；

y(m,n)、u(m,n)、v(m,n)分别表示第m行第n列的亮度值、U色度值、V色度值；

步骤C2，判断如果num-f1<Thres2，则判定唇部待判区域为唇部；否则，则判定为不是唇部；

其中，Thres2表示第二门限阈值，Thres2≤16；num为唇部待判区域的像素点个数。

7.如权利要求4或5所述的基于肤色检测的快速眼唇定位方法，其特征在于，

所述单侧人眼判定方法包括以下步骤：

步骤D1，计算人眼待定区域的亮度值分布

p(k)＝sum(sign(y(m,n)＝k|y(m,n)∈人眼待定区域))；

其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；y(m,n)表示第m行第n列的亮度值；

步骤D2，求人眼待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值；

perk1(k)＝max(p(k))、k_max1＝arg(k|perk1(k))、

perk2(k)＝max(p(k)|p(k)≠perk1(k))、k_max2＝arg(k|perk2(k))；

其中，perk1(k)、k_max1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、k_max2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；k_max1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给k_max1，k_max2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给k_max2；max(_变量|_条件)表示对满足条件的变量求最大值、max(_变量)表示变量求最大值；

步骤D3，如果abs(k_max1-k_max2)>Thres，则判定人眼待定区域为人眼，并标识该区域内所有块为人眼并将该人眼待定区域称为人眼区域，否则，标识为非人眼，直接结束；

即sbk_t(i,j)＝sign(bk_t(i,j)|人眼标识条件)，其中人眼标识条件：

abs(k_max1-k_max2)>Thres且bk_t(i,j)∈人眼待定区域；

其中，sbk_t(i,j)表示块bk_t(i,j)的人眼标识参数；Thres表示门限阈值，Thres>50。

8.一种基于肤色检测的快速眼唇定位系统，其特征在于，所述系统包括：

肤色块判断处理模块，用于为当前图像中每个块设置相应的肤色标识符；

具体为：用业内公开的以块为单位的肤色判定方法，判断当前图像中每个块是否为肤色块，如果bk_t(i,j)判定为肤色块，则设置该块肤色标识符为1，即note_t(i,j)＝1；否则，设置note_t(i,j)＝0；

其中，bk_t(i,j)表示当前图像的第i行第j块，bkw、bkh分别表示图像划分成块以后，图像以块为单位的列数和行数。note_t(i,j)表示当前图像的第i行第j块的肤色标识符。

肤色标识符判断模块，用于判断如果当前图像所有块的肤色标识符均为0，则无需眼唇定位，直接结束；否则进入人眼待定区域判定模式设置装置；

人眼待定区域判定模式设置装置，用于进行人眼待定区域定位并设置相应的判定模式；

人眼定位及标识装置，用于按判定模式进行眼唇定位，标识。

9.如权利要求8所述的基于肤色检测的快速眼唇定位系统，其特征在于，

所述人眼待定区域判定模式设置装置包括：

人眼起始判定块查找判断模块，用于首先查找满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j-1)＝1的块，若找到，则首先记为sbk_t(is,js)，称为人眼起始判定块，然后进入人眼中止判定块查找判断模块；如果找不到则直接进入人眼中止判定块查找判断模块；

其中，is、js分别表示人眼起始判定块的行列号，note_t(i-1,j)表示当前图像的第i-1行第j块的肤色标识符；note_t(i,j-1)表示当前图像的第i行第j-1块的肤色标识符；

人眼中止判定块查找判断模块，用于查找到满足条件：note_t(i,j)＝0且note_t(i-1,j)＝1且note_t(i,j+1)＝1的块，若找到，则首先记为dbk_t(id,jd)称为人眼中止判定块，然后进入判定模式设置模块；如果找不到则直接进入判定模式设置模块；

其中，id、jd分别表示人眼中止判定块的行列号，note_t(i,j+1)表示当前图像的第i行第j+1块的肤色标识符；

判定模式设置模块，用于判断如果sbk_t(is,js)和dbk_t(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进人眼定位及标识装置；

否则，如果sbk_t(is,js)和dbk_t(id,jd)都不存在，则结束；

否则如果sbk_t(is,js)和dbk_t(id,jd)两者只有一个存在，则首先进行人眼待定区域的融合，即仅当sbk_t(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入人眼定位及标识装置；而仅当dbk_t(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入人眼定位及标识装置。

10.如权利要求9所述的基于肤色检测的快速眼唇定位系统，其特征在于，

所述判定模式设置模块中的正面判定模式模块包括

第一单侧人眼判定模块，用于对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，并将相应的结果作标识；

人眼定位模块，用于判断如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认；

即如果lbk₁-lbk₂＝0且L₂-R₁≥max(1,1/2*lbk₁)，则完成人眼定位，然后进入步骤A3；否则，标识图像无人眼存在，直接结束；

其中，lbk₁、lbk₂分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R₁、L₂分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域；

第一唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，

确定唇部待判区域。即唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件}，

唇部待判区域条件：H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且

note_t(i,j)＝0；其中，H_lipu＝H_cent_L+int((W_cent_R-W_cent_L)/2)、

H_lipd＝H_cent_L+int((W_cent_R-W_cent_L)/2*3)、

W_lipl＝int(max(R₁-lbk₁*2/3,(R₁-L₂)/2-lbk₁*2))、

W_lipr＝int(min(L₂+lbk₁*2/3,(R₁-L₂)/2+lbk₁*2))

H_cent_L、W_cent_L、H_cent_R、W_cent_R以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值；

第一唇部待判区域存在判断模块，用于判断如果唇部待判区域不存在，则直接结束；否则进入第一唇部判定模块；

第一唇部判定模块，用于对唇部待判区域，进行唇部判定。

11.如权利要求9所述的基于肤色检测的快速眼唇定位系统，其特征在于，

所述判定模式设置模块中的侧面判定模式模块包括

第二单侧人眼判定模块，用于对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识；

人眼区域存在判断模块，用于判断如果存在人眼区域，则进入第二唇部待判区域确定模块，否则结束；

第二唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，确定唇部待判区域；

情况1：sbk_t(is,js)存在，则唇部待判区域＝{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件1}。

唇部待判区域条件1：H_cent_L+size_sh*2≤i≤H_cent_L+size_sh*6且

W_cent_L≤j≤W_cent_L+lbk₁*2且note_t(i,j)＝0；

情况2：dbk_t(is,js)存在，则_{唇部待判区域＝}{bk_t(i,j)|bk_t(i,j)满足唇部待判区域条件2}唇部待判区域条件2：H_cent_R+size_dh*2≤i≤H_cent_R+size_dh*6且

W_cent_R-2*lbk₂≤j≤W_cent_R且note_t(i,j)＝0；

其中，size_sh、size_dh以块为单位的人眼第一区域行宽、人眼第二区域行宽；

第二唇部待判区域存在判断模块，用于判断如果唇部待判区域不存在，则直接结束；否则进入第二唇部判定模块；第二唇部判定模块，用于对唇部待判区域，进行唇部判定。

12.如权利要求10或11所述的基于肤色检测的快速眼唇定位系统，其特征在于，

所述第一、第二唇部判定模块包括

唇部待判区域色度分类统计量计算模块，用于计算唇部待判区域的色度类分统计量f1；

f1＝sum(sign(u(m,n),v(m,n))|条件1))

其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；区域条件：y(m,n)和u(m,n)和v(m,n)均∈唇部待定区域；

分类条件1：u(m,n)<128且v(m,n)>128且v(m,n)-128>128-u(m,n)；

分类条件2：u(m,n)>128且v(m,n)>128且v(m,n)-128>u(m,n)-128；

分类条件3：u(m,n)＝128且v(m,n)＝128且(y(m,n)≤50或者y(m,n)≥180)；

y(m,n)、u(m,n)、v(m,n)分别表示第m行第n列的亮度值、U色度值、V色度值；

唇部待判区域判定模块，用于判断如果num-f1<Thres2，则判定唇部待判区域为唇部；否则，则判定为不是唇部；

其中，Thres2表示第二门限阈值，Thres2≤16；num为唇部待判区域的像素点个数。

13.如权利要求10或11所述的基于肤色检测的快速眼唇定位系统，其特征在于，

所述第一、第二单侧人眼判定模块包括

人眼待定区域亮度值分布计算模块，用于计算人眼待定区域的亮度值分布p(k)＝sum(sign(y(m,n)＝k|y(m,n)∈人眼待定区域))；

其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；y(m,n)表示第m行第n列的亮度值；

亮度值分布最大、次最大值对应的亮度值获取模块，用于求人眼待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值；

perk1(k)＝max(p(k))、k_max1＝arg(k|perk1(k))、

perk2(k)＝max(p(k)|p(k)≠perk1(k))、k_max2＝arg(k|perk2(k))；

其中，perk1(k)、k_max1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、k_max2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；k_max1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给k_max1，k_max2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给k_max2；max(_变量|_条件)表示对满足条件的变量求最大值、max(_变量)表示变量求最大值；

人眼标识模块，用于如果abs(k_max1-k_max2)>Thres，则判定人眼待定区域为人眼，并标识该区域内所有块为人眼并将该人眼待定区域称为人眼区域，否则，标识为非人眼，直接结束；

即sbk_t(i,j)＝sign(bk_t(i,j)|人眼标识条件)，其中人眼标识条件：

abs(k_max1-k_max2)>Thres且bk_t(i,j)∈人眼待定区域；

其中，sbk_t(i,j)表示块bk_t(i,j)的人眼标识参数；Thres表示门限阈值，Thres>50。