CN107481222B - 一种基于肤色检测的快速眼唇视频定位方法和系统 - Google Patents

一种基于肤色检测的快速眼唇视频定位方法和系统 Download PDF

Info

Publication number
CN107481222B
CN107481222B CN201710600448.0A CN201710600448A CN107481222B CN 107481222 B CN107481222 B CN 107481222B CN 201710600448 A CN201710600448 A CN 201710600448A CN 107481222 B CN107481222 B CN 107481222B
Authority
CN
China
Prior art keywords
lip
block
human eye
region
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710600448.0A
Other languages
English (en)
Other versions
CN107481222A (zh
Inventor
舒倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co ltd
Original Assignee
Shenzhen Mengwang Video Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Video Co ltd filed Critical Shenzhen Mengwang Video Co ltd
Priority to CN201710600448.0A priority Critical patent/CN107481222B/zh
Publication of CN107481222A publication Critical patent/CN107481222A/zh
Application granted granted Critical
Publication of CN107481222B publication Critical patent/CN107481222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于肤色检测的眼唇视频定位方法和系统。本发明方法设计一种眼唇定位技术，首先通过肤色检测初步确定眼部位置，然后利用眼唇几何位置关系，确定唇部位置，判定；另一方面通过视频压缩域的信息确定视频中相关图像帧的眼唇定位。该方法既可以利用空间域的肤色搜索，缩减眼唇搜索范围；也可以通过眼唇的空间相关性，降低眼唇独立判断引起的误判；也可以通过时间域的相关性，降低眼唇定位在视频搜索上的计算量，从而提升眼唇定位技术的时效性。

Description

一种基于肤色检测的快速眼唇视频定位方法和系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于肤色检测的快速眼唇视频定位方法和系统。
背景技术
随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。无论是人脸视频检索、还是在线视频美颜，精确快速的眼唇定位技术都会增强其事半功倍的效果。目前主流的专设眼唇图像定位技术，计算量大，制约了算法的在线使用和二次开发效率。此外，当眼唇定位技术应用于视频时，不利用视频的时间相关性，仅做图像处理的纵向延伸，亦会进一步降低算法实施效率。
发明内容
本发明实施例的目的在于提出一种基于肤色检测的快速眼唇视频定位方法，旨在解决现有技术主流的专设眼唇图像定位技术，计算量大，计算方法的在线使用和二次开发效率低的问题。
本发明实施例是这样实现的，一种基于肤色检测的快速眼唇视频定位方法，所述方法包括以下步骤：
Step0：令t＝1，t表示帧序列号；
Step1：解码视频当前帧，获取解码图像；
Step3：如果当前帧所有块的肤色标识参数均为0，则进入Step6；否则，则进入Step4；
Step4：在当前帧中查找人眼待定区域及并设置相应的判定模式；
Step5：按判定模式进行眼唇定位，标识；
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束；
Step7：如果不存在ebkt-1(i,j)＝1或者mbkt-1(i,j)＝1，则进入Step8；否则进入Step10；
其中，ebkt-1(i,j)、mbkt-1(i,j)＝1分别表示块bkt-1(i,j)的人眼标识参数、唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；pict表示视频第t帧，也称为当前帧；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；sum(变量)表示对变量求和；
Step9：如果tpt＝0，则进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10；
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块；
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
Step12：首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4。
本发明实施例的另一目的在于提出一种基于肤色检测的快速眼唇视频定位方法，所述系统包括：
帧序列号初始化模块，用于令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，用于为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识参数均为0，则进入下一帧判断处理模块；否则，则进入人眼待定区域查找及判定模式设置装置；
人眼待定区域查找及判定模式设置装置，用于在当前帧中查找人眼待定区域及并设置相应的判定模式；即：如果在当前帧中能找到人眼待定区域，则进入眼唇定位标识装置；否则，则进入下一帧判断处理模块；
眼唇定位标识装置，用于按判定模式进行眼唇定位，标识；
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入眼唇标识参数判断模块；否则，结束；
眼唇标识参数判断模块，用于判断如果不存在ebkt-1(i,j)＝1或者mbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块；
其中，ebkt-1(i,j)、mbkt-1(i,j)＝1分别表示块bkt-1(i,j)的人眼标识参数、唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；
场景切换参数判断处理模块，用于判断如果tpt＝0，则进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块；
肤色和非肤色判定区域划分模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块；
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
非肤色标识符设置模块，用于首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域查找及判定模式设置装置；
即如果pebkt(i,j)＝1，则设置ebkt(i,j)＝1；如果pmbkt(i,j)＝1，则设置mbkt(i,j)＝1；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，保持各标识参数的初始值不变；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；pebkt(i,j)、pmbkt(i,j)分别表示bkt(i,j)的参考块的人眼标识参数、唇部标识参数；ebkt(i,j)、mbkt(i,j)分别表示bkt(i,j)的人眼标识参数、唇部标识参数；文中所有标识参数初始值均为0。
本发明的有益效果
本发明提出一种基于肤色检测的眼唇视频定位方法和系统。本发明方法设计一种眼唇定位技术，首先通过肤色检测初步确定眼部位置，然后利用眼唇几何位置关系，确定唇部位置，判定；另一方面通过视频压缩域的信息确定视频中相关图像帧的眼唇定位。该方法既可以利用空间域的肤色搜索，缩减眼唇搜索范围；也可以通过眼唇的空间相关性，降低眼唇独立判断引起的误判；也可以通过时间域的相关性，降低眼唇定位在视频搜索上的计算量，从而提升眼唇定位技术的时效性。
附图说明
图1是本发明优选实施例一种基于肤色检测的快速眼唇视频定位方法流程图；
图2是图1中Step4详细方法流程图；
图3是图2中Step43中正面判定模式详细方法流程图；
图4是图2中Step43中侧面判定模式详细方法流程图；
图5是本发明优选实施例一种基于肤色检测的快速眼唇视频定位系统结构图；
图6是图5中人眼待定区域查找及判定模式设置装置结构图；
图7是图6判定模式设置模块中的正面判定模式模块结构图；
图8是图6判定模式设置模块中的侧面判定模式模块结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明提出一种基于肤色检测的眼唇视频定位方法和系统。本发明方法设计一种眼唇定位技术，首先通过肤色检测初步确定眼部位置，然后利用眼唇几何位置关系，确定唇部位置，判定；另一方面通过视频压缩域的信息确定视频中相关图像帧的眼唇定位。该方法既可以利用空间域的肤色搜索，缩减眼唇搜索范围；也可以通过眼唇的空间相关性，降低眼唇独立判断引起的误判；也可以通过时间域的相关性，降低眼唇定位在视频搜索上的计算量，从而提升眼唇定位技术的时效性。
实施例一
图1是本发明优选实施例一种基于肤色检测的快速眼唇视频定位方法流程图；
Step0：令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号。
Step1：解码视频当前帧，获取解码图像。
Step2：为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
其中，bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
Step3：如果当前帧所有块的肤色标识参数均为0，则进入Step6；否则，则进入Step4。
Step4：在当前帧中查找人眼待定区域及并设置相应的判定模式。
即：如果在当前帧中能找到人眼待定区域，则进入Step5；否则，则进入Step6。
图2是图1中Step4详细方法流程图；
Step41：首先寻找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，记为sbkt(is,js)，称为人眼起始判定块，is、js分别表示人眼起始判定块的行列号，如果找不到则进入Step42。
其中，is、js分别表示人眼起始判定块的行列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
Step42：然后找到满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，记为dbkt(id,jd)称为人眼中止判定块，id、jd分别表示人眼中止判定块的行列号，如果找不到则进入Step43。
其中，id、jd分别表示人眼中止判定块的行列号，notet(i,j+1)表示当前帧pict的第i行第j+1块的肤色标识符；
Step43:如果sbkt(is,js)和dbkt(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进入Step5；
否则，如果sbkt(is,js)和dbkt(id,jd)都不存在，则结束当前帧的眼唇定位，进入Step6；
否则(即sbkt(is,js)和dbkt(id,jd)两者只有一个存在)，则首先进行人眼待定区域的融合，即仅当sbkt(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入Step5；而仅当dbkt(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入Step5。
Step5：按判定模式进行眼唇定位，标识。
图3是图2中Step43中正面判定模式详细方法流程图；
正面判定模式：
步骤A1：首先对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，然后将相应的结果作标识；即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变。
步骤A2：如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认。即如果lbk1-lbk2＝0且L2-R1≥max(1,1/2*lbk1)，则保持人眼标识参数不变，然后进入步骤A3；否则，判定为无眼唇存在，即将人眼标识参数值重新设为0，唇部标识参数设置为0，然后进入Step6。
其中，lbk1、lbk2分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R1、L2分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域。
步骤A3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域。即
唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件}，唇部待判区域条件：
H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且notet(i,j)＝0。其中，
H_lipu＝H_centL+int((W_centR-W_centL)/2)、
H_lipd＝H_centL+int((W_centR-W_centL)/2*3)、
W_lipl＝int(max(R1-lbk1*2/3,(R1-L2)/2-lbk1*2))、
W_lipr＝int(min(L2+lbk1*2/3,(R1-L2)/2+lbk1*2))
H_centL、W_centL、H_centR、W_centR以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值。
步骤A4：如果唇部待判区域不存在，则进入Step6；否则进入步骤A5。
步骤A5：首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
图4是图2中Step43中侧面判定模式详细方法流程图；
侧面判定模式：
步骤B1：对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识。
即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变。
步骤B2：如果存在人眼区域，则进入步骤B3，否则，则进入Step6。
步骤B3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域。
情况1：sbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件1}。唇部待判区域条件1：H_centL+sizesh*2≤i≤H_centL+sizesh*6且W_centL≤j≤W_centL+lbk1*2且notet(i,j)＝0。
情况2：dbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件2}唇部待判区域条件2：H_centR+sizedh*2≤i≤H_centR+sizedh*6且W_centR-2*lbk2≤j≤W_centR且notet(i,j)＝0。
其中，sizesh、sizedh以块为单位的人眼第一区域行宽、人眼第二区域行宽。
步骤B4：如果唇部待判区域不存在，则进入Step6；否则进入步骤B5。
步骤B5：首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
上述唇部判定法和单侧人眼判定法可用业内公知的任何一种方法。
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束。
Step7：如果不存在ebkt-1(i,j)＝1或者mbkt-1(i,j)＝1，则进入Step8；否则进入Step10。
其中，ebkt-1(i,j)、mbkt-1(i,j)＝1分别表示块bkt-1(i,j)的人眼标识参数、唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数。
Step9：如果tpt＝0，则进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10。
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块。
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
Step12：首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4。即如果pebkt(i,j)＝1，则设置ebkt(i,j)＝1；如果pmbkt(i,j)＝1，则设置mbkt(i,j)＝1；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，保持各标识参数的初始值不变。
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；pebkt(i,j)、pmbkt(i,j)分别表示bkt(i,j)的参考块的人眼标识参数、唇部标识参数；ebkt(i,j)、mbkt(i,j)分别表示bkt(i,j)的人眼标识参数、唇部标识参数；文中所有标识参数初始值均为0。
实施例二
图5是本发明优选实施例一种基于肤色检测的快速眼唇视频定位系统结构图；所述系统包括：
帧序列号初始化模块，用于令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，用于为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识参数均为0，则进入下一帧判断处理模块；否则，则进入人眼待定区域查找及判定模式设置装置；
人眼待定区域查找及判定模式设置装置，用于在当前帧中查找人眼待定区域及并设置相应的判定模式；
即：如果在当前帧中能找到人眼待定区域，则进入眼唇定位标识装置；否则，则进入下一帧判断处理模块。
眼唇定位标识装置，用于按判定模式进行眼唇定位，标识；
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入眼唇标识参数判断模块；否则，结束。
眼唇标识参数判断模块，用于判断如果不存在ebkt-1(i,j)＝1或者mbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块；
其中，ebkt-1(i,j)、mbkt-1(i,j)＝1分别表示块bkt-1(i,j)的人眼标识参数、唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数。
场景切换参数判断处理模块，用于判断如果tpt＝0，则进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块。
肤色和非肤色判定区域划分模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块。
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
非肤色标识符设置模块，用于首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域查找及判定模式设置装置。
即如果pebkt(i,j)＝1，则设置ebkt(i,j)＝1；如果pmbkt(i,j)＝1，则设置mbkt(i,j)＝1；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，保持各标识参数的初始值不变。
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；pebkt(i,j)、pmbkt(i,j)分别表示bkt(i,j)的参考块的人眼标识参数、唇部标识参数；ebkt(i,j)、mbkt(i,j)分别表示bkt(i,j)的人眼标识参数、唇部标识参数；文中所有标识参数初始值均为0。
进一步地，图6是图5中人眼待定区域查找及判定模式设置装置结构图；所述人眼待定区域查找及判定模式设置装置包括：
人眼起始判定块查找判断模块，用于首先寻找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，记为sbkt(is,js)，称为人眼起始判定块，is、js分别表示人眼起始判定块的行列号，如果找不到则进入人眼中止判定块查找判断模块；
其中，is、js分别表示人眼起始判定块的行列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
人眼中止判定块查找判断模块，用于若找到满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，记为dbkt(id,jd)称为人眼中止判定块，id、jd分别表示人眼中止判定块的行列号，如果找不到则进入判定模式设置模块。
其中，id、jd分别表示人眼中止判定块的行列号，notet(i,j+1)表示当前帧pict的第i行第j+1块的肤色标识符；
判定模式设置模块，用于判断如果sbkt(is,js)和dbkt(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进入眼唇定位标识装置；
否则，如果sbkt(is,js)和dbkt(id,jd)都不存在，则结束当前帧的眼唇定位，进入下一帧判断处理模块；
否则(即sbkt(is,js)和dbkt(id,jd)两者只有一个存在)，则首先进行人眼待定区域的融合，即仅当sbkt(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入眼唇定位标识装置；而仅当dbkt(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入眼唇定位标识装置。
进一步地，图7是图6判定模式设置模块中的正面判定模式模块结构图；所述正面判定模式模块包括：
第一单侧人眼判定模块，用于首先对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，然后将相应的结果作标识；即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变。
眼唇参数设置模块，用于如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认。即如果lbk1-lbk2＝0且L2-R1≥max(1,1/2*lbk1)，则保持人眼标识参数不变，然后进入步骤A3；否则，判定为无眼唇存在，即将人眼标识参数值重新设为0，唇部标识参数设置为0，然后进入下一帧判断处理模块。
其中，lbk1、lbk2分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R1、L2分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域。
第一唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，确定唇部待判区域。
即唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件}，唇部待判区域条件：
H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且notet(i,j)＝0。其中，
H_lipu＝H_centL+int((W_centR-W_centL)/2)、
H_lipd＝H_centL+int((W_centR-W_centL)/2*3)、
W_lipl＝int(max(R1-lbk1*2/3,(R1-L2)/2-lbk1*2))、
W_lipr＝int(min(L2+lbk1*2/3,(R1-L2)/2+lbk1*2))
H_centL、W_centL、H_centR、W_centR以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值。
第一唇部待判区域存在判断模块，用于如果唇部待判区域不存在，则进入下一帧判断处理模块；否则进入步骤第一唇部判定模块。
第一唇部判定模块，用于首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
进一步地，图8是图6判定模式设置模块中的侧面判定模式模块结构图。所述侧面判定模式模块包括：
第二单侧人眼判定模块，用于对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识。
即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变。
人眼区域存在判断模块，用于如果存在人眼区域，则进入第二唇部待判区域确定模块，否则，则进入下一帧判断处理模块。
第二唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，确定唇部待判区域。
情况1：sbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件1}。唇部待判区域条件1：H_centL+sizesh*2≤i≤H_centL+sizesh*6且W_centL≤j≤W_centL+lbk1*2且notet(i,j)＝0。
情况2：dbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件2}唇部待判区域条件2：H_centR+sizedh*2≤i≤H_centR+sizedh*6且W_centR-2*lbk2≤j≤W_centR且notet(i,j)＝0。
其中，sizesh、sizedh以块为单位的人眼第一区域行宽、人眼第二区域行宽。
第二唇部待判区域存在判断模块，用于如果唇部待判区域不存在，则进入下一帧判断处理模块；否则进入第二唇部判定模块。
第二唇部判定模块，用于首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于肤色检测的快速眼唇视频定位方法，其特征在于，
Step0：令t＝1，t表示帧序列号；
Step1：解码视频当前帧，获取解码图像；
Step3：如果当前帧所有块的肤色标识参数均为0，则进入Step6；否则，则进入Step4；
Step4：在当前帧中查找人眼待定区域并设置相应的判定模式；
Step5：按判定模式进行眼唇定位，标识；
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束；
Step7：如果不存在ebkt-1(i,j)＝1或者mbkt-1(i,j)＝1，则进入Step8；否则进入Step10；
其中，ebkt-1(i,j)、mbkt-1(i,j)＝1分别表示块bkt-1(i,j)的人眼标识参数、唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；pict表示视频第t帧，也称为当前帧；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；sum(变量)表示对变量求和；
Step9：如果tpt＝0，则进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10；
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块；
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
Step12：首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4；
所述步骤为肤色判定区域中每个块设置相应的肤色标识符具体为：
用以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块，bkw、bkh分别表示一帧图像划分成块以后图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
所述步骤在当前帧中查找人眼待定区域并设置相应的判定模式包括：
Step41：首先寻找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，记为sbkt(is,js)，称为人眼起始判定块，is、js分别表示人眼起始判定块的行列号，如果找不到则进入Step42；
其中，notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
Step42：然后找到满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，记为dbkt(id,jd)，称为人眼中止判定块，id、jd分别表示人眼中止判定块的行列号，如果找不到则进入Step43；
其中，notet(i,j+1)表示当前帧pict的第i行第j+1块的肤色标识符；
Step43:如果sbkt(is,js)和dbkt(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进入Step5；
否则，如果sbkt(is,js)和dbkt(id,jd)都不存在，则结束当前帧的眼唇定位，进入Step6；
否则若sbkt(is,js)和dbkt(id,jd)两者只有一个存在，则首先进行人眼待定区域的融合，即仅当sbkt(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入Step5；而仅当dbkt(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入Step5；
所述正面判定模式包括：
步骤A1：首先对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，然后将相应的结果作标识；即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变；
步骤A2：如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认；即如果lbk1-lbk2＝0且L2-R1≥max(1,1/2*lbk1)，则保持人眼标识参数不变，然后进入步骤A3；否则，判定为无眼唇存在，即将人眼标识参数值重新设为0，唇部标识参数设置为0，然后进入Step6；
其中，lbk1、lbk2分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R1、L2分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域；
步骤A3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域；即唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件}，唇部待判区域条件：
H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且notet(i,j)＝0；
其中，H_lipu＝H_centL+int((W_centR-W_centL)/2)、
H_lipd＝H_centL+int((W_centR-W_centL)/2*3)、
W_lipl＝int(max(R1-lbk1*2/3,(R1-L2)/2-lbk1*2))、
W_lipr＝int(min(L2+lbk1*2/3,(R1-L2)/2+lbk1*2))
H_centL、W_centL、H_centR、W_centR为以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值；
步骤A4：如果唇部待判区域不存在，则进入Step6；否则进入步骤A5；
步骤A5：首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
2.如权利要求1所述的基于肤色检测的快速眼唇视频定位方法，其特征在于，所述侧面判定模式包括：
步骤B1：对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识；
即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变；
步骤B2：如果存在人眼区域，则进入步骤B3，否则，则进入Step6；
步骤B3：根据人眼位置和眼唇几何位置关系，确定唇部待判区域；
情况1：sbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件1}；唇部待判区域条件1：H_centL+sizesh*2≤i≤H_centL+sizesh*6且W_centL≤j≤W_centL+lbk1*2且notet(i,j)＝0；
情况2：dbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件2}；唇部待判区域条件2：H_centR+sizedh*2≤i≤H_centR+sizedh*6且W_centR-2*lbk2≤j≤W_centR且notet(i,j)＝0；
其中，sizesh、sizedh分别为以块为单位的人眼第一区域行宽、人眼第二区域行宽；
步骤B4：如果唇部待判区域不存在，则进入Step6；否则进入步骤B5；
步骤B5：首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
3.如权利要求1-2任一一项所述的基于肤色检测的快速眼唇视频定位方法，其特征在于，
所述步骤首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4；具体为：如果pebkt(i,j)＝1，则设置ebkt(i,j)＝1；如果pmbkt(i,j)＝1，则设置mbkt(i,j)＝1；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，保持各标识参数的初始值不变；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；pebkt(i,j)、pmbkt(i,j)分别表示bkt(i,j)的参考块的人眼标识参数、唇部标识参数；ebkt(i,j)、mbkt(i,j)分别表示bkt(i,j)的人眼标识参数、唇部标识参数；所有标识参数初始值均为0。
4.一种基于肤色检测的快速眼唇视频定位系统，其特征在于，所述系统包括：
帧序列号初始化模块，用于令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，用于为当前帧中每个块设置相应的肤色标识符；
具体为：用以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块，bkw、bkh分别表示一帧图像划分成块以后图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识参数均为0，则进入下一帧判断处理模块；否则，则进入人眼待定区域查找及判定模式设置装置；
人眼待定区域查找及判定模式设置装置，用于在当前帧中查找人眼待定区域并设置相应的判定模式；即：如果在当前帧中能找到人眼待定区域，则进入眼唇定位标识装置；否则，则进入下一帧判断处理模块；
眼唇定位标识装置，用于按判定模式进行眼唇定位，标识；
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入眼唇标识参数判断模块；否则，结束；
眼唇标识参数判断模块，用于判断如果不存在ebkt-1(i,j)＝1或者mbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块；
其中，ebkt-1(i,j)、mbkt-1(i,j)＝1分别表示块bkt-1(i,j)的人眼标识参数、唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；
场景切换参数判断处理模块，用于判断如果tpt＝0，则进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块；
肤色和非肤色判定区域划分模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块；
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识参数为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
非肤色标识符设置模块，用于首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域查找及判定模式设置装置；
即如果pebkt(i,j)＝1，则设置ebkt(i,j)＝1；如果pmbkt(i,j)＝1，则设置mbkt(i,j)＝1；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，保持各标识参数的初始值不变；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；pebkt(i,j)、pmbkt(i,j)分别表示bkt(i,j)的参考块的人眼标识参数、唇部标识参数；ebkt(i,j)、mbkt(i,j)分别表示bkt(i,j)的人眼标识参数、唇部标识参数；所有标识参数初始值均为0；
所述人眼待定区域查找及判定模式设置装置包括：
人眼起始判定块查找判断模块，用于首先寻找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，记为sbkt(is,js)，称为人眼起始判定块，is、js分别表示人眼起始判定块的行列号，如果找不到则进入人眼中止判定块查找判断模块；
其中，notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；人眼中止判定块查找判断模块，用于若找到满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，记为dbkt(id,jd)，称为人眼中止判定块，id、jd分别表示人眼中止判定块的行列号，如果找不到则进入判定模式设置模块；
其中，notet(i,j+1)表示当前帧pict的第i行第j+1块的肤色标识符；
判定模式设置模块，用于判断如果sbkt(is,js)和dbkt(id,jd)都存在，则首先进行人眼待定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式，接着进入眼唇定位标识装置；
否则，如果sbkt(is,js)和dbkt(id,jd)都不存在，则结束当前帧的眼唇定位，进入下一帧判断处理模块；否则若sbkt(is,js)和dbkt(id,jd)两者只有一个存在，则首先进行人眼待定区域的融合，即仅当sbkt(is,js)存在时，则将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式，接着进入眼唇定位标识装置；而仅当dbkt(id,jd)存在时，则将人眼中止判定块的邻接非肤色块一起合并为人眼待定第二区域，然后设置判定模式为侧面判定模式，接着进入眼唇定位标识装置；
所述判定模式设置模块为所述正面判定模式时包括：
第一单侧人眼判定模块，用于首先对人眼待定第一区域、人眼待定第二区域分别进行一次单侧人眼判定，然后将相应的结果作标识；即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变；
眼唇参数设置模块，用于如果人眼待定第一区域、人眼待定第二区域都存在块标识为人眼，则做进一步确认；即如果lbk1-lbk2＝0且L2-R1≥max(1,1/2*lbk1)，则保持人眼标识参数不变，然后进入第一唇部待判区域确定模块；否则，判定为无眼唇存在，即将人眼标识参数值重新设为0，唇部标识参数设置为0，然后进入下一帧判断处理模块；
其中，lbk1、lbk2分别表示以块为单位人眼第一区域、人眼第二区域的列宽度；R1、L2分别表示以块为单位人眼第一区域右侧列号、人眼第二区域左侧列号；其中人眼第一区域就是判定为人眼的人眼待定第一区域，人眼第二区域就是判定为人眼的人眼待定第二区域；
第一唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，确定唇部待判区域；
即唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件}，唇部待判区域条件：H_lipu≤i≤H_lipd且W_lipl≤j≤W_lipr且notet(i,j)＝0；
其中，H_lipu＝H_centL+int((W_centR-W_centL)/2)、
H_lipd＝H_centL+int((W_centR-W_centL)/2*3)、
W_lipl＝int(max(R1-lbk1*2/3,(R1-L2)/2-lbk1*2))、
W_lipr＝int(min(L2+lbk1*2/3,(R1-L2)/2+lbk1*2))
H_centL、W_centL、H_centR、W_centR为以块为单位人眼第一区域中心行、列号，人眼第二区域中心的行、列号；H_lipu、H_lipd、W_lipl、W_lipr分别称为唇部待判区域的行下界、行上界、列下界、列上界；int表示取整运算；max、min分别表示求最大值、最小值；
第一唇部待判区域存在判断模块，用于如果唇部待判区域不存在，则进入下一帧判断处理模块；否则进入第一唇部判定模块；第一唇部判定模块，用于首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
5.如权利要求4所述的基于肤色检测的快速眼唇视频定位系统，其特征在于，所述判定模式设置模块为所述侧面判定模式时，包括：
第二单侧人眼判定模块，用于对仅存在的人眼待定第一区域或者人眼待定第二区域进行一次单侧人眼判定，并将相应的结果作标识；
即如果人眼待定区域被判定为人眼，则该区域内所有块的人眼标识参数均设置为1，否则保持各块人眼标识参数初始值不变；人眼区域存在判断模块，用于如果存在人眼区域，则进入第二唇部待判区域确定模块，否则，则进入下一帧判断处理模块；
第二唇部待判区域确定模块，用于根据人眼位置和眼唇几何位置关系，确定唇部待判区域；
情况1：sbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件1}；唇部待判区域条件1：H_centL+sizesh*2≤i≤H_centL+sizesh*6且W_centL≤j≤W_centL+lbk1*2且notet(i,j)＝0；
情况2：dbkt(is,js)存在，则唇部待判区域＝{bkt(i,j)|bkt(i,j)满足唇部待判区域条件2}；唇部待判区域条件2：H_centR+sizedh*2≤i≤H_centR+sizedh*6且W_centR-2*lbk2≤j≤W_centR且notet(i,j)＝0；
其中，sizesh、sizedh分别为以块为单位的人眼第一区域行宽、人眼第二区域行宽；
第二唇部待判区域存在判断模块，用于如果唇部待判区域不存在，则进入下一帧判断处理模块；否则进入第二唇部判定模块；
第二唇部判定模块，用于首先对唇部待判区域，进行唇部判定；然后进行标识；即如果唇部待判区域被判定为唇部，则该区域内所有块的唇部标识参数均设置为1，否则保持各块唇部标识参数初始值不变。
CN201710600448.0A 2017-07-21 2017-07-21 一种基于肤色检测的快速眼唇视频定位方法和系统 Active CN107481222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710600448.0A CN107481222B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的快速眼唇视频定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710600448.0A CN107481222B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的快速眼唇视频定位方法和系统

Publications (2)

Publication Number Publication Date
CN107481222A CN107481222A (zh) 2017-12-15
CN107481222B true CN107481222B (zh) 2020-07-03

Family

ID=60595238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710600448.0A Active CN107481222B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的快速眼唇视频定位方法和系统

Country Status (1)

Country Link
CN (1) CN107481222B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710836B (zh) * 2018-05-04 2020-10-09 南京邮电大学 一种基于级联特征提取的唇部检测及读取方法
CN108985245A (zh) * 2018-07-25 2018-12-11 深圳市飞瑞斯科技有限公司 眼部位置的确定方法、装置、计算机设备和存储介质
CN109255307B (zh) * 2018-08-21 2022-03-15 深圳市梦网视讯有限公司 一种基于唇部定位的人脸分析方法和系统
CN111815653B (zh) * 2020-07-08 2024-01-30 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
CN105787427A (zh) * 2016-01-08 2016-07-20 上海交通大学 嘴唇区域定位方法
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
CN105787427A (zh) * 2016-01-08 2016-07-20 上海交通大学 嘴唇区域定位方法
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于肤色的人脸检测和性别识别的研究;姚锡钢;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20061215(第12期);1-3、6-9 *

Also Published As

Publication number Publication date
CN107481222A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107481222B (zh) 一种基于肤色检测的快速眼唇视频定位方法和系统
CN112990191B (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
US20140241436A1 (en) Method and device for determining parameters for encoding or decoding of an image of a video sequence
US20200007872A1 (en) Video decoding method, video decoder, video encoding method and video encoder
Chao et al. A novel rate control framework for SIFT/SURF feature preservation in H. 264/AVC video compression
CN107563278B (zh) 一种基于肤色检测的快速眼唇定位方法和系统
CN106682094B (zh) 一种人脸视频检索方法和系统
CN109446967B (zh) 一种基于压缩信息的人脸检测方法和系统
CN110620924B (zh) 编码数据的处理方法、装置、计算机设备及存储介质
JP5285159B2 (ja) 透かし処理におけるブロックノイズおよび忠実度
US10181083B2 (en) Scene change detection and logging
CN109688407B (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
CN107820095B (zh) 一种长期参考图像选择方法及装置
CN107506691B (zh) 一种基于肤色检测的唇部定位方法和系统
EP2960854A1 (en) Method and device for determining a set of modifiable elements in a group of pictures
CN111095932B (zh) 使用帧速率上转换工具用于改进的压缩/解压缩的方法和装置
CN107203763B (zh) 文字识别方法和装置
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
CN107516067B (zh) 一种基于肤色检测的人眼定位方法和系统
CN106611043B (zh) 一种视频搜索方法及系统
CN107527015B (zh) 一种基于肤色检测的人眼视频定位方法和系统
CN105992012B (zh) 一种错误隐藏的方法和装置
CN107423704B (zh) 一种基于肤色检测的唇部视频定位方法和系统
CN109218728B (zh) 一种场景切换检测方法和系统
CN110781840A (zh) 一种基于肤色检测的鼻头定位方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518057 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen mengwang video Co., Ltd

Address before: 518057 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant