CN107423704B - 一种基于肤色检测的唇部视频定位方法和系统 - Google Patents

一种基于肤色检测的唇部视频定位方法和系统 Download PDF

Info

Publication number
CN107423704B
CN107423704B CN201710600955.4A CN201710600955A CN107423704B CN 107423704 B CN107423704 B CN 107423704B CN 201710600955 A CN201710600955 A CN 201710600955A CN 107423704 B CN107423704 B CN 107423704B
Authority
CN
China
Prior art keywords
lip
block
skin color
area
judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710600955.4A
Other languages
English (en)
Other versions
CN107423704A (zh
Inventor
舒倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co ltd
Original Assignee
Shenzhen Mengwang Video Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Video Co ltd filed Critical Shenzhen Mengwang Video Co ltd
Priority to CN201710600955.4A priority Critical patent/CN107423704B/zh
Publication of CN107423704A publication Critical patent/CN107423704A/zh
Application granted granted Critical
Publication of CN107423704B publication Critical patent/CN107423704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于肤色检测的唇部视频定位方法和系统。本发明方法一方面利用肤色检测缩减唇部搜索范围，设计了一种唇部定位技术；另一方面通过视频压缩域的信息确定视频中相关图像帧的唇部定位，以提升唇部视频定位技术的时效性。

Description

一种基于肤色检测的唇部视频定位方法和系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于肤色检测的唇部视频定位方法和系统。
背景技术
随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。无论是人脸视频检索、还是在线视频美颜，精确快速的唇部定位技术都会增强其事半功倍的效果。目前主流的专设唇部图像定位技术，计算量大，制约了算法的在线使用和二次开发效率。此外，当唇部定位技术应用于视频时，不利用视频的时间相关性，仅做图像处理的纵向延伸，亦会进一步降低算法实施效率。
发明内容
本发明实施例的目的在于提出一种基于肤色检测的唇部视频定位方法，旨在解决现有技术唇部定位技术应用于视频时，不利用视频的时间相关性，效率低的问题。
本发明实施例是这样实现的，一种基于肤色检测的唇部视频定位方法，所述方法包括：
Step0：令t＝1，t表示帧序列号；
Step1：解码视频当前帧，获取解码图像；
Step2：为当前帧中每个块设置相应的肤色标识符；
Step3：如果当前帧所有块的肤色标识符均为0，则进入Step6；否则，则进入Step4；
Step4：在当前帧中查找并设置唇部待定区域；
Step5：按判定模式进行唇部定位，标识；
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束；
Step7：如果不存在sbkt-1(i,j)＝1，则进入Step8；否则进入Step10；其中sbkt-1(i,j)表示块bkt-1(i,j)的唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；pict表示视频第t帧，也称为当前帧；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；sum(变量)表示对变量求和；
Figure BDA0001357130720000021
bkt(i,j)表示pict的第i行第j解码块；
Step9：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10；其中，sbkt(i,j)表示块bkt(i,j)的唇部标识参数；
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域块；
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
Step12：首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4。
本发明实施例的另一目的在于提出一种基于肤色检测的唇部视频定位系统，所述系统包括：
帧序列号初始化模块，用于令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识符均为0，则进入下一帧判断处理模块；否则，则进入唇部待定区域查找及设置装置；
唇部待定区域查找及设置装置，用于在当前帧中查找并设置唇部待定区域；即：如果在当前帧中能找到唇部待定区域，则进入唇部定位装置；否则，则进入下一帧判断处理模块；
唇部定位装置，用于进行唇部定位；
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入唇部标识参数判断模块；否则，结束；
唇部标识参数判断模块，用于判断如果不存在sbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块；
sbkt-1(i,j)表示块bkt-1(i,j)的唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；
场景切换参数判断处理模块，用于判断如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块；
肤色和非肤色判定区域划分模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域；
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
非肤色标识符设置模块，用于对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域判定模式设置装置；
具体为：即如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的唇部标识参数。
本发明的有益效果
本发明提出一种基于肤色检测的唇部视频定位方法。本发明方法通过一方面利用肤色检测缩减唇部搜索范围，设计了一种唇部定位技术；另一方面通过视频压缩域的信息确定视频中相关图像帧的唇部定位，以提升唇部视频定位技术的时效性。
附图说明
图1是本发明优选实施例一种基于肤色检测的唇部视频定位方法流程图；
图2是图1中Step4的详细方法流程图；
图3是图2Step44中唇部待定区域误判方法流程图；
图4是图1中Step5的详细方法流程图；
图5是本发明优选实施例一种基于肤色检测的唇部视频定位系统结构图；
图6是图5中唇部待定区域查找及设置装置详细结构图；
图7是图6中唇部待定区域误判判断处理装置详细结构图；
图8是图5唇部定位装置详细结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明提出一种基于肤色检测的唇部视频定位方法和系统。本发明方法实施例通过一方面利用肤色检测缩减唇部搜索范围，设计了一种唇部定位技术；另一方面通过视频压缩域的信息确定视频中相关图像帧的唇部定位，以提升唇部视频定位技术的时效性。
实施例一
图1是本发明优选实施例一种基于肤色检测的唇部视频定位方法流程图；所述方法包括：
Step0：令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号。
Step1：解码视频当前帧，获取解码图像。
Step2：为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
其中，bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
Step3：如果当前帧所有块的肤色标识符均为0，则进入Step6；否则，则进入Step4。
Step4：在当前帧中查找并设置唇部待定区域；
图2是图1中Step4的详细方法流程图；包括以下步骤：
即：如果在当前帧中能找到唇部待定区域，则进入Step5；否则，则进入Step6。
Step40:i＝2、j＝2。
Step41：在当前行所有块中，查找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，如果没找到，则进入Step42；否则，则首先记找到的块为sbkt(is,js)，称为唇部起始判定块，然后进入Step43。
其中，is、js分别表示唇部起始判定块的行列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
Step42：i＝i+1、j＝2，然后重新进入Step41。
Step43：进行待判定区域的融合，即将唇部起始判定块的邻接非肤色块一起合并为唇部待定区域。
Step44：判定唇部待定区域是否为误判情况,如果为非误判情况，则进入Step5；否则，则令i＝1+max(i|bkt(i,j)∈唇部待定区域)、j＝2，然后进入Step45。
图3是图2Step44中唇部待定区域误判方法流程图；
其中，唇部待定区域误判方法如下：
步骤C1：计算唇部待定区域的亮度值分布
p(k)＝sum(sign(yt(m,n)＝k|yt(m,n)∈待定区域))。
其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；yt(m,n)表示pict第m行第n列的亮度值；
Figure BDA0001357130720000061
步骤C2：求唇部待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值。
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))。
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值。
步骤C3：如果abs(kmax1-kmax2)>Thres1，则属于唇部待定区域区域误判；
否则，则不属于唇部待定区域误判。
其中，abs(变量)表示对变量取绝对值；Thres1表示第一门限阈值，一般可取Thres1>50。
Step45：如果i>bkh，则结束；否则，则重新进入Step41。
Step5：按判定模式进行唇部定位，标识。图4是图1中Step5的详细方法流程图；包括以下步骤：
Step51：计算唇部待定区域的色度分类统计量f1：
f1＝sum(sign(ut(m,n),vt(m,n))|条件1))
其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；区域条件：yt(m,n)和ut(m,n)和vt(m,n)均∈唇部待定区域；
分类条件1：ut(m,n)<128且vt(m,n)>128且vt(m,n)-128>128-ut(m,n)；
分类条件2：ut(m,n)>128且vt(m,n)>128且vt(m,n)-128>ut(m,n)-128；
分类条件3：ut(m,n)＝128且vt(m,n)＝128且(yt(m,n)≤50或yt(m,n)≥180)；
yt(m,n)、ut(m,n)、vt(m,n)分别表示pict第m行第n列的亮度值、U色度值、V色度值。
Step52：如果num-f1<Thres2，则判定唇部待定区域为唇部，并标识为唇部；否则，则判定为不是唇部，并标识为非唇部。其中，标识方法如下：
sbkt(i,j)＝sign(bkt(i,j)|bkt(i,j)∈唇部待定区域且唇部待定区域判定为唇部)
其中，Thres2表示第二门限阈值，一般可取Thres2≤16；num为唇部待定区域的像素点个数；sbkt(i,j)表示块bkt(i,j)的唇部标识参数。
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束。
Step7：如果不存在sbkt-1(i,j)＝1，则进入Step8；否则进入Step10。
sbkt-1(i,j)表示块bkt-1(i,j)的唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数。
Step9：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10。
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域。
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
Step12：对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4。
即如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0。
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的唇部标识参数。
实施例二
图5是本发明优选实施例一种基于肤色检测的唇部视频定位系统结构图；所述系统包括：
帧序列号初始化模块，用于令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
其中，bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识符均为0，则进入下一帧判断处理模块；否则，则进入唇部待定区域查找及设置装置。
唇部待定区域查找及设置装置，用于在当前帧中查找并设置唇部待定区域；即：如果在当前帧中能找到唇部待定区域，则进入唇部定位装置；否则，则进入下一帧判断处理模块。
唇部定位装置，用于进行唇部定位。
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入唇部标识参数判断模块；否则，结束。
唇部标识参数判断模块，用于判断如果不存在sbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块。
sbkt-1(i,j)表示块bkt-1(i,j)的唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数。
场景切换参数判断处理模块，用于判断如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块。
肤色和非肤色判定区域划分模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域。
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
非肤色标识符设置模块，用于对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域判定模式设置装置。
具体为：即如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0。
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的唇部标识参数。
进一步地，图6是图5中唇部待定区域查找及设置装置详细结构图；所述唇部待定区域查找及设置装置包括：
第一行列号设置模块，用于令i＝2、j＝2。
唇部起始判定块查找判断模块，用于在当前行所有块中，查找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，如果没找到，则进入第二行列号设置模块；否则，则首先记找到的块为sbkt(is,js)，称为唇部起始判定块，然后，进入唇部待定区域设置模块。
其中，is、js分别表示唇部起始判定块的行列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
第二行列号设置模块，用于令i＝i+1、j＝2，然后重新进入唇部起始判定块查找判断模块。
唇部待定区域设置模块，用于进行待判定区域的融合，即将唇部起始判定块的邻接非肤色块一起合并为唇部待定区域。
唇部待定区域误判判断处理装置，用于判定是否为唇部待定区域误判情况,如果为非误判情况，则进入唇部定位装置；否则，则进入第三行列号设置模块；
第三行列号设置模块，用于令i＝1+max(i|bkt(i,j)∈唇部待定区域)、j＝2，然后进入尾行判断处理模块。
尾行判断处理模块，用于判断如果i>bkh，则结束；否则，则重新进入唇部起始判定块查找判断模块。
进一步地，图7是图6中唇部待定区域误判判断处理装置详细结构图；所述唇部待定区域误判判断处理装置包括：第一判断处理模块和唇部待定区域误判判定装置；
第一判断处理模块，用于根据唇部待定区域误判判定装置的判断结果，如果判定结果为非误判情况，则进入唇部定位装置；否则，则进入第三行列号设置模块；
所述唇部待定区域误判判定装置包括：
唇部待定区域亮度值分布计算模块，用于计算唇部待定区域的亮度值分布p(k)＝sum(sign(y(m,n)＝k|y(m,n)∈待定区域))。
其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；y(m,n)表示第m行第n列的亮度值；
Figure BDA0001357130720000111
亮度值分布最大、次最大值对应的亮度值获取模块，用于求唇部待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值。
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))。
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值。
唇部待定区域确定模块，用于判断如果abs(kmax1-kmax2)>Thres1，则属于唇部待定区域误判；否则，则不属于唇部待定区域误判。
其中，abs(变量)表示对变量取绝对值；Thres1表示第一门限阈值，一般可取Thres1>50。
进一步地，图8是图5唇部定位装置详细结构图。所述唇部定位装置包括：
唇部待定区域色度分类统计量计算模块，计算唇部待定区域的色度分类统计量f1：
f1＝sum(sign(ut(m,n),vt(m,n))|条件1))
其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；区域条件：yt(m,n)和ut(m,n)和vt(m,n)均∈唇部待定区域；
分类条件1：ut(m,n)<128且vt(m,n)>128且vt(m,n)-128>128-ut(m,n)；
分类条件2：ut(m,n)>128且vt(m,n)>128且vt(m,n)-128>ut(m,n)-128；
分类条件3：ut(m,n)＝128且vt(m,n)＝128且(yt(m,n)≤50或yt(m,n)≥180)；
yt(m,n)、ut(m,n)、vt(m,n)分别表示pict第m行第n列的亮度值、U色度值、V色度值。
唇部待定区域判断模块，用于如果num-f1<Thres2，则判定唇部待定区域为唇部，并标识为唇部；否则，则判定为不是唇部，并标识为非唇部。其中，标识方法如下：
sbkt(i,j)＝sign(bkt(i,j)|bkt(i,j)∈唇部待定区域且唇部待定区域判定为唇部)
其中，Thres2表示第二门限阈值，一般可取Thres2≤16；num为唇部待定区域的像素点个数；sbkt(i,j)表示块bkt(i,j)的唇部标识参数。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于肤色检测的唇部视频定位方法，其特征在于，所述方法包括：
Step0：令t＝1，t表示帧序列号；
Step1：解码视频当前帧，获取解码图像；
Step2：为当前帧中每个块设置相应的肤色标识符；
Step3：如果当前帧所有块的肤色标识符均为0，则进入Step6；否则，则进入Step4；
Step4：在当前帧中查找并设置唇部待定区域；
Step5：按判定模式进行唇部定位，标识；
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束；
Step7：如果不存在sbkt-1(i,j)＝1，则进入Step8；否则进入Step10；其中sbkt-1(i,j)表示块bkt-1(i,j)的唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；pict表示视频第t帧，也称为当前帧；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；sum(变量)表示对变量求和；
Figure FDA0002422509290000011
bkt(i,j)表示pict的第i行第j解码块；
Step9：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10；其中，sbkt(i,j)表示块bkt(i,j)的唇部标识参数；
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域块；
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
Step12：首先对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4；
所述在当前帧中查找并设置唇部待定区域具体为：
Step40:i＝2、j＝2；
Step41：在当前行所有块中，查找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，如果没找到，则进入Step42；否则，则首先记找到的块为sbkt(is,js)，称为唇部起始判定块，然后进入Step43；
其中，is、js分别表示唇部起始判定块的行列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
Step42：i＝i+1、j＝2，然后重新进入Step41；
Step43：进行待判定区域的融合，即将唇部起始判定块的邻接非肤色块一起合并为唇部待定区域；
Step44：判定唇部待定区域是否为误判情况,如果为非误判情况，则进入Step5；否则，则令i＝1+max(i|bkt(i,j)∈唇部待定区域)、j＝2，然后进入Step45；
Step45：如果i>bkh，则结束；否则，则重新进入Step41；
唇部待定区域误判方法如下：
步骤C1：计算唇部待定区域的亮度值分布
p(k)＝sum(sign(yt(m,n)＝k|yt(m,n)∈待定区域))；
其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；yt(m,n)表示pict第m行第n列的亮度值；
Figure FDA0002422509290000021
步骤C2：求唇部待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值；
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))；
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值；
步骤C3：如果abs(kmax1-kmax2)>Thres1，则属于唇部待定区域误判；否则，则不属于唇部待定区域误判；
其中，abs(变量)表示对变量取绝对值；Thres1表示第一门限阈值，Thres1>50。
2.如权利要求1所述的基于肤色检测的唇部视频定位方法，其特征在于，
所述为当前帧中每个块设置相应的肤色标识符具体为：
用以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
3.如权利要求1所述的基于肤色检测的唇部视频定位方法，其特征在于，
所述按判定模式进行唇部定位，标识包括以下步骤：
Step51：计算唇部待定区域的色度类分类统计量f1：
f1＝sum(sign(ut(m,n),vt(m,n))|条件1))
其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；区域条件：yt(m,n)和ut(m,n)和vt(m,n)均∈唇部待定区域；
分类条件1：ut(m,n)<128且vt(m,n)>128且vt(m,n)-128>128-ut(m,n)；
分类条件2：ut(m,n)>128且vt(m,n)>128且vt(m,n)-128>ut(m,n)-128；
分类条件3：ut(m,n)＝128且vt(m,n)＝128且(yt(m,n)≤50或yt(m,n)≥180)；
yt(m,n)、ut(m,n)、vt(m,n)分别表示pict第m行第n列的亮度值、U色度值、V色度值；
Step52：如果num-f1<Thres2，则判定唇部待定区域为唇部，并标识为唇部；否则，则判定为不是唇部，并标识为非唇部；
其中，标识方法如下：
sbkt(i,j)＝sign(bkt(i,j)|bkt(i,j)∈唇部待定区域且唇部待定区域判定为唇部)
其中，Thres2表示第二门限阈值，一般取Thres2≤16；num为唇部待定区域的像素点个数；sbkt(i,j)表示块bkt(i,j)的唇部标识参数。
4.如权利要求1所述的基于肤色检测的唇部视频定位方法，其特征在于，
所述为肤色判定区域中每个块设置相应的肤色标识符具体为：
用以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
所述对非肤色判定区域的块，根据参考块的参数来标识当前块具体为：
即如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的唇部标识参数。
5.一种基于肤色检测的唇部视频定位系统，其特征在于，所述系统包括：
帧序列号初始化模块，用于令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，为当前帧中每个块设置相应的肤色标识符；
具体为：用以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识符均为0，则进入下一帧判断处理模块；否则，则进入唇部待定区域查找及设置装置；
唇部待定区域查找及设置装置，用于在当前帧中查找并设置唇部待定区域；即：如果在当前帧中能找到唇部待定区域，则进入唇部定位装置；否则，则进入下一帧判断处理模块；
唇部定位装置，用于进行唇部定位；
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入唇部标识参数判断模块；否则，结束；
唇部标识参数判断模块，用于判断如果不存在sbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块；
sbkt-1(i,j)表示块bkt-1(i,j)的唇部标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；
场景切换参数判断处理模块，用于判断如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块；
肤色和非肤色判定区域划分模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域；
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
非肤色标识符设置模块，用于对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域判定模式设置装置；
具体为：即如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的唇部标识参数；
所述唇部待定区域查找及设置装置包括：
第一行列号设置模块，用于令i＝2、j＝2；
唇部起始判定块查找判断模块，用于在当前行所有块中，查找满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，如果没找到，则进入第二行列号设置模块；否则，则首先记找到的块为sbkt(is,js)，称为唇部起始判定块，然后，进入唇部待定区域设置模块；
其中，is、js分别表示唇部起始判定块的行列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
第二行列号设置模块，用于令i＝i+1、j＝2，然后重新进入唇部起始判定块查找判断模块；
唇部待定区域设置模块，用于进行待判定区域的融合，即将唇部起始判定块的邻接非肤色块一起合并为唇部待定区域；
唇部待定区域误判判断处理装置，用于判定是否为唇部待定区域误判情况,如果为非误判情况，则进入唇部定位装置；否则，则进入第三行列号设置模块；
第三行列号设置模块，用于令i＝1+max(i|bkt(i,j)∈唇部待定区域)、j＝2，然后进入尾行判断处理模块；
尾行判断处理模块，用于判断如果i>bkh，则结束；否则，则重新进入唇部起始判定块查找判断模块；
所述唇部待定区域误判判断处理装置包括：第一判断处理模块和唇部待定区域误判判定装置；
第一判断处理模块，用于根据唇部待定区域误判判定装置的判断结果，如果判定结果为非误判情况，则进入唇部定位装置；否则，则进入第三行列号设置模块；
所述唇部待定区域误判判定装置包括：
唇部待定区域亮度值分布计算模块，用于计算唇部待定区域的亮度值分布p(k)＝sum(sign(y(m,n)＝k|y(m,n)∈待定区域))；
其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；y(m,n)表示第m行第n列的亮度值；
Figure FDA0002422509290000071
亮度值分布最大、次最大值对应的亮度值获取模块，用于求唇部待定区域的亮度值分布的最大值和次最大值，并找到对应的亮度值；
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))；
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值；
唇部待定区域确定模块，用于判断如果abs(kmax1-kmax2)>Thres1，则属于唇部待定区域误判；否则，则不属于唇部待定区域误判；
其中，abs(变量)表示对变量取绝对值；Thres1表示第一门限阈值，Thres1>50。
6.如权利要求5所述的基于肤色检测的唇部视频定位系统，其特征在于，所述唇部定位装置包括：
唇部待定区域色度分类统计量计算模块，计算唇部待定区域的色度分类统计量f1；
f1＝sum(sign(ut(m,n),vt(m,n))|条件1))
其中，条件1：区域条件且(分类条件1或者分类条件2或者分类条件3)；区域条件：yt(m,n)和ut(m,n)和vt(m,n)均∈唇部待定区域；
分类条件1：ut(m,n)<128且vt(m,n)>128且vt(m,n)-128>128-ut(m,n)；
分类条件2：ut(m,n)>128且vt(m,n)>128且vt(m,n)-128>ut(m,n)-128；
分类条件3：ut(m,n)＝128且vt(m,n)＝128且(yt(m,n)≤50或yt(m,n)≥180)；
yt(m,n)、ut(m,n)、vt(m,n)分别表示pict第m行第n列的亮度值、U色度值、V色度值；
唇部待定区域判断模块，用于如果num-f1<Thres2，则判定唇部待定区域为唇部，并标识为唇部；否则，则判定为不是唇部，并标识为非唇部；其中，标识方法如下：
sbkt(i,j)＝sign(bkt(i,j)|bkt(i,j)∈唇部待定区域且唇部待定区域判定为唇部)
其中，Thres2表示第二门限阈值，一般取Thres2≤16；num为唇部待定区域的像素点个数；sbkt(i,j)表示块bkt(i,j)的唇部标识参数。
CN201710600955.4A 2017-07-21 2017-07-21 一种基于肤色检测的唇部视频定位方法和系统 Active CN107423704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710600955.4A CN107423704B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的唇部视频定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710600955.4A CN107423704B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的唇部视频定位方法和系统

Publications (2)

Publication Number Publication Date
CN107423704A CN107423704A (zh) 2017-12-01
CN107423704B true CN107423704B (zh) 2020-07-03

Family

ID=60430883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710600955.4A Active CN107423704B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的唇部视频定位方法和系统

Country Status (1)

Country Link
CN (1) CN107423704B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255307B (zh) * 2018-08-21 2022-03-15 深圳市梦网视讯有限公司 一种基于唇部定位的人脸分析方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787427A (zh) * 2016-01-08 2016-07-20 上海交通大学 嘴唇区域定位方法
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787427A (zh) * 2016-01-08 2016-07-20 上海交通大学 嘴唇区域定位方法
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种自动的唇部定位及唇轮廓提取、跟踪方法;王晓平等;《模式识别与人工智能》;20070831;第20卷(第4期);第485-491页 *
复杂背景正面人脸嘴唇检测算法研究;李良 等;《电子设计工程》;20131031;第21卷(第19期);第188-189,193页 *

Also Published As

Publication number Publication date
CN107423704A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
JP4725690B2 (ja) 映像識別子抽出装置
CN111355956B (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法
CN106682094B (zh) 一种人脸视频检索方法和系统
Chao et al. A novel rate control framework for SIFT/SURF feature preservation in H. 264/AVC video compression
CN107481222B (zh) 一种基于肤色检测的快速眼唇视频定位方法和系统
CN107506691B (zh) 一种基于肤色检测的唇部定位方法和系统
Chen et al. Intra-and-inter-constraint-based video enhancement based on piecewise tone mapping
Soh et al. Reduction of video compression artifacts based on deep temporal networks
US20120237126A1 (en) Apparatus and method for determining characteristic of motion picture
Yang et al. Spatiotemporal generative adversarial network-based dynamic texture synthesis for surveillance video coding
Heng et al. How to assess the quality of compressed surveillance videos using face recognition
Yeo et al. CNN-based fast split mode decision algorithm for versatile video coding (VVC) inter prediction
CN107563278B (zh) 一种基于肤色检测的快速眼唇定位方法和系统
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
CN107423704B (zh) 一种基于肤色检测的唇部视频定位方法和系统
CN106611043B (zh) 一种视频搜索方法及系统
CN107516067B (zh) 一种基于肤色检测的人眼定位方法和系统
CN107527015B (zh) 一种基于肤色检测的人眼视频定位方法和系统
US8503822B2 (en) Image quality evaluation system, method, and program utilizing increased difference weighting of an area of focus
WO2010084738A1 (ja) 照合加重情報抽出装置
CN115239551A (zh) 视频增强方法和装置
CN109873987B (zh) 一种基于监控视频的目标搜索方法和系统
CN106572312B (zh) 一种全景视频自适应光照补偿方法和系统
CN107509074A (zh) 基于压缩感知的自适应3d视频编解码方法
Li et al. Perceptual quality assessment of face video compression: A benchmark and an effective method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518057 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen mengwang video Co., Ltd

Address before: 518057 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant