CN110807402B - 一种基于肤色检测的五官定位方法、系统和终端设备 - Google Patents

一种基于肤色检测的五官定位方法、系统和终端设备 Download PDF

Info

Publication number
CN110807402B
CN110807402B CN201911037718.7A CN201911037718A CN110807402B CN 110807402 B CN110807402 B CN 110807402B CN 201911037718 A CN201911037718 A CN 201911037718A CN 110807402 B CN110807402 B CN 110807402B
Authority
CN
China
Prior art keywords
block
detection area
face
area
sense organs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911037718.7A
Other languages
English (en)
Other versions
CN110807402A (zh
Inventor
马国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co ltd
Original Assignee
Shenzhen Mengwang Video Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Video Co ltd filed Critical Shenzhen Mengwang Video Co ltd
Priority to CN201911037718.7A priority Critical patent/CN110807402B/zh
Publication of CN110807402A publication Critical patent/CN110807402A/zh
Application granted granted Critical
Publication of CN110807402B publication Critical patent/CN110807402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于肤色检测的五官定位方法、系统和终端设备。本发明方法首先通过肤色检测确定待定人脸区域为五官搜索区域，然后利用五官几何位置关系对五官进行精确定位。本发明方法一方面可以缩减五官搜索范围，另一方面也可以降低五官独立判断引起的误判，从而提升五官定位技术的时效性。

Description

一种基于肤色检测的五官定位方法、系统和终端设备
技术领域
本发明涉及视频编码技术领域，尤其涉及一种基于肤色检测的五官定位方法、系统和终端设备。
背景技术
随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。无论是人脸视频检索、还是在线视频美颜，精确快速的五官定位技术都会增强其事半功倍的效果。目前主流的专设图像五官定位技术，计算量大，制约了五官定位方法的在线使用和二次开发效率。
发明内容
本发明实施例的目的在于提出一种基于肤色检测的五官定位方法，旨在解决现有五官定位技术，计算量大、效率低的问题。
本发明实施例是这样实现的，一种基于肤色检测的五官定位方法，所述方法包括：
S1：对当前人脸检测区域内侧进行肤色判定，根据是否存在非肤色块，设置相应的五官分析模式；
S2：根据五官分析模式确定待定五官检测区域；
S3:根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定；
S4：在未被判定为非人脸的当前人脸待检测区域中，根据五官分析模式进行唇部定位；
S5：当唇部定位成功时，利用唇部位置特征计算当前人脸待检测区域充分侧面标识；
S6：利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位。
本发明实施例的另一目的在于提出一种基于肤色检测的五官定位系统，所述系统包括：
肤色判定及五官分析模式设置模块，用于对当前人脸检测区域内侧进行肤色判定，根据是否存在非肤色块，设置相应的五官分析模式；
待定五官检测区域确定装置，用于根据五官分析模式确定待定五官检测区域；
人脸待检测区域非人脸逐级排除判定装置，用于根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定；
唇部定位装置，用于在未被判定为非人脸的当前人脸待检测区域中，根据五官分析模式进行唇部定位；
当前人脸待检测区域充分侧面标识计算装置，用于当唇部定位成功时，利用唇部位置特征计算当前人脸待检测区域充分侧面标识；
非唇部五官定位装置，用于利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位。
本发明实施例的另一目的在于提出一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于肤色检测的五官定位方法的步骤。
本发明的有益效果
本发明提出一种基于肤色检测的五官定位方法、系统和终端设备。本发明方法首先通过肤色检测确定待定人脸区域为五官搜索区域，然后利用五官几何位置关系对五官进行精确定位。本发明方法一方面可以缩减五官搜索范围，另一方面也可以降低五官独立判断引起的误判，从而提升五官定位技术的时效性。
附图说明
图1是本发明实施例提供的一种基于肤色检测的五官定位方法流程图；
图2是本发明实施例提供一种根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定方法；
图3是本发明实施例中提供一种根据五官分析模式进行唇部定位的方法；
图4是本发明实施例中提供一种利用唇部位置特征计算当前人脸待检测区域充分侧面标识的方法；
图5是本发明实施例提供的一种利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位的方法；
图6是本发明实施例提供的一种基于肤色检测的五官定位系统结构图；
图7是本发明实施例提供的一种人脸待检测区域非人脸逐级排除判定装置结构图；
图8是本发明实施例提供的一种唇部定位装置结构图；
图9是本发明实施例提供的一种当前人脸待检测区域充分侧面标识计算装置结构图；
图10是本发明实施例提供的一种非唇部五官定位装置结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明提出一种基于肤色检测的五官定位方法、系统和终端设备。本发明方法首先通过肤色检测确定待定人脸区域为五官搜索区域，然后利用五官几何位置关系对五官进行精确定位。本发明方法一方面可以缩减五官搜索范围，另一方面也可以降低五官独立判断引起的误判，从而提升五官定位技术的时效性。
实施例一
图1是本发明实施例提供的一种基于肤色检测的五官定位方法流程图；包括：
S1：对当前人脸检测区域内侧进行肤色判定，根据是否存在非肤色块，设置相应的五官分析模式；
具体为：判断当前人脸检测区域内侧是否存在非肤色块，如果存在非肤色块，则设置五官分析模式为第一模式，否则，则设置五官分析模式为第二模式。
可选地，在本发明一实施中，所述对当前人脸检测区域内侧进行肤色判定之前还包括：通过肤色检测确定待定人脸区域；具体为：
判断当前图像中每个块是否为肤色块，如果当前图像不存在肤色块，则直接结束(无需五官定位)；否则，将连通的肤色块作为一个待定的人脸区域；肤色判定方法采用本技术领域常规的方法；
可选地，在本发明一实施中，当首次对当前人脸检测区域内侧进行肤色判定之前还包括：
为当前人脸检测区域赋初值；即设置当前人脸检测区域为第一个待定的人脸区域。
S2：根据五官分析模式确定待定五官检测区域；
在本发明实施中，如果五官分析模式为第一模式，则首先将当前人脸检测区域内所有非肤色块，按其连通性进行归类,接着将每一个连通的非肤色块集合作为一个待定五官检测区域；然后进入S3。
在本发明实施中，如果五官分析模式为第二模式，则首先，计算肤色区域复杂度划分阈值Thresd；接着，将肤色区域内侧所有复杂度高于划分阈值的块划入待定五官集合；然后，将待定五官集合内的块按其连通性进行归类(即将连通的块划为一个子集)，将每一个连通块子集作为一个待定五官检测区域，然后进入S3。
可选地，在本发明实施中，当待定五官集合为空集时，则判定当前人脸待检测区域为非人脸(不存在待定五官检测区域)，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回S1。
在本发明实施中，所述肤色区域复杂度划分阈值Thresd计算公式为：
Thresd＝rate*mean(stdi,j|bk(i,j)为肤色区域边界块的内邻接块)；
其中，mean、bk(i,j)、stdi,j、rate分别表示均值运算、当前图像第i行第j列块、bk(i,j)亮度值的均方差、比例系数(rate≥1.5)；所述肤色区域边界块的内邻接块表示位于肤色区域且与肤色区域边界块相邻接的块。
S3:根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定；
图2是本发明实施例提供的一种根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定方法，包括：
Step31：将每个待定五官检测区域内具有最小行号块对应的块行号，作为每个待定五官检测区域的行号，将每个待定五官检测区域内具有最小列号块对应的块行号，作为每个待定五官检测区域的列号。
Step32：根据待定五官检测区域总数与单侧五官数量的大小关系进行非人脸排除；
本发明实施例中，若待定五官检测区域总数小于单侧五官数量,则首先判定当前人脸待检测区域为非人脸；接着进一步判断下一个待定人脸区域是否存在，若下一个待定人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定人脸区域，然后重回S1。
所述单侧五官数量指当人脸处于充分侧面时，所能观察到的五官数量，为公知常识。
本发明实施例中，若待定五官检测区域总数不小于单侧五官数量，则进入Step33；
Step33：根据具有最小行号的待定五官检测区域数量与具有非最小行号的待定五官检测区域数量的大小关系进行非人脸排除；
本发明实施例中，若具有最小行号的待定五官检测区域数量小于具有非最小行号的待定五官检测区域数量，则首先判定当前人脸待检测区域为非人脸；接着进一步判断下一个待定人脸区域是否存在，若下一个待定人脸区域不存在，则结束；若下一个待定人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回S1；
本发明实施例中，若具有最小行号的待定五官检测区域数量不小于具有非最小行号的待定五官检测区域数量，则进入S4。
S4：在未被判定为非人脸的当前人脸待检测区域中，根据五官分析模式进行唇部定位；
图3是本发明实施例中提供的一种根据五官分析模式进行唇部定位的方法，包括：
Step41：将具有最大行号的待定五官检测区域作为当前唇部检测区域；
Step42：若五官分析模式为第一模式，则利用常规的基于块的方法对当前唇部检测区域进行唇部定位；若五官分析模式为第二模式，则利用常规的基于像素的方法对当前唇部检测区域进行唇部定位。
在本发明实施例中，若唇部定位成功，则直接进入S5；
可选地，在本发明实施例中，若唇部定位不成功，则进一步判断是否满足未进行唇部判定的待定五官检测区域数量大于等于1；当未进行唇部判定的待定五官检测区域数量大于等于1时，设置当前唇部检测区域为未进行唇部判定的待定五官检测区域中具有最大行号的待定五官检测区域，然后重回Step42；
在这里，若未进行唇部判定的待定五官检测区域数量为0，则判定当前人脸待检测区域为非人脸，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回S1。
S5：当唇部定位成功时，利用唇部位置特征计算当前人脸待检测区域充分侧面标识。
图4是本发明实施例中提供的一种利用唇部位置特征计算当前人脸待检测区域充分侧面标识的方法，包括：
Step51：在判定为当前人脸待检测区域唇部块集合中，找到具有最小列号的块列，定位该块列的中间块，记为第一中间块gmb(i1,j1)；找到具有最大列号的块列，定位该块列的中间块，记为第二中间块gmb(i2,j2)。
Step52：在判定为当前人脸待检测区域唇部块集合中，找到具有最小行号的块行，定位该块行的中间块，记为第三中间块gmb(i3,j3)。
其中，i1,j1分别表示所述第一中间块的行、列号；i2,j2分别表示所述第二中间块的行、列号；i3,j3分别表示所述第三中间块的行、列号；
Step53：根据所述第一中间块、第二中间块、第三中间块的列号计算当前人脸待检测区域充分侧面标识γ；
计算公式为：
S6：利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位。
图5是本发明实施例提供的利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位的方法，包括：
Step61：利用五官位置特征及充分侧面标识，进行鼻部、眼眉五官定位。
本发明实施例提供一种利用五官位置特征及充分侧面标识，进行鼻部、眼眉定位的方法，包括：
Step611:根据五官位置特征及充分侧面标识，将待定五官检测区域划定为对应的鼻部、眼眉检测区域。
Case1(γ＝1):将五官检测区域中行号小于i3且与之差值最小的划为鼻部检测区域；将五官检测区域中列号小于j1且与之差值最小的划为眼眉检测区域。
Case2(γ＝0):将五官检测区域中列号∈(j1,j2)且(行号小于i3且与i3差值最小)的划为鼻部检测区域；若已完成鼻部定位，则将五官检测区域中列号∈[j1-(j2-j1)/2,j2+(j2-j1)/2]且(行号小于i4且与i4差值最小)的划为眼眉检测区域；若未完成鼻部定位(即鼻部定位还未执行)，将五官检测区域中列号∈[j1-(j2-j1)/2,j2+(j2-j1)/2]的划为眼眉检测区域；其中i4表示判定为鼻部区域块的最小行号；
Case3(γ＝-1):将五官检测区域中行号小于i3且与之差值最小的划为鼻部检测区域；眼眉检测区域:将五官检测区域中列号大于j1且与之差值最小的划为眼眉检测区域。
Step612：对所述鼻部、眼眉检测区域，进行对应的鼻部、眼眉定位；
本发明实施例中，当鼻部、眼眉均定位成功时，则判定当前人脸待检测区域为人脸，并记判定为眼眉区域块的最小行号为i5，接着进入Step62。
可选地，在本发明一实施例中，当鼻部、眼眉中有任意一个定位不成功，则判定当前人脸待检测区域为非人脸，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回S1。
本发明实施例中，对鼻部、眼眉进行定位的方法采用本技术领域常规的方法，在此不再赘述；
Step62:当鼻部、眼眉均定位成功时，利用五官位置特征及充分侧面标识，进行耳部定位。
本发明实施例提供一种利用五官位置特征及充分侧面标识，进行耳部定位的方法，包括：
Step621：根据五官位置特征及充分侧面标识，划定耳部检测区域。
Case1(γ＝1):将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块划为耳部检测区域。
Case2(γ＝0):将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块、当前人脸检测区域中行号∈[i5,i3]且具有最大列号的肤色块及其右邻接非肤色块，均划为耳部检测区域。
Case3(γ＝-1):将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块划为耳部检测区域。
Step622：对耳部检测区域，进行耳部定位；
所述耳部定位方法采用本技术领域常规的方法，在此不再赘述。
在本发明实施例中，当完成当耳部定位后，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回S1。
实施例二
图6是本发明实施例提供的一种基于肤色检测的五官定位系统结构图；包括：
肤色判定及五官分析模式设置模块，用于对当前人脸检测区域内侧进行肤色判定，根据是否存在非肤色块，设置相应的五官分析模式；
待定五官检测区域确定装置，用于根据五官分析模式确定待定五官检测区域；
人脸待检测区域非人脸逐级排除判定装置，用于根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定；
唇部定位装置，用于在未被判定为非人脸的当前人脸待检测区域中，根据五官分析模式进行唇部定位；
当前人脸待检测区域充分侧面标识计算装置，用于当唇部定位成功时，利用唇部位置特征计算当前人脸待检测区域充分侧面标识；
非唇部五官定位装置，用于利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位；
具体地，肤色判定及五官分析模式设置模块中，所述根据是否存在非肤色块，设置相应的五官分析模式为：判断当前人脸检测区域内侧是否存在非肤色块，如果存在非肤色块，则设置五官分析模式为第一模式，否则，则设置五官分析模式为第二模式。
可选地，所述基于肤色检测的五官定位系统还包括：
待定人脸区域确定模块，用于判断当前图像中每个块是否为肤色块，如果当前图像不存在肤色块，则直接结束(无需五官定位)；否则，将连通的肤色块作为一个待定的人脸区域；肤色判定方法采用本技术领域常规的方法；
可选地，所述基于肤色检测的五官定位系统还包括：
人脸检测区域赋初值模块，用于在首次对当前人脸检测区域内侧进行肤色判定之前，为当前人脸检测区域赋初值；即设置当前人脸检测区域为第一个待定的人脸区域。
具体地，所述待定五官检测区域确定装置还包括：
第一待定五官检测区域确定模块，用于判断如果五官分析模式为第一模式，则首先将当前人脸检测区域内所有非肤色块，按其连通性进行归类,接着将每一个连通的非肤色块集合作为一个待定五官检测区域；然后进入人脸待检测区域非人脸逐级排除判定装置；
第二待定五官检测区域确定模块，用于判断如果五官分析模式为第二模式，则首先，计算肤色区域复杂度划分阈值Thresd；接着，将肤色区域内侧所有复杂度高于划分阈值的块划入待定五官集合；然后将待定五官集合内的块按其连通性进行归类(即将连通的块划为一个子集)，将每一个连通块子集作为一个待定五官检测区域，然后进入人脸待检测区域非人脸逐级排除判定装置。
所述肤色区域复杂度划分阈值Thresd计算公式为：
Thresd＝rate*mean(stdi,j|bk(i,j)为肤色区域边界块的内邻接块)；
其中，mean、bk(i,j)、stdi,j、rate分别表示均值运算、当前图像第i行第j列块、bk(i,j)亮度值的均方差、比例系数(rate≥1.5)；所述肤色区域边界块的内邻接块表示位于肤色区域且与肤色区域边界块相邻接的块。
可选地，第二待定五官检测区域确定模块还包括：
第一空集判断处理模块，用于判断当待定五官集合为空集时，则判定当前人脸待检测区域为非人脸(不存在待定五官检测区域)，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回肤色判定及五官分析模式设置模块；
进一步地，图7是本发明实施例提供的一种人脸待检测区域非人脸逐级排除判定装置结构图；包括：
待定五官检测区域行列号设置模块，用于将每个待定五官检测区域内具有最小行号块对应的块行号，作为每个待定五官检测区域的行号，将每个待定五官检测区域内具有最小列号块对应的块行号，作为每个待定五官检测区域的列号；
第一非人脸排除模块，用于根据待定五官检测区域总数与单侧五官数量的大小关系进行非人脸排除；
所述单侧五官数量指当人脸处于充分侧面时，所能观察到的五官数量，为公知常识。
第二非人脸排除模块，根据具有最小行号的待定五官检测区域数量与具有非最小行号的待定五官检测区域数量的大小关系进行非人脸排除；
进一步地，所述第一非人脸排除模块还包括：
第一非人脸判断处理模块，用于判断若待定五官检测区域总数小于单侧五官数量，则首先判定当前人脸待检测区域为非人脸；接着进一步判断下一个待定的人脸区域是否存在，若下一个待定人脸区域不存在，则结束；若下一个待定人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回肤色判定及五官分析模式设置模块；
进一步地，所述第一非人脸排除模块还包括：
第一待定人脸判断处理模块，用于判断若待定五官检测区域总数不小于单侧五官数量，则进入第二判断模块；
进一步地，所述第二非人脸排除模块还包括：
第二非人脸判断处理模块，用于判断若具有最小行号的待定五官检测区域数量小于具有非最小行号的待定五官检测区域数量，则首先判定当前人脸待检测区域为非人脸；接着进一步判断下一个待定的人脸区域是否存在，若下一个待定人脸区域不存在，则结束；若下一个待定人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回肤色判定及五官分析模式设置模块；
进一步地，所述第二非人脸排除模块还包括：
第二待定人脸判断处理模块，用于判断若具有最小行号的待定五官检测区域数量不小于具有非最小行号的待定五官检测区域数量，则进入唇部定位装置。
进一步地，图8是本发明实施例提供的一种唇部定位装置结构图；包括：
当前唇部检测区域设置模块，用于将具有最大行号的待定五官检测区域作为当前唇部检测区域；
唇部定位模块，用于判断若五官分析模式为第一模式，则利用常规的基于块的方法对当前唇部检测区域进行唇部定位；若五官分析模式为第二模式，则利用常规的基于像素的方法对当前唇部检测区域进行唇部定位。
进一步地，所述唇部定位装置还包括：
第一触发模块，用于判断若唇部定位成功，则直接进入当前人脸待检测区域充分侧面标识计算装置；
可选地，所述唇部定位装置还包括：第二触发模块，用于判断若唇部定位不成功，则进一步判断是否满足未进行唇部判定的待定五官检测区域数量大于等于1；当未进行唇部判定的待定五官检测区域数量大于等于1时，设置当前唇部检测区域为未进行唇部判定的待定五官检测区域中具有最大行号的待定五官检测区域，然后重回唇部定位模块；
进一步地，所述第二触发模块还包括：
第二空集判断处理模块，用于判断若未进行唇部判定的待定五官检测区域数量为0，则判定当前人脸待检测区域为非人脸，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回肤色判定及五官分析模式设置模块。
进一步地，图9是本发明实施例提供的一种当前人脸待检测区域充分侧面标识计算装置结构图；包括：
第一、第二中间块定位模块，用于在判定为当前人脸待检测区域唇部块集合中，找到具有最小列号的块列，定位该块列的中间块，记为第一中间块gmb(i1,j1)；找到具有最大列号的块列，定位该块列的中间块，记为第二中间块gmb(i2,j2)。
第三中间块定位模块，用于在判定为当前人脸待检测区域唇部块集合中，找到具有最小行号的块行，定位该块行的中间块，记为第三中间块gmb(i3,j3)。
其中，i1,j1分别表示所述第一中间块的行、列号；i2,j2分别表示所述第二中间块的行、列号；i3,j3分别表示所述第三中间块的行、列号；
当前人脸待检测区域充分侧面标识计算模块，用于根据所述第一中间块、第二中间块、第三中间块的列号计算当前人脸待检测区域充分侧面标识γ；
计算公式为：
进一步地，图10是本发明实施例提供的一种非唇部五官定位装置结构图；包括：
鼻部、眼眉五官定位模块，用于利用五官位置特征及充分侧面标识，进行鼻部、眼眉五官定位；
耳部定位模块，用于当鼻部、眼眉均定位成功时，利用五官位置特征及充分侧面标识，进行耳部定位。
进一步地，鼻部、眼眉五官定位模块还包括：
五官检测区域划分模块，用于根据五官位置特征及充分侧面标识，将待定五官检测区域划定为对应的鼻部、眼眉检测区域。
Case1(γ＝1):将五官检测区域中行号小于i3且与之差值最小的划为鼻部检测区域；将五官检测区域中列号小于j1且与之差值最小的划为眼眉检测区域。
Case2(γ＝0):将五官检测区域中列号∈(j1,j2)且(行号小于i3且与i3差值最小)的划为鼻部检测区域；当已完成鼻部定位，则将五官检测区域中列号∈[j1-(j2-j1)/2,j2+(j2-j1)/2]且(行号小于i4且与i4差值最小)的划为眼眉检测区域；若未完成鼻部定位(即鼻部定位还未执行)，将五官检测区域中列号∈[j1-(j2-j1)/2,j2+(j2-j1)/2]的划为眼眉检测区域；i4表示记判定为鼻部区域块的最小行号为)
Case3(γ＝-1):将五官检测区域中行号小于i3且与之差值最小的划为鼻部检测区域；将五官检测区域中列号大于j1且与之差值最小的划为眼眉检测区域。
鼻部、眼眉定位模块，用于对所述鼻部、眼眉检测区域，进行对应的鼻部、眼眉定位；
具体地，所述鼻部、眼眉定位模块还包括：
第三触发模块，用于当鼻部、眼眉均定位成功时，则判定当前人脸待检测区域为人脸，并记判定为眼眉区域块的最小行号为i5，接着进入耳部定位模块。
可选地，体地，所述鼻部、眼眉定位模块还包括：
第四触发模块，用于当鼻部、眼眉中有任意一个定位不成功，则判定当前人脸待检测区域为非人脸，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；否则若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回肤色判定及五官分析模式设置模块。
进一步地，所述耳部定位模块还包括：
耳部检测区域划分模块，用于根据五官位置特征及充分侧面标识，划定耳部检测区域。
Case1(γ＝1):将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块划为耳部检测区域。
Case2(γ＝0):将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块、当前人脸检测区域中行号∈[i5,i3]且具有最大列号的肤色块及其右邻接非肤色块，均划为耳部检测区域。
Case3(γ＝-1):将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块划为耳部检测区域。
耳部定位模块，用于对耳部检测区域，进行耳部定位；
所述耳部定位方法采用本技术领域常规的方法，在此不再赘述。
进一步地，所述耳部定位模块还包括：
第五触发模块，用于当完成当耳部定位后，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回肤色判定及五官分析模式设置模块。
本发明实施例还提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述基于肤色检测的五官定位方法的步骤S1-S6。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于肤色检测的五官定位方法，其特征在于，所述方法包括
S1：对当前人脸检测区域内侧进行肤色判定，根据是否存在非肤色块，设置相应的五官分析模式，具体为：
判断当前人脸检测区域内侧是否存在非肤色块，如果存在非肤色块，则设置五官分析模式为第一模式，否则，则设置五官分析模式为第二模式；
S2：根据五官分析模式确定待定五官检测区域；
S3:根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定；
S4：在未被判定为非人脸的当前人脸待检测区域中，根据五官分析模式进行唇部定位：
将具有最大行号的待定五官检测区域作为当前唇部检测区域；
若五官分析模式为第一模式，则利用常规的基于块的方法对当前唇部检测区域进行唇部定位；若五官分析模式为第二模式，则利用常规的基于像素的方法对当前唇部检测区域进行唇部定位；
S5：当唇部定位成功时，利用唇部位置特征计算当前人脸待检测区域充分侧面标识：
在判定为当前人脸待检测区域唇部块集合中，找到具有最小列号的块列，定位该块列的中间块，记为第一中间块gmb(i1,j1)；找到具有最大列号的块列，定位该块列的中间块，记为第二中间块gmb(i2,j2)；
在判定为当前人脸待检测区域唇部块集合中，找到具有最小行号的块行，定位该块行的中间块，记为第三中间块gmb(i3,j3)；
根据所述第一中间块、第二中间块、第三中间块的列号计算当前人脸待检测区域充分侧面标识g；
计算公式为：
其中，i1,j1分别表示所述第一中间块的行、列号；i2,j2分别表示所述第二中间块的行、列号；i3,j3分别表示所述第三中间块的行、列号；
S6：利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位。
2.如权利要求1所述的基于肤色检测的五官定位方法，其特征在于，
所述对当前人脸检测区域内侧进行肤色判定之前还包括：
通过肤色检测确定待定人脸区域，具体为：判断当前图像中每个块是否为肤色块，如果当前图像不存在肤色块，则直接结束；否则，将连通的肤色块作为一个待定的人脸区域；
当首次对当前人脸检测区域内侧进行肤色判定之前还包括：为当前人脸检测区域赋初值。
3.如权利要求2所述的基于肤色检测的五官定位方法，其特征在于，所述根据五官分析模式确定待定五官检测区域中，
如果五官分析模式为第一模式，则首先将当前人脸检测区域内所有非肤色块，按其连通性进行归类,接着将每一个连通的非肤色块集合作为一个待定五官检测区域；然后进入S3；
如果五官分析模式为第二模式，则首先，计算肤色区域复杂度划分阈值；接着，将肤色区域内侧所有复杂度高于划分阈值的块划入待定五官集合；然后，将待定五官集合内的块按其连通性进行归类，将每一个连通块子集作为一个待定五官检测区域，然后进入S3。
4.如权利要求3所述的基于肤色检测的五官定位方法，其特征在于，
所述肤色区域复杂度划分阈值计算公式为：
Thresd＝rate*mean(stdi,j|bk(i,j)为肤色区域边界块的内邻接块)；
其中，Thresd表示肤色区域复杂度划分阈值；mean、bk(i,j)、stdi,j、rate分别表示均值运算、当前图像第i行第j列块、bk(i,j)亮度值的均方差、比例系数rate≥1.5；所述肤色区域边界块的内邻接块表示位于肤色区域且与肤色区域边界块相邻接的块。
5.如权利要求4所述的基于肤色检测的五官定位方法，其特征在于，所述根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定包括：
将每个待定五官检测区域内具有最小行号块对应的块行号，作为每个待定五官检测区域的行号，将每个待定五官检测区域内具有最小列号块对应的块行号，作为每个待定五官检测区域的列号；
根据待定五官检测区域总数与单侧五官数量的大小关系进行非人脸排除；
根据具有最小行号的待定五官检测区域数量与具有非最小行号的待定五官检测区域数量的大小关系进行非人脸排除。
6.如权利要求5所述的基于肤色检测的五官定位方法，其特征在于，所述利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位包括：
利用五官位置特征及充分侧面标识，进行鼻部、眼眉五官定位；
当鼻部、眼眉均定位成功时，利用五官位置特征及充分侧面标识，进行耳部定位。
7.如权利要求6所述的基于肤色检测的五官定位方法，其特征在于，
所述利用五官位置特征及充分侧面标识，进行鼻部、眼眉定位的方法包括：
根据五官位置特征及充分侧面标识，将待定五官检测区域划定为对应的鼻部、眼眉检测区域；具体为：
当g＝1时，将五官检测区域中行号小于i3且与之差值最小的划为鼻部检测区域；将五官检测区域中列号小于j1且与之差值最小的划为眼眉检测区域；
当g＝0时，将五官检测区域中列号∈(j1,j2)且行号小于i3且与i3差值最小的划为鼻部检测区域；若已完成鼻部定位，则将五官检测区域中列号∈[j1-(j2-j1)/2,j2+(j2-j1)/2]且行号小于i4且与i4差值最小的划为眼眉检测区域；若未完成鼻部定位，则将五官检测区域中列号∈[j1-(j2-j1)/2,j2+(j2-j1)/2]的划为眼眉检测区域；其中i4表示判定为鼻部区域块的最小行号；
当g＝-1时，将五官检测区域中行号小于i3且与之差值最小的划为鼻部检测区域；将五官检测区域中列号大于j1且与之差值最小的划为眼眉检测区域；
对所述鼻部、眼眉检测区域，进行对应的鼻部、眼眉定位；
当鼻部、眼眉均定位成功时，则判定当前人脸待检测区域为人脸，并记判定为眼眉区域块的最小行号为i5；
当鼻部、眼眉中有任意一个定位不成功，则判定当前人脸待检测区域为非人脸，进一步判断下一个待定的人脸区域是否存在，若下一个待定的人脸区域不存在，则结束；若下一个待定的人脸区域存在，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回S1；
所述利用五官位置特征及充分侧面标识，进行耳部定位的方法，包括：
根据五官位置特征及充分侧面标识，划定耳部检测区域；
当g＝1时，将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块划为耳部检测区域；
当g＝0时，将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块、当前人脸检测区域中行号∈[i5,i3]且具有最大列号的肤色块及其右邻接非肤色块，均划为耳部检测区域；
当g＝-1时，将当前人脸检测区域中行号∈[i5,i3]且具有最小列号的肤色块及其左邻接非肤色块划为耳部检测区域；
对耳部检测区域，进行耳部定位；
当完成当耳部定位后，进一步判断下一个待定的人脸区域是否存在，若不存在，则结束；否则，则设置当前人脸检测区域为下一个待定的人脸区域，然后重回S1。
8.一种基于肤色检测的五官定位系统，其特征在于，所述系统包括：
肤色判定及五官分析模式设置模块，用于对当前人脸检测区域内侧进行肤色判定，根据是否存在非肤色块，设置相应的五官分析模式：判断当前人脸检测区域内侧是否存在非肤色块，如果存在非肤色块，则设置五官分析模式为第一模式，否则，则设置五官分析模式为第二模式；
待定五官检测区域确定装置，用于根据五官分析模式确定待定五官检测区域；
人脸待检测区域非人脸逐级排除判定装置，用于根据待定五官检测区域比例，对当前人脸待检测区域进行非人脸的逐级排除判定；
唇部定位装置，用于在未被判定为非人脸的当前人脸待检测区域中，根据五官分析模式进行唇部定位：
将具有最大行号的待定五官检测区域作为当前唇部检测区域；
若五官分析模式为第一模式，则利用常规的基于块的方法对当前唇部检测区域进行唇部定位；若五官分析模式为第二模式，则利用常规的基于像素的方法对当前唇部检测区域进行唇部定位；
当前人脸待检测区域充分侧面标识计算装置，用于当唇部定位成功时，利用唇部位置特征计算当前人脸待检测区域充分侧面标识：
在判定为当前人脸待检测区域唇部块集合中，找到具有最小列号的块列，定位该块列的中间块，记为第一中间块gmb(i1,j1)；找到具有最大列号的块列，定位该块列的中间块，记为第二中间块gmb(i2,j2)；
在判定为当前人脸待检测区域唇部块集合中，找到具有最小行号的块行，定位该块行的中间块，记为第三中间块gmb(i3,j3)；
根据所述第一中间块、第二中间块、第三中间块的列号计算当前人脸待检测区域充分侧面标识g；
计算公式为：
其中，i1,j1分别表示所述第一中间块的行、列号；i2,j2分别表示所述第二中间块的行、列号；i3,j3分别表示所述第三中间块的行、列号；
非唇部五官定位装置，用于利用五官位置特征及充分侧面标识，进行除唇部外的其他五官定位。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于肤色检测的五官定位方法的步骤。
CN201911037718.7A 2019-10-29 2019-10-29 一种基于肤色检测的五官定位方法、系统和终端设备 Active CN110807402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911037718.7A CN110807402B (zh) 2019-10-29 2019-10-29 一种基于肤色检测的五官定位方法、系统和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911037718.7A CN110807402B (zh) 2019-10-29 2019-10-29 一种基于肤色检测的五官定位方法、系统和终端设备

Publications (2)

Publication Number Publication Date
CN110807402A CN110807402A (zh) 2020-02-18
CN110807402B true CN110807402B (zh) 2023-08-08

Family

ID=69489481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911037718.7A Active CN110807402B (zh) 2019-10-29 2019-10-29 一种基于肤色检测的五官定位方法、系统和终端设备

Country Status (1)

Country Link
CN (1) CN110807402B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461073B (zh) * 2020-05-06 2023-12-08 深圳市梦网视讯有限公司 一种基于鼻头定位的反向人脸检测方法、系统及设备
CN111626143B (zh) * 2020-05-06 2023-12-08 深圳市梦网视讯有限公司 一种基于眼睛定位的反向人脸检测方法、系统及设备
CN111815653B (zh) * 2020-07-08 2024-01-30 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统和设备
CN111815651B (zh) * 2020-07-08 2024-01-30 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统及设备
CN112132068A (zh) * 2020-09-27 2020-12-25 深圳市梦网视讯有限公司 一种基于视频动态信息的年龄分析方法、系统和设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069431A (zh) * 2015-08-07 2015-11-18 成都明图通科技有限公司 人脸的定位方法和装置
KR101653278B1 (ko) * 2016-04-01 2016-09-01 수원대학교산학협력단 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
CN107563278A (zh) * 2017-07-21 2018-01-09 深圳市梦网百科信息技术有限公司 一种基于肤色检测的快速眼唇定位方法和系统
CN108376240A (zh) * 2018-01-26 2018-08-07 西安建筑科技大学 一种面向人脸五官识别定位的连通区域标记方法
CN109190529A (zh) * 2018-08-21 2019-01-11 深圳市梦网百科信息技术有限公司 一种基于唇部定位的人脸检测方法和系统
CN109241878A (zh) * 2018-08-21 2019-01-18 深圳市梦网百科信息技术有限公司 一种基于唇部定位的五官定位方法和系统
CN109492545A (zh) * 2018-10-22 2019-03-19 深圳市梦网百科信息技术有限公司 一种基于场景及压缩信息的五官定位方法和系统
CN110191343A (zh) * 2019-06-03 2019-08-30 河海大学 一种基于方差分析的自适应视频水印的嵌入和提取方法
CN110298225A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种遮挡环境下的人脸五官定位的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069431A (zh) * 2015-08-07 2015-11-18 成都明图通科技有限公司 人脸的定位方法和装置
KR101653278B1 (ko) * 2016-04-01 2016-09-01 수원대학교산학협력단 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
CN107563278A (zh) * 2017-07-21 2018-01-09 深圳市梦网百科信息技术有限公司 一种基于肤色检测的快速眼唇定位方法和系统
CN108376240A (zh) * 2018-01-26 2018-08-07 西安建筑科技大学 一种面向人脸五官识别定位的连通区域标记方法
CN109190529A (zh) * 2018-08-21 2019-01-11 深圳市梦网百科信息技术有限公司 一种基于唇部定位的人脸检测方法和系统
CN109241878A (zh) * 2018-08-21 2019-01-18 深圳市梦网百科信息技术有限公司 一种基于唇部定位的五官定位方法和系统
CN109492545A (zh) * 2018-10-22 2019-03-19 深圳市梦网百科信息技术有限公司 一种基于场景及压缩信息的五官定位方法和系统
CN110298225A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种遮挡环境下的人脸五官定位的方法
CN110191343A (zh) * 2019-06-03 2019-08-30 河海大学 一种基于方差分析的自适应视频水印的嵌入和提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图像处理的望诊面色自动识别研究;陈梦竹;《中国中医药信息杂志 》;第25卷(第12期);全文 *

Also Published As

Publication number Publication date
CN110807402A (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110807402B (zh) 一种基于肤色检测的五官定位方法、系统和终端设备
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN108829900B (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN108805016B (zh) 一种头肩区域检测方法及装置
US20170061252A1 (en) Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
US9443137B2 (en) Apparatus and method for detecting body parts
CN107657625A (zh) 融合时空多特征表示的无监督视频分割方法
CN103810490A (zh) 一种确定人脸图像的属性的方法和设备
CN109446967B (zh) 一种基于压缩信息的人脸检测方法和系统
US8948517B2 (en) Landmark localization via visual search
CN107169503B (zh) 一种室内场景的分类方法及装置
CN111401192B (zh) 基于人工智能的模型训练方法和相关装置
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN106650670A (zh) 活体人脸视频的检测方法及装置
CN112307886A (zh) 行人重识别方法和装置
CN110232331B (zh) 一种在线人脸聚类的方法及系统
CN103106409A (zh) 一种针对头肩检测的混合特征提取方法
CN109117746A (zh) 手部检测方法及机器可读存储介质
CN103400155A (zh) 基于图半监督学习的色情视频检测方法
CN111444817B (zh) 一种人物图像识别方法、装置、电子设备和存储介质
CN115861738A (zh) 一种类别语义信息引导的遥感目标检测主动采样方法
CN113850243A (zh) 模型训练、人脸识别方法、电子设备及存储介质
CN109241878B (zh) 一种基于唇部定位的五官定位方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen mengwang video Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant