CN110781840A - 一种基于肤色检测的鼻头定位方法和系统 - Google Patents

一种基于肤色检测的鼻头定位方法和系统 Download PDF

Info

Publication number
CN110781840A
CN110781840A CN201911038690.9A CN201911038690A CN110781840A CN 110781840 A CN110781840 A CN 110781840A CN 201911038690 A CN201911038690 A CN 201911038690A CN 110781840 A CN110781840 A CN 110781840A
Authority
CN
China
Prior art keywords
nose
area
current
current face
skin color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911038690.9A
Other languages
English (en)
Other versions
CN110781840B (zh
Inventor
马国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Monternet Encyclopedia Information Technology Co Ltd
Original Assignee
Shenzhen Monternet Encyclopedia Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Monternet Encyclopedia Information Technology Co Ltd filed Critical Shenzhen Monternet Encyclopedia Information Technology Co Ltd
Priority to CN201911038690.9A priority Critical patent/CN110781840B/zh
Publication of CN110781840A publication Critical patent/CN110781840A/zh
Application granted granted Critical
Publication of CN110781840B publication Critical patent/CN110781840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于肤色检测的鼻头定位方法和系统。本发明方法利用肤色检测和鼻部区域的色度幅值低的特点，缩减搜索范围，避免全图对比度计算，减少计算量；进一步地，利用人脸检测区域定位点及人脸鼻头区域，进行一致性判定，可进一步删除误判，以提升鼻头定位技术的时效性。

Description

一种基于肤色检测的鼻头定位方法和系统
技术领域
本发明涉及视频编码技术领域，尤其涉及一种基于肤色检测的鼻头定位方法和系统。
背景技术
随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。无论是人脸视频检索、还是在线视频美颜，精确快速的五官定位技术都会增强其事半功倍的效果。目前主流的专设图像五官定位技术，计算量大，制约了算法的在线使用和二次开发效率。
发明内容
本发明实施例的目的在于提出一种基于肤色检测的鼻头定位方法，旨在解决现有技术图像五官定位计算量大的问题。
本发明实施例是这样实现的，一种基于肤色检测的鼻头定位方法，所述方法包括：
步骤E，根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域；
步骤F，根据鼻部分析模式和补偿区域划定鼻头待定区域；
步骤G，对鼻头待定区域，利用对比度及色度信息进行鼻头定位，确定鼻头区域。
进一步地，所述步骤E之前还包括：
步骤C，确定图像中的待定人脸区域；
步骤D，为当前人脸检测区域和补偿区域赋初值；
所述步骤G之后还包括：
步骤I，如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进步骤K；否则直接进入步骤K；
步骤K，如果下一个待定的人脸区域不存在，则结束；否则，设置当前人脸检测区域为下一个待定的人脸区域，然后重回所述步骤E。
进一步地，所述步骤I替换为步骤I’，步骤I’之后还包括步骤J,
步骤I’，如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入所述步骤K；否则进入步骤J；
步骤J，对人脸和五官检测结果与实际情况进行一致性判定。
本发明实施例的另一目的在于提出一种基于肤色检测的鼻头定位系统。
所述系统包括：
鼻部分析模式及补偿区域设置模块，用于根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域；
鼻头待定区域划定装置，用于根据鼻部分析模式和补偿区域划定鼻头待定区域；
鼻头区域确定装置，用于对鼻头待定区域，利用对比度及色度信息，进行鼻头定位，确定鼻头区域。
进一步地，所述系统还包括：
待定人脸区域确定模块，用于确定图像中的待定人脸区域；
第一赋初值模块，用于为当前人脸检测区域和补偿区域赋初值；
第一判断处理模块，用于判断如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入第五判断处理模块；否则直接进入第五判断处理模块。
第五判断处理模块，用于判断若下一个待定的人脸区域不存在，则结束；否则，设置当前人脸检测区域为下一个待定的人脸区域，然后重回鼻部分析模式及补偿区域设置模块。
进一步地，所述第一判断处理模块替换为第四判断处理模块，
第四判断处理模块，用于判断如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入第五判断处理模块；否则进入一致性判定装置；
所述基于肤色检测的鼻头定位系统还包括一致性判定装置，与所述第四判断处理模块相连，用于利用人脸检测区域定位点及鼻头区域，进行一致性判定。
本发明的有益效果
本发明提出一种基于肤色检测的鼻头定位方法和系统。本发明方法利用肤色检测和鼻部区域的色度幅值低的特点，缩减搜索范围，避免全图对比度计算，减少计算量；进一步地，利用人脸检测区域定位点及人脸鼻头区域，进行一致性判定，可进一步删除误判，以提升鼻头定位技术的时效性。
附图说明
图1是本发明优选实施例一种基于肤色检测的鼻头定位方法流程图；
图2是图1中Step4的详细方法流程图；
图3是图1中Step5的详细方法流程图；
图4是本发明优选实施例一种基于肤色检测的鼻头定位系统结构图；
图5是图4中鼻头待定区域划定装置结构图；
图6是图4中鼻头区域确定装置结构图；
图7是本发明优选实施例另一种基于肤色检测的鼻头定位系统结构图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明提出一种基于肤色检测的鼻头定位方法和系统。本发明方法利用肤色检测和鼻部区域的色度幅值低的特点，缩减搜索范围，避免全图对比度计算，减少计算量；进一步地，利用人脸检测区域定位点及人脸鼻头区域，进行一致性判定，可进一步删除误判，以提升鼻头定位技术的时效性。
实施例一
图1是本发明优选实施例一种基于肤色检测的鼻头定位方法流程图；所述方法包括：
Step1，确定图像中的待定人脸区域；
具体为：判断当前图像中每个块是否为肤色块；如果当前图像不存在肤色块，则直接结束(无需鼻头定位)；否则，将连通的肤色块作为一个待定人脸区域；
肤色判定方法采用本技术领域常规的以块为单位的肤色判定方法，在此不再赘述。
Step2，为当前人脸检测区域和补偿区域赋初值；
具体为：当前人脸检测区域赋初值为第一个待定人脸区域、补偿区域赋初值为空集；
Step3，根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域；
具体为：
首先判断当前人脸检测区域内侧是否存在非肤色块，若存在非肤色块则设置鼻部分析模式为第一分析模式，扩展所述待定人脸区域为连通的肤色区域内所有的块，同时将满足补偿区域条件的所有块划入当前补偿区域；否则设置鼻部分析模式为第二分析模式；
所述补偿区域条件为：
块在所述肤色判定中判定为非肤色，且块位于当前人脸检测区域所包围的图像区域内，且块位于下半部当前人脸检测区域。
Step4，根据鼻部分析模式和补偿区域划定鼻头待定区域；
具体为：如果鼻部分析模式为第二模式或者当前补偿区域为空，则根据当前人脸检测区域特点划定当前人脸鼻头待定区域；否则，设置当前人脸鼻头待定区域为当前补偿区域；
图2是图1中Step4的详细方法流程图；
所述根据当前人脸检测区域特点划定当前人脸鼻头待定区域包括以下步骤：
步骤A1：确定四个当前人脸检测区域定位点。
所述四个当前人脸检测区域定位点行列号获取方法如下：
第一定位点行列号ifu、jfu：找到当前人脸检测区域中具有最小行号的所有肤色块，记该最小行号为ifu，记所述具有最小行号的所有肤色块列号的中位数为jfu；
第二定位点行列号ifl、jfl：找到当前人脸检测区域中具有最小列号的所有肤色块，记该最小列号为jfl，记所述具有最小列号的所有肤色块行号的中位数为ifl；
第三定位点行列号ifr、jfr：找到当前人脸检测区域中具有最大列号的所有肤色块，记该最大列号为jfr，记所述具有最大列号的所有肤色块行号的中位数为ifr；
第四定位点行号ifd：找到当前人脸检测区域中具有最大行号的所有肤色块，记该最大行号为ifd。
步骤A2：设置初始值is＝ifu+int((ifd-ifu)*2/3)、id＝ifd、js＝jfl-const、jd＝jfr+const。
其中，is、id、js、jd分别表示当前人脸鼻头待定区域起始行号、中止行号、起始列号、中止列号；int取整运算；const表示位移常量，一般可选1≤const≤3。
步骤A3:根据当前人脸检测区域定位点，调整当前人脸鼻头待定区域起止行列号。具体方法如下：
如果(jfr-jfu)/(jfu-jfl)＞Thres，则令js＝jfl+int((jfr-jfl)/2)，mode＝1；否则如果(jfu-jfl)/(jfr-jfu)＞Thres，则令jd＝jfl+int((jfr-jfl)/2)，mode＝2；否则，则令js＝jfl+int((jfr-jfl)/3)、jd＝jfl+int((jfr-jfl)*2/3)，mode＝3。
其中，mode表示当前人脸检测区域定位点分量变量。
步骤A4：将当前人脸检测区域内满足当前人脸鼻头待定区域起止行列号的块确定为当前人脸鼻头待定区域。
Step5，对鼻头待定区域，利用对比度及色度信息，进行鼻头定位，确定鼻头区域。
图3是图1中Step5的详细方法流程图；包括以下步骤：
步骤B1：首先计算当前人脸鼻头待定区域内每个块的色度幅值Intensityuv，接着，将当前人脸鼻头待定区域内每个块，按照其色度幅值升序排列。
其中，
Figure BDA0002252259750000051
sum表示求和；
Figure BDA0002252259750000052
分别表示当前人脸鼻头待定区域内第n个块第i行第j列像素的亮度、u色度、v色度值。
步骤B2：设置当前鼻头检测块为当前人脸鼻头待定区域内具有最小色度幅值对应的块。
步骤B3：计算当前鼻头检测块的k峰值
Figure BDA0002252259750000053
其中，cons位移整数常量，1≤cons＜N-1；0≤k＜(2N-1＞＞cons)；＞＞表示右位移运算；N表示当前图像每个像素亮度比特精度；pn(k)是当前鼻头检测块(当前人脸鼻头待定区域内第n个块)的k峰值。
步骤B4：找到pn(k)中最大
Figure BDA0002252259750000054
第二大
Figure BDA0002252259750000055
第三大
Figure BDA0002252259750000056
并记上述三个值对应的k峰值，记为kmax1、kmax2、kmax3。
步骤B5：如果(abs(kmax1-kmax2)＜＜cons)＞Thres1且
Figure BDA0002252259750000057
则将当前鼻头检测块判定为鼻头区域，然后将当前鼻头检测块划入当前人脸鼻头区域，并将其从当前人脸鼻头待定区域内删除，接着进入步骤B6；否则，则当前鼻头检测块判定为非鼻头区域，进入Step6。
其中，abs表示求绝对值运算；Thres1、Thres2表示第一、第二阈值，Thres1＞128、0＜Thres2≤0.5；＜＜表示左位移运算。
步骤B6：若当前人脸鼻头待定区域非空，则重新进入步骤B2；否则，进入Step6。
Step6，如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入Step8；否则直接进入Step8。
Step8，如果下一个待定的人脸区域不存在，则结束；否则，设置当前人脸检测区域为下一个待定的人脸区域，然后重回Step3。
为进一步删除误判，以提升鼻头定位技术的时效性，本发明实施例还可进一步对人脸和五官检测结果与实际情况进行一致性判定，此时，Step6替换为Step6’，增加Step7；
Step6’，如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入Step8；否则进入Step7。
Step7，对人脸和五官检测结果与实际情况进行一致性判定。
具体方法如下：
第一步(前处理)：首先将当前人脸鼻头区域，利用业内公开的方法，进行二值化处理；然后将所有二值化为0的邻接像素标识为一个中心；
第二步(一级一致性判定)：若当前人脸鼻头区域具有多于两个中心，则改判当前人脸检测区域为非人脸，进入Step8；否则，进入第三步二级一致性判定；
第三步(二级一致性判定)：如果(mode＝1且sizel≤sizer)或者(mode＝2且sizer≤sizel)或者(mode＝3且abs(sizer-sizel)＞Thres3)则改判当前人脸检测区域为非人脸，进入Step8；否则直接进入Step8。
其中，sizel、sizer分别表示左右两个中心包含的像素数量；左中心表示具有较小列号的像素所处的中心、右中心表示具有较大列号的像素所处的中心；Thres3表示第三阈值，一般可选Thres3＞1/8*min(sizel,sizer)；min表示求最小值。
实施例二
图4是本发明优选实施例一种基于肤色检测的鼻头定位系统结构图；所述系统包括：
待定人脸区域确定模块，用于确定图像中的待定人脸区域；
具体为：判断当前图像中每个块是否为肤色块；如果当前图像不存在肤色块，则直接结束(无需鼻头定位)；否则，将连通的肤色块作为一个待定人脸区域；
肤色判定方法采用本技术领域常规的以块为单位的肤色判定方法，在此不再赘述。
第一赋初值模块，用于为当前人脸检测区域和补偿区域赋初值；
具体为：当前人脸检测区域赋初值为第一个待定人脸区域、补偿区域赋初值为空集；
鼻部分析模式及补偿区域设置模块，用于根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域；
具体为：首先判断当前人脸检测区域内侧是否存在非肤色块，若存在非肤色块则设置鼻部分析模式为第一分析模式，扩展所述待定人脸区域为连通的肤色区域内所有的块，同时将满足补偿区域条件的所有块划入当前补偿区域；否则设置鼻部分析模式为第二分析模式；
所述补偿区域条件为：块在所述肤色判定中判定为非肤色，且块位于当前人脸检测区域所包围的图像区域内，且块位于下半部当前人脸检测区域。
鼻头待定区域划定装置，用于根据鼻部分析模式和补偿区域划定鼻头待定区域；
具体为：如果鼻部分析模式为第二模式或者当前补偿区域为空，则根据当前人脸检测区域特点划定当前人脸鼻头待定区域；否则，设置当前人脸鼻头待定区域为当前补偿区域；
鼻头区域确定装置，用于对鼻头待定区域，利用对比度及色度信息，进行鼻头定位，确定鼻头区域。
第一判断处理模块，用于判断如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入第五判断处理模块；否则直接进入第五判断处理模块。
第五判断处理模块，用于判断若下一个待定的人脸区域不存在，则结束；否则，设置当前人脸检测区域为下一个待定的人脸区域，然后重回鼻部分析模式及补偿区域设置模块。
进一步地，图5是图4中鼻头待定区域划定装置结构图；所述鼻头待定区域划定装置包括：
人脸检测区域定位点确定模块，用于确定四个当前人脸检测区域定位点。
所述四个当前人脸检测区域定位点行列号获取方法如下：
第一定位点行列号ifu、jfu：找到当前人脸检测区域中具有最小行号的所有肤色块，记该最小行号为ifu，记所述具有最小行号的所有肤色块列号的中位数为jfu；
第二定位点行列号ifl、jfl：找到当前人脸检测区域中具有最小列号的所有肤色块，记该最小列号为jfl，记所述具有最小列号的所有肤色块行号的中位数为ifl；
第三定位点行列号ifr、jfr：找到当前人脸检测区域中具有最大列号的所有肤色块，记该最大列号为jfr，记所述具有最大列号的所有肤色块行号的中位数为ifr；
第四定位点行号ifd：找到当前人脸检测区域中具有最大行号的所有肤色块，记该最大行号为ifd。
第二赋初值模块，用于设置初始值is＝ifu+int((ifd-ifu)*2/3)、id＝ifd、js＝jfl-const、jd＝jfr+const。
其中，is、id、js、jd分别表示当前人脸鼻头待定区域起始行号、中止行号、起始列号、中止列号；int取整运算；const表示位移常量，一般可选1≤const≤3。
鼻头待定区域起止行列号调整模块，用于根据当前人脸检测区域定位点，调整当前人脸鼻头待定区域起止行列号。
具体方法如下：
如果(jfr-jfu)/(jfu-jfl)＞Thres，则令js＝jfl+int((jfr-jfl)/2)，mode＝1；否则如果(jfu-jfl)/(jfr-jfu)＞Thres，则令jd＝jfl+int((jfr-jfl)/2)，mode＝2；否则，则令js＝jfl+int((jfr-jfl)/3)、jd＝jfl+int((jfr-jfl)*2/3)，mode＝3。
其中，mode表示当前人脸检测区域定位点分量变量。
鼻头待定区域确定模块，用于将当前人脸检测区域内满足当前人脸鼻头待定区域起止行列号的块确定为当前人脸鼻头待定区域。
进一步地，图6是图4中鼻头区域确定装置结构图。所述鼻头区域确定装置包括：
鼻头待定区域块排序模块，用于首先计算当前人脸鼻头待定区域内每个块的色度幅值Intensityuv，接着，将当前人脸鼻头待定区域内每个块，按照其色度幅值升序排列。
其中，
Figure BDA0002252259750000081
sum表示求和；分别表示当前人脸鼻头待定区域内第n个块第i行第j列像素的亮度、u色度、v色度值。
鼻头检测块设置模块，用于设置当前鼻头检测块为当前人脸鼻头待定区域内具有最小色度幅值对应的块。
鼻头检测块k峰值模块，用于计算当前鼻头检测块的k峰值
Figure BDA0002252259750000083
其中，cons位移整数常量，1≤cons＜N-1；0≤k＜(2N-1＞＞cons)；＞＞表示右位移运算；N表示当前图像每个像素亮度比特精度；pn(k)是当前鼻头检测块(当前人脸鼻头待定区域内第n个块)的k峰值。
K峰值查找模块，用于找到pn(k)中最大
Figure BDA0002252259750000091
第二大
Figure BDA0002252259750000092
第三大
Figure BDA0002252259750000093
并记上述三个值对应的k峰值，记为kmax1、kmax2、kmax3。
第二判断处理模块，用于判断如果(abs(kmax1-kmax2)＜＜cons)＞Thres1且
Figure BDA0002252259750000094
则将当前鼻头检测块判定为鼻头区域，然后将当前鼻头检测块划入当前人脸鼻头区域，并将其从当前人脸鼻头待定区域内删除，接着进入第三判断处理模块；否则，则当前鼻头检测块判定为非鼻头区域，进入第一判断处理模块。
其中，abs表示求绝对值运算；Thres1、Thres2表示第一、第二阈值，Thres1＞128、0＜Thres2≤0.5；＜＜表示左位移运算。
第三判断处理模块，用于判断若当前人脸鼻头待定区域非空，则重新进入鼻头检测块设置模块；否则，进入第一判断处理模块。
图7是本发明优选实施例另一种基于肤色检测的鼻头定位系统结构图；进一步地，所述第一判断处理模块可替换为第四判断处理模块，所述基于肤色检测的鼻头定位系统还包括一致性判定装置，与所述第四判断处理模块相连，用于利用人脸检测区域定位点及鼻头区域，进行一致性判定。
第四判断处理模块，用于判断如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入第五判断处理模块；否则进入一致性判定装置。
一致性判定装置，包括前处理模块、一级一致性判定模块、二级一致性判定模块，
前处理模块，用于首先将当前人脸鼻头区域，利用业内公开的方法，进行二值化处理；然后将所有二值化为0的邻接像素标识为一个中心；
一级一致性判定模块，与前处理模块相连，用于判断若当前人脸鼻头区域具有多于两个中心，则改判当前人脸检测区域为非人脸，进入第五判断处理模块；否则，进入二级一致性判定模块；
二级一致性判定模块，用于判断如果(mode＝1且sizel≤sizer)或者(mode＝2且sizer≤sizel)或者(mode＝3且abs(sizer-sizel)＞Thres3)则改判当前人脸检测区域为非人脸，进入第五判断处理模块；否则直接进入第五判断处理模块。
其中，sizel、sizer分别表示左右两个中心包含的像素数量；左中心表示具有较小列号的像素所处的中心、右中心表示具有较大列号的像素所处的中心；Thres3表示第三阈值，一般可选Thres3＞1/8*min(sizel,sizer)；min表示求最小值。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种基于肤色检测的鼻头定位方法，其特征在于，所述方法包括：
步骤E，根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域；
步骤F，根据鼻部分析模式和补偿区域划定鼻头待定区域；
步骤G，对鼻头待定区域，利用对比度及色度信息进行鼻头定位，确定鼻头区域。
2.如权利要求1所述的基于肤色检测的鼻头定位方法，其特征在于，
所述步骤E之前还包括：
步骤C，确定图像中的待定人脸区域；
步骤D，为当前人脸检测区域和补偿区域赋初值；
所述步骤G之后还包括：
步骤I，如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进步骤K；否则直接进入步骤K；
步骤K，如果下一个待定的人脸区域不存在，则结束；否则，设置当前人脸检测区域为下一个待定的人脸区域，然后重回所述步骤E。
3.如权利要求2所述的基于肤色检测的鼻头定位方法，其特征在于，
所述步骤I替换为步骤I’，步骤I’之后还包括步骤J,
步骤I’，如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入所述步骤K；否则进入步骤J；
步骤J，对人脸和五官检测结果与实际情况进行一致性判定。
4.如权利要求3所述的基于肤色检测的鼻头定位方法，其特征在于，所述确定图像中的待定人脸区域具体为：
判断当前图像中每个块是否为肤色块；如果当前图像不存在肤色块，则直接结束；否则，将连通的肤色块作为一个待定人脸区域；
所述当前人脸检测区域赋初值为第一个待定人脸区域；所述补偿区域赋初值为空集。
5.如权利要求4所述的基于肤色检测的鼻头定位方法，其特征在于，所述根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域具体为：
首先判断当前人脸检测区域内侧是否存在非肤色块，若存在非肤色块则设置鼻部分析模式为第一分析模式，扩展所述待定人脸区域为连通的肤色区域内所有的块，同时将满足补偿区域条件的所有块划入当前补偿区域；否则设置鼻部分析模式为第二分析模式；
所述补偿区域条件为：块在所述肤色判定中判定为非肤色，且块位于当前人脸检测区域所包围的图像区域内，且块位于下半部当前人脸检测区域。
6.如权利要求5所述的基于肤色检测的鼻头定位方法，其特征在于，所述根据鼻部分析模式和补偿区域划定鼻头待定区域具体为：
如果鼻部分析模式为第二模式或者当前补偿区域为空，则根据当前人脸检测区域特点划定当前人脸鼻头待定区域；否则，设置当前人脸鼻头待定区域为当前补偿区域；
所述根据当前人脸检测区域特点划定当前人脸鼻头待定区域包括：
步骤A1：确定四个当前人脸检测区域定位点；
所述四个当前人脸检测区域定位点行列号获取方法如下：
第一定位点行列号ifu、jfu：找到当前人脸检测区域中具有最小行号的所有肤色块，记该最小行号为ifu，记所述具有最小行号的所有肤色块列号的中位数为jfu；
第二定位点行列号ifl、jfl：找到当前人脸检测区域中具有最小列号的所有肤色块，记该最小列号为jfl，记所述具有最小列号的所有肤色块行号的中位数为ifl；
第三定位点行列号ifr、jfr：找到当前人脸检测区域中具有最大列号的所有肤色块，记该最大列号为jfr，记所述具有最大列号的所有肤色块行号的中位数为ifr；
第四定位点行号ifd：找到当前人脸检测区域中具有最大行号的所有肤色块，记该最大行号为ifd；
步骤A2：设置初始值is＝ifu+int((ifd-ifu)*2/3)、id＝ifd、js＝jfl-const、jd＝jfr+const；
其中，is、id、js、jd分别表示当前人脸鼻头待定区域起始行号、中止行号、起始列号、中止列号；int取整运算；const表示位移常量，1≤const≤3；
步骤A3:根据当前人脸检测区域定位点，调整当前人脸鼻头待定区域起止行列号；具体为：
如果(jfr-jfu)/(jfu-jfl)＞Thres，则令js＝jfl+int((jfr-jfl)/2)，mode＝1；否则如果(jfu-jfl)/(jfr-jfu)＞Thres，则令jd＝jfl+int((jfr-jfl)/2)，mode＝2；否则，则令js＝jfl+int((jfr-jfl)/3)、jd＝jfl+int((jfr-jfl)*2/3)，mode＝3；
其中，mode表示当前人脸检测区域定位点分量变量；
步骤A4：将当前人脸检测区域内满足当前人脸鼻头待定区域起止行列号的块确定为当前人脸鼻头待定区域。
7.如权利要求6所述的基于肤色检测的鼻头定位方法，其特征在于，所述对鼻头待定区域，利用对比度及色度信息，进行鼻头定位，确定鼻头区域包括：
步骤B1：首先计算当前人脸鼻头待定区域内每个块的色度幅值Intensityuv，接着，将当前人脸鼻头待定区域内每个块，按照其色度幅值升序排列；
其中，
Figure FDA0002252259740000031
sum表示求和；
Figure FDA0002252259740000032
分别表示当前人脸鼻头待定区域内第n个块第i行第j列像素的亮度、u色度、v色度值；
步骤B2：设置当前鼻头检测块为当前人脸鼻头待定区域内具有最小色度幅值对应的块；
步骤B3：计算当前鼻头检测块的k峰值
Figure FDA0002252259740000033
其中，cons位移整数常量，1≤cons＜N-1；0≤k＜(2N-1＞＞cons)；＞＞表示右位移运算；N表示当前图像每个像素亮度比特精度；pn(k)表示当前鼻头检测块的k峰值；
步骤B4：找到pn(k)中最大
Figure FDA0002252259740000034
第二大
Figure FDA0002252259740000035
第三大
Figure FDA0002252259740000036
并记上述三个值对应的k峰值，记为kmax1、kmax2、kmax3；
步骤B5：如果(abs(kmax1-kmax2)＜＜cons)＞Thres1且
Figure FDA0002252259740000037
则将当前鼻头检测块判定为鼻头区域，然后将当前鼻头检测块划入当前人脸鼻头区域，并将其从当前人脸鼻头待定区域内删除，接着进入步骤B6；否则，则当前鼻头检测块判定为非鼻头区域，进入所述步骤I；
其中，abs表示求绝对值运算；Thres1、Thres2表示第一、第二阈值，Thres1＞128、0＜Thres2≤0.5；＜＜表示左位移运算；
步骤B6：若当前人脸鼻头待定区域非空，则重新进入步骤B2；否则，进入所述步骤I。
8.如权利要求7所述的基于肤色检测的鼻头定位方法，其特征在于，
所述对人脸和五官检测结果与实际情况进行一致性判定包括以下步骤：
第一步：首先将当前人脸鼻头区域，利用业内公开的方法，进行二值化处理；然后将所有二值化为0的邻接像素标识为一个中心；
第二步：若当前人脸鼻头区域具有多于两个中心，则改判当前人脸检测区域为非人脸，进入步骤K；否则，进入第三步二级一致性判定；
第三步：如果(mode＝1且sizel≤sizer)或者(mode＝2且sizer≤sizel)或者(mode＝3且abs(sizer-sizel)＞Thres3)则改判当前人脸检测区域为非人脸，进入步骤K；否则直接进入步骤K；
其中，sizel、sizer分别表示左右两个中心包含的像素数量；左中心表示具有较小列号的像素所处的中心、右中心表示具有较大列号的像素所处的中心；Thres3表示第三阈值，Thres3＞1/8*min(sizel,sizer)；min表示求最小值。
9.一种基于肤色检测的鼻头定位系统，其特征在于，所述系统包括：
鼻部分析模式及补偿区域设置模块，用于根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域；
鼻头待定区域划定装置，用于根据鼻部分析模式和补偿区域划定鼻头待定区域；
鼻头区域确定装置，用于对鼻头待定区域，利用对比度及色度信息，进行鼻头定位，确定鼻头区域。
10.如权利要求9所述的基于肤色检测的鼻头定位系统，其特征在于，所述系统还包括：
待定人脸区域确定模块，用于确定图像中的待定人脸区域；
第一赋初值模块，用于为当前人脸检测区域和补偿区域赋初值；
第一判断处理模块，用于判断如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入第五判断处理模块；否则直接进入第五判断处理模块。
第五判断处理模块，用于判断若下一个待定的人脸区域不存在，则结束；否则，设置当前人脸检测区域为下一个待定的人脸区域，然后重回鼻部分析模式及补偿区域设置模块。
11.如权利要求10所述的基于肤色检测的鼻头定位系统，其特征在于，所述第一判断处理模块替换为第四判断处理模块，
第四判断处理模块，用于判断如果当前人脸鼻头区域为空集，则判定当前人脸检测区域为非人脸，进入第五判断处理模块；否则进入一致性判定装置；
所述基于肤色检测的鼻头定位系统还包括一致性判定装置，与所述第四判断处理模块相连，用于利用人脸检测区域定位点及鼻头区域，进行一致性判定。
12.如权利要求11所述的基于肤色检测的鼻头定位系统，其特征在于，
待定人脸区域确定模块中，用于确定图像中的待定人脸区域具体为：判断当前图像中每个块是否为肤色块；如果当前图像不存在肤色块，则直接结束；否则，将连通的肤色块作为一个待定人脸区域；
第一赋初值模块中，用于为当前人脸检测区域和补偿区域赋初值具体为：当前人脸检测区域赋初值为第一个待定人脸区域、补偿区域赋初值为空集；
鼻部分析模式及补偿区域设置模块中，用于根据人脸检测区域内侧是否存在非肤色块设置鼻部分析模式，并更新补偿区域具体为：首先判断当前人脸检测区域内侧是否存在非肤色块，若存在非肤色块则设置鼻部分析模式为第一分析模式，扩展所述待定人脸区域为连通的肤色区域内所有的块，同时将满足补偿区域条件的所有块划入当前补偿区域；否则设置鼻部分析模式为第二分析模式；
所述补偿区域条件为：块在所述肤色判定中判定为非肤色，且块位于当前人脸检测区域所包围的图像区域内，且块位于下半部当前人脸检测区域。
鼻头待定区域划定装置中，用于根据鼻部分析模式和补偿区域划定鼻头待定区域具体为：如果鼻部分析模式为第二模式或者当前补偿区域为空，则根据当前人脸检测区域特点划定当前人脸鼻头待定区域；否则，设置当前人脸鼻头待定区域为当前补偿区域。
13.如权利要求12所述的基于肤色检测的鼻头定位系统，其特征在于，所述鼻头待定区域划定装置包括：
人脸检测区域定位点确定模块，用于确定四个当前人脸检测区域定位点。
所述四个当前人脸检测区域定位点行列号获取方法如下：
第一定位点行列号ifu、jfu：找到当前人脸检测区域中具有最小行号的所有肤色块，记该最小行号为ifu，记所述具有最小行号的所有肤色块列号的中位数为jfu；
第二定位点行列号ifl、jfl：找到当前人脸检测区域中具有最小列号的所有肤色块，记该最小列号为jfl，记所述具有最小列号的所有肤色块行号的中位数为ifl；
第三定位点行列号ifr、jfr：找到当前人脸检测区域中具有最大列号的所有肤色块，记该最大列号为jfr，记所述具有最大列号的所有肤色块行号的中位数为ifr；
第四定位点行号ifd：找到当前人脸检测区域中具有最大行号的所有肤色块，记该最大行号为ifd；
第二赋初值模块，用于设置初始值is＝ifu+int((ifd-ifu)*2/3)、id＝ifd、js＝jfl-const、jd＝jfr+const；
其中，is、id、js、jd分别表示当前人脸鼻头待定区域起始行号、中止行号、起始列号、中止列号；int取整运算；const表示位移常量，1≤const≤3；
鼻头待定区域起止行列号调整模块，用于根据当前人脸检测区域定位点，调整当前人脸鼻头待定区域起止行列号；
具体方法如下：
如果(jfr-jfu)/(jfu-jfl)＞Thres，则令js＝jfl+int((jfr-jfl)/2)，mode＝1；否则如果(jfu-jfl)/(jfr-jfu)＞Thres，则令jd＝jfl+int((jfr-jfl)/2)，mode＝2；否则，则令js＝jfl+int((jfr-jfl)/3)、jd＝jfl+int((jfr-jfl)*2/3)，mode＝3。
其中，mode表示当前人脸检测区域定位点分量变量；
鼻头待定区域确定模块，用于将当前人脸检测区域内满足当前人脸鼻头待定区域起止行列号的块确定为当前人脸鼻头待定区域。
14.如权利要求13所述的基于肤色检测的鼻头定位系统，其特征在于，
所述鼻头区域确定装置包括：
鼻头待定区域块排序模块，用于首先计算当前人脸鼻头待定区域内每个块的色度幅值Intensityuv，接着，将当前人脸鼻头待定区域内每个块，按照其色度幅值升序排列；
其中，
Figure FDA0002252259740000061
sum表示求和；
Figure FDA0002252259740000062
分别表示当前人脸鼻头待定区域内第n个块第i行第j列像素的亮度、u色度、v色度值；
鼻头检测块设置模块，用于设置当前鼻头检测块为当前人脸鼻头待定区域内具有最小色度幅值对应的块；
鼻头检测块k峰值模块，用于计算当前鼻头检测块的k峰值
Figure FDA0002252259740000063
其中，cons位移整数常量，1≤cons＜N-1；0≤k＜(2N-1＞＞cons)；＞＞表示右位移运算；N表示当前图像每个像素亮度比特精度；pn(k)是当前鼻头检测块的k峰值；
K峰值查找模块，用于找到pn(k)中最大
Figure FDA0002252259740000064
第二大
Figure FDA0002252259740000065
第三大
Figure FDA0002252259740000066
并记上述三个值对应的k峰值，记为kmax1、kmax2、kmax3；
第二判断处理模块，用于判断如果(abs(kmax1-kmax2)＜＜cons)＞Thres1且
Figure FDA0002252259740000067
则将当前鼻头检测块判定为鼻头区域，然后将当前鼻头检测块划入当前人脸鼻头区域，并将其从当前人脸鼻头待定区域内删除，接着进入第三判断处理模块；否则，则当前鼻头检测块判定为非鼻头区域，进入第一判断处理模块。
其中，abs表示求绝对值运算；Thres1、Thres2表示第一、第二阈值，Thres1＞128、0＜Thres2≤0.5；＜＜表示左位移运算。
第三判断处理模块，用于判断若当前人脸鼻头待定区域非空，则重新进入鼻头检测块设置模块；否则，进入第一判断处理模块。
15.如权利要求14所述的基于肤色检测的鼻头定位系统，其特征在于，
所述一致性判定装置包括前处理模块、一级一致性判定模块、二级一致性判定模块，
前处理模块，用于首先将当前人脸鼻头区域，利用业内公开的方法，进行二值化处理；然后将所有二值化为0的邻接像素标识为一个中心；
一级一致性判定模块，与前处理模块相连，用于判断若当前人脸鼻头区域具有多于两个中心，则改判当前人脸检测区域为非人脸，进入第五判断处理模块；否则，进入二级一致性判定模块；
二级一致性判定模块，用于判断如果(mode＝1且sizel≤sizer)或者(mode＝2且sizer≤sizel)或者(mode＝3且abs(sizer-sizel)＞Thres3)则改判当前人脸检测区域为非人脸，进入第五判断处理模块；否则直接进入第五判断处理模块；
其中，sizel、sizer分别表示左右两个中心包含的像素数量；左中心表示具有较小列号的像素所处的中心、右中心表示具有较大列号的像素所处的中心；Thres3表示第三阈值，Thres3＞1/8*min(sizel,sizer)；min表示求最小值。
CN201911038690.9A 2019-10-29 2019-10-29 一种基于肤色检测的鼻头定位方法和系统 Active CN110781840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911038690.9A CN110781840B (zh) 2019-10-29 2019-10-29 一种基于肤色检测的鼻头定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911038690.9A CN110781840B (zh) 2019-10-29 2019-10-29 一种基于肤色检测的鼻头定位方法和系统

Publications (2)

Publication Number Publication Date
CN110781840A true CN110781840A (zh) 2020-02-11
CN110781840B CN110781840B (zh) 2022-08-26

Family

ID=69387450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911038690.9A Active CN110781840B (zh) 2019-10-29 2019-10-29 一种基于肤色检测的鼻头定位方法和系统

Country Status (1)

Country Link
CN (1) CN110781840B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461073A (zh) * 2020-05-06 2020-07-28 深圳市梦网视讯有限公司 一种基于鼻头定位的反向人脸检测方法、系统及设备
CN111815653A (zh) * 2020-07-08 2020-10-23 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
CN107516067A (zh) * 2017-07-21 2017-12-26 深圳市梦网百科信息技术有限公司 一种基于肤色检测的人眼定位方法和系统
WO2018082389A1 (zh) * 2016-11-02 2018-05-11 华为技术有限公司 一种肤色检测方法、装置及终端
CN109271922A (zh) * 2018-09-13 2019-01-25 深圳市梦网百科信息技术有限公司 一种基于对比度的鼻部定位方法和系统
CN109446967A (zh) * 2018-10-22 2019-03-08 深圳市梦网百科信息技术有限公司 一种基于压缩信息的人脸检测方法和系统
CN109492545A (zh) * 2018-10-22 2019-03-19 深圳市梦网百科信息技术有限公司 一种基于场景及压缩信息的五官定位方法和系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031173A1 (en) * 2003-06-20 2005-02-10 Kyungtae Hwang Systems and methods for detecting skin, eye region, and pupils
CN101916370A (zh) * 2010-08-31 2010-12-15 上海交通大学 人脸检测中非特征区域图像处理的方法
CN103077368A (zh) * 2011-10-25 2013-05-01 上海银晨智能识别科技有限公司 人脸图像的嘴部定位方法与装置、嘴形识别方法及系统
WO2018082389A1 (zh) * 2016-11-02 2018-05-11 华为技术有限公司 一种肤色检测方法、装置及终端
CN107516067A (zh) * 2017-07-21 2017-12-26 深圳市梦网百科信息技术有限公司 一种基于肤色检测的人眼定位方法和系统
CN109271922A (zh) * 2018-09-13 2019-01-25 深圳市梦网百科信息技术有限公司 一种基于对比度的鼻部定位方法和系统
CN109446967A (zh) * 2018-10-22 2019-03-08 深圳市梦网百科信息技术有限公司 一种基于压缩信息的人脸检测方法和系统
CN109492545A (zh) * 2018-10-22 2019-03-19 深圳市梦网百科信息技术有限公司 一种基于场景及压缩信息的五官定位方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张立刚等: "基于肤色模型和区域特征的人脸检测方法", 《计算机工程》 *
徐翠等: "基于YCbCr空间的高斯肤色模型的人脸检测", 《软件导刊》 *
李敏跃: "人脸识别系统研究与实现", 《广西工学院学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461073A (zh) * 2020-05-06 2020-07-28 深圳市梦网视讯有限公司 一种基于鼻头定位的反向人脸检测方法、系统及设备
CN111461073B (zh) * 2020-05-06 2023-12-08 深圳市梦网视讯有限公司 一种基于鼻头定位的反向人脸检测方法、系统及设备
CN111815653A (zh) * 2020-07-08 2020-10-23 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统和设备
CN111815653B (zh) * 2020-07-08 2024-01-30 深圳市梦网视讯有限公司 一种人脸与身体肤色区域的分割方法、系统和设备

Also Published As

Publication number Publication date
CN110781840B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN112464814A (zh) 视频处理方法、装置、电子设备及存储介质
Guo et al. Hierarchical method for foreground detection using codebook model
US7657090B2 (en) Region detecting method and region detecting apparatus
JP5166409B2 (ja) 映像処理方法および映像処理装置
WO2019114036A1 (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN102214293B (zh) 面部群集设备、面部群集方法和程序
CN104766076B (zh) 一种视频图像文字的检测方法和装置
CN110781840B (zh) 一种基于肤色检测的鼻头定位方法和系统
CN108021908B (zh) 人脸年龄段识别方法及装置、计算机装置及可读存储介质
CN110807402B (zh) 一种基于肤色检测的五官定位方法、系统和终端设备
CN110276756A (zh) 路面裂缝检测方法、装置及设备
CN103312963A (zh) 图像处理设备和图像处理方法
CN107506691B (zh) 一种基于肤色检测的唇部定位方法和系统
CN105426816A (zh) 一种处理人脸图像的方法及装置
CN117011563B (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
CN107563278B (zh) 一种基于肤色检测的快速眼唇定位方法和系统
Heng et al. How to assess the quality of compressed surveillance videos using face recognition
CN111008608A (zh) 一种基于深度学习的夜间车辆检测方法
CN115880562A (zh) 一种基于改进YOLOv5的轻量级目标检测网络
CN109271922B (zh) 一种基于对比度的鼻部定位方法和系统
WO2022156214A1 (zh) 一种活体检测方法及装置
CN107516067B (zh) 一种基于肤色检测的人眼定位方法和系统
CN111079527B (zh) 一种基于3d残差网络的镜头边界检测方法
CN116261009A (zh) 智能转化影视受众的视频检测方法、装置、设备及介质
KR100753835B1 (ko) 유전자 조절 관계 예측 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen mengwang video Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant