CN106709425A - 基于增量自步学习和区域色彩量化的金丝猴面部检测方法 - Google Patents

基于增量自步学习和区域色彩量化的金丝猴面部检测方法 Download PDF

Info

Publication number
CN106709425A
CN106709425A CN201611059354.9A CN201611059354A CN106709425A CN 106709425 A CN106709425 A CN 106709425A CN 201611059354 A CN201611059354 A CN 201611059354A CN 106709425 A CN106709425 A CN 106709425A
Authority
CN
China
Prior art keywords
image
color
monkey
face
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611059354.9A
Other languages
English (en)
Other versions
CN106709425B (zh
Inventor
许鹏飞
郭松涛
陈晓江
袁晶
何刚
陈�峰
李保国
房鼎益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201611059354.9A priority Critical patent/CN106709425B/zh
Publication of CN106709425A publication Critical patent/CN106709425A/zh
Application granted granted Critical
Publication of CN106709425B publication Critical patent/CN106709425B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于增量自步学习和区域色彩量化的金丝猴面部检测方法,区域色彩量化用以增大背景与猴身色彩特征之间的差异,以更准确地进行猴身区域的分割,减少检测的猴身疑似区域的面积和个数。然后,在检测出猴身之后的区域内,进行面部皮肤疑似区域检测;最后利用提出的增量自步学习进行面部的准确检测。

Description

基于增量自步学习和区域色彩量化的金丝猴面部检测方法
技术领域
本发明涉及一种基于增量自步学习和区域色彩量化的金丝猴面部检测方法。
背景技术
面部特征在动物个体识别研究中已有较多的研究成果,这些成果较多采用人脸检测与识别的方法来解决动物面部检测与识别过程中存在的问题,其中有关于猴类(主要是针对猕猴)面部特征的提取与定位算法。但这些方法只是利用传统的图像分割方法,在一定的条件下的图像中简单实现猴类面部区域的粗糙定位,不具有较高的精确性和通用性。而基于面部特征的动物个体识别方法基本都是直接(或稍加改进)地应用现有的人脸检测与识别的方法。现有技术中,在将现有的人脸检测和识别方法直接应用于动物面部检测与识别中存在诸多问题。
在野外获取的金丝猴图像的场景大小不一,而不同场景下所含有的背景的复杂情况多变。在小场景情况下,金丝猴猴身能够具有较多的信息量,此外,其毛发部分的色彩与背景之间存在一定的差异。而在大场景情况下,背景信息占据图像的较大部分信息量,传统的基于像素级的色彩量化方法不再适用,主要原因是背景中含有较多的与猴身毛发色彩接近的像素点,经过色彩量化分割后的猴身疑似区域太多,不利于面部疑似区域的快速检测。
发明内容
针对上述现有技术中存在的问题或缺陷,本发明的目的在于,提供一种基于增量自步学习和区域色彩量化的金丝猴面部检测方法,其能够实现金丝猴面部的准确检测。
为了实现上述目的,本发明采用如下技术方案:
基于增量自步学习和区域色彩量化的金丝猴面部检测方法,包括以下步骤:
步骤一,利用摄像机对多个场景中的金丝猴进行拍摄,得到多张包含有金丝猴的待检测RGB图像;针对每一张RGB图像均利用色彩空间转换方法将其转换为待检测HSV图像;重新利用摄像机对多个场景中的金丝猴进行拍摄,得到多张包含有金丝猴的RGB图像,提取多张金丝猴的面部皮肤样本图像和多张金丝猴的毛发样本图像;针对每一张面部皮肤样本图像和毛发样本图像,均利用色彩空间转换方法分别将其转换为面部皮肤样本HSV图像和毛发样本HSV图像;
步骤二,针对每一张待检测HSV图像进行色彩量化,得到待检测的色彩量化后的单通道图像;针对每一张面部皮肤样本HSV图像和毛发样本HSV图像,进行色彩量化,得到所有面部皮肤样本图像的色彩量化后的单通道图像和所有毛发样本图像的色彩量化后的单通道图像;
步骤三,针对所有面部皮肤样本图像的色彩量化后的单通道图像,利用数学统计的方法得到面部皮肤色彩量化范围,针对所有毛发样本图像的色彩量化后的单通道图像,利用数学统计的方法得到面部毛发色彩量化范围;
步骤四,针对步骤二得到的每一张待检测的色彩量化后的单通道图像,利用步骤三得到的面部皮肤色彩量化范围和毛发色彩量化范围,进行图像分割,以得到疑似猴脸图像;
步骤五,采用增量自步学习方法训练得到分类器模型;
步骤六,针对步骤四得到的每一张疑似猴脸图像,进行图像尺寸归一化,得到归一化后的疑似猴脸图像;将归一化后的疑似猴脸图像均输入到步骤五得到的分类器模型内,输出疑似猴脸图像为猴脸图像还是非猴脸图像。
具体地,所述步骤二中的针对每一张待检测HSV图像进行色彩量化,得到待检测的色彩量化后的单通道图像;所述色彩量化包括像素级色彩量化,所述的待检测的色彩量化后的单通道图像指的是像素级色彩量化后的单通道图像,具体包括以下步骤:
其中,h(x,y)表示HSV图像的色调h通道上,在像素点(x,y)处的像素值;s(x,y)表示HSV图像的饱和度s通道上,在像素点(x,y)处的像素值;v(x,y)表示HSV图像的亮度v通道上,在像素点(x,y)处的像素值;H(x,y)表示色彩量化后的图像的色调H通道上,在像素点(x,y)处的像素值;S(x,y)表示色彩量化后的图像的饱和度S通道上,在像素点(x,y)处的像素值;V(x,y)表示色彩量化后的图像的亮度V通道上,在像素点(x,y)处的像素值;
像素级色彩量化后的单通道图像用L表示,采用的公式如下:
L(x,y)=α×H(x,y)+β×S(x,y)+γ×V(x,y)
其中,α,β,γ分别表示3个通道色调H、饱和度S和亮度V的系数;L(x,y)表示像素级色彩量化后的单通道图像L在像素点(x,y)处的像素值。
具体地,所述步骤二中的针对每一张待检测HSV图像进行色彩量化,得到待检测的色彩量化后的单通道图像,所述的色彩量化还包含区域色彩量化,待检测的色彩量化后的单通道图像指的是经过区域色彩量化后的单通道图像,具体包括以下步骤:
针对像素级色彩量化后的单通道图像L进行如下处理,得到区域色彩量化后的单通道图像LQ
其中,Q(x,y)表示以像素点(x,y)为中心的、大小为(2w+1)2的矩形区域;LQ(x,y)表示区域色彩量化后的单通道图像LQ在以(x,y)为中心形成的矩形区域对应的图像值。
具体地,所述步骤四中的针对步骤二得到的每一张待检测的色彩量化后的单通道图像,利用步骤三得到的面部皮肤色彩量化范围和毛发色彩量化范围,进行图像分割,以得到疑似猴脸图像;具体包括以下步骤:
针对步骤二得到的每一张像素级色彩量化后的单通道图像L,选取像素值在毛发色彩量化范围内的像素点,得到猴身区域图像;再在猴身区域图像中选取像素值在面部皮肤色彩量化范围内的像素点,形成疑似猴脸图像。
具体地,所述步骤四中的针对步骤二得到的每一张色彩量化后的单通道图像,利用步骤三得到的面部皮肤色彩量化范围和毛发色彩量化范围,进行图像分割,以得到疑似猴脸图像;具体包括以下步骤:
针对步骤二得到的区域色彩量化后的单通道图像LQ,选取图像值在毛发色彩量化范围内的矩形区域,得到猴身区域图像;再在猴身区域图像中选取图像值在面部皮肤色彩量化范围内的矩形区域,形成疑似猴脸图像。
具体地,所述步骤五中的利用增量自步学习方法训练得到分类器模型,具体包括以下步骤:
步骤5.1,建立样本库,样本库中包含大量猴脸图片样本和非猴脸图片样本;
步骤5.2,判断是否为第一次训练,若是,i=0,i表示训练次数,则在样本库中根据经验人工选择数量为N简单样本,将其作为初始训练样本集合S(i),i=0,转到步骤5.3;若否,i>0,则根据前一次训练得到的分类器模型ISPL_MODEL(i-1)对当前样本库中剩余的样本进行预测,即当前样本库中剩余的样本分别输入到分类器模型ISPL_MODEL(i-1)中,分类器模型ISPL_MODEL(i-1)自动输出当前样本库中剩余的样本的难易程度的得分,选取其中N个得分较高的样本,加入当前的样本集合S(i-1)中,形成新的样本集合S(i);转到步骤5.3;
步骤5.3,利用样本集合S(i)采用自步学习方法进行训练,得到分类器模型ISPL_MODEL(i)
步骤5.4,判断样本库中的样本数是否为0,若是,则结束,得到训练好的分类器模型ISPL_MODEL,否则,返回步骤5.2。
与现有技术相比,本发明具有以下技术效果:本发明提出基于区域色彩量化的猴身检测方法,区域色彩量化用以增大背景与猴身色彩特征之间的差异,以更准确地进行猴身区域的分割,减少检测的猴身疑似区域的面积和个数。然后,在检测出猴身之后的区域内,进行面部皮肤疑似区域检测。最后利用提出的增量自步学习方法进行面部的准确检测。
附图说明
图1是本发明的方法流程图;
图2是不同年龄阶段的金丝猴的面部皮肤区域图;
图3是金丝猴的面部皮肤区域色彩分布的条带图;
图4是金丝猴毛发样本图;
图5是金丝猴毛发的色彩条带图;
图6是小场景下的金丝猴图像;
图7是小场景下经过像素级色彩量化后的金丝猴图像;
图8是金丝猴毛发色彩量化分布值曲线图;
图9是金丝猴面部皮肤色彩量化分布值曲线图;
图10是小场景下的经过像素级色彩量化后分割得到的猴身区域图像;
图11是小场景下的经过像素级色彩量化后分割得到的面部疑似区域图像;
图12是小场景下的经过像素级色彩量化后的面部疑似区域定位图像;
图13是大场景下的金丝猴图像;
图14是大场景下的经过像素级色彩量化后分割得到的猴身区域图像;
图15是大场景下的经过区域色彩量化后分割得到的猴身区域图像;
图16是大场景下的经过区域色彩量化后分割得到的面部疑似区域;
图17是大场景下的经过区域色彩量化后的面部疑似区域定位图像;
图18是基于区域色彩量化的金丝猴面部疑似区域检测结果图;其中,(a1)表示原始图像a,(a2)表示原始图像a色彩量化结果图,(a3)表示原始图像a猴身分割结果图,(a4)表示原始图像a面部皮肤分割结果图;(a5)表示原始图像a面部皮肤区域定位图;
(b1)表示原始图像b,(b2)表示原始图像b色彩量化结果图,(b3)表示原始图像b猴身分割结果图,(b4)表示原始图像b面部皮肤分割结果图;(b5)表示原始图像b面部皮肤区域定位图;
(c1)表示原始图像c,(c2)表示原始图像c色彩量化结果图,(c3)表示原始图像c猴身分割结果图,(c4)表示原始图像c面部皮肤分割结果图;(c5)表示原始图像c面部皮肤区域定位图;
图19是采用不同方法进行猴脸检测的结果图;其中,(a1)表示采用ISPCL针对原始图像a的猴脸检测结果图,(a2)表示采用ISPCL针对原始图像b的猴脸检测结果图,(a3)表示采用ISPCL针对原始图像c的猴脸检测结果图;(b1)表示采用SPCL针对原始图像a的猴脸检测结果图,(b2)表示采用SPCL针对原始图像b的猴脸检测结果图,(b3)表示采用SPCL针对原始图像c的猴脸检测结果图;(c1)表示采用SVM针对原始图像a的猴脸检测结果图,(c2)表示采用SVM针对原始图像b的猴脸检测结果图,(c3)表示采用SVM针对原始图像c的猴脸检测结果图;
图20是ISPCL,SPCL与SVM的F值比较图;
图21是ISPCL,SPCL与SVM的检测准确率(Accuracy)比较图。
下面结合附图和具体实施方式对本发明的方法作进一步详细地解释和说明。
具体实施方式
金丝猴的面部与人脸具有一定的相似之处,其中之一就是其面部也具有一定面积的皮肤区域,并且皮肤具有金丝猴所独特的色彩—淡蓝色,随着年龄的增加,蓝色的深浅度逐渐变淡。为此,本发明采集不同年龄阶段的金丝猴的面部皮肤部分,如图2所示,并对其色彩特征进行分析,图3为面部区域色彩分别的条带图。
但是要想仅仅通过面部皮肤区域的色彩特征进行面部检测,难度较大。主要原因在于:金丝猴的面部不像人脸面部具有较大面积的皮肤区域,金丝猴的面部除了皮肤区域之外,还有较多的毛发区域,导致其皮肤区域较小。在整个金丝猴的身体部分,其面部皮肤与毛发之间色彩存在一定的差异,此外,金丝猴的毛发也具有一定的色彩特征。在不同年龄阶段、金丝猴身体不同的区域,其毛发的色彩都不尽相同。为此,本发明采集了不同年龄阶段,不同区域的猴毛部分,包括头部、四肢外侧、腹部和背部的猴毛,如图4所示,并对其色彩特征进行分析,图5为其毛发区域色彩分布的条带图。
传统的脸部检测方法中可以直接利用颜色条带进行肤色区域的检测,这种方法计算量大,并且难以确定面部皮肤色彩具体在哪一个区域。此外,在金丝猴图像中,其背景以及金丝猴毛发中都含有较多的像素也存在于颜色条带中,导致检测结果准确性较差。
根据提取的皮肤样本和毛色样本及其相应的颜色条带,可以看出:皮肤色彩较多的像素显现淡蓝色(深浅不一),毛发较多的像素显现棕色(深浅不一),但是他们各自的色调特征变化不大,变化的是深浅度。
根据上述分析,为了充分利用金丝猴身体毛发及其脸部皮肤的色彩特征,并能够快速计算相应的区域,本发明的基于增量自步学习和区域色彩量化的金丝猴面部检测方法,参见图1,包括以下步骤:
步骤一,利用摄像机对多个场景中的金丝猴进行拍摄,得到多张包含有金丝猴的RGB图像;针对每一张RGB图像均利用色彩空间转换方法将其转换为HSV图像;重新利用摄像机对多个场景中的金丝猴进行拍摄,得到多张包含有金丝猴的RGB图像,提取多张金丝猴的面部皮肤样本图像和多张金丝猴的毛发样本图像,针对每一张面部皮肤样本图像和毛发样本图像,均利用色彩空间转换方法分别将其转换为面部皮肤样本HSV图像和毛发样本HSV图像;HSV图像包含有3个通道,分别为色调h、饱和度s和亮度v;
步骤二,针对每一张HSV图像进行色彩量化,得到待检测的色彩量化后的单通道图像。具体实现方法如下:
若金丝猴所处场景是较小场景(较小场景指的是在拍摄得到的包含有金丝猴的RGB图像中,金丝猴所占比例较大),则实现方法如下:
色彩量化后的单通道图像同样包含3个通道,分别为色调H、饱和度S和亮度V;其中,h(x,y)表示HSV图像的色调h通道上,在像素点(x,y)处的像素值;s(x,y)表示HSV图像的饱和度s通道上,在像素点(x,y)处的像素值;v(x,y)表示HSV图像的亮度v通道上,在像素点(x,y)处的像素值;H(x,y)表示色彩量化后的图像的色调H通道上,在像素点(x,y)处的像素值;S(x,y)表示色彩量化后的图像的饱和度S通道上,在像素点(x,y)处的像素值;V(x,y)表示色彩量化后的图像的亮度V通道上,在像素点(x,y)处的像素值。
为了快速计算猴身和猴脸的色彩特征,将得到的三个矢量H(x,y)、S(x,y)和V(x,y)相叠加合成一维矢量,得到色彩量化后的单通道图像L:
L(x,y)=α×H(x,y)+β×S(x,y)+γ×V(x,y) (4)
其中,α,β,γ分别表示3个通道色调H、饱和度S和亮度V的系数,三者的比值为7:2:1;L(x,y)表示色彩量化后的单通道图像L在像素点(x,y)处的像素值。上述色彩量化方法称为像素级色彩量化方法。
参见图6为小场景下的金丝猴图像,图7为小场景下经过像素级色彩量化后的图像,由图6和图7可以看出,原始图像经过色彩量化后,不同颜色区域能够较好地进行分割区分开,并且猴身、猴脸与背景之间存在较大差异,本发明的色彩量化方法,不仅简化了基于色彩量化的图像分割问题,同时大大降低了计算量。
当金丝猴处于大场景中时(大场景即在拍摄到的包含有金丝猴的RGB图像中,金丝猴所占比例较小),采用上述像素级色彩量化的方法难以有效地得到猴脸疑似区域,其原因在于,背景中可能存在较多的与猴身和猴脸面部皮肤色彩相似的像素。参见图13和图14,图13的原始图像中存在大量背景像素与金丝猴毛发色彩相似,经过上述像素级色彩量化方法处理后的图14中残留大量的背景像素。因此,对应大场景下的金丝猴图像,本发明在得到像素级色彩量化后的单通道图像L后,进一步进行区域色彩量化,得到区域色彩量化后的单通道图像LQ,采用的公式如下:
其中,Q(x,y)表示以像素点(x,y)为中心的、大小为(2w+1)2的矩形区域;LQ(x,y)表示区域色彩量化后的单通道图像LQ在以(x,y)为中心形成的矩形区域对应的图像值。
针对每一张面部皮肤样本HSV图像和毛发样本HSV图像,利用上述色彩量化方法,得到所有面部皮肤样本图像的色彩量化后的单通道图像L1和所有毛发样本图像的色彩量化后的单通道图像L2。
步骤三,若金丝猴所处的场景是小场景,则针对图像L1中的每个像素点的像素值L1(x,y)和图像L2中的每个像素点的像素值L2(x,y),分别利用数学统计的方法对不同像素值进行统计记录并标明每个像素值出现的频率次数,较大的频率次数对应的像素值的范围即为面部皮肤色彩量化范围和毛发色彩量化范围。统计结果图如图8和图9所示,根据统计结果可以看出,面部皮肤色彩量化范围为350~360,面部毛发色彩量化范围为70~80;
若金丝猴所处的场景为大场景,则针对图像L1中的每个矩形区域的图像值L1(x,y)和图像L2中的每个矩形区域的像素值L2(x,y),分别利用数学统计的方法对不同图像值进行统计记录并标明每个图像值出现的频率次数,较大的频率次数对应的图像值的范围即为面部皮肤色彩量化范围和毛发色彩量化范围。
步骤四,若金丝猴所处场景是小场景,则针对步骤二得到的每一张像素级色彩量化后的单通道图像L,选取像素值在毛发色彩量化范围内的像素点,得到猴身区域图像;再在猴身区域图像中选取像素值在面部皮肤色彩量化范围内的像素点,形成疑似猴脸图像。参见图10~图12。
若金丝猴所处场景是大场景,则针对步骤二得到的经过区域色彩量化后的单通道图像LQ,选取图像值在毛发色彩量化范围内的矩形区域,得到猴身区域图像;再在猴身区域图像中选取图像值在面部皮肤色彩量化范围内的矩形区域,形成疑似猴脸图像。参见图15~图17。
上述选取疑似猴脸图像的方法,减少了无关信息的干扰,给之后的面部检测工作减少一定的负担,能够在一定程度上提高检测结果的正确率。
步骤五,利用增量自步学习方法(ISPCL)训练得到分类器模型;具体方法如下:
步骤5.1,建立样本库,样本库中包含大量猴脸图片样本和非猴脸图片样本;
步骤5.2,判断是否为第一次训练,若是(i=0),i表示训练次数,则在样本库中根据经验人工选择数量为N简单样本,将其作为初始训练样本集合S(i),i=0,转到步骤5.3;若否(i>0),则根据前一次训练得到的分类器模型ISPL_MODEL(i-1)对当前样本库中剩余的样本进行预测,即当前样本库中剩余的样本分别输入到分类器模型ISPL_MODEL(i-1)中,分类器模型ISPL_MODEL(i-l)自动输出当前样本库中剩余的样本的难易程度的得分,选取其中N个得分较高的样本,加入当前的样本集合S(i-1)中,形成新的样本集合S(i);转到步骤5.3;
步骤5.3,利用样本集合S(i)采用自步学习(SPCL)方法进行训练,得到分类器模型ISPL_MODEL(i)
步骤5.4,判断样本库中的样本数是否为0,若是,则结束,得到训练好的分类器模型ISPL_MODEL,否则,返回步骤5.2。
步骤六,针对步骤四得到的每一张疑似猴脸图像,进行图像尺寸归一化,以缩小面部检测的搜索范围,得到归一化后的疑似猴脸图像;将归一化后的疑似猴脸图像均输入到步骤五得到的分类器模型ISPL_MODEL内,输出该疑似猴脸图像为猴脸图像还是非猴脸图像。
上述步骤中的简单样本指的是样本中的猴脸显示较为清楚,样本的难易程度包括图片中猴脸为正面、侧面或者猴脸前存在遮挡,若猴脸为正面,该样本的得分较高,侧面的情况次之,猴脸前存在遮挡其得分最低。
实验与分析
为验证本发明提出的方法的有效性。本发明使用在陕西省安康市宁陕县皇冠自然保护区获取的不同大小场景的金丝猴图像作为测试图像。在这些图像中含有不同家族、不同年龄阶段、不同性别的金丝猴,并且每幅图像中背景差异较大。首先利用3幅图像进行猴脸检测,以验证提出的区域色彩量化和ISPCL算法的有效性,并根据实验结果给出主观评价。与本发明方法进行对比的现有算法主要有SVM和SPCL两种算法。实验中,金丝猴面部特征采用Gabor小波特征。
进一步,为验证本发明提出的ISPCL性能的优越性,利用皇冠保护区的33只金丝猴共计5012张猴脸样本(包括不同性别,不同年龄阶段,不同视角的猴脸样本)以及5463张非猴脸样本(主要来自背景区域样本和金丝猴身体的毛发样本)进行实验。并用检测准确率(Accuracy)和F值两个指标对各算法的性能进行客观评价。
(1)对本发明提出的区域色彩量化方法的有效性进行验证
首先我们利用3幅具有不同尺寸、不同场景的金丝猴图像进行金丝猴面部疑似区域检测的实验。在图18中的(a1)和图18中的(b1)中,由于图像场景较小,其中含有较少的背景像素,而金丝猴猴身区域占据图像较多的信息。因此我们对这些图像进行像素级的色彩量化,即w=0。量化后的结果图如图18中的(a2)和图18中的(b2)所示。然后根据步骤二中的猴毛色彩量化的L(x,y)值对猴身区域进行分割提取,分割后的结果图如图18中的(a3)和图18中的(b3)所示。而对于场景较大的图像(如图18中的(c1)),则适当增大w的值,即有像素级的色彩量化转变为具有一定区域大小的区域色彩量化,在本实验中w=2,量化后的结果图如图18中的(c2)所示。然后采用相同的方法即可分割出图像中的金丝猴的身体区域,分割后的结果图如图18中的(c3)所示。从实验结果可以看出,根据不同场景大小,相适应地取w的值以对图像进行色彩量化,进而进行猴身分割,能够较为准确地确定金丝猴身体部分在图像中的位置,只残留少量的背景信息,较大程度上缩小了后期面部皮肤区域的检测搜索范围。
进一步,在分割出的猴身区域,依据金丝猴面部皮肤的L(x,y)值主要集中在350~360之间的特点,分割出面部皮肤的疑似区域,分割结果如图18中的(a4),(b4)和(c4)所示,猴脸皮肤区域在图像中的定位如图18中的(a5),(b5)和(c5)。从实验结果图可以看出,图像中大部分猴脸皮肤疑似区域都能够被正确地分割,但同时结果图也含有少量的背景区域或者猴身的毛发区域。
(2)对本发明提出的ISPCL方法的有效性进行验证
分割得到金丝猴疑似面部区域后,在原始图像中,将分割后区域的范围扩展为原有尺寸的2倍。然后,将这些扩展后的区域都全部送入训练后的ISPCL中进行测试,以检测出真实的猴脸,检测的结果图,如图19所示。从实验结果可以看出:在分割结果中的背景或猴身毛发区域都能被准确地判别为非猴脸区域;而不同情况下的猴脸疑似区域在检测结果上,不同算法性能有所不同。其中,SPCL具有较好的检测性能,能够检测出具有一定角度变化的金丝猴面部图像,但对于面部偏角较大、具有部分遮挡或者面部分辨率较低的面部图像,SPCL也不能正确地检测。相对而言,ISPCL具有更好的检测性能,能够对具有部分遮挡以及相对更大面部角度变化的金丝猴面部图像进行正确地检测,但对于侧面角度接近90度左右以及分辨率较低的面部图像也难以准确检测。在三种算法中,SVM的性能最差。SVM对于猴脸角度变化,遮挡等情况比较敏感。
(3)ISPCL性能的客观评价
进一步,为验证ISPCL性能的优越性,本实验利用5012张猴脸样本以及5463张非猴脸样本进行实验。并在Accuracy和F值方面对各算法的性能进行客观评价。实验中,各算法选择50%的猴脸样本作为训练正样本,50%的非猴脸样本作为训练负样本;剩余样本作为测试样本。实验中训练样本采用随机选择的方法,并进行10次实验,分别计算出测试结果的Accuracy,F值等指标。
F值是综合这二者指标的评估指标,用于综合反映整体的指标。F值即为正确率和召回率的调和平均值。本实验中F值的计算公式如下:
其中,P表示检测精确率,TP表示正样本被正确检测的数量;FP表示样本为负样本,却被错误检测为正样本的数量;R表示召回率,其中FN表示样本为正样本,却被错误检测为负样本的数量。F综合了P和R的结果,当F较高时则能说明实验方法比较有效。
从实验结果可以看出,ISPCL和SPCL相对于传统的SVM,在F值和Accuracy方面具有明显的优势,如图20和图21所示。而相对于SPCL和ISPCL在整体性能上有所提升。

Claims (6)

1.基于增量自步学习和区域色彩量化的金丝猴面部检测方法,其特征在于,包括以下步骤:
步骤一,利用摄像机对多个场景中的金丝猴进行拍摄,得到多张包含有金丝猴的待检测RGB图像;针对每一张RGB图像均利用色彩空间转换方法将其转换为待检测HSV图像;重新利用摄像机对多个场景中的金丝猴进行拍摄,得到多张包含有金丝猴的RGB图像,提取多张金丝猴的面部皮肤样本图像和多张金丝猴的毛发样本图像;针对每一张面部皮肤样本图像和毛发样本图像,均利用色彩空间转换方法分别将其转换为面部皮肤样本HSV图像和毛发样本HSV图像;
步骤二,针对每一张待检测HSV图像进行色彩量化,得到待检测的色彩量化后的单通道图像;针对每一张面部皮肤样本HSV图像和毛发样本HSV图像,进行色彩量化,得到所有面部皮肤样本图像的色彩量化后的单通道图像和所有毛发样本图像的色彩量化后的单通道图像;
步骤三,针对所有面部皮肤样本图像的色彩量化后的单通道图像,利用数学统计的方法得到面部皮肤色彩量化范围,针对所有毛发样本图像的色彩量化后的单通道图像,利用数学统计的方法得到面部毛发色彩量化范围;
步骤四,针对步骤二得到的每一张待检测的色彩量化后的单通道图像,利用步骤三得到的面部皮肤色彩量化范围和毛发色彩量化范围,进行图像分割,以得到疑似猴脸图像;
步骤五,采用增量自步学习方法训练得到分类器模型;
步骤六,针对步骤四得到的每一张疑似猴脸图像,进行图像尺寸归一化,得到归一化后的疑似猴脸图像;将归一化后的疑似猴脸图像均输入到步骤五得到的分类器模型内,输出疑似猴脸图像为猴脸图像还是非猴脸图像。
2.如权利要求1所述的基于增量自步学习和区域色彩量化的金丝猴面部检测方法,其特征在于,所述步骤二中的针对每一张待检测HSV图像进行色彩量化,得到待检测的色彩量化后的单通道图像;所述色彩量化包括像素级色彩量化,所述的待检测的色彩量化后的单通道图像指的是像素级色彩量化后的单通道图像,具体包括以下步骤:
其中,h(x,y)表示HSV图像的色调h通道上,在像素点(x,y)处的像素值;s(x,y)表示HSV图像的饱和度s通道上,在像素点(x,y)处的像素值;v(x,y)表示HSV图像的亮度v通道上,在像素点(x,y)处的像素值;H(x,y)表示色彩量化后的图像的色调H通道上,在像素点(x,y)处的像素值;S(x,y)表示色彩量化后的图像的饱和度S通道上,在像素点(x,y)处的像素值;V(x,y)表示色彩量化后的图像的亮度V通道上,在像素点(x,y)处的像素值;
像素级色彩量化后的单通道图像用L表示,采用的公式如下:
L(x,y)=α×H(x,y)+β×S(x,y)+γ×V(x,y)
其中,α,β,γ分别表示3个通道色调H、饱和度S和亮度V的系数;L(x,y)表示像素级色彩量化后的单通道图像L在像素点(x,y)处的像素值。
3.如权利要求2所述的基于增量自步学习和区域色彩量化的金丝猴面部检测方法,其特征在于,所述步骤二中的针对每一张待检测HSV图像进行色彩量化,得到待检测的色彩量化后的单通道图像,所述的色彩量化还包含区域色彩量化,待检测的色彩量化后的单通道图像指的是经过区域色彩量化后的单通道图像,具体包括以下步骤:
针对像素级色彩量化后的单通道图像L进行如下处理,得到区域色彩量化后的单通道图像LQ
L Q ( x , y ) = Σ i = x - w , j = y - w i = x + w , j = y + w L ( i , j ) ( 2 w + 1 ) 2
其中,Q(x,y)表示以像素点(x,y)为中心的、大小为(2w+1)2的矩形区域;LQ(x,y)表示区域色彩量化后的单通道图像LQ在以(x,y)为中心形成的矩形区域对应的图像值。
4.如权利要求2所述的基于增量自步学习和区域色彩量化的金丝猴面部检测方法,其特征在于,所述步骤四中的针对步骤二得到的每一张待检测的色彩量化后的单通道图像,利用步骤三得到的面部皮肤色彩量化范围和毛发色彩量化范围,进行图像分割,以得到疑似猴脸图像;具体包括以下步骤:
针对步骤二得到的每一张像素级色彩量化后的单通道图像L,选取像素值在毛发色彩量化范围内的像素点,得到猴身区域图像;再在猴身区域图像中选取像素值在面部皮肤色彩量化范围内的像素点,形成疑似猴脸图像。
5.如权利要求3所述的基于增量自步学习和区域色彩量化的金丝猴面部检测方法,其特征在于,所述步骤四中的针对步骤二得到的每一张色彩量化后的单通道图像,利用步骤三得到的面部皮肤色彩量化范围和毛发色彩量化范围,进行图像分割,以得到疑似猴脸图像;具体包括以下步骤:
针对步骤二得到的区域色彩量化后的单通道图像LQ,选取图像值在毛发色彩量化范围内的矩形区域,得到猴身区域图像;再在猴身区域图像中选取图像值在面部皮肤色彩量化范围内的矩形区域,形成疑似猴脸图像。
6.如权利要求1所述的基于增量自步学习和区域色彩量化的金丝猴面部检测方法,其特征在于,所述步骤五中的利用增量自步学习方法训练得到分类器模型,具体包括以下步骤:
步骤5.1,建立样本库,样本库中包含大量猴脸图片样本和非猴脸图片样本;
步骤5.2,判断是否为第一次训练,若是,i=0,i表示训练次数,则在样本库中根据经验人工选择数量为N简单样本,将其作为初始训练样本集合S(i),i=0,转到步骤5.3;若否,i>0,则根据前一次训练得到的分类器模型ISPL_MODEL(i-1)对当前样本库中剩余的样本进行预测,即当前样本库中剩余的样本分别输入到分类器模型ISPL_MODEL(i-1)中,分类器模型ISPL_MODEL(i-1)自动输出当前样本库中剩余的样本的难易程度的得分,选取其中N个得分较高的样本,加入当前的样本集合S(i-1)中,形成新的样本集合S(i);转到步骤5.3;
步骤5.3,利用样本集合S(i)采用自步学习方法进行训练,得到分类器模型ISPL_MODEL(i)
步骤5.4,判断样本库中的样本数是否为0,若是,则结束,得到训练好的分类器模型ISPL_MODEL,否则,返回步骤5.2。
CN201611059354.9A 2016-11-25 2016-11-25 基于增量自步学习和区域色彩量化的金丝猴面部检测方法 Expired - Fee Related CN106709425B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611059354.9A CN106709425B (zh) 2016-11-25 2016-11-25 基于增量自步学习和区域色彩量化的金丝猴面部检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611059354.9A CN106709425B (zh) 2016-11-25 2016-11-25 基于增量自步学习和区域色彩量化的金丝猴面部检测方法

Publications (2)

Publication Number Publication Date
CN106709425A true CN106709425A (zh) 2017-05-24
CN106709425B CN106709425B (zh) 2020-07-14

Family

ID=58934849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611059354.9A Expired - Fee Related CN106709425B (zh) 2016-11-25 2016-11-25 基于增量自步学习和区域色彩量化的金丝猴面部检测方法

Country Status (1)

Country Link
CN (1) CN106709425B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463996A (zh) * 2017-06-05 2017-12-12 西安交通大学 自步‑协同训练学习方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825168A (zh) * 2016-02-02 2016-08-03 西北大学 一种基于s-tld的川金丝猴面部检测和追踪算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825168A (zh) * 2016-02-02 2016-08-03 西北大学 一种基于s-tld的川金丝猴面部检测和追踪算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M.PAWAN KUMAR: "Self-Paced Learning for Latent Variable Models", 《ANNUAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463996A (zh) * 2017-06-05 2017-12-12 西安交通大学 自步‑协同训练学习方法

Also Published As

Publication number Publication date
CN106709425B (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN107330889B (zh) 一种基于卷积神经网络的中医舌色苔色自动分析方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN103996195B (zh) 一种图像显著性检测方法
CN109858461A (zh) 一种密集人群计数的方法、装置、设备以及存储介质
CN101251898B (zh) 一种肤色检测方法及装置
CN107516312B (zh) 一种应用浅层神经网络的中医面色自动分类方法
Wang et al. Comparison of different color spaces for image segmentation using graph-cut
CN105893925A (zh) 基于肤色的人手检测方法及装置
CN106384117A (zh) 一种车辆颜色识别方法及装置
CN108427942A (zh) 一种基于深度学习的手掌检测与关键点定位方法
EP1842154A2 (en) Method and system for identifying illumination flux in an image
CN104636759A (zh) 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐系统
CN107292307A (zh) 一种倒置汉字验证码自动识别方法及系统
CN109635634A (zh) 一种基于随机线性插值的行人再识别数据增强方法
CN107862680B (zh) 一种基于相关滤波器的目标跟踪优化方法
CN109741285A (zh) 一种水下图像数据集的构建方法及系统
US20130114911A1 (en) Post processing for improved generation of intrinsic images
CN103020198B (zh) 一种在视频中搜索目标的方法
CN111783698A (zh) 一种基于提高人脸识别模型训练稳定性的方法
CN104751462B (zh) 一种基于多特征非线性组合的白细胞分割方法
CN106485266A (zh) 一种基于提取颜色特征的古代壁画分类识别方法
Moreno et al. Color correction: A novel weighted von kries model based on memory colors
CN106599778A (zh) 一种快速精确的人脸检测方法
CN106709425A (zh) 基于增量自步学习和区域色彩量化的金丝猴面部检测方法
CN110929740A (zh) 一种基于lgbm模型的舌质舌苔分离方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200714

Termination date: 20201125