CN107392105A - 一种基于反向协同显著区域特征的表情识别方法 - Google Patents

一种基于反向协同显著区域特征的表情识别方法 Download PDF

Info

Publication number
CN107392105A
CN107392105A CN201710486627.6A CN201710486627A CN107392105A CN 107392105 A CN107392105 A CN 107392105A CN 201710486627 A CN201710486627 A CN 201710486627A CN 107392105 A CN107392105 A CN 107392105A
Authority
CN
China
Prior art keywords
expression
marking area
collaboration
feature
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710486627.6A
Other languages
English (en)
Other versions
CN107392105B (zh
Inventor
罗源
张灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710486627.6A priority Critical patent/CN107392105B/zh
Publication of CN107392105A publication Critical patent/CN107392105A/zh
Application granted granted Critical
Publication of CN107392105B publication Critical patent/CN107392105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于反向协同显著区域特征的表情识别方法。整个识别过程主要分为预处理、表情显著区域的检测、显著区域的特征提取、赋值权重、识别分类五个部分，其具体步骤如下(1)先将训练测试样本进行人脸区域的分割，(2)对分割的部分利用反向协同显著检测算法进行表情的显著区域的提取，(3)利用LBP算子和HOG算子对显著区域分别进行特征提取，(4)利用支持向量机对各个显著局部特征进行初步分类，并赋值权重，(5)用多分类决策机制进行识别分类。本文结合表情之间的关联性，利用其提取出含有表情丰富信息的局部区域，大大的减少计算量，同时，利用多分类决策机制进行分类，使得识别率也相应的提高。

Description

一种基于反向协同显著区域特征的表情识别方法
技术领域
本发明属于图像处理技术领域，特别涉及一种表情识别方法，可用于人机互动等。
背景技术
人脸表情识别是模式识别领域的一个分支，该研究可以使人机交互的方式在根本上进行改变，是目前研究的热点之一。人脸表情的识别技术主要流程是先提取维数低、鲁棒性高同时表情描述能力强的局部区域，然后根据不同面部区域对不同表情的影响程度进行多特征融合，从而达到识别率的提升和鲁棒性的增强。如何有效提取局部区域以及融合局部信息，提高最后的决策精度，已成为表情识别领域新的研究方向。
人脸表情识别技术考虑的因素主要有两个，一个是表情识别的准确率，另一个是识别时间的消耗。其他因素不考虑的情况下，提取表情图像的局部越有表征性，系统的识别率就会越高，而且相对全局特征而言，时间消耗率会降低很多。
发明内容
本发明为解决单幅表情图像识别缺乏表情间关联性及单分类器的局限性问题，提出一种基于协同显著区域特征表情识别方法。本文结合表情之间的关联性，提出反向的协同显著区域提取的算法，利用其提取出含有表情丰富信息的局部区域，大大的减少计算量，同时，利用多分类决策机制进行分类，使得识别率也相应的提高，这在理论上是可行的。
本发明的目的通过如下技术方案实现：
S1：利用sneak算法对表情数据集进行人脸轮廓提取，去除背景、头发等表情不相干部分。
S2：对于提取的人脸部分，利用反向协同显著区域算法进行表情的显著区域提取。
S3：利用SVM算法对各个局部的显著区域进行初步分类，根据分类结果对各个局部显著区域进行赋值权重。
S4：利用LBP算子提取局部区域的纹理特征，利用HOG特征提取显著区域的整体形状特征。
S5：根据各局部显著区域的纹理特征，都利用SVM分类器进行分类，判断是否各局部识别结果是否一致，如一致，直接得到识别结果，如不一致，到步骤S6。
S6：根据整体局部显著区域的形状特征，对表情识别，得到识别结果与S5中的结果进行比较。
S7：S6中的结果与S5中的结果进行对比，判断是否有两个识别结果相同，如果存在，则输出识别结果，如果各个识别结果都不一致，则输出权重值最大显著区域的识别结果。
本发明的有点在于利用表情之间的变化关系，采用反向协同显著提取算法，提取能够表征表情的显著区域，另外，采用多分类决策机制，解决单一分类器的局限性，使得算法在时间复杂度和识别率上有一定的提升。
附图说明
图1表示数据集原始图像和预处理之后的图像。
图2表示协同显著区域提取的结果图像。
图3表示部分识别错误的对比图。
图4表示整个识别过程的流程图。
具体实施方式
一、数据集预处理
主要是结合sneak算法和GVF算法对人脸的轮廓进行检测，并保留人脸轮廓线内的像素点，排除轮廓线外的像素点，轮廓线外的像素点都重新赋值为0。得到的结果如图1所示，预处理之后得到为纯人脸表情图。
二、表情的显著区域的提取
协同显著性检测分为显著性检测和协同性检测两个部分，显著性和协同性分析分别采用聚类级的空间特征和对比特征进行，然后使用乘法特征融合方法生成表情协同显著图。
对比特征体现了单幅图片或多图像之间的独特性，在单幅图像的显著性计算中应用广泛。本发明采用基于聚类的对比特征计算方法，定义类ck的对比特征权重如公式(1)所示：
其中，ni表示类ck的像素数，N表示整个单幅图的像素值，μi和μk分别表示i和k类的聚类中心。
在两幅图片的情况下，如果两幅图片有相同部分，那么图像之间的某些类的聚类中心距离理论上会比较小，距离很小的这些类则对应两幅图像之间的协同部分。由此，可以定义两幅图像中，图像间ck类的对比特征权重公式可改成如下公式(2)形式：
其中，表示其中一图片的k类的聚类中心，则表示另外一图像的i类的聚类中心，K为每幅图像的聚类数量。图像间的对比权重值越大，则表示两幅图像中的某两个类比较接近。引申到多幅图像，那么多幅图像之间的对比特征权值的公式可以改为如下公式(3)形式：
根据人类视觉系统中，图片中心区域比其他区域更吸引人注意。当对象与图像中心之间的距离越大时，显著性也就越来越小。在单张图像中，称为中央偏向准则，将其拓展到基于聚类的方法上。聚类的中心偏移测度定义如下公式：
归一化系数nk表示类ck的像素数，N表示整个单幅图的像素值，zi为像素点i的坐标，N(·)高斯核计算像素点i到图像中心o的欧氏距离，方差σ2为归一化图像半径，δ[·]是脉冲函数，b(pi)表示像素点i的类识别。
将上述的显著值进行高斯归一化，聚类级的类K的协同显著概率定义为如下公式：
p(ck)＝wc(k)*ws(k)*wcb(k) (5)
由此计算出聚类级的协同显著值，将值分布到每个像素，据此可以得到个表情图像中相同部分，但是表情的差别大的局部部分所含表情信息量是比较大的，因此，对协同显著概率取反操作，公式如下(7)所示：
preverse(ck)＝1-wc(k)*ws(k)*wcb(k) (6)
由公式(7)，最终可以得到表情之间含差异信息的协同显著区域。部分数据集的提取结果如图2所示。
根据上述的算法描述，利用数据集进行实验，发现表情的显著区域主要体现在眼眉、鼻翼和嘴三个部分，分别利用三个局部显著区域进行初步分类，分类的结果发现鼻翼的识别率不到10％，不排除内部包含随机识别的可能，因此，对于提取出来的鼻翼显著部分再次剔除，仅保留眼眉和嘴部两个部分进行实验。
三、显著区域的特征提取
为解决单一特征的局限性，采用LBP算子提取局部显著区域的的纹理特征，以及利用HOG算子提取整体显著区域的形状特征。将提取的各个特征作为SVM分类器的输入，得到识别结果。
四、多分类决策机制分类
S41：首先对眼眉和嘴部区域的识别结果进行对比，判断两者的识别结果是否一致，如果一致，则输出识别结果，如果不一致，进行S42.
S42：利用HOG算子提取出的整体显著区域的形状特征进行识别，对于S41中的两个识别结果，对比发现三个实验结果中是否有两个结果相同，如果存在，则输出相同的结果，如果三者的结果都不相同，进行步骤S43。
S43：输出三者权重最大部分的识别结果。最后的结果有一定的错误率，但是因为人表情的自身原因，很难发现两者的差别，如图3所示，但是此误差在可接受的范围之内。
以上为整个识别的全过程。详细流程图如图4所示。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (4)

1.一种基于反向协同显著区域特征的表情识别方法，其特征在于，包括表情显著区域的提取、显著区域的特征提取和分类识别部分；其中，所述表情显著区域提取部分，用于提取表情的含有表情信息量多的局部区域，以此提取表情的有效局部区域，减少计算量；所述显著区域的特征提取部分，用于提取表情有效区域的特征，从而对表情进行有效的描述；所述分类识别部分，用于分析、求解和判断表情所属类别。
2.根据权利要求1所述的基于反向协同显著区域特征的表情识别方法，其特征在于，所述表情显著区域的提取具体为：
S1：先将训练样本进行预处理，对于背景以及不包含表情信息的部分进行剔除，只保留人脸部分；
S2：对于提取的人脸部分，利用反向协同显著区域算法检测并提取数据集中同一人不同表情的协同显著区域；
S3：对于提取出的显著区域进行初步的分类识别，根据识别的结果判断显著区域的有效性并赋值权重。
3.根据权利要求2中所述的基于反向协同显著区域特征的表情识别方法，其特征在于，所述显著区域的特征提取部分具体为：
S4：对于所提取的表情各个显著区域部分，提取LBP纹理特征；
S5：对于一副表情图片的整体显著区域提取全局HOG轮廓特征。
4.根据权利要求1中所述的基于反向协同显著区域特征的表情识别方法，其特征在于，所述分类识别部分具体包括：利用多分类决策机制，首先根据局部纹理特征进行识别，判别各个部分的识别结果是否一致，如果是，则是所得到的识别结果，如果不是，那么对全局HOG特征进行识别，看其结果是否含有两个以上的相同结果，如果有，则是相同结果的类，如果没有，则选取权重值最大局部区域的结果。
CN201710486627.6A 2017-06-23 2017-06-23 一种基于反向协同显著区域特征的表情识别方法 Active CN107392105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710486627.6A CN107392105B (zh) 2017-06-23 2017-06-23 一种基于反向协同显著区域特征的表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710486627.6A CN107392105B (zh) 2017-06-23 2017-06-23 一种基于反向协同显著区域特征的表情识别方法

Publications (2)

Publication Number Publication Date
CN107392105A true CN107392105A (zh) 2017-11-24
CN107392105B CN107392105B (zh) 2020-10-16

Family

ID=60332022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710486627.6A Active CN107392105B (zh) 2017-06-23 2017-06-23 一种基于反向协同显著区域特征的表情识别方法

Country Status (1)

Country Link
CN (1) CN107392105B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902660A (zh) * 2019-03-18 2019-06-18 腾讯科技（深圳）有限公司 一种表情识别方法及装置
CN110688874A (zh) * 2018-07-04 2020-01-14 杭州海康威视数字技术股份有限公司 人脸表情识别方法及其装置、可读存储介质和电子设备
CN111160163A (zh) * 2019-12-18 2020-05-15 浙江大学 一种基于区域关系建模和信息融合建模的表情识别方法
CN113569924A (zh) * 2021-07-09 2021-10-29 常州大学 一种基于支持向量机多核协作的情绪辨识分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392231A (zh) * 2014-11-07 2015-03-04 南京航空航天大学 基于分块与稀疏主特征提取的快速协同显著性检测方法
US20150242678A1 (en) * 2014-02-21 2015-08-27 Electronics And Telecommunications Research Institute Method and apparatus of recognizing facial expression using adaptive decision tree based on local feature extraction
CN105844221A (zh) * 2016-03-18 2016-08-10 常州大学 一种基于Vadaboost筛选特征块的人脸表情识别方法
CN106599854A (zh) * 2016-12-19 2017-04-26 河北工业大学 基于多特征融合的人脸表情自动识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150242678A1 (en) * 2014-02-21 2015-08-27 Electronics And Telecommunications Research Institute Method and apparatus of recognizing facial expression using adaptive decision tree based on local feature extraction
CN104392231A (zh) * 2014-11-07 2015-03-04 南京航空航天大学 基于分块与稀疏主特征提取的快速协同显著性检测方法
CN105844221A (zh) * 2016-03-18 2016-08-10 常州大学 一种基于Vadaboost筛选特征块的人脸表情识别方法
CN106599854A (zh) * 2016-12-19 2017-04-26 河北工业大学 基于多特征融合的人脸表情自动识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
司小龙: "基于CECBP与显著区域特征决策的人脸表情识别算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
高旭: "基于动态序列图像的人脸表情特征提取与识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688874A (zh) * 2018-07-04 2020-01-14 杭州海康威视数字技术股份有限公司 人脸表情识别方法及其装置、可读存储介质和电子设备
CN110688874B (zh) * 2018-07-04 2022-09-30 杭州海康威视数字技术股份有限公司 人脸表情识别方法及其装置、可读存储介质和电子设备
CN109902660A (zh) * 2019-03-18 2019-06-18 腾讯科技（深圳）有限公司 一种表情识别方法及装置
CN111160163A (zh) * 2019-12-18 2020-05-15 浙江大学 一种基于区域关系建模和信息融合建模的表情识别方法
CN111160163B (zh) * 2019-12-18 2022-04-01 浙江大学 一种基于区域关系建模和信息融合建模的表情识别方法
CN113569924A (zh) * 2021-07-09 2021-10-29 常州大学 一种基于支持向量机多核协作的情绪辨识分类方法
CN113569924B (zh) * 2021-07-09 2024-03-12 常州大学 一种基于支持向量机多核协作的情绪辨识分类方法

Also Published As

Publication number Publication date
CN107392105B (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
Nguyen et al. Robust minutiae extractor: Integrating deep networks and fingerprint domain knowledge
Jin et al. A mobile application of American sign language translation via image processing algorithms
Ghimire et al. A robust face detection method based on skin color and edges
Mäkinen et al. An experimental comparison of gender classification methods
KR101877981B1 (ko) 가버 특징과 ｓｖｍ 분류기를 이용하여 위변조 얼굴을 인식하기 위한 시스템 및 그 방법
Senechal et al. Combining AAM coefficients with LGBP histograms in the multi-kernel SVM framework to detect facial action units
Lu et al. A novel approach for video text detection and recognition based on a corner response feature map and transferred deep convolutional neural network
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN107392105A (zh) 一种基于反向协同显著区域特征的表情识别方法
CN104951793B (zh) 一种基于stdf特征的人体行为识别方法
Campos et al. Discrimination of abandoned and stolen object based on active contours
Hajraoui et al. Face detection algorithm based on skin detection, watershed method and gabor filters
Huang et al. A multi-expert approach for robust face detection
AL-Tuwaijari et al. Face Image Recognition Based on Linear Discernment Analysis and Cuckoo Search Optimization with SVM
Das et al. Human face detection in color images using HSV color histogram and WLD
Tofighi et al. A robust face recognition system in image and video
Jindal et al. Sign Language Detection using Convolutional Neural Network (CNN)
Narra et al. Indian Currency Classification and Fake Note Identification using Feature Ensemble Approach
Borah et al. ANN based human facial expression recognition in color images
Subban et al. Human skin segmentation in color images using gaussian color model
Wijaya et al. Phonographic image recognition using fusion of scale invariant descriptor
Marzoog et al. Gender and race classification using geodesic distance measurement
Ramirez et al. Face detection using combinations of classifiers
Jadhav et al. Introducing Celebrities in an Images using HAAR Cascade algorithm
Lian A face recognition approach based on computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant