CN115546862A - 基于跨尺度局部差异深度子空间特征的表情识别方法和系统 - Google Patents

基于跨尺度局部差异深度子空间特征的表情识别方法和系统 Download PDF

Info

Publication number
CN115546862A
CN115546862A CN202211113773.1A CN202211113773A CN115546862A CN 115546862 A CN115546862 A CN 115546862A CN 202211113773 A CN202211113773 A CN 202211113773A CN 115546862 A CN115546862 A CN 115546862A
Authority
CN
China
Prior art keywords
image
stage
local difference
cross
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211113773.1A
Other languages
English (en)
Inventor
张正言
惠京禹
黄炜嘉
邓小乔
李锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202211113773.1A priority Critical patent/CN115546862A/zh
Publication of CN115546862A publication Critical patent/CN115546862A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于跨尺度局部差异深度子空间特征的表情识别方法和系统，其通过多个高斯滤波器来获取不同尺度空间的图像，然后对不同尺度空间的图像进行分块，提取图像的局部差异，由此得到训练集的跨尺度局部差异矩阵，来训练第一阶段的多个卷积核，并再次提取经第一阶段卷积后的图像的跨尺度局部差异矩阵，来训练第二阶段的多个卷积核，由此学习到两个阶段的卷积核。待识别图像经过两个阶段的卷积后，经非线性处理和直方图统计，得到图像特征，以此来进行分类识别。该方法融合图像不同尺度的局部差异来提取特征，且网络结构简单，无需大量训练样本，对硬件要求低。

Description

基于跨尺度局部差异深度子空间特征的表情识别方法和系统
技术领域
本发明属于机器视觉技术领域，具体涉及一种基于跨尺度局部差异深度子空间特征的表情识别方法和系统。
背景技术
人脸表情识别是机器视觉、模式识别和人工智能等众多领域的重点研究方向。目前表情识别常用的方法为提取图像中的表情特征，之后采用分类器进行分类识别，得到图像中人脸表情的类别。由于图像中光照变化，个体差异(种族，性别，年龄等)、头部姿态、面部遮挡等加剧了识别的难度，因此在不受控的场景中进一步找到表达的合适且具有辨别力的表情特征仍然是一项关键而且具有挑战性的任务。现阶段，表情特征提取方法主要有两种类型：手工设计的方法和基于深度学习的方法。手工设计的方法主要侧重于根据特定标准利用图像的结构和方向信息提取特征，这种方法不仅需要相关领域的知识，并且对不受控场景中的自发表情表现不佳；基于深度学习的方法通过神经网络直接从数据中提取高级特征，这种方法通常具有复杂的网络结构，高硬件要求，并且需要大量的样本来对网络参数进行训练和调整。
发明内容
发明目的：本发明提供了一种基于跨尺度局部差异深度子空间特征的表情识别方法，该方法融合图像不同尺度的局部差异来提取特征，且网络结构简单，无需大量训练样本，对硬件要求低。
技术方案：本发明一方面公开了一种基于跨尺度局部差异深度子空间特征的表情识别方法，包括步骤：
S1、用S-1个不同的高斯滤波器分别对训练样本图像I进行滤波，并与I构成S个尺度空间的图像Ps，s＝1,2,3,…,S：
Figure BDA0003844646290000011
S2、将每个尺度空间的图像划分为M个大小为(2r+1)×(2r+1)的子块，第s个尺度空间的图像Ps中第m个子块中的像素为Ps,m(u,v)，m＝1,2,3,…,M，u,v＝1,2,…,2r,2r+1；
对训练样本图像I的S个尺度空间的图像，计算第m个子块的均值：
Figure BDA0003844646290000021
计算每个尺度下每个子块的局部差异子矩阵Ds,m＝{Ds,m(u,v)}，其中Ds,m(u,v)＝Ps,m(u,v)-ωm；
S个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
DL,m＝[D1,m D2,m … DS,m]
将DL,m转换为跨尺度局部差异子向量
Figure BDA0003844646290000022
M个跨尺度局部差异子向量拼接为训练样本图像I的跨尺度局部差异矩阵：
Figure BDA0003844646290000023
S3、训练集中的N个样本图像均按照步骤S2和S3获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
Figure BDA0003844646290000024
其中
Figure BDA0003844646290000025
为第n个样本图像In的跨尺度局部差异矩阵，n＝1,2,3,…,N，N为训练集中样本图像的数量；
S4、求解第一最大化问题：
Figure BDA0003844646290000026
得到C1个维度为(2r+1)2的向量ul，l＝1,2,…,C1，C1为第一阶段卷积核的数量，||·||1表示L1范数，
Figure BDA0003844646290000027
表示C1×C1的单位矩阵；
将ul映射为(2r+1)×(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
Figure BDA0003844646290000028
Figure BDA0003844646290000029
其中mat2r+1(·)表示映射函数，上标数字1表示第一阶段的卷积核；
S5、训练集中每个图像In分别与C1个第一阶段的卷积核进行卷积，得到第一阶段的N×C1个输出图像
Figure BDA0003844646290000031
S6、第一阶段输出的每个图像
Figure BDA0003844646290000032
均按照步骤S2和S3获取跨尺度局部差异矩阵，构成第一阶段对应的跨尺度局部差异矩阵Y：
Figure BDA0003844646290000033
其中
Figure BDA0003844646290000034
为第一阶段输出的第i个图像，i＝1,2,…,N×C1；
S7、求解第二最大化问题：
Figure BDA0003844646290000035
得到C2个维度为(2r+1)2的向量vp，p＝1,2,…,C2，C2为第二阶段卷积核的数量，
Figure BDA0003844646290000036
表示C2×C2的单位矩阵；
将vp映射为(2r+1)×(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
Figure BDA0003844646290000037
Figure BDA0003844646290000038
上标数字2表示第二阶段的卷积核；
S8、将第一阶段输出的N×C1个图像分别与C2个第二阶段的卷积核进行卷积，得到第二阶段的N×C1×C2个输出图像
Figure BDA0003844646290000039
S9、对于训练样本集中的每个图像In，得到C1组、每组C2个图像，对每组中的C2个图像采用二进制哈希编码进行非线性处理，得到图像Fn,l：
Figure BDA00038446462900000310
其中H(·)为Heaviside阶跃函数，其输入为正时值为1，否则为零；
Figure BDA00038446462900000311
为第二阶段输出图像
Figure BDA00038446462900000312
在(x,y)处的像素值；Fn,l(x,y)为图像Fn,l在(x,y)处的像素值；
S10、使用大小为q1×q2的窗口，以重叠比λ在图像Fn,l上滑动，得到B个子图Fn,l,b，b＝1,2,...,B，计算每个子图的直方图，拼接为直方图向量fn,l：
fn,l＝[Hist(Fn,l,1),Hist(Fn,l,2),...,Hist(Fn,l,B)]
Hist(·)表示直方图统计；
S11、对于训练样本集中的每个图像In，连接C1个直方图向量，得到图像In对应的图像特征fn：
Figure BDA0003844646290000041
S12、采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
S13、对待识别图像与C1个第一阶段的卷积核进行卷积，得到第一阶段的C1个输出图像，对C1个输出图像分别与C2个第二阶段的卷积核进行卷积，得到第二阶段的C1×C2个输出图像，对C1×C2个输出图像按照步骤S10-S12进行处理，得到待识别图像的图像特征；将待识别图像的图像特征输入训练后的表情分类器，得到表情识别结果。
进一步地，所述步骤S4中采用PCA-L1算法求解第一最大化问题。
进一步地，所述步骤S12中的表情分类器为基于SVM的分类器。
进一步地，所述步骤S12中的表情分类器为基于决策树的分类器。
另一方面，本发明还公开了实现上述基于跨尺度局部差异深度子空间特征的表情识别方法的系统，包括：
高斯滤波模块1，用于采用S-1个不同的高斯滤波器分别对训练样本图像I进行滤波，并与I构成S个尺度空间的图像Ps，s＝1,2,3,…,S：
Figure BDA0003844646290000042
图像跨尺度局部差异矩阵生成模块2，用于生成训练样本图像I的跨尺度局部差异矩阵DV，具体步骤为：；
将图像I的每个尺度空间的图像划分为M个大小为(2r+1)×(2r+1)的子块，第s个尺度空间的图像Ps中第m个子块中的像素为Ps,m(u,v)，m＝1,2,3,…,M，u,v＝1,2,…,2r,2r+1；
对训练样本图像I的S个尺度空间的图像，计算第m个子块的均值：
Figure BDA0003844646290000051
计算每个尺度下每个子块的局部差异子矩阵Ds,m＝{Ds,m(u,v)}，其中Ds,m(u,v)＝Ps,m(u,v)-ωm；
S个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
DL,m＝[D1,m D2,m … DS,m]
将DL,m转换为跨尺度局部差异子向量
Figure BDA0003844646290000052
M个跨尺度局部差异子向量拼接为训练样本图像I的跨尺度局部差异矩阵：
Figure BDA0003844646290000053
训练集跨尺度局部差异矩阵生成模块3，用于对训练集中的N个样本图像获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
Figure BDA0003844646290000054
其中
Figure BDA0003844646290000055
为第n个样本图像In的跨尺度局部差异矩阵，n＝1,2,3,…,N，N为训练集中样本图像的数量；
第一阶段卷积核生成模块4，用于生成第一阶段的C1个卷积核，包括步骤：
求解第一最大化问题：
Figure BDA0003844646290000056
得到C1个维度为(2r+1)2的向量ul，l＝1,2,…,C1，C1为第一阶段卷积核的数量，||·||1表示L1范数，
Figure BDA0003844646290000057
表示C1×C1的单位矩阵；
将ul映射为(2r+1)×(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
Figure BDA0003844646290000058
Figure BDA0003844646290000059
其中mat2r+1(·)表示映射函数，上标数字1表示第一阶段的卷积核；
第一阶段卷积模块5，用于分别采用C1个第一阶段的卷积核对图像进行卷积；
第一阶段跨尺度局部差异矩阵生成模块6，用于对第一阶段输出的图像获取跨尺度局部差异矩阵；
第二阶段卷积核生成模块7，用于生成第二阶段的C2个卷积核，包括步骤：
求解第二最大化问题：
Figure BDA0003844646290000061
得到C2个维度为(2r+1)2的向量vp，p＝1,2,…,C2，C2为第二阶段卷积核的数量，
Figure BDA0003844646290000062
表示C2×C2的单位矩阵；
将vp映射为(2r+1)×(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
Figure BDA0003844646290000063
Figure BDA0003844646290000064
上标数字2表示第二阶段的卷积核；
第二阶段卷积模块8，用于分别采用C2个第二阶段的卷积核对图像进行卷积；
非线性处理模块9，用于的第二阶段输出的图像采用二进制哈希编码进行非线性处理，得到图像Fn,l：
Figure BDA0003844646290000065
其中H(·)为Heaviside阶跃函数，其输入为正时值为1，否则为零；
Figure BDA0003844646290000066
为第二阶段输出图像
Figure BDA0003844646290000067
在(x,y)处的像素值；Fn,l(x,y)为图像Fn,l在(x,y)处的像素值；
直方图向量生成模块10，用于使用大小为q1×q2的窗口，以重叠比λ在图像Fn,l上滑动，得到B个子图Fn,l,b，b＝1,2,...,B，计算每个子图的直方图，拼接为直方图向量fn,l：
fn,l＝[Hist(Fn,l,1),Hist(Fn,l,2),...,Hist(Fn,l,B)]
Hist(·)表示直方图统计；
图像特征生成模块11，用于对第一阶段输出的C1个图像对应的直方图向量进行连接，得到对应的图像特征；
表情分类器训练模块12，用于采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
识别模块13，用于获取待识别图像的图像特征输入表情分类器后得到的表情识别结果。
本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
有益效果：本发明公开基于跨尺度局部差异深度子空间特征的表情识别方法和系统，构建融合不同尺度下的局部差异来构建跨尺度局部差异矩阵，以此训练得到两个阶段的卷积核。待识别图像经过两个阶段的卷积，并经非线性处理和直方图统计构建图像特征，以此来进行分类识别。本发明公开的表情是识别方法和系统提取的图像特征融合了不同尺度的局部差异，且只有两个阶段的卷积，与深度学习方法相比，无需大量训练样本，无需GPU，对硬件要求低。
附图说明
图1为本发明公开的基于跨尺度局部差异深度子空间特征的表情识别方法流程图；
图2为跨尺度局部差异子向量计算的示意图；
图3为本发明公开的基于跨尺度局部差异深度子空间特征的表情识别系统的组成示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。
本发明公开了一种基于跨尺度局部差异深度子空间特征的表情识别方法，如图1所示，包括步骤：
S1、用S-1个不同的高斯滤波器分别对训练样本图像I进行滤波，并与I构成S个尺度空间的图像Ps，s＝1,2,3,…,S：
Figure BDA0003844646290000081
其中*表示卷积运算，Gs表示第s个高斯滤波器。S-1个高斯滤波器构成滤波器组，每个滤波器的方差σs取值均不相同；采用滤波器组对训练样本集中的图像进行滤波，得到同一图像具有不同清晰度的滤波图像，即将图像转换到了不同尺度空间。
S2、基于多尺度信息对噪声和尺度不敏感，为了在多个尺度捕获局部纹理特征，将每个尺度空间的图像划分为M个大小为(2r+1)×(2r+1)的子块，第s个尺度空间的图像Ps中第m个子块中的像素为Ps,m(u,v)，m＝1,2,3,…,M，u,v＝1,2,…,2r,2r+1；即每个子块的中心为(r+1,r+1)；
对训练样本图像I的S个尺度空间的图像，计算第m个子块的均值：
Figure BDA0003844646290000082
计算每个尺度下每个子块的局部差异子矩阵Ds,m＝{Ds,m(u,v)}，其中Ds,m(u,v)＝Ps,m(u,v)-ωm；即对每个子块做去均值处理，以抑制光照灵敏度。
S个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
DL,m＝[D1,m D2,m … DS,m]
将DL,m转换为跨尺度局部差异子向量
Figure BDA0003844646290000083
如图2所示，为跨尺度局部差异子向量计算示例，其中S＝3，r＝1，即有3个尺度，每个子块为3×3。
M个跨尺度局部差异子向量拼接为训练样本图像I的跨尺度局部差异矩阵：
Figure BDA0003844646290000084
S3、训练集中的N个样本图像均按照步骤S2和S3获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
Figure BDA0003844646290000085
其中
Figure BDA0003844646290000086
为第n个样本图像In的跨尺度局部差异矩阵，n＝1,2,3,…,N，N为训练集中样本图像的数量；
S4、由于L1范数主成分分析(PCA)比L2范数PCA对异常值和噪声更具鲁棒性，本发明使用L1范数的PCA根据训练集对应的跨尺度局部差异矩阵X来学习第一阶段的卷积核参数，这实际上是最大化特征空间中基于L1范数的方差的问题，即求解如下第一最大化问题：
Figure BDA0003844646290000091
本实施例采用PCA-L1算法求解第一最大化问题，得到C1个维度为(2r+1)2的向量ul，l＝1,2,…,C1，C1为第一阶段卷积核的数量，||·||1表示L1范数，
Figure BDA0003844646290000092
表示C1×C1的单位矩阵；
将ul映射为(2r+1)×(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
Figure BDA0003844646290000093
Figure BDA0003844646290000094
其中mat2r+1(·)表示映射函数，上标数字1表示第一阶段的卷积核；
S5、训练集中每个图像In分别与C1个第一阶段的卷积核进行卷积，得到第一阶段的N×C1个输出图像
Figure BDA0003844646290000095
S6、第一阶段输出的每个图像
Figure BDA0003844646290000096
均按照步骤S2和S3获取跨尺度局部差异矩阵，构成第一阶段对应的跨尺度局部差异矩阵Y：
Figure BDA0003844646290000097
其中
Figure BDA0003844646290000098
为第一阶段输出的第i个图像，i＝1,2,…,N×C1；
S7、采用PCA-L1算法求解如下第二最大化问题：
Figure BDA0003844646290000099
得到C2个维度为(2r+1)2的向量vp，p＝1,2,…,C2，C2为第二阶段卷积核的数量，
Figure BDA00038446462900000910
表示C2×C2的单位矩阵；
将vp映射为(2r+1)×(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
Figure BDA00038446462900000911
Figure BDA00038446462900000912
上标数字2表示第二阶段的卷积核；
S8、将第一阶段输出的N×C1个图像分别与C2个第二阶段的卷积核进行卷积，得到第二阶段的N×C1×C2个输出图像
Figure BDA0003844646290000101
S9、对于训练样本集中的每个图像In，得到C1组、每组C2个图像，对每组中的C2个图像采用二进制哈希编码进行非线性处理，得到图像Fn,l：
Figure BDA0003844646290000102
其中H(·)为Heaviside阶跃函数，其输入为正时值为1，否则为零；
Figure BDA0003844646290000103
为第二阶段输出图像
Figure BDA0003844646290000104
在(x,y)处的像素值；Fn,l(x,y)为图像Fn,l在(x,y)处的像素值；
S10、使用大小为q1×q2的窗口，以重叠比λ在图像Fn,l上滑动，得到B个子图Fn,l,b，b＝1,2,...,B，计算每个子图的直方图，拼接为直方图向量fn,l：
fn,l＝[Hist(Fn,l,1),Hist(Fn,l,2),...,Hist(Fn,l,B)]
Hist(·)表示直方图统计；
S11、对于训练样本集中的每个图像In，连接C1个直方图向量，得到图像In对应的图像特征fn：
Figure BDA0003844646290000105
S12、采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
表情分类器可以采用基于SVM或决策树的分类器。
步骤S1-S12是表情分类器的训练阶段，识别阶段为步骤S13：
S13、对待识别图像与C1个第一阶段的卷积核进行卷积，得到第一阶段的C1个输出图像，对C1个输出图像分别与C2个第二阶段的卷积核进行卷积，得到第二阶段的C1×C2个输出图像，对C1×C2个输出图像按照步骤S10-S12进行处理，得到待识别图像的图像特征；将待识别图像的图像特征输入训练后的表情分类器，得到表情识别结果。
实现上述基于跨尺度局部差异深度子空间特征的表情识别方法的系统，如图3，包括：
高斯滤波模块1，用于采用S-1个不同的高斯滤波器分别对训练样本图像I进行滤波，并与I构成S个尺度空间的图像Ps，s＝1,2,3,…,S：
Figure BDA0003844646290000111
图像跨尺度局部差异矩阵生成模块2，用于生成训练样本图像I的跨尺度局部差异矩阵DV，具体步骤为：；
将图像I的每个尺度空间的图像划分为M个大小为(2r+1)×(2r+1)的子块，第s个尺度空间的图像Ps中第m个子块中的像素为Ps,m(u,v)，m＝1,2,3,…,M，u,v＝1,2,…,2r,2r+1；
对训练样本图像I的S个尺度空间的图像，计算第m个子块的均值：
Figure BDA0003844646290000112
计算每个尺度下每个子块的局部差异子矩阵Ds,m＝{Ds,m(u,v)}，其中Ds,m(u,v)＝Ps,m(u,v)-ωm；
S个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
DL,m＝[D1,m D2,m … DS,m]
将DL,m转换为跨尺度局部差异子向量
Figure BDA0003844646290000113
M个跨尺度局部差异子向量拼接为训练样本图像I的跨尺度局部差异矩阵：
Figure BDA0003844646290000114
训练集跨尺度局部差异矩阵生成模块3，用于对训练集中的N个样本图像获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
Figure BDA0003844646290000115
其中
Figure BDA0003844646290000116
为第n个样本图像In的跨尺度局部差异矩阵，n＝1,2,3,…,N，N为训练集中样本图像的数量；
第一阶段卷积核生成模块4，用于生成第一阶段的C1个卷积核，包括步骤：
求解第一最大化问题：
Figure BDA0003844646290000121
得到C1个维度为(2r+1)2的向量ul，l＝1,2,…,C1，C1为第一阶段卷积核的数量，||·||1表示L1范数，
Figure BDA0003844646290000122
表示C1×C1的单位矩阵；
将ul映射为(2r+1)×(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
Figure BDA0003844646290000123
Figure BDA0003844646290000124
其中mat2r+1(·)表示映射函数，上标数字1表示第一阶段的卷积核；
第一阶段卷积模块5，用于分别采用C1个第一阶段的卷积核对图像进行卷积；
第一阶段跨尺度局部差异矩阵生成模块6，用于对第一阶段输出的图像获取跨尺度局部差异矩阵；
第二阶段卷积核生成模块7，用于生成第二阶段的C2个卷积核，包括步骤：
求解第二最大化问题：
Figure BDA0003844646290000125
得到C2个维度为(2r+1)2的向量vp，p＝1,2,…,C2，C2为第二阶段卷积核的数量，
Figure BDA0003844646290000126
表示C2×C2的单位矩阵；
将vp映射为(2r+1)×(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
Figure BDA0003844646290000127
Figure BDA0003844646290000128
上标数字2表示第二阶段的卷积核；
第二阶段卷积模块8，用于分别采用C2个第二阶段的卷积核对图像进行卷积；
非线性处理模块9，用于的第二阶段输出的图像采用二进制哈希编码进行非线性处理，得到图像Fn,l：
Figure BDA0003844646290000131
其中H(·)为Heaviside阶跃函数，其输入为正时值为1，否则为零；
Figure BDA0003844646290000132
为第二阶段输出图像
Figure BDA0003844646290000133
在(x,y)处的像素值；Fn,l(x,y)为图像Fn,l在(x,y)处的像素值；
直方图向量生成模块10，用于使用大小为q1×q2的窗口，以重叠比λ在图像Fn,l上滑动，得到B个子图Fn,l,b，b＝1,2,...,B，计算每个子图的直方图，拼接为直方图向量fn,l：
fn,l＝[Hist(Fn,l,1),Hist(Fn,l,2),...,Hist(Fn,l,B)]
Hist(·)表示直方图统计；
图像特征生成模块11，用于对第一阶段输出的C1个图像对应的直方图向量进行连接，得到对应的图像特征；
表情分类器训练模块12，用于采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
识别模块13，用于获取待识别图像的图像特征输入表情分类器后得到的表情识别结果。
本发明还公开了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
本发明还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于跨尺度局部差异深度子空间特征的表情识别方法。
本实施例在CK+数据集、JAFFE数据库、ISED数据库和BAUM-2i数据库这四个公开的人脸表情数据集上，对本发明公开的表情识别方法和常用的识别方法进行了对比，对比结果如表1-4所示。
CK+数据集是受控场景中摆拍(acted)表情图像集，各方法的表情识别准确率如表1。
表1
方法 特征类型 准确率(％)
PCANet 深度子空间特征 78.74
K-PCANet 深度子空间特征 81.89
E-PCANet 深度子空间特征 85.66
Inception 深度学习 93.20
AUDN(AURF) 深度学习 92.22
P-PCANet 深度子空间特征 92.67
ILCNN 深度学习 94.39
DAE 深度学习 95.79
CLGDNP 手工特征 94.27
LDSP 手工特征 94.49
LSDP 手工特征 94.68
3DCNN-DAP 深度学习 92.40
本发明方法 深度子空间特征 96.26
JAFFE数据库同样是受控场景中的摆拍(acted)表情图像集，各方法的表情识别准确率如表2。
表2
方法 特征类型 准确率(％)
PCANet 深度子空间特征 58.35
LAP 手工特征 68.54
K-PCANet 深度子空间特征 68.80
WLD 手工特征 69.01
E-PCANet 深度子空间特征 69.40
LPQ 手工特征 69.95
STL-CNN 深度学习 69.35
LSDP 手工特征 70.89
P-PCANet 深度子空间特征 71.38
本发明方法 深度子空间特征 73.15
ISED数据库是受控场景中的自发(spontaneous)表情图像集，各方法的表情识别准确率如表3。
表3
方法 特征类型 准确率(％)
PCANet 深度子空间特征 73.78
NEDP<sub>ns</sub> 手工特征 77.39
NEDP<sub>s</sub> 手工特征 77.78
LSP+LB 手工特征 77.82
sLSP+LB 手工特征 78.03
本发明方法 深度子空间特征 80.71
BAUM-2i数据库是不受控场景中的自发(spontaneous)表情图像集，各方法的表情识别准确率如表4。
表4
Figure BDA0003844646290000151
由以上结果对比可知，在各数据集中，本发明公开的表情识别方法的准确率最高。

Claims (10)

1.一种基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，包括步骤：
S1、用S-1个不同的高斯滤波器分别对训练样本图像I进行滤波，并与I构成S个尺度空间的图像Ps，s＝1,2,3,…,S：
Figure FDA0003844646280000011
S2、将每个尺度空间的图像划分为M个大小为(2r+1)×(2r+1)的子块，第s个尺度空间的图像Ps中第m个子块中的像素为Ps,m(u,v)，m＝1,2,3,…,M，u,v＝1,2,…,2r,2r+1；
对训练样本图像I的S个尺度空间的图像，计算第m个子块的均值：
Figure FDA0003844646280000012
计算每个尺度下每个子块的局部差异子矩阵Ds,m＝{Ds,m(u,v)}，其中Ds,m(u,v)＝Ps,m(u,v)-ωm；
S个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
DL,m＝[D1,m D2,m…DS,m]
将DL,m转换为跨尺度局部差异子向量
Figure FDA0003844646280000013
M个跨尺度局部差异子向量拼接为训练样本图像I的跨尺度局部差异矩阵：
Figure FDA0003844646280000014
S3、训练集中的N个样本图像均按照步骤S2和S3获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
Figure FDA0003844646280000015
其中
Figure FDA0003844646280000016
为第n个样本图像In的跨尺度局部差异矩阵，n＝1,2,3,…,N，N为训练集中样本图像的数量；
S4、求解第一最大化问题：
Figure FDA0003844646280000021
得到C1个维度为(2r+1)2的向量ul，l＝1,2,…,C1，C1为第一阶段卷积核的数量，||·||1表示L1范数，
Figure FDA0003844646280000022
表示C1×C1的单位矩阵；
将ul映射为(2r+1)×(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
Figure FDA0003844646280000023
Figure FDA0003844646280000024
其中mat2r+1(·)表示映射函数，上标数字1表示第一阶段的卷积核；
S5、训练集中每个图像In分别与C1个第一阶段的卷积核进行卷积，得到第一阶段的N×C1个输出图像
Figure FDA0003844646280000025
S6、第一阶段输出的每个图像
Figure FDA0003844646280000026
均按照步骤S2和S3获取跨尺度局部差异矩阵，构成第一阶段对应的跨尺度局部差异矩阵Y：
Figure FDA0003844646280000027
其中
Figure FDA0003844646280000028
为第一阶段输出的第i个图像，i＝1,2,…,N×C1；
S7、求解第二最大化问题：
Figure FDA0003844646280000029
得到C2个维度为(2r+1)2的向量vp，p＝1,2,…,C2，C2为第二阶段卷积核的数量，
Figure FDA00038446462800000210
表示C2×C2的单位矩阵；
将vp映射为(2r+1)×(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
Figure FDA00038446462800000211
Figure FDA00038446462800000212
上标数字2表示第二阶段的卷积核；
S8、将第一阶段输出的N×C1个图像分别与C2个第二阶段的卷积核进行卷积，得到第二阶段的N×C1×C2个输出图像
Figure FDA00038446462800000213
S9、对于训练样本集中的每个图像In，得到C1组、每组C2个图像，对每组中的C2个图像采用二进制哈希编码进行非线性处理，得到图像Fn,l：
Figure FDA0003844646280000031
其中H(·)为Heaviside阶跃函数，其输入为正时值为1，否则为零；
Figure FDA0003844646280000032
为第二阶段输出图像
Figure FDA0003844646280000033
在(x,y)处的像素值；Fn,l(x,y)为图像Fn,l在(x,y)处的像素值；
S10、使用大小为q1×q2的窗口，以重叠比λ在图像Fn,l上滑动，得到B个子图Fn,l,b，b＝1,2,...,B，计算每个子图的直方图，拼接为直方图向量fn,l：
fn,l＝[Hist(Fn,l,1),Hist(Fn,l,2),...,Hist(Fn,l,B)]
Hist(·)表示直方图统计；
S11、对于训练样本集中的每个图像In，连接C1个直方图向量，得到图像In对应的图像特征fn：
Figure FDA0003844646280000034
S12、采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
S13、对待识别图像与C1个第一阶段的卷积核进行卷积，得到第一阶段的C1个输出图像，对C1个输出图像分别与C2个第二阶段的卷积核进行卷积，得到第二阶段的C1×C2个输出图像，对C1×C2个输出图像按照步骤S10-S12进行处理，得到待识别图像的图像特征；将待识别图像的图像特征输入训练后的表情分类器，得到表情识别结果。
2.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，所述步骤S4中采用PCA-L1算法求解第一最大化问题。
3.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，所述步骤S12中的表情分类器为基于SVM的分类器。
4.根据权利要求1所述的基于跨尺度局部差异深度子空间特征的表情识别方法，其特征在于，所述步骤S12中的表情分类器为基于决策树的分类器。
5.一种基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，包括：
高斯滤波模块(1)，用于采用S-1个不同的高斯滤波器分别对训练样本图像I进行滤波，并与I构成S个尺度空间的图像Ps，s＝1,2,3,…,S：
Figure FDA0003844646280000041
图像跨尺度局部差异矩阵生成模块(2)，用于生成训练样本图像I的跨尺度局部差异矩阵DV，具体步骤为：；
将图像I的每个尺度空间的图像划分为M个大小为(2r+1)×(2r+1)的子块，第s个尺度空间的图像Ps中第m个子块中的像素为Ps,m(u,v)，m＝1,2,3,…,M，u,v＝1,2,…,2r,2r+1；
对训练样本图像I的S个尺度空间的图像，计算第m个子块的均值：
Figure FDA0003844646280000042
计算每个尺度下每个子块的局部差异子矩阵Ds,m＝{Ds,m(u,v)}，其中Ds,m(u,v)＝Ps,m(u,v)-ωm；
S个尺度在第m个子块的局部差异拼接为跨尺度局部差异子矩阵：
DL,m＝[D1,m D2,m…DS,m]
将DL,m转换为跨尺度局部差异子向量
Figure FDA0003844646280000043
M个跨尺度局部差异子向量拼接为训练样本图像I的跨尺度局部差异矩阵：
Figure FDA0003844646280000044
训练集跨尺度局部差异矩阵生成模块(3)，用于对训练集中的N个样本图像获取跨尺度局部差异矩阵，构成训练集对应的跨尺度局部差异矩阵：
Figure FDA0003844646280000045
其中
Figure FDA0003844646280000046
为第n个样本图像In的跨尺度局部差异矩阵，n＝1,2,3,…,N，N为训练集中样本图像的数量；
第一阶段卷积核生成模块(4)，用于生成第一阶段的C1个卷积核，包括步骤：
求解第一最大化问题：
Figure FDA0003844646280000051
得到C1个维度为(2r+1)2的向量ul，l＝1,2,…,C1，C1为第一阶段卷积核的数量，||·||1表示L1范数，
Figure FDA0003844646280000052
表示C1×C1的单位矩阵；
将ul映射为(2r+1)×(2r+1)的矩阵，作为第一阶段第l个卷积核的参数矩阵
Figure FDA0003844646280000053
Figure FDA0003844646280000054
其中mat2r+1(·)表示映射函数，上标数字1表示第一阶段的卷积核；
第一阶段卷积模块(5)，用于分别采用C1个第一阶段的卷积核对图像进行卷积；
第一阶段跨尺度局部差异矩阵生成模块(6)，用于对第一阶段输出的图像获取跨尺度局部差异矩阵；
第二阶段卷积核生成模块(7)，用于生成第二阶段的C2个卷积核，包括步骤：
求解第二最大化问题：
Figure FDA0003844646280000055
得到C2个维度为(2r+1)2的向量vp，p＝1,2,…,C2，C2为第二阶段卷积核的数量，
Figure FDA0003844646280000056
表示C2×C2的单位矩阵；
将vp映射为(2r+1)×(2r+1)的矩阵，作为第二阶段第p个卷积核的参数矩阵
Figure FDA0003844646280000057
Figure FDA0003844646280000058
上标数字2表示第二阶段的卷积核；
第二阶段卷积模块(8)，用于分别采用C2个第二阶段的卷积核对图像进行卷积；
非线性处理模块(9)，用于的第二阶段输出的图像采用二进制哈希编码进行非线性处理，得到图像Fn,l：
Figure FDA0003844646280000061
其中H(·)为Heaviside阶跃函数，其输入为正时值为1，否则为零；
Figure FDA0003844646280000062
为第二阶段输出图像
Figure FDA0003844646280000063
在(x,y)处的像素值；Fn,l(x,y)为图像Fn,l在(x,y)处的像素值；
直方图向量生成模块(10)，用于使用大小为q1×q2的窗口，以重叠比λ在图像Fn,l上滑动，得到B个子图Fn,l,b，b＝1,2,...,B，计算每个子图的直方图，拼接为直方图向量fn,l：
fn,l＝[Hist(Fn,l,1),Hist(Fn,l,2),...,Hist(Fn,l,B)]
Hist(·)表示直方图统计；
图像特征生成模块(11)，用于对第一阶段输出的C1个图像对应的直方图向量进行连接，得到对应的图像特征；
表情分类器训练模块(12)，用于采用训练样本集中每个图像的图像特征fn和对应的表情标签lablen训练表情分类器；
识别模块(13)，用于获取待识别图像的图像特征输入表情分类器后得到的表情识别结果。
6.根据权利要求5所述的基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，所述第一阶段卷积核生成模块(4)采用PCA-L1算法求解第一最大化问题。
7.根据权利要求5所述的基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，所述表情分类器训练模块(12)中的表情分类器为基于SVM的分类器。
8.根据权利要求5所述的基于跨尺度局部差异深度子空间特征的表情识别系统，其特征在于，所述表情分类器训练模块(12)中的表情分类器为基于决策树的分类器。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的基于跨尺度局部差异深度子空间特征的表情识别方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的基于跨尺度局部差异深度子空间特征的表情识别方法。
CN202211113773.1A 2022-09-14 2022-09-14 基于跨尺度局部差异深度子空间特征的表情识别方法和系统 Pending CN115546862A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211113773.1A CN115546862A (zh) 2022-09-14 2022-09-14 基于跨尺度局部差异深度子空间特征的表情识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211113773.1A CN115546862A (zh) 2022-09-14 2022-09-14 基于跨尺度局部差异深度子空间特征的表情识别方法和系统

Publications (1)

Publication Number Publication Date
CN115546862A true CN115546862A (zh) 2022-12-30

Family

ID=84726928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211113773.1A Pending CN115546862A (zh) 2022-09-14 2022-09-14 基于跨尺度局部差异深度子空间特征的表情识别方法和系统

Country Status (1)

Country Link
CN (1) CN115546862A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309454A (zh) * 2023-03-16 2023-06-23 首都师范大学 基于轻量化卷积核网络的病理图像智能识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309454A (zh) * 2023-03-16 2023-06-23 首都师范大学 基于轻量化卷积核网络的病理图像智能识别方法及装置
CN116309454B (zh) * 2023-03-16 2023-09-19 首都师范大学 基于轻量化卷积核网络的病理图像智能识别方法及装置

Similar Documents

Publication Publication Date Title
Gholamalinezhad et al. Pooling methods in deep neural networks, a review
JP4618098B2 (ja) 画像処理システム
Sun et al. Combining feature-level and decision-level fusion in a hierarchical classifier for emotion recognition in the wild
CN104268593A (zh) 一种小样本情况下多稀疏表示的人脸识别方法
US9530042B1 (en) Method for fingerprint classification
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN113076927A (zh) 基于多源域迁移的指静脉识别方法及系统
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
Zuobin et al. Feature regrouping for cca-based feature fusion and extraction through normalized cut
CN111104924B (zh) 一种识别低分辨率商品图像的处理算法
CN115546862A (zh) 基于跨尺度局部差异深度子空间特征的表情识别方法和系统
CN111371611A (zh) 一种基于深度学习的加权网络社区发现方法及装置
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN113255543A (zh) 基于图卷积网络的面部表情识别方法
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
Hussein Robust iris recognition framework using computer vision algorithms
Wang A novel face recognition method based on ICA and binary tree SVM
CN110084110B (zh) 一种近红外人脸图像识别方法、装置、电子设备及存储介质
CN113688715A (zh) 面部表情识别方法及系统
CN112801283A (zh) 一种神经网络模型、动作识别方法、装置及存储介质
CN114548197A (zh) 一种基于自律学习sdl模型的聚类方法
CN112613341A (zh) 训练方法及装置、指纹识别方法及装置、电子设备
Ting et al. Performance analysis of single and combined bit-planes feature extraction for recognition in face expression database
Al-Rawi et al. Feature extraction of human facail expressions using Haar wavelet and neural network
Vankayalapati et al. Nonlinear feature extraction approaches with application to face recognition over large databases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination