CN106960202B - 一种基于可见光与红外图像融合的笑脸识别方法 - Google Patents
一种基于可见光与红外图像融合的笑脸识别方法 Download PDFInfo
- Publication number
- CN106960202B CN106960202B CN201710232010.1A CN201710232010A CN106960202B CN 106960202 B CN106960202 B CN 106960202B CN 201710232010 A CN201710232010 A CN 201710232010A CN 106960202 B CN106960202 B CN 106960202B
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- pyramid
- infrared
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000004927 fusion Effects 0.000 title claims abstract description 36
- 230000014509 gene expression Effects 0.000 claims abstract description 41
- 238000012706 support-vector machine Methods 0.000 claims abstract description 27
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 19
- 239000013256 coordination polymer Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 235000020061 kirsch Nutrition 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 11
- 230000007547 defect Effects 0.000 abstract description 3
- 238000007500 overflow downdraw method Methods 0.000 abstract 1
- 238000002474 experimental method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于可见光与红外图像融合的笑脸识别方法，属于图象处理领域，利用红外图像对光照具有很强的抗干扰性特点，把可见光与红外图像进行融合后，能够弥补可见光图像对光照敏感的缺陷，更具实用价值。本发明采用的技术方案为：将可见光表情图像与红外表情图像采用基于对比度金字塔分解的图像融合方法进行融合，得到融合图像，再对融合图像进行提取表情特征，最后用支持向量机(SVM)进行分类识别。本发明将可见光与红外图像进行融合，弥补了可见光图像对光照敏感的缺陷，解决了光照对识别率影响的问题。
Description
技术领域
本发明涉及图象处理领域，具体的来说是涉及一种基于可见光与红外图像融合的笑脸识别方法。
背景技术
表情识别是一个交叉性的研究课题，涉及了心理学、生理学、神经学、医学、计算机视觉等领域。笑容是人与人交流中一种比较常见和重要的表情,人们通常用笑容表示其内心的喜悦、激动、满足、幸福等情感。笑脸识别在生活中具有非常重要的实际应用价值，例如在自闭儿童情感研究中，可通过笑脸识别获知自闭儿童高兴等积极情绪；在电影评价分析系统中，可通过笑脸识别获得观影者的喜悦情绪，进而分析电影的喜剧效果；在摄影设备或应用软件中，可通过笑脸识别实现自动拍照功能；在视频会议中，可通过笑脸识别获取参会人员的笑脸，从而统计会议的满意度。笑脸识别的发展在很大程度上能推动表情识别的发展。
目前，关于笑脸识别的研究逐渐受到广泛关注。2011年，郭礼华发明了一种改进线性鉴别分析降维的笑脸识别方法，提取人脸的Gabor特征，然后改进线性鉴别分析对所提取的Gabor特征矢量进行降维，最后使用支持向量机进行分类识别。2012年，王俊艳等人发明了一种笑脸图像的识别方法和识别装置，该方法将人脸区域划分为N个互相嵌套的几分区域，将每个几分区域进行横向积分投影，将投影向量和峰谷点作为特征向量，最后使用支持向量机进行分类识别。2015年，黄永祯等人发明了一种人脸图像的笑脸识别方法及其装置，该发明使用卷积神经网络对人脸表情特征进行训练和识别。2016年，于力等人发明了基于唇部特征和深度学习的笑脸识别方法，该发明方法将唇部作为训练样本，并对其提取特征，用深度神经网络对特征向量进行训练分类，但该方法只考虑了嘴巴变化，实际上，人们在微笑时，除了嘴部运动外，还有很多其他的变化。
综上，目前关于笑脸识别的研究大多是在可见光环境下进行的，而可见光笑脸识别的结果容易受环境、复杂的背景、以及光照的变化等因素的影响。如何降低光照对识别率的影响，是有待解决的问题。
发明内容
本发明提供一种基于可见光与红外图像融合的笑脸识别方法，解决现有技术中光照对笑脸识别结果的不良影响的问题
本发明通过以下技术方案解决上述问题：
一种基于可见光与红外图像融合的笑脸识别方法，
包括如下步骤：
步骤1：对可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割，获得可见光人脸区域图和红外脸区域图；
步骤2：将可见光人脸区域图和红外人脸区域图进行配准，得到配准后的可见光人脸区域图和红外人脸区域图；
步骤3：应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行图像融合处理，得到融合图像；
步骤4：对融合图像进行特征值提取，得到局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量；
步骤5：把局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量和训练集的标签输到支持向量机中进行训练学习，得到LBP特征训练的支持向量机分类器和LDP特征训练的支持向量机分类器；
步骤6：将测试集的可见光图像和红外图像根据步骤1-步骤4的原理进行处理得到测试集融合图像的局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量；
步骤7：将测试集的局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量分别输入到LBP特征训练的支持向量机分类器和LDP特征训练的支持向量机分类器进行分类识别，得到分类结果；
步骤8：把分类结果与测试集原标签进行对比，即可计算出笑脸识别率，最终完成测试；
上述方案中，优选的是步骤1中可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割的过程为：
步骤1.1：对可见光训练样本图片进行直方图均衡化、图像旋转和缩放处理，然后采用基于Haar特征和Adaboost算法对处理后的可见光图像进行人脸检测，获取可见光人脸区域图；
步骤1.2：对红外训练样本图片进行二值化，并对二值化的图像进行腐蚀和膨胀操作，获得完整的人物轮廓，然后再进行边缘检测，获得人物的轮廓边缘，最后进行水平投影和垂直投影，根据投影确定人脸区域范围，并对此范围进行分割，最终获得红外人脸图像。
上述方案中，优选的是步骤2中将可见光人脸区域图和红外训人脸区域图进行配准的过程为：分别在可见光人脸区域图和红外人脸区域图中选取7个特征点，并将7个特征点按顺序一一匹配，完成可见光人脸图像与红外人脸图像的配准。
上述方案中，优选的是选取7个特征点的过程为：对于戴眼镜的人脸区域图分别选取左眼镜框的左右边框两个点，右眼镜框左右边框的两个点、鼻翼一个点和嘴角两个点；对于不戴眼镜的人脸图像分别选取左右眼睛的眼角和眼尾的四个点、鼻翼一个点和嘴角两个点。
上述方案中，优选的是步骤3中应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行融合处理的过程为：
步骤3.1：分别对配准后的可见光人脸区域图和红外人脸区域图进行高斯(Gauss)分解，得到可见光图像的高斯(Gauss)金字塔和红外图像的高斯(Gauss)金字塔，分别由可见光图像和红外图像的高斯(Gauss)金字塔建立可见光图像的对比度金字塔和红外图像的对比度金字塔；
步骤3.1.1：设置配准后的可见光人脸区域图的高斯(Gauss)金字塔和红外人脸区域图的高斯(Gauss)金字塔。可见光人脸区域图像和红外人脸区域图像的高斯(Gauss)金字塔的层数都为N+1层，G0表示高斯(Gauss)金字塔的第0层(最底层)，即为原图像，GN表示高斯(Gauss)金字塔的最顶层，G0,G1,...,GN构成的金字塔就是图像的高斯(Gauss)金字塔，其中，N为正整数，Gx表示高斯(Gauss)金字塔的第x层；
高斯(Gauss)金字塔第x层Gx的数学表达式为：
其中，0＜x≤N,0＜i≤Cx，0＜j≤Rx，其中Cx和Rx分别表示高斯(Gauss)金字塔的第x层图像的列数和行数，w(m,n)为5x5的高斯卷积核，即权函数表达式为：
步骤3.1.2：由可见光图像和红外图像的高斯(Gauss)金字塔分别建立可见光图像的对比度金字塔和红外图像的对比度金字塔。首先将高斯(Gauss)金字塔第x层的Gx内插放大，使Gx的尺寸与Gx的一层Gx-1的尺寸相同，记为
的表达式为：
其中，0＜x≤N,0＜i≤Cx，0＜j≤Rx，x、N、i和j均为正整数，
C为图像对比度上式中gx表示图像x处的灰度值，gb表示该处的背景灰度值；
用CPx表示图像第x层的对比度金字塔，数学表达式为：
其中，x、N为正整数，Ig表示单位灰度值图像，CP0,CP1,...,CPN构成的金字塔即为图像的对比度金字塔；
步骤3.2：将可见光对比度金字塔和红外对比度金字塔相应的每一层图像采用像素灰度平均法进行融合，得到融合对比度金字塔；
步骤3.2.1：融合对比度金字塔的第x层图像FPx的表达式为：
其中，x、N、i和j均为正整数，0＜x≤N,0＜i≤Cx，0＜j≤Rx，CPVx(i,j)表示可见光图像第x层的对比度金字塔，CPIx(i,j)表示红外图像第x层的对比度金字塔表达式；
步骤3.3：利用金字塔生成的逆运算对融合对比度金字塔重构出融合图像，金字塔的逆运算的数学表达式为：
其中，x和N均为正整数，依次令x＝N,N-1,...,0；逐层由上而下依次计算对应的融合高斯(Gauss)金字塔，当x＝0时，FG0为融合高斯(Gauss)金字塔的第0层，即最底层，即FG0为融合图像。。
上述方案中，优选的是步骤4中提取融合图像的局部二值模式(LBP)特征和提取局部方向模式(LDP)特征的过程为：
步骤4.1：提取融合图像的LBP特征，通过LBP编码的数学表达式如下：
其中，
上式中P,R表示在半径为R的邻域内，中心像素点相邻采样点个数为P个，R的邻域尺寸为(8,1)；(xc,yc)表示中心像素点的坐标；S(Ii,Ic)为逻辑判断函数，其中Ii表示第i个采样点的灰度值，Ic表示中心像素点的灰度值，从而获得局部二值模式(LBP)特征LBPP,R(xc,yc)；
步骤4.2：提取融合图像的局部方向模式(LDP)特征，具体过程为：通过计算每个像素位置上的八个方向上的边缘响应值，并根据响应相对强度的大小进行编码，使用Kirsch算子计算边缘响应，8个方向的Kirsch算子掩膜为：
上式中，M0～M7分别表示东，东北，北，西北，西，西南，南，东南8个方向的Kirsch算子。融合图像I(x,y)的中心像素为Ic，中心像素与其八个方向上的像素可构成一个3x3的矩阵：
I0～I7分别表示中心像素的东，东北，北，西北，西，西南，南，东南8个方向的像素，8个方向的边缘响应用{mi}表示，其中i＝0,1,2,...,7，
中心像素八个方向的边缘响应{mi}值取决于每个方向上的Kirsch算子，mi的值可用下式计算：
其中，
表示矩阵I中各行各列中的元素与矩阵Mi T中对应的元素分别相乘后得到新的矩阵，再对新的矩阵中所有元素进行求和，
LDP编码为将前K个最大响应值编码为1，其余响应编码为0，其中，K＝3，从东南方向为开始方向，进行逆时针，即m7为起始方向，具体表达式为：
其中，
mk是前K个最大响应值的第K个最大响应值，m、i和k均为正整数，得到融合图像的局部方向模式(LDP)特征值LDPk。
本发明的优点与效果是：
1、本发明考虑到可见光图像对光照变化的敏感问题，而红外图像对光照变化具有很强的鲁棒性，本发明将可见光与红外图像进行融合，弥补了可见光图像对光照敏感的缺陷，解决了光照对识别率影响的问题。
2、先融合后提取特征的方法，不但提取表面纹理特征，还对人脸表情的温度特征进行统计，实现了内外结合，较单一光源图像而言，本发明提出的基于可见光与红外图像融合的笑脸识别方法的笑脸识别的准确率明显提高。
附图说明
图1为本发明的具体流程图；
图2为本发明对比度金字塔分解的可见光与红外图像融合的流程图；
图3为本发明八个方向的边缘响应位置图。
具体实施方式
以下结合实施例对本发明作进一步说明。
一种基于可见光与红外图像融合的笑脸识别方法，如图1所示，包括如下步骤：
步骤1：对可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割，获得可见光人脸区域图和红外人脸区域图。
分别对可见光训练样本图片和红外训练样本图片进行人脸检测和分割的过程为：
步骤1.1：对可见光训练样本图像进行直方图均衡化、图像旋转、缩放等预处理，然后采用基于Haar特征和Adaboost算法对预处理后的可见光图像进行人脸检测，获取可见光人脸区域图像；
步骤1.2：对红外训练样本图像进行二值化，并对二值化的图像进行腐蚀和膨胀操作，获得完整的人物轮廓，然后再进行边缘检测，获得人物的轮廓边缘，最后进行水平投影和垂直投影，根据投影确定人脸区域范围，并对此范围进行分割最终获得红外人脸区域图像。
步骤2：将可见光人脸区域图和红外人脸区域图进行配准，得到配准后的可见光人脸区域图和红外人脸区域图。将可见光人脸区域图和红外人脸区域图进行配准的过程为：分别在可见光人脸区域图和红外人脸区域图中选取7个特征点，并将7个特征点按顺序一一匹配，完成可见光人脸图像与红外人脸图像的配准。选取7个特征点的过程为：对于戴眼镜的人脸区域图分别选取左眼镜框的左右边框两个点，右眼镜框左右边框的两个点、鼻翼一个点和嘴角两个点；对于不戴眼镜的人脸图像分别选取左右眼睛的眼角和眼尾的四个点、鼻翼一个点和嘴角两个点。
步骤3：应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行融合处理，得到融合图像。
应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行融合处理的过程为：
步骤3.1：分别对配准后的可见光人脸区域图和红外人脸区域图高斯(Gauss)分解，得到可见光图像的高斯(Gauss)金字塔和红外图像的高斯(Gauss)金字塔，分别由可见光图像和红外图像的高斯(Gauss)金字塔建立可见光图像的对比度金字塔和红外图像对比度金字塔；
步骤3.1.1：设置配准后的可见光人脸区域图的高斯(Gauss)金字塔和红外人脸区域图的高斯(Gauss)金字塔。如图2所示，可见光人脸区域图像和红外人脸区域图像的高斯(Gauss)金字塔的层数都为N+1层，G0表示高斯(Gauss)金字塔的第0层(最底层)，即为原图像，GN表示高斯(Gauss)金字塔的最顶层，G0,G1,...,GN构成的金字塔就是图像的高斯(Gauss)金字塔，其中，N为正整数，Gx表示高斯(Gauss)金字塔的第x层；
高斯(Gauss)金字塔第x层Gx的数学表达式为：
其中，0＜x≤N,0＜i≤Cx，0＜j≤Rx，其中Cx和Rx分别表示高斯(Gauss)金字塔的第x层图像的列数和行数，w(m,n)为5x5的高斯卷积核，即权函数，表达式为：
步骤3.1.2：由可见光图像和红外图像的高斯(Gauss)金字塔分别建立可见光图像的对比度金字塔和红外图像的对比度金字塔。首先将高斯(Gauss)金字塔第x层Gx内插放大，使Gx的尺寸与Gx的一层Gx-1的尺寸相同，记为
的表达式为：
其中，0＜x≤N,0＜i≤Cx，0＜j≤Rx，x、N、i和j均为正整数，
图像对比度C定义为：
上式中gx表示图像x处的灰度值，gb表示该处的背景灰度值，；
用CPx表示图像第x层的对比度金字塔，数学表达式为：
其中，x、N为正整数，Ig表示单位灰度值图像，CP0,CP1,...,CPN构成的金字塔即为图像的对比度金字塔；
步骤3.2：将可见光对比度金字塔和红外对比度金字塔的每一层图像进行融合，得到融合对比度金字塔，融合规则为像素灰度平均法；
步骤3.2.1：融合对比度金字塔的第x层图像FPx的表达式为：
其中，x、N、i和j均为正整数，0＜x≤N,0＜i≤Cx，0＜j≤Rx，CPVx(i,j)表示可见光图像第x层的对比度金字塔，CPIx(i,j)表示红外图像第x层的对比度金字塔；
步骤3.3：利用金字塔生成的逆运算对融合对比度金字塔重构出融合图像，金字塔的逆运算的数学表达式为：
其中，x和N均为正整数，依次令x＝N,N-1,...,0；逐层由上而下依次计算对应的融合高斯(Gauss)金字塔，当x＝0时，FG0为融合高斯(Gauss)金字塔的第0层(最底层)，即FG0为融合图像。
可见光人脸图像具有较为清晰的纹理特征，而红外人脸图像的纹理特征较为模糊，但其图像的灰度变化能反映人脸表面温度的分布情况，经过对比度金字塔分解融合后的融合人脸图像，不仅保留了可见光人脸图像表面纹理特征，同时还保留了红外人脸图像反映面部温度分布的特征，即实现了可见光与红外图像的互补。
步骤4：对融合图像进行特征值提取，本发明选用局部二值模式(LBP)特征和局部方向模式(LDP)特征作为表情特征。
提取融合图像局部二值模式(LBP)特征和局部方向模式(LDP)特征的提取过程为：
步骤4.1：提取融合图像的局部二值模式(LBP)特征，LBP编码的数学表达式如下：
其中，
上式中P,R表示在半径为R的邻域内，中心像素点相邻采样点个数为P个，R的邻域尺寸为(8,1)；(xc,yc)表示中心像素点的坐标；S(Ii,Ic)为逻辑判断函数，其中Ii表示第i个采样点的灰度值，Ic表示中心像素点的灰度值。由上式获得融合图像的局部二值模式(LBP)特征LBPP,R(xc,yc)；
步骤4.2：提取融合图像局部方向模式(LDP)特征，具体过程为：通过计算每个像素位置上的八个方向上的边缘响应值，并根据响应相对强度的大小进行编码。LDP中使用Kirsch算子计算边缘响应。8个方向的Kirsch算子掩膜为：
上式中，M0～M7分别表示东，东北，北，西北，西，西南，南，东南8个方向的Kirsch算子。融合图像I(x,y)的中心像素为Ic，中心像素与其八个方向上的像素可构成一个3x3的矩阵：
I0～I7分别表示中心像素的东，东北，北，西北，西，西南，南，东南8个方向的像素。如图3所示，8个方向的边缘响应用{mi}表示，其中i＝0,1,2,...,7，
中心像素八个方向的边缘响应{mi}值取决于每个方向上的Kirsch算子，mi的值可用下式计算：
上式中，
表示矩阵A中各行各列中的元素与矩阵B中对应的元素分别相乘后得到新的矩阵，再对新的矩阵中所有元素进行求和。
LDP编码就是将前K个最大响应值编码为1，其余响应编码为0，其中，K＝3，从东南方向为开始方向，进行逆时针，即m7为起始方向，具体表达式为：
其中，
mk是前K个最大响应值的第K个最大响应值，m、i和k均为正整数，由上式得到融合图像的局部方向模式(LDP)特征值LDPK。
步骤5：对步骤4提取的局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量和训练集的标签输到支持向量机中进行训练学习，最终得到两组训练好的支持向量机分类器，分别是由LBP特征训练的支持向量机分类器和由LDP特征训练的支持向量机分类器；
本发明使用支持向量机(SVM)分类方法实现二分类问题，即将表情分为笑脸和非笑脸，考虑到RBF函数具有参数少，复杂程度低，数值计算困难度相对于多项式核函数小等优点，且在笑脸识别中映射效果比较好，本发明选择RBF核函数作为SVM的核函数。
支持向量机是由Vapnik等人提出的用于解决模式分类与非线性映射问题的分类方法，其核心思想是建立一个最优决策平面，使得该平面两侧距离平面最近的两类样本之间的距离最大。支持向量机是一种有监督学习方法，即训练集中数据的类别为已知，通过训练，求训练集数据与类别之间的对应关系，最后将训练集数据按照类别进行分类，从而达到预测新的数据对应的类别。
步骤6：测试阶段，将测试集的可见光图像和红外图像根据步骤1-步骤3的原理进行预处理、图像配准和图像融合，根据步骤4的特征提取方法，提取测试集融合图像的局部二值模式(LBP)特征和局部方向模式(LDP)特征。
步骤7：将测试集的局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量分别输入到由LBP特征训练的支持向量机分类器和由LDP特征训练的支持向量机分类器进行分类识别，得到分类结果。标签为指的是类别，训练分类器就是把大量已知的数据送进去训练学习，得到特征与类别的某种关系。测试就是将测试的用前面训练好的分类器预测类别。
步骤8：把步骤7的测试分类结果与测试集原标签进行对比，对比为相除比对模式或其他的比对模式，即可计算出笑脸识别率，最终完成测试。
为了说明本发明的笑脸识别效果，本发明根据上述步骤进行了实验仿真验证，实验在Visual Studio 2012开发软件中完成，调用OpenCV视觉库，使用C++语言进行编程。实验数据库选用USTC-NVIE(Natural Visible and Infrared Facial Expressions)自发表情库。从USTC-NVIE自发表情数据库中随机挑选120个不同个体在不同光照条件下的表情图片，每人每种表情选5-10张不等。其中笑脸集包含1160张笑脸，非笑脸集中包含了生气、厌恶、惊讶、悲伤、恐惧以及中性表情，一共1045张。所有表情图像都归一为100X 100大小。实验分别对可见光、红外、融合图像做基于LBP与SVM的笑脸识别以及基于LDP与SVM的笑脸识别实验。随机选取每个样本集的1/5作为测试集，剩余的4/5作为训练集，每组实验分别做5次实验，取平均识别率。本文用总体识别率(笑脸与非笑脸识别正确率)和笑脸识别率来统计实验结果。表1和表2分别给出了三种图像的LBP特征和LDP特征的笑脸识别率和总体识别率的对比结果。
表1
表2
由表1和表2可看出，在提取LBP特征的笑脸识别实验中，使用本发明的基于可见光与红外图像融合的笑脸识别方法比单独使用红外图像的笑脸识别率提高了约5.2％，总体识别率比红外图像提高了约8.3％，而比单独使用可见光的笑脸识别率提高了约1％，总体识别率比可见光提高了约1.4％。在提取LDP特征的实验中，使用本发明的基于可见光与红外图像融合的笑脸识别方法比单独使用红外图像的笑脸识别率提高了约5.6％，总体识别率比红外图像提高了约6％，而比单独使用可见光的笑脸识别率提高了约1％，总体识别率比可见光提高了约1.6％。这说明本发明的基于可见光与红外图像融合的笑脸识别方法具有很好的泛化能力。
以上已对本发明创造的较佳实施例进行了具体说明，但本发明并不限于实施例，熟悉本领域的技术人员在不违背本发明创造精神的前提下还可以作出种种的等同的变型或替换，这些等同的变型或替换均包含在本申请的范围内。
Claims (6)
1.一种基于可见光与红外图像融合的笑脸识别方法，其特征在于：包括如下步骤：
步骤1：对可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割，获得可见光人脸区域图和红外脸区域图；
步骤2：将可见光人脸区域图和红外人脸区域图进行配准，得到配准后的可见光人脸区域图和红外人脸区域图；
步骤3：应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行图像融合处理，得到融合图像；
步骤4：对融合图像进行特征值提取，得到局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量；
步骤5：把局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量和训练集的标签输到支持向量机中进行训练学习，得到LBP特征训练的支持向量机分类器和LDP特征训练的支持向量机分类器；
步骤6：将测试集的可见光图像和红外图像根据步骤1-步骤4的原理进行处理得到测试集融合图像的局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量；
步骤7：将测试集的局部二值模式(LBP)特征矢量和局部方向模式(LDP)特征矢量分别输入到LBP特征训练的支持向量机分类器和LDP特征训练的支持向量机分类器进行分类识别，得到分类结果；
步骤8：把分类结果与测试集原标签进行对比，即可计算出笑脸识别率，最终完成测试。
2.根据权利要求1所述的一种基于可见光与红外图像融合的笑脸识别方法，其特征在于：所述步骤1中可见光训练样本图片和红外训练样本图片分别进行人脸检测和分割的过程为：
步骤1.1：对可见光训练样本图片进行直方图均衡化、图像旋转和缩放处理，然后采用基于Haar特征和Adaboost算法对处理后的可见光图像进行人脸检测，获取可见光人脸区域图；
步骤1.2：对红外训练样本图片进行二值化，并对二值化的图像进行腐蚀和膨胀操作，获得完整的人物轮廓，然后再进行边缘检测，获得人物的轮廓边缘，最后进行水平投影和垂直投影，根据投影确定人脸区域范围，并对此范围进行分割，最终获得红外人脸图像。
3.根据权利要求1所述的一种基于可见光与红外图像融合的笑脸识别方法，其特征在于：所述步骤2中将可见光人脸区域图和红外训人脸区域图进行配准的过程为：分别在可见光人脸区域图和红外人脸区域图中选取7个特征点，并将7个特征点按顺序一一匹配，完成可见光人脸图像与红外人脸图像的配准。
4.根据权利要求3所述的一种基于可见光与红外图像融合的笑脸识别方法，其特征在于：所述选取7个特征点的过程为：对于戴眼镜的人脸区域图分别选取左眼镜框的左右边框两个点，右眼镜框左右边框的两个点、鼻翼一个点和嘴角两个点；对于不戴眼镜的人脸图像分别选取左右眼睛的眼角和眼尾的四个点、鼻翼一个点和嘴角两个点。
5.根据权利要求1所述的一种基于可见光与红外图像融合的笑脸识别方法，其特征在于：所述步骤3中应用对比度金字塔原理对配准后的可见光人脸区域图和红外人脸区域图进行融合处理的过程为：
步骤3.1：分别对配准后的可见光人脸区域图和红外人脸区域图进行高斯(Gauss)分解，得到可见光图像的高斯(Gauss)金字塔和红外图像的高斯(Gauss)金字塔，分别由可见光图像和红外图像的高斯(Gauss)金字塔建立可见光图像的对比度金字塔和红外图像的对比度金字塔；
步骤3.1.1：设置配准后的可见光人脸区域图的高斯(Gauss)金字塔和红外人脸区域图的高斯(Gauss)金字塔，可见光人脸区域图像和红外人脸区域图像的高斯(Gauss)金字塔的层数都为N+1层，G0表示高斯(Gauss)金字塔的第0层，为最底层，即为原图像，GN表示高斯(Gauss)金字塔的最顶层，G0,G1,...,GN构成的金字塔就是图像的高斯(Gauss)金字塔，其中，N为正整数，Gx表示高斯(Gauss)金字塔的第x层；
高斯(Gauss)金字塔第x层Gx的数学表达式为：
其中，0＜x≤N,0＜i≤Cx，0＜j≤Rx，其中Cx和Rx分别表示高斯(Gauss)金字塔的第x层图像的列数和行数，w(m,n)为5x5的高斯卷积核，即权函数表达式为：
步骤3.1.2：由可见光图像和红外图像的高斯(Gauss)金字塔分别建立可见光图像的对比度金字塔和红外图像的对比度金字塔，首先将高斯(Gauss)金字塔第x层的Gx内插放大，使Gx的尺寸与Gx的前一层Gx-1的尺寸相同，记为
的表达式为：
其中，0＜x≤N,0＜i≤Cx，0＜j≤Rx，x、N、i和j均为正整数，
C为图像对比度上式中gx表示图像x处的灰度值，gb表示该处的背景灰度值；
用CPx表示图像第x层的对比度金字塔，数学表达式为：
其中，x、N为正整数，Ig表示单位灰度值图像，CP0,CP1,...,CPN构成的金字塔即为图像的对比度金字塔；
步骤3.2：将可见光对比度金字塔和红外对比度金字塔相应的每一层图像采用像素灰度平均法进行融合，得到融合对比度金字塔；
步骤3.2.1：融合对比度金字塔的第x层图像FPx的表达式为：
其中，x、N、i和j均为正整数，0＜x≤N,0＜i≤Cx，0＜j≤Rx，CPVx(i,j)表示可见光图像第x层的对比度金字塔，CPIx(i,j)表示红外图像第x层的对比度金字塔表达式；
步骤3.3：利用金字塔生成的逆运算对融合对比度金字塔重构出融合图像，金字塔的逆运算的数学表达式为：
其中，x和N均为正整数，依次令x＝N,N-1,...,0；逐层由上而下依次计算对应的融合高斯(Gauss)金字塔，当x＝0时，FG0为融合高斯(Gauss)金字塔的第0层，即最底层，即FG0为融合图像。
6.根据权利要求1所述的一种基于可见光与红外图像融合的笑脸识别方法，其特征在于：所述步骤4中提取融合图像的局部二值模式(LBP)特征和提取局部方向模式(LDP)特征的过程为：
步骤4.1：提取融合图像的LBP特征，通过LBP编码的数学表达式如下：
其中，
上式中P,R表示在半径为R的邻域内，中心像素点相邻采样点个数为P个，R的邻域尺寸为(8,1)；(xc,yc)表示中心像素点的坐标；S(Ii,Ic)为逻辑判断函数，其中Ii表示第o个采样点的灰度值，Ic表示中心像素点的灰度值，从而获得局部二值模式(LBP)特征LBPP,R(xc,yc)；
步骤4.2：提取融合图像的局部方向模式(LDP)特征，具体过程为：通过计算每个像素位置上的八个方向上的边缘响应值，并根据响应相对强度的大小进行编码，使用Kirsch算子计算边缘响应，8个方向的Kirsch算子掩膜为：
上式中，M0～M7分别表示东，东北，北，西北，西，西南，南，东南8个方向的Kirsch算子，融合图像I(x,y)的中心像素为Ic，中心像素与其八个方向上的像素可构成一个3x3的矩阵：
I0～I7分别表示中心像素的东，东北，北，西北，西，西南，南，东南8个方向的像素，8个方向的边缘响应用{mi}表示，其中i＝0,1,2,...,7，
中心像素八个方向的边缘响应{mi}值取决于每个方向上的Kirsch算子，mi的值可用下式计算：
其中，
表示矩阵I中各行各列中的元素与矩阵Mi T中对应的元素分别相乘后得到新的矩阵，再对新的矩阵中所有元素进行求和，
LDP编码为将前K个最大响应值编码为1，其余响应编码为0，其中，K＝3，从东南方向为开始方向，进行逆时针，即m7为起始方向，具体表达式为：
其中，
mk是前K个最大响应值的第K个最大响应值，m、i和k均为正整数，得到融合图像的局部方向模式(LDP)特征值LDPk。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710232010.1A CN106960202B (zh) | 2017-04-11 | 2017-04-11 | 一种基于可见光与红外图像融合的笑脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710232010.1A CN106960202B (zh) | 2017-04-11 | 2017-04-11 | 一种基于可见光与红外图像融合的笑脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106960202A CN106960202A (zh) | 2017-07-18 |
| CN106960202B true CN106960202B (zh) | 2020-05-19 |
Family
ID=59484639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710232010.1A Expired - Fee Related CN106960202B (zh) | 2017-04-11 | 2017-04-11 | 一种基于可见光与红外图像融合的笑脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106960202B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368811B (zh) * | 2017-07-21 | 2020-03-20 | 成都恒高科技有限公司 | 红外与非红外光照下基于lbp的人脸特征提取方法 |
| CN107578432B (zh) * | 2017-08-16 | 2020-08-14 | 南京航空航天大学 | 融合可见光与红外两波段图像目标特征的目标识别方法 |
| WO2019084825A1 (zh) * | 2017-10-31 | 2019-05-09 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备及无人机 |
| CN108830311A (zh) * | 2018-06-01 | 2018-11-16 | 南京邮电大学 | 一种基于Adaboost的红外图像光伏阵列识别方法 |
| CN108921100B (zh) * | 2018-07-04 | 2020-12-01 | 武汉高德智感科技有限公司 | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 |
| CN109117725A (zh) * | 2018-07-09 | 2019-01-01 | 深圳市科脉技术股份有限公司 | 人脸识别方法及装置 |
| CN109271904B (zh) * | 2018-09-03 | 2022-02-15 | 东南大学 | 一种基于像素自适应分割和贝叶斯模型的黑烟车检测方法 |
| CN109271922B (zh) * | 2018-09-13 | 2022-01-04 | 深圳市梦网视讯有限公司 | 一种基于对比度的鼻部定位方法和系统 |
| CN109151284A (zh) * | 2018-09-30 | 2019-01-04 | 天津天地伟业信息系统集成有限公司 | 一种超低照人脸识别摄像机 |
| CN109190633A (zh) * | 2018-11-06 | 2019-01-11 | 西安文理学院 | 一种基于深度学习的智能物体识别系统及控制方法 |
| CN111401107B (zh) * | 2019-01-02 | 2023-08-18 | 上海大学 | 基于特征融合神经网络的多模态人脸识别方法 |
| CN110110606A (zh) * | 2019-04-12 | 2019-08-09 | 天津大学 | 基于神经网络的可见光与红外人脸图像的融合方法 |
| CN112052703A (zh) * | 2019-06-05 | 2020-12-08 | 上海柏柯智能科技有限公司 | 一种基于深度神经网络的人脸识别方法和系统 |
| CN110378234A (zh) * | 2019-06-20 | 2019-10-25 | 合肥英威晟光电科技有限公司 | 基于TensorFlow构建的卷积神经网络热像人脸识别方法及系统 |
| CN111191702B (zh) * | 2019-12-24 | 2023-02-14 | 宁波大学 | 基于模糊型弱分类器的AdaBoost分类方法 |
| CN111222425A (zh) * | 2019-12-26 | 2020-06-02 | 新绎健康科技有限公司 | 一种人脸五官定位的方法及装置 |
| CN111783563A (zh) * | 2020-06-15 | 2020-10-16 | 深圳英飞拓科技股份有限公司 | 基于双光谱的人脸抓拍和监控方法及系统、设备 |
| CN111783621B (zh) * | 2020-06-29 | 2024-01-23 | 北京百度网讯科技有限公司 | 人脸表情识别及模型训练的方法、装置、设备及存储介质 |
| CN114266837A (zh) * | 2020-09-15 | 2022-04-01 | 中移(上海)信息通信科技有限公司 | 一种道路标识检测方法、装置、设备及计算机存储介质 |
| CN112819739B (zh) * | 2021-01-28 | 2024-03-01 | 浙江祺跃科技有限公司 | 一种扫描电子显微镜图像处理方法和系统 |
| CN112950732B (zh) * | 2021-02-23 | 2022-04-01 | 北京三快在线科技有限公司 | 一种图像生成方法、装置、存储介质及电子设备 |
| CN115035515B (zh) * | 2022-06-15 | 2024-08-13 | 电子科技大学 | 一种馕识别方法 |
| CN116052135B (zh) * | 2023-04-03 | 2023-07-11 | 吉林大学 | 一种基于纹理特征的雾天交通标志识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
| CN101425136A (zh) * | 2008-10-24 | 2009-05-06 | 北京工业大学 | 视频图像局部二进制模式特征的获取方法和装置 |
| CN101425137A (zh) * | 2008-11-10 | 2009-05-06 | 北方工业大学 | 基于拉普拉斯金字塔的人脸图像融合方法 |
| CN105096285A (zh) * | 2014-05-23 | 2015-11-25 | 南京理工大学 | 一种基于多核dsp的图像融合与目标跟踪系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130162835A1 (en) * | 2011-12-23 | 2013-06-27 | Fluke Corporation | Thermal imaging camera for infrared rephotography |
| US9122931B2 (en) * | 2013-10-25 | 2015-09-01 | TCL Research America Inc. | Object identification system and method |
-
2017
- 2017-04-11 CN CN201710232010.1A patent/CN106960202B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1545064A (zh) * | 2003-11-27 | 2004-11-10 | 上海交通大学 | 红外与可见光图像融合方法 |
| CN101425136A (zh) * | 2008-10-24 | 2009-05-06 | 北京工业大学 | 视频图像局部二进制模式特征的获取方法和装置 |
| CN101425137A (zh) * | 2008-11-10 | 2009-05-06 | 北方工业大学 | 基于拉普拉斯金字塔的人脸图像融合方法 |
| CN105096285A (zh) * | 2014-05-23 | 2015-11-25 | 南京理工大学 | 一种基于多核dsp的图像融合与目标跟踪系统 |
Non-Patent Citations (3)
| Title |
|---|
| Merging thermal and visual images by a contrast pyramid;Alexander Toet;《Optical Engineering》;19890731;第789-792页 * |
| 基于LBP与CS-LDP自适应特征融合的人脸识别;李闻等;《陕西师范大学学报（自然科学版）》;20150731;第48-53页 * |
| 红外与可见光图像融合的人脸识别算法;李琳莉等;《内蒙古大学学报（自然科学版）》;20110731;第454-459页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106960202A (zh) | 2017-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| Kim et al. | Efficient facial expression recognition algorithm based on hierarchical deep neural network structure | |
| Matern et al. | Exploiting visual artifacts to expose deepfakes and face manipulations | |
| Pitaloka et al. | Enhancing CNN with preprocessing stage in automatic emotion recognition | |
| CN109344693B (zh) | 一种基于深度学习的人脸多区域融合表情识别方法 | |
| Youssif et al. | Automatic facial expression recognition system based on geometric and appearance features | |
| Lin | Face detection in complicated backgrounds and different illumination conditions by using YCbCr color space and neural network | |
| Rosenblum et al. | Human expression recognition from motion using a radial basis function network architecture | |
| Jung et al. | Deep temporal appearance-geometry network for facial expression recognition | |
| CN108830237B (zh) | 一种人脸表情的识别方法 | |
| CN111563417A (zh) | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 | |
| Waheed et al. | Exploiting Human Pose and Scene Information for Interaction Detection | |
| Hassaballah et al. | Facial features detection and localization | |
| Dar et al. | Efficient-SwishNet based system for facial emotion recognition | |
| CN111738178A (zh) | 一种基于深度学习的戴口罩人脸表情识别方法 | |
| Szankin et al. | Influence of thermal imagery resolution on accuracy of deep learning based face recognition | |
| Rizwan et al. | Automated Facial Expression Recognition and Age Estimation Using Deep Learning. | |
| Kim et al. | Facial landmark extraction scheme based on semantic segmentation | |
| Zhang et al. | Three dimensional binary edge feature representation for pain expression analysis | |
| CN117636436A (zh) | 基于注意力机制的多人实时面部表情识别方法和系统 | |
| Kakkar | Facial expression recognition with LDPP & LTP using deep belief network | |
| Sharrma et al. | Vision based static hand gesture recognition techniques | |
| Kostov et al. | Method for simple extraction of paralinguistic features in human face | |
| Rajpal et al. | Applying computation intelligence for improved computer vision capabilities | |
| Shit et al. | Real-time emotion recognition using end-to-end attention-based fusion network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xu Xuesong Inventor after: Yu Yi Inventor after: Xia Haiying Inventor after: Yu Xiaoqi Inventor before: Xia Haiying Inventor before: Yu Xiaoqi |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200421 Address after: Room g0230, floor 3, headquarters building, Changsha Zhongdian Software Park Co., Ltd., No. 39, Jianshan Road, Yuelu District, Changsha City, Hunan Province Applicant after: Hunan Lingxiang Technology Co.,Ltd. Address before: 541004 Guangxi Normal University, 15, Yucai Road, Qixing District, Guilin, the Guangxi Zhuang Autonomous Region Applicant before: Guangxi Normal University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200519 |