CN112861760A - 一种用于表情识别的方法和装置 - Google Patents

一种用于表情识别的方法和装置 Download PDF

Info

Publication number
CN112861760A
CN112861760A CN202110208637.XA CN202110208637A CN112861760A CN 112861760 A CN112861760 A CN 112861760A CN 202110208637 A CN202110208637 A CN 202110208637A CN 112861760 A CN112861760 A CN 112861760A
Authority
CN
China
Prior art keywords
target face
facial expression
depth information
color information
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110208637.XA
Other languages
English (en)
Inventor
邱翰
邓芳
宋康宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
ArcSoft Corp Ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN202110208637.XA priority Critical patent/CN112861760A/zh
Publication of CN112861760A publication Critical patent/CN112861760A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种用于表情识别的方法和装置，其中的方法包括：获取目标脸部的三维图像，三维图像包括目标脸部的第三深度信息和目标脸部的第五色彩信息；将所述第三深度信息输入第二神经网络且将所述第五色彩信息输入第三神经网络；第二神经网络根据所述第三深度信息以及第二参数对目标脸部的表情进行分类并输出第一分类数据，第三神经网络根据所述第五色彩信息以及第三参数对目标脸部的表情进行分类并输出第二分类数据，第二参数包括至少一个脸部表情类别以及用于识别目标脸部的表情类别的第二参数数据，第三参数包括至少一个脸部表情类别以及用于识别目标脸部的表情类别的第三参数数据；根据第一分类数据和第二分类数据输出对目标脸部的表情的分类结果。

Description

一种用于表情识别的方法和装置
本申请是申请“申请号201710614130.8，申请日2017.07.25，发明名称为一种用于表情识别的方法和装置”的分案申请。
技术领域
本发明涉及一种图像处理方法，具体地，涉及一种用于表情识别的方法和装置。
背景技术
随着人工智能技术日新月异，深度学习给技术带来了新的希望，同时也打开了一个个技术瓶颈。表情可以说全世界通用的语言，不分种族，不分国籍。在人机交互技术上，表情识别起着非常重要的意义，如照看老人和小孩，机器人可以通过老人和小孩的面部表情来判断刚才做的事情是否符合老人和小孩的心意，从而能更快的了解小孩和老人的生活习性和性格。
在现有技术中，脸部表情识别算法一般采用的是二维图像特征提取和用分类算法进行表情分类，从而得到表情结果。脸部出现一定角度的时候或是有光照条件不好的时候，如光照很暗或很强，通过二维图像特征提取的特征信息有很大的不同，也有可能是错误的，这样会导致算法对表情进行误判。
发明内容
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题。
根据本发明的第一方面，提供一种用于表情识别的方法，该方法包括：
获取目标脸部的三维图像以及所述目标脸部的二维图像,所述三维图像包括所述目标脸部的第一深度信息和所述目标脸部的第一色彩信息，所述二维图像包括所述目标脸部的第二色彩信息；
将所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络；
所述第一神经网络根据所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、所述目标脸部的第二色彩信息，以及第一参数对所述目标脸部的表情进行分类，所述第一参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第一参数数据。
根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，在所述将所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络之前，所述方法还包括：
对所述目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理，所述第一处理包括下述中的至少一个：
确定所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点，以所述特征点为基准对所述目标脸部的三维图像以及所述目标脸部的二维图像进行旋转；
对所述目标脸部的三维图像以及所述目标脸部的二维图像进行镜像处理、线性变换以及仿射变换；
将所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点对齐设定的位置；
对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像的灰度拉伸；以及，
对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像像素值归一化处理。
根据本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述对所述目标脸部的三维图像以及目标脸部的二维图像进行图像像素值归一化处理，包括：
将所述目标脸部的三维图像以及目标脸部的二维图像各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第一方面、本发明的第一方面的第一可执行方式或第二可执行方式，在本发明的第一方面的第三可执行方式中，所述用于识别所述目标脸部的表情类别的第一参数数据由多个脸部表情样本的三维图像以及所述脸部表情样本的二维图像通过所述第一神经网络训练得到；
所述脸部表情样本的三维图像包括：所述脸部表情样本的第二深度信息以及所述脸部表情样本的第三色彩信息；
所述脸部表情样本的二维图像包括：所述脸部表情样本的第四色彩信息。
根据本发明的第一方面的第三可执行方式，在本发明的第一方面的第四可执行方式中，在所述多个脸部表情样本的三维图像以及所述脸部表情样本的二维图像由所述第一神经网络训练之前，所述方法还包括：
对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行相同的第二处理，所述第二处理包括下述中的至少一个：
确定所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行旋转；
对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行镜像处理、线性变换以及仿射变换；
将所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点对齐所述设定的位置；
对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像的灰度拉伸；以及，
对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像像素值归一化处理。
根据本发明的第一方面的第四可执行方式，在本发明的第一方面的第五可执行方式中，所述对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像像素值归一化处理，包括：
将所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第一方面的第四可执行方式或第五可执行方式，在本发明的第一方面的第六可执行方式中，所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第二深度信息、以及所述脸部表情样本的第三色彩信息、以及所述脸部表情样本的第四色彩信息带有同样的所述脸部表情类别。
根据本发明的第一方面以及本发明的第一方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第一方面的第七可执行方式中，所述第一神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
根据本发明的第一方面的第一可执行方式到第七可执行方式中任一可执行方式，在本发明的第一方面的第八可执行方式中，所述特征点为眼睛点。
根据本发明的第一方面以及本发明的第一方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第一方面的第九可执行方式中，所述第一神经网络包括第一卷积神经网络。
根据本发明的第一方面的第九可执行方式中，在本发明的第一方面的第十可执行方式中，所述第一卷积神经网络包括4个卷积层，4个降采样层，1个降层和2个全连接层。
根据本发明的第一方面以及本发明的第一方面的第一可执行方式到第十可执行方式中任一可执行方式，在本发明的第一方面的第十一可执行方式中，所述第一色彩信息和所述第二色彩信息为RGB格式或YUV格式的图像。
根据本发明的第一方面的第三可执行方式到第十一可执行方式中任一可执行方式，在本发明的第一方面的第十二可执行方式中，所述第三色彩信息和所述第四色彩信息为RGB格式或YUV格式的图像。
根据本发明的第二方面，提供一种用于表情识别的装置，所述装置包括：
第一获取模块，用于获取目标脸部的三维图像以及所述目标脸部的二维图像,所述三维图像包括所述目标脸部的第一深度信息和所述目标脸部的第一色彩信息，所述二维图像包括所述目标脸部的第二色彩信息；
第一输入模块，用于将所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络；
第一神经网络，用于根据所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、所述目标脸部的第二色彩信息、以及第一参数对所述目标脸部的表情进行分类，所述第一参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第一参数数据。
根据本发明的第二方面，在本发明的第二方面的第一可执行方式中，所述装置还包括第一处理模块，
所述第一处理模块，用于对所述目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理，将经过第一处理后的所述目标脸部的三维图像以及目标脸部的二维图像输入所述第一输入模块；
所述第一处理模块包括下述子模块中的至少一个：第一旋转子模块，第一变换子模块，第一对齐子模块，第一灰度拉伸子模块，以及第一归一化处理子模块；
所述第一旋转子模块，用于确定所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点，以所述特征点为基准对所述目标脸部的三维图像以及所述目标脸部的二维图像进行旋转；
所述第一变换子模块，用于对所述目标脸部的三维图像以及所述目标脸部的二维图像进行镜像处理、线性变换以及仿射变换；
所述第一对齐子模块，用于将所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点对齐设定的位置；
所述第一灰度拉伸子模块，用于对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像的灰度拉伸；以及，
所述第一归一化处理子模块，用于对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像像素值归一化处理。
根据本发明的第二方面的第一可执行方式，在本发明的第二方面的第二可执行方式中，
所述第一归一化处理子模块，具体用于将所述目标脸部的三维图像以及目标脸部的二维图像各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第二方面，以及本发明的第二方面的第一可执行方式或第二可执行方式，在本发明的第二方面的第三可执行方式中，
所述用于识别所述目标脸部的表情类别的第一参数数据由多个脸部表情样本的三维图像以及所述脸部表情样本的二维图像通过所述第一神经网络训练得到；
所述脸部表情样本的三维图像包括：所述脸部表情样本的第二深度信息以及所述脸部表情样本的第三色彩信息；
所述脸部表情样本的二维图像包括：所述脸部表情样本的第四色彩信息。
根据本发明的第二方面的第三可执行方式，在本发明的第二方面的第四可执行方式中，所述装置还包括第二处理模块，
所述第二处理模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行相同的第二处理，将进行第二处理后的所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像输入所述第一输入模块；
所述第二处理模块包括第二旋转子模块，第二变换子模块，第二对齐子模块，第二灰度拉伸子模块，以及第二归一化处理子模块；
所述第二旋转子模块，用于确定所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行旋转；
所述第二变换子模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行镜像处理、线性变换以及仿射变换；
所述第二对齐子模块，用于将所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点对齐设定的位置；
所述第二灰度拉伸子模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像的灰度拉伸；以及，
所述第二归一化处理子模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像像素值归一化处理。
根据本发明的第二方面的第四可执行方式，在本发明的第二方面的第五可执行方式中，
所述第二归一化处理子模块，具体用于将所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第二方面的第三可执行方式到第五可执行方式中任一可执行方式，在本发明的第二方面的第六可执行方式中，
所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第二深度信息、以及所述脸部表情样本的第二色彩信息、以及所述脸部表情样本的第三色彩信息带有同样的所述脸部表情类别。
根据本发明的第二方面以及本发明的第二方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第二方面的第七可执行方式中，
所述第一神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
根据本发明的第二方面以及本发明的第二方面的第一可执行方式到第七可执行方式中任一可执行方式，在本发明的第二方面的第八可执行方式中，所述特征点为眼睛点。
根据本发明的第二方面以及本发明的第二方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第二方面的第九可执行方式中，所述第一神经网络包括第一卷积神经网络。
根据本发明的第二方面的第九可执行方式，在本发明的第二方面的第十可执行方式中，所述第一卷积神经网络包括4个卷积层，4个降采样层，1个降层和2个全连接层。
根据本发明的第二方面以及本发明的第二方面的第一可执行方式到第十可执行方式中任一可执行方式，在本发明的第二方面的第十一可执行方式中，
所述第一色彩信息和所述第二色彩信息为RGB格式或YUV格式的图像。
根据本发明的第二方面的第三可执行方式到第十一可执行方式中任一可执行方式，在本发明的第二方面的第十二可执行方式中，
所述第三色彩信息和所述第四色彩信息为RGB格式或YUV格式的图像。
根据本发明的第三方面，提供一种一种用于表情识别的方法，所述方法包括：
获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息；
将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络；
所述第二神经网络根据所述目标脸部的第三深度信息以及第二参数对所述目标脸部的表情进行分类并输出第一分类数据，并且所述第三神经网络根据所述目标脸部的第五色彩信息以及所述第三参数对所述目标脸部的表情进行分类并输出第二分类数据，所述第二参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第二参数数据，所述第三参数包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第三参数数据；
根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果。
根据本发明的第三方面，在本发明的第三方面的第一可执行方式中，
所述根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果，包括：
支持向量机输入所述第一分类数据与所述第二分类数据，并根据所述第一分类数据、第二分类数据以及支持向量机参数数据输出所述目标脸部的表情的分类结果，所述支持向量机包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的支持向量机参数数据。
根据本发明的第三方面或本发明的第三方面的第一可执行方式，在本发明的第三方面的第二可执行方式中，
在所述将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络之前，所述方法还包括：
对所述目标脸部的第三深度信息进行第三处理，所述第三处理包括下述中的至少一个：
确定所述目标脸部的第三深度信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息进行旋转；
对所述目标脸部的第三深度信息进行镜像处理、线性变换以及仿射变换；
将所述目标脸部的第三深度信息的特征点对齐设定的位置；
对所述目标脸部的第三深度信息进行图像的灰度拉伸；以及，
将所述目标脸部的第三深度信息进行图像像素值归一化处理；或，
在所述将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络之前，所述方法还包括：
对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理，所述第三处理包括下述中的至少一个：
确定所述目标脸部的第三深度信息的特征点和所述目标脸部的第五色彩信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行旋转；
对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行镜像处理、线性变换以及仿射变换；
将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐设定的位置；
对所述目标脸部的第三深度信息或目标脸部的第五色彩信息进行图像的灰度拉伸；以及，
将所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行图像像素值归一化处理。
根据本发明的第三方面的第二可执行方式，在本发明的第三方面的第三可执行方式中，
所述将所述目标脸部的第三深度信息进行图像像素值归一化处理，包括：
将所述目标脸部的第三深度信息的像素值由[0,255]归一化到[0,1]；或，
所述将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的各个通道的像素值进行归一化，包括：
将将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第三可执行方式中的任一可执行方式，在本发明的第三方面的第四可执行方式中，
所述第二参数数据由多个脸部表情样本的第四深度信息通过所述第二神经网络训练得到；
所述第三参数数据由所述多个脸部表情样本的第六色彩信息通过所述第三神经网络训练得到。
根据本发明的第三方面的第四可执行方式，在本发明的第三方面的第五可执行方式中，
在所述多个脸部表情样本的第四深度信息由所述第二神经网络训练之前，所述方法还包括：
对所述脸部表情样本的第四深度信息进行第四处理，所述第四处理包括下述中的至少一个：
确定所述脸部表情样本的第四深度信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息进行旋转；
对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及仿射变换；
将所述脸部表情样本的第四深度信息的特征点对齐设定的位置；
对所述脸部表情样本的第四深度信息进行图像的灰度拉伸；以及，
将所述脸部表情样本的第四深度信息进行图像像素值归一化处理；
或，在所述脸部表情样本的第四深度信息由所述第二神经网络训练以及所述脸部表情样本的第六色彩信息由所述第三神经网络训练之前，所述方法还包括：
对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行相同的第四处理，所述第四处理包括下述中的至少一个：
确定所述脸部表情样本的第四深度信息的特征点和所述脸部表情样本的第六色彩信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行旋转；
对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及仿射变换；
将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐设定的位置；
对所述脸部表情样本的第四深度信息或所述脸部表情样本的第六色彩信息进行图像的灰度拉伸；以及，
将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素值归一化处理。
根据本发明的第三方面的第五可执行方式，在本发明的第三方面的第六可执行方式中，
所述将所述脸部表情样本的第四深度信息进行图像像素值归一化处理，包括：
将所述脸部表情样本的第四深度信息的像素值由[0,255]归一化到[0,1]；或，
所述将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素归一化处理，包括：
将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第三方面的第四可执行方式到第六可执行方式中任一可执行方式，在本发明的第三方面的第七可执行方式中，
所述用于识别所述目标脸部的表情类别的支持向量机参数数据由所述第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据以及所述第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据通过所述支持向量机训练得到。
根据本发明的第三方面的第四可执行方式到第七可执行方式中任一可执行方式，在本发明的第三方面的第八可执行方式中，
所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第四深度信息、以及所述脸部表情样本的第六色彩信息带有同样的所述脸部表情类别。
根据本发明的第三方面以及本发明的第三方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第三方面的第九可执行方式中，
所述第二神经网络包括的脸部表情类别以及所述第三神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
根据本发明的第三方面的第二可执行方式到第九可执行方式中任一可执行方式，在本发明的第三方面的第十可执行方式中，所述特征点为眼睛点。
根据本发明的第三方面以及本发明的第三方面的第一可执行方式到第十可执行方式中任一可执行方式，在本发明的第三方面的第十一可执行方式中，
所述第二神经网络包括第二卷积神经网络，所述第三神经网络包括第三卷积神经网络。
根据本发明的第三方面的第十一可执行方式，在本发明的第三方面的第十二可执行方式中，
所述第二卷积神经网络包括：3个卷积层，3个降采样层，1个降层和2个全连接层；
所述第三卷积神经网络包括：4个卷积层，4个降采样层，1个降层和2个全连接层。
根据本发明的第三方面以及本发明的第三方面的第一可执行方式到第十二可执行方式中任一可执行方式，在本发明的第三方面的第十三可执行方式中，所述第五色彩信息为RGB格式或YUV格式的图像。
根据本发明的第三方面以及本发明的第三方面的第四可执行方式到第十三可执行方式中任一可执行方式，在本发明的第三方面的第十四可执行方式中，
所述第六色彩信息为RGB格式或YUV格式的图像。
根据本发明的第四方面，提供一种用于表情识别的装置，所述装置包括第二获取模块、第二输入模块、第二神经网络、第三神经网络以及第二分类模块，
所述第二获取模块，用于获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息；
所述第二输入模块，用于将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络；
所述第二神经网络，用于根据所述目标脸部的第三深度信息以及第二参数对所述目标脸部的表情进行分类并输出第一分类数据，并且，所述第三神经网络用于根据所述目标脸部的第五色彩信息以及所述第三参数对所述目标脸部的表情进行分类并输出第二分类数据，所述第二参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第二参数数据，所述第三参数包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第三参数数据；
所述第二分类模块，用于根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果。
根据本发明的第四方面，在本发明的第四方面的第一可执行方式中，所述第二分类模块包括支持向量机，
所述支持向量机，用于输入所述第一分类数据与所述第二分类数据，并根据所述第一分类数据、第二分类数据以及支持向量机参数数据输出所述目标脸部的表情的分类结果，所述支持向量机包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的支持向量机参数数据。
根据本发明的第四方面以及本发明的第四方面的第一可执行方式，在本发明的第四方面的第二可执行方式中，所述装置还包括第三处理模块，
所述第三处理模块，用于对所述目标脸部的第三深度信息进行第三处理，将进行第三处理后的目标脸部的第三深度信息输入所述第二输入模块；
所述第三处理模块包括第三旋转子模块，第三变换子模块，第三对齐子模块，第三灰度拉伸子模块，以及第三归一化处理子模块中的至少一个；
所述第三旋转子模块，用于确定所述目标脸部的第三深度信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息进行旋转；
所述第三变换子模块，用于对所述目标脸部的第三深度信息进行镜像处理、线性变换以及仿射变换；
所述第三对齐子模块，用于将所述目标脸部的第三深度信息的特征点对齐设定的位置；
所述第三灰度拉伸子模块，用于对所述目标脸部的第三深度信息进行图像的灰度拉伸；
所述第三归一化处理子模块，用于将所述目标脸部的第三深度信息进行图像像素值归一化处理；
或，
所述第三处理模块，还用于对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理，将第三处理后的所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息输入所述第二输入模块；
所述第三旋转子模块，还用于确定所述目标脸部的第三深度信息的特征点和所述目标脸部的第五色彩信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行旋转；
所述第三变换子模块，还用于对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行镜像处理、线性变换以及仿射变换；
所述第三对齐子模块，还用于将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐设定的位置；
所述第三灰度拉伸子模块，还用于对所述目标脸部的第三深度信息或目标脸部的第五色彩信息进行图像的灰度拉伸；以及，
所述第三归一化处理子模块，还用于将所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行图像像素值归一化处理。
根据本发明的第四方面的第二可执行方式，在本发明的第四方面的第三可执行方式中，
所述第三归一化处理子模块，具体用于将所述目标脸部的第三深度信息的像素值由[0,255]归一化到[0,1]；
或，
所述第三归一化处理子模块，具体用于将将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第四方面以及本发明的第四方面的第一可执行方式到第三可执行方式，在本发明的第四方面的第四可执行方式中，
所述第二参数数据由多个脸部表情样本的第四深度信息通过所述第二神经网络训练得到；
所述第三参数数据由所述多个脸部表情样本的第六色彩信息通过所述第三神经网络训练得到。
根据本发明的第四方面的第四可执行方式，在本发明的第四方面的第五可执行方式中，所述装置包括第四处理模块，
所述第四处理模块，用于对所述脸部表情样本的第四深度信息进行第四处理，将进行所述第四处理后的所述脸部表情样本的第四深度信息输入所述第二输入模块；
所述第四处理模块包括第四旋转子模块，第四变换子模块，第四对齐子模块，第四灰度拉伸子模块，以及第四归一化处理子模块中的至少一个；
所述第四旋转子模块，用于确定所述脸部表情样本的第四深度信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息进行旋转；
所述第四变换子模块，用于对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及仿射变换；
所述第四对齐子模块，用于将所述脸部表情样本的第四深度信息的特征点对齐设定的位置；
所述第四灰度拉伸子模块，用于对所述脸部表情样本的第四深度信息进行图像的灰度拉伸；以及，
所述第四归一化处理子模块，用于将所述脸部表情样本的第四深度信息进行图像像素值归一化处理；
或，
所述第四处理模块，还用于对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行第四处理，将进行所述第四处理后的所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息输入所述第二输入模块；
所述第四旋转子模块，还用于确定所述脸部表情样本的第四深度信息的特征点和所述脸部表情样本的第六色彩信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行旋转；
所述第四变换子模块，还用于对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及仿射变换；
所述第四对齐子模块，还用于将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐设定的位置；
所述第四灰度拉伸子模块，还用于对所述脸部表情样本的第四深度信息或所述脸部表情样本的第六色彩信息进行图像的灰度拉伸；以及，
所述第四归一化处理子模块，还用于将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素值归一化处理。
根据本发明的第四方面的第五可执行方式，在本发明的第四方面的第六可执行方式中，
所述第四归一化处理子模块，具体用于将所述脸部表情样本的第四深度信息的像素值由[0,255]归一化到[0,1]；
或，
所述第四归一化处理子模块，具体用于将将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第四方面的第四可执行方式到第六可执行方式中任一可执行方式，在本发明的第四方面的第七可执行方式中，
所述用于识别所述目标脸部的表情类别的支持向量机参数数据由所述第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据以及所述第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据通过所述支持向量机训练得到。
根据本发明的第四方面的第四可执行方式到第七可执行方式中任一可执行方式，在本发明的第四方面的第八可执行方式中，
所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第四深度信息、以及所述脸部表情样本的第六色彩信息带有同样的所述脸部表情类别。
根据本发明的第四方面以及本发明的第四方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第四方面的第九可执行方式中，
所述第二神经网络包括的脸部表情类别以及所述第三神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
根据本发明的第四方面的第二可执行方式到第九可执行方式中任一可执行方式，在本发明的第四方面的第十可执行方式中，所述特征点为眼睛点。
根据本发明的第四方面以及本发明的第四方面的第一可执行方式到第十可执行方式中任一可执行方式，在本发明的第四方面的第十一可执行方式中，
所述第二神经网络包括第二卷积神经网络，所述第三神经网络包括第三卷积神经网络。
根据本发明的第四方面的第十一可执行方式，在本发明的第四方面的第十二可执行方式中，
所述第二卷积神经网络包括：3个卷积层，3个降采样层，1个降层和2个全连接层；
所述第三卷积神经网络包括：4个卷积层，4个降采样层，1个降层和2个全连接层。
根据本发明的第四方面以及本发明的第四方面的第一可执行方式到第十二可执行方式，在本发明的第四方面的第十三可执行方式中，
所述第五色彩信息为RGB格式或YUV格式的图像。
根据本发明的第四方面的第四可执行方式到第十三可执行方式，在本发明的第四方面的第十四可执行方式中，
所述第六色彩信息为RGB格式或YUV格式的图像。
根据本发明的第五方面，提供一种用于表情识别的方法，所述方法包括：
获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第五深度信息和所述目标脸部的第七色彩信息；
将所述目标脸部的第五深度信息以及所述目标脸部的第七色彩信息输入第四神经网络；
所述第四神经网络根据所述目标脸部的第五深度信息、所述目标脸部的第七色彩信息以及第四参数对所述目标脸部的表情进行分类，所述第四参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第四参数数据。
根据本发明的第五方面，在本发明的第五方面的第一可执行方式中，
在所述将所述目标脸部的第五深度信息以及所述目标脸部的第七色彩信息输入第四神经网络之前，所述方法还包括：
对所述目标脸部的三维图像进行第五处理，所述第五处理包括下述中的至少一个：
确定所述目标脸部的三维图像特征点，以所述特征点为基准对所述目标脸部的三维图像进行旋转；
对所述目标脸部的三维图像进行镜像处理、线性变换以及仿射变换；
将所述目标脸部的三维图像的特征点对齐设定的位置；
对所述目标脸部的三维图像进行图像的灰度拉伸；以及，
对所述目标脸部的三维图像进行图像像素值归一化处理。
根据本发明的第五方面的第一可执行方式，在本发明的第五方面的第二可执行方式中，
所述将所述目标脸部的三维图像各个通道的像素值进行归一化，包括：
将所述目标脸部的三维图像各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第五方面以及本发明的第五方面的第一可执行方式或第二可执行方式，在本发明的第五方面的第三可执行方式中，
所述第四参数数据由多个脸部表情样本的三维图像通过所述第四神经网络训练得到；
所述脸部表情样本的三维图像包括：所述脸部表情样本的第六深度信息以及所述脸部表情样本的第八个色彩信息。
根据本发明的第五方面的第三可执行方式，在本发明的第五方面的第四可执行方式中，
在所述多个脸部表情样本的三维图像由所述第四神经网络训练之前，所述方法还包括：
对所述脸部表情样本的三维图像进行第六处理，所述第六处理包括下述中的至少一个：
确定所述脸部表情样本的三维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像进行旋转；
对所述脸部表情样本的三维图像进行镜像处理、线性变换以及仿射变换；
将所述脸部表情样本的三维图像的特征点对齐所述设定的位置；
对所述脸部表情样本的三维图像进行图像的灰度拉伸；以及，
对所述脸部表情样本的三维图像进行图像像素值归一化处理。
根据本发明的第五方面的第四可执行方式，在本发明的第五方面的第五可执行方式中，
所述对所述脸部表情样本的三维图像进行图像像素值归一化处理，包括：
将所述脸部表情样本的三维图像各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第五方面的第三可执行方式到第五可执行方式中任一可执行方式，在本发明的第五方面的第六可执行方式中，
所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第六深度信息、以及所述脸部表情样本的第八色彩信息带有同样的所述脸部表情类别。
根据本发明的第五方面以及本发明的第五方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第五方面的第七可执行方式中，
所述第四神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
根据本发明的第五方面的第一可执行方式到第七可执行方式中任一可执行方式，在本发明的第五方面的第八可执行方式中，所述特征点为眼睛点。
根据本发明的第五方面以及本发明的第五方面的第一可执行方式到第八可执行方式中任一可执行方式，在本发明的第五方面的第九可执行方式中，
所述第四神经网络包括第四卷积神经网络。
根据本发明的第五方面的第九可执行方式，在本发明的第五方面的第十可执行方式中，
所述第四卷积神经网络包括1个分割层，8个卷积层，8个降采样层，2个降层和5个全连接层。
根据本发明的第五方面以及本发明的第五方面的第一可执行方式到第十可执行方式，在本发明的第五方面的第十一可执行方式中，
所述第七色彩信息为RGB格式或YUV格式的图像。
根据本发明的第五方面的第三可执行方式到第十一可执行方式，在本发明的第五方面的第十二可执行方式中，所述第八色彩信息为RGB格式或YUV格式的图像。
根据本发明的第六方面，提供一种用于表情识别的装置，其特征在于，所述装置包括：
第三获取模块，用于获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第五深度信息和所述目标脸部的第七色彩信息；
第三输入模块，用于将所述目标脸部的第五深度信息以及所述目标脸部的第七色彩信息输入第四神经网络；
第四神经网络，用于根据所述目标脸部的第五深度信息、所述目标脸部的第七色彩信息以及第四参数对所述目标脸部的表情进行分类，所述第四参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第四参数数据。
根据本发明的第六方面，在本发明的第六方面的第一可执行方式中，所述装置还包括第五处理模块，
所述第五处理模块，用于对所述目标脸部的三维图像进第五处理，将经过第五处理后的所述目标脸部的三维图像输入所述第三输入模块；
所述第五处理模块包括下述子模块中的至少一个：第五旋转子模块，第五变换子模块，第五对齐子模块，第五灰度拉伸子模块，以及第五归一化处理子模块；
所述第五旋转子模块，用于确定所述目标脸部的三维图像的特征点，以所述特征点为基准对所述目标脸部的三维图像进行旋转；
所述第五变换子模块，用于对所述目标脸部的三维图像进行镜像处理、线性变换以及仿射变换；
所述第五对齐子模块，用于将所述目标脸部的三维图像的特征点对齐设定的位置；
所述第五灰度拉伸子模块，用于对所述目标脸部的三维图像进行图像的灰度拉伸；以及，
所述第五归一化处理子模块，用于对所述目标脸部的三维图像进行图像像素值归一化处理。
根据本发明的第六方面的第一可执行方式，在本发明的第六方面的第二可执行方式中，
所述第五归一化处理子模块，具体用于将所述目标脸部的三维图像各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第六方面以及本发明的第六方面的第一可执行方式或第二可执行方式，在本发明的第六方面的第三可执行方式中，
所述用于识别所述目标脸部的表情类别的第四参数数据由多个脸部表情样本的三维图像通过所述第四神经网络训练得到；
所述脸部表情样本的三维图像包括：所述脸部表情样本的第六深度信息以及所述脸部表情样本的第八色彩信息。
根据本发明的第六方面的第三可执行方式，在本发明的第六方面的第四可执行方式中，所述装置还包括第六处理模块，
所述第六处理模块，用于对所述脸部表情样本的三维图像进行第五处理，将进行第五处理后的所述脸部表情样本的三维图像输入所述第三输入模块；
所述第六处理模块包括第六旋转子模块，第六变换子模块，第六对齐子模块，第六灰度拉伸子模块，以及第六归一化处理子模块；
所述第六旋转子模块，用于确定所述脸部表情样本的三维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像进行旋转；
所述第六变换子模块，用于对所述脸部表情样本的三维图像进行镜像处理、线性变换以及仿射变换；
所述第六对齐子模块，用于将所述脸部表情样本的三维图像的特征点对齐所述设定的位置；
所述第六灰度拉伸子模块，用于对所述脸部表情样本的三维图像进行图像的灰度拉伸；以及，
所述第六归一化处理子模块，用于对所述脸部表情样本的三维图像进行图像像素值归一化处理。
根据本发明的第六方面的第四可执行方式，在本发明的第六方面的第五可执行方式中，
所述第六归一化处理子模块，具体用于将所述脸部表情样本的三维图像各个通道的像素值由[0,255]归一化到[0,1]。
根据本发明的第六方面的第三可执行方式到第五可执行方式任一可执行方式，在本发明的第六方面的第六可执行方式中，
所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第六深度信息、以及所述脸部表情样本的第八色彩信息带有同样的所述脸部表情类别。
根据本发明的第六方面以及本发明的第六方面的第一可执行方式到第六可执行方式任一可执行方式，在本发明的第六方面的第七可执行方式中，
所述第四神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
根据本发明的第六方面的第一可执行方式到本发明的第六方面的第七可执行方式任一可执行方式，在本发明的第六方面的第八可执行方式中，所述特征点为眼睛点。
根据本发明的第六方面以及本发明的第六方面的第一可执行方式到本发明的第六方面的第八可执行方式任一可执行方式，在本发明的第六方面的第九可执行方式中，
所述第四神经网络包括第四卷积神经网络。
根据本发明的第六方面的第九可执行方式，在本发明的第六方面的第十可执行方式中，
所述第四卷积神经网络包括1个分割层，8个卷积层，8个降采样层，2个降层和5个全连接层。
根据本发明的第六方面以及本发明的第六方面的第一可执行方式到第十可执行方式中任一可执行方式，在本发明的第六方面的第十一可执行方式中，所述第七色彩信息为RGB格式或YUV格式的图像。
根据本发明的第六方面的第三可执行方式到本发明的第六方面的第十一可执行方式中任一可执行方式，在本发明的第六方面的第十二可执行方式中，
所述第八色彩信息为RGB格式或YUV格式的图像。
根据本发明的第七方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第一处理器执行时实现如本发明第一方面以及本发明第一方面的第一可执行方式到第十二可执行方式中、本发明第三方面以及本发明第三方面第一可执行方式到第十四可执行方式中、本发明第五方面以及本发明第五方面的第一可执行方式到第十二可执行方式中任一可执行方式中的步骤。
根据本发明的第八方面，提供一种用于表情识别的装置，包括存储器、第二处理器以及存储在所述存储器中并可在所述第二处理器上运行的计算机程序，其特征在于，所述计算机程序被第二处理器执行时实现如本发明第一方面以及本发明第一方面的第一可执行方式到第十二可执行方式中、本发明第三方面以及本发明第三方面第一可执行方式到第十四可执行方式中、本发明第五方面以及本发明第五方面的第一可执行方式到第十二可执行方式中任一可执行方式中的步骤。
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
附图说明
图1为本发明实施例一提供的一种用于表情识别的方法的流程图；
图2为本发明实施例二提供的又一种用于表情识别的方法的流程图；
图3为本发明实施例三提供的再一种用于表情识别的方法的流程图；
图4为本发明实施例四提供的一种用于表情识别的装置结构示意图；
图5为本发明实施例五提供的再一种用于表情识别的装置结构示意图；
图6为本发明实施例六提供的还一种用于表情识别的装置结构示意图；
图7为本发明实施例六提供的又一种用于表情识别的装置结构示意图；
图8为本发明实施例六提供的另一种用于表情识别的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书记忆上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件针对这一问题。
应该说明的是，由于视频等是由若干图片组成，因此，本发明实施例中描述的关于图片、成像、图像等的处理方法可以应用于视频等方面，本领域技术人员根据本发明揭示的方法不需要付出创造性的劳动即可修改为应用于视频等的处理方法，这种修改后的方法在本发明的保护范围内。
本发明的各个实施例以人脸为例进行详细说明，本发明的技术方案同样也适用于不同客体的脸部表情的识别，如不同动物，或是具有人脸类似特点的目标物体。
下面结合附图1具体阐述本发明实施例一提供的一种用于表情识别的方法。如图1所示，该方法包括：
步骤101，获取目标脸部的三维图像以及所述目标脸部的二维图像,所述三维图像包括所述目标脸部的第一深度信息和所述目标脸部的第一色彩信息，所述二维图像包括所述目标脸部的第二色彩信息。
可选的，该获取步骤可以为从存储器中获取摄像装置拍摄的目标脸部的三维图像以及目标脸部的二维图像。
可选的，上述脸部目标脸部的三维图像以及所述目标脸部的二维图像可以为彩色图像。
可选的，上述的第一色彩信息和所述第二色彩信息为RGB格式或YUV格式的图像，还可以为可以和上述RGB格式或YUV格式相互转换的其他格式的图像。
步骤102，将所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络。可选的，输入该第一神经网络的可以为目标脸部的深度图，目标脸部的三维图像的RGB图以及目标脸部的二维图像的RGB图；输入该第一神经网络的还可以为目标脸部的深度图，目标脸部的三维图像的RGB图的三个通道，以及目标脸部的二维图像的RGB图的三个通道。
可选的，上述的第一神经网络包括第一卷积神经网络，该第一卷积神经网络包括4个卷积层，4个降采样层，1个降层(dropout layer)和2个全连接层。
步骤103，所述第一神经网络根据所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、所述目标脸部的第二色彩信息以及第一参数对所述目标脸部的表情进行分类，所述第一参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第一参数数据。由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，上述第一神经网络包括上述的第一参数，该第一参数包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。可选的，在一个实施例中，上述的第一参数可以包括恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视八个表情类别脸部表情类别，以及用于识别上述八个表情类别脸部表情类别的第一参数数据。具体地，所述第一神经网络输出的分类结果可以为上述的目标脸部分别属于上述不同的表情类别的概率，并且，该分别属于上述不同的表情类别的概率的和为1。所述第一神经网络可以根据上述概率的高低对输出的分类结果进行排序。上述的第一参数数据可以包括神经网络至少一个节点的权值。
可选的，在上述第一参数包括一个脸部表情类别的情况下，该第一神经网络可以用于判断上述的目标脸部的表情是否是该第一参数包括的该脸部表情类别。
可选的，为应对获得的目标脸部姿态不理想或是光照条件不理想的情况，可以对目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理以近似达到标准脸部的要求，或使用的要求，具体地，如可以在所述将所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络之前，所述方法还包括：对所述目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理，所述第一处理包括下述中的至少一个：确定所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点，以所述特征点为基准对所述目标脸部的三维图像以及所述目标脸部的二维图像进行旋转；对所述目标脸部的三维图像以及所述目标脸部的二维图像进行镜像处理、线性变换以及仿射变换；将所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点对齐设定的位置；对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像的灰度拉伸；以及，对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像像素值归一化处理。
上述的对目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理可以包括：对目标脸部的三维图像进行什么样的第一处理就对目标脸部的二维图像进行什么样的第一处理。示例性的，上述的对所述目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理可以为：对所述目标脸部的三维图像进行线性变换、仿射变换以及灰度拉伸，也对目标脸部的二维图像进行相同的线性变换、仿射变换以及灰度拉伸；又如，对所述目标脸部的三维图像进行镜像处理、线性变换以及图像像素值归一化处理，也对目标脸部的二维图像进行镜像处理、线性变换以及图像像素值归一化处理。可选的，上述的对目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理可以为：对目标脸部的深度信息(如深度图)，以及目标脸部的三维图像的RGB图像的三个通道以及，目标脸部的二维图像的RGB图像的三个通道分别进行相同的第一处理；也可以为对目标脸部的三维图像的整体图像以及目标脸部的二维图像的整体图像进行相同的第一处理，再分解为目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第一神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像的灰度拉伸，可以包括根据目标脸部的三维图像和/或目标脸部的二维图像的特点，对所述目标脸部的三维图像和目标脸部的二维图像进行分段灰度拉伸。也可以包括根据所述目标脸部的三维图像以及目标脸部的二维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述对所述目标脸部的三维图像以及目标脸部的二维图像进行图像像素值归一化处理，包括：将所述目标脸部的三维图像以及目标脸部的二维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：目标脸部的三维图像的深度信息，目标脸部的三维图像的RGB图的三个通道，以及目标脸部的二维图像的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的目标人脸的三维图像和目标人脸的二维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第一处理。
可选的，上述用于识别所述目标脸部的表情类别的第一参数数据由多个脸部表情样本的三维图像以及所述脸部表情样本的二维图像通过所述第一神经网络训练得到。所述脸部表情样本的三维图像包括：所述脸部表情样本的第二深度信息以及所述脸部表情样本的第三色彩信息，所述脸部表情样本的二维图像包括：所述脸部表情样本的第四色彩信息。具体的，可以将上述多个脸部表情样本的第二深度信息、第三色彩信息以及第四色彩信息输入所述第一神经网络并进行迭代，该多个脸部表情样本带有表示脸部表情类别的脸部表情类别，确定出识别脸部表情样本的表情准确率高的参数组合，作为识别该目标脸部的表情类别的第一参数，该第一参数的具体内容可以参见上文。可选的，第一参数可以是在线下通过训练上述脸部表情样本得到的，提供实际使用的用于进行表情识别的产品中可以不包括上述的脸部表情样本。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，上述的脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。所述脸部表情样本、所述脸部表情样本的第二深度信息、以及所述脸部表情样本的第三色彩信息、以及所述脸部表情样本的第四色彩信息带有同样的所述脸部表情类别。所述第三色彩信息和所述第四色彩信息为RGB格式或YUV格式的图像。通过上述脸部表情样本带有的脸部表情类别，可以确定输入第一神经网络的上述脸部表情样本的分量(所述脸部表情样本的第二深度信息以及所述脸部表情样本的第三色彩信息为三维图像的分量，述脸部表情样本的第四色彩信息为二维图像的分量)的脸部表情类别，则第一神经网络可以训练得到对应上述不同脸部表情类别的第一参数数据。
可选的，为应对获得的脸部表情样本姿态不理想或是光照条件不理想的情况，可以对脸部表情样本的三维图像以及脸部表情样本的二维图像进行相同的第二处理以近似达到标准脸部的要求或使用的要求，具体地，如在所述多个脸部表情样本的三维图像以及所述脸部表情样本的二维图像由所述第一神经网络训练之前，所述方法还包括：对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行相同的第二处理，所述第二处理包括下述中的至少一个：确定所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行旋转；对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行镜像处理、线性变换以及仿射变换；将所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点对齐所述设定的位置；对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像的灰度拉伸；以及，对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像像素值归一化处理。上述的第二处理可以与第一处理相同，也可以不同。
对脸部表情样本的三维图像以及脸部表情样本的二维图像进行相同的第二处理可以包括：对脸部表情样本的三维图像进行什么样的第二处理就对脸部表情样本的二维图像进行什么样的第二处理。示例性的，对脸部表情样本的三维图像以及脸部表情样本的二维图像进行相同的第二处理可以为：对脸部表情样本的三维图像进行线性变换、仿射变换以及灰度拉伸，也对脸部表情样本的二维图像进行上述的线性变换、仿射变换以及灰度拉伸；又如，对脸部表情样本的三维图像进行镜像处理、线性变换以及图像像素值归一化处理，也对脸部表情样本的二维图像进行镜像处理、线性变换以及图像像素值归一化处理。示例性的，上述的对脸部表情样本的三维图像以及脸部表情样本的二维图像进行相同的第二处理可以为：对脸部表情样本的第二深度信息(如深度图)，以及脸部表情样本的三维图像的RGB图像的三个通道以及，脸部表情样本的二维图像的RGB图像的三个通道分别进行相同的第二处理；也可以为对脸部表情样本的三维图像的整体图像以及脸部表情样本的二维图像的整体图像进行相同的第二处理，再分解为第二深度信息、第三色彩信息和第四色彩信息输入第一神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将多个脸部表情样本的三维图像以及所述多个脸部表情样本的二维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第一神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像的灰度拉伸，可以包括根据脸部表情样本的三维图像和/或脸部表情样本的二维图像的特点，对所述脸部表情样本的三维图像和脸部表情样本的二维图像进行分段灰度拉伸。也可以包括根据所述脸部表情样本的三维图像以及脸部表情样本的二维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述对所述脸部表情样本的三维图像以及脸部表情样本的二维图像进行图像像素值归一化处理，包括：将所述脸部表情样本的三维图像以及脸部表情样本的二维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：脸部表情样本的三维图像的第一深度信息，脸部表情样本的三维图像的RGB图的三个通道，以及脸部表情样本的二维图像的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的脸部表情样本的三维图像和脸部表情样本的二维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第二处理。
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
下面结合图2具体阐述本发明实施例二提供的一种用于表情识别的方法。如图2所示，该方法包括：
步骤201，获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息。
可选的，该获取步骤可以为从存储器中获取摄像装置拍摄的目标脸部的三维图像。
可选的，上述脸部目标脸部的三维图像可以为彩色图像。
可选的，上述的第五色彩信息为RGB格式或YUV格式的图像，还可以为可以和上述RGB格式或YUV格式相互转换的其他格式的图像。
步骤202，将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络。可选的，输入第三神经网络的可以为目标脸部的RGB图，也可以为目标脸部的RGB图的三个通道。
可选的，所述第二神经网络包括：3个卷积层，3个降采样层，1个降层和2个全连接层。所述第三神经网络包括：4个卷积层，4个降采样层，1个降层和2个全连接层。
步骤203，所述第二神经网络根据所述目标脸部的第三深度信息以及第二参数对所述目标脸部的表情进行分类并输出第一分类数据，并且所述第三神经网络根据所述目标脸部的第五色彩信息以及所述第三参数对所述目标脸部的表情进行分类并输出第二分类数据，所述第二参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第二参数数据，所述第三参数包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第三参数数据。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，上述的第二神经网络包括上述的第一分类数据，该第一分类数据包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。上述的第三神经网络包括上述的第二分类数据，该第二分类数据包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。可选的，该第一分类数据与该第二分类数据所包括的脸部表情类别相同。示例性的，上述的第一分类数据与上述第二分类数据均包括恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视八个脸部表情类别，以及对应上述八个表情类别脸部表情类别的八组参数数据，该八组参数数据可以包括分布属于上述八种脸部表情类别的概率。上述第二参数数据和第三参数数据包括用于识别是否属于上述八种脸部表情类别的第二参数数据，如神经网络至少一个节点的权值。
所述第二神经网络包括第二卷积神经网络，所述第三神经网络包括第三卷积神经网络。
步骤204，根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果。
可选的，该根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果，包括：支持向量机输入所述第一分类数据与所述第二分类数据，并根据所述第一分类数据、第二分类数据以及支持向量机参数数据输出所述目标脸部的表情的分类结果，所述支持向量机包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的支持向量机参数数据。
示例性的，第一分类数据可以为一组八维数据，即表示八个表情类别的数据，该八个表情类别可以为恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。可选的，上述的表示八个表情类别的数据可以为该目标脸部的表情分别属于上述八个表情类别的八个概率值，该八个概率值的和为1。同样的，该第二分类数据为同样的八个表情类别，则支持向量机的输入则为两组八维的数据，该支持向量机根据上述的两组八维的数据，以及用于识别所述目标脸部的表情类别的支持向量机参数数据判断上述的目标脸部的表情属于哪类的表情。上述的支持向量机可以为线性的支持向量机。该支持向量机输出的分类结果可以为上述的目标脸部分别属于上述不同的表情类别的概率，并且，该分别属于上述不同的表情类别的概率的和为1。该支持向量机可以根据上述概率的高低对输出的分类结果进行排序。
可选的，为应对获得的目标脸部姿态不理想或是光照条件不理想的情况，可以仅仅对目标脸部的第三深度信息进行第三处理，或是既对目标脸部的第三深度信息进行第三处理也对所述目标脸部的第五色彩信息进行相同的第三处理。因此，在所述将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络之前，所述方法还包括：
对所述目标脸部的第三深度信息进行第三处理，所述第三处理包括下述中的至少一个：确定所述目标脸部的第三深度信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息进行旋转；对所述目标脸部的第三深度信息进行镜像处理、线性变换以及仿射变换；将所述目标脸部的第三深度信息的特征点对齐设定的位置；对所述目标脸部的第三深度信息进行图像的灰度拉伸；以及，将所述目标脸部的第三深度信息进行图像像素值归一化处理；
或，
在所述将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络之前，所述方法还包括：对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理，所述第三处理包括下述中的至少一个：确定所述目标脸部的第三深度信息的特征点和所述目标脸部的第五色彩信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行旋转；对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行镜像处理、线性变换以及仿射变换；将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐设定的位置；对所述目标脸部的第三深度信息或目标脸部的第五色彩信息进行图像的灰度拉伸；以及，将所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行图像像素值归一化处理。
上述的对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理可以包括：对目标脸部的第三深度信息进行什么样的第三处理就对目标脸部的第五色彩信息进行什么样的处理。示例性的，可以对目标脸部的第三深度信息进行线性变换、仿射变换以及灰度拉伸，则也对目标脸部的第五色彩信息相同的线性变换、仿射变换以及灰度拉伸。又如，对目标脸部的第三深度信息进行镜像处理、线性变换以及图像像素值归一化处理，则也对目标脸部的第五色彩信息进行相同的镜像处理、线性变换以及图像像素值归一化处理。可选的，上述的对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理可以是对目标脸部的第三深度信息(如深度图)，以及目标脸部的三维图像的RGB图的分别进行相同的第三处理；也可以是对目标脸部的第三深度信息，以及目标脸部的三维图像的RGB图的三个通道分别进行相同的第三处理。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第二神经网络时输入的脸部表情样本统一对齐的特征点，以及训练上述第三神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。可选的，上述将所述目标脸部的第三深度信息的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第二神经网络时输入的脸部表情样本统一对齐的特征点。
可选的，上述的对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行图像的灰度拉伸，可以包括根据目标脸部的三维图像的特点，对所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行分段灰度拉伸。也可以包括根据所述目标脸部的第三深度信息以及目标脸部的第五色彩信息的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述对所述目标脸部的第三深度信息以及目标脸部的第五色彩信息进行图像像素值归一化处理，包括：将所述目标脸部的第三深度信息以及目标脸部的第五色彩信息各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：目标脸部的第三深度信息，目标脸部的三维图像的RGB图的三个通道。所述对所述目标脸部的第三深度信息进行图像像素值归一化处理，包括：将所述目标脸部的第三深度信息的像素值由[0,255]归一化到[0,1]。
通常情况下，以人脸为例，摄像装置获取的目标人脸的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第三处理。
可选的，所述第二参数数据由多个脸部表情样本的第四深度信息通过所述第二神经网络训练得到，所述第三参数数据由所述多个脸部表情样本的第六色彩信息通过所述第三神经网络训练得到。所述脸部表情样本的三维图像包括：脸部表情样本的第四深度信息以及脸部表情样本的第六色彩信息。所述第二神经网络训练所述的第四深度信息得到第二参数数据的过程和第三神经网络训练所述第六色彩信息得到第三参数数据的过程可以是并行的。具体地，可以将上述多个脸部表情样本的第四深度信息和第六色彩信息分别输入上述的第二神经网络和第三神经网络并进行迭代，该多个脸部表情样本带有表示脸部表情类别的脸部表情类别，确定出识别脸部表情样本的表情准确率高的参数组合，如神经网络至少一个节点的权值，作为识别该目标脸部的表情类别的第二参数数据和第三参数数据，第二参数数据和第三参数数据的具体内容可以参见上文。可选的，第二参数数据和第三参数数据可以是在线下通过训练上述脸部表情样本得到的，提供实际使用的用于进行表情识别的产品中可以不包括上述的脸部表情样本。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，所述第二神经网络包括的脸部表情类别以及所述第三神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。所述脸部表情样本、所述脸部表情样本的第四深度信息、以及所述脸部表情样本的第六色彩信息带有同样的所述脸部表情类别。上述的第六色彩信息为RGB格式或YUV格式的图像。通过上述脸部表情样本带有的脸部表情类别，可以确定输入第二神经网络和第三神经网络的上述脸部表情样本的三维图像的分量(脸部表情样本的三维图像的第四深度信息、以及所述脸部表情样本的三维图像的第六色彩信息)的脸部表情类别，则第二神经网络可以训练得到对应上述不同脸部表情类别的第二参数数据，第三神经网络可以训练得到对应上述不同脸部表情类别的第三参数数据。
可选的，为应对获得的脸部表情样本姿态不理想或是光照条件不理想的情况，可以对脸部表情样本的第四深度信息进行第四处理，对脸部表情样本的第四深度信息以及脸部表情样本的第六色彩信息进行相同的第四处理以近似达到标准脸部的要求或使用的要求，具体地，如在所述多个脸部表情样本的第四深度信息由所述第二神经网络训练之前，所述方法还包括：
对所述脸部表情样本的第四深度信息进行第四处理，所述第四处理包括下述中的至少一个：确定所述脸部表情样本的第四深度信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息进行旋转；对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及仿射变换；将所述脸部表情样本的第四深度信息的特征点对齐设定的位置；对所述脸部表情样本的第四深度信息进行图像的灰度拉伸；以及，将所述脸部表情样本的第四深度信息进行图像像素值归一化处理；
或，在所述脸部表情样本的第四深度信息由所述第二神经网络训练以及所述脸部表情样本的第六色彩信息由所述第三神经网络训练之前，所述方法还包括：对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行相同的第四处理，所述第四处理包括下述中的至少一个：确定所述脸部表情样本的第四深度信息的特征点和所述脸部表情样本的第六色彩信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行旋转；对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及仿射变换；将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐设定的位置；对所述脸部表情样本的第四深度信息或所述脸部表情样本的第六色彩信息进行图像的灰度拉伸；以及，将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素值归一化处理。上述的第四处理可以与第三处理相同，也可以不同。
对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行相同的第四处理可以包括：对所述脸部表情样本的第四深度进行什么样的第四处理就对所述脸部表情样本的第六色彩信息进行什么样的第四处理。示例性的，对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行相同的第四处理可以为：对所述脸部表情样本的第四深度信息进行线性变换、仿射变换以及灰度拉伸，也对所述脸部表情样本的第六色彩信息进行线性变换、仿射变换以及灰度拉伸；又如，对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及图像像素值归一化处理，也对所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及图像像素值归一化处理。示例性的，上述的对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行相同的第四处理可以包括：对脸部表情样本的第四深度信息(如深度图)，以及脸部表情样本的三维图像的RGB图像的三个通道分别进行相同的第四处理；也可以为对脸部表情样本的三维图像的整体图像进行第四处理，再将其分解为脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息分别输入所述第二神经网络和第三神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐的设定的位置，或将所述脸部表情样本的第四深度信息的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第二神经网络和第三神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的对所述脸部表情样本的第四深度信息进行图像的灰度拉伸，或对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行图像的灰度拉伸，可以包括：根据脸部表情样本的第四深度信息和/或脸部表情样本的第六色彩信息的特点，对所述脸部表情样本的第四深度信息和脸部表情样本的第六色彩信息进行分段灰度拉伸。也可以包括根据所述脸部表情样本的第四深度信息以及脸部表情样本的第六色彩信息的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述将所述脸部表情样本的第四深度信息进行图像像素值归一化处理，包括：将所述脸部表情样本的第四深度信息的像素值由[0,255]归一化到[0,1]；或，所述将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素归一化处理，包括：将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：脸部表情样本的三维图像的第四深度信息，脸部表情样本的第六色彩信息的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的脸部表情样本的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第四处理。
所述第五色彩信息为RGB格式或YUV格式的图像。所述第六色彩信息为RGB格式或YUV格式的图像。
所述用于识别所述目标脸部的表情类别的支持向量机参数数据由所述第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据以及所述第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据通过所述支持向量机训练得到。示例性的，第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据可以为一组八维数据，即表示八个表情类别的数据，该八个表情类别可以为恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。同样的，第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据为同样的八个表情类别，则支持向量机的输入则为上述的两组八维的数据，由于上述两组八维的数据带有标示表情类别的脸部表情类别，通过上述的两组八维的数据可以训练出带有该表情类别的脸部表情类别的支持向量机数据。上述的两组八维数据可以是脸部表情样本分别属于不同的脸部表情类别的概率。
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
下面结合图3具体阐述本发明实施例三提供的一种用于表情识别的方法。如图3所示，该方法包括：
步骤301，获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第五深度信息和所述目标脸部的第七色彩信息。
可选的，该获取步骤可以为从存储器中获取摄像装置拍摄的目标脸部的三维图像。
可选的，上述脸部目标脸部的三维图像可以为彩色图像。
可选的，所述第七色彩信息为RGB格式或YUV格式的图像，还可以为可以和上述RGB格式或YUV格式相互转换的其他格式的图像。
步骤302，将所述目标脸部的第五深度信息以及所述目标脸部的第七色彩信息输入第四神经网络。可选的，输入该第四神经网络的可以为目标脸部的深度图，目标脸部的三维图像的RGB图；输入该第一神经网络的还可以为目标脸部的深度图，目标脸部的三维图像的RGB图的三个通道。
可选的，所述第四神经网络包括第四卷积神经网络。所述第四卷积神经网络包括1个分割层，8个卷积层，8个降采样层，2个降层和5个全连接层。
步骤303，所述第四神经网络根据所述目标脸部的第五深度信息、所述目标脸部的第七色彩信息以及第四参数对所述目标脸部的表情进行分类，所述第四参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第四参数数据。
可选的，由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，第四神经网络可以包括第四参数，该第四参数包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。示例性的，上述的第四参数可以包括恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视八个表情类别脸部表情类别，以及用于识别上述八个脸部表情类别的第四参数数据，如第四神经网络至少一个节点的权值。具体地，所述第四神经网络输出的分类结果可以为上述的目标脸部分别属于上述不同的表情类别的概率，并且，该分别属于上述不同的表情类别的概率的和为1。所述第四神经网络可以根据上述概率的高低对输出的分类结果进行排序。
可选的，在上述第四参数包括一个脸部表情类别的情况下，该第四神经网络可以用于判断上述的目标脸部的表情是否是该第四参数包括的该脸部表情类别。
可选的，为应对获得的目标脸部姿态不理想或是光照条件不理想的情况，可以对目标脸部的三维图像进行第五处理以近似达到标准脸部的要求或使用的要求，具体地，如可以在所述将所述目标脸部的第五深度信息以及所述目标脸部的第七色彩信息输入第四神经网络之前，所述方法还包括：对所述目标脸部的三维图像进行第五处理，所述第五处理包括下述中的至少一个：确定所述目标脸部的三维图像特征点，以所述特征点为基准对所述目标脸部的三维图像进行旋转；对所述目标脸部的三维图像进行镜像处理、线性变换以及仿射变换；将所述目标脸部的三维图像的特征点对齐设定的位置；对所述目标脸部的三维图像进行图像的灰度拉伸；以及，对所述目标脸部的三维图像进行图像像素值归一化处理。
上述的对所述目标脸部的三维图像进行第五处理可以为对目标脸部的第五深度信息以及对所述目标脸部的第七色彩信息进行相同的第五处理，即对目标脸部的第五深度信息进行什么样的第五处理，就对目标脸部的第七色彩信息进行什么样的第五处理。示例性的，对目标脸部的第五深度信息以及对所述目标脸部的第七色彩信息进行相同的第五处理可以为：对目标脸部的第五深度信息进行线性变换、仿射变换以及灰度拉伸，也对目标脸部的第七色彩信息进行线性变换、仿射变换以及灰度拉伸。又如，对所述目标脸部的第五深度信息进行镜像处理、线性变换以及图像像素值归一化处理，也对目标脸部的第七色彩信息进行镜像处理、线性变换以及图像像素值归一化处理。可选的，上述的对目标脸部的三维图像进行第五处理可以为：对目标脸部的第五深度信息(如深度图)，以及目标脸部的第七色彩信息的RGB图像的三个通道分别进行相同的第五处理；也可以为对目标脸部的三维图像的整体图像进行第五处理，再分解为第五深度信息以及第七色彩信息输入第四神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将所述目标脸部的三维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第四神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的对所述目标脸部的三维图像进行图像的灰度拉伸，可以包括根据目标脸部的三维图像的特点，对所述目标脸部的三维图像进行分段灰度拉伸，也可以包括根据所述目标脸部的三维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述对所述目标脸部的三维图像进行图像像素值归一化处理，包括：将所述目标脸部的三维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：目标脸部的三维图像的深度信息，目标脸部的三维图像的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的目标人脸的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第五处理。
可选的，所述第四参数数据由多个脸部表情样本的三维图像通过所述第四神经网络训练得到。所述脸部表情样本的三维图像包括：所述脸部表情样本的第六深度信息以及所述脸部表情样本的第八个色彩信息。具体的，可以将上述多个脸部表情样本的第六深度信息以及第八色彩信息输入所述第四神经网络并进行迭代，该多个脸部表情样本带有表示脸部表情类别的脸部表情类别，确定出识别脸部表情样本的表情准确率高的参数组合，如神经网络至少一个节点的权值，作为识别该目标脸部的表情类别的第四参数，该第四参数的具体内容可以参见上文。可选的，第四参数可以是在线下通过训练上述脸部表情样本得到的，提供实际使用的用于进行表情识别的产品中可以不包括上述的脸部表情样本。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。所述脸部表情样本、所述脸部表情样本的第六深度信息、以及所述脸部表情样本的第八色彩信息带有同样的所述脸部表情类别。所述第八色彩信息为RGB格式或YUV格式的图像。通过上述脸部表情样本带有的脸部表情类别，可以确定输入第四神经网络的上述脸部表情样本的分量(所述脸部表情样本的第六深度信息以及所述脸部表情样本的第八色彩信息为三维图像的分量)的脸部表情类别，则第四神经网络可以训练得到对应上述不同脸部表情类别的第四参数。
可选的，为应对获得的脸部表情样本姿态不理想或是光照条件不理想的情况，可以对脸部表情样本的三维图像进行第六处理以近似达到标准脸部的要求或使用的要求，具体地，如在所述多个脸部表情样本的三维图像由所述第四神经网络训练之前，对所述脸部表情样本的三维图像进行第六处理，所述第六处理包括下述中的至少一个：确定所述脸部表情样本的三维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像进行旋转；对所述脸部表情样本的三维图像进行镜像处理、线性变换以及仿射变换；将所述脸部表情样本的三维图像的特征点对齐所述设定的位置；对所述脸部表情样本的三维图像进行图像的灰度拉伸；以及，对所述脸部表情样本的三维图像进行图像像素值归一化处理。上述的第六处理可以与第五处理相同，也可以不同。
可选的，对所述脸部表情样本的三维图像进行第六处理，可以包括：对所述脸部表情样本的第六深度信息以及第八色彩信息进行相同的第六处理，即对所述脸部表情样本的第六深度信息进行什么样的第六处理，就对所述脸部表情样本的第八色彩信息进行什么样的第六处理。示例性的，可以对脸部表情样本的第六深度信息进行线性变换、仿射变换以及灰度拉伸，也对脸部表情样本的第八色彩信息进行上述的线性变换、仿射变换以及灰度拉伸；又如，对脸部表情样本的第六深度信息进行镜像处理、线性变换以及图像像素值归一化处理，也对脸部表情样本的第八色彩信息进行镜像处理、线性变换以及图像像素值归一化处理。示例性的，上述的对脸部表情样本的第六深度信息以及脸部表情样本的第八色彩信息进行相同的第六处理可以为：对脸部表情样本的第六深度信息(如深度图)，以及脸部表情样本的三维图像的第八色彩信息，如RGB图像，的三个通道分别进行相同的第六处理；也可以为对脸部表情样本的三维图像的整体图像进行相同的第六处理，再分解为第六深度信息和第八色彩信息输入第四神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将多个脸部表情样本的三维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第四神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的对所述脸部表情样本的三维图像进行图像的灰度拉伸，可以包括根据脸部表情样本的三维图像的特点，对所述脸部表情样本的三维图像进行分段灰度拉伸。也可以包括根据所述脸部表情样本的三维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述对所述脸部表情样本的三维图像进行图像像素值归一化处理，包括：将所述脸部表情样本的三维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：脸部表情样本的三维图像的第六深度信息，脸部表情样本的三维图像的第八色彩信息，如RGB图，的三个通道。
通常情况下，以人脸为例，摄像装置获取的脸部表情样本的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第六处理。
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
下面结合图4具体描述本发明实施例四提供的一种用于表情识别的装置，该装置400可以包括：
第一获取模块401，用于获取目标脸部的三维图像以及所述目标脸部的二维图像,所述三维图像包括所述目标脸部的第一深度信息和所述目标脸部的第一色彩信息，所述二维图像包括所述目标脸部的第二色彩信息。
可选的，该获取模块401可以为从存储器中获取摄像装置拍摄的目标脸部的三维图像以及目标脸部的二维图像。
可选的，上述的第一色彩信息和所述第二色彩信息为RGB格式或YUV格式的图像，还可以为可以和上述RGB格式或YUV格式相互转换的其他格式的图像。
第一输入模块402，用于将所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络。可选的，输入该第一神经网络的可以为目标脸部的深度图，目标脸部的三维图像的RGB图以及目标脸部的二维图像的RGB图；输入该第一神经网络的还可以为目标脸部的深度图，目标脸部的三维图像的RGB图的三个通道，以及目标脸部的二维图像的RGB图的三个通道。
可选的，上述的第一神经网络包括第一卷积神经网络，该第一卷积神经网络包括4个卷积层，4个降采样层，1个降层(dropout layer)和2个全连接层。
第一神经网络403，用于根据所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、所述目标脸部的第二色彩信息、以及第一参数对所述目标脸部的表情进行分类，所述第一参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第一参数数据。由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，上述第一神经网络包括上述的第一参数，该第一参数包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。可选的，在一个实施例中，上述的第一参数包括恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视八个表情类别脸部表情类别，以及用于识别上述八个脸部表情类别的第一参数数据，如第一神经网络至少一个节点的权值。具体地，所述第一神经网络403输出的分类结果可以为上述的目标脸部分别属于上述不同的表情类别的概率，并且，该分别属于上述不同的表情类别的概率的和为1。所述第一神经网络403可以根据上述概率的高低对输出的分类结果进行排序。可选的，在上述第一参数包括一个脸部表情类别的情况下，该第一神经网络可以用于判断上述的目标脸部的表情是否是该第一参数包括的该脸部表情类别。
可选的，为应对获得的目标脸部姿态不理想或是光照条件不理想的情况，可以对目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理以近似达到标准脸部的要求，或使用的要求，具体地，所述装置还包括第一处理模块，所述第一处理模块，用于对所述目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理，将经过第一处理后的所述目标脸部的三维图像以及目标脸部的二维图像输入所述第一输入模块。所述第一处理模块包括下述子模块中的至少一个：第一旋转子模块，第一变换子模块，第一对齐子模块，第一灰度拉伸子模块，以及第一归一化处理子模块。所述第一旋转子模块，用于确定所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点，以所述特征点为基准对所述目标脸部的三维图像以及所述目标脸部的二维图像进行旋转。所述第一变换子模块，用于对所述目标脸部的三维图像以及所述目标脸部的二维图像进行镜像处理、线性变换以及仿射变换。所述第一对齐子模块，用于将所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点对齐设定的位置。所述第一灰度拉伸子模块，用于对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像的灰度拉伸。所述第一归一化处理子模块，用于对所述目标脸部的三维图像以及所述目标脸部的二维图像进行图像像素值归一化处理。
上述的对目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理可以包括：对目标脸部的三维图像进行什么样的第一处理就对目标脸部的二维图像进行什么样的第一处理。示例性的，上述的第一处理模块对所述目标脸部的三维图像以及目标脸部的二维图像进行相同的第一处理可以为：通过所述第一变换子模块对所述目标脸部的三维图像进行线性变换、仿射变换以及通过所述第一灰度拉伸子模块对所述目标脸部的三维图像进行灰度拉伸，也通过所述第一变换子模块对目标脸部的二维图像进行相同的线性变换、仿射变换以及通过第一灰度拉伸子模块对目标脸部的二维图像进行灰度拉伸；又如，通过所述第一变换子模块对所述目标脸部的三维图像进行镜像处理、线性变换并通过所述第一归一化处理子模块对图像像素值归一化处理，也通过所述第一变换子模块对目标脸部的二维图像进行镜像处理、线性变换并通过所述第一归一化处理子模块对图像像素值归一化处理。可选的，所述第一处理模块具体可以用于：对目标脸部的深度信息(如深度图)，以及目标脸部的三维图像的RGB图像的三个通道以及，目标脸部的二维图像的RGB图像的三个通道分别进行相同的第一处理；也可以为对目标脸部的三维图像的整体图像以及目标脸部的二维图像的整体图像进行相同的第一处理，再分解为目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将所述目标脸部的三维图像以及所述目标脸部的二维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第一神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的所述第一灰度拉伸子模块具体可以用于根据目标脸部的三维图像和/或目标脸部的二维图像的特点，对所述目标脸部的三维图像和目标脸部的二维图像进行分段灰度拉伸，也可以根据所述目标脸部的三维图像以及目标脸部的二维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述第一归一化处理子模块具体可以用于将所述目标脸部的三维图像以及目标脸部的二维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：目标脸部的三维图像的深度信息，目标脸部的三维图像的RGB图的三个通道，以及目标脸部的二维图像的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的目标人脸的三维图像和目标人脸的二维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第一处理。
可选的，上述用于识别所述目标脸部的表情类别的第一参数数据由多个脸部表情样本的三维图像以及所述脸部表情样本的二维图像通过所述第一神经网络训练得到。所述脸部表情样本的三维图像包括：所述脸部表情样本的第二深度信息以及所述脸部表情样本的第三色彩信息，所述脸部表情样本的二维图像包括：所述脸部表情样本的第四色彩信息。具体的，第一输入模块402可以将上述多个脸部表情样本的第二深度信息、第三色彩信息以及第四色彩信息输入所述第一神经网络403并进行迭代，该多个脸部表情样本带有表示脸部表情类别的脸部表情类别，所述第一神经网络403确定出识别脸部表情样本的表情准确率高的参数组合，如其至少一个节点的权值，作为识别该目标脸部的表情类别的第一参数，该第一参数的具体内容可以参见上文。可选的，第一参数可以是在线下通过训练上述脸部表情样本得到的，提供实际使用的用于进行表情识别的产品中可以不包括上述的脸部表情样本。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，上述的脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。所述脸部表情样本、所述脸部表情样本的第二深度信息、以及所述脸部表情样本的第三色彩信息、以及所述脸部表情样本的第四色彩信息带有同样的所述脸部表情类别。所述第三色彩信息和所述第四色彩信息为RGB格式或YUV格式的图像。所述第一神经网络403通过上述脸部表情样本带有的脸部表情类别，可以确定输入第一神经网络的上述脸部表情样本的分量(所述脸部表情样本的第二深度信息以及所述脸部表情样本的第三色彩信息为三维图像的分量，述脸部表情样本的第四色彩信息为二维图像的分量)的脸部表情类别，则第一神经网络403可以训练得到对应上述不同脸部表情类别的第一参数数据。
可选的，为应对获得的脸部表情样本姿态不理想或是光照条件不理想的情况，可以对脸部表情样本的三维图像以及脸部表情样本的二维图像进行相同的第二处理以近似达到标准脸部的要求或使用的要求，具体地，所述装置还包括第二处理模块，所述第二处理模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行相同的第二处理，将进行第二处理后的所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像输入所述第一输入模块。所述第二处理模块包括第二旋转子模块，第二变换子模块，第二对齐子模块，第二灰度拉伸子模块，以及第二归一化处理子模块。所述第二旋转子模块，用于确定所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行旋转。所述第二变换子模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行镜像处理、线性变换以及仿射变换。所述第二对齐子模块，用于将所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像的特征点对齐设定的位置。所述第二灰度拉伸子模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像的灰度拉伸。所述第二归一化处理子模块，用于对所述脸部表情样本的三维图像以及所述脸部表情样本的二维图像进行图像像素值归一化处理。上述的第二处理模块可以与第一处理模块相同，也可以不同。
所述第二处理模块具体可以用于对脸部表情样本的三维图像进行什么样的第二处理就对脸部表情样本的二维图像进行什么样的第二处理。示例性的，所述第二处理模块具体可以用于：通过所述第二变换子模块对脸部表情样本的三维图像进行线性变换、仿射变换以及通过所述第二灰度拉伸子模块对脸部表情样本的三维图像进行灰度拉伸，也通过所述第二变换子模块对脸部表情样本的二维图像进行上述的线性变换、仿射变换以及通过所述第二灰度拉伸子模块对脸部表情样本的二维图像进行灰度拉伸；又如，可以通过第二变换子模块对脸部表情样本的三维图像进行镜像处理、线性变换以及通过所述第二归一化处理子模块对脸部表情样本的三维图像的图像像素值归一化处理，也通过第二变换子模块对脸部表情样本的三维图像对脸部表情样本的二维图像进行镜像处理、线性变换以及通过所述第二归一化处理子模块对脸部表情样本的二维图像的图像像素值归一化处理。示例性的，上述的第二处理模块具体可以用于：对脸部表情样本的第二深度信息(如深度图)，以及脸部表情样本的三维图像的RGB图像的三个通道以及，脸部表情样本的二维图像的RGB图像的三个通道分别进行相同的第二处理；也可以为对脸部表情样本的三维图像的整体图像以及脸部表情样本的二维图像的整体图像进行相同的第二处理，再分解为第二深度信息、第三色彩信息和第四色彩信息输入第一神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将多个脸部表情样本的三维图像以及所述多个脸部表情样本的二维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第一神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的所述第二灰度拉伸子模块具体可以用于根据脸部表情样本的三维图像和/或脸部表情样本的二维图像的特点，对所述脸部表情样本的三维图像和脸部表情样本的二维图像进行分段灰度拉伸。也可以包括根据所述脸部表情样本的三维图像以及脸部表情样本的二维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述第二归一化处理子模块具体可以用于：将所述脸部表情样本的三维图像以及脸部表情样本的二维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：脸部表情样本的三维图像的第一深度信息，脸部表情样本的三维图像的RGB图的三个通道，以及脸部表情样本的二维图像的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的脸部表情样本的三维图像和脸部表情样本的二维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而进行上述的第二处理。
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
下面结合图5具体阐述本发明实施例五提供的一种用于表情识别的装置。如图5所示，该装置500包括第二获取模块501、第二输入模块502、第二神经网络503、第三神经网络504以及第二分类模块505。
所述第二获取模块501，用于获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息。可选的，上述脸部目标脸部的三维图像可以为彩色图像。可选的，上述的第五色彩信息为RGB格式或YUV格式的图像，还可以为可以和上述RGB格式或YUV格式相互转换的其他格式的图像。可选的，该第二获取模块501可以为从存储器中获取摄像装置拍摄的目标脸部的三维图像。
所述第二输入模块502，用于将所述目标脸部的第三深度信息输入第二神经网络503且将所述目标脸部的第五色彩信息输入第三神经网络504。
可选的，所述第二神经网络503包括：3个卷积层，3个降采样层，1个降层和2个全连接层。所述第三神经网络504包括：4个卷积层，4个降采样层，1个降层和2个全连接层。
所述第二神经网络503，用于根据所述目标脸部的第三深度信息以及第二参数对所述目标脸部的表情进行分类并输出第一分类数据，并且，所述第三神经网络504用于根据所述目标脸部的第五色彩信息以及所述第三参数对所述目标脸部的表情进行分类并输出第二分类数据，所述第二参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第二参数数据，所述第三参数包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第三参数数据。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，上述的第二神经网络包括上述的第一分类数据，该第一分类数据包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。上述的第三神经网络包括上述的第二分类数据，该第二分类数据包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。可选的，该第一分类数据与该第二分类数据所包括的脸部表情类别相同。示例性的，上述的第一分类数据与上述第二分类数据均包括恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视八个脸部表情类别，以及对应上述八个表情类别脸部表情类别的八组参数数据，如上述目标脸部的表情分别属于上述八种脸部表情类别的概率。上述的第二参数数据以及第三参数数据用于识别目标脸部的表情属于上述八个脸部表情类别中的哪个，如上述第二神经网络的至少一个节点的权值，以及第三神经网络的至少一个节点的权值。
所述第二神经网络包括第二卷积神经网络，所述第三神经网络包括第三卷积神经网络。
所述第二分类模块505，用于根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果。
可选的，所述第二分类模块505包括支持向量机，该支持向量机可以用于：输入所述第一分类数据与所述第二分类数据，并根据所述第一分类数据、第二分类数据以及支持向量机参数数据输出所述目标脸部的表情的分类结果，所述支持向量机包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的支持向量机参数数据。
示例性的，第一分类数据可以为一组八维数据，即表示八个表情类别的数据，该八个表情类别可以为恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。可选的，上述的表示八个表情类别的数据可以为该目标脸部的表情分别属于上述八个表情类别的八个概率值，该八个概率值的和为1。同样的，该第二分类数据为同样的八个表情类别，则支持向量机的输入则为两组八维的数据，该支持向量机根据上述的两组八维的数据，以及用于识别所述目标脸部的表情类别的支持向量机参数数据判断上述的目标脸部的表情属于哪类的表情。上述的支持向量机可以为线性的支持向量机。该支持向量机输出的分类结果可以为上述的目标脸部分别属于上述不同的表情类别的概率，并且，该分别属于上述不同的表情类别的概率的和为1。该支持向量机可以根据上述概率的高低对输出的分类结果进行排序。
可选的，在上述第一分类数据以及第二分类数据包括一个脸部表情类别的情况下，该支持向量机也包括一个该脸部表情类别，该支持向量机可以用于判断上述的目标脸部的表情是否是该支持向量机包括的该脸部表情类别。
可选的，为应对获得的目标脸部姿态不理想或是光照条件不理想的情况，所述装置还包括第三处理模块，所述第三处理模块，用于对所述目标脸部的第三深度信息进行第三处理，将进行第三处理后的目标脸部的第三深度信息输入所述第二输入模块。所述第三处理模块包括第三旋转子模块，第三变换子模块，第三对齐子模块，第三灰度拉伸子模块，以及第三归一化处理子模块中的至少一个。所述第三旋转子模块，用于确定所述目标脸部的第三深度信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息进行旋转。所述第三变换子模块，用于对所述目标脸部的第三深度信息进行镜像处理、线性变换以及仿射变换。所述第三对齐子模块，用于将所述目标脸部的第三深度信息的特征点对齐设定的位置。所述第三灰度拉伸子模块，用于对所述目标脸部的第三深度信息进行图像的灰度拉伸。所述第三归一化处理子模块，用于将所述目标脸部的第三深度信息进行图像像素值归一化处理。
所述第三处理模块，还用于对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理，将第三处理后的所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息输入所述第二输入模块。所述第三旋转子模块，还用于确定所述目标脸部的第三深度信息的特征点和所述目标脸部的第五色彩信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行旋转。所述第三变换子模块，还用于对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行镜像处理、线性变换以及仿射变换。所述第三对齐子模块，还用于将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐设定的位置。所述第三灰度拉伸子模块，还用于对所述目标脸部的第三深度信息或目标脸部的第五色彩信息进行图像的灰度拉伸。所述第三归一化处理子模块，还用于将所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行图像像素值归一化处理。
上述的第三处理模块具体可以用于：对目标脸部的第三深度信息进行什么样的第三处理就对目标脸部的第五色彩信息进行什么样的处理。示例性的，第三处理模块可以通过所述第三变换子模块对目标脸部的第三深度信息进行线性变换、仿射变换以及通过所述第三灰度拉伸子模块对目标脸部的第三深度信息进行灰度拉伸，则也可以通过所述第三变换子模块对目标脸部的第五色彩信息进行相同的线性变换、仿射变换以及通过所述第三灰度拉伸子模块对目标脸部的第五色彩信息进行相同的灰度拉伸。又如，第三处理模块可以通过所述第三变换子模块对目标脸部的第三深度信息进行镜像处理、线性变换以及通过所述第三归一化处理子模块对目标脸部的第三深度信息进行图像像素值归一化处理，则也通过所述第三变换子模块对目标脸部的第五色彩信息进行相同的镜像处理、线性变换以及通过所述第三归一化处理子模块对目标脸部的第五色彩信息的图像像素值归一化处理。可选的，上述的第三处理模块可以是对目标脸部的第三深度信息(如深度图)，以及目标脸部的三维图像的RGB图的分别进行相同的第三处理；也可以是对目标脸部的第三深度信息，以及目标脸部的三维图像的RGB图的三个通道分别进行相同的第三处理。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第二神经网络时输入的脸部表情样本统一对齐的特征点，以及训练上述第三神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。可选的，上述将所述目标脸部的第三深度信息的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第二神经网络时输入的脸部表情样本统一对齐的特征点。
可选的，上述的第三灰度拉伸子模块具体可以用于根据目标脸部的三维图像的特点，对所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行分段灰度拉伸，也可以用于根据所述目标脸部的第三深度信息以及目标脸部的第五色彩信息的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述第三归一化处理子模块具体可以用于：将所述目标脸部的第三深度信息以及目标脸部的第五色彩信息各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：目标脸部的第三深度信息，目标脸部的三维图像的RGB图的三个通道。所述第三归一化处理子模块具体用于：将所述目标脸部的第三深度信息的像素值由[0,255]归一化到[0,1]。
通常情况下，以人脸为例，摄像装置获取的目标人脸的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而通过上述的第三处理模块进行第三处理。
可选的，所述第二参数数据由多个脸部表情样本的第四深度信息通过所述第二神经网络训练得到，所述第三参数数据由所述多个脸部表情样本的第六色彩信息通过所述第三神经网络训练得到。所述脸部表情样本的三维图像包括：脸部表情样本的第四深度信息以及脸部表情样本的第六色彩信息。所述第二神经网络训练所述的第四深度信息得到第二参数数据的过程和第三神经网络训练所述第六色彩信息得到第三参数数据的过程可以是并行的。具体地，所述第二输入模块502可以将上述多个脸部表情样本的第四深度信息和第六色彩信息分别输入上述的第二神经网络和第三神经网络并进行迭代，该多个脸部表情样本带有表示脸部表情类别的脸部表情类别，确定出识别脸部表情样本的表情准确率高的参数组合，如神经网络至少一个节点的权值，作为识别该目标脸部的表情类别的第二参数数据和第三参数数据，第二参数数据和第三参数数据的具体内容可以参见上文。可选的，第二参数数据和第三参数数据可以是在线下通过训练上述脸部表情样本得到的，提供实际使用的用于进行表情识别的产品中可以不包括上述的脸部表情样本。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，所述第二神经网络包括的脸部表情类别以及所述第三神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。所述脸部表情样本、所述脸部表情样本的第四深度信息、以及所述脸部表情样本的第六色彩信息带有同样的所述脸部表情类别。上述的第六色彩信息为RGB格式或YUV格式的图像。通过上述脸部表情样本带有的脸部表情类别，第二神经网络和第三神经网络可以确定输入第二神经网络和第三神经网络的上述脸部表情样本的三维图像的分量(脸部表情样本的三维图像的第四深度信息、以及所述脸部表情样本的三维图像的第六色彩信息)的脸部表情类别，则第二神经网络可以训练得到对应上述不同脸部表情类别的第二参数数据，第三神经网络可以训练得到对应上述不同脸部表情类别的第三参数数据。
可选的，为应对获得的脸部表情样本姿态不理想或是光照条件不理想的情况，所述装置包括第四处理模块，所述第四处理模块，用于对所述脸部表情样本的第四深度信息进行第四处理，将进行所述第四处理后的所述脸部表情样本的第四深度信息输入所述第二输入模块。所述第四处理模块包括第四旋转子模块，第四变换子模块，第四对齐子模块，第四灰度拉伸子模块，以及第四归一化处理子模块中的至少一个。所述第四旋转子模块，用于确定所述脸部表情样本的第四深度信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息进行旋转。所述第四变换子模块，用于对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及仿射变换。所述第四对齐子模块，用于将所述脸部表情样本的第四深度信息的特征点对齐设定的位置。所述第四灰度拉伸子模块，用于对所述脸部表情样本的第四深度信息进行图像的灰度拉伸。所述第四归一化处理子模块，用于将所述脸部表情样本的第四深度信息进行图像像素值归一化处理。
所述第四处理模块，还用于对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行第四处理，将进行所述第四处理后的所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息输入所述第二输入模块。所述第四旋转子模块，还用于确定所述脸部表情样本的第四深度信息的特征点和所述脸部表情样本的第六色彩信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行旋转。所述第四变换子模块，还用于对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及仿射变换。所述第四对齐子模块，还用于将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐设定的位置。所述第四灰度拉伸子模块，还用于对所述脸部表情样本的第四深度信息或所述脸部表情样本的第六色彩信息进行图像的灰度拉伸。所述第四归一化处理子模块，还用于将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素值归一化处理。上述的第四处理模块可以与第三处理模块相同，也可以不同。
第四处理模块具体可以用于：对所述脸部表情样本的第四深度进行什么样的第四处理就对所述脸部表情样本的第六色彩信息进行什么样的第四处理。示例性的，第四处理模块具体可以通过所述第四变换子模块对所述脸部表情样本的第四深度信息进行线性变换、仿射变换以及通过所述第四灰度拉伸子模块对所述脸部表情样本的第四深度信息进行灰度拉伸，也通过所述第四变换子模块对所述脸部表情样本的第六色彩信息进行线性变换、仿射变换以及通过所述第四灰度拉伸子模块对所述脸部表情样本的第六色彩信息进行灰度拉伸。又如，通过所述第四变换子模块对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及通过所述第四归一化处理子模块对所述脸部表情样本的第四深度信息的图像像素值归一化处理，也通过所述第四变换子模块对所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及通过所述第四归一化处理子模块对所述脸部表情样本的第六色彩信息的图像像素值归一化处理。示例性的，上述第四处理模块具体可以用于：对脸部表情样本的第四深度信息(如深度图)，以及脸部表情样本的三维图像的RGB图像的三个通道分别进行相同的第四处理；也可以为对脸部表情样本的三维图像的整体图像进行第四处理，再将其分解为脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息分别通过第二输入模块502输入所述第二神经网络和第三神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐的设定的位置，或将所述脸部表情样本的第四深度信息的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第二神经网络和第三神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，所述第四灰度拉伸子模块具体可以用于：根据脸部表情样本的第四深度信息和/或脸部表情样本的第六色彩信息的特点，对所述脸部表情样本的第四深度信息和脸部表情样本的第六色彩信息进行分段灰度拉伸，也可以用于根据所述脸部表情样本的第四深度信息以及脸部表情样本的第六色彩信息的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述第四归一化处理子模块具体可以用于：将所述脸部表情样本的第四深度信息的像素值由[0,255]归一化到[0,1]；或，所述第四归一化处理子模块具体可以用于：将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：脸部表情样本的三维图像的第四深度信息，脸部表情样本的第六色彩信息的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的脸部表情样本的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而通过上述第四处理模块进行上述的第四处理。
所述第五色彩信息为RGB格式或YUV格式的图像。所述第六色彩信息为RGB格式或YUV格式的图像。
所述用于识别所述目标脸部的表情类别的支持向量机参数数据由所述第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据以及所述第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据通过所述支持向量机训练得到。示例性的，第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据可以为一组八维数据，即表示八个表情类别的数据，该八个表情类别可以为恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。同样的，第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据为同样的八个表情类别，则支持向量机的输入则为上述的两组八维的数据，由于上述两组八维的数据带有标示表情类别的脸部表情类别，通过上述的两组八维的数据可以训练出带有该表情类别的脸部表情类别的支持向量机数据。
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
下面结合图6具体阐述本发明实施例六提供的一种用于表情识别的装置。该装置600包括：第三获取模块601、第三输入模块602以及第四神经网络603。
第三获取模块601，用于获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第五深度信息和所述目标脸部的第七色彩信息。
可选的，该第三获取模块601可以为从存储器中获取摄像装置拍摄的目标脸部的三维图像。可选的，上述脸部目标脸部的三维图像可以为彩色图像。可选的，所述第七色彩信息为RGB格式或YUV格式的图像，还可以为可以和上述RGB格式或YUV格式相互转换的其他格式的图像。
第三输入模块602，用于将所述目标脸部的第五深度信息以及所述目标脸部的第七色彩信息输入第四神经网络。可选的，输入该第四神经网络的可以为目标脸部的深度图，目标脸部的三维图像的RGB图；输入该第一神经网络的还可以为目标脸部的深度图，目标脸部的三维图像的RGB图的三个通道。可选的，所述第四神经网络包括第四卷积神经网络。所述第四卷积神经网络包括1个分割层，8个卷积层，8个降采样层，2个降层和5个全连接层。
第四神经网络603，用于根据所述目标脸部的第五深度信息、所述目标脸部的第七色彩信息以及第四参数对所述目标脸部的表情进行分类，所述第四参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第四参数数据。
可选的，由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，第四神经网络可以包括第四参数，该第四参数包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。示例性的，上述的第四参数可以包括恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视八个表情类别脸部表情类别，以及用于识别上述八个脸部表情类别的第四参数数据，如神经网络至少一个节点的权值。具体地，所述第四神经网络603输出的分类结果可以为上述的目标脸部分别属于上述不同的表情类别的概率，并且，该分别属于上述不同的表情类别的概率的和为1。所述第四神经网络603可以根据上述概率的高低对输出的分类结果进行排序。
可选的，在上述第四参数包括一个脸部表情类别的情况下，该第四神经网络可以用于判断上述的目标脸部的表情是否是该第四参数包括的该脸部表情类别。
可选的，为应对获得的目标脸部姿态不理想或是光照条件不理想的情况，可以对目标脸部的三维图像进行处理以近似达到标准脸部的要求或使用的要求，具体地，所述装置还包括第五处理模块，所述第五处理模块，用于对所述目标脸部的三维图像进第五处理，将经过第五处理后的所述目标脸部的三维图像输入所述第三输入模块。所述第五处理模块包括下述子模块中的至少一个：第五旋转子模块，第五变换子模块，第五对齐子模块，第五灰度拉伸子模块，以及第五归一化处理子模块。所述第五旋转子模块，用于确定所述目标脸部的三维图像的特征点，以所述特征点为基准对所述目标脸部的三维图像进行旋转。所述第五变换子模块，用于对所述目标脸部的三维图像进行镜像处理、线性变换以及仿射变换。所述第五对齐子模块，用于将所述目标脸部的三维图像的特征点对齐设定的位置。所述第五灰度拉伸子模块，用于对所述目标脸部的三维图像进行图像的灰度拉伸。所述第五归一化处理子模块，用于对所述目标脸部的三维图像进行图像像素值归一化处理。
上述的第五处理模块具体可以用于对目标脸部的第五深度信息以及对所述目标脸部的第七色彩信息进行相同的第五处理，即对目标脸部的第五深度信息进行什么样的第五处理，就对目标脸部的第七色彩信息进行什么样的第五处理。示例性的，上述的第五处理模块具体可以用于：通过第五变换子模块对目标脸部的第五深度信息进行线性变换、仿射变换以及通过第五灰度拉伸子模块对目标脸部的第五深度信息进行灰度拉伸，也通过第五变换子模块对目标脸部的第七色彩信息进行线性变换、仿射变换以及通过第五灰度拉伸子模块对目标脸部的第七色彩信息进行灰度拉伸。又如，通过第五变换子模块对所述目标脸部的第五深度信息进行镜像处理、线性变换以及通过所述第五归一化处理子模块对所述目标脸部的第五深度信息的图像像素值归一化处理，也通过第五变换子模块对目标脸部的第七色彩信息进行镜像处理、线性变换以及通过所述第五归一化处理子模块对目标脸部的第七色彩信息的图像像素值归一化处理。可选的，上述的第五处理模块具体可以用于：对目标脸部的第五深度信息(如深度图)，以及目标脸部的第七色彩信息的RGB图像的三个通道分别进行相同的第五处理，也可以用于对目标脸部的三维图像的整体图像进行第五处理，再分解为第五深度信息以及第七色彩信息通过所述第二输入模块502输入第四神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将所述目标脸部的三维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第四神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的第五灰度拉伸子模块具体可以用于根据目标脸部的三维图像的特点，对所述目标脸部的三维图像进行分段灰度拉伸，也可以用于根据所述目标脸部的三维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述第五归一化处理子模块具体可以用于将所述目标脸部的三维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：目标脸部的三维图像的深度信息，目标脸部的三维图像的RGB图的三个通道。
通常情况下，以人脸为例，摄像装置获取的目标人脸的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而可以通过所述第五处理模块进行上述的第五处理。
可选的，所述第四参数数据由多个脸部表情样本的三维图像通过所述第四神经网络训练得到。所述脸部表情样本的三维图像包括：所述脸部表情样本的第六深度信息以及所述脸部表情样本的第八个色彩信息。具体的，可以将上述多个脸部表情样本的第六深度信息以及第八色彩信息输入所述第四神经网络并进行迭代，该多个脸部表情样本带有表示脸部表情类别的脸部表情类别，第四神经网络可以确定出识别脸部表情样本的表情准确率高的参数组合，如神经网络至少一个节点的权值，作为识别该目标脸部的表情类别的第四参数，该第四参数的具体内容可以参见上文。可选的，第四参数可以是在线下通过训练上述脸部表情样本得到的，提供实际使用的用于进行表情识别的产品中可以不包括上述的脸部表情样本。
由于大多数表情都是复合表情，可以属于至少一个表情类别，因此，所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。所述脸部表情样本、所述脸部表情样本的第六深度信息、以及所述脸部表情样本的第八色彩信息带有同样的所述脸部表情类别。所述第八色彩信息为RGB格式或YUV格式的图像。通过上述脸部表情样本带有的脸部表情类别，第四神经网络可以确定输入的上述脸部表情样本的分量(所述脸部表情样本的第六深度信息以及所述脸部表情样本的第八色彩信息为三维图像的分量)的脸部表情类别，则第四神经网络可以训练得到对应上述不同脸部表情类别的第四参数。
可选的，为应对获得的脸部表情样本姿态不理想或是光照条件不理想的情况，可以对脸部表情样本的三维图像进行处理以近似达到标准脸部的要求或使用的要求，具体地，如所述装置还包括第六处理模块，所述第六处理模块，用于对所述脸部表情样本的三维图像进行第五处理，将进行第五处理后的所述脸部表情样本的三维图像输入所述第三输入模块。所述第六处理模块包括第六旋转子模块，第六变换子模块，第六对齐子模块，第六灰度拉伸子模块，以及第六归一化处理子模块。所述第六旋转子模块，用于确定所述脸部表情样本的三维图像的特征点，以所述特征点为基准对所述脸部表情样本的三维图像进行旋转。所述第六变换子模块，用于对所述脸部表情样本的三维图像进行镜像处理、线性变换以及仿射变换。所述第六对齐子模块，用于将所述脸部表情样本的三维图像的特征点对齐所述设定的位置。所述第六灰度拉伸子模块，用于对所述脸部表情样本的三维图像进行图像的灰度拉伸。所述第六归一化处理子模块，用于对所述脸部表情样本的三维图像进行图像像素值归一化处理。上述的第六处理可以与第五处理相同，也可以不同。
可选的，所述第六处理模块具体可以用于：对所述脸部表情样本的第六深度信息以及第八色彩信息进行相同的第六处理，即对所述脸部表情样本的第六深度信息进行什么样的第六处理，就对所述脸部表情样本的第八色彩信息进行什么样的第六处理。示例性的，所述第六处理模块可以通过第六变换子模块对脸部表情样本的第六深度信息进行线性变换、仿射变换并通过第六灰度拉伸子模块对脸部表情样本的第六深度信息进行灰度拉伸，也通过第六变换子模块对脸部表情样本的第八色彩信息进行上述的线性变换、仿射变换并通过第六灰度拉伸子模块对脸部表情样本的第八色彩信息进行灰度拉伸；又如，通过第六变换子模块对脸部表情样本的第六深度信息进行镜像处理、线性变换并通过第六归一化处理子模块对脸部表情样本的第六深度信息进行图像像素值归一化处理，也通过第六变换子模块对脸部表情样本的第八色彩信息进行镜像处理、线性变换以及通过第六归一化处理子模块对脸部表情样本的第八色彩信息进行图像像素值归一化处理。示例性的，上述的第六处理模块具体可用于：对脸部表情样本的第六深度信息(如深度图)，以及脸部表情样本的三维图像的第八色彩信息，如RGB图像，的三个通道分别进行相同的第六处理；也可以为对脸部表情样本的三维图像的整体图像进行相同的第六处理，再分解为第六深度信息和第八色彩信息输入第四神经网络。
可选的，上述的特征点可以为眼睛点，还可以为鼻尖点等其他的脸部特征。上述将多个脸部表情样本的三维图像的特征点对齐的设定的位置可以为某个标准脸部图像的特征点，如眼睛点，也可以为预先设定的位置，还可以为训练上述第四神经网络时输入的脸部表情样本统一对齐的特征点，如眼睛点。
可选的，上述的第六灰度拉伸子模块具体可以用于根据脸部表情样本的三维图像的特点，对所述脸部表情样本的三维图像进行分段灰度拉伸，也可以用于根据所述脸部表情样本的三维图像的像素值的大小，对所述像素值进行分段灰度拉伸。
可选的，所述第六归一化处理子模块具体用于：将所述脸部表情样本的三维图像各个通道的像素值由[0,255]归一化到[0,1]。上述的各个通道可以包括：脸部表情样本的三维图像的第六深度信息，脸部表情样本的三维图像的第八色彩信息，如RGB图，的三个通道。
通常情况下，以人脸为例，摄像装置获取的脸部表情样本的三维图像除了包括脸部以外还包括有脖子肩膀等冗余部位，需要通过人脸检测定位到人脸框位置，再将其扣取出来，再定位上述的脸部特征，如眼睛点，进而通过上述的第六处理模块进行上述的第六处理。
本发明提供的一种用于表情识别的方法和装置，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
下面结合图7具体阐述本发明实施例提供的一种计算机可读存储介质700，所述计算机可读存储介质700存储有计算机程序，其特征在于，所述计算机程序被第一处理器701执行时实现如上述实施例1-3任一实施例所述方法的步骤。
本发明提供的一种计算机可读存储介质700，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
下面结合图8具体阐述本发明实施例提供的一种用于表情识别的装置800，该装置800包括存储器801、第二处理器802以及存储在所述存储器801中并可在所述第二处理器802上运行的计算机程序，其特征在于，所述计算机程序被第二处理器802执行时实现如实施例1-3任一实施例所述方法的步骤。
本发明提供的一种用于表情识别的装置800，能够有效的解决脸部姿态不同以及不同光照条件导致的脸部表情识别准确率下降的问题，提高目标脸部在不同的脸部姿态以及不同光照条件下的脸部表情识别的准确率。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是装置/终端设备的示例，并不构成对装置/终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像，也可以整体成像。无论是局部成像，或整体成像都适用或对局部成像，或整体成像相应做出调整后适用本发明提供的方法或装置，上述调整本领域普通技术人员不需要付出创造性劳动，应属于本发明的保护范围。

Claims (31)

1.一种用于表情识别的方法，其特征在于，包括：
获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息；
将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络；
所述第二神经网络根据所述目标脸部的第三深度信息以及第二参数对所述目标脸部的表情进行分类并输出第一分类数据，并且所述第三神经网络根据所述目标脸部的第五色彩信息以及第三参数对所述目标脸部的表情进行分类并输出第二分类数据，所述第二参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第二参数数据，所述第三参数包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第三参数数据；
根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果，包括：
支持向量机输入所述第一分类数据与所述第二分类数据，并根据所述第一分类数据、第二分类数据以及支持向量机参数数据输出所述目标脸部的表情的分类结果，所述支持向量机包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的支持向量机参数数据。
3.根据权利要求1所述的方法，其特征在于，在所述将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络之前，所述方法还包括：
对所述目标脸部的第三深度信息进行第三处理，所述第三处理包括下述中的至少一个：
确定所述目标脸部的第三深度信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息进行旋转；
对所述目标脸部的第三深度信息进行镜像处理、线性变换以及仿射变换；
将所述目标脸部的第三深度信息的特征点对齐设定的位置；
对所述目标脸部的第三深度信息进行图像的灰度拉伸；以及，
将所述目标脸部的第三深度信息进行图像像素值归一化处理；或，
在所述将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络之前，所述方法还包括：
对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理，所述第三处理包括下述中的至少一个：
确定所述目标脸部的第三深度信息的特征点和所述目标脸部的第五色彩信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行旋转；
对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行镜像处理、线性变换以及仿射变换；
将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐设定的位置；
对所述目标脸部的第三深度信息或目标脸部的第五色彩信息进行图像的灰度拉伸；以及，
将所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行图像像素值归一化处理。
4.根据权利要求3所述的方法，其特征在于，
所述将所述目标脸部的第三深度信息进行图像像素值归一化处理，包括：
将所述目标脸部的第三深度信息的像素值由[0,255]归一化到[0,1]；或，
所述将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的各个通道的像素值进行归一化，包括：
将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
5.根据权利要求3所述的方法，其特征在于，
所述第二参数数据由多个脸部表情样本的第四深度信息通过所述第二神经网络训练得到；
所述第三参数数据由所述多个脸部表情样本的第六色彩信息通过所述第三神经网络训练得到。
6.根据权利要求5所述的方法，其特征在于，在所述多个脸部表情样本的第四深度信息由所述第二神经网络训练之前，所述方法还包括：
对所述脸部表情样本的第四深度信息进行第四处理，所述第四处理包括下述中的至少一个：
确定所述脸部表情样本的第四深度信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息进行旋转；
对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及仿射变换；
将所述脸部表情样本的第四深度信息的特征点对齐设定的位置；
对所述脸部表情样本的第四深度信息进行图像的灰度拉伸；以及，
将所述脸部表情样本的第四深度信息进行图像像素值归一化处理；
或，在所述脸部表情样本的第四深度信息由所述第二神经网络训练以及所述脸部表情样本的第六色彩信息由所述第三神经网络训练之前，所述方法还包括：
对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行相同的第四处理，所述第四处理包括下述中的至少一个：
确定所述脸部表情样本的第四深度信息的特征点和所述脸部表情样本的第六色彩信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行旋转；
对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及仿射变换；
将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐设定的位置；
对所述脸部表情样本的第四深度信息或所述脸部表情样本的第六色彩信息进行图像的灰度拉伸；以及，
将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素值归一化处理。
7.根据权利要求6所述的方法，其特征在于，
所述将所述脸部表情样本的第四深度信息进行图像像素值归一化处理，包括：
将所述脸部表情样本的第四深度信息的像素值由[0,255]归一化到[0,1]；或，
所述将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素归一化处理，包括：
将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
8.根据权利要求5-7任一权利要求所述的方法，其特征在于，
所述用于识别所述目标脸部的表情类别的支持向量机参数数据由所述第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据以及所述第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据通过所述支持向量机训练得到。
9.根据权利要求5-7任一权利要求所述的方法，其特征在于，
所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第四深度信息、以及所述脸部表情样本的第六色彩信息带有同样的所述脸部表情类别。
10.根据权利要求1-7任一权利要求所述的方法，其特征在于，
所述第二神经网络包括的脸部表情类别以及所述第三神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
11.根据权利要求3-7任一权利要求所述的方法，其特征在于，
所述特征点为眼睛点。
12.根据权利要求1-7任一权利要求所述的方法，其特征在于，
所述第二神经网络包括第二卷积神经网络，所述第三神经网络包括第三卷积神经网络。
13.根据权利要求12所述的方法，其特征在于，
所述第二卷积神经网络包括：3个卷积层，3个降采样层，1个降层和2个全连接层；
所述第三卷积神经网络包括：4个卷积层，4个降采样层，1个降层和2个全连接层。
14.根据权利要求1-7任一权利要求所述的方法，其特征在于，
所述第五色彩信息为RGB格式或YUV格式的图像。
15.根据权利要求5-7任一权利要求所述的方法，其特征在于，
所述第六色彩信息为RGB格式或YUV格式的图像。
16.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取目标脸部的三维图像以及所述目标脸部的二维图像,所述三维图像包括所述目标脸部的第一深度信息和所述目标脸部的第一色彩信息，所述二维图像包括所述目标脸部的第二色彩信息；
将所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、以及所述目标脸部的第二色彩信息输入第一神经网络；
所述第一神经网络根据所述目标脸部的第一深度信息、所述目标脸部的第一色彩信息、所述目标脸部的第二色彩信息，以及第一参数对所述目标脸部的表情进行分类，所述第一参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第一参数数据。
17.一种用于表情识别的装置，其特征在于，所述装置包括第二获取模块、第二输入模块、第二神经网络、第三神经网络以及第二分类模块，
所述第二获取模块，用于获取目标脸部的三维图像,所述三维图像包括所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息；
所述第二输入模块，用于将所述目标脸部的第三深度信息输入第二神经网络且将所述目标脸部的第五色彩信息输入第三神经网络；
所述第二神经网络，用于根据所述目标脸部的第三深度信息以及第二参数对所述目标脸部的表情进行分类并输出第一分类数据，并且，所述第三神经网络用于根据所述目标脸部的第五色彩信息以及第三参数对所述目标脸部的表情进行分类并输出第二分类数据，所述第二参数包括至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第二参数数据，所述第三参数包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的第三参数数据；
所述第二分类模块，用于根据所述第一分类数据和第二分类数据输出对所述目标脸部的表情的分类结果。
18.根据权利要求17所述的装置，其特征在于，所述第二分类模块包括支持向量机，
所述支持向量机，用于输入所述第一分类数据与所述第二分类数据，并根据所述第一分类数据、第二分类数据以及支持向量机参数数据输出所述目标脸部的表情的分类结果，所述支持向量机包括所述至少一个脸部表情类别以及用于识别所述目标脸部的表情类别的支持向量机参数数据。
19.根据权利要求17所述的装置，其特征在于，所述装置还包括第三处理模块，
所述第三处理模块，用于对所述目标脸部的第三深度信息进行第三处理，将进行第三处理后的目标脸部的第三深度信息输入所述第二输入模块；
所述第三处理模块包括第三旋转子模块，第三变换子模块，第三对齐子模块，第三灰度拉伸子模块，以及第三归一化处理子模块中的至少一个；
所述第三旋转子模块，用于确定所述目标脸部的第三深度信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息进行旋转；
所述第三变换子模块，用于对所述目标脸部的第三深度信息进行镜像处理、线性变换以及仿射变换；
所述第三对齐子模块，用于将所述目标脸部的第三深度信息的特征点对齐设定的位置；
所述第三灰度拉伸子模块，用于对所述目标脸部的第三深度信息进行图像的灰度拉伸；
所述第三归一化处理子模块，用于将所述目标脸部的第三深度信息进行图像像素值归一化处理；
或，
所述第三处理模块，还用于对所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息进行相同的第三处理，将第三处理后的所述目标脸部的第三深度信息以及所述目标脸部的第五色彩信息输入所述第二输入模块；
所述第三旋转子模块，还用于确定所述目标脸部的第三深度信息的特征点和所述目标脸部的第五色彩信息的特征点，以所述特征点为基准对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行旋转；
所述第三变换子模块，还用于对所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息进行镜像处理、线性变换以及仿射变换；
所述第三对齐子模块，还用于将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的特征点对齐设定的位置；
所述第三灰度拉伸子模块，还用于对所述目标脸部的第三深度信息或目标脸部的第五色彩信息进行图像的灰度拉伸；以及，
所述第三归一化处理子模块，还用于将所述目标脸部的第三深度信息和目标脸部的第五色彩信息进行图像像素值归一化处理。
20.根据权利要求19所述的装置，其特征在于，
所述第三归一化处理子模块，具体用于将所述目标脸部的第三深度信息的像素值由[0,255]归一化到[0,1]；
或，
所述第三归一化处理子模块，具体用于将所述目标脸部的第三深度信息和所述目标脸部的第五色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
21.根据权利要求19所述的装置，其特征在于，
所述第二参数数据由多个脸部表情样本的第四深度信息通过所述第二神经网络训练得到；
所述第三参数数据由所述多个脸部表情样本的第六色彩信息通过所述第三神经网络训练得到。
22.根据权利要求21所述的装置，其特征在于，所述装置包括第四处理模块，
所述第四处理模块，用于对所述脸部表情样本的第四深度信息进行第四处理，将进行所述第四处理后的所述脸部表情样本的第四深度信息输入所述第二输入模块；
所述第四处理模块包括第四旋转子模块，第四变换子模块，第四对齐子模块，第四灰度拉伸子模块，以及第四归一化处理子模块中的至少一个；
所述第四旋转子模块，用于确定所述脸部表情样本的第四深度信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息进行旋转；
所述第四变换子模块，用于对所述脸部表情样本的第四深度信息进行镜像处理、线性变换以及仿射变换；
所述第四对齐子模块，用于将所述脸部表情样本的第四深度信息的特征点对齐设定的位置；
所述第四灰度拉伸子模块，用于对所述脸部表情样本的第四深度信息进行图像的灰度拉伸；以及，
所述第四归一化处理子模块，用于将所述脸部表情样本的第四深度信息进行图像像素值归一化处理；
或，
所述第四处理模块，还用于对所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息进行第四处理，将进行所述第四处理后的所述脸部表情样本的第四深度信息以及所述脸部表情样本的第六色彩信息输入所述第二输入模块；
所述第四旋转子模块，还用于确定所述脸部表情样本的第四深度信息的特征点和所述脸部表情样本的第六色彩信息的特征点，以所述特征点为基准对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行旋转；
所述第四变换子模块，还用于对所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行镜像处理、线性变换以及仿射变换；
所述第四对齐子模块，还用于将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的特征点对齐设定的位置；
所述第四灰度拉伸子模块，还用于对所述脸部表情样本的第四深度信息或所述脸部表情样本的第六色彩信息进行图像的灰度拉伸；以及，
所述第四归一化处理子模块，还用于将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息进行图像像素值归一化处理。
23.根据权利要求22所述的装置，其特征在于，
所述第四归一化处理子模块，具体用于将所述脸部表情样本的第四深度信息的像素值由[0,255]归一化到[0,1]；
或，
所述第四归一化处理子模块，具体用于将所述脸部表情样本的第四深度信息和所述脸部表情样本的第六色彩信息的各个通道的像素值由[0,255]归一化到[0,1]。
24.根据权利要求21-23任一权利要求所述的装置，其特征在于，
所述用于识别所述目标脸部的表情类别的支持向量机参数数据由所述第二神经网络训练多个脸部表情样本的第四深度信息时的输出数据以及所述第三神经网络训练所述多个脸部表情样本的第六色彩信息时的输出数据通过所述支持向量机训练得到。
25.根据权利要求21-23任一权利要求所述的装置，其特征在于，
所述脸部表情样本带有下述脸部表情类别中的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视；
所述脸部表情样本、所述脸部表情样本的第四深度信息、以及所述脸部表情样本的第六色彩信息带有同样的所述脸部表情类别。
26.根据权利要求17-23任一权利要求所述的装置，其特征在于，
所述第二神经网络包括的脸部表情类别以及所述第三神经网络包括的脸部表情类别包括下述的至少一个：恐惧，悲伤，高兴，生气，厌恶，吃惊，自然，以及轻视。
27.根据权利要求19-23任一权利要求所述的装置，其特征在于，
所述特征点为眼睛点。
28.根据权利要求17-23任一权利要求所述的装置，其特征在于，
所述第二神经网络包括第二卷积神经网络，所述第三神经网络包括第三卷积神经网络。
29.根据权利要求28所述的装置，其特征在于，
所述第二卷积神经网络包括：3个卷积层，3个降采样层，1个降层和2个全连接层；
所述第三卷积神经网络包括：4个卷积层，4个降采样层，1个降层和2个全连接层。
30.根据权利要求17-23任一权利要求所述的装置，其特征在于，
所述第五色彩信息为RGB格式或YUV格式的图像。
31.根据权利要求21-23任一权利要求所述的装置，其特征在于，
所述第六色彩信息为RGB格式或YUV格式的图像。
CN202110208637.XA 2017-07-25 2017-07-25 一种用于表情识别的方法和装置 Pending CN112861760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110208637.XA CN112861760A (zh) 2017-07-25 2017-07-25 一种用于表情识别的方法和装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110208637.XA CN112861760A (zh) 2017-07-25 2017-07-25 一种用于表情识别的方法和装置
CN201710614130.8A CN109299639B (zh) 2017-07-25 2017-07-25 一种用于表情识别的方法和装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710614130.8A Division CN109299639B (zh) 2017-07-25 2017-07-25 一种用于表情识别的方法和装置

Publications (1)

Publication Number Publication Date
CN112861760A true CN112861760A (zh) 2021-05-28

Family

ID=65137947

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110208637.XA Pending CN112861760A (zh) 2017-07-25 2017-07-25 一种用于表情识别的方法和装置
CN201710614130.8A Active CN109299639B (zh) 2017-07-25 2017-07-25 一种用于表情识别的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710614130.8A Active CN109299639B (zh) 2017-07-25 2017-07-25 一种用于表情识别的方法和装置

Country Status (2)

Country Link
US (1) US11023715B2 (zh)
CN (2) CN112861760A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315745A (zh) * 2023-09-19 2023-12-29 中影年年(北京)文化传媒有限公司 基于机器学习的面部表情捕捉方法及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN107273872B (zh) * 2017-07-13 2020-05-05 北京大学深圳研究生院 用于图像或视频中行人重识别的深度判别网络模型方法
US10930010B2 (en) * 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
CN110008841B (zh) * 2019-03-08 2021-07-06 中国华戎科技集团有限公司 一种表情识别模型构建方法及系统
CN110069994B (zh) * 2019-03-18 2021-03-23 中国科学院自动化研究所 基于人脸多区域的人脸属性识别系统、方法
CN110059593B (zh) * 2019-04-01 2022-09-30 华侨大学 一种基于反馈卷积神经网络的面部表情识别方法
US11417096B2 (en) * 2019-05-21 2022-08-16 Vimeo.Com, Inc. Video format classification and metadata injection using machine learning
WO2021087425A1 (en) * 2019-10-31 2021-05-06 Bodygram, Inc. Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation
CN111768481A (zh) * 2020-05-19 2020-10-13 北京奇艺世纪科技有限公司 一种表情包生成方法及装置
CN111754622B (zh) * 2020-07-13 2023-10-13 腾讯科技（深圳）有限公司 脸部三维图像生成方法及相关设备
CN112580458B (zh) * 2020-12-10 2023-06-20 中国地质大学（武汉） 人脸表情识别方法、装置、设备及存储介质
CN113781541B (zh) * 2021-09-15 2024-03-26 平安科技（深圳）有限公司 基于神经网络的三维图像处理方法、装置及电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135541A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai Face recognition method
CN102867321A (zh) * 2011-07-05 2013-01-09 艾迪讯科技股份有限公司 眼镜虚拟试戴互动服务系统与方法
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN105320954A (zh) * 2014-07-30 2016-02-10 北京三星通信技术研究有限公司 人脸认证装置和方法
CN105554389A (zh) * 2015-12-24 2016-05-04 小米科技有限责任公司 拍摄方法及装置
CN105740767A (zh) * 2016-01-22 2016-07-06 江苏大学 一种基于脸部特征的驾驶员路怒症实时识别和预警方法
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN106682575A (zh) * 2016-11-21 2017-05-17 广东工业大学 Elm算法的人眼点云特征定位
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101084298B1 (ko) * 2009-11-18 2011-11-16 원광대학교산학협력단 조명변화에 견고한 얼굴 표정 인식방법
CN104598878A (zh) * 2015-01-07 2015-05-06 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
US10496897B2 (en) * 2015-11-25 2019-12-03 Institute Of Automation Chinese Academy Of Sciences Method and apparatus for recognizing RGB-D objects based on adaptive similarity measure of dense matching item
CN105550687A (zh) * 2015-12-02 2016-05-04 西安电子科技大学 一种基于isa模型的rgb-d图像的多通道融合特征提取方法
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
CN105931178A (zh) * 2016-04-15 2016-09-07 乐视控股（北京）有限公司 一种图像处理方法及装置
US9959455B2 (en) * 2016-06-30 2018-05-01 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition using three dimensions
US20180158246A1 (en) * 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
CN106874830B (zh) * 2016-12-12 2019-09-24 杭州视氪科技有限公司 一种基于rgb-d相机和人脸识别的视障人士辅助方法
CN106778628A (zh) * 2016-12-21 2017-05-31 张维忠 一种基于tof深度相机的面部表情捕捉方法
CN106919903B (zh) * 2017-01-19 2019-12-17 中国科学院软件研究所 一种鲁棒的基于深度学习的连续情绪跟踪方法
US10417483B2 (en) * 2017-01-25 2019-09-17 Imam Abdulrahman Bin Faisal University Facial expression recognition
CN107368778A (zh) * 2017-06-02 2017-11-21 深圳奥比中光科技有限公司 人脸表情的捕捉方法、装置及存储装置
US20200082160A1 (en) * 2018-09-12 2020-03-12 Kneron (Taiwan) Co., Ltd. Face recognition module with artificial intelligence models

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100135541A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai Face recognition method
CN102867321A (zh) * 2011-07-05 2013-01-09 艾迪讯科技股份有限公司 眼镜虚拟试戴互动服务系统与方法
CN105320954A (zh) * 2014-07-30 2016-02-10 北京三星通信技术研究有限公司 人脸认证装置和方法
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN105554389A (zh) * 2015-12-24 2016-05-04 小米科技有限责任公司 拍摄方法及装置
CN105740767A (zh) * 2016-01-22 2016-07-06 江苏大学 一种基于脸部特征的驾驶员路怒症实时识别和预警方法
CN106682575A (zh) * 2016-11-21 2017-05-17 广东工业大学 Elm算法的人眼点云特征定位
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106909905A (zh) * 2017-03-02 2017-06-30 中科视拓（北京）科技有限公司 一种基于深度学习的多模态人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STEFANO PIANA 等: "Adaptive Body Gesture Representation for Automatic Emotion Recognition", 《ACM》 *
傅泽华 等: "二维及三维多模人脸数据库构建", 《数据采集与处理》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315745A (zh) * 2023-09-19 2023-12-29 中影年年(北京)文化传媒有限公司 基于机器学习的面部表情捕捉方法及系统
CN117315745B (zh) * 2023-09-19 2024-05-28 中影年年(北京)科技有限公司 基于机器学习的面部表情捕捉方法及系统

Also Published As

Publication number Publication date
CN109299639B (zh) 2021-03-16
CN109299639A (zh) 2019-02-01
US20190294866A9 (en) 2019-09-26
US11023715B2 (en) 2021-06-01
US20190034709A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
CN109299639B (zh) 一种用于表情识别的方法和装置
CN108090511B (zh) 图像分类方法、装置、电子设备及可读存储介质
US11455831B2 (en) Method and apparatus for face classification
Shanta et al. Bangla sign language detection using sift and cnn
CN111860046B (zh) 一种改进MobileNet模型的人脸表情识别方法
CN106909884B (zh) 一种基于分层结构和可变形部分模型的手部区域检测方法和装置
Tiku et al. Real-time conversion of sign language to text and speech
CN112348778B (zh) 一种物体识别方法、装置、终端设备及存储介质
KR20220106842A (ko) 표정 인식 방법 및 장치, 기기, 컴퓨터 판독 가능한 저장 매체, 컴퓨터 프로그램 제품
CN109800659B (zh) 一种动作识别方法及装置
CN112651380A (zh) 人脸识别方法、人脸识别装置、终端设备及存储介质
Costa et al. A fully automatic method for recognizing hand configurations of Brazilian sign language
CN110610131B (zh) 人脸运动单元的检测方法、装置、电子设备及存储介质
CN111160194B (zh) 一种基于多特征融合的静态手势图像识别方法
CN115761834A (zh) 人脸识别的多任务混合模型和人脸识别方法
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
Shreya et al. Optical character recognition using convolutional neural network
Yeh et al. Intelligent mango fruit grade classification using alexnet-spp with mask r-cnn-based segmentation algorithm
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN107368847B (zh) 一种作物叶部病害识别方法及系统
Mareta et al. Herbal leaf classification using images in natural background
Bae et al. Character recognition system for cellular phone with camera
CN110610177A (zh) 字符识别模型的训练方法、字符识别方法及装置
CN113837236B (zh) 图像中目标对象的识别方法、装置、终端设备及存储介质
Valiente et al. A process for text recognition of generic identification documents over cloud computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination