CN110765809A - 一种面部表情分类方法、装置和情感智能机器人 - Google Patents

一种面部表情分类方法、装置和情感智能机器人 Download PDF

Info

Publication number
CN110765809A
CN110765809A CN201810829815.9A CN201810829815A CN110765809A CN 110765809 A CN110765809 A CN 110765809A CN 201810829815 A CN201810829815 A CN 201810829815A CN 110765809 A CN110765809 A CN 110765809A
Authority
CN
China
Prior art keywords
facial expression
classifiers
image
sample
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810829815.9A
Other languages
English (en)
Inventor
王韬
陈颖婕
吴涵
王亦洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201810829815.9A priority Critical patent/CN110765809A/zh
Publication of CN110765809A publication Critical patent/CN110765809A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种面部表情分类方法、装置和情感智能机器人，该方法和装置应用于情感智能机器人，具体用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；利用样本矩阵训练多个分类器；对多个分类器进行融合，得到每个分类器的决策权重；在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。与其他专注于预处理和特征提取的方案不同，本申请的技术方案不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。

Description

一种面部表情分类方法、装置和情感智能机器人
技术领域
本发明涉及人工智能技术领域，特别是涉及一种面部表情分类方法、装置和情感智能机器人。
背景技术
近年来，越来越多的研究人员致力于使机器人检测和识别人类情感的能力，并利用这些信息来指导机器人自身的行为，本申请将具有这些能力的机器人称为情感智能机器人。由于面部表情在人类表达情感时起着最为重要的作用，如何使情感智能机器人以准确、实时的方式识别面部表情已成为一项巨大的挑战。
在大多数情况下，在识别准确性和实时性能之间存在折衷。在预测面部表情之前，采用大量图像处理方法或过于复杂的特征提取方法，这样可以大大提高识别精度，但可能导致沉重的计算负担并影响实时性能。对实时性能的提出较高的要求可能需要适当降低对识别准确率的要求，反之亦然。因此，面部表情识别任务的挑战在于在这两个评估指标之间取得平衡。
大部分的相关工作都在研究将面部表情分入几种典型的面部表情类中。面部表情类别的选择是基于Ekman等人提出的基本情绪理论，其中定义了六种基本情绪：快乐、愤怒、悲伤、厌恶、恐惧和惊讶，这六种情绪相应对应于不同的面部表情。
作为一个模式识别任务，有很多分类方法可供选择，用于对面部表情进行分类。最常用的是基于机器学习的方法，传统的分类方法有：线性判别分析(LDA)，决策树(DT)，支持向量机(SVM)等。然而，就他们使用的特征提取方法而言，面部表情图像的处理需要很长时间，这会影响其方法的实时性能，而对于需要实时反馈的情感智能机器人来说，实时性较差会是一个较为严重的问题。
发明内容
有鉴于此，本发明提供了一种面部表情分类方法、装置和情感智能机器人，以解决现有分类方法实时性较差的问题。
为了解决上述问题，本发明公开了一种面部表情分类方法，应用于情感智能机器人，所述面部表情分类方法包括步骤：
对面部表情图像分别进行预处理，得到包括多个样本图像的样本矩阵；
利用所述样本矩阵训练多个分类器；
对所述多个分类器进行融合，得到每个所述分类器的决策权重；
在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。
可选的，所述对面部表情图像分别进行预处理，包括步骤：
利用面部检测技术，从所述面部面部表情图像中选出正面人脸区域；
将所述正面人脸区域的处理为预设分辨率的所述样本图像，所述样本图像中包括三个通道。
可选的，所述对面部表情图像分别进行预处理，还包括步骤：
将所述样本矩阵中的每个所述样本图像进行归一化处理，经过处理的所述样本矩阵包括零均值和单位方差。
可选的，所述多个分类器包括线性判别分析模型、逻辑回归模型、决策树模型和支持向量机模型中的部分或全部。
相应的，还提供了一种面部表情分类装置，应用于情感智能机器人，所述面部表情分类装置包括：
图像预处理模块，用于对面部表情图像分别进行预处理，得到包括多个样本图像的样本矩阵；
分类器训练模块，用于利用所述样本矩阵训练多个分类器；
分类器融合模块，用于对所述多个分类器进行融合，得到每个所述分类器的决策权重；
识别执行模块，用于在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。
可选的，所述图像预处理模块包括：
人脸区域选出单元，用于利用面部检测技术，从所述面部面部表情图像中选出正面人脸区域；
分辨率处理单元，用于将所述正面人脸区域的处理为预设分辨率的所述样本图像，所述样本图像中包括三个通道。
可选的，所述图像预处理模块还包括：
归一化处理单元，用于将所述样本矩阵中的每个所述样本图像进行归一化处理，经过处理的所述样本矩阵包括零均值和单位方差。
可选的，所述多个分类器包括线性判别分析模型、逻辑回归模型、决策树模型和支持向量机模型中的部分或全部。
一种情感智能机器人，设置有如上所述的面部表情分类装置。
一种情感智能机器人，包括至少一个处理器和与所述处理器相连接的存储器，所述存储器用于存储计算机程序或指令，所述处理器用于执行所述计算机程序或指令，以使所述情感智能机器人执行如下操作：
对面部表情图像分别进行预处理，得到包括多个样本图像的样本矩阵；
利用所述样本矩阵训练多个分类器；
对所述多个分类器进行融合，得到每个所述分类器的决策权重；
在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。
从上述技术方案可以看出，本发明公开了一种面部表情分类方法、装置和情感智能机器人，该方法和装置应用于情感智能机器人，具体用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；利用样本矩阵训练多个分类器；对多个分类器进行融合，得到每个分类器的决策权重；在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。与其他专注于预处理和特征提取的方案不同，本申请的技术方案不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。
另外，通过多分类器融合实现了比其他方案更高的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种面部表情分类方法实施例的步骤流程图；
图2为本发明实施例提供的一种面部表情分类装置实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1为本发明实施例提供的一种面部表情分类方法的步骤流程图。
参照图1所示，本实施例提供的面部表情分类方法应用于情感智能机器人，用于使情感智能机器人能够根据识别结果做出相应回应，该面部表情分类方法包括如下步骤：
S1、对面部表情图像进行预处理。
这里的预处理是为了将面部表情图像进行格式化的统一以减少数据量，从而得到包括多个样本图像的样本矩阵。当然这里所需要的是多个面部表情图像，这需要提取进行收集整理。在得到大量的面部表情图像后对其一一进行预处理，从而得到该样本矩阵，具体的预处理的方法如下所述：
首先，利用面部检测技术在所有面部表情图像上进行区域选择，从而使原始图像中包含一个正面人脸区域被选择出来，等待进一步处理。
然后，为了便于之后的比较，将包含正面人脸图像的样本图像预处理成224×224的大小的分辨率，其中包含3个通道，并将所有样本图像组成样本矩阵。
另外，还可以在将所有图像处理成向量并组成样本矩阵后，将样本矩阵中每个样本图像归一化为零均值和单位方差。
还有，为了提高实验的准确性，样本的顺序都会被随机化处理。
S2、利用样本矩阵训练多个分类器。
在得到上述包含多个样本图像的样本矩阵后，利用该样本矩阵进行模型训练，分别训练使用不同机器学习模型的分类器。本实施例中的分类器分别为线性判别分析LDA模型、逻辑回归LR模型、决策树DT模型和支持向量机SVM模型中的部分或全部。
预处理后的数据集中的图像被展平为样本矩阵，其尺寸为m×n(m是图像的数量，n是特征的维度)。对于前两个模型，样本矩阵在标准化之后直接作为模型的输入。对于其他两个模型，在进入模型之前，样本矩阵需通过LDA降维。在10折交叉验证之后，根据测试集获得每个面部表情的识别准确率，并且计算预测一帧图像的时间。
LDA是最常用的特征提取线性投影技术之一。LDA是一种用于监督学习的降维技术，它可以根据最大化类间差异并同时最小化类内差异的原则将样本矩阵映射到具有较低维度的特征空间。
LR是一种传统的机器学习模型，它将特征向量x与回归系数θ相乘，将结果加上偏差b，并将其置于sigmoid函数中以获得0～1之间的值：
Figure BDA0001743276360000051
LR的代价函数定义如下：
Figure BDA0001743276360000052
DT的核心思想是在数据集中找到最佳特征，然后从所选特征的可能取值中找到最佳候选值。根据最佳候选值将数据集划分为一些子数据集，并递归地执行上述操作，直到满足指定的条件。它的优点在于DT给出的分类模型可以显示不同特征的重要性，具有可解释性
SVM经常用于FER任务，因为它能够将当前特征映射到更高维度的特征空间并使样本在该新空间中线性分离。SVM的目标是找到一个能够最大化正负样本之间边界的超平面。线性SVM的目标函数定义如下：
s.t.yi(wTxi+b)≥1-ξi i＝1，...，n
ξi≥0
S3、对多个分类器进行融合，得到相应决策权重。
即对上述所得的线性判别分析LDA模型、逻辑回归LR模型、决策树DT模型和支持向量机SVM模型进行融合处理，从而得到每个模型的决策权重。
该融合方法是加权投票法。根据每种模型对面部表情的识别准确率来计算相应模型的决策权重。首先，将所有权重进行如下的初始化：
wi，j＝max(1，floor(100×(ri，j-0.9))) (1)
第i个分类器对第j种面部表情的权重是wi，j，第i个分类器对第j种面部表情的识别精度是ri，j，然后根据以下算法对权重进行微调：
1、权重初始化：根据公式(1)初始化所有的权重。
2、随机选择一个样本图像：选择一个样本图像作为所有分类器的输入并获得预测结果。最终预测结果定义如下：
Figure BDA0001743276360000062
参数c表示面部表情类的个数，参数k表示参与融合的分类器的数量。
3、微调权重：如果结果不同于样本的真实类别标签，则根据公式对权重进行微调，如下所示：
Figure BDA0001743276360000063
Where flagi＝(predi，sample＝＝ground_truthsample)
4、返回步骤2，直到识别准确率收敛。
S4、在识别时，利用多个分类器对待预测对象进行识别处理。
这里的待预测对象是指情感智能机器人需要面对的用户或其他人员的面部图像，具体来说，是利用每个分类器对待预测对象依次进行识别，即将待预测对象的图像馈送到四个训练好的模型中，并且获得四个预测结果。并利用上述的公式(2)对四个预测结果进行处理，从而得到最终预测结果。
从上述技术方案可以看出，本实施例提供了一种面部表情分类方法，该方法应用于情感智能机器人，具体为对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；利用样本矩阵训练多个分类器；对多个分类器进行融合，得到每个分类器的决策权重；在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。与其他专注于预处理和特征提取的方案不同，本申请的技术方案不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。另外，通过多分类器融合实现了比其他方案更高的精度。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例二
图2为本发明实施例提供的一种面部表情分类装置的结构框图。
参照图2所示，本实施例提供的面部表情分类装置应用于情感智能机器人，用于使情感智能机器人能够根据识别结果做出相应回应，该面部表情分类装置包括图像预处理模块10、分类器训练模块20、分类器融合模块30和识别执行模块40。图像预处理模块用于对面部表情图像进行预处理。
这里的预处理是为了将面部表情图像进行格式化的统一以减少数据量，从而得到包括多个样本图像的样本矩阵。当然这里所需要的是多个面部表情图像，这需要提取进行收集整理。在得到大量的面部表情图像后对其一一进行预处理，从而得到该样本矩阵，该模块具体包括人脸区域选出单元和分辨率处理单元。
人脸区域选出单元用于利用面部检测技术在所有面部表情图像上进行区域选择，从而使原始图像中包含一个正面人脸区域被选择出来，等待进一步处理。
分辨率处理单元用于为了便于之后的比较，将包含正面人脸图像的样本图像预处理成224×224的大小的分辨率，其中包含3个通道，并将所有样本图像组成样本矩阵。
另外，该模块还包括归一化处理单元，该单元用于在将所有图像处理成向量并组成样本矩阵后，将样本矩阵中每个样本图像归一化为零均值和单位方差。
还有，为了提高实验的准确性，样本的顺序都会被随机化处理。
分类器训练模块用于利用样本矩阵训练多个分类器。
在得到上述包含多个样本图像的样本矩阵后，利用该样本矩阵进行模型训练，分别训练使用不同机器学习模型的分类器。本实施例中的分类器分别为线性判别分析LDA模型、逻辑回归LR模型、决策树DT模型和支持向量机SVM模型中的部分或全部。
预处理后的数据集中的图像被展平为样本矩阵，其尺寸为m×n(m是图像的数量，n是特征的维度)。对于前两个模型，样本矩阵在标准化之后直接作为模型的输入。对于其他两个模型，在进入模型之前，样本矩阵需通过LDA降维。在10折交叉验证之后，根据测试集获得每个面部表情的识别准确率，并且计算预测一帧图像的时间。
LDA是最常用的特征提取线性投影技术之一。LDA是一种用于监督学习的降维技术，它可以根据最大化类间差异并同时最小化类内差异的原则将样本矩阵映射到具有较低维度的特征空间。
LR是一种传统的机器学习模型，它将特征向量x与回归系数θ相乘，将结果加上偏差b，并将其置于sigmoid函数中以获得0～1之间的值：
Figure BDA0001743276360000091
LR的代价函数定义如下：
Figure BDA0001743276360000092
DT的核心思想是在数据集中找到最佳特征，然后从所选特征的可能取值中找到最佳候选值。根据最佳候选值将数据集划分为一些子数据集，并递归地执行上述操作，直到满足指定的条件。它的优点在于DT给出的分类模型可以显示不同特征的重要性，具有可解释性
SVM经常用于FER任务，因为它能够将当前特征映射到更高维度的特征空间并使样本在该新空间中线性分离。SVM的目标是找到一个能够最大化正负样本之间边界的超平面。线性SVM的目标函数定义如下：
s.t.yi(wTxi+b)≥1-ξi i＝1，...，n
ξi≥0
分类器融合模块用于对多个分类器进行融合，得到相应决策权重。
即对上述所得的线性判别分析LDA模型、逻辑回归LR模型、决策树DT模型和支持向量机SVM模型进行融合处理，从而得到每个模型的决策权重。
该融合方法是加权投票法。根据每种模型对面部表情的识别准确率来计算相应模型的决策权重。首先，将所有权重进行如下的初始化：
wi,j＝max(1,floor(100×(ri,j-0.9))) (1)
第i个分类器对第j种面部表情的权重是wi,j，第i个分类器对第j种面部表情的识别精度是ri,j，然后根据以下算法对权重进行微调：
1、权重初始化：根据公式(1)初始化所有的权重。
2、随机选择一个样本图像：选择一个样本图像作为所有分类器的输入并获得预测结果。最终预测结果定义如下：
Figure BDA0001743276360000101
参数c表示面部表情类的个数，参数k表示参与融合的分类器的数量。
3、微调权重：如果结果不同于样本的真实类别标签，则根据公式对权重进行微调，如下所示：
Where flagi＝(predi，sample＝＝ground_truthsample)
4、返回步骤2，直到识别准确率收敛。
识别执行模块在根据需要对待预测对象进行识别时，利用多个分类器对待预测对象进行识别处理。
这里的待预测对象是指情感智能机器人需要面对的用户或其他人员的面部图像，具体来说，是利用每个分类器对待预测对象依次进行识别，即将待预测对象的图像馈送到四个训练好的模型中，并且获得四个预测结果。并利用上述的公式(2)对四个预测结果进行处理，从而得到最终预测结果。
从上述技术方案可以看出，本实施例提供了一种面部表情分类装置，该装置应用于情感智能机器人，具体用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；利用样本矩阵训练多个分类器；对多个分类器进行融合，得到每个分类器的决策权重；在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。与其他专注于预处理和特征提取的方案不同，本申请的技术方案不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。另外，通过多分类器融合实现了比其他方案更高的精度。
实施例三
本实施例提供了一种情感智能机器人，该情感智能机器人设置有上一实施例输所提供的面部表情分类装置。该装置具体用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；利用样本矩阵训练多个分类器；对多个分类器进行融合，得到每个分类器的决策权重；在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。与其他专注于预处理和特征提取的方案不同，本申请的技术方案几乎不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。另外，通过多分类器融合实现了比其他方案更高的精度。
实施例四
本实施例提供了一种情感智能机器人，该机器人设置有至少一个处理器和相应的存储器，处理器和存储器通过数据总线相连接。存储器存储有预先开发的计算机程序或指令，处理器则用于执行该计算机程序或指令，从而使情感智能机器人能够执行如下操作：
对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；
利用所述样本矩阵训练多个分类器；
对多个分类器进行融合，得到每个分类器的决策权重；
在进行面部表情识别时，利用多个分类器对待预测对象依次进行处理，并利用决策权重对所有处理结果进行融合，得到预测结果。
与其他专注于预处理和特征提取的情感智能机器人不同，本申请的技术方案几乎不需要对输入的单帧面部表情图像进行复杂预处理，这大大减轻了图像处理的负担并提高了实时性能。另外，通过多分类器融合实现了比其他方案更高的精度。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种面部表情分类方法，应用于情感智能机器人，其特征在于，所述面部表情分类方法包括步骤：
对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；
利用所述样本矩阵训练多个分类器；
对所述多个分类器进行融合，得到每个所述分类器的决策权重；
在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。
2.如权利要求1所述的面部表情分类方法，其特征在于，所述对面部表情图像进行预处理，包括步骤：
利用面部检测技术，从所述面部面部表情图像中选出正面人脸区域；
将所述正面人脸区域的处理为预设分辨率的所述样本图像，所述样本图像中包括三个通道。
3.如权利要求2所述的面部表情分类方法，其特征在于，所述对面部表情图像分别进行预处理，还包括步骤：
将所述样本矩阵中的每个所述样本图像进行归一化处理，经过处理的所述样本矩阵包括零均值和单位方差。
4.如权利要求1所述的面部表情分类方法，其特征在于，所述多个分类器包括线性判别分析模型、逻辑回归模型、决策树模型和支持向量机模型中的部分或全部。
5.一种面部表情分类装置，应用于情感智能机器人，其特征在于，所述面部表情分类装置包括：
图像预处理模块，用于对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；
分类器训练模块，用于利用所述样本矩阵训练多个分类器；
分类器融合模块，用于对所述多个分类器进行融合，得到每个所述分类器的决策权重；
识别执行模块，用于在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。
6.如权利要求5所述的面部表情分类装置，其特征在于，所述图像预处理模块包括：
人脸区域选出单元，用于利用面部检测技术，从所述面部面部表情图像中选出正面人脸区域；
分辨率处理单元，用于将所述正面人脸区域的处理为预设分辨率的所述样本图像，所述样本图像中包括三个通道。
7.如权利要求6所述的面部表情分类装置，其特征在于，所述图像预处理模块还包括：
归一化处理单元，用于将所述样本矩阵中的每个所述样本图像进行归一化处理，经过处理的所述样本矩阵包括零均值和单位方差。
8.如权利要求5所述的面部表情分类装置，其特征在于，所述多个分类器包括线性判别分析模型、逻辑回归模型、决策树模型和支持向量机模型中的部分或全部。
9.一种情感智能机器人，其特征在于，设置有如权利要求5～8任一项所述的面部表情分类装置。
10.一种情感智能机器人，其特征在于，包括至少一个处理器和与所述处理器相连接的存储器，所述存储器用于存储计算机程序或指令，所述处理器用于执行所述计算机程序或指令，以使所述情感智能机器人执行如下操作：
对面部表情图像进行预处理，得到包括多个样本图像的样本矩阵；
利用所述样本矩阵训练多个分类器；
对所述多个分类器进行融合，得到每个所述分类器的决策权重；
在进行面部表情识别时，利用所述多个分类器对待预测对象依次进行处理，并利用所述决策权重对所有处理结果进行融合，得到预测结果。
CN201810829815.9A 2018-07-25 2018-07-25 一种面部表情分类方法、装置和情感智能机器人 Pending CN110765809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810829815.9A CN110765809A (zh) 2018-07-25 2018-07-25 一种面部表情分类方法、装置和情感智能机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810829815.9A CN110765809A (zh) 2018-07-25 2018-07-25 一种面部表情分类方法、装置和情感智能机器人

Publications (1)

Publication Number Publication Date
CN110765809A true CN110765809A (zh) 2020-02-07

Family

ID=69327341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810829815.9A Pending CN110765809A (zh) 2018-07-25 2018-07-25 一种面部表情分类方法、装置和情感智能机器人

Country Status (1)

Country Link
CN (1) CN110765809A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822206A (zh) * 2021-09-26 2021-12-21 工银科技有限公司 投票结果处理方法、装置、电子设备、介质和程序产品
CN116077071A (zh) * 2023-02-10 2023-05-09 湖北工业大学 一种智能康复按摩方法、机器人及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008399A (zh) * 2014-06-12 2014-08-27 哈尔滨工业大学 一种仪表检测中基于支持向量机的仪表指针抖动的识别方法
CN107506722A (zh) * 2017-08-18 2017-12-22 中国地质大学（武汉） 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107895160A (zh) * 2017-12-21 2018-04-10 曙光信息产业(北京)有限公司 人脸检测与识别装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008399A (zh) * 2014-06-12 2014-08-27 哈尔滨工业大学 一种仪表检测中基于支持向量机的仪表指针抖动的识别方法
CN107506722A (zh) * 2017-08-18 2017-12-22 中国地质大学（武汉） 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107895160A (zh) * 2017-12-21 2018-04-10 曙光信息产业(北京)有限公司 人脸检测与识别装置及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ALI MOLLAHOSSEINI ET AL: ""Going Deeper in Facial Expression Recognition using Deep Neural Networks"", 《APPLICATIONS OF COMPUTER VISION IEEE WINTER CONFERENCE》 *
HEECHUL JUNG ET AL: ""Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition"", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
LI-FEN CHEN ET AL: ""A new LDA-based face recognition system which can solve the small sample size problem"", 《 PATTERN RECOGNITION 33》 *
李夕海等: "《核爆炸侦查技术及应用》", 31 May 2016 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822206A (zh) * 2021-09-26 2021-12-21 工银科技有限公司 投票结果处理方法、装置、电子设备、介质和程序产品
CN116077071A (zh) * 2023-02-10 2023-05-09 湖北工业大学 一种智能康复按摩方法、机器人及存储介质
CN116077071B (zh) * 2023-02-10 2023-11-17 湖北工业大学 一种智能康复按摩方法、机器人及存储介质

Similar Documents

Publication Publication Date Title
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
Zhu et al. Context-aware modeling and recognition of activities in video
Kumar et al. Facial emotion analysis using deep convolution neural network
Hamel et al. Temporal Pooling and Multiscale Learning for Automatic Annotation and Ranking of Music Audio.
CN109961093B (zh) 一种基于众智集成学习的图像分类方法
CN109086660A (zh) 多任务学习深度网络的训练方法、设备及存储介质
Kumaran et al. Recognition of human actions using CNN-GWO: a novel modeling of CNN for enhancement of classification performance
Kumar et al. Artificial Emotional Intelligence: Conventional and deep learning approach
SG171858A1 (en) A method for updating a 2 dimensional linear discriminant analysis (2dlda) classifier engine
CN109815938A (zh) 基于多类核典型相关分析的多模态情感特征识别方法
JP2006510079A (ja) 照度不変ニューラルネットワークを利用したコンピュータビジョンシステム及び方法
CN109101869A (zh) 多任务学习深度网络的测试方法、设备及存储介质
US20220207305A1 (en) Multi-object detection with single detection per object
Zhao et al. Cbph-net: A small object detector for behavior recognition in classroom scenarios
CN112100377A (zh) 文本分类方法、装置、计算机设备和存储介质
CN116110089A (zh) 一种基于深度自适应度量学习的面部表情识别方法
Rabaoui et al. Improved one-class SVM classifier for sounds classification
Wang et al. A novel multiface recognition method with short training time and lightweight based on ABASNet and H-softmax
US7454062B2 (en) Apparatus and method of pattern recognition
CN110765809A (zh) 一种面部表情分类方法、装置和情感智能机器人
Ali et al. Attendance System Optimization through Deep Learning Face Recognition
Pandit et al. Big data multimedia mining: feature extraction facing volume, velocity, and variety
Abdallah et al. Facial-expression recognition based on a low-dimensional temporal feature space
KR102272921B1 (ko) 확장형 카테고리를 위한 계층적 객체 검출 방법
Nasfi et al. A novel feature selection method using generalized inverted Dirichlet-based HMMs for image categorization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207