CN110991294A - 一种快速构建的人脸动作单元识别方法及系统 - Google Patents

一种快速构建的人脸动作单元识别方法及系统 Download PDF

Info

Publication number
CN110991294A
CN110991294A CN201911173059.XA CN201911173059A CN110991294A CN 110991294 A CN110991294 A CN 110991294A CN 201911173059 A CN201911173059 A CN 201911173059A CN 110991294 A CN110991294 A CN 110991294A
Authority
CN
China
Prior art keywords
expression
sample
distance
angle
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911173059.XA
Other languages
English (en)
Other versions
CN110991294B (zh
Inventor
李显生
马佳磊
任园园
郑雪莲
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201911173059.XA priority Critical patent/CN110991294B/zh
Publication of CN110991294A publication Critical patent/CN110991294A/zh
Application granted granted Critical
Publication of CN110991294B publication Critical patent/CN110991294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种快速构建的人脸动作单元识别方法及系统，根据样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离与它们之间的相对关系一生成相应两关键点之间的相对距离，根据基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度与它们之间的相对关系二生成相应三关键点之间的相对角度，依此取消个体间的AU运动幅度的差异，对由于人的相貌所导致的差异进行了均衡，保证在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的面部动作单元，确保后续AU识别准确进行，首次提出以脸部关键点间的距离及角度特征构建特征库，对样本库样本质量和数量要求较低，计算速度快，调参时间短。

Description

一种快速构建的人脸动作单元识别方法及系统
技术领域
本发明涉及计算机视觉处理技术领域，尤其涉及一种快速构建的人脸动作单元识别方法及系统。
背景技术
人脸情绪识别是人机交互与情感计算研究的重要组成部分，涉及认知科学、人类学、心理学、计算机科学等研究领域，对人机交互智能化和谐化极具意义。
由于Action Units(AU)是描述人脸肌肉运动的基本单元，不同的AU组合在一起形成了不同的人脸面部表情。故，目前，业内通过识别脸部图像中的AU运动单元判断面部表情的方法比较通用，然而，业内识别AU运动单元的现有方法，需要收集大量的AU样本，对样本库样本质量和数量要求较高，调参时间长，且准确率不高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种快速构建的人脸动作单元识别方法及系统。
根据本发明的一个方面，提供了一种快速构建的人脸动作单元识别方法，包括以下步骤：
将待识别脸部图像输入AU运动单元识别模型，用于识别待识别脸部图像的AU运动单元，其中，所述AU运动单元识别模型的构建过程包括：
基于样本库中预设时长内某一样本中性表情时的脸部图像生成中性帧，作为所述样本基准脸图像并依此作为所述样本脸部图像的参考度量向量；
分别采集所述样本基准脸图像的关键点和表情脸图像的关键点，获取所述样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离，及基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度，并根据所述基准距离、表情距离及所述基准距离、表情距离的相对关系一生成相应两关键点之间的相对距离，构建距离特征，根据所述基准角度、表情角度及所述基准角度、表情角度的相对关系二生成相应三关键点之间的相对角度，构建角度特征；重复执行本步骤直至生成样本库中所有样本所有AU表情时各自相应的距离特征数据及角度特征数据，进而分别生成相应AU表情的距离特征库、角度特征库；
利用主成分分析方法从所述相应AU表情的距离特征库、角度特征库中分别进行主成分特征选择，生成主成分特征集，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认；
基于AU运动单元强度变化的非线性特征配置径向基神经网络模型，基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定神经元动态添加的添加方式，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，并将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练，即得所述AU运动单元识别模型。
进一步的，基于样本库中预设时长内某一样本中性表情时的脸部图像生成所述样本中性表情中性帧，包括：
基于样本库中预设时长内某一样本中性表情时的脸部图像各中性帧确定各中性帧的中位数；根据中位数生成所述样本的中性帧。
进一步的，所述基准距离、表情距离的相对关系一包括：
所述基准距离、表情距离之间的差值关系；或，
所述基准距离、表情距离之间差值与所述表情距离之间的比例关系。
进一步的，所述基准角度、表情角度的相对关系二包括：
所述基准角度、表情角度之间的差值关系；或，
所述基准角度、表情角度之间差值与所述表情角度之间的比例关系。
进一步的，基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度基于关键点之间的距离与反三角函数关系生成。
进一步的，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认，包括：
所述主成分特征集的维数基于所述样本库中所有样本能够收敛的中性帧的最大方差的平均值进行确认。
进一步的，基于MSE确定神经元的个数包括：基于MSE凹凸性或斜率的变化速度确定神经元的个数。
进一步的，神经元个数的选择是基于动态步长添加的方式，所述方式包括：
从设置的初始值即一个神经元开始，逐步增加步长的方式，添加神经元，当MSE趋势为凹函数或者MSE曲线的二阶导大于0时，增加步长；否则减少步长，直至MSE达到最小值，即收敛，停止。
根据本发明的一个方面，提供了一种快速构建的人脸动作单元识别系统，用于执行上述任一所述的方法，包括：
识别单元，配置用于将待识别脸部图像输入AU运动单元识别模型，用于识别待识别脸部图像的AU运动单元；
AU运动单元识别模型构建单元，配置用于：
基于样本库中预设时长内某一样本中性表情时的脸部图像生成中性帧，作为所述样本基准脸图像并依此作为所述样本脸部图像的参考度量向量；
分别采集所述样本基准脸图像的关键点和表情脸图像的关键点，获取所述样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离，及基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度，并根据所述基准距离、表情距离及所述基准距离、表情距离的相对关系一生成相应两关键点之间的相对距离，构建距离特征，根据所述基准角度、表情角度及所述基准角度、表情角度的相对关系二生成相应三关键点之间的相对角度，构建角度特征；重复执行本步骤直至生成样本库中所有样本所有AU表情时各自相应的距离特征数据及角度特征数据，进而分别生成相应AU表情的距离特征库、角度特征库；
利用主成分分析方法从所述相应AU表情的距离特征库、角度特征库中分别进行主成分特征选择，生成主成分特征集，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认；
基于AU运动单元强度变化的非线性特征配置径向基神经网络模型，基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定神经元动态添加的添加方式，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，并将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练即得。
进一步的，AU运动单元识别模型构建单元配置在识别单元内；或AU运动单元识别模型构建单元、识别单元单独配置。
与现有技术相比，本发明具有以下有益效果：
1、本发明示例的面部动作单元AU识别方法，基于样本库中预设时长内某一样本中性表情时的脸部图像生成中性帧，作为所述样本基准脸图像并依此作为所述样本脸部图像的参考度量向量样本样本样本，根据所述样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离与它们之间的相对关系一生成相应两关键点之间的相对距离，根据基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度与它们之间的相对关系二生成相应三关键点之间的相对角度，样本依此取消个体间的AU运动幅度的差异，对由于人的相貌所导致的差异进行了均衡，保证在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的面部动作单元(AU)，确保后续AU识别准确进行，建构模型所需主成分特征是从相应AU表情的距离特征库、角度特征库中选取，首次提出以脸部关键点间的距离及角度特征构建特征库，对样本库样本质量和数量要求较低，计算速度快，调参时间短，操作简单，无需大量成本投入且能保证后续高效的准确度，并且对目标面部动作单元识别能力强，对存在互斥关系或递进关系AU也能清晰的界定，识别效果明显，避免了AU耦合的发生，且应用简单。为了防止过高的维度参与运算，会产生维度灾难，利用主成分分析方法从所述相应AU表情的距离特征库、角度特征库中分别进行主成分特征选择，生成主成分特征集，首次提出了基于所述样本库中所有样本中性帧的特征信息确定所述主成分特征集最小维数的选择原则，不但有效进行了降维处理，有效保证了识别速度，而且保证了所选主成分特征对AU运动单元识别的影响度；且本发明配置的径向基神经网络模型不是随意选择是基于AU运动单元强度变化的非线性特征而进行配置的，从根本上保证了模型对于AU运动单元识别特征的适应性及准确度，且由于最终AU运动单元识别模型的生成，是基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定神经元动态添加的添加方式，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，并将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练生成，从而确保了本发明模型快速的识别速度。
2、本发明示例的快速构建的人脸动作单元识别系统，组成简单，通过各个组成系统及单元之间相互配合，由于对人的相貌所导致的差异进行了均衡，保证本系统在被识别者天生的相貌特征的基础上，识别被识别者的各种表情中所呈现出的面部动作单元(AU)，确保了后续AU识别的准确进行，首次提出以脸部关键点间的距离及角度特征构建特征库，对样本库样本质量和数量要求较低，计算速度快，调参时间短，操作简单，无需大量成本投入且能保证后续高效的准确度，并且对目标面部动作单元识别能力强。本发明降维处理的进行不但有效保证了识别速度，而且保证了所选主成分特征对AU运动单元识别的影响度；本发明模型的构建不但基于AU运动单元强度变化的非线性特征而配置径向基神经网络模型，从根本上保证了模型对于AU运动单元识别特征的适应性及准确度，而且由于基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定了神经元动态添加的添加方式，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，通过将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练生成，从而确保了本发明模型识别速度的迅速性。
附图说明
图1为面部68个关键点示意图；
图2为面部90个关键点示意图；
图3为68个面部关键点之间距离示意图；
图4为68个面部关键点之间角度示意图；
图5为90个面部关键点之间距离示意图；
图6为90个面部关键点之间角度示意图；
图7为样本1的散点图；
图8为图7最大值收敛趋势图；
图9为图7平均值收敛趋势图；
图10为样本2的散点图；
图11为图10最大值收敛趋势图；
图12为图10平均值收敛趋势图；
图13为样本的Neutral收敛曲线图；
图14为全部样本收敛过程信息熵趋势图；
图15为AU01强度的大小和能够表征该AU01外眉上升的关键点之间的距离的关系图；
图16为AU26强度的大小和能够表征该AU26嘴巴张开的关键点之间的距离的关系图；
图17为FACS对AU强度的评分标准示意图；
图18为样本AU01强度与关键点间距离的关系图；
图19为样本AU02强度与关键点间距离的关系图；
图20为样本AU05强度与关键点间距离的关系图；
图21为样本AU12强度与关键点间距离的关系图；
图22为样本AU25强度与关键点间距离的关系图；
图23为AU01、02、04、05的MSE凹凸性或斜率示意图；
图24为AU06、07、09、12的MSE凹凸性或斜率示意图；
图25为AU15、16、17、23的MSE凹凸性或斜率示意图；
图26为AU24-27的MSE凹凸性或斜率示意图；
图27为本发明识别方法与BPNN和SVR的识别精度对比表示意图。
具体实施方式
为了更好的了解本发明的技术方案，下面结合具体实施例、说明书附图对本发明作进一步说明。
实施例一：
本实施例的快速构建的人脸动作单元识别方法，包括以下步骤：
将待识别脸部图像输入AU运动单元识别模型，用于识别待识别脸部图像的AU运动单元，其中，所述AU运动单元识别模型的构建过程包括：
S1、基于样本库中预设时长内如1S内某一样本样本中性表情时的脸部图像生成样本中性帧，具体基于样本库中预设时长内某一样本中性表情时的脸部图像各中性帧确定各中性帧的中位数；根据中位数生成所述样本的中性帧，作为所述样本基准脸图像并依此作为所述样本脸部图像的参考度量向量。
S2、分别采集所述样本基准脸图像的关键点和表情脸图像的关键点，获取所述样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离，及基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度，并根据所述基准距离、表情距离及所述基准距离、表情距离的相对关系一生成相应两关键点之间的相对距离，构建距离特征，根据所述基准角度、表情角度及所述基准角度、表情角度的相对关系二生成相应三关键点之间的相对角度，构建角度特征；重复执行本步骤直至生成样本库中所有样本所有AU表情时各自相应的距离特征数据及角度特征数据，进而分别生成相应AU表情的距离特征库、角度特征库。
进一步的，所述基准距离、表情距离的相对关系一包括：
所述基准距离、表情距离之间的差值关系，该差值关系具体为：
Figure BDA0002289239630000061
ΔDis＝Disi,j(Express)-Disi,j(Neutral)；或，
所述基准距离、表情距离之间差值与所述表情距离之间的比例关系，该比例关系具体为：
Figure BDA0002289239630000071
进一步的，所述基准角度、表情角度的相对关系二包括：
所述基准角度、表情角度之间的差值关系，其中，基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度基于关键点之间的距离与反三角函数关系生成，具体为：
Figure BDA0002289239630000072
该差值关系具体为：
Δ∠θ＝∠θi,j,k(Expression)-∠θi,j,k(Neutral)；或，
所述基准角度、表情角度之间差值与所述表情角度之间的比例关系，该比例关系为
Figure BDA0002289239630000073
S3、利用主成分分析方法从所述相应AU表情的距离特征库、角度特征库中分别进行主成分特征选择，生成主成分特征集，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认，具体包括：
基于所述样本库中所有样本能够收敛的中性帧的最大方差的平均值确认所述主成分特征集的维数。
S4、基于AU运动单元强度变化的非线性特征配置径向基神经网络模型，基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定神经元动态添加的添加方式，具体基于提高径向基神经网络的拟合速度，减少训练时间，以动态步长的方式添加网络神经元，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，并将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练，即得所述AU运动单元识别模型。
进一步的，基于MSE确定神经元的个数包括：
基于MSE凹凸性或斜率的变化速度确定神经元的个数。
进一步的，神经元个数的选择是基于动态步长添加的方式。
进一步的，神经元个数的选择是基于动态步长添加的方式包括：
从设置的初始值即一个神经元开始，逐步增加步长的方式，添加神经元，当MSE趋势为凹函数或者MSE曲线的二阶导大于0时，增加步长；
否则减少步长，直至MSE达到最小值，即收敛，停止。
上述AU运动单元的识别步骤具体为：
第一：输入系统获取68个或90个或其他数量的面部关键点，如图1、2所示。
第二：利用landmarks(关键点)之间的距离、角度分别构建样本库60个样本的初始特征库，如图3-6所示，其中，图3、4为68个面部关键点之间距离、角度的示意，图5、6为90个面部关键点之间距离、角度的示意。这是本发明的独有创新，现有技术中没有通过landmark(关键点)之间的距离、角度来进行特征库构建的先例，现有技术中一般采用图片的HOG特征，LBP特征，光流特征等进行特征库构建。本发明独有的特征库构建方式较现有方式，所需数据维度少且计算速度快。
第三，为取消个体间的AU运动幅度的差异，采用基于运动的面部特征(Themotion-based Facial Feature)。即取1秒内被试的中性状态(Neutral State)各中性帧的中位数(median)为基准脸，将其作为中性帧的参考度量向量，基准脸图像的关键点和表情脸图像的关键点利用下述三维欧式空间任意基于面部运动的计算公式形成面部关键点(Landmark)的距离特征(Displacements)或角度特征。重复执行本步骤直至生成样本库中所有样本所有AU表情时各自相应的距离特征数据及角度特征数据，进而分别生成相应AU表情的距离特征库、角度特征库。
所述三维欧式空间任意基于面部运动的计算公式所下所述：
距离：
Figure BDA0002289239630000081
DDis＝Disi,j(Express)-Disi,j(Neutral)。
Figure BDA0002289239630000082
角度：
Figure BDA0002289239630000083
Δ∠θ＝∠θi,j,k(Expression)-∠θi,j,k(Neutral)。
Figure BDA0002289239630000084
第四，特征降维，距离特征库、角度特征库中并不是所有的维度都是有用的，如果过高的维度参与运算，会产生维度灾难。因此，本发明提出了采用PCA的方法进行特征降维，由于PCA是无监督无类别的方法，且无参数限制，在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与用户是独立的，而且PCA的主要思想是特征映射，是从一个维度空间映射到另一个维度空间，同时要保留最大的方差，通过PCA进行降维，特征的多少并没有减少，即数据是无损的，故对于本发明高纬度的特征库，PCA降维效果最明显。
第五，低维空间的维数的确定。传统的方法是，从重构的角度设置一个信息保留比例(重构阈值)，例如t＝95％，然后选取使得下式成立的最小k值。
Figure BDA0002289239630000091
根据上述原则，所选出的维数表为表1。
表1：所选出的维数表
序号 维数 重构阈值 序号 维数 重构阈值
AU01 12 95％ AU02 12 95％
AU04 12 95％ AU05 12 95％
AU06 12 95％ AU07 12 95％
AU09 12 95％ AU12 12 95％
AU15 12 95％ AU16 12 95％
AU17 12 95％ AU23 12 95％
AU24 12 95％ AU25 12 95％
AU26 12 95％ AU27 12 95％
处于静止状态的被试，Neutral表情，不同帧之间的landmark也会有微小的波动，这种微小的波动即为噪声，可以用不同帧之间的landmark的任意两点的距离的方差来表征landmark本身的误差。方差的大小即代表噪声的大小。如图7所示为样本1的散点图，图8为图7最大值收敛趋势图，图9为图7平均值收敛趋势图，图10所示为样本2的散点图，图11为图10最大值收敛趋势图，图12为图10平均值收敛趋势图。
因此，降维后低维空间的维数k的确定可利用样本库所有样本的能够收敛的Neutral帧的最大方差的平均值作为阈值用以特征值的筛选。60个样本的全部收敛趋势图如图13所示。60个样本的收敛过程的信息熵趋势图如图14所示。信息熵越小，说明收敛越趋于稳定。因此，可采用收敛阶段的最大方差的平均值作为阈值用以特征值的筛选。
60个样本的收敛阶段最大方差的统计数据如表2所示。
表2：60个样本的收敛阶段最大方差的统计数据
中值 平均值 标准差 方差
0.6136 0.7696 0.4303 0.02
因此，阈值选0.7696约等于0.8。
用该阈值所得到的重构信息保留比例大于经验所给的95％，可取得更好的信息保留效果。使得信息的损失量达到最小。
当数据受到噪声影响时，最小的特征值所对应的的特征向量往往与噪声有关，将他们舍弃能在一定程度上起到去噪的效果，降维后的主成分特征用做于径向基神经网络的输入，如表3所示。
表3：降维后的主成分特征
Figure BDA0002289239630000101
第五，由利用CK+库连续帧图像序列的分析可知，AU强度的大小和能够表征该AU的landmark点之间的距离大小有关，如图15-16所示。
FACS对AU强度的评分标准为图17所示。
由AU数据库中基于FACS手工标记的标签也能表明此关系，如图18-22所示，举例说明了不同样本编号(Sample number)样本AU强度与关键点间距离的关系。
即：距离越大，强度越大。但并非是线性相关。
考虑到AU的强度变化模型应该是一种递增的方式，但未必是线性递增，AU强度的变化水平可由下述逻辑回归形式表征：
Figure BDA0002289239630000111
故本发明通过径向基神经网络模型进行这种非线性特性的数据进行建模。
径向基神经网络模型即RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。
而且RBF神经网络是一种具有单隐层的前馈网络，属于局部逼近网络，可以以任意精度逼近任何连续函数，该神经网络包括输入层、径向基函数隐含层和输出层三层。其中，隐含层径向基函数采用高斯函数：
Figure BDA0002289239630000112
隐节点的输出加权后进入输入层，输出层为隐含层的线性组合，即：
Figure BDA0002289239630000113
其中，X∈Rn为输入向量，
Figure BDA0002289239630000114
是高斯核函数，||·||是欧几里得范数，Ci∈Rn为第i个隐节点的场中心，σi∈R为第i个隐节点的场域宽度，nc是隐含层节点数，ωi为第i个隐节点的基函数与输出节点的连接权，ω0为调整输出的偏移量。
第六，本发明提出一种自适应动态RBF，创造性的根据MSE(是模型的预测结果和真实结果的均方根误差)凹凸性或斜率的变化速度(二阶导)来判断神经元的添加个数，如图23-26。
神经元动态添加的流程：神经元个数的选择是基于动态步长添加的方式，即从设置的初始值(一个神经元)开始，逐步增加步长的方式，添加神经元，当MSE趋势为凹函数或者MSE曲线的二阶导大于0时，增加步长；否则减少步长，直至MSE达到最小值，即收敛，停止。
图27为本发明识别方法与其他识别方法BPNN和SVR的识别精度比对表，其中，RBNN为本发明识别方法，BPNN和SVR代表其他识别方法，表中MSE越小代表识别精度越高，CORR越大，代表识别精度越高。
本实施例的快速构建的人脸动作单元识别系统，用于执行上述任一所述的方法，包括：
识别单元，配置用于将待识别脸部图像输入AU运动单元识别模型，用于识别待识别脸部图像的AU运动单元；
AU运动单元识别模型构建单元，配置用于：
基于样本库中预设时长内某一样本中性表情时的脸部图像生成中性帧，作为所述样本基准脸图像并依此作为所述样本脸部图像的参考度量向量；
分别采集所述样本基准脸图像的关键点和表情脸图像的关键点，获取所述样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离，及基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度，并根据所述基准距离、表情距离及所述基准距离、表情距离的相对关系一生成相应两关键点之间的相对距离，构建距离特征，根据所述基准角度、表情角度及所述基准角度、表情角度的相对关系二生成相应三关键点之间的相对角度，构建角度特征；重复执行本步骤直至生成样本库中所有样本所有AU表情时各自相应的距离特征数据及角度特征数据，进而分别生成相应AU表情的距离特征库、角度特征库；
利用主成分分析方法从所述相应AU表情的距离特征库、角度特征库中分别进行主成分特征选择，生成主成分特征集，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认；
基于AU运动单元强度变化的非线性特征配置径向基神经网络模型，基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定神经元动态添加的添加方式，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，并将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练即得样本样本样本样本样本样本样本。
进一步的，AU运动单元识别模型构建单元配置在识别单元内；或
AU运动单元识别模型构建单元、识别单元单独配置。
应当理解，上述快速构建的人脸动作单元识别系统记载的诸子系统或单元与上述快速构建的人脸动作单元识别方法描述的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于上述基于规则的快速构建的人脸动作单元识别系统的诸子系统及其中包含的单元，在此不再赘述。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能。

Claims (10)

1.一种快速构建的人脸动作单元识别方法，其特征是，包括以下步骤：
将待识别脸部图像输入AU运动单元识别模型，用于识别待识别脸部图像的AU运动单元，其中，所述AU运动单元识别模型的构建过程包括：
基于样本库中预设时长内某一样本样本中性表情时的脸部图像生成样本中性帧，作为所述样本基准脸图像并依此作为所述样本样本脸部图像的参考度量向量；样本分别采集所述样本基准脸图像的关键点和表情脸图像的关键点，获取所述样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离，及基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度，并根据所述基准距离、表情距离及所述基准距离、表情距离的相对关系一生成相应两关键点之间的相对距离，构建距离特征，根据所述基准角度、表情角度及所述基准角度、表情角度的相对关系二生成相应三关键点之间的相对角度，构建角度特征；样本样本重复执行本步骤直至生成样本库中所有样本样本所有AU表情时各自相应的距离特征数据及角度特征数据，进而分别生成相应AU表情的距离特征库、角度特征库；
利用主成分分析方法从所述相应AU表情的距离特征库、角度特征库中分别进行主成分特征选择，生成主成分特征集，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认；
基于AU运动单元强度变化的非线性特征配置径向基神经网络模型，基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定神经元动态添加的添加方式，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，并将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练，即得所述AU运动单元识别模型。
2.根据权利要求1所述的快速构建的人脸动作单元识别方法，其特征是，基于样本库中预设时长内某一样本中性表情时的脸部图像生成所述样本中性表情中性帧，包括：
基于样本库中预设时长内某一样本中性表情时的脸部图像各中性帧确定各中性帧的中位数；根据中位数生成所述样本的中性帧。
3.根据权利要求1所述的快速构建的人脸动作单元识别方法，其特征是，所述基准距离、表情距离的相对关系一包括：
所述基准距离、表情距离之间的差值关系；或，
所述基准距离、表情距离之间差值与所述表情距离之间的比例关系。
4.根据权利要求1所述的快速构建的人脸动作单元识别方法，其特征是，所述基准角度、表情角度的相对关系二包括：
所述基准角度、表情角度之间的差值关系；或，
所述基准角度、表情角度之间差值与所述表情角度之间的比例关系样本。
5.根据权利要求1所述的快速构建的人脸动作单元识别方法，其特征是，基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度基于关键点之间的距离与反三角函数关系生成。
6.根据权利要求1所述的快速构建的人脸动作单元识别方法，其特征是，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认，包括：
所述主成分特征集的维数基于所述样本库中所有样本能够收敛的中性帧的最大方差的平均值进行确认。
7.根据权利要求1所述的快速构建的人脸动作单元识别方法，其特征是，基于MSE确定神经元的个数包括：基于MSE凹凸性或斜率的变化速度确定神经元的个数。
8.根据权利要求1所述的快速构建的人脸动作单元识别方法，其特征是，神经元个数的选择是基于动态步长添加的方式，所述方式包括：
从设置的初始值即一个神经元开始，逐步增加步长的方式，添加神经元，当MSE趋势为凹函数或者MSE曲线的二阶导大于0时，增加步长；否则减少步长，直至MSE达到最小值，即收敛，停止。
9.一种快速构建的人脸动作单元识别系统，其特征是，用于执行权利要求1-8任一所述的方法，包括：
识别单元，配置用于将待识别脸部图像输入AU运动单元识别模型，用于识别待识别脸部图像的AU运动单元；
AU运动单元识别模型构建单元，配置用于：
基于样本库中预设时长内某一样本中性表情时的脸部图像生成中性帧，作为所述样本基准脸图像并依此作为所述样本脸部图像的参考度量向量；
分别采集所述样本基准脸图像的关键点和表情脸图像的关键点，获取所述样本基准脸上任意两关键点之间的基准距离及表情脸上相应两关键点之间的表情距离，及基准脸上任意三关键点之间的基准角度及表情脸上相应三关键点之间的表情角度，并根据所述基准距离、表情距离及所述基准距离、表情距离的相对关系一生成相应两关键点之间的相对距离，构建距离特征，根据所述基准角度、表情角度及所述基准角度、表情角度的相对关系二生成相应三关键点之间的相对角度，构建角度特征；重复执行本步骤直至生成样本库中所有样本所有AU表情时各自相应的距离特征数据及角度特征数据，进而分别生成相应AU表情的距离特征库、角度特征库；
利用主成分分析方法从所述相应AU表情的距离特征库、角度特征库中分别进行主成分特征选择，生成主成分特征集，所述主成分特征集的维数基于所述样本库中所有样本中性帧的特征信息进行确认；
基于AU运动单元强度变化的非线性特征配置径向基神经网络模型，基于径向基神经网络的拟合速度与神经元添加方式的关联关系确定神经元动态添加的添加方式，进而基于所述径向基神经网络模型与神经元动态添加的所述添加方式配置自适应动态径向基神经网络模型作为训练模型，并将所述主成分特征集的主成分特征输入所述径向基神经网络模型并基于MSE确定的神经元个数进行训练即得样本样本样本样本样本样本样本。
10.根据权利要求9所述的快速构建的人脸动作单元识别系统，其特征是，AU运动单元识别模型构建单元配置在识别单元内；或
AU运动单元识别模型构建单元、识别单元单独配置。
CN201911173059.XA 2019-11-26 2019-11-26 一种快速构建的人脸动作单元识别方法及系统 Active CN110991294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173059.XA CN110991294B (zh) 2019-11-26 2019-11-26 一种快速构建的人脸动作单元识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173059.XA CN110991294B (zh) 2019-11-26 2019-11-26 一种快速构建的人脸动作单元识别方法及系统

Publications (2)

Publication Number Publication Date
CN110991294A true CN110991294A (zh) 2020-04-10
CN110991294B CN110991294B (zh) 2023-06-02

Family

ID=70087058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173059.XA Active CN110991294B (zh) 2019-11-26 2019-11-26 一种快速构建的人脸动作单元识别方法及系统

Country Status (1)

Country Link
CN (1) CN110991294B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990077A (zh) * 2021-04-02 2021-06-18 中国矿业大学 基于联合学习与光流估计的面部动作单元识别方法及装置
CN113269792A (zh) * 2021-05-07 2021-08-17 上海交通大学 一种图像后期和谐化处理方法、系统及终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134487A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai 3d face model construction method
CN105243374A (zh) * 2015-11-02 2016-01-13 湖南拓视觉信息技术有限公司 三维人脸识别方法、系统及应用其的数据处理装置
CN107403142A (zh) * 2017-07-05 2017-11-28 山东中磁视讯股份有限公司 一种微表情的检测方法
CN108960201A (zh) * 2018-08-01 2018-12-07 西南石油大学 一种基于人脸关键点提取和稀疏表达分类的表情识别方法
CN109635727A (zh) * 2018-12-11 2019-04-16 昆山优尼电能运动科技有限公司 一种人脸表情识别方法及装置
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN109902656A (zh) * 2019-03-12 2019-06-18 吉林大学 一种面部动作单元的识别方法、系统
CN110363124A (zh) * 2019-07-03 2019-10-22 广州多益网络股份有限公司 基于人脸关键点与几何形变的快速表情识别及应用方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134487A1 (en) * 2008-12-02 2010-06-03 Shang-Hong Lai 3d face model construction method
CN105243374A (zh) * 2015-11-02 2016-01-13 湖南拓视觉信息技术有限公司 三维人脸识别方法、系统及应用其的数据处理装置
CN107403142A (zh) * 2017-07-05 2017-11-28 山东中磁视讯股份有限公司 一种微表情的检测方法
WO2019090769A1 (zh) * 2017-11-13 2019-05-16 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN108960201A (zh) * 2018-08-01 2018-12-07 西南石油大学 一种基于人脸关键点提取和稀疏表达分类的表情识别方法
CN109635727A (zh) * 2018-12-11 2019-04-16 昆山优尼电能运动科技有限公司 一种人脸表情识别方法及装置
CN109902656A (zh) * 2019-03-12 2019-06-18 吉林大学 一种面部动作单元的识别方法、系统
CN110363124A (zh) * 2019-07-03 2019-10-22 广州多益网络股份有限公司 基于人脸关键点与几何形变的快速表情识别及应用方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SABU GEORGE: ""Geometrical Modeling of Facial Regions and CUDA based Parallel Face Segmentation for Emotion Recognition"", 《INTERNATIONAL JOURNAL OF APPLIED ENGINEERING RESEARCH》 *
任艳: ""基于关键点LBP特征提取的面部AU组合识别"", 《信息化研究》 *
左军 等: ""基于RBF神经网络PCA变换的识别技术"", 《中山大学学报 （自然科学版）》 *
龚静: ""基于面部关键点的人脸表情识别算法研究"", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑（月刊）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990077A (zh) * 2021-04-02 2021-06-18 中国矿业大学 基于联合学习与光流估计的面部动作单元识别方法及装置
CN112990077B (zh) * 2021-04-02 2021-10-01 中国矿业大学 基于联合学习与光流估计的面部动作单元识别方法及装置
CN113269792A (zh) * 2021-05-07 2021-08-17 上海交通大学 一种图像后期和谐化处理方法、系统及终端
CN113269792B (zh) * 2021-05-07 2023-07-21 上海交通大学 一种图像后期和谐化处理方法、系统及终端

Also Published As

Publication number Publication date
CN110991294B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Fuhl et al. Fully convolutional neural networks for raw eye tracking data segmentation, generation, and reconstruction
Du et al. Representation learning of temporal dynamics for skeleton-based action recognition
Brakel et al. Learning independent features with adversarial nets for non-linear ica
Faria et al. A probabilistic approach for human everyday activities recognition using body motion from RGB-D images
US10121273B2 (en) Real-time reconstruction of the human body and automated avatar synthesis
Mineault et al. Your head is there to move you around: Goal-driven models of the primate dorsal pathway
JP5520886B2 (ja) 行動モデル学習装置、方法、及びプログラム
US10610109B2 (en) Emotion representative image to derive health rating
KR20160116311A (ko) 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
Bouchard et al. High-resolution, non-invasive imaging of upper vocal tract articulators compatible with human brain recordings
Mitenkova et al. Valence and arousal estimation in-the-wild with tensor methods
Mousas et al. Real-time performance-driven finger motion synthesis
CN107992846A (zh) 遮挡人脸识别方法及装置
CN110717418A (zh) 一种喜好情感自动识别方法及系统
You et al. Multiobjective optimization for model selection in kernel methods in regression
CN110991294A (zh) 一种快速构建的人脸动作单元识别方法及系统
Shu et al. Sparse autoencoders for word decoding from magnetoencephalography
Spaulding et al. Frustratingly easy personalization for real-time affect interpretation of facial expression
US20220138583A1 (en) Human characteristic normalization with an autoencoder
Tin et al. Gender and age estimation based on facial images
CN107729844A (zh) 人脸属性识别方法及装置
Khorrami How deep learning can help emotion recognition
Pavlenko et al. Identification of human eye-motor system base on Volterra model
CN109992106B (zh) 手势轨迹识别方法、电子设备及存储介质
Tang et al. Eye movement prediction based on adaptive BP neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant