CN110717418A - 一种喜好情感自动识别方法及系统 - Google Patents
一种喜好情感自动识别方法及系统 Download PDFInfo
- Publication number
- CN110717418A CN110717418A CN201910911259.4A CN201910911259A CN110717418A CN 110717418 A CN110717418 A CN 110717418A CN 201910911259 A CN201910911259 A CN 201910911259A CN 110717418 A CN110717418 A CN 110717418A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- main direction
- facial expression
- emotion
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000003287 optical effect Effects 0.000 claims abstract description 117
- 230000008921 facial expression Effects 0.000 claims abstract description 86
- 230000001953 sensory effect Effects 0.000 claims abstract description 71
- 230000001815 facial effect Effects 0.000 claims abstract description 66
- 239000000796 flavoring agent Substances 0.000 claims abstract description 56
- 235000019634 flavors Nutrition 0.000 claims abstract description 56
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 26
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 230000002068 genetic effect Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 21
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 16
- 230000008909 emotion recognition Effects 0.000 claims description 12
- 230000000638 stimulation Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012854 evaluation process Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 10
- 230000006399 behavior Effects 0.000 abstract description 8
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 10
- 210000000349 chromosome Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000010195 expression analysis Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 235000019640 taste Nutrition 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 230000035772 mutation Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000006397 emotional response Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002567 electromyography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000001097 facial muscle Anatomy 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000015895 biscuits Nutrition 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 235000003599 food sweetener Nutrition 0.000 description 1
- 235000015203 fruit juice Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229910052662 nosean Inorganic materials 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 235000013580 sausages Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000003765 sweetening agent Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 235000013618 yogurt Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种喜好情感自动识别方法及系统，能够提高感官喜好度测量的快捷性和便捷性，且提高喜好情感的识别效果。方法包括：获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度；利用面部特征点，使面部表情视频中的面部表情图像对齐；将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合；根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练用于识别感官喜好度的分类器。本发明涉及感官分析、消费行为分析、人工智能领域。
Description
技术领域
本发明涉及感官分析、消费行为分析、人工智能领域，特别是指一种喜好情感自动识别方法及系统。
背景技术
随着经济的转型和全球市场的形成，企业越来越关注于消费者小批量及个性化的需求，消费者的需求将引导企业的产品和经营模式创新，提升企业的市场竞争力。著名管理专家哈默曾经说过，说一不二的不再是卖家而是买家，是消费者决定着要什么，什么时候要，如何要以及愿意出多少钱。可见，产品只有符合消费者的喜好和意愿，才能得到良好的收益。市场的竞争不仅仅是产品的竞争，而是品牌的竞争。产品品质是品牌的核心和生命力。对于食品来说，产品品质的最重要表现是感官质量。消费者通过购买某品牌的商品，感受其特有的感官属性特征，形成风味、口味的记忆和依赖，再经过品牌其他属性的固化，形成品牌偏好。如果产品的感官特性风格不被消费者认可，产品的命运必然是失败的。企业了解消费者市场偏好的重要途径是消费喜好测试。消费喜好测试是让真正的消费者品评产品，了解消费者对某种产品感官方面的接受程度、喜爱程度或者对产品的想法。因其直接关联到消费者对食品质量的感知以及产品的市场竞争力，而成为企业进行产品研发及市场调研不可或缺的感官分析技术方法。消费者感官检验通常注重研究消费者对产品的外观、风味、质地等感官方面的接受、喜爱程度或想法，因此，研制一种能够直接客观分析消费者对产品风味喜好程度的方法，对于提高市场产品竞争力，研发更符合消费者喜好的产品至关重要。
消费者偏好测试技术是一种测试某种品味产品的心理和外部行为倾向的方法。例如，问卷调查方法是调查员使用统一的设计调查问卷来了解情况或咨询所选受访者的意见。问卷调查可以直接了解人们对产品的主观反应。Fuzzy Front End要求参与调查的消费者经常使用该产品，并且可能对产品或对产品的潜在需求不满意。这种方法可以深刻理解消费者的行为，并使消费者对概念或产品做出反应。然而，在消费者的感官测试中，人是主要的测量工具，由于人的主观性和偏见，反应存在波动和差异。肌电图(EMG)通过附着在脸上的小电极测量面部肌肉的收缩和扩大，有助于区分情绪反应的享受和强度。在强烈的情绪状态下，脑电波可以产生与正常状态不同的脑电波。例如，在焦虑状态下，枕叶的α波消失，并且脑波的振幅减小。正面和运动区域的脑电波幅度小于正常值。这些方法比人类主观评价更加真实和客观，但肌电图和脑电波都需要精密仪器来测量人们在味觉刺激下的不同生理反应。这并未突出智能传感在当前自动化和智能开发社会中的优势。在人工智能时代，如何通过“眼睛”让机器看起来像人类，在品味的刺激下观察人的面部变化，了解人的喜好是我们时代的研究方向之一。因此，通过面部情感方法的测量研究，这种通过面部表情变化来衡量人们偏好的方法是人们做出行为判断的最直接，最合适的方式。
面部表情分析是最具体的情绪指标之一，它是非侵入性的，可以通过视频记录技术获得。面部编码系统(FACS和MAX)和自动面部表情分析(AFEA)系统通常与面部表情分析一起使用。FACS是一种用于判断面部配置的方法。每个行动单元的分配需要专业程序员的大量培训，这是一项劳动和耗时的任务。AFEA在心理学，教育和消费者行为等领域拥有多种工具，如FaceReader、PrEmo、Affdex和Senorylogic。AFEA系统可以识别个人对某些类型的面部表情的面部反应(例如，快乐，悲伤，愤怒，恐惧，惊讶，厌恶，以及中立)或情绪维度(效力，活动和控制)因此，最客观地挖掘人们行为和品味的行为是非常必要的。由味觉刺激的面部情绪的变化无疑是客观面部行为的表达，直接反映了人们的偏好。
研究使用FaceReaderTM5.0探索享乐偏好与动态情绪反应表达的面部表情测量之间的相关性。研究中FaceReaderTM5.0用于自动分析消费者对茶中甜味剂的情绪反应。FaceReaderTM5.0自动分析6种基本的面部表情，包括：愉快、愤怒、恐惧、悲伤、厌恶和平静。它还可以计算注视方向、头部方向和人物特征。它可以快速深入了解不同刺激的影响。研究通过自动化的面部表情分析系统分析亚洲人对基本口味的面部反应。
由以上的分析得出，目前的消费者喜好的测试技术存在以下几点不足：
1)、消费者主观判断存在偏差和多种影响因素，导致消费者喜好情感识别精度低；
2)、目前关于消费者面部情绪分析的表达都是间接分析，没有直接与消费者的喜好程度相关联。
发明内容
本发明要解决的技术问题是提供一种喜好情感自动识别方法及系统，以解决现有技术所存在的消费者喜好情感识别精度低、面部情绪分析没有直接与消费者的喜好程度相关联的问题。
为解决上述技术问题，本发明实施例提供一种喜好情感自动识别方法，包括：
获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，得到风味感官喜好度与其刺激下的面部反应之间的直接映射关系；
利用面部特征点，使面部表情视频中的面部表情图像对齐；
将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；
根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合；
根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，所述分类器，用于对提取的待测试者的光流主方向进行分类识别，得到待测试者的感官喜好度。
进一步地，所述利用面部特征点，使面部表情视频中的面部表情图像对齐包括：
根据获取的面部表情视频，对面部区域进行特征点追踪并标记面部特征点；
根据标记的面部特征点，将视频中的非首帧图像通过仿射变化与首帧面部表情图像对齐。
进一步地，所述根据标记的面部特征点，将视频中的非首帧图像通过仿射变化与首帧面部表情图像对齐包括：
确定首帧图像I1中特征点位置的平均值(N，M)和第二帧图像I2中特征点位置的平均值(W，Z)；
根据平均值(N，M)和(W，Z)，通过最小二乘法拟合求出仿射变换矩阵；
非首帧图像中的所有像素点的位置都乘以仿射变换矩阵，得到与首帧图像I1对齐之后的面部表情图像帧序列。
进一步地，所述根据平均值(N，M)和(W，Z)，通过最小二乘法拟合求出仿射变换矩阵包括：
根据几何平移、缩放、旋转变换原理设原坐标点位置为(N，M)，变化后的坐标点的位置为(W，Z)，得到：
W＝a0N+a1M+a2
Z＝b0N+b1M+b2
通过最小二乘法拟合求出仿射变换矩阵
进一步地，所述将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流包括：
将对齐后的面部表情图像中的面部区域划分成多个区域块；
使用二次多项式对区域块图像进行近似建模，得到：
f(X)～XTAX+bTX+c
其中，X＝(x，y)T，X表示二维坐标位置，(x,y)表示图像像素点的二维坐标，上标T表示矩阵转置；f(X)表示X处的灰度值；
表示2×2系数矩阵，b＝(r2,r3)T表示2×1系数矩阵，c＝r1是常数项，(r1，r2，r3，r4，r5，r6)表示六维系数向量；
f(X)～XTAX+bTX+c经过系数化后，表示为：
在区域块图像的每个帧中围绕每个像素点周围设置邻域(2n+1)*(2n+1)，其中，n为邻域半径；
使用邻域中的像素点作为最小二乘法的样本点，通过拟合获得中心像素点的六维系数向量(r1，r2，r3，r4，r5，r6)；
在获得相邻两帧中每个像素的六维系数向量之后，多项式展开的结果是每个邻域都是由二次多项式近似得到，对于二次多项式f(X)可以表示为：
f1(X)在经过一个光流变化矢量d之后，构造一个新的二次多项式f2(X)：
其中，A1＝A2，b2＝b1-2A1d，
通过等式b2＝b1-2A1d，求解光流变化矢量d，如果A1是非奇异则有:
2A1d＝-(b2-b1)
其中，光流变化矢量d为相邻两帧之间像素级别的稠密光流。
进一步地，所述基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向包括：
通过迭代确定每个区域块的光流主方向：
ξ*＝argmax∑<ξz，d(Xt)>
其中，ξ*表示迭代到收敛后或达到最大迭代次数的运动矢量，即：最佳光流主方向；z表示当前迭代次数，t表示帧序号。
进一步地，所述根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合包括：
利用遗传算法，通过适应度判别得到对情感等级分类有帮助的光流主方向特征组合，得到有利于情感等级分类的区域块组合；
其中，遗传算法依据选中的个体提取到的光流主方向特征在分类器上作出的消费喜好情感识别的精确度作为适应度来选择幸存个体，每个个体为一个区域块。
进一步地，所述方法还包括：
采用线性喜好标度对感官评价过程中被测试者的感官喜好度进行量化测量。
进一步地，基于喜好标度方法，从正向情感与负向情感两个方向分别定义不同的喜好情感类型，实现在粗分类和细分类下的喜好情感定义。
本发明实施例还提供一种喜好情感自动识别系统，包括：
获取模块，用于获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，得到风味感官喜好度与其刺激下的面部反应之间的直接映射关系；
对齐模块，用于利用面部特征点，使面部表情视频中的面部表情图像对齐；
提取模块，用于将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；
确定模块，用于根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合；
识别模块，用于根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，所述分类器，用于对提取的待测试者的光流主方向进行分类识别，得到待测试者的感官喜好度。
本发明的上述技术方案的有益效果如下：
上述方案中，通过获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，从而得到了风味感官喜好度与其刺激下的面部反应之间的直接映射关系，且实现了喜好情感类型的定义新模式，提高了感官喜好度测量的快捷性和便捷性；利用面部特征点，使面部表情视频中的面部表情图像对齐；将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合，从而得到风味刺激对不同面部区域块的影响；根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，能够提高所述分类器对喜好情感的识别效果。
附图说明
图1为本发明实施例提供的喜好情感自动识别方法的流程示意图；
图2为本发明实施例提供的应用遗传算法前后喜好情感识别效果对比示意图；
图3为本发明实施例提供的在二分类模式下遗传算法选择的面部区域块示意图；
图4为本发明实施例提供的在三分类模式下遗传算法选择的面部区域块示意图；
图5为本发明实施例提供的在四分类模式下遗传算法选择的面部区域块示意图；
图6为本发明实施例提供的在五分类模式下遗传算法选择的面部区域块示意图；
图7为本发明实施例提供的喜好情感自动识别系统的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的消费者喜好情感识别精度低、面部情绪分析没有直接与消费者的喜好程度相关联的问题，提供一种喜好情感自动识别方法及系统。
实施例一
如图1所示，本发明实施例提供的喜好情感自动识别方法，包括：
S101，获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，得到风味感官喜好度与其刺激下的面部反应之间的直接映射关系；
S102，利用面部特征点，使面部表情视频中的面部表情图像对齐；
S103，将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；
S104，根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合；
S105，根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，所述分类器，用于对提取的待测试者的光流主方向进行分类识别，得到待测试者的感官喜好度。
本发明实施例所述的喜好情感自动识别方法，获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，从而得到了风味感官喜好度与其刺激下的面部反应之间的直接映射关系，且实现了喜好情感类型的定义新模式，提高了感官喜好度测量的快捷性和便捷性；利用面部特征点，使面部表情视频中的面部表情图像对齐；将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合，从而得到风味刺激对不同面部区域块的影响；根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，能够提高所述分类器对喜好情感的识别效果。
本实施例中，为了实现喜好情感自动识别方法，首先需要采集消费喜好情感数字化数据(例如，图像)来训练、测试用于自动识别用户喜好度的分类器。
本实施例中，以消费者在感官评价过程中的面部表情图像为采集对象，开展消费喜好情感数字化数据库的构建，例如，可以利用视频采集装置对被测试者在感官评价过程中不同风味刺激下的面部表情视频进行动态记录，得到基于风味刺激的消费喜好情感数字化数据库，是实现喜好情感自动分析的数据基础。
具体的：
测试样品为中国饮食基本滋味溶液(不同浓度范围)，例如，果汁、酸奶、熏烤肠等实物样品。测试人群为某地区典型消费人群。感官评价过程为以组(每组5个样品)为单位提供样品，要求被试评价的样品量一致，样品入口后再口中停留1～2s后咽，对被测试者面部表情变化进行视频拍摄。品尝下一个样品之前休息2min，并用清水或苏打饼干消除感觉残留。采用多种图像视频采集装置对感官评价过程进行动态记录，拍摄设备包括高清高效摄像机和Kinect体感摄像机。在感官评价过程中，可以采用线性标度对测试样品的口味强度进行测量，采用线性喜好标度对被试者的感官喜好强度进行量化测量。
在前述喜好情感自动识别方法的具体实施方式中，进一步地，所述利用面部特征点，使面部表情视频中的面部表情图像对齐包括：
根据获取的面部表情视频，对面部区域进行特征点追踪并标记面部特征点；
根据标记的面部特征点，将视频中的非首帧图像通过仿射变化与首帧面部表情图像对齐。
本实施例中，根据获取的面部表情视频，可以采用主动外观模型(ActiveAppearance Model，AAM)对面部区域进行特征点追踪并标记面部特征点，通过仿射变化对齐面部并将面部尺寸标准化。
在前述喜好情感自动识别方法的具体实施方式中，进一步地，所述根据标记的面部特征点，将视频中的非首帧图像通过仿射变化与首帧面部表情图像对齐包括：
确定首帧图像I1中特征点位置的平均值(N，M)和第二帧图像I2中特征点位置的平均值(W，Z)；
根据平均值(N，M)和(W，Z)，通过最小二乘法拟合求出仿射变换矩阵；
非首帧图像中的所有像素点的位置都乘以仿射变换矩阵，得到与首帧图像I1对齐之后的面部表情图像帧序列。
本实施例中，先确定第一帧图像I1中眼睛和鼻子的特征点位置的平均值(N，M)和第二帧图像I2中眼睛和鼻子的特征点位置的平均值(W，Z)，其中，眼睛的特征点可以为6个，鼻子的特征点可以为1个；
然后，根据几何平移、缩放、旋转变换原理，设原坐标点位置为(N，M)，变化后的坐标点的位置为(W，Z)，则可以得到：
W＝a0N+a1M+a2
Z＝b0N+b1M+b2
通过最小二乘法拟合求出仿射变换矩阵
使得原坐标点的位置和变换后的坐标点的位置的距离最小；
第二帧中的所有像素点的位置都乘以仿射变换矩阵
得到了与第一帧对齐之后的图像，以此类推，后续图像帧序列做同样的计算，得到整个与第一帧对齐后的面部表情图像帧序列。
本实施例中，提取序列首帧和第二帧眼睛和鼻子的特征点位置信息，利用面部关键特征点(眼睛和鼻子)实现面部整个帧序列对齐。
在真实的三维空间中，描述物体运动状态的物理概念是运动场。三维空间中的每一个点，经过某段时间的运动之后会到达一个新的位置，而这个位移过程可以用运动场来描述。而在计算机视觉的空间中，计算机接收到的信号往往是二维图片信息。由于缺少了一个维度的信息，所以其不再适用以运动场描述。光流场(optical flow)就是用于描述三维空间中的运动物体表现到二维图像中，所反映出的像素点的运动向量场。
在连续的两帧图像中，由于物体在图像中的移动或相机的移动，物体在图像中的运动被称为光流。光流是矢量场，其表示从第一帧到第二帧的点的移动。光流法Farneback是一种基于梯度的方法，假设图像梯度是恒定的，并且局部光流是恒定的。该光流方法提取图像帧序列中的所有像素点的光流。在稠密光流法的基础上对光流进行主方向优化，并采用优化主方向的光流法提取图像帧序列的光流特征(即：光流主方向)。由于稠密光流基于整幅图像计算，因此信息量大且冗余，影响系统计算效率和识别性能。为了有效提取面部有用信息，将对齐后的面部表情图像中的面部区域划分成局部区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向迭代优化，得到每个区域块的光流主方向，具体可以包括以下步骤：
A1、面部分区
时空面部特征描述符在小块区域比在整个面部表现得更好，因为它能更好地捕捉不同区域的皮肤纹理。此外，与从整体人脸中提取的特征相比，局部特征提取的特征可以显著降低计算复杂度。面部区域划分有多种方式，本发明将整个面部区域按行、列分成10×10个区域块，每个区域块分别提取稠密光流。其他面部区域划分方法(如感兴趣区域定义法(ROI)等也适用于本方法。
A2、提取稠密光流
将图像视为二维信号空间的函数(输入图像是灰度图像)，因变量是图像像素点的二维坐标位置X＝(x，y)T，其中，(x,y)分别表示图像像素点的二维坐标，上标T表示矩阵转置。使用二次多项式对区域块图像进行近似建模，得到：
f(X)～XTAX+bTX+c (1)
其中，f(X)表示X处的灰度值；
是一个2×2系数矩阵，b＝(r2,r3)T是一个2×1系数矩阵，c＝r1是常数项，(r1，r2，r3，r4，r5，r6)表示六维系数向量。
因此，在公式(1)经过系数化后，可以写成：
于是，求解系数矩阵A和b的过程就转化成求解六维系数向量(r1，r2，r3，r4，r5，r6)。
在区域块图像的每个帧中围绕每个像素点周围设置邻域(2n+1)*(2n+1)，其中，n为邻域半径。
使用邻域中的像素点作为最小二乘法的样本点，通过拟合获得中心像素点的六维系数向量(r1，r2，r3，r4，r5，r6)。
在获得相邻两帧中每个像素的六维系数向量之后，多项式展开的结果是每个邻域都是由二次多项式近似得到，对于二次多项式可以表示为：
f1(X)在经过一个光流变化矢量d之后，构造一个新的二次多项式f2(X)：
等式化二次多项式中的系数得到：
A1＝A2 (5)
b2＝b1-2A1d (6)
通过等式(6)求解光流变化矢量d，如果A1是非奇异则有:
2A1d＝-(b2-b1) (8)
其中，光流变化矢量d为相邻两帧之间像素级别的稠密光流d。
A3、对光流进行主方向优化，确定光流主方向
基于稠密光流d提取整个面部每个区域块的光流主方向。这不仅会减少计算量，还会在一定程度上减少无用信息对模式分类的影响。给定It和It+1代表相邻两个图像帧t和帧t+1之间的对应位置X＝(x，y)T的光流，帧t和帧t+1之间的位置X＝(x，y)T的光流变化矢量为
表示X＝(x，y)T在x方向上的位移，
表示X＝(x，y)T在y方向上的位移，满足以下等式：
由于面部表情是由面部肌肉的运动产生的并且观察期短，因此大多数面部情绪变化在一致的时间方向上移动。针对不同的面部局部区块，假设每个面部图像的长度和宽度分别为I和J，T为每个面部序列的帧数目(即时间序列长度)。每个长方体的大小是I×J×T，当长方体相对较小时，同一长方体中的运动矢量应大致在同一方向上。尽管在光流估计中可能出现异常运动矢量，但大多数正确估计的运动矢量往往具有相似的方向，于是可以找到一个最佳光流主方向ξ*：
ξ*＝argmax∑<ξz，d(Xt)> (11)
当在像素级别时，首先将运动向量ξ0初始化为(1，0)，并且长方体长度x＝0(0＜＝x＜I)，宽度y＝0(0＝＜y＜J)，帧序号t＝0(0＜＝t＜T)，迭代次数z＝0(0＜＝z＜max_interations)，z表示当前迭代次数，然后对于区域块的每个位置X＝(x，y)T，选择时间维度T内和运动向量ξz有最大内积的运动矢量；然后计算时间维度T中长方体中所有位置X＝(x，y)T在时间维度T内和运动向量ξz有最大内积的运动矢量的平均值作为要更新的运动向量ξz+1，重复该过程直到运动向量收敛或达到最大迭代次数。此时，ξ*表示迭代到收敛后的运动矢量，也就是所求的光流主方向，设定最大迭代次数max_interations。
在前述喜好情感自动识别方法的具体实施方式中，进一步地，所述根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合包括：
利用遗传算法，通过适应度判别得到对情感等级分类有帮助的光流主方向特征组合，得到有利于情感等级分类的区域块组合；
其中，遗传算法依据选中的个体提取到的光流主方向特征在分类器上作出的消费喜好情感识别的精确度作为适应度来选择幸存个体，每个个体为一个区域块。
本实施例中，虽然优化光流法一定程度上减少了计算复杂度和特征冗余度，但由于风味刺激引发的面部表情变化信息在不同面部区域块上的表现特征有所不同，面部不同区域块对情感分析的贡献度也有所不同。为了更好的选择对情感等级分类有帮助的特征，采用遗传算法自适应地寻找最佳地有利于情感等级分类的区域块组合，减少面部特征冗余信息，从而减少干扰运动信息。
本实施例中，通过遗传算法搜索多个区域块，并找到有利于情感等级分类的区域块。遗传算法通过诸如选择，交叉和变异的一系列步骤来选择和优化用于分类的面部区域块，具体可以包括以下步骤：
个体编码：从左上角开始，依次对面部区域块进行编码，每个区域块按从左到右，从上到下的顺序编号(0到99)。染色体数组中仅包含“1”或“0”，数组的下标对应于图像帧的每个区域块的编号，数组中的每个位相当于一个基因。在每个基因中，“1”表示选中由下标表示的图像帧的对应区域块，“0”表示没有选中该区域块。在这项研究中，每个个体实际上是一个染色体的实体。
交叉运算：生物的自然进化过程中，两个同源染色体通过交配而重组，形成新的染色体，从而产生出新的个体或物种。遗传算法中的交叉运算，是对两个互相配对的染色体按某种方式互相交换部分基因，从而形成两个新的个体。要求：交叉算子一般既不要太多地破坏个体编码串中表示优良性状的优良模式，又要能够有效地产生出一些较好的新的个体模式。本实施例采用单点交叉：由“1”和“0”表示的长度为100的染色体中将其中一个位置的下标设置成一个交叉点，然后在该点互相交换相邻两个个体的部分染色体。交叉变异是产生新个体的主要方法，决定了遗传算法的全局搜索能力。
变异运算：变异算子是产生新个体的辅助方法，但它是必不可少的运算的步骤之一，因为它决定了遗传算法的局部搜索能力。本实施例中采用基本位变异：将有“1”和“0”组成的长度为100的染色体中的每一个基因位置上的值以一定的概率进行反转，即“1”变成“0”，“0”变成“1”。
随机产生第一代群体后，经过交叉变异操作之后，遗传算法中的选择操作用来确定如何从父代群体中按某种方法选取个体遗传到下一代群体中的一种遗传算法。选择操作建立在对个体的适应度进行评价的基础上。在每一代进化过程中，基于本实施例要解决的实际问题，用选中的个体提取到的光流主方向特征在分类器上作出的消费喜好情感识别的精确度作为适应度来择优选择幸存个体。本实施例中采用比例选择算子定义，即各个个体被选中的概率与其适应度大小成正比。选择初始群体的大小为M，个体i的适应度为Fi，则个体i被选中的概率Pis为：
针对面部表情的分析多是基于心理学研究中提出的六种基本情感(高兴、悲伤、生气、厌恶、愤怒、惊讶)，而针对感官分析中的喜好情感也往往是基于基本情感的间接性关联分析。这导致消费情感只能通过已定义的基本情感间接表达。产品或其感官属性的主观体验与客观描述之间存在较大差距。因此，本发明提出了一种新的研究模式，研究消费过程下的面部反应特征，建立一种可直接反映消费喜好程度的面部表情分析(消费喜好情感分析)新方法。一方面包括对喜好情感的定义，另一方面是对消费情感的自动识别。
喜好情感定义：测量喜好度的最常用的方法是线性量表法，可以对感官评价过程中被测试者的感官喜好度进行量化测量。常用的线性量表是九点喜好标度，量表定义类别为：1-极度不喜欢、2-非常不喜欢、3-中度不喜欢、4-有点不喜欢、5-既没有不喜欢也不喜欢、6-有点喜欢、7-中度喜欢、8-非常喜欢和9-极度喜欢。从语义角度可以看出，线性量表对喜好度的测量有两个方向性，即正向(喜爱)和负向(不喜爱)。
本实施例基于线性喜好标度对感官喜好度(即：喜好情感)进行定义，分别从正向情感和负向情感两个方向进行大类分组，并实现多种喜好情感类型定义，包括粗分类和细分类方式。粗分类主要包括二分类和三分类，而细分类包括四分类和五分类。
本实施例中，根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，所述分类器，用于对提取的待测试者的光流主方向进行分类识别，得到待测试者的感官喜好度。因此，本实施例所述的喜好情感自动识别方法是一种基于线性喜好标度的喜好情感自动识别方法。
本实施例中，所述分类器选择可以是支持向量机(SVM)、随机森林、神经网络等。
本实施例以支持向量机为例说明不同分类方式下的效果。支持向量机是一种广义线性分类器，具有稀疏性和健壮性。可以通过核方法实现非线性分类，本实施例选用RBF内核，也称为高斯内核。标准SVM是一种基于二元分类问题的算法，不能直接处理多分类问题。多分类SVM的决策过程用于构建多个决策边界，以实现样本的多分类，通常的实施是“一对一”和“一对多”。一对一是一种投票方法，一对多是为分类建立决策边界，每个决策边界确定一个分类对所有其他分类的归属。本实施例使用一对多SVM实现多类分类。实验结果如表1所示：
表1不同分类模式下的识别精度
表1显示了不同的消费喜好级别对应的不同的分类模式下的识别精度。通过对比发现在二分类模式下“1-5/6-9”的分类模式的识别准确率最高，且三分类模式下“1-3/4-6/7-9”、四分类模式下“1-3/4-5/6-7/8-9”、五分类模式下“1-2/3-4/6/7/8-9”的分类效果最佳。这说明了当前实验，喜好度为“5”，更偏向于“不喜欢”的类别，“不喜欢”的类别分类更不容易被识别。
图2是在整个面部的100个块上设置为400的初始代数，并且基于四种最佳分类模式的选择结果，并发现无论哪种最佳分类模式，通过遗传算法寻找合适的面部区域代表块都能提高喜好的识别度。
为了验证基于遗传算法的特征选择方法的有效性，比较了特征选择前后不同分类模型的识别精度，结果如图2所示。在两类和四类不同的偏好情感分类下，准确率可提高5％，说明遗传算法能够有效地从整个面部选择有利于情感等级分类的区域块/特征。图3-图6显示了不同分类模式下(包括二分类(1-5/6-9)、三分类(1-3/4-6/7-9),四分类(1-3/4-5/6-7/8-9)和五分类(1-2/3-4/6/7/8-9))遗传算法选择的面部区域。所选区域块的代码显示在人脸图像上。虽然对不同的类别选择不同的区域块，但是所选择的区域块通常位于眉毛区域、眼睛区域、脸颊区域和嘴巴区域附近。
综上，本发明实施例提供的喜好情感自动识别方法具有以下优点：
1)提出了一种基于风味喜好的情感类型自定义划分方式：采用线性喜好标度对感官评价过程中被测试者的感官喜好度进行量化测量，从而实现了消费喜好情感类型的定义新模式，打破了传统分析方法中通过六种基本情感类型进行间接关联分析的方式，提高了测量的快捷性和便捷性；
2)通过不同风味样品对被试者的刺激过程进行视频记录，并分析测试者的面部表情变化特点，将面部表情区域化特征表达和喜好类型相关联，建立了风味感官喜好度与其刺激下的面部反应之间的直接映射关系，从而实现基于面部表情分析的消费喜好等级自动分析新模式。
3)采用一种自适应优化稠密光流法将面部表情表现特征数字化表达，对稠密光流进行主方向优化，得到的光流主方向将消费者的喜好与消费者的面部表情直接关联，光流主方向可以直接分析图像帧序列当中的面部运动变化方向，从而直接分析消费者喜好程度与面部表情表达的联系。
4)采用遗传算法自适应地寻找面部区域块组合，以减少面部特征冗余信息，得到识别效果好的喜好情感自动识别方法。
实施例二
本发明还提供一种喜好情感自动识别系统的具体实施方式，由于本发明提供的喜好情感自动识别系统与前述喜好情感自动识别方法的具体实施方式相对应，该喜好情感自动识别系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述喜好情感自动识别方法具体实施方式中的解释说明，也适用于本发明提供的喜好情感自动识别系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图7所示，本发明实施例还提供一种喜好情感自动识别系统，包括：
获取模块11，用于获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，得到风味感官喜好度与其刺激下的面部反应之间的直接映射关系；
对齐模块12，用于利用面部特征点，使面部表情视频中的面部表情图像对齐；
提取模块13，用于将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；
确定模块14，用于根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合；
识别模块15，用于根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，所述分类器，用于对提取的待测试者的光流主方向进行分类识别，得到待测试者的感官喜好度。
本发明实施例所述的喜好情感自动识别系统，获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，从而得到了风味感官喜好度与其刺激下的面部反应之间的直接映射关系，且实现了喜好情感类型的定义新模式，提高了感官喜好度测量的快捷性和便捷性；利用面部特征点，使面部表情视频中的面部表情图像对齐；将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合，从而得到风味刺激对不同面部区域块的影响；根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，能够提高所述分类器对喜好情感的识别效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种喜好情感自动识别方法，其特征在于，包括：
获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，得到风味感官喜好度与其刺激下的面部反应之间的直接映射关系；
采集被测试者在不同风味刺激下的面部表情视频，建立和被测试者对风味的感官喜好度
利用面部特征点，使面部表情视频中的面部表情图像对齐；
将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；
根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合；
根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，所述分类器，用于对提取的待测试者的光流主方向进行分类识别，得到待测试者的感官喜好度。
2.根据权利要求1所述的喜好情感自动识别方法，其特征在于，所述利用面部特征点，使面部表情视频中的面部表情图像对齐包括：
根据获取的面部表情视频，对面部区域进行特征点追踪并标记面部特征点；
根据标记的面部特征点，将视频中的非首帧图像通过仿射变化与首帧面部表情图像对齐。
3.根据权利要求2所述的喜好情感自动识别方法，其特征在于，所述根据标记的面部特征点，将视频中的非首帧图像通过仿射变化与首帧面部表情图像对齐包括：
确定首帧图像I1中特征点位置的平均值(N，M)和第二帧图像I2中特征点位置的平均值(W，Z)；
根据平均值(N，M)和(W，Z)，通过最小二乘法拟合求出仿射变换矩阵；
非首帧图像中的所有像素点的位置都乘以仿射变换矩阵，得到与首帧图像I1对齐之后的面部表情图像帧序列。
4.根据权利要求3所述的喜好情感自动识别方法，其特征在于，所述根据平均值(N，M)和(W，Z)，通过最小二乘法拟合求出仿射变换矩阵包括：
根据几何平移、缩放、旋转变换原理设原坐标点位置为(N，M)，变化后的坐标点的位置为(W，Z)，得到：
W＝a0N+a1M+a2
Z＝b0N+b1M+b2
通过最小二乘法拟合求出仿射变换矩阵
5.根据权利要求1所述的喜好情感自动识别方法，其特征在于，所述将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流包括：
将对齐后的面部表情图像中的面部区域划分成多个区域块；
使用二次多项式对区域块图像进行近似建模，得到：
f(X)～XTAX+bTX+c
其中，X＝(x，y)T，X表示二维坐标位置，(x，y)表示图像像素点的二维坐标，上标T表示矩阵转置；f(X)表示X处的灰度值；
表示2×2系数矩阵，b＝(r2，r3)T表示2×1系数矩阵，c＝r1是常数项，(r1，r2，r3，r4，r5，r6)表示六维系数向量；
f(X)～XTAX+bTX+c经过系数化后，表示为：
在区域块图像的每个帧中围绕每个像素点周围设置邻域(2n+1)*(2n+1)，其中，n为邻域半径；
使用邻域中的像素点作为最小二乘法的样本点，通过拟合获得中心像素点的六维系数向量(r1，r2，r3，r4，r5，r6)；
在获得相邻两帧中每个像素的六维系数向量之后，多项式展开的结果是每个邻域都是由二次多项式近似得到，对于二次多项式f(X)可以表示为：
f1(X)在经过一个光流变化矢量d之后，构造一个新的二次多项式f2(X)：
其中，A1＝A2，b2＝b1-2A1d，
通过等式b2＝b1-2A1d，求解光流变化矢量d，如果A1是非奇异则有：
2A1d＝-(b2-b1)
其中，光流变化矢量d为相邻两帧之间像素级别的稠密光流。
6.根据权利要求5所述的喜好情感自动识别方法，其特征在于，所述基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向包括：
通过迭代确定每个区域块的光流主方向：
ξ*＝argmax∑<ξz，d(Xt)>
其中，ξ*表示迭代到收敛后或达到最大迭代次数的运动矢量，即：最佳光流主方向；z表示当前迭代次数，t表示帧序号。
7.根据权利要求1所述的喜好情感自动识别方法，其特征在于，所述根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合包括：
利用遗传算法，通过适应度判别得到对情感等级分类有帮助的光流主方向特征组合，得到有利于情感等级分类的区域块组合；
其中，遗传算法依据选中的个体提取到的光流主方向特征在分类器上作出的消费喜好情感识别的精确度作为适应度来选择幸存个体，每个个体为一个区域块。
8.根据权利要求1所述的喜好情感自动识别方法，其特征在于，所述方法还包括：
采用线性喜好标度对感官评价过程中被测试者的感官喜好度进行量化测量。
9.根据权利要求8所述的喜好情感自动识别方法，其特征在于，基于喜好标度方法，从正向情感与负向情感两个方向分别定义不同的喜好情感类型，实现在粗分类和细分类下的喜好情感定义。
10.一种喜好情感自动识别系统，其特征在于，包括：
获取模块，用于获取被测试者在不同风味刺激下的面部表情视频和被测试者对风味的感官喜好度，得到风味感官喜好度与其刺激下的面部反应之间的直接映射关系；
对齐模块，用于利用面部特征点，使面部表情视频中的面部表情图像对齐；
提取模块，用于将对齐后的面部表情图像中的面部区域划分成多个区域块，分别对每个区域块提取稠密光流，并基于提取的稠密光流进行主方向优化，得到每个区域块的光流主方向；
确定模块，用于根据得到的每个区域块的光流主方向，确定用于情感等级分类的区域块组合；
识别模块，用于根据确定的区域块组合中的光流主方向及被测试者对风味的感官喜好度，训练分类器，所述分类器，用于对提取的待测试者的光流主方向进行分类识别，得到待测试者的感官喜好度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910911259.4A CN110717418A (zh) | 2019-09-25 | 2019-09-25 | 一种喜好情感自动识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910911259.4A CN110717418A (zh) | 2019-09-25 | 2019-09-25 | 一种喜好情感自动识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110717418A true CN110717418A (zh) | 2020-01-21 |
Family
ID=69210846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910911259.4A Pending CN110717418A (zh) | 2019-09-25 | 2019-09-25 | 一种喜好情感自动识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110717418A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112230570A (zh) * | 2020-11-02 | 2021-01-15 | 武汉星巡智能科技有限公司 | 智能儿童餐椅和智能儿童餐椅控制方法 |
| CN112668551A (zh) * | 2021-01-18 | 2021-04-16 | 上海对外经贸大学 | 基于遗传算法的表情分类方法 |
| CN113554073A (zh) * | 2021-07-09 | 2021-10-26 | 常州大学 | 一种融合稀疏学习和二分法的情绪状态特征选择优化方法 |
| CN113570636A (zh) * | 2021-06-16 | 2021-10-29 | 北京农业信息技术研究中心 | 一种风机通风量检测方法及装置 |
| CN113744129A (zh) * | 2021-09-08 | 2021-12-03 | 深圳龙岗智能视听研究院 | 一种基于语义神经渲染的人脸图像生成方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
| CN110135357A (zh) * | 2019-05-17 | 2019-08-16 | 西南大学 | 一种基于远程遥感的幸福感实时检测方法 |
-
2019
- 2019-09-25 CN CN201910911259.4A patent/CN110717418A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933416A (zh) * | 2015-06-26 | 2015-09-23 | 复旦大学 | 基于光流场的微表情序列特征提取方法 |
| CN110135357A (zh) * | 2019-05-17 | 2019-08-16 | 西南大学 | 一种基于远程遥感的幸福感实时检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| FARNEBACK, G: "Two-Frame Motion Estimation Based on Polynomial Expansion", 《LECTURE NOTES IN COMPUTER SCIENCE》 * |
| FENG XU等: "Microexpression Identification and Categorization Using a Facial Dynamics Map", 《2017 IEEE TRANSACTIONS ON AFFECTIVE COMPUTING》 * |
| 支瑞聪等: "情感型感官测试技术动态分析", 《食品研究与开发》 * |
| 网友XHOLES: "光流法：Farneback", 《CSDN》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112230570A (zh) * | 2020-11-02 | 2021-01-15 | 武汉星巡智能科技有限公司 | 智能儿童餐椅和智能儿童餐椅控制方法 |
| CN112230570B (zh) * | 2020-11-02 | 2022-04-01 | 宁波星巡智能科技有限公司 | 智能儿童餐椅和智能儿童餐椅控制方法 |
| CN112668551A (zh) * | 2021-01-18 | 2021-04-16 | 上海对外经贸大学 | 基于遗传算法的表情分类方法 |
| CN112668551B (zh) * | 2021-01-18 | 2023-09-22 | 上海对外经贸大学 | 基于遗传算法的表情分类方法 |
| CN113570636A (zh) * | 2021-06-16 | 2021-10-29 | 北京农业信息技术研究中心 | 一种风机通风量检测方法及装置 |
| CN113570636B (zh) * | 2021-06-16 | 2024-05-10 | 北京农业信息技术研究中心 | 一种风机通风量检测方法及装置 |
| CN113554073A (zh) * | 2021-07-09 | 2021-10-26 | 常州大学 | 一种融合稀疏学习和二分法的情绪状态特征选择优化方法 |
| CN113554073B (zh) * | 2021-07-09 | 2024-03-15 | 常州大学 | 一种融合稀疏学习和二分法的情绪状态特征选择优化方法 |
| CN113744129A (zh) * | 2021-09-08 | 2021-12-03 | 深圳龙岗智能视听研究院 | 一种基于语义神经渲染的人脸图像生成方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717418A (zh) | 一种喜好情感自动识别方法及系统 | |
| Dibeklioğlu et al. | Combining facial dynamics with appearance for age estimation | |
| JP7111711B2 (ja) | メディアコンテンツ成果の予測のためのデータ処理方法 | |
| Savran et al. | Regression-based intensity estimation of facial action units | |
| CN111881705A (zh) | 数据处理、训练、识别方法、装置和存储介质 | |
| Zhang et al. | Computer models for facial beauty analysis | |
| Sun et al. | Facial age synthesis with label distribution-guided generative adversarial network | |
| Alsmadi | Facial recognition under expression variations. | |
| Yadav et al. | Bacteria foraging fusion for face recognition across age progression | |
| CN103649987A (zh) | 脸印象分析方法、美容信息提供方法和脸图像生成方法 | |
| KR102014660B1 (ko) | 개선된 나이 모델링 방법 | |
| Morgenstern et al. | An image-computable model of human visual shape similarity | |
| CN105426836B (zh) | 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法 | |
| Chandaliya et al. | ChildGAN: Face aging and rejuvenation to find missing children | |
| Kalfas et al. | Representations of regular and irregular shapes by deep Convolutional Neural Networks, monkey inferotemporal neurons and human judgments | |
| Tong et al. | Putative ratios of facial attractiveness in a deep neural network | |
| Feng et al. | IC9600: a benchmark dataset for automatic image complexity assessment | |
| Saleem et al. | Real-life dynamic facial expression recognition: a review | |
| CN115249379A (zh) | 基于事件相关电位与眼动追踪技术的平面广告评测方法 | |
| CN115862120B (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 | |
| Holder et al. | Convolutional networks for appearance-based recommendation and visualisation of mascara products | |
| Zhi et al. | Development of a direct mapping model between hedonic rating and facial responses by dynamic facial expression representation | |
| In Kim et al. | Predictor combination at test time | |
| Ferrà et al. | A topological classifier to characterize brain states: When shape matters more than variance | |
| Wang et al. | Discerning feature supported encoder for image representation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200121 |