CN104299225A

CN104299225A - 一种表情识别在大数据分析的应用方法及系统

Info

Publication number: CN104299225A
Application number: CN201410465160.3A
Authority: CN
Inventors: 谢灿豪; 周济济
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-09-12
Filing date: 2014-09-12
Publication date: 2015-01-21

Abstract

本发明提供了一种表情识别在大数据分析的应用方法及系统，包括，记录大量用户在阅读的过程出现的表情信息，并记录出现表情信息的位置和表情的类别，在有需要的时候，根据筛选条件，在记录的用户表情和阅读内容的数据中，统计出符合筛选条件的结果，解决了通过互联网大数据统计方式，将样本推往无限，对反馈数据做分析，以得到准确有效分析结果的目的。

Description

一种表情识别在大数据分析的应用方法及系统

技术领域

本发明属于生物识别技术领域，特别涉及一种表情识别在大数据分析中的应用。

背景技术

随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。

人类主要依赖视觉、听觉、触觉获得信息，并将信息经过大脑的加工后再将对外界产生反应，产生的反应可以是肢体动作也可以是情绪，情绪一般以脸部表情的形式表现，脸部表情识别技术就是通过分析特定人的脸部表情及变化，进而确定其内心情绪或思想活动。而至少有80％以上的外界信息经是通过视觉获得，因此视觉是人类最重要的感觉。

美国心理学家保罗·艾克曼定义了六种最基本的表情：惊奇、恐惧、厌恶、愤怒、高兴、悲伤，人类所有的情绪表情都是由这几种表情经过复杂的融合而产生的，而表情及其变化又相当复杂，例如：恐惧的情绪可能同时伴随着悲伤、生气、厌恶等等，因而几种单一的表情相互组和可以产生出非常丰富的情绪，最为经常的是恐惧和惊奇的混和表现，即惊恐的表情，本发明为了论述方便，先从保罗·艾克曼定义的六种最基本情绪开始，下表给出了单一表情的表现与结构特点。

由于脸部虽无固定的形状却有固定结构的特殊性，利用脸部结构的先验知识和脸部识别的心理特点，可以对脸部面部特征的描述与提取找到基于模型的方法。

眼：眼睛通常是情感的第一个自发表达者，透过眼睛可以看出一个人是欢乐还是忧伤，是烦恼还是悠闲，是厌恶还是喜欢。从眼神中有时可以判断一个人的心是坦然还是心虚，是诚恳还是伪善：

眉：眉间的肌肉皱纹能够表达人的情感变化。柳眉竖表示愤怒，模眉冷对表示敌意，挤眉弄眼表示戏谑，低眉顺眼表示顺从，扬眉吐气表示畅快，眉头舒展表示宽慰，喜上眉梢表示愉悦。

嘴：嘴部表情主要体现在口形变化上。伤心时嘴角下撇，欢快时嘴角提升，委屈时撅起嘴巴，惊讶时张口结舌，忿恨时咬牙切齿，忍耐痛苦时咬住下唇。

鼻：厌恶时耸起鼻子，轻蔑时嗤之以鼻，愤怒时鼻孔张大，鼻翕抖动；紧张时鼻腔收缩，屏息敛气。

面部：面部肌肉松弛表明心情愉快、轻松、舒畅，肌肉紧张表明痛苦、严峻、严肃。一般来说，面部各个器官是一个有机整体，协调一致地表达出同一种情感。当人感到尴尬、有难言之隐或想有所掩饰时，其五官将出现复杂而不和谐的表情。

简单起见，可以通过分类判别树来找到面部特征与表情之间的关系，如图1所示，而该分类树也可以被简单的用规则定量的描述为：

1.惊奇：抬眉、眼瞪大、张口

2.恐惧：皱眉、张口、咧嘴、眼瞪大

3.高兴：张口、嘴变宽

4.愤怒：压眉、皱眉、张口、咧嘴张口时的愤怒态

5.悲伤：皱眉、闭口、嘴变宽嘴角后拉

6.厌恶：压眉、皱眉、眼变小、闭口、口变宽即咧嘴。

目前对网络传播内容是否被用户接受和用户喜好程度，只能通过查询点击量来统计。另外对内容进行分析，一般采用内容分析法。其缺点是：内容的的涵义难以捉摸，形成编码困难，意义可能有多种，可能存在多于一种模型解释同一概念。因此，不能作为唯一推论的资料，须配合其他资料才能做定论。对于尚未出现的议题，缺乏研究的相关资料难以达到现成资料的内涵。不能体现用户的主观感知。

并且，对内容的分析也只停留在理论分析或经验分析，过程是层层推理的过程。需要大量的经验、样本，时间。对于信息化和网络化，大量数据传播和快速更新的今天，无疑是低效和不适用的。

在对内容分析的准确度上，依靠理论和经验，在一定程度上忽视了现实受众的主观感受，教育背景，文化背景，社会背景等因素，分析结果与实际偏离度较高。

发明内容

为了解决上述技术问题，本发明申请的技术方案，能够利用目前相当普及的互联网设备，移动终端设备，通过互联网的信息传输的便利性，实时性，对传播的内容进行针对性调研并通过表情分析；能够体现用户的主观感知，保证有效性；对受众阅览内容的过程进行检测，统计用户对不同阶段内容的反应；通过互联网大数据统计方式，将样本推往无限，对反馈数据做分析，以得到准确有效的分析结果。

本发明提供的第一种技术方案为一种表情识别在大数据分析的应用方法，包括：

1)在用户阅读的过程中，每隔一段时间获取用户的表情；

2)当获得所述用户的表情时，存储当前的表情数据，所述表情数据包括表情类别、读物、阅读位置；

3)当获得大量用户的表情数据后，将步骤2)中存储的表情数据，进行整理后存储到表情分析数据中，所述表情分析数据包括：表情类别、读物、阅读位置、人数；

4)在所述表情分析数据中，筛选出符合条件的数据；

5)从所述筛选的符合条件的数据中，根据所述读物以及阅读位置，得到相应的阅读内容，并将所述符合条件的数据、阅读内容存储到统计分析数据中，所述统计分析数据包括：表情类别、读物、阅读内容、人数；

6)输出统计分析结果。

所述步骤4)中的所述筛选条件包括：全部数据、平均值数据、自定义数据，

所述的全部数据包括：所述表情分析数据中所有的数据；

所述平均值数据包括：所述人数为总人数一半以上的数据；

所述自定义数据包括：所述人数为自定义值；

优选的，所述自定义值包括：77％、80％、100％；

优选的，所述表情数据、所述表情分析数据和所述统计分析数据还包括读物类型。

所述读物类型包括电子书，所述阅读位置为电子书的页码，所述阅读内容为所述页码对应的所有内容和/或是针对所述页码对应阅读内容的描述。

所述读物类型还包括视频、音频，在所述步骤2)和步骤3)之间还包括：

a)当获得所述用户的表情后，继续读取所述用户表情，直到所述用户的所述表情停止，存储当前的表情数据；

优选的，所述表情数据还包括：表情标记，在所述步骤2)中，所述的表情标记值为“开始”；在所述步骤a)中所述的表情标记值为“结束”；

优选的，所述步骤3)中对所述表情数据的整理方法为：

b)在所述表情数据中还包括表情持续时间，所述的表情持续时间为：同一个用户的所述表情标记为“开始”的阅读位置和表情标记为“结束”的阅读位置，之间的一段时间；

c)当获得大量用户的表情数据后，将所述表情数据中相同读物、具有相同表情类型并且表情持续时间有重叠的所有数据进行统计，并存储到所述表情分析数据中，

所述表情分析数据的表情类别对应为所述表情数据中的表情类别；

所述表情分析数据的读物对应为所述表情数据中的读物；

所述表情分析数据的阅读位置对应为所述表情数据中的表情持续时间；

所述表情分析数据的人数对应为所述表情数据中表情持续时间重叠的所有的用户数量；

优选的，所述表情分析数据还包括最多用户出现表情的位置为所述表情持续时间重叠的时间段。

表情识别的过程为：

1)先建立一个表情特征库，所述的表情特征库包括大量用户脸部表情，以及所述表情对应的表情特征；所述表情特征包括：眼部特征和嘴部特征；

2)在用户阅读时，通过图像采集设备实时取得用户的脸部图像；

3)将取得的脸部图像进行特征提取，所述的特征提取包括：提取眼部特征和提取嘴部特征；

4)根据所述用户的眼部特征、嘴部特征，在所述表情特征库中查找与所述眼部特征和嘴部特征对应的表情类别；

优选的，所述步骤2)中取得用户的脸部图像包括：判断所述图像采集设备得到的图像信息中脸部图像所在的位置，并为脸部图像建立脸部模型；

优选的，还包括将所述表情数据或所述统计结果以第三方软件格式导出，所述第三方软件格式包括：文本格式、word格式、excel格式、SQL文本；

优选的，所述表情类别为：惊奇、高兴、恐惧、悲伤、愤怒、厌恶、中性。

本发明中的统计结果为了便于阅读可以用统计图、统计表的形式显示。

本发明还提供了一种表情识别在大数据分析的应用系统，用于实现表情识别在大数据分析的应用，本系统包括：图像采集模块、表情识别模块、表情过程记录模块和大数据分析模块，

所述图像采集模块：用于在用户阅读的过程中，连续采集图像信息；

所述表情识别模块：用于从所述图像采集模块得到的图像信息进行分析，并进一步判断该图像信息中脸部图像所在的位置，为脸部图像建立脸部模型，然后提取并分析能够表征表情特征的本质信息，确定表情类别；

所述表情过程记录模块，当所述表情识别模块获得用户表情时，将信息存储在表情数据中，并将表情数据上传至所述大数据分析模块；所述表情数据包括表情类别、读物、阅读位置；

所述大数据分析模块，针对统计分析条件，在大量的表情数据中进行统计，并输出统计分析结果；所述大数据分析模块包括：表情分析数据和统计分析数据；所述表情分析数据包括：表情类别、读物、阅读位置、人数；所述统计分析数据包括：表情类别、读物、阅读内容、人数。

所述表情数据、所述表情分析数据和所述统计分析数据还包括读物类型；

所述表情记录模块包括：记录表情和表情发生时内容位置、生成数据上传至数据分析模块。

所述记录表情和表情发生时内容位置，当所述表情识别模块获得用户表情时，将信息存储在表情数据中；

所述生成数据上传至数据分析模块，用于将所述表情数据存储至所述表情分析数据中。

所述读物类型还包括视频、音频；

所述表情数据还包括：表情标记，所述的表情标记值包括：“开始”和“结束”；在所述表情数据中还包括表情持续时间，所述的表情持续时间为：同一个用户的所述表情标记为“开始”的阅读位置和表情标记为“结束”的阅读位置之间的一段时间；

优选的，所述表情分析数据的表情类别对应为所述表情数据中的表情类别；

所述表情分析数据的读物对应为所述表情数据中的读物；

优选的，所述表情分析数据还包括最多用户出现表情的位置为所述表情持续时间重叠的时间段；

优选的，所述读物类型包括电子书，所述阅读位置为电子书的页码，所述阅读内容为所述页码对应的所有内容和/或是针对所述页码对应阅读内容的描述。

所述表情识别模块包括：表情特征库、表情类别判定模块，其中，

所述表情特征库，所述的表情特征库包括大量用户脸部表情，以及所述表情对应的表情特征；所述表情特征包括：眼部特征和嘴部特征；

所述表情类别判定模块，用于在用户阅读过程中，对实时取得的脸部图像建立人脸模型，并从所述的人脸模型中提取脸部特征，在所述的表情特征库中找到与所述脸部特征匹配的脸部表情；所述人脸模型包括眼睛模型、嘴部模型；

所述表情类别为：惊奇、高兴、恐惧、悲伤、愤怒、厌恶、中性。

所述图像采集模块还包括：图像采集装置，所述图像集装置能够提供一段时间连续的图像采集，优选的，所述图像采集装置是摄像装置或者是具有连拍功能的照相机；

优选的，所述表情数据包括：用户名称、用户类型、用户年龄、读物类型；

优选的，所述大数据分析模块还包括：内容归类、过程记录归档、过程记录统计、设置筛选条件、导出数据和分析内容与用户表情关系，其中：

所述内容归类，用于记录并保存所述表情数据，并对所述表情数据进行分类；

所述过程记录统计，用于统计所有参与阅读同样读物的用户，在表情类别发生时，当前阅读位置对应的具体内容；

所述筛选条件包括：全部数据、平均值数据、自定义数据，

所述的全部数据包括：所述表情分析数据中所有的数据；

所述平均值数据包括：所述人数为总人数一半以上的数据；

所述自定义数据包括：所述人数为自定义值；

优选的，所述自定义值包括：77％、80％、100％；

所述导出数据，用于将所述表情数据或所述统计结果以第三方软件格式导出，所述第三方软件格式包括：文本格式、word格式、excel格式、SQL文本。

所述分析内容与用户表情关系，用于对读物中，出现相同表情列别的阅读位置的内容做内容分析和趋势分析。

这里的内容分析可以理解为：在出现相同表情类别的位置，记录的内容是哪一类的，例如，在观看喜剧类的视频时，用户普遍出现大笑的位置是剧中的人物出现搞怪的表情。

趋势分析就是，在出现相同表情类别的阅读位置，从读物开始到结束的这一过程中，根据出现的相同类别的表情比例的增高和减少的变化方向，变化幅度，以揭示读物的受欢迎或排斥的状况以及变化趋势的分析方法。

本系统还提供一些其他模块，例如：用户管理、权限管理、读物管理等与本发明涉及到的表情识别在大数据分析的应用系统相关的一些系统，由于是现有技术，这里不再论述。

本发明的有益效果是：

1.对网络传播内容是否被用户接受和用户喜好程度，除了通过查询点击量来统计外还可以根据用户在阅读过程中的表情识别来判断，可最大程度的挖掘出用户的喜好。

2.对内容的分析，通过对大数据的挖掘，可快速的定位到有效内容的部分，为内容分析提供高效、可靠的技术支持。

3.在对内容分析的准确度上，更加依赖受众的主观感受，教育背景，文化背景，社会背景等因素，使分析结果最大程度的贴近实际。

附图说明

下面结合附图对本发明的表情识别在大数据分析的应用方法及系统进行具体说明。

图1是本发明分类判别树的结构示意图；

图2是本发明表情识别在大数据分析的应用方法流程图；

图3是本发明表情识别在大数据分析的应用系统的系统模块图；

图4是本发明眼睛边缘坐标系示意图；

图5是本发明眼睛的可变性模板示意图；

图6是本发明抛物线坐标系图；

图7是本发明张开嘴的可变形模板示意图。

具体实施方式

本发明就以通过人类的视觉、听觉等感知外界信息，并将感知的内容经过大脑处理后以面部表情的方式反映，进而确定其内心情绪或思想活动，并将这种应用推广到对大数据的分析，进一步的对引起感知的内容进行分析，因此本发明公布一种表情识别在大数据分析的应用，如图2所示，

1)首先，打开图像采集装置，图像采集装置是可连续捕获图像的装置，例如可以是摄像机；

2)利用图像采集装置获取用户的图像信息；

3)根据得到的用户的图像信息进行分析，如果图像信息中包括脸部图像，则继续下一步，反之，则继续等待接收图像信息；

4)进一步判断该图像信息中脸部图像所在的位置；

5)当捕获到脸部图像所在的位置后，为脸部图像建立脸部模型，并进一步提取能够表征表情特征的本质信息，例如：眼、嘴等部位的特征；

6)根据取得的脸部特征部位的各种特征，分析特征之间的关系，并与预先存储的表情特征库进行比对，确定待测表情类别，例如惊奇、高兴、恐惧、悲伤、愤怒、厌恶、中性等；

7)根据当前得到的该用户的脸部表情，记录下该表情取到的位置，如果是文本、图片等内容，可以记录文本章节；如果是音频/视频等内容，可以记录该音频/视频的播放时间信息等；

8)循环2-7的记录过程，直至内容播放结束；

9)将记录下来的该用户在阅读一段信息时的所有脸部表情数据，及每一个脸部表情所在的位置全部保存下来；

10)接下来，换一个用户重复执行1-9的过程，并将这个用户阅读该内容时的表情以及相关的读物都记录下来，然后不断的重复更换用户，并将所有阅读过该内容的用户阅读过程中得到的脸部表情信息和阅读位置都记录下来，作为大数据信息保存；

11)当有需要的时候，可以针对需要分析的内容，首先筛选出所有阅读过该内容的用户的表情过程记录；

12)根据所要关注的脸部表情(例如：高兴或者厌恶等)，进行筛选，找出用户普遍发生这种表情时所对应的内容位置；

13)针对存在普遍用户相同反映的内容做内容分析和趋势分析；

14)得到最终有效的分析结果，例如，对于某一个需要检测的读物，例如音频、视频或文件，根据用户脸部表情，来分析出，该读物的接受程度、难度以及讲师的受欢迎程度等信息。

以下结合具体的实施例来详细介绍表情识别在大数据分析的应用：

实施例1：

本发明对一段关于西方经济学教学视频做内容分析，来了解视频中对于用户的接受程度，难度，讲师的受欢迎程度等信息，这里取得样本数据是2000份，即有2000个用户参与调查，具体如下，

1)用户打开视频，图像采集装置开始采集学员表情；

2)在视频中，第2分15秒至2分30秒的位置，用户表现出微笑；

3)此时记录下视频的位置和该用户的表情；

4)继续播放该视频，在第5分30秒至5分40秒的位置，用户表现出厌恶；

5)此时继续记录下视频的位置和该用户的表情；

6)视频播放结束后，将记录的这个学员的表情过程保存到大数据库中；

7)重复步骤1-6，直到所有采样用户全部浏览完该视频

8)统计所有观看过该视频的学员的表情记录

9)查询用户表现出微笑的时间点：1700人在2分10秒到2分50秒表现出微笑表情，再考察这段视频在播放到该时刻的内容，我们发现用户对讲师的一句玩笑表现出兴趣；

10)查询用户表现厌恶的时间点：1500人在5分20秒到6分表现出厌恶表情,再考察这段视频在播放到该时刻的内容，我们发现用户对讲师的一道提问表现出厌恶，由此得出，这段时间讲师教授的内容可能对这些用户来说难度有点大。

因此从上面的统计我们就可以得出，一段视频中，哪些部分是对用户有吸引力的，哪些部分有点难或者有点枯燥，总之还需要讲师去完善，以使该视频得到较好的传播效果。

针对实施例1进一步的分析，人体感官收集环境信息，再由大脑支配人产生情绪需要一个过程，这一过程对整个人类有绝对阈限，但对于个体是有差别的，绝对阈限是差别阈限的一个特例。(源自《现代心理学》――现代人研究自身问题的科学张春兴著上海人民出版社2000.11)，因此针对正在播放的视频(以出现微笑表情为例)，对于某个大家普遍感兴趣的内容，每个用户从开始出现微笑表情到表情中止的时间是不固定的，先将每个用户阅读时表情信息记录下来，保存到表情数据表中：

与上表1-28条记录相似，推广到大数据的采集，假设采集到2000个用户浏览视频A的记录，为了取得有效视频内容，本发明取最早出现微笑表情的时间，和最后微笑表情消失的时间，在这段时间内，对样本数据特征初步分析，考察在这一段视频中，出现微笑表情最多时的用户数量最大值，用户数量的最大值占总用户的百分比。进一步的，在整个视频浏览过程中，可以取得多个这样的时间段，针对每个这样的时间段，统计出现微笑表情的最大值的时间段，和该时间段出现表情的用户最大数据，存储到表情分析数据表中：

序号	阅读位置	最多用户出现微笑表情的位置	人数
				1	5分15秒至6分25秒	6分-6分1秒	200
2	15分15秒至15分20秒	15分17秒	300
				3	25分20秒至25分50秒	25分40秒	1250
4	35分20秒至36分25秒	36分	362
				5	45分24秒至46分05秒	46分	1824
6	55分05秒至55分21秒	55分15秒	1320
				7	65分20秒至66分25秒	66分	1920

如上表，表情的平均数为998

最小值为序号1的数据，表情开始时间为：5分15秒，结束时间为：6分25秒；表情人数出现最大值的时间为：6分-6分1秒，最大人数为：200人。

针对上表，可以有以下几种分析方法：

第一种，针对出现笑点视频的整个区间的内容进行分析

此时，如果上述视频所有出现笑点的地方都要进行统计分析，则取需要1-7的所有的样本数据；如果严格一些，可以设置只取大于表情平均数的样本数据进行分析，则取序号为：3、5、6、7的样本数据；或者再严格一些，取有80％以上用户有微笑表情的视频，则取序号为：5、7的样本数据。因此针对视频分析的详细程度，可以取不同的记录进行分析。

第二种，针对有笑点的一段视频中，出现最多用户有微笑表情的时间点前后区间的内容进行分析，此时，可以考察每段有笑点的视频中，出现笑点峰值的时间段前后一段时间的内容进行分析。这里的时间包括：大脑反应时间、情绪延迟时间，其中根据心理学研究大脑的反应时间为0.05-0.1秒之间；情绪延迟时间指，正常情况下当有笑点的视频播放到用户理解这段视频时，才能产生微笑的情绪，因此从有笑点的视频出现到用户产生情绪的时间为情绪延迟时间，针对不同类型的视频情绪延迟时间不同，例如对以电影类的视频情绪延迟时间为10-30秒；对于教学类视频，情绪延迟时间为1-5分钟。

除上述两种情况外，还可以依据上表，采用不同的方法截取视频进行分析。此外，还可以针对其他表情进行分析，例如：痛苦、惊恐等等，还可以采用组合表情进行分析。

实施例2：

本发明再对一篇关于求解圆周率用计算机实现算法的电子出版物的内容做分析，以便了解该电子出版物被认可的程度等信息，这里取得样本数据是500份，具体如下，

1)用户打开该电子出版物，图像采集装置开始采集用户表情；

2)在阅读电子出版物过程中，在阅读25页时，用户表现出微笑；

3)此时记录下出版物的位置和该用户的表情；

4)继续阅读该电子出版物，发现在用户阅读到第36页时，用户表现出厌恶，并关闭了该电子出版物；

5)此时继续记录下阅读的位置、该用户的表情以及关闭的操作；

7)重复步骤1-5，直到所有采样用户全部浏览完该电子出版物；

8)统计所有观看过该电子出版物的学员的表情记录；

9)查询用户表现出微笑的位置：有461人在阅读第25页时，表现出微笑表情，再考察这页内容，我们发现用户对电子出版物中的一幅图表现出兴趣；

10)查询用户表现厌恶的时间点：有379人在阅读到第34-37页时表现出厌恶表情,再考察这一部分的内容，我们发现这一部分内容详细介绍了12个计算机函数，通过这12个计算机函数来实现圆周率的算法实现，由此得出，这段内容可能对这些用户来说难度有点大或者用户对计算机函数并不感兴趣。

实施例1和2都是小范围统计，我们可以发挥大数据特性，将实施例1中的视频或者实施例2中的电子出版物等需要跟踪的电子读物推向所有用户，通过身份信息筛选，我们可以统计相同类别的用户对某类视频或者读物感兴趣/没兴趣，也可以统计某类视频或者某类读对某类用户是有需求的/不感兴趣的。

本发明提供的统计功能可以与数据采集同步进行，即每次进行统计时，都以当前采集到的样本作为统计基础，进行统计，这样不仅可以及时掌握有价值的信息，还可以精确定义统计样本的数量，例如，当样本采集到一定数量后，统计值的变化波动非常小时，就可以结束样本采集了。

本发明还提供，将样本采集过程中记录的数据提供数据导出功能，例如，将记录的数据信息导出为EXCEL格式、txt格式等，导出为excel格式的数据，用户可以利用excel的本身的功能实现对数据多维度的挖掘，而不用依赖专业的软件编程人员。

本发明还提供了针对表情识别在大数据分析的应用系统，如图3所示，包括：图像采集模块、表情过程记录模块、表情识别模块、大数据分析模块，其中

1.图像采集模块，用于通过图像采集装置，采集用户脸部信息，本发明的图像采集装置需要能够提供一段时间连续的图像采集，例如可以是摄像装置，也可以使用具有连拍功能的照相机；

2.表情识别模块，用于，将从图像采集模块得到的用户的图像信息进行分析，并进一步判断该图像信息中脸部图像所在的位置，为脸部图像建立脸部模型，然后提取能够表征表情特征的本质信息，例如：眉毛、眼、嘴等部位的特征，并分析特征之间的关系，确定待测表情类别，例如惊奇、高兴、恐惧、悲伤、愤怒、厌恶、中性等。包括：获取脸部特征建立模型，计算脸部特征分析其表情和判定表情类别，其中

1)获取脸部特征建立模型，用于，将从图像采集模块得到的用户的图像信息进行分析，并进一步判断该图像信息中脸部图像所在的位置，为脸部图像建立脸部模型；

2)计算脸部特征分析其表情，用于，进一步提取能够表征表情特征的本质信息，例如：眉毛、眼、嘴等部位的特征，并分析特征之间的关系；

3)判定表情类别，用于，确定待测表情类别，例如惊奇、高兴、恐惧、悲伤、愤怒、厌恶、中性等；

3.表情过程记录模块，用于，记录所有用户在阅读同一个内容的过程中的表情和表情发生时内容位置，并作为大数据信息保存，其中

1)记录表情和表情发生时阅读位置，在读物播放的过程中，不断根据当前得到的该用户的脸部表情，记录下该表情取到的位置，如果是文本、图片等内容，可以记录文本章节的位置或者第几幅图片；如果是音频/视频等内容，可以记录该音频/视频的播放时间信息等，直至内容播放结束；

2)生成数据上转至数据分析模块，这里包括两个步骤，第一，保存该用户在阅读过程中的所有脸部表情数据，及该用户的每一个脸部表情所在的位置；第二个步骤是，记录阅读该内容的所有用户在阅读过程中的脸部表情，及该表情发生的位置，并作为大数据信息保存；

4.大数据分析模块，用于，将表情过程的记录进行分类、归档，并统计所有参与阅读同样内容的用户，在某一个表情发生的时间，以及该时间的对应的具体内容是什么；针对存在普遍用户相同反映的内容做内容分析和趋势分析，还可以设置筛选条件，根据筛选条件，找出用户普遍发生表情变化时所对应的内容位置，同时提供将表情过程的记录或者统计信息从系统中导出的功能，供其它第三方软件作进一步的分析，其中

1)内容归类，用于将表情过程的记录进行分类；

2)过程记录归档，用于将表情过程的记录进行归档，

3)过程记录统计，用于统计所有参与阅读同样内容的用户，在某一个表情发生的时间，以及该时间的对应的具体内容是什么；

4)设置筛选条件，根据筛选条件，找出用户普遍发生表情变化时所对应的内容位置；

5)导出数据，表情过程的记录或者统计数据以多种常用的数据文件格式从系统中导出，供其它第三方软件作进一步的分析，例如，可以以文本格式、word格式、excel格式等方式导出；

6)分析内容与用户表情关系，针对存在普遍用户相同反映的内容做内容分析和趋势分析。

5.表情识别模块

在表情识别模块中，主要是建立人脸模型，由于人脸虽无固定的形状却有固定结构的特殊性，利用人脸结构的先验知识和人脸识别的心理特点,可以对人脸面部特征的描述与提取找到基于模型的方法。

根据表情主要由眼睛和嘴的形状确定，因此需要建立眼睛模型、嘴部模型和脸部部件组合模型。

1)眼睛模型

对眼睛形状的分析结果,我们建立了如图4所示的眼睛模型，眼睛的边缘是两条抛物线,眼睛中心的圆是虹膜。

(a)虹膜所在圆的求取

我们利用圆的Hough变换求取虹膜的所在圆，设圆方程为(x-a)²+(y-b)＝r²，其中(a，b)是圆心，r是半径，给定一个有效的边缘点坐标(x，y),和边缘方向角θ，则所有可能圆心的位置在一段弧上，既然对每一个边缘点的边缘梯度方向在开始都是已知的,那么这组可能的圆心就可以被确定。

(b)眼睛边缘模型的定义如图5所示

眼的上边界、下边界是用两条抛物线来逼近的，若用Hough变换的方法来确定其参数,时间和空间的花费很大，用能量函数优化的方法来求得能量局部最优时对应的参数，如图6所示，对应的坐标系中的参数方程为：

上边界：

\{\begin{matrix} A = a \cos^{2} θ, & B = 2 a \cos θ \sin θ, & C = a \sin^{2} θ \\ D = b^{2} \sin θ, & E = - b^{2} \cos^{2} θ, & F = - {ab}^{2} \end{matrix}

下边界：

\{\begin{matrix} A = a \cos^{2} θ, & B = 2 a \cos θ \sin θ, & C = a \sin^{2} θ \\ D = - b^{2} \sin θ, & E = b^{2} \cos^{2} θ, & F = - {ab}^{2} \end{matrix}

E_{shape} = Σ_{i}^{left, right} (X_{i} + Y_{i} + B_{i} + A_{1 i} + A_{2 i}) + B_{pair} + A_{1 pair} + A_{2 pair} + θ_{pair}

在E_shape的定义中，控制了眼睛的形状和相似度。

2)嘴部模型

与眼的模型相类似,嘴部的模型也是用抛物线来拟合的(如图7)，不同的是,嘴部的变化很大，所以要采用两个模型来模拟：闭合嘴的模型和张开嘴的模型。对中性图像的嘴部模拟用闭合嘴的模型，对有表情图像的嘴的提取用张开的嘴的模型,这种模型也可以用来检测闭合的嘴。

y_{p_{1}} (x) = {\frac{h_{t} - a_{t} + u_{1} b_{1}}{b_{1}^{2}}} x^{2} + u_{1} x + (a_{t} - h_{t})

y_{p_{2}} (x) = {\frac{h_{t} - a_{t} - u_{2} b_{2}}{b_{2}^{2}}} x^{2} + u_{2} x + (a_{t} - h_{t})

y_{p_{3}} (x) = a_{t} \cdot {1 - \frac{4}{{(b_{1} + b_{2})}^{2}} \cdot {[x - \frac{b_{2} - b_{1}}{2}]}^{2}}

y_{p_{4}} (x) = a_{b} \cdot {1 - \frac{4}{{(b_{1} + b_{2})}^{2}} \cdot {[x - \frac{b_{2} - b_{1}}{2}]}^{2}}

y_{p_{5}} (x) = (a_{b} + h_{b}) \cdot {1 - \frac{4}{{(b_{1} + b_{2})}^{2}} \cdot {[x - \frac{b_{2} - b_{1}}{2}]}^{2}}

根据上述模型和算法,就可以求得一个给定面部表情图像的六元组的数值，例如：中性表情(74，20，9，0，48，0，47)；高兴(73，19，9，15，74，0，11)；恐惧(62，20，10，5，58，0，33)；惊奇(73，25，13，5，50，0，35)；厌恶(58，19，9，2，58，0，55)。

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。

Claims

1.一种表情识别在大数据分析的应用方法，其特征在于，包括

1)在用户阅读的过程中，每隔一段时间获取用户的表情；

4)在所述表情分析数据中，筛选出符合条件的数据；

6)输出统计分析结果。

2.根据权利要求1所述的一种表情识别在大数据分析的应用方法，其特征在于，所述步骤4)中的所述筛选条件包括：全部数据、平均值数据、自定义数据，

所述的全部数据包括：所述表情分析数据中所有的数据；

所述平均值数据包括：所述人数为总人数一半以上的数据；

所述自定义数据包括：所述人数为自定义值；

优选的，所述自定义值包括：77％、80％、100％；

3.根据权利要求1或2所述的一种表情识别在大数据分析的应用方法，其特征在于，所述读物类型包括电子书，所述阅读位置为电子书的页码，所述阅读内容为所述页码对应的所有内容和/或是针对所述页码对应阅读内容的描述。

4.根据权利要求1或2所述的一种表情识别在大数据分析的应用方法，其特征在于，所述读物类型还包括视频、音频，在所述步骤2)和步骤3)之间还包括：

优选的，所述步骤3)中对所述表情数据的整理方法为：

所述表情分析数据的读物对应为所述表情数据中的读物；

5.根据权利要求1-4所述的任意一种表情识别在大数据分析的应用方法，其特征在于，还包括表情识别的过程：

6.一种表情识别在大数据分析的应用系统，其特征在于，包括：图像采集模块、表情识别模块、表情过程记录模块和大数据分析模块，

7.根据权利要求6所述的一种表情识别在大数据分析的应用系统，其特征在于，所述表情数据、所述表情分析数据和所述统计分析数据还包括读物类型；

8.根据权利要求6或7所述的一种表情识别在大数据分析的应用系统，其特征在于，所述读物类型还包括视频、音频；

9.根据权利要求6-8所述的任意一种表情识别在大数据分析的应用系统，其特征在于，所述表情识别模块包括：表情特征库、表情类别判定模块，其中，

10.根据权利要求6-9所述的任意一种表情识别在大数据分析的应用系统，其特征在于，

所述筛选条件包括：全部数据、平均值数据、自定义数据，

所述的全部数据包括：所述表情分析数据中所有的数据；

所述平均值数据包括：所述人数为总人数一半以上的数据；

所述自定义数据包括：所述人数为自定义值；

优选的，所述自定义值包括：77％、80％、100％；