CN105549885A - 滑屏操控中用户情绪的识别方法和装置 - Google Patents
滑屏操控中用户情绪的识别方法和装置 Download PDFInfo
- Publication number
- CN105549885A CN105549885A CN201510915754.4A CN201510915754A CN105549885A CN 105549885 A CN105549885 A CN 105549885A CN 201510915754 A CN201510915754 A CN 201510915754A CN 105549885 A CN105549885 A CN 105549885A
- Authority
- CN
- China
- Prior art keywords
- sliding
- screen
- length
- emotion
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000008909 emotion recognition Effects 0.000 claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims description 70
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 15
- 230000002996 emotional effect Effects 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 239000006185 dispersion Substances 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000036651 mood Effects 0.000 description 6
- 230000001544 dysphoric effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 206010022998 Irritability Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010013954 Dysphoria Diseases 0.000 description 1
- 208000001431 Psychomotor Agitation Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种滑屏操控中用户情绪的识别方法和装置。所述方法包括以下步骤:获取滑屏操控数据;对滑屏操控数据进行特征提取得到所述滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;将所述特征的参数值导入已建立的情绪识别模型进行识别,得到所述特征的参数值所对应的情绪类型,所述情绪识别模型为根据滑动长度、滑动速度、压力和间隔时间特征建立的。上述滑屏操控中用户情绪的识别方法和装置,通过获取滑屏操控数据,对滑屏操控数据进行特征提取得到特征的参数,将特征的参数导入到情绪识别模型中进行识别得到对应的情绪类型,实现了对用户滑屏操控过程中的情绪进行识别,方便根据用户情绪的数据帮助改进应用程序。
Description
技术领域
本发明涉及数据处理领域,特别是涉及一种滑屏操控中用户情绪的识别方法和装置、滑屏操控中情绪识别模型的建模方法和装置。
背景技术
随着互联网技术的发展,为了满足用户的各种不同的需求,各种各样的应用程序运用而生。当用户根据自身的需求从应用市场或其他地方选择了所需的应用程序,并下载安装包安装在移动终端上,运行该应用程序对其进行操控,使用其中的某些功能,有时操作方便会感到高兴、有时操作繁琐会感到烦躁,在使用过程中并不会将对应用程序的评价反馈给应用程序的研发者或制作者,无法促进研发者或制作者对应用程序的功能进行改进,以完善其功能。
以游戏应用程序为例,用户启动游戏应用程序后,通过滑屏操控游戏中的虚拟角色或者虚拟物品等,在操控过程中会产生多种情绪,目前无法对操控过程中用户的情绪进行识别,无法通过用户的情绪对游戏应用程序的设计进行改进。
发明内容
基于此,有必要针对目前无法识别出用户操控应用程序过程中的情绪帮助改进应用程序的问题,提供一种滑屏操控中用户情绪的识别方法,能识别用户操控过程中的情绪,帮助改进应用程序。
此外,还有必要提供一种滑屏操控中用户情绪的识别装置,能识别用户操控过程中的情绪,帮助改进应用程序。
此外,还有必要提供一种滑屏操控中情绪识别模型的建模方法和装置,能提供一种情绪识别模型,识别用户操控过程中的情绪,帮助改进应用程序。
一种滑屏操控中用户情绪的识别方法,包括以下步骤:
获取滑屏操控数据;
对所述滑屏操控数据进行特征提取得到所述滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
将所述特征的参数值导入已建立的情绪识别模型进行识别,得到所述特征的参数值所对应的情绪类型,所述情绪识别模型为根据滑动长度、滑动速度、压力和间隔时间特征建立的。
一种滑屏操控中情绪识别模型的建模方法,包括以下步骤:
获取多个滑屏操控数据及对应的情绪类型;
对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度;
将所述滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
一种滑屏操控中用户情绪的识别装置,包括:
获取模块,用于获取滑屏操控数据;
提取模块,用于对所述滑屏操控数据进行特征提取得到所述滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
识别模块,用于将所述特征的参数值导入已建立的情绪识别模型进行识别,得到所述特征的参数值所对应的情绪类型,所述情绪识别模型为根据滑动长度、滑动速度、压力和间隔时间特征建立的。
一种滑屏操控中情绪识别模型的建模装置,包括:
样本采集模块,用于获取多个滑屏操控数据及对应的情绪类型;
样本提取模块,用于对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
样本判别模块,用于通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度;
样本训练模块,用于将所述滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
上述滑屏操控中用户情绪的识别方法和装置,通过获取滑屏操控数据,对滑屏操控数据进行特征提取得到特征的参数,将特征的参数导入到情绪识别模型中进行识别得到对应的情绪类型,实现了对用户滑屏操控过程中的情绪进行识别,方便根据用户情绪的数据帮助改进应用程序。
附图说明
图1为一个实施例中终端的内部结构示意图;
图2为一个实施例中滑屏操控中用户情绪的识别方法的流程图;
图3为一个实施例中滑屏操控记录数据的示意图;
图4为一个实施例中根据滑动长度、滑动速度、压力和间隔时间建立情绪识别模型的具体流程图;
图5为典则判别函数判别结果示意图;
图6是BP神经网络的模型示意图;
图7为一个实施例中滑屏操控中情绪识别模型的建模方法的流程图;
图8为一个实施例中滑屏操控中用户情绪的识别装置的结构框图;
图9为另一个实施例中滑屏操控中用户情绪的识别装置的结构框图;
图10为一个实施例中滑屏操控中情绪识别模型的建模装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中终端的内部结构示意图。如图1所示,该终端包括通过系统总线连接的处理器、存储介质、内存、网络接口、显示屏和输入装置。其中,终端的存储介质存储有操作系统,还包括一种滑屏操控中用户情绪的识别装置,该滑屏操控中用户情绪的识别装置用于实现一种滑屏操控中用户情绪的识别方法。该处理器用于提供计算和控制能力,支撑整个终端的运行。终端中的内存为存储介质中的滑屏操控中用户情绪的识别装置的运行提供环境,网络接口用于与服务器进行网络通信,如发送数据请求至服务器,接收服务器返回的数据等。终端的显示屏可以是液晶显示屏或者电子墨水显示屏等,输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。该终端可以是手机、平板电脑或者个人数字助理。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
图2为一个实施例中滑屏操控中用户情绪的识别方法的流程图。如图2所示,一种滑屏操控中用户情绪的识别方法,包括以下步骤:
步骤202,获取滑屏操控数据。
具体地,滑屏操控数据是指滑动屏幕进行操控时产生的数据。获取滑屏操控数据包括:获取每次滑屏操控中每一个点的坐标值、压力值及时间。
首先,在屏幕上建立坐标系,标记每一个点的坐标值。每次滑屏操控时记录滑屏操控的起点、所经过的点和终点的坐标值、压力值和时间。
图3为一个实施例中滑屏操控记录数据的示意图。如图3所示,屏幕处于横屏状态时,以左上角为原点,横向为横坐标轴x,纵向为纵坐标轴y建立坐标系。记录了两条滑屏操控轨迹,记录了每一条轨迹上每个点的坐标值、压力值和时间,例如第一条轨迹记录的起点数据为(x11,y11,p11,t11),其中,x11为起点的横坐标,y11为起点的纵坐标,p11为起点所受的压力值,t11为操控该起点的时间,例如(3,4,10,2015-9-15-10-10-10),横坐标为3,纵坐标为4,压力值为10,时间为2015年9月15日10时10分10秒等。在图3中,第一条滑屏操控数据记录了起点数据为(x11,y11,p11,t11)、中间某点数据为(x12,y12,p12,t12)、终点数据为(x14,y14,p14,t14)。第二条滑屏操控数据记录了(x21,y21,p21,t21)、(x24,y24,p24,t24)。上述仅描述了几个点的数据,在滑动中每一点的横坐标、纵坐标、压力值和时间都会被记录。
步骤204,对滑屏操控数据进行特征提取得到滑屏操控的特征的参数值,该特征包括滑动长度、滑动速度、压力值和间隔时间。
具体地,滑动长度是指一次滑动操控从起点到终点所形成的轨迹的长度,即从手指或其他触控物触摸屏幕到离开屏幕时所产生的点之间的距离的总和。滑动速度是指一次滑动操控的滑动长度与一次滑动持续时间的比值。一次滑动持续时间是指从触控物触摸屏幕到离开屏幕时的时间长度。压力值是指滑动操控中每个点所受到的压力大小。间隔时间是指相邻两次滑动操控之间的间隔时间。
压力值可通过调用系统应用程序接口里的getpressure()方法获得。
本实施例中,对该滑屏操控数据进行特征提取得到该滑屏操控的特征的参数值的步骤包括:
(a1)根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度。
具体地,每次滑屏操控中记录有每一个点的坐标值,根据记录的每一个点的坐标值及对应的时间,可计算相邻两点之间的距离,再将一次滑屏操控中的起点到终点中所有相邻两点之间的距离相加得到总的距离,将总的距离作为该次滑屏操控的滑动长度。
(a2)根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间。
具体地,计算每次滑屏操控中终点时间与起点时间之间的差值得到每次滑屏操控的滑动持续时间。
(a3)根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度。
(a4)根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间。
步骤206,将该特征的参数值导入已建立的情绪识别模型进行识别,得到该特征的参数值所对应的情绪类型,该情绪识别模型为根据滑动长度、滑动速度、压力和间隔时间特征建立的。
具体地,通过情绪识别模型对导入的特征的参数值进行分析可得到对应的情绪类型。情绪类型可为平静、烦操、开心和愤怒。
上述滑屏操控中用户情绪的识别方法,通过获取滑屏操控数据,对滑屏操控数据进行特征提取得到特征的参数,将特征的参数导入到情绪识别模型中进行识别得到对应的情绪类型,实现了对用户滑屏操控过程中的情绪进行识别,方便根据用户情绪的数据帮助改进应用程序。
在一个实施例中,该获取滑屏操控数据的步骤还包括:获取预设时间内或指定场景中的每次滑屏操控中每一个点的坐标值、压力值及时间。
假设在预设时间内或指定场景中的总共的滑动操控次数为N,一次滑动操控中总共包含的点数为ni,一次滑动操控的持续时间为tj,在相邻两次滑动操控之间的间隔时间为tj,第i次滑动操控第j个点的压力值为pij。
对该滑屏操控数据进行特征提取得到该滑屏操控的特征的参数值的步骤包括:
(b1)根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度。
具体地,预设时间内或指定场景中的N次滑动操控的平均滑动长度为每次滑动操控的滑动长度之和与总共滑动次数N的比值。
其中,表示平均滑动长度,li表示第i次滑动操控的滑动长度,ni表示一次滑动操控中总共包含的点数,xi(j+1)表示第i次滑动操控第(j+1)个点的横坐标值,yi(j+1)表示第i次滑动操控第(j+1)个点的纵坐标值,xij表示第i次滑动操控第j个点的横坐标值,yij表示第i次滑动操控第j个点的纵坐标值。
预设时间内或指定场景中的N次滑动操控的最大滑动长度为从每次滑动操控的滑动长度中选取的最大的滑动长度,计算公式如式(3):
lmax=max(li),i=1,2,…,N(3)
预设时间内或指定场景中的N次滑动操控的最小滑动长度为从每次滑动操控的滑动长度中选取的最小的滑动长度,计算公式如式(4):
lmin=min(li),i=1,2,…,N(4)
(b2)根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度。
具体地,预设时间内或指定场景中的N次滑动操控的平均滑动速度为每次滑动操控的滑动速度之和与总共滑动次数N的比值。
其中,表示平均滑动速度,υi表示第i次滑动操控的滑动速度,ni表示一次滑动操控中总共包含的点数,表示第i次滑动操控第ni个点的时间,ti1表示第i次滑动操控第1个点的时间,ti表示第i次滑动操控的持续时间。
预设时间内或指定场景中的N次滑动操控的最大滑动速度为从每次滑动操控的滑动速度中选取的最大的滑动速度,计算公式如式(8):
υmax=max(υi),i=1,2,…,N(8)
预设时间内或指定场景中的N次滑动操控的最小滑动速度为从每次滑动操控的滑动速度中选取的最小的滑动速度,计算公式如式(9):
υmin=min(υi),i=1,2,…,N(9)
(b3)根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间。
具体地,预设时间内或指定场景中的N次滑动操控的平均间隔时间为相邻两次滑动操控的间隔时间之和与总共间隔次数(N-1)的比值。
其中,表示平均滑动速度,tj表示相邻两次滑动操控的间隔时间,ni表示一次滑动操控中总共包含的点数,表示第i次滑动操控第ni个点的时间,t(i+1)1表示第(i+1)次滑动操控第1个点的时间。
预设时间内或指定场景中的N次滑动操控的最大间隔时间为从相邻两次滑动操控的间隔时间中选取的最大的间隔时间,计算公式如式(12):
tmax=max(tj),i=1,2,…,(N-1)(12)
预设时间内或指定场景中的N次滑动操控的最小间隔时间为从相邻两次滑动操控的间隔时间中选取的最小的间隔时间,计算公式如式(13):
tmin=min(tj),i=1,2,…,(N-1)(13)
(b4)根据每一个点的压力值得到平均压力值、最大压力值和最小压力值。
具体地,预设时间内或指定场景中的N次滑动操控的平均压力值为N次滑动操控中所有点的压力值之和与N次滑动操控中总共点数的比值。
其中,表示平均压力值,pi表示一次滑动操控的压力值,ni表示一次滑动操控中总共包含的点数,pij表示第i次滑动操控第j个点的压力值。
预设时间内或指定场景中的N次滑动操控中最大压力值为从N次滑动操控中选取的一次滑动操控的压力值最大的压力值,计算公式如式(16):
pmax=max(pi),i=1,2,…,N(16)
预设时间内或指定场景中的N次滑动操控的最小压力值为从N次滑动操控中选取的一次滑动操控的压力值最小的压力值,计算公式如式(17):
pmin=min(pi),i=1,2,…,N(17)
(b5)将平均滑动长度、最大滑动长度、最小滑动长度、平均间隔时间、最大间隔时间、最小间隔时间、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
通过上述(b1)~(b5)得到特征的参数值,包括四种特征的12种参数值。
在一个实施例中,上述滑屏操控中用户情绪的识别方法还包括:根据滑动长度、滑动速度、压力和间隔时间建立情绪识别模型。
图4为一个实施例中根据滑动长度、滑动速度、压力和间隔时间建立情绪识别模型的具体流程图。如图4所示,根据滑动长度、滑动速度、压力和间隔时间建立情绪识别模型的步骤具体包括:
步骤402,获取多个滑屏操控数据及各个滑屏操控数据对应的情绪类型。
具体地,可事先通过一个问卷调查统计用户在使用终端时会有的情绪状态,通过网络调查问卷随机调查101人的数据,其中,男女比例为51.5%和48.5%。对获取的情绪进行统计,发现出现频率较多的词有:平淡、激动、放松、愤怒、无聊、烦躁、高兴、郁闷、开心、平静、难过和忧伤。然后根据valence-arousal情绪象限空间对以上情绪进行划分,最后得到的情绪类型为:平静、烦躁、开心和愤怒。
通过随机选择50个用户,其中男女比例各占一半来进行数据收集。为了获得理想的数据,使用情绪诱导实验。使用国际情绪声音库里的声音作为某个游戏场景(或者其他应用场景)的背景音乐,在游戏过程中诱导出实验者较为强烈的情绪状态,并要求实验者在实验的每一关之后从平静、烦躁、开心和愤怒中选择该游戏场景所产生的情绪状态,以此来对数据进行情感标签,也就是获取各个用户的滑动操控数据及对应的情绪类型。
一个滑动操控数据是指一个用户的滑动操控产生的数据。一个用户的滑动操控产生的数可为一个用户在预设时间内或指定场景中滑动操控的数据。预设时间根据需要选定。指定场景可为某个游戏关卡等。一个滑动操控数据中可包括一次或多次滑动操控,记录每一次滑动操控中每一点的坐标值、压力值和时间。
一个滑动操控数据对应的情绪类型是指用户在预设时间内或指定场景中滑动操控的情绪。
步骤404,对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值。
具体地,获取了多个滑屏操控数据,需要对每个滑屏操控数据进行特征提取得到其对应的滑屏操控的特征的参数值,每个滑屏操控数据均有特征,该特征包括滑动长度、滑动速度、压力和间隔时间。
步骤406,通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度。
具体地,通过已知的典则判别法对统计的多个滑屏操控的特征的参数值及对应的情绪类型进行逐步判别得到特征与情绪类型的相关度,根据特征与情绪类型的相关度得到与情绪类型最相关的特征。例如通过典则判别法建立的判别函数1可能与压力相关性大,判别函数2可能与长度和速度相关性大,然后从图5可以得出,判别函数1区分开心和愤怒这两者情绪状态,说明压力对开心和愤怒这两者情绪状态相关性大。判别函数2区分了平静和烦躁情绪状态,说明平静和烦躁情绪状态和长度和速度相关性大。
典则判别法的基本思想就是投影,针对N维空间中的某点x=(x1,x2,x3,…,xn)寻找一个能使之降为一维数值的线性函数y(x),如:
y(x)=ΣCjxj(18)
然后应用这个线性函数把函数N维空间中的已知类别(即四种情绪)以及未知类别归属的样本都变换成一维数据,再根据样本与已知类别之间的亲疏程度把未知类别归属的样本点判定其类别归属。
典则判别式建立的具体操作如(c1)至(c4):
(c1)各类在d维特征空间里的样本均值向量为Mi,如下:
其中,i表示将总样本数分成两个样本集合,xk表示一个样本集合中第k个样本数量,ni表示一个样本集合的总样本数。
(c2)通过变换典则判别式w映射到一维特征空间后,各类在一维特征空间内的样本均值向量为mi,如下:
其中,i表示将总样本数分成两个样本集合,yk表示一个样本集合中第k个样本数量,ni表示一个样本集合的总样本数。
(c3)映射后,各类样本的“类内离散度”定义为:
(c4)由此可知,两类的平均值之间的距离越大越好,而各类的样本类内离散度越小越好。因此,定义Fisher准则函数:
使JF最大的解w*就是最佳解向量,也就是Fisher的线性典则判别式。
从JF(w)的表达式可知,它并非w的显函数,必须进一步变换。
已知:i=1,2,依次代入(19)和(22)两式,可得:
所以:
其中:
是原d维特征空间里的样本类内离散度矩阵,表示两类均值向量之间的离散度大小,因此,越大越容易区分。
将mi=wTMi和代入式中:
其中:
因此:
其中:
称为原d维特征空间里样本的“类内离散度矩阵”。
是样本“类内总离散度矩阵”。
为了便于分类,显然越小越好,也就是越小越好。
将上述的所有推导结果代入JF(w)表达式:
可以得到:
其中,是一个比例因子,不影响w*的方向,可以删除,从而得到最后解:
w*就使JF(w)取得最大值,w*可使样本由d维空间向一维空间映射,其投影方向最好。是一个Fisher线性典则判断式。这个向量指出了相对于Fisher准则函数最好的投影线方向。
根据上述判别分析得出的类内离散度矩阵等,可得出不同输入变量对线性判别函数的相关性,如表1所示,为相关系数修改后的结果,星号表示相应系数的绝对值最大,即表示带星号的特征与相应的线性判别函数相关性高。
表1结构化矩阵
如图5所示,四种情绪类型,采用圆圈代表平静,方形代表烦躁,三角形代表开心,椭圆代表愤怒,黑色圆点代表每种情绪类型的质心。在每一图形代表的情绪都比较紧密的围绕代表其情绪的质心,表明分类的效果比较好。
对于四种情绪分类,建立3个线性判别函数(参与分析的观测量分为m类,则建立m-1个判别函数),对测试的样本带入线性判别函数,得出判别得分,从而确定该样本属于哪一个类。
根据(c1)到(c4)的推导过程得到3个线性判别函数的标准化判别函数系数(如表2所示)和各个类在各个线性判别函数中的中心位置(如表3所示)。
表2
表2是各个判别函数中各个变量的标准化系数,通过该系数可以得出标准化之后的判别函数式。
例如D1=0.329*x1+0.406*x2-0.412*x3+…+0.957*x11-0.218*x12。
表3
表3中得到了各个类在各个线性判别函数中的中心位置,将某个样本数据带入各个线性判别函数,得到某个样本数据与各个类的中心位置的距离,得出距离最近的类,则表示该样本数据会被分入最近的类,若样本数据所分入的类与标注的情绪标签相同,则分类正确,若与标注的情绪标签不同,则分类错误。
步骤408,将滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将该训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
本实施例中,该将该训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型的步骤包括:将该训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
具体地,采用BP神经网络算法进行建模训练,使用3层前馈反向传播的ANN,具体参数如表4所示。
表4
再使用MATLAB中的神经网络工具箱实现ANN的分类器。
BP(BackPropagation)神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hiddenlayer)和输出层(outputlayer)。图6是BP神经网络的模型。
BP神经网络模型包括输入输出模型、作用函数模型、误差计算模型和自学习模型。
(d1)节点输出模型:
隐节点输出模型:
输出节点输出模型:
F为非线形作用函数:q为神经单元阈值。
(d2)作用函数模型:
作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数,一般取为(0,1)内连续取值Sigmoid函数:
(d3)误差计算模型:
误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数:
其中,tpi是i节点的期望输出值;Opi是i节点计算输出值。
(d4)自学习模型:
神经网络的学习过程,即连接下层节点和上层节点之间的权重矩阵Wij的设定和误差修正过程。BP网络有师学习方式(需要设定期望值)和无师学习方式(只需输入模式之分)。自学习模型为ΔWij(n+1)=h×Φi×Oj+a×ΔWij(n)。
其中,h为学习因子;Φi为输出节点i的计算误差;Oj为输出节点j的计算输出;a为动量因子。
通过神经网络BP进行训练建立分类器的过程包括(e1)~(e5):
(e1)将样本导入到神经网络模型中,并对应设置对应的输出;
(e2)参数初始化,包括设置最大训练次数、学习精度、隐节点数、初始权值、阈值、初始学习速率等。
(e3)计算神经网络模型各层的输入和输出;
(e4)计算输出层误差E(q);
(e5)判断误差E(q)<ε是否成立,若是,则结束,若否,则修正权值和阈值。
ε的值由神经网络模型设定,修正的权值和阈值由神经网络模型自动设置。
将训练样本和情绪类型导入神经网络模型通过上述计算过程得到各个训练样本所属的情绪类型,从而建立情绪识别模型。
若通过支持向量机(SVM)训练,则使用MATLAB中的LIBSVM工具箱实现分类器,由于SVM是一个二进制分类器,每一个情绪类型分别训练一个分类器。
支持向量机是基于结构风险最小化原理构造的一种学习机。设{x1,x2,…,xn}为数据集,yi∈{1,-1}为xi的类标签,要求决策边界正确地分类所有的点
于是得到一个带有约束的优化问题:
将上述最优化问题转换成对偶问题:
取Lagrange函数:
则对偶问题由maxaW(a)=maxa(minW,bφ(W,b;a))给出。由minW,bφ(W,b;a)得:
于是得到对偶问题:
这是一个二次规划问题,ai的全局最大值可以求得,W的计算如下:
解得
其中,xr和xs满足xr,xs>0,yr=-1,ys=1
则f(x)=sgn(<W*,x>+b)
许多的a*为零,W是少数数据的线性组合。
具有非零ai的xi称为支持向量,决策边界仅由支持向量确定。
设tj(j=1,2,…,S)为支持向量的指标,于是
为了检测一个新数据Z,则计算
如果WTz+b≥0,则z属于第一类,否则,属于第二类。
将训练样本和情绪类型导入到支持向量机中按照上述推导理论进行训练得出各个训练样本所属的情绪类型,从而建立情绪识别模型。
图7为一个实施例中滑屏操控中情绪识别模型的建模方法的流程图。如图7所示,一种滑屏操控中情绪识别模型的建模方法,包括以下步骤:
步骤702,获取多个滑屏操控数据及对应的情绪类型。
具体地,滑屏操控数据是指滑动屏幕进行操控时产生的数据。获取滑屏操控数据包括:获取每次滑屏操控中每一个点的坐标值、压力值及时间。
一个滑动操控数据是指一个用户的滑动操控产生的数据。一个用户的滑动操控产生的数可为一个用户在预设时间内或指定场景中滑动操控的数据。预设时间根据需要选定。指定场景可为某个游戏关卡等。一个滑动操控数据中可包括一次或多次滑动操控,记录每一次滑动操控中每一点的坐标值、压力值和时间。
一个滑动操控数据对应的情绪类型是指用户在预设时间内或指定场景中滑动操控的情绪。
步骤704,对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值,该特征包括滑动长度、滑动速度、压力和间隔时间。
具体地,获取了多个滑屏操控数据,需要对每个滑屏操控数据进行特征提取得到其对应的滑屏操控的特征的参数值,每个滑屏操控数据均有特征,该特征包括滑动长度、滑动速度、压力和间隔时间。
在一个实施例中,对该滑屏操控数据进行特征提取得到该滑屏操控的特征的参数值的步骤包括:
(a1)根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度。
具体地,每次滑屏操控中记录有每一个点的坐标值,根据记录的每一个点的坐标值及对应的时间,可计算相邻两点之间的距离,再将一次滑屏操控中的起点到终点中所有相邻两点之间的距离相加得到总的距离,将总的距离作为该次滑屏操控的滑动长度。
(a2)根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间。
具体地,计算每次滑屏操控中终点时间与起点时间之间的差值得到每次滑屏操控的滑动持续时间。
(a3)根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度。
(a4)根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间。
每个滑屏操控的特征包括滑动长度、滑动速度、压力值和间隔时间。
在一个实施例中,对该滑屏操控数据进行特征提取得到该滑屏操控的特征的参数值的步骤包括:
(b1)根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度。
(b2)根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度。
(b3)根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间。
(b4)根据每一个点的压力值得到平均压力值、最大压力值和最小压力值。
(b5)将平均滑动长度、最大滑动长度、最小滑动长度、平均间隔时间、最大间隔时间、最小间隔时间、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
步骤706,通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度。
具体地,通过已知的典则判别法对统计的多个滑屏操控的特征的参数值及对应的情绪类型进行逐步判别得到特征与情绪类型的相关度,根据特征与情绪类型的相关度得到与情绪类型最相关的特征。例如通过典则判别法建立的判别函数1可能与压力相关性大,判别函数2可能与长度和速度相关性大,然后从图5可以得出,判别函数1区分开心和愤怒这两者情绪状态,说明压力对开心和愤怒这两者情绪状态相关性大。判别函数2区分了平静和烦躁情绪状态,说明平静和烦躁情绪状态和长度和速度相关性大。
步骤708,将该滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将该训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
本实施例中,该将该训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型的步骤包括:将该训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
通过建立情绪识别模型,可用于对用户滑动操控产生的情绪进行识别,帮助改进应用程序,及时根据用户需求进行改进,避免盲目,能节约时间。
图8为一个实施例中滑屏操控中用户情绪的识别装置的结构框图。图8中的滑屏操控中用户情绪的识别装置图2对应于滑屏操控中用户情绪的识别方法所构建的功能架构,描述不详之处参照方法中描述。如图8所示,一种滑屏操控中用户情绪的识别装置,包括获取模块802、提取模块804和识别模块806。其中:
获取模块802用于获取滑屏操控数据。
具体地,滑屏操控数据是指滑动屏幕进行操控时产生的数据。获取模块802获取每次滑屏操控中每一个点的坐标值、压力值及时间。首先,在屏幕上建立坐标系,标记每一个点的坐标值。每次滑屏操控时记录滑屏操控的起点、所经过的点和终点的坐标值、压力值和时间。
提取模块804用于对该滑屏操控数据进行特征提取得到该滑屏操控的特征的参数值,该特征包括滑动长度、滑动速度、压力和间隔时间。
具体地,滑动长度是指一次滑动操控从起点到终点所形成的轨迹的长度,即从手指或其他触控物触摸屏幕到离开屏幕时所产生的点之间的距离的总和。滑动速度是指一次滑动操控的滑动长度与一次滑动持续时间的比值。一次滑动持续时间是指从触控物触摸屏幕到离开屏幕时的时间长度。压力值是指滑动操控中每个点所受到的压力大小。间隔时间是指相邻两次滑动操控之间的间隔时间。
压力值可通过调用系统应用程序接口里的getpressure()方法获得。
识别模块806用于将该特征的参数值导入已建立的情绪识别模型进行识别,得到该特征的参数值所对应的情绪类型,该情绪识别模型为根据滑动长度、滑动速度、压力和间隔时间特征建立的。
具体地,通过情绪识别模型对导入的特征的参数值进行分析可得到对应的情绪类型。情绪类型可为平静、烦操、开心和愤怒。
上述滑屏操控中用户情绪的识别装置,通过获取滑屏操控数据,对滑屏操控数据进行特征提取得到特征的参数,将特征的参数导入到情绪识别模型中进行识别得到对应的情绪类型,实现了对用户滑屏操控过程中的情绪进行识别,方便根据用户情绪的数据帮助改进应用程序。
在一个实施例中,获取模块802还用于获取每次滑屏操控中每一个点的坐标值、压力值及时间;
提取模块804还用于根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度;根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间;根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度;根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间。
在一个实施例中,获取模块802还用于获取预设时间内或指定场景中的每次滑屏操控中每一个点的坐标值、压力值及时间。
提取模块804还用于根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度,根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间,根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度,根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间,根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度;根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度;根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间;根据每一个点的压力值得到平均压力值、最大压力值和最小压力值;将平均滑动长度、最大滑动长度平均间隔时间、最大间隔时间、最小间隔时间、最小滑动长度、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
图9为另一个实施例中滑屏操控中用户情绪的识别装置的结构框图。图9中的滑屏操控中用户情绪的识别装置图4对应于滑屏操控中用户情绪的识别方法所构建的功能架构,描述不详之处参照方法中描述。如图9所示,一种滑屏操控中用户情绪的识别装置,包括获取模块802、提取模块804和识别模块806,还包括建模模块808。其中:
建模模块808用于根据滑动长度、滑动速度、压力和间隔时间建立情绪识别模型。具体的,建模模块808包括获取单元808a、提取单元808b、判别单元808c和训练单元808d。
获取单元808a用于获取多个滑屏操控数据及各个滑屏操控数据对应的情绪类型;
提取单元808b用于对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值;
判别单元808c用于通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度;
训练单元808d用于将该滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将该训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
该训练单元808d还用于将该训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
图10为一个实施例中滑屏操控中情绪识别模型的建模装置的结构框图。图10中的滑屏操控中情绪识别模型的建模装置对应于图7中的建模方法,描述不详之处请参照方法中描述。如图10所示,一种滑屏操控中情绪识别模型的建模装置,包括样本采集模块1002、样本提取模块1004、样本判别模块1006和样本训练模块1008。其中:
样本采集模块1002用于获取多个滑屏操控数据及对应的情绪类型。
样本提取模块1004用于对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值,该特征包括滑动长度、滑动速度、压力和间隔时间。
样本判别模块1006用于通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度。
样本训练模块1008用于将该滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将该训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
该样本训练模块还用于将该训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
该样本采集模块1002还用于获取预设时间内或指定场景中的每次滑屏操控中每一个点的坐标值、压力值及时间;
该样本提取模块1004还用于根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度;根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间;根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度;根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间。每个滑屏操控的特征包括滑动长度、滑动速度、压力值和间隔时间。
该样本提取模块1004还用于根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度;根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度;根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间;根据每一个点的压力值得到平均压力值、最大压力值和最小压力值;将平均滑动长度、最大滑动长度平均间隔时间、最大间隔时间、最小间隔时间、最小滑动长度、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种滑屏操控中用户情绪的识别方法,包括以下步骤:
获取滑屏操控数据;
对所述滑屏操控数据进行特征提取得到所述滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
将所述特征的参数值导入已建立的情绪识别模型进行识别,得到所述特征的参数值所对应的情绪类型,所述情绪识别模型为根据滑动长度、滑动速度、压力和间隔时间特征建立的。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据滑动长度、滑动速度、压力和间隔时间建立情绪识别模型,具体包括:
获取多个滑屏操控数据及各个滑屏操控数据对应的情绪类型;
对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值;
通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度;
将所述滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
3.根据权利要求2所述的方法,其特征在于,所述将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型的步骤包括:
将所述训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述获取滑屏操控数据的步骤包括:
获取每次滑屏操控中每一个点的坐标值、压力值及时间;
所述对所述滑屏操控数据进行特征提取得到所述滑屏操控的特征的参数值的步骤包括:
根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度;
根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间;
根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度;
根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间。
5.根据权利要求4所述的方法,其特征在于,所述获取滑屏操控数据的步骤还包括:
获取预设时间内或指定场景中的每次滑屏操控中每一个点的坐标值、压力值及时间;
对所述滑屏操控数据进行特征提取得到所述滑屏操控的特征的参数值的步骤还包括:
根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度;
根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度;
根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间;
根据每一个点的压力值得到平均压力值、最大压力值和最小压力值;
将平均滑动长度、最大滑动长度平均间隔时间、最大间隔时间、最小间隔时间、最小滑动长度、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
6.一种滑屏操控中情绪识别模型的建模方法,包括以下步骤:
获取多个滑屏操控数据及对应的情绪类型;
对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度;
将所述滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
7.根据权利要求6所述的方法,其特征在于,所述将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型的步骤包括:
将所述训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
8.根据权利要求6或7所述的方法,其特征在于,所述获取多个滑屏操控数据的步骤包括:
获取每次滑屏操控中每一个点的坐标值、压力值及时间;
所述对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值的步骤包括:
根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度;
根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间;
根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度;
根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间;
每个滑屏操控的特征包括滑动长度、滑动速度、压力值和间隔时间。
9.根据权利要求8所述的方法,其特征在于,所述获取多个滑屏操控数据的步骤还包括:
获取预设时间内或指定场景中的每次滑屏操控中每一个点的坐标值、压力值及时间;
对所述对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值的步骤还包括:
根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度;
根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度;
根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间;
根据每一个点的压力值得到平均压力值、最大压力值和最小压力值;
将平均滑动长度、最大滑动长度平均间隔时间、最大间隔时间、最小间隔时间、最小滑动长度、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
10.一种滑屏操控中用户情绪的识别装置,其特征在于,包括:
获取模块,用于获取滑屏操控数据;
提取模块,用于对所述滑屏操控数据进行特征提取得到所述滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
识别模块,用于将所述特征的参数值导入已建立的情绪识别模型进行识别,得到所述特征的参数值所对应的情绪类型,所述情绪识别模型为根据滑动长度、滑动速度、压力和间隔时间特征建立的。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
建模模块,用于根据滑动长度、滑动速度、压力和间隔时间建立情绪识别模型,具体包括:
获取单元,用于获取多个滑屏操控数据及各个滑屏操控数据对应的情绪类型;
提取单元,用于对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值;
判别单元,用于通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度;
训练单元,用于将所述滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
12.根据权利要求11所述的装置,其特征在于,所述训练单元还用于将所述训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
13.根据权利要求10至12中任一项所述的装置,其特征在于,所述获取模块还用于获取预设时间内或指定场景中的每次滑屏操控中每一个点的坐标值、压力值及时间;
所述提取模块还用于根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度,根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间,根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度,根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间,根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度;根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度;根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间;根据每一个点的压力值得到平均压力值、最大压力值和最小压力值;将平均滑动长度、最大滑动长度平均间隔时间、最大间隔时间、最小间隔时间、最小滑动长度、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
14.一种滑屏操控中情绪识别模型的建模装置,其特征在于,包括:
样本采集模块,用于获取多个滑屏操控数据及对应的情绪类型;
样本提取模块,用于对多个滑屏操控数据中各个滑屏操控数据进行特征提取得到多个滑屏操控的特征的参数值,所述特征包括滑动长度、滑动速度、压力和间隔时间;
样本判别模块,用于通过典则判别法对多个滑屏操控的特征的参数值逐步判别得到特征与情绪类型的相关度;
样本训练模块,用于将所述滑屏操控的特征的参数值及对应的情绪类型作为训练样本,将所述训练样本及特征与情绪类型的相关度进行训练得到情绪识别模型。
15.根据权利要求14所述的装置,其特征在于,所述样本训练模块还用于将所述训练样本及特征与情绪类型的相关度通过神经网络算法或支持向量机算法进行建模训练得到情绪识别模型。
16.根据权利要求14或15所述的装置,其特征在于,所述样本采集模块还用于获取预设时间内或指定场景中的每次滑屏操控中每一个点的坐标值、压力值及时间;
所述样本提取模块还用于根据每次滑屏操控中每一个点的坐标值得到每次滑屏操控的滑动长度;
根据每次滑屏操控中每一个点的时间得到每次滑屏操控的滑动持续时间;
根据每次滑屏操控的滑动长度和滑动持续时间得到每次滑屏操控的滑动速度;
根据每次滑屏操控中每一个点的时间得到相邻两次滑屏操控的间隔时间;
每个滑屏操控的特征包括滑动长度、滑动速度、压力值和间隔时间;
根据每次滑屏操控的滑动长度得到预设时间内或指定场景中的滑屏操控的平均滑动长度、最大滑动长度和最小滑动长度;
根据每次滑屏操控的滑动速度得到预设时间内或指定场景中的滑屏操控的平均滑动速度、最大滑动速度和最小滑动速度;
根据相邻两次滑屏操控的间隔时间得到预设时间内或指定场景中的滑屏操控的平均间隔时间、最大间隔时间和最小间隔时间;
根据每一个点的压力值得到平均压力值、最大压力值和最小压力值;
将平均滑动长度、最大滑动长度平均间隔时间、最大间隔时间、最小间隔时间、最小滑动长度、平均滑动速度、最大滑动速度、最小滑动速度、平均压力值、最大压力值和最小压力值作为特征的参数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510915754.4A CN105549885A (zh) | 2015-12-10 | 2015-12-10 | 滑屏操控中用户情绪的识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510915754.4A CN105549885A (zh) | 2015-12-10 | 2015-12-10 | 滑屏操控中用户情绪的识别方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105549885A true CN105549885A (zh) | 2016-05-04 |
Family
ID=55829091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510915754.4A Pending CN105549885A (zh) | 2015-12-10 | 2015-12-10 | 滑屏操控中用户情绪的识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105549885A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106445349A (zh) * | 2016-10-18 | 2017-02-22 | 珠海格力电器股份有限公司 | 一种调整移动终端系统参数的方法、装置和电子设备 |
CN106503722A (zh) * | 2016-12-21 | 2017-03-15 | 湖南文理学院 | 基于触控轨迹图像处理的操作者年龄判定方法 |
CN106777990A (zh) * | 2016-12-21 | 2017-05-31 | 湖南文理学院 | 智能终端操作者年龄估计方法 |
CN107736893A (zh) * | 2017-09-01 | 2018-02-27 | 合肥迅大信息技术有限公司 | 基于移动设备的心理情绪监测系统 |
CN108553905A (zh) * | 2018-03-30 | 2018-09-21 | 努比亚技术有限公司 | 基于游戏应用的数据反馈方法、终端及计算机存储介质 |
CN110134316A (zh) * | 2019-04-17 | 2019-08-16 | 华为技术有限公司 | 模型训练方法、情绪识别方法及相关装置和设备 |
WO2020227968A1 (en) * | 2019-05-15 | 2020-11-19 | Beijing Didi Infinity Technology And Development Co., Ltd. | Adversarial multi-binary neural network for multi-class classification |
CN112347774A (zh) * | 2019-08-06 | 2021-02-09 | 北京搜狗科技发展有限公司 | 一种用于用户情绪识别的模型确定方法和装置 |
CN112949575A (zh) * | 2021-03-29 | 2021-06-11 | 建信金融科技有限责任公司 | 情绪识别模型的生成、情绪识别方法、装置、设备及介质 |
CN112990949A (zh) * | 2021-04-22 | 2021-06-18 | 广州市简筱网络科技有限公司 | 一种基于大数据的用户行为分析客服管理系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101567058A (zh) * | 2009-05-31 | 2009-10-28 | 塔米智能科技(北京)有限公司 | 一种管理机器人情绪生成及表现的方法和系统 |
CN102132945A (zh) * | 2010-01-21 | 2011-07-27 | 财团法人工业技术研究院 | 结合语意辨识功能的食品制造装置 |
CN103218654A (zh) * | 2012-01-20 | 2013-07-24 | 沈阳新松机器人自动化股份有限公司 | 一种机器人情绪情感生成与表达系统 |
CN103257736A (zh) * | 2012-02-21 | 2013-08-21 | 纬创资通股份有限公司 | 使用者情绪检测方法与应用其的手写输入电子装置 |
CN103926997A (zh) * | 2013-01-11 | 2014-07-16 | 北京三星通信技术研究有限公司 | 一种基于用户的输入确定情绪信息的方法和终端 |
-
2015
- 2015-12-10 CN CN201510915754.4A patent/CN105549885A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101567058A (zh) * | 2009-05-31 | 2009-10-28 | 塔米智能科技(北京)有限公司 | 一种管理机器人情绪生成及表现的方法和系统 |
CN102132945A (zh) * | 2010-01-21 | 2011-07-27 | 财团法人工业技术研究院 | 结合语意辨识功能的食品制造装置 |
CN103218654A (zh) * | 2012-01-20 | 2013-07-24 | 沈阳新松机器人自动化股份有限公司 | 一种机器人情绪情感生成与表达系统 |
CN103257736A (zh) * | 2012-02-21 | 2013-08-21 | 纬创资通股份有限公司 | 使用者情绪检测方法与应用其的手写输入电子装置 |
CN103926997A (zh) * | 2013-01-11 | 2014-07-16 | 北京三星通信技术研究有限公司 | 一种基于用户的输入确定情绪信息的方法和终端 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106445349A (zh) * | 2016-10-18 | 2017-02-22 | 珠海格力电器股份有限公司 | 一种调整移动终端系统参数的方法、装置和电子设备 |
CN106503722B (zh) * | 2016-12-21 | 2019-09-24 | 湖南文理学院 | 基于触控轨迹图像处理的操作者年龄判定方法 |
CN106503722A (zh) * | 2016-12-21 | 2017-03-15 | 湖南文理学院 | 基于触控轨迹图像处理的操作者年龄判定方法 |
CN106777990A (zh) * | 2016-12-21 | 2017-05-31 | 湖南文理学院 | 智能终端操作者年龄估计方法 |
CN107736893A (zh) * | 2017-09-01 | 2018-02-27 | 合肥迅大信息技术有限公司 | 基于移动设备的心理情绪监测系统 |
CN108553905A (zh) * | 2018-03-30 | 2018-09-21 | 努比亚技术有限公司 | 基于游戏应用的数据反馈方法、终端及计算机存储介质 |
CN110134316A (zh) * | 2019-04-17 | 2019-08-16 | 华为技术有限公司 | 模型训练方法、情绪识别方法及相关装置和设备 |
WO2020211701A1 (zh) * | 2019-04-17 | 2020-10-22 | 华为技术有限公司 | 模型训练方法、情绪识别方法及相关装置和设备 |
CN110134316B (zh) * | 2019-04-17 | 2021-12-24 | 华为技术有限公司 | 模型训练方法、情绪识别方法及相关装置和设备 |
WO2020227968A1 (en) * | 2019-05-15 | 2020-11-19 | Beijing Didi Infinity Technology And Development Co., Ltd. | Adversarial multi-binary neural network for multi-class classification |
US11983492B2 (en) | 2019-05-15 | 2024-05-14 | Beijing Didi Infinity Technology And Development Co., Ltd. | Adversarial multi-binary neural network for multi-class classification |
CN112347774A (zh) * | 2019-08-06 | 2021-02-09 | 北京搜狗科技发展有限公司 | 一种用于用户情绪识别的模型确定方法和装置 |
CN112949575A (zh) * | 2021-03-29 | 2021-06-11 | 建信金融科技有限责任公司 | 情绪识别模型的生成、情绪识别方法、装置、设备及介质 |
CN112990949A (zh) * | 2021-04-22 | 2021-06-18 | 广州市简筱网络科技有限公司 | 一种基于大数据的用户行为分析客服管理系统 |
CN112990949B (zh) * | 2021-04-22 | 2021-07-16 | 广州市简筱网络科技有限公司 | 一种基于大数据的用户行为分析客服管理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105549885A (zh) | 滑屏操控中用户情绪的识别方法和装置 | |
KR102071582B1 (ko) | 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치 | |
US10733381B2 (en) | Natural language processing apparatus, natural language processing method, and recording medium for deducing semantic content of natural language elements based on sign language motion | |
CN110785767B (zh) | 紧凑的无语言面部表情嵌入和新颖三元组的训练方案 | |
Deriche et al. | An intelligent arabic sign language recognition system using a pair of LMCs with GMM based classification | |
Stern et al. | Most discriminating segment–Longest common subsequence (MDSLCS) algorithm for dynamic hand gesture classification | |
CN113722474A (zh) | 文本分类方法、装置、设备及存储介质 | |
CN110968697A (zh) | 文本分类方法、装置、设备及可读存储介质 | |
JP6913848B2 (ja) | ユーモア識別に基づく感情対話方法とロボットシステム | |
Ding Jr et al. | Hand gesture intention-based identity recognition using various recognition strategies incorporated with VGG convolution neural network-extracted deep learning features | |
Hefny et al. | Online signature verification using deep learning and feature representation using Legendre polynomial coefficients | |
Abdullahi et al. | IDF-Sign: addressing inconsistent depth features for dynamic sign word recognition | |
Valikhani et al. | Online continuous multi-stroke Persian/Arabic character recognition by novel spatio-temporal features for digitizer pen devices | |
Samara et al. | Sensing affective states using facial expression analysis | |
Ferreira et al. | Multimodal learning for sign language recognition | |
CN109886164B (zh) | 一种异常手势的识别与处理方法 | |
Shashidhar et al. | Indian sign language recognition using 2-d convolution neural network and graphical user interface | |
US11699044B1 (en) | Apparatus and methods for generating and transmitting simulated communication | |
Tsai et al. | Air-writing recognition using reverse time ordered stroke context | |
US20240028952A1 (en) | Apparatus for attribute path generation | |
Gupta et al. | Novel Deep Learning Techniques to Design the Model and Predict Facial Expression, Gender, and Age Recognition | |
Wu et al. | Towards robust tracking with an unreliable motion sensor using machine learning. | |
Bernardos et al. | Design and deployment of a contactless hand-shape identification system for smart spaces | |
Moustafa et al. | Arabic Sign Language Recognition Systems: A Systematic Review | |
JP7347750B2 (ja) | 照合装置、学習装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160504 |