CN112073582A - 基于触摸行为序列的智能手机使用情境识别方法 - Google Patents

基于触摸行为序列的智能手机使用情境识别方法 Download PDF

Info

Publication number
CN112073582A
CN112073582A CN202010938901.0A CN202010938901A CN112073582A CN 112073582 A CN112073582 A CN 112073582A CN 202010938901 A CN202010938901 A CN 202010938901A CN 112073582 A CN112073582 A CN 112073582A
Authority
CN
China
Prior art keywords
touch operation
layer
time
touch
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010938901.0A
Other languages
English (en)
Other versions
CN112073582B (zh
Inventor
洪锋
闫旭荣
缪倩铃
赵中宁
杨志豪
赵千雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202010938901.0A priority Critical patent/CN112073582B/zh
Publication of CN112073582A publication Critical patent/CN112073582A/zh
Application granted granted Critical
Publication of CN112073582B publication Critical patent/CN112073582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

基于触摸行为序列的智能手机使用情境识别方法，该方法定义9种触摸操作，通过分析智能手机操作系统日志，提取9种触摸操作属性（触摸起止时间等）组成1条触摸操作，得到触摸操作序列，以32条连续操作作为一个基本触摸交互序列；进而使用长短时记忆网络和注意力机制进行建模，实现用户使用手机情境时长的判断和统计。本发明并将基本触摸交互序列输入到叠加注意力机制的双向长短时记忆网络模型中进行情境识别，实现对包括购物、社交、浏览、学习、短视频、游戏等用户使用手机情境的判定，可实现用户使用智能手机应用内的多种情境细分，统计一定时段内每种情境的使用时长，从而为用户获悉其智能手机各种情境使用时长提供直接依据。

Description

基于触摸行为序列的智能手机使用情境识别方法
技术领域
本发明属于智能手机的人机交互技术领域，具体涉及一种基于触摸行为序列的智能手机使用情境识别方法，是一种通过在用户手机操作系统日志中提取触摸操作记录序列，识别用户手机使用情境的人机交互方法。
背景技术
随着智能手机使用时间的普遍延长，用户日益关心在使用智能手机过程中的时长分配。为了辅助用户了解其在手机使用过程中的时长分布情况，手机厂商推出了很多使用时长统计工具，这些工具通过记录手机应用在前台运行的时长，统计出一定时段内手机各个应用的使用时长。
但是，用户关心的可能不只是具体应用的使用时长，而是自己在一定时段内使用某种情境的总时长。随着应用演化，越来越多的应用不再仅代表单一情境。以目前中国应用月活度排名第一的微信为例，其初始目的是为用户提供社交服务,但随着公众号和小程序技术的推出，用户在使用微信进行社交之外，还会通过公众号学习知识以及浏览新闻，或者通过小程序看短视频、玩游戏或者购物等。也就是说，目前微信应用能够承载多种情境。
由于目前手机厂商是以应用为类别统计用户的手机使用情况，手机厂商提供的时长统计工具也无法统计应用内细分的情境时长。比如，一个家长可能想要了解自己孩子在使用微信的时长中，有多少时长是通过教育公众号学习，有多少时长是通过娱乐公众号等等方式进行休闲。所以，以情境为单位统计智能手机使用时长的关键，在于区分用户在单个手机应用内使用不同情境的时长。
此外，由于需要统计不同应用内每种情境的时长，因此不能依赖于应用本身完成，需要实现跨应用的情境时长统计工具。
发明内容
本发明的目的是提供一种基于触摸行为序列的智能手机使用情境识别方法，以克服现有时间管理类工具的不足。
基于触摸行为序列的智能手机使用情境识别方法，其特征在于包括以下步骤：
(0)定义交互方式中的九种触摸操作
九种触摸操作分别为点击、双击、长按、上滑、下滑、左滑、右滑、缩放和拖动九种触摸操作；九种触摸操作的特征范围如表1；
表1九种触摸操作特征范围
Figure BDA0002672939760000021
(1)从智能手机操作系统的日志文件中提取触摸操作日志
读取时间长度至少为十分钟的智能手机操作系统日志，分析智能手机操作系统日志中记录的属性，按步骤(0)中的定义对操作系统日志进行分析，得到该时段内的一连串触摸操作日志；
(2)切割触摸操作日志
在获得一定时段内的触摸操作日志后，从第一个触摸操作开始，用长度为N的窗口切割触摸操作日志，即每次移动N个触摸操作，N≥32的整数；以N切割后得到若干触摸操作序列，除最后一个触摸操作序列之外，其余的触摸操作序列的长度均即触摸操作序列所含的触摸操作均不小于32个；对一个触摸操作序列X，记其中的第n个触摸操作为Xn(n＝1,2,…,N)，且第n个触摸操作Xn包含九个属性，即Xn＝[Xn 1,Xn 2,Xn 3,Xn 4,Xn 5,Xn 6,Xn 7,Xn 8,Xn 9]，这九个属性分别表示第n个触摸操作的开始时刻、结束时刻、开始坐标x、开始坐标y、结束坐标x、结束坐标y、移动距离、移动角度和平均速度；
(3)建立情境识别模型
针对每个触摸操作序列X，以长短时记忆单元(LSTM)为基础，对双层双向长短时记忆网络(BiLD-LSTM)叠加注意力机制(Attention)，形成叠加注意力机制的双层双向长短时记忆网络BiLD-LSTM+Attention进行情境识别；
对于BiLD-LSTM+Attention情境识别模型，其输入是触摸操作序列X，输出是该触摸操作序列X对应的情境，所述的情境有六种，分别为：短视频、游戏、购物、社交、学习和浏览；
情境识别模型分为5个部分：
(3.1)输入注意力强化层
触摸操作Xn的属性权重βn，由触摸操作Xn-1的属性权重βn-1和当前触摸操作Xn确定；βn按照公式(1)、(2)进行计算，其中n＝1,2,…,N，X0为零向量，β0为零向量；
Figure BDA0002672939760000022
Figure BDA0002672939760000031
其中，tanh为双曲正切函数，“·”为点乘运算，en是βn标准化之前的形式，p＝1,2,…,9；9表示触摸操作Xn的9个属性，Wβ、WX和We是输入注意力强化层中待学习的权重矩阵，在模型训练前先初始化为零矩阵；
触摸操作序列X经过输入注意力强化层强化后的结果记为
Figure BDA00026729397600000314
其计算方式如公式(3)：
Figure BDA0002672939760000032
其中，“×”是叉乘运算，
Figure BDA0002672939760000033
是增加了权重βn后的Xn，然后将
Figure BDA0002672939760000034
作为BiLD-LSTM中的第一层BiLSTM的输入；
(3.2)第一层BiLSTM
第一层BiLSTM中的输入是上一层输入注意力强化层的输出
Figure BDA0002672939760000035
每一层BiLSTM均包含一个前向的LSTM单元层和一个后向的LSTM单元层；前向的LSTM单元层正向读取
Figure BDA0002672939760000036
中的每个触摸操作
Figure BDA0002672939760000037
并依次输出其对应的隐藏状态，表示为h1 (1,f),…,hn (1,f),…,hN (1,f)；后向的LSTM单元层反向读取
Figure BDA0002672939760000038
中的每个触摸操作
Figure BDA0002672939760000039
并依次输出其对应的隐藏状态，表示为h1 (1 ,b),…,hn (1,b),…,hN (1,b)；
因此，对于
Figure BDA00026729397600000310
第一层BiLSTM输出了两组隐藏状态，分别是h1 (1,f),…,hn (1,f),…,hN (1,f)和h1 (1,b),…,hn (1,b),…,hN (1,b)；
第一层BiLSTM获得的两组隐藏状态作为情境相关的触摸操作特征，该特征将用于第二层BiLSTM的时序特征提取；
(3.3)第二层BiLSTM
由于第一层BiLSTM仅使用触摸操作的原始属性作为触摸操作特征，为了更深入地学习触摸操作序列的隐含时序特性，本发明引入第二层BiLSTM；本发明将第一层BiLSTM输出的两组隐藏状态h1 (1,f),…,hn (1,f),…,hN (1,f)和h1 (1,b),…,hn (1,b),…,hN (1,b)作为第二层BiLSTM的输入，输出为拼接向量H＝[H1,…,Hn,…,HN]，表示BiLSTM从触摸操作序列中学习到的时序信息，其中Hn＝[hn (2,f),hn (2,b)]；并将H作为时序注意力强化层的输入；
(3.4)时序注意力强化层
以第二层BiLSTM输出的拼接向量H作为时序注意力强化层的输入，对于H中的每个Hn，时序注意力强化层通过一维权重αn(αn∈[0,1])评估第n个触摸操作的重要性；若αn越接近1，则说明第n个触摸操作对分类结果的影响越大，αn按照公式(4)和(5)进行计算：
Figure BDA00026729397600000311
Figure BDA00026729397600000312
其中，Wα是时序注意力强化层待学习的权重矩阵，在模型训练前先初始化为零矩阵；score()函数是双线性函数，能够将向量Hn和Ht(t＝1,2,…,N)映射为一个一维实数；
时序注意力强化层的输出
Figure BDA00026729397600000313
是增加了权重αn后的Hn；其计算方式如公式(6)：
Figure BDA0002672939760000041
最后，本发明将全部的
Figure BDA0002672939760000042
拼接为向量
Figure BDA0002672939760000043
作为BiLD-LSTM+Attention模型中Softmax分类层的输入；
(3.5)Softmax分类层
以时序注意力强化层的拼接向量
Figure BDA0002672939760000044
作为Softmax分类层的输入，其输出
Figure BDA0002672939760000045
是通过公式(7)计算得到：
Figure BDA0002672939760000046
其中，Ws和bs是待学习的权重矩阵，在模型训练前先初始化为零矩阵；
Figure BDA0002672939760000047
表示模型判定触摸操作序列分别为短视频、游戏、购物、社交、学习和浏览的概率，即
Figure BDA0002672939760000048
Figure BDA0002672939760000049
最后，将
Figure BDA00026729397600000410
所对应的情境作为模型识别该触摸操作序列的最终结果；
(4)情境识别模型的训练
选取短视频、游戏、购物、社交、学习和浏览六种情景的六类APP，并获取这六类APP在使用过程中产生的安卓日志，按照步骤(0)、(1)的方式提取出触摸操作序列，并按照步骤(2)的方式进行分割；对步骤(3)建立的情境识别模型进行训练，使模型学习到六个情境各自的触摸操作特征(例如短视频情境的特征为其会包含大量的上滑操作)；
(5)智能手机使用情境识别
以上步骤使用BiLD-LSTM+Attention模型建立并训练出一个情境识别模型，之后按照步骤(1)的方式从智能手机操作系统的日志文件中提取一定时段内触摸操作日志，并按照步骤(2)的方式进行分割；利用步骤(4)训练的情境识别模型对一定时段内的每个触摸操作序列进行使用情境识别。
所述的基于触摸行为序列的智能手机使用情境识别方法，其特征在于还包括(6)情境使用时长统计
在识别出一定时段内的每个触摸操作序列的对应情境后，按照情境分类进一步统计用户使用智能手机的情境时长分布，从而实现用户能够直接了解自己使用每种情境的时长，辅助用户合理规划手机使用时间，培养良好的手机使用习惯。
发明优点
本发明致力于解决上述问题，以短视频、游戏、购物、社交、学习和浏览等情境为主要研究对象，基于智能手机记录的用户与屏幕的触摸事件，开展识别应用内情境的发明工作。本发明能对手机应用内情境进行高精度的细分，并且不涉及用户隐私。该发明能够为用户提供以情境为类别的智能手机使用时间的精细化分布，从而辅助用户合理规划使用手机的时长，培养良好的手机使用习惯。
随着各类小程序内嵌于单个应用中，应用软件的用户交互体验越发趋向“单应用，多情境”。应用软件向多情境化发展的速度十分迅速，而用户对时间管理的真实需求却没有得到相应的重视。以应用作为基本单位进行划分的旧式时间管理方法，已经难以满足用户对效率的新需求。用户更希望得到手机使用情境的数据分析，而非简单的以应用的使用情况来判断当天的办事效率。
本发明在不侵犯用户隐私，不需要重新开发手机应用的条件下，创造性地使用智能手机操作系统的原有日志，设计触摸操作提取、触摸操作基本序列分割、情境识别模型，完成了触摸操作基本序列的情境识别，并在此基础上，实现一定时段内用户使用手机情境时长的统计。本发明对智能手机时间管理类应用进行了补充和发展，满足了用户因互联网技术的发展而产生的新需求，能够有效的帮助用户提高学习、办公效率。
本发明基于现有的智能手机系统日志进行后台处理，嵌入性好，不会对用户现有的操作习惯产生影响；该触摸情境识别算法可在手机中离线处理，避免上传，有效的保护了用户的隐私；从手机系统日志提取触摸操作及基本序列的计算开销小，计算速度快，能量和时间开销较小；所设计的叠加注意力机制的双层双向长短时记忆网络识别模型，实现了单一应用内的情境识别，识别精度高。
本发明基于基本触摸操作序列的情境识别结果，进一步分析用户使用智能手机时的情境时间分布，从而辅助用户合理规划手机各情境的使用时长，让用户养成良好的手机使用习惯；用户无需使用额外硬件设备，也无需改变现有的手机使用习惯，就可以更加自然、智能、准确的知晓手机情境使用情况。
附图说明
图1本发明的总体流程图
图2本发明中触摸操作的提取流程图
图3本发明从样本中切割基本触摸操作序列单元的流程
图4本发明中BiLD-LSTM+Attention模型的结构图
图5本发明中构建的双层双向LSTM网络结构图
具体实施方式
本发明的基于触摸行为序列的智能手机使用情境识别方法，主要包括以下个步骤，步骤图参见图1：
(0)定义交互方式中的九种触摸操作
九种触摸操作分别为点击、双击、长按、上滑、下滑、左滑、右滑、缩放和拖动九种触摸操作(本发明中触摸操作的提取流程见图2)；九种触摸操作的特征范围如表1。
智能手机操作系统日志记录了手机运行过程中发生的全部事件，包括应用占据屏幕的起止时刻以及触摸事件等。本发明通过分析智能手机操作系统日志中记录的属性进行触摸操作的提取，属性主要包括触摸操作的按下时刻、抬起时刻、按下横坐标、按下纵坐标、抬起横坐标、抬起纵坐标、手指数量等。再通过这些属性计算出两次独立操作的时间间隔、按下到抬起到时间间隔、手指滑动的距离、手指滑动的方向、手指滑动的角度与速度、单指或多指操作等特征，最终归类出九种触摸交互方式，分别为点击、双击、长按、上滑、下滑、左滑、右滑、缩放和拖动等九种触摸操作。因此，当读取一定时段内的智能手机操作系统日志后，本发明将能够提取出日志内隐藏的触摸操作，生成触摸操作日志的具体内容参见表2。
表1九种触摸操作特征范围
Figure BDA0002672939760000061
表2触摸事件日志
Figure BDA0002672939760000062
(1)从智能手机操作系统的日志文件中提取触摸操作日志
读取时间长度至少为十分钟的智能手机操作系统日志，分析智能手机操作系统日志中记录的属性，按步骤(0)中的定义对操作系统日志进行分析，得到该时段内的一连串触摸操作日志。
由于情境识别需要以触摸操作序列为基本单位，因此本发明从触摸操作日志中分割出固定长度的基本触摸操作序列。基本触摸操作序列的长度将直接影响情境判定的效果。虽然序列长度边长能够提高单一情境的识别准确度，但也容易造成序列中包含进用户手机情境的转换操作。本发明针对短视频、游戏、购物、社交、学习和浏览等多类别情境进行逐类分析，按照每类情境下整体的触摸操作类型比例与基本触摸操作序列的操作类型比例一致的原则，通过评估整体和基本触摸操作序列的比例向量相似性，确定了基本触摸序列的长度为不多于N个触摸操作。
(2)切割触摸操作日志
在获得一定时段内的触摸操作日志后，从第一个触摸操作开始，用长度为N的窗口切割触摸操作日志，即每次移动N个触摸操作，N≥32的整数；以N切割后得到若干触摸操作序列，除最后一个触摸操作序列之外，其余的触摸操作序列的长度均即触摸操作序列所含的触摸操作均不小于32个；对一个触摸操作序列X，记其中的第n个触摸操作为Xn(n＝1,2,…,N)，且第n个触摸操作Xn包含九个属性，即Xn＝[Xn 1,Xn 2,Xn 3,Xn 4,Xn 5,Xn 6,Xn 7,Xn 8,Xn 9]，这九个属性分别表示第n个触摸操作的开始时刻、结束时刻、开始坐标x、开始坐标y、结束坐标x、结束坐标y、移动距离、移动角度和平均速度(本发明从样本中切割基本触摸操作序列单元的流程见图3)。
本发明在获得一定时段内的触摸操作日志的基础上，将按照图3所示进行基本触摸操作序列的切割。从触摸操作日志的第一个触摸操作开始，用长度为N的窗口切割触摸操作日志，得到第1个基本触摸操作序列。然后，滑动窗口向后移动N个触摸操作，再次切割触摸操作日志，得到第2个基本触摸操作序列，不断重复上述过程，直到余下的触摸操作日志中的触摸操作数量小于等于N时作为最后一个触摸操作基本序列。通过该方法，本发明将一定时段内的触摸操作日志转换为多个触摸操作基本序列。
(3)建立情境识别模型
针对每个触摸操作序列X，以长短时记忆单元(LSTM)为基础，对双层双向长短时记忆网络(BiLD-LSTM)叠加注意力机制(Attention)，形成叠加注意力机制的双层双向长短时记忆网络BiLD-LSTM+Attention进行情境识别(本发明中BiLD-LSTM+Attention模型的结构见图4，BiLD-LSTM网络结构参见图5)。
对于BiLD-LSTM+Attention情境识别模型，其输入是触摸操作序列X，输出是该触摸操作序列X对应的情境，所述的情境有六种，分别为：短视频、游戏、购物、社交、学习和浏览；双层设计用于提取触摸操作序列中隐藏的用户触摸行为的内在空间变换特征；双向设计用于表达用户触摸操作之间的内在时序特征。
情境识别模型分为5个部分：
(3.1)输入注意力强化层
基本触摸操作序列中的每个触摸操作事件均包含触摸操作的按下时刻、抬起时刻、按下横坐标、按下纵坐标、抬起横坐标、抬起纵坐标、手指数量等属性，针对每一个属性采用注意力机制进行强化。
触摸操作Xn的属性权重βn，由触摸操作Xn-1的属性权重βn-1和当前触摸操作Xn确定；βn按照公式(1)、(2)进行计算，其中n＝1,2,…,N，X0为零向量，β0为零向量；
Figure BDA0002672939760000081
Figure BDA0002672939760000082
其中，tanh为双曲正切函数，“·”为点乘运算，en是βn标准化之前的形式，p＝1,2,…,9；9表示触摸操作Xn的9个属性，Wβ、WX和We是输入注意力强化层中待学习的权重矩阵，在模型训练前先初始化为零矩阵；
触摸操作序列X经过输入注意力强化层强化后的结果记为
Figure BDA0002672939760000083
其计算方式如公式(3)：
Figure BDA0002672939760000084
其中，“×”是叉乘运算，
Figure BDA0002672939760000085
是增加了权重βn后的Xn，然后将
Figure BDA0002672939760000086
作为BiLD-LSTM中的第一层BiLSTM的输入；
(3.2)第一层BiLSTM
第一层BiLSTM中的输入是上一层输入注意力强化层的输出
Figure BDA0002672939760000087
每一层BiLSTM均包含一个前向的LSTM单元层和一个后向的LSTM单元层；前向的LSTM单元层正向读取
Figure BDA0002672939760000088
中的每个触摸操作
Figure BDA0002672939760000089
并依次输出其对应的隐藏状态，表示为h1 (1,f),…,hn (1,f),…,hN (1,f)；后向的LSTM单元层反向读取
Figure BDA00026729397600000810
中的每个触摸操作
Figure BDA00026729397600000811
并依次输出其对应的隐藏状态，表示为h1 (1 ,b),…,hn (1,b),…,hN (1,b)；
因此，对于
Figure BDA00026729397600000812
第一层BiLSTM输出了两组隐藏状态，分别是h1 (1,f),…,hn (1,f),…,hN (1,f)和h1 (1,b),…,hn (1,b),…,hN (1,b)；
第一层BiLSTM获得的两组隐藏状态作为情境相关的触摸操作特征，该特征将用于第二层BiLSTM的时序特征提取；
(3.3)第二层BiLSTM
由于第一层BiLSTM仅使用触摸操作的原始属性作为触摸操作特征，为了更深入地学习触摸操作序列的隐含时序特性，本发明引入第二层BiLSTM；本发明将第一层BiLSTM输出的两组隐藏状态h1 (1,f),…,hn (1,f),…,hN (1,f)和h1 (1,b),…,hn (1,b),…,hN (1,b)作为第二层BiLSTM的输入，输出为拼接向量H＝[H1,…,Hn,…,HN]，表示BiLSTM从触摸操作序列中学习到的时序信息，其中Hn＝[hn (2,f),hn (2,b)]；并将H作为时序注意力强化层的输入(本发明中构建的BiLD-LSTM结构见图5)；
(3.4)时序注意力强化层
在不同的情景中，基本单元里每个时间步对分类结果准确率的影响程度不同，因此本发明针对每一个时间步采取时序注意力机制强化。以第二层BiLSTM输出的拼接向量H作为时序注意力强化层的输入，对于H中的每个Hn，时序注意力强化层通过一维权重αn(αn∈[0,1])评估第n个触摸操作的重要性；若αn越接近1，则说明第n个触摸操作对分类结果的影响越大，αn按照公式(4)和(5)进行计算：
Figure BDA0002672939760000091
Figure BDA0002672939760000092
其中，Wα是时序注意力强化层待学习的权重矩阵，在模型训练前先初始化为零矩阵；score()函数是双线性函数，能够将向量Hn和Ht(t＝1,2,…,N)映射为一个一维实数；
时序注意力强化层的输出
Figure BDA0002672939760000093
是增加了权重αn后的Hn；其计算方式如公式(6)：
Figure BDA0002672939760000094
最后，本发明将全部的
Figure BDA0002672939760000095
拼接为向量
Figure BDA0002672939760000096
作为BiLD-LSTM+Attention模型中Softmax分类层的输入。
(3.5)Softmax分类层
以时序注意力强化层的拼接向量
Figure BDA0002672939760000097
作为Softmax分类层的输入，其输出
Figure BDA0002672939760000098
是通过公式(7)计算得到：
Figure BDA0002672939760000099
其中，Ws和bs是待学习的权重矩阵，在模型训练前先初始化为零矩阵；
Figure BDA00026729397600000910
表示模型判定触摸操作序列分别为短视频、游戏、购物、社交、学习和浏览的概率，即
Figure BDA00026729397600000911
Figure BDA00026729397600000912
最后，将
Figure BDA00026729397600000913
所对应的情境作为模型识别该触摸操作序列的最终结果；
(4)情境识别模型的训练
选取短视频、游戏、购物、社交、学习和浏览六种情景的六类APP，并获取这六类APP在使用过程中产生的安卓日志，按照步骤(0)、(1)的方式提取出触摸操作序列，并按照步骤(2)的方式进行分割；对步骤(3)建立的情境识别模型进行训练，使模型学习到六个情境各自的触摸操作特征(例如短视频情境的特征为其会包含大量的上滑操作)；
(5)智能手机使用情境识别
以上步骤使用BiLD-LSTM+Attention模型建立并训练出一个情境识别模型，之后按照步骤(1)的方式从智能手机操作系统的日志文件中提取一定时段内触摸操作日志，并按照步骤(2)的方式进行分割；利用步骤(4)训练的情境识别模型对一定时段内的每个触摸操作序列进行使用情境识别；
(6)情境使用时长统计
在识别出一定时段内的每个触摸操作序列的对应情境后，按照情境分类进一步统计用户使用智能手机的情境时长分布，从而实现用户能够直接了解自己使用每种情境的时长，辅助用户合理规划手机使用时间，培养良好的手机使用习惯。

Claims (2)

1.基于触摸行为序列的智能手机使用情境识别方法，其特征在于包括以下步骤：
(0)定义交互方式中的九种触摸操作
九种触摸操作分别为点击、双击、长按、上滑、下滑、左滑、右滑、缩放和拖动九种触摸操作；九种触摸操作的特征范围如表1；
表1 九种触摸操作特征范围
Figure FDA0002672939750000011
(1)从智能手机操作系统的日志文件中提取触摸操作日志
读取时间长度至少为十分钟的智能手机操作系统日志，分析智能手机操作系统日志中记录的属性，按步骤(0)中的定义对操作系统日志进行分析，得到该时段内的一连串触摸操作日志；
(2)切割触摸操作日志
在获得一定时段内的触摸操作日志后，从第一个触摸操作开始，用长度为N的窗口切割触摸操作日志，即每次移动N个触摸操作，N≥32的整数；以N切割后得到若干触摸操作序列，除最后一个触摸操作序列之外，其余的触摸操作序列的长度均即触摸操作序列所含的触摸操作均不小于32个；对一个触摸操作序列X，记其中的第n个触摸操作为Xn(n＝1,2,…,N)，且第n个触摸操作Xn包含九个属性，即Xn＝[Xn 1,Xn 2,Xn 3,Xn 4,Xn 5,Xn 6,Xn 7,Xn 8,Xn 9]，这九个属性分别表示第n个触摸操作的开始时刻、结束时刻、开始坐标x、开始坐标y、结束坐标x、结束坐标y、移动距离、移动角度和平均速度；
(3)建立情境识别模型
针对每个触摸操作序列X，以长短时记忆单元(LSTM)为基础，对双层双向长短时记忆网络(BiLD-LSTM)叠加注意力机制(Attention)，形成叠加注意力机制的双层双向长短时记忆网络BiLD-LSTM+Attention进行情境识别；
对于BiLD-LSTM+Attention情境识别模型，其输入是触摸操作序列X，输出是该触摸操作序列X对应的情境，所述的情境有六种，分别为：短视频、游戏、购物、社交、学习和浏览；
情境识别模型分为5个部分：
(3.1)输入注意力强化层
触摸操作Xn的属性权重βn，由触摸操作Xn-1的属性权重βn-1和当前触摸操作Xn确定；βn按照公式(1)、(2)进行计算，其中n＝1,2,…,N，X0为零向量，β0为零向量；
Figure FDA0002672939750000021
Figure FDA0002672939750000022
其中，tanh为双曲正切函数，“·”为点乘运算，en是βn标准化之前的形式，p＝1,2,…,9；
9表示触摸操作Xn的9个属性，Wβ、WX和We是输入注意力强化层中待学习的权重矩阵，
在模型训练前先初始化为零矩阵；
触摸操作序列X经过输入注意力强化层强化后的结果记为
Figure FDA00026729397500000211
其计算方式如公式(3)：
Figure FDA0002672939750000025
其中，“×”是叉乘运算，
Figure FDA0002672939750000026
是增加了权重βn后的Xn，然后将
Figure FDA00026729397500000212
作为BiLD-LSTM中的第一层BiLSTM的输入；
(3.2)第一层BiLSTM
第一层BiLSTM中的输入是上一层输入注意力强化层的输出
Figure FDA00026729397500000213
每一层BiLSTM均包含一个前向的LSTM单元层和一个后向的LSTM单元层；前向的LSTM单元层正向读取
Figure FDA00026729397500000214
中的每个触摸操作
Figure FDA0002672939750000027
并依次输出其对应的隐藏状态，表示为h1 (1,f),…,hn (1,f),…,hN (1,f)；后向的LSTM单元层反向读取
Figure FDA0002672939750000028
中的每个触摸操作
Figure FDA00026729397500000210
并依次输出其对应的隐藏状态，表示为h1 (1,b),…,hn (1,b),…,hN (1,b)；
因此，对于
Figure FDA0002672939750000029
第一层BiLSTM输出了两组隐藏状态，分别是h1 (1,f),…,hn (1,f),…,hN (1,f)和h1 (1,b),…,hn (1,b),…,hN (1,b)；
第一层BiLSTM获得的两组隐藏状态作为情境相关的触摸操作特征，该特征将用于第二层BiLSTM的时序特征提取；
(3.3)第二层BiLSTM
由于第一层BiLSTM仅使用触摸操作的原始属性作为触摸操作特征，为了更深入地学习触摸操作序列的隐含时序特性，本发明引入第二层BiLSTM；本发明将第一层BiLSTM输出的两组隐藏状态h1 (1,f),…,hn (1,f),…,hN (1,f)和h1 (1,b),…,hn (1,b),…,hN (1,b)作为第二层BiLSTM的输入，输出为拼接向量H＝[H1,…,Hn,…,HN]，表示BiLSTM从触摸操作序列中学习到的时序信息，其中Hn＝[hn (2,f),hn (2,b)]；并将H作为时序注意力强化层的输入；
(3.4)时序注意力强化层
以第二层BiLSTM输出的拼接向量H作为时序注意力强化层的输入，对于H中的每个Hn，时序注意力强化层通过一维权重αn(αn∈[0,1])评估第n个触摸操作的重要性；若αn越接近1，则说明第n个触摸操作对分类结果的影响越大，αn按照公式(4)和(5)进行计算：
Figure FDA0002672939750000023
Figure FDA0002672939750000024
其中，Wα是时序注意力强化层待学习的权重矩阵，在模型训练前先初始化为零矩阵；score()函数是双线性函数，能够将向量Hn和Ht(t＝1,2,…,N)映射为一个一维实数；
时序注意力强化层的输出
Figure FDA0002672939750000033
是增加了权重αn后的Hn；其计算方式如公式(6)：
Figure FDA0002672939750000031
最后，本发明将全部的
Figure FDA0002672939750000034
拼接为向量
Figure FDA0002672939750000035
作为BiLD-LSTM+Attention模型中Softmax分类层的输入；
(3.5)Softmax分类层
以时序注意力强化层的拼接向量
Figure FDA00026729397500000310
作为Softmax分类层的输入，其输出
Figure FDA00026729397500000311
是通过公式(7)计算得到：
Figure FDA0002672939750000032
其中，Ws和bs是待学习的权重矩阵，在模型训练前先初始化为零矩阵；
Figure FDA0002672939750000038
表示模型判定触摸操作序列分别为短视频、游戏、购物、社交、学习和浏览的概率，即
Figure FDA0002672939750000039
Figure FDA0002672939750000036
最后，将
Figure FDA0002672939750000037
所对应的情境作为模型识别该触摸操作序列的最终结果；
(4)情境识别模型的训练
选取短视频、游戏、购物、社交、学习和浏览六种情景的六类APP，并获取这六类APP在使用过程中产生的安卓日志，按照步骤(0)、(1)的方式提取出触摸操作序列，并按照步骤(2)的方式进行分割；对步骤(3)建立的情境识别模型进行训练，使模型学习到六个情境各自的触摸操作特征；
(5)智能手机使用情境识别
以上步骤使用BiLD-LSTM+Attention模型建立并训练出一个情境识别模型，之后按照步骤(1)的方式从智能手机操作系统的日志文件中提取一定时段内触摸操作日志，并按照步骤(2)的方式进行分割；利用步骤(4)训练的情境识别模型对一定时段内的每个触摸操作序列进行使用情境识别。
2.如权利要求1所述的基于触摸行为序列的智能手机使用情境识别方法，其特征在于还包括(6)情境使用时长统计
在识别出一定时段内的每个触摸操作序列的对应情境后，按照情境分类进一步统计用户使用智能手机的情境时长分布，从而实现用户能够直接了解自己使用每种情境的时长，辅助用户合理规划手机使用时间，培养良好的手机使用习惯。
CN202010938901.0A 2020-09-09 2020-09-09 基于触摸行为序列的智能手机使用情境识别方法 Active CN112073582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010938901.0A CN112073582B (zh) 2020-09-09 2020-09-09 基于触摸行为序列的智能手机使用情境识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010938901.0A CN112073582B (zh) 2020-09-09 2020-09-09 基于触摸行为序列的智能手机使用情境识别方法

Publications (2)

Publication Number Publication Date
CN112073582A true CN112073582A (zh) 2020-12-11
CN112073582B CN112073582B (zh) 2021-04-06

Family

ID=73662872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010938901.0A Active CN112073582B (zh) 2020-09-09 2020-09-09 基于触摸行为序列的智能手机使用情境识别方法

Country Status (1)

Country Link
CN (1) CN112073582B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709311A (zh) * 2021-07-09 2021-11-26 深圳市赛云数据有限公司 一种虚拟运营商增值服务的用户合法化运营业务平台

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137424A1 (en) * 2016-11-17 2018-05-17 General Electric Company Methods and systems for identifying gaps in predictive model ontology
US20190095817A1 (en) * 2017-09-22 2019-03-28 Splunk Inc. Distributed data processing for machine learning
CN109670174A (zh) * 2018-12-14 2019-04-23 腾讯科技（深圳）有限公司 一种事件识别模型的训练方法和装置
CN109951363A (zh) * 2019-01-23 2019-06-28 深圳绿米联创科技有限公司 数据处理方法、装置及系统
CN110415702A (zh) * 2019-07-04 2019-11-05 北京搜狗科技发展有限公司 训练方法和装置、转换方法和装置
WO2019212567A1 (en) * 2018-05-04 2019-11-07 Google Llc Invoking automated assistant function(s) based on detected gesture and gaze
CN110599557A (zh) * 2017-08-30 2019-12-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
US20200045049A1 (en) * 2018-07-31 2020-02-06 Splunk Inc. Facilitating detection of suspicious access to resources
CN111008278A (zh) * 2019-11-22 2020-04-14 厦门美柚股份有限公司 内容推荐方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180137424A1 (en) * 2016-11-17 2018-05-17 General Electric Company Methods and systems for identifying gaps in predictive model ontology
CN110599557A (zh) * 2017-08-30 2019-12-20 深圳市腾讯计算机系统有限公司 图像描述生成方法、模型训练方法、设备和存储介质
US20190095817A1 (en) * 2017-09-22 2019-03-28 Splunk Inc. Distributed data processing for machine learning
WO2019212567A1 (en) * 2018-05-04 2019-11-07 Google Llc Invoking automated assistant function(s) based on detected gesture and gaze
US20200045049A1 (en) * 2018-07-31 2020-02-06 Splunk Inc. Facilitating detection of suspicious access to resources
CN109670174A (zh) * 2018-12-14 2019-04-23 腾讯科技（深圳）有限公司 一种事件识别模型的训练方法和装置
CN109951363A (zh) * 2019-01-23 2019-06-28 深圳绿米联创科技有限公司 数据处理方法、装置及系统
CN110415702A (zh) * 2019-07-04 2019-11-05 北京搜狗科技发展有限公司 训练方法和装置、转换方法和装置
CN111008278A (zh) * 2019-11-22 2020-04-14 厦门美柚股份有限公司 内容推荐方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709311A (zh) * 2021-07-09 2021-11-26 深圳市赛云数据有限公司 一种虚拟运营商增值服务的用户合法化运营业务平台

Also Published As

Publication number Publication date
CN112073582B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
US11893071B2 (en) Content recommendation method and apparatus, electronic device, and storage medium
CN111126069B (zh) 一种基于视觉对象引导的社交媒体短文本命名实体识别方法
CN109460737A (zh) 一种基于增强式残差神经网络的多模态语音情感识别方法
CN110032632A (zh) 基于文本相似度的智能客服问答方法、装置及存储介质
CN108073568A (zh) 关键词提取方法和装置
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN107491436A (zh) 一种标题党识别方法和装置、服务器、存储介质
US11841839B1 (en) Preprocessing and imputing method for structural data
CN104933622A (zh) 一种基于用户和微博主题的微博流行度预测方法及系统
CN107742095A (zh) 基于卷积神经网络的汉语手语识别方法
CN106202073A (zh) 音乐推荐方法及系统
CN113395578A (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
CN111061837A (zh) 话题识别方法、装置、设备及介质
CN112073582B (zh) 基于触摸行为序列的智能手机使用情境识别方法
CN110032948B (zh) 一种基于交互时序信息的草图手势识别方法
CN113297486B (zh) 一种点击率预测方法及相关装置
CN117520522B (zh) 一种基于rpa和ai结合的智能对话方法、装置及电子设备
CN113569118B (zh) 自媒体推送方法、装置、计算机设备及存储介质
CN111797801B (zh) 用于视频场景分析的方法和装置
Gao et al. Chinese character components segmentation method based on faster RCNN
CN113034193A (zh) 一种app2vec在风控系统中建模的工作方法
CN112966756A (zh) 一种可视化的准入规则的生成方法、装置、机器可读介质及设备
CN106446696A (zh) 一种信息处理方法及电子设备
CN115016641A (zh) 基于手势识别的会议控制方法、装置、会议系统和介质
CN114118299A (zh) 一种结合相似性度量和社区发现的聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant