CN110300230B - 应用控制方法、装置、存储介质以及终端 - Google Patents

应用控制方法、装置、存储介质以及终端 Download PDF

Info

Publication number
CN110300230B
CN110300230B CN201910585211.9A CN201910585211A CN110300230B CN 110300230 B CN110300230 B CN 110300230B CN 201910585211 A CN201910585211 A CN 201910585211A CN 110300230 B CN110300230 B CN 110300230B
Authority
CN
China
Prior art keywords
terminal
state
data
user
motion state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910585211.9A
Other languages
English (en)
Other versions
CN110300230A (zh
Inventor
刘定俊
袁义龙
田野
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910585211.9A priority Critical patent/CN110300230B/zh
Publication of CN110300230A publication Critical patent/CN110300230A/zh
Application granted granted Critical
Publication of CN110300230B publication Critical patent/CN110300230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种应用控制方法、装置、存储介质以及终端,属于人工智能技术领域。方法包括:在显示交互画面的过程中,获取终端状态信息,所述交互画面由终端上当前处于运行状态的交互应用提供;当所述终端状态信息指示所述终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作,显示与所述终端状态信息匹配的锁定画面;其中,所述目标状态为非静止状态或处于特定地理环境中。本申请基于终端状态信息自动地在用户处于非安全状态下对交互应用进行锁定,也即根据终端所处的场景自动在非安全状态下禁止用户使用交互应用,以让用户集中关注周围环境,避免用户过度沉浸于终端,保障了用户在使用终端时的人身安全,对终端的操控效果佳。

Description

应用控制方法、装置、存储介质以及终端
技术领域
本申请涉及人工智能技术领域,特别涉及一种应用控制方法、装置、存储介质以及终端。
背景技术
随着智能终端产品在人群中的迅速普及以及移动应用的不断推陈出新,时下越来越多的用户倾向于通过安装在智能终端上的移动应用进行娱乐消遣,但是,在某些情形下用户的上述行为可能会给自身带来很大的安全隐患。
以用户通过手机进行游戏为例,在静止、行车或者行走等状态下用户均有可能玩游戏,当用户在行车或行走等非静止状态下玩游戏时,由于无法及时对周围环境的变化进行感知和响应,因此用户的上述行为可能会严重危害到自身的人身安全。基于此,如何针对不同场景对应用进行不同的控制,以保障用户在使用终端时的人身安全,成为了本领域技术人员亟待解决的一个问题。
发明内容
本申请实施例提供了一种应用控制方法、装置、存储介质以及终端,能够保障用户在使用终端时的人身安全,效果较佳。所述技术方案如下:
一方面,提供了一种应用控制方法,所述方法包括:
在显示交互画面的过程中,获取终端状态信息,所述交互画面由终端上当前处于运行状态的交互应用提供;
当所述终端状态信息指示所述终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作,显示与所述终端状态信息匹配的锁定画面;
其中,所述目标状态为非静止状态或处于特定地理环境中。
另一方面,提供了一种应用控制装置,所述装置包括:
获取模块,用于在显示交互画面的过程中,获取终端状态信息,所述交互画面由终端上当前处于运行状态的交互应用提供;
控制模块,用于当所述终端状态信息指示所述终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作;
显示模块,用于显示与所述终端状态信息匹配的锁定画面;
其中,所述目标状态为非静止状态或处于特定地理环境中。
在一种可能的实现方式中,所述获取模块,还用于获取所述终端第一时长内的传感器数据,所述传感器数据为所述终端上一个或多个传感器输出的数据;对所述传感器数据进行特征提取,基于提取到的特征向量获取所述终端当前的运动状态;基于所述传感器数据,获取所述终端当前所在地理位置的地理属性。
在一种可能的实现方式中,所述获取模块,还用于将所述特征向量输入机器学习模型中,获取所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值;将概率值最大的运动状态确定为所述终端当前的运动状态,或,将概率值超过第一阈值的运动状态确定为所述终端当前的运动状态。
在一种可能的实现方式中,所述获取模块,还用于获取状态转移矩阵,所述状态转移矩阵给出了由一个运动状态转移至另一个运动状态的转移概率;基于所述终端上一次的运动状态和所述状态转移矩阵,对所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值进行修正。
在一种可能的实现方式中,所述装置还包括:
训练模块,用于对于每个运动状态,获取一个或多个用户在位于所述运动状态下时的样本数据,所述样本数据为相应终端上一个或多个传感器在第二时长内输出的数据;对所述样本数据进行预处理;分别提取预处理后的所述样本数据在时域和频域上的特征,得到所述样本数据的特征向量;基于所述样本数据的特征向量和相应的运动状态标记,训练所述机器学习模型。
在一种可能的实现方式中,所述装置还包括:
异常检测模块,用于在预处理后以及特征提取之前,对于任意一个时间窗口内的样本数据,基于所述时间窗口内样本数据对应在设备坐标系下的加速度数据,获取所述时间窗口内相应终端的平均加速度方向变化;当所述平均加速度方向变化大于第二阈值时,过滤掉所述时间窗口内的样本数据。
在一种可能的实现方式中,所述传感器数据包括加速度传感器输出的第一类数据、陀螺仪传感器输出的第二类数据以及磁场传感器输出的第三类数据;所述获取模块,还用于对所述传感器数据进行重采样;对重采样后的所述第一类数据进行低通滤波,得到重力加速度;基于所述重力加速度和重采样后的所述第三类数据,获取旋转矩阵;基于所述旋转矩阵,将重采样后的所述第一类数据和重采样后的所述第二类数据,由设备坐标系转换至地球坐标系;对地球坐标系下的所述第一类数据和所述第二类数据进行分解,得到预处理后的所述传感器数据;分别提取预处理后的所述传感器数据在时域和频域上的特征,得到所述特征向量。
在一种可能的实现方式中,所述控制模块,还用于在所述交互应用处于非前台运行的过程中,当所述终端状态信息指示所述终端当前处于所述非静止状态或所述特定地理环境中时,在获取到对所述交互应用的应用图标的触发指令后,取消对所述触发指令进行响应。
另一方面,提供了一种存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的应用控制方法。
另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现上述的应用控制方法。
本申请实施例提供的技术方案带来的有益效果是:
在显示交互画面的过程中,本申请实施例会获取终端状态信息,其中,交互画面由终端上当前处于运行状态的交互应用提供;当获取到的终端状态信息指示终端当前处于目标状态下时,终端会自动对当前显示的交互画面执行锁定操作,并显示与获取到的终端状态信息匹配的锁定画面,目标状态为非静止状态或终端处于特定地理环境中,即本申请实施例实现了基于终端状态信息自动地在用户处于非安全状态下时对交互应用进行锁定,也即根据终端所处的场景自动在非安全状态下时禁止用户使用交互应用,以让用户能够集中关注周围的环境,避免用户过度沉浸于终端,保障了用户在使用终端时的人身安全,效果较佳。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种应用控制方法涉及的实施环境的示意图;
图2是本申请实施例提供的一种离线训练阶段以及在线检测阶段的流程示意图;
图3是本申请实施例提供的一种应用控制方法的流程图;
图4是本申请实施例提供的一种坐标系转换的示意图;
图5是本申请实施例提供的一种时域特征和频域特征的示意图;
图6是本申请实施例提供的另一种应用控制方法的流程图;
图7是本申请实施例提供的一种平均加速度方向变化的计算方式示意图;
图8是本申请实施例提供的一种状态转移矩阵的示意图;
图9是本申请实施例提供的一种终端显示界面的示意图;
图10是本申请实施例提供的另一种终端显示界面的示意图;
图11是本申请实施例提供的另一种应用控制方法的流程图;
图12是本申请实施例提供的另一种应用控制方法的流程图;
图13是本申请实施例提供的另一种应用控制方法的流程图;
图14是本申请实施例提供的另一种应用控制方法的流程图;
图15是本申请实施例提供的一种应用控制装置的结构示意图;
图16是本申请实施例提供的一种终端1600的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前,先对本申请实施例涉及到的一些缩略语和关键术语进行定义。
用户:指代终端的持有者。以游戏场景为例,用户也可称之为玩家。
其中,玩家也可称为游戏者,是一种游戏业界与游戏参与者之间的术语。广义上讲,玩家泛指玩游戏的用户,即参与任何形式游戏的人。特殊地,在角色扮演类游戏中,玩家通常在游戏世界中扮演其中的可控角色,通过操作这些可控角色去完成游戏或是自己所设定的目标。此外,部分玩家在角色扮演类游戏中还可以作为主角或是游戏剧情的关键。
总结来讲,玩家是游戏的体验者、使用者、评价者和消费者。根据性格和喜好的差异,不同的玩家喜爱的游戏类型也各不相同。
用户状态信息:在本申请实施例中,用户状态信息包括但不限于:用户当前所处的地理位置的地理属性和用户运动状态。其中,用户运动状态在本文中也称之为用户运动模式。另外,由于用户携带终端,因此用户当前所处的地理环境和用户运动状态与终端当前所处的地理环境和终端运动状态也是一致的,所以用户状态信息也可称之为终端状态信息。
在一种可能的实现方式中,用户运动状态包括但不限于静止、步行、行车、跑步、骑行等五种,地理属性可分为水域、森林、楼房等等,本申请实施例对此不进行具体限定。
交互应用:在一种可能的实现方式中,交互应用是对任何类型游戏应用的统称。相应地,交互活动可指代任何类型的游戏。
手游:通常指代运行在移动终端上的游戏应用。在本申请实施例中,安装有手游的移动终端也称之为手游终端,或简称为终端。
传感器:指代终端内置的可以采集信号,并且能按照一定规律将采集到的信号转换成可用输出信号的器件或装置。通常情况下,这类传感器均是由敏感元件以及转换元件组成。在一种可能的实现方式中,常见的传感器包括但不限于:加速度传感器、陀螺仪传感器和磁场传感器以及GPS(Global Positioning System,全球定位系统)传感器。
在本申请实施例中,加速度传感器可用于获取重力加速度、用户的加速度数据等;磁场传感器可用于获取终端当前的朝向;陀螺仪传感器可用于获取当前终端转动方向的变化趋势;GPS传感器可用于获取终端当前的经纬度、运动速度、高度、运动方向等。
GPS:是一种具有全方位、全天候、全时段、高精度的卫星导航系统,能在室外为全球用户提供低成本、高精度的三维位置、速度和精确定时等导航信息。
机器学习:是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。其是专门研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身性能的技术。其中,机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。
SVM(Support Vector Machine,支持向量机):是一种判别方法,属于机器学习算法的一种。在机器学习领域,SVM模型是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析等。
在本申请实施例中,SVM模型用于分类,以识别用户当前的运动状态。
贝叶斯估计(Bayesian estimation):是利用贝斯定理结合新的证据及以前的先验概率,来得到新的概率。它提供了一种计算假设概率的方法,基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。
下面对本申请实施例提供的应用控制方法涉及的实施环境进行介绍说明。
参见图1,该实施环境包括:第一终端101和第二终端102。
其中,第一终端101负责图2所示的离线训练阶段,第二终端102负责图2所示的在线检测部分。
在本申请实施中,第一终端101为具有机器学习能力的计算机设备,比如,第一终端101可以是个人电脑、服务器等固定式计算机设备,还可以是平板电脑、智能手机等移动式计算机设备,本公开实施例对此不进行具体限定。第二终端102同样为具有机器学习能力的计算机设备,其通常指代智能手机或平板电脑等移动式计算机设备。
第一终端101通过执行图2所示的离线训练阶段,来训练能够识别用户当前运动状态的机器学习模型。其中,该机器学习模型为分类模型,可以输出用户当前处于静止、步行、行车、跑步、骑行等各个运动状态的概率值。
第二终端102用于在实际使用过程中,基于训练好的机器学习模型识别用户当前的运动状态、以及识别用户当前所处的地理环境(比如水域、森林或楼房内等),进而基于用户当前的运动状态或当前所处的地理环境,执行应用控制操作,以保障用户使用第二终端102时的人身安全。
在一种可能的实现方式中,在用户处于非静止状态下时,可以禁止用户使用第二终端102上安装的某些应用,比如禁止使用交互应用;又或者,在用户处于特定的地理环境中时,比如用户当前处于水域,同样可以禁止用户使用第二终端102上安装的某些应用,比如禁止使用交互应用。需要说明的是,在用户处于非静止状态下时或处于特定的地理环境中时,也可禁止使用诸如拨打电话或接听电话等功能,本申请实施例对此不进行具体限定。
而若用户当前为静止状态,或者,用户当前处于非特定的地理环境中时,则可以正常使用第二终端102提供的全部功能。
以游戏场景为例,第一终端101基于图2所示的离线训练阶段进行训练建模,得到可识别各种运动状态的机器学习模型。而第二终端102在集成该机器学习模型后,可识别玩家的各种运动状态。比如,能够识别玩家当前是否处于静止、步行、行车、跑步、骑行等运动状态下。另外,第二终端102还可通过获取玩家当前的地理位置信息,来识别玩家当前是否处于特定的地理环境中。当玩家处于非静止状态或处于特定的地理环境中时,第二终端102可以对玩家当前正在玩的游戏进行锁定,例如,禁止玩家对当前显示的游戏界面进行操作。而当玩家再次处于静止状态或处于非特定的地理环境中时,再取消对游戏的锁定,恢复玩家对游戏的操作权限。该种对终端的操作方式实现了通过限制玩家玩游戏的场景,来保障玩家玩游戏时的人身安全。
以特定的地理环境为水域为例,针对游戏场景,第二终端102可以实时识别用户当前所处的地理环境和当前的运动状态;当用户处于水域或者当前的运动状态为步行、行车、跑步或骑行等非静止状态时,对玩家所玩游戏的游戏界面进行锁定,暂时不允许玩家对游戏进行操作;而当用户出了水域或当前的运动状态为静止时,恢复玩家对游戏的操作权限。
下面对本公开实施例提供的一种应用控制方法进行详细地解释说明。
需要说明的是,下述出现的类似第一、第二、第三、第四等描述,仅是用于区分不同的对象,而不构成任何其他的限定。
图3是根据一示例性实施例示出的一种应用控制方法的流程图,涉及图1所示的第一终端和第二终端,如图3所示,包括以下步骤。
离线训练阶段
301、对于每个运动状态,第一终端获取一个或多个用户在位于该运动状态下时的样本数据,该样本数据为相应终端上一个或多个传感器在第二时长内输出的数据。
本步骤用于收集用户真实运动状态下的各种传感器数据,详细来讲,是获取一个或多个用户在各种真实运动状态下相应终端的传感器数据。即,针对离线训练阶段,用于进行模型训练的传感器数据来自于一个或多个用户在各种真实或实际的运动状态下相应终端的传感器数据。
其中,为了与在线检测阶段的传感器进行区分,此处的传感器数据在本文中统称为样本数据。
在一种可能的实现方式中,上述一个或多个传感器包括但不限于下述传感器中的至少一种:加速度传感器、陀螺仪传感器以及磁场传感器。
作为一个示例,以运动状态分为静止、步行、行车、跑步、骑行等五种为例,则对于这五种运动状态中的每一种运动状态,分别获取一个或多个用户在该种真实运动状态下相应终端一段时长内的传感器数据。比如针对静止状态,获取一个或多个用户在真实静止状态下相应终端一段时长内的传感器数据。
其中,不同终端上的传感器可能机型不同,而不同机型的传感器在进行系统采样时,采样频率可能会不同。
在本申请实施例中,第二时长的取值可为10s(秒)或20s等,本申请实施例对此不进行具体限定。
302、第一终端对获取到的样本数据进行预处理。
在本申请实施例中,数据预处理过程又可进一步地细分为重采样、坐标系转换以及数据转换三个过程。
以获取终端上加速度传感器、陀螺仪传感器以及磁场传感器的输出的数据为例,则获取到的样本数据可按照传感器类型分为三类,分别为加速度传感器输出的第一类数据、陀螺仪传感器输出的第二类数据以及磁场传感器输出的第三类数据。作为一个示例,第一类数据通常为终端的加速度数据,第二类数据通常为终端的角速度数据、第三类数据通常为终端的朝向数据。
3021、对获取到的样本数据进行重采样。
由于不同机型的传感器数据回调频率不一致,因此本申请实施例通过重采样将传感器数据进行对齐,得到统一固定频率的传感器数据。即,以一定频率来重新采样获取到的样本数据。
作为一个示例,采样频率可为25Hz(赫兹),本申请实施例对此不进行具体限定。以25Hz为例,则采用25Hz频率重新采样获取到的样本数据,得到25Hz传感器数据。
其中,上述提及的样本数据或传感器数据均为设备坐标系下的3维数据,包括横轴、竖轴和纵轴方向上的数据。
3022、对重采样后的第一类数据进行低通滤波,得到重力加速度;基于重力加速度和重采样后的第三类数据,获取旋转矩阵。
该步骤即对应坐标系转换过程,参见图4,坐标系转换过程即是将设备坐标系转换为地球坐标系,该过程涉及求解旋转矩阵。
3023、基于旋转矩阵,将重采样后的第一类数据和重采样后的第二类数据,由设备坐标系转换至地球坐标系。
该步骤即对应数据转换过程。其中,地球坐标系下的传感器数据为设备坐标系下的传感器数据与该旋转矩阵的乘积。
3024、对地球坐标系下的第一类数据和第二类数据进行分解,得到预处理后的样本数据。
在本申请实施例中,在对上述数据完成由设备坐标系至地球坐标系的转换后,还可以将转换后的数据进行分解处理。
在一种可能的实现方式中,转换后的加速度数据可以分解为:合成加速度、水平加速度、竖直加速度以及重力夹角;转换后的角速度数据可以分解为:合成角速度、水平角速度以及竖直角速度。相应地,分解后得到的数据即为预处理后的样本数据。
303、第一终端分别提取预处理后的样本数据在时域和频域上的特征,得到该样本数据的特征向量。
在一种可能的实现方式中,可每隔预设时长进行一次特征提取。比如,对每5s的预处理后的样本数据进行一次特征提取,即按照时间窗口对预处理后的样本数据进行特征提取,本申请实施例对此不进行具体限定。
参见图5,在进行时域的特征提取时,可提取诸如均值、方差、变异系数、最大值、最小值、极差、过均值点个数、相邻过均值点的平均跨度等8维特征;在进行频域特征提取时,还需先对预处理后的样本数据进行离散傅里叶变换。其中,提取的频域特征包括但不限于:主频率、幅度的变异系数、平均幅度、最大幅度、平均加权频率、加权频率变异系数、谱熵等7维特征。
作为一个示例,以预处理后的样本数据中包括合成加速度、水平加速度、竖直加速度、重力夹角、合成角速度、水平角速度以及竖直角速度等7类数据为例,则在对上述7类数据分别进行时域和频域的特征提取后,可得到105维的特征向量。例如,在对每5s的预处理后的样本数据进行特征提取后,得到一个105维的特征向量。
304、第一终端基于提取到的特征向量和相应的运动状态标记,训练机器学习模型。
如图2所示,本申请实施例将提取到的特征向量和相应的运动状态标记作为训练数据,来进行离线的模型训练。换一种表达方式,第一终端基于携带有运动状态真值的特征向量进行离线的模型训练,进而得到机器学习模型。其中,该机器学习模型实质为用于识别用户运动状态的分类模型。
其中,采用的分类算法包括但不限于SVM、随机森林或逻辑回归等,本申请实施例对此不进行具体限定。在本申请实施例中,可以模型δ(x1,x2,x3....)指代训练好的机器学习模型,其中,xi为输入的特征向量,i的取值为正整数。作为一个示例,以采用SVM算法为例,则上述机器学习模型为SVM分类模型。
下面对SVM输出概率值的方法进行介绍。在机器学习中,platt scaling(概率输出)是将SVM的输出转化成一种基于类别的概率分布的方法。即,platt scaling本质上是利用一个逻辑回归将SVM的输出映射为概率,因为SVM的输出是样本和决策边界的距离而非概率,输出大于0是正样本,输出小于0是负样本。其中,platt scaling能够训练一个逻辑回归,这个逻辑回归最后输出的概率值即是将标准SVM的输出进行后处理而转换成的后验概率。
以x指代提取到的特征向量,SVM的决策函数的输出结果为f(x),则platt scaling之后预测相应传感器数据为正的概率为:
Figure BDA0002114342250000101
其中,参数A和B是通过上述训练数据训练得到的。
在本申请实施例中,用于用户运动状态通常包括多种,因此SVM分类模型用于进行多分类,包括k个类别。其中,k的取值为正整数。在一种可能的实现方式中,SVM分类模型可采用一对一方式,即在任意两类样本之间设计一个分类器,共k*(k-1)/2个分类器,选择得票最多的类别。
在另一种可能的实现方式中,在上述数据预处理步骤之后和特征提取步骤之前,还包括异常检测步骤。其中,异常检测在本文中也称之为异常事件检测,该异常事件检测过程能够对诸如接听电话、从口袋里或包里掏出终端等异常动作进行检测,并将相应时间窗口内出现异常事件的样本数据进行滤除,不参与模型训练,以避免污染数据进而导致误判。即,参见图6,上述步骤303可被下述步骤305和步骤306替代。
305、在预处理后,对于任意一个时间窗口内的样本数据,基于该时间窗口内样本数据对应在设备坐标系下的加速度数据,获取该时间窗口内相应终端的平均加速度方向变化;当平均加速度方向变化大于第二阈值时,过滤掉该时间窗口内的样本数据。
需要说明的是,本步骤中提及的样本数据指代经过预处理后的样本数据。另外,本步骤中出现的加速度数据指代设备坐标系下未进行数据转换和分解处理的加速度数据,相应终端指代提供该样本数据的终端。其中,第二阈值的取值可为35度,本申请实施例对此不进行具体限定。
在一种可能的实现方式中,可检测短时间内相应终端的平均加速度方向变化;作为一个示例,假设一个时间窗口的时间跨度为5s,则上述提及的短时间内可为2.5s内,本申请实施例对此不进行具体限定。
下面结合图7,对平均加速度方向变化的计算方式进行说明。
图7示出了一个时间窗口内(5.12s)的加速度数据为,以25Hz频率进行重采样为例,则一共包含128个采样数据,共分成图7中所示的三等份,包括前二分之一采样数据、后二分之一采样数据、和以中心采样数据界呈左右对称的二分之一采样数据。
其中,在进行异常事件检测时,对每份采样数据分别进行检测,详细检测过程为:对于每份采样数据,首先计算前半部分数据的平均加速度;之后,计算该份采样数据包含的所有数据的平均加速度;之后,基于前述得到的两个平均加速度,计算平均加速度方向变化。
在每份采样数据对应的平均加速度方向变化中,若有至少一个超出第二阈值,则确定该段时长内发生了异常事件,即用户在该段时间内执行了异常动作,相应时间窗口内的样本数据不参与模型训练。
306、第一终端分别提取过滤后的样本数据在时域和频域上的特征,得到该样本数据的特征向量。
以上便完成了机器学习模型的离线训练,而集成有该机器学习模型的第二终端便可通过下述步骤来识别用户当前的用户状态,即进入在线检测阶段。
在线检测阶段
307、第二终端获取第一时长内的传感器数据。
在本申请实施例中,第一时长内的传感器数据为第二终端上一个或多个传感器输出的数据。在一种可能的实现方式中,该传感器数据包括:加速度传感器输出的第一类数据、陀螺仪传感器输出的第二类数据以及磁场传感器输出的第三类数据。关于每类数据的详细介绍请参见前述步骤302。
其中,第一时长的取值可为5s,本申请实施例对此不进行具体限定。另外,如果是识别目标用户当前的运动状态,则上述传感器数据指代的是第二终端最近5s内的传感器数据。
308、第二终端对获取到的传感器数据进行预处理。
针对该步骤,与前述步骤302同理,对获取到的传感器数据进行预处理,包括如下步骤:
3081、对获取到的传感器数据进行重采样。
3082、对重采样后的第一类数据进行低通滤波,得到重力加速度;基于重力加速度和重采样后的第三类数据,获取旋转矩阵。
3083、基于旋转矩阵,将重采样后的第一类数据和重采样后的第二类数据,由设备坐标系转换至地球坐标系;
3084、对地球坐标系下的第一类数据和第二类数据进行分解,得到预处理后的传感器数据。
309、第二终端分别提取预处理后的传感器数据在时域和频域上的特征,得到该传感器数据的特征向量。
该步骤与上步骤303同理,此处不再赘述。
如图2所示,针对在线检测阶段同样包括异常检测过程。在对上述获取到的传感器数据进行预处理后以及进行特征提取之前,可以执行诸如上述步骤305所述的异常检测过程。若基于第一时长内在设备坐标系下的加速度数据,确定第二终端在第一时长内的平均加速度方便变化大于第二阈值,则表明目标用户在该段时间内执行了诸如接听电话等异常动作,不基于该段时间内的传感器数据识别目标用户的运动状态,即包括步骤309在内的后续步骤不执行。
310、第二终端基于提取到的特征向量识别目标用户当前的运动状态,其中,目标用户携带了第二终端。
在本申请实施例中,第二终端在将原始获取到的传感器数据转换为特征向量后,包括:
3101、将提取到的特征向量输入机器学习模型中。
即,利用机器学习模型辅助识别目标用户当前的运动状态。其中,机器学习模型会输出目标用户当前处于各个运动状态下的概率值。
3102、将概率值最大的运动状态确定为目标用户当前的运动状态;或者,将概率值超过第一阈值的运动状态确定为目标用户当前的运动状态。
其中,第一阈值的取值可为80%或90%等。
在另一种可能的实现方式中,本申请实施例在实时分类后还包括状态平滑步骤,以对基于机器学习模型识别到的用户运动状态进行修正。
之所以需要这样做是因为:在运动状态的分类过程中,由于原始获取到的传感器数据可能会存在因人体的偶然动作而引入的噪声,进而导致机器学习模型分类错误,通常这种情况会导致短时间的分类错误,可以通过滤波来进行修正。在本申请实施例中,基于贝叶斯估计设计了滤波方式。其中,贝叶斯估计用于确定各种运动状态之间来回切换的转移概率,以避免出现运动状态的短时间抖动。简而言之,即是预置了如图8所示的在各种运动状态之间进行切换的转移概率;当出现突变时,基于预置的转移概率进行状态平滑。作为一个示例,进行状态平滑包括以下步骤:
3103、获取状态转移矩阵,状态转移矩阵给出了由一个运动状态转移至另一个运动状态的转移概率;基于目标用户上一次的运动状态和该状态转移矩阵,对机器学习模型输出的目标用户当前处于各个运动状态下的概率值进行修正。
也即,首先根据目标用户上一次的运动状态和该状态转移矩阵,预测目标用户当前的运动状态;之后,基于上述的预测结果和机器学习模型输出的分类结果,来最终得到目标用户当前的运动状态。
需要说明的是,目标用户当前运动状态的识别,依据的是第二终端最近的第一时长内的传感器数据;目标用户上一次的运动状态的识别,依据的是第二终端上一个第一时长内的传感器数据,以此类推。举例来说,目标用户当前的运动状态的识别,依据第二终端最近5s内的传感器数据;目标用户上一次的运动状态的识别,依据的是第二终端上一个5s内的传感器数据。
以跑步的运动状态为例,如图8所示,若用户上一次的运动状态为跑步,则该用户当前的运动状态为跑步的概率为0.9;若用户上一次的运动状态为跑步,则该用户当前的运动状态为步行的概率为0.05;若用户上一次的运动状态为跑步,则该用户当前的运动状态为静止的概率为0.05。
在另一种可能的实现方式中,还可以通过GPS速度来进行状态平滑,本申请实施例对此不进行具体限定。比如,若机器学习模型上一次检测用户为跑步状态,当前检测用户为静止状态,则可以根据上一次的GPS速度和当前的GPS速度来对机器学习模型的输出结果进行修正,若两次的GPS速度相差不大,则表明机器学习模型当前的检测结果可能有误。
应用阶段
311、当目标用户当前的运动状态为非静止状态时,对交互应用当前显示的交互画面执行锁定操作,显示与当前的运动状态匹配的锁定画面。
在一种可能的实现方式中,上述非静止状态包括但不限于前述的步行、行车、跑步以及骑行状态,目标用户在上述运动状态下如果注意力集中在当前拿在手上的第二终端上,则会给目标用户带来很大的人身安全隐患。为此,在上述运动下第二终端会对本端上当前处于运行状态的交互应用执行锁定操作。作为一个示例,锁定操作可为不再对用户执行的交互操作进行响应以及保留当前的交互进度,比如不再对用户执行的游戏操作进行响应以及保留当前的游戏进度,以便于在解除锁定后用户能够回到原来的游戏界面上继续进行游戏。
以交互应用为例,则交互应用中可预先集成前述训练好的机器学习模型,以辅助识别用户运动状态。在本申请实施例中,交互应用通常指代游戏应用。
针对该种方式,以交互应用为游戏应用为例,则上述交互画面指代游戏操作界面。其中,在游戏应用处于前台运行过程中,会在终端屏幕上显示游戏操作界面,在该种场景线下,当检测到当前用户状态为步行、行车、跑步、骑行等时,判定当前场景可能会对用户产生危险,对该游戏应用当前显示的游戏操作界面执行锁定操作,即禁止目标用户继续通过第二终端操作游戏。
在一种可能的实现方式中,第二终端还可显示与当前的运动状态匹配的锁定画面,以对目标用户进行提醒。其中,一种运动状态可各自对应一种样式的锁定画面,本申请实施例对此不进行具体限定。作为一个示例,图9示出了与行车状态匹配的锁定画面,图10示出了与步行状态匹配的锁定画面。
另外,在显示锁定画面时,可以置于顶层的显示方式全屏显示,本申请实施例对此不进行具体限定。
312、第二终端在锁定画面中显示解除锁定选项;在获取到对解除锁定选项的触发指令时,对锁定的交互画面执行解除锁定操作,取消显示锁定画面。
在本申请实施例中,锁定画面可为图9和图10所示的图文消息。其中,图9示出了用户运动状态为行车时的图文消息,包括图片提醒和文字提醒,比如文字提醒可为“请务必不要在驾驶时游戏”等,本申请实施例对此不进行具体限定。图10示出了用户运动状态为步行时的图文消息,包括图片提醒和文字提醒,比如文字提醒可为“停止行走才能继续游戏”等,本申请实施例对此同样不进行具体限定。
在一种可能的实现方式中,该锁定画面还可用于解除锁定的解除锁定选项。当用户对该解除锁定选项执行触发操作时,即第二终端在获取到针对该解除锁定选项的触发指令时,可以对锁定的交互画面进行解除。其中,该接触锁定选项可为诸如图9所示的“我已远离”选项,或者还可以为诸如图10所示的“我停下了”选项,本申请实施例对此不进行具体限定。上述触发操作可为对选项的点击操作。
本申请实施例提供的方法至少具有以下有益效果:
第一终端会获取一个或多个用户在各种真实运动状态下的样本数据,其中,该样本数据为相应用户携带的终端的传感器数据;之后,第一终端基于上述获取到的传感器数据,预先离线训练出能够识别用户当前运动状态的机器学习模型;而第二终端在集成该机器学习模型后,通过获取本端的传感器数据,能够基于该传感器数据以及该机器学习模型检测用户当前的运动状态,并根据当前的用户运动状态,来对本端安装的一些应用执行控制操作,即禁止用户在某些场景下使用这些应用,以让用户集中关注周围的环境,避免用户过度沉浸于设备,保障了用户在各种不同场景下的人身安全,对终端的操控效果较佳。
另外,本申请实施例通过异常检测能够对短时间内出现的诸如接听电话、掏出设备等异常动作识别,并将相应时段内的传感器数据过滤掉,不参与离线的模型训练过程或在线的识别检测过程,避免了因污染数据而导致的误判,确保了该方法的精确度。
另外,本申请实施例通过进行状态平滑,能够对机器学习模型的预测分类结果进行更新修正,确保了识别用户运动状态的准确度,由于能够精确获取用户运动状态,因此在后续对某些功能执行锁定操作时,也更为精准。
在另一种可能的实现方式中,参见图11,本申请实施例提供的应用控制方法还包括下述步骤:
1101、第二终端基于第一时长内的传感器数据,获取目标用户当前所在位置的地理属性。
本步骤基于GPS传感器数据来获取目标用户当前所在位置的地理属性。在一种可能的实现方式中,可基于GPS传感器数据中包括的经纬度数据,在地图应用中获取该经纬度数据指示的地理位置的地理属性,本申请实施例对此不进行具体限定。其中,地理属性包括但不限于水域、森林、楼房等。
1102、当该地理属性指示目标用户当前处于特定地理环境中时,第二终端对当前处于运行状态的交互应用显示的交互画面执行锁定操作,显示与特定地理环境匹配的锁定画面。
作为一个示例,特定地理环境包括但不限于水域等。
基于以上描述可知,第二设备基于获取到的传感器数据,还能依据用户当前是否处于特定地理环境中,来决定是否对当前显示的交互画面执行锁定操作。以游戏为例,假设用户当前所在位置为水域,则可以对当前正在显示的游戏界面进行锁定,禁止用户继续操作游戏。当用户出了水域,并且当前的运动状态为静止状态时,再恢复用户对游戏的操作权限。
在另一种可能的实现方式中,参见图12,以在线检测阶段和应用阶段角度,本申请实施例提供的应用控制方法包括下述步骤:
1201、第二终端在显示交互画面的过程中获取终端状态信息,该交互画面由第二终端上当前处于运行状态的交互应用提供。
在本申请实施例中,终端状态信息包括终端当前的运动状态和地理属性。
其中,终端当前的运动状态的获取方式为:获取第二终端第一时长内的传感器数据,该传感器数据为第二终端上一个或多个传感器输出的数据;对该传感器数据进行特征提取,基于提取到的特征向量获取第二终端当前的运动状态。
其中,终端当前的地理属性的获取方式为:基于上述传感器数据,获取第二终端当前所在地理位置的地理属性。
1202、当该终端状态信息指示第二终端当前处于目标状态下时,第二终端对当前显示的交互画面执行锁定操作,显示与该终端状态信息匹配的锁定画面。
其中,目标状态为非静止状态或处于特定地理环境中。
在本申请实施例中,当终端状态信息指示第二终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作,显示与终端状态信息匹配的锁定画面,包括但不限于:当第二终端当前的运动状态为非静止状态时,对当前显示的交互画面执行锁定操作,以置于顶层的显示方式,显示与非静止状态匹配的锁定画面;或,当第二终端当前的地理属性指示第二终端当前处于特定地理环境中时,对当前显示的交互画面执行锁定操作,以置于顶层的显示方式,显示与特定地理环境匹配的锁定画面。
在另一种可能的实现方式中,在交互应用处于非前台运行的过程中,当终端状态信息指示终端当前处于非静止状态或特定地理环境中时,在获取到对交互应用的应用图标的触发指令后,可以取消对该触发指令进行响应。
以交互应用为游戏应用为例,在游戏应用的后台运行状态下,如果检测到当前用户状态为步行、行车、跑步、骑行等时,同样可对该游戏应用进行锁定,禁止目标用户启动该游戏应用进行游戏。比如,当检测到对该处于非前台运行的游戏应用的应用图标的触发操作时,取消对该触发操作进行响应,也即不启动该游戏应用对用户进行响应。其中,该触发操作通常为点击操作。
本申请实施例提供的方法,在显示交互画面的过程中,本申请实施例会获取终端状态信息,其中,交互画面由第二终端上当前处于运行状态的交互应用提供;当获取到终端状态信息指示第二终端当前处于目标状态下时,第二终端会自动对当前显示的交互画面执行锁定操作,并显示与获取到的终端状态信息匹配的锁定画面,目标状态为非静止状态或第二终端处于特定地理环境中,即本申请实施例实现了基于终端状态信息自动地在用户处于非安全状态下时对交互应用进行锁定,也即根据第二终端所处的场景自动在非安全状态下时禁止用户使用交互应用,以让用户能够集中关注周围的环境,避免用户过度沉浸于第二终端,保障了用户在使用第二终端时的人身安全,效果较佳。
在另一种可能的实现方式中,参见图13,本申请实施例提供的应用控制方法还包括下述步骤:
1301、第二终端基于第一时长内的传感器数据,获取目标用户当前所在位置的地理属性。
1302、当该地理属性指示目标用户当前未处于特定地理环境中时,第二终端对获取到的传感器数据进行特征提取。
1303、第二终端基于提取到的特征向量识别目标用户当前的运动状态。
1304、当目标用户当前的运动状态为非静止状态时,第二终端对当前处于运行状态的交互应用显示的交互画面执行锁定操作,显示与特定地理环境匹配的锁定画面。
本申请实施例提供的方法,能够在用户处于某些特定的运动状态下时或用户处于特定的地理环境中时,对终端提供的一些功能执行锁定操作,禁止用户使用,从而使得用户集中关注周围的环境,避免用户过度沉浸于终端,保障了用户在各种不同场景下的人身安全,对终端的操控效果较佳。
在另一种可能的实现方式中,以通过手游进行游戏的游戏场景为例,参见图14,本申请实施例提供的在线检测阶段和应用阶段可以包括下述步骤:
1401、在游戏应用中集成离线训练阶段训练好的机器学习模型。
1402、第二终端安装该游戏应用。
1403、在该游戏应用的运行过程中,即在用户基于该游戏应用正常游戏过程中,第二终端获取本端上一个或多个传感器最近一段时间内的传感器数据。
1404、第二终端基于获取到传感器数据判断用户当前是否处于特定地理环境中;如果否,则执行下述步骤1405;如果是,则执行下述步骤1406。
1405、基于获取到的传感器数据继续判断用户当前是否处于非静止的运动状态下;如果否,执行下述步骤1407;如果是,则执行下述步骤1406。
1406、第二终端对当前显示的游戏界面执行锁定操作。
1407、第二终端执行解锁游戏操作。
图15是本申请实施例提供的一种应用控制装置的结构示意图。参见图15,该装置包括:
获取模块1501,用于在显示交互画面的过程中,获取终端状态信息,所述交互画面由终端上当前处于运行状态的交互应用提供;
控制模块1502,用于当所述终端状态信息指示所述终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作;
显示模块1503,用于显示与所述终端状态信息匹配的锁定画面;
其中,所述目标状态为非静止状态或处于特定地理环境中。
本申请实施例提供的装置,在显示交互画面的过程中,本申请实施例会获取终端状态信息,其中,交互画面由终端上当前处于运行状态的交互应用提供;当获取到的终端状态信息指示终端当前处于目标状态下时,终端会自动对当前显示的交互画面执行锁定操作,并显示与获取到的终端状态信息匹配的锁定画面,目标状态为非静止状态或终端处于特定地理环境中,即本申请实施例实现了基于终端状态信息自动地对交互应用进行锁定,也即根据终端所处的场景自动禁止用户使用交互应用,以让用户能够集中关注周围的环境,避免用户过度沉浸于终端,保障了用户在使用终端时的人身安全,效果较佳。
在一种可能的实现方式中,显示模块,还用于在所述锁定画面中显示解除锁定选项;
控制模块,还用于在获取到对所述解除锁定选项的触发指令时,对锁定的交互画面执行解除锁定操作;
显示模块,还用于取消显示所述锁定画面。
在一种可能的实现方式中,控制模块,还用于当所述终端当前的运动状态为所述非静止状态时,对当前显示的交互画面执行锁定操作;或,当所述地理属性指示所述终端当前处于所述特定地理环境中时,对当前显示的交互画面执行锁定操作;
显示模块,还用于以置于顶层的显示方式,显示与所述非静止状态匹配的锁定画面;或,以置于顶层的显示方式,显示与所述特定地理环境匹配的锁定画面。
在一种可能的实现方式中,获取模块,还用于获取所述终端第一时长内的传感器数据,所述传感器数据为所述终端上一个或多个传感器输出的数据;对所述传感器数据进行特征提取,基于提取到的特征向量获取所述终端当前的运动状态;基于所述传感器数据,获取所述终端当前所在地理位置的地理属性。
在一种可能的实现方式中,获取模块,还用于将所述特征向量输入机器学习模型中,获取所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值;将概率值最大的运动状态确定为所述终端当前的运动状态,或,将概率值超过第一阈值的运动状态确定为所述终端当前的运动状态。
在一种可能的实现方式中,获取模块,还用于获取状态转移矩阵,所述状态转移矩阵给出了由一个运动状态转移至另一个运动状态的转移概率;基于所述终端上一次的运动状态和所述状态转移矩阵,对所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值进行修正。
在一种可能的实现方式中,该装置还包括:
训练模块,用于对于每个运动状态,获取一个或多个用户在位于所述运动状态下时的样本数据,所述样本数据为相应终端上一个或多个传感器在第二时长内输出的数据;对所述样本数据进行预处理;分别提取预处理后的所述样本数据在时域和频域上的特征,得到所述样本数据的特征向量;基于所述样本数据的特征向量和相应的运动状态标记,训练所述机器学习模型。
在一种可能的实现方式中,该装置还包括:
异常检测模块,用于在预处理后以及特征提取之前,对于任意一个时间窗口内的样本数据,基于所述时间窗口内样本数据对应在设备坐标系下的加速度数据,获取所述时间窗口内相应终端的平均加速度方向变化;当所述平均加速度方向变化大于第二阈值时,过滤掉所述时间窗口内的样本数据。
在一种可能的实现方式中,所述传感器数据包括加速度传感器输出的第一类数据、陀螺仪传感器输出的第二类数据以及磁场传感器输出的第三类数据;
获取模块,还用于对所述传感器数据进行重采样;对重采样后的所述第一类数据进行低通滤波,得到重力加速度;基于所述重力加速度和重采样后的所述第三类数据,获取旋转矩阵;基于所述旋转矩阵,将重采样后的所述第一类数据和重采样后的所述第二类数据,由设备坐标系转换至地球坐标系;对地球坐标系下的所述第一类数据和所述第二类数据进行分解,得到预处理后的所述传感器数据;分别提取预处理后的所述传感器数据在时域和频域上的特征,得到所述特征向量。
在一种可能的实现方式中,控制模块,还用于在所述交互应用处于非前台运行的过程中,当所述终端状态信息指示所述终端当前处于所述非静止状态或所述特定地理环境中时,在获取到对所述交互应用的应用图标的触发指令后,取消对所述触发指令进行响应。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
需要说明的是:上述实施例提供的应用控制装置在进行应用控制时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的应用控制装置与应用控制方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图16示出了本申请一个示例性实施例提供的终端1600的结构框图。该终端1600可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1600包括有:处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1601所执行以实现本申请中方法实施例提供的应用控制方法。
在一些实施例中,终端1600还可选包括有:外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地,外围设备包括:射频电路1604、触摸显示屏1605、摄像头1606、音频电路1607、定位组件1608和电源1609中的至少一种。
外围设备接口1603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中,处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上;在一些其他实施例中,处理器1601、存储器1602和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时,显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时,显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1605可以为一个,设置终端1600的前面板;在另一些实施例中,显示屏1605可以为至少两个,分别设置在终端1600的不同表面或呈折叠设计;在再一些实施例中,显示屏1605可以是柔性显示屏,设置在终端1600的弯曲表面上或折叠面上。甚至,显示屏1605还可以设置成非矩形的不规则图形,也即异形屏。显示屏1605可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。可选地,摄像头组件1606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1601进行处理,或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1607还可以包括耳机插孔。
定位组件1608用于定位终端1600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于:加速度传感器1611、陀螺仪传感器1612、压力传感器1613、指纹传感器1614、光学传感器1615以及接近传感器1616。
加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号,控制触摸显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1612可以检测终端1600的机体方向及转动角度,陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端1600的3D动作。处理器1601根据陀螺仪传感器1612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613可以设置在终端1600的侧边框和/或触摸显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时,可以检测用户对终端1600的握持信号,由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在触摸显示屏1605的下层时,由处理器1601根据用户对触摸显示屏1605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1614用于采集用户的指纹,由处理器1601根据指纹传感器1614采集到的指纹识别用户的身份,或者,由指纹传感器1614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1614可以被设置终端1600的正面、背面或侧面。当终端1600上设置有物理按键或厂商Logo时,指纹传感器1614可以与物理按键或厂商Logo集成在一起。
光学传感器1615用于采集环境光强度。在一个实施例中,处理器1601可以根据光学传感器1615采集的环境光强度,控制触摸显示屏1605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1605的显示亮度;当环境光强度较低时,调低触摸显示屏1605的显示亮度。在另一个实施例中,处理器1601还可以根据光学传感器1615采集的环境光强度,动态调整摄像头组件1606的拍摄参数。
接近传感器1616,也称距离传感器,通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中,当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时,由处理器1601控制触摸显示屏1605从亮屏状态切换为息屏状态;当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大时,由处理器1601控制触摸显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图16中示出的结构并不构成对终端1600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种应用控制方法,其特征在于,所述方法包括:
在显示交互画面的过程中,获取终端第一时长内的传感器数据,所述传感器数据为终端上一个或多个传感器输出的数据,所述交互画面由终端上当前处于运行状态的交互应用提供;
在对所述传感器数据进行预处理后以及特征提取之前,当基于所述传感器数据对应在设备坐标系下的加速度数据,确定所述终端在所述第一时长内的平均加速度方向变化不大于第二阈值时,对所述传感器数据进行特征提取,将提取到的特征向量输入机器学习模型中,获取所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值;
获取状态转移矩阵,所述状态转移矩阵给出了由一个运动状态转移至另一个运动状态的转移概率;基于所述终端上一次的运动状态和所述状态转移矩阵,对所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值进行修正;根据修正后的概率值确定终端状态信息,所述终端状态信息包括所述终端当前的运动状态;
当所述终端状态信息指示所述终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作,显示与所述终端状态信息匹配的锁定画面;
其中,所述目标状态为非静止状态或处于特定地理环境中。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述锁定画面中显示解除锁定选项;
在获取到对所述解除锁定选项的触发指令时,对锁定的交互画面执行解除锁定操作,取消显示所述锁定画面。
3.根据权利要求1所述的方法,其特征在于,所述终端状态信息还包括:所述终端当前所在地理位置的地理属性,所述方法还包括:
基于所述传感器数据,获取所述终端当前所在地理位置的地理属性。
4.根据权利要求1所述的方法,其特征在于,所述根据修正后的概率值确定终端状态信息,包括:
将概率值最大的运动状态确定为所述终端当前的运动状态,或,将概率值超过第一阈值的运动状态确定为所述终端当前的运动状态。
5.根据权利要求1所述的方法,其特征在于,所述机器学习模型的训练过程包括:
对于每个运动状态,获取一个或多个用户在位于所述运动状态下时的样本数据,所述样本数据为相应终端上一个或多个传感器在第二时长内输出的数据;
对所述样本数据进行预处理;
分别提取预处理后的所述样本数据在时域和频域上的特征,得到所述样本数据的特征向量;
基于所述样本数据的特征向量和相应的运动状态标记,训练所述机器学习模型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
在预处理后以及特征提取之前,对于任意一个时间窗口内的样本数据,基于所述时间窗口内样本数据对应在设备坐标系下的加速度数据,获取所述时间窗口内相应终端的平均加速度方向变化;
当所述平均加速度方向变化大于第二阈值时,过滤掉所述时间窗口内的样本数据。
7.根据权利要求3所述的方法,其特征在于,所述一个或多个传感器包括加速度传感器、陀螺仪传感器以及磁场传感器;所述方法还包括:
对所述加速度传感器输出的第一类数据、所述陀螺仪传感器输出的第二类数据以及所述磁场传感器输出的第三类数据进行重采样;
对重采样后的所述第一类数据进行低通滤波,得到重力加速度;
基于所述重力加速度和重采样后的所述第三类数据,获取旋转矩阵;
基于所述旋转矩阵,将重采样后的所述第一类数据和重采样后的所述第二类数据,由设备坐标系转换至地球坐标系;
对地球坐标系下的所述第一类数据和所述第二类数据进行分解,得到预处理后的所述传感器数据;
所述对所述传感器数据进行特征提取,包括:
分别提取预处理后的所述传感器数据在时域和频域上的特征,得到所述特征向量。
8.根据权利要求3所述的方法,其特征在于,所述当所述终端状态信息指示所述终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作,显示与所述终端状态信息匹配的锁定画面,包括:
当所述终端当前的运动状态为所述非静止状态时,对当前显示的交互画面执行锁定操作,以置于顶层的显示方式,显示与所述非静止状态匹配的锁定画面;或,
当所述地理属性指示所述终端当前处于所述特定地理环境中时,对当前显示的交互画面执行锁定操作,以置于顶层的显示方式,显示与所述特定地理环境匹配的锁定画面。
9.根据权利要求1至8中任一项权利要求所述的方法,其特征在于,所述方法还包括:
在所述交互应用处于非前台运行的过程中,当所述终端状态信息指示所述终端当前处于所述非静止状态或所述特定地理环境中时,在获取到对所述交互应用的应用图标的触发指令后,取消对所述触发指令进行响应。
10.一种应用控制装置,其特征在于,所述装置包括:
获取模块,用于在显示交互画面的过程中,获取终端第一时长内的传感器数据,所述传感器数据为终端上一个或多个传感器输出的数据,所述交互画面由终端上当前处于运行状态的交互应用提供;
所述获取模块,还用于在对所述传感器数据进行预处理后以及特征提取之前,当基于所述传感器数据对应在设备坐标系下的加速度数据,确定所述终端在所述第一时长内的平均加速度方向变化不大于第二阈值时,对所述传感器数据进行特征提取;
所述获取模块,还用于将提取到的特征向量输入机器学习模型中,获取所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值;获取状态转移矩阵,所述状态转移矩阵给出了由一个运动状态转移至另一个运动状态的转移概率;基于所述终端上一次的运动状态和所述状态转移矩阵,对所述机器学习模型输出的所述终端当前处于各个运动状态下的概率值进行修正;根据修正后的概率值确定终端状态信息,所述终端状态信息包括所述终端当前的运动状态;
控制模块,用于当所述终端状态信息指示所述终端当前处于目标状态下时,对当前显示的交互画面执行锁定操作;
显示模块,用于显示与所述终端状态信息匹配的锁定画面;
其中,所述目标状态为非静止状态或处于特定地理环境中。
11.根据权利要求10所述的装置,其特征在于,所述显示模块,还用于在所述锁定画面中显示解除锁定选项;
所述控制模块,还用于在获取到对所述解除锁定选项的触发指令时,对锁定的交互画面执行解除锁定操作;
所述显示模块,还用于取消显示所述锁定画面。
12.根据权利要求10所述的装置,其特征在于,所述控制模块,还用于当所述终端当前的运动状态为所述非静止状态时,对当前显示的交互画面执行锁定操作;或,当地理属性指示所述终端当前处于所述特定地理环境中时,对当前显示的交互画面执行锁定操作;
所述显示模块,还用于以置于顶层的显示方式,显示与所述非静止状态匹配的锁定画面;或,以置于顶层的显示方式,显示与所述特定地理环境匹配的锁定画面。
13.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至9中任一项权利要求所述的应用控制方法。
14.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至9中任一项权利要求所述的应用控制方法。
CN201910585211.9A 2019-07-01 2019-07-01 应用控制方法、装置、存储介质以及终端 Active CN110300230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910585211.9A CN110300230B (zh) 2019-07-01 2019-07-01 应用控制方法、装置、存储介质以及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910585211.9A CN110300230B (zh) 2019-07-01 2019-07-01 应用控制方法、装置、存储介质以及终端

Publications (2)

Publication Number Publication Date
CN110300230A CN110300230A (zh) 2019-10-01
CN110300230B true CN110300230B (zh) 2021-03-19

Family

ID=68029693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910585211.9A Active CN110300230B (zh) 2019-07-01 2019-07-01 应用控制方法、装置、存储介质以及终端

Country Status (1)

Country Link
CN (1) CN110300230B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070928B (zh) * 2020-07-31 2022-10-18 华为技术有限公司 一种防误触的方法及电子设备
CN112817554A (zh) * 2021-01-20 2021-05-18 北京小米移动软件有限公司 提示音控制方法、提示音控制装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853908A (zh) * 2012-12-04 2014-06-11 中国科学院沈阳自动化研究所 一种自适应交互式多模型的机动目标跟踪方法
CN104635233A (zh) * 2015-02-17 2015-05-20 苏州安智汽车零部件有限公司 基于车载毫米波雷达的前方物体运动状态估计及分类方法
CN105997094A (zh) * 2016-05-09 2016-10-12 北京科技大学 一种姿态识别装置及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593661B (zh) * 2013-11-27 2016-09-28 天津大学 一种基于排序方法的人体动作识别方法
CN103701991A (zh) * 2013-12-20 2014-04-02 百度在线网络技术(北京)有限公司 移动终端状态识别方法和移动终端
CN103873689A (zh) * 2014-03-12 2014-06-18 深圳市中兴移动通信有限公司 一种安全提醒的方法及装置
CN105404394B (zh) * 2015-11-17 2019-02-12 Oppo广东移动通信有限公司 显示界面的显示控制方法及移动终端
CN107837087A (zh) * 2017-12-08 2018-03-27 兰州理工大学 一种基于智能手机的人体运动状态识别方法
CN109062755A (zh) * 2018-06-29 2018-12-21 珠海市魅族科技有限公司 一种移动终端使用行为监测提醒方法、装置、介质和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853908A (zh) * 2012-12-04 2014-06-11 中国科学院沈阳自动化研究所 一种自适应交互式多模型的机动目标跟踪方法
CN104635233A (zh) * 2015-02-17 2015-05-20 苏州安智汽车零部件有限公司 基于车载毫米波雷达的前方物体运动状态估计及分类方法
CN105997094A (zh) * 2016-05-09 2016-10-12 北京科技大学 一种姿态识别装置及方法

Also Published As

Publication number Publication date
CN110300230A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110119815B (zh) 模型训练方法、装置、存储介质及设备
CN110917616B (zh) 虚拟场景中的方位提示方法、装置、设备及存储介质
CN109815150B (zh) 应用测试方法、装置、电子设备及存储介质
CN108288032B (zh) 动作特征获取方法、装置及存储介质
CN110163066B (zh) 多媒体数据推荐方法、装置及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN112218136B (zh) 视频处理方法、装置、计算机设备及存储介质
CN110956580B (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN113613028B (zh) 直播数据处理方法、装置、终端、服务器及存储介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN112084811A (zh) 身份信息的确定方法、装置及存储介质
CN110300230B (zh) 应用控制方法、装置、存储介质以及终端
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN111738365A (zh) 图像分类模型训练方法、装置、计算机设备及存储介质
CN109831817B (zh) 终端控制方法、装置、终端及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN112860046B (zh) 选择运行模式的方法、装置、电子设备及介质
CN113570510A (zh) 图像处理方法、装置、设备及存储介质
CN110853124B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN112023403A (zh) 基于图文信息的对战过程展示方法及装置
CN112306332A (zh) 确定选中目标的方法、装置、设备及存储介质
CN111753813A (zh) 图像处理方法、装置、设备及存储介质
CN110841288A (zh) 提示标识的消除方法、装置、终端及存储介质
CN112395921A (zh) 异常行为检测方法、装置及系统
CN112711335B (zh) 虚拟环境画面的显示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant