CN109831817B - 终端控制方法、装置、终端及存储介质 - Google Patents

终端控制方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109831817B
CN109831817B CN201910147158.4A CN201910147158A CN109831817B CN 109831817 B CN109831817 B CN 109831817B CN 201910147158 A CN201910147158 A CN 201910147158A CN 109831817 B CN109831817 B CN 109831817B
Authority
CN
China
Prior art keywords
terminal
user
motion state
state information
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910147158.4A
Other languages
English (en)
Other versions
CN109831817A (zh
Inventor
孙亚洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910147158.4A priority Critical patent/CN109831817B/zh
Publication of CN109831817A publication Critical patent/CN109831817A/zh
Application granted granted Critical
Publication of CN109831817B publication Critical patent/CN109831817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本公开是关于一种终端控制方法、装置、终端及存储介质,涉及终端技术领域,所述方法包括:当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息;基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果;当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。本公开实施例在确定该用户处于即将入睡的状态时,自动执行相应的控制功能,从而可以避免在用户入睡而无法对终端进行控制操作时造成不必要的资源消耗。

Description

终端控制方法、装置、终端及存储介质
技术领域
本公开涉及终端技术领域,尤其涉及一种终端控制方法、装置、终端及存储介质。
背景技术
随着终端技术的发展,人们经常会使用终端完成各种各样的功能,来丰富个人的生活或提高工作效率,例如,人们经常会使用多媒体播放软件,播放多媒体资源。
相关技术中,终端可以基于用户的控制操作触发的控制指令,执行相应的控制功能,而人们有时候可能会在使用终端的过程中困倦而入睡,这样用户入睡后,无法再对终端进行控制操作,而终端在没有检测到控制操作的情况下,则会继续运行当前正在运行的应用程序,会产生不必要的资源消耗,例如,电量消耗或流量消耗等。例如,人们长时间观看视频或收听音频时很容易会产生困倦而入睡,这样用户入睡前忘记关闭终端或忘记停止当前播放的多媒体资源。因而亟需一种终端控制方法,以避免在用户入睡而无法对终端进行控制操作时造成不必要的资源消耗。
发明内容
本公开提供一种终端控制方法、装置、终端及存储介质,能够克服造成不必要的资源消耗的问题。
根据本公开实施例的第一方面,提供一种终端控制方法,包括:
当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息;
基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;
调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果,所述第二识别结果用于指示所述用户是否处于即将入睡的状态;
当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。
在一种可能实现方式中,所述当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息,包括:
获取所述终端的运动状态信息;当所述运动状态信息符合目标条件时,采集所述终端的用户的生理信息。
在一种可能实现方式中,所述获取所述终端的运动状态信息,包括:
获取所述终端的加速度、海拔高度变化值和姿态角中至少一项;
相应地,所述将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,包括:
将所述加速度、所述海拔高度变化值和所述姿态角中至少一项和所述第一识别结果输入所述状态识别模型中。
在一种可能实现方式中,所述获取所述终端的加速度、海拔高度变化值和姿态角中至少一项,包括以下至少一项:
基于所述终端的重力传感器,获取所述终端的加速度;
基于所述终端的气压传感器,获取所述终端的海拔高度变化值;
基于所述终端的角速度传感器,获取所述终端的姿态角;
相应地,所述采集所述终端的用户的生理信息,包括:
基于所述终端的摄像头和麦克风,采集所述终端的用户的生理信息。
在一种可能实现方式中,所述运动状态信息符合目标条件,包括以下至少一项:
所述加速度大于第一阈值;
所述海拔高度变化值大于第二阈值;
基于所述加速度、所述海拔高度变化值和所述姿态角确定所述终端的运动方向为目标方向。
在一种可能实现方式中,所述当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息,包括:
获取所述终端的第一运动状态信息;当所述第一运动状态信息符合目标条件时,采集所述终端的用户的生理信息,其中,所述运动状态信息包括所述第一运动状态信息;
相应地,所述方法还包括:
当所述第一运动状态信息符合目标条件时,获取所述终端的第二运动状态信息,其中,所述运动状态信息还包括所述第二运动状态信息;
相应地,所述将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,包括:
将所述第一运动状态信息、所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中;或,
将所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中。
在一种可能实现方式中,所述采集所述终端的用户的生理信息,包括:
采集所述终端的用户的图像和声音信号;
相应地,所述基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,包括:
对所述采集到的所述终端的用户的图像进行人眼检测,得到人眼识别结果;
基于采集到的所述终端的用户的声音信号的波形,获取声波识别结果;
基于所述人眼识别结果和所述声波识别结果,获取所述生理信息对应的第一识别结果。
在一种可能实现方式中,所述基于所述人眼识别结果和所述声波识别结果,获取所述生理信息对应的第一识别结果,包括:
当所述人眼识别结果和所述声波识别结果中至少一项指示所述用户的终端使用状态为所述用户即将入睡时的使用状态时,将所述用户处于即将入睡的状态作为所述生理信息对应的第一识别结果;或,
当所述人眼识别结果和所述声波识别结果均指示所述用户的终端使用状态为正常使用状态时,将所述用户未处于即将入睡的状态作为所述生理信息对应的第一识别结果;
相应地,所述方法还包括:
当所述第一识别结果指示所述用户处于即将入睡的状态时,执行所述调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果的步骤;
当所述第一识别结果指示所述用户未处于即将入睡的状态时,丢弃所述终端的运动状态信息和所述第一识别结果。
在一种可能实现方式中,所述采集所述终端的用户的图像和声音信号,包括:
采集第一目标时长内所述终端的用户的图像,采集第二目标时长内所述终端的用户的声音信号。
在一种可能实现方式中,所述当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息之前,所述方法还包括:
基于参数设置界面,获取所述用户设置的参数;
相应地,所述将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中之后,所述方法还包括:
由所述状态识别模型基于所述用户设置的参数和所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算,得到第二识别结果。
在一种可能实现方式中,所述基于所述用户设置的参数和所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算,包括:
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值小于第一差值阈值时,基于所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算;或,
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值大于或等于第一差值阈值时,基于所述状态识别模型的原始参数和所述差值,对所述终端的运动状态信息和所述第一识别结果进行计算。
在一种可能实现方式中,所述当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能之后,所述方法还包括:
基于所述终端的运动状态信息和所述第一识别结果,对所述用户设置的参数和/或所述状态识别模型的原始参数进行更新。
在一种可能实现方式中,所述方法还包括:
当所述终端的运动状态信息和所述第一识别结果与所述状态识别模型的原始参数之间的差值小于第二差值阈值时,执行对所述状态识别模型的原始参数进行更新的步骤。
在一种可能实现方式中,所述执行所述第二识别结果对应的控制功能,包括:
关闭正在运行的目标应用程序;或,当所述终端的运行模式为静音模式之外的任一模式时,将运行模式设置为静音模式;或,进行关机;或,控制所述终端处于熄屏状态;或,暂停对当前正在播放的多媒体资源的播放。
在一种可能实现方式中,所述方法还包括:
当检测到所述终端处于目标运动状态且所述终端正在播放多媒体资源时,执行所述采集所述终端的用户的生理信息的步骤;
相应地,所述执行所述第二识别结果对应的控制功能,包括:
关闭播放所述多媒体资源的应用程序;或,暂停对所述多媒体资源的播放。
在一种可能实现方式中,所述方法还包括:
当检测到所述终端处于目标运动状态,且系统时间位于目标时间段内时,执行所述采集所述终端的用户的生理信息的步骤;或,
当检测到所述终端处于目标运动状态,但系统时间为目标时间段外的任一时间时,丢弃所述终端的运动状态信息。
根据本公开实施例的第二方面,提供一种终端控制装置,包括:
采集模块,被配置为当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息;
获取模块,被配置为执行基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;
识别模块,被配置为执行将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果,所述第二识别结果用于指示所述用户是否处于即将入睡的状态;
控制模块,被配置为执行当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。
在一种可能实现方式中,所述采集模块用于:
获取所述终端的运动状态信息;当所述运动状态信息符合目标条件时,采集所述终端的用户的生理信息。
在一种可能实现方式中,所述采集模块用于获取所述终端的加速度、海拔高度变化值和姿态角中至少一项;
相应地,所述识别模块用于将所述加速度、所述海拔高度变化值和所述姿态角中至少一项和所述第一识别结果输入所述状态识别模型中。
在一种可能实现方式中,所述采集模块用于执行以下至少一项:
基于所述终端的重力传感器,获取所述终端的加速度;
基于所述终端的气压传感器,获取所述终端的海拔高度变化值;
基于所述终端的角速度传感器,获取所述终端的姿态角;
相应地,所述采集模块用于基于所述终端的摄像头和麦克风,采集所述终端的用户的生理信息。
在一种可能实现方式中,所述运动状态信息符合目标条件,包括以下至少一项:
所述加速度大于第一阈值;
所述海拔高度变化值大于第二阈值;
基于所述加速度、所述海拔高度变化值和所述姿态角确定所述终端的运动方向为目标方向。
在一种可能实现方式中,所述采集模块用于:
获取所述终端的第一运动状态信息;当所述第一运动状态信息符合目标条件时,采集所述终端的用户的生理信息,其中,所述运动状态信息包括所述第一运动状态信息;
相应地,所述获取模块还用于当所述第一运动状态信息符合目标条件时,获取所述终端的第二运动状态信息,其中,所述运动状态信息还包括所述第二运动状态信息;
相应地,所述识别模块用于:
将所述第一运动状态信息、所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中;或,
将所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中。
在一种可能实现方式中,所述采集模块被配置为执行采集所述终端的用户的图像和声音信号;
相应地,所述获取模块还被配置为执行:
对所述采集到的所述终端的用户的图像进行人眼检测,得到人眼识别结果;
基于采集到的所述终端的用户的声音信号的波形,获取声波识别结果;
基于所述人眼识别结果和所述声波识别结果,获取所述生理信息对应的第一识别结果。
在一种可能实现方式中,所述识别模块还用于:
当所述人眼识别结果和所述声波识别结果中至少一项指示所述用户的终端使用状态为所述用户即将入睡时的使用状态时,将所述用户处于即将入睡的状态作为所述生理信息对应的第一识别结果;或,
当所述人眼识别结果和所述声波识别结果均指示所述用户的终端使用状态为正常使用状态时,将所述用户未处于即将入睡的状态作为所述生理信息对应的第一识别结果;
相应地,所述识别模块还用于当所述第一识别结果指示所述用户处于即将入睡的状态时,执行所述调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果的步骤;
所述装置还包括:
第一丢弃模块,用于当所述第一识别结果指示所述用户未处于即将入睡的状态时,丢弃所述终端的运动状态信息和所述第一识别结果。
在一种可能实现方式中,所述采集模块还被配置为执行采集第一目标时长内所述终端的用户的图像,采集第二目标时长内所述终端的用户的声音信号。
在一种可能实现方式中,所述获取模块还被配置为执行基于参数设置界面,获取所述用户设置的参数;
相应地,所述识别模块被配置为执行由所述状态识别模型基于所述用户设置的参数和所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算,得到第二识别结果。
在一种可能实现方式中,所述识别模块被配置为执行:
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值小于第一差值阈值时,基于所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算;或,
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值大于或等于第一差值阈值时,基于所述状态识别模型的原始参数和所述差值,对所述终端的运动状态信息和所述第一识别结果进行计算。
在一种可能实现方式中,所述装置还包括:
更新模块,被配置为执行基于所述终端的运动状态信息和所述第一识别结果,对所述用户设置的参数和/或所述状态识别模型的原始参数进行更新。
在一种可能实现方式中,所述更新模块被配置为执行当所述终端的运动状态信息和所述第一识别结果与所述状态识别模型的原始参数之间的差值小于第二差值阈值时,执行对所述状态识别模型的原始参数进行更新的步骤。
在一种可能实现方式中,所述控制模块被配置为执行:关闭正在运行的目标应用程序;或,当所述终端的运行模式为静音模式之外的任一模式时,将运行模式设置为静音模式;或,进行关机;或,控制所述终端处于熄屏状态;或,暂停对当前正在播放的多媒体资源的播放。
在一种可能实现方式中,所述采集模块被配置为当检测到所述终端处于目标运动状态且所述终端正在播放多媒体资源时,执行所述采集所述终端的用户的生理信息的步骤;
相应地,所述控制模块被配置为执行:关闭播放所述多媒体资源的应用程序;或,暂停对所述多媒体资源的播放。
在一种可能实现方式中,所述获取模块被配置为执行当检测到所述终端处于目标运动状态,且系统时间位于目标时间段内时,执行所述采集所述终端的用户的生理信息的步骤;或,
所述装置还包括:
第二丢弃模块,被配置为执行当检测到所述终端处于目标运动状态,但系统时间为目标时间段外的任一时间时,丢弃所述终端的运动状态信息。
根据本公开实施例的第三方面,提供一种终端,该终端包括:
一个或多个处理器;
用于存储一个或多个处理器可执行指令的一个或多个存储器;
其中,所述一个或多个处理器被配置为:
当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息;
基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;
调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果,所述第二识别结果用于指示所述用户是否处于即将入睡的状态;
当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,该非临时性计算机可读存储介质中的指令由终端的处理器执行时,使得终端能够执行一种终端控制方法,所述方法包括:
当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息;
基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;
调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果,所述第二识别结果用于指示所述用户是否处于即将入睡的状态;
当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。
根据本公开实施例的第五方面,提供一种应用程序,包括一条或多条指令,该一条或多条指令可以由终端的处理器执行时,使得终端能够执行一种终端控制方法,所述方法包括:
当检测到所述终端处于目标运动状态时,采集所述终端的用户的生理信息;
基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;
调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果,所述第二识别结果用于指示所述用户是否处于即将入睡的状态;
当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。
本公开的实施例提供的技术方案可以包括以下有益效果:本公开实施例中在检测到终端处于目标运动状态时,可以采集用户的生理信息,综合考虑终端的状态和用户的状态,判断该用户是否处于即将入睡的状态,在确定该用户处于即将入睡的状态时,可以自动执行相应的控制功能,从而可以避免在用户入睡而无法对终端进行控制操作时造成不必要的资源消耗。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种终端控制方法的流程图。
图2是根据一示例性实施例示出的一种终端控制方法的流程图。
图3是根据一示例性实施例示出的一种用户使用终端的示意图。
图4是根据一示例性实施例示出的一种终端控制方法的流程图。
图5是根据一示例性实施例示出的一种终端控制装置的结构示意图。
图6是根据一示例性实施例示出的一种终端的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种终端控制方法的流程图,如图1所示,终端控制方法用于终端中,包括以下步骤。
在步骤S11中,当检测到该终端处于目标运动状态时,终端采集该终端的用户的生理信息。
在步骤S12中,终端基于采集到的该生理信息,获取该生理信息对应的第一识别结果,该第一识别结果用于指示该用户的终端使用状态。
在步骤S13中,终端调用状态识别模型,将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果,该第二识别结果用于指示该用户是否处于即将入睡的状态。
在步骤S14中,当该第二识别结果指示该用户处于即将入睡的状态时,终端执行该第二识别结果对应的控制功能。
本公开实施例中在检测到终端处于目标运动状态时,可以采集用户的生理信息,综合考虑终端的状态和用户的状态,判断该用户是否处于即将入睡的状态,在确定该用户处于即将入睡的状态时,可以自动执行相应的控制功能,从而可以避免在用户入睡而无法对终端进行控制操作时造成不必要的资源消耗。
在一种可能实现方式中,该当检测到该终端处于目标运动状态时,采集该终端的用户的生理信息,包括:
获取该终端的运动状态信息;当该运动状态信息符合目标条件时,采集该终端的用户的生理信息。
在一种可能实现方式中,该获取该终端的运动状态信息,包括:
获取该终端的加速度、海拔高度变化值和姿态角中至少一项;
相应地,该将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,包括:
将该加速度、该海拔高度变化值和该姿态角中至少一项和该第一识别结果输入该状态识别模型中。
在一种可能实现方式中,该获取该终端的加速度、海拔高度变化值和姿态角中至少一项,包括以下至少一项:
基于该终端的重力传感器,获取该终端的加速度;
基于该终端的气压传感器,获取该终端的海拔高度变化值;
基于该终端的角速度传感器,获取该终端的姿态角;
相应地,该采集该终端的用户的生理信息,包括:
基于该终端的摄像头和麦克风,采集该终端的用户的生理信息。
在一种可能实现方式中,该运动状态信息符合目标条件,包括以下至少一项:
该加速度大于第一阈值;
该海拔高度变化值大于第二阈值;
基于该加速度、该海拔高度变化值和该姿态角确定该终端的运动方向为目标方向。
在一种可能实现方式中,该当检测到该终端处于目标运动状态时,采集该终端的用户的生理信息,包括:
获取该终端的第一运动状态信息;当该第一运动状态信息符合目标条件时,采集该终端的用户的生理信息,其中,该运动状态信息包括该第一运动状态信息;
相应地,该方法还包括:
当该第一运动状态信息符合目标条件时,获取该终端的第二运动状态信息,其中,该运动状态信息还包括该第二运动状态信息;
相应地,该将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,包括:
将该第一运动状态信息、该第二运动状态信息和该第一识别结果输入该状态识别模型中;或,
将该第二运动状态信息和该第一识别结果输入该状态识别模型中。
在一种可能实现方式中,该采集该终端的用户的生理信息,包括:
采集该终端的用户的图像和声音信号;
相应地,该基于采集到的该生理信息,获取该生理信息对应的第一识别结果,包括:
对该采集到的该终端的用户的图像进行人眼检测,得到人眼识别结果;
基于采集到的该终端的用户的声音信号的波形,获取声波识别结果;
基于该人眼识别结果和该声波识别结果,获取该生理信息对应的第一识别结果。
在一种可能实现方式中,该基于该人眼识别结果和该声波识别结果,获取该生理信息对应的第一识别结果,包括:
当该人眼识别结果和该声波识别结果中至少一项指示该用户的终端使用状态为该用户即将入睡时的使用状态时,将该用户处于即将入睡的状态作为该生理信息对应的第一识别结果;或,
当该人眼识别结果和该声波识别结果均指示该用户的终端使用状态为正常使用状态时,将该用户未处于即将入睡的状态作为该生理信息对应的第一识别结果;
相应地,该方法还包括:
当该第一识别结果指示该用户处于即将入睡的状态时,执行该调用状态识别模型,将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果的步骤;
当该第一识别结果指示该用户未处于即将入睡的状态时,丢弃该终端的运动状态信息和该第一识别结果。
在一种可能实现方式中,该采集该终端的用户的图像和声音信号,包括:
采集第一目标时长内该终端的用户的图像,采集第二目标时长内该终端的用户的声音信号。
在一种可能实现方式中,该当检测到该终端处于目标运动状态时,采集该终端的用户的生理信息之前,该方法还包括:
基于参数设置界面,获取该用户设置的参数;
相应地,该将该终端的运动状态信息和该第一识别结果输入该状态识别模型中之后,该方法还包括:
由该状态识别模型基于该用户设置的参数和该状态识别模型的原始参数,对该终端的运动状态信息和该第一识别结果进行计算,得到第二识别结果。
在一种可能实现方式中,该基于该用户设置的参数和该状态识别模型的原始参数,对该终端的运动状态信息和该第一识别结果进行计算,包括:
当该用户设置的参数与该状态识别模型的原始参数之间的差值小于第一差值阈值时,基于该状态识别模型的原始参数,对该终端的运动状态信息和该第一识别结果进行计算;或,
当该用户设置的参数与该状态识别模型的原始参数之间的差值大于或等于第一差值阈值时,基于该状态识别模型的原始参数和该差值,对该终端的运动状态信息和该第一识别结果进行计算。
在一种可能实现方式中,该当该第二识别结果指示该用户处于即将入睡的状态时,执行该第二识别结果对应的控制功能之后,该方法还包括:
基于该终端的运动状态信息和该第一识别结果,对该用户设置的参数和/或该状态识别模型的原始参数进行更新。
在一种可能实现方式中,该方法还包括:
当该终端的运动状态信息和该第一识别结果与该状态识别模型的原始参数之间的差值小于第二差值阈值时,执行对该状态识别模型的原始参数进行更新的步骤。
在一种可能实现方式中,该执行该第二识别结果对应的控制功能,包括:
关闭正在运行的目标应用程序;或,当该终端的运行模式为静音模式之外的任一模式时,将运行模式设置为静音模式;或,进行关机;或,控制该终端处于熄屏状态;或,暂停对当前正在播放的多媒体资源的播放。
在一种可能实现方式中,该方法还包括:
当检测到该终端处于目标运动状态且该终端正在播放多媒体资源时,执行该采集该终端的用户的生理信息的步骤;
相应地,该执行该第二识别结果对应的控制功能,包括:
关闭播放该多媒体资源的应用程序;或,暂停对该多媒体资源的播放。
在一种可能实现方式中,该方法还包括:
当检测到该终端处于目标运动状态,且系统时间位于目标时间段内时,执行该采集该终端的用户的生理信息的步骤;或,
当检测到该终端处于目标运动状态,但系统时间为目标时间段外的任一时间时,丢弃该终端的运动状态信息。
图2是根据一示例性实施例示出的一种终端控制方法的流程图,如图2所示,该方法用于终端中,包括以下步骤:
在步骤S21中,终端获取该终端的运动状态信息,当该运动状态信息符合目标条件时,终端执行步骤S22;当该运动状态信息不符合目标条件时,终端执行步骤S26。
在本公开实施例中,终端可以检测用户是否处于即将入睡的状态,从而在确定用户处于即将入睡的状态时,自动执行控制功能,使得用户在使用终端的过程中入睡时终端也不会产生不必要的资源消耗。
具体地,终端可以基于多种状态识别因素确定用户是否处于即将入睡的状态。其中,终端的运动状态即为一种因素。用户在使用终端的过程中即将入睡时,手会变的无力且无感觉,此时终端则可能会从手中脱落,或随着手变的无力时候手的移动而移动,则通过该终端的运动状态可以判断是否为上述情况,从而初步判断用户是否处于即将入睡的状态。
在该终端中可以设置有该终端的目标运动状态,在该终端处于该目标运动状态时,则可以初步判断该用户处于即将入睡的状态,为了进一步确定用户的状态,则可以执行下述步骤S22,来判断用户的状态,从而综合终端和用户的状态,来判断用户是否处于即将入睡的状态,以确定是否需要执行控制功能。
具体地,终端在确定该终端是否处于目标运动状态时,则可以通过上述获取到的运动状态信息确定,在一种可能实现方式中,当该运动状态信息符合目标条件时,终端可以确定该终端处于目标运动状态,则终端可以执行下述步骤S22。
在一种可能实现方式中,该终端的运动状态信息可以包括终端的加速度、海拔高度变化值和姿态角中至少一项,相应地,该步骤S21为终端获取该终端的加速度、海拔高度变化值和姿态角中至少一项。当然,该运动状态信息还可以包括其他信息,例如,该终端的运动速度,本公开实施例对此不作限定。
对于终端的加速度,终端可以具有检测加速度的功能,在终端产生加速度时,终端可以获取到该加速度,并基于该加速度,执行下述步骤。在一种可能实现方式中,在该终端中可以安装有加速度检测器件,从而通过该加速度检测器件,检测加速度。例如,该加速度检测器件可以为重力传感器,也可以称之为加速度传感器或加速度计等。终端可以基于该终端的重力传感器,获取该终端的加速度。
对于海拔高度变化值和姿态角,同理地,终端还可以具有检测海拔高度和姿态角的功能。在一种可能实现方式中,在该终端中可以安装有气压传感器和角速度传感器,该步骤S21中,终端可以基于该终端的气压传感器,获取该终端的海拔高度变化值,基于该终端的角速度传感器,获取该终端的姿态角。
其中,该气压传感器也可以称为海拔高度传感器,终端可以基于该气压传感器,测量气体的绝对压强,从而基于该气体的绝对压强的变化值,计算得到海拔高度变化值。该角速度传感器可能包括多种传感器,具体地,该角速度传感器可以为陀螺仪传感器,该陀螺仪传感器可以用于测量终端偏转或倾斜时的转动角速度。终端可以基于该陀螺仪传感器,测量终端偏转或倾斜的过程中的相对于旋转轴的转动角速度,该转动加速度包括大小和方向,从而终端可以基于获取到的转动角速度,确定该终端的姿态角。该姿态角可以为该陀螺仪传感器检测到的陀螺值。其中,该姿态角可以用于表示该终端的姿态,在一种可能实现方式中,该姿态角具体可以为欧拉角,该欧拉角由该终端的坐标系和世界坐标系之间的关系确定。例如,该欧拉角可以包括航向角、俯仰角和横滚角,通过该欧拉角即可描述该终端的姿态。当然,通过该终端的姿态角也可以获知该终端的用户手持该终端的姿势。
在一种可能实现方式中,该终端可以包括多种运动状态信息,还可以设置有:终端获取该终端的某一种或某几种运动状态信息(即第一运动状态信息),此时终端的运动状态信息包括该第一运动状态信息,从而根据该某一种或某几种运动状态信息,判断终端是否处于目标运动状态,而在用户是否处于即将入睡的状态时终端还可考虑该终端的其他运动状态信息(即第二运动状态信息),也即是,在确定终端处于目标运动状态时,再获取该其他运动状态信息,将其也作为判断用户的状态的依据,此时终端的运动状态信息还包括该第二运动状态信息。当然,在确定该终端处于目标运动状态时,本公开实施例对获取其他运动状态信息的步骤和下述采集终端的用户的生理信息的步骤的时序不作限定。
具体地,在该步骤S21中,终端可以获取第一运动状态信息,在该第一运动状态信息符合第一目标条件时,终端获取第二运动状态信息。具体地,在该第二运动状态信息符合第二目标条件时,确定该终端处于目标运动状态,从而执行下述步骤S22。当然,还有一种可能场景:在该第一运动状态信息符合目标条件时,终端执行下述步骤S22,并执行获取第二运动状态信息的步骤,其中,终端可以先执行下述步骤S22,再获取第二运动状态信息,也可以先获取第二运动状态信息,再执行下述步骤S22,也可以同时执行两个步骤,本公开实施例对该终端执行步骤S22和执行获取第二运动状态信息的步骤的时序不作限定,对具体采用上述哪种实现方式也不作限定。
在一个具体示例中,第一运动状态信息可以为终端的加速度,第二运动状态信息可以为终端的海拔高度变化值和姿态角中至少一项。相应地,该运动状态信息符合目标条件,包括以下至少一项:该加速度大于第一阈值;该海拔高度变化值大于第二阈值;基于该加速度、该海拔高度变化值和该姿态角确定该终端的运动方向为目标方向。其中,第一目标条件可以为:该加速度大于第一阈值。第二目标条件可以为该海拔高度变化值大于第二阈值;基于该加速度、该海拔高度变化值和该姿态角确定该终端的运动方向为目标方向中至少一项。
其中,判断该终端的运动方向为目标方向还可以包括多种方式,例如,判断该终端的运动方向与预设方向的夹角是否小于角度阈值,如果是,则可以确定该终端的运动方向为目标方向。比如该预设方向可以垂直向下的方向,角度阈值为90度。当然,第一阈值、第二阈值、目标方向均可以由相关技术人员预先设置,该第一阈值可以与上述加速度阈值相同,也可以不同,本公开实施例对此不作限定。本公开实施例在此仅以上述目标条件为例进行说明,该目标条件可以由相关技术人员根据用户使用习惯进行设置,本公开实施例对此不作限定。
例如,当该加速度大于第一阈值时,终端可以执行获取第二运动状态信息的步骤,当该加速度小于或等于第一阈值时,终端丢弃该加速度。这样通过该第一阈值的设置,排除因用户手持终端时轻微移动而误判定为终端处于脱落状态的情况。以该终端获取终端的海拔高度变化值和姿态角为例,终端在获取到该终端的海拔高度变化值以及姿态角后,可以进一步判断该终端是否处于脱落状态,具体地,终端可以再判断该海拔高度变化值以及该姿态角是否符合第二目标条件,如果符合,则终端可以确定该终端处于脱落状态,也即是目标运动状态,则该终端的用户很可能处于即将入睡的状态,则可以执行下述步骤S22,获取更多状态识别因素,以进一步判断该终端的用户所处的状态;如果不符合,则终端可以确定该终端未处于脱落状态,因而终端可以无需执行即将入睡时的控制功能,而是执行步骤S26。
在步骤S22中,终端采集该终端的用户的生理信息。
在确定该终端处于目标运动状态时,终端可以进一步确定该终端的用户的状态,因而可以获取采集该用户的一些生理信息,来判定该用户当前是否处于即将入睡的状态。例如,用户在即将入睡时,会闭合眼睛,呼吸平稳,心跳缓慢,脉搏跳动缓慢,则终端可以采集该终端的用户的生理信息,从而确定该终端的用户是否处于即将入睡的状态。当然,终端还可以采集该用户的其它生理信息,从而来判断该用户是否处于即将入睡的状态。例如,在用户即将入睡时,体温相对于平时会低一些。本公开实施例对具体采集该用户的生理信息后分析得到该用户的哪种生理信息不作限定。
在一种可能实现方式中,终端采集该用户的生理信息的过程可以通过采集该用户的图像和声音信号实现,也即是,在该步骤S22中,终端可以采集该终端的用户的图像和声音信号。具体地,终端可以具有图像采集功能和声音采集功能,具体可以通过图像采集器件和声音采集器件实现。例如,该图像采集器件可以为摄像头,声音采集器件可以为麦克风。则相应地,该步骤S22可以为:终端基于该终端的摄像头和麦克风,采集该终端的用户的生理信息。也即是,终端可以分别基于该终端的摄像头和麦克风,采集该终端的用户的图像和声音信号。
通过采集到的用户的图像和声音信号可以判断该用户的多种生理信息,例如,可以通过采集到的图像判断该用户的眼睛是否闭合,可以通过声音信号判断该用户的呼吸、心率、心跳或脉搏等。进一步地,该终端的用户可能即将入睡因而将眼睛闭合,但也可能在眨眼,且判断该终端的用户的呼吸是否平稳、心率是否较慢、心跳速度是否较慢或脉搏跳动是否较慢等,也需要获取一段时间的声音信号来进行分析,因而该步骤S22还可以为:终端采集第一目标时长内该终端的用户的图像,采集第二目标时长内该终端的用户的声音信号。其中,该第一目标时长和第二目标时长可以由相关技术人员根据自身经验进行设置,该第一目标时长和第二目标时长可以相同,也可以不同。例如,人眨一次眼睛的时间一般不超过一秒钟,则终端采集一秒内的图像即可,而判断呼吸、心率、心跳或脉搏等则可能需要更长的时间,本公开实施例对此不作限定。
该步骤S21和步骤S22为当检测到该终端处于目标运动状态时,采集该终端的用户的生理信息的过程,上述提供了该过程的多种实现方式,在实现方式一中,终端获取终端的运动状态信息,在运动状态信息符合目标条件时,采集用户的生理信息。在实现方式二中,终端可以获取该终端的第一运动状态信息,在该第一运动状态信息符合目标条件时,即采集用户的生理信息,且该第一运动状态信息符合目标条件时,终端还可以获取该终端的第二运动状态信息。本公开实施例对具体采用哪种实现方式不作限定。
在步骤S23中,终端基于采集到的生理信息,获取该生理信息对应的第一识别结果,当该第一识别结果指示该用户处于即将入睡的状态时,终端执行步骤S24,当该第一识别结果指示该用户未处于即将入睡的状态时,终端执行步骤S27。
其中,该第一识别结果和该第一识别结果用于指示该用户的终端使用状态。终端采集到该终端的用户的生理信息后,可以对该生理信息进行分析,然后根据用户处于即将入睡的状态时的生理特征,确定该用户是否处于即将入睡的状态。
在一种可能实现方式中,该采集到的生理信息为该用户的图像和声音信号,终端需要对该生理信息进行识别,以识别该用户的终端使用状态,从而判断该用户是否处于即将入睡的状态。该用户的终端使用状态可以包括该用户即将入睡时的使用状态和正常使用状态,其中,该用户即将入睡时的使用状态可以是眼睛闭合,呼吸平稳,也可以是心率较低等。
针对该用户的图像和声音信号可以分析得到该用户不同的信息,例如,可以根据图像确定用户眼睛的状态,可以根据声音信号确定用户的呼吸或心率等信息。在一种可能实现方式中,用户处于即将入睡的状态时的生理特征可以为眼睛处于闭合状态,呼吸平稳。在另一种可能实现方式中,用户处于即将入睡的状态时的生理特征还可以为其他特征,例如,心率小于一定值。相应地,该第一识别结果还可以用于指示该用户的心率是否小于第三阈值。本公开实施例对具体采用那种实现方式不作限定。
具体地,终端基于图像判断该用户是否处于即将入睡的状态的过程在此仅以判断用户的眼睛是否处于闭合状态为例进行说明,该过程可以为:终端对该采集到的该终端的用户的图像进行人眼检测,得到人眼识别结果。该人眼识别结果用于指示该用户的终端使用状态。在人眼闭合检测的方式中,该人眼识别结果用于指示该用户的人眼是否处于闭合状态。其中,终端可以采用任一种人眼检测算法,对该用户的图像进行人眼检测,得到人眼识别结果,例如,可以采用人眼定位算法,计算人眼闭合度,当人眼闭合度小于闭合度阈值时,确定该用户的眼睛处于闭合状态,当人眼闭合度大于或等于闭合度阈值时,确定该用户的眼睛未处于闭合状态。又例如,可以采用人眼闭合识别模型,得到该人眼识别结果,本公开实施例对该人眼检测算法不作具体限定。
当然,如果终端采集到多张图像,可以对每张图像进行人眼检测,然后基于多个识别结果,得到人眼识别结果。具体地,该基于多个识别结果,得到人眼识别结果的过程可以由相关技术人员进行设置,例如,当多个识别结果中指示该用户的眼睛处于闭合状态的识别结果所占的比例大于比例阈值时,确定该用户的眼睛处于闭合状态;当多个识别结果中指示该用户的眼睛处于闭合状态的识别结果所占的比例小于或等于比例阈值时,确定该用户的眼睛未处于闭合状态。当然,也可以不采用比较比例与比例阈值的方式获取该人眼识别结果,而是通过比较数量与数量阈值的方式,当然,还可以是其它方式,例如,任一张图像中识别结果指示该用户的眼睛未处于闭合状态,则确定该用户的眼睛未处于闭合状态,本公开实施例对具体采用哪种实现方式不作限定。
终端基于声音信号判断该用户是否处于即将入睡的状态的过程可以为:终端基于采集到的该终端的用户的声音信号的波形,获取声波识别结果。以该终端基于声音信号判断用户的呼吸是否平稳为例,终端可以基于该声音信号的波形,判断该声音信号的频率或周期是否稳定,从而确定该用户的呼吸是否平稳。当然,该获取声波识别结果的过程也可以采用其他实现方式,例如,终端可以对该声音信号进行处理,得到呼吸率波形图和脉率波形图,对该呼吸率波形图和脉率波形图进行分析,确定该用户的呼吸是否平稳。又例如,可以获取该声音信号的信息,并将该信息与预设的声音信号的信息进行对比,当相似度大于相似度阈值时,确定该用户的呼吸平稳。又例如,该声波识别结果可以基于呼吸识别模型确定,当然,该获取声波识别结果的过程还可以为其他实现方式,例如,基于该声音信号的波形,获取该用户的心率,从而基于心率获取声波识别结果,本公开实施例在此不作过多赘述,对具体采用哪种实现方式也不作限定。
在一种可能实现方式中,麦克风的拾音环境可能并不理想,周边可能有很多噪音,上述步骤S23中,终端还可以对采集到的声音信号进行降噪处理,该降噪过程可以采用任一种降噪算法实现,本公开实施例对具体采用哪种降噪算法不作限定。例如,终端可以基于低通滤波器,对该采集到的声音信号进行处理,得到处理后的声音信号,可以理解地,用户的呼吸声很轻,通过低通滤波器可以滤除掉该呼吸声之外的噪音,得到该用户的呼吸声。
终端获取到人眼识别结果和声波识别结果后,为了避免识别结果不够准确而直接做出错误判断的情况出现,终端综合考虑该人眼识别结果和声波识别结果时,可以在二者任一项说明该用户的终端使用状态为该用户即将入睡时的状态,也即是,该用户可能处于即将入睡的状态时,即进行下述步骤S24中的状态识别过程。也即是,当该人眼识别结果和该声波识别结果中至少一项指示该用户的终端使用状态为该用户即将入睡时的使用状态时,将该用户处于即将入睡的状态作为该生理信息对应的第一识别结果。在这种情况中,当该第一识别结果指示该用户处于即将入睡的状态时,终端执行步骤S24。
该终端执行步骤S24的触发条件可能包括三种情况,第一种情况中,人眼识别结果指示该用户的终端使用状态为该用户即将入睡时的使用状态,声波识别结果指示该用户的终端使用状态为正常使用状态。第二种情况中,该人眼识别结果指示该用户的终端使用状态为正常使用状态,声波识别结果指示该用户的终端使用状态为该用户即将入睡时的使用状态。在第三种情况中,该人眼识别结果和声波识别结果指示该该用户的终端使用状态为该用户即将入睡时的使用状态。
而如果二者均指示该用户的终端使用状态为正常使用状态,则可能上述终端的移动为正常移动,并非在用户手中脱落或因即将入睡而产生移动,因而终端可以执行步骤S27,无需再进一步识别用户的状态。当该第一识别结果和该第一识别结果均指示该用户的终端使用状态为正常使用状态时,终端可以将该用户未处于即将入睡的状态作为该生理信息对应的第一识别结果。当该第一识别结果指示该用户未处于即将入睡的状态时,终端执行步骤S27。
在步骤S24中,终端调用状态识别模型,将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果,该第二识别结果用于指示该用户是否处于即将入睡的状态。
终端在进行状态识别时,可以基于状态识别模型实现,该状态识别模型可以预先训练并存储于该终端中,也可以存储于服务器中,在终端需要进行状态识别时,从服务器处调用。终端调用该状态识别模型,可以将上述获取到的多种状态识别因素输入该状态识别模型中,由该状态识别模型基于模型参数,综合计算该多种状态识别因素,得到并输出第二识别结果。
对于该状态识别模型,该状态识别模型可以基于大量的样本数据训练得到,具体地,该状态识别模型可以在该终端上进行模型训练得到,也可以在服务器中训练得到,从而在服务器将该训练得到的状态识别模型封装为配置文件,终端从该服务器中获取到该配置文件,并对其进行解压缩等处理,得到状态识别模型。本公开实施例对具体采用哪种实现方式不作限定。
其中,该状态识别模型的训练过程可以为:获取多份样本数据,该多份样本数据包括多个用户处于即将入睡的状态时获取到的终端的运动状态信息和第一识别结果,以及该多个用户未处于即将入睡的状态时获取到的终端的运动状态信息和第一识别结果。终端可以调用初始模型,将该样本数据输入初始模型中,对该初始模型进行训练,得到状态识别模型。具体地,终端将样本数据输入初始模型中,由该初始模型基于初始参数,对每份样本数据中终端的运动状态信息和该第一识别结果进行计算,得到该用户的第二识别结果,而后,可基于该第二识别结果以及该用户是否处于即将入睡的状态,对初始模型的初始参数进行调整,在多次迭代过程中对该初始模型的模型参数进行多次调整后,得到训练完成的状态识别模型。需要说明的是,在该模型训练过程中,该状态识别模型获取该多份样本数据中多个用户
在终端使用该训练完成的状态识别模型时,将该训练得到的模型参数作为该状态识别模型的原始参数,提供参数设置界面,该参数设置界面用于用户设置参数。可以理解地,该用户设置的参数用于体现该用户的使用习惯,该状态识别模型的原始参数用于体现其他用户一般的使用习惯,该原始参数中各项参数可以理解为该其他用户对应的参数的平均值,这样在使用该状态识别模型对上述步骤S21至步骤S24中获取到的该用户和该用户的终端的参数进行计算时,则可以考虑到该用户的使用习惯与其他用户一般的使用习惯是否相同。
在上述步骤S22中所示的两种实现方式中,该步骤S24中终端输入状态识别模型的数据可以不同,在上述实现方式一中,终端获取到终端的运动状态信息,则可以将该运动状态信息输入该状态识别模型中。在上述实现方式二中,终端获取到第一运动状态信息后,又获取到第二运动状态信息,在输入该状态识别模型时,可以输入该第二运动状态信息而不输入该第一运动状态信息,也可以输入该第一运动状态信息和第二运动状态信息,具体可以为两种情况:将该第一运动状态信息、该第二运动状态信息和该第一识别结果输入该状态识别模型中;或,将该第二运动状态信息和该第一识别结果输入该状态识别模型中。本公开实施例对具体采用哪种实现方式不作限定。
具体地,在上述步骤S21之前,终端可以基于参数设置界面,获取该用户设置的参数。相应地,该步骤S24中,终端基于该状态识别模型,输出第二识别结果时,可以由该状态识别模型基于该用户设置的参数和该状态识别模型的原始参数,对该终端的运动状态信息和该第一识别结果进行计算,得到第二识别结果。
其中,该过程中终端可以考虑到该用户的使用习惯与其他用户一般的使用习惯是否相同,该用户的使用习惯与其他用户一般的使用习惯相同或不同时,该状态识别模型可以基于不同的参数实现计算。具体地,该计算过程可以包括两种情况:
第一种情况、当该用户设置的参数与该状态识别模型的原始参数之间的差值小于第一差值阈值时,终端可以基于该状态识别模型的原始参数,对该终端的运动状态信息和该第一识别结果进行计算。
在该第一种情况中,该用户设置的参数与该状态识别模型的原始参数之间的差值小于第一差值阈值,说明该用户的使用习惯与其他用户一般的使用习惯差不多,因而终端可以直接基于该状态识别模型的原始参数,对获取到的多项数据进行计算。
第二种情况、当该用户设置的参数与该状态识别模型的原始参数之间的差值大于或等于第一差值阈值时,终端可以基于该状态识别模型的原始参数和该差值,对该终端的运动状态信息和该第一识别结果进行计算。
在该第二种情况中,该用户设置的参数与该状态识别模型的原始参数之间的差值大于或等于第一差值阈值,说明该用户的使用习惯与其他用户一般的使用习惯相差较大,因而,终端在对获取到的多项数据进行计算时,可以考虑到其他用户一般的使用习惯,还可以考虑到该用户与其他用户一般的使用习惯的差距,从而可以得到综合普遍规律和该用户的个人使用习惯的识别结果。
需要说明的是,上述第一差值阈值可以由相关技术人员预先设置,也可以在上述模型训练过程中训练得到,本公开实施例对此不作限定。上述计算过程中,终端对获取到的终端的运动状态信息和该第一识别结果进行计算的过程可以理解为针对该多项数据的识别结果进行加权求和的过程,综合考虑多项状态识别因素,可以更全面、准确地判断用户是否处于即将入睡的状态。
其中,对于姿态角,如图3所示,用户手持终端且正常使用该终端时,该用户的正面方向的切向平面与终端屏幕所在平面之间的夹角一般比较小,这样用户在观看终端屏幕显示的内容时不会产生不适感,如果用户即将入睡,则手会松软终端会脱落,该终端则可能产生转动,会改变姿态,从而其屏幕所在平面与该用户的正面方向的切向平面之间的夹角则可能会大于夹角阈值,可以理解地,用户已经无法正常观看该终端显示内容,则说明该用户处于即将入睡的状态。通过上述用户设置的参数以及原始参数,该状态识别模型已经获知用户正常使用终端时该终端的姿态角,则可以基于获取到的终端的姿态角与模型中的姿态角,计算上述夹角与夹角阈值的关系,从而确定用户是否处于即将入睡的状态。
当然,还有一种可能实现方式,终端还可以将获取到的该用户的图像输入该状态识别模型中,由该终端基于该图像和该姿态角,获取上述夹角与夹角阈值的关系,从而确定该用户是否处于即将入睡的状态,本公开实施例对此不作限定。
在一个具体的可能实施例中,在该终端每次提供该自动控制功能后,均可以基于本次获取到的数据对该状态识别模型的参数进行更新,以进一步训练得到更符合该用户的使用习惯的模型,提高该模型识别的准确度。具体地,终端可以基于该终端的运动状态信息和该第一识别结果,对该用户设置的参数和/或该状态识别模型的原始参数进行更新。也即是,终端可以修正用户设置的参数,以使得更新后的参数更能体现该用户的使用习惯,终端也可以对该状态识别模型的原始参数进行更新,将该用户的使用习惯与其他用户一般的使用习惯进行综合,当然,终端也可以对两种参数均进行更新。
在另一个具体的可能实施例中,在该终端每次提供该自动控制功能后,可以将本次获取到的终端的运动状态信息和该第一识别结果发送至服务器,由服务器基于这些数据,对状态识别模型的模型参数进行更新。当然,该终端是否进行数据发送,可以由终端显示提示信息,由用户进行发送操作,从而在基于该发送操作触发的发送指令进行发送。这样如果本次检测到的第二识别结果不准确,用户则可以无需发送上述数据,当然,终端也可以将本次获取到的数据,与对应的第二识别结果指示该用户未处于即将入睡的状态发送至服务器,本公开实施例对此不作限定。
在一种可能实现方式中,上述两个可能实施例中对状态识别模型的原始参数进行更新的过程还可以为:当该终端的运动状态信息和该第一识别结果与该状态识别模型的原始参数之间的差值小于第二差值阈值时,执行对该状态识别模型的原始参数进行更新的步骤。这样在该用户的使用习惯与其他用户一般的使用习惯差距较大时,则可以不对用于体现其他用户一般的使用习惯的原始参数进行更新。
在步骤S25中,当该第二识别结果指示该用户处于即将入睡的状态时,终端执行该第二识别结果对应的控制功能。
通过上述步骤S21至步骤S24,终端得到第二识别结果,如果确定该用户处于即将入睡的状态,该用户则无需再继续使用该终端的全部或部分功能,终端可以提供自动控制功能,在用户即将入睡时执行该自动控制功能,以避免用户入睡而忘记关闭终端或关闭终端上的某个功能导致对该用户睡眠造成影响,也可以避免在用户入睡时产生不必要的资源消耗。
具体地,该控制功能可以由相关技术人员根据需求进行设置,也可以由用户根据自身使用习惯进行设置,本公开实施例对此不作具体限定。在一种可能实现方式中,该步骤S25中,终端可以关闭正在运行的目标应用程序;或,当该终端的运行模式为静音模式之外的任一模式时,终端可以将运行模式设置为静音模式;或,终端进行关机;或,终端控制该终端处于熄屏状态;或,终端暂停对当前正在播放的多媒体资源的播放。当然,在另一种可能实现方式中,该终端可以执行上述几种控制功能中的多种控制功能,本公开实施例对此不作限定。
例如,该终端控制方法可以应用与多媒体资源的播放控制场景中,在这种场景中还有一种可能实现方式,上述步骤S21和步骤S22中,当检测到该终端处于目标运动状态且该终端正在播放多媒体资源时,终端可以执行采集该终端的用户的生理信息的步骤,当检测到该终端处于目标运动状态但该终端中不包括正在播放的多媒体资源时,终端可以执行步骤S26,丢弃该终端的运动状态信息,而不执行该步骤S22。则相应地,在确定用户处于即将入睡的状态时,该步骤S25中,终端可以关闭播放该多媒体资源的应用程序;或,终端可以暂停对该多媒体资源的播放。
在步骤S26中,终端丢弃该终端的运动状态信息。
终端通过该终端的运动状态信息确定该终端并非处于目标运动状态,则已经确定该终端的用户未处于即将入睡的状态,因而终端可以直接执行该步骤S26,不再执行相应的判断步骤和控制功能。
在步骤S27中,终端丢弃该终端的运动状态信息和该第一识别结果。
终端通过采集用户的生理信息,确定用户未处于即将入睡的状态,则可以执行该步骤S27,而不再执行上述步骤S24和步骤S25中使用状态识别模型进行识别和对终端进行控制的步骤。例如,终端确定用户眼睛处于睁开状态,呼吸并不平稳或心率较快,则可以确定该终端的用户未处于即将入睡的状态,因而终端可以直接执行该步骤S27,不再使用状态识别模型执行相应的判断步骤,也无需执行控制功能。
上述步骤S21至步骤S27中,终端可以根据终端的状态和用户的状态,检测用户是否处于即将入睡的状态,并在确定用户处于即将入睡的状态时提供自动控制功能。可以理解地,用户在中午或晚上时较容易产生困倦而入睡,在一种可能实现方式中,在该终端中可以设置有目标时间段,当系统时间在该目标时间段内时,终端可以提供上述自动控制功能,如果系统时间不在该目标时间段内,终端则可以不提供上述自动控制功能。
具体地,当检测到该终端处于目标运动状态,且系统时间位于目标时间段内时,终端可以执行采集该终端的用户的生理信息的步骤。当检测到该终端处于目标运动状态,但系统时间为目标时间段外的任一时间时,终端可以丢弃该终端的运动状态信息。
本公开实施例中在检测到终端处于目标运动状态时,可以采集用户的生理信息,综合考虑终端的状态和用户的状态,判断该用户是否处于即将入睡的状态,在确定该用户处于即将入睡的状态时,可以自动执行相应的控制功能,从而可以避免在用户入睡而无法对终端进行控制操作时造成不必要的资源消耗。
上述图2所示实施例对终端控制方法的具体流程进行了说明,在一种可能实现方式中,该终端控制方法可以应用于多媒体资源播放控制场景中,下面通过图4所示实施例,对该终端控制方法应用于多媒体资源播放控制场景时的具体流程进行详细说明。图4是根据一示例性实施例示出的一种终端控制方法的流程图,如图4所示,该方法用于终端中,包括以下步骤:
在步骤S41中,终端获取该终端的运动状态信息,当该运动状态信息符合目标条件且该终端正在播放多媒体资源时,终端执行步骤S42;当该运动状态信息不符合目标条件时,或当该运动状态信息符合目标条件但该终端中不包括正在播放的多媒体资源时,终端执行步骤S46。
在本公开实施例中,终端在用户使用该终端播放多媒体资源时检测到用户处于即将入睡的状态,可以自动停止对该多媒体资源的播放,以避免影响用户睡眠和造成不必要的资源消耗。与上述步骤S21同理地,终端也可以将获取终端的运动状态信息判断终端的是否处于目标运动状态。不同的是,如果该终端当前未在播放多媒体资源,该终端则无需提供上述自动停止播放的功能。该当该运动状态信息符合目标条件且该终端正在播放多媒体资源时,终端执行步骤S42的过程即为:当检测到该终端处于目标运动状态且该终端正在播放多媒体资源时,终端可以执行采集该终端的用户的生理信息的步骤。
在一种可能实现方式中,当该运动状态信息不符合目标条件且该终端正在播放多媒体资源时,或,当检测到该终端处于目标运动状态但该终端中不包括正在播放的多媒体资源时,终端可以丢弃该终端的运动状态信息,而不执行该步骤S42。
在步骤S42中,终端采集该终端的用户的生理信息。
在步骤S43中,终端基于采集到的生理信息,获取该生理信息对应的第一识别结果,当该第一识别结果指示该用户处于即将入睡的状态时,终端执行步骤S44,当该第一识别结果指示该用户未处于即将入睡的状态时,终端执行步骤S47。
在步骤S44中,终端调用状态识别模型,将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果,该第二识别结果用于指示该用户是否处于即将入睡的状态。
该步骤S42至步骤S44与上述步骤S22至步骤S24同理,本公开实施例在此不多做赘述。
在步骤S45中,当该第二识别结果指示该用户处于即将入睡的状态时,终端关闭播放该多媒体资源的应用程序,或,终端暂停对该多媒体资源的播放。
通过上述步骤S41至步骤S44,终端确定当前正在播放多媒体资源,而用户处于即将入睡的状态,则终端可以停止对该多媒体资源的播放,具体地,可以直接关闭播放该多媒体资源的应用程序,也可以暂停对该多媒体资源的播放,这样则可以有效避免造成不必要的资源消耗。
在步骤S46中,终端丢弃该终端的运动状态信息。
在步骤S47中,终端丢弃该终端的运动状态信息和该第一识别结果。
该步骤S46和步骤S47与上述步骤S26和步骤S27同理,本公开实施例在此不多做赘述。
本公开实施例中在终端播放多媒体资源时检测到终端处于目标运动状态,可以采集用户的生理信息,综合考虑该终端的状态和用户的状态,判断用户是否处于即将入睡的状态,在确定该用户处于即将入睡的状态时,可以自动停止对该多媒体资源的播放,从而可以避免在用户入睡前忘记关闭终端或忘记停止当前播放的多媒体资源而造成不必要的资源消耗,也可以避免多媒体资源的播放对用户睡眠造成影响。
图5是根据一示例性实施例示出的一种终端控制装置的结构示意图。参照图5,该装置包括:
采集模块501,被配置为当检测到该终端处于目标运动状态时,采集该终端的用户的生理信息;
获取模块502,被配置为执行基于采集到的该生理信息,获取该生理信息对应的第一识别结果,该第一识别结果用于指示该用户的终端使用状态;
识别模块503,被配置为执行将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果,该第二识别结果用于指示该用户是否处于即将入睡的状态;
控制模块504,被配置为执行当该第二识别结果指示该用户处于即将入睡的状态时,执行该第二识别结果对应的控制功能。
在一种可能实现方式中,该采集模块501用于:
获取该终端的运动状态信息;当该运动状态信息符合目标条件时,采集该终端的用户的生理信息。
在一种可能实现方式中,该采集模块501用于获取该终端的加速度、海拔高度变化值和姿态角中至少一项;
相应地,该识别模块503用于将该加速度、该海拔高度变化值和该姿态角中至少一项和该第一识别结果输入该状态识别模型中。
在一种可能实现方式中,该采集模块501用于执行以下至少一项:
基于该终端的重力传感器,获取该终端的加速度;
基于该终端的气压传感器,获取该终端的海拔高度变化值;
基于该终端的角速度传感器,获取该终端的姿态角;
相应地,该采集模块501用于基于该终端的摄像头和麦克风,采集该终端的用户的生理信息。
在一种可能实现方式中,该运动状态信息符合目标条件,包括以下至少一项:
该加速度大于第一阈值;
该海拔高度变化值大于第二阈值;
基于该加速度、该海拔高度变化值和该姿态角确定该终端的运动方向为目标方向。
在一种可能实现方式中,该采集模块501用于:
获取该终端的第一运动状态信息;当该第一运动状态信息符合目标条件时,采集该终端的用户的生理信息,其中,该运动状态信息包括该第一运动状态信息;
相应地,该获取模块502还用于当该第一运动状态信息符合目标条件时,获取该终端的第二运动状态信息,其中,该运动状态信息还包括该第二运动状态信息;
相应地,该识别模块503用于:
将该第一运动状态信息、该第二运动状态信息和该第一识别结果输入该状态识别模型中;或,
将该第二运动状态信息和该第一识别结果输入该状态识别模型中。
在一种可能实现方式中,该采集模块501被配置为执行采集该终端的用户的图像和声音信号;
相应地,该获取模块502还被配置为执行:
对该采集到的该终端的用户的图像进行人眼检测,得到人眼识别结果;
基于采集到的该终端的用户的声音信号的波形,获取声波识别结果;
基于该人眼识别结果和该声波识别结果,获取该生理信息对应的第一识别结果。
在一种可能实现方式中,该识别模块503还用于:
当该人眼识别结果和该声波识别结果中至少一项指示该用户的终端使用状态为该用户即将入睡时的使用状态时,将该用户处于即将入睡的状态作为该生理信息对应的第一识别结果;或,
当该人眼识别结果和该声波识别结果均指示该用户的终端使用状态为正常使用状态时,将该用户未处于即将入睡的状态作为该生理信息对应的第一识别结果;
相应地,该识别模块503还用于当该第一识别结果指示该用户处于即将入睡的状态时,执行该调用状态识别模型,将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果的步骤;
该装置还包括:
第一丢弃模块,用于当该第一识别结果指示该用户未处于即将入睡的状态时,丢弃该终端的运动状态信息和该第一识别结果。
在一种可能实现方式中,该采集模块501还被配置为执行采集第一目标时长内该终端的用户的图像,采集第二目标时长内该终端的用户的声音信号。
在一种可能实现方式中,该获取模块502还被配置为执行基于参数设置界面,获取该用户设置的参数;
相应地,该识别模块503被配置为执行由该状态识别模型基于该用户设置的参数和该状态识别模型的原始参数,对该终端的运动状态信息和该第一识别结果进行计算,得到第二识别结果。
在一种可能实现方式中,该识别模块503被配置为执行:
当该用户设置的参数与该状态识别模型的原始参数之间的差值小于第一差值阈值时,基于该状态识别模型的原始参数,对该终端的运动状态信息和该第一识别结果进行计算;或,
当该用户设置的参数与该状态识别模型的原始参数之间的差值大于或等于第一差值阈值时,基于该状态识别模型的原始参数和该差值,对该终端的运动状态信息和该第一识别结果进行计算。
在一种可能实现方式中,该装置还包括:
更新模块,被配置为执行基于该终端的运动状态信息和该第一识别结果,对该用户设置的参数和/或该状态识别模型的原始参数进行更新。
在一种可能实现方式中,该更新模块被配置为执行当该终端的运动状态信息和该第一识别结果与该状态识别模型的原始参数之间的差值小于第二差值阈值时,执行对该状态识别模型的原始参数进行更新的步骤。
在一种可能实现方式中,该控制模块504被配置为执行:关闭正在运行的目标应用程序;或,当该终端的运行模式为静音模式之外的任一模式时,将运行模式设置为静音模式;或,进行关机;或,控制该终端处于熄屏状态;或,暂停对当前正在播放的多媒体资源的播放。
在一种可能实现方式中,该采集模块501被配置为当检测到该终端处于目标运动状态且该终端正在播放多媒体资源时,执行该采集该终端的用户的生理信息的步骤;
相应地,该控制模块504被配置为执行:关闭播放该多媒体资源的应用程序;或,暂停对该多媒体资源的播放。
在一种可能实现方式中,该获取模块502被配置为执行当检测到该终端处于目标运动状态,且系统时间位于目标时间段内时,执行该采集该终端的用户的生理信息的步骤;或,该装置还包括:
第二丢弃模块,被配置为执行当检测到该终端处于目标运动状态,但系统时间为目标时间段外的任一时间时,丢弃该终端的运动状态信息。
本公开实施例提供的装置,在检测到终端处于目标运动状态时,可以采集用户的生理信息,综合考虑终端的状态和用户的状态,判断该用户是否处于即将入睡的状态,在确定该用户处于即将入睡的状态时,可以自动执行相应的控制功能,从而可以避免在用户入睡而无法对终端进行控制操作时造成不必要的资源消耗。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种终端的结构框图。该终端600可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端600包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行以实现本公开中方法实施例提供的终端控制方法。
在一些实施例中,终端600还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、触摸显示屏605、摄像头606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本公开对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置终端600的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端600的不同表面或呈折叠设计;在再一些实施例中,显示屏605可以是柔性显示屏,设置在终端600的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端600的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端600的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时,可以检测用户对终端600的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时,由处理器601根据用户对触摸显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制触摸显示屏605的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏605的显示亮度;当环境光强度较低时,调低触摸显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时,由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时,由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种非临时性计算机可读存储介质,当该非临时性计算机可读存储介质中的指令由终端的处理器执行时,使得终端能够执行一种终端控制方法,该方法包括:
当检测到该终端处于目标运动状态时,采集该终端的用户的生理信息;
基于采集到的该生理信息,获取该生理信息对应的第一识别结果,该第一识别结果用于指示该用户的终端使用状态;
调用状态识别模型,将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果,该第二识别结果用于指示该用户是否处于即将入睡的状态;
当该第二识别结果指示该用户处于即将入睡的状态时,执行该第二识别结果对应的控制功能。
在示例性实施例中,还提供了一种应用程序,包括一条或多条指令,该一条或多条指令可以由终端的处理器执行,以完成上述实施例中提供的终端控制方法的方法步骤,该方法步骤可以包括:
当检测到该终端处于目标运动状态时,采集该终端的用户的生理信息;
基于采集到的该生理信息,获取该生理信息对应的第一识别结果,该第一识别结果用于指示该用户的终端使用状态;
调用状态识别模型,将该终端的运动状态信息和该第一识别结果输入该状态识别模型中,输出第二识别结果,该第二识别结果用于指示该用户是否处于即将入睡的状态;
当该第二识别结果指示该用户处于即将入睡的状态时,执行该第二识别结果对应的控制功能。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (28)

1.一种终端控制方法,其特征在于,应用于终端中,所述方法包括:
获取终端的运动状态信息;
当所述运动状态信息符合目标条件时,采集所述终端的用户的生理信息,所述运动状态信息包括加速度、海拔高度变化值和姿态角中至少一项,所述运动状态信息符合目标条件为所述加速度大于第一阈值,所述海拔高度变化值大于第二阈值,基于所述加速度、所述海拔高度变化值和所述姿态角确定所述终端的运动方向为目标方向中的至少一项;
基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;
调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果,所述第二识别结果用于指示所述用户是否处于即将入睡的状态;
当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。
2.根据权利要求1所述的终端控制方法,其特征在于,所述获取所述终端的加速度、海拔高度变化值和姿态角中至少一项,包括以下至少一项:
基于所述终端的重力传感器,获取所述终端的加速度;
基于所述终端的气压传感器,获取所述终端的海拔高度变化值;
基于所述终端的角速度传感器,获取所述终端的姿态角;
所述采集所述终端的用户的生理信息,包括:
基于所述终端的摄像头和麦克风,采集所述终端的用户的生理信息。
3.根据权利要求1所述的终端控制方法,其特征在于,所述获取所述终端的运动状态信息,当所述运动状态信息符合目标条件时,采集所述终端的用户的生理信息,包括:
获取所述终端的第一运动状态信息;当所述第一运动状态信息符合目标条件时,采集所述终端的用户的生理信息,其中,所述运动状态信息包括所述第一运动状态信息;
相应地,所述方法还包括:
当所述第一运动状态信息符合目标条件时,获取所述终端的第二运动状态信息,其中,所述运动状态信息还包括所述第二运动状态信息;
相应地,所述将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,包括:
将所述第一运动状态信息、所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中;或,
将所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中。
4.根据权利要求1所述的终端控制方法,其特征在于,所述采集所述终端的用户的生理信息,包括:
采集所述终端的用户的图像和声音信号;
所述基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,包括:
对所述采集到的所述终端的用户的图像进行人眼检测,得到人眼识别结果;
基于采集到的所述终端的用户的声音信号的波形,获取声波识别结果;
基于所述人眼识别结果和所述声波识别结果,获取所述生理信息对应的第一识别结果。
5.根据权利要求4所述的终端控制方法,其特征在于,所述基于所述人眼识别结果和所述声波识别结果,获取所述生理信息对应的第一识别结果,包括:
当所述人眼识别结果和所述声波识别结果中至少一项指示所述用户的终端使用状态为所述用户即将入睡时的使用状态时,将所述用户处于即将入睡的状态作为所述生理信息对应的第一识别结果;或,
当所述人眼识别结果和所述声波识别结果均指示所述用户的终端使用状态为正常使用状态时,将所述用户未处于即将入睡的状态作为所述生理信息对应的第一识别结果;
相应地,所述方法还包括:
当所述第一识别结果指示所述用户处于即将入睡的状态时,执行所述调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果的步骤;
当所述第一识别结果指示所述用户未处于即将入睡的状态时,丢弃所述终端的运动状态信息和所述第一识别结果。
6.根据权利要求4所述的终端控制方法,其特征在于,所述采集所述终端的用户的图像和声音信号,包括:
采集第一目标时长内所述终端的用户的图像,采集第二目标时长内所述终端的用户的声音信号。
7.根据权利要求1所述的终端控制方法,其特征在于,所述获取所述终端的运动状态信息,当所述运动状态信息符合目标条件时,采集所述终端的用户的生理信息之前,所述方法还包括:
基于参数设置界面,获取所述用户设置的参数;
相应地,所述将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中之后,所述方法还包括:
由所述状态识别模型基于所述用户设置的参数和所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算,得到第二识别结果。
8.根据权利要求7所述的终端控制方法,其特征在于,所述基于所述用户设置的参数和所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算,包括:
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值小于第一差值阈值时,基于所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算;或,
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值大于或等于第一差值阈值时,基于所述状态识别模型的原始参数和所述差值,对所述终端的运动状态信息和所述第一识别结果进行计算。
9.根据权利要求1所述的终端控制方法,其特征在于,所述当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能之后,所述方法还包括:
基于所述终端的运动状态信息和所述第一识别结果,对所述用户设置的参数和/或所述状态识别模型的原始参数进行更新。
10.根据权利要求9所述的终端控制方法,其特征在于,所述方法还包括:
当所述终端的运动状态信息和所述第一识别结果与所述状态识别模型的原始参数之间的差值小于第二差值阈值时,执行对所述状态识别模型的原始参数进行更新的步骤。
11.根据权利要求1所述的终端控制方法,其特征在于,所述执行所述第二识别结果对应的控制功能,包括:
关闭正在运行的目标应用程序;或,当所述终端的运行模式为静音模式之外的任一模式时,将运行模式设置为静音模式;或,进行关机;或,控制所述终端处于熄屏状态;或,暂停对当前正在播放的多媒体资源的播放。
12.根据权利要求1所述的终端控制方法,其特征在于,所述方法还包括:
当所述运动状态信息符合目标条件且所述终端正在播放多媒体资源时,执行所述采集所述终端的用户的生理信息的步骤;
相应地,所述执行所述第二识别结果对应的控制功能,包括:
关闭播放所述多媒体资源的应用程序;或,暂停对所述多媒体资源的播放。
13.根据权利要求1所述的终端控制方法,其特征在于,所述方法还包括:
当所述运动状态信息符合目标条件,且系统时间位于目标时间段内时,执行所述采集所述终端的用户的生理信息的步骤;或,
当所述运动状态信息符合目标条件,但系统时间为目标时间段外的任一时间时,丢弃所述终端的运动状态信息。
14.一种终端控制装置,其特征在于,应用于终端,所述装置包括:
采集模块,被配置为获取终端的运动状态信息;当所述运动状态信息符合目标条件时,采集所述终端的用户的生理信息,所述运动状态信息包括加速度、海拔高度变化值和姿态角中至少一项,所述运动状态信息符合目标条件为所述加速度大于第一阈值,所述海拔高度变化值大于第二阈值,基于所述加速度、所述海拔高度变化值和所述姿态角确定所述终端的运动方向为目标方向中的至少一项;
获取模块,被配置为执行基于采集到的所述生理信息,获取所述生理信息对应的第一识别结果,所述第一识别结果用于指示所述用户的终端使用状态;
识别模块,被配置为执行调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果,所述第二识别结果用于指示所述用户是否处于即将入睡的状态;
控制模块,被配置为执行当所述第二识别结果指示所述用户处于即将入睡的状态时,执行所述第二识别结果对应的控制功能。
15.根据权利要求14所述的终端控制装置,其特征在于,所述采集模块用于执行以下至少一项:
基于所述终端的重力传感器,获取所述终端的加速度;
基于所述终端的气压传感器,获取所述终端的海拔高度变化值;
基于所述终端的角速度传感器,获取所述终端的姿态角;
相应地,所述采集模块用于基于所述终端的摄像头和麦克风,采集所述终端的用户的生理信息。
16.根据权利要求14所述的终端控制装置,其特征在于,所述采集模块用于:
获取所述终端的第一运动状态信息;当所述第一运动状态信息符合目标条件时,采集所述终端的用户的生理信息,其中,所述运动状态信息包括所述第一运动状态信息;
相应地,所述获取模块还用于当所述第一运动状态信息符合目标条件时,获取所述终端的第二运动状态信息,其中,所述运动状态信息还包括所述第二运动状态信息;
相应地,所述识别模块用于:
将所述第一运动状态信息、所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中;或,
将所述第二运动状态信息和所述第一识别结果输入所述状态识别模型中。
17.根据权利要求14所述的终端控制装置,其特征在于,所述采集模块被配置为执行采集所述终端的用户的图像和声音信号;
相应地,所述获取模块还被配置为执行:
对所述采集到的所述终端的用户的图像进行人眼检测,得到人眼识别结果;
基于采集到的所述终端的用户的声音信号的波形,获取声波识别结果;
基于所述人眼识别结果和所述声波识别结果,获取所述生理信息对应的第一识别结果。
18.根据权利要求17所述的终端控制装置,其特征在于,所述识别模块还用于:
当所述人眼识别结果和所述声波识别结果中至少一项指示所述用户的终端使用状态为所述用户即将入睡时的使用状态时,将所述用户处于即将入睡的状态作为所述生理信息对应的第一识别结果;或,
当所述人眼识别结果和所述声波识别结果均指示所述用户的终端使用状态为正常使用状态时,将所述用户未处于即将入睡的状态作为所述生理信息对应的第一识别结果;
相应地,所述识别模块还用于当所述第一识别结果指示所述用户处于即将入睡的状态时,执行所述调用状态识别模型,将所述终端的运动状态信息和所述第一识别结果输入所述状态识别模型中,输出第二识别结果的步骤;
所述装置还包括:
第一丢弃模块,用于当所述第一识别结果指示所述用户未处于即将入睡的状态时,丢弃所述终端的运动状态信息和所述第一识别结果。
19.根据权利要求17所述的终端控制装置,其特征在于,所述采集模块还被配置为执行采集第一目标时长内所述终端的用户的图像,采集第二目标时长内所述终端的用户的声音信号。
20.根据权利要求14所述的终端控制装置,其特征在于,所述获取模块还被配置为执行基于参数设置界面,获取所述用户设置的参数;
相应地,所述识别模块被配置为执行由所述状态识别模型基于所述用户设置的参数和所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算,得到第二识别结果。
21.根据权利要求20所述的终端控制装置,其特征在于,所述识别模块被配置为执行:
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值小于第一差值阈值时,基于所述状态识别模型的原始参数,对所述终端的运动状态信息和所述第一识别结果进行计算;或,
当所述用户设置的参数与所述状态识别模型的原始参数之间的差值大于或等于第一差值阈值时,基于所述状态识别模型的原始参数和所述差值,对所述终端的运动状态信息和所述第一识别结果进行计算。
22.根据权利要求14所述的终端控制装置,其特征在于,所述装置还包括:
更新模块,被配置为执行基于所述终端的运动状态信息和所述第一识别结果,对所述用户设置的参数和/或所述状态识别模型的原始参数进行更新。
23.根据权利要求22所述的终端控制装置,其特征在于,所述更新模块被配置为执行当所述终端的运动状态信息和所述第一识别结果与所述状态识别模型的原始参数之间的差值小于第二差值阈值时,执行对所述状态识别模型的原始参数进行更新的步骤。
24.根据权利要求14所述的终端控制装置,其特征在于,所述控制模块被配置为执行:关闭正在运行的目标应用程序;或,当所述终端的运行模式为静音模式之外的任一模式时,将运行模式设置为静音模式;或,进行关机;或,控制所述终端处于熄屏状态;或,暂停对当前正在播放的多媒体资源的播放。
25.根据权利要求14所述的终端控制装置,其特征在于,所述采集模块被配置为当所述运动状态信息符合目标条件且所述终端正在播放多媒体资源时,执行所述采集所述终端的用户的生理信息的步骤;
相应地,所述控制模块被配置为执行:关闭播放所述多媒体资源的应用程序;或,暂停对所述多媒体资源的播放。
26.根据权利要求14所述的终端控制装置,其特征在于,所述获取模块被配置为执行当所述运动状态信息符合目标条件,且系统时间位于目标时间段内时,执行所述采集所述终端的用户的生理信息的步骤;或,
所述装置还包括:
第二丢弃模块,被配置为执行当所述运动状态信息符合目标条件,但系统时间为目标时间段外的任一时间时,丢弃所述终端的运动状态信息。
27.一种终端,其特征在于,包括:
一个或多个处理器;
用于存储一个或多个处理器可执行程序的一个或多个存储器;
其中,所述一个或多个处理器被配置为执行权利要求1至权利要求13任一项所述的终端控制方法。
28.一种存储介质,其特征在于,当所述存储介质中存储的程序由终端的处理器执行时,使得所述终端能够执行如权利要求1至权利要求13任一项所述的终端控制方法。
CN201910147158.4A 2019-02-27 2019-02-27 终端控制方法、装置、终端及存储介质 Active CN109831817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910147158.4A CN109831817B (zh) 2019-02-27 2019-02-27 终端控制方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910147158.4A CN109831817B (zh) 2019-02-27 2019-02-27 终端控制方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN109831817A CN109831817A (zh) 2019-05-31
CN109831817B true CN109831817B (zh) 2020-09-11

Family

ID=66864755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910147158.4A Active CN109831817B (zh) 2019-02-27 2019-02-27 终端控制方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109831817B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427442A (zh) * 2020-03-12 2020-07-17 宇龙计算机通信科技(深圳)有限公司 终端控制方法、装置、终端及存储介质
CN113099305A (zh) * 2021-04-15 2021-07-09 上海哔哩哔哩科技有限公司 播放控制方法及装置
CN115381261A (zh) * 2022-08-26 2022-11-25 慕思健康睡眠股份有限公司 一种温度控制方法及智能寝具产品、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016043405A1 (en) * 2014-09-19 2016-03-24 Lg Electronics Inc. Mobile terminal and motion-based low power implementing method thereof
CN105892616A (zh) * 2016-03-29 2016-08-24 宇龙计算机通信科技(深圳)有限公司 终端控制方法、终端控制装置和终端
CN106686253A (zh) * 2017-02-28 2017-05-17 维沃移动通信有限公司 一种移动终端防打扰的方法及移动终端
CN107567083A (zh) * 2017-10-16 2018-01-09 北京小米移动软件有限公司 进行省电优化处理的方法和装置
CN107708187A (zh) * 2017-09-12 2018-02-16 北京小米移动软件有限公司 睡眠模式的控制方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071725B (zh) * 2010-10-27 2020-12-25 瑞典爱立信有限公司 用于蜂窝网络服务的方法、网络实体、移动终端及介质
WO2016090630A1 (en) * 2014-12-12 2016-06-16 Intel Corporation Configure smartphone based on user sleep status
US20160255422A1 (en) * 2015-02-26 2016-09-01 Kabushiki Kaisha Toshiba Electronic device and method
CN107479684A (zh) * 2017-08-25 2017-12-15 深圳天珑无线科技有限公司 终端控制方法、装置及非临时性计算机可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016043405A1 (en) * 2014-09-19 2016-03-24 Lg Electronics Inc. Mobile terminal and motion-based low power implementing method thereof
CN105892616A (zh) * 2016-03-29 2016-08-24 宇龙计算机通信科技(深圳)有限公司 终端控制方法、终端控制装置和终端
CN106686253A (zh) * 2017-02-28 2017-05-17 维沃移动通信有限公司 一种移动终端防打扰的方法及移动终端
CN107708187A (zh) * 2017-09-12 2018-02-16 北京小米移动软件有限公司 睡眠模式的控制方法及装置
CN107567083A (zh) * 2017-10-16 2018-01-09 北京小米移动软件有限公司 进行省电优化处理的方法和装置

Also Published As

Publication number Publication date
CN109831817A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
CN110572711B (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN108803896B (zh) 控制屏幕的方法、装置、终端及存储介质
CN108427630B (zh) 性能信息获取方法、装置、终端及计算机可读存储介质
CN110933452B (zh) 萌脸礼物显示方法、装置及存储介质
CN110839128B (zh) 拍照行为检测方法、装置及存储介质
CN109831817B (zh) 终端控制方法、装置、终端及存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN112907725A (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN110956580A (zh) 图像换脸的方法、装置、计算机设备以及存储介质
CN110275655B (zh) 歌词显示方法、装置、设备及存储介质
CN112990038A (zh) 扶梯安全提醒方法、装置及计算机存储介质
CN110933454B (zh) 处理直播萌脸礼物的方法、装置、设备及存储介质
CN111931712A (zh) 人脸识别方法、装置、抓拍机及系统
CN111796990A (zh) 资源显示方法、装置、终端及存储介质
CN112100528A (zh) 对搜索结果评分模型进行训练的方法、装置、设备、介质
CN110152309B (zh) 语音通信方法、装置、电子设备及存储介质
CN112860046A (zh) 选择运行模式的方法、装置、电子设备及介质
CN111860064A (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN110263695B (zh) 人脸部位的位置获取方法、装置、电子设备及存储介质
CN112015612B (zh) 一种获取卡顿信息的方法及装置
CN114388001A (zh) 多媒体文件的播放方法、装置、设备及存储介质
CN109561215B (zh) 对美颜功能进行控制的方法、装置、终端及存储介质
CN113824902A (zh) 红外摄像机系统时延确定方法、装置、系统、设备及介质
CN111986700A (zh) 无接触式操作触发的方法、装置、设备及存储介质
CN111325083A (zh) 记录考勤信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant