CN107608523B - 移动终端的控制方法、装置及存储介质和移动终端 - Google Patents
移动终端的控制方法、装置及存储介质和移动终端 Download PDFInfo
- Publication number
- CN107608523B CN107608523B CN201710938989.4A CN201710938989A CN107608523B CN 107608523 B CN107608523 B CN 107608523B CN 201710938989 A CN201710938989 A CN 201710938989A CN 107608523 B CN107608523 B CN 107608523B
- Authority
- CN
- China
- Prior art keywords
- eye
- information
- mobile terminal
- feedback
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009471 action Effects 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 49
- 230000033001 locomotion Effects 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000001960 triggered effect Effects 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims abstract description 22
- 210000001508 eye Anatomy 0.000 claims description 133
- 230000004424 eye movement Effects 0.000 claims description 53
- 210000005252 bulbus oculi Anatomy 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 206010048669 Terminal state Diseases 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 239000002609 medium Substances 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000004418 eye rotation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 241000542420 Sphyrna tudes Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种移动终端的控制方法、装置及存储介质和移动终端，所述方法包括：在检测到预设眼部检测事件被触发时，开启眼部检测功能；获取用户的眼部动作信息；获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息；将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果；根据所述输出结果，执行与所述输出结果相应的反馈操作。本申请实施例公开的技术方案，基于机器学习的预设反馈模型，能够根据用户眼部动作信息自动执行相应的控制操作，提升了移动终端控制的智能化和个性化。
Description
技术领域
本申请实施例涉及播放控制技术领域，尤其涉及一种移动终端的控制方法、装置及存储介质和移动终端。
背景技术
随着移动终端技术的发展，手机等移动终端中的功能越来越多，为人们的生活和工作提供例如便利，但一般用户都是通过手指在移动终端的触摸屏或者实体按键进行操作来实现对移动终端各个功能的控制，其已不能满足人们日益增长的个性化、便捷化的移动终端的控制需求。
发明内容
本申请实施例提供一种移动终端的控制方法、装置及存储介质和移动终端，可以优化移动终端的控制方案。
在第一方面，本申请实施例提供了一种移动终端的控制方法，包括：
在检测到预设眼部检测事件被触发时，开启眼部检测功能；
获取用户的眼部动作信息；
获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息；
将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果；
根据所述输出结果，执行与所述输出结果相应的反馈操作。
在第二方面，本申请实施例提供了一种移动终端的控制装置，包括：
眼部检测功能开启模块，用于在检测到预设眼部检测事件被触发时，开启眼部检测功能；
眼部动作信息获取模块，用于获取用户的眼部动作信息；
预设反馈模型获取模块，用于获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息；
反馈结果输出模块，用于将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果；
反馈操作执行模块，用于根据所述输出结果，执行与所述输出结果相应的反馈操作。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所提供的移动终端的控制方法。
在第四方面，本申请实施例提供了一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面所提供的移动终端的控制方法。
本申请实施例提供的移动终端的控制方案，通过将用户的眼部动作信息输入至基于机器学习的预设反馈模型中，根据输出结果执行对移动终端的控制操作，其中，预设反馈模型是基于机器学习的模型，能够根据用户的眼部动作信息自动执行相应的控制操作，提升了移动终端控制的智能化和个性化。
附图说明
图1是本申请实施例提供的一种移动终端的控制方法的流程图；
图2是本申请实施例提供的另一种移动终端的控制方法的流程图；
图3是本申请实施例提供的另一种移动终端的控制方法的流程图；
图4是本申请实施例提供的一种移动终端的控制装置的结构示意图；
图5是本申请实施例提供的一种移动终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1给出了本申请实施例提供的一种移动终端的控制方法的流程图，本实施例的方法可以由移动终端的控制装置来执行，该装置可通过硬件和/或软件的方式实现，所述装置可作为移动终端一部分设置在所述移动终端的内部。本实施例中所述的移动终端包括手机、平板电脑、计算机或者服务器等设备。
如图1所示，本实施例提供的移动终端的控制方法包括以下步骤：
步骤101、在检测到预设眼部检测事件被触发时，开启眼部检测功能。
其中，所述预设眼部检测事件被触发的情况可以包括移动终端当前位置处于设定位置，例如当前位于厨房，一般在厨房中不方便对移动终端进行操作控制，那么可以通过检测到的眼部动作来对移动终端进行控制；还可以包括移动终端的当前运行状态为设定状态，例如当前运行的应用程序为设定应用程序，或者移动终端的电量大于设定电量值。
所述开启眼部检测功能可以为打开移动终端的摄像头来获取眼部动作的图像，根据获取的多帧图像来得到眼部动作信息，还可以为开启红外线发射功能向眼部发射红外线，根据采集到的眼部虹膜图像来得到眼部动作信息。
步骤102、获取用户的眼部动作信息。
如上所述，眼部动作信息可以为摄像头获取的组成眼部动作的多帧图像信息，也可以为采集到的组成眼部动作的多帧虹膜图像信息。其中，所述眼部动作信息包括眼球运动转动角度、眼皮的开闭状态和眼球的注视时长等信息。
步骤103、获取基于机器学习的预设反馈模型。所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息，即向预设反馈模型输入一个眼部动作信息即可输出一个相应的反馈信息。所述预设反馈模型可用于对眼部动作信息基于用户属性和/或移动终端状态确定相应的反馈信息。所述用户属性包括用户标识、年龄、性别、兴趣爱好和健康状况中的至少一项。可选的，所述移动终端状态包括移动终端当前运行的应用程序、当前位置和当前时间中的至少一项。
示例性的，具有不同用户属性的用户所生成的相同眼部动作所对应的反馈信息可以不同。例如，在运行的应用程序相同，其他条件也相同的情况下，小明的眼睛上下转动对应的反馈信息为当前显示页面的上下滑动，小红的眼睛上下转动对应的反馈信息为当前音量大小的调节。又例如，小明喜欢玩游戏，小红喜欢看书，小明在通过眼睛动作在音乐播放应用程序下寻找推荐歌曲时，移动终端对应的反馈信息为动感类型的音乐，小红在通过眼部动作在音乐播放应用程序下寻找推荐歌曲时，移动终端的反馈信息为安静舒缓类型的音乐。
示例性的，在移动终端处于不同状态下相同的眼部动作也可能对应不同的反馈信息。例如，若移动终端的当前时间为晚上11点，则眼部的设定闭合动作对应的反馈信息可以为提示用户天色已晚早点休息，若移动终端的当前时间为上午9点，则眼部的设定闭合动作对应的反馈信息可以为提示用户来杯咖啡进行提神，所述设定闭合动作可以为闭合程度小于眼睛正常睁开程度的2/3或者闭合时间达到设定时间，例如3秒。
本申请实施例中，对预设反馈模型的来源不做限定，可以是从移动终端本地获取，也可从与移动终端对应的预设服务器获取。当获取到用户的眼部动作信息时，可从移动终端本地获取预设反馈模型，也可从预设服务器中获取预设反馈模型。可选的，对于不同的用户属性和/或移动终端状态下的不同反馈模式，可对应不同的预设反馈模型，可先确定用户属性和/或移动终端状态，然后获取与用户属性和/或移动终端状态对应的预设分类模型。例如，对于移动终端的不同用户可设置不同的预设反馈模型，在确定了当前用户的用户标识后，获取当前用户对应的预设分类模型。
其中，所述预设反馈模型是由多个训练样本训练生成的，所述训练样本可以是预先从其他移动终端或者服务中获取的，也可以是从当前本移动终端采集的历史眼部动作与反馈信息的对应关系所生成的训练样本。示例性的，若某个用户的左右眼球可做出一个特殊转动动作，而一般用户的眼球无法做出该特殊转动动作，那么该用户可以在移动终端的预设反馈模型的训练模式下，在用户点击支付按键之前，眼球做出该特殊转动动作，可将眼球的该特殊转动动作与支付的反馈信息作为训练样本，用户可多次进行该操作生成多个训练样本。
可选的，本申请实施例中的基于机器学习的预设反馈模型包括基于神经网络的模型，例如，预设反馈模型中可包括一个或多个卷积神经网络层，还可包括一个或多个激活函数层，也可包括一个或多个循环神经网络层。用于训练的初始模型可基于神经网络理论建立，还可基于经验对网络层数或相关参数进行预先设置。
本申请实施例中，对所述多个已知反馈信息的眼部动作样本的来源和数量不做具体限定。可以理解的是，对于基于机器学习的模型来说，一般样本的数量越多，模型的输出结果越准确。所述预设反馈模型采集的眼部动作样本来源可以为该移动终端的某一个用户或者该移动终端的所有用户或者该移动终端的所有用户与其他相同类型移动终端的用户，本申请实施例对此并不进行限制。
步骤104、将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果。
预设反馈模型的输出结果与预设反馈模型本身实现的功能相关。在将眼部动过信息输入预设反馈模型中后，输出结果可以是与眼部动作信息对应的点按、翻页、音量调节、播放进度调整或者应用程序的开启或者关闭等反馈信息。
步骤105、根据所述输出结果，执行与所述输出结果相应的反馈操作。
若所述输出结果为点按反馈信息，则自动执行点按操作；若所述输出结果为翻页反馈信息，则自动执行翻页操作；若所述输出结果为音量调节反馈信息，则自动执行音量调节操作；若所述输出结果为播放进度调整反馈信息，则自动执行播放进度调整操作；若所述输出结果为关闭或者开启应用反馈信息，则自动执行关闭或者开启当前应用程序的操作。
本实施例提供的移动终端的控制方法，通过将用户的眼部动作信息输入至基于机器学习的预设反馈模型中，根据输出结果执行对移动终端的控制操作，其中，预设反馈模型是基于机器学习的模型，能够根据用户的眼部动作信息自动执行相应的控制操作，提升了移动终端控制的智能化和个性化。
图2给出了本申请实施例提供的另一种移动终端的控制方法的流程图。如图2所示，本实施例提供的方法包括以下步骤：
步骤201、获取用户的眼部动作以及根据所述眼部动作触发的反馈信息，将所述眼部器官动作和所述反馈信息作为训练样本。
该步骤为预设反馈模型的训练样本的获取操作。所述用户的眼部动作和所述眼部动作出发的反馈信息可以是从其他移动终端或者服务器中获取的预先存储的信息，也可以为从移动终端本地获取的用户的历史眼部动作和所述历史眼部动作触发的反馈信息，或者实时获取的眼部动作信息和所述实时获取的眼部动作触发的反馈信息。
示例性的，移动终端当前运行的应用程序为浏览器，用户一般通过手指上下滑动来实现当前显示页面的上下移动，来切换用户的浏览内容，一般在向上滑动的过程中用户的眼球也是随着滑动操作向上转动来浏览滑动上去的内容，因此，在移动终端运行的应用程序为浏览器时，眼球向上转动动作可触发当前显示页面的上滑事件，并可根据眼球向上转动的速度来控制当前显示页面的滑动速度，那么可将眼球向上转动动作作为训练样本其对应的反馈信息为当前显示页面上滑。
步骤202、多次执行获取训练样本的操作，对获取到的多个训练样本进行训练，生成预设反馈模型。
该步骤即多次执行步骤201中获取用户的眼部动作以及根据所述眼部动作触发的反馈信息，将所述眼部器官动作和所述反馈信息作为训练样本的操作，对获取到的多个训练样本进行训练，生成预设反馈模型。
示例性的，可在用户多次使用浏览器时，每次都执行上述的训练样本的获取操作，得到多个训练样本。同理，可获取到不同用户属性和/或移动终端状态下的多个训练样本，对获取到的不同用户属性和/或移动终端状态下的多个训练样本进行训练，生成预设反馈模型。
步骤203、在检测到预设眼部检测事件被触发时，开启眼部检测功能。
步骤204、获取用户的眼部动作信息。
步骤205、获取基于机器学习的预设反馈模型。所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息。
步骤206、将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果。
如上述示例，若所述眼部动作信息为眼球向上转动动作，将该眼球向上转动动作信息输入至预设反馈模型中，预设反馈模型可在当前运行的应用程序为浏览器时输出向上滑动当前显示页面的反馈信息。
步骤207、根据所述输出结果，执行与所述输出结果相应的反馈操作。
如上述示例，在获取到眼球向上转动动作信息后，移动终端可自动执行向上滑动当前显示页面的反馈操作。
在某些实施方式中，步骤201可以包括：获取组成所述眼部动作的各帧图像，根据所述各帧图像确定所述眼部动作的特征信息；获取所述眼部动作生成的过程中或者生成之后所触发的反馈信息。相应的，步骤206可以包括：将所述眼部动作信息输入至所述预设反馈模型中，并获取所述预设反馈模型基于所述眼部动作信息的特征信息确定的反馈信息。
在某些实施方式中，所述获取组成所述眼部动作的各帧图像，根据所述各帧图像确定眼部动作的特征信息可以包括：获取组成所述眼部动作的各帧图像，根据所述各帧图像中每两帧相邻图像的灰度值差值确定眼部动作的特征信息。示例性的，所述眼部动作信息由5帧图像a1-a5组成，a1和a2的灰度值差值为 z1，a2和a3的灰度值差值为z2，a3和a4的灰度值差值为z3，a4和a5的灰度值差值为z4，可以将标准差z＝sqrt((z1+z2+z3+z4)/5)作为该眼部动作信息的特征信息。特征信息可以标识眼部动作信息，以区分相同类型的眼部动作信息，例如区分眼睛转动的幅度和频率等。还可以包括：获取组成所述眼部动作的各帧图像，并获取各帧图像中眼部与移动终端屏幕的角度值，根据所述各帧图像的角度值确定眼部动作的特征信息。具体可以根据各帧图像中每两帧相邻图像的角度值差值确定眼部动作的特征信息，例如将各个角度值差值的标准差确定为眼部动作的特征信息。其中，所述各帧图像可以是由摄像头采集的，也可以是根据发射的红外线采集的虹膜图像，本实施例对此并不进行限制。
本实施例提供的方法，通过获取用户的眼部动作以及根据所述眼部动作触发的反馈信息，将所述眼部动作和所述反馈信息作为训练样本，多次执行获取训练样本的操作，对获取到的多个训练样本进行训练，可以生成准确且贴合用户需求的预设反馈模型，以根据预设反馈模型智能化、个性化的进行移动终端的控制操作。
图3给出了本申请实施例提供的另一种移动终端的控制方法的流程图。如图3所示，本实施例提供的移动终端的控制方法包括以下步骤：
步骤301、在检测到预设眼部检测事件被触发时，开启眼部检测功能。
步骤302、获取用户的眼部动作信息。
步骤303、获取基于机器学习的预设反馈模型。所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息。
步骤304、将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果。
步骤305、根据所述输出结果，执行与所述输出结果相应的反馈操作。
步骤306、接收用户输入的输出结果修正信息。
示例性的，若眼部动作X对应的输出结果为打开应用程序A，则步骤304 相应执行打开应用程序A的操作。若用户做出眼部动作X的意图并不是打开应用程序A而是打开应用程序B，那么用户会关闭应用程序A并开启应用程序B，那么在移动终端接收到用户关闭应用程序A和打开应用程序B的操作指令时，则修正眼部动作X对应的输出结果为打开应用程序B，当然，可能仅仅一次不符合眼部动作的反馈信息不会直接进行修正操作，而是根据一定的修正或者更新规则对预设反馈模型进行修正或者更新，例如，在不相符次数达到设定次数时调整预设反馈模型中该眼部动作对应的输出结果。
步骤307、将所述眼部动作信息和所述输出结果修正信息反馈至所述预设反馈模型，用于对所述预设反馈模型进行训练及更新。
如上所述，对预设反馈模型中的眼部动作信息的输出结果根据修正信息进行训练和更新。在对所述预设反馈模型进行训练及更新之后，将获取到的眼部动作信息输入至更新后的预设反馈模型中，并进行后续操作。
可选的，若预设反馈模型在移动终端本地，那么可将所述眼部动作信息和所述输出结果修正信息反馈至移动终端，移动终端对预设反馈模型进行训练及更新；若预设反馈模型在预设服务器中，那么可将所述眼部动作信息和所述输出结果修正信息反馈至预设服务器，移动终端指示服务器对预设反馈模型进行训练及更新。
本实施例提供的方法，通过将输出结果修正信息和相应的眼部动作信息反馈至预设反馈模型中，对预设反馈模型进行训练和更新，可以对预设反馈模型利用新的训练样本进行再次训练，使得预设反馈模型更加贴合用户对移动终端的控制习惯，使移动终端的控制更加准确和智能化。
图4为本申请实施例提供的一种移动终端的控制装置的结构示意图，该装置可由软件和/或硬件实现，集成在移动终端中。如图4所示，该装置包括眼部检测功能开启模块41、眼部动作信息获取模块42、预设反馈模型获取模块43、反馈结果输出模块44和反馈操作执行模块45。
所述眼部检测功能开启模块41，用于在检测到预设眼部检测事件被触发时，开启眼部检测功能；
所述眼部动作信息获取模块42，用于获取用户的眼部动作信息；
所述预设反馈模型获取模块43，用于获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息；
所述反馈结果输出模块44，用于将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果；
所述反馈操作执行模块45，用于根据所述输出结果，执行与所述输出结果相应的反馈操作。
本实施例提供的装置，通过将用户的眼部动作信息输入至基于机器学习的预设反馈模型中，根据输出结果执行对移动终端的控制操作，其中，预设反馈模型是基于机器学习的模型，能够根据用户的眼部动作信息自动执行相应的控制操作，提升了移动终端控制的智能化和个性化。
可选的，所述预设反馈模型获取模块具体用于：
从移动终端本地或者预设服务器中获取基于机器学习的预设反馈模型。
可选的，所述装置还包括：
训练样本获取模块，用于获取用户的眼部动作以及根据所述眼部动作触发的反馈信息，将所述眼部器官动作和所述反馈信息作为训练样本；
预设反馈模型生成模块，用于多次执行获取训练样本的操作，对获取到的多个训练样本进行训练，生成预设反馈模型。
可选的，所述训练样本获取模块获取用户的眼部动作以及根据所述眼部动作触发的反馈信息可以包括：
获取组成所述眼部动作的各帧图像，根据所述各帧图像确定所述眼部动作的特征信息；
获取所述眼部动作生成的过程中或者生成之后所触发的反馈信息；
所述反馈结果输出模块具体用于：
将所述眼部动作信息输入至所述预设反馈模型中，并获取所述预设反馈模型基于所述眼部动作信息的特征信息确定的反馈信息。
可选的，所述训练样本获取模块获取组成所述眼部动作的各帧图像，根据所述各帧图像确定眼部动作的特征信息可以包括：
获取组成所述眼部动作的各帧图像，根据所述各帧图像中每两帧相邻图像的灰度值差值确定眼部动作的特征信息；或者，
获取组成所述眼部动作的各帧图像，并获取各帧图像中眼部与移动终端屏幕的角度值，根据所述各帧图像的角度值确定眼部动作的特征信息。
可选的，所述装置还包括：
修正信息接收模块，用于在执行与所述输出结果相应的反馈操作之后，接收用户输入的输出结果修正信息；
预设反馈模型更新模块，用于将所述眼部动作信息和所述输出结果修正信息反馈至所述预设反馈模型，用于对所述预设反馈模型进行训练及更新。
可选的，所述反馈操作执行模块具体用于：
若所述输出结果为点按反馈信息，则自动执行点按操作；
若所述输出结果为翻页反馈信息，则自动执行翻页操作；
若所述输出结果为音量调节反馈信息，则自动执行音量调节操作；
若所述输出结果为播放进度调整反馈信息，则自动执行播放进度调整操作；
若所述输出结果为关闭或者开启应用反馈信息，则自动执行关闭或者开启当前应用程序的操作。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种移动终端的控制方法，该方法包括：
在检测到预设眼部检测事件被触发时，开启眼部检测功能；
获取用户的眼部动作信息；
获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息；
将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果；
根据所述输出结果，执行与所述输出结果相应的反馈操作。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯 (Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网) 连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的移动终端的控制操作，还可以执行本申请任意实施例所提供的移动终端的控制方法中的相关操作。
本申请实施例提供了一种移动终端，该移动终端可以包括本申请任意实施例提供的移动终端的控制装置。图5为本申请实施例提供的一种移动终端的结构示意图，如图5所示，该移动终端可以包括：存储器501、中央处理器(Central Processing Unit，CPU)502(又称处理器，以下简称CPU)、所述存储器501，用于存储可执行程序代码；所述处理器502通过读取所述存储器501中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行：在检测到预设眼部检测事件被触发时，开启眼部检测功能；获取用户的眼部动作信息；获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，用于获取眼部动作的反馈信息；将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果；根据所述输出结果，执行与所述输出结果相应的反馈操作。
所述移动终端还包括：外设接口503、RF(Radio Frequency，射频)电路 505、音频电路506、扬声器511、电源管理芯片508、输入/输出(I/O)子系统 509、触摸屏512、其他输入/控制设备510以及外部端口504，这些部件通过一个或多个通信总线或信号线507来通信。
应该理解的是，图示移动终端500仅仅是移动终端的一个范例，并且移动终端500可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的移动终端进行详细的描述，该移动终端以手机为例。
存储器501，所述存储器501可以被CPU502、外设接口503等访问，所述存储器501可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口503，所述外设接口503可以将设备的输入和输出外设连接到 CPU502和存储器501。
I/O子系统509，所述I/O子系统509可以将设备上的输入输出外设，例如触摸屏512和其他输入/控制设备510，连接到外设接口503。I/O子系统509可以包括显示控制器5091和用于控制其他输入/控制设备510的一个或多个输入控制器5092。其中，一个或多个输入控制器5092从其他输入/控制设备510接收电信号或者向其他输入/控制设备510发送电信号，其他输入/控制设备510可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器5092可以与以下任一个连接：键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏512，所述触摸屏512是用户终端与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。
I/O子系统509中的显示控制器5091从触摸屏512接收电信号或者向触摸屏512发送电信号。触摸屏512检测触摸屏上的接触，显示控制器5091将检测到的接触转换为与显示在触摸屏512上的用户界面对象的交互，即实现人机交互，显示在触摸屏512上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路505，主要用于建立手机与无线网络(即网络侧)的通信，实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地，RF 电路505接收并发送RF信号，RF信号也称为电磁信号，RF电路505将电信号转换为电磁信号或将电磁信号转换为电信号，并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路505可以包括用于执行这些功能的已知电路，其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder，编译码器)芯片组、用户标识模块(Subscriber Identity Module，SIM)等等。
音频电路506，主要用于从外设接口503接收音频数据，将该音频数据转换为电信号，并且将该电信号发送给扬声器511。
扬声器511，用于将手机通过RF电路505从无线网络接收的语音信号，还原为声音并向用户播放该声音。
电源管理芯片508，用于为CPU502、I/O子系统及外设接口503所连接的硬件进行供电及电源管理。
上述实施例中提供的移动终端的控制装置、存储介质及终端可执行本申请任意实施例所提供的移动终端的控制方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的移动终端的控制方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。
Claims (10)
1.一种移动终端的控制方法，其特征在于，包括：
在检测到预设眼部检测事件被触发时，开启眼部检测功能，其中，检测到预设眼部检测事件被触发包括：移动终端当前位置处于设定位置和移动终端的当前运行状态为设定状态中的至少一项；
获取用户的眼部动作信息，其中，所述眼部动作信息包括眼球运动转动角度、眼皮的开闭状态和眼球的注视时长中的至少一项；
获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，所述预设反馈模型用于对眼部动作信息基于用户属性和移动终端状态确定相应的反馈信息，其中，所述反馈信息包括点按反馈信息、翻页反馈信息、音量调节反馈信息、播放进度调整反馈信息、关闭应用反馈信息和开启应用反馈信息中的一项，所述用户属性包括用户标识、年龄、性别、兴趣爱好和健康状况中的至少一项，所述移动终端状态包括移动终端当前运行的应用程序、当前位置和当前时间中的至少一项；
将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果，其中，所述输出结果是与所述眼部动作信息对应的反馈信息；
根据所述输出结果，执行与所述输出结果相应的操作，对所述移动终端进行控制。
2.根据权利要求1所述的方法，其特征在于，所述获取基于机器学习的预设反馈模型包括：
从移动终端本地或者预设服务器中获取基于机器学习的预设反馈模型。
3.根据权利要求2所述的方法，其特征在于，还包括：
获取用户的眼部动作以及根据所述眼部动作触发的反馈信息，将所述眼部动作和所述反馈信息作为训练样本；
多次执行获取训练样本的操作，对获取到的多个训练样本进行训练，生成预设反馈模型。
4.根据权利要求3所述的方法，其特征在于，所述获取用户的眼部动作以及根据所述眼部动作触发的反馈信息包括：
获取组成所述眼部动作的各帧图像，根据所述各帧图像确定所述眼部动作的特征信息；
获取所述眼部动作生成的过程中或者生成之后所触发的反馈信息；
所述将所述眼部动作信息输入至所述预设反馈模型中，并获取所述预设反馈模型的输出结果包括：
将所述眼部动作信息输入至所述预设反馈模型中，并获取所述预设反馈模型基于所述眼部动作信息的特征信息确定的反馈信息。
5.根据权利要求4所述的方法，其特征在于，所述获取组成所述眼部动作的各帧图像，根据所述各帧图像确定眼部动作的特征信息包括：
获取组成所述眼部动作的各帧图像，根据所述各帧图像中每两帧相邻图像的灰度值差值确定眼部动作的特征信息；或者，
获取组成所述眼部动作的各帧图像，并获取各帧图像中眼部与移动终端屏幕的角度值，根据所述各帧图像的角度值确定眼部动作的特征信息。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述执行与所述输出结果相应的操作之后还包括：
接收用户输入的输出结果修正信息；
将所述眼部动作信息和所述输出结果修正信息反馈至所述预设反馈模型，用于对所述预设反馈模型进行训练及更新。
7.根据权利要求1-5任一项所述的方法，其特征在于，根据所述输出结果，执行与所述输出结果相应的操作包括：
若所述输出结果为点按反馈信息，则自动执行点按操作；
若所述输出结果为翻页反馈信息，则自动执行翻页操作；
若所述输出结果为音量调节反馈信息，则自动执行音量调节操作；
若所述输出结果为播放进度调整反馈信息，则自动执行播放进度调整操作；
若所述输出结果为关闭应用反馈信息，则自动执行关闭当前应用程序的操作；
若所述输出结果为开启应用反馈信息，则自动执行开启当前应用程序的操作。
8.一种移动终端的控制装置，其特征在于，包括：
眼部检测功能开启模块，用于在检测到预设眼部检测事件被触发时，开启眼部检测功能，其中，检测到预设眼部检测事件被触发包括：移动终端当前位置处于设定位置和移动终端的当前运行状态为设定状态中的至少一项；
眼部动作信息获取模块，用于获取用户的眼部动作信息，其中，所述眼部动作信息包括眼球运动转动角度、眼皮的开闭状态和眼球的注视时长中的至少一项；
预设反馈模型获取模块，用于获取基于机器学习的预设反馈模型，所述预设反馈模型由多个已知反馈信息的眼部动作样本训练得到，所述预设反馈模型用于对眼部动作信息基于用户属性和移动终端状态确定相应的反馈信息，其中，所述反馈信息包括点按反馈信息、翻页反馈信息、音量调节反馈信息、播放进度调整反馈信息、关闭应用反馈信息和开启应用反馈信息中的至少一项，所述用户属性包括用户标识、年龄、性别、兴趣爱好和健康状况中的至少一项，所述移动终端状态包括移动终端当前运行的应用程序、当前位置和当前时间中的至少一项；
反馈结果输出模块，用于将所述眼部动作信息输入至预设反馈模型中，并获取所述预设反馈模型的输出结果，其中，所述输出结果是与所述眼部动作信息对应的反馈信息；
反馈操作执行模块，用于根据所述输出结果，执行与所述输出结果相应的操作，对所述移动终端进行控制。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的移动终端的控制方法。
10.一种移动终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一所述的移动终端的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710938989.4A CN107608523B (zh) | 2017-09-30 | 2017-09-30 | 移动终端的控制方法、装置及存储介质和移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710938989.4A CN107608523B (zh) | 2017-09-30 | 2017-09-30 | 移动终端的控制方法、装置及存储介质和移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107608523A CN107608523A (zh) | 2018-01-19 |
| CN107608523B true CN107608523B (zh) | 2021-04-13 |
Family
ID=61067537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710938989.4A Active CN107608523B (zh) | 2017-09-30 | 2017-09-30 | 移动终端的控制方法、装置及存储介质和移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107608523B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108189787B (zh) * | 2017-12-12 | 2020-04-28 | 北京汽车集团有限公司 | 控制车辆座椅的方法和装置、存储介质和车辆 |
| CN109240504A (zh) * | 2018-09-25 | 2019-01-18 | 北京旷视科技有限公司 | 控制方法、模型训练方法、装置及电子设备 |
| CN109350965B (zh) * | 2018-10-09 | 2019-10-29 | 苏州好玩友网络科技有限公司 | 一种应用于移动终端的游戏控制方法、装置及终端 |
| CN110327061B (zh) * | 2019-08-12 | 2022-03-08 | 北京七鑫易维信息技术有限公司 | 一种基于眼动追踪技术的性格确定装置、方法及设备 |
| CN110941333A (zh) * | 2019-11-12 | 2020-03-31 | 北京字节跳动网络技术有限公司 | 基于眼部动作的交互方法、装置、介质和电子设备 |
| CN111625089B (zh) * | 2020-04-28 | 2024-04-16 | 宇龙计算机通信科技(深圳)有限公司 | 智能眼镜控制方法、装置、存储介质及智能眼镜 |
| CN114518800A (zh) * | 2020-11-18 | 2022-05-20 | 北京搜狗科技发展有限公司 | 一种请求发送方法、装置和用于发送请求的装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104601791A (zh) * | 2013-10-31 | 2015-05-06 | 大连易维立方技术有限公司 | 一种识别手机操作手势的方法 |
| CN104636097A (zh) * | 2013-11-12 | 2015-05-20 | 广州华久信息科技有限公司 | 一种基于眼睛的字体大小自适应调整方法及移动终端 |
| CN106168853A (zh) * | 2016-06-23 | 2016-11-30 | 中国科学技术大学 | 一种自由空间头戴式视线跟踪系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224065A (zh) * | 2014-05-29 | 2016-01-06 | 北京三星通信技术研究有限公司 | 一种视线估计设备和方法 |
| CN105739705A (zh) * | 2016-02-04 | 2016-07-06 | 重庆邮电大学 | 一种车载系统人眼控制方法及装置 |
| CN106814853A (zh) * | 2016-12-15 | 2017-06-09 | 上海眼控科技股份有限公司 | 一种基于机器学习的眼控跟踪方法 |
-
2017
- 2017-09-30 CN CN201710938989.4A patent/CN107608523B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104601791A (zh) * | 2013-10-31 | 2015-05-06 | 大连易维立方技术有限公司 | 一种识别手机操作手势的方法 |
| CN104636097A (zh) * | 2013-11-12 | 2015-05-20 | 广州华久信息科技有限公司 | 一种基于眼睛的字体大小自适应调整方法及移动终端 |
| CN106168853A (zh) * | 2016-06-23 | 2016-11-30 | 中国科学技术大学 | 一种自由空间头戴式视线跟踪系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107608523A (zh) | 2018-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107608523B (zh) | 移动终端的控制方法、装置及存储介质和移动终端 | |
| CN108076224B (zh) | 应用程序控制方法、装置及存储介质和移动终端 | |
| US12039995B2 (en) | Audio signal processing method and apparatus, electronic device, and storage medium | |
| CN108537207B (zh) | 唇语识别方法、装置、存储介质及移动终端 | |
| US10671231B2 (en) | Electromagnetic interference signal detection | |
| US10141929B2 (en) | Processing electromagnetic interference signal using machine learning | |
| US10310631B2 (en) | Electronic device and method of adjusting user interface thereof | |
| CN108156317B (zh) | 通话语音控制方法、装置及存储介质和移动终端 | |
| CN108920202B (zh) | 应用预加载管理方法、装置、存储介质及智能终端 | |
| US20190306709A1 (en) | Electronic device | |
| CN107491560B (zh) | 页面图片显示方法、装置、存储介质、服务器及移动终端 | |
| CN107995370B (zh) | 通话控制方法、装置及存储介质和移动终端 | |
| US20140310764A1 (en) | Method and apparatus for providing user authentication and identification based on gestures | |
| US10970523B2 (en) | Terminal and server for providing video call service | |
| CN109218535B (zh) | 智能调节音量的方法、装置、存储介质及终端 | |
| KR102561572B1 (ko) | 센서 활용 방법 및 이를 구현한 전자 장치 | |
| CN109901698B (zh) | 一种智能交互方法、可穿戴设备和终端以及系统 | |
| WO2018006374A1 (zh) | 一种基于主动唤醒的功能推荐方法、系统及机器人 | |
| US10101869B2 (en) | Identifying device associated with touch event | |
| CN113168227A (zh) | 执行电子装置的功能的方法以及使用该方法的电子装置 | |
| CN110399474A (zh) | 一种智能对话方法、装置、设备及存储介质 | |
| CN111158487A (zh) | 使用无线耳机与智能终端进行交互的人机交互方法 | |
| KR102163996B1 (ko) | 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치 | |
| CN105677023A (zh) | 信息呈现方法及装置 | |
| CN109276881A (zh) | 一种游戏控制方法、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |