CN110286755A - 终端操控方法、装置、电子设备及计算机可读取存储介质 - Google Patents

Abstract

本申请实施例公开了一种终端操控方法、装置、电子设备及计算机可读取存储介质，涉及电子技术领域。该方法包括：获取用户的视觉焦点位置和面部动作信息；根据视觉焦点位置和面部动作信息,确定对应的操控指令；执行操控指令。本申请通过获取视觉焦点位置和面部动作信息作为输入，以确定并执行对应的操控指令，可以降低误操作率，并在丰富终端交互方式的同时，提高终端操控的准确率。

Description

终端操控方法、装置、电子设备及计算机可读取存储介质

技术领域

本申请涉及电子技术领域，更具体地，涉及一种终端操控方法、装置、电子设备及计算机可读取存储介质。

背景技术

随着科技发展，虽然终端的硬件和软件功能不断升级迭代，但是与终端的交互方式仍较为局限，普遍是通过触摸、键盘输入等方式与终端进行交互，即一般需要用户用手来实现交互，例如通过手指点击、触摸等操作使终端获取操控指令以实现交互。但是在部分应用场景中，用户双手不便于操作，此时这种局限的交互方式难以满足用户的使用需求。

发明内容

本申请提出了一种终端操控方法、装置、电子设备及计算机可读取存储介质，以改善上述缺陷。

第一方面，本申请实施例提供了一种终端操控方法，所述方法包括：获取用户的视觉焦点位置和面部动作信息；根据视觉焦点位置和面部动作信息,确定对应的操控指令；执行操控指令。

第二方面，本申请实施例还提供了一种终端操控装置，所述装置包括：获取模块，用于获取用户的视觉焦点位置和面部动作信息；确定模块，用于根据视觉焦点位置和面部动作信息,确定对应的操控指令；执行模块，用于执行操控指令。

第三方面，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述方法。

第四方面，本申请实施例还提供了一种计算机可读取存储介质，计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。

本申请提供的终端操控方法、装置、电子设备及计算机可读取存储介质，通过获取用户的视觉焦点位置和面部动作信息，然后根据视觉焦点位置和面部动作信息,确定对应的操控指令，最后执行操控指令。由此，本申请通过获取视觉焦点位置和面部动作信息作为输入，以确定并执行对应的操控指令，可以降低误操作率，并在丰富终端交互方式的同时，提高终端操控的准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提供的终端操控方法的方法流程图；

图2示出了本申请另一实施例提供的终端操控方法的方法流程图；

图3示出了本申请另一实施例提供的终端操控方法的操控示意图；

图4示出了本申请另一实施例提供的终端操控方法的操控示意图；

图5示出了本申请又一实施例提供的终端操控方法的方法流程图；

图6示出了本申请还一实施例提供的终端操控方法的方法流程图；

图7示出了本申请再另一实施例提供的终端操控方法的方法流程图；

图8示出了本申请再另一实施例提供的终端操控方法的操控示意图；

图9示出了本申请再又一实施例提供的终端操控方法的方法流程图；

图10示出了本申请实施例提供的终端操控装置的模块框图；

图11示出了本申请实施例提供的电子设备的结构框图；

图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的终端操控方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

目前现有的移动终端具有触控显示屏，并且大部分移动终端还包括至少一个按键，以供用户通过触摸触控显示屏或按下按键来输入操控指令，从而实现对移动终端的操控，实现诸如点击、长按、滑动等操作，甚至还可以实现一些快捷功能如调节音量、关机、重启等。然而目前移动终端可支持的操控方式如前所述，绝大多数都要求用户要用手来进行输入，但在实际使用移动终端的过程中，用户可能不方便用手实现操控，例如双手均握持有物品时。

因此，为了解决上述缺陷，本申请实施例提供了一种终端操控方法，如图1所示，具体地，该方法包括：S101至S103。

S101：获取用户的视觉焦点位置和面部动作信息。

于本实施例中，用户终端可以根据获取到的眼球的运动状态信息和虹膜角度变化信息等来确定用户的视觉焦点位置，用户的视觉焦点位置为用户视线的集中交汇处，即用户当前凝视的位置。该视觉焦点位置可以位于用户终端的屏幕上，也可以不位于，本实施例对此不作限定。另外，面部动作信息可以包括用户面部各个器官的动作，至少包括眼部动作、唇部动作、眉部动作中的一种或几种，具体地例如眨眼、挑眉、嘴唇突出/缩回、嘴唇的张开/闭合、嘴唇的左歪/右歪等。需要说明的是，于本实施例中，眼部动作不包括眼球的动作，即面部动作信息不包括眼球动作。

具体地，用户终端可以利用眼球追踪技术获取用户的眼部特征信息，其具体实施方式至少可包括以下几种：一是根据用户眼球和眼球周边的特征变化进行跟踪，以获取用户的眼部特征信息；二是根据虹膜角度变化进行跟踪，以获取用户的眼部特征信息；三是主动投射红外线等光束到虹膜来提取特征，以获取用户的眼部特征信息。进而根据用户的眼部特征信息解析出用户当前凝视的屏幕位置，即视觉焦点位置。其中，眼部特征信息包括但不限于眼球的运动状态信息(如眼球运动的方向、幅度等信息)、虹膜角度变化信息。

在一种实施方式中，用户终端配置有图像采集装置，可以通过图像采集装置采集用户的眼部特征信息及面部动作信息。其中，图像采集装置可以是一个或多个，如摄像头、相机等，可以是集成与用户终端的内部，也可以是独立于用户终端的外部设备，当为外部设备时，可以将采集到的图像信息以有线或无线的方式传输到用户终端中。具体地，利用图像采集装置实施采集用户的面部图像，通过对采集的图像进行分析，获得眼部特征信息，以及面部器官的位置和状态等信息，从而获取用户的视觉焦点位置以及面部动作信息。

于本实施例中，用户终端可以设置基于视觉焦点位置和面部动作信息的操控模式，在该操控模式开启下，可以获取用户的视觉焦点位置和面部动作信息，在该操控模式关闭时，可以不作获取。需要说明的是，在该操控模式开启时，也可以同时支持其他常用操控方式，如基于触摸屏、按键、语音等的操控方式，实现多种操控方式的并存，用户可以按需选用合适的操控方式对终端进行操控，满足使用需求，也提高使用便利性。

进一步地，在该操控模式开启时，作为一种方式，用户终端可以在处于熄屏状态时仍支持获取用户的视觉焦点位置和面部动作信息，由此可以更进一步丰富操控体验，实现更多快捷操作如非接触式的屏幕唤醒，由于目前的屏幕唤醒多为抬起唤醒、触摸唤醒、按键唤醒等，均需要用户用手接触终端才可实现唤醒，而通过在熄屏状态下仍支持获取用户地视觉焦点位置和面部动作信息，可以实现更便捷的屏幕唤醒，丰富操控体验的同时提高使用便利性。

作为另一种方式，用户终端在处于熄屏状态时不支持对用户的视觉焦点位置和面部动作信息的获取，仅在用户终端处于唤醒状态时才作获取，由此，由此可以降低误触发的概率，降低终端功耗。

S102：根据视觉焦点位置和面部动作信息,确定对应的操控指令。

于本实施例中，用户终端将视觉焦点位置和面部动作信息作为两种输入，来确定对应的操控指令，具体地，用户终端可以根据视觉焦点位置和面部动作信息，在预设数据库中进行匹配并确定对应的操控指令。目前虽然仅把眼球作为单一输入已经可以实现对终端的操控，但是用户视线的移动或视觉焦点位置的移动往往是随意的，并不总有意义，即用户视线的移动并不代表要触发计算机命令，因此如果视觉焦点位置总是随着用户视线移动，很可能引发误操作进而可能引起用户的厌烦，因此，本实施例通过将视觉焦点位置结合面部动作信息来确定对应的操控指令，不但丰富了终端交互方式，使得用户可以基于视线和面部动作实现对终端的操控，而且还降低了误操作的概率，提升用户操控体验。

在一种实施方式中，用户终端预设有面部单一数据库，面部单一数据库存储有不同面部动作信息与操控指令之间的对应关系，从而根据获取的面部动作信息可以从面部单一数据库中匹配出对应的操控指令，并根据视觉焦点位置确定操控指令的执行对象，即控制对象。例如，用户当前凝视屏幕上的位置A，并嘴唇突出，用户终端根据位置A判断得到位置A对应应用程序A，并根据嘴唇突出动作在面部单一数据库中确定对应的操控指令为选中/点击，从而可以通过执行该操控指令实现对应用程序A的选中/点击操作。由此，用户终端通过根据视觉焦点位置和面部动作信息，确定对应的操控指令，可以实现准确的对象选择，及操控指令的判断，从而可以提高对操控指令的判断准确度，并且达到与用手操作同样的效果。

在另一种实施方式中，用户终端预设有面部组合数据库，面部组合数据库存储有视觉焦点位置和面部动作信息与操控指令之间的对应关系，即根据视觉焦点位置和面部动作信息的组合，可以在面部组合数据库中匹配到对应的操控指令。例如，用户当前凝视屏幕上的位置B，并嘴唇突出，用户终端通过对位置B进行分析判断该位置B落入上部区域，并根据上部区域及嘴唇突出动作在面部组合数据库中确定对应的操控指令为熄屏，从而可以通过执行该操控指令实现熄屏。由于用户的视线移动或部分面部动作可能是随意、无意义的，并不是要用于操控用户终端的，因此，本实施例通过获取视觉焦点位置和面部动作信息，并将二者同时作为输入在数据库中匹配对应的操控指令，可以避免因单一输入造成的误触发、误操作，从而提高对操控指令的判断准确性，大大降低误操作的概率，提升用户的终端操控体验。

S103：执行操控指令。

于本实施例中，确定操控指令后执行该操控指令，使得用户终端可以通过视觉焦点位置和面部动作信息实现对应的操控，由此实现基于眼球和面部动作的终端操控方式，丰富了终端操控方式的同时，由于操控指令是根据视觉焦点位置和面部动作信息二者作为输入得以确定的，因此还避免了单一输入引发的误触发，降低误操作率，提升操控准确性，进而提升用户的使用体验。

由此，本实施例通过获取视觉焦点位置和面部动作信息，将二者作为输入共同确定对应的操控指令，并执行操控指令，可以避免因单一输入造成的误触发、误操作，不但丰富了终端交互方式，使得用户可以基于视线和面部动作实现对终端的操控，而且还降低了误操作的概率，提升用户操控体验。另外，由于本实施例用于确定操控指令的两种输入均不需要手部操作，因此本实施例提供的终端操控方法，还可以使得用户解放双手，在双手不便使用时实现更便捷的操控，提高操作便利性，进一步提升用户的操控体验，除此之外，由于将眼球和面部动作信息作为输入，为实现操控用户需活动眼球和面部器官，因此还可促进用户对眼球及其他面部器官的活动，有助于眼球及其他面部器官的健康。

请参阅图2，示出了本申请实施例提供的一种终端操控方法，具体地，该方法包括：S201至S204。

S201：获取用户的视觉焦点位置和面部动作信息。

于本实施例中，面部动作信息至少包括唇部动作信息，其中，唇部动作信息至少包括嘴唇突出动作以及嘴唇缩回动作。

于本实施例中，获取用户的视觉焦点位置和面部动作信息后，用户终端根据用户的视觉焦点位置和面部动作信息，确定对应的操控指令，其中，操控指令包括控制对象和控制操作，从而根据操控指令，可以确定控制对象对应控制操作，以对控制对象执行对应的控制操作，实现基于视觉焦点位置和面部动作信息的终端操控。具体地，包括S202-S204。

S202：根据视觉焦点位置确定控制对象。

于本实施例中，根据视觉焦点位置确定控制对象，即后续确定的操控指令的作用对象。具体地，控制对象包括但不限于界面、应用程序以及其他各种控件等，具体由视觉焦点位置所对应的区域决定，例如，若视觉焦点位置对应界面上显示的操控对象，如指代应用程序的控件，此时根据视觉焦点位置可以确定控制对象为该应用程序；再如，若视觉焦点位置在界面上没有对应任何控件，即视觉焦点位置对应未显示操控对象的显示区域，此时根据视觉焦点位置可以确定控制对象为该界面。在一种实施方式中，用户终端在获取用户的视觉焦点位置后，可以判断视觉焦点位置是否位于用户终端的屏幕上，若视觉焦点位置不位于用户终端的屏幕上，即位于屏幕之外，此时不进行后续操作。由于视觉焦点位置不位于屏幕上时，用户往往不需要触发操控指令来操控用户终端，因此通过判断视觉焦点位置是否位于用户终端的屏幕上，并在不位于时，不进行后续操作，可以大大降低误触发、误操作的概率，提升操控体验的同时还可降低终端功耗。

作为另一种实施方式，用户终端在获取用户的视觉焦点位置后，也可以不判断视觉焦点位置是否位于用户终端的屏幕上，即不论视觉焦点位置是否位于屏幕上，均根据视觉焦点位置和面部动作确定对应的操控指令。具体地，若视觉焦点位置不位于屏幕上，可以确定控制对象为当前界面，也可以确定为其他控制对象，具体可自行设定，即视觉焦点位置不位于屏幕上时也可以确定对应的控制对象，除此之外，本实施例对此不作其他限定。由此使得用户可以在不凝视用户终端的屏幕的情况下，仍可实现操控，为用户带来更丰富的操控体验。

进一步地，在一些实施方式中，用户终端获取视觉焦点位置的同时，还获取视觉焦点位置的持续时间，即用户的凝视时间，通过判断凝视时间是否超过预设时间阈值，并在超过预设时间阈值时，才根据视觉焦点位置确定控制对象，从而可以提高对控制对象的判断准确度，提高控制准确性，减少因无意义的视线引发的误触发，避免引起用户的厌烦，进一步提升操控体验。

S203：根据面部动作信息，确定控制对象对应的控制操作。

于本实施例中，具体地，根据面部动作信息，在面部动作数据库中查找与面部动作信息匹配的控制操作。其中，面部动作数据库中包含面部动作信息与控制操作之间的对应关系，根据面部动作信息可以在面部动作数据库中查找与之匹配的控制操作。进一步地，面部动作数据库可以是系统预设的，也可以是用户自定义的，使得用户可以按需实现快捷操作，对此，本实施例不作限定。

作为一种实施方式，面部动作数据库可以是系统预设的，即其中包含的面部动作信息与控制操作之间的对应关系可以是系统预设的。例如，在面部动作数据库中，可以预设有嘴唇突出动作对应的控制操作为选中操作，可对应手指触控方式中的手指触摸的操作；嘴唇缩回动作对应的控制操作为取消操作，可对应手指触控方式中的手指松开触摸的操作。

作为另一种实施方式，面部动作数据库可以是用户自定义的，即其中包含的面部动作信息与控制操作之间的对应关系可以是用户自定义的。具体地，作为一种方式，用户可以分别自定义面部动作信息、控制操作，并对不同的面部动作信息和操控操作之间建立对应关系，并将该对应关系存储于面部动作数据库中，由此可以实现基于用户需求的快捷操作。例如用户可以设置有嘴唇张开动作对应锁屏操作，由此，根据用户嘴唇张开动作，可以确定对应的控制操作为锁屏操作。

进一步地，为提高操控准确性，用户还可以在设置基于视觉焦点位置和面部动作信息的操控模式时，预先录入对应的用户自身的面部动作信息，使得用户终端可以将用户自身的面部动作信息作为模板，用于与用户终端获取的自身的面部动作信息进行匹配，以确定对应的控制操作。由于根据用户自身的面部动作信息作为模板进行匹配，相较于与预设的非用户本人的面部动作信息作为模板进行匹配，可以大大提高匹配的相似度，有利于提高匹配的准确性和效率，降低匹配失败的概率，进而提升用户的操控体验。

S204：执行控制对象对应的控制操作。

于本实施例中，用户终端确定控制对象对应的控制操作后，对该控制对象执行对应的控制操作，由此实现基于视觉焦点位置和面部动作信息的终端操控。

在一种具体的应用场景中，例如，如图3所示，用户终端在T₁时刻显示的是主界面，同时用户的视线集中于指代“通话”的通话应用程序，并且嘴唇突出，此时，用户终端获取用户的视觉焦点位置和面部动作信息，根据视觉焦点位置确定控制对象为指代“通话”的通话应用程序，根据嘴唇突出动作，确定该通话应用程序对应的选中操作，并对该通话应用程序执行选中操作，即选中该通话应用程序；并在下一时刻T₂时刻，用户嘴唇缩回，此时，用户终端根据嘴唇缩回动作，确定该通话应用程序对应的控制操作为取消操作，并执行取消操作，即松开。由此，从T₁时刻的选中操作到T₂时刻的取消操作，实现了对该通话应用程序的点击操作，可对应手指触控方式的手指触摸后松开的操作，使得用户终端从主界面切换至通话应用程序对应的拨号界面，供用户实现拨号/通话功能。

在另一种具体的应用场景中，例如，如图4所示，用户终端在T₁时刻显示的是来电显示界面，同时用户的实现集中于指代“接听”的控件，把并且嘴唇突出，此时，用户终端获取用户的视觉焦点位置和面部动作信息，根据视觉焦点位置确定控制对象未指代“接听”的控件，根据嘴唇突出动作，确定该指代“接听”的控件对应的选中操作，并对该指代“接听”的控件执行选中操作，即选中该指代“接听”的控件；并在下一时刻T₂时刻，用户嘴唇缩回，此时，用户终端根据嘴唇缩回动作，确定该指代“接听”的控件对应的控制操作为取消操作，并执行取消操作，即松开。由此，从T₁时刻的选中操作到T₂时刻的取消操作，实现了对该指代“接听”的控件的点击操作，可对应手指触控方式的手指触摸后松开的操作，使得用户终端从来电显示界面切换至通话界面，使得用户无需用手，通过眼球及面部器官即可接听电话，由此在用户突然有来电，但双手均不空闲难以接听时，可以通过凝视指代“接听”的控件同时嘴唇突出后缩回即可实现接听，并且进一步地还可以通过看向指代“免提”的控件同时嘴唇突出后缩回即可开启免提，供用户实现无接触的电话接听。由此，解放了用户的双手，提高操控便利性的，并且在用户双手不方便操控手机时，仍可实现对用户终端的操控。

需要说明的是，上述仅为示例性说明，本实施例提供的终端操控方法可以应用于多种应用场景，实现多种功能，即可以理解的是，原理与上述相似的其他应用场景也同样包含在本实施例的保护范围之内。

需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。

本实施例提供的终端操控方法，在前述实施例的基础上，通过根据视觉焦点位置确定控制对象，并通过面部动作信息确定控制对象对应的控制操作，从而对控制对象执行对应的控制操作，使得用户可以通过视线选择控制对象，并通过面部动作信息对该控制对象视线对应的操作，解放了用户双手，提高操控便利性的，并且在用户双手不方便操控手机时，仍可实现对用户终端的操控，丰富了终端的应用场景，也提升了用户体验。

进一步地，面部动作信息可以包括面部动作与面部动作的持续时间，由此通过面部动作的持续时间，还可以在前述实施例的基础上实现长按、滑动等其他更丰富的操作。具体地，请参阅图5，该方法包括：S501至S504。

S501：获取用户的视觉焦点位置和面部动作信息。

S502：根据视觉焦点位置确定控制对象。

S503：根据面部动作，确定控制对象对应的控制操作。

于本实施例中，用户终端根据面部动作，确定控制对象对应的控制操作，具体地，根据面部动作，用户终端在面部动作数据库中查找与面部动作匹配的控制操作，从而确定控制对象对应的控制操作。其中，面部动作数据库中包含面部动作与控制操作之间的对应关系。

S504：执行控制对象对应的控制操作，并在面部动作的持续时间内保持控制操作。

其中，面部动作的持续时间为面部动作保持的持续时间，即从面部动作开始被识别直到用户终端无法获取到该面部动作为止的时间段，例如，嘴唇突出动作对应选中操作，嘴唇突出动作从开始被用户终端识别直到嘴唇缩回，用户终端无法检测到嘴唇突出动作为止的时间段，为面部动作的持续时间。可以理解的是，根据持续时间的不同长短，可以实现对应手指操控方式中的点击、长按等操作，具体地例如，持续时间短的选中操作对应点击操作，持续时间长的选中操作对应长按操作。

具体地，例如嘴唇突出动作对应选中操作，嘴唇缩回动作对应取消操作，在用户终端确定控制对象对应的控制操作为选中操作时，执行控制对象对应的选中操作，并在嘴唇缩回时，执行取消操作，从而取消选中操作，即松开对该控制对象的控制操作，可对应手指触控方式中的长按后松开的操作，并且长按保持的时间对应嘴唇突出动作的持续时间。从而基于眼球和面部器官的动作可以实现点击、长按等操作，无需用手即可实现操控，提高了操控灵活性和便利性。

需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。

本实施例提供的终端操控方法，在前述实施例的基础上，通过获取面部动作确定控制对象对应的控制操作，并根据面部动作的持续时间，执行控制对象对应的控制操作，并在面部动作的持续时间内保持控制操作，从而可以根据面部动作的持续时间的长短实现诸如点击、长按等操作，丰富操控指令，进一步提高终端操控的灵活性，提高用户使用的便利性。

更进一步地，，若在面部动作的持续时间内，视觉焦点位置发生移动，终端还可实现移动操作。具体地，请参阅图6，示出了本申请实施例提供的一种终端操控方法，具体地，该方法包括：S601至S605。

S601：获取用户的视觉焦点位置和面部动作信息。

S602：根据视觉焦点位置确定控制对象。

S603：根据面部动作，确定控制对象对应的控制操作。

S604：在面部动作的持续时间内，获取视觉焦点位置的移动方向。

于本实施例中，在面部动作的持续时间内，若视觉焦点位置发生移动，并且移动幅度超过预设移动阈值时，可以根据视觉焦点位置的移动，获取视觉焦点位置的移动方向，使得用户终端可以根据移动方向，对控制对象执行移动操作。若移动幅度未超过预设移动阈值，用户终端可以认为视觉焦点位置未发生移动，由于用户视线往往难以长期保持完全不动，因此可以通过设置预设移动阈值，过滤掉未超过预设移动阈值的视觉焦点位置的移动，降低误操作的概率，避免将点击或长按操作执行为使得控制对象会发生移动的移动操作，提高操作准确率，避免引起用户厌烦，从而提升了用户的操控体验。

S605：根据移动方向，执行控制对象对应的移动操作。

于本实施例中，根据视觉焦点位置的移动对控制对象执行移动操作，可以在一些具体场景中，实现诸如滑动解锁、滑动删除、拖拽等操作，在前述实施例的基础上，进一步丰富操控指令，进一步提高终端操控的灵活性，提高用户使用的便利性。

进一步地，移动操作可以包括滑动操作和拖拽操作，控制对象包括第一控制对象和第二控制对象。其中，第一控制对象可以为界面上显示的操控对象，例如界面上显示的应用程序及其他各种控件等，第二控制对象可以为未显示有操控对象的显示区域，例如当前显示的界面等。

在一些实施方式中，若视觉焦点位置对应第一控制对象，即对应界面上显示的操控对象，用户终端可以根据移动方向，执行对应第一控制对象的拖拽操作，即实现按移动方向拖拽第一控制对象，从而可实现将一个控制对象从一个位置拖拽到另一个位置，进而可实现拖拽删除应用程序、应用程序的显示位置调整等；若视觉焦点位置对应第二控制对象，即对应未显示有操控对象的显示区域，用户终端可以根据移动方向，执行对应第二控制对象的滑动操作，即实现按移动方向滑动当前的界面，从而可实现滑动屏幕、滑动解锁等。

需要说明的是，S604与S605之间可以先后执行，也可以同时执行。

具体地，作为一种实施方式，视觉焦点位置的移动方向可以根据在面部动作的持续时间的起始时刻的视觉焦点位置以及结束时刻的视觉焦点位置来得到，也就是说移动方向由起始时刻的视觉焦点位置以及结束时刻的视觉焦点位置决定，为由起始时刻的视觉焦点位置指向结束时刻的视觉焦点位置的方向。并在确定移动方向后，执行控制对象对应的移动操作，使得控制对象根据移动方向发生移动。

作为另一种实施方式，用户终端在根据面部动作确定控制对象对应的控制操作后，在面部动作保持不动的持续时间内，控制该控制对象随视觉焦点位置的移动而移动，即根据移动方向实现对该控制对象的移动操作，并在用户终端无法检测到该面部动作时，取消对该控制对象的选中及移动操作，由此用户可以查看到随自身视线变化而变化的交互效果，使得用户可以实时获得控制反馈，提高操控的流畅性，进而可以提高用户的操控体验。

需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。

本实施例提供的终端操控方法，在前述实施例的基础上，通过在面部动作持续时间内，获取视觉焦点位置的移动方向，可以实现不同控制对象对应的移动操作，进一步丰富操控指令，进一步提高终端操控的灵活性，提高用户使用的便利性。

在一些具体的实施方式中，面部动作可以包括嘴唇突出动作和嘴唇缩回动作，由此S603-S604可以为S701-S702，具体地，请参阅图7，示出了本申请实施例提供的一种终端操控方法，具体地，该方法与图6所示的方法大致相同，不同之处在于图7所示的终端操控方法还包括：S701至S702。

S701：根据嘴唇突出动作，确定控制对象对应的选中操作。

于本实施例中，用户终端预设有面部动作数据库，其中存储有嘴唇突出动作与选中操作之间的对应关系，从而根据嘴唇突出动作，用户终端可以确定选中操作，并结合视觉焦点位置确定的控制对象，确定控制对象对应的选中操作。由于嘴唇突出动作具有明显特征，易于获取和检测，可提高识别效率和准确度，并且用户往往不会作出嘴唇突出动作，即嘴唇突出动作在日常场景中被使用的概率较低，因此通过将嘴唇突出动作与用户终端的操控指令如选中操作进行关联，可以降低误触发、误操作的概率，提高操控准确性，避免引起用户厌烦，进而提升用户的操控体验。

S702：在嘴唇突出动作的持续时间内，获取视觉焦点位置的移动方向。

其中，S702的具体描述可参考前述实施例中S604的描述，仅以嘴唇突出动作作为S604中的面部动作即可，其他方法原理大致相同，故在此不再赘述。

在一种具体的应用场景中，例如，如图8所示，用户终端在T₁时刻显示的是锁屏界面，同时用户的视线集中于屏幕的下方区域，并且嘴唇突出，其中，该区域不对应任何控件，此时，用户终端获取用户的视觉焦点位置和面部动作信息，根据视觉焦点位置确定控制对象为当前显示的锁屏界面，根据嘴唇突出动作，确定该锁屏界面对应的选中操作，在嘴唇突出动作的持续时间内，根据视觉焦点位置的移动，执行该锁屏界面对应的滑动操作，即根据视觉焦点位置的移动方向，向上滑动该锁屏界面，此时如T₂时刻对应的状态，随着视觉焦点位置的向上移动，锁屏界面随之向上移动，并在T₃时刻嘴唇缩回，用户终端结束滑动操作，取消选中操作。由此，从T₁时刻的选中操作历经T₂时刻的滑动操作再到T₃时刻的取消操作，实现了基于视线移动和唇部动作的滑动操作，并具体实现了滑动解锁功能，可对应手指触控方式的手指从屏幕下方区域向上滑动的滑动解锁操作，使得用户终端从锁屏界面进入主界面，供用户使用。

需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。

本实施例提供的终端操控方法，在前述方法实施例的基础上，基于嘴唇突出动作与选中操作的对应关系，根据嘴唇突出动作及其持续时间，实现控制对象对应的移动操作，由于嘴唇突出动作具有明显特征，用户在不需触发操作时，也往往不会摆出嘴唇突出动作，因此本实施例通过将嘴唇突出动作与选中操作进行关联，可以降低误触发、误操作的概率，提高操控准确性，避免引起用户厌烦，进而提升用户的操控体验。

进一步地，请参阅图9，示出了本申请实施例提供的一种终端操控方法，具体地，该方法包括：S901至S904。

S901：获取用户的视觉焦点位置和面部动作信息。

于本实施例中，面部动作信息至少包括眼部动作和唇部动作。其中，眼部动作包括但不限于左/右眼眨两次、左右眼交替眨一次、双眼同时眨两次，唇部动作包括但不限于嘴唇的左/右歪动作。

在其他一些实施方式中，面部动作信息还可以包括眉部动作，其中眉部动作包括但不限于左/右眉毛上挑。

S902：根据视觉焦点位置确定控制对象。

S903：根据眼部动作和唇部动作中的一种或几种，确定控制对象对应的预设操控指令。

其中，预设操控指令用于实现对应功能，可以是系统预设的，也可以是用户根据喜好自行设置的。作为一种实施方式，可以通过图像采集装置采集具有明显特征的面部动作，包括但不限于前述眼部动作、唇部动作及眉部动作，并将用户需要的预设操控指令与具有明显特征的面部动作关联，建立对应关系。其中预设操控指令可以是用户常用的操控指令，可以是实现包括但不限于调高音量、调低音量、熄屏、关机/重启、打开音乐应用、打开相机的功能。

在一些实施方式中，根据眼部动作和唇部动作中的一种或几种，确定控制对象对应的预设操控指令，可以包括：根据左眼眨两次，确定用于打开音乐应用的指令；根据右眼眨两次，确定用于打开相机的指令；根据左眼眨两次和嘴唇的左/右歪动作，确定用于调高音量的指令；根据右眼眨两次和嘴唇的左/右歪动作，确定用于调低音量的指令；根据左右眼交替眨一次和嘴唇的左/右歪动作，确定用于熄屏的指令；根据双眼同时眨两次和嘴唇的左/右歪动作，确定用于关机/重启的指令。

S904：执行控制对象对应的预设操控指令。

需要说明的是，上述步骤中未详细描述的部分，可参考前述实施例，在此不再赘述。

本实施例提供的终端操控方法，在前述实施例的基础上，引入了更多面部动作信息，甚至其他面部器官，根据一种具有明显特征的面部动作或多种具有明显特征的面部动作的组合，增加终端操控指令的数量，从而不仅可以提高操控准确率，还可以丰富终端操作指令，方便用户设置并使用更多的快捷操作，简化操控流程，提高操控流畅性。

其中，S904的具体描述可参考前述实施例中S204的描述，仅以预设操控指令作为S204中的控制操作即可，其他方法原理大致相同，故在此不再赘述。

请参阅图10，其示出了本申请实施例提供的一种终端操控装置的结构框图，该终端操控装置1000可以包括：获取模块1010、确定模块1020和执行模块1030。

获取模块1010，用于获取用户的视觉焦点位置和面部动作信息。

确定模块1020，用于根据视觉焦点位置和面部动作信息,确定对应的操控指令。

执行模块1030，用于执行操控指令。

进一步地，确定模块1020包括：对象确定子模块以及操作确定子模块，其中：

对象确定子模块，用于根据视觉焦点位置确定控制对象；

操作确定子模块，用于根据面部动作信息，确定控制对象对应的控制操作。

在一种实施方式中，执行模块1030包括：操作执行子模块，用于执行控制对象对应的控制操作。

在一些实施方式中，面部动作信息至少包括唇部动作信息，唇部动作信息至少包括嘴唇突出动作以及嘴唇缩回动作，操作确定子模块包括：对象确定单元、选中操作单元以及取消操作单元，其中：

对象确定单元，用于根据视觉焦点位置确定控制对象。

选中操作单元，用于根据嘴唇突出动作，确定控制对象对应的选中操作。

取消操作单元，用于根据嘴唇缩回动作，确定控制对象对应的取消操作。

在一些实施方式中，面部动作信息包括面部动作与面部动作的持续时间。操作确定子模块包括：持续选中单元，用于根据面部动作，确定控制对象对应的控制操作。

进一步地，执行模块1030还包括：

持续执行单元，用于执行控制对象对应的控制操作，并在面部动作的持续时间内保持控制操作。

进一步地，持续执行单元包括：方向获取子单元、移动操作子单元，其中：

方向获取子单元，用于在面部动作的持续时间内，获取视觉焦点位置的移动方向。

移动操作子单元，用于根据移动方向，执行控制对象对应的移动操作。

进一步地，所述移动操作包括滑动操作和拖拽操作，所述控制对象包括第一控制对象和第二控制对象，所述移动操作子单元包括：拖拽次子单元，以及滑动次子单元。

在一些实施方式中，所述第一控制对象为界面上显示的操控对象，所述第二控制对象为未显示有操控对象的显示区域。

进一步地，持续选中单元包括：

嘴唇选中子单元，用于根据嘴唇突出动作，确定控制对象对应的选中操作。

进一步地，持续执行单元包括：嘴唇方向获取子单元以及嘴唇移动操作子单元，其中：

嘴唇方向获取子单元，用于在嘴唇突出动作的持续时间内，获取视觉焦点位置的移动方向。

嘴唇移动操作子单元，用于根据移动方向，执行控制对象对应的移动操作。

进一步地，面部动作信息至少包括眼部动作和唇部动作，操作确定子模块包括：

预设指令确定单元，用于根据眼部动作和唇部动作中的一种或几种，确定控制对象对应的预设操控指令，预设操控指令用于实现对应功能。

进一步地，执行模块1030还包括：

预设指令执行子模块，用于执行控制对象对应的预设操控指令。

本申请实施例提供的终端操控装置用于实现前述方法实施例中相应的终端操控方法，并具有相应的方法实施例的有益效果，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图11，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备1100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备1100可以包括一个或多个如下部件：处理器1110、存储器1120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器1120中并被配置为由一个或多个处理器1110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器1110可以包括一个或者多个处理核。处理器1110利用各种接口和线路连接整个电子设备1100内的各个部分，通过运行或执行存储在存储器1120内的指令、程序、代码集或指令集，以及调用存储在存储器1120内的数据，执行电子设备1100的各种功能和处理数据。可选地，处理器1110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1110可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1110中，单独通过一块通信芯片进行实现。

存储器1120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器1120可用于存储指令、程序、代码、代码集或指令集。存储器1120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备1100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

则如果上述图10所示的终端操控装置中的各个单元作为程序包等函数模块的话，该终端操控装置内的各个单元存储在存储器1120内，能够被处理器调用，并执行对应的功能。

请参考图12，其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质1200中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读取存储介质1200可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读取存储介质1200包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质1200具有执行上述方法中的任何方法步骤的程序代码1210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1210可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种终端操控方法，其特征在于，所述方法包括：

获取用户的视觉焦点位置和面部动作信息；

根据所述视觉焦点位置和所述面部动作信息,确定对应的操控指令；

执行所述操控指令。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视觉焦点位置和所述面部动作信息，确定对应的操控指令，包括：

根据所述视觉焦点位置确定控制对象；

根据所述面部动作信息，确定所述控制对象对应的控制操作；

所述执行所述操控指令，包括:

执行所述控制对象对应的控制操作。

3.根据权利要求2所述的方法，其特征在于，所述面部动作信息至少包括唇部动作信息，所述唇部动作信息至少包括嘴唇突出动作以及嘴唇缩回动作，所述根据所述面部动作信息,确定对应的操控指令，包括：

根据所述视觉焦点位置确定控制对象；

根据所述嘴唇突出动作，确定所述控制对象对应的选中操作；

根据所述嘴唇缩回动作，确定所述控制对象对应的取消操作。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述面部动作信息包括面部动作与所述面部动作的持续时间。

5.根据权利要求4所述的方法，其特征在于，所述根据所述面部动作信息，确定所述控制对象对应的控制操作，包括：

根据所述面部动作，确定所述控制对象对应的控制操作；

所述执行所述操控指令，包括：

执行所述控制对象对应的控制操作，并在所述面部动作的持续时间内保持所述控制操作。

6.根据权利要求5所述的方法，其特征在于，所述执行所述控制对象对应的控制操作，并在所述面部动作的持续时间内保持所述控制操作，包括：

在所述面部动作的持续时间内，获取所述视觉焦点位置的移动方向；

根据所述移动方向，执行所述控制对象对应的移动操作。

7.根据权利要求6所述的方法，其特征在于，所述移动操作包括滑动操作和拖拽操作，所述控制对象包括第一控制对象和第二控制对象，所述根据所述移动方向，执行所述控制对象对应的移动操作，包括：

若所述控制对象为所述第一控制对象，根据所述移动方向，执行所述控制对象对应的拖拽操作；

若所述控制对象为所述第二控制对象，根据移动方向，执行所述控制对象对应的滑动操作。

8.根据权利要求7所述的方法，其特征在于，所述第一控制对象为界面上显示的操控对象，所述第二控制对象为未显示有操控对象的显示区域。

9.根据权利要求5所述的方法，其特征在于，所述根据所述面部动作，确定所述控制对象对应的控制操作，包括：

根据所述嘴唇突出动作，确定所述控制对象对应的选中操作；

所述执行所述控制对象对应的控制操作，并在所述持续时间内保持所述控制操作，包括：

在所述嘴唇突出动作的持续时间内，获取所述视觉焦点位置的移动方向；

根据所述移动方向，执行所述控制对象对应的移动操作。

10.根据权利要求2所述的方法，其特征在于，所述面部动作信息至少包括眼部动作和唇部动作，所述根据所述面部动作信息，确定所述控制对象对应的控制操作，包括：

根据所述眼部动作和所述唇部动作中的一种或几种，确定所述控制对象对应的预设操控指令，所述预设操控指令用于实现对应功能；

所述执行所述操控指令，包括:

执行所述控制对象对应的预设操控指令。

11.根据权利要求10所述的方法，其特征在于，所述眼部动作包括左/右眼眨两次、左右眼交替眨一次、双眼同时眨两次，所述唇部动作包括嘴唇的左/右歪动作。

12.一种终端操控装置，其特征在于，所述装置包括：

获取模块，用于获取用户的视觉焦点位置和面部动作信息；

确定模块，用于根据所述视觉焦点位置和所述面部动作信息,确定对应的操控指令；

执行模块，用于执行所述操控指令。

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-11任一项所述的方法。

14.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-11任一项所述的方法。