CN111596760A - 操作控制方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种操作控制方法、装置、电子设备及可读存储介质，属于电子设备技术领域。其中，该操作控制方法包括：获取第一用户的第一眼球动作，第一用户为具有临时控制权限的用户；在第一眼球动作为预设眼球动作的情况下，执行第一眼球动作对应的目标控制功能；其中，预设眼球动作为具有操控意图的眼球动作。根据本申请实施例，能够解决现有技术中电子设备的操控灵活性和方便性较差的问题。

Description

操作控制方法、装置、电子设备及可读存储介质

技术领域

本申请属于电子设备技术领域，具体涉及一种操作控制方法、装置、电子设备及可读存储介质。

背景技术

随着科学技术的不断发展与进步，电子设备的普及出现了爆发式的增长，越来越多的用户选择使用电子设备观看视频或者进行游戏。

在多个用户共同使用一个电子设备观看视频或者进行游戏时，由于操作距离以及空间的限制，只能由持有电子设备的用户或者与电子设备的距离最近的用户对电子设备进行操控，使得电子设备的操控灵活性和方便性较差。

发明内容

本申请实施例的目的是提供一种操作控制方法、装置、电子设备及可读存储介质，能够解决现有技术中电子设备的操控灵活性和方便性较差的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种操作控制方法，该方法包括：

获取第一用户的第一眼球动作，第一用户为具有临时控制权限的用户；

在第一眼球动作为预设眼球动作的情况下，执行第一眼球动作对应的目标控制功能；

其中，预设眼球动作为具有操控意图的眼球动作。

第二方面，本申请实施例提供了一种操作控制装置，该装置包括：

第一获取模块，用于获取第一用户的第一眼球动作，第一用户为具有临时控制权限的用户；

功能执行模块，用于在第一眼球动作为预设眼球动作的情况下，执行第一眼球动作对应的目标控制功能；

其中，预设眼球动作为具有操控意图的眼球动作。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面所述的操作控制方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面所述的操作控制方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面所述的操作控制方法。

在本申请实施例中，电子设备在获取到具有临时控制权限的第一用户的第一眼球动作之后，如果第一眼球动作为具有操控意图的预设眼球动作，可以执行第一眼球动作对应的目标控制功能，从而能够通过具有临时操作权限的用户的眼球动作，实现对电子设备的操作控制，使得对电子设备的操控不再受到操作距离及空间的限制，提高了电子设备的操控灵活性和方便性。

附图说明

图1是本申请一个实施例提供的操作控制方法的流程示意图；

图2是本申请一个实施例提供的多人互动场景的场景示意图；

图3是本申请一个实施例提供的操作控制装置的结构示意图；

图4是实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

随着科学技术的不断发展与进步，电子设备的普及出现了爆发式的增长，随着电子设备的智能化发展，其功能也越来越多，使得越来越多的用户选择使用电子设备观看视频或者进行游戏。

但是，申请人在使用电子设备的过程中,发现现有技术中至少存在如下问题：

在多个用户共同使用一个电子设备观看视频或者进行游戏时，由于操作距离以及空间的限制，只能由持有电子设备的用户或者与电子设备的距离最近的用户对电子设备进行操控，使得电子设备的操控灵活性和方便性较差。同时，由于其他用户无法对共同关注的电子设备进行操作控制，进而在一定程度上影响了多个用户利用一个电子设备进行多人互动的体验。

另外，在用户使用电子设备的自拍和视频聊天以外的其他功能时，电子设备的前置摄像通通常处于休眠状态，对前置摄像通的利用率较低。

为了解决上述的问题，本申请实施例提供了一种操作控制方法、装置、电子设备及可读存储介质。下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的操作控制方法进行详细地说明。

图1示出了本申请一个实施例提供的操作控制方法的流程示意图。

在本申请一些实施例中，图1所述的方法可以由操作控制装置执行，该操作控制装置包括摄像头。

如图1所示，该操作控制方法可以包括：

步骤110、获取第一用户的第一眼球动作，第一用户为具有临时控制权限的用户；

步骤120、在第一眼球动作为预设眼球动作的情况下，执行第一眼球动作对应的目标控制功能；

其中，预设眼球动作为具有操控意图的眼球动作。

上述各步骤的具体实现方式将在下文中进行详细描述。

在本申请实施例中，电子设备在获取到具有临时控制权限的第一用户的第一眼球动作之后，如果第一眼球动作为具有操控意图的预设眼球动作，可以执行第一眼球动作对应的目标控制功能，从而能够通过具有临时操作权限的用户的眼球动作，实现对电子设备的操作控制，使得对电子设备的操控不再受到操作距离及空间的限制，提高了电子设备的操控灵活性和方便性。

下面介绍上述各个步骤的具体实现方式。

在本申请一些实施例的步骤110中，摄像头可以为操作控制装置的前置摄像头，当具有临时控制权限的第一用户面对操作控制装置的显示界面时，可以通过前置摄像头获取第一用户的第一眼球动作。

在本申请另一些实施例的步骤110中，摄像头可以为操作控制装置的可转动的摄像头，当具有临时控制权限的第一用户位于操作控制装置的显示界面的侧面或者背面时，操作控制装置可以通过控制摄像头转动来跟随第一用户，并且获取第一用户的第一眼球动作。

具体地，在摄像头为可转动的摄像头的情况下，操作控制装置可以在获取第一用户的第一眼球动作的过程中，控制摄像头转动，以使第一用户的人脸始终位于摄像头的图像采集区域内，从而实现摄像头对第一用户的跟随。

在本说明书实施例中，临时控制权限指的是操作控制装置的持有者为其以外的用户所授予的临时性的控制权限，该临时控制权限自持有者授予后被开启，并且在持有者取消授权时被禁用。

可选地，操作控制装置的持有者可以预先设置能够通过临时控制权限控制的功能和应用程序，以使第一用户能够对持有者所指定的功能和应用程序进行控制，而无法对其他功能和应该程序进行控制，进而提高控制操作的安全性。

在本申请实施例中，可选地，应用程序至少可以包括游戏类应用程序、视频类应用程序、音频类应用程序等。

在本申请另一些实施方式中，为了使操作控制装置准确地确认具有临时控制权限的用户，在步骤110之前，该操作控制方法还可以包括：

获取摄像头采集的第一人脸图像；

在第一人脸图像中存在目标人脸的情况下，根据目标人脸，确定第一用户；

其中，目标人脸为与预设人脸相匹配的人脸。

具体地，操作控制装置可以获取摄像头采集的第一人脸图像，并且对第一人脸图像进行人脸识别，在所识别到的人脸中存在与预设人脸相匹配的目标人脸时，根据目标人脸，确定第一用户。

可选地，可以通过操作控制装置的前置摄像头采集第一人脸图像，还可以通过操作控制装置的可转动的摄像头采集第一人脸图像。此时，操作控制装置可以首先控制摄像头转动至对准需要采集人脸的用户，使需要采集的人脸位于摄像头的图像采集区域内，然后再控制摄像头采集第一人脸图像。

在一些实施例中，操作控制装置可以首先利用人脸检测器识别出第一人脸图像中的各个人脸区域，其中，一个人脸区域中包括一个人脸。然后，操作控制装置可以分别确定每个人脸区域内的人脸的人脸特征，并将人脸特征与预设人脸的人脸特征进行比较，确定人脸特征与预设人脸之间的特征相似度，若特征相似度大于或等于预设特征相似度阈值，则可以确定该人脸特征对应的人脸为与预设人脸相匹配的目标人脸。

在这些实施例中，可选地，在获取摄像头采集的第一人脸图像之前，该操作控制方法还可以包括：

获取多个预设人脸图像；

识别每个预设人脸图像的人脸特征；

根据人脸特征构建人脸特征库。

具体地，用户可以利用操作控制装置预先采集日常可能经常接触或者经常一起使用该操作控制装置的用户的人脸图像，例如，用户可以在操作控制装置的人脸解锁设置页面内采，通过摄像头采集多个预设人脸图像。然后分别识别这些人脸图像的人脸特征，并将其存储，以利用这些人脸图像的人脸特征构建人脸特征库，使操作控制装置在获取第一人脸图像后，可以利用第一人脸图像中的每个人脸特征分别与人脸特征库中的各个预设人脸图像的人脸特征进行比较，从而将第一人脸图像中与人脸特征库中的任一个预设人脸图像的人脸特征相匹配的人脸特征对应的人脸，作为目标人脸。

需要说明的是，预设特征相似度阈值可以根据需要设定，在此不做限制。

在另一些实施例中，操作控制装置可以首先利用人脸检测器识别出第一人脸图像中的各个人脸区域，并在第一人脸图像中截取各个人脸区域对应的人脸区域图像，其中，一个人脸区域中包括一个人脸。然后，操作控制装置可以将人脸区域图像与预设人脸对应的预设人脸图像进行比较，若人脸区域图像与预设人脸图像的图像相似度大于或等于预设图像相似度阈值，则可以确定该人脸区域图像对应的人脸为与预设人脸相匹配的目标人脸。

在这些实施例中，可选地，在获取摄像头采集的第一人脸图像之前，该操作控制方法还可以包括：

获取多个预设人脸图像；

根据多个预设人脸图像，构建人脸图像库。

具体地，用户可以利用操作控制装置预先采集日常可能经常接触或者经常一起使用该操作控制装置的用户的人脸图像，例如，用户可以在操作控制装置的人脸解锁设置页面内采，通过摄像头采集多个预设人脸图像。然后利用这些人脸图像构建人脸特征库，使操作控制装置在获取第一人脸图像后，可以利用第一人脸图像中的每个人脸区域图像分别与人脸图像库中的各个预设人脸图像进行比较，从而将第一人脸图像中与任一个预设人脸图像相匹配的人脸区域图像对应的人脸，作为目标人脸。

需要说明的是，预设图像相似度阈值可以根据需要设定，在此不做限制。

在本申请一些实施例中，在操作控制装置处于解锁状态的情况下，操作控制装置可以控制摄像头采集图像采集区域内的图像，并且利用所采集的图像检测该图像采集区域内的人脸数量，在人脸数量大于或等于2的情况下，获取摄像头采集的第一人脸图像，以根据第一人脸图像确定第一用户。

由此，操作控制装置可以根据人脸数量自动检测当前关注操作控制装置的用户数量，并在人脸数量大于或等于2的情况下，确认当前关注操作控制装置的用户数量大于或等于2，从而自动触发对第一用户的检测。

在本申请另一些实施例中，操作控制装置的持有者可以设置操作控制装置的运行模式，在操作控制装置的运行模式被设置为多人互动模式的情况下，操作控制装置可以获取摄像头采集的第一人脸图像，以根据第一人脸图像确定第一用户；在操作控制装置的运行模式未被设置为多人互动模式的情况下，操作控制装置可以控制摄像头处于休眠状态。

由此，操作控制装置可以根据用户的设置开启或者关闭多人互动模式。

可选地，持有者可以在设置页面内设置操作控制装置的运行模式，也可以通过模式触发输入开启或者关闭多人互动模式。

其中，模式触发输入可以为在操作控制装置的显示界面内的长按输入、双击输入、多指滑动输入、指定图形绘制输入等中的任一个，在此不做限制。

在本申请又一些实施方式中，为了提高操作控制装置的数据处理效率，在步骤110之前，该操作控制方法还可以包括：

输出第一提示信息，第一提示信息用于提示人脸采集区域；

获取摄像头采集的人脸采集区域内的第二人脸图像；

在第二人脸图像中存在目标人脸的情况下，根据目标人脸，确定第一用户；

其中，目标人脸为与预设人脸相匹配的人脸。

可选地，第一提示信息可以以语音或者文字方式输出。例如，第一提示信息可以包括“请将人脸移动至人脸采集区域中心”，以使需要获取临时控制权限的用户基于第一提示信息靠近摄像头的人脸采集区域中心。其中，人脸采集区域可以为在摄像头的图像预览界面中所显示的人脸采集框中的区域，也可以为在摄像头的图像预览界面中的对焦框中的区域，在此不做限制。

其中，人脸采集框的尺寸和形状可以根据需要进行预先设置。

在操作控制装置在采集图像时，仅需要采集人脸采集区域内的第二人脸图像，并且基于第二人脸图像确定第一用户。其中，基于第二人脸图像确定第一用户的方法与基于第一人脸图像确定第一用户的方法相似，在此不做赘述。

由此，可以以主动引导的方式，缩小所需进行人脸识别的区域，减小操作控制装置的图像处理量，提高操作控制装置的数据处理效率。

在本申请一些实施例中，在目标人脸的数量为一个的情况下，可以直接将该目标人脸对应的用户确定为第一用户。

在本申请另一些实施例中，在目标人脸的数量为至少两个的情况下。

可选地，根据目标人脸确定第一用户之前，该操作控制方法还可以包括：

输出第二提示信息，第二提示信息用于提示第二用户在目标人脸中进行选择；

接收第二用户的第一输入；

相应地，根据目标人脸确定第一用户的具体方法可以包括：

响应于第一输入，根据第一输入所选择的目标人脸，确定第一用户。

具体地，在第一人脸图像中存在至少两个目标人脸的情况下，操作控制装置还可以通过第二提示信息提示第二用户在至少两个目标人脸中选择想要授予临时控制权限的用户对应的人脸图像，并且将第二用户输入的第一输入所选择的目标人脸对应的用户，确定为第一用户。

在本申请实施例中，可选地，第二提示信息可以以文字、图像、语音等任一种或者多种的组合的形式输出。

在一些实施例中，第二提示信息可以包括文字内容和图像内容，其中，文字内容可以包括“请选择授予临时控制权限的用户”，图像内容可以包括各个目标人脸对应的人脸图像，以使第二用户在至少两个目标人脸中选择想要授予临时控制权限的用户对应的人脸图像。其中，人脸图像可以为本次采集到的第一人脸图像中的人脸区域图像，也可以为预设人脸图像。

在这些实施例中，可选地，第一输入可以为对人脸图像的选中输入，例如，点击输入、长按输入、双击输入等。

在另一些实施例中，第二提示信息可以包括语音内容和图像内容，其中，语音内容可以包括“请选择授予临时控制权限的用户”，图像内容可以包括各个目标人脸对应的人脸图像。其中，人脸图像可以为本次采集到的第一人脸图像中的人脸区域图像，也可以为预设人脸图像。

在这些实施例中，可选地，第一输入可以为对人脸图像的手势操作输入，例如，点击输入、长按输入、双击输入等；第一输入还可以为语音控制输入，例如，第二用户说出的“左侧人脸”、“第一个用户”等。

在本申请一些实施例中，在第一输入为对于操作控制装置的手势操作输入时，当操作控制装置接收到第一输入时，可以采集当前操作用户图像，并且对所采集的当前操作用户图像进行人脸识别，确定第一输入是否由操作控制装置的持有者输入，即是否由第二用户输入，如果是第二用户，则响应第一输入，如果不是第二用户，则不响应第一输入。

在本申请一些实施例中，在第一输入为对于操作控制装置的语音控制输入时，当操作控制装置接收到第一输入时，可以对接收到的语音进行声纹识别，确定第一输入是否由操作控制装置的持有者输入，即是否由第二用户输入，如果是第二用户，则响应第一输入，如果不是第二用户，则不响应第一输入。

由此，本申请实施例可以通过检测输入第一输入的用户，提高操作控制的安全性。

在本申请又一些实施例中，在目标人脸的数量为至少两个的情况下，可选地，根据目标人脸确定第一用户的具体方法可以包括：

将目标人脸对应的用户，分别作为第一用户。

由此，操作控制装置在目标人脸的数量为至少两个的情况下，将每个目标人脸对应的用户分别作为第一用户，并且分别每个第一用户的第一眼球动对应的目标控制功能，从而实现多人同步控制。

在本申请又一些实施方式中，为了提高操作控制的安全性，根据目标人脸确定第一用户之前，该操作控制方法还可以包括：

输出第三提示信息，第三提示信息用于提示第二用户为目标人脸对应的用户授予临时控制权限；

接收第二用户的第二输入；

其中，根据目标人脸，确定第一用户，包括：

响应于第二输入，将目标人脸对应的用户作为第一用户。

在操作控制装置检测到操作控制装置的持有者的情况下在第一人脸图像中存在目标人脸时，可以输出第三提示信息，以提示操作控制装置的持有者为目标人脸对应的用户授予临时控制权限，当操作控制装置接收到第二用户的第二输入后，可以将目标人脸对应的用户作为第一用户。

由此，可以在操作控制装置的持有者在场的情况下，进一步通过操作控制装置的持有者为目标人脸对应的用户授予临时控制权限，提高操作控制的安全性。

在一些实施例中，第三提示信息可以以文字、图像和语音中的一种方式或者多种组合方式输出。例如，第三提示信息可以包括文字内容和图像内容，其中，文字内容可以包括“是否授权该用户进行操作”，图像内容可以包括目标人脸对应的人脸图像。

在一些实施例中，第二输入可以为用于确认为目标人脸对应的用户授予临时控制权限的输入。其中，第二输入可以为对第一目标按钮的点击输入，第一目标按钮可以为表征允许授予临时控制权限的按钮；第二输入还可以为用于表征允许授予临时控制权限的手势输入，例如绘制“√”的手势；第二输入还可以为用于表征允许授予临时控制权限的语音输入，例如说出“确定”。

在本申请实施例中，为了提高操作控制的安全性，可选地，还可以检测第二输入是否由第二用户输入，其中，检测第二输入是否有第二用户输入的方法与检测第一输入是否有第二用户输入的方法相似，在此不做赘述。

图2示出了本申请一个实施例提供的多人互动场景的场景示意图。如图2所示，该多人互动场景包括电子设备201、电子设备的持有者202、持有者以外的用户A 203和用户B204。

以持有者202、用户A 203和用户B 204一同使用电子设备201观看视频的场景为例，电子设备201的人脸特征库中可以预先存储有用户A 203和用户B 204的人脸特征。在观看视频之前，持有者202可以先利用电子设备201采集用户A 203的人脸图像，电子设备201可以将采集的人脸图像与人脸特征库中的人脸特征进行比对，在确定人脸图像中存在与人脸特征库中的人脸特征相匹配的目标人脸的情况下，向持有者202发出用于提示持有者202为用户A 203授予临时控制权限的信息，在持有者202确认为用户A 203授予临时控制权限后，电子设备201可以获取第一用户的眼球动作，并根据所获取的眼球动作执行相应的控制功能。

在本申请再一些实施方式中，为了提高操作控制的准确性，获取第一用户的第一眼球动作的具体方法可以包括：

获取至少两个第二眼球动作；

在至少两个第二眼球动作中，识别第一用户的人脸对应的第一眼球动作。

具体地，操作控制装置在确认第一用户后，继续获取摄像头的图像采集区域内的图像，如果图像中存在至少两个人脸，则可以获取到每个人脸对应的第二眼球动作，但是，为了提高操作控制的准确性，操作控制装置停止对第一用户以外的其他人脸进行人脸识别，而是从至少两个第二眼球动作中，选取第一用户的人脸对应的第一眼球动作，并执行第一眼球动作对应的目标控制功能。

在本申请另一些实施例中，为了提高操作控制的准确性，获取第一用户的第一眼球动作的具体方法可以包括：

获取多个用户中的第一用户的人脸对应的第一眼球动作。

具体地，操作控制装置在确认第一用户后，继续获取摄像头的图像采集区域内的图像，如果图像中存在至少两个人脸，则可以识别第一用户的人脸对应的图像区域，并根据第一用户的人脸对应的图像区域确定第一用户的人脸对应的第一眼球动作，并执行第一眼球动作对应的目标控制功能。

由此，本申请实施例能够避免多个用户同时取得对操作控制装置的临时控制权限，进而避免需要执行的功能紊乱，影响体验效果。

在本申请再一些实施方式中，为了提高操作控制的智能性，获取第一用户的第一眼球动作的具体方法还可以包括：

获取至少两个第二眼球动作；

在至少两个第二眼球动作中，识别每个第一用户的人脸对应的第一眼球动作。

由此，在操作控制装置识别到多个第一用户的情况下，可以分别获取每个第一用户对应的第一眼球动作，进而分别执行每个第一用户的第一眼球动作对应的目标控制功能，使操作控制装置的持有者以外的多个其他用户可以与持有者共同对操作控制装置进行控制，提高操作控制的灵活性以及多人互动的趣味性。

以上为步骤110的具体实现方式，下面将介绍步骤120的具体实现方式。

在本申请一些实施例中，操作控制装置的持有者可以预先设置多个预设眼球动作，并且为每个预设眼球动作设置对应的预设控制功能。相应的，具有操控意图的眼球动作指的是被设置有预设控制功能的眼球动作。

具体地，操作控制装置可以将第一眼球动作的动作特征与每个预设眼球动作的动作特征进行比较，得到第一眼球动作的动作特征与每个预设眼球动作的动作特征之间的动作相似度，若存在与第一眼球动作的动作特征的动作相似度最大且动作相似度大于或等于预设动作相似度阈值的动作特征对应的预设眼球动作，则确定第一眼球动作为预设眼球动作。

需要说明的是，预设动作相似度阈值可以根据需要设定，在此不做限制。

在本申请一些实施例中，眼球动作的动作特征可以包括瞳孔大小变化特征、眼球位置变化特征、视线位置变化特征、眼球大小变化特征等，其中，瞳孔大小变化特征可以用于确定瞳孔聚焦动作、瞳孔缩放动作，眼球位置变化特征可以用于确定眼球移动动作，视线位置变化特征可以用于确定视线交叉动作，眼球大小变化特征可以用于确定眼睛眨动动作。

在本申请一些实施例中，执行第一眼球动作对应的目标控制功能的具体方法可以包括：

基于眼球动作与控制功能之间的预设对应关系，确定第一眼球动作对应的目标控制功能；

执行目标控制功能。

具体地，操作控制装置在识别到与第一眼球动作的动作特征的动作相似度最大且动作相似度大于或等于预设动作相似度阈值的动作特征对应的预设眼球动作之后，可以基于持有者预先设置的眼球动作与控制功能之间的预设对应关系，在多个控制功能中查询与所识别到的预设眼球动作相对应的目标控制功能，作为第一眼球动作对应的目标控制功能，并且执行该目标控制功能。

进一步地，操作控制装置可以预先存储各个控制功能对应的控制指令，操作控制装置可以查询与所识别到的预设眼球动作相对应的目标控制指令，然后向第一用户所操控的功能模块或者应用程序发送该目标控制指令，以使功能模块或者应用程序执行该目标控制指令，从而执行目标控制指令对应的目标控制功能。

在本申请一些实施例中，在步骤120之后，该操作控制方法还可以包括：

接收第二用户的第三输入；

响应于第三输入，停止获取第一用户的第一眼球动作。

其中，第三输入可以为用于取消第一用户的临时控制权限或者关闭多人互动模式的输入。第三输入可以为点击输入、长按输出、双击输入或者对第二目标按钮的触发输入。其中，第二目标按钮用于表征持有人希望取消第一用户的临时控制权限或者关闭多人互动模式。

操作控制装置在接收到第二用户的第三输入后，可以取消第一用户的临时控制权限或者关闭多人互动模式，进而停止获取第一用户的第一眼球动作。

在本申请再一些实施方式中，为了提高操作控制的准确性，执行第一眼球动作对应的目标控制功能的具体方法还可以包括：

确定第一眼球动作对应的动作时长；

在动作时长大于或等于预设时长阈值的情况下，执行第一眼球动作对应的目标控制功能。

在持有者预先设置了预设眼球动作的情况下，如果操作控制装置确定第一眼球动作为预设眼球动作，还需要进一步确定第一眼球动作对应的动作时长，如果动作时长大于或等于预设时长阈值，则说明第一眼球动作不是第一用户的误动作，可以执行第一眼球动作对应的目标控制功能，进而避免误操作，提高操作控制的准确性。

需要说明的是，预设时长阈值可以根据需要设置，在此不做限制。

在本申请另一些实施例中，持有者预先设置预设眼球动作的同时，还可以设置预设眼球动作对应的预设动作时长，操作控制装置在确定第一眼球动作的动作特征与预设眼球动作的动作特征相匹配后，如果第一眼球动作的动作时长大于或等于预设动作时长，则确定该预设眼球动作为与第一眼球动作相匹配的眼球动作后，进而确定第一眼球动作为预设眼球动作，从而避免误操作，提高操作控制的准确性。

在本申请一些实施例中，在步骤110之前，该操作控制方法还可以包括：

显示第一应用程序的第一应用界面；

其中，第一应用程序包括游戏类应用程序；预设眼球动作包括以下至少一项：瞳孔聚焦动作、眼球移动动作、瞳孔缩放动作和视线交叉动作；目标控制功能包括以下至少一项：目标对象的选择控制功能、目标对象的移动控制功能、目标对象的动作控制功能和目标场景的缩放控制功能。

例如，第一应用程序为格斗游戏应用程序，第一应用界面为游戏界面，第一眼球动作对应的预设眼球动作为大于预设动作时长的瞳孔聚焦动作时，目标控制功能为对游戏界面中所聚焦的游戏人物的选中功能；第一眼球动作对应的预设眼球动作为平缓的眼球移动动作时，目标控制功能为对游戏人物的移动控制，游戏人物的移动方向与眼球移动方向相同；第一眼球动作对应的预设眼球动作为注视界面中的某一个位置时的瞳孔放大动作时，目标控制功能为对该位置对应的场景的局部放大功能；第一眼球动作对应的预设眼球动作为注视某个位置时的视线交叉动作时，目标控制功能为对该位置处的对象的攻击或拾取功能。

在本申请一些实施例中，可以在多人协作玩游戏的场景下，显示第一应用程序的第一应用界面，并且在基于每个第一用户的第一眼球动作分别对游戏中的游戏人物进行控制，进而提高多人玩游戏时的趣味性。

在本申请一些实施例中，在步骤110之前，该操作控制方法还可以包括：

显示第二应用程序的第二应用界面；

其中，第二应用程序包括视频类应用程序；预设眼球动作包括下列中的至少一项：瞳孔缩放动作、眼球移动动作和眼睛眨动动作；目标控制功能包括下列中的至少一项：对第二应用程序的属性调整功能、对目标视频的播放控制功能和对目标视频的选择控制功能。例如，第二应用程序为视频播放应用程序，第二应用界面为视频播放界面，第一眼球动作对应的预设眼球动作为瞳孔缩放动作时，目标控制功能为音量的调节功能；第一眼球动作对应的预设眼球动作为向上或向下的眼球移动动作时，目标控制功能为对视频播放界面的视频播放窗口内的视频画面的亮度调高或调低的功能；第一眼球动作对应的预设眼球动作为向左或向右的眼球移动动作时，目标控制功能为对视频播放界面的视频播放窗口内的目标视频进行快退或快进的功能；第一眼球动作对应的预设眼球动作为左眼或右眼的眼睛眨动动作时，目标控制功能为对视频播放界面的视频播放窗口内的目标视频的上一视频或下一视频进行选择的功能。

综上所述，本申请实施例可以提高多人互动模式下对单个操作控制装置的可操控性，实现一种基于眼动追踪对操作控制装置进行操作控制的多人互动方式，提高趣味性。同时，由于本申请实施例可以在自拍或者视频聊天以外的使用环境中，提高对前置摄像头的利用率。

需要说明的是，上述实施例中以执行主体为操作控制装置为例说明对操作控制方法进行说明。但是，本申请实施例提供的操作控制方法的执行主体不限于操作控制装置，也可以为该操作控制装置中的用于执行加载操作控制方法的各个步骤的功能模块。

图3示出了本申请一个实施例提供的操作控制装置的结构示意图。

在本申请一些实施例中，图3所述的装置可以包括摄像头。如图3所示，该操作控制装置可以包括：

第一获取模块310，用于获取第一用户的第一眼球动作，第一用户为具有临时控制权限的用户；

功能执行模块320，用于在第一眼球动作为预设眼球动作的情况下，执行第一眼球动作对应的目标控制功能；

其中，预设眼球动作为具有操控意图的眼球动作。

在本申请实施例中，电子设备在获取到具有临时控制权限的第一用户的第一眼球动作之后，如果第一眼球动作为具有操控意图的预设眼球动作，可以执行第一眼球动作对应的目标控制功能，从而能够通过具有临时操作权限的用户的眼球动作，实现对电子设备的操作控制，使得对电子设备的操控不再受到操作距离及空间的限制，提高了电子设备的操控灵活性和方便性。

在本申请一些实施例中，该操作控制装置还可以包括：

第二获取模块，用于获取摄像头采集的第一人脸图像；

第一确定模块，用于在第一人脸图像中存在目标人脸的情况下，根据目标人脸，确定第一用户；

其中，目标人脸为与预设人脸相匹配的人脸。

在本申请一些实施例中，该操作控制装置还可以包括：

第一输出模块，用于输出第一提示信息，第一提示信息用于提示人脸采集区域；

第三获取模块，用于获取摄像头采集的人脸采集区域内的第二人脸图像；

第二确定模块，用于在第二人脸图像中存在目标人脸的情况下，根据目标人脸，确定第一用户；

其中，目标人脸为与预设人脸相匹配的人脸。

在本申请一些实施例中，目标人脸的数量为至少两个；

相应地，该操作控制装置还可以包括：

第二输出模块，用于输出第二提示信息，所述第二提示信息用于提示第二用户在所述目标人脸中进行选择；

第一接收模块，用于接收第二用户的第一输入；

其中，第一确定模块或第二确定模块具体用于：

响应于第一输入，根据第一输入所选择的目标人脸，确定第一用户。

在本申请一些实施例中，该操作控制装置还可以包括：

第三输出模块，用于输出第三提示信息，第三提示信息用于提示第二用户为目标人脸对应的用户授予临时控制权限；

第二接收模块，用于接收第二用户的第二输入；

其中，第一确定模块或第二确定模块具体用于：

响应于第二输入，将目标人脸对应的用户作为第一用户。

在本申请一些实施例中，第一获取模块310可以包括：

动作获取单元，用于获取至少两个第二眼球动作；

动作识别单元，用于在至少两个第二眼球动作中，识别第一用户的人脸对应的第一眼球动作。

在本申请一些实施例中，功能执行模块320可以包括：

第一确定单元，用于确定第一眼球动作对应的动作时长；

第一执行单元，用于在动作时长大于或等于预设时长阈值的情况下，执行第一眼球动作对应的目标控制功能。

在本申请一些实施例中，功能执行模块320可以包括：

第二确定单元，用于基于眼球动作与控制功能之间的预设对应关系，确定第一眼球动作对应的目标控制功能；

第二执行单元，用于执行目标控制功能。

在本申请一些实施例中，该操作控制装置还可以包括：

第一显示模块，用于显示第一应用程序的第一应用界面；

其中，第一应用程序包括游戏类应用程序；预设眼球动作包括以下至少一项：瞳孔聚焦动作、眼球移动动作、瞳孔缩放动作和视线交叉动作；目标控制功能包括以下至少一项：目标对象的选择控制功能、目标对象的移动控制功能、目标对象的动作控制功能和目标场景的缩放控制功能。

在本申请一些实施例中，该操作控制装置还可以包括：

第二显示模块，用于显示第二应用程序的第二应用界面；

其中，第二应用程序包括视频类应用程序；预设眼球动作包括下列中的至少一项：瞳孔缩放动作、眼球移动动作和眼睛眨动动作；目标控制功能包括下列中的至少一项：对第二应用程序的属性调整功能、对目标视频的播放控制功能和对目标视频的选择控制功能。

本申请实施例中的操作控制装置可以是装置，也可以是装置中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的操作控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的操作控制装置能够实现图1至图2的方法实施例中操作控制装置实现的各个过程，为避免重复，这里不再赘述。

综上所述，本申请实施例可以提高多人互动模式下对单个操作控制装置的可操控性，实现一种基于眼动追踪对操作控制装置进行操作控制的多人互动方式，提高趣味性。同时，由于本申请实施例可以在自拍或者视频聊天以外的使用环境中，提高对前置摄像头的利用率。

可选的，本申请实施例还提供一种电子设备，包括处理器、存储器、存储在存储器上并可在处理器上运行的程序或指令，该程序或指令被处理器执行时实现上述操作控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图4示出了实现本申请实施例的一种电子设备的硬件结构示意图。

如图4所示，该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。

其中，输入单元404用于接收音频或视频信号，可以包括摄像头4041和麦克风4042，显示单元406用于显示由用户输入的信息或提供给用户的信息，可以包括显示面板，用户输入单元407用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入，可以包括触控面板和其他输入设备，触控面板可覆盖在显示面板上，存储器409用于存储软件程序以及各种数据，可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等，存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。

本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，输入单元404可以包括摄像头4041，用于获取第一用户的第一眼球动作，第一用户为具有临时控制权限的用户；

处理器410，用于在第一眼球动作为预设眼球动作的情况下，执行第一眼球动作对应的目标控制功能；

其中，预设眼球动作为具有操控意图的眼球动作。

在本申请实施例中，电子设备在获取到具有临时控制权限的第一用户的第一眼球动作之后，如果第一眼球动作为具有操控意图的预设眼球动作，可以执行第一眼球动作对应的目标控制功能，从而能够通过具有临时操作权限的用户的眼球动作，实现对电子设备的操作控制，使得对电子设备的操控不再受到操作距离及空间的限制，提高了电子设备的操控灵活性和方便性。

可选地，输入单元404还用于获取摄像头采集的第一人脸图像；处理器410还用于在第一人脸图像中存在目标人脸的情况下，根据目标人脸，确定第一用户；其中，目标人脸为与预设人脸相匹配的人脸。

可选地，显示单元406或音频输出单元403用于输出第一提示信息，第一提示信息用于提示人脸采集区域；

相应地，输入单元404还用于获取摄像头采集的人脸采集区域内的第二人脸图像；处理器410还用于在第二人脸图像中存在目标人脸的情况下，根据目标人脸，确定第一用户；其中，目标人脸为与预设人脸相匹配的人脸。

可选地，目标人脸的数量为至少两个；

相应地，显示单元406或音频输出单元403还用于输出第二提示信息，所述第二提示信息用于提示第二用户在所述目标人脸中进行选择；

用户输入单元407或输入单元404，用于接收第二用户的第一输入；其中，输入单元404可以例如麦克风4042；

其中，处理器410还用于响应于第一输入，根据第一输入所选择的目标人脸，确定第一用户。

可选地，显示单元406或音频输出单元403还用于输出第三提示信息，第三提示信息用于提示第二用户为目标人脸对应的用户授予临时控制权限；用户输入单元407或输入单元404还用于接收第二用户的第二输入；

其中，处理器410还用于响应于第二输入，将目标人脸对应的用户作为第一用户。

可选地，输入单元404还用于获取至少两个第二眼球动作；处理器410还用于在至少两个第二眼球动作中，识别第一用户的人脸对应的第一眼球动作。

可选地，处理器410还用于确定第一眼球动作对应的动作时长；以及在动作时长大于或等于预设时长阈值的情况下，执行第一眼球动作对应的目标控制功能。

可选地，处理器410还用于基于眼球动作与控制功能之间的预设对应关系，确定第一眼球动作对应的目标控制功能；以及执行目标控制功能。

可选地，显示单元406还用于显示第一应用程序的第一应用界面；

其中，第一应用程序包括游戏类应用程序；预设眼球动作包括以下至少一项：瞳孔聚焦动作、眼球移动动作、瞳孔缩放动作和视线交叉动作；目标控制功能包括以下至少一项：目标对象的选择控制功能、目标对象的移动控制功能、目标对象的动作控制功能和目标场景的缩放控制功能。

可选地，显示单元406还用于显示第二应用程序的第二应用界面；

其中，第二应用程序包括视频类应用程序；预设眼球动作包括下列中的至少一项：瞳孔缩放动作、眼球移动动作和眼睛眨动动作；目标控制功能包括下列中的至少一项：对第二应用程序的属性调整功能、对目标视频的播放控制功能和对目标视频的选择控制功能。

综上所述，本申请实施例可以提高多人互动模式下对单个操作控制装置的可操控性，实现一种基于眼动追踪对操作控制装置进行操作控制的多人互动方式，提高趣味性。同时，由于本申请实施例可以在自拍或者视频聊天以外的使用环境中，提高对前置摄像头的利用率。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述操作控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述操作控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (13)

1.一种操作控制方法，其特征在于，包括：

获取第一用户的第一眼球动作，所述第一用户为具有临时控制权限的用户；

在所述第一眼球动作为预设眼球动作的情况下，执行所述第一眼球动作对应的目标控制功能；

其中，所述预设眼球动作为具有操控意图的眼球动作。

2.根据权利要求1所述的方法，其特征在于，所述获取第一用户的第一眼球动作之前，所述方法还包括：

获取摄像头采集的第一人脸图像；

在所述第一人脸图像中存在目标人脸的情况下，根据所述目标人脸，确定所述第一用户；

其中，所述目标人脸为与预设人脸相匹配的人脸。

3.根据权利要求1所述的方法，其特征在于，所述获取第一用户的第一眼球动作之前，所述方法还包括：

输出第一提示信息，所述第一提示信息用于提示人脸采集区域；

获取摄像头采集的所述人脸采集区域内的第二人脸图像；

在所述第二人脸图像中存在目标人脸的情况下，根据所述目标人脸，确定所述第一用户；

其中，所述目标人脸为与预设人脸相匹配的人脸。

4.根据权利要求2或3所述的方法，其特征在于，所述目标人脸的数量为至少两个；

其中，所述根据所述目标人脸，确定所述第一用户之前，所述方法还包括：

输出第二提示信息，所述第二提示信息用于提示第二用户在所述目标人脸中进行选择；

接收所述第二用户的第一输入；

其中，所述根据所述目标人脸，确定所述第一用户，包括：

响应于所述第一输入，根据所述第一输入所选择的目标人脸，确定所述第一用户。

5.根据权利要求2或3所述的方法，其特征在于，所述根据所述目标人脸，确定所述第一用户之前，所述方法还包括：

输出第三提示信息，所述第三提示信息用于提示第二用户为所述目标人脸对应的用户授予所述临时控制权限；

接收所述第二用户的第二输入；

其中，所述根据所述目标人脸，确定所述第一用户，包括：

响应于所述第二输入，将所述目标人脸对应的用户作为所述第一用户。

6.根据权利要求2或3所述的方法，其特征在于，所述获取第一用户的第一眼球动作，包括：

获取至少两个第二眼球动作；

在至少两个所述第二眼球动作中，识别所述第一用户的人脸对应的所述第一眼球动作。

7.根据权利要求1所述的方法，其特征在于，所述执行所述第一眼球动作对应的目标控制功能，包括：

确定所述第一眼球动作对应的动作时长；

在所述动作时长大于或等于预设时长阈值的情况下，执行所述第一眼球动作对应的目标控制功能。

8.根据权利要求1所述的方法，其特征在于，所述执行所述第一眼球动作对应的目标控制功能，包括：

基于眼球动作与控制功能之间的预设对应关系，确定所述第一眼球动作对应的所述目标控制功能；

执行所述目标控制功能。

9.根据权利要求1所述的方法，其特征在于，所述获取第一用户的第一眼球动作之前，所述方法还包括：

显示第一应用程序的第一应用界面；

其中，所述第一应用程序包括游戏类应用程序；所述预设眼球动作包括以下至少一项：瞳孔聚焦动作、眼球移动动作、瞳孔缩放动作和视线交叉动作；所述目标控制功能包括以下至少一项：目标对象的选择控制功能、所述目标对象的移动控制功能、所述目标对象的动作控制功能和目标场景的缩放控制功能。

10.根据权利要求1所述的方法，其特征在于，所述获取第一用户的第一眼球动作之前，所述方法还包括：

显示第二应用程序的第二应用界面；

其中，所述第二应用程序包括视频类应用程序；所述预设眼球动作包括下列中的至少一项：瞳孔缩放动作、眼球移动动作和眼睛眨动动作；所述目标控制功能包括下列中的至少一项：对所述第二应用程序的属性调整功能、对目标视频的播放控制功能和对所述目标视频的选择控制功能。

11.一种操作控制装置，其特征在于，包括：

第一获取模块，用于获取第一用户的第一眼球动作，所述第一用户为具有临时控制权限的用户；

功能执行模块，用于在所述第一眼球动作为预设眼球动作的情况下，执行所述第一眼球动作对应的目标控制功能；

其中，所述预设眼球动作为具有操控意图的眼球动作。

12.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-10任一项所述的操作控制方法的步骤。

13.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-10任一项所述的操作控制方法的步骤。

Images