CN116107419A - 一种与电子设备进行交互的方法及电子设备 - Google Patents

Abstract

本申请提供了一种与电子设备进行交互的方法及电子设备，涉及终端技术领域。该方法在电子设备运行过程中，可以对用户的眼睛的眼动类型进行检测，并在眼动类型为跳动时根据此时的眼动类型对电子设备进行控制，以及在眼动类型为非跳动时可以指示用户进行手势控制。其中，在指示用户进行手势控制后，可以获取用户的操作手势，并根据获取到的操作手势，对电子设备进行控制。由此，通过在电子设备上将眼动操控和手势操控相结合，使得眼动操控和手势操控之间可以无感交互，从而使得用户可以高效便捷的对电子设备进行操控，提升了用户体验。

Description

一种与电子设备进行交互的方法及电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种与电子设备进行交互的方法及电子设备。

背景技术

在人们生活中，电子设备已经成为不可或缺的一部分。在操控电子设备方面，人们通常使用手持式遥控装置或者电子设备上的控制按键对电子设备进行操控，操作较为繁琐。

相关技术中，可以通过检测用户眼睛的注视点和动作，并根据预设的注视点和动作对电子设备进行操控，但在操控过程中，用户的眼睛需要频繁做出刻意的动作，这就容易引起眼部疲劳。因此，如何实现高效便捷的对电子设备进行操控是目前亟需解决的技术问题。

发明内容

本申请提供了一种与电子设备进行交互的方法、电子设备、计算机存储介质及计算机程序产品，能够通过眼动操控和手势操控相结合，实现高效便捷的对电子设备进行操控，提升了用户体验。

第一方面，本申请提供一种与电子设备进行交互的方法，该方法包括：电子设备获取用户眼睛的眼动类型；当确定眼动类型为第一类型时，电子设备根据第一类型对电子设备进行控制；当确定眼动类型为第二类型时，电子设备指示用户进行手势控制；电子设备获取用户的手势；电子设备根据获取的手势对电子设备进行控制。这样，通过在电子设备上将眼动操控和手势操控相结合，使得眼动操控和手势操控之间可以无感交互，从而使得用户可以高效便捷的对电子设备进行操控，提升了用户体验。示例性的，第一类型可以为跳动，第二类型可以为非跳动，例如：平视或平缓追踪等。

根据第一方面，指示用户进行手势控制，具体包括：获取用户的注视位置；在注视位置所在的第一预设区域内指示用户进行手势控制。这样，可以实现在与用户的注视位置相匹配的区域内指示用户进行手势控制，提升指示的准确度和后序用户操作的便捷度。示例性的，第一预设区域可以理解为一个面或一个点。其中，当理解为一个面时，第一预设区域可以为以用户的注视位置为中心并向外延伸预设距离所组成的区域；当理解为一个点时，第一预设区域可以为用户的注视位置所在的点，即用户的注视点。

根据第一方面，或者以上第一方面的任意一种实现方式，指示用户进行手势控制，具体包括：根据电子设备上所显示的第一内容的类型，确定目标区域；在目标区域内指示用户进行手势控制，其中，目标区域为电子设备上未包含第一内容的区域。这样，可以使得在指示用户进行手势控制时不会对用户浏览内容造成影响，从而提升用户体验。示例性的，第一内容可以为文字内容或图片内容等等。

根据第一方面，或者以上第一方面的任意一种实现方式，指示用户进行手势控制，具体包括：获取用户的注视位置；根据注视位置，确定用户的注视区域；当注视区域为第二预设区域时，指示用户进行手势控制。这样，可以使得只有在用户注视特定区域时才会指示用户进行手势控制，从而可以避免用户在沉浸式观看电子设备时误触发指示用户进行手势控制，提升用户体验。例如，当用户观看影片时，通过这种方式可以避免误指示用户进行手势控制。

根据第一方面，或者以上第一方面的任意一种实现方式，指示用户进行手势控制，包括以下一项或多项：控制电子设备显示光标，控制放大电子设备所显示的至少部分内容，或者，控制与电子设备配套的声音组件播报第一语音，第一语音用于指示用户进行手势控制。由此以动态方式或声音方式提示用户进行手势控制。

根据第一方面，或者以上第一方面的任意一种实现方式，指示用户进行手势控制包括控制电子设备显示光标，且光标显示在电子设备的显示区域中的第一区域内；该方法还包括：确定眼动类型持续为第二类型，在用户的眼睛出现移动且用户的注视区域由电子设备的显示区域中的第一区域切换至第二区域时，控制光标由第一区域移动至第二区域。这样，在用户的眼睛移动过程中，当用户的注视区域发生变化时控制光标同步移动，使得用户可以便于选择其所需要的内容，提升了用户体验。

根据第一方面，或者以上第一方面的任意一种实现方式，指示用户进行手势控制包括控制放大电子设备所显示的至少部分内容，且放大的内容为电子设备的显示区域中第一区域中所显示的内容；该方法还包括：确定眼动类型持续为第二类型，在用户的眼睛出现移动且用户的注视区域由电子设备的第一区域切换至第二区域时，将第一区域中放大的内容恢复至初始状态，以及放大第二区域中的内容。这样，在用户的眼睛移动过程中，，当用户的注视区域发生变化时同步更改电子设备所显示的放大的内容，使得用户可以便于选择其所需要的内容，提升了用户体验。

根据第一方面，或者以上第一方面的任意一种实现方式，该方法还包括：确定眼动类型由第二类型切换为第一类型，停止指示用户进行手势控制，和/或，电子设备根据第一类型对电子设备进行控制，并限制电子设备获取用户的手势。

根据第一方面，或者以上第一方面的任意一种实现方式，在确定眼动类型为第二类型之后，还包括：获取用户的注视位置，以及根据注视位置，确定用户的注视区域的尺寸；根据注视区域的尺寸，确定用户进行手势控制时的操作区域的尺寸。这样可以使得用户在与注视区域的尺寸相匹配的尺寸的操作区域内进行手势操作，提升了手势操作的精准度和用户体验。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备根据第一类型对电子设备进行控制，具体包括：电子设备根据第一类型，实时确定用户的注视位置，和/或，电子设备根据第一类型，控制切换电子设备上所显示的内容。

第二方面，本申请提供一种与电子设备进行交互的方法，该方法包括：电子设备获取用户的手势；电子设备根据获取的手势对电子设备进行控制；电子设备获取用户的眼动类型；当确定用户的眼动类型为第一类型时，电子设备根据第一类型对电子设备进行控制，并限制电子设备根据用户的手势控制电子设备；当确定用户的眼动类型为第二类型时，电子设备获取用户的手势；电子设备根据获取的手势对电子设备进行控制。这样，通过在电子设备上将眼动操控和手势操控相结合，使得眼动操控和手势操控之间可以无感交互，从而使得用户可以高效便捷的对电子设备进行操控，提升了用户体验。示例性的，第一类型可以为跳动，第二类型可以为非跳动，例如：平视或平缓追踪等。

根据第二方面，或者以上第二方面的任意一种实现方式，电子设备根据第一类型对电子设备进行控制，并限制电子设备获取用户的手势之后，该方法还包括：当确定用户的眼动类型由第一类型切换至第二类型时，电子设备指示用户进行手势控制；电子设备获取用户的手势；电子设备根据获取的手势对电子设备进行控制。由此以将眼动操控和手势操控有序的相结合，使得眼动操控和手势操控之间可以无感交互，从而使得用户可以高效便捷的对电子设备进行操控，提升了用户体验。

根据第二方面，或者以上第二方面的任意一种实现方式，限制电子设备根据用户的手势控制电子设备，具体包括：电子设备不获取用户的手势，或者，电子设备虽然获取了用户的手势但不对手势进行处理。由此以达到限制电子设备根据用户的手势控制电子设备的目的。

第三方面，本申请提供一种与电子设备进行交互的方法，该方法包括：电子设备获取用户针对电子设备上第一区域进行操作的第一手势；电子设备根据获取的第一手势对电子设备进行控制；电子设备获取用户的眼动类型；当确定用户的眼动类型为第一类型时，电子设备根据第一类型对电子设备进行控制，并限制电子设备获取用户的手势；电子设备继续获取用户的眼动类型；当确定用户的眼动类型由第一类型切换至第二类型，且用户的注视位置由电子设备上的第一区域切换至第二区域时，电子设备指示用户进行手势控制；电子设备获取用户针对第二区域进行操作的第二手势；电子设备根据获取的第二手势对电子设备进行控制。这样，通过在电子设备上将眼动操控和手势操控相结合，使得用户在切换控制区域时可以达到无感切换的目的，从而使得用户可以高效便捷的对电子设备进行操控，提升了用户体验。示例性的，第一类型可以为跳动，第二类型可以为非跳动，例如：平视或平缓追踪等。

第四方面，本申请提供一种与电子设备进行交互的方法，该方法包括：电子设备获取用户的第一眼动信息；电子设备根据第一眼动信息确定第一眼动类型；电子设备根据第一眼动类型对电子设备进行控制；电子设备获取用户的第二眼动信息；电子设备根据第二眼动信息确定第二眼动类型；电子设备获取用户的手势；电子设备根据获取的手势对电子设备进行控制。这样，通过在电子设备上将眼动操控和手势操控相结合，使得眼动操控和手势操控之间可以无感交互，从而使得用户可以高效便捷的对电子设备进行操控，提升了用户体验。示例性的，第一眼动类型可以为跳动，第二眼动类型可以为非跳动，例如：平视或平缓追踪等。示例性的，第一眼动类型也可以称之为第一类型，第二眼动类型也可以称之为第二类型。

根据第四方面，或者以上第四方面的任意一种实现方式，该方法还包括:电子设备获取用户的第三眼动信息；电子设备根据第三眼动信息确定第一眼动类型；电子设备根据第一眼动类型对电子设备进行控制，并限制电子设备获取用户的手势。

第五方面，本申请提供一种电子设备，包括：眼动追踪装置，用于获取用户的眼动信息；手势追踪装置，用于获取用户的手势；至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于：控制眼动追踪装置获取用户的眼动信息；当由眼动信息确定的用户眼睛的眼动类型为第一类型时，根据第一类型对电子设备进行控制；当由眼动信息确定的用户眼睛的眼动类型为第二类型时，控制电子设备指示用户进行手势控制；控制手势追踪装置获取用户的手势；根据手势追踪装置获取的手势对电子设备进行控制。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器控制电子设备指示用户进行手势控制，具体包括：处理器根据用户的眼动信息，确定用户的注视位置；处理器控制电子设备在注视位置所在的第一预设区域内提示用户进行手势控制。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器控制电子设备指示用户进行手势控制，具体包括：处理器根据电子设备上所显示的第一内容的类型，确定目标区域；处理器控制电子设备在目标区域内提示用户进行手势控制，其中，目标区域为电子设备上未包含第一内容的区域。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器控制电子设备指示用户进行手势控制，具体包括：处理器根据用户的眼动信息，获取用户的注视位置；处理器根据注视位置，确定用户的注视区域；当注视区域为第二预设区域时，处理器控制电子设备提示用户进行手势控制。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器控制电子设备指示用户进行手势控制，包括以下一项或多项：处理器控制电子设备显示光标，处理器控制放大电子设备所显示的至少部分内容，或者，处理器控制与电子设备配套的声音组件播报第一语音，第一语音用于提示用户进行手势控制。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器控制电子设备指示用户进行手势控制包括处理器控制电子设备显示光标，且光标显示在电子设备的显示区域中的第一区域内；处理器还用于：当由眼动信息确定的用户眼睛的眼动类型持续为第二类型，且在用户的眼睛出现移动且用户的注视区域由电子设备的显示区域中的第一区域切换至第二区域时，控制电子设备将光标由第一区域移动至第二区域，其中，注视区域由用户的眼睛的注视位置确定。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器控制电子设备指示用户进行手势控制包括处理器控制放大电子设备所显示的至少部分内容，且放大的内容为电子设备的显示区域中第一区域中所显示的内容；处理器还用于：当由眼动信息确定的用户眼睛的眼动类型持续为第二类型，且在用户的眼睛出现移动且用户的注视区域由电子设备的第一区域切换至第二区域时，控制电子设备将第一区域中放大的内容恢复至初始状态，以及放大第二区域中的内容。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器控制电子设备指示用户进行手势控制之后，处理器还用于：当由眼动信息确定的用户眼睛的眼动类型由第二类型切换为第一类型时，控制电子设备停止指示用户进行手势控制，和/或，根据第一类型对电子设备进行控制，并限制手势追踪装置获取用户的手势。

根据第五方面，或者以上第五方面的任意一种实现方式，在由眼动信息确定的用户眼睛的眼动类型为第二类型之后，处理器还用于：获取用户的注视位置；根据注视位置，确定用户的注视区域的尺寸；根据注视区域的尺寸，确定用户进行手势控制时的操作区域的尺寸。

根据第五方面，或者以上第五方面的任意一种实现方式，处理器根据第一类型对电子设备进行控制，具体包括：处理器根据第一类型，实时确定用户的注视位置，和/或，处理器根据第一类型，控制电子设备切换电子设备上所显示的内容。

第六方面，本申请提供一种电子设备，包括：眼动追踪装置，用于获取用户的眼动信息；手势追踪装置，用于获取用户的手势；至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于：控制手势追踪装置获取的用户的手势；根据手势追踪装置获取的手势对电子设备进行控制；当由眼动信息确定的用户眼睛的眼动类型为第一类型时，根据第一类型对电子设备进行控制，并限制根据用户的手势控制电子设备；当由眼动信息确定的用户眼睛的眼动类型为第二类型时，根据手势追踪装置获取的手势对电子设备进行控制。

根据第六方面，或者以上第六方面的任意一种实现方式，处理器在根据第一类型对电子设备进行控制，并限制根据用户的手势控制电子设备之后，还用于：当由眼动信息确定的用户眼睛的眼动类型由第一类型切换至第二类型时，控制电子设备指示用户进行手势控制；控制手势追踪装置获取的用户的手势；根据手势追踪装置获取的手势对电子设备进行控制。

根据第六方面，或者以上第六方面的任意一种实现方式，处理器限制根据用户的手势控制电子设备，具体包括：处理器控制手势追踪装置不获取用户的手势，或者，处理器虽然控制手势追踪装置继续获取用户的手势但不对手势进行处理。

第七方面，本申请提供一种电子设备，包括：眼动追踪装置，用于获取用户的眼动信息；手势追踪装置，用于获取用户的手势；至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于：控制手势追踪装置获取用户的手势；根据手势追踪装置获取的用户针对电子设备上第一区域进行操作的第一手势对电子设备进行控制；控制眼动追踪装置获取用户的眼动信息；当由眼动信息确定的用户眼睛的眼动类型为第一类型时，根据第一类型对电子设备进行控制，并限制手势追踪装置获取用户的手势；继续控制眼动追踪装置获取用户的眼动信息；当由眼动信息确定的用户眼睛的眼动类型由第一类型切换至第二类型，且用户的注视位置由电子设备上的第一区域切换至第二区域时，控制电子设备指示用户进行手势控制；控制手势追踪装置获取用户的手势；根据手势追踪装置获取的用户针对第二区域进行操作的第二手势对电子设备进行控制。

第八方面，本申请提供一种电子设备，包括：眼动追踪装置，用于获取用户的眼动信息；手势追踪装置，用于获取用户的手势；至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于：控制眼动追踪装置获取用户的第一眼动信息；根据第一眼动信息确定第一眼动类型；根据第一眼动类型对电子设备进行控制；控制眼动追踪装置获取用户的第二眼动信息；根据第二眼动信息确定第二眼动类型；控制手势追踪装置获取用户的手势；根据手势追踪装置获取的手势对电子设备进行控制。

根据第八方面，或者以上第八方面的任意一种实现方式，处理器还用于:控制眼动追踪装置获取用户的第三眼动信息；根据第三眼动信息确定第一眼动类型；根据第一眼动类型对电子设备进行控制，并限制手势追踪装置获取用户的手势。

第九方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行如第一方面至第四方面中任意一方面或第一方面至第四方面的任意一种实现方式中提供的方法。

第十方面，本申请提供一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面至第四方面中任意一方面或第一方面至第四方面的任意一种实现方式中提供的方法。

可以理解的是，上述第五方面至第十方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1是本申请一实施例提供的一种应用场景的示意图；

图2是本申请一实施例提供的一种电子设备的结构示意图；

图3是本申请一实施例提供的一种眼动追踪装置追踪眼动的示意图；

图4是本申请一实施例提供的一种用户眼睛的瞳孔中心与角膜上光斑之间的相对位置的示意图；

图5是本申请一实施例提供的一种电子设备的显示屏上注视位置的坐标示意图；

图6是本申请一实施例提供的一种电子设备上红外发射器的布置示意图；

图7是本申请一实施例提供的一种手势追踪装置追踪手势的示意图；

图8是本申请一实施例提供的一种与电子设备进行交互的方法的流程示意图；

图9是本申请一实施例中提供的一种指示用户进行手势控制的示意图；

图10是本申请一实施例中提供的另一种指示用户进行手势控制的示意图；

图11是本申请一实施例提供的一种用户的注视区域发生变化时电子设备上显示的光标的变化示意图；

图12是本申请一实施例提供的一种用户的注视区域发生变化时电子设备上放大的内容的变化示意图；

图13是本申请一实施例提供的一种操作区域与电子设备上显示屏的对应示意图；

图14是本申请一实施例提供的一种操作区域与电子设备上的注视区域的对应示意图；

图15是本申请一实施例提供的一种眼睛的可视角度的示意图；

图16是本申请一实施例提供的一种在电子设备上的注视区域内显示光标的示意图；

图17是本申请一实施例提供的一种控制过程的步骤示意图；

图18是本申请一实施例提供的一种用户手部移动的过程示意图；

图19是本申请一实施例提供的一种与电子设备进行交互的方法的流程示意图；

图20是本申请一实施例提供的另一种与电子设备进行交互的方法的流程示意图；

图21是本申请一实施例提供的又一种与电子设备进行交互的方法的流程示意图；

图22是本申请一实施例提供的再一种与电子设备进行交互的方法的流程示意图；

图23是本申请一实施例提供的一种控制过程的示意图；

图24是本申请一实施例提供的另一种控制过程的示意图；

图25是本申请一实施例提供的又一种控制过程的示意图；

图26是本申请一实施例提供的再一种控制过程的示意图；

图27是本申请一实施例提供的再一种控制过程的示意图。

具体实施方式

本文中术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中符号“/”表示关联对象是或者的关系，例如A/B表示A或者B。

本文中的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一响应消息和第二响应消息等是用于区别不同的响应消息，而不是用于描述响应消息的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或者两个以上，例如，多个处理单元是指两个或者两个以上的处理单元等；多个元件是指两个或者两个以上的元件等。

示例性的，图1示出了本申请一些实施例中的一种应用场景。如图1所示，用户A正在使用电子设备100，其中，电子设备100可以但不限于为智能电视，本申请实施例中所指的智能电视可以是能与移动设备例如智能手机、平板电脑等进行交互的电视或其他具有大屏的电子设备，例如智能手机中的用户界面可以通过无线方式传输并在智能电视中呈现，用户在智能电视中的操作也可以影响智能手机。在电子设备100上可以设置有眼动追踪装置110和/或手势追踪装置120。眼动追踪装置110可以用来检测用户A的眼睛21的动作，手势追踪装置120可以用来检测用户A的手部22的手势和/或手部运动。

一般地，用户A可以使用眼动操控对电子设备100进行控制。此时，在电子设备100上可以设置有眼动追踪装置110。其中，在用户A使用电子设备100的过程中，用户A可以通过其眼睛21刻意做出一些与控制相关的动作。之后，眼动追踪装置110检测到眼睛21做出的动作后，电子设备100可以根据眼动追踪装置110检测到的眼睛21的动作生成控制指令，并输出该控制指令。可见，在用户A对电子设备100的操控过程中，用户A的眼睛21需要频繁做出刻意的动作，因此容易引起用户A的眼部疲劳。

为了避免出现眼动操控导致用户A的眼部疲劳的情况，可以将眼动操控替换为手势操控。此时，电子设备100上的眼动追踪装置110可以替换为手势追踪装置120。此时，在用户A使用电子设备100的过程中，用户A可以通过其手部22刻意做出一些与控制相关的手势。之后，手势追踪装置120检测到手部22做出的手势后，电子设备100可以根据手势追踪装置120检测到的手部22做出的手势生成控制指令，并输出该控制指令。但当电子设备100上的操控区域较大时，用户A的手部22需要移动的距离也将变大，这就容易导致操控效率降低，且容易引起疲劳。

进一步地，为了避免单独进行眼动操控和手势操控带来的效率低且容易引起疲劳的问题，并实现高效便捷的对电子设备进行操控，本申请还提供了一种方案。其中，在该方案中，在电子设备100上可以设置有眼动追踪装置110和手势追踪装置120，此时，在用户A使用电子设备100的过程中，电子设备100上的眼动追踪装置110可以对用户A的眼睛21进行检测，当检测到用户A意图对电子设备100进行控制时，电子设备100可以指示用户A进行手势控制；之后，电子设备100可以根据手势追踪装置120检测到的用户A的手部22的手势生成控制指令，并输出该控制指令。这样将眼动操控和手势操控有序结合，使得眼动操控和手势操控之间可以无感交互，实现了高效便捷和高精度的对电子设备进行操控。

可以理解的是，图1中所示的电子设备100也可以替换为其他的电子设备，替换后的方案仍在本申请的保护范围内。示例性的，电子设备100可以为手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificial intelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备100的具体类型不作特殊限制。

示例性的，图2示出了电子设备100的结构示意图。如图2所示，该电子设备100可以包括：眼动追踪装置110、手势追踪装置120、处理器130和存储器140。

其中，眼动追踪装置110可以用于检测用户眼睛的眼动信息、眼动类型和/或注视位置。示例性的，眼动信息可以包括眼动速度和/或眼动加速度等。示例性的，眼动类型可以包括跳动和非跳动，其中，非跳动是指除跳动以外的眼动类型，例如：注视或平缓追踪等。眼动追踪装置110可以但不限于通过瞳孔中心角膜反射技术(pupil center cornealreflection，PCCR)、基于外貌检测(appearance-based)等技术检测眼动类型。示例性的，以采用PCCR为例，如图3所示，眼动追踪装置110可以包括：红外发射器111和摄像头112。眼动追踪装置110在工作过程中，红外发射器111可以发出红外光，该红外光可以在用户A的眼睛21中的角膜上产生反射，并在角膜上投射出光斑。摄像头112可以采集用户A的脸部图像，且通过预设的图像算法确定出用户眼睛21的瞳孔中心和角膜上光斑之间的相对位置，并基于该相对位置确定出用户A的眼睛21的注视点和眼动类型。示例性的，眼动追踪装置110可以跟随电子设备100一起启动，也可以在获取到启动指令后再启动。示例性的，在电子设备100上配置有图像采集装置(比如：摄像头)，且电子设备100确定出该图像采集装置采集到用户的人脸图像时，电子设备100可以向眼动追踪装置110发送启动指令。另外，电子设备100在获取到用户下发的开启眼动追踪装置110的指令后，也可以向眼动追踪装置110发送启动指令。此外，在电子设备100获取到用户下发的开启电子设备100的指令时，电子设备100亦可以向眼动追踪装置110发送启动指令。

在一个例子中，可以预先设定用户眼睛的瞳孔中心与角膜上光斑之间的相对位置和用户注视电子设备100上的注视点之间的映射关系，这样当确定出用户眼睛的瞳孔中心与角膜上光斑之间的相对位置后，即可以确定出用户注视电子设备100上的注视位置。示例性的，如图4的(A)所示，若用户眼睛21的瞳孔中心41和红外发射器111发出的红外光在用户眼睛21的角膜上透射的光斑42重合时，用户的注视方向为注视电子设备100的中心区域，则当确定出用户眼睛a的瞳孔中心与角膜上的光斑重合时，即可以确定出用户正在注视电子设备100的中心区域，其中，如图5所示，该中心区域的坐标可以为(0,0)。如图4的(B)所示，若用户眼睛21的瞳孔中心41位于红外发射器111发出的红外光在用户眼睛21的角膜上透射的光斑42的正左方，且两者之间相距L₁时，用户的注视方向为注视电子设备100的右侧边缘的中心区域，则当确定出用户眼睛21的瞳孔中心41位于角膜上透射的光斑42的正左方，且两者之间相距L₁时，即可以确定出用户正在注视电子设备100的右侧边缘的中心区域，其中，如图5所示，该区域的坐标可以为(X₁,0)。如图4的(C)所示，若用户眼睛21的瞳孔中心41位于红外发射器111发出的红外光在用户眼睛21的角膜上透射的光斑42的正右方，且两者之间相距L₁时，用户的注视方向为注视电子设备100的左侧边缘的中心区域，则当确定出用户眼睛21的瞳孔中心41位于角膜上透射的光斑42的正右方，且两者之间相距L₁时，即可以确定出用户正在注视电子设备100的左侧边缘的中心区域，其中，如图5所示，该区域的坐标可以为(-X₁,0)。

在一个实施例中，在确定眼动类型时，可以但不限于基于眼动速度、眼动加速度或空间集散度等方式确定。示例性的，以基于眼动速度确定眼动类型举例进行说明，当用户眼睛的眼动速度超过某一阈值V₁时，即眼动速度V∈(V₁，+∞)，表明用户的眼动速度较快，此时可以确定眼动类型为跳动；当用户眼睛的眼动速度在V₂和V₁之间时，即眼动速度V∈[V₂,V₁]，表明用户的眼动速度较为缓慢，此时可以确定眼动类型为平缓追踪，其中，V₂小于V₁；当用户眼睛的眼动速度小于V₂时，即眼动速度V∈[0，V₂)，表明用户的眼动速度非常缓慢，此时可以确定眼动类型为注视。

在另一些实施例中，红外发射器111的数量可以为多个。多个红外发射器111可以间隔布置在电子设备100上。例如，如图6所示，当红外发射器111的数量为4个时，4个红外发射器111可以分别布置在电子设备100的四个边角处。此外，摄像头112的数量也可以为多个，具体可根据情况而定，此处不做限定。在一个例子中，眼动追踪装置110中的至少部分功能(比如数据处理功能等)可以由处理器110实现。在一个例子中，眼动追踪装置110可以集成在电子设备100上，也可以单独布置，此处不做限定。

手势追踪装置120可以用于检测用户做出的手势。手势追踪装置120可以但不限于基于计算机视觉的摄像头追踪、基于发射信号和反射信号的对比等方法对用户做出的手势进行检测。示例性的，以基于发射信号和反射信号的对比方法为例，如图7所示，手势追踪装置120可以包括信号发射器121、信号接收器122和信号处理单元123。手势追踪装置120在工作过程中，信号发射器121可以发送信号(如：毫米波、红外光、超声、无线保真(wirelessfidelity，Wi-Fi)等信号)；然后，信号接收器122可以接收用户A的手部22反射的信号；最后，信号处理单元123通过对比信号发射器121发出的原始信号和信号接收器122接收到的反射信号，利用多普勒效应、相位偏移、时间差等原理追踪用户A的手部22的动作，进而确定出用户A做出的手势。在一个例子中，当手势追踪装置120采用基于计算机视觉的摄像头追踪方法对用户做出的手势进行检测时，手势追踪装置120还可以包括摄像头，该摄像头可以采集用户手部的图像，并基于预先设定的图像处理算法检测出用户做出的手势。其中，该摄像头可以与眼动追踪装置110中的摄像头为同一摄像头，也可以为不同的摄像头。在一个例子中，手势追踪装置120中的至少部分组件(比如信号处理单元123)可以集成在处理器130中。在一个例子中，手势追踪装置120可以集成在电子设备100上，也可以单独布置，亦可以一部分集成在电子设备100上，而另一部分单独布置，此处不做限定。在一个例子中，手势追踪装置120中的至少部分功能(比如数据处理功能等)可以由处理器110实现。示例性的，手势追踪装置120可以跟随电子设备100一起启动，也可以在获取到启动指令后再启动，比如，当电子设备100通过眼动追踪装置110确定出用户的眼睛的眼动类型不为跳动时，电子设备100可以向手势追踪装置120发送启动指令。另外，电子设备100在获取到用户下发的开启眼动追踪装置120的指令后，也可以向眼动追踪装置120发送启动指令。此外，在电子设备100获取到用户下发的开启电子设备100的指令时，电子设备100亦可以向眼动追踪装置120发送启动指令。

在一个实施例中，手势追踪装置120可以包括肌电图(electromyogram，EMG)手环或红外遥控笔等外设组件。此外，用户可以使用手势追踪装置120中的外设组件过程中，手势追踪装置120中的信号处理单元可以获取外设组件发射的信号，并根据外设组件发射的信号，来检测用户的手势和运动。

在一个实施例中，在手势追踪装置120工作过程中，眼动追踪装置110也可以处于工作状态，以便眼动追踪装置110继续获取用户的眼睛的眼动类型。

在一个实施例中，在眼动追踪装置110工作过程中，手势追踪装置120可以停止工作，以节省功耗，或者，手势追踪装置120也可以继续工作，以便手势追踪装置120继续获取用户的手势。

处理器130是电子设备100的计算核心及控制核心。处理器130可以包括一个或多个处理单元。例如，处理器130可以包括应用处理器(application processor，AP)、调制解调器(modem)、图形处理器(graphics processing unit，GPU)、图像信号处理器(imagesignal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signalprocessor，DSP)、基带处理器、和/或神经网络处理器(neural-network processing unit，NPU)等中的一项或多项。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。示例性的，处理器130可以向眼动追踪装置110和/或手势追踪装置120下发控制指令，例如：控制眼动追踪装置110启动或关闭，以控制眼动追踪装置110获取用户的眼动信息或者停止获取用户的眼动信息等，控制手势追踪装置120启动或关闭，以控制手势追踪装置120获取用户的手势或者停止获取用户的手势等。示例性的，处理器130可以根据眼动追踪装置110获取到的用户的眼动信息确定出用户的眼动类型，详见上述基于眼动信息确定眼动类型的描述，此处就不再一一赘述。

存储器140可以存储有程序，程序可被处理器130运行，使得处理器130至少可以执行本申请实施例中提供的方法。存储器140还可以存储有数据。处理器130可以读取存储器140中存储的数据。存储器140和处理器130可以单独设置。另外，存储器140也可以集成在处理器130中。

在另一些实施例中，电子设备100中还包括显示屏(图中未示出)。该显示屏可以用于显示图像，视频等。该显示屏可以包括显示面板。显示面板可以采用液晶显示屏(liquidcrystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emittingdiode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏，N为大于1的正整数。示例性的，电子设备可以在显示屏上显示指示用户进行手势控制的信息。

可以理解的是，本申请图2示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

在一些实施例中，电子设备100例如智能电视，可以显示如图9的(A)所示的用户界面，此时，眼动追踪装置110可以实时或周期性获取用户的眼动信息和/或眼动类型，例如：通过瞳孔中心角膜反射技术、基于外貌检测等技术检测眼动类型(详见上文描述，此处不再赘述)。在眼动追踪装置110获取到的眼动类型不为跳动(即眼动类型为非跳动)时，电子设备100可以指示用户进行手势控制，例如，如图9的(B)所示，电子设备100可以显示光标92，以指示用户进行手势控制。另外，在眼动追踪装置110获取到的眼动类型不为跳动时，电子设备100可以启动其上的手势追踪装置120，以获取到用户的操作手势，进而响应用户的操作。

下面基于上文所描述的内容，并结合图8，对本申请提供的技术方案进行详细说明。示例性的，图8示出了本申请实施例提供的一种与电子设备进行交互的方法的流程示意图。在图8中所涉及的电子设备可以为上文图2中所描述的电子设备100，其具有上文所描述的眼动追踪装置110和手动追踪装置120。如图8所示，该与电子设备进行交互的方法可以包括以下步骤：

S801、获取用户眼睛的眼动类型，眼动类型可以包括跳动或非跳动，非跳动是指眼动类型不是跳动。

具体地，可以利用上文所描述的眼动追踪装置110实时或周期性获取到用户眼睛的眼动类型。其中，眼动类型可以包括跳动或非跳动，非跳动是指眼动类型不是跳动，例如注视或平缓追踪等。此外，电子设备100中的处理器130也可以基于眼动追踪装置110实时或周期性获取到用户眼睛的眼动信息，确定用户眼睛的眼动类型，具体可根据实际情况而定，此处不做限定。

S802、确定眼动类型为非跳动，指示用户进行手势控制。

具体地，在获取到眼动类型后，可以根据眼动类型，指示用户进行手势控制，以便用户可以获知到在后续可以通过手势对电子设备进行控制。在一些实施例中，当确定出眼动类型不为跳动(即为注视或平缓追踪等)时，可以指示用户进行手势控制。当确定出眼动类型为跳动时，可以继续检测用户的眼动类型，此时电子设备上的显示界面可以无变化。另外，当在前一时刻的眼动类型不为跳动，而当前时刻的眼动类型为跳动时，则不再指示用户进行手势控制。也即是说，当用户眼睛的眼动类型由非跳动切换跳动时，则不再指示用户进行手势控制。当用户眼睛的眼动类型由跳动切换为非跳动时，则指示用户进行手势控制。其中，非跳动是指不是跳动。

示例性的，如图9的(A)所示，电子设备100具备显示屏，且显示屏处于亮屏状态，以及在电子设备100的显示屏上可以显示有应用的图标或者用户正在观看的其他内容(比如文字、图片等)；此时，以在显示屏上显示的是应用的图标为例，在指示用户进行手势控制时，如图9的(B)所示，在电子设备100的显示屏上可以显示光标92，从而通过该光标92以指示用户进行手势控制。示例性的，如图10的(A)所示，电子设备100具备显示屏，且显示屏处于亮屏状态，以及在电子设备100的显示屏上可以显示有应用的图标或者用户正在观看的其他内容(比如文字、图片等)，在指示用户进行手势控制时，如图10的(B)所示，在电子设备100上的显示屏上可以放大某个图标，如图标91，从而通过放大图标以指示用户进行手势控制。

在一些实施例中，继续参阅图9的(B)，光标902所在的位置可以为手势操作的起始位置。继续参阅图10的(B)，放大的图标901所在的位置可以为手势操作的起始位置。示例性的，手势操作的起始位置可以理解为用户在进行手势操作时光标的初始移动位置。

可理解的是，除了使用图9和图10所示的指示方式外，还可以采用语音指示等方式指示用户进行手势控制，具体可根据实际情况而定，此处不做限定。

S803、获取用户的操作手势。

具体地，可以利用上文所描述的手势追踪装置120获取用户的操作手势，详见上文描述，此处不再赘述。示例性的，操作手势也可以称之为手势。

S804、根据操作手势，对电子设备进行控制。

具体地，获取到用户的操作手势后，即可以根据该操作手势对电子设备进行控制。示例性的，获取到操作手势后，可以根据该操作手势，查询预设的手势和控制指令之间的映射关系，从而确定出该操作手势对应的控制指令，进而基于该控制指令对电子设备进行控制。

由此，通过将眼动操控和手势操控有序结合，使得眼动操控和手势操控之间可以无感交互，从而使得用户可以高效便捷和高精度的对电子设备进行操控。

在一些实施例中，在上述S802中指示用户进行手势控制之前，还可以根据跳动时的眼动类型，实时确定用户眼睛的注视位置，以便确定出用户潜在的控制区域，进而可以精准的指示用户进行手势控制。其中，确定用户眼睛的注视位置的方式可以参考上文图2中有关眼动追踪装置110的相关介绍，此处不再赘述。示例性的，用户眼睛的注视位置可以表示用户的感兴趣区域。示例性的，“确定用户眼睛的注视位置”可以理解为是“根据跳动时的眼动类型对电子设备进行控制”。

示例性的，在精准的指示用户进行手势控制时，可以在确定出的用户的眼睛的注视位置所在的预设区域内指示用户进行手势控制。例如：继续参阅图9的(A)，当确定出用户的注视位置是图标91所在的位置，此时如图9的(B)所示，可以将光标92显示在图标91所在的位置处。同样的，继续参阅图10的(A)，当确定出用户的注视位置是图标91所在的位置，此时如图10的(B)所示，可以将图标91进行放大。由于用户的注视位置可以表示用户的感兴趣区域，因此，这样可以在指示用户可以进行手势控制的同时，使得用户可以直接可以对其感兴趣的区域进行操作，避免了用户需要重新选择其所希望控制的内容，提升了用户体验。

在一些实施例中，当用户眼睛的眼动类型为跳动时，还可以根据此时的眼动类型，控制切换电子设备上所显示的内容。示例性的，可以控制切换电子设备上所显示的用户界面。其中，切换方向可以由用户眼睛的注视位置的变化方向确定。举例来说，当用户正在浏览文件，该文件总共有10页，电子设备一次只能显示1页，且用户正在浏览第5页时，当确定出用户眼睛的眼动类型为跳动，且用户眼睛的注视位置是由电子设备的上方朝向下方移动，则可以在用户眼睛的注视位置处于电子设备上的显示区域的底部时，电子设备可以将其所显示的文件的内容由第5页切换至第6页；当确定出用户眼睛的眼动类型为跳动，且用户眼睛的注视位置是由电子设备的下方朝向上方移动，则可以在用户眼睛的注视位置处于电子设备上的显示区域的顶部时，电子设备可以将其所显示的文件的内容由第5页切换至第4页。示例性的，“当用户眼睛的眼动类型为跳动时，根据此时的眼动类型，控制切换电子设备上所显示的内容”可以理解为是“根据跳动时的眼动类型对电子设备进行控制”。

在一些实施例中，当根据跳动时的眼动类型对电子设备进行控制时，可以限制电子设备获取用户的手势，以避免用户的手势的干扰。示例性的，限制电子设备获取用户的手势可以包括：电子设备不获取用户的手势，或者，电子设备虽然获取了用户的手势但不对手势进行处理。作为一种可能的实现方式，可以控制手势追踪装置120停止工作，或者，可以继续控制手势追踪装置120工作，但对其获取到的手势不做处理。

在一些实施例中，考虑到用户在对某个项目进行操作时，一般需要注视该项目，因此为了便于用户操控，在指示用户进行手势控制时，还可以在用户的眼动类型不为跳动时，当用户在电子设备100的显示区域上的注视区域发生变化时，可以根据用户的眼睛的移动(此时用户的眼动类型为平缓追踪)，控制用于指示用户进行手势控制的内容(比如光标等)移动，直至用户的眼动类型为注视，由此以便告知用户其当前所注视的位置，便于用户选择项目。示例性的，以用于指示用户进行手势控制的内容为光标为例，如图11的(A)所示，当用户的眼动类型不为跳动，且当前用户的注视区域为电子设备100的显示屏上的区域1101时，可以在电子设备100的显示屏上的区域1101中显示光标92，以指示用户进行手势控制，接着，当用户的眼动类型为平缓追踪，且其注视区域移动至电子设备100的显示屏上的区域1102时，如图11的(B)所示，可以控制光标92由区域1101移动至区域1102。示例性的，以用于指示用户进行手势控制的内容为放大内容为例，如图12的(A)所示，当用户的眼动类型不为跳动，且当前用户的注视区域为电子设备100的显示屏上的区域1201时，则可以控制放大区域1201中的图标1202，以指示用户进行手势控制，接着，当用户的眼动类型为平缓追踪，且其注视区域移动至电子设备100的显示屏上的区域1203时，如图12的(B)所示，可以控制区域1201中的图标1202恢复至初始状态(即未放大的状态)，并控制放大区域1203中的图标1204。

在一些实施例中，在用户进行手势控制过程中，当用户的手部需要移动的距离较大时，则容易造成用户手部的疲劳，导致用户体验较差。此外，如图13所示，当用户A的手部22可以在区域50中移动即可以完成对电子设备100的控制时，虽然可以解决用户手部移动较大而造成的手部易疲劳的情况，但由于电子设备100上的显示区域51明显大于区域50，这就使得用户A的手部22在区域50中移动距离映射到电子设备100上的显示区域51上时往往移动距离较大，进而造成控制精度下降，使得用户难以精准对电子设备100进行控制。为避免用户手部移动距离较大的情况出现，同时为了提升控制精度，还可以在确定出用户的注视位置后，基于用户的注视位置，确定用户的注视区域，并预先设定注视区域的尺寸与用户手部的操作区域的尺寸之间的对应关系，例如，注视区域的尺寸和操作区域的尺寸之间的比例可以是1:1，也可以是1:0.8，亦可以是1:1.2等等，这样用户在操作时其手部可以在用户手部的操作区域进行操作(当然了，用户在操作过程中其手部也可以超出操作区域，此时，在用户的眼睛的眼动类型不为跳动时，光标等用于指示用户进行手势控制的内容可以跟随用户的手部移动至注视区域外部)，进而完成对注视区域中内容的控制，提升了操作的舒适性。例如，如图14所示，用户的注视位置为位置x，此时基于位置x确定出的注视区域为区域53，其中，区域53映射到用户A所在的位置处的操作区域为区域52，之后，用户A可以控制其手部22在该区域52中做出控制手势，即可以实现对区域53中的内容的控制，由此使得可以将用户手部的移动距离控制在用户较为舒适的区域中，提升了用户的操作体验。此外，在图14中，区域53和区域52之间大小可以是相同的，这样使得用户A的手部22在区域52中的移动距离可以1:1的映射到区域53中，进而可以精准的对电子设备100进行控制，提升了控制精度。在一个例子中，注视区域和操作区域的尺寸主要是为了确定操作的比例尺，例如当需要实现非常高精度的操控时，注视区域与操作区域的尺寸之间的比例可以为2:1等；当需要实现较低精度的操控时，注视区域与操作区域的尺寸之间的比例可以为1:2等。

示例性的，该注视区域可以是以用户的注视位置为中心向外延伸预设距离的区域。此外，也可以基于用户的注视位置、用户与电子设备之间的距离或者用户观看电子设备的角度等中的多项实时或周期性计算该注视区域。示例性的，可以由用户与电子设备之间的距离确定出以用户的注视位置为中心向外延伸的目标距离，之后，以用户的注视位置为中心向外延伸目标距离，即可以得到该注视区域。

举例来说，如图15所示，由于人的眼睛最灵敏的区域的可视角度A为2°，因此在获取到用户与电子设备之间的距离D后，可以根据下述“公式一”计算出目标距离S，之后，即可以以用户的注视位置为中心向外延伸目标距离S，从而得到注视区域。示例性的，注视区域可以为圆形、矩形等规则图形，也可以为非规则图形。

其中，A＝2；D为用户与电子设备之间的距离，D可以由电子设备上的距离传感器检测得到；S为目标距离。

进一步地，在确定出注视区域后，在上述S802中可以将指示用户进行手势控制的信息置于该注视区域中。示例性的，如图16所示，当确定出的注视区域为区域54，且通过光标92指示用户进行手势控制时，可以将光标92置于注视区域54中。当然了，当使用其他的指示方式指示用户进行手势控制时，也可以在确定出的注视区域中进行指示，此处不再一一赘述。

在一些实施例中，当使用光标等方式指示用户进行手势控制时，为了避免光标遮挡用户正在观看的内容，在显示光标时，可以将该光标显示在注视区域内不遮挡用户观看视线的位置。示例性的，可以根据用户当前正在使用的应用的类型，确定光标在注视区域内的显示位置。例如，若用户当前正在使用的应用是阅读类应用，此时在显示光标时可以将光标显示在注视区域内未显示有文字的位置；若用户当前正在使用的应用是视频类应用，此时在显示光标时可以将光标显示在注视区域的左下角的位置，等等。

在一些实施例中，由于用户观看视频时，其眼睛的眼动类型在大部分情况下不为跳动，因此，在这种场景(即观影场景)下，如果指示用户进行手势控制，则容易影响到用户观看视频。因此，在该种场景下，为了避免误指示用户进行手势控制的情况，可以在电子设备上设置有预设区域，当用户注视该预设区域，且眼动类型不为跳动时，则可以根据眼动类型指示用户进行手势控制。示例性的，可以通过用户的注视位置，确定用户的注视区域是否为预设区域。例如，可以将用户的注视位置与预设区域进行对比，以确定用户的注视位置是否位于该预设区域中。此外，在执行这部分操作时，也可以先对用户使用电子设备的场景进行判断，以确定当前的使用场景是否是观看视频的场景。其中，电子设备可以基于用户正在使用的应用(application，APP)的类型和APP上显示的内容，确定用户使用电子设备的场景。例如，当用户正在使用的APP为视频类应用，且APP上正在播放视频时，则可以确定出用户当只有电子设备的场景为观看视频的场景。

以上即是对本申请提供的与电子设备进行交互的方法的介绍，为便于理解下面举例进行说明。

示例性的，图17示出了一种对电子设备进行控制的过程。在图17中，电子设备上具备上文所描述的眼动追踪装置和手势追踪装置，其中，在指示用户进行手势控制时是通过光标进行指示。如图17所示，该过程可以包括以下步骤：

S1301、进行眼动追踪。

具体地，可以通过上文所描述的眼动追踪装置110进行眼动追踪，详见上文描述，此处不再赘述。

S1302、分析眼动类型。

具体地，在对用户的眼睛的眼动进行追踪后，可以根据追踪到的眼动数据，分析眼动类型。比如，根据用户眼睛的眼动速度分析等。详见上文描述，此处不再赘述。

S1303、判断眼动类型是否为跳动。

具体地，确定出眼动类型后，即可以判断出眼动类型是否是跳动。其中，当眼动类型为跳动时，表明当前用户没有操控电子设备的意图，因此，此时即执行S1304，即返回执行S1301。当眼动类型不为跳动时，表明当前用户存在操控电子设备的意图，因此此时可以进入到精准控制阶段，即执行S1305。

S1304、确定注视位置。

具体地，当用户存在操控电子设备的意图时，则可以确定用户的注视位置，以便后续确定操作区域。对于确定注视位置的方式，详见上文描述，此处不再赘述。

在确定出注视位置后，即可以执行后续流程。其中，在后续的控制阶段，可以同时执行S1305和S1310。

S1305、根据注视位置，确定注视区域，并在适宜位置显示光标。

具体地，确定出注视位置后，即可以根据该注视位置，确定出注视区域，进而可以在该注视区域中的适宜位置显示光标。示例性的，注视区域可以为图14中描述的区域53，显示光标可以为图16中描述的显示方式。详见上文描述，此处不再赘述。

S1306、进行手部追踪。

具体地，可以通过上文所描述的手势追踪装置120对用户的手部进行手部追踪，详见上文描述，此处不再赘述。

S1307、光标按规定比例尺随手部运动。

具体地，当追踪到用户手部移动后，则可以控制光标按照规定的比例尺跟随用户的手部运动。示例性的，如图18所示，在T1时刻，用户A的手部22处于区域52中的位置521处，此时光标92处于区域53中的位置531处；在T2时刻，用户A的手部22产生移动，并移动至区域52中的位置522处，此时光标92可以按规定比例尺随手部22移动，并移动至区域53中的位置532处。

S1308、判断是否有手势操作。

具体地，可以通过上文所描述的手势追踪装置120对用户的手部进行手部追踪，进而确定出是否有手势操作。其中，当有手势操作时，则执行S1310；否则，则返回执行S1307。

S1309、完成对应操作。

具体地，当确定出有手势操作时，则根据预先设定的手势与控制指令之间的对应关系，生成与当前确定出的手势对应的控制指令，并输出该控制指令，进而完成相应的操作。例如，继续参阅图9的(B)，此时，当确定出的手势为确认手势时，则输出确认指令，从而完成确认选取“设置”的操作。

S1310、判断眼动类型是否为跳动，以及在眼动类型为跳动时，控制光标消失并返回执行S1301，在眼动类型不为跳动时，继续进行手部追踪，即执行S1306。

具体地，在手势控制阶段，可以继续对用户的眼动类型进行判断，以及在眼动类型为跳动时，控制光标消失并返回执行S1301，在眼动类型不为跳动时，继续进行手部追踪，即执行S1306。

可以理解的是，本申请实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。此外，在一些可能的实现方式中，本申请实施例中的各执行步骤可以根据实际情况调整执行顺序和/或选择性执行，此处不做限定。此外，本申请实施例中提及的眼动控制和手势控制可以根据需要进行组合，比如：先眼动控制再手势控制，或者，先手势控制再眼动控制，或者，眼动控制和手势控制同时进行等等。

作为一种可能的实现方式，如图19所示，在S1901，电子设备可以获取用户眼睛的眼动类型。在S1902，当确定眼动类型为第一类型(比如：跳动)时，电子设备根据第一类型对电子设备进行控制。在S1903，当确定眼动类型为第二类型(比如：非跳动)时，电子设备指示用户进行手势控制。之后，在S1904，电子设备可以获取用户的手势。接着，在S1905，电子设备可以根据获取的手势对电子设备进行控制。可以理解的是，对于电子设备获取眼动类型和获取手势的过程，以及对电子设备进行控制的过程等，详见上文中的相关描述，此处就不再一一赘述。

作为另一种可能的实现方式，如图20所示，在S2001，电子设备可以先获取用户的手势。然后，在S2002，根据获取到的手势对电子设备进行控制。接着，在S2003，电子设备可以获取用户的眼动类型，其中，电子设备在获取用户的手势的过程或者在对电子设备进行控制的过程中，也可以执行S2003。接着，在S2004，当确定用户的眼动类型为第二类型(比如：非跳动)时，电子设备可以继续获取用户的手势，并在S2005，根据获取的手势对电子设备进行控制。或者，在S2006，当确定用户的眼动类型为第一类型(比如：跳动)时，电子设备可以根据此时的眼动类型对电子设备进行控制，并限制电子设备根据用户的手势控制电子设备，例如：电子设备可以不获取用户的手势，或者，电子设备虽然获取了用户的手势但不对该手势进行处理等。在一个例子中，在电子设备根据第一类型的眼动类型对电子设备进行控制后，若电子设备确定出用户眼睛的眼动类型由第一类型(比如：跳动)切换至第二类型(比如：非跳动)，电子设备则可以指示用户进行手势控制；然后，电子设备可以获取用户的手势，并根据获取的手势对电子设备进行控制。可以理解的是，对于电子设备获取眼动类型和获取手势的过程，以及对电子设备进行控制的过程等，详见上文中的相关描述，此处就不再一一赘述。

作为又一种可能的实现方式，如图21所示，在S2101，电子设备可以先获取用户的眼动信息。在S2102，电子设备根据眼动信息确定出的眼动类型为第一类型(比如：跳动)，然后，在S2103，电子设备可以根据此时的眼动类型对电子设备进行控制。接着，在S2104，电子设备继续获取用户的眼动信息，然后，在S2105，电子设备根据眼动信息确定出的眼动类型为第二类型(比如：非跳动)，接着，在S2106，电子设备可以获取用户的手势，并在S2107可以根据获取的手势对电子设备进行控制。之后，电子设备可以继续获取户的眼动信息，当电子设备由眼动信息确定出的眼动类型为第一类型(比如：跳动)时，电子设备可以根据此时的眼动类型对电子设备进行控制，并限制获取用户的手势。可以理解的是，对于电子设备获取眼动类型和获取手势的过程，以及对电子设备进行控制的过程等，详见上文中的相关描述，此处就不再一一赘述。

作为再一种可能的实现方式，如图22所示，在S2201，电子设备可以获取用户针对电子设备上第一区域进行操作的第一手势。接着，在S2202，电子设备可以根据此时获取的第一手势对电子设备进行控制。接着，在S2203，电子设备可以获取用户的眼动类型。在S2204，当确定用户的眼动类型为第一类型(比如：跳动)时，电子设备可以根据此时的眼动类型对电子设备进行控制，并限制电子设备获取用户的手势。在S2205，电子设备可以继续获取用户的眼动类型。在S2206、当确定用户的眼动类型由第一类型(比如：跳动)切换至第二类型(比如：非跳动)，且用户的注视位置由电子设备上的第一区域切换至第二区域时，电子设备可以指示用户进行手势控制。接着，在S2207，电子设备可以获取用户针对第二区域进行操作的第二手势，并在S2208根据获取的第二手势对电子设备进行控制。可以理解的是，对于电子设备获取眼动类型和获取手势的过程，以及指示用户进行手势控制，对电子设备进行控制的过程等，详见上文中的相关描述，此处就不再一一赘述。示例性的，图22所描述的过程可以理解为用户先对电子设备上的一个区域进行手势控制，然后，再将视线转移到电子设备上的另一个区域，接着在对新的区域进行手势控制。例如，如图24所示，在图24的(B)至(D)中用户对区域53中的内容进行手势控制；接着，在由图24的(D)切换至图24的(E)的过程中，电子设备获取到的用户的眼动类型为跳动，此时电子设备可以实时确定用户眼睛的注视位置(即对电子设备进行控制)，在该过程中电子设备可以不再获取用户的手势，或者继续获取用户的手势但不做响应(即限制电子设备获取用户的手势)；接着，如图24的(E)所示，电子设备继续获取用户的眼动类型，此时用户的眼动类型由跳动切换为非跳动，并且用户的注视位置也由图24的(D)中的位置切换至图片63所在的位置，此时，如图24的(F)所示，电子设备可以指示用户进行手势控制，并在后续获取用户针对图片63所在区域进行操作的手势，以及根据获取到的手势对电子设备进行控制。

以上即是对本申请提供的技术方案的介绍，为便于理解下面分场景进行举例说明。

场景一

在该场景下电子设备100的显示屏上显示有多个项目，比如应用、文件、图片、视频等等。

如图23的(A)所示，用户A可以浏览电子设备100上的项目，在用户A浏览过程中，与电子设备100配套的眼动追踪装置可以确定出用户A的眼睛的眼动类型为跳动，此时则继续对用户A的眼睛的眼动类型进行判断。

接着，如图23的(B)所示，用户A的眼睛开始注视项目61，此时电子设备100上的眼动追踪装置可以确定出用户A的眼睛的眼动类型不为跳动。之后，可以利用眼动追踪装置确定出用户A的眼睛的注视位置，进而可以确定出注视区域53，以及在注视区域53的左下角显示光标92。此时，用户A可以利用其手部22在于注视区域53对应的操作区域52中进行手势操作。但此时用户A改变主意，并再次重新浏览项目。这时，可以利用眼动追踪装置确定出用户A的眼睛的眼动类型为跳动，此时，则不再显示光标902，即控制光标902消失，并显示如图23的(C)中电子设备100所显示的界面。在一个例子中，在图23的(B)中，在确定用户A的眼睛注视项目61后，为了提升控制效率，可以将光标92置于项目61上，这样用户A可以直接选取项目61，而不用在移动光标92后才能选取项目61。

接着，如图23的(D)所示，用户A的眼睛开始注视项目62，此时电子设备100上的眼动追踪装置可以确定出用户A的眼睛的眼动类型不为跳动。之后，可以利用与电子设备100配套的眼动追踪装置确定出用户A的眼睛的注视位置，进而可以确定出注视区域53，以及在注视区域53的左下角显示光标92。此时，用户A可以利用其手部22在于注视区域53对应的操作区域52中进行手势操作。在一个例子中，在图23的(D)中，在确定用户A的眼睛注视项目62后，为了提升控制效率，可以将光标92置于项目62上，这样用户A可以直接选取项目62，而不用在移动光标92后才能选取项目62。

接着，如图23的(E)所示，用户A移动其手部22。在用户A的手部22移动时，与电子设备100配套的手势追踪装置可以追踪到手部22的移动。之后，电子设备100可以控制其注视区域53中的光标92跟随手部22一起移动。当光标92移动至项目62上时，用户A即可以通过确认手势完成“确认”操作。至此即完成选取项目62的操作。

这样，通过结合眼动追踪和手势追踪，可以让用户在不使用外设的情况自然高效的完成项目选择，而且系统允许用户中途改变主意，完成二次或多次选择。另一方面，由于眼动操控为手势操控完成了粗略选择，用户在整个操控过程中手部移动的距离和时间会很短，因此疲劳程度很低，提升了用户体验和操控精度。

场景二

该场景下电子设备100上可以显示有文字等内容，此时用户可以阅读电子设备100上的文字。示例性的，该场景可以为会议、教育等场景。

如图24的(A)所示，用户A阅读电子设备100的显示屏上正在显示的文字。在用户A阅读过程中，与电子设备100配套的眼动追踪装置检测到眼动类型为平缓追踪。

接着，如图24的(B)所示，可以利用眼动追踪装置确定出用户A的眼睛的注视位置，进而可以确定出注视区域53，即用户眼睛的眼动类型不为跳动，此时可以在注视区域53内显示光标92。为了避免光标92影响用户A阅读，光标92可以出现在不遮挡阅读视线的地方。其中，在图24的(B)中也可以确定出与注视区域对应的操作区域52，用户A的手部22可以在操作区域52中做出相应的手势操作。

接着，如图24的(C)所示，用户A移动其手部22。在用户A的手部22移动时，与电子设备100配套的手势追踪装置可以追踪到手部22的移动。之后，电子设备100可以控制其注视区域53中的光标92跟随手部22一起移动。当光标92移动至用户A想要进行标注的位置时，用户A可以停止移动其手部22，并可以做出开始标注的手势，从而进行标注。

接着，如图24的(D)所示，用户A在做出开始标注的手势后，其可以继续移动其手部22，并在移动至其想要结束标注的位置时，做出停止标注的手势，此时即结束标注，此时即得到标注区域531。其中，在用户A进行标注过程中，光标92可以跟随用户A的手部22移动。可以理解的是，用户A在标注时除了采用图24的(D)中描述的标注方式外，也可以采用其他的标注方式，比如使用图案进行标注等等，此处不做限定。

接着，如图24的(E)所示，在用户A标注完成后，用户A的视线转移至图片63上，此时，与电子设备100配套的眼动追踪装置可以检测到用户A的眼动类型为跳动，因此可以控制光标92消失。

接着，如图24的(F)所示，用户A的视线转移至图片63后，其被图片63吸引，此时与电子设备100配套的眼动追踪装置可以检测到用户A的眼动类型不为跳动，所以此时可以控制显示光标92，如将光标92显示在注视区域53内，以指示用户A进行手势控制。此外在图24的(F)中也可以确定出与注视区域对应的操作区域52，用户A的手部22可以在操作区域52中做出相应的手势操作。

接着，如图24的(G)所示，用户A想要在图片63上标注文字，此时，用户A可以通过移动其手部22，以移动光标92。当将光标92移动至用户A所需的位置时，用户A可以使用文字书写手势在操控区域52中书写文字，例如，书写“smile”等。在用户A书写文字的过程中，电子设备100上的手势追踪装置可以追踪到用户A的手部22的书写轨迹，之后，电子设备100的显示屏上即可以显示出与用户书写轨迹相同的内容，例如显示“smile”。为避免用户A在书写过程中手部22需要一直向右延伸，在用户A书写一定字数后，用户A可以使用特定的手势将书写的位置切换到操作区域52的左侧，然后再继续书写。

这样，通过结合眼动和手势操控，使用户可以自然高效地在电子设备上完成远程标注。其中，标注的类型包括但不限于图案、文字、符号等。此外，目前相关技术中在进行标注时往往近距离触控标注或用语音进行远程标注，但近距离触控标注要求用户每次标注时都得走近屏幕，十分不便；而语音远程标注一方面只能输入文字信息，很难输入图案信息，且语音信号识别还受环境噪音影响。而本方案中使用户可以远距离完成自然高效的多种信息标注，提升了标注效率和用户体验。

场景三

该场景可以为娱乐场景。例如，该场景可以是游戏场景，此时用户可以正在体验第一人称射击类游戏、体感游戏、益智类游戏、棋牌类游戏等。下面以第一人称射击类游戏为例介绍该场景。

如图25的(A)所示，在用户A游戏程中，当用户A瞄准目标71时，与电子设备100配套的眼动追踪装置检测到眼动类型为注视。接着，可以利用眼动追踪装置确定出用户A的眼睛的注视位置，进而可以确定出注视区域53，以及在注视区域53内显示用于瞄准的光标92。之后，用户A的手部22可以在与注视区域53对应的操作区域52中可以做出射击手势，以完成射击目标71的操作。

接着，如图25的(B)所示，在用户A完成对目标71的射击后，用户A发现目标72，并将目光转移至目标72上。在该过程中，与电子设备100配套的眼动追踪装置检测到眼动类型为跳动，此时可以控制光标92消失。

接着，如图25的(C)所示，当用户A瞄准目标72时，与电子设备100配套的眼动追踪装置检测到眼动类型为注视。接着，用于瞄准的光标92会出现注视区域53内。此时，光标92未完全处于目标72上，为了提升射击的准确度，用户A可以对光标92进行调整。其中，如图25的(D)所示，用户A的手部22可以在与注视区域53对应的操作区域52中可以做出移动手势，此时，光标92可以跟随用户A的手部22移动。当进一步完成瞄准后，用户A的手部22可以在与注视区域53对应的操作区域52中可以做出射击手势，以完成射击目标72的操作。

这样，通过结合眼动和手势操控，使得用户在娱乐场景下可以自然高效的完成目标切换，也可以实现更高精度的操作，从而获得流畅的娱乐体验。此外，目前相关技术中体感游戏的交互方式往往要求用户做出较大幅度动作，因此效率低下，易疲劳以及精度较低。而本方案中用户只需小范围的移动手部即可以完成操作，因此不易造成疲劳，操控效率和精度都更高。

场景四

该场景可以为虚拟现实(virtual reality，VR)、增强现实(augmented reality，AR)、混合现实(mixed reality，MR)等电子设备创造的虚拟大屏界面的使用场景。

如图26的(A)所示，电子设备100创造的虚拟大屏界面的可视域(field of view，FOV)上显示有多个项目，用户A正在浏览项目，比如项目64和项目65。在用户A浏览过程中，与电子设备100配套的眼动追踪装置可以检测用户A的眼睛的眼动类型。此时在FOV内未显示光标92。

接着，如图26的(B)所示，当用户A注视项目64时，与电子设备100配套的眼动追踪装置可以确定出用户A的眼动类型不为跳动。之后，可以利用眼动追踪装置确定出用户A的眼睛的注视位置，进而可以确定出注视区域53，以及在注视区域53内显示光标92，以指示用户A进行手势控制。此时，用户A可以利用其手部26在于注视区域53对应的操作区域52中进行手势操作。

接着，如图26的(C)所示，用户A想要关闭项目64，用户A可以在操作区域52中移动其手部26。在用户A的手部26移动时，与电子设备100配套的手势追踪装置可以追踪到手部26的移动。之后，电子设备100可以控制其注视区域53中的光标92跟随手部26一起移动。当光标92移动至项目62上时，用户A可以停止移动手部26。

接着，如图26的(D)所示，用户A可以通过其手部26做出确认手势完成“确认”操作。之后，与电子设备100配套的手势追踪装置可以追踪到手部26的“确认”操作。接着，电子设备100即可以关闭其FOV上的项目64。至此即完成关闭项目64的操作。

这样，通过结合眼动和手势操控，使得用户可以通过小范围的手势动作实现VR/AR/MR界面的精准操控。此外，目前相关技术中，VR/AR/MR等设备大多使用摄像头捕捉手势动作进行操控，一方面，手必须在摄像头视野内完成操作，限制了操控的自由度，另一方面，操控精度也不满足用户需求而本方案中使用眼动操控先选择注视区域，为手势操控提供了起始点和比例尺，解决了非视线内的手势操控与FOV界面坐标的对应问题，使得用户可以高效且高精度地完成VR/AR/MR设备的界面操控，提升了用户体验。

场景五

该场景可以为娱乐场景。例如该场景可以是观看视频(比如看电影等)的场景。在该场景中，在电子设备上设置有预设区域，当用户注视该预设区域时，则可以判断用户当前存在控制电子设备的意图，而当用户注视其他区域时，可以判断用户当前不存在控制电子设备的意图。可以理解的是，由于用户观看视频时，其眼睛的眼动类型在大部分情况下不为跳动，因此，这样的设计方式可以避免出现误识别的情况，提升用户体验。

具体地，如图27的(A)所示，用户A正在电子设备100上观看电影。在用户A观看电影中，与电子设备100配套的眼动追踪装置可以实时或周期性检测用户的眼动类型。

如图27的(B)所示，此时用户A注视区域56。该区域56为电子设备100上预设的区域。当用户注视该区域56时，在图27的(B)中，与电子设备100配套的眼动追踪装置可以检测到用户A的眼动类型不为跳动，且确定出用户A的眼睛的注视位置为区域56，此时转向图27的(C)。

接着，如图27的(C)所示，可以利用眼动追踪装置确定出用户A的眼睛的注视位置，进而可以确定出注视区域53，以及在注视区域53内显示显示播放进度和光标92，此时光标92可以显示在注视区域53的左下角。其中，在图27的(C)中也可以确定出与注视区域53对应的操作区域52，用户A的手部22可以在操作区域52中做出相应的手势操作。可以理解的是，用户观看视频时，其一般是想调整进度或者调整音量等，因此，为了避免光标92影响观看体验，可以将光标92显示在进度调整或者音量调整的位置处。此外，考虑到进度调整和音量调整一般不在同一位置，因此此时可以同时显示出音量调整键和播放进度条等，由此以便用户基于需求进行选择。当然了，也可以在电子设备100上设置与音量调整对应的区域，以及与播放进度对应的区域，当用户注视与音量调整对应的区域时，则显示音量调整键，当用户注视与播放进度对应的区域时，则显示播放进度条。换言之，在电子设备100上可以设置有与目标功能对应目标区域，当用户注视目标区域时，则在电子设备上显示与目标功能相关的控制键。

接着，如图27的(D)所示，用户A移动其手部22。在用户A的手部22移动时，与电子设备100配套的手势追踪装置可以追踪到手部22的移动。之后，电子设备100可以控制其注视区域53中的光标92跟随手部22一起移动。当光标92移动至用户A想要进行调整的位置时，用户A可以停止移动其手部22。

接着，如图27的(E)所示，用户A在可以做出选中进度条的手势，并拖动进度条。在该过程中，与电子设备100配套的手势追踪装置可以追踪到手部22的移动。之后，电子设备100可以控制其注视区域53中的光标92跟随手部22一起移动。当光标92移动至用户A想要进行标注的位置时，用户A可以停止移动其手部22。

接着，如图27的(F)所示，在用户A停止拖动进度条后，与电子设备100配套的眼动追踪装置可以检测到用户A的眼动类型为跳动，因此可以控制光标92消失。

这样，通过结合眼动操控和手势操控，使得眼动操控和手势操控之间可以无感交互，使得用户在娱乐场景下可以自然高效的完成播放进度、声音等的调整，也可以实现更高精度的操作，从而获得高品质的操控体验和观影体验。

可以理解的是，本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

可以理解的是，在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。

Claims (34)

1.一种与电子设备进行交互的，其特征在于，所述方法包括：

所述电子设备获取用户眼睛的眼动类型；

当确定所述眼动类型为第一类型时，所述电子设备根据所述第一类型对所述电子设备进行控制；

当确定所述眼动类型为第二类型时，所述电子设备指示所述用户进行手势控制；

所述电子设备获取所述用户的手势；

所述电子设备根据获取的所述手势对所述电子设备进行控制。

2.根据权利要求1所述的方法，其特征在于，所述指示用户进行手势控制，具体包括：

获取所述用户的注视位置；

在所述注视位置所在的第一预设区域内提示所述用户进行手势控制。

3.根据权利要求1或2所述的方法，其特征在于，所述指示用户进行手势控制，具体包括：

根据所述电子设备上所显示的第一内容的类型，确定目标区域；

在所述目标区域内提示所述用户进行手势控制，其中，所述目标区域为所述电子设备上未包含所述第一内容的区域。

4.根据权利要求1-3任一所述的方法，其特征在于，所述指示用户进行手势控制，具体包括：

获取所述用户的注视位置；

根据所述注视位置，确定所述用户的注视区域；

当所述注视区域为第二预设区域时，提示所述用户进行手势控制。

5.根据权利要求1-4任一所述的方法，其特征在于，所述指示用户进行手势控制，包括以下一项或多项：

控制所述电子设备显示光标，控制放大所述电子设备所显示的至少部分内容，或者，控制与所述电子设备配套的声音组件播报第一语音，所述第一语音用于提示所述用户进行手势控制。

6.根据权利要求5所述的方法，其特征在于，所述指示用户进行手势控制包括控制所述电子设备显示光标，且所述光标显示在所述电子设备的显示区域中的第一区域内；

所述方法还包括：

确定所述眼动类型持续为所述第二类型，在所述用户的眼睛出现移动且所述用户的注视区域由所述电子设备的显示区域中的所述第一区域切换至第二区域时，控制所述光标由所述第一区域移动至所述第二区域，其中，所述注视区域由所述用户的眼睛的注视位置确定。

7.根据权利要求5或6所述的方法，其特征在于，所述指示用户进行手势控制包括控制放大所述电子设备所显示的至少部分内容，且放大的内容为所述电子设备的显示区域中第一区域中所显示的内容；

所述方法还包括：

确定所述眼动类型持续为所述第二类型，在所述用户的眼睛出现移动且用户的注视区域由所述电子设备的所述第一区域切换至第二区域时，将所述第一区域中放大的内容恢复至初始状态，以及放大所述第二区域中的内容。

8.根据权利要求1-7任一所述的方法，其特征在于，所述电子设备指示所述用户进行手势控制之后，所述方法还包括：

当确定所述眼动类型由所述第二类型切换为所述第一类型时，所述电子设备停止指示所述用户进行手势控制，和/或，所述电子设备根据所述第一类型对所述电子设备进行控制，并限制所述电子设备获取所述用户的手势。

9.根据权利要求1-8任一所述的方法，其特征在于，在确定所述眼动类型为所述第二类型之后，还包括：

获取所述用户的注视位置；

根据所述注视位置，确定所述用户的注视区域的尺寸；

根据所述注视区域的尺寸，确定所述用户进行手势控制时的操作区域的尺寸。

10.根据权利要求1-9任一所述的方法，其特征在于，所述电子设备根据所述第一类型对所述电子设备进行控制，具体包括：

所述电子设备根据所述第一类型，实时确定所述用户的注视位置，和/或，所述电子设备根据所述第一类型，控制切换所述电子设备上所显示的内容。

11.一种与电子设备进行交互的方法，其特征在于，所述方法包括：

所述电子设备获取用户的手势；

所述电子设备根据获取的所述手势对所述电子设备进行控制；

所述电子设备获取所述用户的眼动类型；

当确定所述用户的眼动类型为第一类型时，所述电子设备根据所述第一类型对所述电子设备进行控制，并限制所述电子设备根据所述用户的手势控制所述电子设备；

当确定所述用户的眼动类型为第二类型时，所述电子设备获取所述用户的手势；

所述电子设备根据获取的所述手势对所述电子设备进行控制。

12.根据权利要求11所述的方法，其特征在于，所述电子设备根据所述第一类型对所述电子设备进行控制，并限制所述电子设备获取所述用户的手势之后，所述方法还包括：

当确定所述用户的眼动类型由所述第一类型切换至所述第二类型时，所述电子设备指示所述用户进行手势控制；

所述电子设备获取所述用户的手势；

所述电子设备根据获取的所述手势对所述电子设备进行控制。

13.根据权利要求11或12所述的方法，其特征在于，所述限制所述电子设备根据所述用户的手势控制所述电子设备，具体包括：所述电子设备不获取所述用户的手势，或者，所述电子设备虽然获取了所述用户的手势但不对所述手势进行处理。

14.一种与电子设备进行交互的方法，其特征在于，所述方法包括：

所述电子设备获取用户针对所述电子设备上第一区域进行操作的第一手势；

所述电子设备根据获取的所述第一手势对所述电子设备进行控制；

所述电子设备获取所述用户的眼动类型；

当确定所述用户的眼动类型为第一类型时，所述电子设备根据所述第一类型对所述电子设备进行控制，并限制所述电子设备获取所述用户的手势；

所述电子设备继续获取所述用户的眼动类型；

当确定所述用户的眼动类型由所述第一类型切换至第二类型，且所述用户的注视位置由所述电子设备上的所述第一区域切换至第二区域时，所述电子设备指示所述用户进行手势控制；

所述电子设备获取所述用户针对所述第二区域进行操作的第二手势；

所述电子设备根据获取的所述第二手势对所述电子设备进行控制。

15.一种与电子设备进行交互的方法，其特征在于，所述方法包括：

所述电子设备获取用户的第一眼动信息；

所述电子设备根据所述第一眼动信息确定第一眼动类型；

所述电子设备根据所述第一眼动类型对所述电子设备进行控制；

所述电子设备获取所述用户的第二眼动信息；

所述电子设备根据所述第二眼动信息确定第二眼动类型；

所述电子设备获取所述用户的手势；

所述电子设备根据获取的所述手势对所述电子设备进行控制。

16.根据权利要求15所述的方法，其特征在于，所述方法还包括:

所述电子设备获取用户的第三眼动信息；

所述电子设备根据所述第三眼动信息确定所述第一眼动类型；

所述电子设备根据所述第一眼动类型对所述电子设备进行控制，并限制所述电子设备获取所述用户的手势。

17.一种电子设备，其特征在于，包括：

眼动追踪装置，用于获取用户的眼动信息；

手势追踪装置，用于获取所述用户的手势；

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于：

控制所述眼动追踪装置获取所述用户的眼动信息；

当由所述眼动信息确定的用户眼睛的眼动类型为第一类型时，根据所述第一类型对所述电子设备进行控制；

当由所述眼动信息确定的所述用户眼睛的眼动类型为第二类型时，控制所述电子设备指示所述用户进行手势控制；

控制所述手势追踪装置获取所述用户的手势；

根据所述手势追踪装置获取的所述手势对所述电子设备进行控制。

18.根据权利要求17所述的电子设备，其特征在于，所述处理器控制所述电子设备指示所述用户进行手势控制，具体包括：

所述处理器根据所述用户的眼动信息，确定所述用户的注视位置；

所述处理器控制所述电子设备在所述注视位置所在的第一预设区域内提示所述用户进行手势控制。

19.根据权利要求17或18所述的电子设备，其特征在于，所述处理器控制所述电子设备指示所述用户进行手势控制，具体包括：

所述处理器根据所述电子设备上所显示的第一内容的类型，确定目标区域；

所述处理器控制所述电子设备在所述目标区域内提示所述用户进行手势控制，其中，所述目标区域为所述电子设备上未包含所述第一内容的区域。

20.根据权利要求17-19任一所述的电子设备，其特征在于，所述处理器控制所述电子设备指示所述用户进行手势控制，具体包括：

所述处理器根据所述用户的眼动信息，获取所述用户的注视位置；

所述处理器根据所述注视位置，确定所述用户的注视区域；

当所述注视区域为第二预设区域时，所述处理器控制所述电子设备提示所述用户进行手势控制。

21.根据权利要求17-20任一所述的电子设备，其特征在于，所述处理器控制所述电子设备指示所述用户进行手势控制，包括以下一项或多项：

所述处理器控制所述电子设备显示光标，所述处理器控制放大所述电子设备所显示的至少部分内容，或者，所述处理器控制与所述电子设备配套的声音组件播报第一语音，所述第一语音用于提示所述用户进行手势控制。

22.根据权利要求21所述的电子设备，其特征在于，所述处理器控制所述电子设备指示所述用户进行手势控制包括所述处理器控制所述电子设备显示光标，且所述光标显示在所述电子设备的显示区域中的第一区域内；

所述处理器还用于：

当由所述眼动信息确定的用户眼睛的眼动类型持续为所述第二类型，且在所述用户的眼睛出现移动且所述用户的注视区域由所述电子设备的显示区域中的所述第一区域切换至第二区域时，控制所述电子设备将所述光标由所述第一区域移动至所述第二区域，其中，所述注视区域由所述用户的眼睛的注视位置确定。

23.根据权利要求21或22所述的电子设备，其特征在于，所述处理器控制所述电子设备指示所述用户进行手势控制包括所述处理器控制放大所述电子设备所显示的至少部分内容，且放大的内容为所述电子设备的显示区域中第一区域中所显示的内容；

所述处理器还用于：

当由所述眼动信息确定的用户眼睛的眼动类型持续为所述第二类型，且在所述用户的眼睛出现移动且用户的注视区域由所述电子设备的所述第一区域切换至第二区域时，控制所述电子设备将所述第一区域中放大的内容恢复至初始状态，以及放大所述第二区域中的内容。

24.根据权利要求17-23任一所述的电子设备，其特征在于，所述处理器控制所述电子设备指示所述用户进行手势控制之后，所述处理器还用于：

当由所述眼动信息确定的用户眼睛的眼动类型由所述第二类型切换为所述第一类型时，控制所述电子设备停止指示所述用户进行手势控制，和/或，根据所述第一类型对所述电子设备进行控制，并限制所述手势追踪装置获取所述用户的手势。

25.根据权利要求17-24任一所述的电子设备，其特征在于，在由所述眼动信息确定的所述用户眼睛的眼动类型为第二类型之后，所述处理器还用于：

获取所述用户的注视位置；

根据所述注视位置，确定所述用户的注视区域的尺寸；

根据所述注视区域的尺寸，确定所述用户进行手势控制时的操作区域的尺寸。

26.根据权利要求17-25任一所述的电子设备，其特征在于，所述处理器根据所述第一类型对所述电子设备进行控制，具体包括：

所述处理器根据所述第一类型，实时确定所述用户的注视位置，和/或，所述处理器根据所述第一类型，控制所述电子设备切换所述电子设备上所显示的内容。

27.一种电子设备，其特征在于，包括：

眼动追踪装置，用于获取用户的眼动信息；

手势追踪装置，用于获取所述用户的手势；

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于：

控制所述手势追踪装置获取的所述用户的手势；

根据所述手势追踪装置获取的所述手势对所述电子设备进行控制；

当由所述眼动信息确定的用户眼睛的眼动类型为第一类型时，根据所述第一类型对所述电子设备进行控制，并限制根据所述用户的手势控制所述电子设备；

当由所述眼动信息确定的用户眼睛的眼动类型为第二类型时，根据所述手势追踪装置获取的所述手势对所述电子设备进行控制。

28.根据权利要求27所述的电子设备，其特征在于，所述处理器在根据所述第一类型对所述电子设备进行控制，并限制根据所述用户的手势控制所述电子设备之后，还用于：

当由所述眼动信息确定的用户眼睛的眼动类型由所述第一类型切换至所述第二类型时，控制所述电子设备指示所述用户进行手势控制；

控制所述手势追踪装置获取的所述用户的手势；

根据所述手势追踪装置获取的所述手势对所述电子设备进行控制。

29.根据权利要求27或28所述的电子设备，其特征在于，所述处理器限制根据所述用户的手势控制所述电子设备，具体包括：

所述处理器控制所述手势追踪装置不获取所述用户的手势，或者，所述处理器虽然控制所述手势追踪装置继续获取所述用户的手势但不对所述手势进行处理。

30.一种电子设备，其特征在于，包括：

眼动追踪装置，用于获取用户的眼动信息；

手势追踪装置，用于获取所述用户的手势；

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于：

控制所述手势追踪装置获取所述用户的手势；

根据所述手势追踪装置获取的所述用户针对所述电子设备上第一区域进行操作的第一手势对所述电子设备进行控制；

控制所述眼动追踪装置获取所述用户的眼动信息；

当由所述眼动信息确定的用户眼睛的眼动类型为第一类型时，根据所述第一类型对所述电子设备进行控制，并限制所述手势追踪装置获取所述用户的手势；

继续控制所述眼动追踪装置获取所述用户的眼动信息；

当由所述眼动信息确定的用户眼睛的眼动类型由所述第一类型切换至第二类型，且所述用户的注视位置由所述电子设备上的所述第一区域切换至第二区域时，控制所述电子设备指示所述用户进行手势控制；

控制所述手势追踪装置获取所述用户的手势；

根据所述手势追踪装置获取的所述用户针对所述第二区域进行操作的第二手势对所述电子设备进行控制。

31.一种电子设备，其特征在于，包括：

眼动追踪装置，用于获取用户的眼动信息；

手势追踪装置，用于获取所述用户的手势；

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于：

控制所述眼动追踪装置获取所述用户的第一眼动信息；

根据所述第一眼动信息确定第一眼动类型；

根据所述第一眼动类型对所述电子设备进行控制；

控制所述眼动追踪装置获取所述用户的第二眼动信息；

根据所述第二眼动信息确定第二眼动类型；

控制所述手势追踪装置获取所述用户的手势；

根据所述手势追踪装置获取的所述手势对所述电子设备进行控制。

32.根据权利要求31所述的电子设备，其特征在于，所述处理器还用于:

控制所述眼动追踪装置获取所述用户的第三眼动信息；

根据所述第三眼动信息确定所述第一眼动类型；

根据所述第一眼动类型对所述电子设备进行控制，并限制所述手势追踪装置获取所述用户的手势。

33.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-16任一所述的方法。

34.一种计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1-16任一所述的方法。

Images