CN116610205A - 一种电子设备的控制方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种电子设备的控制方法、装置、电子设备及存储介质。所述控制方法应用于电子设备，包括：在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；识别所述眼部追踪图像得到注视点信息；识别所述眼部控制图像确定控制指令的触发状态；根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。利用该方法，通过用户第一只眼进行眼球追踪，通过用户第二只眼进行控制指令的触发，以实现对电子设备的控制，从而便捷、快速地实现人机交互。

Description

一种电子设备的控制方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及眼控技术领域，尤其涉及一种电子设备的控制方法、装置、电子设备及存储介质。

背景技术

目前笔记本电脑、平板电脑和手机等电子设备，通常是通过键盘、按钮、操纵杆或触摸屏等来接收用户的输入信息，然后通过此类输入方法所输入的输入信息实现用户与电子设备的交互。

然而，现有输入的方法主要需要用手来进行操作，随着日益快速发展的科学技术，解放双手进行人机交互操作成为了需要。

发明内容

本发明实施例提供了一种电子设备的控制方法、装置、电子设备及存储介质，以便捷、高效快速地实现对电子设备的控制。

第一方面，本发明实施例提供了一种电子设备的控制方法，所述控制方法应用于电子设备，所述方法包括：

在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；

识别所述眼部追踪图像得到注视点信息；

识别所述眼部控制图像确定控制指令的触发状态；

根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。

第二方面，本发明实施例还提供了一种电子设备的控制装置，所述装置包括：

获取模块，用于在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；

第一识别模块，用于识别所述眼部追踪图像得到注视点信息；

第二识别模块，用于识别所述眼部控制图像确定控制指令的触发状态；

控制模块，用于根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。

第三方面，本发明实施例还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的电子设备的控制方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的电子设备的控制方法。

本发明实施例提供了一种电子设备的控制方法、装置、电子设备及存储介质。所述控制方法应用于电子设备，包括：在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；识别所述眼部追踪图像得到注视点信息；识别所述眼部控制图像确定控制指令的触发状态；根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。利用上述技术方案，通过用户第一只眼进行眼球追踪，通过用户第二只眼进行控制指令的触发，以实现对电子设备的控制，从而便捷、快速地实现人机交互。

附图说明

图1为本发明实施例一提供的一种电子设备的控制方法的流程示意图；

图2为本发明实施例一提供的一种电子设备的控制方法的场景示意图；

图3为本发明实施例一提供的一种电子设备的控制方法的场景示意图；

图4为本发明实施例一提供的一种电子设备的控制方法的场景示意图；

图5为本发明实施例二提供的一种电子设备的控制装置的结构示意图；

图6为本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。

需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。

需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

实施例一

图1为本发明实施例一提供的一种电子设备的控制方法的流程示意图，该方法可适用于对电子设备进行控制的情况，该方法可以由电子设备的控制装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上，在本实施例中电子设备包括但不限于：计算机、笔记本电脑、平板电脑、手机等设备。

电子设备上可以集成有眼球追踪设备，眼球追踪也可以称为视线追踪，可以是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。视线可以理解为一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。

眼球追踪设备可以包括光源和图像采集设备。图像采集设备可以为红外摄像设备、红外图像传感器、照相机或摄像机等。光源一般为红外光源，光源的排布不作限定，可以基于应用场景确定。

对眼球进行追踪可以采用光学记录法实现。光学记录法的原理可以描述为；利用图像采集设备可以采集被测试者的眼部运动情况，即获取反映眼部运动的眼部图像，以及从获取到的眼部图像中提取眼部特征，用于建立视线/注视点估计的模型。其中，眼部特征包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置和/或光斑(或者普尔钦斑)位置等。

光学记录法可以包括瞳孔-角膜反射法，瞳孔-角膜反射法的原理可以是，眼球追踪设备的近红外光源照向眼睛，由红外相机对眼部进行拍摄，同时拍摄到光源在角膜上的反射点即光斑，由此获取到带有光斑的眼部图像。其中，眼部图像可以为眼部追踪图像用于进行注视点信息确定，也可以为眼部控制图像用户确定控制指令的触发状态。在眼部控制图像中可以不考虑光斑，即通过确定眼睛的状态信息确定触发状态即可。

除了光学记录法外，眼球追踪设备还可以是MEMS微机电系统，例如包括MEMS红外扫描反射镜、红外光源、红外接收器；又或者是电容传感器，其通过眼球与电容极板之间的电容值来检测眼球运动；更可以是肌电流检测器，其通过在鼻梁、额头、耳朵或耳垂处放置电极，通过检测的肌电流信号模式来检测眼球运动。

为了实现便捷、快速的对电子设备的控制，如图1所示，本发明实施例一提供的一种电子设备的控制方法，包括如下步骤：

S110、在电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和用户第二只眼的眼部控制图像。

在本实施例中，眼部控制模式可以理解为通过眼部的状态信息来对电子设备进行控制的模式，其中，眼部可以包括用户的左眼和右眼，状态信息可以表征用户眼部的状态，例如表征眼睛睁开、闭合或眨动等。

眼部追踪图像可以是指用户第一只眼的图像。眼部追踪图像可以用于进行眼球追踪。

眼部控制图像可以是指用户第二只眼的图像，眼部控制图像可以用于确定控制指令的触发状态。

通过对多张眼部控制图像进行分析可以得到用户第二只眼的状态信息，例如表征用户第二只眼闭合一秒、紧闭第二只眼和/或眨动一下第二只眼等的信息。

需要说明的是，本实施例不对第一只眼和第二只眼进行限制，例如可以是用户的左眼或右眼。只要能够通过一只眼睛进行眼球追踪，另一只眼睛进行控制指令触发即可。本发明可以通过左眼的睁闭模拟鼠标左键的操作，通过右眼的睁闭模拟鼠标右键的操作。如闭左眼可以触发点击鼠标左键事件，闭右眼可以触发点击鼠标右键事件。

在电子设备处于眼部控制模式时，可以获取用户第一只眼的眼部追踪图像和用户第二只眼的眼部控制图像，从而通过眼部追踪图像实现眼球追踪，通过眼部控制图像实现控制指令触发状态的识别。

S120、识别眼部追踪图像得到注视点信息。

注视点信息可以是指表征注视点的信息，可以包含注视位置和注视时长等。其中，注视位置可以为注视点的位置。如注视点在电子设备上的位置。注视时长可以为注视点在对应注视位置处注视的时长。

在本步骤中，可以对获取到的眼部追踪图像进行识别，得到注视点信息。本步骤不对识别眼部追踪图像的方法进行限定，例如可以由一帧眼部追踪图像确定用户第一只眼的注视位置，还可以由连续多帧的眼部追踪图像确定用户第一只眼在对应注视位置下的注视时长。

S130、识别眼部控制图像确定控制指令的触发状态。

控制指令可以是指控制电子设备的指令，控制指令的内容不限，不同场景下控制指令不同。本实施例中可以通过用户眼睛替代用户通过手操作鼠标，相应的，控制指令可以与用户通过手操作鼠标所产生的指令相同，控制指令可以触发点击鼠标事件和长按鼠标事件。不同场景下点击鼠标事件和长按鼠标事件的响应方式不同。触发状态可以理解为指示当前触发控制指令的状态，例如可以包括当前触发了控制指令的状态/或当前未触发控制指令的状态。

在本步骤中，可以通过对获取的眼部控制图像进行识别，确定控制指令的触发状态。本实施例对确定控制指令触发状态的步骤不作限定，例如可以是识别眼部控制图像中眼部的状态信息，然后根据状态信息确定控制指令的触发状态。

S140、根据注视点信息、触发状态和设定策略，对电子设备进行控制。

设定策略可以理解为对电子设备进行控制的策略，在本实施例中可以包含一个或多个设定策略，不同的设定策略可以实现对电子设备不同的控制，本实施例对设定策略的内容不作限定。如可以基于注视点信息所注视的位置确定设定策略的具体内容。

在一个实施例中，设定策略可以包括如下一个或多个：将注视点信息在电子设备上所对应注视位置与所显示对象进行位置匹配；将注视点信息在电子设备上所对应注视位置与设定区域集进行位置匹配；确定当前被激活的功能。

其中，设定区域集可以包括一个或多个设定区域，设定区域可以由相关人员进行预先设定，例如可以是电子设备屏幕外的区域，或电子设备屏幕的四周边框所对应的区域。

在本实施例中，可以根据注视点信息、触发状态和设定策略，对电子设备进行控制。

作为一种可实现方式，对电子设备进行控制的方法可以描述为：若注视点信息中注视位置位于电子设备中的某一控件上，且控制指令的触发状态指示当前触发了控制指令，则响应控制指令。不同的控件对应的控制指令不同。

示例性的，本实现方式可以通过注视位置和电子设备界面上所显示对象进行位置匹配，确定用户注视某控件，通过触发状态确定用户触发了控制指令，则可以实现对该控件的点击或拖动。

其中，点击包括左击和右击。在第二只眼为左眼时，若通过眼部控制图像确定眼部控制图像中第二只眼闭眼，可以认为点击鼠标左键事件触发。在第二只眼为右眼时，若通过眼部控制图像确定眼部控制图像中第二只眼闭眼，可以认为点击鼠标右键事件触发。

本实施例中眼部追踪图像和眼部控制图像可以为实时获取的多张图像，每张眼部追踪图像对应一个注视点信息。通过对多张眼部追踪图像的注视点信息可以实现眼球追踪。通过一张或多张眼部控制图像可以确定触发状态。如在确定点击操作时，可以通过一张眼部控制图像确定单击操作。通过多张眼部控制图像确定多击操作，如双击操作；通过多张眼部控制图像可以确定长按鼠标左键事件。

作为一种可实现方式，对电子设备进行控制的方法也可以描述为：若控制指令的触发状态指示当前触发了控制指令且电子设备中某一控件功能被激活，则根据注视点信息响应控制指令，不同的控件功能对应的响应策略不同，此处不作限定，如某一控件功能可以为画图应用程序中的画笔功能，控制指令被触发后可以触发绘图操作，通过注视点信息可以确定绘制轨迹。

更加具体的，电子设备的画图应用程序的画笔功能被选中后，用户的第一只眼可以为右眼，第二只眼可以为左眼。在通过多张眼部追踪图像确定左眼长闭时，可以认为绘图操作对应的控制指令被触发，本实施例可以跟踪第一只眼睛对应的眼部追踪图像确定的注视点信息在电子设备上实现绘制。

作为一种可实现方式，对电子设备进行控制的方法还可以描述为：若注视点信息在电子设备上的注视位置位于设定区域集中目标区域内，且控制指令的触发状态指示当前触发了控制指令，则根据目标区域和控制指令所对应的功能操作响应控制指令，目标区域为设定区域集中用户所注视的设定区域。

在本可实现方式中，可以选取多个设定区域形成设定区域集。本可实现方式中不对设定区域的位置进行限定，可以位于屏幕外，也可以位于屏幕内。不同的设定区域可以对应有不同的功能操作。

控制指令可以为左眼触发的，也可以为右眼触发的。不同的控制指令结合不同的设定区域可以对应不同的功能操作。

示例性的，可以将屏幕边框分为上下左右区域，分别对应上边框、下边框、左边框和右边框。在通过眼部追踪图像确定用户注视设定区域中的上区域，且基于眼部控制图像，确定上区域的控制指令被触发后，可以响应该上区域对应的控制指令，如执行上区域该控制指令对应的功能操作。不同的设定区域下不同控制指令被触发后，可以执行不同的功能操作，此处不对三者的对应关系进行限定。

本发明实施例一提供的一种电子设备的控制方法，所述控制方法应用于电子设备，包括：在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；识别所述眼部追踪图像得到注视点信息；识别所述眼部控制图像确定控制指令的触发状态；根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。利用上述方法，通过用户第一只眼进行眼球追踪，通过用户第二只眼进行控制指令的触发，以实现对电子设备的控制，从而便捷、快速地实现人机交互。

在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。

在一个实施例中，所述根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制，包括：

若所述注视点信息在所述电子设备上的注视位置位于目标对象上，且所述控制指令的触发状态指示当前触发了控制指令，则响应所述控制指令，所述目标对象为所述用户所注视对象。

其中，目标对象可以为用户所注视对象，例如可以指电子设备中某一应用程序图标，也可以为任意应用内的某一控件等。

若注视点信息在电子设备上的注视位置位于目标对象上，且控制指令的触发状态指示当前触发了控制指令，则响应控制指令，具体的，根据控制指令和目标对象的不同，可以执行不同的控制操作。示例性的，当控制指令指示触发长按鼠标左键时，若用户在电子设备上的注视位置位于某一控件上，且当前触发了控制指令，此时可以根据注视位置的变化执行同步移动控件的操作；在控制指令指示触发点击鼠标事件时，若用户在电子设备上所对应注视位置位于某一控件上，且当前触发了控制指令，此时可以根据控件的属性信息执行响应控制指令的操作，如该控件的属性为某应用程序的图标，控制指令为对左眼所对应眼部控制图像确定的，则可以打开该图标对应的应用程序，即通过眼控的方式替代了在控件图标上双击鼠标左键以打开应用程序的操作。又如，该控件的属性为某应用程序中的保存按钮，控制指令为对左眼所对应眼部控制图像确定的，则可以执行保存操作。

可选的，在所述控制指令触发长按鼠标左键事件时，根据所述注视点信息在所述电子设备上所对应的位置同步移动所述目标对象；

在所述控制指令触发点击鼠标事件时，根据所述目标对象的属性信息响应所述控制指令，所述点击鼠标事件包括单击鼠标左键事件、单击鼠标右键事件和双击鼠标左键事件。

本发明可以通过第二只眼的眼部控制图像所确定的控制指令模拟鼠标操作，通过控制指令即可触发鼠标相关的事件，如长按鼠标左键事件和点击鼠标事件。长按鼠标左键事件可以认为是长按鼠标左键操作被执行后所触发的事件。点击鼠标事件可以认为是点击鼠标操作被执行后所触发的事件。

例如，在实际场景中，用户可以注视显示器的一个应用程序图标，保持左眼(即第一只眼)睁开的状态，单闭右眼(即第二只眼)一秒(时间仅为示例，不作限定，可以为任意时长)，通过识别左眼的眼部追踪图像和右眼的眼部控制图像，可以得到注视点信息和控制指令的触发状态，此时根据设定策略，电子设备如电脑能够弹出右键菜单，控制指令可以认为是与鼠标右键点击(单击)操作所触发指令相同的指令。

同样地，在实际场景中，用户可以注视显示器的一个应用程序图标，保持右眼(即第一只眼)睁开的状态，单闭左眼(即第二只眼)一秒，通过识别右眼的眼部追踪图像和左眼的眼部控制图像，可以得到注视点信息和控制指令的触发状态，此时根据设定策略，电脑可以打开应用程序，控制指令可以认为是与鼠标左键点击(单击)的操作所触发指令相同的指令。

在实际场景中，用户还可以注视显示器的一个应用程序图标，保持右眼(即第一只眼)睁开状态，紧闭左眼(即第二只眼)，此时通过识别右眼的眼部追踪图像和左眼的眼部控制图像，可以得到注视点信息和控制指令的触发状态，根据设定策略，可以实现对该应用程序图标的拖动。即此时，控制指令可以触发拖动某个被注视的图标的操作。

图2为本发明实施例一提供的一种电子设备的控制方法的场景示意图，如图2所示，首先用户可以注视显示器中应用的图标21，保持左眼(即第一只眼)睁开的状态，单闭右眼(即第二只眼)一秒，通过识别左眼的眼部追踪图像和右眼的眼部控制图像，可以得到注视点信息和控制指令的触发状态，此时根据设定策略，电脑可以打开图标21的属性菜单，以此实现了鼠标右键点击(单击)操作；然后用户注视属性菜单的第一个属性：“打开”22，随后用户保持右眼(即第二只眼)睁开的状态，单闭左眼(即第一只眼)一秒，通过识别右眼的眼部追踪图像和左眼的眼部控制图像，可以得到注视点信息和控制指令的触发状态，此时根据设定策略，电脑就打开了图标21，相当于实现了鼠标左键点击(单击)的操作，从而实现了对电子设备的控制。

在一个实施例中，所述根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制，包括：

若所述控制指令的触发状态指示当前触发了控制指令且目标功能被激活，则根据所述注视点信息响应所述控制指令。

目标功能可以认为是基于电子设备实现特定功能的控件，如画图功能、编辑功能等。在本步骤中，当目标功能被激活时可以基于控制指令实现对电子设备的控制。

具体的，当控制指令的触发状态指示当前触发了控制指令且目标功能被激活时，则可以根据注视点信息响应控制指令。例如，在目标功能被激活时，可以通过识别第一只眼的眼部追踪图像和第二只眼的眼部控制图像，结合控制指令的触发状态，执行响应控制指令的操作。

在画图应用程序中，若目标功能如画笔功能被触发，用户可以保持右眼(即第一只眼)睁开状态，紧闭左眼(即第二只眼)，此时通过识别右眼的眼部追踪图像和左眼的眼部控制图像，可以得到注视点信息和控制指令的触发状态，根据设定策略，可以通过跟踪右眼进行绘图操作，例如绘制一条曲线；或者在图片编辑软件中，抠图功能被触发，通过跟踪右眼进行曲线框选操作，最后睁开左眼，绘制或框选完成，以此实现了对电子设备画图功能的控制或抠图功能。

图3为本发明实施例一提供的一种电子设备的控制方法的场景示意图，如图3所示，在画图应用程序中，画笔功能被选中后，保持右眼睁开状态，紧闭左眼，右眼可以注视不同的位置，通过识别右眼的眼部追踪图像和左眼的眼部控制图像，可以得到注视点信息和控制指令的触发状态，根据设定策略，可以跟踪右眼绘制一条直线；睁开左眼，绘制完成，这个过程相当于实现了鼠标长按左键的操作。

在一个实施例中，所述根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制，包括：

若所述注视点信息在所述电子设备上的注视位置位于设定区域集中目标区域内，且所述控制指令的触发状态指示当前触发了控制指令，则根据所述目标区域和所述控制指令所对应的功能操作响应所述控制指令，所述目标区域为所述设定区域集中所述用户所注视的设定区域。

其中，目标区域可以是指设定区域集中用户所注视的设定区域，例如目标区域可以是位于电子设备上眼动仪的区域，还可以是位于电子设备上摄像头的区域。

在本实施例中，若注视点信息在电子设备上的注视位置位于设定区域集中目标区域内，且控制指令的触发状态指示当前触发了控制指令，则可以根据目标区域和控制指令所对应的功能操作响应控制指令。

例如，当用户看向屏幕外的某位置(即目标区域)，如眼动仪的指示灯，用户眨一下左眼(即第二只眼)，系统可以弹出windows启动菜单；或者当用户看向电子设备上方的中心位置(即摄像头位置)时，用户眨一下左眼(即第二只眼)，电子设备可以打开系统自带的照相机进行拍照。此处不对功能操作进行限定，不同目标区域对应的功能操作可以预先定义。

图4为本发明实施例一提供的一种电子设备的控制方法的场景示意图，如图4所示，用户可以看向电子设备上方的摄像头位置41，用户眨一下左眼(即第二只眼)，电子设备可以打开系统自带的照相机进行拍照。其中，摄像头位置41对应拍照功能可以是自定义的，此处不作限定。

在一个实施例中，可以根据不同的目标区域对控制指令进行不同的设置，例如可以根据屏幕外上下左右的区域定义不同的控制指令。示例性的，用户看屏幕外的左边框时，长闭左眼(即第二只眼)，系统会自动弹出任务管理界面，然后用户可以睁开左眼，进行下一步操作。

在一个实施例中，还可以通过眼部的状态信息的不同来丰富控制指令的设置，如通过眨眼的次数、眨眼的时长、闭眼的时长等不同的状态信息对应不同的控制指令，不同的时长可以代表不同的控制指令。

在一个实施例中，所述识别所述眼部控制图像确定控制指令的触发状态，包括：

识别所述眼部控制图像中眼部的状态信息；

根据所述状态信息确定控制指令的触发状态；

其中，所述状态信息包括如下一个或多个：眼睛眨动的次数、眨眼时长和眨眼间隔时长。

具体的，在确定控制指令的触发状态时，首先可以对眼部控制图像中眼部的状态信息进行识别，识别的手段不限，例如可以对设定帧数的连续多帧眼部追踪图像进行识别，还可以通过对设定时长内的多帧眼部追踪图像进行识别；然后可以根据识别的状态信息确定控制指令的触发状态，本实施例对确定控制指令的触发状态的方法不作限定，例如可以通过识别的状态信息直接确定控制指令的触发状态，还可以由相关人员对控制指令的触发状态进行预设，如当识别到眼部的状态信息包括眼睛眨眼两次时，即可确定当前触发了控制指令。

实施例二

图5为本发明实施例二提供的一种电子设备的控制装置的结构示意图，该装置可适用于对电子设备进行控制的情况，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上。

如图5所示，该装置包括：

获取模块210，用于在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；

第一识别模块220，用于识别所述眼部追踪图像得到注视点信息；

第二识别模块230，用于识别所述眼部控制图像确定控制指令的触发状态；

控制模块240，用于根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。

本公开实施例提供了一种电子设备的控制装置，该装置通过获取模块210在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；通过第一识别模块220识别所述眼部追踪图像得到注视点信息；通过第二识别模块230识别所述眼部控制图像确定控制指令的触发状态；通过控制模块240根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。利用上述装置，通过注视点信息和触发状态和设定策略，能够实现对电子设备的控制，以便捷、快速地实现人机交互。

进一步的，所述设定策略包括如下一个或多个：

将所述注视点信息在所述电子设备上所对应注视位置与所显示对象进行位置匹配；

将所述注视点信息在所述电子设备上所对应注视位置进行位置匹配，所述设定区域集包括一个或多个设定区域；

确定当前被激活的功能。

进一步的，控制模块240具体用于：

若所述注视点信息在所述电子设备上的注视位置位于目标对象上，且所述控制指令的触发状态指示当前触发了控制指令，则响应所述控制指令，所述目标对象为所述用户所注视对象。

进一步的，控制模块240具体用于：

在所述控制指令触发长按鼠标左键事件时，根据所述注视点信息在所述电子设备上所对应的位置同步移动所述目标对象；

在所述控制指令触发点击鼠标事件时，根据所述目标对象的属性信息响应所述控制指令，所述点击鼠标事件包括单击鼠标左键事件、单击鼠标右键事件和双击鼠标左键事件。

进一步的，控制模块240具体用于：

若所述控制指令的触发状态指示当前触发了控制指令，且目标功能被激活，则根据所述注视点信息响应所述控制指令。

进一步的，控制模块240具体用于：

若所述注视点信息在所述电子设备上的注视位置位于设定区域集中目标区域内，且所述控制指令的触发状态指示当前触发了控制指令，则根据所述目标区域和所述控制指令所对应的功能操作响应所述控制指令，所述目标区域为所述设定区域集中所述用户所注视的设定区域。

进一步的，第二识别模块230具体用于：

识别所述眼部控制图像中眼部的状态信息；

根据所述状态信息确定控制指令的触发状态；

其中，所述状态信息包括如下一个或多个：眼睛眨动的次数、眨眼时长和眨眼间隔时长。

上述电子设备的控制装置可执行本发明实施例一所提供的电子设备的控制方法，具备执行方法相应的功能模块和有益效果。

实施例三

图6为本发明实施例三提供的一种电子设备的结构示意图。如图6所示，本发明实施例三提供的电子设备包括：一个或多个处理器61和存储装置62；该电子设备中的处理器61可以是一个或多个，图6中以一个处理器61为例；存储装置62用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器61执行，使得所述一个或多个处理器61实现如本发明实施例中任一项所述的电子设备的控制方法。

所述电子设备还可以包括：输入装置63和输出装置64。

电子设备中的处理器61、存储装置62、输入装置63和输出装置64可以通过总线或其他方式连接，图6中以通过总线连接为例。

该电子设备中的存储装置62作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一所提供电子设备的控制方法对应的程序指令/模块(例如，附图5所示的电子设备的控制装置中的模块，包括：获取模块210、第一识别模块220、第二识别模块230、控制模块240)。处理器61通过运行存储在存储装置62中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中电子设备的控制方法。

存储装置62可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件或其他非易失性固态存储器件。在一些实例中，存储装置62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置63可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置64可包括显示屏等显示设备。

并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器61执行时，程序进行如下操作：

在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；

识别所述眼部追踪图像得到注视点信息；

识别所述眼部控制图像确定控制指令的触发状态；

根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。

实施例四

本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行电子设备的控制方法，该方法包括：

在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；

识别所述眼部追踪图像得到注视点信息；

识别所述眼部控制图像确定控制指令的触发状态；

根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的电子设备的控制方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件，或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种电子设备的控制方法，其特征在于，应用于所述电子设备，所述方法包括：

在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；

识别所述眼部追踪图像得到注视点信息；

识别所述眼部控制图像确定控制指令的触发状态；

根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。

2.根据权利要求1所述的方法，其特征在于，所述设定策略包括如下一个或多个：

将所述注视点信息在所述电子设备上所对应注视位置与所显示对象进行位置匹配；

将所述注视点信息在所述电子设备上所对应注视位置与设定区域集进行位置匹配，所述设定区域集包括一个或多个设定区域；

确定当前被激活的功能。

3.根据权利要求1所述的方法，其特征在于，所述根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制，包括：

若所述注视点信息在所述电子设备上的注视位置位于目标对象上，且所述控制指令的触发状态指示当前触发了控制指令，则响应所述控制指令，所述目标对象为所述用户所注视对象。

4.根据权利要求3所述的方法，其特征在于，

在所述控制指令触发长按鼠标左键事件时，根据所述注视点信息在所述电子设备上所对应的位置同步移动所述目标对象；

在所述控制指令触发点击鼠标事件时，根据所述目标对象的属性信息响应所述控制指令，所述点击鼠标事件包括单击鼠标左键事件、单击鼠标右键事件和双击鼠标左键事件。

5.根据权利要求1所述的方法，其特征在于，所述根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制，包括：

若所述控制指令的触发状态指示当前触发了控制指令且目标功能被激活，则根据所述注视点信息响应所述控制指令。

6.根据权利要求1所述的方法，其特征在于，所述根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制，包括：

若所述注视点信息在所述电子设备上的注视位置位于设定区域集中目标区域内，且所述控制指令的触发状态指示当前触发了控制指令，则根据所述目标区域和所述控制指令所对应的功能操作响应所述控制指令，所述目标区域为所述设定区域集中所述用户所注视的设定区域。

7.根据权利要求1所述的方法，其特征在于，所述识别所述眼部控制图像确定控制指令的触发状态，包括：

识别所述眼部控制图像中眼部的状态信息；

根据所述状态信息确定控制指令的触发状态；

其中，所述状态信息包括如下一个或多个：眼睛眨动的次数、眨眼时长和眨眼间隔时长。

8.一种电子设备的控制装置，其特征在于，集成在电子设备上，所述装置包括：

获取模块，用于在所述电子设备处于眼部控制模式时，获取用户第一只眼的眼部追踪图像和所述用户第二只眼的眼部控制图像；

第一识别模块，用于识别所述眼部追踪图像得到注视点信息；

第二识别模块，用于识别所述眼部控制图像确定控制指令的触发状态；

控制模块，用于根据所述注视点信息、所述触发状态和设定策略，对所述电子设备进行控制。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。