CN113138659A - 一种工作模式的控制方法、装置、设备及存储介质 - Google Patents

一种工作模式的控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113138659A
CN113138659A CN202010047041.1A CN202010047041A CN113138659A CN 113138659 A CN113138659 A CN 113138659A CN 202010047041 A CN202010047041 A CN 202010047041A CN 113138659 A CN113138659 A CN 113138659A
Authority
CN
China
Prior art keywords
eye
working mode
state
controlling
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010047041.1A
Other languages
English (en)
Inventor
林哲
聂雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qixin Yiwei Shenzhen Technology Co ltd
Beijing 7Invensun Technology Co Ltd
Original Assignee
Qixin Yiwei Shenzhen Technology Co ltd
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qixin Yiwei Shenzhen Technology Co ltd, Beijing 7Invensun Technology Co Ltd filed Critical Qixin Yiwei Shenzhen Technology Co ltd
Priority to CN202010047041.1A priority Critical patent/CN113138659A/zh
Priority to JP2022543465A priority patent/JP7421659B2/ja
Priority to PCT/CN2021/070326 priority patent/WO2021143582A1/zh
Publication of CN113138659A publication Critical patent/CN113138659A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明实施例公开了一种工作模式的控制方法、装置、设备及存储介质。该方法包括：获取设备当前运行的工作模式，并确定用户的眼部特征；根据所述眼部特征确定相对所述用户的眼部捕捉状态；基于所述眼部捕捉状态控制所述工作模式的运行状态。通过确定用户眼部特征确定用户眼部捕捉状态，根据眼部状态控制工作模式的运行状态，可以不通过手动操作完成工作模式的改变，操作简单；通过眼部状态控制工作模式可以自动调节工作模式，可以有效避免误触碰。

Description

一种工作模式的控制方法、装置、设备及存储介质
技术领域
本发明实施例涉及眼球追踪技术领域，尤其涉及一种工作模式的控制方法、装置、设备及存储介质。
背景技术
眼动仪器的工作原理是仪器上的红外灯主动照射人眼形成光斑，高速摄像机拍摄人眼图像，算法可以提取到眼部的特征并且根据数学模型形成注视方向和注视点，从而实现用户通过眼睛的动作控制计算机的鼠标的仪器。
通过眼动仪器控制计算机鼠标时，由于仪器并不“认识”不同的用户，所以在使用之前需要进行“校准”操作，通过此环节，可以确定当前用户在当前位置条件下使用的校准参数，从而实现用户可以顺利的使用眼睛控制鼠标操作。为了可以让用户不受干扰的完成校准，所以在实际的使用过程中，当启动了“校准”功能，则眼控应用的其他功能会处于“暂停”状态，待用户完成校准后，软件会根据校准结果更新一个校准参数，用户使用新的校准参数继续进行眼控交互操作。
但是，在实际的使用中，用户因为不熟悉菜单或者误操作，若意外启动校准窗口，只能够按照校准的引导完成多点校准之后再进行眼控操作。图1提供了一种眼控仪使用的操作流程示意图，通过启动相机后进行校准点位采集，使用校准系数进行眼控应用，当误触发校准按钮后，重新进行校准点位采集，并使用新的校准系数进行眼控应用。校准点位以9个点为例，如果每个点采集的时间平均为1.5秒，算上计算校准结果的时间，整个校准流程将大于15秒，仅仅因为用户在使用过程中，错误的操作开启了校准操作而需要耽误超过15秒的时间才能继续进行眼控应用，是一个非常不合理的设置，严重影响了用户的使用体验，浪费用户时间。并且当用户在使用计算机时眼睛长期离开屏幕，屏幕会一直保留用户的操作界面，此时可能会因为误触碰而打开不必要的界面。且切换界面只能通过手动操作导致行动不便的人无法操作，影响用户体验。
发明内容
本发明提供一种工作模式的控制方法、装置、设备及存储介质，以实现对工作模式的控制。
第一方面，本发明实施例提供了一种工作模式的控制方法，所述工作模式的控制方法包括：
获取设备当前运行的工作模式，并确定用户的眼部特征；
根据所述眼部特征确定相对所述用户的眼部捕捉状态；
基于所述眼部捕捉状态控制所述工作模式的运行状态。
第二方面，本发明实施例还提供了一种工作模式的控制装置，该工作模式的控制装置包括：
获取模块，用于获取设备当前运行的工作模式，并确定用户的眼部特征；
状态确定模块，用于根据所述眼部特征确定相对所述用户的眼部捕捉状态；
控制模块，用于基于所述眼部捕捉状态控制所述工作模式的运行状态。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种工作模式的控制方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种工作模式的控制方法。
本发明实施例通过获取设备当前运行的工作模式，并确定用户的眼部特征；根据所述眼部特征确定相对所述用户的眼部捕捉状态；基于所述眼部捕捉状态控制所述工作模式的运行状态。通过确定用户眼部特征确定用户眼部捕捉状态，根据眼部状态控制工作模式的运行状态，可以不通过手动操作完成工作模式的改变，操作简单；通过眼部状态控制工作模式可以自动调节工作模式，可以有效避免误触碰。
附图说明
图1是现有技术中的一种眼控仪使用的操作流程示意图；
图2是本发明实施例一中的一种工作模式的控制方法的流程图；
图3是本发明实施例二中的一种工作模式的控制方法的流程图；
图4是本发明实施例二中的一种第一工作模式的状态调整的方法的流程图；
图5是本发明实施例二中的一种第二工作模式的状态调整的方法的流程图；
图6是本发明实施例二中的一种第三工作模式的状态调整的方法的流程图；
图7是本发明实施例三中的一种工作模式的控制装置的结构图；
图8是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图2为本发明实施例一提供的一种工作模式的控制方法的流程图，本实施例可适用于控制工作模式的情况，该方法可以由工作模式的控制装置来执行，具体包括如下步骤：
步骤11、获取设备当前运行的工作模式，并确定用户的眼部特征。
其中，当前运行的工作模式具体可以理解为设备在当前时刻所处的工作模式，工作模式可以有多种不同模式，眼动仪器可以有校准模式和正常使用模式，计算机可以有娱乐模式、打字模式、休息模式等等根据情境设置的不同模式；用户的眼部特征具体可以理解为采集到的屏幕中的用户的眼部，根据用户眼部的情况确定用户眼部特征。
具体的，确定用户的眼部特征的方式可以是通过摄像机拍摄，将拍摄到的用户面部图像通过图像算法进行识别，识别出用户眼部特征；用户的眼部特征包含多种情况，可以是包含用户双眼的眼部特征；或者是只有用户左眼的眼部特征，或者是只有用户右眼的眼部特征。眼部特征包括但不限于：用户双眼的眼部特征、用户左眼的眼部特征、用户右眼的眼部特征。
步骤12、根据所述眼部特征确定相对所述用户的眼部捕捉状态。
其中，眼部捕捉状态具体可以理解为当前屏幕中的用户眼部所处于的状态情况，根据已确定的眼部特征确定用户的眼部所处状态。
具体的，用户的眼部捕捉状态根据实际情况分为不同种类，根据用户眼部特征确定用户当前眼部所属的眼部状态的种类。
步骤13、基于所述眼部捕捉状态控制所述工作模式的运行状态。
具体的，根据不同的眼部捕捉状态对工作模式的运行状态进行相应的调整。例如，运行状态进行相应的调整可以是退出当前工作模式进入休息模式、娱乐模式或打字模式，也可以是保持当前工作模式不变的持续运行。
本发明实施例通过获取设备当前运行的工作模式，并确定用户的眼部特征；根据所述眼部特征确定相对所述用户的眼部捕捉状态；基于所述眼部捕捉状态控制所述工作模式的运行状态。通过确定用户眼部特征确定用户眼部捕捉状态，根据眼部状态控制工作模式的运行状态，可以不通过手动操作完成工作模式的改变，操作简单；通过眼部状态控制工作模式可以自动调节工作模式，有效避免误触碰。
实施例二
图3为本发明实施例二提供的一种工作模式的控制方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化，具体主要包括如下步骤：
步骤21、获取设备当前运行的工作模式，并确定用户的眼部特征。
可选的，确定用户的眼部特征的方法可以是通过检测眼部图像中上下眼皮的距离来确定。具体的方法可以为：在用户眼部图像中检测出上眼皮的最高点和下眼皮的最低点，计算最高点和最低点之间的距离，当该距离大于预设值时，确定用户的眼部特征为检测到眼睛或者用户睁眼；当该距离小于预设值时，确定检测不到眼睛或者用户闭眼。其中预设值为根据具体精度需求和设备精度进行设定，本发明不做限定。
步骤22、当基于所述眼部特征识别出用户的当前眼睛状态与上一眼睛状态的比对结果满足设定条件时,确定相对所述用户的眼部捕捉状态为正常眼部捕捉；否则，确定相对所述用户的眼部捕捉状态为异常眼部捕捉。
其中，当前眼睛状态具体可以理解为用户在当前时刻的眼睛数量；上一眼睛状态具体可以理解为用户在上一时刻的眼睛数量；设定条件具体可以理解为根据眼睛状态预先设定的条件，用来判断用户的眼睛状态；所述设定条件为当前眼睛状态中的当前眼睛数量与上一眼睛状态中的上一眼睛数量相同；当前眼睛数量具体可以理解为当前时刻采集到的用户眼睛数量；上一眼睛数量具体可以理解为上一时刻采集到的用户眼睛数量。正常眼部捕捉具体可以理解为当前眼睛数量与上一眼睛数量相同时的眼睛状态；异常眼部捕捉具体可以理解为当前眼睛数量与上一眼睛数量不同时的眼睛状态。
具体的，当眼动仪器监测到用户眼部时，根据用户眼部特征识别出用户的当前眼睛状态与上一眼睛状态的比对结果，当当前眼睛数量和上一眼睛数量相同时，用户的眼部捕捉状态为正常眼部捕捉；当当前眼睛数量和上一眼睛数量不同时，用户的眼部捕捉状态为异常眼部捕捉。
步骤23、当所述眼部捕捉状态为正常眼部捕捉时，确定所述工作模式为正常运行，控制所述工作模式持续运行。
具体的，当眼部捕捉状态为正常眼部捕捉时，眼控仪器或计算机的工作模式不发生改变，持续运行当前工作模式，例如，当前工作模式为游戏界面，则仍然持续游戏界面继续运行。
步骤24、当所述眼部捕捉状态为异常眼部捕捉时，确定所述异常眼部捕捉的异常类型，基于所述异常类型结合预设时间控制所述工作模式的状态调整。
其中，预设时间具体可以理解为根据实际需求预先设定的时间，用来控制工作模式的状态调整，例如可以是5秒、7秒等等。
具体的，异常眼部捕捉分为多种异常类型，不同异常类型结合预设时间可以控制工作模式的状态进行不同调整。
进一步地，确定异常类型包括：确定所述当前眼睛状态中的当前睁闭状态为双眼闭合时，确定所述异常眼部捕捉的异常类型为双眼闭合；确定所述当前眼睛状态中的当前睁闭状态为右眼闭合时，确定所述异常眼部捕捉的异常类型为右眼闭合；确定所述当前眼睛状态中的当前睁闭状态为左眼闭合时，确定所述异常眼部捕捉的异常类型为左眼闭合。
具体的，当前眼睛状态可以根据眼睛闭合情况分为双眼闭合、右眼闭合和左眼闭合，不同情况对应不同异常类型。
进一步地，所述基于所述异常类型结合预设时间控制所述工作模式的状态调整包括：当所述异常类型为双眼闭合且持续时间大于所述预设时间时，记所述工作模式为第一工作模式，并采用第一控制策略控制所述第一工作模式的状态调整；当确定异常类型为右眼闭合且持续时间大于所述预设时间时，记所述工作模式为第二工作模式，并采用第二控制策略控制所述第二工作模式的状态调整；当确定异常类型为左眼闭合且持续时间大于所述预设时间时，记所述工作模式为第三工作模式，并采用第三控制策略控制所述第三工作模式的状态调整。
其中，第一工作模式具体可以理解为异常类型为双眼闭合且持续时间大于所述预设时间时的当前的工作模式；第一控制策略具体可以理解为控制第一工作模式的状态调整的策略。第二工作模式具体可以理解为异常类型为右眼闭合且持续时间大于所述预设时间时的当前的工作模式；第二控制策略具体可以理解为控制第二工作模式的状态调整的策略。第三工作模式具体可以理解为异常类型为左眼闭合且持续时间大于所述预设时间时的当前的工作模式；第三控制策略具体可以理解为控制第三工作模式的状态调整的策略。
具体的，当监测到用户双眼闭合且持续时间大于所述预设时间时，记录当前工作模式为第一工作模式，并通过第一控制策略控制第一工作模式的状态调整。当监测到用户右眼闭合且持续时间大于所述预设时间时，记录当前工作模式为第二工作模式，并通过第二控制策略控制第二工作模式的状态调整。当监测到用户左眼闭合且持续时间大于所述预设时间时，记录当前工作模式为第三工作模式，并通过第三控制策略控制第三工作模式的状态调整。
进一步地，图4提供了一种第一工作模式的状态调整的方法的流程图，采用第一控制策略控制所述第一工作模式的工作状态调整的方式具体包括以下步骤：
步骤2411、当所述第一工作模式为校准工作模式时，控制执行退出所述校准工作模式的状态调整。
其中，校准工作模式具体可以理解为视线校准的工作模式。
具体的，当第一工作模式为校准工作模式时，工作模式的状态调整为退出校准工作模式。
步骤2412、当所述第一工作模式为非校准工作模式时，控制执行退出所述非校准工作模式并启动所关联第一预设工作模式的状态调整。
其中，非校准工作模式具体可以理解为视线校准工作模式外的工作模式，例如，娱乐模式、打字模式、休息模式、阅读浏览等。第一预设工作模式具体可以理解为对应第一工作模式所预先设置的一种工作模式，例如，可以是娱乐模式、打字模式、休息模式、阅读浏览模式等，其中第一工作模式和第一预设工作模式不同。
具体的，当第一工作模式为非校准工作模式时，工作模式的调整为退出当前的工作模式，并启动第一预设工作模式。本发明实施例中为退出当前的工作模式，并启动第一预设工作模式，也可以设置为不退出当前的工作模式，仅将界面切换至第一预设工作模式。
进一步地，图5提供了一种第二工作模式的状态调整的方法的流程图，所述采用第二控制策略控制所述第二工作模式的状态调整的方式具体包括以下步骤：
步骤2421、当所述第二工作模式为校准工作模式时，控制执行退出所述校准工作模式的状态调整。
具体的，当第二工作模式为校准工作模式时，工作模式的状态调整为退出校准工作模式。
步骤2422、当所述第二工作模式为非校准工作模式时，控制执行所述第二工作模式退出并启动所关联第二预设工作模式的状态调整。
其中，第二预设工作模式具体可以理解为对应第二工作模式所预先设置的一种工作模式。例如，可以是娱乐模式、打字模式、休息模式、阅读浏览模式、屏保模式等，其中第二工作模式和第二预设工作模式不同。
具体的，当第二工作模式为非校准工作模式时，工作模式的调整为退出当前的工作模式，并启动第二预设工作模式。本发明实施例中为退出当前的工作模式，并启动第二预设工作模式，也可以设置为不退出当前的工作模式，仅将界面切换至第二预设工作模式。
进一步地，图6提供了一种第三工作模式的状态调整的方法的流程图，所述采用第三控制策略控制所述第三工作模式的状态调整的方式具体包括以下步骤：
步骤2431、当所述第三工作模式为校准工作模式时，控制执行退出所述校准工作模式的工作状态调整。
具体的，当第三工作模式为校准工作模式时，工作模式的状态调整为退出校准工作模式。
步骤2432、当所述第三工作模式为非校准工作模式时，控制执行由所述第三工作模式切换至所关联第三预设工作模式的状态调整。
其中，第三预设工作模式具体可以理解为对应第三工作模式所预先设置的一种工作模式。例如，可以是娱乐模式、打字模式、休息模式、阅读浏览模式、屏保模式等，其中第三工作模式和第三预设工作模式不同。
具体的，当第三工作模式为非校准工作模式时，工作模式的调整为从当前的工作模式切换到第三预设工作模式，使当前工作模式处于后台运行中。本发明实施例中为切换到第三预设工作模式，也可以设置为退出当前的工作模式，并启动第三预设工作模式。
步骤25、接收到触发生成的控制停止指令时，控制所述工作模式退出当前的运行状态。
其中，控制停止指令具体可以理解为控制当前工作模式停止运行的触发指令。所述控制停止指令通过用户点击功能选项区域或按压键盘按键触发生成；功能选项区域具体可以理解为眼动仪器或者计算机显示屏幕根据功能划分出的不同区域，例如，可以将眼动仪器的显示屏幕划分为左右两部分，左面部分为注视区域，右面部分为主菜单区域，可以包括设置、开始、结束等功能按键。
具体的，用户通过点击功能选项区域或按压键盘按键触发生成控制停止指令，计算机处理器接收到控制停止指令后控制工作模式退出当前的运行状态。例如，当工作模式为校准工作模式时，点击功能选项区域或按压键盘按键，就可以实现退出校准的工作模式。
通过点击功能选项区域或按压键盘按键可以实现工作模式的退出，对于将眼动仪器连接到计算机的用户，如果想停止校准，可以按键盘的快捷键或esc键中断校准；对于使用平板电脑连接鼠标的用户，如果想停止校准，可以用鼠标点击校准区域中断校准；对于使用平板电脑不连接外设的用户，如果想停止校准可以点触平板电脑屏幕中的校准区域中断校准。而对于肢体受到限制的用户，也可以通过闭上眼睛(闭上一只还是两只，可以根据软件实际的设置而决定)使校准流程中断一定时间后关闭校准窗口。对于计算机等设备，可以用同样的方式实现一种工作模式的退出或中断。
当用户由于闭眼休息而退出或中断当前工作模式时，在用户再次睁开眼睛时可以在新的应用界面继续用眼睛控制电脑屏幕进行操作也可以恢复用户闭眼休息前的工作模式。如何设置由用户自行决定。
本发明实施例通过获取设备当前运行的工作模式，并确定用户的眼部特征；根据所述眼部特征确定相对所述用户的眼部捕捉状态；基于所述眼部捕捉状态控制所述工作模式的运行状态。可以不通过手动操作完成工作模式的改变，操作简单；通过眼部状态控制工作模式可以自动调节工作模式，有效避免误触碰。
实施例三
图7为本发明实施例三提供的一种工作模式的控制装置的结构图，该装置包括：获取模块31、状态确定模块32和控制模块33。
其中，获取模块31，用于获取设备当前运行的工作模式，并确定用户的眼部特征；状态确定模块32，用于根据所述眼部特征确定相对所述用户的眼部捕捉状态；控制模块33，用于基于所述眼部捕捉状态控制所述工作模式的运行状态。
本发明实施例通过获取设备当前运行的工作模式，并确定用户的眼部特征；根据所述眼部特征确定相对所述用户的眼部捕捉状态；基于所述眼部捕捉状态控制所述工作模式的运行状态。通过确定用户眼部特征确定用户眼部捕捉状态，根据眼部状态控制工作模式的运行状态，可以不通过手动操作完成工作模式的改变，操作简单；通过眼部状态控制工作模式可以自动调节工作模式，有效避免误触碰。
进一步地，状态确定模块32还用于当基于所述眼部特征识别出用户的当前眼睛状态与上一眼睛状态的比对结果满足设定条件时,确定相对所述用户的眼部捕捉状态为正常眼部捕捉；否则，确定相对所述用户的眼部捕捉状态为异常眼部捕捉。
进一步地，所述设定条件为当前眼睛状态中的当前眼睛数量与上一眼睛状态中的上一眼睛数量相同。
进一步地，控制模块33，还包括：
持续运行单元，用于当所述眼部捕捉状态为正常眼部捕捉时，确定所述工作模式为正常运行，控制所述工作模式持续运行。
调整单元，用于当所述眼部捕捉状态为异常眼部捕捉时，确定所述异常眼部捕捉的异常类型，基于所述异常类型结合预设时间控制所述工作模式的状态调整。
进一步地，所述确定所述异常眼部捕捉的异常类型的方式可以是：确定所述当前眼睛状态中的当前睁闭状态为双眼闭合时，确定所述异常眼部捕捉的异常类型为双眼闭合；确定所述当前眼睛状态中的当前睁闭状态为右眼闭合时，确定所述异常眼部捕捉的异常类型为右眼闭合；确定所述当前眼睛状态中的当前睁闭状态为左眼闭合时，确定所述异常眼部捕捉的异常类型为左眼闭合。
进一步地，所述基于所述异常类型结合预设时间控制所述工作模式的状态调整的方式可以是：当所述异常类型为双眼闭合且持续时间大于所述预设时间时，记所述工作模式为第一工作模式，并采用第一控制策略控制所述第一工作模式的状态调整；当确定异常类型为右眼闭合且持续时间大于所述预设时间时，记所述工作模式为第二工作模式，并采用第二控制策略控制所述第二工作模式的状态调整；当确定异常类型为左眼闭合且持续时间大于所述预设时间时，记所述工作模式为第三工作模式，并采用第三控制策略控制所述第三工作模式的状态调整。
进一步地，采用第一控制策略控制所述第一工作模式的工作状态调整的方式可以是：当所述第一工作模式为校准工作模式时，控制执行退出所述校准工作模式的状态调整；当所述第一工作模式为非校准工作模式时，控制执行退出所述非校准工作模式并启动所关联第一预设工作模式的状态调整。
进一步地，所述采用第二控制策略控制所述第二工作模式的状态调整的方式可以是：当所述第二工作模式为校准工作模式时，控制执行退出所述校准工作模式的状态调整；当所述第二工作模式为非校准工作模式时，控制执行所述第二工作模式退出并启动所关联第二预设工作模式的状态调整。
进一步地，所述采用第三控制策略控制所述第三工作模式的状态调整的方式可以是：当所述第三工作模式为校准工作模式时，控制执行退出所述校准工作模式的工作状态调整；当所述第三工作模式为非校准工作模式时，控制执行由所述第三工作模式切换至所关联第三预设工作模式的状态调整。
进一步地，该装置还包括：
接收模块，用于接收到触发生成的控制停止指令时，控制所述工作模式退出当前的运行状态。
进一步地，所述控制停止指令通过用户点击功能选项区域或按压键盘按键触发生成。
本发明实施例所提供的工作模式的控制装置可执行本发明任意实施例所提供的工作模式的控制方法，具备执行方法相应的功能模块和有益效果。
实施例四
图8为本发明实施例四提供的一种设备的结构示意图，如图8所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图8中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的工作模式的控制方法对应的程序指令/模块(例如，工作模式的控制装置中的获取模块31、状态确定模块32和控制模块33)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的工作模式的控制方法。
存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种工作模式的控制方法，该方法包括：
获取设备当前运行的工作模式，并确定用户的眼部特征；
根据所述眼部特征确定相对所述用户的眼部捕捉状态；
基于所述眼部捕捉状态控制所述工作模式的运行状态。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的工作模式的控制方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述工作模式的控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种工作模式的控制方法，其特征在于，包括：
获取设备当前运行的工作模式，并确定用户的眼部特征；
根据所述眼部特征确定相对所述用户的眼部捕捉状态；
基于所述眼部捕捉状态控制所述工作模式的运行状态。
2.根据权利要求1所述的方法，其特征在于，所述根据所述眼部特征确定相对所述用户的眼部捕捉状态，包括：
当基于所述眼部特征识别出用户的当前眼睛状态与上一眼睛状态的比对结果满足设定条件时,确定相对所述用户的眼部捕捉状态为正常眼部捕捉；否则，确定相对所述用户的眼部捕捉状态为异常眼部捕捉。
3.根据权利要求2所述的方法，其特征在于，所述设定条件为当前眼睛状态中的当前眼睛数量与上一眼睛状态中的上一眼睛数量相同。
4.根据权利要求3所述的方法，其特征在于，所述基于所述眼部捕捉状态控制所述工作模式的运行状态，包括：
当所述眼部捕捉状态为正常眼部捕捉时，确定所述工作模式为正常运行，控制所述工作模式持续运行；
当所述眼部捕捉状态为异常眼部捕捉时，确定所述异常眼部捕捉的异常类型，基于所述异常类型结合预设时间控制所述工作模式的状态调整。
5.根据权利要求4所述的方法，其特征在于，所述确定所述异常眼部捕捉的异常类型，包括：
确定所述当前眼睛状态中的当前睁闭状态为双眼闭合时，确定所述异常眼部捕捉的异常类型为双眼闭合；
确定所述当前眼睛状态中的当前睁闭状态为右眼闭合时，确定所述异常眼部捕捉的异常类型为右眼闭合；
确定所述当前眼睛状态中的当前睁闭状态为左眼闭合时，确定所述异常眼部捕捉的异常类型为左眼闭合。
6.根据权利要求4或5所述的方法，其特征在于，所述基于所述异常类型结合预设时间控制所述工作模式的状态调整，包括：
当所述异常类型为双眼闭合且持续时间大于所述预设时间时，记所述工作模式为第一工作模式，并采用第一控制策略控制所述第一工作模式的状态调整；
当确定异常类型为右眼闭合且持续时间大于所述预设时间时，记所述工作模式为第二工作模式，并采用第二控制策略控制所述第二工作模式的状态调整；
当确定异常类型为左眼闭合且持续时间大于所述预设时间时，记所述工作模式为第三工作模式，并采用第三控制策略控制所述第三工作模式的状态调整。
7.根据权利要求6所述的方法，其特征在于，所述采用第一控制策略控制所述第一工作模式的状态调整，包括：
当所述第一工作模式为校准工作模式时，控制执行退出所述校准工作模式的状态调整；
当所述第一工作模式为非校准工作模式时，控制执行退出所述非校准工作模式并启动所关联第一预设工作模式的状态调整。
8.根据权利要求6所述的方法，其特征在于，所述采用第二控制策略控制所述第二工作模式的状态调整，包括：
当所述第二工作模式为校准工作模式时，控制执行退出所述校准工作模式的状态调整；
当所述第二工作模式为非校准工作模式时，控制执行所述第二工作模式退出并启动所关联第二预设工作模式的状态调整。
9.根据权利要求6所述的方法，其特征在于，所述采用第三控制策略控制所述第三工作模式的状态调整，包括：
当所述第三工作模式为校准工作模式时，控制执行退出所述校准工作模式的工作状态调整；
当所述第三工作模式为非校准工作模式时，控制执行由所述第三工作模式切换至所关联第三预设工作模式的状态调整。
10.根据权利要求1所述的方法，其特征在于，还包括：
接收到触发生成的控制停止指令时，控制所述工作模式退出当前的运行状态。
11.根据权利要求10所述的方法，其特征在于，所述控制停止指令通过用户点击功能选项区域或按压键盘按键触发生成。
12.一种工作模式的控制装置，其特征在于，包括：
获取模块，用于获取设备当前运行的工作模式，并确定用户的眼部特征；
状态确定模块，用于根据所述眼部特征确定相对所述用户的眼部捕捉状态；
控制模块，用于基于所述眼部捕捉状态控制所述工作模式的运行状态。
13.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的一种工作模式的控制方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一所述的一种工作模式的控制方法。
CN202010047041.1A 2020-01-16 2020-01-16 一种工作模式的控制方法、装置、设备及存储介质 Pending CN113138659A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010047041.1A CN113138659A (zh) 2020-01-16 2020-01-16 一种工作模式的控制方法、装置、设备及存储介质
JP2022543465A JP7421659B2 (ja) 2020-01-16 2021-01-05 動作モードの制御方法、装置、機器、及び記憶媒体
PCT/CN2021/070326 WO2021143582A1 (zh) 2020-01-16 2021-01-05 一种工作模式的控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010047041.1A CN113138659A (zh) 2020-01-16 2020-01-16 一种工作模式的控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113138659A true CN113138659A (zh) 2021-07-20

Family

ID=76808251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010047041.1A Pending CN113138659A (zh) 2020-01-16 2020-01-16 一种工作模式的控制方法、装置、设备及存储介质

Country Status (3)

Country Link
JP (1) JP7421659B2 (zh)
CN (1) CN113138659A (zh)
WO (1) WO2021143582A1 (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130169530A1 (en) * 2011-12-29 2013-07-04 Khalifa University Of Science And Technology & Research (Kustar) Human eye controlled computer mouse interface
CN103257877A (zh) * 2013-05-06 2013-08-21 苏州三星电子电脑有限公司 显示设备自动休眠控制系统及其控制方法
CN104035544A (zh) * 2013-03-04 2014-09-10 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN105373226A (zh) * 2015-10-23 2016-03-02 东莞酷派软件技术有限公司 终端模式切换方法及系统
CN106610722A (zh) * 2016-12-26 2017-05-03 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法及系统
CN106775291A (zh) * 2016-11-21 2017-05-31 珠海格力电器股份有限公司 桌面应用切换方法、装置及移动终端
CN107544667A (zh) * 2016-06-28 2018-01-05 广东欧珀移动通信有限公司 移动终端的控制方法、装置和移动终端
CN107688385A (zh) * 2016-08-03 2018-02-13 北京搜狗科技发展有限公司 一种控制方法及装置
CN108108022A (zh) * 2018-01-02 2018-06-01 联想(北京)有限公司 一种控制方法及辅助成像装置
CN109116991A (zh) * 2018-08-30 2019-01-01 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109240504A (zh) * 2018-09-25 2019-01-18 北京旷视科技有限公司 控制方法、模型训练方法、装置及电子设备
CN109933193A (zh) * 2019-03-01 2019-06-25 北京体育大学 基于运动员眼动信息实时捕捉的智能辅助训练系统
CN109925678A (zh) * 2019-03-01 2019-06-25 北京七鑫易维信息技术有限公司 一种基于眼动追踪技术的训练方法、训练装置及设备
CN110174936A (zh) * 2019-04-04 2019-08-27 阿里巴巴集团控股有限公司 头戴式可视设备的控制方法、装置及设备
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN110363135A (zh) * 2019-07-10 2019-10-22 广州市百果园信息技术有限公司 人眼闭合程度的确定方法、眼睛控制方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198462B1 (en) * 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
JPH11212715A (ja) * 1998-01-29 1999-08-06 Shimadzu Corp 視線入力装置
US6637883B1 (en) * 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
CN102193621A (zh) * 2010-03-17 2011-09-21 三星电子（中国）研发中心 基于视觉的交互式电子设备控制系统及其控制方法
CN103885592B (zh) * 2014-03-13 2017-05-17 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN106527710A (zh) * 2016-11-07 2017-03-22 三星电子（中国）研发中心 虚拟现实交互方法及装置
CN106886290A (zh) * 2017-04-08 2017-06-23 闲客智能（深圳）科技有限公司 一种眼动控制方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130169530A1 (en) * 2011-12-29 2013-07-04 Khalifa University Of Science And Technology & Research (Kustar) Human eye controlled computer mouse interface
CN104035544A (zh) * 2013-03-04 2014-09-10 联想(北京)有限公司 一种控制电子设备的方法及电子设备
CN103257877A (zh) * 2013-05-06 2013-08-21 苏州三星电子电脑有限公司 显示设备自动休眠控制系统及其控制方法
CN105373226A (zh) * 2015-10-23 2016-03-02 东莞酷派软件技术有限公司 终端模式切换方法及系统
CN107544667A (zh) * 2016-06-28 2018-01-05 广东欧珀移动通信有限公司 移动终端的控制方法、装置和移动终端
CN107688385A (zh) * 2016-08-03 2018-02-13 北京搜狗科技发展有限公司 一种控制方法及装置
CN106775291A (zh) * 2016-11-21 2017-05-31 珠海格力电器股份有限公司 桌面应用切换方法、装置及移动终端
CN106610722A (zh) * 2016-12-26 2017-05-03 宇龙计算机通信科技(深圳)有限公司 一种终端控制方法及系统
CN108108022A (zh) * 2018-01-02 2018-06-01 联想(北京)有限公司 一种控制方法及辅助成像装置
CN109116991A (zh) * 2018-08-30 2019-01-01 Oppo广东移动通信有限公司 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN109240504A (zh) * 2018-09-25 2019-01-18 北京旷视科技有限公司 控制方法、模型训练方法、装置及电子设备
CN109933193A (zh) * 2019-03-01 2019-06-25 北京体育大学 基于运动员眼动信息实时捕捉的智能辅助训练系统
CN109925678A (zh) * 2019-03-01 2019-06-25 北京七鑫易维信息技术有限公司 一种基于眼动追踪技术的训练方法、训练装置及设备
CN110174936A (zh) * 2019-04-04 2019-08-27 阿里巴巴集团控股有限公司 头戴式可视设备的控制方法、装置及设备
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN110363135A (zh) * 2019-07-10 2019-10-22 广州市百果园信息技术有限公司 人眼闭合程度的确定方法、眼睛控制方法和装置

Also Published As

Publication number Publication date
WO2021143582A1 (zh) 2021-07-22
JP7421659B2 (ja) 2024-01-24
JP2023510407A (ja) 2023-03-13

Similar Documents

Publication Publication Date Title
US11853477B2 (en) Zonal gaze driven interaction
US10133476B2 (en) Method for controlling screen of user terminal and user terminal
US9039419B2 (en) Method and system for controlling skill acquisition interfaces
EP3088997A1 (en) Delay warp gaze interaction
KR20180111859A (ko) 지능로봇 웨이크업 방법 및 지능로봇
CN106843669A (zh) 应用界面操作方法和装置
US20200050280A1 (en) Operation instruction execution method and apparatus, user terminal and storage medium
CN105630135A (zh) 一种智能终端的控制方法和装置
JP2016177658A5 (zh)
WO2020220154A1 (zh) 屏幕显示切换方法、显示设备、可移动平台
JP2001100903A (ja) 視線検出機能搭載装置
WO2017206383A1 (zh) 一种终端控制方法、控制装置以及终端
CN110472396B (zh) 一种体感手势触控方法、系统、平台及存储介质
EP3255523B1 (en) Electronic device, photographing method and photographing apparatus
EP4402559A1 (en) Touchless image-based input interface
CN110174937A (zh) 注视信息控制操作的实现方法及装置
CN105912158A (zh) 一种移动终端的触屏拍照方法、装置及移动终端
CN113138659A (zh) 一种工作模式的控制方法、装置、设备及存储介质
CN112286350A (zh) 设备控制方法及装置、电子设备、电子装置、处理器
CN110162170A (zh) 基于终端可扩展区域的控制方法及装置
CN110928206B (zh) 通过智能药箱控制智能设备工作的方法及装置
CN116610205A (zh) 一种电子设备的控制方法、装置、电子设备及存储介质
CN116991244A (zh) 一种基于眼动交互的电力组态画面控制方法、系统、电子设备及存储介质
CN118573770A (zh) 基于目标跟踪的手机缩小窗打开方法和系统
CN115205955A (zh) 一种眼控式智能综合测控装置及其眼控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination