CN104866100B - 眼控装置及其眼控方法和眼控系统 - Google Patents

眼控装置及其眼控方法和眼控系统 Download PDF

Info

Publication number
CN104866100B
CN104866100B CN201510280294.2A CN201510280294A CN104866100B CN 104866100 B CN104866100 B CN 104866100B CN 201510280294 A CN201510280294 A CN 201510280294A CN 104866100 B CN104866100 B CN 104866100B
Authority
CN
China
Prior art keywords
eye
operated device
blinkpunkt
human eye
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510280294.2A
Other languages
English (en)
Other versions
CN104866100A (zh
Inventor
李文波
杨添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201510280294.2A priority Critical patent/CN104866100B/zh
Publication of CN104866100A publication Critical patent/CN104866100A/zh
Priority to PCT/CN2016/079259 priority patent/WO2016188258A1/zh
Priority to US15/511,861 priority patent/US10372206B2/en
Application granted granted Critical
Publication of CN104866100B publication Critical patent/CN104866100B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种眼控装置及其眼控方法和眼控系统，其中，该眼控装置包括：注视点获取单元、人眼动作检测单元和控制信号生成单元，注视点获取单元用于获取人眼在待操作器件上的注视点的位置信息；人眼动作检测单元用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元；控制信号生成单元用于根据预先存储的与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，并将控制信号发送至待操作器件以供待操作器件执行相应的操作。本发明的技术方案可有效的实现利用人眼来对待操作器件进行控制。

Description

眼控装置及其眼控方法和眼控系统
技术领域
本发明涉及显示技术领域，特别涉及一种眼控装置及其眼控方法和眼控系统。
背景技术
探索自然和谐的人机关系已成为计算机研究的一个重要领域，自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。但是，对于残障人士或者双手暂时没有空闲(例如双手正在进行洗漱、做饭、吃饭等活动)进行操作的用户，利用输入设备(例如鼠标、键盘、操作器等)实现人机交互就非常困难。
在人机交互领域中，眼睛作为又一种重要的信息交互通道，而视线反应人的注意方向，因而将视线应用于人机交互领域具有其自然性、直接性和交互性等特点，备受人们的关注，因此如何基于人眼的动作来实现人机交互是亟需解决的技术问题。
发明内容
本发明提供一种眼控装置及其眼控方法和眼控系统，可基于人眼的动作来对待操作器件进行控制。
为实现上述目的，本发明提供了一种眼控装置，包括：
注视点获取单元，用于获取人眼在待操作器件上的注视点的位置信息；
人眼动作检测单元，用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制所述注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元；
控制信号生成单元，用于根据预先存储的与所述待操作器件相应的位置控制对应表生成与所述当前位置信息相对应的控制信号，并将所述控制信号发送至待操作器件以供所述待操作器件执行相应的操作；
所述位置控制对应表中存储有所述待操作器件上的不同位置信息和与所述位置信息相对应的控制信号。
可选地，所述注视点获取单元包括：
红外发射模块，设置于所述待操作器件上，用于向人眼发射红外光，并在人眼的两个瞳孔中形成光反射点；
第一人眼图像获取模块，设置于所述待操作器件上，用于获取人眼图像；
图像处理模块，用于基于所述人眼图像建立图像坐标系，并对所述人眼图像进行处理以获得两个瞳孔中心和所述光反射点在所述图像坐标系中的坐标位置；
计算模块，用于根据两个所述瞳孔中心和所述光反射点在所述图像坐标系中的坐标，通过交比不变算法得到人眼在待操作器件上的注视点的位置信息。
可选地，所述注视点获取单元包括：
眼镜；
场景获取模块，设置于所述眼镜上，用于获取人眼通过所述眼镜所看到的场景图像，所述场景图像中包含有所述待操作器件的图像；
第二人眼图像获取模块，设置于所述眼镜上，用于获取人眼图像；
注视方向确定模块，用于根据所述人眼图像来确定人眼的注视方向；
注视点确定模块，用于根据所述场景图像和所述注视方向来确定人眼在待操作器件上的注视点的位置信息。
为实现上述目的，本发明还提供了一种眼控系统，包括：若干个待操作器件和如上述的眼控装置。
可选地，当所述眼控装置采用权利要求2所述的眼控装置时，所述眼控装置中的所述注视点获取单元的数量与所述待操作器件的数量相等，所述注视点获取单元与所述待操作器件一一对应；
所述注视点获取单元设置在对应的所述待操作器件上。
可选地，所述眼控装置中的所述人眼动作检测单元的数量与所述待操作器件的数量相等，所述人眼动作检测单元与所述待操作器件一一对应；
所述人眼动作检测单元设置在对应的所述待操作器件上。
可选地，当所述眼控装置采用权利要求3所述的眼控装置时，所述眼控装置中的所述注视点获取单元的数量为1个；
所述眼控系统还包括：与所述待操作器件一一对应的若干个激活单元，所述激活单元设置在对应的所述待操作器件上；
所述激活单元用于在所述注视点获取单元朝向与所述激活单元相对应的待操作器件时激活所述眼控装置，并控制所述控制信号生成单元调用与所述激活单元相对应的待操作器件相应的位置控制对应表。
可选地，所述人眼动作检测单元的数量为1个，所述人眼动作检测单元设置在所述眼镜上。
为实现上述目的，本发明还提供了一种眼控方法，所述眼控方法基于眼控装置，所述眼控装置采用上述的眼控装置，所述眼控方法包括：
所述注视点获取单元获取人眼在待操作器件上的注视点的位置信息；
所述人眼动作检测单元检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制所述注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元；
所述控制信号生成单元根据预先存储的与所述待操作器件相应的位置控制对应表生成与所述当前位置信息相对应的控制信号，并将所述控制信号发送至待操作器件以供所述待操作器件执行相应的操作，所述位置控制对应表中存储有所述待操作器件上的各不同位置信息和各位置信息对应的控制信号。
本发明具有以下有益效果：
本发明提供了一种眼控装置及其眼控方法和眼控系统，其中该眼控装置包括：注视点获取单元、人眼动作检测单元和控制信号生成单元，注视点获取单元用于获取人眼在待操作器件上的注视点的位置信息；人眼动作检测单元用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元；控制信号生成单元用于根据预先存储的与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，并将控制信号发送至待操作器件以供待操作器件执行相应的操作。本发明的技术方案可有效的实现利用人眼来对待操作器件进行控制。
附图说明
图1为本发明实施例一提供的一种眼控装置的结构示意图；
图2为本发明实施例二中提供的眼控装置的具体应用示意图；
图3为本发明中注视点获取单元的一种结构示意图
图4为本发明中注视点获取单元的又一种结构示意图；
图5为本发明实施例二提供的一种眼控系统的结构示意图；
图6为本发明实施例二提供的又一种眼控系统的结构示意图；
图7为本发明实施例三提供的一种眼控方法的流程图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的眼控装置进行详细描述。
图1为本发明实施例一提供的一种眼控装置的结构示意图，如图1所示，该眼控装置包括：注视点获取单元1、人眼动作检测单元2和控制信号生成单元3，其中，注视点获取单元1与人眼动作检测单元2和控制信号生成单元3连接。注视点获取单元1用于获取人眼在待操作器上的注视点的位置信息；人眼动作检测单元2用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制注视点获取单元1将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元3；控制信号生成单元3用于根据预先存储的与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，并将控制信号发送至待操作器件以供待操作器件执行相应的操作。需要说明的是，该位置控制对应表中存储有待操作器件上的各不同位置信息和各位置信息对应的控制信号。
本实施例中，首先通过注视点获取单元1获取人眼在待操作器件上的注视点的位置信息，然后人眼动作检测单元2用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，将人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元3，最后控制信号生成单元3根据与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，以供操作器件基于该控制信号执行相应的操作，从而实现眼控。
需要说明的是，本发明中的待操作器件可以为手机、触控显示屏、PAD等电子设备。本发明中的连接既可以为有线连接，也可以为无线连接。
下面将结合实例来对本发明实现眼控的具体过程进行详细的描述。其中，假定待操作器件为一个触控显示屏，该触控显示屏在显示区域内设置有一些位置固定的软按键，在周边区域设置有一些位置固定的物理按键。
图2为本发明实施例二中提供的眼控装置的具体应用示意图，如图2所示，在进行眼控操作之前需要建立该触控显示屏4的位置控制对应表。需要说明的是，本实施例中以位置控制对应表中的位置信息具体为坐标信息为例进行说明，但是本领域技术人员应该知晓的是，本实施例中位置信息为坐标信息的情况仅起到示例性作用，这并不会对本申请的技术方案产生限制。在本申请中，凡是能够用于描述注视点在待操作器件上的具体位置的其他信息，也可作为注视点在待操作器件上的位置信息。
本实施例中，在建立位置控制对应表时，可以以该触控显示屏4的左下角为原点，以横向方向为X轴，纵向方向为Y轴，建立坐标系，然后将整个触控显示屏4进行坐标化，并设置n个分布均匀的不同位置的采样点，具体地，可在触控显示屏4上选取n个不同位置的采样点，这n个采样点构成一个a行、b列的采样阵列，在这个采样阵列中在任意两个在行方向上或列方向上相邻的采样点之间的距离相等。需要说明的是，这些采样点应该覆盖触控显示屏4上所有按键(软按键和物理案件)的位置。在设置完采样点之后，基于这些采样点，设计出与这些采样点对应的控制信号，并将与待操作器件5相对应的位置控制对应表存储于控制信号生成单元3中。其中，作为一种示例，该位置控制对应表的结构可参见下述表1，如下：
表1
位置信息 控制信号
(X1，Y1) 无操作控制信号
(X2，Y2) 音量调高控制信号
(X3，Y3) 音量调高控制信号
(X4，Y4) 音量调低控制信号
(X5，Y5) 音量调低控制信号
(X6，Y6) 开/关机控制信号
…… ……
…… ……
(Xn-2，Yn-2) 字符A输入控制信号
(Xn-1，Yn-1) 无操作控制信号
(Xn，Yn) 无操作控制信号
其中，当触控显示屏4接收到无操作控制信号时(对应人眼的注视点处没有对应的功能按键)，触控显示屏4不进行任何的操作；当触控显示屏4接收到音量调高控制信号时，触控显示屏4将执行音量调高的操作；当触控显示屏4接收字符A输入控制信号时，触控显示屏4将执行在显示屏的某一预设位置输入字符“A”……此时不再一一的举例说明。
由上述表1可见，一个位置信息对应一个控制信号，但是一个相同的控制信号可以对应两个或多个不同的位置信息，例如：坐标(X2，Y2)和坐标(X2，Y3)均对应音量调高控制信号。其原因在于，触控显示屏4上某些按键的尺寸较大，当采样点数量较多时，该尺寸较大的按键可能覆盖了两个或多个采样点。此时，当人眼的注视点的坐标落在(X2，Y2)或(X3，X3)时，均可认定人眼希望对音量调高按键进行操作。
下面将结合图2，以利用人眼控制触控显示屏4调高音量的场景为例，来对本实施例提供的眼控装置的工作过程进行详细的描述。
首先，用户将注视点移动到触控显示屏4上的音量调高按键处，此时，注视点获取单元1获取人眼在触控显示屏4上的注视点的位置信息。在实际操作过程中，注视点获取单元1获取到人眼在触控显示屏4上的注视点的位置坐标为(X2，Y2)或(X3，X3)。本实施例中，以注视点获取单元1获取到的位置坐标为(X2，Y2)为例进行说明。
图3为本发明中注视点获取单元的一种结构示意图，如图3所示，作为本实施例中视点获取单元的一种可选结构，该注视点获取单元1包括：红外发射模块6、第一人眼图像获取模块7、图像处理模块8和计算模块9，其中，红外发射模块6设置于待操作器件5上，用于向人眼发射红外光，并在人眼的两个瞳孔中形成光反射点，具体地，红外发射模块6包括四个红外线发射源，四个红外线发射源设置在待操作器件5的四角。第一人眼图像获取模块7设置于待操作器件5上，用于获取人眼图像(即用户的眼睛的图像)；图像处理模块8与第一人眼图像获取模块7连接，用于基于人眼图像建立图像坐标系，并对人眼图像进行处理以获得两个瞳孔中心和光反射点在图像坐标系中的坐标位置；计算模块9与图像处理模块8，用于根据两个瞳孔中心和光反射点在图像坐标系中的坐标，通过交比不变算法得到人眼在待操作器件5上的注视点的位置信息。更进一步地，本实施例中的注视点获取单元1可以还包括校正单元，用于根据线性定标算法对人眼在待操作器件5上的注视点的位置信息进行校正，以获得所述注视点在待操作器件5上的精确位置。
需要补充说明的是，图3中各注视点获取单元1中的图像处理模块8和计算模块9也可集成于对应的待操作器件5中。
图4为本发明中注视点获取单元的又一种结构示意图，如图4所示，作为本实施例中视点获取单元的又一种可选结构，该注视点获取单元1包括：眼镜10、场景获取模块11、第二人眼图像获取模块12、注视方向确定模块13和注视点确定模块14。其中，场景获取模块11设置于眼镜10上，用于获取人眼通过眼镜10所看到的场景图像，场景图像中包含有待操作器件5的图像；第二人眼图像获取模块12设置于眼镜10上，用于获取人眼图像；注视方向确定模块13与第二人眼图像获取模块12连接，用于根据人眼图像来确定人眼的注视方向；注视点确定模块14与场景获取模块11和注视方向确定模块13连接，用于根据场景图像和注视方向来确定人眼在待操作器件5上的注视点的位置信息。
其中，进一步可选地，注视方向确定模块13用于根据人眼图像中的瞳孔位置来确定人眼的注视方向。
需要进一步说明的是，本实施例中提供的上述两种注视点获取单元1仅起到示例性作用，本实施例中的注视点获取单元1还可以采用其他能够获取注视点位置的设备，例如：裸眼式眼动仪和可穿戴式眼动仪。
在用户将注视点移动到触控显示屏4上的音量调高按键处之后，用户控制眼睛作出预设动作，例如，保持人眼的注视点的位置不变2～3S，或者在预设时间内保持注视点位置不变的前提下快速眨眼3～5下。需要说明的是，本实施例中该预设动作并不限于上述两种示例，该预设动作可以根据用户的需求而进行相应的设定。
在人眼动作检测单元2检测出人眼作出预设动作时，人眼动作检测单元2控制注视点获取单元1将当前人眼在待操作器件5上的注视点的当前位置信息发送给控制信号生成单元3。具体地，人眼动作检测单元2控制注视点获取单元1将注视点的当前位置坐标(X2，Y2)发送给控制信号生成单元3。
需要说明的是，本实施例中的人眼动作检测单元2可以为具有摄像功能的设备，例如CCD。可选地，本实施例中的人眼动作检测单元2还可以通过上述的第一人眼图像获取模块7或者第二人眼图像获取模块12来获取到人眼的实时状态。
控制信号生成单元3接收到人眼在待操作器件5上的注视点的当前位置信息之后，基于预先存储的与待操作器件5相应的位置控制对应表生成与当前位置信息相对应的控制信号。具体地，控制信号生成单元3基于与触控显示屏4相应的位置控制对应表和当前位置坐标(X2，Y2)，以生成与位置坐标(X2，Y2)相对应的音量调高控制信号，并将该音量调高控制信号发送给触控显示屏4。
触控显示屏4接收到该音量调高控制信号之后，自行执行音量调高的操作，眼控流程完成。
本实施例提供的眼控装置能够有效的建立起人眼视线与待操作器件5之间的联系，从而有效的实现利用人眼对待操作器件5进行控制，进而提升了人机交互的体验感。
本发明实施例二提供了一种眼控系统，该眼控系统包括：眼控装置和若干个待操作器件5，其中所述眼控装置采用上述实施例一中的眼控装置，该眼控装置的具体描述可参见上述实施例一中的描述，此处不再赘述。
图5为本发明实施例二提供的一种眼控系统的结构示意图，如图5所示，作为本实施例中的一种可选方案，该眼控装置中的注视点获取单元1采用图3所示的注视点获取单元1，以用于裸眼眼控，该注视点获取单元1的具体结构可参见上述实施例一中相应内容的描述，此处不再赘述。在图5所示的眼控系统中包括若干个待操作器件(待操作器件A、待操作器件B……待操作器件Z),眼控装置中的待操作器件的数量与待操作器件的数量相等且一一对应，每个注视点获取单元1均设置在对应的待操作器件上，以在用户进行眼控时人眼在对应的待操作器件上的注视点的位置信息。
本实施例中，全部注视点获取单元1均连接至同一个控制信号生成单元3，该控制信号生成单元3存储有各待操作器件所对应的位置控制对应表，该控制信号生成单元3可向各待操作器件发送控制信息
可选地，在本实施例中，该眼控装置中的人眼动作检测单元2的数量与待操作器件的数量相等且一一对应，每个人眼动作检测单元2均设置在对应的待操作器件上，以在用户进行眼控时获取对应的待操作器件前的人眼图像，并根据人眼图像检测人眼是否作出预设动作。
本实施例以用户采用裸眼眼控的方式控制图5中的待操作器件B为例，来对该眼控系统的工作过程进行详细的描述。
在用户希望对待操作器件B进行操作时，用户需要移到与待操作器件B正对的位置，并将人眼的注视点移到待操作器件B上某一待操作的功能按键上，并控制人眼作出预设动作。此时，设置于待操作器件B上的注视点获取单元1能获取到人眼在待操作器件B上的注视点的位置信息(其他待操作器件上的注视点获取单元1无法检测到人眼的注视点的位置信息)，与待操作器件B对应的人眼动作检测单元2可以检测到人眼对待操作器件B作出了预设动作，此时人眼动作检测单元2将控制注视点获取单元1将人眼在待操作器件B上的注视点的当前位置信息发送给控制信号生成单元3。控制信号生成单元3接收到与待操作器件B相对应的注视点获取单元1发送的位置信息之后，则调出与待操作器件B相对应的位置控制对应表，并基于接收到的位置信息和调出的与待操作器件B相对应的位置控制对应表，生成相应的用于控制待操作器件B的控制信号，并将该控制信号发送给待操作器件B以供待操作器件B进行相应的操作。
需要说明的是，在图5所示的眼控系统中，人眼动作检测单元2可通过第一人眼图像获取模块7来获取到人眼的实时图像，并基于人眼的实时图像来获知人眼的动作。
图6为本发明实施例二提供的又一种眼控系统的结构示意图，如图6所示，该眼控装置中的注视点获取单元1采用图4所示的注视点获取单元1，以用于眼镜式眼控控制，该注视点获取单元1的具体结构可参见上述实施例一中相应内容的描述，此处不再赘述。在图6所示的眼控系统中包括若干个待操作器件(待操作器件A、待操作器件B……待操作器件Z),眼控装置中的注视点获取单元1的数量为1个，该眼控系统还包括：与待操作器件一一对应的若干个激活单元15，激活单元15设置在对应的待操作器件上，激活单元15用于在注视点获取单元1朝向与激活单元15相对应的待操作器件时激活眼控装置，并控制控制信号生成单元3调用与激活单元15相对应的待操作器件相应的位置控制对应表。
可选地，本实施例中，人眼动作检测单元2的数量为1个，人眼动作检测单元2设置在眼镜10上。
本实施例以用户采用眼镜式眼控的方式控制图6中的待操作器件B为例，来对该眼控系统的工作过程进行详细的描述。
在用户希望对待操作器件B进行操作时，用户需要将眼镜式注视点获取单元1(此时整个眼控装置都处于非工作状态)佩戴在眼睛前方，且移到与待操作器件B正对的位置，并将人眼的注视点移到待操作器件B上某一待操作的功能按键上，并控制人眼作出预设动作。此时，设置于待操作器件B上的激活单元15检测到注视点获取单元1正对待操作器件B，设置于待操作器件B上的激活单元15将眼控装置激活(眼控装置都处于工作状态)，并控制控制信号生成单元3调用与待操作器件B相对应的位置控制对应表。与此同时，由于眼控装置中的注视点获取单元1和人眼动作检测单元2都正常工作，则注视点获取单元1可获取到人眼在待操作器件B上的注视点的当前位置信息，人眼动作检测单元2可以检测到人眼作出了预设动作，并控制控制注视点获取单元1将人眼在待操作器件B上的注视点的当前位置信息发送给控制信号生成单元3。控制信号生成单元3接收到与待操作器件B相对应的注视点获取单元1发送的位置信息之后，根据接收到的位置信息和之前调出的与待操作器件B相对应的位置控制对应表，生成相应的用于控制待操作器件B的控制信号，并将该控制信号发送给待操作器件B以供待操作器件B进行相应的操作。
需要说明的是，在图5所示的眼控系统中，人眼动作检测单元2可通过第二人眼图像获取模块12(人眼动作检测单元2与第二人眼图像通过无线连接)来获取到人眼的实时图像，并基于人眼的实时图像来获知人眼的动作。当然，本实施例中控制信号生成单元3也可与图4中的注视点确定模块14无线连接，以接收注视点确定模块14传递的位置信息。
本发明实施例二提供的眼控系统中，该眼控系统结构简单，且仅需利用一个控制信号生成单元来对应多个待操作器件，因此整个眼控系统的成本可以大大降低。
图7为本发明实施例三提供的一种眼控方法的流程图，如图7所示，该眼控方法基于眼控装置，该眼控装置采用上述实施例一中提供的眼控装置，该眼控装置具体结构可参见上述实施例一中的描述，此处不再赘述，该眼控方法包括：
步骤101：注视点获取单元获取人眼在待操作器件上的注视点的位置信息。
步骤102：人眼动作检测单元检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元。
步骤103：控制信号生成单元根据预先存储的与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，并将控制信号发送至待操作器件以供待操作器件执行相应的操作。
需要说明的是，在位置控制对应表中存储有待操作器件上的各不同位置信息和各位置信息对应的控制信号。
本发明实施例三提供了一种眼控方法，首先通过注视点获取单元获取人眼在待操作器件上的注视点的位置信息，然后人眼动作检测单元用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，将人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元，最后控制信号生成单元根据与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，以供操作器件基于该控制信号执行相应的操作，从而实现利用人眼来对待操作器件进行控制。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (2)

1.一种眼控系统，其特征在于，包括：若干个待操作器件和眼控装置；
所述眼控装置包括：
注视点获取单元，用于获取人眼在待操作器件上的注视点的位置信息；
人眼动作检测单元，用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制所述注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元；
控制信号生成单元，用于根据预先存储的与所述待操作器件相应的位置控制对应表生成与所述当前位置信息相对应的控制信号，并将所述控制信号发送至待操作器件以供所述待操作器件执行相应的操作；
所述位置控制对应表中存储有所述待操作器件上的不同的位置信息和与所述位置信息相对应的控制信号；
所述注视点获取单元包括：
眼镜；
场景获取模块，设置于所述眼镜上，用于获取人眼通过所述眼镜所看到的场景图像，所述场景图像中包含有所述待操作器件的图像；
第二人眼图像获取模块，设置于所述眼镜上，用于获取人眼图像；
注视方向确定模块，用于根据所述人眼图像来确定人眼的注视方向；
注视点确定模块，用于根据所述场景图像和所述注视方向来确定人眼在待操作器件上的注视点的位置信息；
所述眼控装置中的所述注视点获取单元的数量为1个；
所述眼控系统还包括：与所述待操作器件一一对应的若干个激活单元，所述激活单元设置在对应的所述待操作器件上；
所述激活单元用于在所述注视点获取单元朝向与所述激活单元相对应的待操作器件时激活所述眼控装置，并控制所述控制信号生成单元调用与所述激活单元相对应的待操作器件的位置控制对应表。
2.根据权利要求1所述的眼控系统，其特征在于，所述人眼动作检测单元的数量为1个，所述人眼动作检测单元设置在所述眼镜上。
CN201510280294.2A 2015-05-27 2015-05-27 眼控装置及其眼控方法和眼控系统 Expired - Fee Related CN104866100B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510280294.2A CN104866100B (zh) 2015-05-27 2015-05-27 眼控装置及其眼控方法和眼控系统
PCT/CN2016/079259 WO2016188258A1 (zh) 2015-05-27 2016-04-14 眼控装置、眼控方法和眼控系统
US15/511,861 US10372206B2 (en) 2015-05-27 2016-04-14 Eye-controlled apparatus, eye-controlled method and eye-controlled system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510280294.2A CN104866100B (zh) 2015-05-27 2015-05-27 眼控装置及其眼控方法和眼控系统

Publications (2)

Publication Number Publication Date
CN104866100A CN104866100A (zh) 2015-08-26
CN104866100B true CN104866100B (zh) 2018-11-23

Family

ID=53911981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510280294.2A Expired - Fee Related CN104866100B (zh) 2015-05-27 2015-05-27 眼控装置及其眼控方法和眼控系统

Country Status (3)

Country Link
US (1) US10372206B2 (zh)
CN (1) CN104866100B (zh)
WO (1) WO2016188258A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866100B (zh) 2015-05-27 2018-11-23 京东方科技集团股份有限公司 眼控装置及其眼控方法和眼控系统
CN105046283A (zh) * 2015-08-31 2015-11-11 宇龙计算机通信科技(深圳)有限公司 终端操作方法和终端操作装置
CN105373225B (zh) * 2015-10-26 2018-11-20 深圳中发明科技开发有限公司 用眼进行控制的方法以及装置
CN105373720B (zh) * 2015-10-28 2018-04-20 广东欧珀移动通信有限公司 一种应用于移动终端的模块控制方法及装置
CN105867603A (zh) * 2015-12-08 2016-08-17 乐视致新电子科技（天津）有限公司 一种眼控方法及装置
CN105892642A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术（北京）有限公司 一种根据眼部动作对终端进行控制的方法及装置
CN105677040A (zh) * 2016-02-17 2016-06-15 深圳创维数字技术有限公司 一种终端控制方法、装置及可穿戴设备
CN106476281B (zh) * 2016-09-14 2018-07-10 西安科技大学 基于眨眼识别与视觉诱发的3d打印机控制方法
CN107027014A (zh) * 2017-03-23 2017-08-08 广景视睿科技（深圳）有限公司 一种动向智能投影系统及其方法
CN107219921B (zh) 2017-05-19 2019-09-27 京东方科技集团股份有限公司 一种操作动作执行方法及其系统
CN107506030B (zh) * 2017-08-16 2021-03-30 陈乾 视控仪
CN107562208A (zh) * 2017-09-27 2018-01-09 上海展扬通信技术有限公司 一种基于视觉的智能终端控制方法及智能终端控制系统
CN110069960A (zh) * 2018-01-22 2019-07-30 北京亮亮视野科技有限公司 基于视线运动轨迹的拍摄控制方法、系统及智能眼镜
CN108491072B (zh) 2018-03-05 2020-01-21 京东方科技集团股份有限公司 一种虚拟现实交互方法及装置
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN108904163A (zh) * 2018-06-22 2018-11-30 北京信息科技大学 轮椅控制方法及系统
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
JP7219041B2 (ja) * 2018-10-05 2023-02-07 現代自動車株式会社 注視検出装置及びその輻輳制御方法
CN109508092A (zh) * 2018-11-08 2019-03-22 北京七鑫易维信息技术有限公司 基于眼球追踪控制终端设备的方法、装置和终端
CN111297209A (zh) * 2020-03-17 2020-06-19 南京航空航天大学 一种基于眼球驱动与控制的自动煮饭系统
CN111336644A (zh) * 2020-03-17 2020-06-26 南京航空航天大学 一种基于眼球驱动控制的空调调节系统
CN111399648A (zh) * 2020-03-17 2020-07-10 南京航空航天大学 一种基于眼球驱动与控制的早教图画交互系统
CN111459285B (zh) * 2020-04-10 2023-12-12 康佳集团股份有限公司 基于眼控技术的显示设备控制方法、显示设备及存储介质
US11995774B2 (en) * 2020-06-29 2024-05-28 Snap Inc. Augmented reality experiences using speech and text captions
CN114578966B (zh) * 2022-03-07 2024-02-06 北京百度网讯科技有限公司 交互方法、装置、头戴显示设备、电子设备及介质
CN116795212B (zh) * 2023-06-19 2024-03-01 深圳市晚成辉电子有限公司 一种等离子显示屏的控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176755A (zh) * 2010-12-24 2011-09-07 青岛海信数字多媒体技术国家重点实验室有限公司 基于眼动三维显示角度的控制方法及装置
CN103324290A (zh) * 2013-07-04 2013-09-25 深圳市中兴移动通信有限公司 终端设备及其眼睛操控方法
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子（中国）研发中心 控制显示器的方法及设备
CN103838372A (zh) * 2013-11-22 2014-06-04 北京智谷睿拓技术服务有限公司 智能眼镜的智能功能开启/关闭方法和开启/关闭系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US9053581B2 (en) * 2012-01-05 2015-06-09 Google Technology Holdings LLC Hidden line grids in a browser environment
JP5945417B2 (ja) 2012-01-06 2016-07-05 京セラ株式会社 電子機器
KR101919009B1 (ko) 2012-03-06 2018-11-16 삼성전자주식회사 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端
CN104348969A (zh) * 2013-09-05 2015-02-11 陈英时 一种利用视线凝视操作手机的方法
CN104866100B (zh) * 2015-05-27 2018-11-23 京东方科技集团股份有限公司 眼控装置及其眼控方法和眼控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176755A (zh) * 2010-12-24 2011-09-07 青岛海信数字多媒体技术国家重点实验室有限公司 基于眼动三维显示角度的控制方法及装置
CN103324290A (zh) * 2013-07-04 2013-09-25 深圳市中兴移动通信有限公司 终端设备及其眼睛操控方法
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子（中国）研发中心 控制显示器的方法及设备
CN103838372A (zh) * 2013-11-22 2014-06-04 北京智谷睿拓技术服务有限公司 智能眼镜的智能功能开启/关闭方法和开启/关闭系统

Also Published As

Publication number Publication date
WO2016188258A1 (zh) 2016-12-01
US20170293357A1 (en) 2017-10-12
CN104866100A (zh) 2015-08-26
US10372206B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
CN104866100B (zh) 眼控装置及其眼控方法和眼控系统
US11543887B2 (en) User interface control of responsive devices
CN103873813B (zh) 一种会议电视多画面切换的方法及系统
US8577100B2 (en) Remote input method using fingerprint recognition sensor
CN109791468A (zh) 用于双手控制的用户界面
CN106909297A (zh) 一种数据通信处理方法、装置及电子设备、触摸显示设备
CN106200944A (zh) 一种对象的控制方法、控制装置和控制系统
CN113209601B (zh) 界面显示方法、装置、电子设备及存储介质
CN107257506A (zh) 多画面特效加载方法和装置
JP2014209336A (ja) 情報処理装置および入力支援方法
US20160117140A1 (en) Electronic apparatus, processing method, and storage medium
CN108200228A (zh) 终端指纹识别模组管理方法、终端及计算机可读存储介质
KR20180036205A (ko) 시뮬레이션용 스마트 테이블 장치
Lee et al. Mobile gesture interaction using wearable tactile displays
CN113498029B (zh) 交互式广播
CN103809846A (zh) 一种功能调用方法及电子设备
CN107066125B (zh) 鼠标及鼠标图形对象的显示方法
KR20210019748A (ko) 멀티터치를 지원하지 않는 앱사용에 따른 터치스크린 시스템의 싱글터치 변환장치
KR102586144B1 (ko) 딥러닝을 이용한 손 움직임 추적방법 및 장치
CN102915149A (zh) 触摸控制手持设备
JP6523509B1 (ja) ゲームプログラム、方法、および情報処理装置
JP7182324B1 (ja) プログラム、情報処理装置及び方法
RU115937U1 (ru) Устройство пользовательского ввода
CN107864390A (zh) 电视机的控制方法、电视机和计算机存储介质
WO2024202705A1 (ja) プログラム、情報処理装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181123