CN111459285B - 基于眼控技术的显示设备控制方法、显示设备及存储介质 - Google Patents
基于眼控技术的显示设备控制方法、显示设备及存储介质 Download PDFInfo
- Publication number
- CN111459285B CN111459285B CN202010279397.8A CN202010279397A CN111459285B CN 111459285 B CN111459285 B CN 111459285B CN 202010279397 A CN202010279397 A CN 202010279397A CN 111459285 B CN111459285 B CN 111459285B
- Authority
- CN
- China
- Prior art keywords
- eye
- user
- display device
- viewpoint position
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 52
- 210000001508 eye Anatomy 0.000 claims abstract description 147
- 230000009471 action Effects 0.000 claims description 36
- 210000005252 bulbus oculi Anatomy 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 18
- 230000000903 blocking effect Effects 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000027089 Parkinsonian disease Diseases 0.000 description 1
- 206010034010 Parkinsonism Diseases 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001660 hyperkinetic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明所提供的基于眼控技术的显示设备控制方法、显示设备及存储介质，包括：实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置；查询预先存储的当前显示场景中视点位置与控制指令之间的第一对应关系，获得与所述当前视点位置相对应的控制指令；对所述控制指令进行响应，对当前显示场景进行相应的控制。本发明通过确定用户眼睛在显示设备上的当前视点位置，查找第一对应关系，从而确定控制指令，实现通过眼睛控制显示设备的操作，无需用户用手操作，非常方便。
Description
技术领域
本发明涉及显示设备控制技术领域，尤其涉及的是基于眼控技术的显示设备控制方法、显示设备及存储介质。
背景技术
随着科技的发展，各种显示设备(如智能电视、电脑显示器、PAD或手机等)的使用越来越多，而各种显示设备都需要用户用手进行操作，对显示设备进行相应的控制，但是，若用户的双手都被占用，则无法使用双手对显示设备进行操作，给用户带来了不便。
因此，现有技术存在缺陷，有待改进与发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供基于眼控技术的显示设备控制方法、显示设备及存储介质，旨在解决现有的显示设备必须需要用户用手操作控制，当用户无法使用双手对显示设备进行操作时会给用户带来不便的问题。
本发明解决技术问题所采用的技术方案如下：
一种基于眼控技术的显示设备控制方法，其中，包括：
实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置；
查询预先存储的当前显示场景中视点位置与控制指令之间的第一对应关系，获得与所述当前视点位置相对应的控制指令；
对所述控制指令进行响应，对当前显示场景进行相应的控制。
进一步地，所述实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置之前还包括：
预先存储显示设备的显示场景，及显示场景中视点位置与控制指令之间的第一对应关系。
进一步地，所述基于眼控技术的显示设备控制方法还包括：
预先存储显示场景中眼部动作与控制指令之间的第二对应关系；
实时获取用户的眼部动作，根据所述眼部动作查询所述第二对应关系，获得与当前眼部动作相对应的控制指令；
对所述控制指令进行响应，对当前显示场景进行相应的控制。
进一步地，所述实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置，具体包括：
通过图像实时捕捉眼球特征或实时扫描提取眼球特征，根据眼球特征分析得到用户眼睛注视位置；
根据用户眼睛注视位置确定用户眼睛注视位置在显示设备上对应的当前视点位置。
进一步地，所述基于眼控技术的显示设备控制方法包括：
预先设置块化UI界面，所述块化UI界面上包括功能区域块；
若当前显示场景为遥控场景，显示设备上显示块化UI界面，判断用户眼睛在块化UI界面上的当前视点位置；
当检测到当前视点位置在屏幕电源上，且持续第一预设时间时，开启屏幕电源或弹出关机询问对话框；
当检测到当前视点位置在功能区域块上时，选定所述功能区域块，并检测用户眼部动作，查询第二对应关系，对所述功能区域块做出确定或拖动操作；
当检测到当前视点位置在音量控制栏上时，自动锁定音量控制滑块按键，并检测用户眼部动作，查询第二对应关系，对音量进行调节；
当检测到显示界面为播放器时，若当前视点位置在第一预设位置，则显示操作功能栏，若检测到用户离开，且持续第二预设时间时，控制播放器自动暂停或关闭。
进一步地，所述基于眼控技术的显示设备控制方法包括：
若当前显示场景为页面浏览场景，当检测到当前视点位置在第二预设位置时，对页面进行不间断的浏览控制；
当检测到当前视点位置在翻页标识上时，进行自动翻页操作；
当检测到用户眼部动作为预设放大动作时，对当前视点范围所在的预设目标区域进行自动放大；
当检测到当前视点位置在屏幕的键盘上时，根据当前视点位置对应的键盘文字进行文字输入。
进一步地，所述基于眼控技术的显示设备控制方法包括：
若当前显示场景为VR游戏场景，根据用户的眼睛注视位置和/或眼部动作，查找第一对应关系和第二对应关系；
根据所述第一对应关系和第二对应关系查找对应的游戏动作；
所述显示设备响应所述游戏动作。
进一步地，所述基于眼控技术的显示设备控制方法包括：
若当前显示场景为数据分析场景，则根据用户眼睛注视位置，采集用户的视点位置、所述视点位置对应的界面元素、视点轨迹及停留时间；
将采集到的视点位置、所述视点位置对应的界面元素、视点轨迹及停留时间进行保存；
通过数据分析，获得用户的信息获取行为数据。
进一步地，所述基于眼控技术的显示设备控制方法包括：
当检测到当前视点位置位于显示设备的特定区域，或者检测到用户的眼部动作为特定眼部动作时，执行取消或返回操作指令。
本发明还提供一种显示设备，其中，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于眼控技术的显示设备控制程序，所述基于眼控技术的显示设备控制程序被所述处理器执行时实现如上所述的基于眼控技术的显示设备控制方法的步骤。
本发明还提供一种存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于眼控技术的显示设备控制方法的步骤。
本发明所提供的基于眼控技术的显示设备控制方法、显示设备及存储介质，包括：实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置；查询预先存储的当前显示场景中视点位置与控制指令之间的第一对应关系，获得与所述当前视点位置相对应的控制指令；对所述控制指令进行响应，对当前显示场景进行相应的控制。本发明通过确定用户眼睛在显示设备上的当前视点位置，查找第一对应关系，从而确定控制指令，实现通过眼睛控制显示设备的操作，无需用户用手操作，非常方便。
附图说明
图1是本发明中基于眼控技术的显示设备控制方法较佳实施例的流程图。
图2是本发明中显示设备较佳实施例的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
眼球技术是一门新兴技术，主要包括眼球识别与眼球追踪；其主要是依靠电子摄像头、红外检测或者无线传感等方式实现用眼睛控制电子产品。眼球追踪，又称注视点追踪，是利用传感器捕获、提取眼球特征信息，测量眼睛的运动情况，估计视线方向或眼睛注视点位置的技术。当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。
请参见图1，图1是本发明中基于眼控技术的显示设备控制方法的流程图。如图1所示，本发明实施例所述的基于眼控技术的显示设备控制方法包括以下步骤：
S100、实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置。
具体的，本发明的显示设备是指电视机、电脑显示器、pad、手机等电子产品。显示设备一般都具有摄像头，摄像头除了视频聊天、人像、手势识别等智能交互操作外，还可以加入红外等感应器，进行眼球定位跟踪，计算用户的关注点，用户可方便地进行眼球操控产品等，同时后台进行大数据收集和分析，其商业和技术价值意义重大。在一种实现方式中，可在显示设备上设置眼控仪，并在眼控仪中内置红外光源、光学传感器、图像处理器以及视点计算核心；从而创建对应的图像投射到人眼上，捕获用户头部、眼睛的图像信息，提取捕获图像的特征，精确计算视点位置。
在一种实现方式中，所述步骤S100之前还包括：预先存储显示设备的显示场景，及显示场景中视点位置与控制指令之间的第一对应关系。
也就是说，针对不同的显示场景，用户注视的显示设备的同一个位置代表的操作并不相同。显示设备中预先存储有不同的显示场景，以及每个显示场景中，用户注视的视点位置代表的操作。当然的，用户还可以自定义视点位置与控制指令之间的关系，这样用户可根据自己的习惯进行眼球操作，提高了操作的方便性。
进一步地，所述步骤S100具体包括：
S110、通过图像实时捕捉眼球特征或实时扫描提取眼球特征，根据眼球特征分析得到用户眼睛注视位置；
S120、根据用户眼睛注视位置确定用户眼睛注视位置在显示设备上对应的当前视点位置。
具体的，眼球追踪技术是一项科学应用技术，一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。
S200、查询预先存储的当前显示场景中视点位置与控制指令之间的第一对应关系，获得与所述当前视点位置相对应的控制指令。
具体的，确定好用户的当前视点位置后，查询第一对应关系中该点对应的控制指令，该控制指令即为显示设备需要执行的指令。
S300、对所述控制指令进行响应，对当前显示场景进行相应的控制。
具体的，显示设备响应该控制指令，完成用户想要的操作；也就是说，整个过程只需要用户按照第一对应关系进行眼球控制，显示设备就会根据眼球控制进行相应的操作，无需用户用手操作，非常方便。
进一步地，所述基于眼控技术的显示设备控制方法还包括：
S10、预先存储显示场景中眼部动作与控制指令之间的第二对应关系；
S20、实时获取用户的眼部动作，根据所述眼部动作查询所述第二对应关系，获得与当前眼部动作相对应的控制指令；
S30、对所述控制指令进行响应，对当前显示场景进行相应的控制。
具体的，在进行眼球控制的同时，可以设置眼部动作进行辅助，例如眨眼动作代表确定。
在一种实现方式中，显示场景分为：遥控场景、页面浏览场景、VR游戏场景和数据分析场景等。
进一步地，所述遥控场景是指需要用户使用遥控器或鼠标进行操作的显示场景。为了提高眼球操作的准确性，预先设置块化UI界面，所述块化UI界面上包括功能区域块；这样的设计有利于用户视点位置在屏幕上准确定位，利用眼控技术可以轻松的对功能区域块进行选择。若当前显示场景为遥控场景，则执行以下操作：
A1、显示设备上显示块化UI界面，判断用户眼睛在块化UI界面上的当前视点位置。
A2、当检测到当前视点位置在屏幕电源上，且持续第一预设时间时，开启屏幕电源或弹出关机询问对话框。也就是说，本发明可利用眼控技术实现开/关屏幕电源功能。具体的，在待机状态下，注视电源指示灯区域数秒(即第一预设时间)，开启屏幕电源，该功能缺省为关闭，用户可自定义开启。在开机状态下，注视电源指示灯区域数秒(即第一预设时间)，弹出关机询问对话框。所述第一预设时间可以设置为大于等于某数值。
A3、当检测到当前视点位置在功能区域块上时，选定所述功能区域块，并检测用户眼部动作，查询第二对应关系，对所述功能区域块做出确定或拖动操作。也就是说，在选定功能区域块时，配合明显的眼部动作进行快速操作或操作遥控器的“确认”键。例如快速眨眼2次为“确定”动作，目光平移为拖动操作等等。即，在第二对应关系中存储快速眨眼2次与确定指令的关联关系，以及目光平移与拖动指令的关联关系。
A4、当检测到当前视点位置在音量控制栏上时，自动锁定音量控制滑块按键，并检测用户眼部动作，查询第二对应关系，对音量进行调节。也就是说，本发明可利用眼控技术实现控制音量的功能。例如，可自定义“音量控制隐藏栏”位置，当用户的视点位置处于该位置数秒(可自定义)后，“音量控制栏”显现，并自动锁定音量控制滑块按键，用户平移目光进行音量大小的控制。
A5、当检测到显示界面为播放器时，若当前视点位置在第一预设位置，则显示操作功能栏，若检测到用户离开，且持续第二预设时间时，控制播放器自动暂停或关闭。也就是说，本发明可通过眼控技术对播放器进行控制。例如，在影视或音乐播放过程中，目光移至屏幕边角处(即第一预设位置)，并持续数秒，隐藏式“操作功能栏”浮现，可进行相关的暂停、回放等操作。另外，本发明还设置有自动暂停播放模式，在观看影片时，用户若暂时离开，例如上洗手间或打瞌睡时，红外感应器自动捕捉到用户目光离开屏幕区域数秒(即第二预设时间)，画面自动暂停在用户目光的最后画帧上，数分钟后(可自定义)自动关闭屏幕电源。
在一种实现方式中，若当前显示场景为页面浏览场景，则执行以下操作：
B1、当检测到当前视点位置在第二预设位置时，对页面进行不间断的浏览控制。也就是说，本发明通过眼控技术实现页面自动滚动功能。具体的，根据用户的浏览习惯及动作，进行智能页面滚动，用户目光只需停留在一个比较舒适的位置(第二预设位置，可自定义)，即可进行不间断的浏览。
B2、当检测到当前视点位置在翻页标识上时，进行自动翻页操作。也就是说，本发明通过眼控技术实现自动翻页功能。具体的，网页浏览、界面操作时，目光停留在下边角“下一页”或“上一页”(即翻页标识)时进行智能翻页。
B3、当检测到用户眼部动作为预设放大动作时，对当前视点范围所在的预设目标区域进行自动放大。也就是说，本发明通过眼控技术实现智能放大镜功能。具体的，用户在进行页面浏览时，若看到特别感兴趣的内容或看不清楚的内容，瞳孔(放大或缩小)或动作上均有不自觉的反应(眯眼或动作前倾)。可将上述动作设置为预设放大动作，并预先在第二对应关系中存储预设放大动作和智能放大的关联关系。当显示设备采集到预设放大动作时，显示设备则对用户目光范围内的内容进行智能放大，方便阅读。另外，在用户浏览商品图片信息时，还可对用户所关注的细节进行局部放大。
B4、当检测到当前视点位置在屏幕的键盘上时，根据当前视点位置对应的键盘文字进行文字输入。也就是说，本发明通过眼控技术实现文字输入功能。具体的，注视字母，配合眨动眼睑动作“确认”，进行快速打字；还可以配合手指按遥控器“确认”键，甚至可采用“摩尔斯电码”形式进行眼睑文字输入(该功能针对特殊人群)。
在一种实现方式中，若当前显示场景为VR游戏场景，则执行以下操作：
C1、根据用户的眼睛注视位置和/或眼部动作，查找第一对应关系和第二对应关系；
C2、根据所述第一对应关系和第二对应关系查找对应的游戏动作；
C3、所述显示设备响应所述游戏动作。
当人眼在看屏幕时，虽然整个屏幕都可以看到，但是只有中央凹视野是清晰的，其他区域成像模糊，因此在画面渲染过程中只需要渲染中央凹视野很小的范围，对周边视野区域进行模糊渲染。因此，进行局部渲染可提高显示效率，并降低功耗、成本和AR/VR硬件重量，提高沉浸感。比如，战斗机游戏中，可以体验真实的眼球锁定目标进行打击的快感。
具体的，本发明可利用眼控技术实现目标瞄准功能、目光控制方向及场景切换等功能。对于目标瞄准功能，在射击游戏内攻击对象、瞄准目标、指定位置这些操作时，只需一个目光就能完成，无需手柄和鼠标，配合其他肢体工作，如食指扳动，手势等动作，完成“击杀”操作；例如CS、打地鼠等游戏。对于目光控制方向及场景切换功能，可通过目光对应的视点位置控制行进方向，及游戏的场景切换。
在一种实现方式中，若当前显示场景为数据分析场景，则执行以下操作：
D1、根据用户眼睛注视位置，采集用户的视点位置、所述视点位置对应的界面元素、视点轨迹及停留时间；
D2、将采集到的视点位置、所述视点位置对应的界面元素、视点轨迹及停留时间进行保存；
D3、通过数据分析，获得用户的信息获取行为数据。
也就是说，本发明通过眼控技术获得用户的信息获取行为数据。客户与产品、服务产生的交互数据即可直接根据眼球追踪，从用户的眼中收集而来，而无需依靠调查。眼球追踪将人们的视觉获取信息的行为显性化，让开发者有机会去观察用户是如何从网页界面上获取信息的，通过用户在界面上的视点轨迹和停留时间判断界面元素被注意的程度。注意程度分布会受到界面因素的影响，如按钮颜色、字体大小、形状，也会受到来自用户的内源因素的影响，如用户使用情境、当前任务、情绪状态、个人使用经验等。这样，可应用到广告、界面设计效果检验上，以提高效果检验的准确性；可以收集用户的潜在兴趣内容，以便个性化精准推送；可以通过收集海量的用户体验数据，丰富完善“眼控技术”的大数据库建设，用统计方法提高“眼控”技术的准确性及反应速度。
在一种实现方式中，为了防止显示设备误判或用户误操作，所述基于眼控技术的显示设备控制方法还包括：当检测到当前视点位置位于显示设备的特定区域，或者检测到用户的眼部动作为特定眼部动作时，执行取消或返回操作指令。具体的，预先设置显示设备的特定区域，或者预先设置特定眼部动作，将特定区域和/或特定眼部动作与取消、返回操作指令相对应。若显示设备出现误判或者用户误操作时，用户可控制显示设备执行取消或返回操作。也就是说，当检测到用户的视点位置落在特定区域时，取消上一步操作或返回上一界面；或者当检测到用户做出特定眼部动作时，取消上一步操作或返回上一界面。
进一步地，还可以预先设置眼控触发区域，当检测到用户的当前视点位置在眼控触发区域时，弹出是否确认对话框，若接收到用户的确认指令，则开启显示设备整个屏幕的眼控操作。这样，当用户需要使用眼控技术操作整个屏幕时，主动开启眼控操作；不需要使用时则不开启，防止了观看屏幕过程中的误判。并且，当在预设时间段内检测不到用户做出的有效注视位置或有效眼部动作时，则关闭眼控操作。
另外，眼控技术还运用在医疗及特殊人群上，例如自闭症，帮助自闭症孩子纠正一些感知差异，从而缓解病症；通过测量眼跳运动和瞳孔反应，诊断精神分裂症、帕金森症、多动症、脑震荡等病症，渐冻人，瘫痪人士，将此技术运用于实际生活中，使残障人士能够通过眼球进行控制，帮助他们平等地感受到智能带来的便捷生活。
请参阅图2，本发明还提供一种显示设备，其中，包括存储器10、处理器20及存储在所述存储器10上并可在所述处理器20上运行的基于眼控技术的显示设备控制程序，所述基于眼控技术的显示设备控制程序被所述处理器执行时实现如上所述的基于眼控技术的显示设备控制方法的步骤；具体如上所述。
本发明还提供一种存储介质，其中，所述存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如上所述的基于眼控技术的显示设备控制方法的步骤；具体如上所述。
综上所述，本发明公开的基于眼控技术的显示设备控制方法、显示设备及存储介质，包括：实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置；查询预先存储的当前显示场景中视点位置与控制指令之间的第一对应关系，获得与所述当前视点位置相对应的控制指令；对所述控制指令进行响应，对当前显示场景进行相应的控制。本发明通过确定用户眼睛在显示设备上的当前视点位置，查找第一对应关系，从而确定控制指令，实现通过眼睛控制显示设备的操作，无需用户用手操作，非常方便。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种基于眼控技术的显示设备控制方法，其特征在于，包括：
实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置；
查询预先存储的当前显示场景中视点位置与控制指令之间的第一对应关系，获得与所述当前视点位置相对应的控制指令；
对所述控制指令进行响应，对当前显示场景进行相应的控制；
所述实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置之前还包括：
预先存储显示设备的显示场景，及显示场景中视点位置与控制指令之间的第一对应关系；
所述基于眼控技术的显示设备控制方法还包括：
预先存储显示场景中眼部动作与控制指令之间的第二对应关系；
实时获取用户的眼部动作，根据所述眼部动作查询所述第二对应关系，获得与当前眼部动作相对应的控制指令；
对所述控制指令进行响应，对当前显示场景进行相应的控制；
若当前显示场景为VR游戏场景，根据用户的眼睛注视位置和/或眼部动作，查找第一对应关系和第二对应关系；
根据所述第一对应关系和第二对应关系查找对应的游戏动作；
所述显示设备响应所述游戏动作；
若当前显示场景为数据分析场景，则根据用户眼睛注视位置，采集用户的视点位置、所述视点位置对应的界面元素、视点轨迹及停留时间；
将采集到的视点位置、所述视点位置对应的界面元素、视点轨迹及停留时间进行保存；
通过数据分析，获得用户的信息获取行为数据；
当检测到用户眼部动作为预设放大动作时，对当前视点范围所在的预设目标区域进行自动放大；
预先设置眼控触发区域，当检测到用户的当前视点位置在眼控触发区域时，弹出是否确认对话框，若接收到用户的确认指令，则开启显示设备整个屏幕的眼控操作。
2.根据权利要求1所述的基于眼控技术的显示设备控制方法，其特征在于，所述实时获取用户眼睛注视位置，确定用户眼睛在显示设备上的当前视点位置，具体包括：
通过图像实时捕捉眼球特征或实时扫描提取眼球特征，根据眼球特征分析得到用户眼睛注视位置；
根据用户眼睛注视位置确定用户眼睛注视位置在显示设备上对应的当前视点位置。
3.根据权利要求1所述的基于眼控技术的显示设备控制方法，其特征在于，所述基于眼控技术的显示设备控制方法包括：
预先设置块化UI界面，所述块化UI界面上包括功能区域块；
若当前显示场景为遥控场景，显示设备上显示块化UI界面，判断用户眼睛在块化UI界面上的当前视点位置；
当检测到当前视点位置在屏幕电源上，且持续第一预设时间时，开启屏幕电源或弹出关机询问对话框；
当检测到当前视点位置在功能区域块上时，选定所述功能区域块，并检测用户眼部动作，查询第二对应关系，对所述功能区域块做出确定或拖动操作；
当检测到当前视点位置在音量控制栏上时，自动锁定音量控制滑块按键，并检测用户眼部动作，查询第二对应关系，对音量进行调节；
当检测到显示界面为播放器时，若当前视点位置在第一预设位置，则显示操作功能栏，若检测到用户离开，且持续第二预设时间时，控制播放器自动暂停或关闭。
4.根据权利要求1所述的基于眼控技术的显示设备控制方法，其特征在于，所述基于眼控技术的显示设备控制方法包括：
若当前显示场景为页面浏览场景，当检测到当前视点位置在第二预设位置时，对页面进行不间断的浏览控制；
当检测到当前视点位置在翻页标识上时，进行自动翻页操作；
当检测到当前视点位置在屏幕的键盘上时，根据当前视点位置对应的键盘文字进行文字输入。
5.根据权利要求1所述的基于眼控技术的显示设备控制方法，其特征在于，所述基于眼控技术的显示设备控制方法包括：
当检测到当前视点位置位于显示设备的特定区域，或者检测到用户的眼部动作为特定眼部动作时，执行取消或返回操作指令。
6.一种显示设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于眼控技术的显示设备控制程序，所述基于眼控技术的显示设备控制程序被所述处理器执行时实现如权利要求1-5任一项所述的基于眼控技术的显示设备控制方法的步骤。
7.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序能够被执行以用于实现如权利要求1-5任一项所述的基于眼控技术的显示设备控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010279397.8A CN111459285B (zh) | 2020-04-10 | 2020-04-10 | 基于眼控技术的显示设备控制方法、显示设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010279397.8A CN111459285B (zh) | 2020-04-10 | 2020-04-10 | 基于眼控技术的显示设备控制方法、显示设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111459285A CN111459285A (zh) | 2020-07-28 |
| CN111459285B true CN111459285B (zh) | 2023-12-12 |
Family
ID=71682998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010279397.8A Active CN111459285B (zh) | 2020-04-10 | 2020-04-10 | 基于眼控技术的显示设备控制方法、显示设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111459285B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111930234A (zh) * | 2020-08-05 | 2020-11-13 | 西安闻泰电子科技有限公司 | 基于眼睛控制的输入方法、装置、电子设备及存储介质 |
| CN114845165A (zh) * | 2022-04-28 | 2022-08-02 | 深圳创维－Rgb电子有限公司 | 界面显示方法、装置、设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102981625A (zh) * | 2012-12-05 | 2013-03-20 | 深圳Tcl新技术有限公司 | 眼动遥控方法和系统 |
| CN103324290A (zh) * | 2013-07-04 | 2013-09-25 | 深圳市中兴移动通信有限公司 | 终端设备及其眼睛操控方法 |
| CN103376891A (zh) * | 2012-04-23 | 2013-10-30 | 凹凸电子（武汉）有限公司 | 多媒体系统，显示装置的控制方法及控制器 |
| CN104866100A (zh) * | 2015-05-27 | 2015-08-26 | 京东方科技集团股份有限公司 | 眼控装置及其眼控方法和眼控系统 |
| CN105630135A (zh) * | 2014-10-27 | 2016-06-01 | 中兴通讯股份有限公司 | 一种智能终端的控制方法和装置 |
| CN205427468U (zh) * | 2015-09-29 | 2016-08-03 | 上海青研信息技术有限公司 | 一种眼控智能家居装置 |
-
2020
- 2020-04-10 CN CN202010279397.8A patent/CN111459285B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103376891A (zh) * | 2012-04-23 | 2013-10-30 | 凹凸电子（武汉）有限公司 | 多媒体系统，显示装置的控制方法及控制器 |
| CN102981625A (zh) * | 2012-12-05 | 2013-03-20 | 深圳Tcl新技术有限公司 | 眼动遥控方法和系统 |
| CN103324290A (zh) * | 2013-07-04 | 2013-09-25 | 深圳市中兴移动通信有限公司 | 终端设备及其眼睛操控方法 |
| CN105630135A (zh) * | 2014-10-27 | 2016-06-01 | 中兴通讯股份有限公司 | 一种智能终端的控制方法和装置 |
| CN104866100A (zh) * | 2015-05-27 | 2015-08-26 | 京东方科技集团股份有限公司 | 眼控装置及其眼控方法和眼控系统 |
| CN205427468U (zh) * | 2015-09-29 | 2016-08-03 | 上海青研信息技术有限公司 | 一种眼控智能家居装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111459285A (zh) | 2020-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9952663B2 (en) | Method for gesture-based operation control | |
| US9039419B2 (en) | Method and system for controlling skill acquisition interfaces | |
| CN103703438B (zh) | 基于注视的内容显示器 | |
| KR102092931B1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
| Magee et al. | A human–computer interface using symmetry between eyes to detect gaze direction | |
| Singh et al. | Real-time eye blink and wink detection for object selection in HCI systems | |
| CN111898407B (zh) | 一种基于人脸动作识别的人机交互操作系统 | |
| WO2002001336A2 (en) | Automated visual tracking for computer access | |
| WO2013060826A1 (en) | Intelligent user mode selection in an eye-tracking system | |
| CN111459285B (zh) | 基于眼控技术的显示设备控制方法、显示设备及存储介质 | |
| CN103336576A (zh) | 一种基于眼动追踪进行浏览器操作的方法及装置 | |
| CN111698564B (zh) | 信息推荐方法、装置、设备及存储介质 | |
| Arai et al. | Eye-based human computer interaction allowing phoning, reading e-book/e-comic/e-learning, internet browsing, and tv information extraction | |
| Bharath | Controlling mouse and virtual keyboard using eye-tracking by computer vision | |
| KR20190067433A (ko) | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 | |
| US20140359521A1 (en) | Method of moving a cursor on a screen to a clickable object and a computer system and a computer program thereof | |
| Epstein et al. | Using kernels for a video-based mouse-replacement interface | |
| KR20140132906A (ko) | 눈동자 추적을 이용한 모바일 툴팁 방법 및 장치 | |
| CN109426342B (zh) | 基于增强现实的文档阅读方法和装置 | |
| CN112015277B (zh) | 信息显示方法、装置及电子设备 | |
| CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 | |
| CN114661152A (zh) | 一种降低视觉疲劳的ar显示控制系统及方法 | |
| Oyekoya | Eye tracking: A perceptual interface for content based image retrieval | |
| CN109508089B (zh) | 一种基于层级随机森林的视线控制系统与方法 | |
| Shi et al. | Helping people with ICT device control by eye gaze |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |