CN105425971A - 一种眼动界面的交互方法、装置和近眼显示器 - Google Patents
一种眼动界面的交互方法、装置和近眼显示器 Download PDFInfo
- Publication number
- CN105425971A CN105425971A CN201610030558.3A CN201610030558A CN105425971A CN 105425971 A CN105425971 A CN 105425971A CN 201610030558 A CN201610030558 A CN 201610030558A CN 105425971 A CN105425971 A CN 105425971A
- Authority
- CN
- China
- Prior art keywords
- display
- area
- display area
- elements
- eye movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 125
- 230000003993 interaction Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 claims abstract description 83
- 238000001514 detection method Methods 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 8
- 208000003464 asthenopia Diseases 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种眼动界面的交互方法、装置和近眼显示器，其中，所述眼动界面交互方法包括：将眼动界面上眼动交互对象对应的分布区域分别划分为显示区域和操作区域，其中，所述眼动交互对象的显示元素分布于所述显示区域，所述眼动交互对象的操作元素分布于所述操作区域；检测操作者视觉焦点相对于所述显示区域和所述操作区域的移动情况；根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素。
Description
技术领域
本发明涉及人眼识别技术领域，特别是涉及一种近眼显示器眼动界面的交互方法、装置和近眼显示器。
背景技术
随着眼动交互需求的增加，如谷歌眼镜、微软全息眼镜等近眼显示器也越来越普及。相对于传统的手柄、鼠标以及键盘等用手动作输入的设备，眼动交互具有随时随地、解放双手等优势。
现有技术中，典型的眼动交互方式以传统的WIMP(Window、Icon、MenuandPointer，视窗、图标、选单和指标)范式为基础，以“凝视”作为与眼动界面的基本交互特征，模拟点击鼠标/触摸屏的操作行为，但眼睛凝视操作产生如凝视误操作和视觉疲劳等可用性问题。
综上所述，如何解决容易误操作和视觉疲劳成为本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例中提供了一种眼动界面的交互方法、装置和近眼显示器，以解决现有技术中的眼动交互中“凝视”操作导致的误操作和视觉疲劳问题。
为了解决上述技术问题，本发明实施例公开了如下技术方案：
根据本发明的第一方面，提出了一种眼动界面的交互方法，眼动界面的交互方法包括：
将眼动界面上眼动交互对象对应的分布区域分别划分为显示区域和操作区域，其中，所述眼动交互对象的显示元素分布于所述显示区域，所述眼动交互对象的操作元素分布于所述操作区域；
检测操作者视觉焦点相对于所述显示区域和所述操作区域的移动情况；
根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素。
优选地，所述根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素，包括：
若所述视觉焦点自所述操作元素对应的操作区域向远离所述显示区域的方向移动，则将所述操作元素自所述操作区域移向所述显示区域，作为新的显示元素，并触发所述操作元素，且将所述操作元素对应的下级元素作为新的操作元素分布于所述操作区域；
若所述视觉焦点自所述操作区域向靠近所述显示元素对应的显示区域的方向移动，则将所述显示元素自所述显示区域移向所述操作区域，作为新的操作元素，并还原所述显示元素，且将所述显示元素对应的上级元素作为新的显示元素分布于所述显示区域。
优选地，所述眼动界面的交互方法，还包括：
检测所述视觉焦点的移动速度；
判断所述视觉焦点的移动速度是否大于或等于预定移速阈值；
若所述视觉焦点的移动速度大于或等于预定移速阈值，则移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素。
优选地，所述操作区域呈扇形分布于所述显示区域周围，当将所述操作元素自所述操作区域移向所述显示区域时，所述方法还包括：
隐藏所述操作元素在所述操作区域的同级元素，将所述操作元素的下级元素均匀分布在所述扇形操作区域内；和/或，
根据所述操作元素的下级元素数量设置所述下级元素对应的扇形操作区域的弧度，将所述下级元素分布于所述下级元素对应的扇形操作区域内。
优选地，所述眼动界面还包括事件显示区域，所述方法还包括：
若所述操作元素发生外界触发事件，则在所述操作元素对应的事件显示区域显示所述外界触发事件的内容；或者，
检测所述视觉焦点的移动情况，若所述视觉焦点自所述操作元素对应的操作区域向所述事件显示区域移动，则将所述外界触发事件在所述显示区域进行显示。
优选地，所述眼动界面的交互方法还包括：
在所述视觉焦点处生成移动标记，所述移动标记的位置与所述视觉焦点的位置相对应，根据所述移动标记的移动情况，移动所述显示元素或所述操作元素的位置。
根据本发明的第二方面，还提出了一种眼动界面的交互装置，该眼动界面的交互装置包括：
划分模块，用于将眼动界面上眼动交互对象对应的分布区域分别划分为显示区域和操作区域，其中，所述眼动交互对象的显示元素分布于所述显示区域，所述显示区域还用于显示所述显示元素的触发事件，所述眼动交互对象的操作元素分布于所述操作区域；
检测模块，用于检测操作者视觉焦点相对于所述显示区域和操作区域的移动情况；
移动模块，用于根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置；
触发模块，用于触发所述显示元素或所述操作元素。
优选地，所述眼动界面还包括事件显示区域，所述眼动界面交互装置还包括：
判断模块，用于判断所述操作元素是否发生外界触发事件；
显示模块，用于若所述判断模块判断所述操作元素发生外界触发事件时，在所述操作元素对应的事件显示区域显示所述外界触发事件的内容；
所述显示区域，还用于当所述检测模块检测到所述视觉焦点自所述操作元素对应的操作区域向所述事件显示区域移动时，将所述外界触发事件在所述显示区域进行显示。
优选地，所述移动模块具体包括：
第一移向模块，用于若所述检测模块检测到所述视觉焦点自所述操作元素对应的操作区域向远离所述显示区域的方向移动时，将所述操作元素自所述操作区域移向所述显示区域，作为新的显示元素；
所述触发模块，具体用于的那个所述操作元素移到所述显示区域时触发所述操作元素；
分布模块，用于当所述第一移向模块将所述操作元素自所述操作区域移向所述显示区域时，将所述操作元素对应的下级元素作为新的操作元素分布于所述操作区域；
第二移向模块，用于若所述检测模块检测到视觉焦点自所述操作区域向靠近所述显示元素对应的显示区域的方向移动时，将所述显示元素自所述显示区域移向所述操作区域，作为新的操作元素；
所述触发模块，具体用于当所述显示元素移到所述操作区域时还原所述显示元素；
所述分布模块，还用于当所述第二移向模块将所述显示元素自所述显示区域移向所述操作区域时，将所述显示元素对应的上级元素作为新的显示元素分布于所述显示区域。
优选地，所述操作区域呈扇形分布于所述显示区域周围，所述眼动界面的交互装置还包括：
隐藏模块，用于当所述检测模块检测到所述操作元素自所述操作区域移向所述显示区域时，隐藏所述操作元素在所述操作区域的同级元素；
设置模块，用于根据所述操作元素的下级元素数量设置所述下级元素对应的扇形操作区域的弧度；
所述分布模块，还用于将操作元素的下级元素均匀分布在所述扇形操作区域内。
根据本发明的第三方面还提出了一种近眼显示器，该近眼显示器包括：
眼动界面，以及上述任一项技术方案所述的眼动界面的交互装置。
由以上技术方案可见，本发明实施例提供的眼动界面的交互方案，通过将眼动界面上眼动交互对象对应的分布区域划分为显示区域和操作区域，显示区域用于分布眼动交互对象的显示元素，而操作区域用于分布眼动交互对象的操作元素，即在眼动界面上将眼动交互对象的显示元素和操作元素分离开，减少了对相应元素的误操作，其中，显示区域中的显示元素用于显示，而操作区域中的操作元素能够对应操作行为或操作行为的结果。同时由于是检测操作者视觉焦点相对于显示区域和操作区域的移动情况来移动显示元素或操作元素的位置，因此，相对于通过“凝视”眼动交互对象的元素进行抓取、点击以及移动等触发操作的方案，通过检测视觉焦点相对于显示区域和操作区域的移动情况进行触发操作的方案，能够减少产生如“久视”带来的视觉疲劳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种眼动界面的交互方法的流程示意图；
图2为本发明实施例提供的一种眼动界面的交互方法的流程示意图；
图3为本发明实施例提供的一种眼动界面的交互方法的流程示意图；
图4为本发明实施例提供的一种眼动界面的交互方法的流程示意图；
图5为本发明实施例提供的一种眼动界面的交互方法的流程示意图；
图6为本发明实施例提供的一种眼动界面的交互装置的结构示意图；
图7为本发明实施例提供的一种眼动界面的交互装置的结构示意图；
图8为本发明实施例提供的一种眼动界面的交互装置的结构示意图；
图9为本发明实施例提供的一种眼动界面的交互装置的结构示意图；
图10为本发明实施例提供的一种眼动界面的交互装置的结构示意图；
图11为本发明实施例提供的一种眼动界面的交互装置的使用状态示意图；
图12为本发明实施例提供的一种眼动界面的交互装置的使用状态示意图；
图13为本发明实施例提供的一种眼动界面的交互装置的使用状态示意图；
图14为本发明实施例提供的一种近眼显示器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参见图1，图1为本发明实施例提供的一种眼动界面的交互方法的流程示意图，如图1所示，该眼动界面的交互方法包括：
S110：将眼动界面上眼动交互对象对应的分布区域分别划分为显示区域和操作区域，其中，所述眼动交互对象的显示元素分布于所述显示区域，所述眼动交互对象的操作元素分布于所述操作区域。
通过将眼动界面上的眼动交互对象对应的分布区域划分为显示区域和操作区域，能够将眼动交互对象的显示元素和操作元素相分离，减少对相应元素的误操作，显示区域中的显示元素用于显示，而操作区域中的操作元素能够对应具体的操作行为或操作行为的结果。并且操作区域中的操作元素可以为操作显示区域中的显示元素的操作元素。同时操作元素若包括下级元素，则下级元素能够分布在所述操作区域中背向所述显示区域的一侧。
如图11所示：在一个层及细分的树状目录结构系统中，当前所在层级信息，如主页“home”，设置于用户视野正中间的显示区域中，用户可以在操作区域浏览当前层级信息“home”对应的可选对象A至F。可选对象A至F的下级子菜单可选项(如摘要或缩略图)位于该可选对象对应的外围扇形操作区域，如果外围扇形操作区域空间不足，可以全部或部分隐藏可选对象的下级子菜单可选项。当检测到操作人员的视觉焦点从A移向A的外围扇区，整体界面向相反方向移动，A向视野正中央的显示区域移动，A的下级子菜单可选项向原来A所在的操作区域移动，当A进入视野正中间的显示区域，在原来A对应的操作区域展开A层级的所有可选项A1至A5，并显示可选项的下级内容，无下级内容则显示空白。
其中在实际的眼动界面上，眼动交互对象对应的分布区域能够为眼动交互对象所占用的区域，也能够将整个眼动界面作为眼动交互对象对应的分布区域，具体根据使用情况设定。
S120：检测操作者视觉焦点相对于所述显示区域和所述操作区域的移动情况。
具体地，操作者视觉焦点的有效移动情况分为两种，一种为自显示区域向操作元素对应的操作区域移动，另一种为视觉焦点自操作区域向显示元素对应的显示区域移动。从而进一步根据上述移动情况移动显示元素或操作元素。
由于显示区域与操作区域相分离，即操作行为与显示行为相分离，因此，操作者视觉焦点相对于显示区域和操作区域进行移动，即可移动操作元素或显示元素，从而减少了凝视误操作和视觉疲劳等可用性问题。
S130：根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素。
具体的移动显示元素或操作元素的位置的方法请参考图2，具体包括如下步骤：
S131：若所述视觉焦点自所述操作元素对应的操作区域向远离所述显示区域的方向移动，则将所述操作元素自所述操作区域移向所述显示区域，作为新的显示元素，并触发所述操作元素，且将所述操作元素对应的下级元素作为新的操作元素分布于所述操作区域。另外，当元素移动至显示区域时，能够实现对元素的自动触发操作，如视频图标移动至显示区域时，视频自动进行播放。同时，操作元素对应的下级元素为对该操作元素进行具体功能操作的元素。
如图11所示：当检测到操作人员的视觉焦点从A移向A的外围扇区，整体界面向相反方向移动，A向视野正中央的显示区域移动，A的下级子菜单可选项向原来A所在的操作区域移动，当A进入到视野正中间的显示区域进行显示时，在原来A对应的操作区域展开A层级的所有可选项A1至A5，并显示可选项的下级内容，如A1a、A1b、A2a、A2b和A3a等，若可选项无下级内容则显示空白。
同时，以视频播放为例，在中央的显示区域显示着视频播放器B的图标，在显示区域的周围分布操作区域，该操作区域对应分布着视频播放器的操作元素，如多个可播放的视频名称B1、B2、B3……，每个视频名称占用的操作区域为具有预定角度的扇形区域，视频名称可分布在扇形区域的近视频播放器端；当检测到操作人员的视觉焦点从视频名称B1处向B1的扇形区域的外围(即远离显示区域的一端)移动时，视频名称B1向显示区域移动，视频播放器B图标消失，视频名称B1移动至显示区域时，视频名称B1进行播放；而视频名称B1的下级元素，如暂停/播放按钮B1a、下载按钮B1b、声音按钮B1c、屏幕显示按钮B1d等操作按钮向原操作区域移动，在原操作区域进行展开，当操作人员的视觉焦点从暂停/播放按钮B1a处向B1a的扇形操作区域外围移动时，视频暂停播放。
S132：若所述视觉焦点自所述操作区域向靠近所述显示元素对应的显示区域的方向移动，则将所述显示元素自所述显示区域移向所述操作区域，作为新的操作元素，并还原所述显示元素，且将显示元素对应的上级元素作为新的显示元素分布于所述显示区域。
以视频播放为例，当视觉焦点自下级元素所在的操作区域向播放视频对应的显示区域移动时，将播放视频移向操作区域，当移动到操作区域对应的位置时，播放视频缩为视频名称，同时在原显示区域显示视频播放器B的图标。
由以上技术方案可见，本发明实施例提供的眼动界面的交互方案，通过将眼动界面上眼动交互对象对应的分布区域划分为显示区域和操作区域，显示区域用于分布眼动交互对象的显示元素，而操作区域用于分布眼动交互对象的操作元素，即在眼动界面上将眼动交互对象的显示元素和操作元素分离开，减少了对相应元素的误操作，其中，显示区域中的显示元素用于显示，而操作区域中的操作元素能够对应操作行为或操作行为的结果。同时由于是检测操作者视觉焦点相对于显示区域和操作区域的移动情况来移动显示元素或操作元素的位置，以“移动”操作代替“凝视”等具有点击行为的操作，对元素进行触发，触发后的元素内容在显示区域进行显示，因此，相对于通过“凝视”眼动交互对象的元素进行抓取、点击以及移动等操作的方案，通过检测视觉焦点相对于显示区域和操作区域的移动情况，能够减少产生如“久视”带来的视觉疲劳。
为了减少人眼自然移动带来的误操作时，如人眼的视觉焦点快速从显示区域移向操作区域，查看显示区域的显示元素对应的各个操作元素时，为了防止错误移动操作区域的操作元素，如图3所示，该图3所示的眼动界面交互方法除了上述实施例所示的步骤外，还包括如下步骤：
S310：检测所述视觉焦点的移动速度。
在人眼自然移动的过程中，人眼的移动速度非常快，因此通过检测人眼视觉焦点的移动速度能够区别是自然移动还是对相应元素进行移动操作。
S320：判断所述视觉焦点的移动速度是否大于或等于预定移速阈值；若所述视觉焦点的移动速度大于或等于预定移速阈值，执行上述图1所示实施例的步骤S130。
S130：根据视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素。
若视觉焦点的移动速度大于或等于预定移速阈值，则根据视觉焦点相对于显示区域和操作区域的移动情况移动显示元素或操作元素的位置。能够减少人眼自然移动带来的误操作，提高操作的精确度。
请结合图11和图4所示，所述操作区域呈扇形分布于所述显示区域周围，上述实施例提供的眼动界面的交互方法在当将所述操作元素自所述操作区域移向所述显示区域时，还包括：
S410：隐藏所述操作元素在所述操作区域的同级元素，将所述操作元素的下级元素均匀分布在所述扇形操作区域内。
所述隐藏所述操作元素在所述操作区域的同级元素包括淡出、消失、形状缩小等操作。同时若操作元素对应的下级元素为多个时，每个下级元素或相同操作元素对应的每组下级元素能够占用预定弧度的扇形操作区域，从而将下级元素相互区别开，以提高操作精度。
和/或，S420：根据所述操作元素的下级元素数量设置所述下级元素对应的扇形操作区域的弧度，将所述下级元素分布于所述下级元素对应的扇形操作区域内。
通过按照下级元素数量设置下级元素对应的扇形操作区域的弧度，将下级元素分布拥有该弧度的扇形操作区域内，从而能够将多个下级元素相互区别开，以提高操作精度，减少视觉焦点的误操作。
另外，作为一种较佳的实施例，以平视瞳孔中心轴为中心原点，显示元素对应的显示区域分布在该中心原点处，按人眼视野特点，操作元素位于显示元素相同角度比例的相邻外周扇区，外周扇区即为操作区域。在该界面布局中，人眼视觉焦点自该显示元素移向相邻的该操作元素，则认为使用者有意触发该操作，否则即为一般性浏览，或其他具体定义的操作。
请结合图5、图12和图13所示，眼动界面还包括事件显示区域，所述眼动界面的交互方法还包括：
S510：判断所述操作元素是否发生外界触发事件；其中，所述外界触发事件为非经过装置使用者而是经过外部信号、装置内部程序等进行触发的事件。
S520：若所述操作元素发生外界触发事件，则在所述操作元素对应的事件显示区域显示所述外界触发事件的内容。其中，如图12所示，该事件显示区域可分布在操作区域的外围。
以图12所示的消息系统为例，当眼动界面的操作区域中的操作元素，如短信、电话或邮件等信息收发软件有新信息时，操作区域的操作元素出现“新信息”图标提示，并在操作元素的外围扇形事件显示区域滚动显示该信息预览。用户可在该外围扇形事件显示区域自由浏览该信息预览。
或者，如S530：检测所述视觉焦点的移动情况，若所述视觉焦点自所述操作元素对应的操作区域向所述事件显示区域移动，则将外界触发事件在所述显示区域进行显示。
当视觉焦点从“新信息”图标移向该图标外围的事件显示区域时，则在中央显示区域打开信息阅读功能界面，显示该信息全部内容，并显示更多该“新信息”图标对应的对信息的功能操作。如图13所示，当一个眼动界面中，在“电话”图标外围显示其可能的功能操作，包括“通话记录”和“未接来电”。当视觉焦点从“电话”图标移向“未接来电”后，打开具体未接来电列表，并在每条信息两侧显示对该信息可能操作“拨打”和“发信息”。
综上，通过检测视觉焦点的移动情况，能够显示操作元素对应的触发事件。
请参见图6所示，所述眼动界面交互方法还包括：
S610：在所述视觉焦点处生成移动标记，所述移动标记的位置与所述视觉焦点的位置相对应，根据所述移动标记的移动情况，移动所述显示元素或所述操作元素的位置。
以图11所示的眼动界面为例，当操作人员的双眼聚焦于某操作元素或显示元素时，在视觉焦点处生成“+”形的移动标记，操作人员的双眼注视该移动标记，该移动标记随着操作人员的双眼视觉焦点的移动而移动，从而反映视觉焦点的移动情况，完成将显示元素移向操作区域或将操作元素移向显示区域的功能。同时，移动标记的形式能够为图形符号，或者指向某位置的箭头或者变化颜色的线路。
以图12所示的眼动界面为例，当检测到人眼视觉焦点注视短信图标时，在短信图标位置处生成“+”形的移动标记，当人眼视觉焦点注视该“+”形的移动标记向短信图标的外围移动时，该短信图标向中央显示区域移动，从而显示该短信的具体内容；其中，为了减少误差性，可以在人眼“凝视”该图标预定时间，如1s后，生成该移动标记。
与本发明提供的眼动界面交互方法的实施例相对应，本发明还提供了一种眼动界面交互装置的实施例，由于所述眼动界面交互装置对应的方法是本申请实施例中的眼动界面交互方法，并且该装置解决问题的原理与方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
请参见图7，图7为本发明实施例提供的一种眼动界面的交互装置，该眼动界面的交互装置包括：
划分模块701，用于将眼动界面上眼动交互对象对应的分布区域分别划分为显示区域和操作区域，其中，所述眼动交互对象的显示元素分布于所述显示区域，所述显示区域还用于显示所述显示元素的触发事件，所述眼动交互对象的操作元素分布于所述操作区域。
检测模块702，用于检测操作者视觉焦点相对于所述显示区域和操作区域的移动情况。
移动模块703，用于根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置。
触发模块704，用于触发所述显示元素或所述操作元素。
如图8所示，上述移动模块703具体包括：
第一移向模块7031，用于若所述检测模块702检测到所述视觉焦点自所述操作元素对应的操作区域向远离所述显示区域的方向移动时，将所述操作元素自所述操作区域移向所述显示区域，作为新的显示元素。
所述触发模块704，具体用于当操作元素移动到所述显示区域时触发所述操作元素。
分布模块7032，用于当所述第一移向模块将所述操作元素自所述操作区域移向所述显示区域时，将所述操作元素对应的下级元素作为新的操作元素分布于所述操作区域。
第二移向模块7033，用于若所述检测模块检测到视觉焦点自所述操作区域向所述显示元素对应的显示区域移动时，将所述显示元素自所述显示区域移向所述操作区域，作为新的操作元素在所述操作区域进行显示。
所述触发模块704，具体用于当显示元素移到所述操作区域时还原所述显示元素。
所述分布模块7032，还用于当所述第二移向模块将所述显示元素自所述显示区域移向所述操作区域时，将显示元素对应的上级元素作为新的显示元素分布于所述显示区域。
结合图12、图13和图9所示，所述眼动界面除了图7所示的显示区域和操作区域外还包括事件显示区域，所述眼动界面的交互装置还包括：
判断模块704，用于判断所述操作元素是否发生外界触发事件。
显示模块705，用于若所述判断模块704判断所述操作元素发生外界触发事件时，在所述操作元素对应的事件显示区域显示所述外界触发事件的内容。
所述显示模块705，还用于当所述检测模块702检测到所述视觉焦点自所述操作元素对应的操作区域向所述事件显示区域移动时，将所述外界触发事件在所述显示区域进行显示。
请结合图11和图10所示，眼动交互界面的操作区域呈扇形分布于所述显示区域周围，所述装置还包括：
隐藏模块706，用于当所述检测模块702检测到所述操作元素自所述操作区域移向所述显示区域时，隐藏所述操作元素在所述操作区域的同级元素。
设置模块707，用于根据所述操作元素的下级元素数量设置所述下级元素对应的扇形操作区域的弧度。
所述分布模块7032，还用于将操作元素的下级元素均匀分布在扇形操作区域内。
上述眼动界面交互装置能够应用于可穿戴移动设备的近眼显示器、手机、Pad、个人电脑等装置的显示系统中。
请参见图14，图14为本发明一示例性实施例提供的一种近眼显示器的结构示意图，如图14所示，该近眼显示器包括：
眼动界面1401，以及上述任一项实施例所示的眼动界面交互装置1402。
上述实施例提供的眼动界面交互方案，通过将眼动界面上眼动交互对象对应的分布区域划分为显示区域和操作区域，显示区域用于分布眼动交互对象的显示元素，而操作区域用于分布眼动交互对象的操作元素，即在眼动界面上将眼动交互对象的显示元素和操作元素分离开，减少了对相应元素的误操作，其中，显示区域中的显示元素用于显示，而操作区域中的操作元素能够对应操作行为或操作行为的结果。同时由于是检测操作者视觉焦点相对于显示区域和操作区域的移动情况来移动显示元素或操作元素的位置，因此，相对于通过“凝视”眼动交互对象的元素进行抓取、点击以及移动等操作的方案，通过检测视觉焦点相对于显示区域和操作区域的移动情况，能够减少产生如“久视”带来的视觉疲劳。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所描述的装置及系统实施例仅仅是示意性的，本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种眼动界面的交互方法，其特征在于，包括：
将眼动界面上眼动交互对象对应的分布区域分别划分为显示区域和操作区域，其中，所述眼动交互对象的显示元素分布于所述显示区域，所述眼动交互对象的操作元素分布于所述操作区域；
检测操作者视觉焦点相对于所述显示区域和所述操作区域的移动情况；
根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素。
2.根据权利要求1所述的眼动界面的交互方法，其特征在于，所述根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素，包括：
若所述视觉焦点自所述操作元素对应的操作区域向远离所述显示区域的方向移动，则将所述操作元素自所述操作区域移向所述显示区域，作为新的显示元素，并触发所述操作元素，且将所述操作元素对应的下级元素作为新的操作元素分布于所述操作区域；
若所述视觉焦点自所述操作区域向靠近所述显示元素对应的显示区域的方向移动，则将所述显示元素自所述显示区域移向所述操作区域，作为新的操作元素，并还原所述显示元素，且将所述显示元素对应的上级元素作为新的显示元素分布于所述显示区域。
3.根据权利要求1所述的眼动界面的交互方法，其特征在于，还包括：
检测所述视觉焦点的移动速度；
判断所述视觉焦点的移动速度是否大于或等于预定移速阈值；
若所述视觉焦点的移动速度大于或等于预定移速阈值，则移动所述显示元素或所述操作元素的位置并触发所述显示元素或所述操作元素。
4.根据权利要求2所述的眼动界面的交互方法，其特征在于，所述操作区域呈扇形分布于所述显示区域周围，当将所述操作元素自所述操作区域移向所述显示区域时，所述方法还包括：
隐藏所述操作元素在所述操作区域的同级元素，将所述操作元素的下级元素均匀分布在所述扇形操作区域内；和/或，
根据所述操作元素的下级元素数量设置所述下级元素对应的扇形操作区域的弧度，将所述下级元素分布于所述下级元素对应的扇形操作区域内。
5.根据权利要求1所述的眼动界面的交互方法，其特征在于，所述眼动界面还包括事件显示区域，所述方法还包括：
若所述操作元素发生外界触发事件，则在所述操作元素对应的事件显示区域显示所述外界触发事件的内容；或者，
检测所述视觉焦点的移动情况，若所述视觉焦点自所述操作元素对应的操作区域向所述事件显示区域移动，则将所述外界触发事件在所述显示区域进行显示。
6.根据权利要求2所述的眼动界面的交互方法，其特征在于，还包括：
在所述视觉焦点处生成移动标记，所述移动标记的位置与所述视觉焦点的位置相对应，根据所述移动标记的移动情况，移动所述显示元素或所述操作元素的位置。
7.一种眼动界面的交互装置，其特征在于，包括：
划分模块，用于将眼动界面上眼动交互对象对应的分布区域分别划分为显示区域和操作区域，其中，所述眼动交互对象的显示元素分布于所述显示区域，所述显示区域还用于显示所述显示元素的触发事件，所述眼动交互对象的操作元素分布于所述操作区域；
检测模块，用于检测操作者视觉焦点相对于所述显示区域和所述操作区域的移动情况；
移动模块，用于根据所述视觉焦点相对于所述显示区域和所述操作区域的移动情况，移动所述显示元素或所述操作元素的位置；
触发模块，用于触发所述显示元素或所述操作元素。
8.根据权利要求7所述的眼动界面的交互装置，其特征在于，所述移动模块具体包括：
第一移向模块，用于若所述检测模块检测到所述视觉焦点自所述操作元素对应的操作区域向远离所述显示区域的方向移动时，将所述操作元素自所述操作区域移向所述显示区域，作为新的显示元素；
所述触发模块，具体用于当所述操作元素移到所述显示区域时触发所述操作元素；
分布模块，用于当所述第一移向模块将所述操作元素自所述操作区域移向所述显示区域时，将所述操作元素对应的下级元素作为新的操作元素分布于所述操作区域；
第二移向模块，用于若所述检测模块检测到视觉焦点自所述操作区域向靠近所述显示元素对应的显示区域的方向移动时，将所述显示元素自所述显示区域移向所述操作区域，作为新的操作元素；
所述触发模块，具体用于当所述显示元素移到所述操作区域时还原所述显示元素；
所述分布模块，还用于当所述第二移向模块将所述显示元素自所述显示区域移向所述操作区域时，将所述显示元素对应的上级元素作为新的显示元素分布于所述显示区域。
9.根据权利要求8所述的眼动界面的交互装置，其特征在于，所述操作区域呈扇形分布于所述显示区域周围，所述装置还包括：
隐藏模块，用于当所述检测模块检测到所述操作元素自所述操作区域移向所述显示区域时，隐藏所述操作元素在所述操作区域的同级元素；
设置模块，用于根据所述操作元素的下级元素数量设置所述下级元素对应的扇形操作区域的弧度；
所述分布模块，还用于将所述操作元素的下级元素均匀分布在所述扇形操作区域内。
10.一种近眼显示器，其特征在于，包括：
眼动界面，以及权利要求7至9中任一项所述的眼动界面的交互装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610030558.3A CN105425971B (zh) | 2016-01-15 | 2016-01-15 | 一种眼动界面的交互方法、装置和近眼显示器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610030558.3A CN105425971B (zh) | 2016-01-15 | 2016-01-15 | 一种眼动界面的交互方法、装置和近眼显示器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105425971A true CN105425971A (zh) | 2016-03-23 |
| CN105425971B CN105425971B (zh) | 2018-10-26 |
Family
ID=55504227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610030558.3A Active CN105425971B (zh) | 2016-01-15 | 2016-01-15 | 一种眼动界面的交互方法、装置和近眼显示器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105425971B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107717273A (zh) * | 2017-10-31 | 2018-02-23 | 南京中高知识产权股份有限公司 | 带有智能寻址的焊接系统及其工作方法 |
| CN108885497A (zh) * | 2016-03-29 | 2018-11-23 | 索尼公司 | 信息处理装置、信息处理方法和计算机可读介质 |
| CN109799899A (zh) * | 2017-11-17 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 交互控制方法、装置、存储介质和计算机设备 |
| CN109917759A (zh) * | 2019-03-07 | 2019-06-21 | 河海大学常州校区 | 一种智能控制产线系统信息呈现格式和功能布局方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110128223A1 (en) * | 2008-08-07 | 2011-06-02 | Koninklijke Phillips Electronics N.V. | Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system |
| CN102915115A (zh) * | 2012-09-25 | 2013-02-06 | 上海华勤通讯技术有限公司 | 根据眼部调整显示画面的方法 |
| CN103500061A (zh) * | 2013-09-26 | 2014-01-08 | 三星电子（中国）研发中心 | 控制显示器的方法及设备 |
| CN103631365A (zh) * | 2012-08-22 | 2014-03-12 | 中国移动通信集团公司 | 一种终端输入控制方法及装置 |
| CN103853330A (zh) * | 2014-03-05 | 2014-06-11 | 深圳市中兴移动通信有限公司 | 基于眼睛控制显示层切换的方法和移动终端 |
| WO2014197409A1 (en) * | 2013-06-06 | 2014-12-11 | Microsoft Corporation | Visual enhancements based on eye tracking |
-
2016
- 2016-01-15 CN CN201610030558.3A patent/CN105425971B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110128223A1 (en) * | 2008-08-07 | 2011-06-02 | Koninklijke Phillips Electronics N.V. | Method of and system for determining a head-motion/gaze relationship for a user, and an interactive display system |
| CN103631365A (zh) * | 2012-08-22 | 2014-03-12 | 中国移动通信集团公司 | 一种终端输入控制方法及装置 |
| CN102915115A (zh) * | 2012-09-25 | 2013-02-06 | 上海华勤通讯技术有限公司 | 根据眼部调整显示画面的方法 |
| WO2014197409A1 (en) * | 2013-06-06 | 2014-12-11 | Microsoft Corporation | Visual enhancements based on eye tracking |
| CN103500061A (zh) * | 2013-09-26 | 2014-01-08 | 三星电子（中国）研发中心 | 控制显示器的方法及设备 |
| CN103853330A (zh) * | 2014-03-05 | 2014-06-11 | 深圳市中兴移动通信有限公司 | 基于眼睛控制显示层切换的方法和移动终端 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108885497A (zh) * | 2016-03-29 | 2018-11-23 | 索尼公司 | 信息处理装置、信息处理方法和计算机可读介质 |
| CN107717273A (zh) * | 2017-10-31 | 2018-02-23 | 南京中高知识产权股份有限公司 | 带有智能寻址的焊接系统及其工作方法 |
| CN109799899A (zh) * | 2017-11-17 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 交互控制方法、装置、存储介质和计算机设备 |
| CN109799899B (zh) * | 2017-11-17 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 交互控制方法、装置、存储介质和计算机设备 |
| CN109917759A (zh) * | 2019-03-07 | 2019-06-21 | 河海大学常州校区 | 一种智能控制产线系统信息呈现格式和功能布局方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105425971B (zh) | 2018-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6931687B2 (ja) | タッチ入力カーソル操作 | |
| JP6968249B2 (ja) | 触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインターフェース | |
| US11635928B2 (en) | User interfaces for content streaming | |
| US12050770B2 (en) | Accessing system user interfaces on an electronic device | |
| US11843838B2 (en) | User interfaces for accessing episodes of a content series | |
| US20200159316A1 (en) | Eye tracker based contextual action | |
| Sambrooks et al. | Comparison of gestural, touch, and mouse interaction with Fitts' law | |
| KR102174225B1 (ko) | 사용자 인터페이스들 사이에 내비게이팅하기 위한 디바이스 및 방법 | |
| CN103797442B (zh) | 通过触敏显示屏使用压力差 | |
| US9836201B2 (en) | Zoom-based gesture user interface | |
| CA2800108C (en) | Jump, checkmark, and strikethrough gestures | |
| EP1942399A1 (en) | Multi-event input system | |
| US20110304556A1 (en) | Activate, fill, and level gestures | |
| CN109643217A (zh) | 通过基于接近和基于接触的输入与用户界面对象交互的设备、方法和用户界面 | |
| US20240012553A1 (en) | Accelerated scrolling and selection | |
| US20170300221A1 (en) | Erase, Circle, Prioritize and Application Tray Gestures | |
| CN105425971B (zh) | 一种眼动界面的交互方法、装置和近眼显示器 | |
| TW201228694A (en) | Virtual controller for touch display | |
| US20230384882A1 (en) | Navigating user interfaces with multiple navigation modes | |
| US9174132B2 (en) | Electronic game device, electronic game processing method, and non-transitory computer-readable storage medium storing electronic game program | |
| Chertoff et al. | An exploration of menu techniques using a 3D game input device | |
| US20240160293A1 (en) | User interfaces for brackets | |
| US20230396854A1 (en) | Multilingual captions | |
| US20230396849A1 (en) | Synchronizing information across applications for recommending related content | |
| Breuninger | Suitability of Touch Gestures and Virtual Physics in Touch Screen User Interfaces for Critical Tasks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |