CN111736698A - 一种手动辅助定位的视线指点方法 - Google Patents

一种手动辅助定位的视线指点方法 Download PDF

Info

Publication number
CN111736698A
CN111736698A CN202010577180.5A CN202010577180A CN111736698A CN 111736698 A CN111736698 A CN 111736698A CN 202010577180 A CN202010577180 A CN 202010577180A CN 111736698 A CN111736698 A CN 111736698A
Authority
CN
China
Prior art keywords
pointing
position information
cursor
sight
manual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010577180.5A
Other languages
English (en)
Inventor
张绍尧
田雨
王春慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
63919 Troops of PLA
Original Assignee
63919 Troops of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 63919 Troops of PLA filed Critical 63919 Troops of PLA
Priority to CN202010577180.5A priority Critical patent/CN111736698A/zh
Publication of CN111736698A publication Critical patent/CN111736698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供的一种手动辅助定位的视线指点方法，包括以下步骤：S1、启动指点系统，加载预设数据；S2、指点系统的显示装置根据读取的光标位置信息显示光标；S3、指点系统收集眼部移动信息和手部移动信息，并通过对比眼部移动信息和手部移动信息与预设数据进行比较，若满足条件，则设置光标新位置信息并运行步骤S4；若不满足则返回步骤S2；S4、根据设置的光标新位置信息更新光标位置信息后，运行步骤S2。本指点方法通过手部和眼部协同操作，实现快速、高效、高准确度和高稳定性的指点；通过整合眼部识别，降低手部的操作负荷；操作行为自然连贯，无额外认知负荷，学习成本低。

Description

一种手动辅助定位的视线指点方法
技术领域
本发明主要涉及到眼动交互技术领域，具体涉及一种指点方法。
背景技术
指点(Pointing)是指将光标(显式或隐式)移向期望的区域的动作，通常需要借助指点设备来实现，在人机交互界面中非常常见，比如，通过移动鼠标来移动电脑屏幕上的鼠标光标。
指点技术有很多种，其中鼠标指点技术是最常见的。鼠标指点技术是成熟可靠的，准确度和稳定性都较高，经过训练后可实现较高的效率，应用也非常普遍。但是，长时间使用鼠标会对手部或腕部带来较多的负荷，甚至还会造成身体损伤(如“鼠标手”，医学上称为腕管综合征)。
随着眼球追踪技术的日益进步，利用人眼视线与计算机进行交互变得越来越普遍，其覆盖人群也从残疾人群扩展到了正常人群，广泛应用于文本输入、游戏、虚拟现实等领域。在人们要选择界面上的某个对象前，很自然的行为是先将视线移至该对象上。受益于眼动的生理特性，利用视线进行指点，具有自然、快速、低负荷、低学习成本等优点，对优化人机交互的用户体验来说极具吸引力。但是，视线指点技术存在两个明显的缺点。缺点一是，视线指点的准确度较低，受人眼视网膜中央凹生理特性的限制，视线指点的准确度(用视角表示)最好只可以达到约0.5°，目前市场上性能较好的眼动仪可以实现0.5°至1°的准确度，这种准确度水平比鼠标指点技术低得多。缺点二是，视线指点的稳定性较差，人眼在注视物体时，眼球存在无意识的震颤、漂移、微眼跳等微小动作，这使得视线指点的结果是不稳定的、抖动的，不能像鼠标指点一样具有很好的稳定性(只要手不移动鼠标，鼠标光标就保持不动)。上述两个缺点使得视线指点技术难以直接应用到与常规计算机界面的交互中。
专利文件CN201810214157.2公开了一种基于眼部移动识别与控制的鼠标交互方法与系统，采用定位眼镜以及一智能穿戴设备触发鼠标指令，定位眼镜以及智能穿戴设备本地无线连接至被控主机；在识别出用户穿戴上所述定位眼镜后，本发明在被控主机对应的显示器上将桌面以及桌面图标显示出来，然后通过定位眼镜实时获取用户的两个眼球的视线，实时计算出两个眼球的视线在桌面上的交点，在交点位置处显示光标位置；本发明还获取智能穿戴设备上的按键信息，在光标位置处产生鼠标触发操作。
但其本身仍是采用眼部定位而非眼部和手部协同，故无法解决视线指点的准确度较低，受人眼视网膜中央凹生理特性的限制的问题。
因此，寻找一种既能实现较高的准确度和稳定性，又具有较低负荷的高效指点技术是具有很强实际意义的。
发明内容
本发明是为了解决现有技术中视线指点的准确度较低和稳定性较差的问题，提供了一种手动辅助定位的视线指点方法，通过眼部和手部协同操作，解决了上述问题。
本发明提供了一种手动辅助定位的视线指点方法，包括以下步骤：
S1、启动指点系统，加载预设数据；
S2、所述指点系统的显示装置根据读取的光标位置信息显示光标；
S3、所述指点系统收集注视点位置信息和手部移动信息，并将所述注视点位置信息和所述手部移动信息与所述预设数据进行比较，若满足预设移动条件，则设置光标新位置信息并运行步骤S4；若不满足则返回步骤S2；
S4、根据设置的光标新位置信息来更新所述光标位置信息，之后检测是否收到系统结束命令，若未收到系统结束命令则运行步骤S2；若收到系统结束命令，运行步骤S5；
S5、根据结束命令，关闭指点系统。
指点是指，将光标移动至期望的位置。其中光标的形状可为圆形、十字形、箭头形等。光标位置信息是指，光标在显示平面上的位置，以二维坐标的形式表示。注视点位置信息是指，人眼视线在显示光标的平面上的位置，以二维坐标的形式表示。手部移动信息是指，手或某个手指移动的方向和距离。更新光标位置信息是指，将光标原位置信息替换为新位置信息。系统结束命令用于关闭整套指点系统。
本发明所述的一种手动辅助定位的视线指点方法，作为优选方式，预设数据为距离阈值D1。
本发明所述的一种手动辅助定位的视线指点方法，作为优选方式，步骤S3具体包括：
S31、检测手动指点装置是否处于未触发状态且注视点距光标的距离小于或等于所述距离阈值D1，若是，维持光标位置信息不变，并运行步骤S4；若不是，运行步骤S32；
S32、检测手动指点装置是否处于未触发状态且注视点距光标的距离大于所述距离阈值D1，若是，将所述注视点位置信息设置为光标新位置信息，并运行步骤S4；若不是，运行步骤S33；
S33、检测手动指点装置是否处于触发状态，若是，根据手部移动信息来设置光标新位置信息，并运行步骤S4；若不是，运行步骤S2。
使用距离阈值D1来作为是否根据注视点位置信息来更新光标位置信息的条件之一，这考虑了视线指点具有较差稳定性的特点。视线无意识微动会造成光标抖动，从而对使用者造成干扰，通过设置距离阈值D1，可以减弱视线微动对光标的影响，提高了光标的稳定性。
手动指点装置处于未触发状态是指，手未操作手动指点装置；手动指点装置处于触发状态是指，手操作了手动指点装置；未触发状态，和触发状态，在同一时刻，只能是其中一种状态。
本发明所述的一种手动辅助定位的视线指点方法，作为优选方式，所述指点系统包括显示装置、视线获取装置、手动指点装置和处理器，所述显示装置、所述视线获取装置和所述手动指点装置均与所述处理器电连接，所述显示装置用于为系统提供显示功能并根据处理器提供的光标位置信息显示光标，所述视线获取装置用于获取人眼在所述显示装置上的注视点位置信息并将其传输给所述处理器，所述手动指点装置用于提供手部移动信息并传输给所述处理器，所述处理器用于将所述注视点位置信息和手部移动信息转化为光标位置信息并发送给显示装置以显示光标。
显示装置可以为平面显示器、手机、平板电脑、虚拟现实头戴、混合现实(或增强现实)头戴等具有显示功能的设备。显示装置、视线获取装置、手动指点装置和处理器之间通过有线(如HDMI电缆、USB电缆等)或无线(如WIFI协议、蓝牙协议等)方式建立通信连接。
本发明所述的一种手动辅助定位的视线指点方法，作为优选方式，视线获取装置为眼动仪或其他可以获取注视点的设备。
本发明所述的一种手动辅助定位的视线指点方法，作为优选方式，手动指点装置为鼠标、触摸板、轨迹球、操纵杆、触摸屏或其他利用手部动作进行指点的设备。
本发明所述的一种手动辅助定位的视线指点方法，作为优选方式，注视点聚焦位置为多个且各注视点聚焦位置之间距离小于距离阈值D1时，选取各注视点聚焦位置中心坐标为注视点位置。
在本发明中，光标的移动受两种方式驱动，一种是视线驱动，另一种是手动驱动，这两种方式不同时工作，同一时刻，只能是其中一种方式在驱动光标的移动。
从系统的角度讲，系统通过检测使用者的行为来切换光标的驱动方式；当使用者操作了手动指点装置使其处于触发状态时，表明使用者要用手来控制视点光标的移动，所以切换为手动驱动方式；当使用者未操作手动指点装置使其处于未触发状态时，表明使用者要用视线来控制视点光标的移动，所以切换为视线驱动方式。
从使用者的角度讲，如果视线指点的准确度和稳定性满足了使用者的需求，那么使用者只使用视线指点即可；如果视线指点的准确度和稳定性不能满足使用者的需求，那么使用者可通过手动指点装置进行进一步的指点；使用者也可以只通过手动指点装置来进行指点。
采用本系统，使用者的行为是自然、连贯的，无额外的认知负荷，不需要高强度的学习。
本发明有益效果如下：
(1)通过手部和眼部协同操作，实现快速、高效、高准确度和高稳定性的指点；
(2)通过整合眼部识别，降低手部的操作负荷；
(3)操作行为自然连贯，学习成本低。
附图说明
图1为一种手动辅助定位的视线指点方法流程示意图；
图2为一种手动辅助定位的视线指点方法指点系统示意图；
图3为一种手动辅助定位的视线指点方法光标维持不动示意图；
图4为一种手动辅助定位的视线指点方法光标由视线驱动示意图；
图5为一种手动辅助定位的视线指点方法光标由手动驱动示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
如图1所示，一种手动辅助定位的视线指点方法，如图1所示，本发明包括以下步骤：
S1、启动指点系统，加载预设数据；
S2、所述指点系统的显示装置根据读取的光标位置信息显示光标；
S3、检测手动指点装置是否处于未触发状态且注视点距光标的距离小于或等于所述距离阈值D1，若是，维持光标位置信息不变，并运行步骤S6；若不是，运行步骤S4；
S4、检测手动指点装置是否处于未触发状态且注视点距光标的距离大于所述距离阈值D1，若是，将所述注视点位置信息设置为光标新位置信息，并运行步骤S6；若不是，运行步骤S5；
S5、检测手动指点装置是否处于触发状态，若是，根据手部移动信息来设置光标新位置信息，并运行步骤S6；若不是，运行步骤S2；
S6、根据设置的光标新位置信息来更新所述光标位置信息，之后检测是否收到系统结束命令，若未收到系统结束命令则运行步骤S2；若收到系统结束命令，运行步骤S7；
S7、根据结束命令，关闭指点系统。
其中预设数据设定为距离阈值D1。
如图2所示，指点系统包括显示装置、视线获取装置、手动指点装置和处理器，显示装置、视线获取装置和手动指点装置均与处理器电连接，所述显示装置用于为系统提供显示功能并根据处理器提供的光标位置信息显示光标，所述视线获取装置用于获取人眼在所述显示装置上的注视点位置信息并将其传输给所述处理器，所述手动指点装置用于提供手部移动信息并传输给所述处理器，所述处理器用于将所述注视点位置信息和手部移动信息转化为光标位置信息并发送给显示装置以显示光标。
处理器为个人计算机(PC)；显示装置为平面显示屏，通过HDMI电缆与个人计算机相连；视线获取装置为眼动仪，置于显示屏下方，通过USB电缆与个人计算机相连接；手动指点装置为鼠标，置于显示屏前方，通过USB电缆与个人计算机相连接。
如图3所示，当手动指点装置处于未触发状态(即鼠标未移动)且注视点距光标的距离小于或等于D1时，光标不发生移动。
如图4所示，当手动指点装置处于未触发状态(即鼠标未移动)且注视点距光标的距离大于D1时，光标被移动至注视点的位置。
如图5所示，当手动指点装置处于触发状态(即鼠标移动了)时，光标根据鼠标的移动信息进行移动，鼠标左移使得光标左移，光标移动的距离由个人计算机的操作系统决定。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种手动辅助定位的视线指点方法，其特征在于：包括以下步骤：
S1、启动指点系统，加载预设数据；
S2、所述指点系统的显示装置根据读取的光标位置信息显示光标；
S3、所述指点系统收集注视点位置信息和手部移动信息，并将所述注视点位置信息和所述手部移动信息与所述预设数据进行比较，若满足预设移动条件，则设置光标新位置信息并运行步骤S4；若不满足则返回步骤S2；
S4、根据设置的光标新位置信息来更新所述光标位置信息，之后检测是否收到系统结束命令，若未收到系统结束命令则运行步骤S2；若收到系统结束命令，运行步骤S5；
S5、根据结束命令，关闭指点系统。
2.根据权利要求1所述的一种手动辅助定位的视线指点方法，其特征在于：所述预设数据为距离阈值D1。
3.根据权利要求2所述的一种手动辅助定位的视线指点方法，其特征在于：所述步骤S3具体包括：
S31、检测手动指点装置是否处于未触发状态且注视点距光标的距离小于或等于所述距离阈值D1，若是，维持光标位置信息不变，并运行步骤S4；若不是，运行步骤S32；
S32、检测手动指点装置是否处于未触发状态且注视点距光标的距离大于所述距离阈值D1，若是，将所述注视点位置信息设置为光标新位置信息，并运行步骤S4；若不是，运行步骤S33；
S33、检测手动指点装置是否处于触发状态，若是，根据手部移动信息来设置光标新位置信息，并运行步骤S4；若不是，运行步骤S2。
4.根据权利要求1所述的一种手动辅助定位的视线指点方法，其特征在于：所述指点系统包括显示装置、视线获取装置、手动指点装置和处理器，所述显示装置、所述视线获取装置和所述手动指点装置均与所述处理器电连接，所述显示装置用于为系统提供显示功能并根据处理器提供的光标位置信息显示光标，所述视线获取装置用于获取人眼在所述显示装置上的注视点位置信息并将其传输给所述处理器，所述手动指点装置用于提供手部移动信息并传输给所述处理器，所述处理器用于将所述注视点位置信息和手部移动信息转化为光标位置信息并发送给显示装置以显示光标。
5.根据权利要求4所述的一种手动辅助定位的视线指点方法，其特征在于：所述视线获取装置为眼动仪或其他可以获取注视点的设备。
6.根据权利要求4所述的一种手动辅助定位的视线指点方法，其特征在于：所述手动指点装置为鼠标、触摸板、轨迹球、操纵杆、触摸屏或其他利用手部动作进行指点的设备。
7.根据权利要求3所述的一种手动辅助定位的视线指点方法，其特征在于：所述注视点聚焦位置为多个且各所述注视点聚焦位置之间距离小于所述距离阈值D1时，选取各所述注视点聚焦位置中心坐标为注视点位置。
CN202010577180.5A 2020-06-23 2020-06-23 一种手动辅助定位的视线指点方法 Pending CN111736698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010577180.5A CN111736698A (zh) 2020-06-23 2020-06-23 一种手动辅助定位的视线指点方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010577180.5A CN111736698A (zh) 2020-06-23 2020-06-23 一种手动辅助定位的视线指点方法

Publications (1)

Publication Number Publication Date
CN111736698A true CN111736698A (zh) 2020-10-02

Family

ID=72650497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010577180.5A Pending CN111736698A (zh) 2020-06-23 2020-06-23 一种手动辅助定位的视线指点方法

Country Status (1)

Country Link
CN (1) CN111736698A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655886A (zh) * 2021-08-18 2021-11-16 统信软件技术有限公司 一种输入方法、输入系统、计算设备及存储介质
WO2022207821A1 (en) * 2021-03-31 2022-10-06 Legind Von Bergen Holding Aps A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US20120169596A1 (en) * 2009-09-29 2012-07-05 Zhuang Longpeng Method and apparatus for detecting a fixation point based on face detection and image measurement
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子（中国）研发中心 控制显示器的方法及设备
CN104641316A (zh) * 2012-07-30 2015-05-20 约翰·哈登 光标移动设备
US20160216761A1 (en) * 2012-01-04 2016-07-28 Tobii Ab System for gaze interaction
CN111290575A (zh) * 2020-01-21 2020-06-16 中国人民解放军空军工程大学 一种防空反导武器的多通道交互控制系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US20120169596A1 (en) * 2009-09-29 2012-07-05 Zhuang Longpeng Method and apparatus for detecting a fixation point based on face detection and image measurement
US20160216761A1 (en) * 2012-01-04 2016-07-28 Tobii Ab System for gaze interaction
CN104641316A (zh) * 2012-07-30 2015-05-20 约翰·哈登 光标移动设备
CN103500061A (zh) * 2013-09-26 2014-01-08 三星电子（中国）研发中心 控制显示器的方法及设备
CN111290575A (zh) * 2020-01-21 2020-06-16 中国人民解放军空军工程大学 一种防空反导武器的多通道交互控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022207821A1 (en) * 2021-03-31 2022-10-06 Legind Von Bergen Holding Aps A method for integrated gaze interaction with a virtual environment, a data processing system, and computer program
CN113655886A (zh) * 2021-08-18 2021-11-16 统信软件技术有限公司 一种输入方法、输入系统、计算设备及存储介质

Similar Documents

Publication Publication Date Title
US11112856B2 (en) Transition between virtual and augmented reality
US10417880B2 (en) Haptic device incorporating stretch characteristics
US10137363B2 (en) Gesture based user interfaces, apparatuses and control systems
US11294475B1 (en) Artificial reality multi-modal input switching model
US20230218983A1 (en) Information processing device, control method of information processing device, and program
JP2023515525A (ja) ウェアラブルシステムのための手のジェスチャ入力
Bowman et al. 3d user interfaces: New directions and perspectives
WO2017177006A1 (en) Head mounted display linked to a touch sensitive input device
CN106843498B (zh) 基于虚拟现实的动态界面交互方法及装置
CN104246682A (zh) 增强的虚拟触摸板和触摸屏
CN108073285B (zh) 一种电子设备及控制方法
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
WO2015108112A1 (ja) 操作判定装置、操作判定方法、および、プログラム
WO2010032268A2 (en) System and method for controlling graphical objects
CN111736698A (zh) 一种手动辅助定位的视线指点方法
CN111389003B (zh) 游戏角色控制方法、装置、设备及计算机可读存储介质
CN115598831A (zh) 提供精准眼动追踪的光学系统和相关方法
US20240185516A1 (en) A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program
Bao et al. Exploring 3d interaction with gaze guidance in augmented reality
EP4345584A1 (en) Control device, control method, and program
Dickie et al. LookPoint: an evaluation of eye input for hands-free switching of input devices between multiple computers
CN111736689A (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
KR20090085821A (ko) 인터페이스 장치와 이를 이용한 게임기 및 컨텐츠 제어방법
Ismail et al. A prototype system for controlling a computer by head movements and voice commands
Gorodnichy et al. Working with computer hands-free using Nouse perceptual vision interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination