CN111722708A - 一种基于眼动的多维地理信息自适应智能交互方法及装置 - Google Patents

一种基于眼动的多维地理信息自适应智能交互方法及装置 Download PDF

Info

Publication number
CN111722708A
CN111722708A CN202010378130.4A CN202010378130A CN111722708A CN 111722708 A CN111722708 A CN 111722708A CN 202010378130 A CN202010378130 A CN 202010378130A CN 111722708 A CN111722708 A CN 111722708A
Authority
CN
China
Prior art keywords
fixation
watching
eye
time
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010378130.4A
Other languages
English (en)
Other versions
CN111722708B (zh
Inventor
郑束蕾
王成舜
杨春雷
陈毓芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Original Assignee
Information Engineering University of PLA Strategic Support Force
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force filed Critical Information Engineering University of PLA Strategic Support Force
Publication of CN111722708A publication Critical patent/CN111722708A/zh
Application granted granted Critical
Publication of CN111722708B publication Critical patent/CN111722708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于眼动的多维地理信息自适应智能交互方法，包括：改造眼动仪设备接口，使支持眼动模式与地理信息系统自然交互；实时定位获取注视点地理坐标；设计双侧和单侧注视眼控交互方式；当双侧注视屏幕时，判断注视时间是否小于阈值，若否则执行眼控工具触发地图功能，若是则无操作；当单侧注视屏幕时，判断注视时间是否小于阈值，若否则执行放大或缩小操作，若是则无操作；当双侧注视执行眼控地图功能后，判断下一阈值内所有注视点是否仍在注视区域内，若是，则触发二次注视功能，对区域内兴趣点及相关地物的位置和属性突出显示；本发明还公开一种基于眼动的多维地理信息自适应交互装置。提高了个性化地理信息服务的精准度和有效性。

Description

一种基于眼动的多维地理信息自适应智能交互方法及装置
技术领域
本发明属于眼动地理信息交互技术领域，尤其涉及一种基于眼动的多维地理信息自适应智能交互方法及装置。
背景技术
地图是人对地理环境认知的工具和可视化手段（郑束蕾.个性化地图的认知机理研究[D].信息工程大学.2015.）。而地理信息系统（电子地图）是以地图为中心，通过在地图可视化的基础上集成放大、缩小、漫游、查询、检索、空间分析等各种功能，为地理信息的分析与表达提供强大支持的一种软件方法。传统的地理信息系统软件以键盘和鼠标为主要的查询输入和目标确认方式，而以人眼视觉作为输出信息获取的主要通道，这样的交互行为操作复杂，眼、手输入、输出通道相分离，信息传输效率低下，智能化程度低。更重要的是，用户兴趣点、兴趣区不能得到及时关注，一些潜在的个性化需求不能得到很好满足。
眼动追踪技术是利用红外眼动仪实时记录人眼位置和运动模式的一种生物信息技术，具有实时、客观、不介入的优点（董卫华,廖华,詹智成,刘兵,王圣凯,杨天宇.2008年以来地图学眼动与视觉认知研究新进展[J].地理学报,2019, 74(03):193-208.）。目前国内外的眼动仪品牌主要有Tobii、Eyelink、SMI、七鑫易维、青研等。眼动仪能够记录眼动参数数据为研究目标同时提供定性与定量依据，还可以以眼动注视作为其他产品的触发器进行输入控制（眼控），因此被广泛应用于阅读、广告、体育、航空、医疗等领域。但目前缺少对地理信息的支持，仅有的应用范例大多局限于记录眼动参数数据来评价地图产品设计的可用性，而很少见眼控触发电子地图和地理信息系统环境中的地理信息功能及地理信息与眼动集成软硬件产品的研究。
发明内容
本发明针对现有的利用眼动追踪技术解决地理信息系统操作中交互行为操作复杂的问题，提出一种基于眼动的多维地理信息自适应智能交互方法及装置。
为了实现上述目的，本发明采用以下技术方案：
一种基于眼动的多维地理信息自适应智能交互方法，包括：
步骤1：对眼动仪设备的接口进行改造，使眼动仪设备支持眼动数据与地理信息系统交互；
步骤2：基于改造的接口，实时获取注视点的地理坐标；
步骤3：判断注视行为类型，若左右眼数据能同时捕获为双侧注视行为，若只能捕获左眼或右眼数据则为单侧注视行为；
步骤4：当为双侧注视行为时，计算注视时间，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是，则触发屏幕内眼控单击操作，若否，则继续执行步骤3；
步骤5：当屏幕内眼控单击操作触发后，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，继续判断下一个时间阈值内所有注视点的地理坐标是否仍位于触发眼控单击操作的注视区域内，若是，则触发二次注视功能，若否，则执行步骤3；
步骤6：当为单侧注视时，判断是否为左侧注视，若是则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行放大功能，若否则继续执行步骤3；
若为右侧注视，则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行缩小功能，若否则继续执行步骤3。
进一步地，所述步骤1包括：
步骤1.1：定义获取注视坐标函数实时获取注视点的屏幕坐标，实时获取的注视点的屏幕坐标定义为上次注视点的屏幕坐标和当前注视点的屏幕坐标分别与所占权重乘积的和；
步骤1.2：将获取的屏幕坐标转为地理坐标；
步骤1.3：定义注视时间阈值和注视区域，所述注视区域为正方形；
步骤1.4：定义判断注视点停留位置的函数之一以判断注视时间阈值内注视点实时地理坐标是否位于注视区域内；
步骤1.5：定义判断注视点停留位置的函数之二以判断下一个注视时间阈值内注视点实时地理坐标是否仍位于注视区域内。
进一步地，所述步骤3之前还包括：
判断注视屏幕区域；判断眼动行为类型，所述类型包括眨眼行为、扫视行为及注视行为；当为眨眼行为时，眼动仪记录用户双侧眨眼次数并进行判断，当连续双侧眨眼次数小于两次时不执行任何功能，当连续双侧眨眼次数大于两次时在注视位置执行确认操作；当为扫视行为时，眼动仪获取并记录用户扫视路径信息；当为注视行为时，则判断注视行为类型，并计算注视时间。
进一步地，根据注视屏幕区域的不同，所述注视时间阈值不同。
一种基于眼动的多维地理信息自适应智能交互装置，包括：
接口改造模块，用于对眼动仪设备的接口进行改造，使眼动仪设备支持眼动数据与地理信息系统交互；
坐标实时获取模块，用于基于改造的接口，实时获取注视点的地理坐标；
第一判断模块，用于判断注视行为类型，若左右眼数据能同时捕获为双侧注视行为，若只能捕获左眼或右眼数据则为单侧注视行为；
第二判断模块，用于为双侧注视行为时，计算注视时间，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是，则触发屏幕内眼控单击操作，若否，则继续执行第一判断模块；
第三判断模块，用于当屏幕内眼控单击操作触发后，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，继续判断下一个时间阈值内所有注视点的地理坐标是否仍位于触发眼控单击操作的注视区域内，若是，则触发二次注视功能，若否，则执行第一判断模块；
第四判断模块，用于当为单侧注视时，判断是否为左侧注视，若是则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行放大功能，若否则继续执行第一判断模块；
若为右侧注视，则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行缩小功能，若否则继续执行第一判断模块。
进一步地，所述接口改造模块包括：
第一定义子模块，用于定义获取注视坐标函数实时获取注视点的屏幕坐标，实时获取的注视点的屏幕坐标定义为上次注视点的屏幕坐标和当前注视点的屏幕坐标分别与所占权重乘积的和；
转换子模块，用于将获取的屏幕坐标转为地理坐标；
第二定义子模块，用于定义注视时间阈值和注视区域，所述注视区域为正方形；
第三定义子模块，用于定义判断注视点停留位置的函数之一以判断注视时间阈值内注视点实时地理坐标是否位于注视区域内；
第四定义子模块，用于定义判断注视点停留位置的函数之二以判断下一个注视时间阈值内注视点实时地理坐标是否仍位于注视区域内。
进一步地，还包括：第五判断模块，用于判断眼动行为类型，所述类型包括眨眼行为、扫视行为及注视行为；当为眨眼行为时，眼动仪记录用户双侧眨眼次数并进行判断，当连续双侧眨眼次数小于两次时不执行任何功能，当连续双侧眨眼次数大于两次时在注视位置执行确认操作；当为扫视行为时，眼动仪获取并记录用户扫视路径信息；当为注视行为时，则判断注视行为类型，并计算注视时间。
进一步地，根据注视屏幕区域的不同，所述注视时间阈值不同。
与现有技术相比，本发明具有的有益效果：
一、本发明在地理信息系统的功能触发机制上有所突破，研发了眼动仪与地理信息系统的接口，拓展了眼动追踪技术的应用方式和范围，利用多种眼动行为定位地理实体坐标、触发地理信息功能的调用，与借助键盘、鼠标的触控交互方式相比，提升了地理信息服务的智能化水平；
二、基于眼控的用户兴趣区和兴趣点的自动捕获定位和实时捕获技术，是人工智能技术在地理信息行业的具体应用。本发明将地理信息眼动数据记录分析提升到实时智能控制的水平，通过监控眼动行为方式，在用户通过眼睛浏览获取地理信息的同时，自然捕获视觉兴趣点（区），通过阈值设定自动解译操作指令、自适应反馈分析与可视化结果，据此提供个性化的定位、浏览、查询、量算等地理信息功能，大大提高了个性化地理信息服务的精准度、时效性和有效性；
三、相对于传统方法，本发明提高了与地理信息系统交互效率、效果及服务的智能化水平，具有智能、高效、准确、友好、客观的突出优势，且稳定可靠。
附图说明
图1为本发明实施例一种基于眼动的多维地理信息自适应智能交互方法的基本流程图；
图2为本发明实施例一种基于眼动的多维地理信息自适应智能交互方法的支持眼动数据交互的地理信息系统界面图；
图3为本发明实施例一种基于眼动的多维地理信息自适应智能交互方法的注视屏幕位置判断流程图；
图4为本发明实施例一种基于眼动的多维地理信息自适应智能交互方法的工具栏的眼控交互流程图；
图5为本发明实施例一种基于眼动的多维地理信息自适应智能交互方法的地图窗口功能展示图之一，其中，5(a)为放大功能展示图，5(b)为缩小功能展示图，5(c)和5(d)为变焦显示功能展示图；
图6为本发明实施例一种基于眼动的多维地理信息自适应智能交互方法的地图窗口的眼控交互流程图；
图7为本发明实施例一种基于眼动的多维地理信息自适应智能交互方法的地图窗口功能展示图之二，其中，7(a)为量算功能展示图，7(b)为漫游功能展示图，7(c)为属性查询功能展示图，7(d)为多次注视功能展示图；
图8为本发明实施例一种基于眼动的多维地理信息自适应智能交互装置的架构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
实施例1
如图1所示，一种基于眼动的多维地理信息自适应智能交互方法，包括：
步骤S101：对眼动仪设备的接口进行改造，使眼动仪设备支持眼动数据与地理信息系统交互；
具体地，本实施例中，选用了七鑫易维F140眼动仪设备捕捉和获取用户的眼动数据，该型号眼动设备分辨率为120Hz，即每秒钟记录120次眼动坐标。设备的实时接口(Runtime)能够支持C#程序语言进行研发工作；采用ArcGIS Engine 10.2平台，利用C#语言开展眼控地理信息系统的二次开发，在联想X1笔记本进行系统配置，并使用三星显示器展示，屏幕分辨率为1980*1080。
具体地，本实施例中，支持眼动数据交互的地理信息系统界面如图2所示，包括：工具栏、地图窗口、地图坐标、图层栏。工具栏包括放大、缩小、全局、漫游、属性查询、量算、变焦显示、多次注视（二次注视）、眼控开始和眼控结束等功能。地图窗口用于展示各类地图信息，图层栏显示地图图层分类信息，地图坐标展示注视位置的坐标信息。
具体地，所述步骤S101包括：
步骤S101.1：定义获取注视坐标函数实时获取注视点的屏幕坐标，实时获取的注视点的屏幕坐标定义为上次注视点的屏幕坐标和当前注视点的屏幕坐标分别与所占权重乘积的和；
鉴于眼睛运动时会出现眼颤现象，导致注视坐标出现偏移，影响实时注视坐标的准确性，本实例的实时注视坐标定义为上次注视点的屏幕坐标和当前注视点的屏幕坐标分别与所占权重乘积的和。其中上次注视坐标的权重为0.85，当前注视坐标的权重为0.15。该方法能有效消除眼颤导致的坐标偏移问题。核心代码如下：
private float oldratio = 0.85; // 上次注视坐标的权重
private float newratio = 0.15; // 当前注视坐标的权重
private float oldX, oldY; // 上次注视的坐标
private float x, y; // 当前注视的坐标
private void OnGetEyeData (x, y)
{
oldX = oldX * oldratio + x * newratio; // 重新定义上次注视坐标的x值
oldY = oldY * oldratio + y * newratio; // 重新定义上次注视坐标的y值
if (this.OnGetEyePosition != null) // 获取注视坐标
this.OnGetEyePosition.Invoke (oldX, oldY);
}
步骤S101.2：将获取的屏幕坐标转为地理坐标；
屏幕坐标转为地理坐标的代码如下：
x *= ScreenResolution.RealScreenWidth;
y *= ScreenResolution.RealScreenHeight;
Console.WriteLine(x + "," + y);
MouseHelper.Instance.MoveMouse(x, y);
currentGaze = new System.Drawing.Point((int)x, (int)y)；
步骤S101.3：定义注视时间阈值和注视区域，所述注视区域为正方形；
步骤S101.4：定义判断注视点停留位置的函数之一以判断注视时间阈值内注视点实时地理坐标是否位于注视区域内；
本实施例触发眼控单击操作的思路为：计算注视时间，当注视时间大于或等于触发时间阈值时，判断时间阈值内所有注视点的坐标，若所有注视点坐标都位于特定的注视区域内，则执行该屏幕区域内对应的地理信息系统功能。例如，若用户注视工具栏中放大按钮超过1.5s，则执行单击放大按钮操作。
为实现该操作，需定义两个关键参数：注视时间和注视区域。鉴于眼动仪只能实时提供注视点坐标这一特征，本实施例通过注视次数计算注视时间。已知眼动仪分辨率为120Hz，即注视120次为1秒，则通过注视次数可反馈注视时间，计算方法为注视次数除以120得到注视时间。眼球在注视时会出现小范围的眼颤现象，本实施例定义注视区域为正方形区域。通过定义合理的注视区域，可有效判定用户的注视位置，执行该位置对应的功能。本实施例中，设置注视地图窗口的注视时间阈值为1250ms（1.25s），注视工具栏的注视时间阈值为1500ms（1.5s），注视区域的边长为50像素。当注视屏幕区域为地图窗口时，核心代码如下：
private const int EyeStayCount = 150; // 定义注视次数阈值，150次即1.25s
private const int size = 25; //定义注视区域边长的一半，即25像素
int isstay = 0; // 定义眼控单击激活参数
private bool IsStay (Point point) // 判断注视点停留位置的函数
{
if (EyePoints != null)
{
if (EyePoints.Count >= EyeStayCount) // 判断注视次数是否大于注视次数阈值
{
EyePoints.RemoveAt(0); // 判断注视时间开始时的注视坐标
EyePoints.Add(point); // 判断注视时间结束时的注视坐标
var rect = new Rect (EyePoints[0].X - size, EyePoints[0].Y - size, size*2, size*2); // 计算注视区域
if (EyePoints.TrueForAll (i => rect.Contains (i))) // 判断所有注视坐标是否都位于注视区域内，若超过则返回真值，若没超过则继续判断。
{
EyePoints.Clear();
isstay = 1;
return true;
}
}
else
{
EyePoints.Add(point);
isstay = 0;
}
}
return false;
}
步骤S101.5：定义判断注视点停留位置的函数之二以判断下一个注视时间阈值内注视点实时地理坐标是否仍位于注视区域内；
本实施例的触发眼控二次注视操作是触发眼控单击操作的延续，即在单击操作的基础上继续判断时间阈值内所有注视点的坐标，若所有注视点坐标仍位于触发眼控单击操作的注视区域内，则执行二次注视操作。例如，若用户单击选择某一小区的属性信息后继续注视该小区超过1.25s，则触发二次注视功能，显示屏幕范围内所有小区的信息。核心代码如下：
private bool SecondStay (Point point) // 判断注视点停留位置的函数
{
if (EyePoints != null)
{
if (isstay = 1) // 判断注视单击功能是否被激活
{
EyePoints.RemoveAt(0); // 判断二次注视时间开始时的注视坐标
EyePoints.Add(point); // 判断二次注视时间结束时的注视坐标
var rect = new Rect (EyePoints[0].X - size, EyePoints[0].Y - size, size*2, size*2); // 计算注视区域
if (EyePoints.TrueForAll (i => rect.Contains (i))) // 判断所有注视坐标是否都位于注视区域内，若超过则返回真值，若没超过则继续判断。
{
EyePoints.Clear();
return true;
}
}
else
{
EyePoints.Add(point);
}
}
return false;
}
步骤S102：基于改造的接口，实时获取注视点的地理坐标；
步骤S103：判断注视行为类型，若左右眼数据能同时捕获为双侧注视行为，若只能捕获左眼或右眼数据则为单侧注视行为；
步骤S104：当为双侧注视行为时，计算注视时间，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是，则触发屏幕内眼控单击操作，若否，则继续执行步骤S103；例如当用户在某一地图坐标处注视超过1250ms，将该坐标对应的地图符号高亮显示，并自动增强显示其属性信息，如图7中7(c)所示。
步骤S105：当屏幕内眼控单击操作触发后，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，继续判断下一个时间阈值内所有注视点的地理坐标是否仍位于触发眼控单击操作的注视区域内，若是，则触发二次注视功能，若否，则执行步骤S103。例如当用户在某一地图坐标处注视时长超过2500ms后，将该区域内的同类地标信息全部高亮显示，如图7中7(d)所示；
步骤S106：当为单侧注视时，判断是否为左侧注视，若是则判断注视时间是否小于注视时间预值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行放大功能，若否则继续执行步骤S103；作为一种可实施方式，本实施例中左侧注视的时间预值为1500ms，当左侧注视时间大于或等于1500ms时，执行放大功能，如图5中5（a）所示；
若为右侧注视，则判断注视时间是否小于注视时间预值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行缩小功能，若否则继续执行步骤S103；作为一种可实施方式，本实施例中右侧注视的时间预值为1500ms，当右侧注视时间大于或等于1500ms时，执行缩小功能，如图5中5（b）所示。
具体地，所述步骤S103之前还包括：
判断注视屏幕位置，如图3所示。若注视坐标位于工具栏时，如图4所示，当用户注视时长大于或等于注视时间预值1500ms，执行该功能框对应的功能，例如图5中5(c)和5(d)所示，注视时长超过1500ms则执行变焦显示功能，即注视地图区域超过1500ms后，该地图区域通过鱼眼放大的形式进行表达，增强地图可视化效果；当注视时长低于注视时长预值1500ms，不执行任何操作。
若注视坐标位于地图窗口时，则判断眼动行为类型，如图6所示，所述类型包括眨眼行为、扫视行为及注视行为；注视行为包括单侧注视和双眼注视两类。当为眨眼行为时，眼动仪记录用户双侧眨眼次数并进行判断，当连续双侧眨眼次数小于两次时不执行任何功能，当连续双侧眨眼次数大于两次时在注视位置执行确认操作，例如，在执行地图距离量算功能时，在起点处连续两次眨眼表示确认起点，在终点处连续眨眼两次代表确认终点，系统自动计算起点和终点间的距离，如图7中7(a)所示。当为扫视行为时，眼动仪获取并记录用户扫视路径信息，该信息可用于指引地图漫游操作，例如，图7中7(b)中地图根据眼动扫视方向判断上下左右移动信息，系统执行相应地图漫游操作。当为注视行为时，则判断注视行为类型，并计算注视时间。具体地，根据注视屏幕区域的不同，所述注视时间阈值不同。
当注视坐标位于系统界面其他位置时，不执行任何任务。
实施例2
如图8所示，一种基于眼动的多维地理信息自适应智能交互装置，该装置基于实施例1所述方法，包括：
接口改造模块，用于对眼动仪设备的接口进行改造，使眼动仪设备支持眼动数据与地理信息系统交互；
坐标实时获取模块，用于基于改造的接口，实时获取注视点的地理坐标；
第一判断模块，用于判断注视行为类型，若左右眼数据能同时捕获为双侧注视行为，若只能捕获左眼或右眼数据则为单侧注视行为；
第二判断模块，用于为双侧注视行为时，计算注视时间，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是，则触发屏幕内眼控单击操作，若否，则继续执行第一判断模块；
第三判断模块，用于当屏幕内眼控单击操作触发后，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，继续判断下一个时间阈值内所有注视点的地理坐标是否仍位于触发眼控单击操作的注视区域内，若是，则触发二次注视功能，若否，则执行第一判断模块；
第四判断模块，用于当为单侧注视时，判断是否为左侧注视，若是则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行放大功能，若否则继续执行第一判断模块；
若为右侧注视，则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行缩小功能，若否则继续执行第一判断模块。
具体地，所述接口改造模块包括：
第一定义子模块，用于定义获取注视坐标函数实时获取注视点的屏幕坐标，实时获取的注视点的屏幕坐标定义为上次注视点的屏幕坐标和当前注视点的屏幕坐标分别与所占权重乘积的和；
转换子模块，用于将获取的屏幕坐标转为地理坐标；
第二定义子模块，用于定义注视时间阈值和注视区域，所述注视区域为正方形；
第三定义子模块，用于定义判断注视点停留位置的函数之一以判断注视时间阈值内注视点实时地理坐标是否位于注视区域内；
第四定义子模块，用于定义判断注视点停留位置的函数之二以判断下一个注视时间阈值内注视点实时地理坐标是否仍位于注视区域内。
具体地，还包括：第三判断模块，用于判断注视屏幕区域；判断眼动行为类型，所述类型包括眨眼行为、扫视行为及注视行为；当为眨眼行为时，眼动仪记录用户双侧眨眼次数并进行判断，当连续双侧眨眼次数小于两次时不执行任何功能，当连续双侧眨眼次数大于两次时在注视位置执行确认操作；当为扫视行为时，眼动仪获取并记录用户扫视路径信息；当为注视行为时则判断注视行为类型，并计算注视时间。具体地，根据注视屏幕区域的不同，所述注视时间阈值不同。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于眼动的多维地理信息自适应智能交互方法，其特征在于，包括：
步骤1：对眼动仪设备的接口进行改造，使眼动仪设备支持眼动数据与地理信息系统交互；
步骤2：基于改造的接口，实时获取注视点的地理坐标；
步骤3：判断注视行为类型，若左右眼数据能同时捕获为双侧注视行为，若只能捕获左眼或右眼数据则为单侧注视行为；
步骤4：当为双侧注视行为时，计算注视时间，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是，则触发屏幕内眼控单击操作，若否，则继续执行步骤3；
步骤5：当屏幕内眼控单击操作触发后，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，继续判断下一个时间阈值内所有注视点的地理坐标是否仍位于触发眼控单击操作的注视区域内，若是，则触发二次注视功能，若否，则执行步骤3；
步骤6：当为单侧注视时，判断是否为左侧注视，若是则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行放大功能，若否则继续执行步骤3；
若为右侧注视，则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行缩小功能，若否则继续执行步骤3。
2.根据权利要求1所述的一种基于眼动的多维地理信息自适应智能交互方法，其特征在于，所述步骤1包括：
步骤1.1：定义获取注视坐标函数实时获取注视点的屏幕坐标，实时获取的注视点的屏幕坐标定义为上次注视点的屏幕坐标和当前注视点的屏幕坐标分别与所占权重乘积的和；
步骤1.2：将获取的屏幕坐标转为地理坐标；
步骤1.3：定义注视时间阈值和注视区域，所述注视区域为正方形；
步骤1.4：定义判断注视点停留位置的函数之一以判断注视时间阈值内注视点实时地理坐标是否位于注视区域内；
步骤1.5：定义判断注视点停留位置的函数之二以判断下一个注视时间阈值内注视点实时地理坐标是否仍位于注视区域内。
3.根据权利要求2所述的一种基于眼动的多维地理信息自适应智能交互方法，其特征在于，所述步骤3之前还包括：
判断注视屏幕区域；判断眼动行为类型，所述类型包括眨眼行为、扫视行为及注视行为；当为眨眼行为时，眼动仪记录用户双侧眨眼次数并进行判断，当连续双侧眨眼次数小于两次时不执行任何功能，当连续双侧眨眼次数大于两次时在注视位置执行确认操作；当为扫视行为时，眼动仪获取并记录用户扫视路径信息；当为注视行为时，则判断注视行为类型，并计算注视时间。
4.根据权利要求3所述的一种基于眼动的多维地理信息自适应智能交互方法，其特征在于，根据注视屏幕区域的不同，所述注视时间阈值不同。
5.基于权利要求1-4任一所述的一种基于眼动的多维地理信息自适应智能交互方法的一种基于眼动的多维地理信息自适应智能交互装置，其特征在于，包括：
接口改造模块，用于对眼动仪设备的接口进行改造，使眼动仪设备支持眼动数据与地理信息系统交互；
坐标实时获取模块，用于基于改造的接口，实时获取注视点的地理坐标；
第一判断模块，用于判断注视行为类型，若左右眼数据能同时捕获为双侧注视行为，若只能捕获左眼或右眼数据则为单侧注视行为；
第二判断模块，用于为双侧注视行为时，计算注视时间，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是，则触发屏幕内眼控单击操作，若否，则继续执行第一判断模块；
第三判断模块，用于当屏幕内眼控单击操作触发后，判断注视时间是否小于注视时间阈值，若是，则不执行任何操作；若否，则基于改造的接口，继续判断下一个时间阈值内所有注视点的地理坐标是否仍位于触发眼控单击操作的注视区域内，若是，则触发二次注视功能，若否，则执行第一判断模块；
第四判断模块，用于当为单侧注视时，判断是否为左侧注视，若是则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行放大功能，若否则继续执行第一判断模块；
若为右侧注视，则判断注视时间是否小于注视时间阈值，若是则不执行任何操作；若否则基于改造的接口，判断时间阈值内所有注视点的地理坐标是否位于注视区域内，若是则执行缩小功能，若否则继续执行第一判断模块。
6.根据权利要求5所述的一种基于眼动的多维地理信息自适应智能交互装置，其特征在于，所述接口改造模块包括：
第一定义子模块，用于定义获取注视坐标函数实时获取注视点的屏幕坐标，实时获取的注视点的屏幕坐标定义为上次注视点的屏幕坐标和当前注视点的屏幕坐标分别与所占权重乘积的和；
转换子模块，用于将获取的屏幕坐标转为地理坐标；
第二定义子模块，用于定义注视时间阈值和注视区域，所述注视区域为正方形；
第三定义子模块，用于定义判断注视点停留位置的函数之一以判断注视时间阈值内注视点实时地理坐标是否位于注视区域内；
第四定义子模块，用于定义判断注视点停留位置的函数之二以判断下一个注视时间阈值内注视点实时地理坐标是否仍位于注视区域内。
7.根据权利要求5所述的一种基于眼动的多维地理信息自适应智能交互装置，其特征在于，还包括：第五判断模块，用于判断眼动行为类型，所述类型包括眨眼行为、扫视行为及注视行为；当为眨眼行为时，眼动仪记录用户双侧眨眼次数并进行判断，当连续双侧眨眼次数小于两次时不执行任何功能，当连续双侧眨眼次数大于两次时在注视位置执行确认操作；当为扫视行为时，眼动仪获取并记录用户扫视路径信息；当为注视行为时，则判断注视行为类型，并计算注视时间。
8.根据权利要求5所述的一种基于眼动的多维地理信息自适应智能交互装置，其特征在于，根据注视屏幕区域的不同，所述注视时间阈值不同。
CN202010378130.4A 2020-04-29 2020-05-07 一种基于眼动的多维地理信息自适应智能交互方法及装置 Active CN111722708B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020103539476 2020-04-29
CN202010353947 2020-04-29

Publications (2)

Publication Number Publication Date
CN111722708A true CN111722708A (zh) 2020-09-29
CN111722708B CN111722708B (zh) 2021-06-08

Family

ID=72564269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010378130.4A Active CN111722708B (zh) 2020-04-29 2020-05-07 一种基于眼动的多维地理信息自适应智能交互方法及装置

Country Status (1)

Country Link
CN (1) CN111722708B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391699A (zh) * 2021-06-10 2021-09-14 昆明理工大学 一种基于动态眼动指标的眼势交互模型方法
CN117435091A (zh) * 2023-12-19 2024-01-23 麦格纳汽车动力总成(天津)有限公司 一种能源管理方法、系统、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN103412698A (zh) * 2013-07-30 2013-11-27 深圳市汇顶科技股份有限公司 触摸屏坐标去抖动方法、系统及触摸屏终端
CN105676458A (zh) * 2016-04-12 2016-06-15 王鹏 可穿戴计算装置及其控制方法以及具有它的可穿戴设备
CN108255299A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 一种图像处理方法及装置
US20180357780A1 (en) * 2017-06-09 2018-12-13 Sony Interactive Entertainment Inc. Optimized shadows in a foveated rendering system
CN110196640A (zh) * 2019-05-31 2019-09-03 维沃移动通信有限公司 一种操作控制方法及终端
CN110285818A (zh) * 2019-06-28 2019-09-27 武汉大学 一种眼动交互增强现实的相对导航方法
CN110502100A (zh) * 2019-05-29 2019-11-26 中国人民解放军军事科学院军事医学研究院 基于眼动跟踪的虚拟现实交互方法及装置
US20200004332A1 (en) * 2019-09-05 2020-01-02 Lg Electronics Inc. Navigation service assistance system based on driver line of sight and vehicle navigation system using the same
CN110682909A (zh) * 2019-10-22 2020-01-14 一汽轿车股份有限公司 一种汽车视觉开关控制系统
CN111052042A (zh) * 2017-09-29 2020-04-21 苹果公司 基于注视的用户交互

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981616A (zh) * 2012-11-06 2013-03-20 中兴通讯股份有限公司 增强现实中对象的识别方法及系统和计算机
CN103412698A (zh) * 2013-07-30 2013-11-27 深圳市汇顶科技股份有限公司 触摸屏坐标去抖动方法、系统及触摸屏终端
CN105676458A (zh) * 2016-04-12 2016-06-15 王鹏 可穿戴计算装置及其控制方法以及具有它的可穿戴设备
US20180357780A1 (en) * 2017-06-09 2018-12-13 Sony Interactive Entertainment Inc. Optimized shadows in a foveated rendering system
CN111052042A (zh) * 2017-09-29 2020-04-21 苹果公司 基于注视的用户交互
CN108255299A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 一种图像处理方法及装置
CN110502100A (zh) * 2019-05-29 2019-11-26 中国人民解放军军事科学院军事医学研究院 基于眼动跟踪的虚拟现实交互方法及装置
CN110196640A (zh) * 2019-05-31 2019-09-03 维沃移动通信有限公司 一种操作控制方法及终端
CN110285818A (zh) * 2019-06-28 2019-09-27 武汉大学 一种眼动交互增强现实的相对导航方法
US20200004332A1 (en) * 2019-09-05 2020-01-02 Lg Electronics Inc. Navigation service assistance system based on driver line of sight and vehicle navigation system using the same
CN110682909A (zh) * 2019-10-22 2020-01-14 一汽轿车股份有限公司 一种汽车视觉开关控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑束蕾 等: "地图个性化认知适合度的眼动试验评估", 《测绘学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391699A (zh) * 2021-06-10 2021-09-14 昆明理工大学 一种基于动态眼动指标的眼势交互模型方法
CN117435091A (zh) * 2023-12-19 2024-01-23 麦格纳汽车动力总成(天津)有限公司 一种能源管理方法、系统、设备及介质
CN117435091B (zh) * 2023-12-19 2024-04-09 麦格纳汽车动力总成(天津)有限公司 一种能源管理方法、系统、设备及介质

Also Published As

Publication number Publication date
CN111722708B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
Hirzle et al. A design space for gaze interaction on head-mounted displays
US9829973B2 (en) Eye gaze determination
JP2022118183A (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
Mardanbegi et al. Eye-based head gestures
Giannopoulos et al. GeoGazemarks: Providing gaze history for the orientation on small display maps
CN111722708B (zh) 一种基于眼动的多维地理信息自适应智能交互方法及装置
EP2879020B1 (en) Display control method, apparatus, and terminal
WO2013153740A2 (en) Information processing apparatus, display control method, and program
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
JP2013196157A (ja) 制御装置、電子機器、制御方法、及びプログラム
CN102830797A (zh) 一种基于视线判断的人机交互方法及系统
Kumar et al. Eye-controlled interfaces for multimedia interaction
Toet Gaze directed displays as an enabling technology for attention aware systems
JP2013196158A (ja) 制御装置、電子機器、制御方法、及びプログラム
CN111443804B (zh) 基于视频分析的注视点轨迹描述方法及其系统
Caggianese et al. Situated visualization in augmented reality: Exploring information seeking strategies
CN109032343B (zh) 基于视觉和力觉触觉增强现实的工业人机交互系统及方法
CN111459285B (zh) 基于眼控技术的显示设备控制方法、显示设备及存储介质
CN105590015A (zh) 信息图热点采集方法、处理方法和装置及热点系统
CN109799908B (zh) 一种基于眼动信号的图像缩放及拖拽方法
CN115220636B (zh) 虚拟操作方法、装置、电子设备及可读存储介质
WO2018076609A1 (zh) 一种操作终端的方法和终端
Deng Multimodal interactions in virtual environments using eye tracking and gesture control.
CN113132642A (zh) 图像显示的方法及装置、电子设备
CN113095243B (zh) 一种鼠标控制的方法、装置、计算机设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant