CN110285818B - 一种眼动交互增强现实的相对导航方法 - Google Patents
一种眼动交互增强现实的相对导航方法 Download PDFInfo
- Publication number
- CN110285818B CN110285818B CN201910575447.4A CN201910575447A CN110285818B CN 110285818 B CN110285818 B CN 110285818B CN 201910575447 A CN201910575447 A CN 201910575447A CN 110285818 B CN110285818 B CN 110285818B
- Authority
- CN
- China
- Prior art keywords
- landmark
- navigation
- virtual
- salient
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000004424 eye movement Effects 0.000 title claims abstract description 53
- 230000003993 interaction Effects 0.000 title claims abstract description 53
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000005516 engineering process Methods 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 21
- 230000004397 blinking Effects 0.000 claims description 16
- 230000009471 action Effects 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 11
- 210000005252 bulbus oculi Anatomy 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000008054 signal transmission Effects 0.000 claims description 6
- 230000000193 eyeblink Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 230000019771 cognition Effects 0.000 abstract description 3
- 239000011521 glass Substances 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008255 psychological mechanism Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Abstract
本发明公开了一种眼动交互增强现实的相对导航方法，该方法包括以下步骤：步骤1、提取导航路径下的显著地标及其POI坐标信息；步骤2、根据设定的地标分类及标注模型，标注显著地标并生成虚拟标签；步骤3、利用相对方位计算模型计算显著地标的即时相对方位属性信息，并赋予虚拟标签即时相对方位属性信息；步骤4、实现显著地标虚拟标签在现实场景中相对于用户的相对方位映射；步骤5、通过可穿戴式眼动仪与导航系统进行导航过程的视觉交互。本发明能降低导航过程安全风险，基于增强现实的相对导航方法充分考虑用户对二维绝对空间的推理和认知能力的局限性，能够有效辅助用户在第一视角真实场景环境中进行导航任务。
Description
技术领域
本发明涉及导航技术、智能交互技术和增强现实技术领域，尤其涉及一种眼动交互增强现实的相对导航方法。
背景技术
导航是GIS理论研究的一个重要应用领域。现有的导航技术现状与发展：有轨迹导航和模糊导航，轨迹导航时接收到GPS信号后通过记录形式的路线，并以此作为参照来指导形式的导航方式，模糊导航时按规划的路线模拟真实情况进行导航，不需要GPS信号，设置了起点和目的地就可以进行模拟导航；三维实景导航将路面上的建筑物以三维立体形式表现，效果更为真实，AR增强现实导航将实际场景的实时录像叠加转向信息。越野导航，将点到点导航，在无图状态下的方向导航，用于没有道路的地方，通过标点、他人航迹、预先规划好的路径等手段来导航。全息导航以位置为基础，全面反映位置本身及其与位置相关的各种特征、时间或事物的全信息的数字导航，是适应位置服务应用需求的一种新型导航产品。
增强现实是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，通过将虚拟的信息融合渲染至真实场景，从而达到超越现实的感官体验。用户借助AR眼镜，AR头盔显示器，全息投影等设备把二维或三维对象通过建模和模拟仿真叠加至以现实场景为背景的环境中。增强现实技术包含了多媒体、三维建模与模拟仿真、多传感器融合、虚拟影像投影及控制、虚实场景融合、实时跟踪及注册等技术，在传统广播媒体、工程学、医学、教育学等领域具有巨大应用价值。
眼动仪用于捕捉人在处理视觉信息时的眼动轨迹数据，广泛用于心理学、视知觉、智能交互等领域的研究。现有的主要应用有，眼动与视觉信息加工的心理机制研究，视觉搜索和模式识别的眼动研究，动机与态度的研究，游戏智能眼动交互体验等。
目前，GIS导航与位置服务领域研究偏重精确定位与基于绝对坐标的路径引导，现有的导航系统未充分考虑用户对绝对空间的推理和认知能力的局限性，缺乏在现实场景中，辅助用户在第一视角下进行路径引导的导航应用，缺乏易于理解的基于相对语义的导航方法。传统导航软件的导航系统依赖于导航系统的屏幕展示和语音播报，用户需分散注意力，导致行进视线偏离路面，存在安全隐患。现阶段的实景导航系统基于电子地图的绝对坐标，引导过程局限于全局与局部的路径展示与方位朝向判定，未充分利用行人的相对导航寻路能力，缺少较为直观的视觉提示、展示与交互的过程，难以准确且高效引导处于骑行或驾驶状态的用户。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷：目前的导航系统基于绝对坐标，未充分考虑人对绝对空间到相对空间的认知和转换能力，在导航过程中依赖于导航系统屏幕展示导航路径，需要用户将视线从道路上移开，存在较大不安全因素，在感官交互方式上以手动交互和语音交互为主，缺少更为直观的视觉交互过程；提供一种眼动交互增强现实的相对导航方法。
本发明解决其技术问题所采用的技术方案是：
本发明提供一种眼动交互增强现实的相对导航方法，该方法基于增强现实技术以显著地标相对关系为引导信号进行动态视觉导航，通过可穿戴式眼动仪与导航系统进行视觉交互；该方法包括以下步骤：
步骤1、提取导航路径下的显著地标及其POI坐标信息，显著地标通过计算各个地标的显著度来判定；
步骤2、根据设定的地标分类及标注模型，标注显著地标并生成虚拟标签，虚拟标签包括显著地标对应的分类图标标签和文字标签；
步骤3、调用用户即时姿态朝向信息、即时位置信息和显著地标的POI坐标信息，利用相对方位计算模型计算显著地标的即时相对方位属性信息，并赋予虚拟标签即时相对方位属性信息；
步骤4、通过增强现实技术将显著地标的虚拟标签实时投影至以真实场景为背景的环境中，实现显著地标虚拟标签在现实场景中相对于用户的相对方位映射；通过增强现实技术将导航路径略缩图、即时位置信息和即时方位信息投影至视觉导航系统的显示环境，其中显著地标的虚拟标签位置与引导要素信息图例为动态显示，随用户的姿态变化而动态更新；
步骤5、通过可穿戴式眼动仪与导航系统进行导航过程的视觉交互，可穿戴式眼动仪能实现眼动轨迹跟踪与数据采集，并与导航系统进行数据互联传输指令，实现眼动交互；导航过程的视觉交互包括通过追踪眼球动作指令进行导航过程的路径方案选择确定与返回，全局、局部路段的选择确定与返回，路径的局部放大与缩小，视角切换的操作。
进一步地，本发明的该方法中的导航系统为支撑视觉导航系统的平台，包括以下三种方案：(1)智能AR眼镜；(2)具备眼动追踪功能的智能AR眼镜；(2)便携式全息投影设备+便携式移动终端。
进一步地，本发明的步骤1中显著地标的显著度由该地标的视觉显著度、语义显著度和结构显著度融合计算获得；显著地标POI坐标信息包括经纬度坐标信息。
进一步地，本发明的步骤1的具体方法为：
步骤1.1、提取导航路径下的视觉显著地标、语义显著地标和结构显著地标，并提取其对应的POI坐标信息；
步骤1.2、1.2由地标显著度计算模型计算地标的综合显著度，综合显著度由地标的视觉显著度、语义显著度和结构显著度以不同的权值综合计算获得；其计算公式为：
其中，S表示地标综合显著度，sv表示地标的视觉显著度，wv表示视觉显著度的权值；ss表示地标的语义显著度，ws表示视觉显著度的权值；su表示地标的结构显著度，wu表示结构显著度的权值；其中wv+ws+wu＝1。
进一步地，本发明的步骤2中显著地标的标注和虚拟标签的生成，包括通过地标分类和标注模型生成显著地标的类型分类标签和文字标签；显著地标的地标分类包括：餐馆、银行/ATM、商场/超市、学校、宾馆/饭店、娱乐场所、机场、火车站、地铁站、药店、医院、停车场、卫生间、景点、公交车站、隧道、加油站、办公楼；并对各个地标分类设置对应形状的标注模型。
进一步地，本发明的步骤3中显著地标相对方位的计算，包括显著地标相对于用户即时位置的相对方位信息，由相对方位计算模型计算获得；显著地标至现实场景的映射，包括二维电子地图绝对坐标下的显著地标POI坐标信息至现实视觉场景下显著地标相对于用户的相对方位映射；映射标签为即时动态虚拟标签，随用户当前位置实时变化；其计算方法具体为：
步骤3.1、获取当前用户位置信息(Latp,Lonp)和朝向姿态信息Angp,其中以正北朝向为0°,角度随顺时针递增；显著地标的POI坐标信息为(Latl,Lonl)；将当前用户的坐标信息和显著地标的POI坐标信息转换为墨卡托投影坐标，分别为用户位置信息(Bp,Lp)和显著地标的POI坐标信息(Bl,Ll)；
步骤3.2、显著地标相对方位的计算模型为：
其中，Ang为即时相对方位，(latl，lonl)、(latp，lonp)分别表示显著地标坐标和用户当前位置的经纬度坐标，(Bp,Lp)、(Bl,Ll)分别表示显著地标坐标和用户当前位置转换后的墨卡托投影坐标，分别代表(Bp,Lp)与(Bl,Ll)在纬度、经度方向上的距离差(包含方向信息)，Angp表示当前用户朝向。
进一步地，本发明的步骤4中利用增强现实技术将显著地标的虚拟标签映射至以真实场景为背景的环境中，虚拟标签包括导航前进方向可视路段内所有显著地标的虚拟标签，虚拟标签的内容包括显著地标的类型分类标签和文字标签；通过增强现实技术将导航路径略缩图或全局路径引导图、即时位置信息和即时方位信息投影至视觉导航系统的显示环境，包括导航路径的缩略图、全局路径全览图和局部路段的投影、用户实时位置信息和姿态朝向信息的图标、符号、标签信息的投影。
进一步地，本发明的步骤4的具体方法为：
步骤4.1、建立增强现实设备或全息投影设备与导航系统之间的无线连接；
步骤4.2、获取用户的即时位姿状态，建立所需叠加的虚拟标签和虚拟符号信息在投影环境中的相对位置关系，完成虚拟标签和虚拟符号信息的三维注册，完成虚实场景融合；
步骤4.3、借助增强现实设备或全息投影设备，将显著地标的虚拟标签和引导要素信息映射至投影环境中的对应位置，其中显著地标的虚拟标签位置与引导要素信息图例随用户的姿态变化动态更新。
进一步地，本发明的步骤5中眼动交互过程的眼球动作指令包括：
基础眼动指令：
选择，双眼注视，通过双眼注视完成目标选择指令；
确认，连续两次眨眼，通过连续两次眨眼完成确认指令
返回，单眼眨眼，单眼眨眼一次，眨眼时间为1±0.5S，完成返回指令；
眼动交互指令：
路径选择确认，注视目标路径并连续两次眨眼，导航路径方案的选择与确认，通过注视完成方案选择，通过眨眼组合动作完成确认；
返回路径选择，单眼眨眼，方案选择指令完成情况下的界面返回操作；
局部路段放大，注视并连续两次眨眼，在全局路径查看框中，局部路段的放大查看，通过注视小地图中的目标路段完成选择，通过眨眼组合动作完成局部放大操作；
局部路段缩小，注视并连续三次眨眼，局部路段放大查看状态下的界面缩小操作，通过注视完成待缩小目标的选择，通过眨眼组合动作完成缩小操作；
视角切换，注视虚拟按钮并连续两次眨眼，通过注视和眨眼组合操作完成导航视角切换操作。
进一步地，本发明的步骤5的具体方法为：
步骤5.1、建立便携式可穿戴眼动仪与导航系统之间的无线连接，并根据信号传输协议建立眼动追踪输出信号与导航系统输入信号之间的信号传输通道；
步骤5.2、定义眼动追踪信号与导航系统之间的数据传输和指令控制规则，设计导航任务相关操作的人机眼动交互动作指令；
步骤5.3、为不同用户进行眼球追踪校准并建立参数档案；
步骤5.4、根据定义的导航眼动指令，以及眼动交互的具体操作，控制导航系统进行操作，具体操作包括导航路径方案的选择确定与返回，全局、局部路段的选择确定与返回，路径的局部放大与缩小，视角切换的操作。
本发明产生的有益效果是：本发明的眼动交互增强现实的相对导航方法，通过眼动交互、增强现实和相对导航技术解决上述问题。具体地，通过利用导航路径上的显著地标和即时相对关系属性作为可用于视觉引导的动态引导信号，辅助用户进行空间认知；借助增强现实技术或全息投影设备将显著地标虚拟标签和其他引导要素投影至现实场景环境中，辅助用户进行动态路径引导；并利用可穿戴式眼动追踪设备与导航系统进行人机智能视觉交互，进一步提升导航的安全性和准确性，提升用户导航体验，提高引导成功率，减少用户导航过程中的注意力分散，降低导航过程安全风险。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例的流程图；
图2为本发明实施例的显著地标虚拟标签映射至实时街景环境中的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明主要实现基于增强现实和相对关系模型的显著地标虚拟标签的动态投影和视觉动态相对引导，主要实现可穿戴式眼动仪与导航系统的人机智能视觉交互。具体包括显著地标虚拟标签生成及即时相对关系属性计算，基于增强现实技术的显著地标虚拟标签(包含相对关系属性信息)及辅助引导要素的即时投影，来实现相对导航，并通过眼动追踪设备与导航系统进行导航过程人机智能视觉交互。发明实施例的流程图如图1所示。
请见图1，本发明提供的一种眼动交互增强现实的相对导航方法，包括以下步骤：
步骤1：提取导航路径下的显著地标及POI坐标信息，所述显著地标的显著性包括视觉显著性、语义显著性和结构显著性，显著地标的显著度由该地标的视觉显著度、语义显著度和结构显著度融合计算获得；
其中，步骤1的具体操作方法为：
步骤1.1、提取导航路径下的视觉显著地标、语义显著地标和结构显著地标，提取上述地标的POI坐标信息；
步骤1.2、由地标显著度计算模型计算地标的综合显著度，综合显著度由地标的视觉显著度、语义显著度和结构显著度以不同的权值综合计算获得：
其中，S表示地标综合显著度，sv表示地标的视觉显著度，wv表示视觉显著度的权值；ss表示地标的语义显著度，ws表示视觉显著度的权值；su表示地标的结构显著度，wu表示结构显著度的权值；其中wv+ws+wu＝1；
步骤2：根据地标分类及标注模型，标注显著地标并生成虚拟标签，所述虚拟标签包括显著地标对应的分类图标标签和文字标签；
其中，显著地标的虚拟标签，包括显著地标的三维分类标签和文字标签，显著地标不同功能类别的三维标签图示为表1所示；
表1显著地标不同功能类别的三维标签图示
步骤3：调用用户即时姿态朝向信息Angp,即时位置信息和显著地标POI坐标信息，利用相对方位计算模型计算显著地标的即时相对方位属性信息，并赋予虚拟标签即时相对方位属性信息；
其中，步骤3的具体操作方法为：
步骤3.1、获取当前用户位置信息(Latp,Lonp)和朝向姿态信息Angp,其中以正北朝向为0°,角度随顺时针递增；显著地标的POI坐标信息为(Latl,Lonl)；将当前用户的坐标信息和显著地标的POI坐标信息转换为墨卡托投影坐标，分别为用户位置信息(Bp,Lp)和显著地标的POI坐标信息(Bl,Ll)；(步骤3.1中的用户位置信息，POI坐标信息可通过绝对坐标的形式进行表示，当然并不局限于以绝对坐标形式的表示方法，还包含通过视觉定位的方式获得的相对方位关系；当前用户位置信息的获取方式包含GPS定位方法、视觉定位方法、多源传感器融合定位方法等)；
步骤3.2、利用相对方位计算模型计算显著地标相对于用户位置的相对方位信息Ang，相对方位计算模型为：
步骤4：通过增强现实技术将显著地标的虚拟标签实时投影至以真实场景为背景的环境中，实现显著地标虚拟标签在现实场景中相对于用户的相对方位映射；通过增强现实技术将导航路径略缩图(全局路径引导图)、即时位置信息和即时方位信息投影至视觉导航系统的显示环境，其中显著地标的虚拟标签位置与引导要素信息图例为动态显示，随用户的姿态变化而动态更新；
其中，步骤4的具体操作方法为：
步骤4.1、建立增强现实设备或全息投影设备与导航系统(智能移动设备)之间的无线连接(AR智能眼镜为包含增强现实功能的智能移动设备，无需建立连接)；
步骤4.2、获取用户的即时位姿状态，建立所需叠加的虚拟标签和虚拟符号信息在投影环境中的相对位置关系，完成虚拟标签和虚拟符号信息的三维注册，完成虚实场景融合；
步骤4.3、借助增强现实设备或全息投影设备，将显著地标的虚拟标签和引导要素信息(引导要素信息包含路径引导过程中，引导用户进行导航的辅助信息，包含但不局限于即时导航路径、即时位置和方向信息)映射至投影环境中的对应位置，其中显著地标的虚拟标签位置与引导要素信息图例随用户的姿态变化动态更新；
步骤5：借助眼动追踪设备或眼动追踪系统与导航系统进行导航过程的视觉交互，所述眼动追踪设备为可穿戴式眼动仪(眼动追踪系统可以是具备眼动追踪功能的智能AR眼镜)，能实现眼动轨迹跟踪与数据采集，并与导航系统进行数据互联传输指令，实现眼动交互；所述导航过程的视觉交互包括通过追踪眼球动作指令进行导航过程的路径方案选择确定与返回，全局、局部路段的选择确定与返回，路径的局部放大与缩小，视角切换等操作；
其中，步骤5的具体操作方法为：
步骤5.1、建立便携式可穿戴眼动仪与导航系统之间的无线连接，并根据信号传输协议建立眼动追踪输出信号与导航系统输入信号之间的信号传输通道(具备眼动追踪功能的智能AR眼镜无需建立信号连接)；
步骤5.2、定义眼动追踪信号与导航系统之间的数据传输和指令控制规则，设计导航任务相关操作的人机眼动交互动作指令；
步骤5.3、为不同用户进行眼球追踪校准并建立参数档案；
步骤5.4、根据本发明定义的导航眼动指令，以及眼动交互的具体操作，控制导航系统进行操作，具体操作包括导航路径方案的选择确定与返回，全局、局部路段的选择确定与返回，路径的局部放大与缩小，视角切换等操作。本发明所设计的眼动交互过程的眼动交互指令表如表2所示。
表2眼动交互过程的眼动交互指令表
根据本发明实施例的一种眼动交互增强现实的相对导航方法，将导航路径下的显著地标信息辅以相对关系属性，以动态虚拟标签形式，借助增强现实技术或全息投影技术进行动态投影。将显著地标虚拟标签、导航路径、用户位置和朝向等信息实时展示，为用户直观地展现导航路径下，用户的实时状态和动态的引导信号。在导航过程中通过眼动交互的指令动作对导航过程进行人机智能视觉交互，实现导航路径方案的选择确定与返回，全局、局部路段的选择确定与返回，路径的局部放大与缩小，视角切换等操作。这种方式不影响用户的正常行进状态，在未分散视觉注意力和视线的情况下，实现导航与交互，增强用户的导航体验。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (3)
1.一种眼动交互增强现实的相对导航方法，其特征在于，该方法基于增强现实技术以显著地标相对关系为引导信号进行动态视觉导航，通过可穿戴式眼动仪与导航系统进行视觉交互；该方法包括以下步骤：
步骤1、提取导航路径下的显著地标及其POI坐标信息，显著地标通过计算各个地标的显著度来判定；
步骤2、根据设定的地标分类及标注模型，标注显著地标并生成虚拟标签，虚拟标签包括显著地标对应的分类图标标签和文字标签；
步骤3、调用用户即时姿态朝向信息、即时位置信息和显著地标的POI坐标信息，利用相对方位计算模型计算显著地标的即时相对方位属性信息，并赋予虚拟标签即时相对方位属性信息；
步骤4、通过增强现实技术将显著地标的虚拟标签实时投影至以真实场景为背景的环境中，实现显著地标虚拟标签在现实场景中相对于用户的相对方位映射；通过增强现实技术将导航路径略缩图、即时位置信息和即时方位信息投影至视觉导航系统的显示环境，其中显著地标的虚拟标签位置与引导要素信息图例为动态显示，随用户的姿态变化而动态更新；
步骤5、通过可穿戴式眼动仪与导航系统进行导航过程的视觉交互，可穿戴式眼动仪能实现眼动轨迹跟踪与数据采集，并与导航系统进行数据互联传输指令，实现眼动交互；导航过程的视觉交互包括通过追踪眼球动作指令进行导航过程的路径方案选择确定与返回，全局、局部路段的选择确定与返回，路径的局部放大与缩小，视角切换的操作；
步骤4中利用增强现实技术将显著地标的虚拟标签映射至以真实场景为背景的环境中，虚拟标签包括导航前进方向可视路段内所有显著地标的虚拟标签，虚拟标签的内容包括显著地标的分类图标标签和文字标签；通过增强现实技术将导航路径略缩图或全局路径引导图、即时位置信息和即时方位信息投影至视觉导航系统的显示环境，包括导航路径的缩略图、全局路径引导图和局部路段的投影，用户实时位置信息和姿态朝向信息的图标、符号、标签信息的投影；
步骤4的具体方法为：
步骤4.1、建立增强现实设备或全息投影设备与导航系统之间的无线连接；
步骤4.2、获取用户的即时位姿状态，建立所需叠加的虚拟标签和虚拟符号信息在投影环境中的相对位置关系，完成虚拟标签和虚拟符号信息的三维注册，完成虚实场景融合；
步骤4.3、借助增强现实设备或全息投影设备，将显著地标的虚拟标签和引导要素信息映射至投影环境中的对应位置，其中显著地标的虚拟标签位置与引导要素信息图例随用户的姿态变化动态更新；
步骤5中眼动交互过程的眼球动作指令包括：
基础眼动指令：
选择，双眼注视，通过双眼注视完成目标选择指令；
确认，连续两次眨眼，通过连续两次眨眼完成确认指令；
返回，单眼眨眼，单眼眨眼一次，眨眼时间为1±0.5S，完成返回指令；
眼动交互指令：
路径选择确认，注视目标路径并连续两次眨眼，导航路径方案的选择与确认，通过注视完成方案选择，通过眨眼组合动作完成确认；
返回路径选择，单眼眨眼，方案选择指令完成情况下的界面返回操作；
局部路段放大，注视并连续两次眨眼，在全局路径查看框中，局部路段的放大查看，通过注视小地图中的目标路段完成选择，通过眨眼组合动作完成局部放大操作；
局部路段缩小，注视并连续三次眨眼，局部路段放大查看状态下的界面缩小操作，通过注视完成待缩小目标的选择，通过眨眼组合动作完成缩小操作；
视角切换，注视虚拟按钮并连续两次眨眼，通过注视和眨眼组合操作完成导航视角切换操作；
步骤5的具体方法为：
步骤5.1、建立便携式可穿戴眼动仪与导航系统之间的无线连接，并根据信号传输协议建立眼动追踪输出信号与导航系统输入信号之间的信号传输通道；
步骤5.2、定义眼动追踪信号与导航系统之间的数据传输和指令控制规则，设计导航任务相关操作的人机眼动交互动作指令；
步骤5.3、为不同用户进行眼球追踪校准并建立参数档案；
步骤5.4、根据定义的导航眼动指令，以及眼动交互的具体操作，控制导航系统进行操作，具体操作包括导航路径方案的选择确定与返回，全局、局部路段的选择确定与返回，路径的局部放大与缩小，视角切换的操作；
步骤1中显著地标的显著度由该地标的视觉显著度、语义显著度和结构显著度融合计算获得；显著地标POI坐标信息包括经纬度坐标信息；
步骤1的具体方法为：
步骤1.1、提取导航路径下的视觉显著地标、语义显著地标和结构显著地标，并提取其对应的POI坐标信息；
步骤1.2、由地标显著度计算模型计算地标的综合显著度，综合显著度由地标的视觉显著度、语义显著度和结构显著度以不同的权值综合计算获得；其计算公式为：
其中，表示地标综合显著度，/>表示地标的视觉显著度，/>表示视觉显著度的权值；/>表示地标的语义显著度，/>表示语义显著度的权值；/>表示地标的结构显著度，/>表示结构显著度的权值。
2.根据权利要求1所述的眼动交互增强现实的相对导航方法，其特征在于，步骤2中显著地标的标注和虚拟标签的生成，包括通过地标分类和标注模型生成显著地标的分类图标标签和文字标签；显著地标的地标分类包括：餐馆、银行/ATM、商场/超市、学校、宾馆、娱乐场所、机场、火车站、地铁站、药店、医院、停车场、卫生间、景点、公交车站、隧道、加油站、办公楼；并对各个地标分类设置对应形状的标注模型。
3.根据权利要求1所述的眼动交互增强现实的相对导航方法，其特征在于，步骤3中显著地标相对方位的计算，包括显著地标相对于用户即时位置的相对方位信息，由相对方位计算模型计算获得；显著地标至现实场景的映射，包括二维电子地图绝对坐标下的显著地标POI坐标信息至现实视觉场景下显著地标相对于用户的相对方位映射；映射标签为即时动态虚拟标签，随用户当前位置实时变化；其计算方法具体为：
步骤3.1、获取当前用户位置信息和朝向姿态信息/>,其中以正北朝向为0°,角度随顺时针递增；显著地标的POI坐标信息为/>；将当前用户的坐标信息和显著地标的POI坐标信息转换为墨卡托投影坐标；
步骤3.2、显著地标相对方位的计算模型为：
其中，Ang为即时相对方位，（lat l，lon l）、（lat p，lon p）分别表示显著地标的POI坐标和用户当前位置的经纬度坐标，、/>分别表示显著地标的POI坐标和用户当前位置转换后的墨卡托投影坐标，/>、/>分别代表/>与/>在纬度、经度方向上的距离差，Ang p表示当前用户朝向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910575447.4A CN110285818B (zh) | 2019-06-28 | 2019-06-28 | 一种眼动交互增强现实的相对导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910575447.4A CN110285818B (zh) | 2019-06-28 | 2019-06-28 | 一种眼动交互增强现实的相对导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110285818A CN110285818A (zh) | 2019-09-27 |
| CN110285818B true CN110285818B (zh) | 2023-09-19 |
Family
ID=68019605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910575447.4A Active CN110285818B (zh) | 2019-06-28 | 2019-06-28 | 一种眼动交互增强现实的相对导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110285818B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110888530A (zh) * | 2019-11-19 | 2020-03-17 | 上海萃钛智能科技有限公司 | 一种基于电子地图的3d可视化编辑器和编辑方法 |
| CN111722708B (zh) * | 2020-04-29 | 2021-06-08 | 中国人民解放军战略支援部队信息工程大学 | 一种基于眼动的多维地理信息自适应智能交互方法及装置 |
| CN111397633A (zh) * | 2020-05-12 | 2020-07-10 | 苏州清研捷运信息科技有限公司 | 一种应用地标识别技术进行引导的汽车导航系统 |
| CN111625091B (zh) * | 2020-05-14 | 2021-07-20 | 佳都科技集团股份有限公司 | 基于ar眼镜的标签叠加方法及装置 |
| CN111693038B (zh) * | 2020-05-28 | 2023-07-28 | 维沃移动通信有限公司 | 路线导航方法及装置 |
| CN111595349A (zh) * | 2020-06-28 | 2020-08-28 | 浙江商汤科技开发有限公司 | 导航方法及装置、电子设备和存储介质 |
| CN111833454B (zh) * | 2020-06-30 | 2023-11-28 | 北京市商汤科技开发有限公司 | 展示方法、装置、设备和计算机可读存储介质 |
| SE2030252A1 (en) | 2020-08-13 | 2022-02-14 | Nagoon AB | Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world |
| CN111829544B (zh) * | 2020-09-14 | 2020-12-08 | 南京酷朗电子有限公司 | 互动式实景导航方法 |
| CN114092674B (zh) * | 2022-01-24 | 2022-04-22 | 北京派瑞威行互联技术有限公司 | 多媒体数据分析方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104596523A (zh) * | 2014-06-05 | 2015-05-06 | 腾讯科技（深圳）有限公司 | 一种街景目的地引导方法和设备 |
| WO2015077766A1 (en) * | 2013-11-25 | 2015-05-28 | Pcms Holdings, Inc. | Systems and methods for providing augmenting reality information associated with signage |
| CN109582140A (zh) * | 2018-11-23 | 2019-04-05 | 哈尔滨工业大学 | 一种基于虚拟现实与眼动追踪的建筑室内寻路要素视觉显著性评估系统与方法 |
| CN109683701A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视线跟踪的增强现实交互方法和装置 |
-
2019
- 2019-06-28 CN CN201910575447.4A patent/CN110285818B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015077766A1 (en) * | 2013-11-25 | 2015-05-28 | Pcms Holdings, Inc. | Systems and methods for providing augmenting reality information associated with signage |
| CN104596523A (zh) * | 2014-06-05 | 2015-05-06 | 腾讯科技（深圳）有限公司 | 一种街景目的地引导方法和设备 |
| CN109683701A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视线跟踪的增强现实交互方法和装置 |
| CN109582140A (zh) * | 2018-11-23 | 2019-04-05 | 哈尔滨工业大学 | 一种基于虚拟现实与眼动追踪的建筑室内寻路要素视觉显著性评估系统与方法 |
Non-Patent Citations (2)
| Title |
|---|
| "天之眼――一种基于增强现实的POI移动终端系统";沈盛彧 等，;《测绘通报》;20160925(第9期);96-98,107页 * |
| "顾及传感器特征与行人需求的行人导航关键技术研究";李灵，;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190615(第06期);38-49页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110285818A (zh) | 2019-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110285818B (zh) | 一种眼动交互增强现实的相对导航方法 | |
| US11692842B2 (en) | Augmented reality maps | |
| US9652124B2 (en) | Use of beacons for assistance to users in interacting with their environments | |
| JP6717742B2 (ja) | ナビゲーション命令を表示する装置及び方法 | |
| Katz et al. | NAVIG: Augmented reality guidance system for the visually impaired: Combining object localization, GNSS, and spatial audio | |
| EP2482038B1 (en) | Method for interactive geographic features display and corresponding navigation system | |
| Al-Khalifa et al. | Ebsar: Indoor guidance for the visually impaired | |
| US20220065651A1 (en) | Method, apparatus, and system for generating virtual markers for journey activities | |
| Fröhlich et al. | On the move, wirelessly connected to the world | |
| Coughlan et al. | Crosswatch: a system for providing guidance to visually impaired travelers at traffic intersection | |
| De Oliveira et al. | Indoor navigation with mobile augmented reality and beacon technology for wheelchair users | |
| US10602052B2 (en) | Transition from display of first camera information to display of second camera information | |
| US20150113458A1 (en) | Method and apparatus for providing a user interface for presenting routing segments | |
| US9459115B1 (en) | Unobstructed map navigation using animation | |
| CN111325849B (zh) | 虚拟内容显示方法、装置、终端设备及存储介质 | |
| Narzt et al. | A new visualization concept for navigation systems | |
| Elvins | VisFiles: Virtually lost in virtual worlds—Wayfinding without a cognitive map | |
| TWI286715B (en) | System of simulating 3D virtual reality navigation | |
| CN103323015A (zh) | 导航方法和导航装置 | |
| Yao et al. | Development overview of augmented reality navigation | |
| Morita | Theory and development of research in ubiquitous mapping | |
| Prandi et al. | On augmenting the experience of people with mobility impairments while exploring the city: A case study with wearable devices | |
| Reiner et al. | A Framework for Future Navigation Aids | |
| Suryaa et al. | ARNAV: Computer vision and Machine Learning-Based Augmented Reality-Based Indoor Navigation System | |
| Baus et al. | Resource-adaptive personal navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |