CN109002167B - 眼球追踪模拟方法、装置及头戴显示设备 - Google Patents

眼球追踪模拟方法、装置及头戴显示设备 Download PDF

Info

Publication number
CN109002167B
CN109002167B CN201810890075.XA CN201810890075A CN109002167B CN 109002167 B CN109002167 B CN 109002167B CN 201810890075 A CN201810890075 A CN 201810890075A CN 109002167 B CN109002167 B CN 109002167B
Authority
CN
China
Prior art keywords
icon
interactive object
collision information
ray
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810890075.XA
Other languages
English (en)
Other versions
CN109002167A (zh
Inventor
宋起
沈越祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Bingfeng Technology Co ltd
Original Assignee
Zhejiang Bingfeng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Bingfeng Technology Co ltd filed Critical Zhejiang Bingfeng Technology Co ltd
Priority to CN201810890075.XA priority Critical patent/CN109002167B/zh
Publication of CN109002167A publication Critical patent/CN109002167A/zh
Application granted granted Critical
Publication of CN109002167B publication Critical patent/CN109002167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请实施例提供一种眼球追踪模拟方法、装置及头戴显示设备。首先通过摄像机获取用户的实时双眼坐标,并基于实时双眼坐标向对应的方向发射预设距离的射线。而后,针对每个可交互物体,检测射线与该可交互物体之间的碰撞信息,并判断碰撞信息是否满足预设条件。若碰撞信息满足预设条件,则根据碰撞信息控制摄像机在虚拟场景中显示准心图标,最后基于准心图标在虚拟场景中显示对应的可交互物体的交互内容。由此,无需使用任何眼动追踪设备和眼动技术原理即可模拟眼球跟踪触发技术,避免由于硬件重量的增加而影响体验舒适度,有效简化了硬件制造工艺,提高了生产效率,节约了软硬件的开发成本。

Description

眼球追踪模拟方法、装置及头戴显示设备
技术领域
本申请涉及人机交互技术领域,具体而言,涉及一种眼球追踪模拟方法、装置及头戴显示设备。
背景技术
目前,眼球追踪(Eye Tracking),是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。对以沉浸式体验为特点的VR行业而言,眼球追踪技术是VR技术的关键所在。
由于当前技术壁垒,眼球追踪技术在VR中的实现,需要在头显中安装眼动仪设备,致使VR设备的重量增加,影响用户佩戴舒适度。此外,由于需要眼动仪设备的SDK数据对接,增加了技术开发的复杂度。同时,在VR设备中加入眼动仪设备还会导致硬件制造工艺复杂,设备成本高。
发明内容
为了克服现有技术中的上述不足,本申请的目的在于提供一种眼球追踪模拟方法、装置及头戴显示设备,无需使用任何眼动追踪设备和眼动技术原理即可模拟眼球跟踪触发技术,避免由于硬件重量的增加而影响体验舒适度,有效简化了硬件制造工艺,提高了生产效率,节约了软硬件的开发成本。
为了实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供一种眼球追踪模拟方法,应用于头戴显示设备,所述头戴显示设备展示的虚拟场景中包括有摄像机和至少一个可交互物体,其中,所述摄像机的坐标为使用所述头戴显示设备的用户的双眼坐标,所述方法包括:
通过所述摄像机获取用户的实时双眼坐标,并基于所述实时双眼坐标向对应的方向发射预设距离的射线;
针对每个可交互物体,检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件,其中,所述碰撞信息包括所述射线与该可交互物体之间的交叉坐标点、所述射线与该可交互物体的法线之间的角度和/或所述射线与该可交互物体之间的碰撞持续时间;
若所述碰撞信息满足预设条件,则根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标;
基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容。
可选地,所述检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件的步骤,包括:
检测所述射线与该可交互物体之间是否存在交叉坐标点,若存在交叉坐标点,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。
可选地,所述检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件的步骤,还包括:
检测所述射线与该可交互物体的法线之间的角度是否大于预设角度,若大于预设角度,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。
可选地,所述检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件的步骤,还包括:
检测所述射线与该可交互物体之间的碰撞持续时间是否大于预设时间,若大于预设时间,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。
可选地,所述根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标的步骤,包括:
根据所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的实际坐标;
根据所述准心图标的初始尺寸、所述摄像机获取的用户的实时双眼坐标以及该可交互物体的表面坐标计算所述准心图标的实际尺寸;
根据该可交互物体所在平面的世界法线以及所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的图标角度;
基于所述实际坐标、所述实际尺寸以及所述图标角度在所述虚拟场景中显示准心图标。
可选地,所述基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容的步骤,包括:
生成所述准心图标对应的时间倒计时;
当所述时间倒计时结束后所述虚拟场景中显示对应的可交互物体的交互内容。
第二方面,本申请实施例还提供一种眼球追踪模拟装置,应用于头戴显示设备,所述头戴显示设备展示的虚拟场景中包括有摄像机和至少一个可交互物体,其中,所述摄像机的坐标为使用所述头戴显示设备的用户的双眼坐标,所述装置包括:
射线发射模块,用于通过所述摄像机获取用户的实时双眼坐标,并基于所述实时双眼坐标向对应的方向发射预设距离的射线;
判断模块,用于针对每个可交互物体,检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件,其中,所述碰撞信息包括所述射线与该可交互物体之间的交叉坐标点、所述射线与该可交互物体的法线之间的角度和/或所述射线与该可交互物体之间的碰撞持续时间;
图标显示模块,用于若所述碰撞信息满足预设条件,则根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标;
内容显示模块,用于基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容。
第三方面,本申请实施例还提供一种头戴显示设备,所述头戴显示设备包括:
存储介质;
处理器;以及
上述的眼球追踪模拟装置,所述眼球追踪模拟装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块。
第四方面,本申请实施例还提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现上述的眼球追踪模拟方法。
相对于现有技术而言,本申请具有以下有益效果:
本申请实施例首先通过摄像机获取用户的实时双眼坐标,并基于实时双眼坐标向对应的方向发射预设距离的射线。而后,针对每个可交互物体,检测射线与该可交互物体之间的碰撞信息,并判断碰撞信息是否满足预设条件。若碰撞信息满足预设条件,则根据碰撞信息控制摄像机在虚拟场景中显示准心图标,最后基于准心图标在虚拟场景中显示对应的可交互物体的交互内容。由此,无需使用任何眼动追踪设备和眼动技术原理即可模拟眼球跟踪触发技术,避免由于硬件重量的增加而影响体验舒适度,有效简化了硬件制造工艺,提高了生产效率,节约了软硬件的开发成本。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。
图1为本申请实施例提供的头戴显示设备的结构示意框图。
图2为本申请实施例提供的眼球追踪模拟方法的流程示意图;
图3为本申请实施例提供的眼球追踪模拟方法的应用场景示意图;
图4为本申请实施例提供的一种准心图标示意图。
图标:100-头戴显示设备;110-存储介质;120-处理器;200-眼球追踪模拟装置;210-射线发射模块;220-判断模块;230-图标显示模块;240-内容显示模块。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本申请实施例提供的头戴显示设备100的结构示意框图。本实施例中,所述头戴显示设备100可以是VR设备、AR设备等具备生成虚拟体验场景的设备,本实施例对此不作具体限制。
本实施例中,所述头戴显示设备100可包括眼球追踪模拟装置200、存储介质110以及处理器120。本申请实施例中,眼球追踪模拟装置200包括至少一个可以软件或固件(Firmware)的形式存储于所述存储介质110中或固化在所述头戴显示设备100的操作系统(Operating System,OS)中的软件功能模块。所述处理器120用于执行所述存储介质110中存储的可执行软件模块,例如所述眼球追踪模拟装置200所包括的软件功能模块及计算机程序等。本实施例中,所述眼球追踪模拟装置200也可以集成于所述操作系统中,作为所述操作系统的一部分。具体地,所述眼球追踪模拟装置200包括射线发射模块210、判断模块220、图标显示模块230以及内容显示模块240。所应说明的是,在其它实施例中,所述眼球追踪模拟装置200包括的上述功能模块中的其中一部分也可省略,或者其还可以包括其它更多的功能模块。下面对上述各功能模块进行详细描述。
所述射线发射模块210,用于通过摄像机获取用户的实时双眼坐标,并基于所述实时双眼坐标向对应的方向发射预设距离的射线。
所述判断模块220,用于针对每个可交互物体,检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件,其中,所述碰撞信息包括所述射线与该可交互物体之间的交叉坐标点、所述射线与该可交互物体的法线之间的角度和/或所述射线与该可交互物体之间的碰撞持续时间。
所述图标显示模块230,用于若所述碰撞信息满足预设条件,则根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标。
所述内容显示模块240,用于基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容。
请参阅图2,为本申请实施例提供的眼球追踪模拟方法的一种流程示意图,所述眼球追踪模拟方法由所述头戴显示设备100执行,下面结合图2对所述眼球追踪模拟装置200的各功能模块进行详细阐述。所应说明的是,本申请实施例提供的眼球追踪模拟方法不以图2及以下所述的具体顺序为限制。所述方法的具体流程如下:
步骤S210,通过摄像机获取用户的实时双眼坐标,并基于所述实时双眼坐标向对应的方向发射预设距离的射线。本实施例中,该步骤S210可以由所述射线发射模块210执行。
本实施例中,所述头戴显示设备100可以为用户展示一虚拟场景以使用户在展示的虚拟场景中体验交互内容。详细地,请结合参阅图3,该虚拟场景可包括摄像机和至少一个可交互物体,该摄像机的坐标为使用所述头戴显示设备100的用户的双眼坐标。其中,所述摄像机可以与该用户的虚拟角色绑定,并随着用户头部的移动而实时更新坐标。
基于图3中所示的虚拟场景,本实施例通过模拟眼球追踪来替代现有技术中的眼动仪设备。详细地,用户在体验过程中可进行实时的头部移动或者身体移动,所述头戴显示设备100通过所述摄像机获取该用户的实时双眼坐标,以确定用户当前朝向的方向,接着,基于所述实时双眼坐标向对应的方向发射预设距离的射线,该射线可以理解为模拟所述用户的双眼观测方向。
值得说明的是,上述预设距离应当是虚拟场景中人眼观察单个物体的最佳可视距离,超过上述预设距离时一般无法看见物体细节,所以上述预设距离以外的物体将自动排除。可选地,上述预设距离可以是3米,也即,射线从起始端到末尾端的距离始终为3米以内。
步骤S220,针对每个可交互物体,检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件。本实施例中,该步骤S220可以由所述判断模块220执行。
本实施例中,可选地,所述碰撞信息包括所述射线与该可交互物体之间的交叉坐标点、所述射线与该可交互物体的法线之间的角度和/或所述射线与该可交互物体之间的碰撞持续时间。可以下面结合三个具体示例来详细阐述如何判断碰撞信息是否满足预设条件。
第一判断方式,可以检测所述射线与该可交互物体之间是否存在交叉坐标点,若存在交叉坐标点,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。
第二判断方式,还可以检测所述射线与该可交互物体的法线之间的角度是否大于预设角度,若大于预设角度,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。由此,当该可交互物体在视线的正前方时为最大化呈现,此时方可判定该物品能否吸引用户驻足欣赏,从而避免了视线逗留在其他倾斜角度内造成的误触发事件。例如,所述射线与该可交互物体的法线之间的角度应处于图3中中的角度区间。
第三判断方式,还可以检测所述射线与该可交互物体之间的碰撞持续时间是否大于预设时间,若大于预设时间,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。也即,如果该可交互物体引起用户的兴趣,用户会自动在该物体上注视更长的时间,此时所述射线与该可交互物体之间的碰撞持续时间也相应更长,当超过预设时间(例如2秒)后,该可交互物体即被成功判定。
值得说明的是,在具体实施时,可以将上述三种判断方式中的任意一种作为判定条件,例如第一判断方式,或者第二判断方式,或者第三判断方式。也可以将上述三种判断方式都作为判定条件,也即将同时满足第一判断方式、第二判断方式以及第三判断方式作为判定条件。也可以将上述三种判断方式中的任意两种组合作为判定条件,例如将同时满足第一判断方式和第二判断方式作为判定条件,或者将同时满足第一判断方式和第三判断方式作为判定条件,又或者将同时满足第二判断方式和第三判断方式作为判定条件。此外,步骤S220也可以采用不同于上述三种判断方式的其它判断方式来作为判定条件,本实施例中第一判断方式,或者第二判断方式,或者第三判断方式仅为举例说明,并不对此进行详细限制。
步骤S230,若所述碰撞信息满足预设条件,则根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标。本实施例中,该步骤S230可以由所述图标显示模块230执行。
在经过步骤S220的判断之后,若所述碰撞信息满足预设条件,则所述摄像机中显示准心图标,所述准心图标的出现是为了增加一个眼球注视触发机制的辅助瞄准的功能,从而有利于用户对可交互物体结构的视觉判断。
详细地,所述准心图标的显示方式可以是:
首先,根据所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的实际坐标,所述实际坐标也即所述射线与该可交互物体之间的交叉坐标点,此时所述准心图标位移到该实际坐标上。
接着,根据所述准心图标的初始尺寸、所述摄像机获取的用户的实时双眼坐标以及该可交互物体的表面坐标计算所述准心图标的实际尺寸。详细地,可以按如下公式:
所述准心图标的实际尺寸/该可交互物体的表面坐标=所述准心图标的初始尺寸/所述摄像机获取的用户的实时双眼坐标,以此得到所述准心图标的实际尺寸,并始终执行。
由于可交互物体的表面和准心图标的平面不一致,比如该可交互物体的表面不是平面,准心图标的显示也不该一直平行于头戴显示设备100,此时将准心图标的法线和物体表面的法线进行平行匹配,使准心图标平行于物体的真实表面。详细地,可根据该可交互物体所在平面的世界法线以及所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的图标角度。
请结合参阅图4,射线可通过检测与可交互物体平面交叉点位置,并获得可交互物体平面的世界法线(垂直于平面的向量线,如图4中的2.法线),接着,射线将与可交互物体平面交叉点位置和可交互物体平面的世界法线发送给准心图标,准心图标的y轴方向与该平面的法线方向平行(即x-z平面与其垂直),准心图标即与可交互对象的表平面实时平行。
最后,基于所述实际坐标、所述实际尺寸以及所述图标角度在所述虚拟场景中显示准心图标,此时,该准心图标的坐标为所述实际坐标,该准心图标的尺寸为所述实际尺寸,该准心图标的位置角度为所述图标角度。
步骤S240,基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容。本实施例中,该步骤S240可以由所述内容显示模块240执行。
准心图标显示后,在显示具体可交互内容之前,本实施例提供一个加载流程,以给予用户相应的等待时间。作为一种实施方式,首先可生成所述准心图标对应的时间倒计时,当所述时间倒计时结束后所述虚拟场景中显示对应的可交互物体的交互内容。例如,参阅图4所示,当准心图标显示后,开始顺时针(或者逆时针)填充颜色,以时间倒计时为3秒钟为例,填充过程3秒种,当准心图标填充满后即触发可交互内容,此时用户可以观看到所述可交互内容。
基于上述设计,本实施例无需使用任何眼动追踪设备和眼动技术原理即可模拟眼球跟踪触发技术,避免由于硬件重量的增加而影响体验舒适度,有效简化了硬件制造工艺,提高了生产效率,节约了软硬件的开发成本。
进一步地,本申请实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的眼球追踪模拟方法。
综上所述,本申请实施例首先通过摄像机获取用户的实时双眼坐标,并基于实时双眼坐标向对应的方向发射预设距离的射线。而后,针对每个可交互物体,检测射线与该可交互物体之间的碰撞信息,并判断碰撞信息是否满足预设条件。若碰撞信息满足预设条件,则根据碰撞信息控制摄像机在虚拟场景中显示准心图标,最后基于准心图标在虚拟场景中显示对应的可交互物体的交互内容。由此,无需使用任何眼动追踪设备和眼动技术原理即可模拟眼球跟踪触发技术,避免由于硬件重量的增加而影响体验舒适度,有效简化了硬件制造工艺,提高了生产效率,节约了软硬件的开发成本。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
可以替换的,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句"包括一个……"限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (7)

1.一种眼球追踪模拟方法,其特征在于,应用于头戴显示设备,所述头戴显示设备展示的虚拟场景中包括有摄像机和至少一个可交互物体,其中,所述摄像机的坐标为使用所述头戴显示设备的用户的双眼坐标,所述方法包括:
通过所述摄像机获取用户的实时双眼坐标,并基于所述实时双眼坐标向对应的方向发射预设距离的射线;
针对每个可交互物体,检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件,其中,所述碰撞信息包括所述射线与该可交互物体之间的交叉坐标点、所述射线与该可交互物体的法线之间的角度和/或所述射线与该可交互物体之间的碰撞持续时间;
若所述碰撞信息满足预设条件,则根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标;
其中,所述根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标的步骤,包括:
根据所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的实际坐标;
根据所述准心图标的初始尺寸、所述摄像机获取的用户的实时双眼坐标以及该可交互物体的表面坐标计算所述准心图标的实际尺寸;
根据该可交互物体所在平面的世界法线以及所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的图标角度;
基于所述实际坐标、所述实际尺寸以及所述图标角度在所述虚拟场景中显示准心图标;
基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容。
2.根据权利要求1所述的眼球追踪模拟方法,其特征在于,所述检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件的步骤,包括:
检测所述射线与该可交互物体之间是否存在交叉坐标点,若存在交叉坐标点,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。
3.根据权利要求1所述的眼球追踪模拟方法,其特征在于,所述检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件的步骤,还包括:
检测所述射线与该可交互物体的法线之间的角度是否大于预设角度,若大于预设角度,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。
4.根据权利要求1所述的眼球追踪模拟方法,其特征在于,所述检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件的步骤,还包括:
检测所述射线与该可交互物体之间的碰撞持续时间是否大于预设时间,若大于预设时间,则判定所述碰撞信息满足预设条件,否则判定所述碰撞信息不满足预设条件。
5.根据权利要求1所述的眼球追踪模拟方法,其特征在于,所述基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容的步骤,包括:
生成所述准心图标对应的时间倒计时;
当所述时间倒计时结束后所述虚拟场景中显示对应的可交互物体的交互内容。
6.一种眼球追踪模拟装置,其特征在于,应用于头戴显示设备,所述头戴显示设备展示的虚拟场景中包括有摄像机和至少一个可交互物体,其中,所述摄像机的坐标为使用所述头戴显示设备的用户的双眼坐标,所述装置包括:
射线发射模块,用于通过所述摄像机获取用户的实时双眼坐标,并基于所述实时双眼坐标向对应的方向发射预设距离的射线;
判断模块,用于针对每个可交互物体,检测所述射线与该可交互物体之间的碰撞信息,并判断所述碰撞信息是否满足预设条件,其中,所述碰撞信息包括所述射线与该可交互物体之间的交叉坐标点、所述射线与该可交互物体的法线之间的角度和/或所述射线与该可交互物体之间的碰撞持续时间;
图标显示模块,用于若所述碰撞信息满足预设条件,则根据所述碰撞信息控制所述摄像机在所述虚拟场景中显示准心图标;此外,所述图标显示模块,还用于根据所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的实际坐标,根据所述准心图标的初始尺寸、所述摄像机获取的用户的实时双眼坐标以及该可交互物体的表面坐标计算所述准心图标的实际尺寸,根据该可交互物体所在平面的世界法线以及所述射线与该可交互物体之间的交叉坐标点计算所述准心图标的图标角度,基于所述实际坐标、所述实际尺寸以及所述图标角度在所述虚拟场景中显示准心图标;
内容显示模块,用于基于所述准心图标在所述虚拟场景中显示对应的可交互物体的交互内容;此外,所述内容显示模块,还用于生成所述准心图标对应的时间倒计时,当所述时间倒计时结束后所述虚拟场景中显示对应的可交互物体的交互内容。
7.一种头戴显示设备,其特征在于,所述头戴显示设备包括:
存储介质;
处理器;以及
权利要求6中所述的眼球追踪模拟装置,所述眼球追踪模拟装置存储于所述存储介质中并包括由所述处理器执行的软件功能模块;其中,所述眼球追踪模拟装置包括至少一个可以软件或固件的形式存储于所述存储介质中或固化在所述头戴显示设备的操作系统中的软件功能模块。
CN201810890075.XA 2018-08-07 2018-08-07 眼球追踪模拟方法、装置及头戴显示设备 Active CN109002167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810890075.XA CN109002167B (zh) 2018-08-07 2018-08-07 眼球追踪模拟方法、装置及头戴显示设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810890075.XA CN109002167B (zh) 2018-08-07 2018-08-07 眼球追踪模拟方法、装置及头戴显示设备

Publications (2)

Publication Number Publication Date
CN109002167A CN109002167A (zh) 2018-12-14
CN109002167B true CN109002167B (zh) 2021-04-20

Family

ID=64595483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810890075.XA Active CN109002167B (zh) 2018-08-07 2018-08-07 眼球追踪模拟方法、装置及头戴显示设备

Country Status (1)

Country Link
CN (1) CN109002167B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634427B (zh) * 2018-12-24 2022-06-14 陕西圆周率文教科技有限公司 基于头部追踪的ar眼镜控制系统及控制方法
CN109710075B (zh) * 2018-12-29 2021-02-09 北京诺亦腾科技有限公司 一种在vr场景中显示内容的方法及装置
CN110376922B (zh) * 2019-07-23 2022-10-21 广东工业大学 手术室场景模拟系统
CN112925416A (zh) * 2021-02-24 2021-06-08 中国工商银行股份有限公司 用户视线跟踪方法、装置及系统
CN114569056B (zh) * 2022-01-28 2022-11-15 首都医科大学附属北京天坛医院 眼球检测和视觉模拟设备以及眼球检测以及视觉模拟方法
CN116807388B (zh) * 2023-06-20 2023-12-05 广州视景医疗软件有限公司 基于眼动追踪的主导眼检测方法、装置、终端设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770324A (zh) * 2008-12-31 2010-07-07 商泰软件(上海)有限公司 一种实现三维图形界面互动式操作的方法
CN105096382A (zh) * 2015-07-09 2015-11-25 浙江宇视科技有限公司 一种在视频监控图像中关联真实物体信息的方法及装置
US20160077344A1 (en) * 2014-09-12 2016-03-17 Aaron Burns Stabilizing motion of an interaction ray
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN106814846A (zh) * 2016-10-24 2017-06-09 上海青研科技有限公司 一种vr中基于视线和碰撞体交点的眼动分析方法
CN107392888A (zh) * 2017-06-16 2017-11-24 福建天晴数码有限公司 一种基于Unity引擎的距离测试方法及系统
CN107491168A (zh) * 2017-07-25 2017-12-19 南阳师范学院 基于虚拟现实的养猪场交互控制系统设计方法
CN107608507A (zh) * 2017-09-05 2018-01-19 清华大学 弱光条件下机车部件的选定方法及机车辅助维修系统
CN107899241A (zh) * 2017-11-22 2018-04-13 网易(杭州)网络有限公司 信息处理方法及装置、存储介质、电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770324A (zh) * 2008-12-31 2010-07-07 商泰软件(上海)有限公司 一种实现三维图形界面互动式操作的方法
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
US20160077344A1 (en) * 2014-09-12 2016-03-17 Aaron Burns Stabilizing motion of an interaction ray
CN105096382A (zh) * 2015-07-09 2015-11-25 浙江宇视科技有限公司 一种在视频监控图像中关联真实物体信息的方法及装置
CN106814846A (zh) * 2016-10-24 2017-06-09 上海青研科技有限公司 一种vr中基于视线和碰撞体交点的眼动分析方法
CN107392888A (zh) * 2017-06-16 2017-11-24 福建天晴数码有限公司 一种基于Unity引擎的距离测试方法及系统
CN107491168A (zh) * 2017-07-25 2017-12-19 南阳师范学院 基于虚拟现实的养猪场交互控制系统设计方法
CN107608507A (zh) * 2017-09-05 2018-01-19 清华大学 弱光条件下机车部件的选定方法及机车辅助维修系统
CN107899241A (zh) * 2017-11-22 2018-04-13 网易(杭州)网络有限公司 信息处理方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN109002167A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
CN109002167B (zh) 眼球追踪模拟方法、装置及头戴显示设备
KR102212250B1 (ko) 증강 현실 오브젝트의 신체 고정식 배치
CN110478901B (zh) 基于增强现实设备的交互方法及系统
US20190099673A1 (en) Visual display method and apparatus for compensating sound information, storage medium and device
US8089375B1 (en) Head-up display/synthetic vision system predicted flight path depiction
JP5436574B2 (ja) ポインティングによって現実世界のオブジェクトとオブジェクト表現とをリンクさせるシステム及び方法
EP3014409A1 (en) Indicating out-of-view augmented reality images
EP2869274A1 (en) Video processing device, video processing method, and video processing system
US20180354509A1 (en) Augmented reality (ar) visualization of advanced driver-assistance system
WO2016014871A1 (en) Multi-user gaze projection using head mounted display devices
KR20210034692A (ko) 혼합 현실의 등급을 매긴 정보 전달
US11314326B2 (en) Information processing device, information processing method, and program for determining a user gaze
US9646417B1 (en) Augmented reality system for field training
CN109621415A (zh) 3d游戏中的显示控制方法及装置、计算机存储介质
US9857884B2 (en) Visual-field information collection method and system for executing the visual-field information collection method
CN109143248A (zh) 一种基于超声波测距的vr交互现实防碰撞方法
US10846901B2 (en) Conversion of 2D diagrams to 3D rich immersive content
KR20210108341A (ko) 브라우저의 디스플레이 검증 방법, 장치, 컴퓨터 기기 및 저장 매체
US10204420B2 (en) Low latency simulation apparatus and method using direction prediction, and computer program therefor
CN108446023B (zh) 虚拟现实反馈装置及其定位方法、反馈方法和定位系统
CN113643440A (zh) 定位方法、装置、设备和存储介质
CA2980384C (en) Multifactor eye position identification in a display system
CN117742481A (zh) 人机交互方法、装置、设备和存储介质
US20220245898A1 (en) Augmented reality based on diagrams and videos
US20230034682A1 (en) Visual instruction during running of a visual instruction sequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant