CN109683701A - 基于视线跟踪的增强现实交互方法和装置 - Google Patents
基于视线跟踪的增强现实交互方法和装置 Download PDFInfo
- Publication number
- CN109683701A CN109683701A CN201710972961.2A CN201710972961A CN109683701A CN 109683701 A CN109683701 A CN 109683701A CN 201710972961 A CN201710972961 A CN 201710972961A CN 109683701 A CN109683701 A CN 109683701A
- Authority
- CN
- China
- Prior art keywords
- information
- image
- user
- scene
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种基于视线跟踪的增强现实交互方法和装置。所述方法包括:获取当前场景对应的场景图像,获取用户头部的方位信息,头部方位信息包括用户的头部高度信息以及头部偏转角度信息,根据头部方位信息确定场景图像当中的目标图像,获取用户眼睛的视线信息,并根据视线信息确定目标图像当中的目标对象,获取目标对象对应的虚拟增强信息,并将虚拟增强信息叠加至场景图像当中的相应位置。本申请利用用户的头部方位以及视线信息完成感光区域的目标选取,通过计算机的三维数字重建,将用户看到的真实场景与虚拟增强信息融合,从而提升增强现实的交互性。
Description
技术领域
本发明涉及增强现实技术领域,尤其涉及一种基于视线跟踪的增强现实交互方法和装置。
背景技术
AR(Augmented Reality,增强现实)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术,模拟仿真后,把真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。增强现实技术,不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息充、叠加。
目前国内外研究人员采用的三维注册方法无论是基于方位跟踪设备,基于计算机视觉,还是基于视觉—方位跟踪器混合跟踪,都是通过跟踪用户头部方位,获取头部位置信息的变化来实现虚实信息的叠加。视觉通道是人类与外部环境之间最重要的信息接口,人在增强信息空间中活动除了头部运动外,眼睛也在转动,以头部位置去近似视线方向,不考虑人眼运动,导致虚拟信息在真实空间中显示位置的误差较大。
发明内容
本发明实施例提供一种基于视线跟踪的增强现实交互方法和装置,可以将用户看到的真实场景与虚拟增强信息融合,从而提升增强现实的交互性。
本发明实施例提供了一种基于视线跟踪的增强现实交互方法,包括:
获取当前场景对应的场景图像;
获取用户头部的方位信息,所述头部方位信息包括用户的头部高度信息以及头部偏转角度信息;
根据所述头部方位信息确定所述场景图像当中的目标图像;
获取用户眼睛的视线信息,并根据所述视线信息确定所述目标图像当中的目标对象;
获取所述目标对象对应的虚拟增强信息,并将所述虚拟增强信息叠加至所述场景图像当中的相应位置。
相应地,本发明实施例还提供一种基于视线跟踪的增强现实交互装置,包括:场景获取模块、方位获取模块、图像确定模块、视线获取模块、对象确定模块以及增强模块;
所述场景获取模块,用于获取当前场景对应的场景图像;
所述方位获取模块,用于获取用户头部的方位信息,所述头部方位信息包括用户的头部高度信息以及头部偏转角度信息;
所述图像确定模块,用于根据所述头部方位信息确定所述场景图像当中的目标图像;
所述视线获取模块,用于获取用户眼睛的视线信息;
所述对象确定模块,用于根据所述视线信息确定所述目标图像当中的目标对象;
所述增强模块,用于获取所述目标对象对应的虚拟增强信息,并将所述虚拟增强信息叠加至所述场景图像当中的相应位置。
本发明实施例提供的基于视线跟踪的增强现实交互方法和装置,利用用户的头部方位以及视线信息完成感光区域的目标选取,通过计算机的三维数字重建,将用户看到的真实场景与虚拟增强信息融合,从而提升增强现实的交互性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于视线跟踪的增强现实交互方法的一种流程示意图。
图2是本发明实施例提供的基于视线跟踪的增强现实交互方法的另一种流程示意图。
图3是本发明实施例提供的基于视线跟踪的增强现实交互方法的一种原理示意图。
图4是本发明实施例提供的基于视线跟踪的增强现实交互装置的一种结构示意图。
图5是本发明实施例提供的基于视线跟踪的增强现实交互装置的另一种结构示意图。
图6是本发明实施例提供的基于视线跟踪的增强现实交互装置的又一种结构示意图。
图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种基于视线跟踪的增强现实交互方法和装置。以下将分别进行详细说明。
在一优选实施例中,提供一种基于视线跟踪的增强现实交互方法,如图1所示,流程可以如下:
步骤S101,获取当前场景对应的场景图像。
具体的,在本发明实施例当中,可以通过摄像头对当前场景进行图像采集,以获取目标对应的原始图像。其中,上述场景中可以包括人物、动物或是风景等用户想要拍摄的场景。
在本实施例当中,摄像头针对当前场景拍摄的画面,获取该图片。其中,该图片的格式可以为Bmp、jpg或其他格式。
进一步的,在获取场景图象之后,还可以对该图像进行预处理,该预处理可以包括降噪处理和平滑处理。
在一实施例当中,在获取当前场景对应的场景图像之后,上述方法还可以包括:根据场景图像建立当前场景的三维模型。进一步的,在建立三维模型后,可以对该三维模型进行图像渲染,通过图像渲染最终使图像符合3D场景的阶段。渲染有多种软件,如:各CG软件自带渲染引擎,还有诸如RenderMan等。得到三维场景图像,然后将该三维场景图像投射至增强现实头盔的显示屏,用户可以通过佩戴增强现实头戴设备对三维场景图像进行查看,以得到3D效果。
步骤S102,获取用户头部的方位信息,头部方位信息包括用户的头部高度信息以及头部偏转角度信息。
具体的,可以通过竖直加速度传感器获取用户头部的实时高度,通过陀螺仪获取用户头部的偏转角度信息。
在一实施例当中,可将上述竖直加速度传感器和陀螺仪安装在增强现实头盔当中,用户将该增强现实头盔佩戴在头上后,头盔中的竖直加速度传感器和陀螺仪即可实时获取用户的头部高度信息以及头部偏转角度信息,也即用户头部的方位信息。
步骤S103,根据头部方位信息确定场景图像当中的目标图像。
根据上一步骤描述,用户在佩戴增强现实头盔后只能看到当前场景中的一部分区域,因此需要确定场景图像当中用户所看到的目标图像。具体可以通过上述头部方位信息确定场景图像当中的目标图像。
在一实施例中,根据视线信息确定目标图像当中的目标对象的步骤可以具体包括:
根据视线信息确定用户眼球的焦点在真实场景中的坐标信息;
将坐标信息与当前场景的三维模型相结合,以确定目标图像当中的目标对象。
步骤S104,获取用户眼睛的视线信息,并根据视线信息确定目标图像当中的目标对象。
其中,上述获取用户眼睛的视线信息的方法可以有多种,在一实施例中,可以通过获取用户的眼球图像来进一步获取视线信息。
比如,可以从增强现实头盔内部获取用户的面部图像,进而在该面部图像当中确定用户的视线信息。进一步的,可以采用人脸识别技术识别图像中的人脸图像,然后再该人脸图像中提取眼镜的视线信息,其中人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术,通常也叫做人像识别、面部识别。另外,人脸识别可以采用基于Haar特征的Adaboost(AdaptiveBoosting,自适应增强)算法对原始图像中的人脸进行检测,或者采用其他算法对原始图像中的人脸进行检测,本实施例对此也不做限定。
在获取用户眼睛的视线信息之后,根据该视线信息确定目标图像当中的目标对象。
步骤S105,获取目标对象对应的虚拟增强信息,并将虚拟增强信息叠加至场景图像当中的相应位置。
具体地,基于增强现实技术将获取的虚拟增强信息与所识别到的真实场景进行结合,生成增强现实的场景画面。
实际应用中,可开启移动终端的摄像头扫描识别到的真实场景,从而观看生成的增强现实的场景画面。
在一些实施例中,虚拟增强信息中可包含有多种不同类型的信息。可将各种不同类型的信息有序地与所识别到的真实场景进行结合,以得到增强现实的场景画面。也即,步骤“将虚拟增强信息叠加至场景图像当中的相应位置”可以包括以下流程:
对虚拟增强信息中包含的信息进行分类,以得到不同类型的信息,该类型包括:文字信息、图像信息和/或音频信息;
有序地将同一类型信息中的不同信息依次与所识别到的真实场景进行结合,同时将相应的其他类型的信息进行叠加一同展示,以生成增强现实的场景画面。
比如,首先可将虚拟增强信息以文字的形式叠加于真实场景中,并投射于增强现实头盔的显示屏中进行展示。然后,可将虚拟增强信息的图像信息结合音频信息叠加于真实场景中,并投射于增强现实头盔的显示屏中进行展示,同时可通过增强现实头盔的扬声器发声以实现音频信息的播放;其中,图像信息可以为虚拟三维图像,并将其与真实场景契合,实现无缝显示,同时将文字信息以半透明的方式显示于虚拟三维图像与真实场景交接处的旁边,以进行相关说明。最后,以文字信息、图像信息结合音频信息的方式,将虚拟增强信息内容投射于增强现实头盔的显示屏中进行展示。
由上可知,本发明实施例提供了一种基于视线跟踪的增强现实交互方法,包括:获取当前场景对应的场景图像,获取用户头部的方位信息,头部方位信息包括用户的头部高度信息以及头部偏转角度信息,根据头部方位信息确定场景图像当中的目标图像,获取用户眼睛的视线信息,并根据视线信息确定目标图像当中的目标对象,获取目标对象对应的虚拟增强信息,并将虚拟增强信息叠加至场景图像当中的相应位置。本申请利用用户的头部方位以及视线信息完成感光区域的目标选取,通过计算机的三维数字重建,将用户看到的真实场景与虚拟增强信息融合,从而提升增强现实的交互性。
在本发明又一实施例中,还提供另一基于视线跟踪的增强现实交互方法,以增强现实头盔为例来进行说明。如图2所示,流程可以如下:
步骤S201,获取当前场景对应的场景图像。
具体的,在本发明实施例当中,可以通过摄像头对当前场景进行图像采集,以获取目标对应的原始图像。其中,上述场景中可以包括人物、动物或是风景等用户想要拍摄的场景。
在一实施例当中,在获取当前场景对应的场景图像之后,上述方法还可以包括:根据场景图像建立当前场景的三维模型。进一步的,在建立三维模型后,可以对该三维模型进行图像渲染。其中,上述渲染可以具体包括光线处理和纹理处理,光线处理包括对碰撞模型进行光照效果模拟,纹理处理包括对碰撞模型进行纹理效果模拟。具体的,可以通过光线处理模块构建了光照模型。在基本光照模型中,一个物体的表面颜色是放射(emissive)、环境反射(ambient)、漫反射(diffuse)和镜面反射(specular)等光照作用的总和。每种光照作用取决于表面材质的性质(例如亮度和材质颜色)和光源的性质(例如光的颜色和位置)的共同作用。该模块支持多种光源模型,包括平行光、聚光灯、泛光灯等,并可通过调整参数实时查看光照效果。然后基于GPU Shader技术进行光照模拟。通过纹理处理模块管理和调度虚拟场景的纹理数据。
步骤S202,获取用户头部的方位信息,头部方位信息包括用户的头部高度信息以及头部偏转角度信息。
具体的,可以通过竖直加速度传感器获取用户头部的实时高度,通过陀螺仪获取用户头部的偏转角度信息。
步骤S203,根据头部方位信息确定场景图像当中的目标图像。
根据上一步骤描述,用户在佩戴增强现实头盔后只能看到当前场景中的一部分区域,因此需要确定场景图像当中用户所看到的目标图像。具体可以通过上述头部方位信息确定场景图像当中的目标图像。
步骤S204,向用户的眼球发射红外光线,并接收经眼球反射的反射红外光线。
步骤S205,根据反射红外光线生成眼球的图像。
步骤S206,根据眼球图像计算用户的视线信息,该视线信息包括用户眼球的焦点位置。
步骤S207,根据视线信息确定目标图像当中的目标对象。
步骤S208,获取目标对象对应的虚拟增强信息,并将虚拟增强信息叠加至场景图像当中的相应位置。
以下结合图3叙述本发明的工作原理。
首先通过视线跟踪系统实时跟踪用户眼睛注视点在真实场景中的位置,然后根据预先保存在数据库里的场景先验知识,由场景摄像机获得的场景图像结合注视点在真实场景中的坐标判断用户的感兴趣区域和具体注视目标,最后,依据当前识别的目标信息去查询虚拟对象数据库,获得与真实场景匹配的虚拟增强信息,采用增强现实三维注册和虚实融合技术,对当前用户感兴趣区域目标进行信息增强。其中,视线跟踪部分用于获取用户的注视点,对应于ΤO←E的求解过程。虚拟增强信息显示部分实现对用户的感兴趣目标区域进行信息增强,对应于ΤH←O的求解过程。
注视点在眼坐标系E的坐标为Fe=(xe,ye,ze,1)T,在屏幕坐标系O下的坐标Fo=(xo,yo,zo,1)T
Fo=τO←B·τB←S·τS←R·τR←E·Fe (1)
(xoyo01)=τO←B·τB←S·τS←R·I·(xe001) (2)
将式(2)展开可以消去xe改写为:
gxy=F(P,MB←S) (3)
其中:gxy为由注视点计算算法计算得到的二维屏幕坐标,P为12个模型参数集合,MB←S为位置跟踪器读数校准后的值,F是注视点计算函数。定义平均注视点误差Dmean为
Dmean=Σi=1n||a-b||,(a∈gxy,b∈Gxy) (4)
β=argtan(|xc-xg|/D),α=argtan(|yg-yc|/D2+|xg-xc 2|) (5)
注视点计算:
系统标定完成后,可通过公式(6)计算用户注视点在屏幕坐标系下的坐标(X,Y,0,1)T
X=-r1·tzr7+tx,Y=-r4·tzr7+ty (6)
τH←O=τH←S·τB←S -1·τO←B -1 (7)
佩戴光学透视式头盔显示器,来自周围真实场景中的图像直接成像于用户视网膜上。光学透视式头盔显示器的标定采用SPAAM单点对准算法,把人眼和光学透视式头盔显示器看作一个虚拟摄像机,通过摄像机针孔模型来对它进行标定,基本步骤如下:
1)在显示器任意位置显示一真实标志点,并记录该点的世界坐标坐标(xw,yw,zw,1)T;
2)计算机生成n(n≥6)个虚拟标志点,按等间距排列显示在光学透视式头盔显示器上,记录该n个点的在头盔显示器坐标系下的坐标(xi,yi,1)T。用户移动头部,使得虚拟标志点与眼睛看到的屏幕上标志点完全重合,每对准一个标志点,记录一次位置跟踪器读数;
3)依据TO←B由视线跟踪系统标定,TB←S由位置跟踪器实时读出,计算真实标志点在位置跟踪器接收器坐标系下的坐标[XMi,YMi,ZMi,1]T;
4)将[xi,yi,1]T和[XMi,YMi,ZMi,1]T代入式(8)用SVD分解法求解TS←H。
步骤S209,实时获取用户的动态信息,实时动态信息包括用户的头部的方位信息以及眼睛的视线信息,当动态信息发生变化时,根据动态信息更新虚拟增强信息在场景图像当中的位置。
由上可知,本发明实施例提供了一种基于视线跟踪的增强现实交互方法可以获取当前场景对应的场景图像,获取用户头部的方位信息,头部方位信息包括用户的头部高度信息以及头部偏转角度信息,根据头部方位信息确定场景图像当中的目标图像,向用户的眼球发射红外光线,并接收经眼球反射的反射红外光线,根据反射红外光线生成眼球的图像,根据眼球图像计算用户的视线信息,该视线信息包括用户眼球的焦点位置,根据视线信息确定目标图像当中的目标对象,获取目标对象对应的虚拟增强信息,并将虚拟增强信息叠加至场景图像当中的相应位置,实时获取用户的动态信息,实时动态信息包括用户的头部的方位信息以及眼睛的视线信息,当动态信息发生变化时,根据动态信息更新虚拟增强信息在场景图像当中的位置。本申请利用用户的头部方位以及视线信息完成感光区域的目标选取,通过计算机的三维数字重建,将用户看到的真实场景与虚拟增强信息融合,从而提升增强现实的交互性。
在本发明又一实施例中,还提供一种基于视线跟踪的增强现实交互装置。如图4所示,该基于视线跟踪的增强现实交互装置30可以包括:场景获取模块301、方位获取模块302、图像确定模块303、视线获取模块304、对象确定模块305以及增强模块306;
场景获取模块301,用于获取当前场景对应的场景图像;
方位获取模块302,用于获取用户头部的方位信息,头部方位信息包括用户的头部高度信息以及头部偏转角度信息;
图像确定模块303,用于根据头部方位信息确定场景图像当中的目标图像;
视线获取模块304,用于获取用户眼睛的视线信息;
对象确定模块305,用于根据视线信息确定目标图像当中的目标对象;
增强模块306,用于获取目标对象对应的虚拟增强信息,并将虚拟增强信息叠加至场景图像当中的相应位置。
在一实施例中,如图5所示,视线获取模块304具体包括:红外收发子模块3041、图像生成子模块3042、计算子模块3043;
红外收发子模块3041,用于向用户的眼球发射红外光线,并接收经眼球反射的反射红外光线;
图像生成子模块3042,用于根据反射红外光线生成眼球的图像;
计算子模块3043,用于根据眼球图像计算用户的视线信息,视线信息包括用户眼球的焦点位置。
在一实施例中,视线获取模块304还可以具体包括:处理子模块;
处理子模块,用于在红外收发子模块3041接收经眼球反射的反射红外光线之后,对反射红外光线进行分光以及过滤处理;
图像生成子模块3042,具体用于根据处理后的反射红外光线生成眼球的图像。
在一实施例中,如图6所示,基于视线跟踪的增强现实交互装置30还包括:建模模块307;
建模模块307,用于在场景获取模块301获取当前场景对应的场景图像之后,根据场景图像建立当前场景的三维模型;
对象确定模块305,具体用于根据视线信息确定用户眼球的焦点在真实场景中的坐标信息,将坐标信息与当前场景的三维模型相结合,以确定目标图像当中的目标对象。
进一步的,上述基于视线跟踪的增强现实交互装置30还包括:更新模块308;
更新模块308,用于在增强模块306将虚拟增强信息叠加至场景图像当中的相应位置之后,实时获取用户的动态信息,实时动态信息包括用户的头部的方位信息以及眼睛的视线信息,当动态信息发生变化时,根据动态信息更新虚拟增强信息在场景图像当中的位置。
由上可知,本发明实施例提供了一种基于视线跟踪的增强现实交互装置,获取当前场景对应的场景图像,获取用户头部的方位信息,头部方位信息包括用户的头部高度信息以及头部偏转角度信息,根据头部方位信息确定场景图像当中的目标图像,获取用户眼睛的视线信息,并根据视线信息确定目标图像当中的目标对象,获取目标对象对应的虚拟增强信息,并将虚拟增强信息叠加至场景图像当中的相应位置。本申请利用用户的头部方位以及视线信息完成感光区域的目标选取,通过计算机的三维数字重建,将用户看到的真实场景与虚拟增强信息融合,从而提升增强现实的交互性。
相应地,本发明实施例还提供一种服务器500,该服务器500具体可以是智能手机、平板电脑等终端设备。如图7所示,该服务器500可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、通讯单元503、电源504、输入单元505、以及显示单元506等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器501是该服务器500的控制中心,利用各种接口和线路连接整个服务器500的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行服务器500的各种功能和处理数据,从而对服务器500进行整体监控。可选的,处理器501可包括一个或多个处理核心;优选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块。处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。
通讯单元503可用于收发信息过程中,信号的接收和发送,特别地,通讯单元503接收终端发送的信号,并将该数据获取请求交由一个或者一个以上处理器501处理。同时,通讯单元503将处理器501发出的反馈信号发送给服务器。
服务器500还包括给各个部件供电的电源504(比如电池)。优选的,电源可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源504还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器500还可包括输入单元505,该输入单元505可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该服务器500还可包括显示单元506,该显示单元506可用于显示由用户输入的信息或提供给用户的信息以及服务器500的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元508可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,RandomAccess Memory)、磁盘或光盘等
在描述本发明的概念的过程中使用了术语“一”和“所述”以及类似的词语(尤其是在所附的权利要求书中),应该将这些术语解释为既涵盖单数又涵盖复数。此外,除非本文中另有说明,否则在本文中叙述数值范围时仅仅是通过快捷方法来指代属于相关范围的每个独立的值,而每个独立的值都并入本说明书中,就像这些值在本文中单独进行了陈述一样。另外,除非本文中另有指明或上下文有明确的相反提示,否则本文中所述的所有方法的步骤都可以按任何适当次序加以执行。本发明的改变并不限于描述的步骤顺序。除非另外主张,否则使用本文中所提供的任何以及所有实例或示例性语言(例如,“例如”)都仅仅为了更好地说明本发明的概念,而并非对本发明的概念的范围加以限制。
以上对本发明实施例所提供的一种基于视线跟踪的增强现实交互方法和装置进行了详细介绍。应理解,本文所述的示例性实施方式应仅被认为是描述性的,用于帮助理解本发明的方法及其核心思想,而并不用于限制本发明。在每个示例性实施方式中对特征或方面的描述通常应被视作适用于其他示例性实施例中的类似特征或方面。尽管参考示例性实施例描述了本发明,但可建议所属领域的技术人员进行各种变化和更改。本发明意图涵盖所附权利要求书的范围内的这些变化和更改。
Claims (10)
1.一种基于视线跟踪的增强现实交互方法,其特征在于,包括:
获取当前场景对应的场景图像;
获取用户头部的方位信息,所述头部方位信息包括用户的头部高度信息以及头部偏转角度信息;
根据所述头部方位信息确定所述场景图像当中的目标图像;
获取用户眼睛的视线信息,并根据所述视线信息确定所述目标图像当中的目标对象;
获取所述目标对象对应的虚拟增强信息,并将所述虚拟增强信息叠加至所述场景图像当中的相应位置。
2.如权利要求1所述的基于视线跟踪的增强现实交互方法,其特征在于,所述获取用户眼睛的视线信息的步骤具体包括:
向用户的眼球发射红外光线,并接收经所述眼球反射的反射红外光线;
根据所述反射红外光线生成所述眼球的图像;
根据所述眼球图像计算所述用户的视线信息,所述视线信息包括用户眼球的焦点位置。
3.如权利要求2所述的基于视线跟踪的增强现实交互方法,其特征在于,在接收经所述眼球反射的反射红外光线的步骤之后,所述方法还包括:
对所述反射红外光线进行分光以及过滤处理;
根据处理后的反射红外光线生成所述眼球的图像。
4.如权利要求1所述的基于视线跟踪的增强现实交互方法,其特征在于,在获取当前场景对应的场景图像的步骤之后,所述方法还包括:
根据所述场景图像建立当前场景的三维模型;
根据所述视线信息确定所述目标图像当中的目标对象的步骤具体包括:
根据所述视线信息确定用户眼球的焦点在真实场景中的坐标信息;
将所述坐标信息与所述当前场景的三维模型相结合,以确定所述目标图像当中的目标对象。
5.如权利要求1所述的基于视线跟踪的增强现实交互方法,其特征在于,在将所述虚拟增强信息叠加至所述场景图像当中的相应位置的步骤之后,所述方法还包括:
实时获取用户的动态信息,所述实时动态信息包括用户的头部的方位信息以及眼睛的视线信息,当所述动态信息发生变化时,根据所述动态信息更新所述虚拟增强信息在所述场景图像当中的位置。
6.一种基于视线跟踪的增强现实交互装置,其特征在于,包括:场景获取模块、方位获取模块、图像确定模块、视线获取模块、对象确定模块以及增强模块;
所述场景获取模块,用于获取当前场景对应的场景图像;
所述方位获取模块,用于获取用户头部的方位信息,所述头部方位信息包括用户的头部高度信息以及头部偏转角度信息;
所述图像确定模块,用于根据所述头部方位信息确定所述场景图像当中的目标图像;
所述视线获取模块,用于获取用户眼睛的视线信息;
所述对象确定模块,用于根据所述视线信息确定所述目标图像当中的目标对象;
所述增强模块,用于获取所述目标对象对应的虚拟增强信息,并将所述虚拟增强信息叠加至所述场景图像当中的相应位置。
7.如权利要求6所述的基于视线跟踪的增强现实交互装置,其特征在于,所述视线获取模块具体包括:红外收发子模块、图像生成子模块、计算子模块;
所述红外收发子模块,用于向用户的眼球发射红外光线,并接收经所述眼球反射的反射红外光线;
所述图像生成子模块,用于根据所述反射红外光线生成所述眼球的图像;
所述计算子模块,用于根据所述眼球图像计算所述用户的视线信息,所述视线信息包括用户眼球的焦点位置。
8.如权利要求7所述的基于视线跟踪的增强现实交互装置,其特征在于,所述视线获取模块还具体包括:处理子模块;
所述处理子模块,用于在所述红外收发子模块接收经所述眼球反射的反射红外光线之后,对所述反射红外光线进行分光以及过滤处理;
所述图像生成子模块,具体用于根据处理后的反射红外光线生成所述眼球的图像。
9.如权利要求6所述的基于视线跟踪的增强现实交互装置,其特征在于,所述装置还包括:建模模块;
所述建模模块,用于在所述场景获取模块获取当前场景对应的场景图像之后,根据所述场景图像建立当前场景的三维模型;
所述对象确定模块,具体用于根据所述视线信息确定用户眼球的焦点在真实场景中的坐标信息,将所述坐标信息与所述当前场景的三维模型相结合,以确定所述目标图像当中的目标对象。
10.如权利要求6所述的基于视线跟踪的增强现实交互装置,其特征在于,所述装置还包括:更新模块;
所述更新模块,用于在所述增强模块将所述虚拟增强信息叠加至所述场景图像当中的相应位置之后,实时获取用户的动态信息,所述实时动态信息包括用户的头部的方位信息以及眼睛的视线信息,当所述动态信息发生变化时,根据所述动态信息更新所述虚拟增强信息在所述场景图像当中的位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710972961.2A CN109683701A (zh) | 2017-10-18 | 2017-10-18 | 基于视线跟踪的增强现实交互方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710972961.2A CN109683701A (zh) | 2017-10-18 | 2017-10-18 | 基于视线跟踪的增强现实交互方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109683701A true CN109683701A (zh) | 2019-04-26 |
Family
ID=66184074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710972961.2A Pending CN109683701A (zh) | 2017-10-18 | 2017-10-18 | 基于视线跟踪的增强现实交互方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109683701A (zh) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288658A (zh) * | 2019-05-24 | 2019-09-27 | 联想(上海)信息技术有限公司 | 一种信息处理方法、装置及计算机存储介质 |
CN110285818A (zh) * | 2019-06-28 | 2019-09-27 | 武汉大学 | 一种眼动交互增强现实的相对导航方法 |
CN110286754A (zh) * | 2019-06-11 | 2019-09-27 | Oppo广东移动通信有限公司 | 基于眼球追踪的投射方法及相关设备 |
CN110443909A (zh) * | 2019-08-16 | 2019-11-12 | 广东工业大学 | 一种基于增强现实的巡检系统和方法 |
CN110503710A (zh) * | 2019-09-04 | 2019-11-26 | 北京国润视光科技有限公司 | 一种基于现实增强技术的复杂场景康复训练方法 |
CN110572632A (zh) * | 2019-08-15 | 2019-12-13 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视线跟踪的增强现实显示系统、头盔和方法 |
CN110658916A (zh) * | 2019-09-18 | 2020-01-07 | 中国人民解放军海军航空大学 | 目标跟踪方法和系统 |
CN110703904A (zh) * | 2019-08-26 | 2020-01-17 | 深圳疆程技术有限公司 | 一种基于视线跟踪的增强虚拟现实投影方法及系统 |
CN111028552A (zh) * | 2019-12-24 | 2020-04-17 | 江西拓荒者科技有限公司 | 一种基于vr技术的红色教育平台 |
CN111651043A (zh) * | 2020-05-29 | 2020-09-11 | 北京航空航天大学 | 一种支持定制化多通道交互的增强现实系统 |
CN111918114A (zh) * | 2020-07-31 | 2020-11-10 | 北京市商汤科技开发有限公司 | 图像显示方法、装置、显示设备及计算机可读存储介质 |
CN112037158A (zh) * | 2020-07-22 | 2020-12-04 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产设备图像增强标注方法 |
CN112198961A (zh) * | 2020-09-28 | 2021-01-08 | 中国人民解放军空军工程大学航空机务士官学校 | 一种设备维修作业辅助引导系统 |
CN112396686A (zh) * | 2019-07-31 | 2021-02-23 | 鸿富锦精密电子(天津)有限公司 | 三维场景工程模拟与实景融合系统及方法 |
CN112710608A (zh) * | 2020-12-16 | 2021-04-27 | 深圳晶泰科技有限公司 | 实验观测方法及系统 |
CN113066193A (zh) * | 2021-03-31 | 2021-07-02 | 泰瑞数创科技(北京)有限公司 | 一种用于在实景三维地图上增强现实的方法 |
CN113091764A (zh) * | 2021-03-31 | 2021-07-09 | 泰瑞数创科技(北京)有限公司 | 一种实景三维地图导航路线定制和显示方法 |
CN113255377A (zh) * | 2021-06-08 | 2021-08-13 | 北京有竹居网络技术有限公司 | 一种翻译方法、装置、电子设备及存储介质 |
WO2021227402A1 (zh) * | 2020-05-13 | 2021-11-18 | 歌尔股份有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
WO2022222349A1 (zh) * | 2021-04-21 | 2022-10-27 | 青岛小鸟看看科技有限公司 | 一种虚拟现实场景的动态改变方法、装置及电子设备 |
CN115761249A (zh) * | 2022-12-28 | 2023-03-07 | 北京曼恒数字技术有限公司 | 一种图像处理方法、系统、电子设备及计算机程序产品 |
CN116700500A (zh) * | 2023-08-07 | 2023-09-05 | 江西科技学院 | 多场景vr互动方法、系统及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120154277A1 (en) * | 2010-12-17 | 2012-06-21 | Avi Bar-Zeev | Optimized focal area for augmented reality displays |
CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
-
2017
- 2017-10-18 CN CN201710972961.2A patent/CN109683701A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120154277A1 (en) * | 2010-12-17 | 2012-06-21 | Avi Bar-Zeev | Optimized focal area for augmented reality displays |
CN106843456A (zh) * | 2016-08-16 | 2017-06-13 | 深圳超多维光电子有限公司 | 一种基于姿态追踪的显示方法、装置和虚拟现实设备 |
Non-Patent Citations (2)
Title |
---|
赵新灿: "基于视线跟踪的增强现实交互", 《光电工程》 * |
黄海: "《虚拟现实技术》", 31 January 2014, 北京邮电大学出版社 * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110288658A (zh) * | 2019-05-24 | 2019-09-27 | 联想(上海)信息技术有限公司 | 一种信息处理方法、装置及计算机存储介质 |
CN110286754A (zh) * | 2019-06-11 | 2019-09-27 | Oppo广东移动通信有限公司 | 基于眼球追踪的投射方法及相关设备 |
CN110285818A (zh) * | 2019-06-28 | 2019-09-27 | 武汉大学 | 一种眼动交互增强现实的相对导航方法 |
CN110285818B (zh) * | 2019-06-28 | 2023-09-19 | 武汉大学 | 一种眼动交互增强现实的相对导航方法 |
CN112396686A (zh) * | 2019-07-31 | 2021-02-23 | 鸿富锦精密电子(天津)有限公司 | 三维场景工程模拟与实景融合系统及方法 |
CN110572632A (zh) * | 2019-08-15 | 2019-12-13 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视线跟踪的增强现实显示系统、头盔和方法 |
CN110443909A (zh) * | 2019-08-16 | 2019-11-12 | 广东工业大学 | 一种基于增强现实的巡检系统和方法 |
CN110703904A (zh) * | 2019-08-26 | 2020-01-17 | 深圳疆程技术有限公司 | 一种基于视线跟踪的增强虚拟现实投影方法及系统 |
CN110703904B (zh) * | 2019-08-26 | 2023-05-19 | 合肥疆程技术有限公司 | 一种基于视线跟踪的增强虚拟现实投影方法及系统 |
CN110503710A (zh) * | 2019-09-04 | 2019-11-26 | 北京国润视光科技有限公司 | 一种基于现实增强技术的复杂场景康复训练方法 |
CN110658916A (zh) * | 2019-09-18 | 2020-01-07 | 中国人民解放军海军航空大学 | 目标跟踪方法和系统 |
CN111028552A (zh) * | 2019-12-24 | 2020-04-17 | 江西拓荒者科技有限公司 | 一种基于vr技术的红色教育平台 |
US11835726B2 (en) | 2020-05-13 | 2023-12-05 | Goertek, Inc. | Image display method, AR glasses and storage medium |
WO2021227402A1 (zh) * | 2020-05-13 | 2021-11-18 | 歌尔股份有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
CN111651043A (zh) * | 2020-05-29 | 2020-09-11 | 北京航空航天大学 | 一种支持定制化多通道交互的增强现实系统 |
CN111651043B (zh) * | 2020-05-29 | 2021-10-12 | 北京航空航天大学 | 一种支持定制化多通道交互的增强现实系统 |
CN112037158B (zh) * | 2020-07-22 | 2023-09-15 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产设备图像增强标注方法 |
CN112037158A (zh) * | 2020-07-22 | 2020-12-04 | 四川长宁天然气开发有限责任公司 | 一种基于页岩气田生产设备图像增强标注方法 |
CN111918114A (zh) * | 2020-07-31 | 2020-11-10 | 北京市商汤科技开发有限公司 | 图像显示方法、装置、显示设备及计算机可读存储介质 |
CN112198961A (zh) * | 2020-09-28 | 2021-01-08 | 中国人民解放军空军工程大学航空机务士官学校 | 一种设备维修作业辅助引导系统 |
CN112710608B (zh) * | 2020-12-16 | 2023-06-23 | 深圳晶泰科技有限公司 | 实验观测方法及系统 |
CN112710608A (zh) * | 2020-12-16 | 2021-04-27 | 深圳晶泰科技有限公司 | 实验观测方法及系统 |
CN113066193B (zh) * | 2021-03-31 | 2021-11-05 | 泰瑞数创科技(北京)有限公司 | 一种用于在实景三维地图上增强现实的方法 |
CN113091764A (zh) * | 2021-03-31 | 2021-07-09 | 泰瑞数创科技(北京)有限公司 | 一种实景三维地图导航路线定制和显示方法 |
CN113066193A (zh) * | 2021-03-31 | 2021-07-02 | 泰瑞数创科技(北京)有限公司 | 一种用于在实景三维地图上增强现实的方法 |
WO2022222349A1 (zh) * | 2021-04-21 | 2022-10-27 | 青岛小鸟看看科技有限公司 | 一种虚拟现实场景的动态改变方法、装置及电子设备 |
US11782505B1 (en) | 2021-04-21 | 2023-10-10 | Qingdao Pico Technology Co., Ltd. | Dynamic changing method and apparatus for virtual reality scene, and electronic device |
CN113255377A (zh) * | 2021-06-08 | 2021-08-13 | 北京有竹居网络技术有限公司 | 一种翻译方法、装置、电子设备及存储介质 |
CN115761249A (zh) * | 2022-12-28 | 2023-03-07 | 北京曼恒数字技术有限公司 | 一种图像处理方法、系统、电子设备及计算机程序产品 |
CN115761249B (zh) * | 2022-12-28 | 2024-02-23 | 北京曼恒数字技术有限公司 | 一种图像处理方法、系统、电子设备及计算机程序产品 |
CN116700500A (zh) * | 2023-08-07 | 2023-09-05 | 江西科技学院 | 多场景vr互动方法、系统及存储介质 |
CN116700500B (zh) * | 2023-08-07 | 2024-05-24 | 江西科技学院 | 多场景vr互动方法、系统及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109683701A (zh) | 基于视线跟踪的增强现实交互方法和装置 | |
JP7246352B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
KR102601622B1 (ko) | 가상 아바타들의 콘텍스추얼 기반 렌더링 | |
US20230401743A1 (en) | Systems and methods for augmented reality | |
CN107209950B (zh) | 从现实世界材料自动生成虚拟材料 | |
CN105765631B (zh) | 对跟踪和映射误差稳健的大规模表面重构 | |
JP6646659B2 (ja) | 仮想および拡張現実を作成する方法およびシステム | |
JP2024028376A (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
CN103472909B (zh) | 用于头戴式、增强现实显示器的逼真遮挡 | |
US8933965B2 (en) | Method for calculating light source information and generating images combining real and virtual images | |
CN113168737A (zh) | 用于三维模型共享的方法和系统 | |
CN110199267A (zh) | 利用数据压缩进行实时图像转换的无缺失的高速缓存结构 | |
CN114616509A (zh) | 具有关于持久坐标框架的质量信息的交叉现实系统 | |
US11823316B2 (en) | Photoreal character configurations for spatial computing | |
CN116485929A (zh) | 增强现实系统和操作增强现实系统的方法 | |
CN102540464A (zh) | 提供环绕视频的头戴式显示设备 | |
CN108525298A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN102419631A (zh) | 虚拟内容到现实内容中的融合 | |
CN112753007A (zh) | 虚拟角色的姿势空间变形的姿势空间维度减小 | |
US11423602B2 (en) | Fast 3D reconstruction with depth information | |
CN109685906A (zh) | 基于增强现实的场景融合方法和装置 | |
JP2022537817A (ja) | 動的オクルージョンのための高速の手のメッシュ化 | |
D'Angelo et al. | Development of a Low-Cost Augmented Reality Head-Mounted Display Prototype | |
US20240153217A1 (en) | Electronic device for displaying multimedia content and method thereof | |
WO2022261205A1 (en) | Eye model enrollment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |
|
RJ01 | Rejection of invention patent application after publication |