CN105934775B - 用于构建锚定在真实世界物体上的虚拟图像的方法和系统 - Google Patents
用于构建锚定在真实世界物体上的虚拟图像的方法和系统 Download PDFInfo
- Publication number
- CN105934775B CN105934775B CN201480074085.6A CN201480074085A CN105934775B CN 105934775 B CN105934775 B CN 105934775B CN 201480074085 A CN201480074085 A CN 201480074085A CN 105934775 B CN105934775 B CN 105934775B
- Authority
- CN
- China
- Prior art keywords
- virtual
- vector
- sensor
- real
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Architecture (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Generation (AREA)
- Position Input By Displaying (AREA)
Abstract
一种用于生成和显示表现为锚定在现实世界物体上的虚拟图像的系统和方法。对通过一个或多个传感器获取的空间数据的数据帧进行分析并判断一个或多个可检测真实世界物体是否位于其中。如果是,则确定与真实世界物体相关联的真实世界参考点的坐标。根据数据帧确定真实世界视锥、真实世界视见体、真实世界视表面和真实世界物体参考点。生成虚拟3D空间并构建穿过虚拟物体参考点的基准面。将一个或多个内容要素设置在基准面上或平行于基准面。这些内容要素通过观察设备或显示设备显示并且形成表现为似乎平铺在从检测到的物体的真实世界参考点穿过的平面上的图像。
Description
发明领域
本发明涉及在显示装置上显示虚拟内容的方法。
发明背景
以下现有技术参考资料被认为与理解本发明的背景技术相关。
·https://developer.vuforia.com/resources/dev-guide/vuforia-ar- architecture
·https://developer.vuforia.com/resources/dev-guide/distance-target
·http://docs.opencv.org/trunk/modules/tracking/doc/tracking.html
·http://docs.opencv.org/trunk/modules/imgproc/doc/feature_ detection.html
·http://www2.imm.dtu.dk/~aam/
·http://ils.intel-research.net/everyday-obiect-recognition
·https://software.intel.com/en-us/node/504462
·https://software.intel.com/en-us/node/504442
·http://docs.opencv.org/modules/contrib/doc/facerec/facerec_ tutorial.html
·http://www.ri.cmu.edu/research project detail.html?proiect id=448& menu id=261
·http://www2.imm.dtu.dk/~aam/faces/
·http://kishordgupta.wordpress.com/2011/07/04/recognize-face- orientation-using-a-new-approach-based-on-eye-position-and-size-by-c/
·http://www.codeproiect.com/Articles/26897/TrackEye-Real-Time- Tracking-Of-Human-Eyes-Using-a
·http://www.ncbi.nlm.nih.gov/pubmed/23239074
·http://gazeparser.sourceforge.net/
·http://thume.ca/proiects/2012/11/04/simple-accurate-eye-center- tracking-in-opencv/
计算机屏幕等二维(2D)表面通常被用于显示2D虚拟内容,例如文本页、图表或Web网站页面。某些形式的虚拟内容包含两种以上的内容形式,例如由文本和图表构成的页面或含有与网站相关的信息和不相关的广告的Web网站页面。通常,在屏幕上一次仅显示一页并且页面受到屏幕边界的限制。因此,页面的不同要素即便彼此相关也必须彼此竞争空间及观看者的注意力。所以,现有的Web网站页面通常混杂有过多的广告,这是Web广告目前被认为效率低的主要原因。
改变显示页面(已知为浏览或导航)是一个不连续的过程,其中初始显示的页面被从屏幕上移除,然后显示第二页面。一次仅观看一个页面的能力使得观看者难以知晓其在网站中的位置并且也在网站中导航时产生不确定性。在具体步骤中已经实行的做法是改变页面的尺寸,每个步骤变化都需要回到浏览器。
还已知的是,在虚拟三维(3D)空间中设置数个页面并且将三维空间的一部分投影到2D屏幕上。观看者可以连续地在页面之间导航。
Shefi的US专利8,035,635教导了一种在虚拟3D空间中定位内容要素的系统。在3D空间中指定一2D基准面,将虚拟内容定位在3D空间中,其中至少一个页面平行于基准面。3D空间中的视点和视线选择为从该视点和视线观察3D空间时视线与基准面既不平行也不垂直。随后,将3D空间的至少一部分通过由视线决定的透视投影法则投影至2D表面上。该过程可根据需要重复,每一次可任选地选择新的视点和/或选择新的视线和/或改变一个或多个内容要素的特性。在观看表面上的投影可以显示在显示装置例如计算机监视器上。
发明内容
本发明提供一种用于生成虚拟图像和显示该虚拟图像的系统和方法,使得该图像表现为被锚定在现实世界的物体上。分析通过一个或多个传感器获取的空间数据的数据帧(data frame)以判断一个或多个待检测现实世界物体是否位于该数据帧内。如果一个现实世界物体的至少一部分处于该数据帧内,则根据数据帧中的数据确定与该现实世界物体相关联的现实世界参考点的坐标。根据数据帧确定现实世界视锥(viewing pyramid)、现实世界视见体(view frustum)、现实世界视表面(viewing surface)和现实世界物体参考点。
数据帧用于生成虚拟3D空间,其中在所述3D空间中定位虚拟视锥、虚拟视见体、虚拟视表面和虚拟物体参考点。然后,构建一穿过所述虚拟物体参考点的基准面。将一个或多个平面内容要素设置在基准面上或平行于基准面。然后,将定位在3D空间中的内容要素投影到虚拟视表面上以形成投影图像。接着,形成最终图像,使其包括所述投影图像和可能的数据帧的至少一部分。通过观察设备或显示设备显示最终图像。在最终图像中,内容要素表现为似乎位于从所检测到的物体的现实世界参考点穿过的平面上。
因此,在一个方面中,本发明提供一种用于生成和显示虚拟内容的系统,包括:
-传感器组,用于获得包括3D现实世界空间的空间数据的一个或多个数据帧,所述传感器组包括一个或多个传感器,所述传感器组中的至少一个传感器具有在3D现实世界空间中的关联感应场和传感器视线,所述传感器视线是在3D现实世界坐标系中从传感器延伸进入3D现实世界空间的向量,所述传感器组中的至少一个传感器具有相对于该传感器固定的关联指上向量(up-vector),一个或多个传感器的指上向量限定数据帧的指上向量;
-观察设备或显示设备;
-计算机处理单元,包括处理器和存储器;
其中:
-所述存储器存储指示数据帧中一个或多个待检测物体的数据,并且对于每个待检测物体还存储相对于该物体固定的预定现实世界参考点;和
-所述处理器用于:
分析一个或多个数据帧并判断一个或多个待检测现实世界物体是否处于当前现实世界视见体中;
如果检测到一个现实世界物体的至少一部分处于当前视见体中,则根据当前数据帧确定与检测到的现实世界物体相关联的现实世界参考点在与现实世界视见体相关联的现实世界坐标系中的现实世界坐标;
确定从现实世界视见体中的预定点发出至检测到的现实世界物体的现实世界参考点的现实世界物体向量;
确定与数据帧相关联的重力向量相对于现实世界视见体的位置;
构建具有3D虚拟空间坐标系的3D虚拟空间,并且在所述3D虚拟空间中定位:具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成所述虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量,其中所述虚拟指上向量的虚拟坐标系的x和y轴平行于所述虚拟视表面并且z轴平行于所述虚拟视线;
在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面,所述基准面具有关联2D坐标系(x’,z’);
将在所述基准面上的或平行于所述基准面的一个或多个平面内容要素设置在所述基准面上的任意一个或多个预定准许位置中;
将定位在3D虚拟空间中的内容要素投影到所述虚拟视表面上以形成投影图像;
形成最终图像,所述最终图像包括所述投影图像;和
在观察设备或显示设备上显示所述最终图像。
在另一方面,本发明提供一种生成和显示虚拟内容的方法,包括:
分析一个或多个数据帧并判断一个或多个待检测真实世界物体是否处于当前真实世界视见体中;
如果检测到一个真实世界物体的至少一部分处于当前视见体中,则根据当前数据帧确定与待检测的真实世界物体相关联的真实世界参考点在与真实世界视见体相关联的真实世界坐标系中的真实世界坐标;
确定从真实世界视见体中的预定点发出到达待检测的真实世界物体的真实世界参考点的真实世界物体向量;
确定与数据帧相关联的重力向量相对于真实世界视见体的位置;
构建具有3D虚拟空间坐标系的虚拟3D空间,并且在所述3D虚拟空间中定位:具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成所述虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量,其中所述虚拟指上向量在虚拟坐标系中的x和y轴平行于所述虚拟视表面并且z轴平行于所述虚拟视线;
在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面,所述基准面具有关联2D坐标系(x’,z’);
将在所述基准面上的或平行于所述基准面的一个或多个平面内容要素设置在所述基准面上的任意一个或多个预定准许位置中。
附图说明
为了理解本发明和知晓本发明实际如何实施,以下参照附图并通过仅为非限制性的实施例描述实施方案,其中:
图1示意性示出根据本发明一个实施方案的用于显示虚拟内容的系统;
图2示出具有关联真实世界参考点的真实世界物体,所述真实世界参考点相对于真实世界物体具有固定位置;
图3示出根据本发明一个实施方案的用于分析数据帧,生成图像并显示图像的方法的流程图;
图4示出具有关联2D坐标系(x’,z’)的基准面;
图5示出最终图像,其包括投影图像和真实世界物体的图像;
图6示出本发明的一个实施方案,其中相机与用户的移动设备相关联,并且真实世界参考点固定在用户的移动设备上;和
图7示出在图6的实施方案中的用户的真实世界视锥。
发明的具体描述
图1示意性示出根据本发明的一个实施方案的用于显示虚拟内容的系统2。系统2包括获取3D真实世界空间的空间数据的传感器组7。传感器组7包括一个或多个传感器4。传感器4可以是例如2D相机、3D相机、GPS定位收发器、声呐探测器、激光装置、红外探测器、近场通讯装置和LIDAR(Light Detection And Ranging,激光探测与测量)装置中的任意一个或多个。每个传感器4具有在3D真实世界空间中的关联感应场和传感器视线,所述传感器视线是在3D真实世界坐标系中从传感器延伸进入3D真实世界空间的向量。3D真实世界坐标系可以例如相对于一个或多个传感器或者相对于用户的位置和观察方向是固定的。作为替代方案,3D真实世界坐标系可以是绝对坐标系,例如GPS(全球定位系统)所提供的坐标系。物体可以移入或移出传感器的感应场,原因是在移动传感器的情况下传感器的移动或者物体在3D真实世界空间中的移动。传感器可以适合用户穿戴,例如一对护目镜或其它头戴式设备,在这种情况下,传感器的感应场约为在解析变换(analytical transformation)下的穿戴者的视场。感应单元可以是单向的或全向的。在全向感应的情况下,观察的传感器视场延长并围绕传感器视线的部分可以被指定为与穿戴者视场相容的视场。在任意时刻由传感器组7获取的空间数据在本文中称为“数据帧”。传感器组7获取的数据帧被输入计算机处理单元(CPU)6中。CPU 6包括存储器8和处理器10。传感器组7获取的数据帧被输入CPU 6并存储在存储器8中。
传感器组7中的至少一个传感器4具有相对于该传感器固定的关联指上向量。传感器的一个或多个指上向量被用于限定传感器组7的指上向量。传感器组7的指上向量确定每个数据帧的指上向量。
存储器8中还存储有指示数据帧中一个或多个待检测物体的数据。指示数据帧中一个或多个待检测物体的数据可以是例如:在预定的物体列表中的一个或多个物体的描述或者指定数据帧中待检测物体类型的标准的数据。对于待检测的每一个物体或物体类型,存储器8还存储有相对于该物体固定的预定真实世界参考点。
处理器10用于确定真实世界重力向量。在一个实施方案中,系统2包括重力传感器5,其生成指示当前重力场方向的时变信号,该信号输入CPU 6并存储在存储器8中。重力信号用于确定自获取数据帧时刻的数据帧的重力向量。在另一实施方案中,处理器用于运行软件,该软件分析数据帧和确定自分析数据帧时刻的数据帧的重力向量。
如下所述,处理器10用于分析用于构建最终图像的一个或多个数据帧,该最终图像包括不同(不包括在数据帧中)的表现为似乎锚定在真实世界位置上的可视内容要素。对数据帧流中连续数据帧的分析和据此构建连续的最终不同可视内容,产生了一种当锚定的真实世界位置移入用户视场中时内容要素仍然保持锚定在该真实世界位置上的外在表象。最终图像还可包括来自数据帧的数据或图像。最终图像经由观察设备或显示设备12显示。显示设备可以是例如任意类型的屏幕或眼睛投影仪(eye projector)。
系统2可以是分布式系统并且该系统的一个或多个组件可以通过有线或无线网络如有线或无线电话网络或计算机通信网络如Internet来彼此通信。
作为一个实施例,图2示出真实世界物体60,其具有相对于真实世界物体60固定的关联真实世界参考点62。包括具有焦点69的镜头64的相机的传感器组(未完整示于图2中)用于获取包括真实世界物体60的空间区域的数据帧。焦点69和镜头64确定真实世界视体积,本文中称为“真实世界视锥”,其相对于相机是固定的。真实世界视锥被从焦点69发出并穿过镜头64的边缘的视线所限制。在图2中通过幻影线65指出四条这样的视线。图2中镜头64左侧的真实世界视锥部分在本文中称为“真实世界视见体”。真实世界视锥具有在镜头64处的关联真实世界视表面和在相机焦点69处相对于相机固定的关联真实世界视点。相机还具有相对于相机固定的关联真实世界指上向量72。相机具有从焦点69发出并穿过位于镜头64处的视表面中心的真实世界视线68。从视点69发出并穿过真实世界参考点62的几何线66在本文中称为真实世界物体60的“物体向量”。相机获取当前数据帧作为真实世界视见体在镜头64处的真实世界视表面上的2D投影,其至少一部分投影在相机的2D传感器阵列67(可具有与镜头形状不同的形状)上。传感器如相机的指上向量72确定数据帧的指上向量,数据帧的指上向量处于获取该数据帧时刻的相机的指上向量的方向上。图2还示出真实世界坐标系71,在该实施例中,该坐标系相对于相机是固定的。真实世界坐标系71具有x轴、y轴和z轴。x轴和y轴平行于镜头64处的视表面,z轴平行于视线69。图2还示出真实世界重力向量70,如前所述来确定。形成在相机传感器阵列67上的图像和数据帧的指上向量被输入CPU 6并存储在存储器8中。
图3示出根据本发明一个实施方案的用于分析数据帧生成图像和显示该图像的方法的流程图。在步骤14中,从存储器8中取回当前数据帧并输入到处理器10中。处理器10在步骤16中分析当前数据帧,在步骤18中判断一个或多个待检测真实世界物体是否位于当前数据帧中。如果在当前数据帧中未检测到待检测物体,则过程回到步骤14,获取新的当前数据帧。如果,在步骤18中,一个真实世界物体(例如图2中的真实世界物体60)的至少一部分处于当前数据帧中,则在步骤20中,处理器10根据当前数据帧确定与真实世界物体相关联的真实世界参考点(例如图2中的真实世界参考点62)在与真实世界视见体相关联的真实世界坐标系中的坐标。真实世界物体向量(图2中的66)从真实世界视见体中的预定点例如视点(图2中的69)发出到达真实世界参考点。在步骤22中,处理器可以通过预定变换任选地变换真实世界物体向量,所述预定变换考虑真实世界视线和用户视线之间的任意预定关系。这会是有用的,例如,传感器安装在帽子上使得传感器的真实世界视线与用户视线存在固定关系的情况。在这种情况下,用户视线可以用作真实是世界视线。
在步骤24中,处理器确定与数据帧相关联的重力向量相对于真实世界视见体的位置。处理器随后构建具有3D虚拟坐标系(x,y,z)的虚拟3D空间(步骤26)。在步骤28中,处理器在3D虚拟空间中定位具有关联虚拟世界视点的虚拟视锥、围绕从所述虚拟视点发出的虚拟视线对称定位的关联虚拟视见体、形成虚拟视见体的表面的关联虚拟视表面、以及关联虚拟指上向量,其中指上向量的x和y轴平行于虚拟视表面并且z轴平行于虚拟视线。3D虚拟空间利用预定的连续映射G构建,所述映射G将真实世界视锥映射到虚拟世界视锥中,将真实世界视点映射到虚拟世界视点上,将真实世界视线映射到虚拟世界视线上,将真实世界视见体映射到虚拟视见体中,将真实世界视表面映射到虚拟是表面上使得虚拟世界视表面平行于虚拟世界的x轴和y轴并且虚拟世界视线平行于虚拟世界z轴,将真实世界重力向量映射成虚拟重力向量,将真实世界指上向量映射到虚拟指上向量上。映射G优选选择为使得真实世界物体向量与真实世界视线之间的夹角θ(参见图2)等于虚拟世界物体向量与虚拟视线之间的夹角,此外使得真实世界指上向量与真实世界重力向量之间的夹角ψ(参见图2)等于虚拟世界指上向量与虚拟世界重力向量之间的夹角。
在步骤38中,处理器随后在3D虚拟空间中构建穿过虚拟物体参考点的基准面。如图4所示,基准面106具有关联2D坐标系(x’,z’)。基准面可以在3D虚拟空间中定位如下:(1)基准面的x’轴平行于虚拟空间的x轴,(2)基准面的x’轴与虚拟空间坐标系的y轴之间的夹角可以是预定角度,例如90°,或者可以等于预定角度(优选90°)和重力向量在xy平面上的投影与正向y轴之间的夹角之和,(3)根据虚拟视线与虚拟重力向量之间的夹角β’确定z’轴与z轴之间的夹角α。当β’≤β时,β为一预定常数阈值(例如20°),α为β’的连续严格单调递增函数。当β’≥β时,α为一常数,等于当β’从下方趋近于β时α的极限值。
作为替代方案,基准面可以定位在虚拟空间的“横向”上,使得(1)基准面的z’轴平行于y平面的y轴,(2)基准面的z’轴与虚拟空间坐标系的y轴之间的夹角可以为预定角度如90°或者可以等于预定角度和重力向量在xy平面上的投影与正向y轴之间的夹角之和,(3)根据虚拟视线与虚拟重力向量之间的夹角β’确定x’轴与z轴之间的夹角α。当β’≤β时,β为一预定常数阈值(例如20°),α为β’的连续严格单调递增函数。当β’≥β时,α为一常数,等于当β’从下方趋近于β时α的极限值。
基准面具有一个或多个关联准许位置,由图4中的幻影线指示,其中一个或多个平面内容物体可以定位在基准面上。至少一个准许位置是侧边平行于基准面坐标系的x’和z’轴的矩形。准许位置可以排列成平行的行和列的网格。当内容要素具有内在的上边界和下边界时,例如当内容要素包括图像或文本时,内容要素的上下方向最优定位在具有与基准面z’轴对准的上下方向的基准面上。在步骤40中,处理器随后将在基准面上的或平行于基准面的一个或多个平面内容要素110设置在任意一个或多个准许位置中。处理器还可以将一个或多个3D内容要素定位在基准面上或其附近,所述3D内容要素可以是旋转的2D内容要素或体积内容要素例如3D模型或体积图(步骤42)。
接着,处理器将定位在3D虚拟空间中的内容要素投影到虚拟视表面64上以形成投影图像114(步骤44)。内容要素在3D虚拟视表面上的投影可以是例如透视投影。随后形成最终图像(步骤46),其中最终图像包括投影图像114和可能的至少部分数据帧。图5示出包括投影图像114和真实世界物体60的图像的最终图像116。最终图像经由观察设备或显示设备显示(步骤48),然后过程终止。
图6示出另一实施方案,其中相机80与用户移动设备82相关联,并且真实世界参考点84固定在用户移动设备82上。相机80具有图6中幻影线所指示的视锥。相机80被操作用于获取包括用户脸的当前数据帧。用户90穿戴有包括显示设备83的头戴式设备81,显示设备83可以是眼睛投影仪或显示屏。在图6的实施方案中,处理器可设置在移动设备82或头戴式设备81中,其用于识别由相机80获取的数据帧中的人脸。处理器10还用于当在数据帧中检测到人脸时确定用户的真实世界视锥。图7示出用户的真实世界视锥,其由限制幻影线92所指示。处理器10还用于确定用户的真实世界视点、用户的真实世界指上向量95、用户的真实世界视表面和用户的真实世界视线94,其从用户的真实世界视点发出并穿过用户的真实世界视表面的中心。从用户的真实世界视点发出并穿过真实世界参考点84的线是真实世界物体82的物体向量。图6和7还示出真实世界坐标系91,在该实施例中,该坐标系91相对于用户的头部是固定的。真实世界坐标系91具有x轴、y轴和z轴。x轴和y轴平行于用户的视表面,z轴平行于用户的视线94。图6和7还示出真实世界重力向量93,如上所确定。
用户的真实世界视锥、真实世界视见体、真实世界视点、真实世界指上向量、真实世界视表面及真实世界视线和真实世界物体向量被用于参照图3所述的过程中。作为处理的结果,虚拟内容要素85通过头戴式81的显示设备83呈现给用户,至少部分虚拟内容要素是表现为似乎平铺在穿过参考点84的基准面上的平面内容要素。
参照图7,处理器10可以用于检测用户的手106和/或108在数据帧中的位置。在这种情况下,处理器还用于判断手的一部分是否落入在虚拟视表面与根据本发明定位的任意内容要素之间的虚拟视见体中。处理器可以用于从投影内容中消除被该部分手所遮挡的区域。因此,例如内容要素85的被手106所遮挡的部分被从内容要素中消除。处理器10可以用于识别单手或双手106和108实施的预定手势或手指姿势,以及执行与识别出的手势关联的预定命令。如果例如预定的真实世界物体是具有屏幕的电子设备,则命令可以是将一个或多个内容要素从屏幕移动到基准面上的命令。在另一实施例中,处理器识别出点击动作触摸交互内容的手势,使得内容动作应被激活并且在基准面内容中引起变化。
仍参照图7,待检测的二级真实世界物体例如物体100可以出现在用户的视见体中。物体100具有关联真实世界参考点102。包含物体100的一个或多个数据帧可以通过可设置在移动设备82中且面对物体102的传感器或安装在头戴式设备81上的传感器来获取。包含物体100的数据帧可如参照图3所述那样进行分析。如图7所示,位于基准面上的内容要素104可通过头戴式显示设备83或移动设备82的屏幕呈现给用户,其中基准面对于用户而言似乎穿过参考点102。因此,两个基准面被呈现给用户,并且内容要素可以根据需要从一个基准面移动到另一基准面。此外,处理器10还可用于识别用户的手势或命令,该手势或命令应该导致一个基准面的内容的一部分从一个物体转移至另一物体,因此现在表现为另一物体的基准面的一部分。此外,如果物体是“智能物体”,即能够网络通信,则上述从用户设备的基准面转移到物体100基准面上的内容转移可变得持久,使得当物体100通过网络访问或被新用户利用根据本发明类似的设备观看时,转移的内容保持可视。
Claims (14)
1.一种用于生成和显示虚拟内容的系统,包括:
A.传感器组,包括第一传感器,所述第一传感器包括:
-相对于所述第一传感器固定的关联感应场;
-关联传感器视线,所述传感器视线是从相对于所述第一传感器固定的焦点延伸进入所述感应场的向量;
所述第一传感器用于获取一个或多个数据帧,所述数据帧包括在所述第一传感器的感应场中的3D现实世界空间的数据;
还包括:
所述传感器组中的第二传感器,所述第二传感器具有相对于所述第二传感器固定的传感器指上向量,所述传感器指上向量确定一个或多个数据帧的指上向量;
第三传感器,确定与一个或多个数据帧关联的重力向量;
B.观察设备或显示设备;其中所述观察设备或显示设备具有相对于所述观察设备或显示设备固定的指上向量;和
C.计算机处理单元,包括处理器和存储器;其中:
所述存储器存储指示数据帧中一个或多个待检测物体的数据,所述指示数据帧中一个或多个待检测物体的数据是一个或多个预定物体的描述,或者是指定数据帧中待检测的物体类型的一个或多个标准的数据,并且所述存储器对于每个待检测物体还存储相对于该物体固定的预定现实世界参考点;其中
所述处理器用于:
a.分析一个或多个数据帧并判断一个或多个待检测现实世界物体是否处于所述第一传感器的感应场中;
b.如果检测到一个待检测物体的至少一部分处于所述第一传感器的感应场中,则根据所分析的数据帧确定从所述焦点延伸到所述待检测物体的现实世界参考点的现实世界物体向量;
d.构建具有3D虚拟空间坐标系的虚拟3D空间,并且在所述3D虚拟空间中定位:
i.视点;
ii.从所述视点发出的视线;
iii.围绕所述视线对称定位的视见体;
iv.从所述视点延伸出的虚拟物体向量,在所述虚拟物体向量和所述视线之间形成所述夹角θ;
v.在所述虚拟物体向量上的虚拟物体参考点;
e.在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面,所述基准面具有关联2D坐标系(x’,z’);
f.重新定位所述基准面,使得所述基准面按照与所述虚拟空间的y轴或与所述虚拟重力向量的预定关系被定位;
g.将在所述基准面上的或平行于所述基准面的一个或多个平面内容要素设置在所述基准面上的任意一个或多个预定准许位置中;
h.将内容要素投影到所述虚拟视表面上以形成投影图像,所述视表面是垂直于所述视线并且围绕所述视线对称定位的视见体的表面;
i.形成最终图像,所述最终图像包括所述投影图像;
j.在观察设备或显示设备上显示所述最终图像,所述虚拟空间的y轴平行于所述观察设备或显示设备的指上向量;和
k.根据需要任意重复步骤a-j。
2.根据权利要求1所述的系统,其中所述3D虚拟空间利用预定的连续映射G构建,所述映射G将所述感应场的至少一部分映射到所述视见体中,将所述第一传感器的焦点映射到所述视点上,将所述第一传感器的视线映射到所述视线上,以及将所述第二传感器的指上向量映射到所述虚拟空间的y轴上。
3.根据权利要求1所述的系统,其中所述处理器还用于通过预定变换关系来变换所述现实世界物体向量,所述变换关系包括在所述第一传感器的视线和所述第二传感器的指上向量与用户的现实世界视表面、用户的现实世界视线和用户的现实世界指上向量之间的预定关系。
4.根据权利要求1-3中任一项所述的系统,其中所述基准面定位在所述3D虚拟空间中,使得:
(A)(a)所述基准面的x'轴平行于所述虚拟空间的y轴;
(b)所述基准面的x'轴和所述虚拟空间坐标系的y轴之间的夹角是预定角度或等于预定角度和所述重力向量在所述虚拟空间的xy平面上的投影和所述虚拟空间的正向y轴之间的夹角之和;和
(c)根据所述虚拟视线和所述虚拟重力向量之间的夹角β'来确定z'轴和z轴之间的夹角α;或者
(B)(d)所述基准面的z'轴平行于所述虚拟空间的y轴;
(e)所述基准面的z'轴和所述虚拟空间坐标系的y轴之间的夹角是预定角度或等于预定角度和所述重力向量在所述虚拟空间的xy平面上的投影和所述虚拟空间的正向y轴之间的夹角之和;和
(f)根据所述虚拟视线和所述虚拟重力向量之间的夹角β'来确定所述基准面的x'轴和所述虚拟空间的z轴之间的夹角α。
5.根据权利要求4所述的系统,其中当β’≤β时,β为一预定常数阈值,α为β’的连续严格单调递增函数;当β’≥β时,α为一常数,等于当β’从下方趋近于β时α的极限值。
6.根据权利要求1所述的系统,其中所述最终图像包括当前数据帧的至少一部分。
7.根据权利要求1所述的系统,还包括重力传感器,其适合生成指示重力场的当前方向的时变信号,所述重力场的当前方向用于确定自数据帧被获取时刻的数据帧重力向量,并且存储在该时刻与所述重力向量的方向相关联的所述时变信号。
8.根据权利要求7所述的系统,其中所述处理器还用于运行软件,所述软件分析数据帧并确定自数据帧被分析时刻的数据帧重力向量。
9.根据权利要求1所述的系统,其中所述传感器组中的至少一个传感器与移动通信设备相关联,并且现实世界参考点固定在移动设备上,其中所述观察设备或显示设备是头戴式设备。
10.根据权利要求9所述的系统,其中所述处理器还用于识别数据帧中的人脸,所述数据帧通过与移动通信设备相关联的传感器获取,并且所述处理器还用于当在数据帧中检测到用户的脸时确定与所述用户的真实世界关联的视锥、与所述用户的真实世界关联的视点、与所述用户的真实世界关联的现实世界指上向量、与所述用户的真实世界关联的现实世界视表面、与所述用户的真实世界关联的视线,所述视线从与所述用户的真实世界关联的现实世界视点发出并经过与所述用户的真实世界关联的现实世界视表面的中心、从与所述用户的真实世界关联的现实世界视锥中的预定点发出并经过固定在所述移动通讯设备上的现实世界参考点的线。
11.根据权利要求1所述的系统,其中所述处理器还用于:
-检测在当前真实世界视见体中的附加的待检测真实世界物体;
-在穿过由附加的真实世界物体的真实世界参考点变换的虚拟参考点的虚拟空间中生成附加的基准面;
-在所述附加的基准面上定位一个或多个附加内容要素;
-将所述一个或多个附加内容要素投射到所述视表面上以形成附加投影图像;和
-在所述显示设备上显示所述附加投影图像。
12.根据权利要求1所述的系统,其中所述处理器还用于检测单手或双手的空间位置和手在数据帧中的轮廓,其中所述处理器还用于判断手的一部分是否落入在所述视表面与定位在所述基准面上的任意内容要素之间的视见体中,并且所述处理器还用于从所述最终图像中消除被手所遮挡的区域。
13.根据权利要求12所述的系统,其中所述处理器还用于检测单手或双手实施的一个或多个预定手势或手指姿势,以执行与识别出的手势相关联的预定命令,所述命令任选自:
(a)激活一个或多个内容要素;
(b)在基准面的内容要素中产生预定变化;
(c)将一个或多个内容要素从电子设备的屏幕移动到基准面上;
(d)将一个或多个内容要素从第一基准面转移到第二基准面;
(e)将第一基准面的一部分转移到第二基准面。
14.一种用于生成和显示虚拟内容的方法,包括:
(A)分析一个或多个数据帧并判断一个或多个待检测现实世界物体是否处于第一传感器的感应场中;
(B)如果检测到待检测物体的至少一部分处于第一传感器的感应场中,则根据所分析的数据帧确定从焦点延伸到所述待检测物体的现实世界参考点的现实世界物体向量;
(D)构建具有3D虚拟空间坐标系的虚拟3D空间,并且在所述3D虚拟空间中定位:
i.视点;
ii.从所述视点发出的视线;
iii.围绕所述视线对称定位的视见体;
iv.从所述视点延伸出的虚拟物体向量,在所述虚拟物体向量和所述视线之间形成夹角θ;
v.在所述虚拟物体向量上的虚拟物体参考点;
(E)在3D虚拟空间中构建穿过所述虚拟物体参考点的基准面,所述基准面具有关联2D坐标系(x’,z’);
(F)重新定位所述基准面,使得所述基准面按照与所述虚拟空间的y轴或与所述虚拟重力向量的预定关系被定位;
(G)将在所述基准面上的或平行于所述基准面的一个或多个平面内容要素设置在所述基准面上的任意一个或多个预定准许位置中;
(H)将内容要素投影到所述虚拟视表面上以形成投影图像,所述视表面是垂直于所述视线并且围绕所述视线对称定位的视见体的表面;
(I)形成最终图像,所述最终图像包括所述投影图像;
(J)在观察设备或显示设备上显示所述最终图像,所述虚拟空间的y轴平行于所述观察设备或显示设备的指上向量;和
(K)根据需要任选重复步骤(A)-(J)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361908986P | 2013-11-26 | 2013-11-26 | |
US61/908,986 | 2013-11-26 | ||
PCT/IL2014/051028 WO2015079441A1 (en) | 2013-11-26 | 2014-11-26 | Method and system for constructing a virtual image anchored onto a real-world object |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105934775A CN105934775A (zh) | 2016-09-07 |
CN105934775B true CN105934775B (zh) | 2020-06-05 |
Family
ID=53198457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480074085.6A Active CN105934775B (zh) | 2013-11-26 | 2014-11-26 | 用于构建锚定在真实世界物体上的虚拟图像的方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9805509B2 (zh) |
EP (1) | EP3074954A4 (zh) |
JP (1) | JP2017505933A (zh) |
CN (1) | CN105934775B (zh) |
IL (1) | IL245863B (zh) |
WO (1) | WO2015079441A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017143239A1 (en) * | 2016-02-18 | 2017-08-24 | Edx Wireless, Inc. | Systems and methods for augmented reality representations of networks |
CN106803988B (zh) * | 2017-01-03 | 2019-12-17 | 苏州佳世达电通有限公司 | 信息传送系统以及信息传送方法 |
US10591730B2 (en) | 2017-08-25 | 2020-03-17 | II Jonathan M. Rodriguez | Wristwatch based interface for augmented reality eyewear |
CN109559370A (zh) * | 2017-09-26 | 2019-04-02 | 华为技术有限公司 | 一种三维建模方法及装置 |
EP3495771A1 (en) * | 2017-12-11 | 2019-06-12 | Hexagon Technology Center GmbH | Automated surveying of real world objects |
US11232636B2 (en) * | 2018-02-08 | 2022-01-25 | Edx Technologies, Inc. | Methods, devices, and systems for producing augmented reality |
CA3139648A1 (en) | 2018-03-07 | 2019-09-12 | Magic Leap, Inc. | Visual tracking of peripheral devices |
US11550095B2 (en) * | 2018-10-26 | 2023-01-10 | Google Llc | Curved optical see-through thin freeform lightguide with large field of view in eyewear formfactor |
US11263615B2 (en) * | 2019-03-01 | 2022-03-01 | Visa International Service Association | System, method, and computer program product for authentication by augmented reality for fraud prevention |
CN111973979A (zh) * | 2019-05-23 | 2020-11-24 | 明日基金知识产权控股有限公司 | 经由持久性虚拟世界系统对现实世界进行实况管理 |
CN110164440B (zh) * | 2019-06-03 | 2022-08-09 | 交互未来(北京)科技有限公司 | 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质 |
US10897564B1 (en) | 2019-06-17 | 2021-01-19 | Snap Inc. | Shared control of camera device by multiple devices |
CN111028342B (zh) * | 2019-12-16 | 2023-11-21 | 国网北京市电力公司 | 一种基于ar技术的物资堆叠方式的预估方法及装置 |
US11985175B2 (en) | 2020-03-25 | 2024-05-14 | Snap Inc. | Virtual interaction session to facilitate time limited augmented reality based communication between multiple users |
US11593997B2 (en) * | 2020-03-31 | 2023-02-28 | Snap Inc. | Context based augmented reality communication |
US11574447B2 (en) * | 2020-08-19 | 2023-02-07 | Htc Corporation | Method for capturing real-world information into virtual environment and related head-mounted device |
CN114485620B (zh) * | 2022-01-29 | 2023-07-28 | 中国科学院国家空间科学中心 | 融合轨道动力学的小行星探测器自主视觉定位系统及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1529875A (zh) * | 2001-05-22 | 2004-09-15 | Լ����ɳ�� | 在虚拟三维空间中显示可视内容的方法和系统 |
US7737965B2 (en) * | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
WO2012071463A2 (en) * | 2010-11-24 | 2012-05-31 | Aria Glassworks, Inc. | System and method for presenting virtual and augmented reality scenes to a user |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366976A (ja) * | 2001-06-08 | 2002-12-20 | Fujitsu Ltd | オブジェクト表示プログラムおよびオブジェクト表示装置 |
EP1759379A2 (en) * | 2004-06-01 | 2007-03-07 | Michael A. Vesely | Horizontal perspective display |
JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
JP2010033367A (ja) * | 2008-07-29 | 2010-02-12 | Canon Inc | 情報処理装置及び情報処理方法 |
US9165408B2 (en) | 2008-12-01 | 2015-10-20 | Visual Domains Ltd. | Method and system for browsing visual content displayed in a virtual three-dimensional space |
WO2012127605A1 (ja) * | 2011-03-22 | 2012-09-27 | 株式会社うぶすな | 情報処理装置、及び情報処理方法 |
JP2012216077A (ja) * | 2011-03-31 | 2012-11-08 | Fujifilm Corp | 拡張現実感提供装置及び仮想物体の重畳方法 |
JP2013008257A (ja) * | 2011-06-27 | 2013-01-10 | Celsys:Kk | 画像合成プログラム |
JP5799776B2 (ja) * | 2011-11-29 | 2015-10-28 | 株式会社バッファロー | 情報表示装置及びプログラム |
JP5563613B2 (ja) * | 2012-03-30 | 2014-07-30 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
-
2014
- 2014-11-26 JP JP2016535039A patent/JP2017505933A/ja active Pending
- 2014-11-26 CN CN201480074085.6A patent/CN105934775B/zh active Active
- 2014-11-26 US US14/653,530 patent/US9805509B2/en active Active
- 2014-11-26 EP EP14866068.1A patent/EP3074954A4/en not_active Withdrawn
- 2014-11-26 WO PCT/IL2014/051028 patent/WO2015079441A1/en active Application Filing
-
2016
- 2016-05-25 IL IL245863A patent/IL245863B/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1529875A (zh) * | 2001-05-22 | 2004-09-15 | Լ����ɳ�� | 在虚拟三维空间中显示可视内容的方法和系统 |
US7737965B2 (en) * | 2005-06-09 | 2010-06-15 | Honeywell International Inc. | Handheld synthetic vision device |
WO2012071463A2 (en) * | 2010-11-24 | 2012-05-31 | Aria Glassworks, Inc. | System and method for presenting virtual and augmented reality scenes to a user |
Also Published As
Publication number | Publication date |
---|---|
US9805509B2 (en) | 2017-10-31 |
IL245863A0 (en) | 2016-07-31 |
EP3074954A1 (en) | 2016-10-05 |
EP3074954A4 (en) | 2017-06-14 |
IL245863B (en) | 2021-02-28 |
CN105934775A (zh) | 2016-09-07 |
JP2017505933A (ja) | 2017-02-23 |
US20160260256A1 (en) | 2016-09-08 |
WO2015079441A1 (en) | 2015-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105934775B (zh) | 用于构建锚定在真实世界物体上的虚拟图像的方法和系统 | |
AU2020202551B2 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
US10732725B2 (en) | Method and apparatus of interactive display based on gesture recognition | |
US9224237B2 (en) | Simulating three-dimensional views using planes of content | |
US9437038B1 (en) | Simulating three-dimensional views using depth relationships among planes of content | |
EP3316080B1 (en) | Virtual reality interaction method, apparatus and system | |
CN110363061B (zh) | 计算机可读介质、训练对象检测算法的方法及显示装置 | |
US10037614B2 (en) | Minimizing variations in camera height to estimate distance to objects | |
KR101890459B1 (ko) | 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템 | |
WO2013035758A1 (ja) | 情報表示システム、情報表示方法、及び記憶媒体 | |
CN106210538A (zh) | 在用户设备上显示基于光场的图像的方法和装置及程序 | |
CN108027656B (zh) | 输入设备、输入方法和程序 | |
US10853651B2 (en) | Virtual reality interaction method, apparatus and system | |
KR102561274B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 제어 방법 | |
KR102337209B1 (ko) | 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체 | |
JP5565331B2 (ja) | 表示システム、表示処理装置、表示方法、および表示プログラム | |
Cassinelli et al. | Smart laser-scanner for 3D human-machine interface | |
US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
KR102063408B1 (ko) | 가상 객체와의 상호 작용을 위한 방법 및 장치 | |
Sobota et al. | Virtual reality technologies as an interface of cognitive communication and information systems | |
EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
US10345595B2 (en) | Head mounted device with eye tracking and control method thereof | |
CN109710054B (zh) | 用于头戴式显示设备的虚拟物体呈现方法和装置 | |
Diaz et al. | Multimodal sensing interface for haptic interaction | |
KR20120055434A (ko) | 디스플레이 시스템 및 그 디스플레이 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |