CN111344775A - 增强现实系统和套件 - Google Patents
增强现实系统和套件 Download PDFInfo
- Publication number
- CN111344775A CN111344775A CN201880073368.7A CN201880073368A CN111344775A CN 111344775 A CN111344775 A CN 111344775A CN 201880073368 A CN201880073368 A CN 201880073368A CN 111344775 A CN111344775 A CN 111344775A
- Authority
- CN
- China
- Prior art keywords
- augmented reality
- reality content
- instrument
- kit
- mobile device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/24—Use of tools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种增强现实系统,包括:印刷媒体构件,其至少具有第一图像目标;头戴式设备,其包括移动设备固定构件;以及软件,其被配置为在包括具有相机镜头的相机的移动设备上运行。该软件与目标数据库(在远程服务器上或在软件内)进行通信,该目标数据库包括与第一图像目标相关的信息,并且其中,该软件包括与第一图像目标相关联的第一增强现实内容。
Description
相关申请的交叉引用
本申请要求享有于2017年10月6日提交的美国专利申请第62/569,344号的权益,其全部内容通过引用并入本文。
技术领域
本发明总体上涉及增强现实系统和套件,并且更具体地涉及允许用户使用印刷媒体构件和相关联的仪器执行一系列动作的增强现实系统。
背景技术
近年来,虚拟现实和增强现实系统已经变得越来越流行。例如,现有技术的AR(例如,snapchat面部过滤器)利用在全屏模式下的平板计算机或移动设备,允许用户增强在其前方的一些事物。然而,当使用面部过滤器等时,用户典型地用一只手握住他们的电话。在本发明中,将智能电话放置在具有暴露的相机镜头的护目镜中,使得用户可以免提。此外,该应用以分屏模式示出视频,使得可以在护目镜上恰当地观看该视频。
发明内容
根据本发明的第一方面,提供了一种参与增强现实体验的方法,该方法包括:获得或提供至少包括第一图像目标的印刷媒体构件,该第一图像目标包括第一链接的增强现实内容;获得或提供包括移动设备固定构件的头戴式设备;获得或提供带有具有相机镜头的相机的移动设备,该移动设备包括在其上运行的与目标数据库通信的软件;使用移动设备固定构件将移动设备固定在头戴式设备中;以及定向移动设备,使得相机镜头指向印刷媒体构件。当第一图像目标由软件识别时,第一链接的增强现实内容显示在移动设备上。该方法还包括:通过头戴式设备观看第一链接的增强现实内容。
在优选实施例中,第一链接的增强现实内容显示在移动设备的屏幕上的第一屏幕框架和第二屏幕框架中。头戴式设备包括第一镜头和第二镜头。该方法的观看步骤包括通过第一镜头和第二镜头观看第一屏幕框架和第二屏幕框架。优选地,印刷媒体构件至少包括第一页面和第二页面,其中,第一图像目标设置在第一页面上,并且第二页面包括第二图像目标,该第二图像目标包括第二链接的增强现实内容。印刷媒体构件可以包括任何数量的页面和任何数量的图像目标。
在优选实施例中,印刷媒体构件和头戴式设备是套件的一部分,并且方法包括至少获得作为套件的一部分的第一仪器的步骤。第一链接的增强现实内容包括引导用户利用第一仪器的音频。优选地,方法还包括至少获得或提供不作为套件的一部分的第二仪器,并且第一链接的增强现实内容包括引导用户利用第二仪器的音频。在优选实施例中,方法包括至少获得作为套件的一部分的第一仪器的步骤,并且第一链接的增强现实内容包括引导用户利用第一仪器的音频。优选地,方法包括至少获得或提供不作为套件的一部分的第二仪器,并且第二链接的增强现实内容包括引导用户利用第二仪器的音频。换言之,使用无论是否作为套件的一部分的仪器可以与一个或多个图像目标以及与其相关联的增强现实内容相关联。
在优选实施例中,第一链接的增强现实内容是三维类型的增强现实内容或二维类型的增强现实内容中的一种。二维类型的增强现实内容可以在位于印刷媒体构件上的框架内增强。框架可以不是实际的可视框架。然而,视频看起来在页面上的某个空间内播放。在优选实施例中,第一链接的增强现实内容是三维类型的增强现实内容,并且第二链接的增强现实内容是二维类型的增强现实内容,该二维类型的增强现实内容在位于印刷媒体构件上的框架内增强。
根据本发明的另一方面,提供了一种增强现实系统,该增强现实系统包括:印刷媒体构件,其至少具有第一图像目标;头戴式设备,其包括移动设备固定构件;以及软件,其被配置为在包括具有相机镜头的相机的移动设备上运行。该软件与目标数据库(在远程服务器上或在软件内)进行通信,该目标数据库包括与第一图像目标相关的信息,并且其中,该软件包括与第一图像目标相关联的第一增强现实内容。
在优选实施例中,印刷媒体构件和头戴式设备是套件的一部分,该套件还至少包括第一仪器和第二仪器。优选地,第一增强现实内容包括关于第一任务的音频指令,该第一任务包括使用第一仪器。在优选实施例中,第一增强现实内容还包括关于第二任务的音频指令,该第二任务包括使用不作为套件的一部分的第三仪器。在优选实施例中,印刷媒体构件包括第二图像目标,目标数据库包括与第二图像目标相关的信息,并且与第二图像目标相关联的第二增强现实内容是软件的一部分。优选地,第二增强现实内容包括关于第三任务的音频指令,该第三任务包括使用第二仪器。
在优选实施例中,第一增强现实内容包括与第一任务相关的视频,该视频在位于印刷媒体构件上的框架内增强。优选地,视频包括使用第一仪器的演示。将认识到的是,第一仪器不是套件随附的完全相同的仪器,而是相同类型的仪器。例如,如果第一仪器是套件随附的量杯,则视频中的第一仪器是类似的量杯。
在优选实施例中,本发明包括一种套件和系统,其包括书本、虚拟现实(“VR”)护目镜、一套仪器和软件应用(“应用”)。通常,用户将应用下载到他们的移动设备/智能电话、平板计算机等上,将智能电话放置在护目镜中,使得智能电话上的相机暴露,打开书本,并在应用识别出书本的页面上的目标时参与增强现实(“AR”)体验。将认识到的是,在优选实施例中,护目镜实际上不是VR护目镜,这意味着这些护目镜不包括内置于护目镜中的VR能力。相反,护目镜(头盔或其他头戴式设备)包括将智能电话或其他便携式电子设备固定在其中的能力。
通常,基于目标的增强现实设备(“AR设备”)允许用户实时观看链接到由设备标识出的图像目标的信息。在本发明中,AR设备是包括在其上运行的相关联的软件(典型地以应用的形式)的移动设备,其可以是智能电话(例如,iPhone、Google电话或运行Android、Windows Mobile或其他操作系统的其他电话)、平板计算机(例如,iPad、Galaxy)、个人数字助理(PDA)、笔记本计算机或各种其他类型的无线或有线计算设备。如本文所描述的,AR设备与护目镜或其他头戴式设备耦合或配对,使得用户可以在AR设备的屏幕上观看内容并且被提供同时的真实世界视图。移动设备(AR设备)连同护目镜(头戴式设备)一起在本文被称为AR组装件。
如上文所讨论的,VR护目镜用于AR体验。在本发明的示例性实施例中,AR体验涉及在书本的页面上进行的一门或多门教育化学或科学课程。然而,这不是对本发明的限制。在整个说明书和附图中,示例性套件和系统是麦克斯韦教授的4D化学的一部分。然而,这仅用作示例,并且本发明的原理可以用于其他项目、课程等。
在使用中,在启动麦克斯韦教授的4D实验室应用时,用户为合适的产品(例如,麦克斯韦教授的4D化学)选择程序。然后,用户将智能电话放置在护目镜中。接下来,一旦书本被打开到第一页面,并且用户通过护目镜和应用经由相机“看向”该页面,则应用经由扫描页面上的AR目标进行识别,并且应用在智能手机(或其他AR设备)的屏幕上对AR内容进行渲染或增强。在优选实施例中,例如,由第一目标渲染的AR内容可以是麦克斯韦教授正在对课程进行介绍。在扫描并识别不同的AR目标时,对不同的AR内容进行渲染或增强。例如,当识别出第二目标时,第二AR内容可以是两个玻璃杯,其中教授正在告诉用户要填满物理的两个玻璃杯(其作为仪器的一部分)作为实验和课程的一部分。换言之,应用扫描/读取用户前方的页面,并触发教授在页面上“活跃起来”,并开始他关于特定项目的介绍,并且然后逐步完成课程的步骤。在优选实施例中,被动扫描允许用户免除了主动搜索AR目标的需要。相反,一旦扫描到目标,AR内容就被增强并显示在智能电话屏幕上,并由用户通过护目镜观看。在美国专利申请第9,401,048号中教导了增强现实目标检测,其全部内容通过引用并入本文。
在麦克斯韦教授的4D实验室中,每个书本都包括一个或多个课程计划,每个课程计划都是独特的基于教育和课程的产品,其中教授对每个项目都有特定的议程。每个单独的项目或课程可以在单个或多个页面上。例如,在项目“跳舞的纸”中,用户学习静电,如教授所解释的那样。教授的每个分步指令都是以AR的形式,因此一旦用户启动了项目,用户就观看教授使步骤中的每一个“苏醒”,在教授被动画化并且在页面上四处走动时向用户示出分步指令,从而向用户解释过程的步骤。
如上文所讨论的,在该过程期间,教授可以指示用户使用套件随附的仪器。项目所必要的仪器中的一些可以由用户提供。例如,在关于如何使用科学给花着色的课程中,花朵可以由用户提供。其他仪器可以是例如一套科学材料,例如,烧杯、试管、小苏打、放大镜等。仪器中的一些或全部优选地与该套科学材料内的单独项目或课程相关,并且与书本、应用和护目镜一起使用。
通常,护目镜包括中空的主体部分,并且与主体部分间隔开的保持器、夹具或支撑构件在其之间限定了电话槽以用于将智能电话安装在其中。优选地,护目镜还包括镜头,以及将护目镜固定到用户的头部的带子或其他组件。
本领域普通技术人员将认识到,本发明是在免提的增强现实框架中使用的基于课程的教导工具,该教导工具通过暴露智能电话的相机的一套VR护目镜来实现,从而允许分屏功能以使用户沉浸在增强现实环境中。在示例性实施例中,书本、应用、分步AR、仪器等全部组合在一起,以提供与用户一起出现在房间中、四处走动并教导用户的教授。
附图说明
图1是用于本发明的系统的套件的多个组件的示意性视图;
图2是其上包括与增强现实系统相关联的应用图标的移动设备的主视图;
图3A是头戴式设备和移动设备的分解的正面主视图;
图3B是头戴式设备和移动设备的分解的侧面主视图;
图4是固定在头戴式设备中的移动设备的正面主视图;
图5是示出第一屏幕框架和第二屏幕框架的移动设备屏幕的视图;
图6是印刷媒体构件的示例性页面的平面视图;
图7是示出通过网络与远程目标数据库进行通信的增强现实系统的框图;
图8是用户在通过头戴式设备和移动设备观看印刷媒体构件时将看到的示例性视图;
图9是根据本发明另一优选实施例的印刷媒体构件的示例性页面的平面视图;以及
图10是适合于实现本文讨论的一个或多个组件的计算机系统的框图。
具体实施方式
以下描述和附图是说明性的,并且不应被解释为限制性的。描述了许多具体细节以提供对本公开的透彻理解。然而,在某些实例中,为了避免模糊描述,没有描述公知的或常规的细节。对本公开中的一个实施例(oneembodiment)或实施例(an embodiment)的引用可以是但不一定是对相同实施例的引用;并且这种引用表示实施例中的至少一个。
在本说明书中对“一个实施例”或“实施例”的引用表示结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。在说明书中各处出现的短语“在一个实施例中”不一定全部指代相同实施例,也不一定指代与其他实施例互斥的单独或替代实施例。此外,描述了可以由一些实施例而不是其他实施例展现的各种特征。类似地,描述了可以是针对一些实施例但不是其他实施例的要求的各种要求。
本说明书中使用的术语在本公开的上下文内以及在使用每个术语的特定上下文中通常具有其在本领域的普通含义。在下文或说明书中的其他地方讨论了用于描述本公开的某些术语,以为从业者提供关于本公开的描述的附加指导。为了方便起见,可以例如使用斜体和/或引号突出某些术语:突出的使用对术语的范围和含义没有影响;在相同的上下文中,无论术语是否被突出,术语的范围和含义都是相同的。
将认识到的是,可以以多于一种方式叙述相同的事情。因此,替代语言和同义词可以用于本文讨论的术语中的任何一个或多个。术语在本文中是否被详细描述或讨论是没有特殊意义的。提供了针对某些术语的同义词。对一个或多个同义词的引述不排除使用其他同义词。在本说明书中任何地方使用的示例,包括本文讨论的任何术语的示例,仅是说明性的,并且不旨在进一步限制本公开或任何示例性术语的范围和含义。同样地,本公开不限于本说明书中给出的各种实施例。
在不旨在进一步限制本公开的范围的情况下,下文给出了根据本公开的实施例的仪器、装置、方法以及其相关结果的示例。注意,为了方便读者,可以在示例中使用标题或副标题,这些标题和副标题绝不应该限制本公开的范围。除非另有定义,否则本文中使用的所有技术和科学术语都具有与本公开所涉及的领域的普通技术人员通常所理解的相同含义。在冲突的情况下,以包括定义的本文档为准。
将认识到的是,本文使用的诸如“前方”、“后方”、“顶部”、“底部”、“侧面”、“短”、“长”、“上”、“下”、“之后”、“向前”、“内部”、“外部”和“下方”之类的术语仅是为了便于描述,并且指代附图中示出的组件的定向。应当理解的是,本文描述的组件的任何定向都在本发明的范围内。
详细描述通过示例性实施例的方式提供了解释。将理解的是,在不脱离本发明的精神的情况下,可以使用并入本发明的范围的具有机械和电气改变的其他实施例。
虽然上文详细描述了本发明的某些实施例,但是本发明的范围不应被认为由这种公开内容所限制,并且在不脱离由所附权利要求书证明的本发明的精神的情况下,修改是可能的。
现在参考附图,其中图示是出于说明本发明的目的,而不是出于限制本发明的目的,附图示出了增强现实系统的组件,其至少一部分可以在根据本发明的优选实施例的套件10中提供给用户。
如图1中示出的,在优选实施例中,套件10包括可以在本文描述的增强现实体验期间使用的印刷媒体构件12、头戴式设备14以及多个仪器16。印刷媒体构件12可以是例如书本、海报、小册子等。头戴式设备14可以是能够被安装在用户的头部上并且能够将移动设备固定到其上的任何设备。在优选实施例中,头戴式设备14是一副护目镜,但是也可以是头盔、头带或其他头戴式设备。例如,套件10可以设置在盒子中,该盒子包括护目镜、书本和多个仪器(例如,烧杯、杯子和眼滴管),如图1中示出的。
如本文所讨论的,在优选实施例中,本发明包括可以以应用的形式下载到移动设备18的软件。图2示出了其上具有与软件程序相关联的示例性应用图标20的移动设备18。如图3A-4中示出的,在使用中,移动设备18被固定到头戴式设备14,使得当将头戴式设备14放置在用户的头部上时,移动设备18的屏幕22可由用户观看。在优选实施例中,头戴式设备14包括主体部分24、固定构件26、第一镜头和第二镜头28以及带子30。如图3B中示出的,在固定构件26与主体部分24之间限定了固定空间32。将认识到的是,固定构件可以是将移动设备固定到头戴式设备的任何组件。例如,固定构件可以是带子、松紧带等,并且可以包括维可牢(Velcro)、按扣、袢扣或用于固定移动设备的其他组件。如图4中示出的,当适当地定位在头戴式设备14中时,移动设备18的相机镜头34被暴露,使得该相机镜头34可以观看印刷媒体构件12,如下文所讨论的。
如图5中示出的,在优选实施例中,软件包括以分屏模式显示视频的能力,该分屏模式包括第一屏幕框架36和第二屏幕框架38。本领域普通技术人员将认识到的是,第一屏幕框架36可由第一镜头28观看,并且第二屏幕框架38可由第二镜头28观看,以用于立体观看来提供3D图像。
参考图6和图7,在优选实施例中,印刷媒体构件12至少包括第一图像目标40并且优选地包括多个图像目标40。在使用中,图像目标40由软件识别,并且作为被识别的结果提示或导致某些动作发生。如图7中示出的,系统包括目标数据库42。在优选实施例中,目标数据库是下载到移动设备18的软件程序的一部分。然而,在另一实施例中,目标数据库42可以存储在经由诸如互联网之类的网络46可访问的远程服务器44等上。
每个图像目标40包括链接到其上或与其相关联的增强现实内容。如本领域普通技术人员将认识到的,图像目标可以是由软件识别出的印刷材料中的任一个。图像目标可以是特定的图片、图画、词语或词语集。图8包括两个图像目标40,这两个图像目标40使得链接的增强现实内容被增强、显示或听到。
在使用中,当识别出图像目标40时,相关联的增强现实内容显示在屏幕上。例如,参见图8,其示出了示例性麦克斯韦教授48作为所显示的增强现实内容。因为观看者还可以通过头戴式设备14看到印刷媒体构件12,所以看起来麦克斯韦教授48正站在印刷媒体构件12上(如图8中示出的)。增强现实内容还可以包括音频。例如,每个图像目标40可以使得麦克斯韦教授48进行一系列移动并说出特定的词语集。
如上文所讨论的,在优选实施例中,套件10包括仪器60。仪器60与套件的主题(例如,科学、化学、烹饪等)相关联。将使用麦克斯韦教授的4D化学提供示例。在打开应用(激活软件)、将移动设备18放置在固定空间32中并戴上护目镜14之后,将书本12打开到包括图像目标40的第一页面。当经由移动设备上的相机和相机镜头通过软件识别出图像目标40时,对与麦克斯韦教授相关的增强现实内容进行渲染。麦克斯韦教授可以告诉用户拿取仪器16中的一个并执行任务。图1中示出的示例性仪器是Ph试纸条、杯子、镊子、一套试管和滴管。例如,图6中示出的第一图像目标40包括相关联的增强现实内容,其中麦克斯韦教授48告诉用户使用剪刀将pH试纸剪切成几个正方形。然后,用户拿取套件提供的试纸条,并且如麦克斯韦教授所说的那样进行操作。这可以在仍戴着护目镜时完成。换言之,图像目标40中的至少一些具有与其相关联的一个或多个任务或项目和/或具有用于执行与其相关联的(多个)任务的一个或多个仪器。
在对试纸进行剪切之后,麦克斯韦教授然后告诉用户使用试纸的切片测试一些家用物品,例如,柠檬、牛奶、牙膏等。可以利用镊子和/或滴管执行该任务。与系统一起使用的其他仪器或物品中的一些可能是套件未提供的物品。此时,当用户转动其头部时,软件可以识别图6中示出的第二图像目标40,并且链接的增强现实内容可以被显示,并且麦克斯韦教授继续解释实验中的下一任务或步骤。在优选实施例中,一旦将页面翻到书本中的下一页面,就识别出下一图像目标,并且对相关联的内容进行动画化或渲染。优选地,即使第一增强现实内容尚未结束播放,一旦识别出第二图像目标就开始播放第二增强现实内容。
在其中主题为化学的实施例中,仪器可以是以下各项中的至少一个:试管、漏斗、镊子、滴管、烧杯、绳子、试管架、试管夹和塞子、磁铁、pH测试图、杯子、量杯、量匙、(多个)食用色素瓶、pH测试条、泡沫聚苯乙烯、放大镜以及其他化学相关的仪器,并且任务或项目可以是以下各项中的一个或多个:测试铜币、制作鸡蛋纹身、制作指南针、制作香水、混合油和水、进行肥皂小游戏、制作冰糖、制作爆发彩虹、制作粘冰以及测试pH。在其中主题为一般科学的实施例中,仪器可以是以下各项中的至少一个:塑料火山模型、滴管、杯子、量杯、量匙、烧杯、(多个)食用色素瓶、记号笔、油漆刷、胶水、镜子、滤纸、盐、垫圈、绳子、橡皮带、气球以及其他科学相关的仪器,并且任务或项目可以是以下各项中的一个或多个:制作粘泥、制作火山喷发、制作熔岩灯、制作跳舞纸、从水中提取颜色、制作彩色花、创建魔术信息、制作彩虹、制作自由基晶体以及将气体收集在气球中。
图9示出了根据本发明的另一优选实施例的示例性印刷媒体构件12。在该示例中,主题为烘焙/烹饪而不是化学。在该实施例中,印刷媒体构件12包括增强现实内容,该增强现实内容在被观看时看起来是3D的,类似于图6中示出的麦克斯韦教授48,并且增强现实内容看起来在框架41内播放。如图9中示出的,左侧页面上的图像目标40增强了麦克斯韦教授,以向用户教导关于氧化食物酶的知识。然而,右侧页面上的图像目标40增强,使得这些图像目标40看起来正在框架41内播放。例如,针对每个视频的被识别出的图像目标40可以是视频的第一帧或第一图像。在图9中,视频与制作苹果浆果碎的步骤相关。图9包括六个视频,示出了制作苹果浆果碎的六个步骤。当用户将护目镜和电话指向与步骤1相关联的图像目标40并识别出图像目标40时,将对视频进行动画化或增强,并且视频看起来在与步骤1相关联的框架41内播放。当识别出相关联的图像目标时,不同的视频与步骤中的每一个进行关联并针对步骤中的每一个播放。如本文所使用的,与麦克斯韦教授等相关联的增强现实的类型被称为三维类型的增强现实内容,因为该内容对用户而言看起来是三维的,如图6中示出的。如本文所使用的,与框架41等相关联的增强现实的类型被称为二维类型的增强现实内容,因为当内容在位于印刷媒体构件的页面上的框架内播放时,该内容对观看者而言看起来是二维的,如图9中示出的。
与每个步骤相关联的视频可以向用户演示如何使用与任务相关联的仪器。例如,如果仪器是量杯(其可能是套件随附的仪器),则主题视频可以示出某人在量杯中量出一定量的食材,并且然后将其倒入锅中(该锅可能不是套件随附的仪器)。二维类型的增强现实内容还可以包括解释步骤的音频。在另一实施例中,三维类型的增强现实内容(例如,麦克斯韦教授)可以与二维类型的增强现实内容(例如,示出任务中的步骤的视频)同时播放。例如,麦克斯韦教授可以解释框架内正在播放的视频中发生了什么。
本领域技术人员将认识到的是,任何类型的计算机可以与本发明一起使用。通常,本发明包括运行在设备18上的软件应用,该设备18可以经由网络46与服务器44通信或不与服务器44通信。网络46可以被实现为单个网络或多个网络的组合。例如,在各种实施例中,网络46可以包括互联网和/或一个或多个内联网、无线网络(例如,蜂窝、广域网(WAN)、WiFi热点、WiMax、个域网(PAN)、蓝牙等)、陆线网络和/或其他适当类型的通信网络。因此,在各种实施例中,计算设备18可以与特定链路(例如,诸如到IP(互联网协议)地址的URL(统一资源定位符)之类的链路)相关联。在一个或多个实施例中,移动设备18可以使用远程目标数据库42,或者可以将图像发送到远程服务器以用于图像目标识别。
图10是根据本公开的主题的一个实施例的适合于实现本文所讨论的一个或多个组件的计算机系统60(例如,包括内置的计算机系统的移动设备18或头戴式设备)的框图。在各种实现方式中,用户的移动设备18可以包括能够与网络通信的个人计算设备(例如,智能电话、计算平板计算机、个人计算机、膝上型计算机、PDA、蓝牙设备、密钥FOB、标记(badge)等)。在本发明的其中VR/AR组装件被实现在单个头戴式设备或HMD 14中的实施例中,HMD 14可以包括并入一副眼镜或头盔中的个人计算设备。HMD 14可以包括或实现多个硬件组件和/或软件组件,这些硬件组件和/或软件组件操作以执行根据所描述的实施例的各种方法。示例性HMD 14可以包括例如运行移动OS的独立的且联网的计算机。
计算机系统60包括总线62或其他通信机构,以用于在计算机系统60的各种组件之间传送信息数据、信号和信息。组件包括输入/输出(I/O)组件64,其处理用户动作(例如,从虚拟小键盘/键盘选择按键,选择一个或多个按钮或链接等),并且将对应的信号发送到总线62。I/O组件64还可以包括输出组件(例如,安装在用户的眼睛前方短距离处的显示介质70),以及诸如光标控件74之类的输入控件(例如,虚拟键盘、虚拟小键盘、虚拟鼠标等)。还可以包括可选的音频输入/输出组件66,以通过将音频信号转换为信息信号来允许用户使用语音输入信息。音频I/O组件66可以允许用户听到音频。收发器或网络接口68经由到网络的通信链路在计算机系统60与其他设备(例如,另一用户设备或另一网络计算设备)之间发送并接收信号。在一个实施例中,传输是无线的,但是其他传输介质和方法也可以是适用的。可以是微控制器、数字信号处理器(DSP)或其他处理组件的处理器72处理这些各种信号,例如以用于显示在计算机系统60上或经由通信链路传输到其他设备。处理器72还可以控制诸如cookie或IP地址之类的信息到其他设备的传输。
计算机系统60的组件还包括系统存储器组件76(例如,RAM)、静态存储组件78(例如,ROM)和/或磁盘驱动器80。计算机系统60由处理器72和其他组件通过执行系统存储器组件76中包含的指令的一个或多个序列来执行特定操作。逻辑可以在计算机可读介质中编码,该计算机可读介质可以指代参与向处理器72提供指令以执行的任何介质。这样的介质可以采取许多形式,包括但不限于非易失性介质、易失性介质和传输介质。在各种实现方式中,非易失性介质包括光盘或磁盘或固态驱动器;易失性介质包括动态存储器,例如,系统存储器组件76;并且传输介质包括同轴电缆、铜线和光纤,包括包含总线62的电线。在一个实施例中,逻辑被编码在非暂时性计算机可读介质中。在一个示例中,传输介质可以采取声波或光波的形式,例如,在无线电波、光学和红外数据通信期间生成的那些声波或光波。
在本公开的各种实施例中,可以通过计算机系统60来完成用于实践本公开的指令序列的执行。在本公开的各种其他实施例中,通过通信链路耦合到网络(例如,LAN、WLAN、PTSN和/或各种其他有线或无线网络,包括电信、移动和蜂窝电话网络)的多个计算机系统60可以执行指令序列以彼此协调地实践本公开。
在适用的情况下,可以使用硬件、软件、固件或其组合来实现本公开提供的各种实施例。同样在适用的情况下,在不脱离本公开的精神的情况下,可以将本文阐述的各种硬件组件、软件组件和/或固件组件组合为包括软件、固件、硬件和/或全部的复合组件。在适用的情况下,在不脱离本公开的精神的情况下,可以将本文阐述的各种硬件组件、软件组件和/或固件组件分成包括软件、固件、硬件或全部的子组件。另外地,在适用的情况下,可以预期软件组件可以被实现为硬件组件,反之亦然。在适用的情况下,本文描述的各种步骤的次序可以改变、组合为复合步骤和/或分成子步骤以提供本文描述的特征。
尽管已经描述了本公开的实施例,但是这些实施例说明了本公开但不限制本公开。还应该理解的是,本公开的实施例不应限制为这些实施例,而是本领域普通技术人员可以根据本公开的原理进行多种修改和变型,并且这些修改和变型被包括在下文要求保护的本公开的精神和范围内。
除非上下文清楚地另外要求,否则在整个说明书和权利要求书中,词语“包括”、“包含”等应以包含性意义而不是排他性或穷举性意义进行解释;即,以“包括但不限于”的意义。如本文所使用的,术语“连接”、“耦合”或其任何变型表示在两个或更多个元件之间的直接或间接的任何连接或耦合;在元件之间的连接的耦合可以是物理的、逻辑的或其组合。另外地,当在本申请中使用时,词语“本文”、“上文”、“下文”和类似含义的词语应作为整体指代本申请,而不是指代本申请的任何特定部分。在上下文允许的情况下,上文的具体实施方式中使用单数或复数的词语还可以分别包括复数或单数。引用两个或更多个项目的列表中的词语“或”涵盖该词语的以下所有解释:列表中的项目中的任一个、列表中的所有项目、以及列表中的项目的任何组合。
本公开的实施例的以上详细描述不旨在是详尽的或将教导限于上文公开的精确形式。虽然上文出于说明性目的描述了针对本公开的特定实施例和示例,但是如相关领域技术人员将认识到的,在本公开的范围内的各种等效修改是可能的。此外,本文指出的任何特定数字仅是示例:替代实现方式可以采用不同的值、测量或范围。
本文提供的本公开的教导可以应用于其他系统,不一定是上文描述的系统。可以将上文描述的各种实施例的元件和动作组合以提供进一步的实施例。本文描述或使用的任何测量仅是示例性的,并且不是对本发明的限制。可以使用其他测量。此外,本文指出的任何特定材料仅是示例:替代实现方式可以采用不同的材料。
上文提到的任何专利和申请以及其他参考文献,包括可能在所附的提交文件中列出的任何文件,均通过引用以其整体并入本文。在必要时可以修改本公开的方面以采用上文描述的各种参考文献的系统、功能和概念,以提供本公开的又一实施例。
可以根据上文的具体实施方式对本公开进行这些和其他改变。虽然以上说明书描述了本公开的某些实施例,并且描述了预期的最佳模式,但是无论上文在文本中看起来多么详细,都可以以许多方式实践教导。系统的细节在其实现方式细节上可以显著地变化,同时仍然由本文公开的主题所涵盖。如上文所指出的,在描述本公开的某些特征或方面时使用的特定术语不应被认为暗示该术语在本文被重新定义为限制于与该术语相关联的本公开的任何特定的特性、特征或方面。通常,不应将所附权利要求书中使用的术语解释为将本公开限制为说明书中公开的特定实施例,除非上文的具体实施方式部分明确定义了这样的术语。因此,本公开的实际范围不仅涵盖所公开的实施例,而且还涵盖根据权利要求书实践或实现本公开的所有等效方式。
因此,虽然已经示出并描述了本发明的示例性实施例,但是应当理解的是,本文所使用的所有术语都是描述性的而非限制性的,并且在不脱离本发明的精神和范围的情况下,本领域普通技术人员可以进行许多改变、修改和替换。
Claims (17)
1.一种参与增强现实体验的方法,所述方法包括以下步骤:
(a)获得至少包括第一图像目标的印刷媒体构件,所述第一图像目标包括第一链接的增强现实内容,
(b)获得包括移动设备固定构件的头戴式设备,
(c)获得包括在其上运行的与目标数据库通信的软件的移动设备,其中,所述移动设备包括具有相机镜头的相机,
(d)使用所述移动设备固定构件将所述移动设备固定在所述头戴式设备中,
(e)定向所述移动设备,使得所述相机镜头指向所述印刷媒体构件,其中,所述第一图像目标由所述软件识别,并且所述第一链接的增强现实内容显示在所述移动设备上,以及
(f)通过所述头戴式设备观看所述第一链接的增强现实内容。
2.根据权利要求1所述的方法,其中,所述第一链接的增强现实内容被显示在第一屏幕框架和第二屏幕框架中,其中,所述头戴式设备包括第一镜头和第二镜头,并且其中,所述步骤(f)包括通过所述第一镜头和所述第二镜头观看所述第一屏幕框架和所述第二屏幕框架。
3.根据权利要求1所述的方法,其中,所述印刷媒体构件至少包括第一页面和第二页面,其中,所述第一图像目标被设置在所述第一页面上,其中,所述第二页面包括第二图像目标,所述第二图像目标包括第二链接的增强现实内容。
4.根据权利要求1所述的方法,其中,所述印刷媒体构件和所述头戴式设备是套件的一部分,其中,所述方法还包括至少获得作为所述套件的一部分的第一仪器的步骤,并且其中,所述第一链接的增强现实内容包括引导用户利用所述第一仪器的音频。
5.根据权利要求4所述的方法,其中,所述方法还包括至少获得不作为所述套件的一部分的第二仪器的步骤,并且其中,所述第一链接的增强现实内容包括引导用户利用所述第二仪器的音频。
6.根据权利要求3所述的方法,其中,所述印刷媒体构件和所述头戴式设备是套件的一部分,其中,所述方法还包括至少获得作为所述套件的一部分的第一仪器的步骤,并且其中,所述第一链接的增强现实内容包括引导用户利用所述第一仪器的音频。
7.根据权利要求6所述的方法,其中,所述方法还包括至少获得不作为所述套件的一部分的第二仪器的步骤,并且其中,所述第二链接的增强现实内容包括引导用户利用所述第二仪器的音频。
8.根据权利要求1所述的方法,其中,所述第一链接的增强现实内容是三维类型的增强现实内容或二维类型的增强现实内容中的一种,其中,所述二维类型的增强现实内容在位于所述印刷媒体构件上的框架内增强。
9.根据权利要求3所述的方法,其中,所述第一链接的增强现实内容是三维类型的增强现实内容,并且其中,所述第二链接的增强现实内容是二维类型的增强现实内容,所述二维类型的增强现实内容在位于所述印刷媒体构件上的框架内增强。
10.一种增强现实系统,包括:
印刷媒体构件,其至少包括第一图像目标,
头戴式设备,其包括移动设备固定构件,以及
软件,其被配置为在包括具有相机镜头的相机的移动设备上运行,其中,所述软件与目标数据库进行通信,所述目标数据库包括与所述第一图像目标相关的信息,并且其中,所述软件包括与所述第一图像目标相关联的第一增强现实内容。
11.根据权利要求10所述的增强现实系统,其中,所述印刷媒体构件和所述头戴式设备是套件的一部分,其中,所述套件至少包括第一仪器和第二仪器。
12.根据权利要求11所述的增强现实系统,其中,所述第一增强现实内容包括关于第一任务的音频指令,所述第一任务包括使用所述第一仪器。
13.根据权利要求12所述的增强现实系统,其中,所述第一增强现实内容包括关于第二任务的音频指令,所述第二任务包括使用不作为所述套件的一部分的第三仪器。
14.根据权利要求13所述的增强现实系统,其中,所述印刷媒体构件包括第二图像目标,其中,所述目标数据库包括与所述第二图像目标相关的信息,其中,所述软件包括与所述第二图像目标相关联的第二增强现实内容。
15.根据权利要求14所述的增强现实系统,其中,所述第二增强现实内容包括关于第三任务的音频指令,所述第三任务包括使用所述第二仪器。
16.根据权利要求12所述的增强现实系统,其中,所述第一增强现实内容包括与所述第一任务相关的视频,所述视频在位于所述印刷媒体构件上的框架内增强。
17.根据权利要求16所述的增强现实系统,其中,所述视频包括使用所述第一仪器的演示。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762569344P | 2017-10-06 | 2017-10-06 | |
US62/569,344 | 2017-10-06 | ||
PCT/US2018/054726 WO2019071209A1 (en) | 2017-10-06 | 2018-10-05 | SYSTEM AND KIT OF INCREASED REALITY |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111344775A true CN111344775A (zh) | 2020-06-26 |
Family
ID=65992601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880073368.7A Pending CN111344775A (zh) | 2017-10-06 | 2018-10-05 | 增强现实系统和套件 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10558858B2 (zh) |
EP (1) | EP3692520A4 (zh) |
CN (1) | CN111344775A (zh) |
WO (1) | WO2019071209A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210375023A1 (en) * | 2020-06-01 | 2021-12-02 | Nvidia Corporation | Content animation using one or more neural networks |
WO2022046952A1 (en) * | 2020-08-25 | 2022-03-03 | Focke Scott | Augmented reality app and app development toolkit |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102652322A (zh) * | 2010-10-12 | 2012-08-29 | 松下电器产业株式会社 | 显示处理装置、显示方法和程序 |
CN102693347A (zh) * | 2011-03-22 | 2012-09-26 | 王鹏勃 | 基于增强现实技术的新型纸媒出版物系统 |
CN102906623A (zh) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
US20130278635A1 (en) * | 2011-08-25 | 2013-10-24 | Sartorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
JP2014021735A (ja) * | 2012-07-18 | 2014-02-03 | Bandai Co Ltd | 携帯端末装置、端末プログラム、拡張現実感システム、および衣類 |
CN103761460A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 显示设备上的用户认证 |
CN103970409A (zh) * | 2013-01-28 | 2014-08-06 | 三星电子株式会社 | 产生增强现实内容的方法和使用所述增强现实内容的终端 |
KR20160116874A (ko) * | 2015-03-31 | 2016-10-10 | 김정은 | 3d 협동화 컬러링 북 |
US20160313902A1 (en) * | 2015-04-27 | 2016-10-27 | David M. Hill | Mixed environment display of attached control elements |
CN106104361A (zh) * | 2014-02-18 | 2016-11-09 | 摩致实验室有限公司 | 与移动计算装置一起使用的头戴式显示器眼罩 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2740052A4 (en) * | 2011-08-05 | 2015-04-08 | Blackberry Ltd | SYSTEM AND METHOD FOR TEXT SEARCH AND TEXT DISPLAY FOUND IN INCREASED REALITY |
FR2985512B1 (fr) | 2012-01-05 | 2014-06-20 | Servier Lab | Procede de preparation du sel de l-arginine du perindopril |
US10509533B2 (en) | 2013-05-14 | 2019-12-17 | Qualcomm Incorporated | Systems and methods of generating augmented reality (AR) objects |
WO2015138266A1 (en) * | 2014-03-10 | 2015-09-17 | Ion Virtual Technology Corporation | Modular and convertible virtual reality headset system |
US10748339B2 (en) * | 2016-06-03 | 2020-08-18 | A Big Chunk Of Mud Llc | System and method for implementing computer-simulated reality interactions between users and publications |
-
2018
- 2018-10-05 CN CN201880073368.7A patent/CN111344775A/zh active Pending
- 2018-10-05 US US16/153,525 patent/US10558858B2/en active Active
- 2018-10-05 EP EP18865202.8A patent/EP3692520A4/en not_active Withdrawn
- 2018-10-05 WO PCT/US2018/054726 patent/WO2019071209A1/en unknown
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102906623A (zh) * | 2010-02-28 | 2013-01-30 | 奥斯特豪特集团有限公司 | 交互式头戴目镜上的本地广告内容 |
CN102652322A (zh) * | 2010-10-12 | 2012-08-29 | 松下电器产业株式会社 | 显示处理装置、显示方法和程序 |
CN102693347A (zh) * | 2011-03-22 | 2012-09-26 | 王鹏勃 | 基于增强现实技术的新型纸媒出版物系统 |
US20130278635A1 (en) * | 2011-08-25 | 2013-10-24 | Sartorius Stedim Biotech Gmbh | Assembling method, monitoring method, communication method, augmented reality system and computer program product |
JP2014021735A (ja) * | 2012-07-18 | 2014-02-03 | Bandai Co Ltd | 携帯端末装置、端末プログラム、拡張現実感システム、および衣類 |
CN103970409A (zh) * | 2013-01-28 | 2014-08-06 | 三星电子株式会社 | 产生增强现实内容的方法和使用所述增强现实内容的终端 |
CN103761460A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 显示设备上的用户认证 |
CN106104361A (zh) * | 2014-02-18 | 2016-11-09 | 摩致实验室有限公司 | 与移动计算装置一起使用的头戴式显示器眼罩 |
KR20160116874A (ko) * | 2015-03-31 | 2016-10-10 | 김정은 | 3d 협동화 컬러링 북 |
US20160313902A1 (en) * | 2015-04-27 | 2016-10-27 | David M. Hill | Mixed environment display of attached control elements |
Also Published As
Publication number | Publication date |
---|---|
EP3692520A1 (en) | 2020-08-12 |
WO2019071209A1 (en) | 2019-04-11 |
EP3692520A4 (en) | 2021-07-28 |
US20190108397A1 (en) | 2019-04-11 |
US10558858B2 (en) | 2020-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Balakrishnan et al. | Interaction of Spatial Computing In Augmented Reality | |
US10565452B2 (en) | Virtual reality system and kit | |
JP7110252B2 (ja) | 仮想および拡張現実を作成する方法およびシステム | |
CN113168007B (zh) | 用于增强现实的系统和方法 | |
US10984595B2 (en) | Method and apparatus for providing guidance in a virtual environment | |
Rampolla et al. | Augmented reality: An emerging technologies guide to AR | |
TWI581178B (zh) | 混合實境顯示器中使用者控制的真實物件的消失 | |
US9285871B2 (en) | Personal audio/visual system for providing an adaptable augmented reality environment | |
CN103064512B (zh) | 用虚拟数据使静态打印内容成为动态 | |
US9519640B2 (en) | Intelligent translations in personal see through display | |
US20130083008A1 (en) | Enriched experience using personal a/v system | |
CN108153415A (zh) | 虚拟现实语言教学交互方法和虚拟现实设备 | |
CN105378632A (zh) | 用户焦点控制的有向用户输入 | |
KR20150126938A (ko) | 증강 및 가상 현실을 위한 시스템 및 방법 | |
JP2015504616A (ja) | 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正 | |
US10558858B2 (en) | Augmented reality system and kit | |
US10430658B2 (en) | Augmented reality system and kit | |
WO2020181086A1 (en) | Augmented and virtual reality system and kit | |
EP4341779A1 (en) | Contextual visual and voice search from electronic eyewear device | |
US20230315385A1 (en) | Methods for quick message response and dictation in a three-dimensional environment | |
WO2023239663A1 (en) | Extended reality based digital assistant interactions | |
Thomas | Reconfiguring space | |
NZ792193A (en) | Sensory eyewear |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |