CN112783322A - 增强现实系统 - Google Patents

增强现实系统 Download PDF

Info

Publication number
CN112783322A
CN112783322A CN202011264696.0A CN202011264696A CN112783322A CN 112783322 A CN112783322 A CN 112783322A CN 202011264696 A CN202011264696 A CN 202011264696A CN 112783322 A CN112783322 A CN 112783322A
Authority
CN
China
Prior art keywords
signal
augmented reality
physical device
reality system
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011264696.0A
Other languages
English (en)
Inventor
R·R·希尔二世
H·沙阿
A·哈达迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spin Master Ltd
Original Assignee
Spin Master Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spin Master Ltd filed Critical Spin Master Ltd
Publication of CN112783322A publication Critical patent/CN112783322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/023Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/24Constructional details thereof, e.g. game controllers with detachable joystick handles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B11/00Transmission systems employing sonic, ultrasonic or infrasonic waves
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/803Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/28Force feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10DSTRINGED MUSICAL INSTRUMENTS; WIND MUSICAL INSTRUMENTS; ACCORDIONS OR CONCERTINAS; PERCUSSION MUSICAL INSTRUMENTS; AEOLIAN HARPS; SINGING-FLAME MUSICAL INSTRUMENTS; MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR
    • G10D13/00Percussion musical instruments; Details or accessories therefor

Abstract

提供一种增强现实系统,其包括物理装置以及增强现实应用,该物理装置可操作以由人能够检测的方式在第一状态和第二状态之间改变。该物理装置包括:信号接收器,用于接收信号;以及至少一个可控制元件,其可操作以在接收到信号后实现第一状态和第二状态之间的改变。当AR应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获物理装置的至少一个图像、生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将信号发送到物理装置,以使物理装置的至少一个可控制元件在第一状态和第二状态之间切换。

Description

增强现实系统
技术领域
本申请总体上涉及增强现实系统。
背景技术
已知提供用于智能手机和其他便携式电子设备的增强现实应用,其中将虚拟对象插入到现实环境的图像中。通过以这样的方式放置虚拟对象,来为用户提供沉浸感,即虚拟对象的一部分被现实环境的元素所遮盖,而虚拟对象的一部分遮盖现实环境的其他元素。然而,在使用增强现实应用时为用户提供增强的沉浸感将是有益的。
发明内容
在一个方面,提供一种增强现实系统,包括:物理装置,其具有:平台;至少一个支撑件,该至少一个支撑件连接到平台并在表面上支撑该平台,该至少一个支撑件是可致动的以在至少两个位置之间相对于平台运动,以使平台相对于物理装置所放置的表面运动;信号接收器,用于接收信号;以及存储在计算机可读介质上的计算机可读指令形式的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获该物理装置的至少一个图像、生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将信号发送到物理装置的信号接收器以使得至少一个支撑件运动到该至少两个位置之一。
该至少一个支撑件可包括至少两个支撑件,所述至少两个支撑件是可致动的以相对于该平台在该至少两个位置之间运动,所述至少两个支撑件中的每个是可致动的以相对于所述平台独立地运动。
该信号可以至少部分是听觉信号,并且计算设备可以包括用于发送该信号的扬声器。
该信号可以至少部分是超声音频信号。
该信号可以包括状态改变标识符,该状态改变标识符对应于将由物理装置实现的状态改变。该信号可以包括与状态改变标识符相关联的至少一个参数,用于修改将由物理装置实现的状态改变。至少一个参数可以包括用于对状态改变进行定时的定时信息。包括相同状态改变标识符的后续信号可以被发送以应对信号丢失。
当增强现实应用在计算设备上执行时,计算设备可以提供控制界面,使用户能够至少部分地控制虚拟现实对象的行为和物理装置的状态改变中的至少一个。
当用户控制虚拟现实对象的行为时,增强现实应用能够确定所引起的物理装置的状态改变,并将信号发送到物理装置以实现该状态改变。
在另一方面,提供一种增强现实系统,包括:物理装置,其具有:至少一个发光元件,用于选择性地照亮相对于所述发光元件的至少一个位置;以及具有信号接收器,用于接收信号;以及存储在计算机可读介质上的计算机可读指令形式的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备经由至少一个摄像机捕获至少一个图像、生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将信号传输到物理装置的信号接收器以使物理装置的至少一个发光元件选择性地照亮与显示屏上的虚拟现实对象的位置相邻或在虚拟现实对象的位置处的表面上的至少一个位置之一。
所述至少一个发光元件可以是至少两个发光元件,所述至少一个位置可以是至少两个位置,并且所述至少两个发光元件中的每个皆可以配置为照亮至少两个位置中单独的一个。
该表面可以由半透明材料提供,并且至少两个发光元件中的每个从表面的底侧照亮该表面。
该信号可以至少部分是听觉信号,并且计算设备可以包括用于发送信号的扬声器。该信号可以至少部分是超声音频信号。
该信号可以包括状态改变标识符,该状态改变标识符对应于将由物理装置实现的状态改变。该信号可以包括与状态改变标识符相关联的至少一个参数,用于修改将由物理装置实现的状态改变。至少一个参数可以包括用于对状态改变进行定时的定时信息。
包括相同状态改变标识符的后续信号可以被发送以应对信号丢失。
在另一方面,提供一种增强现实系统,包括:物理装置,其可操作以由人能够检测的方式在第一状态和第二状态之间改变,所述物理装置具有:用于接收信号的信号接收器;以及至少一个可控制元件,该至少一个可控制元件可操作以根据命令实现在第一状态和第二状态之间的改变;以及存储在计算机可读介质上的计算机可读指令形式的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获物理装置的至少一个图像、生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将至少第一信号和第二信号与命令一起发送到物理装置的信号接收器,该命令使得物理装置的至少一个可控制元件在第一状态和第二状态之间切换。
与第一信号和第二信号中的每个一起发送的命令可以包括用于在第一状态和第二状态之间切换的定时延迟信息,且用于第一信号的定时延迟信息和用于第二信号的定时延迟信息之间的差可以至少部分地基于第一信号的传输时间和第二信号的传输时间之差。
状态改变可以至少是机械的状态改变。物理装置可以包括至少一个可致动元件,该至少一个可致动元件联接到用于致动至少一个可致动元件的致动器,并且该信号可以指示物理装置致动至少一个可致动元件。物理装置可以包括平台,至少一个可致动元件可以包括至少一个支撑件,该至少一个支撑件连接到平台并且将平台支撑在表面上,并且致动器可以包括马达。所述至少一个支撑件可包括至少两个支撑件,所述至少两个支撑件可经由至少一个马达相对于所述平台运动,所述至少两个支撑件中的每个可相对于所述平台独立地运动。
状态改变可以至少是视觉上的状态改变。物理装置还可包括至少一个发光元件。
状态改变可以至少是听觉上的状态改变,并且其中物理装置包括扬声器。物理装置可以进一步包括打击元件,该打击元件是可致动的以撞击物理装置的另一元件和该物理装置搁置在其上的表面中的一个以产生声音。
该信号可以至少部分是听觉信号,并且计算设备可以包括用于发送信号的扬声器。该信号可以至少部分是超声音频信号。
该信号可以包括状态改变标识符,该状态改变标识符对应于将由物理装置实现的状态改变。该信号可以包括与状态改变标识符相关联的至少一个参数,用于修改将由物理装置实现的状态改变。至少一个参数可以包括用于对状态改变进行定时的定时信息。
当增强现实应用在计算设备上执行时,计算设备可以提供控制界面,使用户能够至少部分地控制虚拟现实对象的行为和物理装置的状态改变中的至少一个。当用户控制虚拟现实对象的行为时,增强现实应用可以确定所引起的物理装置的状态改变,并将信号发送到物理装置以实现该状态改变。
在又一方面,提供一种增强现实系统,包括:物理装置,其可操作以由人能够检测的方式在第一状态和第二状态之间改变,所述物理装置具有:用于接收信号的信号接收器;以及至少一个可控制元件,该至少一个可控制元件可操作以在接收到信号后实现第一状态和第二状态之间的改变;以及存储在计算机可读介质上的计算机可读指令形式的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获物理装置的至少一个图像,生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将信号发送到物理装置的信号接收器以使得物理装置的至少一个可控制元件在第一状态和第二状态之间切换。
状态改变可以至少是机械的状态改变。
物理装置可以包括至少一个可致动元件,该至少一个可致动元件联接到用于致动至少一个可致动元件的致动器,并且其中该信号指示物理装置致动至少一个可致动元件。
所述至少一个可致动元件可以包括至少一个支撑件,并且所述致动器可以包括马达,并且所述物理装置可以包括由所述至少一个支撑件支撑的平台,所述至少一个支撑件可以经由至少一个马达相对于所述平台运动。
所述至少一个支撑件可包括至少两个支撑件,所述至少两个支撑件可经由所述至少一个马达相对于所述平台运动,所述至少两个支撑件中的每个可相对于所述平台独立地运动。
该状态改变可以至少是视觉上的状态改变。
物理装置可以进一步包括至少一个发光元件。
物理装置可以进一步包括显示屏,该显示屏呈现与虚拟现实对象在显示屏上的位置相对应的图像。
该状态改变可以至少是听觉上的状态改变。
物理装置可以进一步包括扬声器。
物理装置可以进一步包括打击元件,该打击元件是可致动的以撞击物理装置的另一元件和该物理装置搁置在其上的表面中的一个以产生声音。
该信号可以至少部分是听觉信号,并且计算设备可以包括用于发送信号的扬声器。
该信号可以至少部分是超声音频信号。
该信号可以包括状态改变标识符,该状态改变标识符对应于将由物理装置实现的状态改变。
该信号可以包括与状态改变标识符相关联的至少一个参数,用于修改将由物理装置实现的状态改变。
至少一个参数可以包括用于对状态改变进行定时的定时信息。
包括相同状态改变标识符的后续信号可以被发送以应对信号丢失。
该信号和后续信号可以包括用于对状态改变进行定时的定时延迟,其中与每个后续信号一起发送的定时延迟通过在信号的发送时间与后续信号的发送时间之间的差来调整。
当增强现实应用在计算设备上执行时,计算设备可以提供控制界面,使用户能够至少部分地控制虚拟现实对象的行为和物理装置的状态改变中的至少一个。
当用户控制虚拟现实对象的行为时,增强现实应用可以确定所引起的物理装置的状态改变,并将信号发送到物理装置以实现该状态改变。
当用户控制物理装置的状态改变时,计算设备可以将与状态改变相对应的信号发送到物理装置。
计算设备可以同时控制虚拟现实对象以执行动作。
在另一方面,提供一种增强现实系统,包括:物理装置;以及存储在计算机可读介质上的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获物理装置的至少一个图像、生成被插入到显示屏上呈现的该至少一个图像中的虚拟现实对象,并且如果物理装置的状态以人能够检测的方式改变,则改变虚拟现实对象的行为。
物理装置可以具有用于与计算设备进行通信的通信设备。
该通信设备可以包括扬声器。
该通信设备可以包括发光设备。
该通信设备可以包括射频发射机。
物理装置可以包括用于确定物理装置的取向的取向传感器,该物理装置将与该取向相对应的取向数据传送给计算设备。
物理装置可以包括至少一个用于检测物理装置的运动的加速度计,该物理装置将与该运动相对应的运动数据发送给计算设备。
至少一个图像可以包括至少两个图像,并且增强现实应用可以通过将由至少一个相机捕获的至少两个图像中的第一图像与在该至少两个图像中的第二图像中的物理装置的第二姿态进行比较来确定物理装置的状态改变。
在另一方面,提供一种增强现实系统,包括:物理装置;以及存储在计算机可读介质上的增强现实应用和该物理装置的模型数据,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获物理装置的至少一个图像、将物理装置的至少一个图像与该模型数据进行比较以检测物理装置的姿态、生成被插入到显示屏上呈现的该至少一个图像中的虚拟现实对象,以及基于该模型数据和检测到的姿态遮挡虚拟现实对象的至少一部分。
在查看以下附图和描述之后,本发明的其他技术优点对于本领域技术人员而言将变得明显。
附图说明
为了更好地理解本文所述的实施例,并更清楚地示出实施例的实施方式,现在仅以举例的方式参考附图,其中:
图1示出了根据其实施例的增强现实系统,该增强现实系统包括呈笼形的形式的物理装置和呈智能手机形式的计算设备;
图2A示出了图1的计算设备的正面;
图2B示出了图2A的计算设备的背面;
图2C是示出图2A和图2B的计算设备的各种组件的示意图;
图3是图1的物理装置的控制器的示意图;
图4是图1的物理装置的前视图;
图5示出了图4的物理装置的底部中的各种组件;
图6示出了从图1的物理装置的底部右侧延伸的支撑件;
图7示出了从图1的物理装置的底部左侧延伸的支撑件;
图8示出了图1的物理装置的各种内部组件;
图9示出了位于图1的物理装置的底板下方的振动模块;
图10示出了图1的增强现实系统,其中计算设备被定位为对物理装置成像并在其中插入虚拟现实人物;
图11示出了插入有虚拟现实人物的由图1的增强现实系统捕获的图像;
图12示出了定位于物理装置左侧的虚拟现实人物,并且该物理装置向其左侧的支撑表面被压下;
图13A和图13B示出了图1的计算设备,该计算设备定位成对物理装置进行成像并使其能够与物理装置进行交互,以及通过计算设备的控制界面在笼子中捕获VR人物;
图14A至图14C示出了图1的计算设备的另一交互序列,其中用户交互打开了物理装置笼底板中的活板门,允许VR人物坠入其中;
图15示出了另一实施例中的物理装置的底部的示意图,该物理装置具有多个振动模块;
图16示出了另一实施例中的物理装置的可变形底板的示意图,该可变形底板是通过电磁体局部致动的;
图17示出了根据另一实施例的物理装置,其中LED沿着物理装置的顶部的底表面定位以选择性地照亮物理装置的底板上的一个或多个位置;
图18是根据另一实施例的物理装置的底板设计的示意图,其中LED被定位在不透明底板的下方以照亮底板上的一个或多个位置;以及
图19A和图19B示出了物理装置的一部分,其示出了处于打开位置和关闭位置的笼门。
除非另外特别指出,否则附图中描绘的物品不必按比例绘制。
参考标号列表
20 AR系统
100 物理装置
102 信号接收器
104 可控制元件
106 笼
108 杆
110 底板
111 表面
112 存储室
114 第一马达
116 第二马达
118 控制器
120 第一支撑构件
122 第二支撑构件
124 致动器
126 输出轴
128 第一臂
130 第二臂
136 支脚
118a 处理器
118b RAM
118c I/O接口
118d 通信接口
118e 非易失性存储装置
118f 总线
142 扬声器
144 加速度计
146 取向传感器
148 笼门
150 闩销构件
152 凹口
154 螺线管
156 线缆
160 下表面
162 磁响应元件
164 电磁体
166 凹陷
170 发光元件
172 照明点
190 电端口
192 指示灯
300 AR应用
302 存储装置
304 服务器系统
306 计算设备
308 因特网
310 蜂窝基站
312 触摸屏
314 扬声器
316 麦克风
318 前置摄像机
320 主页按钮
322 电源按钮
324 音量增大按钮
326 音量减小按钮
328 后置摄像机
330 闪光灯
332 处理器
334 RAM
336 I/O接口
338 通信接口
340 非易失性存储装置
342 本地总线
500 AR图像
502 VR人物
504 AR图像
SS 支撑表面
TR 点击区域
具体实施方式
为了图示的简单和清楚起见,在认为适当的情况下,可以在附图之间重复附图标记以指示相应或相似的元件。另外,阐述了许多具体细节以便提供对本文所述的一个或多个实施例的透彻理解。然而,本领域技术人员将理解,可以在没有这些具体细节的情况下实践本文描述的实施例。在其他情况下,未详细描述公知的方法、过程和组件,以免使本文所述的实施例不清楚。首先应该理解,尽管示例性实施例在附图中示出并在下文描述,但是本公开的原理可以使用任何数量的技术来实现,无论这些技术当前是否已知。本公开绝不应该限于附图中图示和以下描述的示例性实施方式和技术。
除非上下文另有指示,否则可以按照以下方式阅读和理解本说明书全文中使用的各种术语:全文中使用的“或”是包容性的,就像写成“和/或”一样;贯穿全文使用的单数冠词和代词包括其复数形式,反之亦然;类似地,性别代词包括其对应代词,因此代词不应理解为将本文所述的任何内容限制为由单一性别使用、实施、执行等;“示例性”应被理解为“说明性”或“示意性”,而不一定被理解为“优于”其他实施例。术语的进一步定义可以在本文中阐述;如从阅读本说明书将理解的,这些定义可以应用于那些术语的先前和随后的实例。
在不脱离本公开的范围的情况下,可以对本文所述的系统、装置和方法进行修改、增加或省略。例如,系统和装置的组件可以被集成或分离。此外,本文公开的系统和装置的操作可以由更多、更少或其他组件执行,并且所描述的方法可以包括更多、更少或其他步骤。另外,可以以任何合适的顺序执行步骤。如本文中所使用的,“每个”是指集合的每个成员或集合的子集的每个成员。
本文所例示的执行指令的任何模块、单元、组件、服务器、计算机、终端、引擎或设备可以包括或可以访问诸如存储介质的计算机可读介质、计算机存储介质或数据存储设备(可移动的和/或非可移动的),诸如,例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实施的易失性和非易失性、可移动的和不可移动的介质。计算机存储介质的示例包括RAM、ROM、EEPROM、闪存或其他存储技术、CD-ROM、数字多功能磁盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备,或可以用于存储所需信息并且可以由应用、模块或两者访问的任何其他介质。任何这样的计算机存储介质都可以是设备的一部分,或者可以被设备访问或连接到设备。此外,除非上下文另外明确指出,否则本文阐述的任何处理器或控制器都可以被实施为单个处理器或多个处理器。可以排列或分布多个处理器,并且即使可能以单个处理器例示,本文所指的任何处理功能也可以由一个或由多个处理器执行。可以使用计算机可读/可执行指令来实施本文描述的任何方法、应用或模块,这些指令可以由这样的计算机可读介质存储或以其他方式保存,并由一个或多个处理器执行。
在图1中示出了根据本公开的实施例的增强现实(“AR(Augmented Reality)”)系统20。AR系统20提供了比现有技术的一些增强现实系统更交互、更真实的用户体验。AR系统20包括物理装置100、AR应用300,AR应用300包括一组计算机可读指令并存储在服务器系统304的存储装置302和/或另一计算机可读介质中。还存储在智能手机形式的存储装置3A中,其通过蜂窝基站310经由因特网308或经由任何其他合适的数据通信系统与服务器系统304通信。计算设备306可以执行AR应用300以示出插入到由计算设备306捕获的一个或多个图像中的虚拟现实对象。
服务器系统304可以是一个或多个计算机系统,它们位于同一地点或在拓扑上为分布式的以服务于AR应用300。AR应用300可以具有多个版本,这些版本基于计算设备的类型、要在其上执行它们的操作系统及操作系统版本、国家等而变化。AR应用的资源可以托管在不同的计算机系统上并缓存。此外,AR应用300可以依赖在其上执行AR应用300的计算设备306上已经存在或将要检索的软件和/或功能。例如,AR应用300可以依赖形成操作系统的一部分的AR应用编程接口(“API”)。
AR应用300包括装置数据,以帮助在捕获的图像中识别物理装置100。装置数据可以包括物理装置100的一种或多种颜色、物理装置100上的基准标记的标识,和/或代表物理装置100的形状的模型数据。在替代实施例中,可以与AR应用300分开地提供装置数据以作为例如资源文件,以允许新的物理装置而不更新AR应用300。
例如,如图11和图12所示,物理装置100可操作以由人(即,由用户)能够检测的方式在第一状态(图11)和第二状态(图12)之间改变。物理装置100包括信号接收器102(图3)和至少一个可控制元件104,其可操作以在接收到信号后实现在第一状态和第二状态之间的改变。在图1所示的实施例中,至少一个可控制元件104包括笼106,该笼106配置为当经由计算设备306观看时将虚拟现实对象502保持在其中。笼106包括多个杆108和底板110。在底板110下方,笼106还包括在图8中可见的存储室112。在图8所示的实施例中,在第一状态和第二状态之间的改变是笼106的位置上的改变。为此,存储室112容纳第一马达114、第二马达116、物理装置控制器118、第一支撑构件120和第二支撑构件122。
第一马达114和第二马达116可以是任何合适类型的马达,例如伺服马达或步进马达。第一马达114和第二马达116一起构成致动器124,该致动器124用于致动笼106以使笼106在第一位置和第二位置之间运动。每个马达114、116具有输出轴126,第一支撑构件120和第二支撑构件122中的相应一个保持在其上。第一支撑构件120和第二支撑构件122中的每一个皆包括第一臂128和第二臂130,它们在枢转接头处枢转地连接在一起。第一臂128的近端安装到输出轴126。在第二臂130的远端处是一对支脚136,其将笼106支撑在支撑表面(诸如桌面)上,如SS处所示。当马达114和116旋转到不同的位置时,它们调节笼106的位置和/或倾斜角。如在图11和图12中可以看到的,马达114和116可操作以将第一支撑构件120和第二支撑构件122的第一臂128驱动到如图11所示的第一角位置以及到如图12所示的第二角位置。将理解的是,当第一臂128的角位置相同时,则笼106是水平的,当第一臂128的角位置彼此不同时,则笼106以非零倾斜角倾斜。
应当注意的是,图11和图12中所示的可控制元件104在其运动的意义上是可致动元件。至少一个可致动元件的另一示例可以包括笼门148,在图4、图7和图19A中示出其处于第一位置(打开位置),在图11、图12和图19B示出其处于第二位置(关闭位置)。如图19A和图19B中最佳示出的,笼门148可以通过闩销构件150保持在打开位置。闩销构件150可以在图19A所示的锁定位置和图19B所示的释放位置之间运动(例如,可枢转),在该锁定位置闩销构件150与笼门150上的凹口152接合以将笼门148保持在打开位置,而在释放位置闩销构件150枢转出凹口152以允许笼门148在重力的作用下关闭。可选地,可以提供偏压构件(未示出)以比仅在重力作用下所发生的关闭更快地帮助关闭笼门148。替代地,在不使用重力来关闭笼门148的实施例中,例如,在笼门148向上摆以关闭(类似于吊桥)的实施例中,或者在笼门148水平摆以关闭(类似于房屋中的典型的门)的实施例中,偏压构件本身可以是笼门148到关闭位置的唯一驱动器。
笼门148可由用户手动打开。一旦其充分打开以使凹口152呈现给闩销构件150,则闩销构件偏压构件(例如,扭力弹簧,未示出)可促使闩销构件150与凹口152接合,从而保持笼门148在打开位置。
在一些实施例中,在笼门148处于打开位置的情况下,用户可以通过在计算设备306上执行的应用来捕获虚拟现实对象502,例如在其中虚拟现实对象502是徘徊到笼106中的虚拟现实角色的实施例中。
螺线管154被示为示例致动器,其可操作以致动闩销构件150,并因此致动笼门148以从打开位置移动到关闭位置。螺线管154可以通过线缆156(或通过任何其他合适的结构)连接至闩销构件150。
关于笼门148,物理装置100的第一状态可以是其中笼门148打开的状态,而物理装置100的第二状态可以是其中笼门148关闭的状态。
现在参考图2A和图2B,计算设备306被示出为具有触摸屏312、扬声器314、麦克风316、前置摄像机318、呈主页按钮形式的硬件控件320、电源按钮322、音量增大按钮324、音量减小按钮326、一对后置摄像机328和闪光灯330。触摸屏312可以采用任何合适的用于呈现图像的显示屏,例如LCD显示屏、OLED显示屏等。触摸屏312使得能够经由用户与触摸屏312的接触来接收输入。在其他实施例中,显示屏可以是非触摸屏。计算设备306可以具有一个或多个扬声器(例如扬声器314),以及一个或多个麦克风(例如麦克风316)。可以使用主页按钮320退出应用,通过使用主页按钮320中的触摸传感器对用户进行身份验证,等等。在某些应用中,音量增大按钮324和音量减小按钮326可以具有附加和/或替代功能。后置摄像机328可以用于捕获计算设备306后面的对象(包括人)的图像。闪光灯330可以用于提供为捕获图像的附加照明,并且在某些应用中可以具有附加和/或替代功能。
图2C示出了计算设备306的各种附加组件。如图所示,计算设备306具有多个物理和逻辑组件,包括处理器332、随机存取存储器(“RAM”)334、输入/输出(“I/O”)接口336、通信接口338、非易失性存储装置340,以及使处理器332能够与其他组件通信的本地总线342。处理器332至少执行操作系统以及安装在计算设备306上的任何应用。虽然被示出并描述为具有单个处理器,但是计算设备306可以具有两个或更多个处理器,其起执行本文描述的功能的作用。RAM 334向处理器332提供相对响应迅速的易失性存储装置。I/O接口334允许从一个或多个设备(诸如主页按钮320、触摸屏312、电源按钮322、音量增大按钮324和音量减小按钮326、麦克风316、前置摄像机318和后置摄像机328、鼠标等)接收输入,并将信息输出到输出设备(例如触摸屏312和/或扬声器314)。通信接口338允许经由有线或无线通信在数据通信网络(诸如因特网308)上与其他计算设备进行通信。无线通信可以是例如经由蜂窝网络(诸如LTE)、Wi-Fi、蓝牙等。非易失性存储装置340存储操作系统和程序,包括用于实施AR应用300的计算机可执行指令。在计算设备306的操作期间,可以从非易失性存储装置340中检索操作系统、程序和数据,并将其放置在RAM 334中以便利于执行。RAM 334和非易失性存储装置340的计算机可读介质还可以包括可移动的计算机可读介质,例如闪存卡、USB驱动器等。
为了使用AR系统20,用户可以使计算设备306从服务器系统304下载并检索AR应用300。例如,这可以通过访问“应用商店”并将AR应用300下载到计算设备306来完成。在替代实施例中,可以在计算设备上预加载AR应用300。在另一替代实施例中,可以经由可移动介质(例如,闪存卡、USB驱动器等)使AR应用300可用于计算设备。
尽管本文中将参考智能手机示出和描述计算设备306,但是本领域技术人员可以想到其他类型的计算设备,其他类型的计算设备具有一个或多个摄像机、一个或多个显示屏、一个或多个通信接口、用于存储AR应用的存储装置以及用于执行下文所述的AR应用的一种或多种处理器。
物理装置控制器118在图8中示出以及在图3示意性地示出。物理装置控制器118(例如通过控制电源(诸如电池组(未显示))的功率)控制致动器124到马达114和116的操作。物理装置控制器118包括处理器118a、RAM 118b、I/O接口118c、通信接口118d和非易失性存储装置118e,它们经由总线118f彼此连接。
信号接收器102可以连接到物理装置控制器118(例如,经由I/O接口118c),使得物理装置控制器118可以从信号接收器102接收信号。在这样的实施例中,信号接收器102可以是任何合适类型的信号接收器,诸如用于从计算设备上的发光元件接收信号的光学传感器,或者用于接收由计算设备306发射的音频信号的麦克风。可替代地,信号接收器可以是通信接口118d的一部分,并且可以包括用于通过蓝牙网络从计算设备306接收信号的蓝牙芯片,或者用于通过Wi-Fi网络从计算设备306接收信号的Wi-Fi芯片。图3所示实施例中的信号接收器102是蓝牙芯片。
物理装置控制器118还连接到可选地设置的扬声器142,以允许物理装置100发出声音,从而增强用户体验的真实感。扬声器142可以用于发出声音,该声音给用户的印象是虚拟现实对象502在笼106中。物理装置控制器118可以基于经由从信号接收器118接收的信号和/或从用户与物理装置100的直接交互(例如,倾斜或敲打物理装置100,或手动移动物理装置的可移动元件)所提供的命令来控制从扬声器142的输出。
物理装置控制器118可以从加速度计144接收信号。加速度计144可以是例如与当前在智能手机中使用的加速度计相似的三轴加速度计,并且可以直接安装在物理装置控制器118上,如图3所示。加速度计144可以用于几种目的中的一个或多个。例如,加速度计144可以用于向物理装置控制器118提供输入,该输入可以被发送回计算设备306,以在物理装置被移动、倾斜、敲击的情况下帮助计算设备306确定物理装置100的瞬时位置。加速度计144的另一目的可以是为致动器124的操作提供反馈,以便为致动器124提供闭环控制。该闭环控制可以用于确保笼106的目标位置是所达到的实际位置。此外,在加速度计144指示存在问题并且笼106无法到达其预期位置的情况下(例如,由于障碍物),物理装置控制器118可以将笼106的位置通信给计算设备306,以确保正确渲染虚拟现实对象502。
物理装置控制器118可以从取向传感器146接收信号。取向传感器146可以是三轴取向传感器(例如,三轴陀螺仪),并且可以直接安装到物理装置控制器118,如图3所示。物理装置控制器118可以以与上述对于来自加速度计144的信号的使用相类似的方式来使用来自取向传感器的信号,即,用于发送回计算设备306以在物理装置被移动、倾斜、敲击的情况下帮助计算设备306确定物理装置100的瞬时取向(代替或补充上面提到的瞬时位置),或为致动器124提供闭环控制,或者作为替代,在笼106无法到达其预期取向的情况下(例如由于障碍物),将笼106的取向通信给计算设备。
一旦在计算设备306上已经安装了AR应用300或使AR应用300可用于计算设备306上执行,就可以执行AR应用300以开始使用AR系统20。
图10示出了计算设备306被定位在物理装置100的前面,使得物理装置100在后置摄像机328的视野中。如图所示,AR应用300生成经由后置摄像机328捕获的物理装置100的AR图像500,在后置摄像机328中插入为VR人物502的形式的虚拟现实(“VR”)对象。AR图像500被呈现在显示屏312上。
AR应用300分析由两个后置摄像机328捕获的至少一个图像,并确定物理装置100的姿态。物理装置100的姿态包括物理装置100的位置和取向。AR应用300使用来自后置摄像机328之一或两者的图像以及装置数据来在一个或多个图像中识别物理装置100并确定其相对于计算设备306的姿态。物理装置100的颜色、基准标记和模型数据均可以帮助在一个或多个图像中识别物理装置100。在模型数据可用于物理装置100的情况下,AR应用300可以确定一种转换,以应用于在一个或多个图像中最匹配所标识的物理装置100的模型。可替代地,来自后置摄像机328的在位置或时间上错开的两个或更多个图像均可以被用来识别景深。在使用由相同的后置摄像机328拍摄的两个图像的情况下,计算设备306在捕获第一图像和第二图像之间的姿态改变可以用于生成用于被成像的物理装置100和其他对象的深度信息。AR应用300或者使用由后置相机328捕获的一个或多个图像来生成模型数据,或者使用在转换之后用AR应用300提供的模型数据。
AR应用300配置成在物理对象100中或之上的位置范围内生成VR人物502。例如,AR应用300可以配置为以物理装置100(即笼)内的初始姿态(在默认位置)生成VR人物502,并且允许VR人物502在笼的范围内移动。使用用于物理装置100的模型数据,AR应用300可以生成VR人物502,使得它不与由模型数据表示的物理装置100相交。此外,AR应用可以基于所生成的VR人物502的视线和物理装置100的元件的位置来遮盖VR角色的一部分。
如图10所示,VR人物502位于物理装置100的中央,并且放置在其底板110上,因此不与物理装置100的任何部分相交。此外,物理模型100的杆108遮盖VR人物502,当如果人物位于物理模型100内时这将会自然发生。
在计算设备306上执行的AR应用300经由触摸屏312提供控制接口。用户可以在与物理装置100和/或VR人物502的不同部分相对应的触摸屏312的不同部分上点击、滑动或按压。在其他实施例中,一个或多个硬件控件(诸如音量增大按钮324和音量减小按钮326)可以触发某些命令,诸如与VR角色的交互或在物理装置100中的状态改变。
图11单独地示出了呈现在触摸屏312上的AR图像500。如图所示,VR角色502位于物理装置100内的中央。如先前所讨论的,在默认状态下,物理装置100经由两个支撑构件120、122被支撑在支撑表面SS上。用户可以与VR人物502进行交互的一种模式是点击触摸屏312上的区域TR。
图12示出了在用户在区域TR中已经点击触摸屏312之后的AR图像504。VR人物502被动画化以模拟在底板110上朝向物理装置100的与区域TR相邻的一侧行走。VR人物502的好奇心由其朝向区域TR的移动来表示,就好像直接点击物理装置100一样。当VR人物502即将走每一步时,AR应用300将信号中的命令与状态改变标识符和参数一起发送给物理装置100。状态改变标识符对应于特定的状态改变,并且一个或多个参数对应于状态改变的调节器。状态改变标识符和参数是预定义的,以简化计算设备306与物理装置100之间的通信。在所描述的场景中,状态改变标识符可以对应于动作“振动”,以及参数可以指示振动的强度、振动的模式、振动的时间段等。
另外,当VR人物502行进到物理装置100的左侧面时,AR应用300指示计算设备306以状态改变标识符为“旋转第一支撑构件”(即第一支撑构件120)的信号来发送命令。与该状态改变标识符一起发送的参数是第一支撑构件120的绝对旋转角度。可替代地,该参数可以是第一支撑构件120的相对旋转量。这些可以与振动信号同时发送或交错发送。
VR人物502停在VR人物502可以移动通过的位置范围的外围。由计算设备306经由在AR应用300的方向上的信号所发送的最后命令指示物理装置100旋转第一支撑构件120以将笼106倾斜到第二状态,如图12所示。这模仿了当由VR人物502模拟的物理对象行进到笼106一侧时笼106的预期行为。笼106的倾斜以及在VR人物502的脚步期间产生的振动,有助于使得笼106中的VR人物502在用户的脑海中栩栩如生。
带有命令的信号可以由执行AR应用300的计算设备306以多种方式之一来发送。在图1至图12所示的当前描述的实施例中,计算设备306通过无线射频通信系统发送信号。尽管在该特定实施例中,采用了蓝牙通信,但是可以采用其他无线射频通信系统,例如Wi-Fi或LTE。
在另一个实施例中,信号可以由计算设备306经由音频发送。AR应用300可以指示计算设备306生成编码音频信号,该编码音频信号由物理装置100的麦克风接收并被解码以提取状态改变标识符和参数。在一特定实施例中,信号是通过超声音频发送的。
在通过音频发送信号时,可能由于嘈杂的环境而导致信号丢失。因此,可能希望重新传输信号。在这种嘈杂的环境中,可能希望在物理装置100需要进行状态改变的时间之前发送信号。这些参数可用于识别状态改变的定时信息。为了避免同步计算设备306和物理装置100上的时钟,定时信息可以指示在x秒之后实现所识别的状态改变。可以调整所发送的后续音频信号中的命令参数,以将缩短的时间段反映到希望实现状态改变的时间。
在其他实施例中,信号可以经由光传输。AR应用300可以控制计算设备306的闪光灯330以经由光将编码信号传输到物理装置100上的光传感器。
在一些实施例中,可能希望同步计算设备306和物理装置100的时钟,以便用绝对时间表达定时信息。
包含命令的信号可以通过以上两种或更多种模式的组合来发送。
使用这些信号,可以进行更复杂的交互。在一个特定实施例中,VR人物502初始在物理装置100的笼106的外部。笼106的门处于打开位置,如图13A所示。VR人物502被编程设定为在笼106中进出。移动设备306的用户可以点击触摸屏312的区域TR以使笼门关闭。当用户点击区域TR时,AR应用300指示计算设备306向物理装置100发送信号。该信号包括具有状态改变标识符的命令,用于关闭笼106的门。
如果在按压区域TR时VR人物502在笼106中,则VR人物502随后被示为在笼106中被捕获,如图13B所示。
在其他实施例中,可以在触摸屏312上呈现不同的按钮,以使用户能够与VR人物502或物理装置100交互。
图14A至图14C示出了呈现在计算设备306的触摸屏312上的图像,其中,用户与控制界面的交互导致物理装置100中的物理改变并导致VR人物502的动画序列(在该实施例中图示为类人动物)。在图14A中,物理装置100的底板110被显示为是连续的。VR人物502被显示为站在连续底板110上。可以点击区域TR以使物理装置100的底板110中处于关闭状态的一组活板门506打开。
图14B示出了在点击区域TR之后呈现在计算设备306的触摸屏312上的图像。在点击区域TR时,AR应用300指示计算设备306向物理装置100发送包含命令的信号以打开底板110中的活板门。一旦物理装置100接收到信号,活板门506就被打开并由计算设备306的后置摄像机328成像,并在触摸屏312上以打开状态呈现,从而暴露出开口OP。
图14C示出了在图14B图像显示之后的很短时间呈现在计算设备306的触摸屏312上的后续图像。VR人物502已经走到开口OP上并坠入其中。
参考图15和图16示出了至少一个可致动元件的另一示例,该可致动元件在这种情况下是笼106的底板110。底板110可以由能够以选定量进行弹性变形的材料制成。如图16所示,在底板110的下表面160上定位有多个磁响应元件162,例如铁素体元件或磁体。从图15中可以看出,这些磁响应元件162可以围绕底板110以均匀的阵列布置。在替代实施例中,磁响应元件162可以围绕底板110以非均匀的方式布置。
在底板下,提供多个电磁体164,每个电磁体164被定位成面对相应的一个磁响应元件162。通过激励电磁体164(例如,在图16中标识为164a的电磁体),相应的磁响应元件162被拉向电磁体164(并且可选地与电磁体164接合)。结果,从上方观看底板的人可以在底板110中看到凹陷166,该凹陷可以向用户显示虚拟现实对象502出现在该位置。
通过沿着选定的路径顺序地激活不同的电磁体164,可以创建虚拟现实对象502在笼106中行进的外观。
替代地,代替在底板110上产生旨在由用户看到的由虚拟现实对象502的感知重量或由虚拟现实对象502在该位置采取的脚步所引起的凹陷,可以让每个电磁体164快速地被通电和断电,从而在底板110中的局部引起短暂的颤动,这可以向用户传达虚拟现实对象502已经在该位置迈出了脚步。
在图16中示出的电磁体164,其经由电管线连接到物理装置控制器118,并且这些电磁体的操作由物理装置控制器118控制,可选地基于物理装置控制器118经由信号接收器102从计算设备306接收的信号控制。
在图15至图16所示的实施例中,物理装置100的第一状态可以是底板110不受电磁体164中的任何一个干扰的状态(例如,如图15所示),第二状态可以是如图16所示的底板110由电磁体164之一产生凹陷的状态。替代地,可以确定第一状态可以是电磁体中的第一电磁体(例如,电磁体164a)在第一位置(例如,如图16所示在第一电磁体164a的正上方)引起底板110中的凹陷或扰动的状态,并且物理装置100的第二状态可以是第二电磁体(图16中的164b所示)在第二位置(例如,在第二电磁体164b的正上方)引起底板110中的凹陷或扰动的状态。
在底板110上产生凹陷或被扰动的实施例中,可以通过将松散的材料(例如,沙子或一些其他合适的松散材料的颗粒)散布在底板110上来增强由电磁体164的通电所提供的视觉干扰。
在图9所示的实施例中,示出了振动模块194,振动模块194可以由物理装置控制器118短暂地操作以模拟虚拟现实对象502采取的脚步声。例如,振动模块194可以类似于在智能手机中的振动模块。如上所述,在与底板110上的松散材料结合时,振动模块194可以特别有用。
参考图17和图18,其示出了替代实施例,其中存在至少一个可控制元件的另一示例。在该实施例中,该至少一个可控制元件不发生移动。相反,该至少一个可控制元件包括多个发光元件170,其位于底板110下方,如图18所示,并且其向上指向以从下面照亮底板110。在图17和图18所示的实施例中的底板110可以充分透射由发光元件170发射的光(即,半透明的),使得用户可以(即在底板110的上方)看到底板110的表面111上的照明。在图17和图18中的172处示出了照明点。发光元件170可以如图18所示直接安装到印刷电路板上。或者可以以任何合适的方式经由电管线连接以允许物理装置控制器118单独地控制其操作。每个发光元件170因此可以被通电以便照亮笼106的底板110的表面111的选定位置,以便向用户显示虚拟现实对象502出现在该位置。通过对连续的多个发光元件170进行通电和断电,可以产生虚拟现实对象502正在笼106中行进的外观。
在图19A和图19B、图15和图16、图17和图18所示的实施例中,状态改变至少是在视觉上的状态改变,即可以被用户在视觉上检测到。可以提供这样的实施例,其中,除了视觉上检测状态改变之外,替代地或附加地,用户可通过听觉方式检测到状态改变。例如,如图19A和图19B所示的实施例中,当笼门148移动到关闭位置且虚拟现实对象502存在于笼内部时,虚拟现实对象502(在其为虚拟现实角色的实施例中)可能发出惊讶的声音。
在一些实施例中,物理装置100包括电端口190,该电端口190充当到用于操作物理装置100的电源的连接,或者到用于为可能存在于物理装置中的板载电池组充电的电源的连接,如上所述。
在一些实施例中,物理装置100包括指示灯192,该指示灯192指示物理装置的状态,例如在允许充电的实施例中,其是打开还是关闭或正在充电。指示灯192的操作由物理装置控制器118控制。
可以以其他方式(例如Web应用)提供用于实现AR应用的计算机可执行指令。
在替代实施例中,AR应用不包括用于物理装置的装置数据。相反,AR应用可以与任意装置或对象一起使用。
尽管上面已经列举了具体的优点,但是各种实施例可以包括所列举的优点中的一些、不包括这些优点,或包括全部这些优点。
在本说明书中,术语“人物”和“角色”可互换使用。
本领域技术人员将理解,还存在更多可能的替代实施方式和修改,并且以上示例仅是一种或多种实施方式的说明。因此,本申请保护范围仅由所附权利要求书以及对其所做的任何修改所限制。

Claims (36)

1.一种增强现实系统,其特征在于,包括:
物理装置,其包括:
平台;
至少一个支撑件,该至少一个支撑件连接到平台并在表面上支撑平台,该至少一个支撑件是可致动的以在至少两个位置之间相对于平台运动,以使平台相对于物理装置所放置的表面运动;及
信号接收器,用于接收信号;以及
存储在计算机可读介质上的计算机可读指令形式的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获物理装置的至少一个图像、生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将信号发送到物理装置的信号接收器以使得至少一个支撑件运动到该至少两个位置之一。
2.根据权利要求1所述的增强现实系统,其特征在于,所述至少一个支撑件包括至少两个支撑件,所述至少两个支撑件是可致动的以相对于平台在至少两个位置之间运动,所述至少两个支撑件中的每个是可致动的以相对于所述平台独立地运动。
3.根据权利要求1所述的增强现实系统,其特征在于,所述信号至少部分是听觉信号,并且所述计算设备包括用于发送所述信号的扬声器。
4.根据权利要求3所述的增强现实系统,其特征在于,所述信号至少部分是超声音频信号。
5.根据权利要求1所述的增强现实系统,其特征在于,所述信号包括状态改变标识符,所述状态改变标识符与将由所述物理装置实现的状态改变相对应。
6.根据权利要求5所述的增强现实系统,其特征在于,所述信号包括与所述状态改变标识符相关联的至少一个参数,用于修改将由所述物理装置实现的状态改变。
7.根据权利要求6所述的增强现实系统,其特征在于,所述至少一个参数包括用于对所述状态改变进行定时的定时信息。
8.根据权利要求7所述的增强现实系统,其特征在于,包括相同状态改变标识符的后续信号被发送以应对信号丢失。
9.根据权利要求1所述的增强现实系统,其特征在于,在所述计算设备上执行所述增强现实应用时,所述计算设备提供控制界面,所述控制界面使用户能够至少部分地控制所述虚拟现实对象的行为和所述物理装置的状态改变中的至少一个。
10.根据权利要求9所述的增强现实系统,其特征在于,当用户控制所述虚拟现实对象的行为时,所述增强现实应用能够确定所引起的所述物理装置的状态改变,并且向所述物理装置发送信号以实现所述状态改变。
11.一种增强现实系统,其特征在于,包括:
物理装置,其具有至少一个发光元件以选择性地照亮相对于所述发光元件的至少一个位置,以及具有用于接收信号的信号接收器;以及
存储在计算机可读介质上的计算机可读指令形式的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备经由至少一个摄像机捕获至少一个图像、生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将信号传输至物理装置的信号接收器以使物理装置的至少一个发光元件选择性地照亮与显示屏上的虚拟现实对象的位置相邻或在虚拟现实对象的位置处的表面上的至少一个位置之一。
12.根据权利要求11所述的增强现实系统,其特征在于,所述至少一个发光元件是至少两个发光元件,其中所述至少一个位置是至少两个位置,并且其中所述至少两个发光元件中的每个皆配置为照亮至少两个位置中的单独一个。
13.根据权利要求12所述的增强现实系统,其特征在于,所述表面由半透明材料提供,并且所述至少两个发光元件中的每个从所述表面的底侧照亮所述表面。
14.根据权利要求11所述的增强现实系统,其特征在于,所述信号至少部分是听觉信号,并且所述计算设备包括用于发送所述信号的扬声器。
15.根据权利要求14所述的增强现实系统,其特征在于,所述信号至少部分是超声音频信号。
16.根据权利要求11所述的增强现实系统,其特征在于,所述信号包括状态改变标识符,所述状态改变标识符与将由所述物理装置实现的状态改变相对应。
17.根据权利要求16所述的增强现实系统,其特征在于,所述信号包括与状态改变标识符相关联的至少一个参数,用于修改将由物理装置实现的状态改变。
18.根据权利要求17所述的增强现实系统,其特征在于,所述至少一个参数包括用于对所述状态改变进行定时的定时信息。
19.根据权利要求14所述的增强现实系统,其特征在于,包括相同状态改变标识符的后续信号被发送以应对信号丢失。
20.一种增强现实系统,其特征在于,包括:
物理装置,其可操作以由人能够检测的方式在第一状态和第二状态之间改变,该物理装置具有:
信号接收器,用于接收信号;和
至少一个可控制元件,该至少一个可控制元件可操作以根据命令实现在第一状态和第二状态之间的改变;和
存储在计算机可读介质上的计算机可读指令形式的增强现实应用,该增强现实应用在由具有至少一个摄像机和显示屏的计算设备的至少一个处理器执行时,使得该计算设备捕获物理装置的至少一个图像、生成在显示屏上的该至少一个图像中呈现的虚拟现实对象,并将至少第一信号和第二信号与命令一起发送到物理装置的信号接收器,该命令使得物理装置的至少一个可控制元件在第一状态和第二状态之间切换。
21.根据权利要求20所述的增强现实系统,其特征在于,与所述第一信号和所述第二信号中的每个一起发送的命令包括用于在所述第一状态和所述第二状态之间切换的定时延迟信息,并且用于所述第一信号的定时延迟信息和用于所述第二信号的定时延迟信息之间的差至少部分地基于所述第一信号的传输时间和所述第二信号的传输时间之差。
22.根据权利要求20所述的增强现实系统,其特征在于,所述状态改变至少是机械的状态改变。
23.根据权利要求22所述的增强现实系统,其特征在于,所述物理装置包括至少一个可致动元件,所述至少一个可致动元件联接至用于致动所述至少一个可致动元件的致动器,并且所述信号能够指示所述物理装置致动所述至少一个可致动元件。
24.根据权利要求23所述的增强现实系统,其特征在于,所述物理装置包括平台,其中所述至少一个可致动元件包括至少一个支撑件,所述至少一个支撑件连接到所述平台并且将所述平台支撑在表面上,并且其中所述致动器包括马达。
25.根据权利要求24所述的增强现实系统,其特征在于,所述至少一个支撑件包括至少两个支撑件,所述至少两个支撑件经由至少一个马达能够相对于所述平台运动,所述至少两个支撑件中的每个能够相对于所述平台独立地运动。
26.根据权利要求20所述的增强现实系统,其特征在于,所述状态改变至少是视觉上的状态改变。
27.根据权利要求26所述的增强现实系统,其特征在于,所述物理装置还包括至少一个发光元件。
28.根据权利要求20所述的增强现实系统,其特征在于,所述状态改变至少是听觉上的状态改变,并且所述物理装置包括扬声器。
29.根据权利要求28所述的增强现实系统,其特征在于,所述物理装置还包括打击元件,所述打击元件是可致动的以撞击所述物理装置的另一元件和所述物理装置搁置在其上的表面中的一个以产生声音。
30.根据权利要求20所述的增强现实系统,其特征在于,所述信号至少部分是听觉信号,并且其中所述计算设备包括用于发送所述信号的扬声器。
31.根据权利要求30所述的增强现实系统,其特征在于,所述信号至少部分是超声音频信号。
32.根据权利要求20所述的增强现实系统,其特征在于,所述信号包括状态改变标识符,所述状态改变标识符与将由所述物理装置实现的状态改变相对应。
33.根据权利要求32所述的增强现实系统,其特征在于,所述信号包括与状态改变标识符相关联的至少一个参数,用于修改将由物理装置实现的状态改变。
34.根据权利要求33所述的增强现实系统,其特征在于,所述至少一个参数包括用于对所述状态改变进行定时的定时信息。
35.根据权利要求20所述的增强现实系统,其特征在于,在所述计算设备上执行所述增强现实应用时,所述计算设备提供控制界面,所述控制界面使用户能够至少部分地控制所述虚拟现实对象的行为和物理装置的状态改变中的至少一个。
36.根据权利要求35所述的增强现实系统,其特征在于,当用户控制所述虚拟现实对象的行为时,所述增强现实应用能够确定所引起的所述物理装置的状态改变,并且向所述物理装置发送信号以实现所述状态改变。
CN202011264696.0A 2019-11-11 2020-11-11 增强现实系统 Pending CN112783322A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962933967P 2019-11-11 2019-11-11
US62/933,967 2019-11-11

Publications (1)

Publication Number Publication Date
CN112783322A true CN112783322A (zh) 2021-05-11

Family

ID=75750494

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011264696.0A Pending CN112783322A (zh) 2019-11-11 2020-11-11 增强现实系统
CN202022603954.5U Active CN214384648U (zh) 2019-11-11 2020-11-11 增强现实系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202022603954.5U Active CN214384648U (zh) 2019-11-11 2020-11-11 增强现实系统

Country Status (3)

Country Link
US (2) US11195339B2 (zh)
CN (2) CN112783322A (zh)
WO (1) WO2021092679A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620795B2 (en) * 2020-03-27 2023-04-04 Snap Inc. Displaying augmented reality content in messaging application
US11960345B2 (en) 2021-05-25 2024-04-16 Samsung Electronics Co., Ltd. System and method for controlling operational modes for XR devices for performance optimization

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7878905B2 (en) * 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US9420262B1 (en) 2013-03-15 2016-08-16 Matthew Myers Gyroscopic two dimensions of freedom photography system and method
US10269180B2 (en) 2013-04-16 2019-04-23 Sony Corporation Information processing apparatus and information processing method, display apparatus and display method, and information processing system
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CA3059209A1 (en) * 2017-04-27 2018-11-01 Magic Leap, Inc. Light-emitting user input device
US20190038978A1 (en) 2017-08-01 2019-02-07 Intel Corporation Extendable platforms for transfer of data between physical objects and a virtual environment
PT3482802T (pt) 2017-11-13 2021-02-19 Vr Coaster Gmbh & Co Kg Dispositivo para a experiência de uma simulação de realidade virtual num mundo subaquático
US10496155B2 (en) * 2018-04-02 2019-12-03 Microsoft Technology Licensing, Llc Virtual reality floor mat activity region
US10857456B2 (en) 2018-12-18 2020-12-08 Wesley John Boudville Linket, esports and a theme park

Also Published As

Publication number Publication date
US20210192846A1 (en) 2021-06-24
CN214384648U (zh) 2021-10-12
US11861802B2 (en) 2024-01-02
WO2021092679A1 (en) 2021-05-20
US20220383597A1 (en) 2022-12-01
US11195339B2 (en) 2021-12-07
WO2021092679A9 (en) 2022-04-07

Similar Documents

Publication Publication Date Title
US10105594B2 (en) Wearable garments recognition and integration with an interactive gaming system
US9914057B2 (en) Immersive storytelling environment
US20180077904A1 (en) Toy and App for Remotely Viewing and Playing with a Pet
CN214384648U (zh) 增强现实系统
JP6362308B2 (ja) 触覚遠隔制御ゲームのためのシステム及び方法
CN101237915B (zh) 交互娱乐系统及其操作方法
US10702768B1 (en) Advanced gameplay system
EP2988275A1 (en) Information processing device and information processing method, display device and display method, and information processing system
US20060192852A1 (en) System, method, software arrangement and computer-accessible medium for providing audio and/or visual information
US20220233956A1 (en) Program, method, and information terminal device
JP2013220065A (ja) ペット誘導システムおよびそれを用いたペット監視システム
CN110975255A (zh) 模拟冲浪装置及模拟冲浪方法
JP2019101050A (ja) 仮想空間において楽器の演奏を支援するためのプログラム、楽器の選択を支援するためにコンピュータで実行される方法、および情報処理装置
JP6470374B1 (ja) 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置
US9959962B2 (en) Using magnetism to move a physical object proximate a base
US20220355188A1 (en) Game program, game method, and terminal device
JP2018163546A (ja) プログラミング装置及びその制御プログラム、プログラミング方法
JP2020510471A (ja) ビデオゲーム制御の方法及び装置
US20220241692A1 (en) Program, method, and terminal device
KR20220123098A (ko) 실시간 반응형 투영 미디어를 사용하는 광학 성능 캡처된 애니메이트 피규어를 위한 시스템 및 방법
US11364442B2 (en) Interactive device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination