CN103530495B - 增强现实仿真连续体 - Google Patents

增强现实仿真连续体 Download PDF

Info

Publication number
CN103530495B
CN103530495B CN201310272294.9A CN201310272294A CN103530495B CN 103530495 B CN103530495 B CN 103530495B CN 201310272294 A CN201310272294 A CN 201310272294A CN 103530495 B CN103530495 B CN 103530495B
Authority
CN
China
Prior art keywords
physical object
augmented reality
dynamic
visual scene
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310272294.9A
Other languages
English (en)
Other versions
CN103530495A (zh
Inventor
肯尼·米切尔
拉斐尔·C·霍斯泰特勒
斯泰利·克鲁斯
罗伯特·萨姆纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN103530495A publication Critical patent/CN103530495A/zh
Application granted granted Critical
Publication of CN103530495B publication Critical patent/CN103530495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了增强现实仿真连续体。描述了用于利用增强现实设备来仿真交互的技术。实施例捕捉视觉场景以供显示，其中视觉场景是利用一个或多个相机设备捕捉的。实施例仿真第一物理对象与一个或多个虚拟对象之间的动态交互。此外，渲染帧的序列以供显示，这些帧描绘所仿真的第一物理对象与一个或多个虚拟对象之间的动态交互。

Description

增强现实仿真连续体
技术领域
本发明概括而言涉及人类-计算机界面，更具体而言涉及用于在增强现实(augmented reality)设备上仿真动态交互的技术。
背景技术
自从视频游戏最初被开发出来以来，计算机图形技术已取得很大进展。相对便宜的3D图形引擎现在在只花费几百美元的手持式视频游戏、家庭视频游戏和个人计算机硬件平台上提供几乎相片般逼真的交互式游戏玩法。这些视频游戏系统通常包括手持控制器、游戏控制器或者在手持式视频游戏平台的情况下包括集成控制器。用户或玩家使用控制器来向视频游戏系统发送命令或其他指令以控制视频游戏或正在播放的其他仿真。例如，控制器可设有由用户操作的操纵器(例如操纵杆)和按钮。
许多手持游戏设备包括某种形式的相机设备，该相机设备可用于捕捉物理的真实世界场景的图像或一系列图像。捕捉到的图像随后可被显示在例如手持游戏设备的显示器上。在增强现实设备中，这些捕捉到的图像可被修改以包括额外的内容，例如虚拟对象。然而，当被拍摄的物理对象在一系列帧中移动时，这些物理对象可能看起来与插入的虚拟对象不逼真地交互(或者根本不交互)。类似地，当虚拟对象在显示的场景内移动时，虚拟对象可能不会以理想的方式与场景内示出的物理对象交互。
发明内容
实施例提供了用于利用增强现实设备来仿真交互的方法、增强现实设备和计算机可读存储介质。该方法、增强现实设备和计算机可读存储介质包括捕捉视觉场景以供显示，其中视觉场景是利用一个或多个相机设备来捕捉的。该方法、增强现实设备和计算机可读存储介质还包括仿真第一物 理对象与一个或多个虚拟对象之间的动态交互。该方法、增强现实设备和计算机可读存储介质还包括渲染(render)帧的序列以供显示，这些帧描绘所仿真的第一物理对象与一个或多个虚拟对象之间的动态交互。
附图说明
为了能够详细理解实现以上记载的方面的方式，可通过参考附图对以上简要总结的本发明的实施例进行更具体的描述。
然而，要注意，附图只图示了本发明的典型实施例，因此不应被认为限制了其范围，因为本发明可允许其他具有相同效果的实施例。
图1是示出根据这里描述的一个实施例的配置有动态仿真(dynamicssimulation)组件的增强现实设备的框图。
图2A-2B是示出根据这里描述的实施例的增强现实设备的图。
图3是示出根据这里描述的一个实施例的增强现实设备的图。
图4是示出根据这里描述的一个实施例的在增强现实设备上仿真虚拟对象和物理对象之间的交互的动态的方法的流程图。
图5是示出根据这里描述的一个实施例的配置有动态仿真组件的增强现实设备的框图。
具体实施方式
这里描述的实施例概括而言涉及用于在增强现实设备上显示内容的技术。这里使用的“增强现实设备”指的是能够显示物理真实世界环境的实时视图并同时更改所显示的该环境的视图内的元素的任何设备。这样，与显示虚拟世界的视图的虚拟现实设备不同，增强现实设备显示真实世界的视图，但利用计算机图形技术增强元素。真实世界的这个增强视图在这里可被称为“增强现实世界”或“增强现实空间”。
这种增强现实设备可包括用于捕捉真实世界环境的视图的相机设备(或多个相机设备)，并且还可包括被配置为增强所捕捉的场景的元素的计算机软件和/或硬件。例如，增强现实设备可捕捉放在桌子上的咖啡杯的一系列图像，修改该系列图像以使得咖啡杯看起来像动画卡通人物并且将 经修改的系列图像实时显示给用户。这样，当用户看着该增强现实设备时，用户看到用户所位于的物理真实世界环境的增强视图。继续上述示例，随着用户将增强现实设备的相机从不同角度指向桌子上的物理咖啡杯，用户可改为看到在增强现实设备上显示的虚拟卡通咖啡杯的不同角度。
增强现实设备的一个挑战是增强现实设备上显示的虚拟对象可能不与物理真实世界环境内的对象逼真地交互。也就是说，在虚拟对象只作为捕捉的场景内的物理对象的附加或替换被插入到捕捉的场景中的增强现实设备上，这些设备可能不会逼真地显示虚拟和物理对象之间的交互，或者考虑到由这些交互导致的动态效果。这里描述的动态(dynamics)指的是由于向对象(包括物理对象和虚拟对象两者)施加能量或力而引起的对象的运动。例如，被配置为在不执行任何动态仿真的情况下用动画卡通咖啡杯来替换物理桌子上的咖啡杯的增强现实设备可描绘出物理对象(例如用户的手)与插入的卡通咖啡杯之间的不那么逼真的交互，因为动画咖啡杯可能不会以逼真的方式对物理对象的交互作出响应。作为另一示例，将虚拟球插入到视觉场景中而不考虑虚拟球的动态的增强现实设备可能在用户看来不那么逼真，因为物理对象(例如物理球)可能看起来就只是移动穿过虚拟球(反之亦然)，而没有任何交互。
这里描述的实施例提供了用于利用增强现实设备来仿真交互的技术。例如，驻留在手持设备上的软件可接收用于显示的视觉场景。这种视觉场景可例如包括多个帧，这些帧描绘物理真实世界环境并且是利用增强现实设备的一个或多个相机捕捉的。软件还可识别该视觉场景内的物理对象。作为示例，软件可识别在捕捉的视觉场景内一个球搁在桌子上。此外，软件可识别一个或多个虚拟对象来在该场景内显示。例如，特定的增强现实设备可被配置为向场景中插入虚拟球。软件随后可仿真该视觉场景内物理对象与一个或多个虚拟对象之间的交互的动态。
例如，用户可在桌子上物理地滚动该物理球，使得在增强现实设备上显示的视觉场景中物理球看起来与虚拟球碰撞。在此情形中，增强现实设备可被配置有动态仿真组件，该组件确定在增强现实设备显示的增强现实 场景内物理球何时与虚拟球碰撞。当这发生时，动态仿真组件可利用一组动态规则来仿真虚拟球的反应并将虚拟球的反应显示在增强现实设备上。例如，响应于虚拟球与物理球碰撞，增强现实设备可描绘虚拟球滚过桌子。这样做在增强现实设备上提供了更逼真的增强现实场景，这进而又可增强用户与增强现实设备的交互。
在特定实施例中，增强现实设备上的软件可确定场景内的物理表面的一个或多个物理特性。例如，这种物理特性可包括摩擦力的度量、表面张力的度量以及物理表面的可变形性的度量。软件可被预配置有关于物理表面的一个或多个物理特性的信息。在一个实施例中，软件被配置为基于表面的其他属性确定表面的物理特性。例如，软件可确定闪亮的镜面表面表明较低的摩擦系数(例如一块冰的表面)。软件随后可使对虚拟和物理对象之间的交互的仿真部分地基于这些确定的物理特性。作为示例，虚拟的蜘蛛可在增强现实设备上被描绘为爬过具有低摩擦系数的物理表面(例如一块冰)。软件随后可调整虚拟蜘蛛的行为，使得虚拟蜘蛛看起来在其试图穿过该物理表面时打滑或甚至坠落。有利的是，这样做增强了用户的增强现实体验的逼真感。
图1是示出根据这里描述的一个实施例的配置有动态仿真组件的增强现实设备的框图。如图所示，增强现实设备100包括动态仿真组件110、(多个)相机设备120、显示设备130和加速度计140。一般地，动态仿真组件110被配置为检测所捕捉的真实世界环境的场景内的物理对象与虚拟对象之间的交互并且仿真这些交互的动态以改善增强现实场景在被显示(例如显示在显示设备130上)时的逼真感。相机设备120可包括用于捕捉视觉场景的相机。这里使用的“视觉场景”指的是在其中使用设备100的真实世界环境的(一个或多个)视图。例如，视觉场景可以是真实世界环境的一系列图像(这里也称为“帧”)。相机设备120还可包括一个或多个面向用户的相机。一般地，加速度计140是能够测量增强现实设备100的物理(或固有)加速度的设备。
如上所述，动态仿真组件110可被配置为仿真在增强现实设备100上显示的增强现实场景内的物理对象与虚拟对象之间的交互。在这样做时， 动态仿真组件110可识别捕捉的视觉场景内的物理对象。例如，动态仿真组件110可被配置为识别捕捉的视觉场景内的某些预定的对象。作为示例，动态仿真组件110可被预配置为基于物理对象的特定特性(例如形状、颜色、图案等等)识别视觉场景内的特定物理对象(例如球)。
在一个实施例中，动态仿真组件110还被配置为估计物理对象在捕捉的视觉场景内的深度。也就是说，虽然捕捉的视觉场景可由多个二维帧构成，但这些二维帧表示三维空间(例如，增强设备所位于的物理环境)。这样，动态仿真组件110可分析捕捉的视觉场景以便确定物理对象在三维空间内的深度。例如，动态仿真组件110可被配置为基于对象的几何信息来识别某些预定的物理对象。这种几何信息可例如包括预定的物理对象的形状和大小，从而允许动态仿真组件110将场景中的对象与可用的几何信息相比较。动态仿真组件110可使用几何信息来确定物理对象在视觉场景内的深度。作为示例，假定几何信息表明特定球的直径为3英寸，而视觉场景包括该类球的两个实例，其中第一实例是利用视觉场景的10个像素示出的，第二实例是利用视觉场景的50个像素示出的。在这种示例中，动态仿真组件110可确定球的第一实例比球的第二实例更远离相机，因为几何信息表明两个物理球是相同大小的，但第一实例是利用比第二实例更少的像素来表示的。
当在场景内识别出物理对象时，动态仿真组件110可观察该物理对象随着时间的运动或移动(如果有的话)。在一个实施例中，动态仿真组件110被配置为确定物理对象的速度。例如，动态仿真组件110可在构成视觉场景的多个捕捉到的帧中监视物理对象，并且可确定物理对象的速度和轨迹。
此外，动态仿真组件110识别一个或多个虚拟对象来包括在(例如利用显示器130)显示在增强现实设备100上的视觉场景中。作为示例，动态仿真组件110可确定在视觉场景内显示虚拟球。当然，这种示例不是限制性的，而只是出于举例说明目的提供的，更一般而言虚拟对象可以是能够被显示在视觉场景内的任何虚拟对象。此外，动态仿真组件110可被配置为识别虚拟对象的动态属性和运动学特性，例如速度、虚拟对象的速 度、虚拟对象，等等。
动态仿真组件110随后确定在视觉场景内的物理对象与一个或多个虚拟对象之间何时发生交互。一般而言，当在增强现实设备100上显示的场景所表示的三维增强现实空间内，物理对象和(一个或多个)虚拟对象相互接触或者以其他方式相互施加力时，交互发生。例如，当在三维增强现实空间内物理球和虚拟球相互碰撞时，可以说这两个球交互。作为另一示例，在虚拟动物被显示为站在物理桌面上的实施例中，用户可通过将其手部移动到桌面上描绘虚拟动物的位置中来与虚拟动物交互。作为又一示例，虚拟球可被渲染为滚下桌子，其中球的速率模仿可作用在滚下桌子的物理球上的实际重力。
在一个实施例中，动态仿真组件110确定物理对象在由捕捉的视觉场景表示的三维空间内的深度(例如利用物理对象的预定几何信息)并且还确定虚拟对象在三维增强现实空间内的深度(即三维位置)。动态仿真组件110随后可使用深度值来渲染描绘虚拟和物理对象之间的更逼真交互的动画。例如，如果第一对象在三维空间内比第二对象更靠近相机，则第一对象可以就只是遮蔽第二对象，而不是与第二对象碰撞。换言之，动态仿真组件110可使用深度信息以便考虑三维空间的所有三个轴。
在确定在物理对象与一个或多个虚拟对象之间已发生了交互后，动态仿真组件110可执行动态仿真以对对象之间的交互建模。例如，在物理球与虚拟球碰撞的实施例中，动态仿真组件110可被配置为以仿真与物理球的逼真碰撞的方式来移动虚拟球。作为示例，动态仿真组件110可向虚拟球应用对真实世界物理学建模的一组动态规则以便计算由于与物理球的碰撞而施加到虚拟球的虚拟力，并且动态仿真组件110还可应用这些规则以便确定虚拟力对虚拟球的效果。虽然在一个实施例中这些动态规则对物理学的真实世界规则建模，但其广泛地设想了其他动态系统(例如低重力、无重力，等等)。
在特定实施例中，在检测到物理对象与一个或多个虚拟对象之间的交互之后，动态仿真组件110可在真实世界中向物理对象施加力以便仿真在增强现实世界中与虚拟对象的交互。例如，物理对象可以是在能够由表面 控制器操纵的受控表面上滚动的球。响应于检测到物理和虚拟对象之间的交互，动态仿真组件110可向控制器发送消息以经由受控表面向物理球施加力(例如，利用表面内的转子、表面和/或球内的磁铁，等等)。在一个实施例中，物理对象本身被配置为响应于请求而操纵其自己的运动。例如，物理球可被配置有能够更改球的运动的陀螺仪。在这种实施例中，动态仿真组件110例如可以检测物理球何时与增强现实空间内的虚拟对象碰撞，并且可向物理球内的控制器发送信号，指示控制器激活陀螺仪并更改物理球的轨迹。结果，通过增强现实设备100观看物理球的用户可感知到物理球与虚拟球交互，从而为用户产生更逼真的增强现实体验。
图2A-2B提供了示出根据这里描述的实施例的增强现实设备的示例。图2A示出了场景200，场景200包括桌子215，在桌子215上物理球225从起始点220起滚动，场景200还包括具有显示器210的增强现实设备100。如图所示，增强现实设备100的显示器210示出了物理球225的虚拟表示216，以及起始点220的起始位置虚拟表示212。此外，显示器210示出了虚拟球218，具有起始点214。
在场景200中，当物理球225从其起始点220起滚动时，虚拟表示216本来在显示器210上其起始位置212处是静止的。然而，在交点222处，虚拟表示216在虚拟球的起始位置214与虚拟球218碰撞。在检测到虚拟表示216与虚拟球218之间的碰撞时，动态仿真组件110可调整虚拟球218的运动以仿真虚拟表示216与虚拟球218之间的交互的动态。从而，在此示例中，动态仿真组件110确定虚拟表示216和虚拟球218在交点222处碰撞，并且作为响应，向虚拟球218施加虚拟力，使得虚拟球218从其起始位置214起滚动。这样做可增强用户与增强现实设备100的交互，例如通过使得在增强现实设备100上虚拟对象(例如虚拟球218)能够与物理对象的虚拟表示(例如虚拟表示216)逼真地交互。
在一个实施例中，动态仿真组件110被配置为对增强现实世界施加限定动态交互的一组动态规则。在一个实施例中，该组动态规则向增强现实世界内的对象应用真实世界物理学。然而，这种示例只是用于举例说明目的的，而没有限制性，并且更一般而言设想到动态仿真组件110可被配置为向增强现实世界中的交互施加任何一组动态规则(例如低重力物理学)。
图2B示出了物理对象(及其虚拟表示)与虚拟对象交互的另一示例。更具体而言，图2B示出了场景240，场景240包括桌子215，在桌子215上物理球230从其起始点220起滚动，在点235处更改了其路线。此外，场景240包括具有显示设备210的增强现实设备100。显示设备210示出了物理球230的虚拟表示265和虚拟球260。这里，虚拟表示265已从起始位置250起滚动，起始位置250对应于物理球230的起始位置220，并且虚拟表示265已在交点255处与虚拟球碰撞。
在检测到虚拟表示265与虚拟球260之间的碰撞后，动态仿真组件110执行动态仿真以对该碰撞建模，使得虚拟球260从其起始点245起滚动。也就是说，动态仿真组件110确定在交点255处发生的碰撞在虚拟球260上施加了虚拟力，这使得虚拟球260从其原始起始位置245起滚动。此外，动态仿真组件110确定作为碰撞的结果，虚拟球260进而在虚拟表示265上施加了虚拟力。如上所述，动态仿真组件110可被配置为利用例如受控表面(例如桌子215)内的转子、物理对象内的陀螺仪、受控表面和/或物理对象内的磁铁等等，来更改物理对象(例如物理球230)的运动。更一般而言，广泛设想到动态仿真组件110可使用与这里描述的功能相符的用于更改物理对象的运动的任何机制。
返回到所描绘的示例，动态仿真组件110向物理球230施加了虚拟力，从而在交点235处更改了物理球的轨迹(并进而在交点255处更改了虚拟表示的轨迹)。有利的是，这样做通过产生动态连续体(continuum)而为增强现实设备100的用户提供了更强的增强现实体验，在该动态连续体中虚拟对象可影响在增强现实设备上示出的真实世界对象的动态，反之亦然。
此外，动态仿真组件110可被配置为仿真作为两个物理对象之间的交互(例如碰撞)的结果而施加到虚拟对象上的动态。例如，动态仿真组件110可被配置为调整增强现实空间内的虚拟人物的动作，使得虚拟人物对物理的真实世界对象的运动作出逼真的反应。这的一个示例在图3中示，图3是示出根据这里描述的一个实施例的增强现实设备的图。更具体而言，场景300包括桌子215和具有显示器210的增强现实设备100。这里，第一物理球325和第二物理球330被示为已从其各自的起始位置305和310起滚过桌子215。对于此示例而言，假定物理球325原本在起始位置305处静止，而球330从其起始位置310起开始运动，在交点320处与静止的第一球325碰撞。作为碰撞的结果，物理球325从其起始位置305滚动到其当前位置，而球330继续滚动，但在在其图示位置处停下来之前更改了其轨迹。
此碰撞也在增强现实设备100的显示器210上被示出，其中第一物理球325的虚拟表示360和第二物理球330的虚拟表示365被示为从其各自的起始位置345和340滚过桌子。这里，虚拟表示360原本在起始位置345处静止，而虚拟表示365从其起始位置340起开始运动，在交点355处与静止的虚拟表示360碰撞。作为碰撞的结果，虚拟表示360从其起始位置345滚动到其当前位置，而虚拟表示365继续滚动，但在在其图示位置处停下来之前更改了其轨迹。
此外，增强现实设备100的显示器210包括虚拟人物370，其具有原始位置350。从而，对于当前示例而言，假定虚拟人物370在处于其起始位置345的虚拟表示360的顶上保持平衡，如起始位置350所示。然而，当虚拟表示360与虚拟表示365碰撞时，图示实施例中的动态仿真组件110确定所导致的虚拟表示360的运动太快，以至于虚拟人物370不能在虚拟表示360上保持其平衡。结果，虚拟人物370从其起始位置350坠落，在图示位置处停下来。
通过监视增强现实设备的显示器210上示出的真实世界对象的运动并仿真增强现实空间内真实世界对象与虚拟对象之间的交互的动态，实施例可为用户产生更有沉浸感且更逼真的增强现实体验。例如，继续上述示例，用户可在增强现实设备100前虚拟人物370所位于的位置处伸出他或她的手，并且动态仿真组件110可更改虚拟人物的动作以仿真人物370与用户的手之间的交互的动态。例如，一旦虚拟人物370从虚拟表示360上落下，用户则可使用其手来将虚拟人物370捡回去，并且将虚拟人物370 放回到球325的表示360顶上。有利的是，这样做帮助为增强现实设备的用户产生了有沉浸感的体验，其中用户可与设备上示出的虚拟对象和人物实时交互并且虚拟对象和人物将相应地对与用户的交互作出响应。
要注意，动态仿真组件110可被配置为当仿真虚拟人物370与增强现实场景的物理和虚拟对象的交互时对一组基于物理学的规则建模。例如，所仿真的每个人物的手臂、腿和关节的行为可考虑到重力或任何其他外部脉冲力的存在。有利的是，这样做提供了增强现实环境中虚拟人物和对象之间的更逼真交互。此外，虽然这里提供的各种示例使用真实世界物理学，但广泛地设想了增强现实世界可使用其他物理学规则。例如，动态仿真组件110可被配置为利用相对于真实世界更低的重力系数来仿真增强现实世界内虚拟人物和对象之间的交互。更一般地，实施例可被配置为使用与这里描述的功能相符的任何基于物理学的规则。
图4是示出根据一个实施例的在增强现实设备上仿真虚拟对象和物理对象之间的交互的动态的方法的流程图。如图所示，方法400开始于步骤410，在该步骤中增强现实设备捕捉场景。如上所述，视觉场景可以是利用增强现实设备的相机捕捉的一系列帧(即，图像)。动态仿真组件110随后识别场景内的物理对象(步骤415)。例如，动态仿真组件110可被配置为基于对象的预定特性来识别某些对象。这样的特性可包括但不限于对象的颜色、形状、纹理等等。
在图示实施例中，动态仿真组件110识别要显示在视觉场景内的一个或多个虚拟对象(步骤420)。当然，虽然以上论述的参考示例涉及虚拟球和虚拟人物，但这种示例是没有限制地、出于举例说明的目的提供的。另外，广泛设想了这里描述的实施例可结合任何能够被插入到视觉场景中并被显示在增强现实设备上的虚拟对象使用。
对于每个识别出的物理对象，动态仿真组件110确定相应的速度(即速度和轨迹)(步骤430)。例如，动态仿真组件110可存储描述特定物理对象的几何特性的几何信息，这些几何特性例如是其真实世界物理尺寸。动态仿真组件110可使用此几何信息来确定所识别的物理对象在视觉场景内的深度。此外，此信息可用于确定这些对象的真实世界速度(例如通过监视对象在一系列帧中的位置)。
如图所示，动态仿真组件110使用此速度信息来对物理对象中的一个或多个与虚拟对象中的一个或多个相交互的动态建模(步骤435)。例如，当仿真组件110确定在增强现实空间内物理球与虚拟球碰撞时，其可使用物理球的行进速度来确定要施加到虚拟球的虚拟力的量。此虚拟力信息随后可用于更改虚拟球的运动(例如使得虚拟球由于与物理球的碰撞而滚离)
此外，在此示例中，动态仿真组件110还可调整至少一个物理对象的路径以仿真物理对象与虚拟对象中的至少一个相交互(步骤440)。例如，动态仿真组件110可向物理对象内的控制器发送消息，指示物理对象由于与虚拟对象的碰撞而在特定方向上移动。作为另一示例，动态仿真组件110可向与物理对象所位于的表面相关联的控制器发送消息，指示该表面由于该碰撞而更改物理对象的运动(例如，利用该表面和/或物理对象内的磁铁)。当然，这种示例是没有限制地、仅出于举例说明的目的提供的，并且更一般地，广泛设想了可以使用与这里描述的功能相符的用于更改物理对象的运动的任何机制。
如上所述，在一个实施例中，动态仿真组件110可确定场景内的物理表面的一个或多个物理特性。这种物理特性可包括但不限于物理表面的摩擦力的度量、表面张力的度量以及可变形性的度量。动态仿真组件110可被预配置有关于物理表面的一个或多个物理特性的信息。例如，动态仿真组件110可识别场景内的表面的类型，然后可访问关于所识别的表面的预配置的物理特性信息。在一个实施例中，动态仿真组件110被配置为基于表面的其他属性来确定表面的物理特性。例如，动态仿真组件110可确定闪亮的镜面表面表明较低的摩擦系数(例如一块冰的表面)。动态仿真组件110随后可使对虚拟和物理对象之间的交互的仿真部分地基于这些所确定的物理特性。例如，如上所述，虚拟的蜘蛛可在增强现实设备上被描绘为爬过具有低摩擦系数的物理表面(例如一块冰)。动态仿真组件110可调整虚拟蜘蛛的行为，使得虚拟蜘蛛看起来在其试图穿过该物理表面时打滑或甚至坠落。有利的是，这样做增强了用户的增强现实体验的逼真感。
在步骤445，动态仿真组件110在增强现实设备上渲染视觉场景的帧，这些帧考虑到了所建模的在场景中存在的虚拟对象和物理对象之间的交互。有利的是，实施例帮助为增强现实设备的用户产尘了更逼真的增强现实体验。这进而又为用户产生了更有沉浸感的体验，因为用户可使用物理对象(例如用户的手)来与增强现实设备上显示的虚拟对象交互。
图5是示出根据这里描述的一个实施例的配置有动态仿真组件的增强现实设备的框图。在此示例中，增强现实设备100包括但不限于处理器500、存储装置505、存储器510、I/O设备520、网络接口525、相机设备120、显示设备130和加速度计设备140。一般地，处理器500取回并执行存储在存储器510中的编程指令。处理器500被包括来代表单个CPU、多个CPU、具有多个处理核心的单个CPU、具有多个执行路径的GPU，等等。存储器510一般被包括来代表随机访问存储器。网络接口525使得增强现实设备100能够连接到数据通信网络(例如有线以太网连接或802.11无线网络)。另外，虽然图示实施例示出了特定的增强现实设备100的组件，但本领域的普通技术人员将认识到增强现实设备可使用多种不同的硬件体系结构。另外，明确地设想了本发明的实施例可利用能够执行这里描述的功能的任何设备或计算机系统来实现。
存储器510表示任何足够大到保存必要的程序和数据结构的存储器。存储器510可以是一个存储器设备或存储器设备的组合，包括随机访问存储器、非易失性或备用存储器(例如可编程或闪速存储器、只读存储器，等等)。此外，存储器510和存储装置505可被认为包括物理上位于别处的存储器；例如，位于通信地耦合到增强现实设备100的另一计算机上。例如，存储器510包括动态仿真组件110和操作系统515。操作系统515一般控制增强现实设备100上的应用程序的执行。操作系统515的示例包括UNIX、Microsoft操作系统的某个版本以及操作系统的各发行版。(注意，Linux是Linux Torvalds在美国和其他国家的商标)。操作系统515的另外的示例包括用于游戏控制台的定制操作系统，包括用于诸如Nintendo和Sony之类的系统的定制操作系统。
I/O设备520表示各种各样的输入和输出设备，包括显示器、键盘、 触摸屏，等等。例如，I/O设备520可包括用于提供用户界面的显示设备。作为示例，显示器可提供允许用户选择不同应用和应用内的选项(例如选择和控制虚拟对象)的触敏表面。此外，I/O设备520可包括一组按钮、开关或用于控制增强现实设备100的其他物理设备机构。例如，I/O设备520可包括用于控制利用增强现实设备100玩的视频游戏的各方面的一组方向按钮。
一般地，动态仿真组件110控制由增强现实设备100(例如利用显示器130)显示的虚拟对象与设备100外部的物理对象(例如利用相机120拍摄的物理球)之间的交互。动态仿真组件110可接收用于显示的视觉场景。例如，视觉场景可以是利用增强现实设备100的相机120捕捉的一系列帧。动态仿真组件110可识别视觉场景内的一个或多个物理对象，并且还可识别要显示在视觉场景内的一个或多个虚拟对象。动态仿真组件110还可监视物理对象和虚拟对象的运动以确定对象何时与彼此交互。动态仿真组件110随后可在视觉场景内仿真物理对象与一个或多个虚拟对象之间的交互的动态。随后可利用显示器130来显示此仿真的输出。有利的是，这样做通过允许物理对象与增强现实设备100上显示的虚拟对象交互以及反之，而帮助提供了更逼真且更有沉浸感的增强现实体验。
在前文中，述及了本发明的实施例。然而，本发明不限于所描述的具体实施例。而是以下特征和元素的任何组合，无论其是否与不同实施例相关，都被设想到来实现和实践本发明。另外，虽然本发明的实施例可实现优于其他可能的解决方案和/或优于现有技术的优点，但给定的实施例是否实现特定的优点并不对本发明构成限制。从而，前述方面、特征、实施例和优点只是举例说明性的，而不被认为是所附权利要求的元素或限制，除非在(一个或多个)权利要求中明确记载。类似地，提及“本发明”应当被解释为对这里公开的任何发明内容的概括，而不应被认为为是所附权利要求的元素或限制，除非在(一个或多个)权利要求中明确记载。
本发明的各方面可被实现为系统、方法或计算机程序产品。因此，本发明的各方面可采取完全硬件的实施例、完全软件的实施例(包括固件、驻留的软件、微代码等等)或者组合了在这里都可概括称为“电路”、 “模块”或“系统”的软件和硬件方面的实施例的形式。另外，本发明的各方面可采取包含在其上包含有计算机可读程序代码的一个或多个计算机可读介质中的计算机程序产品的形式。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以例如是但不限于是电子、磁、光、电磁、红外或半导体系统、装置或设备，或者前述的任何适当组合。计算机可读存储介质的更具体示例(非穷举列表)将包括以下的：具有一条或多条导线的电连接、便携式计算机盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式致密盘只读存储器(CD-ROM)、光存储设备、磁存储设备，或者前述的任何适当组合。在本文档的上下文中，计算机可读存储介质可以是可包含或存储程序来供指令执行系统、装置或设备使用或者联系指令执行系统、装置或设备来使用的任何有形介质。
计算机可读信号介质可包括其中包含有计算机可读程序代码的传播数据信号，例如在基带中或作为载波的一部分。这种传播的信号可采取多种形式中的任何一种，包括但不限于电磁、光或其任何适当组合。计算机可读信号介质可以是任何如下计算机可读介质：其不是计算机可读存储介质，并且能够传达、传播或传输程序来供指令执行系统、装置或设备使用或者联系指令执行系统、装置或设备使用。
包含在计算机可读介质上的程序代码可利用任何适当的介质来传送，包括但不限于无线、有线、光纤线缆、RF等等，或者前述的任何适当组合。
用于执行本发明的各方面的操作的计算机程序代码可用一个或多个编程语言的任何组合来编写，包括面向对象的编程语言，例如Java、Smalltalk、C++等等，以及传统的过程式编程语言，例如“C”编程语言或类似的编程语言。程序代码可完全在用户的计算机上执行，部分在用户的计算机上执行，或者作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后 一种情形中，远程计算机可通过任何类型的网络连接到用户的计算机，网络包括局域网(LAN)或广域网(WAN)，或者可连接到外部计算机(例如利用因特网服务提供商通过因特网)。
以上参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图示和/或框图描述了本发明的各方面。将会理解，流程图示和/或框图的每个方块以及流程图示和/或框图中的方块的组合可由计算机程序指令来实现。这些计算机程序指令可被提供到通用计算机、专用计算机或者其他可编程数据处理装置的处理器以产生机器，以使得经由计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现流程图和/或框图的一个或多个方块中指定的功能/动作的装置。
这些计算机程序指令也可被存储在计一算机可读介质中，其可指导计算机、其他可编程数据处理装置或其他设备以特定的方式工作，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图的一个或多个方块中指定的功能/动作的指令的制品。
计算机程序指令也可被加载到计算机、其他可编程数据处理装置或其他设备上以使得一系列操作步骤在计算机、其他可编程装置或其他设备上被执行以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个方块中指定的功能/动作的过程。
本发明的实施例可通过云计算基础设施被提供给术端用户。云计算一般指的是通过网络作为服务提供可伸缩的计算资源。更正式地说，云计算可被定义为一种计算能力，其提供计算资源和其下层技术体系结构(例如服务器、存储装置、网络)之间的抽象，使能了对可配置的计算资源的共享池的方便且按需的网络访问，这些资源可被迅速地配设和发布，只需要最低限度的管理工作或服务提供商交互。从而，云计算允许了用户访问“云”中的虚拟计算资源(例如存储、数据、应用以及甚至完全虚拟化的计算系统)，而不考虑用于提供计算资源的下层物理系统(或这些系统的位置)。
通常，云计算资源是以按使用付费的方式被提供给用户的，其中仅就 实际使用的计算资源(例如用户消耗的存储空间的量或用户实例化的虚拟化系统的数目)对用户收费。用户可在任何时间从因特网上的任何地方访问驻留在云中的任何资源。在本发明的上下文中，用户可访问云中可用的几何数据。例如，动态仿真组件110可在由用户操作的增强现实设备100上执行并且可收集与用户的当前环境有关的几何信息(例如用户的当前环境内的物理对象的尺寸)。在这种情况下，动态仿真组件110可将收集的数据发送到云中的计算系统以便存储。当用户再次返回到相同的环境时，动态仿真组件110可查询云中的计算机系统以取回几何数据，并且随后可将取回的数据用于执行用户的物理环境中的物理对象与增强现实设备100上显示的虚拟对象之间的动态仿真。例如，动态仿真组件110可使用几何信息来确定所捕捉的视觉场景内的物理对象的深度。这样做允许了用户从附接到与云相连的网络(例如因特网)的任何设备或计算机系统访问此信息。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的体系结构、功能和操作。在这一点上，流程图或框图中的每个方块可表示代码的模块、片段或部分，其中包括一个或多个可执行指令用于实现指定的(一个或多个)逻辑功能。在一些替换实现方式中，方块中记述的功能可不按图中记述的顺序发生。例如，相继示出的两个方块实际上可基本上同时被执行，或者方块有时可按相反的顺序被执行，这取决于所涉及的功能。框图和/或流程图示的每个方块以及框图和/或流程图示中的方块的组合可由执行指定的功能或动作的专用的基于硬件的系统或者专用的硬件和计算机指令的组合来实现。
虽然以上涉及本发明的实施例，但可设计本发明的其他和另外的实施例，而不脱离其基本范围，并且其范围由所附权利要求来确定。

Claims (18)

1.一种用于利用增强现实设备来仿真交互的方法，包括：
捕捉视觉场景以供显示，其中所述视觉场景包括第一物理对象并且所述视觉场景是利用一个或多个相机设备来捕捉的；
通过所述增强现实设备的一个或多个计算机处理器的操作，仿真所述第一物理对象与一个或多个虚拟对象之间的动态交互；以及
渲染帧的序列以供显示，所述帧描绘所仿真的所述第一物理对象与所述一个或多个虚拟对象之间的动态交互；
基于所仿真的所述视觉场景内所述第一物理对象和所述一个或多个虚拟对象之间的动态交互，向控制设备发送指示使用与所述第一物理对象相关联的执行机构在物理环境内移动所述第一物理对象的方向的指令。
2.如权利要求1所述的方法，还包括：
识别所述第一物理对象的预定几何信息，其中所述预定几何信息至少包括所述第一物理对象的大小的度量；以及
基于所识别的预定几何信息，估计所述第一物理对象在所述视觉场景内的深度度量，
其中，对所述动态交互的仿真还基于所估计的所述第一物理对象的深度度量。
3.如权利要求1所述的方法，还包括：
监视所述第一物理对象在所述视觉场景内的运动；以及
基于所监视的运动，估计所述第一物理对象的速度。
4.如权利要求3所述的方法，还包括：
确定要显示在所述视觉场景内的所述一个或多个虚拟对象的速度，
其中，动态仿真还基于所估计的所述第一物理对象的速度和所确定的所述一个或多个虚拟对象的速度。
5.如权利要求1所述的方法，其中，仿真所述第一物理对象与所述一个或多个虚拟对象之间的动态交互还基于一组动态规则，该组动态规则限定在所述增强现实设备上显示的视觉场景的动态交互。
6.如权利要求1所述的方法，其中，仿真所述第一物理对象与一个或多个虚拟对象之间的动态交互还包括：
确定所述第一物理对象的一个或多个特性；以及
基于所确定的一个或多个特性，作为所述动态交互的一部分，调整所述一个或多个虚拟对象的行为。
7.一种增强现实设备，包括：
处理器；以及
包含程序的存储器，所述程序当被所述处理器执行时执行用于利用增强现实设备来仿真交互的操作，包括：
捕捉视觉场景以供显示，其中所述视觉场景是利用一个或多个相机设备来捕捉的；
仿真第一物理对象与一个或多个虚拟对象之间的动态交互；以及
渲染帧的序列以供显示，所述帧描绘所仿真的所述第一物理对象与所述一个或多个虚拟对象之间的动态交互；
基于所仿真的所述视觉场景内所述第一物理对象和所述一个或多个虚拟对象之间的动态交互，向控制设备发送指示使用与所述第一物理对象相关联的执行机构在物理环境内移动所述第一物理对象的方向的指令。
8.如权利要求7所述的增强现实设备，所述操作还包括：
识别所述第一物理对象的预定几何信息，其中所述预定几何信息至少包括所述第一物理对象的大小的度量；以及
基于所识别的预定几何信息，估计所述第一物理对象在所述视觉场景内的深度度量，
其中，对所述动态交互的仿真还基于所估计的所述第一物理对象的深度度量。
9.如权利要求7所述的增强现实设备，还包括：
监视所述第一物理对象在所述视觉场景内的运动；以及
基于所监视的运动，估计所述第一物理对象的速度。
10.如权利要求9所述的增强现实设备，还包括：
确定要显示在所述视觉场景内的所述一个或多个虚拟对象的速度，
其中，动态仿真还基于所估计的所述第一物理对象的速度和所确定的所述一个或多个虚拟对象的速度。
11.如权利要求7所述的增强现实设备，其中，仿真所述第一物理对象与所述一个或多个虚拟对象之间的动态交互还基于一组动态规则，该组动态规则限定在所述增强现实设备上显示的视觉场景的动态交互。
12.如权利要求7所述的增强现实设备，其中，仿真所述第一物理对象与一个或多个虚拟对象之间的动态交互还包括：
确定所述第一物理对象的一个或多个特性；以及
基于所确定的一个或多个特性，作为所述动态交互的一部分，调整所述一个或多个虚拟对象的行为。
13.一种用于使用增强现实设备来仿真交互的器具，包括：
用于捕捉视觉场景以供显示的装置，其中所述视觉场景是利用一个或多个相机设备来捕捉的；
用于仿真第一物理对象与一个或多个虚拟对象之间的动态交互的装置；以及
用于渲染帧的序列以供显示的装置，所述帧描绘所仿真的所述第一物理对象与所述一个或多个虚拟对象之间的动态交互；
用于基于所仿真的所述视觉场景内所述第一物理对象和所述一个或多个虚拟对象之间的动态交互，向控制设备发送指示使用与所述第一物理对象相关联的执行机构在物理环境内移动所述第一物理对象的方向的指令的装置。
14.如权利要求13所述的器具，还包括：
用于识别所述第一物理对象的预定几何信息的装置，其中所述预定几何信息至少包括所述第一物理对象的大小的度量；以及
用于基于所识别的预定几何信息，估计所述第一物理对象在所述视觉场景内的深度度量的装置，
其中，对所述动态交互的仿真还基于所估计的所述第一物理对象的深度度量。
15.如权利要求13所述的器具，还包括：
用于监视所述第一物理对象在所述视觉场景内的运动的装置；以及
用于基于所监视的运动，估计所述第一物理对象的速度的装置。
16.如权利要求15所述的器具，还包括：
用于确定要显示在所述视觉场景内的所述一个或多个虚拟对象的速度的装置，
其中，动态仿真还基于所估计的所述第一物理对象的速度和所确定的所述一个或多个虚拟对象的速度。
17.如权利要求13所述的器具，其中，仿真所述第一物理对象与所述一个或多个虚拟对象之间的动态交互还基于一组动态规则，该组动态规则限定在所述增强现实设备上显示的视觉场景的动态交互。
18.如权利要求13所述的器具，其中，仿真所述第一物理对象与一个或多个虚拟对象之间的动态交互还包括：
用于确定所述第一物理对象的一个或多个特性的装置；以及
用于基于所确定的一个或多个特性，作为所述动态交互的一部分，调整所述一个或多个虚拟对象的行为的装置。
CN201310272294.9A 2012-06-29 2013-07-01 增强现实仿真连续体 Active CN103530495B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/538,699 US9741145B2 (en) 2012-06-29 2012-06-29 Augmented reality simulation continuum
US13/538,699 2012-06-29

Publications (2)

Publication Number Publication Date
CN103530495A CN103530495A (zh) 2014-01-22
CN103530495B true CN103530495B (zh) 2017-10-20

Family

ID=48746322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310272294.9A Active CN103530495B (zh) 2012-06-29 2013-07-01 增强现实仿真连续体

Country Status (5)

Country Link
US (2) US9741145B2 (zh)
EP (1) EP2680230A3 (zh)
JP (1) JP5619964B2 (zh)
KR (1) KR101660089B1 (zh)
CN (1) CN103530495B (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014013627A1 (ja) 2012-07-20 2014-01-23 楽天株式会社 動画処理装置、動画処理方法、ならびに、情報記録媒体
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
US10269180B2 (en) 2013-04-16 2019-04-23 Sony Corporation Information processing apparatus and information processing method, display apparatus and display method, and information processing system
US20150077340A1 (en) * 2013-09-18 2015-03-19 Genius Toy Taiwan Co., Ltd. Method, system and computer program product for real-time touchless interaction
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
US20150185826A1 (en) * 2013-12-30 2015-07-02 Daqri, Llc Mapping gestures to virtual functions
CN106575354B (zh) * 2014-05-21 2021-11-05 汤杰宝游戏公司 有形界面对象的虚拟化
WO2015185629A2 (en) 2014-06-06 2015-12-10 Lego A/S Interactive game apparatus and toy construction system
US10518188B2 (en) * 2014-06-30 2019-12-31 Microsoft Technology Licensing, Llc Controlling physical toys using a physics engine
US10142608B2 (en) * 2014-07-08 2018-11-27 Samsung Electronics Co., Ltd. Electronic apparatus and method for processing three-dimensional information using image
JP6390277B2 (ja) 2014-09-02 2018-09-19 ソニー株式会社 情報処理装置、制御方法、およびプログラム
FR3026872A1 (fr) * 2014-10-02 2016-04-08 Amega Signaletiques Procede de fabrication d'objets personnalises pour enseignes de magasin, utilisant la realite augmentee.
JP6817198B2 (ja) 2014-10-02 2021-01-20 レゴ エー／エス ゲームシステム
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US10495726B2 (en) * 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US10620778B2 (en) 2015-08-31 2020-04-14 Rockwell Automation Technologies, Inc. Augmentable and spatially manipulable 3D modeling
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
GB201607639D0 (en) * 2016-05-02 2016-06-15 Univ Leuven Kath Sensing method
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US10235809B2 (en) * 2016-06-30 2019-03-19 Microsoft Technology Licensing, Llc Reality to virtual reality portal for dual presence of devices
US10943398B2 (en) * 2016-07-15 2021-03-09 Samsung Electronics Co., Ltd. Augmented reality device and operation thereof
GB2555841A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
US10782668B2 (en) * 2017-03-16 2020-09-22 Siemens Aktiengesellschaft Development of control applications in augmented reality environment
CN108334806B (zh) * 2017-04-26 2021-12-14 腾讯科技（深圳）有限公司 图像处理方法、装置和电子设备
WO2018182066A1 (ko) * 2017-03-30 2018-10-04 스노우 주식회사 이미지에 동적 효과를 적용하는 방법 및 장치
US10403050B1 (en) 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
CN107393017A (zh) * 2017-08-11 2017-11-24 北京铂石空间科技有限公司 图像处理方法、装置、电子设备及存储介质
US20190056799A1 (en) * 2017-08-15 2019-02-21 TinMoon Studios, LLC Method and system for resolving spatial boundary conflicts of virtual objects using simulated spring constraints in 3d virtual space
JP7060355B2 (ja) * 2017-10-17 2022-04-26 株式会社ソニー・インタラクティブエンタテインメント 情報処理システムおよび情報処理方法
JP6817460B2 (ja) * 2017-10-26 2021-01-20 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
US10957103B2 (en) * 2017-11-03 2021-03-23 Adobe Inc. Dynamic mapping of virtual and physical interactions
US10139899B1 (en) * 2017-11-30 2018-11-27 Disney Enterprises, Inc. Hypercatching in virtual reality (VR) system
US10360454B1 (en) * 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
US10546425B2 (en) 2018-01-30 2020-01-28 Disney Enterprises, Inc. Real physical objects interacting with augmented reality features
US11262838B2 (en) * 2018-01-30 2022-03-01 Sony Corporation Information processing device and information processing method
US10445940B2 (en) 2018-03-15 2019-10-15 Disney Enterprises, Inc. Modeling interactions between simulated characters and real-world objects for more realistic augmented reality
CN108573530B (zh) * 2018-03-29 2022-02-11 麒麟合盛网络技术股份有限公司 增强现实ar交互方法及系统
CN108543309B (zh) * 2018-04-03 2020-03-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
US10877554B2 (en) 2018-04-19 2020-12-29 Samsung Electronics Co., Ltd. High efficiency input apparatus and method for virtual reality and augmented reality
CN108635847B (zh) * 2018-05-14 2021-06-01 北京卡路里科技有限公司 运动中互动的方法与装置
WO2019226001A1 (en) * 2018-05-23 2019-11-28 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10748342B2 (en) 2018-06-19 2020-08-18 Google Llc Interaction system for augmented reality objects
CN110852143B (zh) * 2018-08-21 2024-04-09 元平台公司 在增强现实环境中的交互式文本效果
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
US11030813B2 (en) * 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
US10692294B1 (en) 2018-12-17 2020-06-23 Universal City Studios Llc Systems and methods for mediated augmented physical interaction
CN109727315B (zh) * 2018-12-29 2023-08-22 上海曼恒数字技术股份有限公司 一对多集群渲染方法、装置、设备及存储介质
US10780359B2 (en) 2019-01-08 2020-09-22 Universal City Studios Llc Systems and methods for a connected augmented environment
US11308652B2 (en) 2019-02-25 2022-04-19 Apple Inc. Rendering objects to match camera noise
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
KR102570009B1 (ko) * 2019-07-31 2023-08-23 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
EP4022569A4 (en) * 2019-08-26 2023-09-06 AGT International GmbH TRACKING DYNAMICS USING A COMPUTERIZED DEVICE
WO2021105984A1 (en) * 2019-11-25 2021-06-03 Alon Melchner System and method for dynamic synchronization between real and virtual environments
GB2590422B (en) 2019-12-17 2024-03-06 Sony Interactive Entertainment Inc Content generation system and method
WO2021260694A1 (en) * 2020-06-22 2021-12-30 Alon Melchner System and method for rendering virtual interactions of an immersive reality-virtuality continuum-based object and a real environment
CN111773736B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种虚拟角色的行为生成方法及装置
CN111880659A (zh) * 2020-07-31 2020-11-03 北京市商汤科技开发有限公司 虚拟人物控制方法及装置、设备、计算机可读存储介质
KR102699811B1 (ko) * 2020-08-27 2024-08-29 삼성전자주식회사 증강 현실 컨텐트를 제공하는 전자 장치와 이의 동작 방법
WO2022061114A1 (en) 2020-09-17 2022-03-24 Bogie Inc. System and method for an interactive controller
KR20220046261A (ko) * 2020-10-07 2022-04-14 삼성전자주식회사 증강 현실을 디스플레이하는 방법 및 이를 수행하는 전자 장치
US20220383601A1 (en) * 2021-05-25 2022-12-01 Samsung Electronics Co., Ltd. Virtual avatars and physical object interaction in augmented reality applications
KR102709180B1 (ko) * 2023-04-13 2024-09-24 국민대학교산학협력단 Ar 기반의 연출 증진 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
JP2009217328A (ja) * 2008-03-07 2009-09-24 Oki Semiconductor Co Ltd 画像表示制御装置、画像表示制御プログラム、及び半導体装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131442A (ja) * 1992-10-19 1994-05-13 Mazda Motor Corp ３次元虚像造形装置
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
JP3486536B2 (ja) * 1997-09-01 2004-01-13 キヤノン株式会社 複合現実感提示装置および方法
JP2000132329A (ja) * 1998-10-27 2000-05-12 Sony Corp 面認識装置、面認識方法及び仮想画像立体合成装置
JP3413129B2 (ja) 1999-06-11 2003-06-03 キヤノン株式会社 画像処理方法及び画像処理装置
JP3517639B2 (ja) * 2000-09-27 2004-04-12 キヤノン株式会社 複合現実感提示装置及びその方法並びに記憶媒体
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP3841806B2 (ja) * 2004-09-01 2006-11-08 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
WO2006059298A2 (en) * 2004-12-01 2006-06-08 Koninklijke Philips Electronics N.V. Image display that moves physical objects and causes tactile sensation
US20070205963A1 (en) * 2006-03-03 2007-09-06 Piccionelli Gregory A Heads-up billboard
KR101146091B1 (ko) 2007-11-30 2012-05-16 광주과학기술원 증강 현실을 위한 입력 인터페이스 장치 및 이를 구비한 증강 현실 시스템
NL1035303C2 (nl) * 2008-04-16 2009-10-19 Virtual Proteins B V Interactieve virtuele reality eenheid.
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
JP2009217328A (ja) * 2008-03-07 2009-09-24 Oki Semiconductor Co Ltd 画像表示制御装置、画像表示制御プログラム、及び半導体装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Interactive Occlusion and Collision of Real and Virtual Objects in Augmented Reality;David E.Breen et al.;《European Computer-Industry Research Centre GmbH》;19951231;第1页第3段 *

Also Published As

Publication number Publication date
US10282882B2 (en) 2019-05-07
US20170330362A1 (en) 2017-11-16
EP2680230A2 (en) 2014-01-01
JP5619964B2 (ja) 2014-11-05
US9741145B2 (en) 2017-08-22
US20140002493A1 (en) 2014-01-02
KR20140002567A (ko) 2014-01-08
KR101660089B1 (ko) 2016-09-26
JP2014010838A (ja) 2014-01-20
EP2680230A3 (en) 2016-02-10
CN103530495A (zh) 2014-01-22

Similar Documents

Publication Publication Date Title
CN103530495B (zh) 增强现实仿真连续体
US10481689B1 (en) Motion capture glove
CN105209136B (zh) 用于分析3d图像中的用户动作的质心状态矢量
TWI469813B (zh) 在動作擷取系統中追踪使用者群組
US8788973B2 (en) Three-dimensional gesture controlled avatar configuration interface
EP3072033B1 (en) Motion control of a virtual environment
CN102356373B (zh) 虚拟对象操纵
US8411092B2 (en) 2D imposters for simplifying processing of plural animation objects in computer graphics generation
JP4822553B2 (ja) ゲーム装置、ゲームプログラム、コンピュータ読み取り可能な情報記憶媒体、ゲームシステムおよびゲーム処理方法
CN105723302B (zh) 布尔/浮点控制器和姿势识别系统
US8957858B2 (en) Multi-platform motion-based computer interactions
Andrews et al. Hapticast: a physically-based 3D game with haptic feedback
CN105144240B (zh) 使用深度图像的用户质心和质量分布提取
CN110832442A (zh) 注视点渲染系统中的优化的阴影和自适应网状蒙皮
US20130102387A1 (en) Calculating metabolic equivalence with a computing device
CN110891659A (zh) 对注视点渲染系统中的粒子和模拟模型的优化的延迟照明和中心凹调适
CN107077208A (zh) 基于图像的地面重量分布确定
CN107077730A (zh) 基于剪影的肢寻找器确定
Garcia et al. Modifying a game interface to take advantage of advanced I/O devices
Chung Metaverse XR Components
Yazdani et al. Adoption of VR influencing AI on 3D objects
Seo et al. 3D billiards game with haptic interface
Branca et al. Reducing Sickness And Enhancing Virtual Reality Simulation On Mobile Devices By Tracking The Body Rotation.
Bianca-Cerasela-Zelia Blaga et al. DAR: Implementation of a Drone Augmented Reality Video Game.
Kuo et al. Development of Virtual Ping-Pong Game with 6-DOF Tracking System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant