CN105210117A - 增强现实(ar)俘获和播放 - Google Patents

增强现实(ar)俘获和播放 Download PDF

Info

Publication number
CN105210117A
CN105210117A CN201480025675.XA CN201480025675A CN105210117A CN 105210117 A CN105210117 A CN 105210117A CN 201480025675 A CN201480025675 A CN 201480025675A CN 105210117 A CN105210117 A CN 105210117A
Authority
CN
China
Prior art keywords
destination object
predefine
user
appointment
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480025675.XA
Other languages
English (en)
Other versions
CN105210117B (zh
Inventor
R·格拉塞特
H·赛西特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105210117A publication Critical patent/CN105210117A/zh
Application granted granted Critical
Publication of CN105210117B publication Critical patent/CN105210117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明呈现用于产生增强现实AR对象的方法、系统、计算机可读媒体和设备。所述方法可包含俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上。所述方法还可包含将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域。所述方法可另外包含将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像。所述方法可进一步包含至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。

Description

增强现实(AR)俘获和播放
背景技术
本发明的方面涉及增强现实(AR)对象，具体地说涉及从物理草图或物理对象产生AR对象以在AR交互中使用。
当前一代的移动AR应用程序当与用户进行交互时可为受限的。举例来说，许多应用程序仅允许最终用户操纵(例如，选择、移动、游戏动作)或导航(例如，转向、靠近)上覆于印刷目标上的预定义3-D内容。预定义内容可传统地由艺术家、设计者或开发者离线创作，且集成为应用程序的部分且无法实时修改。这些方法限制了AR体验的灵活性和创造性潜力。
发明内容
呈现用于实时产生且俘获增强现实(AR)对象的方法、系统、计算机可读媒体和设备。另外，用户可使用多点触摸交互实时修改AR对象。
描述允许用户组合物理草绘与多点触摸交互以用于移动AR应用程序的某些实施例。在一些实施例中，用于实时产生AR对象的物理草绘可为基于纸的。
在一些实施例中，一种用于由移动装置产生一或多个增强现实(AR)对象的方法包含：俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上。所述方法还包含将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域。所述方法另外包含将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像。所述方法进一步包含至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
在一些实施例中，将所述图像分段进一步包括从所述图像减去所述预定义背景。
在一些实施例中，响应于用户输入而编辑所述一或多个AR对象。
在一些实施例中，所述编辑还包含：将所述一或多个AR对象中的至少一者划分为多个AR部分；接收与来自所述多个AR部分的指定AR部分相关联的用户输入；以及基于所述所接收用户输入而操纵所述指定AR部分。
在一些实施例中，基于所接收的用户输入而操纵指定AR部分包含以下各项中的至少一者：基于移动装置的显示器上的所确定手指压力而对指定AR部分增加深度，基于在移动装置的显示器上执行的用户姿势而旋转指定AR部分，将指定AR部分组装到一或多个层中，将指定AR部分移动到可在移动装置的显示器上显示的一或多个位置中，或挤压指定AR部分。
在一些实施例中，所述一或多个目标对象中的一者包括二维(2-D)草图。
在一些实施例中，所述一或多个目标对象中的一者包括三维(3-D)对象。
在一些实施例中，所述一或多个目标对象中的一者与所述预定义背景共面。
在一些实施例中，所述预定义背景是特征跟踪目标。
在一些实施例中，所述方法还包含精炼对应于所述一或多个目标对象的所述一或多个区域中的一者。
在一些实施例中，所述一或多个AR对象是基于所述所俘获图像内的二维(2-D)斑点的检测而产生，所述2-D斑点的所述检测基于与定位在所述预定义背景上的所述一或多个目标对象相关联的表面反射率。
在一些实施例中，所述预定义背景包含水平跟踪区域和垂直跟踪区域。
在一些实施例中，所述方法还包含在所述移动装置的显示器上实时显示所述一或多个AR对象。
在一些实施例中，一种用于产生一或多个AR对象的设备包含：存储器；图像俘获模块，其经配置以俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上；图像处理模块，其经配置以将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域；以及处理器，其耦合到所述存储器、所述图像俘获模块和所述图像处理模块。所述处理器可经配置以：将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像；以及至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
在一些实施例中，一或多种非暂时性计算机可读媒体，其存储用于产生一或多个增强现实(AR)对象的计算机可执行指令，所述计算机可执行指令当执行时致使包含在移动装置中的一或多个计算装置：俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上；将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域；将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像；以及至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
在一些实施例中，一种用于产生一或多个增强现实(AR)对象的设备包含：用于俘获一或多个目标对象的图像的装置，其中所述一或多个目标对象定位在预定义背景上；用于将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域的装置；用于将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像的装置；以及用于至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象的装置。
附图说明
通过实例来说明本发明的各方面。在附图中，相同参考数字指示类似元件，且：
图1是说明根据一些实施例的示范性移动装置的框图；
图2说明从最终用户对开发者的角度来看与不同类型的AR应用程序相比的本发明的实施例；
图3说明使用跟踪区域的本发明的实施例；
图4是说明根据一个实施例的用于组合物理草绘与多点触摸交互以用于移动AR应用程序的方法的流程图；
图5到7说明用于组合物理草绘与多点触摸交互以用于移动AR应用程序的方法的实例；
图8到10说明根据一些实施例可使用的差异类型的草图；
图11说明根据一个实施例在跟踪区域中放置和俘获草绘的对象或物理对象的示范性方法；
图12说明根据一个实施例的使用移动接口的AR编辑方法；
图13说明根据另一个实施例的使用移动接口的AR编辑方法；
图14是说明根据一些实施例的不同编辑模式的表；
图15说明根据一个实施例的使用2.5-D舞台在2-D层中应用简化物理学；
图16是说明根据一个实施例的用于俘获目标AR对象的方法的流程图；以及
图17说明可在其中实施一或多个实施例的计算系统的实例。
图18说明具有用于执行与本发明的实施例相关联的任务的不同软件模块的图像处理模块的实例。
具体实施方式
现将相对于形成本文的一部分的附图来描述若干说明性实施例。虽然下文描述其中可实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
增强现实(AR)可为物理现实世界环境的现场直接或间接视图，所述现实世界环境的元素由计算机产生的感觉输入增强，所述计算机产生的感觉输入例如(但不限于)声音、文字、图形、视频和位置(例如，全球导航卫星系统(GNSS))数据。
通过使用例如对象辨识等AR技术，关于用户的周围现实世界的信息变成交互式的且能够以数字方式操纵。关于用户的环境及其对象的人工信息可上覆于现实世界上。
本发明的实施例是针对增强现实(AR)对象，具体地说是针对组合物理草绘与多点触摸交互以用于移动AR应用程序。另外，用户可使用多点触摸交互实时修改AR对象。
描述允许用户组合物理草绘与多点触摸交互以用于移动AR应用程序的某些实施例。在一些实施例中，用于实时产生AR对象的物理草绘可为基于纸的。
根据一些实施例，用户可能够直接在标记(例如，目标区域)上与真实内容(例如，基于纸的)交互。在一些情况下，AR对象可基于由最终用户在线产生的真实内容。这可与其中由开发者经由数字工具离线产生虚拟内容的当前实施方案形成对比。
因此，本发明的实施例允许更直观的方式用于用户产生AR对象和内容而不需要传统的数字工具。另外，使用弹出式书和拼贴作品的概念，AR内容创建可变为对最终用户更容易达到。此外，本发明的实施例可提供用于AR交互的新方法，其可包含从现实世界实时俘获信息。
图1是说明根据一些实施例的示范性移动装置100的框图。移动装置100包含耦合到图像处理模块121的图像俘获模块111。图像处理模块121可为一或多个通用处理器。另外，图像处理模块121可通过总线接口103连接到总线101，且图像俘获模块111可通过总线接口103连接到总线101，且存储器161通过总线接口103连接到总线101。
图像处理模块121也可以经由总线接口103和总线101耦合到显示模块181。另外，图像俘获模块111和图像处理模块121可经由总线接口103和总线101连接到用户输入模块191。图像处理模块121可经配置以从接收自图像俘获模块111的传入图像数据或视频数据检测且俘获目标对象的图像。目标对象的图像可包含针对预定义背景定位的对象。图像处理模块121可将预定义背景与目标对象的图像进行比较且基于所述比较确定草图。随后，图像处理模块121可基于所述草图产生AR对象以用于在显示模块上显示。
总线接口103可与图像处理模块121、图像俘获模块111以及它们相关联的存储器161集成。在各种实施例中，功能可存储为存储器161中的一或多个指令或代码，例如存储在例如RAM、ROM、快闪存储器或光盘驱动器等计算机可读存储媒体上，且由图像处理模块121执行。存储器161可为存储经配置以致使图像处理模块121执行描述的功能的软件代码(编程代码、指令等)的处理器可读存储器和/或计算机可读存储器。在其它实施例中，描述的功能可在硬件中执行。
此外，在一些实施例中，移动装置100可包含全球导航卫星系统(GNSS)接收器171，其能够经由耦合到GNSS接收器171的GNSS天线172接收GNSS信号174。GNSS接收器171还可整体或部分地处理GNSS无线电信号174且使用GNSS信号174来确定移动装置100的位置。GNSS接收器171可以基于位置的信息辅助移动AR应用程序。
此外，在一些实施例中，移动装置100还可包含通过总线接口103连接到总线101的无线收发器131。无线收发器131可操作以经由天线152接收无线信号154。无线信号154可经由无线网络发射。在一些实施例中，无线网络可为任何无线网络，例如(但不限于)因特网、个人接入网络(PAN)或蜂窝式网络(例如GSM、WCDMA、LTE、CDMA2000网络)。在一些实施例中，天线152和172可为同一天线。可了解，虽然图1中描绘两个天线，但在其它实施例中，移动装置100上可存在任何数目的天线且无线收发器131和GNSS接收器171可共享一或多个这些天线以用于通信的目的。无线收发器131可以与网络(例如，因特网)的通信辅助移动AR应用程序。
移动装置100可为手机、智能电话、PDA、平板计算机、膝上型计算机、跟踪装置或某种其它无线可支持且可移动装置，且可被称为移动终端、移动台(MS)、终端、装置、无线装置、用户设备(UE)、具有SUPL功能的终端(SET)、目标装置、目标或某个其它名称。
根据一些实施例，图像俘获模块111可包含透镜和图像传感器，所述图像传感器可经配置以俘获一或多个目标对象和预定义背景的图像，其中所述一或多个目标对象定位在所述预定义背景上。在一些情况下，所俘获图像可为视频，且所述视频可实时俘获。因此，如本文中所描述的术语图像可包含视频和音频数据。图像俘获模块111可包含一或多个数字静态相机、一或多个视频相机、一或多个麦克风或其任何组合。图像俘获模块111的实例可包含(但不限于)RGB相机、深度相机、立体相机等。术语“相机”还可指代可为不同类型的多个相机(例如，RGB相机和深度相机)。
根据一些实施例，图像处理模块121可经配置以从由图像俘获模块111接收的图像数据检测所述一或多个目标对象且产生经增强图像数据以用于在显示模块181上显示，如相对于图16中的方法1600所描述。为了产生经增强图像数据，图像俘获模块111可将所俘获图像分段为对应于所述一或多个目标对象的一或多个区域以及对应于所述预定义背景的一或多个区域。图像俘获模块111可随后将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像。图像俘获模块111可继续产生对应于所述一或多个目标对象的一或多个AR对象。在一些实施例中，所述一或多个目标对象可包含用户手绘的草图。
在一些情况下，显示模块181经配置以显示产生的AR对象。举例来说，显示模块181可包含移动装置或其它视觉显示装置(例如，投影仪、头戴式显示器、交通工具显示器、智能手表、相机显示器等)上的显示屏幕。在一些实施例中，产生的AR对象可作为经增强图像内的嵌入AR对象而显示，如图7中所说明。
在一些实施例中，用户输入模块191使得用户能够控制(例如，动画化)经由显示模块181显示的三维AR对象。举例来说，用户输入模块191可包含一或多个物理控制件，例如一或多个开关、按钮、操纵杆或键。如其它实例，用户输入模块191可包含显示模块181的触摸屏、语音接口、姿势辨识器、另一用户输入机构或其任何组合。在一些实施例中，用户输入模块191可在与移动装置100分开的不同装置内。
在一些情况下，图像处理模块121的至少一部分可经由专用电路实施。在其它实施例中，图像处理模块121的至少一部分可通过由图像处理模块121执行的计算机可执行代码的执行而实施。为了说明，存储器161可包含存储可由图像处理模块121执行的程序指令的非暂时性计算机可读存储媒体。所述程序指令可包含用于检测从图像俘获模块111接收的图像数据内的一或多个目标对象的代码，以及用于产生对应于所述一或多个目标对象的一或多个AR对象的代码。
图2将如从最终用户或开发者视角所见的不同类型的AR应用程序进行比较。图2进一步说明表示用于实时AR创作和/或实时AR草绘的一类AR应用程序的本发明的实施例。
根据一些实施例，揭示用于允许最终用户使用AR应用程序以便实时产生内容的方法。如实时AR草绘应用程序215中所说明，最终用户可产生且使用虚拟AR内容。
相比之下，在传统的移动AR应用程序205中，艺术家和开发者离线创建虚拟AR内容，其可集成到移动AR应用程序205中。最终用户可随后在线操纵或导航此预定义虚拟AR内容，但它们不能够实时修改或编辑所述内容。
替代地，在传统的AR浏览器的移动应用程序210中，最终用户可创建虚拟和真实内容，但所述内容仍是在单独的平台上使用传统的数字创作工具离线产生。可了解，如本文所使用的术语“离线”可指代在除了最终用户可最终用来与AR内容交互的一个平台之外的平台上创建内容。举例来说，在可仅针对桌上型平台定制的传统的AR浏览器的移动应用程序210中，最终用户可创建图片，在其桌上型平台上放置标记和3-D模型，使用网页创作工具将其添加在服务器上，且随后在稍后时间使用移动装置或除所述桌上型平台外的其它装置体验所述内容。如此实例中所说明，即使当前实施方案可允许最终用户创建虚拟和真实内容，所述创建仍仅限于以专业数字工具的离线创建。
本发明的实施例描述AR工具和移动AR用户接口，其使得用户能够创建在线且用户产生的内容，如实时AR草绘应用程序215中所说明。可了解，如本文所使用的术语“在线”可指代在最终用户可最终用来与AR内容交互的同一平台上实时创建内容。在一些情况下，实时AR草绘应用程序215可允许用户使用移动AR用户接口创建实时虚拟内容。举例来说，移动AR用户接口可接收输入(例如，用户在平板计算机上绘制，照片编辑，3-D建模)，且基于所述输入而实时更新虚拟内容。
另外，本发明的实施例可组合物理草绘与AR中的虚拟内容。在一些情况下，所述组合可为使传统的草绘与移动AR接口上的多点触摸交互统一的结果，如在图2的底部的实时AR草绘应用程序215的更详细描述中所说明。
实时AR草绘应用程序215可包含虚拟AR草绘220模式、纸AR草绘225模式以及AR草图和播放230模式。使用这些模式，实时AR草绘应用程序215实现物理草绘(例如，现实世界)和触摸交互以用于使得最终用户能够创建且使用虚拟和真实内容两者。
根据一些实施例，由实时AR草绘应用程序215使用的方法可基于使用专用空间(例如，跟踪区域)来俘获现实世界内容的概念。举例来说，跟踪区域(例如，高通自然特征跟踪(NFT)标记)可用作专用空间以俘获现实世界内容。另外，跟踪区域可用以编辑内容(例如，俘获和播放空间)。在一些情况下，实时AR草绘应用程序215可俘获真实对象且创建可在跟踪区域上操纵的数字对应部分(例如，虚拟)。图3中进一步论述跟踪区域(例如，跟踪区域305)。
在传统的虚拟AR草绘220模式中，用户可在数字装置上进行草绘以创建AR对象。另外，用户可跟踪标记(例如，具有已知几何形状的对象、跟踪区域)上的所创建AR对象以便创建虚拟内容。根据一些实施例，在移动装置100中的以下模块中的一或多者可用于跟踪：图像俘获模块111(例如，数码相机和/或其它光学传感器)、图像处理模块121、加速度计、GNSS接收器171、陀螺仪、固态罗盘以及无线收发器131。
在传统的纸AR草绘225模式中，用户可草绘且跟踪标记(例如，跟踪区域)上的AR对象以创建虚拟内容。另外，用户可通过操纵标记上的草图而以AR对象玩乐，同时跟踪所述草图。
当前实施方案可单独聚焦于全3-D重构。相比之下，本发明的实施例可使用实现二维(2-D)到二点五维(2.5-D)重构的技术。举例来说，例如弹出式书和拼贴作品等2-D到2.5-D对象可为教示创造性工作中的教学元素。因此，通过具有较少维度，应用程序对用户(例如，儿童)可更容易使用且对于用户可更有想象力。另外，2-D到2.5-D对象当用于游戏、教育、娱乐、动画/木偶戏、艺术作品等时可具有较好功能性。
在体现本文所描述的实施方案的AR草图和播放230模式中，用户可使用2-D到2.5-D对象在媒体上进行草绘。另外，用户可在标记(例如，跟踪区域)上进行俘获和编辑以创建虚拟内容。此外，用户可播放(例如，操纵)和产生的一或多个AR对象。
图3说明空间环境中的本发明的实施例。举例来说，如图3中所说明，实时AR草绘应用程序215可使用标记(例如，跟踪区域305、图3的物理草图和播放区域)来同时进行提取、俘获和播放。另外，标记(例如，跟踪区域305)可用以在三维(3-D)中产生实时内容。
在一些情况下，用户可在跟踪区域305上添加物理内容310(例如，草图、绘制、3-D物理对象)，且图像俘获模块111和图像处理模块121可基于定位(例如，放置)于跟踪区域305上的物理内容310而产生一或多个AR对象315。举例来说，图16描述用于基于放置在跟踪区域305上的物理内容而产生所述一或多个AR对象的示范性方法。随后，用户可编辑产生的AR对象且以其玩乐。
举例来说，在一些实施例中，实时AR草绘应用程序215可使用可包含用于基于标记的环境的编辑技术的俘获或编辑机制来实施。在一些实施例中，所述俘获或编辑机制可与图像处理模块121交互以允许基于标记的环境的编辑。因此，可不需要复杂的计算机视觉(CV)3-D建模和获取来编辑AR环境。
图4是说明根据一个实施例的用于组合物理草绘与多点触摸交互以用于移动AR应用程序的方法400的实施例的流程图。
在框405处，用户可使用真实的纸草绘和切割对象。替代地，用户可绘制或胶粘对象。图5说明用户使用真实的纸草绘对象(例如，人形象505)的实例。
在410，用户可在跟踪区域305(例如，俘获和播放空间)中放置对象。图6说明用户在跟踪区域305中放置对象(例如，人形象505)的实例。如图6中所说明，跟踪区域305可为预定义背景。跟踪区域305的一些实例包含但不限于AR跟踪目标、高通NFT标记等。
在415，实时AR草绘应用程序215可俘获内容。图16中的流程图进一步描述俘获内容的方法。另外，如先前所提及，图像俘获模块111可经配置以检测定位(例如，放置)在跟踪区域305上的所述一或多个目标对象。
在420，实时AR草绘应用程序215可抓住且数字化所俘获对象。在一些情况下，实时AR草绘应用程序215可数字化来自框405和框410的草图且将其转换为数字图像。图像处理模块121可经配置以检测从图像俘获模块111接收的传入视频/图像数据中的所述一或多个目标对象，且产生对应于所述一或多个目标对象的一或多个AR对象以用于在显示模块181上显示。
可了解，这些步骤可由移动装置100实时执行。
在其它情况下，图像处理模块121可经配置以检测从图像俘获模块111接收的视频/图像数据内的目标图像。图像处理模块121可经配置以基于所检测目标图像产生草图和增强现实(AR)数据。
在425，用户可使用实时AR草绘应用程序215编辑所俘获内容。用户接口可为多点触摸接口。图12到13说明使用实时AR草绘应用程序215的不同编辑方法。编辑所俘获内容的方法可包含(但不限于)：修改所内容的几何形状；修改所俘获内容在标记(跟踪区域305)上的初始放置；以对象创建动画；以及对对象添加额外性质(例如，声音、物理行为)。图14中说明的表中进一步描述这些编辑方法。
在430，用户可以经编辑内容或所俘获内容玩乐。图7说明编辑和/或以所俘获内容玩乐的实例。以内容玩乐可包含(但不限于)：动画；操纵；以及与内容的视频游戏交互。
图5到7说明用于组合物理草绘与多点触摸交互以用于移动AR应用程序的方法400的实例。如图3和5中所说明，用户可草绘对象(例如，人形象505)，如先前在框405中描述。另外，图6说明在跟踪区域305上放置对象(例如，人形象505)的实例，如先前在框410中描述。此外，图7说明编辑跟踪区域305上的所俘获内容或以其玩乐的实例，如先前在框425和框430中描述。
如在框405中使用的草图对象可包含某一范围的不同媒体项目，包含但不限于：绘图，草图，以及放置在跟踪区域305上的3-D物理对象。在一些情况下，3-D物理对象可仅在2-D中俘获。草图对象405可能需要清楚地可区分且与跟踪区域305共面。另外，可以仅覆盖跟踪区域305的一部分以便确保稳定跟踪的方式来放置草绘的对象。可了解，草绘的对象是所述一或多个目标对象的实例。
图8到10说明根据一些实施例可使用的草绘的对象的各种实例。举例来说，用户可草绘线条画形象805且将所述对象放置在跟踪区域305上，如图8中所说明。替代地，用户可草绘车辆905且将所述草图放置在跟踪区域上，如图9中所说明。在另一实施例中，用户可将例如玩具汽车1005等3-D对象放置在跟踪区域上，如图10中所说明。
如图16的流程图中进一步描述，实时AR草绘应用程序215可俘获放置在跟踪区域305上的对象(例如，线条画形象805、车辆905、3-D玩具汽车1005)且基于所俘获对象产生AR对象。如所说明，草图对象可包含某一范围的不同媒体项目，包含但不限于绘图、草图和3-D物理对象。
图11说明如先前在框410和框415中描述放置且俘获跟踪区域305中的多个对象的示范性方法。举例来说，实时AR草绘应用程序215可当第一对象1105和第二对象1110定位(例如，放置)在跟踪区域305上时俘获多个对象。类似于图16中描述的方法的方法可用以俘获多个对象。在一些情况下，用户可以仅覆盖跟踪区域305的一部分以便确保稳定跟踪的方式放置所述一或多个草绘的对象。另外，草绘的对象或物理对象应优选地放置在中心。在另一实施例中，实时AR草绘应用程序215可仅俘获图像中的最大项目。
在将一或多个对象放置在跟踪区域305上之后，如由图像俘获模块111俘获的图像1115中所说明，实时AR草绘应用程序215可使用背景减除技术来确定定位在预定义背景上的目标对象，如背景减除图像1120中所说明。在一些情况下，实时AR草绘应用程序215可使用尺度空间中的高倍频程以获得交互式性能，其中所述交互式性能是基于来自用户的指导。另外，可以局部光估计来补充背景减除技术以得到对象的纯反照率。
此外，可应用固有图像分解或基本光估计来恢复表面从所俘获对象的反射率。在一些情况下，非反射媒体可为优选的且更容易俘获。一旦俘获一或多个对象，实时AR草绘应用程序215便可基于表面从所俘获对象的俘获反射率而产生一或多个2-D斑点，如所俘获对象图像1125中所说明。
此外，可使用图像分段算法(例如，GrabCut算法)来精炼斑点的轮廓或形状(例如，例如草绘的角色等对象的轮廓)。随后可产生对应于所述一或多个目标对象的一或多个AR对象。
图12到13说明使用实时AR草绘应用程序215的不同编辑方法，如先前在框425中描述。图12说明用于编辑一或多个AR对象的轮廓选择技术。替代地，图13说明用于编辑一或多个AR对象的热点选择技术。此外，可使用实时AR草绘应用程序215控制不同编辑模式。
如图14中所说明，不同编辑模式可包含：几何形状模式1410(例如，修改所俘获对象的几何形状)；位置模式1420(例如，修改对象在标记上的初始放置)；动画模式1430(例如，以对象创建动画)；额外性质模式1440(例如，对对象添加额外性质，例如声音模式和物理行为)；以及播放模式1450(局部交互、可视化或记录)。在一些情况下，不同编辑模式的选择可使用按钮、姿势和/或热点完成。
几何形状模式1410可进一步包含：基本编辑1411；挤压编辑1412；深度编辑1413；回转编辑1414；多部分编辑1415；骨架化编辑1416；符号编辑1417；以及半3-D编辑1418。在一些情况下，几何模式中的不同编辑的选择可使用按钮、姿势和/或热点来操作。
基本编辑1411包含从所俘获对象产生2-D平面多边形模型(例如，凸壳、多边形化)。
挤压编辑1412包含允许用户基于对象的表面上的对角线运动输入而挤压对象的部分。
深度编辑1413包含通过用户触摸对象而在所俘获对象的部分上添加一些深度。在一些情况下较长压力可导致较高深度。另外，负/正按钮可切换所述模式。
回转编辑1414可包含用户绘制回转轴线且执行挥动姿势来创建对象。
多部分编辑1415可包含将不同绘图组装到对象的指定不同层(例如，树上的苹果)或对象的不同面(例如，房屋的面)。
骨架化编辑1416可包含对所俘获目标(例如，所提取斑点)的外部壳使用形态学方法。
符号编辑1417可包含使用形状描述符辨识符号。另外，实时AR草绘应用程序215可将所应用的交互约束于所得重构。
半3-D编辑1418可包含从草图中找到的笔划来创建3-D重构。
在另一模式中，位置模式1420可包含旋转编辑1421和移动编辑1422。举例来说，旋转编辑1421可包含在不同方向上使用挥动姿势从特定轴线中心旋转所俘获对象的方法。另外，用户可在默认热点上点击以改变旋转中心。
在位置模式1420的移动编辑1422组件中，所俘获对象可在跟踪区域305上移动。在一些情况下，射线在草图(例如，草图505)之间投射且标记可界定位置。此外，用以移动AR对象的不同导引可包含：标记的表面；沿着标记的X和Y定向的切线(或双切线)；标记上的垂直平面(即，Z轴)；以及标记的正面或背面(例如，标记周围的边界平面)。如先前所提及，在模式中的任一者中的不同编辑的选择可使用按钮、姿势和/或热点来操作。
在另一模式中，动画模式1430可包含基本编辑1431、路径编辑1432以及停止运动编辑1433。基本编辑1431可预定义动画行为，例如自旋、跳跃、循环等。路径编辑1432可允许用户记录用于数字化草图的路径。停止运动编辑1433可允许用户定义用于数字化草图的动画序列。
在另一模式中，额外性质模式1440可对对象添加额外性质，例如(但不限于)：声音编辑1441和物理行为编辑1442。声音编辑1441可通过使用录音按钮对对象添加声音。在一些情况下，录音按钮可靠近数字化草图。物理行为编辑1442可对数字化对象添加物理行为，例如跳跃、跑步等。
在又一模式中，播放模式1450可基于骨架编辑1451和手势编辑1452。播放模式1450可包含具有笔划的骨架编辑1451，其中基于模型中的距离变换而检测节点且节点产生简化逆运动学(IK)模型。举例来说，3-D动画中的IK模型可将游戏角色物理上连接到周围环境，例如脚稳固地落在地形之上。
在一些实施例中，在播放模式1450中，可俘获和/或记录AR内容的快照1453从而允许录音控制。换句话说，AR可用以创建一类混合/真实-虚拟停止运动动画、混合机械电影(Machinima)、讲故事等。可使用视频序列导出1454功能导出所俘获视频序列。
另外，在播放模式1450中，可用以接合点连接的刚性片段的骨架(称为运动链)建模AR对象(例如，动画形象)。形象的运动学方程可定义形象的接合角度与其配置之间的关系。在一些情况下，通过按形象的移动部分或手臂和腿来定义形象的空间配置而不是直接操纵接合角度来动画化AR对象是更容易的。因此，在实时AR草绘应用程序215中可使用逆运动学以便于最终用户动画化AR对象。
举例来说，骨架编辑1451可允许最终用户将3-D人AR对象的手移动到所要的位置和定向，且在实时AR草绘应用程序中具有算法以自动选择手腕、肘部和肩膀关节的恰当角度。
在播放模式1450的手势编辑1452中，可以手势来动画化AR对象的节点。举例来说，实时AR草绘应用程序215可将用户的指尖映射到AR对象的骨架中的外部节点点。另外，手势编辑1452可基于半3-D模式，其中实时AR草绘应用程序215可将手势映射到半3-D重构模型。
此外，可进一步添加不同默认模式，例如：动画化内容(例如，弹出、讲故事书)；记录(例如，用户可来回移动动画且将其记录，木偶模式)；以及游戏模式(例如，可应用物理学，可操纵对象)。
根据一些实施例，用户可使用人体姿势在头戴式显示器(HMD)上编辑AR对象。举例来说，可以HMD实施手势编辑1452。HMD可包含用于图像俘获模块111的安装在玻璃框架上的一或多个以自我为中心的相机。HMD也可包含光学传感器、加速度计、GNSS接收器171、陀螺仪、固态罗盘、射频识别(RFID)和无线收发器131。HMD可具有在用户的视场内的透明显示区域，如显示模块181，其中用户可观看物理对象和虚拟对象两者。使用内建式相机作为用户输入装置，HMD可根据用户的手势编辑1452俘获手势。
在HMD实例中，HMD可通过以与物理对象相关联或与例如用户的位置和/或情境相关联的数字内容(例如，文字、图片、视频)覆盖由用户观看的物理对象而提供AR功能性。
另外，尽管本文中相对于HMD描述了实施例，但所属领域的技术人员将了解，可利用其它形式的头戴式显示器。举例来说，本文中所描述的实施例可相对于用户可佩戴的一或多个隐形眼镜来实施且/或可实施于用户可通过其感知视场的另一形式的显示器中。
本发明的实施例可进一步延伸本文所描述的俘获、编辑和播放方法。
举例来说，所述俘获方法可延伸到进行非基于目标的俘获，例如拍摄杂志的图片，或记录人的面部。在一些情况下，可需要后处理所俘获图像以得到斑点形状，并且因此与基于目标的俘获相比可能较不可靠。另外，在基于目标的俘获方法中，斑点形状可以较少处理来俘获且实时完成。
另外，所述俘获方法也可从现实世界获取纹理或颜色信息(例如，将对象放置在标记上且数字化所述对象的颜色)。此外，所述俘获步骤也可延伸到俘获动态内容(例如，俘获面部表情)。在一些情况下，这些延伸的俘获方法可需要后处理。
所述编辑方法可延伸到还包含在数字化草图上创建骨架的方式。举例来说，用户可建立枢接模型，其可稍后经动画化。
所述播放方法可延伸以包含所跟踪内容(例如，手，通过作为有形用户接口的装置的物理代理对象)。举例来说，用户的手中的汽车的模型可在标记上移动，且数字化内容将与其相关联(即，当手移动时，车辆的数字化草图将跟随手的运动)。
图15说明根据一些实施例的用于支持且创建交互式木偶剧场体验和游戏的2.5-D舞台。在一些情况下，通过使用具有一个水平跟踪区域1510和一个垂直跟踪区域1515的L形标记布置1505。L形标记布置1505可采取在偏斜角度从上方而且从侧面的多种相机位置，如剧场访客将看见舞台。
另外，用户可数字化各种舞台道具(道具)，例如树、山、房屋、家具等等。这些数字道具在舞台上表现为竖直的。通过使用两个跟踪区域，可将道具放置在从具有增加深度(到观察者的距离)的固定数目(例如，5个)层中选出的任一层中。用户可选择所述层，调整道具的左右放置且创建多个副本。
此外，用户可随后使用在此所描述的方法移动对象(例如，动物，其它角色)通过场景且创建动画路径。对象可在指定层中移动。在一些情况下，可基于移动对象的路径上的道具而停止或修改移动对象的移动。所述移动可创建类似于木偶剧场的动画系统，其可能使用简单，因为其具有极少的自由度。
根据一些实施例，通过使用手动画化的角色，用户可将多个AR对象(例如，数字化绘图)指派给动画序列。举例来说，可以若干(例如，2到3个)脚姿态动画化行走的人。实时AR草绘应用程序215可通过在简单时间线中放置绘制序列而学习这些序列。在建立这些动画之后，用户可调用动画化角色。实时AR草绘应用程序215也可镜像所述动画以将右行走序列转变为左行走序列。
此外，如图15中所说明的2.5-D舞台也可使用2-D层机制应用简化物理学。举例来说，实时AR草绘应用程序215可通过使用所述2.5-D舞台的层使石头移动靠近用户来说明沿着山峰道具向下滚动的石头。通过使用层和2-D物理学，实时AR草绘应用程序215可在移动装置100中实时计算与道具相关联的物理动画。在一些情况下，实时AR草绘应用程序215可包含以下物理动画：重力、碰撞、摩擦、风和水。
图16是说明根据一些实施例的用于俘获目标AR对象的方法1600的实施例的流程图。如图11中所说明，实时AR草绘应用程序215可俘获放置在AR跟踪目标(例如，跟踪区域305)上的真实内容(例如，第一对象1105、第二对象1110)且变换所述内容以与移动接口交互式地使用。
在框1605处，俘获一或多个目标对象的图像。目标对象可定位在预定义背景上。预定义背景可为标记或特征跟踪目标。目标对象可包含但不限于2-D草图或3-D对象。目标对象也可与预定义背景共面。预定义背景可包含水平跟踪区域和垂直跟踪区域。
在框1610处，可将图像分段为对应于所述一或多个目标对象的一或多个区域和对应于预定义背景的一或多个区域。将图像分段可包含从图像减去预定义背景。
在框1615处，可将对应于所述一或多个目标对象的所述一或多个区域转换成数字图像。
在框1620处，产生一或多个AR对象。所述一或多个AR对象可对应于所述一或多个目标对象，且可至少部分地基于所述数字图像而产生。所述一或多个AR对象可基于所俘获图像内的二维(2-D)斑点的检测而产生，所述2-D斑点的检测基于与定位在预定义背景上的所述一或多个目标对象相关联的表面反射率。
可响应于用户输入而编辑所述一或多个AR对象。所述编辑可包含将所述一或多个AR对象中的至少一者划分为多个AR部分。用户输入可从所述多个AR部分指定AR部分。可随后基于所接收的用户输入而操纵所述指定AR部分。操纵指定AR部分可包含以下各者中的一或多者：基于移动装置的显示器上的所确定手指压力而对指定AR部分增加深度，基于在移动装置的显示器上执行的用户姿势而旋转指定AR部分，将指定AR部分组装到一或多个层中，将指定AR部分移动到可在移动装置的显示器上显示的一或多个位置中，或挤压指定AR部分。
在一些实施例中，可精炼对应于所述一或多个目标对象的所述一或多个区域。随后可在移动装置的显示器上显示产生的AR对象。
图17说明可在其中实施一或多个实施例的计算系统的实例。
计算机系统1700可进一步包含(及/或与其通信)一或多个非暂时性存储装置1725，其可包括(不限于)本地及/或网络可接入存储装置，及/或可包含(不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)及/或只读存储器(“ROM”)的可编程、快闪可更新及/或其类似者的固态存储装置。此类存储装置可经配置以实施任何适当的数据存储装置，包含(不限于)各种文件系统、数据库结构和/或其类似者。
计算机系统1700还可包含通信子系统1730，其可包含(不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置及/或芯片组(例如，BluetoothTM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)及/或其类似者。通信子系统1730可包含一或多个输入和/或输出通信接口以准许与网络、其它计算机系统和/或任何其它电装置/外围设备交换数据。在许多实施例中，计算机系统1700将进一步包括工作存储器1735，其可包含RAM或ROM装置，如上文所描述。在一些情况下，通信子系统1730可为移动装置100的无线收发器131和GNSS接收器171的实例。
计算机系统1700也可包括展示为当前位于工作存储器1735内的软件元件，包含操作系统1740、装置驱动器、可执行库及/或例如一或多个应用程序1745的其它代码，其可包括由各种实施例提供的计算机程序，及/或可经设计以实施由其它实施例提供的方法及/或配置由其它实施例提供的系统，如本文中所描述。仅以实例说明，相对于上文所论述的方法描述的一或多个程序(例如，如关于图4描述的方法400及关于图16描述的方法1600)的一部分可能实施为可由计算机(及/或计算机内的处理单元)执行的代码及/或指令；在一方面中，接着，可使用此类代码及/或指令来配置及/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。在一些情况下，工作存储器1735可为移动装置100的存储器161的实例。
这些指令及/或代码的集合可能存储在非暂时性计算机可读存储媒体(例如上文所描述的存储装置1725)上。在一些情况下，存储媒体可能并入到例如计算机系统1700等计算机系统内。在其它实施例中，存储媒体可能与计算机系统(例如，可装卸式媒体，例如光学光盘)分开，及/或提供于安装包中，使得存储媒体可用于编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可能采用可由计算机系统1700执行的可执行代码形式，及/或可能采用源和/或可安装代码的形式，所述源和/或可安装代码在计算机系统1700上编译及/或安装于所述计算机系统上后(例如，使用多种一般可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)随后即刻呈可执行代码的形式。在一些情况下，存储装置1725可为移动装置100的存储器161的实例。
所属领域的技术人员将明白，可根据特定要求作出实质性变化。举例来说，还可能使用定制硬件，且/或可将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可利用到其它计算装置(例如，网络输入/输出装置)的连接。
如上文所提及，在一个方面中，一些实施例可利用计算机系统(例如，计算机系统1700)以执行根据本发明的各种实施例的方法。根据一组实施例，此些方法的程序中的一些或全部由计算机系统1700响应于处理器1710执行包含于工作存储器1735中的一或多个指令的一或多个序列(可能并入到操作系统1740和/或例如应用程序1745等其它代码中)而执行。此些指令可从例如存储装置1725中的一或多者等另一计算机可读媒体读取到工作存储器1735中。仅举例来说，包含于工作存储器1735中的指令序列的执行可能致使处理器1710执行在此所描述的方法的一或多个程序。另外或替代地，可经由专门的硬件执行本文中所描述的方法的部分。仅举例来说，相对于例如方法400和方法1600等上文所论述方法描述的一或多个程序的一部分可能由处理器1710实施。在一些情况下，处理器1710可为移动装置100的图像处理模块121的实例。在一些实例中，应用程序1745可为实时AR草绘应用程序215的实例。
如本文所使用，术语“机器可读媒体”及“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用计算机系统1700所实施的实施例中，各种计算机可读媒体可涉及将指令/代码提供到处理器1710以用于执行，及/或可用于存储及/或载运此类指令/代码。在许多实施方案中，计算机可读媒体为物理及/或有形存储媒体。此类媒体可呈非易失性媒体或易失性媒体的形式。非易失性媒体包含例如光盘及/或磁盘，例如存储装置1725。易失性媒体包含但不限于动态存储器，例如工作存储器1735。
常见形式的物理及/或有形计算机可读媒体包含例如软盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪EPROM、任何其它存储器芯片或盒带，或计算机可从其读取指令及/或代码的任何其它媒体。
在将一或多个指令的一或多个序列载运到处理器1710以用于执行的过程中可涉及各种形式的计算机可读媒体。仅仅作为实例，最初可以将指令载运于远程计算机的磁盘和/或光盘上。远程计算机可将指令加载到其动态存储器中，并经由传输媒体将指令作为信号进行发送以由计算机系统1700接收及/或执行。
通信子系统1730(和/或其组件)大体上将接收信号，且总线1705可接着将信号(和/或由信号所载运的数据、指令等)载运到处理器1710从其检索并执行指令的工作存储器1735。可任选地在由处理器1710执行之前或之后，将由工作存储器1735接收的指令存储在非暂时性存储装置825上。
图18说明具有用于执行与本发明的实施例相关联的任务的不同软件模块的图像处理模块121的实例。在一些布置中，用于载运与不同软件模块相关联的任务的指令/代码可存储在移动装置的存储器181处。
替代地，图18中描述的软件模块可由图17的处理器1710执行。在一些布置中，用于载运与不同软件模块相关联的任务的指令/代码可存储在存储装置1725处。
根据一些实施例，所述软件模块可包含提取模块1810、插入模块1820和编辑模块1830。
在一或多个布置中，提取模块1810可提取对应于针对背景图象定位的一或多个对象的目标图像的部分。在一些情况下，所述提取可基于将背景图象与目标图像进行比较以确定对应于针对背景定位的所述一或多个对象的目标图像的部分。举例来说，目标图像的所述部分可基于由用户绘制的草图或放置在背景上的3-D物理对象。另外，提取模块1810可基于对应于所述一或多个对象的目标图像的部分产生AR对象1815。根据一些实施例，由提取模块1810使用的所接收图像数据(例如，目标图像)可从图像俘获模块111接收。
在一或多个布置中，插入模块1820可由实时AR草绘应用程序使用以在显示屏幕上显示AR对象。举例来说，所述显示屏幕可为移动装置100的显示模块181。另外，插入模块1820可组合从图像俘获模块111接收的图像数据(例如，目标图像)与产生的AR对象以显示经增强图像/视频1825内的嵌入AR对象。
在一或多个布置中，编辑模块1830可编辑显示于经增强图像/视频上的嵌入AR对象。在一些情况下，编辑模块可从用户输入模块191接收用户输入。如先前论述，图14描述用户可用来编辑AR对象的编辑方法的实例。如从图14中的表所说明，编辑模块1830可包含几何形状模式1410、位置模式1420、动画模式1430、额外性质模式1440和播放模式1450。
上文所论述的方法、系统及装置为实例。在适当时，各种配置可省略、替代或添加各种程序或组件。举例来说，在替代配置中，可以不同于所描述的次序的次序来执行所述方法，且/或各个阶段可添加、省略和/或组合。并且，可以各种其它配置组合关于某些配置所描述的特征。可以类似方式组合配置的不同方面和元件。并且，技术发展，且因此，元件中的许多为实例且并不限制本发明或权利要求的范围。
在描述中给出特定细节以提供对实例配置(包含实施方案)的透彻理解。然而，可在并无这些特定细节的情况下实践配置。举例来说，已在无不必要细节的情况下展示众所周知的电路、过程、算法、结构及技术以便避免混淆配置。此描述仅提供实例配置，且并不限制权利要求的范围、适用性或配置。确切地说，配置的前述描述将向所属领域的技术人员提供用于实施所描述技术的启迪性描述。在不脱离本发明的精神或范围的情况下可对元件的功能及布置作出各种改变。
并且，可将配置描述为描绘为流程图或框图的过程。尽管每一者可将操作描述为循序过程，但许多操作可并行地或同时进行。此外，可重新排列操作的次序。过程可具有不包含在图式中的额外步骤。此外，可用硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合实施方法的实例。当以软件、固件、中间件或微码实施时，用以执行必要任务的程序代码或代码段可存储在例如存储媒体等非暂时性计算机可读媒体中。处理器可执行所描述任务。
已描述若干实例配置，可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。举例来说，以上元件可为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑以上元件之前、期间或之后进行许多步骤。因此，上文描述并不约束权利要求的范围。

Claims (30)

1.一种用于由移动装置产生一或多个增强现实AR对象的方法，所述方法包括：
俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上；
将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域；
将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像；以及
至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
2.根据权利要求1所述的方法，其中将所述图像分段进一步包括从所述图像减去所述预定义背景。
3.根据权利要求1所述的方法，其进一步包括响应于用户输入而编辑所述一或多个AR对象。
4.根据权利要求3所述的方法，其中所述编辑进一步包括：
将所述一或多个AR对象中的至少一者划分为多个AR部分；
接收与来自所述多个AR部分的指定AR部分相关联的用户输入；以及
基于所述所接收用户输入而操纵所述指定AR部分。
5.根据权利要求4所述的方法，其中基于所述所接收用户输入而操纵所述指定AR部分包括以下各项中的至少一者：
基于所述移动装置的显示器上的所确定手指压力而对所述指定AR部分增加深度；
基于在所述移动装置的所述显示器上执行的用户姿势而旋转所述指定AR部分；
将所述指定AR部分组装到一或多个层中；
将所述指定AR部分移动到可在所述移动装置的所述显示器上显示的一或多个位置中；或
挤压所述指定AR部分。
6.根据权利要求1所述的方法，其中所述一或多个目标对象中的一者包括二维2-D草图。
7.根据权利要求1所述的方法，其中所述一或多个目标对象中的一者包括三维3-D对象。
8.根据权利要求1所述的方法，其中所述一或多个目标对象中的一者与所述预定义背景共面。
9.根据权利要求1所述的方法，其中所述预定义背景是特征跟踪目标。
10.根据权利要求1所述的方法，其进一步包括精炼对应于所述一或多个目标对象的所述一或多个区域中的一者。
11.根据权利要求1所述的方法，其中所述一或多个AR对象是基于所述所俘获图像内的二维2-D斑点的检测而产生，所述2-D斑点的所述检测基于与定位在所述预定义背景上的所述一或多个目标对象相关联的表面反射率。
12.根据权利要求1所述的方法，其中所述预定义背景包含水平跟踪区域和垂直跟踪区域。
13.根据权利要求1所述的方法，其进一步包括在所述移动装置的显示器上实时显示所述一或多个AR对象。
14.一种用于产生一或多个增强现实AR对象的设备，其包括：
存储器；
图像俘获模块，其经配置以俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上；
图像处理模块，其经配置以将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域；以及
处理器，其耦合到所述存储器、所述图像俘获模块和所述图像处理模块，所述处理器经配置以：
将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像；以及
至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
15.根据权利要求14所述的设备，其中将所述图像分段进一步包括从所述图像减去所述预定义背景。
16.根据权利要求14所述的设备，其中所述处理器进一步经配置以响应于用户输入而编辑所述一或多个AR对象。
17.根据权利要求16所述的设备，其中所述编辑进一步包括：
将所述一或多个AR对象中的至少一者划分为多个AR部分；
接收与来自所述多个AR部分的指定AR部分相关联的用户输入；以及
基于所述所接收用户输入而操纵所述指定AR部分。
18.根据权利要求17所述的设备，其中基于所述所接收用户输入而操纵所述指定AR部分包括以下各项中的至少一者：
基于所述移动装置的显示器上的所确定手指压力而对所述指定AR部分增加深度；
基于在所述移动装置的所述显示器上执行的用户姿势而旋转所述指定AR部分；
将所述指定AR部分组装到一或多个层中；
将所述指定AR部分移动到可在所述移动装置的所述显示器上显示的一或多个位置中；或
挤压所述指定AR部分。
19.根据权利要求14所述的设备，其中所述一或多个目标对象中的一者包括二维2-D草图。
20.根据权利要求14所述的设备，其中所述一或多个目标对象中的一者包括三维3-D对象。
21.根据权利要求14所述的设备，其中所述一或多个目标对象中的一者与所述预定义背景共面。
22.根据权利要求14所述的设备，其中所述预定义背景是特征跟踪目标。
23.根据权利要求14所述的设备，其中所述处理器进一步经配置以精炼对应于所述一或多个目标对象的所述一或多个区域中的一者。
24.根据权利要求14所述的设备，其中所述一或多个AR对象是基于所述所俘获图像内的二维2-D斑点的检测而产生，所述2-D斑点的所述检测基于与定位在所述预定义背景上的所述一或多个目标对象相关联的表面反射率。
25.根据权利要求14所述的设备，其中所述预定义背景包含水平跟踪区域和垂直跟踪区域。
26.根据权利要求14所述的设备，其进一步包括经配置以实时显示所述一或多个AR对象的显示装置。
27.一或多种非暂时性计算机可读媒体，其存储用于产生一或多个增强现实AR对象的计算机可执行指令，所述计算机可执行指令当执行时致使包含在移动装置中的一或多个计算装置：
俘获一或多个目标对象的图像，其中所述一或多个目标对象定位在预定义背景上；
将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域；
将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像；以及
至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象。
28.根据权利要求27所述的非暂时性计算机可读媒体，其中所述计算机可执行指令当执行时进一步致使包含在所述移动装置中的所述一或多个计算装置：
将所述一或多个AR对象中的至少一者划分为多个AR部分；
接收与来自所述多个AR部分的指定AR部分相关联的用户输入；以及
基于所述所接收用户输入而操纵所述指定AR部分。
29.一种用于产生一或多个增强现实AR对象的设备，其包括：
用于俘获一或多个目标对象的图像的装置，其中所述一或多个目标对象定位在预定义背景上；
用于将所述图像分段为对应于所述一或多个目标对象的一或多个区域和对应于所述预定义背景的一或多个区域的装置；
用于将对应于所述一或多个目标对象的所述一或多个区域转换为数字图像的装置；以及
用于至少部分地基于所述数字图像而产生对应于所述一或多个目标对象的一或多个AR对象的装置。
30.根据权利要求29所述的设备，其进一步包括：
用于将所述一或多个AR对象中的至少一者划分为多个AR部分的装置；
用于接收与来自所述多个AR部分的指定AR部分相关联的用户输入的装置；以及
用于基于所述所接收用户输入而操纵所述指定AR部分的装置。
CN201480025675.XA 2013-05-14 2014-05-13 增强现实(ar)俘获和播放 Active CN105210117B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361823295P 2013-05-14 2013-05-14
US61/823,295 2013-05-14
US14/275,523 US10509533B2 (en) 2013-05-14 2014-05-12 Systems and methods of generating augmented reality (AR) objects
US14/275,523 2014-05-12
PCT/US2014/037932 WO2014186420A2 (en) 2013-05-14 2014-05-13 Augmented reality (ar) capture & play

Publications (2)

Publication Number Publication Date
CN105210117A true CN105210117A (zh) 2015-12-30
CN105210117B CN105210117B (zh) 2019-06-14

Family

ID=51896865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480025675.XA Active CN105210117B (zh) 2013-05-14 2014-05-13 增强现实(ar)俘获和播放

Country Status (6)

Country Link
US (3) US10509533B2 (zh)
EP (2) EP2997548A2 (zh)
JP (1) JP6367926B2 (zh)
KR (1) KR102190721B1 (zh)
CN (1) CN105210117B (zh)
WO (1) WO2014186420A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105854296A (zh) * 2016-04-21 2016-08-17 苏州探寻文化科技有限公司 一种基于增强现实的互动体验系统
CN106362400A (zh) * 2016-10-12 2017-02-01 大连文森特软件科技有限公司 具有在线编辑功能的vr游戏系统
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
CN108063936A (zh) * 2017-12-29 2018-05-22 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
CN108874471A (zh) * 2018-05-30 2018-11-23 链家网（北京）科技有限公司 一种房源的功能间附加元素添加方法及系统
CN109074680A (zh) * 2016-04-14 2018-12-21 英特吉姆公司股份有限公司 基于通信的增强现实中实时图像和信号处理方法和系统
US10984596B2 (en) 2018-05-30 2021-04-20 Ke.com (Beijing)Technology Co., Ltd. Systems and methods for enriching a virtual reality tour
CN113886775A (zh) * 2021-09-10 2022-01-04 上海阿吉必信息技术有限公司 数字权益证明的生成方法和装置
CN114138118A (zh) * 2016-03-24 2022-03-04 高通股份有限公司 用于将物理环境的视觉图像集成到虚拟实境的空间关系
CN114390350A (zh) * 2017-01-18 2022-04-22 Pcms控股公司 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
US11645998B2 (en) 2021-05-18 2023-05-09 Samsung Electronics Co., Ltd. System and method of controlling brightness on digital displays for optimum and visibility and power consumption

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) * 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
WO2015031886A1 (en) * 2013-09-02 2015-03-05 Thankavel Suresh T Ar-book
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US20160171739A1 (en) * 2014-12-11 2016-06-16 Intel Corporation Augmentation of stop-motion content
US9242379B1 (en) * 2015-02-09 2016-01-26 The Trustees Of The University Of Pennysylvania Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
EP3286718A4 (en) 2015-04-23 2018-12-05 Hasbro, Inc. Context-aware digital play
US10146414B2 (en) 2015-06-09 2018-12-04 Pearson Education, Inc. Augmented physical and virtual manipulatives
US20170124890A1 (en) * 2015-10-30 2017-05-04 Robert W. Soderstrom Interactive table
US10197998B2 (en) 2015-12-27 2019-02-05 Spin Master Ltd. Remotely controlled motile device system
US10580040B2 (en) * 2016-04-03 2020-03-03 Integem Inc Methods and systems for real-time image and signal processing in augmented reality based communications
WO2017188863A1 (ru) * 2016-04-30 2017-11-02 Виталий Витальевич АВЕРЬЯНОВ Устройство для воздействия на виртуальные объекты дополненной реальности
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
US10720082B1 (en) 2016-09-08 2020-07-21 Ctskh, Llc Device and system to teach stem lessons using hands-on learning method
US10698475B2 (en) 2016-10-26 2020-06-30 Htc Corporation Virtual reality interaction method, apparatus and system
CN107992188B (zh) * 2016-10-26 2021-12-07 宏达国际电子股份有限公司 虚拟现实交互方法、装置与系统
US10853651B2 (en) 2016-10-26 2020-12-01 Htc Corporation Virtual reality interaction method, apparatus and system
EP3340187A1 (en) * 2016-12-26 2018-06-27 Thomson Licensing Device and method for generating dynamic virtual contents in mixed reality
US10242503B2 (en) 2017-01-09 2019-03-26 Snap Inc. Surface aware lens
WO2018191720A1 (en) * 2017-04-14 2018-10-18 Penrose Studios, Inc. System and method for spatial and immersive computing
US10657725B2 (en) 2017-08-21 2020-05-19 Flow Immersive, Inc. Augmented virtual reality object creation
US10430658B2 (en) 2017-10-06 2019-10-01 Steve Rad Augmented reality system and kit
CN111344775A (zh) * 2017-10-06 2020-06-26 S·拉德 增强现实系统和套件
KR20190101620A (ko) 2018-02-23 2019-09-02 주식회사 로로아트플랜 증강현실 기술을 이용한 무빙 트릭아트 구현 방법
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10825223B2 (en) * 2018-05-31 2020-11-03 Microsoft Technology Licensing, Llc Mixed reality animation
US11030813B2 (en) 2018-08-30 2021-06-08 Snap Inc. Video clip object tracking
US11176737B2 (en) 2018-11-27 2021-11-16 Snap Inc. Textured mesh building
CN111723806A (zh) * 2019-03-19 2020-09-29 北京京东尚科信息技术有限公司 增强现实方法和装置
WO2020250110A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for generating a 3d visualization using mixed reality-based hmd
US11189098B2 (en) 2019-06-28 2021-11-30 Snap Inc. 3D object camera customization system
US11308669B1 (en) 2019-09-27 2022-04-19 Apple Inc. Shader for graphical objects
US11227442B1 (en) 2019-12-19 2022-01-18 Snap Inc. 3D captions with semantic graphical elements
US11263817B1 (en) 2019-12-19 2022-03-01 Snap Inc. 3D captions with face tracking
CA3167329A1 (en) * 2020-02-14 2021-08-19 Victoria Catherine Maude FORREST Instruction of a sign language
CN115428034A (zh) 2020-04-13 2022-12-02 斯纳普公司 消息传送系统中的包括3d数据的增强现实内容生成器
WO2021221394A1 (ko) * 2020-04-30 2021-11-04 삼성전자 주식회사 이미지 증강을 위한 방법 및 전자 장치
US20220051050A1 (en) * 2020-08-12 2022-02-17 Micron Technology, Inc. Presentation of digitized images from user drawings
US20220165024A1 (en) * 2020-11-24 2022-05-26 At&T Intellectual Property I, L.P. Transforming static two-dimensional images into immersive computer-generated content
CN112672185B (zh) * 2020-12-18 2023-07-07 脸萌有限公司 基于增强现实的显示方法、装置、设备及存储介质
CN113577766B (zh) * 2021-08-05 2024-04-02 百度在线网络技术（北京）有限公司 对象处理方法及装置
CN115002442B (zh) * 2022-05-24 2024-05-10 北京字节跳动网络技术有限公司 一种图像展示方法、装置、电子设备及存储介质
KR102694333B1 (ko) * 2022-10-12 2024-08-13 한국전자기술연구원 실시간 3d ar 객체 획득 장치, 시스템 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243392A (zh) * 2005-08-15 2008-08-13 皇家飞利浦电子股份有限公司 用于终端用户编程的增强现实眼镜的系统、设备和方法
CN101288077A (zh) * 2005-08-15 2008-10-15 埃韦里克斯技术股份有限公司 使用图像导出信息作为因特网和其他搜索引擎的搜索标准
US20100002909A1 (en) * 2008-06-30 2010-01-07 Total Immersion Method and device for detecting in real time interactions between a user and an augmented reality scene
CN102413267A (zh) * 2010-09-15 2012-04-11 微软公司 改进的扫描传感器阵列
CN102473324A (zh) * 2009-08-18 2012-05-23 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN102592301A (zh) * 2010-12-14 2012-07-18 三星电子株式会社 用于多层扩增现实的系统和方法
US20120294539A1 (en) * 2010-01-29 2012-11-22 Kiwiple Co., Ltd. Object identification system and method of identifying an object using the same
CN102929391A (zh) * 2012-10-23 2013-02-13 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344314A (ja) 1992-06-05 1993-12-24 Konica Corp 画像処理装置
WO1999019840A1 (en) * 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
JP2001014421A (ja) * 1999-06-28 2001-01-19 Matsushita Electric Ind Co Ltd バーコード読み取り装置
US7050625B2 (en) * 2002-10-21 2006-05-23 Hewlett-Packard Development Company, L.P. Method and digital camera for indicating when image data has been captured for a three-dimensional target object
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP2005063225A (ja) 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP4318580B2 (ja) 2004-03-31 2009-08-26 独立行政法人科学技術振興機構 ３次元樹木形状生成装置
KR20060066340A (ko) * 2004-12-13 2006-06-16 삼성전자주식회사 3차원 구조 스케치 제작장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록매체
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US20080215974A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
US20090141023A1 (en) * 2007-11-29 2009-06-04 Brian Mark Shuster Selective filtering of user input data in a multi-user virtual environment
US8396296B2 (en) * 2007-12-31 2013-03-12 Intel Corporation Brand image detection
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
JP2010049323A (ja) 2008-08-19 2010-03-04 Kawai Musical Instr Mfg Co Ltd 演出画像作成装置、演出画像作成方法、演出画像作成プログラム及び記録媒体
US9824495B2 (en) 2008-09-11 2017-11-21 Apple Inc. Method and system for compositing an augmented reality scene
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
JP5581002B2 (ja) 2009-04-20 2014-08-27 株式会社タイトー ゲーム機、ゲームプログラム
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
KR101585245B1 (ko) * 2009-06-19 2016-01-13 엘지전자 주식회사 이미지 처리 방법 및 이를 적용한 이미지 표시 장치
KR20120089452A (ko) 2009-08-04 2012-08-10 아이큐 비젼 테크놀로지즈 리미티드 물체 추출 시스템 및 방법
TWI434227B (zh) 2009-12-29 2014-04-11 Ind Tech Res Inst 動畫產生系統及方法
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
US20110248995A1 (en) 2010-04-09 2011-10-13 Fuji Xerox Co., Ltd. System and methods for creating interactive virtual content based on machine analysis of freeform physical markup
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US8633947B2 (en) 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
US20110304629A1 (en) * 2010-06-09 2011-12-15 Microsoft Corporation Real-time animation of facial expressions
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
KR101788046B1 (ko) 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9191579B2 (en) * 2010-11-29 2015-11-17 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften Computer-implemented method and apparatus for tracking and reshaping a human shaped figure in a digital world video
KR101269773B1 (ko) * 2010-12-13 2013-05-30 주식회사 팬택 증강 현실 제공 단말기 및 방법
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
US9116616B2 (en) * 2011-02-10 2015-08-25 Blackberry Limited Portable electronic device and method of controlling same
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
KR101824005B1 (ko) * 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US20130063487A1 (en) 2011-09-12 2013-03-14 MyChic Systems Ltd. Method and system of using augmented reality for applications
US20130104087A1 (en) * 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8855366B2 (en) * 2011-11-29 2014-10-07 Qualcomm Incorporated Tracking three-dimensional objects
US9330478B2 (en) * 2012-02-08 2016-05-03 Intel Corporation Augmented reality creation using a real scene
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
GB2507314B (en) 2012-10-25 2018-05-23 Sony Interactive Entertainment Europe Ltd Apparatus and method of augmented reality
CN103177468A (zh) 2013-03-29 2013-06-26 渤海大学 一种基于无标记的三维运动物体增强现实注册方法
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
CN103729885B (zh) 2014-01-21 2016-08-24 北京邮电大学 多视角投影与三维注册联合的手绘场景三维建模方法
JP5916248B2 (ja) * 2014-02-25 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101243392A (zh) * 2005-08-15 2008-08-13 皇家飞利浦电子股份有限公司 用于终端用户编程的增强现实眼镜的系统、设备和方法
CN101288077A (zh) * 2005-08-15 2008-10-15 埃韦里克斯技术股份有限公司 使用图像导出信息作为因特网和其他搜索引擎的搜索标准
US20100002909A1 (en) * 2008-06-30 2010-01-07 Total Immersion Method and device for detecting in real time interactions between a user and an augmented reality scene
CN102473324A (zh) * 2009-08-18 2012-05-23 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
US20120294539A1 (en) * 2010-01-29 2012-11-22 Kiwiple Co., Ltd. Object identification system and method of identifying an object using the same
CN102413267A (zh) * 2010-09-15 2012-04-11 微软公司 改进的扫描传感器阵列
CN102592301A (zh) * 2010-12-14 2012-07-18 三星电子株式会社 用于多层扩增现实的系统和方法
CN102929391A (zh) * 2012-10-23 2013-02-13 中国石油化工股份有限公司 增强现实的分布式控制系统人机交互设备及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRIS MCDONALD 等: "Replacing a Mouse with Hand Gesture in a Plane-Based Augmented Reality System", 《PROCEEDINGS OF 16TH INTERNATIONAL CONFERENCE ON VISION INTERFACE》 *
吴帆 等: "增强现实技术发展及应用综述", 《电脑知识与技术》 *
孙源 等: "智能手机的移动增强现实技术研究", 《计算机科学》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138118A (zh) * 2016-03-24 2022-03-04 高通股份有限公司 用于将物理环境的视觉图像集成到虚拟实境的空间关系
CN114138118B (zh) * 2016-03-24 2024-05-07 高通股份有限公司 用于将物理环境的视觉图像集成到虚拟实境的空间关系
CN109074680A (zh) * 2016-04-14 2018-12-21 英特吉姆公司股份有限公司 基于通信的增强现实中实时图像和信号处理方法和系统
CN105854296A (zh) * 2016-04-21 2016-08-17 苏州探寻文化科技有限公司 一种基于增强现实的互动体验系统
CN106362400A (zh) * 2016-10-12 2017-02-01 大连文森特软件科技有限公司 具有在线编辑功能的vr游戏系统
CN114390350B (zh) * 2017-01-18 2023-08-01 交互数字Vc控股公司 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
CN114390350A (zh) * 2017-01-18 2022-04-22 Pcms控股公司 用于选择场景以在增强现实界面中浏览历史记录的系统和方法
CN106803921A (zh) * 2017-03-20 2017-06-06 深圳市丰巨泰科电子有限公司 基于ar技术的即时音视频通信方法及装置
CN108063936A (zh) * 2017-12-29 2018-05-22 光锐恒宇（北京）科技有限公司 增强现实ar的实现方法、装置和计算机可读存储介质
US10984596B2 (en) 2018-05-30 2021-04-20 Ke.com (Beijing)Technology Co., Ltd. Systems and methods for enriching a virtual reality tour
CN108874471A (zh) * 2018-05-30 2018-11-23 链家网（北京）科技有限公司 一种房源的功能间附加元素添加方法及系统
US11645998B2 (en) 2021-05-18 2023-05-09 Samsung Electronics Co., Ltd. System and method of controlling brightness on digital displays for optimum and visibility and power consumption
CN113886775A (zh) * 2021-09-10 2022-01-04 上海阿吉必信息技术有限公司 数字权益证明的生成方法和装置

Also Published As

Publication number Publication date
JP6367926B2 (ja) 2018-08-01
US11112934B2 (en) 2021-09-07
US10509533B2 (en) 2019-12-17
KR20160010475A (ko) 2016-01-27
US20210373743A1 (en) 2021-12-02
KR102190721B1 (ko) 2020-12-14
WO2014186420A2 (en) 2014-11-20
WO2014186420A3 (en) 2015-04-23
EP2997548A2 (en) 2016-03-23
US20140344762A1 (en) 2014-11-20
EP3907704A1 (en) 2021-11-10
US11880541B2 (en) 2024-01-23
CN105210117B (zh) 2019-06-14
JP2016524221A (ja) 2016-08-12
US20200089389A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
CN105210117A (zh) 增强现实(ar)俘获和播放
US12079439B2 (en) Shared augmented reality session recording and playback
US10445939B2 (en) Tactile interaction in virtual environments
US20220044019A1 (en) Augmented reality smartglasses for use at cultural sites
US11417365B1 (en) Methods, systems and apparatuses for multi-directional still pictures and/or multi-directional motion pictures
US9659381B2 (en) Real time texture mapping for augmented reality system
US20190371071A1 (en) Precise placement of and animation creation for virtual objects in an environment using a trackable three-dimensional object
Langlotz et al. Online creation of panoramic augmented reality annotations on mobile phones
US11657085B1 (en) Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures
US10444506B2 (en) Mixed reality measurement with peripheral tool
CN102725038A (zh) 组合多传感输入以用于数字动画
CN111504273A (zh) 一种基于无人机航拍的三维数字沙盘引擎技术及装置
CN117173756A (zh) 一种增强现实ar系统、计算机设备及存储介质
CN117369233A (zh) 一种全息显示方法、装置、设备及存储介质
Schall et al. 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality
CN115437498A (zh) 虚拟场景控制方法、设备和存储介质
JP7559758B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Tholsgård 3D rendering and interaction in an augmented reality mobile system
Ucchesu A Mixed Reality application to support TV Studio Production
WO2024177967A1 (en) Generating user interfaces displaying augmented reality graphics
CN118628688A (zh) 一种基于vr设备的智慧旅游系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant