CN106575450A - 通过反照率模型、系统和方法的增强现实内容渲染 - Google Patents

通过反照率模型、系统和方法的增强现实内容渲染 Download PDF

Info

Publication number
CN106575450A
CN106575450A CN201580038001.8A CN201580038001A CN106575450A CN 106575450 A CN106575450 A CN 106575450A CN 201580038001 A CN201580038001 A CN 201580038001A CN 106575450 A CN106575450 A CN 106575450A
Authority
CN
China
Prior art keywords
model
contents
environment
feature
albedo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580038001.8A
Other languages
English (en)
Other versions
CN106575450B (zh
Inventor
马泰·西迪基
卡米尔·努克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nant Holdings IP LLC
Nant Vision Inc
Original Assignee
Nant Holdings IP LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nant Holdings IP LLC filed Critical Nant Holdings IP LLC
Priority to CN201910630479.XA priority Critical patent/CN110363840A/zh
Publication of CN106575450A publication Critical patent/CN106575450A/zh
Application granted granted Critical
Publication of CN106575450B publication Critical patent/CN106575450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

提出一种用于渲染增强现实(AR)内容的方法。利用物体的先验定义3D反照率模型来调整AR内容，以使其呈现出场景的自然部分。所公开的设备识别具有对应反照率模型的已知物体。所述设备将观察到的物体与已知的反照率模型进行比较，以确定被称为预估阴影(环境阴影)模型的内容变换。之后将该变换应用到所述AR内容上以生成调节内容，然后对调节的内容进行渲染并呈现给用户进行消费。

Description

通过反照率模型、系统和方法的增强现实内容渲染
相关申请的交叉引用
本申请要求了递交于2014年5月13日、编号为61/992,804的美国临时申请的优先权益。该申请的全部内容以引用的形式并入于此。
技术领域
本发明的领域在于增强现实技术。
背景技术
背景说明包含可帮助理解本发明的信息。其并非承认此处提供的任何信息均为现有技术或与所提出的发明相关，也并非承认任何明确或隐含地引用到的公开材料均为现有技术。
随着基于相机的便携设备(例如，手机、平板电脑、游戏系统等等)的出现，对于增强或虚拟现实内容的期望也与日俱增。增强现实内容可以叠加在真实世界的物体的图像上以强化消费者的体验。例如，Gazzuolo递交于2001年6月29日的、标题为“Virtual FittingRoom”的美国专利6,546,309描述了这一种程序，通过该程序，消费者的尺寸将由基于身体的数学模型来确定。然后将该尺寸用于调整服装模型，然后可以将其叠加到所述消费者的图像上。Gazzuolo使用的方法允许所述消费者“虚拟地”试穿衣服。
尽管在真实世界中的许多细分市场上存在着诸多叠加增强现实(AR)内容的实例，人们仍然可以确定该叠加AR内容是假的。原因在于该AR内容被渲染成与设备传感器所影像的真实世界的实际属性不匹配的离散的计算机生成的图像。
另一些人尽力地修改内容以使其看起来更自然。Geiger等人于2011年6月30日递交的、标题为“Virtual Lens-Rendering Augmented Reality Lens”、公开号为2013/0002698的美国专利描述了基于环境光照度信息以修改场景光照属性的技术。在所述场景被渲染之时，该修改保证了额外的逼真度。
仍有其他人尝试了使用物体信息来辅助修正图像。例如，Benitez等人于2006年11月21日国际递交的、标题为“Methods and Systems for Color Correction of 3DImages”的美国专利8,538,144探讨了使用在图像拍摄期间确定的反照率信息来修正颜色信息。此外，Ahmed et al.的标题为“Skin and Other Surface Classification usingAlbedo”的美国专利申请公开件2014/0085625使用了关于材料(例如，皮肤)类型的反照率信息以为物体确定反照率。
Moghaddam递交于2005年2月14日、标题为“Face Relighting for Normalizationof Direction Lighting”的美国专利7,324,688使用反照率来确定来自输入图像的光照方向。Moghaddam使用皮肤反照率信息来建构一种来自人物脸部图像的反照率图，从该图中可以得到光照信息。
在此提出的所有公开文件均以参考文献的形式并入本文，其并入程度如同每个单独的公开文件或专利申请被具体而单独地指明以参考文献的形式并入于此。并入的参考文献中的术语的定义或使用与本文所提出的术语的定义不一致或相反的地方，则以本文所提出的那个术语的定义为准而不使用参考文献中对该术语的定义。
接下来的具体说明中包含可有助于理解本发明的信息。其并非承认此处提供的任何信息均为现有技术或与所提出的发明相关，也并非承认任何明确或含蓄地引用到的公开材料均为现有技术。
在一些实施方式中，用于描述和请求保护本发明的特定实施方式的表示成份数量、性质(如浓度)、反应条件等的数字在一些情况中应当理解为被术语“大约”所修饰。相应地，在一些实施方式中，在书面描述和所附权利要求中阐述的数值参数是近似值，其可根据具体实施方式试图获得的预期性质而变化。在一些实施方式中，应根据所报告的有效数字的位数并结合采用普通的舍入方法来分析数值参数。尽管设定了本发明的一些实施方式的宽广范围的数值范围和参数是近似值，但特定示例中所阐述的数值将被尽可能精确的报告。本发明的一些实施方式中提供的数值可含有由于它们各自试验测量中建立的标准偏差而引起的某些误差。
除非上下文中另有所指，否则在本文中所阐明的所有范围均应当解读为包含其端点，且开放式范围应当被解读为仅包含商业实用价值。同样地，所有列出的数值均应视为包含中间值，除非上下文中另有所指。
如在本文的描述以及随后的通篇权利要求中所使用的，除非上下文另有明确说明，“一”、“一个”和“所述(该)”包括复数引用。此外，如在本文描述中所使用的，除非上下文另有明确说明，“在......中”的含义包括“在......中”和“在......上”。
本文中对数值范围的记载仅仅意图用作个别地引用落在该范围内的每个单独数值的简写。除非在本文另有说明，每个单独数值被结合到说明书中，如同其在本文中被单独记载一样。除非本文另外指出或与上下文明显矛盾，可以以任何合适的顺序执行本文中所描述的所有方法。任何和所有示例、或相对于本文某些实施例提供的示例性语言(如“例如”)的使用仅仅意图更好地阐明本发明并且不造成对另外要求保护的本发明的范围的限制。说明书中的任何语言不应被解释为表示任何未要求保护的元件对实施本发明来说是重要的。
本文公开的本发明的替代元件或实施例的分组不应被解释为是限制性的。每个组的成员可被引用和单独要求保护或与该组其它成员或本文所记载的其他元件进行任意组合。为了方便和/或专利性的原因，组中的一个或多个成员可被包括在组中或从组中删除。当任何这类包括或删除发生时，本说明书在此被认为包含改动后的组，从而满足所附权利要求书中所使用的所有马库什组的书面描述。
发明内容
应该理解的是，存在有这样的情况，在该情况中有可能获知(或预估)先验物体的真正反照率；比如构造的物体(例如，玩具、汽车等等)。此类信息可以在给定渲染设备附近的真实环境的情境中以更现实的方式提供渲染增强现实内容。因此，仍继续存在基于例如反照率之类的已知物体性质来对增强现实内容进行渲染的需求。
本发明主题提供可将增强现实内容显示在真实世界的物体的图像上的装置、系统和方法，其中增强现实(AR)内容将以真实世界环境中的一部分一样的方式呈现。本发明的一方面包括渲染AR内容的计算机实现方法。在一个实施方式中，所述方法包括获取物体的一个或多个先验定义3D反照率模型。所述反照率模型优选地包括关于所述物体的反射性质的信息以及所述模型的几何信息(例如，法向量)。所述AR模型还包括关于所述物体的已知特征。所述方法还包括从所述物体的数字表象中导出特征(例如，FAST、SIFT、Harriscorners等等)，可能是包括物体的数字表象的图像或视频帧。所述渲染设备基于观察到的特征继续获取AR内容，所述AR内容包括有关其是如何相对于所述物体进行呈现的信息(例如，物体模型信息、已知特征、动画、程序指令等)。所述渲染设备可基于所述观察到的物体特征从所述数字表象中导出所述物体的姿态。所述渲染设备接着有可能基于对所述物体上的观察到的特征和并入于所述反照率模型中的已知特征进行的比较，将所述反照率模型与所述姿态进行匹配。所述渲染设备用所述数字表象和所述匹配的反照率模型来导出观察到的阴影(shading)。所述观察到的阴影用于导出预估阴影模型(在本文中有时表示为环境阴影模型)。在一些实施方式中，导出的传感器环境误差图包括传感器误差、物体扭曲失真或偏差(例如尘垢、刮痕、污迹)、或其他参数。所述传感器环境误差图指明了所述物体本该如何呈现和所述物体在所述传感器上是如何真实地呈现之间的误差。所述方法还包括通过将所述预估阴影模型应用到所述AR内容来生成环境调节的AR内容。因此，所述渲染设备将所述AR内容转换成外观与所述图像物体的外观相似的内容。最终，所述环境调节的AR内容可在供用户消费的设备上进行渲染。在一些实施方式中，可在环境误差图上识别出来的环境伪影也与所述AR内容一同进行渲染，以给予其更真实的感觉。
从以下优选实施方式的详细描述中，根据用数字标识元器件的附图，本发明的各种物体、特征、方面和有益之处将得以更清晰易懂。
附图说明
图1是用于渲染AR内容的方法的示意图。
图2是用于追踪物体和重渲染AR内容的图1中方法的一部分的示意图。
图3示出了由已知物体构造的3D反照率模型的特性。
图4示出3D反照率模型与观察到的物体的姿态的匹配方式。
图5是执行来获取调节的渲染增强现实内容的流程的示意图。
图6是图5的预估阴影模型作为表面法线的函数的示意图。
图7是可用于在考虑到环境误差图中识别到的伪影时调节增强现实的渲染的进一步流程的示意图。
图8示出本发明的一个实施方式中可包含于或表示一个或多个渲染设备的计算机系统和/或其他用于执行包含于计算机程序产品的指令代码的计算机的例子。
具体实施方式
应当注意的是任何指向计算机的语言均应视为包括计算设备的任意合适的组合，所述计算设备包括服务器、界面、系统、数据库、代理、对等设备、引擎、控制器、模块、或其他单独或协同运行的计算设备结构的类型。应当理解的是所述计算设备包括配置成执行储存在有形的、非瞬时性计算机可读存储介质(例如，硬盘驱动器、FPGA、PLA、固态硬盘、RAM、flash、ROM等等)上的软件指令的处理器。所述软件指令配置所述计算设备以提供任务、职责或其他如下文关于所公开的装置讨论到的功能。此外，所公开的技术可体现为包括非瞬时性计算机可读存储介质的计算机程序产品，所述非瞬时性计算机可读存储介质储存有所述软件指令，所述软件指令引起处理器执行与计算机的算法、程序、方法或其他指令的实施相关联的公开步骤。在一些实施方式中，各种服务器、系统、数据库、或界面交换数据均使用标准协议或算法，可能为基于HTTP(超文本传输协议、Hyper Text Transfer Protocol)、HTTPS(安全超文本传输协议)、AES(高级加密标准、Advanced Encryption Standard)、公开-专用密钥交换(public-private key exchange)、web服务API(网络服务应用程序接口、web service Application Programming Interface)、已知的金融交易协议、或其他电子信息交换方法。数据交换优选为在分组交换网络、互联网、LAN(局域网、Local AreaNetwork)、WAN(广域网、Wide Area Network)、VPN(虚拟专用网、Virtual PrivateNetwork)、或分组交换网络的其他类型上执行。
应当理解的是所公开的技术提供了许多有益的技术效果包括将反照率模型与观察到的物体进行匹配。基于该匹配，计算机设备可以确定传感器观察所述物体的条件。然后AR内容可以以反映出所述条件的方式进行呈现或渲染以供用户所消费。
接下来的讨论中提到本发明的许多示例实施方式。尽管每个实施方式表示创造性元素的单个组合，但是本发明应当被理解为包括所述已公开元素的所有可能组合。因此，如果一个实施方式包括元素A、B和C，同时另一个实施方式包括元素B和D，那么本发明也视为包括另一个保留的A、B、C或D的组合，即便并未在此明确地进行论述。
如在本文中用到的，除非上下文表明另有所指，术语“连接于”意在包含直接连接(其中两个元件互相连接互相接触)和间接连接(其中至少一个额外元件位于所述两个元件之间)。因此，术语“连接于”与“与…连接”作为同义词使用。
接下来的讨论中从在玩具上覆盖AR内容的视角来呈现出本发明。对所述AR内容进行调节以使其在所述AR内容与真实世界物体的图像一并显示的时候与周围物体更自然地融合。所讨论的例子是有关于将玩偶的脸部的AR内容(例如，动画等)叠加到玩偶的图像上。应当理解的是，所公开的技术也可以应用于其他类型的物体，包括印刷媒体、医学影像、车辆、建筑物、电器、或者其他类型的物体。
图1示出一种渲染AR内容的方法100。图3和图4提供了关于方法100中某些步骤的更多细节，并且将与方法100一同讨论。方法100表示通过配置或编程为根据所述及的步骤运转的渲染设备的一组步骤。所述渲染设备表示具有至少一个处理器和存储器的计算设备，所述存储器储存有引起所述设备如所公开的那样对AR内容进行渲染的软件指令。可配置或编程为如所述渲染设备一样运转的示例设备包括手机、智能手机、平板电脑、平板式手机、游戏机、静物或视频摄像机、车辆导航系统、机器人、安全系统、手持游戏设备、公用电话亭、电器、或计算设备的其他类型。
方法100可选地以步骤110开始，其包括创建物体的先验定义3D反照率模型。所述模型可以通过各种依赖于所述物体性质的技术来创建。在图3示出的例子中，所述物体包括玩偶301.所述反照率模型306可以基于所述玩偶的已知几何形态以及组成该玩偶的材料的已知特性进行创建。因此，所述模型可以基于所述玩偶的计算机生成模型与一叠表达该玩偶材料性质的材料清单来进行构造。
为简便示意，图3也示出了反照率模型306的图形表示302。应当理解的是反照率模型306优选为3D模型，有可能还包括网格。所述反照率模型包括多个在所公开的技术中有用的特性。首先，所述模型包括分布在所述模型表面上的法向量307，其中，所述法向量307垂直于所述表面。在每个法向量处，所述模型还包括用于对应位置的反照率信息。所述反照率信息表示所述物体在该点的真正反射性质。例如，关联于玩偶脸部皮肤材料的反照率信息可以表示为轻微非反射性粗糙材料，而关联于玩偶眼部材料的反照率信息则可以表示为高反射性玻璃或塑料珠子。因此，遍及所述模型表面的所述反照率信息可以是不连续的。在所述反照率模型信息可被计算为表面几何形状的函数的方式中，所述反照率信息也可能是连续的。这样的方法提供出程序性生成的反照率模型。所述程序(例如，函数、软件指令、规则、几何形状等等)可以进行转移，而不是将整个的反照率模型转移至渲染设备。因此，所述渲染设备可以在本地程序式地生成所述反照率模型，而不用引起用于转移先验构建的模型的带宽费用。在带宽受限或昂贵的情境下，此方法被认为是有益的；例如，有可能是在限制数据服务的手机上。
所述3D反照率也可以分解为多个关联于所述物体的分部。在示出的例子中，包含在所述模型内的所述分部包括两个眼分部304和一个脸分部303。应当理解的是，所述3D模型可以包括多个作为支持所述AR内容的渲染所必须的分部。进一步的，每个分部可包括单独的光照策略，所述光照策略包括关联于所述3D反照率模型的对应分部的光照规则集。所述光照规则管理AR内容的对应方面在呈现(也有可能为覆盖)在显示设备上时应如何渲染。例如，由于皮肤表面的哑光效果，所述玩偶的皮肤或脸部可使用朗博光照(Lambertianlighting)技术。玩偶的眼睛包括高反射玻璃或塑料，在这种情况下，所述光照规则可包括用于镜面高光的指令。额外的光照规则可包括Phong光照、Phong明暗处理，高斯滤波(Gaussian filter)、或光照算法的其他类型。所述光照规则可关联于脸部特征、武器、面板、衣着类商品、车辆特征、印墨类型、纸巾类型、基底、游戏特征、材料类型、或其他类型的物体特征。
所述3D反照率模型也可以包括配准特征305，使得所述模型可以合适地调整为对应的真实世界物体。用于图像数据的所述配准特征可包括从诸如SIFT、SURF、FAST、BRIEF、Harris Corners、Edges、DAISY、GLOH、HOG、EOG、TILT或其他类似的图像处理程序中导出来的特征。此类特征是有益的，因为其允许所述渲染设备识别正确模型以及识别该领域中的物体。在所述反照率模型中的每个特征可包括描述符值、模型内的3D坐标、或其他信息。
所述3D反照率模型可通过除所述渲染设备之外的其他设备(可能为物体摄取引擎的一部分)在离线处理期间完成构建。例如，当玩偶的设计者在CAD系统中建造该玩具的模型时，该CAD系统建造了反照率模型作为计算机生成物体模型。在所述计算机生成物体中的网格的每个多边形可包括与对应反照率信息在一起的法向量。还应当理解的是，所述计算机生成模型可仅仅表示所述物体的一部分；例如所述玩偶的脸。因此，所述3D反照率模型可表示下列的一个或多个：玩具、车辆、脸、买得起的产品、印刷媒体、自动贩卖机、电器、植物、符号、纸巾、病人、游戏组件、人物或人物的脸、或其他类型的物体。在一个可选实施方式中，所述设备可以在运行时建造出所述玩偶的3D表象。通过平均在多个视角(优选为变化的光照条件下)上的特征的传感器观察结果，可在运行时生成对于所述反照率模型的预估。
步骤115包括所述渲染设备获取所述物体的所述先验定义3D反照率模型。接着玩偶的例子，所述渲染设备可包括已经配置有与所述玩偶交互的应用程序(app)的平板电脑，其中所述应用程序包括所述玩偶的所述反照率模型。在其他场景下，所述渲染设备可如步骤120所示出的那样捕捉所述物体的数字表象(例如，图像、视频、音频等)。然后所述渲染设备可使用如Bonyck等人于2001年11月5日递交的、标题为“Image Capture andIdentification System and Process”的美国专利7,016,532所描述的已知技术来从所述数字表象中识别出所述物体。一旦识别出来，所述渲染设备可使用从所述数字表象中导出的特性(例如，图像特性、描述符等)来在数据库或其他类型的数据存储器上检索所述反照率模型。此外，如上引用的，在一个可选实施方式中，所述设备可以通过平均在多个视角(优选为可变的光照条件下)上的特征的传感器观察结果来在运行时创建所述玩偶的3D表象，以生成对于所述反照率模型的预估。
步骤130包括所述渲染设备从所述物体的所述数字表象中导出特征。依着所述数字表象的形态，所述的导出特征可以采取许多不同的形式。至于图像数据，所述渲染设备可如步骤135示出的那样将一个或多个特征检测算法应用到所述数字表象以生成所述特征。示例算法可包括SIFT(参见Lowe于2000年3月6日递交的、标题为“Method and Apparatusfor Identifying Scale Invariant Features in an Image and Use of Same forLocating and Object in an Image”的美国专利6,711,293)、BRISK、SURF、FAST、BRIEF、Harris Corners、edges、DAISY、GLOH、Histograms of Gradients(HOG)、Edge OrientationHistograms(EOG)、TILT(参见Ma等人于2010年11月29日递交的、标题为“Robust Recoveryof Transform Invariant Low-Rank Textures”的美国专利8,463,073)。应当理解的是，所述导出特征可以与前面引用的用于获取所述3D反照率模型的特征相似。
步骤140包括所述渲染设备基于在步骤130中导出的特征获取关于所述物体的AR内容。所述AR内容可根据关联于所述物体的描述符索引至数据库或数据结构。例如，包括所述玩偶的计算机动画的所述AR内容可存储到运行着应用程序的平板电脑的存储器中。对应于所述玩偶的所述动画可以在足够多的来自所述数字表象的描述符与用于在存储器中索引所述动画内容的那些相匹配时被检索到。在一些实施方式中，所述AR内容，或所述AR内容的指针，可在支持k-最近邻(kNN)查找的数据结构内索引到；可能为溢出树(spill tree)或k-d树。例如，如步骤145所示出的，所述方法还包括以关联于所述特征的描述符为基础查找所述AR内容。更进一步的，所述AR内容可以从数据库、远程查找、搜索引擎、或其他数据存储器上获取。
所述AR内容可如上面讨论的一样保留于所述渲染设备的本地。可选地，所述AR内容可以远程存储。在这样的实施方式中，所述渲染设备可使用地址(可能为所述kNN查找的搜索结果)来获取所述AR内容。示例的地址可包括URLs、文件句柄、URIs、IP地址、索引、文件对象标识符(DOI)、或其他类型的地址。
所述AR内容本身可包括广谱的内容。更优选的内容包括可经由与所述渲染设备连接的显示屏幕渲染和呈现出来的视觉内容。示例的AR内容包括游戏、应用程序、视频、图像、动画、3D渲染物体、实物网格、动画网格、复古动画、医学影像、衣服、化妆品、眼镜、家具、穿戴配件(例如耳环、项链等)、人物、头像、宠物、优惠券、贮存架、标记、解剖体、声波图、或其他项目。尽管更优选的AR内容包括视觉内容，但是所述AR内容也可以包括其他类型的形态；例如音频、触感等。注意的是，在可选实施方式中，可以在所示出的方法流程中稍后查找所述AR内容，例如，在导出预估阴影模型167之后。一般来说，在上下文中并未指明执行一个步骤取决于使用另一个步骤的完成结果的情况下，步骤可以不同于所示出的顺序来执行。
步骤150包括所述渲染设备从所述数字表象中导出所述物体的姿态。所述姿态可以基于信息的若干片段进行确定。在一些实施方式中，所述渲染设备可以存储包括如前面所讨论的已知参考特征的物体模型(可能为所述3D反照率模型)。一旦所观察到的特征从所述数字表象中导出，则可以摆好所述物体模型的姿态以使得所述已知参考特征匹配于或相关于所述观察到的特征。在所述AR内容意在覆盖于所述物体的图像上的实施方式中，所述姿态信息是有用的。当所述AR内容意在相对于所显示图像中的所述物体并置时，所述姿态信息也可以是有用的。回到玩偶的例子上，所述AR内容可能是位于所述图像中该玩偶指向或凝视着的小精灵。应当理解的是，所述姿态相对于捕捉所述数字表象的所述传感器进行取向；例如摄像机捕捉物体的图像。
回想一下，所述3D反照率模型也可以包括已知参考特征。所述反照率模型特征可在步骤160上使用，其包括将所述反照率模型与所述姿态进行匹配来设置用于求解物体阴影模型的方程组。所述反照率模型可以如步骤165所示通过将在所述反照率模型内的已知特征匹配于从所述数字表象中导出的特征来进行匹配。一旦所述反照率模型和所述图像完成匹配，则两者之间的差异可以用于导出观察到的阴影数据。
图4示出将玩偶脸部的3D反照率模型与所述玩偶的观察到的图像进行匹配。图4示出物体的数字表象401，在这种情况下是玩偶的脸部。所述物体特征405可以使用已知图像特征算法来从数字表象中导出，所述已知图像特征算法例如SIFT、FAST等。数字表象401的某些特征405可以与某些来自反照率模型306的表象302的训练特征305进行匹配。所匹配的特征可用于将所述图像401与反照率模型306(在图4中以图形标示302表示)进行匹配。特别注意的是，不要求使用所有特征或它们的描述符，也不要求所有特征或它们的描述符是相同的。
回到图1，步骤167包括所述渲染设备从所述观察到的阴影数据中导出所述预估阴影模型。所述观察到的阴影数据对应于一个或多个获取所述数字表象的感应器是如何感知在所述传感器的环境中的所述物体的阴影，以及如何从那样的数据中导出所述预估阴影模型以将预估阴影应用到有关于所述图像物体的AR对象上。所述预估阴影模型可包括有关于所述物体的像素级信息，因为所述物体阴影数据是从所述观察到的姿态以及先验定义反照率模型导出的。例如，关联于所述物体的显示图像的像素的光线可从所述计算过的来自所述反照率模型的反照率和在捕捉到的所述姿态上的像素的真实的、观察到的色彩值中导出。所述预估阴影模型可视为将计算机图形信息从其理想状态转换成在传感器观察环境中符合所述阴影状态的一种转换。
在这一点上，所述渲染设备具有关于所述物体的信息的两个片段。所述渲染设备具有理解所述物体在环境中如何真实地出现在所述捕捉所述数字表象的所述传感器上，以及所述物体通过先验定义3D反照率模型在最开始的理想状态下看起来是怎样的。该信息的组合被用于预估所述阴影模型的未知参数且被具体化为所述预估物体阴影模型。
所述预估阴影模型携带大量关于光照环境的信息，而没必要去将信息的底层来源/类型分离出来。例如，所述预估阴影模型捕捉在所述目标物体上的光线的性质而没必要去确定真正的光源。这是通过确定经由所述传感器观察到的物体和基于所述反照率模型的所属物体的已知理想条件之间的差异(也许是像素级的)来实现的。然而，环境误差图可通过对比真实表象(基于所述物体的捕捉图像的数字表象)与预期表象(基于有关于所述反照率模型的预估阴影模型)导出。这样的误差图可以识别出有关于所述传感器或以其他方式存在于环境中的伪影。作为这个的一个例子，假设这样一个场景，在该场景中手机的镜片上的表面留有指纹污迹。尽管所述污迹并不会影响环境中的光照(及此后所述物体的预期阴影)，但是它会影响所捕捉到的数字表象的性质。此外，所述污迹会影响到所捕捉到的图像将会如何显示或渲染给用户。所述传感器环境误差图将解释这样的传感器相关的异常而不明确地预估这种异常。所述传感器-误差方法通常是有益的，因为其提供了一种轻量化方法，该方法用于确定在经由传感器的拍摄点处的所述环境伪影对捕捉数据的影响。应当理解的是，所述传感器，以摄像机为例，是在数据离开环境进入设备的最后一个点。因此，所述传感器收集的数据表示所述物体的观察到的环境状态。因此，在可选的实施方式中(且如图7的上下文中进一步示出的)，所述环境误差图可用于补充图1所示的方法，以识别将被包括在AR内容的渲染中的传感器环境异常以给予其更逼真的感觉。
所述预估阴影模型和/或传感器环境误差图可包括多个特征，尽管这并非必须的。一个可能的特征是所述传感器环境图可包括环境光照图。所述光照图可通过对比所述物体的所述反照率模型和所述物体的观察到的颜色来导出。此外，如上所述，所述传感器误差图可指示与标称状态的偏差；污迹、镜片形状、划痕等。更进一步的，传感器环境图也可以包括指示在获取所述数字表象上的环境影响的噪声图。至于噪声，考虑一个包含所公开技术的系统，其经由超声波换能器捕捉所述数字表象。所述与组织相关的噪声，例如反射，将有助于所述噪声图。在这样的实施方式中，以物体组织密度为例，其可提供所述物体的反照率模型的声学等效物。这样的实施方式中示出除了预估阴影模型之外，或在预估阴影模型之外，环境模型或图可以用于影响AR内容如何进行渲染以使其感觉更逼真。还有另一个实施方式可包括传感器环境图，其包括从所述物体的自然状态观察到的偏差或失真。例如，玩偶的脸部可包括划痕或笔画。在渲染时这些特征可以被保留并整合到AR内容中。所述渲染设备可以基于已知物体模型和观察物体之间的差异来观察这种失真。所述已知物体模型可以被整合到所述反照率模型中，或者与所述反照率模型区别开来。
步骤170包括通过将所述预估阴影模型应用到所述AR内容中来生成环境调节的AR内容。如前面所讨论的，所述预估阴影模型(或有时在本文中作为环境阴影模型引用到的)表示一种将所述AR内容从其更理想的状态转变成更好地与渲染设备如何观察所述物体保持一致的状态。所述AR内容可以通过步骤175将来自所述3D反照率模型的一个或多个光照规则集应用到对应于所述模型的分部的所述AR内容的分部上。所述规则集到所述AR内容的正确分部的匹配可以通过图形约束(例如多边形、矩形边界框等)、识别特征(例如描述符、关键点等)、或其他匹配计数来实现。
作为一个例子，考虑这样一个场景，在该场景中玩偶(假设为公主玩偶)与可下载的增强现实应用程序一起售卖。该应用程序可允许小朋友与公主在茶话会的情节设定下谈话。例如，小朋友使用平板电脑捕捉所述玩偶的实时视频。作为回应，所述应用程序将AR内容覆盖成以所述玩偶的脸部正在说或回应该小朋友的问题的动画。所述动画的嘴唇、眼睛、和皮肤可以根据它们自身在所述反照率模型内的规则单独地进行调节，以使得它们能够以更自然的方式呈现给小朋友。
步骤180包括所述渲染设备渲染所述环境调节的AR内容。所述渲染过程包括根据从所述传感器环境图信息生成的规则和系统中的其他因素来转换所述AR内容。例如，所述姿态信息可以用于解释视线或隐藏表面的消除。此外，捕捉所述数字表象的所述传感器的所述位置或方位可用于将所述AR内容转化为用于渲染的正确位置。
步骤190包括将所述渲染过的环境调节的AR内容呈现在显示器上。所述显示器可与所述渲染设备构成整体。例如，所述渲染设备可以是如前面的例子中的平板电脑，其中该平板电脑就是所述渲染设备。在其他实施方式中，所述显示器可能是远离于所述渲染设备的。有可能所述显示器设备是一个客户端计算机的计算机屏幕，而所述渲染设备是网页服务器或通过互联网提供其渲染服务的服务中心。应当理解的是，所述渲染过的环境调节的AR内容可以如步骤195中所描述的一样覆盖在所述物体的至少一部分的图像上。可选地，所述调节过的AR内容可以相关于所述物体的所述位置呈现在所述显示器上。也有可能的是，所述调节过的AR内容可能在当前的视野之外且不在屏幕上。当出现在视野内的时候，那么所述调节过的内容可以被呈现出来。或许所述玩偶的AR内容可以包括相对于所述玩偶的位置坐着的定期不在屏幕上的朋友的图像。AR内容也可以根据所述预估环境图的特性进行放置。例如，该方法可以用于在远离所述物体的设定半径处渲染云，并将其定位以使得其总是位于所述环境图中的最暗点。
考虑到观察目标物体的所述环境可能是相当动态的，所述渲染设备的某些实施方式如图2论及的那样提供所述物体的实时追踪。在某种意义上来说，图2中示出的追踪能力可被视为有关方法100的步骤180中讨论到的所述渲染设备的一部分。
步骤200追踪从所述数字表象中导出的至少某些特征。应当理解的是，追踪的特征并不一定要对应用于识别第一地点处的所述物体的所述特征。例如，所述渲染设备可使用SIFT特征和描述符来识别所述物体，然后使用FAST特征以进行追踪。步骤205预估所述追踪物体的更新姿态且更新当前物体阴影模型。步骤210重渲染所述环境调节的AR内容以响应于所述特征的活动，尤其是有关于所述捕捉传感器的。所述重渲染内容可以顾及所述物体在姿态上的差异，在脸部、预测活动的差异，或关联于所述物体或特征的活动的其他方面的差异。在一个实施方式中，步骤205重预估了所述姿态以更新所述阴影模型，且步骤210着重在所述视频序列的帧(例如，10fps、20fps、30fps、60fps等)上重渲染了所述环境调节的AR内容，这进一步强化了用户的自然体验。
所公开的技术提升了趣味性。一个可能的性能包括使用物体的已知的反照率模型(例如，人群、车辆等等)并将这些物体整合到旧视频序列中。例如，可以将一个已知的存在于旧视频序列中的物体构建成3D反照率模型(例如，黑白相片、老情景喜剧等等)。通过将所述物体的所述旧视频录像与所述新建的反照率模型进行比较，渲染设备可以确定将整合的AR内容转换成所述视频录像的所需变换。此类已知物体可包括现存的建筑物、汽车、家具、或其他在所述序列中的物体。
在一个购物环境中，零售商或产品供应商可以使用所公开的技术来丰富消费者的购物体验。所述产品供应商可以提供他们的产品的已知反照率模型，例如饮料罐。当消费者影像到所述饮料罐，所述AR内容可以整合到所述环境中并且允许所述消费者与所述饮料罐进行交互。也许会提供一款使用已知反照率模型的应用程序来呈现出一个AR烹饪助手，该烹饪助手提供如何在烹饪时使用的诀窍。
图5在图形上示出了本发明的一个实施方式中实施的图像处理流程。获取玩偶脸部的3D反照率模型501，然后将其与通过捕捉到的(观察到的)所述玩偶脸部的图像502进行匹配。注意的是，图像502包括伪影511，该伪影511可能产生于平板电脑或者其他拍摄所述图像的设备的镜片上的污迹。生成误差图来说明所述伪影且可以用于图7的上下文中进一步讨论到的AR内容的补充渲染。回到图5，回到使用反照率模型501从所述图像502提取所述观察到的阴影503。预估阴影模型504如接下来所描述的那样从观察到的阴影503中获取。观察到的阴影503用于修订AR内容505，以顾及在所述设备渲染所述AR内容的特殊环境中的光照条件。特别地，阴影模型504结合AR内容505产生重照亮的、渲染的内容506。
以下的讨论中从数学视角结合图5中示出的图像处理流程来呈现本发明。
一般来说，图像I种的色彩通道c在像素上的数值Ic(p)可模拟成反照率和阴影(其中而)的函数：
Ic(p)＝Albedoc(p)*Shadingc(p) 等式1
为简便标记且不失于一般性，假设图像中的所有像素对应于一个已知的物体。在实际中，阴影模型的预估仅依赖于对应于已知物体的图像像素的子集。在将图像中的每个像素与所述3D反照率模型完成匹配之后，因此对于像素p来说，我们有其3D位置其法线以及其对于每个色彩通道的反照率
在所述模型上给定每个3D位置的反照率，那么在匹配之后，我们可以提取出所观察到的阴影，经由：
ObservedShadingc(p)＝Ic(p)/Albedoc(p) 等式2
这有可能是因为我们在每个观察到的像素p和其3D点X之间具有对应关系，因此：
ObservedShadingc(p)＝Ic(p)/Ac(p) 等式3
我们也在每个p上具有3D法线N。在许多情况下，我们可以复制由于环境光照引起的阴影，仅以作为法线的函数，因此：
Shadingc(p)＝Sc(N) 等式4
其中在等式4中的N为对应于p的法线，且
我们还可以如第二顺序函数里那样接近真正阴影模型：
Sc(N)＝NT*Qc*N 等式5
其中Qc是3x3矩阵，且NT是N的转置矩阵。
然后我们可以通过最小化下列函数预估Qc
其中i是来自使用2D到3D对应的所有图像像素的集的像素索引值。我们可以通过标准的最小平方估计来求解Qc。注意的是，Qc可以基于我们具有对应的地方，即遍及所述模型或只在特征点处，进行确定。
可以设想将该任务构造为更复杂的优化问题，其可以包括从某种分布推断加性噪声模型，对优化函数的残差或图像域中的残差的稀疏性约束，或者结合关于传感器或环境的其他假设作为附加约束。
一旦我们为每个图像通道预估了阴影模型参数Qc，那么我们可以根据所述阴影模型通过简单地将所述预估的Qc和所述AR物体的反照率模型替换成Sc(N)*Ac(X)来渲染任何AR内容的投影(即，我们具有真实的3D集合形状和反照率模型Ac)。
以示意为目的，图6在图形上示出通过Qc预估的所述阴影模型可以形象化为显示在球体或立方体表面上的法线的函数以形成阴影环境图504N。
图7在图形上示出用于将环境异常整合到AR内容的渲染中的高级处理流程。图5的预估阴影模型504可以用于生成已知3D物体的预期渲染702。然后所述预期外观702和所述观察到的图像502之间的残差可以根据已知物体的几何形状反向投影以创建误差的环境图701。这样的图在图7中被图示为显示反向投影的误差伪影的纹理立方体。在这种情况下，从观察到的图像502来的伪影511示出在图701中。然后图701可以用于补充渲染506以生成包括所述伪影511的渲染706。这可以使得AR渲染706看起来更加真实。图7的实施方式有助于在镜片和/或涉及伪影的其他类型传感器上捕捉污迹或划痕。然而，所示出的误差图的类型可捕捉其他类型的由所述环境导致的可视伪影。同时其他类型的误差图可以以物体的预期渲染和真实图像之间的差异为基础进行创建。
图8示出根据本发明的一个实施方式的计算机系统8000的实例，所述计算机系统8000可包含于或标识一个或多个渲染设备和/或其他用于执行包含在计算机程序产品8060内的指令代码的计算机。计算机程序产品8060包括在电子可读介质中的可执行代码，其可指示一个或多个诸如计算机系统8000的计算机去执行完成在本文中提及的实施方式中所示例的方法步骤的程序。所述电子可读介质可以是任何用电子方法存储信息且可本地或远程(例如经由网络连接)存取的非瞬时性介质。所述介质可包括多个地理上分散的介质，每个介质被配置成在不同的位置和/或在不同的时间存储可执行代码的不同部分。所述电子可读介质中的可执行指令代码指示所示的计算机系统8000执行本文所示的各种示例性任务。用于指导执行本文描述的任务的可执行代码通常可以在软件中实现。然而，本领域技术人员能够理解的是，计算机或其他电子设备可以在不脱离本发明的条件下，利用在硬件中实现的代码来执行许多或全部上述的任务。本领域技术人员能够理解的是，在本发明的精神和保护范围之内，可以在可执行代码上发现许多能实现所示例方法的许多种变化。
包含在计算机程序产品4060的所述代码或代码的复制件可驻留于一个或多个交互地连接于系统4000的永久存储介质(未单独示出)以在永久存储设备8070和/或用于通过处理器8020执行的存储器8010中进行加载和储存。计算机系统8000还包括I/O子系统8030和外围设备8040。I/O子系统8030、外围设备8040、处理器8020、存储器8010、和永久存储设备8060通过总线8050连接。就像永久存储设备8070和任何其他可包含计算机程序产品8060的永久存储器一样，存储器8010是非瞬时性介质(即便其像一般的易失性计算机存储器设备一样运行)。此外，本领域技术人员可以理解的是，除了存储计算机程序产品8060以执行本文中所述的处理之外，存储器8010和/或永久存储设备8060还可以配置成存储各种在本文中引用和示出的数据元素。
本领域技术人员应当理解的是，计算机系统8000示出的仅为系统的一个实例，其中可实现根据本发明的一个实施方式的计算机程序产品。作为可选实施方式的一个示例，根据本发明实施方式的包含在计算机程序产品中的指令的执行可以分布在多个计算机上，例如分布式计算网络的计算机上。
对于本领域技术人员来说，很明显的是，在没有背离本文中的发明的条件下，在那些已描述的方案之外仍可能有许多种的变化。因此，除了所附权利要求的精神之外，本发明的主题不受限制。而且，在解读说明书与权利要求之时，所有的术语均应以其联系于上下文的最广泛可能性来进行解释。具体地，术语“包括”和“包含”应解读为以非排他方式指代元件、构件、或步骤，表示所提及的元件、构件、或步骤可以存在或视被利用、或与其他未在此明确提及的元件、构件、或步骤进行结合。其中提及从由A、B、C…和N组成的集合中选出的某物中的至少一个，该文本应解读为仅需要来自所述集合的一个元件，而不是A加N，或B加N等等。

Claims (35)

1.一种渲染增强现实内容的方法，其特征在于，包括：
通过渲染设备，获取物体的预定义3D反照率模型；
通过所述渲染设备，从所述物体的数字表象中导出特征；
通过所述渲染设备，基于所述特征获取关于所述物体的增强现实AR内容；
通过所述渲染设备，从所述数字表象中导出所述对象的姿态；
通过所述渲染设备，对所述反照率模型与所述姿态进行匹配；
通过所述渲染设备，从所述数字表象和所述反照率模型中导出观察到的阴影数据；
使用所述反照率模型和所述观察到的阴影数据来导出预估物体阴影模型；
通过所述渲染设备，通过将所述预估物体阴影模型应用到所述AR内容来生成环境调节的AR内容。
2.如权利要求1所述的方法，其特征在于，所述预定义3D反照率模型包括计算机生成的物体模型。
3.如权利要求2所述的方法，其特征在于，所述计算机生成的物体模型包括网格。
4.如权利要求2所述的方法，其特征在于，所述计算机生成的物体模型包括所述物体的一部分的模型。
5.如权利要求1所述的方法，其特征在于，从所述数字表象中导出特征的步骤中包括将至少一个特征检测算法应用到所述数字表象中。
6.如权利要求5所述的方法，其特征在于，所述特征检测算法包括以下算法中的至少一个：尺度不变特征变换SIFT、二进制稳健独立基元特征BRISK、加速稳健特征SURF、基于加速分割的检测特征FAST、二进制稳健独立基元特征BRIEF、哈里斯角点、Edges、DAISY、梯度位置方向直方图GLOH、梯度方向直方图HOG、影像梯度能量EOG以及变换不变低秩纹理TILT。
7.如权利要求1所述的方法，其特征在于，获取所述AR内容的步骤包括以关联于所述特征的描述符为基础查找所述AR内容。
8.如权利要求1所述的方法，还包括所述渲染设备捕捉所述数字表象。
9.如权利要求1所述的方法，其特征在于，所述传感器环境图包括环境光照图。
10.如权利要求1所述的方法，其特征在于，所述传感器环境图包括噪声图。
11.如权利要求1所述的方法，其特征在于，所述传感器环境图包括传感器误差图。
12.如权利要求1所述的方法，其特征在于，所述预定义3D反照率模型表示下列中至少一个的已知反照率信息：玩具、车辆、脸、可购买的产品、印刷媒体、自动贩卖机、电器、植物、符号、纸巾、病人、以及游戏组件。
13.如权利要求1所述的方法，其特征在于，所述AR内容包括下列中的至少一个：游戏、电器、视频、图像、动画、3D渲染物体、实物网格、动画网格、根据年龄设置的动画、医学影像、衣服、化妆品、眼镜、家具、穿戴配件、人、头像、宠物、优惠券、贮存架、标记、解剖体、以及声波图。
14.如权利要求1所述的方法，其特征在于，还包括实时追踪至少若干个所述特征。
15.如权利要求14所述的方法，其特征在于，追踪至少若干个所述特征的步骤包括追踪在视频序列的帧里的特征。
16.如权利要求14所述的方法，其特征在于，还包括重渲染所述环境调节的AR内容以响应特征的活动。
17.如权利要求16所述的方法，其特征在于，还包括将所述环境调节的AR内容重渲染为接近于所述视频序列的所述帧率。
18.如权利要求17所述的方法，其特征在于，所述帧率为至少30帧每秒。
19.如权利要求1所述的方法，其特征在于，所述环境调节的AR内容包括动画。
20.如权利要求1所述的方法，其特征在于，渲染所述环境调节的AR内容的步骤包括将所述环境调节的AR内容覆盖在所述物体的至少一部分的图像上。
21.如权利要求1所述的方法，其特征在于，渲染所述环境调节的AR内容的步骤包括在与所述物体的至少一部分相关的显示器上呈现所述环境调节的AR内容。
22.如权利要求1所述的方法，其特征在于，预定义3D反照率模型包括在所述模型内具有位置的已知特征。
23.如权利要求20所述的方法，其特征在于，将所述预定义3D反照率模型与所述姿态进行匹配的步骤中包括以具有从所述数字表象中导出的对应特征的所述已知特征为基础，对所述预定义3D反照率模型与所述姿态进行匹配。
24.如权利要求1所述的方法，其特征在于，所述预定义3D反照率模型包括光照策略，所述光照策略包括与所述预定义3D反照率模型的对应部分相关联的光照规则集。
25.如权利要求24所述的方法，其特征在于，生成环境调节的AR内容的步骤包括将所述光照规则集中的至少一个应用到对应于所述预定义3D反照率模型的所述AR内容的一部分上。
26.如权利要求24所述的方法，其特征在于，所述光照规则集包括用于下列所述预定义3D反照率模型的部分中的至少一个的光照规则：脸部特征、武器、面板、衣着类商品、车辆特征、纸巾类型、基材、游戏特征、以及材料类型。
27.如权利要求1所述的方法，其特征在于，所述预定义3D反照率模型是从多个通过所述物体的所述渲染设备在各种光照条件和/或从各种视角下捕捉到的训练图像中生成的。
28.如权利要求27所述的方法，其特征在于，所述多个训练图像中的至少一个对应于所述物体的所述数字表象，特征导出自所述物体。
29.如权利要求27所述的方法，其特征在于，在从所述数字表象中导出所述物体的所述姿态的同时，所述渲染设备对所述训练图像进行捕捉，并且所述预定义3D反照率模型在每个新训练特征的所述姿态匹配完成时在运行状态下进行更新。
30.如权利要求29所述的方法，其特征在于，使用在线平均和贝叶斯过滤中的至少一个来在运行状态下更新所述预定义3D反照率模型。
31.如权利要求1所述的方法，其特征在于，渲染所述环境调节的AR内容的步骤包括在相对于所述物体的空间位置处呈现所述环境调节的AR内容，所述空间位置是从所述预估渲染模型表明的环境特征中导出的。
32.如权利要求31所述的方法，其特征在于，所述AR内容为从所述预估阴影模型中最暗点出发径向定位的阴影和从所述预估阴影模型中最亮点出发径向定位的光源中的至少一个。
33.如权利要求1所述的方法，其特征在于，还包括；
使用所述预估物体阴影模型和所述预定义3D反照率模型来生成所述物体的预期渲染；
使用所述物体的所述数字表象和所述观察到的阴影数据来识别一个或多个所述数字表象中的环境伪影；
通过所述渲染设备，用环境调节的AR内容来渲染所述一个或多个环境伪影中的至少若干个。
34.如权利要求1所述的方法，其特征在于，还包括：
在所述预估阴影模型之外，导出一个或多个其他的可用于修改AR内容的环境图，以使得所述AR内容的渲染能与所述渲染设备的环境更一致。
35.一种植入于非瞬时性计算机可读介质中的计算机程序产品，其特征在于，包括可通过一个或多个计算机的一个或多个计算机处理器来执行的指令，所述指令至少用于：
从在所述渲染设备上捕捉到的物体的数字表征中导出图像特征；
使用所述图像特征来对所述物体的反照率模型和所述物体的所述数字表象进行匹配；
使用在所述渲染设备处和在所述物体的所述反照率模型处捕捉到的所述物体的所述数字表象，来导出观察到的阴影；
从所述观察到的阴影中，导出预估物体阴影模型；以及
在所述渲染设备上，通过将所述预估物体阴影模型应用到关于所述物体的AR内容上，来生成环境调节的增强现实(AR)内容。
CN201580038001.8A 2014-05-13 2015-05-13 通过反照率模型、系统和方法的增强现实内容渲染 Active CN106575450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910630479.XA CN110363840A (zh) 2014-05-13 2015-05-13 通过反照率模型、系统和方法的增强现实内容渲染

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461992804P 2014-05-13 2014-05-13
US61/992,804 2014-05-13
PCT/US2015/030675 WO2015175730A1 (en) 2014-05-13 2015-05-13 Augmented reality content rendering via albedo models, systems and methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910630479.XA Division CN110363840A (zh) 2014-05-13 2015-05-13 通过反照率模型、系统和方法的增强现实内容渲染

Publications (2)

Publication Number Publication Date
CN106575450A true CN106575450A (zh) 2017-04-19
CN106575450B CN106575450B (zh) 2019-07-26

Family

ID=54480652

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580038001.8A Active CN106575450B (zh) 2014-05-13 2015-05-13 通过反照率模型、系统和方法的增强现实内容渲染
CN201910630479.XA Withdrawn CN110363840A (zh) 2014-05-13 2015-05-13 通过反照率模型、系统和方法的增强现实内容渲染

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910630479.XA Withdrawn CN110363840A (zh) 2014-05-13 2015-05-13 通过反照率模型、系统和方法的增强现实内容渲染

Country Status (4)

Country Link
US (6) US9805510B2 (zh)
JP (2) JP6360200B2 (zh)
CN (2) CN106575450B (zh)
WO (1) WO2015175730A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330980A (zh) * 2017-07-06 2017-11-07 重庆邮电大学 一种基于无标志物的虚拟家具布置系统
CN107749076A (zh) * 2017-11-01 2018-03-02 太平洋未来科技（深圳）有限公司 增强现实场景中生成现实光照的方法和装置
CN108197571A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种面罩遮挡检测方法及电子设备
CN108416902A (zh) * 2018-02-28 2018-08-17 成都果小美网络科技有限公司 基于差异识别的实时物体识别方法和装置
CN108632538A (zh) * 2018-05-22 2018-10-09 长沙全度影像科技有限公司 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
CN109131355A (zh) * 2018-07-31 2019-01-04 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其基于用户识别的车载场景互动方法
CN110411982A (zh) * 2019-07-04 2019-11-05 云南省水利水电勘测设计研究院 一种利用地面气象观测资料估算地表反照率的方法
CN110852143A (zh) * 2018-08-21 2020-02-28 脸谱公司 在增强现实环境中的交互式文本效果
CN111583374A (zh) * 2020-05-11 2020-08-25 深圳市环球数码影视文化有限公司 一种渲染代理文件的制作方法
CN113168906A (zh) * 2018-12-10 2021-07-23 皇家飞利浦有限公司 用于增强现实-增强现场维修支持的系统和方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462499B2 (en) * 2012-10-31 2019-10-29 Outward, Inc. Rendering a modeled scene
WO2015175730A1 (en) 2014-05-13 2015-11-19 Nant Vision, Inc. Augmented reality content rendering via albedo models, systems and methods
US9582890B2 (en) * 2014-05-19 2017-02-28 Ricoh Company, Ltd. Superpixel-based image segmentation using shading and albedo decomposition
WO2016179248A1 (en) 2015-05-05 2016-11-10 Ptc Inc. Augmented reality system
US9922452B2 (en) * 2015-09-17 2018-03-20 Samsung Electronics Co., Ltd. Apparatus and method for adjusting brightness of image
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US10656624B2 (en) 2016-01-29 2020-05-19 Hewlett-Packard Development Company, L.P. Identify a model that matches a 3D object
EP3485465A1 (en) * 2016-09-23 2019-05-22 Apple Inc. Augmented reality display
CN106887045A (zh) * 2017-01-18 2017-06-23 北京商询科技有限公司 一种基于混合现实设备的家装设计方法及系统
CN108805635A (zh) * 2017-04-26 2018-11-13 联想新视界（北京）科技有限公司 一种对象的虚拟显示方法和虚拟设备
US11030808B2 (en) 2017-10-20 2021-06-08 Ptc Inc. Generating time-delayed augmented reality content
US10572716B2 (en) * 2017-10-20 2020-02-25 Ptc Inc. Processing uncertain content in a computer graphics system
US10549853B2 (en) 2017-05-26 2020-02-04 The Boeing Company Apparatus, system, and method for determining an object's location in image video data
US10789682B2 (en) * 2017-06-16 2020-09-29 The Boeing Company Apparatus, system, and method for enhancing an image
US10282913B2 (en) 2017-07-24 2019-05-07 Visom Technology, Inc. Markerless augmented reality (AR) system
US10535160B2 (en) 2017-07-24 2020-01-14 Visom Technology, Inc. Markerless augmented reality (AR) system
US10613332B1 (en) 2018-02-15 2020-04-07 Facebook Technologies, Llc Near-eye display assembly with enhanced display resolution
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
CN109410309B (zh) * 2018-09-30 2024-03-08 深圳市商汤科技有限公司 重光照方法和装置、电子设备和计算机存储介质
US11295514B2 (en) * 2018-11-16 2022-04-05 Nvidia Corporation Inverse rendering of a scene from a single image
US11074147B2 (en) * 2018-11-30 2021-07-27 International Business Machines Corporation Continuous mutual extended processor self-test
KR20200093093A (ko) 2019-01-08 2020-08-05 삼성전자주식회사 분산 추론 시스템 및 이의 동작 방법
US11087529B2 (en) * 2019-09-27 2021-08-10 Disney Enterprises, Inc. Introducing real-time lighting effects to illuminate real-world physical objects in see-through augmented reality displays
JP6907357B1 (ja) * 2020-02-13 2021-07-21 エヌエイチエヌ コーポレーション 情報処理プログラムおよび情報処理システム
CN111275827B (zh) 2020-02-25 2023-06-16 北京百度网讯科技有限公司 基于边缘的增强现实三维跟踪注册方法、装置和电子设备
US11688079B2 (en) 2020-03-31 2023-06-27 Nant Holdings Ip, Llc Digital representation of multi-sensor data stream
JP6935531B1 (ja) * 2020-04-01 2021-09-15 エヌエイチエヌ コーポレーション 情報処理プログラムおよび情報処理システム
CN111443814B (zh) * 2020-04-09 2023-05-05 深圳市瑞云科技有限公司 一种基于云渲染的ar眼镜系统
US20230107571A1 (en) * 2021-10-01 2023-04-06 Liberty Reach Inc. Machine Vision-Based Method and System for Locating Objects within a Scene Containing the Objects
US11403831B1 (en) 2021-01-14 2022-08-02 Microsoft Technology Licensing, Llc Efficient color theming of background images in web-based mixed reality environments
WO2022175044A1 (en) * 2021-02-18 2022-08-25 Inait Sa Annotation of 3d models with signs of use visible in 2d images
US11544914B2 (en) * 2021-02-18 2023-01-03 Inait Sa Annotation of 3D models with signs of use visible in 2D images
US11935254B2 (en) 2021-06-09 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for predicting depth using style transfer
GB2619552A (en) * 2022-06-10 2023-12-13 Sony Interactive Entertainment Europe Ltd Computer implemented method and system for providing an augmented reality entertainment environment
CN116245741B (zh) * 2022-06-28 2023-11-17 荣耀终端有限公司 图像处理方法及其相关设备
CN116168131B (zh) * 2022-12-09 2023-11-21 北京百度网讯科技有限公司 布料的渲染处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107545A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
CN102696057A (zh) * 2010-03-25 2012-09-26 比兹摩德莱恩有限公司 增强现实系统
US20130141434A1 (en) * 2011-12-01 2013-06-06 Ben Sugden Virtual light in augmented reality

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6298148B1 (en) * 1999-03-22 2001-10-02 General Electric Company Method of registering surfaces using curvature
JP4213327B2 (ja) * 1999-07-12 2009-01-21 富士フイルム株式会社 光源方向と３次元形状の推定方法および装置並びに記録媒体
US6546309B1 (en) 2000-06-29 2003-04-08 Kinney & Lange, P.A. Virtual fitting room
US6850872B1 (en) * 2000-08-30 2005-02-01 Microsoft Corporation Facial image processing methods and systems
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
AU2002239328A1 (en) * 2000-11-08 2002-05-27 Yale University Illumination based image synthesis
US7262770B2 (en) 2002-03-21 2007-08-28 Microsoft Corporation Graphics image rendering with radiance self-transfer for low-frequency lighting environments
US7301547B2 (en) * 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
US7249005B2 (en) * 2004-08-17 2007-07-24 Dirtt Environmental Solutions Ltd. Design software incorporating efficient 3-D rendering
US7324688B2 (en) 2005-02-14 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Face relighting for normalization of directional lighting
JP2007156561A (ja) * 2005-11-30 2007-06-21 Canon Inc 複合現実感提示方法および複合現実感提示システム
WO2007139067A1 (ja) * 2006-05-29 2007-12-06 Panasonic Corporation 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
GB0616685D0 (en) 2006-08-23 2006-10-04 Warwick Warp Ltd Retrospective shading approximation from 2D and 3D imagery
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
KR101342987B1 (ko) 2006-11-21 2013-12-18 톰슨 라이센싱 3ｄ 이미지의 컬러 보정을 위한 방법 및 시스템
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
GB0712690D0 (en) 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
US8090160B2 (en) 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
JP4435867B2 (ja) * 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5237066B2 (ja) * 2008-11-28 2013-07-17 キヤノン株式会社 複合現実感提示システムおよび複合現実感提示方法、プログラム
US8797321B1 (en) * 2009-04-01 2014-08-05 Microsoft Corporation Augmented lighting environments
US8558837B2 (en) * 2010-01-18 2013-10-15 Disney Enterprises, Inc. Modular radiance transfer
US8194072B2 (en) * 2010-03-26 2012-06-05 Mitsubishi Electric Research Laboratories, Inc. Method for synthetically relighting images of objects
KR101293776B1 (ko) * 2010-09-03 2013-08-06 주식회사 팬택 객체 리스트를 이용한 증강 현실 제공 장치 및 방법
US8463073B2 (en) 2010-11-29 2013-06-11 Microsoft Corporation Robust recovery of transform invariant low-rank textures
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5410473B2 (ja) 2011-06-08 2014-02-05 キヤノン電子株式会社 光学部材
US9164723B2 (en) 2011-06-30 2015-10-20 Disney Enterprises, Inc. Virtual lens-rendering for augmented reality lens
WO2013036233A1 (en) 2011-09-08 2013-03-14 Intel Corporation Augmented reality based on imaged object characteristics
US9710958B2 (en) * 2011-11-29 2017-07-18 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
US9330500B2 (en) * 2011-12-08 2016-05-03 The Board Of Trustees Of The University Of Illinois Inserting objects into content
CN102568026B (zh) * 2011-12-12 2014-01-29 浙江大学 一种多视点自由立体显示的三维增强现实方法
US9578226B2 (en) * 2012-04-12 2017-02-21 Qualcomm Incorporated Photometric registration from arbitrary geometry for augmented reality
US20140063017A1 (en) * 2012-08-31 2014-03-06 Greatbatch Ltd. Method and System of Model Shading and Reduction of Vertices for 3D Imaging on a Clinician Programmer
US20140085625A1 (en) 2012-09-26 2014-03-27 Abdelrehim Ahmed Skin and other surface classification using albedo
US9524585B2 (en) * 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
US10062210B2 (en) * 2013-04-24 2018-08-28 Qualcomm Incorporated Apparatus and method for radiance transfer sampling for augmented reality
US9299188B2 (en) * 2013-08-08 2016-03-29 Adobe Systems Incorporated Automatic geometry and lighting inference for realistic image editing
US8976191B1 (en) * 2014-03-13 2015-03-10 Qualcomm Incorporated Creating a realistic color for a virtual object in an augmented reality environment
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
US20150325048A1 (en) * 2014-05-06 2015-11-12 Mobile R&D Inc. Systems, methods, and computer-readable media for generating a composite scene of a real-world location and an object
WO2015175730A1 (en) 2014-05-13 2015-11-19 Nant Vision, Inc. Augmented reality content rendering via albedo models, systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110107545A (ko) * 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치
CN102696057A (zh) * 2010-03-25 2012-09-26 比兹摩德莱恩有限公司 增强现实系统
CN102426695A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种单幅图像场景的虚实光照融合方法
US20130141434A1 (en) * 2011-12-01 2013-06-06 Ben Sugden Virtual light in augmented reality

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330980A (zh) * 2017-07-06 2017-11-07 重庆邮电大学 一种基于无标志物的虚拟家具布置系统
CN107749076A (zh) * 2017-11-01 2018-03-02 太平洋未来科技（深圳）有限公司 增强现实场景中生成现实光照的方法和装置
CN108197571B (zh) * 2018-01-02 2021-09-14 联想(北京)有限公司 一种面罩遮挡检测方法及电子设备
CN108197571A (zh) * 2018-01-02 2018-06-22 联想(北京)有限公司 一种面罩遮挡检测方法及电子设备
CN108416902A (zh) * 2018-02-28 2018-08-17 成都果小美网络科技有限公司 基于差异识别的实时物体识别方法和装置
CN108632538A (zh) * 2018-05-22 2018-10-09 长沙全度影像科技有限公司 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
CN108632538B (zh) * 2018-05-22 2020-07-03 长沙全度影像科技有限公司 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
CN109131355A (zh) * 2018-07-31 2019-01-04 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其基于用户识别的车载场景互动方法
CN110852143A (zh) * 2018-08-21 2020-02-28 脸谱公司 在增强现实环境中的交互式文本效果
CN110852143B (zh) * 2018-08-21 2024-04-09 元平台公司 在增强现实环境中的交互式文本效果
CN113168906A (zh) * 2018-12-10 2021-07-23 皇家飞利浦有限公司 用于增强现实-增强现场维修支持的系统和方法
CN110411982A (zh) * 2019-07-04 2019-11-05 云南省水利水电勘测设计研究院 一种利用地面气象观测资料估算地表反照率的方法
CN110411982B (zh) * 2019-07-04 2021-09-24 云南省水利水电勘测设计研究院 一种利用地面气象观测资料估算地表反照率的方法
CN111583374A (zh) * 2020-05-11 2020-08-25 深圳市环球数码影视文化有限公司 一种渲染代理文件的制作方法

Also Published As

Publication number Publication date
WO2015175730A1 (en) 2015-11-19
US10192365B2 (en) 2019-01-29
JP6360200B2 (ja) 2018-07-18
US11710282B2 (en) 2023-07-25
US20150332512A1 (en) 2015-11-19
US20180005453A1 (en) 2018-01-04
US20230274510A1 (en) 2023-08-31
US10685498B2 (en) 2020-06-16
US20190206137A1 (en) 2019-07-04
JP2017524999A (ja) 2017-08-31
US11176754B2 (en) 2021-11-16
US9805510B2 (en) 2017-10-31
JP6644833B2 (ja) 2020-02-12
CN110363840A (zh) 2019-10-22
JP2018163692A (ja) 2018-10-18
US20200286296A1 (en) 2020-09-10
US20220036661A1 (en) 2022-02-03
CN106575450B (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN106575450B (zh) 通过反照率模型、系统和方法的增强现实内容渲染
Whelan et al. Real-time large-scale dense RGB-D SLAM with volumetric fusion
US11042607B2 (en) Recognition-based content management, systems and methods
JP5833189B2 (ja) 被写体の三次元表現を生成する方法およびシステム
US20220383649A1 (en) System and method for facilitating graphic-recognition training of a recognition model
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
Wang et al. Normalgan: Learning detailed 3d human from a single rgb-d image
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
Ingale Real-time 3D reconstruction techniques applied in dynamic scenes: A systematic literature review
CN114153548A (zh) 一种展示方法、装置、计算机设备及存储介质
Khan et al. Towards monocular neural facial depth estimation: Past, present, and future
EP4298592A1 (en) Photo relighting and background replacement based on machine learning models
Du Fusing multimedia data into dynamic virtual environments
Winnemoller Perceptually-motivated non-photorealistic graphics
Richter et al. A discriminative approach to perspective shape from shading in uncalibrated illumination
Agus et al. PEEP: Perceptually Enhanced Exploration of Pictures.
Du [Retracted] An Improved Method Research on Graphics and Image Processing System
Jogeshwar Look at the Bigger Picture: Analyzing Eye Tracking Data With Multi-Dimensional Visualization
CN115494958A (zh) 手物交互图像生成方法、系统、设备及存储介质
Wu Inverse rendering for scene reconstruction in general environments
Beato Towards Real-time Mixed Reality Matting in Natural Scenes
Moghaddam Tools for acquired scene analysis and transmission

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant