CN105144245B

CN105144245B - 用于扩增现实的辐射转移取样的设备和方法

Info

Publication number: CN105144245B
Application number: CN201480021107.2A
Authority: CN
Inventors: L·格鲁贝尔; D·施马尔施蒂格
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-04-24
Filing date: 2014-02-26
Publication date: 2018-06-22
Anticipated expiration: 2034-02-26
Also published as: US10062210B2; EP2989614A1; EP2989614B1; CN105144245A; KR101933860B1; WO2014175958A1; JP2016520908A; KR20160002994A; JP6356784B2; US20140320530A1

Abstract

本发明呈现用于扩增现实的辐射转移取样的方法、系统、计算机可读媒体和设备。在一些实施例中，一种方法包含：接收环境的至少一个视频帧。所述方法进一步包含：产生所述环境的表面重建。所述方法另外包含：在所述环境的表面重建内投射多个光线。在所述环境的所述表面重建内投射多个光线后，所述方法包含：从所述至少一个视频帧产生所述环境的照明数据。所述方法还包含：基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的光线的子集。所述方法进一步包含：基于不包含所述光线子集的所述多个光线在所述视频帧上渲染所述虚拟对象。

Description

用于扩增现实的辐射转移取样的设备和方法

背景技术

本发明的方面涉及扩增现实。更确切地说，本发明的方面涉及扩增现实的辐射转移取样。

组合虚拟和现实场景的光现实渲染为例如游戏或广告等许多扩增现实(AR)应用的基本目标。当前解决方案利用现有软件开发套组来获得场景模型，其具有实时更新和用于俘获图像的相机的3-D跟踪。以基于全局光照的光现实AR图像为目标的解决方案通常将计算视图中每一表面点的辐射转移(RT)。RT用于对直接来自场景模型的环境照明信息取样。RT信息连同环境照明和场景模型用于产生现实场景中的虚拟对象的现实渲染图。所产生的图像具有环境、虚拟对象与现实对象之间的光交互的感知上似乎合理的近似。

然而，计算动态地改变的场景的RT(表示为体元体积)需要体积光线跟踪。对于每一帧中的场景模型的所有可见表面点应用此程序在计算上较昂贵。即使利用较快处理器，也很可能必需求助于有规律的子取样来获得可接受交互速度。简单子取样的使用引入不合需要的混叠假影且并非最佳解决方案。

发明内容

某些实施例描述一种用于扩增现实的改进的辐射转移取样的设备和方法。

本文中所揭示的系统和方法允许通过应用自适应取样、滤波和重建方法通过采用可见性信号的4-D空间以及时间相干性而实现扩增现实的改进的辐射转移取样。这些用于RT计算的方法增加效率且提供较高质量结果。其还允许对计算费用与图像质量之间的折衷的更多控制，这在移动装置中很重要。

在一些实施例中，一种方法包含接收环境的至少一个视频帧。所述方法进一步包含产生环境的表面重建。所述方法另外包含在环境的表面重建内投射多个光线。在环境的表面重建内投射多个光线后，所述方法包含从所述至少一个视频帧产生环境的照明数据。所述方法还包含基于环境内需要优化的区域确定来自环境中的所述多个光线的光线的子集。所述方法进一步包含基于不包含所述光线子集的所述多个光线渲染所述至少一个视频帧上的虚拟对象。

在一些实施例中，所述环境内需要优化的所述区域包含阴影区域、表面边缘和阴影边缘。

在一些实施例中，所述方法进一步包含基于表面重建和照明数据产生所述至少一个视频帧中所述环境的所估计现实世界光照数据。

在一些实施例中，所述确定来自所述多个光线的光线的子集包括将光照和差分渲染技术应用于所述环境以及作为其结果而分析阴影信息。

在一些实施例中，所述确定来自所述多个光线的光线的子集包括基于包括所述多个光线的光线空间的4-D细分和近似方差分析中的至少一者应用自适应取样技术。

在一些实施例中，所述方法进一步包含将与光线子集相关联的时间相干性信息存储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

在一些实施例中，产生照明数据包含将所述至少一个视频帧转换为强度分量和色彩分量，以及对强度分量去噪以提取照明数据。

在一些实施例中，使用所述至少一个视频帧、来自立体相机的图像或来自深度相机的深度图像中的至少一者执行产生环境的表面重建。

在一些实施例中，一种设备包含相机、存储器和处理器。处理器耦合到存储器以接收由相机俘获的环境的至少一个视频帧。所述处理器经配置以产生环境的表面重建。所述处理器进一步经配置以在所述环境的表面重建内投射多个光线。所述处理器还经配置以从所述至少一个视频帧产生环境的照明数据。所述处理器另外经配置以基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的光线的子集。所述处理器进一步经配置以基于不包含所述光线子集的所述多个光线渲染所述至少一个视频帧上的虚拟对象。

在一些实施例中，一种方法包含用于接收环境的至少一个视频帧的装置。所述方法进一步包含用于产生环境的表面重建的装置。所述方法另外包含用于在环境的表面重建内投射多个光线的装置。在环境的表面重建内投射多个光线后，所述方法包含用于从所述至少一个视频帧产生环境的照明数据的装置。所述方法还包含用于基于环境内需要优化的区域确定来自环境中的所述多个光线的光线的子集的装置。所述方法进一步包含用于基于不包含所述光线子集的所述多个光线渲染所述至少一个视频帧上的虚拟对象的装置。

在一些实施例中，一种处理器可读非暂时性媒体包含处理器可读指令，所述处理器可读指令经配置以致使处理器接收环境的至少一个视频帧的序列。所述指令进一步经配置以致使所述处理器产生环境的表面重建。所述指令进一步经配置以致使所述处理器在所述环境的表面重建内投射多个光线。所述指令进一步经配置以致使所述处理器从所述至少一个视频帧产生所述环境的照明数据。所述指令进一步经配置以致使所述处理器基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的光线的子集。所述指令进一步经配置以致使所述处理器基于不包含所述光线子集的所述多个光线渲染所述至少一个视频帧上的虚拟对象。

附图说明

借助于实例说明本发明的方面。在附图中，相同的参考数字指示类似元件，且：

图1说明可并入有一或多个实施例的系统的简化图；

图2为根据本发明的实施例能够渲染环境中的虚拟对象的移动装置的框图；

图3说明根据本发明的实施例包含现实世界对象和虚拟世界对象的场景几何形状；

图4为说明根据本发明的实施例的无探针光度对齐管线的步骤的总体流程图；以及

图5为描绘用于扩增现实的辐射转移取样的示范性操作的说明性流程图。

具体实施方式

现将相对于形成其一部分的附图来描述若干说明性实施例。虽然下文描述可实施本发明的一或多个方面的特定实施例，但可使用其它实施例，且可在不脱离本发明的范围或所附权利要求书的精神的情况下进行各种修改。

图1A和1B说明如上文所描述能够进行光现实扩增现实的有效辐射转移取样的移动装置100的(分别)前侧和后侧。

移动装置100说明为包含外壳101、可以是触摸屏显示器的显示器102以及扬声器104和麦克风106。移动装置100进一步包含前置相机110以俘获环境的图像。可了解，相机110可为RGB相机、深度相机、立体相机等。术语“相机”还可指代可为不同类型的多个相机(例如，RGB相机和深度相机)。在相机110为深度相机的情况下，其可提供所成像环境的深度数据。或者，在相机110为立体相机的情况下，其可使用来自相机110的至少一个图像(视频帧)产生所成像环境的深度数据。

如本文所使用，移动装置指代任何便携式电子装置，例如蜂窝式或其它无线通信装置、智能电话、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、智能手表、智能眼镜、汽车中使用的智能装置、家庭中使用的智能装置，或其它合适的移动装置。移动装置可能够接收无线通信和/或导航信号，例如导航定位信号。术语“移动装置”还希望包含例如通过短程无线、红外线、缆线连接或其它连接与个人导航装置(PND)通信的装置，而不管在装置处或在PND处是否发生卫星信号接收、辅助数据接收和/或位置相关处理。并且，“移动装置”希望包含能够俘获其环境的图像(或视频)的所有电子装置，包含无线通信装置、计算机、膝上型计算机、平板计算机等。可了解，“移动装置”未必需要有线或无线连接。

移动装置100使用相机110俘获具有任意(即，凭经验未知的)几何形状和光照条件的环境的至少一个视频帧，本文有时简称为图像。移动装置100经配置以以每帧为基础从所俘获视频帧估计现实世界光照条件，且将光照条件应用于显示器102中渲染的AR对象。在一些实施例中，从所俘获视频帧估计现实世界光条件是每隔n个帧进行。移动装置100还可在环境上渲染AR对象时将来自AR对象的光照效果应用于现实世界对象上。移动装置100能够从环境中的任意几何形状估计环境光照条件。因此，移动装置100并不需要将特殊光探针(例如反射球)放置于现实世界环境中以便估计现实世界光照条件。移动装置100可使用任意几何形状与辐射转移计算和球面谐波组合来改进环境光照的估计。

图2为根据本发明的实施例能够渲染环境中的虚拟对象的移动装置100的框图。移动装置100包含相机110。移动装置100可进一步包含用户接口103，其包含显示器102、小键盘105或用户可经由其将信息输入到移动装置100中的其它输入装置。视需要，可通过将虚拟小键盘集成到具有触摸传感器的显示器102中而排除小键盘105。用户接口103还可包含麦克风106和扬声器104，例如如果移动装置100是例如蜂窝式电话等移动装置。当然，移动装置100可包含与本发明不相关的其它元件。

移动装置100还包含连接到相机110且与相机110通信的控制单元180。控制单元180可由总线180b、处理器181和相关联存储器184、硬件182、软件185和固件183提供。控制单元180可包含表面重建单元191，其可产生环境的表面重建。辐射转移单元193产生辐射转移。照明数据单元194基于所俘获的至少一个视频帧产生照明数据，例如包含将图像转换为强度分量且对强度分量滤波以任选地对强度分量去噪。光照估计单元195基于环境的照明数据和辐射转移确定所估计光照条件。渲染单元197可基于姿势和光照解决方案渲染所述至少一个视频帧上的虚拟对象，且可使用差分渲染和合成。

出于清楚起见，分开说明且与处理器181分开说明例如表面重建单元191、辐射转移单元193、照明数据单元194、光照估计单元195、光照评估单元196和渲染单元197等各种处理单元，但其全部或一些可与处理器181组合和/或作为处理器181的一部分或基于处理器181中运行的软件185中的指令而实施在处理器中。将理解，如本文所使用，处理器181和/或各种处理单元可但不必必定包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)等等。术语处理器希望描述由系统而非特定硬件实施的功能。此外，如本文中所使用，术语“存储器”指代任何类型的计算机存储媒体，包含长期存储器、短期存储器或与移动装置相关联的其它存储器，且不应限于任何特定类型的存储器或特定数目的存储器，或其上存储有存储器的特定类型的媒体。

取决于应用，可通过各种装置实施本文中所描述的方法。举例来说，这些方法可在硬件182、固件183、软件185或其任何组合中实施。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元，或其组合内。

对于固件和/或软件实施方案，可用执行本文中所描述功能的模块(例如，程序、功能等等)实施所述方法。在实施本文所描述的方法时，可使用有形地体现指令的任何机器可读媒体。举例来说，软件代码可存储在存储器184中且由处理器181执行。存储器可在处理器181内或外部实施。如果在固件和/或软件中实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读的存储媒体上，其中所述存储媒体不包含暂时性传播信号。实例包含编码有数据结构的存储媒体和编码有计算机程序的存储装置。存储媒体包含物理计算机存储媒体。储存媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置，磁盘存储装置或其它磁性存储装置，或任何其它可用以存储呈指令或数据结构形式的所要程序代码并且可由计算机存取的媒体；如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在存储媒体的范围内。

移动装置100可进一步包含以下各者(和/或与以下各者通信)：一或多个非暂时性存储装置116，所述非暂时性存储装置116可包括(但不限于)本地和/或网络可存取的存储装置，且/或可包含(但不限于)磁盘驱动器、驱动阵列、光学存储装置、例如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储装置，其可为可编程的、可快闪更新的和/或其类似者。此类存储装置可经配置以实施任何适当数据存储装置，包含(但不限于)各种文件系统、数据库结构和/或其类似者。

移动装置100可能还包含通信子系统114，其可包含(但不限于)调制解调器、网卡(无线或有线)、红外线通信装置、无线通信装置和/或芯片组(例如，Bluetooth^TM装置、802.11装置、WiFi装置、WiMax装置、蜂窝式通信设施等)和/或其类似者。通信子系统114可准许与网络、其它计算机系统和/或本文中所描述的任何其它装置交换数据。在多个实施例中，移动装置100将进一步包括非暂时性工作存储器184，其可包含RAM或ROM装置。

移动装置100可另外包含一或多个输出装置112，其可包含(不限于)显示单元(例如本发明的实施例中使用的装置)、打印机和/或类似物。在本发明的实施例的一些实施方案中，各种用户接口装置(例如，显示器102、麦克风106、小键盘105和扬声器104)和输出装置112可内嵌到例如显示装置、台、地板、壁和窗口屏幕等接口中。此外，所用户接口装置和耦合到处理器的输出装置112可形成多维跟踪系统。

移动装置100还可包括位于存储器184内的软件元件，包含操作系统、装置驱动程序、可执行库和/或其它代码，例如一或多个应用程序，所述一或多个应用程序可包括由各种实施例提供的计算机程序，且/或可经设计以实施如本文所描述的由其它实施例提供的方法和/或配置如本文所描述的由其它实施例提供的系统。仅举例来说，相对于下文论述的方法描述的一或多个程序可能经实施为可由移动装置(和/或移动装置内的处理器)执行的代码和/或指令；在一方面中，随后，此些代码和/或指令可用于配置和/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。

这些指令和/或代码的集合可能存储在计算机可读存储媒体(例如，上文所描述的存储装置116)上。在一些情况下，存储媒体可能并入于计算机系统(例如，移动装置100)内。在其它实施例中，存储媒体可能与计算机系统分离(例如，可装卸式媒体(例如，压缩光盘)，和/或提供于安装包中，使得存储媒体可用以编程、配置和/或调适其上存储有指令/代码的通用计算机。这些指令可能呈可由移动装置100执行的可执行码的形式，且/或可能呈源和/或可安装码的形式，所述源和/或可安装码在移动装置100上编译和/或安装于移动装置100上(例如，使用多种通常可用编译程序、安装程序、压缩/解压缩公用程序等中的任一者)后，接着呈可执行码的形式。

可根据特定要求作出实质性变化。举例来说，还可能使用定制硬件，且/或可能将特定元件实施于硬件、软件(包含便携式软件，例如小程序等)或两者中。另外，可利用到其它计算装置(例如网络输入/输出装置)的连接。在一些实施例中，可省略移动装置100的一或多个元件或可将其与所说明系统分开实施。举例来说，处理器181和/或其它元件可与用户接口103装置分开实施。在一个实施例中，处理器181经配置以接收来自分开实施的一或多个相机110的图像。在一些实施例中，除图2中说明的元件之外的元件可包含在移动装置100中。

一些实施例可采用移动装置(例如移动装置100)执行根据本发明的方法。举例来说，所描述方法的程序中的一些或全部可由移动装置100响应于处理器181执行存储器184中包含的一或多个指令的一或多个序列(其可能并入到操作系统和/或其它代码，例如应用程序)而执行。此些指令可从例如存储装置116中的一或多者等另一计算机可读媒体读取到存储器184中。仅举例来说，存储器184中包含的指令的序列的执行可能致使处理器181执行本文所描述的方法的一或多个程序。

如本文所使用，术语“机器可读媒体”和“计算机可读媒体”是指参与提供致使机器以特定方式操作的数据的任何媒体。在使用移动装置100实施的一些实施例中，各种计算机可读媒体可能参与将指令/代码提供到处理器181以供执行和/或可能用于存储和/或携载此些指令/代码(例如，作为信号)。在许多实施方案中，计算机可读媒体为物理和/或有形存储媒体。此媒体可以采用许多形式，包括但不限于非易失性媒体、易失性媒体，和发射媒体。非易失性媒体包含(例如)光盘和/或磁盘，例如存储装置116。易失性媒体包含但不限于例如存储器184等动态存储器。发射媒体包含(但不限于)同轴电缆、铜线和光纤，包含包括总线180b的电线，以及通信子系统114的各种组件(和/或通信子系统114提供与其它装置的通信所借助于的媒体)。因此，发射媒体还可呈波的形式(包含(但不限于)无线电、声波和/或光波，例如，在无线电波和红外线数据通信期间产生的那些波)。

举例来说，常见形式的物理和/或有形计算机可读媒体包含软性磁盘、柔性磁盘、硬盘、磁带，或任何其它磁性媒体、CD-ROM、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、RAM、PROM、EPROM、快闪-EPROM、任何其它存储器芯片或盒带、如下文所描述的载波，或计算机可从其读取指令和/或代码的任何其它媒体。

各种形式的计算机可读媒体可参与将一或多个指令的一或多个序列携载到处理器181以供执行。仅仅作为实例，最初可将指令携载于远程计算机的磁盘和/或光盘上。远程计算机可能将指令加载到其动态存储器中，并经由发射媒体将指令作为信号进行发送以由移动装置100接收和/或执行。根据本发明的各种实施例，可能呈电磁信号、声学信号、光学信号和/或其类似者形式的这些信号均为可在其上编码指令的载波的实例。

通信子系统114(和/或其组件)通常将接收信号，且总线180b接着可能将信号(和/或由信号携载的数据、指令等)携载到处理器181从其检索并执行指令的存储器184。可在由处理器181执行之前或之后，将由存储器184所接收的指令任选地存储于非暂时性存储装置116上。

图3说明包含现实世界对象330和虚拟世界对象340的场景几何形状300。场景几何形状300还包含相机310或若干光线投射到世界空间中的视角。世界空间包含现实世界对象330和虚拟世界对象340两者。各图描绘工作区域及其不同域。相机310从图像空间发出光线350以确定几何形状的表面且测量表面点的反射B(图像强度)。反射测量值在图像空间中。一旦光线击中表面(例如，在现实世界对象的表面的点x和虚拟世界对象的表面的点z处)，算法就通过在不同方向上发出均一地对球面取样的光线而测试可见性V(x)。此称为可见性空间。可实行类似过程以测试可见性V(z)。

如上文所提及，当前解决方案具有许多局限性。这些局限性中的一者为计算RT需要场景模型中的光线跟踪。对于每一帧中的场景模型的所有可见表面点应用此程序在计算上较昂贵。

RT为场景的表面上的给定点的潜在光交互(传出和进入光线)。跟踪光线以便确定表面点与遥远环境光之间是否存在阻挡几何形状(可见性测试)，且确定多少光潜在地降落到所述表面点上。在一些实施例中，以SH表示(例如，16浮点值)压缩和存储所产生的RT可产生增加的效率。然而，为计算RT，必须跟踪沿着每一方向进入环境的足够数目的光线以便对可见性取样(例如，n＝128方向)。可见性信号可因此类似于表面光场而参数化为4-D函数：

如果所述点被另一表面点阻挡，

否则(光线可看到环境光照)

其中(r,s)指示表面上的点且指示光线的方向。可通过应用自适应取样、滤波和重建方法而采用信号的4-D空间以及时间相干性。尽管存在用于在针对计算机图形应用的取样中使用相干性的一些方法，但其均未应用于针对在线或实时经重建几何形状的RT取样。计算机图形场景通常较可预测且因此RT可自然地预先计算。预先计算允许最佳运行时性能，然而对于动态场景具有挑战性。AR应用必须支持这些动态场景。

屏幕和可见性空间中的交错取样

利用交错取样，取样工作负荷在例如n帧等一系列帧上分散。举例来说，每个像素p(r,s)的取样工作负荷的一半在第一帧中处理，且对于像素(p(r+1,s)另一半在第二帧中处理。交错中间结果在最终结果中组合为完全取样最终结果。此可在屏幕空间(r,s)或可见性(光线)空间中实现。在此情况下，(r,s)指代对应于屏幕上的像素的表面点，因为关注点可能仅在于对此帧相关的RT。光线空间可相对于世界坐标系给定。n方向的空间可拆分成k个不相交子集且一对一指派到k个邻近像素，从而递送分层随机取样方案。因为可能有理由假定v通常在所有四个维度中展现平滑变型，所以可通过用4-D高斯核心(或例如帽或框滤波器等更简单的近似)对其滤波而获得完全分辨率下v的合理重建。所产生的经滤波可见性函数可针对每个像素投射到SH表示中。

在特定情形中，可能需要计算单一帧的v，例如并不关心移动相机或改变的场景。交错取样方法可扩展以随时间收敛到完全取样。此可通过对n帧和n中间结果(子集)计算最终结果且将那些中间结果汇编为完全取样结果而实现。汇编最终结果可包含再投射，因为相机并非自然静态。

可见性的屏幕空间和对象空间高速缓存

3-D表面点的可见性可自然地与对象空间坐标而非屏幕空间坐标相关联。因此可较自然地将可见性计算存储在对象空间中。然而，因为可使用体元栅格，所以存储SH信息需要大量存储器。实际上，可存储以下信息：长度n的可见性位向量(其中每一位指示特定方向的值)，和指示哪些光线已经被跟踪的取样收敛位向量。

因为可见性到SH系数中的投射也可能是昂贵的计算，所以可存储位向量表示(对象空间中)和SH表示(图像空间中，例如每像素)两者。此允许独立地再使用位向量和SH表示，这对于处理移动相机和改变的场景变得重要。

自适应取样

代替于执行有规律的交错取样，可采用自适应取样集中其中可预期可见差的区中的计算工作量。为实现所述目标，可使用屏幕空间中的加权掩码，其编码对于较多取样的需要以支持较好上取样。此加权掩码可随后被检查(例如，使用简单阈值运算)以确定应在何处计算较多样本。额外取样之后，必须再计算针对受影响表面点的SH投射。可了解，可采用若干方法获得加权掩码。

可见性

多个因素可贡献于加权掩码。为保留加权掩码中的阴影边界，可计算上的4-D方差。为计算可见性信号的方差，必须细分为4D区。每个像素(r,s)可个别地考虑且光线空间可细分为八分区。取样可以每八分区一个光线(每像素8个光线)的最小值初始化。一个像素的一个八分区可被称为区。自适应和/或交错取样可计算较多光线，其方差当然应考虑区的所有可用光线。

不论何时计算区的一或多个光线，都可计算所述区的总和。所述总和由已经计算的光线的数目和已经评估为一的所计算光线的数目构成。此可通过对可见性位向量和取样收敛位向量的一段中具有值1(汉明权重)的位计数而实现。对于每像素n＝128光线和k＝8八分区，结果为每区n/k＝m＝16光线。所述总和可利用快速“群体权重”技术计算且由2*4＝8位构成。所述总和存储在屏幕空间中。

对于单一总和，方差可预先计算且存储在具有256条目此全局表内用于快速查找。然而，给定可所要交错取样，需要在较大区上应用滤波器。此可通过将来自若干总和的信息相加在一起且随后计算结果的方差而实施。所计算的光线的数目和具有值1的光线的数目可分别添加。此可通过位运算(例如，移位运算、与运算、加法等)实现。

举例来说，可考虑特定像素周围的若干像素的区，或可一起考虑若干八分区。权重还可施加到滤波中的区中的每一者。使用权重1、2、4和8允许对此使用快速位移位。

如果不超过16个未加权区相加，那么所产生的光线计数将拟合到2*8位中。因此，实际方差可预先计算并存储在16位表中。可考虑更多区且仍可使用16位表(如果最低有效1或2位可使用移位运算丢弃，从而基本上量化所述结果)。

差分渲染

用于自适应取样的加权掩码可扩展以还考虑差分渲染的结果。可使用整个场景的高质量解决方案并不需要计算的事实。关注点可仅在于差分渲染之后的可见部分，例如可见虚拟部分和从虚拟到现实的阴影(其是可见的)。仅这些区的边界附近的像素必须具有高质量。因此，来自上一个帧的差分渲染结果也可相加，且作为权重再投射到当前帧中。此可以极其粗略的分辨率进行。换句话说，差分渲染可确定什么对于在场景内渲染可为重要的以及什么可为不重要的。利用差分渲染，仅可在现实世界背景上渲染虚拟对象。

几何形状缓冲器和引导滤波

通过等表面光线跟踪从体元栅格获得现实场景的几何形状，而虚拟对象的几何形状可以多边形形式明确给定。因为场景的几何形状可已知且可用，所以可计算当前视图的深度和法线缓冲器。计算这些几何形状缓冲器的梯度图像，且此信息可用于两个目标：(1)作为加权掩码的因数(应在深度或法线不连续性附近应用较多取样)，和(2)作为联合双侧滤波的引导缓冲器，两者均在可见性重建滤波器和方差的计算中。

时间相干性

大体来说，相机可每个帧移动，从而改变所产生的图像。然而，除非相机可正极其快速移动，否则图像中的大多数信息将保持有效。其可因此从前一帧(渲染高速缓冲存储器)到当前帧再投射。使用反向再投射的标准方法，来自当前帧的像素再投射到前一帧中。可通过将经再投射深度与存储在前一帧中的深度比较而验证再投射。如果像素成功地再投射，那么可提取和再使用有效负载(来自前一帧的信息)。如果再投射并未成功(例如，在无阻挡的情况下)，那么必须从头开始计算有效负载。

在一些实施例中，SH系数可连同可能对应方差一起再使用作为有效负载。因为正使用两个层级的高速缓存，图像空间中的SH和对象空间中的位向量，所以存在两个层级的高速缓冲存储器未中。如果图像空间中未发现有效负载，那么可检查对象空间中的对应体元以确定作为位向量的可见性是否已经存储在该处。如果发现位向量，那么其可用于快速再计算SH，否则必须首先执行一些可见性光线追踪来初始化位向量。

如果相机从一位置移开且稍后移动回到所述位置中，那么对应于所述位置的SH系数可丢失。然而，位向量可保持高速缓存在对象空间中且可再使用。

因为再投射可通常与来自高速缓冲存储器的双线性内插组合进行，所以许多重复的再投射可累积误差。因此，老化属性可指派到高速缓冲存储器，其可随着每个再投射而增加，遵循指数衰减函数。较大老化大大促成加权掩码。老化还可用作重建滤波中的加权因子，其中较老样本在滤波中的权重较少。

改变的几何形状

特定SDK算法(例如，KinectFusion)可连续地评估深度图像的传入流以更新以体积形式表示现实场景的体元栅格。不论何时体元可更新，可存储在经更新体元和合理大小邻域中的所有体元的相关联位向量中的任何可见性取样信息可无效(因为RT也将针对附近体元改变)。可在虚拟对象移动的情况下进行相同操作。

除使对象空间中的位向量无效之外，还必须反映图像空间中的几何形状改变(此可视为高速缓冲存储器通写策略)。也就是说，对应于位向量的SH系数也复位。

图4为说明无探针光度对齐管线的步骤的总体流程图400。所述估计的核心部分可为线性等式系统Ay＝b的汇编，其中A表示辐射转移，b为具有来自相机图像的反射观察的向量，且y为所估计环境光。如图4中所展示，第一步骤410可为获得相机图像。相机图像可用装置100上的相机110俘获。相机图像可描绘现实世界场景。可随后通过使用深度信息430基于所俘获的至少一个视频帧重建420现实世界场景的几何形状。在一些实施例中，可向相机馈送来自另一源的深度信息，所述另一源例如计算环境重建中可使用的深度信息的外部相机或移动装置。可随后计算辐射转移计算440以获得辐射转移。可使用上文描述的有效辐射转移取样方法计算辐射转移计算。可随后在现实世界场景上执行光估计450且将其与辐射转移计算440组合以确定现实世界场景内的AR 460(例如，虚拟对象)的光照。

上文描述的有效辐射转移取样方法提供优于现有解决方案的若干益处。首先，漫射光照环境的估计支持扩增现实中的视觉相干渲染。虚拟对象可由现实世界光照照亮。此外，可存在对于虚拟数据到现实世界数据(相机图像)中的现实集成的支持。没有例如反射镜面滚珠等特殊光探针是必需的。此外，所述方法可实时使用且并不需要任何形式的手动输入。

第二，基于例如几何形状、阻挡和光估计等不同线索使用自适应取样的随时间屏幕和可见性空间中的取样与现有解决方案相比得以改进。并且，图像和世界空间中的光线高速缓存也得以改进。

第三，性能改进对于例如阴影映射的高频阴影计算和来自相机图像的帧间反射等额外扩增现实光照方法实现了无源。

图5为描绘用于扩增现实的辐射转移取样的示范性操作的说明性流程图。在框502中，接收环境的至少一个视频帧。所述至少一个视频帧可由移动装置内的立体相机装置俘获。举例来说，图2中，相机可俘获所述至少一个视频帧。所俘获的至少一个视频帧可随后中继到处理器或装置100内的另一模块用于进一步处理。在一些实施例中，视需要，还可使用单眼相机系统、立体相机系统或具有深度传感器的相机(即，RGBD相机)。

在框504中，产生环境的表面重建。在一些实施例中，使用所述至少一个视频帧、来自立体相机的图像或来自深度相机的深度图像执行产生环境的表面重建。举例来说，在图2中，表面重建单元191可使用从相机俘获的所述至少一个视频帧产生环境的表面重建。在一些实施例中，可使用例如来自单眼相机系统的多个视频帧、来自立体相机的图像或使用来自具有深度传感器的相机的深度数据产生环境的表面重建。

在框506中，在表面重建内投射多个光线。举例来说，在图3中，相机或视角朝向表面重建内的虚拟对象和现实世界对象投射多个光线。光线的投射可用于确定几何形状的表面且测量表面点的反射(图像强度)。反射测量值在图像空间中。一旦光线击中表面(例如，在现实世界对象的表面的点x和虚拟世界对象的表面的点z处)，算法就通过在不同方向上发出均一地对球面取样的光线而测试可见性V(x)。此称为可见性空间。可实行类似过程以测试可见性V(z)。

在框508中，从所述至少一个视频帧产生环境的照明数据。在一些实施例中，产生照明数据包含将所述至少一个视频帧转换为强度分量和色彩分量。产生照明数据还可包含对强度分量去噪以提取照明数据。照明数据可由照明数据单元产生。可使用强度分量产生照明数据而产生所述照明数据。

在框510中，确定来自环境中的所述多个光线的光线的子集。可基于需要优化的阴影区域和边缘作出所述确定。在一些实施例中，所述确定包含将光照和差分渲染技术应用于所述环境以及作为其结果分析阴影信息。在其它实施例中，所述确定包含基于包含所述多个光线的光线空间的4-D细分和近似方差分析中的至少一者应用自适应取样技术。举例来说，在图3中，确定投射到环境中的所述多个光线的子集。可在表面重建内需要优化的阴影区域和边缘上作出所述确定。与那些区域相关联的光线可识别为光线的子集。

在框512中，基于不包含所述光线子集的所述多个光线在视频帧上渲染虚拟对象。可使用不包含与需要优化的阴影区域或边缘相关联的光线的光线渲染虚拟对象。

在一些实施例中，可基于表面重建和照明数据在每一视频帧中产生环境的所估计光照条件。可使用光估计单元195执行所述产生。可通过基于表面重建产生环境的辐射转移以及产生所述辐射转移的压缩传递函数(例如通过将辐射转移投射到SH基底函数中)而估计光照条件。可随后使用RT的压缩转移函数和照明数据估计光照条件来估计光条件。

在一些实施例中，与光线子集相关联的时间相干性信息可存储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

上文所论述的方法、系统和装置为实例。各种实施例可在适当时省略、替换或添加各种程序或组件。举例来说，在替代配置中，所描述的方法可以不同于所描述的次序来执行，和/或可添加、省略和/或组合各种阶段。并且，可在各种其它实施例中组合相对于某些实施例描述的特征。可以用类似方式组合实施例的不同方面和元件。而且，技术发展，且因此，许多元件为实例，其并不会将本发明的范围限于那些特定实例。

在描述中给出具体细节以提供对实施例的透彻理解。然而，可在无这些特定细节的情况下实践实施例。举例来说，在没有不必要的细节的情况下展示众所周知的电路、过程、算法、结构和技术以免混淆所述实施例。此描述仅提供实例实施例，且并不希望限制本发明的范围、适用性或配置。实际上，实施例的前述描述将为所属领域的技术人员提供用于实施本发明的实施例的启迪性描述。可在不脱离本发明的精神和范围的情况下对元件的功能和布置作出各种改变。

并且，将一些实施例描述为以流程图或框图形式描绘的过程。尽管每一者可将操作描述为循序过程，但许多操作可并行地或同时进行。另外，可重新布置操作的次序。过程可具有图中未包含的额外步骤。此外，可以由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实施方法的实施例。当在软件、固件、中间件或微码中实施时，用以执行相关联任务的程序代码或代码段可存储在例如存储媒体等计算机可读媒体中。处理器可执行相关联任务。因此，在上述描述中，描述为由计算机系统执行的功能或方法可由经配置以执行所述功能或方法的处理器(例如，处理器604)执行。另外，此类功能或方法可由执行存储在一或多个计算机可读媒体上的指令的处理器来执行。

已描述了若干实施例，可在不脱离本发明的精神的情况下使用各种修改、替代构造和等效物。举例来说，上述元件可仅为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。而且，可在考虑上述元件之前、期间或之后进行数个步骤。因此，以上描述不限制本发明的范围。

已描述各种实例。这些和其它实例在所附权利要求书的范围内。

Claims

1.一种用于扩增现实的辐射转移取样的方法，其包括：

接收环境的至少一个视频帧；

产生所述环境的表面重建；

在所述环境的所述表面重建内投射多个光线；

从所述至少一个视频帧产生所述环境的照明数据；

确定来自所述环境中的所述多个光线的光线的子集，其中所述确定来自所述多个光线的光线的子集包括：(1)基于包括所述多个光线的光线空间的4-D细分应用自适应取样技术，其中所述自适应取样技术包括将加权掩码应用到所述环境的所述表面重建和检查所述加权掩码以确定应在何处计算较多样本，以及(2)将照明和差分渲染技术应用于所述环境以及作为其结果而分析阴影信息；

基于所述表面重建、所述照明数据和不包含所述光线子集的所述多个光线产生与所述至少一个视频帧相关联的所述环境的所估计现实世界光照数据；以及

使用所述所估计现实世界光照数据在所述至少一个视频帧上渲染虚拟对象。

2.根据权利要求1所述的方法，其中基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的所述光线子集，所述环境内需要优化的所述区域包括阴影区域、表面边缘和阴影边缘。

3.根据权利要求1所述的方法，其中所述自适应取样技术进一步包括在确定应在何处计算所述较多样本之后，再计算针对一个或多个表面点的球面谐波SH投射。

4.根据权利要求1所述的方法，其中所述应用自适应取样技术是基于近似方差分析。

5.根据权利要求1所述的方法，其进一步包括：将与所述光线子集相关联的时间相干性信息存储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

6.根据权利要求1所述的方法，其中产生所述照明数据包括：

将所述至少一个视频帧转换为强度分量和色彩分量；以及

对所述强度分量去噪以提取所述照明数据。

7.根据权利要求1所述的方法，其中使用所述至少一个视频帧执行产生所述环境的所述表面重建。

8.一种用于扩增现实的辐射转移取样的设备，其包括：

相机；

存储器；以及

处理器，其耦合所述存储器以接收由所述相机俘获的环境的至少一个视频帧，其中所述处理器经配置以：

产生所述环境的表面重建；

在所述环境的所述表面重建内投射多个光线；

从所述至少一个视频帧产生所述环境的照明数据；

9.根据权利要求8所述的设备，其中基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的所述光线子集，所述环境内需要优化的所述区域包括阴影区域、表面边缘和阴影边缘。

10.根据权利要求8所述的设备，其中所述自适应取样技术进一步包括在确定应在何处计算所述较多样本之后，再计算针对一个或多个表面点的球面谐波SH投射。

11.根据权利要求8所述的设备，其中所述应用自适应取样技术是基于近似方差分析。

12.根据权利要求8所述的设备，其中所述处理器进一步经配置以将与所述光线子集相关联的时间相干性信息存储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

13.根据权利要求8所述的设备，其中产生所述照明数据包括：

将所述至少一个视频帧转换为强度分量和色彩分量；以及

对所述强度分量去噪以提取所述照明数据。

14.根据权利要求8所述的设备，其中产生所述环境的所述表面重建是使用所述至少一个视频帧执行。

15.一种用于扩增现实的辐射转移取样的设备，其包括：

用于接收环境的至少一个视频帧的装置；

用于产生所述环境的表面重建的装置；

用于在所述环境的所述表面重建内投射多个光线的装置；

用于从所述至少一个视频帧产生所述环境的照明数据的装置；

用于确定来自所述环境中的所述多个光线的光线的子集的装置，其中所述确定来自所述多个光线的光线的子集包括：(1)基于包括所述多个光线的光线空间的4-D细分应用自适应取样技术，其中所述自适应取样技术包括将加权掩码应用到所述环境的所述表面重建和检查所述加权掩码以确定应在何处计算较多样本，以及(2)将照明和差分渲染技术应用于所述环境以及作为其结果而分析阴影信息；

用于基于所述表面重建、所述照明数据和不包含所述光线子集的所述多个光线产生与所述至少一个视频帧相关联的所述环境的所估计现实世界光照数据的装置；以及

用于使用所述所估计现实世界光照数据在所述至少一个视频帧上渲染虚拟对象的装置。

16.根据权利要求15所述的设备，其中基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的所述光线子集，所述环境内需要优化的所述区域包括阴影区域、表面边缘和阴影边缘。

17.根据权利要求15所述的设备，其中所述自适应取样技术进一步包括在确定应在何处计算所述较多样本之后，再计算针对一个或多个表面点的球面谐波SH投射。

18.根据权利要求15所述的设备，其中所述应用自适应取样技术是基于近似方差分析。

19.根据权利要求15所述的设备，其进一步包括用于将与所述光线子集相关联的时间相干性信息存储在二层级阶层式高速缓冲存储器中的装置，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

20.根据权利要求15所述的设备，其中所述用于产生所述照明数据的装置包括：

用于将所述至少一个视频帧转换为强度分量和色彩分量的装置；以及

用于对所述强度分量去噪以提取所述照明数据的装置。

21.一种处理器可读非暂时性媒体，其包括处理器可读指令，所述处理器可读指令经配置以致使处理器：

接收环境的至少一个视频帧；

产生所述环境的表面重建；

在所述环境的所述表面重建内投射多个光线；

从所述至少一个视频帧产生所述环境的照明数据；

22.根据权利要求21所述的处理器可读非暂时性媒体，其中基于所述环境内需要优化的区域确定来自所述环境中的所述多个光线的所述光线子集，所述环境内需要优化的所述区域包括阴影区域、表面边缘和阴影边缘。

23.根据权利要求21所述的处理器可读非暂时性媒体，其中所述自适应取样技术进一步包括在确定应在何处计算所述较多样本之后，再计算针对一个或多个表面点的球面谐波SH投射。

24.根据权利要求21所述的处理器可读非暂时性媒体，其中所述应用自适应取样技术是基于近似方差分析。

25.根据权利要求21所述的处理器可读非暂时性媒体，其中所述处理器可读指令进一步经配置以致使所述处理器将与所述光线子集相关联的时间相干性信息存储在二层级阶层式高速缓冲存储器中，其中第一层级存储屏幕空间中的信息且第二层级存储对象空间中的信息。

26.根据权利要求21所述的处理器可读非暂时性媒体，其中产生所述照明数据包括：

将所述至少一个视频帧转换为强度分量和色彩分量；以及

对所述强度分量去噪以提取所述照明数据。