CN115439595A - 一种面向ar的室内场景动态光照在线估计方法与装置 - Google Patents
一种面向ar的室内场景动态光照在线估计方法与装置 Download PDFInfo
- Publication number
- CN115439595A CN115439595A CN202211386174.7A CN202211386174A CN115439595A CN 115439595 A CN115439595 A CN 115439595A CN 202211386174 A CN202211386174 A CN 202211386174A CN 115439595 A CN115439595 A CN 115439595A
- Authority
- CN
- China
- Prior art keywords
- illumination
- indoor scene
- scene
- spherical
- estimation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000008859 change Effects 0.000 claims abstract description 29
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 50
- 238000005070 sampling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000002310 reflectometry Methods 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 8
- 238000002156 mixing Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明关于一种面向AR的室内场景动态光照在线估计方法与装置，该方法利用镜面球获取室内场景的初始HDR全景光照贴图，在线获取光照变化后的LDR图像，并分别提取初始HDR全景光照贴图和光照变化后的LDR图像的特征进行融合；特征融合后输入光照估计网络进行训练，该网络使用球面高斯函数进行求解，通过损失函数判断输出结果是否收敛，如果收敛直接输出估计的室内场景光照变化后的球面高斯函数系数，否则回到特征融合再进行训练，直至损失函数收敛为止；根据输出的估计的球面高斯函数系数，对虚拟物体进行渲染，并将其融入到真实场景中。可实现对于光照动态变化场景的在线光照估计，作为光源用于绘制虚拟物体，生成高真实感的增强现实效果。
Description
技术领域
本发明涉及增强现实技术领域，特别是一种面向AR的室内场景动态光照在线估计方法与装置。
背景技术
增强现实技术是一种将虚拟信息同真实环境相结合并可视化的技术，它通过计算机图形技术渲染现实中不存在的虚拟物体，同时借助各种传感器或者人工标定手段确定虚拟物体在真实环境中的位置，并将这些虚拟物体与真实环境在显示端进行融合。随着硬件设备的飞速发展和相关技术的成熟，增强现实技术在军事、教育、娱乐等领域都有十分广泛的应用。
在增强现实中，虚实融合画面的高真实感绘制可有效提升用户的沉浸式体验，因此如何得到逼真的虚实融合画面是增强现实重要的研究内容。虚实融合的真实感主要体现在几何一致性、光照一致性和时间一致性三个方面。随着硬件设备和软件算法的不断发展，时间一致性和几何一致性的研究相对成熟，光照一致性研究中仍然面临许多待解决的问题。光照一致性要求添加的虚拟物体与周围环境所呈现的光影效果保持一致，这就需要虚拟物体在渲染时使用的光照信息尽量接近周围的真实环境。因此，对周围环境的光照信息进行估计是保证增强现实光照一致性的关键。
室内场景光照情况复杂，一方面，场景中主要光源为灯具产生的人造光或者从窗外进入到室内的自然光，其数量和分布特点均无规律可循；另一方面，室内狭小的空间和较多的物体也会使光照因反射、折射产生复杂的变化。同时，室内环境中人造光源的开关使光照呈现动态性变化。因此，如何获取室内场景动态光照信息是一个具有挑战性的问题。在增强现实应用越来越广泛的大背景下，业界对室内外环境光照估计的研究也取得了非常多的进展，目前光照估计的方法主要有基于采集的方法、基于优化的方法和基于深度学习的方法。
基于采集的方法通常直接或间接测量光照信息，这种方法往往使用特殊设备或者参照物直接或者间接的进行光照信息采集，借助特殊的工具或者参照物对周围的光照信息进行采集，能够获得非常准确的环境光照信息。基于采集的方法虽然有较高的估计精度，但需要专用的设备或者特殊的测量媒介，采集和制作光照贴图的时间成本较高，过程十分繁琐。
基于优化的方法结合场景几何信息或者场景中物体材质的反射信息来对光照进行估计，部分方法还需要有额外的特定输入联合优化估计方法，通常使用特殊的信息输入或者对输入图像进行本征分解，来获取足够估计光照的信息。基于优化的方法通常联合优化场景的几何体、反射特性和照明模型，以便找到最能解释观察到的输入图像的一组值，但由于计算量大，运行效率低，不适合用来计算动态光照。
近年来随着深度学习技术的飞速发展，深度学习方法在图形图像领域相关的研究中也得到了非常广泛的应用，研究人员也开始使用深度学习方法来对室内场景光照进行估计。基于深度学习的方法中既有信息输入要求较低的方法，也有结合前两类方法提出的解决方案。这类方法通过大量的数据对神经网络进行训练，让网络学习输入数据与预期结果之间的隐式关系。Gardner等人（Gardner M-A，Sunkavalli K，Yumer E，et al. Learningto predict indoor illumination from a single image[J]. ACM Transactions onGraphics(TOG)，2017，36(6).）首先提出使用深度学习网络通过单幅图片来估计HDR全景光照贴图，使用有限视角的低动态范围（Low Dynamic Range，LDR）图片，先训练一个能够感知图片范围以外的光源位置的网络，再使用HDR图像数据集来调整该网络对光照贴图的光源强度和色彩的估计。但他们的方法主要是对光源的分布、强度进行了估计，得到的光照贴图中的色彩信息更接近于输入图片的整体色调，这丢失了较多的光照细节，和真实HDR全景光照贴图的关联性相差较大。Cheng等人（Cheng D，Shi J，Chen Y，et al. Learning sceneillumination by pairwise photos from rear and front mobile cameras[J].Computer Graphics Forum，2018，37(7): 213-221.）提出了一种端对端深度学习网络，能够利用移动设备的前置、后置摄像头分别拍摄当前的场景中的两张图片作为网络输入，输出当前场景下使用球谐函数系数表达的低频光照信息估计。Li等人（Li M，Guo J，Cui X，etal. Deep spherical Gaussian illumination estimation for indoor scene[C]// ACMMultimedia Asia，2019: 1-6.）利用单幅图像，来估计环境光照贴图的球面高斯函数表达，从一张有限视角的LDR图像恢复HDR室内场景的光照情况。相比Cheng等人的方法，使用球面高斯函数表达的环境光照能够取得光照信息中更多的高频信息，因此，这种方法取得了相对更好的估计精度。
基于深度学习的方法相比前面介绍的两类方法，在设备要求与信息的输入要求上降低了很多。但这些方法同样存在局限性：1）部分方法使用球谐函数系数来表达光照估计结果，虽然计算量较小，网络能够取得较快的处理速度，但最终结果会丢失较多的高频光照细节；2）相比联合优化方法，已有的通过单幅LDR图像对光照进行估计的深度学习方法无法有效利用场景中可控光源位置的信息；3）若场景中已有光源发生动态变化，部分方法难以快速的对变化后的光照情况做出及时的反馈。基于上述介绍的三类方法的优缺点，结合有限的场景信息与深度学习的方法获得更准确的室内动态光照估计，有着非常重要的研究意义与实用价值。
发明内容
本发明的目的在于：针对现有技术存在的针对当前室内场景光照估计问题中缺少对动态光照进行估计的问题，提供一种基于球面高斯函数的面向AR的室内场景动态光照在线估计方法与装置，可以有效估计室内场景动态光照，光照估计速度快，可实现在线估计的目的。
为了实现上述目的，本发明采用的技术方案为：
一种面向AR的室内场景动态光照在线估计方法，包括：
利用镜面球获取室内场景的初始HDR全景光照贴图，在线获取室内场景的光照变化后的LDR图像，并分别提取初始HDR全景光照贴图和光照变化后的LDR图像的特征进行融合；
特征融合后输入光照估计网络进行训练，光照估计网络使用球面高斯函数进行求解，通过损失函数判断光照估计网络的输出结果是否收敛，如果收敛直接输出估计的室内场景光照变化后的球面高斯函数系数，否则回到特征融合再进行训练，直至损失函数收敛为止；
根据输出的估计的球面高斯函数系数，对虚拟物体进行渲染，并将其融入到真实场景中。
优选地，通过RGB相机拍摄镜面球照片，采集室内场景光源都打开时的高动态范围图像作为初始HDR全景光照贴图；通过RGB相机对室内场景光照发生变化后的LDR图像进行在线捕获。
优选地，LDR图像的特征提取网络包括六层卷积网络，每层卷积网络包括一个卷积模块，每个卷积模块均使用ReLu函数作为激活函数，前面五个卷积模块采用了和AlexNet相同的网络结构，相比标准AlexNet，取消了最后的全连接层，改为两个上采样过程，在第五个卷积操作的运算结果池化之后，执行一次上采样后再执行第六个卷积操作，最后执行一次上采样操作后进行批归一化操作，最终输出LDR特征图像。
优选地，以Attention U-Net为基础构建光照估计网络，包括编码器和解码器，编码器提取初始HDR全景光照贴图特征和LDR图像特征并进行融合，然后输入到解码器，解码器与编码器之间使用了跳跃结构，在跳跃结构之间，使用了Attention Gate，将上采样结果与编码器中相同尺寸的结果作为输入，其结果与上采样结果进行concatenate连接，最后使用卷积层作为输出层，经过Sigmoid函数激活后输出估计的球面高斯函数系数。
优选地，球面高斯函数表示如下：
其中，
表示球心到球面高斯中心的方向向量；
固定球面高斯函数的带宽和中心方向，只允许振幅可变，对于每一个球面高斯
，从任一方向v辐射的光照强度为函数：
假设漫反射物体表面的一个点x被光源L照亮，在漫反射表面，使用Lambert漫反射BRDF计算出射光辐射率公式如下：
Ω表示以点x为中心的球面，
表示点x从立体角ω i 方向接收的光源能量，
为BRDF函数，表示x把方向ω i 入射的能量反射到方向ω o 的能力，θ i 表示光线入射方向ω i 与法线方向直接的夹角；
通过一个球面高斯函数
近似的拟合光源，即认为光源的中心拥有最强的辐射，随着向边缘靠近辐射强度逐渐降低，替换公式(3)中的
部分，得到
根据初始HDR全景光照贴图和光照变化后LDR图像的特征，结合公式(4)计算变化后场景光照的球面高斯函数系数中变化的振幅。
优选地，将渲染的虚拟物体融入到真实场景中，虚拟物体会呈现与真实场景光照相一致的外观，利用本发明估计的光照渲染虚拟物体并融入到真实场景时可生成高品质的融合效果。
本发明还提供了一种室内场景动态光照在线估计装置，利用如以上任一项所述的面向AR的室内场景动态光照在线估计方法，该装置包括镜面球、RGB相机和数据处理终端，RGB相机电性连接数据处理终端，RGB相机设置于镜面球前方，用于拍摄镜面球，镜面球用于捕获室内场景的光照分布信息。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如以上任一项所述的面向AR的室内场景动态光照在线估计方法。
本发明还提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述程序，以实现如以上任一项所述的面向AR的室内场景动态光照在线估计方法。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明所述的一种面向AR的室内场景动态光照在线估计方法，在拥有室内场景初始HDR光照环境贴图和光照变化后LDR图像的情况下，通过计算球面高斯函数对室内场景光照进行估计，可实现对于光照动态变化场景的在线光照估计，光照估计结果即可反应光源的变化又包含周围环境信息，可作为光源用于绘制具有高度真实感的虚拟物体，特别可用于在具有镜面反射材质的虚拟物体表面产生对于真实环境的镜面反射效果，这是目前大部分光照估计方法所无法解决的问题；另一方面，在在线运行过程中无需使用特别装置（如镜面球），只需使用普通摄像机拍摄有限视角的LDR图像的场景画面，即可实时动态更新光照变化后的高质量场景HDR全景光照贴图，其中包括较多真实、准确的光源和环境细节信息，具有较高的实用性；
2、本发明所述的一种面向AR的室内场景动态光照在线估计装置，采集室内场景的初始HDR全景光照贴图及光照变化后的LDR图像，有利于计算出更为准确的估计的球面高斯函数系数，进而渲染出更具有真实感的虚实融合效果，在线运行过程中无需使用特别装置，只需使用普通摄像机拍摄场景画面即可，具有较高的实用性。
附图说明
图1为室内场景动态光照在线估计装置的示意图；
图2为室内场景动态光照在线估计方法的流程示意图；
图3为初始HDR全景光照贴图；
图4为光照变化后的LDR图像。
图中标记：1-镜面球，2-RGB相机，3-数据处理终端。
具体实施方式
下面结合附图，对本发明作详细的说明。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
如图2所示，本发明所述的一种面向AR的室内场景动态光照在线估计方法，包括离线阶段和在线阶段。
首先在离线阶段，通过RGB相机2拍摄镜面球1照片，采集室内场景主要光源都打开时的高动态范围图像作为初始HDR全景光照贴图，可以根据镜面球1表面所反射的周围环境信息获取场景直接光源（主光源：灯、窗户等）和间接光源（环境光：主光源发出的光经周围环境反射所产生的光照影响）的入射方向、形状等信息。
镜面球1用于捕获室内场景的光照分布信息，包括如图3所示的室内场景的初始HDR全景光照贴图和如图4所示的通过开关控制场景光照变化后的LDR图像，RGB相机2拍摄的图像中需要包含整个镜面球1。
然后在线阶段包括以下步骤：
步骤一、使用RGB相机2对室内场景光照发生变化后的LDR图像进行在线捕获，对得到的初始HDR全景光照贴图与光照变化后的LDR图像分别提取特征，并将二者的图像特征进行融合。
通过向网络输入场景光照发生变化后的LDR图像，以得到估计光照变化情况所需要的特征信息，由于AlexNet（Krizhevsky A，Sutskever I，Hinton G E. ImageNetclassification with deep convolutional neural networks[J]. Commun ACM，2017，60(6): 84-90.）具有较浅的网络深度和较低的资源消耗，可以其为基础搭建LDR图像特征提取网络；AlexNet网络整体结构主要包括输入层、五个卷积层、两个全连接层和输出层，该网络引入了ReLu激活函数，可以在训练过程中有效避免了过拟合现象的发生。
本实施例LDR图像特征提取网络使用六层卷积网络来构建，每层卷积网络包括一个卷积模块，每个卷积模块都使用ReLu函数作为激活函数；前面五个卷积模块采用了和AlexNet相同的网络结构，相比标准AlexNet，取消了最后的全连接层，改为两个上采样过程，在第五个卷积操作的运算结果池化之后，执行一次上采样再执行第六个卷积操作，最后执行一次上采样操作后进行批归一化操作，最终输出LDR特征图像，将用来作为光照估计网络中的编码器输入。
步骤二、特征融合后输入光照估计网络进行训练和测试，通过损失函数对光照估计网络的输出结果进行判断其是否收敛；如果光照估计网络结果收敛，那么直接输出估计的室内场景光照变化后的球面高斯函数系数，否则回到特征融合的步骤，再进行训练，直至损失函数收敛为止。
相比HDR全景光照贴图，估计的光照贴图中所包含的光照信息简化了许多，但其所表现的场景结构、光源分布等仍十分接近所对应的HDR全景光照贴图，因此，初始HDR全景光照贴图与估计光照贴图在几何特征上有极大的关联性，光照估计是一个输入输出图像呈像素关联的任务。
本实施例提出以Attention U-Net为基础构建光照估计网络，包括编码器和解码器两个部分；在编码器部分，对初始HDR全景光照贴图进行特征提取，并与提取到的LDR图像特征信息进行融合输入解码器，解码器与编码器之间使用了跳跃结构，使解码器在下采样过程中生成的特征图像与解码器上采样的结果相结合，最后输出结果与输入的关联性更紧密；在跳跃结构之间，使用了Attention Gate，将上采样结果与编码器中相同尺寸的结果作为输入，其结果与上采样结果进行concatenate连接，最后使用卷积层作为输出层，经过Sigmoid函数激活后输出估计的球面高斯函数系数。
球面高斯函数（Wang J，Ren P，Gong M，et al. All-frequency rendering ofdynamic，spatially-varying reflectance[M]//ACM SIGGRAPH Asia 2009 papers.2009: 1-10.）表示如下：
其中，
表示球心到球面高斯中心的方向向量；
输入一个距离球心方向为
，即可计算出球面高斯函数在该位置上的取值。
在本实施例提出的方法中，固定球面高斯函数的带宽和中心方向，只允许振幅可变，在给定的全景图中，从任一方向v辐射的光照强度可以写成函数f(v)，在本实施例提出的方法中取采样坐标个数，对于每一个球面高斯
，f(v)定义如下：
假设漫反射物体表面的一个点x被光源L照亮，在漫反射表面，使用Lambert漫反射BRDF计算出射光辐射率公式如下：
在(3)式中，Ω表示以点x为中心的球面，
表示点x从立体角ω i 方向接收的光源能量，
为BRDF函数，表示x把方向ω i 入射的能量反射到方向ω o 的能力，θ i 表示光线入射方向ω i 与法线方向直接的夹角。
通过一个球面高斯
近似的拟合光源，即认为光源的中心拥有最强的辐射，随着向边缘靠近辐射强度逐渐降低，替换公式(3)中的
部分，即可得到
在公式(4)中，
表示在点x处的反射率，其他参数含义同前文。
根据初始HDR全景光照贴图和光照变化后LDR图像的特征，结合公式(4)即可计算变化后场景光照的球面高斯函数系数中变化的振幅。
步骤三、最后根据输出的估计球面高斯函数系数，对虚拟物体进行渲染，并将其融入到真实场景中，可以实现较好的虚实融合效果。
采用本实施例所述的一种面向AR的室内场景动态光照在线估计方法，在拥有室内场景初始HDR光照环境贴图和光照变化后LDR图像的情况下，通过计算球面高斯函数对室内场景光照进行估计，可实现对于光照动态变化场景的在线光照估计，光照估计结果即可反应光源的变化又包含周围环境信息，可作为光源用于绘制具有高度真实感的虚拟物体，特别可用于在具有镜面反射材质的虚拟物体表面产生对于真实环境的镜面反射效果，这是目前大部分光照估计方法所无法解决的问题；另一方面，在在线运行过程中无需使用特别装置（如镜面球1），只需使用普通摄像机拍摄有限视角的LDR图像的场景画面，即可实时动态更新光照变化后的高质量场景HDR全景光照贴图，其中包括较多真实、准确的光源和环境细节信息，具有较高的实用性，例如用于增强现实技术领域。
实施例2
如图1所示，本发明所述的一种面向AR的室内场景动态光照在线估计装置，利用如实施例1所述的一种面向AR的室内场景动态光照在线估计方法，该装置包括镜面球1、RGB相机2和数据处理终端3。
RGB相机2电性连接数据处理终端3，RGB相机2设置于镜面球1前方，用于拍摄镜面球1，镜面球1用于捕获室内场景的光照分布信息，包括室内场景的初始HDR全景光照贴图（如图3所示），RGB相机2还用于拍摄通过开关控制场景光照变化后的LDR图像（如图4所示），RGB相机2拍摄的图像中需要包含整个镜面球1，最后将获取的室内场景镜面球图像交给数据处理终端3。
采用本实施例所述的一种面向AR的室内场景动态光照在线估计装置，采集室内场景的初始HDR全景光照贴图及光照变化后的LDR图像，有利于计算出更为准确的估计的球面高斯函数系数，进而渲染出更具有真实感的虚实融合效果，在线运行过程中无需使用特别装置，只需使用普通摄像机拍摄场景画面即可，具有较高的实用性。
实施例3
本发明所述的一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1所述的面向AR的室内场景动态光照在线估计方法。
计算机可读存储介质用于存储各种类型的数据以支持在该电子设备的操作，这些数据例如可以包括用于在该电子设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据；计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（Static Random Access Memory，SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM），可编程只读存储器（Programmable Read-Only Memory，PROM），只读存储器（Read-Only Memory，ROM），磁存储器，快闪存储器，磁盘或光盘。
实施例4
本发明所述的一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述程序，以实现如实施例1所述的面向AR的室内场景动态光照在线估计方法。
作为本实施例的一个优选方案，该电子设备可以包括：处理器、存储器，该电子设备还可以包括多媒体组件、输入/输出（I/O）接口、以及通信组件中的一者或多者。
其中，处理器用于控制该电子设备的整体操作，以完成上述面向AR的室内场景动态光照在线估计方法中的全部或部分步骤。
存储器用于存储各种类型的数据以支持在该电子设备的操作，这些数据例如可以包括用于在该电子设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据；存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（Static Random Access Memory，SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM），可编程只读存储器（Programmable Read-Only Memory，PROM），只读存储器（Read-Only Memory，ROM），磁存储器，快闪存储器，磁盘或光盘。
多媒体组件可以包括屏幕和音频组件，其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号；例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号，所接收的音频信号可以被进一步存储在存储器或通过通信组件发送；音频组件还包括至少一个扬声器，用于输出音频信号。
I/O接口为处理器和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等；这些按钮可以是虚拟按钮或者实体按钮。
通信组件用于该电子设备与其他设备之间进行有线或无线通信；无线通信，例如Wi-Fi，蓝牙，近场通信（Near Field Communication，NFC），2G、3G、4G或5G，或它们中的一种或几种的组合，因此相应的该通信组件可以包括：Wi-Fi模块，蓝牙模块，NFC模块，手机通讯模块。
作为本实施例的一个优选方案，该电子设备可以被一个或多个应用专用集成电路（Application Specific Integrated Circuit，ASIC）、数字信号处理器（Digital SignalProcessor，DSP）、数字信号处理设备（Digital Signal Processing Device，DSPD）、可编程逻辑器件（Programmable Logic Device，PLD）、现场可编程门阵列（Field ProgrammableGate Array，FPGA）、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述面向AR的室内场景动态光照在线估计方法。
另外，本公开实施例提供的计算机可读存储介质即可以为上述包括程序指令的存储器，上述程序指令可由电子设备的处理器执行以完成上述面向AR的室内场景动态光照在线估计方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种面向AR的室内场景动态光照在线估计方法，其特征在于，包括：
利用镜面球(1)获取室内场景的初始HDR全景光照贴图，在线获取室内场景的光照变化后的LDR图像，并分别提取初始HDR全景光照贴图和光照变化后的LDR图像的特征进行融合；
特征融合后输入光照估计网络进行训练，光照估计网络使用球面高斯函数进行求解，通过损失函数判断光照估计网络的输出结果是否收敛，如果收敛直接输出估计的室内场景光照变化后的球面高斯函数系数，否则回到特征融合再进行训练，直至损失函数收敛为止；
根据输出的估计的球面高斯函数系数，对虚拟物体进行渲染。
2.根据权利要求1所述的面向AR的室内场景动态光照在线估计方法，其特征在于，通过RGB相机(2)拍摄镜面球(1)照片，采集室内场景光源都打开时的高动态范围图像作为初始HDR全景光照贴图；通过RGB相机(2)对室内场景光照发生变化后的LDR图像进行在线捕获。
3.根据权利要求1所述的面向AR的室内场景动态光照在线估计方法，其特征在于，LDR图像的特征提取网络包括六层卷积网络，每层卷积网络包括一个卷积模块，每个卷积模块均使用ReLu函数作为激活函数，前面五个卷积模块采用和AlexNet相同的网络结构，相比标准AlexNet，取消了最后的全连接层，改为两个上采样过程，在第五个卷积操作的运算结果池化之后，执行一次上采样后再执行第六个卷积操作，最后执行一次上采样操作后进行批归一化操作，最终输出LDR特征图像。
4.根据权利要求1所述的面向AR的室内场景动态光照在线估计方法，其特征在于，以Attention U-Net为基础构建光照估计网络，光照估计网络包括编码器和解码器，编码器提取初始HDR全景光照贴图特征和LDR图像特征并进行融合，然后输入到解码器，解码器与编码器之间使用跳跃结构，在跳跃结构之间，使用Attention Gate，将上采样结果与编码器中相同尺寸的结果作为输入，其结果与上采样结果进行concatenate连接，最后使用卷积层作为输出层，经过Sigmoid函数激活后输出估计的球面高斯函数系数。
5.根据权利要求1所述的面向AR的室内场景动态光照在线估计方法，其特征在于，球面高斯函数表示如下：
其中，
表示球心到球面高斯中心的方向向量；
固定球面高斯函数的带宽和中心方向，只允许振幅可变，对于每一个球面高斯
，从任一方向v辐射的光照强度为函数：
假设漫反射物体表面的一个点x被光源L照亮，在漫反射表面，使用Lambert漫反射BRDF计算出射光辐射率公式如下：
Ω表示以点x为中心的球面，
表示点x从立体角ω i 方向接收的光源能量，
为BRDF函数，表示x把方向ω i 入射的能量反射到方向ω o 的能力，θ i 表示光线入射方向ω i 与法线方向直接的夹角；
通过一个球面高斯函数
近似的拟合光源，替换公式(3)中的
部分，得到
根据初始HDR全景光照贴图和光照变化后LDR图像的特征，结合公式(4)计算变化后场景光照的球面高斯函数系数中变化的振幅。
6.根据权利要求1-5任一项所述的面向AR的室内场景动态光照在线估计方法，其特征在于，将渲染的虚拟物体融入到真实场景中。
7.一种室内场景动态光照在线估计装置，其特征在于，利用如权利要求1-6任一项所述的面向AR的室内场景动态光照在线估计方法，该装置包括镜面球(1)、RGB相机(2)和数据处理终端(3)，RGB相机(2)电性连接数据处理终端(3)，RGB相机(2)设置于镜面球(1)前方，用于拍摄镜面球(1)，镜面球(1)用于捕获室内场景的光照分布信息。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的面向AR的室内场景动态光照在线估计方法。
9.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述程序，以实现如权利要求1-6任一项所述的面向AR的室内场景动态光照在线估计方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211386174.7A CN115439595A (zh) | 2022-11-07 | 2022-11-07 | 一种面向ar的室内场景动态光照在线估计方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211386174.7A CN115439595A (zh) | 2022-11-07 | 2022-11-07 | 一种面向ar的室内场景动态光照在线估计方法与装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115439595A true CN115439595A (zh) | 2022-12-06 |
Family
ID=84252764
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211386174.7A Pending CN115439595A (zh) | 2022-11-07 | 2022-11-07 | 一种面向ar的室内场景动态光照在线估计方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115439595A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473803A (zh) * | 2013-09-17 | 2013-12-25 | 清华大学 | 基于各向异性球面高斯函数的渲染方法 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN112927341A (zh) * | 2021-04-02 | 2021-06-08 | 腾讯科技（深圳）有限公司 | 光照渲染方法、装置、计算机设备和存储介质 |
| CN114638950A (zh) * | 2022-03-28 | 2022-06-17 | 海信视像科技股份有限公司 | 一种绘制虚拟物体阴影的方法及设备 |
| CN115294263A (zh) * | 2022-10-08 | 2022-11-04 | 武汉大学 | 一种光照估计模型、网络、方法及系统 |
-
2022
- 2022-11-07 CN CN202211386174.7A patent/CN115439595A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473803A (zh) * | 2013-09-17 | 2013-12-25 | 清华大学 | 基于各向异性球面高斯函数的渲染方法 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN112927341A (zh) * | 2021-04-02 | 2021-06-08 | 腾讯科技（深圳）有限公司 | 光照渲染方法、装置、计算机设备和存储介质 |
| CN114638950A (zh) * | 2022-03-28 | 2022-06-17 | 海信视像科技股份有限公司 | 一种绘制虚拟物体阴影的方法及设备 |
| CN115294263A (zh) * | 2022-10-08 | 2022-11-04 | 武汉大学 | 一种光照估计模型、网络、方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| MENGTIAN LI 等: "Deep spherical Gaussian illumination estimation for indoor scene", 《PROCEEDINGS OF THE ACM MULTIMEDIA ASIA》 * |
| 王辰辰: "基于室内光照估计的增强现实技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 郭智溢: "基于卷积神经网络的室内场景动态光照估计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Haze visibility enhancement: A survey and quantitative benchmarking | |
| JP6246757B2 (ja) | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム | |
| Meilland et al. | 3d high dynamic range dense visual slam and its application to real-time object re-lighting | |
| CN102096941B (zh) | 虚实融合环境下的光照一致性方法 | |
| WO2021103137A1 (zh) | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 | |
| CN109785423B (zh) | 图像补光方法、装置及计算机设备 | |
| CN115115688B (zh) | 一种图像处理方法及电子设备 | |
| WO2023134743A1 (zh) | 调节智能灯光设备的方法、机器人、电子设备、存储介质及计算机程序 | |
| Li et al. | Physically-based editing of indoor scene lighting from a single image | |
| CN113379698B (zh) | 一种分步联合监督的光照估计方法 | |
| CN114972617A (zh) | 一种基于可导渲染的场景光照与反射建模方法 | |
| Chalmers et al. | Reconstructing reflection maps using a stacked-cnn for mixed reality rendering | |
| Zhao et al. | Adaptive light estimation using dynamic filtering for diverse lighting conditions | |
| CN115131419A (zh) | 一种形成丁达尔光效的图像处理方法及电子设备 | |
| WO2022166656A1 (zh) | 光照图像生成方法、装置、设备和介质 | |
| CN115965727A (zh) | 图像渲染方法、装置、设备及介质 | |
| Schwandt et al. | Glossy reflections for mixed reality environments on mobile devices | |
| CN116524101A (zh) | 基于辅助缓冲区信息和直接光照的全局光照渲染方法及装置 | |
| CN116758208A (zh) | 全局光照渲染方法、装置、存储介质及电子设备 | |
| CN115439595A (zh) | 一种面向ar的室内场景动态光照在线估计方法与装置 | |
| Kasper et al. | Multiple point light estimation from low-quality 3D reconstructions | |
| Korn et al. | Interactive augmentation of live images using a hdr stereo camera | |
| Happa et al. | Studying illumination and cultural heritage | |
| US11308684B2 (en) | Ray-tracing for auto exposure | |
| Ryu et al. | Tangible video teleconference system using real-time image-based relighting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221206 |
|
| RJ01 | Rejection of invention patent application after publication |