CN102426695A - 一种单幅图像场景的虚实光照融合方法 - Google Patents

Abstract

本发明提出了一种单幅图像场景的虚实光照融合方法，它主要包括以下步骤：首先由单幅图像中场景底层几何线索估计场景的粗略几何信息；然后由场景的光照线索推理得到本征图像信息，包括原图像的明暗图和反射率图；最后通过得到的几何信息及本征图像信息推理计算出场景的稀疏辐射度图，完成对图像场景的光照估计，并可根据单幅图像虚实光照融合的光照模型在场景中绘制虚拟三维物体，实现图像场景的虚实光照融合。本发明无需在场景中设置任何光照信息采集设备、图像的拍摄信息和复杂的人工操作，只需要单幅图像，即可完成对场景的光照估计，并且能生成一定的虚实光照无缝融合效果。

Description

一种单幅图像场景的虚实光照融合方法

技术领域

本发明涉及图像处理和增强现实技术，具体地说是一种单幅图像场景的虚实光照融合方法。

背景技术

虚拟现实技术将真实世界的多维信息映射到可计算的数字空间；也可以将计算机生成的虚拟场景和虚拟作用反馈到真实世界中。但是，传统的虚拟环境强调虚拟场景建模和虚拟场景表现，较少将虚拟环境直接融入到客观存在的真实世界，这在一定程度上影响了虚拟现实技术的发展和应用。增强现实是虚拟现实的进一步拓展，它借助必要的设备使计算机生成的虚拟对象与客观存在的真实环境共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟对象与真实环境融为一体的增强现实环境，增强现实具有虚实融合、实时交互、三维注册的基本特点。

在基于视频素材的虚实融合场景生成过程中，对场景的光照估计以及虚实光照融合处理是构建增强现实场景的主要组成部分，是影响虚实融合场景逼真性和准确性的最重要因素之一，也是增强现实技术必须面临、急需解决的基础问题和难点问题。为了使计算机生成的虚拟物体具有真实感，需要保持虚拟物体与真实物体间的几何和光照一致性。其中光照一致性是指，根据真实环境中的光照分布和需要注册的虚拟物体的表面材质，计算虚拟物体表面的光照效果，以及由此产生的虚实阴影效果。为了保持虚拟物体与真实物体之间的光照一致性，在现有的增强现实系统中，大多只利用了底层视觉信息，采用人工标志物、经过提前训练的平面和场景中的点、线、面等底层视觉特征完成三维注册，利用光球、鱼眼摄像机等光学采集设备采集真实场景光照信息，完成虚拟物体表面光照效果和虚实阴影效果的计算。但是这种依靠设备采集的方法对用户的专业知识要求较高，对标识物的设置及操作极为不便；并且设置标识物的方法破坏了原有的真实场景，影响了场景的真实感。而场景理解利用先验知识、统计建模和推理的方法，推理出全局的、中高层的场景信息，可以避免设置光照信息采集设备和减少复杂预操作。因此基于场景理解的光照估计方法可以从全局的角度，在更高的层次上推理场景的几何、明暗、阴影、材质、光源以及主要对象类别属性，在此基础上完成虚实光照融合。

近年来，一些单幅图像场景的虚实光照融合方法都力求从场景素材本身推理出其中蕴含的光照信息，并建立光照模型，从而不借助任何光照信息采集设备，完成虚实光照融合。2006年，丹麦奥尔堡大学的Tommy Jensen等人，提出了一种无标识物的增强现实虚实光照融合方法，该方法基于户外场景，利用真实物体的表面图像获取真实环境的光照信息，针对虚拟物体与真实光照条件的不一致现象，给出了虚拟物体表面光照效果的修正方法，能够使虚拟物体的光照效果接近真实环境的光照条件，完成虚实光照融合。但该方法只能处理单个真实场景光源，如太阳，且需要已知场景的粗略三维模型和高动态范围环境图。

2009年，美国卡耐基梅隆大学的Jean Francois Lalonde等人，提出了一种针对单幅户外图像场景的虚实光照融合方法。将户外图像场景中的天空、地面以及垂直表面作为线索估计出太阳所在位置的概率分布，并生成天空模型来照明场景中的虚拟三维物体。该方法利用了6000000张网络摄像头拍摄的时间序列图像作为训练数据集，无需依靠采集设备采集环境光照信息，能够生成较好的虚实阴影一致效果，但在场景中线索较弱的情况下，此方法受到了局限。

2009年，德国埃尔福特大学的Konrad

等人提出了一种基于图像集的虚实光照融合方法。该方法对一个室内场景从各个不同角度拍摄大量照片，通过这一系列照片来构建场景的“合成环境图”。每一张图像代表了空间的一个平面，来模拟光球的采光效果，从中推算出场景光照信息。并通过图片集来构成场景的三维模型，照亮虚拟三维物体。但是该方法只适用于室内场景，并且在渲染过程中没有考虑阴影效果的生成。

另外，2009年，浙江大学的刘艳丽等人还提出了一种针对静态户外场景的虚实光照融合方法，该方法的最大优势在于无需预知场景的几何、材质及纹理信息。对一个静态户外场景，用固定视角的相机经过长时间拍摄得到了涵盖场景不同光照情况的图像数据集。通过学习的方法从中得到分别依靠太阳光和天空光产生的阴影效果作为基图像来反映场景的几何属性及材质属性进行光照估计，并完成虚实光照融合，但是该方法只能处理静态固定视角的视频。

目前的场景理解虽然已经能够推理出场景的粗略几何结构和场景的近似明暗分布，但是离完成场景虚实光照融合的要求还有距离，因此需要基于单幅图像恢复场景粗略几何信息和本征图像的方法、研究基于单幅图像虚实光照融合的光照模型建立方法、基于场景理解的虚实光照融合方法，从全局的角度去层次化地建立几何线索、光照线索与真实光照信息之间的关系。因此本发明提出一种基于场景理解的单幅图场景的虚实光照融合方法，利用场景理解得到粗略的场景几何信息和场景明暗分布，最后根据单幅图像虚实光照融合的光照模型绘制虚拟三维物体，实现图像场景的虚实光照融合。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种单幅图像场景的虚实光照融合方法，该方法由图像场景的底层信息进行推理得到场景的光照信息，而无需在场景中设置任何光照信息采集设备、图像的拍摄信息和复杂的人工操作，只需要单幅图像，即可完成对场景的光照估计以及虚实光照融合，能在场景中绘制虚拟三维物体并生成一定的虚实光照无缝融合效果。

本发明采用的技术方案是：构建一个单幅图像场景的虚实光照融合方法，主要包括：由单幅图像中场景底层几何线索估计场景的粗略几何信息，由场景的本征图像信息，包括原图像的明暗图和反射率图，来获得场景的光照信息，通过得到的几何信息及本征图像信息推理计算出场景的稀疏辐射度图，完成对图像场景的光照估计，最后根据单幅图像光照融合的光照模型在场景中绘制虚拟三维物体，实现对图像场景的虚实光照融合。

一种单幅图像场景的虚实光照融合方法，首先将输入图像分割成若干图像块，使得每个图像块尽可能处于一个平面上，提取每一个图像块的图像特征，利用马尔科夫随机场描述图像块的图像特征与三维信息之间以及图像块之间的关系，利用训练数据，通过监督学习的方法得到马尔科夫随机场的参数，用于推理每一个图像块的三维位置和三维朝向。

然后获得场景的本征图像信息。本征图像信息，即图像所包含的内部信息，例如明暗图，反射率图，噪声图等，每一种这样的图都是本征图像的一个部分。在不考虑噪声图的情况下，单幅图像可以完全分解为明暗图和反射率图的乘积，其中明暗图基本反映了输入图像明暗分布，反射率图基本反映了输入图像中物体的反射率。根据训练库，利用最小方差估计方法，选择出一些可明显区分明暗和反射率的初始图像块，通过迭代训练，计算出每个图像块对应的线性回归系数，根据得到的初始图像块的回归系数估计输入图像的明暗图和反射率图。

基于稀疏辐射度图的真实场景光照估计方法，是指在真实场景和真实光源之间设置虚拟光源分布半球，利用场景中处于非阴影区域的部分漫反射表面，计算与虚拟光源分布半球对应的稀疏辐射度图中均匀分布的部分点的强度，模拟真实光源分布和强度。真实场景中的漫反射表面在图像中对应的像素值应该由表面的辐照度和表面的反射系数决定，因此可以将场景面片的辐照度与明暗图中相应的像素值对应，将面片的反射率与反射率图中相应的像素值对应，由单幅图像场景的光照模型的参数包括：场景的环境光和稀疏辐射度图中均匀分布的部分点强度，计算得到面片的辐照度，利用L-M最优化的方法求解。

基于随机抽样一致性的光照估计求精算法是为剔除高光区域面片以及场景理解估算有误差的面片。首先随机选择若干面片用于光照模型参数估计，然后用估计出来的参数去计算剩余面片的估计值，如果其与观察值相差很大则继续选择另外的若干面片估计参数，直到估计值和观察值的差小于一定阈值算法结束，此时所选择的面片即是最可能符合光照模型估算方法的面片，将符合条件的面片利用最优化方法求解，计算得到场景的光照模型。

本发明与现有的技术相比，其有益的特点是：1、本发明无需预先在场景中设置任何光照信息采集设备、无需图像的拍摄信息以及复杂的人工操作，仅由单幅图像，即可推理得到图像场景的几何信息以及本征图像信息。2、本发明在真实场景和真实光源之间设置虚拟光源分布半球，建立场景的稀疏辐射度图，将辐照度与明暗图中的像素值进行对应，利用最优化方法求取场景的光照参数信息。3、本发明利用基于随机抽样一致性的光照估计求精算法，剔除了场景中的干扰面片，有效提高了单幅图像光照估计的效率以及准确性。

附图说明

图1是本发明的总体架构图；

图2是本发明的恢复场景粗略几何示意图；

图3是本发明的建立场景稀疏辐射度示意图；

图4是本发明的光线合成示意图；

图5是本发明的基于随机抽样一致性的光照估计求精方法流程图。

具体实施方式

下面结合附图对本发明作详细说明。

参阅图1本发明的总体架构图，本发明的总体架构主要包括4个部分：

(1)场景几何信息推理，利用马尔科夫随机场描述场景图像块的图像特征与三维信息之间以及图像块之间的关系，通过监督学习的方法得到随机场参数来推理图像块的三维位置及三维朝向；

(2)场景本征图像推理，利用最小方差估计方法，选择出能明显区分明暗和反射率的初始图像块，通过迭代训练，计算出每个图像块对应的线性回归系数，将单幅图像分解为明暗图和反射率图的乘积；

(3)建立真实场景光照信息，即场景稀疏辐射度图。在真实场景和真实光源之间设置虚拟光源分布半球，利用场景中处于非阴影区域的部分漫反射表面，计算与虚拟光源分布半球对应的稀疏辐射度图，基于L-M最优化算法的光照估计，将面片的辐照度与明暗图中相应的像素值对应，面片的反射率与反射率图中相应的像素值对应，根据辐照度计算公式用L-M最优化的方法求解，模拟真实光源分布和强度；

(4)绘制虚实光照融合场景，先利用基于随机抽样一致性的光照估计求精对场景的光照估计进行修正，首先随机选择若干面片用于光照模型参数估计，然后用估计出来的参数去计算剩余面片的光照估计值，如果其与观察值相差很大则继续选择另外的若干面片估计参数，直到估计值和观察值的差小于一定阈值算法结束，最后完成单幅图像的虚实光照融合绘制。

具体方法如下：首先输入单幅场景图像，估算场景的几何信息。参阅图2本发明的恢复场景粗略几何流程图，将输入图像分割成若干图像块，使得每个图像块尽可能处于原图像场景中同一物体的同一平面上，提取每一个图像块的图像特征，即其颜色纹理统计特征和形状位置特征。利用马尔科夫随机场描述图像块的图像特征与三维信息之间以及图像块之间的关系。图像块的三维信息指的是其三维位置和三维朝向，图像块所在平面的参数为

，摄像机中心到图像块上第i点的射线为R_i，距离为d_i，摄像机中心到图像块所在平面的三维距离为

图像块的三维朝向为

最后利用训练数据，通过监督学习的方法得到马尔科夫随机场的参数，用于推理每一个图像块的三维位置和三维朝向。

然后对图像场景进行本征图像的分解。本征图像信息是指图像所包含的内部信息，例如一幅图像包含明暗图，反射率图，噪声图等，每一种图都是本征图像的一个部分。在不考虑噪声图的情况下，单幅图像可以完全分解为明暗图和反射率图的乘积，输入图像被分解成明暗图和反射率图的乘积，其中明暗图基本反映了输入图像的明暗分布，如地面上的阴影区域和物体的明暗分布，而反射率图基本反映了输入图像中物体表面的反射率。利用绿色的笔在白纸上绘制图形，然后用相机在RAW模式下拍摄，其中红色通道就是原图，绿色通道为明暗图，反射率图就是原图除以明暗图的商，得到多组类似的图像对，构成训练库。根据用最小方差估计方法，选择出一些明显区分明暗和反射率的初始图像块，通过迭代训练，计算出每个图像块对应的线性回归系数，由得到的初始图像块的回归系数估计输入图像的明暗图和反射率图。

参阅图3本发明的建立场景稀疏辐射度图示意图。真实场景的稀疏辐射度图是指在以半球形表示的场景辐射度图中，只计算均匀分布的部分点的强度，模拟真实光照效果。在真实场景和真实光源之间设置虚拟光源分布半球，利用场景中处于非阴影区域的部分漫反射表面，计算辐射度图中的均匀分布的部分点强度，得到与虚拟光源分布半球对应的稀疏辐射度图，近似模拟真实光源。如图3所示，图中的三角锥、球形和立方体表示真实场景，上方的半球形状表示场景的光源方向半球，计算稀疏辐射度图时只考虑其中均匀分布的部分点的强度，如半球上方分布点所示。由于光源方向可以用一个二维向量表示，所以用一个二维矩阵表示光源方向半球对应的场景稀疏辐射度图。

真实场景中的一条光线，可以用三维空间中的一个向量表示：

I_LL＝I_L(p，q，1)

其中I_L表示光线的强度，L＝(p，q，1)表示光线方向的单位法向量。参阅图4本发明的光线合成示意图，根据向量加法的分配率，光源L发出的光线在面片Sur上产生的辐照度，可以由光源L₁发出的光线与光源L₂发出的光线合成，其中N是面片Sur的法向量：

$I_{L_1}{L}_1\·N+I_{L_2}{L}_2\·N=(I_{L_1}{L}_1+I_{L_2}{L}_2)\·N=I_{L}L\·N$

这个规则的成立条件为：

(1)面片Sur对于光源L、L₁和L₂均可见：

Vis(Sur，L)＝Vis(Sur，L₁)＝Vis(Sur，L₂)＝1

(2)面片Sur的法向量与光源L发出的光线、光源L₁、光源L₂发出的光线的夹角余弦大于零：

L₁·N＞0，L₂·N＞0，L·N＞0

因此在场景粗略几何信息恢复得到的面片中，尽可能的选择满足上述两个条件的面片参与稀疏辐射度图的计算。

不考虑相机响应函数，真实场景中的漫反射表面在图像中对应的像素值应该由表面的辐照度和表面的反射系数决定：

$I=[I_a+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{I}_{p_i}{L}_i\·N]\×K$

I表示漫反射面片在图像中的像素值，I_a表示场景中的环境光，I_pi和L_i分别表示作用于面片的第i个光源的强度和方向，m表示作用于面片的光源个数，N和K分别表示面片的法向量和的反射率。

根据本征图像的含义，可以将面片的辐照度，包括环境光的作用和m个光源的作用，与明暗图中相应的像素值对应，将面片的反射率与反射率图中相应的像素值对应。单幅图像虚实光照融合的光照模型的参数包括场景的环境光和稀疏辐射度图中均匀分布的部分点强度，都包含在面片的辐照度计算公式内，因此可以用L-M最优化的方法求解得到光照模型的参数值：

$\underset{I_a,I_1,I_2...I_m}{\arg \min }\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{(S_{o_j}-[I_a+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{I}_{p_i}{L}_i\·N_j\left]\right)}^2$

其中

是第j个面片辐照度，它对应的是明暗图中相应位置的像素值，

是根据光照模型估算的第j个面片辐照度，取n个符合条件的面片，利用L-M最优化方法，计算使得n个面片估算值和观察值之间差绝对值最小的光照模型参数取值。

为了减小图像中的高光，阴影等部分以及场景理解估算误差带来的影响，需要剔除不满足公式条件、高光区域面片和场景理解估算有误差的面片，虽然真实光源的位置未知，但是真实光源的分布基本符正态分布，即大部分光源处于场景的正上方或者正上方附近，所以尽可能选择法向量朝上并且基本处于场景上部的面片。对于高光区域面片，选择一个阈值并剔除亮度大于该阈值以上的面片。

然而上述剔除方法并不能保证剔除所有的不满足公式条件、高光区域面片以及场景理解估算有误差的面片，参阅图5本发明的基于随机抽样一致性的光照估计求精方法流程图，首先随机选择若干面片用于光照模型参数估计，然后用估计出来的参数去计算剩余面片的估计值，如果其与观察值相差很大则继续选择另外的若干面片估计参数，直到估计值和观察值的差小于一定阈值算法结束，此时所选择的面片即是最可能符合光照模型估算方法的面片。

最后由得到的场景粗略三维几何信息和场景的本征图像，根据基于单幅图像场景的虚实光照融合处理方法，将虚拟对象注册到真实场景中，并得到了一定的虚实光照无缝融合效果。由以上分析不难得到，如果在极限情况下，计算场景辐射度图中的所有均匀分部点的强度值，那么最终的虚实光照融合效果将达到最好，但这将需要很大的计算开销，因此用户可以通过调整估算的稀疏辐射度图中均匀分布点的个数m，在效果和速度之间做出选择。最后利用真实光照信息估算照明虚拟三维物体，完成虚实光照融合。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (6)

1.一种单幅图像场景的虚实光照融合方法，其特征在于包含以下步骤：

(1)由单幅原始输入图像中场景底层几何线索估计场景的粗略几何信息；

(2)由场景的光照线索推理得到本征图像信息，包括原始输入图像的明暗图和反射率图；

(3)通过得到的几何信息及本征图像信息推理完成对图像场景的光照估计，实现图像场景的虚实光照融合。

2.根据权利要求1所述的一种单幅图像场景的虚实光照融合方法，其特征在于：在步骤(1)中，首先将输入图像分割成若干图像块，每个图像块尽可能处于原输入图像场景中同一物体的同一平面上，提取每个图像块的图像特征，然后利用马尔科夫随机场描述图像块的图像特征与三维信息之间、图像块之间的关系，通过监督学习的方法得到马尔科夫随机场的参数，用于推理每一个图像块的三维位置和三维朝向。

3.根据权利要求1所述的一种单幅图像场景的虚实光照融合方法，其特征在于：步骤(2)中所述的本征图像信息是指图像所包含的内部信息；在不考虑噪声图的情况下，单幅图像可以完全分解为明暗图和反射率图的乘积；首先利用最小方差估计方法，选择出可明显区分明暗和反射率的初始图像块，通过迭代训练，计算出每个图像块对应的线性回归系数，根据得到的初始图像块的回归系数来估计输入图像的明暗图和反射率图，明暗图基本反映了输入图像的明暗分布，而反射率图基本反映了输入图像中物体的反射率。

4.根据权利要求1所述的一种单幅图像场景的虚实光照融合方法，其特征在于：步骤(3)中为完成对图像场景的光照估计，所述的场景稀疏辐射度图是指在真实场景和真实光源之间设置虚拟光源分布半球，利用场景中处于非阴影区域的部分漫反射表面，计算与虚拟光源分布半球对应的辐射度图中均匀分布的部分点的强度，得到真实场景的稀疏辐射度图，近似模拟真实光源。

5.根据权利要求1所述的一种单幅图像场景的虚实光照融合方法，其特征在于：在步骤(3)中对图像场景的光照估计，需要建立单幅图像场景虚实光照融合的光照模型，模型参数包括场景的环境光和稀疏辐射度图中均匀分布的部分点的强度，将场景面片上的辐照度与明暗图中相应的像素值对应，将面片的反射率与反射率图中相应的像素值对应；利用L-M最优化的方法，计算得到可使面片像素估算值和观察值之间差的绝对值最小的值为光照模型参数取值。

6.根据权利要求1所述的一种单幅图像场景的虚实光照融合方法，其特征在于：在步骤(3)中为完成对图像场景的光照估计，需要剔除所有场景理解估算有误差的面片，利用基于随机抽样一致性的光照估计求精算法，首先随机选择若干面片用于光照模型参数估计，然后用估计出来的参数去计算剩余面片的估计值，如果其与观察值相差很大则继续选择另外的若干面片估计参数，直到估计值和观察值的差小于一定阈值时算法结束，此时所选择的面片即为最可能符合光照模型估算方法的面片；最后利用得到的真实光照信息估算值照明虚拟三维物体，完成单幅图像场景的虚实光照融合。

Images