CN102930513B - 一种视频场景的虚实光照融合方法 - Google Patents

Abstract

本发明公开了一种视频场景的虚实光照融合方法，包括如下步骤：从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。其有效平滑了生成虚实融合视频的光影效果。

Description

一种视频场景的虚实光照融合方法

技术领域

本发明涉及图像处理和增强现实技术，具体地说是一种视频场景的虚实光照融合方法。

背景技术

虚拟现实是近年来不断发展的研究领域，通过以计算机科学与技术为核心的高新科技，生成与真实环境在视、听、触感等方面高度近似的逼真虚拟环境，使用户在虚拟环境获得身临其境的感受和体验。传统的虚拟现实技术主要强调虚拟场景建模和虚拟场景表现，较少将虚拟环境直接融入到客观存在的真实世界，这在一定程度上影响了虚拟现实技术的发展和应用。增强现实是虚拟现实的进一步拓展，借助必要的硬件和软件设备，使计算机生成的虚拟景物与客观存在的真实环境共存于同一个增强现实系统中，从感官和体验效果上给用户呈现出虚拟景物与真实环境融为一体的增强现实环境。增强现实是正在迅速发展的新研究方向，该方向的关键问题包括虚拟对象与真实场景的有效融合。

因此，基于视频的虚实融合场景，及其光照效果生成技术不仅成为虚拟现实和增强现实方向的技术发展趋势，也是图形学、计算机视觉、视频处理、模拟仿真等相关领域方向国际发展前沿的研究热点。在虚实融合场景中，影响虚实融合逼真效果的重要方面就是虚拟对象光照效果与真实场景光照信息的逼近程度。为了使计算机生成的虚拟对象具有真实感，达到与真实场景有效融合的效果，需要保持虚拟对象与真实场景间几何和光照的一致性。其中光照一致性是指，根据真实环境中的光照分布和虚拟对象的表面材质，计算虚拟对象的表面光照效果，以及虚拟对象在真实场景中生成的虚拟阴影效果。

为了使虚拟对象的光照效果能够接近真实场景的光照效果，现有的基于视频的虚实融合场景，及其光照效果生成技术主要通过人工在真实场景中设置一些光学标志物来采集真实场景的光照信息，利用光学标识物采集得到的光照信息，表示真实场景的光照条件，并且确定虚拟对象的光照参数，进而完成虚拟对象表面光照效果和虚拟阴影效果的计算。近年来，一些基于场景理解的虚实融合方法，力求从真实场景素材本身的几何特征与光照特征推断出真实场景的几何信息与光照信息，并建立光照模型表示真实场景的光照条件，从而可以不借助任何光照信息采集设备，完成虚实融合场景及其光照效果的生成。但目前，基于场景理解的虚实融合方法还不能满足虚实无缝融合视频处理的要求。在视频真实场景中，场景对象与真实光照条件随时间发生变化，会影响基于单帧图像的光照条件估计，而现有的虚实融合技术往往忽略了视频帧的虚实融合光照效果差异性，从而导致虚实融合场景的光照效果抖动现象，大大降低了虚实融合光照效果的逼真性。

近年来，一些视频场景的虚实光照融合方法都力求从场景素材本身推断出其中蕴含的光照信息，并建立光照模型，从而不借助任何光照信息采集设备，完成虚实光照融合。2006年，丹麦奥尔堡大学的Tommy Jensen等人，提出了一种无标识物的增强现实虚实光照融合方法，该方法基于户外场景，利用真实物体的表面图像获取真实环境的光照信息，针对虚拟物体与真实光照条件的不一致现象，给出了虚拟物体表面光照效果的修正方法，能够使虚拟物体的光照效果接近真实环境的光照条件，完成虚实光照融合。但该方法只能处理单个真实场景光源，如太阳，且需要已知场景的粗略三维模型和高动态范围环境图。

2009年，卡耐基梅隆大学的Jean-Francois Lalonde等人，提出了一种基于视频图像剪贴库的虚实光照融合方法。利用网络摄像头拍摄的延时视频序列，构建了拥有大量图像数据的“视频图像剪贴库”，针对库中的每幅图像进行辐射度和几何上的标定，并计算出视频序列图像中每一帧的高动态范围环境图。基于已知几何信息及光照信息的“场景图像剪贴库”，给定一副已具有光照效果的二维图像，可以在库中搜索出与其光照条件最匹配的场景，进行场景与对象的融合；还可以用库中的场景重光照三维图形，即完成虚实融合的效果。

2009年，浙江大学的刘艳丽等人还提出了一种针对静态户外场景的虚实光照融合方法，该方法的最大优势在于无需预知场景的几何、材质及纹理信息。对一个静态户外场景，用固定视角的相机经过长时间拍摄得到了涵盖场景不同光照情况的图像数据集。通过学习的方法从中得到分别依靠太阳光和天空光产生的阴影效果作为基图像来反映场景的几何属性及材质属性进行光照估计，并完成虚实光照融合，但是该方法只能处理静态固定视角的视频。

2011年，伊利诺伊大学厄巴纳一香槟分校的Kevin Karsch等人提出了一种需要用户交互的虚实光照融合方法。该方法通过用户手工标注出场景中一些重要的几何信息以及场景中光源的位置作为输入，能够恢复出场景基本的几何模型，建立场景的光照模型，并能够计算出场景中反射表面的材质以及相机参数，进而可以完成虚实光照融合的处理。该方法的虚实光照融合效果十分逼真，不但能够完成虚拟物体在真实场景中的光影绘制，并且对于真实物体的阴影投射到虚拟物体上，以及虚拟物体的阴影投射到真实物体的情况也能够完成很好的融合绘制效果。但该方法需要用户参与程度较大，影响了该方法的自动化程度，并且针对的场景大部分为室内真实场景。

综上所述，目前的虚实光照融合技术大多需要预先获取场景光照信息，或者需要使用特殊设备来获取场景的高动态范围图像，并需要已知场景的部分几何信息甚至是全部三维模型，对真实场景的光照参数及几何属性估算的正确与否直接影响到虚实融合的结果。进一步地，从视频处理而言，现有的技术大多忽略了视频帧与帧之间的关联性，在逐帧进行光照估计时，单帧的估算信息难免存在差异，从而造成生成视频场景中虚拟物体光影效果的不连续性，即视频中相邻帧在虚实光照及虚实阴影一致上存在着差异。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：本发明提出一种视频场景的虚实光照融合方法，在保持视频帧间关联关系的前提下，完成对场景的光照估计以及虚实光照融合，能在场景中绘制虚拟三维物体并生成一定的虚实光照无缝融合效果。

为实现本发明目的而提供的一种视频场景的虚实光照融合方法，该方法包括以下步骤：

步骤S100，从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；

步骤S200，通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。

较优地，作为一种可实施例，所述步骤S100包括如下步骤：

步骤S110，首先将输入视频，按照预设的时间间隔分为多段等时间间隔的视频区间，对每一个视频区间从中抽取关键帧；

步骤S120，利用图像分割的方法，分割出关键帧中天空、地面以及垂直建筑物部分；

步骤S130，将分割出关键帧图像中的天空部分，建立概率模型，由天空的明暗程度推断出太阳所在位置的概率分布图；

将分割出关键帧图像中的地面部分，并提取出地面部分的阴影轮廓线，建立概率模型，由地面阴影线的走向推断出太阳所在位置的概率分布图；

将分割出关键帧图像中的垂直建筑物部分，建立概率模型，由建筑物表面受太阳光照的明暗程度推断出太阳所在位置的概率分布图；

步骤S140，联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图。

较优地，作为一种可实施例，所述步骤S130包括如下步骤：

通过视频图像中的主体部分：天空像素S、地面像素G和垂直表面像素V来推断出太阳位置的概率分布；

视频场景的光照情况I可以通过两个参数来表示：其中θ_s表示太阳的天顶角，表示太阳相对于相机的方位角；

1)对于天空区域，天空像素s_i的明暗程度可以推断出太阳在天空区域可能出现的位置；

天空像素s_i符合以下产生式模型：

其中g(·)代表天空模型；N(μ，σ²)代表均值为μ、方差为σ²的正态分布；k为尺度因子；

建立如下概率模型来计算推断出太阳位置的概率分布

2)对于地面区域，利用阴影检测的方法，提取出地面区域中阴影部分的轮廓线；

对地面区域检测出的每一条阴影线l_i，根据相机参数估计出其相对的方向α_i，建立地面区域阴影线的朝向与太阳方位角之间的关系

联合每一条阴影线对太阳方位的推断，得到太阳位置的概率分布

其中，表示正态分布的均方误差参数，∝表示该符号前一项与后一项成正比；

3)对于垂直建筑物部分，设场景中大部分垂直物体的表面部具有近似的反射率，利用垂直建筑物的正面、左侧表面和右侧表面三个表面的明暗程度来推断太阳位置的概率分布；

对于一个明亮的表面w_i，太阳最有可能的位置应该位于该表面的法向量方向β_i，建立每一个表面与太阳方位角的关系

其中为所对应表面的光照强度，联合三个表面对太阳方位的推断，得到太阳位置的概率分布

较优地，作为一种可实施例，所述光照参数滤波算法为卡尔曼滤波算法；

设在一个足够短的时间间隔内光照为常数，采用卡尔曼滤波利用光照的连续性平滑帧与帧之间的光影变化，由视频关键帧的稀疏辐射度图作为滤波输入，来修正非关键帧的稀疏辐射度图，得到视频每一帧的稀疏辐射度图，最后绘制视频每一帧的虚实融合场景，实现视频场景的虚实光照融合绘制。

较优地，作为一种可实施例，所述步骤S200包括如下步骤：

步骤S210，对于非关键帧，采用卡尔曼滤波算法，首先获取关键帧的稀疏辐射度图；

步骤S220，由关键帧的稀疏辐射度图作为滤波输入，对非关键帧的稀疏辐射度图进行优化，得到非关键帧的稀疏辐射度图；

步骤S230，最后生成视频每一帧的虚实融合效果。

较优地，作为一种可实施例，所述步骤S140包括如下步骤：

得到了由天空、地面、垂直表面分别推断的太阳位置概率正态分布后，计算出最终视频场景关键帧的太阳位置概率分布

根据太阳位置概率分布计算出视频场景关键帧的稀疏辐射度图。

较优地，作为一种可实施例，所述步骤S220中，对非关键帧的稀疏辐射度图进行优化，得到非关键帧的稀疏辐射度图，包括如下步骤：

首先，根据前k个关键帧的稀疏辐射度图，建立卡尔曼更新预测方程：

x_k+1＝A_kx_k+w_k

x_k为第k帧的光照模型参数取值，w_k为过程噪声，A为状态转移矩阵，取A_k为单位矩阵；

然后，计算得到协方差矩阵P_k及卡尔曼增益矩阵K_k：

$K_k=\frac{P_k{H}_k}{H_k{P}_k{H}_k^T+R_k}$

P_k＝(I-K_kH_k)P_k

其后，对卡尔曼更新预测方程协方差矩阵P_k及卡尔曼增益矩阵K_k，进行迭代求解，即对观测量更新方程进行迭代求解，其中观测量更新方程为：

$K_k=\frac{P_k{H}_k}{H_k{P}_k{H}_k^T+R_k}$

P_k＝(I-K_kH_k)P_k

x_k+1＝x_k+K_k(z_k-H_kx_k)

R_k为第k帧的观测噪声协方差矩阵，测量噪声R_k＝v_k，Q_k为过程噪声协方差矩阵，即过程噪声Q_k值：

$Q_k=\frac{v_k}{200\left({{\mathrm{\ϵ}}_v}^{\frac{0.1P_k}{k}}\right)}$

判断迭代求解是否结束；如果否，则更新滤波输入X(k)，进行下一轮迭代；否则迭代求解结束，得到非关键帧的稀疏辐射度图。

较优地，作为一种可实施例，对第k帧取其前P_k帧使得在P_k+1帧中的光照近似不发生变化；

P_k的取值方法为，计算第k帧相邻的前K帧的方差，若方差大于阈值ε_v，则丢掉第一帧，重新计算剩余的K-1帧的方差，直到方差值小于ε_v，最后剩余的帧数为P_k，计算这些帧的协方差为v_k。

本发明的有益效果：本发明与现有的技术相比，其有益的特点是：1、本发明无需预先在场景中设置任何光照信息采集设备、无需图像的拍摄信息以及复杂的人工操作，仅由单幅图像，即可推断得到图像场景的光照估计参数。2、本发明在保持视频帧间关联关系的前提下，估算出视频关键帧的稀疏辐射度图，并利用关键帧的稀疏辐射度图修正非关键帧的稀疏辐射度图，有效平滑了生成虚实融合视频的光影效果。

附图说明

图1是本发明的总体架构图；

图2是本发明的卡尔曼滤波算法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种视频场景的虚实光照融合方法进行解释。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种基于帧间关联关系的视频场景的虚实光照融合方法，在保持视频帧间关联关系的前提下，估算出视频关键帧的光照参数，并利用关键帧的光照参数修正非关键帧的光照参数，生成基于视频的逼真虚实光照效果，完成视频场景的虚实光照融合。

如图1所示，本发明实施例的一种视频场景的虚实光照融合方法，包括如下步骤：

步骤S100，从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；

将视频按照一定的时间间隔分为多段等时间间隔的视频区间，认为每段区间内的光照信息是近似不变的，然后从每段视频区间中抽取视频关键帧。对抽取的每一个关键帧，分割出关键帧图像中的天空部分、地面部分以及垂直建筑物部分。对于天空部分，由天空的明暗程度建立概率模型，推断出太阳所在位置的概率分布图；对于地面部分，提取出地面阴影的轮廓线，由地面阴影线的走向建立概率模型，推断出太阳所在位置的概率分布图；对于垂直建筑物部分，由建筑物表面受太阳光照的明暗程度建立概率模型推断出太阳所在位置的概率分布图。综合以上三个线索对太阳位置的推断，计算得到关键帧的稀疏辐射度图。

较佳地，作为一种可实施方式，在步骤S100包括如下步骤：

步骤S110，首先将输入视频，按照预设的时间间隔分为多段等时间间隔的视频区间，对每一个视频区间从中抽取关键帧；

设在一个足够短的时间间隔内，真实场景的光照为一个常值。首先输入原始视频场景，并将视频分割为多段视频区间，认为每段区间内的光照信息是近似不变的，然后从每段视频区间中抽取视频关键帧。

步骤S120，利用图像分割的方法，分割出关键帧中天空、地面以及垂直建筑物部分；

步骤S130，将分割出关键帧图像中的天空部分，建立概率模型，由天空的明暗程度推断出太阳所在位置的概率分布图；

将分割出关键帧图像中的地面部分，并提取出地面部分的阴影轮廓线，建立概率模型，由地面阴影线的走向推断出太阳所在位置的概率分布图；

将分割出关键帧图像中的垂直建筑物部分，建立概率模型，由建筑物表面受太阳光照的明暗程度推断出太阳所在位置的概率分布图；

较佳地，作为一种可实施方式，通过视频图像中的主体部分：天空像素S、地面像素G和垂直表面像素V来推断出太阳位置的概率分布。

视频场景的光照情况I可以通过两个参数来表示：其中θ_s表示太阳的天顶角，表示太阳相对于相机的方位角

1)对于天空区域，天空像素s_i的明暗程度可以推断出太阳在天空区域可能出现的位置。

天空像素s_i符合以下产生式模型，如式(1)所示：

其中g(·)代表天空模型；代表均值为μ、方差为σ²的正态分布；k为尺度因子；

可以建立如下概率模型来计算推断出太阳位置的概率分布如式(2)所示：

2)对于地面区域，利用阴影检测的方法，提取出地面区域中阴影部分的轮廓线。

对地面区域检测出的每一条阴影线l_i，根据相机参数可以估计出其相对的方向α_i，因此可以建立地面区域阴影线的朝向与太阳方位角之间的关系如式(3)所示：

联合每一条阴影线对太阳方位的推断，可以得到太阳位置的概率分布如式(4)所示：

其中，表示正态分布的均方误差参数，∝表示该符号的前一项与后一项成正比。

3)对于垂直建筑物部分，垂直物体表面的明暗分布往往能够反映出太阳的近似位置，例如对于一个非常明亮的表面而言，太阳很可能位于该表面的法向量方向。因此，设场景中大部分垂直物体的表面都具有近似的反射率，利用垂直建筑物的正面、左侧表面和右侧表面三个表面的明暗程度来推断太阳位置的概率分布。

对于一个明亮的表面w_i，太阳最有可能的位置应该位于该表面的法向量方向β_i。因此可以建立每一个表面与太阳方位角的关系如式(5)所示：

其中为所对应表面的光照强度，联合三个表面对太阳方位的推断，可以得到太阳位置的概率分布如式(6)所示：

步骤S140，联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图。

得到了由天空、地面、垂直表面推断的太阳位置概率分布后，就可以计算出视频场景关键帧的太阳位置概率分布图，从而可以计算出视频场景关键帧的稀疏辐射度图。

得到了由天空、地面、垂直表面分别推断的太阳位置概率正态分布后，可以计算出最终视频场景关键帧的太阳位置概率分布如式(7)所示：

根据太阳位置概率分布从而可以计算出视频场景关键帧的稀疏辐射度图。根据太阳位置概率分布计算出视频场景关键帧的稀疏辐射度图是一种现有技术，因此，在本发明实施例中，不再一一详细描述。

步骤S200，通过光照参数滤波算法，利用视频关键帧的光照估计结果，修正视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。

光照参数滤波算法是为了平滑虚实融合场景中的光影抖动现象。它利用了光照的连续性，由关键帧的稀疏辐射度图作为滤波输入，对非关键帧的稀疏辐射度图进行优化，得到非关键帧的稀疏辐射度图，平滑帧与帧之间的光影变化，最后生成视频的虚实融合效果。

较佳地，所述光照参数滤波算法为卡尔曼滤波算法，其设在一个足够短的时间间隔内光照为常数，采用卡尔曼滤波利用光照的连续性平滑帧与帧之间的光影变化，由视频关键帧的稀疏辐射度图作为滤波输入，来修正非关键帧的稀疏辐射度图，得到视频每一帧的稀疏辐射度图，最后绘制视频每一帧的虚实融合场景，实现视频场景的虚实光照融合绘制。

较佳地，作为一种可实施方式，如图2所示，所述步骤S200包括如下步骤：

步骤S210，对于非关键帧，采用卡尔曼滤波算法，首先获取关键帧的稀疏辐射度图；

步骤S220，由关键帧的稀疏辐射度图作为滤波输入，对非关键帧的稀疏辐射度图进行优化，得到非关键帧的稀疏辐射度图；

视频场景帧间光照效果的时间一致性主要由户外视频真实场景中自然物体的局部抖动引起。这种局部抖动由于运动幅度一般较小，不会使得求解的估计值与真实值之间存在较大的偏差，但会使解与真实值之间有小的波动。从而使生成的视频虚实光照融合效果产生光影的“抖动”现象。

由于在户外视频真实场景中，光照在一个非常短的时间内通常变化不大，因此可以设在一个足够短的时间间隔内光照为常数，采用卡尔曼滤波利用光照的连续性平滑帧与帧之间的光影变化，利用卡尔曼滤波，由关键帧的稀疏辐射度图作为滤波输入，来修正非关键帧的稀疏辐射度图。

作为一种可实施方式，所述对非关键帧的稀疏辐射度图进行优化，得到非关键帧的稀疏辐射度图，包括如下步骤：

首先，根据前k个关键帧的稀疏辐射度图，建立卡尔曼更新预测方程，如式(8)所示：

x_k+1＝A_kx_k+w_k                                                   (8)

x_k为第k帧的光照模型参数取值，w_k为过程噪声，A为状态转移矩阵，取A_k为单位矩阵；

在卡尔曼滤波模型中，设状态量为x_k，表示系统的光照模型参数，在卡尔曼滤波的预测阶段，预测更新方程可写为如式(9)所示：

x_k+1＝A_kx_k+w_k                                                   (9)

该方程中，x_k为第k帧的光照模型参数取值，w_k为过程噪声，A为状态转移矩阵，在这里取A_k为单位矩阵。

然后，计算得到协方差矩阵P_k及卡尔曼增益矩阵K_k，如式(10)所示；

$K_k=\frac{P_k{H}_k}{H_k{P}_k{H}_k^T+R_k}$

P_k＝(I-K_kH_k)P_k

利用步骤S100中得到的光照参数最优值I(I_a,I₁,I₂,...I_m)作为卡尔曼滤波中的观测量z_k，建立卡尔曼滤波的观测方程，如式(11)所示：

z_k＝H_kx_k+v_k                                                      (11)

其中H_k为单位矩阵，因此建立卡尔曼滤波的时间更新方程，如式(12)所示，为：

x_k+1＝A_kx_k

$P_{k+1}=A_k{P}_k{A}_k^T+Q_k---\left(12\right)$

P_k为状态量x_k所对应的协方差矩阵，它反映了估计的精度，随着迭代次数的增加，P_k将会快速减小，在滤波效果良好时，P_k较小，反之P_k会增大。

在本发明实施例中，作为一种可实施方式，对第k帧取其前P_k帧使得在P_k+1帧中的光照可以近似认为不发生变化。

P_k的取值方法为，计算第k帧相邻的前K帧的方差，若方差大于阈值ε_v，则丢掉第一帧，重新计算剩余的K-1帧的方差，直到方差值小于ε_v，最后剩余的帧数为P_k，计算这些帧的协方差为v_k；Q_k为过程噪声协方差矩阵。

其后，对卡尔曼更新预测方程协方差矩阵P_k及卡尔曼增益矩阵K_k，进行迭代求解，即对观测量更新方程进行迭代求解，其中观测量更新方程，如式(13)所示，为：

$K_k=\frac{P_k{H}_k}{H_k{P}_k{H}_k^T+R_k}$

P_k＝(I-K_kH_k)P_k                                                     (13)

x_k+1＝x_k+K_k(z_k-H_kx_k)

观测量与状态量的关系是非线性的，所以进行迭代求解，每一步迭代过程中，观测量更新优化方程，如式(14)所示，为：

$K_k=\frac{P_k{H}_k}{H_k{P}_k{H}_k^T+R_k}$

P_k＝(I-K_kH_k)P_k                                                     (14)

x_k+1＝x_k+K_k(z_k-H_kx_k)

R_k为第k帧的观测噪声协方差矩阵，由于设在所取得的P_k帧中光照为常数，因此测量噪声R_k＝v_k，同时若v_k值越大，说明P_k帧中光照为常数不正确，相应的，过程噪声Q_k值也应该越大，所以定义：

$Q_k=\frac{v_k}{200\left({{\mathrm{\ϵ}}_v}^{\frac{0.1P_k}{k}}\right)}$

判断迭代求解是否结束；如果否，则更新滤波输入X(k)，进行下一轮迭代；否则迭代求解结束，得到非关键帧的稀疏辐射度图。

较佳地，在对视频关键帧进行光照估计时，难免会产生光照估计错误的情况，对于这些无法避免的估计值突变情况，会直接导致观测值的突变，因此，可以考虑增大卡尔曼滤波中的观测噪声协方差矩阵R_k以减小噪声对光照参数滤波的影响。

步骤S230，最后生成视频每一帧的虚实融合效果。

由得到的场景的粗略几何信息和场景的本征图像信息，根据基于视频场景的虚实光照融合处理方法，将虚拟对象注册到真实场景中，并得到了一定的虚实光照无缝融合效果。

如果在极限情况下，计算场景辐射度图中的所有均匀分部点的强度值，那么最终的虚实光照融合效果将达到最好，但这将需要很大的计算开销，本发明实施例中，作为一种可实施方式，通过调整估算的稀疏辐射度图中均匀分布点的个数m，在效果和速度之间做出选择，最后利用真实光照信息估算照明虚拟三维物体，完成虚实光照融合。

本发明的视频场景的虚实光照融合方法，该方法由视频场景的底层信息进行推断得到场景的光照信息，而无需在场景中设置任何光照信息采集设备、视频的拍摄信息和复杂的人工操作；并且针对视频帧间虚实融合效果差异性造成的虚实融合场景的光影抖动现象，在保持视频帧间关联关系的前提下，完成对场景的光照估计以及虚实光照融合，能在场景中绘制虚拟三维物体并生成一定的虚实光照无缝融合效果。

最后应当说明的是，很显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，如果本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型。

Claims (8)

1.一种视频场景的虚实光照融合方法，其特征在于，包括如下步骤：

步骤S100，从视频中按照相等的时间间隔抽取视频关键帧，然后分别以视频关键帧图像中的天空、地面以及垂直表面作为线索，估计出每个线索计算推断得到的太阳所在位置的概率分布图，并联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图；

步骤S200，在视频关键帧的光照估计结果基础上，利用卡尔曼滤波预测视频非关键帧的光照估计结果，实现视频场景的虚实光照融合。

2.根据权利要求1所述的视频场景的虚实光照融合方法，其特征在于，所述步骤S100包括如下步骤：

步骤S110，首先输入视频，按照预设的时间间隔分为多段等时间间隔的视频区间，对每一个视频区间从中抽取关键帧；

步骤S120，利用图像分割的方法，分割出关键帧中天空、地面以及垂直建筑物部分；

步骤S130，分割出关键帧图像中的天空部分，建立概率模型，由天空的明暗程度推断出太阳所在位置的概率分布图；

分割出关键帧图像中的地面部分，并提取出地面部分的阴影轮廓线，建立概率模型，由地面阴影线的走向推断出太阳所在位置的概率分布图；

分割出关键帧图像中的垂直建筑物部分，建立概率模型，由建筑物表面受太阳光照的明暗程度推断出太阳所在位置的概率分布图；

步骤S140，联合由视频天空、地面及垂直表面得到的太阳位置概率推断出视频关键帧场景中太阳位置的概率分布图，生成视频场景关键帧的稀疏辐射度图。

3.根据权利要求2所述的视频场景的虚实光照融合方法，其特征在于， 所述步骤S130包括如下步骤：

通过视频图像中的主体部分：天空像素S、地面像素G和垂直表面像素V来推断出太阳位置的概率分布；

视频场景的光照情况I可以通过两个参数来表示：其中θ_s表示太阳的天顶角，表示太阳相对于相机的方位角；

1)对于天空区域，天空像素s_i的明暗程度可以推断出太阳在天空区域可能出现的位置；

天空像素s_i符合以下产生式模型：

其中g(·)代表天空模型；代表均值为μ、方差为σ_s ²的正态分布；k为尺度因子；

建立如下概率模型来计算推断出太阳位置的概率分布

2)对于地面区域，利用阴影检测的方法，提取出地面区域中阴影部分的轮廓线；

对地面区域检测出的每一条阴影线l_i，根据相机参数估计出其相对的方向α_i，建立地面区域阴影线的朝向与太阳方位角之间的关系

联合每一条阴影线对太阳方位的推断，得到太阳位置的概率分布 

其中，表示正态分布的均方误差参数，∝表示该符号前一项与后一项成正比；

3)对于垂直建筑物部分，设场景中大部分垂直物体的表面都具有近似的反射率，利用垂直建筑物的正面、左侧表面和右侧表面三个表面的明暗程度来推断太阳位置的概率分布；

对于一个明亮的表面w_i，太阳最有可能的位置位于该表面的法向量方向β_i，建立每一个表面与太阳方位角的关系

其中为所对应表面的光照强度，联合三个表面对太阳方位的推断，得到太阳位置的概率分布

4.根据权利要求3所述的视频场景的虚实光照融合方法，其特征在于，所述卡尔曼滤波具体为：

设在一个足够短的时间间隔内光照为常数，采用卡尔曼滤波利用光照的连续性平滑帧与帧之间的光影变化，由视频关键帧的稀疏辐射度图作为滤波输入，来修正非关键帧的稀疏辐射度图，得到视频每一帧的稀疏辐射度图，最后绘制视频每一帧的虚实融合场景，实现视频场景的虚实光照融合绘制。

5.根据权利要求4所述的视频场景的虚实光照融合方法，其特征在于，所述步骤S200包括如下步骤：

步骤S210，对于非关键帧，采用卡尔曼滤波算法，首先获取关键帧的稀疏辐射度图；

步骤S220，由关键帧的稀疏辐射度图作为滤波输入，对非关键帧的稀疏辐射度图进行优化，得到非关键帧的稀疏辐射度图；

步骤S230，最后生成视频每一帧的虚实融合效果。

6.根据权利要求5所述的视频场景的虚实光照融合方法，其特征在于，所述步骤S140包括如下步骤：

得到了由天空、地面、垂直表面分别推断的太阳位置概率正态分布后， 计算出最终视频场景关键帧的太阳位置概率分布

根据太阳位置概率分布计算出视频场景关键帧的稀疏辐射度图。

7.根据权利要求6所述的视频场景的虚实光照融合方法，其特征在于，所述步骤S220中，对非关键帧的稀疏辐射度图进行优化，得到非关键帧的稀疏辐射度图，包括如下步骤：

首先，根据前k个关键帧的稀疏辐射度图，建立卡尔曼更新预测方程：

x_k+1＝A_kx_k+w_k

x_k为第k帧的光照模型参数取值，w_k为过程噪声，A为状态转移矩阵，取A_k为单位矩阵；

然后，计算得到协方差矩阵P_k及卡尔曼增益矩阵K_k：

P_k＝(I-K_kH_k)P_k

其后，对卡尔曼更新预测方程协方差矩阵P_k及卡尔曼增益矩阵K_k，进行迭代求解，即对观测量更新方程进行迭代求解，其中观测量更新方程为：

P_k＝(I-K_kH_k)P_k

x_k+1＝x_k+K_k(z_k-H_kx_k)

v_k为第k帧的观测噪声协方差矩阵，测量噪声R_k＝v_k，Q_k为过程噪声协方差矩阵，即过程噪声Q_k值：

其中，其中ε_v为阈值，用户手工设定，

判断迭代求解是否结束；如果否，则更新滤波输入X(k),进行下一轮迭代；否则迭代求解结束，得到非关键帧的稀疏辐射度图。

8.根据权利要求7所述的视频场景的虚实光照融合方法，其特征在于，其中，对第k帧取其前P_k帧使得在P_k+1帧中的光照近似不发生变化；

P_k的取值方法为，计算第k帧相邻的前K帧的方差，若方差大于阈值ε_v，则丢掉第一帧，重新计算剩余的K-1帧的方差，直到方差值小于ε_v，最后剩余的帧数为P_k，计算这些帧的协方差为v_k。