CN104915980A - 一种基于稀疏光场基元的运动对象多视角光影合成方法 - Google Patents

Abstract

本发明提出了一种基于稀疏光场基元的运动对象多视角光影合成方法，根据目标场景的光照辐射图，设置光场数据采集系统的灯光分布并采集运动对象多视角多光照光场数据，合成运动对象在目标场景下的光照效果。该方法主要包括以下步骤：首先，从多张不同曝光度的场景光球图像中获取场景光照辐射图，并分解为场景光照基元；然后，对光照基元聚类组合，得到稀疏光场基元，并根据稀疏光场基元，设置光场采集设备灯光和摄像机的数量与位置；最后，在光场采集设备中采集运动对象的多视角和多光照光场数据，合成运动对象多视角下的光影效果。本发明可广泛应用到影视制作等方面。

Description

一种基于稀疏光场基元的运动对象多视角光影合成方法

技术领域

本发明涉及计算机视觉和虚拟现实领域，具体地说是一种基于稀疏光场基元的运动对象多视角光影合成方法。

背景技术

现有的光线追踪算法能够高效和逼真地对三维模型绘制，但是如果绘制出与真实对象相似的图像或视频，需要对场景进行精确三维建模和准确提取场景中的材质属性，这两项工作耗时耗力，在某些情况下不可能完成。针对该问题，基于图像的光照(IBL)被提出，是逼真生成虚拟场景的一种重要方法。其基本原理是采集目标对象多光照与多视角光场数据，通过视角差值和光影效果线性相加生成被采集对象在目标场景下的光照效果。但是该技术需要超高速摄像机，完成在极短时间内完成一个对象“相对静止”下的各种视角和光照条件的数据采集。超高速相机高昂的价格以及相机与灯光复杂的同步设备是得该技术难以推广。

发明内容

根据实际需求和关键问题，本发明的目的在于：提出了一种基于稀疏光场基元的运动对象多视角光影合成方法。能够通过具有低速相机的光场采集系统采集的光场数据合成被采集对象多视角的光影效果。

为完成发明目的，本发明采用的技术方案是：一种基于稀疏光场基元的运动对象多视角光影合成方法，通过对场景光场基元进行聚类，减少所需光源数量，从而能够使用低速相机完成基于图像的光照。

所述方法具体包括以下步骤：

(1.1)从多张场景光球图像中获取场景光照辐射图，并分解为场景光场基元；

(1.2)根据光场采集设备对光场基元聚类组合，得到稀疏光场基元；

(1.3)根据稀疏光场基元，设置光场采集设备灯光和摄像机的工作方式；

(1.4)在光场采集设备中采集运动对象的多视角和多光照光场数据；

(1.5)根据稀疏光场基元，合成运动对象在不同视角下的光影效果。

本发明与现有的技术相比，其有益的特点是：1、本发明不需要高速相机，使得光场采集设备造价更加低廉；2、本发明针对多摄像机光场采集系统进行了光场采集单元的布局组合精简优化，能够在保证采集数据的准确性的前提下，减少对于光照基元的采集时间和贮存空间的需求。

附图说明

图1是本发明的总体架构图。

图2是本发明的高动态场景辐射图获取方法示意图。

图3是本发明场景光场基元分解图。

图4是本发明的光场基元聚类组合示意图。

图5是本发明采集数据示意图。

图6是本发明不同视角下的光影效果合成示意图。

具体实施方式

下面结合附图对本发明作详细说明。

参阅图1本发明的总体架构图，本发明包括5个步骤：

(1)场景光照辐射图获取。参阅图2高动态场景辐射图获取方法，首先，从1个主视角和1个辅助视角，以3种不同的曝光时间拍摄置于场景中的光球列照片。选取每个视角的曝光时间居中的图像作为基准图像，其他2个图像分别与基准图像进行比较，得到各自的相对偏移，并对齐到基准图像。本发明利用图像金字塔提高配准的效果，定义两幅图像I₁与I₂的差异度为：

$E_{dif}=\underset{x}{\Σ}\underset{y}{\Σ}\left(\right|I_1(x,y)-I_2(x,y)\left|\right)$

其中，x,y是图像坐标。从尺寸最小的末级金字塔图像开始比较，在大小为(w_x,w_y)的窗口内平移移动需要配准的图像，并与基准图像计算差异度，取差异度最小的平移结果为本层平移结果，并返回金字塔上一层，将平移后的需要配准的图像继续与基准图像进行比较。得到平移配准结果后，再以一个小步长旋转搜索，找到使图像差异度最小的呃旋转偏移量。迭代地执行平移配准和旋转配准，直到旋转偏移量为零时完成两幅图像的配准。

主视角和辅视角的不同曝光度图像配准后，本发明分别合成主视角和辅视角的HDR图像，HDR合成方法属于本领域公知算法，本发明不做介绍。本发明将主视角HDR图像中的遮挡物去除，剩余的空洞使用辅视角HDR图像来填补，该填补过程手动完成。填补后的HDR图像在本法明中称为场景光照辐射图(也称为环境贴图)。

(2)场景光场基元分解与聚类。上一步得到了场景光照辐射图，场景光照辐射图表示了场景周围光照情况。为了进一步定量分析场景光照信息，需要按照入射光的方向将入射光分为离散化的数个光照采样单元，在本发明中称为光场基元。如图2所示，本发明使用球面经纬坐标系描述场景球面，为了对场景光照辐射图均匀划分，本发明将经纬坐标映射到平面坐标。设球面坐标经度以u表示，维度以v表示，u∈[0,360]，v∈[-90,90]，矩阵宽度以w表示，高度以h表示，则经纬坐标(u,v)与平面坐标(x,y)的映射关系如下：

$\left\{\begin{array}{c}x=\frac{u}{360}\·w\\ y=\frac{90-v}{180}\·h\end{array}\right.$

本发明在平面上将场景光照辐射图划分为26个区域，每个区域称为场景光场基元划分方式，如图2所示。为了对场景光场基元进行聚类本发明按如下公式计算每个区域的权值：

$w_{i,k}=\frac{1}{M}\·\underset{(x,y)\∈\mathrm{Re}gion\left(i\right)}{\Σ}I(x,y)$

其中，M代表区域i中的像素个数，i为区域索引，k为RGB颜色通道索引。通过该公式可以得到一个26×3的权值向量W＝{w_i,k|i＝1...26,k＝1,2,3}。

为了能够在低速相机条件下采集运动对象的多视角多光照光场数据，本发明根据光场采集系统相机的帧率f对上述26个区域进行聚类，类中心数量C按如下公式计算：C＝f/f_final，其中f_final为运动对象多视角光影合成后视频的帧率。本发明根据W使用K-means算法将26个区域聚类成C个区域。

(3)光场采集设备灯光和摄像机工作方式设置。光场数据采集系统的摄像机和光源安装在一个半圆形的铁笼子上。按照上一步对区域的聚类，对安装在半圆形铁笼子上的光源进分组，划分为同一组的在采集过程中同时点亮。在采集过程中摄像机与灯光同步，灯光依此循环点亮，每次只点亮一组灯光，所有摄像头都同步循环采集，每个摄像头的位置都进行了标定，相机标定技术与设置光场采集设备为本领域公知技术，本发明不作说明。

(4)光场数据采集。采集到的数据如图5所示，C组灯光在每个摄像头采集的帧序列中循环，在每个灯光循环采集的图像中运动对象光照效果不同。通过光场采集设备采集了多摄像机的数据，每个摄像机包含多个灯光循环。用F_k,m,c表示采集的视频帧，其中k为摄像机编号，m为灯光循环编号，c为每个灯光循环内灯光编号。

由于在每个灯光循环中运动对象的位置会发生变化，需要将每个灯光循环中的运动对象位置对齐到该灯光循环基准帧中，基准帧是通过手工选出，选取标准为：光影效果相对均匀，图像细节清晰呈现。对齐方法如所示，计算每个摄像机的每个循环内所有视频帧到基准帧的稠密光流，并通过光流将所有视频帧变形到基准帧，光流的计算与变形为本领域公知技术，本发明不作说明。

(5)运动对象多视角光影效果合成。对于新输入的视角V，需要根据采集的数据插值出在视角V下新的视频帧F_V,m,c。如图6所示，本法利用与输入视角V相邻的4个采集数据的视角进行插值，按如下公式进行计算：

$\begin{array}{c}{F}_{V,m,c}=\stackrel{\‾}{\mathrm{\β}}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{\left(u^{-},v^{-}\right),m,c}\left(s+\mathrm{\β}\·\mathrm{\γ}\·F_{v^{+}}^{\←}\left(m\right)+\stackrel{\‾}{\mathrm{\β}}\·\mathrm{\γ}\·F_{u^{-}}^{\↓}\left(m\right)\right)+\\ \mathrm{\β}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{\left(u^{+},v^{-}\right),m,c}\left(s+\stackrel{\‾}{\mathrm{\β}}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{v^{-}}^{\→}\left(m\right)+\mathrm{\β}\·\mathrm{\γ}\·F_{u^{-}}^{\↓}\left(m\right)\right)+\\ \stackrel{\‾}{\mathrm{\β}}\·\mathrm{\γ}\·F_{\left(u^{-},v^{+}\right),m,c}\left(s+\mathrm{\β}\·\mathrm{\γ}\·F_{v^{+}}^{\←}\left(m\right)+\stackrel{\‾}{\mathrm{\β}}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{u^{+}}^{\↑}\left(m\right)\right)+\\ \mathrm{\β}\·\mathrm{\γ}\·F_{\left(u^{+},v^{+}\right),m,c}\left(s+\stackrel{\‾}{\mathrm{\β}}\·\mathrm{\γ}\·F_{v^{-}}^{\→}\left(m\right)+\mathrm{\β}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{u^{+}}^{\↑}\left(m\right)\right)\end{array}$

其中，u⁺,v⁺是V右下方的视角，u⁺,v^-是右上方的视角，u^-,v⁺是左下方的视角，u^-,v^-是左上方的视角。是从u⁺,v^-到u⁺,v⁺的光流，为u^-,v⁺到u,v^-的光流，从u^-,v^-到u⁺,v^-的光流，为u⁺,v⁺到u^-,v⁺的光流。β为水平线性插值系数，γ为竖直线性插值系数， $\stackrel{\‾}{\mathrm{\β}}=1-\mathrm{\β},\stackrel{\‾}{\mathrm{\γ}}=1-\mathrm{\γ}.$

本发明未详细公开的部分属于本领域的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于稀疏光场基元的运动对象多视角光影合成方法，其特征在于包括以下步骤：

(1.1)从多张场景光球图像中获取场景光照辐射图，并分解为场景光场基元；

(1.2)根据光场采集设备对光场基元聚类组合，得到稀疏光场基元；

(1.3)根据稀疏光场基元，设置光场采集设备灯光和摄像机的工作方式；

(1.4)在光场采集设备中采集运动对象的多视角和多光照光场数据；

(1.5)根据稀疏光场基元，合成运动对象在不同视角下的光影效果。

2.根据权利要求1所述的基于稀疏光场基元的运动对象多视角光影合成方法，其特征在于：步骤(1.2)中，根据光场采集设备对光照基元聚类组合包括如下步骤：

(2.1)计算步骤(1.1)中每个场景光照基元的权重；

(2.2)根据光场采集设备的光源数量、摄像机数量和摄像机帧率结合场景光场基元的权重对场景光照基元进行聚类，得到稀疏光场基元。

3.根据权利要求1所述的基于稀疏光场基元的运动对象多视角光影合成方法，其特征在于：所述步骤(1.3)中：光场数据采集系统的摄像机和光源安装在一个半圆形的铁笼子上；按照上一步(1.2)对区域的聚类，对安装在半圆形铁笼子上的光源进分组，划分为同一组的在采集过程中同时点亮；在采集过程中摄像机与灯光同步，灯光依此循环点亮，每次只点亮一组灯光，所有摄像头都同步循环采集，每个摄像头的位置都进行了标定。

4.根据权利要求1所述的基于稀疏光场基元的运动对象多视角光影合成方法，其特征在于：所述步骤(1.4)包括：通过光场采集设备采集了多摄像机的数据，每个摄像机包含多个灯光循环，用F_k,m,c表示采集的视频帧，其中k为摄像机编号，m为灯光循环编号，c为每个灯光循环内灯光编号；由于在每个灯光循环中运动对象的位置会发生变化，需要将每个灯光循环中的运动对象位置对齐到该灯光循环基准帧中，基准帧是通过手工选出；对其方法为计算每个摄像机的每个循环内所有视频帧到基准帧的稠密光流，并通过光流将所有视频帧变形到基准帧。

5.根据权利要求1所述的基于稀疏光场基元的运动对象多视角光影合成方法，其特征在于：所述步骤(1.5)包括：对于新输入的视角V，需要根据采集的数据插值出在视角V下新的视频帧F_V,m,c；利用与输入视角V相邻的4个采集数据的视角进行插值，按如下公式进行计算：

$\begin{array}{c}{F}_{V,m,c}=\stackrel{\‾}{\mathrm{\β}}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{(u^{-},v^{-}),m,c}(s+\mathrm{\β}\·\mathrm{\γ}\·F_{v^{+}}^{\←}(m)+\stackrel{\‾}{\mathrm{\β}}\·\mathrm{\γ}\·F_{u^{-}}^{\↓}(m\left)\right)+\\ \mathrm{\β}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{(u^{+},v^{-}),m,c}(s+\stackrel{\‾}{\mathrm{\β}}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{v^{-}}^{\→}(m)+\mathrm{\β}\·\mathrm{\γ}\·F_{u^{-}}^{\↓}(m\left)\right)+\\ \stackrel{\‾}{\mathrm{\β}}\·\mathrm{\γ}\·F_{(u^{+},v^{+}),m,c}(s+\mathrm{\β}\·\mathrm{\γ}\·F_{v^{+}}^{\←}(m)+\stackrel{\‾}{\mathrm{\β}}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{u^{+}}^{\↑}(m\left)\right)+\\ \mathrm{\β}\·\mathrm{\γ}\·F_{(u^{+},v^{+}),m,c}(s+\stackrel{\‾}{\mathrm{\β}}\·\mathrm{\γ}\·F_{v^{+}}^{\→}(m)+\mathrm{\β}\·\stackrel{\‾}{\mathrm{\γ}}\·F_{u^{+}}^{\↑}(m\left)\right)\end{array}$

其中，u⁺,v⁺是V右下方的视角，u⁺,v^-是右上方的视角，u^-,v⁺是左下方的视角，u^-,v^-是左上方的视角；是从u⁺,v^-到u⁺,v⁺的光流，为u^-,v⁺到u,v^-的光流，从u^-,v^-到u⁺,v^-的光流，为u⁺,v⁺到u^-,v⁺的光流；β为水平线性插值系数，γ为竖直线性插值系数， $\stackrel{\‾}{\mathrm{\β}}=1-\mathrm{\β},\stackrel{\‾}{\mathrm{\γ}}=1-\mathrm{\γ}.$