CN104299268A - 一种高动态范围成像的火焰三维温度场重建方法 - Google Patents

Abstract

本发明公开了一种高动态范围成像的火焰三维温度场重建方法，属于虚拟现实领域。本方法使用高动态范围采集设备获取火焰图像，然后利用光度计和窄带滤光片恢复单色辐射照度图；然后根据视角因子和距离，从二维辐照度图重建三维辐射力场，形成凸优化问题，并使用可视外壳技术约束解空间；最后使用双色测温法计算火焰三维温度分布。本发明利用火焰的高动态范围彩色图像进行温度场重建，避免火焰图像过曝光问题；并通过标定辐照度从颜色通道到单色波长的衰减率，可以得到同步得到多幅单色辐照度图，避免了直接采用颜色通道数据带来的重建误差。

Description

一种高动态范围成像的火焰三维温度场重建方法

技术领域

本发明涉及一种高动态范围成像的火焰三维温度场重建方法，属于虚拟现实科学技术领域。

背景技术

火焰作为自然界的基本元素，因其半透明性和时变性，且在自然界中发生频繁，一直是自然现象模拟中的难点和重点之一。火焰本身蕴含了大量的物理效应，甚至在科学上尚未得到明确认识，这就加大了对火焰进行模拟的困难。火焰的模拟与重建也是计算机图形学中热点和难点之一，其中传统的方法主要有基于过程的模拟、基于物理方程的模拟等，以及近年来兴起的基于真实数据的火焰三维重建。

传统的火焰模拟方法，很少从真实数据出发，一般都需要巨大的计算量并且效果不理想。而基于图像的计算机层析方法开始广泛应用于三维建模领域，同时也为火焰重建提供了新思路。由于火焰的自发光性，用普通相机直接对火焰进行拍摄会发生非常严重的过曝光现象，利用HDR成像原理，得到高动态、层次细节分明的火焰图像日益受到研究者的关注。

基于图像的火焰三维温度重建方法是辐射测温的一种，建立在普朗克黑体辐射定律基础上。现有的重建方法主要有以下三个缺点：火焰采集装置过于昂贵和复杂，但是由于火焰的自发光性以及复杂的反应过程，很少装置能够直接采集到没有过曝光像素的火焰图像；利用双色测温法进行火焰温度计算，至少需要得到火焰在两种不同波长下的辐射力场，传统的方法是利用分光片进行分光，这样做需要把相机数量加倍，同时还得保证相机在空间上和时间上的对齐；另外，相机成像原理是CCD光谱响应函数在某特定波长范围内的积分，现在常用方法是把相机响应函数假设为理想脉冲函数，使用特定的单点值来代替函数的积分值，具有较大的计算误差。

本发明提出的一种高动态范围成像的火焰三维温度场重建方法完全可以解决上述主要问题。使用多台彩色HDR相机可以实时采集得到没有过曝光像素的火焰图像；利用多曝光合成算法和光度计，事先标定出相机响应曲线，进而标定出不同中心波长滤光片的通光系数，建立全波长辐射照度与特定波长下辐射照度之间的关系，解决了采集过程中需要分光的问题；同时，解决了现有方法中把相机响应函数假设为理想脉冲函数的问题。

发明内容

本发明解决的技术问题是：针对基于图像的火焰温度场重建过程中火焰图像难以获取、采集装备过于复杂、成像模型过度简化问题，提出了一种高动态范围成像的火焰三维温度场重建方法，可以精确的重现火焰三维温度分布。

本发明提出一种火焰温度场重建方法，包括以下步骤：

(1)设计火焰的彩色高动态范围成像系统，多视角同步采集彩色高动态范围火焰图像，得到更加准确的火焰同步图像；所述动态范围为20log(255*255)db；

(2)利用光度计和窄带滤光片标定辐照度衰减率，结合相机响应曲线从RGB图像中恢复出对应单波长辐射照度图；

(3)根据角系数和距离，计算三维体素到二维像素的影响因子，从多视角二维辐照度图重建三维辐射力场，形成凸优化问题；

(4)可视外壳约束辐射力场三维重建的解空间，实现对重建结果的几何约束，并使能量分布更合理；

(5)求解凸优化问题，重建出火焰的三维辐射力场，双色测温计算火焰三维温度分布。

其中，基于高动态范围成像原理，使用多台彩色HDR相机作为采集设备，每台相机处于同一高度，从不同角度对火焰进行同步拍摄采集，从而得到动态范围火焰图像。采集相机的个数由重建结果精度需求和系统控制复杂度综合考虑。

其中，对亮度保持稳定的静态场景拍摄一系列曝光时间不同的图片，得到同一场景的一组图像序列。对于图像序列中的像素点进行采样，每个像素代表了对应曝光时间与场景辐射照度的乘积，使用最小二乘算法可以解出相机的相对响应曲线。然后使用光度计测量出场景真实的光强值，根据此测量值对相对响应曲线进行上下平移操作，从而获得相机的绝对响应曲线。把带通滤光片安装在相机镜头前面，重复上述操作可以得到单波长相机响应曲线，对比安装滤光片前后的同一场景的两幅图像，得到滤波片的过滤系数。最后根据相机响应曲线和滤光片的过滤系数，把采集得到的火焰图像转换成单波长辐射照度图。根据不同的需求，滤光片的中心波长可以灵活选择。

其中，计算每个体素与像素连线和成像面法向的夹角，即角系数，同时计算体素到像素的距离；利用角系数和距离计算每个体素到每个像素的影响因子。建立方程组，构造辐射力场的凸优化问题。像素的面积与具体的相机有关，可以事先标定出来。

其中，首先火焰图像进行二值化操作，建立火焰体的三维可视外壳，把没有落在所有相机内部的体素剔除，保证每个体素对火焰图像的形成都有贡献，最后对辐射力场解空间进行约束。

其中，对目标函数进行迭代求解，得到两种不同波长下的辐射力场，然后使用双色测温法计算火焰温度场，得到火焰三维温度分布。

与现有技术相比，本发明的有益效果是：

(1)本发明针对火焰采集过程中像素过曝光的问题，提出了使用彩色HDR相机采集数据的方法，可以实时获取更加真实精确的火焰图像。

(2)本发明中针对火焰采集过程中复杂分光过程，使用光度计事先标定出带通滤光片滤光系数，避免分光片的使用，简化整套采集设备。

(3)本发明重建过程中采用相机响应曲线，而非理想脉冲函数，提高了计算精度。

附图说明

图1为本发明的技术方案图；

图2为本发明的滤光片通光系数标定示意图；

图3为本发明的计算体素对像素影响因子示意图；

具体实施方式

下面结合附图对本发明作进一步的描述。

步骤1设计火焰采集系统，把高动态成像范围相机放置在燃烧源周围，所有相机组成一个半圆型形状；每台相机到火焰的距离相等，所有的相机放在同一高度，相机之间的角度固定，具体数值与采集时相机个数有关。

步骤2相机响应曲线定义了图像亮度与辐射照度之间的关系，其标定通过对同一场景多次曝光来实现，假设第j幅图像中第i个像素值为p_ij，其曝光时间为Δt_j，像素值对应的辐射照度为E_i，三者之间的关系可以描述成：

g(p_ij)＝ln E_i+lnΔt_j

其中曝光时间和像素灰度值是已知的，未知变量是函数g和辐射照度E_i。假设函数g是平滑、单调的，像素值是离散的，所有图像中像素分布范围是[p_min,p_max]，则问题等价于最小化下面目标函数：

$O=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\left\{w\left(p_{\mathrm{ij}}\right)\right[g\left(p_{\mathrm{ij}}\right)-\ln E_i-\ln \mathrm{\Δ}{t}_j\left]\right\}}^2+\mathrm{\λ}\underset{p=p_{\min }}{\overset{p=p_{\max }}{\mathrm{\Σ}}}{\left[w\left(p\right)g^{\′\′}\left(p\right)\right]}^2$

其中M是图像数目，N是每幅图像中的有效像素个数；λ是平滑因子，控制着函数g的平滑度，应该慎重选择；w(p)是像素权重函数，作用是弱化极值像素的影响，从而在极端数据下也能得到合理的拟合结果。为了得到物理上的辐射照度值，需要使用光度计测量出光线实际亮度，然后计算出函数g与真实值之间相差ΔE，最终只需要把g平移ΔE个距离即可。

带通滤光片滤光系数的标定如图2所示，使用相机拍摄同一场景不同亮度的图像，相机在普通状态和在镜头前添加滤光片两种情况下分别进行拍摄，场景的亮度控制利用投影仪来实现。通过查找步骤2中标定出的相机响应曲线来推导两种情况下的辐射照度图，分别得到全波长辐射照度和单波长辐射照度，进而可以计算出两者的比率作为滤光片的过滤系数。

通过相机响应曲线和滤光片的过滤系数相结合，可以直接从火焰图像中恢复出多个不同波长下的单色辐射照度图。

步骤4需要计算每个体素对每个像素的影响因子，如图3所示。从相机光心向像素矩形四个顶点发射射线，四条射线和光心构成一个四棱锥，如果体素在四棱锥内部或者与四棱锥相交，则认为体素对像素有影响，否则，没有影响。为了简化计算，可以把立方体的体素看成空间中的小球，小球的直径等于立方体的边长。

假设辐射源也就是体素是三维空间中的小球，像素是位于像面上的小片元，其中L是像素中心到体素中心的距离，R是体素的半径，像素所在平面的法向量记为像素中心和体素中心的连线方向记为两个方向的夹角是β。假设火焰体素表面是漫反射，则从体素j到像素i的角系数可以写成：

$F_{\mathrm{ij}}=\∫\frac{\cos {\mathrm{\β}}_1\·\cos {\mathrm{\β}}_2}{\mathrm{\π}{R}^2}\mathrm{dA}=\frac{R^2}{L^2}\cos \mathrm{\β}$

其中，β₁表示成像面法向与像素和体素表面连线的夹角，β₂表示体素表面法向与像素和体素表面连线的夹角，β表示成像面法向与像素和体素中心点连线的夹角，R是体素的半径，L是体素到像素的距离。

另外，如图3中所示，在体素j的辐射能达到像素i之前，已经在火焰体内部经过了距离d，光线在火焰中传播是会发生衰减的，衰减系数可以写成：

$\mathrm{\τ}=e^{-{\∫}_0^d{\mathrm{\σ}}_t\mathrm{dt}}=e^{-d{\mathrm{\σ}}_t}$

其中σ_t是消光系数。

由视角因子可以计算得到体素到像素的影响权重，即构造了二维辐射照度图到三维辐射力场的凸优化问题。

步骤5火焰可视外壳建立过程，首先将火焰图像二值化；初始假设空间为巨大的立方体，对三维空间采用八叉树进行划分得到八个子立方体，对于每个子立方体，向所有的采集相机做投影，如果落在对应图像中火焰内部，则子立方体位于火焰三维模型内部；如果落在图像中火焰外部，则子立方体应当剔除；否则，继续把子立方体进行划分。最后根据可视外壳对步骤4中的辐射力场进行几何约束。

步骤6对步骤5形成的优化问题进行求解，得到每个体素在两种不同波长下的辐射力，然后利用双色测温法计算火焰温度。

本发明未详细阐述的部分属于本领域的技术人员公知技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种高动态范围成像的火焰三维温度场重建方法，采集多视角高动态范围彩色火焰图像；利用单通滤光片和光度计标定辐照度衰减率，从采集图像中计算得到在特定波长的辐射照度图，多视角重建三维温度场形成凸优化问题，可视外壳约束解空间，求解这一问题得到火焰三维温度场分布；其特征在于如下步骤：

(1)设计火焰的彩色高动态范围成像系统，多视角同步采集彩色高动态范围火焰图像，得到火焰同步图像；

(2)利用光度计和窄带滤光片标定辐照度衰减率，结合相机响应曲线从RGB图像中恢复出对应单波长辐射照度图；

(3)根据角系数和距离，计算三维体素到二维像素的影响因子，从多视角二维辐照度图重建三维辐射力场，形成凸优化问题；

(4)可视外壳约束辐射力场三维重建的解空间，实现对重建结果的几何约束，并使能量分布更合理；

(5)求解凸优化问题，重建出火焰的三维辐射力场，双色测温计算火焰三维温度分布。

2.根据权利要求1所述的方法，其特征在于：步骤(1)中设计一个火焰的彩色高动态范围成像系统，多视点同步采集火焰的高动态范围彩色图像；基于高动态范围成像原理，使用多台彩色HDR相机作为采集设备，每台相机处于同一高度，从不同角度对火焰进行同步拍摄采集，从而得到没有过曝光像素点的火焰图像；采集相机的个数由重建结果精度需求和系统控制复杂度综合考虑。

3.根据权利要求1所述的方法，其特征在于：所述的步骤(2)中利用光度计和窄带滤光片标定辐照度从颜色通道到对应波长的衰减，结合计算得到的相机响应曲线从RGB图像中恢复出对应单波长的同步辐射照度图；对亮度保持稳定的静态场景拍摄一系列曝光时间不同的图片，得到同一场景的一组图像序列；对于图像序列中的像素点进行采样，每个像素代表了对应曝光时间与场景辐射照度的乘积，使用最小二乘算法可以解出相机的相对响应曲线；然后使用光度计测量出场景真实的光强值，根据此测量值对相对响应曲线进行上下平移操作，从而获得相机的绝对响应曲线；把带通滤光片安装在相机镜头前面，重复上述操作可以得到单波长相机响应曲线，对比安装滤光片前后的同一场景的两幅图像，得到滤波片的过滤系数；最后根据相机响应曲线和滤光片的过滤系数，把采集得到的火焰图像转换成单波长辐射照度图；根据不同的需求。

4.根据权利要求1所述的方法，其特征在于：所述的步骤(3)中计算每个体素与像素连线和成像面法向的夹角，即角系数，同时计算体素到像素的距离；利用角系数和距离计算每个体素到每个像素的影响因子；建立方程组，具体公式如下所示；

$w_{\mathrm{ij}}=\frac{K_T\left(\mathrm{\λ}\right)}{4}\·{\left(\frac{2a}{f^{\′}}\right)}^2\·\frac{{\mathrm{\τF}}_{\mathrm{ij}}}{s_i}\·{4\mathrm{\πR}}^2,$

其中，s_i是像素i的面积，F_ij为视角因子，K_T(λ)是系统的通光系数，τ是光线在火焰中的衰减率，a和f'分别是相机的光圈和焦距，R是体素的半径；以w_ij为基本元素构造方程组，方程组每一行表示所有体素对特定像素的影响，每一列表示特定体素对所有像素的影响。

5.根据权利要求1所述的方法，其特征在于：步骤(4)中利用可视外壳约束辐射力场的解空间，首先火焰图像进行二值化操作，建立火焰体的三维可视外壳，把所有没有落在全部相机成像范围内的体素剔除，保证每个体素对火焰图像的形成都有贡献，最后对辐射力场解空间进行约束。

6.根据权利要求1所述的方法，其特征在于：步骤(5)中对目标函数进行迭代求解，得到两种不同波长下的辐射力场，然后使用双色测温法计算火焰温度场，得到火焰三维温度分布。