CN104766270B

CN104766270B - 一种基于鱼眼镜头的虚实光照融合方法

Info

Publication number: CN104766270B
Application number: CN201510124545.8A
Authority: CN
Inventors: 刘越; 刘万奎; 闫达远; 常军; 翁冬冬
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2015-03-20
Filing date: 2015-03-20
Publication date: 2017-10-03
Anticipated expiration: 2035-03-20
Also published as: CN104766270A

Abstract

本发明公开了一种基于鱼眼镜头的虚实光照融合方法，它主要包括以下几个步骤：首先将鱼眼镜头相机放置于场景空间中虚拟物体的位置上，用鱼眼镜头相机拍摄场景中的实时动态光照环境；然后由鱼眼镜头图像利用图像处理计算真实场景中的光源方向，再将鱼眼镜头图像转化为YUV空间，根据光源强度计算公式计算光源强度；最后利用计算出来的光源信息，采用GPU加速渲染虚拟物体，实现具有真实场景光照的实时增强现实应用，实现了快速高效的场景光照获取。

Description

一种基于鱼眼镜头的虚实光照融合方法

技术领域

本发明涉及计算机图像处理与增强现实技术领域，尤其涉及一种基于鱼眼镜头的虚实光照融合方法。

背景技术

增强现实技术将虚拟的三维物体、视频、文字、图片等计算机生成的信息实时叠加显示到真实场景中，通过虚实融合实现自然的人机交互，在医疗卫生、军事仿真、工业维修、教育娱乐等行业具有广泛的应用前景。高度真实感的增强现实效果主要体现在几何一致、光照一致和时间一致等三个方面。其中几何一致指计算机生成的虚拟物体应与真实物体保持准确、稳定的位置关系；光照一致指虚拟物体应与真实环境之间有正确的光照匹配关系；时间一致指虚拟物体与真实物体实现实时交互。随着系统硬件设备与软件跟踪算法的快速发展，目前几何一致与时间一致的研究已经比较成熟，但光照一致的研究仍然面临着诸多难题。

典型的基于光学跟踪的增强现实处理流程输入为真实场景和系统创建的虚拟三维物体，每一帧的处理流程都包含跟踪真实物体、估计真实场景的光照、生成虚拟物体、渲染光照效果等部分，最终输出虚实融合的合成场景。合成场景的真实性主要由真实场景光照的估计、光照渲染以及虚拟物体生成的质量来决定的。在实际研究过程中，复杂的动态光照环境估计、阴影的真实性渲染、物体的表面材质属性估计、不同光照效果的渲染(模糊、焦散、高光等)等都是增强现实光照一致性研究面临的技术挑战和亟待解决的关键问题，其中光照估计是光照一致性的重要先决条件，只有成功估计出真实环境的光照才能够产生高度真实感的渲染效果。最近几年的光照一致性研究按照研究手段将已有研究分为借助辅助标志物的方法、借助辅助拍摄设备的方法和无需辅助标志或拍摄设备的图像分析方法三类。其中辅助标志物指放在场景中的一些特殊物体，用来捕获真实场景中的光照信息或通过分析其阴影推测光源方向等。辅助拍摄设备主要指深度相机、鱼眼镜头相机以及光场相机等特殊拍摄设备，借助这些辅助设备能够获得深度、全视角场景、光场等信息，进而可以更加方便地计算场景中的光照情况。图像分析方法运用机器学习、图像处理等相关技术分析真实场景的光照情况，不需要借助多余的硬件设备，是近年来光照估计领域的重要发展方向。

借助辅助标志物的方法比如1998年美国南加州大学的Debevec参见(DebevecP.Rendering synthetic objects into real scenes:Bridg-ing traditional andimage-based graphics with global illumination and high dynamic rangephotography[C]//ACM SIGGRAPH 1998classes.FL:ACM,1998:32.)首先提出采用不同曝光时间拍摄多幅镜面小球图像、通过组合这些图片制作高动态范围(High-Dynamic Range,HDR)环境光测图的方法，该方法在估算出局部场景的双向反射分布函数(BidirectionalReflectance Distribu-tion Function,BRDF)后，将光测图映射到场景虚拟物体上，最终使用差分渲染提高渲染的效果，如图5(a)所示，该方法可以实现逼真的合成图像，但是缺点是需要大量的预处理操作，无法实现实时交互。

借助辅助拍摄设备的方法比如2007年，丹麦奥尔堡大学的Madsen等(参见MadsenC,Laursen R.A scalable GPU-based approach to shad-ing and shadowing forphoto-realistic real-time augmented reali-ty[C]//International Conference onComputer Graphics Theory and Applications.Barcelona,2007:252-261.)提出使用HDR相机拍摄HDR图像的方法，通过结合阴影图渲染并利用GPU加速渲染过程，实现了虚实场景的实时交互，但是该方法由于在给定位置离线拍摄用于渲染所有虚拟物体的HDR环境贴图，所以只适合于光照不变的环境。

无需辅助标志或拍摄设备的图像分析方法比如布，算法收敛后可得到光照条件的估计。2014年Metaio公司的Knorr等(参见Knorr S B,Kurz D.Real-time illuminationestimation from faces for coherent rendering[C]//2014IEEE InternationalSymposium on Mixed and Augmented Reality(ISMAR),Germany:IEEE,2014:113-122.)提出的方法中同样先根据人脸数据库离线训练得到一个基于球谐波函数的辐射度传递函数(RTF，radiance transfer function)，然后将用户的人脸图像作为在线阶段的输入图像来估计光照情况。尽管该类方法通过在线计算可以实现比较有效的光照估计，但其缺点是需要大量的离线计算。

发明内容

有鉴于此，本发明提供了一种基于鱼眼镜头的虚实光照融合方法，通过使用鱼眼镜头就可以完成对真实场景的光源分布估计并完成虚实融合，快速逼真的实现虚实融合环境。

一种基于鱼眼镜头的虚实光照融合方法，包括如下步骤：

步骤1、在真实场景中，在未来放置虚拟物体的位置处放置鱼眼镜头相机；其中，所述鱼眼镜头相机的半球形拍摄空间内包括真实场景中的所有光源；以鱼眼镜头中心为原点O，过原点O且沿鱼眼镜头朝向方向为Z轴；过原点与Z轴垂直的平面XOY为鱼眼镜头相机的像平面所在平面；

步骤2、首先调整鱼眼镜头的光圈，使得采集图像中可以区分光源和背景图像；然后控制鱼眼镜头相机拍照；在获得的图像中提取：各个所述光源的光源区域，光源区域内各像素点的灰度值以及光源区域的重心在平面XOY上的坐标；

步骤3、将各光源区域重心向所述鱼眼镜头相机的半球形拍摄空间的球面上进行投影，确定对应光源发出光线与所述球面的交点，所述交点与所述原点O的连线方向即为该光源的方向；

步骤4、根据步骤3获得的各光源方向以及步骤2中光源区域内各像素点的灰度值，确定各光源发光面垂直方向上的发光强度L₀：其中，Y_i表示本光源区域内第i个像素点的亮度值，i＝1,2,...,N,N为本光源区域内像素点数量；Y_i＝0.2991r+0.587g+0.114b，r、g和b分别为本光源区域内第i个像素点在RGB空间的R、G和B通道的值；f为所述鱼眼镜头相机响应函数；为步骤3中光源的方向与所述Z轴的夹角；K为附加光源亮度衰减系数；

步骤5、根据步骤4得到的各光源发光面垂直方向上的发光强度L₀以及步骤3得到的各光源方向，结合所述虚拟物体表面反射系数，采用光照模型进行增强现实渲染，则实现了光照虚实融合。

较佳的，所述步骤1中，将真实场景所在的真实世界坐标系与虚拟物体所在的虚拟世界坐标系进行统一，使真实世界坐标系与虚拟世界坐标系重合。

较佳的，在步骤2中，在鱼眼镜头相机拍摄前，先使用计算机视觉工具包对鱼眼镜头相机进行标定。

较佳的，所述步骤2中，采用边缘提取法确定光源区域。

较佳的，所述步骤5中，采用GPU加速渲染实现增强现实的实时显示。

本发明具有如下有益效果：

(1)本发明提出的基于鱼眼镜头的光照虚实融合方法，该方法无需预先在场景中设置任何辅助标志物，仅通过设置鱼眼镜头相机拍摄场景图像，根据图像中光源的位置和光强信息即可估计出真实场景中的光源分布和光源亮度，因此该方法具有简单、快捷的特点。

(2)本发明在图像处理与虚拟物体渲染中采用GPU加速，有效提高了光照估计的效率以及准确性，提高了实时性。

附图说明

图1为本发明中鱼眼镜头相机拍摄空间坐标系图。

图2本发明的基于鱼眼镜头的虚实光照融合方法流程图。

图3为是本发明的真实环境光源提取算法。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明的一种基于鱼眼镜头的虚实光照融合方法，如图2所示，包括如下步骤：

步骤1，在真实场景中，在未来放置虚拟物体的位置处放置鱼眼镜头相机；其中，相机的半球形拍摄空间内包括真实场景中的所有光源；如图1所示，以鱼眼镜头中心为原点O，过原点O且沿鱼眼镜头朝向方向为Z轴；过原点与Z轴垂直的平面XOY为鱼眼镜头的像平面所在平面；

本发明中，为了保证真实场景光源估计的准确度以及降低运算量，将真实场景的全局世界坐标系和虚拟物体的虚拟世界坐标系进行统一，使两者重合。

步骤2，使用计算机视觉工具包对鱼眼镜头相机进行标定，通过棋盘格图像标定相机的焦距、光心偏移等内部参数和旋转、平移等外部参数。调整鱼眼镜头的光圈，使得采集图像中可以区分光源和背景图像；然后控制鱼眼镜头相机拍照，获得图像；在图像中提取各个所述光源的图像区域，确定光源区域的重心在平面XOY的坐标；

其中，获得光源区域的具体方法为：按照如图2所示流程进行图像处理操作，注意这里提到的边缘提取应不限于现有常见的边缘处理算法，如canny边缘检测，sobel算子边缘检测等方法，以边缘提取的封闭边界内区域为光源区域。

以光源区域重心代表光源的图像坐标，光源区域重心的计算方法为：重心利用不规则区域的矩来计算，其中矩表示把一个归一化的灰度级图像函数理解为一个二维随机变量的概率密度。光源区域的重心可由公式计算，其公式为X＝M₁₀/M₀₀；Y＝M₀₁/M₀₀。其中均为图像矩，M00为区域的零阶矩，对于二值图像其实就是图像区域的面积，M01、M10均为图像区域的一阶矩，i、j分别表示光源区域中的所有点的x、y坐标，f(i,j)表示图像的灰度分布。

步骤3，将各光源区域重心向半球形拍摄空间的球面上进行投影，确定对应光源发出光线与所述球面的交点，交点与所述原点O的连线方向即为该光源的方向，具体方法为：

如图1所示，以图像半径R构建鱼眼镜头拍摄空间。真实世界一点P，对应图像中的位置为Pt点，相交于球面与Ps点，P坐标为(X,Y,Z)极坐标表示为Pt的图像坐标为(μ，υ)，图像中心O点的图像坐标为(μ₀，υ₀)，这样对于球上一点Ps的图像坐标与角度的关系可以用如下公式表示：

将真实世界的光源设定为方向光源，故此只需知道θ、的值即可确定光源的方向。通过计算可得到：

步骤4、获得光源区域平均光强的具体方法为：由于只关注光源的亮度信息，故此将鱼眼镜头图像由RGB空间转换到YUV空间，计算所取光源的Y值，其中RGB到YUV按照如下关系转换：

Y＝0.2991r+0.587g+0.114b

其中，r、g和b分别为各像素点在RGB空间的R、G和B通道的值；

根据朗伯体表面模型，朗伯光源在某一方向上的发光强度等于该光源发光面垂直方向上的发光强度L₀乘以方向角的余弦，则鱼眼镜头相机接收到的各光源的光照度L可以得到：

考虑相机响应函数f，该响应函数由预计算的相机标定完成。该光源在图像中的亮度显示为：

I＝fL

假设N为某光源区域像素的个数，可以得到该光源区域的平均亮度I⁰:

Y_i表示光源区域内第i个像素点的亮度值；

将光源在图像中显示的亮度与光源区域的平均亮度联立相等，则得到光源发光面垂直方向上的发光强度L₀：

附加光源亮度衰减系数K，代表空气传播、光电转换等光源能量的衰减损失因子，该系数为未知系数，采取经验设定。

步骤5、由得到的光源方向和光源发光面垂直方向上的发光强度L₀，给定虚拟物体表面反射系数，由光照模型，这里不局限于任何已知的光照模型，绘制虚拟物体。使用GPU加速，完成增强现实的实时显示，可以实现快速准确的光照模拟结果，达到较好地光照虚实融合。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于鱼眼镜头的虚实光照融合方法，其特征在于，包括如下步骤：

2.如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，所述步骤1中，将真实场景所在的真实世界坐标系与虚拟物体所在的虚拟世界坐标系进行统一，使真实世界坐标系与虚拟世界坐标系重合。

3.如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，在步骤2中，在鱼眼镜头相机拍摄前，先使用计算机视觉工具包对鱼眼镜头相机进行标定。

4.如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，所述步骤2中，采用边缘提取法确定光源区域。

5.如权利要求1所述的一种基于鱼眼镜头的虚实光照融合方法，其特征在于，所述步骤5中，采用GPU加速渲染实现增强现实的实时显示。