CN103093426B - 恢复定标板遮挡区域的纹理和光照的方法 - Google Patents

Abstract

本发明公开了一种恢复定标板遮挡区域的纹理和光照的方法。其步骤为：(1)拍摄参考图像和定标基准图；(2)建立平面单应性关系；(3)纹理修复；(4)光照修复；(5)采用人工交互的方式判断视频是否拍摄结束，若拍摄结束，则执行步骤(6)；若拍摄未结束，则返回步骤(2)；(6)恢复定标板遮挡区域的纹理和光照的过程结束。本发明具有恢复结果准确，速度快的优点，鲁棒性高，适合于增强现实的各种应用。

Description

恢复定标板遮挡区域的纹理和光照的方法

技术领域

本发明属于图像处理技术领域，涉及一种采用视频图像处理技术与计算机视觉技术的恢复定标板遮挡区域的纹理和光照的方法。本发明可用于基于定标板的增强现实视频系统中定标板的无痕迹移除。

背景技术

增强现实技术(AR，Augmented Reality)是虚拟现实技术的一个重要分支，它在输出视频中将虚拟物体与现实环境融为一体，使用户从视觉感官上确信虚拟物体是真实环境的组成部分。增强现实技术的一个关键技术是实时注册，通常可以使用定标板来确定虚拟物体在真实场景中的位置，这种方法准确度高，且具有较强的鲁棒性。但通常定标板的颜色对比度比较大，在视频画面中很突兀，影响画面美观与整体性，因此如果能够恢复被定标板遮挡的区域的纹理和光照，将极大地提高增强现实的画面质量。

目前恢复定标板遮挡区域的纹理和光照通常有三种方法：采用传统图像修复算法，纹理生成修复算法以及合成不同分辨率图像的修复算法；

北京交通大学申请的专利“基于模块的图像修复方法”(申请号：201110080418.4申请日：2011-03-31，公开号：102142132A)中公开的对基于模块模型的图像修复方法进行了增强。该方法采用传统图像修复算法，以“模块”为处理单元，首先选择待修复目标区域并计算待修复目标区域内各像素点对应的预定大小的待修需模块的纹理特征统计值，根据计算得到的纹理特征统计值调整各待修复模块的大小。然后利用置信度约束和数据项约束计算各待修复模块的优先级。接着在图像已知区域内寻找与具有最高优先级的待修复模块最相似的模块，将其中全部像素点填入待修复模块中，同时更新本次填充的待修复模块内被填充的置信度约束。最后对填充后修复目标区域重复上述步骤，直到待修复目标区域内所有像素被填满。但是该专利申请的方法的计算量较大，只适用于对实时性无要求的场合且该方法对存在光照变化的图像修复问题不适用。该方法修复的结果会产生模糊，或者新的纹理，且算法缺乏先验模型，得到的结果具有随机性，这在视频系统中难以应用。

Sanni Siltanen在文献“Texture Generation over the Marker Area.Proc.ISMAR，pages253-254，2006.”及“Augmented Interiors with Digital Camera Images.Proc.AUIC，pages33-36，2006”中各提出了一种通过生成纹理来隐藏定标板的方法，这两种方法以所修复区域一定邻域内的像素值提供的信息进行不同的线性加权来修复目标区域的纹理。分别存在修复效果过度平滑，及纹理信息混乱的缺点。同时，均仅在简单背景下可得到较良好的效果，无法应用到具有复杂纹理的背景中。

Otto Korkaio等人在文献“Light-Weight Marker Hiding for Augmented Reality。Proc.ISMAR，pages247-248，2006”中提出一种通过合成不同分辨率的图像来隐藏定标板的方法。该方法在处理视频第一帧时采用传统图像修复算法得到一张高分辨率的图像，并在其后每帧均生成一幅大小约为5×5像素的低分辨率图像，再将当前帧的低分辨率图像与第一帧高分辨率图像合成。由于该方法中的高分辨率图像采用传统的图像修复算法，从而导致恢复纹理不准确且出现平滑。

发明内容：

本发明的目的在于克服上述已有技术的不足，提出一种恢复定标板遮挡区域的纹理和光照方法，使得增强现实系统中的定标板可以被移除且不留任何痕迹，从而提高增强现实的画面质量，达到更好的虚实融合的效果。

实现本发明的思路是，在视频拍摄开始前先分别拍摄一幅无定标板的参考图像与有定标板的定标基准图像。利用参考图像的纹理信息，通过定标进行几何变换，修复定标板遮挡区域的纹理部分。并对所拍摄视频当前的待处理图像与参考图像中的定标板邻域区域进行光照建模，推出两幅图之间的光照线性关系表达式，通过求解该式的线性系数修复定标板遮挡区域的光照部分。

本发明实现的具体步骤如下：

(1)拍摄参考图像和定标基准图：

1a)将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像；

1b)将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图；

(2)建立平面单应性关系：

2a)任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像；

2b)从待处理图像和定标基准图中，选取至少四对不在同一直线上的相对应的点；

2c)将步骤2b)所述对应点代入方程X＝H·Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H；其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标基准图像中的点的坐标列向量；

(3)纹理修复：

将平面单应性矩阵H左乘以定标基准图像中定标板区域的每个点的坐标列向量Y，获得变换后的点的坐标列向量X，将求得的坐标列向量X在参考图像中对应的像素颜色值填充到待处理图像的定标板区域，获得已修复纹理的图像，完成纹理修复；

(4)光照修复：

4a)将纹理修复区域作为目标区域，选取已修复纹理图像中的目标区域的邻域，将邻域内任一点的像素值与参考图像中对应点的像素值代入下式，建立已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式：

I＝aJ+b

其中，I为已修复纹理图像中目标区域邻域内任一点的像素值，J为参考图像中与之相对应点的像素值，a和b为待求光照线性关系的系数；

4b)采用最小二乘法，从已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式中，求得邻域内待求光照线性关系的系数a和b的值；

4c)采用插值法，由邻域内待求光照线性关系的系数a和b的值，插值出目标区域内点的光照线性关系系数a和b的值；

4d)将已修复纹理图像中目标区域内点的原有像素值及光照线性关系系数a和b的值，代入步骤4a)所述的光照线性关系表达式中，得到目标区域的点当前像素值；

4e)用目标区域的点当前像素值替代原像素值，完成光照修复；

(5)采用人工交互的方式判断视频是否拍摄结束，若拍摄结束，则执行步骤(6)；若拍摄未结束，则返回步骤(2)；

(6)恢复定标板遮挡区域的纹理和光照的过程结束。

与现有技术相比，本发明有以下优点：

第一，本发明采用以事先拍摄的参考图像提供了准确的纹理信息，用来恢复定标板遮挡区域的纹理，解决了现有技术恢复定标板遮挡区域的方法所恢复的纹理不真实，不连续的问题，使得本发明具有纹理真实，无平滑，无模糊的优点。

第二，本发明首次对光照进行了专门修复，解决了现有技术中恢复定标板遮挡区域的方法无法适应不同光照的问题，使得本发明可以在大多数光照条件下得到无光照差的良好修复结果。

第三，本发明首次在恢复定标板遮挡区域的方法中进行了光照建模，并推出不同光照间的线性关系表达式，通过求解线性系数进行光照修复。解决了现有技术中恢复定标板遮挡区域的方法无完整模型，缺乏理论依据以致结果具有随机性的问题。使得本发明的修复结果具有很好的鲁棒性。

第四，本发明不需要全局搜索，且不需要计算偏微分方程和优先度，只需要求解线性方程，能够实时实现，解决了现有技术图像修复算法难以实时应用的问题，使得本发明可以应用于拍摄及视频中。

第五，本发明的最终修复结果无失真，无平滑，无光照差，完全符合视觉连续性，且肉眼无法分辨修复痕迹，解决了现有技术恢复定标板区域的方法恢复结果不清晰，具有随机性，出现断层，修复痕迹明显等问题，使得本发明的修复结果远好于现有技术中恢复定标板遮挡区域的方法。

附图说明

图1为本发明的流程图；

图2为本发明实施例的过程截图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

参照图1，本发明具体实施方式如下：

步骤1，拍摄参考图像和定标基准图：

将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像。该图像包含了该场景完整的纹理信息，该纹理信息用于修复被定标板遮挡的区域，图2(a)是拍摄的参考图像。在图2的所有图像中，定标板放置在增强现实系统常用的木纹桌面上。

将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图，用于后续所有时刻待处理图像的定标，图2(b)是拍摄的定标基准图。

步骤2，建立平面单应性关系：

任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像。图2(c)是当前时刻待处理图像。

从待处理图像和定标基准图中，选取定标板的各个顶点，从而保证选取的对应点至少有四对不在同一直线上。

使用平面单应性变换方法，将上述对应点的坐标列向量代入方程X＝H·Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H。其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标基准图像中的点的坐标列向量。该矩阵H用于将参考图像变换至待处理图像的几何结构下。

步骤3，纹理修复：

将平面单应性矩阵H左乘以定标基准图像中定标板区域的每个点的坐标列向量Y，获得变换后的点的坐标列向量X，将求得的坐标列向量X在参考图像中对应的像素颜色值填充到待处理图像的定标板区域，此时待修复图像中的定标板图案由参考图像中同一几何结构下的对应纹理所替代，完成纹理修复。图2(d)为已修复纹理的当前图像。

步骤4，光照修复：

根据参考文献“B.T.Phong.Illumination for computer generated pictures.Communication of the ACM，18(6)，June1975”中提出的Phong模型，物体表面反射光可描述为：

I_P＝k_aL_a+∑_ik_dL_d，icos(θ_i)/f(d_i)

其中，I_P表示物体表面接受光强度，k_a表示环境光的反射系数，k_d表示漫反射系数，且k_a和k_d只与物质本身材质属性有关；L_a表示环境光强度；L_d，i表示第i个光源的强度；θ_i表示视角平面与i光源之间的角度；f(d_i)表示光照的衰减函数，与光源i与定标板平面间的距离d_i有关。在同一材质的情况下，满足k_a＝k_d，光照模型可以退化为：

I_P＝k_d(L_a+∑_iL_d，icos(θ_i)/f(d_i))

其中，k_d仅取决于物体本身材质属性，与外部条件无关。

将纹理修复区域作为目标区域，选取已修复纹理图像中的目标区域的邻域，其边长通常选取为定标基准图中定标板边长的3倍。将该邻域内任一点的像素值与参考图像中对应点的像素值代入下式，由退化的光照模型及模型中不变量k_d，可建立已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式：

I＝aJ+b

其中，I为已修复纹理图像中目标区域邻域内任一点的像素值，J为参考图像中与之相对应点的像素值，a和b为待求光照线性关系的系数。

从已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式中，建立最小均方误差代价函数，采用最小二乘法，求得邻域内待求光照线性关系的系数a和b的值，其计算表达式为：

(a，b)＝∑_r((I，1)^T(I，1)^-1(I，1)^T(J，1))

其中，a和b为待求光照线性关系的系数，r为邻域边长，其取值由3个像素依次递增至图像宽度的1/4像素，I为已修复纹理图像中纹理修复区域邻域内任一点的像素值，J为参考图像中与已修复纹理图像中纹理修复区域邻域内任一点相对应点的像素值，T为矩阵转置符号。

采用双线性插值法，由邻域内待求光照线性关系的系数a和b的值，插值出目标区域内点的光照线性关系系数a和b的值，该系数用于对目标区域进行光照线性变换。

将已修复纹理图像中目标区域内点的原有像素值及光照线性关系系数a和b的值，代入上述光照线性关系表达式中，使得目标区域的光照线性变换与目标区域邻域的光照线性变换相一致，得到目标区域的点变换后的当前像素值。

用目标区域的点变换后的当前像素值替代原像素值，完成光照修复。图2(e)是光照修复后的图像。

步骤5，判断视频是否拍摄结束：

采用人工交互的方式判断视频是否拍摄结束。当拍摄人员认为完成增强现实所表达内容时，可人工手动结束拍摄视频。若拍摄结束，则执行步骤6；若拍摄未结束，则返回步骤2。图2(f)是增强现实中的视频截图。

步骤6，恢复定标板遮挡区域的纹理和光照的过程结束。

由于本发明的算法简洁，可以达到实时恢复定标板遮挡区域的纹理及光照，不需特定硬件支持。因此，除可以应用于即时拍摄视频的输出外，也可应用于对现有视频文件进行恢复定标板遮挡区域的操作。

Claims (5)

1.一种恢复定标板遮挡区域的纹理和光照的方法，包括如下步骤：

(1)拍摄参考图像和定标基准图：

1a)将摄像机位置固定，选取需要添加虚拟物体的场景，拍摄该场景在未放置定标板前的一幅图像作为参考图像；

1b)将定标板放置于场景中，拍摄一幅有定标板的图像作为定标基准图；

(2)建立平面单应性关系：

2a)任意调整摄像机位置，拍摄含有定标板场景的视频，获取当前时刻待处理图像；

2b)从待处理图像和定标基准图中，选取至少四对不在同一直线上的相对应的点；

2c)将步骤2b)所述相对应的点代入方程X＝H·Y中，获得待处理图像和定标基准图之间的平面单应性关系矩阵H；其中，X为选取的待处理图像中的点的坐标列向量，Y为选取的定标基准图中的点的坐标列向量；

(3)纹理修复：

将平面单应性关系矩阵H左乘以定标基准图中定标板区域的每个点的坐标列向量Y获得变换后的点的坐标列向量X，将求得的坐标列向量X在参考图像中对应的像素颜色值填充到待处理图像的定标板区域，获得已修复纹理的图像，完成纹理修复；

(4)光照修复：

4a)将纹理修复区域作为目标区域，选取已修复纹理图像中的目标区域的邻域，将邻域内任一点的像素值与参考图像中对应点的像素值代入下式，建立已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式：

I＝aJ+b

其中，I为已修复纹理图像中目标区域邻域内任一点的像素值，J为参考图像中与之相对应点的像素值，a和b为待求光照线性关系的系数；

4b)采用最小二乘法，从已修复纹理图像中目标区域邻域内点和参考图像中与之相对应的点满足的光照线性关系表达式中，求得邻域内待求光照线性关系的系数a和b的值；

4c)采用插值法，由邻域内待求光照线性关系的系数a和b的值，插值出目标区域内点的光照线性关系系数a和b的值；

4d)将已修复纹理图像中目标区域内点的原有像素值及光照线性关系系数a和b的值，代入步骤4a)所述的光照线性关系表达式中，得到目标区域的点当前像素值；

4e)用目标区域的点当前像素值替代原像素值，完成光照修复；

(5)采用人工交互的方式判断视频是否拍摄结束，若拍摄结束，则执行步骤(6)；若拍摄未结束，则返回步骤(2)；

(6)恢复定标板遮挡区域的纹理和光照的过程结束。

2.根据权利要求1所述的恢复定标板遮挡区域的纹理和光照的方法，其特征在于：所述步骤4a)中已修复纹理的图像中纹理修复区域的邻域，其边长通常选取为定标用基准图中定标板边长的3倍。

3.根据权利要求1所述的恢复定标板遮挡区域的纹理和光照的方法，其特征在于：所述步骤4b)中采用的最小二乘法如下：

(a，b)＝∑_r((I，1)^T(I，1)^-1(I，1)^T(J，1))

其中，a和b为待求光照线性关系的系数，r为邻域边长，其取值由3个像素依次递增至图像宽度的1/4像素，I为已修复纹理图像中纹理修复区域邻域内任一点的像素值，J为参考图像中与已修复纹理图像中纹理修复区域邻域内任一点相对应点的像素值，T为矩阵转置符号。

4.根据权利要求1所述的恢复定标板遮挡区域的纹理和光照的方法，其特征在于：所述步骤4c)中采用的插值法为双线性插值法。

5.根据权利要求1所述的恢复定标板遮挡区域的纹理和光照的方法，其特征在于：所述步骤(5)中人工交互方式是指当拍摄人员认为完成增强现实所表达内容时，可人工手动停止视频的方式。