CN101140661A - 一种以动态投影为背景的实时目标识别方法 - Google Patents

Abstract

本发明公开了一种以动态投影为背景的实时目标识别方法。该方法包括系统的几何标定，系统的颜色标定和目标提取。采用建立几何变换矩阵和颜色查找表的方法，可以有效地利用帧缓存实时建立用于目标提取的背景模型，实现动态背景情况下的快速目标识别。识别算法不需要额外的硬件支持，因此仅需要投影仪和摄像机就可以搭建一个增强型现实系统以进行快速而精确的目标识别。

Description

一种以动态投影为背景的实时目标识别方法

技术领域

本发明涉及一般的图像数据处理或产生，尤其是涉及一种以动态投影为背景的实时目标识别方法。

背景技术

近年来，摄像机与投影仪在成本上的逐渐降低和在制作工艺上的逐渐提高，相关的应用研究课题也越来越多。投影仪与摄像机的在同一空间中的组合，为计算机系统提供了新的输入和输出能力，并由此产生了一种新的人机交互范例，在目标跟踪、投影仪的沉浸式自校正显示和远程协同工作等系统中都有所应用。

在基于投影仪-摄像机的跟踪系统中，通常以摄像机为输入，投影仪为输出。系统利用摄像机得到目标的位置，利用投影仪输出相应的交互信息。当摄像机捕获画面中包含了动态变换的投影内容时，为了捕捉目标的位置，必须找到一个方法对投影区域进行剔除。

Richard May利用投影仪、摄像机和麦克风搭建了桌面交互环境HumanInformation Workspace(HI-Space)，可参考[May2005]May R，Baddeley B，“Architecture and Performance of the HI-Space Projector-Camera Interface”，In：Computer Vision and Pattern Recognition，2005 IEEE Computer Society Conference，Vol.3，2005，pp.103-103，该系统能够识别手势、物体和语音输入，使得用户通过显示桌面与系统进行简单的交互。HI-Space系统采用了光线过滤设备防止摄像机拍摄到投影仪发出的可见光，并采用红外光源辅助摄像机拍摄目标，从而有效地剔除了投影区域对目标跟踪的影响。这样，只需要简单的图像分割技术就能够捕获到目标的位置，实质上是一种利用静态图像背景的解决方法，并且系统需要红外设备等额外的硬件支持。

Magic Board系统则采用了一种不需要额外硬件支持的纯视觉跟踪方法，可参考[Crowley2000]Crowley JL，Coutaz J，Berard F，“Things that See”，Communications of the ACM2000，43(3)：54-64。系统采用模板匹配的方法对指尖进行识别，这样，识别结果不会受到投影区域内容的干扰。这种处理方法的缺点是只能识别简单的姿势，当投影区域很大时，识别速度变慢，从而导致系统性能下降。

发明内容

针对现有技术的不足，本发明的目的在于提供一种以动态投影为背景的实时目标识别方法。本方法以基于背景减除的图像分割法为基础，解决了动态背景下的实时目标识别，并且在背景快速变化的情况下能够实时地获得处理结果。

为实现这样的目的，本发明采用的技术方案如下：

1)系统的几何标定：先用差值法获得投影仪投影区域在摄像机成像平面下的坐标，再采用摄像机的自校正方法计算帧缓存平面到摄像机成像平面的仿射变换矩阵，从而建立起帧缓存图像到摄像机拍摄图像的像素点间的几何映射；

2)系统的颜色标定：计算摄像机的亮度响应函数，对投影区域各像素点建立帧缓存中的投影亮度到摄像机拍摄亮度的颜色查找表，从而得到各像素点的投影亮度与摄像机拍摄亮度之间的亮度映射；

3)目标提取：利用系统的几何标定和颜色标定建立起的对应关系，将每一帧图像缓存实时地进行变换，对变换结果与摄像机拍摄的图像求取差值，最终把目标提取出来。

本发明与背景技术相比具有的有益效果是：

本发明采用建立几何变换矩阵和颜色查找表的方法，可以有效地利用帧缓存实时建立用于目标提取的背景模型，实现动态背景情况下的快速目标识别。识别算法不需要额外的硬件支持，因此仅需要投影仪和摄像机就可以搭建一个增强型现实系统以进行快速而精确的目标识别。

附图说明

图1是系统结构图；

图2是投影区域的获得图；

图3是棋盘格顶点坐标对图；

图4是几何标定的结果图；

图5是目标提取的结果图；

图6是目标跟踪流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

本发明提出的一种以动态投影为背景的实时目标识别方法。该方法包括系统几何标定，颜色标定和目标提取三个步骤。首先对投影仪与摄像机(或照相机)组成的系统进行几何标定，分为确定投影区域和计算摄像机变换矩阵两步；然后对系统进行颜色标定，分为计算摄像机亮度响应函数和确立颜色查找表两步；最后利用前两步确定的变换关系可以实时地进行目标提取。对目标的持续实时识别，便实现了对目标的跟踪，其流程如图6所示。该方法执行的所在系统如图1所示，1为投影仪，投射随目标的运动而变化的图像，2为摄像机，拍摄投影图像及投影面上的目标，3为计算机，控制投影仪、摄像机，跟踪目标以及处理、绘制图像，4为投影仪所投射的投影面。

现具体介绍本方法的步骤：

1)投影区域的获得：

a)利用计算机生成全屏黑色画面，将其投影在投影屏幕(包括地面、墙面等各种投影面)，然后用摄像机(或照相机)拍摄到最暗投影画面，如图2a所示。

b)利用计算机生成全屏白色画面，投影在投影屏幕(包括地面、墙面等各种投影面)，然后用摄像机(或照相机)拍摄到最亮投影画面，如图2b所示。

c)将最暗投影画面和最亮投影画面的拍摄图像逐像素亮度相减，就得到投影区域在摄像机(或照相机)拍摄画面中的位置，结果如图2c所示。

2)系统的几何标定：

这一步利用摄像机的自校正(Self Calibration)方法获得仿射变换矩阵。步骤如下：

a)在投影区域打出9X7的黑白相间棋盘格的样式并进行拍摄。

b)首先确定好棋盘格的X、Y轴以及它们的正方向。

c)棋盘格由计算机均匀生成，因此棋盘格各顶点在计算机生成画面中的坐标是已知的。图3a就是由计算机生成的棋盘格图像。

d)对拍摄的图像(如图3b所示)进行角点检测，得到棋盘格各顶点在拍摄图像中的坐标。

e)利用上面得到的两组顶点坐标解出仿射变换方程。

经过这一步骤，得到将计算机生成画面的点映射到摄像机拍摄的图像中的变换关系(如图4所示)。

3)摄像机(或照相机)响应函数标定：

如果系统采用了能自动改变光圈值与曝光时间的摄像机，需要标定摄像机的响应函数。一般成像系统中，响应函数的形式为M＝g(I)，M为图像亮度，I为图象记录的场景亮度，g为响应函数。假设响应函数是单调的，则g有逆函数f，I＝f(M)。当场景亮度不变时，I与摄像机(或照相机)拍摄图像时所使用的光圈和快门值成正比。

Mitsunaga和Nayar用N次多项式来模拟响应函数f，可参考[Mitsunaga99]Mitsunaga T，Nayar S，“Radiometric Self Calibration”，IEEEComputer Society Conference on Computer Vision and Pattern Recognition(CVPR′99)1999，1：1374，多项式表达形式如下：

$I=f\left(M\right)=\underset{n=0}{\overset{N}{\mathrm{\Σ}}}{C}_n{M}^n$

其中，N为多项式的阶，C_n为多项式n次项的系数，这样标定的过程就是求解N和各个C_n。

响应函数的标定步骤如下

a)利用计算机生成全屏幕的单色画面，画面亮度Y从最小值16等分3～4次变化到最大值235，拍得3～4幅图像。

b)利用这几幅图像中的环境像素点(投影区域以外的点)的亮度M，采用[Mitsunaga99]所描述的方法计算出相机的响应函数f。

c)调整计算机生成画面亮度Y至最大值，定义此时所拍摄的图像为基准图像，利用响应函数I＝f(M)，计算基准图像中的环境像素点(投影区域以外的点)所记录的场景亮度I_q(下标q代表基准图像)。

4)系统的颜色标定：

系统的颜色标定采用对投影区域内逐像素建立颜色查找表的方法。步骤如下：

a)利用计算机生成全屏幕的单色画面，画面亮度Y从最小值等分n次变化到最大值，拍摄到n幅投影区域亮度依次增大的图像。n一般取10-20。

b)利用响应函数f计算n幅图像投影区域外的像素点记录的场景亮度I_p，q+1(下标p代表不同的像素，q代表不同的拍摄图像)。

c)利用公式

$\frac{I_{p,q}}{I_{p,q+1}}=\frac{L_p\×k_p\×e_q}{L_p\×k_p\×e_{q+1}}=R_{q,q+1}$

计算每张拍摄图像相对于基准图像的的曝光值(光圈大小与快门时间)比R_q，q+n。

d)利用公式

I_p，q＝I_p，q+1×R_q，q+1＝f(M_p，q+1)×R_q，q+1

将不同曝光值下的拍摄图像中投影区域内的像素点亮度M_q+n归一到基准曝光值下拍摄的图像亮度记录I_q。

e)仅考虑投影区域，对其中每一个像素点，可以得到计算机生成画面亮度M与对应拍摄图像亮度记录I_q的n个点对。

f)对像素点对进行线性插值，将得到：对于投影区域的每一个像素点，当其亮度从最小值变化到最大值时，对应摄像机(或照相机)在基准曝光值下拍得的图像的亮度记录I_q的估计值。

至此，就根据计算机生成画面的内容建立起了可以直接用于目标提取的差值模型。

5)目标提取：

利用几何标定和颜色标定建立起的对应关系，可以将每一帧计算机生成画面实时地进行变换，将变换结果与摄像机拍摄的图像进行差值，就能够将目标提取出来(如图5所示)，方法如下：

假设：i-投影区域内像素点

c(i)-根据计算机生成画面内容对颜色查找表插值获得的亮度记录；

d(i)-摄像机(或照相机)在基准曝光值下拍得的图像归一到基准曝光值后得到的亮度记录；

T-阈值：可以预先获得颜色校正的误差，然后取误差的最大值为阈值T进行目标提取。

则有：满足c(i)-T＜d(i)＜c(i)+T的点i被判别为背景像素，否则为目标像素。

Claims (1)

1.一种以动态投影为背景的实时目标识别方法，其特征在于包括以下三个步骤：

1)系统的几何标定：先用差值法获得投影仪投影区域在摄像机成像平面下的坐标，再采用摄像机的自校正方法计算帧缓存平面到摄像机成像平面的仿射变换矩阵，从而建立起帧缓存图像到摄像机拍摄图像的像素点间的几何映射；

2)系统的颜色标定：计算摄像机的亮度响应函数，对投影区域各像素点建立帧缓存中的投影亮度到摄像机拍摄亮度的颜色查找表，从而得到各像素点的投影亮度与摄像机拍摄亮度之间的亮度映射；

3)目标提取：利用系统的几何标定和颜色标定建立起的对应关系，将每一帧图像缓存实时地进行变换，对变换结果与摄像机拍摄的图像求取差值，最终把目标提取出来。

Images