CN104133565B - 利用结构光技术实现的实时激光点追踪人机交互系统 - Google Patents

Abstract

一种利用相位测量轮廓术实现的激光点实时追踪人机交互系统，其技术方案为：一、利用相位测量轮廓术对投影面进行场景建立，建立投影仪与摄像机之间的对应关系。二、通过前景与背景作差的方法对投影区域内的激光点位置进行检测。三、在步骤一建立的对应关系中找到激光点对应在投影仪上的位置，计算机命令光标移动到该位置，重复步骤三以实现对激光的连续追踪。本发明将能够被用于任意非平面投影人机交互环境中，进行高效准确的激光点识别追踪。

Description

利用结构光技术实现的实时激光点追踪人机交互系统

技术领域

本发明是一种可用于任意投影面的实时激光点追踪方法。

背景技术

随着投影技术的发展和应用, 目前投影仪在多媒体教学, 会议, 演讲等方面得到了广泛应用. 虽然它改变了传统的信息传递展示方式, 以图文并茂, 声相兼备的听觉视觉效果, 生动, 直观形象地把交流内容展示出来。但是, 传统的人机交互使用键盘和鼠标作为输入设备, 这种传统的交互方式将演讲者限制在计算机旁, 不能自由地走动. 这种交互方式已经不能满足人们对人机交互系统“人性化”的需求。为了方便使用, 如今的投影设备都配备了具有交互功能的激光笔作为辅助输入设备以方便使用。但是激光笔并不能像鼠标键盘一样便捷的控制计算机。于是很多学者就开始了激光点人机交互系统的研究。

目前国内外的激光点追踪人机交互系统，主要应用于多媒体系统中解决了传统的投影技术给演讲者带来的不便。通过追踪系统，演讲者将不再被限制于计算机前来控制投影的播放，而是通过一只激光笔即可控制鼠标的移动及投影的放映。此前，已有不少的国内外学者对该追踪系统进行了讨论。例如发表在“IEEE International Workshop on HapticAudio Visual Environments and their Applications”上的文章“On-Screen LaserSpot Detection for Large Display Interaction”，在2005年提出了提出一种简单的利用摄像头检测激光点的位置电脑光标的移动以实现计算机操作。在检测过程中, 将屏幕中寻找最亮的红色点作为激光点的位置. 该方法实现了激光笔代替鼠标对计算机进行控制的目的. 但是该方法在场景建立和激光点的检测方法上都还有很多的不足。为了准确的建立追踪场景，以提高激光点追踪精度. 发表在“IEEE the Sixth Inter Conference onImage and Graphics”上的文章“A novel robust laser tracking system withautomatic environment adaptation and keystone correction”提出了基于矩形变换的场景建立方法, 构建了摄像头与投影机之前的对应关系, 在进行激光点检测追踪. 这一方法的提出大大提高了激光点追踪技术的精度, 同时配合基于颜色的激光点检测, 实现了具有较强鲁棒性的激光点追踪方法. 发表在“机电工程”上的文章“投影显示中光笔交互技术的研究”从光笔投影点的坐标精确性上进行研究, 提出基于网格细分的屏幕坐标校准方法, 设计并实现基于激光笔的交互系统。

以上方法都是建立在二维空间基础的, 通过建立二维的几何对应关系，确定激光点的位置来进行追踪。但是投影区域是一个三维场景, 这样使得基于二维几何关系建立的场景会给追踪精度带来影响。在“IEEE 12th international Human-ComputerInteraction，Interaction Platforms and Techniques”上发表的文章“Vision basedlaser pointer interaction for flexible screens”介绍了一种通过三维校准的方法建立摄像机和投影仪之间的影射关系实现的激光点追踪人机交互方法。在建立的三维场景中的激光点追踪方法的追踪精度，并且可以用在非平面的投影场景中。

目前，激光点追踪和检测在已有技术中已经有很大的改进，但是目前激光点的追踪及检测精度只能满足追踪交互系统在精度要求不高的场景中应用。现有的方法中，要想保证系统的测量精度，一定要对设备带来的畸变进行讨论和修正才可以得到较准确的测量结果，这也意味着，这些方法都会给测量结果带来一定的误差。

发明内容

针对现有技术的追踪方法的现在与不足，本发明旨在提供一种新的实时激光点追踪方法，以提高激光点追踪的精度及追踪系统的稳定性，实现其在复杂场景中的应用。该系统将不再局限于对同一水平面上激光点的追踪，该系统可以实现在任意形状投影面上对激光点的追踪。且不会受到设备畸变的影响。

本发明的基本思想是利用结构光测量三维信息的方法，根据对相位的计算获取空间三维信息与二位信息之间的关系。但是该方法，并没有进行三维重建的过程，这样就可以有效避免三维重建过程中的计算误差。在建立摄像机与投影仪的映射关系时，通过结构光编码和解码的过程，获取投影场景的信息。该过程建立的映射关系中，包含了所有畸变的影响。在场景建立完成后的激光点追踪过程中，由于激光点被图像获取设备检测的过程中，也存在畸变误差，而该误差在建立的对应关系中已经存在，所以最终的追踪结果可以说不受到任何设备的畸变影响。

本发明的核心是通过相位测量轮廓术，一种结构光测量三维信息的方法，计算相位来建立摄像头和投影机之间的对应关系。相位测量轮廓术是一种主动的三维非接触式传感方法, 是利用正弦光栅和数字相移技术, 通过获得投影条纹的变化图像, 计算获得由条纹变化获得的相位的分布。为了建立一个准确的投影仪到摄像头的对应关系, 我们用相位测量轮廓术建立投影区域。相位测量轮廓术(PMP)通过投影正弦光栅于待测物体表面,摄像机拍摄被光栅投射的待测物体表面图像, 对采集图像进行处理, 通过采集的相移图像序列做相位展开计算获得三维信息. PMP 技术实现了用更少的帧数以实现给定精度的要求. PMP 技术是以变化的正弦波为投影图像, 通过抓取连续的条纹图像, 构建条纹变化的关系获得三维信息。一般将投影图案表示为公式:

其中，A^P和B^P为投影仪常数，f是正弦波的频率，（x^p，y^p）是投影仪的坐标，n表示相位变化指数，n表示相位变化指数, N是总的相位变化数(N>=3). 通过摄像机抓取到的目标图像, 将其用数学方法表达出来, 可以写成公式:

其中，Φ（x^c，y^c）表示抓获的正弦波模式的像素位置（x^c，y^c）的相位值,I_n（xc，yc）是该点的像素强度值,A^C和B^C是摄像头常数。Φ(x^c，y^c)表示为:

相位Φ(x^c，y^c)的范围是[0,π/2]. 当投影x 方向和y方向变化正弦波时, 通过摄像头抓获的图像可以计算得到：

,

通过该方法，就建立起了摄像机和投影仪之间的对应关系。

在场景建立完成后，通过检测激光点的位置，对计算机发出指令让光标移动到对应位置，及实现了对激光的位置的追踪。为了保证激光点的可检测性，我们将纯白色模式作为背景，因为白色模式的光强大于其他任何模式，又由于激光点的亮度远大于白色模式，当我们用有激光点存在的任意前景与背景作差，激光点的位置就可以被检测到。

由于场景建立过程建立了摄像机与投影仪之间的映射关系，所以摄像头获取的激光点位置在寻找投影仪中对应位置的过程类似于查表过程，该过程没有复杂的计算，从而保证了激光点追踪的实时性。

连续重复激光点的检测和投影仪中对应位置的查找过程，并连续对计算机发出指令，令光标移动到检测位置，及实现了对激光点追踪的人机交互过程。

本发明与已有技术相比，有益效果体现在:

1). 本发明采用的相位测量轮廓术建立可以快速准确的建立摄像机与投影仪之间的映射关系。并且该方法不受到设备畸变带来的影响。2). 本发明采用的相位测量轮廓术建立摄像机与投影仪之间的映射关系。根据摄像头抓取的图像计算投影面的相位即投影面的深度信息。这一特点使得本发型不受到投影面的限制，可以使用在任意几何特性的平面或曲面上。3). 本发明运用了三维重建中的常用方法，但并未真正进行三维重建，这避免了重建过程中的计算误差，使得追踪具有较高的精度。4). 本发明中通过对摄像头获取包含激光点的图像进行检测，然后找到投影仪中激光点位置的过程，是一个查表过程，该过程的运行速度优于现有的计算对应位置的方法，这将保证激光点追踪的实时性。5). 本发明不受到激光点颜色的限制，可以用任意颜色的激光点进行追踪交互。

附图说明

图1为基于相位测量轮廓术的激光点追踪人机交互系统示意图。

图2为基于相位测量轮廓术的投影面X方向的学习方法示意图。投影编码结构光序列，对采集到的编码图像进行解码得到相位图，对相位图再做相位展开得到相位展开图，即X方法的相位信息。

以下通过具体实施方式，并结合附图对本发明作进一步说明。

具体实施方式

下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

附图1为本发明系统结构图。采用的装置有1台CASIO XJ-M140投影机(800X600像素，最大输出频率为150帧/s), 1个Prosilica GC650工业摄像头(分辨率为640X480像素，灰度量最大捕捉频率为62帧/s), 1台具有Core i3 3530 CPU，4GB内存的计算机。本发明具体实施步骤如下：

1.场景建立。其中投影屏幕可以选择任意平面或者曲面作为投影面。摄像机放置的位置能保证投影区域可以被完全拍摄到。根据相位测量轮廓术, 对任意一个投影屏幕投影水平和竖直两个方向的正弦波。投影仪和摄像头之间的影射关系可以通过公式计算相位得到Φ(x^c，y^c). 通过计算, 投影机上的每一个点都会在摄像头上有一个唯一的对应点.由于Φ(x^c，y^c)的范围是[0,π/2], 我们就需要让所有的相位对应到投影机的投影区域内（投影机的模式大小为800x600 ）。图2表示了x方向场景建立的方法.图2（a）表示投影的结构光序列，图2（b）表示抓获图像计算相位得到的相位图，图2（c）表示对图2（b）进行相位展开的结果，图2（d）表示相位图图2（b）的第300行，图2（c）表示相位展开图2（e）的第300行。

2.激光点追踪初始化。投影一副全白作为背景，因为白色图像的灰度值是所有图像中亮度最高的。而激光点的光强在白色背景下，依然可以检测到。进行激光点检测时，用当前捕捉到的包含激光点的图像与全白背景图做差，对全图进行逐点检测，得到的结果中最亮的部分即为激光点。即使投影场景动态变化，对检测结果带来的影响也不大。

3.激光点追踪。检测到激光点位置后，在第一步中建立的摄像头-投影机的映射关系中查找激光点对应的投影仪中位置，用计算机发出指令控制鼠标移动到计算出的激光点在投影机上的位置。重复这一步即可实现对激光点的追踪。

Claims (4)

1.利用相位测量轮廓术获取投影仪和摄像机的对应关系实现的激光点实时追踪人机交互系统，其系统组成包括以下部分且设备组成需要满足对应条件：计算机系统包括显示设备和计算机主机、投影系统包括投影仪和具有任意几何特征的投影面、安装在投影面的正前方作为图像获取装置且可以完整捕捉到整个投影面的摄像机、具有激光发射按键可发射激光指向投影面的激光笔； 利用相位测量轮廓术实现的激光点实时追踪人机交互系统，包括以下实现步骤：

一：建立场景；建立投影仪与摄像机之间的投影关系，利用相位测量轮廓术进行三维重建过程中的中间量-相位建立该关系；

二：建立激光点检测背景；投影一副纯白图像作为背景图像；

三：激光点检测；用前景与背景作差得到亮度最大位置为激光点位置，检测成功进行下一步骤，否则重复本步骤；

四：将检测到的摄像机中位置通过第一步建立的对应关系找到投影仪中激光点位置，计算机发出指令移动光标至激光点位置；

五：重复步骤三和四以实现对激光点的连续追踪。

2.根据权利要求1所述激光点实时追踪人机交互系统，其特征是，根据透视原理，在等价投影平面和投影仪的关系的前提下，运用相位测量轮廓术测量投影面信息建立于摄像机之间的投影关系；通过投影相互垂直的X和Y两个方向的变化正弦波来分别得到X和Y方向的相位信息，即分别建立投影仪和摄像机之间的X方向和Y方向对应关系。

3.根据权利要求1所述激光点实时追踪人机交互系统，其特征是，利用激光点亮度极高即使在白色投影背景下也可检测的特征，利用白色投影图像作为背景，检测中用当前场景即前景与背景作差得到检测图像，检测图像中最亮的区域并设置适当的阈值以确定激光点位置，在动态场景检测结果不受到场景变换影响。

4.根据权利要求1所述激光点实时追踪人机交互系统，其特点是，对检测图像进行逐点搜索直到找到激光点为止，将该位置即摄像机中位置对应激光点的位置，再根据权利要求所述投影仪与摄像机之间的对应关系查找得到投影仪中激光点的位置；电脑发出命令控制光标移动到该位置完成对激光点的追踪，重复该过程以实现对激光点的连续追踪。