CN203386146U - 基于红外视频定位的人机交互装置 - Google Patents

Abstract

本实用新型公开了一种基于红外视频定位的人机交互装置，包括计算机、红外激光器、摄像头及投影仪；摄像头与投影仪同时对向整个幕布，摄像头及投影仪均与计算机连接；所述的红外激光器安装在幕布的任一角位置。本实用新型的交互装置使用了基于全屏显示棋盘格的方法来寻找棋盘格在图像中的位置以对其进行定位，利用Harris角点检测算法，找出只属于棋盘格的角点，为坐标定位奠定基础，鼠标模拟是本装置的目的，通过图像处理算法计算出画面上红外斑点的位置，对该位置进行坐标转换至屏幕坐标系中，编写程序，利用windows API函数来驱动鼠标动作，在红外光屏上完成类似鼠标的操作。

Description

基于红外视频定位的人机交互装置

技术领域

本实用新型属于图像控制技术领域，涉及一种基于红外视频定位的人机交互装置。

背景技术

近年来，触摸屏技术高速发展，这种新型的人机交互方式实现了用触摸来代替鼠标或键盘操作模式。与传统的交互方式相比，触摸技术更加直观方便，在基于触摸屏技术的产业上，各种产品相继而出。但是它们都无法克服高成本的技术难点，特别是在大型的白板上更是难以突破。

实用新型内容

本实用新型的目的是提供一种基于红外视频定位的人机交互装置，解决了触摸技术用于大型的白板上成本偏高的问题。

本实用新型所采用的技术方案是，一种基于红外视频定位的人机交互装置，包括计算机、红外激光器、摄像头及投影仪；摄像头与投影仪同时对向整个幕布，摄像头及投影仪均与计算机连接；

所述的红外激光器安装在幕布的任一角位置。

本实用新型的基于红外视频定位的人机交互装置，其特征还在于：

红外激光器选用一字线型。

摄像头镜头前套装有红外高透可见光截止滤光片。

红外激光器打出的红外光屏与幕布之间的距离为1厘米。

本实用新型的有益效果是：克服触摸屏的多种缺陷，将墙壁或是投影幕布变成“触摸屏”，通过对摄像头采集红外光屏上的指示点的分析来驱动鼠标的各种简单操作完成人机交互，在普通的墙面或者多媒体幕布等器件上进行最直观的操作，更加方便教学及演示。设备简单，易携带，易安装，使用场合广，最重要的是制作成本低。

附图说明

图1是本实用新型基于红外视频定位的人机交互装置的结构图；

图2是本实用新型装置的程序运行框图；

图3是本实用新型装置采集棋盘格的示意图；

图4是本实用新型装置对棋盘格角点进行分析的示意图；

图5是本实用新型装置中的红外激光器打出红外光屏的正面示意图；

图6是本实用新型装置通过操作者手指获取指示点的侧视图。

图中，1.计算机，2.红外激光器，3.摄像头，4.幕布横切面5.幕布，6.投影仪，7.红外光屏。

具体实施方式

下面结合附图和具体实施方式对本实用新型进行详细说明。

参照图1，本实用新型基于红外视频定位的人机交互装置结构是，包括一台计算机1、一个一字线型红外激光器2、一个摄像头3及一个投影仪6；一字线型红外激光器2安装在幕布5的（左上、左下、右上、右下）任一角位置，并且能够在幕布5的正面上方投射出红外光屏7，红外光屏7和幕布5之间的距离为1厘米左右（最好不大于1厘米）；摄像头3与投影仪6同时对向整个幕布5，摄像头3及投影仪6均与计算机1连接，摄像头3镜头前套装有红外高透可见光截止滤光片。

计算机1中预置有图像处理程序，该程序能够使得以摄像头3采集到的红外光屏7上的触点为基础，使用win32的API函数来驱动鼠标移动，完成简单的操作，达到类似触摸屏操作的效果。

参照图5、图6，以普通的多媒体教学为例，选择在显示投影的幕布5的左上角安装一字线型红外激光器2，使之在幕布5正面前方能投射出红外光屏7，若不能全部覆盖幕布5，可在各角（另外三个角）增加红外激光器2的数量，增加红外激光器2的数量后同时也增加了指示点获取的灵敏度。调整投影仪6及摄像头3的角度使摄像头3能够采集整个幕布5上的投影仪6的投影图像，将投影仪6及摄像头3与计算机1进行信号连接，运行程序，按照对话框上的提示，即可进行操作。

参照图2、图3、图4，本实用新型装置的工作过程是：利用摄像头3采集幕布5上的棋盘格，来求取该棋盘格在摄像头3采集画面中的位置。为了自动获取棋盘格的位置，在拍摄棋盘格图像的同时，拍摄另外两张图像，这两副图像中电脑屏幕画面分别全屏显示一幅空白的白色图像（简称背景图）和一幅包含有三个圆圈标记物的图像（简称三顶点图），这三个标记图像分别代表的是屏幕画面左上角、左下角以及右上角。用这三个角可以确定两个信息，一个是棋盘格的方向，另一个是棋盘格的大小。按顺序用摄像头3采集这两幅图像，并对其进行差分运算，对差分图像进行二值化以及形态学滤波、贴标签等算法获得该图像的三个顶点的中心，按照这三个顶点的距离关系分辨出这三个顶点，然后通过运算获取x方向与y方向的步长，按照步长逐个寻找棋盘格上的角点。在调试的过程中，采集角点的时候要屏蔽掉棋盘格之外的角点，这些角点会对下面的坐标转换产生很大的影响。由于棋盘格图案比较规则，因而被选作摄像头3的标定物，对棋盘格进行匹配；

匹配后根据计算图像中的角点和棋盘格模板中对应角点间的关系实现对角点的定位。这时给摄像头3套上红外高透可见光截止滤光片，当手指或者其他不透光的物体在红外光屏7上有动作时，就会挡住部分红外光而在屏幕上出现很明显的光斑，就会被摄像头捕捉到（如图4所示），这样就能实现对红外光屏4上任一位置的操作。当有多个光斑出现时，系统会选择连通域面积最大光斑的质心坐标作为鼠标模拟操作的坐标。在提取到了图像坐标之后，不能直接使用图像中的坐标来进行鼠标模拟动作，这是因为采集图像和电脑屏幕画面的坐标系是相互独立的。为了实现所见即所得，通过建立两个坐标系之间的映射关系来获取准确的电脑屏幕画面的坐标，用转换后的坐标来进行鼠标事件的模拟。

Windows调用鼠标指令可以触发鼠标左键和右键事件。首先让光标移动到触点位置，当光标停下时将会触发点击鼠标左键的事件。当手指离开红外光屏7，即检测不到光斑时调用触发弹键事件。为模拟鼠标左键双击，需要使用时间函数来计时。当手指离开红外光屏7面时触发计时，再次检测到光斑停止计时，计算出时间差。若时间差小于某个设定数值时相当于在红外光屏7上点击了两次。在对时间差的调整过程中，当时间差设为500ms时，测试的效果最好。为加强对目标的精确点击，再定义一个距离变量，计算第一次点击的地方到第二次点击的地方的距离，当这个距离小于250个像素范围时，可以确定为点击的目标。

Windows API函数一共提供了鼠标的8种操作，由于在实际的点击中无法去区分左击和右击，就像目前流行的安卓系统的操作。但是它可以用两个触点实现图片的放大和缩小，恰巧API函数中有对滚轮的操作。所以在浏览图片时，用两个点的距离的变化来控制滚轮的动作，实现了对图片的放大或缩小操作。

本实用新型的装置，利用摄像头3采集手指在红外光屏7上点击产生的光斑，通过算法将光斑坐标转化为实际的电脑屏幕上的坐标，模拟鼠标来完成一系列的操作。更形象的说，就像是电影里的镭射光键盘，在投影区操作实现交互。本装置的投影区域就是红外激光器所投射的平面，由于它打出来的红外光的波长为850nm，尽管该波长的光不会被人眼觉察，但是能被摄像头捕捉到，为屏蔽可见光的影响，将利用红外高透可见光截止的滤光片对摄像头拍摄到的图像进行过滤，以达到获取的图像仅有手指尖遮挡的那片红外光斑的图像，对该图像进行分析就能得到指示点的实际坐标。

本实用新型的交互装置使用了基于全屏显示棋盘格的方法来寻找棋盘格在图像中的位置以对其进行定位，利用Harris角点检测算法，找出只属于棋盘格的角点，为坐标定位奠定基础，鼠标模拟是本装置的目的，通过图像处理算法计算出画面上红外斑点的位置，对该位置进行坐标转换至屏幕坐标系中，编写程序，利用windows API函数来驱动鼠标动作，在红外光屏上完成类似鼠标的操作。

由于近年智能手机的出现而大规模发展起来的多点触控技术以其更自然的交互方式迅速得到推广，利用视频定位方式将能很大程度上降低其成本。将这种方法与增强现实技术相结合，将会创造出更为神奇的交互方式，类似第六感的系统将会把虚拟世界结合到现实世界中来，通过图像识别进行定位操作，这将是一种革命性的技术。

Claims (4)

1.一种基于红外视频定位的人机交互装置，其特征在于：包括计算机（1）、红外激光器（2）、摄像头（3）及投影仪（6）；摄像头（3）与投影仪（6）同时对向整个幕布（5），摄像头（3）及投影仪（6）均与计算机（1）连接；

所述的红外激光器（2）安装在幕布（5）的任一角位置。

2.根据权利要求1所述的基于红外视频定位的人机交互装置，其特征在于：所述的红外激光器（2）选用一字线型。

3.根据权利要求1所述的基于红外视频定位的人机交互装置，其特征在于：所述的摄像头（3）镜头前套装有红外高透可见光截止滤光片。

4.根据权利要求1所述的基于红外视频定位的人机交互装置，其特征在于：所述的红外激光器（2）打出的红外光屏（7）与幕布（5）之间的距离为1厘米。

Images