CN103092437B - 一种基于图像处理技术的便捷式触控交互系统 - Google Patents

Abstract

本发明涉及一种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头；舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。与现有技术相比，本发明通过舵机对交互载体进行跟踪，并通过新颖的指尖识别算法对指尖进行识别，具有可携带性、识别率高、容易实现、配置方便等优点。

Description

一种基于图像处理技术的便捷式触控交互系统

技术领域

本发明涉及一种人机交互系统，尤其是涉及一种基于图像处理技术的便捷式触控交互系统。

背景技术

目前，各式各样的移动互联网终端已经是人们生活必不可少的一部分，例如智能手机、平板电脑等，这些终端渐渐成为现代人互联网接入的主要手段。甚至在现在的发达地区，IPad等智能终端也渐渐进入中小学课堂，代替原来的课本。而与此同时人们对移动智能设备也提出了更高的要求。如更加便携、使用更加方便等。传统的交互方式主要有键盘，电阻电容式的触摸屏等，但是传统的交互方式存在着很大的局限性。如，使用时无法解放双手；屏幕具有固定的大小，无法适应各种情况下的使用；长时间使用触摸屏或手机键盘等亦会使手部软骨受伤导致触屏手、拇指病等；应用于教学也会使儿童沉迷于虚拟世界而忽视与现实世界和人际间的交流和互动。

但是随着技术的进步，产生了很多基于计算机视觉的手势识别的交互方式。按照识别条件分为标记识别和徒手识别。标记识别主要依靠硬件或手部的标记。如，基于数据手套的手语识别系统，利用手套中的传感器来获取手部的关节运动信息；在手指做上相应的颜色标记，来方便摄像头对手指部分的分割和检测，进一步通过手势分析识别实现各种功能和与外界的交互。但是标记识别也有很大的缺点，如数据手套使用成本太高，而且，在识别过程中需要用户一直佩戴特定的设备，使用非常不方便。在徒手识别方面对于指尖的检测主要有基于指尖曲率算法和模板匹配算法，基于指尖的曲率算法主要根据指尖和手指曲率的不同来对手指进行检测；模板匹配算法是通过在输入图像上滑动图像块对实际的图像块和输入的图像进行匹配，主要有平方差匹配、相关匹配和归一化匹配。因为都需要对手指进行精确的平滑分割，所以都不能在与手部肤色接近的背景下使用。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可携带、识别率高、容易实现、调和简单的基于图像处理技术的便捷式触控交互系统。

本发明的目的可以通过以下技术方案来实现：

一种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头；

舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。

所述的交互载体包括手掌、书本、打印稿或白板。

所述的处理中心包括FPGA芯片和处理器，所述的FPGA芯片与处理器通过PCIe总线通信连接，所述的处理器与投影仪连接，所述的FPGA芯片分别连接摄像头和舵机云台。

所述的FPGA芯片包括视频解码单元、PWM发生单元和同步存储单元，所述的同步存储单元与视频解码单元连接，所述的视频解码单元与摄像头连接，所述的PWM发生单元与舵机云台连接。

所述的舵机云台为两自由度舵机云台，该舵机云台上设有舵机摄像头。

所述的舵机云台跟踪交互载体的具体步骤为：

11)对交互载体进行平面分割，取出交互载体的中心点P；

12)舵机摄像头采集交互载体的图像；

13)对采集到的图像进行标定，去除水平和垂直方向的畸变；

14)根据标定的图像采用以下公式计算舵机的转向量θ：

$\mathrm{\θ}=\arctan \frac{a(1-c)}{b(1+c)}$

其中， c＝L_CP：L_PB，θ_O为舵机摄像头的视场角，舵机摄像头位于O点，B、C为图像的边缘点。

所述的FPGA芯片与舵机云台间连接有电平变换单元，该电平变换单元由两个三极管连接而成。

所述的指尖识别算法包括直接识别步骤和间接识别步骤，所述的直接识别步骤具体为：在指尖进行交互载体前，采用特征向量法识别出指尖，选取两个参考点，计算并记录识别出的指尖与两个参考点的距离和角度信息；

所述的间接识别步骤具体为：指尖进行交互载体后，首先识别出两个参考点的位置，根据直接识别步骤记录的距离和角度信息以及当前参考点的位置重构出指尖，并计算当前指尖的位置。

所述的特征向量法具体为：

21)在经预处理后得到的二值图像中，以白色像素点作为前景，黑色像素点作为背景；

22)假设要计算的像素点为(i0，j0)，以(i0，j0)为中心画n个正方形，n为特征向量的维度，第k个正方形的边到(i0，j0)的棋盘距离为k个像素点，k＝1，2，…，n；

23)对各正方形的边长经过的前景像素点的个数进行计数，第k个正方形的计数值对应特征向量第k维的值；

24)将计算得到的特征向量与标准模板的特征值采用平方差匹配法进行匹配，识别出指尖。

与现有技术相比，本发明具有以下优点：

1)对交互载体的跟踪保证用户的交互操作更自然，投影通过舵机的转动将界面跟踪投射在交互载体上，通过手指点击交互界面进行交互，机器适应人而不是人适应机器，具有很强的可携带性和顺畅的体验。

2)本发明采用普通摄像头采集图像，设备简单，价格便宜。

3)不需要指套等额外辅助识别道具，更显人性化。

4)本发明采用的基于参考点的指尖识别算法具有识别算法独特、简单、高效，对系统要求低，容易实现、识别率高等优点。

5)本发明具有可移植性，配置方便，无需第三方软件支持。

附图说明

图1为本发明的结构示意图；

图2为本发明舵机转向量的解算示意图；

图3为指尖与参考点的相对位置关系示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种基于图像处理技术的便捷式触控交互系统，用户以手掌、书本、打印稿、白板等表面作为交互载体，可自然地移动交互载体，系统可对其进行跟踪并调整交互界面在交互载体上的显示。通过手指点击交互载体上显示的交互界面，可完成一系列操作。以手掌为交互载体，亟待解决的问题是如何在同样肤色的背景的干扰下对手指指尖进行识别，并保证能满足要求的识别率。基于图像处理技术的便捷式触控交互系统包括投影仪4、摄像头3、处理中心2和舵机云台1，处理中心2分别连接投影仪4、摄像头3和舵机云台1，舵机云台1分别连接投影仪4和摄像头3；舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势。

处理中心2包括FPGA芯片21和处理器22，FPGA芯片21与处理器22通过PCIe总线通信连接，无需使用慢速总线对外设进行访问，为开发嵌入式的实时控制系统打下了很好的基础。处理器22与投影仪4连接，FPGA芯片21分别连接摄像头3和舵机云台1。FPGA芯片21包括视频解码单元211(SAA7113)、PWM发生单元212和同步存储单元(SDRAM)，同步存储单元与视频解码单元211连接，视频解码单元211与摄像头3连接，PWM发生单元212与舵机云台1连接，在FPGA芯片对图像进行预处理后存入同步存储单元，然后处理器通过PCIe总线对同步存储单元进行访问。处理器可通过迷你PCIe总线与无线网连接。舵机云台1为两自由度舵机云台，该舵机云台上设有舵机摄像头，舵机云台上的每个舵机需要一个50Hz，1ms到2ms的PWM发生单元进行控制。FPGA芯片的最大允许电平为3.3V，而舵机需要的电平为5-6V，简单的上拉电阻不能满足条件，故在FPGA芯片与舵机云台间连接有由两个三极管连接而成的电平变换单元。

如图2所示，舵机云台跟踪交互载体的具体步骤为：

11)对交互载体进行平面分割，取出交互载体的中心点P；

12)舵机摄像头采集交互载体的图像；

13)对采集到的图像进行标定，去除水平和垂直方向的畸变；

14)根据标定的图像采用以下公式计算舵机的转向量θ：

$\mathrm{\θ}=\arctan \frac{a(1-c)}{b(1+c)}$

其中， c＝L_CP：L_PB(实际数据将由交互载体中心点到两边的距离计算求得)，θ_O为舵机摄像头的视场角，舵机摄像头位于O点，B、C为图像的边缘点。

假设舵机摄像头的视场半径为R，视场中心点为M，则

$L_{\mathrm{CP}}:L_{\mathrm{PB}}=\frac{L_{\mathrm{MB}}-L_{\mathrm{PM}}}{L_{\mathrm{MB}}+L_{\mathrm{PM}}}=\frac{R\sin \frac{{\mathrm{\θ}}_O}{2}-R\cos \frac{{\mathrm{\θ}}_O}{2}\tan \mathrm{\θ}}{R\sin \frac{{\mathrm{\θ}}_O}{2}+R\cos \frac{{\mathrm{\θ}}_O}{2}\tan \mathrm{\θ}},$ 从而求出θ。

FPGA芯片对图像进行预处理得到二值图像后，要识别指尖，首先要对手部轮廓进行检测，感兴趣的指尖为轮廓顶点集中的一个。为了减小计算量，需要对轮廓顶点进行采样。本系统采用的是简单的均匀采样方法，即沿着轮廓顺时针遍历，每隔N(经过反复实验，本案例取N为5)个顶点选取一个。经过图样分析和大量的实验，我们发现指尖构成了轮廓顶点集的凸包或由于分割造成的误差在某个凸包顶点的附近。因此，采样过后计算选中顶点集的凸包，就可快速粗略定位到感兴趣的指尖。

指尖识别算法包括直接识别步骤和间接识别步骤，直接识别步骤具体为：在指尖进行交互载体前，采用特征向量法识别出指尖，选取两个参考点，计算并记录识别出的指尖与两个参考点的距离和角度信息，在指尖进入手掌区域前后很短一段时间内距离和角度信息没有发生变化。

间接识别步骤具体为：指尖进行交互载体后，首先识别出两个参考点的位置，根据直接识别步骤记录的距离和角度信息以及当前参考点的位置重构出指尖，并计算当前指尖的位置。

直接识别步骤中的特征向量法具体为：

21)在经预处理后得到的二值图像中，以白色像素点作为前景，黑色像素点作为背景；

22)假设要计算的像素点为(i0，j0)，以(i0，j0)为中心画n个正方形，n为特征向量的维度，第k个正方形的边到(i0，j0)的棋盘距离为k个像素点，k＝1，2，…，n；

23)对各正方形的边长经过的前景像素点的个数进行计数，第k个正方形的计数值对应特征向量第k维的值；

24)将计算得到的特征向量与标准模板的特征值采用平方差匹配法进行匹配，识别出指尖。

选取哪些点作为参考点可视根据实际情况而定，被选作为参考点的顶点应该要容易识别且保证不易受环境的影响而无法识别。本案例选取大拇指和食指之间的最凹点(记为P₁)、食指和中指之间的最凹点(记为p₂)。如图3所示，根据p₁和p₂的相对位置关系，分4种情形讨论几个角度之间的关系。图3中，(a)：p₂x＞p₁.x；(b)：p₂.x＜p₁.x；(c)p₂.x＝p₁.x；(d)ftx＝p₁.x(p₁.x表示p₁点的横坐标)。在指尖进入手掌区域前后很短一段时间内用户没有改变指尖ft与参考点p₁、p₂之间的位置关系，即没有切换上述4种状态，那么∠ftp₂p₁(其值记为A)和ft、p₂两点间的距离(其值记为l)是恒定不变的。

在直接识别步骤中获取指尖ft和两个参考点p₁、p₂后，根据下面的公式计算角度A和距离l：

ifp₂.x＞p₁.x

|θ|+|α|＝A

∴ $\tan A=\tan \left(\right|\mathrm{\θ}|+|\mathrm{\α})$

$=\frac{\tan \left|\mathrm{\θ}\right|+\tan \left|\mathrm{\α}\right|}{1-\tan \left|\mathrm{\θ}\right|\·\tan \left|\mathrm{\α}\right|}$

ifp₂.x＜p₁.x

180°-|θ|+|α|＝A

∴

ifp₂.x＝p₁.x

90°+|α|＝A

∴

ifft.x＝p₁.x

90°+|θ|＝A

∴

$l=|\mathrm{ft}-p_2|$

$=\sqrt{{(\mathrm{ft}.x-p_2.x)}^2+{(\mathrm{ft}.y-p_2.y)}^2}$

在间接识别步骤中识别出两个参考点p′₁、p′₂的位置后，根据计算出的角度A和距离l重构出ft′：

ifp₂.x＞p1.x

|θ′|+|α′|＝A

∴ $\tan \left|{\mathrm{\α}}^{\′}\right|=\tan (A-|{\mathrm{\θ}}^{\′}\left|\right)$

$=\frac{\tan A-\tan \left|{\mathrm{\θ}}^{\′}\right|}{1+\tan \left|{\mathrm{\θ}}^{\′}\right|\·\tan A}$

ifp₂′.x＜p₁′.x

180°-|θ′|+|α′|＝A

∴

ifp₂′.x＝p₁′.x

90°+|α′|＝A

∴

$l=|{\mathrm{ft}}^{\′}-{p_2}^{\′}|$

$=\sqrt{{({\mathrm{ft}}^{\′}.x-{p_2}^{\′}.x)}^2+{({\mathrm{ft}}^{\′}.y-{p_2}^{\′}.y)}^2}$

解上述方程，完成重构：

ifα′＝90°，

ft′.x＝p₂.x

ft′.y＝p₂.y-l

ifα′≠90°，

$\frac{{({\mathrm{ft}}^{\′}.y-{p_2}^{\′}.y)}^2}{{({\mathrm{ft}}^{\′}.x-{p_2}^{\′}.x)}^2}=\frac{X}{Y}={\tan }^2\left|{\mathrm{\α}}^{\′}\right|---\left(1\right)$

(ft′.y-p₂′.y)²+(ft′.x-p₂′.x)²＝X+Y＝l²(2)

由(1)(2)可得，

$X=\frac{l^2\·{\tan }^2\left|{\mathrm{\α}}^{\′}\right|}{1+{\tan }^2\left|{\mathrm{\α}}^{\′}\right|},$ $Y=\frac{l^2}{1+{\tan }^2\left|{\mathrm{\α}}^{\′}\right|}$

${\mathrm{ft}}^{\′}.y=p2.y-\sqrt{X}.$

${\mathrm{ft}}^{\′}.x=p2.x-\sqrt{Y}$

上述基于图像处理技术的便捷式触控交互系统的投影仪通过舵机的转动将界面跟踪投射在交互载体上，通过手指点击图标进行交互，是一种新颖的交互方式；本系统中采用的指尖识别算法可以在肤色背景下识别指尖，提高了识别的可靠性；本系统采用的摄像头为普通摄像头，设备简单，成本低廉。

本领域的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种基于图像处理技术的便捷式触控交互系统，用于在交互载体上的人机交互，其特征在于，包括投影仪、摄像头、处理中心和舵机云台，所述的处理中心分别连接投影仪、摄像头和舵机云台，所述的舵机云台分别连接投影仪和摄像头，所述的交互载体包括手掌、书本、打印稿或白板；

舵机云台跟踪交互载体，并控制投影仪将交互界面投影到交互载体上，同时控制摄像头的拍摄角度，摄像头拍摄人机交互过程传递给处理中心，处理中心对接收到的图像进行预处理，采用指尖识别算法识别人的手势；

所述的指尖识别算法包括直接识别步骤和间接识别步骤，所述的直接识别步骤具体为：在指尖进行交互载体前，采用特征向量法识别出指尖，选取两个参考点，计算并记录识别出的指尖与两个参考点的距离和角度信息；

所述的特征向量法具体为：

21)在经预处理后得到的二值图像中，以白色像素点作为前景，黑色像素点作为背景；

22)假设要计算的像素点为(i0,j0)，以(i0,j0)为中心画n个正方形，n为特征向量的维度，第k个正方形的边到(i0,j0)的棋盘距离为k个像素点，k＝1,2,…,n；

23)对各正方形的边长经过的前景像素点的个数进行计数，第k个正方形的计数值对应特征向量第k维的值；

24)将计算得到的特征向量与标准模板的特征值采用平方差匹配法进行匹配，识别出指尖；

所述的间接识别步骤具体为：指尖进行交互载体后，首先识别出两个参考点的位置，根据直接识别步骤记录的距离和角度信息以及当前参考点的位置重构出指尖，并计算当前指尖的位置。

2.根据权利要求1所述的一种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的处理中心包括FPGA芯片和处理器，所述的FPGA芯片与处理器通过PCIe总线通信连接，所述的处理器与投影仪连接，所述的FPGA芯片分别连接摄像头和舵机云台。

3.根据权利要求2所述的一种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的FPGA芯片包括视频解码单元、PWM发生单元和同步存储单元，所述的同步存储单元与视频解码单元连接，所述的视频解码单元与摄像头连接，所述的PWM发生单元与舵机云台连接。

4.根据权利要求2所述的一种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的舵机云台为两自由度舵机云台，该舵机云台上设有舵机摄像头。

5.根据权利要求4所述的一种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的舵机云台跟踪交互载体的具体步骤为：

11)对交互载体进行平面分割，取出交互载体的中心点P；

12)舵机摄像头采集交互载体的图像；

13)对采集到的图像进行标定，去除水平和垂直方向的畸变；

14)根据标定的图像采用以下公式计算舵机的转向量θ：

$\mathrm{\θ}=arctan\frac{a(1-c)}{b(1+c)}$

其中，c＝L_CP:L_PB，θ_O为舵机摄像头的视场角，舵机摄像头位于O点，B、C为图像的边缘点。

6.根据权利要求2所述的一种基于图像处理技术的便捷式触控交互系统，其特征在于，所述的FPGA芯片与舵机云台间连接有电平变换单元，该电平变换单元由两个三极管连接而成。