CN101694694A - 用于交互式演示系统中的手指识别方法 - Google Patents

Abstract

本发明涉及一种用于交互式演示系统中的手指识别方法，用于基于摄像一投影的交互式演示系统中通过手指的识别确定用户的操作行为。本发明以图像处理技术为基础，根据用户绘画操作时的手指姿势特点，以其几何空间位置信息为主要识别信息，对摄像头拍摄的图像进行分析和处理，从而识别出手指。整个识别过程完全基于图像的处理和分析，不需要用户佩戴手持的用于手指定位识别的附加设备，解决了因配备附加设备带来的诸多不便等问题，提高了交互式演示系统的交互性与人性化。

Description

用于交互式演示系统中的手指识别方法

技术领域

本发明涉及一种用于交互式演示系统中的手指识别方法，用于基于摄像-投影的交互式演示系统中通过手指的识别确定用户的操作行为。本发明属于计算机视觉技术领域。

背景技术

交互式演示系统在日常的工作、生活和社会活动中应用越来越广泛，尤其在教学和商务演示等信息传递方面，极大的提高了用户之间的交互性和信息的传递效率。交互式演示系统是以电子白板或普通的白板(白墙)作为信息的呈现媒介，用户可以直接通过手或其它一些辅助工具在白板上进行自由板书、画图或控制电脑程序等操作。

目前交互式演示系统的主流显示是通过投影设备将互动信息投影在呈现媒介上，而在用户与系统进行人机交互上关键的技术是如何识别用户的操作，简而言之，就是如何识别用户在投影界面上的手的动作，从而区分用户的操作。根据系统采用识别用户手指操作的技术的不同，交互式演示系统主要分为基于触摸屏技术的交互演示系统和基于对摄像图片进行图像处理从而确定用户操作的交互演示系统两种。

基于触摸屏技术的交互式演示系统虽然技术比较成熟，但是整个系统的成本比较高，带有触摸处理技术的电子白板作为交互式系统的组成部分使得系统的移动和便携性不足。

基于对摄像图片进行图象处理从而确定用户操作的交互式演示系统(以下简称：基于摄像-投影的交互式演示系统)，由于只需要普通白板或者白色墙壁即可，摄像头的成本也比较低，所以这种交互式演示系统的成本相对低廉，并且可移动性较强。

在基于摄像-投影的交互式演示系统中，识别摄像头拍摄的图像中的用户的手势或手指是其中的关键部分。在现有的用于基于摄像-投影的交互式演示系统中，识别用户手指的技术主要以给用户增加附着物为主，例如用户手持红外激光发射器，通过识别发射器上发射激光的光源确定用户手的位置；用户使用尾部带有无线通讯模块或者红外发射器的笔进行书写；使用带有红外发射装置或定位装置的指套，用户只需将它带在手指上，就可以在演示系统的显示界面上自如操作。以上这些技术能够较为快速准确的识别用户手指的位置和操作，然而它们有一个共同的缺点，就是用户的手需要使用附加设备。如果附加设备笨重或过大，自然使用不便；如果附加设备小巧，又容易遗落丢失等；同时附加设备都存在耗能，维护维修的问题，一旦出现电量不足或损坏等问题，可能将导致整个系统无法使用。

现有的通过手臂影子覆盖区域确定用户操作的交互式演示系统中，用户无需携带附加设备，然而用户不能时刻站在投影区域内，并且这种交互式演示系统中，用户只能对设定好的功能按键进行操作，无法进行自由的书写或绘画等操作，交互信息的方式受到一定限制。

现有的交互式演示系统中，还有一种技术是通过判断用户手指和用户手指影子的重合区域的方式来识别用户手指位置的。然而这种技术的缺点是用户手指必须与白板或白墙相接触才能确定操作，并且使用这种技术至少需要在白板或白墙附近放置三个摄像头，摄像头的位置固定和成本过高是其缺陷。

因此在基于摄像-投影的交互式演示系统中，需要发明更加简洁的识别用户手指位置的方法，在高效准确的识别用户的操作的基础上，降低对于附着物和摄像头数量的依赖，使用户与系统的交互更加简单，更加人性化。

发明内容

本发明的目的在于针对现有技术的不足，根据交互式演示系统中用户手指的空间位置特点，提供一种用于基于摄像-投影的交互式演示系统中进行手指识别的方法，减少系统对附加设备或摄像头数量的依赖，使用户和系统之间的交互更加便捷。

为了实现这一目的，本发明以图像处理技术为基础，根据用户绘画操作时的手指姿势特点，以其几何空间位置信息为主要识别信息，对摄像头拍摄的图像进行分析和处理，从而识别出手指。采用此方法，整个交互式系统仅需配备一个普通摄像头，在手指识别过程中，用户不需要携带任何附加设备。

本发明的手指识别方法具体步骤如下：

1、对原始图像进行模糊处理，消除噪点

首先，采用图像处理中的模糊处理技术，对原始图像进行噪点消除处理，消除因摄像头原因产生的噪点。

2、对图像进行二值化处理，区分前景区域和背景区域

对除噪后的图像进行二值化处理，再进行取反操作，得到的图像中白色区域为交互区域内的前景区域，即人和人的影子，其中包括手臂、手和手指的信息，同时也存在其它白色干扰像素区；其余黑色区域为背景区域。

3、对图像进行缩减操作，消除干扰像素区域

对图像的前景区域进行缩减操作，使前景区域中存在的干扰像素区被缩减清除。在缩减操作过程中，由于手和手指信息区域也比较小，在缩减处理中可能被缩减掉，而手臂信息区域相对比较大不会被缩减掉。

4、几何位置分析确定手指的指尖候选点

将缩减后图像最右边白色像素点的坐标值记为V(V.x，V.y)；在包括手和手指信息的缩减前图像中确定一个白色像素点T，其坐标(T.x，T.y)满足T.x＞V.x-σ且T.y＝max{P.y|(P.x，P.y)是白色像素点且P.x＞V.x-σ}；其中σ取值范围为[20，40]，单位为1个像素点；将确定的点T视为手指的指尖候选点。

5、确定手指的指尖候选点是否是真的指尖

根据手指的指尖候选点T，绘制一个矩形，使得矩形的上边中点为点T，并且矩形高度为a、宽度为b；其中a∈[10，18]，b∈[16，24]，单位为1个像素点；对矩形内的像素，从左至右逐一遍历每一列像素点；对于横坐标值处于[T.x-1，T.x+1]范围内的像素点，如果在该范围内的每一列像素点中白色像素点的比例超过50％，而在该范围外的每一列像素点中白色像素点的比例低于50％，则点T被确定为是真实的手指指尖；如果在遍历过程中某一列不满足上述要求，则点T不是真实的手指指尖而是其它的干扰点；由此完成手指的识别。

本发明的手指识别方法具有显著的优点，不仅在基于摄像-投影的交互式演示系统中只需要使用一个普通摄像头捕捉交互区域图像，而且完全基于图像处理的技术完成手指识别，不需要用户携带用于手指定位相关的附加设备，能有效、准确的完成在交互式演示系统中手指的识别，满足在交互式演示系统中的需要。

本发明在高效准确的识别用户的操作的基础上，降低对于附着物和摄像头数量的依赖，使用户与系统的交互更加简单，更加人性化。

附图说明

图1为经除噪、二值化及取反处理后的图像。

图2为经缩减处理后的图像。

图3为最右白色像素点位置的确定示意图。

图4为根据最右白色像素点向左估计手所在区域的示意图。

图5为确定指尖候选点是真实指尖点的典型示例。

图6为确定指尖候选点不是真实指尖点的一个典型示例。

图7为确定指尖候选点不是真实指尖点的另一个典型示例。

具体实施方式

为了更好的理解本发明的技术方案，以下通过具体的实施例作进一步描述。以下实施例不构成对本发明的限定。

在基于摄像-投影的交互式演示系统中，识别用户绘画等操作时的手指位置和行为是非常关键的，本发明实现了不需要附加设备，单纯基于图象处理的识别用户手指的方法。

1.对原始图像进行模糊处理，消除噪点

在基于摄像-投影的交互式系统中，摄像头拍摄的交互区域图片，往往因为摄像头参数等原因，使得摄像头拍摄的图片(以下简称原始图片)失真，即在色度等方面与真实的环境不同，此时会产生噪点；此外，由于具体的环境，如交互区域的背景等，会出现影响图片分析处理的局部像素区域。在进行图像处理时，过滤掉这些噪点等干扰像素或使之不产生对分析结果的影响是非常必要的。

因此，首先采用图像处理中常用的模糊处理技术(如高斯模糊)，对原始图像(称为图像A)中的噪点进行消除，得到图像称为图像B。本次模糊处理可以有效消除多数因摄像头原因产生的噪点；对于由于交互区域背景影响而产生的干扰像素区域，由于其连续性强，很难在此次处理中被消除，在步骤3中将对它们做进一步消除处理。

2.对图像进行二值化处理，区分前景区域和背景区域

摄像头拍摄的图像大多是彩色图像或灰度图像，在进行图像处理时往往是通过二值化的图像处理技术将图像的色彩信息进行简化，从而在一定程度上减少图像处理的复杂度。对图像进行二值化处理是图像处理中经常使用的图像处理技术，它是根据给定的灰度值作为二值化的门阀值，将图像中的所有像素点变成只有黑白两种颜色(像素点原灰度值大于阀值的变为黑色，否则变为白色)。

在本发明中，将摄像头拍摄的图片中人及影子称为前景区域，其余称为背景区域。为了区分前景区域和背景区域，从而进一步进行图像处理和分析，对步骤1除噪后的图像B进行二值化处理，得到的图像称为图像C。再将图像C进行取反操作，得到图像称为图像D(见附图1)。取反操作即将图像C中的白色点变为黑色点，黑色点变为白色点，这是因为二值化后的图像C中前景区域为黑色，而在后面的步骤中将前景区域置为白色更有利于分析和处理。

在图像D中，白色区域为交互区域内的前景区域，即人和人的影子，其中包括手臂、手和手指的信息，同时也可能会存在其它白色干扰像素区域，其余黑色区域为背景区域。

3.对图像进行缩减操作(ERODE)，消除干扰像素区域

在步骤2之后，图像D中除需要的前景图像为白色区域外，还会存在某些在步骤1中提到的局部干扰像素区域构成的白色区域，这些干扰像素区域将会干扰图像的分析处理和手指的定位，因此要对其进行消除。

由于这些干扰像素区域是较小的白色连续区域，而前景中人的手臂等部位将是较大的白色连续区域，因此采用图像处理中的缩减操作(ERODE)，即对图像D中的白色区域(前景区域)进行缩减处理，得到图像称为图像E，见附图2。

这样在图像E中，白色干扰像素区域由于比较小，将被缩减清除。由于手和手指信息区域也比较小，在缩减处理后的图像E中也可能被缩减掉了，但是手臂不会被缩减掉，并且由于依然保存具有手和手指信息的图像D，因此这不会影响手指的识别。

4.几何位置分析确定手指的指尖候选点

在步骤3中得到的图像E中，首先要确定最右边的白色像素点的坐标，因为步骤3中得到的图像中白色像素区域主要是人身体的影像，对于右手的绘画等操作，最右边的白色像素点是手的位置。在干扰像素彻底被消除的情况下，该点肯定落在图像D中手的位置，记这一点坐标值为V(V.x，V.y)，见附图3。

然后在图像D中确定一个白色像素点T，记坐标为(T.x，T.y)，使其满足T.x＞V.x-σ，且T.y＝max{P.y|(P.x，P.y)是白色像素点且P.x＞V.x-σ}，即T.y是在所有满足横坐标大于(V.x-σ)的白色像素点中的纵坐标的最大值，见附图4。这样T即是满足横坐标大于(V.x-σ)的白色像素点中最上方的一个点，其中σ为可配置的参数，取值范围为[20，40]，其值代表以1个像素点为单位的距离值，即单位为1个像素点。多次实验表明σ取值30是一个比较适合的数值，该参数的设置目的是从最右白色像素点V向左估计手所落在的区域范围。

通过以上几何位置的分析得到的点T被视为手指的指尖候选点，接下去的步骤5将确定该候选点是否为真实的手指指尖点。

5.分析确定指尖候选点是否是真的指尖

根据步骤4中得到的指尖候选点T，绘制一个矩形，使得矩形的上边中点为点T，并且矩形高度为a、宽度为b。a和b为可配置的参数，多次实验表明，a和b的取值范围为：a∈[10，18]，b∈[16，24]，单位为1个像素点；其中，a＝14，b＝20为一个比较适合的取值。

对矩形内的像素，从左至右逐一遍历每一列像素点。根据绘画等操作时手指基本处于垂直向上的姿势特点，在遍历横坐标值处于[T.x-1，T.x+1]范围内的像素点时，大部分的像素点应为白色，如果在该范围内的每一列像素点中白色像素点的比例有超过p，而在该范围外的每一列像素点中白色像素点的比例低于q，则点T被确定为是真实的手指指尖。其中p、q均为可配置的参数，多次实验表明p＝50％、q＝50％为一个比较适合的取值。如果在遍历过程中某一列不满足上述要求，则点T不是真实的手指指尖而是其它的干扰点。由此完成手指的识别。

图5、图6和图7分别给出了确定指尖候选点是真实指尖点或不是真实指尖点的典型示例。其中图5是指尖候选点是真实指尖点的情况，图6和图7是指尖候选点不是真实指尖点的两种典型情况。

在识别出用户的手指和指尖后，一方面定位了用户的手指位置，一方面也可以根据此区分握拳等状态从而确定用户的操作等行为。

值得一提的是：在步骤4和步骤5确定点V和点T的过程中，是针对白色像素点进行的，不需要遍历图像上所有的像素点，因为点V和点T显然是落在某白色区域轮廓上的点，所以仅仅需要遍历所有白色区域的轮廓上的像素点即可，这样会提高识别手指的效率，也有利于整个交互式演示系统的实时性。

在采用本发明的方法识别手指时，需要注意的是：手臂向外必须与身体有一定的距离，以防图像中手指与身体相连，同时避免手指被身体挡住导致摄像头无法拍到手指。同时，本发明基于用户绘画书写时手指几乎垂直向上的特点进行分析，如果手指过于偏斜等情况则将可能无法识别。

实验表明，本发明的方法能够完成用户无需佩戴附加手指定位设备时自由书写、绘画或按钮控制等绝大多数操作情况下的手指识别，其效率和准确性方面能够满足在交互式演示系统中的需要。

Claims (1)

1.一种用于交互式演示系统中的手指识别方法，其特征在于包括如下步骤：

1)采用图像处理中的模糊处理技术，对原始图像进行噪点消除处理，消除因摄像头原因产生的噪点；

2)对除噪后的图像进行二值化处理，再进行取反操作，得到的图像中白色区域为交互区域内的前景区域，即人和人的影子，其中包括手臂、手和手指的信息，同时也存在白色干扰像素区；其余黑色区域为背景区域；

3)对图像的前景区域进行缩减操作，使前景区域中存在的白色干扰像素区被缩减清除；在缩减操作过程中，手和手指信息区域因比较小可能会被缩减掉，而手臂信息区域因比较大不会被缩减掉；

4)将缩减后图像最右边白色像素点的坐标值记为V(V.x，V.y)；在包括手和手指信息的缩减前图像中确定一个白色像素点T，其坐标(T.x，T.y)满足T.x＞V.x-σ且T.y＝max{P.y|(P.x，P.y)是白色像素点且P.x＞V.x-σ}；其中σ取值范围为[20，40]，单位为1个像素点；将确定的点T视为手指的指尖候选点；

5)根据手指的指尖候选点T，绘制一个矩形，使得矩形的上边中点为点T，并且矩形高度为a、宽度为b；其中a∈[10，18]，b∈[16，24]，单位为1个像素点；对矩形内的像素，从左至右逐一遍历每一列像素点；对于横坐标值处于[T.x-1，T.x+1]范围内的像素点，如果在该范围内的每一列像素点中白色像素点的比例超过50％，而在该范围外的每一列像素点中白色像素点的比例低于50％，则点T被确定为是真实的手指指尖；如果在遍历过程中某一列不满足上述要求，则点T不是真实的手指指尖而是其它的干扰点；由此完成手指的识别。

Images