CN102520794A - 手势辨识系统及方法 - Google Patents

Abstract

本发明提供一种手势辨识系统及方法，其利用使用者手掌张开及内缩的手势来仿真鼠标的按压操作及松开操作，在进行仿真鼠标按键点击时，尤其是双击，手部坐标较不会发生偏移。本发明可解决公知在仿真鼠标按键点击的动作时导致的手部坐标偏移的问题。

Description

手势辨识系统及方法

技术领域

本发明是关于一种手势辨识系统及方法，特别有关一种利用使用者手掌的动作来模拟点击操作的手势辨识系统及方法。

背景技术

图1显示公知的手势辨识系统的硬件配置示意图。如图1所示，动作感应器（如微软公司推出的人机互动接口游戏机“Kinect”）可透过驱动程序连结至安装在主机14的操作系统（如Windows），主机14与显示器16耦接，使用者可在动作感应器12前作出手势，经过辨识后仿真成鼠标的操作，进而透过显示器16操作该操作系统。

针对Kinect机台，微软公司制定了一套开放式自然操作（open natural interaction, OpenNI）架构，其定义撰写自然操作程序所需的应用程序接口（application programming interface, API），提供多语言、跨平台的标准接口，让程序开发者要使用视觉、声音相关的感应器及透过中介软件（middleware）进行数据分析时，能够更为方便。

透过Kinect机台作手势辨识时，可利用“NITE”这个中介软件做手部追踪，而得到手部坐标，将操作系统中鼠标光标的位置与该手部坐标连结，即可将使用者手部移动仿真成鼠标使用。利用OpenNI架构提供的动作指令集，亦可将使用者手势仿真成鼠标的点击（click）动作。

然而，公知的作法是利用使用者手部向前推及往后缩的手势来仿真鼠标的按压操作及松开操作，如此在仿真鼠标按键双击（double click）时，容易导致手部坐标偏移的问题，因为使用者手掌必须快速前移并收回两次，而手肘的移动必定会改变手部坐标，故此方式对使用者来说相当不便，而且点击的精确度也不佳。

 有鉴于此，有必要开发一种手势辨识系统及方法，来改善公知技术中仿真鼠标点击操作时，点击精确度不佳的问题。

发明内容

本发明的目的在于提供一种手势辨识系统及方法，以在仿真鼠标按键点击的动作时导致的手部坐标偏移的问题。

为达前述目的，本发明提供一种手势辨识方法，用以辨识使用者在电子装置前做出的手势，以仿真鼠标的操作，该方法包含步骤：撷取含有该使用者的影像；决定该使用者的手部坐标；对该影像进行处理以取得该使用者的手掌影像；计算该手掌影像中与该手部坐标距离最远的点的点坐标，该点属于手的一部份；以及根据该点坐标与该手部坐标两者的距离，仿真该鼠标的点击动作。

本发明的另一方面提供一种手势辨识方法，用以辨识使用者在电子装置前做出的手势，以仿真鼠标的操作，该方法包含步骤：撷取含有该使用者的影像；决定该使用者的手部坐标；对该影像进行处理以取得该使用者的手掌影像；找出该手掌影像中包含手掌物体的最小圆，并取得描述该最小圆的一参数；以及根据描述该最小圆的参数，仿真该鼠标的点击动作。

本发明的再一方面提供一种手势辨识系统，其与一电子装置耦接，用以辨识使用者在该电子装置前做出的手势以仿真鼠标的操作，该系统包含：一影像撷取模组，撷取含有该使用者的影像；一手部坐标追踪模组，根据该使用者挥动或推伸手部时的影像变化计算手部坐标；一手掌影像处理模组，接收该影像撷取模组所撷取的影像，对该影像进行处理以取得该使用者的手掌影像；一手掌特征撷取模组，接收来自该手掌影像处理模组的手掌影像，从该手掌影像中取得用以描述与手掌物体的轮廓有关的参数值，以及一手势辨识模组，根据该参数值的变化，仿真该鼠标的点击动作。

公知技术中，利用使用者手部向前推及往后缩的手势来仿真鼠标的按压操作及松开操作，容易导致手部坐标偏移的问题。本发明是利用使用者手掌张开及内缩的手势来仿真鼠标的按压操作及松开操作，在进行仿真鼠标按键点击时，尤其是双击，手部坐标较不会发生偏移，故本发明可解决公知技术在仿真鼠标按键点击的动作时导致的手部坐标偏移的问题。

附图说明

图1显示公知的手势辨识系统的硬件配置示意图。

图2显示根据本发明实施的手势辨识系统的方块示意图。

图3显示根据本发明第一实施例实现的手势辨识方法的流程示意图。

图4A显示使用者手掌张开的示意图。

图4B显示使用者手掌内缩的示意图。

图5显示与本发明第一实施例相应的具体操作的流程示意图。

图6显示根据本发明第二实施例实现的手势辨识方法的流程示意图。

图7A显示使用者手掌张开的示意图。

图7B显示使用者手掌内缩的示意图。

图8显示与本发明第二实施例相应的具体操作的流程示意图。

具体实施方式

本发明是关于一种手势辨识系统及方法，其在获取使用者的手掌影像后，藉由判断手掌的动作来仿真鼠标的操作。举例来说，使用者手掌内缩的动作可仿真为按压鼠标按键的操作，而使用者手掌张开可仿真为鼠标按键松开的操作，当使用者手掌依序张开及内缩即可代表完成鼠标的一个点击动作。

图2显示根据本发明实施的手势辨识系统的方块示意图。本发明的手势辨识系统200包含一影像撷取模组210、一手部坐标追踪模组220、一手掌影像处理模组230、一手掌特征撷取模组240及一手势辨识模组250。手势辨识系统200可耦接至一电子装置，如显示器，手势辨识系统200本身可利用软件、韧体、硬件或其组合来实现。举例来说，手势辨识系统200安装于一计算机系统，该计算机系统与显示器耦接，使用者在该显示器前做出的手势能够透过手势辨识系统200来作辨识，以模拟一点击操作，进而操作该计算机系统。

图3显示根据本发明第一实施例实现的手势辨识方法的流程示意图。请同时参阅图2及图3，下文将对本发明的手势辨识系统及方法作进一步的说明。

步骤S10：撷取含有使用者的影像。当启动手势辨识系统200并致动影像撷取模组210，影像撷取模组210会开始进行3D摄像的动作，同时对使用者及其所在背景进行取像，拍摄含有深度图的影像。

步骤S12：决定该使用者的手部坐标。手部坐标追踪模组220会持续追踪移动中的物体，并定出该移动物体的坐标。当使用者挥动或推伸手部时，手部坐标追踪模组220可根据步骤S10中影像撷取模组210所撷取的影像的影像变化或前一张影像与后一张影像的差异，计算得到使用者的手部坐标。举例来说，手部坐标与计算机系统中鼠标光标的位置相对应，因此光标的移动可利用使用者手部的位置变化来进行仿真。

步骤S14：手掌影像处理模组230接收步骤S10中影像撷取模组210所撷取的影像，并对影像撷取模组210所撷取的影像进行处理以取得使用者的手掌影像。由于影像撷取模组210所撷取的影像中含有除手掌外使用者身体的其它部份以及背景的部份，这些部份会对后续的辨识造成干扰，因此在此步骤中会予以滤除，只留下使用者的手掌影像。首先，使用者被要求站在距离影像撷取模组210约1.5公尺的地方并将手部往前伸出，影像撷取模组210进行3D摄像，而手掌影像处理模组230会将影像撷取模组210所撷取的影像的深度图中大于一预定距离（如1.2公尺）的部份予以滤除，如此可将背景、使用者身体及一部份手肘的影像去除。由于经上述处理后，仍可能尚存一部份的手肘影像，此可再进行后续的影像处理而予以去除。以步骤S12中手部坐标追踪模组220取得的手部坐标为中心，手掌影像处理模组230再从上述经过滤的影像中扩展至一预定区域（如140×140大小的像素区域），而该预定区域以外的像素点填入固定的颜色值（如黑色），藉此可取得清晰的手掌影像。需注意的是，上述过滤影像及扩展至预定区域的操作可在不改变影像撷取模组210所撷取的影像的大小或该影像的位置的情况下进行。

步骤S16：手掌特征撷取模组240接收步骤S14中手掌影像处理模组230处理得到的手掌影像，并从该手掌影像中取得用以描述与手掌物体的轮廓有关的参数值。如前所述，本发明是透过使用者手掌内缩及张开的动作来仿真鼠标的操作，在此可藉由解析手掌影像中手掌物体的轮廓变化得知使用者手掌是内缩或张开。若使用者手掌内缩，手掌影像中的手掌物体的范围相对较小；而若使用者手掌张开，手掌影像中的手掌物体的范围相对较大。手掌影像中的手掌物体的范围可透过与描述手掌物体的轮廓相关的参数来定量估算。在本实施例中，手掌特征撷取模组240计算手掌影像中与手部坐标距离最远的点的点坐标，作为代表手掌物体的轮廓的点。需注意的是，该点是属于手的一部份。该点坐标与手部坐标两者的距离可代表手掌物体的轮廓的大小（容后详述）。 于一实施方式中，手掌特征撷取模组240可先将该手掌影像中所有的像素的颜色值与一阀值进行比较，藉此确定属于手掌物体的像素，接着计算这些像素的坐标与手部坐标的距离，透过迭代的方式，仅保留与手部坐标距离相对较远的像素。于另一实施方式中，手掌特征撷取模组240也可先取出位在手掌物体的轮廓的像素，仅针对这些位在手掌物体轮廓的像素进行与手部坐标距离的计算。

步骤S18：手势辨识模组250计算步骤S16中手掌特征撷取模组240取得的该点坐标与手部坐标两者的距离，又或者手势辨识模组250也可以直接接收由手掌特征撷取模组240计算得到的该点坐标与手部坐标的距离。并且，手势辨识模组250将该点坐标与手部坐标的距离与一阀值进行比较，当该点坐标与手部坐标的距离大于该阀值时，表示使用者的手掌张开，此可代表鼠标的松开操作，而当该点坐标与手部坐标的距离小于该阀值时，表示使用者的手掌内缩，此可代表鼠标的按压操作。于另一实施方式中，手势辨识模组250亦可藉由侦测该点坐标与手部坐标的距离的变化量来仿真鼠标的操作，例如，当该点坐标与手部坐标的距离的变化量大于一正阀值时，表示使用者的手掌由内缩状态转为张开状态，此可代表鼠标的松开操作，而当该点坐标与手部坐标的距离的变化量小于一负阀值时，表示使用者的手掌由张开状态转为内缩状态，此可代表鼠标的松开操作。当使用者的手掌从张开状态转为内缩、再张开即可代表完成鼠标的一个点击动作。如图4A及图4B所示，在使用者手掌张开及内缩时，与手部坐标H0距离最远的一点的点坐标分别以P1、P2表示，手掌张开时点坐标P1与手部坐标H0的距离会大于手掌内缩时点坐标P2与手部坐标H0的距离，此即可用来代表使用者手掌的轮廓变化。

图5显示与本发明第一实施例相应的具体操作的流程示意图。本发明的手势辨识系统200中的诸多模组可以软件实现，安装于计算机系统中，该计算机系统的主机与显示器及动作感应器（如微软公司推出的人机互动接口游戏机“Kinect”）耦接，使用者在该动作感应器前作出手势，手势辨识系统200可辨识手势并将其仿真成鼠标的操作，进而透过该显示器操作计算机系统。首先，将微软公司提供的Kinect驱动程序安装在主机中，在施作上主要分成四个部份：微软公司公开定义的开放式自然操作（open natural interaction, OpenNI）架构、中介软件（middleware）、函式库及自行开发的应用程序。利用OpenNI中提供的程序可取得Kinect摄影镜头拍摄的影像及其深度图（步骤S102），NITE这套OpenNI的中介软件可以追踪使用者的手部，使得OpenNI可以产生手部坐标（步骤S104），OpenNI并提供对NITE运行的任务管理以追踪手部的动作（步骤S106）。当使用者挥动或推伸手部时，NITE会控制摄影镜头对移动的手部进行对焦（步骤S111），并开始追踪的任务。一旦开始追踪使用者手部时（步骤S112），随即产生手部坐标（包含Z方向），并将该手部坐标对应到鼠标光标的坐标。如果使用者手部超出侦测范围（步骤S114），追踪的任务随即结束或暂停。当使用再次举起手部且在侦测范围内时，NITE会控制摄影镜头快速对焦（步骤S113），并继续追踪任务。

主机上自行开发的应用程序可利用函式库提供的函式对摄影镜头拍摄的影像进行影像处理，来取得手掌影像（步骤S122），例如，将所拍摄的影像的深度图中大于一预定距离的部份予以滤除，并接着以手部坐标为中心扩展至一预定区域，以取得清楚的手掌影像。步骤S124中，可利用函式库提供的函式或自行开发的函式计算得到手掌物体中距离手部坐标最远的一点的点坐标，作为代表手掌物体的轮廓的点。接着，可利用函式库提供的函式或直接计算该点坐标与手部坐标两者的距离（步骤S126），以代表手掌物体的轮廓的大小。主机上自行开发的应用程序即可根据该点坐标与手部坐标的距离或距离变化量（步骤S132），来判断使用者手掌内缩或张开，藉此可以仿真鼠标的点击操作。

图6显示根据本发明第二实施例实现的手势辨识方法的流程示意图。请同时参阅图2及图6，本发明的手势辨识方法的第二实施例中步骤S20、步骤S22及步骤S24分别类似于第一实施例中的步骤S10、步骤S12及步骤S14，为简洁起见，在此不再赘述。本发明的手势辨识方法的第二实施例中步骤S26及步骤S28说明如下。

步骤S26：手掌特征撷取模组240接收步骤S24中手掌影像处理模组230处理得到的手掌影像，并从该手掌影像中取得用以描述与手掌物体的轮廓有关的参数值。如前所述，本发明是透过使用者手掌内缩及张开的动作来仿真鼠标的操作，在此可藉由解析手掌影像中手掌物体的轮廓变化得知使用者手掌是内缩或张开。若使用者手掌内缩，手掌影像中的手掌物体的范围相对较小；而若使用者手掌张开，手掌影像中的手掌物体的范围相对较大。手掌影像中的手掌物体的范围可透过与描述手掌物体的轮廓相关的参数来定量估算。在本实施例中，手掌特征撷取模组240先经运算取出手掌影像中属于手掌物体的轮廓的点，再运算得到包含这些轮廓点的最小圆及此最小圆的半径，该最小圆的半径即可代表手掌物体的轮廓的大小。于一实施方式中，手掌特征撷取模组240也可仅取出手掌影像中属于手掌物体的轮廓的几个点，而不须得到全部的轮廓点，如此可降低运算量。

步骤S28：手势辨识模组250接收手掌特征撷取模组240传来的该最小圆的半径，并计算该最小圆的半径的变化量，又或者手势辨识模组250也可以直接接收由步骤S26中手掌特征撷取模组240计算得到的该最小圆的半径的变化量。并且，手势辨识模组250将该最小圆的半径的变化量与一正阀值或一负阀值进行比较，该正阀值及该负阀值的绝对值可为相同。当该最小圆的半径变化量大于该正阀值时，表示使用者的手掌由内缩状态转为张开状态，此可代表鼠标的松开操作，而当该最小圆的半径变化量小于该负阀值时，表示使用者的手掌由张开状态转为内缩状态，此可代表鼠标的按压操作。于另一实施方式中，手势辨识模组250亦可藉由将该最小圆的半径与一阀值进行比较来仿真鼠标的操作，例如，当该最小圆的半径大于该阀值时，表示使用者的手掌张开，此可代表鼠标的松开操作，而当该最小圆的半径小于该阀值时，表示使用者的手掌内缩，此可代表鼠标的按压操作。当使用者的手掌从张开状态转为内缩、再张开即可代表完成鼠标的一个点击动作。如图7A及图7B所示，在使用者手掌张开及内缩时，手掌影像中包含手掌物体的最小圆的半径分别以R1、R2表示，手掌张开时该最小圆的半径R1会大于手掌内缩时该最小圆的半径R2，此即可用来代表使用者手掌的轮廓变化。

图8显示与本发明第二实施例相应的具体操作的流程示意图。图8中硬件架构及部份的操作流程与第7图相同，惟不同的是，在步骤S224及步骤S226中利用不同的方式来描述手掌影像中手掌物体的轮廓，在步骤S232中辨识手势所用的参数不同。由于图8中步骤S202、步骤S204、步骤S206、步骤S211、步骤S212、步骤S213、步骤S214及步骤S222与第7图中的步骤S102、步骤S104、步骤S106、步骤S111、步骤S112、步骤S113、步骤S114及步骤S122类似，为简洁起见，在此不再赘述。以下对图8中的步骤S224、步骤S226及步骤S232进行说明。

在步骤S224中，可利用计算器视觉函式库（Open Source Computer Vision Library, OpenCV）提供的cvFindContours()函式找出手掌影像中属于手掌物体的轮廓的点。接着，在步骤S226中，将步骤S224找出的轮廓点作为OpenCV提供的minEnclsingcircle()函式的输入参数，利用minEnclsingcircle()函式来计算得到包含手掌物体的轮廓点的最小圆及此最小圆的半径，以代表手掌物体的轮廓的大小。主机上自行开发的应用程序即可根据该最小圆的半径或半径变化量（步骤S232），来判断使用者手掌内缩或张开，藉此可以仿真鼠标的点击操作。

公知技术中，利用使用者手部向前推及往后缩的手势来仿真鼠标的按压操作及松开操作，如此在仿真鼠标按键双击时，容易导致手部坐标偏移的问题，因为使用者手掌必须快速前移并收回两次，而手肘的移动必定会改变手部坐标，故此方式对使用者来说相当不便，而且点击的精确度也不佳。本发明是利用使用者手掌张开及内缩的手势来仿真鼠标的按压操作及松开操作，因为手掌快速张合的动作比手部快速前推后移的动作简单许多，故本发明相对较为方便，在进行仿真鼠标按键点击时，尤其是双击，手部坐标也较不会发生偏移，故本发明可解决公知技术在仿真鼠标按键点击的动作时导致的手部坐标偏移的问题。

另一方面，利用动作感应器（如Kinect机台）及其应用程序接口，可以实现3D触碰系统。由于Kinect机台产生的深度图可以得出手部的距离信息，故可在3D触碰系统上开发可以显示在3D显示器的3D应用程序。再者，在操作系统上也可以实现多点触碰，因为中介软件“NITE”提供复数个手部的追踪。因此，本发明的手势辨识系统及方法可与3D显示器配合应用在上述的3D触碰系统上。

综上所述，虽然本发明已用较佳实施例公开如上，然其并非用以限定本发明，本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视前述的申请专利范围所界定者为准。

Claims (14)

1.一种手势辨识方法，其特征在于，用以辨识一使用者在一电子装置前做出的手势，以仿真一鼠标的操作，该方法包含步骤：

撷取含有该使用者的影像；

决定该使用者的一手部坐标；

对该使用者的影像进行处理以取得该使用者的一手掌影像；

计算该手掌影像中与该手部坐标距离最远的一点的一点坐标，该点属于一手掌的一部份；以及

根据该点坐标与该手部坐标两者的一距离，仿真该鼠标的点击动作。

2.如权利要求1所述的手势辨识方法，其特征在于，在决定该使用者的该手部坐标的步骤中，该手部坐标是根据该使用者挥动或推伸手部时的影像变化计算而得。

3.如权利要求1所述的手势辨识方法，其特征在于，在撷取含有该使用者的影像的步骤中，包含取得对应该使用者的影像的一深度图的步骤。

4.如权利要求3所述的手势辨识方法，其特征在于，在对该使用者的影像进行处理以取得该使用者的该手掌影像的步骤中，包含：

滤除该使用者的影像的该深度图中大于一预定距离的部份；以及

以该手部坐标为准，从一经过滤的影像中扩展至一预定区域的影像以作为该手掌影像。

5.如权利要求1所述的手势辨识方法，其特征在于，当该点坐标与该手部坐标两者的距离大于一阀值时，代表该鼠标的松开操作，而当该点坐标与该手部坐标两者的距离小于该阀值时，代表该鼠标的按压操作。

6.一种手势辨识方法，其特征在于，用以辨识一使用者在一电子装置前做出的手势，以仿真一鼠标的操作，该方法包含步骤：

撷取含有该使用者的影像；

决定该使用者的手部坐标；

对该使用者的影像进行处理以取得该使用者的一手掌影像；

找出该手掌影像中包含一手掌物体的一最小圆，并取得描述该最小圆的一参数；以及

根据描述该最小圆的该参数，仿真该鼠标的点击动作。

7.如权利要求6所述的手势辨识方法，其特征在于，在决定该使用者的该手部坐标的步骤中，该手部坐标是根据该使用者挥动或推伸手部时的影像变化计算而得。

8.如权利要求6所述的手势辨识方法，其特征在于，在撷取含有该使用者的影像的步骤中，包含取得对应该使用者的影像的一深度图的步骤。

9.如权利要求8所述的手势辨识方法，其特征在于，在对该使用者的影像进行处理以取得该使用者的该手掌影像的步骤中，包含：

滤除该使用者的影像的该深度图中大于一预定距离的部份；以及

以该手部坐标为准，从一经过滤的影像中扩展至一预定区域的影像以作为该手掌影像。

10.如权利要求6所述的手势辨识方法，其特征在于，描述该最小圆的该参数为一半径，当该最小圆的一半径变化量大于一正阀值时，代表该鼠标的松开操作，而当该最小圆的该半径变化量小于一负阀值时，代表该鼠标的按压操作。

11.一种手势辨识系统，其特征在于，其与一电子装置耦接，用以辨识一使用者在该电子装置前做出的手势以仿真一鼠标的操作，该系统包含：

一影像撷取模组，撷取含有该使用者的影像；

一手部坐标追踪模组，根据该使用者挥动或推伸手部时的影像变化计算一手部坐标；

一手掌影像处理模组，接收该影像撷取模组所撷取的该使用者的影像，对该使用者的影像进行处理以取得该使用者的一手掌影像；

一手掌特征撷取模组，接收来自该手掌影像处理模组的该手掌影像，从该手掌影像中取得用以描述与一手掌物体的轮廓有关的一参数值，以及

一手势辨识模组，根据该参数值的变化，仿真该鼠标的点击动作。

12.如权利要求11所述的手势辨识系统，其特征在于，该影像撷取模组更包括取得对应该使用者的影像的一深度图，而该手掌影像处理模组是透过滤除该使用者的影像的该深度图中大于一预定距离的部份，以及以该手部坐标为准，从一经过滤的影像中扩展至一预定区域的影像以取得该手掌影像。

13.如权利要求11所述的手势辨识系统，其特征在于，用以描述与该手掌物体的轮廓有关的该参数值为该手掌影像中与该手部坐标距离最远的一点的一点坐标，该点属于一手掌的一部份，且该手势辨识模组是藉由判断该点坐标与该手部坐标两者的一距离变化，来仿真该鼠标的点击动作。

14.如权利要求11所述的手势辨识系统，其特征在于，用以描述与该手掌物体的轮廓有关的该参数值为该手掌影像中包含该手掌物体的一最小圆的一半径，且该手势辨识模组是藉由判断该最小圆的一半径变化量，来仿真该鼠标的点击动作。

Images