CN103890782A - 用于手势识别的方法和设备 - Google Patents

Abstract

本文提供了用于使得能够使用示例红外（IR）使能的移动终端进行手部手势识别的方法、装置和计算机程序产品。一种示例方法可以包括使用自适应全方向边缘算子（AOEO）确定至少一个所捕捉的帧中的手部区域。该方法可以进一步包括使用递归二值化方案确定用于手部区域提取的阈值。该方法还可以包括使用针对至少一个所捕捉的帧中所提取手部区域所确定的阈值来确定手部位置。该方法还可以包括基于所确定的手部位置确定指尖位置。还提供了类似及相关的示例装置和示例计算机程序产品。

Description

用于手势识别的方法和设备

技术领域

本发明的实施例总体上涉及手势识别技术，尤其涉及一种用于使用诸如移动终端的移动视觉系统而有助于手势识别的方法、设备和计算机程序产品。

背景技术

随着移动终端的能力和处理功率的继续提高，移动终端越来越多地被用于之前为更大且较少移动的装备所保留的大量服务。一种这样的服务可以包括基于所捕捉的图像和/或视频的手势识别。然而，由于移动终端中相机的复杂的成像条件以及高度集成，在及时处理数据并最终进行手指分割和追踪方面存在着挑战。例如，指尖很小并且通常处于具有低图像对比度的阴影目标区域之中，并且还可能存在过度图像噪声。另外，移动终端的形状因子可能无法被配置以高功率的红外发光二极管和高功率相机。

发明内容

本文提供了用于使能使用示例的支持红外（IR）的移动终端进行手部手势识别的方法、设备和计算机程序产品。如这里所描述的这样的方法、设备和计算机程序产品进一步被配置为确定手部区域和指尖位置以使得能够与投影图像进行基于手势的交互。在一些实施例中，周边确定可以基于各种成像条件而被自动确定。

一种示例方法可以包括使用自适应全向方边缘算子（AOEO）确定至少一个所捕捉帧中的手部区域。该方法可以进一步包括使用递归二值化方案确定用于手部区域提取的阈值。该方法还可以包括使用至少一个所捕捉帧中的所提取手部区域的所确定阈值来确定手部位置。该方法还可以包括基于所确定的手部位置确定指尖位置。

一种示例设备可以包括至少一个处理器和至少一个存储计算机程序代码的存储器，其中该至少一个存储器和所存储的计算机程序代码被配置为利用该至少一个处理器而使得该设备至少使用AOEO确定至少一个所捕捉帧中的手部区域。该至少一个存储器和所存储的计算机程序代码进一步被配置为利用该至少一个处理器而使得该设备使用递归二值化方案确定用于手部区域提取的阈值。该至少一个存储器和所存储的计算机程序代码进一步被配置为利用该至少一个处理器而使得该设备使用针对至少一个所捕捉帧中的所提取手部区域所确定的阈值来确定手部位置。该至少一个存储器和所存储的计算机程序代码进一步被配置为利用该至少一个处理器而使得该设备基于所确定的手部位置确定指尖位置。

在另外的实施例中，提供了一种计算机程序产品，其包括具有存储于其中的计算机可读程序指令的至少一个非瞬时计算机可读存储介质，该计算机可读程序指令包括被配置为使用AOEO确定至少一个所捕捉帧中的手部区域的程序指令。该计算机可读程序指令还包括被配置为使用递归二值化方案确定用于手部区域提取的阈值的程序指令。该计算机可读程序指令还包括被配置为使用针对至少一个所捕捉帧中的所提取手部区域所确定的阈值来确定手部位置的程序指令。该计算机可读程序指令还包括被配置为基于所确定的手部位置确定指尖位置的程序指令。

一种示例设备可以包括用于使用AOEO确定至少一个所捕捉帧中的手部区域的装置。该设备可以进一步包括用于使用递归二值化方案确定用于手部区域提取的阈值的装置。该设备可以进一步包括用于使用针对至少一个所捕捉帧中的所提取手部区域所确定的阈值来确定手部位置的装置。该设备可以进一步包括用于基于所确定的手部位置确定指尖位置的装置。

附图说明

已经总体上对本发明的实施例进行了描述，现在将参考附图，附图并不必依比例绘制，其中：

图1图示了根据本发明的示例实施例的示例手势识别设备的示例框图；

图2是根据本发明示例实施例的示例移动终端的示例示意性框图；

图3图示了根据本发明示例实施例的用于执行示例手势识别的系统；

图4图示了根据本发明示例实施例的用于手势识别的示例方法的流程图；

图5a-5e、6a-6b、7图示了根据本发明示例实施例的示例手势识别系统的示例实施例；以及

图8图示了根据本发明示例实施例的示例方法手势识别系统的流程图。

具体实施方式

现在将参考附图对本发明的一些实施例进行更为全面地描述，附图中示出了本发明的一些而非全部实施例。实际上，本发明的各个实施例可以以许多不同方式来实现，并不应当被理解为局限于这里所阐述的实施例；而是提供这些实施例使得本公开将满足适用的法律要求。相同的附图标记通篇指代相同元件。如这里所使用的，术语“数据”、“内容”、“信息”以及类似术语可以互换使用以指代能够依据本发明的一些实施例而被传送、接收、操作和/或存储的数据。此外，如本文所使用的术语“示例性”并非被提供用于传递任何定性声明，而是仅被用来传递示例的说明。因此，使用这样的术语并不应当被理解为对本发明实施例的精神和范围进行限制。

如本文所使用的，术语“电路”是指以下各项的全部：（a）仅硬件的电路实施方式实现（例如仅以模拟和/或数字电路的实施方式）；（b）电路和软件（和/或固件）的组合，诸如（如可应用的）：（i）（多个）处理器的组合或者（ii）（多个）处理器/软件的一部分（包括共同工作而使得诸如移动电话或服务器的设备执行各种功能的（多个）数字信号处理器、软件和（多个）存储器）；和（c）电路，诸如（多个）微处理器或者（多个）微处理器的一部分，其需要软件或固件进行操作，即使该软件或固件并非物理存在。

“电路”的这个定义应用于本申请中使用该术语的所有情况，包括任意权利要求。作为另外的示例，如本申请中所使用的，术语“电路”还将覆盖仅一个处理器（或多个处理器）或者处理器的一部分及其伴随的软件和/或固件的实施方式。作为示例并且如果可应用于特定的权利要求要素，术语“电路”还将覆盖包括用于移动电话的基带集成电路或应用特定集成电路，或者服务器、蜂窝网络装备或其它网络装备的类似集成电路。

图1图示了根据本发明示例实施例的手势识别设备102的框图，其用于识别图像或一系列图像（例如，媒体片段、视频、视频流等）中的手势。将要意识到的是，手势识别设备102被提供为本发明第一个实施例而并不应当被理解为以任何方式收窄本发明的范围和精神。在这方面，本公开的范围包含除这里所图示和描述的那些以外的许多可能实施例。因此，虽然图1图示了用于确定图像或一系列图像中的手势的设备的配置的一个示例，但是也可以使用其它配置来实施本发明的实施例。

手势识别设备102可以被实施为台式计算机、膝上计算机、移动终端、移动计算机、平板电脑、移动电话、移动通信装备、一个或多个服务器、一个或多个网络节点、游戏装备、数码相机/摄像机、音/视频播放器、电视装备、无线电接收器、数字视频录影机、定位装备、它们的任意组合等。在示例实施例中，手势识别设备102可以被实施为诸如图2所示的移动终端。除此之外或可替换地，手势识别设备102可以被实施为诸如图3所示的远离移动终端的远程服务器、远程网络节点等。

在这方面，图2图示了代表手势识别设备102的一个实施例的移动终端10的框图。然而，应当理解的是，所图示及随后描述的移动终端10仅是可以实施本发明的实施例和/或从其获益的一种类型的手势识别设备102的说明，而并不应当被理解为对本发明的范围进行限制。虽然出于示例的目的图示了移动终端（例如，移动终端10）的若干实施例并且将在随后进行描述，但是诸如移动电话、移动计算机、便携式数字助理（PDA）、传呼机、膝上计算机、台式计算机、游戏装备、电视和其它类型的电子系统可以采用本发明的实施例。

如所示出的，移动终端10可以包括与发射器14和接收器16进行通信的天线12（或多个天线12）。移动终端10还可以包括处理器20，其被配置为分别向发射器提供信号以及从接收器接收信号。处理器20例如可以被实现为包括电路的各种装置、具有所附（多个）数字信号处理器的一个或多个微处理器、没有所附数字信号处理器的一个或多个处理器、一个或多个协同处理器、一个或多个多核处理器、一个或多个控制器、处理电路、一个或多个计算机、包括诸如ASIC（专用集成电路）或FPGA（现场可编程门阵列）的集成电路的各种其它处理元件，或者其一些组合。因此，虽然在图2中被示为单个处理器，但是在一些实施例中，处理器20包括多个处理器。处理器20所发送并接收的这些信号可以包括根据可应用蜂窝系统的空中接口标准和/或任意多种不同的有线或无线联网技术的信令信息，有线或无线联网技术包括但并不局限于无线保真（Wi-Fi）、诸如电气与电子工程师协会（IEEE）802.11、802.16的无线局域网（WLAN）技术，等等。此外，这些信号可以包括话音数据、用户生成数据、用户请求数据等。就此而言，移动终端能够利用一种或多种空中接口标准、通信协议、调制类型、访问类型等进行操作。更具体地，移动终端10能够根据各种第一代（1G）、第二代（2G）、2.5G、第三代（3G）通信协议、第四代（4G）通信协议、互联网协议多媒体子系统（IMS）通信协议（例如，会话发起协议（SIP））等进行操作。例如，移动终端能够根据2G无线通信协议IS-136（时分多址（TDMA））、全球移动通信系统（GSM）、IS-95（码分多址（CDMA））等进行操作。而且，例如，移动终端能够根据2.5G无线通信协议通用分组无线服务（GPRS）、增强数据GSM环境（EDGE）等进行操作。另外，例如，移动终端能够根据3G无线通信协议进行操作，诸如通用移动电信系统（UMTS）、码分多址2000（CDMA2000）、宽带码分多址（WCDMA）、时分同步码分多址（TD-SCDMA）等。移动终端还能够根据3.9G无线通信协议进行操作，诸如长期演进（LTE）或演进通用陆地无线接入网（E-UTRAN）等。此外，例如，移动终端能够根据第四代（4G）无线通信协议等以及未来可能研发的类似无线通信协议进行操作。

一些窄带高级移动电话系统（NAMPS）以及全接入通信系统（TACS）移动终端也可以从本发明的一些实施例获益，如双模或更高模式的电话（例如，数字/模拟或TDMA/CDMA/模拟电话）。此外，移动终端10能够根据无线保真（Wi-Fi）或全球微波接入互操作性（WiMAX）协议进行操作。

所要理解的是，处理器20可以包括用于实施移动终端10的音频/视频和逻辑功能的电路。例如，处理器20可以包括数字信号处理器装备、微处理器装备、模数转换器、数模转换器等。移动终端10的控制和信号处理功能可以根据其相应能力在这些装备之间进行分配。另外，处理器可以包括对可以存储在存储器中的一个或多个软件程序进行操作的功能。例如，处理器20能够操作诸如web浏览器的连接程序。该连接程序可以允许移动终端10根据协议传送和接收诸如基于位置的内容的web内容，上述协议诸如无线应用协议（WAP）、超文本传输协议（HTTP）等。移动终端10能够使用传输控制协议/互联网协议（TCP/IP）以跨互联网或其它网络传送和接收web内容。

移动终端10还可以包括用户接口，用户接口例如包括耳机或扬声器24、振铃器22、麦克风26、显示器28、用户输入接口等，它们可操作耦合至处理器20。就此而言，处理器20可以包括被配置为对用户接口的一个或多个元件的至少一些功能进行控制的用户接口电路，上述元件例如扬声器24、振铃器22、麦克风26、显示器28等。处理器20和/或包括处理器20的用户接口电路可以被配置为通过存储在可接入处理器20的存储器（例如，易失性存储器40、非易失性存储器42等）上的计算机程序指令（例如，软件和/或固件）对用户接口的一个或多个元件的一个或多个功能进行控制。虽然并未示出，但是移动终端可以包括用于对与移动终端相关的各个电路进行供电的电池，例如用于提供机械振动作为可检测输出的电路。用户输入接口可以包括允许移动终端接收数据的装备，诸如键盘30、触摸显示器（未示出）、操纵杆（未示出）和/或其它输入装备。在包括键盘的一些实施例中，键盘可以包括数字（0-9）和相关按键（#、*）和/或用于操作移动终端的其它按键。

移动终端10可以包括与处理器20进行通信的媒体捕捉元件，诸如相机、视频和/或音频模块。媒体捕捉元件可以包括用于捕捉图像、视频和/或音频以便进行手势识别、存储、显示或传输的任意装置。例如，在媒体捕捉元件包括相机电路36的示例实施例中，相机电路36可以包括被配置为从所捕捉的图像形成数字图像的数字相机。此外，相机电路36的数字相机可以被配置为捕捉视频片段。这样，相机电路36可以包括从所捕捉图像创建数字图像文件以及从所捕捉视频片段创建数字视频文件所必需的诸如镜头或其它（多种）光学组件的全部硬件和软件。可替换地，相机电路36可以仅包括观看图像所需的硬件，而移动终端10的存储器装备则以从所捕捉图像创建数字图像文件所必需的软件的形式存储用于由处理器20执行的指令。作为又另一种替换形式，相机电路36的视场内的一个或多个对象可以被显示在移动终端10的显示器28上以图示出当前所显示图像的视图，如果用户期望则可以捕捉该图像。这样，所捕捉图像例如可以包括由相机电路36所捕捉的图像并且被存储在图像文件中。作为另一个示例，所捕捉图像可以包括当前由移动终端10的显示器或取景器所显示而并不必存储在图像文件中的一个或多个对象。在示例实施例中，相机电路36可以进一步包括诸如协同处理器之类的被配置为在处理图像数据时对处理器20进行辅助的处理元件，以及用于压缩和/或解压缩图像数据的编码器和/或解码器。该编码器和/或解码器例如可以根据联合图像专家组（JPEG）标准、运动图像专家组（MPEG）标准或其它格式进行编码和/或解码。

移动终端10可以包括存储器，诸如客户识别模块（SIM）38、可移除用户识别模块（R-UIM）等，它们可以存储与移动客户相关的信息元素。除了SIM之外，移动终端可以包括其它可移除和/或固定存储器。移动终端10可以包括其它非瞬时存储器，诸如易失性存储器40和/或非易失性存储器42。例如，易失性存储器40可以包括随机访问存储器（RAM）、片上或片下高速缓存存储器等，其中随机访问存储器包括动态和/或静态RAM。可以是嵌入式和/或可移除的非易失性存储器42例如可以包括只读存储器、闪存、磁性存储装备（例如，硬盘、软盘驱动器、磁带等）、光盘驱动器和/或媒体、非易失性随机访问存储器（NVRAM）等。与易失性存储器40一样，非易失性存储器42可以包括用于数据的临时存储的高速缓存区域。存储器可以存储一个或多个软件程序、指令、信息条目、数据等，它们可以被移动终端用于执行移动终端的功能。例如，存储器可以包括能够唯一识别移动终端10的诸如国际移动装备标识（IMEI）码的标识符。

返回图1，在示例实施例中，手势识别设备102包括用于执行本文所描述的各种功能的各种装置。这些装置可以包括处理器110、存储器112、通信接口114、用户接口116、图像捕捉电路118和/或手势识别模块120中的一个或多个。如本文所描述的手势识别设备102例如可以被实现为电路、硬件元件（例如，适当的编程的处理器、组合逻辑电路等）、包括存储在计算机可读介质（例如，存储器112）上的可由适当配置的处理装备（例如，处理器110）所执行的计算机可读程序指令（例如，软件或固件）的计算机程序产品，或者他们的一些组合。

处理器110例如可以被实现为各种装置、包括具有所附（多个）数字信号处理器的一个或多个微处理器、没有所附数字信号处理器的一个或多个处理器、一个或多个协同处理器、一个或多个多核处理器、一个或多个控制器、处理电路、一个或多个计算机、包括例如ASIC或FPGA的集成电路的各种其它处理元件，或者其一些组合。因此，虽然在图1中被图示为单个处理器，但是在一些实施例中，处理器110包括多个处理器。多个处理器可以彼此可操作地通信，并且可以共同地被配置为执行本文所描述的手势识别设备102的一个或多个功能。多个处理器可以在单个计算装备上实现，或者跨共同被配置为作为手势识别设备102进行工作的多个计算装备进行分布。在其中手势识别设备102被实现为移动终端10的实施例中，处理器110可以被实现为或者包括处理器20。在一个示例实施例中，处理器110被配置为执行存储在存储器112中或者能够以其它方式可接入处理器110的指令。当被处理器110执行时，这些指令可以使得手势识别设备102执行如本文所描述的一个或多个功能。这样，无论是通过硬件还是软件方法进行配置，或者通过其组合进行配置，处理器110可以包括在相应配置时能够执行根据本发明实施例的操作的实体。因此，例如当处理器110被实现为ASIC、FPGA等时，处理器110可以包括专门配置的用于进行本文所描述的一个或多个操作的硬件。可替换地，作为另一个示例，当处理器110被实现为诸如可以存储在存储器112中的指令的执行器时，该指令可以对处理器110进行特殊配置以执行本文所描述的一个或多个算法和操作。

存储器112例如可以包括非瞬时存储器，诸如易失性存储器、非易失性存储器或者其一些组合。虽然在图1中被图示为单个存储器，但是存储器112可以包括多个存储器。多个存储器可以在单个计算装备上实现，或者跨共同被配置为作为手势识别设备102进行工作的多个计算装备进行分布。在各个示例实施例中，随存储器112例如可以包括硬盘、随机访问存储器、高速缓存存储器、闪存、紧致盘只读存储器（CD-ROM）、数字多功能盘只读存储器（DVD-ROM）、光盘、被配置为存储信息的电路，或者它们的一些组合。在其中手势识别设备102被实现为移动终端10的实施例中，存储器112可以包括易失性存储器40和/或非易失性存储器42。存储器112可以被配置为存储使得手势识别设备102能够执行根据各个示例实施例的各种功能的信息、数据、应用、指令等。例如，在至少一些实施例中，存储器112被配置为对输入数据进行缓存以便由处理器110处理。除此之外或可替换地，在至少一些实施例中，存储器112被配置为存储程序指令以便由处理器110执行。存储器112可以以静态和/或动态信息的形式存储信息。所存储的信息例如可以包括用于手势识别、手部识别等的模型。该存储信息可以由图像捕捉电路118和/或手部手势识别模块120在执行其工作的过程期间进行存储和/或使用。

通信接口114可以被实现为以电路、硬件、计算机程序产品或者其组合所实现的任意设备或装置，计算机程序产品包括存储在计算机可读介质（例如，存储器112）上并且由处理器装备（例如，存储器110）所执行的计算机可读程序指令，其被配置为向/至另一计算装备接收和/或传送数据。例如，通信接口114可以被配置为通过网络接收表示图像的数据。就此而言，在其中手势识别设备102包括服务器、网络节点等的实施例中，通信接口114可以被配置为与远程移动终端（例如，远程终端304）进行通信以允许移动终端和/或其用户访问由手势识别设备102所提供的手势识别功能。在示例实施例中，通信接口114至少部分被实现为处理器110或者以其它方式被其所控制。就此而言，通信接口114诸如可以经由总线与处理器110进行通信。通信接口114例如可以包括天线、发射器、接收器、收发器和/或用于使得能够与一个或多个远程计算装备进行通信的支持硬件或软件。通信接口114可以被配置为使用可用于计算装备间的通信的任意协议来接收和/或传送数据。就此而言，通信接口114可以被配置为使用可用于通过手势识别设备102与一个或多个计算装备通过其进行通信的无线网络、有线网络、其一些组合等进行数据传输的任意协议来接收和/或传送数据。通信接口114诸如还可以经由总线与存储器112、用户接口116、图像捕捉电路118和/或手部手势识别模块120进行通信。

用户接口116可以与处理器110进行通信以接收用户输入的指示和/或向用户提供听觉、视觉、机械或其它输出。这样，用户接口116例如可以包括键盘、鼠标、操纵杆、显示器、触摸屏显示器、麦克风、扬声器和/或其它输入/输出机制。在其中手势识别设备102被实现为一个或多个服务器的实施例中，用户接口116的各方面可以有所减少或者甚至可以省略用户接口116。用户接口116诸如可以经由总线与存储器112、通信接口114、图像捕捉电路118和/或手部手势识别模块120进行通信。

图像捕捉电路118可以被实现为各种装置，诸如电路、硬件、计算机程序产品或者其一些组合，计算机程序产品包括存储在计算机可读介质（例如，存储器112）上并且由处理器装备（例如，存储器110）所执行的计算机可读程序指令，因此在一个实施例中，其被实现为处理器110或者以其它方式被处理器110所控制。在其中图像捕捉电路118独立于处理器110实现的实施例中，图像捕捉电路118可以与处理器110进行通信。图像捕捉电路118诸如可以经由总线与存储器112、通信接口114、用户接口116和/或手部手势识别模块120中的一个或多个进行通信。

图像捕捉电路118可以包括被配置为捕捉图像的硬件。在这方面，图像捕捉电路118可以包括相机镜头、IR镜头和/或用于捕捉数字图像的其它光学组件。作为另一个示例，图像捕捉电路118可以包括被配置为指示由实现在手势识别设备102上或者以其它方式与之操作连接的单独相机进行图像捕捉的电路、硬件、计算机程序产品或者其组合。在其中手势识别设备102被实现为移动终端10的实施例中，图像捕捉电路118可以包括相机电路36。在其中手势识别设备102被实现为远离移动终端的被配置为向手势识别设备102提供图像或视频而使得手势识别设备102能够在图像或视频上执行手势识别的一个或多个服务器或者其它网络节点的实施例中，图像捕捉电路118的各方面可以有所减少或者甚至可以省略图像捕捉电路118。

手部手势识别模块120可以被实施为各种装置，诸如电路、硬件、计算机程序产品或者其一些组合，计算机程序产品包括存储在计算机可读介质（例如，存储器112）上并且由处理器装备（例如，存储器110）所执行的计算机可读程序指令，并且在一个实施例中被实现为处理器110或者以其它方式被处理器110所控制。在其中手部手势识别模块120独立于处理器110实现的实施例中，手部手势识别模块120可以与处理器110进行通信。手部手势识别模块120诸如可以经由总线进一步与存储器112、通信接口114、用户接口116和/或图像捕捉电路中的一个或多个进行通信。

手部手势识别模块120可以被配置为提供指尖在图像、一系列图像、视频帧、媒体内容事件等中的位置信息。可以基于手部区域或指尖移动的各种轨迹并且基于各种语义来确定各种手势。特别地并且如参考图4所示，相机、图像捕捉电路118可以位于稳定位置以便能够进行所捕捉图像和/或所捕捉的系列图像的前景和背景（例如，图像中描绘主题之后或之前的情景的部分）提取。另外，背景图像一致性可以导致在前景中提取那些项目的能力。这样的前景提取可以使得手部手势识别模块10能够确定可能的手部区域和指尖位置。

现在参考图4，图1的处理器110、手部手势识别模块120等可以被配置为例如从图像捕捉电路118接收视频流。手部手势识别模块120随后可以捕捉当前帧。见操作402。在一个实施例中，确定背景。见操作405。随后可以使用自适应全方向边缘算子（AOEO）提取前景。见操作404。随后可以由手部手势识别模块例如使用递归二值化而基于所提取的前景确定手部候选506。见操作406。例如通过使用本文所描述的形状先验，可以基于所确定的手部候选定位指尖位置。见操作408。

再次参考图1，在一个实施例中，手部手势识别模块120被配置为利用AOEO执行前景提取。在一些实施例中，强度和边缘是可以在前景提取中使用的两种低层图像特征，然而在可替换实施例中可以使用其它图像特征。在一些示例实施例中，由于边缘往往相对随机噪声和照明变化更为稳定，所以AOEO的边缘运算可以被用来确定快速边缘图形计算和自适应门限。

在一个实施例中，手部手势识别模块120可以被配置为确定全方向边缘运算。为了例如使用处理器110以虽少的方向边缘信息损失来执行快速计算，因此使用图5a中所引用的边缘算子AOEO的全方向边缘算子。像素的边缘量级e可以被计算为：

$e=\underset{i=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{abs}(p_c-p_n)$

其中，例如，p_c是像素的强度，而p_n是一个周边像素的强度。使用边缘算子e，可以在生成边缘图形的期间联合考虑方向信息。可替换地或除此之外，绝对值运算可以进一步加快计算并且在一些实施例中可能是有利的。

示例手部手势识别模块120随后可以被配置为执行图像差分。在一些示例实施例中，在当前帧和所确定的背景之间执行图像差分。在一些实施例中，可以在手势识别之前捕捉背景，然而在一些示例实施例中，也可以基于具有相似特征的一系列图像来确定背景。一旦背景得以被确定，随后就可以应用当前帧和所确定的背景以诸如由处理器110、手部手势识别模块102等基于由边缘算子E所过滤的两个图像而获得图像差分。背景和当前帧的边缘图形可以被表示为E_c和E_b。例如，图5b图示了基于边缘图形和/或图像强度的不同图像差分策略502和504。示例差分等式可以被表示为：

D＝abs(E_c-E_b)

在图像差分之后，示例手部手势识别模块120可以被配置为使用参数学习来确定输出二值化。在一个实施例中，二值化和参数可以基于所学习的阈值等式而确定，后者的示例在图5c中被图示为对比度-阈值曲线：

$F=\left\{\begin{array}{cc}1,& D>\mathrm{th}\left(\mathrm{contr}\right)\\ 0,& D\≤\mathrm{th}\left(\mathrm{contr}\right)\end{array}\right.$

$\mathrm{th}\left(\mathrm{contr}\right)=\frac{a}{2+\exp (-c*(\mathrm{bright}-\mathrm{\δ}))}+k$

其中阈值th(contr)是所学习的阈值而contr是当前帧的图像对比度。在一个实施例中，th(contr)可以是S形（sigmoid）函数而a、c、δ和k是常数。在该示例中，a=45、c=29、δ=0.15且k=17。在一个实施例中，所学习阈值可以使用所确定的图像对比度来确定。如本文所描述的，图5c图示了具有表示图像对比度的水平轴线的对比度-阈值曲线，而垂直轴线则表示在学习阈值等式中所确定的阈值。基于最优阈值，图4b中所示图像的二值化结果在图4d中示出。

在一个实施例中，S形函数可以使能够拟合非线性数据的平滑输出适应和灵活性。如以上的学习阈值等式中所示出的，有四个参数有待确定。在一个实施例中，示例的手部手势识别模块120可以被配置为针对不同图像对比度确定最佳二值化阈值，最佳二值化阈值可以从例如在图5c中所显示的所确定的阈值-对比度点而获得。学习阈值等式的参数还可以基于最小平方差（例如，S形函数内的拟合点）来确定。图5c进一步图示了有待在学习曲线512内进行拟合的点508。例如，如果c=14而其它参数保持不变，则该阈值-对比度曲线被绘制为图5c中的黑点曲线506并且其在差分图像上的二值化结果在图5e中示出。

在一个实施例中，在前景提取之后，能够粗糙估计手部区域的位置。例如，手部区域的位置可以基于手部进入相机取景器的方向而进行估计，并且随后可以沿进入方向确定手部区域候选。这样的可能手部区域514随后被手部手势识别模块120加以标记，诸如图5d中所示的标记。

在一些示例实施例中，手部手势识别模块120可以被配置为针对手部提取而执行递归二值化。如这里所描述的，粗糙手部位置也可以基于AOEO来确定。然而，递归二值化也可以被用来执行类似图像形态学的操作以便确定清晰的手部区域。可替换地或除此之外，可以使用基于学习的初始阈值。

可替换地或除此之外，可以在潜在手部位置周围的区域中从背景和当前帧截取图像补丁。随后，一旦差分运算包括：

D＝abs(G(I₁)-G(I_n))

可以对该图像补丁执行这样的差分运算。

其中G(I₁)是平滑背景补丁，其中高斯函数在图6a的602和612中示出，G(I_n)和示例平滑版本在图6a的604和614中示出，并且D表示如图6a的606和616中所示的其差异。

遵循学习策略，可以从诸如由相机电路118所接收的那些图像的所接收图像自适应地学习D的初始阈值。在一个实施例中，D的阈值可能与图像亮度相关并且这样的关系可以被建模为S形函数。例如，阈值-亮度等式可以被表示为：

$F=\left\{\begin{array}{cc}1,& D>\mathrm{th}\left(\mathrm{bright}\right)\\ 0,& D\≤\mathrm{th}\left(\mathrm{bright}\right)\end{array}\right.$

$\mathrm{th}\left(\mathrm{brogjt}\right)=\frac{a}{2+\exp (-c*(\mathrm{bright}-\mathrm{\δ}))}+k$

其中th(bright)是所学习的阈值而bright是当前帧的图像亮度，并且在这里可以被表示为a=40、c=0.05、δ=140、k=20。这些参数可以被学习以最佳拟合离散的阈值-亮度点。图6b中图示了示例的阈值-亮度曲线并且其水平轴向表示图像亮度，而其垂直轴线则表示通过该阈值-亮度等式所确定的阈值。例如，阈值可以通过图像的亮度来确定，因为例如在一些图像中，由前景所导致的图像强度变化与其中背景更为明亮的情况相比更加明显。图6a的608和618中示出了两种示例情形的二值化结果。

示例手部手势识别模块120可以被配置为提供反复探测以便进行前景精化。虽然初始阈值在一些示例实施例中可能获得相对良好的二值化结果，但是更为优化的阈值和附加门限在一些示例实施例中可能是有利的。示例的精化探测方案可以包括但并不局限于：

·对阈值进行初始化，诸如阈值th=th(bright)-5；

·定义目标比率r₀；

·提取前景F，其中 $F=\left\{\begin{array}{cc}1,& D>\mathrm{th}\\ 0.& D\≤\mathrm{th}\end{array}\right.$ 其中D由如本文所描述的阈值亮度等式所确定；

·使用诸如处理器110的处理器计算当前比率r，其在一些示例实施例中可以是前景面积与背景补丁面积的之比；

·在r≤r₀的情况下，在一些示例实施例中可以完成精化处理，否则增大阈值并且可以重复探测方案。

示例精化探测方案的结果参考图6a的610和620进行了图示。

示例手部手势识别模块120可以进一步被配置为确定形状不变量以便进行手部验证。诸如Hu矩的形状矩可以保持与变化相对的旋转、缩放和平移不变。在一个实施例中，手部形状的Hu矩模块可以被预先学习并且存储在诸如存储器112的存储器中。随后，可以将所存储的手部区域候选的Hu矩以及Hu矩模块进行比较，并且在他们并不相似的情况下，则当前手部区域候选可能是错误警告并且因此被丢弃。

示例手部手势识别模块120可以进一步被配置为执行图像骨架化以确定指尖位置。基于指尖位于手部末端的观察，可以找到如图7的704和710中所示的指尖候选并且被标记以红圈。一些噪声可能会导致错误候选，但是指尖通常应当距离图像边界最远。利用这些候选，如图7的706和712栏中所示，指尖得以被精确定位。

如结合图1的实施例所描述的，移动终端可以包括手势识别设备102。然而，手势识别设备102也可以独立于移动终端并且与之进行通信。另外，图3图示了根据本发明示例实施例的用于执行消息接收方认证的系统300。系统300包括通过网络306进行通信的手势识别设备302和远程终端304。例如，手势识别设备302可以包括手势识别设备102的实施例，其中手势识别设备102被实现为被配置为向远程移动终端和/或其用户提供基于接收方的消息认证服务的一个或多个服务器、一个或多个网络节点、云计算系统等。远程终端304可以包括被配置为访问网络306并且与手势识别设备302进行通信以便访问由手势识别设备302所提供的消息接收方认证的任意移动终端。远程终端304例如可以被实现为台式计算机、膝上计算机、移动终端、移动计算机、移动电话、移动通信装备、移动终端10、游戏装备、数字相机/摄像机、音频/视频播放器、电视装备、无线电接收器、数字视频录影机、定位装备以及它们的组合等。网络306可以包括有线网络、无线网络（例如，蜂窝网络、无线局域网、无线广域网、它们的一些组合等）、直接通信链路（例如，蓝牙、机器到机器通信等）或者其组合，并且在一个实施例中包括互联网。

在图3所示的示例系统中，手势识别设备302可以被配置为接收由远程终端304所发送的图像、视频片段、视频帧等。手势识别设备302（例如，手势识别模块120）可以被配置为根据以下参考手势识别设备102所描述的任意实施例确定所接收的图像、视频片段和/或视频帧内的手势。手势识别设备302（例如，手势识别设备120和/或通信接口114）可以进一步被配置为将手势识别设备302所执行的消息手势识别结果传送至远程终端304。

在系统300的另一示例实施例中，手势识别设备120的各方面可以在远程终端304和手势识别设备302之间进行分布。在该示例实施例中，手势识别设备302可以对手势识别所需的一些处理任务进行处置。就此而言，可以不需要远程终端304来执行用于执行手势识别的更为计算密集的步骤。在系统300的又另一个示例实施例中，诸如参考图1和2所描述的，远程终端304和手势识别设备302可以由单个装备来实现。

图8图示了由根据本发明一个实施例的方法、设备和计算机程序产品所执行的示例操作的示例流程图。将要理解的是，流程图中的每个框以及流程图中框的组合可以由各种手段来实施，诸如硬件、固件、处理器、电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它装备。例如，以上所描述的一个或多个过程可以由包括计算机程序指令的计算机程序产品来实现。就此而言，体现以上所描述过程的计算机程序指令可以由采用本发明实施例的存储器112所存储并且由设备中的处理器110来执行。如将要意识到的，任何这样的计算机程序指令都可以被加载到计算机或其它可编程设备（例如，硬件）上以生产机器，以使得所产生的计算机或其它可编程设备提供流程图的（多个）框中所指定的功能的实施方式。这些计算机程序指令也可以存储在非瞬时的计算机可读存储器中，其可以指示计算机或其它可编程设备以特定方式工作，以使得存储在计算机可读存储器中的指令产生其执行实施流程图的（多个）框中所指定的功能的制造的商品。计算机程序指令还可以被加载到计算机或其它可编程设备上以使得将在计算机上执行的一系列操作或其他可编程程序以产生计算机实施的处理，从而在计算机或其它可编程设备上执行的指令提供用于实施流程图的（多个）框中所指定的功能的操作。这样，当图8中的操作被执行时，图8的操作将计算机或处理电路转换为被配置为执行本发明示例实施例的特定机器。因此，图8的操作限定了用于对计算机或处理进行配置以执行示例实施例的算法。在一些情况下，通用计算机可以被提供为处理器的实例，该处理器执行图8的算法以将通用计算机变换为被配置为执行示例实施例的特定机器。

因此，流程图中的框支持用于执行指定功能的手段的组合以及用于执行特定功能的操作的组合。还将要理解的是，流程图中的一个或多个框以及流程图中框的组合可以由执行所指定功能的基于专用硬件的计算机系统或者特殊用途的硬件和计算机指令的组合来实施。

在一些实施例中，这里的某些操作可以进行修改或如以下所描述的进一步放大。此外，在一些实施例中还可以包括另外的可选操作。应当意识到的是，以下的每种修改、可选添加或修改可以单独或者与这里所描述的任意其它特征进行组合地随以上操作而被包括。

图8图示了根据本发明示例实施例的用于执行手势识别的示例方法的流程图。如操作802中所示，设备102可以包括诸如处理器110、手势识别模块120等的用于使用AOEO确定至少一个捕捉帧中的手部区域的装置。在一些实施例中，处理器110、手势识别模块120等可以进一步被配置为确定全方向边缘算子、确定至少一个捕捉帧与背景之间的图像差异并且使用周边学习来确定输出二值化的阈值。针对输出二值化所确定的阈值可以基于至少一个捕捉帧的对比度。

如在操作804中所示出的，设备102可以包括诸如处理器110、手势识别模块120等的用于使用递归二值化方案确定用于手部区域提取的阈值的装置，上述阈值诸如最优化阈值。用于手部区域提取的阈值可以基于至少一个捕捉帧的图像亮度来确定。在一些实施例中，处理器110、手势识别模块120等可以进一步被配置为确定目标比率，从至少一个捕捉帧提取前景，并且通过将所提取的前景与至少一个捕捉帧的背景相比较来确定当前比率。

如在操作806中所示，设备102可以包括诸如处理器110、手势识别模块120等的用于在至少一个捕捉帧中确定手部位置的装置。如操作808中所示出的，设备102可以包括诸如处理器110、手势识别模块120等的用于基于所确定的手部位置确定指尖位置的装置。

有利地，本文所描述的示例手势识别系统可以在移动终端上执行，因此允许手部手势被认为是比率，例如一帧40ms。

之前描述和相关联附图中所给出的教导所获益的与这些发明相关领域的技术人员将意识到这里给出的本发明的许多修改和其它实施例。因此，所要理解的是，本发明并不局限于所公开的具体实施例并且修改和其它实施例意在被包括在所附权利要求的范围之内。此外，虽然以上描述和相关联附图以元件和/或功能的某些示例组合为背景对示例实施例进行了描述，但是应当意识到的是，可以由可替换实施例提供的元件和/或功能的不同组合而并不背离所附权利要求的范围。就此而言，例如，不同于以上所明确描述的元件和/或功能的不同组合也预期在一些所附权利要求中被给出。虽然这里采用了具体术语，但是它们仅以一般和描述性含义被使用而并非用于限制的目的。

Claims (28)

1.一种方法，包括：

使用自适应全方向边缘算子（AOEO）确定至少一个所捕捉的帧中的手部区域；

使用递归二值化方案确定用于手部区域提取的阈值；

使用针对在所述至少一个所捕捉的帧中的所提取的手部区域的所确定的阈值来确定手部位置；以及

基于所确定的手部位置确定指尖位置。

2.根据权利要求1所述的方法，其中确定所述手部区域进一步包括：

确定全方向边缘算子；

确定所述至少一个所捕捉的帧与背景之间的图像差异；以及

使用周边学习确定用于输出二值化的自适应阈值。

3.根据权利要求2所述的方法，其中确定用于输出二值化的所述阈值是基于所述至少一个所捕捉的帧的对比度。

4.根据权利要求2或3中任一项所述的方法，其中确定用于手部区域提取的所述阈值进一步包括基于图像亮度确定初始阈值。

5.根据权利要求1至4中任一项所述的方法，其中确定用于手部区域提取的所述阈值进一步包括：

确定目标比率；

从所述至少一个捕捉的帧提取前景；

通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率；以及

基于所述目标比率与所述当前比率之间的比较而对阈值进行调节。

6.根据权利要求1至5中任一项所述的方法，其中确定所述手部位置进一步包括使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证。

7.根据权利要求1至6中任一项所述的方法，其中确定所述指尖位置进一步包括使得所捕捉的至少一个。

8.一种设备，包括：

处理器，以及

包括软件的存储器，其中所述存储器和所述软件被配置为与所述处理器一起而使得所述设备至少：

使用自适应全方向边缘算子（AOEO）确定至少一个所捕捉的帧中的手部区域；

使用递归二值化方案确定用于手部区域提取的阈值；

使用针对在所述至少一个所捕捉的帧中的所提取的手部区域的所确定的阈值来确定手部位置；并且

基于所确定的手部位置确定指尖位置。

9.根据权利要求8所述的设备，其中包括计算机程序代码的至少一个存储器进一步被配置为利用至少一个处理器而使得所述设备用以：

确定全方向边缘算子；

确定所述至少一个所捕捉的帧与背景之间的图像差异；并且

使用周边学习确定用于输出二值化的自适应阈值。

10.根据权利要求9所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备基于所述至少一个所捕捉的帧的对比度确定用于输出二值化的所述阈值。

11.根据权利要求9或10中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备基于图像亮度确定初始阈值。

12.根据权利要求8至11中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备用以：

确定目标比率；

从所述至少一个所捕捉的帧提取前景；

通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率；并且

基于所述目标比率与所述当前比率之间的比较而对阈值进行调节。

13.根据权利要求8至12中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使得所述设备使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证。

14.根据权利要求8至13中任一项所述的设备，其中包括所述计算机程序代码的所述至少一个存储器进一步被配置为利用所述至少一个处理器而使所述设备使得所捕捉的至少一个帧骨架化。

15.一种计算机程序产品，包括：

至少一个计算机可读非瞬时存储器介质，具有存储于其上的程序代码，所述程序代码在被设备执行时使得所述设备至少用以：

使用自适应全方向边缘算子（AOEO）确定至少一个所捕捉

的帧中的手部区域；

使用递归二值化方案确定用于手部区域提取的阈值；

使用针对在所述至少一个所捕捉的帧中的所提取的手部区域

的所确定的阈值来确定手部位置；并且

基于所确定的手部位置确定指尖位置。

16.根据权利要求15所述的计算机程序产品，进一步包括用于下列操作的程序代码指令：

确定全方向边缘算子；

确定所述至少一个所捕捉的帧与背景之间的图像差异；并且

使用周边学习确定用于输出二值化的阈值。

17.根据权利要求16所述的计算机程序产品，其中确定用于输出二值化的所述阈值是基于所述至少一个所捕捉的帧的对比度。

18.根据权利要求16或17中任一项所述的计算机程序产品，进一步包括用于基于图像亮度而确定的初始阈值程序代码指令。

19.根据权利要求15至18中任一项所述的计算机程序产品，进一步包括用于下列操作的程序代码指令：

确定目标比率；

从所述至少一个所捕捉的帧提取前景；并且

通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率。

20.根据权利要求15至19中任一项所述的计算机程序产品，进一步包括用于使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证的程序代码指令。

21.根据权利要求15至20中任一项所述的方法，进一步包括程序代码指令以用于使得所捕捉的至少一个帧骨架化。

22.一种设备，包括：

用于使用自适应全方向边缘算子（AOEO）确定至少一个所捕捉的帧中的手部区域的装置；

用于使用递归二值化方案确定用于手部区域提取的阈值的装置；

用于使用针对所述至少一个所捕捉的帧中的所提取的手部区域的所确定的阈值来确定手部位置的装置；以及

用于基于所确定的手部位置确定指尖位置的装置。

23.根据权利要求22所述的设备，其中用于确定所述手部区域的所述装置包括：

用于确定全方向边缘算子的装置；

用于确定所述至少一个所捕捉的帧与背景之间的图像差异的装置；以及

用于使用周边学习确定用于输出二值化的阈值的装置。

24.根据权利要求23所述的设备，其中用于确定用于输出二值化的所述阈值的装置是基于所述至少一个所捕捉的帧的对比度。

25.根据权利要求23或24中任一项所述的设备，其中用于确定用于手部区域提取的所述阈值的所述装置包括用于基于图像亮度确定初始阈值的装置。

26.根据权利要求22至25中任一项所述的设备，其中用于确定用于手部区域提取的所述阈值的所述装置包括：

用于确定目标比率的装置；

用于从所述至少一个所捕捉的帧提取前景的装置；以及

用于通过将所提取的前景与所述至少一个所捕捉的帧的背景相比较来确定当前比率的装置。

27.根据权利要求22至26中任一项所述的设备，其中用于确定所述手部位置的所述装置包括用于使得手部基于形状不变量而在所述至少一个所捕捉的帧中得到验证的装置。

28.根据权利要求22至27中任一项所述的设备，其中用于确定所述指尖位置的所述装置包括用于使得所捕捉的至少一个帧骨架化的装置。

Images