CN104094194A - 用于基于多个传感器信号的融合识别手势的方法和设备 - Google Patents

Abstract

提供一种允许基于不同类型的传感器信号的融合来改进手势识别的方法、设备和计算机程序产品。在一种方法的情境中，接收一系列图像帧和雷达信号序列。该方法确定指示手势的针对一系列图像帧的评估分数。该评估分数的确定可以基于图像区域中的运动块和运动块在图像帧之间的移位。该方法也确定指示手势的针对雷达信号序列的评估分数。该评估分数的确定可以基于序列中的符号分布和序列中的强度分布。该方法对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数以识别手势。

Description

用于基于多个传感器信号的融合识别手势的方法和设备

技术领域

本发明的一示例实施例一般涉及用户界面技术并且更具体地涉及一种用于识别手势的方法、设备和计算机程序产品。

背景技术

为了有助于用户与计算设备交互，已经开发了用户界面以对用户的手势做出响应。通常，这些手势是直观的并且因此用于有助于使用计算设备并且改善总体用户体验。计算设备可以识别的手势可以服务于许多功能、诸如打开文件、关闭文件、移到文件内的不同位置、增加音量等。计算设备可以识别的一种类型的手势是挥手(hand-wave)。可以定义挥手以提供各种类型的用户输入、例如包括用于控制媒体播放器的导航命令、图库浏览或者幻灯片演示。

计算设备一般提供基于由单个传感器、诸如相机、加速度计或者雷达传感器提供的信号的手势识别。然而通过依赖于单个传感器，计算设备就识别手势而言可能有些受限。例如依赖于相机以捕获从其识别手势的图像的计算设备可能难以适应照明改变以及在相机捕获的图像内的白平衡。而且，依赖于加速度计或者陀螺仪以提供从其识别手势的信号的计算设备不能在计算设备本身固定就位的实例中检测手势。此外，依赖于雷达传感器以提供从其识别手势的信号的计算设备可能难以确定产生手势的对象实际上是什么。

发明内容

因此根据一示例实施例提供一种方法、设备和计算机程序产品以便提供基于不同类型的传感器所提供的信号的融合的改进的手势识别。在一个实施例中，例如提供一种方法、设备和计算机程序产品以便基于相机或者其它图像捕获设备和雷达传感器所提供的信号的融合识别手势。通过依赖于不同类型的传感器所提供的信号并且通过对与不同类型的传感器所提供的信号关联的评估分数适当加权，可以用比依赖于单个传感器以用于识别手势的计算设备更可靠的方式以更少的限制来识别手势。

在一个实施例中，提供一种方法，该方法包括接收一系列图像帧并且接收雷达信号序列。这一实施例的该方法还确定指示手势的针对一系列图像帧的评估分数。就这一点而言，确定评估分数可以包括基于在图像区域中的运动块和运动块在图像帧之间的移位确定评估分数。这一实施例的该方法也包括确定指示手势的针对雷达信号序列的评估分数。就这一点而言，确定评估分数可以包括基于序列中的符号分布和序列中的强度分布确定评估分数。这一实施例的该方法还对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数，以识别手势。

该方法可以通过对图像数据进行下采样以生成针对一系列图像帧的下采样图像块，从下采样图像块提取多个特征并且确定下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变而确定运动块来确定针对一系列图像帧的评估分数。就这一点而言，该方法也可以基于投影直方图的第一边界和第二边界的基于相应下采样图像块的移动状态确定的移动来确定手势的运动方向。

一个实施例的该方法可以通过基于图像区域中的平均运动块比率确定评估分数来确定针对一系列图像帧的评估分数。雷达信号的强度可以取决于产生手势的对象与雷达传感器之间的距离，而与雷达信号关联的符号可以取决于对象相对于雷达传感器的运动方向。对评估分数中的每个评估分数加权可以包括基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与评估分数关联的权重。一个实施例的该方法还可以包括在识别手势的实例中基于一系列图像帧确定该手势的运动方向。

在另一实施例中，提供一种设备，该设备包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中存储器和计算机程序代码被配置成，通过处理器，使该设备接收一系列图像帧并且接收雷达信号序列。这一实施例的至少一个存储器和计算机程序代码还被配置成，通过处理器，使该设备通过基于图像区域中的运动块和运动块在图像帧之间的移位确定指示手势的针对一系列图像帧的评估分数来确定该评估分数。这一实施例的至少一个存储器和计算机程序代码还被配置成，通过处理器，使该设备通过基于雷达信号序列中的符号分布和雷达信号序列中的强度分布确定指示手势的针对雷达信号序列的评估分数来确定该评估分数。这一实施例的至少一个存储器和计算机程序代码还被配置成，通过处理器，使该设备对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数以识别手势。

至少一个存储器和计算机程序代码还被配置成，通过处理器，使一个实施例的该设备通过对图像数据进行下采样以生成针对一系列图像帧的下采样图像块、从下采样图像块提取多个特征并且确定下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确定运动块来确定针对一系列图像帧的评估分数。这一实施例的至少一个存储器和计算机程序代码还可以被配置成，通过处理器，使该设备基于投影直方图的第一边界和第二边界的基于相应下采样图像块的移动状态确定的移动来确定手势的运动方向。

一个实施例的至少一个存储器和计算机程序代码可以被配置成，通过处理器，使该设备通过基于图像区域中的平均运动块的比率确定评估分数来从一系列图像帧确定该评估分数。雷达信号的强度可以取决于产生手势的对象与雷达传感器之间的距离，而与雷达信号关联的符号可以取决于对象相对于雷达传感器的运动方向。至少一个存储器和计算机程序代码被配置成，通过处理器，使一个实施例的该设备通过基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与评估分数关联的权重来对评估分数中的每个评估分数进行加权。至少一个存储器和计算机程序代码还被配置成，通过处理器，使一个实施例的该设备在识别手势的实例中基于一系列图像帧确定手势的运动方向。一个实施例的该设备还可以包括：用户界面电路，该用户界面电路被配置成有助于用户通过使用显示器来控制该设备的至少一些功能并且使该设备的用户界面的至少一部分被显示于显示器上以有助于用户控制该设备的至少一些功能。

在又一实施例中，提供一种包括至少一个计算机可读存储介质的计算机程序产品，至少一个计算机可读存储介质中存储有计算机可执行程序代码部分，其中该计算机可执行程序代码部分包括被配置为接收一系列图像帧并且接收雷达信号序列的程序指令。这一实施例的程序指令还被配置为通过基于图像区域中的运动块和运动块在图像帧之间的移位确定指示手势的针对一系列图像帧的评估分数来确定该评估分数。这一实施例的程序指令还被配置为通过基于雷达信号序列中的符号分布和雷达信号序列中的强度分布确定指示手势的针对雷达信号序列的评估分数来确定该评估分数。这一实施例的程序指令还被配置为对评估分数中的每个评估分数进行加权并且在加权之后融合评估分数，以识别手势。

根据一个实施例的计算机可执行程序部分还可以包括被配置为通过对图像数据进行下采样以生成针对一系列图像帧的下采样图像块、从下采样图像块提取多个特征并且确定下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确定运动块来针对一系列图像帧确定评估分数的程序指令。这一实施例的计算机可执行程序部分还可以包括被配置为基于投影直方图的第一边界和第二边界的基于相应下采样图像块的移动状态确定的移动来确定手势的运动方向的程序指令。

根据一个实施例的被配置为针对一系列图像帧确定评估分数的程序指令可以包括被配置为基于图像区域中的平均运动块比率确定评估分数的程序指令。雷达信号可以具有强度和符号，该强度取决于产生手势的对象与雷达传感器之间的距离，该符号取决于对象相对于雷达传感器的运动方向。被配置为对评估分数中的每个评估分数进行加权的程序指令可以在一个实施例中包括被配置为基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与评估分数关联的权重的程序指令。一个实施例的计算机可执行程序代码部分还可以包括被配置为在识别手势的实例中基于一系列图像帧确定手势的运动方向的程序指令。

在再另一个实施例中，提供一种设备，该设备包括用于接收一系列图像帧的装置和用于接收雷达信号序列的装置。这一实施例的该设备还包括用于确定指示手势的针对一系列图像帧的评估分数的装置。就这一点而言，用于确定评估分数的装置可以基于图像区域中的运动块和运动块在图像帧之间的移位确定评估分数。这一实施例的该设备还包括用于确定作为手势的指示的针对雷达信号序列的评估分数的装置。就这一点而言，用于确定评估分数的装置可以基于序列中的符号分布和序列中的强度分布确定评估分数。这一实施例的该设备还包括用于对评估分数中的每个评估分数进行加权的装置和用于在加权之后融合评估分数以识别手势的装置。

附图说明

因此已经概括地描述了本发明的某些示例实施例，现在将参照附图，附图未必按比例绘制并且在附图中：

图1是根据本发明的一示例实施例的用于基于来自至少两个传感器的信号识别手势的设备的框图；

图2是根据本发明的一示例实施例执行的操作的流程图；

图3是为了评估一系列图像帧而执行的操作的流程图；

图4图示了均包括多个运动块的三个连续图像帧，其中图像帧在图像帧之间从右向左移位；

图5是相对于如根据本发明的一示例实施例的设备所限定的显示平面的各种手势的图示；以及

图6是相对于雷达传感器的手势平面的图示。

具体实施方式

现在将在下文参照附图更充分地描述本发明的一些实施例，在附图中示出了本发明的一些、但是并非所有实施例。实际上，本发明的各种实施例可以用许多不同形式来体现并且不应被解释为限于本文所阐述的实施例；相反地，提供这些实施例使得本公开将满足适用法律要求。在全部内容中相似附图标记指代相似元件。如这里所用的，术语“数据”、“内容”、“信息”和相似术语可以可互换地用来指代能够根据本发明的实施例被发送、接收和/或存储的数据。因此，使用任何这样的术语不应被理解为限制本发明的实施例的精神和范围。

另外地，如本文所用的，术语‘电路’指代(a)仅硬件电路实现方式(例如模拟电路和/或数字电路中的实现方式)；(b)电路与计算机程序产品的组合，该计算机程序产品包括在一个或者多个计算机可读存储器上存储的软件和/或固件指令，这些电路与计算机程序产品一起工作以使设备执行本文描述的一个或者多个功能；以及(c)电路、例如微处理器或者微处理器的部分，这些电路需要用于操作的软件或者固件，即使该软件或者固件未在物理上存在也是如此。‘电路’的这一定义适用于这一术语在本文、包括在任何权利要求中的所有使用。作为另一示例，如本文所用的，术语‘电路’还包括如下实现方式，该实现方式包括一个或者多个处理器和/或其部分以及附随的软件和/或固件。作为另一示例，如本文所用的术语‘电路’还例如包括用于移动电话的基带集成电路或者应用处理器集成电路或者在服务器、蜂窝网络设备、其它网络设备、和/或其它计算设备中的相似集成电路。

如本文所定义的，指代非瞬态物理存储介质(例如易失性或者非易失性存储器设备)的“计算机可读存储介质”可以有别于指代电磁信号的“计算机可读传输介质”。

如以下描述的，提供一种允许基于多个且不同类型的传感器信号的融合识别手势、诸如挥手的方法、设备和计算机程序产品。例如，一个实施例的该方法、设备和计算机程序产品可以基于来自相机或者其它图像捕获设备的传感器信号和来自雷达传感器的传感器信号的融合识别手势。如以下描述的，在一个示例实施例中，可以如图1中所示配置可以基于传感器信号的融合识别手势的设备。尽管可以在移动终端，诸如便携数字助理(PDA)、移动电话、寻呼机、移动电视、游戏设备、膝上型计算机、相机、平板计算机、触摸表面、可佩戴设备、视频记录器、音频/视频播放器、无线电、电子书、定位设备(例如全球定位系统(GPS)设备)或者前述移动终端的任何组合，以及其它类型的语音和文本通信系统中体现图1的设备，但是应当注意的是，也可以在移动和固定的各种其它设备中体现图1的设备，并且因此本发明的实施例不应限于在移动终端上应用。

也应当注意的是，尽管图1图示了用于基于传感器信号的融合识别手势的设备10的配置的一个实施例，但是许多其它配置也可以用来实施本发明的实施例。因此，在一些实施例中，虽然设备或者元件被示出为相互通信，但是在下文中应当认为这样的设备或者元件能够被体现于相同设备或者元件内，因此应当理解被示出处于通信的设备或者元件另选地是相同设备或者元件的部分。

现在参照图1，用于基于传感器信号的融合识别手势的设备10可以包括处理器12、存储器14、通信接口16以及可选地包括用户界面18或者以其他方式与它们通信。在一些实施例中，处理器12(和/或辅助处理器或者以其他方式与处理器关联的协同处理器或者任何其它处理电路)可以经由用于在设备10的部件之中传递信息的总线与存储器14通信。存储器14可以例如包括一个或者多个易失性和/或非易失性存储器。换言之，例如，存储器14可以是包括门的电子存储设备(例如计算机可读存储介质)，这些门被配置为存储通过机器(例如计算设备、诸如处理器12)可以可取回的数据(例如，位)。存储器14可以被配置为存储用于使设备10能够根据本发明的一示例实施例执行各种功能的信息、数据、内容、应用、指令等。例如，存储器14可以被配置为缓冲用于由处理器12处理的输入数据。另外地或者另选地，存储器14可以被配置为存储用于由处理器12执行的指令。

设备10在一些实施例中可以是被配置为采用本发明的一示例实施例的用户终端(例如，移动终端)或者固定通信设备或者计算设备。然而，在一些实施例中，设备10或者至少该设备的部件、诸如处理器12可以被体现为芯片或者芯片组。换言之，设备10可以包括一个或者多个物理封装(例如，芯片)，该一个或者多个物理封装包括在结构组件(例如，基板)上的材料、部件和/或线。结构组件可以为在其上包括的部件电路提供物理强度、尺寸守恒和/或电相互作用的限制。设备10因此可以在一些情况下被配置为在单个芯片上或者作为单个“芯片上的系统”实施本发明的一实施例。因此，在一些情况下，芯片或者芯片组可以构成用于执行一个或者多个操作以提供本文所述的功能性的装置。

可以用多个不同方式体现处理器12。例如，处理器12可以被体现为各种硬件处理装置中的一个或多个硬件处理装置，，诸如协同处理器、微处理器、控制器、数字信号处理器(DSP)、有或者无附带DSP的处理元件，或者各种其它处理电路，这些其它处理电路包括集成电路，诸如ASIC(专用集成电路)、FPGA(现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。因此，在一些实施例中，处理器12可以包括被配置为独立执行的一个或者多个处理核心。多核心处理器可以在单个物理封装内实现多处理。另外地或者另选地，处理器12可以包括经由总线被串接配置以能够独立执行指令、流水线操作和/或多线程的一个或者多个处理器。

在一示例实施例中，处理器22可以被配置为执行存储器14中所存储的或者以其他方式对于处理器可访问的指令。另选地或者另外地，处理器12可以被配置为执行硬编码的功能。因此，无论是通过硬件或软件方法，或者通过其组合来配置，处理器12都可以代表能够在被因此配置时根据本发明的一个实施例执行操作的(例如在电路中物理地体现的)实体。因此，例如，在处理器12被体现为ASIC、FPGA等时，处理器可以是用于进行本文描述的操作的特定配置的硬件。可选地，作为另一示例，在处理器12被体现为软件指令的执行器时，指令可以特定配置处理器12以在执行指令时履行本文描述的算法和/或操作。然而，在一些情况下，处理器12可以是特定设备(例如，移动终端)的处理器，该处理器被配置为通过按照指令进一步配置处理器12来采用本发明的一个实施例，这些指令用于执行本文描述的算法和/或操作。除了其他部件以外，处理器12可以包括被配置为支持处理器的操作的时钟、算术逻辑单元(ALU)和逻辑门。

同时，通信接口16可以是在硬件或者硬件与软件的组合中体现的任何装置、诸如设备或者电路，该装置被配置为从/向与设备10通信的网络和/或任何其它设备或者模块接收和/或传输数据。就这一点而言，通信接口16可以例如包括用于实现与无线通信网络的通信的天线(或者多个天线)以及支持硬件和/或软件。另外地或者另选地，通信接口16可以包括用于与天线交互以引起经由天线传输信号或者处置经由天线接收的信号的接收的电路。在一些环境中，通信接口16可以可选地或者也支持有线通信。因此，例如，通信接口16可以包括用于支持经由线缆、数字用户线(DSL)、通用串行总线(USB)或者其它机构的通信的通信调制解调器和/或其它硬件/软件。

在一些实施例、诸如其中设备10由用户设备体现的实例中，该设备可以包括用户界面18，该用户界面继而可以与处理器12通信以接收用户输入的指示和/或引起向用户提供可听、可视、机械或者其它输出。因此，用户界面18可以例如包括键盘、鼠标、操纵杆、显示器、触屏、触摸区域、软键、麦克风、扬声器或者其它输入/输出机构。另外地或者另选地，处理器12可以包括被配置为控制一个或者多个用户界面元件、诸如扬声器、振铃器、麦克风、显示器等的至少一些功能的用户界面电路。处理器12和/或包括处理器的用户界面电路可以被配置为通过在对于处理器可访问的存储器(例如，存储器14，和/或等等)上存储的计算机程序指令(例如，软件和/或固件)控制一个或者多个用户界面元件的一个或者多个功能。然而在其它实施例中，设备10可以未包括用户界面18。

设备10可以包括被配置为捕获包括手势、诸如挥手的图像的一系列图像帧的相机20或者其它图像捕获元件或者以其他方式与该相机20或其它图像捕获元件关联或者通信。在一个示例实施例中，相机20与处理器12通信。如上所述，相机20可以是用于捕获图像以分析、显示和/或传输的任何装置。例如，相机20可以包括能够从捕获的图像形成数字图像文件的数码相机。因此，相机20包括为了从捕获的图像创建数字图像文件而必需的所有硬件、诸如透镜或者其它光学器件以及软件。可选地，相机20可以仅包括为了观看图像而需要的硬件，而存储器14存储呈为了从捕获的图像创建数字图像文件而必需的软件的形式的用于由处理器12执行的指令。在一个示例实施例中，相机20还可以包括辅助处理器12处理图像数据的处理元件、诸如协同处理器以及用于压缩和/或解压图像数据的编码器和/或解码器。编码器和/或解码器可以根据联合图像专家组(JPEG)标准格式编码和/或解码。可以在存储器14中存储记录的图像以用于将来观看和/或操纵。

设备10也可以包括被配置为捕获雷达信号序列的雷达处理器22或者以其他方式与雷达处理器关联或者通信，该雷达信号序列指示对象，诸如产生手势(诸如挥手)的用户的手的存在和移动。雷达支持对象检测系统，该对象检测系统利用电磁波、诸如无线电波以检测对象的存在、它们的移动速度和方向、以及它们距雷达传感器22的范围。从对象弹回、例如反射的发射波被雷达传感器22检测到。在一些雷达系统中，可以基于发射波与反射波之间的时间差确定至对象的范围。另外，可以通过检测多普勒频移来检测对象朝着或者远离雷达传感器22的移动。此外，可以通过具有两个或者更多接收器信道的雷达传感器22借助角度估计方法、例如波束成形来确定至对象的方向。雷达传感器22可以由多种雷达设备，诸如多普勒雷达系统、调频连续波(FMCW)雷达或者脉冲/超宽带雷达中的任何雷达设备体现。

可以参照图2的流程图描述由一个示例实施例的方法、设备和计算机程序产品执行的操作。就这一点而言，图2的块30图示了设备10可以包括用于接收一系列图像帧的装置，诸如图像捕获设备，例如相机20、处理器12等。就这一点而言，一系列图像帧可以是一系列连续的图像帧。如图2的块32中所示，这一实施例的设备10还可以包括用于接收雷达信号序列的装置，诸如雷达传感器22、处理器12等。雷达传感器22和图像捕获设备(诸如相机20)一般同时操作并且通常具有公共视野，使得所得图像帧和雷达信号提供关于相同手势的信息。

然后可以处理一系列图像帧和雷达信号序列，并且可以针对一系列图像帧和针对雷达信号序列确定相应评估分数。就这一点而言，针对一系列图像帧的评估分数可以指示手势，这是因为评估分数提供关于在一系列图像帧内识别手势的可能性的指示。相似地，针对雷达信号序列确定的评估分数提供关于在雷达信号序列内识别手势的可能性的指示。

就这一点而言并且如图2的块34中所示，设备10还可以包括用于确定指示手势的针对一系列图像帧的评估分数的装置，诸如处理器12等。就这一点而言，针对一系列图像帧确定评估分数可以基于图像区域中的运动块和运动块在图像帧之间的移位。为了针对一系列图像帧确定评估分数，一个实施例的设备10，诸如处理器12可以执行运动块分析以便识别图像区域中的运动块其中运动块然后被用来确定评估分数。尽管可以根据各种技术分析图像帧并且识别运动块，但是一个实施例的设备10，诸如处理器12可以以图3中图示的和在以下描述的方式识别图像区域中的运动块。

就这一点而言并且如图3中所示，可以如图3中的虚线块所示接收输入数据序列(例如图3中的n至n-3所示)以用于预处理。预处理可以一般包括操作50处的下采样和操作52处的特征提取(例如逐块特征提取)的操作。在特征提取之后，可以在操作54处关于各种不同特征(例如特征F_n、F_n-1、F_n-2、F_n-3等)中的每个特征进行移动块估计。此后，在操作56处，可以基于投影直方图执行运动检测。在一些实施例中，可以针对各种不同的运动方向(例如，完全水平或者0度运动、45度运动、135度运动和/或可以遇到的任何其它适当或者预期方向)计算直方图。在操作58处，可以精化结果以验证检测结果。在一个示例实施例中，可以在操作62处利用色直方图分析以辅助结果精化。此后，在操作60处，可以识别有效手势(例如挥手)。

在一些实施例中，预处理可以包括如以上指示的下采样以便减少可以以其他方式由逐像素噪声引起的影响。在一个示例实施例中，可以对每个输入图像进行平滑和下采样使得可以向下采样图像的对应像素分配预定数目的像素(例如具有4个像素高度的补丁)的平均值。因此，在示例中，工作分辨率将是输入分辨率的1/16。在示例情况下，对于工作图像F_i,j，其中1≤i≤H，1≤j≤W，其中W和H分别是图像的宽度和高度，如果给定长度λ(在一个示例中为10)，可以将图像分割成M×N个方块Z_i,j，而1≤i≤M并且1≤j≤N，其中M＝H/λ并且N＝W/λ，则对于每个块，可以关于描述下采样图像内的像素值的红色、绿色和蓝色通道计算各种统计特性。然后可以从下采样图像提取多个特征。在一个示例实施例中，可以计算以下6个统计特性(或者特征)，包括：亮度的均值L、亮度的方差LV、红色通道的均值R、绿色通道的均值G、蓝色通道的均值B和归一化的红色通道的均值NR。可以如下面的公式1中所示计算归一化的红色值：

nr＝255*r/(r+g+b) (1)

其r、g和b分别是原有三个通道的值。一个示例实施例已经示出归一化的红色值可以经常是可以用来近似地描述在电话相机环境中的皮肤颜色的最简单值。正常地，对于图像中的典型皮肤区域(例如手部和/或脸部)，归一化的红色值与背景对象的那些值比较将是相当大的值。

然后可以关于与在以上描述的示例中提取的6个统计特性(或者特征)对应的数据执行移动块估计。对于手势检测，诸如挥手检测，可以通过校查在当前帧和先前帧的块之间的改变来确定块的移动状态。

更具体而言，如果以下条件成立则可以将块Z_i,j,t(其中t表示帧的索引)视为移动块：

(1)|L_i,j,t-L_i,j,t-1|>θ₁或者NR_i,j,t-NR_i,j,t-1＞θ₂。这一条件强调在连续帧之间的差值。

(2)LV_i,j,t<θ₃。这一条件基于手部区域通常具有均匀颜色分布的事实。

(3)R_i,j,t>θ₄

(4)R_i,j,t>θ₅*G_i,j,t并且R_i,j,t>θ₅*B_i,j,t

(5)R_i,j,t>θ₆*G_i,j,t或者R_i,j,t>θ₆*B_i,j,t

注意条件(3-5)表明红色通道与蓝色和绿色通道比较通常具有相对更大值。

(6)θ₇＜L_i,j,t＜θ₈。这是用于丢弃最明显背景对象的经验条件。在一个示例实施例中，可以分别将以上θ₁-θ₈设置为15、10、30、10、0.6、0.8、10和240。

图4图示了根据一个示例实施例的采样图像序列和对应图像结果。基于采样图像序列，然后可以进行移动块(例如在图4的每个差分图像中的白色块)的确定，使得可以确定一系列直方图以图示手部从图像的右侧向图像的左侧的移动。就这一点而言，图4描绘了具有在t、t-1、t-2、t-3和t-4捕获的移动块的五个图像帧的序列以及对应竖直直方图。可以在一些情况下精化运动检测，这是因为手部的区域通常可以大于块大小。就这一点而言，例如移动块可以基于它们的拓扑被进一步精化。在一个示例实施例中，在其8个连接块邻域中无任何移动块的块可以视为非移动块。因此，例如，在具有用于当前帧的移动块Ω_t＝{Z_i|Mov(Z_i)＝1}的情况下，其中Mov(Z)＝1意指块Z是移动块，可以采用直方图分析以确定不同类型的手势(例如不同类型的挥手，诸如左到右、上到下、前到后或者反之亦然)。然而，以下描述用于左到右检测的具体示例；可以基于所示示例推导用于在其它类型的情况下采用的修改。对于右挥手，可以计算N维竖直投影直方图为：

$H_{i,t}=\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\mathrm{Mov}\left(Z_{j,i,t}\right),1\&le;i\&le;N---\left(3\right)$

可以按照下式确定直方图的左边界BL_t和右边界BR_t：

${\mathrm{BL}}_t=\underset{t}{\min }(H_{i,t}>0)---\left(4\right)$

${\mathrm{BR}}_t=\underset{t}{\max }(H_{i,t}>0)---\left(5\right)$

关于在图4中表示为t、t-1和t-2的连续图像帧，可以对于t-2和t-1帧重复该过程。基于来自最近三帧的数据，可以确定挥手的方向。更具体而言，如果满足以下两个条件，则可以确定检测到的运动对应于序列中的右挥手：

(1)BR_t＞BR_t-1+1并且 $H_{{\mathrm{BL}}_{t-1}+1,t-1}+H_{{\mathrm{BL}}_{t-1},t-1}\&GreaterEqual;3$

(2)BR_t＞BR_t-2+1并且并且|H_i,t-1|＞3

然而，如果相反满足以下两个条件，则可以确定左挥手已经在序列中出现：

(3)BL_t＜BL_t-1-1并且 $H_{{\mathrm{BR}}_{t-1}-1,t-1}+H_{{\mathrm{BR}}_{t-1},t-1}\&GreaterEqual;3$

(4)BL_t＜BL_t-2-1并且并且|H_i,t-1|＞3

为了应对其中手部的轨迹未完全水平，诸如图5中所示0度左到右移动和0度右到左移动的情况，也可以计算用于45度手势的45度直方图、用于135度手势的135度直方图等以用于检测。例如参见图示了35度和135度手势的图5。作为示例，对于45度直方图，以上表达式(3)可以被下式取代：

$H_{k,t}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\left(\mathrm{Mov}\left(Z_{j,i,t}\right)\right|i+j=k),2\&le;k\&le;M+N---\left(6\right)$

相似地，可以运用等式(7)用于在135度直方图中使用：

$H_{k,t}=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}\left(\mathrm{Mov}\left(Z_{j,i,t}\right)\right|j-i=k),1-N\&le;k\&le;M-1---\left(7\right)$

以上条件(有或者无针对检测除了0度之外的角度的修改)可以用于在各种不同定向中的挥手检测。在图4示出了与具有移动块的一系列图像帧关联的竖直直方图的示例。对于前到后挥手，竖直直方图可以被水平直方图取代，并且等式(6)和(7)可以在手部的轨迹未完全竖直时相似地用来估计方向。以下讨论的另一类型的手势是上下手势。就这一点并且参照图5，前到后手势和上下手势可以基于如与设备10限定的显示平面的定向相反的用户的定向和/或重力方向。就这一点而言，在设备平放于桌面或者其它水平表面上，其中相机20面向上方使得显示平面落在水平平面中的实例中，上下手势归因于手部在与显示平面垂直的方向上朝着和远离设备移动，而前到后手势归因于在与显示平面平行的平面中移动。反言之，如果设备被竖直定位，诸如在该设备在位于车辆中时被放置于控制台上使得显示平面落在竖直平面中的实例中被竖直定位，则上下手势将归因于手部在与显示平面平行的平面中相对于重力向上和向下移动，而前到后手势归因于在与显示平面垂直的平面中移动。

为了消除或者减少背景移动所引起的误报警(这可能在驾驶环境或者其中用户移动的其它环境中出现)的可能性，逐域色直方图也可以用来验证检测(如在图3的操作62中指示的那样)。就这一点而言，可以预期挥手将引起大量色分布改变。因此，一些示例实施例可以将帧设计成预定数目的区域或者子区域(例如在一个示例中为6个子区域)，并且可以针对每个子区域确定关于RGB(红、绿和蓝)值的三维直方图。为了使直方图更稳定，每个RGB通道可以从256按比例缩减至8以提供六个512维直方图、例如HC_1,t、HC_2,t、HC_3,t、HC_4,t、HC_5,t、HC_6,t。

在检测到挥手之后，HC_1,t-HC_6,t可以用于验证。具体而言，例如，如果第i个子区域包含移动块，则可以在HC_i,t与HC_i,t-1之间计算平方欧几里得距离。

一旦已经识别了运动块，一个实施例的设备10，诸如处理器12就可以确定图像区域中的平均有效运动块的比率。可以将图像区域中的平均有效运动块的比率定义为一系列图像帧的每个图像中的运动块的平均百分比。如图4中所示，例如，示出了一系列五个图像帧。在图4的图像帧中，运动块由白色方块代表，而图像帧的未被确定为运动块的块有阴影、也就是说用黑色示出。因此，在这一序列的初始图像帧、也就是图4的表示为t-4的最左图像帧中，图像区域包括四个运动块。如将在图4的其它图像帧中所见的，图像帧t-3包括7个运动块，图像帧t-2包括15个运动块，图像帧t-1包括36个运动块，并且图像帧t包括21个运动块。由于每个图像帧均包括用于共计48个块的六行八个块，所以在这一示例中图像区域中的有效移动块的平均百分比是0.41。

一个示例实施例的设备10、诸如处理器12也可以确定运动块在图像帧之间、诸如在暂时相邻图像帧之间的移位。在包括投影直方图的诸如图4中所示的图像帧中，手势的运动方向可以基于投影直方图的第一边界和第二边界在图像帧之间的移动。就这一点而言，如以上描述的那样，第一边界可以是左边界BLt并且第二边界可以是右边界BRt。在图4中所示图像帧中，例如用于帧t的运动块直方图的左边界是1，而用于帧t-3的运动块直方图的左边界是6。在此上下文中基于如与边界在两个相邻帧之间移动的距离相反的、边界跨越序列(诸如5个帧，例如6-1)移动的距离确定移位距离。在这一实施例中，注意帧t-4被留出并且未被考虑，这是因为该帧的运动块数目(例如4)小于最小运动块数目。如以下描述的那样，可以在一个实施例中将最小运动块数目定义为A_total*P_min，其中A_total是图像帧中的块总数并且如以下描述的那样将P_min设定为1/6。在一个实施例中，设备10、诸如处理器12也被配置为通过将在相邻帧之间的运动块移位量除以图像帧的宽度、诸如列数(诸如在图4中描绘的示例实施例中为8)来归一化移位距离。

虽然可以在其中设备10被平放于水平表面上而相机20面向上方的实例中用与关于左右手势在上描述的方式相同的方式确定针对前后手势的移位距离，但是针对上下手势可以不同地定义移位距离。就这一点而言，在其中设备10被平放于水平表面上而相机面向上方的实例中针对上下手势的移位距离可以是针对移动块直方图中左和右边界二者的移位距离之和，这是因为仅左或右直方图边界的移位距离可能不足以检测。另外并且如以下描述的那样，用于上下手势的P_min、P_range、D_min和D_range对于包括前后手势的其它类型手势可以是相同的。

在一个实施例中，设备10可以包括用于如图2的块34中所示的基于图像区域中的运动块和运动块在图像帧之间的移位确定评估分数的装置，诸如处理器12等。就这一点而言，一个实施例的设备10、诸如处理器12可以被配置为确定针对一系列图像帧的评估分数为S_c＝S_cpS_cd，其中S_cp＝(P_mb-P_min)/P_range并且S_cd＝(D_h-D_min)/D_range。就这一点而言，P_mb是在整个图像区域中的平均有效运动块的比率并且可以被定义为在序列的每个图像中的有效运动块的平均百分比。此外，P_min是如按照图像帧中的块总数的百分比(诸如在一个示例中为1/6)表达的、硬件检测所需要的图像中的最小运动块数目。在其中运动块数目小于P_min的实例中，在检测过程期间留出或者放弃为集合I的对应图像帧。D_h是序列中的直方图边界的移位距离。D_min是再次按照直方图边界可以移动的最大量的百分比(诸如在一个示例中为1/8)表达的、用于硬件检测的直方图边界移动的最小距离。P_range和D_range是用于归一化的移动块百分比和直方图边界移位范围。可以通过实验定义用于P_range、D_range、P_min和D_min的值以保证针对S_cp和S_cd的从0到1的均匀分布。然而，其它实施例的设备10、诸如处理器12可以用其它方式基于图像区域中的运动块和运动块在图像帧之间的移位确定针对一系列图像的评估分数。在该示例实施例中，注意S_cp和S_cd二者都具有最大值1和最小值0。

通过关于P_range和D_range的进一步描述，收集的信号数据的分析可以允许设置P_range和D_range使得移动块百分比的预定义百分比(诸如70％)小于P_range，并且挥手序列中的直方图边界移位的预定义百分比(诸如70％)小于D_range。虽然P_range可以小于1/2，但是移动快百分比一般接近挥手序列中的值。对于某些帧、诸如图4中的帧t-1，移动块百分比可以大于P_range，这是因为手部可以覆盖图像的大部分。然而，在来自挥手序列的大多数图像中，将有少于1帧具有很高的移动块百分比。然而，一般P_range值被设定为考虑所有有效帧。关于D_range，值是相似的，但是被定义为在来自挥手序列的预定义数目、例如3个连续帧内的直方图边界移位的平均值。

参照图2的块36，一个实施例的设备10还包括用于确定指示手势、也就是说指示从雷达信号序列识别手势的可能性的针对雷达信号序列的评估分数的装置、诸如处理器12等。在一个实施例中，评估分数的确定基于雷达信号序列中的符号分布和雷达信号序列中的强度分布。就这一点而言，参照图6，该图6图示了雷达传感器22从其中产生手势、诸如挥手的平面44被移位。如将理解的那样，挥手可以相对于雷达传感器22右到左或者相对于雷达传感器左到右移动。不管产生手势的对象、例如手部的移动方向，雷达传感器22可以生成指示从雷达传感器到对象的距离和对象相对于雷达传感器的运动方向的信号。就这一点而言，雷达信号可以包括强度(也就是说幅值)和符号(诸如正或负)，该强度可以代表在产生手势的对象与雷达传感器22之间的距离，该符号与雷达信号关联，取决于对象相对于雷达传感器的运动方向。

通过其中手部相对于雷达传感器从左向右移动的示例，雷达传感器可以提供以下雷达信号：在图6中分别标明为1、2、3、4和5的20、13、11、-12、-20。在这一实施例中，雷达信号的强度是指检测到的径向多普勒速率，这些速率继而在恒定手部速度下与对象到雷达传感器22的距离有关，而雷达信号的符号表示移动方向、也就是说手部是否在正号的情况下正朝着雷达传感器移动或者在负号的情况下正远离雷达传感器移动。前述雷达信号序列因此指示手部如渐减的正强度所指示的迫近雷达传感器22并且然后如随后减增的负强度所指示的远离雷达传感器移动。

基于雷达信号，设备10、诸如处理器12可以最初确定由雷达信号r_i组成并且具有长度N的雷达信号序列R的绝对值的均值。绝对值的均值有利地超过预定阈值以保证雷达信号序列代表手势而不是简单的随机背景移动。在绝对值的均值满足预定阈值使得雷达信号序列被认为代表手势的实例中，设备、诸如处理器可以确定手势是否与显示平面平行或者与显示平面垂直。在一个实施例中，设备、诸如处理器可以确定是否诸如通过小于预定阈值来满足该预定阈值。如果小于预定阈值，则可以解释手势与显示平面平行，而如果等于或者超过预定阈值，则可以解释手势与显示平面垂直。

在手势被解释成与显示平面平行的实例中，设备10、诸如处理器20然后可以基于雷达信号序列中的符号分布和雷达信号序列中的强度分布确定评估分数。举例而言，可以将雷达信号序列定义为r_i，其中i＝1,2,3，…N。在这一实施例中，可以将这一序列中的符号分布的有效性E_ori定义为等于(E_ori1+E_ori2)/2。为了确定雷达信号序列中符号分布的有效性，设备10、诸如处理器12可以将雷达信号序列划分成两个部分、也就是说R₁和R₂。R₁和R₂的长度可以分别是N_R1和N_R2。就这一点而言，可以如下定义R₁和R₂：R₁＝{r_i},i＝1,...N_H,R₂＝{r_i},i＝N_H+1...,N。在这一示例中，N_H是雷达信号序列的一半位置并且继而可以被定义为：因此，这一实施例的设备10、诸如处理器12可以定义E_ori1和E_ori2如下：并且在这一示例中，注意如果E_ori1或者E_ori2为负，则相应值将被设置成零。

这一实施例的设备10、诸如处理器12也可以确定雷达信号序列中的强度分布的有效性E_int。在一个示例中，将雷达信号序列中的强度分布的有效性E_int定义为

基于雷达信号序列中的符号分布的有效性E_ori和雷达信号序列中的强度分布的有效性E_int，这一实施例的设备10、诸如处理器12可以确定针对雷达信号序列的评估分数为S_r＝E_oriE_int，其中分数在0与1之间变化。

在确定手势与显示平面垂直的另一实例中，设备10、诸如处理器12可以最初基于确定移动方向。在这一数量大于0的实例中，确定手部迫近设备，而在这一数量小于0的实例中将确定手部远离设备移动。在这一实施例中，强度和分数可以在0与1之间变化并且都可以被设备、诸如处理器确定如下：

如图2的块38中所示，设备10还可以包括用于对评估分数中的每个评估分数进行加权的装置，诸如处理器12等。就这一点而言，可以基于一系列图像帧和雷达信号序列关于手势的识别具有的相关性对针对一系列图像帧和雷达信号序列的评估分数进行加权。在一些实例中，一系列图像帧可以被更高地加权，这是因为一系列图像帧可以提供比雷达信号序列更有价值的用于识别手势的信息。反言之，在其它实例中，雷达信号序列可以被更大地加权，这是因为雷达信号序列可以提供比一系列图像帧更有价值的关于识别手势的信息。因此可以基于多种因素来训练设备10，所述因素诸如为例如由其它类型的传感器输入(例如来自加速度计、陀螺仪等的传感器输入)所确定的设备的环境，以便对与一系列图形帧和雷达信号序列关联的评估分数进行加权，使得如果未最大化则增加成功识别手势的可能性。

就这一点而言，一个实施例的设备10、诸如处理器12可以定义权重因素W＝(W_c,W_r)，其中w_c和w_r分别是与一系列图像帧和雷达信号序列关联的相应权重。尽管通过设备10、诸如处理器120可以用各种方式确定相应权重，但是一个实施例的设备、诸如处理器可以通过例如利用线性判别分析(LDA)、Fisher判别分析或者线性支持向量机(SVM)来确定权重。就这一点而言，确定将向针对一系列图像帧和雷达信号序列的评估分数分配的适当权重与确定分离挥手的两个方向的轴线和/或平面相似。在利用LDA以便确定权重的一个实施例中，设备10、诸如处理器12可以最大化类间距离与类内距离的比值，其中LDA尝试确定线性变换以实现最大类判别。就这一点而言，经典LDA可以尝试确定投影矩阵的列向量跨越的最优判别子空间以最大化在低维向量空间中的数据样本的类间可分离性和类内紧凑性。

如在图2的操作40中所示，设备10可以包括用于融合针对一系列图像帧的评估分数S_c和针对雷达信号序列的评估分数S_r的装置、诸如处理器12等。虽然可以用各种方式融合评估分数，但是设备10、诸如处理器12可以将每个评估分数乘以相应权重，并且可以然后诸如通过将加权的评估分数相加(例如w_cS_c+w_rS_r)来组合加权的评估分数。基于加权的评估分数的组合，诸如通过比较加权的评估分数的组合与阈值，设备10、诸如处理器12可以诸如在加权的评估分数的组合满足阈值(例如超过阈值)的实例中确定一系列图像帧和雷达信号序列是否捕获手势、诸如挥手。

在一个实施例中，可以训练设备10、诸如处理器12以便确定针对多个不同移动的加权的评估分数的组合。因此，可以训练设备10、诸如处理器12以便识别与预定手势、诸如挥手关联的加权的评估分数的组合，并且，反言之，识别未与预定手势关联的加权的评估分数的组合。一个实施例的设备10因此可以包括用于基于针对特殊的一系列图像和特殊的雷达信号序列的加权的评估分数的组合与在训练期间被确定为与预定手势、诸如挥手关联的加权的评估分数的组合和在训练期间被确定为未与预定手势关联的加权的评估分数的组合的相似性识别手势、诸如挥手的装置、诸如处理器12等。例如设备10、诸如处理器12可以利用最近的相邻分类器CNN以基于这些相似性识别手势。

如在图2的操作42中所示，设备10还可以包括用于确定手势运动方向的装置、诸如处理器12等。就这一点而言，设备10、诸如处理器12可以确定第一、例如左边界和/或第二、例如右边界在一系列图像帧之间的移动方向并且基于一个或者两个边界的移动方向可以确定手势的运动方向。实际上，手势的运动方向将与一系列图像的一个或者两个边界的移动方向相同。因而，本发明的一个实施例的方法、设备10和计算机程序产品可以基于来自两个或者更多个传感器的输入有效地识别手势、由此增加可以识别手势和响应于手势采取的动作的可靠性。

如以上描述的那样，图2和图3图示了根据本发明的示例实施例的设备10、方法和计算机程序产品的流程图。将理解的是，流程图的每个块和流程图中的块组合可以通过与执行包括一个或者多个计算机程序指令的软件关联的各种装置、诸如硬件、固件、处理器、电路和/或其它设备来实施。例如以上描述的过程中的一个或者多个过程可以由计算机程序指令体现。就这一点而言，体现以上描述的过程的计算机程序指令可以由采用本发明的一个实施例的设备10的存储器10存储并且由设备的处理器12执行。如将理解的，任何这样的计算机程序指令可以被加载到计算机或者其它可编程设备(例如硬件)上以产生机器使得所得计算机或者其它可编程设备实施在流程图的块中指定的功能。这些计算机程序指令也可以被存储于计算机可读存储器中，该计算机可读存储器可以指引计算机或者其它可编程设备以特定方式起作用，使得在计算机可读存储器中存储的指令产生制造品，该制造品的执行实施在流程图的块中指定的功能。计算机程序指令也可以被加载到计算机或者其它可编程设备上以使一系列操作在计算机或者其它可编程设备上被执行从而产生计算机实施的过程使得在计算机或者其它可编程设备上执行的指令提供用于实施在流程图的块中指定的功能的操作。

因而，流程图的块支持用于执行指定功能的装置的组合和用于执行指定功能的操作的组合。也将理解的是，流程图的一个或者多个块和流程图中的块组合可以由执行指定功能的基于专用硬件的计算机系统实施或者由专用硬件与计算机指令的组合实施。

在一些实施例中，可以修改或者进一步扩大以上描述的操作中的某一操作。另外，在一些实施例中，可以包括附加的可选操作。可以按照任何顺序和任何组合执行对以上操作的修改、添加或者扩大。

这些发明所属领域中的技术人员将想到具有存在于前述描述和关联附图中的教导的益处的这些本发明的许多修改和其它实施例。因此，将理解的是，本发明将不限于公开的具体实施例并且修改和其它实施例旨在被包含于所附权利要求的范围内。而且，虽然前文描述和关联附图在元件和/或功能的某些示例组合的情境中描述了示例实施例，但是应当理解通过替代实施例可以提供元件和/或功能的不同组合而未脱离所附权利要求的范围。就这一点而言，例如，如可以在所附权利要求中的一些权利要求中阐述的那样也设想与以上明确描述的那些元件和/或功能组合不同的元件和/或功能组合。虽然本文采用特定术语，但是仅在通用和描述意义上而并非出于限制的目的来使用它们。

Claims (22)

1.一种方法，包括：

接收一系列图像帧；

接收雷达信号序列；

确定指示手势的针对所述一系列图像帧的评估分数，其中确定所述评估分数包括基于图像区域中的运动块和运动块在图像帧之间的移位确定所述评估分数；

确定指示所述手势的针对所述雷达信号序列的评估分数，其中确定所述评估分数包括基于所述序列中的符号分布和所述序列中的强度分布确定所述评估分数；

对所述评估分数中的每个评估分数进行加权；以及

在所述加权之后融合所述评估分数以识别所述手势。

2.根据权利要求1所述的方法，其中确定针对所述一系列图像帧的所述评估分数包括：

对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块；

从所述下采样图像块提取多个特征；以及

确定所述下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确定所述运动块。

3.根据权利要求2所述的方法，还包括基于投影直方图的第一边界和第二边界的基于相应下采样图像块的所述移动状态确定的移动来确定所述手势的运动方向。

4.根据权利要求1-3中的任一权利要求所述的方法，其中确定针对所述一系列图像帧的评估分数包括基于所述图像区域中的平均运动块比率确定所述评估分数。

5.根据权利要求1-4中的任一权利要求所述的方法，其中所述雷达信号的幅值取决于产生所述手势的对象与雷达传感器之间的距离，并且与所述雷达信号关联的符号取决于所述对象相对于所述雷达传感器的运动方向。

6.根据权利要求1-5中的任一权利要求所述的方法，其中对所述评估分数中的每个评估分数进行加权包括基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与所述评估分数关联的权重。

7.根据权利要求1-6中的任一权利要求所述的方法，还包括在识别所述手势的实例中基于所述一系列图像帧确定所述手势的运动方向。

8.一种设备，包括至少一个处理器和包括计算机程序代码的至少一个存储器，其中所述至少一个存储器和所述计算机程序代码被配置成，通过所述处理器，使所述设备：

接收一系列图像帧；

接收雷达信号序列；

通过基于图像区域中的运动块和运动块在图像帧之间的移位确定指示手势的针对所述一系列图像帧的评估分数来确定所述评估分数；

通过基于所述序列中的符号分布和所述序列中的强度分布确定指示所述手势的针对所述雷达信号序列的评估分数来确定所述评估分数；

对所述评估分数中的每个评估分数进行加权；并且

在所述加权之后融合所述评估分数以识别所述手势。

9.根据权利要求8所述的设备，其中所述至少一个存储器和所述计算机程序代码被配置成，通过所述处理器，使所述设备通过以下操作确定针对所述一系列图像帧的所述评估分数：

对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块；

从所述下采样图像块提取多个特征；以及

确定所述下采样图像块的移动状态以便基于连续图像帧中的相应特征的值的改变确定所述运动块。

10.根据权利要求9所述的设备，其中所述至少一个存储器和所述计算机程序代码还被配置成，通过所述处理器，使所述设备基于投影直方图的第一边界和第二边界的基于相应下采样图像块的所述移动状态确定的移动来确定所述手势的运动方向。

11.根据权利要求8-10中的任一权利要求所述的设备，其中所述至少一个存储器和所述计算机程序代码还被配置成，通过所述处理器，使所述设备通过基于所述图像区域中的平均运动块比率确定针对所述一系列图像帧的评估分数来确定所述评估分数。

12.根据权利要求8-11中的任一权利要求所述的设备，其中所述雷达信号的幅值取决于产生所述手势的对象与雷达传感器之间的距离，并且与所述雷达信号关联的符号取决于所述对象相对于所述雷达传感器的运动方向。

13.根据权利要求8-12中的任一权利要求所述的设备，其中所述至少一个存储器和所述计算机程序代码被配置成，通过所述处理器，使所述设备通过基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与所述评估分数关联的权重来对所述评估分数中的每个评估分数进行加权。

14.根据权利要求8-13中的任一权利要求所述的设备，其中所述至少一个存储器和所述计算机程序代码还被配置成，通过所述处理器，使所述设备在识别所述手势的实例中基于所述一系列图像帧确定所述手势的运动方向。

15.根据权利要求8-14中的任一权利要求所述的设备，还包括：用户界面电路，其被配置成：

有助于用户通过使用显示器来控制所述设备的至少一些功能；并且

使所述设备的用户界面的至少一部分显示于所述显示器上以有助于用户控制所述设备的至少一些功能。

16.一种包括至少一个计算机可读存储介质的计算机程序产品，所述至少一个计算机可读存储介质具有在其中存储的计算机可执行程序代码部分，所述计算机可执行程序代码部分包括被配置成执行以下操作的程序指令：

接收一系列图像帧；

接收雷达信号序列；

通过基于图像区域中的运动块和运动块在图像帧之间的移位确定指示手势的针对所述一系列图像帧的评估分数来确定所述评估分数；

通过基于所述序列中的符号分布和所述序列中的强度分布确定指示所述手势的针对所述雷达信号序列的评估分数来确定所述评估分数；

对所述评估分数中的每个评估分数进行加权；以及

在所述加权之后融合所述评估分数以识别所述手势。

17.根据权利要求16所述的计算机程序产品，其中被配置成确定针对所述一系列图像帧的所述评估分数的所述程序指令包括被配置成执行以下操作的程序指令：

对图像数据进行下采样以生成针对所述一系列图像帧的下采样图像块；

从所述下采样图像块提取多个特征；以及

确定所述下采样图像块的移动状态以便基于在连续图像帧中的相应特征的值的改变确定所述运动块。

18.根据权利要求17所述的计算机程序产品，其中所述计算机可执行程序代码部分还包括被配置成基于投影直方图的第一边界和第二边界的基于相应下采样图像块的所述移动状态确定的移动来确定所述手势的运动方向的程序指令。

19.根据权利要求16-18中的任一权利要求所述的计算机程序产品，其中被配置成确定针对所述一系列图像帧的评估分数的所述程序指令包括被配置成基于在所述图像区域中的平均运动块的比率确定所述评估分数的程序指令。

20.根据权利要求16-19中的任一权利要求所述的计算机程序产品，其中所述雷达信号的幅值取决于产生所述手势的对象与雷达传感器之间的距离，并且与所述雷达信号关联的符号取决于所述对象相对于所述雷达传感器的运动方向。

21.根据权利要求16-20中的任一权利要求所述的计算机程序产品，其中被配置成对所述评估分数中的每个评估分数进行加权的所述程序指令包括被配置成基于线性判别分析、Fisher判别分析或者线性支持向量机确定将与所述评估分数关联的权重的程序指令。

22.根据权利要求16-21中的任一权利要求所述的计算机程序产品，其中所述计算机可执行程序代码部分还包括被配置成在识别所述手势的实例中基于所述一系列图像帧确定所述手势的运动方向的程序指令。