CN102509088A - 一种手部运动检测的方法、装置及人机交互系统 - Google Patents

Abstract

本发明适用于人机交互技术领域，提供了一种手部运动检测的方法、装置及交互系统，所述方法包括：采集图像帧，获取所述图像帧中包含人脸的目标区域，并将目标区域划分为多个子区域；检测目标区域是否存在手部运动信息；在存在时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将目标区域划分为多个运动区域；获取下一帧图像，并检测该图像手部质心是否在运动区域中；在存在时，记录该运动区域的运动特征，并根据该运动特征确定手部的运动检测结果。通过本发明可以简单、快速的检测出手部运动，并提高系统手部运动检测时的抗干扰性能。

Description

一种手部运动检测的方法、装置及人机交互系统

技术领域

本发明属于人机交互技术领域，尤其涉及一种手部运动检测的方法、装置及人机交互系统。

背景技术

随着信息技术的发展，人机交互活动逐渐成为人们日常生活中的一个重要组成部分。鼠标、键盘、遥控器等传统的人机交互设备在使用的自然性和友好性方面都存在一定的缺陷，因此用户迫切希望能通过一种自然而直观的人机交互模式来取代传统设备单一的基于按键的输入和控制方式。

现有的基于手势识别的人机交互模式由于其自然性、直观性、简洁性等特点，被应用的越来越广泛。然而，现有基于手势识别的人机交互模式在进行手部运动的检测时，算法实现复杂度较高，而且抗干扰性较差。

发明内容

本发明实施例的目的在于提供一种手部运动检测的方法，旨在解决现有的手部运动检测方法复杂度较高、抗干扰性较差的问题。

本发明实施例是这样实现的，一种手部运动检测的方法，所述方法包括：

A、采集图像帧，获取所述图像帧中包含人脸的目标区域，并将所述目标区域划分为多个子区域；

B、检测所述目标区域是否存在手部运动信息；

C、在存在时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域；

D、获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

E、在存在时，记录该运动区域的运动特征，并根据该运动特征确定运动检测结果。

本发明实施例的另一目的在于提供一种手部运动检测的装置，所述装置包括：

目标区域获取单元，用于采集图像帧，获取所述图像帧中包含人脸的目标区域，并将所述目标区域划分为多个子区域；

第一检测单元，用于检测所述目标区域是否存在手部运动信息；

区域划分单元，用于在第一检测单元检测结果为是时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域；

第二检测单元，用于获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

运动方向确定单元，用于在第二检测单元检测结果为是时，记录该运动区域的运动特征，并根据该运动特征确定运动检测结果。

本发明实施例的再一目的在于提供一种包括所述手部运动检测装置的人机交互系统。

从上述技术方案可以看出，本发明实施例通过将目标区域划分为多个子区域，再以手部质心所在子区域为中心，将目标区域划分为多个运动区域，来检测运动目标落在所述运动区域的位置。由于每个运动区域对应一个运动特征，手部落在哪个运动区域就可以确定一个运动特征，从而可以快速、准确的识别出手部的运动。而且，因为所述区域为子区域，可有效减少外界轻微抖动所带来的干扰，提高系统抗干扰的性能。

附图说明

图1是本发明实施例一提供的手部运动检测方法的实现流程图；

图2是本发明实施例二提供的手部运动检测方法的实现流程图；

图3是本发明实施例三提供的手部运动检测方法的实现流程图；

图4是本发明实施例四提供的手部运动检测方法的实现流程图；

图5是本发明实施例四提供的手部运动检测方法中质心计算的示例图；

图6是本发明实施例四提供的手部运动检测方法中区域划分的示例图；

图7是本发明实施例五提供的手部运动检测装置的组成结构图；

图8是本发明实施例六提供的手部运动检测装置的组成结构图；

图9是本发明实施例七提供的手部运动检测装置的组成结构图；

图10是本发明实施例八提供的手部运动检测装置的组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明实施例一提供的手部运动检测方法的实现流程，该方法过程详述如下：

在步骤S101中，采集图像帧，获取所述图像帧中包含人脸的目标区域，并将所述目标区域划分为多个子区域。

在本实施例中，人机交互系统(不局限于电视机等其它家电设备)通过内设或者外置的摄像头采集图像序列，该图像序列包含多帧图像。通过预设的人脸检测算法检测采集的图像序列中是否存在包含人脸的图像帧，在存在时，获取该图像帧中包含人脸的目标区域。

在本实施例中，为了减少外界对手部运动检测的干扰，提高系统抗干扰的性能，将划分出来的目标区域划分为多个子区域，优选的是，将划分出来的目标区域划分为N×N个子区域，每个子区域的大小与人脸和摄像头之间距离的远近相关，即距离越远，子区域越小，例如：当人脸和摄像头的距离为3米左右时，将目标区域网格化使得每个子区域为5×5像素大小。

可选的，本实例还包括通过人脸注册的方式对用户设置操作权限，在检测到人脸时，进行人脸识别，通过所述人脸识别确定用户对应的操作权限，若存在相应的权限，则开始执行步骤S102。

在步骤S102中，检测所述目标区域是否存在手部运动信息，在检测结果为“是”时，执行步骤S103，在检测结果为“否”时，继续检测。

在本实施例中，可以通过三帧差分法(不局限于此方法)处理采集的图像序列，设图像序列为I_i(x，y)，其中(x，y)为图像中像素点的位置坐标，i为第i帧图像，则相邻的三帧图像可表示为I_i-1(x，y)、I_i(x，y)和I_i+1(x，y)，相邻两帧图像做差：

Dif_(i，i-1)＝|I_i(x，y)-I_i-1(x，y)|

Dif_(i+1，i)＝|I_i+1(x，y)-I(x，y)|

将得到的两组差值图像二值化后得到：

$B_{(i,i-1)}(x,y)=\left\{\begin{array}{cc}1& {\mathrm{Dif}}_{(i,i-1)}(x,y)>T\\ 0& {\mathrm{Dif}}_{(i,i-1)}(x,y)\≤T\end{array}\right.$

$B_{(i+1,i)}(x,y)=\left\{\begin{array}{cc}1& {\mathrm{Dif}}_{(i+1,i)}(x,y)>T\\ 0& {\mathrm{Dif}}_{(i+1,i)}(x,y)\≤T\end{array}\right.$

再对每一个像素点得到的二值化的值进行相与，得到：

$B_i(x,y)=\left\{\begin{array}{cc}1& B_{(i,i-1)}(x,y)\∩B_{(i+1,i)}(x,y)=1\\ 0& B_{(i,i-1)}(x,y)\∩B_{(i+1,i)}(x,y)\≠1\end{array}\right.$

其中，T为预设的阈值，1表示存在手部运动信息，0表示不存在手部运动信息。

在步骤S103中，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域。

在本实施例中，所述起始帧图像为手部进入所述目标区域内的图像，所述多个运动区域至少包括上、下、左、右、前五个区域。

当目标区域被划分为N×N个子区域时，子区域的长

L表示目标区域的长，子区域的宽K表示目标区域的宽，每个子区域内有w×h个像素，子区域的质心表示的是该子区域内像素的中心，质心计算公式如下：

$x=\frac{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{I}_{(i,j)}*i}{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}i}$

$y=\frac{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{I}_{(i,j)}*j}{\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}j}$

其中，I_(i，j)为图像中(i，j)位置的像素值，(x，y)为中心坐标。

在步骤S104中，获取下一帧图像，并检测该图像手部质心是否在所述运动区域中，在检测结果为“是”时，执行步骤S105，在检测结果为“否”时，继续检测。

在本实施例中，检测下一帧图像手部质心是否落在所述运动区域中(例如：上(up)、下(down)、左(left)、右(right)、前五个区域中的任一个)，在检测结果为是时，执行步骤S105，否则继续检测，直到下一帧图像手部质心落在所述运动区域或者检测过程结束。

在步骤S105中，记录该运动区域的运动特征，并根据该运动特征确定手部的运动检测结果。

在本实施例中，每一个运动区域对应一个运动特征，根据运动特征确定手部运动检测结果，在本实施例中，运动检测结果包括手部的运动方向，例如下一帧图像手部质心落在right区域，则该区域的运动特征为{右}，则表示手部的运动方向向右。

针对步骤S104和S105，也可以采用三帧差分法检测手部的运动方向，但是每次都需要通过三帧图像去比较，准确率和效率都不高，而本发明实施例由于划定了运动区域，每个运动区域对应一个运动特征，手部落在哪个运动区域就可以确定一个运动特征，从而可以快速、准确的识别出手部的运动。

作为本发明的另一实施例，所述方法还包括步骤S106：

在步骤S106中，循环执行步骤S104和步骤S105，直到下一帧图像为结束帧图像，获取记录的运动特征集，并根据所述运动特征集确定手部的运动检测结果。

在本实施例中，所述结束帧图像为手部离开所述目标区域的图像。优选的是，还包括在目标区域划分一块静止区域，当检测到手部落在该静止区域的图像时，判定为结束帧图像。另外，还包括当获取的连续多帧图像(例如大于三帧)为相同图像时，将其中的一帧图像作为结束帧图像(表示的是手部落在某个运动区域静止不动的时间大于预设时间)。交互系统在检测到结束帧图像时，结束整个检测过程，并获取记录的运动特征集，所述运动特征集为手部运动特征的集合，根据所述运动特征集可以确定手部的运动检测结果，运动检测结果包括向上、向下、向左，向右、上下来回挥手和左右来回挥手。

实施例二：

图2示出了本发明实施例二提供的手部运动检测方法的实现流程，该方法过程详述如下：

在步骤S201中，采集图像帧，通过基于类矩形特征的Adaboost或者haar人脸检测算法检测采集的图像帧中是否存在人脸；

在步骤S202中，当采集的图像帧中存在人脸，且所述人脸在预设时间内静止不动时，以所述人脸位置为中心，划分出一块包含人脸以及左右肩上方的长方形目标区域，并将所述目标区域划分为多个子区域。

在本实施例中，系统通过内设或者外置的摄像头采集图像序列，该图像序列包含多帧图像。通过预设的人脸检测算法检测采集的图像帧中是否存在人脸，当采集的图像帧中存在人脸，且所述人脸在预设时间内(例如：10秒)静止不动时，以所述人脸位置为中心，划分出一块包含人脸以及左右肩上方的长方形目标区域，作为运动检测的区域。其中，所述人脸检测算法包括但不局限于类矩形特征的Adaboost、haar特征算法。

在本实施例中，步骤S203-步骤S207与实施例一中的步骤S102-步骤S106相同，在此不再赘述。

实施例三：

图3示出了本发明实施例三提供的手部运动检测方法的实现流程，该方法过程详述如下：

在步骤S301中，采集图像帧，获取所述图像帧中包含人脸的目标区域，并将所述目标区域划分为多个子区域。

本步骤与实施例一中步骤S101相同，在此不再赘述。

在步骤S302中，通过三帧差分法处理采集的图像；

在步骤S303中，将处理得到的图像二值化后，再经去噪处理获得清晰图像；

在本实施例中，由于二值化后的图像会存在许多的小区域或者是小间隙，因此需要对其进行相应的去噪处理以获取清晰的图像。其中，去噪处理的过程包括但不局限于采用腐蚀运算将孤立的小区域去除，再用膨胀运算将小间隙填充。

在步骤S304中，检测所述清晰图像中的目标区域是否存在手部运动信息，在检测结果为“是”时，执行步骤S305，在检测结果为“否”时，继续检测。

在本实施例中，检测所述清晰图像中的目标区域是否存在手部运动信息，即检测去噪处理后图像的目标区域的子区域中像素值不为零的数量，在检测到像素值不为零的数量大于预设阈值时，则判定该目标区域存在手部运动，执行步骤S305，否则，继续检测。

在本实施例中，步骤S305-步骤S308与实施例一中的步骤S103-步骤S106相同，在此不再赘述。

实施例四：

图4示出了本发明实施例四提供的手部运动检测方法的实现流程，该方法过程详述如下：

在步骤S401中，采集图像帧，获取所述图像帧中包含人脸的目标区域，并将所述目标区域划分为多个子区域；

在步骤S402中，通过三帧差分法检测所述目标区域是否存在手部运动信息，在检测结果为“是”时，执行步骤S403，在检测结果为“否”时，继续检测；

步骤S401和步骤S402与实施例一中步骤S101和步骤S102相同，在此不再赘述。

在步骤S403中，根据所述手部运动信息，获取含有手部运动块的子区域，即各像素值不为0的子区域，计算像素值不为0的个数在该子区域内的权值，根据计算得到权值，通过以下公式确定起始帧图像手部质心所在子区域的准确位置：

$x_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×x_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

$y_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×y_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

其中，n为不相邻的手部运动块的个数，(x_m，y_m)为子区域中心所在的位置，w、h分别为子区域的长和宽，num为第m个子区域相邻八连通域内像素值为零的个数，Num为第m个子区域内像素值不为零的个数。

在步骤S404中，以所述质心所在子区域为中心，将所述目标区域划分为多个运动区域。

在本实施例中，所述多个运动区域至少包括上、下、左、右、前五个区域。

步骤S405-步骤S407与实施例一中的步骤S104-步骤S106相同，在此不再赘述。

举例说明上述步骤

1、交互系统通过内设或者外置的摄像头采集连续的12帧图像，通过Adaboost或者haar算法检测采集的图像帧，当检测到采集的图像帧中存在人脸，且所述人脸在预设时间内静止不动时，以所述人脸位置为中心，划分出一块包含人脸以及左右肩上方的长方形目标区域，并将所述目标区域划分为多个子区域。

2、通过三帧差分法处理采集的图像，将处理得到的图像二值化后，再经去噪处理获得清晰图像。

3、检测所述清晰图像的目标区域是否存在手部运动。

4、在存在时，获取含有手部运动块的子区域，即各像素值不为0的子区域，计算像素值不为0的个数在该子区域内的权值，根据计算得到权值，确定所述图像帧中起始帧图像手部质心所在子区域的位置。

统计采集的12帧图像，如果在某一帧图像之前检测不到手部运动，即手部运动质心坐标为零，其后连续3帧图像检测到手部运动，即质心坐标不为零，则通过此帧图像之前图像质心坐标为零，此帧图像之后图像质心坐标不为零，即可判断手部在这一帧中进入目标区域，为起始帧图像。

其中，质心的计算过程如图5所示：

图5中的目标区域被划分成6×6个子区域，其中只有图中标号为1到6的子区域含有手部运动信息，且不相邻的手部运动块个数为n＝2，分别是1、2、3、4子区域包含的手部运动块和5、6子区域包含的手部运动块。1-6个子区域内像素值不为0的个数所占的权值分别为N×N/4，N×N/4，N×N×3/4，N×N×3/4，N×N×1/2，N×N/4，相邻的八连通域中八个子区域中存在手部运动块的个数分别为3、3、3、3、1、1，则手部质心所在位置为：

$(x_c,y_c)=\frac{\frac{1}{4}\×3\×(x_1,y_1)+\frac{1}{4}\×3\×(x_2,y_2)+\frac{3}{4}\×3\×(x_3,y_3)+\frac{3}{4}\×3\×(x_4,y_4)+\frac{1}{2}\×1\×(x_5,y_5)+\frac{1}{4}\×1\×(x_6,y_6)}{\frac{1}{4}\×3+\frac{1}{4}\×3+\frac{3}{4}\×3+\frac{3}{4}\×3+\frac{1}{2}\×1+\frac{1}{4}\×1}$

在确定起始帧图像手部质心所在子区域的位置后，以该质心所在子区域为中心，将所述目标区域划分为上(up)、下(down)、左(left)、右(right)、前等五个运动区域(如图3所示)。其中，前区域的大小要适中(目标区域大小的五分之一)，太小不足以判别前的动作，太大则容易造成误判。

由于三帧差分法所检测出来的是手部的形状轮廓，所以在外界抖动的干扰下，可能会存在多个不相邻的手部运动快，需要预先设定一个阈值，在不相邻的某个区域的手部运动块的个数大于所述阈值时，才将该区域的手部运动块计算在内。例如：当阈值T＝3时，图2中5和6子区域组成的手部运动块将不会计算在内。

5、以起始帧图像手部质心所在子区域为中心，将所述目标区域划分为上(up)、下(down)、左(left)、右(right)、前等五个区域(如图6所示)。获取下一帧图像，并检测该图像手部质心所在区域位置，看其落在上(up)、下(down)、左(left)、右(right)、前中的哪个区域，并记录该区域的运动特征。例如落在right区域，则该区域的运动特征为{右}，确定手部的运动方向为向右。

6、继续获取下一帧图像，确定该帧图像所在质心区域位置，并记录该区域的运动特征，直到检测到手部离开所述目标区域，则结束整个检测过程。根据记录得到的运动特征集{左，右，左...右}，确定手部运动为左右来回挥手。

实施例五：

图7示出了本发明实施例五提供的手部运动检测装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该手部运动检测装置可以是运行于各交互系统内的硬件单元或者软硬件相结合的单元。

该手部运动检测装置包括目标区域获取单元71、第一检测单元72、区域划分单元73、第二检测单元74、运动方向确定单元75。其中，各单元的具体功能如下：

目标区域获取单元71，用于采集图像帧，获取所述图像中包含人脸的目标区域，并将所述目标区域划分为多个子区域。

第一检测单元72，用于检测所述目标区域是否存在手部运动信息。

区域划分单元73，用于在第一检测单元72检测结果为是时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域。

第二检测单元74，用于获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

运动方向确定单元75，用于在第二检测单元74检测结果为是时，记录该运动区域的运动特征，并根据该运动特征确定手部的运动检测结果。

可选的，本实施例还可以包括手部运动确定单元76，用于在检测到结束帧图像时，根据运动方向确定单元记录的运动特征集确定手部的运动检测结果，所述起始帧图像为手部进入所述目标区域内的图像，所述结束帧图像为手部离开所述目标区域的图像或者手部落在静止区域的图像。

在本实施例中，所述结束帧还包括当获取的连续多帧图像(例如大于三帧)为相同图像时，将其中的一帧图像作为结束帧图像(表示的是手部落在某个运动区域静止不动的时间大于预设时间)，所述多个运动区域包括上、下、左、右、前五个区域。

本实施例提供的手部运动检测装置可以使用在前述对应的手部运动检测方法，详情参见上述手部运动检测方法实施例一的相关描述，在此不再赘述。

实施例六：

图8示出了本发明实施例六提供的手部运动检测装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该手部运动检测装置可以是运行于各交互系统内的硬件单元或者软硬件相结合的单元。

该手部运动检测装置包括目标区域获取单元81、第一检测单元82、区域划分单元83、第二检测单元84、运动方向确定单元85以及手部运动确定单元86。其中，各单元的具体功能如下：

目标区域获取单元81，用于采集图像帧，获取所述图像中包含人脸的目标区域，并将所述目标区域划分为多个子区域。其中，所述目标区域获取单元81还包括检测模块811和划分模块812：

所述检测模块811用于通过基于类矩形特征的Adaboost或者haar人脸检测算法检测采集的图像帧中是否存在人脸；

划分模块812，用于在所述检测模块811检测到采集的图像帧中存在人脸，且所述人脸在预设时间内静止不动时，以所述人脸位置为中心，划分出一块包含人脸以及左右肩上方的长方形目标区域。

第一检测单元82，用于检测所述目标区域是否存在手部运动信息。

区域划分单元83，用于在第一检测单元82检测结果为是时，根据所述手部运动信息，确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域。

第二检测单元84，用于获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

运动方向确定单元85，用于在第二检测单元84检测结果为是时，记录该运动区域的运动特征，并根据该运动特征确定手部的运动检测结果。

手部运动确定单元86，用于在检测到结束帧图像时，根据运动方向确定单元记录的运动特征集确定手部的运动检测结果，所述起始帧图像为手部进入所述目标区域内的图像，所述结束帧图像为手部离开所述目标区域的图像或者手部落在静止区域的图像。

在本实施例中，所述结束帧还包括当获取的连续多帧图像(例如大于三帧)为相同图像时，将其中的一帧图像作为结束帧图像(表示的是手部落在某个运动区域静止不动的时间大于预设时间)，所述多个运动区域包括上、下、左、右、前五个区域。

本实施例提供的手部运动检测装置可以使用在前述对应的手部运动检测方法，详情参见上述手部运动检测方法实施例二的相关描述，在此不再赘述。

实施例七：

图9示出了本发明实施例七提供的手部运动检测装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该手部运动检测装置可以是运行于各交互系统内的硬件单元或者软硬件相结合的单元。

该手部运动检测装置包括目标区域获取单元91、第一检测单元92、区域划分单元93、第二检测单元94、运动方向确定单元95以及手部运动确定单元96。其中，各单元的具体功能如下：

目标区域获取单元91，用于采集图像帧，获取所述图像中包含人脸的目标区域，并将所述目标区域划分为多个子区域。

第一检测单元92，用于检测所述目标区域是否存在手部运动信息。其中，所述第一检测单元92还包括第一处理模块921、第二处理模块922以及检测模块923：

所述第一处理模块921用于通过三帧差分法处理采集的图像；

所述第二处理模块922用于将处理得到的图像二值化后，再经去噪处理获得清晰图像；

所述检测模块923用于检测所述清晰图像中的目标区域是否存在手部运动信息。

区域划分单元93，用于在第一检测单元92检测结果为是时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域。

第二检测单元94，用于获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

记录单元95，用于在第二检测单元94检测结果为是时，记录该运动区域的运动特征，并根据该运动特征确定手部的运动检测结果。

手部运动确定单元96，用于在检测到结束帧图像时，根据运动方向确定单元记录的运动特征集确定手部的运动检测结果，所述起始帧图像为手部进入所述目标区域内的图像，所述结束帧图像为手部离开所述目标区域的图像或者手部落在静止区域的图像。

在本实施例中，所述结束帧图像还包括当获取的连续多帧图像(例如大于三帧)为相同图像时，将其中的一帧图像作为结束帧图像(表示的是手部落在某个运动区域静止不动的时间大于预设时间)，所述多个运动区域包括上、下、左、右、前五个区域。

本实施例提供的手部运动检测装置可以使用在前述对应的手部运动检测方法，详情参见上述手部运动检测方法实施例三的相关描述，在此不再赘述。

实施例八：

图10示出了本发明实施例八提供的手部运动检测装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

该手部运动检测装置可以是运行于各交互系统内的硬件单元或者软硬件相结合的单元。

该手部运动检测装置包括目标区域获取单元101、第一检测单元102、区域划分单元103、第二检测单元104、运动方向确定单元105以及手部运动确定单元106。其中，各单元的具体功能如下：

目标区域获取单元101，用于采集图像帧，获取所述图像中包含人脸的目标区域，并将所述目标区域划分为多个子区域。

第一检测单元102，用于检测所述目标区域是否存在手部运动信息。

区域划分单元103，用于在第一检测单元102检测结果为是时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域。其中，所述区域划分单元103还包括计算模块1031：

所述计算模块1031用于获取含有手部运动块的子区域，根据以下公式计算起始帧图像手部质心所在子区域的位置，

$x_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×x_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

$y_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×y_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

其中，n为不相邻的手部运动块的个数，(x_m，y_m)为子区域中心所在的位置，w、h分别为子区域的长和宽，num为第m个子区域相邻八连通域内像素值为零的个数，Num为第m个子区域内像素值不为零的个数。

第二检测单元104，用于获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

运动方向确定单元105，用于在第二检测单元104检测结果为是时，记录该运动区域的运动特征，并根据该运动特征，确定手部的运动方向。

手部运动确定单元106，用于在检测到结束帧图像时，根据运动方向确定记录的运动特征集，确定手部的运动，所述起始帧图像为手部进入所述目标区域内的图像，所述结束帧图像为手部离开所述目标区域的图像或者手部落在静止区域的图像。

在本实施例中，所述结束帧图像还包括当获取的连续多帧图像(例如大于三帧)为相同图像时，将其中的一帧图像作为结束帧图像(表示的是手部落在某个运动区域静止不动的时间大于预设时间)，所述多个运动区域包括上、下、左、右、前五个区域。

本实施例提供的手部运动检测装置可以使用在前述对应的手部运动检测方法，详情参见上述手部运动检测方法实施例四的相关描述，在此不再赘述。

本领域技术人员可以理解为上述实施例五至八所述装置所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

在本发明实施例中，通过将目标区域划分为多个子区域，再以手部质心所在子区域为中心，将目标区域划分为多个运动区域，来检测运动目标落在所述运动区域的位置。由于每个运动区域对应一个运动特征，手部落在哪个运动区域就可以确定一个运动特征，从而可以快速、准确的识别出手部的运动。而且，因为所述区域为子区域，可有效减少外界轻微抖动所带来的干扰，提高系统抗干扰的性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种手部运动检测的方法，其特征在于，所述方法包括：

A、采集图像帧，获取所述图像帧中包含人脸的目标区域，并将所述目标区域划分为多个子区域；

B、检测所述目标区域是否存在手部运动信息；

C、在存在时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域；

D、获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

E、在存在时，记录该运动区域的运动特征，并根据该运动特征确定手部的运动检测结果。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

F、循环执行步骤D和E，直到下一帧图像为结束帧图像时，获取记录的运动特征集，并根据所述运动特征集确定手部的运动检测结果，所述起始帧图像为手部进入所述目标区域内的图像，所述结束帧图像为手部离开所述目标区域的图像或者手部落在静止区域的图像。

3.如权利要求2所述的方法，其特征在于，所述结束帧图像还包括当获取的连续多帧图像为相同图像时，将其中的一帧图像作为结束帧图像。

4.如权利要求1所述的方法，其特征在于，所述获取图像帧中的包含人脸的目标区域具体包括：

通过基于类矩形特征的Adaboost或者haar人脸检测算法检测采集的图像帧中是否存在人脸；

当采集的图像帧中存在人脸，且所述人脸在预设时间内静止不动时，以所述人脸位置为中心，划分出一块包含人脸以及左右肩上方的长方形目标区域。

5.如权利要求1所述的方法，其特征在于，所述步骤B具体包括：

通过三帧差分法处理采集的图像；

将处理得到的图像二值化后，再经去噪处理获得清晰图像；

检测所述清晰图像中的目标区域是否存在手部运动信息。

6.如权利要求1所述的方法，其特征在于，所述确定起始帧图像手部质心所在子区域的位置具体为：

获取含有手部运动块的子区域，根据以下公式计算起始帧图像手部质心所在子区域的位置，

$x_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×x_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

$y_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×y_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

其中，n为不相邻的手部运动块的个数，(x_m，y_m)为子区域中心所在的位置，w、h分别为子区域的长和宽，num为第m个子区域相邻八连通域内像素值为零的个数，Num为第m个子区域内像素值不为零的个数。

7.一种手部运动检测的装置，其特征在于，所述装置包括：

目标区域获取单元，用于采集图像帧，获取所述图像帧中包含人脸的目标区域，并将所述目标区域划分为多个子区域；

第一检测单元，用于检测所述目标区域是否存在手部运动信息；

区域划分单元，用于在第一检测单元检测结果为是时，根据所述手部运动信息确定所述图像帧中起始帧图像手部质心所在子区域的位置，并以该质心所在子区域为中心，将所述目标区域划分为多个运动区域；

第二检测单元，用于获取下一帧图像，并检测该图像手部质心是否在所述运动区域中；

运动方向确定单元，用于在第二检测单元检测结果为是时，记录该运动区域的运动特征，并根据该运动特征确定手部的运动检测结果。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

手部运动确定单元，用于在检测到结束帧图像时，根据运动方向确定单元记录的运动特征集确定手部的运动检测结果，所述起始帧图像为手部进入所述目标区域内的图像，所述结束帧图像为手部离开所述目标区域的图像或者手部落在静止区域的图像。

9.如权利要求8所述的装置，其特征在于，所述结束帧图像还包括当获取的连续多帧图像为相同图像时，将其中的一帧图像作为结束帧图像。

10.如权利要求7所述的装置，其特征在于，所述目标区域获取单元包括：

检测模块，用于通过基于类矩形特征的Adaboost或者haar人脸检测算法检测采集的图像帧中是否存在人脸；

划分模块，用于在所述检测模块检测到采集的图像帧中存在人脸，且所述人脸在预设时间内静止不动时，以所述人脸位置为中心，划分出一块包含人脸以及左右肩上方的长方形目标区域。

11.如权利要求7所述的装置，其特征在于，所述第一检测单元包括：

第一处理模块，用于通过三帧差分法处理采集的图像；

第二处理模块，用于将处理得到的图像二值化后，再经去噪处理获得清晰图像；

检测模块，用于检测所述清晰图像中的目标区域是否存在手部运动信息。

12.如权利要求7所述的装置，其特征在于，所述区域划分单元包括：

计算模块，用于获取含有手部运动块的子区域，根据以下公式计算起始帧图像手部质心所在子区域的位置，

$x_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×x_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

$y_c=\frac{\underset{n=0}{\mathrm{\Σ}}\underset{m=0}{\mathrm{\Σ}}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}\×y_m}{\mathrm{\Σ}\frac{\mathrm{Num}}{w\×h}\×\frac{(8-\mathrm{num})}{8}}$

其中，n为不相邻的手部运动块的个数，(x_m，y_m)为子区域中心所在的位置，w、h分别为子区域的长和宽，num为第m个子区域相邻八连通域内像素值为零的个数，Num为第m个子区域内像素值不为零的个数。

13.一种人机交互系统，其特征在于，包含权利要求7至12任一项所述手部运动检测装置。

Images