CN103135746A - 基于静态姿势和动态姿势的非接触控制方法、系统和设备 - Google Patents

Abstract

公开了基于静态姿势和动态姿势的非接触控制方法、系统和设备。该方法包括步骤：在捕获的现场视频中检测用户手的静态姿势，输出代表检测的静态姿势的信号；在向用户确认了静态姿势后对跟踪用户手的运动，产生用户手的运动轨迹；通过对用户手的运动轨迹进行分析来输出代表该动态姿势的信号；将代表检测的静态姿势的信号和代表动态姿势的信号转换成目标系统能够执行的命令。由于在控制开始时确定用户的静态姿势而在后续过程中仅仅跟踪用户手的轨迹，并且结合用户手的静态姿势和动态姿势来形成对目标设备的控制命令，所以提高了非接触系统的可靠性。

Description

基于静态姿势和动态姿势的非接触控制方法、系统和设备

技术领域

本发明涉及基于用户手姿势的非接触控制，具体涉及一种基于静态姿势和动态姿势的无接触控制方法以及信息设备和系统。

背景技术

众所周知，在系统控制技术领域，智能的非接触控制是非常有前景的方向之一。而在各种非接触控制方法中，那些基于视觉信息的方法是非常重要的，这是因为视觉信息能够向机器提供像人类那样感知世界的方式。

另外，由于制造技术的快速发展，摄像头装置变得越来越便宜，并且性能变得越来越强。现在，摄像头已经变成了众多信息设备的标准配件，从移动电话到笔记本电脑，从自动提款机到电子布告板，都装配了摄像头。这些都为基于视觉信息的应用提供了坚实的基础。但是，目前在许多情况下，摄像头仅仅起到了一些简单的作用，例如在自动提款机中仅仅被用于记录视觉信息。因此，需要开发出更多的基于视觉信息的方法以扩大具备摄像头功能的电子装置的应用范围。

专利文献1(US5454043)提出了一种基于手姿态的控制系统。在该系统中，摄像机捕获用户的实时视频。通过分析图像来确定用户手的静态姿势。对视频中的图像逐幅进行分析来确定一系列的用户手的静态姿势。然后，通过按照时间顺序合成这些静态姿势来确定用户手的动态姿势。最后，将得到的动态姿势用于控制对象并实时显示在显示器上。

但是，专利文献1存在一些技术问题，例如实用性差。由于要针对每一帧图像分析手的静态姿势，所以总是需要用户保持手的形状，从而使得摄像机能够捕获到清晰的手的视频。这会使得用户很容易累。其次，由于动态视频是根据每一帧的图像中的手的静态姿势得到的，所以用户难以适应和学习这样的控制系统。

另外，专利文献1的系统可靠性差，原因在于用户的手的形状在控制过程中会发生明显的变化，这必然会导致静态姿势识别不可靠。如果用户快速挥动手的话，就会导致图像模糊，但是从模糊的图像中识别出手的静态姿势是很难的。

发明内容

本发明的目的是提供一种基于静态姿势和动态姿势的非接触控制方法、信息设备和系统，能够提高非接触控制的可靠性。

在本发明的一个方面，提供了一种控制非接触系统的方法，包括步骤：在捕获的现场视频中检测用户手的静态姿势，以便输出代表检测的静态姿势的信号；在向用户确认了静态姿势后对现场视频进行检测来跟踪用户手的运动，产生用户手的运动轨迹；通过对用户手的运动轨迹进行分析来识别用户手的动态姿势并输出代表该动态姿势的信号；以及将所述代表检测的静态姿势的信号和代表动态姿势的信号的组合转换成目标系统能够执行的命令

在本发明的另一方面，提供了一种信息设备，包括：静态姿势识别单元，在捕获的现场视频中检测用户手的静态姿势，以便输出代表该静态姿势的信号；对象跟踪单元，在向用户确认了静态姿势后对现场视频进行检测来跟踪用户手的运动，产生用户手的运动轨迹；动态姿势识别单元，通过对用户手的运动轨迹进行分析来识别用户手的动态姿势并输出代表该动态姿势的信号；以及信号转换单元，将所述代表检测的静态姿势的信号和代表动态姿势的信号的组合转换成目标系统能够执行的命令。

在本发明的又一方面，提供了一种非接触系统，包括如上所述的信息设备。

利用本发明的上述实施例，由于在控制开始时确定用户的静态姿势而在后续过程中仅仅跟踪用户手的轨迹，并且结合用户手的静态姿势和动态姿势来形成对目标设备的控制命令，所以提高了非接触系统的可靠性。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1示出了根据本发明实施例的非接触控制系统的示意图；

图2示出了根据本发明实施例的非接触控制系统的示意性结构框图；

图3是描述根据本发明实施例的控制方法的过程的流程图；

图4是描述对用户手的静态姿势进行检测的过程的流程图；

图5是描述对用户手进行跟踪的过程的流程图；

图6是描述确定用户手的轨迹和动态姿势的过程的流程图；

图7是描述信号转换过程的流程图；

图8是描述根据本发明实施例的静态姿势和动态姿势的示意图；

图9A和图9B是描述根据本发明实施例的静态姿势和动态姿势的组合的示意图；

图10是描述本发明的实施例的信号转换中使用的命令的示意图；

图11是将本发明实施例的非接触控制方法在电视机控制中的实现的示意图；以及

图12是将本发明实施例的非接触控制方法在可视电话控制中的实现的示意图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。

图1示出了根据本发明实施例的非接触控制系统的示意图。如图1左侧部分所示，根据本发明实施例的非接触控制系统具备诸如计算机之类的信息设备100、摄像头110和显示屏120，用户挥动其手130来对信息设备100进行控制。如图1的右侧图所示，根据本发明的另一实施例，摄像头110可以集成到信息设备100中。根据本发明的又一实施例，非接触控制系统可以不具备显示屏。根据本发明的再一实施例，图1所示的摄像头110与信息设备100的线路连接是示意性的，并不意味着它们在通常情况下必然有线路连接关系，可以通过用户设置的方式来建立连接。例如，用户可以通过键盘输入，将已有的手势组合与相应命令之间的对应关系进行设置，从而建立摄像头与信息设备之间的连接关系。

用户手的静态姿势可以由用户来选择，例如五指张开或者五指并拢，并且它可以由用户自己来定义其他的静态姿势。当系统工作时，该用户手的静态姿势以及此后挥动手产生的轨迹将被摄像头110捕获，并且被输入到信息设备100中。

该信息设备100能够检测用户手的静态姿势并跟踪用户手的运动产生运动轨迹。根据该用户手的静态姿势和运动轨迹与预设模式进行比较，能够实现各种控制，例如打开或者关闭。这样，用户能够自如地用自己的手来来控制与信息设备连接的目标系统，或者控制信息设备内的目标系统。

图2示出了根据本发明实施例的非接触控制系统的示意性结构框图。如图2所示，摄像头110在用户手被用户150挥动时，捕获现场视频，并且将其输入到信息设备100中。信息设备100首先基于该现场视频确定用户手的静态姿势，然后跟踪用户手的轨迹来确定用户手的动态姿势，并且产生静态姿势和动态姿势相对应的控制命令，发送给目标系统140，控制目标系统的操作。如上所述，这里的目标系统140也可以是信息设备的一部分。

在信息设备105的存储单元105中存储了预先设定的用户手的各种静态姿势模板和动态姿势模板。

如图2所示，信息设备100中配备的静态姿势识别单元101接收来自摄像头110的现场视频，并且通过用预先设定的用户手的静态姿势模板来匹配现场视频的每一帧画面。如果存在匹配的画面，则向用户发出提示，表示非接触控制系统确认了用户手的静态姿势。然后，用户挥动他的手，摄像头110继续捕获用户手的视频。在挥动过程中，用户的手可以不用保持静态姿势，而是比较随意地挥动使得能够确定其运动轨迹即可。

信息设备100中配备有对象跟踪单元102，它根据通过对视频进行分析来产生用户手的运动轨迹曲线。动态姿势识别单元103将存储单元105中预先存储的轨迹模式与记录的运动轨迹进行比较。一旦有匹配的轨迹模式，动态姿势识别单元103就确定了用户手的动态姿势。然后，信号转换单元104将与用户手的静态姿势和动态姿势二者相对应的信号作为用户想要输入的信号。最后，通过信号转换单元104将信号转换成适合目标系统140执行的命令。

如图2所示，在信息设备100中还配备了方便用户150进行自定义其手的静态姿势和动态姿势，以及二者的组合的定义单元106。当用户150要定义自己特有的静态姿势时，通过摄像头100拍摄静态姿势的图像，并且将拍摄的图像作为该静态姿势的模板存在的在存储单元105中。另外，用户150还可以输入特定的运动轨迹，作为自己特有的动态姿势。

下面结合流程图来描述根据本发明实施例的控制方法和信息设备的各个单元的具体操作过程。图3是描述根据本发明实施例的控制方法的过程的流程图。

在步骤S31，用户150在摄像头前展示其静态姿势并且在得到非接触系统的确认后按照自己想要发出的信号挥动手，以便控制目标系统140。在步骤S32，信息设备100的例如计算机中的摄像头110捕获用户手的现场视频，并且将其输入到信息设备的静态姿势识别单元101中。

接下来，在步骤S33，静态姿势识别单元101接收来自摄像头的现场视频，并且通过用预先设定的静态姿势的图像来匹配现场视频的每一帧画面。如果存在匹配的画面，则认为该现场视频中存在用户手的静态姿势，向用户发出提示，例如通过声/光信号或者显示屏上的显示向用户确认静态姿势。

在步骤S34，对象跟踪单元102对用户手的视频进行分析来产生用户手的运动轨迹曲线。动态姿势识别单元103将存储单元105中预先存储的运动轨迹模式与记录的运动轨迹进行比较。一旦有匹配的轨迹模式，即得到了用户手的动态姿势，则在步骤S35，信号转换单元104将与用户手的静态姿势和动态姿势二者匹配的信号作为用户想要输入信号。最后，在步骤S36，通过信号转换单元104将用户想要输入的信号转换成适合目标系统140执行的命令。

图4是描述对用户手的静态姿势进行检测的过程的流程图。如图4所示，在步骤S41，静态姿势识别单元101利用诸如模版匹配或者纹理匹配之类的技术，根据存储单元105中存储的用户手静态姿势的模板检测捕获的现场视频，并且在步骤S42判断其中是否有用户手的静态姿势。如果没有，则流程转到步骤S41，继续检测，否则，在步骤S43，静态姿势识别单元101输出检测的用户手特定姿势，例如右手五指张开。根据本发明的实施例，可以采用Adaboost算法或者其他的对象识别算法来识别用户手的静态姿势。

根据本发明的实施例，该静态姿势可以显示在显示屏上，或者通过其他方式向用户确认该静态姿势是否是用户想要的静态姿势。根据本发明的另一实施例，也可以增加其他的信息，例如用户的脸部图像，眼睛，鼻子等来提供附加的信息。

图5是描述对用户手的动态姿势进行跟踪的过程的流程图。如图5所示，在跟踪之前的步骤S51，对象跟踪单元102应该获得了用户手的信息，例如知道视频中有用户的手。然后，在步骤S52，对象跟踪单元102例如使用均值漂移跟踪方法为该用户手创建一个跟踪器，利用用户手的色彩信息来初始化该跟踪器。在步骤S53，当该对象跟踪单元开始工作时，连续地更新视频帧。对于每个新的帧，跟踪器将搜索与其最相似的区域，该区域的信息与特定对象的信息匹配。根据本发明的实施例，对象跟踪单元102也可以使用其他的跟踪方法，例如条件概率密度传播方法等等。

在步骤S54，一旦实现来稳定的跟踪，对象跟踪单元102将获得每帧中的位置信息和区域。这样，根据检测的用户手的位置信息和区域，按照时间顺序就能够创建该用户手的运动轨迹。

图6是描述检测用户手的动态姿势的过程的流程图。在对用户手的动态姿势进行检测之前，要首先定义动态姿势模板。用户手的动态姿势模板用于检测轨迹是否应该被认为是用户想要的动态姿势。

当动态姿势识别单元103开始工作时，从对象跟踪单元102获得检测的轨迹。然后在步骤S62用存储单元105中存储的所有预先设定的动态姿势模板来分析该轨迹模式。在步骤S63，当检测到特定的动态姿势时，动态姿势识别单元103就输出与该动态姿势相对应的信号。

图7是描述信号转换过程的流程图。从静态姿势识别单元102和动态姿势识别单元103输出的信号组合对应于用户150的动作。但是，它们仍旧不能被目标系统140执行，由于目标系统140并不能理解这些动作。因此，在信号转换单元104中，在步骤S71，获取与分析得到的静态姿势和动态姿势相对应的信号，并且在步骤S72将所有的信号转换成合适的命令。在此之后，在步骤S73，信号转换单元104将命令输出。

图8是描述根据本发明实施例的静态姿势和动态姿势的示意图。图8左侧的部分示出了根据本发明实施例定义的两种静态姿势a.1(左手五指张开)和a.2(右手五指张开)，在图8右侧的部分示出了根据本发明实施例定义的六种动态姿势b.1(向右平移)、b.2(向左平移)、b.3(向下运动)、b.4(向上运动)、b.5(逆时针画圈)、b.6(顺时针画圈)。

图9A和图9B是描述根据本发明实施例的静态姿势和动态姿势的组合的示意图。图9A所示为将图8中的静态姿势a.1与六种动态姿势组合的情形，表示为c.1、c.2、c.3、c.4、c.5和c.6。图9B所示为将图8中的静态姿势a.2与六种动态姿势组合的情形，表示为c.7、c.8、c.9、c.10、c.11和c.12。

根据本发明的另一实施例，也可以选择一部分的姿势组合来控制电视机。图10示出了根据本发明另一实施例的在电视机控制中使用的姿势组合以及相应的命令名称的示意图。

如图10所示，选择图9A所示的一组组合姿势来控制电视机，分别对应于命令：“下一个”、“上一个”、“向下”、“向上”、“打开”和“关闭”。

图11是将本发明实施例的非接触方法在电视机控制中的实现的示意图。该电视机配备有摄像头以及具备上述的信息设备的功能。首先，用户使用姿势组合c.5来打开电视机，然后使用姿势组合c.1来选择下一频道。接下来，用姿势组合c.2来将频道切换到上一个频道，用姿势组合c.4来将音量调高，用姿势组合c.3将音量调低。最后，用户使用姿势组合c.6关闭电视机。

根据本发明的另一实施例，也可以增加一个姿势组合c.7来实现“调用”命令。这样，用户可以用姿势组合c.7来调出功能菜单，实现更为复杂的控制过程。

图12是将本发明实施例的非接触控制方法在可视电话控制中的实现的示意图。在图12所示的实施例中，采用了姿势组合c.5来接听电话，用姿势组合c.4来调高音量，用姿势组合c.3来降低音量，用姿势组合c.6来挂掉电话。

在图12所示的方法中，当可视电话机铃声响起时，摄像机自动开始工作。如果用户出现在摄像机前面，他的实时视频被摄像机捕获并且进行分析。一旦合适的姿势组合得到确认，则将该姿势组合转换成相应的命令供可视电话执行，例如，接听电话、调高音量、降低音量以及挂掉电话等。这样，即使用户不用手接触可视电话，也可以自如地接听来电。这样尤其在厨房做饭或者无法用手触及可视电话的情况下非常有用。

如上所述，根据本发明的实施例，当用户手出现在摄像头前移动时，其现场视频将被摄像头所捕获。然后，信息设备将获得该视频并且对该视频进行分析来检测视频中是否存在用户手的静态姿势。接下来，跟踪用户的手，并且记录其运动轨迹。将记录的运动轨迹与预设的轨迹模式进行比较，确定用户手的动态姿势，进而确定与静态姿势和动态姿势相对应的信号。最终，将确定的信号转换成适合目标系统执行的指令。因此，用户能够实现非接触控制过程。

另外，在动态姿势识别之前，用对象跟踪技术来代替对象检测技术，从而实现可靠的系统控制。根据本发明实施例的方法，用户使用静态姿势和动态姿势的组合来向目标系统发出不同的命令，从而执行不同的操作。这大大提高了系统控制的可靠性和准确度。在确认了静态姿势后，无需继续检测用户手的静态姿势，此时用户可以随意挥动自己的手，而不用将手保持为特定的静态姿势，因此用户的体验度得以提高。

此外，本发明实施例中，可以采用通用PC摄像头来捕获图像，这不需要增加其他的摄像设备或者视频卡。

如上所述，本发明的设备和方法可以用于摄像头支持信息装置，例如：电视机、带摄像头的冰箱、待摄像头的空调器、桌面PC、膝上PC、移动电话、PDA、电子白板、远程控制装置、监控装置等等。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (13)

1.一种控制非接触系统的方法，包括步骤：

在捕获的现场视频中检测用户手的静态姿势，以便输出代表检测的静态姿势的信号；

在向用户确认了静态姿势后对现场视频进行检测来跟踪用户手的运动，产生用户手的运动轨迹；

通过对用户手的运动轨迹进行分析来识别用户手的动态姿势并输出代表该动态姿势的信号；以及

将所述代表检测的静态姿势的信号和代表动态姿势的信号的组合转换成目标系统能够执行的命令。

2.如权利要求1所述的方法，其中所述检测用户手的静态姿势的步骤包括：

读取预先存储的特定静态姿势模板；

对特定静态姿势模板和捕获的现场视频中的每一帧执行匹配处理；

在匹配的情况下，发出代表该静态姿势的信号。

3.如权利要求1所述的方法，其中所述对用户手的运动进行跟踪的步骤包括：

利用用户手的信息对跟踪器进行初始化；

用初始化后的跟踪器跟踪用户手的运动，产生用户手的运动轨迹。

4.如权利要求1所述的方法，其中所述识别动态姿势的步骤包括：

用预先存储的预定轨迹模式检测产生的运动轨迹；

在用户手的运动轨迹与预定轨迹模式匹配的情况下，产生代表该动态姿势信号。

5.如权利要求2～4之一所述的方法，还包括在识别静态姿势之前，根据用户的需要来定义用户手的特定静态姿势的步骤。

6.如权利要求2～4之一所述的方法，还包括在识别动态姿势之前，根据用户的需要来定义用户手的特定动态姿势的步骤。

7.一种信息设备，包括：

静态姿势识别单元，在捕获的现场视频中检测用户手的静态姿势，以便输出代表该静态姿势的信号；

对象跟踪单元，在向用户确认了静态姿势后对现场视频进行检测来跟踪用户手的运动，产生用户手的运动轨迹；

动态姿势识别单元，通过对用户手的运动轨迹进行分析来识别用户手的动态姿势并输出代表该动态姿势的信号；以及

信号转换单元，将所述代表检测的静态姿势的信号和代表动态姿势的信号的组合转换成目标系统能够执行的命令。

8.如权利要求7所述的信息设备，其中所述静态姿势识别单元读取预先存储的特定静态姿势模板，对特定静态姿势模板和捕获的现场视频中的每一帧执行匹配处理，并且在匹配的情况下发出代表该静态姿势的信号。

9.如权利要求7所述的信息设备，其中所述对象跟踪单元利用用户手的信息对跟踪器进行初始化，并且用初始化后的跟踪器跟踪用户手的运动，产生用户手的运动轨迹。

10.如权利要求7所述的信息设备，其中所述动态姿势识别单元用预先存储的预定轨迹模式检测产生的运动轨迹，并且在用户手的运动轨迹与预定轨迹模式匹配的情况下，产生代表该动态姿势信号。

11.如权利要求8～10之一所述的信息设备，还包括根据用户的需要来定义用户手的特定静态姿势的定义单元。

12.如权利要求8～10之一所述的信息设备，还包括根据用户的需要来定义用户手的特定动态姿势的定义单元。

13.一种非接触系统，包括如权利要求7～12之一所述的信息设备。

Images