CN102339125A - 信息设备及其控制方法和系统 - Google Patents

Abstract

公开了一种信息设备及其控制方法和系统。它基于用户手检测和跟踪来控制目标系统。利用该方法，摄像头所拍摄的现场视频被自动分析。检测出在视频中的用户手。跟踪用户手并且记录用户手的运动轨迹。根据获得的轨迹，能够识别用户是否已经发出了一些信号和发出哪些信号。在此之后，这些识别出的信号被变换成适合目标系统的命令来执行。这样，用户能够通过挥动手势来实现非接触系统控制。

Description

信息设备及其控制方法和系统

技术领域

本发明涉及非接触控制，具体涉及一种信息设备以及它的控制方法和系统，它允许用户通过挥动手来实现对信息设备的非接触控制。

背景技术

众所周知，在系统控制技术领域，智能的非接触控制是非常有前景的方向之一。而在各种非接触控制方法中，那些基于视觉信息的方法是非常重要的，这是因为视觉信息能够向机器提供像人类那样感知世界的方式。

另外，由于制造技术的快速发展，摄像头装置变得越来越便宜，并且性能变得越来越强。现在，摄像头已经变成了众多信息设备的标准配件，从移动电话到笔记本电脑，从自动提款机到电子布告板，都装配了摄像头。这些都为基于视觉信息的应用提供了坚实的基础。但是，目前在许多情况下，摄像头仅仅起到了一些简单的作用，例如在自动提款机中仅仅被用于记录视觉信息。因此，需要开发出更多的基于视觉信息的方法以扩大具备摄像头功能的电子装置的应用范围。

专利文献1(US5594469)公开了一种手势机器控制系统。在该系统中，通过摄像机检测拍摄用户的现场视频，然后从现场视频中检测用户的手部，并且将检测到的用户手图标显示在屏幕上。随着用户手的移动，屏幕上的图标也随之移动。这样可以调节诸如电视机的音量、对比度、频道、色彩等参数。在该专利文献1中，设置在电视机上的摄像头通过相关技术检测用户的手部。摄像头去除视频的背景，识别用户的手势并且产生要执行的命令。然后，在显示器上显示随着手势而变的各种参数图标。

但是，专利文献1是对视频的背景进行分割来识别用户的手势的，这引起了一些问题。例如，当系统开始工作时，用户不可以立即处于摄像头的前面。实际上，此时除了固定的背景之外，其他任何物体都不应该出现在摄像头前面，否则摄像头拍摄的视频中就会包含很大的噪声，从而降低了后续识别的可靠性。

另外，对比文件1摄像头工作过程中环境照明需要保持不变。一旦环境照明发生变化，也将会产生大量的噪声，从而进一步降低了后续识别的可靠性。

另外，对比文件1是基于手的运动方向来实现对电视机的控制，这就要求设置在电视机上的摄像头在整个处理过程中必须是固定的。否则，摄像头拍摄到的手的运动将会造成对电视机的误操作。因此，需要开发一种可靠性比较高的基于手势的控制技术。

发明内容

本发明的目的是提出一种信息设备及其控制方法和系统，它允许用户通过挥动手来实现对信息设备的非接触控制。

在本发明的第一方面，提出了一种非接触系统控制的方法，所述非接触系统包括：信息设备和摄像头，所述摄像头捕获用户手的现场视频，该方法包括步骤：手检测步骤，在摄像头捕获的现场视频中检测用户的手，以便输出用户手的位置信息；手跟踪步骤，基于用户手的位置信息产生用户手的运动轨迹；轨迹分析步骤，通过对用户手的运动轨迹进行分析以检测出特定的轨迹模式，并产生代表该轨迹模式的信号；以及信号转换步骤，将所述信号转换成目标系统能够执行的命令。

在本发明的第二方面，提出了一种信息设备，具备摄像头并应用于非接触系统中，所述摄像头捕获用户手的现场视频，所述信息设备包括：手检测单元，在摄像头捕获的现场视频中检测用户的手，以便输出用户手的位置信息；跟踪单元，基于用户手的位置信息产生用户手的运动轨迹；轨迹分析单元，通过对用户手的运动轨迹进行分析以检测出预先定义的轨迹模式，并产生代表该轨迹模式的信号；以及信号转换单元，将所述信号转换成目标系统能够执行的命令。

在本发明的第三方面，提出了一种非接触系统，包括上述的信息设备。

利用本发明的上述结构和方法，能够以非接触的方式实现对目标系统的鲁棒的和可靠的控制。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1示出了根据本发明实施例的非接触控制系统的示意图；

图2示出了根据本发明实施例的非接触控制系统的示意性结构框图；

图3是描述根据本发明实施例的控制方法的过程的流程图；

图4是描述检测用户的手的过程的流程图；

图5是描述对用户的手进行跟踪的过程的流程图；

图6是描述检测用户的手的轨迹的过程的流程图；

图7是描述信号转换过程的流程图；

图8示出了根据本发明实施例的动态手势的示意图；

图9示出了根据本发明实施例的命令映射表的示意图；

图10示出了根据如图9所示的四种手势命令来控制电视机的示意性过程；

图11A、图11B和图11C示出了用更多的手势命令来控制电视机的示意性过程；

图12示出了根据本发明实施例的结合了手写识别技术的命令映射表的示意图；

图13示出了利用如图12所示的手势命令来控制电视机的示意性过程；

图14A、14B、14C和14D示出了利用如图12所示的命令来控制电视机的过程；

图15示出了根据本发明的实施例被拍摄对象用摄像机进行自拍的过程的示意图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。

图1示出了根据本发明实施例的非接触控制系统的示意图。如图1所示，根据本发明实施例的非接触控制系统具备诸如计算机之类的信息设备100、正对着用户设置的摄像头110和展示屏120在工作过程中，用户的手130处于摄像头110的拍摄范围之中，以便拍摄用户手的现场视频。用户的手的现场视频将被摄像头110捕获，并且被输入到信息设备100中。根据本发明的另一实施例，摄像头110可以集成到信息设备100中，例如带摄像头的笔记本电脑或者数码相机。

该信息设备100能够检测和跟踪用户的手。根据用户的手的运动轨迹，在信息设备100的屏幕上显示的光标的位置被重新定位。接下来，信息设备100将该轨迹与预设模式进行比较，能够实现各种控制，例如左点击或右点击。这样，用户150能够通过手势来控制与信息设备连接的目标系统，或者控制信息设备内的目标系统。

图2示出了根据本发明实施例的非接触控制系统的示意性结构框图。如图2所示，摄像头110在用户150挥动他的手130时，捕获现场视频，并且将其输入到信息设备100中。信息设备100基于该现场视频产生与该挥动过程相对应的控制命令，发送给目标系统140，控制目标系统的操作。如上所述，这里的目标系统140也可以是信息设备的一部分。

在信息设备105的存储单元中存储了预先设定的用户手的图像，以及至少一个预定的轨迹模式，例如‘V’、‘Λ’和‘O’等，它们分别对应于诸如‘左键点击’、‘右键点击’和‘双击’之类的信号。

如图2所示，信息设备100中配备的手检测单元101接收来自摄像头的现场视频，并且通过用预先设定的手的图像或者模型来匹配现场视频的每一帧画面。如果存在匹配的画面，则认为该现场视频中存在手的图像。

另外，信息设备100中配备有手跟踪单元102，它根据手检测单元101的检测结果来产生手的运动轨迹曲线。轨迹分析单元103将存储单元105中预先存储的轨迹模式与记录的运动轨迹进行比较。一旦有匹配的轨迹模式，则信号转换单元104将与匹配的轨迹模式相对应的命令作为记录的轨迹所代表的命令。最后，通过信号转换单元104将信号转换成适合目标系统140执行的命令。

如图2所示，在信息设备100中还配备了方便用户150进行自定义手的图像和轨迹模式的定义单元106。当用户150要定义自己特有的手时，通过摄像头100拍摄手的图像，并且将拍摄的图像作为手的模板存在的在存储单元105中。另外，用户150还可以输入特定的轨迹模式，例如‘m’等来设定自己特有的轨迹模式。

下面结合流程图来描述根据本发明实施例的控制方法和信息设备的各个单元的具体操作过程。图3是描述根据本发明实施例的控制方法的过程的流程图。

在步骤S31，用户150在摄像头110前挥动他的手，以便控制信息设备100的屏幕上的光标的动作。在步骤S32，信息设备100的例如计算机中的摄像头110捕获该用户的手的现场视频，并且将其输入到信息设备的手检测单元101中。

接下来，在步骤S33，手检测单元101接收来自摄像头的现场视频，并且通过用预先设定的手的图像来匹配现场视频的每一帧画面。如果存在匹配的画面，则认为该现场视频中存在手的图像。

在步骤S34，手跟踪单元102根据手检测单元101的检测结果来产生手的运动轨迹曲线。轨迹分析单元103将存储单元105中预先存储的轨迹模式与记录的运动轨迹进行比较。一旦有匹配的轨迹模式，则在步骤S35，信号转换单元104将与匹配的轨迹模式相对应的命令作为记录的轨迹所代表的命令。最后，在步骤S36，通过信号转换单元104将信号转换成适合目标系统140执行的命令。

图4是描述对用户的手进行检测的过程的流程图。如图4所示，在步骤S41，手检测单元101利用诸如模版匹配或者纹理匹配之类的技术，根据存储单元105中存储的用户手的模板检测捕获的现场视频，并且在步骤S42判断其中是否有用户的手。如果没有，则流程转到步骤S41，继续检测，否则，在步骤S43，手检测单元输出手的位置。该手的位置可以用来定位屏幕上的光标，也可以用于产生手的运动轨迹。

根据本发明的实施例，也可以使用其他的算法，例如Adaboost算法或者其他对象/运动检测算法来从现场视频中检测用户的手。

如上所述，在进行手检测之前，可能需要事先定义用户的手。该定义的手的图像将随后用于检测和跟踪。

图5是描述对用户的手进行跟踪的过程的流程图。如图5所示，在跟踪之前的步骤S51，应该获得了手的信息。然后，在步骤S52，手跟踪单元例如使用均值漂移跟踪方法为该用户的手创建一个跟踪器，并用用户手的色彩纹理等信息来初始化该跟踪器。在步骤S53，当该手跟踪单元开始工作时，连续地更新视频帧。对于每个新的帧，跟踪器将搜索与其最相似的区域，该区域的信息与用户手的信息匹配。根据本发明的实施例，手跟踪单元也可以使用其他的跟踪方法，例如条件概率密度传播方法等等。

在步骤S54，一旦实现来稳定的跟踪，手跟踪单元102将获得每帧中的位置信息和区域。这样，根据检测的手的位置信息和区域，按照时间顺序就能够创建手的运动轨迹。

图6是描述检测用户手的轨迹的过程的流程图。在对用户手的轨迹进行分析之前，要首先定义轨迹模式。轨迹模式用于检测轨迹中的特定形状。例如，通过定义单元106创建自己独特的轨迹模式，由于创建的模式是用户独有的，用户可以在不同的应用中都使用自己独有的轨迹模式来操作这些设备。

当轨迹分析单元103开始工作时，从手跟踪单元102获得检测的轨迹。然后在步骤S62用存储单元105中存储的所有预先设定的轨迹模式来分析该轨迹模式。在步骤S63，当检测到特定的轨迹模式时，轨迹分析单元103就输出与该模式相对应的信号。这样，用户150可以利用自己的手势来向目标系统发出信号。

根据本发明的实施例，在从现场视频中获得用户手的轨迹后，使用小波边界描述符(wavelet boundary descriptor)或者其他的特征抽取算法来获得轨迹的鲁棒特征，例如这些特征具有平移、尺度和旋转不变性。另外，这些特征可以被用来对用户的手势进行识别。轨迹分析单元103可以使用SVM(Support Vector Machine)算法或者其他的分类算法来进行识别。识别出的结果输出到信号转换单元104中。

图7是描述信号转换过程的流程图。从轨迹分析单元103输出的信号对应于用户150的手势。但是，它们仍旧不能被目标系统140执行，由于目标系统140并不能理解这些动作。因此，在信号转换单元104中，在步骤S71，获取与分析得到的轨迹相对应的信号，并且在步骤S72将所有的信号转换成合适的命令。在此之后，在步骤S73，信号转换单元104将命令输出。

图8是描述根据本发明实施例的手势的示意图。在该实施例中，定义了16中不同的轨迹，它们可以分别表示不同的命令，例如打开、关闭、快进、后退、退出等。用户可以选择自己喜欢的手势来控制诸如电视机之类的信息设备。例如，用户选择第1个手势来表示“打开”命令，选择第3个手势来表示“下一个”命令，选择第4个手势来表示“上一个”命令，选择第2个手势来表示“关闭”命令。图9示出了选择的手势和命令之间的对应关系。利用用户自己确定的手势命令，可以实现对电视机的操作进行控制。

图10示出了利用如图9所示的手势命令来控制电视机的操作的过程。如图10所示，在电视机待机的情况下，用户挥动手势，发出“打开”命令，从而打开电视机。然后，用户要选择下一频道时，它挥动手势，发出“下一个”命令，则电视机的频道切换到协议频道。当用户要选择上一个频道时，他挥动手势，发出“上一个”命令，则电视机的频道切换到上一个频道。此时，如果用户想要关闭电视机，他挥动手势，发出“关闭”命令，则电视机收到命令后转入待机状态。

另外，用户还可以增加其他的手势来进行控制。例如，如果用户想要实现更为复杂的操作，则它发出“调用”命令，调出系统菜单，然后选择想要的功能。图11A、11B和11C示出了用更多的手势命令来控制电视机的示意性过程。

如图11A所示，当用户要打开电视机时，它挥动手势，发出“打开”命令，电视机处于第1个频道。如果用户想要切换频道，其挥动手势，发出“下一个”命令，电视频道从当前的第1频道切换到第2频道。在观看了一段时间后，用户想要切换到上一频道，则用户挥动手势，发出“上一个”命令，电视频道从当前的第1频道切换到上一频道，即第1频道。在此之后，如果用户想要调出功能菜单，则发出“召”命令，调用系统菜单，并且焦点处于系统菜单的第一个项目上，或者其他的默认项目，如图11A所示的“退出”项。

如图11B，在这种情况下，用户想要选择下一项目，则挥动手势，发出“下一个”命令，焦点转移到“音量”项上。用户然后挥动手势，发出“打开”命令，以便调节音量。打开音量项目后，屏幕上出现了关于音量的滑动块，可以左右滑动来调节音量。此时，用户挥动手势，发出“下一个”命令，使得滑动块向右移动，增大音量。当用户想要降低音量时，挥动手势，发出“上一个”命令，来降低音量。

在确定音量之后，如图11C所示，用户挥动手势，发出“关闭”命令，关闭音量菜单，返回到系统功能菜单。用户然后再次发出“关闭”命令，使得系统功能菜单关闭，开始正常显示第1频道的节目。在此之后，如果用户想要关闭电视机，则挥动手势，发出“关闭”命令，电视机处于待机状态。

以上描述的是使用简单的手势来操作电视机的过程。但是本领域的技术人员也可以使用更为复杂的方法来操作电视机。例如可以将手写识别技术与上述的手势识别技术相结合来识别用户发出的信号，进而转换成目标系统可执行的相应命令。图12示出了根据本发明实施例的结合了手写识别技术的命令映射表的示意图。

根据本发明的实施例，在摄像头跟踪用户手的运动的过程中，就自然获得了用户的手的轨迹。换言之，当用户在空中写下一个汉字或者其他字符时，系统能够取得用户的手写轨迹，然后将其识别为相应的汉字或者字符，进而转换成相应的命令。例如用户在空中写下中文字符“开”、“关”、“上”、“下”和“召”来发送上述的“打开”、“关闭”、“下一个”、“上一个”、“调用”命令。图12示出了在空中写下的字符与相应的命令之间的对应关系。这样，在直接模式下，用户可以在空中直接写下频道号的阿拉伯数字，来选择相应的频道。

如图13所示，用户通过在空中写下汉字“开”、“下”、“上”和“关”来向电视机发出命令，进行相应的控制过程。

图14A、14B、14C和14D示出了利用如图12所示的命令来控制电视机的过程。如图14C所示，通过在空中写下相应的汉字作为命令来将电视机的当前工作模式切换到直接模式。这样，在功能菜单中，焦点切换到“直接模式”项。在这种情况下，用户直接在空中写下阿拉伯数字1、2、3、4、5、6、7、8、9或10等来直接选择相应的频道。当用户想要关闭功能菜单时，其在空中写下汉字“关”，这样就退出直接模式，如图14D所示。

图15示出了根据本发明的实施例被拍摄对象用摄像机进行自拍的过程的示意图。如上所述，可以将摄像头110、信息设备100和目标设备140中的二者或三者集成在同一设备之中，例如将本发明实现在数码摄像机之中，来方便用户进行自拍。

众所周知，传统的自拍方式需要用户首先对准要拍摄的视野固定相机，设定到自动拍摄模式，然后用户离开摄像机，进入拍摄视野，等待拍摄。当到达拍摄的时间阈值后，相机自动进行拍摄，从而完成自拍过程。

但是，这样的自拍方式有一些问题。例如用户不好设定合适的时间。时间太短的话，用户还来不及进入拍摄视野，就进行了自拍。时间太长的话，用户被迫长时间保持一个姿态，导致拍摄的照片不理想。这都会导致拍摄失败。

但是，根据本发明的实施例，用户不用设置自拍阈值，而是挥动手势来实现自拍。例如用户首先利用如上所述的方法在摄像机中设置一个自拍手势，作为自拍命令。在自拍时，用户首先将相机设置成自拍模式，对着拍摄视野固定好，然后进入拍摄视野。当包括该用户在内的被拍摄者准备好时，用户挥动手势，发出拍摄命令，然后立即保持自己想要的姿势，摄像机利用上述的方法检测到自拍命令时，就进行自拍，或者延迟几秒，例如2秒，后进行拍摄。这样既能够给用户留下时间来保持姿态，而且不会导致等待时间过长而造成自拍失败。

另外，本发明的实施例提出了用动态的手跟踪技术来代替手势检测技术，从而实现可靠的系统控制。根据本发明实施例的方法，用户使用不同的轨迹模式来向目标系统发出不同的命令，从而执行不同的操作。由于这些轨迹模式在空间和时间上都是唯一的，它们能够保证系统控制的可靠性和准确度。

此外，本发明实施例中，可以采用通用PC摄像头来捕获图像，这不需要增加其他的摄像设备或者视频卡。

如上所述，本发明的设备和方法可以用于摄像头支持信息装置，例如：桌面PC、膝上PC、移动电话、PDA、电子白板、远程控制装置、监控装置等等。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (14)

1.一种非接触系统控制的方法，所述非接触系统包括：信息设备和摄像头，所述摄像头捕获用户手的现场视频，该方法包括步骤：

手检测步骤，在摄像头捕获的现场视频中检测用户的手，以便输出用户手的位置信息；

手跟踪步骤，基于用户手的位置信息产生用户手的运动轨迹；

轨迹分析步骤，通过对用户手的运动轨迹进行分析以检测出特定的轨迹模式，并产生代表该轨迹模式的信号；以及

信号转换步骤，将所述信号转换成目标系统能够执行的命令。

2.如权利要求1所述的方法，其中所述手检测步骤包括：

读取预先存储的用户手的模板或模型；

对用户手的模板或模型和捕获的现场视频中的每一帧执行匹配处理；

在匹配的情况下，输出所述现场视频中的每一帧中的用户手的位置信息。

3.如权利要求1所述的方法，其中所述手跟踪步骤包括：

获取用户手在现场视频的每一帧中的位置信息；

按照时间顺序产生用户手的运动轨迹。

4.如权利要求1所述的方法，其中所述轨迹分析步骤包括：

用预先存储的预定轨迹模式检测产生的运动轨迹；

在用户手的运动轨迹与预定轨迹模式匹配的情况下，产生代表该运动轨迹的信号。

5.如权利要求1所述的方法，还包括在手检测步骤之前，根据用户的需要来定义手势和轨迹模式的步骤。

6.如权利要求5所述的方法，其中所述根据用户的需要来定义手势和轨迹模式的步骤包括：

信息设备向用户呈现多个预定的轨迹模式及目标系统的命令；以及

用户选择想要的轨迹模式，并且将选择轨迹模式与目标系统的一个命令相关联。

7.一种信息设备，具备摄像头并应用于非接触系统中，所述摄像头捕获用户手的现场视频，所述信息设备包括：

手检测单元，在摄像头捕获的现场视频中检测用户的手，以便输出用户手的位置信息；

跟踪单元，基于用户手的位置信息产生用户手的运动轨迹；

轨迹分析单元，通过对用户手的运动轨迹进行分析以检测出预先定义的轨迹模式，并产生代表该轨迹模式的信号；以及

信号转换单元，将所述信号转换成目标系统能够执行的命令。

8.如权利要求7所述的信息设备，其中所述手检测单元读取预先存储的用户手模板，并对用户手模板和捕获的现场视频中的每一帧执行匹配处理，在匹配的情况下，输出所述现场视频中的每一帧中的用户手的位置信息。

9.如权利要求7所述的信息设备，其中所述手跟踪单元获取用户手在现场视频的每一帧中的位置信息，按照时间顺序产生用户手的运动轨迹。

10.如权利要求7所述的信息设备，其中所述轨迹分析单元用预先存储的预定轨迹模式检测产生的运动轨迹，在用户手的运动轨迹与预定轨迹模式匹配的情况下，产生代表该轨迹模式的信号。

11.如权利要求7所述的信息设备，还包括根据用户的需要来定义用户手势和轨迹模式的定义单元。

12.如权利要求11所述的信息设备，其中所述定义单元向用户呈现多个预定的轨迹模式及目标系统的命令，用户选择想要的轨迹模式，并且将选择轨迹模式与目标系统的一个命令相关联。

13.如权利要求7所述的信息设备，其中所述目标系统与信息设备集成在一起。

14.一种非接触系统，包括如权利要求7所述的信息设备。

Images