CN104699233A - 一种对屏幕进行操作控制的方法和系统 - Google Patents

Abstract

本发明公开了一种对屏幕进行操作控制的系统，包括：手势采集模块、手势分析模块以及屏幕；手势采集模块，用于采集操作者的手势信息，并发送给手势分析模块；手势分析模块，用于通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令，根据所述控制指令对屏幕进行操作控制。本发明公开了一种对屏幕进行操作控制的方法。相比于现有技术，本发明所述方案实现起来更为灵活方便。

Description

一种对屏幕进行操作控制的方法和系统

技术领域

本发明涉及视频监控领域，特别涉及一种对屏幕进行操作控制的方法和系统。

背景技术

现有的视频监控系统中，通常采用鼠标键盘或控制杆来对监控屏幕进行操作控制，也就是说，对屏幕进行操作控制，就必须要依赖于鼠标键盘或控制杆，从而实现起来不够灵活方便。

发明内容

有鉴于此，本发明提供了一种对屏幕进行操作控制的方法和系统，实现起来更为灵活方便。

为了达到上述目的，本发明的技术方案是这样实现的：

一种对屏幕进行操作控制的系统，包括：手势采集模块、手势分析模块以及屏幕；

所述手势采集模块，用于采集操作者的手势信息，并发送给所述手势分析模块；

所述手势分析模块，用于通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令，根据所述控制指令对所述屏幕进行操作控制。

一种对屏幕进行操作控制的方法，包括：

采集操作者的手势信息；

通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令；

根据所述控制指令对所述屏幕进行操作控制。

可见，采用本发明所述方案，操作者无需依赖于鼠标键盘或控制杆等设备，只需要作出相应的手势，即可实现对于屏幕的操作控制，从而实现起来更为灵活方便。

附图说明

图1为本发明对屏幕进行操作控制的系统实施例的组成结构示意图。

图2为本发明确定操作者所作出的手势的过程示意图。

图3为本发明对屏幕进行操作控制的方法实施例的流程图。

具体实施方式

针对现有技术中存在的问题，本发明中提出一种对屏幕进行操作控制的方案，操作者无需依赖于鼠标键盘或控制杆等设备，只需要作出相应的手势，即可实现对于屏幕的操作控制。

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步的详细说明。

图1为本发明对屏幕进行操作控制的系统实施例的组成结构示意图。如图1所示，包括：手势采集模块、手势分析模块以及屏幕。

其中，手势采集模块，用于采集操作者的手势信息，并发送给手势分析模块；在实际应用中，手势采集模块可实时地生成包含手势信息的手势图像，并发送给手势分析模块，较佳地，所述手势图像可为深度图像；

手势分析模块，用于通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令，根据所述控制指令对屏幕进行操作控制。

以下分别对图1所示各组成部分的功能等进行详细介绍。

一）手势采集模块

本发明所述方案中，对于手势采集模块如何采集操作者的手势信息不作限制，比如，采用单目摄像机或双目摄像机采集视频，或者，采用深度传感器采集深度信息的设备均可以作为手势采集模块。

手势采集模块通常位于屏幕上方，如图1所示，即采用某种方式架设在屏幕的上方，从而覆盖屏幕前方一定的范围，该范围可称为有效的采集区域，操作者需要位于有效的采集区域内；或者，手势采集模块也可以位于操作者的手上，再或者，还可以采用两者相结合的方式。

通常，当手势采集模块为单目摄像机或双目摄像机等时，则会将手势采集模块架设在屏幕的上方，当手势采集模块为加速度传感器或运动捕捉手套等时，则会将手势采集模块佩戴在操作者的手上。

较佳地，本发明所述方案中，手势采集模块可为：镜头为4mm、覆盖视场角为85度、有效距离为5米的双目摄像机，该型号的双目摄像机已经足以满足日常需求。

双目摄像机可一直处于工作状态，这样，当操作者作出手势时，双目摄像机会实时地生成包含操作者的手势信息的深度图像，并发送给手势分析模块。

其中，双目摄像机生成每一帧深度图像的方式可为：分别获取左右画面（对应于双目摄像机的左右镜头）；依次对获取到的左右画面进行画面匹配、视差计算和深度图像生成，视差计算和深度图像生成可采用绝对差值和（SAD，Sum of AbsoluteDifference）算法来实现，具体实现为现有技术。

二）手势分析模块

手势分析模块可通过对接收到的手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令，根据翻译出的控制指令对屏幕进行操作控制。

对屏幕进行的操作控制可包括：光标归位、光标移动、画面切换、光标锁定、画面缩放、画面滚屏、画面选择、画面布局改变等；当然，此处仅为举例说明，在实际应用中，可能还会进一步包括一些其它的操作控制，不再一一列举。

不同的手势对应于不同的操作控制，较佳地，可如表一所示：

表一不同手势对应的不同操作控制

其中，对于“单手快速移动”这一手势，当手臂的移动方向不为水平或竖直时，可取移动幅度较大的方向作为控制方向；比如，手臂向左下方向移动，其中，向下的移动幅度大于向左的移动幅度，则将下方作为控制方向。

另外，图1所示系统在投入使用之前，需要先进行校准操作，通过校准操作，可确定出操作者的手势移动幅度与光标移动幅度之间的比例关系等。

具体的校准方式可如下所示：单手握拳，使光标归位；单手缓慢移动手臂，使光标移动到屏幕的左上、右上、右下或左下的最大位置，并计算手臂的实际移动幅度与光标的实际移动幅度之间的比例关系。在实际应用中，可令不同高度、不同性别的操作者分别在不同的位置进行上述操作，并计算各次得到的比例关系的均值，将该均值作为校准操作结果，以便图1所示系统能够对不同的操作者和不同的位置均有较好的响应。这样，当图1所示系统投入使用之后，操作者执行“单手缓慢移动”等手势时，即可根据校准操作结果确定出光标的移动位置。

手势分析模块中可具体包括（为简化附图，未图示）：手势识别单元和操控单元。

手势识别单元，用于分别获取每帧深度图像对应的动作编码，并设置一个预定长度的滑动窗口，当滑动窗口每滑动一次之后，分别进行以下处理：将位于滑动窗口内的各连续的深度图像的动作编码组成一个动作编码序列；确定出该动作编码序列对应的手势，并将该手势翻译为对应的控制指令，发送给操控单元；

操控单元，用于根据接收到的控制指令对屏幕进行操作控制。

其中，手势识别单元可针对每帧深度图像，分别对该帧深度图像进行前景信息提取，并将提取出的前景信息分别与预先生成的各人体骨骼模板进行匹配，将匹配成功的人体骨骼模板对应的动作编码作为该帧深度图像对应的动作编码；

另外，手势识别单元还可将组成的动作编码序列分别与预先生成的各手势模板进行匹配，并将匹配成功的手势模板对应的手势作为该动作编码序列对应的手势。

具体地，如果双目摄像机输出的深度图像的帧率较高，那么，可先进行降采样处理，即降低帧率，具体降低多少可根据实际需要而定；另外，可预先设置滑动窗口的长度，具体取值也可根据实际需要而定。

对于每帧深度图像，可直接按照深度信息进行图像分割，从而提取出前景信息，并将提取出的前景信息分别与预先采用真实数据经过人工标定后聚类得到的1024个人体骨骼模板进行匹配，将匹配成功的人体骨骼模板对应的动作编码作为该深度图像对应的动作编码，动作编码可同时体现出操作者的双手的位置和运动趋势。

假设当前滑动窗口内包括的N帧连续的深度图像为深度图像A～深度图像A+N-1（编号表示生成顺序，A和N均为正整数），那么，可将这N帧连续的深度图像对应的动作编码组成一个动作编码序列，并将该动作编码序列分别与预先采用真实数据经过人工标定后聚类得到的64个手势模板进行匹配，将匹配成功的手势模板对应的手势作为该动作编码序列对应的手势，并将该手势翻译为对应的控制指令，根据翻译出的控制指令对屏幕进行操作控制。

需要说明的是，对于表一中所示的不同手势，如“单手握拳”这一手势，如果相邻的两个滑动窗口内确定出的手势相同，那么，可不对后一次确定出的手势进行翻译，以避免进行重复的操作控制，但是，对于如“单手缓慢移动”这一手势，同样的情况则需要对后一次确定出的手势进行翻译，因为用户的手还在移动的话，光标也需要继续移动，也就是说，具体实现方式需要视实际情况而定。

另外，假设当前的时间窗口内包括的N帧深度图像为深度图像A～深度图像A+N-1，那么较佳地，下一个滑动窗口内包括的N帧连续的深度图像可为深度图像A+N～深度图像A+2N-1，依此类推。

基于上述介绍，图2为本发明确定操作者所作出的手势的过程示意图。此处仅为举例说明，在实际应用中，如何确定出操作者所作出的手势可根据实际情况而定，而且，可以采用本领域技术人员能够想到的任意可行的方式，只要能够确定操作者所作出的手势即可。

上述如何进行前景信息提取，如何生成模板及匹配，如何将确定出的手势翻译为对应的控制指令，以及如何根据控制指令对屏幕进行操作控制等均为现有技术。

三）屏幕

本发明中所述的屏幕可为：各种大型显示器、拼接显示器、投影仪等，可以分屏或全屏的方式显示画面；所显示的画面可为：球机或普通摄像机的画面、多摄像机拼接形成的全景画面、业务系统的画面（如电子地图、警力分布图）等。

图3为本发明对屏幕进行操作控制的方法实施例的流程图。如图3所示，包括以下步骤31～33。

步骤31：采集操作者的手势信息。

本步骤中，可实时地生成包含所述手势信息的手势图像。

步骤32：通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令。

本步骤的具体实现方式可为：

分别获取每帧手势图像对应的动作编码；

设置一个预定长度的滑动窗口，当滑动窗口每滑动一次之后，分别进行以下处理：将位于滑动窗口内的各连续的手势图像的动作编码组成一个动作编码序列；确定出该动作编码序列对应的手势，并将该手势翻译为对应的控制指令。

其中，分别获取每帧手势图像对应的动作编码的方式可为：针对每帧手势图像，分别对该帧手势图像进行前景信息提取，并将提取出的前景信息分别与预先生成的各人体骨骼模板进行匹配，将匹配成功的人体骨骼模板对应的动作编码作为该帧手势图像对应的动作编码；

确定出该动作编码序列对应的手势的方式可为：将该动作编码序列分别与预先生成的各手势模板进行匹配，并将匹配成功的手势模板对应的手势作为该动作编码序列对应的手势。

较佳地，上述手势图像可为深度图像。

步骤33：根据所述控制指令对屏幕进行操作控制。

如前所述，对屏幕进行的操作控制可包括：光标归位、光标移动、画面切换、光标锁定、画面缩放、画面滚屏、画面选择、画面布局改变等。

相应地，需要预先通过校准操作，确定出操作者的手势移动幅度与光标移动幅度之间的比例关系。

总之，采用本发明所述方案，操作者无需依赖于鼠标键盘或控制杆等设备，只需要作出相应的手势，即可实现对于屏幕的操作控制，从而实现起来更为灵活方便；

而且，本发明所述方案可应用于各种监控大厅，操作者可在监控大厅内随处操作，不受位置约束；

另外，手势本身是更加贴近人性的操作方式，更加符合人的操作习惯，可减少使用设备所带来的学习开销。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种对屏幕进行操作控制的系统，其特征在于，包括：手势采集模块、手势分析模块以及屏幕；

所述手势采集模块，用于采集操作者的手势信息，并发送给所述手势分析模块；

所述手势分析模块，用于通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令，根据所述控制指令对所述屏幕进行操作控制。

2.根据权利要求1所述的系统，其特征在于，

所述手势采集模块实时地生成包含所述手势信息的手势图像，并发送给所述手势分析模块；

所述手势分析模块中包括：手势识别单元和操控单元；

所述手势识别单元，用于分别获取每帧手势图像对应的动作编码，并设置一个预定长度的滑动窗口，当所述滑动窗口每滑动一次之后，分别进行以下处理：将位于所述滑动窗口内的各连续的手势图像的动作编码组成一个动作编码序列；确定出所述动作编码序列对应的手势，并将该手势翻译为对应的控制指令，发送给所述操控单元；

所述操控单元，用于根据所述控制指令对所述屏幕进行操作控制。

3.根据权利要求2所述的系统，其特征在于，

所述手势识别单元针对每帧手势图像，分别对该帧手势图像进行前景信息提取，并将提取出的前景信息分别与预先生成的各人体骨骼模板进行匹配，将匹配成功的人体骨骼模板对应的动作编码作为该帧手势图像对应的动作编码；

所述手势识别单元将所述动作编码序列分别与预先生成的各手势模板进行匹配，并将匹配成功的手势模板对应的手势作为所述动作编码序列对应的手势。

4.根据权利要求1所述的系统，其特征在于，

所述手势采集模块位于所述屏幕的上方；

或者，所述手势采集模块位于操作者的手上。

5.根据权利要求1、2或3所述的系统，其特征在于，

所述操作控制包括：光标归位、光标移动、画面切换、光标锁定、画面缩放、画面滚屏、画面选择、画面布局改变。

6.一种对屏幕进行操作控制的方法，其特征在于，包括：

采集操作者的手势信息；

通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令；

根据所述控制指令对所述屏幕进行操作控制。

7.根据权利要求6所述的方法，其特征在于，

所述采集操作者的手势信息包括：实时地生成包含所述手势信息的手势图像；

所述通过对所述手势信息进行分析，确定出操作者所作出的手势，并将确定出的手势翻译为对应的控制指令包括：

分别获取每帧手势图像对应的动作编码；

设置一个预定长度的滑动窗口，当所述滑动窗口每滑动一次之后，分别进行以下处理：将位于所述滑动窗口内的各连续的手势图像的动作编码组成一个动作编码序列；确定出所述动作编码序列对应的手势，并将该手势翻译为对应的控制指令。

8.根据权利要求7所述的方法，其特征在于，

所述分别获取每帧手势图像对应的动作编码包括：

针对每帧手势图像，分别对该帧手势图像进行前景信息提取，并将提取出的前景信息分别与预先生成的各人体骨骼模板进行匹配，将匹配成功的人体骨骼模板对应的动作编码作为该帧手势图像对应的动作编码；

所述确定出所述动作编码序列对应的手势包括：

将所述动作编码序列分别与预先生成的各手势模板进行匹配，并将匹配成功的手势模板对应的手势作为所述动作编码序列对应的手势。

9.根据权利要求6、7或8所述的方法，其特征在于，

所述操作控制包括：

光标归位、光标移动、画面切换、光标锁定、画面缩放、画面滚屏、画面选择、画面布局改变。

10.根据权利要求9所述的方法，其特征在于，

该方法进一步包括：预先通过校准操作，确定出操作者的手势移动幅度与光标移动幅度之间的比例关系。