CN104219587A - 一种用于对应用进行操控的方法和装置 - Google Patents

Abstract

本发明的目的是提供一种用于对应用进行操控的方法和装置。根据本发明的方法包括以下步骤：获取视频信息；识别所述视频信息所对应的至少一个操控行为；根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令，其中，所述指令对应信息包括各个操控行为与所述应用的一项或多项控制输入信息的对应关系。

Description

一种用于对应用进行操控的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于对应用进行操控的方法和装置。

背景技术

现有技术中，一些针对大屏幕的体感游戏的操控方式主要包括：通过为游戏主机所配套的三维体感摄像头和专业游戏手柄操控；通过遥控器、空中鼠标等实现运动感测功能；通过特制的传感器设备，如游戏衣，游戏手套等感测玩家的动作。对于非游戏的大屏幕应用而言，一般以常见的遥控器的上、下、左、右、确认、返回等键盘操作为主要操控方式。然而根据现有技术的方式，这些针对大屏幕的游戏或其他应用的硬件设备一般较高，例如，微软的XBOX 360所使用的Kinect体感摄像头的单价在150美元以上。而且，由于现有的对大屏幕应用的体感操控需要将体感操控应用编程接口(Application Programming Interface，API)融入到应用开发过程中，使得具有体感操控功能的应用需要为不同的体感操控API做专门定制，致使具有体感操控功能的应用获得成本一般较高。

发明内容

本发明的目的是提供一种用于对应用进行操控的方法和装置。

根据本发明的一个方面，提供了一种用于对应用进行操控的方法，其中，所述方法包括以下步骤：

a获取视频信息；

b识别所述视频信息所对应的至少一个操控行为；

c根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令，其中，所述指令对应信息包括各个操控行为与所述应用的一项或多项控制输入信息的对应关系。

根据本发明的一个方面，还提供了一种用于对应用进行操控的操控装置，其中，所述操控装置包括：

第一获取装置，用于获取视频信息；

识别装置，用于识别所述视频信息所对应的至少一个操控行为；

确定装置，用于根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令，其中，所述指令对应信息包括各个操控行为与所述应用的一项或多项控制输入信息的对应关系。

与现有技术相比，本发明具有以下优点：能够将用户设备中已有的各个应用的输入信息对应于各种行为，如姿势或动作，从而在用户使用这些应用时，基于识别出的用户姿势或动作来得到对应的输入信息，实现了利用姿势或动作来操控这些应用，而无需修改应用的API。例如，根据本发明的方案，用户可使用姿势来操控智能手机中已有的游戏应用，即以体感游戏的操控方式来操控普通的游戏应用。并且，根据本发明的方案，用户可选择其认为合适的姿势或动作来对应于各个应用输入信息。例如，根据本发明的方案，对于智能电视中的播放视频或音乐的应用，用户可使用其自主选择的动作来进行诸如切换频道或切换歌曲等操作，丰富了用户对应用进行操控的方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示意出了根据本发明的一种用于对应用进行操控的方法流程图；

图2示意出了根据本发明的示例性的操控行为；

图3示意出了根据本发明的一个实施例的系统示意图；

图4示意出了根据本发明的一种用于对应用进行操控的操控装置的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示意出了根据本发明的一种用于对应用进行操控的方法流程图。根据本发明的方法包括步骤S1、步骤S2和步骤S3。

其中，根据本发明的方法通过包含于计算机设备中的操控装置来实现。所述计算机设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述计算机设备包括网络设备和/或用户设备。

其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板、或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、PDA、游戏机、或IPTV等。其中，所述用户设备及网络设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

优选地，所述用户设备可接收摄像头采集的视频信息。

优选地，所述用户设备中包含至少一个应用，例如，游戏，视频播放、健康、教育等应用。

需要说明的是，所述用户设备、网络设备以及网络仅为举例，其他现有的或今后可能出现的用户设备、网络设备以及网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

参照图1，在步骤S1中，操控装置获取视频信息。

优选地，所述视频信息包括但不限于二维视频信息。

更优选地，所述二维视频信息包括但不限于以下至少任一种：

1)摄像头采集的二维视频；

2)摄像头连续采集的二维图像。

3)摄像头每隔预定的时间间隔采集的二维图像。

具体地，所述操控装置获取视频信息的方式包括但不限于以下任一种：

1)操控装置通过二维摄像头采集所述视频信息。

其中，所述二维摄像头包括但不限于常规的二维摄像头，或者体感摄像头的二维图像获取单元。

2)操控装置对三维摄像头所采集的原始视频信息执行二维化处理，以获得所需的视频信息。

3)操控装置接收来自其他设备的视频信息。

例如，应用位于用户设备中，而操控装置位于与该用户设备对应的云端服务器集群中，则操控装置接收来自该用户设备的视频信息。

接着，在步骤S2中，操控装置识别所述视频信息所对应的至少一个操控行为。

其中，所述操控行为包括但不限于任何可用于对应用进行操控的人体的姿势、手势或动作等。

优选地，参照图2，其中以举例形式列出了部分针对手势的操控行为。

具体地，所列举的操控行为包括但不限于：

1)针对识别得到单个目标对象的模式，亦即，单手模式，其相应的操控行为包括但不限于以下行为：

a)单手左、右、上、下单次运动(每次运动必须稍有停顿)；

b)单手左、右、上、下连续运动(每次运动无需停顿)；

c)单手手掌伸开再从后向前握拳；

d)单手握拳再从前向后张开；

e)单手顺时针画圆；

f)单手逆时针画圆；

g)单手举手等等。

2)针对识别得到两个目标对象的模式，亦即，双手模式下的操控行为包括但不限于：

a)包括左手向左运动以及右手向右运动；

b)双手平举同时向上运动；

c)双手平举同时向下运动；

d)双手左右平举再水平闭合；

e)双手闭合平举再水平分开；

f)双手上下平举再垂直闭合；

g)双手闭合平举再垂直分开；

h)双手左右平举再上下摆动；

i)双手手掌伸开再从后向前握拳；

j)双手握拳再从前向后张开；

k)双手分开平举再顺时针画圆；

l)双手分开平举再逆时针画圆等姿势。

并且，根据本发明的方案，可基于用户选择将以上操控行为与控制输入信息相对应，以确定对应用进行操控所需要的操控行为。

其中，所述步骤S2进一步包括步骤S201(图未示)、步骤S202(图未示)和步骤S203(图未示)。

在步骤S201中，操控装置对所述视频信息执行识别操作，以获得所述视频信息对应的至少一个目标对象以及所述至少一个目标对象的行为相关信息。

其中，所述目标对象包括符合预定目标识别模型的对象，例如，将视频图像中符合预定的手掌识别模型的对象作为目标对象。

其中，所述行为相关信息包括但不限于以下至少任一项:

1)目标对象的位置信息；例如，目标对象在图像中的坐标信息等。

2)目标对象的速度相关信息；目标对象的运动方向，平均速度、运动角度、角速度、加速度等。

3)与其他目标对象的相对位置信息；

4)与其他目标对象的相对速度信息；

5)目标对象的角度信息；例如，目标对象相对于视频采集区域中的预定位置和/或预定对象的角度信息等。

6)与其他目标对象的相对角度信息；

7)目标对象的信息的可信度；该可信度用于指示获取的目标对象的信息是否可靠。例如，基于目标对象的预测位置、区域几何特征、颜色特征、纹理特征和前几帧目标对象的相似度来得到目标对象的权重信息和质心信息，作为指示目标对象信息的可信度。

8)与其他目标对象的相对信息的可信度；

9)与其他目标对象的相对运动的平滑度。

具体地，操控装置先基于预定目标识别模型，由所述视频信息中识别至少一个目标对象。接着，操控装置获取被识别的至少一个目标对象各自的行为相关信息。

优选地，操控装置可获取视频信息的图像的区域几何特征、颜色特征、目标对象的纹理特征以及和附近几帧图像的差异等信息，并将获得的信息与预定目标识别模型进行匹配，从而得到符合该预定目标识别模型的至少一个目标对象。

优选地，在对所述视频信息执行识别操作之前，操控装置对所述视频信息执行图像预处理操作，以基于处理后的视频信息执行识别操作。

其中，所述预处理操作包括但不限于以下至少任一种：

1)图像解码操作；例如，将视频信息的图像进行解码，从而得到与该图像对应的灰度图像及彩色空间图像。

2)过滤图像干扰的操作；例如，图像腐蚀操作或图像膨胀操作等。

3)图像空洞相关的处理操作；例如，将图像的空洞连接，以便后面分析处理。

接着，在步骤S202中，操控装置判断所获得的所述至少一个目标对象及相应的行为相关信息是否能够满足与所述至少一个目标对象所对应的行为识别标准。

接着，在步骤S203中，当所获得的目标对象及其行为相关信息满足所述行为识别标准时，操控装置识别所述视频信息中的该目标对象及其行为相关信息为一操控行为。

根据本发明的第一示例，用户在电脑中运行游戏应用时，在步骤S1中，操控装置通过该电脑中的摄像头获取视频信息。接着，在步骤S201中，操控装置基于预定目标识别模型“手掌模型”，由获取的视频信息中识别出两个符合该手掌模型的目标对象，即双手手掌，并得到该两个目标对象在一段时间内的运动速度变化、彼此的相对运动方向以及位置信息作为其行为相关信息。接着，在步骤S202中，操控置根据所获得的该两个目标对象及相应的行为相关信息，判断其满足该游戏应用中操控行为“双手水平闭合”的行为识别标准：“有两个符合手掌模型的目标对象；二者垂直位置相差不大，水平位置相差较大，运动方向相反，而且距离不断缩小，最终二者速度下降为零，距离缩小为零”。则在步骤S203中，操控装置识别获得的视频信息中的两个目标对象及其行为相关信息为“双手水平闭合”的操控行为。

需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何识别所述视频信息所对应的至少一个操控行为的实现方式，均应包含在本发明的范围内。

接着，在步骤S3中，操控装置根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

其中，所述指令对应信息包括各个操控行为与所述应用的一项或多项控制输入信息的对应关系。

其中，所述控制输入信息包括但不限于可用于控制一个或多个应用的输入信息。优选地，所述控制输入信息包括但不限于以下任一项：

1)输入信息的类型信息；

其中，所述输入类型信息包括但不限于以下至少任一种：

i)鼠标输入信息；例如，鼠标左键按下、鼠标左键抬起、鼠标右键按下、鼠标右键抬起、鼠标移动等。

ii)键盘输入信息；例如，键盘某个键值按下、键盘某个键值松开等。

iii)触摸输入信息；例如，触摸按下、触摸移动、触摸抬起和触屏速度等；

iv)应用所支持的其他输入信息；例如，遥控器某个键值按下、遥控器某个键值抬起、游戏手柄某个键值按下和游戏手柄某个键值抬起等。

2)输入位置信息；例如，鼠标光标的位置信息等。

3)应用灵敏度信息；例如，应用延时信息以及鼠标的响应时间等。

继续对前述第一示例进行说明，操控装置根据在步骤S2中识别出的操控行为“双手水平闭合”，以及与该游戏应用对应的指令对应信息，确定与操控行为“双手水平闭合”对应的控制输入信息包括：鼠标按键信息“鼠标左键空格键按下并抬起”；鼠标位置信息“屏幕上半部分”；以及鼠标响应时间信息，并将该控制输入信息发送至该游戏应用，以供该游戏应用基于所接收的控制输入信息来确定待执行的操作指令。

需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息的实现方式，均应包含在本发明的范围内。

优选地，对于所获得的各个控制输入信息，操控装置结合与各个控制输入信息相对应的预定配置信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

其中，所述预定配置信息包括与控制输入信息相关的各类辅助信息。

例如，对于与鼠标相关的控制输入信息，诸如点击鼠标右键等，其预定配置信息包括但不限于光标位置信息、点击延迟信息、鼠标移动速度等信息中的至少任一项。

又例如，对于按键相关的控制输入信息，诸如向下按键等，其预定配置信息包括但不限于按键延迟信息、光标位置信息等信息中的至少任一项。

优选地，操控装置通过执行步骤S4(图未示)和步骤S5(图未示)，来获取与所述应用对应的指令对应信息。

在步骤S4中，操控装置获取与所述应用对应的一个或多个控制输入信息。

具体的，操控装置可通过读取应用的配置文件来获取与该应用对应的一个或多个控制输入信息。

接着，在步骤S5中，操控装置对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为，以获得与所述各个控制输入信息对应的指令对应信息。

其中，操控装置对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为，以获得与所述各个控制输入信息对应的指令对应信息的方式包括但不限于以下任一种：

1)基于用户的选择操作来分别设置与各个控制输入信息对应的一项或多项操控行为；

优选地，可向用户提供包含各种操控行为信息的行为库，以供用户从该行为库中选择对应于各个控制输入信息的操控行为，以获得与各个控制输入信息对应的指令对应信息。

2)基于预定的对应规则来分别设置与各个控制输入信息对应的一项或多项操控行为。例如，基于预存储的默认操控行为与控制输入信息的对应规则，分别将多个默认行为对应于应用中的各个控制输入信息。

优选地，所述一项多项操控行为包括各个操控行为的结束状态。操控装置还可对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为或操控行为的结束状态。

例如，根据一个游戏应用的配置文件，响应于“鼠标左键按下并抬起”的控制输入信息，游戏人物将向上跳跃，响应于“不间断的鼠标键左键并抬起”的控制输入信息，游戏人物正常前进。则操控装置可将用户选择的操控行为或某个默认的操控行为对应于“鼠标左键按下”的控制输入信息，并将该操控行为的结束状态对应于“鼠标左键抬起”的控制输入信息。

根据本发明的一个优选实施例，操控装置还可基于所获得的控制输入信息，并结合应用的预定配置信息来确定相应的操作指令。

其中，所述应用的预定配置信息包括但不限于应用原有的与各项控制输入信息相关的辅助信息。

例如，视频播放应用的原始配置文件中包含两个控制输入信息以及分别对应于该两个控制输入信息的预定配置信息：鼠标左键按下并且鼠标位置在暂停键的区域内；鼠标左键按下并且鼠标位置在播放键的区域内。则操控装置基于如下表所示的对应关系来确定其相应的操作指令。

表1

优选地，根据本发明的方法还包括步骤S6(图未示)。

在步骤S6中，操控装置获取与一个或多个目标对象相对应的行为识别标准。

其中，操控装置获取与一个或多个目标对象对应的行为识别标准的方式包括但不限于以下至少任一种：

1)基于视频信息获得行为识别标准；例如，在进入对控制输入信息“确认键按下”的操控行为进行设定的模式后，操控装置基于对摄像头所采集到的视频信息进行识别，并将识别获得的目标对象“双手”及其运动相关信息“双手闭合平举再水平分开”，作为与该控制输入信息对应的行为识别标准。

2)通过对一项或多项参数进行设置来获得行为识别标准。例如，对于某一操控行为，设置该行为对应的目标对象，目标对象的运动方向和平均运动速度的大小范围，并将所设置的目标对象及其运动方向信息和平均速度信息作为该操控行为的行为识别标准。

优选地，所述行为识别标准可包含于所述应用的配置文件中。

根据本发明的一个优选实施例，所述操控装置包含于位于云端的网络设备中，所述应用位于用户设备中。

其中，所述步骤S1还包括步骤S101(图未示)，所述步骤S3还包括步骤S301(图未示)。

在步骤S101中，操控装置接收来自用户设备的视频信息。

接着，操控装置执行步骤S2和步骤S3来识别所述视频信息所对应的至少一个操控行为，并根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息。

接着，在步骤S301中，操控装置将所确定的控制输入指令发送至用户设备，以使所述用户设备的所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

参照图3，根据本发明的第二示例，用户使用智能电视中视频播放应用，该电视连接到摄像头，接收摄像头采集的视频信息并将其发送至云端服务器。在步骤S101中，位于云端服务器中的操控装置接收来自该电视的视频信息。接着，操控装置通过执行步骤S2和步骤S3，识别出接收的视频信息所对应的操控行为“单手顺时针画圈”，并根据所识别的该操控行为以及预存储的与该视频播放应用对应的指令对应信息，确定与操控行为“单手顺时针画圈”对应的控制输入指令为“遥控器暂停键按下”。接着，在步骤S301中，云端的操控装置将所确定的控制输入指令“触摸暂停键”发送至该电视，以使该电视的该视频播放应用基于所接收的控制输入信息“触摸暂停键”来确定待执行的操作指令。

根据本发明的方法，能够将用户设备中已有的各个应用的输入信息对应于各种姿势或动作，从而在用户使用这些应用时，基于识别出的用户姿势或动作来得到对应的输入信息，实现了利用姿势或动作来操控这些应用，而无需修改应用的API。例如，根据本发明的方法，用户可使用姿势来操控智能手机中已有的游戏应用，即以体感游戏的操控方式来操控普通的游戏应用。并且，根据本发明的方法，用户可选择其认为合适的姿势或动作来对应于各个应用输入信息。例如，根据本发明的方法，对于智能电视中的播放视频或音乐的应用，用户可使用其自主选择的动作来进行诸如切换频道或切换歌曲等操作，丰富了用户对应用进行操控的方式。

图4示意出了根据本发明的一种用于对应用进行操控的操控装置的结构示意图。根据本发明的操控装置包括第一获取装置1，识别装置2和确定装置3。

参照图4，第一获取装置1获取视频信息。

优选地，所述视频信息包括但不限于二维视频信息。

更优选地，所述二维视频信息包括但不限于以下至少任一种：

1)摄像头采集的二维视频；

2)摄像头连续采集的二维图像。

3)摄像头每隔预定的时间间隔采集的二维图像。

具体地，所述第一获取装置1获取视频信息的方式包括但不限于以下任一种：

1)第一获取装置1通过二维摄像头采集所述视频信息。

其中，所述二维摄像头包括但不限于常规的二维摄像头，或者体感摄像头的二维图像获取单元。

2)第一获取装置1对三维摄像头所采集的原始视频信息执行二维化处理，以获得所需的视频信息。

3)第一获取装置1接收来自其他设备的视频信息。

例如，应用位于用户设备中，而操控装置位于与该用户设备对应的云端服务器集群中，则第一获取装置1接收来自该用户设备的视频信息。

接着，在步骤S2中，识别装置2识别所述视频信息所对应的至少一个操控行为。

其中，所述操控行为包括但不限于任何可用于对应用进行操控的人体的姿势、手势或动作等。

优选地，参照图2，其中以举例形式列出了部分针对手势的操控行为。

具体地，所列举的操控行为包括但不限于：

1)针对识别得到单个目标对象的模式，亦即，单手模式，其相应的操控行为包括但不限于以下行为：

a)单手左、右、上、下单次运动(每次运动必须稍有停顿)；

b)单手左、右、上、下连续运动(每次运动无需停顿)；

c)单手手掌伸开再从后向前握拳；

d)单手握拳再从前向后张开；

e)单手顺时针画圆；

f)单手逆时针画圆；

g)单手举手等等。

2)针对识别得到两个目标对象的模式，亦即，双手模式下的操控行为包括但不限于：

a)包括左手向左运动以及右手向右运动；

b)双手平举同时向上运动；

c)双手平举同时向下运动；

d)双手左右平举再水平闭合；

e)双手闭合平举再水平分开；

f)双手上下平举再垂直闭合；

g)双手闭合平举再垂直分开；

h)双手左右平举再上下摆动；

i)双手手掌伸开再从后向前握拳；

j)双手握拳再从前向后张开；

k)双手分开平举再顺时针画圆；

l)双手分开平举再逆时针画圆等姿势。

并且，根据本发明的方案，可基于用户选择将以上操控行为与控制输入信息相对应，以确定对应用进行操控所需要的操控行为。

其中，所述识别装置2进一步包括行为识别装置(图未示)、判断装置(图未示)和操控识别装置(图未示)。

行为识别装置对所述视频信息执行识别操作，以获得所述视频信息对应的至少一个目标对象以及所述至少一个目标对象的行为相关信息。

其中，所述目标对象包括符合预定目标识别模型的对象，例如，将视频图像中符合预定的手掌识别模型的对象作为目标对象。

其中，所述行为相关信息包括但不限于以下至少任一项:

1)目标对象的位置信息；例如，目标对象在图像中的坐标信息等。

2)目标对象的速度相关信息；目标对象的运动方向，平均速度、运动角度、角速度、加速度等。

3)与其他目标对象的相对位置信息；

4)与其他目标对象的相对速度信息；

5)目标对象的角度信息；例如，目标对象相对于视频采集区域中的预定位置和/或预定对象的角度信息等。

6)与其他目标对象的相对角度信息；

7)目标对象的信息的可信度；该可信度用于指示获取的目标对象的信息是否可靠。例如，基于目标对象的预测位置、区域几何特征、颜色特征、纹理特征和前几帧目标对象的相似度来得到目标对象的权重信息和质心信息，作为指示目标对象信息的可信度。

8)与其他目标对象的相对信息的可信度；

9)与其他目标对象的相对运动的平滑度。

其中，所述行为识别装置还包括目标识别装置(图未示)。

具体地，目标识别装置基于预定目标识别模型，由所述视频信息中识别至少一个目标对象。接着，行为识别装置获取被识别的至少一个目标对象各自的行为相关信息。

优选地，目标识别装置可获取视频信息的图像的区域几何特征、颜色特征、目标对象的纹理特征以及和附近几帧图像的差异等信息，并将获得的信息与预定目标识别模型进行匹配，从而得到符合该预定目标识别模型的至少一个目标对象。

优选地，所述行为识别装置还包括预处理装置(图未示)。

在行为识别装置对所述视频信息执行识别操作之前，预处理装置对所述视频信息执行图像预处理操作，以基于处理后的视频信息执行识别操作。

其中，所述预处理操作包括但不限于以下至少任一种：

1)图像解码操作；例如，将视频信息的图像进行解码，从而得到与该图像对应的灰度图像及彩色空间图像。

2)过滤图像干扰的操作；例如，图像腐蚀操作或图像膨胀操作等。

3)图像空洞相关的处理操作；例如，将图像的空洞连接，以便后面分析处理。

接着，判断装置判断所获得的所述至少一个目标对象及相应的行为相关信息是否能够满足与所述至少一个目标对象所对应的行为识别标准。

接着，当所获得的目标对象及其行为相关信息满足所述行为识别标准时，操控识别装置识别所述视频信息中的该目标对象及其行为相关信息为一操控行为。

根据本发明的第一示例，用户在电脑中运行游戏应用，第一获取装置1通过该电脑中的摄像头获取视频信息。接着，行为识别装置基于预定目标识别模型“手掌模型”，由获取的视频信息中识别出两个符合该手掌模型的目标对象，即双手手掌，并得到该两个目标对象在一段时间内的运动速度变化、彼此的相对运动方向以及位置信息作为其行为相关信息。接着，判断装置根据所获得的该两个目标对象及相应的行为相关信息，判断其满足该游戏应用中操控行为“双手水平闭合”的行为识别标准：“有两个符合手掌模型的目标对象；二者垂直位置相差不大，水平位置相差较大，运动方向相反，而且距离不断缩小，最终二者速度下降为零，距离缩小为零”。则操控识别装置识别获得的视频信息中的两个目标对象及其行为相关信息为“双手水平闭合”的操控行为。

需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何识别所述视频信息所对应的至少一个操控行为的实现方式，均应包含在本发明的范围内。

接着，确定装置3根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

其中，所述指令对应信息包括各个操控行为与所述应用的一项或多项控制输入信息的对应关系。

其中，所述控制输入信息包括但不限于可用于控制一个或多个应用的输入信息。优选地，所述控制输入信息包括但不限于以下任一项：

1)输入信息的类型信息；

其中，所述输入类型信息包括但不限于以下至少任一种：

i)鼠标输入信息；例如，鼠标左键按下、鼠标左键抬起、鼠标右键按下、鼠标右键抬起、鼠标移动等。

ii)键盘输入信息；例如，键盘某个键值按下、键盘某个键值松开等。

iii)触摸输入信息；例如，触摸按下、触摸移动、触摸抬起和触屏速度等；

iv)应用所支持的其他输入信息；例如，遥控器某个键值按下、遥控器某个键值抬起、游戏手柄某个键值按下和游戏手柄某个键值抬起等。

2)输入位置信息；例如，鼠标光标的位置信息等。

3)应用灵敏度信息；例如，应用延时信息以及鼠标的响应时间等。

继续对前述第一示例进行说明，确定装置3根据识别装置2识别出的操控行为“双手水平闭合”，以及与该游戏应用对应的指令对应信息，确定与操控行为“双手水平闭合”对应的控制输入信息包括：鼠标按键信息“空格键按下并抬起”；鼠标位置信息“屏幕上半部分”；以及鼠标响应时间信息，操控装置接着将该控制输入信息发送至该游戏应用，以供该游戏应用基于所接收的控制输入信息来确定待执行的操作指令。

需要说明的是，上述举例仅为更好地说明本发明的技术方案，而非对本发明的限制，本领域技术人员应该理解，任何根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息的实现方式，均应包含在本发明的范围内。

优选地，对于所获得的各个控制输入信息，操控装置结合与各个控制输入信息相对应的预定配置信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

其中，所述预定配置信息包括与控制输入信息相关的各类辅助信息。

例如，对于与鼠标相关的控制输入信息，诸如点击鼠标右键等，其预定配置信息包括但不限于光标位置信息、点击延迟信息、鼠标移动速度等信息中的至少任一项。

又例如，对于按键相关的控制输入信息，诸如向下按键等，其预定配置信息包括但不限于按键延迟信息、光标位置信息等信息中的至少任一项。

优选地，所述操控装置还包括第二获取装置(图未示)和设置装置(图未示)。

第二获取装置获取与所述应用对应的一个或多个控制输入信息。

具体的，第二获取装置可通过读取应用的配置文件来获取与该应用对应的一个或多个控制输入信息。

接着，设置装置对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为，以获得与所述各个控制输入信息对应的指令对应信息。

其中，设置装置对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为，以获得与所述各个控制输入信息对应的指令对应信息的方式包括但不限于以下任一种：

1)基于用户的选择操作来分别设置与各个控制输入信息对应的一项或多项操控行为；

优选地，可向用户提供包含各种操控行为信息的行为库，以供用户从该行为库中选择对应于各个控制输入信息的操控行为，以获得与各个控制输入信息对应的指令对应信息。

2)基于预定的对应规则来分别设置与各个控制输入信息对应的一项或多项操控行为。例如，基于预存储的默认操控行为与控制输入信息的对应规则，分别将多个默认行为对应于应用中的各个控制输入信息。

优选地，所述一项多项操控行为包括各个操控行为的结束状态。设置装置还可对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为或操控行为的结束状态。

例如，根据一个游戏应用的配置文件，响应于“鼠标左键按下并抬起”的控制输入信息，游戏人物将向上跳跃，响应于“不间断的鼠标键左键并抬起”的控制输入信息，游戏人物正常前进。则设置装置可将用户选择的操控行为或某个默认的操控行为对应于“鼠标左键按下”的控制输入信息，并将该操控行为的结束状态对应于“鼠标左键抬起”的控制输入信息。

根据本发明的一个优选实施例，操控装置还可基于所获得的控制输入信息，并结合应用的预定配置信息来确定相应的操作指令。

其中，所述应用的预定配置信息包括但不限于应用原有的与各项控制输入信息相关的辅助信息。

例如，视频播放应用的原始配置文件中包含两个控制输入信息以及分别对应于该两个控制输入信息的预定配置信息：鼠标左键按下并且鼠标位置在暂停键的区域内；鼠标左键按下并且鼠标位置在播放键的区域内。则操控装置基于如下表所示的对应关系来确定其相应的操作指令。

表2

优选地，根据本发明的操控装置还包括标准获取装置(图未示)。

标准获取装置获取与一个或多个目标对象相对应的行为识别标准。

其中，标准获取装置获取与一个或多个目标对象对应的行为识别标准的方式包括但不限于以下至少任一种：

1)基于视频信息获得行为识别标准；例如，在进入对控制输入信息“确认键按下”的操控行为进行设定的模式后，标准获取装置基于对摄像头所采集到的视频信息进行识别，并将识别获得的目标对象“双手”及其运动相关信息““双手闭合平举再水平分开””，作为与该控制输入信息对应的行为识别标准。

2)通过对一项或多项参数进行设置来获得行为识别标准。例如，对于某一操控行为，设置该行为对应的目标对象，目标对象的运动方向和平均运动速度的大小范围，并将所设置的目标对象及其运动方向信息和平均速度信息作为该操控行为的行为识别标准。

优选地，所述行为识别标准可包含于所述应用的配置文件中。

根据本发明的一个优选实施例，所述操控装置包含于位于云端的网络设备中，所述应用位于用户设备中。

其中，所述第一获取装置1还包括接收装置(图未示)，所述确定装置3还包括发送装置(图未示)。

接收装置接收来自用户设备的视频信息。

接着，识别装置2执行识别所述视频信息所对应的至少一个操控行为的操作，确定装置3执行根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息的操作。

接着，发送装置将所确定的控制输入指令发送至用户设备，以使所述用户设备的所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

参照图3，根据本发明的第二示例，用户使用智能电视中视频播放应用，该电视连接到摄像头，接收摄像头采集的视频信息并将其发送至云端服务器。位于云端服务器中的接收装置接收来自该电视的视频信息。接着，操控装置的识别装置2识别出接收的视频信息所对应的操控行为“单手顺时针画圈”，确定装置3根据所识别的该操控行为以及预存储的与该视频播放应用对应的指令对应信息，确定与操控行为“单手顺时针画圈”对应的控制输入指令为“遥控器暂停键按下”。接着，云端的发送装置将所确定的控制输入指令“触摸暂停键”发送至该电视，以使该电视的该视频播放应用基于所接收的控制输入信息“触摸暂停键”来确定待执行的操作指令。

根据本发明的方案，能够将用户设备中已有的各个应用的输入信息对应于各种姿势或动作，从而在用户使用这些应用时，基于识别出的用户姿势或动作来得到对应的输入信息，实现了利用姿势或动作来操控这些应用，而无需修改应用的API。例如，根据本发明的方案，用户可使用姿势来操控智能手机中已有的游戏应用，即以体感游戏的操控方式来操控普通的游戏应用。并且，根据本发明的方案，用户可选择其认为合适的姿势或动作来对应于各个应用输入信息。例如，根据本发明的方法，对于智能电视中的播放视频或音乐的应用，用户可使用其自主选择的动作来进行诸如切换频道或切换歌曲等操作，丰富了用户对应用进行操控的方式。

本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (18)

1.一种用于对应用进行操控的方法，其中，所述方法包括以下步骤：

a获取视频信息；

b识别所述视频信息所对应的至少一个操控行为；

c根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令，其中，所述指令对应信息包括各个操控行为与所述应用的一项或多项控制输入信息的对应关系。

2.根据权利要求1所述的方法，其中，所述方法还包括以下步骤：

m获取与所述应用对应的一个或多个控制输入信息；

n对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为，以获得与所述各个控制输入信息对应的指令对应信息。

3.根据权利要求1或2所述的方法，其中，所述步骤c还包括以下步骤：

-对于所获得的各个控制输入信息，结合与各个控制输入信息相对应的预定配置信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

4.根据权利要求1至3中任一项所述的方法，其中，所述步骤b还包括以下步骤：

b1对所述视频信息执行识别操作，以获得所述视频信息对应的至少一个目标对象以及所述至少一个目标对象的行为相关信息；

b2判断所获得的所述至少一个目标对象及相应的行为相关信息是否能够满足与所述至少一个目标对象所对应的行为识别标准；

b3当所获得的目标对象及其行为相关信息满足所述行为识别标准时，识别所述视频信息中的该目标对象及其行为相关信息为一操控行为。

5.根据权利要求4所述的方法，其中，所述步骤b1还包括以下步骤：

-基于预定目标识别模型，由所述视频信息中识别至少一个目标对象。

6.根据权利要求4或5所述的方法，其中，所述步骤b1还包括以下步骤：

-对所述视频信息执行图像预处理操作，以基于处理后的视频信息执行识别操作。

7.根据权利要求4至6中任一项所述的方法，其中，所述方法还包括以下步骤：

-获取与一个或多个目标对象相对应的行为识别标准。

8.根据权利要求4至7中任一项所述的方法，其中，所述行为相关信息包括以下至少任一项:

-目标对象的位置信息；

-目标对象的速度相关信息；

-与其他目标对象的相对位置信息；

-与其他目标对象的相对速度信息。

-目标对象的角度信息；

-与其他目标对象的相对角度信息；

-目标对象的信息的可信度；

-与其他目标对象的相对信息的可信度；

-与其他目标对象的相对运动的平滑度。

9.根据权利要求1至8中任一项所述的方法，其中，所述应用位于用户设备中，其中，所述步骤a包括以下步骤：

-接收来自用户设备的视频信息；

其中，所述步骤c还包括以下步骤：

-将所确定的控制输入指令发送至用户设备，以使所述用户设备的所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

10.一种用于对应用进行操控的操控装置，其中，所述操控装置包括：

第一获取装置，用于获取视频信息；

识别装置，用于识别所述视频信息所对应的至少一个操控行为；

确定装置，用于根据所识别的至少一个操控行为以及与所述应用对应的指令对应信息，来确定与所述至少一个操控行为中的各个操控行为分别对应的控制输入信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令，其中，所述指令对应信息包括各个操控行为与所述应用的一项或多项控制输入信息的对应关系。

11.根据权利要求10所述的操控装置，其中，所述操控装置还包括：

第二获取装置，用于获取与所述应用对应的一个或多个控制输入信息；

设置装置，用于对所获得的各个控制输入信息，分别设置与其对应的一项或多项操控行为，以获得与所述各个控制输入信息对应的指令对应信息。

12.根据权利要求10或11所述的操控装置，其中，所述确定装置还用于：

-对于所获得的各个控制输入信息，结合与各个控制输入信息相对应的预定配置信息，以供所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。

13.根据权利要求10至12中至少任一项所述的操控装置，其中，所述识别装置还包括：

行为识别装置，用于对所述视频信息执行识别操作，以获得所述视频信息对应的至少一个目标对象以及所述至少一个目标对象的行为相关信息；

判断装置，用于判断所获得的所述至少一个目标对象及相应的行为相关信息是否能够满足与所述至少一个目标对象所对应的行为识别标准；

操控识别装置，用于当所获得的目标对象及其行为相关信息满足所述行为识别标准时，识别所述视频信息中的该目标对象及其行为相关信息为一操控行为。

14.根据权利要求13所述的操控装置，其中，所述行为识别装置还包括：

目标识别装置，用于基于预定目标识别模型，由所述视频信息中识别至少一个目标对象。

15.根据权利要求13或14所述的操控装置，其中，所述行为识别装置还包括：

预处理装置，用于对所述视频信息执行图像预处理操作，以基于处理后的视频信息执行识别操作。

16.根据权利要求13至15中任一项所述的操控装置，其中，所述操控装置还包括：

标准获取装置，用于获取与一个或多个目标对象相对应的行为识别标准。

17.根据权利要求13至16中任一项所述的操控装置，其中，所述行为相关信息包括以下至少任一项:

-目标对象的位置信息；

-目标对象的速度相关信息；

-与其他目标对象的相对位置信息；

-与其他目标对象的相对速度信息；

-目标对象的角度信息；

-与其他目标对象的相对角度信息；

-目标对象的信息的可信度；

-与其他目标对象的相对信息的可信度；

-与其他目标对象的相对运动的平滑度。

18.根据权利要求10至17中任一项所述的方法，其中，所述应用位于用户设备中，其中，所述第一获取装置包括：

接收装置，用于接收来自用户设备的视频信息；

其中，所述确定装置还包括：

发送装置，用于将所确定的控制输入指令发送至用户设备，以使所述用户设备的所述应用基于所接收的所述控制输入信息来确定待执行的操作指令。