CN105630134A

CN105630134A - 识别操作事件的方法和装置

Info

Publication number: CN105630134A
Application number: CN201410582581.4A
Authority: CN
Inventors: 胡雪莲; 周路璐
Original assignee: Leshi Zhixin Electronic Technology Tianjin Co Ltd
Current assignee: Leshi Zhixin Electronic Technology Tianjin Co Ltd
Priority date: 2014-10-27
Filing date: 2014-10-27
Publication date: 2016-06-01

Abstract

本申请公开了一种识别操作事件的方法和装置。该方法包括：采样时间内，采集目标对象在空间中的运动轨迹的采样点的空间坐标；根据所述空间坐标，创建一操作平面，所述操作平面为根据所述采样点的空间坐标确定的平面；提取所述目标对象的采样点的空间坐标对应在操作平面内的坐标信息；根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息；根据计算出的显示平面上的位置信息，识别所述目标对象的操作事件。本申请使得用户的手掌无论物理距离远近，均可以相同的灵敏度进行手势操控。

Description

识别操作事件的方法和装置

技术领域

本申请涉及体感操控领域，具体涉及一种识别操作事件的方法和装置。

背景技术

体感操控是目前比较先进的人机交互控制，主要的应用包括体感游戏机，体感电视机以及体感智能终端等。体感操控设备的主要原理是：采用深度摄像头，也就是3D摄像头，采用激光反射的方式获得摄像头前方的深度图像，从中识别用户的手掌，采集用户手掌的移动数据，形成用户的移动轨迹，在存储的动作特征库中匹配该移动轨迹对应的动作，完成用户动作的识别，在不同的应用中，各个动作代表的意义不尽相同，将用户动作识别之后，在应用中就可以进行相应的控制操作。体感操控摆脱了鼠标、键盘、手柄等一系列手持或接触类的输入设备，用户一身轻松就可以进行操控，给用户体验带来了全新的感觉。

中国专利申请公开号CN103164696A公开了一种手势识别方法及装置，该方法中包括：对预设时长的三维数据进行拟合，获取拟合操作平面，提取包括每个采样时刻的识别对象的三维数据在拟合操作平面上的投影点的投影轨迹，根据投影轨迹获取识别对象的动作特征，进行手势识别。采用该方案，拟合平面、拟合平面上投影点轨迹的获取，对于距离屏幕远近不同的手势来说，耗费的时间差距较大，用户的感受就是有的迟钝、有的灵敏，用户体验较差。

目前的相关技术中，在采集了用户手掌的移动数据之后，通过读取手掌在图像中移动多少像素来判定手势，由于采集数据、分析数据需要一定的时间，而3D摄像头在使用时，有一定的使用距离的限制，当用户距离摄像头较远的时，反应会稍慢；当用户距离摄像头较近时，采集数据的速度会较快，这样导致距离摄像头近的用户手势识别过于灵敏，距离摄像头远的用户手势识别过于迟钝。

发明内容

本申请所要解决的技术问题在于提供一种识别操作事件的方法和装置，使得距离屏幕远近不同的操作事件都能被适当识别，避免识别过于灵敏或过于迟钝给用户带来的不佳体验。

为了解决上述问题，本申请揭示了一种识别操作事件的方法，该方法包括：

采样时间内，采集目标对象在空间中的运动轨迹的采样点的空间坐标；

根据所述空间坐标，创建一操作平面，所述操作平面为根据所述采样点的空间坐标确定的平面；

提取所述目标对象的采样点的空间坐标对应在操作平面内的坐标信息；

根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息；

根据计算出的显示平面上的位置信息，识别所述目标对象的操作事件。

优选地，所述操作平面与所述显示平面平行。

优选地，所述根据坐标信息，计算各采样点在显示平面上与操作平面对

应的位置信息，包括：

根据操作平面到显示平面的距离、提取的采样点在操作平面的位置信息；

根据三角形相似的几何原理，计算目标对象的采样点在显示平面上对应的位置信息。

优选地，所述根据所述空间坐标，创建一操作平面，包括：

当目标对象的采样点不都在同一平面时，设定操作平面与显示平面的距离的阈值范围，目标对象的采样点与显示平面的距离在所述阈值范围内的，操作平面与显示平面的距离都采用同一个数值，并以此确定操作平面。

优选地，所述根据所述空间坐标，创建一操作平面，包括：

当目标对象的采样点不都是在同一平面时，将所有采样点拟合到一个平面内，所拟合的平面确定为操作平面。

本发明还提供了一种识别操作事件的装置，该装置包括采样模块、操作

平面确定模块、计算模块和识别模块，其中，

采样模块，用于根据设置的采样时间，采集目标对象在空间中的运动轨迹的采样点的空间坐标，并发送到计算模块和操作平面确定模块；

操作平面确定模块，用于根据所述空间坐标，创建一操作平面，所述操作平面为根据所述采样点的空间坐标确定的平面；

计算模块，用于提取所述目标对象的采样点的空间坐标对应在操作平面内的坐标信息；根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息；

识别模块，用于根据计算出的显示平面的位置信息，识别所述目标对象的操作事件。

优选地，所述操作平面与所述显示平面平行。

优选地，所述计算模块，用于根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息，包括：

根据操作平面到显示平面的距离、提取的目标对象在操作平面的位置信息；

根据三角形相似的几何原理计算目标对象的采样点在显示平面上对应的位置信息。

优选地，所述操作平面确定模块，用于根据所述空间坐标，创建一操作平面，包括：

优选地，所述操作平面确定模块，用于当目标对象的采样点不都是在同一平面时，将所有采样点拟合到一个平面内，所拟合的平面确定为操作平面。

与现有技术相比，本申请可以获得包括以下技术效果：

1)使得用户的手掌等目标对象与显示屏幕无论物理距离远近，均可以相同的灵敏度进行操控。

2)可以适应用户不同的使用场景，例如无论沙发距离智能电视的远近，用户都可以方便地进行体感操控。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例的用户手掌位置示意图。

图2是本申请实施例的方法流程图。

图3是本申请实施例的坐标系示意图。

图4是本申请实施例的i₁点示意图。

图5是本申请实施例的i₆点示意图。

图6是本申请实施例的装置示意图。

图7a和7b是本申请应用实例示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

体感操控通常包括几个步骤：

通过3D摄像机采集用户肢体移动的数据；这里，相关技术所采集的通常都是三维数据，所以后续处理也是对三维数据直接进行处理；

其次，对采集的数据进行处理，得到一个动作轨迹，由于是对三维数据进行处理，如果直接处理三维数据，计算量将会非常大，所以如中国专利申请公开号CN103164696A中，先将用户的动作拟合到一个平面上，然后再进行动作轨迹的计算，但是拟合平面本身也是需要一个计算过程的；

最后，将得出的动作轨迹与预先存储的特征动作进行匹配，也就是说，预先定义了几种动作的意义，当用户的动作轨迹找到匹配的特征动作时，就完成了手势的识别，可以得出用户这个动作的意义。

上述的相关技术中，由于过于追求对用户手势甚至手指动作的精细识别，以及用户动作的三维轨迹的实际情况的追踪，带来了非常大的计算量，使得手势识别变得非常复杂，然而在一些简单的应用，比如，体感电视机、简单的体感游戏中，用户所要进行的操作本身是比较简单的，比如，开关机、调整音量大小、频道切换，或者是游戏中抓取某个物品、跳跃某个障碍、射击等简单的操控，不需要复杂的识别的支持，但用户又希望能够抛弃遥控器、游戏手柄等配件时，需要更好的设计手势识别的方案，来满足用户的需求。

本发明正是顺应了这种需求，提出了一种全新的体感操控中识别操作事件的方案：

体感操控最关键的就是得出目标对象的移动，例如：用户发出的手势，在屏幕上如何体现，即识别目标对象的操作事件，这个识别的依据就是一个手势在屏幕上如何移动，如果能够得出在屏幕上移动的位置信息，那么就解决了识别的关键问题。

本申请的方案中，提出了操作平面的概念，所谓的操作平面是发明人通过实验测定得到的最适宜的人手势操作的范围，这个范围是左右30cm，上下35cm。

本申请的方案采集目标对象在空间中的运动轨迹的采样点的空间坐标，以空间坐标中的操作人的手掌距屏幕的距离来确定操作平面，根据目标对象，例如：用户手掌，或者用户手指上佩戴的带有感应器的戒指等，在操作平面上的坐标信息，结合三角形相似等简单的几何原理，就可得出在屏幕上相应的位置信息。

得出了目标对象在屏幕上对应的位置信息，也就是用户手掌的动作轨迹，匹配用户自定义的动作特征，或者预先设置的动作特征，就可以识别手势，从而识别目标对象的操作事件。

然后，在实际的应用中，可以实现开关机、频道切换、物品抓去、障碍跳跃等操控。

本申请的方案，以操作平面为基础，将用户的手势简化到操作平面上，这样3D摄像头采集数据有的放矢，对采集数据的处理过程也相对简化，距离屏幕远近的操作对数据处理过程影响基本一致，具有更好的稳定性，用户体验良好。

下面以一实施例对本申请方法的实现作进一步说明。

以用户站在正对屏幕正中操作的情况为例，如图1所示，A为显示平面，B为操作平面，B平行于A，A、B构成一个锥体，锥顶为S。O_A为显示平面中心，O_B为操作平面中心。C_A为显示平面左上角，C_B为操作平面左上角。C_AO_A已知，C_BO_B已知，O_AO_B可以读取，则O_BS可以算出，那么，由三角形相似原理，可以算出B平面上任一点在A平面上的位置。

实施例一

本申请的识别操作事件的方法流程如图2所示，包括：

步骤10：采样时间内，采集目标对象在空间中的运动轨迹的采样点的空间坐标。

所要采集的目标对象在空间中的运动轨迹的采样点的空间坐标即为用户手掌移动的轨迹上的各个采样点的空间坐标。

采样时间是根据具体的设备能力设置的，例如，可以一秒内采集30帧或60帧数据，本实施例中设置为每秒采集30帧数据，标记为数组I_B[i₁,i₂,…i₃₀]，每个数据包括x，y，z值。

步骤20：根据空间坐标，创建一操作平面，该操作平面为根据采样点的空间坐标确定的平面。

操作平面B是以目标对象的采样点的空间坐标来确定的，可依据第一个采样点距离显示平面A的距离创建操作平面B，即根据采样点的Z值创建操作平面B。

步骤30：提取目标对象的采样点的空间坐标对应在操作平面内的坐标信息；根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息。

如图3所示，在B平面、A平面建立对应的坐标系，对于用户手掌在B平面上移动的每个采样点可以从体感设备直接读出其对操作平面中心O_B的偏移的x，y值。

由于B平面的位置随着用户手掌的操作而确定，可以从体感设备读取操作平面到电视平面的距离O_AO_B，计算O_BS。

如图4所示，以i₁点为例，根据采样的i₁的坐标值，可以得出i₁在B平面上的坐标i₁(x₁,y₁)，根据三角形相似的几何原理，可以计算得到i₁O_B，以及∠i₁SO_B。

采样点在显示平面A上对应的点记作数组J_A[j₁,j₂,…j₃₀]。

则i₁O_B在A平面上的投影j₁O_A，可以根据三角形相似原理得到。

同理，可以得到J_A每个点的位置。

步骤40：根据计算出的显示平面的位置信息，识别目标对象的操作事件。

将J_A每个点的位置依次连接，就可以得到用户手掌的运行轨迹，在预先设定的动作特征中匹配相应的动作轨迹，就可以识别用户的手势。

根据体感设备自身的输出设置，显示手掌移动的轨迹。或者，根据匹配的动作特征，完成相应的指令操作。例如，用户手掌识别出是自左向右的一字手势，那么，切换到电视机当前播放频道的下一个频道播放。

这里，体感设备显示的情形是多样的，按照相关技术，根据体感设备自身设置进行显示即可。

下面再以一实施例对本申请方法的实现作进一步说明。

实施例二

当用户不是站在屏幕正中操作时，本申请的识别操作事件的方法流程仍如图2所示，包括：

这里，用户没有站在屏幕正中操作，手势移动的部分采样点会落在操作平面上，但手势移动的部分采样点也会在操作平面之外。采集时，仍然同实施例一中类似，在采样时间内，采集用户手掌移动的轨迹上的各个采样点的空间坐标，本实施例中，每秒采集60帧数据，标记为数组I_B[i₁,i₂,…i₆₀]。每个数据包括x，y，z值。

即使用户的手势移动的采样点落在操作平面之外，仍然可以采集相应的采样点的空间坐标。

操作平面B是以目标对象的采样点的空间坐标来确定的，可根据多个采样点的空间坐标，取距离电视平面A距离相同的较多的那些采样点创建操作平面B。

本实施例中，由于部分手势的采样点落在B平面之外，对于B平面内的采样点，A平面对应轨迹的计算与实施例一相同，对于B平面外的采样点，则采取归一化处理，将其转换到B平面边界上。

所以，首先要判断采样点是否落在B平面内。根据I_B的坐标值，可以判断其是否位于操作平面的范围内。

如果位于操作平面的范围内的点，则采用实施例一的方式计算其对应的显示平面的位置信息；

如果采样点没有落在操作平面的范围内，则进行归一化处理，如图5所示，以i₆为例，具体是：

计算i₆与O_BS确定的平面，与操作平面B的交线O_Bi_B,其中，i_B是位于操作平面边界上的一点；

以i_B作为i₆的轨迹点，计算i_B在A平面的对应位置j₆。

上述归一化处理，实际上是将超过操作平面边界的点，都映射到操作平面的边界进行处理。

步骤40：根据计算出的显示平面的位置，识别目标对象的操作事件，进行视觉反馈。

将J_A每个点的位置依次连接，就可以得到用户手掌的运行轨迹，本实施例中，在用户自定义的动作特征中匹配相应的动作轨迹，就可以识别用户的手势。

根据匹配的动作特征，完成相应的指令操作。例如，识别的手势是自下而上一字手势，在某个游戏中表示抓取某个物品，那么就完成相应的抓取动作。

上述两个实施例中，对采样点位置信息的计算量仅涉及二维的数据，且对于超越椎体范围之外的数据都进行了归一化处理，这样做的好处是可以提高数据采集、数据处理的速度；虽然识别的效果略显粗糙，放弃了对用户手指等精细动作的探寻，但是完全能够满足一般的体感电视、简单的体感游戏的操控需求，仍然具有实际应用的价值。

下面再以一实施例对本申请方法的实现作进一步说明。

实施例三

上述两个实施例是假设用户手势都在同一平面内移动的，当用户手势不都是在同一平面时，本申请的识别操作事件的方法流程如图2所示，包括：

当目标对象(即用户的手掌)的采样点距显示平面(即屏幕)的距离z有所变化时，设定一个阈值范围，在此范围阈值内的z值都采用一个数值，对于z超过此阈值的采样点，则丢弃该采样点的值。

步骤10，30，40与实施例一、实施例二类似。

步骤20中对于操作平面的确定，也可以采用拟合平面的做法，将采样点拟合到一个操作平面内。

本发明实施例的上述方法，以用户手掌距离屏幕的距离作为手势识别的基础，所采用的计算处理也实施简单，因此无论用户手掌距离屏幕的远近，其识别时间相差几乎可以忽略，即灵敏度稳定，用户体验较佳。

实施例四

本发明实施例还提供了相应的识别操作事件的装置，如图6所示，包括：

采样模块60、操作平面确定模块61、计算模块62，识别模块63，其中，

采样模块60，用于根据设置的采样时间，采集目标对象在空间中的运动轨迹的采样点的空间坐标，并发送到计算模块62和操作平面确定模块61；

本实施例中，仍以图1所示的情形为例，

所要采集的目标对象在空间中的运动轨迹的采样点的空间坐标即为用户手掌移动的轨迹上的各个采样点的空间坐标，本实施例中设置为每秒采集30帧数据，标记为数组I_B[i₁,i₂,…i₃₀]，每个数据包括x，y，z值。

操作平面确定模块61，用于根据空间坐标，创建一操作平面，所述操作平面为根据所述采样点的空间坐标确定的平面；

如图3所示，在B平面、A平面建立对应的坐标系，对于用户手掌在B平面上移动的每个点可以从体感设备直接读出其对操作平面中心O_B的偏移的x，y值。

由于B平面的位置随着用户手掌的操作而确定，从体感设备读取操作平面到显示平面即屏幕的距离O_AO_B，计算O_BS。

计算模块62，用于提取所述目标对象的采样点的空间坐标对应在操作平面内的坐标信息；根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息；

如图4所示，以i₁点为例，根据采样的坐标值，可以得出i₁在B平面上的坐标i₁(x₁,y₁)，根据三角形相似的几何原理，可以计算得到i₁O_B，以及∠i₁SO_B。

同理，可以得到J_A每个点的位置。

识别模块63，根据计算出的显示平面的位置，识别所述目标对象的操作事件。

实施例五

在另一实施例中，如图6所示，当用户不是站在屏幕正中操作时，本申请的识别操作事件的装置中：

采样模块60，每秒采集60帧数据，标记为数组I_B[i₁,i₂,…i₆₀]。每个数据包括x，y，z值。即使用户的手势移动的采样点落在操作平面之外，仍然可以采集相应的空间坐标。

计算模块62，提取目标对象的采样点的空间坐标对应在操作平面内的坐标信息；根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息；

由于部分手势的采样点落在B平面之外，对于B平面内的采样点，A平面对应轨迹的计算与实施例四相同，对于B平面外的采样点，则采取归一化处理，将其转换到B平面边界上。计算模块62判断采样点是否落在B平面内。根据I_B的坐标值，可以判断其是否位于操作平面的范围内。

如果位于操作平面的范围内的点，则采用实施例四的方式计算其对应的显示平面的位置信息；

如果采样点没有落在操作平面的范围内，则进行归一化处理，即将超过操作平面边界的点，都映射到操作平面的边界进行处理。这里，与实施例二中的处理方式相同。

识别模块63，根据计算出的显示平面的位置，识别目标对象的操作事件。

本实施例中，在用户自定义的动作特征中匹配相应的动作轨迹，就可以识别用户的手势，以执行对应的操作。

实施例六

在另一实施例中，当用户手势不都是在同一平面时，本申请的识别操作事件的装置如图6所示，其中：

操作平面确定模块61，用于根据空间坐标，创建一操作平面时，

其余模块的作用与实施例四、五类似。

操作平面确定模块61对于操作平面的确定，也可以将采样点拟合到一个操作平面内。

所述装置与前述的方法流程描述对应，不足之处参考上述方法流程的叙述，不再一一赘述。

应用实施例

如图7a和7b所示，用户在操作平面B上做了三个手势，分别是：手势1，向右一字手势；手势2，向上一字手势；手势3，V字手势。一字手势的含义在系统中预先已定义，V字手势是用户自定义手势。采集各手势的数据后，按照上述方法识别时，三个手势在A平面上有对应的轨迹，手势2超出B平面的数据被归一化到边线上。对于手势1，识别完成后，执行的对应操作是音量增大；对与手势2，执行的对应操作是切换到上一个频道；对于手势3，执行的操作是关机。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims

1.一种识别操作事件的方法，其特征在于，该方法包括：

2.如权利要求1所述的方法，其特征在于，所述操作平面与所述显示平面平行。

3.如权利要求2所述的方法，其特征在于，所述根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息，包括：

4.如权利要求1所述的方法，其特征在于，所述根据所述空间坐标，创建一操作平面，包括：

5.如权利要求1所述的方法，其特征在于，所述根据所述空间坐标，创建一操作平面，包括：

6.一种识别操作事件的装置，其特征在于，该装置包括采样模块、操作平面确定模块、计算模块和识别模块，其中，

7.如权利要求6所述的装置，其特征在于，

所述操作平面与所述显示平面平行。

8.如权利要求7所述的装置，其特征在于，

所述计算模块，用于根据坐标信息，计算各采样点在显示平面上与操作平面对应的位置信息，包括：

9.如权利要求6所述的装置，其特征在于，

所述操作平面确定模块，用于根据所述空间坐标，创建一操作平面，包括：

10.如权利要求6所述的装置，其特征在于，

所述操作平面确定模块，用于当目标对象的采样点不都是在同一平面时，将所有采样点拟合到一个平面内，所拟合的平面确定为操作平面。