CN107436679B - 手势控制系统及方法 - Google Patents

Abstract

一种手势控制系统，包括：获取模块，用于从每一电子装置的摄像机获取具有深度信息的包括手势的图像；坐标确定模块，用于根据所获取的包括手势的图像确定三维坐标系，及该三维坐标系中手势的起始端和结束端坐标；计算模块，用于根据所确定的坐标值计算手势开始端和结束端分别与电子装置中心点之间的方向向量，计算手势开始端与电子装置中心点之间的方向向量和手势结束端与电子装置中心点之间的方向向量之间的夹角；及确定模块，用于根据该夹角的大小确定手势控制对象。本发明还提供一种手势控制方法。所述的手势控制系统和方法可在多台可受手势控制的电子装置存在同一空间时确定被手势控制对象。

Description

手势控制系统及方法

技术领域

本发明涉及一种电子装置控制系统及方法，特别是关于一种通过手势控制电子装置的系统及方法。

背景技术

目前许多电子装置都可通过手势、声控等非接触式的指令进行控制。当同一空间出现多个可接受手势控制的电子装置存在时，例如，客厅中的电视，空调系统或影音播放设备等，而为了贴近使用者手势操控习惯，可能该多种电子装置都采用相同的手势控制，例如顺时针画圆可调高空调温度，也可调高影音播放设备音量。尽管现有技术中存在将影像辨识用于手势指令辨识的技术，但该技术主要应用于控制单一电子装置。然而，多个电子装置存在于同一空间的现象比较常见。因此，需要提供一种确定被控对象的方法。

发明内容

鉴于以上内容，有必要提供一种手势控制系统及方法，能够在多个可接收手势控制的电子装置存在时确定手势控制对象。

一种手势控制系统，运行于一手势控制装置中，该手势控制装置与至少两个电子装置相连，每一电子装置装设有一摄像机，所述的手势控制系统包括：获取模块，用于从每一摄像机获取具有深度信息的包括手势的图像；坐标确定模块，用于根据所获取的包括手势的图像确定三维坐标系，并确定该三维坐标系中手势的起始端坐标、手势的结束端坐标；计算模块，用于根据所确定的手势起始端坐标值、手势结束端坐标值、各电子装置中心点坐标值，分别计算从所述手势起始端至所述各电子装置的中心点之间的方向向量，并分别计算从所述手势结束端至所述各电子装置的中心点之间的方向向量；所述计算模块，还用于计算所述手势起始端至所述电子装置的中心点之间的方向向量与所述手势结束端至所述电子装置的中心点之间的方向向量之间的夹角；及确定模块，用于当所述夹角有一个夹角小于预设角度误差上限值时，确定该小于预设角度误差上限值的夹角对应的电子装置为手势控制对象。

一种手势控制方法，包括：获取步骤：从分别设置在至少两电子装置上的摄像机获取所拍摄的包括手势的影像；坐标确定步骤：根据所获取的包括手势的图像确定三维坐标系，并确定该三维坐标系中手势的起始端坐标、手势的结束端坐标；计算步骤一：根据所确定的手势起始端坐标值、手势结束端坐标值、各电子装置中心点坐标值，分别计算从所述手势起始端至所述各电子装置的中心点之间的方向向量，并分别计算从所述手势结束端至所述各电子装置的中心点之间的方向向量；计算步骤二：计算所述手势起始端至所述电子装置的中心点之间的方向向量与所述手势结束端至所述电子装置的中心点之间的方向向量之间的夹角；及确定步骤：当所述夹角中有一个小于预设角度误差上限值时，确定该小于预设角度误差上限值的夹角对应的电子装置为手势控制对象。

相较于现有技术，本发明所述的手势控制系统及方法能够在多个可接收手势控制的电子装置存在时确定手势控制对象，以免造成误操作。

附图说明

图1是本发明较佳实施例的手势控制装置运行环境示意图。

图2是本发明手势控制系统的较佳实施例的功能模块图。

图3是本发明确定手势控制对象的一较佳实施例的示意图。

图4是本发明手势控制方法的较佳实施例的流程图。

主要元件符号说明

电子装置 2,3

手势控制装置 1

摄像机 20,30

摄像机中心 O1,O2

摄像机拍摄范围 R1,R2

手势控制系统 10

获取模块 101

坐标确定模块 102

计算模块 103

确定模块 104

存储器 11

处理器 12

第一角度 θ1

第二角度 θ2

手势起始端 A

手势结束端 B

具体实施方式

图1示出了本发明的手势控制装置的较佳实施例的运行环境示意图。多个电子装置(如图中第一电子装置2与第二电子装置3)，例如电视、空调、影音播放设备、监视器、电脑等，与一手势控制装置1通过有线或无线等方式进行连接。该有线网络可以为传统有线通讯的任何类型，例如因特网、局域网。该无线网络可以为传统无线通讯的任何类型，例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。无线通讯技术可以包括，但不限于，全球移动通信系统(Global System for Mobile Communications，GSM)、通用分组无线业务(General Packet Radio Service，GPRS)、码分多址(Code Division MultipleAccess，CDMA)，宽带码分多址(W-CDMA)、CDMA2000、IMT单载波(IMT Single Carrier)、增强型数据速率GSM演进(Enhanced Data Rates for GSM Evolution，EDGE)、长期演进技术(Long-Term Evolution，LTE)、高级长期演进技术、时分长期演进技术(Time-DivisionLTE，TD-LTE)、高性能无线电局域网(High Performance Radio Local Area Network，HiperLAN)、高性能无线电广域网(High Performance Radio Wide Area Network，HiperWAN)、本地多点派发业务(Local Multipoint Distribution Service，LMDS)、全微波存取全球互通(Worldwide Interoperability for Microwave Access，WiMAX)、紫蜂协议(ZigBee)、蓝牙、正交频分复用技术(Flash Orthogonal Frequency-DivisionMultiplexing，Flash-OFDM)、大容量空分多路存取(High Capacity Spatial DivisionMultiple Access，HC-SDMA)、通用移动电信系统(Universal Mobile TelecommunicationsSystem，UMTS)、通用移动电信系统时分双工(UMTS Time-Division Duplexing，UMTS-TDD)、演进式高速分组接入(Evolved High Speed Packet Access，HSPA+)、时分同步码分多址(Time Division Synchronous Code Division Multiple Access，TD-SCDMA)、演进数据最优化(Evolution-Data Optimized，EV-DO)、数字增强无绳通信(Digital EnhancedCordless Telecommunications，DECT)及其他。

所述第一电子装置2和第二电子装置3分别包括一摄像装置20、30。所述摄像装置20、30为深度摄像机，用于拍摄有效范围(如图中第一拍摄范围R1、第二拍摄范围R2)内的手势图像，所述第一电子装置2和第二电子装置3根据该拍摄所得的手势图像控制其自身运作。该手势控制装置1可为一服务器，也可内嵌在所述第一电子装置2或第二电子装置3内。当内嵌在所述第一电子装置2或第二电子装置3内时，所述控制装置可为所述第一电子装置2或第二电子装置3内的一芯片或控制系统，也可为独立于所述第一电子装置2或第二电子装置3且与所述第一电子装置2或第二电子装置3通信连接的装置，譬如：电视机的机顶盒。

图2示出了本发明手势控制系统的较佳实施例的功能模块图。在该实施例中，所述手势控制装置1可包括，但不限于，存储器11和处理器12。存储器11可为所述手势控制装置1的内部存储单元，例如，硬盘或内存，也可为插接式存储装置，例如：插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)。所述存储器11也可既包括内部存储单元也包括插接式存储装置。所述处理器12可为一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片。

手势控制系统10安装并运行于所述手势控制装置1中。在本实施例中，所述的手势控制系统10包括，但不仅限于，获取模块101、坐标确定模块102，计算模块103，及确定模块104。本发明所称的功能模块是指一种能够被手势控制装置1的处理器12所执行并且能够完成固定功能的一系列程序指令段，其存储于手势控制装置1的存储器11中。

所述获取模块101可用于从第一电子装置2或第二电子装置3各自的深度摄像机20、30获取所拍摄的具有深度信息的影像。在至少一实施例中，所述深度摄像机20、30仅在其拍摄范围内出现手势操作时才将所拍摄影像传送至所述获取模块101。所拍摄的手势影像包括多幅，根据多幅图像中手势的不同位置确定手势的运动。

所述坐标确定模块102用于根据所获取的影像建立坐标系，计算电子装置的中心点、手势起始端与手势结束端坐标。其中所获取的影像的深度信息作为Z轴，所获取影像的平面坐标作为X轴和Y轴。所述手势起始端和手势结束端是指影像中手上某一特定点在手势开始时的位置及手势结束时的位置。手势结束通常以某一特定时长范围内手停止动作作为判断标准。在本实施方式中，所述电子装置的中心点坐标为预设值，根据所述深度摄像机20、30在设置在所述电子装置的位置来预设所述电子装置的中心点坐标值。例如，当所述电子装置为电脑时，所述深度摄像机20设置在所述电脑显示屏上方中心位置，那么所述电子装置的中心点为所述电脑显示屏的中心点。

所述计算模块103用于计算从手势起始端分别至所述第一电子装置2的中心点和所述第二电子装置3的中心点的第一方向向量和第二方向向量，如图3中的向量O₁A、O₂A。

所述计算模块103还用于计算从手势结束端分别至所述第一电子装置2的中心点和所述第二电子装置3的中心点的第三方向向量和第四方向向量，如图3中的向量O₁B、O₂B。

所述计算模块103还用于计算所述第一方向向量和所述第三方向向量之间的第一夹角(如θ1)以及所述第二方向向量和第四方向向量之间的第二夹角(如θ2)。

所述确定模块104用于根据所计算的第一夹角与第二夹角确定手势控制对象。如下结合图3具体说明所述所述计算模块103及确定模块104的工作原理。

参图3所示，所述手势控制装置1与第一电子装置2和第二电子装置3通信连接。所述第一电子装置2和第二电子装置3分别包括一第一摄像机20和第二摄像机30。所述第一电子装置2具有中心点O₁，所述第二电子装置3具有中心点O₂。当手势出现在图中所示区域时，所述摄像机20、30拍摄所述手势的影像。所述手势控制装置1的坐标确定模块102根据所拍摄的影像确定摄像机坐标系。在本实施例中，所述坐标确定模块102针对每一摄像机拍摄的图像分别建立坐标系，即第一摄像机20和第二摄像机30分别具有一坐标系，并根据各摄像机的坐标系来计算各电子装置中心点分别与所述手势起始端和手势结束端之间的方向向量，并计算所述手势起始端与所述第一电子装置2的中心点之间的第一方向向量与所述手势结束端与所述第一电子装置2的中心点之间的第三方向向量之间的第一夹角θ1，和计算所述手势起始端与所述第二电子装置3的中心点之间的第二方向向量与所述手势结束端与所述第二电子装置3的中心点之间的第四方向向量之间的第二夹角θ2。

为计算所述第一夹角与第二夹角的角度值，所述计算模块103可先根据两点的坐标确定两点之间方向向量，再根据两个方向向量确定角度。根据两点的坐标确定两点之间的方向向量以手势开始端A与手势结束端B为例说明如下：假设手势起始端A点坐标为(x₁，y₁，z₁)，手势结束端B点坐标为(x₂，y₂，z₂)，假设第一电子装置2的中心点O₁坐标为(x₀，y₀，z₀)，则手势起始端A点到第一电子装置2的中心点的第一方向向量为O₁A(x₁-x₀，y₁-y₀，z₁-z₀)，手势结束端B点到第一电子装置2的中心点的第三方向向量O₁B(x₂-x₀，y₂-y₀，z₂-z₀)。假设第二电子装置3的中心点O₂坐标为(x₃，y₃，z₃)，同理可得，则手势起始端A点到第二电子装置3的中心点的第二方向向量为O₂A(x₁-x₃，y₁-y₃，z₁-z₃)，手势结束端B点到第二电子装置3的中心点的第四方向向量O₂B(x₂-x₃，y₂-y₃，z₂-z₃)。

根据方向向量确定两方向向量之间的夹角θ，其公式为：

其中

由此可得：

所述确定模块104用于根据所计算的第一夹角与第二夹角确定手势控制对象。参图3所示，所述确定模块104分别判断所述第一夹角和所述第二夹角与预设角度误差上限值δ之间的大小。当所述第一夹角大于所述设角度误差上限值δ，且所述第二夹角小于所述设角度误差上限值δ时，则确定所述第二夹角对应的电子装置为使用者要操控的装置；当所述第一夹角小于所述设角度误差上限值δ，且所述第二夹角大于所述设角度误差上限值δ时，则确定所述第一夹角对应的电子装置为使用者要操控的装置；当所述第一夹角和所述第二夹角都小于所述预设角度误差上限值δ时，则判定为资料错误，无法确定操控对象。

参阅图4所示，是本发明手势控制方法的较佳实施例的流程图。该手势控制方法可被图1中的手势控制装置所执行。根据不同需求，该流程图中步骤的顺序可以改变，某些步骤可以省略或合并。

步骤401，所述手势控制装置1的获取模块101从各深度摄像机获取具有深度信息的影像。所述影像包括多幅，分别包括有手势起始点与手势结束点的影像。

步骤402，所述手势控制装置的坐标确定模块102根据所获取的影像建立坐标系统，并确定电子装置的中心点O、手势起始端A与手势结束端B的坐标。具体地，所述摄像机所拍摄的图像中，深度信息作为Z轴，所获取影像的平面坐标作为X轴和Y轴。所述坐标确定模块102确定手势起始端与结束端时，可以手上的某一特定点，譬如手指指尖或手掌心或手的中心点等来确定手势起始端与手势结束端。当图像中第一次出现手势时手上该特定点的位置为手势起始端，手势停顿超过预定时长时该手上特定点的位置即为手势结束端。根据确定的坐标系来计算手势起始端与手势结束端的坐标值。

步骤403，所述计算模块103根据上述坐标值计算从手势起始端分别至所述第一电子装置2的中心点和所述第二电子装置3的中心点的第一方向向量和第二方向向量，如图3中的向量O₁A、O₂A。具体计算方法参上述说明。

步骤404，所述计算模块103还计算从手势结束端分别至所述第一电子装置2的中心点和所述第二电子装置3的中心点的第三方向向量和第四方向向量，如图3中的向量O₁B、O₂B。具体计算方法参上述说明。

步骤405，所述计算模块103还计算所述第一方向向量和所述第三方向向量之间的第一夹角以及所述第二方向向量和第四方向向量之间的第二夹角。具体计算方法参上述说明。

步骤406，所述确定模块104判定所述第一夹角和所述第二夹角中是否有一个小于预设角度误差上限值。如果所述第一夹角和所述第二夹角中是否有一个小于预设角度误差上限值，则进入步骤S407，否则流程结束。

步骤407，所述确定模块104确定所述第一夹角和所述第二夹角中小于预设角度误差上限值的夹角对应的电子装置为被手势控制对象。具体地，当所述第一夹角大于所述设角度误差上限值δ，且所述第二夹角小于所述设角度误差上限值δ时，则确定所述第二夹角对应的电子装置为使用者要操控的装置；当所述第一夹角小于所述设角度误差上限值δ，且所述第二夹角大于所述设角度误差上限值δ时，则确定所述第一夹角对应的电子装置为使用者要操控的装置；当所述第一夹角和所述第二夹角都小于所述预设角度误差上限值δ时，则判定为资料错误，无法确定操控对象。

本发明的手势控制系统及方法，通过对手势的具有深度信息的影像分析手势开始端和手势结束端分别与电子装置中心点的方向向量之间的夹角大小，来确定所述手势控制的电子装置。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。

Claims (6)

1.一种手势控制系统，运行于一手势控制装置中，该手势控制装置与至少两个电子装置相连，每一电子装置装设有一摄像机，其特征在于，所述的手势控制系统包括：

获取模块，用于从每一摄像机获取具有深度信息的包括手势的图像；

坐标确定模块，用于根据所获取的包括手势的图像确定三维坐标系，并确定该三维坐标系中手势的起始端坐标、手势的结束端坐标；

计算模块，用于根据所确定的手势起始端坐标、手势结束端坐标、各电子装置中心点坐标，分别计算从所述手势起始端至所述各电子装置的中心点之间的方向向量，并分别计算从所述手势结束端至所述各电子装置的中心点之间的方向向量；

所述计算模块，还用于计算所述手势起始端至所述电子装置的中心点之间的方向向量与所述手势结束端至所述电子装置的中心点之间的方向向量之间的夹角；及

确定模块，用于当所述夹角中有一个小于预设角度误差上限值时，确定该小于预设角度误差上限值的夹角对应的电子装置为手势控制对象。

2.如权利要求1所述的手势控制系统，其特征在于，所述计算模块根据所述手势起始端坐标和所述电子装置中心点坐标计算两点之间的方向向量公式为：(x₁-x₀，y₁-y₀，z₁-z₀)，所述计算模块根据所述手势结束端坐标和所述电子装置中心点坐标计算两点之间的方向向量公式为：(x₂-x₀，y₂-y₀，z₂-z₀)，其中，所述手势起始端坐标为(x₁，y₁，z₁)，所述手势结束端坐标为(x₂，y₂，z₂)，所述电子装置中心点坐标为(x₀，y₀，z₀)。

3.如权利要求2所述的手势控制系统，其特征在于，所述计算模块确定两方向向量之间的夹角θ的公式为：

其中

为所述手势起始端坐标和所述电子装置中心点坐标之间的方向向量，

为所述手势结束端坐标和所述电子装置中心点坐标之间的方向向量，a₁＝x₁-x₀，a₂＝y₁-y₀，a₃＝z₁-z₀，b₁＝x₂-x₀，b₂＝y₂-y₀，b₃＝z₂-z₀。

4.一种手势控制方法，其特征在于，所述的手势控制方法包括：

获取步骤：从分别设置在至少两电子装置上的摄像机获取所拍摄的包括手势的影像；

坐标确定步骤：根据所获取的包括手势的图像确定三维坐标系，并确定该三维坐标系中手势的起始端坐标、手势的结束端坐标；

计算步骤一：根据所确定的手势起始端坐标、手势结束端坐标、各电子装置中心点坐标，分别计算从所述手势起始端至所述各电子装置的中心点之间的方向向量，并分别计算从所述手势结束端至所述各电子装置的中心点之间的方向向量；

计算步骤二：计算所述手势起始端至所述电子装置的中心点之间的方向向量与所述手势结束端至所述电子装置的中心点之间的方向向量之间的夹角；及

确定步骤：当所述夹角中有一个小于预设角度误差上限值时，确定该小于预设角度误差上限值的夹角对应的电子装置为手势控制对象。

5.如权利要求4所述的手势控制方法，其特征在于，所述计算步骤一中根据所述手势起始端坐标和所述电子装置中心点坐标计算两点之间的方向向量公式为：(x₁-x₀，y₁-y₀，z₁-z₀)，所述计算步骤一中根据所述手势结束端坐标和所述电子装置中心点坐标计算两点之间的方向向量公式为：(x₂-x₀，y₂-y₀，z₂-z₀)，其中，所述手势起始端坐标为(x₁，y₁，z₁)，所述手势结束端坐标为(x₂，y₂，z₂)，所述电子装置中心点坐标为(x₀，y₀，z₀)。

6.如权利要求5所述的手势控制方法，其特征在于，所述计算步骤二中确定两方向向量之间的夹角θ的公式为：

其中

为所述手势起始端坐标和所述电子装置中心点坐标之间的方向向量，

为所述手势结束端坐标和所述电子装置中心点坐标之间的方向向量，a₁＝x₁-x₀，a₂＝y₁-y₀，a₃＝z₁-z₀，b₁＝x₂-x₀，b₂＝y₂-y₀，b₃＝z₂-z₀。

Images