CN107436678B - 手势控制系统及方法 - Google Patents

Abstract

一种手势控制系统，运行于一手势控制装置中，该手势控制装置与至少两个电子装置相连，每一电子装置装设有一摄像机，该手势控制系统通过对手势的具有深度信息的影像分析计算在手势指向影像的不同深度的中心点所对应的回归平面方程，通过判断电子装置中心点至所述回归平面方程之间的距离是否小于预设误差值来确定所述手势控制的电子装置。本发明还提供一种手势控制方法。所述的手势控制系统和方法可在多台可受手势控制的电子装置存在同一空间时确定被手势控制对象。

Description

手势控制系统及方法

技术领域

本发明涉及一种电子装置控制系统及方法，特别是关于一种通过手势控制电子装置的系统及方法。

背景技术

目前许多电子装置都可通过手势、声控等非接触式的指令进行控制。但是现有的手势控制技术大多应用于控制单一电子装置。针对多个电子装置存在于同一空间时，若所述多个电子装置都具有侦测手势的摄像机，那么所述多个电子装置会接收到同一用户的手势命令，如此造成用户难以通过一手势命令在多个电子装置中准确的操控某一电子装置。因此，需要提供一种确定被控对象的方法。

发明内容

鉴于以上内容，有必要提供一种手势控制系统及方法，能够在多个可接收手势控制的电子装置存在时确定手势控制对象。

一种手势控制系统，运行于一手势控制装置中，该手势控制装置与至少两个电子装置相连，每一电子装置装设有一摄像机，所述的手势控制系统包括：获取模块，用于从每一摄像机获取具有深度信息的包括手势指向的影像；坐标确定模块，用于根据所获取的包括手势指向的图像确定三维坐标系，并设置所述电子装置的中心点坐标；所述获取模块，还用于当所述手势指向影像中手势指向结束时，获取所述手势指向在不同深度的轮廓左端点和轮廓右端点坐标；计算模块，用于计算所述手势指向在相同深度的轮廓左端点与轮廓右端点的中心点坐标，并根据所述轮廓左端点与轮廓右端点的中心点坐标计算回归平面方程式；所述计算模块，还用于计算各个所述电子装置的中心点与所述回归平面之间的距离；及确定模块，用于当所述电子装置的中心点至所述回归平面的距离小于预设误差值时，确定所述电子装置为被手势控制对象。

一种手势控制方法，包括：获取步骤一，从分别设置在一电子装置上的至少两摄像装置所拍摄的包括手势指向的影像；坐标确定步骤，根据所获取的包括手势指向的图像确定三维坐标系，并设置所述电子装置的中心点坐标；获取步骤二，当所述手势指向影像中手势指向结束时，获取所述手势指向在不同深度的轮廓左端点和轮廓右端点坐标；计算步骤一，计算所述手势指向在相同深度的轮廓左端点与轮廓右端点的中心点坐标，并根据所述轮廓左端点与轮廓右端点的中心点坐标计算回归平面方程式；计算步骤二，计算各个所述电子装置的中心点与所述回归平面之间的距离；及确定步骤，当所述电子装置的中心点至所述回归平面的距离小于预设误差值时，确定所述电子装置为被手势控制对象。

相较于现有技术，本发明所述的手势控制系统及方法能够在多个可接收手势控制的电子装置存在时确定手势控制对象，以免造成误操作。

附图说明

图1是本发明较佳实施例的手势控制装置运行环境示意图。

图2是本发明手势控制装置的较佳实施例的模块图。

图3是本发明确定手势控制对象的一较佳实施例的示意图。

图4是本发明手势控制方法的较佳实施例的流程图。

主要元件符号说明

电子装置 2,3,

手势控制装置 1

摄像机 20,30

摄像机拍摄范围 R₁,R₂

手势控制系统 10

获取模块 101

坐标确定模块 102

计算模块 103

确定模块 104

存储器 11

处理器 12

左端点 A₁,A₂，A₃,A₄，A_n

右端点 B₁,B₂，B₃,B₄，B_n

中心点 C₁,C₂，C₃,C₄，C_n

具体实施方式

图1示出了本发明的手势控制装置的较佳实施例的运行环境示意图。多个电子装置(如图中电子装置2与电子装置3)，例如电视、空调、影音播放设备、监视器、电脑等，与一手势控制装置1通过有线网络或无线网络等方式进行连接。该有线网络可以为传统有线通讯的任何类型，例如因特网、局域网。该无线网络可以为传统无线通讯的任何类型，例如无线电、无线保真(Wireless Fidelity,WIFI)、蜂窝、卫星、广播等。无线通讯技术可以包括，但不限于，全球移动通信系统(Global System for Mobile Communications，GSM)、通用分组无线业务(General Packet Radio Service，GPRS)、码分多址(Code Division MultipleAccess，CDMA)，宽带码分多址(W-CDMA)、CDMA2000、IMT单载波(IMT Single Carrier)、增强型数据速率GSM演进(Enhanced Data Rates for GSM Evolution，EDGE)、长期演进技术(Long-Term Evolution，LTE)、高级长期演进技术、时分长期演进技术(Time-DivisionLTE，TD-LTE)、高性能无线电局域网(High Performance Radio Local Area Network，HiperLAN)、高性能无线电广域网(High Performance Radio Wide Area Network，HiperWAN)、本地多点派发业务(Local Multipoint Distribution Service，LMDS)、全微波存取全球互通(Worldwide Interoperability for Microwave Access，WiMAX)、紫蜂协议(ZigBee)、蓝牙、正交频分复用技术(Flash Orthogonal Frequency-DivisionMultiplexing，Flash-OFDM)、大容量空分多路存取(High Capacity Spatial DivisionMultiple Access，HC-SDMA)、通用移动电信系统(Universal Mobile TelecommunicationsSystem，UMTS)、通用移动电信系统时分双工(UMTS Time-Division Duplexing，UMTS-TDD)、演进式高速分组接入(Evolved High Speed Packet Access，HSPA+)、时分同步码分多址(Time Division Synchronous Code Division Multiple Access，TD-SCDMA)、演进数据最优化(Evolution-Data Optimized，EV-DO)、数字增强无绳通信(Digital EnhancedCordless Telecommunications，DECT)及其他。

所述电子装置2、3分别包括一摄像装置20、30。所述摄像装置20、30为深度摄像机，用于拍摄有效范围(如图中第一拍摄范围R₁、第二拍摄范围R₂)内的手势图像，所述电子装置2、3根据该拍摄所得的手势图像控制其自身运作。该手势控制装置1可为一服务器，也可内嵌在所述电子装置2或电子装置3内。当内嵌在所述电子装置2或电子装置3内时，所述控制装置可为所述电子装置2或电子装置3内的一芯片或控制系统，也可为独立于所述电子装置2或电子装置3且与所述电子装置2或电子装置3通信连接的装置，譬如：电视机的机顶盒。

图2示出了本发明手势控制装置的较佳实施例的模块图。在该实施例中，所述手势控制装置1可包括，但不限于，存储器11和处理器12。存储器11可为所述手势控制装置1的内部存储单元，例如，硬盘或内存，也可为插接式存储装置，例如：插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)。所述存储器11也可既包括内部存储单元也包括插接式存储装置。所述处理器12可为一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片。

手势控制系统10安装并运行于所述手势控制装置1中。在本实施例中，所述的手势控制系统10包括，但不仅限于，获取模块101、坐标确定模块102，计算模块103，及确定模块104。本发明所称的功能模块是指一种能够被手势控制装置1的处理器12所执行并且能够完成固定功能的一系列程序指令段，其存储于手势控制装置1的存储器11中。

所述获取模块101可用于从电子装置2或电子装置3各自的深度摄像机20、30获取所拍摄的具有深度信息的影像，并截取所获取的影像中包括手势指向的影像。在至少一实施例中，所述深度摄像机20、30将在其拍摄范围内所拍摄影像传送至所述获取模块101，所述获取模块101根据所述影像内容截取其中的手势指向影像。所拍摄的手势影像包括多幅，根据多幅图像中手势的不同位置确定手势指向。所述手势指向指用户手势具有一定方向性，并且所述手势指向通常在某一特定时长范围内会出现手势停止动作，所述手势停止动作可以作为所述手势指向结束的判断标准。

所述坐标确定模块102用于根据所获取的手势指向影像建立坐标系，并设置电子装置的中心点坐标。其中所获取的手势指向影像的深度信息作为Z轴，所获取手势指向影像的平面坐标作为X轴和Y轴。在本实施方式中，所述电子装置的中心点坐标为预设值，根据所述深度摄像机20、30在设置在所述电子装置的位置来预设所述电子装置的中心点坐标值。例如，当所述电子装置为电脑时，所述深度摄像机20设置在所述电脑显示屏上方中心位置，那么所述电子装置的中心点为所述电脑显示屏的中心点。

所述获取模块101用于当所述手势指向影像中手势指向结束时，获取其手势指向在不同深度的轮廓左端点和轮廓右端点坐标。如图3所示，在深度z₁的左端点A₁坐标为(x′₁,y′₁,z₁)和右端点B₁坐标为(x″₁,y″₁,z₁)，深度z₂的左端点A₂坐标为(x′₂,y′₂,z₂)和右端点B₂坐标为(x″₂,y″₂,z₂)，以此类推在深度z_n的左端点A_n坐标为(x′_n,y′_n,z_n)和右端点B_n坐标为(x″_n,y″_n,z_n)。

所述计算模块103用于计算所述手势指向在相同深度的轮廓左端点坐标与轮廓右端点坐标的中心点坐标。例如，在深度z₁的中心点C₁坐标为

在深度z₂的中心点C₂坐标为

以此类推在深度z_n的中心点C_n坐标为

所述计算模块103用于根据所述轮廓左端点与轮廓右端点的中心点坐标计算回归平面方程式。

在本实施方式中，利用回归分析法计算所述回归平面方程。对N个中心点进行标准化后得到

其中，

设标准化后的平面方程为z'＝ax'+by'+c，残差为

其中

在此，我们需要求得

最小时的a，b，与c的值。

其中，

将c＝0代入上式得到：

考虑函数：

相当于f(a,b)＝Aa²+2Bab+Cb²+Da+Eb+F。

由柯西不等式得：

一般而言，B²-AC≠0。

利用引理：若函数f(x,y)＝ax²+2bxy+cy²+dx+ey+f，其中a＞0，b²-ac≤0。则f(x,y)会在(x,y)＝(h,k)时取得最小值，此时，

利用此引理求解函数f(a,b)＝Aa²+2Bab+Cb²+Da+Eb+F得到：

其中，

注意上式的a,b可以化为下列的式子：

如此，可以求得回归平面方程

其中a,b如上式所述。

所述计算模块103还用于计算各个所述电子装置的中心点与回归平面之间的距离。例如，设定所述电子装置的中心点坐标为(x₀,y₀,z₀)。假设上述回归平面方程展开后为px+qy+rz+s＝0，那么所述电子装置的中心点至所述回归平面之间的距离为

确定模块104根据各个电子装置的中心点至所述回归平面的距离确定手势控制对象。所述确定模块104分别判断所述各个电子装置的中心点至所述回归平面的距离是否小于预设误差值。当所述电子装置的中心点至所述回归平面的距离小于所述预设误差值，则确定所述中心点对应的电子装置为使用者要操控的装置；当所述电子装置的中心点至所述回归平面的距离大于等于所述预设误差值，则确定所述中心点对应的电子装置并非使用者要操控的装置。

参阅图4所示，是本发明手势控制方法的较佳实施例的流程图。该手势控制方法可被图1中的手势控制装置所执行。根据不同需求，该流程图中步骤的顺序可以改变，某些步骤可以省略或合并。

步骤S40，所述获取模块101从电子装置2或电子装置3各自的深度摄像机20、30获取所拍摄的具有深度信息的影像，并截取所获取的影像中的手势指向影像。在至少一实施例中，所述深度摄像机20、30将在其拍摄范围内所拍摄影像传送至所述获取模块101，所述获取模块101根据所述影像内容截取其中的手势指向影像。所拍摄的手势影像包括多幅，根据多幅图像中手势的不同位置确定手势指向。所述手势指向指用户手势具有一定方向性，并且所述手势指向通常在某一特定时长范围内会出现手势停止动作，所述手势停止动作可以作为所述手势指向结束的判断标准。

步骤S41，坐标确定模块102根据所获取的手势指向影像建立坐标系，并设置电子装置的中心点坐标。具体地，所述摄像机所拍摄的图像中，深度信息作为Z轴，其中摄像机中心点Z轴值为0。设定所述电子装置的中心点坐标为(x₀,y₀,z₀)。

步骤S42，当所述手势指向影像中手势指向结束时，所述获取模块101获取其手势指向在不同深度的轮廓左端点和轮廓右端点坐标。如图3所示，在深度z₁的左端点A₁坐标为(x′₁,y′₁,z₁)和右端点B₁坐标为(x″₁,y″₁,z₁)，深度z₂的左端点A₂坐标为(x′₂,y′₂,z₂)和右端点B₂坐标为(x″₂,y″₂,z₂)，以此类推在深度z_n的左端点A_n坐标为(x′_n,y′_n,z_n)和右端点B_n坐标为(x″_n,y″_n,z_n)。

步骤S43，所述计算模块103计算所述手势指向在相同深度的轮廓左端点与轮廓右端点的中心点坐标。具体计算方法参上述说明。

步骤S44，所述计算模块103根据所述轮廓左端点与轮廓右端点的中心点坐标计算回归平面方程式。所述回归平面方程式的计算参上所述。

步骤S45，所述计算模块103计算各个所述电子装置的中心点与所述回归平面之间的距离。具体计算方法参上述说明。

步骤S46，确定模块104根据各个电子装置的中心点至所述回归平面的距离是否小于预设误差值来确定手势控制对象。当所述电子装置的中心点至所述回归平面的距离小于所述预设误差值，流程进入步骤S47,否则流程结束。

步骤S47，当所述中心点至所述回归平面的距离小于所述预设误差值时，所述确定模块104确定所述中心点对应的电子装置为被手势控制对象。

本发明的手势控制系统及方法，通过对手势的具有深度信息的影像分析计算在手势指向影像的不同深度的中心点所对应的回归平面方程，通过判断电子装置中心点至所述回归平面方程之间的距离是否小于预设误差值来确定所述手势控制的电子装置。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照以上较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换都不应脱离本发明技术方案的精神和范围。

Claims (6)

1.一种手势控制系统，运行于一手势控制装置中，该手势控制装置与至少两个电子装置相连，每一电子装置装设有一摄像机，其特征在于，所述的手势控制系统包括：

获取模块，用于从每一摄像机获取具有深度信息的包括手势指向的影像；

坐标确定模块，用于根据所获取的包括手势指向的图像确定三维坐标系，并设置所述电子装置的中心点坐标；

所述获取模块，还用于当所述手势指向影像中手势指向结束时，获取所述手势指向在不同深度的轮廓左端点和轮廓右端点坐标；

计算模块，用于计算所述手势指向在相同深度的轮廓左端点与轮廓右端点的中心点坐标，及根据所述轮廓左端点与轮廓右端点的中心点坐标计算回归平面方程式；

所述计算模块，还用于计算各个所述电子装置的中心点与所述回归平面之间的距离；及

确定模块，用于当所述电子装置的中心点至所述回归平面的距离小于预设误差值时，确定所述电子装置为被手势控制对象。

2.如权利要求1所述的手势控制系统，其特征在于，所述手势指向结束指用户手势指向在一特定时长范围内出现的手势停止动作。

3.如权利要求1所述的手势控制系统，其特征在于，所述计算模块计算所述电子装置的中心点与所述回归平面之间的距离的公式为：

其中(x₀,y₀,z₀)为所述电子装置的中心点，px+qy+rz+s＝0为回归平面方程式。

4.一种手势控制方法，其特征在于，所述的手势控制方法包括：

获取步骤一，从分别设置在一电子装置上的至少两摄像装置所拍摄的包括手势指向的影像；

坐标确定步骤，根据所获取的包括手势指向的图像确定三维坐标系，并设置所述电子装置的中心点坐标；

获取步骤二，当所述手势指向影像中手势指向结束时，获取所述手势指向在不同深度的轮廓左端点和轮廓右端点坐标；

计算步骤一，计算所述手势指向在相同深度的轮廓左端点与轮廓右端点的中心点坐标，并根据所述轮廓左端点与轮廓右端点的中心点坐标计算回归平面方程式；

计算步骤二，计算各个所述电子装置的中心点与所述回归平面之间的距离；及

确定步骤，当所述电子装置的中心点至所述回归平面的距离小于预设误差值时，确定所述电子装置为被手势控制对象。

5.如权利要求4所述的手势控制方法，其特征在于，所述手势指向结束指用户手势指向在一特定时长范围内出现的手势停止动作。

6.如权利要求4所述的手势控制方法，其特征在于，所述计算步骤二中计算所述电子装置的中心点与所述回归平面之间的距离的公式为：

其中(x₀,y₀,z₀)为所述电子装置的中心点，px+qy+rz+s＝0为回归平面方程式。

Images