CN104244055B - 多媒体设备有效空间范围内实时交互方法 - Google Patents

Abstract

本发明公开了一种响应迅速、成本较低的多个多媒体设备手势识别交互的实现方法，包括设备间同步步骤、设备间定位步骤、动作识别步骤、指令响应步骤，每台设备均具有定位信号发射单元、定位信号接收单元。定位时，一个设备产生定位探测信号被其他设备接收后转换为距离信息并传输至产生定位探测信号的设备，获得该设备与其他设备之间的相对位置关系；识别时，每台设备分别产生动作探测信号识别预定义的交互指令，通过手等障碍物反射识别手等障碍物的运动方式；指令响应时，每个设备分别根据各自接收的交互指令执行相应的动作，事先约定好手等障碍物的运动方式与多媒体设备执行的操作，根据该约定协议，多媒体设备之间执行相应的数据传输动作。

Description

多媒体设备有效空间范围内实时交互方法

技术领域

本发明涉及一种在三维空间内各设备间实现手势识别的方法。

背景技术

随着电子设备应用越来越广泛，手势识别技术也得到快速发展，而且发展前景非常广阔，一些移动电子产品已经具备该项功能。目前市面上进行销售的手势识别产品绝大部分都是基于视觉，该技术已经比较成熟，但缺点是计算量大，耗电量大，大大降低了便携式移动设备的续航能力。另外，多台设备的交互有着广泛的应用，比如，可以两台或多台设备之间传输文件，该文件可以是照片、名片、某个App应用、消息、电话簿等等。另外，可以应用于多台设备同时玩一款游戏，多台设备放在一起当成一个大屏幕观看电影等视频文件，等等。而随着手势识别技术越来越广泛的应用，多台设备之间通过手势识别进行交互的应用也将越来越广。

声波测距已经很成熟，两台或两台以上多媒体设备交互时，多媒体通过声波发射和接收可以测出各设备的相对位置关系，也能得出手等障碍物在多媒体设备声波范围内移动的方式。一般，当各设备处在同一水平面时，即各设备的声波发生器和声波接收器都处于同一平面，3个参数就可以确定另一台设备的相对位置，如一个声波发生器，两个声波接收器。但是，由于超声波传输有一定的指向性，处于同一水平面时，一台设备发送超声波时，其他设备的声波接收器是接收不到的，或者接收到的信号非常非常弱，这种弱信号通常被淹没在其他噪声中，无法计算出设备的位置。而生活空间为三维空间，多台多媒体设备在同一水平面的实现交互方法遇到了限制。

发明内容

本发明的目的是针对上述现有技术的不足，提供一种可以在三维空间中对多台多媒体设备进行交互式通讯方法，在多台多媒体设备的手势识别有效范围内各设备同步后从而确定需要交互的对象设备。

为了实现上述目的，本技术方案是：一种多媒体设备有效空间范围内实时交互方法，用于对有效空间范围内分布的至少两台多媒体设备进行交互，包括如下步骤：

S1：设备间同步步骤，通过同步信号使空间内分布的多台多媒体设备同步化；

S2：设备间定位步骤，每台多媒体设备均具有定位信号发射单元、定位信号接收单元，所述的定位信号发射单元产生指向角介于0-90°之间的球面波，定位时一台多媒体设备与其它多媒体设备之间产生至少三个由所述的定位信号发射单元、定位信号接收单元间形成的定位探测信号，每个定位探测信号在接收后被转换为一个距离信息，通过对多个距离信息的计算获得该台多媒体设备与其它多媒体设备之间的实时相对空间坐标，并传输至该台多媒体设备，所述定位信号接收单元位于一空间范围内，所述的空间范围是以定位信号发射单元为顶点、以声轴线为中轴、高为d*sina、底面半径为d*cosa的圆锥体，以及底面与上述圆锥体底面完全重合、沿声轴线向声源传输方向凸出的半球体所组成的组合空间，其中d为声波的有效传输距离，a为声波有效边界与水平面夹角；

S3：动作识别步骤，识别时每台多媒体设备分别产生动作探测信号，通过动作物体移动方式和移动方向反射识别预定义的交互指令，所述动作物体位于一空间范围内，所述的空间范围是以定位信号发射单元为顶点、以声轴线为中轴、高为d*sina、底面半径为d*cosa的圆锥体，以及底面与上述圆锥体底面完全重合、沿声轴线向声源传输方向凸出的半球体所组成的组合空间，其中d为声波的有效传输距离，a为声波有效边界与水平面夹角；

S4：指令响应步骤，每个多媒体设备分别根据各自接收的交互指令执行相应的动作，当检测到动作物体从一个多媒体设备附近移动至另一个多媒体设备附近时，在上述成对多媒体设备之间执行相应的数据传输动作。

作为本发明进一步的改进，每台多媒体设备上分布有总数至少为4个的定位信号接收单元与定位信号发射单元，例如，二者的数目比例可以是1:3或者3：1或者2:2等。

作为本发明进一步的改进，所述的步骤S3中，所述的动作探测信号同样由所述的定位信号发射单元、定位信号接收单元发射与接收。

作为本发明进一步的改进，所述的定位探测信号包括光学信号、电磁波信号、声波信号。

作为本发明进一步的改进，所述的定位探测信号采用声波信号，所述的定位信号发射单元包括扬声器部件，所述的定位信号接收单元包括麦克风部件，本发明基于声波手势识别技术，声波发生器和接收器可以用电子设备本身自带的麦克风和扬声器，可以发送一定频率和周期的声波，耗电量非常低，对电池的续航能力影响非常小，成本低、技术难度不高，能大大提高电子产品在同行产品的竞争力，而且分辨率高、可行性很高。

作为本发明进一步的改进，在所述的步骤S1、S2中，所述的扬声器部件与麦克风部件之间保持畅通。

作为本发明进一步的改进，在所述的步骤S2与S3中，通过测量定位信号接收单元接收到信号的时间差或强度差来计算距离信息。

作为本发明进一步的改进，所述的多媒体设备包括便携式设备或者非便携式设备。

作为本发明进一步的改进，所述的多媒体设备包括智能手机、平板电脑、智能电视机、笔记本电脑中的一种或多种。

作为本发明进一步的改进，在所述的步骤S1、S2、S4中，多媒体设备之间的数据传输是通过蓝牙、无线局域网、移动蜂窝网络或者近场通讯实现的。

随着手势识别技术越来越广泛的应用，多台电子设备间通过手势识别的交互功能也将步入新的研究领域，本发明可以实现空间内多台多媒体设备的非常好同步交互通讯效果，提供了一种响应迅速、成本较低的多设备间交互式通讯解决方案。

附图说明

图1描述了根据本发明的系统原理图；

图2描述了两台设备之间相互定位的工作原理图；

图3描述了两台设备之间进行数据通讯的工作原理图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参见附图1至附图3所示，本发明的目的是实现对空间内分布的多台多媒体设备进行同步交互控制，包括两台或两台以上电子设备（可以是便携式，也可以是非便携式设备），例如可以是智能手机、平板电脑（ipad）、智能电视机、笔记本电脑中的一种或多种。随着技术的发展，人们日常生活中的多媒体设备越来越多，经常会遇到同时需要在多个设备之间操作的场景，三维空间内的两台及两台以上的电子设备通过识别手势进行交互时，每台设备则至少需要一个声波发生器，三个声波接收器，或者三个声波发生器，一个声波接收器，或者其他数量的发生器和接收器。以下以两台设备的系统为例进行详细说明。

由于发送设备和接收设备之间的距离是通过计算声波在两台设备之间的时间差或者强度差来得到的，因而发送设备和接收设备之间必须首先进行同步。同步信号就是给需要同步处理信息的机器设备提供相同时间参考的信号，设备1（发送文件的设备30）发送一个同步信号，设备2（接收文件的设备40）接收该同步信号，用于计算声波由设备1传输到设备2的时间。同步信号可以是一个开关信号，也可以是一个连续脉冲信号，或其他形式的信号。设备2接收该同步信号，该同步信号可以是通过Bluetooth（蓝牙）、Wifi（无线局域网）、mobile network（移动蜂窝网络）、声音信号、光信号或者电磁信号等方式发送。该同步信号使得各电子设备处于同一个时钟下，那么设备1的一个或多个声波发生器产生一个特殊的声波，该声波由设备2的一个或多个声波接收器接收，两台设备时钟同步后，设备1产生声波到设备2的各声波接收器接收到声波的时间差就可以计算出设备1的声波发生器到设备2中轴线之间的距离，距离为该时间差和声波在空气中传输的速度的乘积。

各设备同步后，设备1的定位信号发射单元301产生声波，设备2的定位信号接收单元401、402、403接收该声波，计算二者的时间差可以得出设备1和设备2的相对位置信息，进行设备间定位时，设备2的各声波接收器应位于设备1发射声波的一定范围内。如附图2所示，设备30为多设备交互中发送数据的设备，设备40为多设备交互中接收数据的设备。302、303、304为设备30上的定位信号接收单元，301为设备30上的定位信号发射单元，401、402、403为设备40上的定位信号接收单元，404为设备40上的定位信号发射单元，d1，d2，d3分别是设备30的定位信号发射单元到设备40上三个定位信号接收单元之间的直线距离。定位信号发射单元301产生声波，定位信号接收单元401、402、403接收定位信号发射单元301产生的声波。设备30和设备40时钟同步后，定位信号发射单元301发生声波的时间到定位信号接收单元401、402、403接收到声波的时间就是声波在空气中传输的时间，通过计算分别到达定位信号接收单元401、402、403的时间，就可以知道d1，d2，d3的距离，之后则通过几何计算可以得出11到设备20的距离。

当设备1和设备2的位置计算完成后，设备1和设备2开始进入手势识别状态，识别时每台多媒体设备分别由定位信号发射单元产生定位探测信号，通过动作物体10移动方式和移动方向反射由定位信号接收单元接收后识别预定义的交互指令。

当电子设备识别某特定手势后，每个多媒体设备分别根据各自接收的交互指令执行相应的动作，当检测到动作物体从一个多媒体设备附近移动至另一个多媒体设备附近时，在该对多媒体设备之间执行数据传输动作。例如，选择需要传送的文件，选中该文件后，手或者输入物体执行一个特定的动作，如“pick up”，移动到设备2的上方，再执行一个特定的动作，如“put down”，设备2识别该动作的运动方式和方向，定位手或某输入物体的位置，开始传送文件。设备1和设备2之间的数据传输可以通过wifi，bluetooth，mobile network，NFC等方式，由此完成两台或多台电子设备之间某种特定的交互动作。

以上实施例中的定位探测信号采用声音信号或者超声波信号，目前很多电子设备有麦克风部件与扬声器部件，麦克风部件可以作为声波接收器，而扬声器部件可以作为声波发生器，电子设备装置中不需要增加额外的元器件，不影响设备硬件布局，可以增加产品的稳定可靠性，耗电量非常低，对电池的续航能力影响非常小，成本低、技术难度不高，能大大提高电子产品在同行产品的竞争力，而且分辨率高、可行性很高。需要指出的是，本发明中的定位方式也可以通过其他如光学信号、电磁波信号、声音信号等信号来进行计算。

本发明所克服的技术难点是各电子设备如何摆放才能有效进行交互。由于声波在介质中传输时，随着传播距离的增加，声波的能量是逐渐减弱，这就是声波的衰减。声波能量衰减的距离与声波发射的能量大小及传输介质、声波频率都有关系。随着传播距离的增加，波束截面积越来越大，从而使单位面积上的能量逐渐减少。当能量衰减到一定程度时，接收到声波信号能量太弱，淹没在周围的声波或其他信号中，不能被识别。故这个可识别的距离既为声波传输到接收的有效范围。声波频率越高，同样能量的声波传输距离越短。声波能量越大，同样条件下，传输距离越远。介质密度越大，介质中波速越大，介质温度越高，衰减就轻，传输距离就远。

故而，本发明的方案中两次涉及到声波在空气中传播距离的计算，一次是计算设备1和设备2的相对位置关系，设备1的声波发生器发生声波，设备2的声波接收器接收声波，计算二者之间的时间差来得到相对位置关系，这时，两设备的声波发生器和声波接收器之间不能有障碍物阻挡，保证声波是直线传播。第二次是手势识别时，设备1的声波发生器发生声波，通过障碍物（如手）反射后，设备1的声波发生器收到该声波，计算这个时间差得到障碍物的运动方式，同样的方式设备2进行手势识别。基于以上，三维空间中，两台多媒体设备的相关位置应该满足以下条件：一、两台多媒体设备定位时，设备的声波发生器和声波接收器间无障碍物阻挡，声波可以直线传播；二、手势识别时，障碍物如手必须在两台多媒体设备的有效范围内，也就是说，手势识别时，手可以先在设备1的范围内，然后再在设备2有效的范围内，不一定是两设备共同的有效范围。

设备的声波发生器产生声波在空气中传输时，有一定的指向角的球面波，指向角可以是0-90°，则如图所示70所示角度是声波边界与水平面的夹角，该角度可以是0°以上，该角度越小越好，若该角度为0°，则可以实现180角度的手势识别，即设备都摆放在同一水平面上，如桌面上。球面50和60是设备声波发生器产生声波有效传输距离形成的球面波，d为声波有效传输距离，α为声波有效边界与水平面的夹角，则设备声波有效传输空间为：以定位信号发射单元为顶点、以声轴线为中轴、高为d*sina、底面半径为d*cosa的圆锥体，以及底面与上述圆锥体底面完全重合、沿声轴线向声源传输方向凸出的半球体所组成的组合空间。当α为0°时，那么接收空间为一个半径为d的半球体。只有当接收设备的各声波接收器（用于手势识别和定位）在该空间范围内才可以接收到声波信号。例如，设备30为发送文件的设备，40为文件接收方，301为声波发生器，401、402、403为设备40上的声波接收器，20为设备30所在的平面，假设为水平面，40上的声波接收器401、402、403只有在有效传输空间范围内时才能接收到301发出的声波。

以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围。

Claims (10)

1.一种多媒体设备有效空间范围内实时交互方法，用于对有效空间范围内分布的至少两台多媒体设备进行交互，其特征在于，包括如下步骤：

S1：设备间同步步骤，通过同步信号使空间内分布的多台多媒体设备同步化；

S2：设备间定位步骤，每台多媒体设备均具有定位信号发射单元、定位信号接收单元，所述的定位信号发射单元产生指向角介于0-90°之间的球面波，定位时一台多媒体设备与其它多媒体设备之间产生至少三个由所述的定位信号发射单元、定位信号接收单元间形成的定位探测信号，每个定位探测信号在接收后被转换为一个距离信息，通过对多个距离信息的计算获得该台多媒体设备与其它多媒体设备之间的实时相对空间坐标，并传输至该台多媒体设备，所述定位信号接收单元位于一空间范围内，所述的空间范围是以定位信号发射单元为顶点、以声轴线为中轴、高为d*sina、底面半径为d*cosa的圆锥体，以及底面与上述圆锥体底面完全重合、沿声轴线向声源传输方向凸出的半球体所组成的组合空间，其中d为声波的有效传输距离，a为声波有效边界与水平面夹角；

S3：动作识别步骤，识别时每台多媒体设备分别产生动作探测信号，通过动作物体移动方式和移动方向反射识别预定义的交互指令，所述动作物体位于一空间范围内，所述的空间范围是以定位信号发射单元为顶点、以声轴线为中轴、高为d*sina、底面半径为d*cosa的圆锥体，以及底面与上述圆锥体底面完全重合、沿声轴线向声源传输方向凸出的半球体所组成的组合空间，其中d为声波的有效传输距离，a为声波有效边界与水平面夹角；

S4：指令响应步骤，每个多媒体设备分别根据各自接收的交互指令执行相应的动作，当检测到动作物体从一个多媒体设备附近移动至另一个多媒体设备附近时，在上述成对多媒体设备之间执行相应的数据传输动作。

2.根据权利要求1所述的多媒体设备有效空间范围内实时交互方法，其特征在于：每台多媒体设备上分布有总数至少为4个的定位信号接收单元与定位信号发射单元。

3.根据权利要求1所述的多媒体设备有效空间范围内实时交互方法，其特征在于：所述的步骤S3中，所述的动作探测信号同样由所述的定位信号发射单元、定位信号接收单元发射与接收。

4.根据权利要求1所述的多媒体设备有效空间范围内实时交互方法，其特征在于：所述的定位探测信号包括光学信号、电磁波信号、声波信号。

5.根据权利要求4所述的多媒体设备有效空间范围内实时交互方法，其特征在于：所述的定位探测信号采用声波信号，所述的定位信号发射单元包括扬声器部件，所述的定位信号接收单元包括麦克风部件。

6.根据权利要求5所述的多媒体设备有效 空间范围内实时 交互方法，其特征在于：在所述的步骤S1、S2中，所述的扬声器部件与麦克风部件之间保持畅通。

7.根据权利要求1所述的多媒体设备有效空间范围内实时交互方法，其特征在于：在所述的步骤S2与S3中，通过测量定位信号接收单元接收到信号的时间差或强度差来计算距离信息。

8.根据权利要求1所述的多媒体设备有效空间范围内实时交互方法，其特征在于：所述的多媒体设备包括便携式设备或者非便携式设备。

9.根据权利要求8所述的多媒体设备有效空间范围内实时交互方法，其特征在于：所述的多媒体设备包括智能手机、平板电脑、智能电视机、笔记本电脑中的一种或多种。

10.根据权利要求1所述的多媒体设备有效空间范围内实时交互方法，其特征在于：在所述的步骤S1、S2、S4中，多媒体设备之间的数据传输是通过蓝牙、无线局域网、移动蜂窝网络或者近场通讯实现的。