CN102184014B - 基于移动设备指向的智能家电交互控制方法及装置 - Google Patents

Abstract

本发明公开了一种基于移动设备指向的智能家电交互控制方法及装置，方法实施步骤如下：1)建立室内的三维空间模型；2)为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型；3)初始移动设备的位置，移动所述移动设备并计算该运动方向所对应的所有智能家电；4)获取用户选择的智能家电；5)识别用户发出的手势模型，通过无线网络向智能家电发出交互控制命令执行交互控制；装置包括移动设备传感器信息采集模块、数据空间位置指向模块、手势信息处理分析模块、多模态交互及展示模块。本发明具有交互简单直观、使用简单方便、适应性好、控制灵活、实施成本低的优点。

Description

基于移动设备指向的智能家电交互控制方法及装置

技术领域

本发明涉及人机交互领域，具体涉及一种用于实现人、移动设备和智能家电之间自然和谐的交互控制方法及装置。

背景技术

随着电子技术和计算机技术的发展，智能家电已经成为人们日常生活的一部分。智能家电的确能促进人们的日常安排和丰富人们的日常生活，但是用户和智能家电之间的交互依然不够便捷。人们期待能通过一种直观的方式和周围的家电进行交互，而人的手势可以说是最为自然、直观和易于学习的交互手段。所以，指向结合手势可以为用户和智能家电的交互过程中提供一个直观而有效的解决方案。

智能移动设备是移动环境中重要的计算终端，能帮助用户实时地与外界保持联系。然而，在已有的将手持设备作为移动环境中交互设备的工作中，如何利用移动设备快速而自然地选择一个智能家电仍然是一个富有挑战性的任务。例如，E.Rukzio和K.Leichtenstern等人提出的基于激光指向器的方案，需要在家电上安装光线传感器。R.Ballagas和J.Borchers等人提出的基于摄像头的手机指向选择方案，需要在环境中部署视像符码(Visual Codes)。R Want和KP Fishkin等人提出的基于RFID的手机指向选择方案在交互时需要将装备有RFID读取器的手机靠近家电。但是，由于智能家电数量较多，这些交互方式都存在交互安装设置麻烦、使用复杂、易用性差、成本较高、控制方式不够灵活的缺点，无法满足智能家电领域的需要。

发明内容

本发明要解决的技术问题是提供一种交互简单直观、使用简单方便、适应性好、控制灵活、实施成本低的基于移动设备指向的智能家电交互控制方法及装置。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于移动设备指向的智能家电交互控制方法，其实施步骤如下：

1)建立带有智能家电模型的室内三维空间模型；

2)为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型；

3)初始移动设备的位置，移动所述移动设备并获取其运动方向信息，遍历列举出所述三维空间模型内该运动方向所对应的所有智能家电；

4)获取用户选择的智能家电信息，向用户列出该智能家电所对应的所有手势模型；

5)识别用户发出的手势模型，根据识别的手势模型通过无线网络向所述智能家电发出交互控制命令执行交互控制。

作为本发明基于移动设备指向的智能家电交互控制方法的进一步改进：

所述步骤1)中建立三维空间模型时，首先在室内选定一个原点和一个初始朝向，然后根据智能家电与所述原点的相对位置设置其三维坐标、相对所述初始朝向的旋转方向设置其三轴旋转方向，并为智能家电建立六面体模型，最后根据三维坐标、三轴旋转方向以及六面体模型的大小建立该智能家电的空间模型。

步骤3)中获取移动设备的运动方向对应的智能家电信息时，首先计算出移动设备运动方向的指向线，获取所述指向线与所述智能家电六面体模型中控制信号接受面之间的交点，然后判断该交点是否位于所述智能家电六面体模型中控制信号接受面内，如果该交点位于智能家电六面体模型中控制信号接受面内，则判定该智能家电为所述移动设备运动方向所对应的智能家电。

此外，也可以根据三维坐标来获取移动设备的运动方向对应的智能家电信息，其详细步骤如下：

a)获取三维空间模型中智能家电的三维坐标P_dev和旋转矩阵M_dev，

P_dev＝(X_dev，Y_dev，Z_dev)，

M_dev＝[sin(Yaw_dev)，-cos(Yaw_dev)，sin(Pitch_dev)]，

其中，X_dev，Y_dev，Z_dev为智能家电的三维坐标值，Yaw_dev和Pitch_dev为智能家电的三维旋转值；

b)获取移动设备的三维坐标P_phone和三维旋转值M_phone，P_phone＝(X_phone，Y_phone，Z_phone)，

$M_{\mathrm{phone}}=\left[\begin{array}{c}\cos ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ \sin ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ \sin \left({\mathrm{Pitch}}_{\mathrm{dev}}\right)\end{array}\right],$

其中，X_phone，X_phone，Z_phone为移动设备的三维坐标值，Yaw_phone和Pitch_phone为移动设备的三维旋转值；

c)计算移动设备的指向线与智能家电六面体模型中接受控制信号面的交点InnerPoint，

$\mathrm{InnerPoint}=\left(\begin{array}{c}{X}_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}g{P}_{\mathrm{phone}}+M_{\mathrm{dev}}g{P}_{\mathrm{dev}})}{M_{\mathrm{dev}}g{M}_{\mathrm{phone}}}\right)g\cos ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ Y_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}g{P}_{\mathrm{phone}}+M_{\mathrm{dev}}g{P}_{\mathrm{dev}})}{M_{\mathrm{dev}}g{M}_{\mathrm{phone}}}\right)g\sin ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos \left({-\mathrm{Pitch}}_{\mathrm{phone}}\right),\\ Z_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}g{P}_{\mathrm{phone}}+M_{\mathrm{dev}}g{P}_{\mathrm{dev}})}{M_{\mathrm{dev}}g{M}_{\mathrm{phone}}}\right)g\sin \left({\mathrm{Pitch}}_{\mathrm{dev}}\right)\end{array}\right)$

d)根据智能家电的位置和尺寸大小，计算出有效面上原点的对角线点P_bound，

$P_{\mathrm{bound}}=\left(\begin{array}{c}{X}_{\mathrm{dev}}+W{\mathrm{idth}}_{\mathrm{dev}}g\cos \left({\mathrm{Yaw}}_{\mathrm{dev}}\right),\\ Y_{\mathrm{dev}}+W{\mathrm{idth}}_{\mathrm{dev}}g\sin \left({\mathrm{Yaw}}_{\mathrm{dev}}\right),\\ Z_{\mathrm{dev}}+H{\mathrm{eight}}_{\mathrm{dev}}\end{array}\right)$

其中，Width_dev为智能家电六面体模型的宽度，Height_dev为智能家电六面体模型的高度；

e)判断InnerPoint是否分别在P_dev和其斜对面点P_bound之间，如果满足下式：

P_dev.X≤InnerPoint.X≤P_bound.X

P_dev.Y≤InnerPoint.Y≤P_bound.Y

P_dev.Z≤InnerPoint.Z≤P_bound.Z

则判定该智能家电位于移动设备的运动方向上。

所述步骤5)中识别用户发出的手势模型详细包括：

a)预先设置手势模型；

b)采集移动设备的三轴加速度数据序列并进行分帧处理，得到多个三维加速度数据子序列帧；

c)将三维加速度数据子序列帧分别进行帧内三维加速度数据序列的信号特征提取，并将三维空间模型内沿着x轴、y轴、z轴上的多个不同的信号特征连接成一个帧内特征描述子；

d)将一个手势的多个帧的帧内特征描述子连接成一个整体特征描述子；

e)运用多类支持向量机模型对所有整体特征描述子进行建模和参数训练，得到在整体特征描述子张成的向量空间中不同种类手势的分界面，将该分界面与所述步骤a)中设置的手势模型进行比较识别。

本发明还提供一种基于移动设备指向的智能家电交互控制装置，它包括

移动设备传感器信息采集模块，用于采集移动设备的三轴加速度以及旋转方向；

数据空间位置指向模块，用于存储包括智能家电在内的三维空间模型，并根据所述移动设备传感器信息采集模块输出的数据输出移动设备运动方向所对应的所有智能家电信息；

手势信息处理分析模块，用于根据所述移动设备传感器信息采集模块输出的数据识别用户输入的手势信息；

多模态交互及展示模块，用于展示移动设备运动方向所对应的所有智能家电信息并在用户选定智能家电后展示该智能家电所对应的所有手势模型信息，并根据用户输入的手势信息与智能家电执行交互控制；

所述移动设备传感器信息采集模块与数据空间位置指向模块、手势信息处理分析模块相连，所述手势信息处理分析模块与多模态交互及展示模块相连，所述多模态交互及展示模块通过无线网络与智能家电相连。

本发明基于移动设备指向的智能家电交互控制方法具有下述优点：本发明充分利用了指向操作和手势交互的直观性、自然性和便捷性，使用户与智能家电的交互过程更简便、自然和易操作，且采用统一的接口针对不同智能家电采用不同的交互控制命令，具有适应性好、控制灵活、实施成本低的优点。这些优势使得本发明与现有的人机交互系统相比，具有更大的潜力能应用于人们日常生活中的各个方面。

本发明基于移动设备指向的智能家电交互控制装置由于具有与基于移动设备指向的智能家电交互控制方法向对应的功能模块，因此也应当具备上述基于移动设备指向的智能家电交互控制方法所对应的优点。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明实施例获取移动设备的运动方向对应的智能家电的方法示意图；

图3为本实施例应用于文件交互的流程示意图；

图4为本实施例应用于PPT播放控制的交互流程示意图。

具体实施方式

如图1和图2所示，本发明实施例中的基于移动设备指向的智能家电交互控制方法的实施步骤如下：

1)建立带有智能家电模型的室内三维空间模型；

2)为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型；

3)初始移动设备的位置，移动移动设备并获取其运动方向信息，遍历列举出三维空间模型内该运动方向所对应的所有智能家电，并以图标的形式显示；如果运动方向对应没有智能家电，则显示“无智能家电”图标；

4)获取用户选择的智能家电信息，向用户列出该智能家电所对应的所有手势模型；

5)识别用户发出的手势模型，根据识别的手势模型通过无线网络向智能家电发出交互控制命令执行交互控制。

图1中，智能家电端包括所有室内的智能家电，移动设备端则为一个设备，本实施例中，移动设备采用内置三轴加速度传感器和电子罗盘的

Magic智能手机，利用其Android 1.6操作系统的应用程序接口，获得用户三轴(X轴，Y轴，Z轴)加速度序列和实时三维旋转方向数据(Pitch，Roll，Yaw)。此外也可以采用内置三轴加速度传感器、电子罗盘以及陀螺仪的移动设备，如

iPhone 4，将会得到更为精确的实时三维旋转方向数据，从而使本发明达到更好的效果。用户手持移动设备方便而自然地指向并选取智能家电的交互操作，而无需在移动设备和智能家电上附加其他硬件设备，因此实施成本低。

在手持移动设备指向并选取智能家电后，用户以手指在移动设备的触摸屏幕上选择智能家电。如果智能家电为电视或者数码相框，步骤4)中向用户列出输出多媒体文件的手势模型；如果智能家电为打印机，则步骤4)中向用户列出打印输出文件的手势模型；如果智能家电为个人计算机，则步骤4)中向用户列出PPT演示控制等手势模型；这样的交互方式直观而且便捷，实现了用户和智能家电自然、和谐的人机交互。

智能家电具有无线网络接口，移动终端通过无线网络向智能家电中内置的计算机系统发送交互控制命令。其中，无线网络可以根据需要采用WIFI或者蓝牙实现。

步骤1)中建立三维空间模型时，首先在室内选定一个原点和一个初始朝向，然后根据智能家电与原点的相对位置设置其三维坐标、相对初始朝向的旋转方向设置其三轴旋转方向，并为智能家电建立六面体模型，最后根据三维坐标、三轴旋转方向以及六面体模型的大小建立该智能家电的空间模型。不同的智能家电通过IP地址和端口地址进行区分，每一个智能家电模型都设有三维坐标、三轴旋转方向、六面体模型、IP地址和端口四组向量信息，并以XML文件形式保存于移动设备中。本实施例采用精确实时定位系统(RTSL)作为用于存放三维空间模型的室内定位系统，设置移动设备在应用场景中的三维坐标(X，Y，Z)，同时实时接收从移动设备传感器信息采集模块采集所得的移动设备三维旋转方向信息(Pitch，Roll，Yaw)。

本实施例中，步骤3)中获取移动设备的运动方向对应的智能家电信息时，首先计算出移动设备运动方向的指向线，获取指向线与智能家电六面体模型中控制信号接受面之间的交点，然后判断该交点是否位于智能家电六面体模型中控制信号接受面内，如果该交点位于智能家电六面体模型中控制信号接受面内，则判定该智能家电为移动设备运动方向所对应的智能家电。智能家电六面体模型中控制信号接受面通常是六面体模型中靠近室内中心位置的一面，无线网络接口一般安装于控制信号接受面处以增强信号强度。

此外，也可以根据三维坐标来获取移动设备的运动方向对应的智能家电信息，获取移动设备的运动方向对应的智能家电信息时的详细步骤如下：

a)获取三维空间模型中智能家电的三维坐标P_dev和旋转矩阵M_dev，

P_dev＝(X_dev，Y_dev，Z_dev)，

M_dev＝[sin(Yaw_dev)，-cos(Yaw_dev)，sin(Pitch_dev)]，

其中，X_dev，X_dev，Z_dev为智能家电的三维坐标值，Yaw_dev和Pitch_dev为智能家电的三维旋转值；

b)获取移动设备的三维坐标P_phone和三维旋转值M_phone，

P_phone＝(X_phone，Y_phone，Z_phone)，

$M_{\mathrm{phone}}=\left[\begin{array}{c}\cos ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ \sin ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ \sin \left({\mathrm{Pitch}}_{\mathrm{dev}}\right)\end{array}\right],$

其中，X_phone，Y_phone，Z_phone为移动设备的三维坐标值，Yaw_phone和Pitch_phone为移动设备的三维旋转值；

c)计算移动设备的指向线与智能家电六面体模型中接受控制信号面的交点InnerPoint，

$\mathrm{InnerPoint}=\left(\begin{array}{c}{X}_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}g{P}_{\mathrm{phone}}+M_{\mathrm{dev}}g{P}_{\mathrm{dev}})}{M_{\mathrm{dev}}g{M}_{\mathrm{phone}}}\right)g\cos ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ Y_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}g{P}_{\mathrm{phone}}+M_{\mathrm{dev}}g{P}_{\mathrm{dev}})}{M_{\mathrm{dev}}g{M}_{\mathrm{phone}}}\right)g\sin ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})g\cos \left({-\mathrm{Pitch}}_{\mathrm{phone}}\right),\\ Z_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}g{P}_{\mathrm{phone}}+M_{\mathrm{dev}}g{P}_{\mathrm{dev}})}{M_{\mathrm{dev}}g{M}_{\mathrm{phone}}}\right)g\sin \left({\mathrm{Pitch}}_{\mathrm{dev}}\right)\end{array}\right)$

d)根据智能家电的位置和尺寸大小，计算出有效面上原点的对角线点P_bound，

$P_{\mathrm{bound}}=\left(\begin{array}{c}{X}_{\mathrm{dev}}+W{\mathrm{idth}}_{\mathrm{dev}}g\cos \left({\mathrm{Yaw}}_{\mathrm{dev}}\right),\\ Y_{\mathrm{dev}}+W{\mathrm{idth}}_{\mathrm{dev}}g\sin \left({\mathrm{Yaw}}_{\mathrm{dev}}\right),\\ Z_{\mathrm{dev}}+H{\mathrm{eight}}_{\mathrm{dev}}\end{array}\right)$

其中，Width_dev为智能家电六面体模型的宽度，Height_dev为智能家电六面体模型的高度；

e)判断InnerPoint是否分别在P_dev和其斜对面点P_bound之间，如果满足下式：

P_dev.X≤InnerPoint.X≤P_bound.X

P_dev.Y≤InnerPoint.Y≤P_bound.Y

P_dev.Z≤InnerPoint.Z≤P_bound.Z

则判定该智能家电位于移动设备的运动方向上。

步骤5)中识别用户发出的手势模型详细包括：

a)预先设置手势模型；

b)采集移动设备的三轴加速度数据序列并进行分帧处理，得到多个三维加速度数据子序列帧；

c)将三维加速度数据子序列帧分别进行帧内三维加速度数据序列的信号特征提取，并将三维空间模型内沿着x轴、y轴、z轴上的多个不同的信号特征连接成一个帧内特征描述子；

d)将一个手势的多个帧的帧内特征描述子连接成一个整体特征描述子；

e)运用多类支持向量机模型对所有整体特征描述子进行建模和参数训练，得到在整体特征描述子张成的向量空间中不同种类手势的分界面，将该分界面与步骤a)中设置的手势模型进行比较识别。

以智能家电为个人计算机、实现手势模型控制PPT播放为例，可首先建立两种手势：向左和向右，向左对应控制PPT播放上一页的交互控制命令，向右则对应控制PPT播放下一页的交互控制命令。该手势同样还可以用于智能家电为数码相框、音视频播放设备等，实现媒体的切换、音量的控制等等。以智能家电为空调，实现手势模型控制空调运行为例，可首先建立三种手势：向上、向下和画圆圈三组手势，分别表示升高温度、降低温度和开启/关闭的控制。

图3为本实施例用于实现文件交互的流程示意图。本实施例中，用户最初选择一个文件然后出发选择智能家电的动作，然后在选择智能家电以后，首先用户选择的智能家电进行类型判定，如果智能家电为打印机，则向打印机输出上述选择文件，如果智能家电为个人计算机、电视或者数码相框，则对选定文件类型进行判断，如果选择文件为WORD或者POWERPOINT选定交互控制方式为调用office程序打开上述文件；如果选择文件为图片或者多媒体类文件，则选定交互控制方式为向智能家电输出图片或者多媒体类文件。如图4所示，以实时控制PPT演示为例，如果智能家电为个人计算机，则选定交互控制方式为实时控制PPT的播放；如果智能家电为其他设备，则显示该设备对应的手势模型提示。

如图1和图2所示，本发明实施例中基于移动设备指向的智能家电交互控制装置包括：

移动设备传感器信息采集模块，用于采集移动设备的三轴加速度以及旋转方向；

数据空间位置指向模块，用于存储包括智能家电在内的三维空间模型，并根据移动设备传感器信息采集模块输出的数据输出移动设备运动方向所对应的所有智能家电信息；

手势信息处理分析模块，用于根据移动设备传感器信息采集模块输出的数据识别用户输入的手势信息；

多模态交互及展示模块，用于展示移动设备运动方向所对应的所有智能家电信息并在用户选定智能家电后展示该智能家电所对应的所有手势模型信息，并根据用户输入的手势信息与智能家电执行交互控制；

移动设备传感器信息采集模块与数据空间位置指向模块、手势信息处理分析模块相连，手势信息处理分析模块与多模态交互及展示模块相连，多模态交互及展示模块通过无线网络与智能家电相连。

本实施例中，空间位置指向模块包括：智能家电空间建模子模块、移动设备位置与指向建模子模块和指向判断子模块。智能家电空间建模子模块首先在应用场景的物理空间中选取一个原点和一个初始朝向，智能家电被抽象成直六面体且其接受控制信号的面(即有效面)为应用场景物理空间初始朝向。然后根据智能家电与原点的相对位置设置其三维坐标，相对初始朝向的旋转方向设置其三轴旋转方向。最后再加上智能家电的体积尺寸，建立由上诉三组向量组成的智能家电空间模型。智能家电空间模型以XML文件形式保存在移动设备中。移动设备位置与指向建模子模块首次使用时，需要用户将移动设备初始朝向定标为上述应用场景的空间初始朝向，然后利用室内定位和预先设定用户交互区域这两种三维精确定位技术，获取并设置移动设备的三维坐标。同时，移动设备位置与指向建模子模块实时接收从移动设备传感器信息采集模块采集所得的移动设备旋转方向信息。

多模态交互及展示模块包括基于指向的文件传输交互子模块以及基于指向和手势的控制交互子模块。

基于指向的文件传输交互子模块针对用户手持移动设备向周围的智能家电发送文件的交互场景，其交互过程如下：(1)用户在移动设备上选取需要传输的文件，并显示在屏幕上。(2)用户手持移动设备，以空间指向交互的方式，利用空间位置指向模块确定移动设备此时指向的智能家电。(3)根据空间位置指向模块的结果，在移动设备屏幕上反馈是否指向某一智能家电的信息；如果并无指向任何智能家电，则返回上一步骤。(4)在指向成功后，用户用手指触摸移动设备屏幕，以触屏手势的交互方式，将屏幕上显示的文件向已指向的智能家电滑动，从而向智能家电传送文件。(5)在文件传送成功后，如果接收文件的智能家电为个人计算机、电视或者数码相框，则立刻在智能家电屏幕上展示该多媒体文件；如果接收文件的智能家电为打印机，则其会将该文件打印出来。

基于指向和手势的控制交互子模块针对用户手持移动设备对周围的智能家电进行控制的交互场景，其交互过程如下：(1)用户手持移动设备，以空间指向交互的方式，利用空间位置指向模块确定移动设备此时指向的智能家电。(2)根据空间位置指向模块的结果，在移动设备屏幕上反馈是否指向某一智能家电的信息；如果并无指向任何智能家电，则返回上一步骤。(3)在指向成功后，用户用手指按住移动设备触屏的指定位置，表明此时已进入控制模式。(4)用户按照移动设备屏幕上该智能家电支持的多组控制手势图标提示，以空间手势的交互方式，手持移动设备做出不同手势，生成对PPT演示和智能家电的控制命令。

无线传输层实现移动设备和智能家电之间的通信，包括文件的传输和控制信号的发送。无线传输层采用符合家用网络接口标准的通用即插即用(UPnP)作为设备发现和设备控制的应用框架，利用无线局域网(WIFI)作为大文件数据传输的技术方案。兼顾实际应用场景和现有技术条件，另可选择蓝牙、红外或者

Boujour作为无线设备发现和设备控制命令传输的备选技术方案。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于移动设备指向的智能家电交互控制方法，其特征在于其实施步骤如下：

1）建立带有智能家电模型的室内三维空间模型；

2）为每一种智能家电建立可识别的交互控制命令以及该命令所对应的手势模型；

3）初始移动设备的位置，移动所述移动设备并获取其运动方向信息，遍历列举出所述三维空间模型内该运动方向所对应的所有智能家电；

4）获取用户选择的智能家电信息，向用户列出该智能家电所对应的所有手势模型；

5）识别用户发出的手势模型，根据识别的手势模型通过无线网络向所述智能家电发出交互控制命令执行交互控制。

2.根据权利要求1所述的基于移动设备指向的智能家电交互控制方法，其特征在于：所述步骤1）中建立三维空间模型时，首先在室内选定一个原点和一个初始朝向，然后根据智能家电与所述原点的相对位置设置其三维坐标、相对所述初始朝向的旋转方向设置其三轴旋转方向，并为智能家电建立六面体模型，最后根据三维坐标、三轴旋转方向以及六面体模型的大小建立该智能家电的空间模型。

3.根据权利要求2所述的基于移动设备指向的智能家电交互控制方法，其特征在于：所述步骤3）中获取移动设备的运动方向对应的智能家电信息时,首先计算出移动设备运动方向的指向线，获取所述指向线与所述智能家电六面体模型中控制信号接受面之间的交点，然后判断该交点是否位于所述智能家电六面体模型中控制信号接受面内，如果该交点位于智能家电六面体模型中控制信号接受面内，则判定该智能家电为所述移动设备运动方向所对应的智能家电。

4.根据权利要求2所述的基于移动设备指向的智能家电交互控制方法，其特征在于：所述步骤3）中获取移动设备的运动方向对应的智能家电信息时的详细步骤如下：

a）获取三维空间模型中智能家电的三维坐标P_dev和旋转矩阵M_dev，

P_dev=(X_dev,Y_dev,Z_dev)，

M_dev=[sin(Yaw_dev),-cos(Yaw_dev),sin(Pitch_dev)]，

其中，X_dev,Y_dev,Z_dev为智能家电的三维坐标值，Yaw_dev和Pitch_dev为智能家电的三维旋转值；

b）获取移动设备的三维坐标P_phone和三维旋转值M_phone，

P_phone=(X_phone,Y_phone,Z_phone)，

$M_{\mathrm{phone}}=\left[\begin{array}{c}\cos ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})\·\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ \sin ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})\·\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ \sin \left({\mathrm{Pitch}}_{\mathrm{dev}}\right)\end{array}\right],$

其中，X_phone，Y_phone,Z_phone为移动设备的三维坐标值，Yaw_phone和Pitch_phone为移动设备的三维旋转值；

c）计算移动设备的指向线与智能家电六面体模型中接受控制信号面的交点InnerPoint，

$\mathrm{InnerPoint}=\left(\begin{array}{c}{X}_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}\·P_{\mathrm{phone}}+M_{\mathrm{dev}}\·P_{\mathrm{dev}})}{M_{\mathrm{dev}}\·M_{\mathrm{phone}}}\right)\·\cos ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})\·\cos (-{\mathrm{Pitch}}_{\mathrm{phone}}),\\ Y_{\mathrm{phone}}+\left(\frac{-(M_{\mathrm{dev}}\·P_{\mathrm{phone}}+M_{\mathrm{dev}}\·P_{\mathrm{dev}})}{M_{\mathrm{dev}}\·M_{\mathrm{phone}}}\right)\·\sin ({\mathrm{Yaw}}_{\mathrm{phone}}+\frac{3}{4}\mathrm{\π})\·\cos \left({-\mathrm{Pitch}}_{\mathrm{phone}}\right),\\ Z_{\mathrm{phone}}+(-\frac{(M_{\mathrm{dev}}\·P_{\mathrm{phone}}+M_{\mathrm{dev}}\·P_{\mathrm{dev}})}{M_{\mathrm{dev}}\·M_{\mathrm{phone}}})\·\sin \left({\mathrm{Pitch}}_{\mathrm{dev}}\right)\end{array}\right)$

d）根据智能家电的位置和尺寸大小，计算出有效面上原点的对角线点P_bound，

$P_{\mathrm{bound}}=\left(\begin{array}{c}{X}_{\mathrm{dev}}+{\mathrm{Width}}_{\mathrm{dev}}\·\cos \left({\mathrm{Yaw}}_{\mathrm{dev}}\right),\\ Y_{\mathrm{dev}}+{\mathrm{Width}}_{\mathrm{dev}}\·\sin \left({\mathrm{Yaw}}_{\mathrm{dev}}\right),\\ Z_{\mathrm{dev}}+{\mathrm{Height}}_{\mathrm{dev}}\end{array}\right)$

其中，Width_dev为智能家电六面体模型的宽度，Height_dev为智能家电六面体模型的高度；

e）判断InnerPoint是否分别在P_dev和其斜对面点P_bound之间，如果满足下式：

P_dev.X≤InnerPoint.X≤P_bound.X

P_dev.Y≤InnerPoint.Y≤P_bound.Y

P_dev.Z≤InnerPoint.Z≤P_bound.Z

则判定该智能家电位于移动设备的运动方向上。

5.根据权利要求1或2或3或4所述的基于移动设备指向的智能家电交互控制方法，其特征在于所述步骤5）中识别用户发出的手势模型详细包括：

a）预先设置手势模型；

b）采集移动设备的三轴加速度数据序列并进行分帧处理，得到多个三维加速度数据子序列帧；

c）将三维加速度数据子序列帧分别进行帧内三维加速度数据序列的信号特征提取，并将三维空间模型内沿着x轴、y轴、z轴上的多个不同的信号特征连接成一个帧内特征描述子；

d）将一个手势的多个帧的帧内特征描述子连接成一个整体特征描述子；

e）运用多类支持向量机模型对所有整体特征描述子进行建模和参数训练，得到在整体特征描述子张成的向量空间中不同种类手势的分界面，将该分界面与所述步骤a）中设置的手势模型进行比较识别。

6.一种基于移动设备指向的智能家电交互控制装置，其特征在于：它包括：

移动设备传感器信息采集模块，用于采集移动设备的三轴加速度以及旋转方向；

数据空间位置指向模块，包括：智能家电空间建模子模块、移动设备位置与指向建模子模块和指向判断子模块，用于建立和存储包括智能家电在内的三维空间模型，并根据所述移动设备传感器信息采集模块输出的数据输出移动设备运动方向所对应的所有智能家电信息；

手势信息处理分析模块，用于根据所述移动设备传感器信息采集模块输出的数据识别用户输入的手势信息；

多模态交互及展示模块，用于展示移动设备运动方向所对应的所有智能家电信息并在用户选定智能家电后展示该智能家电所对应的所有手势模型信息，并根据用户输入的手势信息与智能家电执行交互控制；

所述移动设备传感器信息采集模块与数据空间位置指向模块、手势信息处理分析模块相连，所述手势信息处理分析模块与多模态交互及展示模块相连，所述多模态交互及展示模块通过无线网络与智能家电相连。

Images