CN104460330A - 一种基于室内定位与电子罗盘的增强现实与远程控制方法 - Google Patents

Abstract

本发明公开了一种基于室内定位与电子罗盘的增强现实与远程控制方法，以增强现实的方式，为用户提供一种便捷高效地智能家居设备的控制体验。在智能家居环境中，提前建立起三维坐标系并将智能设备标定在三维坐标上作为识别目标点，本发明基于普通智能家居中的无线与有线混合控制，无需考虑移动智能端与被控设备之间是否存在障碍物，利用增强现实技术，仍可在智能端的显示设备上成像，显示被控设备的位置，方便控制。其优点包括：无需购买额外硬件设备与房屋三维虚拟结构图；操作界面不单一，按钮搜索快速，操作简单；无需记忆复杂的目录结构，不易误触；操作界面融合现实场景，直观性与灵活性强。

Description

一种基于室内定位与电子罗盘的增强现实与远程控制方法

技术领域

本发明涉及智能家居，特别涉及一种基于室内定位与电子罗盘的增强现实与远程控制方法。

背景技术

智能家居是以住宅为平台，利用各种物联网技术(如无线网络通信技术、射频识别技术等)，构建高效的住宅设施与家庭日程事务的管理系统，提升家居安全性、便利性、舒适性、艺术性，并实现环保节能的居住环境。

智能家居是今后家居领域发展的必然趋势，虽然市场推广才刚刚开始，但行业的竞争已经很激烈。根据《中国智能家居设备行业发展环境与市场需求预测分析报告前瞻》分析，目前我国智能家居产品与技术的百花齐放，市场开始明显出现低、中、高不同产品档次的分水岭，行业进入快速成长期。面对中国庞大的需求市场，预计该行业将以年均19.8％的速率增长，在2015年产值达1240亿元。

增强现实技术是一种同时包括虚拟世界和真实世界的环境(如Google眼镜)，其目的是将真实世界中蕴含的信息数据，与人们目视的场景实时融合，以增强对真实世界的认识。现在该技术广泛应用于电影行业、地图导航、泛在测绘等领域，但是还未在智能家居领域应用。

为了提高智能家居的便捷性，很多智能家居系统利用移动智能设备(如智能手机、平板电脑、智能面板等)进行互动式控制智能家居的方式。但是由于智能家居设备过多、协议不同、信息量大而复杂与控制方式多样，传统控制应用具有两大缺点：①界面按钮过多，操作繁琐，容易误触；②目录结构层次多而复杂，不易记忆，搜索效率低。这带来较大的不便利，使得用户体验极度降低，严重影响智能家居的便捷性。

现有技术方案：

专利一：一种互动式控制智能家居设备的方法及家庭网络系统

专利号：CN201010166609.8

内容：本发明实施例公开了一种互动式控制智能家居设备的方法，包括：通过手持终端设备下发命令给集中控制设备获取家庭网络中智能家居设备的相关参数；根据所述智能家居设备的相关参数向集中控制设备发送控制指令；集中控制设备在收到控制指令后，分析所述控制指令中所关联的智能家居设备信息，并将所述智能家居设备信息和所关联的控制指令下发到家庭网关中；家庭网关根据集中控制设备下发的控制指令向所关联的智能家居设备发送控制指令，使智能家居设备根据所述控制指令完成相应的受控功能。本发明实施例还公开了一种系统，通过本发明实施例，能够方便用户使用各种智能家居设备，使得各种家电在更高的意义上实现家电的自动化。该专利需要中间设备较多，且不根据不同设备的协议转换控制指令。

专利二：一种基于移动终端的智能家居遥控系统

专利号：CN201210156434.1

内容：本发明公开了一种基于移动终端的智能家居遥控系统。所述系统包括具有网络通信功能的移动终端和服务器，所述移动终端进一步包括：控制指令获取模块，用于根据需要控制的家居电器的型号，通过网络从所述服务器上获取该家居电器的控制方式、控制码以及该家居电器控制面板的信息；连接建立模块，用于根据获得的家居电器的控制码以对应的控制方式与该家居电器进行控制指令的匹配和链接，建立所述移动终端与该家居电器的远程连接；远程控制模块，通过按下相应的按键图标发出控制指令来远程控制该需要控制的家居电器。通过该系统就可以实现多个家居电器以移动终端来进行控制，并与网络进行连接，获得更加丰富的信息，且操作简单方便。该专利仅罗列了所有受控设备对应的按钮图标，若设备较多，用户不易寻找目标按钮，且容易误触。

专利三：一种智能家居控制系统中的万能遥控器

专利号：CN200920165542.9

内容：本实用新型公开了一种智能家居控制系统中的具有学习功能的遥控器，用以为智能家居控制系统的整体控制提供可能。一种智能家居控制系统中的万能遥控器，包括：显示模块，用于显示智能家居控制系统的操作控制界面；近距离无线通信模块，用于实现近距离无线通信；红外信号接收模块，用于接收智能家居设备的遥控器发出不同控制功能的红外编码信号并转发；第一嵌入式微处理器，通过LCD数据总线连接所述显示单元，学习并还原红外编码信号；第二嵌入式微处理器，分别通过串行接口连接在所述第一嵌入式微处理器和近距离无线通信模块单元之间，用于接收所述第一嵌入式微处理器输出的控制指令并通过近距离无线通信模块发送。该专利外的设备(遥控器)，且与现实场景毫无联系。

专利四：一种智能家居控制装置用户操作界面的组建方法

专利号：CN200910042078.9

本发明公开了一种能家居控制装置用户操作界面的组建方法，包括如下步骤：(1)从图库中调用与住所格局一致的房屋三维结构图及可方便辨认的表示住所中受控设备的图标；(2)按照住所的装修结构，将对应受控设备的图标放置在房屋三维结构图中的相应位置；(3)建立对应受控设备的图标与住所中实际的受控设备的控制链接。此方法可实现三维立体智能家居操作，增强操作界面的直观性和灵活性。该专利需要构建完整的房屋虚拟三维结构图，需要一定的存储空间与计算时间；虽然与现实场景有一定联系，且把设备图表标注在对应位置；但是如果房屋结构复杂，且设备分布杂乱；用户寻找某个设备时，操作较繁琐且容易误触。

发明内容

为克服上述现有技术的缺陷与不足，本发明提供一种基于室内定位与电子罗盘的增强现实与远程控制方法。

本发明的技术方案是：

1.一种基于室内定位与电子罗盘的增强现实与远程控制方法，其特征在于，包括步骤：

1)定位，在三维坐标系中利用室内定位技术定位移动智能端坐标A(x,y,z)；

2)确定朝向，利用移动智能端的传感器确定水平方向和倾斜角度而组成朝向向量

3)捕获点，当移动智能端A到识别目标B的向量与朝向向量之间的夹角β小于阈值K时，则将识别目标捕获，否则丢弃识别目标；

4)读取捕获点信息，通过网络连接服务器数据库，读取被捕获识别目标的全部或局部信息，包括状态信息与控制信息，使用显示增强的方式，添加在后置摄像头拍摄的实景上；若没有找到需要的目标点，可直接移动位置或更新朝向后，返回步骤1)；

5)选择控制点，用户点击所需的识别目标，进入步骤6；

6)点控制，移动智能端将控制信息发送至服务器，服务器发送相关控制指令至相应的智能家居设备，智能家居设备根据控制指令完成相应控制操作；控制完成后，可退回步骤5选择其他已捕获对象进行控制，或直接移动位置或更新朝向后，返回步骤1。

优选的，步骤1所述的定位的步骤为：

101)在建筑物中装备至少3个无线路由器，并在三维坐标系上标定坐标，令为P(x_p,y_p,z_p)，Q(x_q,y_q,z_q)，R(x_r,y_r,z_r)；

102)检测各无线路由器接收的信号强度指示值RSSI；

103)通过各无线路由器接收到的信号强弱，测定移动智能端(令为A)与各无线路由器的距离AP、AQ、AR；在已建立的三维坐标系中，根据各无线路由的已知坐标与移动智能端与各无线路由的距离，根据公式(1)，计算得移动智能端A的定位坐标(x_a,y_a,z_a)。

$\left\{\begin{array}{c}{(x_p-x_a)}^2+{(y_p-y_a)}^2+{(z_p-z_a)}^2={\mathrm{AP}}^2\\ {(x_q-x_a)}^2+{(y_q-y_a)}^2+{(z_q-z_a)}^2={\mathrm{AQ}}^2\\ {(x_r-x_a)}^2+{(y_r-y_a)}^2+{(z_r-z_a)}^2={\mathrm{AR}}^2\end{array}\right.---\left(1\right)$

优选的，步骤2所述的确定朝向有如下具体步骤：

201)确定水平方向，通过电子罗盘确定移动智能端的水平方向；

202)确定倾斜角度，通过加速度计确定移动智能端的垂直方向上的倾斜角度，即垂直于移动智能端屏幕直线与水平面之间的角度。

具体的，所述步骤201具体为：通过电子罗盘确定移动智能端的水平方向，用单位向量表示；所述步骤202具体为：通过加速度计确定移动智能端的垂直方向上的倾斜角度β，即垂直于移动智能端屏幕直线与水平面之间的角度；最后根据公式(2)，利用倾斜角度β与水平向量计算得朝向向量

$\left\{\begin{array}{c}{x}_s=x_0\\ y_s=y_0\\ z_s=\tan \mathrm{\β}\×\sqrt{{x_s}^2+{y_s}^2}\end{array}\right.---\left(2\right)$

优选的，步骤6所述的点控制有如下具体步骤：

601)获取当前状态，首先获取当前的控制信息与状态信息，并添加在后置摄像头拍摄的实景上；

602)用户操作，用户通过相应控制界面，对智能家居设备进行相应控制操作；

603)控制信息发送至服务器，根据用户的操作，移动智能端将设备坐标与控制操作，组成控制信息发送至服务器；

604)服务器通过控制指令控制设备，服务器接收到控制信息后，根据设备坐标，获取设备的相关协议及相关信息，再根据设备协议与控制操作编译成相应控制指令，最后发送相应控制指令至设备，完成相应控制操作，并更新状态，最后返回步骤601。

与现有技术相比，本发明的有益效果有：

(1)本发明的技术方案只需要移动智能设备、服务器与必要的网络组建设备，服务器可根据不同设备的协议，将控制信息转换成相应的控制指令；

(2)本发明的技术方案只罗列移动智能终端所朝向上的识别目标点，按钮数目减少，且通过位置与朝向的改变就能自动搜索设备，快速便利，不易误触；

(3)本发明的技术方案以增强现实的方式，将识别目标点融合在摄像头拍摄的实景上，直观性与灵活性强；且直接利用用户已有的移动智能设备(如智能手机、平板电脑等)，减少额外的经济花费，使用户得到一机多用的体验；

(4)本发明的技术方案利用增强现实的方式，只需用户移动与改变移动智能设备的朝向，即可搜索所需设备，操作简单，拥有更强的直观性与灵活性；且本专利只需构建三维坐标系与各设备的坐标，存储空间与计算时间消耗较少。

附图说明

图1为本发明所述的基于室内定位与电子罗盘的增强现实与远程控制方法的总流程图；

图2为本发明所述定位的流程图；

图3为本发明所述确定朝向的流程图；

图4为本发明所述的捕获点示意图；

图5为本发明所述点控制的流程图。

具体实施方式

为方便本领域的技术人员了解本发明的技术内容，下面结合实施例对本发明做进一步的详细说明。

本实施例以增强现实的方式，为用户提供一种便捷高效地智能家居设备的控制体验。在智能家居环境中，提前建立起三维坐标系并将智能设备标定在三维坐标上作为识别目标点，需要至少3个无线路由器，移动智能端至少需要具备电子罗盘与加速度计等传感器。本实施例基于普通智能家居中的无线与有线混合控制，无需考虑移动智能端与被控设备之间是否存在障碍物，利用增强现实技术，仍可在智能端的显示设备上成像，显示被控设备的位置，方便控制。其优点包括：无需购买额外硬件设备与房屋三维虚拟结构图；操作界面不单一，按钮搜索快速，操作简单；无需记忆复杂的目录结构，不易误触；操作界面融合现实场景，直观性与灵活性强。

如图1所示，本实施例按如图流程，为用户提供便捷、实用的智能家居控制体验。首先对移动智能端进行室内定位，然后确定手机屏幕的垂直朝向，并且捕捉该方向上的识别目标点，接着读取点的状态信息与控制信息并以增强现实的方式显示在移动智能端上，最后用户可以选择识别目标点并在移动智能端上对该点进行控制，服务器接收到移动智能端发送的控制信息后，统一控制各智能家居设备。

如图2所示，移动智能端是智能家居增强现实展示与互动式控制的核心。在拥有智能家居的建筑物中，对移动智能端进行室内定位，是信息展示与互动式控制的前期准备，这里只做举例。在建筑物中装备至少3个无线路由器，并在三维坐标系上标定坐标，令为P(x_p,y_p,z_p)，Q(x_q,y_q,z_q)，R(x_r,y_r,z_r)；检测各无线路由器接收的信号强度指示值RSSI；通过各无线路由器接收到的信号强弱(即RSSI)，测定移动智能端(令为A)与各无线路由器的距离AP、AQ、AR；在已建立的三维坐标系中，根据各无线路由的已知坐标与移动智能端与各无线路由的距离，根据公式(1)，计算得移动智能端A的定位坐标(x_a,y_a,z_a)。

$\left\{\begin{array}{c}{(x_p-x_a)}^2+{(y_p-y_a)}^2+{(z_p-z_a)}^2={\mathrm{AP}}^2\\ {(x_q-x_a)}^2+{(y_q-y_a)}^2+{(z_q-z_a)}^2={\mathrm{AQ}}^2\\ {(x_r-x_a)}^2+{(y_r-y_a)}^2+{(z_r-z_a)}^2={\mathrm{AR}}^2\end{array}\right.---\left(1\right)$

如图3所示，完成对移动智能的定位后，本实施例需要确定移动智能端的朝向后，才能捕捉识别目标点。首先通过电子罗盘确定移动智能端的水平方向，用单位向量表示；然后通过加速度计确定移动智能端的垂直方向上的倾斜角度β，即垂直于移动智能端屏幕直线与水平面(即XOY面)之间的角度；最后根据公式(2)，利用倾斜角度β与水平向量计算得朝向向量

$\left\{\begin{array}{c}{x}_s=x_0\\ y_s=y_0\\ z_s=\tan \mathrm{\β}\×\sqrt{{x_s}^2+{y_s}^2}\end{array}\right.---\left(2\right)$

如图4所示，当完成对移动智能端的定位与朝向确认后，移动智能端能够从虚拟地图中捕获在该朝向的识别目标点。在如图的以0为原点的三维坐标系中，定位到移动智能端A，确定朝向为方向向量当点A到识别目标B的向量与朝向向量之间的夹角β小于阈值K时，则将识别目标捕获，否则丢弃识别目标。

如图5所示，当移动智能端捕获到点后，将以增强现实的方式，在拍摄的实景上融合识别目标点的全部或局部信息。当选择某个目标选择点后，进入相应控制界面，同时显示该目标点的状态信息与控制信息；用户在移动智能端进行相关操作后，将设备坐标与控制操作组成控制信息，统一发送控制信息至服务器；服务器根据控制信息，获取目标设备的设备协议与其他相关信息，最后服务器根据不同设备协议发送相应控制指令至对应的识别目标设备，最后完成对识别目标设备的控制。

上述实施例仅为本发明的其中具体实现方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些显而易见的替换形式均属于本发明的保护范围。

Claims (5)

1.一种基于室内定位与电子罗盘的增强现实与远程控制方法，其特征在于，包括步骤：

1)定位，在三维坐标系中利用室内定位技术定位移动智能端坐标点A(x，y，z)；

2)确定朝向，利用移动智能端的传感器确定水平方向与倾斜角度而组成朝向向量；

3)捕获点，当A到识别目标B的向量，与朝向向量之间的夹角小于阈值时，则将识别目标捕获，否则丢弃识别目标；

4)读取捕获点信息，通过网络连接服务器数据库，读取被捕获识别目标的全部或局部信息，包括状态信息与控制信息，使用显示增强的方式，添加在后置摄像头拍摄的实景上；若没有找到需要的目标点，则直接移动位置或更新朝向后，返回步骤1)；

5)选择控制点，用户点击所需的识别目标，进入步骤6；

6)点控制，移动智能端将控制信息发送至服务器，服务器发送相关控制指令至相应的智能家居设备，智能家居设备根据控制指令完成相应控制操作；控制完成后，则退回步骤5选择其它已捕获对象进行控制，或直接移动位置或更新移动智能端朝向后，返回步骤1。

2.根据权利要求1所述的基于室内定位与电子罗盘的增强现实与远程控制方法，其特征在于，步骤1所述的定位的步骤为：

101)在建筑物中装备至少3个无线路由器，并在三维坐标系上标定坐标，令为P(x_p,y_p,z_p)，Q(x_q,y_q,z_q)，R(x_r,y_r,z_r)；

102)检测各无线路由器接收的信号强度指示值RSSI；

103)基于各无线路由器接收到的信号强弱，测定移动智能端(令为A)与各无线路由器的距离AP、AQ、AR；在已建立的三维坐标系中，根据各无线路由的已知坐标与移动智能端与各无线路由的距离，根据公式(1)，计算得移动智能端A的定位坐标(x_a,y_a,z_a)。

。

3.根据权利要求2所述的基于室内定位与电子罗盘的增强现实与远程控制方法，其特征在于，步骤2所述的确定朝向有如下具体步骤：

201)确定水平方向，通过电子罗盘确定移动智能端的水平方向；

202)确定倾斜角度，通过加速度计确定移动智能端的垂直方向上的倾斜角度，即垂直于移动智能端屏幕直线与水平面之间的角度。

4.根据权利要求3所述的基于室内定位与电子罗盘的增强现实与远程控制方法，

其特征在于，所述步骤201具体为：通过电子罗盘确定移动智能端的水平方向，用单位向量(x₀,y₀,0)表示；所述步骤202具体为：通过加速度计确定移动智能端的垂直方向上的倾斜角度β，即垂直于移动智能端屏幕直线与水平面之间的角度；最后根据公式(2)，利用倾斜角度β与水平向量计算得朝向向量(x_s,y_s,z_s)。

。

5.根据权利要求2所述的基于室内定位与电子罗盘的增强现实与远程控制方法，其特征在于，步骤6所述的点控制有如下具体步骤：

601)获取当前状态，首先获取当前的控制信息与状态信息，并添加在后置摄像头拍摄的实景上；

602)用户操作，用户通过相应控制界面，对智能家居设备进行相应控制操作；

603)控制信息发送至服务器，根据用户的操作，移动智能端将设备坐标与控制操作，组成控制信息发送至服务器；

604)服务器通过控制指令控制设备，服务器接收到控制信息后，根据设备坐标，获取设备的相关协议及相关信息，再根据设备协议与控制操作编译成相应控制指令，最后发送相应控制指令至设备，完成相应控制操作，并更新状态，返回步骤601。