CN107703872A - 家电设备的终端控制方法、装置及终端 - Google Patents

Abstract

本发明揭示了一种家电设备的终端控制方法、装置及终端，属于计算机应用技术领域。所述方法包括：终端获取现实场景的图像，通过增强现实技术对所述图像进行识别，得到包含于所述图像中的家电设备，并根据所述家电设备进行虚拟设备图像渲染，将渲染形成的虚拟设备图像显示在所述终端中，通过显示的所述虚拟设备图像对现实场景中的家电设备实施控制。此外，还提供了上述家电设备的终端控制装置及终端，上述家电设备的终端控制方法、装置及终端能够使用户通过可视化的操作控制家电设备。

Description

家电设备的终端控制方法、装置及终端

技术领域

本发明涉及计算机应用技术领域，特别涉及一种家电设备的终端控制方法、装置及终端。

背景技术

随着家电设备的高速普及，家庭中的家电设备越来越多，人们对家电设备的操作要求也越来越高。在对家电设备进行智能操作时，需预先对家电设备进行识别，从而获取家电设备的标识信息。

目前，对家电设备进行控制时，通常是通过在终端app中手动输入家电设备的标识信息或通过扫描家电设备上的二维码获知家电设备的标识信息，再根据标识信息查找到相应的家电设备后进行操作控制。然而，通过手动输入标识信息或通过扫描二维码的方式只能单纯地对家电设备进行控制，无法使用户通过可视化的操作控制家电设备，大大影响了用户的操作体验。

发明内容

为了解决相关技术中无法通过可视化操作控制家电设备的技术问题，本发明提供了一种家电设备的终端控制方法、装置及终端。

第一方面，提供了一种家电设备的终端控制方法，包括：

终端获取现实场景的图像；

通过增强现实技术对所述图像进行识别，得到包含于所述图像中的家电设备，并根据所述家电设备进行虚拟设备图像渲染；

将渲染形成的虚拟设备图像显示在所述终端中，通过显示的所述虚拟设备图像对现实场景中的家电设备实施控制。

第二方面，提供了一种家电设备的终端控制装置，包括：

图像获取模块，用于终端获取现实场景的图像；

图像渲染模块，用于通过增强现实技术对所述图像进行识别，得到包含于所述图像中的家电设备，并根据所述家电设备进行虚拟设备图像渲染；

显示及控制模块，用于将渲染形成的虚拟设备图像显示在所述终端中，通过显示的所述虚拟设备图像对现实场景中的家电设备实施控制。

第三方面，提供了一种终端，其特征在于，所述终端包括：

处理器；以及

与所述处理器通信连接的存储器；其中，

所述存储器存储有可读性指令，所述可读性指令被所述处理器执行时实现如第一方面所述的方法。

第四方面，提供了一种计算机可读性存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被执行时实现如第一方面的方法。

通过本发明的实施例提供的技术方案能够得到以下有益效果：

终端在获取显示场景的图像后，通过增强现实技术对图像进行识别，得到包含于图像中的家电设备，并根据家电设备进行虚拟设备图像渲染，将渲染形成的虚拟设备图像显示在终端中，通过显示的虚拟设备图像对现实场景中的家电设备实施控制，使得家电设备的互联网功能不再是简单单纯地对家电设备进行控制，而是通过虚拟场景的构建使用户通过可视化的操作控制家电设备，大大提高了用户的操作体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，本发明并不受限制。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的本发明所涉及的实施环境示意图。

图2是根据一示例性实施例示出的一种装置的框图。

图3是根据一示例性实施例示出的一种家电设备的终端控制方法的流程图。

图4是根据图3对应实施例示出的另一种家电设备的终端控制方法。

图5是根据图3对应实施例示出的家电设备的终端控制方法中步骤S120的一种具体实现流程图。

图6是根据图4对应实施例示出的另一种家电设备的终端控制方法。

图7是根据图4对应实施例示出的另一种家电设备的终端控制方法。

图8是根据图4对应实施例示出的另一种家电设备的终端控制方法。

图9是根据一示例性实施例示出的一种家电设备的终端控制装置的框图。

图10是根据图9对应实施例示出的另一种家电设备的终端控制装置的框图。

图11是根据图10对应实施例示出的另一种家电设备的终端控制装置的框图。

图12是根据图10对应实施例示出的另一种家电设备的终端控制装置的框图。

图13是根据图10对应实施例示出的另一种家电设备的终端控制装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的本发明所涉及的实施环境示意图。在一个示例性实施例中，本发明所涉及的实现环境，如图1所示，包括家电设备10、终端20和服务器30。

终端20采集家电设备10的图像后，通过AR技术识别家电设备10后，将虚拟场景与家电设备融合，使用户通过虚拟场景感受到在显示场景中所经历的身临其境的逼真性，实现了对家电设备10的可视化控制。

服务器30用于接收终端20发送的控制指令，进而配合终端20进行家电设备的控制。

具体而言，如图1所示出的实施环境中，终端20可以是智能手机、平板电脑等便携移动终端。终端20将作为家电设备10的控制中心，并且与服务器30进行数据交互，进而实现对家电设备10的控制。

终端20上配置有图像采集组件，例如，各种内置或者外置的摄像头等，一方面为家电设备10所对应虚拟场景的配置预先实现图像数据采集，从而识别出现实场景中的家电设备；另一方面，也将为用户更加全面准确感知对家电设备10的控制状态。

例如，家电设备10可以是空调、冰箱、洗衣机、热水器等各种生活家电等。根据用户侧的，所部署可供终端20控制的家电设备10并非是固定的，而是灵活配置的。

图2是根据一示例性实施例示出的一种装置的框图。例如，装置100是图1所示的实施环境中的终端20。

参考图8，装置100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，装置100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件101通常控制装置100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在装置100的操作。这些数据的示例包括用于在装置100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如SRAM(Static Random AccessMemory，静态随机存取存储器)，EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦除可编程只读存储器)，EPROM(Erasable Programmable Read OnlyMemory，可擦除可编程只读存储器)，PROM(Programmable Read-Only Memory，可编程只读存储器)，ROM(Read-Only Memory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成图3、图4、图5、图6、图7和图8任一所示方法中的全部或者部分步骤。

电源组件103为装置100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为装置100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括LCD(Liquid Crystal Display，液晶显示器)和TP(TouchPanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件105被配置为输出和/或输入音频信号。例如，音频组件105包括一个麦克风，当装置100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，音频组件105还包括一个扬声器，用于输出音频信号。

传感器组件107包括一个或多个传感器，用于为装置100提供各个方面的状态评估。例如，传感器组件107可以检测到装置100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测装置100或装置100一个组件的坐标改变以及装置100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。

通信组件108被配置为便于装置100和其他设备之间有线或无线方式的通信。装置100可以接入基于通信标准的无线网络，如WiFi(WIreless-Fidelity，无线网络)，2G或3G，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括NFC(Near Field Communication，近场通信)模块，以促进短程通信。例如，在NFC模块可基于RFID(Radio Frequency Identification，射频识别)技术，IrDA(Infrared DataAssociation，红外数据协会)技术，UWB(Ultra-Wideband，超宽带)技术，BT(Bluetooth，蓝牙)技术和其他技术来实现。

在示例性实施例中，装置100可以被一个或多个ASIC(Application SpecificIntegrated Circuit，应用专用集成电路)、DSP(Digital Signal Processing，数字信号处理器)、PLD(Programmable Logic Device，可编程逻辑器件)、FPGA(Field－ProgrammableGate Array，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

该实施例中的装置中处理器执行操作的具体方式已经在有关该家电设备的终端控制方法的实施例中执行了详细描述，此处将不再做详细阐述说明。

图3是根据一示例性实施例示出的一种家电设备的终端控制方法的流程图。该家电设备的终端控制方法适用于图1所示实施环境的终端，该终端在一个示例性实施例中可以是图2所示的装置。如图3所示，该家电设备的终端控制方法，由终端执行，可以包括以下步骤。

在步骤110中，终端获取现实场景的图像。

其中，家电设备被部署于住宅等房屋中。例如，部置于家庭住宅或者公共场所的一个或者诸多家电设备。终端将根据所获得的图像来确定进行控制的家电设备。

终端获取现实场景的步骤，将在发起终端设备向家电设备进行控制之前进行现实场景的拍摄，例如，对家电设备上贴设的标记触发进行拍摄而获得图像；也可以在发起终端设备向家电设备进行控制之前获取终端存储中的图像，通过终端设备之间的数据传送或者通过从互联网络中的信息获得对应于一家电设备的图像等，例如，在炎热的夏天，用户身处室外，在回家的路上，通过存储于手机中的卧室空调图像，提前控制卧室内空调的开启，从而使室温提前下降，无需在用户回家之后再开启空调，为用户对家电设备的控制提高更好的便利性，大大提高了用户生活的舒适度；在此不对终端获取现实场景的图像方式进行限定，将根据实际应用的需要确定。

在步骤120中，通过增强现实技术对图像进行识别，得到包含于图像中的家电设备，并根据家电设备进行虚拟设备图像渲染。

通过AR(Augmented Reality，增强现实)技术，在屏幕上把虚拟场景套在现实世界并进行互动。

在一示例性实施例中，通过增强现实技术在识别库中进行图像的识别。

其中，在此应当首先进行说明的是，识别库可以是存储于终端的存储器中，也可以是存储于服务器的存储器中。当终端的存储器中未存储有识别库时，通终端通过与服务器联网，获取存储于服务器中的识别库。

在一具体的示例性实施例中，通过二维图像定位法识别图像对应的家电设备。通过二维图像定位，基于识别库中的不同的样本图像与采集的图像进行匹配分析，从而识别出图像中对应的家电设备。

虚拟设备图像渲染是对图像中的家电设备进行虚拟场景设置，从而将家电设备植入虚拟场景中。

其中，首先应当说明的是，对于每一种家电设备，都配置了相应的虚拟场景。

在由所获得的图像识别得到对应的家电设备之后，即可根据家电设备获取所对应家电设备的虚拟场景。通过将虚拟场景对家电设备的图像进行渲染，得到虚拟设备图像，通过在虚拟设备图像上进行家电设备的控制，从而实现对家电设备的可视化操作。

需要说明的是，渲染所采用的虚拟场景可以是预先存储于终端的存储中，也可以是存储于服务器中，还可以根据家电设备临时生成的。

在一个示例性实施例的具体实现中，虚拟场景被服务器发布，终端在识别出家电设备之后，根据家电设备向服务器发起请求，以从服务器获取所对应家电设备相关的虚拟场景数据。

当然，在另一个示例性实施例的具体实现中，也可将虚拟场景存储于终端本地。根据所识别的家电设备直接向本地数据库请求获取所对应家电设备相关的虚拟场景，从而不需要依赖于互联网络也能够快速搭建所需要的虚拟场景。

在一个示例性实施例的具体实现中，根据图像中的家电设备，通过三维交互跟踪生成与该家电设备相关的虚拟场景，从而根据实际的家电设备生成相关的虚拟场景，大大提高了虚拟场景的丰富度。

在步骤130中，将渲染形成的虚拟设备图像显示在终端中，通过显示的虚拟设备图像对现实场景中的家电设备实施控制。

将渲染形成的虚拟设备图像显示在终端时，即将家电设备投射入构建的虚拟场景中，并显示在终端的显示界面，进而在虚拟场景中执行终端向家电设备的控制指令，使得用户能够通过虚拟场景作用于家电设备，并获得相应的反馈，实现对家电设备的可视化控制。

通过如上所述的示例性实施，使得家电设备的互联网功能不再是简单单纯地对家电设备进行控制，而是通过虚拟场景的构建使用户通过可视化的操作控制家电设备，大大提高了用户的操作体验。

图4是根据图3对应实施例示出的另一种家电设备的终端控制方法，如图4所示，在步骤S120之后，该家电设备的终端控制方法还可以包括以下步骤。

在步骤S210中，检测家电设备的联网状态。

在步骤S220中，当检测到家电设备已联网，则终端获取家电设备的设备信息。

家电设备的设备信息包括家电设备的图片信息、详情信息、设备运行数据等。

其中，可以理解，家电设备配置了诸多功能，并且每一功能都有其所对应的设备信息。由此，与之相对应的，通过家电设备与服务器之间的适配连接，服务器将获取家电设备每一功能的工作信息。因此，终端通过向服务器发送请求，获取家电设备的设备信息。

当家电设备与服务器之间未进行适配连接时，服务器无法获取家电设备的设备信息，此时，终端生成设备离线提醒信息并显示在显示界面上，通过设备离线提醒信息，提示用户为处于离线状态的家电设备进行配网连接。

在步骤S230中，将融合有设备信息和虚拟设备图像的虚拟交互场景显示在终端。

通过将有设备信息和虚拟设备图像的虚拟交互场景同时显示在终端，更加方便用户根据家电设备的设备信息进行可视化操作。

其中，当图像中包含的家电数量不只一个时，终端界面的显示过程中可对虚拟场景中的家电设备进行动态显示。除此之外，在一个示例性实施例中，还可在动态显示家电设备的虚拟场景中进行家电设备的详情信息显示，以便于用户能够直接经由虚拟场景获知家电设备相关的所有信息。

例如，通过视野的变换而实现家电设备影像的360度旋转，以呈现家电设备的细节；用户在希望查看某一功能，或者家电设备上的某一部件时，可点击相应的部件，进而即可触发进行此部件的细节显示。

在一个示例性实施例中，家电设备详情信息包括家电设备的功能信息、能效信息等。

终端获取家电设备的设备信息后显示于终端的显示界面，从而通过终端可以获取家电设备的工作状态，进而更加方便对家电设备的控制。

在步骤S240中，在虚拟交互场景中进行控制指令接收，根据控制指令对家电设备进行控制。

通过如上所述的示例性实施，用户能够在知晓家电设备当前的设备信息的情况下，在虚拟交互场景中进行触发生成控制指令，对家电设备进行控制，在实现家电设备可视化操作的同时，有效提高了对家电设备的控制效率，大大提高了用户的操作体验。

图5是根据图3对应实施例示出的家电设备的终端控制方法中步骤S120的细节描述，如图5所示，该家电设备的终端控制方法中的步骤S120还可以包括以下步骤。

在步骤S121中，对虚拟场景数据与图像进行相对位置计算。

可以理解的是，为使家电设备与虚拟场景更加协调，进一步提高家电设备在虚拟场景中的可视性，需对虚拟场景数据与包含家电设备的图像进行相对位置的匹配计算。

在一具体的示例性实施例中，通过终端的处理单元对拟场景数据与包含家电设备的图像进行分析和重构，进而结合头部跟踪设备的数据来分析虚拟场景数据与包含家电设备的图像的相对位置。

在步骤S122中，通过坐标系的对齐将包含于图像中的家电设备与虚拟场景数据融合。

通过坐标系的对齐确定包含家电设备的图像在虚拟场景中的相对位置，进而将包含家电设备的图像与虚拟场景数据融合，实现家电设备的虚拟设备图像渲染后加载显示在终端的显示界面。

利用如上所述的方法，通过计算家电设备与虚拟场景的相对位置后将包含家电设备的图像与虚拟场景数据融合，进而在渲染后加载显示在终端的显示界面，使家电设备在显示界面中的位置更加协调，在实现家电设备的可视性操作的同时，大大提高了用户的操作体验。

图6是根据图4对应实施例示出的另一种家电设备的终端控制方法，如图6所示，控制指令包括联动设置指令，该家电设备的终端控制方法还可以包括以下步骤。

在步骤S310中，当虚拟交互场景中的虚拟设备图像所对应的家电设备有多个时，检测用户为多个家电设备进行联动设置而触发的操控行为，得到联动设置指令。

联动设置指令是指示终端对家电设备进行联动的命令。

在一示例性实施例中，用户通过在终端的显示界面进行输入操作，对选中的家电设备进行联动设置而触发生成联动设置指令。

在步骤S320中，根据联动设置指令为多个家电设备进行联动条件项和联动控制项的联动设置。

对多个家电设备进行联动设置时，将进行联动条件项和联动控制项的设置。

联动条件项是进行联动控制的前提条件。只有达到联动条件项，才能实现对联动的家电设备进行控制。

联动控制项是联动控制的具体内容。在联动条件项满足后，将按照联动控制项对联动的家电设备进行控制。

例如，进行联动设置的家电设备为空气净化器和空气质量检测仪，联动条件项为空气指数大于100，联动控制项是控制空气净化器开启。当空气质量检测仪检测到室内空气指数为150时，终端在判断到联动条件项后将根据联动控制项自动开启空气净化器进行空气的净化处理，直至室内空气达到预设标准。

又例如，进行联动设置的家电设备空调和窗帘。联动条件项为空调开启，联动控制项为关闭窗帘。

识别出空调后就可以通过APP联网去服务器查询这个用户家庭下面所绑定的空调信息。如果有多个空调，则会提示用户让用户选择当前是在那个房间，然后就可以查询到这个房间的空调信息。当终端检测到空调开启后，就向窗帘发送关闭的控制指令，控制窗帘关闭，从而更快地降低室内温度。

这种联动操作可以在终端的显示屏幕上面手动操作，还可以通过IFTTT进行设置。

利用如上所述的方法，通过在终端上对家电设备进行联动设置，在联动设置的联动条件项满足后按照联动控制项进行家电设备的控制，从而进一步提高家电设备控制的灵活性及自动化程度，大大提高了用户的操作体验。

图7是根据图4对应实施例示出的另一种家电设备的终端控制方法，如图7所示，该家电设备的终端控制方法还可以包括以下步骤。

在步骤S410中，从家电设备的设备信息中提取设备运行数据。

如前所述的，家电设备的设备信息包括家电设备的图片信息、详情信息、设备运行数据等。

在获取家电设备的设备信息后，从家电设备的设备信息中提取设备运行数据。

在步骤S420中，在设备运行数据符合联动设置中的联动条件项时，按照联动设置中的联动控制项生成控制指令对联动的家电设备实施控制。

在获取设备运行数据后，将设备运行数据与联动设置中的联动条件项进行匹配，判断是否符合联动设置中的联动条件项要求，在联动条件项满足后，将按照联动控制项对联动的家电设备进行控制。

利用如上所述的方法，通过在终端上对家电设备进行联动设置，在联动设置的联动条件项满足后按照联动控制项进行家电设备的控制，从而进一步提高家电设备控制的灵活性及自动化程度，大大提高了用户的操作体验。

图8是根据图4对应实施例示出的另一种家电设备的终端控制方法，如图7所示，该家电设备的终端控制方法还可以包括以下步骤。

在步骤S510中，在虚拟交互场景中接收输入操作触发生成的联动查询指令。

联动查询指令是指示对家电设备的联动设置信息查询的命令。

在步骤S520中，根据联动查询指令，从家电设备的设备信息中查找家电设备与其他家电设备的联动设置信息并显示在终端。

通过联动查询指令将家电设备与其他家电设备的联动设置信息并显示在终端，使用户知晓家电设备与其他家电设备的联动状态，更加方便用户对家电设备的联动设置进行新增、修改、删除等，从而实现更有效率的对家电设备进行控制。

下述为本发明系统实施例，可以用于执行上述家电设备的终端控制方法实施例。对于本发明系统实施例中未披露的细节，请参照本发明家电设备的终端控制方法实施例。

图9是根据一示例性实施例示出的一种家电设备的终端控制装置的框图，该系统包括但不限于：图像获取模块110、图像渲染模块120及显示及控制模块130。

图像获取模块110，用于终端获取现实场景的图像；

图像渲染模块120，用于通过增强现实技术对图像进行识别，得到包含于图像中的家电设备，并根据家电设备进行虚拟设备图像渲染；

显示及控制模块130，用于将渲染形成的虚拟设备图像显示在终端中，通过显示的虚拟设备图像对现实场景中的家电设备实施控制。

上述装置中各个模块的功能和作用的实现过程具体详见上述家电设备的终端控制方法中对应步骤的实现过程，在此不再赘述。

可选的，图10是根据图9对应实施例示出的另一种家电设备的终端控制装置的框图，如图10所示，图9中的家电设备的终端控制装置还包括但不限于：联网状态检测模块210、设备信息获取模块220、场景显示模块230和控制模块240。

联网状态检测模块210，用于检测家电设备的联网状态；

设备信息获取模块220，用于当检测到家电设备已联网，则终端获取家电设备的设备信息；

场景显示模块230，用于将融合有设备信息和虚拟设备图像的虚拟交互场景显示在终端；

控制模块240，用于在虚拟交互场景中进行控制指令接收，根据控制指令对家电设备进行控制。

可选的，图10对应实施例示出的一种家电设备的终端控制装置中，该家电设备的终端控制装置还包括但不限于：设备离线提醒模块。

设备离线提醒模块，用于当检测到家电设备未联网，则终端生成设备离线提醒信息并显示，设备离线提醒信息用于提示用户为处于离线状态的家电设备进行配网连接。

可选的，图11是根据图10对应实施例示出的另一种家电设备的终端控制装置的框图，如图11所示，图10中的家电设备的终端控制装置还包括但不限于：联动设置指令生成模块310和联动设置模块320。

联动设置指令生成模块310，用于当虚拟交互场景中的虚拟设备图像所对应的家电设备有多个时，检测用户为多个家电设备进行联动设置而触发的操控行为，得到联动设置指令；

联动设置模块320，用于根据联动设置指令为多个家电设备进行联动条件项和联动控制项的联动设置。

可选的，图12是根据图10对应实施例示出的另一种家电设备的终端控制装置的框图，如图12所示，图10中的家电设备的终端控制装置还包括但不限于：设备运行数据提取模块410和联动控制模块420。

设备运行数据提取模块410，用于从家电设备的设备信息中提取设备运行数据；

联动控制模块420，用于在设备运行数据符合联动设置中的联动条件项时，按照联动设置中的联动控制项生成控制指令对联动的家电设备实施控制。

可选的，图13是根据图10对应实施例示出的另一种家电设备的终端控制装置的框图，如图13所示，图10中的家电设备的终端控制装置还包括但不限于：联动查询指令生成模块510和联动设置信息查询模块520。

联动查询指令生成模块510，用于在虚拟交互场景中接收输入操作触发生成的联动查询指令；

联动设置信息查询模块520，用于根据联动查询指令，从家电设备的设备信息中查找家电设备与其他家电设备的联动设置信息并显示在终端。

可选的，本发明还提供一种终端，执行图3、图4、图5、图6、图7和图8任一所示的家电设备的终端控制方法的全部或者部分步骤。所述终端包括：

处理器；以及

与所述处理器通信连接的存储器；其中，

所述存储器存储有可读性指令，所述可读性指令被所述处理器执行时实现如上述任一示例性实施例所述的方法。

该实施例中的终端中处理器执行操作的具体方式已经在有关该家电设备的终端控制方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种计算机可读性存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由装置100的处理器109执行以完成上述家电设备的终端控制方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种家电设备的终端控制方法，其特征在于，所述方法包括：

终端获取现实场景的图像；

通过增强现实技术对所述图像进行识别，得到包含于所述图像中的家电设备，并根据所述家电设备进行虚拟设备图像渲染；

将渲染形成的虚拟设备图像显示在所述终端中，通过显示的所述虚拟设备图像对现实场景中的家电设备实施控制。

2.根据权利要求1所述的方法，其特征在于，所述通过增强现实技术对所述图像进行识别，得到包含于所述图像中的家电设备，并根据所述家电设备进行虚拟设备图像渲染的步骤之后，所述方法还包括：

检测所述家电设备的联网状态；

当检测到所述家电设备已联网，则终端获取所述家电设备的设备信息；

将融合有所述设备信息和虚拟设备图像的虚拟交互场景显示在所述终端；

在所述虚拟交互场景中进行控制指令接收，根据所述控制指令对所述家电设备进行控制。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当检测到所述家电设备未联网，则终端生成设备离线提醒信息并显示，所述设备离线提醒信息用于提示用户为处于离线状态的所述家电设备进行配网连接。

4.根据权利要求2所述的方法，其特征在于，所述控制指令包括联动设置指令，所述方法还包括：

当所述虚拟交互场景中的虚拟设备图像所对应的家电设备有多个时，检测用户为多个家电设备进行联动设置而触发的操控行为，得到联动设置指令；

根据所述联动设置指令为所述多个家电设备进行联动条件项和联动控制项的联动设置。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

从所述家电设备的设备信息中提取设备运行数据；

在所述设备运行数据符合联动设置中的联动条件项时，按照联动设置中的联动控制项生成控制指令对联动的家电设备实施控制。

6.根据权利要求2所述的方法，其特征在于，所述控制指令包括联动查询指令，所述方法还包括：

在所述虚拟交互场景中接收输入操作触发生成的联动查询指令；

根据所述联动查询指令，从所述家电设备的设备信息中查找所述家电设备与其他家电设备的联动设置信息并显示在所述终端。

7.一种家电设备的终端控制装置，其特征在于，所述装置包括：

图像获取模块，用于终端获取现实场景的图像；

图像渲染模块，用于通过增强现实技术对所述图像进行识别，得到包含于所述图像中的家电设备，并根据所述家电设备进行虚拟设备图像渲染；

显示及控制模块，用于将渲染形成的虚拟设备图像显示在所述终端中，通过显示的所述虚拟设备图像对现实场景中的家电设备实施控制。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

联网状态检测模块，用于检测所述家电设备的联网状态；

设备信息获取模块，用于当检测到所述家电设备已联网，则终端获取所述家电设备的设备信息；

场景显示模块，用于将融合有所述设备信息和虚拟设备图像的虚拟交互场景显示在所述终端；

控制模块，用于在所述虚拟交互场景中进行控制指令接收，根据所述控制指令对所述家电设备进行控制。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

设备离线提醒模块，用于当检测到所述家电设备未联网，则终端生成设备离线提醒信息并显示，所述设备离线提醒信息用于提示用户为处于离线状态的所述家电设备进行配网连接。

10.根据权利要求8所述的装置，其特征在于，所述控制指令包括联动设置指令，所述装置还包括：

联动设置指令生成模块，用于当所述虚拟交互场景中的虚拟设备图像所对应的家电设备有多个时，检测用户为多个家电设备进行联动设置而触发的操控行为，得到联动设置指令；

联动设置模块，用于根据所述联动设置指令为所述多个家电设备进行联动条件项和联动控制项的联动设置。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：

设备运行数据提取模块，用于从所述家电设备的设备信息中提取设备运行数据；

联动控制模块，用于在所述设备运行数据符合联动设置中的联动条件项时，按照联动设置中的联动控制项生成控制指令对联动的家电设备实施控制。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括：

联动查询指令生成模块，用于在所述虚拟交互场景中接收输入操作触发生成的联动查询指令；

联动设置信息查询模块，用于根据所述联动查询指令，从所述家电设备的设备信息中查找所述家电设备与其他家电设备的联动设置信息并显示在所述终端。

13.一种终端，其特征在于，所述终端包括：

处理器；以及

与所述处理器通信连接的存储器；其中，

所述存储器存储有可读性指令，所述可读性指令被所述处理器执行时实现如权利要求1-6任一项所述的方法。

14.一种计算机可读性存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被执行时实现如权利要求1-6任一项所述的方法。