CN112153123A - 控制物联网系统中的物联网装置的方法、装置及系统 - Google Patents

Abstract

提供一种控制物联网系统中的物联网装置的方法、装置及系统。该控制物联网系统中的物联网装置的方法包括：响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及用户选择的物联网装置使用的物联网协议；在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；并且响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置，从而将IOT控制界面集成到一个统一的平台进行控制操作，提升了用户体验。

Description

控制物联网系统中的物联网装置的方法、装置及系统

技术领域

本公开涉及物联网技术领域。更具体地，本公开涉及一种控制物联网(IOT)系统中的物联网装置的方法、物联网装置及物联网系统。

背景技术

IOT在智能家居领域已经得到广泛的应用。例如目前的智能电视支IOT相关的指令，比如打开空调，设置空气净化器等。目前多个IOT的开发平台。这些IOT开放平台通信层面连接的标准协议为MQTT、COAP和HTTP。集成方面多用REST API。智能家居中节点之间的通讯必须通过某一个IOT开发平台协议。如果两个节点分属的厂商使用不同的IOT开发平台，是不同互相通信的。关于IOT设备节点的展示和控制方法，也五花八门，一般在支持界面的智能节点开发了相关的配置界面。比如智能电视，智能手机等，各个厂商开发的控制应用涉及也不一而足。

目前智能家居的IOT的设备发现和连接做得很成熟。目前不同厂商支持的IOT协议不一样，比如英特尔，三星，微软支持的是开放协议联盟(Open Connectivity Foundation，简称OCF)。OCF是一个通用的、互操作性的解决方案。Google和苹果有自己的IOT协议。不同厂商的IOT节点的互连互通有困难。

不同厂商的IOT节点之间不能互连互通，因为所属的协议不一样。限制了IOT的发展和更加无障碍地大规模地应用。

另外每个厂商都开发了基于带界面的智能设备(智能手机，智能穿戴设备，智能电视等)的IOT的控制应用。但是每个厂商开发的应用界面各不相同，可操作性，易用性也不样。用户去操作控制界面需要根据用户手册去熟悉相关界面。

发明内容

本公开的示例性实施例在于提供一种控制物联网系统中的物联网装置的方法、装置及系统，通过借助于同厂商的带控制界面功能的智能设备将IOT控制界面集成到一个统一的平台进行控制操作，提升用户体验。

根据本公开的示例性实施例，提供一种控制物联网系统中的物联网装置的方法，包括：响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及所述用户选择的物联网装置使用的物联网协议；在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；并且响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

可选地，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤可包括：请求所述至少一个物联网装置将支持物联网控制功能的用户界面投屏到预设屏幕；并且响应于所述至少一个物联网装置基于所述请求将支持物联网控制功能的用户界面投屏到预设屏幕，基于投屏的用户界面控制所述用户选择的物联网装置。

可选地，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤可包括：当所述至少一个物联网装置无法将支持物联网控制功能的用户界面投屏到预设屏幕时，获取所述至少一个物联网装置的支持物联网控制功能的用户界面的屏幕截屏；并且基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面。

可选地，基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面的步骤可包括：基于屏幕截屏分析支持物联网控制功能的用户界面的元素和布局，并基于分析出的元素和布局重现支持物联网控制功能的用户界面。

可选地，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤还可包括：向所述至少一个物联网装置发送用于控制物联网系统中的物联网装置的唤醒指令。

可选地，当搜索到的使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置超过一个时，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤可包括：基于所述至少一个物联网装置的控制方式和使用历史中的至少一个，从所述至少一个物联网装置中选择一个物联网装置，其中，控制方式包括触屏输入控制方式和语音输入控制方式中的至少一个；并且基于所述物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

可选地，所述方法还可包括：响应于在物联网系统中未搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置，通过使用跨网段通信技术搜索物联网系统外的投屏装置；并且响应于搜索到物联网系统外的投屏装置，通过所述投屏装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

可选地，所述方法还可包括：对接入物联网系统中的物联网装置进行注册。

可选地，对接入物联网系统中的物联网装置进行注册的步骤可包括以下项中的至少一个：获取摄像头拍摄的接入的物联网装置的外观图片，基于外观图片识别出物联网装置的类别和型号信息，并对物联网装置的类别和型号信息进行存储；通过动态主机配置协议技术分析出接入的物联网装置的媒体存取控制MAC地址，并对物联网装置的MAC地址进行存储；接收用户针对接入的物联网装置输入的用户添加信息，并对物联网装置的用户添加信息进行存储；以及获取接入的物联网装置的位置信息，并对物联网装置的位置信息进行存储。

可选地，在接收到用于选择物联网装置的用户输入之前，所述方法还可包括：显示基于物联网系统中所有物联网装置的注册信息形成的IOT标准控制界面。

可选地，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤可包括：响应于接收到用户输入的操作命令，将操作命令转化为指令请求；并且将转化的指令请求发送到所述至少一个物联网装置，以使得所述至少一个物联网装置通过根据指令请求控制支持物联网控制功能的用户界面来控制所述用户选择的物联网装置。

根据本公开的示例性实施例，提供一种物联网装置，包括：协议确定单元，被配置为响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及所述用户选择的物联网装置使用的物联网协议；装置搜索单元，被配置为在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；和装置控制单元，被配置为响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

可选地，装置控制单元可被配置为：请求所述至少一个物联网装置将支持物联网控制功能的用户界面投屏到预设屏幕；并且响应于所述至少一个物联网装置基于所述请求将支持物联网控制功能的用户界面投屏到预设屏幕，基于投屏的用户界面控制所述用户选择的物联网装置。

可选地，装置控制单元可被配置为：当所述至少一个物联网装置无法将支持物联网控制功能的用户界面投屏到预设屏幕时，获取所述至少一个物联网装置的支持物联网控制功能的用户界面的屏幕截屏；并且基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面。

可选地，装置控制单元可被配置为：基于屏幕截屏分析支持物联网控制功能的用户界面的元素和布局，基于分析出的元素和布局重现支持物联网控制功能的用户界面。

可选地，装置控制单元还可被配置为：向所述至少一个物联网装置发送用于控制物联网系统中的物联网装置的唤醒指令。

可选地，装置控制单元可被配置为：当搜索到的使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置超过一个时，基于所述至少一个物联网装置的控制方式和使用历史中的至少一个，从所述至少一个物联网装置中选择一个物联网装置，其中，控制方式包括触屏输入控制方式和语音输入控制方式中的至少一个；并且基于所述物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

可选地，所述物联网装置还可包括附加控制单元，被配置为：响应于在物联网系统中未搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置，通过使用跨网段通信技术搜索物联网系统外的投屏装置；并且响应于搜索到物联网系统外的投屏装置，通过所述投屏装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

可选地，所述物联网装置还可包括装置注册单元，被配置为：对接入物联网系统中的物联网装置进行注册。

可选地，装置注册单元可被配置为执行以下操作中的至少一个操作：获取摄像头拍摄的接入的物联网装置的外观图片，基于外观图片识别出物联网装置的类别和型号信息，并对物联网装置的类别和型号信息进行存储；通过动态主机配置协议技术分析出接入的物联网装置的MAC地址，并对物联网装置的MAC地址进行存储；接收用户针对接入的物联网装置输入的用户添加信息，并对物联网装置的用户添加信息进行存储；以及获取接入的物联网装置的位置信息，并对物联网装置的位置信息进行存储。

可选地，所述物联网装置还可包括标准界面显示单元，被配置为：显示基于物联网系统中所有物联网装置的注册信息形成的IOT标准控制界面。

可选地，装置控制单元可被配置为：响应于接收到用户输入的操作命令，将操作命令转化为指令请求；并且将转化的指令请求发送到所述至少一个物联网装置，以使得所述至少一个物联网装置通过根据指令请求控制支持物联网控制功能的用户界面来控制所述用户选择的物联网装置。

根据本公开的示例性实施例，提供一种物联网系统，包括：第一物联网装置、第二物联网装置和第三物联网装置，其中，第一物联网装置被配置为：响应于接收到用于选择第三物联网装置的用户输入，确定用户选择的第三物联网装置以及所述用户选择的第三物联网装置使用的物联网协议；在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的第二物联网装置；并且响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个第二物联网装置，基于所述至少一个第二物联网装置的支持物联网控制功能的用户界面控制所述用户选择的第三物联网装置，其中，第二物联网装置被配置为：响应于从第一物联网装置接收到用于控制物联网系统中的第三物联网装置的唤醒指令和/或投屏请求，将相应的用户界面投屏到预设屏幕；响应于从第一物联网装置接收到用于控制物联网系统中的第三物联网装置的指令请求，对物联网系统中的第三物联网装置进行控制。

根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法。

根据本公开的示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法。

根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法、装置及系统，通过响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及所述用户选择的物联网装置使用的物联网协议；在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；并且响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置，从而将IOT控制界面集成到一个统一的平台进行控制操作，提升了用户体验。

将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。

附图说明

通过下面结合示例性地示出实施例的附图进行的描述，本公开的示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：

图1示出根据本公开的示例性实施例的物联网系统的示意图。

图2示出IOT控制界面服务器获取新设备MAC地址的流程。

图3示出IOT控制界面服务器与带UI的智能设备之间的交互流程。

图4示出IOT设备之间用户界面投屏的流程。

图5示出IOT控制界面服务器与带UI的智能设备的示意图。

图6至图9根据本公开的示例性实施例的控制物联网系统中的物联网装置的示例。

图10示出根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法的流程图。

图11示出根据本公开的示例性实施例的物联网装置的框图。

图12示出根据本公开的示例性实施例的计算装置的示意图。

具体实施方式

现将详细参照本公开的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。

图1示出根据本公开的示例性实施例的物联网系统的示意图。物联网系统包括但不限于智能家居系统，在图1中仅以智能家居系统为例进行说明，而不是将物联网系统限制为智能家居系统。

智能家居系统可包括一套智能设备，诸如智能电视、智能音箱、智能手机、智能穿戴设备、智能冰箱等，而不限于图1中的智能音箱和智能冰箱。在本公开的示例性实施例中，智能家居系统还可包括IOT控制界面服务器。IOT控制界面服务器一般可由智能家居系统中的位于中心位置或者关键位置(例如，客厅)的具有显示屏幕的电子装置(例如，电视机)担任。关于IOT控制界面服务器，此服务器形式不限，可以是客厅的电视机，或者是linux服务器，无UI界面并且需要借助投影设备投影到相关设备去显示。

当新的智能设备节点第一次接入到智能家居网络中，会完成接入操作，将本节点的详细信息(例如，设备型号、厂商、媒体存取控制(Media Access Control，简称MAC)地址、位置等)发送到IOT控制界面服务器存储。可选方案为，客厅的IOT控制界面服务器连接有摄像头，新的IOT设备(例如，智能音箱、智能冰箱等)第一次搬入智能家居环境中时通过摄像头捕捉到新设备的图片，然后通过图片识别的系统解析出设备的的详细信息(设备型号等)并发送相关消息存储到IOT控制界面服务器中。图像识别技术已经比较成熟，IOT控制界面服务器可选择一种AI图像识别框架(Amazon Rekognition、TensorFlow、Microsoft CNTK等)。图2示出IOT控制界面服务器获取新设备mac地址的流程。无线路由AP通过DHCP协议可以得到新加入的智能设备MAC地址，无线路由AP将获取到的新设备的MAC地址发送给IOT控制界面服务器进行存储。由此，IOT控制界面服务器存储了设备名称、设备型号、设备MAC地址等信息。当智能设备节点非第一次接入智能家居系统，但是发生位置移动，也要通知IOT控制界面服务器。可以通过智能设备节点上自带的定位系统来实现。优选地，利用Wifi定位方式来获取位置。如图1所示，智能家居环境中的智能节点主动发送相关节点信息给IOT控制界面服务器。

IOT控制界面服务器已经存储了已接入本智能家居系统的所有节点信息，根据此信息IOT控制界面服务器在本机显示或者投影到大屏显示的IOT标准控制界面(如图1所示)，供用户操作。

当用户选择某一个智能家居设备节点时，IOT控制界面服务器搜索附近的和所选择的智能设备节点同厂商(或者使用相同的物联网协议)的且带UI的智能设备(例如，智能手机、智能穿戴设备等)。如果搜索到不止一个设备，比如智能电视和智能手机上都有支持IOT节点控制的APP，智能电视上同时支持语音输入，则在界面上显示两个设备并备注控制方式(触屏、语音等)，让用户选择。IOT控制界面服务器向用户选择的智能设备发送唤醒命令，且控制此同厂商的智能设备更新到相关的配置界面。且IOT控制界面服务器让同厂商的智能设备投射到用户当前的大屏，让用户进行下一步的控制操作。

图3示出IOT控制界面服务器与带UI的智能设备之间的交互流程。参照图3，用户选择对应的带界面的智能设备后，IOT界面服务器向相关智能设备发送投屏请求，智能设备上启动投屏的进程，这时智能设备上的控制界面同步投射到IOT界面服务器上。用户在IOT界面服务器上进行下一步具体操作时，相关操作命令通过消息方式反向传输的对应的智能设备上。由此实现在IOT界面服务器上反向控制智能设备。

关于IOT设备A和IOT设备B的主动投屏流程，考虑以下两种情况，一是设备B支持图形用户界面(Graphical User Interface，简称GUI)的嵌入设备，则设备B的用户界面投屏到设备A是用的传统的投屏(screen-mirror)流程。第二种情况是设备B不支持GUI的嵌入式设备。

图4示出IOT设备之间用户界面投屏的流程。

参照图4，当需要投射的IOT设备B不支持GUI时，IOT设备B收到IOT设备A发出的投屏请求后，首先将当前的界面截屏保存并发送给IOT设备A，IOT设备A分析界面UI的结构及元素后通过web页面工具例如HTML5实时画出当前的界面截屏上的用户界面，并将画出的用户界面显示在IOT控制界面服务器的显示屏上。

在本公开的示例性实施例中，智能家居系统中一般可以选择客厅的智能电视为IOT控制界面服务器。新的IOT设备启用时，新的智能设备节点第一次进入智能家居环境时可以借助自身的定位模块及房间的摄像头获取新设备的相关信息并存储到客厅的IOT控制界面服务器系统中。当智能设备后面位置改变时，也能实时地更新相关信息给IOT控制界面服务器。

具体来说，IOT控制界面服务器收到所连接的摄像头拍摄的新的IOT设备的图片后，可利用现有的AI图片内容识别的主流框架，例如，Amazon Rekognition、TensorFlow、Microsoft CNTK、Theano等，分析识别出设备类别，设备型号等信息进行存储。所述智能家居系统的无线路由器发现有新的设备接入时，可通过DHCP技术分析出新设备的MAC地址并发送给IOT控制界面服务器。IOT控制界面服务器结合刚分析出的设备类别、设别型号等，将对应的设备MAC地址也保存。当智能设备的位置发生改变时，可根据WLAN定位技术，IOT控制界面服务器更新自身维护的设备列表信息。

图5示出IOT控制界面服务器与带UI的智能设备的示意图。

IOT控制界面服务器存储了此智能家居系统中可用的智能设备节点信息。如图5所示，IOT控制界面服务器可包括通信模块、UI生成模块、投屏模块、反向控制模块。带UI界面地智能设备在原有模块基础上，还可包括通信模块、投屏模块和IOT接入模块。

IOT控制界面服务器和用户所选的带界面的智能设备之间可以实现内容共享。并且IOT控制界面服务器通过反向控制模块和通信模块，将用户对IOT控制界面服务器的遥控指令传送到带界面的智能设备，由此实现在投屏背景下的反向设备控制功能。

图6至图9根据本公开的示例性实施例的控制物联网系统中的物联网装置的示例。

如图6所示，在示例一中，用户的智能家居环境中有三星电视、西门子冰箱、三星音箱、三星手机、三星智能手表等。这些智能设备都已经成功接入到智能家居系统中。三星厂商在三星电视、三星手机和三星智能手表上均开发了控制IOT节点的控制应用可以供用户进行设备控制等操作。

此智能家居环境中选择客厅的三星电视作为IOT控制界面服务器。新的智能设备节点第一次进入智能家居环境时借助自身的定位模块及房间的摄像头获取新设备的相关信息并存储到客厅的三星电视系统中。

用户走进客厅打开电视，电视上显示当前可以用的智能节点包括西门子冰箱、三星音箱、三星智能手表等。用户通过遥控器，选择三星音箱为下一步的控制对象。IOT控制界面服务器存储了各个智能设备及可用的同品牌的带界面的智能设备的相关信息，通过匹配相关信息，给用户显示了两个可用的界面设备：三星手机和三星手表。用户选择其中一个设备后，IOT控制界面服务器向三星手机发起唤醒命令。

三星手机被唤醒后，IOT控制界面服务器向三星手机发起投屏的请求。三星手机将屏幕内容投射到IOT控制界面服务器。且后续用户通过遥控的操作都转化成指令请求发送给三星手机。三星手机接收到IOT控制界面服务器的控制请求后控制界面App应用跳转到下一步页面，此页面同步显示在IOT控制界面服务器上。由此实现通过操作IOT控制界面服务器完全操作书房的三星手机的效果。

如图7所示，在示例二中，用户的智能家居环境中有客厅的三星电视、卧室的小米电视、三星空调、小米空调、小米空气净化器等。这些智能设备都已经成功接入到智能家居系统中。小米电视上开发了控制小米IOT节点的控制应用可以供用户进行设备控制等操作。

此智能家居环境中选择客厅的三星电视作为IOT控制界面服务器。新的智能设备节点第一次进入智能家居环境时借助自身的定位模块及房间的摄像头获取新设备的相关信息并存储到客厅的三星电视系统中。

用户走进客厅打开电视，电视上显示当前可以用的智能节点包括小米空调、小米空气净化器等。用户通过语音输入，选择小米空气净化器为下一步的控制对象。IOT控制界面服务器存储了各个智能设备及可用的同品牌的带界面的智能设备的相关信息，通过匹配相关信息，给用户显示了一个可用的界面设备：卧室的小米电视。不需要用户选择，IOT控制界面服务器自动向卧室的小米电视发出唤醒请求。小米电视开启并将相关控制界面投屏到IOT控制界面服务器。后续用户通过语音输入的操作命令都转化成相应指令请求发送给小米电视。小米电视根据用户语音指令进行控制页面的跳转。

如图8所示，在示例三中，用户的智能家居环境中有三星电视、西门子冰箱、三星音箱、三星手机、三星智能手表等。这些智能设备都已经成功接入到智能家居系统中。三星厂商在三星电视、三星手机和三星智能手表上均开发了控制IOT节点的控制应用可以供用户进行设备控制等操作。但是三星手机上的IOT控制app的设计功能与三星智能手表上的IOT控制app的设计功能有区别。举一个例子，这款app连接三星音箱后，三星音箱和电视及其其他设备的连接历史在智能手机的app里包含但是在智能手表上的app不包含。

此智能家居环境中选择客厅的三星电视作为IOT控制界面服务器。新的智能设备节点第一次进入智能家居环境时借助自身的定位模块及房间的摄像头获取新设备的相关信息并存储到客厅的三星电视系统中。

用户走进客厅打开电视，电视上显示当前可以用的智能节点包括西门子冰箱、三星音箱、三星智能手表等。用户通过遥控器，选择三星音箱为下一步的控制对象。IOT控制界面服务器存储了各个智能设备及可用的同品牌的带界面的智能设备的相关信息，通过匹配相关信息，给用户显示了两个可用的界面设备：三星手机和三星手表。因为用户是多次进入此页面控制智能音箱。根据用户之前的选择及使用app的记录，如下表所示。

IOT控制界面服务器根据三星音箱通过不同设备上的app配置使用记录给用户推荐用户接受度大的设备直接唤醒此设备，进入下一步的投屏功能。

如图9所示，在示例四中，用户的智能家居环境中有三星电视、西门子冰箱、三星音箱、华为手机等。这些智能设备都已经成功接入到智能家居系统中。三星厂商在三星电视、三星手机和三星智能手表上均开发了控制IOT节点的控制应用可以供用户进行设备控制等操作。在本示例四中，用户的三星手机落在工作地点。

此智能家居环境中选择客厅的三星电视作为IOT控制界面服务器。新的智能设备节点第一次进入智能家居环境时借助自身的定位模块及房间的摄像头获取新设备的相关信息并存储到客厅的三星电视系统中。

用户走进客厅打开电视，电视上显示当前可以用的智能节点包括西门子冰箱、三星音箱等。用户通过遥控器，选择三星音箱为下一步的控制对象。IOT控制界面服务器存储了各个智能设备及可用的同品牌的带界面的智能设备的相关信息，但是智能家居系统中没有匹配的(同品牌)的带UI的智能设备被发现。这时IOT控制界面服务器转向三星账户登陆页面，引导用户登陆自己的三星账号，因为位于工作地点的三星手机也登陆了同一个账号，通过三星的跨网段通信的技术(all share play)可以搜索到位于工作地点的三星手机。接下来IOT控制界面服务器唤醒工作地点的三星手机并进行下一步的投屏操作。

图10示出根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法的流程图。

参照图10，在步骤S1010，响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及用户选择的物联网装置使用的物联网协议。

在本公开的示例性实施例中，还可对接入物联网系统中的物联网装置进行注册。

在本公开的示例性实施例中，在对接入物联网系统中的物联网装置进行注册可执行以下项中的至少一个：获取摄像头拍摄的接入的物联网装置的外观图片，基于外观图片识别出物联网装置的类别和型号信息，并对物联网装置的类别和型号信息进行存储；通过动态主机配置协议技术分析出接入的物联网装置的媒体存取控制MAC地址，并对物联网装置的MAC地址进行存储；接收用户针对接入的物联网装置输入的用户添加信息，并对物联网装置的用户添加信息进行存储；获取接入的物联网装置的位置信息，并对物联网装置的位置信息进行存储。

在本公开的示例性实施例中，在接收到用于选择物联网装置的用户输入之前，所述方法还可包括：显示基于物联网系统中所有物联网装置的注册信息形成的IOT标准控制界面。

在步骤S1020，在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置。

在步骤S1030，响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，在基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置时，可首先请求所述至少一个物联网装置将支持物联网控制功能的用户界面投屏到预设屏幕，然后响应于所述至少一个物联网装置基于所述请求将支持物联网控制功能的用户界面投屏到预设屏幕，基于投屏的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，在基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置时，当所述至少一个物联网装置无法将支持物联网控制功能的用户界面投屏到预设屏幕时，可获取所述至少一个物联网装置的支持物联网控制功能的用户界面的屏幕截屏，然后基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面。

在本公开的示例性实施例中，在基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面时，可基于屏幕截屏分析支持物联网控制功能的用户界面的元素和布局，并基于分析出的元素和布局重现支持物联网控制功能的用户界面。

在本公开的示例性实施例中，在基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置时，还可向所述至少一个物联网装置发送用于控制物联网系统中的物联网装置的唤醒指令。

在本公开的示例性实施例中，如果搜索到的使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置超过一个，则在基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置时，可首先基于所述至少一个物联网装置的控制方式和使用历史中的至少一个，从所述至少一个物联网装置中选择一个物联网装置，其中，控制方式包括触屏输入控制方式和语音输入控制方式中的至少一个，然后基于所述物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，还可响应于在物联网系统中未搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置，通过使用跨网段通信技术搜索物联网系统外的投屏装置；并且响应于搜索到物联网系统外的投屏装置，通过投屏装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，在基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置时，可首先响应于接收到用户输入的操作命令，将操作命令转化为指令请求，然后将转化的指令请求发送到所述至少一个物联网装置，以使得所述至少一个物联网装置通过根据指令请求控制支持物联网控制功能的用户界面来控制用户选择的物联网装置。

以上已经结合图1至图10对根据本公开的示例性实施例的物联网系统以及控制物联网系统中的物联网装置的方法进行了描述。在下文中，将参照图11对根据本公开的示例性实施例的物联网装置及其单元进行描述。

图11示出根据本公开的示例性实施例的物联网装置的框图。

参照图11，物联网装置包括协议确定单元1110、装置搜索单元1120和装置控制单元1130。

协议确定单元1110被配置为响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及用户选择的物联网装置使用的物联网协议。

在本公开的示例性实施例中，物联网装置还可包括装置注册单元(未示出)，被配置为：对接入物联网系统中的物联网装置进行注册。

在本公开的示例性实施例中，装置注册单元可被配置为执行以下项中的至少一个操作：获取摄像头拍摄的接入的物联网装置的外观图片，基于外观图片识别出物联网装置的类别和型号信息，并对物联网装置的类别和型号信息进行存储；通过动态主机配置协议技术分析出接入的物联网装置的MAC地址，并对物联网装置的MAC地址进行存储；接收用户针对接入的物联网装置输入的用户添加信息，并对物联网装置的用户添加信息进行存储；以及获取接入的物联网装置的位置信息，并对物联网装置的位置信息进行存储。

在本公开的示例性实施例中，物联网装置还可包括标准界面显示单元(未示出)，被配置为：显示基于物联网系统中所有物联网装置的注册信息形成的IOT标准控制界面。

装置搜索单元1120被配置为在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置。

装置控制单元1130被配置为响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，装置控制单元1130可被配置为：请求所述至少一个物联网装置将支持物联网控制功能的用户界面投屏到预设屏幕；并且响应于所述至少一个物联网装置基于所述请求将支持物联网控制功能的用户界面投屏到预设屏幕，基于投屏的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，装置控制单元1130可被配置为：当所述至少一个物联网装置无法将支持物联网控制功能的用户界面投屏到预设屏幕时，获取所述至少一个物联网装置的支持物联网控制功能的用户界面的屏幕截屏；并且基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面。

在本公开的示例性实施例中，装置控制单元1130可被配置为：基于屏幕截屏分析支持物联网控制功能的用户界面的元素和布局，基于分析出的元素和布局重现支持物联网控制功能的用户界面。

在本公开的示例性实施例中，装置控制单元1130还可被配置为：向所述至少一个物联网装置发送用于控制物联网系统中的物联网装置的唤醒指令。

在本公开的示例性实施例中，装置控制单元1130可被配置为：当搜索到的使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置超过一个时，基于所述至少一个物联网装置的控制方式和使用历史中的至少一个，从所述至少一个物联网装置中选择一个物联网装置，其中，控制方式包括触屏输入控制方式和语音输入控制方式中的至少一个；并且基于所述物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，物联网装置还可包括附加控制单元(未示出)，被配置为：响应于在物联网系统中未搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置，通过使用跨网段通信技术搜索物联网系统外的投屏装置；并且响应于搜索到物联网系统外的投屏装置，通过投屏装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

在本公开的示例性实施例中，装置控制单元1130可被配置为：响应于接收到用户输入的操作命令，将操作命令转化为指令请求；并且将转化的指令请求发送到所述至少一个物联网装置，以使得所述至少一个物联网装置通过根据指令请求控制支持物联网控制功能的用户界面来控制用户选择的物联网装置。

此外，根据本公开的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法。

在本公开的示例性实施例中，所述计算机可读存储介质可承载有一个或者多个程序，当所述计算机程序被执行时可实现以下步骤：响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及用户选择的物联网装置使用的物联网协议；在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；并且响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。计算机可读存储介质可以包含在任意装置中；也可以单独存在，而未装配入该装置中。

以上已经结合图11对根据本公开的示例性实施例的物联网装置进行了描述。接下来，结合图12对根据本公开的示例性实施例的计算装置进行描述。

图12示出根据本公开的示例性实施例的计算装置的示意图。

参照图12，根据本公开的示例性实施例的计算装置12，包括存储器121和处理器122，所述存储器121上存储有计算机程序，当所述计算机程序被处理器122执行时，实现根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法。

在本公开的示例性实施例中，当所述计算机程序被处理器122执行时，可实现以下步骤：响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及用户选择的物联网装置使用的物联网协议；在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；并且响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置。

本公开实施例中的计算装置可以包括但不限于诸如移动电话、笔记本电脑、PDA(个人数字助理)、PAD(平板电脑)、台式计算机等的装置。图12示出的计算装置仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

以上已参照图1至图12描述了根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法、装置及系统。然而，应该理解的是：图11中所示的物联网装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图12中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。

根据本公开的示例性实施例的控制物联网系统中的物联网装置的方法、装置及系统，通过响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及用户选择的物联网装置使用的物联网协议；在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；并且响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制用户选择的物联网装置，从而将IOT控制界面集成到一个统一的平台进行控制操作，提升了用户体验。

尽管已经参照其示例性实施例具体显示和描述了本公开，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (25)

1.一种控制物联网系统中的物联网装置的方法，包括：

响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及所述用户选择的物联网装置使用的物联网协议；

在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；并且

响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

2.根据权利要求1所述的方法，其中，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤包括：

请求所述至少一个物联网装置将支持物联网控制功能的用户界面投屏到预设屏幕；并且

响应于所述至少一个物联网装置基于所述请求将支持物联网控制功能的用户界面投屏到预设屏幕，基于投屏的用户界面控制所述用户选择的物联网装置。

3.根据权利要求2所述的方法，其中，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤包括：

当所述至少一个物联网装置无法将支持物联网控制功能的用户界面投屏到预设屏幕时，获取所述至少一个物联网装置的支持物联网控制功能的用户界面的屏幕截屏；并且

基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面。

4.根据权利要求3所述的方法，其中，基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面的步骤包括：

基于屏幕截屏分析支持物联网控制功能的用户界面的元素和布局，并基于分析出的元素和布局重现支持物联网控制功能的用户界面。

5.根据权利要求2所述的方法，其中，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤还包括：

向所述至少一个物联网装置发送用于控制物联网系统中的物联网装置的唤醒指令。

6.根据权利要求1所述的方法，其中，当搜索到的使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置超过一个时，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤包括：

基于所述至少一个物联网装置的控制方式和使用历史中的至少一个，从所述至少一个物联网装置中选择一个物联网装置，其中，控制方式包括触屏输入控制方式和语音输入控制方式中的至少一个；并且

基于所述物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

7.根据权利要求1所述的方法，还包括：

响应于在物联网系统中未搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置，通过使用跨网段通信技术搜索物联网系统外的投屏装置；并且

响应于搜索到物联网系统外的投屏装置，通过所述投屏装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

8.根据权利要求1所述的方法，还包括：

对接入物联网系统中的物联网装置进行注册。

9.根据权利要求8所述的方法，其中，对接入物联网系统中的物联网装置进行注册的步骤包括以下项中的至少一个：

获取摄像头拍摄的接入的物联网装置的外观图片，基于外观图片识别出物联网装置的类别和型号信息，并对物联网装置的类别和型号信息进行存储；

通过动态主机配置协议技术分析出接入的物联网装置的媒体存取控制MAC地址，并对物联网装置的MAC地址进行存储；

接收用户针对接入的物联网装置输入的用户添加信息，并对物联网装置的用户添加信息进行存储；以及

获取接入的物联网装置的位置信息，并对物联网装置的位置信息进行存储。

10.根据权利要求1所述的方法，其中，在接收到用于选择物联网装置的用户输入之前，所述方法还包括：

显示基于物联网系统中所有物联网装置的注册信息形成的IOT标准控制界面。

11.根据权利要求1-10中任一项所述的方法，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置的步骤包括：

响应于接收到用户输入的操作命令，将操作命令转化为指令请求；并且

将转化的指令请求发送到所述至少一个物联网装置，以使得所述至少一个物联网装置通过根据指令请求控制支持物联网控制功能的用户界面来控制所述用户选择的物联网装置。

12.一种物联网装置，包括：

协议确定单元，被配置为响应于接收到用于选择物联网装置的用户输入，确定用户选择的物联网装置以及所述用户选择的物联网装置使用的物联网协议；

装置搜索单元，被配置为在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置；和

装置控制单元，被配置为响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个物联网装置，基于所述至少一个物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

13.根据权利要求12所述的物联网装置，其中，装置控制单元被配置为：

请求所述至少一个物联网装置将支持物联网控制功能的用户界面投屏到预设屏幕；并且

响应于所述至少一个物联网装置基于所述请求将支持物联网控制功能的用户界面投屏到预设屏幕，基于投屏的用户界面控制所述用户选择的物联网装置。

14.根据权利要求13所述的物联网装置，其中，装置控制单元被配置为：

当所述至少一个物联网装置无法将支持物联网控制功能的用户界面投屏到预设屏幕时，获取所述至少一个物联网装置的支持物联网控制功能的用户界面的屏幕截屏；并且

基于屏幕截屏在预设屏幕上重现支持物联网控制功能的用户界面。

15.根据权利要求14所述的物联网装置，其中，装置控制单元被配置为：

基于屏幕截屏分析支持物联网控制功能的用户界面的元素和布局，基于分析出的元素和布局重现支持物联网控制功能的用户界面。

16.根据权利要求13所述的物联网装置，其中，装置控制单元还被配置为：

向所述至少一个物联网装置发送用于控制物联网系统中的物联网装置的唤醒指令。

17.根据权利要求12所述的物联网装置，其中，装置控制单元被配置为：

当搜索到的使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置超过一个时，基于所述至少一个物联网装置的控制方式和使用历史中的至少一个，从所述至少一个物联网装置中选择一个物联网装置，其中，控制方式包括触屏输入控制方式和语音输入控制方式中的至少一个；并且

基于所述物联网装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

18.根据权利要求12所述的物联网装置，还包括附加控制单元，被配置为：

响应于在物联网系统中未搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的物联网装置，通过使用跨网段通信技术搜索物联网系统外的投屏装置；并且

响应于搜索到物联网系统外的投屏装置，通过所述投屏装置的支持物联网控制功能的用户界面控制所述用户选择的物联网装置。

19.根据权利要求12所述的物联网装置，还包括装置注册单元，被配置为：

对接入物联网系统中的物联网装置进行注册。

20.根据权利要求19所述的物联网装置，其中，装置注册单元被配置为执行以下操作中的至少一个操作：

获取摄像头拍摄的接入的物联网装置的外观图片，基于外观图片识别出物联网装置的类别和型号信息，并对物联网装置的类别和型号信息进行存储；

通过动态主机配置协议技术分析出接入的物联网装置的MAC地址，并对物联网装置的MAC地址进行存储；

接收用户针对接入的物联网装置输入的用户添加信息，并对物联网装置的用户添加信息进行存储；以及

获取接入的物联网装置的位置信息，并对物联网装置的位置信息进行存储。

21.根据权利要求12所述的物联网装置，还包括标准界面显示单元，被配置为：

显示基于物联网系统中所有物联网装置的注册信息形成的IOT标准控制界面。

22.根据权利要求12-21中任一项所述的物联网装置，其中，装置控制单元被配置为：

响应于接收到用户输入的操作命令，将操作命令转化为指令请求；并且

将转化的指令请求发送到所述至少一个物联网装置，以使得所述至少一个物联网装置通过根据指令请求控制支持物联网控制功能的用户界面来控制所述用户选择的物联网装置。

23.一种物联网系统，包括第一物联网装置、第二物联网装置和第三物联网装置，其中，

第一物联网装置被配置为：

响应于接收到用于选择第三物联网装置的用户输入，确定用户选择的第三物联网装置以及所述用户选择的第三物联网装置使用的物联网协议；

在物联网系统中搜索使用所述物联网协议并且具有支持物联网控制功能的用户界面的第二物联网装置；并且

响应于搜索到使用所述物联网协议并且具有支持物联网控制功能的用户界面的至少一个第二物联网装置，基于所述至少一个第二物联网装置的支持物联网控制功能的用户界面控制所述用户选择的第三物联网装置，

其中，第二物联网装置被配置为：

响应于从第一物联网装置接收到用于控制物联网系统中的第三物联网装置的唤醒指令和/或投屏请求，将相应的用户界面投屏到预设屏幕；

响应于从第一物联网装置接收到用于控制物联网系统中的第三物联网装置的指令请求，对物联网系统中的第三物联网装置进行控制。

24.一种存储有计算机程序的计算机可读存储介质，其中，当所述计算机程序被处理器执行时，实现权利要求1至11中任一项所述的控制物联网系统中的物联网装置的方法。

25.一种计算装置，包括：

处理器；

存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现权利要求1至11中任一项所述的控制物联网系统中的物联网装置的方法。

Images