CN116982293A - 用于控制物联网（iot）环境中的装置的操作的方法和系统 - Google Patents

Abstract

本文公开的方法包括识别由用户指向的用于控制的第一装置。所述方法包括确定与第一装置上下文相关的至少一个第二装置。所述方法包括基于第一装置的能力与所述至少一个第二装置的当前操作上下文之间的相关性来推荐用于控制所述至少一个第二装置和第一装置中的至少一个的至少一个操作的至少一个建议。

Description

用于控制物联网(IOT)环境中的装置的操作的方法和系统

技术领域

本公开涉及物联网(IoT)环境领域，并且更具体地涉及基于装置之间的相关性来控制IoT环境中的装置的操作。

背景技术

通常，物联网(IoT)环境包括用户可与之交互并控制它们的操作的多个装置。在常规方法中，用户可使用由用户装置支持的超宽带(UWB)技术来指向用于控制的装置。在指向装置时，用户装置控制指向的装置。在示例中，正常控制可包括指向的装置的开启/关闭、指向的装置的设置等中的至少一个。然而，依赖于指向的装置的其他装置的上下文可能影响指向的装置的操作。

发明内容

技术问题

考虑示例场景，其中，用户可使用由用户装置支持的UWB技术将用户装置指向洗衣机(在IoT环境中部署的示例装置)以进行控制。在这种场景下，用户装置提供用于控制洗衣机的操作的正常控制(诸如洗衣机的开启、用于修改的洗衣机的设置等)。然而，水箱中的低水位可能影响洗衣机的操作。

因此，常规方法不涉及基于依赖于指向的装置的IoT环境中的一个或更多个其他装置的当前上下文向用户提供用于控制指向的装置的建议。

技术解决方案

本文的实施例的主要目的是公开用于控制物联网(IoT)环境中的多个装置的操作的方法和系统。

本文的实施例的另一目的是公开用于识别多个装置中的用于指向的第一装置以控制和确定与第一装置上下文相关的至少一个第二装置的方法和系统。

本文的实施例的另一目的是公开用于基于第一装置的能力与至少一个第二装置的当前操作上下文之间的相关性来推荐用于控制至少一个第二装置和第一装置中的至少一个的至少一个操作的至少一个建议的方法和系统。

因此，本文的实施例提供了用于控制物联网(IoT)环境中的装置的操作的方法和系统。本文公开的方法包括响应于用户将电子装置指向第一装置而识别第一装置。该方法包括确定与第一装置上下文相关的至少一个第二装置。该方法包括基于第一装置的能力与所述至少一个第二装置的当前操作上下文之间的相关性来推荐用于控制所述至少一个第二装置和第一装置中的至少一个的至少一个操作的至少一个建议。

第一装置可通过用户使用由电子装置支持的超宽带(UWB)来被指向。

所述至少一个第二装置可包括：使用基于能力的装置聚类模型识别针对第一装置的至少第一组有关装置，使用装置交互预测模型识别针对第一装置的至少一个第二组有关装置；创建所述至少一个第一组有关装置和所述至少一个第二组有关装置的并集，其中，创建的并集是包括存在于所述至少一个第一组有关装置或所述至少一个第二组有关装置中的至少一个装置的集合；以及将存在于所述第一组有关装置或所述至少一个第二组有关装置中的所述至少一个装置确定为与第一装置上下文相关的所述至少一个第二装置。

识别针对第一装置的所述至少一个第一组有关装置可包括：从装置数据库获取在IoT环境中的注册装置的列表，其中，装置数据库包括由用户在IoT环境中部署每个装置时注册的装置的列表和相关联的能力；使用装置数据库识别第一装置和每个注册装置的能力；以及基于识别的第一装置和每个注册装置的能力来形成针对第一装置的装置的集群，其中，形成的装置的集群包括来自装置的列表的具有第一装置的类似能力的所述至少第一组有关装置。

识别针对第一装置的所述至少一个第二组有关装置可包括：从装置数据库获取注册装置的列表；使用装置数据库识别第一装置和每个注册装置的能力；通过将每个装置的能力与第一装置的能力进行匹配，针对每个注册装置计算并分配关于第一装置的置信度得分；从注册装置的列表中丢弃与小于装置交互阈值的所述置信度得分相关联的至少一个装置；以及从注册装置的列表中将与大于或等于装置交互阈值的置信度得分相关联的至少一组装置识别为针对第一装置的所述至少一个第二组有关装置。

由所述电子装置推荐用于控制所述至少一个第二装置和第一装置中的至少一个的所述至少一个操作的所述至少一个建议可包括：识别将从第一装置和所述至少一个第二装置被收集的类型的数据，其中，每个装置的数据对应于以下中的至少一个：对应装置的状态、内容、位置和当前操作上下文；在在线模式或离线模式下从第一装置和所述至少一个第二装置收集识别的类型的数据；基于从第一装置和所述至少一个第二装置收集的数据以及第一装置和所述至少一个第二装置的能力来确定第一装置与所述至少一个第二装置之间的相关性；以及基于确定的第一装置与所述至少一个第二装置之间的相关性，推荐用于控制所述至少一个第二装置和第一装置中的至少一个的所述至少一个操作的所述至少一个建议。

识别将从第一装置和所述至少一个第二装置被收集的类型的数据可包括：创建至少一个装置-能力对，其中，每个装置-能力对包括能力以及通过所述能力进行交互的所述至少一个第二装置和第一装置中的至少一个；基于每个装置-能力对来查询装置能力映射数据库，其中，装置能力映射数据库包括所述能力中的每个能力与类型的数据的映射；以及从装置能力映射数据库接收针对与所述至少一个第二装置和第一装置中的至少一个对应的每个能力将被收集的类型的数据。

在在线模式下从第一装置和所述至少一个第二装置收集识别的类型的数据可包括：建立与IoT云服务器的会话，其中，IoT云服务器收集并且存储第一装置和所述至少一个第二装置的数据；将指示第一装置和所述至少一个第二装置所需的类型的数据的数据请求发送到IoT云服务器；以及从IoT云服务器接收第一装置和所述至少一个第二装置的指示的类型的数据。

在离线模式下从第一装置和所述至少一个第二装置收集识别的类型的数据可包括：使用由所述电子装置、第一装置和所述至少一个第二装置支持的通信网络来建立与第一装置和所述至少一个第二装置的会话；将指示类型的数据的数据请求发送到第一装置和所述至少一个第二装置；以及响应于发送数据请求，从第一装置和所述至少一个第二装置接收指示的类型的数据。

确定第一装置与所述至少一个第二装置之间的相关性可包括：基于第一装置和所述至少一个第二装置的能力以及从第一装置和所述至少一个第二装置收集的数据中的至少一个来确定多个相关性特征，其中，所述多个相关性特征包括以下中的至少一个：第一装置与所述至少一个第二装置之间的动作连续性特征、冲突解决特征、故障解决特征和屏幕智能特征。

确定第一装置与所述至少一个第二装置之间的动作连续性特征可包括：基于候选相关联装置的标记数据集以及相关联的装置上下文和能力来训练动作连续性模型；以及使用训练的动作连续性模型来处理第一装置和所述至少一个第二装置的能力和收集的数据，以确定第一装置与所述至少一个第二装置中的每个第二装置之间的动作连续性特征。

该方法可包括通过使用训练的动作连续性模型处理第一装置(104a)和每个第二装置(104b-104n)的能力和收集的数据来针对所述至少一个第二装置(104b-104n)中的每个第二装置确定关于第一装置(104a)的动作连续性相关性指数，其中，每个第二装置(104b-104n)的动作连续性相关性指数指示在第一装置上继续第二装置(104b-104n)中的每个第二装置的至少一个动作的概率。

确定第一装置与所述至少一个第二装置之间的冲突解决特征可包括：基于至少一个预定义的冲突策略训练第一强化模型，以检测第一装置和所述至少一个第二装置的操作之间的至少一个冲突；以及使用训练的第一强化模型处理从第一装置和所述至少一个第二装置中的每个第二装置收集的数据，以确定第一装置与所述至少一个第二装置中的每个第二装置之间的冲突解决特征，其中，冲突解决特征描绘第一装置和所述至少一个第二装置中的每个第二装置的操作之间的至少一个冲突。

该方法可包括通过使用训练的第一强化模型处理从第一装置(104a)和每个第二装置(104b-104n)收集的数据来针对每个第二装置(104b-104n)确定关于第一装置(104a)的冲突相关性指数，其中，针对每个第二装置(104b-104n)确定的冲突相关性指数描绘了第一装置(104a)和每个第二装置的操作之间的冲突概率。

确定第一装置与所述至少一个第二装置之间的故障解决特征可包括：基于至少一个预定义的故障策略训练第二强化模型，以检测关于所述至少一个第二装置的当前操作上下文的第一装置的至少一个操作中的故障；以及使用训练的第二强化模型处理从第一装置和所述至少一个第二装置中的每个第二装置收集的数据，以确定第一装置与所述至少一个第二装置中的每个第二装置之间的故障解决特征，其中，第一装置与每个第二装置之间的故障解决特征描绘了第一装置的至少一个操作被预期发生关于每个第二装置的当前操作上下文的故障。

该方法可包括通过使用训练的第二强化模型处理从第一装置和每个第二装置收集的数据来针对每个第二装置确定关于第一装置的故障解决相关性指数，其中，针对每个第二装置确定的故障解决相关性指数描绘了关于每个第二装置的当前操作上下文的第一装置的至少一个操作中故障的概率。

推荐所述至少一个建议可包括：基于与对应的相关性特征相关联的相关性指数对多个相关性特征中的每个相关性特征进行排名，其中，相关性指数包括动作连续性相关性指数、冲突相关性指数和故障解决相关性指数中的至少一个；基于所述多个相关性特征的排名以及从第一装置和所述至少一个第二装置收集的数据中的至少一个来创建至少一个语义动作；以及推荐创建的至少一个语义动作作为用于控制所述至少一个第二装置和第一装置中的至少一个的所述至少一个操作的所述至少一个建议。

推荐所述至少一个建议可包括：将所述至少一个建议渲染为所述电子装置上的第一装置的控制接口上的覆盖有键盘的内容。

该方法可包括：由电子装置(106)基于在至少一个第二装置(104b-104n)上被渲染的至少一个内容来推荐针对第一装置(104a)的配置；以及由所述电子装置(106)基于从所述至少一个第二装置(104b-104n)收集的数据以及第一装置(104a)与所述至少一个第二装置之间的相关性，针对所述至少一个第二装置(104b-104n)推荐第一装置(104a)的配置。

因此，本文的实施例提供了一种物联网(IoT)环境中的基于超宽带的多装置交互的方法，该方法包括：在用户装置上提供属于第一IoT装置的用户界面；执行第一IoT装置的操作能力与可操作地连接到第一IoT装置的多个第二IoT装置的操作上下文的相关性；以及在第一IoT装置的用户界面上提供推荐，以改变第一IoT装置和第二IoT装置中的至少一个的操作作为相关性的结果。

因此，本文的实施例提供了一种物联网(IoT)环境中的多装置交互的方法，该方法包括：响应于用户将用户装置指向IoT环境中的第一IoT装置，识别第一IoT装置；基于第一IoT装置的装置能力与第二IoT装置的当前操作上下文之间的相关性来确定与第一IoT装置上下文相关的至少一个第二IoT装置；以及基于相关性向用户装置的用户推荐与第一IoT装置和所述至少一个第二IoT装置中的一个相关联的一个或更多个语义动作。

一个或更多个智能动作可通过用户装置上的第一IoT装置的控制接口被推荐。

相关性可确定第一IoT装置与所述至少一个第二IoT装置之间的冲突解决、动作连续性和故障解决中的至少一个。

因此，本文的实施例提供了一种用于控制物联网(IoT)环境中的装置的操作的电子装置，其中，电子装置包括存储器和耦接到存储器的控制器。控制器被配置为响应于用户将所述电子装置指向第一装置，识别第一装置。控制器还被配置为确定与第一装置上下文相关的至少一个第二装置。控制器还被配置为基于第一装置的能力与所述至少一个第二装置的当前操作上下文之间的相关性，推荐用于控制所述至少一个第二装置和第一装置中的至少一个的至少一个操作的至少一个建议。

控制器可被配置为：使用基于能力的装置聚类模型来识别针对第一装置的至少第一组有关装置；使用装置交互预测模型来识别针对第一装置的至少一个第二组有关装置；创建所述至少一个第一组有关装置和所述至少一个第二组有关装置的并集，其中，创建的并集是包括存在于所述至少一个第一组有关装置或所述至少一个第二组有关装置中的至少一个装置的集合；以及将存在于所述第一组有关装置或至少一个第二组有关装置中的至少一个装置确定为与第一装置上下文相关的至少一个第二装置。

控制器可被配置为：从装置数据库获取在IoT环境中的注册装置的列表，其中，装置数据库包括由用户在IoT环境中部署每个装置时注册的装置的列表和相关联的能力；使用装置数据库识别第一装置(104a)和每个注册装置的能力；以及基于识别的第一装置(104a)和存在于装置的列表中的每个注册装置的能力来形成针对第一装置(104a)的装置的集群，其中，形成的装置的集群包括来自装置的列表的具有第一装置的类似能力的所述至少第一组有关装置。

控制器可被配置为：从装置数据库获取注册装置的列表；使用装置数据库识别第一装置和每个注册装置的能力；通过将每个装置的能力与第一装置的能力进行匹配，针对每个注册装置计算并分配关于第一装置的置信度得分；从注册装置的列表中丢弃与小于装置交互阈值的置信度得分相关联的至少一个装置；以及从注册装置的列表中将与大于或等于装置交互阈值的置信度得分相关联的至少一个装置识别为针对第一装置的所述至少一个第二组有关装置。

控制器可被配置为：识别将从第一装置和所述至少一个第二装置被收集的类型的数据，其中，每个装置的数据对应于以下中的至少一个：对应装置的状态、内容、位置和当前操作上下文；在在线模式或离线模式下从第一装置和所述至少一个第二装置收集识别的类型的数据；基于从第一装置和所述至少一个第二装置收集的数据以及第一装置和所述至少一个第二装置的能力来确定第一装置与所述至少一个第二装置之间的相关性；以及基于确定的第一装置与所述至少一个第二装置之间的相关性，推荐用于控制所述至少一个第二装置和第一装置中的至少一个的所述至少一个操作的所述至少一个建议。

控制器可被配置为：创建至少一个装置-能力对，其中，每个装置-能力对包括能力以及通过所述能力进行交互的所述至少一个第二装置和第一装置中的至少一个；基于每个装置-能力对来查询装置能力映射数据库，其中，装置能力映射数据库包括所述能力中的每个能力与类型的数据的映射；以及从装置能力映射数据库接收针对与所述至少一个第二装置和第一装置中的至少一个对应的每个能力将被收集的类型的数据。

控制器可被配置为：基于第一装置和所述至少一个第二装置的能力以及从第一装置和所述至少一个第二装置收集的数据中的至少一个来确定多个相关性特征，其中，所述多个相关性特征包括以下中的至少一个：第一装置与所述至少一个第二装置之间的动作连续性特征、冲突解决特征、故障解决特征和屏幕智能特征。

控制器可被配置为：基于与对应的相关性特征相关联的相关性指数对多个相关性特征中的每个相关性特征进行排名，其中，相关性指数包括动作连续性相关性指数、冲突解决相关性指数和故障解决相关性指数中的至少一个；基于所述多个相关性特征的排名以及从第一装置和所述至少一个第二装置收集的数据中的至少一个来创建至少一个语义动作；以及推荐创建的至少一个语义动作作为用于控制所述至少一个第二装置和第一装置中的至少一个的至少一个操作的至少一个建议。

控制器可被配置为：将所述至少一个建议渲染为在电子装置上的第一装置的控制接口上的覆盖有键盘的内容。

控制器可被配置为：基于在所述至少一个第二装置上渲染的至少一个内容来推荐针对第一装置的配置；以及基于从所述至少一个第二装置收集的数据以及第一装置与所述至少一个第二装置之间的相关性，基于从所述至少一个第二装置收集的数据以及第一装置与所述至少一个第二装置之间的相关性，针对所述至少一个第二装置推荐第一装置的配置。

当结合以下描述和附图考虑时，本文的示例实施例的这些和其他方面将被更好地领会和理解。然而，应当理解，以下描述虽然指示了示例实施例及其许多具体细节，但是通过说明而非限制的方式被给出。在不脱离本文的示例实施例的精神的情况下，可在本文的示例实施例的范围内进行许多改变和修改，并且本文的示例实施例包括所有这样的修改。

附图说明

本文的实施例在附图中被示出，贯穿附图，相同的参考字母指示各个图中的对应部分。本文的实施例从以下参照附图的描述中将更好地被理解，其中：

图1a描绘根据本文公开的实施例的物联网(IoT)系统；

图1b描绘根据本文公开的实施例的物联网(IoT)系统；

图2是描绘根据本文公开的实施例的用于控制多个装置的操作的电子装置的各种组件的块图；

图3描绘根据本文公开的实施例的用于控制多个装置的操作的在电子装置中可执行的装置控制器；

图4描绘根据本文公开的实施例的IoT系统的示例概念图，其中，每个装置基于能力和依赖的装置的当前操作上下文被控制；

图5是描绘根据本文公开的实施例的确定针对指向的装置的上下文相关装置的示例图；

图6是描绘根据本文公开的实施例的识别将从指向的装置和上下文相关装置收集的类型的数据的示例图；

图7是描绘根据本文公开的实施例的在在线模式和离线模式下从指向的装置和上下文相关装置收集数据的示例图；

图8a是描绘根据本文公开的实施例的动作连续性模块的训练并且使用训练的动作连续性模块来确定每个上下文相关装置与指向的装置之间的动作连续性特征的示例图；

图8b是描绘根据本文公开的实施例的动作连续性模块的训练并且使用训练的动作连续性模块来确定每个上下文相关装置与指向的装置之间的动作连续性特征的示例图；

图9a是描绘根据本文公开的实施例的第一强化模块的训练并且使用训练的第一强化来确定每个上下文相关装置与指向的装置之间的冲突解决特征的示例图；

图9b是描绘根据本文公开的实施例的第一强化模块的训练并使用训练的第一强化来确定每个上下文相关装置与指向的装置之间的冲突解决特征的示例图；

图10a是描绘根据本文公开的实施例的第二强化模块的训练并且使用训练的第二强化来确定每个上下文相关装置与指向的装置之间的故障解决特征的示例图；

图10b是描绘根据本文公开的实施例的第二强化模块的训练并且使用训练的第二强化来确定每个上下文相关装置与指向的装置之间的故障解决特征的示例图；

图11是描绘根据本文公开的实施例的用于控制指向的装置或相关联的上下文相关装置的操作的一个或更多个语义动作的推荐的示例图；

图12是描绘根据本文公开的实施例的控制IoT环境中的多个装置的操作的流程图；

图13a描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景；

图13b描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景；

图14a描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景；

图14b描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景；

图15a描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景；

图15b描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景；

图16a描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景；

图16b描绘根据本文公开的实施例的控制IoT环境中的多个装置中的一个的操作的用例场景。

具体实施方式

本文的示例实施例及其各种特征和有利细节参照在附图中被示出并在以下描述中被详述的非限制性实施例更全面地被说明。对公知组件和处理技术的描述被省略，以免不必要地模糊本文的实施例。本文的描述仅旨在便于理解可实践本文的示例实施例的方式，并且进一步使本领域技术人员能够实践本文的示例实施例。因此，本公开不应被解释为限制本文的示例实施例的范围。

本文的实施例公开了用于基于装置之间的相关性来控制物联网(IoT)环境中的装置的操作的方法和系统。

现在参照附图，并且更具体地参照图1a至图16，其中，相似的参考字符在所有附图中始终表示相应的特征，示出了示例实施例。

本文的实施例可互换地使用诸如“第一装置”、“指向的装置”、“用户选择的装置”等术语来指代物联网(IoT)环境中的可由用户指向用于控制的装置。

本文的实施例可互换地使用诸如“第二装置”、“上下文相关/有关装置”、“相关联装置”等术语来指代依赖于指向的装置并且影响IoT环境中指向的装置的操作的装置。

本文的实施例可互换地使用诸如“数据”、“元数据”、“上下文数据”等术语来指代IoT环境中存在的多个装置中的每个装置的状态、位置、装置信息、制造商提供的信息、当前操作上下文等中的至少一个。

本文的实施例在整个文档中可互换地使用诸如“操作”、“动作”、“任务”等的术语。

本文的实施例在文档中可互换地使用诸如“语义动作”、“推荐”、“建议”、“通知”、“警报”等术语。

图1a和图1b描绘根据本文公开的实施例的物联网(IoT)系统100。IoT系统100包括IoT云服务器102、多个装置104a-104n和电子装置106。

IoT云服务器102、多个装置104a-104n和电子装置106可彼此被连接。在示例中，IoT云服务器102、多个装置104a-104n和电子装置106可使用通信网络108被彼此连接。通信网络108可包括但不限于以下中的至少一个：有线网络、增值网络、无线网络、卫星网络或其组合。有线网络的示例可以是但不限于局域网(LAN)、广域网(WAN)、以太网等。无线网络的示例可以是但不限于蜂窝网络、无线LAN(Wi-Fi)、蓝牙、蓝牙低功耗、Zigbee、Wi-Fi直连(WFD)、超宽带(UWB)、红外数据协会(IrDA)、近场通信(NFC)等。在另一示例中，电子装置106和多个装置104a-104n可彼此直接被连接(例如：经由直接通信、经由接入点等)。在另一示例中，电子装置106和多个装置104a-104n可被连接到IoT云服务器102，并且电子装置106可通过IoT云服务器102被连接到多个装置104a-104n。在另一示例中，电子装置106可使用通信网络108被连接到多个装置104a-104n，并且电子装置106和多个装置104a-104n可使用通信网络108被连接到IoT云服务器102。在另一示例中，电子装置106、多个装置104a-104n和IoT云服务器102可经由中继器、集线器和网关被彼此连接。应当理解，电子装置106、多个装置104a-104n和IoT云服务器102可以以各种方式(包括上述方式)中的任何一种方式被彼此连接，并且可同时以各种方式(包括上述方式)中的两种或更多种方式被彼此连接。

本文涉及的IoT云服务器102可以是获得、存储和管理存在于IoT环境中的多个装置104a-104n中的每个装置的装置信息映射、能力、制造商提供的信息和位置信息的服务器。IoT环境的示例可以是但不限于智能家庭环境、智能办公室环境、智能医院环境等。装置信息可包括诸如但不限于多个装置104a-104n中的每个装置的标识值(例如：装置ID信息)、多个装置104a-104n中的每个装置的装置类型等的信息。在本文的示例中，标识值/装置ID信息可包括诸如但不限于介质访问控制(MAC)标识符(MAC ID)、序列号、唯一装置ID等的信息。能力映射包括关于多个装置104a-104n中的每个装置的一个或更多个能力的信息。装置104a-104n的能力的示例可以是但不限于音频、视频、显示、能量限制、数据感测能力等。位置信息包括关于多个装置104a-104n中的每个装置的位置的信息。装置(104a-104n)的位置可指示IoT环境中存在装置(104a-104n)的区域或房间(例如：起居室、厨房、卧室、书房、儿童房、病房、会议室、工厂单位等)。装置104a-104n的制造商提供的信息可包括但不限于以下中的至少一个：装置104a-104n的型号、装置104a-104n的制造年份、装置104a-104n的寿命等。IoT云服务器102可在IoT环境中添加或移除多个装置104a-104n中的任何装置时更新装置104a-104n的装置信息、能力映射和位置信息。

IoT云服务器102还可获得并存储信息，诸如但不限于电源开启/关闭状态、由多个装置104a-104n中的每个装置执行的操作等。操作的示例可以是但不限于音频播送、视频播送、控制灯、能量管理、净化空气、感测环境因素(诸如温度湿度、烟雾等)等。IoT云服务器102可被配置为独立于电子装置106的硬件装置，但不限于此。IoT云服务器102可以是电子装置106的组件，或者可以是被设计为被分类为软件的服务器。

多个装置104a-104n可以是能够彼此交换信息的IoT装置以及能够与其他装置(诸如，IoT云服务器102、电子装置106等)交换信息的IoT装置。多个装置104a-104n的示例可以是但不限于智能电话、移动电话、视频电话、计算机、平板个人计算机(PC)、上网本计算机、膝上型计算机、可穿戴装置、车辆信息娱乐系统、工作站、服务器、个人数字助理(PDA)、智能插头、便携式多媒体播放器(PMP)、MP3层、移动医疗装置、灯、语音辅助装置、相机、家用电器、一个或更多个传感器等。家用电器的示例可以是但不限于电视(TV)、数字视频盘(DVD)播放器、音频装置、冰箱、空调(AC)、空气净化器、烟囱、炉灶、真空吸尘器、烤箱、微波炉、洗衣机、烘干机、机顶盒、家庭自动化控制面板、安全控制面板、游戏机、电子钥匙、便携式摄像机、电子相框、咖啡机、烤面包机、电饭煲、压力锅等。传感器的示例可以是但不限于温度传感器、湿度传感器、红外传感器、陀螺仪传感器、大气传感器、接近传感器、RGB传感器(亮度传感器)、光电传感器、恒温器、紫外(UV)光传感器、灰尘传感器、火灾检测传感器、二氧化碳(CO2)传感器、烟雾传感器、窗接触传感器、水传感器或任何其他等效传感器。每个传感器的功能可由本领域普通技术人员基于其名称直观地推断，因此其详细被描述省略。

多个装置104a-104n可被部署在IoT环境中的各个位置或区域或房间中，用户可与该多个装置104a-104n交互并控制每个装置104a-104n的操作。

多个装置104a-104n可基于它们的能力来执行一个或更多个操作/动作。操作的示例可以是但不限于播放媒体(音频、视频等)、捕获媒体、净化空气、执行限定区域的冷却或加热、控制灯、感测各种环境因素(例如：温度、烟雾、湿度等)等。多个装置104a-104n可同时执行相应的一个或更多个动作。

一旦被部署在IoT环境中，多个装置104a-104n就可通过将装置信息、能力、制造商提供的信息和位置信息传递到IoT云服务器102或电子装置106来向IoT云服务器102注册。用户可使用电子装置106向IoT云服务器102注册多个装置104a-104n。

多个装置104a-104n还可通过通信网络108将数据/元数据传递到IoT云服务器102或电子装置106。每个装置(104a-104n)的数据对应于但不限于以下中的至少一个：装置(104a-104n)的状态(即，装置104a-104n的电源开启/电源关闭)、在装置(104a-104n)上被播放的内容、装置(104a-104n)的位置、装置(104a-104n)的装置信息、装置(104a-104n)的制造商提供的信息、装置(104a-104n)的当前操作上下文等。在本文的示例中，内容可包括以下中的至少一个：媒体(诸如音频、视频、图像、图形交换格式(GIF)等)、文本、网页等。在本文的示例中，装置(104a-104n)的当前操作上下文描绘了由装置(104a-104n)基于其能力在当前时刻执行的操作。

本文涉及的电子装置106可以是用于控制多个装置104a-104n的操作的装置。电子装置106可以是由用户用来连接和/或交互和/或控制多个装置104a-104n的操作的用户装置。电子装置106的示例可以是但不限于智能电话、移动电话、视频电话、计算机、平板个人计算机(PC)、上网本计算机、膝上型计算机、可穿戴装置、个人数字助理(PDA)、工作站、服务器、IoT装置或可被用于连接和/或交互和/或控制多个装置104a-104n的操作的任何其他装置。

电子装置106通过经由通信网络108与每个装置(104a-104n)直接通信来获得、存储和维护存在于IoT环境中的每个装置(104a-104n)的装置信息、能力映射、制造商提供的信息、位置信息等。可选地，电子装置106可通过通信网络108从IoT云服务器102获得每个装置104a-104n的装置信息、能力映射、制造商提供的信息、位置信息等。此外，电子装置106维护用于存储存在于IoT环境中的每个装置(104a-104n)的装置信息、能力映射、位置信息等的单独的数据库。在本文的示例中，电子装置106维护装置数据库212、装置能力映射数据库214等(如图2所描绘)。装置数据库包括具有相关联能力的一系列/多个装置104a-104n(在将每个装置部署在IoT环境中时向电子装置106或IoT云服务器102注册)的映射。装置能力映射数据库包括能力中的每个能力与数据/类型的数据的映射。类型的数据可以是与每个装置(104a-104n)相关联的元数据。

电子装置106还通过利用每个装置(104a-104n)的装置信息、能力映射、位置信息等来获得、确定或生成用于控制多个装置104a-104n中的每个装置的控制命令。电子装置106可将控制命令发送到装置104a-104n中的任何装置，以基于相应装置104a-104n的存储的能力来执行操作。电子装置106可从执行操作的装置(104a-104n)接收根据控制命令执行操作的结果。

在实施例中，电子装置106可被配置为基于多个装置104a-104n之间的相关性来控制多个装置104a-104n中的每个装置的操作。

为了控制每个装置(104a-104n)的操作，电子装置106识别多个装置104a-104n中被指向以交互和控制的第一装置(例如，装置104a)。在实施例中，部署在电子装置106上的应用可指向第一装置104a以交互和控制。应用的示例可以是但不限于视频流应用、音频应用、基于装置控制的应用等。在另一个实施例中，用户可使用部署在电子装置106上的交互式应用来指向第一装置104a以交互和控制。交互式应用显示存在于IoT环境中的一个或更多个装置104a-104n的用户界面，并且使得用户能够选择/指向装置104a-104n中的任何装置。在另一个实施例中，用户可使用由电子装置106支持的超宽带(UWB)来指向第一装置104a以交互和控制。在另一个实施例中，用户可使用由电子装置106支持的短距离通信来指向第一装置104a以交互和控制其操作。短距离通信的示例可以是但不限于蓝牙、蓝牙低功耗(BLE)、Wi-Fi、红外无线通信、近场通信(NFC)、Zigbee、全球微波接入互操作性(WiMAX)或任何其他IEEE 802.15.4兼容协议。在另一示例中，用户可使用由通信网络108支持的任何其他通信方法来指向第一装置104a。

在识别第一装置104a时，电子装置106检查IoT环境中是否存在任何其他装置。如果不存在装置，则电子装置106提供正常控制以控制第一装置104a的操作。正常控制的示例可以是但不限于开启/关闭命令、第一装置104a的设置等。

如果IoT环境中存在多个装置104a-104n，则电子装置106针对第一装置104a确定多个装置104a-104n中的一个或更多个第二装置(例如：一个或更多个装置104b-104n)。一个或更多个第二装置104b-104n可以是上下文相关装置或与第一装置104a上下文相关的装置。在本文的示例中，上下文相关装置可指代具有第一装置104a的类似的能力的装置。为了确定一个或更多个第二装置104b-104n，电子装置106识别针对第一装置104a的第一组有关装置和第二组有关装置。第一组有关装置和第二组有关装置可以是多个装置104a-104n中的具有与第一装置104a的能力匹配的能力的装置。

为了识别第一组有关装置，电子装置106从装置数据库212获取针对第一装置104a的多个装置/装置的列表/注册装置的列表104a-104n。电子装置106使用装置数据库来识别第一装置104a和存在于装置的列表104a-104n中的每个装置的能力。电子装置106使用基于能力的装置聚类模块/模型302a(如图3所示)来基于识别的第一装置104a和存在于装置的列表104a-104n中的每个装置的能力来形成针对第一装置104a的装置集群。形成的装置集群可以是来自针对第一装置104a的装置的列表104a-104n的第一组有关装置，该第一组有关装置具有类似第一装置104a的能力。结合图3详细描述基于能力的装置聚类模块/模型302a。

为了识别第二组有关装置，电子装置106从装置数据库212获取针对第一装置104a的装置的列表104a-104n。电子装置106使用装置数据库212来识别第一装置104a和存在于装置的列表104a-104n中的每个装置的能力。电子装置106使用装置交互预测模块/模型302b(如图3所示)针对存在于装置的列表104a-104n中的每个装置计算并分配关于第一装置104的置信度得分。电子装置106可使用装置交互预测模块302b通过将相应装置的能力与第一装置104a的能力匹配来计算针对每个装置的置信度得分。每个装置的置信度得分可描绘对应装置与第一装置104a之间的可能交互的置信度。在针对每个装置分配置信度得分时，电子装置106从获取的装置的列表104a-104n中丢弃已经与小于装置交互阈值的置信度得分相关联的一个或更多个装置。电子装置106从装置的列表104a-104n中识别一组装置，其中，该组装置中的每个装置已经与大于或等于装置交互阈值的置信度得分相关联。电子装置106将与大于或等于装置交互阈值的置信度得分相关联的一组装置确定为针对第一装置104a的第二组有关装置。装置交互阈值可基于模型置信度得分被统计地设置。在示例中，装置交互阈值可被设置为90％。在这样的场景中，可具有大于或等于90％的置信度得分的装置被认为是可与第一装置104a交互的装置。结合图3详细描述装置交互预测模块/模型302b。

在确定第一组有关装置和第二组有关装置时，电子装置106创建第一组有关装置和第二组有关装置的并集，以确定与第一装置104a上下文相关的一个或更多个第二装置104b-104n。创建的并集是包括存在于第一组有关装置或第二组有关装置中的所有装置的集合。电子装置106选择存在于第一组有关装置或第二组有关装置中的装置作为针对第一装置104a的一个或更多个第二装置104b-104n。

在确定针对第一装置104a的一个或更多个第二装置104b-104n时，电子装置106识别将从第一装置104a和一个或更多个第二装置104b-104n被收集的类型的数据。在示例中，类型的数据包括但不限于以下中的至少一个：装置的状态、装置上正在播放的内容、装置信息、制造商提供的信息、装置的位置、装置的当前操作上下文等。为了识别将从第一装置104a和一个或更多个第二装置104b-104n被收集的类型的数据，电子装置106创建一个或更多个装置-能力对。每个装置-能力对包括能力以及通过对应能力交互的一个或更多个第二装置104b-104n和第一装置104a中的至少一个。电子装置106通过查询装置能力映射数据库来访问能力中的每个能力与类型的数据的映射。电子装置106使用能力中的每个能力与类型的数据的映射来确定存在于创建的一个或更多个装置-能力对中的能力中的每个能力的类型的数据。电子装置106将针对每个能力确定的类型的数据与一个或更多个第二装置104b-104n和第一装置104a中的相应至少一个相关联。

电子装置106从第一装置104a和一个或更多个第二装置104b-104n收集识别的类型的数据。

在实施例中，电子装置106在在线模式下从第一装置104a和一个或更多个第二装置104b-104n收集识别的类型的数据。在在线模式下，电子装置106通过通信网络108与IoT云服务器102建立会话。在与IoT云服务器102建立会话时，电子装置106向IoT云服务器102发送指示将从第一装置104a和一个或更多个第二装置104b-104n收集的类型的数据的数据请求。IoT云服务器102通过通信网络108从第一装置104a和一个或更多个第二装置104b-104n收集指示的类型的数据。IoT云服务器102通过通信网络108将收集的类型的数据从第一装置104a和第二装置104b-104n转发到电子装置106。

在另一实施例中，电子装置106在离线模式下从第一装置104a和一个或更多个第二装置104b-104n收集识别的类型的数据。在离线模式下，电子装置106使用由电子装置106、第一装置104a和一个或更多个第二装置104b-104n支持的通信网络108与第一装置104a和一个或更多个第二装置104b-104n建立会话。电子装置106向第一装置104a和一个或更多个第二装置104b-104n发送指示类型的数据的数据请求。电子装置106通过在通信网络108上建立的会话从第一装置104a和一个或更多个第二装置104b-104n接收指示的类型的数据。

在从第一装置104a和一个或更多个第二装置104b-104n收集数据时，电子装置106基于从第一装置104a和一个或更多个第二装置104b-104n收集的数据和/或第一装置104a和一个或更多个第二装置104b-104n的能力来确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的相关性。在实施例中，确定的第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的相关性可对应于具有多个相关性指数的多个相关性特征。具有相关性指数的相关性特征的示例可以是但不限于具有动作连续性相关性指数的动作连续性特征、具有冲突解决相关性指数的冲突解决特征、具有故障解决相关性指数的故障解决特征、具有屏幕智能相关性指数的屏幕智能特征、具有设置建议相关性指数的设置建议特征等。为了便于描述和更好地理解实施例，动作连续性特征、冲突解决特征、故障解决特征、屏幕智能特征和设置建议特征可被认为是相关性特征的示例，但是对于本领域技术人员来说显而易见的是，任何其他相关性特征可被考虑。

第一装置104a与每个第二装置(104b-104n)之间的动作连续性特征可描绘在第一装置104a上继续每个第二装置(104b-104n)的一个或更多个操作/动作或相反情形时第一装置104a与每个第二装置(104b-104n)之间的相关性。每个第二装置(104b-104n)关于第一装置104a的动作连续性相关性指数描绘了在第一装置104a上继续每个第二装置(104b-104n)的一个或更多个操作或相反情形的概率。第一装置104a与每个第二装置(104b-104n)之间的冲突解决特征可描绘可能彼此冲突的第一装置104a和每个第二装置(104b-104n)的操作之间的相关性。每个第二装置(104b-104n)关于第一装置104a的冲突解决相关性指数可描绘第一装置104a和每个第二装置(104b-104n)的操作之间的冲突的概率。第一装置104a与每个第二装置(104b-104n)之间的故障解决特征描绘了第一装置104a的一个或更多个操作可被预期关于每个第二装置(104b-104n)的当前操作上下文发生故障。每个第二装置(104b-104n)关于第一装置104a的故障解决相关性指数可描绘由于每个第二装置(104b-104n)的一个或更多个操作而导致的第一装置104a的一个或更多个操作中的故障的概率。第一装置104a与每个第二装置(104b-104n)之间的设置建议特征描绘了在第一装置104a上建议每个第二装置(104b-104n)的一个或更多个设置/配置或相反情形时第一装置104a和每个第二装置(104b-104n)之间的相关性。设置/配置的示例可以是但不限于变亮/变暗的设置、主题设置、显示设置、音频设置等。每个第二装置(104b-104n)关于第一装置104a的设置建议相关性指数可描绘在第一装置104a上建议每个第二装置(104b-104n)的设置或相反情形的概率。第一装置104a与每个第二装置(104b-104n)之间的屏幕智能特征描绘了在第一装置104a和每个第二装置(104b-104n)中正在播放的内容与相关联的元数据之间的相关性。

本文的实施例使用示例性方法说明了动作连续性特征、冲突解决特征和故障解决特征的确定，但是对于本领域技术人员来说显而易见的是，类似的方法可被用于确定其他相关性特征。

为了确定第一装置104a与每个第二装置(104b-104n)之间的动作连续性特征，电子装置106训练动作连续性模块/模型306a以确定动作连续性特征。电子装置106使用软最大回归(Softmax regression)来基于候选相关联装置的动作训练/标记数据集以及相关联的装置上下文和能力来训练动作连续性模块306a。动作训练数据集可提供关于上下文相关装置的信息，该上下文相关装置先前在控制多个装置104b-104n中的一个或更多个装置的操作时已经被确定。电子装置106使用训练的动作连续性模块306a来处理第一装置104a和每个第二装置(104b-104n)的能力以及从第一装置104a和每个第二装置(104b-104n)收集的数据，并且通过计算每个第二装置(104b-104n)关于第一装置104a的动作连续性相关性指数来确定第一装置104a与每个第二装置(104b-104n)之间的动作连续性特征。结合图3详细描述使用动作连续性模块306a确定第一装置104a与一个或更多个第二装置104b-104n之间的动作连续性特征。

为了确定第一装置104b与每个第二装置(104b-104n)之间的冲突解决特征，电子装置106基于一个或更多个冲突策略来训练第一强化模块/模型306b。一个或更多个冲突策略可以是描绘第一装置104a和一个或更多个第二装置104b-104n的操作之间的冲突的策略。冲突策略可基于冲突信息被定义和动态地被改变，该冲突信息在一段时间内控制多个装置104a-104n中的一个或更多个装置的操作时已经被监视。冲突信息描绘了在上下文相关装置的一个或更多个操作中已经发生的一个或更多个冲突。在示例中，用户将智能插头中设置的能量消耗(装置(104a-104n)的示例)设置为由用户设置的近极限，并且用户尝试接通连接到智能插头的装置，这可被识别为导致冲突的定义的冲突规则(即，当装置被接通时，智能插头中设置的能量极限可能超过)。电子装置106使用训练的第一强化模块306b来处理从第一装置104a和每个第二装置(104b-104n)收集的数据，并通过计算每个第二装置104b-104n关于第一装置104a的冲突解决相关性指数来确定第一装置104a与每个第二装置(104b-104n)之间的冲突解决特征。结合图3详细描述使用第一强化模块306b确定第一装置104a与一个或更多个第二装置104b-104n之间的冲突解决特征。

为了确定第一装置104a与每个第二装置(104b-104n)之间的故障解决特征，电子装置106基于一个或更多个预定义的故障策略来训练第二强化模块/模型306c。故障策略可以是用于检测上下文相关装置中的一个装置关于其他装置的当前操作上下文的操作中的故障而被定义和动态变化的策略。故障策略可基于故障信息被预定义，该故障信息在一段时间内控制多个装置104a-104n中的一个或更多个装置的操作时已经被监视。故障信息描绘了由于其他上下文相关装置的一个或更多个操作或上下文而导致的上下文相关装置中的一个装置的操作中的故障。电子装置106使用训练的第二强化模块306c来处理从第一装置104a和每个第二装置(104b-104n)收集的数据，并且通过计算每个第二装置(104b-104n)关于第一装置104a的故障解决相关性指数来确定第一装置104a与每个第二装置(104b-104n)之间的故障解决特征。结合图3详细描述使用第二强化模块306c确定第一装置104a与一个或更多个第二装置104b-104n之间的故障解决特征。

在确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的相关性特征时，电子装置106丢弃第一装置104a与每个第二装置(104b-104n)之间的已经与小于相关性阈值的相关性指数相关联的一个或更多个相关性特征。相关性阈值可被预定义为预测相关性特征的相应模块(306a-306c)的置信度的百分比。此外，用户可定义相关性阈值。在示例中，相关性阈值可设置为90％。在本文的示例中，相关性阈值可针对动作连续性相关性指数、冲突解决相关性指数、故障解决相关性指数等而变化。电子装置106基于与第一装置104a和每个第二装置(104b-104n)之间的对应相关性特征相关联的相关性指数，对剩余的每个相关性特征进行排名。在示例中，电子装置106基于相关联的相关性指数的降序来对相关性特征进行排名。例如，考虑电子装置106将第一装置104a与第二装置104b-104b中的装置A和装置B之间的动作连续性相关性指数分别计算为95％和80％，并且将第一装置104a与装置B之间的冲突解决相关性指数计算为92％。在这样的场景中，电子装置106将第一装置104a与装置A之间的动作连续性排名为1，并且将第一装置104a与装置B之间的冲突解决特征排名为2。电子装置106可丢弃第一装置104a与装置B之间的动作连续性特征，因为相关联的相关性指数小于相关性阈值(例如：90％)。

电子装置106基于但不限于以下中的至少一个来创建一个或更多个语义动作：第一装置104a与每个第二装置(104b-104n)之间的相关性特征的排名、从第一装置104a和每个第二装置(104b-104n)收集的数据等。语义动作可以是用于控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的推荐或建议或通知或警报。语义动作可包括但不限于以下中的至少一个：用于在第一装置104a上继续一个或更多个第二装置(104b-104n)的操作或相反情形的建议、冲突通知、故障通知、能量消耗限制通知、设置建议等。冲突通知指示第一装置104a和一个或更多个第二装置104b-104n的操作之间的冲突。故障通知指示由于一个或更多个第二装置104b-104n的操作而导致的第一装置104a的操作中的故障或相反情形的预期。能量消耗限制通知指示第一装置104a和/或一个或更多个第二装置104b-104n的能量消耗。设置建议指示一个或更多个第二装置104b-104n针对第一装置104a或相反情形的各种设置/配置。应当理解，与第一装置104a和/或一个或更多个第二装置104b-104n(包括上述)的操作相关的任何其他语义动作可被考虑。

电子装置106推荐用于控制第一装置104a和/或第二装置104b-104n的操作的一个或更多个语义动作。在实施例中，电子装置106通过在电子装置106的输出器208上将一个或更多个语义动作渲染为第一装置104a的控制接口上的覆盖有键盘的内容来推荐一个或更多个语义动作。在示例中，键盘覆盖的内容可包括图标、音频、视频、图像、情感、GIF、文本、符号等中的至少一个。

在向用户推荐一个或更多个语义动作时，电子装置106还从用户接收输入。在本文的示例中，输入可以是选择用于控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的一个或更多个语义动作。在本文的另一示例中，基于推荐的一个或更多个语义动作，输入可包括给电子装置106的用于控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的指令。电子装置106基于从用户接收的输入来控制第一装置104a和/或一个或更多个第二装置104b-104n的操作。在示例中，电子装置106通过执行由用户选择的一个或更多个语义动作来控制第一装置104a和/或一个或更多个第二装置104b-104n的操作。在另一示例中，电子装置106基于从用户接收的指令来控制第一装置104a和/或一个或更多个第二装置104b-104n的操作。

可选地，电子装置106通过执行推荐的一个或更多个语义动作来自动控制第一装置104a和/或一个或更多个第二装置104b-104n的操作。

电子装置106还可被配置为基于一个或更多个内容被渲染在一个或更多个第二装置104b-104n上推荐针对第一装置104a的配置/设置。

电子装置106还可被配置为基于从一个或更多个第二装置104a-104n收集的数据以及第一装置104a与一个或更多个第二装置104b-104n之间的相关性，针对一个或更多个第二装置104b-104n推荐第一装置104a的配置/设置。

在另一个实施例中，如图1b所示，电子装置106可将关于被指向以交互并控制其操作的第一装置104a的信息传递到外部服务器110或IoT云服务器102。在示例中，外部服务器110可以是部署在IoT环境中的服务器。在另一示例中，外部服务器110可远离电子装置106或IoT云服务器102。外部服务器110可被配置为独立于IoT云服务器102的硬件装置，但不限于此。外部服务器110可以是独立服务器，或者可以是被设计为被分类为软件的服务器。

外部服务器110或IoT云服务器102可被配置为通过执行由电子装置106执行的步骤(如上所述)来推荐一个或更多个语义动作作为控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的建议，因此为了简洁起见，其重复描述被省略。

图1a和图1b示出IoT系统100的示例性块，但是应当理解，其他实施例不限于此。在其他实施例中，IoT系统100可包括更少或更多数量的块。此外，块的标签或名称仅被用于说明目的，并且不限制本文的实施例的范围。一个或更多个块可被组合在一起以在IoT系统100中执行相同或基本相似的功能。

图2是描绘根据本文公开的实施例的用于控制多个装置104a-104n的操作的电子装置106的各种组件的块图。

电子装置106包括存储器202、通信接口204、输入器206、输出器208和控制器/处理器210。电子装置106还可与装置数据库212、装置能力映射数据库214等耦接。装置数据库212包括具有相关联的能力的一系列/多个装置104a-104n的映射。装置能力映射数据库214包括能力中的每个能力与数据/类型的数据的映射。类型的数据可以是与每个装置(104a-104n)相关联的元数据。

存储器202可存储但不限于以下中的至少一个：一个或更多个应用、被配置为指向/选择多个装置104a-104b中的一个装置以控制的交互式应用、多个装置104a-104n的装置信息、能力、制造商提供的信息、以及位置信息、在装置104a-104n之间确定的相关性特征、推荐用于控制装置104a-104n中的任何装置的操作的语义动作、响应于推荐的语义动作从用户接收的输入等。存储器202还可存储装置控制器300，装置控制器300可由控制器210执行以控制多个装置104a-104n的操作。本文涉及的存储器202可包括以下当中的至少一种类型的存储介质：闪存型存储介质、硬盘型存储介质、多媒体卡微型存储介质、卡型存储器(例如，SD或XD存储器)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘或光盘。

通信接口204可包括使得电子装置106能够使用由通信网络108已经支持的通信方法与另一装置(例如，另一电子装置、IoT云服务器102、多个装置104a-104n、外部服务器110等)通信的一个或更多个组件。通信接口204可包括诸如有线通信器、短距离通信器、移动/无线通信器和广播接收器的组件。

有线通信器可使得电子装置106能够使用通信方法(诸如但不限于有线LAN、以太网等)与其他装置通信。短距离通信器可使得电子装置106能够使用通信方法(诸如但不限于蓝牙低功耗(BLE)、近场通信器(NFC)、WLAN(或Wi-Fi)、Zigbee、红外数据协会(IrDA)、Wi-Fi直连(WFD)、UWB通信、Ant+(可互操作无线传输能力)通信、共享无线接入协议(SWAP)、无线宽带互联网(Wibro)、无线千兆联盟(WiGiG)等)与其他装置通信。在实施例中，电子装置106可通过短距离无线通信器获得电子装置106的定位信息/位置信息。在示例中，电子装置106可通过NFC标签确定电子装置106位于的位置/地点。在另一示例中，电子装置106可通过Wi-Fi的标识符来确定电子装置106位于的位置/地点。在另一示例中，电子装置106可通过确认电子装置106已经被连接到的Wi-Fi的服务集标识符(SSID)来确定电子装置106位于的地点/位置。移动通信器可与移动通信网络/蜂窝网络上的基站、外部终端或服务器中的至少一个收发无线信号。在示例中，根据文本/多媒体消息的收发，无线信号可包括语音呼叫信号、视频电话呼叫信号或各种类型的数据。广播接收器可通过广播信道从外部接收广播信号和/或广播相关信息。广播信道可包括卫星信道和地波信道。在实施例中，电子装置106可包括或可不包括广播接收器。

输入器206可被配置为从用户接收交互式输入。交互式输入可被用于识别由用户选择用于控制的第一装置/装置104a-104n中的任何装置。交互式输入可包括使用UWB或由电子装置106支持的任何其他通信方法选择/指向用于控制的多个装置104a-104n中的任何装置。输入器206还可被配置为从用户接收用于控制上下文相关装置104a-104n的操作的输入。输入可包括以下中的至少一个：选择一个或更多个语义动作、提供基于语义动作来控制上下文相关装置104a-104n的操作的指令等。

输出器208可被配置为提供语义动作作为控制上下文相关装置104a-104n的操作的推荐。输出器208可包括例如但不限于以下中的至少一个：声音输出器/语音助理模块、显示器、振动电机、用户界面(UI)模块、发光装置等，以向用户提供推荐。UI模块可根据应用提供与电子装置106同步的专用UI或图形用户界面(GUI)等。

输出器208从控制器210接收一个或更多个语义动作作为推荐，并且将推荐提供给用户以控制上下文相关装置104a-104n的操作。输出器208可将一个或更多个语义动作提供为电子装置106上的覆盖有键盘的内容。在接收到语义动作时，输出器208使用合适的方法针对每个语义动作生成键盘覆盖的内容，并在电子装置106上提供生成的键盘覆盖的内容。键盘覆盖的内容可以以音频、视频、情感、图像、按钮、图形、文本、图标、符号、振动信号等的形式被生成。

控制器210可包括一个或更多个处理器。一个或更多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、仅图形处理单元(诸如图形处理单元(GPU))、视觉处理单元(VPU)和/或人工智能(AI)专用处理器(诸如神经处理单元(NPU))。

控制器210可被配置为控制部署在IoT环境中的多个装置104a-104n的操作。为了控制装置104a-104n的操作，控制器210在从输入器206接收到用户的交互输入时识别指向而用于控制的第一装置104a。控制器210确定与第一装置104a上下文相关的一个或更多个第二装置104a-104n。一个或更多个第二装置104a-104n可具有第一装置104a的类似的能力。控制器210推荐一个或更多个语义动作作为控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的建议。

控制器210处理装置控制器300以控制第一装置104a和/或一个或更多个第二装置104a-104n的操作。

如图3所示，装置控制器300包括装置识别器302、数据收集器304、相关性识别器306和推荐管理器308。装置识别器302包括基于能力的装置聚类模块302a和装置交互预测模块302b。相关性识别器306包括动作连续性模块306a、第一强化模块306b和第二强化模块306c。

在实施例中，装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c可以是包括多个层的神经网络。每一层具有多个权重值，并且通过前一层的计算和多个权重/系数的运算来执行层运算。神经网络的示例包括但不限于以下中的至少一个：卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、生成对抗网络(GAN)、基于回归的神经网络、深度强化模型(具有ReLU激活)、深度Q网络等。装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c可包括可被布置在层中的多个节点。层的示例可以是但不限于卷积层、激活层、平均池化层、最大池化层、级联层、舍弃层、全连接层、软最大(SoftMax)层等。装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c的层的拓扑可基于装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c的类型而变化。在示例中，装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c可包括输入层、输出层和隐藏层。输入层接收层输入(其取决于模块302b、306a、306b和306c的类型)并将接收到的层输入转发到隐藏层。隐藏层将从输入层接收的层输入变换为可被用于在输出层中生成输出的表示。隐藏层从输入中提取有用/低级特征，在网络中引入非线性，并减少特征维度以使特征对缩放和平移是等变化的。层的节点可经由边被全连接到相邻层中的节点。在输入层的节点处接收的输入可经由激活函数被传播到输出层的节点，该激活函数基于分别与连接层的边中每个相关联的系数/权重来计算网络中的每个连续层的节点的状态。

装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c可使用至少一种学习方法来被训练，以分别确定上下文相关装置、上下文相关装置之间的动作连续性特征、上下文相关装置之间的冲突解决特征和上下文相关装置之间的故障解决。学习方法的示例可以是但不限于监督学习、无监督学习、半监督学习、强化学习、基于回归的学习等。与学习方法相关联的功能可通过非易失性存储器、易失性存储器和控制器210被执行。控制器210可包括一个或更多个处理器。此时，一个或更多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、仅图形处理单元(诸如图形处理单元(GPU))、视觉处理单元(VPU)和/或人工智能(AI)专用处理器(诸如神经处理单元(NPU))。

一个或更多个处理器根据分别存储在非易失性存储器和易失性存储器中的装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c的预定义操作规则来确定上下文相关装置、上下文相关装置之间的动作连续性特征、上下文相关装置之间的冲突解决特征以及上下文相关装置之间的故障解决。装置交互预测模块302b、动作连续性模块306a、第一强化模块306b和第二强化模块306c的预定义操作规则通过使用学习方法训练模块(302b、306a、306b和306c)被提供。

这里，通过学习被提供意味着通过将学习方法应用于多个学习数据(例如：交互训练数据集、动作训练数据集、冲突训练数据集、故障训练数据集等)，制定了期望特性的预定义操作规则或AI模型。上下文相关装置的确定、上下文相关装置之间的动作连续性特征、上下文相关装置之间的冲突解决特征和上下文相关装置之间的故障解决可在执行根据实施例的学习的电子装置106本身中被执行，和/或可通过单独的服务器/系统来被实现。

装置识别器302可被配置为识别指向而用于控制的第一装置104a。装置识别器302在从输入器206接收用户的交互式输入时识别第一装置104。装置识别器302还可被配置为确定与第一装置104a上下文相关的一个或更多个第二装置104b-104n。

为了确定一个或更多个第二装置104b-104n，装置识别器302使用基于能力的装置聚类模块302a来识别第一组有关装置。为了识别第一组有关装置，基于能力的装置聚类模块302a从装置数据库212获取向IoT云服务器102或电子装置106注册的装置104a-104n的列表和相关联的能力。装置聚类模块302a通过访问装置数据库212来确定第一装置104a和存在于装置104a-104n的列表中的每个装置的能力。基于能力的装置聚类模块302a通过包括来自装置104a-104n的列表的具有第一装置104a的类似的能力的一组装置来形成装置集群。包括在形成的装置集群中的一组装置与针对第一装置104a的第一组有关装置对应。

装置识别器302使用装置交互预测模块302b识别针对第一装置104a的第二组有关装置。装置交互预测模块302b可以是可被用于识别针对第一装置104a的第二组有关装置的训练模型。装置识别器302可基于包括多个装置104a-104n与能力的映射的交互训练数据集来训练装置预测模块302b。在示例中，装置识别器302可获取存储在存储器202中的交互训练数据集。在另一示例中，装置识别器302可从IoT云服务器102或外部服务器获取交互训练数据集。

为了识别第二组有关装置，装置交互预测模块302b从装置数据库212获取向IoT云服务器102或电子装置106注册的装置104a-104n的列表和相关联的能力。装置交互预测模块302b通过访问装置数据库212来确定第一装置104a和存在于装置104a-104n的列表中的每个装置的能力。装置交互预测模块302b基于装置的列表中的每个装置的能力针对它们分配关于第一装置104a的置信度得分。装置交互预测模块302b将每个装置关于第一装置104a的置信度得分与交互阈值进行比较。装置交互预测模块302b丢弃与小于交互阈值的置信度得分相关联的一组装置。装置交互预测模块302b将与等于大于交互阈值的置信度得分相关联的一组装置识别为针对第一装置104a的第二组有关装置。

一旦第一组有关装置和第二组有关装置已经针对第一装置104a被识别出，装置识别器302就执行第一组有关装置和第二组有关装置的合并。装置识别器302将在第一组有关装置或第二组有关装置中找到的一个或更多个装置确定为针对第一装置104a的一个或更多个第二装置104b-104n。装置识别器302将关于第一装置104a和一个或更多个第二装置104b-104n的信息提供给数据收集器304。装置识别器302还将第一装置104a和一个或更多个第二装置104b-104n的能力提供给相关性识别器306。

数据收集器304可被配置为识别将从第一装置104a和一个或更多个第二装置104b-104n被收集的类型的数据，并且从第一装置104a和一个或更多个第二装置104b-104n收集识别的类型的数据。为了识别将从第一装置104a和一个或更多个第二装置104b-104n被收集的类型的数据，数据收集器304创建一个或更多个装置-能力对。数据收集器304基于每个装置-能力对来查询装置能力映射数据库214。数据收集器304从装置能力映射数据库214接收针对每个能力将被收集的类型的数据。数据收集器304将针对每个能力识别的类型的数据与相应的第一装置104a和/或一个或更多个第二装置104b-104n相关联。数据收集器304从第一装置104a和一个或更多个第二装置104b-104n收集识别的类型的数据。在示例中，数据收集器304在在线模式下从第一装置104a和一个或更多个第二装置104b-104n收集识别的类型的数据。在另一示例中，数据收集器304在离线模式下从第一装置104a和一个或更多个第二装置104b-104n收集识别的类型的数据。数据收集器304将从第一装置104a和一个或更多个第二装置104b-104n收集的类型的数据提供给相关性识别器306。

相关性识别器306可被配置为基于从第一装置104a和一个或更多个第二装置104b-104n收集的能力和类型的数据，确定具有第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的具有相关性指数的相关性特征。相关性特征包括但不限于以下中的至少一个：动作连续性特征、冲突解决特征和故障解决特征。相关性指数包括但不限于以下中的至少一个：与动作连续性特征相关联的动作连续性相关性指数、与冲突解决特征相关联的冲突解决相关性指数、与故障解决特征相关联的故障解决相关性指数等。

相关性识别器306训练动作连续性模块306a，并使用训练的动作连续性模块306a来确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的动作连续性特征。相关性识别器306使用软件回归来利用候选装置的标记数据集和相关联的能力来训练动作连续性模块306a。动作连续性模块306a可以是训练的神经网络，在该神经网络中，层的数量、用于处理层的序列和与每个层相关的参数可以是已知且固定的，以确定第一装置104a和一个或更多个第二装置104b-104n之间的动作连续性特征。与每个神经网络层相关的参数的示例可以是但不限于与神经网络的层相关的激活函数、偏置、输入权重、输出权重等。

相关性识别器306可在每次检测到第一装置104a与一个或更多个第二装置104b-104n之间的动作连续性特征时更新训练的动作连续性模块306a。相关性识别器306可更新动作连续性模块306a，可通过更新动作连续性模块306a的神经网络层的权重/系数来更新训练的动作连续性模块306a。

为了确定第一装置104a与一个或更多个第二装置104b-104n之间的动作连续性特征，相关性识别器306将第一装置104a和一个或更多个第二装置104b-104n的能力以及从第一装置104a和一个或更多个第二装置104b-104n收集的类型的数据作为动作输入馈送到训练的动作连续性模块306a。训练的动作连续性模块306a处理从相关性识别器306接收的动作输入，并且确定第一装置104a与一个或更多个第二装置104b-104n之间的动作连续性特征。确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的动作连续性特征包括针对一个或更多个第二装置104b-104n中的每个第二装置计算关于第一装置104a的动作连续性相关性指数。针对每个第二装置(104b-104n)计算的动作连续性相关性指数的值可属于[0,100]，其指示相应的第二装置(104b-104n)的一个或更多个动作/操作必须在第一装置104a上被继续的可能性。动作连续性相关性指数0可指示相关联的第二装置(104b-104n)关于第一装置104a之间的最低相关性。动作连续性相关性指数100可指示相关联的第二装置(104b-104n)关于第一装置104a之间的最高相关性。

相关性识别器306训练第一强化模块306b，并且使用训练的第一强化模块306b来确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的冲突解决特征。

为了训练第一强化模块306b，相关性识别器306收集冲突训练数据集和预定义的一个或更多个冲突策略。冲突训练数据集可以是在一段时间内控制多个装置104a-104n中的一个或更多个装置的操作时已经被监视的信息。冲突训练数据集包括关于从上下文相关装置收集的用于控制它们的操作的类型的数据的信息。一个或更多个预定义的冲突策略可以是描绘上下文相关装置的操作之间的冲突的策略。冲突策略可基于冲突信息被预定义，该冲突信息在一段时间内在控制多个装置104a-104n中的一个或更多个装置的操作时已经被监视。冲突策略也可由用户手动定义。在示例中，相关性识别器306从存储器202收集冲突训练数据集和预定义的一个或更多个冲突策略。在另一示例中，相关性识别器306从IoT云服务器102或外部服务器等收集冲突训练数据集和预定义的一个或更多个冲突策略。相关性识别器306将收集的冲突训练数据集和预定义的一个或更多个冲突策略馈送到第一强化模块306b。第一强化模块306b处理接收的训练数据集并生成冲突动作。冲突动作描绘了上下文相关装置的一个或更多个操作之间的冲突概率(例如：低或高)。如果生成的冲突动作正确，则相关性识别器306向第一强化模块306b分配正奖励，并且如果生成的冲突动作不正确，则向第一强化模块306b分配负奖励。相关性识别器306还动态地更新一个或更多个冲突策略和第一强化模块306a。相关性识别器306基于第一强化模块306b关于接收的冲突训练数据集生成的冲突动作来更新一个或更多个冲突策略。相关性识别器306通过将冲突观察强化到第一强化模块306b中来更新第一强化模块306b，以更好地生成冲突动作。冲突观察可以是基于第二上下文相关装置的操作的第一上下文相关装置的操作的效率降低。例如，第一强化模块306b基于AC的先前制冷数据来预测制冷房间的时间。但是在窗户打开的情况下，制冷时间的模型预测可能失败。在这种情况下，第一强化模块306b分析上下文相关装置的状态以识别打开的窗户(即，附接到窗户的多用途传感器处于打开状态)影响AC的冷却并且将其策略更新为生成冲突信息/推荐。

为了确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的冲突解决特征，相关性识别器306将从第一装置104a和一个或更多个第二装置104b-104n收集的类型的数据作为冲突输入馈送到训练的第一强化模块306b。训练的第一强化模块306b处理从相关性识别器306接收的冲突输入，并且确定第一装置104a与一个或更多个第二装置104b-104n之间的冲突解决特征。确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的冲突解决特征包括针对一个或更多个第二装置104b-104n中的每个第二装置计算关于第一装置104a的冲突解决相关性指数。冲突解决相关性指数可包括值0-100，其中，值0和值100分别指示第一装置104a和相应的第二装置(104b-104n)的操作中的最低的冲突概率和最高的冲突概率。

相关性识别器306训练第二强化模块306c并使用训练的第二强化模块306c来确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的故障解决特征。

为了训练第二强化模块306c，相关性识别器306收集故障训练数据集和预定义的一个或更多个故障策略。故障训练可包括在一段时间内控制多个装置104b-104n中的一个或更多个装置的操作时已经被监视的信息。冲突训练数据集包括关于从上下文相关装置收集的用于控制它们的操作的类型的数据的信息。故障策略可以是被定义用于检测上下文相关装置中的一个关于其他装置的当前操作上下文的操作中的故障的策略。故障策略可基于故障信息被预定义，该故障信息在一段时间内控制多个装置104a-104n中的一个或更多个装置的操作时已经被监视。故障策略也可由用户手动定义。故障信息描绘了由于其他上下文相关装置的一个或更多个操作或上下文而导致的上下文相关装置中的一个的操作中的故障。在示例中，相关性识别器306从存储器202收集故障训练数据集和预定义的一个或更多个故障策略。在另一示例中，相关性识别器306从IoT云服务器102或外部服务器等收集故障训练数据集和预定义的一个或更多个故障策略。相关性识别器306将收集的故障训练数据集和预定义的一个或更多个故障策略馈送到第二强化模块306c。第二强化模块306c处理接收的故障训练数据集并且生成故障动作。故障动作描绘了由于其他上下文相关装置的操作而导致的在上下文相关装置中的一个的一个或更多个操作中预期的故障的概率(例如：低或高)。如果生成的故障动作是正确的，则相关性识别器306向第二强化模块306c分配正奖励，并且如果生成的故障动作是不正确的，则相关性识别器306向第二强化模块306c分配负奖励。相关性识别器306还动态地更新一个或更多个故障策略和第二强化模块306c。相关性识别器306基于第二强化模块306c关于接收的故障训练数据集生成的故障动作来更新一个或更多个故障策略。相关性识别器306通过将故障观察强化到第二强化模块306c中来更新第二强化模块306c，以更好地生成故障动作。第二强化模块306c可基于来自上下文相关联装置的反馈来学习故障观察。例如，第二强化模块306c预测洗涤机操作成功。然而，如果洗涤机操作发生故障，则第二强化模块306c分析上下文相关装置的状态以识别相应装置的状态是否与洗涤机操作成功时的情况不同，以推断新策略。如果洗涤机操作成功，则顶置水箱(overhead tank)传感器值永远不会低。然而，在由于顶置水箱中缺乏水而导致洗涤机操作故障的情况下，水传感器值可能是低水位。导致洗涤机故障的水传感器状态(即，低水传感器)的这种变化由第二强化模块306c通过分析上下文相关装置的状态被推导。

为了确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的故障解决特征，相关性识别器306将从第一装置104a和一个或更多个第二装置104b-104n收集的类型的数据作为故障输入馈送到训练的第二强化模块306c。训练的第二强化模块306c处理从相关性识别器306接收的故障输入，并且确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的故障解决特征。确定第一装置104a与一个或更多个第二装置104b-104n中的每个第二装置之间的故障解决特征包括针对一个或更多个第二装置104b-104n中的每个第二装置计算关于第一装置104a的故障解决相关性指数。故障解决相关性指数可包括值0-100，其中，值0和值100分别指示关于相应的第二装置(104b-104n)的当前操作上下文的第一装置104a的操作中的预期故障的最低概率和最高概率。相关性识别器306将识别的相关性特征与相关联的相关性指数一起提供给推荐管理器308。

推荐管理器308可被配置为创建一个或更多个语义动作，并且提供创建的一个或更多个语义动作作为用于控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的推荐。为了创建一个或更多个语义动作，推荐管理器308基于相关联的相关性指数对每个相关性特征进行排名。推荐管理器308基于每个相关性特征的排名以及从第一装置104a和一个或更多个第二装置104b-104n收集的数据来创建一个或更多个语义动作。

推荐管理器308将创建的一个或更多个语义动作提供给输出器208，以将创建的一个或更多个语义动作作为用于控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的推荐提供给用户。

推荐管理器308还可被配置为在将推荐提供给用户之后，在从输出器208接收用户的输入时，控制第一装置104a和/或一个或更多个第二装置104b-104n的操作。可选地，推荐管理器308还可被配置为基于创建的一个或更多个语义动作来控制第一装置104a和/或一个或更多个第二装置104b-104n的操作。

推荐管理器308还可被配置为基于一个或更多个内容被渲染在一个或更多个第二装置104b-104n上来推荐针对第一装置104a的配置。在示例中，推荐可基于在TV上被播放的内容的类型(针对第一装置104a确定的示例第二装置(104b-104n))来推荐针对灯泡(示例第一装置104a)的配置。配置可包括开启灯泡、关闭灯泡、亮度设置、变暗设置等中的至少一个。

推荐管理器308还可被配置为基于从一个或更多个第二装置104a-104n收集的数据和第一装置104a与一个或更多个第二装置104b-104n之间的相关性，针对一个或更多个第二装置104b-104n推荐第一装置104a的配置。在示例中，推荐管理器308可向存在于相同位置的第二灯泡(针对第一装置104a确定的示例第二装置(104b-104n))推荐第一灯泡(示例第一装置104a)的变暗设置(示例配置)。

图2和图3示出电子装置106的示例性块，但是应当理解，其他实施例不限于此。在其他实施例中，电子装置106可包括更少或更多数量的块。此外，块的标签或名称仅用于说明目的，并且不限制本文的实施例的范围。一个或更多个块可被组合在一起以在电子装置106中执行相同或基本相似的功能。

图4描绘根据本文公开的实施例的IoT系统100的示例概念图，其中，每个装置104a基于能力和依赖的装置1104b-104n的当前操作上下文被控制。

IoT系统100包括IoT云服务器102、多个装置104a-104n和电子装置106。电子装置106可被配置为基于彼此之间的相关性来控制多个装置104a-104n的操作。

考虑示例场景，其中，用户使用电子装置106上支持的UWB来指向部署在IoT环境中的TV(第一装置104a的示例)。在这样的场景中，电子装置106将TV识别为用于控制的指向的装置。在图5中描绘了确定针对TV的上下文相关装置104b-104n。

如图5所示，电子装置106通过访问装置数据库212来获取向IoT云服务器102或电子装置106注册的装置的列表。装置的列表可包括扬声器、相机、烤箱和AC中的至少一个。电子装置106使用装置数据库212来确定存在于获取的装置的列表中的每个装置的能力和TV的能力。在本文的示例中，电子装置106将TV的能力确定为音频、和显示/视频源。类似地，电子装置106将扬声器、相机、烤箱和AC的能力分别确定为音频、视频源、视频源和温度以及温度。电子装置106针对TV的确定的能力(音频、和显示/视频源)中的每个形成装置集群。形成的关于音频的装置集群包括TV和扬声器。形成的关于显示/视频源的装置集群包括TV、相机和烤箱。电子装置106将扬声器、相机和烤箱确定为针对TV的第一组有关装置。

并行于确定针对TV的第一组有关装置，电子装置106确定针对TV的第二组有关装置。为了确定第二组有关装置，电子装置106通过访问装置数据库212来获取向IoT云服务器102或电子装置106注册的装置的列表。装置的列表可包括扬声器、相机、智能插头、具有内置相机的烤箱和AC中的至少一个。电子装置106将TV的能力确定为音频、和显示/视频源。类似地，电子装置106将扬声器、相机、智能插头、烤箱和AC的能力分别确定为音频、能量、视频源、视频源和温度以及温度。电子装置106通过基于装置和TV的能力确定装置与TV之间的交互的可能性，将相机、智能插头、烤箱和AC关于TV的置信度得分分配为95％、90％、90％、20％和20％。电子装置106丢弃烤箱和AC，因为烤箱和AC的置信度得分小于交互阈值(例如：50％)。电子装置106将扬声器、相机和智能插头确定为针对TV的第二组有关装置。

电子装置106执行第一组有关装置和第二组有关装置的合并以形成针对TV的上下文相关装置。在示例中，电子装置106将扬声器、相机、烤箱和智能插头确定为TV的上下文相关装置。

在确定针对TV的上下文相关装置时，电子装置106识别将从TV和相关联的上下文相关装置被收集的类型的数据。在图6中描绘了识别将从TV和相关联的上下文相关装置被收集的类型的数据。

如图6所示，电子装置106创建包括音频对、显示对和能量对的装置-能力对。音频对包括TV和扬声器。显示对包括TV、照相机和烤箱。能量对包括TV和智能插头。电子装置106查询装置能力映射数据库214并且从装置能力映射数据库214接收关于将从与每个能力相关联的装置收集的类型的数据的信息。在示例中，需要从装置收集的类型的数据包括装置的状态、装置的当前操作上下文、装置的位置等中的至少一个。

电子装置106在在线模式或离线模式下从TV和相关联的上下文相关装置收集识别的类型的数据。在图7中描绘了在在线模式和离线模式下从装置收集数据。在在线模式下，电子装置106通过由通信网络108支持的通信方法与IoT云服务器102建立会话。电子装置106将指示将从TV和相关联的上下文相关装置被收集的类型的数据/元数据的请求发送到IoT云服务器102。IoT云服务器102从TV和相关联的上下文相关装置收集指示的类型的数据/元数据，并且将收集的数据转发到电子装置106。

在离线模式下，电子装置106通过由通信网络108支持的通信方法(例如本文中：UWB)与TV和相关联的上下文相关装置建立会话。电子装置106发送指示从TV和相关联的上下文相关装置所需的类型的数据的请求。电子装置106从TV和相关联的上下文相关装置接收确定的类型的数据。在图7中描绘了从TV和相关联的上下文相关装置收集的类型的数据。

在从TV和相关联的上下文相关装置收集数据时，电子装置106确定TV与相关联的上下文相关装置中的每个之间的动作连续性特征、冲突解决特征和故障解决特征。本文的实施例进一步说明了TV与相关联的上下文相关装置中的每个之间的动作连续性特征、冲突解决特征和故障解决特征的确定，但是对于本领域技术人员来说显而易见的是，任何其他相关性特征可以以类似的方式被确定。

在图8a和图8b中描绘了确定动作连续性特征。如图8a所示，电子装置106使用软件回归来使用候选装置的标记数据集和相关联的能力训练动作连续性模块306a。训练的动作连续性模块306a可以是训练的神经网络，在该神经网络中，层的数量、用于处理层的序列和与每个层相关的参数可以是已知且固定的，以确定第一装置104a与一个或更多个第二装置104b-104n之间的动作连续性特征。与每个神经网络层相关的参数的示例可以是但不限于与神经网络的层相关的激活函数、偏置、输入权重、输出权重等。

如图8b所示，电子装置106使用训练的动作连续性模块306a来确定TV与相关联的上下文相关装置中的每个之间的动作连续性特征。电子装置106将从TV和相关联的上下文相关装置收集的能力和数据馈送到训练的动作连续性模块306a。动作连续性模块306a处理TV和相关联的上下文相关装置的数据的能力，以通过针对每个上下文相关装置计算关于TV的动作连续性相关性指数来确定TV与相关联的上下文相关装置中的每个之间的动作连续性特征。动作连续性相关性指数指示在TV上继续一个或更多个上下文相关装置的一个或更多个动作/操作的概率。在本文的示例中，针对扬声器、相机、烤箱和智能插头计算关于TV的动作连续性相关性指数可分别是80％、15％、5％和0。与相机、烤箱和智能插头相比，由于相机、烤箱和智能插头的状态不具有用于在TV上继续的任何内容/动作，扬声器可具有最高的动作连续性相关性指数。因此，因为扬声器与TV具有强相关性，扬声器的一个或更多个动作/内容/操作可在TV上被继续。

在图9a和图9b中描绘了确定TV与相关联的上下文相关装置之间的冲突解决特征。如图9a所示，电子装置106训练第一强化模块以确定TV与相关联的上下文相关装置之间的冲突解决特征。电子装置106将收集的训练数据集和预定义的一个或更多个冲突策略馈送到第一强化模块306b。第一强化模块306b处理接收的训练数据集并且生成冲突动作。冲突动作描绘了上下文相关装置的一个或更多个操作可能与其他上下文相关装置的一个或更多个操作冲突。如果生成的冲突动作是正确的，则电子装置106将正奖励分配给第一强化模块306b，并且如果生成的冲突动作是不正确的，则电子装置106将负奖励分配给第一强化模块306b。电子装置106还动态地更新一个或更多个冲突策略和第一强化模块306b。电子装置106基于第一强化模块306b关于接收的冲突训练数据集预测的动作来更新一个或更多个冲突。电子装置106通过将冲突观察强化到第一强化模块306b中来更新第一强化模块306b，以更好地生成冲突动作。

如图9b所示，为了确定TV与相关联的上下文相关装置之间的冲突解决，电子装置106将从TV和相关联的上下文相关装置收集的数据馈送到第一强化模块306b。第一强化模块306b处理TV和相关联的上下文相关装置的数据，并且通过针对每个上下文相关装置计算关于TV的冲突解决相关性指数来确定TV与上下文相关装置中的每个之间的冲突解决。冲突解决相关性指数描绘了TV和相关联的上下文相关装置的操作之间的冲突的概率。在本文的示例中，针对扬声器、相机、烤箱和智能插头计算的关于TV的冲突解决相关性指数可分别是10％、8％、7％和75％。与其他装置相比，智能插头可具有与TV的最高相关性，这描绘了连续的功耗可能与TV的操作冲突。

在图10a和图10b中描绘了确定TV与相关联的上下文相关装置之间的故障解决特征。如图10a所示，电子装置106训练第二强化模块306c以确定TV与相关联的上下文相关装置之间的故障解决特征。电子装置106将故障训练数据集和预定义的一个或更多个故障策略馈送到第二强化模块306c。第二强化模块306c处理接收的故障训练数据集并且生成故障动作。故障动作描绘了TV的一个或更多个操作可能由于一个或更多个上下文相关装置的一个或更多个操作而发生故障。如果生成的故障动作是正确的，则电子装置106将正奖励分配给第二强化模块306c，并且如果生成的故障动作是不正确的，则电子装置106将负奖励分配给第二强化模块306c。电子装置106还动态地更新一个或更多个故障策略和第二强化模块306c。电子装置106基于第二强化模块306c关于接收的故障训练数据集生成的故障动作来更新一个或更多个故障策略。电子装置106通过将故障观察强化到第二强化模块306c中来更新第二强化模块306c，以更好地生成故障动作。

如图10b所示，为了确定TV与相关联的上下文相关装置之间的故障解决，电子装置106将从TV和相关联的上下文相关装置收集的数据馈送到训练的第二强化模块306c。第二强化模块306c处理TV和相关联的上下文相关装置的数据，并且通过针对每个上下文相关装置计算关于TV的故障解决相关性指数来确定TV与每个上下文相关装置之间的故障解决。故障解决相关性指数描绘了由于相关联的上下文相关装置的操作而导致的TV的操作中的故障的概率。在本文的示例中，针对扬声器、相机、烤箱和智能插头计算的关于TV的故障解决相关性指数可分别为10％、10％、10％和70％。与其他装置相比，智能插头可具有与TV的最高相关性，这描绘了连续的功耗可能使TV的操作故障。

基于确定的TV与相关联的上下文相关装置之间的相关性特征，电子装置106提供用于控制TV或相关联的上下文相关装置的操作的推荐。在图11中描绘了提供用于控制TV或相关联的上下文相关装置的操作的推荐。

如图11中所描绘的，电子装置106基于能力和与每个上下文相关联装置相关联的相关性指数，对TV与相关联的上下文相关联装置中的每个之间的动作连续性特征、冲突解决特征和故障解决特征进行排名。相关性指数包括动作连续性相关性指数、冲突解决相关性指数和故障解决相关性指数中的至少一个。在本文的示例中，电子装置106将TV与扬声器之间的动作连续性特征排名为1，将TV与智能插头之间的冲突解决特征排名为2，并且将TV与智能插头之间的故障解决特征排名为3。

电子装置106基于TV与相关联的相关装置之间的相关性特征的排名来创建一个或更多个语义动作。在本文的示例中，语义动作包括在TV上继续进行在扬声器上被播放的内容的建议，以及指示TV的继续使用可能损坏TV的警报。

电子装置106提供关于针对TV的上下文相关装置和它们的当前操作上下文的信息以及作为对用户控制TV的操作的推荐的语义动作。电子装置106将语义动作渲染为键盘覆盖的内容。

电子装置106在由用户选择语义动作中的任何一个时控制TV的操作。在示例中，如果用户选择在TV上继续进行在扬声器上被播放的内容的建议，则电子装置106可使TV能够播放在扬声器上被播放的内容/音频。在另一示例中，如果用户选择指示TV的继续使用可能损坏TV的警报，则电子装置106关闭TV。

图12是描绘了根据本文公开的实施例的控制IoT环境中的多个装置104a-104n的操作的流程图。

在步骤1202，电子装置106识别指向将被控制的第一装置104a。在示例中，用户(在步骤1201)使用由通信网络108支持的通信方法中的至少一种指向第一装置104a以进行控制。在步骤1203，电子装置106检查IoT环境中是否存在任何其他装置。如果IoT环境中不存在其他装置，则在步骤1204，电子装置106向用户提供用于控制第一装置104a的正常命令。

如果其他装置存在于IoT环境中，则在步骤1205，电子装置106确定作为第一装置104a的上下文相关装置的针对第一装置104a的一个或更多个第二装置104b-104n。电子装置106通过基于能力和交互形成针对第一装置104a的有关装置的集群来确定针对第一装置104a的一个或更多个第二装置104b-104n。

在步骤1206，电子装置106识别将从第一装置104a和一个或更多个第二装置104b-104n被收集的类型的数据。电子装置106创建装置-能力对，其中，每对包括能力和通过相应能力交互的第一装置104a和/或一个或更多个第二装置104b-104n。电子装置106查询装置能力映射数据库214并且接收关于将从与每个能力相关联的第一装置104a和/或第二装置104b-104n被收集的类型的数据的信息。在步骤1207，电子装置106从第一装置104a和/或一个或更多个第二装置104b-104n收集识别的类型的数据。在示例中，电子装置106在在线模式下从第一装置104a和/或一个或更多个第二装置104b-104n收集识别的类型的数据。在另一示例中，电子装置106在离线模式下从第一装置104a和/或一个或更多个第二装置104b-104n收集识别的类型的数据。

在步骤1208，电子装置106针对一个或更多个第二装置104b-104n中的每个第二装置确定关于第一装置104a的具有相关性指数的相关性特征。相关性特征的示例可包括但不限于以下中的至少一个：动作连续性特征、冲突解决特征、故障解决特征、屏幕智能特征、设置建议特征等。相关性指数的示例包括但不限于以下中的至少一个：与动作连续性特征相关联的动作连续性相关性指数、与冲突解决特征相关联的冲突解决相关性指数、与故障解决特征相关联的故障解决相关性指数、与屏幕智能特征相关联的屏幕智能相关性指数、与设置建议特征相关联的设置建议相关性指数等。电子装置106基于第一装置104a和一个或更多个第二装置104b-104n的能力和/或基于第一装置104a和一个或更多个第二装置104b-104n的能力从第一装置104a收集的数据，针对一个或更多个第二装置104b-104n中的每个第二装置确定关于第一装置104a的具有相关性指数的相关性特征。

在步骤1209，电子装置106基于相关联的相关性指数和从第一装置104a和相应的第二装置(104b-104n)收集的数据，对一个或更多个第二装置104b-104n中的每个第二装置与第一装置104a之间的每个相关性特征进行排名。

在步骤1210，电子装置106基于一个或更多个第二装置104b-104n中的每个第二装置与第一装置104之间的每个相关性特征的排名来创建一个或更多个语义动作。一个或更多个语义动作的示例可以是但不限于在第一装置104a上继续第二装置104b-104n中的一个的操作/动作的建议、冲突通知、故障通知、上下文动作建议、设置/配置等。

在步骤1211，电子装置106针对创建的一个或更多个语义动作中的每个生成键盘覆盖的内容。在步骤1212，电子装置106将与一个或更多个语义动作对应的键盘覆盖的内容渲染为对用户控制第一装置104a和/或一个或更多个第二装置104b-104n的操作的推荐。

图13a和图13b描绘了根据本文公开的实施例控制IoT环境中的多个装置104a-104n中的一个装置的操作的示例用例场景。

考虑示例场景，其中，用户使用由电子装置106支持的UWB指向洗衣机/洗涤机(第一装置104a的示例)。在这种情况下，电子装置106将洗衣机识别为由用户指向的用于操作的装置。电子装置106获取包括水传感器、恒温器、烤箱、AC、灯泡和智能插头的装置的列表，并且将来自装置的列表的水传感器、恒温器和智能插头确定为针对洗衣机的上下文相关装置(第二装置104b-104n)。电子装置106识别将从洗衣机、水传感器、恒温器和智能插头被收集的类型的数据。在示例中，将从装置被收集的类型的数据包括以下中的至少一个：装置的状态、装置的位置、装置的当前操作上下文(诸如，来自水传感器的水位、来自恒温器的天气数据、和来自智能插头的能量限制)。电子装置106在在线模式或离线模式下从洗衣机、水传感器、恒温器和智能插头收集识别的类型的数据。

在收集数据时，电子装置106针对水传感器、恒温器和智能插头确定关于洗衣机的具有动作连续性相关性指数的动作连续性特征、具有冲突解决相关性指数的冲突解决特征、以及具有故障解决相关性指数的故障解决特征。电子装置106将水传感器与洗衣机之间的故障解决特征排名为1(例如，因为水位低)，并且将恒温器与洗衣机之间的动作连续性特征排名为2(例如，因为天气数据描绘了接下来2小时的下雨预报)。

电子装置106基于相关性特征的排名以及与洗衣机、水传感器、恒温器和智能插头相关联的数据来生成一个或更多个语义动作。在示例中，语义动作可包括以下中的至少一个：基于天气数据延迟开启洗衣机的建议，以及基于感测到的低水位启动水泵的建议。电子装置106向用户推荐创建的用于操作洗衣机的一个或更多个语义动作。电子装置106可通过在电子装置106的显示器/输出器208上将一个或更多个语义动作渲染为键盘覆盖的内容来推荐创建的一个或更多个语义动作。

图14a和图14b描绘了根据本文公开的实施例的控制IoT环境中的多个装置104a-104n中的一个装置的操作的另一示例用例场景。

考虑示例场景，其中，用户使用由电子装置106支持的UWB指向AC(第一装置104a的示例)。在这样的场景中，电子装置106将AC识别为由用户指向的用于操作的装置。电子装置106获取包括窗接触传感器、恒温器、烤箱、灯泡和智能插头的装置的列表，并且将来自装置的列表的窗接触传感器、恒温器和智能插头确定为针对AC的上下文相关装置(第二装置104b-104n)。电子装置106识别将从AC、窗接触传感器、恒温器和智能插头被收集的类型的数据。在示例中，将从装置被收集的类型的数据包括以下中的至少一个：装置的状态、装置的位置、装置的当前操作上下文(诸如，接触传感器状态、温度和能量限制)。电子装置106在在线模式或离线模式下从AC、窗接触传感器、恒温器和智能插头收集识别的类型的数据。

在收集数据时，电子装置106针对窗接触传感器、恒温器和智能插头确定关于AC的具有动作连续性相关性指数的动作连续性特征、具有冲突解决相关性指数的冲突解决特征、以及具有故障解决相关性指数的故障解决特征。电子装置106将水接触传感器与AC之间的冲突解决特征排名为1(例如，当窗户打开时)，并且将智能插头与AC之间的冲突解决特征排名为2(例如，当达到能量限制时)。

电子装置106基于相关性特征的排名和与AC、窗接触传感器、恒温器和智能插头相关联的数据来生成一个或更多个语义动作。在示例中，语义动作可包括以下中的至少一个：为了AC的更好操作效率而关窗的通知，以及能量消耗限制通知。电子装置106向用户推荐创建的用于操作AC的一个或更多个语义动作。电子装置106可通过在电子装置106的显示器/输出器208上将一个或更多个语义动作渲染为键盘覆盖的内容来推荐创建的一个或更多个语义动作。

图15a和图15b描绘了根据本文公开的实施例的控制IoT环境中的多个装置104a-104n中的一个装置的操作的另一示例用例场景。

考虑示例场景，其中，用户使用由电子装置106支持的UWB来指向TV(第一装置104a的示例)。在这样的场景中，电子装置106将TV识别为由用户指向的用于操作的装置。电子装置106获取包括扬声器、相机、具有内置相机的烤箱、AC、水传感器、智能插头和灯泡的装置的列表，并将来自装置的列表的扬声器、相机、烤箱和智能插头确定为针对TV的上下文相关装置(第二装置104b-104n)。电子装置106识别将从TV、扬声器、相机、烤箱和智能插头被收集的类型的数据。在示例中，将从装置被收集的类型的数据包括以下中的至少一个：装置的状态、装置的位置、装置的当前操作上下文(诸如，在扬声器上播放的内容、来自相机的运动和视频源、来自烤箱的相机源、以及来自智能插头的能量限制)。电子装置106在在线模式或离线模式下从TV、扬声器、相机、烤箱和智能插头收集识别的类型的数据。

在收集数据时，电子装置106针对扬声器、相机、烤箱和智能插头确定关于TV的具有动作连续性相关性指数的动作连续性特征、具有冲突解决相关性指数的冲突解决特征、以及具有故障解决相关性指数的故障解决特征。电子装置106将扬声器与TV之间的动作连续性特征排名为1，将智能插头与TV之间的冲突解决特征排名为2，将相机与TV之间的动作连续性特征排名为3，并且将烤箱与TV之间的动作连续性特征排名为4。

电子装置106基于相关性特征的排名和与TV、扬声器、相机、烤箱和智能插头相关联的数据来生成一个或更多个语义动作。在示例中，语义动作可包括以下中的至少一个：在TV上继续来自扬声器的歌曲的建议、能量消耗限制通知、继续在TV上显示由相机最近捕获的运动源的建议、以及继续在TV上显示由烤箱的相机捕获的相机源的建议。电子装置106向用户推荐创建的用于操作TV的一个或更多个语义动作。电子装置106可通过在电子装置106的显示器/输出器208上将一个或更多个语义动作渲染为键盘覆盖的内容来推荐创建的一个或更多个语义动作。

图15a和图15b描绘了根据本文公开的实施例的控制IoT环境中的多个装置104a-104n中的一个装置的操作的另一示例用例场景。

考虑示例场景，其中，用户使用由电子装置106支持的UWB来指向TV(第一装置104a的示例)。在这样的场景中，电子装置106将TV识别为由用户指向的用于操作的装置。电子装置106获取包括扬声器、相机、具有内置相机的烤箱、AC、水传感器、智能插头和灯泡的装置的列表，并将来自装置的列表的扬声器、相机、烤箱和智能插头确定为针对TV的上下文相关装置(第二装置104b-104n)。电子装置106识别将从TV、扬声器、相机、烤箱和智能插头被收集的类型的数据。在示例中，将从装置被收集的类型的数据包括以下中的至少一个：装置的状态、装置的位置、装置的当前操作上下文(诸如，在扬声器上播放的内容、来自相机的运动和视频源、来自烤箱的相机源、以及来自智能插头的能量限制)。电子装置106在在线模式或离线模式下从TV、扬声器、相机、烤箱和智能插头收集识别的类型的数据。

在收集数据时，电子装置106针对扬声器、相机、烤箱和智能插头确定关于TV的具有动作连续性相关性指数的动作连续性特征、具有冲突解决相关性指数的冲突解决特征、以及具有故障解决相关性指数的故障解决特征。电子装置106将扬声器与TV之间的动作连续性特征排名为1，将智能插头与TV之间的冲突解决特征排名为2，将相机与TV之间的动作连续性特征排名为3，并且将烤箱与TV之间的动作连续性特征排名为4。

电子装置106基于相关性特征的排名和与TV、扬声器、相机、烤箱和智能插头相关联的数据来生成一个或更多个语义动作。在示例中，语义动作可包括以下中的至少一个：在TV上继续来自扬声器的歌曲的建议、能量消耗限制通知、继续在TV上显示由相机最近捕获的运动源的建议、以及继续在TV上显示由烤箱的相机捕获的相机源的建议。电子装置106向用户推荐创建的用于操作TV的一个或更多个语义动作。电子装置106可通过在电子装置106的显示器/输出器208上将一个或更多个语义动作渲染为键盘覆盖的内容来推荐创建的一个或更多个语义动作。

图16a和图16b描绘了根据本文公开的实施例的控制IoT环境中的多个装置104a-104n中的一个装置的操作的另一示例用例场景。

考虑示例场景，其中，用户使用由电子装置106支持的UWB指向第一灯泡(第一装置104a的示例)。在这种情况下，电子装置106将灯泡识别为由用户指向的用于操作的装置。电子装置106获取包括TV、扬声器、相机、具有内置相机的烤箱、AC、水传感器、智能插头和位于第一灯泡的相同位置的第二灯泡的装置的列表，并将来自装置的列表的TV、第二灯泡和智能插头确定为针对灯泡的上下文相关装置(第二装置104b-104n)。电子装置106识别将从第一灯泡、TV、第二灯泡和智能插头被收集的类型的数据。在示例中，将从装置被收集的类型的数据包括以下中的至少一个：装置的状态、装置的位置、装置的当前操作上下文(诸如，在TV上播放的内容、来自第二灯泡的状态和设置、以及来自智能插头的能量限制)。电子装置106在在线模式或离线模式下从第一灯泡、TV、第二灯泡和智能插头收集识别的类型的数据。

在收集数据时，电子装置106针对TV、第二灯泡和智能插头确定关于第一灯泡的具有设置相关性指数的设置建议特征。电子装置106将TV与灯泡之间的设置建议特征排名为1，并且将第二灯泡与第一灯泡之间的设置建议特征排名为2。

电子装置106基于相关性特征的排名以及与第一灯泡、TV、第二灯泡和智能插头相关联的数据来生成一个或更多个语义动作。在示例中，语义动作可包括以下中的至少一个：基于在TV上被播放的内容的针对第一灯泡的主题建议，和第二灯泡的设置(例如：变亮或变暗的设置)。电子装置106向用户推荐创建的用于操作第一灯泡的一个或更多个语义动作。电子装置106可通过在电子装置106的显示器/输出器208上将一个或更多个语义动作渲染为键盘覆盖的内容来推荐创建的一个或更多个语义动作。因此，基于装置104a-104n之间的相关性来控制IoT环境中的装置104a-104n可在控制装置的同时增强用户体验。

本文公开的实施例可通过至少一个软件程序运行在至少一个硬件装置上并且执行网络管理功能以控制元件来被实现。图1、图2和图3中所示的元件可以是硬件装置或硬件装置和软件模块的组合中的至少一个。

本文公开的实施例描述了用于控制IoT环境中的装置的操作的方法和系统。因此，应当理解，保护的范围扩展到这样的程序，并且除了其中具有消息的计算机可读装置之外，当程序在服务器或移动装置或任何合适的可编程装置上运行时，这样的计算机可读存储装置包含用于实现该方法的一个或更多个步骤的程序代码装置。该方法在优选实施例中通过或连同以例如超高速集成电路硬件描述语言(VHDL)另一种编程语言编写的软件程序被实现，或者由在至少一个硬件装置上被执行的一个或更多个VHDL或若干软件模块被实现。硬件装置可以是可被编程的任何种类的便携式装置。该装置还可包括器件，该器件可以是例如硬件器件(例如ASIC)，或硬件和软件器件的组合(例如ASIC和FPGA)，或至少一个微处理器和具有软件模块位于其中的至少一个存储器。本文描述的方法实施例可部分地以硬件被实现并且部分地以软件被实现。可选地，本发明可在不同的硬件器件上被实现，例如，使用多个CPU。

具体实施例的前述描述将如此充分地揭示本文中的实施例的一般性质，使得其他人可通过应用当前知识，在不脱离一般概念的情况下，容易地修改和/或适应这些具体实施例用于各种应用，并且因此，这些适应和修改应当并且旨在被理解在公开的实施例的等同物的含义和范围内。应当理解，本文采用的措辞或术语是出于描述而非限制的目的。因此，虽然本文的实施例已经以实施例的方式被描述，但是本领域技术人员将认识到，本文的实施例可在如本文所述的实施例的精神和范围内通过修改来被实践。

Claims (15)

1.一种用于控制物联网IoT环境中的装置的操作的方法，所述方法包括：

响应于用户将电子装置指向第一装置，由所述电子装置识别第一装置；

由所述电子装置确定与第一装置上下文相关的至少一个第二装置；以及

由所述电子装置基于第一装置的能力与所述至少一个第二装置的当前操作上下文之间的相关性来推荐用于控制所述至少一个第二装置和第一装置中的至少一个的至少一个操作的至少一个建议。

2.根据权利要求1所述的方法，其中，通过用户使用由所述电子装置支持的超宽带UWB来指向第一装置。

3.根据权利要求1所述的方法，其中，由所述电子装置确定所述至少一个第二装置，包括：

使用基于能力的装置聚类模型识别针对第一装置的至少第一组有关装置；

使用装置交互预测模型识别针对第一装置的至少一个第二组有关装置；

创建所述至少一个第一组有关装置和所述至少一个第二组有关装置的并集，其中，创建的并集是包括存在于所述至少一个第一组有关装置或所述至少一个第二组有关装置中的至少一个装置的集合；以及

将存在于所述第一组有关装置或所述至少一个第二组有关装置中的所述至少一个装置确定为与第一装置上下文相关的所述至少一个第二装置。

4.根据权利要求3所述的方法，其中，识别针对第一装置的所述至少一个第一组有关装置，包括：

从装置数据库获取在IoT环境中的注册装置的列表，其中，装置数据库包括由用户在IoT环境中部署每个装置时注册的装置的列表和相关联的能力；

使用装置数据库识别第一装置和每个注册装置的能力；以及

基于识别的第一装置和每个注册装置的能力来形成针对第一装置的装置的集群，其中，形成的装置的集群包括来自装置的列表的具有第一装置的类似能力的所述至少第一组有关装置。

5.根据权利要求3所述的方法，其中，识别针对第一装置的所述至少一个第二组有关装置，包括：

从装置数据库获取注册装置的列表；

使用装置数据库识别第一装置和每个注册装置的能力；

通过将每个装置的能力与第一装置的能力进行匹配，针对每个注册装置计算并分配关于第一装置的置信度得分；

从注册装置的列表中丢弃与小于装置交互阈值的置信度得分相关联的至少一个装置；以及

从注册装置的列表中将与大于或等于装置交互阈值的置信度得分相关联的至少一组装置识别为针对第一装置的所述至少一个第二组有关装置。

6.根据权利要求1所述的方法，其中，由所述电子装置推荐用于控制所述至少一个第二装置和第一装置中的至少一个的所述至少一个操作的所述至少一个建议，包括：

识别将从第一装置和所述至少一个第二装置被收集的类型的数据，其中，每个装置的数据对应于以下中的至少一个：对应装置的状态、内容、位置和当前操作上下文；

在在线模式或离线模式下从第一装置和所述至少一个第二装置收集识别的类型的数据；

基于从第一装置和所述至少一个第二装置收集的数据以及第一装置和所述至少一个第二装置的能力来确定第一装置与所述至少一个第二装置之间的相关性；以及

基于确定的第一装置与所述至少一个第二装置之间的相关性，推荐用于控制所述至少一个第二装置和第一装置中的至少一个的所述至少一个操作的所述至少一个建议。

7.根据权利要求6所述的方法，其中，识别将从第一装置和所述至少一个第二装置被收集的类型的数据，包括：

创建至少一个装置-能力对，其中，每个装置-能力对包括能力以及通过所述能力进行交互的所述至少一个第二装置和第一装置中的至少一个；

基于每个装置-能力对来查询装置能力映射数据库，其中，装置能力映射数据库包括所述能力中的每个能力与类型的数据的映射；以及

从装置能力映射数据库接收针对与所述至少一个第二装置和第一装置中的至少一个对应的每个能力将被收集的类型的数据。

8.根据权利要求6所述的方法，其中，在在线模式下从第一装置和所述至少一个第二装置收集识别的类型的数据，包括：

建立与IoT云服务器的会话，其中，IoT云服务器收集并且存储第一装置和所述至少一个第二装置的数据；

将指示第一装置和所述至少一个第二装置所需的类型的数据的数据请求发送到IoT云服务器；以及

从IoT云服务器接收第一装置和所述至少一个第二装置的指示的类型的数据。

9.根据权利要求6所述的方法，其中，在离线模式下从第一装置和所述至少一个第二装置收集识别的类型的数据，包括：

使用由所述电子装置、第一装置和所述至少一个第二装置支持的通信网络来建立与第一装置和所述至少一个第二装置的会话；

将指示类型的数据的数据请求发送到第一装置和所述至少一个第二装置；以及

响应于发送数据请求，从第一装置和所述至少一个第二装置接收指示的类型的数据。

10.根据权利要求6所述的方法，其中，确定第一装置与所述至少一个第二装置之间的相关性，包括：

基于第一装置和所述至少一个第二装置的能力以及从第一装置和所述至少一个第二装置收集的数据中的至少一个来确定多个相关性特征，其中，所述多个相关性特征包括以下中的至少一个：第一装置与所述至少一个第二装置之间的动作连续性特征、冲突解决特征、故障解决特征和屏幕智能特征。

11.根据权利要求10所述的方法，其中，确定第一装置与所述至少一个第二装置之间的动作连续性特征，包括：

基于候选相关联装置的标记数据集以及相关联的装置上下文和能力来训练动作连续性模型；以及

使用训练的动作连续性模型来处理第一装置和所述至少一个第二装置的能力和收集的数据，以确定第一装置与所述至少一个第二装置中的每个第二装置的动作连续性特征。

12.根据权利要求11所述的方法，还包括：

通过使用训练的动作连续性模型处理第一装置和每个第二装置的能力和收集的数据来针对所述至少一个第二装置中的每个第二装置确定关于第一装置的动作连续性相关性指数，其中，每个第二装置的动作连续性相关性指数指示在第一装置上继续所述第二装置中的每个第二装置的至少一个动作的概率。

13.根据权利要求10所述的方法，其中，确定第一装置与所述至少一个第二装置之间的冲突解决特征，包括：

基于至少一个预定义的冲突策略训练第一强化模型，以检测第一装置和所述至少一个第二装置的操作之间的至少一个冲突；以及

使用训练的第一强化模型处理从第一装置和所述至少一个第二装置中的每个第二装置收集的数据，以确定第一装置与所述至少一个第二装置中的每个第二装置之间的冲突解决特征，其中，冲突解决特征描绘第一装置和所述至少一个第二装置中的每个第二装置的操作之间的所述至少一个冲突。

14.根据权利要求13所述的方法，还包括：

通过使用训练的第一强化模型处理从第一装置和每个第二装置收集的数据来针对每个第二装置确定关于第一装置的冲突相关性指数，其中，针对每个第二装置确定的冲突相关性指数描绘第一装置和每个第二装置的操作之间的冲突概率。

15.一种电子装置，包括：

存储器；以及

控制器，耦接到所述存储器，被配置为进行以下操作：

响应于用户将所述电子装置指向第一装置，识别第一装置；

确定与第一装置上下文相关的至少一个第二装置；以及

基于第一装置的能力与所述至少一个第二装置的当前操作上下文之间的相关性，推荐用于控制所述至少一个第二装置和第一装置中的至少一个的至少一个操作的至少一个建议。