CN107534684B - 节点终端装置、显示装置、包括节点终端装置和显示装置的外围设备管理系统及其方法 - Google Patents

Abstract

一种外围设备管理系统包括节点终端装置和显示装置，该节点终端装置附接到外围设备并被配置为通过被配置为生成感测数据的传感器来检测所附接的外围设备的操作状态，该显示装置被配置为从节点终端装置接收感测数据，基于感测数据来确定外围设备的操作状态，并显示包含外围设备的操作状态的用户界面(UI)。因此，外围设备管理系统向可能不能支持IOT服务的外围设备提供物联网(IOT)服务。

Description

节点终端装置、显示装置、包括节点终端装置和显示装置的外 围设备管理系统及其方法

技术领域

与示例性实施例一致的装置和方法涉及一种用于提供物联网(IOT) 服务的节点终端装置、显示装置、包括节点终端装置和显示装置的外围设备管理系统及其方法。

背景技术

由于互联网的发展，已经开发了通过有线和无线互联网在电子设备之间发送和接收信号的物联网(IOT)服务。因此，现代电子设备支持用于IOT服务的通信模块、平台和服务功能，并且能够在电子设备之间共享信息。

然而，不支持用于IOT服务的通信模块、平台和服务功能的电子设备，即较旧的电子设备，可能无法使用IOT服务。

为了通过能够支持IOT服务的现代电子设备使用IOT服务，用于电子设备之间的IOT服务的协议应当彼此对应。如果能够支持IOT服务的电子设备没有安装兼容平台，则可能不会提供电子设备之间的 IOT服务。

发明内容

技术问题

示例性实施例可以克服以上缺点和上文未描述的其他缺点。此外，示例性实施例不需要克服以上描述的缺点，且示例性实施例可以不克服以上描述的任何问题。

一个或多个示例性实施例通过可能不能提供IOT服务的电子设备提供物联网(IOT)服务。

问题的解决方案

根据示例性实施例的一个方面，提供了一种外围设备管理系统，其包括节点终端装置和显示装置，节点终端装置附接到外围设备并被配置为通过传感器检测所附接的外围设备的操作状态以生成感测数据，显示装置被配置为从节点终端装置接收感测数据，基于感测数据来确定外围设备的操作状态，并显示包含外围设备的操作状态的用户界面(UI)。

显示装置可以根据节点终端装置的配对请求来执行与节点终端装置的配对，并且响应于从配对的节点终端装置接收到外围设备的感测数据，可以将接收的感测数据发送到外部服务器，从外部服务器接收外围设备的设备信息，并注册外围设备。

UI可以是包括与至少一个外围设备相对应的UI元素的外围设备 UI，并且显示装置可以将与注册在显示装置中的外围设备相对应的UI 元素添加到外围设备UI，并显示外围设备UI，以及可以将与注册的外围设备相对应的UI元素添加到外围设备UI，并基于UI元素的位置和确定的距离来显示外围设备UI。

显示装置可以根据用户命令来确定与注册的外围设备相对应的UI 元素在外围设备UI中的位置，并且基于附接到注册的外围设备的节点终端装置的信号强度来确定注册的外围设备的UI元素在外围设备UI中的相对距离。

显示装置可以在与节点终端装置所附接到的外围设备相对应的UI 元素上显示外围设备的操作状态。

显示装置可以利用动画效果在与节点终端装置所附接到的外围设备相对应的UI元素上显示外围设备的操作状态，或者在与节点终端装置所附接到的外围设备相对应的UI元素周围以消息弹出的形式来显示操作状态。

UI可以是用于指导节点终端装置所附接到的外围设备的操作状态的消息UI，并且响应于在显示图像内容期间从节点终端装置接收到感测数据，显示装置可以在图像内容上显示用于指导基于接收的感测数据所确定的操作状态的消息UI。

可以在用于显示图像内容的区域中的、用于显示与节点终端装置所附接到的外围设备相对应的UI元素的区域中，以弹出的形式来显示所述消息UI。

显示装置可以确定可与显示装置通信的用户终端装置在外围设备 UI上的位置，基于所确定的用户终端装置的位置和用户终端装置指向的方向，来改变包括与所述至少一个外围设备相对应的UI元素的外围设备UI以与用户终端装置的屏幕对应，并将外围设备UI发送给用户终端装置。

节点终端装置可以附接到外围设备的表面以及可从外围设备的表面拆卸，并且可以感测根据外围设备的操作状态生成的振动反馈和事件通知反馈中的至少一个，以在附接到外围设备的表面时生成感测数据。

显示装置可以向节点终端装置发送与基于感测数据确定的外围设备的操作状态相对应的控制信息，并且节点终端装置可以基于从显示装置接收的控制信息来控制节点终端装置所附接到的外围设备的操作。

根据另一示例性实施例的方面，提供了一种用于在包括节点终端装置和显示装置的外围设备管理系统中管理外围设备的方法，其包括：检测外围设备的操作状态以生成感测数据并通过附接到外围设备的节点终端装置向显示装置发送所生成的感测数据，以及从节点终端装置接收感测数据，基于感测数据确定外围设备的操作状态，并通过显示装置显示包含外围设备的操作状态的用户界面(UI)。

该方法还可以包括：由显示装置根据节点终端装置的配对请求来执行与节点终端装置的配对，并且响应于从配对的节点终端装置接收到外围设备的感测数据，由显示装置向外部服务器发送所接收的感测数据，从外部服务器接收外围设备的设备信息，并注册外围设备。

UI可以是包括与至少一个外围设备相对应的UI元素的外围设备 UI，并且所述显示可以包括：将与注册在显示装置中的外围设备相对应的UI元素添加到外围设备UI并显示外围设备UI。

该方法还可以包括：根据用户命令来确定与注册的外围设备相对应的UI元素在外围设备UI中的位置，并且基于附接到所注册的外围设备的节点终端装置的信号强度来确定注册的外围设备的UI元素在外围设备UI中的相对距离，其中，所述显示可以包括：将与所注册的外围设备相对应的UI元素添加到外围设备UI，并且基于UI元素的位置和确定的距离来显示外围设备UI。

所述显示可以包括：在与节点终端装置所附接到的外围设备相对应的UI元素上显示外围设备的操作状态。

所述显示可以包括：以动画效果在与节点终端装置所附接到的外围设备相对应的UI元素上显示外围设备的操作状态，或者在与节点终端装置所附接到的外围设备相对应的UI元素周围以消息弹出的形式来显示操作状态。

所述UI可以是用于指导节点终端装置所附接到的外围设备的操作状态的消息UI，并且所述显示可以包括：响应于在显示图像内容期间从节点终端装置接收到感测数据，在图像内容上显示用于指导基于接收的感测数据所确定的操作状态的消息UI。

可以在用于显示图像内容的区域中的、用于显示与节点终端装置所附接到的外围设备相对应的UI元素的区域中，以弹出的形式来显示所述消息UI。

该方法还可以包括：确定可与显示装置通信的用户终端装置的位置，基于所确定的用户终端装置的位置和用户终端装置指向的方向来改变包括与所述至少一个外围设备相对应的UI元素的外围设备UI以与用户终端装置的屏幕相对应，并且根据用户命令，由显示装置将外围设备 UI发送给用户终端装置。

节点终端装置可以附接到外围设备的表面并且可从外围设备的表面拆卸，并且所述生成可以包括：感测根据外围设备的操作状态生成的振动反馈和事件通知反馈中的至少一个，以在附接到外围设备的表面时生成感测数据。

该方法还可以包括：由显示装置向节点终端装置发送与基于感测数据确定的外围设备的操作状态相对应的控制信息，并且基于由节点终端装置从显示装置接收的控制信息来控制节点终端装置所附接到的外围设备的操作。

发明的有益效果

根据一个或多个示例性实施例，外围设备管理系统可以向可能不能支持IOT服务的外围设备提供IOT服务，并且可以通过IOT服务直观地向用户提供外围设备的操作状态。

附加的和/或其他方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过示例性实施例的实践来了解。

附图说明

在附图中示出了一个或多个示例性实施例，并在具体实施方式中进行详细描述。然而，应当理解的是，本公开不限于具体示例性实施例，而是在不脱离本公开的范围和精神的前提下包括所有修改、等同物和替代。另外，如果公知的功能或结构会以不必要的细节模糊本公开，则可能不会被详细描述。

下面将参考附图更详细地描述示例性实施例，其中：

图1是示出根据示例性实施例的外围设备管理系统的示例的图；

图2是示出根据示例性实施例的外围设备管理系统的过程的图；

图3是示出根据示例性实施例的在外围设备管理系统中获取附接到节点终端装置的外围设备的设备信息的示例的图；

图4是根据示例性实施例的节点终端装置的框图；

图5是根据示例性实施例的显示装置的框图；

图6A和图6B是示出根据示例性实施例的显示装置显示包含与每个外围设备相对应的UI元素的外围设备UI图像的示例的图；

图7是示出根据示例性实施例的显示装置显示外围设备UI图像的示例的图，其中在所述外围设备UI图像中，根据显示装置和外围设备之间的相对距离对与外围设备相对应的UI元素进行重新布置；

图8A和图8B是示出根据示例性实施例的显示装置注册节点终端装置的示例的图；

图9A和图9B是示出根据示例性实施例的显示装置在提供图像内容的同时可视地提供节点终端装置所附接到的外围设备的操作状态的示例的图；

图10是示出根据示例性实施例的显示装置通过外围设备UI可视地提供节点终端装置所附接到的外围设备的操作状态的示例的图；

图11是示出根据示例性实施例的显示装置确定用户终端装置的位置的示例的图；

图12A和图12B是示出根据示例性实施例的用户终端装置显示外围设备UI图像的示例的图；

图13是根据示例性实施例的由外围设备管理系统的显示装置注册节点终端装置的方法的流程图；

图14是根据示例性实施例的由显示装置管理节点终端装置所附接到的外围设备的方法的流程图；

图15是根据示例性实施例的用于控制附接到外围设备的节点终端装置的方法的流程图；

图16是根据示例性实施例的由显示装置将与外围设备相对应的 UI元素添加到外围设备UI的方法的流程图；以及

图17是根据示例性实施例的由显示装置向用户终端装置提供外围设备UI的方法的流程图。

具体实施方式

下面将参考附图更详细地描述示例性实施例。

本公开中使用的术语用于描述示例性实施例，但并不旨在限制本公开的范围。单数表达可以包括复数意义，除非另有明确说明。在本公开中，术语“包括”和“包含”表示特征、数字、步骤、操作、组件、元件或其组合的存在，但并不排除一个或多个其他特征、数量、步骤、操作、组件、元件或其组合的存在或添加它们的可能性。

根据一个或多个示例性实施例，“模块”或“单元”可以执行至少一个功能或操作，并且可以用硬件、软件或硬件和软件的组合来实现。此外，多个“模块”或多个“单元”可以集成到至少一个模块中，并且可以利用至少一个处理器来实现。

图1是示出根据示例性实施例的外围设备管理系统的示例的图。

外围设备管理系统可以包括节点终端装置100和显示装置200。这里，节点终端装置100可以附接到外围设备，可以通过传感器检测外围设备的操作状态，生成所检测的感测数据，并将生成的感测数据发送到显示装置200。显示装置200可以和与之配对的节点终端装置100进行数据通信，基于从节点终端装置100接收的感测数据来确定节点终端装置100所附接到的外围设备的操作状态，并基于所确定的操作状态显示包含外围设备的操作状态的用户界面(UI)图像，或者基于所确定的操作状态向节点终端装置100发送用于控制外围设备的操作的控制信号。如图1所示，多个电子设备可以位于家中的房间、厨房、客厅等中。在该示例中，多个电子设备中的空调10、冰箱20和洗衣机30是附接有节点终端装置100的外围设备，并且诸如智能电视机(TV)的显示装置200可以是与附接到每个外围设备的节点终端装置100进行数据通信的集线装置。

附接到诸如空调10的外围设备的节点终端装置100可以通过传感器检测空调10的操作状态，生成所检测的感测数据，并将感测数据发送到显示装置200。显示装置200可以基于从节点终端装置100接收的感测数据来识别空调10的操作状态，并显示包含空调10的操作状态的 UI。因此，用户可以通过显示装置200上显示的UI图像来检查空调10 当前是否正在操作。

显示装置200可以根据识别的操作状态向节点终端装置100发送用于控制空调10的操作的控制信息。响应于从显示装置200接收到控制信息，节点终端装置100可以基于接收的控制信息来控制空调10的操作。例如，附接有节点终端装置100的空调10可以通电或断电，或者可以根据节点终端装置100的控制命令来调整空调10的强度。

图2是示出根据示例性实施例的外围设备管理系统的过程的图。

如图2所示，响应于输入了配对请求命令(S110)，未在显示装置 200中注册的节点终端装置100可以请求显示装置200进行配对 (S115)。根据一个或多个示例性实施例，响应于从用户输入了通电命令，节点终端装置100可以向显示装置200发送用于配对请求的IR信号。

接收用于配对请求的IR信号的显示装置200可以基于接收的IR信号中包含的终端信息来确定发送IR信号的节点终端装置100是否注册在显示装置200中。根据确定结果，如果发送IR信号的节点终端装置 100注册在显示装置200中，则显示装置200可以基于接收的IR信号执行与节点终端装置100的配对。如果IR信号未被注册，则显示装置 200可以在基于接收的IR信号执行与节点终端装置100的配对的同时，存储所配对的节点终端装置100的终端信息，并且注册所配对的节点终端装置100(S120)。

当节点终端装置100和显示装置200之间的配对完成时，节点终端装置100可以感测节点终端装置100所附接到的外围设备的操作状态 (S125)。节点终端装置100可以感测以下项中的至少一个：根据节点终端装置100所附接到的外围设备的操作状态所生成的事件通知反馈、和诸如蜂鸣声之类的振动反馈。响应于感测到振动反馈和事件通知反馈中的至少一个，节点终端装置100可以生成感测数据并将感测数据发送到显示装置200(S130)。

响应于从节点终端装置100接收到感测数据，显示装置200可以确定是否存储了设备信息，所述设备信息包含针对每个操作状态的控制信息和与发送感测数据的节点终端装置100所附接到的外围设备有关的标识信息。根据确定结果，如果没有存储与节点终端装置100所附接到的外围设备有关的设备信息，则显示装置200可以将感测数据发送到物联网(IOT)外部服务器300(S135)。这里，外部服务器300可以存储包含根据多个相应外围设备的操作状态所生成的振动模式信息和指示事件发生的蜂鸣声模式信息在内的设备信息。

因此，外部服务器300可以基于针对多个外围设备中的每一个预先存储的设备信息来获取与从显示装置200接收的感测数据相关联的设备信息(S140)。例如，从显示装置200接收的感测数据可以是根据节点终端装置100所附接到的外围设备的操作状态而生成的振动反馈的检测信息。在这种情况下，外部服务器300可以将针对多个外围设备中的每一个预先存储的设备信息中所包含的振动模式信息与振动反馈的感测数据进行比较，并获取包含与感测数据具有类似模式的振动模式信息的设备信息。

响应于获取到设备信息，外部服务器300可以将获取的设备信息发送到显示装置200(S145)，并且显示装置200可以将发送操作状态信息的节点终端装置100的设备信息和从外部服务器300接收的设备信息进行匹配和存储(S150)。然而，示例性实施例不限于此。

显示装置200可以定期地从外部服务器300接收并存储预先存储在外部服务器300中的多个外围设备中每一个的设备信息，或者可以接收和存储多个外围设备中每一个的设备信息，无论设备信息是否被更新到外部服务器300。

在这种情况下，响应于从节点终端装置100接收到感测数据，显示装置200可以基于针对多个外围设备中的每一个预先存储的设备信息来获取与所接收的感测数据相关联的设备信息，并且将所获取的设备信息和对应节点终端装置100的终端信息进行匹配和存储。

图3是示出根据示例性实施例的在外围设备管理系统中获取附接到节点终端装置100的外围设备的设备信息的示例的图。

如图3所示，节点终端装置100可以感测节点终端装置100所附接到的外围设备的操作状态，并将感测的感测数据发送到显示装置200。

例如，节点终端装置100所附接到的外围设备可以是可从制造商 S获得的“V3”型洗衣机。当洗衣机执行洗涤操作时，附接到洗衣机的节点终端装置100可以根据洗涤操作检测在预设时间段内所生成的振动反馈，并将检测到的振动反馈的感测数据“A”发送到显示装置200。

响应于从节点终端装置100接收到感测数据“A”，未存储“V3”型洗衣机的设备信息的显示装置200可以将接收的感测数据“A”发送到外部服务器300。因此，外部服务器300可以从针对多个外围设备中的每一个预先存储的设备信息获取与感测数据“A”相关联的设备信息。

外部服务器300可以存储包含从可从每个制造商获得的每种型号的外围设备所生成的振动模式信息310和指示事件发生的蜂鸣声模式信息在内的设备信息。因此，外部服务器300可以将针对多个外围设备中的每一个的设备信息中所包含的振动模式信息与由节点终端装置100感测的洗衣机的振动数据的感测数据“A”进行比较，以获取具有与感测数据“A”类似的振动模式“a”的外围设备的设备信息。这里，针对感测数据“A”获取的设备信息可以包括以下项中的至少一个：制造商信息、外围设备的标识(型号)信息、根据对应外围设备的每个操作状态所生成的感测模式信息、与感测模式信息相对应的操作状态信息、以及用于针对每个操作状态控制外围设备的控制信息。这里，根据操作状态所生成的感测模式信息、操作状态信息和控制信息中的至少两个可以彼此匹配。

响应于获取到设备信息，外部服务器300可以将获取的设备信息发送到显示装置200，并且显示装置200可以将发送洗衣机的感测数据的节点终端装置100的终端信息和从外部服务器300接收的设备信息进行匹配和存储。

节点终端装置100可以是可拆卸终端装置。在这种情况下，节点终端装置100可以可拆卸地附接到多个外围设备。例如，节点终端装置 100可以可拆卸地附接到空调10和冰箱20。在这种情况下，通过上述操作，显示装置200可以存储关于节点终端装置100附接过的外围设备空调10的设备信息和关于节点终端装置100当前附接到的外围设备冰箱20的设备信息两者。也就是说，显示装置200可以将节点终端装置 100的终端信息和外围设备空调10的设备信息进行匹配和存储，或者将节点终端装置100的终端信息和外围设备冰箱20的设备信息进行匹配和存储。

尽管节点终端装置100的终端信息和节点终端装置100所附接到的外围设备的设备信息被存储在显示装置200中，但是节点终端装置 100可以感测或检测根据节点终端装置100所附接到的外围设备的操作状态所生成的振动反馈和事件通知反馈中的至少一个(S155)，并将感测的数据发送到显示装置200(S160)。

响应于接收到感测数据，显示装置200可以分析接收到的感测数据(S165)，以从接收到的感测数据中所包含的节点终端装置100的终端信息中识别节点终端装置100所附接到的外围设备，以获取对应外围设备的设备信息。然后，显示装置200可以从之前获取的设备信息中提取与感测数据类似的感测模式信息，并且获取与所提取的感测模式信息匹配并存储的操作状态信息。然后，显示装置200可以基于获取的操作状态信息显示UI图像(S170)，所述UI图像指示发送感测数据的节点终端装置100所附接到的外围设备的操作状态。因此，用户可以基于在显示装置200的屏幕上显示的UI图像来检查外围设备的当前操作状态。

显示装置200可以获取通过将感测数据和获取的操作状态信息进行匹配和存储所获得的、用于控制外围设备的操作的控制信息。响应于接收到用于控制外围设备的控制信息，显示装置200可以将所获取的控制信息发送到节点终端装置100。因此，节点终端装置100可以基于从显示装置200接收的控制信息来控制节点终端装置100所附接到的外围设备的操作。显示装置200可以显示用于指示对应外围设备的操作状态的UI图像，然后将与外围设备的操作状态相对应的控制信息发送到节点终端装置100(S175)。

图4是根据示例性实施例的节点终端装置100的框图。

如图4所示，节点终端装置100可以包括检测器110、通信单元 120(例如，通信接口)、处理器130、输入单元140(例如，输入接口) 和IR收发器150。

检测器110可以定期地感测根据节点终端装置100所附接到的外围设备的操作状态所生成的振动反馈和事件通知反馈中的至少一个。在一个或多个示例性实施例中，检测器110可以包括以下项中的至少一个：用于检测根据节点终端装置100所附接到的外围设备的操作状态所生成的振动反馈的加速度传感器、用于检测根据对应外围设备的操作状态所生成的蜂鸣声的语音识别传感器、以及用于检测周围环境的温度的温度传感器。

通信单元120可以和与之配对的显示装置200以无线方式执行数据通信，以将外围设备的操作状态发送到显示装置200，或者从显示装置200接收与外围设备的操作状态相对应的控制信息。在一个或多个示例性实施例中，通信单元120可以被实现为局域无线通信模块。这里，局域无线通信模块可以与位于局域内的显示装置200进行无线通信，并且可以包括蓝牙模块、近场通信(NFC)模块、Wi-Fi模块和Zigbee模块中的至少一个。

根据示例性实施例，处理器130可以是用于控制节点终端装置 100的操作的组件，可以与中央处理装置、微处理器、控制器等互换地使用，并且可以是用于控制节点终端装置100的总体操作的处理装置。处理器130可以与输入单元140和IR收发器150以及检测器110和通信单元120集成以实现为片上系统(SOC)或系统级芯片(So C)。

处理器130可以生成通过检测器110感测的感测数据，并且控制通信单元120将生成的感测数据发送到显示装置200。此外，响应于通过通信单元120接收到用于控制节点终端装置100所附接到的外围设备的操作的控制信息，处理器130可以基于接收的控制信息来控制对应外围设备的操作。这里，控制信息可以是针对节点终端装置100所附接到的外围设备的每个操作状态的控制信息中、用于针对发送到显示装置200 的感测数据控制对应外围设备的操作的信息。

响应于接收到控制信息，处理器130可以基于所接收的控制信息来控制IR收发器150发送用于控制外围设备的控制信号。因此，IR收发器150可以发送与处理器130的控制命令相对应的控制信号，并且节点终端装置100所附接到的外围设备可以基于通过节点终端装置100的 IR收发器150发送的控制信号执行操作。

如上所述，IR收发器150可以发送用于在节点终端装置100和显示装置200之间进行配对的IR信号，以及发送与用于控制节点终端装置100所附接到的外围设备的操作的控制命令相对应的IR信号。此外，输入单元140可以从用户接收通电命令、配对请求命令等。

根据示例性实施例，当节点终端装置100未注册在显示装置200 中时，节点终端装置100可以与显示装置200进行配对。响应于通过输入单元140输入了初始通电命令以向节点终端装置100的每个组件供电，处理器130可以控制IR收发器150发送用于与显示装置200配对的IR 信号。根据控制命令，IR收发器150可以发送用于与显示装置200配对的IR信号。因此，显示装置200可以基于从节点终端装置100接收的IR信号执行与节点终端装置100的配对，并且将配对的节点终端装置100注册并存储在显示装置200中。

根据另一示例性实施例，响应于通过输入单元140输入了配对请求命令，处理器130可以控制IR收发器150发送用于与显示装置200 配对的IR信号。根据控制命令，IR收发器150可以发送用于与显示装置200配对的IR信号。因此，显示装置200可以基于从节点终端装置 100接收的IR信号执行与节点终端装置100的配对，并且将配对的节点终端装置100注册并存储在显示装置200中。

当通过上述一系列操作完成节点终端装置100和显示装置200之间的配对时，附接到外围设备的一个表面的节点终端装置100可以通过检测器110感测根据外围设备的操作状态生成的振动反馈和事件通知反馈中的至少一个。响应于通过检测器110感测到根据外围设备的操作状态生成的振动反馈和事件通知反馈中的至少一个，处理器130可以控制通信单元120向显示装置200发送通过检测器110感测的感测数据。

响应于从显示装置200接收到用于控制发送感测数据的节点终端装置100所附接到的外围设备的操作的控制信息，处理器130可以基于接收的控制信息控制IR收发器150发送用于控制对应外围设备的操作的控制信号。因此，IR收发器150可以发送用于控制节点终端装置 100所附接到的外围设备的操作的控制信号，并且外围设备可以执行与所发送的控制信号相对应的操作。

图5是根据示例性实施例的显示装置200的框图。

如图5所示，显示装置200可以包括通信单元210(例如，通信接口)、处理器220和存储器230(例如，存储器)。

通信单元210可以与至少一个用户终端装置400或用于提供图像内容的内容服务器进行数据通信，以及与配对的节点终端装置100进行数据通信。在这种情况下，通信单元210可以包括局域通信模块211 (例如，局域通信接口)、诸如无线LAN模块的无线通信模块213(例如，无线接口)和连接器215，连接器215包括诸如高清多媒体接口 (HDMI)、通用串行总线(USB)和电气和电子工程师协会(IEEE) 1394之类的有线通信模块中的至少一个。

局域通信模块211可以是用于在显示装置200和节点终端装置100 之间进行无线局域通信的组件。局域通信模块211可以包括蓝牙模块、近场通信(NFC)模块、Wi-Fi模块和Zigbee模块中的至少一个。

无线通信模块213可以是根据诸如IEEE的无线通信协议连接到外部网络以执行通信的模块。此外，无线通信模块213还可以包括移动通信模块，该移动通信模块根据诸如第三代(3G)、第三代合作伙伴项目 (3GPP)和长期演进(LTE)之类的各种移动通信标准接入移动通信网络以进行通信。

通信单元210可以使用上述各种局域通信方法来实现，或者可以采用其他通信技术。

连接器215可以是用于提供与各种装置的接口的组件，诸如USB 2.0、USB 3.0、HDMI和IEEE 1394。连接器215可以根据处理器220 的控制命令通过连接到连接器215的有线电缆从内容服务器接收图像内容数据。此外，连接器215可以通过物理连接到连接器215的有线电缆从电源接收电力。

处理器220可以控制显示装置200的每个组件的总体操作。响应于通过通信单元210接收到由配对的节点终端装置100感测的感测数据，处理器220可以基于接收的感测数据中所包含的节点终端装置100的终端信息，从预先存储在存储器230中的多个设备的信息中获取对应节点终端装置100所附接到的外围设备的设备信息。然后，处理器220可以从之前获取的设备信息中提取与感测数据类似的感测模式信息，并且基于与所提取的感测模式信息匹配并存储的操作状态信息以及控制信息来显示用于指示外围设备的操作状态的UI图像，或者通过通信单元210 将用于控制对应外围设备的控制信息发送到节点终端装置100。

存储多个外围设备的设备信息的存储器230可以将之前注册的节点终端装置100的终端信息和对应节点终端装置100所附接到的外围设备的设备信息进行匹配和存储。外围设备的设备信息可以包括以下项中的至少一个：制造商信息、外围设备的标识(型号)信息、根据对应外围设备的每个操作状态生成的感测模式信息、与感测模式信息相对应的操作状态信息、以及用于针对每个操作状态控制外围设备的控制信息。根据操作状态生成的感测模式信息、操作状态信息和控制信息中的至少两个可以彼此匹配。

此外，存储器230可以由操作系统(OS)程序和用于控制显示装置200的操作的OS来管理，可以使用OS的资源来执行显示装置200 的操作，以及存储用于提供用户界面的应用程序。OS可以是由存储器230读取和编译的执行程序，并且在显示装置200开启时操作显示装置 200的每个组件。

此外，存储器230可以存储由处理器220处理的各种多媒体数据项、图像内容以及从诸如内容服务器的外部源接收的各种数据项。存储器230可以被实现为以下项中的至少一个：只读存储器(ROM)、随机存取存储器(RAM)、附接到显示装置200/从显示装置200拆卸的存储卡(例如，SD卡和记忆棒)、非易失性存储器、易失性存储器、硬盘驱动器(HDD)和固态驱动器(SSD)。

下面将更详细地描述上述处理器220。如上所述，响应于从配对的节点终端装置100接收到感测数据，处理器220可以基于接收的感测数据中所包含的终端设备来识别节点终端装置100所附接到的外围设备。也就是说，处理器220可以从预先存储在存储器230中的多个设备的信息中获取与包含在感测数据中的终端信息匹配并存储的设备信息，并且可以识别节点终端装置100所附接到的外围设备。

如上所述，外围设备的设备信息可以包括以下项中的至少一个：制造商信息、外围设备的标识(型号)信息、根据对应外围设备的每个操作状态生成的感测模式信息、与感测模式信息相对应的操作状态信息、以及用于针对每个操作状态控制外围设备的控制信息。此外，根据操作状态生成的感测模式信息、操作状态信息和控制信息中的至少两个可以彼此匹配并存储。

响应于获取到所识别的外围设备的设备信息，处理器220可以将接收的感测数据和包含在设备信息中的感测模式信息进行比较，以获取与感测数据类似的感测模式信息，并且从获取的感测模式信息获取与感测模式信息匹配的操作状态信息和控制信息中的至少一个。

响应于从获取的感测模式信息获取到操作状态信息，处理器220 可以基于所获取的操作状态信息来控制显示器240显示用于对发送感测数据的节点终端装置100所附接到的外围设备的操作状态加以指示的 UI图像。根据这样的控制命令，显示器240可以显示用于指示外围设备的操作状态的UI图像。因此，用户可以基于在显示装置200的屏幕上显示的UI图像来检查外围设备的当前操作状态。

响应于从感测模式信息获取到控制信息，处理器220可以将通过通信单元210之前获取的控制信息发送到发送感测数据的节点终端装置 100。因此，节点终端装置100可以基于从显示装置200接收的控制信息来控制节点终端装置100所附接到的外围设备的操作。

根据示例性实施例，节点终端装置100可以附接到空调10，并且可以检测空调10的操作状态。在空调10根据用户命令执行制冷操作时，附接到空调10的节点终端装置100可以在预设时间段内感测根据空调 10的制冷操作所生成的振动反馈。在这种情况下，节点终端装置100 还可以感测周围温度。节点终端装置100可以将与感测的振动反馈和感测的周围温度值有关的感测数据发送到显示装置200。因此，处理器 220可以从预先存储在存储器230中的多个设备的信息中获取与包含在接收的感测数据中的终端信息匹配并存储的设备信息。

响应于获取到空调10的设备信息，处理器220可以将包含在接收的感测数据中的振动反馈与包含在之前获取的设备信息中的感测模式信息进行比较，以获取与振动反馈类似的感测模式信息，并且基于与所获取的感测模式信息匹配的操作状态信息来确定空调10执行制冷操作。因此，处理器220可以基于与之前获取的感测模式信息匹配的操作状态信息，通过显示器240显示用于指示空调10执行制冷操作的UI图像。

空调10的设备信息可以包括默认温度值或用户设定的温度值。因此，处理器220可以将包含在接收的感测数据中的周围温度值与预设温度值进行比较，以确定周围温度值是否等于或小于预设温度值。根据确定结果，如果周围温度值等于或小于预设温度值，则处理器220可以向节点终端装置100发送设备信息中所包含的针对空调10的每个操作状态的控制信息之中用于使空调10断电的操作的控制信息或用于增强对空调10设定的温度值的操作的控制信息。在这种情况下，处理器220 可以基于与用于增强空调10的温度值的控制信息相匹配的操作状态信息，在显示器240上显示用于指示对空调10的温度设定进行调整的UE图像。

响应于从显示装置200接收到控制信息，节点终端装置100可以根据从显示装置200接收的控制信息，向节点终端装置100所附接到的空调10发送用于断电的控制信号，或者向空调10发送用于将空调10 中设定的温度值设定为等于或大于周围值的控制信号。

如图5所示，显示装置200还可以包括显示器240、IR收发器250 和输入单元260。

显示器240可以显示从诸如内容服务器的外部源接收并由处理器 220进行信号处理的图像内容。如上所述，显示器240可以显示用于指示外围设备的操作状态的UI图像。这里，UI可以是包括UI元素的外围设备UI，所述UI元素分别与之前注册的节点终端装置100所附接到的多个外围设备相对应。因此，显示器240可以显示外围设备的UI图像，其包含分别与多个外围设备相对应的UI元素。显示器240可以被实现为液晶显示器(LCD)、有机发光显示器(OLED)、等离子体显示面板(PDP)等。如果输入单元260被实现为触摸板，则显示器240可以以与作为触摸板的输入单元260一起构成层间结构的触摸屏的形式来实现。

IR收发器250可以从遥控装置接收用于控制显示装置200的操作的控制信号，并且处理器220可以基于通过IR收发器250从遥控装置接收的控制信号来控制显示装置200的操作。此外，IR收发器250可以从未注册的节点终端装置100接收用于配对请求的IR信号。响应于接收到IR信号，处理器220可以在基于接收的IR信号执行与节点终端装置100的配对以注册所配对的节点终端装置100的同时，存储所配对的节点终端装置100的终端信息。

当根据节点终端装置100的配对请求完成与对应节点终端装置 100的配对时，处理器220可以控制显示器240显示对应节点终端装置 100的操作指导消息。这里，操作指导消息可以是用于将配对的节点终端装置100附接到外围设备的指导信息。因此，显示器240可以显示用于将配对的节点终端装置100附接到外围设备的操作指导消息，使得用户根据显示的操作指导消息将节点终端装置100附接到外围设备。

根据示例性实施例，附接到外围设备的节点终端装置100可以感测根据对应外围设备的操作状态生成的振动反馈和事件通知反馈中的至少一个，并将生成的感测数据发送到显示装置200。响应于从配对的节点终端装置100接收到感测数据，处理器220可以从预先存储在存储器 230中的多个外围设备的设备信息中确定是否存储了与包含在接收的感测数据中的终端信息相关的设备信息。根据确定结果，如果未存储设备信息，则处理器220可以将接收的感测数据发送到外部服务器300。

然后，响应于从外部服务器300接收到发送感测数据的节点终端装置100所附接到的外围设备的标识信息和设备信息，存储器230可以根据处理器220的控制命令，将发送感测数据的节点终端装置100的终端信息和从外部服务器300接收的设备信息进行匹配和存储。输入单元 260可以是用于接收各种用户操作并将用户操作转发到处理器220的输入元件，并且可以被实现为输入面板。输入面板可以被配置为以下至少一种形式：触摸板、包括各种功能键、数字键、字符键等的键盘和触摸屏。

根据示例性实施例，指示外围设备的操作状态的UI可以是包含与至少一个外围设备相对应的UI元素的外围设备UI。控制显示器240显示外围设备UI的处理器220可以根据通过输入单元260输入的用户命令来确定与在外围设备UI中之前注册的每个外围设备相对应的UI元素的位置。然后，处理器220可以基于从附接到外围设备的每个节点终端装置100接收的信号的强度来确定显示装置200和每个节点终端装置 100之间的相对距离。

处理器220可以根据所确定的显示装置200与每个节点终端装置 100之间的相对距离来控制显示器240重新布置与节点终端装置100所附接到的各个外围设备相对应的多个UI元素的位置，并显示包含多个重新布置的UI元素的外围设备UI图像。因此，显示器240可以根据所确定的显示装置200与每个节点终端装置100之间的距离来显示包含多个重新布置的UI元素的外围设备UI图像。

当通过这样的一系列操作注册了新的节点终端装置100和附接有该新的节点终端装置100的外围设备时，处理器220可以控制显示器 240将与所注册的外围设备相对应的UI元素添加到外围设备UI，并显示外围设备UI。

在一个或多个示例性实施例中，处理器220可以根据通过输入单元260输入的用户命令来确定与注册的外围设备相对应的UI元素在外围设备UI中的位置。处理器220可以基于附接到注册的外围设备的节点终端装置100的信号强度来确定与注册的外围设备相对应的UI元素在外围设备UI中的相对距离。根据示例性实施例，显示器240可以基于由处理器220确定的在外围设备UI图像上的位置和距离来添加并显示与所注册的外围设备相对应的UI元素。

同样地，响应于在显示包含与各个之前注册的外围设备相对应的 UI元素在内的外围设备UI图像的同时从节点终端装置100接收到感测数据，处理器220可以基于所接收的感测数据，控制显示器240将外围设备的操作状态显示为与节点终端装置100所附接到的外围设备相对应的UI元素。

响应于从附接到之前注册的外围设备的节点终端装置100接收到对应外围设备的感测数据，处理器220可以控制显示器240在用于显示多个UI元素中与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素的区域中可视地显示与感测数据相关联的事件发生情况。

根据示例性实施例，响应于从附接到之前注册的外围设备的节点终端装置100接收到对应外围设备的感测数据，处理器220可以控制显示器240根据动画效果在与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素上显示与接收的感测数据相关联的外围设备的操作状态。

根据控制命令，显示器240可以在与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素上显示应用了动画效果的外围设备UI图像，该UI图像与和感测数据相关联的外围设备的操作状态相对应。

根据示例性实施例，响应于基于从节点终端装置100接收的感测数据获取到对应节点终端装置100所附接到的外围设备的设备信息，处理器220可以将所获取的设备信息中包含的针对每个操作状态的感测模式信息和感测数据进行比较，以获取与感测数据相关联的感测模式信息。处理器220可以获取与所获取的感测模式信息匹配并存储的外围设备的操作状态信息。处理器220可以基于所获取的操作状态信息来控制显示器240将指示外围设备的操作状态的动画效果应用于与对应外围设备相对应的UI元素。

因此，显示器240可以在对发送感测数据的节点终端装置100所附接到的外围设备加以指示的UI元素上显示应用了动画效果的外围设备UI图像。

因此，用户可以从应用于UI元素的动画效果检查每个外围设备的当前操作状态，所述UI元素包含在显示于显示装置200的屏幕上的外围设备UI图像中。

根据另一示例性实施例，响应于从之前注册的外围设备所附接到的节点终端装置100接收到对应外围设备的感测数据，处理器220可以使得显示器240在与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素周围通过消息弹出来显示与接收的感测数据相关联的外围设备的操作状态。

根据控制命令，显示器240可以以弹出消息的形式在外围设备UI 图像上，在用于显示与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素的区域周围显示与和感测数据相关联的外围设备的操作状态相对应的消息。响应于从附接到之前注册的外围设备的节点终端装置100接收到对应外围设备的感测数据，处理器220可以基于包含在接收的感测数据中的终端信息，获取节点终端装置100所附接到的外围设备的设备信息。

处理器220可以将接收的感测数据与包含在之前获取的设备信息中的针对每个操作状态的感测模式信息进行比较，以获取与感测数据相关联的感测模式信息。处理器220可以获取与所获取的感测模式信息匹配并存储的外围设备的操作状态信息。处理器220可以基于所获取的操作状态信息来控制显示器240在与对应外围设备相对应的UI元素周围以弹出的形式显示用于指示外围设备的操作状态的消息。

因此，显示器240可以在用于显示对发送感测数据的节点终端装置100所附接到的外围设备加以指示的UI元素的区域中显示外围设备 UI图像，该外围设备UI图像包含用于指示对应外围设备的操作状态的消息。因此，用户可以通过在显示装置200的屏幕上显示的外围设备 UI图像上以弹出消息的形式所显示的消息来检查每个外围设备的当前操作状态。

根据示例性实施例，包含外围设备的操作状态的UI可以是用于指导节点终端装置100所附接到的外围设备的操作状态的消息。在这种情况下，响应于在通过显示器240显示图像内容期间从节点终端装置100 接收到感测数据，处理器220可以在用于显示图像内容的图像上显示与接收的感测数据相关联的外围设备的操作状态的消息UI。

根据示例性实施例，响应于在显示图像内容期间从节点终端装置 100接收到感测数据，处理器220可以基于接收的感测数据中所包含的终端信息来获取节点终端装置100所附接到的外围设备的设备信息。然后，处理器220可以将接收的感测数据与包含在之前获取的设备信息中的针对每个操作状态的感测模式信息进行比较，以获取与感测数据相关联的感测模式信息。然后，处理器220可以获取与所获取的感测模式信息匹配并存储的外围设备的操作状态信息。然后，处理器220可以基于所获取的操作状态信息来控制显示器240在用于显示图像内容的图像上显示用于指示外围设备的操作状态的消息UI。

因此，显示器240可以将用于指示外围设备的操作状态的消息UI 显示为重叠在用于显示图像内容的图像上。

根据另一示例性实施例，响应于在显示图像内容期间从节点终端装置100接收到感测数据，处理器220可以执行上述一系列操作以获取与所接收的感测数据相关联的外围设备的操作状态信息。处理器220可以控制显示器240以弹出的形式在用于显示图像内容的区域之中的用于显示与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素的区域上显示与之前获取的操作状态信息相关联的消息UI。

根据控制命令，显示器240可以在用于显示图像内容的区域之中的用于显示与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素的区域上以弹出的形式显示消息UI。

根据示例性实施例，处理器220可以基于外围设备UI图像上可与显示装置200通信的用户终端装置400的位置和用户终端装置400所指向的方向，来将包含与至少一个外围设备相对应的UI元素的外围设备 UI图像改变为与用户终端装置400的屏幕相对应，并将改变后的UI图像发送给用户终端装置400。因此，用户终端装置400可以显示从显示装置200接收的外围设备UI图像，使得即使用户位于没有显示装置 200来提供外围设备UI图像的地方，用户也能通过移动的用户终端装置400来检查每个外围设备的当前操作状态。

下面将详细描述根据一个或多个示例性实施例的由显示装置200 显示包含对节点终端装置100所附接到的每个外围设备加以指示的UI 元素的外围设备UI图像的操作。

图6A和图6B是示出根据示例性实施例的显示装置200显示包含与每个外围设备相对应的UI元素的外围设备UI图像的示例的图。

显示装置200可以生成外围设备UI图像，并且在屏幕上显示外围设备UI图像，所述外围设备UI图像包含与节点终端装置100所附接到的多个外围设备中的每一个相对应的UI元素。

如图6A所示，响应于输入了外围设备UI图像的生成命令，显示装置200可以显示分割图像，所述分割图像用于选择用于定位节点终端装置100所附接到的每个外围设备的区域。显示装置200可以显示相对于显示装置200划分为九个区域的分割图像。响应于在显示划分为九个区域的分割图像期间输入了对节点终端装置100所附接到的外围设备的选择命令，显示装置200可以在与输入的选择命令相对应的区域中显示用于对节点终端装置100所附接到的每个外围设备加以指示的UI元素。

如图6B所示，根据用户的选择命令，显示装置200可以生成外围设备UI图像，并且可以显示外围设备UI图像，所述外围设备UI图像包含相对于显示装置200在区域④中指示外围设备空调10的UI元素 610、在区域③中指示外围设备冰箱20的UI元素620、以及在区域⑨中指示外围设备洗衣机30的UI元素630。

当用于显示与节点终端装置100所附接到的每个外围设备相对应的UI元素的位置被确定时，显示装置200可以根据显示装置200与节点终端装置100所附接到的外围设备之间的相对距离来重新布置与每个外围设备相对应的UI元素。

图7是示出根据示例性实施例的显示装置200显示外围设备UI图像的示例的图，其中在所述外围设备UI图像中，根据显示装置200与外围设备之间的相对距离对与外围设备相对应的UI元素进行重新布置。

如上所述，在显示装置200中，可以确定用于显示与节点终端装置100所附接到的各个外围设备相对应的UI元素的区域。

如图7所示，相对于显示装置200，可以确定与外围设备空调10 相对应的UI元素710显示在区域④中，可以确定与外围设备冰箱20相对应的UI元素720显示在区域③中，以及可以确定与外围设备洗衣机 30相对应的UI元素730显示在区域⑨中。类似地，当用于显示与节点终端装置100所附接到的各个外围设备相对应的UI元素710至730的位置被确定时，显示装置200可以使用接收信号强度指示器(RSSI) 测量从附接到每个外围设备的节点终端装置100接收的信号的强度。

从节点终端装置100接收的信号可以是BT信号(例如，蓝牙信号)，并且BT信号可以包括感测数据。也就是说，节点终端装置100 可以检测附接到节点终端装置100的外围设备的操作状态，并且通过 BT信号将生成的感测数据发送到显示装置200。然而，示例性实施例不限于此，并且每个节点终端装置100可以根据显示装置200的请求共同发送BT信号。

根据示例性实施例，显示装置200可以通过RSSI测量从附接到每个外围设备的节点终端装置100接收的BT信号的强度，并且基于所测量的强度重新布置指示每个外围设备的UI元素。例如，在空调10、冰箱20和洗衣机30中，相对于显示装置200，冰箱20可以位于最靠近显示装置200的位置，而洗衣机30可以位于距离显示装置200最远的位置。在这种情况下，附接到外围设备冰箱20的节点终端装置100的信号强度可以测量为最高，而附接到外围设备洗衣机30的节点终端装置100的信号强度可以测量为最低。因此，如图7所示，显示装置200 可以通过如下方式显示包含多个重新布置的UI元素的外围设备UI图像：将位于区域③中的指示外围设备冰箱20的UI元素720重新布置为最靠近显示装置200；以及将位于区域⑨中的指示外围设备洗衣机30的UI 元素730重新布置为距离显示装置200最远。

因此，用户可以通过由显示装置200显示的外围设备UI图像中包含的UI元素，更直观地识别每个外围设备的位置和距显示装置200的距离。

图8A和图8B是示出根据示例性实施例的显示装置200注册节点终端装置的示例的图。

如上所述，响应于根据未注册节点终端装置100的配对请求完成了与对应节点终端装置100的配对，显示装置200可以在屏幕上显示操作指导消息以将配对的节点终端装置100适当地附接到外围设备。

如图8A所示，响应于与节点终端装置100的配对完成，显示装置 200可以显示外围设备的列表UI图像810。响应于在显示列表UI图像 810期间选择了为冰箱的外围设备811，显示装置200可以基于所选择的冰箱的外围设备811的设备特性信息来显示“将其附接到把手”的指导消息820。

根据示例性实施例，在冰箱的情况下，可以实时地执行制冷操作。因此，显示装置200可以根据冰箱的设备特性信息来显示“将其附接到把手”的指导消息820，并且用户可以根据所显示的指导消息820将节点终端装置100附接到冰箱的把手。因此，附接到冰箱的把手的节点终端装置100可以感测冰箱的振动反馈以生成感测的感测数据，并将感测数据发送到显示装置200。

根据示例性实施例，响应于接收的感测数据被发送到外部服务器 300并且从外部服务器300接收到节点终端装置100所附接到的冰箱的设备信息，显示装置200可以将附接到冰箱的节点终端装置100的终端信息和从外部服务器300接收的设备信息进行匹配和存储。

如图8B所示，响应于在显示列表UI图像810期间选择了为洗衣机的外围设备813，显示装置200可以基于所选择的洗衣机的外围设备 813的设备特性信息来显示“将其附接到前表面然后通电”的指导消息 830。

根据示例性实施例，在洗衣机的情况下，洗衣机仅执行用于洗涤操作的操作。因此，显示装置200可以根据洗衣机的设备特性来显示“将其附接到前表面然后通电”的指导消息830，并且用户可以根据所显示的指导消息830将节点终端装置100附接到洗衣机的前表面并将洗衣机通电。当洗衣机通电并输出指示洗衣机通电的蜂鸣声时，附接到洗衣机前表面的节点终端装置100可以感测与从洗衣机输出的蜂鸣声相关的事件通知反馈，并将感测的感测数据发送到显示装置200。

因此，响应于接收的感测数据被发送到外部服务器300并且从外部服务器300接收到关于节点终端装置100所附接到的洗衣机的设备信息，显示装置200可以将附接到洗衣机的节点终端装置100的终端信息和从外部服务器300接收的设备信息进行匹配和存储。

图9A和图9B是示出根据示例性实施例的显示装置200在提供图像内容的同时可视地提供节点终端装置100所附接到的外围设备的操作状态的示例的图。

根据示例性实施例，显示装置200可以在图像内容的图像期间从附接到之前注册的外围设备的节点终端装置100接收对应外围设备的感测数据。同样地，响应于在显示图像内容期间接收到感测数据，显示装置200可以在当前显示图像内容的屏幕上以弹出的形式显示用于对与接收的感测数据相关联的外围设备的操作状态加以指示的消息UI 910，如图9A所示。

根据另一示例性实施例，响应于在显示图像内容期间接收到感测数据，显示装置200可以在用于显示图像内容的屏幕中的、用于显示与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素的区域中，以弹出的形式显示用于对与感测数据相关联的外围设备的操作状态加以指示的消息UI。

例如，可以从附接到冰箱20、洗衣机30和空调10中的每个外围设备的节点终端装置100接收感测数据。在这种情况下，如图9B所示，显示装置200可以在用于显示图像内容的屏幕中的、用于显示与冰箱 20、洗衣机30和空调10中的每个外围设备相对应的UI元素的区域中，显示“冰箱门打开”的消息UI 920、“洗涤完成”的消息UI 930、以及“空调停止”的消息UI 940。

图10是示出根据示例性实施例的显示装置200通过外围设备UI 可视地提供节点终端装置100所附接到的外围设备的操作状态的示例的图。

如图10所示，显示装置200可以显示控制图像UI图像，其包含指示外围设备空调10的UI元素1010、指示外围设备冰箱20的UI元素1020、以及指示外围设备洗衣机30的UI元素1030。

根据示例性实施例，响应于在显示控制图像UI图像期间从附接到洗衣机30的节点终端装置100接收到感测数据，显示装置200可以基于接收的感测数据向指示外围设备洗衣机30的UI元素1030应用动画效果。

根据示例性实施例，当洗衣机30进行漂洗和脱水操作时，洗衣机 30可以产生不同的振动。因此，附接到洗衣机30的节点终端装置100 可以从根据每个操作生成的振动感测不同的振动反馈，并将根据每个操作感测的感测数据发送到显示装置200。

响应于从洗衣机30进行漂洗操作时生成的振动接收到感测的感测数据，显示装置200可以基于接收的感测数据显示外围设备UI图像，该外围设备UI图像是通过将低振动的动画效果应用于指示外围设备洗衣机30的UI元素1031而形成的。响应于从洗衣机30进行脱水操作时生成的振动接收到感测的感测数据，显示装置200可以基于接收的感测数据显示外围设备UI图像，该外围设备UI图像是通过将高振动的动画效果应用于指示外围设备洗衣机30的UI元素1033而形成的。

因此，用户可以根据在用于显示在显示装置200上显示的外围设备UI图像的每个UI元素的区域中所显示的指导消息或应用于每个UI 元素的动画效果，来直观地检查每个外围设备的操作状态。

下面将更详细地描述由用户终端装置400提供显示装置200的外围设备UI图像的操作。

图11是示出根据示例性实施例的显示装置200确定用户终端装置 400的位置的示例的图。图12A和图12B是示出根据示例性实施例的用户终端装置400显示外围设备UI图像的示例的图。

如图11所示，显示装置200可以在与外围设备UI图像相对应的虚拟空间上识别可与显示装置200通信(例如，被配置为与显示装置200 通信)的用户终端装置400的位置。

可与附接到至少两个外围设备的节点终端装置100和用户终端装置400通信的显示装置200可以根据用户终端装置400的请求向用户终端装置400发送BT信号。因此，响应于从附接到至少两个外围设备的节点终端装置100和显示装置200接收到BT信号，用户终端装置400 可以使用RSSI来测量每个接收的BT信号的强度。然后，用户终端装置400可以向显示装置200发送对针对每个设备测量的BT信号的强度值加以指示的信号信息和关于由用户终端装置400指示的方向的方向信息。

响应于接收到信号信息和方向信息，显示装置200可以基于所接收的信号信息和向用户终端装置400发送BT信号的至少两个节点终端装置100中每一个的外围设备的位置信息，来识别用户终端装置400相对于显示装置200的位置。这里，在关于图6A、图6B和图7的外围设备UI图像上注册与外围设备相对应的UI元素的操作期间，发送BT信号的至少两个节点终端装置100中的每一个所附接到的外围设备的位置信息可以被预先存储在显示装置200中。

根据示例性实施例，显示装置200可以基于从用户终端装置400 接收的信号信息和向用户终端装置400发送BT信号的至少两个节点终端装置100的位置信息，执行三角测量以识别用户终端装置400相对于显示装置200的位置。用于执行三角测量的技术可以基于从用户终端装置400接收的信号信息和向用户终端装置400发送BT信号的至少两个节点终端装置100的位置信息。

响应于识别出用户终端装置400的位置，显示装置200可以基于所识别的用户终端装置400的位置和从用户终端装置400接收的方向信息，生成通过转换与每个外围设备相对应的UI元素的UI元素位置而形成的外围设备UI，并将外围设备UI发送给用户终端装置400。

例如，显示装置200可以确定：在通过相对于显示装置200划分图像而获得的九个区域中，用户终端装置400位于区域①中。此外，显示装置200可以确定：用户终端装置400基于显示装置200指向东方向。

根据示例性实施例，显示装置200可以基于用户终端装置400所在的区域和用户终端装置400所指向的方向，来对包含在外围设备UI 图像中的与每个外围设备相对应的UI元素的位置进行转换。也就是说，显示装置200可以将在区域④中显示的与外围设备空调10相对应的UI 元素1110转换为在用户终端装置400的底部中间区域中显示。此外，显示装置200可以将在区域③中显示的与外围设备冰箱20相对应的UI 元素1120转换为在用户终端装置400的左上方区域中显示。此外，显示装置200可以将在区域⑨中显示的与外围设备洗衣机30相对应的UI 元素1130转换为位于用户终端装置400的右上方区域中。

响应于基于用户终端装置400的位置和方向生成了通过转换每个 UI元素的位置而获得的外围设备UI图像，显示装置200可以向用户终端装置400发送通过转换每个UI元素的位置而获得的外围设备UI图像。

因此，如图12A所示，用户终端装置400可以显示从显示装置 200接收的外围设备UI图像。

也就是说，用户终端装置400可以基于用户终端装置400相对于显示装置200的区域和指向方向来显示外围设备UI图像，该外围设备 UI图像包含：在底部中间区域中与外围设备空调10相对应的UI元素 1210，在左上方区域中与外围设备冰箱20相对应的UI元素1220，以及在右上方区域中与外围设备洗衣机30相对应的UI元素1230。

响应于在显示外围设备UI图像期间从附接到每个外围设备的节点终端装置100接收到外围设备的感测数据，用户终端装置400可以在如下区域中显示与感测数据相关联的消息：所述区域用于显示多个UI元素中与发送感测数据的节点终端装置100所附接到的外围设备相对应的 UI元素。

如图12B所示，用户终端装置400可以根据从附接到每个外围设备的节点终端装置100接收的感测数据来显示外围设备UI图像，该外围设备UI图像包含：在用于显示空调10的区域中的“空调停止”的消息1210′，在用于显示冰箱20的区域中的“冰箱门打开”的消息1220′，以及在用于显示洗衣机30的区域中的“洗涤完成”的消息1230′。

以上，详细说明了根据示例性实施例的构成外围设备管理系统的节点终端装置100和显示装置200的组件。以下，将详细描述根据示例性实施例的用于在包括节点终端装置100和显示装置200的外围设备管理系统中管理外围设备的方法。

图13是根据示例性实施例的由外围设备管理系统的显示装置200 注册节点终端装置100的方法的流程图。

响应于从未注册在显示装置200中的节点终端装置100接收到用于配对请求的IR信号(S1310)，显示装置200可以基于接收的IR信号执行与节点终端装置100的配对，并将配对的节点终端装置100注册在显示装置200中(S1320)。

响应于与节点终端装置100的配对，显示装置200可以显示对应节点终端装置100的操作指导消息(S1330)。操作指导消息可以是用于将配对的节点终端装置100附接到外围设备的指导信息。因此，用户可以根据在显示装置200的屏幕上显示的操作指导消息将节点终端装置 100附接到外围设备。

然后，显示装置200可以从附接到外围设备的节点终端装置100 接收通过感测根据节点终端装置100所附接到的外围设备的操作状态所生成的振动反馈和事件通知反馈中的至少一个而获得的感测数据 (S1340)。响应于从配对的节点终端装置100接收到感测数据，显示装置200可以将接收的感测数据发送到外部服务器300(S1350)。响应于从外部服务器300接收到包含发送感测数据的节点终端装置100所附接到的外围设备的标识信息在内的设备信息和针对每个操作状态的控制信息(S1360)，显示装置200可以将发送感测数据的节点终端装置100的终端信息和外部服务器300的设备信息进行匹配和存储(S1370)。

响应于从配对的节点终端装置100接收到根据节点终端装置100 所附接到的外围设备的操作状态所感测的感测数据，显示装置200可以从包含在所接收的感测数据中的节点终端装置100的终端信息识别节点终端装置100所附接到的外围设备，并获取对应外围设备的设备信息。然后，显示装置200可以从所获取的设备信息中提取与感测数据类似的感测模式信息，并且基于与所提取的感测模式信息匹配的操作状态信息来显示指示外围设备的操作状态的UI图像。此外，显示装置200可以向节点终端装置100发送与所获取的关于感测数据的操作状态信息相匹配并存储的用于控制外围设备的操作的控制信息。因此，节点终端装置100可以基于从显示装置200接收的控制信息来控制节点终端装置100 所附接到的外围设备的操作。

图14是根据示例性实施例的由显示装置200管理节点终端装置 100所附接到的外围设备的方法的流程图。

如图14所示，显示装置200可以从附接到外围设备的节点终端装置100感测对应外围设备的操作状态，并接收感测的感测数据(S1410)。响应于接收到感测数据，显示装置200可以分析接收的感测数据 (S1420)，并且显示用于指示节点终端装置100所附接到的外围设备的操作状态的UI图像(S1430)。然后，显示装置200可以向节点终端装置100发送关于对应外围设备的操作状态的、用于控制外围设备的控制信息(S1440)。因此，节点终端装置100可以基于从显示装置200接收的控制信息来控制节点终端装置100所附接到的外围设备的操作。

根据示例性实施例，响应于从附接到外围设备的节点终端装置100接收到根据外围设备的操作状态感测的感测数据，显示装置200可以基于接收的感测数据中所包含的终端信息来识别节点终端装置100所附接到的外围设备。显示装置200可以从预先存储的多个外围设备中每一个的设备信息获取接收的感测数据中所包含的设备信息，并识别节点终端装置100所附接到的外围设备。这里，外围设备的设备信息可以包括以下项中的至少一个：制造商信息、外围设备的标识(型号)信息、根据对应外围设备的每个操作状态生成的感测模式信息、与感测模式信息相对应的操作状态信息、以及用于针对每个操作状态控制外围设备的控制信息。这里，根据操作状态生成的感测模式信息、操作状态信息和控制信息中的至少两个可以彼此匹配。

根据示例性实施例，响应于获取到所识别的外围设备的设备信息，显示装置200可以将接收的感测数据与包含在设备信息中的感测模式信息进行比较，以获取与感测数据类似的感测模式信息。然后，显示装置 200可以从获取的感测模式信息中获取与感测模式信息匹配的控制信息和操作状态信息中的至少一个。

响应于关于接收的感测数据获取的外围设备的操作状态信息，显示装置200可以基于获取的操作状态信息来显示用于指示发送感测数据的节点终端装置100的操作状态的UI图像。此外，显示装置200可以向发送感测数据的节点终端装置100发送关于接收的感测数据获取的控制信息。因此，节点终端装置100可以基于从显示装置200接收的控制信息来控制节点终端装置100所附接到的外围设备的操作。

指示上述外围设备的操作状态的UI可以是包含分别与之前注册的外围设备相对应的UI元素的外围设备UI。因此，显示装置200可以显示包含分别与之前注册的外围设备相对应的UI元素的外围设备UI图像。响应于在显示外围设备UI图像期间从附接到之前注册的外围设备的节点终端装置100接收到对应外围设备的感测数据，显示装置200可以在用于显示多个UI元素中与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素的区域中可视地显示与感测数据相关联的事件发生情况。

根据示例性实施例，响应于从附接到之前注册的外围设备的节点终端装置100接收到对应外围设备的感测数据，显示装置200可以在与发送感测数据的节点终端装置100所附接到的外围设备相对应的UI元素上，以动画效果显示与接收的感测数据相关联的外围设备的操作状态。

根据另一示例性实施例，响应于从附接到之前注册的外围设备的节点终端装置100接收到对应外围设备的感测数据，显示装置200可以在与发送感测数据的节点终端装置100所附接到的外围设备相对应的 UI元素周围，以弹出消息的形式显示与接收的感测数据相关联的外围设备的操作状态。

根据示例性实施例，包含外围设备的操作状态的UI可以是用于指导节点终端装置100所附接到的外围设备的操作状态的消息UI。在这种情况下，响应于在显示图像内容期间从节点终端装置100接收到感测数据，显示装置200可以在用于显示图像内容的屏幕图像上显示与和接收的感测数据相关联的外围设备的操作状态相关联的消息UI。

根据示例性实施例，响应于在显示图像内容期间从节点终端装置 100接收到感测数据，显示装置200可以基于包含在接收的感测数据中的终端信息来识别节点终端装置100所附接到的外围设备。显示装置 200可以基于所识别的外围设备的设备信息和所接收的感测数据来获取对应外围设备的操作状态信息，并且基于所获取的操作状态信息，在用于显示图像内容的屏幕图像上显示用于指示外围设备的操作状态的消息 UI。因此，显示装置200可以将用于显示图像内容的屏幕图像上的用于指示外围设备的操作状态的消息UI显示为重叠在用于显示图像内容的图像上。

根据另一示例性实施例，响应于在显示图像内容期间从节点终端装置100接收到感测数据，显示装置200可以执行上述一系列操作以获取所识别的外围设备的操作状态信息。然后，显示装置200可以在用于显示图像内容的区域中的、用于显示与发送感测数据的节点终端装置 100所附接到的外围设备相对应的UI元素的区域上，以弹出的形式显示与之前获取的操作状态信息相关联的消息UI。

显示装置200可以基于从节点终端装置100接收的感测数据，在外围设备UI图像或用于显示图像内容的屏幕图像上可视地提供对应节点终端装置100所附接到的外围设备的操作状态，使得用户通过显示装置200直观地检查每个外围设备的当前操作状态。

图15是根据示例性实施例的用于控制附接到外围设备的节点终端装置100的方法的流程图。

如图15所示，响应于输入了初始通电命令或输入了针对配对请求的用户命令，节点终端装置100可以发送用于与显示装置200配对的 IR信号(S1510)。当与显示装置200配对并且然后附接到外围设备时，节点终端装置100可以感测根据所附接的外围设备的操作状态生成的振动反馈和事件通知反馈中的至少一个(S1520)。然后，节点终端装置 100可以向显示装置200发送包含所感测的感测数据的操作状态信息 (S1530)。

然后，节点终端装置100可以确定是否从显示装置200接收到发送操作状态信息的节点终端装置100所附接到的外围设备的控制信息 (S1540)。根据确定结果，响应于接收到外围设备的控制信息，节点终端装置100可以基于接收的控制信息来控制节点终端装置100所附接到的外围设备的操作(S1550)。响应于从显示装置200接收到外围设备的控制信息，节点终端装置100可以基于接收的控制信息向外围设备发送用于控制节点终端装置100所附接到的外围设备的操作的IR信号。因此，外围设备可以执行与从节点终端装置100接收的IR信号相对应的操作。

下面将详细描述由显示装置200将与新注册的外围设备相对应的 UI元素添加到外围设备UI的方法。

图16是根据示例性实施例的由显示装置200将与外围设备相对应的UI元素添加到外围设备UI的方法的流程图。

当通过图13的示例性操作注册外围设备和附接到外围设备的节点终端装置100时，显示装置200可以根据用户命令显示包含与预先存储的外围设备相对应的UI元素的外围设备UI图像(S1610)。

响应于在显示外围设备UI图像期间输入了用于将与新注册的外围设备相对应的UI元素添加到外围设备UI图像上的用户命令(S1620)，可以将外围设备UI区域中与用户命令相对应的区域确定为与新注册的外围设备相对应的UI元素的位置(S1630)。

显示装置200可以基于从附接到新注册的外围设备的节点终端装置100接收的信号的强度，来确定与对应外围设备相对应的UI元素和显示装置200之间的相对距离(S1640)。从节点终端装置100接收的信号可以是BT信号，并且可以在用于注册初始外围设备的操作期间根据显示装置200的请求被接收，或者从节点终端装置100被接收。

显示装置200可以基于与新注册的外围设备相对应的UI元素的位置和距离，将与新注册的外围设备相对应的UI元素添加到外围设备UI 图像，并显示外围设备UI图像(S1650)。

根据示例性实施例，响应于在显示包含与每个之前注册的外围设备相对应的UI元素的外围设备UI图像期间从节点终端装置100接收到感测数据，显示装置200可以基于接收的感测数据，在与节点终端装置 100所附接到的外围设备相对应的UI元素上显示外围设备的操作状态。

以下，将详细描述通过可与显示装置200通信的用户终端装置 400提供由显示装置200显示的外围设备UI的方法。

图17是根据示例性实施例的由显示装置200向用户终端装置400 提供外围设备UI的方法的流程图。

如图17所示，显示装置200可以从可与显示装置200通信的用户终端装置400接收信号信息以及由用户终端装置400指示的方向的方向信息(S1710)。这里，信号信息可以是指示针对每个设备测量的BT信号的信号强度值的信息。

可与附接到至少两个外围设备的节点终端装置100和用户终端装置400通信的显示装置200可以根据用户终端装置400的请求向用户终端装置400发送BT信号。因此，响应于从附接到至少两个外围设备的节点终端装置100和显示装置200接收到BT信号，用户终端装置400 可以使用RSSI来测量每个接收的BT信号的强度。用户终端装置400 可以向显示装置200发送指示针对每个设备测量的BT信号的强度值的信号信息和由用户终端装置400指示的方向的方向信息。

响应于接收到信号信息和方向信息，显示装置200可以基于接收的信号信息和发送BT信号的至少两个节点终端装置100中的每一个所附接到的外围设备的位置信息来确定用户终端装置400相对于显示装置 200的位置(S1720)。

显示装置200可以基于之前确定的用户终端装置400的位置和从用户终端装置400接收的方向信息，生成通过对与每个外围设备相对应的UI元素的位置进行转换而获得的外围设备UI(S1730)，并将生成的外围设备UI发送到用户终端装置400(S1740)。

因此，用户终端装置400可以显示从显示装置200接收的外围设备UI图像。根据示例性实施例执行的处理可以以非暂时性计算机可读介质中的程序的形式来存储，并且非暂时性计算机可读介质可以是不临时存储数据的介质(例如，寄存器、缓存和内存)，而是半永久地存储数据并且可被设备读取。此外，上述应用或程序可以存储在诸如压缩盘 (CD)、数字视频盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和只读存储器(ROM)等非暂时性计算机可读介质中。

上述示例性实施例仅仅是示例性的，而不应被解释为限制本公开。本发明的教导能够易于应用于其他类型的装置。此外，对示例性实施例的描述意在说明性的，而不应限制权利要求的范围，并且多种备选、修改和变型对于本领域技术人员将是清楚的。

Claims (14)

1.一种外围设备管理系统，包括：

节点终端装置；以及

显示装置，被配置为响应于从节点终端装置接收到感测数据，从预存储的设备信息中获取与接收到的感测数据有关的设备信息，并基于所获取的设备信息来显示指示外围设备的操作状态的用户界面UI，

其中，节点终端装置在使用时能够附接到外围设备的表面并从外围设备的表面拆卸，并且被配置为感测根据外围设备的操作状态所生成的振动反馈和事件通知反馈中的至少一个以生成感测数据，

其中，设备信息包括根据外围设备的操作所生成的多个反馈的信息，

其中，显示装置被配置为：

将接收到的感测数据与包括在设备信息中的所述多个反馈进行比较，

基于比较的结果来识别外围设备的操作状态，以及

响应于外围设备的设备信息未被存储，将感测数据发送到外部服务器，并且响应于从外部服务器接收到关于外围设备的设备信息，存储接收到的设备信息，

其中，外围设备不能与显示装置通信，节点终端装置能够与显示装置通信。

2.根据权利要求1所述的外围设备管理系统，其中，显示装置根据节点终端装置的配对请求来执行与节点终端装置的配对，并且响应于从配对的节点终端装置接收到外围设备的感测数据，注册外围设备。

3.根据权利要求2所述的外围设备管理系统，其中：

所述UI是包括与至少一个外围设备相对应的UI元素的外围设备UI；以及

显示装置将与注册在显示装置中的外围设备相对应的UI元素添加到所述外围设备UI，并显示所述外围设备UI，以及将与所注册的外围设备相对应的UI元素添加到所述外围设备UI，并基于UI元素的位置和确定的距离来显示所述外围设备UI。

4.根据权利要求3所述的外围设备管理系统，其中，显示装置根据用户命令来确定与注册的外围设备相对应的UI元素在所述外围设备UI中的位置，并且基于附接到所注册的外围设备的节点终端装置的信号强度来确定注册的外围设备的UI元素在所述外围设备UI中的相对距离。

5.根据权利要求3所述的外围设备管理系统，其中，显示装置在与节点终端装置所附接到的外围设备相对应的UI元素上显示外围设备的操作状态。

6.根据权利要求5所述的外围设备管理系统，其中，显示装置以动画效果在与节点终端装置所附接到的外围设备相对应的UI元素上显示外围设备的操作状态，或者在与节点终端装置所附接到的外围设备相对应的UI元素周围以消息弹出的形式显示操作状态。

7.根据权利要求1所述的外围设备管理系统，其中：

所述UI是用于指导节点终端装置所附接到的外围设备的操作状态的消息UI；以及

响应于在显示图像内容期间从节点终端装置接收到感测数据，显示装置在图像内容上显示用于指导基于接收的感测数据所确定的操作状态的消息UI。

8.根据权利要求7所述的外围设备管理系统，其中，在用于显示图像内容的区域中用于显示与节点终端装置所附接到的外围设备相对应的UI元素的区域中，以弹出的形式显示所述消息UI。

9.根据权利要求3所述的外围设备管理系统，其中，显示装置确定能够与显示装置通信的用户终端装置在所述外围设备UI上的位置，基于所确定的用户终端装置的位置和用户终端装置指向的方向，来改变包括与所述至少一个外围设备相对应的UI元素的外围设备UI以与用户终端装置的屏幕相对应，并将所述外围设备UI发送到用户终端装置。

10.根据权利要求1所述的外围设备管理系统，其中：

显示装置向节点终端装置发送与基于感测数据确定的外围设备的操作状态相对应的控制信息；以及

节点终端装置基于从显示装置接收的控制信息来控制节点终端装置所附接到的外围设备的操作。

11.一种用于在包括节点终端装置和显示装置的外围设备管理系统中管理外围设备的方法，所述方法包括：

显示装置响应于从节点终端装置接收到感测数据，从预存储的设备信息中获取与接收到的感测数据有关的设备信息；以及

显示装置基于所获取的设备信息来显示指示外围设备的操作状态的用户界面UI；以及

附接能够附接到外围设备的表面并从外围设备的表面拆卸的节点终端装置，以感测根据外围设备的操作状态所生成的振动反馈和事件通知反馈中的至少一个，从而生成感测数据；

其中，设备信息包括根据外围设备的操作所生成的多个反馈的信息，

显示装置将接收到的感测数据与包括在设备信息中的所述多个反馈进行比较，并基于比较的结果来识别外围设备的操作状态，

响应于外围设备的设备信息未被存储，显示装置将感测数据发送到外部服务器，并且响应于从外部服务器接收到关于外围设备的设备信息，存储接收到的设备信息，

其中，外围设备不能与显示装置通信，节点终端装置能够与显示装置通信。

12.根据权利要求11所述的方法，还包括：

由显示装置根据节点终端装置的配对请求来执行与节点终端装置的配对；以及

响应于从配对的节点终端装置接收到外围设备的感测数据，注册外围设备。

13.根据权利要求12所述的方法，其中：

所述UI是包括与至少一个外围设备相对应的UI元素的外围设备UI；以及

所述显示包括：将与注册在显示装置中的外围设备相对应的UI元素添加到所述外围设备UI，并显示所述外围设备UI。

14.根据权利要求13所述的方法，还包括：

根据用户命令来确定与注册的外围设备相对应的UI元素在所述外围设备UI中的位置；以及

基于附接到所注册的外围设备的节点终端装置的信号强度来确定注册的外围设备的UI元素在所述外围设备UI中的相对距离，

其中，所述显示包括：将与所注册的外围设备相对应的UI元素添加到所述外围设备UI，并且基于UI元素的位置和确定的距离来显示所述外围设备UI。

Images