CN116917847A - 根据图像中到最近设备的距离显示数据的聚合 - Google Patents

Abstract

一种系统(1)被配置为获得由相机捕获的图像(73)。该图像捕获场景和场景中的至少一个设备(31，32)。该系统被进一步配置为：确定从相机到至少一个设备中最近设备(31)的距离；基于该距离选择设备级别或组级别；以及，在设备级别被选择的情况下显示仅与最近设备相关联的数据，或者在组级别被选择的情况下显示与设备组相关联的数据的聚合(82)。设备组包括最近设备。数据被显示在场景的视图(例如图像自身)旁边且/或覆盖在场景的视图上。

Description

根据图像中到最近设备的距离显示数据的聚合

技术领域

本发明涉及一种用于显示与至少一个设备相关联的数据的系统，所述数据被显示在场景的视图旁边且/或覆盖在场景的视图上，所述场景包括所述至少一个设备。

本发明进一步涉及一种显示与至少一个设备相关联的数据的方法，所述数据被显示在场景的视图旁边且/或覆盖在场景的视图上，所述场景包括所述至少一个设备。

本发明还涉及一种使得计算机系统能够执行这样的方法的计算机程序产品。

背景技术

既然建筑物中越来越多的设备连接到网络，越来越多的设备能够向其他设备提供数据。例如，可以远程地获得设备的设置并且越来越多的传感器数据正变得可用。不仅独立传感器设备的数量在增加，而且包含传感器的其他设备的数量也在增加。例如，先进的照明系统包括多个检测装置以检测用户存在、活动、房间使用、环境条件(例如环境光水平和/或温度)。因此，这样的系统可以收集大量数据，这些数据可以提供给诸如设施经理、店主、清洁工和酒店经理之类的用户。

由于诸如这些先进的照明系统之类的越来越多的系统收集大量数据，因此使用户难以选择他们需要的数据。需要解决方案，该解决方案使得对用户而言访问该用户需要的数据是容易的。增强现实(AR)是一种用于允许用户获得关于真实世界对象的信息的用户友好技术。

US10，796，487B2公开了一种增强现实系统，其通过用上下文信息增强用户的真实世界视图来提供增强现实体验。AR应用可以确定应该为用户的当前视场中映射的对象/节点中的一个、一个以上提供增强，或者不为其中任何一个提供增强。在一个实施例中，AR应用可以确定不为在视场中但远离用户超过阈值距离的映射对象提供增强。用户可以通过关注节点标记或通过发出语音命令来选择特定节点。

然而，US10，796，487B2没有解决用户获得与单个设备不相关的数据的需求。

发明内容

本发明的第一目的是提供一种系统，其可以使用增强现实在除设备级别之外的级别上显示与相机的视场中的设备相关的数据。

本发明的第二目的是提供一种方法，其可以使用增强现实在除设备级别之外的级别上显示与相机的视场中的设备相关的数据。

在本发明的第一方面中，一种用于显示与至少一个设备相关联的数据的系统包括至少一个输入接口、至少一个输出接口、以及至少一个处理器，所述数据被显示在场景的视图旁边且/或覆盖在场景的视图上，所述场景包括所述至少一个设备，该至少一个处理器被配置为：经由所述至少一个输入接口获得由相机捕获的图像，所述图像捕获所述场景和所述至少一个设备；确定从所述相机到所述至少一个设备中最近设备的距离；基于所述距离选择设备级别或组级别；以及通过经由所述至少一个输出接口在所述设备级别被选择的情况下显示仅与所述最近设备相关联的数据或者在所述组级别被选择的情况下显示与设备组相关联的数据的聚合来显示所述数据，所述设备组包括所述最近设备。

此增强现实系统既可以在设备级别上显示数据，也可以在组级别上显示数据。在组级别上，显示与多个设备相关的数据聚合。基于从相机到视场中最近设备的距离选择级别。通过改变它们的位置和相机取向，用户可以选择他们是想要获取与个体设备相关的数据还是与设备组相关的聚合数据。例如，所述显示的数据可以包括与所述最近设备相关联的或与所述设备组相关联的传感器数据。

例如，所述最近设备可以是照明设备。所述至少一个处理器可以被配置为：通过获得由所述最近设备经由调制光通信传送的标识符来识别所述最近设备，并且基于所述标识符获得所述数据。可见光源和/或不可见光源可以用于传送标识符。例如，可以使用红外LiFi传输标识符。可替换地或另外，所述数据可以经由调制光通信获得。

所述至少一个处理器可以被配置为：通过执行图像识别并基于所述图像识别的结果获得所述最近设备的标识符来识别所述最近设备，并且基于所述标识符获得所述数据。例如，可以从捕获的图像中提取特征并将其与已知设备的特征和/或由已知照明设备呈现的当前光效果的特征进行比较。当设备或照明设备的光效果在图像中被认出时，可以获得相关联的标识符。例如，可以在图像中认出呈现粉红色光设置的HueGo(飞利浦Hue Go灯)。

图像识别的结果可以与位置信息组合。例如，如果在图像中认出HueGo，但厨房中已经安装了一个HueGo且客厅中已经安装了另一个HueGo，那么检测到系统存在于厨房中使得在厨房中识别HueGo成为可能。在许多类似设备的情况下(例如办公室天花板中的灯具)，系统需要更准确的位置(和取向)信息并且设备的定位需要更精确地被了解(例如从建筑信息模型获得)。

所述至少一个处理器可以被配置为：在确定所述距离不超过第一距离阈值的情况下选择所述设备级别。所述至少一个处理器可以被配置为进一步基于在所述图像中捕获的设备的数量选择所述设备级别或所述组级别。例如，所述至少一个处理器可以被配置为：确定在所述图像中捕获的设备的数量，并且在所述距离被确定为超过所述第一距离阈值且所述数量被确定为大于1的情况下默认选择所述组级别。

所述至少一个处理器可以被配置为：在至少一个另外的设备在所述图像中被捕获的情况下，确定从所述相机到所述至少一个设备的第二最近设备的第二距离，并且进一步基于所述第二距离选择所述设备级别或所述组级别。在这种情况下，可以选择设备级别，即使到最近设备的距离超过第一距离阈值。

所述至少一个处理器可以被配置为：计算所述距离和所述第二距离之间的差异，并且在所述差异被确定为超过差异阈值的情况下选择所述设备级别。在这种情况下，如果到最近设备的距离超过第一距离阈值但第二最近设备比最近设备远得多，选择设备级别而不是组级别。如果到最近设备的距离超过第一距离阈值并且到最近设备和第二最近设备的距离差别不大，那么选择组级别。该组至少包括最近设备和第二最近设备，并且典型地包括在图像中捕获的所有设备。因此，当用户被认为有意捕获图像中的设备组时，选择该(第一)组级别。

所述至少一个处理器可以被配置为：在所述距离和第二距离被确定为超过所述第一距离阈值并且不超过第二距离阈值的情况下，选择所述组级别，所述组进一步包括所述第二最近设备。因此，当用户被认为有意捕获图像中的设备组时，选择该(第一)组级别，但无需确定距离之间的差异。如果到最近设备的距离超过第一距离阈值并且到第二最近设备的第二距离超过第二距离阈值，那么选择设备级别。

所述至少一个处理器可以被配置为：确定所述最近设备是否与未在所述图像中捕获的至少一个其他设备形成组，并且在所述距离被确定为超过所述第一距离阈值、所述第二距离被确定为超过所述第二距离阈值或除所述最近设备之外没有另外的设备在所述图像中被捕获、以及所述最近设备被确定为与所述至少一个其他设备形成所述组的情况下，选择所述组级别，所述组进一步包括所述至少一个其他设备。例如，所述至少一个其他设备可以具有与所述最近设备相同的类型且/或位于与所述最近设备相同的空间中。

如果无法确定第二距离(因为在图像中没有捕获另外的设备)，可能没必要选择设备级别；或者如果第二距离超过第二距离阈值，可能没必要选择上述第一组级别。相反，如果到最近设备的距离超过第一距离阈值并且最近设备与未在图像中捕获的至少一个其他设备形成组，那么在这些情况下可以选择第二组级别。例如，可以显示与房间中的所有设备相关的聚合数据。在这种情况下，第二组级别也被称作房间级别。

至少一个处理器可以被配置为：不仅从一个设备级别和一个组级别中进行选择，而且从设备级别和多个组级别中进行选择。是选择第一组级别还是第二组级别可以取决于例如在图像中捕获的设备的数量和/或从相机到这些设备中的至少一些的距离。针对第二组级别显示的数据类型可以与针对第一组级别显示的数据类型不同。

如上所述，相同组中的设备可以具有相同的类型且/或位于相同的空间中，但是也可以使用其他分组标准。可以区分用户定义的分组标准和系统定义的分组标准。作为前者的示例，用户可能能够对房间中和区域中的灯进行分组，其中区域包括来自房间的灯的子集。例如，“电视区域”组可以是“客厅”组的一部分。在这种情况下，如果用户将相机对准作为客厅和电视区域二者的部分的一些照明设备，系统可以决定示出区域或房间级别信息。基于房间的组还可以包括分配给它的其他连接的设备，例如存在传感器和/或物理光控制。

系统定义的组可以是静态的或动态的。例如，可以基于设备类型(例如，如果在视图中捕获两个聚光灯，系统可能仅为区块中存在的聚光灯提供组信息，而不为其他类型的固定设施提供组信息)或基于位置(有点类似于用户定义的基于房间的分组，但使用关于灯光如何分组的不同的启发法；这对于具有多功能和开放区域的智能建筑物而言是特别有益的)来确定静态组。可以基于在图像中捕获的设备中的至少一个的状态实时确定动态组。例如，如果图像捕获两个接通的照明设备，那么系统可能提供关于附近也接通的所有设备的信息。

所述至少一个处理器可以被配置为：确定所述最近设备是否与未在所述图像中捕获的至少一个其他设备形成组；并且在所述距离被确定为超过第三距离阈值并且所述最近设备被确定为与所述至少一个其他设备形成所述组的情况下，选择所述组级别，所述组进一步包括所述至少一个其他设备。因此，可以选择第二组级别，即使至少一个处理器未被配置为确定第二距离。第三距离阈值可以与第一距离阈值相同或不同。

例如，当距离超过第一距离阈值但不超过第三距离阈值时(在图像中捕获另外的设备的条件下)，可以选择第一组级别，并且当距离超过第一距离阈值和第三距离阈值二者时(在最近设备与图像中未捕获的至少一个其他设备形成组的条件下)，可以选择第二组级别。

可替换地或另外，可以根据图像中捕获的设备的数量进行第一组级别和第二组级别之间的选择。例如，如果到最近设备的距离超过第一距离阈值并且在图像中捕获超过一定数量的设备，可以选择第二组级别(例如房间级别)。如果到最近设备的距离超过第一距离阈值并且在图像中捕获不超过一定数量的设备，可以选择第一组级别。

所述至少一个处理器可以被配置为：在所述距离被确定为超过所述第三距离阈值、除所述最近设备之外没有另外的设备被确定为在所述图像中被捕获、并且所述最近设备被确定为与所述至少一个其他设备形成所述组的情况下，进一步基于用户偏好选择所述设备级别或所述组级别。如果在图像中没有捕获除所述最近设备之外的另外的设备并且最近设备相对较远，那么在设备级别将被选择的情况下一些用户可能更喜欢它，而在第二组级别(例如房间级别)将被选择的情况下(在最近设备与图像中未捕获的至少一个其他设备形成组的条件下)，其他用户可能更喜欢它。因此，让用户提供用户偏好可能是有益的。

所述至少一个处理器可以被配置为呈现所述所选级别的指示。例如，可以提供关于当前级别(设备或组)的清晰反馈。该反馈可以是视觉的(例如显示在场景视图旁边且/或覆盖在场景视图上)，或者可以是听觉的(例如如果在数据可视化期间，用户改变AR设备距离/视角)。听觉反馈可以指示所选级别的变化。

在本发明的第二方面中，一种显示与至少一个设备相关联的数据的方法，包括：获得由相机捕获的图像，所述图像捕获所述场景和所述至少一个设备；确定从所述相机到所述至少一个设备中最近设备的距离；基于所述距离选择设备级别或组级别；以及在选择了所述设备级别的情况下通过显示仅与所述最近设备相关联的数据或者在选择了所述组级别的情况下通过显示与设备组相关联的数据的聚合来显示所述数据，所述设备组包括所述最近设备，所述数据被显示在场景的视图旁边且/或覆盖在场景的视图上，所述场景包括所述至少一个设备。所述方法可以通过在可编程设备上运行的软件来执行。该软件可以作为计算机程序产品提供。

此外，提供了一种用于实施本文描述的方法的计算机程序以及一种存储该计算机程序的非暂时性计算机可读存储介质。计算机程序可以例如被现有设备下载或被上传到现有设备，或者在制造这些系统时被存储。非暂时性计算机可读存储介质存储至少一个软件代码部分，该软件代码部分在由计算机执行或处理时被配置为执行用于显示与至少一个设备相关联的数据的可执行操作，所述数据被显示在场景的视图的旁边且/或覆盖在场景的视图上，所述场景包括所述至少一个设备。

可执行操作包括：获得由相机捕获的图像，所述图像捕获所述场景和所述至少一个设备；确定从所述相机到所述至少一个设备中最近设备的距离；基于所述距离选择设备级别或组级别；以及通过在选择了所述设备级别的情况下显示仅与所述最近设备相关联的数据或者在选择了所述组级别的情况下显示与设备组相关联的数据的聚合来显示所述数据，所述设备组包括所述最近设备。

如本领域技术人员将理解的，本发明的各方面可以体现为设备、方法或计算机程序产品。相应地，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包含固件、驻留软件、微代码等)或结合软件和硬件方面的实施例的形式，所有这些软件和硬件方面在本文中通常可以被称为“电路”、“模块”或“系统”。本公开中描述的功能可以实现为由计算机的处理器/微处理器执行的算法。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该介质具有在其上体现(例如存储)的计算机可读程序代码。

可以利用一种或多种计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备，或上述的任何适当组合。计算机可读存储介质的更具体的示例可以包括但不限于下述：具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或上述的任何适当组合。在本发明的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备使用的或与指令执行系统、装置或设备结合使用的程序的任何有形介质。

计算机可读信号介质可以包括传播的具有体现在其中的计算机可读程序代码的数据信号，例如在基带中或作为载波的一部分传播的数据信号。这样的传播信号可以采取多种形式中的任何形式，包括但不限于电磁、光学或其任何适当的组合。计算机可读信号介质可以是并非计算机可读存储介质并且可以传达、传播或输送供指令执行系统、装置或设备使用或与之结合使用的程序的任何计算机可读介质。

体现在计算机可读介质上的程序代码可以使用任何适当的介质进行传输，该介质包括但不限于无线、有线、光纤、电缆、RF等或上述的任何适当组合。用于实施本发明各方面的操作的计算机程序代码可以用一种或多种编程语言的任何组合编写，该编程语言包括：面向对象的编程语言，诸如Java(TM)、Smalltalk、C++或类似语言；以及常规的过程编程语言，诸如“C”编程语言或类似编程语言。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上且部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型的网络连接到用户的计算机，或者该连接可以被建立成连接到外部计算机(例如通过使用因特网服务提供商的因特网)。

下面参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。将被理解的是，流程图和/或框图中的每个框以及流程图和/或框图中框的组合可以通过计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，特别是微处理器或中央处理单元(CPU)，以产生机器，使得经由计算机、其他可编程数据处理装置或其他设备的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中所指定的功能/行为的构件。

这些计算机程序指令也可以存储在可以指导计算机、其他可编程数据处理装置、或其他设备以特定方式起作用的计算机可读介质中，使得存储在计算机可读介质中的指令产生制造品，该制造品包括实现流程图和/或框图的一个或多个框中指定的功能/行为的指令。

计算机程序指令也可以加载到计算机、其他可编程数据处理装置、或其他设备以促使在计算机、其他可编程装置或其他设备上执行一系列的操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个框中所指定的功能/行为的过程。

图中的流程图和框图图示了根据本发明的各种实施例的设备、方法和计算机程序产品的可能实现方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以代表代码的模块、段或部分，其包括一个或多个用于实现(多个)指定逻辑功能的可执行指令。还应指出的是，在一些可替换实现方式中，框中指出的功能可以不按图中指出的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者取决于所涉及的功能，这些块有时可以以相反的顺序执行。还要指出的是，框图和/或流程图中的每个框以及框图和/或流程图中的框的组合可以通过执行指定功能或行为的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。

附图说明

本发明的这些和其他方面根据示例是显然的并且将参照附图通过示例方式进行进一步阐述，其中：

图1是系统的第一实施例的框图；

图2是系统的第二实施例的框图；

图3示出了可以在其中使用系统的建筑物的示例；

图4是方法的第一实施例的流程图；

图5是方法的第二实施例的流程图；

图6是方法的第三实施例的流程图；

图7示出了导致设备级别的选择的图像的第一示例；

图8示出了导致设备级别的选择的图像的第二示例；

图9是方法的第四实施例的流程图；

图10是方法的第五实施例的流程图；

图11示出了导致第一组级别的选择的图像的第三示例；

图12示出了导致第二组级别的选择的图像的第四示例；

图13是方法的第六实施例的流程图；

图14是方法的第七实施例的流程图；以及

图15是用于执行本发明的方法的示例性数据处理系统的框图。

附图中的对应元件由相同的附图标记标示。

具体实施方式

图1示出了用于显示与至少一个设备相关联的数据的系统的第一实施例。数据被显示在包括至少一个设备的场景的视图旁边且/或覆盖在场景的视图上。在该第一实施例中，系统是移动设备1。移动设备1可以例如是移动电话、平板电脑或增强现实眼镜。

在图1的示例中，照明系统包括光控制器16和照明设备31-34。照明设备31-34可以例如使用Zigbee技术经由光控制器16控制。光控制器16例如经由Wi-Fi或以太网连接到无线LAN接入点17。无线LAN接入点17连接到因特网11。在可替换实施例中，可以例如经由蓝牙或者经由因特网服务器13和无线LAN接入点17直接控制照明设备31-34中的一个或多个。例如，照明设备31-34可能能够接收和发送Wi-Fi信号。因特网服务器13还连接到因特网11。

移动设备1包括收发器3、发射器4、处理器5、存储器7、相机8和(例如触摸屏)显示器9。处理器5被配置为：经由相机8的接口获得由相机8捕获的图像，确定从相机到图像中捕获的一个或多个设备中最近设备的距离，并且基于该距离选择设备级别或组级别。例如，当今的许多智能手机具有深度感测能力。可以通过将移动设备的运动感测数据与来自(例如移动设备的)一个或多个相机的图像处理数据组合确定朝向表面的距离。

在图1的示例中，在图像中捕获照明设备31-34中的一个或多个。最近设备是照明设备31-34之一。在另一示例中，另外或可替换地，在图像中捕获一种或多种其他类型的设备，并且最近设备可能是除照明设备之外的事物。在图1的实施例中，处理器5被配置为：通过获得由最近设备经由可见光通信传送的标识符来识别最近设备，并且基于标识符例如从设备自身获得数据。

处理器5被配置为：经由显示器9，在选择了设备级别的情况下显示仅与最近设备相关联的数据，或者在选择了组级别的情况下显示与设备组相关联的数据的聚合。设备组包括最近设备。与最近设备相关联的或与设备组相关联的数据可以经由无线LAN接入点17或者可替换地经由可见光通信从(多个)设备获得。例如，照明设备31-34可能能够动态地调制光输出信号，使得可以发出大量数据。

在图1的实施例中或在可替换实施例中，关于用户简档输入(例如用户角色、用户ID)的输入可以用于确定与用户的授权和兴趣相匹配的数据表示。

在图1所示的移动设备1的实施例中，移动设备1包括一个处理器5。在可替换实施例中，移动设备1包括多个处理器。移动设备1的处理器5可以是例如来自ARM或Qualcomm的通用处理器，或专用处理器。移动设备1的处理器5可以运行例如Android或iOS操作系统。相机8可以包括例如CMOS或CCD传感器。显示器9可以包括例如LCD或OLED显示面板。例如，处理器5可以使用(触摸屏)显示器9提供用户接口。存储器7可以包括一个或多个存储器单元。例如，存储器7可以包括固态存储器。

例如，接收器3和发射器4可以使用一种或多种无线通信技术，例如Wi-Fi(IEEE802.11)，以用于与例如无线LAN接入点17进行通信。在可替换实施例中，使用多个接收器和/或多个发射器代替单个接收器和单个发射器。在图1中示出的实施例中，使用单独的接收器和单独的发射器。在可替换实施例中，接收器3和发射器4被组合成收发器。移动设备1可以包括用于移动设备的典型的其他组件，例如电池和电源连接器。本发明可以使用在一个或多个处理器上运行的计算机程序实现。

图2示出了用于显示与至少一个设备相关联的数据的系统的第二实施例。数据被显示在包括至少一个设备的场景的视图旁边且/或覆盖在场景的视图上。在该第二实施例中，系统是计算机21。计算机21被连接到因特网11并充当服务器。计算机21可以由例如照明公司操作。在图2的实施例中，计算机21能够经由无线LAN接入点17和光控制器16控制照明设备31-34。

计算机21包括接收器23、发射器24、处理器25和存储装置27。处理器25被配置为：经由接收器23获得由移动设备41的相机捕获的图像，确定从相机到图像中捕获的一个或多个设备中最近设备的距离，并且基于该距离选择设备级别或组级别。处理器25可能能够仅基于图像、基于图像并基于从移动设备41或从另一个系统接收的其他数据、或者仅基于其他数据确定距离。

处理器25被配置为：在选择了设备级别的情况下显示仅与最近设备相关联的数据，或者在选择了组级别的情况下显示与设备组相关联的数据的聚合。设备组包括最近设备。处理器25可以被配置为：通过经由发射器24向移动设备41发送数据并促使移动设备41显示数据来显示数据，例如经由移动设备41上运行的应用(app)显示数据。

在图2中示出的计算机21的实施例中，计算机21包括一个处理器25。在可替换实施例中，计算机21包括多个处理器。计算机21的处理器25可以是例如来自英特尔(Intel)或AMD的通用处理器，或专用处理器。计算机21的处理器25可以运行例如Windows或基于Unix的操作系统。存储装置27可以包括一个或多个存储器单元。例如，存储装置27可以包括一个或多个硬盘和/或固态存储器。存储装置27可以用于存储例如操作系统、应用和应用数据。

例如，接收器23和发射器24可以使用诸如以太网和/或Wi-Fi(IEEE 802.11)之类的一种或多种有线和/或无线通信技术与因特网11上的设备通信。在可替换实施例中，使用多个接收器和/或多个发射器代替单个接收器和单个发射器。在图2中示出的实施例中，使用单独的接收器和单独的发射器。在可替换实施例中，接收器23和发射器24被组合成收发器。计算机21可以包括用于计算机的典型的其他组件，例如电源连接器。本发明可以使用在一个或多个处理器上运行的计算机程序实现。

在图2的实施例中，计算机21经由光控制器16向照明设备31-34发送数据。在可替换实施例中，照明设备31-34能够从计算机21接收没有经过光控制器的数据。

图3示出了可以在其中使用图1或图2的系统的建筑物的示例。在图3的示例中，用户69使用图1的移动设备1。建筑物61包括走廊63、厨房64和客厅65。无线LAN接入点17已经安装在走廊63中。照明设备31-33和光控制器16已经安装在客厅65中，并且照明设备34已经安装在厨房64中。在图3的示例中，移动设备1的相机捕获照明设备31和32的图像。

图4中示出了显示与至少一个设备相关联的数据的方法的第一实施例。数据被显示在包括至少一个设备的场景的视图旁边且/或覆盖在场景的视图上。例如，该方法可以由图1的移动设备1或图2的云计算机21执行。

步骤101包括获得由相机捕获的图像。该图像捕获场景和至少一个设备。相机典型地嵌入在移动设备中。例如，相机可以嵌入移动电话或增强现实眼镜中。步骤103包括确定从相机到图像中捕获的最近设备的距离。例如，该确定可以通过使用集成到包括相机的移动设备中的专用飞行时间距离传感器、或者通过将来自移动设备的惯性传感器的运动感测数据与通过分析来自相机和/或来自另一个相机的(多个)图像而获得的数据组合来执行。

步骤103可以包括分析在步骤101中获得的图像。如果最近设备是照明设备并且该照明设备正在生成高流明输出，可以确定朝向非常靠近光源的表面的距离。另一种方式是基于如由包含相机的移动设备检测的最近设备的RF信号(例如WiFi或蓝牙)的相对信号强度确定到最近设备的距离。

步骤105包括基于在步骤103中确定的距离选择设备级别或组级别。步骤107包括确定在步骤105中选择了设备级别还是组级别，并且在选择了设备级别的情况下执行步骤109且在选择了组级别的情况下执行步骤113。

步骤109包括识别最近设备。步骤109可以包括通过获得由最近设备经由调制的光通信(例如可见光通信(VLC))传送的标识符识别最近设备。例如，移动设备可以使用它的相机检测如由VLC(照明)设备发出的标识符，或者使用能够检测VLC信号的(定向)光传感器。步骤111包括获得仅与最近设备相关联的数据。步骤111包括基于在步骤109中获得的标识符获得数据。数据可以例如是传感器数据。例如，如果最近设备是照明设备，数据可以是来自嵌入在照明设备中、连接到照明设备或与照明设备相关联的传感器的传感器数据或照明使用数据。

步骤113包括识别设备组中的设备。设备组包括最近设备。步骤113可以包括：通过获得由最近设备经由可见光通信传送的标识符识别最近设备，如关于步骤109所描述；并且基于最近设备的标识符识别组中的其他设备。可替换地，步骤113可以包括通过获得由这些设备经由可见光通信传送的标识符识别组中的设备。

步骤115包括：例如基于在步骤113中获得的标识符，获得与设备组相关联的数据。步骤117包括聚合在步骤115中获得的数据。该数据可以是例如传感器数据或照明使用数据。在步骤111和/或步骤115中，可以获得可用于特定设备或设备组的数据子集。用户可能能够选择应该针对特定设备、针对特定设备组或者针对一般级别获得哪个数据子集。

在步骤111或步骤117被执行之后执行步骤119。步骤119包括在场景的视图旁边和/或覆盖在场景的视图上显示在步骤111中获得的或在步骤117中确定的数据。步骤119包括：如果在步骤105中选择了设备级别，显示仅与最近设备相关联的数据，或者如果在步骤105中选择了组级别，显示与设备组相关联的数据的聚合。例如，当远离灯时，数据可以示出房间中最频繁使用的光场景，而当靠近灯时，示出的数据可以指示最频繁使用的灯设置。

如上所述，数据被显示在至少包括最近设备的场景的视图旁边且/或覆盖在场景的视图上。例如，数据可以被显示在步骤101中获得的图像的旁边且/或覆盖在图像上，或者可以使用增强现实眼镜显示。在后一种情况下，不需要显示在101中获得的图像。

在步骤119中，可以显示在步骤111和/或步骤115中获得的数据的子集。用户可能能够选择应该针对特定设备、针对特定设备组或者针对一般级别显示所获得的数据的哪个子集。用户可能能够从预定义的数据仪表板和/或从个性化数据仪表板中进行选择。用户可能能够通过改变他的移动设备的取向在仪表板之间切换。执行该方法的系统可以记录用户选择哪些仪表板，并且使用用户先前选择的相同仪表板(dashboard)，或者使用用户通常针对特定设备、针对特定设备组或者针对一般级别最经常选择的仪表板。

在高级实现方式中，用户信息(例如用户角色、用户ID)用于选择与用户的授权和/或兴趣相匹配的仪表板。因此，不同类型的用户将各自看到用于相同设备或设备组的不同类型的数据表示，示出针对个体用户(例如基于角色、授权、偏好、兴趣)定制的相关数据。个性化数据仪表板还可以由已经随着时间监控在各种情境下个体数据呈现兴趣的学习系统选择。

除了(聚合的)数据之外，也可以显示在步骤103中确定的距离或其指示。这可以在绝对度量中完成，例如通过显示距离滑块完成，或通过指示确定的接近程度(例如移动设备是远离、接近还是靠近最近设备)完成。

图5中示出了显示与至少一个设备相关联的数据的方法的第二实施例。该第二实施例是图4的实施例的变体。在该第二实施例中，执行步骤131和133代替图5的步骤109和113。步骤133是步骤103的实现，并且步骤131在步骤101和133之间执行。

步骤131包括识别图像中的设备。步骤131可以包括通过获得由设备经由可见光通信(例如如果该设备是照明设备)传送的标识符识别图像中的设备。步骤133包括确定从相机到图像中的每一个设备的距离。

步骤111包括基于在步骤131中获得的标识符获得仅与最近设备相关联的数据。步骤115包括例如基于在步骤131中获得的标识符中的一个或多个获得与设备组相关联的数据。

图6中示出了显示与至少一个设备相关联的数据的方法的第三实施例。该第三实施例是图4的实施例的变体。在该第三实施例中，步骤105由步骤153实现，并且步骤151在步骤101和153之间执行。步骤151包括确定在步骤101中获得的图像中捕获的设备的数量。

步骤153包括：在步骤103中确定的距离不超过第一距离阈值T的情况下选择设备级别，并且在步骤103中确定的距离超过第一距离阈值T且步骤151中确定的数量大于1的情况下选择组级别。如果步骤103中确定的距离超过第一距离阈值T并且步骤151中确定的数量是1，那么可以在步骤153中选择设备级别，或者可替换地，那么可以在步骤153中选择设备级别或第二组级别。例如，后者可以是用户可配置的或可以由实施者定义。

图7和图8示出了其中从相机到图像中捕获的最近设备的距离不超过第一距离阈值T且因此选择设备级别的示例。在图7的示例中，移动设备1显示捕获两个照明设备31和32的图像71。在图8的示例中，移动设备1显示捕获照明设备31的图像72。在两个示例中，照明设备31是最近设备。随着设备级别已被选择，显示与(最近的)照明设备31相关联的数据81。数据81包括与照明设备31相关联的新近光设置。

图9中示出了显示与至少一个设备相关联的数据的方法的第四实施例。该第四实施例是图4的实施例的变体。在该第四实施例中，步骤105由步骤177实现，并且步骤171、173和175已被添加在步骤103和177之间。

步骤171包括确定在图像中是否捕获至少一个另外的设备，并且如果是，则执行步骤173和175。否则，跳过步骤173和175。步骤173包括确定从相机到所获得的图像中捕获的设备中第二最近设备的第二距离。步骤175包括计算在步骤103中确定的距离与在步骤173中确定的第二距离之间的差异。

步骤177包括：在步骤103中确定的距离不超过第一距离阈值的情况下或者在步骤175中确定的差异超过差异阈值的情况下，选择设备级别。步骤177包括：在步骤103中确定的距离超过第一距离阈值且在步骤175中确定的差异不超过差异阈值的情况下，选择组级别。

图10中示出了显示与至少一个设备相关联的数据的方法的第五实施例。该第五实施例是图4的实施例的变体。在该第五实施例中，在步骤103之后执行步骤201，步骤105由步骤203实现，步骤171和173已被添加在步骤201和203之间，步骤107由步骤205实现，以及步骤207、209和211已被添加在步骤205和119之间。

步骤201包括确定最近设备是否与未在图像中捕获的至少一个其他设备形成组，例如与具有与最近设备相同类型的一个或多个设备形成组，或与位于与最近设备相同空间的一个或多个设备形成组。

步骤171包括确定在图像中是否捕获至少一个另外的设备(即除了最近设备之外)，并且如果是，则执行步骤173。否则，跳过步骤173。步骤173包括确定从相机到图像中捕获的第二最近设备的第二距离。

步骤203包括在步骤103中确定的距离不超过第一距离阈值的情况下选择设备级别。步骤203包括：在步骤103中确定的距离超过第一距离阈值、步骤201中确定最近设备没有与至少一个其他设备形成组、且步骤173被跳过的情况下，选择设备级别。

步骤203包括：如果在步骤103中确定的距离和在步骤173中确定的第二距离超过第一距离阈值并且如果a)这两个距离不超过第二距离阈值或者b)在步骤201中确定最近设备没有与至少一个其他设备形成组，选择第一组级别。

步骤203包括：如果在步骤103中确定的距离超过第一距离阈值、在步骤201中确定最近设备与至少一个其他设备形成组、并且如果a)在步骤173中确定的第二距离超过第二距离阈值或者b)步骤173被跳过，选择第二组级别

步骤205包括：确定在步骤203中选择了设备级别、第一组级别还是第二组级别，并且在选择了设备级别的情况下执行步骤109、在选择了第一组级别的情况下执行步骤113、以及在选择了第二组级别的情况下执行步骤207。步骤209和211在步骤207之后执行。步骤207、209和211分别类似于步骤113、115和117。然而，在步骤115中，获得与第一设备组相关联的数据，该第一设备组至少包括最近设备和第二最近设备，典型地包括图像中捕获的所有设备。在步骤209中，获得与第二设备组相关联的数据，该第二设备组包括最近设备和图像中未捕获的至少一个其他设备。

图11和图12示出了从相机到图像中捕获的最近设备的距离超过第一距离阈值的示例。在这些示例中，移动设备1显示捕获两个照明设备31和32的图像73和74。在图11的示例中，照明设备31是最近设备并且照明设备32是第二最近设备。

在图11的示例中，从相机到第二最近照明设备的距离不超过第二距离阈值，并且因此选择第一组级别。随着已经选择第一组级别，显示与图像中捕获的照明设备组(即照明设备31和32)相关联的数据82。数据82包括在两个照明设备中任何一个上使用的光设置中的前三个。

在图12的示例中，从相机到照明设备31和32的距离是相同的。最近照明设备可以从照明设备31和32中任意地选择。第二最近照明设备是未被选为最近照明设备的照明设备。在图12的示例中，从相机到图像中捕获的最近设备的距离以及从相机到图像中捕获的第二最近设备的第二距离二者均超过第一距离阈值和第二距离阈值。

由于照明设备31和32与位于相同房间但未在图像74中捕获的照明设备33形成组，选择第二组级别。当已经选择第一组级别时，显示与相同房间中的照明设备组(即照明设备31-33)相关联的数据83。数据83包括涉及这三个照明设备中一个或多个的光场景中的前三个。

图13中示出了显示与至少一个设备相关联的数据的方法的第六实施例。该第六实施例是图4的实施例的变体。在该第六实施例中，图10的步骤201和步骤221在步骤103之后执行，步骤105由步骤223实现，步骤107由图10的步骤205实现，并且图10的步骤207、209和211已被添加在步骤205和119之间。

步骤201包括确定最近设备是否与未在图像中捕获的至少一个其他设备形成组，例如与具有与最近设备相同类型的一个或多个设备形成组，或与一个或多个与最近设备位于相同空间的设备形成组。步骤221包括确定在图像中是否捕获至少一个另外的设备(即除了最近设备之外)。该步骤有点类似于图10的步骤171。

步骤223包括在步骤103中确定的距离不超过第一距离阈值的情况下选择设备级别。步骤223包括在步骤103中确定的距离超过第一距离阈值、步骤201中确定最近设备没有与至少一个其他设备形成组、并且步骤221中确定图像中没有捕获另外的设备的情况下，选择设备级别。

步骤223包括：如果在步骤103中确定的距离超过第一距离阈值并且在步骤221中确定在图像中捕获除了最近设备之外的另外的设备，则选择第一组级别。步骤223包括：如果在步骤103中确定的距离超过另外的距离阈值，在步骤201中确定最近设备与至少一个其他设备形成组，并且在步骤221中确定未在图像中捕获除最近设备之外的另外的设备，则基于用户偏好选择设备级别或第二组级别。在步骤223之后，执行图10的步骤109-119和步骤205-211。

图14中示出了显示与至少一个设备相关联的数据的方法的第七实施例。该第七实施例是图4的实施例的变体。在该第七实施例中，图10的步骤201在步骤103之后执行，步骤105由步骤241实现，步骤107由图10的步骤205实现，并且图10的步骤207、209和211已被添加在步骤205和119之间。

步骤201包括确定最近设备是否与未在图像中捕获的至少一个其他设备形成组，例如与一个或多个与最近设备具有相同类型的设备形成组，或与一个或多个与最近设备位于相同空间的设备形成组。

步骤241包括：如果在步骤103中确定的距离不超过第一距离阈值，则选择设备级别。步骤241包括：如果在步骤103中确定的距离超过第一距离阈值并且在步骤201中确定最近设备不与至少一个其他设备形成组，则选择第一组级别。步骤241包括：如果在步骤103中确定的距离超过第一距离阈值并且在步骤201中确定最近设备与至少一个其他设备形成组，则选择第二组级别。在步骤241之后，执行图10的步骤109-119和步骤205-211。

图4至图6、图9至图10以及图13至图14的实施例在多个方面彼此不同，即多个步骤已被添加或替换。在这些实施例的变体中，仅添加或替换这些步骤的子集且/或省略一个或多个步骤。例如，可以将图5的步骤131和133添加到图6、图9至图10以及图13至图14的实施例中，并且可以从图6、图9至图10以及图13至图14的实施例中省略步骤109和113。在图10和图13和图14的实施例中，出于与步骤109和113相同的原因，可以省略步骤207。

图15描绘了图示出可以执行如参照图4至图6、图9至图10以及图13至图14描述的方法的示例性数据处理系统的框图。

如图15所示，数据处理系统300可以包括至少一个处理器302，其通过系统总线306耦合到存储器元件304。因此，数据处理系统可以在存储器元件304内存储程序代码。此外，处理器302可以执行经由系统总线306从存储器元件304访问的程序代码。在一方面，数据处理系统可以被实现为适用于存储和/或执行程序代码的计算机。然而，应当理解，数据处理系统300可以以包含能够执行本说明书内描述的功能的处理器和存储器的任何系统的形式来实现。例如，数据处理系统可以是因特网/云服务器。

存储器元件304可以包括一种或多种物理存储器设备，比如例如本地存储器308和一个或多个大容量存储设备310。本地存储器可以指通常在程序代码的实际执行期间使用的随机存取存储器或其他非持久性存储器设备。大容量存储设备可以实现为硬盘驱动器或其他持久性数据存储设备。处理系统300还可以包括一个或多个高速缓冲存储器(未示出)，其提供至少一些程序代码的临时存储，以便减少程序代码在执行期间必须从大容量存储设备310被检索的次数。处理系统300也可能能够使用另一处理系统的存储器元件，例如如果处理系统300是云计算平台的一部分。

被描绘为输入设备312和输出设备314的输入/输出(I/O)设备可选地可以耦合到数据处理系统。输入设备的示例可以包括但不限于键盘、诸如鼠标之类的指向性设备、麦克风(例如用于声音和/或语音识别)等。输出设备的示例可以包括但不限于监视器或显示器、扬声器等。输入和/或输出设备可以直接地或通过居间的I/O控制器耦合到数据处理系统。

在实施例中，输入和输出设备可以被实现为(在图15中用围绕输入设备312和输出设备314的虚线图示出的)组合的输入/输出设备。这样的组合设备的示例是触敏显示器，有时也称为“触摸屏显示器”或简称为“触摸屏”。在这样的实施例中，可以通过物理对象在触摸屏显示器上或附近的移动来提供到设备的输入，该物理对象比如例如手写笔或用户的手指。

网络适配器316也可以耦合到数据处理系统，以使得它能够通过居间的私有或公共网络变成耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括：用于接收由所述系统、设备和/或网络发送到数据处理系统300的数据的数据接收器；以及用于将数据从数据处理系统300发送到所述系统、设备和/或网络的数据发射器。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统300一起使用的不同类型网络适配器的示例。

如图15中所描绘，存储器元件304可以存储应用318。在各种实施例中，应用318可以存储在本地存储器308、一个或多个大容量存储设备310中，或者与本地存储器和大容量存储设备分开。应当理解，数据处理系统300可以进一步执行可以促进应用318的执行的操作系统(图15中未示出)。以可执行程序代码的形式实现的应用318可以由数据处理系统300执行，例如由处理器302执行。响应于执行应用，数据处理系统300可以被配置成执行本文描述的一个或多个操作或方法步骤。

本发明的各种实施例可以实现为与计算机系统一起使用的程序产品，其中程序产品的(多个)程序限定了实施例的功能(包括本文所述的方法)。在一个实施例中，(多个)程序可以包含在多种非暂时性计算机可读存储介质上，其中如本文所用的那样，表述“非暂时性计算机可读存储介质”包括所有计算机可读介质，其中唯一的例外是暂时性传播信号。在另一个实施例中，(多个)程序可以包含在多种暂时性计算机可读存储介质上。说明性计算机可读存储介质包括但不限于：(i)非可写存储介质(例如计算机内的只读存储器设备，诸如可由CD-ROM驱动器读取的CD-ROM盘、ROM芯片或任何类型的固态非易失性半导体存储器)，其上永久储存信息；以及(ii)可写存储介质(例如闪存、软盘驱动器内的软盘或硬盘驱动器或任何类型的固态随机存取半导体存储器)，其上储存可变信息。计算机程序可在本文所描述的处理器302上运行。

本文使用的术语仅用于描述特定实施例的目的，并且不旨在限制本发明。正如本文所使用的，单数形式的“一”、“一个”和“该”旨在也包括复数形式，除非上下文明确指出另外情况。将进一步理解的是，术语“包括”和/或“包含”在本说明书中使用时规定所叙述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组群的存在或添加。

以下权利要求中所有构件或步骤加功能要素的相应结构、材料、动作和等价物旨在包括与如具体要求保护的其他要求保护的要素相结合地执行该功能的任何结构、材料或动作。本发明的实施例的描述已被呈现用于说明的目的，但并不旨在详尽无遗或局限于所公开的形式的实现方式。对于本领域的普通技术人员来说，在不脱离本发明的范围和精神的情况下，许多修改和变体将是显然的。实施例被选择和描述，以便最好地解释本发明的原理和一些实际应用，并且使得本领域的其他普通技术人员能够理解本发明的各种实施例以及适合于所设想的特定用途的各种修改。

Claims (14)

1.一种用于显示与至少一个设备(31，32)相关联的数据的系统(1，21)，所述数据被显示在场景的视图旁边且/或覆盖在场景的视图上，所述场景包括所述至少一个设备(31，32)，所述系统(1，21)包括：

至少一个输入接口(3，23)；

至少一个输出接口(4，24)；以及

至少一个处理器(5，25)，其被配置为：

-经由所述至少一个输入接口(3，23)获得由相机捕获的图像(71-74)，所述图像(71-74)捕获所述场景和所述至少一个设备(31，32)，

-确定从所述相机到所述至少一个设备中最近设备(31)的距离，

-基于所述距离选择设备级别或组级别，以及

-通过经由所述至少一个输出接口(4，24)在所述设备级别被选择的情况下显示仅与所述最近设备(31)相关联的数据(83)或者在所述组级别被选择的情况下显示与设备组(31-32，31-33)相关联的数据的聚合(81，82)来显示所述数据，所述设备组(31-32，31-33)包括所述最近设备(31)，其中所述至少一个处理器(5，25)被配置为在所述距离被确定为不超过第一距离阈值的情况下选择所述设备级别。

2.如权利要求1所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：确定在所述图像中捕获的设备的数量，并且在所述距离被确定为超过所述第一距离阈值且所述数量被确定为大于1的情况下默认选择所述组级别。

3.如权利要求1或2所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：至少一个另外的设备(32)在所述图像中被捕获的情况下，确定从所述相机到所述至少一个设备中的第二最近设备(32)的第二距离；并且基于所述第二距离选择所述设备级别或所述组级别。

4.如权利要求3所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：计算所述距离与所述第二距离之间的差异，并且在所述差异被确定为超过差异阈值的情况下选择所述设备级别。

5.如权利要求3或4所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：在所述距离和第二距离被确定为超过所述第一距离阈值且不超过第二距离阈值的情况下，选择所述组级别，所述组进一步包括所述第二最近设备。

6.如权利要求5所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：确定所述最近设备(31)是否与未在所述图像中捕获的至少一个其他设备(33，34)形成组；并且在所述距离被确定为超过所述第一距离阈值、所述第二距离被确定为超过所述第二距离阈值或在所述图像中没有捕获除所述最近设备之外的另外的设备且所述最近设备(31)被确定为与所述至少一个其他设备(33，34)形成所述组的情况下，选择所述组级别，所述组进一步包括所述至少一个其他设备(33，34)。

7.如权利要求1至5中任一项所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：确定所述最近设备(31)是否与未在所述图像中捕获的至少一个其他设备(33，34)形成组；并且在所述距离被确定为超过第三距离阈值且所述最近设备(31)被确定为与所述至少一个其他设备(33，34)形成所述组的情况下，选择所述组级别，所述组进一步包括所述至少一个其他设备(33，34)。

8.如权利要求7所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：在所述距离被确定为超过所述第三距离阈值、除所述最近设备之外没有另外的设备被确定为在所述图像中被捕获、且所述最近设备(31)被确定为与所述至少一个其他设备(33，34)形成所述组的情况下，进一步基于用户偏好选择所述设备级别或所述组级别。

9.如权利要求6至8中任一项所述的系统(1，21)，其中所述至少一个其他设备(34)具有与所述最近设备(31)相同的类型。

10.如权利要求6至8中任一项所述的系统(1，21)，其中所述至少一个其他设备(33)位于与所述最近设备(31)相同的空间中。

11.如前述权利要求中任一项所述的系统(1，21)，其中所述最近设备(31)是照明设备。

12.如前述权利要求中任一项所述的系统(1，21)，其中所述至少一个处理器(5，25)被配置为：通过获得由所述最近设备(31)经由调制的光通信传送的标识符识别所述最近设备(31)；并且基于所述标识符获得所述数据。

13.一种显示与至少一个设备相关联的数据的方法，所述数据被显示在场景的视图旁边且/或覆盖在场景的视图上，所述场景包括所述至少一个设备，所述方法包括：

-获得(101)由相机捕获的图像，所述图像捕获所述场景和所述至少一个设备；

-确定(103)从所述相机到所述至少一个设备中最近设备的距离；

-在所述距离被确定为不超过第一距离阈值的情况下，基于所述距离选择(105)设备级别或组级别；以及

-通过在所述设备级别被选择的情况下显示仅与所述最近设备相关联的数据或者在所述组级别被选择的情况下显示与设备组相关联的数据的聚合来显示(119)所述数据，所述设备组包括所述最近设备。

14.一种用于计算设备的计算机程序产品，所述计算机程序产品包括计算机程序代码，以用于当所述计算机程序产品在所述计算设备的处理单元上运行时执行权利要求13的方法。