CN109076680A - 控制照明系统 - Google Patents

Abstract

一种控制照明系统的方法，该照明系统包括至少两个照明器，所述照明器被布置为照射物理空间以呈现选择的场景图像的版本。该方法包括：捕获物理空间的至少一个图像；使用所捕获的至少一个图像来针对照明器中的每一个照明器确定与该照明器相关联的、物理空间中的至少一个位置；接收对要被呈现的场景图像的选择；处理所选择的场景图像以在场景图像中选择至少两种颜色并且确定每种选择的颜色在场景图像中的相应位置；将所确定的场景图像位置与所确定的照明器位置进行比较，以便针对所确定的场景图像位置中的每一个标识物理空间中的所确定的位置中的相匹配的一个，并且基于所述比较，控制照明器呈现场景图像。

Description

控制照明系统

技术领域

本公开涉及基于照明器的一个或多个捕获的图像来控制包括多个光照源（“照明器”）的照明系统。

背景技术

“连接照明”指的是照明系统，在所述照明系统中光照源不是通过市电和每个光照源之间的传统的、手动操作的机械开关（或者不仅是通过这种开关）而是借助于更智能的控制器来控制，该控制器经由与每个照明器连接的直接无线数据连接（例如经由ZigBee）或经由有线或无线数据网络（例如，经由Wi-Fi 网络、3GPP网络或以太网络）连接到系统的照明器。比如，控制器可以采用在用户终端（诸如智能电话、平板电脑或膝上电脑或台式计算机）上、或者在某种或某些其它计算机设备（诸如服务器或网络网关（桥接器））上运行的应用程序的形式。控制器可以局部于单个设备、或者跨多个设备（例如用户设备和桥接器）分布并且一般指的是能够智能控制的、以硬件、软件或两者的组合实现的任何控制装置。

发明内容

根据本文公开的第一方面，提供了一种控制照明系统的方法，其中该照明系统包括被布置为将光发射到物理空间中的多个照明器，该方法包括：当用户利用成像设备跨物理空间施行至少一个扫描运动时，利用成像设备捕获照明器的多个图像；组合图像中的至少一些以生成合成图像，其中全景图像比起那些图像中的任何一个单独地而言覆盖更宽的视场；当正在捕获图像中的至少一些时，控制照明器呈现光照图案，该光照图案隔离每个照明器对物理空间的光照的贡献；通过处理合成图像，确定每个照明器在物理空间中的相对位置；使用当呈现光照图案时捕获的图像来确定各照明器中的每一个对物理空间的光照的贡献；并且基于照明器的确定的位置和确定的贡献，控制照明器照射物理空间。该方法可以例如由用于上面描述的种类的连接照明系统的控制器来实现。

该基于扫描的方案（在该方案中用户在手动扫描成像设备的同时捕获多个图像）的一优点在于，它不需要任何专业的成像硬件（诸如360度或其它宽角度相机设备，或者预安装的传感器装备）。这允许使用具有有限视场的成像设备来实现本发明，该成像设备例如集成在现代智能电话或平板电脑设备中的相机设备、外围网络摄像头设备、或者正变得可以更容易获得的其它类型的消费者设备（诸如增强或虚拟现实设备（例如可穿戴耳机和其它可穿戴设备））。成像设备可以是常规的可见光（和/或红外）相机，尽管本发明不限于这方面。例如，而非限制，设想未来世代的消费者设备可以含有其它类型的成像设备，诸如3D激光扫描设备。

合成图像可以是全景图像（即通过将各图像拼接在一起生成的静态图像）或者运动图像（即视频），在移动图像中各图像形成以常规方式生成的、要被播放出的视频帧。无论哪种方式，比起根据单独隔离的各图像中的任何一个而言，有可能根据合成图像在其更宽视场内确定关于各照明器的相对位置的更多信息（例如，基于全景图像内它们的空间接近度、或者运动图像内的时间接近度）。

扫描运动主要是旋转的，使得用户的视域的不同区域被图像捕获。所捕获的图像作为整体因此比起图像中的任何一个单独地而言覆盖用户视域的更大区域。通过处理多个图像，因此有可能确定关于位置的更多信息，所以可以单独根据各图像中的任何一个来确定用户视域内的照明器。这允许例如主要仅在用户外围视野中的照明器区别于主要在他的注视中心内的那些照明器。

在优选的实施例中，可以组合（即，使用全景拼接算法拼接在一起）所捕获图像中的一些或全部以生成确定照明器位置所根据的全景图像。那些相同的图像（或者它们中的至少一些）还可以被用来确定来自照明器的贡献，或者可替换地，被用来确定贡献的图像可以是不同的。通常，在被用来确定位置的图像和被用来确定贡献的那些图像中可以不存在重叠（例如，在第一时间捕获的第一组图像可以被用来生成全景图像，并且在一不同时间捕获的第二组图像可以被用来确定贡献）、可以存在全部重叠（使得相同的图像被用来确定两者）、或者可以存在所使用的图像中的部分重叠。

在实施例中，光照图案可以是静态光照图案。

可以通过控制各照明器中的至少两个发射不同颜色的光来呈现静态光照图案，由此隔离它们的相应贡献。

光照图案可以是随着图像被捕获而改变的动态光照图案，以便隔离贡献。

可以通过改变由各照明器中的至少两个发射的光的强度来呈现动态光照图案，使得在图像中的至少两个中，来自那两个照明器的强度的不同组合被捕获。

例如，当那两个图像中的第一图像被捕获时，那两个照明器中的第一照明器处于发射状态且那两个照明器中的第二照明器处于非发射状态，并且当那两个图像中的第二图像被捕获时，第一照明器处于非发射状态且第二照明器处于发射状态。

该方法可以包括检测相机设备的扫描运动的开始，其中作为响应照明器被控制开始呈现动态光照图案。

可以通过改变由各照明器中的至少两个发射的光的颜色来呈现动态光照图案，使得在多个图像中的至少一些中，来自那些照明器中的每一个的颜色的不同组合被捕获。

各图像中的至少两个可以在不同的时间覆盖物理空间的与彼此相同的区。例如，针对各照明器中的每一个捕获那个区的相应图像（当仅该照明器处于发射状态时）。

可以组合第一组所捕获的图像以生成合成图像，根据该合成图像确定位置，并且可以使用不同于第一组图像的第二组所捕获的图像来确定贡献。

可以当用户跨物理空间施行第一扫描运动时捕获第一组图像，并且当用户在呈现光照图案的同时跨物理空间施行相匹配的扫描运动时捕获第二组图像。

可以在已经根据合成图像确定位置之后捕获第二组图像，并且所确定的位置可以用来确定当捕获第二组图像时呈现的光照图案。

例如，所确定的位置可以用来呈现动态光照图案，其引导（例如，通过提示用户以某一速度逐个照明器地在一定方向上扫描）用户完成挥扫（sweeping）运动。例如，可以根据照明器的位置确定它们的空间次序，并且所确定的次序被用来呈现动态光照图案。

可以在生成合成图像之后捕获第二组图像，其中该方法可以包括在第二组（例如，合成图像的全部或部分）被捕获时控制显示设备向用户显示合成（例如，全景）图像的图像数据。

对于照明器中的每一个，以下中的至少一个还可以被用于确定其位置：

-捕获包含来自那个照明器的光的图像时的时间，

-当捕获那个图像时成像设备的取向，如使用被耦合到成像设备的取向传感器测量的，并且

-如使用被耦合到成像设备的位置传感器测量的、成像设备的位置。

各照明器中的至少一个发射光，当呈现光照图案时照明器标识符被调制到该光中，这被用于确定那个照明器的贡献。

每个照明器的贡献可以通过确定由那个照明器在光照图案的呈现期间在物理空间的表面上投射的至少一个光照占用区域（footprint）的形状、大小和/或位置来确定。

可替换地或另外，可以通过确定由那个照明器发射的光导致的、在物理空间的区域或体积上的至少一个颜色和/或强度分布来确定贡献。

该方法可以包括：包括针对各照明器中的至少一个，根据合成图像确定用来控制那个照明器的光照的、那个照明器的形状和/或大小。

所述步骤可以进一步包括：当施行扫描运动时，使用从成像设备接收到的图像数据和/或从被耦合到成像设备的独立传感器接收到的传感器数据跟踪成像设备的移动，其中基于该跟踪呈现动态光照图案。

跟踪可以包括：在扫描运动期间的多个时间中的每一个，确定照明器中的哪一个在那个时间位于最靠近成像设备的光学轴，其中控制那个照明器以隔离其在那个时间的贡献。

根据本发明的第二方面，一种控制照明系统的多个照明器的方法包括以下步骤：由采取静止方位的用户，利用成像设备捕获静止方位上的用户的主要视场中的照明器的至少一个图像；处理至少一个图像以确定静止方位上的用户的主要视场和各照明器中的每一个相对于用户的所确定的主要视场的位置；并且基于照明系统的照明器相对于静止方位上的用户的主要视场的确定的位置来控制照明器发射光照。

术语“主要的”在本发明的上下文中指的是当用户正采取静止方位时他的自然面向方向。“静止方位”指的是在某个位置处的人体方位，该“人体方位”可以例如是在这个位置处的坐着、斜倚或躺下的方位，例如在这个位置处的一件家具上。当采取这个静止方位时，用户仍然可自由地例如倾斜或旋转他的头、或者向上看或向侧边看，由此旋转他的视线。尽管如此，取决于他的环境的单独情况，当采取这个静止方位时他自然倾向于在某个方向（当采取这个静止方位时的他的“主要面向方向”）上观看。一般来讲，这将是面向前方的方向，其中他的头和眼睛两者正或多或少地直接面向前方。然而，他的主要面向方向可能被他的周围环境在某种程度上影响，例如，它可能朝向他附近的显示设备，诸如台式计算机显示器或电视。

照明器的相对位置意味着其在物理空间中相对于其它（多个）照明器的位置。

术语“多个照明器的至少一个图像”（或类似物）在本发明的上下文中可以意味着其中照明器中的全部都是可检测到的一个图像，或者是使得各照明器中的每一个在各图像中的至少一个中是可检测到的多个图像。优选地，多个图像被捕获并且被拼接在一起以生成全景图像，在该全景图像中各照明器中的全部都是可检测到的。

照明器在物理空间中的位置意味着其相对于物理空间中的任何其它（多个）照明器的位置。

在实施例中，确定主要视场包括确定用户的主要视线，当采取静止方位时该用户的主要视线沿着他的主要面向方向，照明器方位相对于所确定的主要视线而被确定。

可以在用户保持处于静止方位的同时跨至少他的主要视场施行预期的扫描运动时捕获多个图像，处理所述多个图像以确定主要视场和相对于主要视场的照明器位置。

所述步骤可以包括指导用户在保持处于静止方位的同时跨他的主要视场施行所预期的扫描运动。

指导步骤可以包括：控制照明器在图像被捕获时发射动态光照图案，以便引导用户完成所预期的扫描运动，和/或控制用户可用的输出设备向用户输出将所预期的扫描运动传达给用户的至少一个指令。

输出设备可以是显示器，其被控制以向用户显示至少一个指令。

输出设备和成像设备可以被集成在由用户持有的用户设备中。

处理步骤可以包括组合图像以生成合成图像，合成图像比起图像中的任何一个单独地而言覆盖用户的主要视场的更大的区域，其中通过处理合成图像确定位置。

合成图像可以是由用户设备的处理器执行的全景图像拼接算法生成的全景图像。

所预期的扫描运动可以包括将成像设备从初始预期的取向逐渐旋转到另一预期的取向。

初始取向或另一取向可以使得成像设备的光学轴处于基本上平行于静止方位上的用户的主要视线。

初始取向可以使得成像设备的光学轴处于基本上平行于主要视线，由此当施行扫描运动时光学轴被旋转远离主要视线。

扫描运动可以进一步包括：在达到另一取向时，逐渐旋转成像设备回到初始取向并且从那里到又一预期的取向。

扫描运动可以使得成像设备的光学轴自始至终保持基本上平行于水平面。

可以控制各照明器中的至少一个和/或输出设备以告知用户成像设备何时已经达到另一取向和/或其它取向。

确定主要视场可以包括：在至少一个图像内确定静止方位上的用户的至少一主要中心注视区，并且在至少一个图像内确定用户的一主要外围视野区，其中可以基于照明器是在中心注视区还是外围视野区内来控制它们。

处理步骤可以进一步包括：在用户的主要视场内检测由各照明器中的至少一个在图像中的至少一个中引起的眩光，这被用于控制那个照明器的光照。

确定用户的主要视场的步骤可以包括：在至少一个图像中标识预定类型的对象，照明器位置相对于所标识的对象而被确定。

对象可以是显示器屏幕。

指导步骤可以包括向用户传达成像设备应当被扫描的角度量程（range），其中基于所传达的角度量程确定用户的主要视场。

可替换地或另外，所述步骤进一步包括：使用至少一个图像和/或当扫描运动被施行时由被耦合到成像设备的独立传感器捕获的传感器数据来确定成像设备已经被扫描的角度量程，其中基于所确定的角度量程确定用户的主要视场。

该方法可以包括：控制显示器向用户显示至少一个捕获的图像的图像数据，并且经由用户接口从用户接收对所显示的图像数据内的至少一个点和/或至少一个区的选择，其中基于所接收的用户选择确定主要视场。

可以在显示器上显示全景图像使得在全景图像中选择至少一个点和/或区域。

确定步骤可以包括：确定当采取静止方位时针对主要面向方向的用户的注视的中心，照明器位置相对于所确定的注视的中心而被确定。

本发明的第三方面针对一种控制照明系统的方法，该照明系统包括被布置为照射物理空间以在物理空间中呈现选择的场景图像的版本的至少两个照明器，该方法包括以下步骤：利用成像设备捕获物理空间的至少一个图像；使用所捕获的至少一个图像来针对各照明器中的每一个照明器确定与该照明器相关联的、物理空间中的至少一个位置；从用户接收对要被呈现的场景图像的选择；处理所选择的场景图像以在场景图像中选择至少两种颜色用于呈现，并且确定所选择的颜色中的每一种在场景图像内的位置；并且将所确定的场景图像位置与所确定的照明器位置进行比较，以便针对所确定的场景图像位置中的每一个场景图像位置标识物理空间中的所确定的位置中的相匹配的一个位置，并且控制与物理空间中的该位置相关联的照明器发射呈现该场景图像位置处的颜色的光照，由此使照明器在物理空间中呈现所选择场景图像的版本。

注意，所选择的颜色可以是平均颜色（例如，通过平均相似像素值生成的颜色矢量）。因此，它可能不精确地对应于图像中的单个像素，而是对应于图像中多个像素内的感知颜色。同样地，图像中颜色的位置不一定意味着单独的像素位置，其也不一定意味着图像中精确的（x，y）位置。例如，选择的颜色的所确定的位置可以是由那种颜色支配的、图像的确定区（例如，中心、顶部、底部、左上、右下等），例如，因为那个区由颜色空间中平均为这种颜色的一组相似颜色支配。颜色可以例如被表示为颜色空间中的颜色矢量，并且“相似的”颜色在该上下文中指的是具有相似颜色矢量的颜色。那种颜色的平均可以被定义为在这些颜色矢量上的多个不同的数学运算，其可以例如包括加权以计及人的灵敏度和/或照明系统的一种或多种颜色能力（例如，使选择偏向于照明系统的色域）。

与照明器相关联的位置意味着当发射时来自那个照明器的光是可感知的位置，这可以是照明器自身的位置，但是它也可以是照明器正投映到其上以便投射光照占用区域的表面的位置，例如，对于地板上的照明器而言，如果天花板是它的光最可感知之处，则相关联的位置可以是在天花板上。照明器可以具有多个相关联的位置，例如，它自己的位置加上它的光照占用区域中的一个或多个的位置，或者多个占用区域位置。

在实施例中，在捕获步骤，可以在用户利用成像设备施行扫描运动时捕获多个图像，并且该方法可以进一步包括：组合图像以生成合成图像，该合成图像比起多个图像中的任何一个单独地而言覆盖更宽的视场，其中根据合成图像确定物理空间中的位置。

场景图像可以是由用户利用成像设备捕获的附加的图像，或者当被选择时从电子存储器检索到的存储图像。

该方法可以进一步包括：根据至少一个图像确定不是照明系统的部分的、物理空间中的不可控光照源的至少一个光照特性，其中控制照明器在基于不可控光照源的确定的光照特性计及不可控光照源的情况下呈现场景图像的版本。

注意“不可控”在该上下文中意味着在照明系统的基础设施内不可控。这不一定意味着它是完全不可控的，例如它可以是一不同照明系统的部分的照明器，或者它可以是自然光源，诸如窗户（其不能使用照明系统的基础设施来控制，但是在一定程度上可以是可控的（例如通过拉动跨过它的窗帘或百叶窗））。

不可控光照源可以是自然光照源，诸如窗户。

可以捕获处于不受阻碍状态下的自然光照源的至少一个图像以从其捕获日光，处理所述至少一个图像以确定自然光照源的至少一个日间光照特性；并且其中可以捕获处于不受阻碍状态下的自然光照源的至少一个另一图像，处理所述至少一个另一图像以确定自然光照源的至少一个夜间光照特性。控制步骤可以包括确定当前日时，并且在使用自然光照源的所确定的日间和/或夜间光照特性计及当前日时的情况下呈现照明场景的版本。

可以在场景图像中自动选择颜色。

可替换地，可以根据经由用户接口从用户接收到的一个或多个颜色选择指令来选择颜色。

与各照明器中的至少一个相关联的位置可以是那个照明器在物理空间中的位置，即照明器自身的位置。注意，与各照明器中的至少一个相关联的位置是由那个照明器在物理空间的表面上投射的光照占用区域的位置。可以确定与任何一个照明器相关联的多个这样的位置。

针对各照明器中的至少一个，至少一个捕获的图像还可以被用来确定以下的形状和/或大小：那个照明器和/或由那个照明器在物理空间的表面上投射的至少一个光照占用区域。

可以通过确定图像的颜色调色板来选择颜色，颜色调色板是对应于场景图像中出现的颜色的一组颜色标识符。

针对在颜色调色板中标识的每种颜色，可以通过标识（例如使用斑点（blob）检测）其中那种颜色是主导的、场景图像的区来确定针对那种颜色的场景图像位置，其中控制与物理空间的相匹配的区中的位置相关联的各照明器中的一个或多个呈现那种颜色。

可以基于不同颜色在图像中出现的相应频率、和/或照明系统的照明器的至少一种颜色能力（例如，基于（多个）单独照明器和/或作为整体的照明系统的色域）来生成颜色调色板。

注意，第一、第二或第三方面、或者其实施例的任何特征，可以在第一、第二和第三方面中的任何其它方面的实施例中被实现。

将注意到的是，在第二和第三方面中，生成合成图像（诸如全景图像）不是必要的（尽管可以在其一些实施例中生成这种全景图像）。

本发明的附加方面针对一种用于照明系统的照明控制装置，其被配置为实现第三、第二或第三方面（或其实施例）中的任何一个的方法；并且针对一种计算机程序产品，其包括代码，所述代码存储在计算机可读存储介质上并且被配置为当被执行时实现任何前述权利要求中的方法。

附图说明

为了协助对本公开的理解并且示出如何可以使实施例付诸实施，以示例的方式参考附图，在附图中：

图1是用于捕获全景图像的过程的示意表示，

图2是包括照明系统的物理空间的示意表示，

图3是被多个照明器照射的物理空间的全景图像的示意表示，

图4是在全景图像的捕获期间照明器与相机设备的相互作用的示意说明，

图5图示了用于实现本公开的发明的实施例的方法步骤，

图6图示了单个全景图像的捕获的示意表示，其中物理空间的每个区被多次捕获；

图7图示了用于基于用户的视场控制多个照明器的一系列方法步骤，

图8示出了用户的主要视场，

图9示出了物理空间的360度图像和被确定为在用户的视场中的、全景图像的区的示意表示，

图10图示了相机设备的光学轴相对于用户的主要视线的旋转，

图11a和11b图示了将物理空间分割成的不同的子空间，不同的照明器位于所述不同的子空间处；

图12图示了用于基于多个照明器在物理空间中的位置和两种或更多种颜色在图像中的位置来控制多个照明器的一系列方法步骤，

图13a图示了场景图像（1302）和物理空间的全景图像（1300）的示意表示，在该物理空间中照明器A-F对于用户是可见的并且每个发射具有相应方向性的光，

图13b图示了场景图像（1302）和物理空间的全景图像（1300）的示意表示，在该物理空间中照明器A-F对于用户是可见的，并且提供相应的光照贡献。

具体实施方式

术语全景图像指的是通过将合适的图像软件算法应用于多个图像使它们拼接在一起而生成的图像，该图像软件算法在包括一个或多个CPU和/或GPU的处理器上被执行，其中每个图像是在非重叠的时刻拍摄（即捕获）的。这样的图像拼接算法在本领域中是已知的，并且可以是容易获得的。这些图像中的每一个在本文中被称为全景图像的子图像。图1图示了经由相机设备从右到左的扫描运动捕获全景图像102的一般概念。术语“扫描运动”指的是在多个子图像作为全景图像的部分被捕获时相机设备的运动。

如图1中可见的，相机设备101在多个不同的时间实例捕获多个单独的子图像，并且这些被组合（即被拼接在一起）以形成全景图像。相机设备的视场决定了在每个子图像中被捕获的物理空间的范围，即每个子图像捕获物理空间的一区，该区小于由全景图像捕获的物理空间的区。相机设备的视场指的是立体角，通过该立体角相机的图像传感器对电磁辐射（例如可见光的光子）敏感。由单独图像覆盖的视场指的是当该图像被捕获时相机的视场，该视场取决于相机的方位和取向。

在一些实施例中，相机设备可以捕获物理空间的同一区的多个子图像。即，落在相机设备的视场内的、物理空间的区可以在覆盖物理空间的一不同区的随后子图像被捕获之前被多次捕获。

图1图示了相机设备101的视场和由子图像102a、102b和102c捕获的物理空间的对应区。

相机设备的视场可以具有垂直分量x1和水平分量x2，如在图1b中所示出的。将认识到的是这些分量在量值上可以是相同的或可以是不同的，例如，对于矩形图像，x2可以大于x1。还将认识到的是，虽然以从左到右施行扫描运动的用户的视角示出了图1，但是实际上，用户可以在任何方向上、在三维空间维度的任何一个维度上施行扫描运动。此外，用户可以通过任何角度、围绕任何轴或轴的组合、在三维空间维度上旋转他们的相机设备。在大多数情况下，预期用户将希望捕获他们自己的视场内的物理空间的全景图像，这进而很有可能涉及以相似于图1中示出的方式（即围绕垂直（x1）轴）旋转他们的身体并且因此他们的相机设备。

全景图像在它对应于比起任何一个图像单独地而言在更大立体角内（并且因此从更大的空间区域）捕获的光的意义上，具有比起各图像中的任何一个单独地而言更宽的视场。换句话说，拼接在一起有效地拓宽了相机的视场，超出了其物理限制。

在全景图像（更确切地说，单独的图像）的捕获期间，由每个照明器输出的光（即光照）根据一图案被控制，该图案隔离来自各照明器中的每一个的光照的贡献。即，由每个照明器输出的光以这样的方式被控制：在包括全景图像的各子图像中的至少一些中，由那些图像捕获的物理空间的区的光照可以被标识为源自具体的照明器。

术语“光照的贡献”指的是由对物理空间的区域的光照做出贡献的给定照明器输出的光。为了提供光照的贡献，照明器自身不一定需要对于用户是直接可见的。例如，来自照明器的光照的贡献可以指的是由那个照明器在例如表面（诸如物理空间内的墙壁、地板或天花板）上投射的光照。用户对于照明器自身（例如灯）的视野可能被一件家具掩盖，但是表面的光照对于用户可以仍然是可见的。物理空间的区域可以包含来自多于一个照明器的光照的贡献。通常，“贡献”指的是由与物理空间相互作用的光导致的效果，并且因此取决于照明器和照明器所位于的物理空间这两者。贡献可以被看作是由照明器发射的光的一个或多个可变光照特性（颜色强度等）的函数，该函数定义了当具有那些特性的光与物理空间相互作用时的感知效果。它可以例如在存储器中被表示为颜色和/或强度值在物理空间的一区域或体积上的分布（例如，3D颜色空间矢量的分布），该分布取决于来自照明器的发射的光的颜色和/或强度。

图2图示了示例物理空间2，其中三个照明器202、204和206被安装在物理空间200内的不同位置处。每个照明器可以被固定安装在其相应位置处，或者可以是独立单元。一般地，物理空间200将包含至少两个照明器。

各照明器被布置以便一起照射物理空间200内的场景，由此创建照明场景。还要注意，术语“照明器”、“灯”或“光照源”中的每一个具体指的是不仅发射任何光而且发射具体光照（即，在适合于对由人占据的物理空间200的照射做出贡献的规模上的光（使得人类居住者可以在物理空间内看见，并且可选地还在环境2内创建照明气氛））的设备。

照明器是包括一个或多个灯（即光照源）加上相关联的插座、外壳和/或支撑物的设备。灯或光照源可以采用多种不同的可能形式（诸如基于LED的光照源（包括一个或多个LED）、传统白炽灯泡、气体放电灯（例如荧光灯管）等）中的任何一种。此外，照明器可以采用各种形式（诸如传统天花板或墙壁安装的房间照明、或者落地式或台式单元），或者不那么传统的形式（诸如嵌入在墙壁或家具中的LED条带）。在图2中示出的物理空间中，照明器202和206是安装在天花板中的固定单元，而照明器204是位于一对象（诸如沙发208）后面的移动照明器（诸如台灯）。将认识到的是，虽然在物理空间200中仅示出了三个照明器，但是可以在物理空间200中的任何数量的不同位置处安装任何数量的照明器。

各照明器中的每一个都是连接照明器，因为它包括接收器，其被配置为从用户终端212接收数据以用于控制照明器，并且可选地还可以包括发射器，其被配置为将数据发射回到用户终端212以诸如用于提供确认或状态更新。用户终端212分别包括对应的发射器和可选地接收器。例如，用户终端212可以采用移动用户终端（诸如智能电话、平板电脑或膝上电脑）的形式；或者例如外围设备、手持相机连接到的静态用户终端（诸如台式计算机）。可替换地或另外，用户终端可以包括其中集成了一个或多个成像设备的虚拟现实（VR）或增强现实（AR）设备，诸如可穿戴耳机。这样的设备可以具有板上处理功能，并且因此作为独立设备操作；或者它们可以是外围设备，其通过有线或无线构件连接到独立的计算机设备。

在实施例中，可以利用VR或AR设备的AR或VR功能在用户捕获图像时向他提供附加的反馈。例如，用户可以穿戴VR或AR设备并且环顾空间。在实际空间中，各灯可能正在闪烁或改变颜色（例如），但是通过AR或VR设备用户可以被通知关于每个灯的贡献以及他在多大程度上捕获了贡献。该应用程序在确定用户的主要视场时可以是特别有帮助的，因为可以要求他向前看并且然后开始旋转。已知类型的AR/VR设备具有精确捕获用户的移动的所有装备，所述装备可以被用于确定各照明器的位置和/或它们的单独贡献。

用户终端212安装有照明控制应用程序，该应用程序被配置为当在用户终端212上运行时使用用户终端212的一个或多个发射器以照明控制命令的形式将数据发送到各照明器中的每一个，以便单独地控制每个发射的光，例如，用以将灯接通和切断、将光水平调高和调低、调整所发射的光的颜色和/或将标识符调制到所发射的光上。照明控制应用程序可以可选地还使用用户终端212的接收器在另一方向上接收来自各照明器的数据，例如用以接收响应于控制命令的确认、或者对于请求了状态更新而不是控制所发射的光的控制命令的响应。

用户终端212上的应用程序和各照明器中的每一个之间的这种通信可以以多种方式实现。注意，从用户终端212到照明器的传送可以或可以不以与从照明器到用户终端212的任何传送相同的方式来实现。此外，通信可以被无线地或通过有线连接、或者这两个的组合来实现。下面阐述了一些示例，各示例中的每一个在实施例中可以被用来实现本文所讨论的各通信中的任何一种。在每种情况下，用户终端212可以被描述为经由无线和/或有线网络与照明器通信，无线和有线网络中的任一个由用户终端212和照明器形成或包括用户终端212和照明器。

在一些实施例中，用户终端212被配置为与各照明器中的一个或多个中的每一个直接地通信，即不经由中间节点通信。例如，用户终端212可以是无线终端，其被配置为经由无线信道（例如ZigBee信道）与各照明器中的每一个直接地通信，从而直接在用户终端212和照明器202、204和206之间形成无线网络。在另一示例中，用户终端212可以被配置为通过有线网络（如果用户终端212自身是DMX控制器，则诸如DMX网络）与照明器直接地通信。

可替换地或附加地，用户终端212可以被配置为经由至少一个中间节点（以至少一个桥接器、网关、集线器、代理或路由器214的形式）与各照明器中的一个或多个中的每一个通信。例如，用户终端212可以是无线终端，其被配置为经由无线路由器（例如Wi-Fi路由器）与这样的照明器通信，从而经由包括无线路由器214、用户终端212和照明器202、204和206的无线网络（诸如Wi-Fi网络）进行通信。作为另一示例，中间节点214可以包括有线路由器（诸如以太路由器），用户终端212被配置为经由包括有线路由器、用户终端212和照明器的有线网络（诸如以太网络）与照明器通信。在又一示例中，中间节点6可以是DMX代理。

在进一步可替换或附加的实施例中，用户终端212可以被配置为经由以集中照明控制单元216的形式的中间节点与各照明器中的一个或多个中的每一个通信。这种通信可以经由或可以不经由路由器24等（例如Wi-Fi路由器（并且控制单元216和路由器214之间的连接可以是有线的或无线的））发生。无论哪种方式，控制单元216接收来自用户终端212的控制命令，并且将它们转发给命令所针对的、相关的一个或多个照明器。控制单元216可以被配置为具有附加的控制功能，诸如以鉴定用户终端212和/或其用户210是否有资格控制灯，和/或在来自多个用户的潜在冲突命令之间进行仲裁。因此注意，如本文使用的术语命令不一定暗示该命令被无条件地执行（尽管也不排除那样）。还要注意，在实施例中，可以以不同于从用户终端8接收的格式将命令转发到目的地照明器（所以将来自用户终端212的命令发送到照明器的想法在本文指的是发送命令的实质内容或含义，而不是其特定格式或协议）。合适的控制单元的一个示例是飞利浦色彩桥接器（Philips Hue bridge）。

因此通过上面手段中的一种或多种，用户终端212具有与各照明器通信以便远程地控制它们的能力，该能力包括至少控制它们发射的光。将认识到的是，本公开的范围不限于任何特定的通信手段。

通过无论哪种手段实现通信，用户终端212上的照明控制应用程序向那个终端的用户210呈现合适的用户接口，其用于选择用户210期望控制由各照明器发射的光的方式。

图4图示了利用单独子图像（即照片）的拼接记录全景图像的过程和在那些图像的捕获期间与照明器的相互作用。

在图4中，顶部分（I）示出了具有边缘A和B的全景图像302，所述边缘A和B可以是同一边缘（例如在360度图像中），但是不需要是（例如在120度图像中）。

图4的中间部分（II）图示了全景图像是拼接的图像，即它是通过按时间顺序拍摄单独的图像（共同地，102）而制作的。被拼接的图像将通常是重叠的，以允许更容易的拼接。在应用本发明时，重叠可以如下面解释的那样被有利地使用。

图4的底部分（III）图示了在单独图像102a、102b中，可以控制不同的照明器发射光。例如，当用户从左到右捕获全景图像时：

-首先左侧的灯L1被打开，并且当用户开始将相机向右平移时捕获一个或多个图像；

-接下来灯L1被关断并且灯L3被打开，并且当用户继续将相机一直向右平移时捕获另外的一个或多个图像。

在这种情景下，如果灯L1仅照射区域A1并且灯L3仅照射区域A3，并且这些区域A1和A3不重叠，那么在所拼接的全景图像中每个灯的贡献可以被确定。两个灯实际上可以被同时打开，按顺序控制它们的好处可以在于向用户提供反馈。例如，用户需要平移相机的速度可以通过来自按顺序被打开的各灯的光的发射来指示。例如，当L1被打开时，这向用户指示该灯应当在图片（的中心）中并且随后当灯L3被打开（无论L1是否被关断）时向用户指示他（她）本应当平移或继续平移以确保L3在图片（的中心）中。

然而，如果区域A1和A3确实重叠，那么当仅在单个图像中捕获了重叠区域（A2）时，两个灯都需要开启以确定它们的总贡献，然而如果它们发射相同的光效果则不能确定它们的单独贡献。可以有可能的是，基于在区域A1的被捕获的图像中检测到的光发射图案来估计灯L1在区域A2中的贡献。通过控制灯提供可区分开的光效果（例如，发射不同颜色的光、编码的光），可以在更大程度上确定单独贡献。稍后在说明书中更详细地描述这种性质的实施例。

在一些实施例中，当在被捕获的图像中存在重叠并且区域（例如房间）中的同一个区被多次捕获时，可以控制灯按顺序发射光效果。如果按顺序拍摄区域A2的图像1和2，那么当拍摄图像1时灯L1可以开启（并且L2关闭）；并且当拍摄图像2时灯L2可以开启。在图像2的捕获期间，灯L1可以关闭或开启。如果灯L1关闭，那么被捕获的所有光来自L2。否则，如果L1开启，则光水平上的差异由L2导致。因此可以通过从图像2中的总贡献减去L1的贡献（该贡献从图像1是已知的）来确定L2的贡献。在现有技术水平下，公知的是在不同的条件（白天、夜晚、百叶窗打开、百叶窗关闭）下分析物理空间的多个图像可以被用来针对一照明空间确定环境光贡献和每个照明器对那个空间的人工贡献两者。

图5示出了控制由多个照明器输出的光和确定来自它们中的每一个的光照的贡献的方法的流程图。该过程以步骤S501开始。

在步骤S502a，用户利用他们的相机设备施行扫描运动以便捕获多个单独的子图像。扫描运动可以被预定并且被指导给用户，例如，可以要求用户移动他们的相机设备通过预定角度量程。该角度量程可以经由用户的用户设备的显示器（例如，通过在正在被捕获的图像上方覆盖指示符）或通过照明器自身（例如，通过将它们接通或切断，取决于它们是否应当出现在正在被捕获的图像中）被指示给他们。在可替换的实施例中，用户可以自由施行任何扫描运动并且相机设备已经移动的角度量程可以使用传感器和/或图像数据通过照明控制应用程序来映射。

在步骤S502b，控制各照明器中的每一个以便呈现光照图案。该步骤并行地（即与步骤S502a同时地）发生。

多个子图像的捕获可以与光照图案的呈现同步。例如，如果物理空间中的各照明器的次序（例如从左到右）是已知的，则可以在捕获全景图像时（例如，当用户从左到右移动他们的相机设备时）按顺序控制各照明器。当用户将相机指向物理空间中的左侧时，处于那个部分的照明器被控制并且接下来当用户跨物理空间平移相机时处于中间的在右侧的照明器被控制。

当扫描运动由用户施行时（步骤S502a），可以使用从相机接收到的图像数据和/或从被耦合到相机的独立传感器接收到的传感器数据跟踪相机设备的移动。该数据进而可以被用来控制在步骤S502b呈现的光照图案。例如，跟踪可以包括在扫描运动期间的多个时间中的每一个时间确定照明器中的哪一个在那个时间位于最靠近相机设备的光学轴并且控制那个照明器，以便在那个时间隔离其贡献。下面更详细地描述不同类型的光照图案。

在一些实施例中，可以控制各照明器以便呈现静态光照图案。即，在全景图像的捕获期间被接通的各照明器的数量或组合，可以随时间保持恒定。

例如，在一个实施例中，可以控制各照明器中的至少两个以便发射不同颜色（诸如不同的原色）的光。如果每个照明器发射不同原色的光，则可以通过标识被特定原色的光照射的、物理空间的区来确定来自各照明器中的每一个的光照的贡献。如果各照明器的颜色输出是已知的，则通过应用合适的颜色图像处理，可以使用非原色实现相同的功能。

在图2的示例中，照明器202可以被设定为原色红，照明器204可以被设定为原色绿以及照明器206可以被设定为原色蓝。控制单元216可以向三个光照源中的每一个发射信号以确保每个照明器发射不同原色的光。

在可替换的实施例中，呈现静态光照图案可以包括控制各照明器中的至少一个发射用于那个照明器的标识符被调制于其中的光，即发射编码的光，在该编码的光中光源的标识符被编码。例如，在一个实施例中，可以控制各照明器中的每一个以便同时发射编码的光。然后可以标识相应照明器中的每一个，当用户的相机设备遇到每个照明器时，在那个相机设备或连接设备上运行的应用程序提取相关联的标识符。

在可替换的实施例中，光照图案可以是在捕获全景图像时改变的动态光照图案。可以改变光照图案以便隔离来自各照明器中的每一个的光照的贡献。可以响应于用户已经开始利用他们的相机设备施行扫描运动的检测来呈现动态光照图案。例如，在用户设备上运行的应用程序可以响应于检测到用户已经初始化全景图像捕获模式并且当在那个模式下相机设备已经被移动而向控制单元216发射信号。

在一些实施例中，呈现动态光照图案可以包括改变由各照明器中的至少两个发射的光的强度，使得在作为全景图像的部分被捕获的各子图像中的至少两个中，来自各照明器中的每一个的强度的不同组合被捕获。

例如，当捕获第一子图像时，动态光照图案可以确保第一照明器处于发射状态（即被接通并且发射光）且第二照明器处于非发射状态（即被切断并且不发射光）。当用户捕获第二子图像时，动态光照图案可以确保第一照明器处于非发射状态且第二照明器处于发射状态。

动态光照图案可以在全景图像的捕获期间在给定时间点改变被接通或被切断的照明器的数量和/或组合。在给定时间点被接通的照明器的数量或组合可以取决于由用户施行的扫描运动。例如，给定照明器是被接通还是被切断可以取决于那个照明器是否被期望出现在步骤S502a正在捕获的单独子图像中。以这种方式，在步骤S502b呈现的光照图案（在一定程度上）与在步骤S502a正在捕获的图像同步。稍后更详细地描述这个具体的实施例。

在可替换的实施例中，可以通过改变由各照明器中的至少两个发射的光的颜色来呈现动态光照图案，使得在多个图像中的至少一些中，来自那些照明器中的每一个的颜色的不同组合被捕获。

如果物理空间包含多于三个照明器，则仍然有可能通过使每个照明器发射不同原色的光来隔离来自它们中的每一个的光照的贡献。尽管在一些情况下，需要附加的措施以分离贡献。如果各照明器中的两个或更多发射相同原色的光，则在子图像中的一个或多个中的原色的检测不能再被归结于单个照明器。如果两个相邻的照明器发射相同的原色并且对物理空间的同一个区的光照都做出贡献，则可以基于空间的那个区的图像使用附加的措施来标识两个独立照明器的存在。

例如，在全景图像中存在多于三个照明器的情况下，各光照源可以循环各原色之间的随机顺序的颜色改变。因此，如果两个相邻的照明器碰巧被设定处于相同的原色，则在下一颜色设置期间（例如1s之后），这两个照明器更可能处于不同的颜色设置。这确保了来自各照明器中的每一个的颜色的不同组合在包括全景图像的多个图像中的至少一些中被捕获，并且因此，来自它们中的每一个的光照的贡献被区分（即被标识）为源自独立的传感器。

在可替换的实施例中，动态光照图案可以控制各照明器中的每一个的发射状态以确保当每个照明器正在被一个或多个子图像捕获时，它发射编码的光。如果照明器不出现（或者不被期望出现）在正在被捕获的子图像中，则动态光照图案可以确保它们不发射编码的光。以这种方式，在步骤S502b呈现的光照图案与在步骤S502a捕获的图像同步。

在一些实施例中，当用户将他们的相机设备移到新的方位时（即当用户施行扫描运动时），相机设备可以在相机设备处于那个方位处时捕获落在相机设备的视场内的、物理空间的区的多个子图像。即，在不同的时间点被捕获的子图像中的至少两个可以覆盖物理空间的同一个区。

动态光照图案可以改变由各照明器中的每一个输出的光的强度，使得针对每个照明器捕获物理空间的（同一个）区的子图像，其中仅那个照明器处于发射状态。因此，物理空间的特定区的多个子图像中的每一个将包含来自单个但是不同的照明器的光照的贡献。这是在步骤S502b呈现的光照图案可以与在步骤S502a正在捕获的图像同步的另一方式。稍后参考图6更详细地描述这个具体的实施例。

在步骤S503，在步骤S502a捕获的单独图像被拼接在一起以形成一个或多个全景图像。如先前提到的，全景图像的视场覆盖了比单独子图像更宽的视场。

在步骤S504，处理一个或多个全景图像以便确定各照明器中的每一个在物理空间中的相对方位。现有技术可以被用来实现这一点，例如本领域公知的，例如，通过捕获（例如，使用Sensopia MagicPlan）物理空间的全景图像，可以生成针对那个物理空间的电子平面图。

可以基于全景图像中的被标识的照明器中的每一个的相对方位来确定各照明器中的每一个在物理空间内的相对方位。换句话说，全景图像提供了各照明器在物理空间中的位置与各光照源在全景图像中的位置之间的映射。用户不需要手动地指示全景图像中的灯的方位，或者手动地分配全景图像中的哪个照明器对应于照明控制系统中的具有具体通信地址的具体照明器。然而，不排除在标识各照明器时使用手动输入的可能性。

在步骤S504，全景图像被用来提取物理空间中的、各照明器的位置，例如，以便创建各照明器的平面图，或者任何其它形式的二维或三维地图，该地图表示在由全景图像覆盖的宽视场内各照明器在物理空间内的相对位置。

在步骤S505，基于在步骤S502b光照图案的呈现期间在步骤S502a捕获的单独图像，确定来自各照明器中的每一个的光照的贡献。

在光照图案的呈现期间，可以通过确定由特定照明器在物理空间的表面上投射的至少一个光照占用区域的形状、大小和/或位置，来确定来自那个照明器的光照的贡献。照明器可以在由该照明器投射的光照可以与由其他照明器投射的光照区分开的意义上投射光照占用区域。可以处理单独子图像中的每一个以便确定包含来自特定照明器的光照占用区域的、物理空间的区。

在步骤S506，各照明器中的每一个的所确定的相对方位和来自它们中的每一个的光照的所确定的贡献被用来呈现由用户选择的照明场景/效果。

该过程以步骤S507结束。

在本公开的某些实施例中，可以基于两个全景图像的捕获来确定来自各照明器中的每一个的光照的贡献。下面详细地描述这种实施例。

在第一全景图像的捕获期间，在用户设备上运行的应用程序确保各照明器中的全部都是被接通的。这在图3中被示出。

如先前描述的，可以基于各照明器在全景图像中的相对位置来确定各照明器中的每一个在物理空间中的相对位置。例如，全景图像可以包含更明亮和更黑暗的区，所述区对应于被各种照明器更多和更少照射的、物理空间的区。应用程序可以基于全景图像内更明亮的（或者最明亮的）区出现的不同位置来标识独立照明器的存在。

除了处理全景图像之外，应用程序可以处理每个单独子图像以便确定另一参数，根据该参数可以确定各照明器中的每一个在物理空间中的相对位置。

例如，由相机设备捕获的每个子图像可以与时间戳相关联，该时间戳对应于相对于用户利用他们的相机设备开始施行挥扫（即扫描）运动时的时间点、捕获该子图像时的时间点。

应用程序可以针对全景图像中被标识的每个照明器标识子图像，在该子图像中来自那个照明器的光照的贡献处于最大强度值。与该子图像相关联的时间戳可以对应于用户正在直接面向那个照明器（即照明器在用户的/相机的视场的中心处）时的时间。

对于对应于从特定照明器捕获的光的最大强度值的子图像中的每一个，应用程序可以记录（即存储）相关联的时间戳。通过这样做，应用程序可以确定用户何时遇到了各照明器中的每一个。例如，在第一全景图像的捕获期间，应用程序可以确定用户在0.5s、1.5s和2.5s的相应时间遇到了第一、第二和第三照明器。

可替换地，应用程序可以基于相机设备在第一全景图像的捕获期间的取向和/或位置，来确定各光照源中的每一个在全景图像内的相对方位。例如，由相机设备捕获的每个子图像可以与相机设备的陀螺仪方位相关联，其中陀螺仪方位提供了相对于相机设备在全景扫描开始的位置和/或取向、对于相机设备的位置和/或取向的改变的指示。

应用程序可以针对子图像记录（即存储）相机设备的陀螺仪方位，在所述子图像中来自特定照明器的光照的贡献被标识为正处于最大强度值。在第一全景图像的捕获期间，当用户正在直接面向照明器时，这些陀螺仪方位可以对应于相机设备的位置和/或取向。

在可替换的实施例中，每个照明器可以发射编码的光，在该编码的光中编码了针对那个照明器的标识符。可以捕获每个照明器的多个子图像并且可以比较子图像中的每一个，以便提取针对那个照明器的标识符。每个标识符对于其相应的照明器可以是独一无二的。应用程序可以针对每个单独的照明器记录标识符被提取时的时间，并且在第二全景图像的捕获期间，使用这个来确定用户何时可能遇到那个照明器。

在第一全景图像的捕获之后，应用程序然后可以提示用户捕获第二全景图像。由用户在第二全景图像的捕获期间施行的挥扫运动应当匹配由用户在第一全景图像的捕获期间施行的挥扫运动，并且应当覆盖物理空间的基本上相似的视场。这是因为已经基于用户设备在第一全景图像的捕获期间的时间戳/陀螺仪方位确定了各照明器中的每一个在物理空间内的相对方位。

如上面描述的，由各照明器呈现的光照图案将取决于如在第一全景图像中被标识的各照明器的相对位置。

基于针对每个标识的照明器的时间戳/陀螺仪方位，应用程序可以确定作为第二全景图像的部分正在被捕获的子图像是否对应于其中照明器被期望出现且提供主导光照贡献的、物理空间的区。如果正在被捕获的子图像不对应于其中标识的照明器被期望出现且提供主导光照贡献的子图像，则应用程序可以确保所有其它照明器都被切断，并且仅有的光照贡献来自被期望出现在正被捕获的子图像中的照明器。

例如，如果在第一全景图像的捕获期间被记录的时间戳（如上面描述的）被用来控制由各照明器中的每一个输出的光的强度，则在第二全景图像的捕获期间，应用程序可以确保每个照明器在用户预期遇到那个照明器时的时间附近仅被接通一小段时间。

返回到上面描述的先前的示例，应用程序可以确保在大约0.5s（例如±0.07s）仅第一照明器被接通，在大约1.5s（例如±0.07s）仅第二照明器被接通，并且在大约2.5s（例如±0.07s）仅第三照明器被接通。这里，如之前那样，时间指的是自从开始全景图像的捕获所过去的时间。

然后可以处理作为第二全景图像的部分被捕获的单独图像，以便确定来自各照明器中的每一个在照射物理空间时的单独贡献。

在一些实施例中，应用程序可以在第二全景图像的捕获期间向用户指示用户应当利用相机设备以多快速度施行挥扫运动。例如，图标（诸如箭头）可以被呈现在用户的相机设备的显示器上以指示用户是否应当更快速地或缓慢地移动（例如旋转）相机。

附加地或可替换地，照明器自身可以被用来提供用户应当多快地移动相机设备的指示。例如，照明器的切断可以向用户指示用户应当旋转他们的相机设备远离那个照明器。相反地，照明器的接通可以向用户指示用户应当朝向那个照明器旋转他们的相机设备。

在一些实施例中，可以在单次移动中连续地捕获两个全景图像。例如，可以要求用户从全景图像的中部（即，在他们意图捕获的物理空间的视场的中心处）开始捕获全景图像。然后可以要求用户在将相机设备移动回到中心之前将他们的相机设备移动到全景图像的最右侧和最左侧。以这种方式，物理空间的每个区域都被捕获两次，而没有给用户以两步过程的感觉。

应当注意的是，在各照明器中的每一个都发射不同原色的光的实施例中，单个全景图像足以用于确定来自各光照源中的每一个的光照的贡献。这是因为在用户设备上运行的应用程序可以区分在全景图像中出现的不同原色，并且因此可以确定物理空间的哪些区包含来自具体照明器的贡献。

在进一步的可替换的实施例中，可以基于“单个”全景镜头的捕获来确定来自每个照明器的光照的贡献，其中物理空间的同一个区的子图像被捕获多次。这里，术语“单个”指的是要求用户施行单个挥扫运动（例如从左到右）的事实。因此，对于用户而言，感觉好像正在捕获单个全景图像。实际上，可以基于由用户施行的单个挥扫运动由应用程序生成多个全景图像。这在下面关于图6描述。

如图6中可见的，用户在具有照明器A、B、C和D的物理空间中。应用程序提示用户以缓慢速度捕获全景图像，例如，通过提示用户从左到右缓慢地挥扫他们的相机设备，如图6中示出的。

在全景图像的捕获期间，用户首先遇到照明器A。应用程序确保照明器A的光输出是开启的并且其他照明器（B、C和D）中的全部都被切断。应用程序然后捕获子图像1.A。随后，应用程序确保第二照明器（B）被接通并且其他照明器（A、C和D）中的全部都被切断。应用程序然后捕获子图像1.B。

按照这个模式，应用程序然后确保第三照明器（C）被接通并且所有其他照明器（A、B和D）中的全部都被切断。应用程序然后捕获子图像1.C。

最后，应用程序确保照明器D被接通并且其他照明器（A、B和C）中的全部都被切断。应用程序然后捕获子图像1.D。

在图像1.A-1.D的捕获期间相机设备保持静止，即物理空间的同一个区在图像1.A-1.D中都被捕获。

当用户从左到右移动他们的相机设备时，上面的循环被重复。因此，对于相机设备在全景图像的捕获期间的每个方位，捕获与物理空间中存在的照明器相同数量的子图像。例如，如果物理空间中存在五个照明器，则当施行先前描述的挥扫运动时，每次用户将相机设备移动到新的方位就捕获五个子图像。

这个过程针对相机设备在全景扫描内的每个相对方位生成所有的排列，在所述排列中在一时间各照明器中仅一个被接通，并且所有其他的照明器都被切断。换句话说，对于相机设备在全景扫描内的每个相对方位，在那个方位处被捕获的子图像中的每一个都包含来自单个但是不同照明器的光照的贡献。

在由图6图示的示例中，在单个扫描中以交错方式在各时间点捕获四组单独的图像102A-102D。通过将各组单独图像102A-102D彼此分离，针对每个组生成全景图像。在图6的示例中，这导致四个全景图像302A-302D的生成，其中每个全景图像包括来自对应组的单独图像。

位于物理空间内的照明器的数量典型地是控制单元216已知的（例如，客厅中的3盏灯、卧室中的2盏灯）并且因此可以被用来确定针对相机设备在全景扫描期间的每个相对方位被捕获的子图像的数量。

应用程序可以知道各照明器中的每一个被接通的次序（即顺序），并且可以使用这个来确定标识向正在被捕获的、物理空间的区提供主导光照贡献的照明器。例如，对图像1.A-1.D的比较可以揭示图像1.A包含最高强度的光，并且因此，照明器A提供物理空间的这个区的主导光照贡献。

应用程序可以通过将其中该照明器被接通了的各子图像中的每一个拼接在一起来针对每个照明器生成单独的全景图像。这在图6中被示出。例如，在“单个”全景图像的捕获期间，可以通过将图像1.A、2.A……n.B拼接在一起来生成针对照明器A的全景图像，其中n等于相机设备的不同方位的数量。因此可以基于那个全景图像中被照射的、物理空间的区来确定来自照明器A的光照的贡献。

在可替换的实施例中，在全景图像的捕获期间无论何时遇到新的照明器，应用程序都可以向用户指示以在全景图像中的灯的方位附近保持向后和向前（例如左和右）扫描（同时房间中的灯被打开和关闭），直到全景图像扫描中的方位处的右侧灯已经被切换。因此，该过程标识全景扫描中的当前方位处的灯。

可以存在某个照明器（例如沙发后面的LivingColors ）不可见的情况，然而照明效果（房间角落的洗墙照明（wall washing））仍然正在对从最终用户的视角来看所享受的照明效果做出贡献。这在图3中的204b处被示出。应用程序可以通过允许用户将他们的相机设备对准被这个照明器照射的、物理空间的区域来便于对这些照明器的标识，并且应用程序可以提示用户手动记录照明器（例如，落地式生活颜色洗墙灯）的类型和机械高度。

为了定位用户的相机设备在全景扫描期间在每个子图像处正指向哪个灯，每个照明器可以与室内定位系统耦合；例如定位可以基于超宽带技术。每个照明器可以与一个或多个定位设备（诸如被集成到灯中的信标）集成，这使得智能电话能够辨别该智能电话正在指向哪个灯。可替换地，定位设备可以独立于照明器自身。

在可替换的和/或附加的实施例中，代替常规相机101或除了常规相机101之外，激光或3D相机被用于从最终用户的视角来对周围空间进行映射。此外，代替全景图像302，可以根据扫描期间被捕获的图像中的至少一些来生成运动图像（例如视频文件或多个视频文件）。

可以在其中使用上面描述的技术的使用案例是标识落在静止用户的视场内的照明器。这进而可以被用来控制落在那个视场内的照明器。

图7图示了用于基于用户的视场控制多个照明器的一系列方法步骤。

该过程以步骤701开始。

在步骤702，静止用户通过旋转他们的相机设备捕获全景图像。当相机设备被旋转时，多个视场被捕获，每个视场对应于相机设备在该特定的旋转角度下的视场。

相机设备的视场覆盖物理空间的一角度范围（即体积）。被相机设备捕获的物理空间的角度范围可以被定义为相对于某一轴（诸如例如透镜的光学轴）的角度量程。这在图8中被示出。由全景图像覆盖的角度量程大于由单独图像覆盖的角度量程（因此，全景图像具有比单独图像更大的视场）。

全景图像的视场还可以大于捕获全景图像的用户的视场。例如，全景图像是360°全景图像（并且因此覆盖360°的角度量程）。在一些实施例中，可以指导用户旋转他们的相机设备通过预定角度量程（例如360°）。因此，扫描运动可以对应于相机从初始预期取向（例如0°）到另一预期取向（例如360°）的旋转。

为了确定物理空间内的各照明器中的哪些落在用户的主要视场内，处理全景图像以便确定用户的主要视线。当捕获全景图像时，用户的主要视线是当采取静止方位时沿着他的/她的主要面向方位的用户的视线。例如，可以通过假设用户在全景图像的中心处（例如对于非360°图像）、或者在全景图像的边缘处（例如对于360°图像）来确定用户的主要视线。

附加地或可替换地，可以基于图像分析来确定用户的主要视线。例如，如果TV在黄斑视野区域中，那么TV的中心可以被设定为0°点。在这个具体的示例中，假设用户正舒适地在他们的沙发上捕获沙发前面的全景图像，并且假设用户正是意图从物理空间内的这一方位控制照明器。

在可替换的实施例中，可以要求用户手动地选择全景图像上的对应于他们的主要视线的区域。

在优选的实施例中，基于全景图像的分析，自动标识主要视线。在一些实施例中，在标识用户的视场内的照明器之前，可以要求用户确认被应用程序标识（通过处理全景图像）的主要视线是否正确。例如，全景图像中的TV的中心可以被高亮突出以指示这已经被标识为对应于用户的主要视线。

为了确定各照明器中的哪些落在用户的主要视场内（即照明器相对于用户的主要视场的相对位置），还将需要确定由全景图像覆盖的角度量程。角度量程可以从全景图像获取，例如基于直接包括在全景图像中的EXIF数据、基于相机类型的间接EXIF数据、可以被假设为70°（这对于点击和指向拍摄相机而言是标准的）；或者可以从用户获取。

在步骤704，标识全景图像中的照明器并且（可选地）确定来自它们中的每一个的贡献。这如上面关于图5描述的那样完成。

在步骤706，确定用户的主要视场。用户的主要视场对应于在用户的主要面向方向上的用户的视场，当他/她处于静止方位上时自然地倾向所述主要面向方向。

图8示出了用户210针对他的主要面向方向的平面图，在该平面图上他的主要视场由一组相对于用户的主要视线LOS（即当在他的主要面向方向上时他的视线）定义的角度量程指示。示出了黄斑视野区（“中心注视区”），对于普通人而言对应于距LOS大约0至18度的角度量程。黄斑区由用户的视网膜的黄斑定义。来自黄斑区中的对象的光直接落在用户的黄斑上，使得当用户正采取他的主要面向方向时它们对于用户而言看起来相对清晰和细致。示出了黄斑区的子区：旁中心区（0至8度）、以及中心区（0至5度），其也是旁中心区的子区。在黄斑区之外，示出了外围视野区，对于普通人而言对应于大约18-110度的角度量程。示出了三个子区：近外围区（18至30度）、中外围（30至60度）以及远外围（60至100度）。从这些区中的对象落下的光仍然落在用户的视网膜上，但是不是直接落在视网膜上，使得这些对象是可感知的但是看起来不那么清晰和细致。在外围区的外部，即对于普通人而言在大于大约110度的角度（其包括用户头部后面的空间，对应于直接在用户210后面的线的360度）处，对象对于用户是不可见的。注意，当用户转动他的头或向上看、向下看或看向一侧时，他的视场改变，但是用户具有返回到他的主要面向方向的自然倾向，因此他的主要视场才是与他的照明系统的体验最为相关的。虽然图8中仅示出了一个角度维度，但是主要视场可以由围绕LOS的二维角度量程（例如极坐标和方位坐标对）定义。

确定用户的主要视场包括确定主要视线LOS，其对应于全景图像中的可以以多种方式（参见下面）标识的点。这可以是完全自动化的，或者通过由用户对这个点的手动选择来确定。另外，确定用户的主要视场可以包括：标识图像的至少一个区域，该区域对应于相对于主要视线LOS、跨用户视场的全部或一部分的角度量程（其可以是一维或二维的），例如，在最简单的情况下，对应于整个视域（黄斑视野区加上外围视野区）或者视域的一部分（例如仅黄斑区）的图像区域或多个图像区域、或者在任何粒度（例如，可以针对中心、中心前、近外围、中外围以及远外围区中的两个或更多个来确定独立的区域）下针对多个视野区中的每一个（例如黄斑和外围视野区独立地）的相应区域或多个区域。例如，然后可以基于各照明器相对于用户的主要视域的位置来对它们进行分类。在该上下文中，照明器相对于所确定的视场的位置意味着它与所确定的主要视线LOS的角度分离（在一维或二维上）。例如，可以基于它们是否在用户的主要视场内、或者使用更深入的分类法（例如，在一个或最简单的情况下，主要视场内的照明器可以被分类为黄斑和外围）、或者基于附加的粒度水平（基于黄斑和/或外围区中的一个或多个子区））来对它们进行分类。例如，图8示出了被标识为正在用户的主要视场的外围视野区中的两个照明器204、208，以及在用户的黄斑视野区中的第三照明器206。作为简单的示例，在来自用户的黄斑视野中的照明器的光可能比来自他的外围视野中的照明器的光更让人分心或不舒适的基础上，作为结果，可以调暗被标识为在用户的黄斑视野区中的照明器206发射的光的强度、或者可以降低它的色温以提高用户的舒适度。

如上面指出的，可以通过处理全景图像以便标识中心或边缘、标识可以被假设在中心处的对象（诸如TV）、或者通过请求用户经由在用户设备上显示的用户接口手动指示全景图像的中心来确定用户的主要视线。

一旦知道了用户的主要视线，就可以确定用户的主要视场。例如，针对用户确定的主要视线可以被用来定义用户视野内的中心点（即0度）。可以知道的是，人的视野对应于覆盖例如围绕中心点的+110°和-110°的角度量程的视场。因此，可以通过确定落在这个角度量程内的、全景图像的对应区域来确定用户的视场。

在步骤708，确定照明器相对于用户的主要视场的位置。这可以涉及：标识对应于用户的视场的、全景图像的区域中的照明器的位置并且确定这些位置对应的角度量程。例如，可以将用户的视场分割成各角度量程，例如中心注视区、旁中心、黄斑、近外围、中外围、远外围（参见图8），并且可以处理全景图像以便确定照明器位于（或者最靠近）各角度量程中的哪一个。

在步骤710，全景图像中被标识的照明器基于它们相对于用户的主要视场的位置而被控制。例如，这些照明器可以被视为属于一组，并且因此可以以不同于物理空间中的其它照明器的方式被控制。下面提供上面描述的方法的示例使用案例。

在开放式（open plan）办公室中映射照明系统

许多办公室工作者在开放式办公环境内具有他们的办公桌。对于办公地带X中的人们，具体的暗灯槽照明器可能在他们的外围视野中或在他们后面。对于办公地带Y中的人们，该同一照明器可能在用户的直接视场中（即，当用户坐在办公地带Y中他的/她的办公桌处时，在用户的中心注视区内）。因此，当照明器向两个办公地带贡献光时，关于由办公地带Y中的用户体验的光优化这个照明器的照明控制行为将是合乎期望的。

开放式办公室可以包括多个子空间，其中每个子空间由办公家具（诸如文件橱柜、植物或隔间分隔物）定义。在这样的办公环境中，合乎期望的是同一子空间内的照明器示出视觉上协调的光效果。例如，如果检测到用户（例如由各照明器中的一个检测到）存在于各子空间中的一个中，则可以合乎期望的是接通那个子空间中的全部照明器，即各照明器可以被标识为属于特定运动组（参见飞利浦专利US 7,242,152）。假设照明控制系统先前已经被委托的专家建立，但是在办公桌和橱柜的移动之后，需要根据新情况再一次重新调整（在界限内微调）系统行为。

例如，在灵活的办公空间中，办公家具的布置可以被频繁地重新布置（或者添加/移除新的件），而天花板中的照明系统在物理和控制逻辑方面这两者上保持不变。当照明系统被初始安装时，照明器A、B和C可能已经在同一开放式办公室子空间内，而照明器D和E在同一开放式办公室空间内的相邻的子空间中。然而，在文件橱柜的移位时，照明器C可能现在属于相邻的子空间（即，向那个子空间提供主导光照贡献）。这在图11a和11b中被图示，其中，作为隔断1010的移动的结果，照明器C被从办公室1100内的第一子空间移动到第二子空间。

本公开使得非专家（诸如设施经理或最终用户）能够基于全景图像的捕获来调整照明器的分组。如早前指出的，全景图像使得主要视线（并且对应的视场）能够被确定，并且因此使得落在那个视场内的照明器能够被标识。因此，每次办公室家具被重新布置时用户不需要手动选择属于特定组的照明器。此外，用户不需要依靠未考虑用户在物理空间中的方位的预编程的照明简档。

下面描述两个或更多照明器可以被标识为属于特定运动组的实施例。

当用户在全景镜头期间从左到右扫描时，第一天花板照明器A被接通并且然后当用户向右旋转相机时，它被切断并且天花板照明器B-E分别（即按顺序）被接通。先前已经参考图5描述了这一点。可以对于光效果的重叠区域做出估计：哪些照明器是不可见的（例如藏在橱柜后面）并且因此不导致眩光，以及天花板中的哪些照明器是视角（办公室工作者正从该视角体验光效果）的逻辑子空间的主要部分。基于此，那些照明器被配置为形成单个运动组，即，所有照明器都一致（in concert）对该组内的各照明器中的一个上的占用感测事件做出反应。即，如果一个照明器感测到运动，则全部照明器都被接通。

在可替换的实施例中，可以要求用户通过首先拍摄他的/她的主要观看方向的图像并且然后向左平移直到达到他的/她的观看方向的尽头来捕获全景图像。在那之后，可以要求用户将相机设备向右平移，直到达到他的/她的观看方向的尽头，并且然后平移回到中心。这意味着图像的中心可以总是被标识为他的/她的主要观看方向，即他的/她的主要视线。以这种方式捕获全景图像还意味着对于物理空间的每个区，可以捕获两个子图像。因此，有可能的是，当用户施行相机设备的“一个”连续移动时，在不同的光设置下，捕获物理空间的同一个区。如早前描述的，在不同的照明设置下捕获物理空间的同一个区可以被用来确定来自照射物理空间的那个区的各照明器中的每一个的光照的贡献。

将照明器分组成运动组可以应用于例如居住应用中的花园照明。例如，无论何时花园的特定子空间中的各照明器中的一个检测到用户的移动，被确定为在用户的视场中的一组照明器就可以被标识为照射那个子空间，并且可以被接通或切断。

可替换地，全景图像可以被用来决定在照明器中激活哪个照明控制行为简档。当前技术水平的照明控制系统（诸如飞利浦空间智慧（Philips SpaceWise））以预先包装开箱即用的应用解决方案为特征，同时还提供了调节房间光水平和针对用户的期望条件在现场控制行为的技术灵活性。根据照明器的安装位置，用于开放式办公室、私人办公室、会议室、走廊和紧急出口的预定义应用模式中的一个被激活（系统使用分布式智能，其中照明器而不是中央控制器决定照明器的光水平）。

在本发明中描述的全景成像处理可以被应用于在现场决定照明器是在开放式办公室办公桌工作人员的视场、私人办公室还是走廊中。无论何时重新布置办公室家具，都可以通过全全景映射处理容易地更新照明简档。

特别是在办公室环境中，允许用户根据任务调整相关照明器的光水平可以是有用的；比如，针对屏幕工作的低勒克斯照明、针对文书工作的高勒克斯照明。可以从不同办公室工作者正享受光效果的多个位置发生全景镜头，并且系统可以考虑到一个用户想要做文书工作而同一开放式办公室空间中的另一用户正忙于在计算机上CAD绘图。比如，总共四个人可以从他们相应的工作区域拍摄图像以表示他们从他们的工作位置（在眼高处以具有120C表示用户的视场和周围环境；可选地，用户正面向的方向被用作用于优化的焦点）所看到的内容，并且随后系统提供仲裁。仲裁可能是有偏倚的：最有才能的员工或当前施行最困难任务的员工被提供更好的光。

可以实现上面描述的方法的另一环境是在仓库中，其中由于货架单元的移动/添加/移除的原因，仓库岛（warehouse isles）被重新配置。诸如叉车司机的用户可以在他们的驾驶路径内（同时保持静止）从他们的视角捕获全景图像并且可以将被确定为在用户的视场中的照明器标识为形成单个运动组。在这种环境中，为了方便和安全，相机设备可以被方便地安装在叉车上。

注意，虽然在上面描述的实施例中，已经关于用户捕获多个图像作为全景图像的部分描述了该方法。但是在可替换的实施例中，用户可以捕获单个图像、或者将单个图像（不一定是全景的）加载到应用程序中，并且照明器相对于用户的视场的位置可以基于例如已知的图像处理技术来确定。图9示出了物理空间的360度图像和被确定为在用户的视场中的、全景图像的区的示意表示。

由于360度全景图像已经被捕获，并且已知人的视场小于这个（例如，在主要视线的任一侧覆盖100-110°的幅度，如图8中示出的），所以全景图像将不可避免地捕获未落在用户的主要视场内的、物理空间的体积。例如，再次回去参考图8，如果用户的初始方位对应于他们的主要视线，则当用户将他们的相机旋转到远外围角度量程之外（超过100-110°）时，由相机设备捕获的、空间的对应体积将在用户的主要视场之外，直到相机设备被旋转通过接下来的140-160°，回到下一远外围角度量程。即，在全景图像中被捕获的、物理空间的区相对于用户的主要面向方位将在他的/她的后面（并且因此当用户在他的/她的主要面向方位上时，在用户的眼界之外）。

在图9中示出的示例中，被确定为在用户的视场中的、物理空间的区被表示为阴影区。如在图8中，这些区对应于用户主要视线的左侧和右侧大约100-110°。照明控制应用程序可以确定照明器901、902和904在用户的主要视场内，而照明器903则不在。结果，应用程序可以确保照明器903不对用户的主要视场内的、物理空间的光照做出贡献，或者不向用户的主要视场内的、物理空间的光照提供最小贡献。

图10图示了相机设备的光学轴相对于用户的主要视线的旋转。

在图10的示例中，用户是静止的并且正面向对应于他的/她的主要视线的方向。这由面向由主要视线指示的方向的、粗体的用户210指示。当用户将相机指向这个方向（未示出）时，相机设备212的光学轴处于基本上平行于用户的主要视线。当用户捕获全景图像并且旋转他们的相机时，相机设备的光学轴被旋转远离用户的主要视线。在图10的示例中，用户已经向左旋转他们的相机，并且结果光学轴不再处于平行于用户的主要视线。如果用户将他们的相机设备旋转回朝向主要视线（例如，通过捕获360°图像，或者通过在相反的方向上旋转他们的相机设备通过相同的角度），则相机设备的光学轴可以处于基本上平行于用户的视线。

上面技术的附加使用案例允许基于选择的场景图像呈现照明场景。

本领域已知，通过选择场景图像中的主导颜色并且控制照明器呈现相匹配的颜色，来控制照明系统的照明器呈现由用户选择的图像的版本（“场景图像”）。例如，飞利浦色彩（Philips Hue）应用程序含有该功能。

在当前的照明应用程序中，当用户选择例如海洋上方的日落的图像作为他的/她的照明场景的基础时，该图像可以由蓝色（来自海）、橙色和黄色（来自太阳）的颜色表示。然而，当前这些颜色被随机应用到房间中的照明器，因此可能是由指向天花板的照明器示出蓝色并且跨多个照明器散射黄色。因此，虽然现有的系统能够通过照明系统提供场景图像颜色的如实再现，但是它们不能保证它们位置的如实再现。

上面描述的技术的另一使用案例通过以下方式提供了对于这个问题的解决方案：允许这种场景图像内的两种或更多种颜色由物理空间中的照明器呈现，使得颜色在图像中的位置被映射到物理空间中的对应的“照明器位置”。这允许照明器呈现场景图像的更准确的版本，因为在由照明系统呈现的版本中再创建了不仅场景图像中的颜色而且位置这两者。注意术语“照明器位置”在该上下文中一般意味着与照明器相关联的位置。这可以是照明器自身的位置，但是也可以是由那个照明器在物理空间的表面上创建的照明效果的位置（例如，落地灯的“照明器位置”可以是由落地灯向上投映的天花板上的光照占用区域的位置）。

每个照明器的方向性（即照明器的光照指纹（fingerprint）被主要投射的方向）可以根据所捕获的图像来确定。另外，还可以确定关于窗户的方位和大小（包括北-南取向）的知识；即，系统可以计及可以对物理空间的光照做出贡献的自然光源。当这个信息对于照明系统是已知的时，可以自动创建（和呈现）与场景的视觉表示匹配地更好的照明气氛。

控制照明器呈现场景图像的版本相当于被称为控制照明器呈现基于该场景图像的“场景”。在所呈现的场景的情况下，每个照明器具有其正在呈现场景图像中的一种或多种颜色的“角色”。

下面描述的实施例描述全景图像（或者更一般地，图像）如何可以被用来捕获自然和人工光照源的方位和方向性，以便给出更准确和感知上相似的图像（诸如“海洋上方的日落”）的表示。在优选的实施例中，在用户设备处运行的应用程序基于全景图像确定照明器最适合于照明场景中的哪些角色；这针对房间中的多个照明器中的每一个而被确定。

图12图示了用于基于多个照明器在物理空间中的位置以及两种或更多种颜色在图像中的位置来控制多个照明器的一系列方法步骤。

该过程以步骤S1201开始。

在步骤S1202，用户捕获物理空间的图像。例如，用户可以如早前描述（例如，在步骤S502a，图5）的那样捕获全景图像。在一些实施例中，用户可以捕获多个全景图像。

在步骤1204，例如基于各照明器在图像中的位置，确定它们中的每一个和/或它们的光照占用区域中的一个或多个在物理空间中的相对位置。可以如先前描述（如图5中的步骤S504中）的那样施行该步骤。

在步骤S1206，用户选择要由照明器呈现的场景图像。例如，用户可以使图像（诸如日落的图像）预加载到他们设备上，并且用户可以通过将它导入到照明控制应用程序中来选择该图像。用户可以以多种不同的方式获得所选择的图像，例如，该图像可以被从互联网下载、可以已经被用户在他们的用户设备上或经由另一相机设备在较早的时间捕获、或者可以已经被从一组被包括作为照明控制应用程序的部分的库存图像中选择。

在步骤S1208，处理所选择的场景图像以便在场景图像中选择至少两种颜色用于由照明器呈现。例如，用户设备处的应用程序可以执行从所选择的图像提取一组颜色的图像处理算法（或者使这种算法被执行）。图像处理算法可以通过确定图像的颜色调色板（即将图像转换为颜色的调色板）来选择所述至少两种颜色，其中颜色调色板是对应于场景图像中出现的颜色的一组颜色标识符/矢量。

例如，如果用户选择海洋上方的日落的图像，则图像处理算法可以提取蓝色、紫色（来自海）、橙色和黄色（来自太阳）的颜色。可以通过图像处理算法，例如，根据图像内的不同颜色的发生率（即频率）（例如，基于特定一组量程内的RGB/YUV值的发生率）和照明器呈现那些颜色的能力，来自动提取颜色。可以被很好地呈现的一组颜色在本领域中被称为照明系统的“色域”并且当选择颜色时可以考虑照明系统的色域。可以被照明器很好地呈现的颜色比起不能被照明器很好地呈现的那些颜色可以被更偏好地选择。此外，可以基于关于物理空间中的照明器的数量的预定知识（其可以是已知的，例如在控制单元216处并且被通知给用户设备）来确定选择的颜色的数量。例如，选择的颜色的数量可以与已知在物理空间中的、或者在用户的视场内的照明器的数量相同。

可替换地，用户可以使用例如取色器（其示出每种颜色或者当用户选择场景图像的区或在场景图像的区上方悬停时示出平均颜色）手动地选择每种颜色。然而，在优选的实施例中，基于例如颜色的发生率和照明器呈现那些颜色的能力，由图像处理算法自动地选择颜色。

确定至少两种选择的颜色在场景图像内的相应位置（在本文中被称为确定的场景图像位置）。应用程序可以确定所述颜色最通常在所选择的图像内哪里被找到。例如，对于颜色调色板中的被标识的每种颜色，可以通过标识场景图像的区（在该区中那种颜色是主导的）来确定针对那个位置的场景图像位置。

对于上面描述的日落图像，应用程序可以确定黄色和橙色主要在图像的中心处被找到并且蓝色和紫色主要在图像的顶部处和底部处被找到。可以使用例如本领域中公知的斑点检测算法来标识颜色在图像内的位置。这里，标识颜色的位置可以指的是标识被那种颜色平均而言（对应于与所选择颜色相似的一组颜色矢量的“平均颜色”）支配的、图像中的区。

在步骤S1210，将所确定的场景图像位置（即所选择的颜色在图像内的位置）与照明器和/或它们的光照占用区域在物理空间内的相对位置进行比较，使得对于所确定的场景图像位置中的每一个，各照明器中的相匹配的一个被标识。

这可以包括例如确定来自各照明器中的每一个的光照的贡献以便确定在物理空间（或者更确切的说，在步骤S1202在图像中捕获的物理空间的范围）内各照明器中的每一个将它们的光照（即以光照指纹的形式）投射到哪里。使用这个信息，可以不仅基于照明器的位置，而且基于从用户的视角来看被那个照明器照射的、物理空间的（多个）区，来将所确定的场景图像位置中的每一个映射到对应的照明器。因此，所确定的图像位置被映射到物理空间的对应区。该步骤还可以包括沿Z轴（即深度）补偿差异。更近的灯可以发射更低亮度下的颜色，更远离的灯可以发射更多的光以补偿差异。

在步骤S1212，控制各照明器中的每一个以便呈现对应于相匹配场景图像位置处的颜色的颜色。对于上面描述的日落图像示例，这将意味着可以控制主要在物理空间的顶部和底部处（或者在那些方向上投射它们的光照）的照明器以便呈现蓝色或紫色颜色。可以控制主要位于水平和垂直两者的中心处（或者将它们的光照投射到物理空间的这个区）的（多个）照明器，以便呈现黄色或橙色颜色。基于照明器相对于用户的方位和关于每个照明器在物理空间内将其光照投射到哪里的知识，将来自场景图像的颜色正确地映射到照明器是有益的。例如，地板上的照明器仍然可以使它的大部分光效果（光照占用区域）指向天花板。

如指出的，位置不一定意味着图像中的单独的像素或甚至（x、y）位置，它可以例如指的是图像的区，在该区中窄范围的颜色是主导的。对呈现场景图像中的颜色的照明器的引用并不一定意味着精确匹配的颜色，例如，图像颜色可以被稍微变换以使其进入照明器的色域中。

还应当注意的是，除了所确定的场景图像位置之外的信息可以被用来控制由各照明器中的每一个输出的光。例如，可以控制照明器以便考虑日时以及来自除了照明器之外的源的光照的贡献。可以基于对于在步骤S1202捕获的图像的处理来确定来自除了照明器之外的源的光照的贡献。稍后更详细地描述这一点。

图13a和13b图示了场景图像（1302）和物理空间的全景图像（1300）的示意表示，在该物理空间中照明器A-F对于用户是可见的。由各照明器中的每一个输出的光的方向性由图中示出的箭头指示。图13b中示出的阴影区示出了来自各照明器中的每一个的光照的贡献的2D表示。

可以处理在步骤S1202（图12）捕获的图像以便确定下面五个特征中的至少一个：

每个光源的方位

每个光源的方向性

对于每个光源而言对物理空间中的光效果的空间贡献（例如，由各照明器中的每一个照射的、物理空间的区域/体积，即贡献）

从用户的视角来看对光效果的相对贡献（考虑例如照明器的强度轮廓和用户与照明器之间的距离）

物理空间中的任何窗户的方位和大小（包括北-南取向）。

使用该信息，有可能通知系统关于从用户的角度来看、从各照明器中的每一个对照明场景的单独贡献。

可以使用上面描述的方法的一示例实施例是在住宅客厅中。

例如，基于场景图像中的所选择的颜色和照明器在物理空间中的位置之间的映射，可以将对于具体照明场景而言最优的角色分配到每个照明器。比如，在如场景图像1302中示出的场景“海洋上方的日落”中，表示蓝色海洋的灯应当位于物理上靠近地板，而表示太阳的灯应当位于更高但是中心地位于房间中。

可以经由全景图像确定关于照明器的方位的信息。当用户从他的/她的视角捕获全景图像时，关于图像中灯的信息可以被自动地捕获（例如，经由编码的光或使用例如信标的精确室内定位技术）或可以由用户通过指示照明器在全景图像中的方位而稍后添加。在一个实施例中，精确定位可以涉及公知的超宽带技术（诸如由SevenHugs遥控使用的那个）的使用。可以以参考图5和7先前描述的方式中的任何一种来确定照明器的方位。

基于所捕获的全景图像和各照明器中的每一个的方位，系统（或者，在优选的实施例中，应用程序）可以根据全景图像生成照明气氛图像。该图像被示出为图13b中的图像1300b。照明气氛图像在2D空间中示出了来自各照明器中的每一个的光照（带阴影的）的贡献。如可以在图像1300b中看见的，照明器A、B、C、D、E和F每个投射相应的光照指纹1304、1306、1308、1310、1312和1314。

如图13b中可见的，系统已经确定灯A、B和F在用户对于物理空间的视角的底部处具有它们的主要效果（即主导贡献）。结果，这些照明器被选择以便呈现对应于场景图像1302中的海的颜色的颜色。灯C和D被确定为在用户的视角的中心处具有它们的主要效果，并且因此，被选择来表示太阳。灯E（尽管物理上位于F）被确定为在物理空间中的较高位置处具有其效果并且因此被选择以呈现场景图像1302的边缘处的橙色颜色。

在一些实施例中，场景图像位置和照明器位置之间的映射可以基于每个照明器如何基于用户的视场和视角对照明效果做出贡献。

这里，用户对于照明器的视角取决于用户和那个照明器之间的距离。例如，位于房间的中心处的静止用户可以具有视场F，该视场F在他们的主要视线（参见图8）的任一侧覆盖例如100-110度的角度量程。从物理空间内的这一点，由给定的照明器（位于用户的视场内）发射的光可以被检测具有强度 I₁。如果用户在物理空间内向前移动，但是保持使得他的/她的主要视线在同一方向上，则用户的视场（即F）将仍然是他们的主要视线的任一侧的100-110度，但是他们的视角将已经改变。如果用户已经例如朝向一照明器移动，则由那个照明器发射的光可以被检测具有更高的强度I₂（因为在那个方位处还没有在这样大的表面区域上分布光）。因此，基于用户的视角，确定来自用户的视场内的各照明器中的每一个的贡献是有用的。

例如，消费者照明系统可以包括能够发射不同颜色和/或不同强度的光的多个照明设备（照明器）。第一灯（灯A）可以比第二灯（灯B）更靠近用户。这两个灯可以都在用户的视场内。灯A可以被额定为100流明且灯B可以被额定为500流明。为了创建日落场景，可以呈现两种颜色：用于明亮的太阳的橙色，和用于水（太阳在其后面落下）的蓝色。基于每个照明器的流明输出，系统可能选择灯B来呈现太阳，因为它具有更高的流明输出。然而，在这样做时，用户的视角（并且因此被用户体验的光的强度）未被考虑，从而导致次优的照明场景。

当用户从他的/她的视角捕获全景图像时，可以确定从用户的视角看见的、来自各照明器中的每一个的光照的贡献。例如，灯A非常靠近用户的事实意味着它实际上看起来比灯B更明亮。可以确定所检测到的强度之间的比率；例如，对于灯A这可以是例如7x并且对于灯B这可以是0.8x，其中x可以是强度的通用单位。当将该比率考虑在内时，灯A将是用于呈现场景中的太阳的合乎逻辑的选择，因为它是对于用户而言看起来更明亮的灯。

同样的方法可以被应用于提供间接光/颜色的贡献的照明器。例如，如果灯A紧邻黑色墙壁，那么将存在很少的间接光。如果灯B紧邻绿色墙壁，那么它将仅针对绿色的颜色提供间接光。全景图像中被捕获的间接光/颜色的量可以被用来确定各照明器中的每一个对于用户而言看起来有多么明亮（和/或物理空间的多少被它们照射到），并且因此被用来通知对用于呈现从场景图像选择的颜色的照明器的选择。

应当注意的是，为了确定一个照明器比另一照明器更远离用户，应当知道由每个照明器在源处输出的光的强度（例如流明水平）。

例如，在全景图像中出现的各照明器中的每一个可以被标识为具有相应的类型，对于该类型而言流明水平是已知的。可以基于例如从照明器自身接收到的信息（编码的光、定位设备等）或基于由用户输入的信息来将照明器标识为具有特定类型。

可以处理全景图像（或者作为全景图像的部分被捕获的一个或多个单独图像）以便将从特定照明器检测到的光的强度与已知由照明器在源处发射的光的强度进行比较。距照明器的距离和从那个照明器检测到的光的强度之间的关系可以是已知的（或被估计），并且被用来推断照明器和用户之间的距离。距照明器的距离和从那个照明器检测到的光的强度之间的关系，对于所有的照明器而言可以是相同的，或者可以特定于每种类型的照明器。这种关系可以被用来确定用于各照明器中的每一个的比率（如先前针对灯A和B所描述的），并且因此确定各照明器中的哪一个位于最靠近用户。这可以在用户设备处（即通过应用程序）施行，和/或通过单独的设备（诸如桥接器）施行。

下面描述在呈现照明场景时考虑用户的视角的示例使用案例。

住宅设置中（即在家）的用户可能正在施行瑜伽锻炼并且可能希望使用她的视场中的照明器来呈现照明场景。当用户正在躺在她的瑜伽垫上时，她的眼睛高度（水平高度）可能是非常低的；因此台式照明器可能仅适合于表示天空中高高在上的太阳，而放置在地板上的便携式Hue Go照明器可能最适合于表示日落。然而，如果同一消费者在锻炼之后正坐在同一房间中的高脚椅上享用饮料，则台式照明器可能变成最适合于在放松场景中实现日落功能的照明器。因此，当一个照明器体现瑜伽日落场景中的夕阳时，另一照明器将被用来表示在酒吧日落场景下放松时的太阳。这可以例如通过用户在不同的眼睛水平高度下捕获两个全景图像或通过跟踪用户的水平高度来遵守。

当呈现照明场景时，照明控制应用程序还可以考虑日时。

例如，从坐在沙发上的用户的视角来看，窗户可能在台式照明器的后面。因此，比如，与夜晚期间呈现的相同环境光效果的视觉效果相比，在这个台式照明器上呈现环境光效果在白天期间可能具有很小的视觉影响。

当确定每个照明器的强度设置（即，它们应当输出的光的强度）时也可以计及日时。例如，与例如中午相比，可以控制照明器以便在夜晚以不同的强度发射光；例如，根据情况，如果需要更多的光用于光照则为在夜晚的较高强度，或者为在夜晚的较低强度（可能是需要较少的光以供照明器在夜晚突出（stand out），例如，如果它正与白天期间的日光竞争）。

在一些实施例中，可以处理在步骤S1202捕获的图像（例如，全景的）以便确定不是照明系统的部分的、物理空间中的不可控光照源的至少一个光照特性。这里，术语“不可控光照源”指的是不能经由照明控制应用程序控制由那个源输出的光的强度或颜色的光照源。例如，自然光照源（诸如太阳）可以被认为是不可控光照源。

可以处理在步骤S1202捕获的图像以便确定光照源是否来自例如窗户，透过该窗户例如阳光正在照耀。可以基于一个或多个光照特性（诸如例如，与由那个光照源投射的光照指纹相关联的光谱线）来标识该光照源（“不可控的源”）。照明控制应用程序可以被预配置具有针对一个或多个已知光照源（诸如例如太阳、月亮、钠路灯等）的一个或多个预定光照特性，并且应用程序可以将这些与针对全景图像中出现的各照明器中的每一个确定的一个或多个光照特性进行比较。照明控制应用程序可以控制照明器，使得当在物理空间中呈现选择的照明场景时，对于该场景图像而言，计及了来自任何不可控光照源的光照的贡献。在一些实施例中，来自给定照明器的光照的所确定的贡献可以被用来确定那个照明器的一个或多个光照特性。

在更复杂的实施例中，应用程序可以能够基于例如在图像的特定区中检测到的光的大小、形状和强度来标识出现在图像中的任何窗户。应用程序还可以能够例如基于当窗户的图像被捕获时相机设备的取向来确定这些窗户面向的方向。使用该信息，应用程序可以被配置为预测来自例如太阳的光的强度，随着白天过去，太阳将透过那个窗户照耀。这进而在控制照明器以便呈现场景图像时可以被考虑在内。

在一些实施例中，可以捕获处于不受阻碍状态下的自然光照源（例如由阳光照射的窗户，其中任何百叶窗或窗帘都是打开的）的图像。可以处理该图像以便确定自然光照源的至少一个日间光照特性，诸如光的强度。然后可以要求用户捕获处于不受阻碍状态下的自然光照源的另一图像，并且可以处理该图像以便确定其至少一个夜间光照特性。例如，可以要求用户在夜间捕获物理空间的同一区（例如窗户）的另一图像。照明控制应用程序可以被配置为确定照明场景要被呈现的日时（该照明场景对应于选择的场景图像），并且可以使用自然光照源的所确定的日间和/或夜间光照特性来控制照明器，使得被呈现的照明场景的版本计及当前日时。例如，如果用户选择用于经由照明器在傍晚呈现的场景图像，则当呈现该照明场景时光照源的日间和夜间光照特性两者都可以被考虑在内（在这个示例中，可以基于日间和夜间光照特性来估计“傍晚时间”光照特性）。

上面描述的实施例使得用户能够利用全景映射来确定灯或传感器表示照明场景中的某些角色的适宜性。该角色可以与光源的方位相关，但是也可以是取决于日时，诸如在背景中具有面向南侧的窗户（从用户的视角）的装饰灯。上面描述的实施例可以被应用于消费者照明系统和专业照明系统两者。

在各种实施例中，可以实现下面阐述的各种增强中的一种或多种。

可以要求用户在不同的人工和自然光条件下拍摄附加的全景图像。例如，首先，可以要求用户切断所有常规的非连接光源；然后控制单元可以无线地切断（多个）照明器并且可以要求用户记录第一全景图像。随后，当全部照明器都被接通（可替换地，各照明器可以在一个接一个的基础上被接通或被调亮）时可以要求用户捕获第二全景图像。通过减去全景图像的亮度值，系统可以自动地估计光源物理地位于哪里以及它们在目标区域（例如，桌子）中的光分布。

对于颜色改变的照明系统的情况，用户可以在照明器被设定处于不同的（动态）色温/色谱条件的情况下拍摄全景图像。

可替换地或另外，当光效果将被用户享用时可以在不同的日时拍摄全景图像。

可替换地或另外，可以要求用户在夜晚期间捕获第一全景图像以消除自然光；当与白天期间捕获的第二全景比较时，可以标识对于房间照明的日光贡献。

可替换地或另外，可以要求用户在打开的（即未遮盖的）窗户百叶窗的情况下捕获第一全景图像并且随后在窗户百叶窗关闭的情况下拍摄照片。系统然后可以确定窗户位置和日光贡献。

可替换地或另外，用户可以在图片上指示物理房间结构（或者更一般地，物理空间的物理结构）和环境的尺寸。

可替换地或另外，可以要求用户将房间中的常规光源一次一个地接通并且在图片上指示对应的墙壁开关。

可替换地或另外，可以要求用户在全景图像上针对房间中的每个照明器指示对应的墙壁开关的位置；然后app确定哪些照明器共享相同的开关引线布线和壁箱位置。布线方案对于升级家庭自动化系统是重要的，所述家庭自动化系统具有有着继电器的市电电压无线墙壁开关和/或有着用于功率消耗监测的集成电力分表的市电电压墙壁开关。在一些实施例中，如果照明器是在直接平面视图中，那么基于在不同的发射流明水平下由相机所接收到的勒克斯水平，系统可以能够估计房间中的（相对）距离。

为了确保用户在拍摄多个全景时保持相同的视角，当捕获新的图像时先前的全景图像可以被显示为背景。如指出的，作为对于全景图像的可替代方案，可以替代地捕获视频（即运动图像）。因此，对全景图像的所有引用都同样地适合于运动图像。

将认识到的是，仅以示例的方式描述了上面的实施例。通过研究附图、公开内容和所附权利要求，本领域技术人员在实践所要求保护的本发明时能够理解并实现所公开的实施例的其他变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以实现在权利要求中记载的若干项的功能。在相互不同的从属权利要求中记载某些措施的纯粹事实并不指示这些措施的组合不能用于获益。计算机程序可以存储/分布在合适的介质（诸如与其它硬件一起提供或作为其它硬件部分提供的光学存储介质或固态介质）上，但是还可以以其它形式（诸如经由互联网或其它有线或无线电信系统）分布。权利要求中的任何附图标记不应当被解释为限制范围。

Claims (15)

1.一种控制照明系统的方法，所述照明系统包括至少两个照明器，所述照明器被布置为照射物理空间（200）以在所述物理空间中呈现选择的场景图像（1302）的版本，所述方法包括以下步骤：

利用成像设备（212）捕获所述物理空间的至少一个图像；

使用所捕获的至少一个图像来针对所述照明器中的每一个照明器确定与该照明器相关联的、所述物理空间中的至少一个位置；

从用户（212）接收对要被呈现的场景图像的选择；

处理所选择的场景图像以在所述场景图像中选择至少两种颜色用于呈现，并且确定所选择的颜色中的每一种在所述场景图像内的位置；并且

将所确定的场景图像位置与所确定的照明器位置进行比较，以便针对所确定的场景图像位置中的每一个场景图像位置标识所述物理空间中的所确定的位置中的相匹配的一个位置，并且控制与所述物理空间中的该位置相关联的照明器发射呈现该场景图像位置处的颜色的光照，由此使所述照明器在所述物理空间中呈现所选择的场景图像的版本。

2.根据权利要求1所述的方法，其中，在所述捕获步骤中，当所述用户利用所述成像设备施行扫描运动时捕获多个图像，所述方法进一步包括：

组合所述图像以生成合成图像（302），所述合成图像比起所述多个图像中的任何一个单独地而言覆盖更宽的视场，其中所述物理空间中的所述位置根据所述合成图像而被确定。

3. 根据权利要求1或2所述的方法，其中所述场景图像是：

由所述用户利用成像设备捕获的附加的图像，或

当被选择时从电子存储器检索到的存储图像。

4.根据任一前述权利要求所述的方法，进一步包括：

根据所述至少一个图像确定不是所述照明系统的部分的、所述物理空间中的不可控光照源的至少一个光照特性，其中控制所述照明器在基于所述不可控光照源的确定的光照特性计及所述不可控光照源的情况下呈现所述场景图像的所述版本。

5. 根据权利要求4所述的方法，其中所述不可控光照源是自然光照源。

6.根据权利要求5所述的方法，其中捕获处于不受阻碍状态下的所述自然光照源的至少一个图像以从其捕获日光，所述至少一个图像被处理以确定所述自然光照源的至少一个日间光照特性；并且

其中捕获处于不受阻碍状态下的所述自然光照源的至少一个另一图像，所述至少一个另一图像被处理以确定所述自然光照源的至少一个夜间光照特性；

其中所述控制步骤包括：确定当前日时，并且在使用所述自然光照源的所确定的日间和/或夜间光照特性计及所述当前日时的情况下呈现所述照明场景的所述版本。

7.根据任一前述权利要求所述的方法，其中在所述场景图像中自动选择所述颜色。

8.根据权利要求1至6中的任一项所述的方法，其中根据经由用户接口从所述用户接收到的一个或多个颜色选择指令来选择所述颜色。

9.根据任一前述权利要求所述的方法，其中与所述照明器中的至少一个照明器相关联的所述位置是该照明器在所述物理空间中的位置或由该照明器在所述物理空间的表面上投射的光照占用区域的位置。

10. 根据任一前述权利要求所述的方法，其中针对所述照明器中的至少一个照明器，所述捕获的至少一个图像还被用来确定以下的形状和/或大小：

该照明器，和/或

由该照明器在所述物理空间的表面上投射的至少一个光照占用区域。

11.根据任一前述权利要求所述的方法，其中通过确定所述图像的颜色调色板来选择所述颜色，所述颜色调色板是对应于所述场景图像中出现的颜色的一组颜色标识符。

12.根据权利要求10所述的方法，其中，针对在所述颜色调色板中标识的每种颜色，通过标识其中该颜色是主导的、所述场景图像的区来确定针对该颜色的所述场景图像位置，其中控制与所述物理空间的相匹配的区中的位置相关联的所述照明器中的一个或多个呈现该颜色。

13. 根据权利要求10至11中的任一项所述的方法，其中所述颜色调色板基于以下而被生成：

不同颜色在所述图像中出现的相应频率，和/或

所述照明系统的所述照明器的至少一种颜色能力。

14.一种计算机程序产品，其包括代码，所述代码存储在计算机可读存储介质上并且被配置为当被执行时实现任一前述权利要求中所述的方法。

15.一种用于控制照明系统的照明控制装置，所述照明系统包括被布置为照射物理空间（200）的至少两个照明器，所述照明控制装置控制所述照明系统在所述物理空间中呈现选择的场景图像（1302）的版本，所述照明控制装置包括：

-图像输入端，其被配置为从成像设备（212）接收所述物理空间的至少一个图像；

-图像处理模块，其被配置为使用所捕获的至少一个图像来针对所述照明器中的每一个照明器来确定与该照明器相关联的、所述物理空间中的至少一个位置；

-用户接口，其被配置为从用户（212）接收对要被呈现的场景图像的选择；

-颜色选择模块，其被配置为处理所选择的场景图像以在所述场景图像中选择至少两种颜色用于呈现，并且确定所选择的颜色中的每一种在所述场景图像内的位置；

-颜色映射模块，其被配置为将所确定的场景图像位置与所确定的照明器位置进行比较，以便针对所确定的场景图像位置中的每一个场景图像位置标识所述物理空间中的所确定的位置中的相匹配的一个位置；以及

-控制模块，其被配置为控制与所述物理空间中的该位置相关联的照明器发射呈现该场景图像位置处的颜色的光照，由此使所述照明器在所述物理空间中呈现所选择的场景图像的版本。