CN105393474B - 编码光分量的调制 - Google Patents

Abstract

将编码光分量调制到各自具有不同调制频率的多个信道中的一个上的发射光中。光中的调制导致接收相机经历由于多个帧的顺序捕获所致的表观时间频率和由于每一个帧内的空间部分的顺序曝光所致的表观空间频率。每一个信道可以由相机的检测模块基于对应于相应调制频率的表观时间和空间频率的值的相应组合来检测。检测模块具有作为表观时间频率的函数而变化的每一个信道上的相应响应。用于调制编码光分量的信道选自具有以下性质的预确定集合之中：每一个信道上的检测模块的响应将具有基本上在每一个其它信道的表观时间频率处的最小值。

Description

编码光分量的调制

技术领域

本公开涉及用于将编码光调制到从一个或多个照明设备发射的光中的调制频率的分配。

背景技术

编码光是指其中信号嵌入在由照明器发射的可见光中的技术。光因此包括用于光照诸如房间之类的目标环境的可见光照贡献（典型地，光的主要目的），以及用于将信息提供到环境中的嵌入式信号二者。为了这样做，以某个或某些调制频率来调制光。

在一些最简单的情况中，信号可以包括调制到来自给定照明器的光中的单个波形或甚至单个谐波。由多个照明器中的每一个发射的光可以利用在那些照明器之中唯一的不同相应调制频率来调制，并且调制频率然后可以充当照明器或其光的标识符。例如这可以使用在投用阶段中以标识来自每一个照明器的贡献，或者在操作期间可以用于标识照明器以便控制它。在另一示例中，通过将标识符映射到照明器的已知位置或与位置相关联的信息，标识可以用于导航或其它基于位置的功能性。

在其它情况中，包括更复杂的数据的信号可以嵌入在光中。例如使用频率键控，给定照明器可操作成在两个（或更多）不同调制频率上进行发射并且通过在不同调制频率之间切换来传送数据位（或更一般地，符号）。如果在相同环境中存在进行发射的多个这样的照明器，则每一个可以布置成使用不同的相应多个频率以执行其相应键控。

可以使用正常“滚动快门”类型相机来检测编码光，如通常集成到比如移动电话或平板电脑那样的移动设备中的那样。在滚动快门相机中，相机的图像捕获元件被划分成多条线（典型地，水平线，即行），其依次逐线曝光。也就是说，为了捕获给定帧，第一条线首先暴露于目标环境中的光，然后在略微较晚的时间处使序列中的下一条线曝光，等等。典型地，序列以横跨帧的次序“滚动”，例如在行中顶部到底部，因而名为“滚动快门”。当用于捕获编码光时，这意味着帧内的不同线在不同时间处捕获光并且因此，如果线速率相对于调制频率足够高，则在调制波形的不同阶段处捕获光。因此，可以检测到光中的调制。

EP 2,503,852描述了滚动快门类型技术可以如何不仅用于检测由编码光分量信令的身份或数据，而且在其中存在来自不同照明器的环境中所存在的多个编码光分量的情况中用于检测单独编码光分量的空间足迹。也就是说，可以根据所捕获的图像内的空间坐标（例如根据笛卡尔x和y像素坐标）来确定单独分量的幅度，其从来自其它一个或多个分量的贡献之中分离。例如，投用技术员仅需要使他或她的设备的相机指向目标环境中的场景，并且因此可以确定来自每一个照明器的单独贡献。

发明内容

检测来自编码光分量的信息（诸如其空间足迹）涉及多个帧之上的线序列（或更一般地，空间部分）的捕获。将合期望的是能够检测仅相对小数目的帧内的编码光分量。根据本公开，这可以通过将调制频率布置成选自预确定的频率的最优分离集合之中而实现，每一个预确定的频率限定相应信道。通过使用滚动快门过程等，相机将经历由于多个帧的顺序捕获所致的表观时间频率和由于每一帧内的空间部分的顺序曝光所致的表观空间频率。给定调制频率对应于将由相机经历的表观空间和时间频率的相应组合。另外，检测过程将具有每一个信道上的某个特性响应。响应是表观时间频率的函数，但是响应的形状还部分地是空间频率选择性的效果。这可以通过指出每一个信道上的响应将包括表观时间频率域中的“盲点”并且布置调制频率使得一个信道的表观时间频率落在另一信道的盲点中来进行利用。因此信道之间的干扰可以降低，并且给定编码光分量在相比于原本可能已经要求的相对更小数目的帧中区分。

因而根据本文所公开的一个方面，提供一种传送装置，包括用于控制光源发射光的输出，以及配置成将编码光分量调制到各自具有不同相应调制频率的多个信道中的所选一个上的光中的控制器。控制器配置有从具有以下性质的预确定集合之中选择的所述一个信道：每一个所述信道上的检测模块的响应将具有基本上在每一个其它所述信道的表观时间频率处的最小值。

在实施例中，装置可以包括用于控制多个照明设备的输出；以及配置成将相应编码光分量调制到从每一个光源发射的光中的一个或多个控制器，每一个在各自具有不同相应调制频率的信道的预确定集合的相应一个上。

在可替换或附加的实施例中，控制器可以配置成将多个编码光分量调制到从所述光源发射的光中，每一个在各自具有不同相应调制频率的信道的预确定集合的相应一个上。

根据本文所公开的另一方面，提供一种接收设备，包括：用于从相机接收图像数据的输入，其中光中的调制将使相机经历由于多个帧的接连捕获所致的表观时间频率；以及检测模块，其配置成检测调制到各自具有不同相应调制频率的多个相应信道上的光中的编码光分量，不同相应调制频率配置成基于表观时间而分离出每一个信道。相机还可以经历由于每一帧内的空间部分的顺序曝光所致的表观空间频率，并且检测模块可以配置成基于对应于相应调制频率的表观时间和空间频率的值的相应组合而选择性地接收每一个信道。在每一个所述信道上，检测模块具有作为表观时间频率的函数而变化的相应响应，并且包括基于表观空间频率的选择性接收的效果；并且每一个所述信道上的检测模块的响应具有基本上在每一个其它所述信道的表观时间频率处的最小值。

根据本文所公开的另外的方面，可以提供一种系统，包括传送装置和接收设备。根据又一方面，可以提供一种计算机程序产品，其体现在计算机可读存储介质上并且配置成以便在执行时施行传送装置和/或接收设备的操作。

在实施例中，检测模块的响应可以取决于在其之上检测编码光分量的数个顺序捕获的帧，并且预确定集合可以布置成具有针对所述数目的帧的所述性质。

例如预确定集合的调制频率可以基本上配置为：

其中是调制频率，是以其捕获帧的速率，N是要在其之上检测编码光分量的顺序捕获的帧的数目，并且k是除N之外的整数。

在另外的实施例中，响应可以在表观空间频率域中具有宽度并且在表观时间频率域中具有宽度，并且每一个信道上的调制频率可以通过至少表观空间频率域中的和表观时间频率域中的而从每一个其它信道分离。

在另外的实施例中，检测模块可以包括配置成选择信道的表观空间频率的滤波器，以及布置成选择表观时间频率的时间累积功能；其中响应可以包括滤波器和时间累积功能的效果。

例如所述滤波器可以包括加博滤波器并且时间累积功能可以通过以下描述：

其中是表观时间频率并且N是要在其之上检测编码光分量的顺序捕获的帧的数目。

在再另外的实施例中，检测模块可以配置成检测N个所述顺序捕获的帧的第一分组之上的编码光分量，以及然后执行N个所述顺序捕获的帧的一个或多个另外的分组中的每一个之上的检测的更新实例，其中分组可以在时间上重叠，包含一些相同帧。

附图说明

为了更好地理解本文所公开的实施例并且示出它们可以如何付诸实践，通过示例的方式参照附图，其中：

图1a示意性地图示了包括照明系统和相机的空间，

图1b是用于传送编码光的装置的示意性框图，

图1c是具有用于接收编码光的相机的设备的示意性框图，

图1d示意性地图示了滚动快门相机的图像捕获元件，

图1e示意性地图示了通过滚动快门对调制光的捕获，

图1f是滚动快门捕获过程的示例时序图，

图2示意性地图示了随时间捕获的图像和列堆叠，

图3示出时间列堆叠的示例片段，

图4示出列堆叠的示例频域变换，

图5示出频域中的示例列堆叠的信号能量，

图6示出加博滤波器内核的示例，

图7示出加博滤波器幅度响应的示例，

图8示出检测模块的示例幅度响应，

图9示出频率分配方案的示例信道拓扑，

图10示出检测模块的幅度响应的另外的示例，

图11示出检测模块的另一示例响应

图12示出另一示例信道拓扑，以及

图13a-13b示出检测模块响应的再另外的示例。

具体实施方式

图1a示出其中可以部署本文所公开的实施例的示例环境2。例如环境可以包括办公室、家庭、学校、医院、博物馆或其它室内空间的一个或多个房间和/或走廊；或者诸如公园、街道、体育场等之类的室外空间；或者另一类型的空间，诸如露台或车辆的内部。环境2安装有照明系统，包括以一个或多个照明器的形式的一个或多个照明设备4。一个或多个照明器还可以称为灯。出于说明性目的而示出两个照明器4i和4ii，但是将领会到的是可以存在其它数目。照明器可以实现在中央控制之下或者作为分离、独立的单元。

图1b给出例如可以用于实现一个或多个照明器4中的每一个的形式的照明器的框图。照明器4包括诸如LED、LED阵列或白热丝灯泡之类的照明元件14。照明元件还可以称为灯或光源。照明器4还包括耦合到照明元件14的驱动器12和耦合到驱动器12的控制器10。控制器10配置成向驱动器12输出信号以便驱动照明元件14发射期望的光输出。控制器10可以以存储在一个或多个计算机可读存储介质上并且布置成在包括一个或多个处理单元的处理器上执行的代码的形式实现。可替换地，不排除一些或全部的控制器10实现在专用硬件电路或诸如FPGA之类的可重配置电路中。控制器10可以本地实现在照明器4处或者可以与一个或多个其它照明器4共享的中央控制器处，或者这些的组合。一般地，组件10,12和14可以或者可以不集成到相同单元中。

控制器10配置成控制由照明元件14发射的光以便利用编码光分量以调制频率f_c进行调制。在实施例中，在相同环境2中可以存在多个照明器4i，4ii，每一个具有配置成将以相应调制频率f _c 调制的不同相应编码光分量嵌入到从相应照明元件14发射的光中的控制器10。可替换地或此外，给定照明器4的控制器10可以配置成将两个或更多编码光分量嵌入到由该相同照明器的照明元件14发射的光中，每一个以不同相应调制频率，例如以使得该照明器能够使用频率键控来嵌入数据。还可能的是，相同环境2中的两个或更多照明器4各自发射利用全部在不同相应调制频率处的两个或更多相应编码光分量进行调制的光。即因此第一照明器4i可以发射以多个相应调制频率的多个第一编码光分量，并且第二照明器4ii可以发射以第二、不同的多个相应调制频率调制的第二、不同的多个编码光分量。

在这些实施例中的任一个中，存在相同环境2中的多个编码光分量的倾向。从离散调制频率的预确定集合之中选择调制频率，所述离散调制频率依照以下描述的实施例进行分配以便具有最优分离。在实施例中，这可以意味着每一个照明器4的调制频率是预选的并且（多个）控制器10预配置有频率。其不一定意味着控制器10必须特别地确定频率，尽管不排除这种情况。在多个照明器4的情况中，每一个布置成发射以不同相应调制频率调制的光。在该场景中，至少多个照明器4可以描述为形成照明系统。然而将领会到的是，这不一定暗示任何形式的中央控制或照明器之间的通信。在实施例中，每一个照明器4的控制器10可以预配置有相关频率。可替换地，频率可以从中央控制器分配，或者各个照明器的控制器可以布置成在彼此之间通信来以分布式方式协商这些不同频率（例如当新的照明器被安装时，其询问一个或多个现有的其它照明器以确定哪些频率已经在使用中，并且然后选择尚未选取的集合中的一个）。

同样存在于环境2中的是用户终端6，其优选地为移动设备，诸如智能电话或平板电脑。

图1c给出移动设备6的框图。设备6包括具有二维图像捕获元件20的相机以及耦合到图像捕获元件的检测模块18。检测模块18配置成处理表示由图像捕获元件捕获的图像的信号并且检测从其捕获图像的光中的编码光分量。检测模块18可以以存储在一个或多个计算机可读存储介质上并且布置成在包括一个或多个处理单元的处理器上执行的代码的形式实现。可替换地，不排除一些或全部的检测模块18实现在专用硬件电路或诸如FPGA之类的可重配置电路中。一般地，组件16和18可以或可以不集成到相同单元中。

一个或多个照明器4配置成将光发射到环境2中并且从而光照该环境的至少部分。移动设备6的用户能够朝向从其反射光的环境2中的场景8定向设备的相机16。例如，场景可以包括诸如墙壁和/或其它物体之类的表面。由一个或多个照明器4发射的光从场景反射到相机的二维图像捕获元件上，其由此捕获场景8的二维图像。

图1d表示相机16的图像捕获元件20。图像捕获元件20包括用于捕获代表入射在每一个像素上的光的信号的像素阵列，例如典型地为可以根据笛卡尔类型x和y坐标寻址的方形或矩形像素的方形或矩形阵列。在滚动快门相机中，像素布置到多条线中，例如水平行22。为了捕获帧，每一条线依次曝光，每一个针对某个曝光时间T _exp 。例如首先顶部行22₁在时间T _exp 内曝光，然后在略微较晚的时间处向下的第二行22₂在T _exp 内曝光，然后再次在略微较晚的时间处向下的第三行22₃在T _exp 内曝光等等，直到底部行已经曝光。该过程然后重复以曝光帧的序列。

在例如EP 2,503,852中，已经描述了可以如何使用该类型的常规视频相机来检测编码光。信号检测采用滚动快门图像捕获，其使时间光调制转化成接连图像行之上的空间强度变化。

这在图1e中示意性地图示。当曝光每一接连线22时，其在略微不同的时间处并且因此（如果线速率相比于调制频率而言足够高）在调制的略微不同的阶段处曝光。因此每一条线22暴露于调制光的相应瞬时水平。这导致以给定帧之上的调制起伏或循环的条带图案。

而且，具有重复性质的编码光信号看起来具有接连图像帧中的不同空间漂移。在以相等时间间隔捕获相继帧的情况中，空间图案可以采取表观向上或向下爬行运动。

在其中存在多个编码光分量的环境中，每一个在不同调制频率上，以上描述的效果允许检测每一个编码光分量的分离空间足迹。也就是说，可能提取仅仅由于来自编码光分量中的单独一个的光所致的二维捕获图像的版本——即就像是仅被该编码光分量光照的场景8的图像，其中移除其它分量的效果。这可以针对存在的每一个不同编码光分量单独地进行，因而产生每一个针对相应一个编码光分量的多个空间足迹。例如，在不同分量由不同照明器4发射的情况下，该技术可以由投用技术员用于确定来自给定环境2中的每一个照明器4的单独贡献。可替换地，该技术可以用于确定哪个信号或数据来自哪里，例如以促进应用，诸如室内或室外导航或者基于提供位置的服务。

检测将受益于频率的具体选择以便将单独灯信号从彼此和从背景最优地分离。本公开描述了允许潜在非常小数目的帧之上的检测的基本上最优调制频率的选择，其具有对各种编码光应用的高度实际相关性。

尽管本发明不限于谐波信号的检测，但是以下描述单频谐波信号的示例以便于解释。

滚动快门图像捕获典型地基于单个读出电路针对所有传感器行以相继形式的共享使用。线读出时间确定相继线之间的时间延迟并且是恒定的时间间隔T _line [s]。由于用于所有线的曝光时间一般相同，因此每一个曝光周期以相同延迟开始，如图1f中所指示的。图1f示出在连续视频捕获模式期间的典型滚动快门时序图。

传感器的滚动快门捕获提供区分远远超出相机的帧速率的时间光变化的机制。在视频帧速率典型地处于25至60 Hz的范围内的情况下，线读出频率典型地高于10,000 Hz。有意思的是，滚动快门采集表示空间时间采样的形式，其中时间维度沿竖直维度（部分）采样。照此，存在时间t与竖直（线）定位y之间的关系：

其中指代帧速率，并且是帧索引。

由于通过c索引的某个光源，调制频率被映射到表观空间频率 ：

[循环/线] （2）。

表观空间频率导致在所捕获的图像中出现的水平条带图案，其间距由确定。

取代于单个图像，当捕获调制光源的时间图像序列时，则给定帧速率（即帧/s），物理调制频率导致采取表观时间频率的光现象：

[循环/帧] （3）。

由于每一个所捕获的行上的相邻像素共享相同时刻，因此分析可以限于单个列，以及随时间跟随的信号。列的堆叠形成可以视为自身中的图像的2D信号。

在没有运动的情况下，背景物体导致沿时间方向重复的像素值。在灯导致图像堆叠中的爬行条带图案的情况中，列堆叠采取如图2和图3中描绘的条带的倾斜图案。

考虑来自照明器c的单个谐波编码光强度信号，包括振幅的DC分量和以从已知频率的预定义集合选出的物理（时间）频率调制的振幅的AC分量：以复数记法：

。

当该光源光照场景时，来自场景的表面元素的辐射率由乘法过程产生，从而使场景以辐射率将光辐射回到世界中，其为局部光相互作用（吸收和反射）的结果。相机捕获该辐射光场，从而创建图像 ：

。

在编码光检测的上下文中，对于场景物体、光源和观察器（相机）的静态几何结构，并且在没有任何其它光照的情况下，光强度与所观察到的辐射率分布之间的关系完全是线性的。

现在考虑其中相机捕获由多个编码光源光照的场景的一般情形。这导致可以由空间时间信号表示的图像序列，包括个编码光源的总和，每一个以唯一的物理频率来调制：

。

在上文中，表示相应地由离开场景的（非编码）静态环境光照的反射生成的信号。编码灯特定DC贡献，本质上为图像平面中的每一个光足迹的投影，不作为时间的函数而变化并且因此可以被视为不随时间变化的环境光。新引入的合成背景信号因而保持所有灯特定和“独立”的DC分量的总和：

要指出的是，调制振幅以及合成背景分量一般在空间之上变化，因为这些取决于场景的几何结构和反射性质。

图2的左手侧描绘了视频信号（当写作整数帧索引n的函数时）。右手侧描绘了列堆叠。

图3描绘了在图2中隔离的列的时间堆叠的片段。频率已经选择成使得它们总是展现出不同的表观爬行运动。将简短地解释获得该爬行的条件。

如图3中所示，接连帧之上的空间图案的爬行导致具有非常不同的取向（由实线箭头指示）的剪切调制图案。事实上，第二图案也是可见的（由虚线箭头指示），其与来自相邻灯的重叠足迹相关联。

下文关于图像之上的编码光的灯特定空间分布的估计。以上分析示出图像中的这种所谓的光足迹的外观与图像帧内的光调制的局部振幅成比例。照此，恢复单独光足迹的任务归结为从输入信号估计针对不同灯频率的振幅分布的任务。

列堆叠的2D傅里叶变换形成表观频率的2D频域。当表观频率的轨迹在空间时间傅里叶平面中绘制为实际、物理频率的函数时，可以看到其遵循由于混叠而卷绕的不同线性迹线。

这是由于以下事实：在实践中，帧速率比调制光的频率低得多。作为结果，表观时间频率总是低于帧速率的一半：

[循环/帧] （8）

其中求模运算符是模运算运算符1（模运算运算符是除法的余数——其可以使用“底层(floor)”运算符来计算，使用表达式x mod y=x-y[x/y]。要指出的是，作为结果，表观时间频率“卷绕”在限制之间以用于增加物理调制频率。线速率和帧速率的给定值使表观空间和时间频率针对每一个物理调制频率而耦合。

在图4中，仅针对正空间频率示出空间时间傅里叶域，并且示出两个共轭分布中的仅一个的迹线。线针对0与大约575 Hz之间的物理调制频率描绘表观空间时间频率的迹线。要指出的是，放大空间频率轴以揭示由于与相对低帧速率混叠所致的迹线的变形。

图4示出空间时间傅里叶平面中的表观频率的迹线（在此仅描绘域的一半）。在此还要指出的是，依照正y轴的方向，正轴指向下。在该示例中，针对之间的物理频率，针对和而绘制迹线。在14.985Hz, 29.97Hz,225Hz和300Hz处的上面五个圆形指示对于检测而言不合适的频率的示例位置。在500Hz处的下部圆形图示了合适频率的示例，因为其导致还展现出表观运动的空间图案。

帧速率和线速率的值是针对标准VGA相机传感器（640 x 480 @ 29.97 fps）的常见数字。表观时间频率的正和负值分别与空间图案的向上或向下爬行速度相关联。

接近帧速率的倍数的的物理频率映射到靠近轴的频率并且创建在接连帧之上的向上方向上非常缓慢地爬行的图案。进一步远离帧速率的倍数的频率，例如，以较高速度爬行，但是在向上方向上，因为其映射到负表观时间频率。

本公开关于在给定所捕获的视频帧的数目的情况下关于基本上最优检测的灯特定调制频率的选择。空间足迹的恢复可以实现为振幅检测，其中对于每一个灯，空间时间频率形成在其附近可以找到足迹特定傅里叶变换的载波频率。

在没有物体或相机运动的情况下，足迹是不随时间变化的。作为结果，相关联的频率分量仅仅倾向于沿空间-频率轴的方向而不沿时间频率轴的方向进行散布。这在图5中示出，其描绘了表观空间时间频率域中的灯信号能量的分布。所描绘的信号频谱是基于仿真信号的DFT和基于500帧之上的采集；因此其近似于连续傅里叶变换。

轴的（竖直）方向上的信号的频谱散布可以由与输入信号相关联的空间-频率带宽表征。在实践中，空间-频率带宽仅由输入图像的竖直分辨率约束。其可以占据整个频谱，但是总是倾向于在相关联的灯的表观空间调制频率附近达到峰值。

轴的（水平）方向上的信号的频谱散布可以由表观时间-频率带宽来表征。在没有运动的情况下，，从而将灯信号能量限制到相关联的灯的表观时间调制频率附近的狄拉克分布。

信号检测的空间-频率选择性确定利用其计算光足迹估计的竖直空间分辨率。在示例实现中，基于加博滤波器，使用具有高斯响应的检测滤波器。

信号检测的时间-频率选择性取决于的确定中所包括的帧的数目。信号检测是基于跨帧堆叠的检测信号的经相位修正的累积。

图5示出列堆叠的二维离散傅里叶变换的示例。所描绘的是幅度（为了可见性，示出幅度的对数）。空间时间“波”图案被找回为隔离的分布，与沿线的中心分布分离。要指出的是，依照正y轴的方向，在此正轴也指向下。顶部图示出信号带宽，并且底部示出检测带的带宽。

空间-频率检测和相关联的选择性可以基于加博滤波器。空间-频率选择性滤波器的使用允许将空间时间域细分成空间频率轴的方向上的多个分离检测带。可分离的检测带越多，可以区分的不同灯频率就越多。

加博滤波器执行为输入列堆叠与和灯频率相关联的复数内核的空间卷积，并且产生新的复数值的列堆叠。

加博滤波器内核自身是高斯窗口和复数谐波信号的积：

。

参数确定内核的空间散布，并且为了确保内核开始和结尾处的足够衰减，滤波器抽头的数目根据以下选择：

。

典型加博滤波器内核的示例在图6中示出。这示出具有抽头的长度并且“调谐”到频率循环/像素的加博滤波器内核的示例。

加博滤波器在 [循环/像素]附近的幅度响应从高斯形状产生并且也采取高斯形状：

其中参数确定空间-频率带宽。由于高斯空间-频率特性在理论上是无界的，因此其带宽可以描述在50%传输（传统的3dB带宽）以及90%传输处，分别为：

[循环/像素] （13）

以及

[循环/像素] （14）

使用90%传输带宽的动机在于用于检测的信道分离通常可以小于传统3dB带宽。

图7示出在图6中描绘的示例加博滤波器的幅度响应。

时间-频率选择性由沿时间轴的频率检测确定。为了快速检测，合期望的是保持在计算中所使用的帧的数目尽可能小。下文给出在相继帧之上的经相位修正的加和的基础上的存储器高效计算。当该操作应用在由加博滤波器产生的复数值信号上时，获得每一个像素处的局部振幅的瞬时估计：

。

对于每一个接下来的帧n，与项的乘积在加和之前“重绕”的相位。在像素位置y处，加博输出包含该特定频率处的时间信号的情况下，的计算从预期全部具有相同相位的“相干”值之上的加和产生。公共相位的精确值不已知，但是也不相关。

给定公共但未知的相位值的情况，可以证实根据表达式（15）经相位修正的加和事实上是如由相机在像素y处捕获的经调制的灯信号的幅度的最大似然估计。

表达式（15）的幅度响应由下式给出：

其中是信道在其附近定心的灯c的表观时间频率。相关联的截止频率仅为帧数目的函数并且可以分别通过以下近似：

[循环/帧] （17）

以及

[循环/帧] （18）。

给定六个不同灯频率的集合，在图8中描绘时间频率检测的幅度响应。这示出基于个相继帧之上的计算而针对帧速率根据表达式（16）的时间子带响应的示例。具有最左峰值的曲线具有 。具有下一最左峰值的曲线具有。具有之后的下一最左峰值的曲线具有。具有从右数第三峰值的曲线，下一集群中的第一个，具有。具有从右数第二峰值的曲线具有。具有最右峰值的曲线具有。

根据表达式（15）经相位修正的累积允许子带响应在任何任意表观时间频率处定心，其在实施例中可能是必要的，因为灯频率可以仅在频率的有限集合处产生。例如，可产生的灯频率通常限于整数值。

这在许多帧并入振幅估计中的情况下变得特别相关。在该情况中，检测带宽变得非常小。作为替代，本公开的目标是在灯信号检测中使用非常小数目的帧。然后，带宽相对宽使得检测选择性变得更加难以实现。

这样的空间时间检测带的限定使得能够实现空间时间检测信道的拓扑的组成。这样的拓扑的示例在图9中示出，这给出基于 和个帧作为用于估计的基础的示例检测信道拓扑。空间加博滤波器的长度为101抽头。

本公开基于以下观察：对于小数目的帧，时间-频率检测选择性可能是欠佳的但是展现出针对特定频率的不同零值。

目的是选择物理调制频率，使得相关联的表观时间频率[循环/帧]提供其它调制频率的最优抑制以及所捕获的视频中的静态背景的最优抑制。这可以以图形来图示。在图10中，在仅3个帧使用在灯足迹的检测中时，计算时间频率响应。图形从表达式（16）产生，使用并且调制频率已经选择成使得检测带响应中的每一个峰值与其它带响应中的零值重合，包括到DC，即循环/帧。

图10的顶部针对帧计数示出作为表观时间频率的函数的检测带的幅度响应以用于调制频率的最优选择。底部示出与3个帧之上的时间平均相关联的幅度响应。

带然后应当然后在表观时间频率附近定心：

[循环/帧]，并且

[循环/帧] （19）。

由于附近的混叠，存在映射到相同表观时间频率的多个物理调制频率：

，并且

（20）

分别针对。针对其映射到DC的任何物理频率，因此循环/帧。图10中的相关联的幅度响应在 [循环/帧]处具有零值，使得时间帧平均与编码光源导致的调制完全无关。

在该情况中，存在造成在该示例的上下文中被视为“最优”的情形的两个表观时间频率：

在表观时间频率处最优地检测的任何响应展现出任何其它表观时间频率处的零值，其中。（在以上示例中，针对[循环/帧]的检测的带在[每帧循环]处“达到峰值”并且在[循环/帧]处具有零值，因此在处）。

在表观时间频率附近最优地检测的任何响应在表观时间频率处展现出零值，其与视频帧中的静态背景相关联。

图11针对帧计数示出作为表观时间频率的函数的幅度响应以用于频率的最优选择。在此，选择成使得表观时间频率限于或者。相比于图8中的频率分配，一些曲线不可见，因为它们映射到相同的表观时间频率。具有最左峰值的曲线具有 。具有下一最左峰值的曲线具有。具有从右数第二峰值的曲线具有。具有最右峰值的曲线具有。

图12针对帧计数示出作为表观空间和时间频率的函数的示例幅度响应以用于频率的最优选择。在此，选择成使得表观时间频率限于或者。竖直虚线指示在5个帧用于信号检测的情况中的最优频率的位置。

所描述的方案的优点在于，其提供了在给定数个帧的情况下灯信号检测中的最佳可能信道分离。甚至对于小数目的帧，可以实现最优信道分离和最优背景抑制。在实施例中，这在灯信号调制在频率中变化的情况中特别有利，诸如使用在频移键控（FSK）中。快速检测允许快速频率切换，使得可以实现较高传输比特率。

本公开描述了灯调制频率的选择，使得对于给定帧速率处的给定奇数个帧N，实现最优信号检测。在以上说明的示例中，最优调制频率然后选择成使得：

对于不是N的整数倍的任何整数， （21）。

在图13中，针对各种数目的帧描绘了幅度响应。图12在3,5,7和15个帧用作用于在根据“设计规则”（21）的最优频率选择的基础上的频率检测的基础的情况下针对检测带示出幅度响应。

在其它实施例中，单个光源可以以时间顺序或者同时产生包含多个频率的信号，使得这些频率中的至少一个（如果不是全部的话）是“最优的”。

在其它实施例中，单个光源可以产生分组流，使得一个或多个谐波频率分量与所述最优频率重合。

在另外的实施例中，在相继帧的基础上的灯信号检测以及背景提取可以在每一个新帧之后重复，使得第一估计使用帧并且发生使用帧2,3,4…N+1的新估计。因此，在前N个帧之后，检测提供每一个新帧的新灯信号振幅估计。这样的快速估计使得能够实现与相机设备连接的显示器上的单独光足迹的实时可视化。

在另外的实施例中，帧2,3,4…N+1的检测在从振幅估计移除帧1的贡献并且将帧N+1并入以形成新的振幅估计集合之后发生。如果该移除和并入分别基于所丢弃的帧数据的经相位补偿的减法和新帧数据的经相位补偿的加法，则这是可能的。相位由感兴趣的灯频率确定并且在相关联的时间帧索引上确定。

在另外的实施例中，灯频率可以限于值的有限集合（例如仅整数值）。所选灯频率可以选择为最接近的值。在整数灯频率的情况中，这将意味着四舍五入到最近的整数。

在其它实施例中，所提到的“最优”频率的选择可以组合在与其它选择准则的组合中。（这隐含地应用在图12中所描绘的拓扑中，其中时间和空间-频率选择性组合成椭圆子带形状。椭圆的最优打包将要求频率在六边形网格上的放置）。曝光时间还导致频率的选择性衰减；曝光时间的知识还可以组合在最终的频率集合的选择中。

在实施例中，所公开的方案可以用于编码光的基于相机的检测以用于照明系统的安装和投用以及用于照明控制。例如，所公开的方案可以使得能够实现利用常见智能电话或平板计算机的相机的编码光检测。

将领会到，以上仅通过示例的方式描述实施例。

例如，虽然上文已经根据具有某个响应的检测模块进行了例示，但是在具有不同但类似响应的其它实现中，所公开的调制频率集合可能仍旧提供以下性质：一个信道的表观时间频率基本上落在另一信道的盲点处。或者可替换地，该原理可以扩展到具有其它响应的检测过程，如果盲点已知或者可以确定的话。

在一个可替换方案中，相机可以是全局快门相机，其中每一帧一次性曝光（而不是如滚动快门相机中那样逐线曝光）。WO 2011/086501解释了全局快门相机可以如何用于检测以不同调制频率调制的编码光分量。检测依赖于混叠，其将限制合适频率集合的数目。给定信道将具有时间频率域中的某个响应。频率可以根据本公开的原理来选择，其中一个信道的响应落在另一频率响应曲线的盲点中。

另外，要指出的是，信道仅需要基本上落在另一个的盲点中并且调制频率仅需要被视为基本上最优。即信道可以具有某种重叠，但是在它们之间的干扰效应可忽略的程度上。另外，在已经说到从预确定集合之中选择调制频率的情况下，这不一定排除环境中存在具有不符合该集合的其它调制频率的其它分量。

本领域技术人员在实践所要求保护的发明时，通过研究附图、公开内容和随附权利要求，可以理解和实现对所公开的实施例的其它变型。在权利要求中，词语“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以履行权利要求中所叙述的若干项的功能。在相互不同的从属权利要求中叙述某些措施的仅有事实不指示这些措施的组合不能用于获益。计算机程序可以存储/分布在合适的介质上，诸如光学存储介质或固态介质，其与其它硬件一起供给或者作为其部分，但是还可以以其它形式分布，诸如经由因特网或其它有线或无线电信系统。权利要求中的任何参考标记不应当解释为限制范围。

Claims (15)

1.一种传送装置，包括：

配置成输出用于控制光源（4i）发射光的信号的控制器；

其中所述控制器（10）配置成经由所述信号将编码光分量调制到所述光中，所述光中的调制导致由所述光照亮的并由接收相机（16）捕获的场景的视频图像经历由于所述视频图像的多个帧的顺序捕获所致的表观时间频率和由于每一个帧内的空间部分的顺序曝光所致的表观空间频率；

其中所述控制器配置成将编码光分量调制到多个不同调制频率中的所选一个上的所述光中，每一个不同调制频率限定相应信道，并且每一个信道将由相机的检测模块（18）基于对应于相应调制频率的表观时间频率和表观空间频率的值的相应组合来检测，检测模块具有作为表观时间频率的函数而变化的每一个信道上的相应响应；并且

其中控制器配置有从信道的预确定集合之中选择的一个信道，信道的预确定集合具有以下性质：使得每一个信道上的检测模块的响应具有在每一个其它信道的表观时间频率处的最小值。

2.根据权利要求1所述的装置，包括：

至少包括所述控制器的一个或多个控制器（10），所述一个或多个控制器配置成输出用于控制多个照明源（4i，4ii）的信号，所述多个照明源包括所述光源，所述用于控制多个照明源（4i，4ii）的信号包括用于控制所述光源的所述信号；并且

其中所述一个或多个控制器配置成经由所述信号将相应编码光分量调制到从每一个照明源发射的光中，每一个在各自具有不同相应调制频率的信道的预确定集合的相应一个上。

3.根据 权利要求1所述 的装置，其中：

所述控制器（10）配置成将多个编码光分量调制到从所述光源（4i）发射的所述光中，每一个在各自具有不同相应调制频率的信道的预确定集合的相应一个上。

4.根据权利要求1或2所述的装置，其中检测模块（18）的响应取决于在其之上检测编码光分量的数个顺序捕获的帧，并且所述预确定集合布置成具有针对所述数个帧的所述性质。

5.根据权利要求4所述的装置，其中预确定集合的调制频率配置为：

其中是调制频率，是以其捕获帧的速率，N是要在其之上检测编码光分量的顺序捕获的帧的数目，并且k是除N之外的整数。

6.根据权利要求1或2所述的装置，其中响应在表观空间频率域中具有宽度并且在表观时间频率域中具有宽度，并且每一个信道上的调制频率通过至少表观空间频率域中的和表观时间频率域中的而从每一个其它信道分离。

7.一种接收设备，包括：

用于从相机（16）接收视频图像数据的输入，其中光源所发射的光中的调制导致由所述光照亮的并由相机捕获的场景的视频图像经历由于所述视频图像的多个帧的顺序捕获所致的表观时间频率；以及

检测模块（18），其配置成检测调制到各自具有不同相应调制频率的多个相应信道上的所述光中的编码光分量，所述检测模块进一步配置成基于表观时间频率而分离出每一个信道；

其中在每一个信道上，检测模块具有作为表观时间频率的函数而变化的相应响应；并且

每一个信道上的检测模块的响应具有在每一个其它信道的表观时间频率处的最小值。

8.根据权利要求7所述的设备，其中所述光中的调制导致相机（16）经历由于每一个帧内的空间部分的顺序曝光所致的表观空间频率；并且

检测模块（18）配置成基于对应于相应调制频率的表观时间和空间频率的值的相应组合而选择性地接收每一个信道；

其中在每一个信道上，检测模块的响应包括基于表观空间频率的选择性接收的效果。

9.根据权利要求8所述的设备，其中相机（16）是滚动快门相机，空间部分是帧的线。

10.根据权利要求7、8或9所述的设备，其中检测模块的响应取决于在其之上检测编码光分量的数目N个顺序捕获的帧，并且预确定集合的调制频率配置为：

其中是调制频率，是以其捕获帧的速率，并且k是除N之外的整数。

11.根据权利要求8或9所述的设备，其中检测模块包括配置成选择信道的表观空间频率的滤波器，以及布置成选择表观时间频率的时间累积功能；其中所述检测模块的响应包括滤波器和时间累积功能的效果。

12.根据权利要求11所述的设备，其中所述滤波器包括加博滤波器并且时间累积功能通过以下描述：

其中是表观时间频率并且N是要在其之上检测编码光分量的顺序捕获的帧的数目。

13.根据权利要求7至9中任一项所述的设备，其中检测模块配置成检测N个所述顺序捕获的帧的第一分组之上的编码光分量，并且然后执行N个所述顺序捕获的帧的一个或多个另外的分组中的每一个之上的检测的更新实例，其中分组在时间上重叠，包含一些相同帧。

14.根据权利要求7所述的设备，其中相机（16）是全局快门相机。

15.一种用于使用在系统中的计算机可读存储介质，其中光源所发射的光中的调制导致由所述光照亮的并由接收相机（16）捕获的场景的视频图像经历由于所述视频图像的多个帧的顺序捕获所致的表观时间频率和由于每一个帧内的空间部分的顺序曝光所致的表观空间频率；并且将编码光分量调制到各自具有不同相应调制频率的多个相应信道上的所述光中，每一个信道将由相机的检测模块（18）基于对应于相应调制频率的表观时间和空间频率的值的相应组合来检测，检测模块具有作为表观时间频率的函数而变化并且包括表观空间频率的效果的每一个信道上的相应响应；

计算机可读存储介质包括体现其上的代码，其配置成以便在执行时在一个信道之上进行通信，所述一个信道选自配置成使得每一个信道上的检测模块的响应将具有在每一个其它信道的表观时间频率处的最小值的预确定集合之中。