CN104620519A - 光检测系统和方法 - Google Patents

Abstract

提供了一种用于检测调制光的方法，包括：接收借助于具有包括帧速率f_frame和线速率f_line的图像获取设置的滚动快门相机获取的图像集合；在所述图像的连续帧中标识由调制光源的调制频率f_c与线速率f_line之间的比决定的图案，以及在连续帧之间的由所述调制频率f_c与所述帧速率f_frame之间的比决定的所述图案的空间偏移；以及基于所述图案及其空间偏移，提供来自所述光源的调制光振幅的估计。

Description

光检测系统和方法

技术领域

本发明一般涉及光照，编码光光照系统的领域，并且更具体地涉及用于检测这样的光照系统的光输出中的调制光的系统和方法。

背景技术

编码光（CL）是承载以使得附加信息的存在对人类视觉系统而言感知不到的形式编码的嵌入信息的可见光。一般而言，这意味着编码是基于光强度的高频调制的使用。经编码的信息可以是从灯特定标识符到HD-TV信号的任何事物。所公开的发明主要关注但不限于用于不同光源的标识以及它们分别在被光照的场景中的光贡献或足迹的标识和量化的CL的使用。灯特定标识符的检测促进大型照明系统的调试期间的定位，而且还使得能够实现所检测的灯的局部化光控制。此外，灯特定标识符可以形成用于诸如室内导航之类的基于位置的服务或用于维护信息的局部化传输的基础。

由于CL光牵涉高频光调制，因此通常使用光电二极管来检测它。然而，这些仅提供点测量，这在存在多个编码光源的情况下是繁重的并且不提供关于空间足迹的信息，即来自场景中的每一个单独光源的光贡献的地理强度分布和空间定位。

先前已经展示了还可以通过采用足够短以检测每一帧中的单个代码位的曝光时间来使用常规全局快门相机检测编码光。通过精确地调谐帧速率和代码特性，然后在多个帧之上序列性地读取整个代码。然而，该方案导致非常缓慢的读出能力并且遭受低光灵敏度。

发明内容

本发明的目的是克服以上提到的问题，并且提供能够以允许检测由存在于2D场景中的不同光源发送的嵌入数据（例如唯一标识符）的方式检测嵌入到光源的光输出中的CL的经改进的光检测系统和方法。

该目的通过如随附独立权利要求1中限定的用于基于借助于滚动快门相机获取的图像集合检测调制光的方法来实现。在从属权利要求中和以下描述及附图中阐述优选实施例。

因此，依照本发明概念，提供了一种用于检测调制光的方法。该方法包括接收借助于具有包括帧速率f _frame和线速率f _line的图像获取设置的滚动快门相机获取的图像集合，在图像的连续帧中标识由调制光源的调制频率f_c 与线速率f _line之间的比决定的图案以及在连续帧之间的由光调制频率f_c 与帧速率f _frame之间的比决定的图案的空间偏移，以及基于图案及其空间偏移来提供来自光源的调制光振幅的估计。作为通常在诸如集成于大多数智能电话中的那些之类的低成本图像传感器中使用的技术，滚动快门图像获取因此被有利地用于检测编码光。当滚动快门获取将编码光的时间调制转换成所记录的图像上的竖直（空间）调制时，它通过使用滚动快门图像传感器的连续线读出之间的相对短时间间隔提供了光的高效采样。然后通过分析所观察的图案的竖直签名，快速且光高效的代码检测是可行的。

应当认识到的是，光源使用不同调制频率的生成和/或变化作为将数据嵌入在光中的手段。当从频率值的离散集合中选取不同调制频率时，这样的调制方案可以被视为频分复用（FDM）的形式。在大多数初步情况中，FDM方案可以使得向每一个照明器指派来自预定集合的唯一频率；在该情况中，数据可以用作灯特定标识符。在另一情况中，每一个照明器正在序列性地改变其调制频率，其中调制频率的不同顺序编码不同数据符号，这已知为频移键控（FSK）。在FDM的最为一般的使用中，每一个照明器正在使用多个频率来同时调制光，并且序列性地改变一个或多个频率以编码数据符号的序列。

有利地，所提出的方法提供抵抗背景结构的存在的增加的检测鲁棒性、在小光源足迹的情况中的经改进的数据检测（例如唯一标识符的检测）、以及光源自身的空间足迹的经改进的检测。来自每一个编码光源的光的时间光调制和时移线实例的竖直空间分布导致在该光源的所获取的足迹图像中的对应空间竖直图案，其具有表征该特定图案的某些特性。这些特性根据本发明被有利地利用在空间时间分析中以将光源的光调制图案从不涉及编码光源的图像中的任何事物分离，并且可以被进一步用于允许在图像传感器的视场中容易地检测由多个编码光源嵌入在光中的数据。例如，它可以用于检测由每一个灯发送的唯一标识符。

根据该方法的实施例，图像获取设置和调制光源的调制频率f_c 被选择成提供图案的可检测空间偏移。空间偏移被视为在时间分离的图像中的表观图案运动。光源调制频率与帧速率之间的关系确定表观图案运动的速度和方向。提供特定图像获取设置可以包括选择或确定例如相机的帧速率和/或线速率。典型地，使用如在特定相机中给定的线速率和帧速率，并且光源的调制频率被选择以用于最大可检测性。

在工业相机中，可以调节相机的线速率，尽管在大多数其它实现中它是固定的。然而，它然后仍旧取不同的值以用于不同的视频格式，例如不同的帧大小和传感器像素集群（所谓的像素装仓）中的差异。另外，在商业上可得到的相机中的帧速率被设置成恒定的，但是非常经常地允许其变化（例如在低光条件中降低以允许较长的曝光时间）。尽管提供预定的可检测空间偏移的概念在恒定帧速率下是最容易理解的，但是在实践中可以任意选择帧间隔，只要它们对于在空间时间分析中所使用的检测算法是已知的即可。

对于给定帧速率f _frame，光源调制频率的选取优选地被约束到表观空间和时间频率域中的特定区段，所述特定区段被选择以避免人类可感知频率的低频区段（在此被选取成f_c < 200 Hz），避免其中存在极少或没有图案运动的靠近f _frame的倍数的区段，并且避免靠近由于利用f _frame的采样所引起的奈奎斯特（Nyquist）频率的重复的区段，其中不存在图案运动而是仅有每一个交替帧的180°相位改变。所避免的区段在图12中图示。当不考虑由于滚动快门相机的曝光时间所引起的衰减时，不处于所避免的区域中的任何调制频率可以被视为是可检测的。通过分配光源调制频率使得它们的表观空间和时间频率落在这些可检测区段中，光源信号从其背景的分离是可能的。当要检测多个光源时，不同光源调制频率中的每一个优选地布置成在可检测区段内与彼此充分分离。

根据本发明的实施例，通过在表观空间和时间频率域中定义空间时间频率通道以用于选择调制频率使得它们绕相关联的表观空间和时间频率中的每一个为中心来执行图像获取设置和调制频率的选择。在实践中，通道的频率边界与所期望的信号衰减水平相关联，例如到通带传输的-3dB的值。在图14中图示了频率通道的可能拓扑。

根据该方法的实施例，标识步骤还包括：标识多个图案，每一个对应于相应调制光源，以及比较所标识的图案和/或所标识的图案偏移以在对应于各个调制光源的图案之间进行区分，这是有利的。

根据该方法的实施例，相应光源的调制频率f_c 是固定的唯一频率，选自候选频率的集合，包括同时应用的候选频率的集合，或者选自根据给定序列的候选频率的集合。选择固定的唯一调制频率提供了从其它光源区分光源的简单方式。可以在被适配成适合商业上可得到的滚动快门相机的常见图像获取设置的候选集合之中做出选择或者在序列中选择。多个频率的同时传输而不是一个单个频率是有利的，例如当频率分配的可能的第三阶段涉及曝光时间T _exp的瞬时值时。在一些实现中，不能选择滚动快门相机的曝光时间。然而，它的值是已知的。为了避免由于与曝光时间相关联的频率特性中的零值所引起的信号消除，光源的调制频率可以从所分配的频率的总集合中系统地选取光源调制频率的较小子集。例如，可以选取总数24个中的18个“最佳”频率。对于曝光时间的不同值，该18个频率的子集倾向于不同。

根据本发明的实施例，频率的固定集合被用于所有光源并且因此在所有所获取的空间图案中，但是每一个空间图案的唯一特性是频率以其重复的唯一顺序。该调制方法是频移键控（FSK）的形式。

根据该方法的实施例，调制频率f_c 被选择成提供所记录的图像像素强度从静止背景的最佳空间时间分离，和/或提供针对多个光源所记录的图像像素强度或其图像处理导出物关于彼此的最佳空间时间分离。

根据该方法的实施例，提供调制光的估计的步骤还包括对于至少两个连续帧：以预定方式将每一个图像子划分成一个或多个空间区，对于每一个空间区，在水平方向上对空间区中的预定像素的强度值积分以创建区特定且帧特定的值阵列，以及通过堆叠空间区的帧特定且区特定的值阵列来创建区特定值阵列堆叠，使得区特定值阵列堆叠提供来自在区内成像的光源的调制光的真实时间调制的空间时间表示。空间时间分析是基于一个或多个区中的强度图案的空间和时间特性，这是有利的。

像素值在水平方向上的积分提供了水平方向上的降低的空间分辨率，这是有利的。由于每一个所获取的图像包括竖直空间分布的时移线实例的集合，因此沿所获取的图像中的相同线的所有像素属于相同时刻。多个相邻像素之上的积分可以有利地用于改善值阵列（表示平均像素值的一维信号）的信噪比。第二个优点在于区特定值阵列堆叠的较小集合的处理比分别处理整个图像的每一列在计算上更高效。

根据该方法的实施例，当图像获取设备的当前曝光时间T _exp已知时，提供调制光的估计的步骤还包括：针对所获取的图像中由于曝光期间的时间积分所引起的频率相关衰减执行校正，这是有利的。

根据该方法的实施例，当在包括用于获取至少一个调制光源的图像的滚动快门相机的光检测系统中使用时，通过执行滚动快门相机的校准来提供图像获取设置，或者从滚动快门相机的内部或外部数据库检索图像获取设置。

根据该方法的实施例，选择调制频率和图像获取设置的步骤还包括：在滚动快门相机与至少一个光源或光源的控制系统之间交换关于至少一个当前图像获取设置和/或至少一个当前调制频率的信息。基于至少一个当前图像获取设置或当前调制频率执行选择。

根据本发明的一方面，提供了一种包括被布置用于获取被光照系统光照的场景的图像集合的滚动快门相机的光检测设备，光照系统至少包括第一调制光源和被布置用于执行根据任何前述权利要求的方法的处理装置。

如本文所使用的，术语“像素”是指对应于场景内的特定点的图像数据的单元。图像数据包括光照系统的总光输出的强度（或其导出物），所述光照系统可以包含处于场景内的不同点处的多个光源。在像素的行和列中布置图像数据是在2D图像中表示三维（3D）场景的一种方式。如本文所使用的术语“滚动快门相机”是指利用滚动快门图像获取的任何成像设备或传感器。

本发明的这些和其它方面、特征和优点将从此后描述的实施例显而易见并且参考所述实施例对其进行阐述。要指出的是本发明涉及在权利要求中记载的特征的所有可能组合。

附图说明

现在将参考示出本发明的（多个）实施例的附图更加详细地描述本发明的这个和其它方面。

图1a）和b）是示出利用滚动快门相机获取的编码光源的图像的连续帧的示意性图示；

图2a）和b）是示出利用滚动快门相机获取的两个编码光源的图像的连续帧的示意性图示；

图3是针对视频流送模式期间的典型滚动快门相机的示意性时序图；

图4示出用于图示本发明概念的方法的实施例的示例信号；

图5a）至c）示意性地图示了根据本发明概念的方法的实施例的信号处理步骤；

图6a）至d）示意性地图示了根据本发明概念的方法的实施例的信号处理步骤；

图7是图示了本发明的方法的实施例的框图；

图8示意性地图示了根据本发明概念的方法的实施例的信号处理步骤；

图9示意性地图示了根据本发明概念的方法的实施例的信号处理步骤；

图10是根据本发明概念的光检测系统的实施例的示意性图示；

图11是图示了根据本发明概念的光检测系统的实施例的示意性框图；

图12描绘了表观空间和时间频率域、物理调制频率的轨迹、以及所避免的频率区段；

图13描绘了3D中的表观空间和时间频率域、物理调制频率的轨迹、以及与相机传感器曝光期间的时间光积分相关联的频率响应；

图14示意性地图示了表观空间时间频率域中的频率通道的定义；以及

图15示意性地图示了表观空间和时间频率域中的具有索引号的频率通道。

具体实施方式

现在将参考附图在此后更加全面地描述本发明。通过示例的方式提供以下实施例使得本公开将是透彻和完整的，并且将向本领域技术人员全面地传达本发明的范围。相同的标号自始至终是指相同的元件。

在下文中，我们考虑其中编码光被用于通过利用选自候选频率的预定集合的特性频率调制每一个光源来传输光源标识符的情境。然而，本发明的范围绝不限于该情境。应当认识到的是，每个灯的不同调制频率的序列的检测，以及每个灯的多个调制频率的同时检测可以分别被视为时间上分离的组合或被视为来自单个频率调制的检测结果的线性组合。因此，我们将检测的详细描述局限于每个灯单个频率的情境而没有对以上描述的每个灯多个频率的情境的一般可应用性的任何损失。因此，为了方便起见，我们选取使用相同的索引c来标注特定调制频率f_c 及相关联的频率通道二者，以及承载该调制频率的相关联的灯。

另外，我们假定所获取的图像序列已经被转换到线性光域，即假定相机的非线性强度响应（伽马变换）的影响已经被校正。最后，我们假定调制索引对每一个编码光源是相同的，使得调制振幅与光强度的时间平均成线性比例。

图1a）和1b）图示了借助于滚动快门相机获取的结构100的图像集合的两个连续帧。在此为房间的结构100被光源110光照，利用调制频率f_c 调制所述光源110。在墙壁101上的来自光源110的光照在此被示为足迹111。当获取编码光源的图像时，相机参数或图像获取设置，比如线速率f _line和帧速率f _frame在将物理调制频率（在此为调制频率f_c ）转化成以下将解释的表观空间和时间频率中起到重要作用。尽管线速率f _line和帧速率f _frame的值一般可以针对大多数图像传感器而调节，但是当图像传感器嵌入在诸如网络相机或智能电话中的滚动快门相机之类的产品中时它们通常是固定的。滚动快门获取将编码光的时间调制转换成沿所获取的图像中的竖直轴的空间强度调制，其看似为其中存在编码光的图像区域中的条纹强度图案。在图1a）和1b）中，这些条纹区域在足迹111内图示。在每一帧中竖直分布的空间强度调制具有对应于强度图案中的表观空间频率 的图案间距P[像素]，表观空间频率由滚动快门相机/传感器的调制频率f_c 与线速率f _line之间的比指定。给定线速率和帧速率使特定光源调制频率f_c 与相应地表观空间频率：

线] （1）

以及表观时间频率：

帧] （2）

之间的关系固定，其中mod运算符是求模运算符。求模运算符x mod y是除法x/y的余数。它可以通过使用“向下取整（floor）”运算符来使用表述：进行计算。

因此，滚动快门相机的帧速率f _frame进而影响足迹111的空间强度图案的相位，使得在光源110的图1b）中的连续帧中的记录特征中，在t=t ₁处捕捉到的足迹111的相同强度图案在第二时刻t=t ₂处沿竖直轴偏移距离Δy。参见图1b）。注意，竖直空间图案在连续获取的图像中偏移，同时足迹自身停留在相同空间位置处。

在图2a）和2b）中，示出在两个时刻t=t ₁和t=t ₂处取得的、被包括两个编码光源110和120的光照系统光照的墙壁101的图像集合的两个连续帧。图像由滚动快门相机利用已知帧速率f _frame和已知线速率f _line获取。墙壁101上的足迹111、211示出相应光源110、120对墙壁101的总光照的相应贡献的空间分布。典型地，总光照还包括环境照明，即背景照明。每一个光源110、120被编码使得其光输出包括单独的标识符代码ID#1和ID#2，其典型地是作为从具有相应调制频率f_c 的单独光源发射的光的特性中的调制的时间序列而发射的嵌入代码。在此，相应光源110、120的调制频率f ₁、f ₂被选择使得每一个足迹111、211的强度图案的表观移动在连续帧中是在相反方向上移动的。强度图案及其在连续帧之间的相应相移（即其强度图案的表观移动）对于各个光源是特性化的，其由于帧速率、编码光调制频率和相移之间的关系已知而因此在图像中是可分离和可检测的。

根据方法的实施例，以不规则的时间间隔获取图像的序列。倘若到前一帧的时间差是已知的，则计算表观时间相位差使得任何递归相位校正方法继续提供频率特定时间相位校正的正确计算。

当滚动快门捕捉在竖直方向上运行时，捕捉场景的所获取的图像。因此，光调制还在视频帧的竖直方向上分布。作为结果，视频帧中的光现象的竖直维度限制利用其可观察调制的时间窗口。当编码光正在光照场景时，在所捕捉的光足迹中，光调制出现在光源自身的图像以及被光照的场景的图像二者中。

传感器的滚动快门捕捉提供辨别远超出相机的帧速率的时间光变化的机制。在视频帧速率典型地处于25至60Hz的范围内的情况下，线读出频率f _line典型地高于大致10,000Hz。滚动快门获取表示其中沿竖直维度对时间维度（至少部分地）采样的空间时间采样的形式。这样，存在时间t与竖直（线）位置y之间的关系，

其中f _frame标注帧速率，y=0,1,2，…是线索引，并且k=0,1,2，…是帧索引。

图3提供了该空间时间采样过程的图形表示。示出了针对视频流送模式期间的典型全局快门系统的时序图。在滚动快门系统中，在帧期间，像素R的每一行首先被重置（s ₁），并且随后在曝光时间T _exp期间被曝光（s ₂），其后是电荷转移（其中行移动到传感器的变暗区域）（s ₃），并且最终在读出时间T _read期间读取（s ₄）。行被重置和曝光，并且逐行读出。滚动快门传感器提供相比于全局快门CMOS传感器更高的像素密度。随后线的序列性曝光导致相邻行的曝光之间的时间延迟。这使移动物体的所捕捉的图像失真。

继续，现在考虑来自具有索引号c的光源的单个时间编码光强度信号I_c (t)[W/sr]，其包括振幅的DC分量I _DC,c 和以从已知频率的预定义集合选出的调制频率f_c 调制的振幅的AC分量I _AC,c ；以复数表示，

。

该光源引起对物体的光照，其一旦利用相机捕捉到就导致可通过空间时间信号s(x,y,k)表示的图像序列。当利用滚动快门相机捕捉到时，由N_c 编码光源（每一个以单个唯一频率调制）光照的静止场景然后可以描述为

。

在上式中，b _amb(x,y)和n(x,y,k)分别表示由来自场景的（未编码）静止环境光照的反射生成的信号和噪声。编码光源特定DC贡献b_c (x,y)（本质上是每一个光足迹在图像平面中的投影）在所公开的检测算法中是不相关的。（光足迹的形状和强度以及总环境光分布可能影响某个图像区的裁剪，这取决于所选传感器的曝光设置和动态范围。）新引入的复合背景信号b(x,y)因此持有所有光源特定且“独立”的DC分量的总和，

。

请注意，光源的调制振幅a_c (x,y)以及复合背景分量b(x,y)一般随空间变化，因为这些取决于场景的几何结构和反射属性。

等式（5）示出滚动快门获取通过除以线频率f _line将物理调制频率f_c [Hz]映射到表观空间频率[cycl/线]，如以上在等式（1）中描述的那样。类似地，相同物理频率f_c 映射到表观时间频率[cycl/帧]，参见等式（2），此时以固定间隔捕捉帧。在实践中，帧速率f _frame比调制光的频率f_c 低得多。作为结果，表观时间频率总是低于帧速率的一半。结果，表观时间频率“环绕”在限制-½＜＜½之间以用于增加物理调制频率f_c 。表观空间时间频率与物理调制频率之间的关系由图12中的连续斜线指示，图12描绘了表观空间和时间频率域的部分（仅正表观空间频率的域）。

图4图示了表示包含具有整数索引c的一个单个编码光源的贡献的所获取的图像的一个单个列中的强度信号s的合成示例（中间）。有目的地，调制振幅的空间变化a_c(x,y)已经被选取成明显不同于背景信号b(x,y)。图4因此示出示例列信号s(y)，以及作为例如其图像被获取的房间中的某种环境照明的假定背景信号b(y)和调制振幅的空间分布图a_c (y)（底部）。没有向图4中的列信号添加噪声。图5a）示出信号s(y)，其是与图4中的相同的信号。在图5b）中，信号s(y)是具有附加白高斯噪声的与图5a）中的相同的信号，其因此更好地表示实际记录的信号。图5c）示出针对500个帧的包括与图5b）中的相同的列的时序时间堆叠s(y,k)。在图中，帧号k布置在水平轴上，并且列号y布置在竖直轴上。在该示例中，表观时间频率为=0.2[cycl/帧]。表观空间和时间频率的组合引起在该示例中看似为随时间向上移动的爬行运动图案。

图6a）图示了与之前参考图2a）描述的相同的光照系统。光源110和120在此是两个Philips LivingColors光源，每一个利用不同颜色光照背景墙101，并且每一个以不同的特性时间频率调制。用于分析以提供来自光源的调制光的估计的输入在此为场景（房间100）的500帧视频序列。另外，在图像的集合中选择相应的感兴趣区（ROI），分别为图6a）和图6b）中的ROI₁和ROI₂。图6c）示出针对ROI₁获得的如以下所解释的时序时间堆叠的结果，ROI₁受左光源111的足迹111支配，而图6d）展示了针对ROI2获得的对应时序时间堆叠的结果，ROI2受右光源120的足迹211支配。

在每一个视频帧内，所指定的ROI内的信号被隔离并且沿水平方向积分。由于滚动快门获取将时间调制转换成竖直空间图案，因此水平空间维度持有极少信息并且仅仅用于改善信号强度。图6c）和图6d）示出该过程被应用于序列的所有500个帧的结果。在这些图中，每一行示出单个帧的ROI的水平积分的结果，从而再次揭示了一起形成由图6c）和图6d）的底部帧中的白色箭头注释的表观运动图案的表观空间和时间变化。由于该场景中的不同光源以唯一的时间频率f_c 调制，因此它们展现出在所记录的图案的空间和运动特性二者中的差异。光源之间的物理调制频率中的差异导致特性空间时间图案，其形成用于根据该方法的光源标识和足迹估计算法的基础。注意，这些差异不仅可以在运动的速度中观察到，而且可以在其方向上观察到。在该示例中，左光源的图案从上向下传播，而由右光源生成的图案从下向上移动。

注意在本文的实施例中的任何地方，当提及“图像”或“图像序列”时，输入还可以局限于空间感兴趣区（ROI）而不是完整图像帧。

本发明是基于以下见解：信号s的组合式空间时间分析（使用等式（6）中的指数项的两个因子）导致比简单时间平均更精确且鲁棒的代码检测。场景背景和编码光信号可以容易地在运动特性的基础上进行区分，因为背景可以被假定成静止的（对于静止相机位置而言），而已知编码光目标以预定义的已知速度跨场景移动，如等式（6）、图5和图6所展示的那样。

有效标识各个编码光源的挑战归根结底在于标识哪些频率f_c 可以在图像序列s(x,y,k)中找到。对于一些应用，诸如场景设置和氛围营造，同样针对每一个光源c单独估计空间足迹可以是有利的。

优选地根据不同准则选择调制频率：

-避免作为帧速率的倍数的频率，这导致静止图案。

-避免作为帧速率的倍数加一半的频率；它们看似是以每交替帧π（即180°）的相位交替的振荡图案。

-除以上两个示例之外的任何其它光源频率（不考虑如以下所解释的相机的曝光时间的影响）引起以恒定表观速度向上或向下爬行的图案：这是所期望的，因为它允许从背景的分离。

-空间时间频率通道子带可选择成空间时间频率域中的特定部分。可以调谐二者的参数。通道应当具有最小重叠以用于最佳选择性。这样的通道拓扑的示例在图14中描绘。图14描绘了表观空间和时间频率域，其示出其中心（由蓝色圈指示）总是位于分别作为灯的物理调制频率的函数的表观空间和表观时间频率和的迹线上的24个空间时间频率通道的可能分配。每一个通道的表观空间和时间带宽分别由和定义，如分别由竖直和水平双向箭头所指示的那样。

另外，在实践中需要考虑相机曝光时间。对于该时间，我们已经将我们的分析基于正弦光调制。一般而言，分析适用于所有调制波形。这意味着单个灯信号的较高谐波分量同样可以合并在列之上的光源特定光分布的恢复中。

出于实际原因，光源可以通过矩形波来调制，使得占空比的变化允许平均光强度的简单控制，同时维持固定调制振幅。这个所谓的脉冲宽度调制光的振幅可以扩展全动态范围，使得灯然后在每个周期的一定百分比期间暂时断开。

不幸的是，在许多情况中，在图像捕捉期间并不保持调制的初始振幅。在实践中，曝光时间需要足够长以避免获取噪声。这样的长曝光时间引入限带效应，其引起原始调制振幅的抑制和甚至所捕捉的图像序列中的调制的消除。

曝光时间的影响是与引起由作为频率的函数的“sinc”函数抑制的调制的块内核的卷积，其在空间时间频率域中创建盲点。（sinc函数具有各种定义；我们使用。）这些盲点可以利用若干方式解决，例如通过利用可检测值升级光源频率，或使用每个光源的多个频率。

图12分别描绘了表观空间和表观时间频率和的域。物理灯调制频率的迹线被绘制为倾斜且绕曲的线（在和 的基础上）。在图12中，上部精细条纹区域表示所避免的人类可感知频率的低频区段，在此被选取成。中心菱形图案区域表示靠近f _frame的倍数的所避免的区段，其中存在极少或没有图案运动。最后在接近±0.5的时间频率处的条纹区域表示靠近由于利用f _frame的采样所引起的奈奎斯特频率的重复的所避免的区段，其中没有图案运动而是仅有每个交替帧的180°相位改变。不处于所避免的区域中的任何调制频率被视为是可检测的。

图13描绘了分别作为表观空间和表观时间频率和的函数的曝光相关sinc形频率响应函数的幅度。sinc响应形成被描绘为峰（即局部最大值）和谷（即零）的半透明“横摆（landscape）”的不同弯曲平面，其位置作为曝光时间的函数而变化。为了清楚起见，处的中心曲线指示sinc响应的形状。表观频率的轨迹在其遵循sinc横摆之上的其绕曲路径时作为在和之间绕曲的曲线而覆盖。sinc函数的零和局部最大值占据平行于的轴的等距线。sinc函数的零指示针对其的检测不大可能的频率。

本文以下给出的实施例是基于滚动快门相机的线和帧速率以及与每一个光源索引相关联的调制频率的现有知识。这样的现有知识可以来自持有来自一系列受欢迎的移动设备（诸如智能电话和平板计算机）的这些参数的内部或在线数据库。在没有这样的数据库的情况下，现有知识还可以在初始一次校准的基础上获得。

预定义的物理频率的集合可以以这样的方式选取使得所记录的信号在空间时间频率域信号分析的基础上可从静止背景和从彼此最佳地分离。以下实施例意在采用这样的空间时间频率通道分离。

根据如图7中图示的本方法的实施例，空间时间编码光检测提供了在给定作为输入的图像序列的情况下针对给定频率通道索引c的调制振幅的空间分布的估计。在图7中，圆角矩形表示不同步骤处的信号或结果数据。直角矩形表示过程。该实施例明确基于使用每列堆叠的2D FFT形式的2D离散傅里叶变换（DFT）。

由于为2D信号，因此DFT的结果同样是2D复数值矩阵，其具有与输入数据相同的维度。在步骤700处开始，提供输入图像序列。在710处选择1至N _x之间的列索引以形成输入列堆叠，步骤711。在步骤715处执行开窗口的可选步骤。列堆叠然后在步骤720中经受二维离散傅里叶变换，其在图8中的示例性示例中图示。在图8中描绘的是幅度（为了可视性，示出幅度的对数），即导致2D复数值矩阵的列堆叠（）的DFT。发现空间时间“波”图案变回与沿-线的中心分布（在图8中指示为e）分离的隔离的分布（在图8中指示为d，d ’），中心分布涉及背景信号（静止）而两个共轭峰值涉及振荡信号贡献。DFT显然展现出不同的能量分布，其中中心贡献e涉及背景信号，并且两个共轭峰值d，d ’涉及我们的光源的振荡信号贡献。注意，依照正y轴的方向，正轴在此同样是向下的。

继续，参考图7，在执行步骤720之后，对于每一个光源c，与特定光源c相关联的空间时间频带被选择并且随后被解调以执行向的频带偏移，参见图9。图9在若干步骤中图示了振幅估计如何从所选空间时间子带产生。图9a）示出在除表观时间频率和处之外的所有分量的抑制之后的列片段的傅里叶变换。在步骤750处执行的其逆傅里叶变换在图9b中示出并且显然示出在没有任何背景贡献的情况下调制光的振荡信号分量的恢复。逆傅里叶变换导致在没有任何背景信号的情况下对调制项的估计。图9c）示出在=0.2[周期/帧]处取出的1D傅里叶片段及其逆变换。最后，在图7中的步骤760处，提供具有每个光源的调制振幅的估计的所得列，参见图9d），其示出与图9c）中的相同的傅里叶片段但是在向的周期偏移之后，及其逆变换，从而提供了振幅分布图的近似。

在图7中的步骤770中，来自不同列索引的列组合，这导致具有每个光源的调制振幅的估计的图像。

由于我们想要恢复的是调制光的振幅，所以当选择以上子带时，我们可以采用S是共轭对称的这一事实，

因为我们的输入信号是实数值。因而，当重构逆变换时我们可以忽略一半傅里叶平面。这在图9c）中描绘，其中取出1D片段并且将其变换回空间域。注意，为了适当归一化，逆变换已经与因子2相乘，以计及忽略另外的共轭傅里叶分量。为了获得振幅，我们可以通过使相关联的频谱分布朝向DC， 偏移来解调。而且，通过执行周期偏移，获得保持其完整空间带宽的振幅估计。在实践中，这可能并不总是可能的，或者甚至是合期望的，使得在图7中的框图中，通道也可以限制在空间-频率带宽中。

在步骤720中的2D FFT之前的步骤715处的可选开窗口对于避免来自空间边界（列的顶部和底部）或来自时间边界（列堆叠的开始和结束）的边界影响可能是必要的。

一般而言，物理调制频率将不映射至整数表观空间或时间频率。作为结果，特定物理调制频率看似不绕整数DFT系数为中心。在该情况中，解调特定频率通道的偏移需要在从现有DFT系数值的插值产生的（复数）系数值上执行。可以证明，插值滤波行动还可以取代可选的开窗口功能。

根据方法的实施例，以上分析的所得估计被用于标识一个或多个光源在所捕捉的相机帧中的存在和/或位置。这可以例如通过确定局部产生最强幅度响应的灯c来完成。

另一实施例通过首先组合每个帧的多个列x提供更高效的实现，组合每个帧的多个列x的最简单的方式是用包含沿水平方向的连续像素的按行总和的新列取代相邻列的组。所得振幅估计的集合被提供有水平方向上的降低的空间分辨率。这样的水平数据累积大幅保存了调制光信号分量，因为信号相位沿图像行是恒定的。这样的列抽选还可以在所谓的小波分解的基础上执行，小波分解提供了以递归方式（局部）精炼累积的水平空间尺度的高效方式。小波变换（和用于分级多尺度分解的其它方法）的这种使用是已知的。

参考图10，图示了根据本发明概念的示例性光检测系统。光照系统10安装在结构50（在此为房间）中。光照系统10包括三个光源11、12和13，以及用于控制光源11、12、13的一个或多个控制单元（未示出）。在图10中，由用户操作包括滚动快门相机的手持光检测设备17。在操作期间，从每一个光源11、12、13单独提供的光输出I₁₁、I₁₂、I₁₃分别贡献于来自光照系统的总体光以用于光照结构10。结构上的来自各个光源11、12、13的光照贡献在此被图示为足迹14、15。来自光源的足迹可以重叠。另外，如图10中图示的，光源13的直射光成像在所获取的图像18中被标注为16的区域中。每一个光源被编码使得其光输出I包括单独的标识符代码ID#1-3，其典型地是作为从单独光源发射的光的特性中的调制的时间序列而发射的嵌入代码。编码光还可以包括关于光源的其它信息，比如当前光设置和/或其它信息，但是为了简化起见，本文以下仅讨论以各个调制频率的形式的标识符代码以说明发明概念的基本思想。

存在对本领域技术人员而言已知的用于将代码嵌入到光源的光输出中的各种技术，并且因此，在此将不对其进行详细描述。

继续，光检测设备17是根据本发明概念的光检测系统的一部分，在图11中示意性地图示所述光检测系统。光检测系统200包括用于获取用户将光检测设备17指向的场景的图像集合（即，在该示例性实施例中，结构100的区域的图像集合）的滚动快门相机210。另外，光检测系统包括用于选择图像获取设置的控制单元220，所述图像获取设置比如为例如滚动快门相机的帧速率、线速率、定时、曝光时间和曝光区域中的至少一个。光检测系统200还包括处理单元230和可选地存储器240。光检测系统还可以可选地包括通信单元250，其被布置用于向光照系统提供指令和/或用于接收或向光照系统或其它外部单元传输比如图像获取设置或调制频率之类的信息。处理单元230被配置成实现根据本发明概念的方法以用于处理包含在所获取的图像（图像的行）中的数据以确定存在于场景内的特定位置处的光源标识符代码。可选地，可以根据本发明方法在远程布置的处理单元中处理通过滚动快门相机获取的场景图像。

处理单元230可以通过与光控制系统或光检测设备的内部或外部数据库（未示出）通信而能够访问光源的调制频率。光检测系统可以被布置成指示光控制系统选择适配于光检测设备的图像获取设置的调制频率。根据光检测系统的实施例，它使用相机的曝光时间的现有知识来在给定由于曝光期间的时间积分所引起的频率相关衰减的情况下选择频率，并且将该信息传送至光源以用于最佳频率指派。

尽管该示例性实施例中的光检测系统布置在手持光检测设备中，但是它可以布置成集成在结构中，例如，安装在墙壁或以任何其它方便的方式。光检测系统的不同部分可以远离彼此布置或者集成在相同光检测设备中。

光源在本文中可以包括任何合适的光源，比如高/低压气体放电源、激光二极管、无机/有机发光二极管、白炽源或卤素源。

以重复的方式执行光源的光调制。存在用于编码光的各种调制方法，连续的和二进制的，并且可以包括连续重复数据流、具有以规律间隔的分组的分组化数据流、和具有以不规律间隔的分组的分组化数据流中的一个。

根据本发明概念的方法适用于光源的不同调制技术，例如频移键控（FSK）、频分复用（FDM）、正交频分复用（OFDM）。

在以上描述中，参考但不应当限于用于编码光源的检测的低成本相机的应用来描述发明概念。在作为现有产品（比如智能电话）的部分的低成本相机的限制内，已经给出各种措施以改进检测（短曝光时间、有意散焦）。当滚动快门传感器继续变得比全局快门传感器更具成本效率时，可以使定制相机成为照明系统自身的一部分，以作为手持设备中的感测元件或作为永久光检测系统的一部分。

以上已经描述了如在随附权利要求中限定的根据本发明的光检测系统的实施例。这些应当被视为仅仅是非限制性示例。如本领域技术人员所理解的，在本发明的范围内的许多修改和替换实施例是可能的。

要注意的是，出于本申请的目的，并且特别地关于随附权利要求，词语“包括”不排除其它元件或步骤，词语“一”或“一个”不排除多个，这本身对本领域技术人员而言将是显而易见的。

Claims (12)

1.一种用于检测调制光的方法，包括：

-接收借助于具有包括帧速率f _frame和线速率f _line的图像获取设置的滚动快门相机获取的图像集合；

-在所述图像的连续帧中标识

　　-由调制光源的调制频率f_c 与线速率f _line之间的比决定的图案，以及

　　-在连续帧之间的由所述调制频率f_c 与所述帧速率f _frame之间的比决定的所述图案的空间偏移；以及

-基于所述图案及其空间偏移，提供来自所述光源的调制光振幅的估计。

2.根据权利要求1的方法，还包括选择所述图像获取设置和所述调制光源的所述调制频率f_c 以提供所述图案的可检测空间偏移。

3.根据权利要求2的方法，其中所述选择步骤是基于在表观空间和时间频率域中选择的预定可检测区段或频率通道。

4.根据权利要求1或2的方法，其中所述标识步骤还包括：

-标识多个所述图案，每一个对应于相应调制光源；以及

-比较所标识的图案和/或所标识的图案偏移以在对应于各个调制光源的图案之间进行区分。

5.根据任何前述权利要求的方法，其中相应光源的所述调制频率f_c 是固定的唯一频率，选自候选频率的集合，包括同时应用的候选频率的集合，或者选自根据给定序列的候选频率的集合。

6.根据任何前述权利要求的方法，其中所述调制频率f_c 被选择成提供所记录的图像像素强度从静止背景的最佳空间时间分离，和/或提供针对多个光源所记录的图像像素强度或其图像处理导出物关于彼此的最佳空间时间分离。

7.根据任何前述权利要求的方法，其中所述提供调制光的估计的步骤还包括对于至少两个连续帧：

以预定方式将每一个图像子划分成一个或多个空间区；

对于每一个所述空间区，在水平方向上对所述空间区中的预定像素的强度值积分以创建区特定且帧特定的值阵列；以及

通过堆叠所述空间区的帧特定且区特定的值阵列来创建区特定值阵列堆叠，使得所述区特定值阵列堆叠提供来自在所述区内成像的光源的调制光的真实时间调制的空间时间表示；

其中所述空间时间分析是基于一个或多个所述区中的强度图案的空间和时间特性。

8.根据任何前述权利要求的方法，当所述图像获取设备的当前曝光时间T _exp已知时，所述提供所述调制光的估计的步骤还包括：

针对所述所获取的图像中由于曝光期间的时间积分所引起的频率相关衰减执行校正。

9.根据任何前述权利要求的方法，其中以重复的方式执行所述光调制，其作为连续重复数据流、具有以规律间隔的分组的分组化数据流、和具有以不规律间隔的分组的分组化数据流中的一个。

10.根据任何前述权利要求的方法，当在包括用于获取至少一个调制光源的所述图像的滚动快门相机的光检测系统中使用时，其中通过执行所述滚动快门相机的校准来提供所述图像获取设置，或者从滚动快门相机的内部或外部数据库检索所述图像获取设置。

11.根据任何从属于权利要求2时的权利要求10的方法，其中所述选择调制频率和图像获取设置的步骤还包括：

在所述滚动快门相机与所述至少一个光源或光源的控制系统之间交换关于至少一个当前图像获取设置和/或至少一个当前调制频率的信息，其中基于至少一个当前图像获取设置或当前调制频率执行所述选择。

12.一种包括被布置用于获取被光照系统光照的场景的图像集合的滚动快门相机的光检测设备，所述光照系统至少包括第一调制光源和被布置用于执行根据任何前述权利要求的方法的处理装置。