CN112995455B - 用于在图像流中引入光脉冲的摄像机和方法 - Google Patents

Abstract

提供了一种用于在图像流中引入光脉冲的摄像机和方法，摄像机包括被布置成捕获图像流的图像传感器，图像传感器包括被布置成捕获第一波长范围的光的多个像素。多个像素中的至少一个由第一材料覆盖，第一材料被布置成将第二波长范围的光转换成第一波长范围的光。进一步，摄像机包括被布置成将第二波长范围的光的光脉冲发射到第一材料上的第一光源，从而使图像传感器将光脉冲记录在由第一材料所覆盖的至少一个像素中。

Description

用于在图像流中引入光脉冲的摄像机和方法

技术领域

本发明涉及在监视系统中显示视频的领域，尤其涉及一种用于确保显示的视频图像是最新的方法以及对应的成像设备。

背景技术

监视系统中存在多个部件可能导致生成、传输和接收视频信号的延迟。为了实现可接受的系统性能，需要仔细选择部件，以实现在信号延迟方面的指定的系统规范。

然而，同样在性能方面具有合适的部件的情况下，硬件和软件部件都可能以不希望的和意外的方式反应，从而导致图像信号被缓冲，或图像数据在寄存器或存储器中循环，导致延迟，或相同的图像信号被一次又一次地传送到接收器侧。

尤其是在数字监视摄像机系统中，生成的信息是否可靠是至关重要的。在监视屏幕上观看来自监视摄像机的图像帧的操作者不会明显地注意到所呈现的图像流是否被冻结，即，图像帧没有按预期更新，导致屏幕上显示的内容实际上是过时的、延迟的或者甚至是故意操纵的信息。在捕获的图像流被存储用于以后查看的场景中，被冻结的图像流被注意到的可能性甚至更小，直到为时已晚。

显然，重要的是能够信任监视摄像机系统中的图像在预定的最大延迟内，而不是在更大的延迟内被接收。因此，还存在改进的空间。

发明内容

鉴于以上所述，本发明的目的是减轻现有技术的上述缺点，并提供一种用于在图像流中引入光脉冲的改进的摄像机，以及一种用于在捕获的图像流中引入光脉冲并验证光脉冲的出现的摄像机系统和对应的方法。

根据本发明的第一方面，本发明的上述目的通过一种用于在图像流中引入光脉冲的摄像机来实现，摄像机包括：

图像传感器，图像传感器被布置成捕获图像流，图像传感器包括被布置成捕获第一波长范围的光的多个像素，其中，多个像素中的至少一个由第一材料覆盖，第一材料被布置成将第二波长范围的光转换成第一波长范围的光；以及

第一光源，第一光源被布置成将第二波长范围的光的光脉冲发射到第一材料上，从而使图像传感器106将光脉冲记录在由第一材料覆盖的至少一个像素中。

如上所述，通常在摄像机系统中存在的缺陷是，图像数据延迟源自图像数据被生成的位置，即在图像传感器内，并且到图像数据的接收器的所有路径无法被检测到。这是因为先前的解决方案通常在由视频处理器接收图像帧时生成时间戳并将时间戳添加到图像帧，可以在接收侧检测和分析时间戳。但在这些解决方案中，在图像数据到达图像处理之前，发生的延迟、丢帧或图像帧操纵不会被检测到。

本文提出的解决方案优点在于，在光子级别下，已经能够检测到发送和接收的图像流的图像帧是实时的，而没有被冻结、没有被重传、被延迟超过可接受的程度、并且没有被故意操纵，这不会干扰图像流中的其余图像数据。这样做的方式是由图像传感器像素将光脉冲直接引入图像传感器数据。

光脉冲通常是指具有随时间变化的强度的光信号。光信号可以是其中光以随着时间在多个不同强度水平之间变化的光强度连续发射的光信号。光信号也可以是不连续的光信号，其中光强度是开或关(零光强度)，即，光信号可以形成光脉冲序列，每个光脉冲具有有限的持续时间。在后一种情况下，序列中的不同脉冲可以具有不同的光强度。光强度在光脉冲的持续时间内也可能变化。已知可以使用各种众所周知的编码技术(例如二进制编码)来对光脉冲进行编码，其中光被打开或关闭，或者所传输的信号的光强度随时间变化。

图像流通常是指顺序图像帧的流。用于视频记录的图像流可以由数字监视视频摄像机捕获。

图像传感器通常是指检测在其敏感的波长范围内的光波并将光波转换成可以被分析和/或布置成数字图像的数字信号的半导体设备。如今，存在两种常用的数字图像传感器：电荷耦合设备CCD以及利用互补金属氧化物半导体技术制造的有源像素传感器CMOS。其他类型的图像传感器也是已知的。

像素通常是指检测光波的感光位置中的一个，感光位置共同形成构成图像传感器的有源部分的阵列。

光通常是指电磁辐射。具体地，在以下的描述中，术语光包括可以由所使用的材料和图像传感器检测到的电磁辐射。

术语“覆盖”通常是指将某些东西放在上面以保护或隐藏。在以下的描述中，使用的术语“由材料覆盖的像素”包括，材料被布置成确保从覆盖性材料发射的光到达像素的感光位置。

术语“被布置成转换光的材料”通常是指当特定波长范围的入射光穿过材料时，发射另一特定波长范围的光的材料。在以下的描述中，该术语用于当入射光主动穿过材料时发光并且在不再出现入射光时停止发光的材料。

光源通常是指发射电磁辐射的设备。可以控制该设备以受控的方式发射电磁。具体地，可以控制该设备以发射强度随时间变化的电磁辐射。例如，可以控制该设备何时和/或以什么强度发射电磁辐射。

第一材料可以是吸收第二波长范围的光并发射第一波长范围的光的荧光材料。以这种方式，由第一光源发射的发射光脉冲被转换成第一波长范围的对应的光脉冲，由第一材料覆盖的图像传感器的至少一个像素被布置成捕获在该第一波长范围内的光。

第二波长范围可以与第一波长范围不同。具体地，第二波长范围可以与第一波长范围不重叠。例如，第二波长范围可以在紫外线波长范围内，从而导致由第一光源发射的光脉冲不被图像传感器的未覆盖第一材料的像素捕获，并且对于人眼也不可见。可以布置第一材料使得在第一波长范围内发射的第一光脉冲仅到达由该材料实际覆盖的至少一个像素。将在详细描述中描述如何实现这的解决方案。第二波长在紫外线波长范围内的进一步优点是，以这种方式，摄像机100的观察者将不会检测到光脉冲，并且因此光脉冲图案不会通过简单地观察摄像机而显现。

第一材料可以进一步被施加在图像传感器的图像传感器玻璃、图像传感器的表面上或多个像素中的至少一个像素的滤色器。这些各种方法的优点是，第一材料可以在摄像机的组装期间中或在图像传感器的制造期间中被施加到成品的图像传感器，从而促进组装。

第一光源可以被布置成发射预定的、伪随机或随机图案的光脉冲，从而提供了将编码信号引入图像传感器数据的优点。图案可以限定由光源发射的光的光强度的时间变化。例如，图案可以限定光源应当何时和/或以什么强度发射光。例如，图案可以限定应当何时打开和关闭光源。可替代地或附加地，图案可以将光源的光强度限定为时间的函数。

摄像机可以进一步包括第一像素组，第一像素组包括由第一材料覆盖的多个像素中的至少一个；以及第二像素组，第二像素组包括由第二材料覆盖的多个像素中的至少一个，第二材料被布置成将第三波长范围的光转换成第一波长范围的光；以及第二光源，第二光源被布置成将第三波长范围的光的光脉冲发射到第二材料上。这种布置提供了如何在图像传感器数据内创建光脉冲的更大灵活性。

第二材料可以是吸收第三波长范围中的光并发射第一波长范围中的光的荧光材料。第三波长范围可以在紫外线波长范围内。

进一步，第一像素组和第二像素组彼此至少以预定距离布置在图像传感器中。这提供的优点是，在由图像传感器信号创建的图像内，来自第一像素组和第二像素组的光脉冲更容易区分，例如通过操作者监视显示器上的图像流，从而有助于检测光脉冲的存在。

第一像素组可以被布置在距第一光源小于预定距离处，并且第二像素组可以被布置在距第二光源小于预定距离处。这提供的优点是，第一光源和第二光源被放置在相应的第一材料和第二材料附近，该第一材料和第二材料覆盖第一被覆盖的像素组和第二被覆盖的像素组。以这种方式，与如果需要在更远的距离处检测发射光相比，可以以更低的效率来操作光源，从而节省了能量并避免了过多的热量生成。此外，这避免了将发射光传播在不希望和/或没有用处的地方。

第二波长范围和第三波长范围可以不重叠，提供的优点是，覆盖第一像素组和第二像素组的第一材料和第二材料不转换相同波长的光，因此旨在用于第一像素组的光脉冲可能不会无意中被第二像素组检测到，反之亦然。

第一光源和第二光源可以被布置成以在不同的预定脉冲频率发射光脉冲，这提供与先前提到的相同的优点。

根据本发明的第二方面，本发明的上述目的通过一种用于在捕获的图像流中引入光脉冲并验证光脉冲的出现的系统来实现，该系统包括如上所述的摄像机，摄像机用于在捕获的图像流的连续图像帧中引入至少一个像素中的光脉冲；

接收器，接收器被布置成从摄像机接收捕获的图像流；

处理单元，处理单元被布置成检测所接收的捕获的图像流的多个连续图像帧是否包括被记录在至少一个像素中的光脉冲；

以及警报单元，警报单元被布置成如果所接收的图像流的图像帧中不出现光脉冲，则创建事件。

本文给出的系统优点在于，在检测到已经在图像传感器像素级别引入的光脉冲不出现在捕获的图像流的接收器处时，生成警报。警报可以表示接收的图像流可能不是实时的、可能被冻结或延迟，或图像流可能被故意操纵的指示。

处理单元可以进一步被布置成确定被记录在至少一个像素的光脉冲是否遵循预定图案或伪随机图案，并且其中警报单元进一步被布置成如果光脉冲不遵循预定图案或伪随机图案，则创建事件。

根据本发明的第三方面，本发明的上述目的可以通过一种用于在捕获的图像流中引入光脉冲并验证光脉冲的出现的方法来实现，该方法包括：

使用如上所述的摄像机在捕获的图像流中引入至少一个像素中的光脉冲；

从摄像机接收捕获的图像流；

检测所接收的捕获图像流的多个连续图像帧是否包括被记录在至少一个像素中的光脉冲；以及

如果所捕获的图像流中不出现光脉冲，则创建事件。

第二方面和第三方面通常可以具有与第一方面相同的特征和优点。还应注意，除非另外明确指出，否则本发明涉及特征的所有可能的组合。除非明确说明，否则不必以所公开的确切顺序执行本文中公开的任何方法的步骤。

附图说明

通过以下参照附图对本发明的优选实施例的说明性和非限制性的详细描述，将更好地理解本发明的上述以及其他目的、特征和优点，其中相同的附图标记将用于相似的元件，其中：

图1示意性地图示出了根据实施例的监视场景的摄像机。

图2示意性地图示出了根据第一组实施例的图1的摄像机的图像传感器PCB。

图3示意性地图示出了根据实施例的用于在所捕获的图像流中引入光脉冲并验证光脉冲的出现的摄像机系统。

图4示意性地图示出了根据第二组实施例的图1的摄像机的图像传感器PCB。

图5是根据实施例的在系统中执行的用于在所捕获的图像流中引入光脉冲并验证光脉冲的出现的方法的流程图。

具体实施方式

现在将在下文中参照附图更全面地描述本发明，在附图中示出了本发明的实施例。本文中公开的系统和设备将被描述为在操作期间。

图1图示出了捕获场景110的图像流的摄像机100。所捕获的图像流包括图像帧序列。摄像机100包括摄像机模块102，摄像机模块102包括具有图像传感器106的图像传感器印刷电路板(PCB)104和摄像机透镜系统108。摄像机100还可以包括其他单元，例如具有用于控制摄像机透镜系统(未描绘)的控制单元的PCB以及用于准备来自摄像机模块102的用于被传输至接收器的图像流的图像处理单元107。

图2图示出了包括图像传感器106的图像传感器PCB 104。图像传感器106包括对第一波长范围的光敏感的多个传感器像素112。图像传感器106可以是CCD或CMOS类型的，通常对具有在400-1000nm范围(包括对于人类可见的波长范围)内的波长的电磁辐射敏感。

图像传感器106的多个传感器像素112中的至少一个由第一材料114覆盖，第一材料114被布置成将第二波长范围的吸收光转换成第一波长范围的发射光。第一波长范围通常是图像传感器106的传感器像素112对其敏感的波长范围的电磁辐射。第二波长范围是第一材料114能够吸收的类型的并且图像传感器像素对其不敏感(或至少不太敏感)的波长范围的电磁辐射。第二波长范围可以是人眼不可见的范围。

进一步，摄像机100包括第一光源116，第一光源116被布置成将第二波长范围的光脉冲发射到第一材料114上，并且从而使图像传感器将光脉冲记录在由第一材料114覆盖的至少一个传感器像素中。这导致光脉冲被引入到由图像传感器捕获的图像帧中，并因此被引入到图像流中。

第一光源116可以是位于图像传感器PCB 104上的LED。在一个实施例中，第一光源116位于由第二材料覆盖的传感器像素附近。例如，它可以位于距由第一材料覆盖的传感器像素的预定距离内。在另一实施例中，在图像传感器106不敏感的范围内选择第二波长范围的情况下，由于发射的光不会被图像传感器像素直接记录，因此第一光源116可以位于摄像机模块102内的任何位置。只要发射光到达第一材料，第一光源的可替代的位置可以在摄像机100的透镜内、在图像传感器PCB上、在图像传感器上或者在透镜控制单元所位于的PCB上。在一个实施例中，第一光源116被放置在所施加的第一材料114附近，因为这将使得可以使用具有低效率的第一光源116，从而节省能量，避免产生过多的热量，并且也避免将发射光传播到无用的位置。

由第一材料覆盖的传感器像素的数量可以是小的以不覆盖来自场景的重要图像信息，但是足够大以使得图像传感器能够检测到记录的光脉冲。通常，由第一材料覆盖的传感器像素可以形成连续像素组。在一个实施例中，5×5像素组由第一材料覆盖。为了通过图像分析过程进行检测，可以覆盖较少数量的像素。为了由监视显示器上的图像流的操作者进行检测，较大数量的像素可能更合适。在可替代的实施例中，第一材料覆盖几个单独的像素组，每个像素组包括至少一个像素。

由第一材料114覆盖的所选择的至少一个传感器像素可以位于图像传感器106内的任何位置。可以在图像传感器的拐角区域中或沿着边缘选择至少一个像素。

优选地，摄像机透镜系统108可以是不将第二波长从被监视的场景110透射至图像传感器像素112的材料。以这种方式，第二波长的信号仅源自摄像机内的光源，而不是源自场景，第一材料被布置成将第二波长的信号转换成第一波长的发射光。这导致由图像传感器记录为第一波长的脉冲的第二波长的脉冲被控制为引入的光脉冲。实现这种效果的另一方法可以是选择第二波长，使得来自第一光源116的光脉冲不被传输通过摄像机透镜系统108的材料。将滤光器或涂层添加到摄像机透镜系统108的表面中的至少一个、阻挡第二波长的信号可以单独或组合成为另一示例。

第一材料114可以是可以吸收较高能量的电磁辐射并发射较低能量的辐射的荧光材料。在传感器106是对可见区域的波长敏感的类型的一个示例中，第一材料114可以是吸收电磁光谱的人眼不可见的紫外区域中的辐射并且发射在可见区域中的光的荧光材料。

在另一示例中，第一材料114可以是以二次谐波生成为特征的非线性介质，非线性介质可以被描述为倍频材料或非线性晶体材料。该材料可以提供倍频效果，其中输入电磁信号生成具有半波长的另一信号，即输出信号具有更高的能量。来自第一光源116的输入信号可以是激光束，并且输出信号可以以在相似方向上传播的光束的形式来生成。例如，第一光源可以在红外波长范围内，并且输出信号在可见光范围内。

可以选择第一材料114使得它将第二波长范围的光转换成图像传感器106对其敏感的第一波长范围的特定部分。例如，第一材料可以将入射光转换成可见光谱的红色部分，或者转换成图像传感器106对其敏感的波长范围的混合物，例如作为可见光谱的波长的混合物的白光。

第一材料114可以被施加在图像传感器玻璃(保护图像传感器像素的玻璃片材)上，使得第一材料114覆盖传感器像素中的至少一个。在传感器没有配备保护性传感器玻璃的情况下，第一材料114可以直接被施加到传感器像素中的至少一个上。第一材料可以通过例如喷涂、喷射或通过施加材料的薄膜来施加。在这些方法中的任何一种中施加第一材料可以在摄像机的生产期间而不一定在图像传感器的生产期间进行。

可替代地，可以使用例如丝网印刷技术或上述任一应用技术，将第一材料114作为涂层施加到对第一波长透明的单独的材料片上。然后，将该片放置在适当的位置，使得第一材料114覆盖将要引入光脉冲的所选择的传感器像素。

优选地，被施加以覆盖至少一个传感器像素的材料的放置方式可以使得材料靠近图像传感器像素表面，使得第一波长的发射脉冲在所选择的传感器像素中被捕获，而不干扰附近的其他像素，因为干扰附近的其他像素将导致图像流中可能难以被正确检测的模糊脉冲。

在另一实施例中，优选地由不透射第一波长的非反射材料制成的小管被填充有第一材料114，并且被放置在图像传感器表面上，使得小管的端部覆盖至少一个传感器像素。该管将阻止第一波长的发射光传播到其他图像传感器像素。这种类型的保护可以采取其他形状。

可替代地，第一材料114可以被施加到至少一个传感器像素的滤色器，该过程例如可以通过替换普通滤色器中的一个来在图像传感器的制造期间进行。

具有上述特征的第一材料114可以是荧光涂料或胶水。

图3图示出了用于在所捕获的图像流中引入光脉冲并验证光脉冲的出现的摄像机系统300。摄像机系统300包括如上所述的摄像机100和光脉冲验证器301。光脉冲验证器301可以包括：被布置成从摄像机接收所捕获的图像流的接收器304、被布置成检测接收的捕获的图像流的多个连续图像帧是否包括被记录在至少一个像素中的光脉冲的处理单元306以及被布置成如果接收的图像流的图像帧中不出现或不正确地出现光脉冲，则创建事件的警报单元308。摄像机系统300可以进一步包括提供摄像机系统300内的设备之间的本地连接以及在需要时远程的连接的通信网络302。

通信网络302可以是例如局域网、广域网、因特网、蜂窝网络、无线网络、WiFi网络、基于电缆的网络、基于以太网的网络等或这些的组合。

接收器304、处理单元306和警报单元308可以在光脉冲验证器301内实现，或者一些或所有这些单元可以实现为单独的单元。

处理单元306可以了解关于所引入光脉冲的出现、计时、结构和/或图案，并且可以确定光脉冲是否以正确的方式出现并且没有不可接受的延迟。在一个实施例中，图像传感器106、图像处理单元107和处理单元306使用相同的时钟源进行同步，以实现该确定。

光脉冲验证器301、接收器304、处理单元306和警报单元308可以在计算平台(例如，个人计算机、定制嵌入式系统、移动设备)上实现，或者通过多摄像机系统中的一个或多个摄像机实现。这些单元301、304-308的一些或全部功能可以被结合在诸如视频管理系统(VMS)、监视工具或单独的验证应用之类的软件应用中。如本领域技术人员所知，具体结构可以取决于组件的实现，例如它们是以硬件、软件还是硬件和软件的组合来实现。组件可以与(非暂态)计算机可读介质相关联，在计算机可读介质上存储了实现本文中公开的方法和单元的各种功能的计算机代码指令。

如前所讨论，摄像机系统中的问题可能是，在摄像机100的不同部分中或在摄像机系统300中，所捕获的图像帧可能被延迟或丢失。该问题可能由软件错误、硬件错误、容量问题等引起的。例如，图像传感器106中或图像传感器PCB 104上的部件内的错误可能导致图像帧在循环中被多次重传、被丢失并且不被传送至准备将图像流传送至接收器的图像处理单元107。因此，摄像机100的图像处理单元107将时间戳等输入到图像流中的解决方案具有延迟的缺点，或者源自在图像流到达图像处理单元107之前的丢帧未被处理。所讨论的错误可能是间歇性的，并且因此如果没有专门的手段，则难以检测到。

摄像机100旨在缓解的另一问题是当图像流内的图像帧被故意操纵时。如上所述，如果这是在图像传感器106中进行的，或者是在将图像数据传送到图像处理器中进行的，则在图像处理器内应用的方法几乎没有用处。所呈现的摄像机100可以通过引入已经在图像传感器106内的光脉冲，并且通过检测光脉冲正确到达光脉冲验证器301，来确保这些操纵被注意到。

在摄像机100的图像传感器106内的图像流中引入的光脉冲跟随图像流通过摄像机系统300到达接收侧301、304-308，图像流在接收侧可以例如被显示或用作分析过程的输入。

第一光源116可以发射预定的、伪随机的或随机的图案的光脉冲。第一光源可以包括被布置成控制第一光源116根据所提到的图案来发射光脉冲的驱动和控制单元。驱动和控制单元可以是单独的单元和/或它们中的一个或两个可以在第一光源116的外部实现。第一光源的控制可以基于来自图像处理单元107或另一外部单元的输入。

第一光源116可以以与图像流的帧速率同步的规则图案发射光脉冲，使得在每第二图像帧中，发射光是开启的，并且在每第二图像帧中，光是关闭的，其中帧速率可以是第一光源116的驱动和控制单元的输入。这可以适合于分析图像流的处理单元306。

光脉冲可以遵循任何预定的图案，其中图案可以是输入或在第一光源116的驱动和控制单元内生成的。如上所提到的，可以以预定的周期性开/关模式对光脉冲进行编码。例如，可以生成较慢的开/关光脉冲的图案，其中对于多个连续帧，第一光源是关闭的，并且对于随后的多个连续帧，第一光源是开启的，使得操作者可以监视由接收器304接收的图像流，以可视地记录闪烁图案，并且因此接收显示的图像已更新且未延迟的指示。

在使用预定的循环模式的另一示例中，处理单元306还可以确定图像帧已经通过摄像机系统300从图像传感器传送到接收器304，不仅没有延迟，而且以正确的顺序并且没有丢帧。

如何创建光脉冲图案的另一示例可以是改变第一光源116处的光强度。此外，在该示例中，第一光源116的驱动和控制单元可以控制发射的光脉冲实现任何提到的图案。为了能够确定所引入的光脉冲是否以正确的方式和/或在接收侧没有延迟地出现，处理单元306需要确定是否已经接收到所引入的光脉冲的正确的光强度。为此，处理单元306可能需要图像传感器增益和/或曝光时间的信息、可以由图像处理单元107作为元数据提供并与每个帧一起发送的信息。

可以使用表示时间戳的预定的图案来编码所引入的光脉冲，其中第一光源116的驱动和控制单元的输入可以是系统时间信号。如先前提到的，该相同的系统时钟信号也可以作为处理单元306的输入，处理单元306可以对时间戳进行解码，以检测所引入的光脉冲是否正确地出现，在该示例中这可以包括确定光脉冲是否在表示可接受延迟的预定的时间内出现。以这种方式，可以检测重传的帧和丢帧。

在另一实施例中，可以使用伪随机或随机图案。如何生成这些类型的图案在本领域中是公知的。使用伪随机图案可能增加故意操纵图像流内的图像帧而不被注意到的难度，并且从而通过摄像机系统300提供了从图像传感器源到接收器的视频数据的可靠传送。使用随机图案可以使接收侧的处理单元306能够简单地检测到光脉冲是可用的，并且从而得出图像帧被更新的结论。

如上所提到的，处理单元306可以了解关于所引入的光脉冲的图案或创建图案的功能，并且从而可以确定光脉冲是否以正确的方式出现并且没有延迟。在预定的代码(例如，循环代码)的示例中，处理单元306可以访问代码的结构。在伪随机代码的示例中，处理单元306可以访问用于创建代码的功能。

被引入到图像流中的光脉冲的强度可以根据由图像传感器106捕获的图像中的光的水平来调整。为了实现这一点，第一光源116的驱动和控制单元可以从图像处理单元107接收图像传感器的曝光和/或增益设置或者由图像传感器捕获的最近图像中的平均光的水平作为输入。然后，第一光源116的光强度可以被布置成与当前情况相对应。例如，在夜间，发射的光脉冲可以比在白天弱，以确保有效地检测到所引入的光脉冲，并且同时不干扰图像信息。

如果第一光源116的效率是已知的，则可以计算确保在接收侧可以检测到光脉冲所需的光脉冲的强度和/或长度。在一个示例中，优选的是，光脉冲的强度和长度确保被覆盖的像素中的至少一个被过度曝光，从而在图像帧中产生清晰的白点。

如果光源的效率是未知的，则可以通过监视图像的操作者利用所引入的光脉冲或通过摄像机机100的图像处理单元107将其校准为一种特定曝光设置的正确强度。然后，由于曝光时间和增益设置是以数学方式限定的，因此强度可以适应其他设置。

如果传感器使用电子滚动快门读数，则光脉冲的计时和长度可以与由第一材料114覆盖的至少一个像素的行的曝光时间匹配。因此，发射的光脉冲图案可以与该行的曝光时间同步。

如果传感器使用电子全局快门，则同时捕获所有行，并且第一光源116的脉冲图案可以与全局快门频率同步。因此，第一光源116的开/关切换可以在所谓的垂直消隐期间在任一处进行。

处理单元306被布置成确定被记录在至少一个像素中的光脉冲是否遵循预定图案，并且警报单元308被布置成如果光脉冲不遵循预定图案，则创建事件。该事件可以导致创建警报。根据情况，可以以许多不同的方式处理事件。例如，警告消息可以被发送至系统管理员，或被输入在为操作者显示图像流的显示器上。其他示例是激活声音或灯光警报，或关闭操作者的显示器，以避免延迟的图像数据被用于时间紧迫的决定。

图5图示出了用于在所捕获的图像流中引入光脉冲并验证光脉冲的出现的方法。该方法包括在捕获的图像流引入至少一个像素中的光脉冲(步骤S02)。如上所述，光脉冲的引入可以使用摄像机100和图像传感器106来进行。

进一步，方法包括接收捕获的图像流(步骤S04)。接收器304可以从摄像机100接收捕获的图像流，在摄像机100处图像流可能已经通过摄像机系统300被传送。

在进一步的步骤中，方法包括检测接收的捕获的图像流的多个连续图像帧是否包括被记录在至少一个像素中的光脉冲(步骤S06)。通常，摄像机系统300的处理单元306检测步骤S02中引入的光脉冲是否以正确的方式出现，而没有延迟，没有任何丢帧和/或具有正确顺序的帧。为此，处理单元306可以分析至少两个连续的图像帧，并将接收的光脉冲图案与光脉冲如何被引入到图像传感器中的这些图像帧中的信息进行比较。如上所述，所引入的光脉冲图案可以是本领域已知的几种不同的类型。处理单元306可以将接收的光脉冲图案与由摄像机100引入的光脉冲图案进行比较。处理单元306如何检测光脉冲图案在本领域中也是已知的。

如果在步骤S06中的检测表明所记录的光脉冲以与在引入步骤S02中引入光脉冲的方式相对应的方式出现，则该方法继续检测是否在接收的图像流的后续图像帧中检测到所引入的光脉冲，直到所有图像帧被处理(步骤S10)。

另一方面，如果步骤S06中的检测表明图像帧不包括由图像传感器记录的光脉冲，则该方法继续到另一步骤，其中方法包括如果光脉冲未出现在所捕获的图像流中，则创建事件(步骤S08)。警报单元308可以在从处理单元306接收到否定响应时执行该步骤。

当警报单元308创建事件S08时，该方法继续检测引入的光脉冲是否已经被记录在接收的捕获的图像流的其他图像帧中(步骤S06)。直到接收的图像流的所有图像帧被处理(步骤S10)。然后该方法可以利用另一图像流重新开始。

如上所述，具有包括由第一材料覆盖的图像传感器像素中的至少一个的第一像素组的图像传感器106可以以通常与图像流的帧速率同步的预定图案来记录来自第一光源116的光脉冲。图4图示出了可替代的实施例，其中，包括图像传感器106的多个像素中的至少一个的第二像素组由第二材料144覆盖，第二材料144被布置成将第三波长范围的光转换成第一波长范围的光，并且其中，第二光源146被布置成将第三波长范围的光的光脉冲发射到第二材料上。该实施例使得能够引入其他的光脉冲，从而提供了在摄像机系统300内对图像帧延迟、丢失或操纵进行更通用的验证的可能性。以上关于由第一材料114覆盖的至少一个传感器像素的尺寸和位置的讨论也适用于第一像素组和第二像素组。

第一材料114和第二材料144可以是相同的，也可以是不同的，并且它们可以转换相同波长范围或不同范围的光。由光转换材料覆盖的像素组、它们对应的光源以及它们对应的波长范围的数量可以大于两个。

第二材料144可以是吸收第三波长范围的光并发射第一波长范围的光的荧光材料。

在一个实施例中，第三波长范围在紫外线波长范围内。以上关于第二波长范围的讨论也适用于第三波长范围。

在另一实施例中，第一像素组和第二像素组彼此至少以预定距离布置在图像传感器上。当操作者在显示器上监视图像流时，这可能是特别重要的，因为与光脉冲仅来自一个像素组和/或脉冲彼此靠近相比，源自两个或更多个分散开的像素组的显示的图像流中的光脉冲可能更易于被人类操作者检测到。在又一实施例中，也提供了刚刚描述的优点，图像传感器106具有两个或更多个像素组，所有像素组彼此至少以预定距离布置在图像传感器上，并且全部被将第二波长范围的光转换成第一波长范围的相同的第一材料覆盖。然而，该实施例仅具有单个第一光源，使得第一光源在第二波长范围的发射光到达所有覆盖的像素组。

在又一实施例中，第一像素组被布置在距第一光源小于预定距离处，并且第二像素组被布置在距第二光源小于预定距离处。光源越靠近由对应的材料覆盖的像素组放置，所需的光源的效率越小，具有已经提到的优点：所需的功率更少、生成的热量更少以及从发射光到图像传感器的其他像素的干扰更少。特别在第一和第二像素组由相同的材料覆盖并且对应的光源发射相同的波长范围但具有不同图案和/或频率的光脉冲的情况下，小距离是一个优点，否则第一像素组可以记录旨在用于第二像素组的光脉冲。

在进一步实施例中，可以选择第一材料和第二材料，使得第二波长范围和第三波长范围不重叠。利用这种设置，可以避免来自第一光源的光脉冲被由第二材料覆盖的第二像素组记录，并且来自第二光源的光脉冲被第一像素组记录。优选地，同样在该实施例中，仍然选择第二波长范围和第三波长范围，使得图像传感器106的像素不记录这些波长范围。以这种方式，第一光源和第二光源的放置不是关键的，因为它们的发射光仍将仅通过对应的第一材料和第二材料被转换到图像的像素能够记录的第一波长范围中。

具有以上述实施例中描述的方式记录来自两个或更多个不同光源的光脉冲的两个或更多个不同像素组的布置，既可以在操作者监视在显示器上的图像流的情况下，又可以在由处理单元306进行光脉冲检测时使用。通常，两个或更多个光源可以交替地发射与图像帧速率同步的光脉冲，使得在第一光源关闭时，第二光源打开，并且反之亦然。具体地，然后，操作者将看到由图像传感器记录的这些光脉冲从第一像素组移动到第二像素组，然后再返回。对于人眼，这可能比仅在单个小像素组中的光脉冲更容易记录。在又一其他示例中，可以选择第一材料和第二材料，使得它们在第一波长范围的非重叠部分内发射各自的光脉冲。以这种方式，第一像素组和第二像素组可以记录接收的不同颜色的光脉冲，还便于操作者监视显示器上的图像流。

如上所述，与仅第一光源的情况一样，可以以交替的开/关方式布置来自两个或更多个光源的光脉冲。在又一其他实施例中，第一光源和第二光源可以被布置成以与图像流帧速率同步的不同的预定脉冲频率发射光脉冲。在两个或更多个像素组和光源的情况下，光脉冲也可以是随机的或伪随机的。如上所述，可以通过改变光源的光强度来实现图案，使得由图像传感器记录的对应的光脉冲的强度也改变。

应当理解，本领域技术人员可以以多种方式修改上述实施例，并且仍然使用如以上实施例中所示的本发明的优点。因此，本发明不应限于所示的实施例，而应仅由所附权利要求书限定。附加地，如本领域技术人员所理解的，所示出的实施例可以被组合。

Claims (15)

1.一种用于在图像流中引入光脉冲的摄像机，包括：

图像传感器，所述图像传感器被布置成捕获描绘场景的图像流，所述图像传感器包括被布置成捕获第一波长范围的光的多个像素，

其中，所述多个像素中的至少一个像素由第一材料覆盖，所述第一材料被布置成将第二波长范围的光转换成所述第一波长范围的光；

第一光源，所述第一光源位于所述摄像机内、被布置成将所述第二波长范围的光的光脉冲发射到所述第一材料上，从而使所述图像传感器将光脉冲记录在由所述第一材料覆盖的所述至少一个像素中；以及

摄像机透镜系统，布置为使得防止源自所述场景的所述第二波长范围的光由所述图像传感器记录。

2.根据权利要求1所述的摄像机，其中，所述第一材料是吸收所述第二波长范围中的光并发射所述第一波长范围中的光的荧光材料。

3.根据权利要求1所述的摄像机，其中，所述第二波长范围在紫外线波长范围内。

4.根据权利要求1所述的摄像机，其中，所述第一材料被施加到所述图像传感器的图像传感器玻璃、所述图像传感器的表面上或所述多个像素中的所述至少一个像素的滤色器。

5.根据权利要求1所述的摄像机，其中，所述第一光源被布置成发射预定的伪随机或随机图案的光脉冲。

6.根据权利要求1所述的摄像机，其中，包括所述多个像素中的至少一个像素的第一像素组由所述第一材料覆盖；并且

包括所述多个像素中的至少一个像素的第二像素组由第二材料覆盖，所述第二材料被布置成将第三波长范围的光转换成所述第一波长范围的光；以及

第二光源，被布置成将所述第三波长范围的光的光脉冲发射到所述第二材料上。

7.根据权利要求6所述的摄像机，其中，所述第二材料是吸收所述第三波长范围中的光并发射所述第一波长范围中的光的荧光材料。

8.根据权利要求6所述的摄像机，其中，所述第三波长范围在紫外线波长范围内。

9.根据权利要求6所述的摄像机，其中，所述第一像素组和所述第二像素组彼此至少以预定距离布置在所述图像传感器中。

10.根据权利要求6所述的摄像机，其中，所述第一像素组被布置在距所述第一光源小于预定距离处，并且所述第二像素组被布置在距所述第二光源小于预定距离处。

11.根据权利要求6所述的摄像机，其中，所述第二波长范围和所述第三波长范围不重叠。

12.根据权利要求7所述的摄像机，其中，所述第一光源和所述第二光源被布置成以不同的预定脉冲频率发射光脉冲。

13.一种用于在捕获的图像流中引入光脉冲并验证光脉冲的出现的系统，包括：

根据前述权利要求中的任一项所述的摄像机，用于在捕获的图像流的连续图像帧中引入至少一个像素中的光脉冲；

接收器，所述接收器被布置成从所述摄像机接收所捕获的图像流；

处理单元，所述处理单元被布置成检测所接收的捕获的图像流的多个连续图像帧是否包括被记录在所述至少一个像素中的光脉冲；以及

警报单元，所述警报单元被布置成如果所接收的图像流的所述图像帧中不出现光脉冲，则创建事件。

14.根据权利要求13所述的系统，其中，所述处理单元进一步被布置成确定被记录在所述至少一个像素中的所述光脉冲是否遵循预定图案或伪随机图案，并且其中，所述警报单元(308)进一步被布置成如果所述光脉冲不遵循所述预定图案或所述伪随机图案，则创建事件。

15.一种用于在捕获的图像流中引入光脉冲并验证光脉冲的出现的方法，包括：

使用根据权利要求1所述的摄像机在捕获的图像流中引入至少一个像素中的光脉冲；

从所述摄像机接收所捕获的图像流；

检测所接收的捕获的图像流的多个连续图像帧是否包括被记录在所述至少一个像素中的光脉冲；以及

如果所捕获的图像流中不出现所述光脉冲，则创建事件。