CN113938600B - 用于增强视频摄像机的性能的方法 - Google Patents

Abstract

本发明涉及用于增强视频摄像机的性能的方法，包括：在有已知透射特性的IR透射滤光片在视频摄像机的图像传感器前方的情况下，用视频摄像机获取第一图像序列，该IR透射滤光片在IR区域中具有高于30％的透射，以及在没有IR透射滤光片被布置在图像传感器前方的情况下，用视频摄像机获取第二图像序列。该方法然后继续进行，使用第一和第二图像序列来评价来自可见光的贡献或IR辐射的贡献对第一图像流和/或第二图像流中的图像的测量。测量导致这样的机会，利用所计算的贡献的评价来通过将视频摄像机从夜间模式切换到日间模式以改进视频摄像机的性能或来将颜色信息添加到用对图像传感器全部或部分透射的IR辐射获取的图像。

Description

用于增强视频摄像机的性能的方法

技术领域

本申请涉及视频摄像机中的用于评价夜间模式图像获取期间的环境光的测量的方法。本发明还涉及视频摄像机中的用于对从夜间模式操作到日间模式操作的切换进行计时的方法。

背景技术

IR(红外)滤光片对于摄像机的使用在本领域中是众所周知的，且特别是相对于数字摄像机。简而言之，摄像机的图像传感器具有红外中不可忽略的分量的光谱响应，从而导致机会以及挑战。机会在于，在低光条件下IR分量可提供关于成像场景的有用的附加信息，该信息可借助于IR光源被更进一步增强。挑战存在于日间成像期间，其中IR分量的添加将使图像中的颜色平衡失真且其还可能使图像传感器饱和。此外，因为摄像机可检测到辐射，所以诸如曝光设置的参数可能以对所显示的图像有害的方式受影响。

保持有益的影响同时抑制不太有益的影响的方式是在日间模式操作期间在图像传感器前方的光束路径中添加可移动的IR截止滤光片。以这种方式，可在日光条件期间使用IR滤光片，从而能够获取彩色图像。遍及本申请，“IR截止滤光片”和“IR滤光片”可以被交换使用，且除非明确规定，“IR滤光片”在本上下文中将与IR截止滤光片对应。在日间模式操作期间，图像传感器的像素将以第一方式操作，其中入射光被检测为单独光检测器上的电荷，每个光检测器被提供有滤光片以便接收主要红色、主要绿色或主要蓝色辐射，因此能够使颜色分离。在夜间模式操作期间(例如，在低光条件下)，IR截止滤光片可被移除。这意味着将存在源自光谱的IR部分的入射光(或辐射)的增加，该增加可用于提高图像质量但以使彩色成像变得困难或不能实现为代价。在没有IR截止滤光片的情况下，IR辐射将增加每个颜色通道的强度，因为每个颜色通道在IR区域中都具有响应。这将通过在每个颜色通道中添加未知因素而偏斜颜色信息。因此，在夜间模式操作期间不是执行颜色分离，被保持的唯一参数是入射辐射的总强度，对于每个像素，其可被表示为灰度强度图像(或以任何所需的色阶)。IR光源的添加可更进一步增强图像。

在简单的方案中，IR截止滤光片被布置在传感器前方，且致动器用于在其中IR截止滤光片完全覆盖传感器(“日间模式”)的位置与其中IR截止滤光片从遮挡图像传感器被完全移除(“夜间模式”)的位置之间移动滤光片。当从夜间模式开始且缩回滤光片时，IR截止滤光片已被插入，则图像传感器可推导环境光的数量是否充足。如果不充足，摄像机将切换回夜间模式。当从夜间模式切换到日间模式时，屡见不鲜的情况是，在光束路径中带有IR滤光片的光水平太低且切换回夜间模式是必要的，从而导致在夜间模式与日间模式之间的来回闪烁。这导致图像的明显闪烁和对致动器的显著磨损。因此，来回切换不益于用户体验，且因此可以有切换之前的评价，其中成像单元尝试推导场景中的可见光的数量以便确定切换到日间模式是适当的。

为此目的，检测可见光的水平同时阻挡IR辐射的辅助光传感器可用于控制何时插入和何时移除IR滤光片，使得当环境光的水平变得太低时，摄像机通过移除IR滤光片并任选地使用IR光源(由摄像机携带或被并入在摄像机中或者被布置在其外部)来切换到夜间模式，并且当环境光水平足够高时，可执行到日间模式的切换。对于许多应用，该方案提供了可接受的结果，然而添加附加部件增加了最终产品的成本和复杂度。此外，大多数光传感器只测量环境整体光水平，这导致成像场景内的光水平的局部变化可能无法被解释。

本发明主要涉及通过提供用于获取环境光水平的测量的改进方法(特别是在夜间模式下操作时)来改进IR滤光片控制。

发明内容

根据另一方面，本发明提供用于增强能够在夜间模式操作与日间模式操作之间切换的视频摄像机的性能的方法。方法包括在没有第二滤光片设置被布置在视频摄像机的图像传感器前方的情况下用视频摄像机获取第一图像序列，在视频摄像机的图像传感器前方有第二滤光片设置的情况下用视频摄像机获取第二图像序列。第二滤光片设置包括具有已知透射特性且在IR区域中具有高于30％的透射的IR透射滤光片。第一图像序列和第二图像序列用于计算对第一图像序列或第二图像序列中的图像的来自可见光的贡献和/或IR辐射的贡献。此外，所计算的贡献(不论其来自IR或可见光)可用于所计算的贡献的评价来通过将视频摄像机从夜间模式切换到日间模式(反之亦然)以改进视频摄像机的性能，或者用于推导颜色信息并将颜色信息添加到用对图像传感器完全或部分透射的IR辐射获取的图像。

本发明方法能够以简单的方式控制或增强视频摄像机的性能，因为对来自可见光的贡献和IR辐射的贡献所计算的测量可以用在几种不同的方法中。如果方法从夜间模式操作开始执行，可用可见光的评价可用于推导到日间模式操作的切换是否是适当的。如果该切换不是适当的，则所计算的值可仍然用于将颜色信息添加到在夜间模式操作中获取的图像，否则所计算的值以灰度或示出强度而不是颜色的其他标度表示。如果方法从日间模式操作开始执行，颜色信息可仍然被添加到在IR透射滤光片被布置在图像传感器前方的情况下获取的图像。也可在其中使用具有第一IR透射的滤光片和具有第二IR透射的滤光片(只要在IR透射率上存在差异)的情况中执行和利用方法。全像素响应(按照强度值)源于IR辐射和可见光，所以如果已知一个，则另一个将已知，不论哪一个是当前评价的目标。如果还不足够清楚，这将通过回顾详细描述且特别是那里描述的方程系统而容易理解。从计算和评价中，可以评价场景中可用可见(或IR)光的总数量，即，可以推导任何透射的滤光片被插在传感器前方时的所估计的响应，显然是通过光谱范围被粗略划分成“可见”和“红外”，因为这是对特定应用相关的划分。第一序列和第二序列可以是连续的序列，然而它们也可以取决于应用而是交叉的。视频摄像机可以是使用CCD或CMOS传感器或任何类型的可用传感器的常规数字视频摄像机，且特别是用于监控或监视目的的视频摄像机。

因此为了进一步阐明，在一个或多个实施方式中，用包括被布置在图像传感器前方的IR截止滤光片的滤光片设置(即，用在日间模式下操作的摄像机)获取第一图像序列，而在其他实施方式中，在没有任何IR截止滤光片被布置图像传感器前方的情况下(即，用在夜间模式下操作的摄像机)获取第一图像序列。除此之外，还可预见的实施方式为，其中用包括与在第二滤光片设置中所使用的不同的IR透射滤光片的滤光片设置获取第一图像序列的中间模式或混合模式。在详细描述中进一步讨论混合模式。

在一个或几个实施方式中，评价可用于将颜色信息添加到图像的另外由于IR贡献而具有偏斜的颜色信息的部分。颜色信息可能为什么偏斜的原因在本描述中的其他地方讨论，然而本发明方法提供推导校正此偏斜信息所需的数据的便利方法。

在执行本发明时，发生有物理或机械滤光片切换。这在视频摄像机中是屡见不鲜的，其中借助于被插入图像前方的位置或从该位置移除的IR截止滤光片来在日间模式与夜间模式之间切换成像是常规做法。然而，切换可在图像中产生轻微的噪声和闪烁，这是为什么切换没有被连续地或太频繁地执行的一个原因。在本发明的实施方式中，可选择IR透射滤光片的透射，以便不会在所获取的图像中产生明显影响或至少不太明显的影响，但仍然滤光片切换可以不是被太频繁地执行。由于这个原因，在一个或多个实施方式中，可优选的方法进一步包括将图像分割成具有运动的区域和没有运动的区域，其中在没有运动的区域中应用颜色信息的添加。以这种方式，将伪颜色信息添加到方法的最后一次激活期间未获取任何颜色信息的运动对象的风险较低。实际分割可以以多种方式中的一种来执行，且所使用的实际技术或算法不是本发明的目的中心。常规运动检测算法可用于检测和定位运动对象或运动的区域，限定包括运动对象的区域并抑制在所限定的区域中添加颜色。该区域可以高精度地遵循对象的轮廓，或包括稍微更大的区域，或甚至包括整个对象的矩形。在任何情况下，所添加的背景颜色可帮助操作者获得当前场景的更好理解。在典型的夜晚场景中，小区域中的颜色缺乏可能还不明显，且在任何情况下，运动对象将仅由于其正在运动的事实而从背景中突出。

如已在上文中指出，根据本发明的一些实施方式，第一图像序列和第二图像序列按固定的间隔或作为事件的结果来执行，使得颜色信息以比视频摄像机的fps更低的速率更新。这组实施方式可取决于特定的应用。在室外安装中，光水平可以通过时间(和地理位置)是可预测的，而在室内安装中，光水平是不太可能预测的，或按照工作小时等是不太可能预测的。摄像机执行方法的频率可根据这些参数而改变。作为示例，可能不需要在其中黑暗被预期的冬夜的半夜频繁地执行方法，而更接近黎明时频率可增加。如果在场景中存在可检测的事件，这可能是光水平的快速变化的影响，且因此利用此事件作为执行方法的触发可能是值得的。

在一个或多个实施方式中，可保持摄像机在IR透射滤光片被布置在图像传感器前方的情况下(即，在混合模式(不是纯夜间模式也不是纯日间模式)下)操作。这样操作的原因可以是，到达图像传感器的辐射的总数量在混合模式下更好。在其他实施方式中，在针对其中在IR截止滤光片被布置在图像传感器前方的情况下获取第一图像序列的实施方式的评价之后，摄像机被切换到夜间模式操作。

因此，本发明的一个优势是通过使用图像传感器作为光(或辐射)传感器，不需要被包括在系统中的附加光传感器。而且，可以在由视频摄像机提供的视场与其中光被评价的区域之间存在完美重叠。此外，在一个或多个实施方式中，以像素组的分辨率来执行评价，其中图像被划分成多个像素组，这也是通过使用图像传感器作为光传感器而实现的功能。

在一个或多个实施方式中，图像的不同区域在评价中具有不同权重。如果一个或多个区域从剩余区域中突出，特别是如果这个或这些区域是不太感兴趣的，此实施方式可具有优势。那么适当的是可给予这些区域较低权重，使得例如模式间的切换可被执行，即使这不利于这个或这些特定区域。反过来也是可行的，即一个或多个区域被视为唯一感兴趣的区域且不考虑其他区域。在另一应用中，较大权重可被给予曝光窗口(例如，由诸如聚焦算法和曝光算法的摄像机的其他算法优先处理的区域)内的像素。

根据另一方面，本发明提供用于执行权利要求1的方法的视频摄像机布置，视频摄像机包括具有IR透射滤光片的至少一个滤光片设置以及用于将滤光片转移到图像传感器前方的位置和从该位置转移开的至少一个致动机构，该IR透射滤光片具有已知透射特性且在IR区域中具有高于30％的透射。这个特定视频摄像机布置将提供用于执行根据其中涉及夜间模式的实施方式的发明方法的适当平台。在一个或几个进一步的实施方式中，视频摄像机还包括具有IR截止滤光片的滤光片设置，该IR截止滤光片具有用于将IR截止滤光片转移到图像传感器前方的位置和从该位置将IR截止滤光片转移开的致动机构。以这种方式，其中涉及日间模式的方法的实施方式也可被执行。

在一个或几个实施方式中，多于一个滤光片(例如，上述两个滤光片设置)被布置在同一致动器机构上。因为不需要多于一个的滤光片被布置在图像传感器前方，所以同一致动机构的使用是空间有效和成本有效的。此外，运动部件和机构的数量上的减小将减轻机械错误的风险。在一些实施方式中，IR截止滤光片和IR透射滤光片可以并排布置，使得致动机构可借助于平移或旋转运动将它们转移到图像传感器前方的位置或从该位置转移开。

在任何实施方式中，IR透射滤光片可在IR区域中具有高于30％、40％、50％、60％、70％、80％或90％的透射。该多个示例例示方法的不同使用或是该方法的不同使用的效果。如果设置从夜间模式开始，可能的优选透射在该区域中可以高于70％或甚至高于80％或90％，而对于从日间模式开始的设置，可以从使滤光片具有低至20％或30％的透射来获得附加益处。着重提出词语“附加益处”，是因为关于从夜间模式开始的设置使用相同的滤光片也将具有益处。因此，这不是要么一种设置要么另一种设置的情况，而是二者可组合并与相同的滤光片设置一起使用，并以这种形式提供相对于现有技术的优势。

根据又一方面，本发明涉及包含程序指令的计算机可读介质，该程序指令用于使摄像机处理器执行所提到的实施方式中的任何一个的方法。

本发明的适用性的进一步的范围将从下面给出的详细描述中变得明显。然而应理解的是，详细描述和具体示例(尽管指示本发明的优选实施方式)通过仅说明的方式给出，因为本发明的范围内的各种变化和修改对本领域中的技术人员将从该详细描述中变得明显。因此要理解的是，本发明不限于所描述的设备的特定组成零件或所描述的方法的步骤，因为该设备和方法可改变。还要理解的是，本文使用的术语仅是为了描述特定实施方式的目的，且并不意为限制性的。必须注意的是，如在说明书和随附的权利要求中使用的，冠词“一个”、“一种”、“此”和“所述”意为意指存在一个或多个元件，除非上下另外明确指出。因此，例如，对“一个传感器”或“此传感器”的提及可包括几个传感器等。此外，词语“包括”并不排除其他元件或步骤。

附图说明

图1是根据本发明的一般化实施方式的摄像机设置的示意图。

图2是图示标准传感器芯片的光谱响应的示意图。

图3是概述本发明的根据其一个或多个实施方式的主要步骤的流程图。

具体实施方式

图1图示为执行本发明而准备的根据其各种实施方式的摄像机设置。监视摄像机10具有图像传感器12和成像光学器件14。光谱滤光片可布置在图像传感器12前方，且每个滤光片可在其中图像传感器被滤光片覆盖的位置与其中未被覆盖的位置之间切换。以这种方式，可以控制到达图像传感器12的光(或正被透射的任何UV或IR的情况下的辐射)的光谱区域。光谱滤光片包括移除到达图像传感器12的任何红外辐射的IR截止滤光片16和允许明确限定IR辐射的透射的一个IR透射滤光片18。对于IR透射滤光片的IR区域中的透射可以建议是约80％，原因有待讨论，然而较低的透射比可用于一些实施方式，甚至低至30％以及更高也可被考虑。在任何实施方式中，优选的是滤光片在其有效区域上具有空间均匀的透射，使得图像传感器12的每个像素将受到相同的影响。在数字图像处理中，基本上可执行任何补偿，所以不均匀的空间透射分布可被补偿，但具有均匀的分布简化了对本发明的计算和理解。每个光谱滤光片被布置在致动器中(未示出)，使得光谱滤光片可被插入在图像传感器12前方的位置和从该位置缩回，这是在日间模式操作与夜间模式操作之间切换时以及在执行本发明的实施方式的方法时完成的事情。如果适合于实际原因(可使用与通常用于滤光片切换相同的控制机构)，每个滤光片可被布置在各自的致动器中。为了本发明的目的，也可使用单个致动器，因为一次只有一个滤光片被布置在图像传感器前方。滤光片可彼此附接，且致动器可借助于平移或旋转运动从图像传感器前方的位置插入(或移除二者)相应滤光片。

简要参考图2，当IR截止滤光片在日间模式操作期间被布置在传感器前方时，光谱的整个IR部分被移除，意味着分别由红色、绿色和蓝色通道测量的信号可被解析并转换成彩色图像。通过使用被布置在图像传感器前方或甚至与其组合的颜色滤光片阵列来将入射光分离成不同的颜色通道。拜耳(Bayer)滤光片是通常用于此目的的颜色滤光片阵列。

特别地，还如图2中所指示的，每个颜色通道在近红外(NIR)光谱区域中具有光谱响应，意味着颜色滤光片阵列(拜耳滤光片)中的每个颜色滤光片可在IR区域中具有透射，并且由于在夜间模式操作中IR截止滤光片被从图像传感器移除，光谱的这个部分也将入射在图像传感器上。这将以失去再现场景的真实颜色表示的可能性为代价而显著增加所收集的辐射的数量，这是常规做法要在夜间模式成像中使用灰度表示的原因。在此夜间模式操作中，可通过布置IR照明源来进一步增加图像质量，该IR照明源提供具有期望的影响同时仍然对人眼不可见或不会造成干扰的“不可见”照明。

随着IR截止滤光片16被移除，在也被称为“增强模式”的混合模式操作中IR透射滤光片18可取代其位置。IR透射滤光片可在IR区域中具有明确限定的透射且在可见区域中具有全透射。

上述的三种模式——日间模式、夜间模式和混合模式——为视频摄像机操作的进一步改进开辟了道路，其中一个分支从夜间模式操作开始且一个分支从日间模式操作开始。

参考图3，描述第一分支，即，从夜间模式操作开始的分支。当在夜间模式下操作时的挑战是找到用于切换到日间模式操作的合适时间。与此有关的问题已在本说明书的背景部分中描述。在根据本发明的方法的该第一实施方式中，在没有滤光片被布置在图像传感器前方的情况下获取第一图像序列(因为摄像机在夜间模式下操作且该获取是持续进行的)。在第二步骤中，IR透射滤光片18被布置在图像传感器12前方，从而致使被透射到图像传感器的IR辐射的相应减小，且获取第二图像序列。对于该实施方式，优选的是为了实现相当良好的夜间模式操作而保持IR透射足够高，因此所建议的IR透射为约80％。90％透射显然将给出更好的夜间模式操作，然而随后的评价的质量可能受到消极影响。在另一方面，随后的评价将受益于50％透射，然而这可能不利地影响夜间模式操作，因为到达图像传感器的辐射的总数量将剧烈地减小。不应排除用在本发明的实施方式中的这些或其他透射水平，而是最合适的透射可随着特定应用而改变。由于这个原因，多个不同的IR透射滤光片可被包括在滤光片设置中。在第二图像序列的获取之后，IR透射滤光片18可从其位置移除或保持原位。如果认为环境光水平对于混合模式下的操作太低，或仅因为可优选保持在夜间模式下提供的增强的图像质量，则被移除。如果环境光水平的评价推导出在该水平下使得到日间模式的切换被认为是恰当的，这将被实现。如果例如可见光水平对于切换到日间模式太低但对允许充分成像又足够高，IR透射滤光片可被保持在原位。在其中有多个不同的IR透射滤光片可用的实施方式中，可实现到具有逐渐降低的透射率的透射滤光片的切换。特别地，不论IR透射滤光片是否缩回，所提供的颜色信息(见下文)可实现对灰度夜间模式图像的着色(“增强”)。

现在转到下一步以及所提到的计算和评价。在IR透射滤光片的插入和第二图像序列的获取之后，数据可用于执行评价。第一图像序列包含全可见光谱和全IR光谱的信息(明显受限于图像传感器的光谱响应以及相对于本发明的实施方式未提及的成像光学器件和滤光片的透射特性)，而第二图像序列包含全可见光和IR的已知分数的信息。因此可以建立包含两个未知量(IR贡献和可见光贡献)和两个方程(第一图像序列和第二图像序列)的方程系统。从而能够执行来自可见光的贡献与IR辐射的贡献之间的比的测量的评价。方程为：

I₁＝VIS+IR

I₂＝VIS+f·IR

其中I₁是包含全可见光谱(VIS)和全IR光谱(IR)的信息的第一图像序列，以及I₂是包含全可见光和IR的已知分数(f)的信息的第二图像序列。这个方程系统可被容易求解，从而致使可推导关于IR贡献的数量和可见光贡献的数量的测量：

IR＝(I₁-I₂)/(1-f)

VIS＝(I₂-I₁·f)/(1-f)

在简化的解释中，IR贡献/可见光贡献的评价是非常简单的。为每个像素或每个像素组收集两个值：具有全可见光贡献和100％IR贡献的强度读数(当从夜间模式开始时，读数将是在从日间模式开始时的0％)。我们将该值设为200。接着是具有全可见光贡献和80％IR贡献的相同区域的读数(因为IR透射滤光片被引入)。我们将这个读数设为180。从这两个读数中，我们可通过使用上面的方程推导出总可见光贡献是100以及全IR贡献是100。知道可见光贡献也使我们能够针对每个颜色通道提取颜色信息，且就像在正常日间模式操作下从强度数据产生彩色图像一样。如果两个图像序列在透射传感器被布置在图像传感器前方的情况下获取(只要在透射率上存在差异)，评价将以相同的方式操作。

上文描述了简化的情况。在使用中，我们可能更喜欢改变曝光设置(曝光时间、增益)，从多次曝光获取值以产生平均值良好的统计数据等。这样的测量当然是可行且适当的，且评价将必须对此进行补偿。而且，IR透射滤光片18也可由于滤光片的限制而移除一些可见光。因此，更扩展的方程组为：

I₁＝VIS+IR

I₂·exposure₁/exposure₂＝g·VIS+f·IR

其中exposure₁(等于曝光时间乘以增益)是图像序列I₁的曝光，exposure₂是图像序列I₂的曝光，以及g是由IR透射滤光片18透射的可见光的已知分数。

在下一步骤中，该信息可用于判定到日间模式成像的切换是否适当。此判定可基于预定阈值(例如，按照环境光水平)，就环境光水平而言，其可由当前正使用的摄像机的性能控制。除了该客观的判定依据，阈值可根据用户偏好来调整。作为示例，客观的判定可能是保持夜间模式，然而用户仍然可能更喜欢有一些颜色信息，虽然并不完美，且因此选择更早的变换。如果情况是这样，IR截止滤光片16可取代IR透射滤光片18(如果在第二图像序列的获取之后尚未移除IR透射滤光片，在这种情况下IR截止滤光片16仅仅被插在图像传感器前方，而不是在那里没有布置任何滤光片)。

如果信息和当前阈值设置导致夜间模式应被保持的判定，IR透射滤光片18(如果仍然被布置在图像传感器前方)可优选地被移除，以便使更多的IR辐射被透射。

在判定不切换到日间模式的情况(即，其中保持夜间模式或混合模式)下，关于可见光的数量的信息可用于将颜色信息添加到来自夜间模式操作的灰度图像。这是可以实现的，因为可以在单独像素或像素组的水平上做出评价。在该模式中，方法步骤的上述顺序可以以固定间隔进行重复，这可用于更新关于是否切换到日间模式的判定或更新被添加到夜间模式图像的颜色信息。当在该混合模式下操作时，环境光水平(在可见光谱中)可以非常低(对于日间模式操作太低)，操作可被调整，使得增加IR透射滤光片被布置在图像传感器前方时的曝光时间或曝光的次数，以便增加由图像传感器收集的可见光的数量以改进评价的质量。

存在用于将颜色信息融合到灰度图像中的几种技术，且技术可被简化，因为在两个(或多个)图像之间存在完美重叠。在简化的方法中，强度分量(例如，亮度、明度)是从包含IR的图像获取的，而颜色分量(例如，色度)是从不包含任何IR的图像或从所计算的颜色分量(通过比较具有不同的IR贡献的图像而推导的，如前所述)获取的。

图3还图示第二分支，其中初始状态是日间模式操作。当从日间操作开始时，是否切换到夜间模式的判定没有反过来那么复杂。简单地，当环境光水平对于日间模式操作太低时，执行到夜间模式操作的切换，且随着源自到达图像传感器的IR光谱的辐射的增加，结果是可以预测的。这可以与从夜间模式切换时进行比较，其中当前图像是良好的，且未知的是切换后的图像质量如何。当从日间模式切换时，这通常开始于当前图像已劣化(如由当前视频统计数据的噪声水平、强度或某个其他评估所确定的)的事实和了解到在移除IR截止滤光片时所收集的强度将增加。对于所执行的实际操作，步骤是类似的，仍然在IR截止滤光片16被布置在图像传感器12前方的情况下获取第一图像序列，然而在IR透射滤光片18被布置在图像传感器前方的情况下获取第二序列，如相对于第一分支所述的。在这种情况下，发明设置主要用于提供较低光水平下的彩色图像。完全类似于上述的方程系统，将可以分别推导来自可见光和IR辐射的贡献，且这可用于将颜色信息添加到在IR透射滤光片被布置在图像传感器前方的情况下获取的图像序列。特别地，当从日间模式操作开始且添加IR截止滤光片时，已经存在可用的真实颜色信息，且该颜色信息可被添加到用被布置在图像传感器前方的IR截止滤光片的IR透射获取的图像。至于前一分支，IR与可见光比较的评价和计算可能需要不时地更新，以解释成像场景中的变化，例如对象出现或消失、或环境光水平的变化。本发明的实施方式的第二个目的是使方法尽可能“不可见”地执行。这意味着即使颜色信息通过将摄像机切换到日间模式被容易地获取，这可能不是可取的动作，因为这将对到达图像传感器的辐射的数量有相当大的影响，且由此这将对操作者可见(即，造成干扰)并可能以有害的方式(如前所述)影响评价算法。对于实施方式的这个分支，特别是具有不同IR透射比的附加IR透射滤光片的添加可能是可取的，使得可在切换到全夜间模式之前引入逐渐变化。

对于两个分支中的任一个，有利于在执行该方法之前减小任何IR照明器的输出，例如减小到零输出，以便获得更可靠的值。输出也可以保持原样或减少到1的分数而不是零。当所添加的颜色信息是历史性的时，其可能不能解释进入场景的新对象，至少不是以最佳方式。因此，可能最好是抑制运动对象的着色，这很容易使用来自可用的任何对象检测算法之一的输入来完成。在示例中，简单的运动检测算法用于检测运动对象。当执行人工着色时，它可以只应用于背景区域，即没有任何运动的区域。根据运动检测算法的精确度，对象周围区域的尺寸的范围可以从几乎完美的轮廓到大于实际对象的矩形。因此从着色角度，结果将不是完美的，然而颜色信息可促进场景的理解。此外，当收集颜色信息的数据时，视频摄像机可将其成像参数改变到较长的曝光时间、更高的增益，或仅从全图像序列收集信息以提高信噪比(以瞬时分辨率的降低为代价)。在其中运动对象被不同地处理的实施方式中，可以有判定运动对象何时被视为静态对象且被包括在背景中的计时器。示例可以是其中停车场被监控的情况。进入停车场的汽车明显是运动对象，但一旦它被停好，就可能静止足够长时间以被包括在背景中。在此情况下，例如持续跟踪像素值保持不变的时间(在阈值内)或者检测到的对象已静止的时间的计时器可用于支持关于区域何时应从背景变换到前景的判定。反过来将是停车场处的汽车在已静止足够长时间而被分类为背景之后何时开始移动。在此情况下，运动可被随时检测，且运动区域的着色可被移除。在此情况下将需要解决的问题是如何处理之前由汽车覆盖的区域，并且对这个问题存在几种选择。一种选择是使用之前保存的颜色数据，如果此数据存在的话。另一选择是不在这个区域中添加颜色，且仅是等待颜色信息的下一次更新。

返回到图1，视频摄像机具有壳体10。在图1中，壳体是矩形的，然而应注意的是，摄像机壳体可采取许多不同的形式，且为了本发明的目的，任何已知的形式可被使用(不排除未知的形式，除非这些形式使本发明不可能实现)。此外，由摄像机执行的功能可在不同的单元中实现，使得图像在一个物理位置处收集并经由有线(或无线)被传输到另一单元进行处理。在其中摄像机的图像收集部分保持尽可能小是有益的应用中，这样的方法是屡见不鲜的。图像处理器或视频处理器20(或其组合)被布置为处理由图像传感器12收集的图像数据，并将其前馈给编码器30。中央处理单元22被布置为控制处理，且在图1中，中央处理单元22表示摄像机的所有控制单元，虽然在实际安装中，处理控制可分布在不同的单元中。在大多数情况下，摄像机(或单元之一，参考上面的正文)还将包括网络接口24，用于超出摄像机限制的通信。可理解的是，上面的描述是现代视频摄像机的非常简单的解释，并且对于更详细的了解，感兴趣的读者可转向本申请人的产品组合。总体流程显然具有从图像传感器12到编码器30和网络接口24的方向，然而也存在向反方向进行的反馈机制。

此外，图1的视频摄像机可包括IR照明源26。在图示的实施方式中，IR照明源14被布置在视频摄像机10的壳体上，然而在其他实施方式中，IR照明源14可被提供为连接到摄像机且由摄像机或还控制摄像机的方面的外部控制器控制的单独设备。示意图还涵盖其中IR照明源14是几个IR照明器的阵列的实施方式。如果需要，可添加用于控制IR照明源14的附加控制单元，尽管该控制也可被包括或所谓的被包括在中央处理单元22中。而且，可布置附加驱动器单元(未示出)，用于向IR照明源14供应功率，更确切地说是为了特定操作模式的目的，以合适的方式来供应和控制被供应到LED的功率。驱动器单元(如果被安装)也可提供另外由CPU或MCU 22提供的控制。

与周围图像帧(在序列之前和之后的图像帧)相比，在IR透射滤光片被布置在图像传感器前方的情况下获取的图像帧序列将表示异常。根据情况，该异常可能会有一些有害的影响。最明显的影响将是，强度的突然减小可导致闪烁，其如果未被补偿则可能干扰操作者经由显示器观察场景。此外，强度的快速变化可能触发运动传感器或前景/背景检测算法，这可能导致丢失被跟踪的对象或整个场景被分类为前景。将序列的长度最小化到单个帧或低数量的帧可以是用于解决此影响的充分措施，因为操作者可能不会注意到单个帧中的差异，并且分析可能会故意放缓，以免无意中做出反应。另一问题可能是强度的突然变化可能触发运动检测器，因而对场景中的运动产生错误检测。可通过使中央处理单元22或图像/视频处理器20来标记用IR透射滤光片18获取的帧(例如从摄像机的视频流中抑制它们)或仅标记它们使得它们不会在任何评价中被显示或使用来解决这个问题，这是在诸如h.264和h.265等的当前编码标准中容易得到的。因此，中央处理单元22可以用与环境光的评价不直接相关的算法来抑制帧序列的评价，这意味着像素强度的可能波动不会导致对由摄像机监控的场景中的运动的错误检测或白平衡的错误调整等。相对于第一个影响，该视频可以闪烁，这也可通过其他测量来解决。如果帧序列被显示给操作者且如果影响被视为可见，可对该序列的图像帧施加增益，以便使它们的整体强度模仿周围图像帧的强度。此校正可由处理数字图像流的图像处理器自动执行。可替代地或附加地，可针对序列中的帧改变曝光(即，曝光时间和增益)，使得整体强度可以更接近周围帧的整体强度。在可见光与IR辐射的评价中可以容易地解释曝光的变化。

根据其几个实施方式，本发明的效果在于整个图像传感器可被用作环境光传感器，使用户能够具有空间解析的环境光评价。在环境光水平的评价中，强度可被测量为单个值或一些或所有像素强度的处理总和，例如，通过取一些或所有像素值的平均值并通过曝光时间和增益进行归一化。在其他实施方式中，可使用由图像传感器当前使用的全分辨率和全视场。仍然在其他实施方式中，可使用各种缩小的分辨率，以便降低处理要求，同时仍然在成像场景上实现一定程度的空间分辨率。因为整个图像传感器可用在环境光水平的评价中，空间分辨率可在一个或几个实施方式中有利地被使用。空间分辨率使在场景的图像中选择用于评价的区域成为可能，例如如果某个区域具有特别的重要性，则该区域中的环境光水平被选择为关键因素。区域可以是预设区域，例如位于摄像机视野中间的区域或分布在成像场景中(即，在图像传感器上)的多个较小区域(例如，类似于常规曝光区)。相反，可忽略某个区域，这也能实现。这样的示例将是，特定的区域包含IR源或者是特别暗，且因此不能表示这样的场景。如果具体的区域例如包含饱和像素，也可排除它们。在任何情况下，在图像传感器数据与环境光传感器数据之间将默认地存在完美重叠，因为图像传感器是收集数据的部件。效果在使用数字变焦时可以是特别有用的，因为总环境光水平可以随着增加数字变焦而越来越不相关(因为全图像传感器的逐渐变小的部分被使用)。这样的示例可以是当使用具有非常大的视场的鱼眼镜头来观察场景时的情况。在这种情况下，数字变焦可用于观看比较小分数的场景，且如由整个传感器检测的环境光水平可能在使用数字变焦选择的较小视场中不是代表性的。在这种示例中，可在该方法中解释数字变焦(和平移和倾斜)的参数，使得例如仅当前视图用于评价。

在表示环境可见光水平的测量的评价之后，在场景的一部分中或在全场景中，可采取判定，并且如果发现是合适的，IR截止滤光片可被插入且摄像机可开始在日间模式下操作。评价本身不消耗很多计算或电功率，然而对此不存在被连续执行的需要，这为一组各种实施方式开辟了道路。这些实施方式可以以各种方式来组合。根据一个实施方式，以诸如每隔几分钟(1、2、3...、10、20等)的固定间隔执行评价。对于其中阳光是环境光的唯一源的室外安装，评价可与太阳的升起同步，使得评价在没有阳光时根本不被执行，并在有可能对日间模式操作有足够环境光的时间开始。时间可以以非常可预测的方式随着一年中的时间改变，且也可以以不太可预测的方式随着当前天气情况改变。在此实施方式中，关于适当时间的数据可在用户界面中被馈送到摄像机(通过实际时间的设置或通过设置摄像机的当前时间和大致地理位置等)。这也可基于统计的判定，这意味着摄像机可基于前几天的判定得知何时将是合适的时间。对于室内安装，阳光可以是对控制不相关的，且在这样的情况下，工作时间或位置何时被使用(即，室内照明通常何时被激活)的历史可以以对应方式来使用。仍然在其他实施方式中，评价的计时可由场景中的事件触发。如果某人进入其中布置摄像机的室内位置并打开光，场景的图像中的强度将存在可检测的变化。此变化可用作对评价的触发。类似方法也可用于室外安装，特别是其中安装人工照明的位置。

Claims (12)

1.一种用于增强能够在夜间模式操作与日间模式操作之间切换的视频摄像机的性能的方法，包括：

在没有第二滤光片设置被布置在所述视频摄像机的图像传感器前方以及在没有任何IR截止滤光片被布置在所述图像传感器前方的情况下，即所述视频摄像机操作在夜间模式下，用所述视频摄像机获取第一图像序列，

在所述视频摄像机的所述图像传感器前方有所述第二滤光片设置的情况下，用所述视频摄像机获取第二图像序列，所述第二滤光片设置包括具有已知透射特性的IR透射滤光片，并且所述IR透射滤光片在IR区域中具有高于30％且低于100％的透射且在其有效区域上具有空间均匀的透射，使得所述图像传感器的每个像素将被均匀影响，其中所述第二滤光片设置具有100％的可见光的透射，并且其中所述第一图像序列和所述第二图像序列是连续的或交叉的，

使用所述第一图像序列和所述第二图像序列来计算在所述第一图像序列和所述第二图像序列中的图像中的可见光的贡献，以及

基于所述第一图像序列和所述第二图像序列中的所述图像中的可见光的贡献，利用所计算的贡献的评价来通过将所述视频摄像机从夜间模式切换到日间模式以改进所述视频摄像机的性能，或基于所述第一图像序列和所述第二图像序列中的所述图像中的可见光的贡献，来推导颜色信息并将颜色信息添加到用对所述图像传感器全部或部分透射的IR辐射获取的图像。

2.如权利要求1所述的方法，其中所述评价用于将颜色信息添加到所述图像的另外由于IR贡献而具有偏斜的颜色信息的部分。

3.如权利要求2所述的方法，进一步包括将图像分割成具有运动的区域和没有运动的区域，其中在没有运动的区域中应用颜色信息的所述添加。

4.如权利要求1所述的方法，其中所述第一图像序列和所述第二图像序列的所述获取以固定间隔执行或作为事件的结果，使得颜色信息以比所述视频摄像机的当前帧速率更低的速率进行更新。

5.如权利要求1所述的方法，其中以像素组的分辨率执行所述评价，其中所述图像被划分成多个像素组。

6.如权利要求1所述的方法，其中所述图像的不同区域在所计算的贡献的所述评价中具有不同权重。

7.如权利要求1所述的方法，其中所述IR透射滤光片在所述IR区域中具有高于40％、50％、60％、70％、80％或90％的透射。

8.一种用于执行根据权利要求1所述的方法的视频摄像机布置，所述视频摄像机包括：具有IR透射滤光片的至少一个滤光片设置以及用于将所述滤光片转移到图像传感器前方的位置和从该位置转移开的至少一个致动机构，所述IR透射滤光片具有已知透射特性和在IR区域中的高于30％且低于100％的透射以及在其有效区域上的空间均匀的透射，使得所述图像传感器的每个像素将被均匀影响，其中所述至少一个滤光片设置具有100％的可见光的透射。

9.如权利要求8所述的视频摄像机布置，其中所述视频摄像机进一步包括具有IR截止滤光片的滤光片设置，所述IR截止滤光片具有用于将所述IR截止滤光片转移到所述图像传感器前方的位置和从该位置转移开的致动机构。

10.如权利要求9所述的视频摄像机布置，其中同一致动机构用于两种滤光片。

11.如权利要求9所述的视频摄像机布置，其中所述IR截止滤光片和所述IR透射滤光片并排布置，使得所述致动机构可借助于平移或旋转运动将所述IR截止滤光片和所述IR透射滤光片转移到所述图像传感器前方的位置或从该位置转移开。

12.如权利要求8所述的视频摄像机布置，其中所述IR透射滤光片在所述IR区域中具有高于40％、50％、60％、70％、80％或90％的透射。

Images