CN109218696B - 增强彩色图像的方法，以及执行这种方法的组件 - Google Patents

增强彩色图像的方法，以及执行这种方法的组件 Download PDF

Info

Publication number
CN109218696B
CN109218696B CN201810685595.7A CN201810685595A CN109218696B CN 109218696 B CN109218696 B CN 109218696B CN 201810685595 A CN201810685595 A CN 201810685595A CN 109218696 B CN109218696 B CN 109218696B
Authority
CN
China
Prior art keywords
image
cut filter
radiation
filter
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810685595.7A
Other languages
English (en)
Other versions
CN109218696A (zh
Inventor
J·耶尔姆斯特伦
S·伦德贝里
I·拉尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN109218696A publication Critical patent/CN109218696A/zh
Application granted granted Critical
Publication of CN109218696B publication Critical patent/CN109218696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Blocking Light For Cameras (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Diaphragms For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种产生由暴露于可见光以及IR辐射的图像传感器捕获的场景的彩色图像的方法，该方法包括：采用由IR截止滤波器覆盖第一比例的虹膜光圈来捕获第一图像，确定在第一图像中捕获的第一辐射量，采用由IR截止滤波器覆盖第二比例的虹膜来捕获第二图像，确定在第二图像中捕获的第二辐射量，基于第一光量、第二光量、第一IR截止滤波器比例和第二IR截止滤波器比例来计算场景中的IR辐射比例，以及通过使用计算的IR辐射比例从图像去除IR的贡献。

Description

增强彩色图像的方法，以及执行这种方法的组件
技术领域
本发明涉及从包括被记录的从红外辐射和可见光两者发出的信号的图像中去除红外分量的贡献。本发明还涉及被配置为执行这种方法的设备。
背景技术
用于相机的IR(红外，infra-red)滤波器的使用在本领域中是众所周知的，并且特别是与数码相机有关。简而言之，相机的图像传感器具有频谱响应，其在红外中有不可忽略的分量。这会导致机遇和挑战。机会在于，在低光条件下，IR分量可以提供关于成像场景的有用信息，信息甚至可以借助于IR光源进一步被增强。挑战会在日间成像期间遇到，其中红外分量的加入会扭曲图像中的色彩平衡，并且也可能使图像传感器完全饱和。
在抑制不太有利的效果的同时保持有益效果的方式是在图像传感器前面的光束路径中添加可移动的IR截止滤波器。通过这种方式，可以在日光条件期间使用IR(截止)滤波器，使得能够获取彩色图像。在整个申请中，“IR截止滤波器”和“IR滤波器”可以互换使用，并且除非明确说明，“IR滤波器”在本文中对应于IR截止滤波器。图像传感器的像素将会然后以第一方式进行操作，其中入射光被分成颜色并在各个光电检测器上做为电荷被检测，从而实现颜色分离。在夜间或在低光的情况下，IR滤波器可以被去除并且该使用导致来自频谱的IR部分的入射辐射增加。IR辐射将不包含任何颜色信息，并且代替执行颜色分离，唯一的参数是入射辐射的强度，其可以呈现为黑色和白色强度图像(或具有任何期望的色彩比例)。IR光源的加入可以甚至进一步增强图像。
然而，可能有这样的情况，为了生成真彩色图像，期望从这些图像中去除IR的贡献。本发明将提供用于执行这种去除的方法和被配置为执行这种方法的设备。
发明内容
为了在场景包括IR辐射和可见光时改善成像，本发明提供了产生由暴露于可见光以及IR辐射的图像传感器捕获的场景的彩色图像的方法。该方法包括：采用由IR截止滤波器覆盖第一比例的光圈(aperture)捕获第一图像；确定在第一图像中捕获的第一辐射量；采用由IR截止滤波器覆盖第二比例的光圈捕获第二图像；确定在第二图像中捕获的第二辐射量。在这些测量之后，基于第一捕获辐射量、第二捕获辐射量、第一IR截止滤波器比例和第二IR截止滤波器比例来计算场景中的IR辐射比例。在该计算之后，可以通过使用计算的IR辐射比例从图像中去除IR贡献。以这种方式，即使成像场景将包含由图像传感器捕获的IR辐射，也可以获得真彩色表示。
在一个或多个实施例中，计算基于单图像测量，而对于其它实施例，计算几个图像帧的平均值以便改进统计。
在一个或多个实施例中，通过改变光圈的尺寸来实现从第一IR截止滤波器比例到第二IR截止滤波器比例的改变，这是改变比例的直接且简单的方式。至少对于一些使用情况，可以快速地执行改变以及因此的测量，并且对显示或记录的视频有小或没有可见影响。在其它实施例中，可能优选的是隐藏在测量期间受影响的图像帧。作为进一步的优点，光圈尺寸被改变的实施例不需要将附加的可移动机构添加到执行该方法的相机。
在其它实施例中，通过在光圈的一部分中插入或去除IR截止滤波器来实现从第一IR截止滤波器比例到第二IR截止滤波器比例的改变。通过改变IR滤波器覆盖的部分，可以迅速获得完成根据其几个实施例的方法需要的测量数据。
在其它的实施例中，IR截止滤波器可以是液晶滤波器(LC滤波器)，并且从第一IR截止滤波器比例到第二IR截止滤波器比例的改变可以通过将LC滤波器从第一状态转换到第二状态实现。使用LC滤波器引入了高度可控的功能，而不需要引入任何移动部分。相比其它实施例，LC滤波器的使用将在详细描述中更全面地讨论。
在一个或任何实施例中，通过使用所计算的IR辐射比例，从第一图像、第二图像或第三获取的图像中去除IR贡献。基本上，应该执行IR贡献的去除以便获得真彩色信息。这在使用第一或第二图像时将是平常的，因为这些是计算贡献时使用的图像。然而，除非红外分量快速改变，也可以从第三图像中同样地去除，即使计算是在第一和第二图像上执行。此外，如果在计算中使用平均值，则第一和第二图像可对应于第一组和第二组图像。重要的是，需要的处理不会阻止对每个图像对执行的计算，但在大多数应用中这不是必需的，并且因此可以避免。在一些实施例中，可以从几个连续图像中去除相同的IR贡献，除非在成像场景中检测到改变。
在任何实施例中，图像中的IR比例的计算可以在图像的各个像素或各个像素组的水平上执行。以这种方式，可以定位一个或多个IR贡献来源并且可以采取措施来基于该知识改进成像。在一个或多个实施例中，局部IR源可导致将补偿(IR贡献的去除)隔离到相关区域，而具有小或甚至很小IR贡献的区域不受影响。这节省了处理能力，并且在该方法的应用提高噪声水平的实施例中，避免了这种不必要的提高。该知识还可以用于确定使用多次曝光是合适的，其中至少一次具有较长的曝光时间，并且至少一次具有较短的曝光时间，以便即使存在较强的IR源也能够恢复色彩信息，并且避免在这种强源或IR的位置中的像素的饱和。
使任何实施例的红外截止滤波器布置在光圈光阑(aperture stop)中、紧邻虹膜光圈(iris aperture)处具有实际益处。“在光圈光阑中”实际上将理解为“在物理上尽可能接近光圈光阑”。如果光圈光阑中存在虹膜光圈，并且IR截止滤波器不是虹膜光圈的直接部分，则紧邻虹膜光圈光阑的位置将是可用的最优可能方案。
根据另一发明构思，本发明涉及组件，其包括相机、相机控制器、相机镜头和用于控制到达相机的图像传感器的辐射量的光圈布置，其中IR截止滤波器被集成在光圈布置中。该组件被配置为执行根据上面或下面给出的描述的方法。值得注意的是，本发明的组件不必在单个实施例中执行所有方法，它将由至少与本发明方法相关的实施例一样多的实施例表示。
作为其示例，在一个或多个实施例中，组件的光圈可以包括至少两个隔板叶片(diaphragm blade)，并且IR截止滤波器可以布置在至少一个隔板叶片上。
在至少一个实施例中，IR截止滤波器可以布置成与光圈相邻并且在其中心部分中而不是在中心部分的径向外侧具有IR截止特性。该实施例使得能够在不添加任何附加可移动元件的情况下执行本发明的方法。
与之前的实施例正好相反，也可以通过其中IR截止滤波器具有在其表面上变化的IR截止特性并且邻近隔板(diaphragm)可移动地布置的组件来实现。移动IR截止滤波器将有效地实现所寻求的效果。
在一个或多个其它实施例中，IR截止滤波器可以是具有第一状态和第二状态的LC滤波器，或者其中IR截止滤波器可旋转地布置。在这两个实施例的分支中，LC滤波器将具有已经公开的优点，而可旋转布置的滤波器可以产生其它优点。
在一个或任何实施例中，如关于本发明方法的实施例所讨论的那样，IR截止滤波器可以被布置在光圈光阑中或紧邻光圈光阑。
根据本发明的第三方面，它涉及包含用于使相机处理器执行任何实施例的方法的程序指令的计算机可读介质。
根据下面给出的详细描述，本发明的进一步适用范围将变得显而易见。然而，应该理解的是，尽管指出了本发明的优选实施例，但是详细描述和具体示例仅仅是以说明的方式给出的，因为在本发明的范围内的各种改变和修改从该详细描述中对于本领域技术人员而言将变得明显。因此，应该理解的是，本发明不限于所描述的设备的特定组成部分或所描述的方法的步骤，因为这种设备和方法可以变化。还应该理解的是，在此使用的术语仅用于描述特定实施例的目的，而不旨在限制。必须注意的是，如在说明书和所附权利要求中所使用的，冠词“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元件，除非上下文另有明确规定。因此，例如，对“传感器”或“该传感器”的引用可以包括若干传感器等。此外，词语“包括”不排除其它元件或步骤。
附图说明
图1是相机设置的示意图。
图2是可用于本发明的实施例中的隔板的示意图。
图3是概述根据其一个或多个实施例的本发明的主要步骤的流程图。
图4a、b和5a、b是示出图3的方法中的实际步骤的组合视图。
图6a和图6b是可用于实现本发明的目的的隔板/滤波器组合的视图。
图7a、图7b和图7c是根据其进一步的实施例可以用于实现本发明的目的的隔板/滤波器组合的进一步组合的视图。
图8是根据另外的实施例可以实现本发明的另一种隔板/滤波器组合的视图。
图9是示意性地示出图像传感器的彩色像素的频谱响应的曲线图。
具体实施方式
图1是示出设置的示意图，在该设置中本布置和方法可以形成一部分。所示出的是诸如摄像机的相机100，其具有图像传感器102和相机镜头外壳104。所示示例的相机镜头外壳104具有带有镜头系统106和隔板108(例如虹膜光圈)的标准布局。这显然是相机镜头外壳的非常简单化的描述，但对于本申请的目的来说，这被认为是足够的。
隔板108被放置在镜头系统106的光圈光阑中(或者在物理上尽可能地靠近光圈平面)。对于理想的单镜头系统，光圈光阑将与光轴正交地位于镜头的中间。除了已经说过的之外，光圈光阑的特征意味着隔板的尺寸将仅影响到达图像传感器102的光量，而不是实际图像。更具体地，它不会在图像平面中，即在图像传感器的平面中生成任何阴影或类似效果或伪影(artifact)。出于该原因，标准做法是将隔板(光圈)定位在光圈光阑中。在本说明书的上下文中，“光圈”可以但不必对应于隔板，例如布置在光圈光阑中或者附近的虹膜光圈。在任何情况下，使用本发明的方法或设备将改变穿过隔板的辐射的频谱组成。
通过控制光圈开口的尺寸，可以控制到达传感器的辐射量，这当然从相机中使用的常规虹膜隔板是众所周知的。
在图2中示出了可以在第一实施例中使用的虹膜光圈210，并且尽管实际设计可能显著不同，图2被认为能够将该功能描述到令人满意的程度。虹膜光圈210包括两个隔板叶片212，每个隔板叶片具有三角形切口214。每个叶片上的箭头示出它们可以如何来回移动，优选以同步的方式，这将导致由三角形切口组合定义的虹膜光圈尺寸的变化。
根据其第一实施例接近本发明，在每个三角形切口的顶点中布置IR滤波器216。在所示的实施例中，滤波器被给予正方形形状，但形状可以不同。此外，切口214的形状可以不同。在一定程度上，切口的形状可以非常自由地设计，并且不同的制造商提供不同的形状。共同的特征可以是当虹膜光圈叶片关闭时，应该避免形成狭缝形光圈，因为这可能导致不期望的效果。滤波器或多个滤波器的形状显然将适应相应切口的形状。回到IR滤波器，它们是IR截止滤波器，允许可见光传输，同时防止红外辐射的传输。很明显，当虹膜光圈打开到图2中所示的范围时，可见光和IR辐射两者都将穿过开口。此外，容易理解的是，随着虹膜光圈的尺寸减小，将达到一点，在此处光圈被IR滤波器完全覆盖，从而仅允许可见光的传输。从该点起并且向下(即朝向较小的光圈)，IR滤波器将完全覆盖该光圈，并且该范围因此适用于存在大量环境光(例如日间)的条件。
考虑到由切口组合限定的全部区域将允许可见光的传输，而IR辐射的传输将由全部区域减去滤波器占据的区域来限定。因此，两个波长区域的有效光圈尺寸会有所不同。更具体地，由IR截止滤波器占据的区域是恒定的(所示实施例中不考虑任何的重叠)，这意味着可见光和IR辐射之间的比率将随着虹膜光圈的叶片的位置(即，虹膜光圈的尺寸)而变化。传输的可见光和IR辐射两者都会与光圈的尺寸成比例改变，但以不同速率，因为它们将具有不同的有效光圈，并且因此IR辐射和可见辐射之间的比率将改变。
如果传输的辐射被完全频谱地分辨，则可以容易地监视和评估比例，但是应该注意的是，通常图像传感器和相关联部件至多将入射辐射分类为红色、绿色和蓝色分量，颜色分量中的每个包括IR分量(其在图9中示出)，以便能够再生彩色图像，并且通常完全不可能隔离红外分量。实现这种频谱分辨的图像传感器已经在专利文献中公开并且包括NIR像素，但是目前这种图像传感器的成本显著更高。此外，NIR像素被包括在传感器中，以分辨率损失(最常见的是在绿色分量中)为代价。
当IR截止滤波器布置在光圈平面中，其它滤波器可以位于传感器的前方或甚至镜头的前方，一个原因是某些滤波器会根据环境光条件和效果而被改变(这种滤波器通常布置在镜头的前方或附到镜头)，或者认为滤波器不考虑被去除或更换，或者该控制由单独的致动器执行(在紧密地在图像传感器前布置滤波器的情况下)。
回到图2，应该很明显的是，本实施例的虹膜光圈210可以如何在完全阻挡IR辐射的纯白天模式和允许IR辐射传输到图像传感器的夜晚模式之间转换。意识到为了推断例如场景中出现的IR光的量，如何在白天模式和夜晚模式两者内改变光圈的尺寸也应是直截了当的。
在传统的解决方案中，可移动的IR截止滤波器在白天模式下布置在图像传感器的前方，并在夜晚模式下从光束路径去除。因此，在传统的解决方案中，隔板光圈可以在白天模式和夜间模式两者中在相同范围上被改变，因为其功能与滤波器的功能是隔离的，尽管在实际情况下隔板在夜间模式下是完全打开的。相反，对于本实施例，滤波器216的尺寸将影响在IR辐射开始传输经过隔板光圈之前隔板可能打开多少。出于该原因，本发明的实施例可能必须比传统解决方案中的情况更早地切换到夜晚模式，即产生黑白图像。
原因在于向图像传感器引入IR辐射会使相机控制器执行的颜色校正失真，因为IR辐射将影响所有像素(参见图9)，并且对于能够提供真彩色表示IR滤波器是必须。因此，夜晚模式通常仅以黑白呈现(仅显示强度信息而非频谱信息)。对于本发明，根据其一些实施例，在白天模式和夜晚模式之间可存在一系列中间状态。在这些中间状态下，即使显示的颜色可能偏斜，颜色校正算法也会被保持。用户可以选择可能被认为可接受的失真量，以及何时应该执行到真正的白天模式或真正的夜晚模式的切换。即使颜色偏斜，颜色差异的信息对于用户而言也是有价值的，这取决于监视情况。在本申请的说明书中，将公开如何提取对图像强度的IR贡献，使得可以执行适当的补偿。以这种方式，即使到达图像传感器的辐射包括可见光和红外辐射两者，也可以实现真彩色图像。
到目前为止，我们只描述了实现本发明的设置。在以下段落中，将参考图3、图4和图5公开根据第一实施例的方法。图3是该方法的流程图，并且图4和图5是示出作为波长的函数的两个隔板设置和相关联的传输的辐射的视图。这些曲线图是定性的而不是定量的。
图4示出从纯白天模式开始的方法的一部分，其中只有可见波长被允许通过其第一设置中的虹膜光圈，而图5示出从夜晚模式开始的方法的一部分，其中可见和IR波长的混合被允许在开始位置中通过。
在第一步骤318中，启动该方法。启动可以自动进行或基于用户请求进行。可能的情况是用户选择了某种显示模式，并且该方法在该显示模式的框架内执行。
在第二步骤320中，虹膜光圈，其也可以是单独光圈，以预定量打开(图4b的下部)，导致传输的辐射开始包括红外波长区域中的波长，如在图4b的图中所指示。在第一图像(或者当虹膜光圈位于图4a中所示的第一位置时拍摄的图像)中，完全没有IR贡献。
在第三步骤322中评估预定开口的效果。通过评估预定开口的效果，可以分别推断可见光和IR辐射的贡献。对于这个和任何实施例，评估可以针对图像的任何水平的分辨率执行，范围从单独像素或像素组到图像帧的较大部分或整个图像帧。此外，评估可以基于单个帧，但是为了更好的统计，对于每个设置可以组合多个图像帧以在执行评估之前形成平均值。这对于本实施例是真实的，但也适用于在此所公开的以及如所附权利要求中所定义的本发明的所有其它实施例。
评估之后，可以隔离出来自可见和红外波长中贡献，并相应地补偿由此产生的图像，这是在第五步中完成的。
再次注意，频谱分辨信息不可用，图像传感器可以仅检测到强度。然而强度可以在空间上解析，尽管整个图像传感器上的平均值或总值可以给出更可靠的统计数据，并且发现最小和最大强度也可以提供关键信息。然而，通过了解隔板的特性知道传输可见光的区域增加了多少，以及传输IR辐射的区域增加了多少(在图4的示例中基本上从0到其它)。
转向图5，不同之处在于初始图像包含IR贡献。在第一位置中，隔板几乎完全打开，允许IR和可见光的传输。除此之外，本发明对于图5的情况的应用将类似于参考图4所描述的应用。
在启动之后，虹膜光圈可以在第二步骤中闭合到图5b的下部所示的第一预定状态(它当然可以同样地打开到预定状态)。在这一点上，传输的IR辐射量将会降低到比可见光量更高的程度，这在图5b的曲线图中明显的比例变动中示出。知道IR传输隔板区域和可见传输隔板区域已经改变了多少，可以推断出分别来自可见和红外线的两个波长区域的贡献。随后可能实现补偿或校正。
图6a和图6b是虹膜和滤波器的一些可选实施例的视图。在图6a中，具有三角形横截面的滤波器616a被布置在每个叶片上，能够实现没有重叠滤波器的完整的IR块，并且在图6b中，单个滤波器616b布置在叶片之一上，能够实现IR块并且改变没有任何滤波器重叠地光圈尺寸。
图7a示出在虹膜叶片中包括IR截止滤波器的替代方案，即具有IR截止滤波器716，在其表面上具有变化的频谱传输率。在所示的示例中，IR截止滤波器仅仅在其中心部分724中是真正的IR截止滤波器，而滤波器716的其余部分传输可见光和IR辐射两者。将这种IR截止滤波器固定地布置在隔板的平面中或附近能够使用根据已经公开的实施例的方法。其中IR截止滤波器被包括在隔板布置中而不是隔板叶片中的实施例使得能够使用更精细的隔板结构。示例是与虹膜隔板712b的组合，如图7b中所示。图7c示出滤波器布置的另一个实施例，或实际上两个。共同特点是IR截止724滤波器布置为使其可以旋转。此外，包括IR截止滤波器的部件还包括没有滤波器的区域，即传输IR辐射和可见光两者的区域。此外，部件的一部分将延伸到虹膜光圈中，并且通过旋转该部件，将可以改变由IR截止滤波器覆盖的虹膜光圈的区域。在左边的布置中，部件包括两个区域，其中阴影区域对应于IR截止滤波器，并且未填充区域对应于无滤波器区域。在右边的布置中，存在替代的四个区域。应注意，在单个实施例中将仅使用其中一个部件，并且滤波器的形状和设计可以显著改变，同时仍然能够应用如权利要求所限定的本发明。旋转可以用电动致动器来实现。除了不同的设计之外，图7c的实施例将使得能够实现根据本发明的一个或任何实施例本发明。该分支中的实施例的进一步的精细化是将偏心地布置可旋转滤波器(或具有偏心形状的滤波器)，使得由滤波器覆盖的区域可以通过控制滤波器以及通过控制光圈的尺寸来改变。
图8示出本发明的另一个实施例。在该实施例中，IR截止滤波器被实施在液晶滤波器(LC滤波器)816中。LC滤波器被配置为在其传输可见光并阻挡IR辐射的状态和它阻止可见光和IR辐射两者的状态之间切换。LC滤波器叠加在IR滤波器上。因此，当LC滤波器处于第一状态时，可见光可以穿过组合的滤波器，但是IR辐射被阻挡，并且在第二状态下，可见光和IR辐射两者都被阻挡。通过使用该布置，将可以以非常方便的方式执行本发明的方法并且不需要任何附加机械部件。LC滤波器可以布置在隔板叶片812上，但是其也可以静态地布置在光圈光阑附近或其中。后者，即静态地布置在光圈光阑的位置附近或其中，对于大多数实施例而言将是优选的替代方案，因为它将使移动部件的数量最小化。在其它实施例中，LC滤波器可以被布置为在第一状态下传输所有波长(至少可见和NIR波长，图像传感器对其具有不可忽略的响应)，并且仅在第二状态下传输可见光。在这种实施例中，不需要将LC滤波器叠加在IR滤波器上。
尽管LC滤波器可能会非常迅速地在状态之间切换，但每个转换在一些时间尺度上都会有倾斜(slope)。例如，它可以几乎立即转换到阻挡所有辐射的状态，而回到部分传输状态的转换较慢。如果使用的图像传感器采用卷帘式快门(rolling shutter)，则各行会受到不同的影响，导致图像中出现伪影。然而，该表现是可预测的，并且补偿伪影可以以直接的方式执行，这意味着在执行该方法的同时可以提供连续的图像流。在使用旋转滤波器的实施例中，对这种伪影的校正可能更困难，并且因此可能优选的是防止在测量期间获取的图像帧被示出。另一种选择是使用全局快门(global shutter)，目前较少用于数字视频，但越来越普遍。
在其中LC滤波器覆盖光圈的全部区域A的部分Av，并且LC滤波器叠加在IR滤波器上的示例中，公开的实施例的示例可以用于以以下方式计算IR贡献：
Figure BDA0001711591440000111
Iv：可见范围内的强度
In：近红外范围内的强度
Av：IR截止滤波器覆盖的区域
A：全部区域
P1：当LC滤波器传输时从像素读出
P2：当LC滤波器阻挡时从像素读出
实际的方程和用作输入的参数当然可以取决于设置而不同，但请注意，方程右侧上的所有参数在测量之后或者根据特定设置的查找表得知。还要注意的是，该方程适用于图像的每个部分，范围从单个像素或像素组到整个图像，前提是滤波器布置在光圈光阑中或附近。
该实施例的效果是，在其中一种状态中，IR截止滤波器将被布置在虹膜光圈的部分上，而在另一状态中，虹膜光圈的这部分将阻挡IR辐射以及可见光。然而，对于每个状态，虹膜的被覆盖和未被覆盖的尺寸将是知道的，导致计算是如前面公开的实施例那样直接的。
在图8的实施例中，LC滤波器的布置模仿图2和类似实施例的布置，但它也可以以对应于图7a和图7b以及类似的实施例的方式布置，这意味着IR截止滤波器的有效区域可以对应于全部滤波器或其组合的(较小)部分，该滤波器可以是静态布置的。如上所述，可以使用可调带通LC滤波器，其在一种状态下传输可见光和IR辐射，并且在另一种状态下传输可见光但阻挡IR辐射。使用这种滤波器，可以设想用滤波器覆盖整个虹膜光圈，并且通过调整LC滤波器来实现允许穿过光圈的IR辐射的比例的变化。然而，这种方法的缺点在于，在任何时候都会损失一些光强度，因为即使在允许传输可见光和IR辐射两者的状态下LC滤波器也不是完全“打开”。
在整个附图中，相似的部件已经给出了相似的参考数字，仅在与附图编号相关的标识上不同。附图之间的相似性将使读者能够容易地理解不同的附图，从而使得过多地使用参考数字是多余的。
关于所公开的实施例中的光圈布置的行为的共同特征在于，传输过该布置的IR辐射与可见光之间的比率将在可能的光圈开口的范围内变化。开口越小，比率越小(即可见部分将增加)，直到基本上没有IR辐射传输过的点(衰减将受IR截止滤波器的特性限制)并且比率基本上为零。该比率将随着光圈开口的尺寸而增加，但它将永远不会达到1，因为总是会有光圈开口的部分被IR截止滤波器覆盖。此外，光圈开口将具有基本上不存在IR光的区域，并且因此将存在接近完全关闭位置的间隔，在其中比率恒定。该间隔的尺寸将受IR截止滤波器的尺寸影响。
本发明的方法可以仅通过使用来自整个图像传感器的信号的总和来实现。形成原始图像与另一比例的光圈被IR截止滤波器覆盖的图像之间的比率能够形成方程组。方程组的解是直接的，并且它揭示了参数，该参数进而能够预测不同波长区域对由图像传感器获取的图像的贡献。

Claims (14)

1.一种产生由暴露于可见光以及IR辐射的图像传感器捕获的场景的彩色图像的方法，所述方法包括：
-采用由IR截止滤波器覆盖第一比例的光圈来捕获第一图像，
-确定在所述第一图像中捕获的第一辐射量，
-采用由所述IR截止滤波器覆盖第二比例的所述光圈来捕获第二图像，
-确定在所述第二图像中捕获的第二辐射量，
-基于所述第一捕获辐射量、所述第二捕获辐射量、所述第一IR截止滤波器比例和所述第二IR截止滤波器比例来计算所述场景中的IR辐射比例，
通过使用所计算的IR辐射比例从图像去除IR的贡献，以及
通过在所述图像上比较IR比例来定位所述图像中具有升高的IR辐射量的区域。
2.根据权利要求1所述的方法，其中通过改变所述光圈的尺寸来实现从所述第一IR截止滤波器比例到所述第二IR截止滤波器比例的改变。
3.根据权利要求1所述的方法，其中通过在所述光圈的一部分中插入或去除IR截止滤波器来实现从所述第一IR截止滤波器比例到所述第二IR截止滤波器比例的改变。
4.根据权利要求1所述的方法，其中所述IR截止滤波器是液晶滤波器，并且其中通过将所述液晶滤波器从第一状态转换到第二状态来实现从所述第一IR截止滤波器比例到所述第二IR截止滤波器比例的改变。
5.根据权利要求1所述的方法，其中在所述图像中的各个像素或各个像素组的水平上执行计算所述图像中的所述IR比例。
6.根据权利要求1所述的方法，其中所述第一图像和所述第二图像中的至少一个是多重曝光的结果，其中所述多重曝光具有至少一个具有较长的曝光时间的曝光以及至少一个具有较短的曝光时间的曝光。
7.根据权利要求1所述的方法，其中所述IR截止滤波器布置在光圈光阑中，紧邻虹膜光圈。
8.一种组件，包括：
具有图像传感器的相机，
相机控制器，
相机镜头；和
被配置为控制到达所述相机的所述图像传感器的辐射量的光圈布置，其中所述光圈布置包括光圈和IR截止滤波器，其中所述相机控制器被配置为控制
采用由IR截止滤波器覆盖第一比例的光圈来捕获第一图像，
确定在所述第一图像中捕获的第一辐射量，
采用由所述IR截止滤波器覆盖第二比例的所述光圈来捕获第二图像，
确定在所述第二图像中捕获的第二辐射量，
基于所述第一捕获辐射量、所述第二捕获辐射量、所述第一IR截止滤波器比例和所述第二IR截止滤波器比例来计算所述场景中的IR辐射比例，
通过使用所计算的IR辐射比例从图像去除IR的贡献，以及
通过在所述图像上比较IR比例来定位所述图像中具有升高的IR辐射量的区域。
9.根据权利要求8所述的组件，其中所述光圈包括至少两个隔板叶片，并且其中所述IR截止滤波器布置在所述至少两个隔板叶片中的至少一个上。
10.根据权利要求8所述的组件，其中所述IR截止滤波器被布置成与所述光圈相邻并且在其中心部分中而不是在所述中心部分的径向外侧具有IR截止特性。
11.根据权利要求8所述的组件，其中所述IR截止滤波器具有在其表面上变化的IR截止特性，并且可移动地邻近所述光圈布置。
12.根据权利要求8所述的组件，其中所述IR截止滤波器是具有第一状态和第二状态的液晶滤波器。
13.根据权利要求8所述的组件，其中所述IR截止滤波器可旋转地布置。
14.根据权利要求8所述的组件，其中所述IR截止滤波器布置在所述光圈的光圈光阑中或紧邻所述光圈的光圈光阑。
CN201810685595.7A 2017-06-29 2018-06-28 增强彩色图像的方法，以及执行这种方法的组件 Active CN109218696B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17178716.1A EP3422700B1 (en) 2017-06-29 2017-06-29 A method for enhancing color images, and an assembly performing such method
EP17178716.1 2017-06-29

Publications (2)

Publication Number Publication Date
CN109218696A CN109218696A (zh) 2019-01-15
CN109218696B true CN109218696B (zh) 2021-01-22

Family

ID=59298216

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810597300.0A Pending CN109218691A (zh) 2017-06-29 2018-06-11 摄像机和产生彩色图像的方法
CN201810685595.7A Active CN109218696B (zh) 2017-06-29 2018-06-28 增强彩色图像的方法，以及执行这种方法的组件

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810597300.0A Pending CN109218691A (zh) 2017-06-29 2018-06-11 摄像机和产生彩色图像的方法

Country Status (6)

Country Link
US (1) US10531058B2 (zh)
EP (1) EP3422700B1 (zh)
JP (2) JP6606231B2 (zh)
KR (2) KR102100031B1 (zh)
CN (2) CN109218691A (zh)
TW (2) TWI708510B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3840362B1 (en) * 2019-12-19 2022-05-04 Axis AB A video camera system with a light sensor and a method for operating said video camera
US11595625B2 (en) * 2020-01-02 2023-02-28 Qualcomm Incorporated Mechanical infrared light filter
CN113365034B (zh) * 2020-03-04 2022-09-06 合肥君正科技有限公司 一种基于rgb-ir图像传感器的色彩校准方法
EP3930307B1 (en) * 2020-06-25 2022-06-01 Axis AB A method for enhancing the performance of a video camera
TWI806226B (zh) * 2021-11-08 2023-06-21 宏碁股份有限公司 影像感測方法與影像感測裝置
US12015835B2 (en) * 2022-01-25 2024-06-18 Qualcomm Incorporated Multi-sensor imaging color correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078856A (zh) * 2006-05-26 2007-11-28 三星电子株式会社 图像捕获设备和方法
CN101482686A (zh) * 2009-02-09 2009-07-15 Tcl数码科技（深圳）有限责任公司 一种可用于数码摄影机的红外滤光片自动切换装置
CN104536074A (zh) * 2014-12-24 2015-04-22 电子科技大学 一种可调近红外滤波片

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0386673U (zh) * 1989-12-20 1991-09-02
JP2001036807A (ja) * 1999-07-19 2001-02-09 Hitachi Ltd 撮像装置
JP2003264842A (ja) * 2002-03-08 2003-09-19 Hitachi Kokusai Electric Inc フィルタ及び調光板及び固体撮像素子
JP3861241B2 (ja) * 2002-03-15 2006-12-20 三菱電機株式会社 フィルタ移動型カメラ装置
JP2004361590A (ja) 2003-06-03 2004-12-24 Sony Corp 光学装置及び撮像装置
TWI257486B (en) * 2004-05-13 2006-07-01 Prodisc Technology Inc Camera lens
JP2006078666A (ja) 2004-09-08 2006-03-23 Fujinon Corp レンズ装置
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
TWI362562B (en) * 2005-12-09 2012-04-21 Hon Hai Prec Ind Co Ltd Aperture and method
JP5098908B2 (ja) * 2008-09-08 2012-12-12 コニカミノルタアドバンストレイヤー株式会社 画像入力装置
US7915652B2 (en) * 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP2011029810A (ja) * 2009-07-23 2011-02-10 Sony Ericsson Mobile Communications Ab 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置
JP5670481B2 (ja) * 2010-02-19 2015-02-18 デュアル・アパーチャー・インコーポレーテッド 多開口画像データの処理
US9091903B2 (en) 2010-07-29 2015-07-28 Logitech Europe S.A. Optimized movable IR filter in cameras
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
TWI475246B (zh) * 2011-04-15 2015-03-01 Largan Precision Co 具濾光元件之光學取像鏡頭
JP2013152369A (ja) 2012-01-25 2013-08-08 Nippon Seimitsu Sokki Kk 絞り装置およびカメラ
JP6230265B2 (ja) 2013-05-17 2017-11-15 キヤノン株式会社 撮像装置
US10051211B2 (en) * 2013-12-05 2018-08-14 Omnivision Technologies, Inc. Image sensors for capturing both visible light images and infrared light images, and associated systems and methods
US9509893B2 (en) * 2014-03-31 2016-11-29 Panasonic Intellectual Property Management Co., Ltd. Imaging device and analyzing apparatus using the imaging device
US20160161332A1 (en) * 2014-12-09 2016-06-09 Stmicroelectronics (Research & Development) Limited Image sensor using pixels with combined rgb and ir sensing
CN107534759B (zh) * 2015-02-26 2020-06-16 索尼半导体解决方案公司 摄像装置、摄像方法和计算机可读介质
JP6530215B2 (ja) 2015-03-26 2019-06-12 マクセル株式会社 レンズユニットおよびカメラモジュール
CN107534727B (zh) * 2015-04-23 2020-06-26 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及记录有图像处理程序的计算机可读非暂时性有形记录介质
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
US9671537B2 (en) * 2015-10-22 2017-06-06 Omnivision Technologies, Inc. Multi-layer color filter for low color error and high SNR
JP2017092898A (ja) * 2015-11-17 2017-05-25 ソニー株式会社 撮像装置、撮像方法、およびプログラム
KR101672669B1 (ko) * 2015-11-23 2016-11-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 시차를 이용하는 멀티 애퍼처 카메라 시스템
CN105430363B (zh) * 2015-12-18 2018-07-17 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
US9848118B2 (en) 2016-03-11 2017-12-19 Intel Corporation Phase detection autofocus using opposing filter masks
US10574872B2 (en) 2016-12-01 2020-02-25 Semiconductor Components Industries, Llc Methods and apparatus for single-chip multispectral object detection
EP3343287B1 (en) * 2016-12-28 2018-11-21 Axis AB A method for sequential control of ir-filter, and an assembly performing such method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101078856A (zh) * 2006-05-26 2007-11-28 三星电子株式会社 图像捕获设备和方法
CN101482686A (zh) * 2009-02-09 2009-07-15 Tcl数码科技（深圳）有限责任公司 一种可用于数码摄影机的红外滤光片自动切换装置
CN104536074A (zh) * 2014-12-24 2015-04-22 电子科技大学 一种可调近红外滤波片

Also Published As

Publication number Publication date
JP2019012267A (ja) 2019-01-24
CN109218696A (zh) 2019-01-15
KR20190002289A (ko) 2019-01-08
JP6606231B2 (ja) 2019-11-13
KR102113488B1 (ko) 2020-05-22
TWI684365B (zh) 2020-02-01
US10531058B2 (en) 2020-01-07
CN109218691A (zh) 2019-01-15
KR102100031B1 (ko) 2020-04-10
EP3422700B1 (en) 2021-03-10
EP3422700A1 (en) 2019-01-02
TW201911860A (zh) 2019-03-16
TW201906400A (zh) 2019-02-01
TWI708510B (zh) 2020-10-21
US20190007665A1 (en) 2019-01-03
JP2019036947A (ja) 2019-03-07
JP6803355B2 (ja) 2020-12-23
KR20190002348A (ko) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109218696B (zh) 增强彩色图像的方法，以及执行这种方法的组件
EP2534826B1 (en) Capture condition selection from brightness and motion
TWI495336B (zh) 利用彩色濾光片陣列影像產生全彩影像
EP2420051B1 (en) Producing full-color image with reduced motion blur
AU2008348644B2 (en) Method and apparatus for multi-spectral imaging
JP2019012267A5 (zh)
US10146101B2 (en) Method for sequential control of IR-filter, and an assembly performing such method
US20110018993A1 (en) Ranging apparatus using split complementary color filters
JP7446804B2 (ja) 撮像装置およびその制御方法、プログラム
JP7483368B2 (ja) 画像処理装置、制御方法およびプログラム
JP2020091453A (ja) 制御装置、撮像装置及びその制御方法
TW201935917A (zh) 用於檢測和減少由攝影機獲取的數位視訊中的彩色邊紋效應的方法，裝置和系統
EP3343897B1 (en) Camera and method of producing color images
JP2016200742A (ja) 撮像装置
JP5495008B2 (ja) 露光量制御装置および露光量制御方法
JP2010183191A (ja) 露光量制御装置および露光量制御方法
JP2003230157A (ja) マルチバンド画像取得方法
JP2016054354A (ja) 画像処理装置及び方法、及び撮像装置
JP2012049867A (ja) 画像処理装置および方法、アスベスト観察装置、並びに、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant