CN110692236A - 基于通过图像传感器的非破坏性读取获得的多个图像，自适应地生成场景的高动态范围图像 - Google Patents
基于通过图像传感器的非破坏性读取获得的多个图像，自适应地生成场景的高动态范围图像 Download PDFInfo
- Publication number
- CN110692236A CN110692236A CN201780083864.6A CN201780083864A CN110692236A CN 110692236 A CN110692236 A CN 110692236A CN 201780083864 A CN201780083864 A CN 201780083864A CN 110692236 A CN110692236 A CN 110692236A
- Authority
- CN
- China
- Prior art keywords
- image
- ndro
- pixel
- sensor
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001066 destructive effect Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000009825 accumulation Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000010354 integration Effects 0.000 description 12
- 230000004907 flux Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Exposure Control For Cameras (AREA)
Abstract
本发明涉及基于称为NDRO图像的通过图像传感器的非破坏性读取而获得的多个图像，生成场景的高动态范围图像，称为HDR图像。该HDR图像生成方法包括：确定针对所述HDR图像的期望质量的标准；递送至少两个连续NDRO图像的传感器的至少两次非破坏性读取；根据期望质量的所述标准，选择第一NDRO图像和最后NDRO图像，以用于生成所述HDR图像；基于从一系列连续的NDRO图像中提取的信息来生成所述HDR图像，所述一系列连续的NDRO图像从要使用的第一NDRO图像开始并且以最后NDRO图像结束；在整个HDR生成阶段一次同时存储单个图像。
Description
1.技术领域
本发明的领域是使用诸如数码相机(DC)、照相机、显微镜、配备有DC的智能电话等的捕获装置来获取图像的领域。更具体地，本发明涉及用于获取高动态范围(HDR)图像的方法。
本发明特别但不排他地适用于电影、视频监视、空中或道路运输、无损检测、医学领域或诸如如物理、天文学的基础科学等领域。
2.现有技术及其缺点
现有图像捕获装置的性能常常受到其动态范围的狭窄的限制。因此，当要捕获的静态图像或视频形式的场景具有强对比度时，由捕获装置获取到的图像可以具有过度曝光区域和暗区域，在过度曝光区域中，图像的像素饱和，对应于场景的非常亮的区域，暗区域的细节仅略微可见或根本不可见，对应于场景的照明差的区域。
为了解决这个问题，并且从现有的捕获装置生成被称为HDR图像的高动态范围图像，已经考虑将与不同曝光时间相关联的被称为LDR(低动态范围)图像的多个传统图像进行组合。因此，要成像的场景由相同的捕获装置以不同的曝光时间拍摄数次：短的曝光时间使得可能不使图像的非常亮的区域饱和，并且长的曝光时间使得可能在较不亮的区域中检测有用的信号。接下来处理所获得的不同LDR图像以从每个图像中提取具有最佳渲染的图像部分，并且将这些不同部分进行组合来构建场景的HDR图像。
该HDR图像生成方法在所要进行的曝光的时间和数量方面花费很大。结果，由于其非实时性质，该HDR图像生成方法特别不适合于生成HDR视频序列。
此外，当要成像的场景包括移动元素时，移动元素可位于不同捕获的LDR图像中的不同位置，这可能导致在HDR图像的生成期间出现伪像。这些重影效应可以在HDR图像的重构之前被校正，但是以复杂且昂贵的处理电子器件为代价。用于消除这种伪像的算法例如由Mustapha Bouderbane等人2016年7月5日至8日在法国洛里昂在Compas’2016：Parallélisme/Architecture/Système(并行性/架构/系统)上发表的文章“Suppression de l’artéfact de ghost pour la génération de vidéo HDR temps-réel(去除重影伪影以实时生成HDR视频)”中进行了描述。
这些图像捕获装置上安装的检测器的演变现在允许图像捕获装置在非破坏性读出(Non-Destructive Read Out，NDRO)模式下操作。在该操作模式中，可以读取由检测器的光电转换元件累积的电荷而不重置：因此，在传感器的曝光时间期间，可以执行像素信号的多次读出，同时允许电荷在传感器暴露在光线下的影响下继续累积。
该非破坏性读出模式允许在单个曝光时间期间多次读出与传感器的像素相关联的信号，该非破坏性读出模式的使用为早期HDR图像生成方法的时间成本问题和伪影的出现都提供了有趣的解决方案。实际上，可以根据在相同曝光时间期间通过传感器的非破坏性读出获得的多个图像来生成场景的高动态范围图像。
因此，专利文献US 7,860,938提出了一种新型图像捕获装置，其中第一读取器在破坏性读出模式下执行由传感器的光电转换元件累积的电荷的第一读出，在标准曝光时间之后在每次读出之后重置像素的信号，并且第二读取器在非破坏性读出模式下操作，以获得与不同的短曝光时间(即，短于标准曝光时间)相关联的多个NDRO图像。与短曝光时间相关联的不同NDRO图像用于预测由第一读取器获得的图像的某些像素是否由于在标准曝光时间期间要成像的场景的对应部分的过度曝光而饱和。如果是，则生成HDR图像，其中由第一读取器在标准曝光时间中获得的图像的饱和像素被从与较短曝光时间相关联的NDRO图像中提取的对应非饱和像素代替。
虽然有趣的是，相对于早期的技术，其使得减少生成高动态范围图像所需的时间成为可能，但是该方法仍然具有若干缺点，包括与所需的传感器的多次连续非破坏性读出相关的高计算能力需求。
此外，该技术为图像的某些区域的饱和问题提供了有趣的解决方案，但是该技术不能解决弱曝光区域的问题。实际上，根据该技术，经由常规曝光而饱和的图像的像素被“去饱和”，因为这些像素被来自NDRO读出的具有较短等效曝光时间的相同像素代替；相反，该技术不能适应通过与传统曝光相关的累积设置的弱信号。
因此，需要一种用于生成不具有现有技术的这些各种缺点的高动态范围图像的技术。特别地，需要在时间和计算能力方面成本较低的这种技术。还需要这样一种用于生成HDR图像的技术，该技术是自适应的，并且能够基于目标最终图像质量以及针对强信号和弱信号两者的期望最终动态，来自动调整要在HDR图像中渲染的场景的亮度方面所需的NDRO读出的数量。
3.发明内容
本发明通过提出一种用于根据被称为NDRO图像的通过图像传感器的非破坏性读出而获得的场景的多个图像生成该场景的高动态范围图像的方法来满足该需要。该传感器包括以矩阵形式布置的多个像素，并且每个像素与光电转换元件相关联，使得可以将接收到的光转换成电荷并且在曝光时间期间累积电荷。
根据本发明，这种方法包括：
-所述图像传感器的第一非破坏性读出，递送具有索引n＝0的第一当前NDRO图像，并且将所述第一图像与关联于所述第一图像的曝光时间相关联地存储在存储区域内；
-对于所述第一图像的每个像素，将与由所述像素累积的所述电荷相对应的信号值与信号选择阈值进行比较，并且如果与所述像素相关联的所述信号值高于所述信号选择阈值，则选择所述像素；
-对于从1到N变化的整数n，对以下连续步骤至少进行一次迭代：
-所述图像传感器的非破坏性读出，递送具有索引n的当前NDRO图像；
-通过针对具有索引n的所述当前NDRO图像的在所述当前NDRO图像前面的NDRO图像中先前未选择的每个像素，将关联于所述像素的信号值与具有索引n的所述当前NDRO图像相关联的曝光时间相结合地进行存储，来更新所述存储区域；
-对于具有索引n的所述当前NDRO图像的每个像素，将与由所述像素累积的所述电荷相对应的信号值与所述信号选择阈值进行比较，并且如果与所述像素相关联的所述信号值高于所述信号选择阈值，则选择所述像素；
-根据与所述已选择像素相关联的所述信号值和相关联地存储的所述曝光时间生成所述高动态范围图像。
因此，本发明基于根据多个所谓的NDRO图像生成HDR图像的完全新颖且创造性的方法，所谓的NDRO图像，即通过传感器的像素的非破坏性读出获得的图像。该方法是自适应的，因为其使得可以根据要成像的场景的特性来优化要进行的非破坏性读出的数量及其相关联的曝光时间。
实际上，根据一个实施方式，本发明的方法提出在非破坏性读出模式下进行传感器的读出的数次迭代，并且通过基于最终HDR图像的目标质量标准确定第一NDRO图像是什么，其中一个或多个像素满足针对HDR图像确定的质量标准，来动态地优化HDR重构所需的读出的数量。这些像素被选择并存储在唯一的存储区域中，构成传感器的图像。对于每个连续的NDRO图像，如果新像素存在，则选择满足针对HDR图像确定的质量标准的新像素，并且相应地更新存储区域。先前选择并存储在前面的NDRO图像中的像素的值又保持冻结，并且不被更新。因此，人们逐渐建立传感器的图像，该图像将满足期望质量标准的像素的值与这些像素值所提取于的NDRO图像的曝光时间相关联地存储。
更具体地，选择阈值Ssel被定义为使得S0≤Ssel≤Ssat，其中S0是与来自检测器的最弱能够使用的电信号相对应的信号(通常，其电平对应于来自检测器或更一般地来自成像系统的读出噪声的信号)，并且其中，Ssat是传感器的饱和信号(由检测器中的第一饱和要素施加：像素、电荷转换和/或放大链等)。该信号选择阈值在NDRO图像的采集开始之前被定义，并且可以针对每个新的NDRO图像序列进行修改以进行HDR重构。因此，可以对该信号选择阈值进行修改以最佳地适应场景的照明条件(并因此适应要成像的动态)，或者以优化例如最弱信号的最终SNR或曝光时间。
一旦像素的信号值达到该选择阈值，就选择该像素用于HDR图像的重构，并且与从中提取该像素的NDRO图像的曝光时间相关联地存储该像素。结果，第一选择像素定义要用于HDR图像的重构的第一NDRO图像。
因此，即时(on the fly)调整要进行的非破坏性读出的数量，以达到HDR图像的目标质量水平，特别是基于要成像的场景的亮度水平。
对每个HDR图像进行必要的非破坏性读出的数量的动态调整，使得可以基于在要成像的场景中遇到的不同亮度水平来优化曝光的数量和相关联的曝光时间。
此外，这种HDR图像生成方法基于使用与传感器的图像相对应的单个存储区域，并且不需要存储从图像传感器通过非破坏性读出而获得的所有连续图像，这使得可以在所需的存储空间和存储空间与处理单元之间的带宽以及生成HDR图像所需的计算能力方面相对于现有技术节省相当大的空间。此外，这种利用单个存储空间的即时生成使得可以在实时使用模式下扩展图像的数量，因此该数量适应增加而没有物理限制，并且因此潜在地扩展成像的动态特性。由于这种方法，单个图像平面被保持在存储器中，在连续NDRO读出的过程中，逐渐更新通过其相关联的曝光时间加权的像素。
因此，传感器的矩阵的描述被存储在存储区域中，并且在每个新获取的NDRO图像上被重新更新。该存储区域的每个元素存储最后读取的NDRO图像的每个像素的当前值，或者如果该值已经达到前面NDRO图像中的信号选择阈值，则存储在该前面图像中的对应值，该对应值将用于HDR图像的重构。这些值与从中提取这些值的NDRO图像的曝光时间相关联地存储。
根据本发明的一个有利方面，生成所述高动态范围图像所需的方法的步骤实现在给定时刻存储单个图像。因此，在存储区域中，在高动态范围图像的生成阶段的每个时刻仅存储一个图像。
根据本发明的一个方面，这种方法包括用于确定所述高动态范围图像的期望质量标准和所述传感器的最大曝光时间的预备步骤。传感器的这种最大曝光时间使得可以限制用于生成HDR图像的迭代处理的结束时间。
根据本发明的一个实施方式例，期望的质量标准是高动态范围图像的像素的信噪比。
因此，这种用于生成HDR图像的方法基于根据下面的等式(等式9)定义的SNR(信噪比)以预先设置的水平和尽可能短的HDR图像的采集时间进行的优化。在每个NDRO和根据该标准选择的像素处优化SNR。因此，将针对在其相应NDRO中的每一个处选择的每个像素且尤其针对已选择且将会导致最后NDRO的最弱信号来优化最终SNR(只要在同样预先设定的超时tout之前具有最弱信号的像素已达到所需SNR)。
根据该实施方式的另一方面，具有索引N的NDRO图像，即，要用于生成HDR图像的最后NDRO图像，是：
-所述连续NDRO图像中的第一NDRO图像，其中所有像素与大于或等于所述信号选择阈值的信号值相关联；或
-所述连续NDRO图像中的最后NDRO图像，如果该最后NDRO图像包含与低于所述信号选择阈值的信号值相关联的至少一个像素，则所述最后NDRO图像与所述传感器的所述最大曝光时间相关联。
因此，一旦图像的所有像素都已经达到大于或等于信号选择阈值的值，就停止传感器的非破坏性读出，以便重构HDR图像。相反，如果在预先选择的最大曝光时间结束时，仍然存在其值保持低于该信号选择阈值的像素，则中断传感器的非破坏性读出，当场景的照明条件不可能达到该阈值时，以防止曝光时间太大，或者防止曝光时间向无限值漂移。对于这些像素，在HDR图像的重构期间选择的值对应于最后读取的NDRO图像中的信号值。
根据该实施方式的另一方面，高动态范围图像的生成包括基于来自传感器的响应，通过凭借相关联的曝光时间针对每个像素存储在所述存储区域中的信号值的评估权重，来计算与高动态范围图像的每个像素相关联的信号值。
HDR图像的重构可以在从传感器进行不同NDRO读取的过程中，根据已选择为具有高于信号选择阈值的值的每个像素的值来逐渐完成，该每个像素的值由与从中提取像素值的NDRO图像相关联的相应曝光时间加权。
根据另一方面，这种方法还包括在所述图像传感器的第一非破坏性读出之前预先确定所述图像传感器上的最小电荷累积时间，表示为tmin，
并且这样的最小累积时间tmin满足条件：
其中：
·tNDRO是图像传感器的两次连续的非破坏性读出迭代之间的时间；
·Ssat是图像传感器的饱和信号；
·S0是来自图像传感器的最弱的能够使用的电子信号。
因此，该时间tmin对应于系统的最小累积时间。因此，选择该时间以避免信息的任何损失，同时确保在这种方法在包括线性响应传感器的系统中实现的情况下，该时间保持在传感器的线性操作范围内。
虽然考虑到tmin对应于第一NDRO图像的累积时间，并且所有随后的NDRO读出具有以节距tNDRO有规律地增加的累积时间，但是施加在累积时间tmin上的条件包括确保第二NDRO图像的累积时间(tmin+tNDRO)和第一NDRO图像的累积时间(tmin)的比率基本上与线性响应传感器的动态特性相同。
这种方法在包括混合线性/对数响应图像传感器的采集系统中的实现使得可以消除施加在最小累积时间tmin上的这种约束，该最小累积时间tmin然后可以被减小到系统时钟节拍。
本发明还涉及包括程序代码指令的计算机程序产品，该程序代码指令用于在由处理器执行时执行如前所述的方法。
这样的程序可以使用任何编程语言，并且可以是源代码、目标代码或介于源代码和目标代码之间的代码的形式，诸如以部分编译的形式，或以任何其他期望的形式。
本发明还涉及一种计算机可读的记录介质，在该记录介质上记录有计算机程序，该计算机程序包括用于执行如上所述的根据本发明的用于生成高动态范围图像的方法的步骤的程序代码指令。
这种记录介质可以是能够存储程序的任何实体或装置。例如，介质可以包括诸如ROM的存储装置，例如CD-ROM或微电子电路ROM，或者磁记录装置，例如硬盘驱动器，或者诸如USB密钥设备的闪速存储器。
此外，这样的记录介质可以是诸如电信号或光信号的可传输介质，其可以经由电缆或光缆、通过无线电或其他手段来传送，使得其包含的计算机程序能够远程执行。根据本发明的程序尤其可以通过例如因特网的网络下载。
可选地，记录介质可以是其中包含程序的集成电路，该电路适合于执行或用于执行上述显示控制方法。
本发明还涉及一种用于根据被称为NDRO图像的通过图像传感器的非破坏性读出而获得的场景的多个图像生成该场景的高动态范围图像的系统。该传感器包括以矩阵形式布置的多个像素，并且每个像素与光电转换元件相关联，使得可以将接收到的光转换成电荷并且在曝光时间期间累积电荷。该系统包括计算单元(处理器、FPGA等)，该计算单元用于执行如上所述的用于生成高动态范围图像的方法的步骤。
本发明最后涉及一种用于根据被称为NDRO图像的通过图像传感器的非破坏性读出而获得的场景的多个图像生成该场景的高动态范围图像的系统。该系统包括传感器，该传感器包括以矩阵形式布置的多个像素，并且每个像素与光电转换元件相关联，使得可以将接收到的光转换成电荷并且在曝光时间期间累积电荷，所述传感器用于在非破坏性读出模式下操作。
根据本发明的一个实施方式，这种系统包括：
-接口模块，用于由用户输入高动态范围图像的期望质量标准和所述传感器的最大曝光时间；
-计算单元(处理器、FPGA等)，其用于针对由所述传感器递送的多个连续NDRO图像之中的NDRO图像的每个像素，将与由所述像素累积的所述电荷相对应的信号值与信号选择阈值进行比较，并且如果与所述像素相关联的所述信号值高于所述信号选择阈值并且如果先前没有从所述多个NDRO图像中的前面NDRO图像中选择所述像素，则选择所述像素；
-存储器，其用于将与所述连续NDRO图像的所述已选择像素相关联的信号值与关联于所述NDRO图像的曝光时间相关联地进行存储；
-计算单元(处理器、FPGA等)，其被配置为根据与所述已选择像素相关联的所述信号值及相关联地存储的所述曝光时间来生成所述高动态范围图像。
更一般地，根据其所有实现和实施方式，这种用于生成高动态范围图像的系统组合地包括实现如上所述的用于生成高动态范围图像的方法所需的所有装置。
4.附图说明
在结合附图阅读作为简单的说明性和非限制性示例提供的以下描述时，本发明的其他目的、特征和优点将更清楚地显现，其中：
-图1是示出用于从通过图像传感器中的非破坏性读出而获得的多个NDRO图像中生成HDR图像的自适应方法的一个实施方式的流程图；
-图2和图3提出了实现图1所示方法的HDR图像生成系统的硬件架构的两个示例。
5.具体实施方式
本发明的一般原理基于根据自适应方法从通过图像传感器的非破坏性读出而获得的图像中重构高动态范围(HDR)图像，使得可以显著提高HDR图像的采集速度，并且基于目标HDR图像的动态特性和要成像的场景的亮度参数动态地提高所需的非破坏性读出的数量。
5.1标号、定义和原理
在本文献的其余部分中，图像采集系统的传感器的像素下面的光电转换元件例如基于CMOS(互补金属氧化物半导体)技术制成。可以回顾，CMOS技术装备了大多数摄影或视频系统。CMOS类型的图像检测器具有适于以所谓的非破坏性读出(NDRO)模式读取的优点。
非破坏性读出模式使得可以读取由传感器的每个光电转换元件累积的电荷(因此与像素相关联的信号值)，而不进行重置传感器。换句话说，NDRO读出使得可以在曝光期间观察检测器上图像的形成而不破坏它。
“饱和”是指在检测器的线性操作范围内，传感器的光电转换元件上的入射光量超过这些转换元件可以累积的电荷的最大量的状态。如果将自身限制于传感器的线性范围，则这导致图像的对应区域的过度曝光现象。然而，一些传感器可以同时使用两个响应，线性响应和对数响应，使得可以特别是在选择第一NDRO的累积时间时解除该约束。
下面，我们提出将在本文档的其余部分中使用的多个标号和定义。
·ADU：是指模拟-数字单元，对应于在模拟-数字转换器输入端的模拟信号的量，因此其递送单位作为输出。因此，通过知晓系统增益(例如以e-/ADU(每ADU的电子)表示)，可以确定来自检测器的电子的量，并且通过知晓量子效率，可以确定入射光子的量。
·Qλ：系统的量子效率，定义为在给定波长λ下落在传感器上的光子数量与由传感器的光电转换元件产生并能够由图像采集系统的电子读出系统用作信号的电荷数量之间的比率。因此，这里推导出由检测器或传感器的光电转换元件从入射光子产生的但是接下来在整个读出噪声中“丢失”的电荷。
·Fmax,λ：给定波长λ处的最大入射光通量，其可以例如以光子每秒来表示。
·Fmin,λ：给定波长λ处的最小入射光通量，其可以例如以光子每秒来表示。
·Ttimeout：传感器对图像的最大曝光时间，以秒表示。该最大曝光时间在任何图像采集时间之前确定，并且对于每个新HDR图像生成阶段是能够调整的。
·ntimeout：第n个NDRO图像的索引，与等于最大曝光时间Ttimeout的曝光时间相关联。
·TP：要生成的HDR图像的曝光时间，以秒表示，在此期间完成传感器的非破坏性读出。曝光时间TP小于或等于最大曝光时间Ttimeout，并且对应于用于重构HDR图像的最后NDRO图像的等效曝光时间。
·tmin：图像采集系统的最小累积时间，对应于直至传感器第一次可能的非破坏性读出为止的最小累积时间，以秒表示。
·taccu1：直到用于HDR重构的第一NDRO图像的累积时间。该时间taccu1对应于与用于重构HDR图像的连续NDRO图像中的第一NDRO图像相关联的曝光时间。
·tNDRO：NDRO图像的读出时间，以秒表示。
·Smin：根据本发明的实施方式生成的最终HDR图像上的最弱信号。
·smin：由于通过图像采集系统的传感器的非破坏性读出获得的不同连续NDRO图像上的最弱入射通量而导致的最弱信号。
·Smax：根据本发明的实施方式生成的最终HDR图像上的最强信号。
·smax：由于通过图像采集系统的传感器的非破坏性读出获得的不同连续NDRO图像上的最强入射通量而产生的最强信号。
·Ssat：传感器的饱和信号(由检测器中的第一饱和要素施加：像素、电荷转换和/或放大链等)。
·S0：对应于排除来自检测器的噪声的最弱能够使用的电子信号的信号。这通常是其电平对应于检测器(或更一般地，成像系统)的读出噪声的信号。
·Ssel：根据下文描述的本发明的第二实施方式用于选择HDR重构的像素的值的信号选择阈值。
·Nr：检测器或更一般地成像系统的读出噪声。
·NT：与检测器的热信号相关联的热噪声(在曝光期间累积)。
·Np：与曝光期间积累的光信号相关的光子噪声。
噪声Nr、NT和Np通常表示为带到检测器输出端的电子，或者表示为以e-/ADU(每ADU的电子)表示的系统增益已知的ADU。
·与来自n阶NDROn的NDRO图像的传感器矩阵中坐标为(i，j)的像素相关联的信号的值，其中0≤n≤ntimeout。
·
来自具有n阶NDROn的NDRO图像的坐标为(i，j)的像素的信噪比，其中0≤n≤ntimeout。
将要注意，不同的信号Smax、smax、Smin、smin、Ssat、Ssel、S0在上面描述时没有相关联的单元。事实上，如果在模数转换之后看到这些信号，则这些信号将以ADU单位表示。相反，如果在模数转换步骤之前考虑这些信号，则这些信号将以对其进行表征的物理特性(模拟)为单位来表示：伏特或安培。
基于这些标号，要生成的HDR图像的动态特性D可以表示为比率：
其中
Smin＝TP×Fmin，λ×Qλ (等式2)
Smax＝taccu1×Fmax，λ×Qλ (等式3)
因此，可以推导出以下关系：
以及：
taccu1＝tmin+(n1×tNDRO)n1≥0 (等式5)
Tp＝tmin+((n1+n2)×tNDRO)n2≥n1 (等式6)
其中，索引n1指定通过图像传感器的非破坏性读出获得的一系列NDRO图像当中的要用于生成高动态范围图像HDR的第一NDRO图像的索引，并且其中，索引n2指定从具有索引n1的第一有用图像获取的NDRO图像的数量，使得n1+n2是通过图像传感器的非破坏性读出获得的一系列NDRO图像当中的要用于生成高动态范围图像HDR的最后NDRO图像的索引。
图像采集系统(在第一种情况下具有检测器)的动态是有限的，其在低值处受到最高噪声水平(S0)的限制，而在高值处受到系统的饱和水平Ssat(饱和的链的第一要素)的限制。可以在“原始”(非HDR)图像上渲染的入射光通量是在曝光时间t期间积分的、产生响应S0<Sig<Ssat的信号Sig的那些入射光通量。因此，由要成像的场景和光路的光阑来设置的光通量是先验的、不可改变的，因此能够调节的参数是具有特别是TP和taccu1的不同曝光时间，TP对应于与用于生成HDR图像的最后NDRO图像相关联的曝光时间，并且因此是该HDR图像的曝光时间，并且taccu1如上所述对应于与用于生成HDR图像的第一NDRO图像相关联的曝光时间。
然而，这两个可调节参数在一定限度内是可调节的，即：
·taccu1≥tmin：实际上，与要用于生成HDR图像的第一NDRO图像相关联的曝光时间不能小于图像采集系统的最小累积时间；并且
·Tp≤Ttimeout(等式7)
实际上，与HDR图像相关联的曝光时间由预先定义的最大曝光时间界定。
将要注意，时间tmin和Ttimeout针对HDR拍摄序列是固定的，但是可以被修改以更好地适合于要成像的场景的亮度条件。然而，Ttimeout必须足够“短”，以使与在Ttimeout期间累积的热信号相关联的噪声不大于要检测的最小信号。在操作期间，检测器的温度是已知的，(以电子/秒产生、累积然后读取的)热信号是已知的，其相关联的噪声也是已知的。根据温度的热信号(也称为热“噪声”)是检测器的构造数据。
此外，本专利申请的发明人已经确定，系统的最小累积时间tmin应当遵守某些附加约束，以便避免线性响应系统中的任何信息损失，从而不偏离传感器的线性操作范围。
因此，在taccu1＝tmin并且与第n个NDRO图像相关联的累积时间为taccu_n＝taccu1+((n–1)xtNDRO)的极限情况下，即，与不同的连续NDRO图像相关联的累积时间以节距tNDRO相交，必须遵守第一和第二有用NDRO图像的累积时间之间的附加约束，其形式为：
或者(等式8)：
换句话说，为了避免任何信息损失，对于具有线性响应传感器的系统来说，满足等式8的条件是合适的。可替换地，可以使用具有线性/对数混合响应传感器的系统，其解决了第一和第二有用NDRO图像之间的相对累积时间，taccu1和taccu_2的问题，这使得可以将采集系统的最小累积时间tmin减少到系统时钟的最小物理时间(即，减少到一个时钟节拍)。
5.2一个实施方式的描述
在回顾了这些原理之后，我们现在将结合图1描述根据本发明的一个实施方式的用于生成高动态范围图像HDR的方法的流程图。
这种方法可以在任何类型的图像采集系统中实现，无论其涉及静止图像还是视频图像。在下文中结合图2和图3更详细地描述这种系统。
根据该实施方式，实时选择用于重构最终HDR图像的像素值，在生成的任何时刻只存储单个图像。
实际上，根据第一读取NDRO图像(在累积时间tmin之后进行读出)，必须确定来自该第一NDRO图像和随后的NDRO图像的将与HDR重构相关的像素。实际上，来自第n个NDRO图像的像素值
将仅在至少
时能够使用，其中，S0是对应于来自检测器的最弱可用电子信号的信号(通常是其电平对应于检测器或更一般地成像系统的读出噪声的信号)，并且其中，Ssat是传感器的饱和信号(由检测器中的第一饱和要素施加：像素、电荷转换和/或放大链等)。在该实施方式中，试图在最短时间内预先设置的水平上优化SNR(信噪比)，不超过同样预先设置的最大曝光时间(Ttimeout)。
其中
或
与像素的值相关联的噪声的值以像素上累积的信号的值的根的形式发生演化。为了使具有坐标(i,j)的像素的信噪比RSBi,j最大化，需要累积尽可能多的信号以增大其值Pi,j，即，使其曝光时间最大化：实际上，Pi,j作为曝光时间的函数而演化，并且噪声同时以Pi,j的根发生演化因此演化得慢得多。在大多数情况下，该函数是线性的(在曝光期间具有恒定的入射光通量)。这允许通过简单加权(等式13，见下文)直接使用NDRO图像。在非线性行为的情况下，在检测器和/或相关联的成像系统的校准期间，必须获得针对每个像素的检测器(和/或成像系统)的响应函数。对每个像素的该响应将使得可以对每个像素的值进行加权，并且因此落在等式(等式13)中描述的线性利用上。SNR在每个NDRO处进行优化，并且根据该标准来选择像素。因此，将针对在每个相应NDRO中的每个已选择像素且尤其针对已选择的且将会导致最后NDRO的最弱信号来优化最终SNR(只要在同样预先设定的超时tout之前具有最弱信号的像素已达到所需SNR)。
如图1所示，在标号为100的先前步骤期间，确定系统的某些可调节参数的值，其包括：
-采集系统的最小累积时间tmin；
-传感器的最大曝光时间Ttimeout；
-对于要生成的HDR图像，每个像素的期望信噪比SNR，尤其是对于具有最弱信号的像素的期望信噪比SNR(参见等式10)；
-信号选择阈值的值Ssel，其定义为Ssel<Ssat(以及Ssel>S0)。
特别地，基于要成像的场景的亮度条件(光通量)来构建这些参数的值。因此，在拍摄采集之前设置的采集系统的最小累积时间tmin可以在采集之前在场景的强光通量下被优化。然而，对于具有线性响应传感器的采集系统，该最小累积时间tmin必须遵守等式8：
的约束，以便保持在传感器的线性工作范围内，并避免任何信息丢失。对于具有线性/对数混合响应传感器的采集系统，如果适用于系统时钟的最小时间，则可以减少时间tmin。
类似地，可以修改信号选择阈值Ssel以最佳地适应场景的照明条件，或者以优化并有利于曝光时间TP，或者以优化并有利于最弱信号的最终SNR，等等。
标号为100的该先前步骤必须在图像采集系统初始化时实施。该步骤可以在用于HDR重构的每次新图像采集时重复。可替换地，对于多次连续HDR图像捕获可以保持相同的参数。还可以考虑这些参数中的一些参数从一个HDR镜头采集到下一个HDR镜头采集保持不变，而其他参数则在每次新镜头采集时进行调整。
在标号为101的步骤期间，开始传感器的一系列非破坏性读出，每个读出递送具有索引n的所谓NDRO图像，n被初始化为0(标号为102的步骤)。
对于具有索引n的每个当前NDRO图像，一旦：
就选择像素的值用于重构最终HDR图像。
在标号为103的步骤期间进行当前图像NDROn的像素值
与信号选择阈值Ssel的比较。当满足条件时，将所选择的像素与标记为ti,j NDROn从其提取该像素的图像NDROn的曝光时间相关联地存储(标号为104的步骤)。然后将其用于标号为108的生成HDR图像。
Ssel越高(同时验证Ssel<Ssat)，其值满足等式11的条件的像素
越多，在比Ttimeout短的时间内，该像素具有高SNR。
至少一个像素满足等式11的条件的第一NDRO图像是将用于标号为108的重构HDR图像的一系列NDRO图像中的第一图像。
如果当前图像NDROn的任何像素都不满足等式11的条件，则在标号为105的步骤期间，验证与当前图像NDROn相关联的曝光时间ti,j NDROn是否达到在预备步骤100期间确定的最大曝光时间。
如果不是这种情况，则当前NDRO图像的索引在标号为106的步骤期间递增(n:＝n+1)，并且传感器的非破坏性读出继续。
然而，如果标号为105的步骤的比较结果是肯定的，则这意味着对于与最大曝光时间相关联的NDRO图像的一些像素，
保持在Ssel以下。在这种情况下，所拍摄的n2个NDRO图像中将产生最佳SNR的像素将是与预定义的最大曝光时间相关联的所拍摄的最后NDRO图像的像素。
然后，在标号为107的步骤期间，将该最后有用的NDRO图像的像素的值与和其相关联的最大曝光时间相关联地进行存储，该像素的值保持在选择阈值Ssel以下。
实际上，尽管对于传感器的至少部分像素，等式11的条件在曝光时间TP结束之前未被验证，而是将会与其曝光时间(这里对应于TP)相关联地保持来自所拍摄的最后NDRO图像的最后像素值。
当传感器的所有像素已经达到大于或等于信号选择阈值Ssel的信号值时，可以中断传感器的非破坏性读出迭代。
因此，为HDR图像的重构而选择的每个像素将来自于在tmin和TP之间拍摄的NDRO图像中的一个，其中，TP≤Ttimeout，其特征在于其值
和其曝光时间
标号为108的HDR图像的生成是根据在标号为104的步骤和标号为107的步骤期间存储的像素的值通过其各自的曝光时间加权而完成的：
将要注意，在采集时间tmin不符合等式8的约束条件的情况下，最终HDR重构图像的所有像素将不包含相关信息，所述像素的值
为使得
在一个实施方式中，检测器的矩阵的‘图像’被存储在存储器中，并且在获取每个新的NDRO图像时被重新更新。该存储区域的每个元素存储值(当前在最后读取的NDRO图像期间)，该值由其对应的曝光时间
加权。对于其值已经达到在前面的NDRO图像中的选择阈值Ssel的像素，存储区域的元素当然不被重新更新，并且保持冻结在标号为104的步骤期间存储的值。
因此，在标号为101的步骤的第一NDRO读出期间，用索引n＝0的第一NDRO图像的像素
的值将表示检测器矩阵的存储区域进行初始化。这些像素中的值高于信号的选择阈值Ssel的那些像素被永久地存储在存储区域中，而不能在随后的NDRO读出期间被进一步更新。
因此，在曝光时间TP期间进行的传感器的不同的非破坏性读出的过程中，逐渐进行高动态范围图像HDR的重构。
图1所示的该实施方式允许曝光时间的实时自适应(总是具有等式7的先决条件)。该实施方式不需要在时刻Tp和taccu1确定NDRO图像，HDR图像在每个新的NDRO图像上创建其本身，直到先前定义的最佳值为止。此外，该方法利用存储在存储器中的检测器矩阵的一个且仅一个‘图像’最佳地工作。在存储器中，在每个新获取的NDRO图像上重新更新该矩阵。该矩阵的每个元素存储像素的值，无论其当前在最后读取的NDRO图像期间还是第n个NDRO的像素的值，并且像素的值通过其相应的曝光时间来加权。
因此，该方法在所需的存储空间和生成HDR图像所需的计算能力方面是特别有利的。与现有技术的某些方法不同，不需要一次访问多个NDRO。结果，在实时HDR生成期间，NDRO的数量不受系统限制。
还将注意到，在具有线性/对数混合响应传感器的系统的情况下，存在对对数响应和线性/对数过渡区域进行校准的原因，以便对每个像素的值进行加权，并且因此落在由等式13描述的线性利用上。此外，同样在这种情况下，像素的选择阈值必须适应传感器的操作区域。因此，对于前两个NDRO图像，选择阈值Ssel可以使用传感器的操作的对数部分，同时使得Ssel>Ssat_lin，其中，Ssat_lin是线性/对数检测器提供线性响应的最大信号电平。处于对数响应中，此时不再存在相关的最大饱和极限。除了第二NDRO图像之外，在以节距tNDRO有规律地增加的累积时间之后读取所有随后的NDRO图像，一个NDRO图像处于传感器的线性操作范围内。然后使得Ssel≤Ssat_lin，其中值Ssat_lin变得等于传感器的饱和信号的值Ssat，如先前在本文中提到的。
5.3HDR图像生成系统的示例
现在将结合图2和图3描述实现以上结合图1描述的方法的HDR图像生成系统(200、300)的硬件架构的两个示例。
由图2和图3共享的元件具有相同的附图标记，并且在下文中简要描述。
这种用于生成HDR图像的系统200、300包括以下元件，这些元件通过数据和地址总线彼此连接：
-处理和数字控制单元201、301，其例如可以是微处理器、FPGA(现场可编程门阵列)、DSP(数字信号处理器)、GPU(图形处理单元)；
-存储器202、302；
-用户接口(未示出)，其通过以太网、USB、Cam链路等类型的外部数字链路205、305连接到处理器201、301；
-数字处理模块203、303，具体地包括图像传感器204、304，图像传感器204、304包括以矩阵形式布置的多个像素，并且每个像素与光电转换元件相关联，使得可以将接收到的光转换为电荷并在曝光时间内累积这些电荷。该传感器适于在非破坏性读出模式下操作。
这样的系统200、300通常还包括ROM(只读存储器)类型的存储器，其包括执行根据本发明的一个实施方式的方法所需的至少一个程序和不同参数。当该系统通电时，处理器将程序加载到RAM(随机存取存储器)类型的存储器中并执行相应的指令。
系统200、300还包括未示出的电源，例如电池形式的电源，其特别地提供不同的功率信号214、314。
用户接口允许用户在图1中标号为100的步骤期间选择所确定的参数。它们提供模块211、311(“用户外部控制和值解释器”)，其中存储并且适于将这些参数提供给系统200、300的其他元件。标号为211、311的该模块特别地存储：
-传感器的最大曝光时间Ttimeout；
-饱和信号Ssat；
-最小信号S0。
处理器212、312被配置为根据饱和信号Ssat、最小信号S0和来自前面的HDR图像采集的信息自动计算信号选择阈值Ssel，使得S0<Ssel<Ssat。
传感器的最大曝光时间Ttimeout还被发送到时钟发生器213、313，该时钟发生器213、313用于生成和控制模拟处理模块203、303的操作所需的不同同步时钟信号。
存储器202、302包括多个存储器单元(i,j)，每个存储器单元包含在图1中标号为104或107的步骤期间选择的像素
的值。每个存储单元还存储从中提取该像素值的当前NDRO图像的索引n。与像素相关联的曝光时间是n*tNDRO。
在传感器204、304的每次非破坏性读出时，传感器204、304递送模拟信号，该模拟信号表示由传感器的每个像素累积的电荷的值。
如先前结合图1所说明的，仅通过电平比较(例如，电压电平)相对于信号选择阈值Ssel(阈值)来测试像素的值。
在图2的示例中，通过使用比较器215，以模拟方式非常简单地完成该比较。在放大216之后，将由来自传感器604的模拟信号传送的像素值与信号选择阈值Ssel(阈值)和饱和信号Ssat(饱和值)进行比较。在放大和模拟-数字转换217之后，必须存储其值高于选择阈值Ssel的像素，并且因此通过总线将所述像素发送到存储器202。
由于其简单性，这种模拟预处理(针对NDRO图像的HDR重构方法的自适应方面)可以直接集成在传感器内的“片上”，用于像素“簇”，或者直接集成在例如3D-CMOS结构中的每个像素内。
相反，在图3的示例中，在比较器模块315中，在数字处理单元301内以远程方式进行该比较。因此，由传感器304递送的模拟信号在被提供到比较器模块315的输入之前被放大并转换成数字信号(模块317)，该比较器模块315将与每个像素相关联的数字信号值与信号选择阈值Ssel并与饱和信号Ssat进行比较，并选择必须存储在存储器302中的那些数字信号值，使得其可以用于重构HDR图像。
Claims (12)
1.一种用于根据被称为NDRO图像的通过图像传感器的非破坏性读出而获得的场景的多个图像生成所述场景的高动态范围图像的方法，
所述传感器(204、304)包括以矩阵形式布置的多个像素，并且每个像素与光电转换元件相关联，使得能够将接收到的光转换成电荷并且在曝光时间期间累积电荷，
其特征在于，所述方法包括：
-所述图像传感器的第一非破坏性读出，递送具有索引n＝0的第一当前NDRO图像，并且将所述第一图像与关联于所述第一图像的曝光时间相关联地存储在存储区域内；
-对于所述第一图像的每个像素，将与由所述像素累积的所述电荷相对应的信号值与信号选择阈值进行比较，并且如果与所述像素相关联的所述信号值高于所述信号选择阈值，则选择所述像素；
-对于从1到N变化的整数n，对以下连续步骤至少进行一次迭代：
-非破坏性地读出所述图像传感器，递送具有索引n的当前NDRO图像；
-通过针对具有索引n的所述当前NDRO图像的在所述当前NDRO图像前面的NDRO图像中先前未选择的每个像素，将关联于所述像素的信号值与具有索引n的所述当前NDRO图像相关联的曝光时间相结合地进行存储，来更新所述存储区域；
-对于具有索引n的所述当前NDRO图像的每个像素，将与由所述像素累积的所述电荷相对应的信号值与所述信号选择阈值进行比较，并且如果与所述像素相关联的所述信号值高于所述信号选择阈值，则选择所述像素；
根据所存储的信号值生成(108)所述高动态范围图像，所存储的信号值由与所述已选择像素相关联的所述信号值的所述相关联的曝光时间和相关联地存储的所述曝光时间进行加权。
2.根据权利要求1所述的用于生成高动态范围图像的方法，其特征在于，生成所述高动态范围图像所需的所述方法的步骤实现在给定时刻存储单个图像。
3.根据权利要求1或2所述的用于生成高动态范围图像的方法，其特征在于，所述方法包括用于确定(100)所述高动态范围图像的期望质量标准和所述传感器的最大曝光时间的预备步骤。
4.根据权利要求3所述的用于生成高动态范围图像的方法，其特征在于，所述期望质量标准是所述高动态范围图像的像素的信噪比。
5.根据权利要求3或4所述的用于生成高动态范围图像的方法，其特征在于，具有索引N的所述NDRO图像为：
-所述连续NDRO图像中的第一NDRO图像，其中所有像素与大于或等于所述信号选择阈值的信号值相关联；或
-NDRO图像，如果该NDRO图像包含与低于所述信号选择阈值的信号值相关联的至少一个像素，则所述NDRO图像与所述传感器的所述最大曝光时间相关联。
6.根据权利要求1至5中任一项所述的用于生成高动态范围图像的方法，其特征在于，所述高动态范围图像的所述生成(108)包括基于来自传感器的响应，通过凭借所述相关联的曝光时间针对所述像素中的每个像素存储在所述存储区域中的所述信号值的评估权重，来计算与所述高动态范围图像的每个像素相关联的信号值。
7.根据权利要求1至6中任一项所述的用于生成高动态范围图像的方法，其特征在于，所述方法还包括在所述图像传感器的第一非破坏性读出之前预先确定所述图像传感器上的最小电荷累积时间，表示为tmin，
并且其特征在于，所述最小累积时间tmin满足条件：
其中：
·tNDRO是所述图像传感器的非破坏性读出的所述连续迭代中的两个迭代之间的时间；
·Ssat是所述图像传感器的饱和信号；
·S0是来自所述图像传感器的除噪声以外的最弱的能够使用的电子信号。
8.一种计算机程序产品，其包括程序代码指令，所述程序代码指令用于在由处理器执行时执行根据权利要求1至7中任一项所述的方法。
9.一种计算机可读的记录介质，在该记录介质上记录有计算机程序，该计算机程序包括用于执行根据权利要求1至7中任一项所述的用于生成高动态范围图像的方法的步骤的程序代码指令。
10.一种用于根据被称为NDRO图像的通过图像传感器的非破坏性读出而获得的场景的多个图像生成所述场景的高动态范围图像的系统，
所述传感器包括以矩阵形式布置的多个像素，并且每个像素与光电转换元件相关联，使得能够将接收到的光转换成电荷并且在曝光时间期间累积电荷，
其特征在于，所述系统包括计算单元，该计算单元用于执行根据权利要求1至7中任一项所述的用于生成高动态范围图像的方法的步骤。
11.一种用于根据被称为NDRO图像的通过图像传感器的非破坏性读出而获得的场景的多个图像生成所述场景的高动态范围图像的系统(200、300)，
所述系统包括传感器(204、304)，该传感器(204、304)包括以矩阵形式布置的多个像素，并且每个像素与光电转换元件相关联，使得能够将接收到的光转换成电荷并且在曝光时间期间累积电荷，所述传感器用于在非破坏性读出模式下操作，
其特征在于，所述系统包括：
-计算单元(201、301)，其用于针对由所述传感器递送的多个连续NDRO图像当中的NDRO图像的每个像素，将与由所述像素累积的所述电荷相对应的信号值与信号选择阈值进行比较，并且如果与所述像素相关联的所述信号值高于所述信号选择阈值并且如果先前没有从来自所述多个NDRO图像的先前NDRO图像中选择所述像素，则选择所述像素；
-存储器(202、302)，其用于将与所述连续NDRO图像的所述已选择像素相关联的信号值与关联于所述NDRO图像的曝光时间相关联地进行存储；
-计算单元，其被配置为根据与所述已选择像素相关联的所述信号值及相关联地存储的所述曝光时间来生成所述高动态范围图像。
12.根据权利要求11所述的用于生成场景的高动态范围图像的系统(200、300)，其特征在于，所述系统还包括接口模块(211、311)，其用于由用户输入所述高动态范围图像的期望质量标准和所述传感器的最大曝光时间。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1750359 | 2017-01-17 | ||
| FR1750359A FR3062009B1 (fr) | 2017-01-17 | 2017-01-17 | Generation adaptative d’une image a grande gamme dynamique d’une scene, a partir d’une pluralite d’images obtenues par lecture non destructive d’un capteur d’image. |
| PCT/EP2017/084393 WO2018134029A1 (fr) | 2017-01-17 | 2017-12-22 | Génération adaptative d'une image à grande gamme dynamique d'une scène, à partir d'une pluralité d'images obtenues par lecture non destructive d'un capteur d'image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110692236A true CN110692236A (zh) | 2020-01-14 |
| CN110692236B CN110692236B (zh) | 2021-10-12 |
Family
ID=58779136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780083864.6A Active CN110692236B (zh) | 2017-01-17 | 2017-12-22 | 生成高动态范围图像的方法、系统及记录介质 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10924687B2 (zh) |
| EP (1) | EP3571834B1 (zh) |
| JP (1) | JP7030843B2 (zh) |
| KR (1) | KR102422075B1 (zh) |
| CN (1) | CN110692236B (zh) |
| FR (1) | FR3062009B1 (zh) |
| WO (1) | WO2018134029A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112834541B (zh) * | 2020-01-03 | 2022-07-29 | 上海纽迈电子科技有限公司 | 一种钠含量及钠分布的测试方法 |
| JPWO2021157261A1 (zh) * | 2020-02-05 | 2021-08-12 | ||
| FR3123734A1 (fr) | 2021-06-02 | 2022-12-09 | Université de Bourgogne | Procédé de traitement de données de pixels, dispositif et programme correspondant |
| JP2023148430A (ja) * | 2022-03-30 | 2023-10-13 | キヤノンメディカルシステムズ株式会社 | Ｘ線診断装置及び医用画像処理装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
| CN101072303A (zh) * | 2006-05-11 | 2007-11-14 | 精工爱普生株式会社 | 摄像元件及摄像装置 |
| CN101647119A (zh) * | 2007-02-23 | 2010-02-10 | 塞莫尼根分析技术有限责任公司 | 具有线性传感器阵列的快速和精确的时间分辨光谱法 |
| CN103248901A (zh) * | 2012-02-03 | 2013-08-14 | 精工爱普生株式会社 | 图像处理装置及使用该图像处理装置的电子设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000078484A (ja) * | 1998-08-28 | 2000-03-14 | Olympus Optical Co Ltd | 画像入力装置 |
| JP2007194687A (ja) * | 2006-01-17 | 2007-08-02 | Seiko Epson Corp | 撮像装置 |
| JP4998056B2 (ja) * | 2006-05-11 | 2012-08-15 | セイコーエプソン株式会社 | 撮像装置、撮像システム及び撮像方法 |
| JP2008205530A (ja) * | 2007-02-16 | 2008-09-04 | Seiko Epson Corp | 撮像装置、撮像システム及び撮像方法 |
| KR100921155B1 (ko) | 2007-07-02 | 2009-10-12 | 성균관대학교산학협력단 | 에이전트플랫폼, 멀티 에이전트 시스템 및 멀티 에이전트시스템의 메시지 송수신 방법 |
| US9807322B2 (en) * | 2013-03-15 | 2017-10-31 | Duelight Llc | Systems and methods for a digital image sensor |
| US9264644B2 (en) * | 2013-04-25 | 2016-02-16 | Forza Silicon Corporation | Analog-to-digital conversion for image sensor with non-destructive read pixel |
| US20150110248A1 (en) * | 2013-10-22 | 2015-04-23 | Yaron Rabi | Radiation detection and method for non-destructive modification of signals |
| US20150130967A1 (en) * | 2013-11-13 | 2015-05-14 | Nvidia Corporation | Adaptive dynamic range imaging |
-
2017
- 2017-01-17 FR FR1750359A patent/FR3062009B1/fr not_active Expired - Fee Related
- 2017-12-22 US US16/478,404 patent/US10924687B2/en active Active
- 2017-12-22 WO PCT/EP2017/084393 patent/WO2018134029A1/fr unknown
- 2017-12-22 EP EP17822691.6A patent/EP3571834B1/fr active Active
- 2017-12-22 CN CN201780083864.6A patent/CN110692236B/zh active Active
- 2017-12-22 JP JP2019559162A patent/JP7030843B2/ja active Active
- 2017-12-22 KR KR1020197020938A patent/KR102422075B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
| CN101072303A (zh) * | 2006-05-11 | 2007-11-14 | 精工爱普生株式会社 | 摄像元件及摄像装置 |
| CN101647119A (zh) * | 2007-02-23 | 2010-02-10 | 塞莫尼根分析技术有限责任公司 | 具有线性传感器阵列的快速和精确的时间分辨光谱法 |
| CN103248901A (zh) * | 2012-02-03 | 2013-08-14 | 精工爱普生株式会社 | 图像处理装置及使用该图像处理装置的电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10924687B2 (en) | 2021-02-16 |
| EP3571834A1 (fr) | 2019-11-27 |
| JP7030843B2 (ja) | 2022-03-07 |
| EP3571834B1 (fr) | 2021-06-30 |
| US20190379817A1 (en) | 2019-12-12 |
| FR3062009A1 (fr) | 2018-07-20 |
| CN110692236B (zh) | 2021-10-12 |
| FR3062009B1 (fr) | 2019-08-16 |
| WO2018134029A1 (fr) | 2018-07-26 |
| KR20200002023A (ko) | 2020-01-07 |
| JP2020506642A (ja) | 2020-02-27 |
| KR102422075B1 (ko) | 2022-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110692236B (zh) | 生成高动态范围图像的方法、系统及记录介质 | |
| US10616512B2 (en) | Systems, methods, and media for high dynamic range imaging using dead-time-limited single photon detectors | |
| US9204056B2 (en) | Image pickup apparatus, image pickup apparatus control method, and program | |
| US8508619B2 (en) | High dynamic range image generating apparatus and method | |
| Granados et al. | Optimal HDR reconstruction with linear digital cameras | |
| Mishra et al. | Image acquisition and techniques to perform image acquisition | |
| CN107925726B (zh) | 用于产生高动态范围图像的有效存储装置 | |
| US8446503B1 (en) | Imaging system | |
| JP6671109B2 (ja) | 放射線撮影装置、放射線撮影方法、及びプログラム | |
| CN109660790B (zh) | 一种tdicmos探测器的筛选测试方法 | |
| US20130063622A1 (en) | Image sensor and method of capturing an image | |
| CN107211092A (zh) | 具有改进的时间分辨率和感知图像清晰度的图像捕获 | |
| JP2011100204A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置及び電子機器 | |
| EP3510764B1 (en) | System and method for high dynamic range digital double sampling | |
| JP6478703B2 (ja) | 撮像装置及び撮像システム | |
| Fernández-Berni et al. | Single-exposure HDR technique based on tunable balance between local and global adaptation | |
| Yang et al. | On pixel detection threshold in the gigavision camera | |
| US9007491B2 (en) | Image processing apparatus and control method thereof | |
| US10397504B2 (en) | Correcting lag in imaging devices | |
| KR102011490B1 (ko) | 열화상 영상의 모션벡터에 기반한 히스토그램 안정화 방법 및 장치 | |
| Singh et al. | A frameless imaging sensor with asynchronous pixels: An architectural evaluation | |
| Darson et al. | Real-time high dynamic range based on multiple non destructive readout during a single exposure: application to ir imaging | |
| JP6289275B2 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
| WO2023143708A1 (en) | Hdr reconstruction from bracketed exposures and events | |
| US8957995B2 (en) | Image processing apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Paris France Patentee after: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE Patentee after: SORBONNE UNIVERSITE Patentee after: University of Western dais, Paris Patentee after: ecole normale super paris Patentee after: UNIVERSITE DE BOURGOGNE Address before: Paris France Patentee before: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE Patentee before: SORBONNE UNIVERSITE Patentee before: University of Paris Patentee before: ecole normale super paris Patentee before: UNIVERSITE DE BOURGOGNE |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220920 Address after: Paris France Patentee after: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE Patentee after: SORBONNE UNIVERSITE Patentee after: University of Paris Patentee after: ecole normale super paris Patentee after: UNIVERSITE DE BOURGOGNE Address before: Paris France Patentee before: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE Patentee before: SORBONNE UNIVERSITE Patentee before: Diderot University of Paris Diderot value management department seventh University of Paris Patentee before: ecole normale super paris Patentee before: UNIVERSITE DE BOURGOGNE |