CN105531823B - 利用单色数字摄影机的彩色成像 - Google Patents

利用单色数字摄影机的彩色成像 Download PDF

Info

Publication number
CN105531823B
CN105531823B CN201480043866.9A CN201480043866A CN105531823B CN 105531823 B CN105531823 B CN 105531823B CN 201480043866 A CN201480043866 A CN 201480043866A CN 105531823 B CN105531823 B CN 105531823B
Authority
CN
China
Prior art keywords
width
image
images
video camera
spectrum picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480043866.9A
Other languages
English (en)
Other versions
CN105531823A (zh
Inventor
迈克尔·格鲁布
梅纳赫姆·内森
阿米尔·艾沃布驰
罗曼·马林斯基
瓦列里·哲卢德夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ramot at Tel Aviv University Ltd
Original Assignee
Ramot at Tel Aviv University Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ramot at Tel Aviv University Ltd filed Critical Ramot at Tel Aviv University Ltd
Publication of CN105531823A publication Critical patent/CN105531823A/zh
Application granted granted Critical
Publication of CN105531823B publication Critical patent/CN105531823B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02—Details
    • G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Abstract

本发明提供了用于获得对象或场景的静止或视频彩色图像的单色摄影机以及这种摄影机的使用方法。这样的摄影机的图像传感器是透明的，并且不具有彩色滤光器阵列。在图像传感器处获得的经过漫射和发散并且可选地经过随机化的对象或场景的图像被直接处理成R个波段中的一定数目的R<K幅光谱图像。从所述R幅光谱图像内插出K‑R幅光谱图像。随后利用直接处理的R幅光谱图像和K‑R幅内插光谱图像重建彩色图像。可以示例性地利用样条细分算法来获得内插图像。

Description

利用单色数字摄影机的彩色成像
相关申请的交叉引用
本申请涉及2013年8月3日提交的具有相同标题的美国临时专利申请号61/861,982并且要求其优先权，其被全文合并在此以作参考。
技术领域
这里所公开的实施例总体上涉及利用数字静止或视频摄影机的成像，并且特别涉及利用具有透明图像传感器(即不具有彩色滤光器阵列(CFA)的传感器)的单色数字静止或视频摄影机的彩色成像(其在这里也被称作“彩色摄影”)。
背景技术
当今所知的利用数字摄影机(静止和视频模式全部二者)的彩色成像是利用具有CFA的像素化图像传感器来实施的，最常见的情况是R(红色)、G(绿色)和B(蓝色)滤光器的Bayer式样。为了简单起见，这样的摄影机将在后面被称作“RGB摄影机”。CFA像素被设置成匹配图像传感器像素。随着现今的图像传感器像素的尺寸不断减小(其逼近光的波长)，对应于每个像素的给定光子通量的信号水平降低，并且对于每一个光子的捕获变得至关重要。彩色滤光器阻止大多数(在某些情况下是大约70％)的光子到达图像传感器，从而显著地影响例如灵敏度和信噪比(SNR)之类的参数。此外，CFA的制作需要若干掩蔽和沉积阶段，因此成本较高。
彩色图像实质上是RGB“波段”图像的加权组合。因此，如果其RGB分量是已知的，则彩色图像可以被“构建”(或“重建”)以匹配原始成像的对象。每一个R、G和B波段本身是R、G或B波段内的不同波长(或波段)处的许多分开的光谱或超光谱(“HS”)图像的加权组合。这里所使用的术语“超光谱”作为示例指的是多于大约10个波长。因此，可以从光谱或超光谱图像数据重建RGB彩色图像，正如在D.H.Foster等人的“Frequency of matemerism innatural scenes(自然场景中的条件配色的频率)”(Journal of the Optical Society ofAmerica A，23，2359-2372，2006年)中所描述的那样。但是，这样的重建当前受到获取HS数据所需要的时间和处理资源的严重限制，并且受到从HS数据重建彩色图像所需要的时间和处理资源的严重限制。
本发明的发明人在2014年6月16日提交的标题为“Apparatus and method forsnapshot spectral imaging(用于快照光谱成像的装置和方法)”的PCT专利申请PCT/IB2014/062270教导了利用单色数字摄影机的快照(单个镜头)HS成像，所述单色数字摄影机具有受限等距属性(RIP)漫射器元件的形式的最小硬件添加。数字摄影机适配成在一次快照中提供大量光谱图像。所述光谱图像是从单幅漫射-发散(DD)图像重建的，其是通过摄影机和RIP漫射器在图像传感器处获得的单幅图像。可以把硬件或软件随机化器添加到具有RIP漫射器的摄影机，以便在图像传感器处提供单幅漫射-发散和随机化(DDR)图像。利用压缩感知(CS)算法来实施在PCT/IB2014/062270中所描述的从单幅DD或DDR图像重建光谱图像。更具体来说，PCT/IB2014/062270教导了二维(2D)基于CS的空间-光谱立方体重建(SCR)或“2D CS-SCR”。
显而易见的是，如果可以利用具有不包括彩色滤光器的“透明”图像传感器的单色数字摄影机获得静止和视频模式全部二者下的彩色图像，则在摄影机性能和图像传感器制作成本方面将有巨大的优点。此外，需要并且有利的将是具有可以利用有限的处理资源实时提供这样的图像的单色数字摄影机和相关联的方法。
发明内容
本发明的发明人确定，可以利用具有透明传感器的单色静止或视频数字摄影机获得静止模式下的彩色图像或者视频模式下的一系列图像(帧)。与具有彩色传感器的数字摄影机(其中像素覆盖有CFA，通常是Bayer类型RGB滤光器阵列)一样，在单个镜头中获得彩色图像。后面将具体参照静止模式数字摄影机来继续进行描述，但是其明显也适用于视频模式。利用单色数字摄影机取得快照DD或DDR图像。从获得自DD或DDR图像的K个光谱带处的尺寸为X×Y的K幅图像(其代表尺寸为X×Y×K的“数据立方体”)重建尺寸为X×Y的“HS起源彩色图像”。为了简单起见，后面将使用“彩色图像”而不是“HS起源彩色图像”。从直接重建的光谱图像内插在彩色图像的重建中所使用的K幅光谱图像当中的一些。具体来说，对于在彩色图像重建中所使用的由K幅光谱图像构成的一个集合，从DD图像直接重建R幅光谱图像(R<K)，并且内插K-R幅光谱图像。直接光谱图像重建优选地是利用2D CS-SCR来实施的，并且可以涉及Bregman迭代，正如在PCT/IB2014/062270中示例性地描述的那样。示例性地利用二元样条细分算法来实施从可用波段集合重建K波段HS图像J＝{Jk},k＝0,....,K-1，其中在A.Z.Averbuch、P.Neittaanmaki和V.A.Zheludev的“Splineand spline-wavelet methods with applications to signal and image process,Volume I:Periodic splines(样条和样条-小波方法以及在信号和图像处理方面的应用，第I卷：周期性样条)”(Springer，2014)中示例性地描述了所述二元样条细分算法(其在后文中被称作“ANZ-book1”)。可以利用某种预设的或者动态的标准或阈值来确定获得可接受质量的彩色图像所需要的Bregman迭代的次数。在每一次Bregman迭代之后，可以从在该次迭代中重建(直接重建或者通过内插重建)的光谱图像形成“中间”彩色图像。
通过直接重建K幅光谱图像当中的仅仅R幅并且随后对剩下的K-R幅图像进行内插，提供了显著的时间和计算资源的节省，同时不会显著降低彩色图像的质量。具体来说，所述时间节省是通过在不到一秒内(即“实时”)获得彩色图像的事实来表达的，从而还允许视频产生。
由于无法示出彩色图像，因此这里在所有附图中将这样的图像转换成灰度图像。
在一些实施例中，提供一种利用具有不包括彩色滤光器的像素化透明图像传感器的摄影机获得对象或场景的彩色图像的方法，所述方法包括以下步骤：在快照中在图像传感器处获得DD图像；对DD图像进行处理，以便获得K个光谱带中的K幅光谱图像，其中K≥3；以及从所述K幅光谱图像重建彩色图像。所述彩色图像可以是静止彩色图像或视频彩色图像或彩色帧。在一些实施例中，获得DD图像的步骤可以包括获得漫射-发散和随机化(DDR)图像。对DD或DDR图像进行处理的步骤可以包括对DD或DDR图像进行处理以便在R个波段中提供R<K幅光谱图像，并且使用所述R幅图像获得K-R幅内插图像，并且从K幅光谱图像重建彩色图像的步骤可以包括使用所述R幅光谱图像和K-R幅内插光谱图像来重建彩色图像。所述内插图像可以利用样条细分算法获得。所述样条细分算法可以是二元样条细分算法。每一幅光谱图像可以包括由X×Y个多像素构成的一个集合，每一个多像素包括K个波段，并且其中所述内插可以是在整个多像素集合上同时实施的。
在一些实施例中，提供一种用于获得对象或场景的彩色图像的摄影机，其包括：透镜；不具有彩色滤光器的像素化透明图像传感器；用以在快照中在图像传感器处获得DD图像的漫射器装置；以及处理器，其被配置成把DD图像处理成K个光谱带中的K幅光谱图像，其中K≥3，并且从所述K幅光谱图像重建彩色图像。所述彩色图像可以是静止彩色图像或视频彩色图像或彩色帧。在一个实施例中，所述漫射器装置包括RIP漫射器。在一个实施例中，摄影机包括与漫射器装置相结合来使用以便在图像传感器处提供DDR图像的随机化器。所述随机化器可以是硬件随机化器或者软件实施的随机化器。所述处理器还可以被配置成把DD或DDR图像直接处理成R个波段中的R幅光谱图像(其中R<K)，从所述R幅光谱图像内插出K-R幅内插光谱图像，并且利用直接处理的R幅光谱图像和K-R幅内插光谱图像重建彩色图像。用以内插出K-R幅内插光谱图像的处理器配置可以包括用以利用样条细分算法内插出所述K-R幅光谱图像的配置。所述样条细分算法可以是二元样条细分算法。
附图说明
通过结合附图考虑后面的详细描述，这里所公开的各个方面、实施例和特征将变得显而易见，其中：
图1A在流程图中示意性地示出了这里所公开的利用单色数字摄影机获得彩色图像的方法的一个实施例；
图1B示出了图1A的流程图中的步骤106的细节；
图2A示出了在仿真中使用的尺寸为1367×609×33的原始图像；
图3B(左)示出了在仿真中使用的尺寸为256x256的原始图像的一个片段；
图2B(右)示出了相同的片段，其中RGB图像是从取自原始光谱数据的9个波段以及利用二元样条细分算法内插出的24个波段导出的；
图2C分别示出了从33个原始波段导出的前述片段的红色、绿色和蓝色图像(上方行的三个视图)相比于从9个原始和24个内插波段导出的图像(下方行的三个视图)；
图3示出了尺寸为1024×256的DD图像；
图4A(左)示出了尺寸为256×256的原始图像的片段；
图4B(右)示出了与图4A中相同的片段，其中RGB图像是还原自DD图像的9个波段以及利用二元样条细分算法内插出的24个波段导出的；
图4C分别示出了从33个原始波段导出的前述片段的红色、绿色和蓝色图像(上方的三幅图片)相比于从重建自DD图像的9个波段和利用二元样条细分算法内插出的24个波段导出的图像；
图5示出了所还原的红色、绿色和蓝色图像的PSNR与Bregman迭代的次数的相关性；
图6A示出了这里所公开的可以被用于彩色成像的具有透明图像传感器的一种单色摄影机的一个示例性实施例；
图6B示出了图6A的摄影机中的元件的细节；
图7A示出了这里所公开的可以被用于彩色成像的具有透明图像传感器的另一种单色摄影机的一个示例性是；
图7B示出了图7A的摄影机中的元件的细节。
具体实施方式
图1A在流程图中示意性地示出了这里所公开的利用单色数字摄影机获得彩色图像的方法的一个实施例。在步骤102中，在单色摄影机的透明图像传感器处获得快照DD或DDR图像，正如在PCT/IB2014/062270中示例性地描述的那样。在步骤104中，对DD或DDR图像进行处理，以便获得K个光谱带处的一定数目的K幅光谱图像，正如在PCT/IB2014/062270中示例性地描述的那样。随后在重建步骤106中从K个波段重建HS起源彩色图像。
应当提到的是，虽然后面将特别参照在PCT/IB2014/062270中为之提供了实现细节的DD或DDR图像来进行描述，但是这里所描述的方法可以被应用于利用不同于在PCT/IB2014/062270中所描述的RIP漫射器或随机化器的其他扩散装置的快照中获得的DD图像。
在图1B的流程图中给出了重建步骤106的细节。所述重建包括在步骤110中仅从图像传感器处的DD图像直接重建K幅光谱图像(或波段)当中的一部分的R幅，以及在步骤112中内插重建剩下的K-R个波段。在DD图像的所有像素上而不是在单个像素上同时实施步骤110和112。可以示例性地利用二元样条细分算法来实施用以重建内插波段的内插。
单个多像素(MP)的重建
通过来标示将从不完整的数据重建的单个MP。我们将示例性地说明利用二元样条细分算法来重建单个MP。
二元样条细分算法
通过Bp(t)来标示在区间(-p/2,p/2)上所支持的grid{l}上的p阶B样条。对应于B样条的明确表达式为如下：
假设数据矢量是可用的。为了近似重建重建偶数阶p的样条Sp(l)＝m[2rl]，其在grid{l}上内插数据矢量并且通过由双值有理点处的样条数值构成的矢量来近似矢量
在一个实施例中，MP的重建可以如下来实施：
1、假设j是使得N＝2j＞K/2r的最小自然数。通过下式来标示对于所采样的B样条的离散傅立叶变换：
2、为了使用DFT并且为了消除边界效应，把数据矢量对称地扩展到其长度为N的矢量
3、计算矢量x的DFT：
4、引入长度为2rN的序列
5、计算序列的逆离散傅立叶变换(IDFT)
6、把输出矢量y＝{y[l]}对称地收缩到其长度K等于的长度的矢量矢量等于样条Sp(t)(等式2)的数值，并且近似
前面所描述的样条细分算法能够操作在一个集合上而不是操作在单个矢量上。因此，前面的操作被同时实施在所有多像素上。尺寸为1367×609×33的数据立方体的细分花费不到一秒的时间，也就是说可以被视为是“实时”的。
彩色图像重建的仿真
为了研究在重建中使用的光谱带的数目的减少对于彩色图像的质量的影响，运行了几项计算机仿真，并且将其结果与直接从包含33个原始光谱带的光谱立方体获得的原始RGB图像(图2A)进行比较。就这里所使用的K符号而言，在这里K＝33。所述比较是通过视觉分析以及通过计算峰值信噪比(PSNR)来进行的。
图2A示出了被转换到灰度格式的原始彩色图像。原始彩色图像由33个波段处的1367×609个像素的原始“数据立方体”表示。也就是说，该彩色图像由33个波段重建，每一个波段利用适当的权重进行加权，正如在前面的Foster等人的论文中所描述的那样。图2B示出了原始彩色图像(其被转换到灰度格式)的尺寸为256×256的一个片段相比于从9个原始和24个内插光谱带重建的相同片段。就这里所使用的R和K符号而言，在这里K＝33，R＝9，并且K-R＝24。“内插”(上采样)RGB图像关于原始图像的PSNR是37.34dB。
图2C分别示出了从33个原始波段导出的前述片段的R、G和B图像(上方行)相比于从9个原始和24个内插波段导出的图像(下方行)。就这里所使用的R和K符号而言，在这里K＝33，R＝9，并且K-R＝24。对应于R、G和B图像的PSNR数值分别是40.31dB、41.79dB和32.61dB。
图3示出了作为针对重建算法的输入的尺寸为1024×256的DD图像。这样的图像的细节可以在PCT/IB2014/062270中找到。图4A示出了原始图像(其被转换成灰度格式)的前述片段相比于利用33个波段重建的相同片段，其中9个波段是利用在PCT/IB2014/062270中描述的CS方案从DD图像重建的，并且其中24个波段是利用二元样条细分算法从9个重建波段内插出来的。就这里所使用的R和K符号而言，在这里K＝33，R＝9，并且K-R＝24。PSNR数值是27.87dB。图4B分别示出了从33个原始波段导出的前述片段的R、G和B图像(上方行)相比于从还原自DD图像的9个波段以及通过二元样条细分算法从9个还原波段内插出来的24个波段导出的图像(下方行)。所述9幅波段图像是利用源自在ANZ-book1中介绍的二次准内插样条的半紧密(semi-tight)帧通过应用17次Bregman迭代从DD图像还原的。对应于R、G和B图像的PSNR数值分别是27.94dB、28.04dB和25.9dB。
图5示出了所还原的红色、绿色和蓝色图像的PSNR与Bregman迭代的次数的相关性。该图示出了Bregman迭代对于从DD传感器图像还原HS起源彩色图像的有用性。正如前面所提到的那样，通过直接重建K幅光谱图像当中的仅仅R幅并且随后对剩下的K-R幅图像进行内插，提供了显著的时间和计算资源的节省，同时几乎不会降低彩色图像重建的质量。
图6A和6B示意性地示出了基于具有受限等距属性(RIP)漫射器和透明图像传感器的单色数字摄影机的单色快照光谱成像(SSI)设备(或者简单地称作“摄影机”)的一个实施例。摄影机600本质上与PCT/IB2014/062270中所公开的摄影机100完全相同。设备600可以被视为光学耦合到RIP漫射器604的数字摄影机602，所述RIP漫射器604位于摄影机与利用摄影机成像的来源对象(图1B中的606)之间。摄影机602可以包括常规数字摄影机的组件，比如透镜(未示出)、图像传感器608和数字处理器610。所述数字摄影机可以是任何已知的摄影机，例如SLR摄影机、视频摄影机、蜂窝电话摄影机或者使用在胃窥镜或内窥镜中的类型的小型化摄影机。这里所使用的“数字摄影机”可以仅包括在像素化图像传感器上获得来源对象的图像所需要的成像部分的基本元件和功能。因此，例如存在于智能电话摄影机中的耦合到图像处理器的透镜/传感器组合应当被视为用于这里所阐述的目的的成像部分。这里所公开的数字摄影机可以同时具有静止成像和视频功能。
处理器610被配置成实施对于PCT/IB2014/062270中的处理器610所描述的所有功能，并且特别是从DD图像进行2D CS-SCR。此外，处理器610被配置成从直接重建的光谱图像实施光谱图像的内插，正如前面所解释的那样。作为示例，处理器610被配置成利用样条细分算法来实施内插，并且特别是如前面所描述的二元样条细分算法。处理器610还被配置成利用直接处理的光谱图像和内插光谱图像重建彩色图像。可选的是，设备600可以包括附加的外部(处于摄影机外部)数字处理器605，其被配置成实施由前面的处理器610所实施的一部分或所有操作。
图6B提供了设备600的更加详细的视图。除了前面的组件之外，摄影机600还包括具有孔径614的成像透镜612，并且可选地还有带通滤波器616。RIP漫射器604可以位于成像透镜612的入射光瞳处或其附近。对象606通过RIP漫射器604和透镜612的成像提供图像传感器608处的快照DD图像618。与图像618相关联的图像数据由处理器610处理，其可以被配置成还实现其他功能，比如控制各种摄影机功能和操作。
图7A示意性地示出了基于数字摄影机702的另一种SSI设备的编号为700的一个实施例，所述数字摄影机702具有RIP漫射器704和通过配置数字摄影机702的数字处理器710实施的软件(SW)随机化器720。在图7B中示出了设备700的更多细节。设备700还包括SW随机化器720。SW随机化器720是操作在图像传感器平面的软件实施的随机化器“功能”。所述随机化器在图像传感器708上提供经过漫射、发散和随机化的图像718。处理器710被配置成从DDR图像实施2D CS-SCR，并且从直接重建的光谱图像实施光谱图像的内插，正如前面所解释的那样。作为示例，处理器710被配置成利用样条细分算法来实施内插，并且特别是如前面所描述的二元样条细分算法。处理器710还被配置成利用直接处理的光谱图像和内插光谱图像来重建彩色图像。
SW随机化器可以被插入在RIP漫射器与图像传感器之间的光径中的硬件(HW)实施的随机化器所替代。实现细节可以在PCT/IB2014/062270中找到。
虽然本公开内容描述了有限数目的实施例，但是应当认识到，可以实现这样的实施例的许多变型、修改和其他应用。举例来说，虽然前面的仿真中的光谱带的内插和彩色图像的重建仅仅是在最后一次Bregman迭代中进行的，但是这些操作可以从第一次Bregman迭代开始在每一次Bregman迭代的层级来实施。此外，可以把Bregman迭代与整个迭代集合(或其子集)的层级的迭代互换组合，不管是中间的还是最后一次。一般来说应当理解的是，本公开内容不受限于这里所描述的具体实施例，而是仅由所附权利要求书的范围限制。
在本说明书中提到的所有参考文献在这里都被全文合并到本说明书中以作参考，其效果与具体单独表明每一份单独的参考文献被合并在此以作参考的情况相同。此外，在本申请中对于任何参考文件的引述或标识不应当被解释成承认这样的参考文献可用作本申请的现有技术。

Claims (20)

1.一种利用具有不包括彩色滤光器的像素化透明图像传感器的摄影机获得对象或场景的彩色图像的方法，所述方法包括以下步骤：
a)在快照中在图像传感器处获得漫射-发散(DD)图像；
b)对DD图像进行处理，以便获得K个光谱带中的K幅光谱图像，其中K≥3；以及
c)从所述K幅光谱图像重建彩色图像；
其中，获得DD图像的步骤包括获得漫射-发散和随机化(DDR)图像。
2.权利要求1的方法，其中，对DD图像进行处理的步骤包括对DD图像进行处理以便在R个波段中提供R<K幅光谱图像，并且使用所述R幅图像获得K-R幅内插图像，并且其中从K幅光谱图像重建彩色图像的步骤包括使用所述R幅光谱图像和K-R幅内插光谱图像来重建彩色图像。
3.权利要求1的方法，其中，对DDR图像进行处理的步骤包括对DDR图像进行处理以便在R个波段中提供R<K幅光谱图像，并且使用所述R幅图像获得K-R幅内插图像，并且其中从K幅光谱图像重建彩色图像的步骤包括使用所述R幅光谱图像和K-R幅内插光谱图像来重建彩色图像。
4.权利要求3的方法，其中，所述内插图像是利用样条细分算法获得的。
5.权利要求4的方法，其中，所述样条细分算法是二元样条细分算法。
6.权利要求4的方法，其中，每一幅光谱图像包括由X×Y个多像素构成的一个集合，每一个多像素包括K个波段，并且其中所述内插是在整个多像素集合上同时实施的。
7.权利要求5的方法，其中，每一幅光谱图像包括由X×Y个多像素构成的一个集合，每一个多像素包括K个波段，并且其中所述内插是在整个多像素集合上同时实施的。
8.权利要求1-3当中的任一条的方法，其中，从K幅光谱图像重建彩色图像的步骤包括重建静止彩色图像。
9.权利要求1-3当中的任一条的方法，其中，从K幅光谱图像重建彩色图像的步骤包括重建视频彩色图像或彩色帧。
10.一种用于获得对象或场景的彩色图像的摄影机，其包括：
a)透镜；
b)不具有彩色滤光器的像素化透明图像传感器；
c)用以在快照中在图像传感器处获得漫射-发散(DD)图像的漫射器装置；以及
d)处理器，其被配置成把DD图像处理成K个光谱带中的K幅光谱图像，其中K≥3，并且从所述K幅光谱图像重建彩色图像；
其中，所述漫射器装置包括受限等距属性(RIP)漫射器；
所述摄影机还包括与漫射器装置相结合来使用以便在图像传感器处提供漫射-发散和随机化(DDR)图像的随机化器，并且其中所述处理器还被配置成把DDR图像处理成K个光谱带中的K幅光谱图像，其中K≥3，并且从所述K幅光谱图像重建彩色图像。
11.权利要求10的摄影机，其中，所述处理器还被配置成对DD图像进行处理以便在R个波段中直接获得R<K幅光谱图像，从R幅光谱图像内插出K-R幅内插光谱图像，并且利用所述直接处理的R幅光谱图像和K-R幅内插光谱图像重建彩色图像。
12.权利要求10的摄影机，其中，所述处理器还被配置成对DDR图像进行处理以便在R个波段中直接获得R<K幅光谱图像，从R幅光谱图像内插出K-R幅内插光谱图像，并且利用所述直接处理的R幅光谱图像和K-R幅内插光谱图像重建彩色图像。
13.权利要求10的摄影机，其中，所述随机化器是硬件随机化器。
14.权利要求10的摄影机，其中，所述随机化器使用软件实施的。
15.权利要求11的摄影机，其中，用以从R幅光谱图像内插出K-R幅内插光谱图像的处理器配置包括用以利用样条细分算法获得所述K-R幅光谱图像的配置。
16.权利要求15的摄影机，其中，所述样条细分算法是二元样条细分算法。
17.权利要求12的摄影机，其中，用以从R幅光谱图像内插出K-R幅内插光谱图像的处理器配置包括用以利用样条细分算法获得所述K-R幅光谱图像的配置。
18.权利要求17的摄影机，其中，所述样条细分算法是二元样条细分算法。
19.权利要求10-18当中的任一条的摄影机，其中，所述彩色图像是静止彩色图像。
20.权利要求10-18当中的任一条的摄影机，其中，所述彩色图像是视频彩色图像或彩色帧。
CN201480043866.9A 2013-08-03 2014-07-31 利用单色数字摄影机的彩色成像 Expired - Fee Related CN105531823B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361861982P 2013-08-03 2013-08-03
US61/861,982 2013-08-03
PCT/IB2014/063580 WO2015019251A1 (en) 2013-08-03 2014-07-31 Color imaging using a monochromatic digital camera

Publications (2)

Publication Number Publication Date
CN105531823A CN105531823A (zh) 2016-04-27
CN105531823B true CN105531823B (zh) 2018-06-12

Family

ID=52460731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480043866.9A Expired - Fee Related CN105531823B (zh) 2013-08-03 2014-07-31 利用单色数字摄影机的彩色成像

Country Status (4)

Country Link
US (1) US9894336B2 (zh)
EP (1) EP3028308A4 (zh)
CN (1) CN105531823B (zh)
WO (1) WO2015019251A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119721A (zh) * 2010-09-26 2013-05-22 郑苍隆 彩色图像采样和重建

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1709474A4 (en) * 2003-09-26 2010-01-06 Tidal Photonics Inc APPARATUS AND METHODS RELATING TO COLOR IMAGING ENDOSCOPE SYSTEMS
US7573579B2 (en) * 2006-10-12 2009-08-11 Duke University Coded aperture imaging photopolarimetry
US9013691B2 (en) * 2012-01-29 2015-04-21 Ramot At Tel-Aviv University Snapshot spectral imaging based on digital cameras
US9823126B2 (en) * 2013-06-18 2017-11-21 Ramot At Tel-Aviv University Ltd. Apparatus and method for snapshot spectral imaging
US9652827B2 (en) 2013-06-24 2017-05-16 Technology Innovation Momentum Fund (Israel) Limited Partnership System and method for color image acquisition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103119721A (zh) * 2010-09-26 2013-05-22 郑苍隆 彩色图像采样和重建

Also Published As

Publication number Publication date
US9894336B2 (en) 2018-02-13
CN105531823A (zh) 2016-04-27
WO2015019251A1 (en) 2015-02-12
EP3028308A1 (en) 2016-06-08
US20160156891A1 (en) 2016-06-02
EP3028308A4 (en) 2017-04-19

Similar Documents

Publication Publication Date Title
US10861133B1 (en) Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium
Nie et al. Deeply learned filter response functions for hyperspectral reconstruction
US20230079875A1 (en) Devices and methods for high dynamic range video
KR100944462B1 (ko) 위성 영상 융합 방법 및 시스템
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
Hu et al. Convolutional sparse coding for RGB+ NIR imaging
Wetzstein et al. Sensor saturation in fourier multiplexed imaging
US9336570B2 (en) Demosaicking system and method for color array based multi-spectral sensors
EP3381012B1 (en) Method and system for generating an output image from a plurality of corresponding input image channels
DE102018119625A1 (de) Reduzieren von strukturierten IR-Mustern bei der Stereoskopischen Tiefensensorbildgebung
JP6653460B2 (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
CN106170052A (zh) 双传感器超光谱运动成像系统
JP2000134634A5 (zh)
KR20190036442A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
WO2012153532A1 (ja) 撮像装置
Karch et al. Adaptive Wiener filter super-resolution of color filter array images
KR20190036459A (ko) 인공 지능을 이용한 초분광 영상 재구성 방법 및 장치
CN106895916B (zh) 一种单次曝光拍摄获取多光谱图像的方法
Abdelhamed et al. Leveraging the availability of two cameras for illuminant estimation
Monno et al. N-to-sRGB mapping for single-sensor multispectral imaging
JP2018107731A (ja) 画像生成装置及び撮像装置
CN110378184A (zh) 一种应用于自动驾驶车辆的图像处理方法、装置
Rafinazari et al. Demosaicking algorithm for the Kodak-RGBW color filter array
US20170116711A1 (en) Image reconstruction method and device, glasses device and display system
CN105531823B (zh) 利用单色数字摄影机的彩色成像

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180612