CN101309360B - 视频输入处理器、成像信号处理电路和降低噪声的方法 - Google Patents
视频输入处理器、成像信号处理电路和降低噪声的方法 Download PDFInfo
- Publication number
- CN101309360B CN101309360B CN2008100971537A CN200810097153A CN101309360B CN 101309360 B CN101309360 B CN 101309360B CN 2008100971537 A CN2008100971537 A CN 2008100971537A CN 200810097153 A CN200810097153 A CN 200810097153A CN 101309360 B CN101309360 B CN 101309360B
- Authority
- CN
- China
- Prior art keywords
- value
- imaging signal
- light component
- signal
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 244
- 238000000034 method Methods 0.000 title claims description 13
- 238000012545 processing Methods 0.000 title description 73
- 230000009467 reduction Effects 0.000 claims abstract description 118
- 230000008859 change Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 7
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 claims 6
- 230000002596 correlated effect Effects 0.000 claims 4
- 238000009434 installation Methods 0.000 claims 1
- 238000001914 filtration Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 24
- 238000002266 amputation Methods 0.000 description 21
- 238000012937 correction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000011946 reduction process Methods 0.000 description 11
- 230000002457 bidirectional effect Effects 0.000 description 10
- 238000000926 separation method Methods 0.000 description 8
- 230000005855 radiation Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000004040 coloring Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 108010076504 Protein Sorting Signals Proteins 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
公开了一种视频输入处理器。该处理器包括:成像信号产生部分,被配置为成像景物,并产生包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号;增益调整部分,被配置为根据该可见光分量与该近红外光分量之间的相对量值来可调整地设置最大增益值,并将用于该第一成像信号的增益调整在所设置的最大增益值;以及降噪部分,被配置为在已经调整该增益之后降低该第一成像信号中的噪声。
Description
相关申请的交叉引用
本发明包含于2007年5月17日向日本专利局提交的日本专利申请JP2007-131557的主题,通过引用的方式将其全部内容合并在此。
技术领域
本发明涉及用于成像景物并抑制通过信号处理所产生的成像信号的噪声分量的视频输入处理器。本发明还涉及成像信号处理电路和降低成像信号中噪声的方法。
背景技术
当通过被设计为例如以提高的ISO敏感度成像运动图片序列或静止图像的照相机装置来成像景物时,激活自动曝光功能。这缩短了传感器(成像装置)的曝光时间并增大了来自传感器的输出信号的增益。因此,由传感器本身和位于其周围的IC所产生的噪声的影响变得更加明显。结果,最终图像成为具有很差信噪比的带噪图像。
由与传感器本身相关的因素以及各种其他周围因素(如位于传感器周围的IC的操作频率)产生噪声。此外,图像受由于信号源(传感器)本身特性的变化和信号源本身的时间方面的(timewise)变化而引起的从低频到高频的各种噪声模式影响。
用于在照相机装置内部执行信号处理以降低或抑制噪声的公知技术采用具有大量降噪抽头(tap)的滤波器的电路进行降噪。通过由该电路执行的处理改进了所显示图像的信噪比。
然而,如果由具有大量抽头的任意普通低通滤波器(如高斯滤波器)执行所述处理,则附随地扩散边缘信息。在输出图像中,每一个边缘的陡度下降,并且可见分辨率(apparent resolution)劣化。为了解决该问题,在照相机信号的处理期间,通过在保持分辨率的同时执行滤波处理以改进输入图像的S/N的降噪技术是必要的。
用于降噪的一种公知方法使用配备有给定滤色镜(如红(R)、绿(G)和蓝(B)滤光片)的成像装置。来自景物的光经过用于截除不可见辐射分量的IR(红外辐射)截除滤波器,尤其在近红外区域中。由具有滤色镜的成像装置接收通过IR截除滤波器的辐射。从成像装置输出具有高彩色再现性的图像。另外,成像相同的景物,并且产生的图像不通过IR截除滤光片透射,以获得具有更大量信息的图像。从其信息量通过不允许图像经过IR截除滤光片来保持的图像中检测边缘信息(例如,见JP-A-2006-180269(专利对比文件1))。
在以上所引用的专利对比文件1中,将用于获得边缘信息的图像称为不可见光图像(在实施例中,称为红外光图像)。该图像保存(hold)包含从低频到高频的宽范围的频率分量的图像信息,在图像通过IR截除滤光片之前获得所述图像信息。
在以上所引用的专利对比文件1中,不可见光图像(红外光图像)通过高通滤波器,以提取高频分量。同时,在增益方面调整可见光图像,即具有高彩色再现性并且在被通过IR截除滤光片之后捕获的图像。然后,将图像通过低通滤波器,以去除噪声。然而,当图像通过低通滤波器时,扩散了分辨率信息,劣化了每一个边缘的陡度。因此,在以上所引用的专利对比文件1中,组合通过低通滤波器的可见光图像和通过高通滤波器的红外光图像,所述红外光图像保存边缘信息。因此,可以同时实现降噪和防止边缘信息扩散(每一个边缘的陡度劣化)。
关于IR截除滤光片,可以将选择性地透射或阻塞红外光分量的功能给予成像装置的单个滤色镜层。
例如,JP-A-2005-006066(专利对比文件2)公开了其每一个像素单元均由红(R)、绿(G)和蓝(B)三原色透射滤光片以及具有对红外区域敏感度并透射红外光的红外通过滤光片(infrared pass filter)组成。专利对比文件2声明红外滤光片可以是白色(W)滤光片。
另一方面,关于在白平衡调整期间执行的增益调整、彩色校正以及降噪,具有红外光分量的成像信号的处理是公知的(见JP-A-2001-078204和JP-A-2005-303704(专利对比文件3和4))。
发明内容
例如,类似于专利对比文件2所示的成像装置,每一个均具有红(R)、绿(G)、蓝(B)和白(W)滤色镜的像素可以以2×2排列放置。以二维重复地排列像素单元。用于透射红外(IR)光的红外通过滤光片可以仅在白(W)像素上形成。因此,R、G和B的可见光图像以及红外光图像(W+IR)(在下文中可以称为A(“ALL”的缩写)图像)可以从一个成像装置中输出。
专利对比文件1中描述的技术可以通过使用如上所述作为可见光图像获得的R、G和B图像并使用作为红外光图像的A图像,执行用于关于可见光图像降噪的处理。
专利对比文件1中描述的图像处理部分的配置在图13中示出。所示图像处理部分(由100指示)具有增益调整部分101、作为降噪部分的低通滤波器(LPF)102、高通滤波器(HPF)103以及图像合成器部分104。
增益调整部分101调整对于输入可见光图像的增益。这增大了对于作为由于曝光不足而引起的暗图像捕获的可见光图像在每一个像素的灰度电平(像素值),以便最终像素值接近在合适的曝光捕获的图像的值。调整增益的一种方法是将可见光图像的像素值乘以常数因子。另一种方法是基于指数函数的伽玛校正。再一种方法是基于多项式函数调整增益的任意方法。
低通滤波器102包含边缘检测部分。通过边缘检测部分,从具有更大量信息的红外光图像中检测边缘。作为降噪部分的低通滤波器102执行低通滤波,同时保留所检测到边缘的信息。由此,从可见光图像中去除噪声。低通滤波器将基础图像(base image)输出到图像合成器部分104。
同时,高通滤波器103从输入红外光图像中提取接近于边缘的详细部分,并将所获得的细节图像(边缘纹理信息)输出到图像合成器部分104。
图像合成器部分104将得自低通滤波器102的基础图像与来自高通滤波器103的细节图像(边缘纹理信息),产生输出图像。
在景物很暗的情况下,可见光图像中包含的信息量很少。如果这被完整地通过低通滤波器102并执行降噪,则输出图像仍然很暗。因此,由增益调整部分101放大信号电平,然后执行使用低通滤波器102的降噪。此时,也由信号放大来放大噪声电平。然而,随后执行降噪,并且因此将输出图像的信噪比提高了与颜色信号电平的放大对应的量。
同时,通过从具有大量信息的红外光图像中检测边缘并微弱且局部地对边缘应用降噪处理,可以保留输出图像中的边缘灰度电平差。然而,在每一个边缘处的信噪比没有提高。相反,信噪比可能劣化。因此,由高通滤波器103提取的边缘部分细节图像,并由图像合成器部分104将其与基础图像组合。因此,可以提高整个图像的信噪比。
由于上述特征,如果使用专利对比文件1中描述的图像处理部分100,则通过接受到达红外波长区域的光,可以实现能够产生保留边缘信息并且即使景物很暗也在整个图像帧上具有高信噪比的明亮的输出图像的照相机装置。
在如之前所述的那样,由图13中所示的图像处理部分100使用R、G和B的可见光图像和组成A图像的红外光图像来执行处理的情况下,除了可见光之外的分量(特别地,大比例的近红外光)被包含在A图像(红外光图像)中,但近红外光分量与A图像的比率根据不同的光源而大大地变化。例如,即使在相同的日光条件之下,所包含的近红外光的比率在黎明、日间和晚间之中特别地变化。此外,即使在室内照明下,如果光源的色温变化,则所包含的近红外光的部分也变化。例如,电灯泡比荧光灯包含更大部分的近红外光。
图14是在光谱特性方面将具有3000K色温的电灯泡或一光源与荧光灯或另一不同光源进行比较的图。
在电灯泡是光源的情况下,如图所示,其包含很大部分的红外光分量。因此即使在图像帧很暗并且R、G和B可见光图像的信息量很小的情况下,A图像的信息量相对大。另外,A图像的S/N相对高。因此,在图像帧很暗或图像帧很亮的情况下,如果将A图像用作用于边缘检测的参考图像,则对于R、G和B可见光图像可以有效地完成降噪,同时保留边缘信息。
另一方面,在使用荧光灯作为光源的情况下,如图所示,来自荧光灯的光几乎不具有红外光分量。即使在这种情况下,如果显示屏幕上的图像很亮,则作为用于边缘检测的参考图像的A图像一般也具有所要求的信息量。
然而,如果显示屏幕上的图像变得更暗,则A图像不提供边缘检测所必需的信息量。因此,不能执行对R、G和B图像的降噪,而同时保留边缘信息。此外,如果图像很暗,则对于R、G和B图像可以保证大增益,因此R、G和B图像中的噪声电平在已经增大了增益之后非常大。在降噪部分(在图13中,低通滤波器102)中将噪声的这些大电平削减到一定程度,但没有完全去除。降噪之后所获得的S/N相对低。结果,即使在执行降噪之后,也输出带噪图像。
为了避开这些缺点,期望增大增益以便使降噪之后的显示屏幕上的图像更亮而不强制地增大降噪部分之前的增益。
在期望以这种方式执行降噪之前不强制地增大增益的情况下,存在根据室内光源是荧光灯还是电灯泡而使得图像带噪的可能性。此外,也可能根据不同的室外照射条件(如不同的时间和不同的天气条件)而使得图像带噪。另外,也可能根据光源的不同的光谱特性(如,根据在室外或室内完成拍摄)而使得图像带噪。此外,可能由除了光源之外的因素(如景物的红外吸收特性的不同)使得图像带噪。
以这种方式,如以上引用的专利对比文件1所示的用于降噪的图像处理部分和使用图像处理部分的照相机装置根据红外光比率在降噪能力方面产生了不同。结果,有时输出带噪图像。在这方面仍然存在改进的空间。
根据本发明的一个实施例的视频输入处理器具有成像信号产生部分、增益调整部分和降噪部分。
成像信号产生部分成像景物,并产生包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号。在一些情况下,成像信号产生部分是成像装置。在其它情况下,成像信号产生部分包括成像装置和信号处理部分。将第一和第二成像信号从成像信号产生部分发送到增益调整部分。
增益调整部分接收第一和第二成像信号。增益调整部分根据该可见光分量与该近红外光分量之间的相对量值来可调整地设置最大增益值。增益调整部分将用于该第一成像信号的增益调整在所设置的最大增益值。在增益调整之后,将第一成像信号从增益调整部分发送到降噪部分。
降噪部分接收第一成像信号,并对每一种颜色降低第一成像信号中的噪声,同时保留基于边缘信息识别的图像位置处的边缘信息。
根据本发明的一个实施例的成像信号处理电路是接收包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号并降低该第一成像信号中的噪声的成像信号处理电路。成像信号处理电路降低第一成像信号中的噪声。成像信号处理电路具有增益调整部分和降噪部分。增益调整部分在功能上类似于前述视频输入处理器。
根据本发明的一个实施例的降低成像信号中的噪声的方法以获取包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号开始。根据该可见光分量与该近红外光分量之间的相对量值可调整地设置最大增益值。在所设置的最大增益值对于第一成像信号进行增益调整。在增益调整之后,降低该第一成像信号中的噪声。
在本发明的实施例中,第二成像信号最好包含等效于第一成像信号的可见光分量的可见光分量以及与来自景物的近红外光的量对应的近红外光分量。基于来自成像信号产生部分的第一和第二成像信号,增益调整部分计算关于从第一成像信号的可见光分量获得的第一比较值与第二比较值之间的相对量值的参数。通过将与第二成像信号的可见光分量对应的近红外光分量加到等效于第一比较值的第二成像信号的可见光分量来获得第二比较值。增益调整部分基于该参量的量值可调整地设置最大增益值。
此外,在本发明的实施例中,成像信号处理电路最好进一步包括边缘信息获取部分,所述边缘信息获取部分被配置为从该第二成像信号获取边缘信息。降噪部分对于每一种颜色降低该第一成像信号中的噪声,同时保留在基于该边缘信息识别的图像位置处的边缘信息。
在如上所述的本发明的实施例的配置中,当对第一成像信号调整增益时,基于第一和第二成像信号设置最大增益值。更具体地,计算关于第一和第二比较值之间的相对量值的参数。第一比较值从第一成像信号的可见光分量获得并且与可见光分量的量值相关。第二比较值与通过将与第二成像信号的可见光分量对应的近红外光分量加到等效于该第一比较值的第二成像信号的可见光分量而获得的值相关。
增大该参数K的值意味着将第一和第二比较值之一设置为大于另一个。相反,减小参数的值意味着将第一和第二比较值之一设置为小于另一个。
在本发明的实施例中,在降噪之前进行增益调整期间,例如根据参数的量值确定在第二成像信号中包含的近红外光分量是大还是小。根据参数的量值,在增益调整期间设置或限制最大增益值。在本发明的实施例中,根据参数最大增益值可以变化到不同的值。
通常地,根据输入动态范围存在降噪中的限制。如果超过了限制,则输出图像中的噪声迅速增大。由噪声电平的量值以及输入信号电平变化所述限制。当在从成像到降噪的信号处理路径中信号的增益增大时,信号中包含的噪声电平也增大。然而,通常由在装置内部执行的信号处理将在成像装置中产生的噪声抑制到一定程度。因此,在成像装置与降噪级之间出现的放大器中产生的噪声主要支配确定前述降噪中的限制的噪声电平。
也就是说,降低噪声电平中的限制(超过该限制则噪声电平迅速增大)与实际执行降噪之前所产生的信号电平相关,并且还与当对信号电平进行调整时使用的增益有关。
在根据本发明的一个实施例的上述视频输入处理器中,将成像信号产生部分设计为能够产生包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号。如果第二成像信号的近红外光分量与第一成像信号的可见光分量之间的相对量值已知,则可以预测降噪中限制(超过该限制则噪声电平将迅速增大)的相对量值。增益调整部分可以计算各光分量之间的相对量值,例如作为参数。因此,可以可调整地设置最大增益值,以便不超过降噪能力的限制。
由于到目前为止描述的配置,如果发生环境变化(如当使用不同的光源以成像景物或光源的色温变化时),防止了降噪能力在用于降低增益的处理期间被削弱。
本发明的实施例可以有效地消除以下缺点:降噪能力根据所包含的红外光分量而变化并且有时超过降噪能力;否则将输出带噪图像。
附图说明
图1是并入根据本发明的实施例的成像信号处理电路的照相机装置的框图;
图2是示出图1中所示的成像装置的输出光谱特性的图,用以图解该实施例;
图3A是在图1中所示的成像信号处理电路中所包括的降噪部分的框图;
图3B是示出最大增益值与参数的关系的图;
图4A和4B是其每一个均示出多层滤光片中颜色阵列的一个像素单元的图;
图5是信号处理部分的框图;
图6是示出降噪块的细节的框图;
图7是累加块的图;
图8是特别地图解拍摄图像之后所执行的边缘判决和降噪的流程图;
图9是概念性地图解边缘判决和滤光之间的关系的图;
图10是概念性地图解滤波器系数的设置和滤波之间的关系的图;
图11是特别地图解增益调整的流程图;
图12是与本发明的修改相关的照相机配置的部分的示意图;
图13是示出专利对比文件1中所描述的成像处理部分的配置的框图;以及
图14是示出电灯泡和荧光灯之间光谱特性的不同的图,所述电灯泡和荧光灯均作为光源。
具体实施方式
在下文中,将参照附图描述本发明的实施例。
第一实施例
图1是并入了与本发明的实施例相关的成像信号处理电路的照相机装置的框图。照相机装置与本发明的“视频输入处理器”的一种形式对应。照相机装置可以是主要设计为拍摄运动图片序列的摄像机,也可以是主要设计为拍摄静止图像的数字照相机。
所示的照相机装置具有光学元件1,包括镜头和光学滤光片;成像装置2;模拟前端(AFE)电路3,用于处理模拟成像信号;模数转换器(ADC)5,用于将模拟成像信号转换为数字信号并将数字信号作为数字视频信号输出到各种数字处理部分;以及数模转换器(DAC)12,用于将经过各种处理的视频信号转换为模拟信号,并将模拟信号作为视频信号14输出。
光学元件1中所包括的光学滤光片阻塞高于奈奎斯特频率的高频分量,例如以防止混淆失真(aliasing distortion)。光学滤光片可以或可以不并入红外截除滤光片的功能。在光学滤光片不具有红外截除滤光片的功能的情况下,由成像装置2的单片多层滤光片拥有红外截除滤光片的功能。
图2示出在本实施例中使用的成像装置的输出光谱特性,所述成像装置具有单片多层滤光片。在图2的图中,在横轴上绘出入射光的波长,而在纵轴上绘出每一种颜色的成像信号的输出电平的灰度电平。例如,由8位表示输出电平。也就是说,灰度电平可以假定从0到1,024的值。
从图2中可以看出,该成像装置在高于近红外区域下限(700到800nm;在所示的示例中为750nm)的频率处具有对红(R)、绿(G)、蓝(B)以及白(W)辐射的敏感度。
所示的照相机装置具有信号处理部分4,用于处理来自模数转换器(ADC)5的数字信号。信号处理部分4是本发明的“成像信号处理电路”的一种形式并且包括增益调整部分4A和降噪部分4B。
将信号处理部分4作为以IC形式、其中安装多个部分的模块形式或其上安装多个部分的衬底形式的半导体芯片提供。信号处理部分4可以被并入到照相机装置中。信号处理部分4连接在模数转换器5和数模转换器12之间,并执行包括信号放大(即预处理)、降噪(NR)、分离为亮度和颜色信号、亮度信号处理以及颜色信号处理的各种处理。
用于将通过前述分离而获得的亮度和颜色信号进行组合的混合器电路(YC_MIX)9连接在信号处理部分4和数模转换器12之间。信号处理部分4也可以包括混合器电路9。信号处理部分4可以由IC或模块组成。
图3A示出图1中所示的包括增益调整部分4A和降噪部分4B的信号处理部分4的一部分(降噪部分)的配置的示例。增益调整部分4A和降噪部分4B是本实施例的特性部分。所示的降噪处理部分54A分别接收第一成像信号和第二成像信号。第一成像信号包含可见光分量。第二成像信号包含近红外光分量。
在此采用原色的成像信号作为示例。第一成像信号分别是红(R)、绿(G)和蓝(B)色(在下文中简称为R信号、G信号和B信号)像素的成像信号。第二成像信号包含白成像信号(在下文中可以简称为W信号)以及近红外光(在下文中简称为IR信号)分量的成像信号,所述白成像信号是等效于第一成像信号的可见光分量(R信号+G信号+B信号)的可见光分量。在此将第二成像信号(A信号或A像素信号)示出为W信号和R信号之和。
IR信号包含几乎所有从景物发出的光的近红外光分量。也就是说,图1中所示的光学元件1和成像装置2至少在用于接收IR信号的路线中均不具有任何IR截除滤光片。因此,除了微小损失之外,IR信号包含几乎所有来自景物的近红外光分量。
如图3A所示,降噪处理部分54A具有增益调整部分4A、降噪部分4B和边缘信息获取部分4C。增益调整部分4A至少包括可变增益放大器GA,其根据给定增益值放大或削减R、G、B信号。在此这被称为增益调整。增益调整部分4A具有可调整地设置增益放大器GA的最大增益值Gmax的功能。将在后面详细描述该功能。
边缘信息获取部分4C获得自A像素信号的边缘信息ED(如相邻像素之间的差分像素值)并将边缘信息输出到降噪部分4B。
降噪部分4B执行用于对增益调整之后的R、G、B信号降噪的处理。此时,降噪部分4B在保存基于所获得的边缘信息ED而识别的图像位置(边缘部分)处的边缘灰度电平差的同时,执行用于在除了边缘之外的情况下的降噪的处理。为了保存边缘灰度电平差,降噪部分4B在边缘处几乎不执行用于降噪的处理或更弱地应用降噪处理。
更好地,边缘信息获取部分4C具有从A像素信号提取有关边缘部分的局部详细信息(边缘纹理信息ET)的功能。为了在R、G、B信号中反映所提取的边缘纹理信息ET,降噪(NR)部分54A并入组合部分4D,所述组合部分4D用于将边缘纹理信息ET与经历了降噪处理的R、G、B信号进行组合。
因此,由来自组合部分4D的输出信号指示的图像是其中保留了边缘灰度电平并降低了噪声的高质量图像。此外,在高质量图像中,防止了边缘处图像质量的劣化。
在本实施例中,在紧接图3A所示的降噪处理部分54A之前(位于处理信号的方向的上流)的级中的所有配置与本发明的“成像信号产生部分”的一种形式对应。也就是说,在图1中,信号处理部分4内部在增益调整部分4A之前的级中的配置,即模数转换器5、模拟前端(AFE)电路3、成像装置2和光学元件1,与本发明的“成像信号产生部分”对应。
光学元件1具有镜头和在镜头外壳中接受的光圈。光学元件1可以提供用于控制曝光量的调焦控制和光圈控制。光学元件1包括用于曝光控制的光圈驱动部分、用于自动调焦的驱动部分和用于所述驱动部分的控制电路。
成像装置2是CCD传感器或CMOS图像传感器。将成像装置2保存在照相机装置的机身内部,以便经由光学元件1将从景物产生并冲击(impinge)成像装置的光学图像聚焦在成像装置的成像表面上。成像装置2具有由大量光学传感器组成的像素阵列以及位于像素阵列的入射侧的多层滤光片。多层滤光片是形成给定阵列的几个相邻光学传感器(像素单元)的组合体(assemblage)。
在成像装置2是CCD传感器的情况下,定时发生器(TM)13与成像装置2连接。成像装置2可以从定时发生器13接收时钟信号、垂直SYNC信号和水平SYNC信号。在成像装置2是CCD的情况下,与垂直SYNC信号和水平SYNC信号同步的传送脉冲也从定时发生器13提供。
定时发生器13是用于在微型计算机10的控制下,产生用于从系统时钟信号(未示出)控制这些定时的信号。关于成像装置2,由用于控制定时的信号来控制各种操作,如传送操作以及快门速度的变更。在成像装置2是CMOS传感器的情况下,可以将定时发生器13的功能给予成像装置2。
成像装置2包括在本发明的“成像信号产生部分”。由于“图像信号产生部分”包括图3A所示的配置之前的级中的所有配置,因此成像装置或装置2可以是一个或两个。
在成像装置2在数量上是单个的情况下,用于输出第一成像信号的颜色信号(如R、G、B信号)的像素和用于输出第二成像信号(如A像素信号)的像素包含在组成重复单元的一个像素单元内的给定阵列中。由多层滤光片的结构确定阵列,在该多层滤光片中,颜色选择和IR截除的功能全部被并入。
在存在两个分离的成像装置2的情况下,其中之一输出第一成像信号。另一成像装置输出第二成像信号。在这种情况下,通过光学元件(如二向棱镜)将来自相同景物的光学图像分成沿着两个方向的两个部分。由沿着两个方向放置的两个成像装置接收光学图像的两个部分。
将颜色选择滤光片放置在用于产生第一成像信号的成像装置上。将IR截除滤光片安装在成像表面和光学元件之间的光程中。可替代地,将具有IR截除滤光片和颜色选择滤光片的全部功能的多层滤光片放置在成像装置上。
同时,在用于产生第二成像信号的成像装置上,均不安装颜色选择滤光片和IR截除滤光片。由此,成像装置可以产生A(=W+IR)信号。
图4A和4B示出具有成像装置2的多层滤光片的颜色阵列的像素单元的两个示例。颜色阵列适于存在单个成像装置的情况。在存在两个成像装置的情况下,具有公知的“原色Bayer滤光片”或Knight颜色阵列的滤光片可以用作成像装置之一。
颜色阵列的类型不限于这两个示例。现在描述原色滤光片的一种典型的示例。在滤色镜是原色滤光片的情况下,可以采用除了所示阵列之外的阵列。可替代地,如已经各种各样地提出的那样,滤色镜可以是补色滤光片,其中规则地排列任意选择的多个补色。
多层滤光片的每一个颜色选择层均具有颜色阵列,例如,如图4A或4B所示。
图4A所示的颜色阵列被公知为“W格(checker)”。图4B所示的颜色阵列被公知为“WZ字型格”。“W格”和“WZ字型格”均包含具有对覆盖所有G、R和B像素的所检测到的波长区域的波长区域的敏感度的白(W)像素。W像素以格的模式排列。
同时,多层滤光片的IR截除层被设计为截除G、R和B像素处的红外辐射并在W像素处透射红外辐射。
一般来说,近红外辐射具有从0.7到0.8μm(可见红光的更长波长上限)至2.5μm(或1.5到3μm)的波长。由于近红外光分量具有使颜色发白的问题,所以必须从第一成像信号(R、G、B信号)中移除近红外光分量。然而,难以通过IR截除滤光片完全阻塞近红外光分量。通常地,即使在如图2所示的近红外光区域中,成像装置的输出光谱特性也具有对红(R)、绿(G)、蓝(B)和白(W)的敏感度。人的视觉感觉对长于略短于700nm的波长几乎没有敏感度。因此,这样设计具有所示输出光谱特性的成像装置2,使得IR截除层(或IR截除滤光片)抑制例如长于大约650nm的波长,由黑体点划线所示。
重新参照图1,从成像装置2向其输入模拟成像信号的AFE电路3对模拟信号执行各种处理,如:例如由于相关双采样(在CCD的情况下)而引起的复位噪声的去除、其他噪声去除以及放大。
模数转换器(ADC)5将经处理的模拟信号转换为给定位(如8位或10位)的数字信号。数字信号包含像素信号序列,其具有对于每个像素的给定位的灰度电平值。也就是说,从模数转换器5输出的数字信号包含像素信号序列,其中A像素与其它颜色的像素交替。
已经连同图3A描述的所述配置的降噪处理部分54A被包括在信号处理部分4中。在单板型(single plate type)的情况下,当显示图像时,成像装置2以扫描顺序将红(R)、绿(G)、蓝(B)和All(A=W+IR)作为时间顺序串行信号传递。需要在信号处理部分4的内部,将用于从串行信号中分离第一成像信号(例如,R、G和B信号)和第二成像信号(例如,A像素信号)的配置放置在降噪处理部分54A之前。
降噪部分4B接收所分离的第一成像信号(R、G、B信号)的每一种颜色并对于每一种颜色和每一个像素降噪。如后面详细描述的那样,当处理包含R、G和B信号的像素信号时,在顺序修改要被处理的目标像素时重复所述处理。如果基于由边缘信息获取部分4C获得的边缘信息确定在每一个目标像素或其周围不存在边缘,则降噪部分4B执行降噪。如果确定在每一个目标像素及其周围存在边缘,则不有效地执行降噪。
该处理由低通滤波器执行。在应该特别保持边缘灰度电平差的情况下,使用边缘保持滤波器,如交叉双向滤波器(cross bilateral filter)。在下面的第二实施例中详细地描述交叉双向滤波器。
将每一个在降噪之后获得的R、G和B信号分离成亮度信号和颜色信号。在以给定方式处理每一个隔离的信号之后,从信号处理部分4输出所述信号。
混合器电路9将由信号处理部分4处理的亮度和颜色信号进行组合,并产生视频信号。
数模转换器(ADC)12是用于将视频信号转换为模拟视频信号14并将其输出的电路。
微型计算机10是用于控制成像装置2、AFE电路3、信号处理部分4、定时发生器(TG)13和所有其他元件的电路。用于保存控制参数的可再写存储器(如非易失存储器(NVM)11)与微型计算机10连接。在图1中没有示出监视器显示部分、用于编码视频信号14并将经编码的信号输出到监视器显示部分的电路以及用于处理并输出音频信号的电路。
第二实施例
在以下描述作为本实施例的一个特点的、包括降噪处理部分54A的更详细的实施例。这里假定照相机装置具有单板型的成像装置2。
[信号处理部分的配置]
图5是示出信号部分4的配置的一个示例的框图。所示信号处理部分4由一些主要的块,即用于执行预处理的PRE块41、用于提取并处理亮度信号(Y)的Y块42、用于提取并处理颜色信号(C)的C块43以及用于检测显示屏幕上的图像的亮度的OPD(光学检测器)块44组成。每一个块均经由并行接口(PIO)45与微型计算机10(图5中的CPU块)连接。所述块处于微型计算机10的控制之下。由此,执行PRE块中的处理、自动曝光(AE)、自动白平衡调整(AWB)和其他处理。
PRE块41具有数字自动增益控制(AGC)电路51、阴影缺陷校正电路(shading-defect correcting circuit)52、延迟线部分(D)53、降噪(NR)块54、模式产生电路56和黑累计电路57。
AGC电路51对于输入数字成像信号调整增益。通常地,安装AGC电路51以获得适于在后级中执行的处理的信号幅度。统一地放大单个成像信号的全部。也就是说,统一地放大可见光分量和近红外光分量。
在本实施例中,降噪块54包括增益调整部分,并且因此获得了Y块42和C块43所需的信号幅度。因此,除非到降噪块54之前的级(即阴影缺陷校正电路52)的输入幅度太小以致于不能获得必需的处理精度或者除非发生其他特殊情况,否则可以省略AGC电路51。
阴影缺陷校正电路52执行阴影校正,用于校正由在传感器(成像装置2)的光接收面(light-receiving face)中的中心和边缘部分之间的光接收位置的差异引起的亮度差异。此外,校正电路52补偿来自成像装置2的成像信号中的数据丢失(data dropout)。
延迟线部分53是用于将信号延迟与水平方向和垂直方向上具有给定数目的像素的几条线的视频数据标准(水平像素信号序列)对应的量的电路以便于在降噪块54中处理。例如,在与5条线对应的延迟对于在降噪块54中的处理是必需的情况下,可以串联四个1线延迟部分。可以将与5条线对应的像素信号序列应用于与来自1线延迟部分的输出和非延迟线(照原样输出输入的线)的输出并行的降噪块54。
代替延迟线部分53,可以安装图像存储器。可以读出一般地与所要求数目的线对应的数据。将在后面详细描述降噪块54的配置和操作。
图1所示的成像装置2是单板型的,并且采用图4A或图4B所示的颜色阵列。因此,关于由从成像装置2输出的成像信号所表示的各个颜色,具有关于红(R)、绿(G)和蓝(B)中任意一种信息的像素信号与白(W)像素信号在时间轴上交替地混合。因此,由成像信号表示的图像对于每一种颜色处于马赛克模式(mosaic pattern)。将具有这样的马赛克颜色阵列的图像称为“马赛克图像”。
如果将这样的马赛克图像完好地用在降噪处理中,则由于存在信息丢失,所以可能不能精确地执行所述处理。因此,降噪块54具有将马赛克图像去马赛克(demosaic)的功能。处理确定颜色的马赛克图像的“去马赛克”,通过从具有关于特定颜色的信息的相邻像素内插,用于在不存在关于特定颜色的信息的部分产生颜色信息,并且由此将马赛克图像转换为在所有对应像素部分中具有颜色信息的“经去马赛克的图像”。没有示出用于去马赛克的详细配置。一般来说,采用用于简单线性内插或使用颜色估计的重复和组合的高精度内插的电路配置。
模式产生电路56在没有连接成像装置2的情况下产生测试模式。黑累计电路57检测数字成像信号的黑电平。
Y块42接收并处理在从PRE块41输出的经去马赛克的成像信号之中具有最大信息量的A像素的经去马赛克的成像信号。Y块42具有Y产生部分61,用于从来自A像素的经去马赛克的成像信号产生亮度信号(Y);光圈控制信号产生部分62,用于从亮度信号(Y)产生光圈控制信号;以及伽玛(γ)校正部分63,用于伽玛校正光圈控制信号。
将由Y产生部分61产生的亮度信号(Y)馈入OPD块44。光圈控制信号产生部分62修改从Y产生部分61产生的亮度信号(Y),以便仅加重图像轮廓。将经修改的亮度信号(Y)提供到伽玛校正部分63。伽玛校正部分63将经伽玛校正的亮度信号(Y)输出到图1的混合器电路9。
C块43接收并处理R、G和B信号的经去马赛克的成像信号。C块43具有RGB矩阵电路71、白平衡调整(WB)和伽玛(γ)校正电路72、用于转换色差信号(R-G)和(B-G)的色差转换电路73以及用于产生色度信号Cr和Cb的色度产生电路74。
RGB矩阵电路71接收并去马赛克R、G和B像素的成像信号并输出对于每一个像素单元同步的颜色信号(R、G和B信号)。将R、G和B信号输出到OPD块44以及WB和γ校正电路72。
WB和γ校正电路72从输入R、G和B信号对于每一种颜色实现增益平衡,并进行白平衡调整(WB)。此时,参照来自OPD块44的亮度信息。将经白平衡的R、G和B信号的像素强度经历颜色伽玛(γ)校正。为了表示图像中的灰度电平的响应特性,此时使用公知为伽玛(γ)的数值。例如,将该数值保存在图1所示的非易失性存储器11中或微型计算机10的存储区域中。将该值经由图5的PIO 45提供到WB和γ校正电路72。处理伽玛校正用于正确地显示被显示图像的亮度和色饱和度。
色差转换电路73经伽玛校正的R、G和B信号转换为色差信号(R-G)和(B-G)。色度产生电路74从来自色差转换电路73的输出信号产生色度信号Cr和Cb。将所产生的色度信号Cr和Cb发送到图1所示的混合器电路9。
OPD块44包括用于产生用于例如自动曝光控制(AE)的累计亮度值的亮度累计电路44A,和用于产生关于用于例如白平衡调整的各种颜色的累计R、G和B值的RGB累计电路44B。
例如,亮度累计电路44A在图像的一帧上,通过累计亮度信号(Y)来产生经累计的亮度值。将经累计的亮度值提供到安装在图1的光学元件1中的光圈控制电路以及经由微型计算机10并入到成像装置2的模拟增益电路。
例如,对于每一种颜色,RGB累计电路44B在一帧图像上,通过对于各种颜色累计来自RGB矩阵电路71的R、G、B信号来产生经累计的R、G和B值。将经累计的R、G和B值经由PIO 45提供到微型计算机10,其中计算了WB增益。将结果提供到WB和γ校正电路72。
这些累计电路可以由安装在降噪块54中的各种累加部分(在后面描述)代替。在这种情况下,可以省略OPD块44。
[降噪块的细节]
图6是降噪块54的更详细的框图。所示降噪块54包括分离部分541、同步部分542、A去马赛克部分543、RGB去马赛克部分545、增益调整部分4A、降噪部分4B、边缘信息获取部分4C以及组合部分4D。在这些部分中,A去马赛克部分543、RGB去马赛克部分545、增益调整部分4A、降噪部分4B、边缘信息获取部分4C以及组合部分4D被包括在图3A所示的降噪处理部分54A中。
分离部分541从其它颜色的R、G和B像素信号中分离构成A(W+IR)像素的马赛克图像的A像素信号。同步电路542接收所分离的A像素信号、R、G和B像素信号,对它们进行同步并将其输出。将A像素信号施加到A去马赛克部分543。将R、G和B信号施加到增益调整部分4A。
A去马赛克部分543将输入A像素信号去马赛克,并产生经去马赛克的A图像。类似地,RGB去马赛克部分545将输入R、G和B像素信号去马赛克,并产生经去马赛克的R、G和B图像。
这些去马赛克步骤可以是诸如线性内插的简单去马赛克。更期望,例如,可以由能够重复颜色估计和组合的电路执行去马赛克,所述电路用于高精度内插。更具体地说,可以通过专用于内插的电路、诸如DSP(数字信号处理器)之类的基于计算机的控制器以及用于操作该控制器的程序的函数来实现去马赛克。
边缘信息获取部分4C通过给定技术从经去马赛克的A图像中获取边缘信息ED。此时,边缘信息获取部分4C从以目标像素为中心的相邻像素的范围中获取边缘信息。例如,由水平和垂直方向中的任意数目的像素来定义相邻像素的范围,如3×3或5×5像素。通常来说,范围的水平和垂直方向由相同的奇数数目的像素组成。将目标像素经历降噪,所述降噪使用由降噪部分4B执行的滤光。目标像素顺序地以输入顺序而变化,如以视频信号的水平方向的一个指向(sense)。边缘信息获取部分4C再次识别相邻像素的范围,以便只要将目标像素移动到相邻像素位置,则经修改的目标像素就变为中心。由此,边缘信息获取部分4C重复边缘信息的获取。将所获取的边缘信息ED从边缘信息获取部分4C提供到降噪部分4B。
获取边缘信息的特定技术是在以目标像素为中心的相邻像素的范围之内,得出目标像素和其他像素之间的差别。
在本实施例中,降噪部分4B由交叉双向滤波器组成。滤波器配置基本上是公知的二维低通滤波器(LPF)。例如,可以采用专利对比文件1中所示的LPF配置。
此时,从所获取的边缘信息EB判断边缘。修改滤波器系数,以便基于关于边缘的判断结果,保留更多的边缘灰度电平差。此时,还可以加重初始边缘灰度电平差。将所修改的滤波器系数应用于R、G和B图像的二维滤波中。
以这种方式,从关于由A像素组成的经去马赛克的图像的边缘信息ED中判断边缘。使用关于边缘的判断结果,由二维滤波器处理R、G和B图像。因此,可以与更多所期望的结果一起,保留与像素值差对应的边缘灰度电平差。将参照与所滤光的景物不同的图像信息的二维滤波器特别地称为交叉双向滤波器。将在后面简明地描述由交叉双向滤波器执行的处理。由于使用经去马赛克的A图像来执行边缘检测(即边缘信息的获取和边缘的判断),所以可以精确地检测边缘。结果,在来自交叉双向滤波器的输出处,可以有效地保留边缘信息。将经处理的R、G和B信号输出到组合部分4D。
边缘信息获取部分4C具有从A像素信号(严格地讲,经去马赛克的A像素信号)提取边缘纹理信息ET的功能。例如,可以通过AND将所有被判断为边缘并且包含像素值差的相邻像素区域合并为一个来获得提取的范围。将边缘纹理信息ET从边缘信息获取部分4C输出到合并部分4D。
合并部分4D将从降噪部分4B送入的R、G和B像素信号中所包含的边缘部分替换为从边缘信息获取部分4C送入的边缘纹理信息ET,由此组合图像(即信号的混合)。
将来自组合部分4D的R、G和B图像发送到用于处理颜色信号的C块43。将来自A去马赛克部分543的经去马赛克的A图像AD发送到用于处理亮度信号的Y块42。
[增益调整部分的细节及其操作]
作为本实施例的特性部分的增益调整部分4A包括增益放大器GA和累加块58。增益放大器GA从RGB去马赛克部分545接收经去马赛克的R、G和B图像,并将形成经去马赛克的R、G和B图像的颜色的R、G和B像素信号乘以增益值G,由此统一地改变信号幅度。增益值可以在不同的颜色之中变化。在本实施例中,使用相同的增益值G,这是因为在较后级出现用于彩色平衡校正的电路。
累加块57从A去马赛克部分543接收经去马赛克的A图像AD并从RGB去马赛克部分545接收经去马赛克的R、G和B图像RD、GD和BD,并在给定时间段中对于每一种颜色得出像素数据的累计值。也就是说,发现累加的A、R、G和B值。
累加块58可以从来自同步部分542的输出中计算上述四个累加值,这是因为在去马赛克之前和之后累加值的比率几乎不变。而且,期望从来自同步部分542的输出中计算累加值,以便在早先的级中计算累加值。
图7示出累加块58的配置。图7示出从来自同步部分542的输出计算累加值的情况。
在将来自成像装置2的模拟成像信号转换为数字形式之后,通过一些处理步骤将信号送入图5的PRE块41,然后将其送入降噪(NR)块54。在NR块54中,首先将成像信号送入图7所示的分离部分541。分离部分541与高速时钟信号同步地操作以顺序地将输入数字成像信号的像素值指定到4通道输出。将A、R、G和B像素值经由同步部分542从四通道输出送入累加块58。
如图7所示,累加块58配备有分别与四个通道对应的四个分离的累加部分58A、58R、58G和58B。每一个累加部分具有加法器581和延迟装置(如闩锁电路582)。可以将来自同步部分542的像素值送入加法器582的一个输入端。加法器581的输出与闩锁电路582的输入连接。闩锁电路582的输出与加法器581的另一输入端连接。
累加部分的加法器581由高速时钟信号同步。在与分别施加像素值和下一像素值的时间瞬间之间的间隔对应的时间段期间,闩锁电路582保存相同的数据。因此,在每一个加法器581中累加像素值。在下一输入瞬间,加上下一像素值用于累加。在给定时间段(如一帧时间段)期间执行该操作。结果,接收A像素值的累加部分58A产生“A(W+IR)累加值∑A”。类似地,接收R像素值的累加部分58R产生“R累加值∑R”。接收G像素值的累加部分58G产生“G累加值∑G”。接收B像素值的累加部分58B产生“B累加值∑B”。
图6所示的增益调整部分4A包括微型计算机10的一些功能,并基于四个累加值(在下文中称为累加值∑)计算参数K。参数K是根据可见光分量与近红外光分量之间的相对量值而变化的系数。微型计算机10根据以下等式(1-1)或(1-2)计算参数K。微型计算机10与本发明的“控制器”的一种形式对应。注意,等式(1-1)和(1-2)仅仅示出示例。可以将任何变量用作参数K,只要所述变量根据所捕获图像的可见光分量与近红外光分量之间的相对量值而变化即可。
K=∑A-α*∑R-β*∑G-γ*∑B...(1-1)
其中符号α,β和γ指示分别对于各个颜色的校正系数。符号假定为小于1的任意值。
这些等式的意义如下:
通过累加在一帧图像中从A像素(见图4A和4B)输出的A像素数据来获得A(W+IR)累加值∑A。该累加值将以对应于包含可见光分量和近红外光分量两者的成像信号的方式指示在成像屏幕上显示的整个图像的亮度。同时,通过累加在一帧图像中从R像素输出的R像素数据来获得R累加值∑R,并指示R可见光分量的量值。类似地,G累加值∑G指示G可见光分量的量值。B累加值∑B指示B可见光分量的量值。因此,(∑A+∑G+∑B)指示可见光分量的量值。假定白(W)电平,即W可见光分量的量值是∑W,则一般存在以下关系:
(∑A+∑G+∑B)=∑W
如果在一帧图像中取得的近红外光分量之和是∑R,并且如果校正系数满足关系:α,β和γ<1,则以上等式(1-1)可以修改为:
K=η1*∑W+∑IR(η1<1)
此外,上述等式(1-2)可以修改为:
K=η2+∑IR/∑W(η2<1)
也就是说,两个等式指示根据可见光分量∑W和近红外光分量∑IR的量值而变化的参数K。两个等式均意味着当可见光分量∑IR的量值的比率增大时,参数K增大。
“∑A+∑G+∑B”与本发明的“从第一成像信号(R、G和B像素信号)的可见光分量获得的第一比较值”对应。“∑A”是“通过将与可见光分量(∑W)对应的近红外光分量(∑IR)加到等效于第一比较值“∑A+∑G+∑B”的第二成像信号(A像素信号)的可见光分量∑W而获得的第二比较值”。从以上等式(1-1)和(1-2)中很明显,参数K与第一比较值(∑A+∑G+∑B)和第二比较值(∑A)的量值相关。
如目前所述的那样,参数K的值的增大使第一和第二比较值之一与另一个的比率增大,反之亦然。
作为控制器的微型计算机10基于所计算的参数K,可调整地设置图3A或图6所示的增益放大器GA的最大增益值Gmax。
在图3B的图中示出用于该操作的一个示例。如之前所述的那样,意味着当参数K增大时,近红外光分量∑IR的比率增大。因此,微型计算机10将增益放大器设置在第一最大增益值Gmax1。相反,意味着当参数K减小时,近红外光分量∑IR的比率减小。微型计算机10将增益放大器GA设置在小于第一最大增益值Gmax1的第二最大增益值Gmax2。
优选地,将其中设置第一最大增益值Gmax1的区域R1设置得大于参数K的第一参考值P1。将其中设置第二最大增益值Gmax2的区域R2设置得小于参数K的第二参考值P2(P2<P1)。
更优选地,要设置的最大增益值Gmax在参数K的第一参考值P1和第二参考值P2之间的中间区域Rm从第一最大增益值Gmax1到第二最大增益值Gmax2线性变化或以阶梯方式变化。
如果没有形成中间区域Rm,则增益值可以在第一最大增益值Gmax1和第二最大增益值Gmax2之间晃动(flip)。通过线性或以阶梯方式变化最大增益值Gmax(如前所述),防止了最大增益值大大地变化或频繁地切换。因此,可以防止显示屏幕上的图像所感觉到的噪声迅速变化。
在仅需要防止最大增益值频繁切换的情况下,可以将滞后特性给予最大增益值Gmax。
另一方面,从作为图6所示的控制器的微型计算机10提供增益值G本身并且增益值G本身可以变化。
例如,将增益值G用于显示屏幕上图像的亮度的调整。例如,并非基于来自图6的OPD块44的亮度信息,而是基于来自累加块58的亮度信息(累加值∑)来提供自动曝光控制(AE)。此时,微型计算机10对于变亮的暗景物进行逆光补偿。微型计算机还进行与色温对应的亮度补偿,以便当由于光源的色温引起可见光分量的量很小时增亮显示屏幕上的整个图像。
用于如上所述的操作的一个示例如下。在显示屏幕上的整个图像的亮度充足但图像内的局部点亮度不足的情况下,微型计算机10参照在例如非易失性存储器11中保存的逆光校正表,并读出合适的增益值G。此外,微型计算机10根据指示近红外光分量∑IR的相对量值的参数K的值,通过参照在例如非易失性存储器11中保存的色温亮度校正表来读出合适的亮度校正表。
将增益放大器GA设置为在微型计算机10的控制之下读出的增益值G。例如,只要关于显示屏幕上图像的亮度信息变化,则重复包括读取合适的增益值G和重置(更新)增益放大器GA的增益值G的操作序列。
在以这种方式动态地控制增益的情况下,例如,使用作为最小单元的一帧图像动态地重复例如如图3B所示的最大增益值Gmax的重置控制。
在本实施例中,动态地控制最大增益值Gmax,这是因为该值与降噪密切相关。
首先简要描述使用交叉双向滤波器的降噪。所述降噪包括根据本发明的一个实施例的降噪方法的一个示例。然后,将描述降噪和最大增益值控制之间的关系。
[包括降噪方法的降噪]
图8是图解在捕获图像的步骤之后执行的处理的流程图。所述处理示意性地图解边缘判决和降噪。
在图8的步骤STO,由在相同的像素单元中包括A、R、G和B的颜色像素的成像装置2成像景物。
然后,由图1所示的模数转换器(ADC)5将所获得的模拟成像信号转换为数字形式(步骤ST1)。接着,由图6所示的A去马赛克部分543和RGB去马赛克部分545执行去马赛克(步骤ST2)。为了画图的方便起见,在图中省略了由AFE电路3执行模拟前端(AFE)处理、由分离部分541的分离、由同步部分542执行的同步以及其他处理。
在步骤ST3,由图6所示的边缘信息获取部分4C获取边缘信息。然后,在步骤ST4,执行滤波。步骤ST4的滤波包括边缘判决(步骤ST41)、LPF系数的设置(步骤ST42)以及滤波(步骤ST43)。
与步骤ST3的开始同时,开始步骤ST5的增益调整。首先,描述步骤ST3和ST4。
例如在边缘信息获取部分4C中包括的差分计算器(未示出)(如减法器)在微型计算机10的控制之下执行边缘信息的获取(步骤ST3)。
可以由微型计算机10本身来执行差值的计算。在计算依赖于硬件的情况下,可以要求差分值计算电路。差分值计算电路计算目标A像素At的像素值与相邻A像素Ap的像素值之间的差值D,所述相邻A像素Ap在例如包括目标A像素At的3×3像素的相邻像素的范围内位于目标A像素At周围,如图8的经去马赛克的A图像AD所示。
除了与经去马赛克的3×3范围的相邻像素对应的经去马赛克A图像AD之外,在图8中示出了与3×3经去马赛克的A图像AD对应的经去马赛克的R、G和B图像RD、GD和BD。
3×3经去马赛克的R图像RD的中心像素是目标R像素Rt。类似地,3×3经去马赛克的G图像GD的中心像素是目标G像素Gt。3×3经去马赛克的B图像BD的中心像素是目标B像素Bt。
这四个目标像素一般通常在时钟信号规定的同一时间瞬间、在成像装置2的像素阵列中的图4A或4B所示的相同像素单元内获得。当所处理的对象顺序地变化时,例如,在水平方向上将四个目标像素顺序地移动一个像素间隔。相应地,对于每一种颜色在相同的方向中将3×3相邻像素的范围移动一个像素间隔。
差分值计算电路以所示的8种方向计算经去马赛克的A图像AD中的差值diff(px,py)。坐标(px,py)表示所示采用的(x,y)绝对位置坐标系内的局部相对坐标,所述坐标系与显示屏幕上图像中的像素地址对应。坐标(px,py)指示经去马赛克的A图像AD内相对于目标A像素At的每一个位置。一个像素间隔的距离由1指示。
当经去马赛克的A图像AD的中心像素(目标A像素At)根据绝对位置坐标由A0(x,y)指示时,相邻像素可以由Ap(x-xp,y-yp)指示。它们的差值的计算导致diff(px,py)。
8种差值的计算导致所示的差值阵列(数值矩阵)。将所获得的边缘信息ED(差值阵列)从边缘信息获取部分4C发送到降噪部分4B,其中将所述信息经历滤波操作。
图9是概念性地图解在上述滤光操作中所包括的边缘判决(步骤ST41)和滤波(ST43)的图。图10是概念性地图解在滤波操作(ST42)中滤波和LPF系数的设置的图。
如图9和10所示,降噪部分4B并入用于交叉双向滤波器的边缘判决部分544、滤波器部分546以及滤波器系数设置部分547。
边缘判决部分544可以由专用硬件组成。可替代地,处理顺序可以由微型计算机10载入的软件实现。滤波器部分546由包括X方向滤波部分和Y方向滤波部分的硬件单元组成。这些X方向滤波器和Y方向滤波器中的每一个均包括移位寄存器、加法器和乘法器。滤波器设置部分547操作以便从例如非易失性存储器11中读取基本滤波器系数组并修改该组。该处理序列由微型计算机10载入的软件实现。
在滤波器系数设置时(步骤ST42),作为由微型计算机10组成的滤波器设置部分547从例如非易失性存储器11中读取基本LPF系数W0。如果边缘判决部分544确定存在边缘,则滤波器设置部分547在对应的位置修改所读取的基本LPF系数W0。
具体地,如图10所示,在做出“存在边缘”的决定的位置,降低基本LPF系数W0,并计算X方向中所修改的LPF系数W(x,px)。由所计算出的LPF系数W(x,px)代替基本LPF系数W0的对应部分。类似地,计算Y方向中LPF系数W(y,py)。由所计算出的LPF系数W(y,py)代替基本LPF系数W0的对应部分。
LPF系数降低的比率可以由滤波器设置部分547在之前确定。根据差分值的量值可以动态地控制所述系数。
例如在X方向中得出LPF系数的方法的一个示例由以下公式(2)表示。通过将等式(2)的“x”代替为“y”来获得Y方向中的计算公式。在所述等式中,根据离差(dispersion)(σ2)来统一地确定降低系数的方式。
其中edge(x)指示A像素数据中X方向中每一个灰度电平值(见图9和10)。
滤波器部分546执行图8的滤波操作(步骤ST43)。例如,在X方向滤波操作中,接收R、G和B像素数据(输入in(x)),并如图9所示产生输出out(x)。由于到滤波器部分546的输入in(x)是在由图6所示的增益放大器GA进行的增益调整之后获得的R像素数据、G像素数据和B像素数据中的任意一个,所以噪声电平是高。边缘灰度电平差值被噪声混淆。
另一方面,A像素数据包含W像素数据(等效于R、G和B像素数据之和)和近红外光分量IR。因此,A像素数据最初是大量数据。不需要调整增益。因此,如图9所示,S/N高,且边缘灰度电平差值清楚。以与到Y方向滤波器的输入in(y)和A像素数据中的Y方向灰度电平值edge(y)相同的方式,边缘通过输入到滤波器而混淆但在A图像中清楚。这是为什么在设置LPF系数时使用A像素信号数据的原因。可以从等式(2)中看出,关于A像素信号数据的差分值信息反映在LPF系数W中由虚线指示的部分中。
滤波器部分546是用于通过使用滤波器设置部分547设置的滤波器系数(权重系数)将权重附到输入in(x)或in(y)的目标像素值以及双向(即X和Y方向)中每一种颜色的相邻8个像素值,来变化并输出目标像素值的灰度电平值的电路。例如在X方向,由滤波器部分546执行的处理数学地由等式(3)给出。Y方向中的公式通过将等式(3)的“x”替换为“y”而获得。
此时,滤波部分546将目标像素移动到下一相邻像素位置。只要修改目标像素,则滤波部分重新计算LPF系数,执行移位,并影响进行滤波。目标像素的变化完全与边缘信息获取部分4C的操作同步。在以目标像素为中心的相邻像素范围内执行由以上等式(3)表示的滤波。当完成滤波时,将目标像素移动到下一像素位置。对于经修改的目标像素和相邻8个像素执行类似的处理。
图8概念性地图解基本LPF系数W0的数值。在图8中,为了系数的描绘方便起见,由不同于实际系数电平的相对大的整数值指示数值。
在系数“1”、“3”和“1”以一列的方向(以所显示像素的垂直方向)排列的情况下,如果将该列以相邻列之间的几乎中间的位置判断为边缘的中心,则降低系数1、3和1。为了说明方便起见,例如,将系数乘以因数0.2。由此,修改系数以便使边缘更加清楚。以这种方式使用经修改的LPF系数组执行滤波操作。
使用普通二维滤波器(双向滤波器),如果执行滤波,则边缘信息扩散到相邻像素。
另一方面,在根据本实施例的交叉双向滤波器中,使用A像素信号数据以保留每一个边缘的陡度。部分地修改用于去噪的基本LPF系数。如果修改经优化的LPF系数用于去噪,则去噪的能力劣化。仅在显示屏幕上的整个图像中局部地检测边缘。因此,除非以这种方式在判断边缘出现的位置应用强降噪,否则可以充分地实现全面降噪。
在以像素信号进入的顺序(即扫描顺序)变化目标像素的同时,对于一种颜色重复迄今描述的所执行的处理。在颜色图像中,保留颜色信息。图像接近如图9和10中X方向中输出out(x)所示的A像素分布。也就是说,将轻度变化(mild variation)作为颜色信息保留。然而,平滑掉了(smooth out)突然或随机变化。结果,降低了噪声分量(即去除或抑制)。
将相同的原则应用于Y方向和其他剩余的两种颜色。
将经历降噪的R、G和B信号(即经去马赛克的R、G和B图像RD、GD和BD的信号)从降噪部分4B发送组合部分4D。
另一方面,将边缘纹理信息ET从边缘信息获取部分4C输出到组合部分4D。与边缘纹理信息ET对应的一些经去马赛克的R、G和B图像RD、GD和BD由边缘纹理信息ET代替,由此执行图像组合。
将在图像组合之后获得的R、G和B图像输出到C块43。将经去马赛克的A图像AD输出到Y块42。
图8图解在图像组合之后执行的处理。如图所示,可以首先将通过图像组合获得的图像进行白平衡和伽玛(γ)校正。可以将经伽玛校正的R、G和B图像输出到如图5所示用于Y处理的Y块42以及用于C处理的C块43。
图11是特别地图解增益调整(步骤ST5)的流程图。在由成像装置捕获图像之后执行给定处理(步骤ST0)。首先执行包括分离、同步和RGB去马赛克的步骤ST3的给定处理子步骤。将处理子步骤共同地由图11的ST30指示。然后,开始步骤ST5。
在步骤ST51,在所分离的成像信号之外,将通过从要对其调整增益的R、G和B信号去马赛克而获得的经去马赛克的R、G和B图像RD、GD和BD的信号施加到增益调整部分4A。
在以下步骤ST52中,设置最大增益值Gmax。特别地,图6的累加块58通过由图7所示的电路配置、例如在对于每一种颜色A、R、G和B的一帧图像中累积地求和像素值来得出(find)A(W+IR)累加值∑A、R累加值∑R、G累加值∑G和B累加值∑B。
作为控制器的微型计算机10例如使用诸如上述等式(1-1)或(1-2)之类的给定公式从这些累加值中计算参数K。通过参照例如如图3B所示的给定关系来得出合适的最大增益值Gmax。将图3B的关系作为表存储在例如非易失性存储器11中。微型计算机10通过参照所述表来确定与所发现的参数K对应的最大增益值Gmax。微型计算机10将所获得的最大增益值Gmax作为图6的增益放大器GA的增益的上限给出。
在图11所示的步骤ST53的增益调整中,执行前述自动曝光控制(AE)。将与显示屏幕上图像的亮度对应的增益值G从微型计算机10给到增益放大器GA。对由增益放大器GA的输入信号以给定最大增益值Gmax进行包括正常放大和削减的增益调整。在增益调整之后,将R、G和B信号从增益放大器GA输出到用于在步骤ST43滤波的降噪部分4B。
如目前所述的那样,在本实施例中,例如,在降噪滤波之前进行的增益调整(ST5)期间,参数K的量值确定R、G和B信号(第二成像信号)中所包含的近红外光分量的量是大或小(步骤ST43)。在增益调整期间,根据参数K的量值来设置或限制最大增益值Gmax。在本实施例中,根据参数K(图3B),可以将最大增益值Gmax变化到不同的值。
在降噪滤波期间(步骤ST43),存在由于输入动态范围而引起的降噪的限制。如果超过了限制,则输出图像(来自图9和10的滤波器部分546的输出out)中的噪声显著增大。限制根据噪声电平以及到滤波器部分546的输入in的信号电平而变化。当从成像装置到降噪级的信号处理的增益增大时,信号中所包含的噪声电平增大。然而,一般来说,通过在装置内部执行的信号处理将由成像装置产生的噪声抑制到一定程度。因此,在由存在于从成像装置到降噪级的路径中的放大器(如增益放大器GA)产生的噪声主要支配确定在降噪中的限制的噪声电平。
也就是说,降噪中的限制(超过所述限制则噪声电平显著增大)与实际上经历降噪的信号电平以及当将信号调整到那个信号电平时的增益相关。
在本实施例的照相机装置(视频输入处理器)中,将成像信号产生部分(以信号输入的顺序在增益调整部分4A之前的配置)设计为能够产生包含可见光分量的R、G和B图像(第一成像信号)以及包括近红外光分量的A图像(第二成像信号)。如果在第一成像信号(R、G和B信号)的可见光分量(∑(R+G+B)≈∑W)与第二成像信号(A信号)的近红外光分量(∑IR)之间的相对量值是已知的,则可以预测降噪中的限制(超过所述限制则噪声显著增大)的相对量值。增益调整部分4A可以计算光分量的相对量值,例如作为参数K。结果,可以可调整地设置最大增益值Gmax,以便不超过降噪能力中的限制。
由于目前所述的配置,如果发生环境变化,如当成像景物时所使用的光源变为不同或者光源的色温变化时,则在降噪期间不损害降噪能力。因此,降噪保证总是输出高质量图像。
提取边缘部分的细节图像作为边缘纹理信息ET并同步。因此,在降噪在边缘部分不产生有益效果(fruitful effect)的情况下或由于滤波使得颜色不同的情况下,可以保留初始噪声电平和颜色信息。
作为本发明的修改,在照相机装置的前表面上安装作为近红外光发射部分的红外线灯15,其中如图12所示也安装光学元件1,所述前表面朝向景物。
当增益调整部分4A已经确定近红外光分量(∑IR)的电平低于给定参考电平时,例如,在微型计算机10的控制下,点亮红外线灯15。
因此,在不提供充分量的近红外光的光源之下,可以增大从景物入射到成像装置2的光量本身。结果,可以获得稳定图像质量的高敏感度图像,这是因为没有执行依赖于具有低S/N比的图像的不合理处理。
根据目前所述的本实施例,可以有效地防止前述问题(即,根据所包含的红外光分量的比例降噪能力变得不同,而且有时超过了降噪的限制,产生带噪输出图像)。此外,通过利用所做出的关于近红外光分量的电平是否充足决定的结果,增大了近红外光的量。因此,获得了高敏感度图像。因此,可以合理地执行降噪。
本领域的技术人员应该理解,根据设计要求和其他因素,可以出现各种修改、组合、子组合以及变更,只要它们在所附权利要求或其等价物的范围内即可。
Claims (11)
1.一种视频输入处理器,包括:
成像信号产生部分,被配置为成像景物,并产生包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号;
增益调整部分,被配置为根据该可见光分量与该近红外光分量之间的相对量值来可调整地设置最大增益值,并将用于该第一成像信号的增益调整在所设置的最大增益值;以及
降噪部分,被配置为在已经调整该增益之后降低该第一成像信号中的噪声,
其中该增益调整部分计算与第一比较值和第二比较值之间的相对量值相关的参数,并基于该参数的量值可调整地设置最大增益值,其中,基于来自成像信号产生部分的第一和第二成像信号从第一成像信号的可见光分量获得该第一比较值,并通过将与第二成像信号的可见光分量对应的近红外光分量加到等效于该第一比较值的第二成像信号的可见光分量来获得该第二比较值。
2.根据权利要求1所述的视频输入处理器,其中该第二成像信号包括等效于该第一成像信号的可见光分量的可见光分量以及与从景物发出的近红外光的量对应的近红外光分量。
3.根据权利要求1所述的视频输入处理器,其中该增益调整部分在该参数超过第一参考值并且包含相对大量的近红外光分量的区域中设置第一最大增益值,在该参数小于第二参考值并且包含相对少量的近红外光分量的区域中设置小于该第一最大增益值的第二最大增益值,并且在该参数小于该第一参考值但大于该第二参考值的区域中从该第一最大增益值到该第二最大增益值线性地或以阶梯方式变化要设置的最大增益值。
4.根据权利要求2和3中任意一项所述的视频输入处理器,其中该增益调整部分具有:
多个累加部分,被配置为在给定时间段中,计算该第一成像信号的可见光分量与该第二成像信号的近红外光分量的累加值;
可变增益放大器,被配置为接收该第一成像信号,并对于所接收到的第一成像信号调整增益;以及
控制器,被配置为从由该累加部分获得的多个累加值计算参数,并基于该参数的量值,可调整地设置该可变增益放大器的最大增益值。
5.根据权利要求4所述的视频输入处理器,其中该多个累加部分包括曝光累加部分,所述曝光累加部分能够在给定数目的图像帧中累加可见光分量的量值和近红外光分量的量值之和,并检测成像装置的显示屏幕上图像的亮度,所述和与从景物发出的光对应,并且其中该控制器根据来自该曝光累加部分的累加值控制该可变增益放大器的增益值。
6.根据权利要求1所述的视频输入处理器,进一步包括边缘信息获取部分,所述边缘信息获取部分被配置为从该第二成像信号获取边缘信息,并且其中该降噪部分对于每一种颜色降低该第一成像信号中的噪声,同时保留在基于该边缘信息识别的图像位置处的边缘信息。
7.根据权利要求1所述的视频输入处理器,进一步包括近红外光发射部分,所述近红外光发射部分被配置为当该增益调整部分已经确定该近红外光分量的量小于给定参考电平时,使用给定量的近红外光照射景物。
8.一种用于接收包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号并降低该第一成像信号中的噪声的成像信号处理电路,该成像信号处理电路包括:
增益调整部分,被配置为根据该可见光分量与该近红外光分量之间的相对量值来可调整地设置最大增益值,并将用于该第一成像信号的增益调整在该所设置的最大增益值;以及
降噪部分,被配置为在对于每一种颜色增益调整之后,降低该第一成像信号中的噪声,
其中该增益调整部分计算与第一比较值和第二比较值之间的相对量值相关的参数,并基于该参数的量值可调整地设置最大增益值,其中,基于来自成像信号产生部分的第一和第二成像信号从第一成像信号的可见光分量获得该第一比较值,并通过将与第二成像信号的可见光分量对应的近红外光分量加到等效于该第一比较值的第二成像信号的可见光分量来获得该第二比较值。
9.一种降低成像信号中的噪声的方法,包括步骤:
获取包含可见光分量的第一成像信号以及包含近红外光分量的第二成像信号;
根据该可见光分量与该近红外光分量之间的相对量值可调整地设置最大增益值;
将用于该第一成像信号的增益调整在该所设置的最大增益值;以及
在该增益调整之后,降低该第一成像信号中的噪声,
其中所述根据相对量值可调整地设置最大增益值的步骤包括:
计算与第一比较值和第二比较值之间的相对量值相关的参数,其中,基于来自成像信号产生部分的第一和第二成像信号从第一成像信号的可见光分量获得该第一比较值,并通过将与第二成像信号的可见光分量对应的近红外光分量加到等效于该第一比较值的第二成像信号的可见光分量来获得该第二比较值;以及
基于该参数的量值可调整地设置最大增益值。
10.根据权利要求9所述的降低成像信号中的噪声的方法,进一步包括步骤:当确定该近红外光分量的电平小于给定参考电平时,使用给定量的近红外光照射景物。
11.一种电子装置,包括:
成像信号产生部分,被配置为成像景物,并产生包含可见光分量的第一成像信号和包含近红外光分量的第二成像信号;
增益调整部分,被配置为根据该可见光分量与该近红外光分量之间的相对量值可调整地设置最大增益值,并将用于该第一成像信号的增益调整在该所设置的最大增益值;
降噪部分,被配置为在该增益调整之后,降低该第一成像信号中的噪声;以及
控制器,被配置为产生用于控制该增益调整部分的控制信号,
其中该增益调整部分计算与第一比较值和第二比较值之间的相对量值相关的参数,并基于该参数的量值可调整地设置最大增益值,其中,基于来自成像信号产生部分的第一和第二成像信号从第一成像信号的可见光分量获得该第一比较值,并通过将与第二成像信号的可见光分量对应的近红外光分量加到等效于该第一比较值的第二成像信号的可见光分量来获得该第二比较值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007131557A JP4341695B2 (ja) | 2007-05-17 | 2007-05-17 | 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法 |
JP131557/07 | 2007-05-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101309360A CN101309360A (zh) | 2008-11-19 |
CN101309360B true CN101309360B (zh) | 2010-12-15 |
Family
ID=40027081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100971537A Expired - Fee Related CN101309360B (zh) | 2007-05-17 | 2008-05-19 | 视频输入处理器、成像信号处理电路和降低噪声的方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8054346B2 (zh) |
JP (1) | JP4341695B2 (zh) |
KR (1) | KR20080101774A (zh) |
CN (1) | CN101309360B (zh) |
TW (1) | TW200849978A (zh) |
Families Citing this family (142)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008306512A (ja) * | 2007-06-08 | 2008-12-18 | Nec Corp | 情報提供システム |
JP4682181B2 (ja) * | 2007-11-19 | 2011-05-11 | シャープ株式会社 | 撮像装置および電子情報機器 |
JP5175783B2 (ja) * | 2008-04-09 | 2013-04-03 | 富士フイルム株式会社 | 撮像装置及び撮像装置の駆動方法 |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
EP4336447A1 (en) | 2008-05-20 | 2024-03-13 | FotoNation Limited | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
JP5098908B2 (ja) * | 2008-09-08 | 2012-12-12 | コニカミノルタアドバンストレイヤー株式会社 | 画像入力装置 |
US8860838B2 (en) * | 2008-09-24 | 2014-10-14 | Nikon Corporation | Automatic illuminant estimation and white balance adjustment based on color gamut unions |
KR101563348B1 (ko) * | 2008-10-07 | 2015-10-27 | 삼성전자 주식회사 | 영상의 노이즈를 저감하는 영상 처리 장치 및 방법 |
US20100157079A1 (en) | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | System and method to selectively combine images |
US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
US9843742B2 (en) * | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
KR101709348B1 (ko) * | 2009-05-08 | 2017-02-23 | 삼성전자주식회사 | 가시광통신 시스템에서 데이터 전송량에 따른 가시적인 신호 생성 장치 및 방법 |
US9948392B2 (en) | 2009-05-08 | 2018-04-17 | Samsung Electronics Co., Ltd | Apparatus and method for generating visible signal according to amount of data transmission in visible light communication system |
US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
TWI424295B (zh) * | 2009-06-03 | 2014-01-21 | Innolux Corp | 感測裝置以及電子設備 |
JP5152114B2 (ja) * | 2009-06-30 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム |
JP2011029810A (ja) * | 2009-07-23 | 2011-02-10 | Sony Ericsson Mobile Communications Ab | 撮像装置、撮像方法、撮像制御プログラム、及び携帯端末装置 |
JP5454075B2 (ja) | 2009-10-20 | 2014-03-26 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
JP5848754B2 (ja) | 2010-05-12 | 2016-01-27 | ペリカン イメージング コーポレイション | 撮像装置アレイおよびアレイカメラのためのアーキテクチャ |
CN102377937B (zh) * | 2010-08-04 | 2015-07-15 | 株式会社日立国际电气 | 摄像装置 |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
US8780161B2 (en) * | 2011-03-01 | 2014-07-15 | Hewlett-Packard Development Company, L.P. | System and method for modifying images |
US8417047B2 (en) * | 2011-03-01 | 2013-04-09 | Microsoft Corporation | Noise suppression in low light images |
JP5713816B2 (ja) | 2011-03-16 | 2015-05-07 | 株式会社東芝 | 固体撮像装置及びカメラモジュール |
EP2708019B1 (en) | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
CA2838992C (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
WO2012170954A2 (en) | 2011-06-10 | 2012-12-13 | Flir Systems, Inc. | Line based image processing and flexible memory system |
US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
CN109618084B (zh) | 2011-06-10 | 2021-03-05 | 菲力尔系统公司 | 红外成像系统和方法 |
US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
TWI455570B (zh) * | 2011-06-21 | 2014-10-01 | Himax Imaging Inc | 彩色內插系統及方法 |
US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
US8483516B2 (en) * | 2011-08-16 | 2013-07-09 | National Taiwan University | Super resolution system and method with database-free texture synthesis |
TWI470580B (zh) * | 2011-09-01 | 2015-01-21 | Univ Nat Taiwan | 無資料庫之紋理合成的超解析度系統及方法 |
US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
IN2014CN02708A (zh) | 2011-09-28 | 2015-08-07 | Pelican Imaging Corp | |
JP5948073B2 (ja) * | 2012-02-08 | 2016-07-06 | 株式会社 日立産業制御ソリューションズ | 画像信号処理装置、画像信号処理方法 |
EP2817955B1 (en) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
JP2015534734A (ja) | 2012-06-28 | 2015-12-03 | ペリカン イメージング コーポレイション | 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
SG11201500910RA (en) | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
WO2014032020A2 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
JP6055681B2 (ja) * | 2013-01-10 | 2016-12-27 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
US9462164B2 (en) | 2013-02-21 | 2016-10-04 | Pelican Imaging Corporation | Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information |
US9253380B2 (en) | 2013-02-24 | 2016-02-02 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
WO2014138695A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for measuring scene information while capturing images using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
US9497429B2 (en) * | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
EP2973476A4 (en) | 2013-03-15 | 2017-01-18 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
CN104113744B (zh) * | 2013-04-18 | 2018-01-19 | 深圳中兴力维技术有限公司 | 全天候彩色摄像机白平衡处理方法及装置 |
JP2014216734A (ja) * | 2013-04-24 | 2014-11-17 | 日立マクセル株式会社 | 撮像装置及び撮像システム |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
EP3061398B1 (en) * | 2013-10-21 | 2020-09-23 | Canon Kabushiki Kaisha | Radiographic imaging device and method for controlling same, radiographic image processing device and method, and program and computer-readable storage medium |
CN103605955A (zh) * | 2013-11-01 | 2014-02-26 | 武汉虹识技术有限公司 | 一种基于单传感器及光学滤波的图像捕捉装置 |
US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
WO2015081279A1 (en) | 2013-11-26 | 2015-06-04 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
CN105450909B (zh) * | 2014-06-27 | 2019-12-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
JP2016025439A (ja) * | 2014-07-18 | 2016-02-08 | ソニー株式会社 | 信号処理装置 |
EP3467776A1 (en) | 2014-09-29 | 2019-04-10 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
JP2016213628A (ja) * | 2015-05-07 | 2016-12-15 | ソニー株式会社 | 撮像装置、撮像方法、およびプログラム、並びに画像処理装置 |
CN106488201B (zh) | 2015-08-28 | 2020-05-01 | 杭州海康威视数字技术股份有限公司 | 一种图像信号的处理方法和系统 |
JP2017118254A (ja) * | 2015-12-22 | 2017-06-29 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
WO2017149932A1 (ja) * | 2016-03-03 | 2017-09-08 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
JP2017224971A (ja) * | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
EP3497928B1 (en) * | 2016-08-31 | 2020-11-18 | Huawei Technologies Co., Ltd. | Multi camera system for zoom |
CN107918929B (zh) * | 2016-10-08 | 2019-06-21 | 杭州海康威视数字技术股份有限公司 | 一种图像融合方法、装置及系统 |
US10540756B2 (en) | 2017-01-19 | 2020-01-21 | Magna Electronics Inc. | Vehicle vision system with lens shading correction |
US10368063B2 (en) * | 2017-04-17 | 2019-07-30 | Magna Electronics Inc. | Optical test device for a vehicle camera and testing method |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
US11389066B2 (en) | 2019-06-20 | 2022-07-19 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
US12013496B2 (en) | 2019-06-20 | 2024-06-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed laser mapping imaging system |
US11471055B2 (en) | 2019-06-20 | 2022-10-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11925328B2 (en) | 2019-06-20 | 2024-03-12 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
US11540696B2 (en) * | 2019-06-20 | 2023-01-03 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11898909B2 (en) * | 2019-06-20 | 2024-02-13 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
MX2022003020A (es) | 2019-09-17 | 2022-06-14 | Boston Polarimetrics Inc | Sistemas y metodos para modelado de superficie usando se?ales de polarizacion. |
CA3157197A1 (en) | 2019-10-07 | 2021-04-15 | Boston Polarimetrics, Inc. | Systems and methods for surface normals sensing with polarization |
KR102558903B1 (ko) | 2019-11-30 | 2023-07-24 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
JP7462769B2 (ja) | 2020-01-29 | 2024-04-05 | イントリンジック イノベーション エルエルシー | 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法 |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
CN113473101B (zh) * | 2020-03-30 | 2023-06-30 | 浙江宇视科技有限公司 | 一种色彩校正方法、装置、电子设备和存储介质 |
CN111343398B (zh) * | 2020-04-09 | 2021-10-26 | 电子科技大学 | 基于动态视觉传感技术的cmos感存算一体电路结构 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US11568526B2 (en) | 2020-09-04 | 2023-01-31 | Altek Semiconductor Corp. | Dual sensor imaging system and imaging method thereof |
CN112799541B (zh) * | 2021-03-02 | 2023-09-26 | 深圳市华星光电半导体显示技术有限公司 | 显示面板的驱动电路及驱动方法 |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
DE102021111639A1 (de) * | 2021-05-05 | 2022-11-10 | Sick Ag | Kamera und Verfahren zur Erfassung von Bilddaten |
CN113286094B (zh) * | 2021-05-27 | 2022-06-24 | 重庆紫光华山智安科技有限公司 | 图像自动曝光方法、装置、设备及介质 |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4288544B2 (ja) | 1999-09-08 | 2009-07-01 | ソニー株式会社 | 撮像装置 |
JP2002374539A (ja) | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | ホワイトバランス補正可能なカメラ |
JP2004032243A (ja) | 2002-06-25 | 2004-01-29 | Sanyo Electric Co Ltd | 撮像装置および光学フィルタ |
JP4311988B2 (ja) | 2003-06-12 | 2009-08-12 | アキュートロジック株式会社 | 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置 |
JP3966866B2 (ja) | 2004-04-13 | 2007-08-29 | 三菱電機株式会社 | 撮像装置、カメラ、及び信号処理方法 |
JP4534756B2 (ja) | 2004-12-22 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体 |
-
2007
- 2007-05-17 JP JP2007131557A patent/JP4341695B2/ja not_active Expired - Fee Related
-
2008
- 2008-04-07 TW TW097112540A patent/TW200849978A/zh unknown
- 2008-04-17 US US12/081,542 patent/US8054346B2/en not_active Expired - Fee Related
- 2008-05-16 KR KR1020080045551A patent/KR20080101774A/ko not_active Application Discontinuation
- 2008-05-19 CN CN2008100971537A patent/CN101309360B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
TW200849978A (en) | 2008-12-16 |
US20080284880A1 (en) | 2008-11-20 |
CN101309360A (zh) | 2008-11-19 |
JP2008288851A (ja) | 2008-11-27 |
JP4341695B2 (ja) | 2009-10-07 |
US8054346B2 (en) | 2011-11-08 |
KR20080101774A (ko) | 2008-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101309360B (zh) | 视频输入处理器、成像信号处理电路和降低噪声的方法 | |
US8125543B2 (en) | Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection | |
US8023014B2 (en) | Method and apparatus for compensating image sensor lens shading | |
JP6291048B2 (ja) | 撮像処理装置および撮像処理方法 | |
CN103477626B (zh) | 图像处理设备以及图像处理方法 | |
CN102754443B (zh) | 图像处理设备和图像处理方法 | |
CN101983510B (zh) | 自适应局部白平衡调节的系统与方法 | |
CN105847772A (zh) | 具有透明滤波器像素的成像系统 | |
JP3153147B2 (ja) | 撮像装置 | |
US20090190853A1 (en) | Image noise reduction apparatus and method, recorded medium recorded the program performing it | |
US8184905B2 (en) | Apparatus for color interpolation using adjustable threshold | |
CN101494795B (zh) | 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 | |
US8564688B2 (en) | Methods, systems and apparatuses for white balance calibration | |
US20180338096A1 (en) | Image processing appartatus | |
US8111301B2 (en) | Method of performing auto white balance in YCbCr color space | |
CN106358030A (zh) | 图像处理装置和图像处理方法 | |
EP1182891A2 (en) | Color separation circuit in a color camera | |
US7995120B2 (en) | Image brightness compensating apparatus and method, recorded medium recorded the program performing it | |
CN114866754A (zh) | 自动白平衡方法、装置及计算机可读存储介质和电子设备 | |
JP2007202128A (ja) | 撮像装置および画像データ補正方法 | |
JP5034665B2 (ja) | 画像入力処理装置、画素信号処理回路、および、エッジ検出方法 | |
CN100464568C (zh) | 影像处理系统 | |
CN116847211A (zh) | 一种颜色滤波阵列及插值方法 | |
CN104301586A (zh) | 根据图像数据生成亮度信号的设备和方法 | |
JP2004222161A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101215 Termination date: 20120519 |