CN102696228B - 成像设备和混色校正方法 - Google Patents
成像设备和混色校正方法 Download PDFInfo
- Publication number
- CN102696228B CN102696228B CN201180005240.5A CN201180005240A CN102696228B CN 102696228 B CN102696228 B CN 102696228B CN 201180005240 A CN201180005240 A CN 201180005240A CN 102696228 B CN102696228 B CN 102696228B
- Authority
- CN
- China
- Prior art keywords
- pixel
- photographed image
- image signal
- odd
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
公开了能够以高精度执行混色校正并且还能缩短校正处理的成像设备和混色校正方法。所述成像设备包括固态成像装置,其具有在半导体衬底的光接收面上以二维方式布置的多个像素,每一个偶数像素行相对于奇数像素行偏移1/2个像素间距,在奇数像素行的每一个像素上以Bayer布置方式布置了滤色器,并且在偶数像素行的每一个像素上以Bayer布置方式布置了滤色器。所述成像设备还包括成像装置驱动部分,其将奇数像素行的成像信号和偶数像素行的成像信号分成分离的帧从而读出所述成像信号。从所划分和所读出的一个奇数或偶数像素行成像信号中,针对关注像素的成像信号执行混色校正。通过使用关注像素周围的多个像素的成像信号来执行混色校正。在执行混色校正时,使用在一个奇数或偶数像素行中的倾斜方向上相邻的像素中具有相同颜色的滤色器的像素的成像信号,而不使用在所述多个像素中属于其它奇数或偶数行的成像信号。
Description
技术领域
本发明涉及结合了用于拍摄彩色图像的单板式固态成像装置的成像设备,以及混色校正方法。更具体地,本发明涉及成像设备和对相邻像素之间的混色进行校正的混色校正方法。
背景技术
在单板式固态成像装置中,在形成在同一光检测面上的各相邻像素上堆叠不同滤色器。因此,倾斜的入射光有可能造成混色。固态成像装置以以下方式构造:将与分别入射到多个光电二极管(像素)上的光束数量相对应的信号电荷存入各光电二极管中,所述多个光电二极管(像素)以二维阵列形式布置在半导体衬底上,并且将对应于所存储电荷量的信号作为拍摄图像信号读出。
在用于拍摄彩色图像的固态成像装置的情况下,在形成有光电二极管的半导体衬底上堆叠滤色器层,并且在滤色器层上提供用于将入射光会聚到光电二极管上的微透镜,以与各发光二极管对应。由于发光二极管与微透镜之间存在距离,因此如果入射光倾斜照射到光检测面上,则已通过红色滤色器的入射光例如会照射到与红色检测发光二极管相邻的蓝色或绿色检测发光二极管上,而没有照射到红色检测发光二极管上,这就造成了混色。如果在多个位置都出现了混色,则对象图像的色调会改变从而图像品质劣化。
具体地,在结合了具有小F值的摄影镜头的成像设备中,固态成像装置的光检测面上周边像素处出现的混色具有严重影响,这是因为对象光学图像以大的入射角照在这些像素上。近年来,称为背照式的固态成像装置已经被结合到了数码相机中。尽管依靠大的孔径比而具有高拍摄灵敏度,但是背照式固态成像装置在形成在半导体衬底背面侧的微透镜和滤色器层与形成在该半导体衬底正面侧的光电二极管之间具有相当大的距离,该距离是易于发生混色的结构。
下面的专利文献1公开了现有的用于校正混色的传统技术中的一种。在该传统混色校正技术中,在利用通过某一个关注像素周围的像素检测到的信号对该关注像素的检测信号执行校正处理的过程中,使用了多个校正参数,这些校正参数通过如下方式获得:考虑了位于对该关注像素具有较大影响的某一方向上的像素,即,该关注像素周围的四个像素各向同性地不影响该关注像素。
现有技术文献
专利文献
专利文献1:JP-A-142697
发明内容
本发明要解决的技术问题
混色校正与下列问题相关联:由于需要读取固态成像装置的每个像素的检测信号以及利用每个像素周围的各像素的检测信号进行校正处理而使处理花费很长时间。具体地,结合最新数码相机的固态成像装置的像素数量已经增加并且具有千万以上像素的固态成像装置目前也很普遍。因此,仅从固态成像装置读取拍摄图像信号的处理就要花费时间。除了在读取拍摄图像信号以后执行已知的图像处理(诸如γ校正处理、RGB/YC变换处理等)之外,在逐像素的基础上进行的混色校正进一步增加了处理时间。因此,从拍摄结束到在设置在相机背面的液晶显示单元上显示(预览显示)拍摄图像需要更长的时间。
本发明的一个目的在于提供能够缩短混色校正处理时间同时以高精度进行混色校正的成像设备和混色校正方法。
解决问题的手段
根据本发明的一种成像设备,其特征在于包括:固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行各像素上方以Bayer布置方式布置了滤色器,并且在偶数行各像素上方也以Bayer布置方式布置了滤色器;成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号以及偶数行像素的拍摄图像信号;以及混色校正部分,用于利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行中另一个的像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行中的所述另一个相邻的、且与所述奇数行和偶数行中的所述另一个的像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
一种对由成像设备拍摄而产生的拍摄图像信号执行的混色校正方法,所述成像设备包括:固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行各像素上方以Bayer布置方式布置了滤色器,并且在偶数行各像素上方也以Bayer布置方式布置了滤色器;成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号以及偶数行像素的拍摄图像信号,该方法的特征在于,利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行中另一个的像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行中的所述另一个相邻的、且与所述奇数行和偶数行中的所述另一个的像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
发明的技术效果
本发明使得能够在以高精度进行混色校正的同时缩短混色校正处理时间。
附图说明
图1示出了混色校正的概述;
图2示出了任何对固态成像装置的光检测面不同地执行混色校正;
图3示出了根据本发明实施例的成像设备的功能块构造图;
图4是图3所示的固态成像装置表面的示意图(滤色器布置示意图);
图5示出了长时间曝光和短时间曝光;
图6仅示出了图4所示的A平面像素;
图7示出了根据本发明实施例的分割读取的优点;
图8示出了校正表;
图9示出了稀疏读取和校正参数表之间的关系;
图10示出了剪切读取和校正参数表之间的关系。
具体实施方式
下面将参照附图描述本发明的实施例。在描述实施例之前,先概述混色校正。
图1示出了混色校正的概述。该图中示出了八个像素H0-H8。各像素的检测信号量也以H0-H8表示。即使这些像素接收相同亮度的光,它们的检测信号量也根据堆叠在各像素上的滤色器的颜色而不同。
下面实施例中将描述的固态成像装置具有称作蜂窝像素布置(图1的布置),这是因为偶数行上的像素从奇数行上的像素移动了半个像素间距。
从相邻的八个像素H1-H8中每一个泄露的光进入位于中心的关注像素H0,从而引起混色(图1中省略了滤色器;当相邻像素和关注像素的滤色器彼此不同时发生混色)。
假设从相邻像素Hi(i=1-8)向中心像素的漏光比率为ai%(i=1-8)。中心像素H0的检测信号量随着泄露进入光束而增加,并且信号量的增加量被看作与泄露进入光量成比例。
因此,由于从八个相邻像素H1-H8到关注像素H0的漏光量造成的错误检测信号量如下计算:
K=(H1×a1+H2×a2+H3×a3+H4×a4+H5×a5+H6×a6+H7×a7+H8×a8)。
即,在关注像素H0的检测量H0中,对应于泄露进入光束的检测量总计为K。关注像素H0的真实检测信号量为H0-K。通过执行该计算可以进行混色校正。
上述漏光比率ai(i=1-8)根据通过滤色器的光是红(R)光、绿(G)光、还是蓝(B)光而具有稍微不同的值,这是因为通过滤色器的光的波长范围不同。即,滤色器和光电二极管之间存在透明绝缘层并且其折射率根据进入的光的波长而自然改变。因此,确切的说,从像素H2例如向关注像素H0的漏光比率a2表达为a2(R)≠a2(G)≠a2(B)。
图2示出了固态成像装置的光检测面的有效像素区域。尽管来自摄影镜头(未示出)的入射光直射到光检测面1的中心,随着进入位置越靠近周边,入射光越倾斜地照射到光检测面1上。在对沿垂直方向位于光检测面1的中心上方的关注像素H0进行混色校正的情况下,入射光沿从像素H5到像素H0的方向进入(见图1)。因此认为从像素H5向关注像素H0的漏光比率a5最大,而(由于漫反射)从像素H1向关注像素H0的漏光比率a1最小。
在位于源自光检测面1的中心的左下方的位置3处,入射光沿从像素H2向关注像素H0的方向进入(见图1)。因此认为从相邻像素H2向关注像素H0的漏光比率a2最大,而从相邻像素H6向关注像素H0的漏光比率最小。
在比位置3更靠近周边的位置4处,入射光同样沿从像素H2向关注像素H0的方向进入(见图1)。因此认为从相邻像素H2向关注像素H0的漏光比率a2最大。然而,照射到位置4上的入射光的入射角大于照射到位置3上的入射光的入射角,即,入射光更倾斜地照射到位置4上。因此,漏光比率a2在位置4处比在位置3处大。
尽管光检测面1上每个位置处的漏光比率ai(i=1-8)的近似值根据固态成像装置的结构(是否存在内镜头、每个像素的尺寸、微透镜/滤色器和光电二极管之间的距离以及其他因素)而改变,它们可以通过例如进行试验而预先得知。光检测面上的每个位置处的各漏光比率ai可以通过仿真来计算。如果这样的漏光比率ai被预先保存为校正参数,则可以高速执行混色校正。
然而,如果通过上述方法在逐像素的基础上进行混色校正,则不能进行每个像素的混色校正,除非所有相邻像素的检测信号量都已知。因此,难以达到更高速的校正。鉴于此,在该实施例中,数字信号处理部分26根据来自CPU 29的指令以下列方法进行混色校正。
图3是根据本发明实施例的成像设备的功能框图。根据该实施例的示例成像设备是用于拍摄对象的运动图像的静止图像的数码相机15。数码相机15配备有摄影镜头20,布置在摄影镜头20后面其图像形成平面中的固态成像装置21,布置在摄影镜头20和固态成像装置21之间的镜头快门19,用于对从固态成像装置21输出的模拟图像数据执行诸如自动增益控制(AGC)和相关双采样处理的模拟处理的模拟信号处理部分22,用于将从模拟信号处理部分22输出的模拟图像数据转换成数字图像数据的模数转换部分(A/D)23,用于根据来自(随后描述的)系统控制部分(CPU)29的指令对A/D 23、模拟信号处理部分22、固态成像装置21、摄影镜头20和镜头快门19进行驱动控制的驱动控制部分24(包括定时发生器),以及用于根据来自CPU 29的指令发光的闪光灯25。
根据该实施例的数码相机15还配备有:数字信号处理部分26,用于接收从A/D 23输出的数字图像数据并执行内插处理、白平衡校正、RGB/YC转换处理、混色校正处理等;压缩/扩展处理部分27,用于将图像数据压缩成JPEG格式等的图像数据,或者反之,扩展图像数据;显示单元28,用于显示菜单等、通过镜头图像或拍摄图像;系统控制部分(CPU)29,用于管理整个数码相机15;诸如帧存储器的内部存储器30;介质接口(I/F)31,用于与记录介质32进行接口处理以存储JPEG图像数据等;以及总线40,其连接以上各部分和单元。用于接收来自用户的操纵输入的操控单元33连接至系统控制部分29。
在上述CCD型的示例固态成像装置21中,固态成像装置21的输出信号由设置在固态成像装置21外部的模拟信号处理部分(AFE:模拟前端)22进行处理。固态成像装置21可以是CMOS固态成像装置。在固态成像装置21是CMOS类型的情况下,AFE通常结合到固态成像装置中。
固态成像装置21的像素布置不是方形栅格布置,而是所谓的蜂窝布置,其中,偶数行上的像素从奇数行上的像素移动了半个像素间距。滤色器布置也是有特点的。
图4是固态成像装置21的表面的示意图。形成在半导体衬底上的各像素(发光二极管:该图中将其省略)布置成蜂窝状,并且各滤色器(R和r:红色;G和g:绿色;以及B和b:蓝色)堆叠在各像素上。
当仅关注奇数行上的像素时,它们布置成方形栅格状并且滤色器R、G和B是Bayer布置。同样,当仅关注偶数行上的像素时,它们布置成方形栅格状并且滤色器r、g和b是Bayer布置。因此,倾斜方向上彼此相邻的一对像素具有相同颜色的滤色器(R,r)、(G,g)或(B,b)。
具有以大写字母R、G和B表示的滤色器的像素是A平面(第一组)像素,具有以小写字母r、g和b表示的滤色器的像素是B平面(第二组)像素。尽管滤色器R和r完全相同,滤色器G和g完全相同,滤色器B和b完全相同,但是仍使用大写字母和小写字母来区分仅由A平面像素拍摄的对象图像和仅由B平面像素拍摄的图像。
具有上述像素布置和滤色器布置的固态成像装置21能够如下所述拍摄对象图像。
A平面像素和B平面像素在同一时间段暴露于光下,并且A平面像素的输出信号和B平面像素的输出信号由图1所示的模拟信号处理部分(AFE)进行放大。此时,利用相同的增益对A平面像素的输出信号和B平面像素的输出信号进行增益控制。因此,使得A平面像素的信号表现宽度(动态范围)和B平面像素的信号表现宽度(动态范围)相同。
A平面像素的拍摄图像和B平面像素的拍摄图像是在像素位置上彼此相对移动了一个像素的相同图像。因此,如果将在倾斜方向上彼此相邻的相同颜色的像素的信号相加在一起,则信号量加倍。从而能够进行高灵敏度拍摄。然而,如果不执行这样的像素信号相加,则自然可以形成像素数量等于A平面像素的数量和B平面像素的数量之和的高分辨率对象图像。
可以以如下方式从固态成像装置21读取拍摄图像信号:首先读取所有A平面像素的拍摄图像信号,然后读取所有B平面像素的拍摄图像信号。在此情况下,可以根据A平面像素的拍摄图像信号形成预览图像,并将其显示在液晶显示单元28上。可替换地,在拍摄运动图像过程中,可以仅根据A平面像素的拍摄图像信号产生对象图像,在此情况下,像素数量减半,从而可以以高帧率拍摄运动图像。在此情况下,通过以下述方式执行混色校正来形成预览图像以及产生运动图像。
此外,利用具有上述像素布置和滤色器布置的固态成像装置21可以获得具有加宽的动态范围的对象图像。例如,如图5所示,在时刻t1,图3所示的机械镜头快门19打开。在随后的时刻t2,将复位信号施加给A平面像素以启动它们的曝光。在任意延迟时刻t3,将复位信号施加给B平面像素以启动它们的曝光。在时刻t4,镜头快门19关闭从而完成所有像素的曝光。因此,A平面像素曝光了较长时间(曝光时间段:t2至t4),而B平面像素曝光了较短时间(曝光时间段:t3至t4)。
在第一帧中对所有的A平面像素(或B平面像素)进行读取,在随后的第二帧中对所有的B平面像素(或A平面像素)进行读取。模拟信号处理部分(AFE)22以相同的增益对A平面像素的输出信号和B平面像素的输出信号进行放大。因此,已经进行了短时间曝光的B平面像素的信号表现宽度变为A平面像素的信号表现宽度的两倍。
因此,通过将在倾斜方向上彼此相邻的相同颜色的A平面像素的拍摄图像信号和B平面像素的拍摄图像信号加在一起可以使对象图像的动态范围变宽。
如上所述,使用了如下的固态成像装置:其中在同一光检测面上混合形成了第一组像素(A平面像素)和第二组像素(B平面像素),在彼此相邻并且构成像素对的第一组像素和第二组像素上堆叠相同颜色的滤色器,并且各滤色器总体上为Bayer布置。以分割的方式读取A平面像素的拍摄图像信号和B平面像素的拍摄图像信号。此外,在下列方式中,仅利用A平面像素的拍摄图像信号对A平面拍摄图像进行混色校正,并且仅利用B平面像素的拍摄图像信号对B平面拍摄图像进行混色校正。
图6示出了使用符号R、G和B的A平面像素的拍摄图像信号。在B平面像素的位置处没有写入符号,这是因为它们没有对应的拍摄图像信号。下面将对关于例如图中的矩形框5所包围的中心G像素(即,具有G滤色器的像素)的检测信号的混色校正进行描述。
将图6中由矩形框5包围的九个像素与图1所示的像素进行比较。位于图1中心的G像素H0的信号、B像素H1(上部相邻像素)的信号、R像素H3(右侧相邻像素)的信号、和R像素(下部相邻像素)的信号存在于矩形框5中,然而不存在图1中所示的像素H2、H4、H6和H8的检测信号,这是因为它们还没有被读出。
在上述说明中,术语“B像素”表示具有蓝色(B)滤色器的像素而不是上述的“B平面像素”。
以上参照图1描述的混色校正需要八个相邻像素H1-H8的信号,因此缺少了像素H2、H4、H6和H8的信号。从图4和图6之间的比较可以看出,像素H8的滤色器的颜色是绿色(g)。在倾斜方向上彼此相邻且其上堆叠有相同颜色滤色器的这些像素极有可能具有相同的接收光量,这是因为它们最多仅彼此相距一个像素尺寸(例如,2μm)。
因此,利用相同颜色的相邻像素的检测信号来代替像素H8的检测信号来进行混色校正就足够了。可以使用相同颜色的关注像素H0的检测信号或相同颜色的像素6的检测信号(见图6)来代替像素H8的检测信号。同样,可以使用相同颜色的关注像素H0的检测信号或相同颜色的像素7的检测信号(见图6)来代替像素H4的检测信号。
从与图6的比较可以看出,图1所示的像素H2具有蓝色(b)滤色器。因此,与具有蓝色(b)滤色器的像素(b像素)成对且具有相同颜色的B像素H1的检测信号可以被用来代替像素H2的检测信号。同样,具有R滤色器(相同颜色)的像素H7的检测信号可以被用来代替图1所示的像素H6的检测信号。
以此方式,在其像素布置和滤色器布置使得与每个必须像素成对且具有相同颜色的像素位于倾斜方向上的固态成像装置21中,即使仅从奇数行或偶数行上的像素中读取信号,也可以知道关注像素周围的八个像素的检测信号(其中四个信号是实际检测信号,而其余四个检测信号是代替信号)。因此,可以利用以上参照图1描述的八个漏光比率a1-a8进行混色校正,从而可以获得其中已经以高精度减小了混色的对象图像。
在上述说明中,以只有A平面像素的检测信号代替将在B平面像素位置获得的检测信号。然而,由于A平面像素和B平面像素之间的差别仅是它们位置的移动,显然,相反地,可以以只有B平面像素的检测信号代替将在A平面像素位置获得的检测信号。此外,尽管在以上描述中将G像素用作关注像素H0,但是即使将R像素或B像素用作关注像素(仅改变存在检测信号代替像素的方向)也可以进行类似的校正。
图7示出了上述混色校正的优点。在不进行分割的情况下,在一帧中读取A平面像素的拍摄图像信号和B平面像素的拍摄图像信号(见图7(a)),在读取了所有像素的拍摄图像信号后执行已知的图像处理和混色校正,并于此后进行预览显示。因此,到预览显示为止要花费相当多的时间。
相比之下,在以分割方式从A平面像素进行读取以及从B平面像素进行读取的情况下(见图7(b)),可以利用从A平面像素读取的拍摄图像信号进行图像处理和混色校正,并可以与这些图像处理和混色校正并行地从B平面像素读取拍摄图像信号。根据A平面像素的拍摄图像信号产生的预览图像在完成了对A平面像素的混色校正等处理之后进行显示,并且可以与预览图像显示并行地利用B平面像素的拍摄图像信号执行图像处理和混色校正。因此,可以缩短整个处理时间。
如上参照图2所述,作为校正参数的漏光比率ai(i=1-8)的值取决于固态成像装置21的光检测面上的位置。更精确地,这些值取决于每个像素在光检测面上的地址。然而,如果需要针对每个像素的地址保存校正参数,则要求保存校正参数的存储器具有巨大的容量。此外,如果需要针对R、G和B保存校正参数(漏光比率)ai(R)、ai(G)和ai(B),则所需的容量增至三倍。
鉴于上述,在下面的实施例中,将图2所示的光检测面1分成多个区域,例如64(8×8)个分割区域。对应于每个分割区域的校正参数ai(i=1-8)被保存为与那个分割区域对应的图8所示的表9,并且被预先存储在图3所示的CPU 29中包括的ROM(未示出)中。每个分割区域的中心坐标的校正参数针对该分割区域设置,并且通过使用各分割区域的中心坐标组在这些分割区域之间进行线性内插产生那个分割区域中的其他坐标组中的每个组的校正参数值。这防止了校正参数值在各分割区域之间的边界处急剧变化而造成作为校正标记的可见台阶的现象。
以此方式,可以减小用于存储校正参数ai的存储器容量。为了进一步减小存储器容量,代替保存对应于图8所示的64(8×8)个分割区域的校正参数组,而仅保存对应于位于方格图案位置处的各分割区域的校正参数组。通过线性内插计算确定位于该方格图案的其他位置处的各分割区域的校正参数组。作为进一步的替代方法,代替保存R、G和B的各校正参数组,可以针对R、G和B保存校正参数的一个公共组,这使存储器容量减小为原来的1/3。还可以通过保存光检测面的中心区域中的校正参数ai(RGB)的一个公共组以及保存周边区域中的ai(R)、ai(G)和ai(B)(ai(R)≠ai(G)≠ai(B))来减小存储器容量。
下面将描述另一方法。在图6所示的矩形框5中,位于中心像素G两侧的像素是(相同颜色的)R像素。如果可以使得右侧R像素和左侧R像素的校正参数(漏光比率)a3和a7相同,则可以省略它们之一以减小存储器容量。同样,如果位于左上位置和右下位置的替代像素g是相同的颜色,则在可以使得校正参数a8和a4相同的情况下,则可以省略它们之一以减小存储器容量。这同样适用于上部和下部B像素。例如,在图8所示的位于光检测面的中心区域并且靠近摄影镜头光轴的分割区域28、29、36和37中,入射光近乎垂直地照射在光检测面上。因此,很有可能以近乎相等的程度各向同性地出现来自相邻像素的混色事件,因此可以使得来自相同颜色像素的漏光比率近乎相等。
例如,两个相邻分割区域(例如,图8所示的分割区域1和9)具有不同的校正参数组,从而在分割区域1和9之间的边界部分中可能出现校正噪声。为了防止这样的噪声,在所述边界部分中,可以利用通过执行涉及分割区域1和9的校正参数组的内插计算而获得的校正参数(组)来进行混色校正。
图9示出了稀疏读取的情况。对于通过驱动固态成像装置21拍摄对象图像,读取利用所有像素拍摄的对象图像(见图9(a)的上部;仅示出了A平面像素)或者执行稀疏读取(见图9(b)的上部)。不必针对图9(b)下部所示的稀疏读取准备校正参数表10来提供这样的稀疏读取。这样的稀疏读取可以通过从图9(a)下部所示的针对所有像素读取的表读取所需的参数组来执行。这样的转用使得不必准备不必要的表10,从而可以节省用于存储表10的存储容量。
图10示出了对对象图像的必需部分进行剪切和读取的情况。例如,在读取通过数字变焦获得的对象图像时,可以利用表格部分12的校正参数组进行混色校正,表格部分12对应于图10(a)上部所示的剪切范围11并且通过转用针对整个光检测面1准备的表9的相应部分(见图9(a))而获取。
在上述实施例中,结合在成像设备中的CPU 29利用下级数字信号处理部分26等执行混色校正。然而,也可以采用替代构造,其中成像设备拍摄对象图像以产生原始数据并且外部个人计算机在显影该原始数据时执行混色校正。在此情况下,个人计算机可以通过获取存储的校正参数的表数据来执行校正。
在根据上述实施例的成像设备和混色校正方法中,将对由成像设备拍摄而产生的拍摄图像信号执行该混色校正方法,其中该成像设备包括:固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行各像素上方以Bayer布置方式布置了滤色器,并且在偶数行各像素上方以Bayer布置方式布置了滤色器;以及成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号和偶数行像素的拍摄图像信号。该混色校正方法的特征在于:利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行的另一个像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行的与所述另一个像素相邻的、且与所述奇数行和偶数行的所述另一个像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
根据实施例的成像设备和混色校正方法的特征在于:通过将关注像素周围的各像素的拍摄图像信号乘以漏光比率校正参数来执行混色校正。
根据实施例的成像设备和混色校正方法的特征在于:所述校正参数是针对光检测面上的各坐标组预先确定的。
根据实施例的成像设备和混色校正方法的特征在于:各校正参数组是针对所述光检测面的多个单独分割区域确定的。
根据实施例的成像设备和混色校正方法的特征在于:所述校正参数是根据入射光的方向和关注像素相对于所述光检测面中心的位置来确定的。
根据实施例的成像设备和混色校正方法的特征在于:关注像素周围的每个像素的校正参数值根据与所述关注像素周围的像素相关联的滤色器的颜色而改变。
根据实施例的成像设备和混色校正方法的特征在于:各校正参数组被保存为表数据。
根据实施例的成像设备和混色校正方法的特征在于:所述关注像素周围的各像素中具有相同颜色的滤色器的多个像素的校正参数具有公共的相同值。
根据实施例的成像设备和混色校正方法的特征在于:利用为所述光检测面的整个有效像素区域提供的校正参数组的值对以稀疏方式从所述固态成像装置读取的拍摄图像信号执行混色校正。
根据实施例的成像设备和混色校正方法的特征在于:当剪切出所述光检测面的整个有效像素区域的局部区域的拍摄图像信号时,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对所述局部区域执行混色校正。
上述实施例使得可以以高精度执行混色校正以及高速执行混色校正处理。
实用性
由于能够进行高精度及高速校正,因此当将根据本发明的混色校正方法应用于数字照相机、数字摄影机、具有相机的移动电话的数码相机、具有相机的小型电子设备等时特别有用。
尽管以上已经参照具体实施例详细描述了本发明,但是对于本领域技术人员来说显而易见的是,在不背离本发明的精神和范围的情况下可以做出各种改变和修改。
本申请基于于2010年10月4日提交的日本申请(日本专利申请第2010-225279号),其公开通过引用并入本文。
符号说明
1:光检测面的有效像素区域
2、3和4:光检测面上的位置
5:矩形框
9:校正表
20:摄影镜头
21:固态成像装置
26:数字信号处理部分
28:显示单元
29:系统控制部分
Claims (20)
1.一种成像设备,包括:
固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行的像素行在水平方向上和垂直方向上都相对于奇数行的像素行移动了半个像素间距,在奇数行的像素行的各像素上方以Bayer布置方式布置了滤色器,并且在偶数行的像素行的各像素上方以Bayer布置方式布置了滤色器;
成像装置驱动部分,用于分割地读取各分离帧中的奇数行的像素行的拍摄图像信号和偶数行的像素行的拍摄图像信号;以及
混色校正部分,用于利用关注像素周围的多个像素的拍摄图像信号对所述分割读取的奇数行和偶数行之一的像素行的拍摄图像信号中的关注像素的拍摄图像信号执行混色校正,其中所述多个像素中的所述奇数行或偶数行中另一个的像素行的像素的拍摄图像信号,被安装有与在倾斜方向上与该像素相邻的所述一个像素行的像素中的所述另一个的像素行的像素具有相同颜色的滤色器的像素的拍摄图像信号代替。
2.根据权利要求1所述的成像设备,其中,通过将所述关注像素周围的各像素的拍摄图像信号乘以漏光比率校正参数来执行混色校正。
3.根据权利要求2所述的成像设备,其中,所述校正参数是针对所述光检测面上的各坐标组预先确定的。
4.根据权利要求3所述的成像设备,其中,各校正参数组是针对所述光检测面的多个单独分割区域确定的。
5.根据权利要求2至4中任一项所述的成像设备,其中,所述校正参数是根据入射光的方向和所述关注像素相对于所述光检测面中心的位置来确定的。
6.根据权利要求2至4中任一项所述的成像设备,其中,所述关注像素周围的每个像素的校正参数值根据与所述关注像素周围的像素相关联的滤色器的颜色而改变。
7.根据权利要求2至4中任一项所述的成像设备,其中,各校正参数组被保存为表数据。
8.根据权利要求2至4中任一项所述的成像设备,其中,所述关注像素周围的各像素中具有相同颜色的滤色器的多个像素的校正参数具有公共的相同值。
9.根据权利要求2至4中任一项所述的成像设备,其中,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对以稀疏方式从所述固态成像装置读取的拍摄图像信号执行混色校正。
10.根据权利要求2至4中任一项所述的成像设备,其中,当剪切出所述光检测面的整个有效像素区域的局部区域的拍摄图像信号时,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对所述局部区域执行混色校正。
11.一种对由成像设备拍摄而产生的拍摄图像信号执行的混色校正方法,所述成像设备包括:
固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行的像素行在水平方向上和垂直方向上都相对于奇数行的像素行移动了半个像素间距,在奇数行的像素行的各像素上方以Bayer布置方式布置了滤色器,并且在偶数行的像素行的各像素上方以Bayer布置方式布置了滤色器;以及
成像装置驱动部分,用于分割地读取各分离帧中的奇数行的像素行的拍摄图像信号和偶数行的像素行的拍摄图像信号,
所述方法的特征在于,
利用关注像素周围的多个像素的拍摄图像信号对所述分割读取的奇数行和偶数行之一的像素行的拍摄图像信号中的关注像素的拍摄图像信号执行混色校正,其中所述多个像素中的所述奇数行或偶数行中另一个的像素行的像素的拍摄图像信号,被安装有与在倾斜方向上与该像素相邻的所述一个像素行的像素中的所述另一个的像素行的像素具有相同颜色的滤色器的像素的拍摄图像信号代替。
12.根据权利要求11所述的混色校正方法,其中,通过将所述关注像素周围的各像素的拍摄图像信号乘以漏光比率校正参数来执行混色校正。
13.根据权利要求12所述的混色校正方法,其中,所述校正参数是针对所述光检测面上的各坐标组预先确定的。
14.根据权利要求13所述的混色校正方法,其中,各校正参数组是针对所述光检测面的多个单独分割区域来确定的。
15.根据权利要求12至14中任一项所述的混色校正方法,其中,所述校正参数是根据入射光的方向和所述关注像素相对于所述光检测面中心的位置来确定的。
16.根据权利要求12至14中任一项所述的混色校正方法,其中,所述关注像素周围的每个像素的校正参数值根据与所述关注像素周围的像素相关联的滤色器的颜色而改变。
17.根据权利要求12至14中任一项所述的混色校正方法,其中,各校正参数组被保存为表数据。
18.根据权利要求12至14中任一项所述的混色校正方法,其中,所述关注像素周围的各像素中具有相同颜色的滤色器的多个像素的校正参数具有公共的相同值。
19.根据权利要求12至14中任一项所述的混色校正方法,其中,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对以稀疏方式从所述固态成像装置读取的拍摄图像信号执行混色校正。
20.根据权利要求12至14中任一项所述的混色校正方法,其中,当剪切出所述光检测面的整个有效像素区域的局部区域的拍摄图像信号时,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对所述局部区域执行混色校正。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010225279 | 2010-10-04 | ||
JP2010-225279 | 2010-10-04 | ||
PCT/JP2011/069482 WO2012046522A1 (ja) | 2010-10-04 | 2011-08-29 | 撮像装置及び混色補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102696228A CN102696228A (zh) | 2012-09-26 |
CN102696228B true CN102696228B (zh) | 2015-01-21 |
Family
ID=45927519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180005240.5A Expired - Fee Related CN102696228B (zh) | 2010-10-04 | 2011-08-29 | 成像设备和混色校正方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8416325B2 (zh) |
JP (1) | JP4997359B2 (zh) |
CN (1) | CN102696228B (zh) |
WO (1) | WO2012046522A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011116345A1 (en) | 2010-03-19 | 2011-09-22 | Invisage Technologies, Inc. | Dark current reduction in image sensors via dynamic electrical biasing |
WO2014087807A1 (ja) * | 2012-12-05 | 2014-06-12 | 富士フイルム株式会社 | 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体 |
WO2014136570A1 (ja) * | 2013-03-05 | 2014-09-12 | 富士フイルム株式会社 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
WO2016019258A1 (en) | 2014-07-31 | 2016-02-04 | Emanuele Mandelli | Image sensors with noise reduction |
KR102362138B1 (ko) | 2015-07-23 | 2022-02-14 | 삼성전자주식회사 | 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치 |
US9716868B1 (en) * | 2016-03-03 | 2017-07-25 | Omnivision Technologies, Inc. | Color filter including diamond-shaped pixels |
WO2018075584A1 (en) * | 2016-10-20 | 2018-04-26 | Invisage Technologies, Inc. | Image sensor with reset lock |
US10425601B1 (en) | 2017-05-05 | 2019-09-24 | Invisage Technologies, Inc. | Three-transistor active reset pixel |
US11982527B2 (en) * | 2022-09-14 | 2024-05-14 | Qualcomm Incorporated | Systems and methods of imaging with multi-domain image sensor |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1447591A (zh) * | 2002-03-27 | 2003-10-08 | 松下电器产业株式会社 | 固体摄像装置以及摄像机 |
CN1968423A (zh) * | 2005-11-17 | 2007-05-23 | 索尼株式会社 | 固体摄像元件的信号处理装置和信号处理方法及摄像装置 |
CN101437166A (zh) * | 2007-11-13 | 2009-05-20 | 索尼株式会社 | 图像拾取装置,修正被捕获的图像数据的方法和程序 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3999417B2 (ja) * | 1999-09-08 | 2007-10-31 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
US7929798B2 (en) * | 2005-12-07 | 2011-04-19 | Micron Technology, Inc. | Method and apparatus providing noise reduction while preserving edges for imagers |
JP5163068B2 (ja) * | 2007-11-16 | 2013-03-13 | 株式会社ニコン | 撮像装置 |
JP2009141578A (ja) * | 2007-12-05 | 2009-06-25 | Fujifilm Corp | 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置 |
JP5292939B2 (ja) | 2008-06-20 | 2013-09-18 | ソニー株式会社 | 画像処理装置および方法、製造装置 |
JP2011061684A (ja) * | 2009-09-14 | 2011-03-24 | Fujifilm Corp | 固体撮像素子及びその駆動方法並びに撮像装置 |
-
2011
- 2011-08-29 US US13/509,786 patent/US8416325B2/en not_active Expired - Fee Related
- 2011-08-29 CN CN201180005240.5A patent/CN102696228B/zh not_active Expired - Fee Related
- 2011-08-29 JP JP2012507521A patent/JP4997359B2/ja not_active Expired - Fee Related
- 2011-08-29 WO PCT/JP2011/069482 patent/WO2012046522A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1447591A (zh) * | 2002-03-27 | 2003-10-08 | 松下电器产业株式会社 | 固体摄像装置以及摄像机 |
CN1968423A (zh) * | 2005-11-17 | 2007-05-23 | 索尼株式会社 | 固体摄像元件的信号处理装置和信号处理方法及摄像装置 |
CN101437166A (zh) * | 2007-11-13 | 2009-05-20 | 索尼株式会社 | 图像拾取装置,修正被捕获的图像数据的方法和程序 |
Also Published As
Publication number | Publication date |
---|---|
US8416325B2 (en) | 2013-04-09 |
WO2012046522A1 (ja) | 2012-04-12 |
CN102696228A (zh) | 2012-09-26 |
JPWO2012046522A1 (ja) | 2014-02-24 |
JP4997359B2 (ja) | 2012-08-08 |
US20120268635A1 (en) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102696228B (zh) | 成像设备和混色校正方法 | |
JP5801002B2 (ja) | 画素補正方法及び撮像装置 | |
JP5740465B2 (ja) | 撮像装置及び欠陥画素補正方法 | |
US11659294B2 (en) | Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method | |
EP3242479B1 (en) | Imaging device and mobile terminal | |
CN104284106A (zh) | 固态摄像装置和电子设备 | |
JP5547338B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
JP2007304525A (ja) | 画像入力装置および電子機器および画像入力方法 | |
JPWO2013046973A1 (ja) | 固体撮像素子、撮像装置、及び合焦制御方法 | |
CN103502866A (zh) | 摄影装置及程序 | |
CN103842877A (zh) | 成像装置和合焦参数值计算方法 | |
CN102959959B (zh) | 固态成像装置驱动方法、固态成像装置及成像设备 | |
CN109981939A (zh) | 成像系统 | |
JP5539584B2 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
US20230007191A1 (en) | Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method | |
CN106603896A (zh) | 相机模块及制造该相机模块的方法 | |
JPWO2012127702A1 (ja) | カラー撮像素子、撮像装置、及び撮像プログラム | |
CN104205818B (zh) | 拍摄装置及其画质校正方法以及可换镜头和拍摄装置主体 | |
US10410374B2 (en) | Image sensors with calibrated phase detection pixels | |
EP2763400B1 (en) | Imaging element, and imaging device | |
US8982225B2 (en) | Camera module, image processing apparatus, and image processing method | |
JPWO2012114994A1 (ja) | カラー撮像素子 | |
JP2012156882A (ja) | 固体撮像装置 | |
US20240205560A1 (en) | Sensor including micro lenses of different sizes | |
CN117177082A (zh) | 图像传感器的控制方法、图像传感器及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150121 Termination date: 20190829 |