CN102696228A - 成像设备和混色校正方法 - Google Patents

成像设备和混色校正方法 Download PDF

Info

Publication number
CN102696228A
CN102696228A CN2011800052405A CN201180005240A CN102696228A CN 102696228 A CN102696228 A CN 102696228A CN 2011800052405 A CN2011800052405 A CN 2011800052405A CN 201180005240 A CN201180005240 A CN 201180005240A CN 102696228 A CN102696228 A CN 102696228A
Authority
CN
China
Prior art keywords
pixel
odd
image signal
colour mixture
correction parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800052405A
Other languages
English (en)
Other versions
CN102696228B (zh
Inventor
古田善工
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102696228A publication Critical patent/CN102696228A/zh
Application granted granted Critical
Publication of CN102696228B publication Critical patent/CN102696228B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

公开了能够以高精度执行混色校正并且还能缩短校正处理的成像设备和混色校正方法。所述成像设备包括固态成像装置,其具有在半导体衬底的光接收面上以二维方式布置的多个像素,每一个偶数像素行相对于奇数像素行偏移1/2个像素间距,在奇数像素行的每一个像素上以Bayer布置方式布置了滤色器,并且在偶数像素行的每一个像素上以Bayer布置方式布置了滤色器。所述成像设备还包括成像装置驱动部分,其将奇数像素行的成像信号和偶数像素行的成像信号分成分离的帧从而读出所述成像信号。从所划分和所读出的一个奇数或偶数像素行成像信号中,针对关注像素的成像信号执行混色校正。通过使用关注像素周围的多个像素的成像信号来执行混色校正。在执行混色校正时,使用在一个奇数或偶数像素行中的倾斜方向上相邻的像素中具有相同颜色的滤色器的像素的成像信号,而不使用在所述多个像素中属于其它奇数或偶数行的成像信号。

Description

成像设备和混色校正方法
技术领域
本发明涉及结合了用于拍摄彩色图像的单板式固态成像装置的成像设备,以及混色校正方法。更具体地,本发明涉及成像设备和对相邻像素之间的混色进行校正的混色校正方法。
背景技术
在单板式固态成像装置中,在形成在同一光检测面上的各相邻像素上堆叠不同滤色器。因此,倾斜的入射光有可能造成混色。固态成像装置以以下方式构造:将与分别入射到多个光电二极管(像素)上的光束数量相对应的信号电荷存入各光电二极管中,所述多个光电二极管(像素)以二维阵列形式布置在半导体衬底上,并且将对应于所存储电荷量的信号作为拍摄图像信号读出。
在用于拍摄彩色图像的固态成像装置的情况下,在形成有光电二极管的半导体衬底上堆叠滤色器层,并且在滤色器层上提供用于将入射光会聚到光电二极管上的微透镜,以与各发光二极管对应。由于发光二极管与微透镜之间存在距离,因此如果入射光倾斜照射到光检测面上,则已通过红色滤色器的入射光例如会照射到与红色检测发光二极管相邻的蓝色或绿色检测发光二极管上,而没有照射到红色检测发光二极管上,这就造成了混色。如果在多个位置都出现了混色,则对象图像的色调会改变从而图像品质劣化。
具体地,在结合了具有小F值的摄影镜头的成像设备中,固态成像装置的光检测面上周边像素处出现的混色具有严重影响,这是因为对象光学图像以大的入射角照在这些像素上。近年来,称为背照式的固态成像装置已经被结合到了数码相机中。尽管依靠大的孔径比而具有高拍摄灵敏度,但是背照式固态成像装置在形成在半导体衬底背面侧的微透镜和滤色器层与形成在该半导体衬底正面侧的光电二极管之间具有相当大的距离,该距离是易于发生混色的结构。
下面的专利文献1公开了现有的用于校正混色的传统技术中的一种。在该传统混色校正技术中,在利用通过某一个关注像素周围的像素检测到的信号对该关注像素的检测信号执行校正处理的过程中,使用了多个校正参数,这些校正参数通过如下方式获得:考虑了位于对该关注像素具有较大影响的某一方向上的像素,即,该关注像素周围的四个像素各向同性地不影响该关注像素。
现有技术文献
专利文献
专利文献1:JP-A-142697
发明内容
本发明要解决的技术问题
混色校正与下列问题相关联:由于需要读取固态成像装置的每个像素的检测信号以及利用每个像素周围的各像素的检测信号进行校正处理而使处理花费很长时间。具体地,结合最新数码相机的固态成像装置的像素数量已经增加并且具有千万以上像素的固态成像装置目前也很普遍。因此,仅从固态成像装置读取拍摄图像信号的处理就要花费时间。除了在读取拍摄图像信号以后执行已知的图像处理(诸如γ校正处理、RGB/YC变换处理等)之外,在逐像素的基础上进行的混色校正进一步增加了处理时间。因此,从拍摄结束到在设置在相机背面的液晶显示单元上显示(预览显示)拍摄图像需要更长的时间。
本发明的一个目的在于提供能够缩短混色校正处理时间同时以高精度进行混色校正的成像设备和混色校正方法。
解决问题的手段
根据本发明的一种成像设备,其特征在于包括:固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行各像素上方以Bayer布置方式布置了滤色器,并且在偶数行各像素上方也以Bayer布置方式布置了滤色器;成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号以及偶数行像素的拍摄图像信号;以及混色校正部分,用于利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行中另一个的像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行中的所述另一个相邻的、且与所述奇数行和偶数行中的所述另一个的像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
一种对由成像设备拍摄而产生的拍摄图像信号执行的混色校正方法,所述成像设备包括:固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行各像素上方以Bayer布置方式布置了滤色器,并且在偶数行各像素上方也以Bayer布置方式布置了滤色器;成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号以及偶数行像素的拍摄图像信号,该方法的特征在于,利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行中另一个的像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行中的所述另一个相邻的、且与所述奇数行和偶数行中的所述另一个的像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
发明的技术效果
本发明使得能够在以高精度进行混色校正的同时缩短混色校正处理时间。
附图说明
图1示出了混色校正的概述;
图2示出了任何对固态成像装置的光检测面不同地执行混色校正;
图3示出了根据本发明实施例的成像设备的功能块构造图;
图4是图3所示的固态成像装置表面的示意图(滤色器布置示意图);
图5示出了长时间曝光和短时间曝光;
图6仅示出了图4所示的A平面像素;
图7示出了根据本发明实施例的分割读取的优点;
图8示出了校正表;
图9示出了稀疏读取和校正参数表之间的关系;
图10示出了剪切读取和校正参数表之间的关系。
具体实施方式
下面将参照附图描述本发明的实施例。在描述实施例之前,先概述混色校正。
图1示出了混色校正的概述。该图中示出了八个像素H0-H8。各像素的检测信号量也以H0-H8表示。即使这些像素接收相同亮度的光,它们的检测信号量也根据堆叠在各像素上的滤色器的颜色而不同。
下面实施例中将描述的固态成像装置具有称作蜂窝像素布置(图1的布置),这是因为偶数行上的像素从奇数行上的像素移动了半个像素间距。
从相邻的八个像素H1-H8中每一个泄露的光进入位于中心的关注像素H0,从而引起混色(图1中省略了滤色器;当相邻像素和关注像素的滤色器彼此不同时发生混色)。
假设从相邻像素Hi(i=1-8)向中心像素的漏光比率为ai%(i=1-8)。中心像素H0的检测信号量随着泄露进入光束而增加,并且信号量的增加量被看作与泄露进入光量成比例。
因此,由于从八个相邻像素H1-H8到关注像素H0的漏光量造成的错误检测信号量如下计算:
K=(H1×a1+H2×a2+H3×a3+H4×a4+H5×a5+H6×a6+H7×a7+H8×a8)。
即,在关注像素H0的检测量H0中,对应于泄露进入光束的检测量总计为K。关注像素H0的真实检测信号量为H0-K。通过执行该计算可以进行混色校正。
上述漏光比率ai(i=1-8)根据通过滤色器的光是红(R)光、绿(G)光、还是蓝(B)光而具有稍微不同的值,这是因为通过滤色器的光的波长范围不同。即,滤色器和光电二极管之间存在透明绝缘层并且其折射率根据进入的光的波长而自然改变。因此,确切的说,从像素H2例如向关注像素H0的漏光比率a2表达为a2(R)≠a2(G)≠a2(B)。
图2示出了固态成像装置的光检测面的有效像素区域。尽管来自摄影镜头(未示出)的入射光直射到光检测面1的中心,随着进入位置越靠近周边,入射光越倾斜地照射到光检测面1上。在对沿垂直方向位于光检测面1的中心上方的关注像素H0进行混色校正的情况下,入射光沿从像素H5到像素H0的方向进入(见图1)。因此认为从像素H5向关注像素H0的漏光比率a5最大,而(由于漫反射)从像素H1向关注像素H0的漏光比率a1最小。
在位于源自光检测面1的中心的左下方的位置3处,入射光沿从像素H2向关注像素H0的方向进入(见图1)。因此认为从相邻像素H2向关注像素H0的漏光比率a2最大,而从相邻像素H6向关注像素H0的漏光比率最小。
在比位置3更靠近周边的位置4处,入射光同样沿从像素H2向关注像素H0的方向进入(见图1)。因此认为从相邻像素H2向关注像素H0的漏光比率a2最大。然而,照射到位置4上的入射光的入射角大于照射到位置3上的入射光的入射角,即,入射光更倾斜地照射到位置4上。因此,漏光比率a2在位置4处比在位置3处大。
尽管光检测面1上每个位置处的漏光比率ai(i=1-8)的近似值根据固态成像装置的结构(是否存在内镜头、每个像素的尺寸、微透镜/滤色器和光电二极管之间的距离以及其他因素)而改变,它们可以通过例如进行试验而预先得知。光检测面上的每个位置处的各漏光比率ai可以通过仿真来计算。如果这样的漏光比率ai被预先保存为校正参数,则可以高速执行混色校正。
然而,如果通过上述方法在逐像素的基础上进行混色校正,则不能进行每个像素的混色校正,除非所有相邻像素的检测信号量都已知。因此,难以达到更高速的校正。鉴于此,在该实施例中,数字信号处理部分26根据来自CPU 29的指令以下列方法进行混色校正。
图3是根据本发明实施例的成像设备的功能框图。根据该实施例的示例成像设备是用于拍摄对象的运动图像的静止图像的数码相机15。数码相机15配备有摄影镜头20,布置在摄影镜头20后面其图像形成平面中的固态成像装置21,布置在摄影镜头20和固态成像装置21之间的镜头快门19,用于对从固态成像装置21输出的模拟图像数据执行诸如自动增益控制(AGC)和相关双采样处理的模拟处理的模拟信号处理部分22,用于将从模拟信号处理部分22输出的模拟图像数据转换成数字图像数据的模数转换部分(A/D)23,用于根据来自(随后描述的)系统控制部分(CPU)29的指令对A/D 23、模拟信号处理部分22、固态成像装置21、摄影镜头20和镜头快门19进行驱动控制的驱动控制部分24(包括定时发生器),以及用于根据来自CPU 29的指令发光的闪光灯25。
根据该实施例的数码相机15还配备有:数字信号处理部分26,用于接收从A/D 23输出的数字图像数据并执行内插处理、白平衡校正、RGB/YC转换处理、混色校正处理等;压缩/扩展处理部分27,用于将图像数据压缩成JPEG格式等的图像数据,或者反之,扩展图像数据;显示单元28,用于显示菜单等、通过镜头图像或拍摄图像;系统控制部分(CPU)29,用于管理整个数码相机15;诸如帧存储器的内部存储器30;介质接口(I/F)31,用于与记录介质32进行接口处理以存储JPEG图像数据等;以及总线40,其连接以上各部分和单元。用于接收来自用户的操纵输入的操控单元33连接至系统控制部分29。
在上述CCD型的示例固态成像装置21中,固态成像装置21的输出信号由设置在固态成像装置21外部的模拟信号处理部分(AFE:模拟前端)22进行处理。固态成像装置21可以是CMOS固态成像装置。在固态成像装置21是CMOS类型的情况下,AFE通常结合到固态成像装置中。
固态成像装置21的像素布置不是方形栅格布置,而是所谓的蜂窝布置,其中,偶数行上的像素从奇数行上的像素移动了半个像素间距。滤色器布置也是有特点的。
图4是固态成像装置21的表面的示意图。形成在半导体衬底上的各像素(发光二极管:该图中将其省略)布置成蜂窝状,并且各滤色器(R和r:红色;G和g:绿色;以及B和b:蓝色)堆叠在各像素上。
当仅关注奇数行上的像素时,它们布置成方形栅格状并且滤色器R、G和B是Bayer布置。同样,当仅关注偶数行上的像素时,它们布置成方形栅格状并且滤色器r、g和b是Bayer布置。因此,倾斜方向上彼此相邻的一对像素具有相同颜色的滤色器(R,r)、(G,g)或(B,b)。
具有以大写字母R、G和B表示的滤色器的像素是A平面(第一组)像素,具有以小写字母r、g和b表示的滤色器的像素是B平面(第二组)像素。尽管滤色器R和r完全相同,滤色器G和g完全相同,滤色器B和b完全相同,但是仍使用大写字母和小写字母来区分仅由A平面像素拍摄的对象图像和仅由B平面像素拍摄的图像。
具有上述像素布置和滤色器布置的固态成像装置21能够如下所述拍摄对象图像。
A平面像素和B平面像素在同一时间段暴露于光下,并且A平面像素的输出信号和B平面像素的输出信号由图1所示的模拟信号处理部分(AFE)进行放大。此时,利用相同的增益对A平面像素的输出信号和B平面像素的输出信号进行增益控制。因此,使得A平面像素的信号表现宽度(动态范围)和B平面像素的信号表现宽度(动态范围)相同。
A平面像素的拍摄图像和B平面像素的拍摄图像是在像素位置上彼此相对移动了一个像素的相同图像。因此,如果将在倾斜方向上彼此相邻的相同颜色的像素的信号相加在一起,则信号量加倍。从而能够进行高灵敏度拍摄。然而,如果不执行这样的像素信号相加,则自然可以形成像素数量等于A平面像素的数量和B平面像素的数量之和的高分辨率对象图像。
可以以如下方式从固态成像装置21读取拍摄图像信号:首先读取所有A平面像素的拍摄图像信号,然后读取所有B平面像素的拍摄图像信号。在此情况下,可以根据A平面像素的拍摄图像信号形成预览图像,并将其显示在液晶显示单元28上。可替换地,在拍摄运动图像过程中,可以仅根据A平面像素的拍摄图像信号产生对象图像,在此情况下,像素数量减半,从而可以以高帧率拍摄运动图像。在此情况下,通过以下述方式执行混色校正来形成预览图像以及产生运动图像。
此外,利用具有上述像素布置和滤色器布置的固态成像装置21可以获得具有加宽的动态范围的对象图像。例如,如图5所示,在时刻t1,图3所示的机械镜头快门19打开。在随后的时刻t2,将复位信号施加给A平面像素以启动它们的曝光。在任意延迟时刻t3,将复位信号施加给B平面像素以启动它们的曝光。在时刻t4,镜头快门19关闭从而完成所有像素的曝光。因此,A平面像素曝光了较长时间(曝光时间段:t2至t4),而B平面像素曝光了较短时间(曝光时间段:t3至t4)。
在第一帧中对所有的A平面像素(或B平面像素)进行读取,在随后的第二帧中对所有的B平面像素(或A平面像素)进行读取。模拟信号处理部分(AFE)22以相同的增益对A平面像素的输出信号和B平面像素的输出信号进行放大。因此,已经进行了短时间曝光的B平面像素的信号表现宽度变为A平面像素的信号表现宽度的两倍。
因此,通过将在倾斜方向上彼此相邻的相同颜色的A平面像素的拍摄图像信号和B平面像素的拍摄图像信号加在一起可以使对象图像的动态范围变宽。
如上所述,使用了如下的固态成像装置:其中在同一光检测面上混合形成了第一组像素(A平面像素)和第二组像素(B平面像素),在彼此相邻并且构成像素对的第一组像素和第二组像素上堆叠相同颜色的滤色器,并且各滤色器总体上为Bayer布置。以分割的方式读取A平面像素的拍摄图像信号和B平面像素的拍摄图像信号。此外,在下列方式中,仅利用A平面像素的拍摄图像信号对A平面拍摄图像进行混色校正,并且仅利用B平面像素的拍摄图像信号对B平面拍摄图像进行混色校正。
图6示出了使用符号R、G和B的A平面像素的拍摄图像信号。在B平面像素的位置处没有写入符号,这是因为它们没有对应的拍摄图像信号。下面将对关于例如图中的矩形框5所包围的中心G像素(即,具有G滤色器的像素)的检测信号的混色校正进行描述。
将图6中由矩形框5包围的九个像素与图1所示的像素进行比较。位于图1中心的G像素H0的信号、B像素H1(上部相邻像素)的信号、R像素H3(右侧相邻像素)的信号、和R像素(下部相邻像素)的信号存在于矩形框5中,然而不存在图1中所示的像素H2、H4、H6和H8的检测信号,这是因为它们还没有被读出。
在上述说明中,术语“B像素”表示具有蓝色(B)滤色器的像素而不是上述的“B平面像素”。
以上参照图1描述的混色校正需要八个相邻像素H1-H8的信号,因此缺少了像素H2、H4、H6和H8的信号。从图4和图6之间的比较可以看出,像素H8的滤色器的颜色是绿色(g)。在倾斜方向上彼此相邻且其上堆叠有相同颜色滤色器的这些像素极有可能具有相同的接收光量,这是因为它们最多仅彼此相距一个像素尺寸(例如,2μm)。
因此,利用相同颜色的相邻像素的检测信号来代替像素H8的检测信号来进行混色校正就足够了。可以使用相同颜色的关注像素H0的检测信号或相同颜色的像素6的检测信号(见图6)来代替像素H8的检测信号。同样,可以使用相同颜色的关注像素H0的检测信号或相同颜色的像素7的检测信号(见图6)来代替像素H4的检测信号。
从与图6的比较可以看出,图1所示的像素H2具有蓝色(b)滤色器。因此,与具有蓝色(b)滤色器的像素(b像素)成对且具有相同颜色的B像素H1的检测信号可以被用来代替像素H2的检测信号。同样,具有R滤色器(相同颜色)的像素H7的检测信号可以被用来代替图1所示的像素H6的检测信号。
以此方式,在其像素布置和滤色器布置使得与每个必须像素成对且具有相同颜色的像素位于倾斜方向上的固态成像装置21中,即使仅从奇数行或偶数行上的像素中读取信号,也可以知道关注像素周围的八个像素的检测信号(其中四个信号是实际检测信号,而其余四个检测信号是代替信号)。因此,可以利用以上参照图1描述的八个漏光比率a1-a8进行混色校正,从而可以获得其中已经以高精度减小了混色的对象图像。
在上述说明中,以只有A平面像素的检测信号代替将在B平面像素位置获得的检测信号。然而,由于A平面像素和B平面像素之间的差别仅是它们位置的移动,显然,相反地,可以以只有B平面像素的检测信号代替将在A平面像素位置获得的检测信号。此外,尽管在以上描述中将G像素用作关注像素H0,但是即使将R像素或B像素用作关注像素(仅改变存在检测信号代替像素的方向)也可以进行类似的校正。
图7示出了上述混色校正的优点。在不进行分割的情况下,在一帧中读取A平面像素的拍摄图像信号和B平面像素的拍摄图像信号(见图7(a)),在读取了所有像素的拍摄图像信号后执行已知的图像处理和混色校正,并于此后进行预览显示。因此,到预览显示为止要花费相当多的时间。
相比之下,在以分割方式从A平面像素进行读取以及从B平面像素进行读取的情况下(见图7(b)),可以利用从A平面像素读取的拍摄图像信号进行图像处理和混色校正,并可以与这些图像处理和混色校正并行地从B平面像素读取拍摄图像信号。根据A平面像素的拍摄图像信号产生的预览图像在完成了对A平面像素的混色校正等处理之后进行显示,并且可以与预览图像显示并行地利用B平面像素的拍摄图像信号执行图像处理和混色校正。因此,可以缩短整个处理时间。
如上参照图2所述,作为校正参数的漏光比率ai(i=1-8)的值取决于固态成像装置21的光检测面上的位置。更精确地,这些值取决于每个像素在光检测面上的地址。然而,如果需要针对每个像素的地址保存校正参数,则要求保存校正参数的存储器具有巨大的容量。此外,如果需要针对R、G和B保存校正参数(漏光比率)ai(R)、ai(G)和ai(B),则所需的容量增至三倍。
鉴于上述,在下面的实施例中,将图2所示的光检测面1分成多个区域,例如64(8×8)个分割区域。对应于每个分割区域的校正参数ai(i=1-8)被保存为与那个分割区域对应的图8所示的表9,并且被预先存储在图3所示的CPU 29中包括的ROM(未示出)中。每个分割区域的中心坐标的校正参数针对该分割区域设置,并且通过使用各分割区域的中心坐标组在这些分割区域之间进行线性内插产生那个分割区域中的其他坐标组中的每个组的校正参数值。这防止了校正参数值在各分割区域之间的边界处急剧变化而造成作为校正标记的可见台阶的现象。
以此方式,可以减小用于存储校正参数ai的存储器容量。为了进一步减小存储器容量,代替保存对应于图8所示的64(8×8)个分割区域的校正参数组,而仅保存对应于位于方格图案位置处的各分割区域的校正参数组。通过线性内插计算确定位于该方格图案的其他位置处的各分割区域的校正参数组。作为进一步的替代方法,代替保存R、G和B的各校正参数组,可以针对R、G和B保存校正参数的一个公共组,这使存储器容量减小为原来的1/3。还可以通过保存光检测面的中心区域中的校正参数ai(RGB)的一个公共组以及保存周边区域中的ai(R)、ai(G)和ai(B)(ai(R)≠ai(G)≠ai(B))来减小存储器容量。
下面将描述另一方法。在图6所示的矩形框5中,位于中心像素G两侧的像素是(相同颜色的)R像素。如果可以使得右侧R像素和左侧R像素的校正参数(漏光比率)a3和a7相同,则可以省略它们之一以减小存储器容量。同样,如果位于左上位置和右下位置的替代像素g是相同的颜色,则在可以使得校正参数a8和a4相同的情况下,则可以省略它们之一以减小存储器容量。这同样适用于上部和下部B像素。例如,在图8所示的位于光检测面的中心区域并且靠近摄影镜头光轴的分割区域28、29、36和37中,入射光近乎垂直地照射在光检测面上。因此,很有可能以近乎相等的程度各向同性地出现来自相邻像素的混色事件,因此可以使得来自相同颜色像素的漏光比率近乎相等。
例如,两个相邻分割区域(例如,图8所示的分割区域1和9)具有不同的校正参数组,从而在分割区域1和9之间的边界部分中可能出现校正噪声。为了防止这样的噪声,在所述边界部分中,可以利用通过执行涉及分割区域1和9的校正参数组的内插计算而获得的校正参数(组)来进行混色校正。
图9示出了稀疏读取的情况。对于通过驱动固态成像装置21拍摄对象图像,读取利用所有像素拍摄的对象图像(见图9(a)的上部;仅示出了A平面像素)或者执行稀疏读取(见图9(b)的上部)。不必针对图9(b)下部所示的稀疏读取准备校正参数表10来提供这样的稀疏读取。这样的稀疏读取可以通过从图9(a)下部所示的针对所有像素读取的表读取所需的参数组来执行。这样的转用使得不必准备不必要的表10,从而可以节省用于存储表10的存储容量。
图10示出了对对象图像的必需部分进行剪切和读取的情况。例如,在读取通过数字变焦获得的对象图像时,可以利用表格部分12的校正参数组进行混色校正,表格部分12对应于图10(a)上部所示的剪切范围11并且通过转用针对整个光检测面1准备的表9的相应部分(见图9(a))而获取。
在上述实施例中,结合在成像设备中的CPU 29利用下级数字信号处理部分26等执行混色校正。然而,也可以采用替代构造,其中成像设备拍摄对象图像以产生原始数据并且外部个人计算机在显影该原始数据时执行混色校正。在此情况下,个人计算机可以通过获取存储的校正参数的表数据来执行校正。
在根据上述实施例的成像设备和混色校正方法中,将对由成像设备拍摄而产生的拍摄图像信号执行该混色校正方法,其中该成像设备包括:固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行各像素上方以Bayer布置方式布置了滤色器,并且在偶数行各像素上方以Bayer布置方式布置了滤色器;以及成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号和偶数行像素的拍摄图像信号。该混色校正方法的特征在于:利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行的另一个像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行的与所述另一个像素相邻的、且与所述奇数行和偶数行的所述另一个像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
根据实施例的成像设备和混色校正方法的特征在于:通过将关注像素周围的各像素的拍摄图像信号乘以漏光比率校正参数来执行混色校正。
根据实施例的成像设备和混色校正方法的特征在于:所述校正参数是针对光检测面上的各坐标组预先确定的。
根据实施例的成像设备和混色校正方法的特征在于:各校正参数组是针对所述光检测面的多个单独分割区域确定的。
根据实施例的成像设备和混色校正方法的特征在于:所述校正参数是根据入射光的方向和关注像素相对于所述光检测面中心的位置来确定的。
根据实施例的成像设备和混色校正方法的特征在于:关注像素周围的每个像素的校正参数值根据与所述关注像素周围的像素相关联的滤色器的颜色而改变。
根据实施例的成像设备和混色校正方法的特征在于:各校正参数组被保存为表数据。
根据实施例的成像设备和混色校正方法的特征在于:所述关注像素周围的各像素中具有相同颜色的滤色器的多个像素的校正参数具有公共的相同值。
根据实施例的成像设备和混色校正方法的特征在于:利用为所述光检测面的整个有效像素区域提供的校正参数组的值对以稀疏方式从所述固态成像装置读取的拍摄图像信号执行混色校正。
根据实施例的成像设备和混色校正方法的特征在于:当剪切出所述光检测面的整个有效像素区域的局部区域的拍摄图像信号时,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对所述局部区域执行混色校正。
上述实施例使得可以以高精度执行混色校正以及高速执行混色校正处理。
实用性
由于能够进行高精度及高速校正,因此当将根据本发明的混色校正方法应用于数字照相机、数字摄影机、具有相机的移动电话的数码相机、具有相机的小型电子设备等时特别有用。
尽管以上已经参照具体实施例详细描述了本发明,但是对于本领域技术人员来说显而易见的是,在不背离本发明的精神和范围的情况下可以做出各种改变和修改。
本申请基于于2010年10月4日提交的日本申请(日本专利申请第2010-225279号),其公开通过引用并入本文。
符号说明
1:光检测面的有效像素区域
2、3和4:光检测面上的位置
5:矩形框
9:校正表
20:摄影镜头
21:固态成像装置
26:数字信号处理部分
28:显示单元
29:系统控制部分

Claims (20)

1.一种成像设备,包括:
固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行的各像素上方以Bayer布置方式布置了滤色器,并且在偶数行的各像素上方以Bayer布置方式布置了滤色器;
成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号和偶数行像素的拍摄图像信号;以及
混色校正部分,用于利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行中另一个的像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行中的所述另一个相邻的、且与所述奇数行和偶数行中的所述另一个的像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
2.根据权利要求1所述的成像设备,其中,通过将所述关注像素周围的各像素的拍摄图像信号乘以漏光比率校正参数来执行混色校正。
3.根据权利要求2所述的成像设备,其中,所述校正参数是针对所述光检测面上的各坐标组预先确定的。
4.根据权利要求3所述的成像设备,其中,各校正参数组是针对所述光检测面的多个单独分割区域确定的。
5.根据权利要求2至4中任一项所述的成像设备,其中,所述校正参数是根据入射光的方向和所述关注像素相对于所述光检测面中心的位置来确定的。
6.根据权利要求2至5中任一项所述的成像设备,其中,所述关注像素周围的每个像素的校正参数值根据与所述关注像素周围的像素相关联的滤色器的颜色而改变。
7.根据权利要求2至6中任一项所述的成像设备,其中,各校正参数组被保存为表数据。
8.根据权利要求2至7中任一项所述的成像设备,其中,所述关注像素周围的各像素中具有相同颜色的滤色器的多个像素的校正参数具有公共的相同值。
9.根据权利要求2至8中任一项所述的成像设备,其中,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对以稀疏方式从所述固态成像装置读取的拍摄图像信号执行混色校正。
10.根据权利要求2至8中任一项所述的成像设备,其中,当剪切出所述光检测面的整个有效像素区域的局部区域的拍摄图像信号时,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对所述局部区域执行混色校正。
11.一种对由成像设备拍摄而产生的拍摄图像信号执行的混色校正方法,所述成像设备包括:
固态成像装置,其具有在半导体衬底的光检测面上以二维阵列形式布置的多个像素,偶数行上的像素从奇数行上的像素移动了半个像素间距,在奇数行各像素上方以Bayer布置方式布置了滤色器,并且在偶数行各像素上方以Bayer布置方式布置了滤色器;以及
成像装置驱动部分,用于分割地读取各分离帧中的奇数行像素的拍摄图像信号和偶数行像素的拍摄图像信号,
所述方法的特征在于,
利用分割读取的奇数行和偶数行之一的像素的拍摄图像信号中关注像素周围的多个像素的拍摄图像信号以下列方式对所述关注像素的拍摄图像信号执行混色校正:所述多个像素中的所述奇数行和偶数行中另一个的像素的拍摄图像信号被在倾斜方向上与所述奇数行和偶数行中的所述另一个相邻的、且与所述奇数行和偶数行中的所述另一个的像素具有相同颜色的滤色器的所述奇数行和偶数行之一的像素的拍摄图像信号代替。
12.根据权利要求11所述的混色校正方法,其中,通过将所述关注像素周围的各像素的拍摄图像信号乘以漏光比率校正参数来执行混色校正。
13.根据权利要求12所述的混色校正方法,其中,所述校正参数是针对所述光检测面上的各坐标组预先确定的。
14.根据权利要求13所述的混色校正方法,其中,各校正参数组是针对所述光检测面的多个单独分割区域来确定的。
15.根据权利要求12至14中任一项所述的混色校正方法,其中,所述校正参数是根据入射光的方向和所述关注像素相对于所述光检测面中心的位置来确定的。
16.根据权利要求12至15中任一项所述的混色校正方法,其中,所述关注像素周围的每个像素的校正参数值根据与所述关注像素周围的像素相关联的滤色器的颜色而改变。
17.根据权利要求12至16中任一项所述的混色校正方法,其中,各校正参数组被保存为表数据。
18.根据权利要求12至17中任一项所述的混色校正方法,其中,所述关注像素周围的各像素中具有相同颜色的滤色器的多个像素的校正参数具有公共的相同值。
19.根据权利要求12至18中任一项所述的混色校正方法,其中,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对以稀疏方式从所述固态成像装置读取的拍摄图像信号执行混色校正。
20.根据权利要求12至18中任一项所述的混色校正方法,其中,当剪切出所述光检测面的整个有效像素区域的局部区域的拍摄图像信号时,利用为所述光检测面的整个有效像素区域提供的校正参数组的值对所述局部区域执行混色校正。
CN201180005240.5A 2010-10-04 2011-08-29 成像设备和混色校正方法 Expired - Fee Related CN102696228B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010225279 2010-10-04
JP2010-225279 2010-10-04
PCT/JP2011/069482 WO2012046522A1 (ja) 2010-10-04 2011-08-29 撮像装置及び混色補正方法

Publications (2)

Publication Number Publication Date
CN102696228A true CN102696228A (zh) 2012-09-26
CN102696228B CN102696228B (zh) 2015-01-21

Family

ID=45927519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180005240.5A Expired - Fee Related CN102696228B (zh) 2010-10-04 2011-08-29 成像设备和混色校正方法

Country Status (4)

Country Link
US (1) US8416325B2 (zh)
JP (1) JP4997359B2 (zh)
CN (1) CN102696228B (zh)
WO (1) WO2012046522A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838647A (zh) * 2012-12-07 2015-08-12 富士胶片株式会社 摄像装置、图像处理方法及程序
CN104995912A (zh) * 2013-03-05 2015-10-21 富士胶片株式会社 摄像装置、图像处理装置、图像处理方法及程序
CN104838647B (zh) * 2012-12-07 2016-11-30 富士胶片株式会社 摄像装置、图像处理方法
CN104904197B (zh) * 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
CN107154411A (zh) * 2016-03-03 2017-09-12 豪威科技股份有限公司 包含钻石形像素的滤色器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8736733B2 (en) 2010-03-19 2014-05-27 Invisage Technologies, Inc. Dark current reduction in image sensors via dynamic electrical biasing
US10104322B2 (en) 2014-07-31 2018-10-16 Invisage Technologies, Inc. Image sensors with noise reduction
KR102362138B1 (ko) 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
WO2018075581A1 (en) * 2016-10-20 2018-04-26 Invisage Technologies, Inc. Noise mitigation in image sensors with selectable row readout
US10425601B1 (en) 2017-05-05 2019-09-24 Invisage Technologies, Inc. Three-transistor active reset pixel
US11982527B2 (en) * 2022-09-14 2024-05-14 Qualcomm Incorporated Systems and methods of imaging with multi-domain image sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447591A (zh) * 2002-03-27 2003-10-08 松下电器产业株式会社 固体摄像装置以及摄像机
CN1968423A (zh) * 2005-11-17 2007-05-23 索尼株式会社 固体摄像元件的信号处理装置和信号处理方法及摄像装置
CN101437166A (zh) * 2007-11-13 2009-05-20 索尼株式会社 图像拾取装置,修正被捕获的图像数据的方法和程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999417B2 (ja) 1999-09-08 2007-10-31 富士フイルム株式会社 固体撮像装置および信号読出し方法
US7929798B2 (en) * 2005-12-07 2011-04-19 Micron Technology, Inc. Method and apparatus providing noise reduction while preserving edges for imagers
JP5163068B2 (ja) * 2007-11-16 2013-03-13 株式会社ニコン 撮像装置
JP2009141578A (ja) 2007-12-05 2009-06-25 Fujifilm Corp 固体撮像素子の駆動方法および信号処理方法、ならびに撮像装置
JP5292939B2 (ja) 2008-06-20 2013-09-18 ソニー株式会社 画像処理装置および方法、製造装置
JP2011061684A (ja) 2009-09-14 2011-03-24 Fujifilm Corp 固体撮像素子及びその駆動方法並びに撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1447591A (zh) * 2002-03-27 2003-10-08 松下电器产业株式会社 固体摄像装置以及摄像机
CN1968423A (zh) * 2005-11-17 2007-05-23 索尼株式会社 固体摄像元件的信号处理装置和信号处理方法及摄像装置
CN101437166A (zh) * 2007-11-13 2009-05-20 索尼株式会社 图像拾取装置,修正被捕获的图像数据的方法和程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104904197B (zh) * 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
CN104838647A (zh) * 2012-12-07 2015-08-12 富士胶片株式会社 摄像装置、图像处理方法及程序
CN104838647B (zh) * 2012-12-07 2016-11-30 富士胶片株式会社 摄像装置、图像处理方法
CN104995912A (zh) * 2013-03-05 2015-10-21 富士胶片株式会社 摄像装置、图像处理装置、图像处理方法及程序
CN104995912B (zh) * 2013-03-05 2017-03-08 富士胶片株式会社 摄像装置、图像处理装置及图像处理方法
CN107154411A (zh) * 2016-03-03 2017-09-12 豪威科技股份有限公司 包含钻石形像素的滤色器
CN107154411B (zh) * 2016-03-03 2020-12-25 豪威科技股份有限公司 包含钻石形像素的滤色器

Also Published As

Publication number Publication date
JP4997359B2 (ja) 2012-08-08
WO2012046522A1 (ja) 2012-04-12
US8416325B2 (en) 2013-04-09
US20120268635A1 (en) 2012-10-25
CN102696228B (zh) 2015-01-21
JPWO2012046522A1 (ja) 2014-02-24

Similar Documents

Publication Publication Date Title
CN102696228B (zh) 成像设备和混色校正方法
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
EP3242479B1 (en) Imaging device and mobile terminal
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
EP1841207B1 (en) Imaging device, imaging method, and imaging device design method
US10257447B2 (en) Imaging method, imaging device, and electronic device
US9661210B2 (en) Image pickup device and image pickup apparatus
CN103842877B (zh) 成像装置和合焦参数值计算方法
CN101836150B (zh) 摄像设备
CN104427251B (zh) 焦点检测设备、其控制方法、以及摄像设备
CN102611850A (zh) 成像装置和成像设备
CN109981939A (zh) 成像系统
JP6602109B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN104284106A (zh) 固态摄像装置和电子设备
JP2017216646A (ja) 撮像素子、撮像装置、および撮像信号処理方法
CN103688536A (zh) 图像处理装置、图像处理方法及程序
CN106488148A (zh) 一种超分辨率图像传感器及其构造方法
JPWO2013099637A1 (ja) カラー撮像素子及び撮像装置
US20070164387A1 (en) Imaging system for correcting dark level with high accuracy
CN103581578A (zh) 图像拾取装置和图像拾取方法
US7705910B2 (en) Photographic device for obtaining a plurality of images at a time by rolling shutter method
JP6035612B2 (ja) 光記録媒体及び光情報再生方法
EP2763400B1 (en) Imaging element, and imaging device
JP2002359783A (ja) 撮像装置及び画素欠陥補正方法
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150121

Termination date: 20190829

CF01 Termination of patent right due to non-payment of annual fee