CN104025577B - 图像处理装置、方法以及摄像装置 - Google Patents

图像处理装置、方法以及摄像装置 Download PDF

Info

Publication number
CN104025577B
CN104025577B CN201280064987.2A CN201280064987A CN104025577B CN 104025577 B CN104025577 B CN 104025577B CN 201280064987 A CN201280064987 A CN 201280064987A CN 104025577 B CN104025577 B CN 104025577B
Authority
CN
China
Prior art keywords
pixel
filter
colour mixture
image
look
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280064987.2A
Other languages
English (en)
Other versions
CN104025577A (zh
Inventor
林健吉
入江公祐
仓桥秀和
田中诚二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104025577A publication Critical patent/CN104025577A/zh
Application granted granted Critical
Publication of CN104025577B publication Critical patent/CN104025577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

对I×J(I、J：2以上的整数)像素的重复周期的马赛克图像，与I×J像素内的像素位置建立关联地将混色率存储于存储器部(26)，从存储器部(26)读出与混色校正的对象像素的I×J像素内的像素位置建立了关联的混色率A，基于混色率A和对象像素的色信号而除去对象像素所含的混色成分，并基于混色校正后的马赛克图像的各像素的色信号而算出白平衡增益。

Description

图像处理装置、方法以及摄像装置
技术领域
本发明涉及图像处理装置及方法以及摄像装置，尤其涉及对与单板的摄像元件上配置的滤色器排列对应的马赛克图像的各像素间的混色等的影响进行排除的技术。
背景技术
通常，在具有马赛克状的滤色器排列的摄像元件中，发生由来自相邻的像素的光的漏入引起的混色。另外，在具有每预定的像素组共有放大器的元件构造的摄像元件中，输出特性会根据放大器与各像素的位置关系而产生差异。
在根据受到混色等的影响的RGB的色信号来算出白平衡(WB)校正用的WB增益的情况下，存在无法算出精度良好的WB增益的问题。
以往，作为从包含混色成分的色信号除去混色成分的技术，具有专利文献1所记载的内容。
专利文献1记载的摄像装置具有系数表，该系数表将多个像素沿行方向以及列方向排列而得到的像素排列中的每个像素位置和与从周边像素向该像素混入的信号成分相关的校正系数建立对应地存储。并且，专利文献1记载的摄像装置设为，根据校正对象像素的位置从所述系数表读出对应的校正系数，并使用校正对象像素的周边像素的信号和校正系数来对校正对象像素的信号进行校正。
另外，公知有以简便的方法对因倾斜入射到摄像元件的光而在摄像图像产生的混色有效地进行校正而进行白平衡校正的技术(专利文献2)。
专利文献2记载的图像处理装置在预定的色度坐标空间中，以黑体放射轴为基准而设定白检测区域，根据该白检测区域所含的像素的每个色成分的积分值来推定环境光源。专利文献2记载的图像处理装置的特征在于，特别是由于混色成分的量依赖于光圈的尺寸，因此根据光圈值(F值)对白检测区域进行切换。
另一方面，作为摄像元件的滤色器排列而公知的拜耳排列中，R(红)像素在左右方向所相邻的Gr(R行的绿)像素和B(蓝)在左右方向所相邻的Gb(B行的绿)像素原本应答应该相等。然而，存在“Gr”和“Gb”中产生不均衡的课题。另外，存在在摄像区域的周边部产生着色的课题。专利文献3记载的彩色固体摄像装置为了解决该课题，使在滤色器上以像素为单位设置的聚光用的微透镜的尺寸(面积)以像素为单位发生变化。
专利文献1：特开2010－130583号公报
专利文献2：特开2011－234231号公报
专利文献3：特开2009－88255号公报
发明内容
发明要解决的课题
专利文献1记载的发明设置系数表，所述系数表将传感器面内的每个像素位置和与从周边像素向该像素混入的信号成分相关的校正系数建立对应而存储。由此，能够对传感器面内的每个像素位置使用适当的校正系数。然而，这种情况下，存在校正系数的数据量变得庞大的问题。另外，在专利文献1具有替代系数表而存储关系式来降低数据量的记载。然而，在专利文献1中存在如下问题：在校正系数的传感器面内的变化不适于特定的关系式的情况下，无法算出适当的校正系数。
专利文献2记载的图像处理装置中，由于混色成分的量依赖于光圈的尺寸，因此与光圈值对应而切换白检测区域，并将与该白检测区域对应的像素的色信号按每色进行加算平均而算出色平均值。然而，在专利文献2中存在如下问题：没有考虑并非是由光圈的尺寸所引起的混色成分(例如，对象像素的周边像素的颜色产生的影响等)，白平衡校正的精度变得较低。
另外，专利文献3记载的发明由于使以像素为单位设置在滤色器上的微透镜的尺寸(面积)以像素为单位变化，因此微透镜的制造较为困难。另外，专利文献3记载的发明中，无法应对每个摄像元件特性产生偏差的情况。
本发明鉴于这种情形而提出，目的在于提供图像处理装置及方法以及摄像装置，即使是复杂的滤色器排列的马赛克图像，也能够容易地将该马赛克图像的各像素间的混色等的影响排除，由此能够良好地进行白平衡校正。
用于解决课题的方法
为了达到所述目的，本发明的一方面所涉及的图像处理装置具备：图像获取单元，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J(I、J为2以上的整数且至少一方为3以上)像素的重复周期的像素构造的摄像元件；存储单元，将与I×J像素的各像素分别对应的混色率与I×J像素内的像素位置建立关联地存储；混色校正单元，是从由图像获取单元取得的马赛克图像的各像素的色信号除去该色信号所含的来自周边像素的混色成分的混色校正单元，从存储单元读出与任意的混色校正的对象像素的I×J像素内的像素位置建立了关联的混色率，基于读出的混色率和对象像素的色信号除去对象像素所含的混色成分；计算单元，基于由混色校正单元进行了混色校正的马赛克图像的各像素的色信号而算出每色的平均值；白平衡增益计算单元，基于由计算单元算出的每色的平均值而算出白平衡增益；及白平衡校正单元，基于由白平衡增益计算单元算出的白平衡增益，对马赛克图像的各像素的色信号进行白平衡校正。
混色校正的对象像素受到来自相邻的多个周边像素的混色等的影响，其影响的程度因周边像素的方位方向(例如上下左右方向)、周边像素的颜色等而不同。在由包含具有I×J像素的重复周期的像素构造的摄像元件的摄像单元拍摄到的马赛克图像的情况下，相对于任意的对象像素的多个周边像素的颜色等的组合(重复序列)的数目存在较多。由此，即使是相同的色的对象像素，这些对象像素的周边像素的颜色等的组合也分别不同。其结果为，相同色的对象像素之间，输出特性不同。
根据本发明的一方面，将与I×J像素的各像素分别对应的混色率与I×J像素内的像素位置建立关联地存储于存储单元。该情况下，优选为以如下方式设定混色率：接受了相同的光的相同颜色的像素即使其周边像素的颜色等的组合不同也能够得到相同的输出。并且设为，在进行任意的混色校正的对象像素的混色校正的情况下，从存储单元读出与该对象像素的I×J像素内的像素位置建立了关联的混色率，并基于读出的混色率和对象像素的色信号除去对象像素所含的混色成分。基于如此进行了混色校正的马赛克图像的各像素的色信号来算出白平衡增益。由此，能够算出精度高的白平衡增益。另外，通过基于算出的白平衡增益对马赛克图像的各像素的色信号进行白平衡校正，从而能够实现良好的白平衡校正。
本发明的另一方面所涉及的图像处理装置具备：图像获取单元，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J(I、J为2以上的整数且至少一方为3以上)像素的重复周期的像素构造的摄像元件；存储单元，将与I×J像素的各像素分别对应的混色率与I×J像素内的像素位置建立关联地存储；第一计算单元，算出由图像获取单元取得的马赛克图像的各像素的色信号的I×J像素内的每个像素位置的积算值；积算值校正单元，基于与I×J像素内的像素位置建立了关联的混色率而对由第一计算单元算出的I×J像素内的每个像素位置的积算值进行校正；第二计算单元，按照每色对由积算值校正单元进行了校正的I×J像素内的每个像素位置的积算值进行加算，算出每色的平均值；白平衡增益计算单元，基于由第二计算单元算出的每色的平均值而算出白平衡增益；及白平衡校正单元，基于由白平衡增益计算单元算出的白平衡增益，对马赛克图像的各像素的色信号进行白平衡校正。
本发明的另一方面中，先算出马赛克图像的各像素的色信号的I×J像素内的每个像素位置的积算值，对各积算值基于分别对应的混色率来进行校正。接下来，对相同的颜色的进行了校正的积算值进行加算而算出每色的平均值。基于这些每色的平均值而算出白平衡增益。如此算出的白平衡增益能够成为与本发明的一方面的白平衡增益相同的值，使得能够实现良好的白平衡校正。
本发明的又一方面所涉及的图像处理装置中，马赛克图像包含由具有多个颜色的色像素的M×N(M≤I，N≤J)像素构成的基本排列图案的像素组，是该基本排列图案的像素组在水平以及垂直方向上重复配置而得到的图像。
本发明的又一方面所涉及的图像处理装置中，马赛克图像是从具有每预定的像素组共有放大器的元件构造的摄像元件输出的图像，预定的像素组具有K×L(K≤M，L≤N，K、L是自然数)像素的尺寸。
本发明的又一方面所涉及的图像处理装置中，优选为，存储单元对应将马赛克图像的整个区域分割为多个分割区域时的每个分割区域存储混色率。
本发明的又一方面所涉及的图像处理方法包括：图像获取工序，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J(I、J为2以上的整数且至少一方为3以上)像素的重复周期的像素构造摄像元件；准备存储单元的工序，所述存储单元将与I×J像素的各像素分别对应的混色率与I×J像素内的像素位置建立关联地存储；混色校正工序，是从由图像获取单元取得的马赛克图像的各像素的色信号除去该色信号所含的来自周边像素的混色成分的混色校正单元，从存储单元读出与任意的混色校正的对象像素的I×J像素内的像素位置建立了关联的混色率，基于读出的混色率和对象像素的色信号除去对象像素所含的混色成分；计算工序，基于由混色校正工序进行了混色校正的马赛克图像的各像素的色信号而算出每色的平均值；白平衡增益计算工序，基于由计算工序算出的每色的平均值，算出白平衡增益；及白平衡校正工序，基于由白平衡增益计算工序算出的白平衡增益，对马赛克图像的各像素的色信号进行白平衡校正。
本发明的又一方面所涉及的图像处理方法包括：图像获取工序，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J(I、J为2以上的整数且至少一方为3以上)像素的重复周期的像素构造的摄像元件；准备存储单元的工序，所述存储单元将与I×J像素的各像素分别对应的混色率与I×J像素内的像素位置建立关联地存储；第一计算工序，算出由图像获取工序取得的马赛克图像的各像素的色信号的I×J像素内的每个像素位置的积算值；积算值校正工序，基于与I×J像素内的像素位置建立了关联的混色率，对由第一计算工序算出的I×J像素内的每个像素位置的积算值进行校正；第二计算工序，按照每色对由积算值校正工序进行了校正的I×J像素内的每个像素位置的积算值进行加算，算出每色的平均值；白平衡增益计算工序，基于由第二计算工序算出的每色的平均值而算出白平衡增益；及白平衡校正工序，基于由白平衡增益计算工序算出的白平衡增益，对马赛克图像的各像素的色信号进行白平衡校正。
本发明的又一方面所涉及的摄像装置具备：摄像单元，包含摄影光学系统和经由该摄影光学系统使被拍摄体像成像的摄像元件；图像获取单元，取得从摄像单元输出的马赛克图像；以及前述的图像处理装置。
本发明的又一方面所涉及的摄像装置中，摄像元件在由排列于水平方向以及垂直方向的光电转换元件构成的多个像素上配置预定的滤色器排列的滤色器，所述滤色器排列包含第一滤光片和第二滤光片排列而成的预定的基本排列图案，第一滤光片与一种颜色以上的第一色对应，第二滤光片与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应，该基本排列图案在水平以及垂直方向上重复配置，基本排列图案是与M×N(M≤I，N≤J)像素对应的排列图案。
本发明的又一方面所涉及的摄像装置中，优选为，第一滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置1个以上，与第二色的各色对应的第二滤光片在基本排列图案内在滤色器排列的水平及垂直方向的各行内配置1个以上，与第一滤光片对应的第一色的像素数的比率比与第二滤光片对应的第二色的各色的像素数的比率大。
若将上述滤色器排列做成摄像元件，由于设为将与最有助于获得亮度信号的第一色对应的第一滤光片配置在滤色器排列的水平、垂直、斜右上及倾斜右下方向的各行内，因此能够提高高频区域中的去马赛克算法处理的再现精度。另外，即使对于与第一色以外的两种颜色以上的第二色对应的第二滤光片，由于也设为在基本排列图案内在滤色器排列的水平以及垂直方向的各行内配置1个以上，因此能够降低彩色莫尔条纹(伪色)的产生并实现高分辨率化。另外，滤色器排列中，将预定的基本排列图案在水平方向以及垂直方向重复配置，因此进行后段的去马赛克算法处理时，能够按照重复图案而进行处理。此外，也可以使与第一滤光片对应的第一色的像素数和与第二滤光片对应的第二色的各色的像素数的比率不同，特别是使最有助于获得亮度信号的第一色的像素数的比率比与第二滤光片对应的第二色的各色的像素数的比率大。由此，能够抑制混叠现象，高频再现性也良好。
本发明的又一方面所涉及的摄像装置中，优选为，基本排列图案是与3×3像素对应的正方排列图案，在中心和4角配置有第一滤光片。
本发明的又一方面所涉及的摄像装置中，优选为，第一色是绿(G)色，第二色是红(R)色以及蓝(B)色，预定的基本排列图案是与6×6像素对应的正方排列图案，滤光片排列将第一排列和第二排列交替地排列于水平方向以及垂直方向而构成，第一排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，第二排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。
本发明的又一方面所涉及的摄像装置中，优选为，摄像元件具有每预定的像素组共有放大器的元件构造，预定的像素组具有K×L(K≤M，L≤N，K、L是自然数像素)的尺寸。
本发明的又一方面所涉及的摄像装置中，摄像元件的I×J像素的重复周期的像素构造是周期为M×N像素的基本排列图案和K×L像素的预定的像素组的最小公倍数的像素构造。
发明效果
根据本发明，设为将具有I×J像素的周期性的马赛克图像的与I×J像素的各像素分别对应的混色率与I×J像素内的像素位置建立关联地存储于存储单元，基于根据所述混色率进行了校正的马赛克图像的每色的平均值而算出白平衡增益，因此能够算出精度高的白平衡增益，由此能够进行良好的白平衡校正。
附图说明
图1是表示本发明所涉及的摄像装置的实施方式的框图。
图2是表示配置于摄像元件的马赛克状的新型的滤色器排列的图。
图3是关于将图2所示的基本排列图案四分为3×3像素的状态而表示的图。
图4是表示图1所示的图像处理部的第一实施方式的内部结构的主要部分框图。
图5是表示基本排列图案内的36个各像素的位置的图。
图6是表示2×2的4像素共有一个放大器的摄像元件的一例的图。
图7是对表示混色率的校正表的一例进行表示的图表。
图8是表示马赛克图像的8×8的分割区域的图。
图9是对图4所示的混色校正部的内部结构的实施方式进行表示的框图。
图10是表示本发明所涉及的图像处理方法的实施方式的流程图。
图11是表示图1所示的图像处理部的第二实施方式的内部结构的主要部分框图。
图12是表示图11所示的RGB积算部的内部结构的实施方式进行表示的框图。
图13是表示具备R滤光片(红滤光片)、G1滤光片(第一绿滤光片)、G2滤光片(第二绿滤光片)以及B滤光片(蓝滤光片)的摄像元件的分光灵敏度特性的曲线图。
图14是表示具备R滤光片、G滤光片、B滤光片以及W滤光片(透明滤光片)的摄像元件的分光灵敏度特性的曲线图。
图15是表示具备R滤光片、G滤光片、B滤光片以及E滤光片(翠绿滤光片)的摄像元件的分光灵敏度特性的曲线图。
具体实施方式
以下，根据附图对本发明所涉及的图像处理装置及方法以及摄像装置的实施方式进行详细说明。
〔摄像装置的实施方式〕
图1是表示本发明所涉及的摄像装置的实施方式的框图。
该摄像装置10是将拍摄到的图像记录在内部存储器(存储器部26)或外部的记录介质(未图示)的数码相机，装置整体的动作由中央处理装置(CPU)12统一控制。
在摄像装置10设有包含快门按钮(快门开关)、模式盘、重放按钮，MENU/OK键、十字键、变焦按钮、BACK键等的操作部14。来自该操作部14的信号被输入到CPU12，CPU12基于输入信号而对摄像装置10的各电路进行控制，例如，经由设备控制部16对透镜部18、快门20、作为图像获取单元而发挥功能的摄像元件22进行控制，并且进行摄影动作控制、图像处理控制、图像数据的记录/重放控制、显示部25的显示控制等。
透镜部18包含聚焦透镜、变焦透镜、光圈等，通过了透镜部18及快门20的光束在摄像元件22的受光面成像。
摄像元件22是CMOS(Complementary Metal-OxideSemiconductor：互补金属氧化物半导体)型、XY选址型、或CCD(ChargeCoupled Device：荷耦合元件)型的彩色图像传感器。在摄像元件22的受光面，将多个受光元件(光电二极管)二维排列。在各光电二极管的受光面上成像的被拍摄体像被转换为与其入射光量对应的量的信号电压(或电荷)。
＜摄像元件的实施方式＞
图2是表示上述摄像元件22的实施方式的图，特别是关于在摄像元件22的受光面上配置的新型的滤色器排列而表示。
该摄像元件22的滤色器排列包含由与M×N(6×6)像素对应的正方排列图案构成的基本排列图案P(粗线框所示的图案)。在摄像元件22的受光面上，该基本排列图案P在水平方向以及垂直方向上重复配置。即，该滤色器排列中，将红(R)、绿(G)、蓝(B)的各色的滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性而排列。如此，由于将R滤光片、G滤光片、B滤光片以预定的周期性而排列，因此进行从摄像元件22读出的RGB的RAW数据(马赛克图像)的图像处理等时，能够按照重复图案而进行处理。
图2所示的滤色器排列中，与最有助于获得亮度信号的颜色(该实施方式中为G的颜色)对应的G滤光片在滤色器排列的水平、垂直、斜右上(NE)及斜左上(NW)方向的各行内配置1以上。
NE表示斜右上方向，NW表示斜右下方向。例如，正方形的像素的排列的情况下，斜右上以及斜右下方向成为分别相对于水平方向为45°的方向。若是长方形的像素的排列，则是长方形的对角线的方向，其角度能够根据长边/短边的长度而变化。
与亮度系像素对应的G滤光片在滤色器排列的水平、垂直、以及倾斜(NE，NW)方向的各行内配置，因此能够不依靠成为高频的方向而提高高频区域的去马赛克算法处理的再现精度。
另外，图2所示的滤色器排列中，与上述G的色以外的两种颜色以上的其他色(该实施方式中为R、B的色)对应的R滤光片、B滤光片分别在基本排列图案的水平及垂直方向的各行内配置一个以上。
R滤光片、B滤光片在滤色器排列的水平及垂直方向的各行内配置，因此能够降低伪色(彩色莫尔条纹)的发生。由此，能够将用于降低(抑制)伪色的发生的光学低通滤光片省略。另外，即使在适用光学低通滤光片的情况下也能够适用旨在防止伪色发生的截止高频成分的作用较弱的器件，能够不损害分辨率。
此外，图2所示的滤色器排列的基本排列图案P中，其基本排列图案中的与R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为8像素、20像素、8像素。即，RGB像素的各像素数的比率成为2：5：2，最有助于获得亮度信号的G像素的像素数的比率比其他色的R像素、B像素的各自的像素数的比率大。
如上述那样，G像素的像素数和R、B像素的像素数的比率不同，特别是设为，最有助于获得亮度信号的G像素的像素数的比率比R、B像素的像素数的比率大。由此，能够抑制去马赛克算法处理时的混叠现象，并且也能够使高频再现性良好。
图3示出将图1所示的基本排列图案P四分割为3×3像素后的状态。
如图3所示，基本排列图案P也可以看作是：由实线的框围成的3×3像素的A排列和由虚线的框围成的3×3像素的B排列在水平、垂直方向上交替地排列而得到的排列。
A排列以及B排列中，G滤光片分别配置于4角和中央，并配置于两对角线上。另外，A排列中，R滤光片隔着中央的G滤光片排列于水平方向上，B滤光片排列于垂直方向上。另一方面，B排列中，B滤光片隔着中央的G滤光片排列于水平方向上，R滤光片排列于垂直方向上。即，A排列和B排列中，R滤光片和B滤光片的位置关系逆转，但是其他的配置是同样。
另外，通过将A排列和B排列在水平、垂直方向交替地配置，A排列和B排列的4角的G滤光片成为与2×2像素对应的正方排列的G滤光片。
蓄积于上述构成的摄像元件22的信号电荷基于从设备控制部16施加的读出信号而作为与信号电荷对应的电压信号而被读出。从摄像元件22读出的电压信号，被施加到A/D转换器24，在此被顺次转换为与滤色器排列对应的数字的R、G、B信号，暂时保存在存储器部26。
存储器部26包括作为易失性存储器的SDRAM(SynchronousDynamic Random Access Memory：同步动态存取存储器)、作为可改写的非易失性存储器的EEPROM(Electrically Erasable ProgrammableRead-Only Memory：电可擦写可编程只读存储器；存储单元)等。SDRAM作为CPU12对程序的执行时的工作区域，并且，作为将拍摄而取得的数字图像信号暂时保持的存储区域而使用。另一方面，在EEPROM存储包含图像处理程序的相机控制程序、摄像元件22的像素的缺陷信息、包含混色校正的图像处理等中所使用的各种的参数、表等。
图像处理部28对暂时存储在存储器部26的数字的图像信号进行混色校正、白平衡校正、伽马校正处理、去马赛克算法处理(去马赛克处理)、RGB/YC转换等预定的信号处理。这里，所谓去马赛克算法处理，是根据与单板式的彩色摄像元件的滤色器排列对应的马赛克图像对每个像素算出全部的颜色信息的处理，也称作颜色插值处理或去马赛克处理。例如，在由RGB这三色的滤色器构成的摄像元件的情况下，是根据由RGB构成的马赛克图像对每个像素算出RGB全部的颜色信息的处理。另外，后面将对本发明所涉及的图像处理装置(图像处理部28)的详细内容进行描述。
由图像处理部28处理后的图像数据在编码器30中被编码为图像显示用的数据，并经由驱动器32输出到设于相机背面的显示部25。由此，被拍摄体像连续地显示于显示部25的显示画面上。
若存在操作部14的快门按钮的第一阶段的按下(半按)，则CPU12进行控制以使AF(Automatic Focus)动作以及AE(Automatic ExposureAdjustment)动作开始，并经由设备控制部16使透镜部18的聚焦透镜沿光轴方向移动，聚焦透镜到达对焦位置。
CPU12基于快门按钮的半按时从A/D转换器24输出的图像数据来算出被拍摄体的明亮度(摄影Ev值)，根据该摄影Ev值而决定曝光条件(F值、快门速度)。
若AE动作以及AF动作结束，且存在快门按钮的第二阶段的按下(全按)，则根据所述决定的曝光条件，对光圈、快门20以及摄像元件22的电荷蓄积时间进行控制而进行本拍摄。在本拍摄时，从摄像元件22读出且由A/D转换器24进行了A/D转换的RGB的马赛克图像(与图2所示的滤色器排列对应的图像)的图像数据暂时地存储在存储器部26。
由图像处理部28适当读出暂时存储于存储器部26的图像数据，在此，进行包括混色校正、白平衡校正、伽马校正、去马赛克算法处理、RGB/YC转换等预定的信号处理。进行了RGB/YC转换的图像数据(YC数据)按照预定的压缩格式(例如，JPEG(Joint PhotographicExperts Group)方式)被压缩。被压缩的图像数据以预定的图像文件(例如，Exif(Exchangeable image file format)文件)形式被记录于内部存储器、外部存储器。
[图像处理]
<第一实施方式>
图4是表示图1所示的图像处理部28的第一实施方式的内部结构的主要部分框图。
如图4所示，图像处理部28具备：混色校正部(混色校正单元)100；白平衡(WB)校正部(白平衡校正单元)200；进行伽马校正、去马赛克算法处理、RGB/YC转换等的信号处理的信号处理部300；RGB积算部(计算单元)400；以及白平衡(WB)增益计算部(白平衡增益计算单元)500。
如前述的那样，在摄影时从摄像元件22输出的滤色器排列的原样的RAW数据(马赛克图像)暂时被存储在存储器部26。图像处理部28从存储器部26取得马赛克图像(RGB的色信号)。
所取得的RGB的色信号以点顺序施加于混色校正部100。混色校正部100除去以点顺序输入的混色校正的对象像素的色信号所含的来自周边像素的混色成分。另外，后面将对混色校正部100的详细内容进行描述。
由混色校正部100除去了混色成分的马赛克图像的各像素的色信号被施加于WB校正部200，并且被施加于RGB积算部400。
RGB积算部400对应将1画面分割为8×8后的每个分割区域(参照图8)对每个RGB的色信号进行积算，并算出其积算平均值。由RGB积算部400按照每个分割区域所算出的每个RGB的积算平均值被施加于WB增益计算部500。
WB增益计算部500对应每个分割区域算出由RGB的积算平均值的比(R/G、B/G)构成的色信息。在将1画面分割为8×8的64个分割区域的情况下，算出64个色信息(R/G、B/G)(计算工序)。
WB增益计算部500基于这些分割区域的每个分割区域的色信息(R/G，B/G)算出WB增益。具体来说，算出64个分割区域的每个分割区域的色信息的R/G、B/G轴坐标的色空间上的分布的重心位置，根据该重心位置所表示的色信息来推定环境光的色温。另外，也可以替代色温，求出具有该重心位置所表示的色信息的光源种类例如蓝天、背阴、晴天、荧光灯(昼光色、昼白色、白色、暖白色)、钨灯、低钨灯等来推定摄影时的光源种类(参照特开2007－53499号公报)。另外，也可以根据推定出的光源种类来推定色温。
在WB增益计算部500预先对应于环境光的色温或光源种而准备用于进行适当的白平衡校正的每个RGB或每个RB的WB增益。WB增益计算部500基于所述推定出的环境光的色温或光源种类而读出对应的每个RGB或每个RB的WB增益，并将该读出的WB增益输出到WB校正部200(白平衡增益计算工序)。
WB校正部200通过对从混色校正部100输入的每个R、G、B的色信号分别乘以从WB增益计算部500输入的每种色的WB增益来进行白平衡校正(白平衡校正工序)。
从WB校正部200输出的R、G、B的色信号被施加于信号处理部300，在此，进行：伽马校正、对与摄像元件22的滤色器排列相伴的R、G、B的色信号的空间上的偏差进行插值而将R、G、B的色信号转换为去马赛克型的去马赛克算法处理、将进行了去马赛克算法处理的R、G、B的色信号转换为亮度信号Y、色差信号Cr、Cb的RGB/YC转换等的信号处理。并且，信号处理部300将进行了信号处理的亮度信号Y、色差信号Cr、Cb输出。
从图像处理部28输出的亮度数据Y以及色差数据Cr、Cb被压缩处理后，记录在内部存储器、外部存储器。
＜混色校正＞
图5是表示图2所示的与6×6像素对应的基本排列图案的图，该基本排列图案与36个像素组对应。
如图5所示，将基本排列图案内的36个各像素的位置作为(1)～(36)。另外，基本排列图案内的左上角的G像素的位置用(1)表示，右下角的G像素的位置用(36)表示。
基本排列图案内的位置(1)～(18)的18个像素与图3所示的A排列和B排列的像素对应，位置(19)～位置(36)的18个像素与图3所示的B排列和A排列对应。
现在，若将位置(16)的G像素作为混色校正的对象像素，则与该对象像素相邻的上下左右的周边像素(上像素、下像素、左像素、右像素)的颜色分别为B、G、G及R。并且，3×3像素的A排列的9像素以及B排列的9像素(位置(1)～(18)的18个像素)中，即使在将其中任一个像素作为对象像素的情况下，与该对象像素的上下左右相邻的4个像素的色的组合也将不同。
来自周边像素的混色对对象像素的影响，因该周边像素的方位方向(上下左右)、以及周边像素的颜色(RGB)而不同。
对象像素的四个周边像素的颜色也能够采取RGB的3色的任一色，因此四个周边像素的色的组合(重复序列)存在34＝81种。另外，该实施方式的滤色器排列的情况下，四个周边像素的组合有与A排列以及B排列的18像素对应的18种。
若基本排列图案的像素尺寸变大，3色的RGB的像素的排列的自由度升高，则相邻的周边像素的颜色配置的组合增加。另外，在除了RGB这3色以外还存在翠绿、黄色的像素的情况下，颜色配置的组合能够进一步增加。
另一方面，该实施方式的摄像元件22是CMOS型的摄像元件，如图6所示在CMOS的基底埋入像素共有放大器A，K×L(2×2)像素共有一个放大器A。由于该摄像元件22的元件构造，输出电平根据像素相对于放大器A的位置1～4(相对于放大器A左上、右上、左下、右下的位置)而产生差异。
在图5中，虚线所围成的2×2像素表示共有一个放大器A的4像素。
在图5中，位置(8)的G像素和位置(29)的G像素分别是3×3像素的A排列(参照图3)的中心的G像素，这些像素的上下左右的周边像素的颜色为B、B、R、R，成为相同的颜色的组合，但是像素相对于放大器A的位置不同。即，位置(8)的G像素、以及位置(29)的G像素的相对于放大器A的像素的位置如图6所示分别与4和1对应。
因此，位置(8)的G像素和位置(29)的G像素即使周边像素的颜色的组合相同，输出电平也能够产生差异。
现在，基本排列图案为M×N像素(M×N像素内的颜色的配置为非对称的情况下的M×N像素)的情况下，M×N个全部的像素的周边像素的颜色的组合成为不同的组合。另外，共有放大器的像素组为K×L(K≤M，L≤N)像素的情况下，K×L个像素分别相对于放大器的像素的位置不同，输出电平产生差。
因此，基本排列图案内的M×N像素的各像素的位置和共有放大器的像素组的K×L像素内的像素的位置的组合存在M×N像素和K×L像素的最小公倍数的数量。
本例的图3所示的6×6像素的基本排列图案中，6×6像素内的颜色的配置成为对称(A排列和B排列相互交错地配置)。由此，4个周边像素的颜色的组合不同的最小的排列图案的像素尺寸为3×6像素。
另一方面，本例的图6所示的共有一个放大器A的像素组是2×2像素。并且，3×6像素和2×2像素的最小公倍数为36(＝6×6)。
即，图5所示的基本排列图案内的36个像素即使在以基本排列图案内的任一位置的像素为对象像素的情况下，该对象像素的4个周边像素的颜色的组合和共有放大器A的像素组内的位置中的至少一方变得不同。
图7是表示存储在存储器部26中的混色率的校正表。在该校正表存储有与基本排列图案内的像素的位置(1)～(36)对应的36个混色率(校正系数)A1～A36。
这些混色率A1～A36，例如在均匀的白色光(例如日光D50)入射到摄像元件22的各像素的情况下，设定成以使相同的颜色的像素(本例的情况下，为8个R像素、20个G像素，8个B像素)的输出电平一致的方式，更优选为使36个所有像素的输出电平一致的方式进行校正的系数。
关于校正表向存储器部26的保存，优选为预先在产品发货前的检查时求算上述混色率A1～A36，并按产品类别进行保存(准备工序)。
另外，在马赛克图像的中央部和周边部，被拍摄体光向摄像元件22的各像素的入射角不同，因此混色率不同。因此，如图8所示，将马赛克图像的整个区域例如分割为8×8的分割区域，对应每个分割区域将图7所示的校正表存储在存储器部26。
图9是表示图4所示的混色校正部100的内部结构的实施方式的框图。
该混色校正部100具备乘法器110、对象像素信息获取部112和混色率设定部114。
图9中，经由摄像元件22而取得的马赛克图像(RGB的色信号)以点顺序施加于乘法器110。
另一方面，在对象像素信息获取部112施加有表示施加于乘法器110的混色校正的对象像素的、马赛克图像内的对象像素的位置(x，y)的信息。对象像素信息获取部112基于表示对象像素的位置(x，y)的信息，取得表示该对象像素的基本排列图案内的位置(图5所示的位置(1)～(36)中的任一个位置)的位置信息和表示该对象像素所属的分割区域(参照图8)的分割区域信息。将由对象像素信息获取部112所取得的对象像素的基本排列图案内的位置信息和分割区域信息输出到混色率设定部114。
混色率设定部114基于从对象像素信息获取部112输入的基本排列图案内的位置信息和分割区域信息，从存储器部26读出对应的混色率A，并将该混色率A施加于乘法器110的其他的输入。即，混色率设定部114基于分割区域信息选择与对象像素所属的分割区域相对应的校正表，从所选择的校正表基于基本排列图案内的位置信息读出如图7所示与基本排列图案内的位置(1)～(36)建立关联地存储的混色率A(混色率A1～A36中的任一混色率)。
乘法器110将所输入的混色校正的对象像素的色信号和混色率A相乘，将乘积值作为除去了混色等的影响后的色信号，输出到前述的图4所示的WB校正部200以及RGB积算部400。
＜图像处理方法＞
图10是表示本发明所涉及的图像处理方法的实施方式的流程图。
图10中，混色校正部100首先在混色校正开始前将混色校正的对象像素的位置(x，y)设定为初始值(0，0)(步骤S10)。
接下来，取得对象像素(x，y)的色信号(像素值)和该对象像素(x，y)的基本排列图案内的位置信息和分割区域信息(步骤S12，图像获取工序)。
混色率设定部114基于所述取得的位置信息以及分割区域信息，从存储器部26读出对应的混色率A(步骤S14)。
接下来，将步骤S12中取得的对象像素(x，y)的像素值和步骤S14中读出的混色率A相乘，将该乘积值作为除去了混色等的影响后的像素值而取得(步骤S16，混色校正工序)。
接下来，判别全部的对象像素的混色校正是否结束(步骤S18)，在没有结束的情况下(“否”的情况下)，转移到步骤S20。
在步骤S20中，使对象像素的位置(x，y)移动1像素。另外，在对象像素的位置(x，y)到达水平方向的左端的情况下，使对象像素的位置(x，y)返回水平方向的右端，并且在垂直方向上移动1像素而转移到步骤S12。并且，重复执行从上述步骤S12到步骤S18的处理。
另一方面，在步骤S18中，若判别为全部的对象像素的混色校正结束了(“是”的情况下)，结束本混色校正的处理。
＜第二实施方式＞
图11是表示图1所示的图像处理部28的第二实施方式的内部结构的主要部分框图。
如图11所示，图像处理部28具备白平衡(WB)校正部200、信号处理部300、RGB积算部400’及WB增益计算部500。另外，图11所示的第二实施方式的图像处理部28与图4所示的第一实施方式的图像处理部28相比较不同点在于，没有设置混色校正部100和RGB积算部400’的结构不同。
因此，以下中，仅对RGB积算部400’进行详述，其他构成的说明省略。
RGB积算部400’对应将1画面分割为8×8的分割区域(参照图8)的每个分割区域，对每个RGB的色信号进行积算，并算出其积算平均值，这一点与图4所示的RGB积算部400共通，但是其积算平均值的算出过程中，在进行除去混色等的影响的处理方面是不同的。
图12是表示图11所示的RGB积算部400’的内部结构的实施方式的框图。
该RGB积算部400’具备第一开关部410、第一计算单元(第一～第三十六积算部420-1～420-36)、积算值校正单元(乘法器430-1～430-36)、第二开关部440、第二计算单元(R积算部450、G积算部452、B积算部454)、对象像素信息获取部460以及混色率设定部470。
图12中，经由摄像元件22而取得的马赛克图像(RGB的色信号)被以点顺序施加于第一开关部410(图像获取工序)。另外，在该实施方式中，图8所示的64个分割区域的每个分割区域，以点顺序施加马赛克图像。
另一方面，对象像素信息获取部460施加有表示施加于第一开关部410的混色校正的对象像素的、马赛克图像内的对象像素的位置(x，y)的信息。对象像素信息获取部460基于表示对象像素的位置(x，y)的信息，取得表示该对象像素的基本排列图案内的位置(图5所示的位置(1)～(36)中的任一位置)的位置信息和表示该对象像素所属的分割区域(参照图8)的分割区域信息。由对象像素信息获取部460所取得的对象像素的基本排列图案内的位置信息被输出到第一开关部410，分割区域信息被输出到混色率设定部470。
第一开关部410基于从对象像素信息获取部460输入的基本排列图案内的位置信息，将以点顺序施加的积算对象的色信号切换(分配)地输出到第一～第三十六积算部420-1～420-36中的任一个积算部。例如，积算对象的色信号是与图5所示的基本排列图案内的位置(1)对应的信号的情况下，输出到第一积算部420-1，同样地，是与基本排列图案内的位置(36)对应的信号的情况下，输出到第三十六积算部420-36。
第一～第三十六积算部420-1～420-36对如上述那样输入的色信号分别进行积算，若一个分割区域的色信号的积算结束，则将各自的积算值输出到乘法器430-1～430-36(第一计算工序)。其后，第一～第三十六积算部420-1～420-36将积算值复位为0，而进行下一分割区域的色信号的积算。
混色率设定部470从对象像素信息获取部460输入表示现在正在由第一～第三十六积算部420-1～420-36进行积算的色信号的分割区域的分割区域信息，基于该分割区域信息从存储器部26选择与分割区域对应的校正表(参照图7)，将所选择的校正表中登记的混色率A1～A36分别施加于乘法器430-1～430-36的其他的输入。
乘法器430-1～430-36将分别输入的积算值和混色率A相乘，并将它们的相乘结果作为除去了混色等的影响后的积算值而输出到第二开关部440(积算值校正工序)。
第二开关部440将所输入的36个乘积值分为RGB的每色，将R的乘积值输出到R积算部450，同样地将G的乘积值输出到G积算部452，将B的乘积值输出到B积算部454。
R积算部450、G积算部452以及B积算部454分别对从第二开关部440施加的乘积值进行积算，并且将积算所得到的值除以所有像素数而求取平均值(第二计算工序)。如此求得的每个RGB的积算平均值被输出到后段的WB增益计算部500(图11)。
如上述那样，RGB积算部400’使用与分割区域对应的校正表，按照每个分割区域算出除去了混色等的影响后的RGB的积算平均值。由此，WB增益计算部500能够算出将混色等的影响排除后的适当的WB增益。
[其他]
本发明不限于图2所示的滤色器排列的马赛克图像，能够适用于各种的滤色器排列的马赛克图像。本发明例如也能够适用于仅有图3所示的A排列或B排列的马赛克图像。适用本发明的基本排列图案的尺寸N×M优选为是5×5以上，更优选为是10×10以下。
若基本排列图案的像素尺寸以平方的方式变大，3色的RGB的像素的排列的自由度上升，则相邻的周边像素的颜色配置的组合增加，不同的混色率增加，因此本发明是有效的。5×5的话为25像素，因此能够充分得到本发明的效果。另一方面，若考虑去马赛克算法处理、动态图像摄影时的间拔处理等的图像处理的容易度，则N、M最好是10以下。
另外，即使对于从未埋入有像素共有放大器的摄像元件取得的马赛克图像也能够适用本发明。此外，在马赛克图像的中央部和周边部混色等的影响较少的情况下，也可以不是每个分割区域具有混色率的校正表。
＜滤色器排列的追加的实施方式＞
另外，在上述的各实施方式中，对于作为第一色采用绿(G)、作为第二色采用红(R)以及蓝(B)的例子进行了说明，但是滤色器中可使用的颜色并不限于这些色。在上述各实施方式中，能够使用与满足以下条件的颜色对应的滤色器。
＜第一滤光片(第一色)的条件＞
例如，上述各实施方式中，也可以替代G滤光片或者替代G滤光片的一部分，使用满足下述条件(1)到条件(4)的任一条件的滤光片。
〔条件(1)〕
条件(1)是用于获得亮度信号的贡献率为50％以上。该贡献率50％是为了对上述各实施方式所涉及的第一色(G色等)和第二色(R、B色等)进行区别而确定的值，是以用于获得亮度数据的贡献率与R色、B色等相比相对地变高的颜色包含在“第一色”中的方式而确定的值。
例如，G色用于获得亮度(Y)信号(亮度数据)的贡献率比R色、B色高。即，与G色相比，R色以及B色的贡献率低。若具体地进行说明，则上述的图像处理部28对应每个像素根据具有RGB全部的颜色信息的RGB像素信号按照下述式(1)来生成亮度信号(Y信号)。下述式(1)是通常用于彩色摄像元件22中的Y信号的生成的式子。在该式(1)中向G色对亮度信号的贡献率成为60％，G色与R色(贡献率30％)、B色(贡献率10％)相比贡献率变高。因此，G色成为3原色中对亮度信号贡献最大的颜色。
Y＝0.3R+0.6G+0.1B……式(1)
G色的贡献率如上述式(1)那样成为60％，从而满足条件(1)。另外，对于G色以外的颜色的贡献率也能够通过实验、模拟而取得。因此，对于G色以外具有贡献率为50％以上的颜色的滤光片，上述各实施方式中也能够作为第一滤光片而使用。另外，贡献率为不足50％的颜色在上述各实施方式中成为第二色(R色、B色等)，具有该色的滤光片在上述各实施方式中成为第二滤光片。
〔条件(2)〕
条件(2)是滤光片的透过率的峰值处于波长480nm以上570nm以下的范围内。滤光片的透过率使用例如由分光光度计所测定的值。该波长范围是为了对上述各实施方式所涉及的第一色(G色等)和第二色(R、B色等)进行区别而确定的范围，是以不包含前述的贡献率相对较低的R色、B色等的峰值，而包含贡献率相对较高的G色等的峰值而确定的范围。因此，能够将透过率的峰值处于波长480nm以上570nm以下的范围内的滤光片作为第一滤光片而使用。另外，透过率的峰值为波长480nm以上570nm以下的范围外的滤光片成为上述各实施方式所涉及的第二滤光片(R滤光片、B滤光片)。
〔条件(3)〕
条件(3)是波长500nm以上560nm以下的范围内的透过率比第二滤光片(R滤光片、B滤光片)的透过率高。该条件(3)中，滤光片的透过率例如也使用由分光光度计所测定的值。该条件(3)的波长范围也是为了对上述各实施方式所涉及的第一色(G色等)和第二色(R、B色等)进行区别而确定的范围，是具有与R色、B色等相比前述的贡献率相对较高的颜色的滤光片的透过率高于RB滤光片等的透过率的范围。因此，能够将透过率在波长500nm以上560nm以下的范围内相对较高的滤光片作为第一滤光片而使用，并能够将透过率相对较低的滤光片作为第二滤光片而使用。
〔条件(4)〕
条件(4)是将包含3原色中对亮度信号贡献最大的颜色(例如RGB中的G色)和与该3原色不同的颜色在内的2色以上的滤光片作为第一滤光片而使用。该情况下，与第一滤光片的各色以外的颜色对应的滤光片成为第二滤光片。
＜多个种类的第一滤光片(G滤光片)＞
因此，作为第一滤光片的G色的G滤光片不限于一种，例如也可以使用多个种类的G滤光片作为第一滤光片。即，上述的各实施方式所涉及的滤色器(基本排列图案)的G滤光片也可以适当置换为第一G滤光片G1或第二G滤光片G2。第一G滤光片G1透过第一波长带的G光，第二G滤光片G2透过与第一G滤光片G1相关度高的第二波长带的G光(参照图13)。
作为第一G滤光片G1，能够使用现存的G滤光片(例如第一实施方式的G滤光片G)。另外，作为第二G滤光片G2能够使用与第一G滤光片G1相关度高的滤光片。该情况下，优选为，配置有第二G滤光片G2的受光元件的分光灵敏度曲线的峰值例如处于波长500nm到535nm的范围(配置有现存的G滤光片的受光元件的分光灵敏度曲线的峰值的附近)。另外，决定4色(R、G1、G2、B)的滤色器的方法例如能够使用特开2003－284084号记载的方法。
如此将由彩色摄像元件取得的图像的颜色设为4种，增加取得的颜色信息，从而与仅取得3种颜色(RGB)的情况相比较，能够更加正确地表现颜色。即，能够将眼睛看得出不同的再现为不同颜色，将眼睛看得出相同的再现为相同的颜色(提高“颜色的判别性”)。
另外，第一以及第二G滤光片G1、G2的透过率与第一实施方式的G滤光片G的透过率基本上相同，因此用于获得亮度信号的贡献率比50％高。因此，第一以及第二G滤光片G1、G2满足前述的条件(1)。
另外，在表示滤色器排列(受光元件)的分光灵敏度特性的图13中，各G滤光片G1、G2的透过率的峰值(各G像素的灵敏度的峰值)处于波长480nm以上570nm以下的范围内。各G滤光片G1、G2的透过率在波长500nm以上560nm以下的范围内，比RB滤光片R、B的透过率高。由此，各G滤光片G1、G2也满足前述的条件(2)、(3)。
另外，各G滤光片G1、G2的配置、个数也可以适当地进行变更。另外，也可以将G滤光片G的种类增加为3种以上。
＜透明滤光片(W滤光片)＞
在上述的实施方式中，主要示出了由与RGB色对应的彩色滤光片构成的滤色器，但是也可以使这些色滤光片的一部分为透明滤光片W(白色像素)。特别是，优选为替代第一滤光片(G滤光片G)的一部分而配置透明滤光片W。通过如此将G像素的一部置换为白色像素，即使将像素尺寸微细化也能够抑制颜色再现性的劣化。
透明滤光片W是透明色(第一色)的滤光片。透明滤光片W能够透过与可见光的波长带对应的光，是例如RGB的各色的光的透过率为50％以上的滤光片。透明滤光片W的透过率也比G滤光片G高，因此用于获得亮度信号的贡献率也比G色(60％)高，满足前述的条件(1)。
在表示滤色器排列(受光元件)的分光灵敏度特性的图14中，透明滤光片W的透过率的峰值(白色像素的灵敏度的峰值)处于波长480nm以上570nm以下的范围内。另外，透明滤光片W的透过率在波长500nm以上560nm以下的范围内，比RB滤光片R、B的透过率高。由此，透明滤光片W也满足前述的条件(2)、(3)。另外，对于G滤光片G也与透明滤光片W同样满足前述的条件(1)～(3)。
如此，由于透明滤光片W满足前述的条件(1)～(3)，因此在上述各实施方式中能够作为第一滤光片而使用。另外，在滤色器排列中，由于将与RGB的3原色中对亮度信号贡献最大的G色对应的G滤光片G的一部分置换为透明滤光片W，因此也满足前述的条件(4)。
＜翠绿滤光片(E滤光片)＞
在上述的实施方式中，主要示出了由与RGB色对应的彩色滤光片构成的滤色器，但是也可以使这些彩色滤光片的一部分为其他的彩色滤光片，例如也可以采用与翠绿(E)色对应的滤光片E(翠绿像素)。特别是，优选为替代第一滤光片(G滤光片G)的一部分而配置翠绿滤光片(E滤光片)。如此通过使用由E滤光片置换了G滤光片G的一部分的4色的滤色器排列，能够提高亮度的高频成分的再现，降低锯齿，并且能够提高分辨率感。
在表示滤色器排列(受光元件)的分光灵敏度特性的图13中，翠绿滤光片E的透过率的峰值(E像素的灵敏度的峰值)处于波长480nm以上570nm以下的范围内。另外，翠绿滤光片E的透过率在波长500nm以上560nm以下的范围内比RB滤光片R、B的透过率高。由此，翠绿滤光片E满足前述的条件(2)、(3)。另外，在滤色器排列中，将与RGB的3原色中对亮度信号贡献最大的G色对应的G滤光片G的一部分置换为翠绿滤光片E，因此也满足前述的条件(4)。
另外，在图13所示的分光特性中，翠绿滤光片E在比G滤光片G靠短波长侧具有峰值，但在比G滤光片G靠长波长侧具有峰值(看上去稍接近黄色的颜色)的情况也存在。如此，作为翠绿滤光片E，能够选择满足上述的各条件的结构，例如，也能够选择满足条件(1)那样的翠绿滤光片E。
＜其他的颜色种类＞
在上述的各实施方式中，对由原色RGB的滤色器构成的滤色器排列进行了说明，但是也能够将本发明适用于例如作为原色RGB的补色的C(青色)、M(品红)、Y(黄)加上G后的4色的补色系的滤色器的滤色器排列。该情况下也将满足上述条件(1)～(4)的任一条件的滤色器作为上述各实施方式所涉及的第一滤光片，将其他滤色器作为第二滤光片。
＜蜂窝配置＞
上述各实施方式的各滤色器排列包含各色的滤色器沿水平方向(H)以及垂直方向(V)二维排列而成的基本排列图案，并且将该基本排列图案沿水平方向(H)以及垂直方向(V)重复配置而成，但是本发明不限于此。
例如，也可以使用将上述的各实施方式的基本排列图案绕光轴旋转45°后的所谓蜂窝排列状的基本排列图案，由将基本排列图案沿倾斜方向(NE，NW)重复配置而成的排列图案构成滤色器。
另外，本发明不限于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种的变形，这是不言而喻的。
附图标记说明：
10…摄像装置，12…中央处理装置(CPU)，14…操作部，18…透镜部，22…摄像元件，26…存储器部，28…图像处理部，100…混色校正部，110…乘法器，112…对象像素信息获取部，114…混色率设定部，200…白平衡校正部，400、400’…RGB积算部，410…第一开关部，420-1～420-36…第一～第三十六积算部，430-1～430-36…乘法器，440…第二开关部，450…R积算部，452…G积算部，454…B积算部，460…对象像素信息获取部，470…混色率设定部，500…白平衡增益计算部。

Claims (19)

1.一种图像处理装置，具备：
图像获取单元，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J像素的重复周期的像素构造的摄像元件，其中，I、J为2以上的整数且至少一方为3以上；
存储单元，将与所述I×J像素的各像素分别对应的混色率与所述I×J像素内的像素位置建立关联地存储；
混色校正单元，是从由所述图像获取单元取得的马赛克图像的各像素的色信号除去该色信号所含的来自周边像素的混色成分的混色校正单元，从所述存储单元读出与任意的混色校正的对象像素的所述I×J像素内的像素位置建立了关联的混色率，基于读出的所述混色率和所述对象像素的色信号除去所述对象像素所含的混色成分；
计算单元，基于由所述混色校正单元进行了混色校正的所述马赛克图像的各像素的色信号而算出每色的平均值；
白平衡增益计算单元，基于由所述计算单元算出的每色的平均值而算出白平衡增益；及
白平衡校正单元，基于由所述白平衡增益计算单元算出的白平衡增益，对所述马赛克图像的各像素的色信号进行白平衡校正。
2.根据权利要求1所述的图像处理装置，其中，
所述马赛克图像包含由具有多个颜色的色像素的M×N像素构成的基本排列图案的像素组，是该基本排列图案的像素组在水平及垂直方向上重复配置而得到的图像，其中，M≤I，N≤J。
3.根据权利要求1或2所述的图像处理装置，其中，
所述马赛克图像是从具有每预定的像素组共有放大器的元件构造的摄像元件输出的图像，
所述预定的像素组具有K×L像素的尺寸，其中，K≤M，L≤N，K、L是自然数。
4.根据权利要求1或2所述的图像处理装置，其中，
所述存储单元对应将所述马赛克图像的整个区域分割为多个分割区域时的每个分割区域存储所述混色率。
5.根据权利要求1或2所述的图像处理装置，其中，
所述混色校正单元通过将读出的所述混色率和所述对象像素的色信号相乘来除去所述对象像素所含的混色成分。
6.一种图像处理装置，具备：
图像获取单元，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J像素的重复周期的像素构造的摄像元件，其中，I、J为2以上的整数且至少一方为3以上；
存储单元，将与所述I×J像素的各像素分别对应的混色率与所述I×J像素内的像素位置建立关联地存储；
第一计算单元，算出由所述图像获取单元取得的马赛克图像的各像素的色信号的所述I×J像素内的每个像素位置的积算值；
积算值校正单元，基于由所述第一计算单元算出的所述I×J像素内的每个像素位置的积算值和与所述I×J像素内的像素位置建立了关联的混色率而对所述积算值进行校正；
第二计算单元，按照每色对由所述积算值校正单元进行了校正的所述I×J像素内的每个像素位置的积算值进行加算，算出每色的平均值；
白平衡增益计算单元，基于由所述第二计算单元算出的每色的平均值而算出白平衡增益；及
白平衡校正单元，基于由所述白平衡增益计算单元算出的白平衡增益，对所述马赛克图像的各像素的色信号进行白平衡校正。
7.根据权利要求6所述的图像处理装置，其中，
所述马赛克图像包含由具有多个颜色的色像素的M×N像素构成的基本排列图案的像素组，是该基本排列图案的像素组在水平及垂直方向上重复配置而得到的图像，其中，M≤I，N≤J。
8.根据权利要求6或7所述的图像处理装置，其中，
所述马赛克图像是从具有每预定的像素组共有放大器的元件构造的摄像元件输出的图像，
所述预定的像素组具有K×L像素的尺寸，其中，K≤M，L≤N，K、L是自然数。
9.根据权利要求6或7所述的图像处理装置，其中，
所述存储单元对应将所述马赛克图像的整个区域分割为多个分割区域时的每个分割区域存储所述混色率。
10.根据权利要求6或7所述的图像处理装置，其中，
所述积算值校正单元通过将所述I×J像素内的每个像素位置的积算值和与所述I×J像素内的像素位置建立了关联的混色率相乘来对所述积算值进行校正。
11.一种摄像装置，具备：
摄像单元，包含摄影光学系统和经由该摄影光学系统使被拍摄体成像的摄像元件；
所述图像获取单元，取得从所述摄像单元输出的马赛克图像；及
权利要求1～10中任一项所述的图像处理装置。
12.根据权利要求11所述的摄像装置，其中，
所述摄像元件在由排列于水平方向以及垂直方向的光电转换元件构成的多个像素上配置预定的滤色器排列的滤色器，
所述滤色器排列包含第一滤光片和第二滤光片排列而成的预定的基本排列图案，所述第一滤光片与一种颜色以上的第一色对应，所述第二滤光片与用于获得亮度信号的贡献率比所述第一色低的两种颜色以上的第二色对应，该基本排列图案在水平以及垂直方向上重复配置，
所述基本排列图案是与M×N像素对应的排列图案，其中，M≤I，N≤J。
13.根据权利要求12所述的摄像装置，其中，
所述第一滤光片在所述滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置1个以上，
与所述第二色的各色对应的所述第二滤光片在所述基本排列图案内在所述滤色器排列的水平及垂直方向的各行内配置1个以上，
与所述第一滤光片对应的第一色的像素数的比率比与所述第二滤光片对应的第二色的各色的像素数的比率大。
14.根据权利要求12所述的摄像装置，其中，
所述基本排列图案是与3×3像素对应的正方排列图案，在中心和4角配置有所述第一滤光片。
15.根据权利要求12所述的摄像装置，其中，
所述第一色是绿(G)色，所述第二色是红(R)色以及蓝(B)色，
所述预定的基本排列图案是与6×6像素对应的正方排列图案，
所述滤色器排列将第一排列和第二排列交替地排列于水平方向以及垂直方向而构成，所述第一排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，所述第二排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。
16.根据权利要求11～15中任一项所述的摄像装置，其中，
所述摄像元件具有每预定的像素组共有放大器的元件构造，
所述预定的像素组具有K×L像素的尺寸，其中，K≤M，L≤N，K、L是自然数。
17.根据权利要求16所述的摄像装置，其中，
所述摄像元件的所述I×J像素的重复周期的像素构造是周期为所述M×N像素的基本排列图案和所述K×L像素的预定的像素组的最小公倍数的像素构造。
18.一种图像处理方法，包括：
图像获取工序，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J像素的重复周期的像素构造摄像元件，其中，I、J为2以上的整数且至少一方为3以上；
准备存储单元的工序，所述存储单元将与所述I×J像素的各像素分别对应的混色率与所述I×J像素内的像素位置建立关联地存储；
混色校正工序，是从由所述图像获取工序取得的马赛克图像的各像素的色信号除去该色信号所含的来自周边像素的混色成分的混色校正工序，从所述存储单元读出与任意的混色校正的对象像素的所述I×J像素内的像素位置建立了关联的混色率，基于读出的所述混色率和所述对象像素的色信号除去所述对象像素所含的混色成分；
计算工序，基于由所述混色校正工序进行了混色校正的所述马赛克图像的各像素的色信号而算出每色的平均值；
白平衡增益计算工序，基于由所述计算工序算出的每色的平均值，算出白平衡增益；及
白平衡校正工序，基于由所述白平衡增益计算工序算出的白平衡增益，对所述马赛克图像的各像素的色信号进行白平衡校正。
19.一种图像处理方法，包括：
图像获取工序，取得由摄像单元所拍摄的马赛克图像，所述摄像单元包含具有I×J像素的重复周期的像素构造的摄像元件，其中，I、J为2以上的整数且至少一方为3以上；
准备存储单元的工序，所述存储单元将与所述I×J像素的各像素分别对应的混色率与所述I×J像素内的像素位置建立关联地存储；
第一计算工序，算出由所述图像获取工序取得的马赛克图像的各像素的色信号的所述I×J像素内的每个像素位置的积算值；
积算值校正工序，基于由所述第一计算工序算出的所述I×J像素内的每个像素位置的积算值和与所述I×J像素内的像素位置建立了关联的混色率而对所述积算值进行校正；
第二计算工序，对应每色对由所述积算值校正工序进行了校正的所述I×J像素内的每个像素位置的积算值进行加算，算出每色的平均值；
白平衡增益计算工序，基于由所述第二计算工序算出的每色的平均值而算出白平衡增益；及
白平衡校正工序，基于由所述白平衡增益计算工序算出的白平衡增益，对所述马赛克图像的各像素的色信号进行白平衡校正。
CN201280064987.2A 2011-12-28 2012-12-27 图像处理装置、方法以及摄像装置 Active CN104025577B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011289368 2011-12-28
JP2011-289368 2011-12-28
PCT/JP2012/083838 WO2013100033A1 (ja) 2011-12-28 2012-12-27 画像処理装置及び方法並びに撮像装置

Publications (2)

Publication Number Publication Date
CN104025577A CN104025577A (zh) 2014-09-03
CN104025577B true CN104025577B (zh) 2015-09-02

Family

ID=48697512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280064987.2A Active CN104025577B (zh) 2011-12-28 2012-12-27 图像处理装置、方法以及摄像装置

Country Status (5)

Country Link
US (1) US9060159B2 (zh)
EP (1) EP2800381A4 (zh)
JP (1) JP5600814B2 (zh)
CN (1) CN104025577B (zh)
WO (1) WO2013100033A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5921983B2 (ja) * 2012-08-03 2016-05-24 クラリオン株式会社 車載撮像装置
JP5883991B2 (ja) * 2013-05-13 2016-03-15 富士フイルム株式会社 カラー画像データの混入補正装置および撮像装置ならびにそれらの動作制御方法
EP3376759B1 (en) * 2015-11-10 2021-04-14 Sony Corporation Image processing device and image processing method
CN105516697B (zh) 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN114902659B (zh) * 2019-12-27 2023-08-15 株式会社索思未来 图像处理装置和图像处理方法
KR20220010285A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법
EP4300936A4 (en) * 2021-03-23 2024-01-24 Huawei Technologies Co., Ltd. IMAGE SENSOR, IMAGE DATA COLLECTION METHOD AND IMAGING DEVICE

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3615342A1 (de) * 1985-05-08 1986-11-13 Fuji Photo Film Co., Ltd., Minami-Ashigara, Kanagawa Farbbildsensor
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
JPH0823543A (ja) * 1994-07-07 1996-01-23 Canon Inc 撮像装置
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
JP4120020B2 (ja) * 1997-03-26 2008-07-16 ソニー株式会社 固体撮像装置
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
US7158174B2 (en) * 2002-04-04 2007-01-02 Eastman Kodak Company Method for automatic white balance of digital images
JP2004266369A (ja) * 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP2007053499A (ja) 2005-08-16 2007-03-01 Fujifilm Holdings Corp ホワイトバランス制御装置及び撮像装置
EP2116176B1 (en) * 2007-02-26 2011-12-28 Olympus Medical Systems Corp. Capsule endoscope
JP2009088255A (ja) 2007-09-28 2009-04-23 Sharp Corp カラー固体撮像装置および電子情報機器
JP4803156B2 (ja) * 2007-10-16 2011-10-26 ソニー株式会社 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP5045380B2 (ja) * 2007-11-13 2012-10-10 ソニー株式会社 撮像装置および撮像データ補正方法並びにプログラム
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP5163319B2 (ja) * 2008-06-30 2013-03-13 ソニー株式会社 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム
JP5254762B2 (ja) * 2008-11-28 2013-08-07 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置における信号の補正方法
JP5149143B2 (ja) * 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5513244B2 (ja) * 2010-04-28 2014-06-04 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
JP5269016B2 (ja) * 2010-09-10 2013-08-21 株式会社東芝 画像処理装置
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。

Also Published As

Publication number Publication date
EP2800381A4 (en) 2015-05-20
CN104025577A (zh) 2014-09-03
JPWO2013100033A1 (ja) 2015-05-11
US9060159B2 (en) 2015-06-16
EP2800381A1 (en) 2014-11-05
US20140307122A1 (en) 2014-10-16
JP5600814B2 (ja) 2014-10-01
WO2013100033A1 (ja) 2013-07-04

Similar Documents

Publication Publication Date Title
CN104025577B (zh) 图像处理装置、方法以及摄像装置
CN104041020B (zh) 彩色摄像元件
CN104412581B (zh) 彩色摄像元件及摄像装置
US9159758B2 (en) Color imaging element and imaging device
CN104025574B (zh) 摄像装置及图像处理方法
US9219894B2 (en) Color imaging element and imaging device
US9185375B2 (en) Color imaging element and imaging device
US9143747B2 (en) Color imaging element and imaging device
CN104025580A (zh) 彩色摄像元件及摄像装置
CN104041021B (zh) 图像处理装置及方法以及摄像装置
CN104025578B (zh) 彩色摄像元件
CN104025582B (zh) 彩色摄像元件
CN104025566B (zh) 摄像装置及摄像装置的控制方法
CN104025583A (zh) 图像处理装置、方法及摄像装置
CN104011575A (zh) 摄像装置、摄像装置的控制方法及控制程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant