CN104012083B - 摄像装置及摄像装置的控制方法 - Google Patents

摄像装置及摄像装置的控制方法 Download PDF

Info

Publication number
CN104012083B
CN104012083B CN201280064837.1A CN201280064837A CN104012083B CN 104012083 B CN104012083 B CN 104012083B CN 201280064837 A CN201280064837 A CN 201280064837A CN 104012083 B CN104012083 B CN 104012083B
Authority
CN
China
Prior art keywords
pixel
filter
arrangement
colour
look
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280064837.1A
Other languages
English (en)
Other versions
CN104012083A (zh
Inventor
仓桥秀和
山下隼人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104012083A publication Critical patent/CN104012083A/zh
Application granted granted Critical
Publication of CN104012083B publication Critical patent/CN104012083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种能够高精度地进行混色修正的摄像装置及摄像装置的控制方法。摄像装置(10)具备：摄像元件(14)，包含沿第1方向及第2方向排列的多个光电转换元件；滤色器，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和第2色所对应的第2滤光片以预先规定的图案进行配置；驱动部(22)，驱动摄像元件(14)，使得：以从摄像元件(14)读出的像素的排列成为与表示摄像元件(14)的全部像素的排列的第1排列不同的第2排列的方式，读出沿第1方向及第2方向中的至少一个方向以设定的周期进行配置的像素的像素数据；及混色修正单元(20)，基于与在第1排列上和混色修正的对象像素相邻的相邻像素同色、且在第1排列上距相邻像素的距离最短的像素的像素数据，来修正对象像素的像素数据。

Description

摄像装置及摄像装置的控制方法
技术领域
本发明涉及摄像装置、摄像装置的控制方法及控制程序，尤其是涉及具备彩色摄像元件的摄像装置、摄像装置的控制方法及控制程序。
背景技术
在彩色摄像元件中广泛采用的颜色排列即原色系拜耳排列(例如参照专利文献1～3)将人眼比较敏感且最有助于获得亮度信号的绿(G)像素配置成双色相间方格状，并将红(R)、蓝(B)按照线序配置。
专利文献1：日本特开2002-135793号公报
专利文献2：日本专利第3960965号公报
专利文献3：日本特开2004-266369号公报
发明内容
然而，在使用了彩色摄像元件的摄影中，由于从相邻的像素泄漏的光的影响，有时会发生混色。这样的情况下，通常预先测定由于从相邻的像素泄漏的光的影响而产生的混色率，并基于该混色率对各像素的像素数据进行修正。
在以往的采用了拜耳排列的彩色摄像元件中，例如为了生成动画用的图像数据，在垂直方向上按照每三个像素中读出一行的图像数据(垂直方向1/3间拔)并且在水平方向上按照每三个像素中读出一个像素的像素数据(水平方向1/3间拔)时，间拔读出的图像也成为与原来的图像相同的拜耳排列。因此，与进行混色修正的对象像素相邻的像素的颜色在间拔前与间拔后相同，只要直接使用间拔后的图像中的相邻的像素的像素值来进行混色修正即可。
然而，在使用重复的最小单位即基本排列图案的尺寸比拜耳排列大的例如具有6×6像素的基本排列图案的滤色器的情况下，在沿垂直方向及水平方向均进行1/2间拔或1/3间拔时，间拔后的图像有时会成为与间拔前的图像的基本排列图案不同的排列。这种情况下，与混色修正的对象像素相邻的像素的颜色不同于间拔前相邻的像素的颜色，因此当直接使用间拔后的图像中相邻的像素的像素值进行混色修正时，存在混色修正的精度变差的问题。
本发明为了解决上述问题而作出，目的在于提供一种能够高精度地进行混色修正的摄像装置、摄像装置的控制方法及控制程序。
为了解决上述问题，本发明的摄像装置的特征在于，具备：摄像元件，包含沿预先规定的第1方向及与所述第1方向交叉的第2方向排列的多个光电转换元件；滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片以预先规定的图案进行配置；驱动单元，驱动所述摄像元件，使得：以从所述摄像元件读出的像素的排列成为与表示所述摄像元件的全部像素的排列的第1排列不同的第2排列的方式，读出沿所述第1方向及所述第2方向中的至少一个方向以设定的周期进行配置的像素的像素数据；及混色修正单元，对于以所述设定的周期进行配置的像素的像素数据分别进行混色修正，基于与在所述第1排列上和混色修正的对象像素相邻的相邻像素同色、且在所述第1排列上距所述相邻像素的距离最短的像素的像素数据，来修正所述对象像素的像素数据。
根据本发明，基于与在第1排列上和混色修正的对象像素相邻的相邻像素同色、且在第1排列上距相邻像素的距离最短的像素的像素数据，来修正对象像素的像素数据，因此能够高精度地进行混色修正。
此外，可以是，在滤色器内，在第1方向、第2方向、与第1方向及第2方向交叉的第3方向上的各行内配置一个以上的第一滤光片，在基本排列图案内，在第1方向及第2方向上的各行内分别配置一个以上的第二色的各种颜色所对应的第二滤光片。
根据本发明，在滤色器内，在第1方向～第3方向上的各行内配置最有助于获得亮度信号的第一色所对应的第一滤光片，因此能够提高高频区域的同时化处理的重现精度。而且，关于除第1色以外的两种颜色以上的第2色所对应的第2滤光片，在基本排列图案内，在第1方向及第2方向上的各行内配置一个以上，因此能够减少彩色莫尔条纹(伪色)的发生而实现高分辨率化。
另外，可以是，滤色器是最有助于获得亮度信号的第1色所对应的第1滤光片和除第1色以外的两种颜色以上的第2色所对应的第2滤光片以沿第1方向及第2方向以(N×M)像素(N、M：3以上的整数)的预先规定的图案进行配置的基本排列图案重复配置而成的滤色器。
另外，可以是，滤色器包含由第1滤光片构成的对应于2×2像素的正方排列。
根据本发明，能够基于与2×2像素对应的正方排列的四个像素的各像素间的像素值的差量值而以最小像素间隔来判定亮度的相关方向为四个方向中的哪一方向。
另外，可以是，第1色是绿(G)色，第2色是红(R)色及蓝(B)色。
另外，可以是，滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，滤色器将第1排列和第2排列交替地沿第1方向及第2方向排列而构成，该第1排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置B滤光片，隔着中心的G滤光片而在左右排列有R滤光片，该第2排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置R滤光片，隔着中心的G滤光片在左右排列有B滤光片。
根据本发明，以第1排列或第2排列为中心而提取出5×5像素(马赛克图像的局部区域)时，在5×5像素的四角存在2×2像素的G像素。这些2×2像素的G像素的像素值能够在四个方向的相关方向的判定中使用。
另外，可以是，滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，滤色器将第1排列和第2排列交替地沿第1方向及第2方向排列而构成，该第1排列对应于3×3像素，在中心配置R滤光片，在四角配置B滤光片，隔着中心的R滤光片而在上下左右配置G滤光片，该第2排列对应于3×3像素，在中心配置B滤光片，在四角配置R滤光片，隔着中心的B滤光片而在上下左右配置G滤光片。
根据本发明，在以第1排列或第2排列为中心而提取出5×5像素(马赛克图像的局部区域)时，隔着5×5像素的中心的像素(R像素或B像素)存在沿水平及垂直方向分别相邻的G像素。上述的G像素(总计八个像素)的像素值能够在四个方向的相关方向的判定中使用。
此外，可以是，当存在多个距离最短的像素的情况下，混色修正单元基于这多个像素的任一像素的像素数据来修正对象像素的像素数据。
另外，可以是，当存在多个距离最短的像素的情况下，混色修正单元基于这多个像素的像素数据的平均值来修正对象像素的像素数据。
另外，周期优选为三个像素以下的周期。
另外，可以是，具备切换周期的切换单元。
本发明的摄像装置的控制方法中，摄像装置具备：摄像元件，包含沿预先规定的第1方向及与第1方向交叉的第2方向排列的多个光电转换元件；及滤色器，设置在由多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除第1色以外的两种颜色以上的第2色所对应的第2滤光片以预先规定的图案进行配置，所述摄像装置的控制方法的特征在于，驱动摄像元件，使得：以从摄像元件读出的像素的排列成为与表示摄像元件的全部像素的排列的第1排列不同的第2排列的方式读出沿第1方向及第2方向中的至少一个方向以设定的周期进行配置的像素的像素数据，对于以设定的周期进行配置的像素的像素数据分别进行混色修正的混色修正处理，基于与在第1排列上和混色修正的对象像素相邻的相邻像素同色、且在第1排列上距相邻像素的距离最短的像素的像素数据，来修正对象像素的像素数据。
本发明的控制程序的特征在于，用于使控制摄像装置的计算机执行处理，上述摄像装置具备：摄像元件，包含沿预先规定的第1方向及与第1方向交叉的第2方向排列的多个光电转换元件；滤色器，设置在由多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除第1色以外的两种颜色以上的第2色所对应的第2滤光片以预先规定的图案进行配置，上述处理包括如下步骤：驱动摄像元件，使得：以从摄像元件读出的像素的排列成为与表示摄像元件的全部像素的排列的第1排列不同的第2排列的方式，读出沿第1方向及第2方向中的至少一个方向以设定的周期进行配置的像素的像素数据；对于以设定的周期进行配置的像素的像素数据分别进行混色修正的混色修正处理，基于与在第1排列上和混色修正的对象像素相邻的相邻像素同色、且在第1排列上距相邻像素的距离最短的像素的像素数据，来修正对象像素的像素数据的步骤。
本发明的控制程序的特征在于，用于使计算机执行处理，摄像元件包括：多个光电转换元件，沿预先规定的第1方向及与第1方向交叉的第2方向排列；及滤色器，设置在由多个光电转换元件构成的多个像素上，重复配置有基本排列图案，上述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除第1色以外的两种颜色以上的第2色所对应的第2滤光片以预先规定的图案进行配置，上述处理包括：以从摄像元件读出的像素的排列成为与表示摄像元件的全部像素的排列的第1排列不同的第2排列的方式，读出沿第1方向及第2方向中的至少一个方向以设定的周期进行配置的像素的像素数据，对于所读出的像素的像素数据分别进行混色修正的混色修正处理，基于与在第1排列上和混色修正的对象像素相邻的相邻像素同色、且在第1排列上距相邻像素的距离最短的像素的像素数据，来修正对象像素的像素数据的步骤。
发明效果
根据本发明，具有能够高精度地进行混色修正的效果。
附图说明
图1是第1实施方式的摄像装置的概略框图。
图2是第1实施方式的滤色器的结构图。
图3是表示第1实施方式的滤色器所包含的基本排列图案的图。
图4是表示将第1实施方式的滤色器所包含的6×6像素的基本排列图案分割成3×3像素的A排列和B排列、并将它们沿水平及垂直方向重复配置而成的滤色器的图。
图5是表示第1实施方式的滤色器的G像素的特征性的配置的图。
图6是表示由控制部执行的处理的流程图。
图7是用于说明沿垂直方向及水平方向均以1/2间拔读出的情况的图。
图8是用于说明混色修正处理的图。
图9是用于说明混色修正处理的图。
图10是用于说明混色修正处理的图。
图11是用于说明混色修正处理的图。
图12是用于说明混色修正处理的图。
图13是用于说明混色修正处理的图。
图14是用于说明混色修正处理的图。
图15是用于说明混色修正处理的图。
图16是用于说明混色修正处理的图。
图17是用于说明混色修正处理的图。
图18是第2实施方式的滤色器的结构图。
图19是表示第2实施方式的滤色器所包含的基本排列图案的图。
图20A是表示将第2实施方式的滤色器所包含的6×6像素的基本排列图案分割成3×3像素的A排列和B排列、并将它们沿水平及垂直方向重复配置而成的滤色器的图。
图20B是表示第2实施方式的滤色器的G像素的特征性的配置的图。
图21是用于说明第2实施方式的间拔后的图像的图。
图22是表示滤色器的变形例的图。
图23是表示滤色器的变形例的图。
图24是表示滤色器的变形例的图。
图25是表示滤色器的变形例的图。
图26是表示滤色器的变形例的图。
图27是表示滤色器的变形例的图。
图28是表示滤色器的变形例的图。
图29是表示滤色器的变形例的图。
具体实施方式
以下，参照附图，说明本发明的实施方式。
(第1实施方式)
图1示出了本实施方式的摄像装置10的概略框图。摄像装置10构成为，包括光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
光学系统12构成为，包括例如由多个光学透镜构成的透镜组、光圈调整机构、变焦机构及自动调焦机构等。
摄像元件14是在包括沿水平方向及垂直方向排列的多个光电转换元件在内的摄像元件例如CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等摄像元件上配置有滤色器的结构的所谓单板式的摄像元件。
图2示出本实施方式的滤色器的一部分。在各像素上配置红(R)、绿(G)、蓝(B)这三原色的滤色器中的任一个。
<滤色器排列的特征>
第1实施方式的滤色器具有下述的特征(1)～(6)。
〔特征(1)〕
滤色器排列成为将基本排列图案重复配置的结构，该基本排列图案是将红(R)、绿(G)、蓝(B)这三原色的滤光片滤光片沿着垂直方向及水平方向以(N×M)像素(N、M：3以上的整数)的预先规定的图案进行配置、且将绿(G)的滤光片与红(R)及蓝(B)中的至少一个颜色的滤光片沿着垂直方向及水平方向配置而成的基本排列图案。
作为本实施方式的图2所示的滤色器的一例，包含由对应于6×6像素(N＝M＝6)的正方排列图案构成的基本排列图案P(由粗框表示的图案)，并将该基本排列图案P沿垂直方向(第1方向)及水平方向(第2方向)重复配置。即，该滤色器将R、G、B各种颜色的滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性进行排列。
这样一来，R滤光片、G滤光片、B滤光片以规定的周期性进行排列，因此在进行从彩色摄像元件读出的R、G、B信号的同时化处理(也称为去马赛克处理。以下相同)等时，能够反复按照图案进行处理。
〔特征(2)〕
图2所示的滤色器排列中，最有助于获得亮度信号的颜色(在本实施方式中为G色)所对应的G滤光片配置于滤色器排列的作为第1方向的垂直方向、作为第2方向的水平方向及在滤色器面内与第1方向及第2方向交叉的第3方向即倾斜(NE、NW)方向(第3方向)的各行内。此外，NE表示斜右上方向，NW表示斜右下方向。例如，在正方形像素的排列的情况下，斜右上及斜右下方向相对于水平方向分别成为45°的方向，但若是长方形像素的排列，则是长方形的对角线的方向，根据长边/短边的长度而其角度可能改变。
对应于亮度系像素的G滤光片配置于滤色器排列的垂直方向、水平方向及倾斜(NE、NW)方向上的各行内，因此无论成为高频的方向如何都能够提高高频区域的同时化处理的重现精度。
〔特征(3)〕
图2所示的滤色器排列中，在基本排列图案P内的滤色器排列的垂直方向及水平方向上的各行内配置一个以上的除上述G色以外的两种颜色以上的其他的颜色(在本实施方式中为R、B的颜色)所对应的R滤光片、B滤光片。
R滤光片、B滤光片配置于滤色器排列的垂直方向及水平方向上的各行内，因此能够减少彩色莫尔条纹(伪色)的发生。
由此，能够将用于抑制伪色的发生的光学低通滤波器不配置于光学系统的从入射面到摄像面的光路上，或者即使在应用光学低通滤波器的情况下也可以应用将用于防止伪色的发生的高频率成分截止的作用弱的滤波器，能够避免损坏分辨率。
〔特征(4)〕
图3示出将图2所示的基本排列图案P分割成四个3×3像素的状态。
如图3所示，基本排列图案P可以被当作由实线的框包围的3×3像素的A排列和由虚线的框包围的3×3像素的B排列沿水平、垂直方向交替排列而成的排列。
A排列及B排列分别将作为亮度系像素的G滤光片配置于四角和中央，且配置于两条对角线上。而且，A排列中，隔着中央的G滤光片而将R滤光片排列于水平方向，并隔着中央的G滤光片而将B滤光片排列于垂直方向，另一方面，B排列中，隔着中央的G滤光片而将B滤光片排列于水平方向，并隔着中央的G滤光片而将R滤光片排列于垂直方向。即，A排列与B排列的R滤光片与B滤光片的位置关系相反，但是其他的配置也同样。
另外，如图4所示，A排列和B排列沿水平、垂直方向交替配置，由此A排列和B排列的四角的G滤光片成为对应于2×2像素的正方排列的G滤光片。
即，图2所示的滤色器排列(基本排列图案P)包含由G滤光片构成的对应于2×2像素的正方排列。
当前，如图5所示，从摄像元件14输出的马赛克图像以A排列为中心而提取出5×5像素的局部区域时，该局部区域内的四角的2×2像素的G像素成为图5所示的配置。
如图5所示，将2×2像素的G像素的像素值按照从左上至右下的顺序设为G1、G2、G3、G4时，这些G像素的像素值的垂直方向上的差量绝对值成为(|G1-G3|+|G2-G4|)/2，水平方向上的差量绝对值成为(|G1-G2|+|G3-G4|)/2，右上斜方向上的差量绝对值成为|G2-G3|，左上斜方向上的差量绝对值成为|G1-G4|。
能够判定为与在获取这四个相关绝对值中的最小的差量绝对值的方向上存在相关性(相关方向)。
当前，如图4或图5所示，以3×3像素的A排列位于中央的方式从马赛克图像提取出5×5像素的局部区域时，2×2像素的G像素配置于四角。因此，在将上述局部区域内的A排列的3×3像素作为同时化处理的对象像素时，求出四角的按各方向的相关绝对值的总和(或平均值)，将获取按各方向的相关绝对值的总和(或平均值)中的最小的值的方向判定为同时化处理的对象像素中的亮度的相关方向。在进行同时化处理等时能够利用所判定的相关方向。
〔特征(5)〕
构成图2所示的滤色器排列的基本排列图案P相对于该基本排列图案的中心(四个G滤光片的中心)呈点对称。而且，如图3所示，基本排列图案内的A排列及B排列也分别相对于中心的G滤光片而呈点对称，且上下左右对称(线对称)。
由于这样的对称性，能够减小或简化后段的处理电路的电路规模。
摄像处理部16对于从摄像元件14输出的摄像信号实施放大处理或相关双重采样处理、A/D转换处理等的预先规定的处理，作为图像数据向图像处理部20输出。
图像处理部20对于从摄像处理部16输出的图像数据实施所谓同时化处理。即，关于全部像素，将除对应的颜色以外的颜色的图像数据从周围像素的像素数据进行插补，生成全部像素的R、G、B的图像数据。并且，对于所生成的R、G、B的图像数据实施所谓YC转换处理，生成亮度数据Y、色差数据Cr、Cb。并且，进行将这些信号再定尺寸为与摄影模式相应的尺寸的再定尺寸处理。
另外，对于各像素，图像处理部20基于相邻的像素的像素数据而执行混色修正处理，详细情况后述。例如在进行间拔读出时，在间拔后的图像的颜色排列与间拔前的图像的颜色排列不同时，基于混色修正的对象像素的间拔前的排列(第1排列)中与和混色修正的对象像素相邻的相邻像素同色的、间拔前的排列中距相邻像素的距离最短的像素的像素数据，来修正对象像素的像素数据。由此，即使在间拔后的图像的颜色排列与间拔前的图像的颜色排列不同的情况下，也能够高精度地进行混色修正。
驱动部22根据来自控制部24的指示来进行从摄像元件14的摄像信号的读出驱动等。
控制部24根据摄影模式等而统一控制驱动部22及图像处理部20等。详细情况后述，控制部24对驱动部22发出指示以利用与摄影模式对应的读出方法来读出摄像信号，或者对图像处理部20发出指示以进行与摄影模式对应的图像处理。
根据摄影模式的不同，需要对来自摄像元件14的摄像信号进行间拔读出，因此控制部24对驱动部22发出指示以利用与指示的摄影模式对应的间拔方法间拔地读出摄像信号。即，控制部24对驱动部22发出指示沿垂直方向以多少像素周期且沿水平方向以多少像素周期读出各像素的像素数据，由此能够切换间拔方法。
作为摄影模式，包括拍摄静止图像的静止图像模式、对拍摄到的图像进行间拔而生成较高分辨率的HD(高精细)动画数据并记录到未图示的存储卡等记录介质中的HD动画模式、对拍摄到的图像进行间拔而将较低分辨率的取景动画(实时取景图像)向未图示的显示部输出的取景动画模式(实时取景模式)等动画模式，但摄影模式的种类并不局限于此。
接下来，作为本实施方式的作用，参照图6所示的流程图对由控制部24执行的处理进行说明。
此外，图6所示的处理在被指示以执行与摄影模式对应的摄影的情况下执行的。
首先，在步骤100中，对驱动部22发出指示以利用与摄影模式对应的间拔方法，即对应于摄影模式而以读出沿着垂直方向及水平方向设定的周期的像素的像素数据(在本实施方式中，驱动部22及控制部24对应于驱动单元)。在本实施方式中，作为一例，沿垂直方向及水平方向均以两个像素周期、即以1/2间拔来读出各像素的像素数据。这种情况下，间拔后的图像数据成为图7所示那样的图像。即，间拔后的图像的排列与间拔前的图像的排列不同。在此，在间拔后的图像的排列包含与间拔前的图像的排列相同的排列时，即，虽然间拔后的图像包含使基本排列图案P重复的图像的情况下，在间拔后的图像的排列与间拔前的排列沿垂直方向及水平方向均不完全一致时，两者不同。
在步骤102中，对图像处理部20发出指示以对所读出的图像数据执行混色修正处理、并对混色修正处理后的图像数据执行与摄影模式相应的图像处理(例如同时化处理、YC转换处理、再定尺寸处理等)(在本实施方式中，图像处理部20及控制部24对应于混色修正单元)。
混色修正处理对各像素执行以下那样的处理。例如，将混色修正的对象像素的像素数据设为Da，将与对象像素的上侧相邻的像素的像素数据设为D1，将与对象像素的下侧相邻的像素的像素数据设为D2，将与对象像素的左侧相邻的像素的像素数据设为D3，将与对象像素的右侧相邻的像素的像素数据设为D4，将对象像素从对象像素的上侧的像素接受的混色率设为K1，将对象像素从对象像素的下侧的像素接受的混色率设为K2，将对象像素从对象像素的左侧的像素接受的混色率设为K3，将对象像素从对象像素的右侧的像素接受的混色率设为K4，按照下式算出对象像素的修正后的像素数据Db。此外，测定来自与上侧相邻的像素的光的漏入量、来自与下侧相邻的像素的光的漏入量、来自与左侧相邻的像素的光的漏入量、来自与右侧相邻的像素的光的漏入量，并基于该测定值而分别预先算出混色率K1～K4。
Db＝Da-(D1×K1+D2×K2+D3×K3+D4×K4) …(1)
以下，说明混色修正处理的具体例子。
图8示出了以6×6像素的基本排列图案P为中心配置的滤色器排列的一例。如该图所示，在沿垂直方向及水平方向以1/2间拔读出各像素的像素数据时，则读出图中箭头的位置所示的虚线框及粗线框的像素的像素数据。
以下，说明对在基本排列图案P内读出的由粗线框表示的G像素G1～G5、B像素B6、B7、R像素R8、R9进行混色修正的情况。
首先，说明对G像素G1进行混色修正的情况。如图9所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与G像素G1的上侧相邻的G像素G11是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与G像素G1的上侧相邻的像素是R像素R11(参照图8)，与在第1排列中相邻的G像素G11的颜色不同。因此，若将该R像素R11的像素数据作为D1而按照上述(1)式进行混色修正，则混色修正的精度变差。
因此，在本实施方式中，将作为混色修正的对象像素的G像素G1的第1排列中与相邻的G像素G11同色的、在第1排列中距G像素G11为最短距离的G像素G12的像素数据设为上述(1)式的D1。
另外，关于与G像素G1的下侧相邻的B像素B1，将距B像素B1为最短距离的B像素B11的像素数据设为上述(1)式的D2。
另外，关于与G像素G1的左侧相邻的G像素G13，与G像素G11同样地，将距G像素G13为最短距离的G像素G12的像素数据设为上述(1)式的D3。
另外，关于与G像素G1的右侧相邻的R像素R1，将距R像素R1为最短距离的R像素R12的像素数据设为上述(1)式的D4。
此外，作为距R像素R1为最短距离的R像素，不仅存在R像素R12，也存在R像素R11。这种情况下，可以将R像素R11及R像素R12中的任一像素数据设为上述(1)式的D4，也可以将R像素R11及R像素R12的像素数据的平均值设为上述(1)式的D4。在使用了平均值的情况下，无论对于哪个图像，都能够抑制混色修正的精度极端地变差的情况。
接下来，说明对G像素G2进行混色修正的情况。如图10所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与G像素G2的上侧相邻的G像素G21是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与G像素G2的上侧相邻的像素是R像素R21(参照图8)，在第1排列中与相邻的G像素G21的颜色不同。因此，若将该R像素R21的像素数据设为D1而按照上述(1)式进行混色修正，则混色修正的精度变差。
因此，在本实施方式中，将作为混色修正的对象像素的G像素G2的第1排列中与相邻的G像素G21同色的、在第1排列中距G像素G21为最短距离的G像素G22的像素数据设为上述(1)式的D1。
另外，关于与G像素G2的下侧相邻的B像素B2，将距B像素B2为最短距离的B像素B21的像素数据设为上述(1)式的D2。
另外，关于与G像素G2的左侧相邻的R像素R2，将距R像素R2为最短距离的R像素R22的像素数据设为上述(1)式的D3。
此外，作为距R像素R2为最短距离的R像素，不仅存在R像素R22，也存在R像素R21。这种情况下，可以将R像素R21及R像素R22中的任一像素数据设为上述(1)式的D3，也可以将R像素R21及R像素R22的像素数据的平均值设为上述(1)式的D3。
另外，关于与G像素G2的右侧相邻的G像素G23，与G像素G21同样地，将距G像素G23为最短距离的G像素G22的像素数据设为上述(1)式的D4。
接下来，说明对B像素B6进行混色修正的情况。如图11所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与B像素B6的上侧相邻的R像素R6是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与B像素B6的上侧相邻的像素是G像素G6(参照图8)，在第1排列中与相邻的R像素R6的颜色不同。因此，若将该G像素G6的像素数据设为D1而按照上述(1)式进行混色修正，则混色修正的精度变差。
因此，在本实施方式中，将作为混色修正的对象像素的B像素B6的第1排列中与相邻的R像素R6同色的、在第1排列中距R像素R6为最短距离的R像素R61、R62的像素数据的平均值设为上述(1)式的D1。
另外，关于与B像素B6的下侧相邻的G像素G61，将距G像素G61为最短距离的G像素G62、G63的像素数据的平均值设为上述(1)式的D2。
另外，关于与B像素B6的左侧相邻的G像素G64，将距G像素G64为最短距离的G像素G65的像素数据设为上述(1)式的D3。
另外，关于与B像素B6的右侧相邻的G像素G66，将距G像素G66为最短距离的G像素G67的像素数据设为上述(1)式的D4。
接下来，说明对G像素G3进行混色修正的情况。如图12所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与G像素G3的上侧相邻的B像素B3是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与G像素G3的上侧相邻的像素是G像素G31(参照图8)，在第1排列中与相邻的B像素B3的颜色不同。因此，若将该G像素G31的像素数据设为D1而按照上述(1)式进行混色修正，则混色修正的精度变差。
因此，在本实施方式中，将作为混色修正的对象像素的G像素G3的第1排列中与相邻的B像素B3同色的、在第1排列中距B像素B3为最短距离的B像素B31的像素数据设为上述(1)式的D1。
另外，关于与G像素G3的下侧相邻的G像素G32，将距G像素G32为最短距离的G像素G33的像素数据设为上述(1)式的D2。
另外，关于与G像素G3的左侧相邻的G像素G34，与G像素G32同样地，将距G像素G34为最短距离的G像素G33的像素数据设为上述(1)式的D3。
另外，关于与G像素G3的右侧相邻的R像素R3，将距R像素R3为最短距离的R像素R31的像素数据设为上述(1)式的D4。
此外，作为距R像素R3为最短距离的R像素，不仅存在R像素R31，而且也存在R像素R32。这种情况下，也可以将R像素R31及R像素R32中的任一像素数据设为上述(1)式的D4，也可以将R像素R31及R像素R32的像素数据的平均值设为上述(1)式的D4。
接下来，说明对G像素G4进行混色修正的情况。如图13所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与G像素G4的上侧相邻的B像素B4是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与G像素G4的上侧相邻的像素是G像素G41(参照图8)，在第1排列中与相邻的B像素B4的颜色不同。因此，若将该G像素G41的像素数据设为D1而按照上述(1)式进行混色修正，则混色修正的精度变差。
因此，在本实施方式中，将作为混色修正的对象像素的G像素G4的第1排列中与相邻的B像素B4同色的、在第1排列中距B像素B4为最短距离的B像素B41的像素数据设为上述(1)式的D1。
另外，关于与G像素G4的下侧相邻的G像素G42，将距G像素G42为最短距离的G像素G43的像素数据设为上述(1)式的D2。
另外，关于与G像素G4的左侧相邻的R像素R4，将距R像素R4为最短距离的R像素R41的像素数据设为上述(1)式的D3。
此外，作为距R像素R4为最短距离的R像素，不仅存在R像素R41，而且也存在R像素R42。这种情况下，可以将R像素R41及R像素R42中的任一像素数据设为上述(1)式的D3，也可以将R像素R41及R像素R42的像素数据的平均值设为上述(1)式的D3。
另外，关于与G像素G4的右侧相邻的G像素G44，与G像素G42同样地，将距G像素G44为最短距离的G像素G43的像素数据设为上述(1)式的D4。
接下来，说明对B像素B7进行混色修正的情况。如图14所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与B像素B7的上侧相邻的G像素G7是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与B像素B7的上侧相邻的像素是B像素B71(参照图8)，在第1排列中与相邻的G像素G7的颜色不同。因此，若将该B像素B71的像素数据设为D1而按照上述(1)式进行混色修正，则混色修正的精度变差。
因此，在本实施方式中，将作为混色修正的对象像素的B像素B7的第1排列中与相邻的G像素G7同色的、在第1排列中距G像素G7为最短距离的G像素G71、G72的像素数据的平均值设为上述(1)式的D1。
另外，关于与B像素B7的下侧相邻的R像素R7，将距R像素R7为最短距离的R像素R71、R72的像素数据的平均值设为上述(1)式的D2。
另外，关于与B像素B7的左侧相邻的G像素G73，将距G像素G73为最短距离的G像素G74的像素数据设为上述(1)式的D3。
另外，关于与B像素B7的右侧相邻的G像素G75，将距G像素G75为最短距离的G像素G76的像素数据设为上述(1)式的D4。
接下来，说明对R像素R8进行混色修正的情况。如图15所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与R像素R8的上侧相邻的G像素G8是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与R像素R8的上侧相邻的像素是G像素G81(参照图8)，在第1排列中与相邻的G像素G8的颜色相同。因此，将在第1排列中距G像素G8为最短距离的G像素G81的像素数据设为上述(1)式的D1。
另外，关于与R像素R8的下侧相邻的G像素G82，将距G像素G82为最短距离的G像素G83的像素数据设为上述(1)式的D2。
另外，关于与R像素R8的左侧相邻的B像素B8，将距B像素B8为最短距离的B像素B81、B82的像素数据的平均值设为上述(1)式的D3。
另外，关于与R像素R8的右侧相邻的G像素G84，将距G像素G84为最短距离的G像素G85、G86的像素数据的平均值设为上述(1)式的D4。
接下来，说明对R像素R9进行混色修正的情况。如图16所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与R像素R9的上侧相邻的G像素G9是在1/2间拔中未被读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与R像素R9的上侧相邻的像素是G像素G91(参照图8)，在第1排列中与相邻的G像素G9的颜色相同。因此，将在第1排列中距G像素G9为最短距离的G像素G91的像素数据设为上述(1)式的D1。
另外，关于与R像素R9的下侧相邻的G像素G92，将距G像素G92为最短距离的G像素G93的像素数据设为上述(1)式的D2。
另外，关于与R像素R9的左侧相邻的G像素G94，将距G像素G94为最短距离的G像素G95，G96的像素数据的平均值设为上述(1)式的D3。
另外，关于与R像素R9的右侧相邻的B像素B9，将距B像素B9为最短距离的B像素B91、B92的像素数据的平均值设为上述(1)式的D4。
接下来，说明对G像素G5进行混色修正的情况。如图17所示，在进行1/2间拔之前的原来的图像的排列(第1排列)中，与G像素G5的上侧相邻的R像素R5是在1/2间拔中被未读出的像素(参照图8)。并且，在1/2间拔后的排列(第2排列)中，与G像素G5的上侧相邻的像素是B像素B5(参照图8)，在第1排列中与相邻的R像素R5的颜色不同。因此，若将该B像素B5的像素数据设为D1而按照上述(1)式进行混色修正，则混色修正的精度变差。
因此，在本实施方式中，将作为混色修正的对象像素的G像素G5的第1排列中与相邻的R像素R5同色的、在第1排列中距R像素R5为最短距离的R像素R51、R52的像素数据的平均值设为上述(1)式的D1。
另外，关于与G像素G5的下侧相邻的R像素R53，与R像素R5同样地，将距R像素R53为最短距离的R像素R51、R52的像素数据的平均值设为上述(1)式的D2。
另外，关于与G像素G5的左侧相邻的B像素B51，将距B像素B51为最短距离的B像素B5、B52的像素数据的平均值设为上述(1)式的D3。
另外，关于与G像素G5的右侧相邻的B像素B53，与B像素B51同样地，将距B像素B53为最短距离的B像素B5、B52的像素数据的平均值设为上述(1)式的D4。
此外，控制部24及图像处理部20可以由包括CPU、ROM、RAM、非易失性ROM等的计算机构成。这种情况下，可以将上述的处理的处理程序例如预先存储在非易失性ROM中，CPU将其读入并执行。
这样一来，在本实施方式中，基于混色修正的对象像素的间拔前的排列(第1排列)中与相邻的相邻像素同色的、在间拔前的排列中距相邻像素为最短距离的像素的像素数据，来修正对象像素的像素数据。由此，即使在间拔后的图像的颜色排列与间拔前的图像的颜色排列不同的情况下，也能够高精度地进行混色修正。
此外，在本实施方式中，说明了沿垂直方向及水平方向均以两个像素周期、即以1/2间拔来读出各像素的像素数据的情况，但是也可以以三个像素周期以上的周期来读出各像素的像素数据。但是，若以超过三个像素的周期来读出各像素的像素数据，则存在混色修正的对象像素与混色修正所使用的像素的距离变长而导致混色修正的精度变差的情况，因此优选以三个像素以下的周期来读出各像素的像素数据。而且，读出的周期在垂直方向及水平方向上可以不同。
(第2实施方式)
接下来，说明本发明的第2实施方式。在本实施方式中，说明滤色器的变形例。
图18示出了本实施方式的滤色器。如该图所示，本实施方式的滤色器由包含对应于6×6像素的正方排列图案构成的基本排列图案P(由粗框表示的图案)，沿水平方向及垂直方向重复配置该基本排列图案P。即，该滤色器排列将R、G、B的各种颜色的滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性来排列。
另外，图18所示的滤色器排列中，将G滤光片配置于滤色器排列的垂直方向及水平方向上的各行内。
另外，图18所示的滤色器排列中，在基本排列图案P内，在滤色器排列的垂直方向及水平方向上的各行内配置一个以上的R滤光片、B滤光片。
图19示出将图18所示的基本排列图案P分割成四个3×3像素的状态。
如图19所示，基本排列图案P可以当作由实线的框包围的3×3像素的A排列和由虚线的框包围的3×3像素的B排列沿水平、垂直方向交替排列而成的排列。
A排列中，在中心配置R滤光片，在四角配置B滤光片，隔着中心的R滤光片而在上下左右配置G滤光片。另一方面，B排列中，在中心配置B滤光片，在四角配置R滤光片，隔着中心的B滤光片而在上下左右配置G滤光片。上述的A排列和B排列中，虽然R滤光片与B滤光片的位置关系相反，但是其他的配置同样。
如图20A所示，第2实施方式的滤色器可以当作上述A排列和B排列沿水平及垂直方向交替配置的情况。
当前，如图20A所示，对于从摄像元件14输出的马赛克图像以A排列为中心而提取出5×5像素的局部区域(由粗框表示的区域)的情况下，该局部区域内的八个G像素如图20B所示配置成十字形状。将这些G像素按照从左至右的顺序设为G1、G2、G3、G4、并按照从上至下的顺序设为G5、G6、G7、G8时，像素G1G2、像素G3G4在水平方向上相邻，像素G5G6、像素G7G8在垂直方向上相邻，像素G6G3、像素G2G7在左上斜方向上相邻，像素G6G2、像素G3G7在右上斜方向上相邻。
因此，通过求出上述的相邻的像素的像素值的差量绝对值，能够以最小像素间隔判定水平、垂直及倾斜(NE、NW)方向的各方向中的、亮度的变化最小的方向(相关性高的相关方向)。
即，水平方向的差量绝对值之和成为|G1-G2|+|G3-G4|，垂直方向的差量绝对值之和成为|G5-G6|+|G7-G8|，右上斜方向的差量绝对值之和成为|G6-G2|+|G3-G7|，左上斜方向的差量绝对值之和成为|G6-G3|+|G2-G7|。
能够判定为与在获取这四个相关绝对值中的最小的差量绝对值的方向上存在相关性(相关方向)。此外，可以在进行同时化处理等时利用所判定的相关方向。
另外，构成图18所示的滤色器的基本排列图案P相对于该基本排列图案P的中心呈点对称。
如图19所示，基本排列图案内的A排列及B排列分别相对于中心的R滤光片或B滤光片呈点对称，且上下左右对称(线对称)。
另外，构成图18所示的滤色器排列的基本排列图案P的尺寸是(N×M)像素(N、M：3以上的整数)，比共有像素的尺寸(K×L)像素(K、L：2以上的整数)大。即，满足N>K、M>L。
这样一来，第2实施方式的滤色器具有与第1实施方式的滤色器的特征(1)、(3)～(5)相同的特征。(关于特征(2)、(3)，具有如下特征：在基本排列图案P内，在滤色器排列的垂直方向及水平方向上的各行内配置一个以上的G滤光片、R滤光片、B滤光片)。
在这样的滤色器的情况下，与第1实施方式同样地沿垂直方向及水平方向均以1/2间拔进行读出时，间拔后的图像成为图21所示的图像。
此外，滤色器排列并不局限于上述各实施方式中说明的结构，在具有以下那样的滤色器排列的摄像元件的摄像装置中也可以应用本发明。
例如，作为具有上述特征(1)、(2)、(3)的滤色器排列，存在例如图22所示那样的基本排列图案P为3×3像素的滤色器。该滤色器排列是在3×3像素中的中心和四角配置G滤光片且在其余的4个像素处配置同数的R或B所得到的基本排列图案重复而成的结构。而且，沿垂直方向及水平方向均进行1/2间拔时的图像成为图22所示那样的图像。
另外，作为具有上述特征(1)、(2)、(3)的滤色器排列，如图23所示的基本排列图案P具有5×5像素的滤色器排列。该滤色器排列被配置成：在5×5像素中的两条对角线上配置G，而在其余的像素位置处在5×5像素中的水平及垂直方向上的各行内配置一个以上的R、B像素，且该滤色器排列是将以G的个数多于R、B的个数的方式设定的基本排列图案重复而成的。而且，沿垂直方向及水平方向均进行1/2间拔时的图像成为如图23所示的图像。
除此以外，作为具有上述特征(1)、(3)、(4)、(5)的滤色器排列，存在如图24所示基本排列图案P为4×4像素的滤色器排列。该滤色器排列被配置成：在4×4像素中的两条对角线上配置G，而在其余的像素位置，在4×4像素中的水平及垂直方向上的各行内配置一个以上的R、B像素，且该滤色器排列是将以G的个数多于R、B的个数的方式设定的基本排列图案重复而成的。
另外，存在如图25所示基本排列图案P为5×5像素的滤色器排列。
另外，如图26所示，存在基本排列图案P为6×6像素的滤色器排列。该滤色器排列是G在R或B的外周呈矩形形状配置的第1子排列与G配置于中央部的第2子排列分别各两个地沿水平方向、垂直方向彼此交替相邻地配置的基本排列图案重复而成的。在该排列中，在特征(3)中，还具有在滤色器排列的倾斜(NE、NW)方向(第3方向)上的各行内配置一个以上的R及B的特征。
另外，存在如图27所示基本排列图案P为7×7像素的滤色器排列、如图28所示基本排列图案P为8×8像素的滤色器排列等。
此外，当考虑到同时化处理或动画摄影时的间拔处理等的图像处理的容易度时，N、M优选为10以下。
此外，应用本发明的基本排列图案的尺寸N×M优选为5×5以上，更优选为10×10以下。当基本排列图案的像素尺寸以平方方式增大、且三种颜色的RGB的像素的排列的自由度提高时，周边像素的颜色配置的组合增加，间拔后的图像与间拔前的图像的基本排列图案不同的可能性升高，因此本发明有效。在5×5以上的情况下，成为25个像素以上，因此能充分获得本发明的效果。另一方面，当考虑到同时化处理、动画摄影时的间拔处理等图像处理的容易度时，N、M优选为10以下。
另外，在上述实施方式中，说明了具有RGB的三原色的滤色器的彩色摄像元件，但本发明并不局限于此，也能够应用到RGB的三原色+其他颜色(例如，翠绿(E))这四种颜色的滤色器例如图29所示那样的滤色器中。而且，在具有白色或透明(W)滤光片作为其他颜色的滤色器中也可以应用本发明。例如可以取代图29的翠绿而配置W滤光片。这种情况下，W与G的组合、或W成为最有助于亮度信号的第1色。
另外，在具有在作为原色RGB的补色的C(青绿)、M(洋红)、Y(黄)中加入了G的四种颜色的补色系的滤色器的彩色摄像元件中也可以应用本发明。
此外，本发明并未限定为上述的实施方式，在不脱离本发明的主旨的范围内当然能够进行各种变形。
附图标记说明
10 摄像装置
12 光学系统
14 摄像元件
16 摄像处理部
20 图像处理部
22 驱动部
24 控制部
P  基本排列图案

Claims (12)

1.一种摄像装置，具备：
摄像元件，包含沿预先规定的第1方向及与所述第1方向交叉的第2方向排列的多个光电转换元件；
滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片以预先规定的图案进行配置；
驱动单元，驱动所述摄像元件，使得：以从所述摄像元件读出的像素的排列成为与表示所述摄像元件的全部像素的排列的第1排列不同的第2排列的方式，读出沿所述第1方向及所述第2方向中的至少一个方向以设定的周期进行配置的像素的像素数据；及
混色修正单元，对于以所述设定的周期进行配置的像素的像素数据分别进行混色修正，基于与在所述第1排列上和混色修正的对象像素相邻的相邻像素同色、且在所述第1排列上距所述相邻像素的距离最短的像素的像素数据，来修正所述对象像素的像素数据。
2.根据权利要求1所述的摄像装置，其中，
所述第一滤光片在所述滤色器内在所述第1方向、所述第2方向、与所述第1方向及所述第2方向交叉的第3方向上的各行内配置一个以上，
所述第二色的各种颜色所对应的所述第二滤光片在所述基本排列图案内在所述第1方向及所述第2方向上的各行内分别配置一个以上。
3.根据权利要求1所述的摄像装置，其中，
所述滤色器重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片沿所述第1方向及所述第2方向以N×M像素的预先规定的图案进行配置，其中，N、M为3以上的整数。
4.根据权利要求1所述的摄像装置，其中，
所述滤色器包含由所述第1滤光片构成的对应于2×2像素的正方排列。
5.根据权利要求1所述的摄像装置，其中，
所述第1色是绿(G)色，所述第2色是红(R)色及蓝(B)色。
6.根据权利要求5所述的摄像装置，其中，
所述滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，
所述滤色器将第1排列和第2排列交替地沿所述第1方向及所述第2方向排列而构成，
所述第1排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置B滤光片，隔着中心的G滤光片而在左右排列有R滤光片，
所述第2排列对应于3×3像素，在中心和四角配置G滤光片，隔着中心的G滤光片而在上下配置R滤光片，隔着中心的G滤光片而在左右排列有B滤光片。
7.根据权利要求5所述的摄像装置，其中，
所述滤色器具有与红(R)、绿(G)、蓝(B)的颜色对应的R滤光片、G滤光片及B滤光片，并且，
所述滤色器将第1排列和第2排列交替地沿所述第1方向及所述第2方向排列而构成，
所述第1排列对应于3×3像素，在中心配置R滤光片，在四角配置B滤光片，隔着中心的R滤光片而在上下左右配置G滤光片，
所述第2排列对应于3×3像素，在中心配置B滤光片，在四角配置R滤光片，隔着中心的B滤光片而在上下左右配置G滤光片。
8.根据权利要求1～7中任一项所述的摄像装置，其中，
当存在多个所述距离最短的像素的情况下，所述混色修正单元基于这多个像素中的任一像素的像素数据来修正所述对象像素的像素数据。
9.根据权利要求1～7中任一项所述的摄像装置，其中，
当存在多个所述距离最短的像素的情况下，所述混色修正单元基于这多个像素的像素数据的平均值来修正所述对象像素的像素数据。
10.根据权利要求1所述的摄像装置，其中，
所述周期是三个像素以下的周期。
11.根据权利要求1所述的摄像装置，其中，
所述摄像装置具备切换所述周期的切换单元。
12.一种摄像装置的控制方法，所述摄像装置具备：
摄像元件，包含沿预先规定的第1方向及与所述第1方向交叉的第2方向排列的多个光电转换元件；及
滤色器，设置在由所述多个光电转换元件构成的多个像素上，重复配置有基本排列图案，所述基本排列图案将最有助于获得亮度信号的第1色所对应的第1滤光片和除所述第1色以外的两种颜色以上的第2色所对应的第2滤光片以预先规定的图案进行配置，
所述摄像装置的控制方法包括如下步骤：
驱动所述摄像元件，使得：以从所述摄像元件读出的像素的排列成为与表示所述摄像元件的全部像素的排列的第1排列不同的第2排列的方式读出沿所述第1方向及所述第2方向中的至少一个方向以设定的周期进行配置的像素的像素数据；及
对于以所述设定的周期进行配置的像素的像素数据分别进行混色修正的混色修正处理，基于与在所述第1排列上和混色修正的对象像素相邻的相邻像素同色、且在所述第1排列上距所述相邻像素的距离最短的像素的像素数据，来修正所述对象像素的像素数据。
CN201280064837.1A 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法 Active CN104012083B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-286687 2011-12-27
JP2011286687 2011-12-27
PCT/JP2012/083972 WO2013100092A1 (ja) 2011-12-27 2012-12-27 撮像装置、撮像装置の制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
CN104012083A CN104012083A (zh) 2014-08-27
CN104012083B true CN104012083B (zh) 2015-08-12

Family

ID=48697571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280064837.1A Active CN104012083B (zh) 2011-12-27 2012-12-27 摄像装置及摄像装置的控制方法

Country Status (6)

Country Link
US (1) US9485482B2 (zh)
EP (1) EP2800382B1 (zh)
JP (1) JP5624226B2 (zh)
CN (1) CN104012083B (zh)
RU (1) RU2547140C1 (zh)
WO (1) WO2013100092A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2800379A4 (en) * 2011-12-27 2015-12-23 Fujifilm Corp COLOR IMAGING ELEMENT
KR102426668B1 (ko) * 2015-08-26 2022-07-28 삼성전자주식회사 디스플레이 구동 회로 및 디스플레이 장치
US10567749B1 (en) * 2019-05-03 2020-02-18 Zf Active Safety And Electronics Us Llc Modulation transfer function evaluation for red/clear filtered optical devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536895A (zh) * 2003-04-03 2004-10-13 ���µ�����ҵ��ʽ���� 彩色固体摄像装置
JP2010130583A (ja) * 2008-11-28 2010-06-10 Canon Inc 撮像装置、撮像システム、及び撮像装置における信号の補正方法
CN102292974A (zh) * 2009-03-17 2011-12-21 佳能株式会社 摄像设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP2002135793A (ja) * 2000-10-20 2002-05-10 Victor Co Of Japan Ltd カラー撮像装置
EP2768223B8 (en) 2001-01-09 2016-11-09 Sony Semiconductor Solutions Corporation Image pick up device
US20030147564A1 (en) * 2002-02-01 2003-08-07 Chulhee Lee Fast hybrid interpolation methods
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP3960965B2 (ja) 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
JP4063306B1 (ja) * 2006-09-13 2008-03-19 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5084430B2 (ja) * 2006-11-02 2012-11-28 ペンタックスリコーイメージング株式会社 撮像ユニット
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
US7859580B2 (en) * 2007-10-16 2010-12-28 Aptina Imaging Corporation Method and apparatus for anisotropic demosaicing of image data
JP4803156B2 (ja) * 2007-10-16 2011-10-26 ソニー株式会社 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
JP5106092B2 (ja) * 2007-12-26 2012-12-26 パナソニック株式会社 固体撮像装置およびカメラ
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5526840B2 (ja) * 2010-02-09 2014-06-18 ソニー株式会社 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536895A (zh) * 2003-04-03 2004-10-13 ���µ�����ҵ��ʽ���� 彩色固体摄像装置
JP2010130583A (ja) * 2008-11-28 2010-06-10 Canon Inc 撮像装置、撮像システム、及び撮像装置における信号の補正方法
CN102292974A (zh) * 2009-03-17 2011-12-21 佳能株式会社 摄像设备

Also Published As

Publication number Publication date
JP5624226B2 (ja) 2014-11-12
EP2800382A1 (en) 2014-11-05
US20140307123A1 (en) 2014-10-16
JPWO2013100092A1 (ja) 2015-05-11
RU2547140C1 (ru) 2015-04-10
CN104012083A (zh) 2014-08-27
EP2800382B1 (en) 2016-06-29
US9485482B2 (en) 2016-11-01
WO2013100092A1 (ja) 2013-07-04
EP2800382A4 (en) 2015-06-24

Similar Documents

Publication Publication Date Title
JP5361535B2 (ja) 撮像装置
JP5499224B2 (ja) 撮像装置及びシェーディング補正方法
CN103444183B (zh) 彩色摄像元件及摄像装置
US8780239B2 (en) Image pickup apparatus and signal value correction method
CN103460703B (zh) 彩色摄像元件及摄像装置
CN104025577B (zh) 图像处理装置、方法以及摄像装置
JP5680797B2 (ja) 撮像装置、画像処理装置、及び画像処理方法
CN104012083B (zh) 摄像装置及摄像装置的控制方法
CN104025566B (zh) 摄像装置及摄像装置的控制方法
CN103621070B (zh) 摄像装置及摄像装置的控制方法
CN103430552B (zh) 摄像装置
CN104041019B (zh) 摄像装置及摄像装置的控制方法
JP2018174542A (ja) 撮像素子および撮像装置
JP5786355B2 (ja) デフォーカス量検出装置および電子カメラ
CN103460702B (zh) 彩色摄像元件及摄像装置
JP5278421B2 (ja) 撮像装置
CN104011575B (zh) 摄像装置及摄像装置的控制方法
CN104025575B (zh) 摄像装置及摄像装置的控制方法
JP7019442B2 (ja) 撮像装置およびその制御方法
JP2011176584A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant