CN104838646A - 图像处理装置、图像处理方法、程序及记录介质 - Google Patents

图像处理装置、图像处理方法、程序及记录介质 Download PDF

Info

Publication number
CN104838646A
CN104838646A CN201380063609.7A CN201380063609A CN104838646A CN 104838646 A CN104838646 A CN 104838646A CN 201380063609 A CN201380063609 A CN 201380063609A CN 104838646 A CN104838646 A CN 104838646A
Authority
CN
China
Prior art keywords
pixel
filter
colour mixture
incident light
colour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380063609.7A
Other languages
English (en)
Other versions
CN104838646B (zh
Inventor
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104838646A publication Critical patent/CN104838646A/zh
Application granted granted Critical
Publication of CN104838646B publication Critical patent/CN104838646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

在本发明所涉及的图像处理装置、图像处理方法、程序及记录介质中，对异常倾斜入射光(重影光)入射到的像素的像素数据，降低同色像素间的像素数据的级差，另外，对异常倾斜入射光未入射到的像素的像素数据，校正由像素特性所引起的混色，得到高品质的图像数据。当马赛克状的图像数据(RGB图像)被输入到混色判定校正部时，由混色校正判定部获取图像数据(像素数据)，由混色校正判定部判定图像数据中有无重影光等异常倾斜入射光。在判定为图像数据中有异常倾斜入射光的入射的情况下，进行混色校正B，消除G像素间的像素数据的级差。另一方面，在判定为图像数据中没有异常倾斜入射光的入射的情况下，进行混色校正A，校正与摄像元件固有的像素特性对应的混色。

Description

图像处理装置、图像处理方法、程序及记录介质
技术领域
本发明涉及图像处理装置、图像处理方法、程序及记录介质，特别是涉及进行与有无异常倾斜入射光对应的混色校正的技术。
背景技术
一般来说，在具有马赛克状的滤色器排列的单板方式的摄像元件中，发生由来自相邻像素的光的漏入导致的混色。如果对混色的影响大的RGB的颜色信号进行数字信号处理而生成图像，则图像的颜色再现性(画质)降低，另外，难以根据混色的影响大的RGB的颜色信号来高精度地计算白平衡(WB)校正用的WB增益。
另外，如果在通过数码相机等摄像装置对被摄体图像进行摄影时强光入射到透镜，则有时由摄影透镜、大镜头的表面反射后的光在透镜内部、相机内部复杂地进行反射，以无法预料的角度前进的光由摄像元件接收。这样一来，从无法预料的角度入射到摄像元件的异常倾斜入射光会引起所谓的重影、眩光等现象，使摄影图像的画质劣化。
特别是在异常倾斜入射光的角度大的情况下，异常倾斜入射光的至少一部分入射到与所通过的滤色器相邻的像素的光电二极管。这样一来，在异常倾斜入射光所通过的滤色器与实际接收到光的光电二极管不完全对应的情况下，通过该异常倾斜入射光而较大程度地引起所谓的混色现象，导致摄影图像的颜色再现性劣化。
作为减轻混色的影响的方法，例如专利文献1公开抑制伴随着重影的颜色噪声的产生的摄像装置。在该摄像装置中，使用RAW数据来检测伴随着重影的颜色噪声的产生，校正被检测到颜色噪声的产生的像素数据的亮度电平值。
另外，专利文献2公开提高对各像素的混色校正处理的精度的摄像装置。在该摄像装置中，存储表示与从周边像素混入到校正对象像素的信号成分相关的特性的混色特性信息，根据像素排列中的校正对象像素的位置和混色特性信息来求出校正系数，对从校正对象像素读出的信号进行校正。
专利文献
专利文献1：日本特开2005-333251号公报
专利文献2：日本特开2010-130583号公报
发明内容
发明所要解决的课题
以往一直使用的摄像元件大多具有比较单一的滤色器排列。例如，在广泛使用的拜耳排列中，由相邻配置的“R像素和G像素”及“G像素和B像素”构成的2个像素(水平方向)×2个像素(垂直方向)的合计4个像素在水平方向和垂直方向上重复配置，从而构成滤色器排列。
在这样的具有单一的滤色器排列的摄像元件中，混色现象也比较简单，所以能够通过比较简单的混色校正来降低在图像数据上混色的影响。
然而，最近，具有比较复杂的滤色器排列的摄像元件也正在被使用，即使是具有同色的滤色器的像素彼此之间，有时相邻的像素(滤色器)的种类不同的像素也存在有多个。例如具有绿色的滤色器的像素(G像素)在拜耳排列中根据相邻的像素类型(滤色器类型)而被分为两类，但在复杂的滤色器排列中被分为非常多个种类(例如10种以上)。
混色的影响根据相邻像素的种类而变动，所以即使是具有同色的滤色器的像素，也优选进行与相邻的像素(滤色器)的种类对应的混色校正。
然而，在具有复杂的滤色器排列的摄像元件中，混色现象也复杂化，即使是本来输出相同或近似的像素数据的接近同色像素，由于混色现象，也有时从接近同色像素输出与相邻像素的滤色器的种类对应的不同的像素数据。
特别是，如果像重影光那样入射角与普通光不同的光(异常倾斜入射光)入射到摄像元件，则由于通过了相邻像素的滤色器的重影光的漏入，在接近同色像素之间产生像素数据的不自然的差异(同色级差)。关于该级差现象，即使是同色像素，与相邻像素类型对应的种类越多，则也越复杂化。在具有复杂的滤色器排列的摄像元件中，由于重影光的入射而产生的复杂的混色现象有时通过通常的混色校正无法充分地校正。特别是在从关于滤色器排列而具有由“3个像素(水平方向)×3个像素(垂直方向)”以上的像素数构成的基本排列图案的摄像元件输出的图像数据中，有时通过通常的混色校正无法完全应对。
这样一来，在像重影光那样的异常倾斜入射光入射到摄像元件的情况下，有时显著地产生基于从接近同色像素输出的“与相邻的像素类型对应的不同的像素数据”的级差现象，所以优选尽可能地去除这样的级差。特别是，在重影光入射到具有复杂的滤色器排列的摄像元件的状态下得到的图像数据中，期望有效地去除重影光所引起的“同色像素之间的像素数据的级差”。
另一方面，即使在重影光不入射到摄像元件的情况下，根据摄像元件的像素特性(基于微透镜、滤色器、光电二极管、布线等的配置、尺寸、物性值等的特性)，会发生来自相邻像素的光的漏入而产生混色现象。因此，在重影光不入射到摄像元件的情况下，期望通过使这样的摄像元件的像素特性最优化的混色校正，降低由来自相邻像素的光的漏入导致的混色。
本发明是鉴于上述的情况而完成的，其目的在于，提供一种技术，对重影光等异常倾斜入射光入射到的像素的像素数据，降低该异常倾斜入射光所引起的同色像素间的像素数据的级差，另外对异常倾斜入射光未入射到的像素的像素数据，校正由像素特性引起的混色，从而得到高品质的图像数据。
用于解决课题的手段
本发明的一种方式涉及一种图像处理装置，具备：异常倾斜入射光检测单元，根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；第一混色校正单元，基于校正对象像素的相邻像素的像素数据，对校正对象像素的像素数据进行第一混色校正；第二混色校正单元，基于校正对象像素的周边像素的像素数据，对校正对象像素的像素数据进行第二混色校正；及混色校正判定单元，根据异常倾斜入射光检测单元的检测结果，判定由第一混色校正单元和第二混色校正单元中的哪一个混色校正单元进行图像数据的校正，混色校正判定单元进行以下判定：在由异常倾斜入射光检测单元未检测到异常倾斜入射光的情况下，由第一混色校正单元进行校正对象像素的像素数据的校正，在由异常倾斜入射光检测单元检测出异常倾斜入射光的情况下，由第二混色校正单元进行校正对象像素的像素数据的校正。
根据本方式，在未检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的相邻像素的像素数据的第一混色校正，在检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的周边像素的像素数据的第二混色校正。
因此，特别是对排列矩阵尺寸大的摄像元件，也能够应用本方式，能够解决由于异常倾斜入射光(重影光等)漏入到相邻像素的影响而产生的同色像素的级差，抑制由异常倾斜入射光导致的画质劣化。
在这里所说的“校正对象像素的相邻像素”是指与校正对象像素相邻的像素，例如具有与校正对象像素的滤色器相邻的滤色器的像素能够成为“校正对象像素的相邻像素”。例如，能够将包围校正对象像素的8个像素(在第一方向、第二方向及相对于第一方向和第二方向而具有角度的方向上与校正对象像素相邻的像素)、在第一方向和第二方向上与校正对象像素相邻的4个像素设为“校正对象像素的相邻像素”。另外，“校正对象像素的周边像素”是指在从校正对象像素起的规定范围内包含的像素，既可以与校正对象像素相邻，也可以不相邻。因此“校正对象像素的周边像素”是能够包含“校正对象像素的相邻像素”的概念。另外，从作为“校正对象像素的周边像素”的基准的校正对象像素起的范围能够根据第二混色校正的具体内容来适当确定。
在第一混色校正中，能够基于校正对象像素的相邻像素的全部或一部分像素数据，对校正对象像素的像素数据进行校正，在第二混色校正中，能够基于校正对象像素的周边像素的全部或一部分像素数据，对校正对象像素的像素数据进行校正。
在异常倾斜入射光不入射的情况下的混色主要是由来自相邻像素的光的漏入所导致的，所以能够基于校正对象像素的相邻像素的像素数据来有效地校正。另一方面，重影光等异常倾斜入射光入射到具有摄像元件内这样大小的范围(多个像素)内，所以异常倾斜入射光所引起的混色的影响能够通过综合考量了校正对象像素的周边像素的像素数据的混色校正来有效地降低。
此外，在这里所说的“异常倾斜入射光”是指与构成被摄体图像的普通光不同的未意料到的光要素，是指所通过的滤色器和光电二极管不包含在同一像素中的光要素。作为该异常倾斜入射光，例如可以包括引起重影、眩光等现象的光要素。一般来说，重影是指如下现象：通过经由透镜表面、摄像元件表面的反射而通过与本来的成像光(有效成像光)的光路不同的光路并到达像面上的光(无用光)来形成在视觉上能够辨认一定形状的光学图像。另外，眩光是指如下现象：在强光入射到光学系统的情况下，入射光的一部分被透镜表面、摄像元件表面反射而作为无用光到达像面上，导致在视觉上无法辨认一定形状的图像异常，在生成图像中产生对比度的降低、光的渗透等。
另外，对“第一方向”及“第二方向”没有特别的限定，只要是形成相互垂直(包括实质上垂直)的方向即可。例如，既可以将在由摄像装置进行摄像时的相对于被摄体的“水平方向”及“垂直方向”设为“第一方向”及“第二方向”，也可以将相对于这些“水平方向”及“垂直方向”而具有任意的角度的方向设为“第一方向”及“第二方向”。因此，在按照使在水平方向和垂直方向上二维地排列的多个像素旋转45度而得到的所谓“蜂窝型的排列”来配置多个像素的情况下，可以将与“水平方向”及“垂直方向”呈45度的方向作为“第一方向”及“第二方向”来处理。
优选的是，第二混色校正单元将具有与校正对象像素同色的滤色器的4个以上的像素作为周边像素，对校正对象像素的像素数据进行第二混色校正。
在这种情况下，在第二混色校正中，使用具有与校正对象像素同色的滤色器的像素的像素数据，并且使用4个以上的像素的像素数据，所以能够进行高精度的混色校正。
优选的是，周边像素由相对于周边像素而相邻的像素的滤色器的种类(相邻像素配置类型)相互不同的像素构成。
在这种情况下，基于相邻的像素的滤色器的种类相互不同的周边像素的像素数据来进行第二混色校正，对异常倾斜入射光所引起的各种类型的混色，能够灵活应对。
优选的是，摄像元件的多个像素具有基本排列图案，该基本排列图案是M像素×N像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与第一方向垂直的第二方向上排列有多个，周边像素是在包括校正对象像素的M像素×N像素的范围内包含的像素，并且具有与校正对象像素同色的滤色器。
在这种情况下，能够以基本排列图案为单位进行第二混色校正，能够高效地进行高精度的混色校正。
优选的是，摄像元件的多个像素具有基本排列图案，该基本排列图案是M像素×N像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与第一方向垂直的第二方向上排列有多个，周边像素是在比包括校正对象像素的M像素×N像素的范围大的范围内包含的像素，并且具有与校正对象像素同色的滤色器。
在这种情况下，能够基于在比基本排列图案大的范围内包含的像素的像素数据来进行第二混色校正，能够基于大量的像素数据来进行高精度的混色校正。
优选的是，第二混色校正单元基于从校正对象像素和周边像素的像素数据导出的代表值，进行校正对象像素的像素数据的第二混色校正。
在这种情况下，能够基于从校正对象像素和周边像素的像素数据导出的代表值来简化第二混色校正处理。
优选的是，代表值是校正对象像素和周边像素的像素数据的平均值或加权平均值。
优选的是，代表值是校正对象像素和周边像素的像素数据的中位数或众数。
通过将这些校正对象像素和周边像素的像素数据的“平均值”、“加权平均值”、“中位数”及“众数”中的任一个设为“代表值”，能够简化第二混色校正，有效地消除同色像素间的像素数据的级差。
优选的是，多个像素包括由包含至少1种以上的颜色的第一颜色的滤色器构成的第一色像素及由包含第一颜色以外的至少2种以上的颜色的第二颜色的滤色器构成的第二色像素，第一色像素具有用于得到亮度信号的贡献率比第二色像素的滤色器高的颜色的滤色器，校正对象像素是第一色像素。
亮度是影响画质的很大的原因，但根据本方式，通过将用于得到亮度信号的贡献率高的第一色像素设为校正对象像素，能够有效地改善所得到的图像的品质。
优选的是，第一色像素具有绿色、透明或白色的滤色器。
在这种情况下，将具有用于得到亮度信号的贡献率比其他颜色高的绿色、透明或白色的滤色器的像素设为校正对象像素，所以能够有效地改善所得到的图像的品质。
此外，透明的滤色器及白色的滤色器是红波长区域的光、蓝波长区域的光及绿波长区域的光中的任一个都透过的滤色器，透明的滤色器具有较高的光透射率(例如70％以上的光透射率)，白色的滤色器具有比透明的滤色器低的光透射率。
也可以是，摄像元件的多个像素具有基本排列图案，该基本排列图案是M像素×N像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与第一方向垂直的第二方向上排列有多个，基本排列图案中，相邻像素的滤色器的种类相互不同的第一色像素包括至少5个。
根据本方式，特别是相邻像素的滤色器的种类相互不同的第一色像素在基本排列图案中包括5个以上的情况下，滤色器排列变得复杂，本发明所涉及的混色校正的有效性较高。
例如，关于拜耳排列的G(绿)像素，与相邻像素配置类型对应的种类为2种，由混色导致的同色G像素间的级差(同色级差)为1种图案，所以容易进行混色校正。另一方面，在M像素×N像素的基本排列图案中包括5个以上(例如G1～G5)相邻像素的滤色器的种类相互不同的第一色像素的复杂的滤色器排列中，同色像素间的级差变得复杂，对画质劣化造成大的影响。根据本方式，基本排列图案包括至少5个相邻像素的滤色器的种类相互不同的第一色像素，即使对复杂的滤色器排列，也能够有效地进行第一混色校正及第二混色校正，抑制画质劣化。
本发明的其他方式涉及一种图像处理方法，具备以下步骤：根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；基于校正对象像素的相邻像素的像素数据，进行校正对象像素的像素数据的第一混色校正；基于校正对象像素的周边像素的像素数据，进行校正对象像素的像素数据的第二混色校正；及根据异常倾斜入射光检测单元的检测结果，判定通过第一混色校正和第二混色校正中的哪一个混色校正来进行图像数据设为校正，在判定是否进行图像数据的校正的步骤中，进行以下判定：在检测有无异常倾斜入射光的步骤中未检测到异常倾斜入射光的情况下，通过第一混色校正来进行校正对象像素的像素数据的校正，在检测有无异常倾斜入射光的步骤中检测到异常倾斜入射光的情况下，通过第二混色校正来进行校正对象像素的像素数据的校正。
本发明的其他方式涉及一种程序，用于使计算机执行以下步骤：根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；基于校正对象像素的相邻像素的像素数据，进行校正对象像素的像素数据的第一混色校正；基于校正对象像素的周边像素的像素数据，进行校正对象像素的像素数据的第二混色校正；及根据异常倾斜入射光检测单元的检测结果，判定通过第一混色校正和第二混色校正中的哪一个混色校正来进行图像数据的校正，在判定是否进行图像数据的校正的步骤中，进行以下判定：在检测有无异常倾斜入射光的步骤中未检测到异常倾斜入射光的情况下，通过第一混色校正来进行校正对象像素的像素数据的校正，在检测有无异常倾斜入射光的步骤中检测到异常倾斜入射光的情况下，通过第二混色校正来进行校正对象像素的像素数据的校正。
本发明的其他方式一种记录介质，记录有用于使计算机执行以下步骤的程序的计算机能够读取的代码：根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；基于校正对象像素的相邻像素的像素数据，进行校正对象像素的像素数据的第一混色校正；基于校正对象像素的周边像素的像素数据，进行校正对象像素的像素数据的第二混色校正；及根据异常倾斜入射光检测单元的检测结果，判定通过第一混色校正及第二混色校正中的哪一个混色校正来进行图像数据的校正，在判定是否进行图像数据的校正的步骤中，进行以下判定：在检测有无异常倾斜入射光的步骤中未检测到异常倾斜入射光的情况下，通过第一混色校正来进行校正对象像素的像素数据的校正，在检测有无异常倾斜入射光的步骤中检测到异常倾斜入射光的情况下，通过第二混色校正来进行校正对象像素的像素数据的校正。
发明效果
根据本发明，在未检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的相邻像素的像素数据的第一混色校正，在检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的周边像素的像素数据的第二混色校正。
因此，对重影光等异常倾斜入射光入射到的像素的像素数据，能够进行基于校正对象像素的周边像素的像素数据的第二混色校正，以降低该异常倾斜入射光所引起的同色像素间的像素数据的级差。另一方面，对异常倾斜入射光未入射到的像素的像素数据，能够进行基于校正对象像素的相邻像素的像素数据的第一混色校正，以降低像素特性所引起的混色的影响。
这样一来，根据本发明，能够通过与混色原因对应的灵活的混色校正处理来得到高品质的图像数据，能够有效地抑制通过简单的混色校正无法完全校正的“异常倾斜入射光所引起的同色像素间的像素数据的级差”。
附图说明
图1是表示数码相机的一个结构例的框图。
图2A是表示彩色摄像元件的滤色器(像素)的基本排列图案例的俯视图，表示在水平方向和垂直方向上排列了4个基本排列图案P的状态。
图2B是表示彩色摄像元件的滤色器(像素)的基本排列图案例的俯视图，是1个基本排列图案P的放大图。
图3是图像处理电路的功能框图。
图4A是说明异常倾斜入射光(重影光等)所引起的混色现象的机制的剖视图，表示G像素、R像素和G像素的相邻配置例。
图4B是说明异常倾斜入射光(重影光等)所引起的混色现象的机制的剖视图，表示G像素、B像素和G像素的相邻配置例。
图5是混色判定校正部的功能框图。
图6是表示图2的滤色器排列中的G像素的种类的图。
图7是表示由混色判定校正部实施的混色校正的流程的流程图。
图8是表示第二实施方式的彩色摄像元件的滤色器排列(像素排列)的图。
图9是表示滤色器排列的基本排列图案的其他例子的图。
图10是表示滤色器排列的基本排列图案的其他例子的图。
图11是表示滤色器排列的基本排列图案的其他例子的图。
图12是表示滤色器排列的基本排列图案的其他例子的图。
图13A是表示滤色器排列的基本排列图案的其他例子的图。
图13B是表示滤色器排列的基本排列图案的其他例子的图。
图14是表示滤色器的分光灵敏度的图。
图15是表示2×2的4个像素共享1个放大器的摄像元件的一例的图。
图16是对表示混色率的校正表格的一例进行表示的图表。
图17是表示马赛克图像的8×8的分割区域的图。
图18是表示第一混色校正部的内部结构的一例的框图。
图19是表示混色校正A的一例的流程的流程图。
图20是表示在摄像元件中设置的滤色器排列的图。
图21A是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图21B是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图21C是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图21D是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图21E是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图22A是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图22B是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图22C是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图22D是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图22E是说明将异常倾斜入射光的入射方向利用于混色校正的图。
图23是表示其他滤色器排列的图。
图24是表示将图23所示的滤色器排列的基本排列像素组分割成第一子排列及第二子排列的情形的图。
图25是表示其他滤色器排列的图。
图26是表示将图25所示的滤色器排列的基本排列像素组分割成第一子排列及第二子排列的情形的图。
图27是说明在图25所示的滤色器排列中判别异常倾斜入射光的入射方向的图。
图28是说明在图25所示的滤色器排列中判别异常倾斜入射光的入射方向的图。
图29是表示其他滤色器排列的图。
图30是表示将图29所示的滤色器排列的基本排列像素组分割成第一子排列及第二子排列的情形的图。
图31是说明在图29所示的滤色器排列中判别异常倾斜入射光的入射方向的图。
图32是说明在图29所示的滤色器排列中判别异常倾斜入射光的入射方向的图。
图33是表示彩色摄像元件的像素排列的一变形例的图。
图34是表示智能手机的外观图。
图35是表示智能手机的结构的框图。
具体实施方式
参照附图，说明本发明的实施方式。首先，说明作为本发明的一应用例的数码相机(摄像装置)的基本结构，之后，说明混色校正的方法。
图1是表示数码相机10的一个结构例的框图。此外，在本例子中，说明图1所示的结构中的、透镜单元14以外的各部设置在相机主体12中的例子，但根据需要，也能够将各部设置在透镜单元14中。
数码相机(摄像装置)10具备相机主体12及以能够更换的方式安装在相机主体12的前表面的透镜单元14。
透镜单元14具备包括变焦透镜21和聚焦透镜22的摄影光学系统20及机械快门23等。变焦透镜21及聚焦透镜22分别由变焦机构24及聚焦机构25驱动，沿着摄影光学系统20的光轴O1前后移动。变焦机构24及聚焦机构25由齿轮、马达等构成。
机械快门23具有在阻止被摄体光入射到彩色摄像元件27的关闭位置与允许被摄体光的入射的打开位置之间移动的可动部(省略图示)。通过使可动部移动到打开位置/关闭位置，从摄影光学系统20至彩色摄像元件27的光路被打开/遮断。另外，在机械快门23中，包括控制入射到彩色摄像元件27的被摄体光的光量的光圈。机械快门23、变焦机构24及聚焦机构25经由透镜驱动器26而由CPU30驱动控制。
在相机主体12中设置的CPU30基于来自操作部36的控制信号，依次执行从存储器37读出的各种程序、数据，集中地控制数码相机10的各部。存储器37的RAM区域作为用于CPU30执行处理的工作存储器、各种数据的临时保管目的地而发挥功能。
操作部36包括由用户操作的按钮、键、触摸面板及类似于它们的设备。例如，在相机主体12中设置并且由用户操作的电源开关、快门按钮、聚焦模式切换杆、聚焦环、模式切换按钮、十字选择键、执行键、后退按钮等可以包含在操作部36中。
彩色摄像元件27将通过了摄影光学系统20及机械快门23的被摄体光变换成电输出信号并输出。该彩色摄像元件27具有在水平方向(第一方向)及与该水平方向垂直的垂直方向(第二方向)上排列设置有大量的像素的单板方式的像素排列，能够采用CCD(Charge CoupledDevice：电荷耦合装置)、CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)等任意的方式。下面，说明构成彩色摄像元件27的多个像素由CMOS构成的例子。
关于构成彩色摄像元件27的各像素，详细情况将在后面叙述，具有提高聚光率的微透镜、RGB等的滤色器及接收透过了微透镜及滤色器的光而输出像素数据的光电二极管(光电变换元件)。
摄像元件驱动器31在CPU30的控制之下驱动控制彩色摄像元件27，使摄像信号(图像数据)从彩色摄像元件27的像素输出到图像处理电路32。
图像处理电路32(图像处理装置)对从彩色摄像元件27输出的摄像信号(图像数据)实施灰度变换、白平衡校正、γ校正处理等各种图像处理而生成摄影图像数据。特别是，关于本例的图像处理电路32，详细情况将在后面叙述，具有校正在相邻像素之间产生的混色的混色判定校正部。
压缩扩展处理电路34在由用户对快门按钮进行按下操作时，对存储器37的VRAM区域中储存的摄影图像数据实施压缩处理。此外，在RAW数据获取模式下，也能够不进行由压缩扩展处理电路34实施的压缩处理。另外，压缩扩展处理电路34对经由媒体接口33而从存储卡38得到的压缩图像数据实施压缩扩展处理。媒体接口33进行对存储卡38的摄影图像数据的记录及读出等。
显示控制部35在摄影模式时，进行使EVF(电子取景器)39及背面LCD(背面液晶)40中的至少一方显示由图像处理电路32生成的实时取景图像(即时预览图像)的控制。另外，显示控制部35在图像重放模式时，将由压缩扩展处理电路34扩展后的摄影图像数据输出到背面LCD40(及/或EVF39)。
在数码相机10(相机主体12)中，也可以设置上述以外的其他处理电路等，例如设置自动聚焦用的AF检测电路、自动曝光调节用的AE检测电路。CPU30基于AF检测电路的检测结果，经由透镜驱动器26及聚焦机构25而驱动聚焦透镜22，从而执行AF处理，另外基于AE检测电路的检测结果，经由透镜驱动器26而驱动机械快门23，从而执行AE处理。
<滤色器排列>
图2A、2B是表示彩色摄像元件27的滤色器(像素)的基本排列图案例的俯视图，图2A表示在水平方向和垂直方向上合计排列有4个基本排列图案P的状态，图2B是1个基本排列图案P的放大图。此外，在图2A、2B中，“R”表示红色(red)的滤光片(R像素)，“G”表示绿色(green)的滤光片(G像素)，“B”表示蓝色(blue)的滤光片(B像素)。
本例的彩色摄像元件27的滤色器具有由与M×N(6×6)像素对应的正方形排列图案构成的基本排列图案P，该基本排列图案P在水平方向和垂直方向上重复排列多个而构成彩色摄像元件27的多个像素。因此，在进行从彩色摄像元件27读出的RGB的RAW数据(马赛克图像)的图像处理等时，能够依照以基本排列图案P为基准的重复图案进行处理。
各基本排列图案P构成为在水平方向和垂直方向上交替地排列图2B所示的3个像素(水平方向)×3个像素(垂直方向)的第一子排列和3个像素(水平方向)×3个像素(垂直方向)的第二子排列。
在第一子排列及第二子排列中，分别在四角和中央配置有G滤光片，在两对角线上配置有G滤光片。在第一子排列中，R滤光片隔着中央的G滤光片在水平方向上设置，B滤光片隔着中央的G滤光片在垂直方向上设置。另一方面，在第二子排列中，B滤光片隔着中央的G滤光片在水平方向上设置，R滤光片隔着中央的G滤光片在垂直方向上设置。因此，在第一子排列与第二子排列之间，R滤光片与B滤光片的位置关系颠倒，但G滤光片的配置相同。
另外，通过在水平方向和垂直方向上交替地配置第一子排列与第二子排列，第一子排列与第二子排列的四角的G滤光片构成与2个像素(水平方向)×2个像素(垂直方向)对应的正方排列的G滤光片组。
在该滤色器排列中，根据图2A也可知，一般来说，与用于得到亮度信号最有贡献的颜色(在本实施方式中，是G颜色)对应的G滤光片在滤色器排列的水平、垂直、倾斜右上及倾斜左上方向的各行内配置1个以上。根据该滤色器排列，与亮度系像素对应的G滤光片在滤色器排列的水平、垂直及倾斜(NE、NW)方向的各行内配置，所以无论成为高频的方向如何，都能够提高高频区域中的去马赛克算法处理(去马赛克算法处理)的再现精度。此外，去马赛克算法处理或反马赛克算法处理是指根据与单板式的彩色摄像元件的滤色器排列对应的马赛克图像来对每个像素计算全部的颜色信息的处理，也称为去马赛克算法处理(下面，在本说明书中相同)。例如，在由RGB三色的滤色器构成的摄像元件的情况下，是根据由RGB构成的马赛克图像来对每个像素计算RGB全部的颜色信息的处理。
此外，例如在单位滤色器(单位像素)具有正方形的情况下，倾斜右上及倾斜右下方向为相对于水平方向和垂直方向呈45°的方向。另外，在单位滤色器具有长方形的情况下，倾斜右上及倾斜右下方向为该长方形的对角线的方向，根据长方形的长边及短边的长度，倾斜右上及倾斜右下方向相对于水平方向和垂直方向的角度可能改变。
在图2A、2B所示的滤色器排列中，与上述G颜色以外的两色以上的其他颜色(在本例子中，是红(R)及蓝(B))对应的R滤光片及B滤光片分别在基本排列图案P的水平方向和垂直方向的各行内配置一个以上。这样一来，R滤光片及B滤光片在滤色器排列的水平方向和垂直方向的各行内配置，从而能够减轻伪色(彩色莫尔条纹)的产生，能够省略用于抑制伪色的产生的光学低通滤光器。此外，当在配置光学低通滤光器时也采用本例的滤色器排列的情况下，使用用于防止伪色的产生的切掉高频成分的作用弱的设备，能够不损害分辨率。
另外，在该基本排列图案P中，与R滤光片、G滤光片及B滤光片对应的R像素、G像素和B像素的像素数分别为8个像素、20个像素和8个像素。即，R像素、G像素和B像素的像素数的比率为2：5：2，用于得到亮度信号最有贡献的G像素的像素数的比率高于R像素和B像素的像素数的比率。这样一来，G像素的像素数与R像素和B像素的像素数的比率不同，特别是通过使用于得到亮度信号最有贡献的G像素的像素数的比率大于R像素和B像素的像素数的比率，能够抑制去马赛克算法处理(去马赛克算法处理)中的混淆，还能够改善高频再现性。
下面，也将图2A、2B所示的滤色器排列(像素排列)称为“X-Trans(注册商标)”。
<图像处理>
图3是图像处理电路32(图像处理装置；参照图1)的功能框图。
图像处理电路32主要由混色判定校正部41、白平衡校正部(WB校正部)42、进行伽马校正、去马赛克算法处理、RGB/YC变换等信号处理的信号处理部43、RGB积算部44及白平衡增益计算部(WB增益计算部)45构成。
对图像处理电路32输入RAW数据(马赛克图像：RGB颜色信号)。此时，既可以将从彩色摄像元件27输出的RAW数据直接地输入到图像处理电路32，也可以将从彩色摄像元件27输出的RAW数据临时存储到存储器(图1的存储器37等)，从该存储器向图像处理电路32输入RAW数据。
RAW数据的RGB的颜色信号按点顺序被输入到混色判定校正部41。混色判定校正部41去除按点顺序输入的混色校正的对象像素的颜色信号中包含的来自相邻像素的混色成分。此外，关于混色判定校正部41中的混色校正处理的详细情况，将在后面叙述。
由混色判定校正部41去除了混色成分的马赛克图像的各像素的颜色信号被输入到WB校正部42及RGB积算部44。
RGB积算部44对将1个画面按8×8、16×16等来分割得到的每个分割区域，计算RGB的每个颜色信号的积算平均值，计算由每个RGB的积算平均值之比(R/G、B/G)构成的颜色信息。例如，在将1个画面分割成8×8的64个分割区域的情况下，RGB积算部44计算64个颜色信息(R/G、B/G)。
WB增益计算部45基于从RGB积算部44输入的每个分割区域的颜色信息(R/G、B/G)来计算WB增益。具体地说，计算与64个分割区域的各分割区域相关的颜色信息的、R/G、B/G轴坐标的颜色空间上的分布的重心位置，根据该重心位置所表示的颜色信息推定环境光的色温。此外，可以代替色温而求出具有该重心位置所表示的颜色信息的光源种类、例如、蓝天、阴、晴、荧光灯(日光色、日光白色、白色、暖白色)、钨、低钨等，从而推定摄影时的光源种类(参照日本特开2007-53499)，另外，也可以根据推定出的光源种类来推定色温。
在WB增益计算部45中，预先与环境光的色温或光源种类对应，准备了(存储保持)用于进行适当的白平衡校正的每个RGB的WB增益或每个RB的WB增益，WB增益计算部45基于推定出的环境光的色温或光源种类来读出对应的每个RGB的WB增益或每个RB的WB增益，将该读出的WB增益输出到WB校正部42。
WB校正部42对从混色判定校正部41输入的R、G、B颜色信号的各个颜色信号乘以从WB增益计算部45输入的每种颜色的WB增益，由此进行白平衡校正。
从WB校正部42输出的R、G、B颜色信号被输入到信号处理部43。信号处理部43进行伽马校正、对伴随着彩色摄像元件27的滤色器排列的R、G、B颜色信号的空间上的偏差进行插值而以去马赛克算法的方式变换R、G、B颜色信号的去马赛克算法处理(去马赛克算法处理)及将去马赛克算法处理后的R、G、B颜色信号变换成亮度信号Y及色差信号Cr、Cb的RGB/YC变换等信号处理，输出进行了信号处理的亮度信号Y及色差信号Cr、Cb。
从图像处理电路32输出的亮度数据Y及色差数据Cr、Cb在进行压缩处理之后，被记录到内部存储器(存储器37)、外部存储器(存储卡38)中。
<混色现象>
图4A、4B是说明由异常倾斜入射光(重影光等)引起的混色现象的机制的剖视图，图4A表示G像素、R像素和G像素的相邻配置例，图4B表示G像素、B像素和G像素的相邻配置例。
构成本例的彩色摄像元件27的多个像素50包括由绿色(第一颜色)的滤色器构成的G(绿)像素(第一色像素)50G、由红色的滤色器构成的R(红)像素50R及由蓝色的滤色器构成的B(蓝)像素(第二色像素)50B。G像素50G与R像素50R及B像素50B相比，用于得到亮度信号的贡献率更高，例如能够按Y(亮度)＝(0.3×R像素数据+0.6×G像素数据+0.1×B像素数据)来得到亮度数据(亮度信号)。
G像素50G、R像素50R及B像素50B的各个像素包括关于被摄体光的前进方向依次设置的微透镜51、滤色器52及光电二极管53，输出与光电二极管53的受光量对应的像素数据。构成被摄体光的普通光56由微透镜51聚光，通过滤色器52而入射到光电二极管53，通常普通光56所通过的滤色器52与接收到光的光电二极管53相对应。
另一方面，异常倾斜入射光57以与普通光56不同的角度进入到各像素，通过了某个像素的滤色器52的异常倾斜入射光57由相邻像素的光电二极管53接收。这样一来，异常倾斜入射光57所通过的滤色器52与接收到光的光电二极管53不对应，接收异常倾斜入射光57的光电二极管53不仅输出与普通光56的受光量对应的像素数据，还输出与异常倾斜入射光57的受光量对应的像素数据。因此，来自接收到异常倾斜入射光57的光电二极管53的输出像素数据与来自不接收到异常倾斜入射光57的光电二极管53的输出像素数据相比增大，所以在同色像素间的像素数据中产生级差。
另外，即使在异常倾斜入射光57不入射到彩色摄像元件27而仅普通光56入射到彩色摄像元件27的情况下，根据像素特性(基于微透镜、滤色器、光电二极管、布线等的配置、尺寸、物性值等的特性)，普通光56的一部分也漏入到相邻像素而引起混色现象。
下面，说明对从异常倾斜入射光57入射到的像素输出的像素数据，进行使得在同色像素间的像素数据中不产生级差的混色校正，对从异常倾斜入射光57不入射到的像素输出的像素数据，进行降低与像素特性对应的混色的混色校正的例子。
此外，在以下的例子中，将构成彩色摄像元件27的R像素50R、G像素50G及B像素50B中的、用于得到亮度信号的贡献率最高的G像素(第一色像素)50G设为混色校正的校正对象像素。
<第一实施方式>
图5是混色判定校正部41(参照图3)的功能框图。
混色判定校正部41包括混色校正判定部61、连接于混色校正判定部61的第一混色校正部(第一混色校正单元)62及第二混色校正部(第二混色校正单元)63。
混色校正判定部61作为异常倾斜入射光检测部(异常倾斜入射光检测单元)发挥作用，根据从彩色摄像元件27输出的图像数据，检测有无异常倾斜入射光(重影光等)的入射。此外，由混色校正判定部61实施的关于有无异常倾斜入射光的入射的具体检测方法没有特别的限定，在后面叙述其一例。
另外，混色校正判定部61作为混色校正判定部(混色校正判定单元)发挥作用，根据有无异常倾斜入射光的检测结果，判定通过第一混色校正单元及第二混色校正单元中的哪一个混色校正单元对图像数据(像素数据)进行混色校正。具体地说，混色校正判定部61对未被检测到异常倾斜入射光的入射的像素的像素数据，做出通过第一混色校正部62对校正对象像素的像素数据进行混色校正的判定，将图像数据(像素数据)送到第一混色校正部62。另一方面，混色校正判定部61对被检测到异常倾斜入射光的入射的像素(G像素)的像素数据，做出通过第二混色校正部63对校正对象像素的像素数据进行校正的判定，将图像数据(像素数据)送到第二混色校正部63。
此外，在图5的例子中，由混色校正判定部61负责异常倾斜入射光检测部及混色校正判定部的功能，但也能够通过独立设置的电路等来实现异常倾斜入射光检测部及混色校正判定部。
第一混色校正部62基于校正对象像素的相邻像素的像素数据，对校正对象像素的像素数据进行混色校正A(第一混色校正)。
作为第一混色校正部62中的混色校正算法，能够采用任意的算法。例如，第一混色校正部62也能够计算来自相对于校正对象像素的上下左右(水平方向和垂直方向)的相邻像素的混色量，从校正对象像素的像素数据(源数据)减去该算出的来自相邻像素的混色量，从而进行混色校正A。混色量的计算能够采用任意的计算方法，例如，通过相邻像素的像素数据与混色率的积算(相邻像素数据值×混色率)来进行混色量的计算。混色率能够基于各种混色原因来适当决定，例如能够分别关于(1)本像素(校正对象像素)的像素共享上的位置、(2)上下左右的混色校正方向及(3)用于混色校正的像素的颜色而具有校正模式。通过在校正对象像素的每个位置独立地设定该校正模式(方法)，能够提高混色校正A的精度。
这样一来，由第一混色校正部62实施的混色校正A的具体方法没有特别的限定，将在后面叙述其一例。
第二混色校正部63基于校正对象像素的周边像素的像素数据，对校正对象像素的像素数据进行混色校正B(第二混色校正)。
第二混色校正部63将具有与校正对象像素(G像素)同色的滤色器的4个以上像素(G像素)设为周边像素，对校正对象像素的像素数据进行混色校正B。具体地说，第二混色校正部63基于从校正对象像素和周边像素的像素数据导出的代表值，对校正对象像素的像素数据进行混色校正B。
代表值既可以是校正对象像素和周边像素的像素数据的平均值或加权平均值，也可以是校正对象像素和周边像素的像素数据的中位数或众数。下面，说明基于校正对象像素和周边像素的像素数据的平均值对校正对象像素的像素数据进行混色校正B的例子。
在本例的混色校正B中，校正对象像素(G像素)的周边像素是在中心(中央部)包括校正对象像素的6个像素(水平方向)×6个像素(垂直方向)的范围内包含的像素，是具有与校正对象像素同色(绿)的滤色器的像素(G像素)。
例如在本例的彩色摄像元件27的滤色器排列中，如图6所示，在6个像素(水平方向)×6个像素(垂直方向)的基本排列图案P中，G像素根据相邻像素配置类型被分为10种(G1～G10)。
第二混色校正部63基于根据这些G像素(G1～G10)的像素数据的积算值(总和)求出的平均值来进行混色校正B，所以求出以校正对象像素为中心的混色校正B的核心尺寸K(基本排列图案尺寸)内的G像素值的积算值。本例的混色校正B的核心尺寸K是与基本排列图案P的尺寸相同的6个像素(水平方向)×6个像素(垂直方向)。因此，第二混色校正部63计算该核心尺寸K的区域内包含的10种G像素G1～G10的积算值，根据该积算值计算代表值(在本例中为平均值)，通过算出的代表值来置换核心尺寸K内的校正对象像素(G像素)的像素数据，从而进行混色校正B。由此，G像素间的像素数据的级差被消除。
此外，由第二混色校正部63实施的混色校正B的具体方法没有特别的限定，将在后面叙述其一例。
进行了上述的混色校正A及混色校正B的混色校正后的图像数据(马赛克状的图像数据)被送到后段的WB校正部42及RGB积算部44(参照图3)。在构成一面的图像的图像数据中的一部分像素数据受到异常倾斜入射光的影响的情况下，被实施了由第一混色校正部62实施的混色校正A的像素数据与被实施了由第二混色校正部63实施的混色校正B的像素数据在混色判定校正部41中被合成，合成后的图像数据作为混色校正后的图像数据(马赛克状的图像数据)被送到后段的各处理部。此外，既可以对混色校正B后的像素数据进行混色校正A，也可以将混色校正B后的图像数据(像素数据)从第二混色校正部63送到第一混色校正部62。
图7是表示由混色判定校正部41实施的混色校正的流程的流程图。
如果马赛克状的图像数据(RGB图像)被输入到混色判定校正部41，则通过混色校正判定部61获取图像数据(像素数据)(图7的S2)，通过混色校正判定部61判定图像数据中有无重影光等异常倾斜入射光(S4)。
在判定为图像数据中有异常倾斜入射光的入射的情况下(S4的“是”)，在第二混色校正部63中进行混色校正B(S6)，G像素间的像素数据的级差被消除。另一方面，在判定为图像数据中没有异常倾斜入射光的入射的情况下(S4的“否”)，在第一混色校正部62中进行混色校正A(S8)，校正与摄像元件固有的像素特性对应的混色。
因此，在上述的异常倾斜入射光是重影光的情况下，检测有无重影产生，按照在未产生重影时选择使用了通常的相邻像素的混色校正(混色校正A)、在产生了重影时选择使用了校正对象像素及其周边像素(G像素)的像素数据的积算值的混色校正(混色校正B)的方式，混色判定校正部41进行第一混色校正部62及第二混色校正部63的图像处理控制(混色校正处理控制)。
如以上说明的那样，根据本实施方式，能够有效地降低从图2A、2B及图6所示的X-Trans滤色器排列那样的、基本排列图案P的排列矩阵尺寸大并且相邻的滤色器的种类多的彩色摄像元件27得到的图像(图像数据)的重影所导致的画质劣化。
特别是，取代校正对象像素的相邻像素的像素数据，而基于核心尺寸K内的同色像素(G像素)的像素数据来进行由第二混色校正部63实施的混色校正B中的混色量的计算，从而能够基于接近于入射光(摄影图像光)的信息，校正由于异常倾斜入射光而带来的混色/同色级差，排除重影的影响。
<第二实施方式>
图8是表示第二实施方式的彩色摄像元件27的滤色器排列(像素排列)的图。
对与上述的第一实施方式相同或相似的要素标注相同的附图标记，省略其详细的说明。
构成本实施方式的彩色摄像元件27的多个像素包括3个像素(水平方向)×3个像素(垂直方向)的基本排列图案P，该基本排列图案P在水平方向和垂直方向上排列有多个。
基本排列图案P由配置成十字状的5个G像素、在四角中的一对角位置配置的2个R像素及在四角中的另一对角位置配置的2个B像素构成。因此，如图8所示，构成彩色摄像元件27的G像素根据相邻像素的滤色器的类型被分为5种(G1～G5)。
本实施方式的第二混色校正部63(参照图5)将在比包括校正对象像素的3个像素(水平方向)×3个像素(垂直方向)的范围大的范围内包含的像素即具有与校正对象像素(G像素)同色的滤色器的像素设定为用于混色校正B的周边像素。在图8所示的例子中，将比基本排列图案P的像素尺寸(3个像素(水平方向)×3个像素(垂直方向))大的6个像素(水平方向)×6个像素(垂直方向)设为混色校正B的核心尺寸K，在将混色校正对象像素50A配置于核心尺寸K的中央部(中心)的情况下的核心尺寸K中包含的G像素被设定为用于混色校正B的周边像素。
第二混色校正部63基于该核心尺寸K中包含的G像素的像素数据的代表值，与第一实施方式同样地对校正对象像素的像素数据进行混色校正B。
此外，混色校正B的核心尺寸K比基本排列图案P的尺寸大即可，如本例那样，能够将分别关于水平方向和垂直方向而具有基本排列图案P的2倍左右的像素数(关于总像素数，是4倍左右的像素数)的范围设定为混色校正B的核心尺寸K。
在通过基本排列图案P的重复而构成彩色摄像元件27的多个像素的情况下，与彩色摄像元件27的整体相关的“根据相邻像素的滤色器的类型来确定的同色像素的种类”与关于基本排列图案P中包含的像素而确定的“根据相邻像素的滤色器的类型来确定的同色像素的种类”基本相同。因此，在由于具有复杂的滤色器排列而混色现象变得复杂的情况下，也将混色校正B的核心尺寸设为分别关于水平方向和垂直方向而具有基本排列图案P的2倍左右的像素数(关于总像素数，是4倍左右的像素数)，从而在混色校正B的核心尺寸内包括4个以上同种的同色像素。因此，通过使用这样的大量像素数据，能够高精度地进行用于消除同色像素间的像素数据的级差的混色校正B。
如以上说明的那样，根据本实施方式，基于在校正对象像素的周边配置的大量的同色像素(G像素)的像素数据来进行混色校正B，所以能够通过更高精度的混色校正B，抑制同色像素间的像素数据的级差的产生。
<其他滤色器排列>
上述的由混色判定校正部41实施的混色校正流程(异常倾斜入射光的检测、混色校正A及混色校正B)的应用不限定于从具有图2及图6所示的滤色器排列(X-Trans)、图8所示的滤色器排列的彩色摄像元件27输出的图像数据(RAW数据等)，对从具有其他滤色器排列的彩色摄像元件27输出的图像数据，也能够应用上述的混色校正流程。
在这种情况下，对由包括至少5个相邻像素的滤色器的种类相互不同的同色像素(G像素：第一色像素)的基本排列图案P构成的滤色器排列(像素排列)，应用上述的混色校正，从而能够有效地降低“异常倾斜入射光所引起的同色像素间的像素数据的级差”及“像素特性所引起的混色”。
图9是表示滤色器排列的基本排列图案的其他例子的图。本例的基本排列图案P具有6个像素(水平方向)×6个像素(垂直方向)的像素结构，由在一条对角线上配置的2个第一子排列及在另一条对角线上配置的2个第二子排列构成各基本排列图案P。第一子排列由在四角配置的4个R像素、在中央配置的1个B像素及在R像素间配置的4个G像素构成。第二子排列由在四角配置的4个B像素、在中央配置的1个R像素及在B像素间配置的4个G像素构成。本例的滤色器排列的G像素根据相邻像素的滤色器的类型被分为8种(G1～G8)。
另外，图10所示的滤色器排列的基本排列图案P具有5个像素(水平方向)×5个像素(垂直方向)的像素结构，相邻配置“G像素、B像素、R像素、B像素、G像素”的行、相邻配置“R像素、G像素、B像素、G像素、R像素”的行、相邻配置“B像素、R像素、G像素、R像素、B像素”的行、相邻配置“R像素、G像素、B像素、G像素、R像素”的行及相邻配置“G像素、B像素、R像素、B像素、G像素”的行在垂直方向上相邻配置。本例的滤色器排列的G像素根据相邻像素的滤色器的类型被分为9种(G1～G9)。
另外，图11所示的滤色器排列的基本排列图案P具有3个像素(水平方向)×3个像素(垂直方向)的像素结构，相邻配置“R像素、B像素、G像素”的行、相邻配置“B像素、R像素、G像素”的行及相邻配置“G像素、G像素、G像素”的行在垂直方向上相邻配置。本例的滤色器排列的G像素根据相邻像素的滤色器的类型被分为5种(G1～G5)。
另外，图12所示的滤色器排列的基本排列图案P具有3个像素(水平方向)×3个像素(垂直方向)的像素结构，由在对角线上配置成X字状的5个G像素、在中央的G像素的上下(垂直方向)相邻配置的2个B像素、在中央的G像素的左右(水平方向)相邻配置的2个R像素构成。本例的滤色器排列的G像素根据相邻像素的滤色器的类型被分为5种(G1～G5)。
另外，图13A所示的滤色器排列是拜耳排列，基本排列图案P具有2个像素(水平方向)×2个像素(垂直方向)的像素结构，相邻配置“G像素、B像素”的行及相邻配置“R像素、G像素”的行在垂直方向上相邻配置。本例的滤色器排列的G像素根据相邻像素的滤色器的类型被分为2种(G1～G2)。
另外，图13B所示的滤色器排列的基本排列图案P具有4个像素(水平方向)×4个像素(垂直方向)的像素结构，由在一条对角线上配置的2个第一子排列及在另一条对角线上配置的2个第二子排列构成各基本排列图案P。第一子排列由在一条对角线上配置的2个R像素和在另一条对角线上配置的2个G像素构成。第二子排列由在一条对角线上配置的2个B像素和在另一条对角线上配置的2个G像素构成。本例的滤色器排列的G像素根据相邻像素的滤色器的类型被分为2种(G1～G2)。
对从具有上述的图9～图13所示的各滤色器排列的彩色摄像元件27输出的图像数据(像素数据)，也应用由上述的混色判定校正部41实施的混色校正流程(异常倾斜入射光的检测、混色校正A及混色校正B)，从而能够有效地降低“异常倾斜入射光所引起的同色像素间的像素数据的级差”及“像素特性所引起的混色”。另外，特别是，在基本排列图案P中包含的同色像素(G像素)的全部像素由相邻像素的滤色器的种类相互不同的像素构成的情况下(例如参照图10～图13)，通过将由第二混色校正部63实施的混色校正B的核心尺寸K设为与基本排列图案P的结构像素数相同，能够由相邻像素的滤色器的种类相互不同的像素构成用于混色校正B的周边像素。
<其他变形例>
在其他方面，彩色摄像元件27的滤色器排列的基本排列图案P的像素尺寸没有特别的限定，能够由任意的M像素(水平方向)×N像素(垂直方向)(其中，M为3以上的整数，N为3以上的整数)的像素构成基本排列图案P。
另外，在上述的实施方式中，说明了由RGB的滤色器构成彩色摄像元件27的多个像素的例子，但也可以除了RGB之外，或代替RGB的一部分或全部，还包括其他颜色的滤色器。例如，构成彩色摄像元件27的多个像素也可以除RGB像素之外还包括W像素(透明像素、白色像素)。在该W像素的滤色器的用于得到亮度信号Y的贡献率高于彩色摄像元件27中包含的其他滤色器的情况下(例如，Y＝0.5W+0.5(0.3R+0.59G+0.11B))，也可以将该W像素设为上述的混色校正的校正对象像素。图14是表示R滤光片、G滤光片、B滤光片及W(透明)滤色器的分光灵敏度的一例的图，横轴表示光的波长，纵轴表示灵敏度(光透射率)。
此外，透明像素和白色像素两者都具有在可见光波长区域的整个区域中具有较高的光透射率的滤色器，但透明像素的滤色器(透明滤光片)具有比白色像素的滤色器(白色滤光片)高的光透射率。
<混色校正A>
接着，说明由第一混色校正部62实施的“在未检测到异常倾斜入射光(重影光等)的情况下的混色校正A”的一例。在本例中，说明彩色摄像元件27具有由X-Trans排列(参照图2A、2B及图6)的基本排列图案P构成的滤色器排列的情况。
在关注于与图2A、2B所示的滤色器排列内的2个像素(水平方向)×2个像素(垂直方向)的4个G滤光片中的右上的G滤光片对应的G像素(混色校正的对象像素)及与该对象像素(本像素)相邻的上下左右的相邻像素(上像素(B像素)、下像素(G像素)、左像素(G像素)、右像素(R像素))的情况下，以该对象像素为基准的上下左右的各方位方向的相邻像素的颜色分别为B、G、G、及R。
关于图2A、2B所示的6个像素×6个像素的基本排列图案P中的、3个像素×3个像素的第一子排列的9个像素和第二子排列的9个像素，在将任一个像素设为对象像素的情况下，与该对象像素的上下左右相邻的4个像素的颜色的组合均不同。
对象像素的4个相邻像素的颜色能够取到RGB这三色中的任一种颜色，所以4个相邻像素的颜色的组合(重复排列)存在34＝81种。此外，在本实施方式的滤色器排列的情况下，4个相邻像素的组合存在与第一子排列及第二子排列的18个像素对应的18种。
如果基本排列图案P的像素尺寸变大，三色的RGB的像素的排列的自由度上升，则相邻的相邻像素的颜色配置的组合增加。另外，在除RGB的三色以外还存在翠绿色、黄色的像素的情况下，颜色配置的组合进一步增加。
也可以将4个相邻像素各自的混色率设为1组，对相邻像素的颜色的每个组合而存储混色率。但是，如果除上下左右的4个方向之外还考虑倾斜方向(左上、右上、左下、右下)的相邻像素的颜色，则颜色配置的组合的数量进一步地增加，混色率的数据量增大。
另外，本实施方式的彩色摄像元件27是CMOS型的摄像元件，如图15所示，在CMOS的基底中嵌入有像素共享放大器A，K×L(2×2)像素共享1个放大器A。由于该彩色摄像元件27的元件构造，根据相对于放大器A的像素(本像素)的位置1～4(相对于放大器A的左上、右上、左下、右下的位置)而在输出电平中产生差异。
存储器部(存储器37)存储图16所示的校正表格。在该校正表格中，将相邻像素的3种颜色(RGB)设为第一参数P1，将共享放大器A的2×2像素中的本像素的位置(图15上的位置1～4)设为第二参数P2，将与这些参数P1、P2的组合对应的混色率A1～A12的合计12个混色率与参数P1、P2建立关联而存储。关于将校正表格保存到存储器部中，优选预先在产品发货前的检査时求出与上述参数的组合对应的混色率，对应各产品分别保存。
另外，在马赛克图像的中央部和周边部，被摄体光向彩色摄像元件27的各像素的入射角不同，所以混色率不同。因此，如图17所示，将马赛克图像的整个区域例如分割成8×8的分割区域，对应分割区域[0][0]～[7][7]中的每个分割区域，分别将图16所示的校正表格存储到存储器部。下面，将确定64(＝8×8)个分割区域中的某一个分割区域的参数称为第三参数P3。
图18是表示第一混色校正部62的内部结构的实施方式的框图。
第一混色校正部62主要由延迟处理部67、减法器69、乘法器70、加法器71、参数获取部(参数获取单元)72及混色率设定部73构成。
在图18中，将经由彩色摄像元件27而获取的马赛克图像(RGB的颜色信号)按点顺序添加到延迟处理部67。延迟处理部67具有1H(水平行)的行存储器68a～68c，使按点顺序输入的RGB的颜色信号以进行1个像素的处理的间隔在行存储器68a～68c内依次偏移。如果将行存储器68b的由斜线所示的位置的颜色信号设为混色校正的对象像素的颜色信号，则行存储器68a、68c上的相同位置的颜色信号分别为上像素、下像素的颜色信号，行存储器68b的由斜线所示的位置的左右的位置的颜色信号分别为左像素、右像素的颜色信号。
如此，延迟处理部67使按点顺序输入的RGB的颜色信号适当延迟，并同时输出混色校正的对象像素及该对象像素的上下左右的相邻像素(上像素、下像素、左像素、右像素)。将从延迟处理部67输出的对象像素的颜色信号添加到减法器69，将上像素、下像素、左像素及右像素的颜色信号分别添加到乘法器70。
在参数获取部72中，添加了从延迟处理部67输出的、表示马赛克图像内的对象像素的位置(x，y)的信息，参数获取部72基于表示对象像素的位置(x，y)的信息来获取第一～第三参数P1～P3。此外，表示对象像素的位置(x，y)的信息能够从对马赛克图像的每个像素指示信号处理的CPU30或图像处理电路32(混色校正判定部61等)获取。
如果确定出马赛克图像内的对象像素的位置(x，y)，则能够决定表示对象像素(本像素)的位置(图15上的位置1～4)的第二参数P2及表示本像素所属的分割区域(参照图17)的第三参数P3。另外，如果确定出马赛克图像内的对象像素的位置(x，y)，则能够决定对象像素的相邻像素(上像素、下像素、左像素及右像素)的颜色。即，能够决定表示相邻像素的颜色的第一参数P1。参数获取部72如上所述地基于马赛克图像内的对象像素的位置(x，y)的信息来决定第一～第三参数P1～P3，并输出到混色率设定部73。
混色率设定部73基于从参数获取部72输入的第一～第三参数P1～P3，从存储器37读出对应的4个混色率A～D，将这些混色率A～D分别添加到乘法器70的另一个输入。即，混色率设定部73基于第三参数P3来选择与对象像素所属的分割区域对应的校正表格，从选择的校正表格中基于第一、第二参数P1、P2而读出相邻像素的方位方向各自的4个混色率A～D(参照图16的A1～A12)。
乘法器70将分别输入的上像素、下像素、左像素及右像素的颜色信号与混色率A～D相乘，将乘积值输出到加法器71。加法器71将所输入的4个乘积值相加，将相加值添加到减法器69的另一个输入。该相加值对应于混色校正的对象像素的颜色信号中包含的混色成分。
在减法器69的一个输入中，添加了混色校正的对象像素的颜色信号，减法器69从对象像素的颜色信号中减去从加法器71输入的相加值(混色成分)，输出被去除(混色校正)了混色成分的对象像素的颜色信号。
如果用数学式表示由上述减法器69、乘法器70及加法器71实施的计算，则能够如下式所示。
[数学式1]
校正后的颜色信号＝校正前的颜色信号－(上像素×混色率A+下像素×混色率B+左像素×混色率C+右像素×混色率D)
如上所述，由第一混色校正部62进行了混色校正的颜色信号被输出到后段的WB校正部42及RGB积算部44(参照图3)。
图19是表示混色校正所涉及的图像处理的一例的流程图。
第一混色校正部62首先在混色校正开始前将混色校正的对象像素的位置(x，y)设定为初始值(0，0)(步骤S10)。
接着，获取对象像素(x，y)的颜色信号(像素值)及对象像素(x，y)的上下左右的相邻像素的颜色信号(像素值)(步骤S12)。
参数获取部72基于对象像素的位置(x，y)，如上所述地获取第一～第三参数P1～P3(步骤S14)。
混色率设定部73基于由参数获取部72获取的第一～第三参数P1～P3从存储器部读出对应的混色率A～D(步骤S16)。
接着，基于在步骤S12中获取的对象像素的像素值及相邻像素的像素值及在步骤S16中读出的混色率A～D，进行由[数学式1]所示的运算处理，进行从对象像素的像素值中去除混色成分的混色校正(步骤S18)。
接着，判别全部对象像素的混色校正是否结束(步骤S20)，在未结束的情况下(S20的“否”)，转移到步骤S22。
在步骤S22中，使对象像素的位置(x，y)移动1个像素，另外，在对象像素的位置(x，y)到达水平方向的左端的情况下，回到水平方向的右端，并且使其在垂直方向上移动1个像素，转移到步骤S12，重复执行上述步骤S12到步骤S20的处理。
另一方面，在步骤S20中，如果判别为全部对象像素的混色校正结束(S20的“是”)，则结束本混色校正的处理。
本发明不限于图2A、2B所示的滤色器排列的马赛克图像，能够应用于各种滤色器排列的马赛克图像。在这种情况下，无需变更混色校正的硬件而能够应用上述的混色校正。
另外，对从未嵌入有像素共享放大器的摄像元件获取的马赛克图像，不需要表示本像素相对于放大器的位置的第三参数P3，在马赛克图像的中央部与周边部处混色率的变化少的情况下，也可以不是对应每个分割区域而具有混色率的校正表格。
另一方面，也可以分别关于相邻像素相对于校正对象像素的位置、即校正对象像素的上下左右方向和倾斜方向(左上、右上、左下、右下)，设定校正的参数。通过如此针对相邻像素相对于校正对象像素的每个位置而设定校正参数，能够实现更高精度的混色校正。
<异常倾斜入射光的检测及混色校正B>
接着，说明由混色校正判定部61及第二混色校正部63实施的“异常倾斜入射光(重影光等)的检测及在检测到异常倾斜入射光的情况下的混色校正B”的一例。
图像处理电路32的混色判定校正部41具有作为检测异常倾斜入射光的异常倾斜入射光检测部而发挥作用的混色校正判定部61。混色校正判定部61能够基于第一第一方向同色相邻像素、第二第一方向同色相邻像素、第一第一方向异色相邻像素和第二第一方向异色相邻像素的像素数据，来检测在水平方向上入射到彩色摄像元件27的异常倾斜入射光。
在图20中，说明由混色校正判定部61实施的来自水平方向的面向纸面的左侧的异常倾斜入射光的检测。图20的附图标记1-1所示的具有G滤光片的像素(第一第一方向同色相邻像素)在异常倾斜入射光从面向纸面的左侧在水平方向上入射的情况下，受到来自在面向纸面的左侧相邻的具有G滤光片的像素(图20的附图标记3-1)的混色的影响。并且，图20的附图标记1-1所示的具有G滤光片的像素输出像素数据Gg。
图20的附图标记2-1所示的具有G滤光片的像素(第二第一方向同色相邻像素)在异常倾斜入射光从面向纸面的左侧在水平方向上入射的情况下，受到来自在面向纸面的左侧相邻的具有G滤光片的像素(图20的附图标记4-1)的混色的影响。并且，图20的附图标记2-1所示的具有G滤光片的像素输出像素数据Gg。
图20的附图标记3-1所示的具有G滤光片的像素(第一第一方向异色相邻像素)在异常倾斜入射光从面向纸面的左侧在水平方向上入射的情况下，受到来自在面向纸面的左侧相邻的具有B滤光片的像素的混色的影响。并且，图20的附图标记3-1所示的具有G滤光片的像素输出像素数据Gb。
图20的附图标记4-1所示的具有G滤光片的像素(第二第一方向异色相邻像素)在异常倾斜入射光从面向纸面的左侧在水平方向上入射的情况下，受到来自在面向纸面的左侧相邻的具有R滤光片的像素的混色的影响。并且，图20的附图标记4-1所示的具有G滤光片的像素输出像素数据Gr。
并且，在混色校正判定部61中，比较上述的第一第一方向同色相邻像素(图20的附图标记1-1、第二第一方向同色相邻像素(图20的附图标记2-1)、第一第一方向异色相邻像素(图20的附图标记3-1)及第二第一方向异色相邻像素(图20的附图标记4-1)的像素数据。
如上所述，第一第一方向同色相邻像素(图20的附图标记1-1)与第二第一方向同色相邻像素(图20的附图标记2-1)的像素数据是Gg，是相同的。另外，第一第一方向异色相邻像素(图20的附图标记3-1)与第二第一方向异色相邻像素(图20的附图标记4-1)的像素数据是Gb和Gr，是不同的。根据该结果，混色校正判定部61能够判断为从面向纸面的左侧在水平方向上有异常倾斜入射光。
此外，像素数据Gg相同是指：第一第一方向同色相邻像素的像素数据(Gg)与第二第一方向同色相邻像素的像素数据(Gg)的差值在第一第一方向同色相邻像素(或第二第一方向同色相邻像素)的像素数据的2％以内，根据摄像对象，也可以是1％以内。
另外，像素数据Gb与Gr不同是指：其差值的绝对值为第一第一方向同色相邻像素(或第二第一方向同色相邻像素)的像素数据的10％以上，根据摄像对象，也可以是8％以上。
接着，在图20中，说明由混色校正判定部61进行的、来自垂直方向的面向纸面的上侧的异常倾斜入射光的检测。图20的附图标记1-3所示的具有G滤光片的像素(第一第二方向同色相邻像素)在异常倾斜入射光从面向纸面的上侧在垂直方向上入射的情况下，受到来自相邻的具有G滤光片的像素(图20的附图标记3-3)的混色的影响。并且，图20的附图标记1-3所示的具有G滤光片的像素输出像素数据Gg。
图20的附图标记2-3所示的具有G滤光片的像素(第二第二方向同色相邻像素)在异常倾斜入射光从面向纸面的上侧在垂直方向上入射的情况下，受到来自相邻的具有G滤光片的像素(图20的附图标记4-3)的混色的影响。并且，图20的附图标记2-3所示的具有G滤光片的像素输出像素数据Gg。
图20的附图标记3-3所示的具有G滤光片的像素(第一第二方向异色相邻像素)在异常倾斜入射光从面向纸面的上侧在垂直方向上入射的情况下，受到来自上侧的具有B滤光片的像素的混色的影响。并且，图20的附图标记3-3所示的具有G滤光片的像素输出像素数据Gb。
图20的附图标记4-3所示的具有G滤光片的像素(第二第二方向异色相邻像素)在异常倾斜入射光从垂直方向的面向纸面的上侧入射的情况下，受到来自上侧的具有R滤光片的像素的混色的影响。并且，图20的附图标记4-3所示的具有G滤光片的像素输出像素数据Gr。
并且，在混色校正判定部61中，比较上述的第一第二方向同色相邻像素(图20的附图标记1-3、第二第二方向同色相邻像素(图20的附图标记2-3)、第一第二方向异色相邻像素(图20的附图标记3-3)及第二第二方向异色相邻像素(图20的附图标记4-3)的像素数据。如上所述，第一第二方向同色相邻像素(图20的附图标记1-3)与第二第二方向同色相邻像素(图20的附图标记2-3)的像素数据是Gg，是相同的。另外，第一第二方向异色相邻像素(图20的附图标记3-3)与第二第二方向异色相邻像素(图20的附图标记4-3)的像素数据是Gb和Gr，是不同的。根据该结果，混色校正判定部61判断为从面向纸面的上侧在垂直方向上有异常倾斜入射光。
此外，像素数据Gg相同是指：第一第二方向同色相邻像素的像素数据(Gg)与第二第二方向同色相邻像素的像素数据(Gg)的差值在第一第二方向同色相邻像素(或第二第二方向同色相邻像素)的像素数据的2％以内，根据摄像对象，也可以是1％以内。
另外，像素数据Gb与Gr不同是指：其差值的绝对值在第一第二方向同色相邻像素(或第二第二方向同色相邻像素)的像素数据的10％以上，根据摄像对象，也可以是8％以上。
此外，混色校正判定部61所进行的“从面向纸面的右侧在水平方向上入射的异常倾斜入射光的检测”及“从面向纸面的下侧在垂直方向上入射的异常倾斜入射光的检测”与上述同样地进行。
如以上说明的那样，混色校正判定部61能够检测来自四个方向的异常倾斜入射光(从面向纸面的左侧在水平方向上入射的异常倾斜入射光、从面向纸面的右侧在水平方向上入射的异常倾斜入射光、从面向纸面的上侧在垂直方向上入射的异常倾斜入射光及从面向纸面的下侧在垂直方向上入射的异常倾斜入射光)。换言之，混色校正判定部61如果进行异常倾斜入射光的检测，则也进行异常倾斜入射光的入射方向的判别。
此外，在这里，将从面向纸面的左侧向右侧的水平方向设为第一方向的正方向，将从面向纸面的右侧向左侧的水平方向设为第一方向的负方向来进行说明。另外，将从面向纸面的下侧向上侧的垂直方向设为第二方向的正方向，将从面向纸面的上侧向下侧的垂直方向设为第二方向的负方向来进行说明。
此外，异常倾斜入射光的检测如上所述是在像素数据的波动发生在某个一定的范围内的情况下进行检测的。在这里所说的一定的范围是指：能够检测一般的重影(由异常倾斜入射光导致的本来不存在的像)的范围。例如，既可以在64个像素×64个像素的范围内进行上述异常倾斜入射光的检测，也可以在32个像素×32个像素内进行上述异常倾斜入射光的检测。
[混色校正]
在第二混色校正部63中，能够进行由异常倾斜入射光的入射导致的混色的校正。即，第二混色校正部63在由异常倾斜入射光检测单元检测到在水平方向上入射到彩色摄像元件27的异常倾斜入射光的情况下，能够使用像素数据Gg来校正像素数据Gb及像素数据Gr。
通过使用像素数据Gg来校正像素数据Gb及像素数据Gr，能够将混色的影响抑制到最小限度。即，当比较像素数据Gg、像素数据Gr及像素数据Gb时，对像素数据Gg的混色是从同色像素漏入的，混色的影响最少，所以期望使用像素数据Gg来校正像素数据Gr及像素数据Gb。
第二混色校正部63能够通过各种方法，使用像素数据Gg对像素数据Gr及Gb进行校正。例如，第二混色校正部63也能够将具有像素数据Gr及Gb的像素的像素数据置换成像素数据Gg，从而进行校正。另外，也能够将具有G滤光片的像素的像素数据校正为像素数据Gr与像素数据Gg的平均值、像素数据Gb与像素数据Gg的平均值或像素数据Gb、像素数据Gr与像素数据Gg的平均值。
第二混色校正部63如在图21A～21E及图22A～22E中说明的那样，也能够考虑异常倾斜入射光的入射方向而进行混色校正。
在图21A及图22A中，表示图20中示出的彩色摄像元件27的一部分，并表示异常倾斜入射光从图21A～21E及图22A～22E的面向纸面的右侧在水平方向上入射的情况。在图20中表示的彩色摄像元件27中，如图21A及图22A那样，在异常倾斜入射光从面向纸面的右侧在水平方向上入射的情况下，具有G滤光片的2个像素×2个像素的像素组(第一颜色像素组)输出Gg、Gg、Gr、及Gb这样的像素数据。
如图21B～21E所示，在对具有G滤光片的像素的像素数据而基于四方的像素数据进行校正的情况下，将Gr、Gb这样的受到混色的影响的像素数据用于校正，所以有时在校正后的像素数据GgC之间值不同。
下面，说明在校正后的像素数据GgC之间值不同的情况。首先，如图21B所示，对表示第一像素组的位于面向纸面的左上的Gg的像素数据，使用四方(面向纸面的左、右、上、下)的像素数据的值来进行混色校正，得到像素数据GgC。该像素数据GgC将表示受到了混色的影响的Gr的像素数据用于混色校正，所以受到混色的影响。
接着，如图21C所示，对表示第一像素组的面向纸面的右上的Gr的像素数据，使用四方的像素数据的值来进行混色校正，得到像素数据GrC。接着，如图21D所示，对表示第一像素组的面向纸面的左下的Gg的像素数据，使用周围的像素数据的值来进行混色校正，得到像素数据GgC。该像素数据GgC将表示受到了混色的影响的Gb的像素数据用于混色校正，所以受到混色的影响。
接着，如图21E所示，对表示第一像素组的面向纸面的右下的Gb的像素数据，使用周围的像素数据的值来进行混色校正，得到像素数据GbC。
在图21B和图21D中，对相同的像素数据Gg进行混色校正，得到像素数据GgC。但是，图21B和图21D的像素数据GgC分别受到不同的混色的影响，所以图21B和图21D像素数据GgC表示不同的值。即，在图21B的情况下像素数据Gr受到混色的影响，并且在图21D的情况下像素数据Gb受到混色的影响，在Gr与Gb中混色不同，所以在作为混色校正的结果得到的像素数据GgC之间产生由混色的影响导致的差异。
另一方面，在图22A～22E所示的混色校正中，考虑异常倾斜入射光的入射方向而进行了混色校正，所以在混色校正后得到的像素数据GgC之间不产生差异。下面，说明在校正后的像素数据GgC之间值不同的情况。
首先，如图22B所示，对表示第一像素组的面向纸面的右上的Gr的像素数据，使用四方的像素数据的值来进行混色校正，得到像素数据GrC。此外，在这里，也可以高强度地进行对异常倾斜入射光的入射方向(右侧)的混色校正。
接着，如图22C所示，对表示第一像素组的面向纸面的右下的Gb的像素数据，使用四方的像素数据的值来进行混色校正，得到像素数据GbC。接着，如图22D所示，对表示第一像素组的面向纸面的左上的Gg的像素数据，使用四方的像素数据的值来进行混色校正，得到像素数据GgC。此时，将表示GrC的像素数据用于混色校正，但GrC预先进行了混色校正，所以混色校正的影响被消除。
接着，如图22E所示，对表示第一像素组的面向纸面的左下的Gg的像素数据，使用周围的像素数据的值来进行混色校正，得到像素数据GgC。此时，将表示GbC的像素数据用于混色校正，但GbC预先进行了混色校正，所以混色校正的影响被消除。
在图22D和图22E中，对相同的像素数据Gg进行混色校正，所得到的像素数据的GgC也表示相同的值。这是由于，在图22B的情况下像素数据Gr受到混色的影响，在图22C的情况下像素数据Gb受到混色的影响，但在图22D和图22E中进行混色校正之前，在图22B及图22C中进行了混色校正，由此消除了混色的影响。
如此，考虑异常倾斜入射光的入射方向，改变进行混色校正的像素的顺序，由此能够进行更高精度的混色校正。在图22的情况下，从位于异常倾斜入射光的入射方向上的像素进行混色校正，由此能够进行更高精度的混色校正。
在本发明中，能够使用具有各种滤色器排列的彩色摄像元件27。下面，作为变形例，说明具有不同的滤色器排列的彩色摄像元件27。
<摄像元件的其他实施方式(变形例1)>
图23是表示上述彩色摄像元件27的其他实施方式的图，特别表示在彩色摄像元件27的受光面上配置的滤色器排列。
在图23所示的滤色器排列中，由关于水平方向和垂直方向按6个像素×6个像素排列的像素构成的多个基本排列像素组包括在水平方向和垂直方向上并列设置的多个基本排列像素组。
图23所示的滤色器排列包括由与6个像素×6个像素对应的正方形排列图案构成的基本排列图案P(由粗框所示的像素组)，该基本排列图案P在水平方向和垂直方向上重复配置。即，该滤色器排列具有周期性地排列有R滤光片、G滤光片、B滤光片。
如此，具有周期性地排列有R滤光片、G滤光片、B滤光片，所以在进行从彩色摄像元件27读出的R、G、B信号的去马赛克算法处理等时，能够依照重复图案进行处理。
在构成图23所示的滤色器排列的基本排列图案P中，与用于得到亮度信号最有贡献的颜色(G的颜色)对应的G滤光片及与G的颜色以外的其他颜色(R及B)对应的R滤光片、B滤光片在基本排列图案P内的水平和垂直方向的各行内配置有一个以上。
R、G、B滤光片分别在基本排列图案P内的水平和垂直方向的各行内配置，所以能够抑制彩色莫尔条纹(伪色)的产生。由此，能够在从光学系统的入射面到摄像面的光路上不配置用于抑制伪色的产生的光学低通滤光器，或在应用光学低通滤光器的情况下也能够应用用于防止伪色的产生的切掉高频成分的作用弱的装置，能够不损害分辨率。
与亮度系像素对应的G滤光片被配置为在基本排列图案P内包括在水平、垂直及倾斜方向的各方向上相邻2个以上的部分。
基本排列图案P分别包括由关于水平方向和垂直方向按3个像素×3个像素排列的像素的滤色器构成的两个第一子排列及两个第二子排列。
图24表示将图23所示的基本排列图案P按3个像素×3个像素分割成四部分的状态。
在图24中，第一子排列具有在中央配置的具有R滤光片的1个像素、在四角配置的具有B滤光片的4个像素、在四角的像素的各像素间配置的具有G滤光片的4个像素，第二子排列具有在中央配置的具有B滤光片的1个像素、在四角配置的具有R滤光片的4个像素及在四角的像素的各像素间配置的具有G滤光片的4个像素，第一子排列在水平方向和垂直方向上与第二子排列相邻配置。
如图24所示，也能够了解到：基本排列图案P为用实线的框围成的3个像素×3个像素的第一子排列和与用虚线的框围成的3个像素×3个像素的第二子排列在水平、垂直方向上交替地排列而得到的排列。
第一子排列在中心配置R滤光片，在四角配置B滤光片，隔着中心的R滤光片在上下左右配置G滤光片。另一方面，第二子排列在中心配置B滤光片，在四角配置R滤光片，隔着中心的B滤光片在上下左右配置G滤光片。在这些第一子排列与第二子排列中，R滤光片与B滤光片的位置关系颠倒，但其他配置相同。
[异常倾斜入射光检测]
在具有上述变形例1的彩色摄像元件27的数码相机10的情况下，在混色校正判定部61中，如下所述地进行异常倾斜入射光的检测及方向的确定。
在图23所示的变形例1中，具体地说明由混色校正判定部61进行的、来自水平方向的面向纸面的左侧的异常倾斜入射光的检测。图23的附图标记1-1所示的具有G滤光片的像素在图23的面向纸面的左侧相邻配置了具有G滤光片的像素(图23的附图标记3-1)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第一方向同色相邻像素)。图23的附图标记2-1所示的具有G滤光片的像素在图23的面向纸面的左侧相邻配置了具有G滤光片的像素(图23的附图标记4-1)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第一方向同色相邻像素)。
图23的附图标记3-1所示的具有G滤光片的像素在图23的面向纸面的左侧相邻配置了具有与G滤光片异色的R滤光片的像素，是相邻配置了具有与第一颜色异色的滤色器的像素的具有G滤光片的像素(第一第一方向异色相邻像素)。另外，图23的附图标记4-1所示的具有G滤光片的像素在图23的面向纸面的左侧相邻配置了具有与G滤光片异色的B滤光片的像素，是相邻配置了具有与第一颜色异色的滤色器的像素的具有G滤光片的像素(第二第一方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第一方向同色相邻像素(图23的附图标记1-1)、第二第一方向同色相邻像素(图23的附图标记2-1)、第一第一方向异色相邻像素(图23的附图标记3-1)及第二第一方向异色相邻像素(图23的附图标记4-1)的像素数据，在第一第一方向同色相邻像素(图23的附图标记1-1)与第二第一方向同色相邻像素(图23的附图标记2-1)的值相同、并且第一第一方向异色相邻像素(图23的附图标记3-1)与第二第一方向异色相邻像素(图23的附图标记4-1)的值不同的情况下，检测到从面向纸面的左侧在水平方向上前进的异常倾斜入射光的存在。
在图23所示的变形例1中，具体地说明由混色校正判定部61进行的、来自水平方向的面向纸面的右侧的异常倾斜入射光的检测。图23的附图标记1-2所示的具有G滤光片的像素在图23的面向纸面的右侧相邻配置了具有G滤光片的像素(图23的附图标记3-2)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第一方向同色相邻像素)。图23的附图标记2-2所示的具有G滤光片的像素在图23的面向纸面的右侧相邻配置了具有G滤光片的像素(图23的附图标记4-2)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第一方向同色相邻像素)。
图23的附图标记3-2所示的具有G滤光片的像素在图23的面向纸面的右侧相邻配置了具有与G滤光片异色的R滤光片的像素，是相邻配置了具有与第一颜色异色的滤色器的像素的具有G滤光片的像素(第一第一方向异色相邻像素)。另外，图23的附图标记4-2所示的具有G滤光片的像素在图23的面向纸面的右侧相邻配置了具有与G滤光片异色的B滤光片的像素，是相邻配置了具有与第一颜色异色的滤色器的像素的具有G滤光片的像素(第二第一方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第一方向同色相邻像素(图23的附图标记1-2)、第二第一方向同色相邻像素(图23的附图标记2-2)、第一第一方向异色相邻像素(图23的附图标记3-2)及第二第一方向异色相邻像素(图23的附图标记4-2)的像素数据，在第一第一方向同色相邻像素(图23的附图标记1-2)与第二第一方向同色相邻像素(图23的附图标记2-2)的值相同、并且第一第一方向异色相邻像素(图23的附图标记3-2)与第二第一方向异色相邻像素(图23的附图标记4-2)的值不同的情况下，检测到从面向纸面的右侧在水平方向上前进的异常倾斜入射光的存在。
接着，说明进行从垂直方向的面向纸面的上侧入射的异常倾斜入射光的检测的情况。在图23所示的变形例1中，如下所述地进行由混色校正判定部61进行的、来自垂直方向的面向纸面的上侧的异常倾斜入射光的检测。
图23的附图标记1-3所示的具有G滤光片的像素在图23的面向纸面的上侧相邻配置了具有G滤光片的像素(图23的附图标记3-3)，是相邻配置了具有G滤光片的像素的具有G滤光片的像素(第一第二方向同色相邻像素)。图23的附图标记2-3所示的具有G滤光片的像素在图23的面向纸面的上侧相邻配置了具有G滤光片的像素(图23的附图标记4-3)，是相邻配置了具有G滤光片的像素的具有G滤光片的像素(第二第二方向同色相邻像素)。
图23的附图标记3-3所示的具有G滤光片的像素在图23的面向纸面的上侧相邻配置了具有与G滤光片异色的R滤光片的像素，是相邻配置了具有与G滤光片异色的滤色器的像素的具有G滤光片的像素(第一第二方向异色相邻像素)。另外，图23的附图标记4-3所示的具有G滤光片的像素在图23的面向纸面的上侧相邻配置了具有与G滤光片异色的B滤光片的像素，是相邻配置了具有与G滤光片异色的滤色器的像素的具有G滤光片的像素(第二第二方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第二方向同色相邻像素(图23的附图标记1-3)、第二第二方向同色相邻像素(图23的附图标记2-3)、第一第二方向异色相邻像素(图23的附图标记3-3)及第二第二方向异色相邻像素(图23的附图标记4-3)的像素数据，在第一第二方向同色相邻像素(图23的附图标记1-3)与第二第二方向同色相邻像素(图23的附图标记2-3)的值相同、并且第一第二方向异色相邻像素(图23的附图标记3-3)与第二第二方向异色相邻像素(图23的附图标记4-3)的值不同的情况下，检测到来自垂直方向的异常倾斜入射光的存在。
在进行从面向纸面的下侧在垂直方向上入射的异常倾斜入射光的检测的情况下，如下所述地进行。在图23所示的变形例1中，具体地说明由混色校正判定部61进行的、来自垂直方向的面向纸面的下侧的异常倾斜入射光的检测。
图23的附图标记1-4所示的具有G滤光片的像素在图23的下侧相邻配置了具有G滤光片的像素(图23的附图标记3-4)，是相邻配置了具有G滤光片的像素的具有G滤光片的像素(第一第二方向同色相邻像素)。图23的附图标记2-4所示的具有G滤光片的像素在图23的下侧相邻配置了具有G滤光片的像素(图23的附图标记4-4)，是相邻配置了具有G滤光片的像素的具有G滤光片的像素(第二第二方向同色相邻像素)。
图23的附图标记3-4所示的具有G滤光片的像素在图23的下侧相邻配置了具有与G滤光片异色的R滤光片的像素，是相邻配置了具有与G滤光片异色的滤色器的像素的具有G滤光片的像素(第一第二方向异色相邻像素)。另外，图23的附图标记4-4所示的具有G滤光片的像素在图23的下侧相邻配置了具有与G滤光片异色的B滤光片的像素，是相邻配置了具有与G滤光片异色的滤色器的像素的具有G滤光片的像素(第二第二方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第二方向同色相邻像素(图23的附图标记1-4)、第二第二方向同色相邻像素(图23的附图标记2-4)、第一第二方向异色相邻像素(图23的附图标记3-4)及第二第二方向异色相邻像素(图23的附图标记4-4)的像素数据，在第一第二方向同色相邻像素(图23的附图标记1-4)与第二第二方向同色相邻像素(图23的附图标记2-4)的值相同、并且第一第二方向异色相邻像素(图23的附图标记3-4)与第二第二方向异色相邻像素(图23的附图标记4-4)的值不同的情况下，检测到来自垂直方向的异常倾斜入射光的存在。
此外，为了使说明清楚，在图23中，说明了通过在相邻的不同的基本排列像素组P中配置的像素来进行利用附图标记1-1～4-1的像素的来自水平方向的面向纸面的左侧的异常倾斜入射光的检测、利用附图标记1-2～4-2的像素的来自水平方向的面向纸面的右侧的异常倾斜入射光的检测、利用附图标记1-3～4-3的像素的来自垂直方向的异常倾斜入射光的检测及利用附图标记1-4～4-4的像素的来自垂直方向的异常倾斜入射光的检测。但是，在相同的基本排列像素组P内，也可以根据与附图标记1-1～4-1的像素、附图标记1-2～4-2的像素、附图标记1-3～4-3的像素及附图标记1-4～4-4的像素对应的像素来进行检测。
<摄像元件的其他实施方式(变形例2)>
图25是表示上述彩色摄像元件27的其他实施方式(变形例2)的图，特别表示在彩色摄像元件27的受光面上配置的滤色器排列。
图25所示的滤色器排列具有由关于水平方向和垂直方向按4个像素×4个像素排列的像素构成的多个基本排列像素组。另外，滤色器排列包括在水平方向和垂直方向上并列设置的多个基本排列像素组，基本排列像素组各自包括由关于水平方向和垂直方向按2个像素×2个像素排列的像素构成的两个第一子排列及两个第二子排列。
第一子排列由具有G滤光片的4个像素构成，第二子排列由具有R滤光片的2个像素和具有B滤光片的2个像素构成，第一子排列在水平方向和垂直方向上与第二子排列相邻配置，第一颜色像素组由第一子排列构成。
具体地说，图25的滤色器排列包括由与4个像素×4个像素对应的正方排列图案构成的基本排列图案P(由粗框所示的像素组)，该基本排列图案P在水平方向和垂直方向上重复配置。即，该滤色器排列具有周期性地排列有R滤光片、G滤光片、B滤光片。
如此，具有周期性地排列有R滤光片、G滤光片、B滤光片，所以在进行从彩色摄像元件27读出的R、G、B信号的去马赛克算法处理等时，能够依照重复图案进行处理。
在图25所示的滤色器排列中，R、G、B的全部颜色的滤光片在基本排列图案P内的水平方向和垂直方向的各行内配置。
图26表示将图25所示的基本排列图案P按2个像素×2个像素分割成四部分的状态。
图26所示的基本排列图案P为用实线的框围成的2个像素×2个像素的第一子排列及用虚线的框围成的2个像素×2个像素的第二子排列在水平、垂直方向上交替地排列而得到的排列。
第一子排列为R滤光片及B滤光片在水平、垂直方向上交替地排列而得到的排列。另外，第一子排列也能够在2个像素×2个像素排列的对角线上排列有R滤光片或B滤光片。
另一方面，在第二子排列中，按2个像素×2个像素排列了具有G滤光片的像素。具有G滤光片的像素的2个像素×2个像素排列是具有G滤光片的像素的像素组，构成第一第一方向同色相邻像素、第二第一方向同色相邻像素、第一第一方向异色相邻像素及第二第一方向异色相邻像素，并且，构成第一第二方向同色相邻像素、第二第二方向同色相邻像素、第一第二方向异色相邻像素及第二第二方向异色相邻像素。
[异常倾斜入射光检测]
具体地说明图25所示的例子中的、具有变形例2的彩色摄像元件27的数码相机10的混色校正判定部61所进行的、来自水平方向的面向纸面的左侧的异常倾斜入射光的检测。
图25的附图标记1-1所示的具有G滤光片的像素在图25的面向纸面的左侧相邻配置了具有G滤光片的像素(图25的附图标记3-1)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第一方向同色相邻像素)。图25的附图标记2-1所示的具有G滤光片的像素在图25的面向纸面的左侧相邻配置了具有G滤光片的像素(图25的附图标记4-1)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第一方向同色相邻像素)。
图25的附图标记3-1所示的具有G滤光片的像素在图25的面向纸面的左侧相邻配置了具有异色的B滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第一第一方向异色相邻像素)。另外，图25的附图标记4-1所示的具有G滤光片的像素在图25的面向纸面的左侧相邻配置了具有异色的R滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第二第一方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第一方向同色相邻像素(图25的附图标记1-1)、第二第一方向同色相邻像素(图25的附图标记2-1)、第一第一方向异色相邻像素(图25的附图标记3-1)及第二第一方向异色相邻像素(图25的附图标记4-1)的像素数据，在第一第一方向同色相邻像素(图25的附图标记1-1)与第二第一方向同色相邻像素(图25的附图标记2-1)的值相同、并且第一第一方向异色相邻像素(图25的附图标记3-1)与第二第一方向异色相邻像素(图25的附图标记4-1)的值不同的情况下，检测到来自第一方向的异常倾斜入射光的存在。
具体地说明具有图25所示的变形例2的彩色摄像元件27的数码相机10的混色校正判定部61所进行的、来自水平方向的面向纸面的右侧的异常倾斜入射光的检测。
图25的附图标记1-2所示的具有G滤光片的像素在图25的面向纸面的右侧相邻配置了具有G滤光片的像素(图25的附图标记4-2)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第一方向同色相邻像素)。图25的附图标记2-2所示的具有G滤光片的像素在图25的面向纸面的右侧相邻配置了具有G滤光片的像素(图25的附图标记3-2)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第一方向同色相邻像素)。
图25的附图标记3-2所示的具有G滤光片的像素在图25的面向纸面的右侧相邻配置了具有异色的B滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第一第一方向异色相邻像素)。另外，图25的附图标记4-2所示的具有G滤光片的像素在图25的面向纸面的右侧相邻配置了具有异色的R滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第二第一方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第一方向同色相邻像素(图25的附图标记1-2)、第二第一方向同色相邻像素(图25的附图标记2-2)、第一第一方向异色相邻像素(图25的附图标记3-2)及第二第一方向异色相邻像素(图25的附图标记4-2)的像素数据，在第一第一方向同色相邻像素(图25的附图标记1-2)与第二第一方向同色相邻像素(图25的附图标记2-2)的值相同、并且第一第一方向异色相邻像素(图25的附图标记3-2)与第二第一方向异色相邻像素(图25的附图标记4-2)的值不同的情况下，检测到从面向纸面的右侧向水平方向前进的异常倾斜入射光的存在。
说明具有图25所示的变形例2的彩色摄像元件27的数码相机10的混色校正判定部61所进行的、从垂直方向的面向纸面的上侧入射的异常倾斜入射光的检测。
图25的附图标记1-3所示的具有G滤光片的像素在图25的面向纸面的上侧相邻配置了具有G滤光片的像素(图25的附图标记3-3)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第二方向同色相邻像素)。图25的附图标记2-3所示的具有G滤光片的像素在图25的面向纸面的上侧相邻配置了具有G滤光片的像素(图25的附图标记4-3)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第二方向同色相邻像素)。
图25的附图标记3-3所示的具有G滤光片的像素在图25的面向纸面的上侧相邻配置了具有异色的R滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第一第二方向异色相邻像素)。另外，图25的附图标记4-3所示的具有G滤光片的像素在图25的面向纸面的上侧相邻配置了具有异色的B滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第二第二方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第二方向同色相邻像素(图25的附图标记1-3)、第二第二方向同色相邻像素(图25的附图标记2-3)、第一第二方向异色相邻像素(图25的附图标记3-3)及第二第二方向异色相邻像素(图25的附图标记4-3)的像素数据，在第一第二方向同色相邻像素(图25的附图标记1-3)与第二第二方向同色相邻像素(图25的附图标记2-3)的值相同、并且第一第二方向异色相邻像素(图25的附图标记3-3)与第二第二方向异色相邻像素(图25的附图标记4-3)的值不同的情况下，检测到来自垂直方向的异常倾斜入射光的存在。
说明具有图25所示的变形例2的彩色摄像元件27的数码相机10的混色校正判定部61所进行的、从面向纸面的下侧在垂直方向上入射的异常倾斜入射光的检测。
图25的附图标记1-4所示的具有G滤光片的像素在图25的面向纸面的下侧相邻配置了具有G滤光片的像素(图25的附图标记3-4)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第二方向同色相邻像素)。图25的附图标记2-4所示的具有G滤光片的像素在图25的面向纸面的下侧相邻配置了具有G滤光片的像素(图25的附图标记4-4)，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第二方向同色相邻像素)。
图25的附图标记3-4所示的具有G滤光片的像素在图25的面向纸面的下侧相邻配置了具有异色的R滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第一第二方向异色相邻像素)。另外，图25的附图标记4-4所示的具有G滤光片的像素在图25的面向纸面的下侧相邻配置了具有异色的B滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第二第二方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第二方向同色相邻像素(图25的附图标记1-4)、第二第二方向同色相邻像素(图25的附图标记2-4)、第一第二方向异色相邻像素(图25的附图标记3-4)及第二第二方向异色相邻像素(图25的附图标记4-4)的像素数据，在第一第二方向同色相邻像素(图25的附图标记1-4)与第二第二方向同色相邻像素(图25的附图标记2-4)的值相同、并且第一第二方向异色相邻像素(图25的附图标记3-4)与第二第二方向异色相邻像素(图25的附图标记4-4)的值不同的情况下，检测到来自垂直方向的异常倾斜入射光的存在。
在图27及图28中，表示判定在具有图25所示的滤色器排列的彩色摄像元件27中异常倾斜入射光在水平方向的正方向或负方向的哪一个方向上入射的方法。在图27及图28中，将面向纸面的右侧设为正方向，将面向纸面的左侧设为负方向。
图27及图28所示的多个像素包括：和具有G滤光片的像素在水平方向的正方向上相邻并且和具有与第一颜色异色的滤色器的像素在水平方向的负方向上相邻的具有G滤光片的第一第一颜色像素(图27的附图标记3-1)(图28的附图标记1-2)和第二第一颜色像素(图27的附图标记4-1)(图28的附图标记2-2)及和具有G滤光片的像素在水平方向的负方向上相邻并且和具有与第一颜色异色的滤色器的像素在水平方向的正方向上相邻的具有G滤光片的第三第一颜色像素(图27的附图标记1-1)(图28的附图标记4-2)和第四第一颜色像素(图27的附图标记2-1)(图28的附图标记3-2)。
在图27中，表示异常倾斜入射光沿着水平方向的正方向入射的状态。在异常倾斜入射光沿着水平方向的正方向入射到彩色摄像元件27的情况下，在第三第一颜色像素(图27的附图标记1-1)中存在来自相邻的具有G滤光片的像素(图27的附图标记3-1)的混色，所以像素数据为Gg。另外，在第四第一颜色像素(图27的附图标记2-1)中也存在来自相邻的具有G滤光片的像素(图27的附图标记2-1)的混色，所以像素数据为Gg。
另一方面，在第一第一颜色像素(图27的附图标记3-1)中存在来自在负方向侧相邻的具有B滤光片的像素的混色，所以像素数据为Gb。另外，在第二第一颜色像素(图27的附图标记4-1)中存在来自在负方向侧相邻的具有R滤光片的像素的混色，所以像素数据为Gr。
如图27所示，在第一第一颜色像素(图27的附图标记3-1)被检测到Gb的输出值、第二第一颜色像素(图27的附图标记4-1)被检测到Gr的输出值、第三第一颜色像素(图27的附图标记1-1)被检测到Gg的输出值及第四第一颜色像素(图27的附图标记2-1)被检测到Gg的输出值的情况下，能够判断为有异常倾斜入射光沿着水平方向的正方向的入射。而且，在第一像素或第二像素的像素数据为Gg的情况下，能够判断为有来自第一正方向的异常倾斜入射光。
在图28中，表示异常倾斜入射光沿着水平方向的负方向入射的状态。在异常倾斜入射光沿着水平方向的负方向入射到彩色摄像元件27的情况下，在第三第一颜色像素(图28的附图标记4-2)中存在来自在正方向侧相邻的具有R滤光片的像素的混色，所以像素数据为Gr。另外，在第四第一颜色像素(图28的附图标记3-2)中也存在来自在正方向侧相邻的具有B滤光片的像素的混色，所以像素数据为Gb。
另一方面，在第一第一颜色像素(图28的附图标记1-2)中存在来自在正方向侧相邻的具有G滤光片的像素(图28的附图标记4-2)的混色，所以像素数据为Gg。另外，在第二第一颜色像素(图28的附图标记2-2)中存在来自在正方向侧相邻的具有G滤光片的像素(图28的附图标记3-2)的混色，所以像素数据为Gg。
如图28所示，在第一第一颜色像素(图28的附图标记1-2)被检测到Gg的输出值、第二第一颜色像素(图28的附图标记2-2)被检测到Gg的输出值、第三第一颜色像素(图28的附图标记4-2)被检测到Gr的输出值及第四第一颜色像素(图28的附图标记3-2)被检测到Gb的输出值的情况下，能够判断为有异常倾斜入射光沿着水平方向的负方向的入射。而且，在第一像素或第二像素的像素数据为Gg的情况下，能够判断为有来自水平方向的负方向的异常倾斜入射光。
而且，在检测到异常倾斜入射光的情况下，能够使用第一第一颜色像素、第二第一颜色像素、第三第一颜色像素和第四第一颜色像素中的、输出相同像素数据的像素的像素数据，来校正具有被异常倾斜入射光入射的光电二极管的像素的像素数据。
为了方便说明，在图27及图28中，关于上述彩色摄像元件27的其他实施方式(变形例1)中的水平方向进行了说明。但是，在上述彩色摄像元件27的实施方式(具有图20、图23及图25所示的滤色器排列的摄像元件)中，关于水平方向和垂直方向，能够判别异常倾斜入射光的入射光从正方向、负方向中的哪一个方向入射。
<摄像元件的其他实施方式(变形例3)>
图29是表示上述彩色摄像元件27的其他实施方式(变形例3)的图，特别表示在彩色摄像元件27的受光面上配置的滤色器排列。
在图29所示的滤色器排列中，包括由关于水平方向和垂直方向按4个像素×4个像素排列的像素的滤色器构成的多个基本排列图案P、即在水平方向和垂直方向上并列设置的多个基本排列图案P。
如此，具有周期性地排列有R滤光片、G滤光片、B滤光片，所以在进行从彩色摄像元件27读出的R、G、B信号的去马赛克算法处理等时，能够依照重复图案进行处理。
图29所示的滤色器排列在基本排列图案P内的水平方向和垂直方向的各行内配置有R、G、B的全部颜色的滤光片。
像素框Q(在图29中，用点划线来图示)由基本排列图案P的像素组的各像素组中的具有R滤光片的2个像素、具有B滤光片的2个像素和具有G滤光片的5个像素构成。
基本排列图案P分别包括由关于水平方向和垂直方向按2个像素×2个像素排列的像素的滤色器构成的两个第一子排列及两个第二子排列。
图30表示将图29所示的基本排列图案P按2个像素×2个像素分割成四部分的状态。
如图30所示，第一子排列由具有G滤光片的3个像素和具有R滤光片的1个像素构成，第二子排列由具有G滤光片的3个像素和具有B滤光片的1个像素构成，第一子排列中的具有R滤光片的像素的位置与第二子排列中的具有B滤光片的像素的位置相对应，第一子排列在水平方向和垂直方向上与第二子排列相邻配置。
具体地说，如图30所示，基本排列图案P为用实线的框围成的2个像素×2个像素的第一子排列及用虚线的框围成的2个像素×2个像素的第二子排列在水平、垂直方向上交替地排列而得到的排列。
第一子排列具有3个G滤光片与1个R滤光片。另外，第二子排列具有3个G滤光片与1个B滤光片。而且，第一子排列中的排列有R滤光片的位置与第二子排列中的排列有B滤光片的位置相同。
[异常倾斜入射光检测]
在图29所示的例子中，具体地说明由混色校正判定部61进行的、来自水平方向的异常倾斜入射光的检测。图29的附图标记1A所示的具有G滤光片的像素在图29的面向纸面的左侧和右侧相邻配置了具有G滤光片的像素，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第一方向同色相邻像素)。图29的附图标记2A所示的具有G滤光片的像素在图29的面向纸面的左侧和右侧相邻配置了具有G滤光片的像素，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第一方向同色相邻像素)。
图29的附图标记3A所示的具有G滤光片的像素在图29的面向纸面的左侧相邻配置了具有R滤光片的像素并且在右侧相邻配置了具有B滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第一第一方向异色相邻像素)。另外，图29的附图标记4A所示的具有G滤光片的像素在图29的面向纸面的左侧相邻配置了具有B滤光片的像素并且在右侧相邻配置了具有R滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素(第二第一方向异色相邻像素)。
并且，在混色校正判定部61中，比较上述的第一第一方向同色相邻像素(图29的附图标记1A)、第二第一方向同色相邻像素(图29的附图标记2A)、第一第一方向异色相邻像素(图29的附图标记3A)及第二第一方向异色相邻像素(图29的附图标记4A)的像素数据，在第一第一方向同色相邻像素(图29的附图标记1A)与第二第一方向同色相邻像素(图29的附图标记2A)的值相同、并且第一第一方向异色相邻像素(图29的附图标记3A)与第二第一方向异色相邻像素(图29的附图标记4A)的值不同的情况下，检测到来自水平方向的异常倾斜入射光的存在。
在进行从垂直方向入射的异常倾斜入射光的检测的情况下，如下所述地进行。
在图29中，具体地说明由混色校正判定部61进行的、来自垂直方向的异常倾斜入射光的检测。图29的附图标记1B所示的具有G滤光片的像素在图29的面向纸面的上侧和下侧相邻配置了具有G滤光片的像素，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第一第二方向同色相邻像素)。图29的附图标记2B所示的具有G滤光片的像素在图29的面向纸面的上侧和下侧相邻配置了具有G滤光片的像素，是相邻配置了具有同色的滤色器的像素的具有G滤光片的像素(第二第二方向同色相邻像素)。
图29的附图标记3B所示的具有G滤光片的像素在图29的面向纸面的上侧和下侧相邻配置了具有异色的R滤光片和B滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素，所以能够设为第一第二方向异色相邻像素。另外，图29的附图标记4B所示的具有G滤光片的像素在图29的面向纸面的上侧和下侧相邻配置了具有异色的B滤光片和R滤光片的像素，是相邻配置了具有异色的滤色器的像素的具有G滤光片的像素，所以能够设为第二第二方向异色相邻像素。
并且，在混色校正判定部61中，比较上述的第一第二方向同色相邻像素(图29的附图标记1B)、第二第二方向同色相邻像素(图29的附图标记2B)、第一第二方向异色相邻像素(图29的附图标记3B)及第二第二方向异色相邻像素(图29的附图标记4B)的像素数据，在第一第二方向同色相邻像素(图29的附图标记1B)与第二第二方向同色相邻像素(图29的附图标记2B)的值相同、并且第一第二方向异色相邻像素(图29的附图标记3B)与第二第二方向异色相邻像素(图29的附图标记4B)的值不同的情况下，检测到来自垂直方向的异常倾斜入射光的存在。
另外，如图31及图32所示，在数码相机10的其他实施方式(变形例3)中，具有G滤光片的像素在水平方向上连续地排列，或具有G滤光片的像素在垂直方向上连续地排列，所以能够更容易地进行异常倾斜入射光的方向。
而且，混色校正判定部61能够基于在像素框(在图29中，用点划线表示)中包含的具有G滤光片的5个像素的像素数据，检测在水平方向或垂直方向上入射到彩色摄像元件27的异常倾斜入射光。
在图31中，表示具有图29所示的滤色器排列的彩色摄像元件27的、异常倾斜入射光从水平方向入射的情况。另外，在图32中，表示具有图29所示的滤色器排列的彩色摄像元件27的、来自垂直方向的异常倾斜入射光入射的情况。
在图31中，在水平方向上连续地排列的具有G滤光片的像素的像素数据为Gg。换言之，表示Gg的值的像素数据在水平方向上连续地排列。在这种情况下，检测到来自水平方向的异常倾斜入射光。
另一方面，在图32中，在垂直方向上连续地排列的具有G滤光片的像素的像素数据为Gg。换言之，表示Gg的值的像素数据在垂直方向上连续地排列。在这种情况下，检测到来自垂直方向的异常倾斜入射光。
另外，多个像素由至少具有G滤光片、R滤光片及B滤光片的像素构成。另外，具有G滤光片的像素输出的像素数据对于得到亮度信号最有贡献。
另外，第一色像素具有绿色、透明或白色的滤色器。透明滤光片及白色滤光片是红波长区域的光、蓝波长区域的光及绿波长区域的光中的任一个都透过的滤光片，透明滤光片具有较高的光透射率(例如70％以上的光透射率)，白色滤光片具有比透明滤光片低的光透射率。
在彩色摄像元件27的受光面上配置的滤色器排列还能够采用这里所示的排列以外的排列。例如，能够采用关于第一方向和第二方向将N像素×M像素(N为3以上的整数，M为3以上的整数)的排列组设为基本排列像素组，并且在第一方向和第二方向上并列设置基本排列像素组而得到的排列。并且，基本排列像素组也能够分别采用包括第一第一方向同色相邻像素、第二第一方向同色相邻像素、第一第一方向异色相邻像素、第二第一方向异色相邻像素、第一第二方向同色相邻像素、第二第二方向同色相邻像素、第一第二方向异色相邻像素及第二第二方向异色相邻像素的排列。
另外，彩色摄像元件27的像素排列没有特别的限定。例如，关于第一方向(例如水平方向)和第二方向(例如垂直方向)，将N像素×M像素(N为3以上的整数，M为3以上的整数)的排列组设为基本排列图案，能够将在第一方向和第二方向上并列设置有该基本排列图案的排列用作彩色摄像元件27的像素排列。作为一例，考虑将图33所示的3个像素×3个像素的排列组(在水平方向上并列设置的“G像素、G像素、R像素”的行、“G像素、G像素、B像素”的行及“B像素、R像素、G像素”的行在垂直方向上并列设置的排列组)用作基本排列图案P的案例。此外，关于基本排列图案的大小，如果基本排列图案的像素数增加，则去马赛克算法处理等信号处理变得复杂。因此，从防止信号处理的复杂化的观点来看，基本排列图案的尺寸优选为不会过大的10个像素×10个像素(水平方向×垂直方向)以下的尺寸，更优选为8个像素×8个像素(水平方向×垂直方向)以下的尺寸。
在上述实施方式中说明了数码相机10，但摄像装置(图像处理装置)的结构不限定于此。作为能够应用本发明的其他摄像装置，例如能够设为内置型或外带型的PC用相机或下面所说明的那样的、具有摄影功能的便携终端装置。另外，对使计算机执行上述的各处理步骤(工序)的程序(软件)，也能够应用本发明。
作为是本发明的摄像装置(图像处理装置)的一实施方式的便携终端装置，例如可列举移动电话、智能手机、PDA(Personal DigitalAssistants：个人数字助理)、便携型游戏机。下面，将智能手机列举为例，参照附图来详细说明。
<智能手机的结构>
图34是表示作为本发明的摄像装置(图像处理装置)的一实施方式的智能手机101的外观的图。图34所示的智能手机101具有平板状的壳体102，在壳体102的一个面上具备作为显示部的显示面板121与作为输入部的操作面板122一体地构成的显示输入部120。另外，这样的壳体102具备扬声器131、麦克风132、操作部140、相机部141。此外，壳体102的结构不限定于此，例如也能够采用显示部与输入部独立的结构，或采用具有折叠构造、滑动机构的结构。
图35是表示图34所示的智能手机101的结构的框图。如图35所示，作为智能手机的主要结构要素，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System：全球定位系统)接收部170、运动传感器部180、电源部190及主控制部100。另外，作为智能手机101的主要功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部110依照主控制部100的指示，对收容于移动通信网NW中的基地站装置BS进行无线通信。使用这样的无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部120是根据主控制部100的控制来显示图像(静态图像及动态图像)、文字信息等、在视觉上向用户传达信息并检测对显示的信息的用户操作的所谓的触摸面板，具备显示面板121及操作面板122。
显示面板121将LCD(Liquid Crystal Display：液晶显示器)、OELD(Organic Electro-Luminescence Display：有机电激发光显示器)等用作显示设备。操作面板122是被载置成能够视觉辨认显示面板121的显示面上显示的图像、并检测通过用户的手指、笔尖来操作的一个或多个坐标的设备。如果通过用户的手指、笔尖来操作这样的设备，则将由于操作而产生的检测信号输出到主控制部100。接着，主控制部100基于接收到的检测信号，检测显示面板121上的操作位置(坐标)。
如图34所示，作为本发明的摄像装置(图像处理装置)的一实施方式例示的智能手机101的显示面板121与操作面板122一体地构成显示输入部120，但操作面板122被配置成完全覆盖显示面板121。在采用了这样的配置的情况下，操作面板122也可以关于显示面板121外的区域也具备检测用户操作的功能。换言之，操作面板122也可以具备对与显示面板121重叠的重叠部分的检测区域(下面，称为显示区域)及对除此之外的不与显示面板121重叠的外缘部分的检测区域(下面，称为非显示区域)。
此外，可以使显示区域的大小与显示面板121的大小完全一致，但不一定必须使两者一致。另外，操作面板122也可以具备外缘部分及除此之外的内侧部分这2个感应区域。而且，外缘部分的宽度根据壳体102的大小等来适当设计。而且，作为由操作面板122采用的位置检测方式，可列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用其中某一个方式。
通话部130具备扬声器131、麦克风132，将通过麦克风132而输入的用户的声音变换成能够由主控制部100处理的声音数据并输出到主控制部100，或对由无线通信部110或外部输入输出部160接收到的声音数据进行解码而从扬声器131输出。另外，如图34所示，例如，能够将扬声器131搭载于与设置有显示输入部120的面相同的面，将麦克风132搭载于壳体102的侧面。
操作部140是使用键开关等的硬件键，接受来自用户的指示。例如，如图34所示，操作部140是按钮式的开关，搭载于智能手机101的壳体102的侧面，当用手指等按下时接通，当手指离开时，通过弹簧等的恢复力而成为断开状态。
存储部150存储主控制部100的控制程序、控制数据、应用软件、将通信对方的名称、电话号码等建立对应而得到的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、已下载的内容数据，另外，临时地存储流数据等。另外，存储部150由智能手机内置的内部存储部151及具有装卸自如的外部存储器插槽的外部存储部152构成。此外，构成存储部150的各个内部存储部151与外部存储部152使用闪存型(flash memory type)、硬盘型(hard disk type)、微缩多媒体卡型(multimedia card micro type)、卡型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnlyMemory：只读存储器)等存储介质来实现。
外部输入输出部160起到与连接于智能手机101的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，因特网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)与其他外部设备直接或间接地连接。
作为连接于智能手机101的外部设备，例如存在有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡座连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card)/UIM(UserIdentity Module Card)卡，经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这样的外部设备接受传送的数据传达到智能手机101的内部的各结构要素、将智能手机101的内部的数据传送到外部设备。
GPS接收部170依照主控制部100的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的定位运算处理，检测智能手机101的由纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110、外部输入输出部160(例如，无线LAN)获取位置信息时，也能够采用该位置信息来检测位置。
运动传感器部180例如具备3轴加速度传感器等，依照主控制部100的指示，检测智能手机101的物理性移动。通过检测智能手机101的物理性移动，来检测智能手机101的移动方向、加速度。将这样的检测结果输出到主控制部100。
电源部190依照主控制部100的指示，对智能手机101的各部供给在蓄电池(未图示)中蓄积的电力。
主控制部100具备微处理器，依照存储部150所存储的控制程序、控制数据进行动作，集中地控制智能手机101的各部。另外，主控制部100为了通过无线通信部110进行声音通信、数据通信，具备控制通信系统的各部分的移动通信控制功能与应用处理功能。
应用处理功能通过主控制部100依照存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如，存在控制外部输入输出部160来与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web页面的Web浏览功能等。
另外，主控制部100具备基于接收数据、所下载的流数据等图像数据(静态图像、动态图像的数据)将影像显示于显示输入部120等的图像处理功能。图像处理功能是指如下功能：主控制部100对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示于显示输入部120。
而且，主控制部100执行对显示面板121的显示控制及检测通过了操作部140、操作面板122的用户操作的操作检测控制。
通过执行显示控制，主控制部100显示用于起动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。此外，滚动条是指用于对在显示面板121的显示区域中无法完全容纳的大的图像等接受使图像的显示部分移动的指示的软件键。
另外，通过执行操作检测控制，主控制部100检测通过了操作部140的用户操作，或通过操作面板122，接受对上述图标的操作、对上述窗口的输入栏的字符串的输入，或接受通过了滚动条的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部100具备如下的触摸面板控制功能：判定对操作面板122的操作位置是在与显示面板121重叠的重叠部分(显示区域)还是除此之外的不与显示面板121重叠的外缘部分(非显示区域)，并控制操作面板122的感应区域、软件键的显示位置。
另外，主控制部100也能够检测对操作面板122的手势操作，根据检测到的手势操作来执行预先设定的功能。手势操作不是以往的简单的触摸操作，而是意味着通过手指等来描绘轨迹，或同时指定多个位置，或组合这些操作来对多个位置中的至少一个描绘轨迹的操作。
相机部141是采用CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)、CCD(Charge-Coupled Device：电荷耦合器件)等摄像元件来进行电子摄影的数码相机。另外，相机部141能够通过主控制部100的控制，来将通过摄像而得到的图像数据变换成例如JPEG(Joint Photographic coding Experts Group：联合图像专家组)等压缩后的图像数据，并记录到存储部150，或通过外部输入输出部160、无线通信部110而输出。在图34所示的智能手机101中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置不限于此，既可以搭载于显示输入部120的背面，或者也可以搭载多个相机部141。此外，在搭载了多个相机部141的情况下，也能够切换用于摄影的相机部141而单独地进行摄影，或同时采用多个相机部141来进行摄影。
另外，相机部141能够用于智能手机101的各种功能。例如，能够在显示面板121中显示通过相机部141获取的图像，能够作为操作面板122的操作输入之一而利用相机部141的图像。另外，在GPS接收部170检测位置时，也能够参照来自相机部141的图像而检测位置。而且，也能够参照来自相机部141的图像，不采用3轴加速度传感器，或与3轴加速度传感器并用，来判断智能手机101的相机部141的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自相机部141的图像。
此外，也能够对静止画面或动画的图像数据附加通过GPS接收部170获取的位置信息、通过麦克风132获取的声音信息(也可以通过主控制部等进行声音文本变换而得到文本信息)、通过运动传感器部180获取的姿势信息等并记录到存储部150，或通过外部输入输出部160、无线通信部110而输出。
在上述的智能手机101中，图1的图像处理电路32能够通过例如主控制部100、存储部150等来适当实现。
附图标记说明
10…数码相机、12…相机主体、14…透镜单元、20…摄影光学系统、21…变焦透镜、22…聚焦透镜、23…机械快门、24…变焦机构、25…聚焦机构、26…透镜驱动器、27…彩色摄像元件、30…CPU、31…摄像元件驱动器、32…图像处理电路、33…媒体接口、34…压缩扩展处理电路、35…显示控制部、36…操作部、37…存储器、38…存储卡、40…背面LCD、41…混色判定校正部、42…WB校正部、43…信号处理部、44…RGB积算部、45…WB增益计算部、50…像素、51…微透镜、52…滤色器、53…光电二极管、56…普通光、57…异常倾斜入射光、61…混色校正判定部、62…第一混色校正部、63…第二混色校正部、67…延迟处理部、69…减法器、70…乘法器、71…加法器、72…参数获取部、73…混色率设定部、100…主控制部、101…智能手机、102…壳体、110…无线通信部、120…显示输入部、121…显示面板、122…操作面板、130…通话部、131…扬声器、132…麦克风、140…操作部、141…相机部、150…存储部、151…内部存储部、152…外部存储部、160…外部输入输出部、170…GPS接收部、180…运动传感器部、190…电源部。

Claims (14)

1.一种图像处理装置，具备：
异常倾斜入射光检测单元，根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，所述多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；
第一混色校正单元，基于校正对象像素的相邻像素的所述像素数据，对所述校正对象像素的所述像素数据进行第一混色校正；
第二混色校正单元，基于校正对象像素的周边像素的所述像素数据，对所述校正对象像素的所述像素数据进行第二混色校正；及
混色校正判定单元，根据所述异常倾斜入射光检测单元的检测结果，判定由所述第一混色校正单元和所述第二混色校正单元中的哪一个混色校正单元进行所述图像数据的校正，
所述混色校正判定单元进行以下判定：在由所述异常倾斜入射光检测单元未检测到异常倾斜入射光的情况下，由所述第一混色校正单元进行所述校正对象像素的所述像素数据的校正，在由所述异常倾斜入射光检测单元检测出异常倾斜入射光的情况下，由所述第二混色校正单元进行所述校正对象像素的所述像素数据的校正。
2.根据权利要求1所述的图像处理装置，其中，
所述第二混色校正单元将具有与所述校正对象像素同色的滤色器的4个以上的像素作为所述周边像素，对所述校正对象像素的所述像素数据进行所述第二混色校正。
3.根据权利要求1或2所述的图像处理装置，其中，
所述周边像素由相对于所述周边像素而相邻的像素的所述滤色器的种类相互不同的像素构成。
4.根据权利要求1～3中任一项所述的图像处理装置，其中，
所述摄像元件的所述多个像素具有基本排列图案，所述基本排列图案是M像素×N像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与该第一方向垂直的第二方向上排列有多个，
所述周边像素是在包括所述校正对象像素的M像素×N像素的范围内包含的像素并且具有与所述校正对象像素同色的所述滤色器。
5.根据权利要求1～3中任一项所述的图像处理装置，其中，
所述摄像元件的所述多个像素具有基本排列图案，所述基本排列图案是M像素×N像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与该第一方向垂直的第二方向上排列有多个，
所述周边像素是在比包括所述校正对象像素的M像素×N像素的范围大的范围内包含的像素并且具有与所述校正对象像素同色的所述滤色器。
6.根据权利要求1～5中任一项所述的图像处理装置，其中，
所述第二混色校正单元基于从所述校正对象像素和所述周边像素的所述像素数据导出的代表值，进行所述校正对象像素的所述像素数据的所述第二混色校正。
7.根据权利要求6所述的图像处理装置，其中，
所述代表值是所述校正对象像素和所述周边像素的所述像素数据的平均值或加权平均值。
8.根据权利要求6所述的图像处理装置，其中，
所述代表值是所述校正对象像素和所述周边像素的所述像素数据的中位数或众数。
9.根据权利要求1～8中任一项所述的图像处理装置，其中，
所述多个像素包括由包含至少1种以上的颜色的第一颜色的所述滤色器构成的第一色像素及由包含所述第一颜色以外的至少2种以上的颜色的第二颜色的所述滤色器构成的第二色像素，
所述第一色像素具有用于得到亮度信号的贡献率比所述第二色像素的所述滤色器高的颜色的所述滤色器，
所述校正对象像素是所述第一色像素。
10.根据权利要求9所述的图像处理装置，其中，
所述第一色像素具有绿色、透明或白色的滤色器。
11.根据权利要求9或10所述的图像处理装置，其中，
所述摄像元件的所述多个像素具有基本排列图案，所述基本排列图案是M像素×N像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与该第一方向垂直的第二方向上排列有多个，
所述基本排列图案中，相邻像素的滤色器的种类相互不同的所述第一色像素至少包括5个。
12.一种图像处理方法，具备以下步骤：
根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，所述多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；
基于校正对象像素的相邻像素的所述像素数据，进行所述校正对象像素的所述像素数据的第一混色校正；
基于校正对象像素的周边像素的所述像素数据，进行所述校正对象像素的所述像素数据的第二混色校正；及
根据所述异常倾斜入射光检测单元的检测结果，判定通过所述第一混色校正和所述第二混色校正中的哪一个混色校正来进行所述图像数据的校正，
在判定是否进行所述图像数据的校正的所述步骤中，进行以下判定：在检测有无异常倾斜入射光的所述步骤中未检测到异常倾斜入射光的情况下，通过所述第一混色校正来进行所述校正对象像素的所述像素数据的校正，在检测有无异常倾斜入射光的所述步骤中检测出异常倾斜入射光的情况下，通过所述第二混色校正来进行所述校正对象像素的所述像素数据的校正。
13.一种程序，用于使计算机执行以下步骤：
根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，所述多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；
基于校正对象像素的相邻像素的所述像素数据，进行所述校正对象像素的所述像素数据的第一混色校正；
基于校正对象像素的周边像素的所述像素数据，进行所述校正对象像素的所述像素数据的第二混色校正；及
根据所述异常倾斜入射光检测单元的检测结果，判定通过所述第一混色校正和所述第二混色校正中的哪一个混色校正来进行所述图像数据的校正，
在判定是否进行所述图像数据的校正的所述步骤中，进行以下判定：在检测有无异常倾斜入射光的所述步骤中未检测到异常倾斜入射光的情况下，通过所述第一混色校正来进行所述校正对象像素的所述像素数据的校正，在检测有无异常倾斜入射光的所述步骤中检测出异常倾斜入射光的情况下，通过所述第二混色校正来进行所述校正对象像素的所述像素数据的校正。
14.一种记录介质，记录有用于使计算机执行以下步骤的程序的计算机能够读取的代码：
根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，所述多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；
基于校正对象像素的相邻像素的所述像素数据，进行所述校正对象像素的所述像素数据的第一混色校正；
基于校正对象像素的周边像素的所述像素数据，进行所述校正对象像素的所述像素数据的第二混色校正；及
根据所述异常倾斜入射光检测单元的检测结果，判定通过所述第一混色校正及所述第二混色校正中的哪一个混色校正来进行所述图像数据的校正，
在判定是否进行所述图像数据的校正的所述步骤中，进行以下判定：在检测有无异常倾斜入射光的所述步骤中未检测到异常倾斜入射光的情况下，通过所述第一混色校正来进行所述校正对象像素的所述像素数据的校正，在检测有无异常倾斜入射光的所述步骤中检测出异常倾斜入射光的情况下，通过所述第二混色校正来进行所述校正对象像素的所述像素数据的校正。
CN201380063609.7A 2012-12-07 2013-11-11 图像处理装置、图像处理方法、程序及记录介质 Active CN104838646B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012268182 2012-12-07
JP2012-268182 2012-12-07
PCT/JP2013/080411 WO2014087808A1 (ja) 2012-12-07 2013-11-11 画像処理装置、画像処理方法及びプログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN104838646A true CN104838646A (zh) 2015-08-12
CN104838646B CN104838646B (zh) 2016-11-23

Family

ID=50883233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380063609.7A Active CN104838646B (zh) 2012-12-07 2013-11-11 图像处理装置、图像处理方法、程序及记录介质

Country Status (4)

Country Link
US (1) US9369686B2 (zh)
JP (1) JP5778873B2 (zh)
CN (1) CN104838646B (zh)
WO (1) WO2014087808A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050096A (zh) * 2018-10-11 2020-04-21 豪威科技股份有限公司 局部曝光传感器及其操作方法
CN114982219A (zh) * 2020-02-14 2022-08-30 Jvc建伍株式会社 图像处理装置和图像处理方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014087807A1 (ja) * 2012-12-05 2014-06-12 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
CN104995912B (zh) * 2013-03-05 2017-03-08 富士胶片株式会社 摄像装置、图像处理装置及图像处理方法
JP5865555B2 (ja) * 2013-05-13 2016-02-17 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
KR102282457B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
KR102301620B1 (ko) * 2015-02-02 2021-09-14 삼성전자주식회사 빛 샘 보정을 위한 촬영 장치 및 방법
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
US9696470B2 (en) 2015-03-04 2017-07-04 Microsoft Technology Licensing, Llc Sensing images and light sources via visible light filters
KR20160114474A (ko) * 2015-03-24 2016-10-05 (주)실리콘화일 4-컬러 이미지 센서, 4-컬러 이미지 센서의 제조방법 및 이에 따른 4-컬러 이미지 센서
JP2018093257A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 撮像装置
US10079255B1 (en) * 2017-08-04 2018-09-18 GM Global Technology Operations LLC Color filter array apparatus
JP2019041352A (ja) * 2017-08-29 2019-03-14 キヤノン株式会社 撮像装置及び撮像システム
CN108683898B (zh) * 2018-05-31 2020-10-09 歌尔股份有限公司 彩色汇聚误差的修正方法、装置及设备
US11355049B2 (en) * 2019-09-26 2022-06-07 Apple, Inc. Pixel leakage and internal resistance compensation systems and methods
CN113141444B (zh) * 2020-01-19 2023-08-08 Oppo广东移动通信有限公司 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US11394935B2 (en) 2020-06-15 2022-07-19 Samsung Electronics Co., Ltd. Pixel array for reducing image information loss and image sensor including the same
CN116156089B (zh) * 2023-04-21 2023-07-07 摩尔线程智能科技(北京)有限责任公司 处理图像的方法、装置、计算设备和计算机可读存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
DE19616440A1 (de) 1996-04-25 1997-10-30 Eastman Kodak Co Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter
JP2005333251A (ja) 2004-05-18 2005-12-02 Olympus Corp 撮像装置、カメラ及び撮像処理方法
JP4447988B2 (ja) * 2004-08-24 2010-04-07 パナソニック株式会社 固体撮像装置、その製造方法およびカメラ
JP4822683B2 (ja) * 2004-10-08 2011-11-24 パナソニック株式会社 固体撮像装置およびその製造方法
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN101569205B (zh) * 2007-06-15 2012-05-23 松下电器产业株式会社 图像处理装置
WO2009072260A1 (ja) * 2007-12-07 2009-06-11 Panasonic Corporation 画像処理装置および画像処理方法ならびに撮像装置
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP5173493B2 (ja) * 2008-02-29 2013-04-03 キヤノン株式会社 撮像装置及び撮像システム
JP4702384B2 (ja) * 2008-03-26 2011-06-15 ソニー株式会社 固体撮像素子
JP5254762B2 (ja) 2008-11-28 2013-08-07 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置における信号の補正方法
US8619163B2 (en) 2009-09-18 2013-12-31 Canon Kabushiki Kaisha Solid state imaging using a correction parameter for correcting a cross talk between adjacent pixels
JP5436114B2 (ja) * 2009-09-18 2014-03-05 キヤノン株式会社 撮像システム
WO2011042948A1 (ja) * 2009-10-05 2011-04-14 キヤノン株式会社 撮像装置の欠陥検出方法及び撮像装置
CN101704529B (zh) * 2009-11-05 2011-06-22 西北工业大学 两亲性纳米二氧化硅粉体的制备方法以及采用该粉体制备Pickering乳液的方法
JP5523213B2 (ja) * 2010-06-22 2014-06-18 オリンパスイメージング株式会社 撮像装置および撮像方法
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
WO2012117616A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 撮像装置及び欠陥画素補正方法
JP2012182332A (ja) * 2011-03-02 2012-09-20 Sony Corp 撮像素子および撮像装置
EP2645722A4 (en) * 2011-03-11 2014-05-14 Fujifilm Corp IMAGING APPARATUS AND METHOD FOR CONTROLLING THEIR OPERATION
EP2690874A4 (en) * 2011-03-24 2014-09-03 Fujifilm Corp COLOR IMAGE SENSOR, IMAGING DEVICE AND CONTROL PLAN FOR THE IMAGING APPARATUS
CN103444183B (zh) * 2011-03-24 2015-01-28 富士胶片株式会社 彩色摄像元件及摄像装置
JP5935237B2 (ja) * 2011-03-24 2016-06-15 ソニー株式会社 固体撮像装置および電子機器
WO2012147515A1 (ja) * 2011-04-28 2012-11-01 富士フイルム株式会社 撮像装置及び撮像方法
JP5899684B2 (ja) * 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5572765B2 (ja) * 2011-09-29 2014-08-13 富士フイルム株式会社 固体撮像素子、撮像装置、及び合焦制御方法
US9818202B2 (en) * 2011-12-13 2017-11-14 Sony Corporation Object tracking based on distance prediction
EP2833624B1 (en) * 2012-03-28 2016-11-23 FUJIFILM Corporation Solid-state image capture element, image capture device, and solid-state image capture element drive method
CN111711746A (zh) * 2012-03-30 2020-09-25 株式会社尼康 摄像装置以及摄像元件
WO2013183378A1 (ja) * 2012-06-07 2013-12-12 富士フイルム株式会社 撮像装置、画像処理装置、及び画像処理方法
WO2013190899A1 (ja) * 2012-06-19 2013-12-27 富士フイルム株式会社 撮像装置及び自動焦点調節方法
WO2014087807A1 (ja) * 2012-12-05 2014-06-12 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
DE112013006265B4 (de) * 2012-12-28 2020-08-13 Fujifilm Corporation Pixelkorrekturverfahren und Bildaufnahmegerät
CN104995912B (zh) * 2013-03-05 2017-03-08 富士胶片株式会社 摄像装置、图像处理装置及图像处理方法
US9224782B2 (en) * 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
JP6295526B2 (ja) * 2013-07-11 2018-03-20 ソニー株式会社 固体撮像装置および電子機器
JP2015076476A (ja) * 2013-10-08 2015-04-20 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US9432568B2 (en) * 2014-06-30 2016-08-30 Semiconductor Components Industries, Llc Pixel arrangements for image sensors with phase detection pixels
KR20160008364A (ko) * 2014-07-14 2016-01-22 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 영상 촬영 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050096A (zh) * 2018-10-11 2020-04-21 豪威科技股份有限公司 局部曝光传感器及其操作方法
CN111050096B (zh) * 2018-10-11 2021-08-10 豪威科技股份有限公司 局部曝光传感器及其操作方法
CN114982219A (zh) * 2020-02-14 2022-08-30 Jvc建伍株式会社 图像处理装置和图像处理方法
CN114982219B (zh) * 2020-02-14 2023-08-08 Jvc建伍株式会社 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
US20150271461A1 (en) 2015-09-24
JP5778873B2 (ja) 2015-09-16
CN104838646B (zh) 2016-11-23
WO2014087808A1 (ja) 2014-06-12
US9369686B2 (en) 2016-06-14
JPWO2014087808A1 (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
CN104838646A (zh) 图像处理装置、图像处理方法、程序及记录介质
US9363491B2 (en) Imaging device, image processing device, image processing method and program
US9380230B2 (en) Image capture device, anomalous oblique incident light detection method, and recording medium
CN104221369B (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN104380168A (zh) 摄像装置及自动调焦方法
US9350962B2 (en) Image processing device, imaging apparatus, computer, image processing method, and non-transitory computer readable medium
CN104823094A (zh) 摄像装置及对焦控制方法
WO2013168493A1 (ja) 信号処理装置、撮像装置、信号補正方法
US9877004B2 (en) Color-mixture-ratio calculation device and method, and imaging device
JP5749409B2 (ja) 撮像装置、画像処理方法及びプログラム
CN104871526A (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序
CN107005626A (zh) 摄像装置及其控制方法
CN104335571A (zh) 图像处理装置、摄像装置、计算机、图像处理方法及程序
US9270955B2 (en) Imaging apparatus that generates three-layer color data on the basis of a first mosaic image
WO2020021887A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant