CN104995912B - 摄像装置、图像处理装置及图像处理方法 - Google Patents

摄像装置、图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN104995912B
CN104995912B CN201480007868.2A CN201480007868A CN104995912B CN 104995912 B CN104995912 B CN 104995912B CN 201480007868 A CN201480007868 A CN 201480007868A CN 104995912 B CN104995912 B CN 104995912B
Authority
CN
China
Prior art keywords
pixel
color
judgement
incident illumination
abnormal dip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480007868.2A
Other languages
English (en)
Other versions
CN104995912A (zh
Inventor
河合智行
林健吉
仓桥秀和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104995912A publication Critical patent/CN104995912A/zh
Application granted granted Critical
Publication of CN104995912B publication Critical patent/CN104995912B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供一种即使摄像元件具有复杂的滤色器排列时也能够简单地检测异常倾斜入射光的入射的有无及入射方向的摄像装置、图像处理装置、图像处理方法及程序。构成摄像元件的像素包含相邻像素的滤色器图案互不相同的至少4种判定用像素。相对于各个判定用像素相邻的像素中的至少一个为具有第1颜色的滤色器的第1颜色像素。并且，相对于各个判定用像素的相邻像素中，隔着判定用像素配置于与第1颜色像素对置的位置的像素具有第1颜色的滤色器以外的滤色器。根据这些每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。

Description

摄像装置、图像处理装置及图像处理方法
技术领域
本发明涉及一种摄像装置、图像处理装置、图像处理方法及程序，尤其涉及一种异常倾斜入射光的检测技术。
背景技术
通常，具有马赛克状的滤色器排列的单板式摄像元件中，产生来自相邻像素的光的泄漏引起的混色。若对混色的影响较大的RGB的颜色信号进行数字信号处理来生成图像，则图像的颜色再现性(画质)下降，并且很难从混色的影响较大的RGB的颜色信号精确度良好地计算白平衡(WB)校正用WB增益。
通过数码摄像机等摄像装置拍摄被摄体图像时，若较强的光入射到透镜，则在摄像透镜或微透镜等的表面反射的光在透镜内部或摄像机内部复杂地反射，有时以非预期的角度行进的光被摄像元件接收。如此，从非预期的角度入射到摄像元件的异常倾斜入射光引起所谓的重影或闪光等现象，使摄像图像的画质劣化。
尤其，异常倾斜入射光的入射角度较大时，有时入射有异常倾斜入射光的滤色器所构成的像素与接收异常倾斜入射光的光电二极管所构成的像素不对应。异常倾斜入射光所通过的滤色器、与实际上接收该异常倾斜入射光的光电二极管并不完全对应时，产生混色现象，导致摄像图像的颜色再现性的劣化。该混色现象尤其易被包含长波长成分(例如红色光成分)的异常倾斜入射光引起。
作为减轻混色的影响的方法，提出有检测重影等的产生部位来校正像素之间的像素数据输出差(高低差)的技术。例如，专利文献1中公开有如下技术，即，在拜耳排列中，按每个规定区域求出Gr/Gb的平均像素值，对相对差量值与阈值的比较累计值进行计数，从而检测有无高低差。
并且，专利文献2中公开有在拜耳排列中利用基准图案并以MCU单位(8线×16像素)检测噪声的技术。根据该专利文献2的技术，颜色噪声判定用的 基准图案100P(5×5像素)得到保持，通过与该基准图案100P之间的匹配来检测颜色噪声。
并且，专利文献3公开将图像区域分割为块单位并对重影检测块位置进行确定，从而进行重影校正的技术。
以往技术文献
专利文献
专利文献1：日本特开2012－009919号公报
专利文献2：日本特开2005－333251号公报
专利文献3：日本特开2008－054206号公报
发明的概要
发明要解决的技术课题
以往，一直以来使用的摄像元件通常具有比较简单的滤色器排列。例如，广泛使用的拜耳排列中，由相邻配置的“R像素及G像素”及“G像素及B像素”构成的2像素(水平方向)×2像素(垂直方向)的共计4像素沿水平方向及垂直方向重复配置，由此构成滤色器排列。
具有这种简单的滤色器排列的摄像元件中，混色现象也比较单纯，因此能够通过比较简单的混色校正在图像数据上降低混色的影响。
然而，最近还使用具有比较复杂的滤色器排列的摄像元件，即使是具有相同颜色的滤色器的像素之间也会大量存在相邻的像素(滤色器)的种类不同的像素。例如，具有绿色滤色器的像素(G像素)在拜耳排列中通过相邻的像素类型(滤色器类型)分类为2种，但在复杂的滤色器排列中分类为很多种(例如10种以上)。
混色的影响根据相邻像素的种类而发生变动，因此即使是具有相同颜色的滤色器的像素，也优选进行与相邻像素(滤色器)的种类相应的混色校正。
然而，在具有复杂的滤色器排列的摄像元件中，混色现象也复杂化，即使是原本输出相同或近似的像素数据的接近相同颜色像素，由于混色现象，从接近相同颜色像素输出与相邻像素的滤色器的种类相应的不同像素数据。
尤其，若如重影光那样不同于普通光的入射角的光(异常倾斜入射光)射入到摄像元件，则由于通过相邻像素的滤色器的重影光的泄漏，在接近相同颜色像素之间产生像素数据的不自然的差异(相同颜色高低差)。即使是相同颜色像素，基于相邻像素类型的种类越多，该高低差现象越复杂化。以通常的混色校正无法充分校正在具有复杂的滤色器排列的摄像元件中通过重影光的入射而产生的复杂的混色现象。
从具有这种复杂的滤色器排列的摄像元件输出的图像数据中，为了减轻重影光等的异常倾斜入射光带来的混色现象的影响，准确掌握异常倾斜入射光的入射的有无、入射方向等是至关重要的。
本发明是鉴于上述情况而完成的，其目的在于提供一种即使摄像元件具有复杂的滤色器排列时也能够简单地检测异常倾斜入射光的入射的有无及入射方向的技术。
用于解决技术课题的手段
本发明的一方式涉及一种摄像装置，其具备：摄像元件，具有沿第1方向及与第1方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管；及异常倾斜入射光检测构件，根据像素数据检测入射到摄像元件的异常倾斜入射光，其中，多个像素包含沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少1个为具有第1颜色的滤色器的第1颜色像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第1颜色像素对置的位置的像素具有第1颜色的滤色器以外的滤色器，异常倾斜入射光检测构件根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
根据本方式，能够根据摄像元件的区域内的每一种判定用像素的像素数据的平均值检测入射到摄像元件的异常倾斜入射光。尤其，即使摄像元件具有复 杂的滤色器排列，包含满足上述条件的判定用像素时，能够根据从摄像元件输出的图像数据简单地检测异常倾斜入射光的有无及入射方向。
在此所说的“异常倾斜入射光”是表示以不同于与被摄体图像相关的通常的入射光的角度入射到像素(光电二极管)的光成分，且表示所通过的滤色器与接收光的光电二极管不构成相同像素的光成分。因此，成为所谓的重影或闪光等现象的主要原因的光成分有可能包含于在此所说的异常倾斜入射光。
“摄像元件内的区域”是摄像元件的任意区域，可将摄像元件的像素区域的一部分或全部设定为“摄像元件内的区域”。另外，在此所说的“摄像元件内的区域”可以是预先规定的规定区域，但不限定于固定区域、已设定的区域，也可以是未预先设定的可变区域。因此，例如存在如相同颜色高低差易引人注目的低对比度的平坦区域、脸部检测的区域等区域那样优先进行异常倾斜入射光的检测的区域时，还可考虑根据优先度将上述“摄像元件内的区域”设为可变的方式。
优选异常倾斜入射光检测构件根据区域内的每一种判定用像素的像素数据的平均值检测入射到摄像元件的异常倾斜入射光的入射方向。
根据本方式，能够根据判定用像素的像素数据检测异常倾斜入射光的入射方向。
优选还具备存储构件，该存储构件存储将与相对于摄像元件的异常倾斜入射光的入射相关的信息、与基于区域内的每一种判定用像素的像素数据的平均值的数据图案建立对应关系的判别表，异常倾斜入射光检测构件参考判别表检测入射到摄像元件的异常倾斜入射光。
根据本方式，能够参考判别表简单地检测异常倾斜入射光。
另外，“基于区域内的每一种判定用像素的像素数据的平均值的数据图案”可以是每一种判定用像素的像素数据的平均值本身的数据图案，也可以是基于从这种平均值导出的其他基准的数据图案。
优选判别表中的与相对于摄像元件的异常倾斜入射光的入射相关的信息是按异常倾斜入射光的每种颜色而确定的，异常倾斜入射光检测构件根据摄像元件的区域内的每种颜色的滤色器的像素数据检测异常倾斜入射光的颜色种类，参考与检测出的异常倾斜入射光的颜色种类相对应的判别表检测入射到摄像元件的异常倾斜入射光。
根据本方式，能够参考与所检测的异常倾斜入射光的颜色种类相对应的判别表精确度良好地检测检测对象的异常倾斜入射光。
优选判别表中，将以至少4种判定用像素中的每一种类的像素数据的平均值的总计的平均值或以至少4种判定用像素中的每一种类的像素数据的平均值的中央值为基准的表示至少4种判定用像素中的每一种类的像素数据的比例的数据图案、及与相对于摄像元件的异常倾斜入射光的入射相关的信息建立对应关系。
根据本方式，能够从每一种判定用像素的像素数据的比例简单且准确地获取与异常倾斜入射光的入射相关的信息，并能够简化异常倾斜入射光的检测所需的存储器和电路。
优选判别表中，将基于至少4种判定用像素中的每一种类的像素数据的平均值的大小的顺序、及与相对于摄像元件的异常倾斜入射光的入射相关的信息建立对应关系，异常倾斜入射光检测构件根据区域内的至少4种判定用像素中的每一种类的像素数据的平均值对至少4种判定用像素分配顺序，并参考判别表检测入射到摄像元件的异常倾斜入射光。
根据本方式，能够由基于每一种判定用像素的像素数据的平均值的大小的顺序简单且准确地获取与异常倾斜入射光的入射相关的信息，并能够简化将异常倾斜入射光的检测所需的存储器和电路。
优选多个像素至少包含具有第1颜色种类的滤色器的像素、具有第2颜色种类的滤色器的像素、及具有第3颜色种类的滤色器的像素，异常倾斜入射光检测构件将第1颜色种类的滤色器、第2颜色种类的滤色器及第3颜色种类的滤色器中与检测出的异常倾斜入射光的颜色种类相对应的颜色种类的滤色器作为第1颜色的滤色器，确定至少4种判定用像素。
根据本方式，能够从具有第1颜色种类的滤色器的像素、具有第2颜色种类的滤色器的像素及具有第3颜色种类的滤色器的像素中适当地确定判定用像素。例如，摄像元件的构成像素具有RGB(红、绿、蓝)的滤色器时，能够检测红色异常倾斜入射光、绿色异常倾斜入射光及蓝色异常倾斜入射光中的至少任一个。
优选异常倾斜入射光检测构件判定为，在摄像元件的区域内，与具有第1颜色种类的滤色器的像素的像素数据的平均值的X倍的值(0＜X≤1)、具有第2 颜色种类的滤色器的像素的像素数据的平均值的Y倍的值(0＜Y≤1)、及具有第3颜色种类的滤色器的像素的像素数据的平均值的Z倍的值(0＜Z≤1)中表示为最大值的颜色种类的滤色器相对应的颜色种类的异常倾斜入射光入射到摄像元件。
根据本方式，通过适当设定X、Y、Z，能够优先检测所希望的颜色种类的异常倾斜入射光。
优选还具备校正构件，所述校正构件根据异常倾斜入射光检测构件的检测结果，对具有检测出异常倾斜入射光的光电二极管的像素的像素数据进行校正。
根据本方式，能够对具有检测出异常倾斜入射光的光电二极管的像素的像素数据进行校正，能够有效地去除异常倾斜入射光引起的混色的影响。例如，虽然存在微弱地入射(弱入射)有异常倾斜入射光的区域，但由于实际使用的设备的能力等，无法检测这种弱入射有异常倾斜入射光的区域时(摄像图像上稍微残留有异常倾斜入射光的影响时)，也可包含于本方式的适用范围。
基于校正构件的校正方法并无特别限定，能够采用对降低或去除异常倾斜入射光引起的混色的影响有效的任意的校正方法。例如，能够采用从对应的像素数据去除异常倾斜入射光引起的混色量的校正方法，或采用消除通过异常倾斜入射光产生的接近的相同颜色像素之间的像素数据的差异(像素数据高低差)的校正方法。
优选区域为包含所有摄像元件的多个像素的区域。
根据本方式，将包含所有摄像元件的构成像素的区域设定为单一“区域”。因此，计算每一种判定用像素的像素数据的平均值时，能够从多个像素数据计算像素数据平均值，因此异常倾斜入射光的检测精确度得到提高。
优选区域为将摄像元件分割为多个区域的多个分割区域中的每一个。
根据本方式，多个分割区域中的各区域设定为“区域”，因此能够在被限定的区域内进行异常倾斜入射光的检测，并能够详细地确定受到异常倾斜入射光的影响的像素区域。
优选多个分割区域包含所有摄像元件的多个像素。
根据本方式，所有摄像元件的构成像素被分配于分割区域，因此能够相对于摄像元件的所有构成像素精确度良好地进行异常倾斜入射光的检测。
优选摄像元件中，设定有多个第1分割区域，并且设定有具有与该第1分割区域不同的分割方式的多个第2分割区域，多个第1分割区域与多个第2分割区域至少局部重叠，多个像素包含分类到第1分割区域中的任一个中且分类到第2分割区域中的任一个中的像素，异常倾斜入射光检测构件根据各个第1分割区域中的每一种判定用像素的像素数据的平均值检测入射到各个第1分割区域的异常倾斜入射光，根据各个第2分割区域中的每一种判定用像素的像素数据的平均值检测入射到各个第2分割区域的异常倾斜入射光，根据入射到各个第1分割区域的异常倾斜入射光的检测结果及入射到各个第2分割区域的异常倾斜入射光的检测结果，检测入射到各个第1分割区域与各个第2分割区域重叠的区域的异常倾斜入射光。
根据本方式，能够在第1分割区域与第2分割区域的重叠区域精确度良好地检测异常倾斜入射光，并能够更准确地确定产生有异常倾斜入射光引起的重影等混色的区域。
优选各个第2分割区域与2个以上的第1分割区域重叠。
根据本方式，第1分割区域与第2分割区域的重叠区域比第1分割区域及第2分割区域的各个区域更受限，因此能够在更具体的区域检测异常倾斜入射光。
优选各个所述第1分割区域与各个第2分割区域具有相同形状及尺寸，第1分割区域与第2分割区域设定成在第1方向及第2方向中的至少一个方向上偏离第1分割区域的大小的一半。
根据本方式，能够规则地配置第1分割区域与第2分割区域的重叠区域，并能够遍及较宽的范围而详细地确定受到异常倾斜入射光的影响的像素区域。
优选多个像素包含具有规定的滤色器排列图案的多个基本排列像素群而且是沿第1方向及第2方向并置的多个基本排列像素群，多个基本排列像素群中的每一个包含至少1组以上的至少4种判定用像素组。
根据本方式，周期性地配置有判定用像素，能够精确度良好地计算每一种判定用像素的像素数据的平均值。尤其，各基本排列像素群包含多个判定用像素组时，通过组合多组这些判定用像素，能够提高异常倾斜入射光的检测精确度。
优选至少4种判定用像素由第1判定用像素、第2判定用像素、第3判定 用像素及第4判定用像素构成，相对于第1判定用像素，第1颜色的像素沿第1方向的正方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的负方向、第2方向的正方向及第2方向的负方向相邻，相对于第2判定用像素，第1颜色的像素沿第1方向的负方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的正方向、第2方向的正方向及第2方向的负方向相邻，相对于第3判定用像素，第1颜色的像素沿第2方向的正方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的正方向、第1方向的负方向及第2方向的负方向相邻，相对于第4判定用像素，第1颜色的像素沿第2方向的负方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的正方向、第1方向的负方向及第2方向的正方向相邻。
根据本方式的判定用像素，能够根据像素数据检测异常倾斜入射光。
优选至少4种判定用像素由第1判定用像素、第2判定用像素、第3判定用像素及第4判定用像素构成，相对于第1判定用像素，第1颜色的像素沿第1方向的正方向及第2方向的正方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的负方向及第2方向的负方向相邻，相对于第2判定用像素，第1颜色的像素沿第1方向的负方向及第2方向的正方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的正方向及第2方向的负方向相邻，相对于第3判定用像素，第1颜色的像素沿第1方向的正方向及第2方向的负方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的负方向及第2方向的正方向相邻，相对于第4判定用像素，第1颜色的像素沿第1方向的负方向及第2方向的负方向相邻，具有第1颜色的滤色器以外的滤色器的像素沿第1方向的正方向及第2方向的正方向相邻。
根据本方式的判定用像素，能够根据像素数据检测异常倾斜入射光。
优选第1颜色的滤色器为红色滤波器、透明滤波器及白色滤波器中的任一个。
根据本方式，能够检测包含易引起混色现象的长波长成分的异常倾斜入射光。
优选各个基本排列像素群包含在第1方向及第2方向上具有3像素×3像素的像素排列的2组第1子排列像素群及2组第2子排列像素群，第1子排列像素群在第1方向及第2方向上与第2子排列像素群相邻，第2子排列像素群 在第1方向及第2方向上与第1子排列像素群相邻，第1子排列像素群包含：配置于中央及四角的具有第2颜色的滤色器的第2颜色像素、配置于沿第1方向的正方向及负方向与中央的像素相邻的位置的第1颜色像素、及配置于沿第2方向的正方向及负方向与中央的像素相邻的位置的具有第3颜色的滤色器的第3颜色像素，第2子排列像素群包含：配置于中央及四角的第2颜色像素、配置于沿第2方向的正方向及负方向与中央的像素相邻的位置的第1颜色像素、及配置于沿第1方向的正方向及负方向与中央的像素相邻的位置的第3颜色像素，由配置于第1子排列像素群的四角的像素中配置于一个对角方向的2像素与配置于第2子排列像素群的四角的像素中配置于另一个对角方向的2像素构成判定用像素。
即使摄像元件具有本方式的复杂的滤色器排列时，也能够根据判定用像素的像素数据检测异常倾斜入射光。
本发明的另一方式为一种图像处理装置，其具备异常倾斜入射光检测构件，所述异常倾斜入射光检测构件检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过滤色器的光而输出像素数据的光电二极管，其中，多个像素包含沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少1个为具有第1颜色的滤色器的第1颜色像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第1颜色像素对置的位置的像素为具有第1颜色的滤色器以外的滤色器的像素，异常倾斜入射光检测构件根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
本发明的另一方式涉及一种图像处理方法，其具备异常倾斜入射光检测步骤，所述异常倾斜入射光检测步骤中，检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过滤色器的光而输出像素数据的光电 二极管，其中，多个像素包含沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少1个为具有第1颜色的滤色器的第1颜色像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第1颜色像素对置的位置的像素为具有第1颜色的滤色器以外的滤色器的像素，异常倾斜入射光检测步骤中，根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
本发明的另一方式为一种程序，其用于使计算机执行如下步骤，该步骤检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第1方向及与第1方向垂直的第2方向排列的多个像素，多个像素分别具有滤色器及接收透过滤色器的光而输出像素数据的光电二极管，其中，多个像素包含沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中的至少1个为具有第1颜色的滤色器的第1颜色像素，相对于各个判定用像素，沿第1方向的正方向及负方向相邻的像素以及沿第2方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与第1颜色像素对置的位置的像素为具有第1颜色的滤色器以外的滤色器的像素，程序用于使计算机执行如下步骤，即，根据摄像元件内的区域而且是包含多个各种判定用像素的区域内的每一种判定用像素的像素数据的平均值，检测入射到摄像元件的异常倾斜入射光。
发明效果
根据本发明，能够根据摄像元件的区域内的每一种判定用像素的像素数据的平均值简单地检测入射到摄像元件的异常倾斜入射光。
附图说明
图1是表示数码摄像机的一结构例的框图。
图2是表示摄像元件的滤色器(像素)的一例的俯视图,图2A表示共排列4个基本排列图案的状态，图2B是基本排列图案的放大图。
图3是图像处理电路的功能框图。
图4是说明由异常倾斜入射光引起的混色现象的机理的示意性剖视图，图4A表示G像素、R像素及G像素的相邻配置例，图4B表示G像素、B像素及G像素的相邻配置例。
图5是表示异常倾斜入射光入射到图2的摄像元件时，从基本排列图案中包含的G像素输出的像素数据的一例的曲线图。
图6是表示混色判定校正部的异常倾斜入射光的检测所涉及的功能结构的框图。
图7表示异常倾斜入射光的检测及混色校正所涉及的流程图的一例。
图8是说明异常倾斜入射光的检测方法的基本原理的一例的图，图8A～图8D表示G像素及R像素的各种配置图案。
图9是表示具有图8所示的各种配置图案的G像素(判定用像素)的像素数据输出与红色异常倾斜入射光的关系的表。
图10A～图10D是表示从水平方向的正方向侧向负方向侧入射有红色异常倾斜入射光时的相对于判定用像素的红色异常倾斜入射光的影响的大小的图。
图11是说明异常倾斜入射光的检测方法的基本原理的另一例的图，图11A～图11D表示G像素及R像素的各种配置图案。
图12是表示具有图11所示的各种配置图案的G像素(判定用像素)的像素数据输出与红色异常倾斜入射光的关系的表。
图13表示强调显示G像素及R像素的配置图案的图2的基本排列图案的俯视图。
图14是表示摄像元件的区域分割例的示意图。
图15是表示利用判定用像素的像素数据的红色异常倾斜入射光的有无、入射方向及强度的检测方法的一例的图。
图16是表示利用判定用像素的像素数据的红色异常倾斜入射光的有无、入射方向及强度的检测方法的另一例的图。
图17是表示利用判定用像素的像素数据的红色异常倾斜入射光的有无、入射方向及强度的检测方法的另一例的图。
图18是表示异常倾斜入射光检测部的功能结构的一例的框图。
图19是表示异常倾斜入射光的颜色种类判定的一例的流程图。
图20是表示相对于图2的摄像元件的异常倾斜入射光的检测中使用的判别表的一例的图。
图21是表示异常倾斜入射光的颜色种类判定的另一例的流程图。
图22A～图22D是表示蓝色异常倾斜入射光的检测中使用的判定用像素的一例的图，图22E～图22H是表示绿色异常倾斜入射光的检测中使用的判定用像素的一例的图。
图23是表示将摄像元件的构成像素重叠地分割为分割区域A及分割区域B的例子的图，图23A是表示分割区域A及分割区域B的应用状态的摄像元件的俯视图，图23B表示分割区域A的区域分割例，图23C表示分割区域B的区域分割例。
图24是图23A所示的“C”部分(区域B11)的放大图。
图25是表示其他滤色器排列例的摄像元件的俯视图。
图26是表示其他滤色器排列例的摄像元件的俯视图。
图27A～图27D是表示其他滤色器排列例的摄像元件的俯视图。
图28A～图28D是表示其他滤色器排列例的摄像元件的俯视图。
图29是智能手机的外观图。
图30是表示智能手机的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。
图1是表示数码摄像机10的一结构例的框图。本例中，对图1所示的结构中透镜单元14及透镜驱动器26以外的各部分设置于摄像机主体12的例进行说明，但可根据需要将各部分设置于透镜单元14。
数码摄像机(摄像装置)10具备摄像机主体12及以能够更换的方式安装于摄像机主体12的前面的透镜单元14。
透镜单元14具备摄影光学系统20，该摄影光学系统20包含变焦透镜21、聚焦透镜22、机械快门23等。变焦透镜21及聚焦透镜22分别通过变焦机构24及聚焦机构25驱动，沿着摄影光学系统20的光轴O1移动。变焦机构24及聚焦机构25由齿轮或马达等构成。
机械快门23具有在阻止被摄体光向摄像元件27的入射的封闭位置与容许被摄体光的入射的开放位置之间移动的可动部(省略图示)。通过使可动部移动到开放位置/封闭位置，打开/关闭从摄影光学系统20至摄像元件27的光路。并且，机械快门23中包含控制入射到摄像元件27的被摄体光的光量的光圈。机械快门23、变焦机构24及聚焦机构25经由透镜驱动器26通过CPU30被驱动控制。
设置于摄像机主体12的CPU30根据来自操作部36的控制信号依次执行从存储器37读出的各种程序和数据，统一控制数码摄像机10的各部分。存储器37的RAM区域作为用于CPU30执行处理的工件存储器或各种数据的临时保管目的地来发挥作用。
操作部36包含由用户操作的按钮、键、触控面板及与这些类似的部件。例如，设置于摄像机主体12并由用户操作的电源开关、快门按钮、聚焦模式切换杆、聚焦环、模式切换按钮、十字选择键、执行键、后退按钮等可包含于操作部36。
摄像元件27将通过摄影光学系统20及机械快门23的被摄体光转换为电输出信号来输出。该摄像元件27具有多个像素沿水平方向(第1方向)及与该水平方向垂直的垂直方向(第2方向)并置的单板式像素排列，可采用CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semicondu ctor)等任意方式。以下内容中，对构成摄像元件27的多个像素由CMOS构成的例子进行说明。
对于构成摄像元件27的各像素的详细内容，将进行后述，其具有提高聚光率的微透镜、RGB的滤色器、微透镜及接收透过滤色器的光并输出像素数据的光电二极管(光电转换元件)。
摄像元件驱动器31在CPU30的控制下驱动控制摄像元件27，从摄像元件27的像素向图像处理电路(图像处理装置)32输出摄像信号(图像数据)。
图像处理电路32对所接收的摄像信号(图像数据)实施灰度转换、白平衡校正、γ校正处理等各种图像处理来生成摄影图像数据。对图像处理电路32的详细内容将进行后述，其具有检测重影光等异常倾斜入射光并进行校正处理的混色判定校正部。
当由用户按压操作快门按钮时，压缩伸长处理电路34对存储于存储器37的VRAM区域的摄影图像数据实施压缩处理。另外，RAW数据获取模式中，可以不进行基于压缩伸长处理电路34的压缩处理。并且，压缩伸长处理电路34对经由媒体界面33从存储卡38获得的压缩图像数据实施压缩伸长处理。媒体界面33进行相对于存储卡38的摄像图像数据的记录及读出。
显示控制部35进行如下控制，即该控制在摄像模式时对EVF(电动取景器)39及背面LCD(背面液晶)40的至少一个显示通过图像处理电路32生成的实时取景图像(即时预览图像)的控制。并且，在图像再生模式时，显示控制部35向背面LCD40(和/或EVF39)输出通过压缩伸长处理电路34伸长的摄像图像数据。
数码摄像机10(摄像机主体12)上可设置有除上述以外的其他处理电路等，例如设置有自动聚焦用AF检测电路和自动曝光调节用AE检测电路。CPU30通过根据AF检测电路的检测结果经由透镜驱动器26及聚焦机构25驱动聚焦透镜22来执行AF处理，并且通过根据AE检测电路的检测结果经由透镜驱动器26驱动机械快门23来执行AE处理。
＜滤色器排列＞
图2是表示摄像元件27的滤色器(像素)的一例的俯视图，图2A表示沿水平方向及垂直方向共排列4个具有规定的滤色器排列图案的基本排列图案(基本排列像素群)P的状态，图2B是1个基本排列图案P的放大图。图2中，“R”表示红色(红)滤色器(第1颜色种类的滤色器；R像素)，“G”(包含G1～G20)表示绿色(绿)滤色器(第2颜色种类的滤色器；G像素)，“B”表示蓝色(蓝)滤色器(第3颜色种类的滤色器；B像素)。
本例的摄像元件27的滤色器具有由与M×N(6×6)像素对应的正方排列图案构成的基本排列图案P，该基本排列图案P沿水平方向及垂直方向反复并置多个而构成摄像元件27的多个像素。因此，进行从摄像元件27读出的RGB 的马赛克图像数据(RAW数据)的图像处理时，能够根据以基本排列图案P为基准的重复图案进行处理。
各基本排列图案P通过图2B所示的具有3像素(水平方向)×3像素(垂直方向)的像素排列的第1子排列(第1子排列像素群)、与具有3像素(水平方向)×3像素(垂直方向)的像素排列的第2子排列(第2子排列像素群)沿水平方向及垂直方向交替排列而构成。因此，第1子排列在水平方向及垂直方向上与第2子排列相邻，第2子排列在水平方向及垂直方向上与第1子排列相邻。
第1子排列包含配置于中央及四角的G像素、配置于沿水平方向的正方向及负方向(图2中为左右方向)与中央的G像素相邻的位置的R像素、及配置于沿垂直方向的正方向及负方向(图2中为上下方向)与中央的G像素相邻的位置的B像素。另一方面，第2子排列包含配置于中央及四角的G像素、配置于沿垂直方向的正方向及负方向(图2中为上下方向)与中央的G像素相邻的位置的R像素、及配置于沿水平方向的正方向及负方向(图2中为右左方向)与中央的G像素相邻的位置的B像素。因此，在第1子排列与第2子排列之间，R滤波器与B滤波器的位置关系逆转，但G滤波器的配置相同。
第1子排列与第2子排列的四角的G滤波器通过第1子排列与第2子排列沿水平方向及垂直方向交替配置，构成与2像素(水平方向)×2像素(垂直方向)对应的正方排列的G滤波器群。即，通过配置于第1子排列的四角的像素中配置于一个对角方向的二像素、及配置于第2子排列的四角的像素中配置于另一对角方向的二像素构成正方排列的G像素群。另外，能够将该正方排列的G像素群中包含的G像素用作后述的“用于检测异常倾斜入射光的判定用像素”。
该滤色器排列中，与通常最有助于获得亮度信号的颜色(本例中为G色)对应的G滤波器在滤色器排列的水平、垂直、倾斜右上、及倾斜左上方向的各线内配置有1个以上。根据该滤色器排列，与亮度系像素对应的G滤波器配置于滤色器排列的水平、垂直、及倾斜方向的各线内，因此与成为高频的方向无关地，高频区域内的去马赛克处理的再现精确度得到提高。
另外，例如单位滤色器(单位像素)为正方形时，倾斜右上及倾斜右下方向成为相对于水平方向及垂直方向呈45°的方向。并且，单位滤色器为长方形 时，倾斜右上及倾斜右下方向成为该长方形的对角线方向，相对于水平方向及垂直方向的倾斜右上及倾斜右下方向的角度可根据长方形的长边及短边的长度而改变。
图2所示的滤色器排列中，与上述G色以外的2色以上的其他颜色(本例中为R及B)对应的R滤波器及B滤波器分别在基本排列图案P的水平方向及垂直方向的各线内配置有1个以上。如此，通过R滤波器及B滤波器配置于滤色器排列的水平方向及垂直方向的各线内，能够减少假彩色(颜色云纹)的产生，并能够省略用于抑制假彩色的产生的光学低通滤波器。另外，配置光学低通滤波器时，采用本例的滤色器排列时，使用截断用于防止假彩色的产生的高频成分的动作较弱的滤波器来防止分辨率的损失。
并且，各基本排列图案P中，与R滤波器、G滤波器及B滤波器对应的R像素、G像素及B像素的像素数分别成为8像素、20像素(参考图2B的“G1”～“G20”)及8像素。即，R像素、G像素及B像素的像素数的比例成为2：5：2，最有助于获得亮度信号的G像素的像素数的比例高于R像素及B像素的像素数的比例。如此，G像素的像素数与R像素及B像素的像素数的比例不同，将尤其有助于获得亮度信号的G像素的像素数的比例设为大于R像素及B像素的像素数的比例，由此能够抑制去马赛克处理(Demosaic处理)中的混叠，并且还能够改善高频再现性。
以下，将图2所示的滤色器排列(像素排列)还称作“X-Trans(注册商标)”。
＜图像处理＞
图3是图像处理电路32(参考图1)的功能框图。
图像处理电路32包含混色判定校正部41、白平衡校正部(WB校正部)42、进行γ校正、去马赛克处理、RGB/YC转换等信号处理的信号处理部43、RGB积算部44、及白平衡增益计算部(WB增益计算部)45。
图像处理电路32中输入有马赛克图像数据(RAW数据：RGB的颜色信号)。图像处理电路32中也可从摄像元件27直接输入有马赛克图像数据。并且，可将从摄像元件27输出的马赛克图像数据临时存储于存储器(图1的存储器37等)，并从该存储器向图像处理电路32输入马赛克图像数据。
输入至图像处理电路32的马赛克图像数据输入至混色判定校正部41。混色判定校正部41根据被输入的马赛克图像数据进行异常倾斜入射光的检测，进行减轻、消除由异常倾斜入射光带来的混色现象的影响(像素数据高低差)的像素数据校正。
通过混色判定校正部41进行了像素数据校正的马赛克图像的各像素的颜色信号输入至WB校正部42及RGB积算部44。
RGB积算部44按将1个画面分割为8×8或16×16等的分割区域的每个分割区域计算RGB的每一颜色信号的积算平均值，并计算由每一RGB的积算平均值的比(R/G、B/G)构成的颜色信息。例如，将1个画面分割为8×8的64个分割区域时，RGB积算部44计算64个颜色信息(R/G、B/G)。
WB增益计算部45根据从RGB积算部44输入的每一分割区域的颜色信息(R/G、B/G)计算WB增益。具体而言，WB增益计算部45计算与64个分割区域的每一个相关的颜色信息的、R/G、B/G轴坐标的颜色空间上的分布重心位置，从该重心位置所示的颜色信息推断环境光的色温。另外，可代替色温，求出具有该重心位置所示的颜色信息的光源种类，例如，晴空、阴凉、晴朗、荧光灯(昼光色、日光色、白色、暖白色)、钨、低钨等，由此推断摄像时的光源种类(参考日本特开2007－53499)，并且可从所推断的光源种类推断色温。
WB增益计算部45中，与环境光的色温或光源种类对应地，预先准备(存储保持)有用于进行适当的白平衡校正的每一RGB或每一RB的WB增益。WB增益计算部45根据所推断的环境光的色温或光源种类读出所对应的每一RGB或每一RB的WB增益，并向WB校正部42输出该读出的WB增益。
WB校正部42相对于从混色判定校正部41输入的R、G、B的颜色信号的每一个乘以从WB增益计算部45输入的每一颜色的WB增益，由此进行白平衡校正。
从WB校正部42输出的R、G、B的颜色信号输入至信号处理部43。信号处理部43进行γ校正、对伴随摄像元件27的滤色器排列的R、G、B的颜色信号的空间性偏离进行插值来同时性地转换R、G、B的颜色信号的去马赛克处理(demosaic处理)、及将已去马赛克处理的R、G、B的颜色信号转换为亮度信号Y及色差信号Cr、Cb的RGB/YC转换等信号处理，并输出已信号处理的亮度 信号Y及色差信号Cr、Cb。另外，由用户选择RAW数据输出模式时，可跳过上述的去马赛克处理及RGB/YC转换处理，从图像处理电路32输出RAW数据(马赛克图像数据)。
从图像处理电路32输出的亮度数据Y及色差数据Cr、Cb被压缩处理之后，记录到内部存储器(存储器37)或外部存储器(存储卡38)。
＜异常倾斜入射光引起的混色现象＞
图4是说明异常倾斜入射光(重影光等)引起的混色现象的机理的示意剖视图，图4A表示G像素、R像素及G像素的相邻配置例，图4B表示G像素、B像素及G像素的相邻配置例。
构成本例的摄像元件27的多个像素50包含由绿色滤色器构成的G(绿)像素50G、由红色滤波器构成的R(红)像素50R、及由蓝色滤色器构成的B(蓝)像素(第3颜色的像素)50B。G像素50G对获得亮度信号的贡献率高于R像素50R及B像素50B，例如能够通过以下公式获得亮度数据(亮度信号)Y。
Y(亮度数据)＝(0.3×R像素数据+0.6×G像素数据+0.1×B像素数据)
G像素50G、R像素50R及B像素50B的每一个包含在被摄体光的行进方向上依次设置的微透镜51、滤色器52及光电二极管53，输出与光电二极管53的受光量相应的像素数据。构成被摄体光的通常光56通过微透镜51聚光，通过滤色器52射入到光电二极管53。通常光56所通过的滤色器52与接收该通常光56的光电二极管53大致对应。
另一方面，异常倾斜入射光57以与通常光56不同的角度进入各像素，通过某一像素的滤色器52的异常倾斜入射光57被相邻像素的光电二极管53接收。如此，异常倾斜入射光57所通过的滤色器52与接收该异常倾斜入射光57的光电二极管53并不完全对应，接收异常倾斜入射光57的光电二极管53输出除了与通常光56的受光量相应还与异常倾斜入射光57的受光量相应的像素数据。因此，来自接收到异常倾斜入射光57的光电二极管53的输出像素数据与来自未接收到异常倾斜入射光57的光电二极管53的输出像素数据相比，增大，因此在相同颜色像素之间在像素数据上产生高低差。
图5是表示当异常倾斜入射光射入到图2的摄像元件27时，从基本排列图案P所包含的G像素(G1～G20)输出的像素数据的一例的曲线图。基本排列图案P内包含的G像素非常靠近而配置，因此原本通常会输出相同值或近似值的像素数据，但在入射有异常倾斜入射光时，在相同颜色像素之间(图5所示的G1～G20之间)在输出像素数据上产生差(像素数据高低差)。
这是因为即使是相同颜色像素，由于相邻像素的颜色种类，异常倾斜入射光的受光量也不同。即，异常倾斜入射光越透过构成相邻像素的滤色器，异常倾斜入射光的受光量越增加，因此即使是相同颜色像素，根据相邻像素的种类(图案)，在输出像素数据上产生差。因此，通过可靠地确定异常倾斜入射光的入射的有无及入射方向，并适当地确定受到异常倾斜入射光引起的混色的影响的像素，能够获取适当的混色校正及准确的像素数据。
图6是表示图3的混色判定校正部41中的异常倾斜入射光的检测所涉及的功能结构的框图。
混色判定校正部41具有检测异常倾斜入射光的异常倾斜入射光检测部(异常倾斜入射光检测构件)61及根据入射光检测部61的检测结果校正马赛克图像数据的异常倾斜入射光校正部(校正构件)63。异常倾斜入射光检测部61上设置有存储保存有异常倾斜入射光的检测中使用的各种数据的存储部(存储构件)65。
异常倾斜入射光检测部61根据输入至混色判定校正部41的马赛克图像数据(RAW数据)检测入射到摄像元件27的异常倾斜入射光。本例的异常倾斜入射光检测部61根据马赛克图像数据分析后述的判定用像素的像素数据(输出值)，检测异常倾斜入射光的入射的有无、入射方向及强度。
异常倾斜入射光校正部63根据异常倾斜入射光检测部61的检测结果，对具有检测到异常倾斜入射光的区域内的光电二极管53的像素50的像素数据进行校正。即，异常倾斜入射光校正部63根据通过异常倾斜入射光检测部61检测判定的异常倾斜入射光的入射方向，判别摄像元件27的多个像素50中具有检测到异常倾斜入射光57的光电二极管53的像素50，修正该判别的像素50的像素数据。另外，通过异常倾斜入射光检测部61未检测到异常倾斜入射光时，跳过异常倾斜入射光校正部63中的校正处理。
异常倾斜入射光校正部63中的像素数据的具体的修正方法并无特别限定，能够通过任意方法校正入射有异常倾斜入射光57的像素(校正对象像素)的像素数据。例如，能够对从校正对象像素及其周边像素(例如，包含校正对象像素的基本排列图案P的大小范围中包含的像素)且与校正对象像素相同颜色的像素的像素数据导出的代表值，通过置换校正对象像素的像素数据等来进行像素数据校正。代表值可以是校正对象像素及周边像素的像素数据的平均值或加权平均值，也可以是校正对象像素及周边像素的像素数据的中央值或最大频度值。或者，代表值也可设为与校正对象像素相同颜色的像素且在基本排列图案P内异常倾斜入射光的影响最小的像素的像素数据。
并且，异常倾斜入射光校正部63通过将规定滤色器适用于校正对象像素，还能够校正入射有异常倾斜入射光57的像素(校正对象像素)的像素数据。能够在入射光校正部63使用的规定滤光器并无特别限定，例如可采用抑制校正对象像素及其周边的相同颜色像素的像素数据的高低差的滤波器(中值滤波器等)。
图7表示异常倾斜入射光的检测及混色校正所涉及的流程图的一例。
图7所示的图像处理方法中，首先检测摄像元件27的区域内的异常倾斜入射光的有无、入射方向及强度(图7的S1：异常倾斜入射光检测步骤)。检测到异常倾斜入射光的入射时(S2的是)，根据检测判定的异常倾斜入射光的入射方向，判别该区域内的多个像素中具有检测到异常倾斜入射光的光电二极管53的像素50，校正该判别的像素50的像素数据(S3)。另一方面，未检测到异常倾斜入射光时(S2的否)，跳过异常倾斜入射光校正部63中的校正处理。
异常倾斜入射光检测部61及异常倾斜入射光校正部63中的异常倾斜入射光的具体检测方法及混色校正方法根据摄像元件27的各颜色的像素排列(滤色器排列)确定。以下，与摄像元件27中的滤色器的排列例建立对应关系来对异常倾斜入射光的检测的具体方法进行说明。
＜异常倾斜入射光的检测＞
图8是说明异常倾斜入射光的检测方法的基本原理的一例的图，图8A～图8D表示G像素及R像素的各种配置图案。图8中，G1～G4分别表示G像素，R 表示R像素，A表示R像素以外的像素(图2所示的像素排列中的G像素或B像素)。
本例中，对将具有G滤波器(第2颜色的滤色器)的G像素(第2颜色像素)用作判定用像素，检测有无通过R像素(第1颜色像素)的R滤波器(第1颜色的滤色器)的异常倾斜入射光(红色异常倾斜入射光)的入射的例子进行说明。另外，通过R滤波器以外的滤色器的异常倾斜入射光被G像素以外接收的例子也具有相同的机理。
摄像元件27具有沿水平方向的正方向及负方向相邻的像素及沿垂直方向的正方向及负方向相邻的像素的滤色器图案互不相同的至少4种判定用像素(相同颜色像素)G1～G4。相对于各个判定用像素G1～G4，沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的至少1个具有R滤波器。
图8所示的例子中，将“R像素沿垂直方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向、水平方向的负方向、及垂直方向的负方向相邻的像素G1(第3判定用像素)”、“R像素沿水平方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的负方向、垂直方向的正方向、及垂直方向的负方向相邻的像素G2(第1判定用像素)”、“R像素沿垂直方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向、水平方向的负方向、及垂直方向的正方向相邻的像素G3(第4判定用像素)”及“R像素沿水平方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向、垂直方向的正方向、及垂直方向的负方向相邻的像素G4(第2判定用像素)”用作判定用像素。
另外，相对于判定用像素G1～G4的每一个沿水平方向的正方向及负方向相邻的像素及沿垂直方向的正方向及负方向相邻的像素中，隔着判定用像素G1～G4配置于与R像素对置的位置的像素具有R滤波器以外的滤色器。
这些判定用像素G1～G4靠近配置(例如配置于基本排列图案P内)时，根据异常倾斜入射光的有无，判定用像素G1～G4的输出值特性发生变动。即，判定用像素G1～G4中未入射有异常倾斜入射光时，判定用像素G1～G4的像素数据(输出值)成为相同值或近似值的可能性较高。然而，判定用像素 G1～G4中入射有红色异常倾斜入射光时，根据红色异常倾斜入射光的入射方向，判定用像素G1～G4的像素数据发生变动。
例如，存在从垂直方向的正方向侧朝向负方向侧的红色异常倾斜入射光时，判定用像素G1(参考图8A)的像素数据与其他判定用像素G2～G4的像素数据相比，变得较大(参考图9)。同样地，存在从水平方向的正方向侧朝向负方向侧的红色异常倾斜入射光时，判定用像素G2(参考图8B)的像素数据与其他相比，变得相对较大，存在从垂直方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G3(参考图8C)的像素数据与其他相比，变得相对较大，存在从水平方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G4(参考图8D)的像素数据与其他相比，变得相对较大。
如图9所示，异常倾斜入射光检测部61能够由判定用像素G1～G4的像素数据的大小关系检测异常倾斜入射光的有无、入射方向及强度。以下，有时将异常倾斜入射光的有无、入射方向及强度称为“异常倾斜入射光的状态”。
另外，上述的图9(及后述的图12)中，仅示出了判定用像素G1～G4的像素数据的相对大小关系，但判定用像素G1～G4的像素数据的具体的大小关系受在异常倾斜入射光的入射侧相邻的像素的颜色种类的影响。
图10是表示从水平方向的正方向侧向负方向侧入射有红色异常倾斜入射光时的红色异常倾斜入射光相对于判定用像素G1～G4的影响的大小的图。图10A～图10D的各图的下部中以箭头表示的“大”、“中”、“小”表示这种红色异常倾斜入射光的影响的大小。
作为滤色器特性，B滤波器及G滤波器无法完全截断红色光，实际上会使一部分红色光通过。尤其，G滤波器的红色光的透过率低于R滤波器，但红色光的透过率高于B滤波器。因此，从水平方向的正方向侧向负方向侧入射有红色异常倾斜入射光时，“沿水平方向的正方向相邻有R像素的判定用像素G2(参考图10B)”最受影响，其次是“沿水平方向的正方向相邻有G像素的判定用像素G1(参考图10A)及G4像素(参考图10D)”受到较大影响，“沿水平方向的正方向相邻有B像素的判定用像素G3(参考图10C)”受到的影响最小。
另外，在被摄体图像的图像数据中，在基本排列图案P内的判定用像素G1～G4之间原本就存在像素数据差时(例如，被摄体图像中存在各种图样和边 缘(图像边界部)时)，即使不存在异常倾斜入射光，也会从判定用像素G1～G4输出值大不相同的像素数据。然而，关于摄像元件27的区域(例如，包含一百个左右以上的基本排列图案P的区域)内包含的“判定用像素G1～G4的每一种类的像素数据(各种判定用像素数据)”的平均值，若不存在异常倾斜入射光，则与被摄体图像无关地收敛于整体相同颜色像素(G像素)的平均值，成为统计上相互近似的值。另一方面，在入射有异常倾斜入射光的区域，相对于整体相同颜色像素的平均值，检测异常倾斜入射光的影响量作为高低差。
因此，鉴于这种判定用像素G1～G4的输出值特性，异常倾斜入射光检测部61根据摄像元件27的区域内的判定用像素G1～G4的每一种类的像素数据的平均值检测入射到摄像元件27的异常倾斜入射光的状态。
图11是说明异常倾斜入射光的检测方法的基本原理的另一例的图，图11A～图11D表示G像素及R像素的各种配置图案。图11中，G1～G4分别表示G像素，R表示R像素，A表示R像素以外的像素。
本例的各个判定用像素G1～G4，其沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的2个具有R滤波器。即，还能够将“R像素沿水平方向的正方向及垂直方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的负方向及垂直方向的负方向相邻的像素G1(第1判定用像素)”、“R像素沿水平方向的负方向及垂直方向的正方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向及垂直方向的负方向相邻的像素G2(第2判定用像素)”、“R像素沿水平方向的正方向及垂直方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的负方向及垂直方向的正方向相邻的像素G3(第3判定用像素)”及“R像素沿水平方向的负方向及垂直方向的负方向相邻，具有R滤波器以外的滤色器的像素沿水平方向的正方向及垂直方向的正方向相邻的像素G4(第4判定用像素)”用作判定用像素。
相对于图11所示的判定用像素G1～G4，存在从垂直方向的正方向侧朝向负方向侧的红色异常倾斜入射光时，判定用像素G1(参考图11A)及判定用像素G2(参考图11B)的像素数据与其他判定用像素G3～G4的像素数据相比，变得较大(参考图12)。同样地，存在从水平方向的正方向侧朝向负方向侧的 红色异常倾斜入射光时，判定用像素G1(参考图11A)及判定用像素G3(参考图11C)的像素数据与其他相比，变得相对较大，存在从垂直方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G3(参考图11C)及判定用像素G4(参考图11D)的像素数据与其他相比，变得相对较大，存在从水平方向的负方向侧朝向正方向侧的红色异常倾斜入射光时，判定用像素G2(参考图11B)及判定用像素G4(参考图11D)的像素数据与其他相比，变得相对较大。
如此，即使是多个R像素(与检测对象的异常倾斜入射光的颜色种类对应的像素)相邻的判定用像素G1～G4，也能够由判定用像素G1～G4的像素数据的关系检测异常倾斜入射光的状态。
接着，对相对于图2的摄像元件27(X-Trans排列)的异常倾斜入射光的检测方法的具体例进行说明。另外，本例中，也将检测有无红色异常倾斜入射光的入射的情况作为一例进行说明。
图13表示强调显示G像素及R像素的配置图案的图2的基本排列图案P的俯视图。
本例的摄像元件27中包含的G像素50G包含沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素的滤色器图案互不相同的10种G像素(G1～G10)。
图13中，G1像素沿垂直方向的正方向与R像素相邻配置，G2像素沿水平方向的正方向与R像素相邻配置，G3像素沿垂直方向的负方向与R像素相邻配置，G4像素沿水平方向的负方向与R像素相邻配置。并且，G5像素沿水平方向的负方向与R像素相邻配置，G6像素沿垂直方向的正方向与R像素相邻配置，G7像素沿水平方向的正方向与R像素相邻配置，G8像素沿垂直方向的负方向与R像素相邻配置。“G1像素与G6像素”、“G2像素与G7像素”、“G3像素与G8像素”及“G4像素与G5像素”在R像素的相邻配置上共同，但R像素以外的相邻像素的滤色器的配置图案互不相同。
并且，本例的G像素的种类中除了这些G1像素～G8像素以外，还包含“沿水平方向的正负两方向相邻有R像素，并且沿垂直方向的正负两方向相邻有B像素的G9像素”及“沿水平方向的正负两方向相邻有B像素，并且沿垂直方向的正负两方向相邻有R像素的G10像素”。
如上所述，作为判定用像素的条件，可举出“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素的滤色器的图案互不相同”、“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的至少1个具有R的滤色器(与检测对象的异常倾斜入射光的颜色种类对应的滤色器)”及“相对于各个判定用像素，沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与R像素对置的位置的像素具有R的滤色器以外的滤色器”。图13所示的G1像素～G4像素满足这些条件，因此优选用作本例的判定用像素。
另外，例如G5像素～G8像素也满足上述条件，因此能够代替G1像素～G4像素，或者与G1像素～G4像素组合来用作判定用像素。即，本例的摄像元件27的基本排列图案P的每一个包含2组判定用像素组，不仅是“G1像素～G4像素”，还能够将“G5像素～G8像素”用作判定用像素。因此，通过组合基于“G1像素～G4像素”的判定用像素组的异常倾斜入射光的状态的检测结果、与基于“G5像素～G8像素”的判定用像素组的异常倾斜入射光的状态的检测结果，还能够提高检测精确度。
并且，图13所示的B1像素～B4像素也满足上述条件，因此能够代替G1像素～G8像素或者与G1像素～G8像素组合来用作判定用像素。对于红色异常倾斜入射光以外的颜色种类的异常倾斜入射光的检测也相同，并且，还能够将G像素以外的像素用作判定用像素。例如，图13所示的R1像素～R4像素相对于B像素满足上述条件，因此能够用作用于蓝色异常倾斜入射光的检测的判定用像素。
异常倾斜入射光检测部61将图13所示的这些G像素中的G1像素～G4像素用作判定用像素，根据摄像元件27的区域内的G1像素～G4像素的每一种类的像素数据的平均值检测摄像元件27的区域中的异常倾斜入射光的状态。
图14为表示摄像元件27的区域分割例的示意图。图14中，摄像元件27“沿水平方向5分割”及“沿垂直方向5分割”(共25分割)。例如，摄像元件27的像素数为4900像素(水平方向)×3265像素(垂直方向)时，图14所示的分割区域(区域00～区域44)的每一个由980像素(水平方向)×653像素(垂直像素)的像素数构成。
异常倾斜入射光检测部61能够按这些区域的每个区域计算区域内包含的G1像素的像素数据(输出值)的平均值、G2像素的像素数据的平均值、G3像素的像素数据的平均值及G4像素的像素数据的平均值，根据这些平均值的大小关系检测各区域的红色异常倾斜入射光的状态(参考图8及图9)。如此，根据图14所示的例子，能够以25分割的精确度确定重影光等异常倾斜入射光引起的混色的产生部位。
接着，对异常倾斜入射光检测部61的异常倾斜入射光的检测方法的具体例进行说明。
＜异常倾斜入射光的检测例1＞
图15是表示使用判定用像素G1～G4的像素数据的红色异常倾斜入射光的状态的检测方法的一例的图。图15中，横轴表示判定用像素G1～G4，纵轴表示相对于判定用像素G1～G4的像素数据平均值的比例。关于图15的纵轴，摄像元件27的区域中的所有判定用像素G1～G4的像素数据的平均值设定为“像素数据平均值”，纵轴的“1”表示每一种判定用像素的像素数据的平均值与像素数据平均值相同。
图15所示的例子中，判定用像素G1及G3的每一种类的像素数据的平均值与像素数据平均值相同，判定用像素G2的每一种类的像素数据的平均值大于像素数据平均值，判定用像素G4的每一种类的像素数据的平均值小于像素数据平均值。因此，红色异常倾斜入射光入射到该区域，该区域内的判定用像素G1～G4的像素数据为图15所示的例子时，能够判定为该区域中“从水平方向的正方向侧朝向负方向侧”入射有红色异常倾斜入射光(参考图8及图9)。
如此，根据本例，能够根据区域内的判定用像素的像素数据值，尤其根据“每一种的判定用像素的像素数据值的平均值”相对于“所有判定用像素的像素数据值的平均值”的比例检测异常倾斜入射光的状态。
另外，异常倾斜入射光检测部61能够参考存储于存储部65(参考图6)的判别表，由这些平均值检测入射到摄像元件27的异常倾斜入射光。例如，判别表中事先对“每一种判定用像素的像素数据的平均值(比例等)的数据图案”与“异常倾斜入射光的有无、入射方向及强度(异常倾斜入射光的状态)”建立对应关系。并且，异常倾斜入射光检测部61能够参考该判别表， 由实际获取的“每一种判定用像素的像素数据的平均值的数据图案”获取“异常倾斜入射光的状态”。相对于判别表的“每一种判定用像素的像素数据的平均值”的对照并非一定要严密地进行，可设为只要是与判别表中规定的“每一种判定用像素的像素数据的平均值”的图案类似的图案，就可获取判别表中规定的对应的“异常倾斜入射光的状态”。
＜异常倾斜入射光的检测例2＞
图16是表示使用判定用像素G1～G4的像素数据的红色异常倾斜入射光的状态的检测方法的另一例的图。图16中，横轴表示判定用像素G1～G4，纵轴表示判定用像素G1～G4的像素数据值(左侧纵轴)及像素数据指标(右侧纵轴)。
关于“判定用像素－像素数据值”的关系，图16中，将摄像元件27的区域内的G1像素～G4像素的每一种类的像素数据的平均值表示为“像素数据值”。
并且，关于“判定用像素－像素数据指标”的关系，图16中，根据摄像元件27的区域内的G1像素～G4像素的每一种类的像素数据的平均值的大小，“0”、“1”及“2”中某一个作为像素数据指标分配于各个判定用像素。例如，像素数据的平均值较大时分配“2”，像素数据的平均值较小时分配“0”，像素数据的平均值为两者中间时分配“1”。另外，像素数据指标能够使用任意范围的数值，不仅是“0”～“2”范围的数值，例如还能够将“－2”～“+2”(－2、－1、0、+1、+2)用作像素数据指标。
这些像素数据指标的分配能够通过任意方法进行。例如，可相对于“摄像元件27的区域的所有判定用像素G1～G4的像素数据的平均值(每一种判定用像素的像素数据的平均值的总计的平均值)”，在该平均值的±5％的范围内存在“区域内的每一种判定用像素的像素数据的平均值”时，分配“1”，“区域内的每一种判定用像素的像素数据的平均值”大于该范围时，分配“2”，“区域内的每一种判定用像素的像素数据的平均值”小于该范围时，分配“0”。并且，可代替上述的“区域内的每一种判定用像素的像素数据的平均值的总计的平均值”，以“区域内的每一种判定用像素的像素数据的平均值的中央值”为基准，对各判定用像素分配像素数据指标。
图16所示的例子中，判定用像素G1、G3、G4中分配“0”的像素数据指标，判定用像素G2中分配“2”的像素数据指标。
并且，异常倾斜入射光检测部61参考判别表检测入射到摄像元件27的异常倾斜入射光。该判别表存储于存储部65(参考图6)，通过异常倾斜入射光检测部61从存储部65读出。判别表中，将与相对于摄像元件27的异常倾斜入射光的入射相关的信息与基于区域内的判定用像素G1～G4的每一种类的像素数据的平均值的图案建立对应关系。更具体而言，在判别表中，对以“判定用像素G1～G4的每一种类的像素数据的平均值的总计的平均值”为基准的“表示判定用像素G1～G4的每一种类的像素数据的比例的像素数据指标”的数据图案、与“相对于区域的异常倾斜入射光的入射的有无、入射方向及强度”建立有对应关系。另外，对本例的判别表的具体例，将进行后述(参考图20)。
异常倾斜入射光检测部61按摄像元件27的每个区域计算“判定用像素G1～G4的每一种类的像素数据的平均值”及“判定用像素G1～G4的每一种类的像素数据的平均值的总计的平均值”，由该计算结果计算判定用像素G1～G4的像素数据指标。并且，异常倾斜入射光检测部61对照如此计算出的像素数据指标的数据图案与从存储部65读出的判别表，获取与该异常倾斜入射光的入射相关的信息(异常倾斜入射光的有无、入射方向及强度)。
＜异常倾斜入射光的检测例3＞
图17是表示使用判定用像素G1～G4的像素数据的红色异常倾斜入射光的状态的检测方法的另一例的图。图17中，横轴表示判定用像素G1～G4，纵轴表示判定用像素G1～G4的像素数据值(左侧纵轴)及像素数据顺序(右侧纵轴)。
关于“判定用像素－像素数据值”的关系，图17中将摄像元件27的区域内的G1像素～G4像素的每一种类的像素数据的平均值表示为“像素数据值”。
并且，关于“判定用像素－像素数据顺序”的关系，图17中对各判定用像素分配基于摄像元件27的区域内的每一种判定用像素的像素数据的平均值的大小的顺序。
图17所示的例子中，对判定用像素G2分配有“1”的像素数据顺序，对判定用像素G1及G3分配有“2”的像素数据顺序，对判定用像素G4分配有“3”的像素数据顺序。
本例的异常倾斜入射光检测部61参考存储于存储部65(参考图6)的判别表，检测入射到摄像元件27的异常倾斜入射光。该判别表中，对基于每一种判定用像素的像素数据的平均值的大小的顺序、和与相对于摄像元件27的异常倾斜入射光的入射相关的信息建立对应关系。
异常倾斜入射光检测部61按摄像元件27的每个区域计算“判定用像素G1～G4的每一种类的像素数据的平均值”，根据该算出值的大小对判定用像素G1～G4分配顺序(像素数据顺序)。此时，异常倾斜入射光检测部61可根据大小对“判定用像素G1～G4的每一种类的像素数据的平均值”进行分类之后进行像素数据顺序的分配。并且，异常倾斜入射光检测部61对照计算出的像素数据顺序的数据图案与从存储器65读出的判别表，获取与该异常倾斜入射光的入射相关的信息(异常倾斜入射光的有无、入射方向及强度)。
接着，对异常倾斜入射光检测部61的功能结构进行说明。
图18是表示异常倾斜入射光检测部61的功能结构的一例的框图。异常倾斜入射光检测部61具有像素数据值计算部66、像素数据图案计算部67、异常倾斜入射光判定部68。
像素数据值计算部66由被输入的马赛克图像数据(RAW数据)确定异常倾斜入射光的检测中使用的判定用像素，按摄像元件27的每个分割区域(参考图14)计算所确定的每一种判定用像素的像素数据的平均值。
像素数据图案计算部67按摄像元件27的每个分割区域计算每一种判定用像素的像素数据的数据图案。例如，采用上述的“异常倾斜入射光的检测例1(参考图15)”时，在像素数据图案计算部67中计算并获取“相对于判定用像素的像素数据值的平均值的比例”。并且，采用上述的“异常倾斜入射光的检测例2(参考图16)”时，在像素数据图案计算部67计算并获取“判定用像素－像素数据指标”的关系。并且，采用上述的“异常倾斜入射光的检测例3(参考图17)”时，在像素数据图案计算部67中计算并获取“判定用像素－像素数据顺序”的关系。
异常倾斜入射光判定部68参考存储于存储部65的判别表，由通过像素数据图案计算部67计算出的“每一种判定用像素的像素数据的数据图案”检测入射到摄像元件27的异常倾斜入射光。例如，采用上述的“异常倾斜入射光的检测例1(参考图15)”时，判别表中规定有“相对于判定用像素的像素数据值的平均值的比例”与异常倾斜入射光的状态的信息。异常倾斜入射光判定部68对照通过像素数据图案计算部67计算并获取的“相对于判定用像素的像素数据值的平均值的比例”与判别表，获取异常倾斜入射光的状态的信息。并且，采用上述的“异常倾斜入射光的检测例2(参考图16)”时，判别表中规定有“判定用像素－像素数据指标”的关系与异常倾斜入射光的状态的信息，异常倾斜入射光判定部68将通过像素数据图案计算部67计算并获取的“判定用像素－像素数据指标”的关系与判别表相对照，获取异常倾斜入射光的状态的信息。并且，采用上述的“异常倾斜入射光的检测例3(参考图17)”时，判别表中规定有“判定用像素－像素数据顺序”的关系与异常倾斜入射光的状态的信息，异常倾斜入射光判定部68将通过像素数据图案计算部67计算并获取的“判定用像素－像素数据顺序”的关系与判别表相对照，获取异常倾斜入射光的状态的信息。
如此，通过使用规定判定用像素G1～G4的像素数据的输出图案与异常倾斜入射光的状态的判别表，能够简单且轻松得进行异常倾斜入射光的检测。
＜异常倾斜入射光的颜色种类判定＞
上述的例子中，主要对“通过相邻R像素的R滤波器的红色异常倾斜入射光”进行了说明，对具有与红(R)色以外的颜色对应的波长的异常倾斜入射光，也能够应用上述的异常倾斜入射光的检测方法。
图19是表示异常倾斜入射光的颜色种类判定的一例的流程图。本例中，对异常倾斜入射光检测部61(像素数据值计算部66)判别红色(R)异常倾斜入射光及绿色(G)异常倾斜入射光中的任一异常倾斜入射光是否入射到摄像元件27的区域的例子进行说明，但对其他颜色的异常倾斜入射光(例如蓝色(B)异常倾斜入射光)也能够同样地进行判别。
首先，在像素数据值计算部66中按摄像元件27的每个区域计算区域内的R像素、G像素及B像素的各自的像素数据(白平衡校正前的像素数据)的总计值(图19的S11)。
并且，在像素数据值计算部66中判别区域内的“R像素的像素数据的总计值”与“G像素的像素数据的总计值”的大小(S12)。R像素的像素数据的总计值大于G像素的像素数据的总计值时(S12的是)，判别为该区域中有可能入射有红色异常倾斜入射光，采用R异常倾斜入射光用的判别表(S13)。另一方面，R像素的像素数据的总计值不大于G像素的像素数据的总计值时(S12的否)、判别为该区域中有可能入射有绿色异常倾斜入射光，采用G异常倾斜入射光用的判别表(S14)。
像素数据值计算部66确定与所判别的异常倾斜入射光的颜色种类相应的判定用像素。并且，异常倾斜入射光判定部68从存储部65读出所采用的判别表，检测异常倾斜入射光的状态。
判别表中，按异常倾斜入射光的每一种颜色规定有与区域内的“基于每一种判定用像素的像素数据的平均值的数据图案”建立对应关系的“与相对于摄像元件的异常倾斜入射光的入射相关的信息”。例如如本例，作为异常倾斜入射光假设“红色异常倾斜入射光”及“绿色异常倾斜入射光”时，存储部65中存储与红色异常倾斜入射光用的“基于区域内的每一种判定用像素的像素数据的平均值的数据图案”相关的判别表及与绿色异常倾斜入射光用的“基于区域内的每一种判定用像素的像素数据的平均值的数据图案”相关的判别表双方。
图20是表示相对于图2的摄像元件27(X-Trans排列)的异常倾斜入射光的检测中使用的判别表的一例的图。图20中组合示出与红色异常倾斜入射光用的“基于区域内的每一种判定用像素的像素数据的平均值的图案”相关的判别表(参考图20的“R判别表”)、及与绿色异常倾斜入射光用的“基于区域内的每一种判定用像素的像素数据的平均值的图案”相关的判别表(参考图20的“G判别表”)。
图20中，“PAT00”～“PAT28”分别表示判定用像素的代表性输出图案例，当为“PAT00”～“PAT28”以外的输出图案时，判定为“无异常倾斜入射光”。并且，图20的“G1”～“G8”与图13所示的G像素对应。并且，图20中以像素数据指标表示G1像素～G8像素的输出数据(参考图16)，并使用“0”(区域内的平均像素数据为小)、“1”(区域内的平均像素数据为中)及“2”(区域内的平均像素数据为大)的像素数据指标。图20的“－”表示 很难用作用于检测对应的异常倾斜入射光的判定结果的情况。判定结果为“－”时，进行与无异常倾斜入射光的入射(“无重影”)时同样的处理，因此可判定为无异常倾斜入射光的入射(“无重影”)。
图20中，将异常倾斜入射光的入射简单地记述为“重影”，对于强度比通常强的异常倾斜入射光的入射，记述为“强重影”。图20中的“上下”是指“垂直方向的正方向侧及负方向侧”，“右左”是指“水平方向的正方向侧及负方向侧”。例如，“从上侧重影”是指“入射有从垂直方向的正方向侧朝向负方向侧的异常倾斜入射光”，“从右侧重影”是指“入射有从水平方向的正方向侧朝向负方向侧的异常倾斜入射光”。
图20的结果中，例如红色异常倾斜入射光的入射方向为水平方向或者垂直方向(“上”、“下”、“左”、“右”)时，来自判定用像素的“沿对角倾斜方向相邻的像素”的影响较小，对像素数据指标的影响较小(像素数据指标＝0)，但来自沿水平方向及垂直方向(上下左右)相邻的R像素的影响非常大(像素数据指标＝2)。并且，此时，来自沿水平方向及垂直方向(上下左右)相邻的G像素的影响也较大(像素数据指标＝1)，但来自相邻的B像素的影响较小(像素数据指标＝0)。
图20的结果中，红色异常倾斜入射光的入射方向相对于水平方向及垂直方向倾斜(以下，有时简称为“入射方向倾斜”。具体而言，表示图20的“右上”、“右下”、“左上”、“左下”。)时，来自判定用像素的“沿对角倾斜方向相邻的像素”的影响较小，对像素数据指标的影响较小(像素数据指标＝0)，但来自沿水平方向及垂直方向(上下左右)相邻的G像素的影响为中等程度，来自沿水平方向及垂直方向(上下左右)相邻的R像素的影响较大。并且，红色异常倾斜入射光的入射方向倾斜时，在其入射方向上，来自在水平方向及垂直方向(上下左右)上与2像素相邻的G像素的影响、与来自沿水平方向及垂直方向(上下左右)与1像素相邻的R像素的影响相同程度。因此，例如红色异常倾斜入射光从右上入射时，判定用像素中，“在垂直方向的正方向侧(上侧)与R像素相邻且在水平方向的正方向侧(右侧)与G像素相邻的G1像素”最受红色异常倾斜入射光引起的混色的影响(像素数据指标＝2)，“在水平方向的正方向侧(右侧)与R像素相邻(但是，在垂直方向的正方向侧(上侧)不与R像素及G像素相邻)的G2像素”及“在垂直方向的 正方向侧(上侧)及水平方向的正方向侧(左侧)与G像素相邻的G4像素”以相同程度受到红色异常倾斜入射光引起的混色的影响(像素数据指标＝1)，“在垂直方向的正方向侧(上侧)与G像素相邻(但是，在水平方向的正方向侧(右侧)不与R像素及G像素相邻)的G3像素”受到红色异常倾斜入射光引起的混色的影响最小(像素数据指标＝0)。因此，例如检测到图20的“PAT09”所示的图案时，能够判定为红色异常倾斜入射光(重影等)从右上侧入射。
图20的结果中，绿色异常倾斜入射光的入射方向倾斜(图20的“右上”、“右下”、“左上”、“左下”)时，来自判定用像素的“沿对角倾斜方向相邻的像素”的影响较小，对像素数据指标的影响较小(像素数据指标＝0)，但来自沿水平方向及垂直方向(上下左右)相邻的G像素的影响为中～大。
另外，能够从“G1像素～G4像素”的判定用像素组及“G5像素～G8像素”的判定用像素组中的至少一个组的输出图案检测异常倾斜入射光的状态。
异常倾斜入射光检测部61(像素数据值计算部66、像素数据图案计算部67、异常倾斜入射光判定部68)根据摄像元件的区域内的滤色器的每一种颜色的像素数据确定异常倾斜入射光的颜色种类，参考与所确定的异常倾斜入射光的颜色种类对应的判别表(图20)，检测相对于摄像元件27的异常倾斜入射光的状态。
上述的图19所示的例子中，对由2种异常倾斜入射光(红色异常倾斜入射光及绿色异常倾斜入射光)确定对应的异常倾斜入射光的种类的例子进行了说明，但也能够由3种以上的异常倾斜入射光确定对应的异常倾斜入射光的种类。
图21是表示异常倾斜入射光的颜色种类判定的另一例的流程图。本例中，对在像素数据值计算部66中由红色异常倾斜入射光、绿色异常倾斜入射光及蓝色异常倾斜入射光中确定对应的异常倾斜入射光的种类的例子进行说明。
首先，在像素数据值计算部66中按摄像元件27的每个区域计算区域内的R像素、G像素及B像素各自的像素数据(白平衡校正前的像素数据)的总计值(图21的S21)。
并且，在像素数据值计算部66中判别区域内的“R像素的像素数据的总计值”与“G像素的像素数据的总计值”的大小(S22)。R像素的像素数据的总计值大于G像素的像素数据的总计值时(S22的是)，在像素数据值计算部66中判别区域内的“R像素的像素数据的总计值”与“B像素的像素数据的总计值”的大小(S23)。R像素的像素数据的总计值不大于B像素的像素数据的总计值时(S23的否)，判别为该区域中有可能入射有蓝色异常倾斜入射光，采用蓝色异常倾斜入射光用的判别表(S25)。另一方面，R像素的像素数据的总计值大于B像素的像素数据的总计值时(S23的是)，判别为该区域中有可能入射有红色异常倾斜入射光，采用红异常倾斜入射光用的判别表(S26)。
R像素的像素数据的总计值不大于G像素的像素数据的总计值时(S22的否)，在像素数据值计算部66中判别区域内的“G像素的像素数据的总计值”与“B像素的像素数据的总计值”的大小(S24)。G像素的像素数据的总计值大于B像素的像素数据的总计值时(S24的是)，判别为该区域中有可能入射有绿色异常倾斜入射光，采用绿色异常倾斜入射光用的判别表(S27)。另一方面，G像素的像素数据的总计值不大于B像素的像素数据的总计值时(S24的否)，判别为该区域中有可能入射有蓝色异常倾斜入射光，采用蓝色异常倾斜入射光用的判别表(S28)。
如此，能够从3种以上的异常倾斜入射光中确定对应的异常倾斜入射光的种类。异常倾斜入射光的颜色种类并无特别限定，但异常倾斜入射光引起的混色现象是由于所通过的滤色器与接收光的光电二极管相互不对应而引起的。因此，作为异常倾斜入射光的颜色种类，优选判别与在摄像元件27中采用的滤色器的颜色相应的多个颜色的异常倾斜入射光的入射可能性。其中，越是长波长成分，越深进入光电二极管(硅)而易显示为混色现象。因此，通过判别在摄像元件27中采用的滤色器中与使长波长侧的波长成分通过的滤色器对应的颜色的异常倾斜入射光的入射可能性，可更容易抑制混色现象。例如，摄像元件27由RGB滤波器构成时，通过判别与R(红)对应的异常倾斜入射光的入射可能性，可更容易抑制混色现象。
另外，上述的例中，通过仅比较“区域内的R像素的像素数据的总计值”、“区域内的G像素的像素数据的总计值”及“区域内的B像素的像素数据的总计值”，确定异常倾斜入射光的颜色种类，但也可附加其他条件。
例如，图19所示的例子(从2种颜色种类确定异常倾斜入射光的颜色种类的例子)中，“涉及区域内的一个颜色种类(例如R)的像素的像素数据的总计值”为“涉及区域内的另一个颜色种类(例如G)的像素的像素数据的总计值”的x倍(其中，0＜x≤1，例如x＝0.6)的值以上时，若有与上述的一个颜色种类(R)对应的异常倾斜入射光(例如红色异常倾斜入射光)入射到该区域的可能性，则异常倾斜入射光检测部61(像素数据值计算部66)也能够进行判定。
并且，图21所示的例子(从3种颜色种类确认异常倾斜入射光的颜色种类的例子)中，异常倾斜入射光检测部61(像素数据值计算部66)能够判定为，在摄像元件27的区域内，与显示R像素的像素数据的平均值的X倍的值(0＜X≤1)、G像素数据的平均值的Y倍的值(0＜Y≤1)及B像素的像素数据的平均值的Z倍的值(0＜Z≤1)中最大值的颜色种类的滤色器对应的颜色种类的异常倾斜入射光射入到摄像元件。
这些“x”、“X”、“Y”及“Z”的值可适当设定，可根据作为检测对象的异常倾斜入射光的颜色种类的优先度确定。越是长波长侧的光成分，越易引起混色，易导致相同颜色像素之间的像素数据高低差。因此，例如可以以优先检测具有长波长侧的颜色种类的异常倾斜入射光的方式设定“x”、“X”、“Y”及“Z”的值。
另外，入射光检测部61(像素数据值计算部66)以摄像元件27所具有的滤色器的颜色种类中与判定检测出有入射可能性的异常倾斜入射光的颜色种类对应的颜色种类的滤色器成为判定用像素的相邻像素的滤色器的方式选择上述的判定用像素。
如以上说明，根据本实施方式，能够由判定用像素的像素数据简单地检测重影光等异常倾斜入射光，并能够有效地进行恢复由于这种异常倾斜入射光而劣化的画质的校正处理(混色校正处理)。
尤其，摄像元件27具有上述的X-Trans排列(参考图2及图13)时，能够使用相同的判定用像素G1～G4检测红色异常倾斜入射光、绿色异常倾斜入射光及蓝色异常倾斜入射光的每一个。
如图22A～图22D所示，G1像素～G4像素满足“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素的滤色器图案互 不相同”、“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的至少1个具有的B的滤色器(与检测对象的异常倾斜入射光对应的滤色器)”及“相对于各个判定用像素，沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与B像素对置的位置的像素具有B滤波器以外的滤色器”的条件。因此，能够将G1像素～G4像素用作判定用像素，检测蓝色异常倾斜入射光的状态。
并且，如图22E～图22H所示，G1像素～G4像素满足“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素的滤色器图案互不相同”、“沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中的至少1个具有G的滤色器(与检测对象的异常倾斜入射光对应的滤色器)”及“相对于各个判定用像素，沿水平方向的正方向及负方向相邻的像素以及沿垂直方向的正方向及负方向相邻的像素中，隔着判定用像素配置于与G像素对置的位置的像素具有G滤波器以外的滤色器”的条件。因此，能够将G1像素～G4像素用作判定用像素，检测绿色异常倾斜入射光的状态。
＜分割区域的变形例＞
上述实施方式中，将图14所示的多个分割区域(25区域)的每一个设定为异常倾斜入射光的检测对象的区域。该分割区域的配置并不一定限定于25区域，也可将摄像元件27的构成像素分割为多于25的区域或小于25的区域。并且，可将包含所有摄像元件27的像素50的区域设定为异常倾斜入射光的检测对象的1个区域(单一区域)。将摄像元件27的构成像素分割为多个区域时，各区域的面积可在所有分割区域中相同也可不同。
上述实施方式中，示出了图14所示的多个分割区域包含摄像元件27的所有像素的例子，但也可仅使摄像元件27的一部分像素包含于异常倾斜入射光的检测对象的区域。
摄像元件27的分割区域的形状并不限定于图14所示的例子(四边形的分割区域)，例如能够设定三角形或六边形、八边形的多边形等任意形状的分割区域。
可相对于摄像元件27重叠性地适用多个分割区域。图23是表示将摄像元件27的构成像素重复性地分割为分割区域A(第1分割区域)及分割区域B(第2分割区域)的例子的图。图23A是表示分割区域A及分割区域B的适用状态的摄像元件27的俯视图，图23B表示分割区域A的区域分割例，图23C表示分割区域B的区域分割例。
图23A所示的摄像元件27上设定有多个分割区域A，并且设定有具有与分割区域A不同的分割方式的多个分割区域B，分割区域A与分割区域B至少局部重叠(重复)。分割区域A具有与图14所示的区域分割例相同的分割方式，摄像元件27的构成像素“沿水平方向5分割”及“沿垂直方向5分割”(共25分割)(参考图23B的“区域A00”～“区域A44”)。另一方面，分割区域B具有“沿水平方向4分割”及“沿垂直方向4分割”(共16分割)的区域(参考图23C的“区域B00”～“区域B33”)，分割区域B的各个区域具有与分割区域A的各个区域相同的形状及尺寸。
这些分割区域A及分割区域B以中心成为相同位置的方式重叠，分割区域A的中心(图23B的“区域A22”的中心)与分割区域B的中心(图23C的“区域B11”、“区域B12”、“区域B21”及“区域B22”的边界的中心)重叠。因此，分割区域A与分割区域B设定成在水平方向及垂直方向中的至少一个(本例中为双方)上，仅偏离分割区域A及分割区域B的各个区域的一半大小。由此，分割区域B的各个区域与分割区域A的2个以上的区域重叠。具体而言，分割区域B的各个区域与分割区域A的4个区域局部重叠。
例如，分割区域B的区域B11与分割区域A的区域A11、区域A12、区域A21及区域A22重叠(参考图23A的“C”及图24)。如此，摄像元件27包含分类于分割区域A的任一区域并且分类于分割区域B的任一区域的像素。例如，分类于分割区域B的区域B11的像素被分类于分割区域A的区域A11、区域A12、区域A21及区域A22的任一个。
异常倾斜入射光检测部61根据分割区域A的各区域中的“每一种判定用像素的像素数据的平均值”检测入射到分割区域A的各区域的异常倾斜入射光。并且，异常倾斜入射光检测部61根据分割区域B的各区域中的“每一种判定用像素的像素数据的平均值”检测入射到分割区域B的各区域的异常倾斜入射光。并且，异常倾斜入射光检测部61根据入射到分割区域A的各区域的 异常倾斜入射光的检测结果及入射到分割区域B的各区域的异常倾斜入射光的检测结果，检测入射到分割区域A的各区域与分割区域B的各区域重叠的区域的异常倾斜入射光。
例如，在区域A11及区域B11中检测到沿相同方向入射的异常倾斜入射光而在区域A12、区域A21及区域A22中未检测到异常倾斜入射光时，能够判定为区域B11中仅在与区域A11重复的区域产生异常倾斜入射光引起的混色现象(参考图24的“D”)。同样地，在区域A00与区域B00中检测到弱异常倾斜入射光(比较弱的异常倾斜入射光)的入射而在区域A10、区域A11、区域A01中未检测到异常倾斜入射光时，能够判定为区域B00中仅在与区域A00的重复区域产生异常倾斜入射光引起的混色现象。如此，通过相对于摄像元件27的构成像素重叠适用多个分割区域，能够更限定性地确定异常倾斜入射光引起的混色产生区域。
通过相对于摄像元件27重叠适用多个分割区域，能够有效地限定受到异常倾斜入射光引起的混色的影响的区域，异常倾斜入射光的检测精确度得到提高。
＜滤色器的变形例＞
上述各实施方式中，对摄像元件27具有X-Trans排列(参考图2及图13)的滤色器排列的例子进行了说明，但摄像元件27也可具有其他滤色器排列。
图25是表示其他滤色器排列例的摄像元件27的俯视图。本例中，由4像素(水平方向)×4像素(垂直方向)形成基本排列图案P。各基本排列图案P中，从垂直方向的正方向依次配置有“G像素、G像素、G像素、G像素”沿水平方向并置的行、“G像素、B像素、G像素、R像素”沿水平方向并置的行、“G像素、G像素、G像素、G像素”沿水平方向并置的行、及“G像素、R像素、G像素、B像素”沿水平方向并置的行。该基本排列图案P中也包含满足上述判定用像素的条件的至少4种相同颜色像素(图25所示的例子中为G像素)。因此，通过将这些相同颜色像素用作判定用像素，能够精确度良好地检测异常倾斜入射光。图25中，图示有能够在红色异常倾斜入射光的检测中使用的判定用像素G1～G4的一例，但存在满足上述判定用像素的条件的其他像素，因此也可将这种其他像素用作判定用像素。
图26为表示其他滤色器排列例的摄像元件27的俯视图。本例中，由3像素(水平方向)×3像素(垂直方向)形成基本排列图案P。各基本排列图案P中，从垂直方向的正方向依次配置有“R像素、B像素、G像素”沿水平方向并置的行、“B像素、R像素、G像素”沿水平方向并置的行、及“G像素、G像素、G像素”沿水平方向并置的行。该基本排列图案P中也包含满足上述判定用像素的条件的至少4种相同颜色像素(图26所示的例子中为G像素)。因此，通过将这些相同颜色像素用作判定用像素，能够检测异常倾斜入射光。图26中图示有能够在检测红色异常倾斜入射光时使用的判定用像素G1～G4的一例。
图27是表示其他滤色器排列例的摄像元件27的俯视图，图27A表示排列有4个基本排列图案P的状态，图27B表示能够在检测红色异常倾斜入射光时使用的判定用像素G1～G4的一例，图27C表示能够在检测绿色异常倾斜入射光时使用的判定用像素G1～G4的一例，图27D表示能够在检测蓝色异常倾斜入射光时使用的判定用像素G1～G4的一例。本例中，由4像素(水平方向)×4像素(垂直方向)形成基本排列图案P。各基本排列图案P中，从垂直方向的正方向依次配置有“R像素、B像素、G像素、G像素”沿水平方向并置的行、“B像素、R像素、G像素、G像素”沿水平方向并置的行、“G像素、G像素、B像素、R像素”沿水平方向并置的行、及“G像素、G像素、R像素、B像素”沿水平方向并置的行。该基本排列图案P中也包含满足上述的判定用像素的条件的至少4种相同颜色像素。因此，通过将这些相同颜色像素用作判定用像素，能够检测异常倾斜入射光。尤其，本例的滤色器排列中，能够将相同的像素(G1像素～G4像素)用作“红色异常倾斜入射光检测用的判定像素”(参考图27B)、“绿色异常倾斜入射光检测用的判定像素”(参考图27C)及“蓝色异常倾斜入射光检测用的判定像素”(参考图27D)。另外，除了图27所图示的G1～G4以外，还存在满足上述判定用像素的条件的其他像素，因此也可将这种其他像素用作判定用像素。
图28是表示其他的滤色器排列例的摄像元件27的俯视图，图28A表示排列有4个基本排列图案P的状态，图28B表示能够在检测红色异常倾斜入射光时使用的判定用像素G1～G4的一例，图28C表示能够在检测绿色异常倾斜入射光时使用的判定用像素R1～R4的一例，图28D表示能够在检测蓝色异常倾 斜入射光时使用的判定用像素G1～G4的一例。本例中，由5像素(水平方向)×5像素(垂直方向)形成基本排列图案P。各基本排列图案P中，从垂直方向的正方向依次配置有“G像素、B像素、R像素、B像素、G像素”沿水平方向并置的行、“R像素、G像素、B像素、G像素、R像素”沿水平方向并置的行、“B像素、R像素、G像素、R像素、B像素”沿水平方向并置的行、“R像素、G像素、B像素、G像素、R像素”沿水平方向并置的行、及“G像素、B像素、R像素、B像素、G像素”沿水平方向并置的行。该基本排列图案P中也包含满足上述判定用像素的条件的至少4种相同颜色像素(图28所示的例子中为G像素/R像素)。因此，通过将这些相同颜色像素用作判定用像素，能够检测异常倾斜入射光。另外，除了图28所图示的G1～G4及R1～R4以外，还存在满足上述判定用像素的条件的其他像素，因此也可将这种其他像素用作判定用像素。
＜其他的变形例＞
上述的各实施方式中，主要对“由异常倾斜入射光的入射带来的混色”的检测及校正进行了说明，混色判定校正部41(参考图3)可进行“与异常倾斜入射光无关的混色”的校正。即，CMOS等摄像元件27中，由于相邻像素的配色图案和像素共享放大器等基底结构，有时与有无异常倾斜入射光的入射无关地受到相邻像素的像素数据输出的影响。可进行减少或消除这种“与异常倾斜入射光无关的、来自相邻像素的混色”的影响的像素数据校正。作为这种混色校正，例如能够事先求出基于相邻像素的配色图案或基底结构的“来自相邻像素的混色率”，从实际上从相邻像素输出的像素数据与该“来自相邻像素的混色率”的总和计算混色量，从校正对象像素的像素数据减去该混色量，由此获取校正对象像素的原本的像素数据。
滤色器排列(摄像元件的像素排列)的排列方向并无特别限定，可以是相对于水平方向及垂直方向具有任意角度的方向。例如，可以是使沿水平方向及垂直方向二维排列的多个像素(滤色器)旋转45度的所谓的“蜂窝型排列”。并且，可使用RGB以外的颜色的滤色器，例如可以是红波长域的光、蓝波长域的光及绿波长域的光均透过的滤波器，也可将这些波长域中具有比较高的透光率(例如70％以上的透光率)的透明滤波器或具有低于透明滤波器的透射率的所谓白色滤波器用作滤色器。此时，可将红色滤波器、透明滤波器及白 色滤波器中的任一个用作与异常倾斜入射光对应的颜色的滤色器(第1颜色的滤色器)。并且，可将蓝色滤波器及绿色滤波器中的任一个用作与异常倾斜入射光对应的颜色的滤色器。摄像元件27可包含具有红、绿、蓝、透明及白色以外的颜色的滤色器的像素。
另外，上述的数码摄像机10为例示，能够对其他结构适用本发明。各功能结构能够通过任意的硬件、软件或者两者的组合适当实现。因此，例如还能够对使计算机执行上述各装置及处理部(异常倾斜入射光检测部61、异常倾斜入射光校正部63等)中的处理顺序的程序适用本发明。
上述各实施方式中，对图像处理电路32(混色判定校正部41等)设置于数码摄像机10的方式进行了说明，但图像处理电路32(混色判定校正部41等)也可设置于计算机等其他装置。
例如，在计算机中加工图像数据时，可通过设置于计算机的图像处理部进行上述异常倾斜入射光的检测及混色校正。当服务器具备图像处理部(混色判定校正部)时，例如可从数码摄像机或计算机向服务器发送图像数据，在服务器的图像处理部中对该图像数据进行上述异常倾斜入射光的检测及混色校正，并将混色校正后的图像数据发送或提供至发送源。
适用本发明的方式并不限定于数码摄像机、计算机及服务器，除了以摄像为主要功能的摄像机类之外，还能够适用于除了摄像功能之外还具备摄像以外的其他功能(通话功能、通信功能、其他的计算机功能)的移动设备类。作为这种移动设备类，例如可举出具有摄像机功能的移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图29是表示作为本发明的摄像装置的一实施方式的智能手机101的外观的图。图29所示的智能手机101具有平板状框体102，在框体102的一面具备作为显示部的显示面板121及与作为输入部的操作面板122成为一体的显示输入部120。框体102具备扬声器131、麦克风132、操作部140、及摄像机部141。框体102的结构并不限定于此，例如还能够采用显示部与输入部分别独立的结构，或具有折叠结构或滑动机构的结构。
图30是表示图29所示的智能手机101的结构的框图。如图30所示，作为智能手机101的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、摄像机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190及主控制部100。并且，智能手机101作为主要功能具备进行经由基站装置BS及移动通信网NW的移动无线通信的无线通信功能。
无线通信部110根据主控制部100的指示，相对于容纳于移动通信网NW的基站装置BS进行无线通信。无线通信部110使用无线通信进行例如音频数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。
显示输入部120通过主控制部100的控制，显示图像(静止图像及运动图像)和文字信息等来视觉性地向用户传递信息，并且检测相对于所显示信息的用户操作。显示输入部120例如为触控面板。
显示输入部120的显示面板121例如能够通过将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备来构成。显示输入部120的操作面板122是以能够视觉识别显示于显示面板121的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作操作面板122，则将通过操作而产生的检测信号输出至主控制部100。主控制部100根据所输入的检测信号检测显示面板121上的操作位置(坐标)。
本实施方式的智能手机101中，操作面板122设置成完全覆盖显示面板121，这些操作面板122及操作面板121成为一体来构成显示输入部120。此时，操作面板122可具备对显示面板121的外侧的区域也检测用户操作的功能。即，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为表示区域)及针对不与显示面板121重叠的除此以外的外缘部分的检测区域(以下，称为非表示区域)。
可使显示区域的大小与显示面板121的大小完全一致，但并不一定要使两者一致。并不一定要使显示区域的大小与显示面板121大小一致。操作面板122可具备外缘部分及除此以外的内侧部分的2个感应区域。而且，外缘部分的宽度根据框体102的大小等适当设计。此外，作为在操作面板122中采用的 位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等。
通话部130具备扬声器131和麦克风132。通过麦克风132输入的用户的声音转换为能够在主控制部100中处理的音频数据。扬声器131例如对通过无线通信部110或外部输入输出部160接收的音频数据据进行解码并输出。例如能够将扬声器131搭载于与设置有显示输入部120的表面相同的表面，并将麦克风132搭载于框体102的侧面。
操作部140为使用键开关等的硬件键，接受来自用户的指示。例如，如图29所示，操作部140搭载于智能手机101的框体102的侧面。操作部140是若被手指等按下则打开，若手指离开则通过弹簧等的复原力成为关闭状态的按键式开关。
存储部150存储主控制部100的控制程序和控制数据、应用程序软件、对通信对象的名称和电话号码等建立对应关系的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或已下载的目录数据等。并且，存储部150临时存储流数据等。存储部150由智能手机内置的内部存储部151及具有装卸自如的外部存储块的外部存储部152构成。内部存储部151与外部存储部152使用例如闪存类型(flash memory type)、硬盘类型(hard disktype)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等存储介质来实现。
外部输入输出部160发挥与智能手机101连结的外部设备的接口作用，通过通信等(例如，通用串行总线(USB)、IEEE1394等)或局域网(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association:IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂协议(ZigBee)(注册商标)等)直接或间接地连接智能手机101与其他外部设备。
作为与智能手机101连结的外部设备，例如有有/无线头戴式受话机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频·视频I/O(Input/Output)端子连接的外部音 频·视频设备、无线连接的外部音频·视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收传送的数据传递至智能手机101内部的各构成要件，或使智能手机101内部的数据传送至外部设备。
GPS接收部170根据主控制部100的指示接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由该智能手机101的纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部180例如具备3轴加速度传感器等，根据主控制部100的指示，检测智能手机101的物理动态。通过检测智能手机101的物理动态，可检测智能手机101的移动方向或加速度。基于动作传感器180的检测结果被输出至主控制部100。
电源部190根据主控制部100的指示，向智能手机101的各部分供给蓄积在电池(未图示)的电力。
主控制部100具备微处理器，根据存储部150所存储的控制程序或控制数据动作，统一控制智能手机101的各部分。主控制部100为了通过无线通信部110进行音频通信或数据通信，具备控制通信系统的各部分的移动通信控制功能及应用程序处理功能。
应用程序处理功能通过主控制部100根据存储部150所存储的应用程序而动作来实现。作为应用程序处理功能，例如可举出控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
主控制部100具备根据接收数据或所下载的流数据等图像数据(静止图像或运动图像的数据)向显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部100解码上述图像数据，并对该解码结果实施图像处理来将图像显示于显示输入部120的功能。
主控制部100执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的用户操作的操作检测控制。
通过执行显示控制，主控制部100显示用于启动应用程序软件的图标、或显示滚动条等软件键、或者显示用于创建电子邮件的窗口。滚动条是指用于针对无法容纳于显示面板121的显示区域的较大图像等，用于接收移动图像的显示部分的指示的软件键。
通过执行操作检测控制，主控制部100检测通过操作部140进行的用户操作，或接收通过操作面板122进行的相对于图标的操作或相对于窗口的输入栏的文字列的输入，或者接收通过滚动条进行的显示图像的滚动要求。
通过执行操作检测控制，主控制部100具备触控面板控制功能，该功能判定相对于操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是不与显示面板121重叠的除此以外的外缘部分(非显示区域)，并控制操作面板122的感应区域或软件键的显示位置。
主控制部100还能够检测相对于操作面板122的手势操作并根据检测出的手势操作执行预先设定的功能。手势操作是指并非以往的简单的触控操作，而是根据手指等描绘轨迹，或同时指定多个位置，或者组合这些来从多个位置对至少1个描绘轨迹的操作。
摄像机部141为例如使用CMOS(Complementary Metal Oxide Semiconduc tor)或CCD(Charge-Coupled Device)等摄像元件进行电子拍摄的数码摄像机。能够通过主控制部100将通过摄像机部141拍摄获得的图像数据转换为例如JPEG(Joint Photographiccoding Experts Group)等压缩的图像数据来存储于存储部150，或者通过输入输出部160或无线通信部110输出。如图29所示，本实施方式的智能手机101中，摄像机部141搭载于与显示输入部120相同的表面，但不限定于此，摄像机部141可搭载于显示输入部120的背面，也可搭载有多个摄像机部141。另外，搭载有多个摄像机部141时，还能够切换供拍摄的摄像机部141来单独拍摄或者同时使用多个摄像机部141进行拍摄。
摄像机部141能够利用于智能手机101的各种功能中。例如，能够利用于在显示面板121显示通过摄像机部141获取的图像，或者作为操作面板122的操作输入之一利用摄像机部141的图像。当GPS接收部170检测位置时，还能够参考来自摄像机部141的图像来检测位置。而且，还能够参考来自摄像机部141的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判 断智能手机101的摄像机部141的光轴方向，或判断当前的使用环境。能够在应用程序软件内利用来自摄像机部141的图像。
还能够在利用摄像机部141获得的静止图像或动画的图像数据上附加通过GPS接收部170获取的位置信息、通过麦克风132获取的音频信息(也可以通过主控制部100等进行音频文本转换而成为文本信息)、通过动作传感器部180获取的姿势信息等。并且还能够将被附加有位置信息和音频信息、姿势信息等的静止图像或动画的图像数据存储于存储部150，或者通过输入输出部160或无线通信部110输出。
上述智能手机101中，图3的图像处理电路32例如能够通过主控制部100、存储部150等适当地实现。
符号说明
10-数码摄像机，12-摄像机主体，14-透镜单元，20-摄影光学系统，21-变焦透镜，22-聚焦透镜，23-机械快门，24-变焦机构，25-聚焦机构，26-透镜驱动器，27-摄像元件，30-CPU，31-摄像元件驱动器，32-图像处理电路，33-媒体界面，34-压缩伸长处理电路，35-显示控制部，36-操作部，37-存储器，38-存储卡，39-EVF，40-背面LCD，41-混色判定校正部，42-WB校正部，43-信号处理部，44-RGB积算部，45-WB增益计算部，50-像素，50B-B像素，50G-G像素，50R-R像素，51-微透镜，52-滤色器，53-光电二极管，56-通常光，57-异常倾斜入射光，61-入射光检测部，63-入射光校正部，65-存储部，66-像素数据值计算部，67-像素数据图案计算部，68-异常倾斜入射光判定部，100-主控制部，101-智能手机，102-框体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-摄像机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-动作传感器部。

Claims (23)

1.一种摄像装置，其具备：摄像元件，具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素，所述多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管；及异常倾斜入射光检测构件，根据所述像素数据检测入射到所述摄像元件的异常倾斜入射光，所述摄像装置的特征在于，
所述多个像素包含沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，
相对于各个所述判定用像素，沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中的至少1个像素为具有第1颜色的滤色器的第1颜色像素，
相对于各个所述判定用像素，沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中，隔着所述判定用像素配置于与所述第1颜色像素对置的位置的像素具有所述第1颜色的滤色器以外的滤色器，
所述异常倾斜入射光检测构件根据所述摄像元件内的区域而且是包含多个各种所述判定用像素的区域内的每一种所述判定用像素的所述像素数据的平均值，检测入射到所述摄像元件的异常倾斜入射光。
2.根据权利要求1所述的摄像装置，其中，
所述异常倾斜入射光检测构件根据所述区域内的每一种所述判定用像素的所述像素数据的平均值检测入射到所述摄像元件的异常倾斜入射光的入射方向。
3.根据权利要求1或2所述的摄像装置，其中，
所述摄像装置还具备存储构件，该存储构件存储将与相对于所述摄像元件的所述异常倾斜入射光的入射相关的信息、与基于所述区域内的每一种所述判定用像素的所述像素数据的平均值的数据图案建立对应关系的判别表，
所述异常倾斜入射光检测构件参考所述判别表检测入射到所述摄像元件的异常倾斜入射光。
4.根据权利要求3所述的摄像装置，其中，
所述判别表中的与相对于所述摄像元件的所述异常倾斜入射光的入射相关的所述信息是按所述异常倾斜入射光的每种颜色而确定的，
所述异常倾斜入射光检测构件根据所述摄像元件的所述区域内的每种颜色的滤色器的所述像素数据检测所述异常倾斜入射光的颜色种类，参考与检测出的所述异常倾斜入射光的颜色种类相对应的所述判别表检测入射到所述摄像元件的异常倾斜入射光。
5.根据权利要求3所述的摄像装置，其中，
所述判别表中，将以所述至少4种判定用像素中的每一种类的所述像素数据即各种判定用像素数据的平均值的总计的平均值或所述各种判定用像素数据的平均值的中央值为基准的表示所述各种判定用像素数据的比例的数据图案、及与相对于所述摄像元件的所述异常倾斜入射光的入射相关的所述信息建立对应关系。
6.根据权利要求3所述的摄像装置，其中，
所述判别表中，将基于所述各种像素数据的平均值的大小的顺序、及与相对于所述摄像元件的所述异常倾斜入射光的入射相关的所述信息建立对应关系，
所述异常倾斜入射光检测构件根据所述区域内的所述各种像素数据的平均值对所述至少4种判定用像素分配顺序，并参考所述判别表检测入射到所述摄像元件的异常倾斜入射光。
7.根据权利要求4所述的摄像装置，其中，
所述多个像素至少包含具有第1颜色种类的滤色器的第1颜色种类像素、具有第2颜色种类的滤色器的第2颜色种类像素、及具有第3颜色种类的滤色器的第3颜色种类像素，
所述异常倾斜入射光检测构件将所述第1颜色种类的滤色器、所述第2颜色种类的滤色器及所述第3颜色种类的滤色器中的与检测出的所述异常倾斜入射光的颜色种类相对应的颜色种类的滤色器作为所述第1颜色的滤色器，确定所述至少4种判定用像素。
8.根据权利要求7所述的摄像装置，其中，
所述异常倾斜入射光检测构件判定为，在所述摄像元件的所述区域中，与设为0＜X≤1时的第1颜色种类像素的所述像素数据的平均值的X倍的值、设为0＜Y≤1时的第2颜色种类像素的所述像素数据的平均值的Y倍的值、及设为0＜Z≤1时的第3颜色种类像素的所述像素数据的平均值的Z倍的值中表示为最大值的颜色种类的滤色器相对应的颜色种类的所述异常倾斜入射光入射到所述摄像元件。
9.根据权利要求1或2所述的摄像装置，其中，
所述摄像装置还具备校正构件，所述校正构件根据所述异常倾斜入射光检测构件的检测结果，对具有检测出所述异常倾斜入射光的所述光电二极管的像素的所述像素数据进行校正。
10.根据权利要求1或2所述的摄像装置，其中，
所述区域为包含所有所述摄像元件的所述多个像素的区域。
11.根据权利要求1或2所述的摄像装置，其中，
所述区域为将所述摄像元件分割为多个区域的多个分割区域中的每一个。
12.根据权利要求11所述的摄像装置，其中，
所述多个分割区域包含所有所述摄像元件的所述多个像素。
13.根据权利要求1或2所述的摄像装置，其中，
所述摄像元件中，设定有多个第1分割区域，并且设定有具有与该第1分割区域不同的分割方式的多个第2分割区域，
所述多个第1分割区域与所述多个第2分割区域至少局部重叠，
所述多个像素包含分类到所述第1分割区域中的任一个中且分类到所述第2分割区域中的任一个中的像素，
所述异常倾斜入射光检测构件根据各个所述第1分割区域中的每一种所述判定用像素的所述像素数据的平均值检测入射到各个所述第1分割区域的异常倾斜入射光，根据各个所述第2分割区域中的每一种所述判定用像素的所述像素数据的平均值检测入射到各个所述第2分割区域的异常倾斜入射光，根据入射到各个所述第1分割区域的异常倾斜入射光的检测结果及入射到各个所述第2分割区域的异常倾斜入射光的检测结果，检测入射到各个所述第1分割区域与各个所述第2分割区域重叠的区域的异常倾斜入射光。
14.根据权利要求13所述的摄像装置，其中，
各个所述第2分割区域与2个以上的所述第1分割区域重叠。
15.根据权利要求13所述的摄像装置，其中，
各个所述第1分割区域与各个所述第2分割区域具有相同形状及尺寸，
所述第1分割区域与所述第2分割区域设定成在所述第1方向及所述第2方向中的至少一个方向上偏离所述第1分割区域的大小的一半。
16.根据权利要求14所述的摄像装置，其中，
各个所述第1分割区域与各个所述第2分割区域具有相同形状及尺寸，
所述第1分割区域与所述第2分割区域设定成在所述第1方向及所述第2方向中的至少一个方向上偏离所述第1分割区域的大小的一半。
17.根据权利要求1或2所述的摄像装置，其中，
所述多个像素包含具有滤色器排列图案的多个基本排列像素群而且是沿第1方向及第2方向并置的多个基本排列像素群，
所述多个基本排列像素群的每一个包含至少1组以上的所述至少4种判定用像素组。
18.根据权利要求1或2所述的摄像装置，其中，
所述至少4种判定用像素由第1判定用像素、第2判定用像素、第3判定用像素及第4判定用像素构成，
相对于所述第1判定用像素，所述第1颜色的像素沿所述第1方向的正方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的负方向、所述第2方向的正方向及所述第2方向的负方向相邻，
相对于所述第2判定用像素，所述第1颜色的像素沿所述第1方向的负方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的正方向、所述第2方向的正方向及所述第2方向的负方向相邻，
相对于所述第3判定用像素，所述第1颜色的像素沿所述第2方向的正方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的正方向、所述第1方向的负方向及所述第2方向的负方向相邻，
相对于所述第4判定用像素，所述第1颜色的像素沿所述第2方向的负方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的正方向、所述第1方向的负方向及所述第2方向的正方向相邻。
19.根据权利要求1或2所述的摄像装置，其中，
所述至少4种判定用像素由第1判定用像素、第2判定用像素、第3判定用像素及第4判定用像素构成，
相对于所述第1判定用像素，所述第1颜色的像素沿所述第1方向的正方向及所述第2方向的正方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的负方向及所述第2方向的负方向相邻，
相对于所述第2判定用像素，所述第1颜色的像素沿所述第1方向的负方向及所述第2方向的正方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的正方向及所述第2方向的负方向相邻，
相对于所述第3判定用像素，所述第1颜色的像素沿所述第1方向的正方向及所述第2方向的负方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的负方向及所述第2方向的正方向相邻，
相对于所述第4判定用像素，所述第1颜色的像素沿所述第1方向的负方向及所述第2方向的负方向相邻，具有所述第1颜色的滤色器以外的滤色器的像素沿所述第1方向的正方向及所述第2方向的正方向相邻。
20.根据权利要求1或2所述的摄像装置，其中，
所述第1颜色的滤色器为红色滤波器、透明滤波器及白色滤波器中的任一个。
21.根据权利要求17所述的摄像装置，其中，
各个所述基本排列像素群包含在所述第1方向及所述第2方向上具有3像素×3像素的像素排列的2组第1子排列像素群及2组第2子排列像素群，
第1子排列像素群在所述第1方向及所述第2方向上与第2子排列像素群相邻，第2子排列像素群在所述第1方向及所述第2方向上与第1子排列像素群相邻，
第1子排列像素群包含：配置于中央及四角的具有第2颜色的滤色器的第2颜色像素、配置于沿所述第1方向的正方向及负方向与中央的像素相邻的位置的所述第1颜色像素、及配置于沿所述第2方向的正方向及负方向与中央的像素相邻的位置的具有第3颜色的滤色器的第3颜色像素，
第2子排列像素群包含：配置于中央及四角的所述第2颜色像素、配置于沿所述第2方向的正方向及负方向与中央的像素相邻的位置的所述第1颜色像素、及配置于沿所述第1方向的正方向及负方向与中央的像素相邻的位置的所述第3颜色像素，
由配置于第1子排列像素群的四角的像素中配置于一个对角方向的2像素与配置于第2子排列像素群的四角的像素中配置于另一个对角方向的2像素构成所述判定用像素。
22.一种图像处理装置，其具备异常倾斜入射光检测构件，所述异常倾斜入射光检测构件检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素，所述多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管，其中，
所述多个像素包含沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，
相对于各个所述判定用像素，沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中的至少1个为具有第1颜色的滤色器的第1颜色像素，
相对于各个所述判定用像素，沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中，隔着所述判定用像素配置于与所述第1颜色像素对置的位置的像素为具有所述第1颜色的滤色器以外的滤色器的像素，
所述异常倾斜入射光检测构件根据所述摄像元件内的区域而且是包含多个各种所述判定用像素的区域内的每一种所述判定用像素的所述像素数据的平均值，检测入射到所述摄像元件的异常倾斜入射光。
23.一种图像处理方法，其具备异常倾斜入射光检测步骤，所述异常倾斜入射光检测步骤中，检测入射到摄像元件的异常倾斜入射光，所述摄像元件具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素，所述多个像素分别具有滤色器及接收透过该滤色器的光而输出像素数据的光电二极管，其中，
所述多个像素包含沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素的滤色器的图案互不相同的至少4种判定用像素，
相对于各个所述判定用像素，沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中的至少1个为具有第1颜色的滤色器的第1颜色像素，
相对于各个所述判定用像素，沿所述第1方向的正方向及负方向相邻的像素以及沿所述第2方向的正方向及负方向相邻的像素中，隔着所述判定用像素配置于与所述第1颜色像素对置的位置的像素为具有所述第1颜色的滤色器以外的滤色器的像素，
所述异常倾斜入射光检测步骤中，根据所述摄像元件内的区域而且是包含多个各种所述判定用像素的区域内的每一种所述判定用像素的所述像素数据的平均值，检测入射到所述摄像元件的异常倾斜入射光。
CN201480007868.2A 2013-03-05 2014-02-18 摄像装置、图像处理装置及图像处理方法 Active CN104995912B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-043005 2013-03-05
JP2013043005 2013-03-05
PCT/JP2014/053817 WO2014136570A1 (ja) 2013-03-05 2014-02-18 撮像装置、画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104995912A CN104995912A (zh) 2015-10-21
CN104995912B true CN104995912B (zh) 2017-03-08

Family

ID=51491094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480007868.2A Active CN104995912B (zh) 2013-03-05 2014-02-18 摄像装置、图像处理装置及图像处理方法

Country Status (4)

Country Link
US (1) US9363491B2 (zh)
JP (1) JP5802858B2 (zh)
CN (1) CN104995912B (zh)
WO (1) WO2014136570A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104904197B (zh) * 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
WO2014087804A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
CN104838646B (zh) * 2012-12-07 2016-11-23 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
JP5865555B2 (ja) * 2013-05-13 2016-02-17 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
CN104581100A (zh) * 2015-02-12 2015-04-29 张李静 色彩滤镜阵列和图像处理方法
WO2016135801A1 (ja) * 2015-02-23 2016-09-01 日立コンシューマエレクトロニクス株式会社 光情報記録再生装置、光情報再生装置および光情報再生方法
CN108885265A (zh) * 2016-03-31 2018-11-23 富士胶片株式会社 距离图像处理装置、距离图像获取装置及距离图像处理方法
JP2018148526A (ja) 2017-03-09 2018-09-20 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP7037346B2 (ja) * 2017-03-10 2022-03-16 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6921567B2 (ja) * 2017-03-15 2021-08-18 オリンパス株式会社 画像処理装置、撮像装置、画素異常検出方法およびプログラム
JP2019041352A (ja) * 2017-08-29 2019-03-14 キヤノン株式会社 撮像装置及び撮像システム
CN111201777B (zh) 2017-10-19 2022-02-01 索尼公司 信号处理装置和成像装置
US10848631B2 (en) * 2018-09-26 2020-11-24 Ricoh Company, Ltd. Reading device and image forming apparatus
JP7038257B2 (ja) * 2019-05-15 2022-03-17 富士フイルム株式会社 漏れ光検出装置、撮像装置、漏れ光検出方法、及び漏れ光検出プログラム
CN113099121B (zh) * 2021-04-15 2022-05-06 西安交通大学 一种基于弱监督学习的isp实现方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968423A (zh) * 2005-11-17 2007-05-23 索尼株式会社 固体摄像元件的信号处理装置和信号处理方法及摄像装置
CN101427127A (zh) * 2006-04-26 2009-05-06 夏普株式会社 滤色器检测方法、滤色器制造方法和滤色器检测装置
CN101527311A (zh) * 2008-03-06 2009-09-09 佳能株式会社 图像感测装置和成像系统
CN101584222A (zh) * 2007-05-31 2009-11-18 松下电器产业株式会社 图像处理装置
CN101754029A (zh) * 2008-11-28 2010-06-23 佳能株式会社 信号处理设备、摄像设备、摄像系统和信号处理方法
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法
CN102917181A (zh) * 2011-08-02 2013-02-06 索尼公司 图像传感器、成像装置以及成像方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333251A (ja) 2004-05-18 2005-12-02 Olympus Corp 撮像装置、カメラ及び撮像処理方法
JP2008054206A (ja) 2006-08-28 2008-03-06 Matsushita Electric Ind Co Ltd ゴースト検出装置およびその関連技術
WO2008155873A1 (ja) * 2007-06-15 2008-12-24 Panasonic Corporation 画像処理装置
JP4803156B2 (ja) * 2007-10-16 2011-10-26 ソニー株式会社 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム
JP4486703B2 (ja) * 2007-12-07 2010-06-23 パナソニック株式会社 撮像装置
JP5232118B2 (ja) * 2009-09-30 2013-07-10 富士フイルム株式会社 撮像デバイスおよび電子カメラ
JP5526840B2 (ja) * 2010-02-09 2014-06-18 ソニー株式会社 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
JP5523213B2 (ja) 2010-06-22 2014-06-18 オリンパスイメージング株式会社 撮像装置および撮像方法
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
WO2012124183A1 (ja) * 2011-03-11 2012-09-20 富士フイルム株式会社 撮像装置およびその動作制御方法
WO2013046973A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 固体撮像素子、撮像装置、及び合焦制御方法
JP5629832B2 (ja) * 2011-09-30 2014-11-26 富士フイルム株式会社 撮像装置及び位相差画素の感度比算出方法
US20130201388A1 (en) * 2012-02-03 2013-08-08 Novatek Microelectronics Corp. Optical sensing apparatus and optical setting method
CN104205809B (zh) * 2012-03-28 2016-06-15 富士胶片株式会社 固体摄像元件、摄像装置及固体摄像元件的驱动方法
CN104221369B (zh) * 2012-03-28 2016-02-10 富士胶片株式会社 摄像元件以及使用该摄像元件的摄像装置和摄像方法
JP5657182B2 (ja) * 2012-05-10 2015-01-21 富士フイルム株式会社 撮像装置及び信号補正方法
JP5680797B2 (ja) * 2012-06-07 2015-03-04 富士フイルム株式会社 撮像装置、画像処理装置、及び画像処理方法
JPWO2014027588A1 (ja) * 2012-08-14 2016-07-25 ソニー株式会社 固体撮像装置および電子機器
CN104620572B (zh) * 2012-09-19 2016-06-29 富士胶片株式会社 摄像装置及其控制方法
WO2014080674A1 (ja) * 2012-11-22 2014-05-30 富士フイルム株式会社 撮像装置、デフォーカス量演算方法、及び撮像光学系
CN104904197B (zh) * 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
WO2014087804A1 (ja) * 2012-12-07 2014-06-12 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
CN104838646B (zh) * 2012-12-07 2016-11-23 富士胶片株式会社 图像处理装置、图像处理方法、程序及记录介质
JP5860168B2 (ja) * 2012-12-21 2016-02-16 富士フイルム株式会社 固体撮像装置
JP2015037102A (ja) * 2013-08-12 2015-02-23 株式会社東芝 固体撮像装置
JP2015060855A (ja) * 2013-09-17 2015-03-30 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US20150090909A1 (en) * 2013-09-30 2015-04-02 Capella Microsystems (Taiwan), Inc. Selectable view angle optical sensor
US9392198B2 (en) * 2014-02-26 2016-07-12 Semiconductor Components Industries, Llc Backside illuminated imaging systems having auto-focus pixels

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1968423A (zh) * 2005-11-17 2007-05-23 索尼株式会社 固体摄像元件的信号处理装置和信号处理方法及摄像装置
CN101427127A (zh) * 2006-04-26 2009-05-06 夏普株式会社 滤色器检测方法、滤色器制造方法和滤色器检测装置
CN101584222A (zh) * 2007-05-31 2009-11-18 松下电器产业株式会社 图像处理装置
CN101527311A (zh) * 2008-03-06 2009-09-09 佳能株式会社 图像感测装置和成像系统
CN101754029A (zh) * 2008-11-28 2010-06-23 佳能株式会社 信号处理设备、摄像设备、摄像系统和信号处理方法
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法
CN102917181A (zh) * 2011-08-02 2013-02-06 索尼公司 图像传感器、成像装置以及成像方法

Also Published As

Publication number Publication date
JPWO2014136570A1 (ja) 2017-02-09
WO2014136570A1 (ja) 2014-09-12
US9363491B2 (en) 2016-06-07
JP5802858B2 (ja) 2015-11-04
US20150326838A1 (en) 2015-11-12
CN104995912A (zh) 2015-10-21

Similar Documents

Publication Publication Date Title
CN104995912B (zh) 摄像装置、图像处理装置及图像处理方法
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN105814882B (zh) 摄像模块及摄像装置
CN104838646B (zh) 图像处理装置、图像处理方法、程序及记录介质
CN104995911B (zh) 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN105580348B (zh) 摄像装置及摄像方法
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN104904197A (zh) 摄像装置、异常倾斜入射光检测方法、程序及记录介质
CN105409198B (zh) 摄像装置及图像处理方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN105103534B (zh) 摄像装置及校准方法
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
CN105075235B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104205204A (zh) 图像显示装置及方法
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN104969545A (zh) 图像处理装置、摄像装置、图像处理方法以及程序
CN107431769A (zh) 摄像装置、闪烁检测方法及闪烁检测程序
CN104272732B (zh) 图像处理装置、方法及摄像装置
CN110447223A (zh) 成像元件以及摄像装置
US9350962B2 (en) Image processing device, imaging apparatus, computer, image processing method, and non-transitory computer readable medium
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN104243804A (zh) 摄像设备、图像处理设备及其控制方法
CN110463193A (zh) 摄像装置及图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant