CN104904197B - 摄像装置及异常倾斜入射光检测方法 - Google Patents

摄像装置及异常倾斜入射光检测方法 Download PDF

Info

Publication number
CN104904197B
CN104904197B CN201380063221.7A CN201380063221A CN104904197B CN 104904197 B CN104904197 B CN 104904197B CN 201380063221 A CN201380063221 A CN 201380063221A CN 104904197 B CN104904197 B CN 104904197B
Authority
CN
China
Prior art keywords
pixel
color
incident illumination
abnormal dip
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380063221.7A
Other languages
English (en)
Other versions
CN104904197A (zh
Inventor
泽田石有人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104904197A publication Critical patent/CN104904197A/zh
Application granted granted Critical
Publication of CN104904197B publication Critical patent/CN104904197B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Abstract

本发明提供与拍摄时使用的透镜等无关地精度良好地检测由眩光等引起的异常倾斜入射光的摄像装置、异常倾斜入射光检测方法、程序及记录介质。在本发明的一形态中，构成彩色摄像元件(27)的多个像素包含由在水平方向A及垂直方向B上彼此相邻的具有红色的滤色器的红色像素R和具有蓝色的滤色器的蓝色像素B构成的第一RB像素对(52)及第二RB像素对(54)。在第一RB像素对(52)与第二RB像素对(54)之间，红色像素R的位置与蓝色像素B的位置对调。对第一RB像素对(52)的蓝色像素B的像素数据与第二RB像素对(54)的蓝色像素的像素数据进行比较，而检测有无眩光(异常倾斜入射光)向彩色摄像元件(27)入射。

Description

摄像装置及异常倾斜入射光检测方法
技术领域
本发明涉及摄像装置及异常倾斜入射光检测方法，尤其涉及眩光等异常倾斜入射光的检测方法。
背景技术
在通过数码相机等摄像装置来拍摄被摄体像时，当较强的光向透镜入射时，在摄影透镜、微距透镜的表面反射的光在透镜内部、相机内部复杂地进行反射，有时以未预料到的角度行进的光被摄像元件受光。如此，由从未预料到的角度向摄像元件入射的异常倾斜入射光会引起所谓的重影、眩光等现象，使摄影图像的画质变差。
尤其是在异常倾斜入射光的角度较大的情况下，异常倾斜入射光的至少一部分会入射到与所通过的滤色器相邻的像素的光电二极管。如此，在异常倾斜入射光所通过的滤色器与实际受光的光电二极管不完全对应的情况下，由于该异常倾斜入射光而较大地引起所谓的混色现象，导致摄影图像的颜色再现性变差。尤其是由于长波长成分(例如红色光成分)而在相邻像素之间产生混色现象。
例如在摄像时的光圈值为F2.8的情况下，±10度左右的入射光入射到各像素就足够，但由于透镜的内表面反射、玻璃罩与摄像元件主体之间的反射等，异常倾斜光有可能以预料之外的角度入射到各像素。
尤其是近年来，采用背照式的摄像元件而向摄像元件的各像素的可入射角度变大，来自未预料到的角度的异常倾斜入射光照射到各像素的可能性进一步变高。
异常倾斜入射光具有越是长波长成分则越深地渗透到硅内部的性质，因此越是长波长频域的异常倾斜入射光则对周边像素的影响越大。因此，在将RGB滤色器用于摄像元件的情况下，在与R滤光片像素相邻配置的像素的输出数据中，由通过了R滤光片的异常倾斜入射光引起的混色的影响容易突显出来。
作为减轻这样的异常倾斜入射光的影响的方法，例如专利文献1公开了能够再现降低了彩色眩光的像的电子摄像装置。通过该电子摄像装置，在彩色眩光的显眼的一定数量的相邻像素之间(例如6个像素之间)，检测存在亮度差为一定等级以上的像素的区域。
另外专利文献2公开了对在图像数据中与非成像光对应的图像成分进行校正的图像处理装置。根据该图像处理装置，基于与对应于衍射次数的眩光图像半径对应的相邻像素组的平均亮度值与关注像素组的亮度值之差，使与无用衍射光对应的眩光图像相对于背景图像明显。
专利文献
专利文献1：日本特开2001-145117号公报
专利文献2：日本特开2005-136852号公报
发明内容
发明要解决的课题
但是，专利文献1及专利文献2的方法未必能够充分降低眩光的影响。
在专利文献1的电子摄像装置中，将存在亮度差为一定等级以上的像素的区域检测为彩色眩光显眼的区域。因此，例如在原本具有一定等级以上的亮度差的被摄体的摄影图像中，有可能即使未产生眩光，也被误检测为产生了眩光，有可能进行误校正。
另外，专利文献2的图像处理装置由于将基于由衍射光学元件产生的无用衍射光的眩光像设为对象，因此其适用范围限定于与使用了衍射光学元件的透镜组合的情况。
因此，人们希望提出不限定拍摄时使用的透镜等并能够限定性地检测成为眩光等的主要原因的异常倾斜入射光而进行适当的混色校正的新方法。
本发明鉴于上述情况而作出，其目的是提供与拍摄时使用的透镜等无关地精度良好地检测引起眩光等的异常倾斜入射光的技术。
用于解决课题的方案
本发明的一形态涉及摄像装置，具备：摄像元件，具有排列于第一方向和与第一方向垂直的第二方向上的多个像素，多个像素分别具有滤色器和对透过了滤色器的光进行受光而输出像素数据的光电二极管；及异常倾斜入射光检测单元，基于像素数据来检测有无异常倾斜入射光向摄像元件入射，多个像素包含第一像素对和第二像素对，上述第一像素对和第二像素对由在第一方向和第二方向中的至少一方向上彼此相邻的具有第一色的滤色器的第一色像素和具有第二色的滤色器的第二色像素构成，并具有第一色像素的位置与第二色像素的位置对调了的配置，第一色的滤色器在红色光的波长区域的至少一部分中具有比第二色的滤色器高的透过率，异常倾斜入射光检测单元对第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据进行比较，而检测有无异常倾斜入射光的入射。
根据本形态，能够基于第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据之差，精度良好地检测异常倾斜入射光(尤其是包含红色光的波长区域的成分的异常倾斜入射光)。
另外，在此所说的“异常倾斜入射光”是与构成被摄体像的通常光不同的预料之外的光要素，是所通过的滤色器和光电二极管不包含于同一像素的光要素。作为该异常倾斜入射光，例如可包含引起重影、眩光等现象的光要素。一般，重影是如下的现象：通过经由透镜表面、摄像元件表面处的反射而通过与本来的成像光(有效成像光)的光路不同的光路而到达像面上的光(无用光)，而形成在视觉上认出一定的形状的光学像。另外，眩光是如下的现象：在较强的光入射到光学系统的情况下，入射光的一部分在透镜表面、摄像元件表面上反射而作为无用光到达像面上，引起在视觉上无法认出一定的形状的图像异常，在生成图像中产生对比度下降、光的扩渗等。
另外，“第一方向”及“第二方向”不作特别限定，只要是形成为相互垂直(实质上包含垂直)的方向即可。例如可以在摄像装置的摄像时将相对于被摄体的“水平方向”及“垂直方向”设为“第一方向”及“第二方向”，也可以将相对于上述“水平方向”及“垂直方向”具有任意的角度的方向设为“第一方向”及“第二方向”。因此，在以使沿着水平方向及垂直方向呈二维地排列的多个像素旋转了45度的所谓“蜂窝式排列”配置多个像素的情况下，可将与“水平方向”及“垂直方向”构成45度的方向作为“第一方向”及“第二方向”。
另外“红色光的波长区域的至少一部分”是红色的波长区域的全部或一部分。例如在设为“590nm～750nm”的波长区域的光(可见光线)是红色光的情况下，第一色的滤色器在“590nm～750nm”波长区域的整个区域或至少一部分中具有比第二色的滤色器高的透过率。
优选的是，第一色的滤色器在600nm～650nm的波长区域的光的透过率为50％以上，第二色的滤色器在600nm～650nm的波长区域的光的透过率小于50％。更优选的是，第一色的滤色器在630nm～650nm的波长区域的光的透过率为50％以上，第二色的滤色器在630nm～650nm的波长区域的光的透过率小于50％。更优选的是，第一色的滤色器在600nm～650nm的波长区域的光的透过率为60％以上。更优选的是，第一色的滤色器在600nm～650nm的波长区域的光的透过率为70％以上。更优选的是，第一色的滤色器在600nm～650nm的波长区域的光的透过率为80％以上。更优选的是，第一色的滤色器在600nm～650nm的波长区域的光的透过率为90％以上。更优选的是，第二色的滤色器在600nm～650nm的波长区域的光的透过率小于40％。更优选的是，第二色的滤色器在600nm～650nm的波长区域的光的透过率小于30％。更优选的是，第二色的滤色器在600nm～650nm的波长区域的光的透过率小于20％。更优选的是，第二色的滤色器在600nm～650nm的波长区域的光的透过率小于10％。
摄像时的所谓的眩光现象包含600nm～650nm的波长区域的红色光的情况较多。根据本形态，能够效率良好地检测包含这样的波长区域的红色光成分的异常倾斜入射光。
优选的是，第一色的滤色器是红色滤光片、透明滤光片和白色滤光片中的任一个，第二色的滤色器是蓝色滤光片和绿色滤光片中的任一个。
在该情况下，能够效率良好地检测包含红色光的波长区域的成分的异常倾斜入射光。
另外，红色滤光片主要使红色波长区域的光透过，蓝色滤光片主要使蓝色波长区域的光透过，绿色滤光片主要使绿色波长区域的光透过。另外，透明滤光片及白色滤光片是红色波长区域的光、蓝色波长区域的光及绿色波长区域的光都能透过的滤光片，透明滤光片具有比较高的透光率(例如70％以上的透光率)，白色滤光片具有比透明滤光片低的透光率。
优选的是，异常倾斜入射光检测单元基于第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据的差值是否为阈值以上，检测有无异常倾斜入射光的入射。
在该情况下，在第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据的差值为阈值以上的情况下，能够检测为“有异常倾斜入射光的入射”，因此能够有效地防止由像素固有的像素数据的偏差(误差)等引起的误检测。
另外，在此所说的“阈值”能够根据检测对象的异常倾斜入射光的特性而适当确定。
优选的是，异常倾斜入射光检测单元基于第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据的大小关系，判定异常倾斜入射光的入射方向。
在该情况下，能够基于第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据的大小关系，而简单地判定异常倾斜入射光的入射方向。
优选的是，摄像装置还具备校正单元，基于异常倾斜入射光检测单元的检测结果，对具有异常倾斜入射光所入射的光电二极管的像素的像素数据进行校正，校正单元基于由异常倾斜入射光检测单元判定的异常倾斜入射光的入射方向，对多个像素中的具有异常倾斜入射光所入射的光电二极管的像素进行判别。
在该情况下，能够基于异常倾斜入射光的入射方向，对具有异常倾斜入射光所入射的光电二极管的像素进行判别，并对判别出的像素的像素数据进行校正。
优选的是，校正单元基于第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据的差值，对具有异常倾斜入射光所入射的光电二极管的像素的像素数据进行校正。
在该情况下，具有异常倾斜入射光所入射的光电二极管的像素的像素数据利用第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据的差值进行校正，能够减少图像数据中的异常倾斜入射光的影响。
优选的是，校正单元基于以下像素的像素数据而对具有异常倾斜入射光所入射的光电二极管的像素的像素数据进行校正，该像素是具有与具有异常倾斜入射光所入射的光电二极管的像素相同颜色的滤色器的像素，且具有异常倾斜入射光未入射的光电二极管。
在该情况下，利用具有异常倾斜入射光未入射的光电二极管的像素的像素数据来校正具有异常倾斜入射光所入射的光电二极管的像素的像素数据，能够减少图像数据中的异常倾斜入射光的影响。
优选的是，多个像素包含多个像素块，多个像素块分别包含：构成第一像素对及第二像素对的像素和与构成第一像素对及第二像素对的像素相邻的像素，多个像素中的至少一部分被分类为多个像素块中的任一个，校正单元在由异常倾斜入射光检测单元检测出有异常倾斜入射光的入射并包含第一像素对和第二像素对在内的像素块中，基于第一像素对的第二色像素的像素数据和第二像素对的第二色像素的像素数据，对具有异常倾斜入射光所入射的光电二极管的像素的像素数据进行校正。
在该情况下，能够对应每个像素块对具有异常倾斜入射光所入射的光电二极管的像素的像素数据进行校正。
优选的是，多个像素包含：多个像素块和设于多个像素块之间的多个缓冲块，多个像素分别被分类为多个像素块和多个缓冲块中的任一种，校正单元基于与缓冲块相邻的像素块中的具有异常倾斜入射光所入射的光电二极管的像素的像素数据的校正量，对缓冲块所包含的像素中的具有异常倾斜入射光所入射的光电二极管的像素的像素数据进行校正。
在该情况下，能够基于与缓冲块相邻的像素块中的像素数据的校正量，精度良好地对缓冲块所包含的像素的像素数据进行校正。
优选的是，多个像素包含第一像素对块和第二像素对块，在第一像素对块和第二像素对块的各像素对块中，第一像素对和第二像素对相邻配置并在第一方向上排列2个像素且在第二方向上排列2个像素，在第一像素对块与第二像素对块之间，第一色像素的位置与第二色像素的位置对调，异常倾斜入射光检测单元基于第一像素对块所包含的具有第二色的滤色器的两个像素的像素数据与第二像素对块所包含的具有第二色的滤色器的两个像素的像素数据，判定异常倾斜入射光的入射方向。
在该情况下，能够基于来自第一色像素的位置与第二色像素的位置对调了的第一像素对块及第二像素对块的像素数据，精度良好地判定异常倾斜入射光的入射方向。
优选的是，第一像素对块包含：第一像素，第一方向上的一侧和第二方向上的一侧与第一色像素相邻并具有第二色的滤色器；及第二像素，第一方向上的另一侧和第二方向上的另一侧与第一色像素相邻并具有第二色的滤色器，第二像素对块包含：第三像素，第一方向上的另一侧和第二方向上的一侧与第一色像素相邻并具有第二色的滤色器；及第四像素，第一方向上的一侧和第二方向上的另一侧与第一色像素相邻并具有第二色的滤色器，异常倾斜入射光检测单元根据第一像素的像素数据与第二像素的像素数据的大小关系和第三像素的像素数据与第四像素的像素数据的大小关系，判定异常倾斜入射光的入射方向。
在该情况下，能够基于来自第一色像素的位置与第二色像素的位置对调了的第一像素对块及第二像素对块的像素数据，精度良好地对异常倾斜入射光的入射方向进行判定。
优选的是，在多个像素块的各像素块中，第一像素对与第二像素对沿第一方向或第二方向设置，多个像素块包含在第一方向和第二方向中的、设置多个像素块各自所包含的第一像素对与第二像素对的方向上相邻的像素块，校正单元对由异常倾斜入射光检测单元检测出有异常倾斜入射光的入射并包含第一像素对和第二像素对的像素块中的具有异常倾斜入射光所入射的光电二极管的像素的像素数据基于像素块的第一像素对的第二色像素的像素数据和第二像素对的第二色像素的像素数据以及与像素块相邻的像素块的第一像素对的第二色像素的像素数据和第二像素对的第二色像素的像素数据来进行校正。
在该情况下，不仅考虑校正对象的像素块中的第一像素对的第二色像素的像素数据及第二像素对的第二色像素的像素数据，而且也考虑与该校正对象的像素块相邻的像素块的第一像素对的第二色像素的像素数据及第二像素对的第二色像素的像素数据，能够精度良好地对校正对象的像素块的像素数据进行校正。
优选的是，多个像素包含多个基本排列像素组，所述多个基本排列像素组具有滤色器排列图案，并沿第一方向和第二方向排列设置，多个基本排列像素组分别包含第一像素对和第二像素对。
在该情况下，由于与基本排列像素组的数量对应地配置第一像素对及第二像素对，因此能够在多个像素整体上均匀地配置第一像素对及第二像素对。
本发明的其他形态涉及异常倾斜入射光检测方法，基于从摄像元件输出的像素数据来检测有无异常倾斜入射光向摄像元件入射，上述摄像元件具有排列于第一方向和与第一方向垂直的第二方向上的多个像素，多个像素分别具有滤色器和对透过了滤色器的光进行受光而输出像素数据的光电二极管，多个像素包含第一像素对和第二像素对，上述第一像素对和第二像素对由在第一方向和第二方向中的至少一方向上彼此相邻的具有第一色的滤色器的第一色像素和具有第二色的滤色器的第二色像素构成，并具有第一色像素的位置与第二色像素的位置对调了的配置，第一色的滤色器在红色光的波长区域的至少一部分中具有比第二色的滤色器高的透过率，所述异常倾斜入射光检测方法包含如下步骤：取得第一像素对的第二色像素的像素数据和第二像素对的第二色像素的像素数据；及对所取得的第一像素对的第二色像素的像素数据与所取得的第二像素对的第二色像素的像素数据进行比较，而检测有无异常倾斜入射光的入射。
本发明的其他形态涉及程序，用于使计算机执行基于从摄像元件输出的像素数据来检测有无异常倾斜入射光向摄像元件入射的过程，上述摄像元件具有排列于第一方向和与第一方向垂直的第二方向上的多个像素，多个像素分别具有滤色器和对透过了滤色器的光进行受光而输出像素数据的光电二极管，多个像素包含第一像素对和第二像素对，上述第一像素对和第二像素对由在第一方向和第二方向中的至少一方向上彼此相邻的具有第一色的滤色器的第一色像素和具有第二色的滤色器的第二色像素构成，并具有第一色像素的位置与第二色像素的位置对调了的配置，第一色的滤色器在红色光的波长区域的至少一部分中具有比第二色的滤色器高的透过率，所述程序用于使计算机执行如下过程：取得第一像素对的第二色像素的像素数据和第二像素对的第二色像素的像素数据；及对所取得的第一像素对的第二色像素的像素数据与所取得的第二像素对的第二色像素的像素数据进行比较，而检测有无异常倾斜入射光的入射。
本发明的其他形态涉及记录介质，是记录有用于使计算机执行基于从摄像元件输出的像素数据来检测有无异常倾斜入射光向摄像元件入射的过程的程序的、计算机可读取的代码的非临时性记录介质，上述摄像元件具有排列于第一方向和与该第一方向垂直的第二方向上的多个像素，多个像素分别具有滤色器和对透过了该滤色器的光进行受光而输出像素数据的光电二极管，多个像素包含第一像素对和第二像素对，上述第一像素对和第二像素对由在第一方向和第二方向中的至少一方向上彼此相邻的具有第一色的滤色器的第一色像素和具有第二色的滤色器的第二色像素构成，并具有第一色像素的位置与第二色像素的位置对调了的配置，第一色的滤色器在红色光的波长区域的至少一部分中具有比第二色的滤色器高的透过率，检测有无异常倾斜入射光向摄像元件入射的过程包含：取得第一像素对的第二色像素的像素数据和第二像素对的第二色像素的像素数据；及对所取得的第一像素对的第二色像素的像素数据与所取得的第二像素对的第二色像素的像素数据进行比较，而检测有无异常倾斜入射光的入射。
发明效果
根据本发明，能够基于第一像素对的第二色像素的像素数据与第二像素对的第二色像素的像素数据之差，与拍摄时使用的透镜等无关地精度良好地检测引起眩光等的异常倾斜入射光(尤其是包含红色光的波长区域的成分的异常倾斜入射光)。
附图说明
图1是表示数码相机的一结构例的框图。
图2A是表示彩色摄像元件的摄像面的一例的图，是对摄像面的一部分进行放大后的图。
图2B是表示彩色摄像元件的摄像面的一例的其他图，是对图2A所示的第一RB像素对及其周边像素进行放大而表示的图。
图2C是表示彩色摄像元件的摄像面的一例的其他图，是对图2A所示的第二RB像素对及其周边像素进行放大而表示的图。
图3A是对混色现象的机理进行说明的剖视图，表示G像素、R像素及B像素的相邻配置例。
图3B是对混色现象的机理进行说明的剖视图，表示B像素、R像素及G像素的相邻配置例。
图4是表示受到由水平方向的红色异常倾斜入射光引起的混色的影响的像素的图。
图5是表示图1的图像处理电路中的异常倾斜入射光检测校正部的功能结构的框图。
图6是表示第一实施方式的彩色摄像元件的像素排列的图。
图7A是表示像素块的图，表示在检测水平方向的红色异常倾斜入射光时利用的像素块。
图7B是表示像素块的图，表示在检测垂直方向的红色异常倾斜入射光时利用的像素块。
图8是表示第一实施方式的红色异常倾斜入射光的检测及混色校正的流程的流程图。
图9A是表示第二实施方式的彩色摄像元件的像素排列的图，表示在检测水平方向的红色异常倾斜入射光时利用的像素块。
图9B是表示第二实施方式的彩色摄像元件的像素排列的图，表示在检测垂直方向的红色异常倾斜入射光时利用的像素块。
图10是表示第三实施方式的彩色摄像元件的像素排列的图。
图11是表示第四实施方式的彩色摄像元件的像素排列的图。
图12是表示能够应用本发明的其他像素排列(滤色器排列)的例子的图。
图13是表示彩色摄像元件的像素排列的一变形例的图。
图14是表示作为本发明的摄像装置的一实施方式的智能手机的外观的图。
图15是表示图12所示的智能手机的结构的框图。
具体实施方式
参照附图对本发明的实施方式进行说明。首先，对作为本发明的一应用例的数码相机(摄像装置)的基本结构进行说明，之后对利用相邻的R(红色)像素及B(蓝色)像素的像素数据的异常倾斜入射光(眩光等)的检测方法进行说明。
图1是表示数码相机10的一结构例的框图。另外，在本例中，对图1所示的结构中的除了镜头单元14以外的各部设于相机主体12的例子进行说明，但也可以根据需要将各部设于镜头单元14。
数码相机(摄像装置)10具备：相机主体12及可更换地安装于相机主体12的前表面的镜头单元14。
镜头单元14具备：包含变焦透镜21及聚焦透镜22在内的摄影光学系统20、机械快门23等。变焦透镜21及聚焦透镜22分别由变焦机构24及聚焦机构25驱动，沿着摄影光学系统20的光轴O1前后移动。变焦机构24及聚焦机构25由齿轮、马达等构成。
机械快门23具有移动部(省略图示)，该移动部在阻止被摄体光向彩色摄像元件27入射的闭合位置和容许被摄体光的入射的开放位置之间移动。通过使移动部移动到开放位置/闭合位置，开放/切断从摄影光学系统20至彩色摄像元件27的光路。另外，机械快门23包含对入射到彩色摄像元件27的被摄体光的光量进行控制的光圈。机械快门23、变焦机构24及聚焦机构25经由镜头驱动器26而被CPU30驱动控制。
设于相机主体12的CPU30基于来自操作部36的控制信号，依次执行从存储器37读出的各种程序、数据，对数码相机10的各部进行集中控制。存储器37的RAM区域作为用于CPU30执行处理的工作存储器、各种数据的临时保存处而发挥作用。
操作部36包含由使用者操作的按钮、键、触摸面板及与这些类似的结构。例如，操作部36可包含：设于相机主体12并由使用者操作的电源开关、快门按钮、对焦模式切换杆、对焦环、模式切换按钮、十字选择键、执行键、后退按钮等。
彩色摄像元件27将通过了摄影光学系统20及机械快门23的被摄体光转换为电输出信号而输出。该彩色摄像元件27具有将多个像素沿着水平方向(第一方向)及与该水平方向垂直的垂直方向(第二方向)排列设置而构成的单板式像素排列，能够采用CCD(ChargeCoupled Device：电荷耦合元件)、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等任意的方式。
构成彩色摄像元件27的各像素的详细情况后述，但具有：提高聚光率的微透镜、RGB等的滤色器、对透过了微透镜及滤色器的光进行受光而输出像素数据的光电二极管(光电转换元件)。
摄像元件驱动器31在CPU30的控制下对彩色摄像元件27进行驱动控制，使摄像信号(图像数据)从彩色摄像元件27的像素输出到图像处理电路32。
图像处理电路32对从彩色摄像元件27输出的摄像信号(图像数据)实施灰度变换、白平衡校正、γ校正处理等各种图像处理而生成摄影图像数据。尤其是本例的图像处理电路32，详细情况后述，但对眩光等包含红色波长区域成分的异常倾斜光进行检测及混色校正。
在由使用者对快门按钮进行了按下操作时，压缩/扩展处理电路34对存储于存储器37的VRAM区域的摄影图像数据实施压缩处理。另外压缩/扩展处理电路34对经由介质接口33从存储卡38得到的压缩图像数据实施压缩/扩展处理。介质接口33对于存储卡38进行摄影图像数据的记录及读出等。
在拍摄模式时，显示控制部35进行如下控制：使EVF(电子取景器)39及背面LCD(背面液晶)40中的至少一方显示由图像处理电路32生成的实时取景图像(即时预览图像)。另外，在图像重放模式时，显示控制部35将由压缩/扩展处理电路34扩展后的摄影图像数据向背面LCD40(及/或EVF39)输出。
在数码相机10(相机主体12)也可以设有上述以外的其他处理电路等，例如设有自动对焦用的AF检测电路、自动曝光调节用的AE检测电路。CPU30基于AF检测电路的检测结果，经由镜头驱动器26及聚焦机构25对聚焦透镜22进行驱动，由此执行AF处理，另外基于AE检测电路的检测结果，经由镜头驱动器26对机械快门23进行驱动，由此执行AE处理。
接着，对眩光等包含红色波长区域成分的异常倾斜光的检测及混色校正进行说明。另外，将“包含红色波长区域成分的异常倾斜光”称为“红色异常倾斜入射光”。
图2A～2C是表示彩色摄像元件27的摄像面的一例的图，图2A是对摄像元件面的一部分进行放大后的图，图2B是对图2A所示的第一RB像素对52及其周边像素进行放大而显示的图，图2C是对图2A所示的第二RB像素对54及其周边像素进行放大而显示的图。
彩色摄像元件27具有多个具有红色的滤色器的R(红色)像素50R、具有绿色的滤色器的G(绿色)像素50G及具有蓝色的滤色器的B(蓝色)像素50B，上述多个像素50规则地排列而构成摄像面。R像素50R的滤色器在红色光的波长区域(整个区域或至少一部分)中具有比G像素50G及B像素50B的滤色器高的透过率，G像素50G的滤色器在绿色光的波长区域(整个区域或至少一部分)中具有比R像素50R及B像素50B的滤色器高的透过率，B像素50B的滤色器在蓝色光的波长区域(整个区域或至少一部分)中具有比G像素50G及R像素50R的滤色器高的透过率。
例如，红色的滤色器在至少600nm～650nm的波长区域的光的透过率为50％以上，但绿色的滤色器及蓝色的滤色器在600nm～650nm的波长区域的光的透过率小于50％。
本实施方式的多个像素50包含在水平方向(参照图2A的箭头A)及垂直方向(参照图2A的箭头B)的各个方向上以“R像素(第一色像素)、B像素(第二色像素)”的顺序相邻排列的对和以“B像素、R像素”的顺序相邻排列的对。在图2A中，在水平方向A上以“R像素、B像素”的顺序相邻排列的第一RB像素对(第一像素对)52和在水平方向A上以“B像素、R像素”的顺序相邻排列的第二RB像素对(第二像素对)54由阴影表示。
在例如红色倾斜异常入射光沿着图2A的箭头A方向(水平方向的正方向)向彩色摄像元件27入射情况下，在第一RB像素对52之间，B像素的光电二极管对通过了R像素的滤色器的红色异常倾斜入射光58进行受光，产生混色现象(参照图2B)。另一方面，在第二RB像素对54之间，红色异常倾斜入射光58不通过B像素的滤色器而不被R像素的光电二极管受光，因此不产生混色现象(参照图2C)。
图3A、3B是对混色现象的机理进行说明的剖视图，图3A表示G像素、R像素及B像素的相邻配置例，图3B表示B像素、R像素及G像素的相邻配置例。
在G像素50G、R像素50R及B像素50B的各像素中，微透镜60、滤色器62及光电二极管64沿着被摄体光的行进方向依次设置。构成被摄体光的通常光56通过微透镜60而被聚光，并通过滤色器62而入射到光电二极管64，通常光56所通过的滤色器62与进行受光的光电二极管64对应。
另一方面，红色异常倾斜入射光58以与通常光56不同的角度进入到各像素，通过R像素50R的滤色器62而入射到相邻的像素(在图3A所示的例子中是B像素50B，在图3B所示的例子中是G像素50G)的光电二极管64。因此，红色异常倾斜入射光58所通过的滤色器62与进行受光的光电二极管64不对应，对红色异常倾斜入射光58进行受光的光电二极管64不仅输出与通常光56的受光量对应的像素数据，而且输出与红色异常倾斜入射光58的受光量对应的像素数据。因此，来自对红色异常倾斜入射光58进行受光的光电二极管的输出像素数据与来自未对红色异常倾斜入射光58进行受光的光电二极管的输出像素数据相比增大。例如在图3A及3B的通常光56具有相同的强度的情况下，图3A的B像素50B的输出像素数据值比图3B的B像素50B的输出像素数据值大，另外图3B的G像素50G的输出像素数据值比图3A的G像素50G的输出像素数据值大。
另外，向G像素50G及B像素50B入射的红色异常倾斜入射光58与向R像素50R入射的红色异常倾斜入射光58不同，不被相邻像素的光电二极管64受光或难以被受光。这是因为，红色异常倾斜入射光58所包含的红色波长区域成分不通过(难以通过)G像素50G及B像素50B的滤色器62。另外，因为，红色光成分由于是长波长成分，因此到达光电二极管(例如硅)的深处而容易引起混色现象，与红色光成分相比短波长侧的其他波长成分(蓝色光成分、绿色光成分)不会像红色光成分那么深地进入光电二极管，而难以引起混色现象。
因此，在红色异常倾斜入射光58的入射方向上与R像素50R相邻的像素50中，容易产生由红色异常倾斜入射光58引起的混色现象。例如在红色异常倾斜入射光58沿水平方向(图4中的箭头A方向)向彩色摄像元件27入射的情况下，优选的是，对由图4的阴影所示的“在红色异常倾斜入射光58的入射方向上与R像素50R相邻的像素”的混色进行检测及校正。
以下，对如下形态进行说明：在由于作为主要成分包含红色波长区域成分的红色异常倾斜入射光58而产生眩光现象的情况下，着眼于该红色异常倾斜入射光58引起的混色具有方向性，不向彩色摄像元件27的多个像素插入对生成图像没有帮助的特殊像素，而进行红色异常倾斜入射光58的检测及混色校正。
图5是表示图1的图像处理电路32的异常倾斜入射光检测校正部66的功能结构的框图。
异常倾斜入射光检测校正部66具有：检测红色异常倾斜入射光58的异常倾斜入射光检测部(异常倾斜入射光检测单元)68、根据异常倾斜入射光检测部68的检测结果而校正红色异常倾斜入射光58对摄影图像的影响的异常倾斜入射光校正部(校正单元)70。
异常倾斜入射光检测部68基于多个像素50的像素数据，检测有无红色异常倾斜入射光58向彩色摄像元件27的入射。本例的异常倾斜入射光检测部68被输入马赛克状的图像数据(RAW数据等)，考虑其他颜色像素(参照图2A～2C的第一RB像素对52及第二RB像素对54)相对于R像素的配置位置特性而对马赛克状的图像数据中的各颜色数据的像素数据进行分析，检测有无红色异常倾斜入射光58的入射及入射方向。
异常倾斜入射光校正部70基于异常倾斜入射光检测部68的检测结果，对具有红色异常倾斜入射光58所入射的光电二极管64的像素50的像素数据进行校正。即，异常倾斜入射光校正部70基于由异常倾斜入射光检测部68检测判定的红色异常倾斜入射光58的入射方向，对彩色摄像元件27的多个像素中的具有红色异常倾斜入射光58所入射的光电二极管64的像素50进行判别，对其判别出的像素50的像素数据进行修正。另外，在由异常倾斜入射光检测部68未检测出红色异常倾斜入射光58的情况下，跳过异常倾斜入射光校正部70的校正处理。
异常倾斜入射光检测部68及异常倾斜入射光校正部70的、红色异常倾斜入射光58的具体的检测方法及混色校正方法根据彩色摄像元件27的各颜色的像素排列(滤色器排列)而确定。以下，与滤色器62的排列例建立关联而对红色异常倾斜入射光58的检测及混色校正的具体的方法进行说明。
＜第一实施方式＞
图6是表示第一实施方式的彩色摄像元件27的像素排列的图。构成本实施方式的彩色摄像元件27的多个像素包含多个基本排列像素组P，上述基本排列像素组P具有滤色器排列图案，上述基本排列像素组P在水平方向A及垂直方向B上重复排列设置。
本实施方式的基本排列像素组P由在水平方向A及垂直方向B上具有6像素×6像素的排列的像素构成，基本排列像素组P分别包含第一子排列S1及第二子排列S2各两个，上述第一子排列S1及第二子排列S2在水平方向A及垂直方向B上具有3像素×3像素的像素排列。第一子排列S1彼此及第二子排列S2彼此分别配置在基本排列像素组P的对角线上，第一子排列S1分别在水平方向A及垂直方向B上与第二子排列S2相邻，第二子排列S2分别在水平方向A及垂直方向B上与第一子排列S1相邻。
在第一子排列S1中，在水平方向A上相邻配置的“G像素、G像素、R像素”的行、“G像素、G像素、B像素”的行及“B像素、R像素、G像素”的行沿着垂直方向B排列设置。另外，在第二子排列S2中，在水平方向A上相邻配置的“G像素、G像素、B像素”的行、“G像素、G像素、R像素”的行及“R像素、B像素、G像素”的行沿着垂直方向B排列设置。因此，在基本排列像素组P中，在水平方向A上相邻配置的“G像素、G像素、R像素、G像素、G像素、B像素”的行、“G像素、G像素、B像素、G像素、G像素、R像素”的行、“B像素、R像素、G像素、R像素、B像素、G像素”的行、“G像素、G像素、B像素、G像素、G像素、R像素”的行、“G像素、G像素、R像素、G像素、G像素、B像素”的行、“R像素、B像素、G像素、B像素、R像素、G像素”的行沿着垂直方向B排列设置。
因此，基本排列像素组P中，在水平方向A及垂直方向B的各方向上，R像素与B像素对调配置，分别包含R像素与B像素配置于对调了的位置的第一RB像素对52及第二RB像素对54各两个。
本实施方式的彩色摄像元件27的多个像素被区分为：用于检测水平方向A的红色异常倾斜入射光58的多个像素块72(参照图7A)及用于检测垂直方向B的红色异常倾斜入射光58的多个像素块72(参照图7B)。多个像素块72分别包含：构成第一RB像素对52及第二RB像素对54的像素；和构成第一RB像素对52及第二RB像素对54的像素相邻的像素。
例如用于检测水平方向A的红色异常倾斜入射光58的多个像素块72由“3像素(水平方向A)×6像素(垂直方向)的像素”构成，构成彩色摄像元件27的多个像素量分别被分类为上述像素块72中的任一种。在图7A所示的各像素块72中，在水平方向A上相邻配置的“G像素、G像素、R像素”的行、“R像素、B像素、G像素”的行、“G像素、G像素、R像素”的行、“G像素、G像素、B像素”的行、“B像素、R像素、G像素”的行及“G像素、G像素、B像素”的行沿着垂直方向B排列设置。因此，各像素块72包含第一RB像素对52及第二RB像素对54各一个，像素块72内的第一RB像素对52及第二RB像素对54在垂直方向B上具有3个像素量的距离(间隙)而配置。另外，在水平方向A上相邻的像素块72彼此配置于在垂直方向B上偏移了半个像素块量(在本实施方式为3个像素量)的位置。
异常倾斜入射光检测部68(参照图5)对应每个像素块72检测红色异常倾斜入射光58。具体来说，异常倾斜入射光检测部68对各像素块72的第一RB像素对52的B像素的像素数据与第二RB像素对54的B像素的像素数据进行比较，而检测有无红色异常倾斜入射光58的入射。
如参照图2B及2C所说明的那样，在红色异常倾斜入射光58的入射方向上与R像素相邻的像素(在图2B中为B像素)的输出像素数据值由于红色异常倾斜入射光58而增大。另一方面，在与红色异常倾斜入射光58的入射方向不同的方向上与R像素相邻的像素的输出像素数据值不会由于红色异常倾斜入射光58而增大(参照图2C)。
因此，间隔了多个像素量左右的接近配置的同色像素的像素数据通常一致或近似的情况很多，在红色异常倾斜入射光58入射的情况下，即使是接近配置的同色像素，输出像素数据也较大地不同。如此，因为R像素在水平方向A上的相邻像素的配置的不同，在水平方向A的红色异常倾斜入射光58入射的情况下，第一RB像素对52及第二RB像素对54中的仅一个对的B像素的输出像素数据值异常地增大。因此，在检测出第一RB像素对52及第二RB像素对54中的一个对的B像素输出像素数据的异常增大的情况下，异常倾斜入射光检测部68检测该像素块72的红色异常倾斜入射光58的入射。
例如，在图7A中在水平方向A(正方向)上以“R像素、B像素”的顺序相邻的第一RB像素对52中的B像素的像素数据比以“B像素、R像素”的顺序相邻的第二RB像素对54中的B像素的像素数据大的情况下，能够判断为向水平方向A的正方向行进的红色异常倾斜入射光58入射到该像素块72。另一方面，在第一RB像素对52的B像素的像素数据比第二RB像素对54的B像素的像素数据小的情况下，能够判断为向水平方向A的负方向行进的红色异常倾斜入射光58入射到该像素块72。
如此，异常倾斜入射光检测部68能够基于第一RB像素对52的B像素的像素数据值与第二RB像素对54的B像素的像素数据值的大小关系，对红色异常倾斜入射光58的入射方向进行判定。
另外，在该情况下，通过对第一RB像素对52及第二RB像素对54的B像素的像素数据的差值与阈值(参照后述图8所示的“T1”、“-T1”)进行比较，能够判定有无红色异常倾斜入射光58的入射。即，在第一RB像素对52及第二RB像素对54中的B像素的像素数据的差值的绝对值比阈值大的情况下，能够判定为红色异常倾斜入射光58入射到该像素块72。
此时所使用的“阈值”能够根据检测对象的异常倾斜入射光(眩光等)的特性而适当确定。例如，也能够将“阈值”设定为比由检测误差引起的像素数据值大且在视觉辨认上显眼的程度的异常倾斜入射光的像素数据值以下的值，以避免将由像素特性引起的检测误差误检测为异常倾斜入射光的入射，另外以能够检测在视觉辨认上显眼的异常倾斜入射光的入射。
在由异常倾斜入射光检测部68检测出有红色异常倾斜入射光58的入射并包含第一RB像素对52及第二RB像素对54的像素块72中，异常倾斜入射光校正部70基于第一RB像素对52的B像素的像素数据及第二RB像素对54的B像素的像素数据，对具有红色异常倾斜入射光58所入射的光电二极管64的像素的像素数据进行校正。即，异常倾斜入射光校正部70基于第一RB像素对52的B像素的像素数据与第二RB像素对54的B像素的像素数据的差值，对具有红色异常倾斜入射光58所入射的光电二极管64的像素的像素数据进行校正。
在本实施方式中，将第一RB像素对52的B像素的像素数据与第二RB像素对54的B像素的像素数据的差值看作眩光成分(红色异常倾斜入射光成分)而进行混色校正。因此，将像素块72内的第一RB像素对52及第二RB像素对54的B像素的像素数据的差的绝对值设为校正值，对应每个像素块72，基于该差的绝对值对像素数据进行校正。异常倾斜入射光校正部70通过从红色异常倾斜入射光58所入射的像素(参照在图7A中设为阴影的像素)的像素数据值减去该校正值，进行混色校正。
另外，在上述中，对水平方向A上的红色异常倾斜入射光58的检测及混色校正时的处理进行了说明，垂直方向B上的红色异常倾斜入射光58的检测及混色校正也能够与水平方向A上的红色异常倾斜入射光58的检测及混色校正时相同地进行。
例如，将彩色摄像元件27的多个像素分别如图7B所示分类为6像素(水平方向A)×3像素(垂直方向B)的像素块。能够基于在各像素块72内在垂直方向B(负方向)上以“R像素、B像素”的顺序相邻的第一RB像素对52及以“B像素、R像素”的顺序相邻的第二RB像素对54的B像素的输出像素数据的差值，异常倾斜入射光检测部68进行有无红色异常倾斜入射光58的检测及入射方向的判定，异常倾斜入射光校正部70对由红色异常倾斜入射光58引起的混色进行校正。
因此，根据本实施方式，能够独立地进行水平方向A(左右方向)的红色异常倾斜入射光58的检测及混色校正和垂直方向B(上下方向)的红色异常倾斜入射光58的检测及混色校正。由此，例如即使在倾斜方向(相对于水平方向A及垂直方向B具有一定角度的方向)的红色异常倾斜入射光58向彩色摄像元件27入射的情况下，根据本实施方式，也能够将红色异常倾斜入射光58分为水平方向成分和垂直方向成分而进行检测及混色校正。
图8是表示第一实施方式的红色异常倾斜入射光58的检测及混色校正的流程的流程图。另外，在以下的说明中，对水平方向A上的红色异常倾斜入射光58的检测及混色校正的流程进行说明，但垂直方向B上的红色异常倾斜入射光58的检测及混色校正也能够相同地进行。
首先，由异常倾斜入射光检测部68从输入马赛克图像数据取得第一RB像素对52的B像素的像素数据D1及第二RB像素对54的B像素的像素数据D2(图8的S11及S12)。
并且，由异常倾斜入射光检测部68算出第一RB像素对52的B像素的像素数据D1与第二RB像素对54的B像素的像素数据D2的差值，并由异常倾斜入射光检测部68基于该差值来检测有无沿水平方向入射的红色异常倾斜入射光58。具体来说，对像素数据的差值(D1―D2)是否为阈值T1以上进行判定(S13)，在像素数据的差值(D1―D2)为阈值T1以上的情况下(S13的是)，检测水平方向A的正方向的红色异常倾斜入射光58的入射(S15)。
在检测出水平方向的正方向的红色异常倾斜入射光58的入射的情况下，由异常倾斜入射光校正部70对正方向的红色异常倾斜入射光58所入射的像素进行判定，并由异常倾斜入射光校正部70基于像素数据的差值的绝对值|D1―D2|对红色异常倾斜入射光58所入射的像素的像素数据进行校正(S16)。
另一方面，在像素数据的差值(D1―D2)比阈值T1小的情况下(S13的否)，对像素数据的差值(D1―D2)是否为阈值―T1以下进行判定(S14)，在像素数据的差值(D1―D2)为阈值―T1以下的情况下(S14的是)，由异常倾斜入射光检测部68检测水平方向的负方向的红色异常倾斜入射光58的入射(S17)。在检测出水平方向的负方向的红色异常倾斜入射光58的入射的情况下，由异常倾斜入射光校正部70对负方向的红色异常倾斜入射光58所入射的像素进行判定，由异常倾斜入射光校正部70基于像素数据的差值的绝对值|D1―D2|对红色异常倾斜入射光58所入射的像素的像素数据进行校正(S18)。
另外，在像素数据的差值(D1―D2)比阈值T1小(S13的否)且像素数据的差值(D1―D2)比阈值―T1大的情况下(S14的否)，判断为在水平方向上红色异常倾斜入射光58未入射，跳过异常倾斜入射光校正部70的校正处理。
如以上所说明那样，根据本实施方式，能够通过对马赛克图像数据的考虑了各颜色数据的配置特性的像素数据进行比较，精度良好地进行眩光等异常倾斜入射光的检测及混色校正。
尤其是，本实施方式的异常倾斜入射光检测装置及方法能够基于彩色摄像元件27的各颜色数据的配置特性与构成马赛克图像数据的像素数据来检测异常倾斜入射光，不限定在拍摄时使用的透镜等光学系统。
另外，通过将彩色摄像元件27的像素分类为多个像素块72而进行处理，能够灵活地应对红色异常倾斜入射光58的入射角度的变化，在强度不同的多个眩光入射到彩色摄像元件27的情况下、重影光入射到彩色摄像元件27的一部分的情况下、使用了原本入射角度就窄小的老式透镜等的情况下也能够进行应对。
＜第1变形例＞
在上述实施方式中，示出以像素块72为单位进行水平方向A/垂直方向B的红色异常倾斜入射光58的检测及混色校正的例子，在彩色摄像元件27的多个像素中的具有预定大小的范围内，在第一RB像素对52及第二RB像素对54中的B像素的像素数据的差值的绝对值较大的情况下，也可以检测红色异常倾斜入射光58。
即，与上述实施方式相同地，由异常倾斜入射光检测部68求算像素块72内的第一RB像素对52及第二RB像素对54的B像素的像素数据的差值。并且，在预定的范围所包含的全部像素块72中“第一RB像素对52及第二RB像素对54的B像素的像素数据的差值(D1―D2)为阈值T1以上”或“第一RB像素对52及第二RB像素对54的B像素的像素数据的差值(D1―D2)为阈值―T1以下”的情况下，异常倾斜入射光检测部68也可以判定为红色异常倾斜入射光58入射到该预定的范围的像素。
如此，在第一RB像素对52及第二RB像素对54的B像素的像素数据的差值(D1―D2)与阈值T1、―T1的比较结果在预定的范围内相同的情况下检测红色异常倾斜入射光58的入射，由此能够提高异常倾斜入射光的检测精度，并得到分辨率较高的摄影图像。
另外，在此所说的“预定的范围”能够根据检测对象的异常倾斜入射光(眩光等)的特性而适当确定。例如，也能够将在视觉辨认上显眼的程度的范围设定为“预定的范围”，例如也可以将“64像素(水平方向A)×64像素(垂直方向B)的范围”、“30像素(水平方向A)×30像素(垂直方向B)的范围”设定为“预定的范围”。
＜第2变形例＞
在上述实施方式中，从红色异常倾斜入射光58所入射的像素的像素数据值减去第一RB像素对52及第二RB像素对54中的B像素的像素数据的差值的绝对值(校正值)，由此进行混色校正，但混色校正并不限定于该方法。
例如异常倾斜入射光校正部70也能够基于像素的像素数据，对具有红色异常倾斜入射光58所入射的光电二极管64的像素的像素数据进行校正，上述像素是具有与具有红色异常倾斜入射光58所入射的光电二极管64的像素相同颜色的滤色器的像素，且具有红色异常倾斜入射光58未入射的光电二极管64的。在此所说的“具有红色异常倾斜入射光58未入射的光电二极管64的像素”是在红色异常倾斜入射光58的入射方向上不与R像素相邻的像素。
因此，在各像素块72中，对于在红色异常倾斜入射光58的入射方向上与R像素相邻的校正对象像素(具有红色异常倾斜入射光58所入射的光电二极管64的像素)的像素数据，也可以基于具有与该校正对象像素相同颜色的滤色器且在红色异常倾斜入射光58的入射方向上不与R像素相邻的像素的像素数据而进行校正。在该情况下，能够通过将校正对象像素的像素数据替换为在红色异常倾斜入射光58的入射方向上不与R像素相邻的同一像素块72内的像素的像素数据，或替换为同一像素块72中的多个同色像素的平均值、加权平均值，进行混色校正。
＜第3变形例＞
在上述实施方式中，对利用由R像素及B像素的组合构成的对(第一RB像素对52、第二RB像素对54)的配置特性及输出像素数据的例子进行了说明，但也能够通过其他颜色的像素对来进行红色异常倾斜入射光58的检测及混色校正。
例如，也可以代替第一RB像素对52及第二RB像素对54的“B像素”而使用“G像素”，能够基于在水平方向及垂直方向的各个方向上的“R像素、G像素”的相邻像素对及“G像素、R像素”的相邻像素对的G像素的像素数据的差值，与基于B像素的像素数据的差值的上述实施方式相同地实施红色异常倾斜入射光58的检测及混色校正。
但是，RGB的滤色器中的B滤色器在最短波长侧具有透过率的峰值，由于红色异常倾斜入射光而B像素的像素数据最难以饱和，因此通过使用B像素，能够有效地防止红色异常倾斜入射光58的误检测。
另外，在构成彩色摄像元件27的多个像素除了RGB像素以外还包含W像素(透明像素、白色像素)的情况下，也可以代替第一RB像素对52及第二RB像素对54的“R像素”而使用“W像素”。在该情况下，能够基于在水平方向及垂直方向的各个方向上的“W像素、B像素”的相邻像素对及“W像素、B像素”的相邻像素对的B像素的像素数据的差值，与上述实施方式相同地实施红色异常倾斜入射光58的检测及混色校正。
因此，在彩色摄像元件27包含RGBW像素的情况下，也能够将红色滤光片、透明滤光片及白色滤光片中的任一个设为第一色的滤色器，将蓝色滤光片及绿色滤光片中的任一个设为第二色的滤色器，代替上述第一RB像素对52及第二RB像素对54的R像素和B像素而使用相邻配置的“具备第一色的滤色器的像素”及“具备第二色的滤色器的像素”。
另外，彩色摄像元件27也可以包含具有红色、绿色、蓝色、透明及白色以外的颜色的滤色器的像素，也可以将在红色光的波长区域的至少一部分具有相对较高的透光率的颜色的滤色器作为上述第一色的滤色器、将具有相对较低的透光率的颜色的滤色器作为上述第二色的滤色器使用。
另外，即使在代替第一RB像素对52及第二RB像素对54的R像素和B像素而使用任一颜色的滤色器的情况下，检测对象的光波长区域的透过率之差越大则越能够提高检测精度，为优选。因此，在进行红色波长区域的异常倾斜入射光的检测及混色校正的情况下，“W像素、B像素”、“R像素、B像素”的对作为像素块72所包含的相邻像素对为优选。
另外，透明像素及白色像素两者都具有在可见光波长区域的整个区域中具有比较高的透光率的滤色器，但透明像素的滤色器具有比白色像素的滤色器高的透光率。
＜第二实施方式＞
图9A、9B是表示第二实施方式的彩色摄像元件27的像素排列的图，图9A表示在检测水平方向A的红色异常倾斜入射光时利用的像素块72，图9B表示在检测垂直方向B的红色异常倾斜入射光时利用的像素块72。
与上述第一实施方式及变形例相同或类似的结构标注相同的附图标记，并省略其详细的说明。
本实施方式的彩色摄像元件27的整体像素排列(滤色器排列)与第一实施方式相同，但多个像素包含：多个像素块72和设于像素块72之间的多个缓冲块74。
图9A所示的各像素块72由“2像素(水平方向A)×6像素(垂直方向B)”构成，在水平方向A上相邻配置的“G像素、G像素”的行、“R像素、B像素”的行、“G像素、G像素”的行、“G像素、G像素”的行、“B像素、R像素”的行及“G像素、G像素”的行沿着垂直方向B排列设置。因此，本实施方式的各像素块72也包含第一RB像素对52及第二RB像素对54各一个，像素块72内的第一RB像素对52及第二RB像素对54在垂直方向B上具有3个像素量的距离(间隙)而配置。另外，在水平方向A上相邻的像素块72彼此配置于在垂直方向B上偏移了半个像素块量(在本实施方式为3像素量)的位置。
另外，缓冲块74由在水平方向A上为1个像素量、在垂直方向B上相邻配置的像素组构成。
多个像素分别被分类为上述多个像素块72及多个缓冲块74中的任一种。
与上述第一实施方式相同地对像素块72内的像素的像素数据进行红色异常倾斜入射光58的检测及混色校正。即，由异常倾斜入射光检测部68基于各像素块72内的第一RB像素对52及第二RB像素对54的B像素的像素数据的差值，检测有无红色异常倾斜入射光58的入射及入射方向，根据异常倾斜入射光检测部68的检测结果，由异常倾斜入射光校正部70进行混色像素的判定及基于上述差值的混色校正。
另一方面，对于缓冲块74内的像素的像素数据，由异常倾斜入射光校正部70基于与校正对象像素相邻的像素块72中的像素数据校正量而进行混色校正。
缓冲块74所包含的像素中的具有红色异常倾斜入射光58所入射的光电二极管64的像素的判定与上述第一实施方式相同地，基于由异常倾斜入射光检测部68检测的红色异常倾斜入射光58的入射方向而进行。例如在水平方向A的正方向的红色异常倾斜入射光58入射到彩色摄像元件27的情况下，异常倾斜入射光校正部70将缓冲块74中的在该方向上与R像素相邻的像素(在图9A中为设为阴影的G像素)判定为“具有红色异常倾斜入射光58所入射的光电二极管64的像素”。
并且，异常倾斜入射光校正部70基于对于与缓冲块74相邻的像素块72中的具有红色异常倾斜入射光58所入射的光电二极管64的像素的像素数据的混色校正量，对缓冲块74所包含的像素中的具有红色异常倾斜入射光58所入射的光电二极管64的像素的像素数据进行混色校正。
例如，对于图9A所示缓冲块74内的“G像素50Ga”的像素数据的混色校正量由异常倾斜入射光校正部70基于水平方向A的负方向侧与该G像素50Ga相邻的像素块72A的混色校正量和水平方向A的正方向侧与该G像素50Ga相邻的像素块72B的混色校正量而确定。
此时的混色校正量的确定方法能够使用任意的插值方法，例如能够利用线性插值、样条插值等，根据相邻像素块72的混色校正量，确定缓冲块74内的像素中的具有红色异常倾斜入射光58所入射的光电二极管64的像素的像素数据的混色校正量。
另外，垂直方向B上的红色异常倾斜入射光58的检测及混色校正也能够与上述水平方向A上的红色异常倾斜入射光58的检测及混色校正相同地进行。
例如如图9B所示，各像素块72由在水平方向A上相邻配置的“G像素、R像素、G像素、G像素、B像素、G像素”的行及“G像素、B像素、G像素、G像素、R像素、G像素”的行沿着垂直方向B排列设置而成的“6像素(水平方向A)×2像素(垂直方向)”构成。另外，由在垂直方向B上为1个像素量并在水平方向A上相邻配置的像素组构成像素块72之间的缓冲块74。并且，多个像素分别被分类为像素块72及缓冲块74中的任一种，对于像素块72内的像素的像素数据的红色异常倾斜入射光58的检测及混色校正与上述第一实施方式相同地进行。另外，对于缓冲块74内的像素的像素数据的红色异常倾斜入射光58的检测及混色校正与上述水平方向A的红色异常倾斜入射光58的情况相同地进行，由异常倾斜入射光校正部70基于与校正对象像素相邻的像素块72的混色校正量而进行混色校正。
如以上所说明那样，根据本实施方式，在像素块72之间设有缓冲块74，基于相邻像素块72的混色校正量来进行对于缓冲块74内的像素的像素数据的混色校正。由此，能够精度良好地进行尤其是对于缓冲块74内的像素的像素数据的混色校正，能够得到具有更优良的分辨率的摄影图像。
另外，在上述实施方式中，说明了基于相邻像素块72的混色校正量而对缓冲块74内的像素的像素数据进行校正的例子，但除了相邻像素块72以外，也可以考虑与校正对象像素近接的范围内的其他周边像素块72的混色校正量，而对缓冲块74内的像素的像素数据进行混色校正。
＜第三实施方式＞
图10是表示第三实施方式的彩色摄像元件27的像素排列的图。在本实施方式中，通过考虑了两组像素组(第一像素对块76、第二像素对块78)的配置特性的数据处理，而对红色异常倾斜入射光58的入射方向进行判别。
与上述第一实施方式、第二实施方式及变形例相同或类似的结构标注相同的附图标记，并省略其详细的说明。
构成本实施方式的彩色摄像元件27的多个像素的基本排列像素组P由在水平方向A及垂直方向B上具有6像素×6像素的排列的像素构成，各基本排列像素组P包含在水平方向A及垂直方向B上具有3像素×3像素的像素排列的第一子排列S1及第二子排列S2各两个。第一子排列S1彼此及第二子排列S2彼此分别配置在基本排列像素组P的对角线上，第一子排列S1分别在水平方向A及垂直方向B上与第二子排列S2相邻配置，第二子排列S2分别在水平方向A及垂直方向B上与第一子排列S1相邻配置。
在第一子排列S1中，在水平方向A上相邻配置的“R像素、G像素、R像素”的行、“G像素、B像素、G像素”的行及“R像素、G像素、R像素”的行沿着垂直方向B排列设置。另外，在第二子排列S2中，在水平方向A上相邻配置的“B像素、G像素、B像素”的行、“G像素、R像素、G像素”的行及“B像素、G像素、B像素”的行沿着垂直方向B排列设置。因此，在基本排列像素组P中，在水平方向A上相邻配置的“R像素、G像素、R像素、B像素、G像素、B像素”的行、“G像素、B像素、G像素、G像素、R像素、G像素”的行、“R像素、G像素、R像素、B像素、G像素、B像素”的行、“B像素、G像素、B像素、R像素、G像素、R像素”的行、“G像素、R像素、G像素、G像素、B像素、G像素”的行及“B像素、G像素、B像素、R像素、G像素、R像素”的行沿着垂直方向B排列设置。
具有这样的排列的多个像素包含：由第一RB像素对52及第二RB像素对54构成的第一像素对块76及第二像素对块78。图10作为一例而示出用于水平方向A的红色异常倾斜入射光58的检测及混色校正的第一RB像素对52及第二RB像素对54。在第一像素对块76及第二像素对块78的各像素对块中，第一RB像素对52及第二RB像素对54相邻配置，在水平方向A上排列2个像素并且在垂直方向B上排列2个像素。另外，在第一像素对块76与第二像素对块78之间，R像素及B像素的配置对调，R像素的位置及B像素的位置对调(参照图10的R1～R4及B1～B4)。
因此，第一像素对块76包含：水平方向A上的正方向侧及垂直方向B上的正方向侧与R像素相邻的B像素(B2；第一像素)和水平方向A上的负方向侧及垂直方向B上的负方向侧与R像素相邻的B像素(B1；第二像素)。另外，第二像素对块78包含：水平方向A上的负方向侧及垂直方向B上的正方向侧与R像素相邻的B像素(B4；第三像素)和水平方向A上的正方向侧及垂直方向B上的负方向侧与R像素相邻的B像素(B3；第四像素)。
对于异常倾斜入射光检测部68的红色异常倾斜入射光58的检测，能够与上述实施方式相同地通过将第一RB像素对52及第二RB像素对54的B像素的像素数据的差值与阈值进行比较，判定有无红色异常倾斜入射光58的入射。在本实施方式中，由于第一RB像素对52及第二RB像素对54相邻配置而构成第一像素对块76及第二像素对块78，因此能够基于第一像素对块76及第二像素对块78各自的B像素的像素数据的差值而判定有无红色异常倾斜入射光58的入射。
另一方面，红色异常倾斜入射光58的入射方向基于第一像素对块76所包含的两个B像素的像素数据与第二像素对块78所包含的两个B像素的像素数据而进行判定。即，异常倾斜入射光检测部68根据第一像素对块76所包含的两个B像素(B1、B2)的像素数据的大小关系与第二像素对块78所包含的两个B像素(B3、B4)的像素数据的大小关系来对红色异常倾斜入射光58的入射方向进行判定。
将第一像素对块76的第一RB像素对52的B像素(B1)的像素数据设为D1，将第一像素对块76的第二RB像素对54的B像素(B2)的像素数据设为D2，将第二像素对块78的第二RB像素对54的B像素(B3)的像素数据设为D3，将第二像素对块78的第一RB像素对52的B像素(B4)的像素数据设为D4。
假如在仅使用第一像素对块76的像素数据D1及D2的情况下，仅根据上述像素数据D1及D2，无法严密地判别红色异常倾斜入射光58的入射方向。例如在具有“D1＞D2”的大小关系的情况下，无法区别是由水平方向A的正方向的红色异常倾斜入射光58引起的混色(由R1像素引起的B1像素的混色)还是由垂直方向B的正方向的红色异常倾斜入射光58引起的混色(由R2像素引起的B1像素的混色)。
因此，在本实施方式中，基于第一像素对块76及第二像素对块78的像素数据D1～D4来算出红色异常倾斜入射光58的入射方向。例如在上述情况(具有“D1＞D2”的大小关系的情况)下，在由R1像素引起的B1像素的混色为主导的情况下，“D4＞D3”成立，在由R2像素引起的B1像素的混色为主导的情况下，“D3＞D4”成立。具体来说，图10所示的例子的B像素(B3、B4)的像素数据的大小关系与红色异常倾斜入射光58的入射方向以如下方式对应。
在满足“D1＞D2”并且“D3＜D4”的情况下：水平方向A的正方向的红色异常倾斜入射光58入射到彩色摄像元件27。
在满足“D1＜D2”并且“D3＞D4”的情况下：水平方向A的负方向的红色异常倾斜入射光58入射到彩色摄像元件27。
在满足“D1＞D2”并且“D3＞D4”的情况下：垂直方向B的正方向的红色异常倾斜入射光58入射到彩色摄像元件27。
在满足“D1＜D2”并且“D3＜D4”的情况下：垂直方向B的负方向的红色异常倾斜入射光58入射到彩色摄像元件27。
因此，检测出红色异常倾斜入射光58的入射的异常倾斜入射光检测部68算出例如B像素的像素数据的差值“D1―D2”及“D3―D4”，将红色异常倾斜入射光58的入射方向判定为：“在(D1―D2)为正并且(D3―D4)为负的情况下，是水平方向A的正方向”、“在(D1―D2)为负并且(D3―D4)为正的情况下，是水平方向A的负方向”、“在(D1―D2)为正并且(D3―D4)为正的情况下，是垂直方向B的正方向”、“在(D1―D2)为负并且(D3―D4)为负的情况下，是垂直方向B的负方向”。
另外，在上述中，对水平方向A上的红色异常倾斜入射光58的检测及混色校正时的处理进行了说明，但垂直方向B上的红色异常倾斜入射光58的检测及混色校正也能够与水平方向A上的红色异常倾斜入射光58的检测及混色校正时相同地进行。在该情况下，能够使用在第一像素对块76及第二像素对块78中在垂直方向B上相邻的RB像素的对(在图10所示的例子中为“R1像素、B2像素”、“B1像素、R2像素”、“B3像素、R4像素”、“R3像素、B4像素”)作为第一RB像素对52及第二RB像素对54。
如以上所说明那样，根据本实施方式，即使在仅根据一个第一RB像素对52及一个第二RB像素对54的输出像素数据难以严密地检测红色异常倾斜入射光58的入射方向的情况下，也能够根据使R像素及B像素的配置对调的第一像素对块76及第二像素对块78的输出像素数据来精度良好地检测红色异常倾斜入射光58的入射方向。如此，通过两组像素组(第一RB像素对52、第二RB像素对54)的像素数据，能够对水平方向及垂直方向(上下左右方向)的红色异常倾斜入射光58以一次进行检测及混色校正。
＜第四实施方式＞
在由于被摄体像的配色而本来B像素之间的像素数据产生差的情况下，当通过混色校正而使两个B像素的像素数据为同一值时，在所得到的图像数据中失去被摄体像的本来的配色。因此，在两组RB像素对(第一RB像素对52、第二RB像素对54)的B像素的像素数据之差是由以被摄体像的像素为单位的配色的不同引起的情况下，当进行基于使用了两个像素数据的差值的单纯的减法运算处理的混色校正时，有时所得到的图像的分辨率会下降。
在本实施方式中，对进行用于降低与被摄体像的本来的配色相关的数据的损失而得到分辨率较高的图像数据的混色校正的例子进行说明。
图11是表示第四实施方式的彩色摄像元件27的像素排列的图。
与上述第一实施方式、第二实施方式、第三实施方式及变形例相同或类似的结构标注相同的附图标记，并省略其详细的说明。
构成本实施方式的彩色摄像元件27的多个像素的排列与上述第一实施方式及第二实施方式相同。
另外，多个像素分别被分类为多个像素块72及多个缓冲块74中的任一种这一点及异常倾斜入射光检测部68对有无红色异常倾斜入射光58及入射方向的检测方法也与第二实施方式相同。
但是，本实施方式的异常倾斜入射光校正部70在算出混色校正对象的像素块72的像素数据的校正量时，参考在相邻的周围的像素块72中算出的混色校正量。
在图11所示的例子中，在多个像素块72的各像素块中，第一RB像素对52与第二RB像素对54沿垂直方向设置。多个像素块72包含：在多个像素块72各自所包含的第一RB像素对52与第二RB像素对54的配置方向即垂直方向B上相邻的像素块72。例如，图11所示的像素块72A在垂直方向B的正方向及负方向上分别与像素块72B及像素块72C相邻。
异常倾斜入射光校正部70对像素块72中的具有红色异常倾斜入射光58所入射的光电二极管64的像素的像素数据基于该像素块72中的第一RB像素对52的B像素的像素数据及第二RB像素对54的B像素的像素数据和与该像素块72相邻的像素块72中的第一RB像素对52的B像素的像素数据及第二RB像素对54的B像素的像素数据来进行校正，上述像素块72由异常倾斜入射光检测部68检测出的有红色异常倾斜入射光58的入射并包含第一RB像素对52及第二RB像素对54。
例如在根据图11所示的像素块72A的第一RB像素对52及第二RB像素对54的B像素的像素数据而检测出水平方向A的红色异常倾斜入射光58向该像素块72A的入射的情况下，由异常倾斜入射光检测部68算出“像素块72A的第一RB像素对52及第二RB像素对54的B像素的像素数据的差值DA”、“像素块72B的第一RB像素对52及第二RB像素对54的B像素的像素数据的差值DB”及“像素块72C的第一RB像素对52及第二RB像素对54的B像素的像素数据的差值DC”。
并且根据算出的上述差值DA、DB、DC来求算像素块72A的像素数据的混色校正量Dm。该混色校正量Dm能够通过任意的方法来计算，也可以将上述差值DA、DB、DC的平均值(Dm＝(DA+DB+DC)/3)、通过移动平均处理算出的值设为混色校正量Dm。例如在将移动平均处理中的加权移动平均运算的“121滤光片”应用于上述差值DA、DB、DC的情况下，使校正对象的像素块72A中的B像素的像素数据的差值DA的权重为相邻像素块72B、72C中的B像素的像素数据的差值DB、DC的权重的2倍(Dm＝(2×DA+DB+DC)/4)，能够精度良好地求算混色校正量Dm。
如此，不仅考虑校正对象的像素块72A中的B像素的像素数据的差值DA，而且还考虑相邻像素块72B、72C中的B像素的像素数据的差值DB、DC，而算出校正对象的像素块72A中的混色校正的校正量Dm，由此能够有效地防止校正对象的像素块72A中的B像素的像素数据变差。即，如本实施方式那样，通过将相邻像素块72B、72C中的B像素的像素数据的差值DB、DC考虑在内而算出像素块72A的混色校正量Dm，能够有效地抑制由混色校正引起的分辨率的损失。
异常倾斜入射光校正部70从在像素块72A中红色异常倾斜入射光58所入射的在水平方向A上与R像素相邻的像素(在图11所示的例子中，为第一RB像素对52及第二RB像素对54的B像素)中的、像素数据值较大的像素的像素数据减去上述混色校正量Dm，由此进行像素块72A的混色校正。
另外，在上述中，对水平方向A上的红色异常倾斜入射光58的检测及混色校正时的处理进行了说明，垂直方向B上的红色异常倾斜入射光58的检测及混色校正也能够与水平方向A上的红色异常倾斜入射光58的检测及混色校正时相同地进行。
如以上所说明那样，根据本实施方式，由于考虑相邻像素块72中的B像素的像素数据而算出校正对象的像素块72中的混色校正的校正量，因此能够进行更进一步防止了分辨率变差的混色校正。
以上，对本发明优选的实施方式进行了说明，但本发明不限定于上述实施方式，也能够适当应用于其他形态。
彩色摄像元件27的像素排列不作特别限定，例如也能够将上述技术应用于具有图12所示的像素排列的彩色摄像元件27。在图12的彩色摄像元件27中，由在水平方向A上相邻配置的“G像素、B像素、G像素”、“R像素、G像素、R像素”及“G像素、B像素、G像素”构成的两个第一子排列S1和由在水平方向A上相邻配置的“G像素、R像素、G像素”、“B像素、G像素、B像素”及“G像素、R像素、G像素”构成的两个第二子排列S2在水平方向A及垂直方向B上相邻配置，由此构成基本排列像素组P。在该情况下，也能够基于像素块72A和设于像素块72A之间的缓冲块74A，与上述实施方式及变形例相同地进行水平方向A的红色异常倾斜入射光58的检测及混色校正，上述像素块72A包含在水平方向A上R像素及B像素相邻配置的第一RB像素对52A及第二RB像素对54A。相同地，能够基于像素块72B和设于像素块72B之间的缓冲块74B，与上述实施方式及变形例相同地进行垂直方向B的红色异常倾斜入射光58的检测及混色校正，上述像素块72B包含在垂直方向B上R像素及B像素相邻配置的第一RB像素对52B及第二RB像素对54B。
另外，彩色摄像元件27的像素排列不作特别限定。例如，将在第一方向(例如水平方向)及第二方向(例如垂直方向)上为N像素×M像素(N为3以上的整数，M为3以上的整数)的排列组设为基本排列图案，能够采用使该基本排列图案沿着第一方向及第二方向排列设置而成的排列作为彩色摄像元件27的像素排列。作为一例，可以想到采用如图13所示的3像素×3像素的排列组(沿着水平方向排列设置的“R像素、B像素、G像素”的行、“B像素、R像素、G像素”的行及“G像素、G像素、G像素”的行沿着垂直方向排列设置而成的排列组)作为基本排列图案的情况。另外，关于基本排列图案的大小，当基本排列图案的像素数增加时，会使去马赛克算法处理等信号处理复杂化。因此，根据防止信号处理的复杂化的观点，基本排列图案的尺寸优选的是不过大的10像素×10像素(水平方向×垂直方向)以下的尺寸，更优选的是8像素×8像素(水平方向×垂直方向)以下的尺寸。
另外，在上述实施方式中，对多个像素沿水平方向及垂直方向排列的例子进行了说明，但多个像素的排列方向只要是基于形成为相互垂直的两个方向的方向即可，例如也可以采用多个像素沿着相对于水平方向及垂直方向旋转了45度的方向排列的“蜂窝排列”。
另外，在上述实施方式中，对数码相机10进行了说明，但摄像装置的结构并不限定于此。作为能够应用本发明的其他摄像装置，例如能够列举内置式或外置式的PC用相机或如以下所说明的具有摄影功能的移动终端装置。另外，也能够将本发明应用于使计算机执行上述各处理步骤的程序(软件)。
作为本发明的摄像装置的一实施方式的移动终端装置，可以列举出例如手机、智能手机、PDA(Personal Digital Assistants：个人数字助理)、便携式游戏机。以下以智能手机举例，参照附图详细地进行说明。
＜智能手机的结构＞
图14表示作为本发明的摄像装置的一实施方式的智能手机101的外观。图14所示的智能手机101具有平板状的壳体102，并在壳体102的一面上具备由作为显示部的显示面板121与作为输入部的操作面板122成为一体而成的显示输入部120。另外，该壳体102具备：扬声器131、话筒132、操作部140及相机部141。另外，壳体102的结构不限定于此，例如，也能够采用使显示部与输入部独立的结构，或具有折叠结构、滑动结构的结构。
图15是表示图14所示的智能手机101的结构的框图。如图15所示，作为智能手机的主要结构要素，具备：无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System：全球定位系统)接收部170、运动传感器部180、电源部190及主控制部100。另外，作为智能手机101的主要功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部110按照主控制部100的指示，对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部120是通过主控制部100的控制来显示图像(静止图像及动态图像)、字符信息等而在视觉上向使用者传递信息、并且显示对于所显示的信息的使用者操作的所谓的触摸面板，具备：显示面板121和操作面板122。
显示面板121使用LCD(Liquid Crystal Display：液晶显示器)、OELD(OrganicElectro-Luminescence Display：有机电致发光显示器)等作为显示设备。操作面板122是放置成能够对在显示面板121的显示面上显示的图像进行视觉辨认且检测由使用者的手指、尖笔操作的一个或多个坐标的设备。当通过使用者的手指、尖笔来操作该设备时，将由于操作而产生的检测信号输出到主控制部100。接着，主控制部100基于接收到的检测信号，检测显示面板121上的操作位置(坐标)。
如图14所示，作为本发明的摄像装置的一实施方式而例示的智能手机101的显示面板121与操作面板122成为一体而构成显示输入部120，但也可以成为操作面板122完全覆盖显示面板121的配置。在采用该配置的情况下，操作面板122也可以具备对显示面板121以外的区域也检测使用者操作的功能。换言之，操作面板122也可以具备：与显示面板121重叠的重叠部分的检测区域(以下称作显示区域)以及除此以外的不与显示面板121重叠的外缘部分的检测区域(以下称作非显示区域)。
另外，也可以使显示区域的大小与显示面板121的大小完全一致，但是不需要使两者必须一致。另外，操作面板122也可以具备外缘部分以及除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体102的大小等而适当设计。另外，作为操作面板122中采用的位置检测方式，可以列举出：矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，也能够采用任一种方式。
通话部130具备：扬声器131、话筒132，将通过话筒132输入的使用者的声音转换为能够由主控制部100处理的声音数据并输出到主控制部100，或者对由无线通信部110或外部输入输出部160接收到的声音数据进行解码而从扬声器131输出。另外，如图14所示，例如，能够将扬声器131搭载于与设有显示输入部120的面相同的面上，并将话筒132搭载于壳体102的侧面。
操作部140是使用键开关等的硬件键，接受来自使用者的指示。例如，如图14所示，操作部140是如下的按钮式的开关：搭载于智能手机101的壳体102的侧面，当通过手指等按下时接通，当松开手指时通过弹簧等的恢复力而成为断开状态。
存储部150存储：主控制部100的控制程序、控制数据、应用软件、对通信对象的名称、电话号码等建立对应而成的地址数据以及所收发的电子邮件的数据、通过Web浏览而下载的Web数据、所下载的内容数据，另外临时存储流数据等。另外，存储部150由智能手机内置的内部存储部151及装拆自如的具有外部存储器插槽的外部存储部152构成。另外，构成存储部150的各内部存储部151与外部存储部152可以使用闪存型(flash memory type)、硬盘型(hard disk type)、缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如MicroSD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等存储介质而实现。
外部输入输出部160起到与连接于智能手机101的全部外部设备的接口的作用，用于通过通信等(例如通用串行总线(USB)、IEEE1394等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband：超宽带)(注册商标)、紫峰(ZigBee)(注册商标)等)而直接或间接地与外部设备连接。
作为与智能手机101连接的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口及经由卡插座而连接的存储卡(Memory card)、SIM(SubscriberIdentity Module Card：客户识别模块卡)/UIM(User Identity Module Card：用户识别模块卡)卡、经由音频/视频I/O(Input/Output：输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收传送的数据传递到智能手机101的内部的各结构要素、将智能手机101的内部的数据传送到外部设备。
GPS接收部170按照主控制部100的指示，接收从GPS卫星ST1～STn发送来的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测该智能手机101的由纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110、外部输入输出部160(例如无线LAN)取得位置信息时，也能够使用其位置信息来检测位置。
运动传感器部180具备例如三轴加速度传感器等，并按照主控制部100的指示来检测智能手机101的物理移动。通过检测智能手机101的物理移动，能够检测智能手机101移动的方向、加速度。该检测结果被输出到主控制部100。
电源部190按照主控制部100的指示向智能手机101的各部供给存储于蓄电池(未图示)的电力。
主控制部100具备微处理器，按照存储部150所存储的控制程序、控制数据而动作，统一控制智能手机101的各部。另外，主控制部100为了通过无线通信部110进行声音通信、数据通信而具备控制通信系统的各部的移动通信控制功能以及应用处理功能。
应用处理功能通过根据存储部150所存储的应用软件使主控制部100动作而实现。作为应用处理功能，具有例如：控制外部输入输出部160而与相向设备进行数据通信的红外线通信功能、收发电子邮件的电子邮件功能、阅览Web网页的Web浏览功能等。
另外，主控制部100具备如下的图像处理功能等：基于接收数据、所下载的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部120。图像处理功能是指如下的功能：主控制部100对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示于显示输入部120。
此外，主控制部100执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的使用者操作的操作检测控制。
通过执行显示控制，主控制部100显示用于启动应用软件的图标、滚动条等软件键，或显示用于创建电子邮件的窗口。另外，滚动条是指如下的软件键：对于无法完全收纳到显示面板121的显示区域中的较大的图像等，用于接收使图像的显示部分移动的指示。
另外，通过执行操作检测控制，主控制部100检测通过操作部140进行的使用者操作，或通过操作面板122而接收对上述图标的操作、对上述窗口的输入栏的字符串的输入，或通过滚动条进行的显示图像的滚动请求。
此外，通过执行操作检测控制，主控制部100具备判定对操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是其以外的不与显示面板121重叠的外缘部分(非显示区域)，并对操作面板122的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部100能够检测对操作面板122的手势操作，并根据所检测出的手势操作来执行预先设定的功能。所谓手势操作并非以往的单纯的触控操作，而是指利用手指等描绘轨迹、同时指定多个位置或者对它们进行组合而从多个位置对至少一个位置描画轨迹的操作。
相机部141是使用CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)、CCD(Charge-Coupled Device：电荷耦合元件)等摄像元件进行电子摄影的数码相机。相机部141通过主控制部100的控制，能够将通过摄像而得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等被压缩的图像数据，记录于存储部150，或通过外部输入输出部160、无线通信部110而输出。如图14所示，在智能手机101中，相机部141搭载于与显示输入部120相同的面，但是相机部141的搭载位置不限定于此，也可以搭载于显示输入部120的背面，或者，也可以搭载多个相机部141。另外，在搭载有多个相机部141的情况下，能够对用于摄像的相机部141进行切换而单独进行摄像，或者也能够同时使用多个相机部141进行摄像。
另外，相机部141能够用于智能手机101的各种功能。例如，能够在显示面板121上显示由相机部141取得的图像、作为操作面板122的操作输入之一而利用相机部141的图像。另外，在GPS接收部170检测位置时，也能够参照来自相机部141的图像来检测位置。此外，也能够参照来自相机部141的图像而不使用三轴加速度传感器或与三轴加速度传感器并用来判断智能手机101的相机部141的光轴方向、判断目前的使用环境。当然，也能够在应用软件内利用来自相机部141的图像。
除此之外，能够在静止图像或动态图像的图像数据上附加由GPS接收部170取得的位置信息、由话筒132取得的声音信息(也可以通过主控制部等进行声音文本转换而成为文本信息)、由运动传感器部180取得的姿势信息等并记录于存储部150，或通过外部输入输出部160、无线通信部110而输出。
在上述智能手机101中，图1的图像处理电路32能够由例如主控制部100、存储部150等适当实现。
附图标记说明
10…数码相机、12…相机主体、14…镜头单元、20…摄影光学系统、21…变焦透镜、22…聚焦透镜、23…机械快门、24…变焦机构、25…聚焦机构、26…镜头驱动器、27…彩色摄像元件、30…CPU、31…摄像元件驱动器、32…图像处理电路、33…介质接口、34…压缩/扩展处理电路、35…显示控制部、36…操作部、37…存储器、38…存储卡、39…EVF、40…背面LCD、50…像素、52…第一RB像素对、54…第二RB像素对、56…通常光、58…红色异常倾斜入射光、60…微透镜、62…滤色器、64…光电二极管、66…异常倾斜入射光检测校正部、68…异常倾斜入射光检测部、70…异常倾斜入射光校正部、72…像素块、74…缓冲块、76…第一像素对块、78…第二像素对块、100…主控制部、101…智能手机、102…壳体、110…无线通信部、120…显示输入部、121…显示面板、122…操作面板、130…通话部、131…扬声器、132…话筒、140…操作部、141…相机部、150…存储部、151…内部存储部、152…外部存储部、160…外部输入输出部、170…GPS接收部、180…运动传感器部、190…电源部。

Claims (15)

1.一种摄像装置，具备：
摄像元件，具有排列于第一方向和与该第一方向垂直的第二方向上的多个像素，所述多个像素分别具有滤色器和对透过了该滤色器的光进行受光而输出像素数据的光电二极管；及
异常倾斜入射光检测单元，基于所述像素数据来检测有无异常倾斜入射光向所述摄像元件入射，
所述多个像素包含第一像素对和第二像素对，所述第一像素对和第二像素对由在所述第一方向和所述第二方向中的至少一方向上彼此相邻的具有第一色的滤色器的第一色像素和具有第二色的滤色器的第二色像素构成，并具有所述第一色像素的位置与所述第二色像素的位置对调了的配置，
所述第一色的滤色器在红色光的波长区域的至少一部分中具有比所述第二色的滤色器高的透过率，
所述异常倾斜入射光检测单元对所述第一像素对的所述第二色像素的所述像素数据与所述第二像素对的所述第二色像素的所述像素数据进行比较，而检测有无所述异常倾斜入射光的入射。
2.根据权利要求1所述的摄像装置，其中，
所述第一色的滤色器在600nm～650nm的波长区域中的光的透过率为50％以上，
所述第二色的滤色器在600nm～650nm的波长区域中的光的透过率小于50％。
3.根据权利要求1或2所述的摄像装置，其中，
所述第一色的滤色器是红色滤光片、透明滤光片和白色滤光片中的任一个，
所述第二色的滤色器是蓝色滤光片和绿色滤光片中的任一个。
4.根据权利要求1或2所述的摄像装置，其中，
所述异常倾斜入射光检测单元基于所述第一像素对的所述第二色像素的所述像素数据与所述第二像素对的所述第二色像素的所述像素数据的差值是否为阈值以上，检测有无所述异常倾斜入射光的入射。
5.根据权利要求1或2所述的摄像装置，其中，
所述异常倾斜入射光检测单元基于所述第一像素对的所述第二色像素的所述像素数据与所述第二像素对的所述第二色像素的所述像素数据的大小关系，判定所述异常倾斜入射光的入射方向。
6.根据权利要求5所述的摄像装置，其中，
还具备校正单元，基于所述异常倾斜入射光检测单元的检测结果，对具有所述异常倾斜入射光所入射的所述光电二极管的像素的所述像素数据进行校正，
所述校正单元基于由所述异常倾斜入射光检测单元所判定出的所述异常倾斜入射光的入射方向，对所述多个像素中的、具有所述异常倾斜入射光所入射的所述光电二极管的像素进行判别。
7.根据权利要求6所述的摄像装置，其中，
所述校正单元基于所述第一像素对的所述第二色像素的所述像素数据与所述第二像素对的所述第二色像素的所述像素数据的差值，对具有所述异常倾斜入射光所入射的所述光电二极管的像素的所述像素数据进行校正。
8.根据权利要求6所述的摄像装置，其中，
所述校正单元基于以下像素的所述像素数据而对具有所述异常倾斜入射光所入射的所述光电二极管的像素的所述像素数据进行校正，该像素是具有与具有所述异常倾斜入射光所入射的所述光电二极管的像素相同颜色的滤色器的像素，且具有所述异常倾斜入射光未入射的所述光电二极管。
9.根据权利要求6所述的摄像装置，其中，
所述多个像素包含多个像素块，所述多个像素块分别包含：构成所述第一像素对及所述第二像素对的像素和与构成所述第一像素对及所述第二像素对的像素相邻的像素，
所述多个像素中的至少一部分被分类为所述多个像素块中的任一个，
所述校正单元在由所述异常倾斜入射光检测单元检测出有所述异常倾斜入射光的入射并包含所述第一像素对和所述第二像素对的所述像素块中，基于所述第一像素对的所述第二色像素的所述像素数据和所述第二像素对的所述第二色像素的所述像素数据，对具有所述异常倾斜入射光所入射的所述光电二极管的像素的所述像素数据进行校正。
10.根据权利要求9所述的摄像装置，其中，
所述多个像素包含：所述多个像素块和设于所述多个像素块之间的多个缓冲块，
所述多个像素分别被分类为所述多个像素块和所述多个缓冲块中的任一种，
所述校正单元基于与所述缓冲块相邻的所述像素块中的具有所述异常倾斜入射光所入射的所述光电二极管的像素的所述像素数据的校正量，对该缓冲块所包含的像素中的具有所述异常倾斜入射光所入射的所述光电二极管的像素的所述像素数据进行校正。
11.根据权利要求1或2所述的摄像装置，其中，
所述多个像素包含第一像素对块和第二像素对块，在所述第一像素对块和所述第二像素对块的各像素对块中，所述第一像素对和所述第二像素对相邻配置并在所述第一方向上排列2个像素且在所述第二方向上排列2个像素，
在所述第一像素对块与所述第二像素对块之间，所述第一色像素的位置与所述第二色像素的位置对调，
所述异常倾斜入射光检测单元基于所述第一像素对块所包含的具有所述第二色的滤色器的两个像素的所述像素数据与所述第二像素对块所包含的具有所述第二色的滤色器的两个像素的所述像素数据，判定所述异常倾斜入射光的入射方向。
12.根据权利要求11所述的摄像装置，其中，
所述第一像素对块包含：第一像素，所述第一方向上的一侧和所述第二方向上的一侧与所述第一色像素相邻并具有所述第二色的滤色器；及第二像素，所述第一方向上的另一侧和所述第二方向上的另一侧与所述第一色像素相邻并具有所述第二色的滤色器，
所述第二像素对块包含：第三像素，所述第一方向上的另一侧和所述第二方向上的一侧与所述第一色像素相邻并具有所述第二色的滤色器；及第四像素，所述第一方向上的一侧和所述第二方向上的另一侧与所述第一色像素相邻并具有所述第二色的滤色器，
所述异常倾斜入射光检测单元根据所述第一像素的所述像素数据与所述第二像素的所述像素数据的大小关系和所述第三像素的所述像素数据与所述第四像素的所述像素数据的大小关系，判定所述异常倾斜入射光的入射方向。
13.根据权利要求9所述的摄像装置，其中，
在所述多个像素块的各像素块中，所述第一像素对与所述第二像素对沿所述第一方向或所述第二方向设置，
所述多个像素块包含在所述第一方向和所述第二方向中的、设置所述多个像素块各自所包含的所述第一像素对和所述第二像素对的方向上相邻的所述像素块，
所述校正单元对由所述异常倾斜入射光检测单元检测出有所述异常倾斜入射光的入射并包含所述第一像素对和所述第二像素对的所述像素块中的具有所述异常倾斜入射光所入射的所述光电二极管的像素的所述像素数据基于该像素块的所述第一像素对的所述第二色像素的所述像素数据和所述第二像素对的所述第二色像素的所述像素数据以及与该像素块相邻的所述像素块的所述第一像素对的所述第二色像素的所述像素数据和所述第二像素对的所述第二色像素的所述像素数据来进行校正。
14.根据权利要求1或2所述的摄像装置，其中，
所述多个像素包含多个基本排列像素组，所述多个基本排列像素是具有滤色器排列图案的多个基本排列像素组，并沿第一方向和第二方向排列设置，
所述多个基本排列像素组分别包含所述第一像素对和所述第二像素对。
15.一种异常倾斜入射光检测方法，基于从摄像元件输出的像素数据来检测有无异常倾斜入射光向所述摄像元件入射，
所述摄像元件具有排列于第一方向和与所述第一方向垂直的第二方向上的多个像素，所述多个像素分别具有滤色器和对透过了该滤色器的光进行受光而输出像素数据的光电二极管，所述多个像素包含第一像素对和第二像素对，所述第一像素对和第二像素对由在所述第一方向和所述第二方向中的至少一方向上彼此相邻的具有第一色的滤色器的第一色像素和具有第二色的滤色器的第二色像素构成，并具有所述第一色像素的位置与所述第二色像素的位置对调了的配置，所述第一色的滤色器在红色光的波长区域的至少一部分中具有比所述第二色的滤色器高的透过率，
所述异常倾斜入射光检测方法包含如下步骤：
取得所述第一像素对的所述第二色像素的所述像素数据和所述第二像素对的所述第二色像素的所述像素数据；及
对所取得的所述第一像素对的所述第二色像素的所述像素数据与所取得的所述第二像素对的所述第二色像素的所述像素数据进行比较，而检测有无所述异常倾斜入射光的入射。
CN201380063221.7A 2012-12-05 2013-11-11 摄像装置及异常倾斜入射光检测方法 Expired - Fee Related CN104904197B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-266473 2012-12-05
JP2012266473 2012-12-05
PCT/JP2013/080410 WO2014087807A1 (ja) 2012-12-05 2013-11-11 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN104904197A CN104904197A (zh) 2015-09-09
CN104904197B true CN104904197B (zh) 2016-12-28

Family

ID=50883232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380063221.7A Expired - Fee Related CN104904197B (zh) 2012-12-05 2013-11-11 摄像装置及异常倾斜入射光检测方法

Country Status (4)

Country Link
US (1) US9380230B2 (zh)
JP (1) JP5777825B2 (zh)
CN (1) CN104904197B (zh)
WO (1) WO2014087807A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
JP5802858B2 (ja) * 2013-03-05 2015-11-04 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
WO2014185209A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
US9679212B2 (en) * 2014-05-09 2017-06-13 Samsung Electronics Co., Ltd. Liveness testing methods and apparatuses and image processing methods and apparatuses
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9979909B2 (en) * 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10574872B2 (en) * 2016-12-01 2020-02-25 Semiconductor Components Industries, Llc Methods and apparatus for single-chip multispectral object detection
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
KR102354991B1 (ko) 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
JP6259155B1 (ja) * 2017-10-03 2018-01-10 日本板硝子株式会社 光学フィルタ及び撮像装置
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11650360B2 (en) * 2019-09-13 2023-05-16 GM Cruise Holdings LLC. Color filter array patterns for enhancing a low-light sensitivity while preserving a color accuracy in image signal processing applications
CN114596280B (zh) * 2022-03-08 2022-09-09 常州市宏发纵横新材料科技股份有限公司 一种碳纤维布面生产过程中碎屑纸的检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889554A (en) * 1996-04-25 1999-03-30 Eastman Kodak Company Process and system for generating a full color image of multispectral image from the image data of a CCD image sensor with a mosaic color filter
CN101527311A (zh) * 2008-03-06 2009-09-09 佳能株式会社 图像感测装置和成像系统
CN101569205A (zh) * 2007-06-15 2009-10-28 松下电器产业株式会社 图像处理装置
CN101754029A (zh) * 2008-11-28 2010-06-23 佳能株式会社 信号处理设备、摄像设备、摄像系统和信号处理方法
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2739586B2 (ja) 1989-02-10 1998-04-15 富士写真フイルム株式会社 カラー固体撮像デバイス
US7057659B1 (en) 1999-07-08 2006-06-06 Olympus Corporation Image pickup device and image pickup optical system
JP3990081B2 (ja) 1999-11-16 2007-10-10 オリンパス株式会社 電子撮像装置及び撮像光学系
JP3944151B2 (ja) 2003-10-31 2007-07-11 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP5151075B2 (ja) 2005-06-21 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
CN101584222B (zh) * 2007-05-31 2011-10-12 松下电器产业株式会社 图像处理装置
JP4486703B2 (ja) * 2007-12-07 2010-06-23 パナソニック株式会社 撮像装置
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
US8619163B2 (en) 2009-09-18 2013-12-31 Canon Kabushiki Kaisha Solid state imaging using a correction parameter for correcting a cross talk between adjacent pixels
JP5436114B2 (ja) * 2009-09-18 2014-03-05 キヤノン株式会社 撮像システム
JP5232118B2 (ja) * 2009-09-30 2013-07-10 富士フイルム株式会社 撮像デバイスおよび電子カメラ
JP2011155365A (ja) * 2010-01-26 2011-08-11 Honda Elesys Co Ltd 画像処理装置および画像処理方法
JP5523213B2 (ja) * 2010-06-22 2014-06-18 オリンパスイメージング株式会社 撮像装置および撮像方法
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
US8742309B2 (en) * 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
JP5054858B1 (ja) * 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置
EP2645722A4 (en) * 2011-03-11 2014-05-14 Fujifilm Corp IMAGING APPARATUS AND METHOD FOR CONTROLLING THEIR OPERATION
CN103444183B (zh) * 2011-03-24 2015-01-28 富士胶片株式会社 彩色摄像元件及摄像装置
JP5898428B2 (ja) * 2011-08-09 2016-04-06 キヤノン株式会社 画像処理装置及びその制御方法
WO2013046973A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 固体撮像素子、撮像装置、及び合焦制御方法
EP2800379A4 (en) * 2011-12-27 2015-12-23 Fujifilm Corp COLOR IMAGING ELEMENT
WO2013099792A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
US20130201388A1 (en) * 2012-02-03 2013-08-08 Novatek Microelectronics Corp. Optical sensing apparatus and optical setting method
JP5542249B2 (ja) * 2012-03-28 2014-07-09 富士フイルム株式会社 撮像素子及びこれを用いた撮像装置及び撮像方法
JP5542250B2 (ja) * 2012-03-28 2014-07-09 富士フイルム株式会社 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法
JP5657182B2 (ja) * 2012-05-10 2015-01-21 富士フイルム株式会社 撮像装置及び信号補正方法
JP5680797B2 (ja) * 2012-06-07 2015-03-04 富士フイルム株式会社 撮像装置、画像処理装置、及び画像処理方法
JP5914192B2 (ja) * 2012-06-11 2016-05-11 キヤノン株式会社 撮像装置及びその制御方法
WO2014007041A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 画像処理装置および方法ならびに撮像装置
WO2014007283A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
JPWO2014027588A1 (ja) * 2012-08-14 2016-07-25 ソニー株式会社 固体撮像装置および電子機器
DE112013004198T5 (de) * 2012-08-27 2015-05-07 Fujifilm Corporation Bildverarbeitungsvorrichtung, Verfahren, Programm, Aufzeichnungsmedium und Bildaufnahmevorrichtung
CN104620572B (zh) * 2012-09-19 2016-06-29 富士胶片株式会社 摄像装置及其控制方法
CN104854496B (zh) * 2012-11-22 2017-04-12 富士胶片株式会社 摄像装置、散焦量运算方法及摄像光学系统
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
WO2014097899A1 (ja) * 2012-12-21 2014-06-26 富士フイルム株式会社 固体撮像装置
JP5802858B2 (ja) * 2013-03-05 2015-11-04 富士フイルム株式会社 撮像装置、画像処理装置、画像処理方法及びプログラム
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
JP6104049B2 (ja) * 2013-05-21 2017-03-29 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理用プログラム
JP6295526B2 (ja) * 2013-07-11 2018-03-20 ソニー株式会社 固体撮像装置および電子機器
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015037102A (ja) * 2013-08-12 2015-02-23 株式会社東芝 固体撮像装置
JP2015060855A (ja) * 2013-09-17 2015-03-30 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US20150090909A1 (en) * 2013-09-30 2015-04-02 Capella Microsystems (Taiwan), Inc. Selectable view angle optical sensor
US9392198B2 (en) * 2014-02-26 2016-07-12 Semiconductor Components Industries, Llc Backside illuminated imaging systems having auto-focus pixels
KR102374109B1 (ko) * 2014-08-01 2022-03-14 삼성전자주식회사 크로스토크 특성을 개선하는 이미지 센서 및 그의 제조 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889554A (en) * 1996-04-25 1999-03-30 Eastman Kodak Company Process and system for generating a full color image of multispectral image from the image data of a CCD image sensor with a mosaic color filter
CN101569205A (zh) * 2007-06-15 2009-10-28 松下电器产业株式会社 图像处理装置
CN101527311A (zh) * 2008-03-06 2009-09-09 佳能株式会社 图像感测装置和成像系统
CN101754029A (zh) * 2008-11-28 2010-06-23 佳能株式会社 信号处理设备、摄像设备、摄像系统和信号处理方法
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法

Also Published As

Publication number Publication date
CN104904197A (zh) 2015-09-09
WO2014087807A1 (ja) 2014-06-12
US20150237273A1 (en) 2015-08-20
US9380230B2 (en) 2016-06-28
JP5777825B2 (ja) 2015-09-09
JPWO2014087807A1 (ja) 2017-01-05

Similar Documents

Publication Publication Date Title
CN104904197B (zh) 摄像装置及异常倾斜入射光检测方法
CN104854496B (zh) 摄像装置、散焦量运算方法及摄像光学系统
CN105580348B (zh) 摄像装置及摄像方法
CN104221369B (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN106464786B (zh) 摄像装置
CN104813648B (zh) 图像处理装置、摄像装置、及图像处理方法
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
JP5982601B2 (ja) 撮像装置及び合焦制御方法
WO2015045785A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN105474626B (zh) 摄像装置
JP5799178B2 (ja) 撮像装置及び合焦制御方法
CN104995912A (zh) 摄像装置、图像处理装置、图像处理方法及程序
US9819853B2 (en) Imaging device and focusing control method
CN107005650B (zh) 摄像装置、摄像方法及记录介质
CN110447223A (zh) 成像元件以及摄像装置
JP5749409B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5807125B2 (ja) 撮像装置及びその合焦制御方法
CN107005626A (zh) 摄像装置及其控制方法
CN104380712B (zh) 摄像装置及摄像方法
CN107005652B (zh) 摄像装置、摄像方法及记录介质
CN104380726B (zh) 图像处理装置及方法以及摄像装置
US9712752B2 (en) Image processing device, imaging device, image processing method, and computer readable medium, capable of improving visibility of a boundary line between a first display image and a second display image for use in focus-checking
CN107005651B (zh) 摄像装置、摄像方法及记录介质
CN109906604A (zh) 摄像装置、摄像方法及摄像程序
WO2019202983A1 (ja) 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161228

Termination date: 20191111