CN103430552B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN103430552B
CN103430552B CN201180069192.6A CN201180069192A CN103430552B CN 103430552 B CN103430552 B CN 103430552B CN 201180069192 A CN201180069192 A CN 201180069192A CN 103430552 B CN103430552 B CN 103430552B
Authority
CN
China
Prior art keywords
mentioned
filter
color
order pattern
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180069192.6A
Other languages
English (en)
Other versions
CN103430552A (zh
Inventor
林健吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN103430552A publication Critical patent/CN103430552A/zh
Application granted granted Critical
Publication of CN103430552B publication Critical patent/CN103430552B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4015Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

提供一种即使在使用了具有排列方式为拜耳排列以外的滤色器的摄像元件的情况下、也无需变更拜耳排列对应的图像处理部就能够使用的摄像装置及摄像程序。摄像装置(10)具有:滤色器(30),重复配置有部分包括拜耳排列图案的6×6像素的基本排列图案(C);及驱动部(22),驱动摄像元件(14)以便仅读出形成与预先规定的位置的拜耳排列图案相同的图案的像素的像素数据。

Description

摄像装置
技术领域
本发明涉及一种摄像装置及摄像程序,特别涉及一种使用了单板式彩色摄像元件的摄像装置及摄像程序。
背景技术
单板彩色摄像元件的输出图像是RAW图像(马赛克图像),因此根据周围像素对丢失颜色的像素进行插值的处理(去马赛克算法处理),由此获得多通道图像。在这种情况下,有时高频图像信号的重现特性成为问题。彩色摄像元件与黑白摄像元件相比,拍摄出的图像中易产生混淆现象,因此抑制莫尔条纹(伪色)的产生并扩大重现频带以实现高分辨率化变得重要。
专利文献1中公开了进行莫尔条纹等产生较少的间拔输出的摄像装置。
并且,专利文献2中公开了下述摄像装置:即使通过像素混合而增大了感度时,也可抑制莫尔条纹的产生及颜色的S/N比的下降,提高分辨率。
但是,作为单板彩色摄影元件中应用最广泛的颜色排列的原色系拜耳排列(例如参照专利文献3)中,将对人眼敏感、且最有助于获得亮度信号的绿(G)像素配置成棋盘式格纹状,将红(R)、蓝(B)按照线型顺序配置,因此生成G信号处于倾斜方向、R、B信号处于水平、垂直方向的高频信号时的重现精度存在问题。
因此,为避免产生这种问题,考虑使用排列各色滤光片而得到的排列方式为拜耳排列以外的滤色器(例如参照专利文献4)。
专利文献1:日本特开2008-78794号公报
专利文献2:日本特开2009-246465号公报
专利文献3:日本特开2007-124295号公报
专利文献4:日本特开平11-285012号公报
发明内容
发明要解决的问题
在这种情况下存在以下问题:例如去马赛克算法处理等图像处理需要进行与新的滤色器的排列对应的图像处理,但根据新的滤色器的排列来变更图像处理非常复杂,设计工时变得庞大。
本发明为了解决上述问题而作出,其目的在于提供一种即使在使用了具有排列方式为拜耳排列以外的滤色器的摄像元件的情况下、也无需变更拜耳排列对应的图像处理部就能够使用的摄像装置及摄像程序。
用于解决问题的方法
为了解决上述问题,技术方案1记载的发明的摄像装置的特征在于,具有:摄像元件,包括排列于水平方向及垂直方向上的多个光电转换元件;滤色器,设于由上述多个光电转换元件构成的多个像素上,并重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案,其中,上述第一排列图案配置在局部包括拜耳排列图案的3×3像素上,上述拜耳排列图案在2×2像素的正方排列的一条对角线上的两个像素上配置有与最有助于获得亮度信号的第一颜色对应的第一滤光片,在另一条对角线上的两个像素上配置有与不同于上述第一颜色的第二颜色对应的第二滤光片和与不同于上述第一颜色及上述第二颜色的第三颜色对应的第三滤光片,上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换;驱动单元,驱动上述摄像元件以便从上述摄像元件仅读出预定位置的、图案与上述拜耳排列图案相同的像素的像素数据;及生成单元,基于从上述摄像元件输出的上述拜耳排列图案的像素数据,对于各像素通过根据周围像素的像素数据对所对应颜色以外的颜色的像素数据进行插值来生成各像素的各色的像素数据。
根据本发明,具有局部包括与拜耳排列图案相同的图案的滤色器,并驱动摄像元件以便从摄像元件仅读出图案与拜耳排列图案相同的像素的像素数据,因此即使在使用了具有排列方式为拜耳排列以外的滤色器的摄像元件的情况下,也无需变更拜耳排列对应的图像处理部就能够使用。
此外,如技术方案2所述,上述滤色器也可以是重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案的滤色器,其中,上述第一排列图案中,上述第一滤光片配置在3×3像素的正方排列的四角及中央的像素上,上述第二滤光片配置在上述正方排列的上述水平方向上的中央的行上,上述第三滤光片配置在上述正方排列的上述垂直方向上的中央的行上,上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换。
并且,如技术方案3所述,上述滤色器也可以是重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案的滤色器,其中,上述第一排列图案中,上述第三滤光片配置在3×3像素的正方排列的四角的像素上,上述第二滤光片配置在上述正方排列的上述中央的像素上,上述第一滤光片配置在上述正方排列的上述垂直方向上的中央的行及上述水平方向上的中央的行上,上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换。
并且,如技术方案4所述,也可以构成为,上述第一颜色是绿(G)色,上述第二颜色是红(R)色及蓝(B)色中的一种颜色,上述第三颜色是红(R)色及蓝(B)色中的另一种颜色。
技术方案5记载的发明的摄像程序是用于使计算机作为构成技术方案1至技术方案4中任一项所述的摄像装置的驱动单元而发挥功能的摄像程序。
发明效果
根据本发明,具有以下效果:即使在使用了具有排列方式为拜耳排列以外的滤色器的摄像元件的情况下,也无需变更拜耳排列对应的图像处理部就能够使用。
附图说明
图1是摄像装置的概略框图。
图2是本发明所涉及的滤色器的结构图。
图3是拜耳排列图案的滤色器的结构图。
图4是由控制部执行的处理的流程图。
图5是用于说明第一实施方式所涉及的间拔处理的流程的图。
图6是用于说明第三实施方式所涉及的间拔处理的流程的图。
图7是表示滤色器的变形例的图。
图8是用于说明根据滤色器中包含的2×2像素的G像素的像素值来判断相关方向的方法的图。
图9是用于说明滤色器中包含的基本排列图案的概念的图。
图10是表示滤色器的变形例的图。
图11A是表示将第四实施方式所涉及的滤色器中包含的6×6像素的基本排列图案分割为3×3像素的A排列和B排列、并使它们在水平及垂直方向上重复配置而成的滤色器的图。
图11B是表示图11A的滤色器的G像素的特征性配置的图。
具体实施方式
以下,参照附图说明本发明的实施方式。
(第一实施方式)
图1表示本实施方式所涉及的摄像装置10的概略框图。摄像装置10构成为,包括光学系统12、摄像元件14、摄像处理部16、图像处理部20、驱动部22及控制部24。
光学系统12构成为,例如包括由多个光学镜头组成的镜头组、光圈调节机构、变焦机构及自动焦点调节机构等。
摄像元件14是在包括水平方向及垂直方向上排列的多个光电转换元件在内的摄像元件、例如CCD(Charge Coupled Device:电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等摄像元件上配置有滤色器的结构的所谓单板式摄像元件。
图2表示本实施方式所涉及的滤色器30的一部分。此外,像素数作为一例是(4896×3264)像素,纵横比是3:2,但像素数及纵横比不限于此。如该图所示,滤色器30是重复配置有将第一排列图案A和第二排列图案B点对称地配置而得到的6×6像素的基本排列图案C的滤色器,上述第一排列图案A中,与最有助于获得亮度信号的G(绿)对应的第一滤光片G(以下称为G滤光片)配置在3×3像素的正方排列的四角及中央的像素上,与R(红)对应的第二滤光片R(以下称为R滤光片)配置在正方排列的水平方向上的中央的行上,与B(蓝)对应的第三滤光片B(以下称为B滤光片)配置在正方排列的垂直方向上的中央的行上,上述第二排列图案B中的G滤光片的配置与第一排列图案A相同且将第一排列图案A中的R滤光片的配置与B滤光片的配置进行了对换。
即,滤色器30具有下述特征(1)、(2)、(3)、(4)及(5)。
[特征(1)]
图2所示的滤色器30包括由与6×6像素对应的正方排列图案构成的基本排列图案C,该基本排列图案C在水平方向及垂直方向上重复配置。即,该滤色器排列中,R、G、B各色滤光片(R滤光片、G滤光片、B滤光片)以规定的周期性排列。
由于R滤光片、G滤光片、B滤光片如此以规定的周期性排列,因此在进行从彩色摄像元件读出的R、G、B信号的去马赛克算法(插值)处理等时,能够按照重复图案进行处理。
并且,在以基本排列图案C为单位进行间拔处理而缩小图像的情况下,间拔处理后的缩小图像的滤色器排列能够与间拔处理前的滤色器排列相同,能够使用通用的处理电路。
[特征(2)]
图2所示的滤色器30中,与最有助于获得亮度信号的颜色(在本实施方式中是G色)对应的G滤光片配置在滤色器排列的水平、垂直及倾斜方向上的各行内。
由于与亮度系像素对应的G滤光片配置在滤色器排列的水平、垂直、及倾斜方向上的各行内,因此不管高频的方向如何都能够提高高频区域中的去马赛克算法处理的重现精度。
[特征(3)]
图2所示的滤色器30中,与上述G色以外的两种颜色以上的其他颜色(在本实施方式中是R、B色)对应的R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内。
由于R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内,因此能够抑制莫尔条纹(伪色)的产生。由此,能够避免将用于抑制伪色产生的光学低通滤波器配置在从光学系统的入射面到摄像面的光路上。并且,即使在适用光学低通滤波器的情况下,也能够适用用于防止伪色产生的切断高频成分的作用较弱的装置,因而能够避免有损分辨率。
如图2所示还可知,基本排列图案C是由虚线框围成的3×3像素的第一排列图案A和由单点划线框围成的3×3像素的第二排列图案B在水平、垂直方向上交替排列而得到的排列。
第一排列图案A及第二排列图案B中,作为亮度系像素的G滤光片分别配置在四角和中央,配置在两条对角线上。并且,第一排列图案A中,B滤光片隔着中央的G滤光片而在水平方向上排列,R滤光片隔着中央的G滤光片而在垂直方向上排列,另一方面,第二排列图案B中,R滤光片隔着中央的G滤光片而在水平方向上排列,B滤光片隔着中央的G滤光片而在垂直方向上排列。即,第一排列图案A和第二排列图案B中,R滤光片和B滤光片的位置关系相反,而其他配置相同。
并且,第一排列图案A和第二排列图案B的四角的G滤光片如图8所示,通过第一排列图案A和第二排列图案B在水平、垂直方向上交替配置,形成与2×2像素对应的正方排列的G滤光片。
[特征(4)]
图2所示的滤色器30包括与由G滤光片构成的2×2像素对应的正方排列。
如图8所示,取出由G滤光片构成的2×2像素,求出水平方向上的G像素的像素值之差的绝对值、垂直方向上的G像素的像素值之差的绝对值、倾斜方向(右上倾斜、左上倾斜)上的G像素的像素值之差的绝对值,从而能够判断为水平方向、垂直方向及倾斜方向上差的绝对值小的方向存在相关性。
即,根据该滤色器排列,使用最小像素间隔的G像素的信息,能够判别水平方向、垂直方向及倾斜方向中的相关性高的方向。该方向判别结果能够用于根据周围像素进行插值的处理(去马赛克算法处理)。
[特征(5)]
图2所示的滤色器30的基本排列图案C相对于该基本排列图案C的中心(四个G滤光片的中心)形成点对称。并且,如图2所示,基本排列图案C内的第一排列图案A及第二排列图案B也分别相对于中心的G滤光片形成点对称。
通过这样的对称性,能够减小或简化后段的处理电路的电路规模。
如图9所示,在基本排列图案C中,水平方向的第一至第六行中的第一及第三行的滤色器排列是GRGGBG,第二行的滤色器排列是BGBRGR,第四及第六行的滤色器排列是GBGGRG,第五行的滤色器排列是RGRBGB。
现在,在图9中,若将基本排列图案C在水平方向及垂直方向上分别移位一个像素而得到的基本排列图案设为C’,分别移位两个像素而得到的基本排列图案设为C”,则即使在水平方向及垂直方向上重复配置这些基本排列图案C’、C”,也会形成相同的滤色器排列。
即,通过在水平方向及垂直方向上重复配置基本排列图案,使能够构成图9所示的滤色器排列的基本排列图案存在多个。在本实施方式中,为便于说明,将基本排列图案为点对称的基本排列图案C称为基本排列图案。
图10是表示本实施方式所涉及的滤色器的变形例的图。该图所示的滤色器30A包括由与4×4像素对应的正方排列图案构成的基本排列图案C,且该基本排列图案C在水平方向及垂直方向上重复配置。
该滤色器30A和图2所示的滤色器30一样,G滤光片配置在滤色器排列的水平、垂直及倾斜方向上的各行内,且R滤光片、B滤光片配置在滤色器排列的水平及垂直方向上的各行内。
并且,基本排列图案C相对于该基本排列图案C的中心形成点对称。
另一方面,该滤色器30A不包括与由G滤光片构成的2×2像素对应的正方排列,但具有在水平方向上相邻的G滤光片,并且具有在倾斜方向(右上倾斜、左上倾斜)上相邻的G滤光片。
在垂直方向上,G滤光片隔着R滤光片或B滤光片而存在,因此能够在判断垂直方向的相关性时使用与这些G滤光片对应的G像素的像素值。
如上所述,滤色器30A具有和图2所示的滤色器30的特征(1)、(2)、(3)及(5)相同的特征。
与之相对,图3表示拜耳排列的滤色器40的一部分。此外,该图所示的滤色器的像素数作为一例也是(4896×3264)像素,纵横比也为3:2。如该图所示,拜耳排列的滤色器40构成为,在2×2像素的正方排列的一条对角线上的两个像素上配置有G滤光片,在另一条对角线上的两个像素上配置有R滤光片及B滤光片。
摄像处理部16对从摄像元件14输出的摄像信号实施放大处理、相关双采样处理、A/D转换处理等预先规定的处理,并作为像素数据输出到像素转换处理部18。
图像处理部20对从摄像处理部16输出的像素数据实施所谓去马赛克算法处理。即,对于总像素,根据周围像素的像素数据对所对应颜色以外的颜色的像素数据进行插值,生成总像素的R、G、B像素数据。并且,对所生成的R、G、B像素数据实施所谓YC转换处理,生成亮度数据Y、色差数据Cr、Cb。并且,进行缩放处理,将这些信号缩放成与摄影模式对应的大小。此外,图像处理部20进行与拜耳排列图案的像素数据对应的处理。
驱动部22根据来自控制部24的指示,进行从摄像元件14读出摄像信号的读出驱动等。
控制部24根据摄影模式等,统一控制驱动部22及图像处理部20等。详细情况后述,控制部24对驱动部22发出指示以通过与摄影模式对应的读出方法读出摄像信号,或者对图像处理部20发出指示以进行与摄影模式对应的图像处理。
需要根据摄影模式而间拔并读出来自摄像元件14的摄像信号,因此控制部24指示驱动部22以所指示的与摄影模式对应的间拔方法进行间拔并读出摄像信号。
在本实施方式中,作为摄影模式的一例,以设定了以下模式时的处理为例进行说明:HD动画模式,对拍摄到的图像进行间拔,生成较高分辨率的HD(高清)动画数据,并记录于未图示的存储卡等记录介质;实时取景动画模式,对拍摄到的图像进行间拔,并将较低分辨率的实时取景动画输出到未图示的显示部。
接着,作为本实施方式的作用,参照图4所示的流程图对由控制部24执行的处理进行说明。
此外,图4所示的处理在进行指示以执行与摄影模式对应的摄影的情况下执行。
首先,在步骤100中,指示驱动部22以与摄影模式对应的间拔方法读出像素数据。
在步骤102中,指示图像处理部20执行与摄影模式对应的拜耳处理(去马赛克算法处理及YC转换处理)及缩放处理。
此外,控制部24能够由包括CPU、ROM、RAM、非易失性ROM等的计算机构成。在这种情况下,能够将上述处理的处理程序预先存储到例如非易失性ROM中,由CPU将它们读入并执行。
以下说明间拔读出的具体示例。
如图2所示,第一排列图案A、第二排列图案B的局部包括拜耳排列图案。例如,第一排列图案A中,在对角线上配置G像素,其他是R像素及B像素,因此当从第一排列图案A摘出任意的2×2像素时,与图3所示的2×2像素的拜耳排列图案是相同的。这一点对于第二排列图案B也是一样。
因此,在本实施方式中,在间拔读出时,驱动摄像元件14以便仅读出与滤色器30的拜耳排列图案相同的图案的像素的像素数据。
图5概略地表示以HD动画模式拍摄时的处理的流程。在本实施方式中,如图5左上所示,控制部24对驱动部22进行指示以在垂直方向及水平方向上均读出第(6n+1)(n=0、1、2、……)及第(6n+2)(n=0、1、2、……)行的像素数据。这样一来,从摄像元件14仅输出该图左上的框50内的2×2像素的像素数据。因此,从摄像元件14输出像素数为(1632×1088)的像素数据。由于该框50内的2×2像素是拜耳排列,因此从摄像元件14输出的像素数据如该图右上所示当然是拜耳排列。
这样一来,即使在使用了与拜耳排列图案不同的滤色器30的情况下,也仅读出与拜耳排列图案相同的图案的像素,因此无需将从摄像元件14输出的像素数据转换为拜耳排列图案,能够简化装置结构。并且,无需将后段的与拜耳排列对应的图像处理部20变更为用于滤色器30就能够使用。
在图像处理部20中,如该图左下所示,执行拜耳处理(去马赛克算法处理及YC转换处理),之后如该图右下所示,执行缩放处理。在图5的右下,作为一例而缩放为(1920×1080)的大小。并且,输出缩放后的图像。
(第二实施方式)
接着说明本发明的第二实施方式。此外,对与上述实施方式相同的部分标以相同的附图标记,并省略其详细说明。
本实施方式与第一实施方式不同的是摄影模式,其他与第一实施方式相同。
在本实施方式中,间拔方法与第一实施方式相同,与图5左上一样,控制部24对驱动部22进行指示以在垂直方向及水平方向上均读出第(6n+1)(n=0、1、2、……)及第(6n+2)(n=0、1、2、……)行交叉的位置的像素的像素数据。由此,如该图右上所示,从摄像元件14输出拜耳排列的像素数据。
在图像处理部20中,与图5左下一样,执行拜耳处理,之后执行缩放处理。在本实施方式中,由于是实时取景动画模式,因此缩放为比HD动画模式小的大小、作为一例是(640×480)的大小。并且,输出缩放后的图像。
(第三实施方式)
接着说明本发明的第三实施方式。此外,对与上述实施方式相同的部分标以相同的附图标记,并省略其详细说明。
本实施方式与第一实施方式不同的是摄影模式及间拔方法,其他与第一实施方式相同。
图6概略地表示以实时取景动画模式摄影时的处理的流程。在本实施方式中,如图6左所示,控制部24对驱动部22进行指示以读出垂直方向上第(12n+1)(n=0、1、2、……)及第(12n+2)(n=0、1、2、……)行与水平方向上第(6n+1)(n=0、1、2、……)及第(6n+2)(n=0、1、2、……)行交叉的位置的像素的像素数据。由此,从摄像元件14仅输出该图左的框50内的2×2像素的像素数据。由此,从摄像元件14输出像素数为(1632×544)的像素数据。由于该框50内的2×2像素是拜耳排列,因此从摄像元件14输出的像素数据如该图右所示当然是拜耳排列。
在图像处理部20中,在图6中虽省略了图示,但与第一实施方式一样,执行拜耳处理(去马赛克算法处理及YC转换处理),之后与第一实施方式一样,执行缩放处理。但在本实施方式中,由于是实时取景动画模式,因此缩放为比HD动画模式小的大小,作为一例是(640×480)的大小。并且,输出缩放后的图像。
(第四实施方式)
接着说明本发明的第四实施方式。此外,对与上述实施方式相同的部分标以相同的附图标记,并省略其详细说明。
在本实施方式中,说明滤色器的变形例。图7表示变形例所涉及的滤色器60。此外,像素数作为一例是(4896×3264)像素,纵横比是3:2,但像素数及纵横比不限于此。
如图7所示,滤色器60是重复配置有将第一排列图案A和第二排列图案B点对称地配置而得到的6×6像素的基本排列图案C的滤色器,上述第一排列图案A中,B滤光片配置在3×3像素的正方排列的四角的像素上,R滤光片配置在正方排列的中央的像素上,G滤光片配置在正方排列的垂直方向上的中央的行及水平方向上的中央的行上,上述第二排列图案B中的G滤光片的配置与第一排列图案A相同且将第一排列图案A中的R滤光片的配置与B滤光片的配置进行了对换。
即,滤色器60具有第一实施方式所说明的特征(1)、下述特征(6)、(7)及(8)。
[特征(6)]
构成图7所示的滤色器60的基本排列图案C中,与最有助于获得亮度信号的颜色(在本实施方式中是G色)对应的G滤光片和与G色以外的其他颜色(在本实施方式中是R、B)对应的R滤光片、B滤光片在基本排列图案C内的水平及垂直方向上的各行内配置有一个以上。
R、G、B滤光片分别配置在基本排列图案C内的水平及垂直方向上的各行内,因此能够抑制莫尔条纹(伪色)的产生。由此,可以不将用于抑制伪色产生的光学低通滤波器配置在从光学系统的入射面到摄像面的光路上。并且,即使在适用光学低通滤波器的情况下,也能够适用用于防止伪色产生的切断高频成分的作用较弱的光学低通滤波器,能够避免有损分辨率。
[特征(7)]
与亮度系像素对应的G滤光片配置为:在基本排列图案C内,在水平、垂直及倾斜方向的各方向上包括两个以上相邻的部分。
如图7所示还可知,基本排列图案C是由虚线框围成的3×3像素的第一排列图案A和由单点划线框围成的3×3像素的第二排列图案B在水平、垂直方向上交替排列而得到的排列。
第一排列图案A中,在中心配置有R滤光片,在四角配置有B滤光片,隔着中心的R滤光片而在上下左右配置有G滤光片。另一方面,第二排列图案B中,在中心配置有B滤光片,在四角配置有R滤光片,隔着中心的B滤光片而在上下左右配置有G滤光片。这些第一排列图案A和第二排列图案B中,R滤光片和B滤光片的位置关系相反,而其他配置相同。
并且,如图11A所示还可知,本实施方式所涉及的滤色器中,上述第一排列图案A(A排列)和第二排列图案B(B排列)在水平及垂直方向上交替配置。
现在,如图11A所示,在将从摄像元件输出的马赛克图像以A排列为中心提取出5×5像素的局部区域(粗框所示的区域)的情况下,该局部区域内的八个G像素如图11B所示,配置成十字状。若将这些G像素按照从左到右的顺序设为G1、G2、G3、G4,按照从上到下的顺序设为G5、G6、G7、G8,则像素G1G2、像素G2G3在水平方向上相邻,像素G5G6、像素G7G8在垂直方向上相邻,像素G6G3、像素G2G7在左上倾斜方向上相邻,像素G6G2、像素G3G7在右上倾斜方向上相邻。
因此,通过求出这些相邻像素的像素值之差的绝对值,能够以最小像素间隔判别水平、垂直及倾斜方向的各方向中的亮度变化最小的方向(相关性高的相关方向)。
即,水平方向上差的绝对值之和是|G1-G2|+|G3-G4|,垂直方向上差的绝对值之和是|G5-G6|+|G7-G8|,右上倾斜方向上差的绝对值之和是|G6-G2|+|G3-G7|,左上倾斜方向上差的绝对值之和是|G6-G3|+|G2-G7|。
能够判别为这四个相关绝对值中的差的绝对值最小的方向上存在相关性(相关方向)。此外,能够在进行去马赛克算法(插值)处理等时利用所判别出的相关方向。
[特征(8)]
构成图7所示的滤色器60的基本排列图案C相对于该基本排列图案C的中心形成点对称。
如图7所示,基本排列图案C内的A排列及B排列分别相对于中心的R滤光片或B滤光片形成点对称,且上下左右形成对称(线对称)。
通过这样的对称性,能够减小或简化后段的处理电路的电路规模。
此外,通过在水平方向及垂直方向上重复配置基本排列图案,使能够构成图7所示的滤色器排列的基本排列图案存在多个,但在本实施方式中,为便于说明,将基本排列图案为点对称的基本排列图案C称为基本排列图案。
如图7所示,滤色器60中,第一排列图案A、第二排列图案B的局部包括拜耳排列图案。例如,当从第一排列图案A摘出任意的2×2像素时,与图3所示的2×2像素的拜耳排列图案是相同的。这一点对于第二排列图案B也是一样。
因此,即使在使用了滤色器60的情况下,通过驱动摄像元件14以便仅读出与拜耳排列图案相同的图案的像素的像素数据,也可获得拜耳排列的像素数据。能够与第一至第三实施方式一样地执行间拔方式等。
此外,在上述各实施方式中,说明了RGB三原色滤色器的滤色器排列,但滤色器的种类不限于此。
附图标记
10 摄像装置
12 光学系统
14 摄像元件
16 摄像处理部
20 图像处理部
22 驱动部
24 控制部
30 滤色器

Claims (4)

1.一种摄像装置,具有:
摄像元件,包括排列于水平方向及垂直方向上的多个光电转换元件;
滤色器,设于由上述多个光电转换元件构成的多个像素上,并重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案,其中,上述第一排列图案配置在局部包括拜耳排列图案的3×3像素上,上述拜耳排列图案在2×2像素的正方排列的一条对角线上的两个像素上配置有与最有助于获得亮度信号的第一颜色对应的第一滤光片,在另一条对角线上的两个像素上配置有与不同于上述第一颜色的第二颜色对应的第二滤光片和与不同于上述第一颜色及上述第二颜色的第三颜色对应的第三滤光片,上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换;
驱动单元,驱动上述摄像元件以便从上述摄像元件仅读出预定位置的、图案与上述拜耳排列图案相同的像素的像素数据;及
生成单元,基于从上述摄像元件输出的上述拜耳排列图案的像素数据,对于各像素通过根据周围像素的像素数据对所对应颜色以外的颜色的像素数据进行插值来生成各像素的各色的像素数据,
上述滤色器是重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案的滤色器,其中,上述第一排列图案中,上述第一滤光片配置在3×3像素的正方排列的四角及中央的像素上,上述第二滤光片配置在上述正方排列的上述水平方向上的中央的行上,上述第三滤光片配置在上述正方排列的上述垂直方向上的中央的行上,上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换。
2.根据权利要求1所述的摄像装置,其中,
上述第一颜色是绿(G)色,上述第二颜色是红(R)色及蓝(B)色中的一种颜色,上述第三颜色是红(R)色及蓝(B)色中的另一种颜色。
3.一种摄像装置,具有:
摄像元件,包括排列于水平方向及垂直方向上的多个光电转换元件;
滤色器,设于由上述多个光电转换元件构成的多个像素上,并重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案,其中,上述第一排列图案配置在局部包括拜耳排列图案的3×3像素上,上述拜耳排列图案在2×2像素的正方排列的一条对角线上的两个像素上配置有与最有助于获得亮度信号的第一颜色对应的第一滤光片,在另一条对角线上的两个像素上配置有与不同于上述第一颜色的第二颜色对应的第二滤光片和与不同于上述第一颜色及上述第二颜色的第三颜色对应的第三滤光片,上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换;
驱动单元,驱动上述摄像元件以便从上述摄像元件仅读出预定位置的、图案与上述拜耳排列图案相同的像素的像素数据;及
生成单元,基于从上述摄像元件输出的上述拜耳排列图案的像素数据,对于各像素通过根据周围像素的像素数据对所对应颜色以外的颜色的像素数据进行插值来生成各像素的各色的像素数据,
上述滤色器是重复配置有将第一排列图案和第二排列图案点对称地配置而得到的6×6像素的基本排列图案的滤色器,其中,上述第一排列图案中,上述第三滤光片配置在3×3像素的正方排列的四角的像素上,上述第二滤光片配置在上述正方排列的中央的像素上,上述第一滤光片配置在上述正方排列的上述垂直方向上的中央的行及上述水平方向上的中央的行上,上述第二排列图案中的上述第一滤光片的配置与上述第一排列图案相同且将上述第一排列图案中的上述第二滤光片的配置与上述第三滤光片的配置进行了对换。
4.根据权利要求3所述的摄像装置,其中,
上述第一颜色是绿(G)色,上述第二颜色是红(R)色及蓝(B)色中的一种颜色,上述第三颜色是红(R)色及蓝(B)色中的另一种颜色。
CN201180069192.6A 2011-03-11 2011-07-29 摄像装置 Expired - Fee Related CN103430552B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011-054632 2011-03-11
JP2011054632 2011-03-11
JP2011-163307 2011-07-26
JP2011163307 2011-07-26
PCT/JP2011/067545 WO2012124182A1 (ja) 2011-03-11 2011-07-29 撮像装置及び撮像プログラム

Publications (2)

Publication Number Publication Date
CN103430552A CN103430552A (zh) 2013-12-04
CN103430552B true CN103430552B (zh) 2015-04-08

Family

ID=46830284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180069192.6A Expired - Fee Related CN103430552B (zh) 2011-03-11 2011-07-29 摄像装置

Country Status (5)

Country Link
US (1) US8723993B2 (zh)
EP (1) EP2685726A4 (zh)
JP (1) JP5524406B2 (zh)
CN (1) CN103430552B (zh)
WO (1) WO2012124182A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124181A1 (ja) * 2011-03-11 2012-09-20 富士フイルム株式会社 撮像装置及び撮像プログラム
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106454054B (zh) * 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507019B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753863A (zh) * 2008-12-08 2010-06-23 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备
CN101861728A (zh) * 2007-11-16 2010-10-13 奥林巴斯株式会社 降噪系统、降噪程序以及摄像系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3268891B2 (ja) * 1992-08-14 2002-03-25 オリンパス光学工業株式会社 内視鏡撮像装置
JPH0823543A (ja) 1994-07-07 1996-01-23 Canon Inc 撮像装置
JPH0823542A (ja) 1994-07-11 1996-01-23 Canon Inc 撮像装置
JP3935548B2 (ja) 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
EP0930789B1 (en) 1998-01-20 2005-03-23 Hewlett-Packard Company, A Delaware Corporation Colour image pickup device
JP4098438B2 (ja) 1999-04-15 2008-06-11 オリンパス株式会社 カラー撮像素子及びカラー撮像装置
JP4487351B2 (ja) * 1999-07-15 2010-06-23 ソニー株式会社 固体撮像素子およびその駆動方法並びにカメラシステム
US7847829B2 (en) 2001-01-09 2010-12-07 Sony Corporation Image processing apparatus restoring color image signals
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004266369A (ja) 2003-02-21 2004-09-24 Sony Corp 固体撮像装置およびその駆動方法
JP4385282B2 (ja) 2003-10-31 2009-12-16 ソニー株式会社 画像処理装置および画像処理方法
JP4450187B2 (ja) * 2004-06-08 2010-04-14 パナソニック株式会社 固体撮像装置
JP2007124295A (ja) 2005-10-28 2007-05-17 Pentax Corp 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
JP4662883B2 (ja) 2006-05-15 2011-03-30 富士フイルム株式会社 二次元カラー固体撮像素子
JP2008078794A (ja) 2006-09-19 2008-04-03 Pentax Corp 撮像素子駆動装置
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7701496B2 (en) 2006-12-22 2010-04-20 Xerox Corporation Color filter pattern for color filter arrays including a demosaicking algorithm
JP5082528B2 (ja) 2007-03-23 2012-11-28 ソニー株式会社 固体撮像装置及び撮像装置
JP2009246465A (ja) 2008-03-28 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、及び撮像システム
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5149143B2 (ja) 2008-12-24 2013-02-20 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
WO2012124181A1 (ja) * 2011-03-11 2012-09-20 富士フイルム株式会社 撮像装置及び撮像プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101861728A (zh) * 2007-11-16 2010-10-13 奥林巴斯株式会社 降噪系统、降噪程序以及摄像系统
CN101753863A (zh) * 2008-12-08 2010-06-23 索尼株式会社 固态成像器件、固态成像器件的信号处理方法和成像设备

Also Published As

Publication number Publication date
JP5524406B2 (ja) 2014-06-18
US20140009649A1 (en) 2014-01-09
JPWO2012124182A1 (ja) 2014-07-17
EP2685726A4 (en) 2014-09-03
US8723993B2 (en) 2014-05-13
EP2685726A1 (en) 2014-01-15
WO2012124182A1 (ja) 2012-09-20
CN103430552A (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
CN103416067B (zh) 摄像装置
CN103444183B (zh) 彩色摄像元件及摄像装置
JP5702896B2 (ja) カラー撮像素子及び撮像装置
CN104412581B (zh) 彩色摄像元件及摄像装置
US8730360B2 (en) Color imaging apparatus having color imaging element, method of controlling operation of same and image sensing system
CN103460703B (zh) 彩色摄像元件及摄像装置
CN103460704B (zh) 彩色摄像元件及摄像装置
CN103430552B (zh) 摄像装置
JP5621057B2 (ja) カラー撮像素子
CN103621070B (zh) 摄像装置及摄像装置的控制方法
CN104025582B (zh) 彩色摄像元件
CN104041019B (zh) 摄像装置及摄像装置的控制方法
CN104025566B (zh) 摄像装置及摄像装置的控制方法
CN103460702B (zh) 彩色摄像元件及摄像装置
JP5411390B2 (ja) カラー撮像素子
CN104025576B (zh) 摄像装置及摄像装置的控制方法
CN104025575B (zh) 摄像装置及摄像装置的控制方法
CN104011575B (zh) 摄像装置及摄像装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150408

Termination date: 20190729