CN110447223B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN110447223B
CN110447223B CN201880009949.4A CN201880009949A CN110447223B CN 110447223 B CN110447223 B CN 110447223B CN 201880009949 A CN201880009949 A CN 201880009949A CN 110447223 B CN110447223 B CN 110447223B
Authority
CN
China
Prior art keywords
pixel
phase difference
pixels
image
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880009949.4A
Other languages
English (en)
Other versions
CN110447223A (zh
Inventor
小林诚
河合智行
田中诚二
田中康一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN110447223A publication Critical patent/CN110447223A/zh
Application granted granted Critical
Publication of CN110447223B publication Critical patent/CN110447223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)
  • Blocking Light For Cameras (AREA)
  • Optical Filters (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供一种成像元件，其为在水平方向和垂直方向二维地配置有多个相位差检测用像素和用于摄像的多个普通像素的成像元件，其中，相位差检测用像素具有光瞳分割用开口部，包含相对于水平方向的开口部的位置彼此不同的第1相位差像素(ZA)和第2相位差像素(ZB)，并且第1相位差像素(ZA)和第2相位差像素(ZB)彼此以开口部相对的方式相邻配置，多个普通像素中以拜耳排列配置有RGB滤色器，所述成像元件具有只有普通像素配置于水平方向的普通像素行、以及第1相位差像素(ZA)及第2相位差像素(ZB)和1个普通像素周期性地配置于水平方向的相位差像素行。

Description

摄像装置
技术领域
本发明涉及一种成像元件以及摄像装置，尤其涉及一种具有相位差检测用像素的成像元件以及摄像装置。
背景技术
近来，为了加速自动聚焦(AF：Autofocus)，已普及了在成像元件中作为相位差检测用像素而配置光瞳分割用开口部的位置彼此不同的第1相位差像素和第2相位差像素，并根据从第1相位差像素和第2相位差像素获得的两个图像信号的相位差进行相位差AF的技术(专利文献1)。
关于专利文献1中记载的成像元件，红色(R)、绿色(G)、蓝色(B)滤色器的颜色排列是拜耳排列，并且在水平方向上具有G滤色器的像素(G像素)和具有B滤色器的像素(B像素)交替排列的拜耳排列的特定GB行中配置第1相位差像素和第2相位差像素来代替G像素和B像素。
专利文献2中记载的成像元件与专利文献1中记载的成像元件相同，滤色器的颜色排列是拜耳排列，并且第1相位差像素和第2相位差像素之间的相位差检测像素对设置在方形网格形状中的离散和周期性的位置上，在方形网格形状的各像素中在水平方向和垂直方向2n+1(n＝1、2、……)的间隔上设置有第1相位差像素，在具有相对于第1相位差像素相隔2个像素的相同颜色滤色器的像素中设置有成对的第2相位差像素。
关于专利文献2中记载的成像元件，作为相位差检测像素对，R像素的相位差检测像素对、G像素的相位差检测像素对以及B像素的相位差检测像素对设置在方形网格中的离散和周期性的位置上，因此包含第1相位差像素的第1图像和包含第2相位差像素的第2图像成为具有对应于被摄体距离的视差的图像。即，专利文献2中记载的成像元件能够实现普通俯视图像的成像和立体图像(仅第1相位差像素的图像和仅第2相位差像素的图像的两个图像)的成像。
以往技术文献
专利文献
专利文献1：日本特开2013-013006号公报
专利文献2：国际公开第2012/169318号
发明内容
发明要解决的技术课题
专利文献1中记载的成像元件中相位差检测用像素(第1相位差像素、第2相位差像素)以高密度配置，因此AF性能良好，但是存在相位差检测用像素的校正精度变低的问题。
相位差检测用像素的校正通过“平均值插值”进行，该“平均值插值”以存在于关注的相位差检测用像素周围的多个普通像素(除了相位差检测用像素以外的像素)的加权平均值进行插值，但是关于专利文献1中记载的成像元件，由于相位差检测用像素在成像元件的水平方向(横向)上高密度地配置，因此如果被摄体是水平线时很难进行平均值插值(使用接近相位差检测用像素的水平方向普通像素的平均值进行的校正)，并存在不能进行高精度的平均值插值的问题。
另一方面，关于专利文献2中记载的成像元件，为了能够实现立体图像的成像，需要分别将R像素的相位差检测用像素对、G像素的相位差检测用像素对以及B像素的相位差检测用像素对设置在方形网格形状中的离散和周期性位置上，因此，配置有相同颜色滤色器的成对的相位差检测用像素相隔2个像素。
另外，专利文献2中并未记载将配置有相同颜色滤色器的成对的相位差检测用像素使用于相位差AF的内容。并且，R像素的相位差检测用像素对、G像素的相位差检测用像素对以及B像素的相位差检测用像素对根据到被摄体的距离而在水平方向(左右方向)具有视差，但是配置有相同颜色滤色器的成对的相位差检测用像素在垂直方向上相隔2个像素，因此不能进行高精度的相位差AF。
本发明是鉴于这种情况而完成的，其目的在于提供一种相位差检测用像素的校正精度高，AF性能良好，而且适于低功率和高速处理的成像元件以及摄像装置。
用于解决技术课题的手段
为了实现上述目的，一种技术方案所涉及的发明为一种成像元件，其为在第1方向以及与第1方向正交的第2方向上二维地配置有多个相位差检测用像素和用于摄像的多个普通像素的成像元件，其中，相位差检测用像素具有光瞳分割用开口部，包含相对于第1方向的开口部的位置彼此不同的第1相位差像素和第2相位差像素，并且第1相位差像素和第2相位差像素彼此以开口部相对的方式相邻配置，多个普通像素中以第1周期性颜色排列配置有与最有助于获得亮度信号的第1颜色对应的第1滤色器，以及与除了第1颜色以外的两个颜色以上的各颜色分别对应的多个第2滤色器，所述成像元件具有只有普通像素配置于第1方向的普通像素行、以及第1相位差像素及第2相位差像素和普通像素周期性地配置于第1方向的相位差像素行，与相位差像素行相邻的至少两行中仅配置有普通像素行，在相位差像素行中，如果仅提取从配置有普通像素的位置向第2方向延伸的普通像素，则在被提取的普通像素中以第1周期性颜色排列配置有滤色器。
根据本发明的一种技术方案，相位差像素行中周期性地配置有相位差检测用像素(第1相位差像素和第2相位差像素)和普通像素，并且与相位差像素行相邻的至少两行中仅配置有普通像素行，因此在通过周围像素的像素值的插值生成相位差检测用像素的像素位置的像素值时，能够利用与相位差像素行相邻的至少两行普通像素行中的普通像素的像素值和相位差像素行上的普通像素的像素值，能够高精度地进行相位差检测用像素的校正(插值)。并且，在相位差像素行中，如果仅提取从配置有普通像素的位置向第2方向延伸的普通像素，则在被提取的普通像素中以第1周期性颜色排列配置有滤色器，因此能够获取包含具有第1周期性颜色排列的普通像素的图像，适于低功率和高速处理。而且，由于一对第1相位差像素和第2相位差像素彼此以开口部相对的方式相邻配置，因此一对第1相位差像素和第2相位差像素之间的间隔成为最小。由此，能够使相位差的空间采样频率成为最大，与一对第1相位差像素和第2相位差像素隔着普通像素分开配置的情况相比，能够良好地(高精度地)进行针对空间频率高的被摄体的相位差AF。
本发明的另一技术方案所涉及的摄像装置为一种摄像装置，其具备：成像元件，其为在第1方向以及与第1方向正交的第2方向上二维地配置有多个相位差检测用像素和用于摄像的多个普通像素的成像元件，其中，相位差检测用像素具有光瞳分割用开口部，包含相对于第1方向的开口部的位置彼此不同的第1相位差像素和第2相位差像素，并且第1相位差像素和第2相位差像素彼此以开口部相对的方式相邻配置，多个普通像素中以第1周期性颜色排列配置有与最有助于获得亮度信号的第1颜色对应的第1滤色器，以及与除了第1颜色以外的两个颜色以上的各颜色分别对应的多个第2滤色器，所述成像元件具有只有普通像素配置于第1方向的普通像素行、以及第1相位差像素及第2相位差像素和普通像素周期性地配置于第1方向的相位差像素行，与相位差像素行相邻的至少两行中仅配置有普通像素行，在相位差像素行中如果仅提取从配置有普通像素的位置向第2方向延伸的普通像素，则在被提取的普通像素中以第1周期性颜色排列配置有滤色器；摄像光学系统，使被摄体像成像于成像元件的受光面；相位差检测部，检测成像元件的相位差像素行中的从第1相位差像素获取的第1像素值与从第2相位差像素获取的第2像素值之间的相位差；以及自动聚焦控制部，根据由相位差检测部检测到的相位差控制摄像光学系统。
根据本发明的另一技术方案，能够根据成像元件的相位差像素行中的从第1相位差像素获取的第1像素值与从第2相位差像素获取的第2像素值之间的相位差控制摄像光学系统，并使被摄体像成像于成像元件的受光面(进行相位差AF)。尤其，成像元件的第1相位差像素和第2相位差像素彼此以开口部相对的方式相邻配置，并且一对第1相位差像素和第2相位差像素之间的间隔成为最小，因此能够使相位差的空间采样频率成为最大，与一对第1相位差像素和第2相位差像素隔着普通像素分开配置的情况相比，能够高精度地进行针对空间频率高的被摄体的相位差AF。
在本发明的又一技术方案所涉及的摄像装置中，优选具备：模式切换部，切换生成第1图像的第1模式和生成第2图像的第2模式；第1图像生成部，如果由模式切换部切换到第1模式，则至少根据相位差像素行中的普通像素的像素值以及与相位差像素行相邻的至少两行普通像素行中的普通像素的像素值生成相位差像素行中的第1相位差像素和第2相位差像素的像素位置的像素值，并生成包含第1相位差像素和第2相位差像素的像素位置的像素值的第1图像；以及第2图像生成部，如果由模式切换部切换到第2模式，则在相位差像素行中仅提取从配置有普通像素的位置向第2方向延伸的普通像素，并生成由已提取的多个普通像素组成的第2图像。
根据本发明的又一技术方案，如果切换到第1模式，则能够至少根据相位差像素行中的普通像素的像素值以及与相位差像素行相邻的至少两行普通像素行中的普通像素的像素值生成相位差像素行中的第1相位差像素和第2相位差像素的像素位置的像素值，并生成包含第1相位差像素和第2相位差像素的像素位置的像素值的第1图像(高分辨率第1图像)；如果切换到第2模式，则能够在相位差像素行中提取从配置有普通像素的位置向第2方向延伸的普通像素，并生成由已提取的多个普通像素的像素值组成的第2图像(低分辨率第2图像)。在此，第2图像仅由普通像素组成，并且以第1周期性颜色排列配置有滤色器，因此不需要进行相位差检测用像素的校正，并且能够共同进行第1图像和第2图像的后段的图像处理，适于低功率和高速处理。
在本发明的又一技术方案所涉及的摄像装置中，优选在第1图像生成部中，如果将第1相位差像素和第2相位差像素设为关注像素，则使用关注像素的像素位置周围像素的像素值生成关注像素的像素位置的像素值。
在本发明的又一技术方案所涉及的摄像装置中，优选具备信号梯度计算部，该信号梯度计算部在将第1相位差像素和第2相位差像素设为关注像素，并生成关注像素的像素位置上的像素值时，计算关注像素的像素位置周围像素的信号梯度成为最小的信号梯度方向，第1图像生成部检测存在于由信号梯度计算部计算到且以关注像素的像素位置为基准的信号梯度方向，并与关注像素的像素位置的颜色相同颜色的多个像素,并且对检测到的多个像素的像素值进行插值而生成关注像素的像素位置的像素值。
根据本发明的又一技术方案，与第1相位差像素或第2相位差像素(校正对象的关注像素)的像素位置周围像素的信号梯度方向对应地选择用于关注像素的插值的像素，因此能够提高相位差像素的校正精度。
在本发明的又一技术方案所涉及的摄像装置中，优选信号梯度计算部计算第1方向、第2方向、第1方向与第2方向之间的第3方向及第4方向这4个方向中的1个方向作为信号梯度方向。
在本发明的又一技术方案所涉及的摄像装置中，优选信号梯度计算部计算第1方向、第2方向、第1方向与第2方向之间的第3方向及第4方向这4个方向，以及4个方向中间的4个方向这8个方向中的1个方向作为信号梯度方向。通过比4个方向更精细地计算信号梯度方向，能够进一步提高相位差像素的校正精度。
在本发明的又一技术方案所涉及的摄像装置中，优选当无法由信号梯度计算部计算到信号梯度方向时，第1图像生成部根据最接近关注像素的像素位置的相同颜色像素的像素值或者以关注像素的像素位置为基准的插值范围内的多个相同颜色像素的像素值生成关注像素的像素位置的像素值。
在本发明的又一技术方案所涉及的摄像装置中，优选第1相位差像素和第2相位差像素中分别配置有第1滤色器，或者入射有波长区域比第1滤色器的透射波长区域宽的光，具有像素值相加部，该像素值相加部将开口部以相对的方式相邻配置的第1相位差像素的像素值和第2相位差像素的像素值相加，并生成第1相位差像素与第2相位差像素之间的像素位置上的相加像素值，第1图像生成部将由像素值相加部相加而得的相加像素值用作周围像素中的1个像素的像素值。
如果将开口部以相对的方式相邻配置的一对第1相位差像素的像素值和第2相位差像素的像素值相加，则会在一对第1相位差像素和第2相位差像素之间宛如存在普通像素那样动作。在对相位差像素进行校正时，第1图像生成部将相加像素值用作周围像素中的1个像素的像素值，因此能够提高相位差检测用像素的校正精度。
在本发明的又一技术方案所涉及的摄像装置中，优选具备增益插值信息获取部，该增益插值信息获取部将第1相位差像素或第2相位差像素设为关注像素，并获取相对于关注像素的像素位置设定的增益插值信息，第1图像生成部根据关注像素的像素值和由增益插值信息获取部获取的增益插值信息，通过增益插值生成关注像素的像素位置上的像素值。关于第1相位差像素和第2相位差像素，由于有入射到周围普通像素中的光量的大约一半入射，因此比普通像素的灵敏度降低。“增益插值”是一种插值方法，该方法通过将相位差检测用像素的像素值乘以规定的增益插值信息来使普通像素与信号电平匹配，以便补偿相位差检测用像素的灵敏度的降低量。在对相位差检测用像素进行校正时，根据拍摄场景等的不同，有时增益插值可能会比使用关注像素周围的像素的平均值插值更合适，在这种情况下进行“增益插值”。
在本发明的又一技术方案所涉及的成像元件中，优选第1周期性颜色排列是拜耳排列，相位差像素行将一对第1相位差像素和第2相位差像素以及1个普通像素这3个像素作为1个周期而周期性地排列。当第1周期性颜色排列是拜耳排列时，通过1/3间隔剔除读出成像元件各行中的像素，能够恰好只提取普通像素，在执行间隔剔除读出的模式时，能够不需要进行相位差像素的校正处理，并能够实现低功率和高速处理。
在本发明的又一技术方案所涉及的成像元件中，优选第1滤色器是透射绿色波长范围的光的G滤色器，多个第2滤色器是透射红色波长范围的光的R滤色器和透射蓝色波长范围的光的B滤色器，第1周期性颜色排列具有在第1方向和第2方向相邻配置的4×4像素的基本排列图案，基本排列图案中，具有G滤色器的2×2像素和具有R滤色器的2×2像素在第1方向相邻排列，具有B滤色器的2×2像素和具有G滤色器的2×2像素在第1方向相邻排列，相位差像素行将一对第1相位差像素和第2相位差像素以及1个普通像素这3个像素作为1个周期而周期性地排列。
即，第1周期性颜色排列并不限于拜耳排列，也可以是具有4×4像素的基本排列图案的上述颜色排列，这种情况下，也能够通过在相位差像素行中将一对第1相位差像素和第2相位差像素以及1个普通像素这3个像素作为1个周期而周期性地进行排列，从而在1/3间隔剔除读出成像元件各行中的像素时，能够恰好只提取普通像素，在执行间隔剔除读出的模式时，能够不需要进行相位差检测用像素的校正处理，并能够实现低功率和高速处理。
发明效果
根据本发明，在相位差检测用像素(第1相位差像素和第2相位差像素)以及普通像素周期性地配置于第1方向的相位差像素行中，第1相位差像素和第2相位差像素彼此以开口部相对的方式相邻配置，因此在通过周围像素的像素值的插值生成相位差检测用像素的像素位置的像素值时，能够利用与相位差像素行相邻的至少两行普通像素行中的普通像素的像素值以及相位差像素行上的普通像素的像素值，能够高精度地校正相位差检测用像素。并且，在相位差像素行中，如果仅提取从配置有普通像素的位置向第2方向延伸的普通像素，则被提取的普通像素中以第1周期性颜色排列配置有滤色器，因此能够获取仅包含具有第1周期性颜色排列的普通像素的图像，适于低功率和高速处理。而且，第1相位差像素和第2相位差像素彼此以开口部相对的方式相邻配置，因此与一对第1相位差像素和第2相位差像素隔着普通像素分开配置的情况相比，能够良好地进行相位差AF。
附图说明
图1是表示摄像装置的一例的立体图。
图2是图1中示出的摄像装置的后视图。
图3是表示图1中示出的摄像装置的内部结构的一例的框图。
图4是表示成像元件的滤色器排列和相位差检测用像素的配置的第1实施方式的图。
图5是示意地表示一对第1相位差像素ZA和第2相位差像素ZB的俯视图。
图6是表示第1相位差像素ZA和第2相位差像素ZB的结构的主要部分放大图。
图7是表示图3中示出的图像处理部24中的插值处理部的实施方式的框图。
图8是用于说明对第1实施方式的成像元件中的相位差检测用像素进行的平均值插值的图。
图9是用于说明对第1实施方式的成像元件中的相位差检测用像素进行的平均值插值的另一图。
图10是表示成像元件的滤色器排列和相位差检测用像素的配置的第2实施方式的图。
图11是用于说明对第2实施方式的成像元件中的相位差检测用像素进行的平均值插值的图。
图12是用于说明对第2实施方式的成像元件中的相位差检测用像素进行的平均值插值的另一图。
图13是表示摄像装置的一实施方式的智能手机的外观的图。
图14是表示图13中示出的智能手机100的内部结构的框图。
具体实施方式
以下，根据附图对本发明所涉及的成像元件以及摄像装置的优选实施方式进行详细说明。
[摄像装置]
图1和图2是分别表示摄像装置的一例(数码相机)的立体图和后视图。该摄像装置10是一种数码相机，其通过成像元件接收通过了透镜的光，并将该光转换为数字信号而作为静止图像或动态图像的图像数据记录于记录介质中。
如图1所示，摄像装置10中，在其正面配设有摄影透镜12、闪光灯1等，在上表面配设有快门按钮2、电源/模式开关3、模式转盘4等。另一方面，如图2所示，在相机背面配设有液晶显示器(LCD：Liquid Crystal Display)30、变焦按钮5、十字按钮6、菜单/确认(MENU/OK)按钮7、播放按钮8、返回(BACK)按钮9等。
摄影透镜12由可伸缩变焦透镜构成，通过电源/模式开关3将相机的工作模式设定为拍摄模式，由此摄影透镜12从相机主体伸出。闪光灯1向主要被摄体照射闪光。
快门按钮2由包括所谓的“半按下”和“全按下”的二级行程式开关构成，发挥拍摄准备命令部的作用并且发挥图像的记录命令部的作用。
摄像装置10中，如果选择静止图像拍摄模式作为拍摄模式，并且快门按钮2被“半按下”时，执行用于进行AF(自动对焦(Autofocus))/AE(自动曝光(Auto Exposure))控制的拍摄准备动作，如果快门按钮2被“全按下”时，进行静止图像的拍摄和记录。
并且，摄像装置10中，如果选择动态图像拍摄模式作为拍摄模式，并且快门按钮2被“全按下”时，开始进行动态图像的录像，如果快门按钮2再次被“全按下”时，停止录像并成为待机状态。
电源/模式开关3同时具有将摄像装置10的电源设为ON/OFF的作为电源开关的功能以及设定摄像装置10的模式的作为模式开关的功能，并且配设为在“OFF位置”、“播放位置”以及“拍摄位置”之间滑动自如。摄像装置10中，通过滑动电源/模式开关3使其对准“播放位置”或“拍摄位置”，电源成为ON，通过使电源/模式开关3对准“OFF位置”,电源成为OFF。然后，通过滑动电源/模式开关3使其对准“播放位置”而设定为“播放模式”，通过使电源/模式开关3对准“拍摄位置”而设定为“拍摄模式”。
模式转盘4发挥用于设定摄像装置10的拍摄模式的模式切换部的作用，并根据该模式转盘4的设定位置，将摄像装置10的拍摄模式设定为各种模式。例如，进行静止图像拍摄的“静止图像拍摄模式”(第1模式)、进行动态图像拍摄的“动态图像拍摄模式”(第2模式)等。
液晶显示器30在拍摄模式时显示实时取景图像，在播放模式时显示静止图像或动态图像，并且通过显示菜单画面等而作为图形用户界面的一部分发挥作用。
变焦按钮5发挥用于命令变焦的变焦命令机构的作用，包括命令变焦到长焦侧的望远按钮5T和命令变焦到广角侧的广角按钮5W。摄像装置10在拍摄模式下通过操作该望远按钮5T和广角按钮5W来改变摄影透镜12的焦距。并且，在播放模式下，通过操作该望远按钮5T和广角按钮5W来放大和缩小播放中的图像。
十字按钮6是用于输入上下左右4个方向的命令的操作部，作为从菜单画面选择项目或者命令从各菜单选择各种设定项目的按钮(光标移动操作部件)发挥作用。左键/右键在播放模式下作为帧推进(正方向推进/反方向推进)按钮发挥作用。
菜单/确认按钮7是兼具用于指示在液晶显示器30的画面上显示菜单的作为菜单按钮的功能和用于指示选择内容的确定和执行等的作为OK按钮的功能的操作按钮。
播放按钮8是用于切换为播放模式的按钮，该播放模式中将已拍摄记录的静止图像或动态图像显示于液晶显示器30。
返回按钮9作为用于命令取消输入操作或返回到前一操作状态的按钮发挥作用。
另外，在本实施方式所涉及的摄像装置10中，也可以通过设置触摸面板并对触摸面板进行操作来实现这些按钮/开关类的功能，而不对按钮/开关类设置固有部件。
[摄像装置的内部结构]
图3是表示摄像装置10的内部结构的实施方式的框图。该摄像装置10将已拍摄的图像记录于存储卡54中，并通过中央处理器(CPU：Central Processing Unit)40总括控制装置整体的动作。
摄像装置10中设置有快门按钮2、电源/模式开关3、模式转盘4、望远按钮5T、广角按钮5W、十字按钮6、菜单/确认按钮7、播放按钮8、返回按钮9等操作部38。来自该操作部38的信号被输入到CPU40中，CPU40根据输入信号控制摄像装置10的各电路，例如，进行成像元件的驱动控制、透镜驱动控制、光圈驱动控制、拍摄动作控制、图像处理控制、图像数据的记录/播放控制、以及液晶显示器30的显示控制等。
如果通过电源/模式开关3将摄像装置10的电源设定为ON时，从未图示的电源部向各区块供电，并开始驱动摄像装置10。
通过了摄影透镜12、光圈14、机械快门(mechanical shutter)15等的光束成像于作为CMOS(互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor))型彩色图像传感器的成像元件16。另外，成像元件16并不限于CMOS型，也可以是XY地址型或CCD(电荷耦合器件(Charge Coupled Device))型彩色图像传感器。
成像元件16中大量受光元件(光电二极管)被二维排列，成像于各光电二极管的受光面的被摄体像转换为与其入射光量对应量的信号电压(或电荷)，通过成像元件16中的A/D(模拟/数字(Analog/Digital))转换器转换为数字信号并输出。
＜成像元件的第1实施方式＞
关于成像元件16，在第1方向(水平方向)以及与第1方向正交的第2方向(垂直方向)上由二维排列的光电转换元件(光电二极管)构成的多个像素上，以下面例示的第1周期性颜色排列配设有滤色器。并且，成像元件16中配置有多个相位差检测用像素和用于摄像的多个普通像素(除了相位差检测用像素以外的像素)。
如图5所示，相位差检测用像素具有光瞳分割用开口部，包含相对于水平方向的开口部的位置彼此不同的第1相位差像素ZA和第2相位差像素ZB，一对第1相位差像素ZA和第2相位差像素ZB彼此以开口部相对的方式相邻配置。另外，对于第1相位差像素ZA和第2相位差像素ZB的结构的详细内容，在之后进行说明。
图4是表示成像元件16的滤色器排列和相位差检测用像素的配置的第1实施方式的图。
如图4所示，成像元件16的多个普通像素中以第1周期性颜色排列配置有与第1颜色(绿色)对应的第1滤色器、与除了绿色以外的两个颜色以上的各颜色(红色和蓝色)分别对应的多个第2滤色器中的任一滤色器。第1实施方式的成像元件16的滤色器的第1周期性颜色排列通常为拜耳排列。另外，第1滤色器是透射绿色波长范围的光的G滤色器，多个第2滤色器是透射红色波长范围的光的R滤色器和透射蓝色波长范围的光的B滤色器。
在具有拜耳排列的成像元件16中，只有普通像素配置于水平方向(行方向)的普通像素行包含：具有R滤色器的像素(R像素)和具有G滤色器的像素(G像素)在行方向交替配置的RG行；以及G像素和具有B滤色器的像素(B像素)在行方向交替配置的GB行。并且，RG行和GB行在垂直方向(列方向)交替配置。
并且，本例的第1相位差像素ZA和第2相位差像素ZB中分别配置有G滤色器。另外，第1相位差像素ZA和第2相位差像素ZB中例如也可以设为能够使波长区域比G滤色器的透射波长区域宽的光入射，而不配置G滤色器。
成像元件16的第1相位差像素ZA和第2相位差像素ZB以及普通像素周期性地配置于行方向的相位差像素行设置于每隔多行的GB行中，与相位差像素行相邻的至少两行上仅配置有普通像素行。
并且，本例的相位差像素行中，将一对第1相位差像素ZA和第2相位差像素ZB以及1个普通像素这3个像素作为1个周期而周期性地排列。因此，相位差像素行中，G像素和B像素在行方向上每隔2个像素(一对第1相位差像素ZA和第2相位差像素ZB)交替配置。
另外，本例的相位差像素行设置于拜耳排列的GB行，但并不限于此，也可以设置于RG行。
如图4所示，在上述结构的成像元件16中，如果仅提取从配置有相位差像素行中的普通像素(G像素或B像素)的位置(图4中由★标记(黑色星标(black star marks))表示的位置)向第2方向(列方向)延伸的普通像素，则被提取的多个普通像素的各像素的滤色器的颜色排列成为拜耳排列。
并且，构成动态图像的1个帧图像(帧图像)比全像素静止图像的图像尺寸小，在动态图像拍摄模式下间隔剔除驱动成像元件16，由此能够实现低功率和高速处理。
当前，如图4所示，即使在从成像元件16以一定的行间隔(图4中由●标记(黑色圆标(black circle marks))表示的行)间隔剔除读出图像信号的情况下，在与间隔剔除读出的图像信号对应的图像中，如果仅提取从配置有相位差像素行中的普通像素的位置向列方向延伸的普通像素，则被提取的多个普通像素中各像素的滤色器的颜色排列也成为拜耳排列。
即，即使在从成像元件16间隔剔除读出的行中包含相位差像素行，也能够使构成动态图像的帧图像不包含第1相位差像素ZA和第2相位差像素ZB。并且，通过读出相位差像素行，能够在拍摄动态图像时根据包含于相位差像素行中的第1相位差像素ZA和第2相位差像素ZB进行相位差AF。
图5是示意地表示一对第1相位差像素ZA和第2相位差像素ZB的俯视图。
如图5所示，第1相位差像素ZA在像素的右半部分具有开口部，第2相位差像素ZB在像素的左半部分具有开口部。即，一对第1相位差像素ZA和第2相位差像素ZB彼此的开口部相对。
因此，如果将一对第1相位差像素ZA的图像信号(像素值)和第2相位差像素ZB的图像信号(像素值)相加时，相加而得的像素值(相加像素值)会与相同像素位置上的普通像素的像素值大致相等，并且，能够将相加而得的像素(相加像素)视为存在于一对第1相位差像素ZA和第2相位差像素ZB中间的相位差像素。
但是，由于普通像素和相位差检测用像素的像素特性不同，因此需要在适当地对相位差检测用像素进行校正之后生成全像素静止图像。
相位差像素的校正通过“平均值插值”进行，即通过存在于所关注的相位差检测用像素(第1相位差像素ZA或第2相位差像素ZB)周围的多个普通像素像素值的加权平均值进行插值。
一对第1相位差像素ZA和第2相位差像素ZB的相加像素的像素值(本例中，相当于普通像素的G像素的像素值)能够利用于通过平均值插值对第1相位差像素ZA或第2相位差像素ZB的关注像素的像素位置上的G像素像素值进行插值运算的情况。另外，对于相位差像素校正的详细内容，在之后进行说明。
图6是表示第1相位差像素ZA和第2相位差像素ZB的结构的主要部分放大图。
如图6所示，在第1相位差像素ZA的光电二极管PD的前表面侧(微透镜L侧)配设有遮光部件16A，而在第2相位差像素ZB的光电二极管PD的前表面侧配设有遮光部件16B。微透镜L和遮光部件16A、16B具有光瞳分割功能，图6中，遮光部件16A遮蔽光电二极管PD的受光面的左半部分。因此，第1相位差像素ZA中仅接收在通过摄影透镜12的出射光瞳的光束中通过光轴左侧的光束。并且，本例中，在微透镜L的下方配置有G滤色器作为滤色器CF。
遮光部件16B遮蔽第2相位差像素ZB的光电二极管PD的受光面的右半部分。因此，第2相位差像素ZB中仅接收在通过摄影透镜12的出射光瞳的光束中通过光轴右侧的光束。这样，通过具有光瞳分割功能的微透镜L和遮光部件16A、16B，通过出射光瞳的光束被左右分割并分别入射到第1相位差像素ZA和第2相位差像素ZB。
返回图3，在拍摄动态图像或静止图像时从成像元件16读出的图像信号(图像数据)通过图像输入控制器22临时存储于存储器(SDRAM(同步动态随机存取存储器(Synchronous Dynamic Random Access Memory)))48中，或者接收到AF处理部42、AE检测部44等中。
CPU40根据操作部38中的操作对摄像装置10的各部进行总括控制，但在拍摄(显示)实时取景图像以及拍摄(记录)动态图像时始终进行AF动作和AE动作。
发挥相位差检测部的作用的AF处理部42是进行相位差AF处理的部分，利用通过图像输入控制器22获取的第1相位差像素ZA、第2相位差像素ZB的各输出信号检测相位差。另外，对于通过AF处理部42进行的相位差检测的详细内容，在之后进行说明。
如果从AF处理部42输入有表示相位差的相位差数据，则CPU40作为根据相位差数据进行相位差AF的焦点调节部发挥作用。即，CPU40根据相位差数据计算由摄影透镜12引起的焦点位置与成像元件16的成像面的偏移量(散焦量)，并且以使计算出的散焦量成为零的方式通过透镜驱动部36移动摄影透镜12内的聚焦透镜。另外，散焦量的计算也可以由AF处理部42进行。
AE检测部44对通过图像输入控制器22获取的图像数据(例如，整个画面的G像素的像素值)进行累计，或者对在画面中央部和周边部进行不同加权的图像数据(G像素的像素值)进行累计，并将其累计值输出到CPU40。CPU40根据从AE检测部44输入的累计值计算被摄体的明度(拍摄Ev值(曝光值(exposure value)))。在拍摄模式为静止图像拍摄模式的情况下，如果进行快门按钮2的第1级按压(半按下)，则CPU40再次进行上述AF控制，如果将快门按钮2全按下，则计算被摄体的明度(拍摄Ev值)，并基于计算出的拍摄Ev值，根据程序图确定光圈14的F值和由机械快门15产生的曝光时间(快门速度)，从而进行静止图像的拍摄(曝光控制)。
另一方面，在拍摄模式为动态图像拍摄模式的情况下，如果将快门按钮2全按下，则CPU40开始拍摄和记录(录像)动态图像。另外，在拍摄动态图像时，打开机械快门15，从成像元件16连续地读出图像数据(例如，30帧/秒、60帧/秒作为帧速率)并连续地进行相位差AF，并且计算被摄体的明度，并通过快门驱动部33控制快门速度(通过滚动快门的电荷累积时间)和/或通过光圈驱动部34控制光圈14。
CPU40根据来自变焦按钮5的变焦指令，通过透镜驱动部36使变焦透镜在光轴方向进退动作从而改变焦距。
并且，ROM47是存储有用于相机控制程序、成像元件16的缺陷信息、图像处理等的各种参数或表格的ROM(只读存储器(Read Only Memory))或EEPROM(电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory))。本例中，该ROM47中存储有成像元件16的相位差像素行(包含第1相位差像素ZA、第2相位差像素ZB的像素位置)、与普通像素行相关的信息、后述增益插值信息以及水平调整系数等。
作为第1图像生成部和第2图像生成部发挥作用的图像处理部24在拍摄动态图像或静止图像时通过图像输入控制器22而获取，并读出临时存储于存储器48的未处理的图像数据(RAW数据)。图像处理部24以已读出的RAW数据进行偏移处理、像素插值处理(相位差检测用像素、缺陷像素等插值处理)、白平衡校正、包括灵敏度校正的增益控制处理、伽马校正处理、同步化处理(也称为“去马赛克处理”)、亮度和色差信号生成处理、轮廓增强处理以及色彩校正等。
由图像处理部24处理并作为实时取景图像处理的图像数据被输入到VRAM(视频RAM随机存取存储器(video random access memory))50。
VRAM50中包含用于记录分别表示1个帧份的图像的图像数据的A区域和B区域。在VRAM50中，表示1个帧份的图像的图像数据在A区域和B区域中被交替重写。VRAM50的A区域和B区域中，从除了重写有图像数据的区域以外的区域读出写入的图像数据。
从VRAM50读出的图像数据在视频编码器28中进行编码并输出到设置于相机背面的液晶显示器30。由此，表示被摄体像的实时取景图像显示在液晶显示器30中。
由图像处理部24处理并作为记录用静止图像或动态图像处理的图像数据(亮度数据(Y)和色差数据(Cb),(Cr))被再次存储于存储器48。
在记录静止图像或动态图像时，压缩/解压缩处理部26对由图像处理部24处理且存储于存储器48中的亮度数据(Y)和色差数据(Cb),(Cr)实施压缩处理。在静止图像的情况下，例如以JPEG(联合图像编码专家组(Joint Photographic Experts Group))形式进行压缩，在动态图像的情况下，例如以H.264形式进行压缩。由压缩/解压缩处理部26压缩的压缩图像数据通过介质控制器52记录到存储卡54中。
并且，在播放模式下，压缩/解压缩处理部26对通过介质控制器52从存储卡54得到的压缩图像数据实施解压缩处理。介质控制器52对存储卡54进行压缩图像数据的记录和读出等。
[相位差AF]
在进行相位差AF时，作为自动聚焦控制部发挥作用的CPU40将读出指令输出到传感器驱动部32，以读出成像元件16的至少AF区域内的相位差像素行中的图像数据，并从成像元件16读出对应的图像数据。
在拍摄和显示动态图像(包含实时取景图像)时，CPU40获取用于从成像元件16间隔剔除读出图像数据的间隔剔除率。该间隔剔除率可以是预先设定的固定值，也可以设为能够由用户从多个间隔剔除率进行选择。例如，能够结合动态图像的图像尺寸的选择或者帧速率的选择来适当地设定间隔剔除率。另外，使间隔剔除读出的行中包含相位差像素行。
CPU40将表示与间隔剔除率对应的间隔剔除图案(提取图案)的读出指令输出到传感器驱动部32，并从成像元件16间隔剔除读出图像数据。
AF处理部42从已读出的相位差像素行提取AF区域内的相位差检测用像素(第1相位差像素ZA和第2相位差像素ZB)的输出数据，并检测第1相位差像素ZA的输出数据(第1像素值)与第2相位差像素ZB的输出数据(第2像素值)之间的相位差。例如，在一对第1相位差像素ZA的第1像素值和第2相位差像素ZB的第2像素值的相关性成为最大时(一对相位差像素中各像素值的差分绝对值的累计值成为最小时)，根据第1像素值与第2像素值之间的左右方向的偏移量求出相位差。
然后，针对求出的偏移量，能够计算出校正了相当于一对第1相位差像素ZA和第2相位差像素ZB在水平方向的位置偏移量而得的值来作为相位差数据。另外，相位差的计算方法并不限于上述方法，能够适用各种方法。
接着，CPU40根据由AF处理部42检测到的相位差数据计算由摄影透镜12(摄像光学系统)引起的焦点位置与成像元件16的成像面之间的偏移量(散焦量)。另外，散焦量的计算也可以由AF处理部42进行。
CPU40根据计算出的散焦量，以使散焦量成为零的方式通过透镜驱动部36移动摄影透镜12内的聚焦透镜，由此进行相位差AF。
成像元件16中，一对第1相位差像素ZA和第2相位差像素ZB彼此以开口部相对的方式相邻配置，因此一对第1相位差像素ZA和第2相位差像素ZB之间的间隔成为最小。由此，能够使相位差的空间采样频率成为最大，并且与一对第1相位差像素和第2相位差像素隔着普通像素分开配置的情况相比，能够高精度地对空间频率高的被摄体进行相位差AF。
另外，在生成动态图像时，能够使从成像元件16间隔剔除读出的行中包含具有相位差检测用像素(第1相位差像素ZA和第2相位差像素ZB)的相位差像素行，即使在拍摄动态图像时也能够适当地进行相位差AF。
[动态图像的拍摄和记录]
如上所述，在动态图像拍摄模式下拍摄和记录(显示)动态图像时，CPU40(第2图像生成部)从成像元件16间隔剔除读出图像数据。图4中，成像元件16的由●标记表示的行示出了在拍摄动态图像时被间隔剔除读出的行中的一例。
在从成像元件16间隔剔除读出图像数据时，虽然不进行行方向上像素的间隔剔除，但是在图像处理部24(第2图像生成部)中，对于相位差像素行，如图4所示那样仅提取配置有相位差像素行中的普通像素(G像素或B像素)的位置(图4中★标记表示的位置)的普通像素(水平1/3间隔剔除读出)，并且对于普通像素行，对水平3个像素(相同颜色的3个像素)进行平均而生成实质上进行了水平1/3间隔剔除的像素。另外，对于普通像素行，也可以仅提取由★标记表示的位置的普通像素(水平1/3间隔剔除读出)来代替水平3个像素的平均处理。
构成如此进行了间隔剔除读出的动态图像(第2图像)的1个帧图像且二维排列的多个像素成为以拜耳排列配置有滤色器的像素，并且，动态图像仅包含普通像素，无需对相位差检测用像素进行校正，因此不会出现假彩色。
即，相位差检测用像素(第1相位差像素ZA和第2相位差像素ZB)的输出数据虽然无法用作动态图像的G像素或B像素的图像数据，但是，如上所述，构成动态图像的1个帧图像的多个像素包含普通像素而不包含相位差检测用像素，因此无需通过对相位差检测用像素的图像数据进行插值处理而生成，能够减轻图像处理部24中的运算负载。
并且，构成动态图像的各帧图像比全像素静止图像的图像尺寸小，因此在动态图像拍摄模式下能够间隔剔除驱动成像元件16，从而能够实现低功率和高速处理。
而且，构成动态图像的各帧图像成为与成像元件16的滤色器排列相同的拜耳排列，因此图像处理部24能够与静止图像的图像处理(例如，去马赛克处理)共同进行动态图像的图像处理。
另外，如上述那样进行间隔剔除读出后生成的第2图像并不限于动态图像，也可以是图像尺寸比全像素静止图像小的静止图像。
[插值处理部]
图7是表示图3中示出的图像处理部24中的插值处理部的实施方式的框图。
图7中示出的插值处理部60是在切换为静止图像拍摄模式并拍摄静止图像(第1图像)时，对从成像元件16读出的图像数据(RAW数据)中所含的相位差检测用像素(第1相位差像素ZA、第2相位差像素ZB)的像素值进行校正(插值)的部分，并且作为生成第1图像的第1图像生成部的一部分发挥作用。
插值处理部60包含增益插值部62、平均值插值部64、信号梯度计算部66、像素值相加部68以及最终像素值确定部69。
关于相位差检测用像素(第1相位差像素ZA和第2相位差像素ZB)，由于有入射到周围普通像素中的光量的大约一半入射，因此比普通像素的灵敏度降低，无法用作普通像素。
增益插值部62进行插值，该插值通过将相位差检测用像素的像素值乘以规定的增益插值信息来使普通像素与信号电平匹配，以便补偿相位差检测用像素的灵敏度的降低量。
在此，插值处理部60(或图像处理部24)包含增益插值信息获取部，该增益插值信息获取部中，如果将第1相位差像素ZA或第2相位差像素ZB中的校正对象设为关注像素，则获取相对于RAW数据中的关注像素的像素位置设定的增益插值信息。
增益插值信息获取部可以根据RAW数据计算与关注像素的像素位置对应的增益插值信息，也可以从针对每个关注像素的像素位置存储增益插值信息的存储部获取。另外，增益插值信息能够通过RAW数据中的关注像素的像素值与该关注像素周围的相同颜色普通像素的平均像素值之比来计算。
平均值插值部64是利用关注像素的像素位置周围像素的像素值生成关注像素的像素位置的像素值的部分，平均值插值部64中包含表示由信号梯度计算部66计算出的信号梯度方向的信息以及由像素值相加部68进行相加而得的相加像素的相加像素值。
在生成关注像素的像素位置上的像素值时，信号梯度计算部66计算关注像素的像素位置周围像素的信号梯度成为最小的信号梯度方向。
图8是用于说明对第1实施方式的成像元件中的相位差检测用像素进行的平均值插值的图，示出了根据图8中由黑色圆圈表示的关注像素的周围的像素计算信号梯度方向，并对关注像素的像素位置的像素值进行插值的情况。
当前，如图8所示，在根据由黑色圆圈表示的关注像素(第2相位差像素ZB)的周围的像素计算信号梯度方向时，信号梯度计算部66获取关注像素周围的G像素的像素值，例如，根据水平方向(第1方向)上最接近的两个G像素的像素间隔和两个G像素的像素值的差分计算水平方向的信号梯度，并且以相同的方式计算垂直方向(第2方向)的信号梯度、第1方向与第2方向之间的第3方向(倾斜右上方向)的信号梯度及第4方向(倾斜右下方向)的信号梯度。信号梯度计算部66将计算出的4个方向的信号梯度中成为最小的信号梯度的方向作为信号梯度方向而算出。
在此，在计算信号梯度方向时使用G像素的像素值是因为，G像素的像素值在R像素、G像素和B像素的像素值中最有助于得到亮度信号(Y)，并且上述那样计算出的信号梯度方向相当于4个方向中亮度的相关性最高的方向。
另外，图8中示出的关注像素对应于B像素的位置，因此可以使用关注像素周围的B像素的像素值计算信号梯度方向，也可以使用关注像素周围的RGB像素计算信号梯度方向。
在对关注像素的像素位置上的像素值进行插值运算时，平均值插值部64检测存在于由信号梯度计算部66计算且以关注像素的像素位置为基准的信号梯度方向，并与关注像素的像素位置的颜色相同颜色的多个像素，并且对检测到的多个像素的像素值进行插值而生成关注像素的像素位置的像素值。图8中示出的例子中，关注像素的像素位置的颜色为蓝色(B)，因此检测存在于信号梯度方向的多个B像素，并且对检测到的多个B像素的像素值进行插值而生成关注像素的像素位置的像素值。
并且，如图8所示，与相位差像素行相邻的上方2行和下方2行中仅配置有普通像素行，因此平均值插值部64通过使用相位差像素行、与相位差像素行相邻的上方2行和下方2行(共5行的范围A)内的普通像素(B像素)，能够利用水平方向、垂直方向、倾斜右上方向及倾斜右下方向中的任一方向(信号梯度方向)的B像素生成(插值)关注像素的像素位置的像素值。
并且，平均值插值部64通过使用5行的范围A的普通像素，能够利用水平方向和倾斜右上方向的中间的方向、及水平方向和倾斜右下方向的中间的方向的B像素对关注像素的像素位置的像素值进行插值。
而且，如果将用于插值的普通像素的范围扩大为相位差像素行、与相位差像素行相邻的上方4行和下方4行(共9行的范围B)，则平均值插值部64能够增加能够对关注像素的像素位置的像素值进行插值的方向。即，如果将用于插值的普通像素的范围扩大为9行的范围B，则平均值插值部64能够利用水平方向、垂直方向、倾斜右上方向及倾斜右下方向，以及这4个方向的中间的4个方向这8个方向中的任一方向(信号梯度方向)的B像素，对关注像素的像素位置的像素值进行插值。
另外，该情况下，信号梯度计算部66当然需要计算上述8个方向中的1个方向作为信号梯度方向。
图9是用于说明对第1实施方式的成像元件中的相位差检测用像素进行的平均值插值的另一图，示出了根据图9中由黑色圆圈表示的关注像素的周围的像素计算信号梯度方向，并对关注像素的像素位置的像素值进行插值的情况。
如图9所示，由黑色圆圈表示的关注像素为第1相位差像素ZA，关注像素的位置对应于G像素的位置。因此，信号梯度计算部66优选获取关注像素周围的G像素的像素值，并计算信号梯度方向。
并且，与图8中示出的对关注像素(第2相位差像素)的像素位置的像素值进行插值运算的方法相同地，平均值插值部64根据由信号梯度计算部66计算出的关注像素周围的像素的信号梯度方向，检测存在于以关注像素的像素位置为基准的信号梯度方向，并与关注像素的像素位置的颜色相同颜色的多个像素，并且对检测到的多个像素的像素值进行插值而生成关注像素的像素位置的像素值。
图9中示出的例子中，关注像素的像素位置的颜色为绿色(G)，因此平均值插值部64检测存在于信号梯度方向的多个G像素，并且对检测到的多个G像素的像素值进行插值而生成关注像素的像素位置的像素值。并且，平均值插值部64通过使用包含相位差像素行的5行的范围A内的普通像素(G像素)，能够利用水平方向、垂直方向、倾斜右上方向及倾斜右下方向中任一方向的G像素，生成(插值)关注像素的像素位置的像素值。而且，如果将用于插值的普通像素的范围扩大为包含相位差像素行的9行的范围B，则平均值插值部64通过使用9行的范围B内的普通像素(G像素)，能够利用水平方向、垂直方向、倾斜右上方向及倾斜右下方向，以及这4个方向的中间的4个方向这8个方向中的任一方向的G像素，对关注像素的像素位置的像素值进行插值。
接着，对将一对第1相位差像素ZA和第2相位差像素ZB用于平均值插值的情况进行说明。
图7中，像素值相加部68将一对第1相位差像素ZA的像素值和第2相位差像素ZB的像素值相加，并获取相加像素的相加像素值。
如利用图5进行的说明，如果将一对第1相位差像素ZA的像素值和第2相位差像素ZB的像素值相加，则相加而得的像素值(相加像素值)将与相同像素位置上的普通像素(G像素)的像素值相等，并且，能够将相加而得的像素(相加像素)视为存在于一对第1相位差像素ZA和第2相位差像素ZB的中间的像素。
相加像素的相加像素值成为接近于相同像素位置上的G像素的像素值的值，但并不严格地一致。因此，优选将通过预先设定或分析图像数据而算出的相加像素的水平调整系数乘以相加像素值来进行相加像素值的水平调整。
在关注像素的像素位置的颜色为绿色(G)时，平均值插值部64将由像素值相加部相加而得的相加像素的相加像素值用作该关注像素的周围像素中的1个像素的像素值，并对关注像素中的像素值进行插值运算。
另外，当关注像素周围的普通像素饱和时，或者在关注像素的周围是平坦的图像等情况下，优选不将相加像素值用于平均值插值。
并且，在关注像素的周围是平坦的图像的情况下，信号梯度计算部66能够判定为不存在信号梯度方向。在无法由信号梯度计算部66计算到信号梯度方向的情况下，平均值插值部64能够将最接近于关注像素的像素位置的相同颜色像素的像素值、或者以关注像素的像素位置为基准的插值范围内的多个相同颜色像素的像素值的平均值设为关注像素的像素位置的像素值。
最终像素值确定部69中，针对关注像素，选择由增益插值部62进行了插值的像素值和由平均值插值部64进行了插值的像素值中的任一个像素值，或者生成通过加权相加2个像素值而得的像素值，从而确定关注像素的像素位置上的最终的像素值。例如，当关注像素的周围的图像平坦时，优选进行了平均值插值的像素值，当关注像素周围的图像的空间频率高时，优选进行了增益插值的像素值。并且，在焦点没有对准的区域中，优选进行了平均值插值的像素值。
如上所述，在拍摄静止图像时，插值处理部60对从成像元件16读出的RAW数据中所含的、相位差检测用像素的像素值进行校正(插值)，由此生成相位差检测用像素的像素位置的像素值已被校正的静止图像的RAW数据。
＜成像元件的第2实施方式＞
图10是表示成像元件16的滤色器排列和相位差检测用像素的配置的第2实施方式的图。
如图10所示，配置于成像元件16的各像素中的R滤色器、G滤色器、B滤色器的第1周期性颜色排列具有由粗线框表示的4×4像素的基本排列图案P，该基本排列图案P在水平方向和垂直方向相邻配置。
基本排列图案P中，具有G滤色器的2×2像素和具有R滤色器的2×2像素在水平方向相邻排列，具有B滤色器的2×2像素和具有G滤色器的2×2像素在水平方向相邻排列。
具有第1相位差像素ZA和第2相位差像素ZB的相位差像素行将一对第1相位差像素ZA和第2相位差像素ZB以及1个普通像素(本例中的G像素或B像素)这3个像素作为1个周期而在行方向(水平方向)周期性地排列。另外，相位差像素行设置于每隔多行的行(本例中，排列有G像素和B像素的行)上。
如图10所示，在上述结构的成像元件16中，如果仅提取从配置有相位差像素行中的普通像素(G像素或B像素)的位置(图10中由★标记表示的位置)向第2方向(列方向)延伸的普通像素，则被提取的多个普通像素的各像素的滤色器的颜色排列变得与具有基本排列图案P的原来的颜色排列相同。
并且，在动态图像拍摄模式下间隔剔除驱动成像元件16，由此能够实现低功率和高速处理，但是，如图10所示，在从成像元件16以一定的行间隔(图10中由●标记表示的行)间隔剔除读出图像信号时，在与间隔剔除读出的图像信号对应的图像中，如果仅提取从配置有相位差像素行中的普通像素的位置向列方向延伸的普通像素，则被提取的多个普通像素的各像素的滤色器的颜色排列变得与具有基本排列图案P的原来的颜色排列相同。
图11和图12是用于说明分别对第2实施方式的成像元件中的相位差检测用像素进行的平均值插值的图，示出了根据图11和图12中由黑色圆圈表示的关注像素的周围的像素计算信号梯度方向，并对关注像素的像素位置的像素值进行插值的情况。
如图11和图12所示，通过不在相位差像素行中的上3行、下4行配置相位差检测用像素，在对静止图像拍摄模式下获取的静止图像的RAW数据中所含的相位差检测用像素的像素值进行插值时，能够使用包含相位差像素行的8行的范围C内的普通像素。
即，图7中示出的信号梯度计算部66根据由黑色圆圈表示的关注像素的周围的像素计算信号梯度方向(水平方向、垂直方向、倾斜右上方向及倾斜右下方向这4个方向中的任一方向)，平均值插值部64通过对信号梯度方向的相同颜色的普通像素(8行的范围C内的普通像素)的像素值进行插值，生成(插值)关注像素的像素位置的像素值。
另外，在本例的滤色器排列的情况下，与关注像素相邻且相同颜色的普通像素在图11情况下存在3个像素，在图12情况下存在2个像素，因此当存在与计算到的信号梯度方向相邻的相同颜色的普通像素时，优选将该相邻的普通像素的像素值用作关注像素的像素值。
能够适用本发明的摄像装置的形态并不限定于图1中示出的摄像装置10，例如，可举出具有相机功能的移动电话或智能手机、PDA(个人数字助理(Personal DigitalAssistants))及便携式游戏机等。以下，对能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图13是表示摄像装置的一实施方式的智能手机的外观的图。
图13中示出的智能手机100具有平板状壳体102，壳体102的一侧表面上设置有显示输入部120，该显示输入部120由作为显示部的显示面板121和作为输入部的操作面板122一体形成。并且，该壳体102具备扬声器131、麦克风132、操作部140及相机部141(摄像部)。另外，壳体102的结构并不限定于此，例如还能够采用显示部和输入部独立设置的结构，或者采用折叠结构或具有滑动机构的结构。
图14是表示图13中示出的智能手机100的内部结构的框图。如图14所示，智能手机100的主要构成要件具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160(输出部)、GPS(环球定位系统(global positioningsystem))接收部170、运动传感器部180、电源部190及主控制部101。并且，智能手机100的主要功能具有经由基站装置和移动通信网进行移动无线通信的无线通信功能。
无线通信部110根据主控制部101的命令，在与移动通信网连接的基站装置之间进行无线通信。利用该无线通信，进行语音数据和图像数据等各种文件数据或电子邮件数据等的发送和接收、以及web数据或流数据等的接收。
显示输入部120是所谓的触摸面板，该触摸面板具备配设于显示面板121的画面上的操作面板122，通过控制主控制部101，显示图像(静止图像和动态图像)或文字信息等而视觉性地向用户传递信息，并且检测用于对显示信息的操作。另外，方便起见，还将操作面板122称为触摸面板。
显示面板121中，将LCD(液晶显示器(Liquid Crystal Display))或OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示器件。操作面板122是以能够观察显示于显示面板121的显示面上的图像的状态设置，并检测通过用户的手指或触控笔操作的1个或多个坐标的器件。如果通过用户的手指或触控笔操作该器件，则操作面板122将因操作而生成的检测信号输出到主控制部101。接着，主控制部101根据接收到的检测信号来检测显示面板121上的操作位置(坐标)。
图13中例示的智能手机100的显示面板121与操作面板122成为一体而构成显示输入部120，并且配置成操作面板122完成覆盖显示面板121。在采用该配置的情况下，操作面板122对于显示面板121以外的区域也具有用于检测用户操作的功能。换句话说，操作面板122可以具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为“显示区域”)，以及针对该显示区域以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为“非显示区域”)。
另外，显示区域的大小和显示面板121的大小可以完全一致，但无需一定使两者一致。并且，操作面板122也可以具备外缘部分以及该外缘部分以外的内侧部分这两个感应区域。而且，该外缘部分的宽度根据壳体102的大小等而适当设计。而且，作为操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式及静电电容方式等，可以采用任一方式。
通话部130具备扬声器131和麦克风132，将通过麦克风132输入的用户的声音转换成能够由主控制部101处理的语音数据并输出到主控制部101，或者将由无线通信部110或外部输入输出部160接收的语音数据进行解码并从扬声器131输出。并且，如图13所示，例如，能够将扬声器131和麦克风132搭载于与设置有显示输入部120的面相同的面。
操作部140是使用了键开关等的硬件键，并且接收来自用户的命令。例如，如图13所示，操作部140是搭载于智能手机100的壳体102的侧面的按压按钮式开关，其在用手指等按压时成为接通状态，并在松开手指时通过弹簧等的复原力成为断开状态。
存储部150存储主控制部101的控制程序和控制数据、将通信对象的姓名和电话号码等建立了关联的地址数据、发送和接收到的电子邮件的数据、通过web浏览下载的web数据、以及已下载的内容数据等，并且临时存储流数据等。
并且，存储部150由智能手机内置的内部存储部151及具有装卸自如的外部存储器插槽的外部存储部152构成。另外，构成存储部150的内部存储部151和外部存储部152分别使用闪存式、硬盘类型、微型多介质卡类型、卡类型的存储器、RAM(随机存取存储器(RandomAccess Memory))或ROM(只读存储器(Read Only Memory))等存储介质来实现。
外部输入输出部160发挥与连结于智能手机100的所有外部设备之间的接口作用，并通过通信等(例如，USB(通用串行总线(Universal Serial Bus))、IEEE1394等)或网络(例如，无线LAN(无线局域网(Local Area Network))、蓝牙(Bluetooth)(注册商标)、RFID(射频识别(Radio Frequency Identification))、红外线通信(红外数据协会(InfraredData Association)：IrDA)、UWB(超宽带(Ultra Wideband))(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为连结于智能手机100的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(客户标识模块(Subscriber Identity Module Card))/UIM(用户标识模块(User Identity ModuleCard))卡、经由音频/视频I/O(输入/输出(Input/Output))端子连接的外部音频/视频设备、有线/无线连接的外部音频/视频设备、智能手机、个人计算机、PDA(个人数字助理(Personal Digital Assistant))及耳机等。外部输入输出部160可以将接收到的从这种外部设备发送的数据传递到智能手机100的内部的各构成要件，或者将智能手机100的内部的数据发送到外部设备。
GPS接收部170根据主控制部101的命令，接收从GPS卫星ST1、ST2～STn发送的GPS信号，并根据接收到的多个GPS信号执行定位运算处理，从而获取由智能手机100的纬度、经度和高度指定的位置信息(GPS信息)。当能够从无线通信部110和/或外部输入输出部160(例如，无线LAN)获取位置信息时，GPS接收部170还能够利用该位置信息来检测位置。
运动传感器部180例如具备三轴加速度传感器等，并根据主控制部101的命令检测智能手机100的物理移动。通过检测智能手机100的物理移动，能够检测到智能手机100的移动方向和加速度。其检测结果被输出到主控制部101。
电源部190根据主控制部101的命令，向智能手机100的各部供给蓄积在蓄电池(未图示)中的电力。
主控制部101具备微处理器，并根据存储部150所存储的控制程序和控制数据进行动作，从而对智能手机100的各部进行总括控制。并且，为了通过无线通信部110进行语音通信和数据通信，主控制部101具备用于控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过使主控制部101根据存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如包括通过控制外部输入输出部160而与相向设备进行数据通信的红外线通信功能、进行电子邮件的发送和接收的电子邮件功能、以及用于浏览网页的web浏览功能，此外还包括本发明所涉及的图像处理功能等。
并且，主控制部101具有图像处理功能，该图像处理功能中例如根据接收数据和已下载的流数据等图像数据(静止图像或动态图像的数据)，将影像显示于显示输入部120。并且，图像处理功能中包括由图3中示出的图像处理部24进行的图像处理。
而且，主控制部101执行针对显示面板121的显示控制，以及用于检测通过操作部140或操作面板122进行的用户操作的操作检测控制。
通过执行显示控制，主控制部101显示用于启动应用软件的图标、滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于对不能容纳于显示面板121的显示区域的大图像等接收移动图像的显示部分的命令的软件键。
并且，通过执行操作检测控制，主控制部101检测通过操作部140进行的用户操作，或者通过操作面板122接收对上述图标进行的操作或对上述窗口的输入栏输入的文字列，或者接收通过滚动条进行的显示图像的滚动要求。
而且，通过执行操作检测控制，主控制部101判断针对操作面板122的操作位置是对应于与显示面板121重叠的重叠部分(显示区域)，还是对应于该显示区域以外的不与显示面板121重叠的外缘部分(非显示区域)，并且具备对操作面板122的感应区域或软件键的显示位置进行控制的触摸面板控制功能。
并且，主控制部101还能够检测对操作面板122的手势操作，并根据检测到的手势操作执行预先设定的功能。手势操作不是传统的简单的触摸操作，而是表示通过手指等绘制轨迹或同时指定多个位置，或者将它们组合并从多个位置对至少1个绘制轨迹的操作。
相机部141中，通过控制主控制部101，将通过拍摄得到的图像数据转换为例如JPEG(联合图像专家组(Joint Photographic Experts Group))等压缩而得的图像数据，并通过将该图像数据记录于存储部150或者通过外部输入输出部160或无线通信部110进行输出。如图13所示，在智能手机100中，相机部141搭载于与显示输入部120相同的面，但是相机部141的搭载位置并不限于此，可以在壳体102的背面而非设置有显示输入部120的壳体102的表面搭载相机部141，或者多个相机部141也可以搭载于壳体102。另外，当搭载有多个相机部141时，可以将提供拍摄的相机部141进行切换而由单独的相机部141进行拍摄，或者也可以同时使用多个相机部141进行拍摄。
并且，相机部141能够用于智能手机100的各种功能。例如，由相机部141获取的图像可以显示于显示面板121，也可以作为操作面板122的操作输入方法之一而利用由相机部141拍摄获取的图像。并且，在GPS接收部170检测位置时，也可以参照来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，不使用三轴加速度传感器或者与三轴加速度传感器一同使用而判断智能手机100的相机部141的光轴方向，或者判断当前的使用环境。当然，还能够在应用软件内利用来自相机部141的图像。
此外，还能够将如下数据记录于存储部150或者通过外部输入输出部160或无线通信部110进行输出，所述数据是通过将由GPS接收部170获取的位置信息、由麦克风132获取的语音信息(也可以通过主控制部等进行语音文本转换而成为文本信息)以及由运动传感器部180获取的姿势信息等等附加到静止图像或动态图像的图像数据而得到的。
[其他]
本实施方式的成像元件中，在相位差检测用像素中配置有G滤色器，但也可以以能够使波长区域比G滤色器的透射波长区域宽的光入射的方式构成相位差检测用像素。例如，相位差检测用像素中能够设置透明滤色器而不设置G滤色器。据此，即使是开口部比普通像素小的相位差检测用像素，也能够获取大的像素值(使相位差检测用像素的灵敏度高)。
并且，在图4中示出的成像元件的第1实施方式和图10中示出的成像元件的第2实施方式中，均为将一对第1相位差像素ZA和第2相位差像素ZB以及1个普通像素这3个像素作为1个周期并周期性地配置而构成相位差像素行，但并不限于此，例如，也可以将一对第1相位差像素ZA和第2相位差像素ZB，以及3个普通像素这5个像素作为1个周期并周期性地配置而构成相位差像素行。该情况下，如果水平1/5间隔剔除读出相位差像素行中的普通像素，则成为与对应于相位差像素行的普通像素行相同的颜色排列。
而且，本发明并不限定于上述实施方式，当然在不脱离本发明的精神的范围内能够进行各种变形。
符号说明
1-闪光灯，2-快门按钮，3-电源/模式开关，4-模式转盘，5-变焦按钮，5T-望远按钮，5W-广角按钮，6-十字按钮，7-菜单/确认按钮，8-播放按钮，9-返回按钮，10-摄像装置，12-摄影透镜，14-光圈，15-机械快门，16-成像元件，16A、16B-遮光部件，22-图像输入控制器，24-图像处理部，26-压缩/解压缩处理部，28-视频编码器，30-液晶显示器，32-传感器驱动部，33-快门驱动部，34-光圈驱动部，36-透镜驱动部，38-操作部，40-CPU，42-AF处理部，44-AE检测部，47-ROM，48-存储器，50-VRAM，52-介质控制器，54-存储卡，60-插值处理部，62-增益插值部，64-平均值插值部，66-信号梯度计算部，68-像素值相加部，69-最终像素值确定部，100-智能手机，101-主控制部，102-壳体，110-无线通信部，120-显示输入部，121-显示面板，122-操作面板，130-通话部，131-扬声器，132-麦克风，140-操作部，141-相机部，150-存储部，151-内部存储部，152-外部存储部，160-外部输入输出部，170-GPS接收部，180-运动传感器部，190-电源部，CF-滤色器，L-微透镜，P-基本排列图案，PD-光电二极管，ST1-GPS卫星，ST2-GPS卫星，ZA-第1相位差像素，ZB-第2相位差像素。

Claims (11)

1.一种摄像装置，其具备：
成像元件，其为在第1方向以及与所述第1方向正交的第2方向上二维地配置有多个相位差检测用像素和用于摄像的多个普通像素的成像元件，其中，所述相位差检测用像素具有光瞳分割用开口部，包含相对于所述第1方向的所述开口部的位置彼此不同的第1相位差像素和第2相位差像素，并且所述第1相位差像素和所述第2相位差像素彼此以开口部相对的方式相邻配置，所述多个普通像素中以第1周期性颜色排列配置有与最有助于获得亮度信号的第1颜色对应的第1滤色器，以及与除了所述第1颜色以外的两个颜色以上的各颜色分别对应的多个第2滤色器，所述成像元件具有只有所述普通像素配置于所述第1方向的普通像素行、以及所述第1相位差像素及所述第2相位差像素和所述普通像素周期性地配置于所述第1方向的相位差像素行，与所述相位差像素行相邻的至少两行中仅配置有所述普通像素行，在所述相位差像素行中如果仅提取从配置有所述普通像素的多个位置向所述第2方向延伸的所述普通像素，则在所述被提取的所述多个普通像素中以与所述第1周期性颜色排列相同的周期性颜色排列配置有滤色器；
摄像光学系统，使被摄体像成像于所述成像元件的受光面；
相位差检测部，检测所述成像元件的所述相位差像素行中的从所述第1相位差像素获取的第1像素值与从所述第2相位差像素获取的第2像素值之间的相位差；
自动聚焦控制部，根据由所述相位差检测部检测到的相位差控制所述摄像光学系统，
模式切换部，切换生成第1图像的第1模式和生成第2图像的第2模式；
第1图像生成部，如果由所述模式切换部切换到所述第1模式，则至少根据所述相位差像素行中的普通像素的像素值以及与所述相位差像素行相邻的至少两行所述普通像素行中的普通像素的像素值生成所述相位差像素行中的所述第1相位差像素和所述第2相位差像素的像素位置的像素值，并生成包含所述第1相位差像素和所述第2相位差像素的像素位置的像素值的所述第1图像；以及
第2图像生成部，如果由所述模式切换部切换到所述第2模式，则在所述相位差像素行中提取从配置有所述普通像素的位置向所述第2方向延伸的所述普通像素，并生成由所述已提取的多个普通像素组成的所述第2图像。
2.根据权利要求1所述的摄像装置，其中，
所述第1图像生成部中，如果将所述第1相位差像素和所述第2相位差像素设为关注像素，则使用所述关注像素的像素位置周围像素的像素值生成所述关注像素的像素位置的像素值。
3.根据权利要求2所述的摄像装置，
该摄像装置具备信号梯度计算部，该信号梯度计算部在将所述第1相位差像素和所述第2相位差像素设为关注像素，并生成所述关注像素的像素位置上的像素值时，检测所述关注像素的像素位置周围像素的信号梯度成为最小的信号梯度方向，
所述第1图像生成部检测存在于由所述信号梯度计算部检测到且以所述关注像素的像素位置为基准的信号梯度方向，并与所述关注像素的像素位置的颜色相同颜色的多个像素,并且对所述检测到的多个像素的像素值进行插值而生成所述关注像素的像素位置的像素值。
4.根据权利要求3所述的摄像装置，其中，
所述信号梯度计算部检测所述第1方向、所述第2方向、所述第1方向与所述第2方向之间的第3方向及第4方向这4个方向中的1个方向作为所述信号梯度方向。
5.根据权利要求3所述的摄像装置，其中，
所述信号梯度计算部检测所述第1方向、所述第2方向、所述第1方向与所述第2方向之间的第3方向及第4方向这4个方向、以及所述4个方向中间的4个方向这8个方向中的1个方向作为所述信号梯度方向。
6.根据权利要求3至5中任一项所述的摄像装置，其中，
当无法由所述信号梯度计算部检测到所述信号梯度方向时，所述第1图像生成部根据最接近所述关注像素的像素位置的相同颜色像素的像素值或者以所述关注像素的像素位置为基准的插值范围内的多个相同颜色像素的像素值生成所述关注像素的像素位置的像素值。
7.根据权利要求3至5中任一项所述的摄像装置，其中，
所述第1相位差像素和第2相位差像素中分别配置有所述第1滤色器，或者入射有波长区域比所述第1滤色器的透射波长区域宽的光，
具有像素值相加部，该像素值相加部将所述开口部以相对的方式相邻配置的所述第1相位差像素的像素值和所述第2相位差像素的像素值相加，并生成所述第1相位差像素与所述第2相位差像素之间的像素位置上的相加像素值，
所述第1图像生成部将由所述像素值相加部相加而得的所述相加像素值用作所述周围像素中的1个像素的像素值。
8.根据权利要求3至5中任一项所述的摄像装置，
该摄像装置具备增益插值信息获取部，该增益插值信息获取部将所述第1相位差像素或所述第2相位差像素设为关注像素，并获取相对于所述关注像素的像素位置设定的增益插值信息，
所述第1图像生成部根据所述关注像素的像素值和由所述增益插值信息获取部获取的增益插值信息，通过增益插值生成所述关注像素的像素位置上的像素值。
9.根据权利要求1至5中任一项所述的摄像装置，其中，
所述第1周期性颜色排列是拜耳排列，
所述相位差像素行将一对所述第1相位差像素和所述第2相位差像素以及1个所述普通像素这3个像素作为1个周期而周期性地排列。
10.根据权利要求1至5中任一项所述的摄像装置，其中，
所述第1滤色器是透射绿色波长范围的光的G滤色器，所述多个第2滤色器是透射红色波长范围的光的R滤色器和透射蓝色波长范围的光的B滤色器，
所述第1周期性颜色排列具有在所述第1方向和所述第2方向相邻配置的4×4像素的基本排列图案，
所述基本排列图案中，具有所述G滤色器的2×2像素和具有所述R滤色器的2×2像素在所述第1方向相邻排列，具有所述B滤色器的2×2像素和具有所述G滤色器的2×2像素在所述第1方向相邻排列，
所述相位差像素行将一对所述第1相位差像素和所述第2相位差像素以及1个所述普通像素这3个像素作为1个周期而周期性地排列。
11.根据权利要求1至5中任一项所述的摄像装置，其中，
所述相位差像素行中的所述第1相位差像素和所述第2相位差像素中分别配置有所述第1滤色器，或者入射有波长区域比所述第1滤色器的透射波长区域宽的光。
CN201880009949.4A 2017-03-16 2018-03-05 摄像装置 Active CN110447223B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017051519 2017-03-16
JP2017-051519 2017-03-16
PCT/JP2018/008354 WO2018168551A1 (ja) 2017-03-16 2018-03-05 撮像素子及び撮像装置

Publications (2)

Publication Number Publication Date
CN110447223A CN110447223A (zh) 2019-11-12
CN110447223B true CN110447223B (zh) 2021-07-27

Family

ID=63522120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009949.4A Active CN110447223B (zh) 2017-03-16 2018-03-05 摄像装置

Country Status (4)

Country Link
US (3) US10819900B2 (zh)
JP (5) JP6606307B2 (zh)
CN (1) CN110447223B (zh)
WO (1) WO2018168551A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6606307B2 (ja) * 2017-03-16 2019-11-20 富士フイルム株式会社 撮像素子及び撮像装置
US10848697B2 (en) * 2018-08-14 2020-11-24 Omnivision Technologies, Inc. Image sensors with phase detection auto focus pixels
CN112866510B (zh) * 2019-11-12 2022-06-10 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN115066359A (zh) 2020-02-18 2022-09-16 株式会社电装 驾驶控制装置以及hmi控制装置
KR20220036630A (ko) * 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298246A (zh) * 2010-06-28 2011-12-28 奥林巴斯株式会社 摄像系统
CN102595033A (zh) * 2011-01-11 2012-07-18 索尼公司 图像处理设备，摄像设备，图像处理方法和程序
CN103238098A (zh) * 2010-11-30 2013-08-07 富士胶片株式会社 成像设备和对焦位置检测方法
CN103814322A (zh) * 2011-07-22 2014-05-21 株式会社尼康 调焦装置及摄像装置
CN104025584A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 彩色摄像元件及摄像装置
CN104221365A (zh) * 2012-03-30 2014-12-17 株式会社尼康 拍摄元件、摄影方法及拍摄装置
CN104221369A (zh) * 2012-03-28 2014-12-17 富士胶片株式会社 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN105245772A (zh) * 2014-07-07 2016-01-13 佳能株式会社 摄像元件、摄像元件的控制方法和摄像设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5043626B2 (ja) * 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
JP5126261B2 (ja) 2010-03-18 2013-01-23 株式会社ニコン カメラ
WO2012127701A1 (ja) * 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
WO2012147515A1 (ja) * 2011-04-28 2012-11-01 富士フイルム株式会社 撮像装置及び撮像方法
EP2720455B1 (en) 2011-06-09 2016-06-22 FUJIFILM Corporation Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device
JP2013013006A (ja) 2011-06-30 2013-01-17 Nikon Corp 撮像装置、撮像装置の製造方法、画像処理装置、及びプログラム、並びに記録媒体
JP2013068819A (ja) * 2011-09-22 2013-04-18 Olympus Imaging Corp 撮像装置及び光量制御装置
GB2495908B8 (en) 2011-10-19 2017-06-14 Vitec Group Plc A camera support apparatus
JP5853594B2 (ja) * 2011-10-31 2016-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5924022B2 (ja) 2012-02-17 2016-05-25 セイコーエプソン株式会社 交流電圧検出回路，ヒーター制御装置及び画像形成装置
JP5889049B2 (ja) * 2012-03-09 2016-03-22 オリンパス株式会社 画像処理装置、撮像装置及び画像処理方法
JP6019692B2 (ja) * 2012-04-16 2016-11-02 ソニー株式会社 撮像素子、撮像素子の制御方法、および、撮像装置
JP5767755B2 (ja) * 2012-11-05 2015-08-19 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
CN104755981B (zh) * 2012-11-14 2017-04-12 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
WO2014091854A1 (ja) * 2012-12-11 2014-06-19 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP5497212B1 (ja) 2013-01-25 2014-05-21 中国電力株式会社 分岐用スリーブクリップ
CN105051600B (zh) * 2013-03-29 2018-02-02 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
JP6320272B2 (ja) * 2013-11-29 2018-05-09 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
JP2016009043A (ja) * 2014-06-24 2016-01-18 ソニー株式会社 イメージセンサ、演算方法、および電子装置
JP6506560B2 (ja) * 2015-01-20 2019-04-24 キヤノン株式会社 フォーカス制御装置及びその方法、プログラム、記憶媒体
US10284800B2 (en) * 2016-10-21 2019-05-07 Canon Kabushiki Kaisha Solid-state image pickup element, method of controlling a solid-state image pickup element, and image pickup apparatus
JP6606307B2 (ja) * 2017-03-16 2019-11-20 富士フイルム株式会社 撮像素子及び撮像装置
JP6622945B2 (ja) * 2017-03-30 2019-12-18 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP6655218B2 (ja) * 2017-03-30 2020-02-26 富士フイルム株式会社 撮像装置及び画像処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102298246A (zh) * 2010-06-28 2011-12-28 奥林巴斯株式会社 摄像系统
CN103238098A (zh) * 2010-11-30 2013-08-07 富士胶片株式会社 成像设备和对焦位置检测方法
CN102595033A (zh) * 2011-01-11 2012-07-18 索尼公司 图像处理设备，摄像设备，图像处理方法和程序
CN103814322A (zh) * 2011-07-22 2014-05-21 株式会社尼康 调焦装置及摄像装置
CN104025584A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 彩色摄像元件及摄像装置
CN104221369A (zh) * 2012-03-28 2014-12-17 富士胶片株式会社 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN104221365A (zh) * 2012-03-30 2014-12-17 株式会社尼康 拍摄元件、摄影方法及拍摄装置
CN105245772A (zh) * 2014-07-07 2016-01-13 佳能株式会社 摄像元件、摄像元件的控制方法和摄像设备

Also Published As

Publication number Publication date
JP2020099055A (ja) 2020-06-25
US10819900B2 (en) 2020-10-27
JP6606307B2 (ja) 2019-11-20
JP6989630B2 (ja) 2022-01-05
JPWO2018168551A1 (ja) 2019-11-07
US11496666B2 (en) 2022-11-08
WO2018168551A1 (ja) 2018-09-20
JP2020025305A (ja) 2020-02-13
US20200412967A1 (en) 2020-12-31
US11184523B2 (en) 2021-11-23
JP2020113992A (ja) 2020-07-27
JP6651672B2 (ja) 2020-02-19
US20220070383A1 (en) 2022-03-03
JP2020113991A (ja) 2020-07-27
CN110447223A (zh) 2019-11-12
US20190335110A1 (en) 2019-10-31

Similar Documents

Publication Publication Date Title
JP5697801B2 (ja) 撮像装置及び自動焦点調節方法
US10003731B2 (en) Image element, and imaging device and imaging method using the same for achieving improved image quality regardless of an incident angle of light
CN110447223B (zh) 摄像装置
US9179059B2 (en) Image capture device and image display method
JP5799178B2 (ja) 撮像装置及び合焦制御方法
WO2014091854A1 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
US11290635B2 (en) Imaging apparatus and image processing method
JP5542248B2 (ja) 撮像素子及び撮像装置
US10939058B2 (en) Image processing apparatus, image processing method, and program
JP5740053B6 (ja) 撮像装置及び画像処理方法
JP5740053B2 (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant