CN104396227A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN104396227A
CN104396227A CN201380028891.5A CN201380028891A CN104396227A CN 104396227 A CN104396227 A CN 104396227A CN 201380028891 A CN201380028891 A CN 201380028891A CN 104396227 A CN104396227 A CN 104396227A
Authority
CN
China
Prior art keywords
pixel
potential difference
phase potential
output
interpolating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380028891.5A
Other languages
English (en)
Other versions
CN104396227B (zh
Inventor
河合智行
井泽克俊
林淳司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104396227A publication Critical patent/CN104396227A/zh
Application granted granted Critical
Publication of CN104396227B publication Critical patent/CN104396227B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明准确地进行基于裂像的相位差显示。在彩色摄像元件(23)的摄像面的多个垂直列(42)和多个水平行，分别隔开间隔而交替地设置第一和第二相位差像素(36a、36b)。在各垂直列(42)内通过插值处理求出位于上下两个第一相位差像素(36a)间的第一插值像素(56a)的输出。在各垂直列(42)内通过插值处理求出位于上下两个第二相位差像素(36b)间的第二插值像素(56b)的输出。基于包含第一相位差像素(36a)和第一插值像素(56a)的第一像素组(57a)的输出，生成第一图像数据(61L)。基于包含第二相位差像素(36b)和第二插值像素(56b)的第二像素组(57b)的输出，生成第二图像数据(61R)。得到包含第一图像数据(61L)和第二图像数据(61R)的裂像数据(61)。

Description

摄像装置
技术领域
本发明涉及对手动对焦用的裂像进行显示的摄像装置。
背景技术
作为数码相机，除了使用相位差检测方式、对比度检测方式的自动对焦外，公知有具备使用者能够以手动进行对焦调整的所谓的手动对焦模式的数码相机。
作为具有手动对焦模式的数码相机，公知有如下那样的设备：以能够一边对所摄影的被摄体进行确认一边进行对焦调整的方式设置反光镜，采用使用了对基于目视的相位差进行显示的分裂微棱镜屏幕的方法、进行基于目视的对比度的确认的方法。
然而，在将近年来普及的反光镜省略的数码相机中，由于没有反光镜，因此不存在一边显示相位差一边确认被摄体像的方法，不得不依赖于对比度检测方式。可是，在该情况下，无法进行LCD等显示装置的分辨率以上的对比度显示，不得不采用进行局部放大等而显示的方法。
因此，近年来，在手动对焦模式时，为了使操作者对被摄体进行对焦的作业容易，而在即时预览图像(所谓的实时取景图像)内显示裂像。所谓裂像，是将对被光瞳分割后的被摄体光分别进行摄像而成的被摄体像分割显示所得的图像，是表示各被摄体像的相位差的图像。若被上下分割后的裂像的焦点偏移，则裂像的上下图像左右偏移，若为已对焦的状态，则上下图像的左右偏移消失。操作者对手动聚焦环进行操作而进行对焦，使得裂像的上下图像的偏移消失。
在专利文献1记载的数码相机中，通过使光圈沿与光轴垂直的方向移动，而在两个测距位置分别进行被摄体图像的摄影，使用这两个被摄体图像而在即时预览图像内显示裂像。
在专利文献2记载的数码相机中，求出与被摄体像的像面和摄像元件的受光面之间的距离相当的值作为偏移量，使对应于该偏移量而沿左右相反的方向偏移的裂像在即时预览图像内显示。
专利文献3和4记载的数码相机具备将摄影用的普通像素和对被光瞳分割后的被摄体光进行接收的焦点检测用的两种相位差像素在摄像面上排列多个而成的摄像元件。在该数码相机中，基于来自普通像素的输出信号生成摄影图像而进行即时预览图像显示，并且基于来自两种相位差像素各自的输出生成裂像而在即时预览图像内显示。
专利文献
专利文献1：日本特开2004－40740号公报
专利文献2：日本特开2001－309210号公报
专利文献3：日本特开2009－147665号公报
专利文献4：日本特开2009－163220号公报
发明内容
发明要解决的课题
然而，在专利文献1记载的数码相机中，需要使光圈移动的机械性结构，因此产生了对该结构进行容纳的空间的确保和零件数目的增加等问题。另外，在专利文献2记载的数码相机中，没有对被摄体光进行光瞳分割而进行摄像的结构，因此难以实现正确而没有破绽的裂像。
在专利文献3和4记载的数码相机中，使用两种相位差像素而生成裂像，但是两种相位差像素的一方和另一方分别配置在摄像面上的不同的垂直列(参照专利文献3的图2、专利文献4的图2)。如此在两种相位差像素的位置在水平方向上偏移的情况下，因该偏移的影响，而无法准确地进行基于裂像的相位差显示，即使在上下图像的左右偏移消失的状态下焦点也有可能稍微偏移。
本发明的目的在于提供一种能够准确地进行基于裂像的相位差显示的摄像装置。
用于解决课题的手段
用于达到本发明的目的的摄像装置具备：摄影光学系统，包含聚焦透镜；透镜移动机构，接受对焦操作而使聚焦透镜沿摄影光学系统的光轴方向移动；摄像元件，具有摄像面，所述摄像面形成有矩阵状的像素排列，该矩阵状的像素排列包括：包含光电转换元件的多个像素沿第一方向排列而成的多个第一像素列和多个像素沿与第一方向垂直的第二方向排列而成的多个第二像素列，多个像素包含通过光瞳分割对分别通过了摄影光学系统的彼此不同的区域的各被摄体光选择性地进行受光的第一相位差像素和第二相位差像素及对各被摄体光分别进行受光的普通像素，第一方向与相位差方向平行，该相位差方向与通过摄影光学系统在摄像面上分别成像的各被摄体光的像的偏移方向对应，在第二像素列分别设有多个第一相位差像素和第二相位差像素；第一插值单元，基于各第一相位差像素的输出，通过插值处理求出第二像素列内的位于第一相位差像素间的第一插值像素的输出，第二插值单元，基于各第二相位差像素的输出，通过插值处理求出第二像素列内的位于第二相位差像素间的第二插值像素的输出；摄影图像生成单元，从普通像素的输出生成摄影图像；裂像生成单元，使用由第一相位差像素和第一插值像素的输出构成的第一图像及由第二相位差像素和第二插值像素的输出构成的第二图像而生成裂像；及显示单元，对由摄影图像生成单元生成的摄影图像进行显示，在摄影图像的显示区域内显示由裂像生成单元生成的裂像。
根据本发明所涉及的摄像装置，能够使用设于多个同一垂直列内的多个第一相位差像素和第二相位差像素的输出而生成裂像。
优选为，第一插值单元以第一相位差像素和第一插值像素沿第二方向等间隔排列的方式在第一相位差像素间设定第一插值像素，求出该第一插值像素的输出，第二插值单元以第二相位差像素和第二插值像素沿第二方向等间隔排列的方式在第二相位差像素间设定第二插值像素，求出该第二插值像素的输出。由此，容易生成裂像，因此裂像的画质提高，容易进行对焦调整。
优选为，第一插值单元基于第二像素列内的两个第一相位差像素的输出和位置坐标及第一插值像素的位置坐标，通过基于线形插值法的内插来求出第一插值像素的输出，第二插值单元基于第二像素列内的两个第二相位差像素的输出和位置坐标及第二插值像素的位置坐标，通过基于线形插值法的内插来求出第二插值像素的输出。由此，各插值像素的输出最佳，因此裂像的画质提高，容易进行对焦调整。
优选为，摄像元件具有多个颜色的滤色器，该多个颜色的滤色器在多个像素上以预定的滤色器排列排列而成，并包含与最有助于获得亮度信号的第一色对应的第一滤光片和与第一色以外的两种颜色以上的第二色对应的第二滤光片，在第一相位差像素和第二相位差像素上设有第一滤光片，裂像生成单元使用基于第一相位差像素和第一插值像素的输出的亮度成分而生成的白黑的第一图像及基于第二相位差像素和第二插值像素的输出的亮度成分而生成的白黑的第二图像，生成裂像。由于能够以一种颜色的相位差像素生成裂像，因此能够增加用于生成摄影图像的普通像素。
优选为，在各普通像素上排列有第一滤光片和第二滤光片，摄影图像生成单元基于普通像素的输出而生成全色的摄影图像。由于在全色的摄影图像中显示白黑的裂像，因此用户容易观察到裂像。
优选为，具备：比较单元，对普通像素的输出与第一相位差像素和第二相位差像素各自的输出进行比较；及增益调整单元，基于比较单元的比较结果，向第一相位差像素和第二相位差像素的输出分别乘以增益，使第一相位差像素和第二相位差像素的输出与普通像素的输出相同。由于在裂像和摄影图像之间没有亮度差，因此能够得到没有不适感的优质的图像。
优选为，第一相位差像素和第二相位差像素在多个第二像素列内分别隔开间隔而交替地设置。
优选为，第一相位差像素和第二相位差像素在多个第一像素列内中分别隔开间隔而交替地设置。
优选为，裂像是将第一图像和第二图像沿第二方向并排配置而成的图像。
优选为，摄影光学系统的彼此不同的区域是相对于与垂直方向平行的第一直线而对称的第一区域和第二区域，第一相位差像素对透过了第一区域和第二区域的一方的被摄体光选择性地进行受光，第二相位差像素对透过了第一区域和第二区域的另一方的被摄体光选择性地进行受光。在非对焦时生成在水平方向即左右方向上产生偏移那样的第一图像和第二图像。
优选为，具备：第三相位差像素，在多个第一像素列上分别设有多个第三相位差像素，第三相位差像素对透过了第三区域和第四区域的一方的被摄体光选择性地进行受光，第三区域和第四区域相对于与摄影光学系统的第一方向平行的第二直线而对称；第四相位差像素，在多个第一像素列上分别设有多个第四相位差像素，第四相位差像素对透过了第三区域和第四区域的另一方的被摄体光选择性地进行受光；旋转检测单元，对以摄影光学系统的光轴为中心的摄像元件的旋转进行检测，第一插值单元基于旋转检测单元的检测结果，在第一像素列与第二方向平行时，基于各第三相位差像素的输出，通过插值处理求出第一像素列内的位于第三相位差像素间的第三插值像素的输出，第二插值单元基于旋转检测单元的检测结果，在第一像素列与第二方向平行时，基于各第四相位差像素的输出，通过插值处理求出第一像素列内的位于第四相位差像素间的第四插值像素的输出，裂像生成单元基于旋转检测单元的检测结果，在第一像素列与第二方向平行时，使用由第三相位差像素和第三插值像素的输出构成的第三图像及由第四相位差像素和第四插值像素的输出构成的第四图像而生成裂像。由此，即使在由摄像装置进行垂直摄影时，也能够得到与普通摄影时同样的裂像。
优选为，第一色是绿色(G)，第二色的各色是红色(R)和蓝色(B)。
发明效果
本发明的摄像装置在摄像元件的多个第二像素列内分别设置多个第一相位差像素和第二相位差像素，通过插值处理求出各第二像素列内位于第一相位差像素间的第一插值像素的输出和位于第二相位差像素间的第二插值像素的输出，通过各第二像素列内的各相位差像素和各插值像素的输出而生成裂像，因此能够比以往更准确地进行基于裂像的相位差显示。其结果为，与以往相比能够更高精度地进行手动对焦调整。另外，通过插值处理求出第一插值像素和第二插值像素的输出，由此能够削减设于摄像元件的第一相位差像素和第二相位差像素的数目。由此，能够增加用于生成摄影图像的普通像素。
附图说明
图1是第一实施方式的数码相机的正面立体图。
图2是数码相机的背面立体图。
图3是表示数码相机的电气结构的框图。
图4是彩色摄像元件的摄像面的主视图。
图5是彩色摄像元件的剖视图。
图6是表示图像处理电路的电气结构的框图。
图7是用于对第一相位差像素的插值处理进行说明的说明图。
图8是用于对第二相位差像素的插值处理进行说明的说明图。
图9是将聚焦透镜设定于对焦位置时的裂像数据的概略图。
图10是没有将聚焦透镜设定于对焦位置时的裂像数据的概略图。
图11是表示数码相机的摄影处理的流程的流程图。
图12是没有将聚焦透镜设定于对焦位置时的即时预览图像的概略图。
图13是将聚焦透镜设定于对焦位置时的即时预览图像的概略图。
图14是用于对第二实施方式的数码相机的像素插值处理进行说明的说明图。
图15是表示第三实施方式的数码相机的电气结构的框图。
图16是表示第三实施方式中的裂像生成处理的流程的流程图。
图17是用于对第四实施方式的数码相机的彩色摄像元件的摄像面中的第一相位差像素和第二相位差像素的排列进行说明的说明图。
图18是用于对第一相位差像素的插值处理进行说明的说明图。
图19是用于对第二相位差像素的插值处理进行说明的说明图。
图20是第五实施方式的数码相机的彩色摄像元件的摄像面的主视图。
图21是用于对第一相位差像素的插值处理进行说明的说明图。
图22是用于对第二相位差像素的插值处理进行说明的说明图。
图23是第六实施方式的数码相机的彩色摄像元件的摄像面的主视图。
图24是用于对摄影光学系统的左区域、右区域、上区域、下区域进行说明的说明图。
图25是表示第六实施方式的数码相机的电气结构的框图。
图26是用于对垂直摄影时的第三相位差像素的插值处理进行说明的说明图。
图27是用于对垂直摄影时的第三相位差像素的插值处理进行说明的说明图。
图28是智能手机的立体图。
图29是表示智能手机的电气结构的框图。
图30是将第一图像和第二图像分为奇数行和偶数行而交替地排列显示而成的其他实施方式的裂像的说明图。
图31是由相对于水平方向倾斜的倾斜分割线所分割的其他实施方式的裂像的概略图。
图32A是形成于棋盘式格纹状的其他实施方式的裂像的概略图。
图32B是形成于棋盘式格纹状的其他实施方式的裂像的概略图。
具体实施方式
[第一实施方式的数码相机的整体结构]
如图1所示，在与本发明的摄像装置相当的数码相机2的相机主体2a的前表面，设有包含摄像光学系统等而构成的透镜镜筒3、闪光灯发光部5等。在相机主体2a的上表面设有快门按钮6、电源开关7等。在透镜镜筒3的外周面，旋转自如地安装有用于手动对焦(以下，简称为MF)操作的聚焦环(透镜移动机构)3a。
如图2所示，在相机主体2a的背面设有显示部8、操作部9。显示部8在摄影待机状态时作为电子取景器而发挥功能，对即时预览图像(也称作实时取景画面)进行显示。另外，在图像再生时，基于记录在存储卡10的图像数据，而在显示部8上对图像进行再生显示。
操作部9由模式切换开关、十字键、执行键等构成。模式切换开关在对数码相机2的动作模式进行切换时被操作。数码相机2具有对被摄体进行摄像而得到摄影图像的摄影模式、对摄影图像进行再生显示的再生模式等。另外，在摄影模式中，存在进行自动对焦(以下，简称为AF)的AF模式和进行MF操作的MF模式。
十字键、执行键在显示部8上显示菜单画面、设定画面，当使在这些菜单画面、设定画面内显示的光标移动、或对数码相机2的各种设定进行确定时等被操作。
虽然省略了图示，但在相机主体2a的底面设有装填存储卡10的卡插槽和对该卡插槽的开口进行开闭的装填盖。
如图3所示，数码相机2的CPU11基于来自操作部9的控制信号，依次执行从存储器13读出的各种程序、数据，对数码相机2的各部分集中地进行控制。另外，存储器13的RAM区域作为CPU11用于执行处理的工作存储器、各种数据的暂时保管地而发挥功能。
在透镜镜筒3装入有包括变焦透镜15和聚焦透镜16的摄影光学系统17及机械快门18等。变焦透镜15和聚焦透镜16分别由变焦机构19、聚焦机构20驱动，而沿摄影光学系统17的光轴O1前后移动。变焦机构19和聚焦机构20由齿轮、电动机等构成。另外，聚焦机构20经由未图示的齿轮而与聚焦环3a连接。因此，聚焦机构20与在MF模式时与对聚焦环3a进行旋转操作(对焦操作)相伴，而使聚焦透镜16沿光轴O1的方向(以下，称作光轴方向)移动。
机械快门18具有在对被摄体光向彩色摄像元件23的入射进行阻止的关闭位置和容许被摄体光的入射的打开位置之间移动的可动部(省略图示)。机械快门18通过使可动部移动到各位置，而将从摄影光学系统17到彩色摄像元件23的光路打开/切断。另外，在机械快门18，包含对入射到彩色摄像元件23的被摄体光的光量进行控制的光圈。机械快门18、变焦机构19和聚焦机构20经由透镜驱动器25而由CPU11进行动作控制。
在机械快门18的背后配置有彩色摄像元件23。彩色摄像元件23将通过了摄影光学系统17等的被摄体光转换为电输出信号而输出。另外，彩色摄像元件23也可以是CCD(Charge Coupled Device：电荷耦合装置)型摄像元件、CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)型摄像元件等各种摄像元件。摄像元件驱动器27在CPU11的控制下对彩色摄像元件23的驱动进行控制。
图像处理电路29对来自彩色摄像元件23的输出信号(输出)实施灰度转换、白平衡校正、γ校正处理等各种处理而生成摄影图像数据。另外，图像处理电路29在MF模式时除了摄影图像数据外还生成MF操作用的裂像数据。摄影图像数据、裂像数据被暂时性地存储于存储器13的VRAM(Video Random Access Memory：视频随机访问存储器)区域(也可以另行设置VRAM)。VRAM区域具有对连续的两场画量进行存储的即时预览图像用的存储器区域，对摄影图像数据、裂像数据依次进行覆盖存储。
压缩扩展处理电路31在对快门按钮6进行按下操作时，对存储于VRAM区域的摄影图像数据实施压缩处理。另外，压缩扩展处理电路31经由介质I/F(Interface)32而对从存储卡10得到的压缩图像数据实施扩展处理。介质I/F32进行对存储卡10的摄影图像数据的记录和读出等。
显示控制部33将在摄影模式时存储于VRAM区域的摄影图像数据、裂像数据读出而向显示部8依次输出。另外，显示控制部33将在再生模式时由压缩扩展处理电路31扩展所得的摄影图像数据向显示部8输出。
＜彩色摄像元件的结构＞
如图4所示，在彩色摄像元件23的摄像面23a(参照图3)上，以矩阵状排列有红(R)色的R像素35、绿(G)色的G像素36、蓝(B)色的B像素37。各色像素35～37与本发明的普通像素相当，包含光电转换元件39(参照图5)、配置于光电转换元件39的上方的三原色的任一种的滤色器40(参照图5)而构成。在此，所谓“～上”，“上方”是指从图6中的半导体基板45朝向微透镜49的方向(图中上方向)。
在R像素35、G像素36、B像素37的各光电转换元件39上，分别设有R色、G色、B色的滤色器40。另外，G色的滤色器40与本发明的第一滤光片相当，R色和B色的滤色器40与本发明的第二滤光片相当。
彩色摄像元件23的滤色器排列(像素排列)具有下述的特征(1)、(2)、(3)、(4)、(5)、和(6)。
〔特征(1)〕
滤色器排列包括由与6×6像素对应的正方排列图案构成的基本排列图案P，该基本排列图案P在水平方向和垂直方向上重复配置。
如此，由于RGB的滤色器40以预定的周期性排列，因此，与以往公知的随机排列相比，在进行从彩色摄像元件23读出的R、G、B信号的去马赛克算法(插值)处理(去马赛克算法处理)等时，能够按照重复图案进行处理。另外，在以基本排列图案P为单位进行间拔处理而将图像缩小的情况下，能够使间拔处理后的滤色器排列与间拔处理前的滤色器排列相同，能够使用共通的处理电路。
〔特征(2)〕
滤色器排列中，与最有助于获得亮度信号的颜色(该实施方式中为G色)对应的G色的滤色器在滤色器排列的水平、垂直和倾斜方向(斜右上和斜左下方向、斜右下和斜左上方向)方向的各行内配置一个以上。
如此，G色的滤色器在滤色器排列的水平、垂直、和倾斜方向的各行内配置，因此无论成为高频的方向如何都能够提高高频区域中的像素插值处理(去马赛克算法处理等)的再现精度。
〔特征(3)〕
基本排列图案P中，R像素35、G像素36、B像素37的像素数分别为8像素、20像素、8像素。即，RGB像素35～37的各像素数的比率是2：5：2，G像素36的像素数的比率大于其他色的R像素35、B像素37各自的像素数的比率。
如此，G像素36的像素数与R、B像素35、37的像素数的比率不同，特别是使最有助于获得亮度信号的G像素36的像素数的比率大于R、B像素35、37的像素数的比率，因此能够抑制像素插值处理(去马赛克算法处理等)时的混淆，并且也能够使高频再现性良好。
〔特征(4)〕
滤色器排列中，与G色以外的两种颜色以上的其他色(该实施方式中为R、B色)对应的R色和B色的滤色器40在基本排列图案P内在滤色器排列的水平和垂直方向的各行内配置一个以上。
R色和B色的滤色器40分别配置在滤色器排列的水平和垂直方向的各行内，因此能够降低彩色莫尔条纹(伪色)的产生。由此，能够不将用于抑制伪色的产生的光学低通滤光器配置于从光学系统的入射面到摄像面的光路，或者即使在适用光学低通滤光器的情况下也能够适用用于防止伪色的产生的、将高频成分截止的作用较弱的光学低通滤光器，能够不有损分辨率。
〔特征(5)〕
滤色器排列包含设有G色的滤色器40的与2×2的G像素36对应的正方排列。取出这种2×2的G像素36，求出水平方向的G像素36的像素值的差的绝对值、垂直方向的G像素36的像素值的差的绝对值和倾斜方向的G像素36的像素值的差的绝对值，从而能够判断为在水平方向、垂直方向和倾斜方向中差的绝对值较小的方向上存在相关性。
即，根据该滤色器排列，使用最小像素间隔的G像素36的信息，能够进行水平方向、垂直方向和倾斜方向中相关性高的方向判别。该方向判别结果能够使用于从周边的像素进行插值的插值处理(去马赛克算法处理等)。
〔特征(6)〕
基本排列图案P相对于其中心(4个G色的滤色器40的中心)而成为点对称。另外，基本排列图案P内的4个3×3的子排列也分别相对于中心的G色的滤色器40而成为点对称。通过这种对称性，能够减小或简化后级的处理电路的电路规模。
〔相位差像素〕
在摄像面23a的一部分区域(例如中央区域)上，替代一部分G像素36，而设置第一相位差像素36a(图中由“圆圈符号中的G1”所表示)，第二相位差像素36b(图中由“圆圈符号中的G2”所表示)。在彩色摄像元件23的像素排列中的多个垂直列(第二像素列)42和多个水平行(第一像素列)43分别隔开间隔而交替地设有第一相位差像素36a和第二相位差像素36b(在图中由一个垂直列42、水平行43所代表而标注附图标记)。另外，在本说明书中，在彩色摄像元件23的各垂直列和各水平行中的、设置相位差像素的垂直列、水平行分别标注附图标记“42”、“43”。
“多个垂直列42”沿水平方向(第一方向)以3像素间距间隔设置。另外，“多个水平行43”沿垂直方向(第二方向)以4像素间距间隔、8像素间距间隔、4像素间距间隔、8像素间距间隔……设置。
在本实施方式中，第一相位差像素36a和第二相位差像素36b在各垂直列42和各水平行43交叉的位置上，分别沿水平方向和垂直方向交替地配置。另外，相同种类的相位差像素彼此(第一相位差像素－第一相位差像素，第二相位差像素－第二相位差像素)的间隔在垂直方向上为12像素间距，在水平方向上为6像素间距。
在表示水平行43的剖面的图5中，在半导体基板(sub)45的表层以矩阵状形成有光电转换元件39。另外，虽然省略了图示，但在半导体基板45设有用于各像素的驱动、信号输出的各种电路。
在半导体基板45上设有透光性的绝缘膜46。在绝缘膜46上设有遮光膜47。遮光膜47具有普通开口47a、第一偏心开口47b和第二偏心开口47c。第一～第二偏心开口47b、47c形成得比普通开口47a的开口径小。
普通开口47a形成于RGB像素35～37的光电转换元件39上。另外，普通开口47a的中心位于光电转换元件39的中心上。
第一偏心开口47b形成于第一相位差像素36a的光电转换元件39上。第一偏心开口47b的中心相对于其下方的光电转换元件39的中心向图中右方向偏移。由此，第一相位差像素36a的光电转换元件39的大致左半部分的区域(以下，简称为左区域)由遮光膜47所覆盖，相反，大致右半部分的区域(以下，简称为右区域)的中央部分露出。
第二偏心开口47c形成于第二相位差像素36b的光电转换元件39上。第二偏心开口47c的中心形成在相对于其下方的光电转换元件39的中心向图中右方向偏移的位置。由此，第二相位差像素36b的光电转换元件39的右区域由遮光膜47所覆盖，相反左区域的中央部分露出。
在遮光膜47上设有表面平坦的透光性的平坦化层48。在平坦化层48上，在与R、G、B的各色的像素35～37分别对应的位置设有R、G、B的各色的滤色器40。另外，在与第一和第二相位差像素36a、36b对应的位置设有G色的滤色器40。
在各色的滤色器40上且光电转换元件39的上方位置，分别设有微透镜49。另外，也可以在滤色器40和微透镜49之间设置透光性的平坦层等各种层。
从图中左倾斜方向入射到RGB像素35～37上的微透镜49的被摄体光50L被微透镜49聚集到光电转换元件39的右区域。相反，从图中右倾斜方向入射到微透镜49的被摄体光50R被微透镜49聚集到光电转换元件39的左区域。因此，RGB像素35～37相对于被摄体光50L和被摄体光50R两方灵敏度变高。
入射到第一相位差像素36a上的微透镜49的被摄体光50L利用微透镜49通过第一偏心开口47b而聚集到光电转换元件39的右区域。相反，入射到微透镜49的被摄体光50R由于被遮光膜47遮光，因此不聚集到光电转换元件39的左区域。
入射到第二相位差像素36b上的微透镜49的被摄体光50R利用微透镜49通过第二偏心开口47c而聚集到光电转换元件39的左区域。相反，入射到微透镜49的被摄体光50R被遮光膜47所遮光，因此不聚集到光电转换元件39的左区域。因此，遮光膜47作为进行光瞳分割的光瞳分割部而发挥功能。另外，也可以替代遮光膜47(各偏心开口47b、47c)作为光瞳分割部发挥功能，而使微透镜49偏心。
被摄体光50L、50R是分别通过了摄影光学系统17(变焦透镜15和聚焦透镜16)的左区域17L、右区域17R的被摄体光。另外，为了防止附图的复杂化，而将两透镜15、16一体化而图示，摄影光学系统17和彩色摄像元件23的大小也与实际不同。
入射到彩色摄像元件23的被摄体光由遮光膜47光瞳分割，从而第一相位差像素36a相对于被摄体光50L灵敏度变高，相反，第二相位差像素36b相对于被摄体光50R灵敏度变高。
＜图像处理电路的结构＞
如图6所示，图像处理电路29具有普通处理部(摄影图像生成单元)52、像素插值处理部(第一插值单元、第二插值单元)53及裂像处理部(裂像生成单元)54。普通处理部52在摄影模式时基于来自RGB像素35～37的输出信号(输出)而生成全色的摄影图像数据55。像素插值处理部53和裂像处理部54在MF模式时工作。
如图7和图8所示，像素插值处理部53在各垂直列42内进行第一相位差像素36a和第二相位差像素36b的插值处理。在图7中，省略了第一相位差像素36a以外的像素的图示。另外，在图8中，省略了第二相位差像素36a以外的像素的图示。
在图7中，像素插值处理部53基于各垂直列42内的各第一相位差像素36a的输出，在各垂直列42内在图中的上下两个第一相位差像素36a间假想地对一个以上的第一插值像素56a(图中由“圆圈符号中的g1”所表示)进行插值，而求出第一插值像素56a的输出。具体来说，以在各垂直列42内第一相位差像素36a和第一插值像素56a在垂直方向上等间隔(本实施方式中为4像素间距间隔)排列的方式，在两个第一相位差像素36a间对第一插值像素56a进行插值。
此时，例如，如图中的箭头所示，基于位于各第一插值像素56a的附近的第一相位差像素36a的输出，确定第一插值像素56a的输出。另外，也可以将上下两个第一相位差像素36a的平均值作为位于它们之间的第一插值像素56a的输出。由此，得到包含各第一相位差像素36a和各第一插值像素56a的第一像素组57a的输出。另外，在图7中，作为例子，在上下两个第一相位差像素36a间示出了两个第一插值像素56a，但是第一插值像素56a的数目是1以上即可。
在图8中，像素插值处理部53进行如下插值处理：基于各垂直列42内的各第二相位差像素36b的输出，在各垂直列42内，在图中的上下两个第二相位差像素36b间对一个以上的第二插值像素56b(图中由“圆圈符号中的g2”所表示)假想地进行插值，从而求出第二插值像素56b的输出。具体来说，以在各垂直列42内第二相位差像素36b和第二插值像素56b在垂直方向上等间隔(本实施方式中为4像素间距间隔)排列的方式，在两个第二相位差像素36b间对第二插值像素56b进行插值。
与第一插值像素56a的输出同样，如图中的箭头所示，基于位于各第二插值像素56b的附近的第二相位差像素36b的输出，确定第二插值像素56b的输出。另外，也可以将两个第二相位差像素36b的平均值作为位于他们之间的第二插值像素56b的输出。由此，能够得到包含各第二相位差像素36b和各第二插值像素56b的第二像素组57b的输出。另外，在图8中，作为例子，在上下两个第二相位差像素36b间示出了两个第二插值像素56b，但是第二插值像素56a的数目是1以上即可。
返回到图6，裂像处理部54基于来自位于摄像面23a的中央区域的第一和第二像素组57a、57b的输出信号(输出)的亮度成分，生成被摄体的中央区域(摄影图像的中央区域)的白黑的裂像数据61。
如图9所示，裂像处理部54基于来自第一像素组57a的输出信号(输出)的亮度成分，生成从L视点侧对被摄体的中央区域的图中上半部分的区域进行观察时的白黑的第一图像数据61L。另外，裂像处理部54基于来自第二像素组57b的输出信号(输出)的亮度成分，生成从R视点侧对被摄体的中央区域的图中下半部分的区域进行观察时的白黑的第二图像数据61R。由此，得到包含第一图像数据61L和第二图像数据61R的白黑的裂像数据61。第一和第二图像数据61L、61R在裂像数据61内由与水平方向平行的分割线63所分割。另外，在图中，以能够对裂像数据61的图像容易地进行掌握的方式，将裂像数据61合成到摄影图像数据55，但是该合成能够由显示控制部33所进行。
摄影图像数据55和裂像数据61暂时性地存储于存储器13的VRAM区域。显示控制部33从存储器13读出摄影图像数据55和裂像数据61，在将裂像数据61合成到摄影图像数据55后向显示部8输出。由此，在基于摄影图像数据55的全色的摄像图像的显示区域内，得到对基于裂像数据61的白黑的裂像进行显示的即时预览图像。
第一图像数据61L和第二图像数据61R根据聚焦透镜16的对焦状态而沿图中左右方向[水平方向(第一方向)]位移。此时的第一和第二图像数据61L、61R间的偏移量与聚焦透镜16的焦点的偏移量对应。即，图中左右方向成为与通过摄影光学系统17而在摄像面23a上分别成像的各被摄体光的像的偏移方向对应的相位差方向。另外，第一和第二图像数据61L、61R在聚焦透镜16对焦时偏移量为零(包括大致为零)。
如图10所示，聚焦透镜16的焦点越偏移，则第一图像数据61L与第二图像数据61R的偏移量也越大。由此，用户能够一边对即时预览图像进行确认一边进行对焦调整。另外，在图中，以双点划线表示未对焦的被摄体。
＜其他结构＞
另外，虽然省略了图示，但是在数码相机2上设有自动对焦用的AF检测电路等。AF检测电路对由第一相位差像素36a的输出信号构成的图像和由第二相位差像素36b的输出信号构成的图像进行解析，而对两图像的偏移方向和两图像间的偏移量进行检测，从而求出摄影光学系统17的对焦调整量(也称作离焦量)。CPU11基于该对焦调整量对透镜驱动器25进行控制，由聚焦机构20驱动聚焦透镜16，从而进行焦点调节。另外，关于这种相位差方式的AF处理是公知的，在此省略具体性的说明。
另外，虽然省略了图示，但是在数码相机2设有AE检测电路等。CPU11基于AE检测电路的检测结果，经由透镜驱动器25而对机械快门18进行驱动，从而执行AE处理。
＜第一实施方式的数码相机的作用＞
接下来，使用图11对上述结构的数码相机2的作用进行说明。若由操作部9将数码相机2设定为摄影模式(步骤S1)的AF模式或者MF模式(步骤S2)，则CPU11经由透镜驱动器25而对机械快门18的动作进行控制，并且经由摄像元件驱动器27对彩色摄像元件23进行驱动(步骤S3)。另外，由于设定了AF模式的情况下的数码相机2的动作是公知的，因此在此省略具体性的说明。
若设定了MF模式(步骤S2)，则来自彩色摄像元件23的RGB像素35～37的输出信号被输入到图像处理电路29的普通处理部52(步骤S4)。普通处理部52基于来自RGB像素35～37的输出信号生成全色的摄影图像数据55，并存储于存储器13的VRAM区域(步骤S5)。
另一方面，来自第一和第二相位差像素36a、36b的输出信号被输入到像素插值处理部53。像素插值处理部53如图7所示，基于第一相位差像素36a的输出信号，求出各垂直列42内的上下两个第一相位差像素36a间的第一插值像素56a的输出信号。另外，像素插值处理部53如图8所示，基于第二相位差像素36b的输出信号，求出各垂直列42内的上下两个第二相位差像素36b间的第二插值像素56b的输出信号。由此，得到第一像素组57a的输出信号和第二像素组57b的输出信号(步骤S6)。第一和第二像素组57a、57b的输出信号被输入到裂像处理部54(步骤S7)。
裂像处理部54基于来自第一像素组57a的输出信号的亮度成分而生成第一图像数据61L，并基于来自第二像素组57b的输出信号的亮度成分而生成第二图像数据61R。由此，生成包含白黑的第一图像数据61L和白黑的第二图像数据61R的裂像数据61(步骤S8)。将裂像数据61存储在存储器13的VRAM区域。
显示控制部33从存储器13读出摄影图像数据55和裂像数据61，并在将摄影图像数据55和裂像数据61合成后向显示部8输出。由此，如图12所示，在显示部8上对在基于摄影图像数据55的全色的摄影图像65内包含基于裂像数据61的白黑的裂像66的即时预览图像67进行显示(步骤S9)。
裂像66的第一图像66L和第二图像66R根据聚焦透镜16的对焦状态而沿图中左右方向位移，因此用户对聚焦环3a进行旋转操作而使聚焦透镜16沿光轴方向移动。伴随着聚焦透镜16接近与被摄体对焦的对焦位置，第一图像66L和第二图像66R的偏移量逐渐变小。由此，用户能够一边确认即时预览图像67一边进行对焦调整。
如图13所示，若聚焦透镜16位于对焦位置，则第一图像66L和第二图像66R的偏移量为零。由此，聚焦透镜16与被摄体对焦，对焦调整完成(步骤S10)。以下，在将快门按钮6按下前，重复执行上述处理。
若按下快门按钮6，则由普通处理部52生成一帧量的摄影图像数据55并暂时性地存储在存储器13的VRAM区域。该摄影图像数据55被压缩扩展处理电路31压缩后，经由介质I/F32而记录于存储卡10(步骤S11)。以下，在MF模式结束前重复执行上述的处理。
＜数码相机的作用效果＞
在本实施方式中，在彩色摄像元件23的各垂直列42内设置各第一和第二相位差像素36a、36b，并基于在各垂直列42内分别对第一和第二插值像素56a、56b假想地进行插值而得到的第一和第二像素组57a、57b的输出信号，生成裂像数据61。即，通过各同一垂直列42内的各相位差像素36a、36b和各插值像素56a、56b的输出而生成裂像数据61。由此，与各同一垂直列内没有设置彼此对应的第一和第二相位差像素的以往的技术(参照专利文献3的图2、专利文献4的图2)相比，能够准确地进行基于裂像66(第一图像66L和第二图像66R)的相位差显示。其结果为，与以往相比，能够以高精度进行手动对焦调整。
另外，通过对第一和第二插值像素56a、56b假想地进行插值，能够削减设于摄像面的第一和第二相位差像素36a、36b的数目。由此，能够增加用于生成摄影图像65的RGB像素35～37。
另外，在各垂直列42内，以第一像素组57a和第二像素组57b各自的各像素在垂直方向上等间隔排列的方式对第一和第二插值像素56a、56b进行插值，因此能够降低裂像66的轮廓锯齿。此外，通过第一像素组57a和第二像素组57b的各像素在垂直方向上等间隔排列，容易生成裂像数据61，因此能够进一步提高裂像66的画质，容易进行对焦调整。
另外，在全色的摄影图像65(即时预览图像67)中以白黑图像对裂像66进行显示，从而用户能够容易地观察到裂像66。
[第二实施方式的数码相机的整体结构]
接下来，使用图14对本发明的第二实施方式的数码相机进行说明。在上述第一实施方式的数码相机2的像素插值处理部53中，关于第一和第二插值像素56a、56b的输出的确定方法不特别被限定，但是在第二实施方式的数码相机中，通过基于线形插值法的内插求出第一和第二插值像素56a、56b的输出。
另外，第二实施方式的数码相机是与第一实施方式的数码相机2基本上相同的结构。因此，针对与第一实施方式功能/结构上相同的器件，标注相同附图标记而省略其说明。
像素插值处理部53基于第一相位差像素36a的输出和位置坐标及第一插值像素56a的位置坐标来确定第一插值像素56a的输出。具体来说，基于这些输出、位置坐标，以位于上下两个第一相位差像素36a间的第一插值像素56a的输出成为将上下两个第一相位差像素36a的输出连结的线段上的值的方式确定第一插值像素56a的输出。另外，虽然省略了图示，但是第二插值像素56b的输出也同样被确定。
如此，通过基于线形插值法的内插求出第一和第二插值像素56a、56b的输出，从而使得第一和第二插值像素56a、56b的输出成为最佳。其结果为，裂像66的画质提高，因此容易进行MF调整。
[第三实施方式的数码相机的结构]
接下来，使用图15对本发明的第三实施方式的数码相机70进行说明。在上述第一实施方式的数码相机2中，通过光瞳分割，第一和第二相位差像素36a、36b的灵敏度比RGB像素35～37的灵敏度低。因此，在第三实施方式的数码相机70中，进行第一和第二相位差像素36a、36b的输出的增益调整。
另外，数码相机70除了具有与第一实施方式不同的图像处理电路71的方面外，是与第一实施方式的数码相机2基本上相同的结构。因此，针对与第一实施方式在功能/结构上相同的器件，标注相同附图标记而将其说明省略。
图像处理电路71除了上述的普通处理部52、像素插值处理部53和裂像处理部54外，还具有平均值计算部73、增益计算部(比较单元)74和增益调整部(增益调整单元)75。
平均值计算部73算出各G像素36的输出的平均值PGave，并将该平均值PGave输出到增益计算部74。增益计算部74将第一和第二相位差像素36a、36b各自的输出的平均值PG1、PG2与平均值PGave比较，确定与第一和第二相位差像素36a、36b的输出相乘的增益GA1、GA2。具体来说，基于下式(1)、(2)来确定增益GA1、GA2，将增益GA1、GA2输出到增益调整部75。
增益GA1＝PGave/PG1…(式1)
增益GA2＝PGave/PG2…(式2)
增益调整部75在实施了向第一和第二相位差像素36a、36b的输出分别乘以增益GA1、GA2的增益调整后，将增益调整后的第一和第二相位差像素36a、36b的输出输出到裂像处理部54。
[第三实施方式的数码相机的作用]
接下来，使用图16对上述结构的数码相机70的作用进行说明。另外，除了裂像数据61的生成处理以外与第一实施方式相同，因此在此省略说明。
若对彩色摄像元件23进行驱动(步骤S3)，则从RGB像素35～37及第一和第二相位差像素36a、36b分别将输出信号输出(步骤S13)。平均值计算部73对从RGB像素35～37输入到普通处理部52的输出信号中的G像素36的输出信号进行检测而算出平均值PGave(步骤S14)。该平均值PGave被输出到增益计算部74。
另外，增益计算部74对从第一和第二相位差像素36a、36b输入到像素插值处理部53的输出信号进行检测而算出平均值PG1、PG2(步骤S15)。接下来，增益计算部74基于平均值PGave和平均值PG1、PG2，使用上式(1)、(2)而确定增益GA1、GA2(步骤S16)。将增益GA1、GA2输入到增益调整部75。
增益调整部75分别向第一和第二相位差像素36a、36b的输出乘以增益GA1、GA2。通过该增益调整，灵敏度低的第一和第二相位差像素36a、36b的输出与G像素36的输出相同(包括大致相同)(步骤S17)。增益调整后的第一和第二相位差像素36a、36b的输出被输出到像素插值处理部53。以下，与第一实施方式同样地生成裂像数据61(步骤S8)。
通过进行第一和第二相位差像素36a、36b的输出的增益调整，在以画中画显示的方式在摄影图像65的一部分显示裂像66时，摄影图像65和裂像66之间的亮度差消失。其结果为，显示出没有不适感的优质的即时预览图像67。
另外，在上述第三实施方式中，基于G像素36的输出及第一和第二相位差像素36a、36b的输出进行增益调整，但是也可以基于RGB像素35～37的亮度及第一和第二相位差像素36a、36b的亮度进行增益调整。
[第四实施方式的数码相机的结构]
接下来，使用图17对本发明的第四实施方式的数码相机进行说明。上述第一实施方式的数码相机2的像素插值处理部53在上下两个第一相位差像素36a间和第二相位差像素36b间分别对第一插值像素56a、第二插值像素56b假想地进行插值，而求出第一插值像素56a、第二插值像素56b的输出。与此相对，第四实施方式的数码相机在上下两个第一插值像素56a间和上下两个第二插值像素56b间分别对插值像素假想地进行插值，求出该插值像素的输出。
另外，第四实施方式的数码相机除了摄像面23a的像素排列的一部分与第一实施方式不同的方面外，是与第一实施方式的数码相机2基本上相同的结构。因此，针对与第一实施方式在功能/结构上相同的器件，标注相同附图标记而省略其说明。
第四实施方式的彩色摄像元件23除了配置有第一和第二相位差像素36a、36b的各水平行43沿垂直方向以3像素间距间隔、9像素间距间隔、3像素间距间隔、9像素间距间隔……设置的方面外，是与第一实施方式的彩色摄像元件23基本上相同的结构。
如图18所示，第四实施方式的像素插值处理部53与第一实施方式同样，在上下两个第一相位差像素36a间对两个以上的第一插值像素56a假想地进行插值，求出该第一插值像素56a的输出(图中，作为例子表示两个第一插值像素56a)。接下来，图像插值处理部53基于各垂直列42内的各第一插值像素56a的输出，在各垂直列42内在图中的上下两个第一插值像素56a间对第一’插值像素78a假想地进行插值，求出第一’插值像素78a的输出。在该情况下，以各垂直列42内第一相位差像素36a、第一插值像素56a和第一’插值像素78a在垂直方向上等间隔(本实施方式中为3像素间距间隔)排列的方式，对第一插值像素56a和第一’插值像素78a进行插值。
第一’插值像素78a的输出基于附近的第一插值像素56a的输出而被确定。例如，也可以如图中的箭头所示，使用上下两个第一插值像素56a的输出的平均值。由此，得到各第一相位差像素36a、各第一插值像素56a和第一’插值像素78a以正方格子状排列而成的第一像素组79a的输出。
另外，如图19所示，像素插值处理部53与第一实施方式同样，在上下两个第二相位差像素36b间对两个以上的第二插值像素56b假想地进行插值，求出该第二插值像素56b的输出(图中，作为例子表示两个第二插值像素56b)。接下来，图像插值处理部53基于各垂直列42内的各第二插值像素56a的输出，在各垂直列42内在图中的上下两个第二插值像素56b间对第二’插值像素78b假想地进行插值，而求出第二’插值像素78b的输出。在该情况下，在各垂直列42内，以第二相位差像素36b、第二插值像素56b、第二’插值像素78b在垂直方向上等间隔排列的方式对第二插值像素56b和第二’插值像素78b进行插值。
第二’插值像素78b的输出也可以如例如图中的箭头所示使用上下两个第二插值像素56b的输出的平均值。由此，能够得到各第二相位差像素36b、各第二插值像素56b和第二’插值像素78b以正方格子状排列而成的第二像素组79b的输出。
以下，与上述第一实施方式同样地生成裂像数据61。在各垂直列42内对各插值像素56a、56b、78a、78b假想地进行插值，从而能够削减第一和第二相位差像素36a、36b的数目。
此外，以各垂直列42内第一和第二像素组79a、79b的各像素在垂直方向上以等间隔排列为正方格子状的方式，对各插值像素56a、56b、78a、78b进行插值，因此能够降低裂像的轮廓锯齿。另外，由于容易生成裂像数据61，因此裂像66的画质提高，容易进行对焦调整。
[第五实施方式的数码相机的结构]
接下来，使用图20对本发明的第五实施方式的数码相机进行说明。在上述第一实施方式的数码相机2中，在摄像面23a仅设置G色的第一和第二相位差像素36a、36b而生成白黑的裂像数据61。与此相对，在第五实施方式的数码相机中生成全色的裂像数据。
另外，第五实施方式的数码相机除了具有与第一实施方式的数码相机2不同的彩色摄像元件80的方面外，基本上是与第一实施方式相同的结构。因此，针对与第一实施方式在功能/结构上相同的器件，标注相同附图标记而省略其说明。
在彩色摄像元件80的摄像面上，除了上述的RGB像素35～37及G色的第一和第二相位差像素36a、36b外，还排列有R色的第一和第二相位差像素82a、82b及B色的第一和第二相位差像素83a、83b。各相位差像素82a、82b、83a、83b与第一和第二相位差像素36a、36b同样，沿多个垂直列42和多个水平行43分别隔开间隔而交替地设置。另外，第一相位差像素82a、83a除了滤色器40的颜色不同的方面外，是与第一相位差像素36a相同的构造。另外，第二相位差像素82b、83b除了滤色器40的颜色不同的方面外，是与第二相位差像素36b相同的构造。
如图21所示，第五实施方式的像素插值处理部53与第一实施方式同样，在各垂直列42内在图中的上下两个第一相位差像素36a、82a、83a间对第一插值像素56a、85a、86a假想地进行插值，从而求出各色的第一插值像素56a、85a、86a的输出。由此，得到包含各色的第一相位差像素36a、82a、83a和第一插值像素56a、85a、86a的第一像素组的输出。
如图22所示，像素插值处理部53与第一实施方式同样，在各垂直列42内在图中的上下两个第二相位差像素36b、82b、83b间对第二插值像素56b、85b、86b假想地进行插值，从而求出各色的第二插值像素56b、85b、86b的输出。由此，得到包含各色的第二相位差像素36b、82b、83b和第二插值像素56b、85b、86b的第二像素组的输出。
第五实施方式的裂像处理部54基于来自上述的第一像素组和第二像素组的输出信号，生成包含全色的第一图像数据和第二图像数据的裂像数据。由此，能够将全色的裂像在即时预览图像67内显示。另外，第五实施方式的数码相机除了进行全色的裂像的生成、输出的方面外，与第一实施方式的数码相机2基本上相同，因此能够得到第一实施方式中已说明的效果。
[第六实施方式的数码相机的结构]
接下来，使用图23对本发明的第六实施方式的数码相机90进行说明。上述第一实施方式的数码相机2在进行以绕光轴O1旋转了90°的状态进行摄影的、所谓垂直摄影的情况下，裂像66也以旋转了90°的状态进行显示。对此，在数码相机90中进行垂直摄影的情况下，也进行被上下分割后的裂像数据的显示。
另外，数码相机90除了具有与第一实施方式的数码相机2不同的彩色摄像元件91的方面外，基本上是与第一实施方式相同的结构。因此，针对与第一实施方式在功能/结构上相同的器件，标注相同附图标记而省略其说明。
在彩色摄像元件91的摄像面，除了上述的RGB像素35～37和G色的第一和第二相位差像素36a、36b外，多个G色的第三相位差像素93a和第四相位差像素93b在多个垂直列42和多个水平行43分别隔开间隔而交替地设置。第三相位差像素93a和第四相位差像素93b具有与使第一和第二相位差像素36a、36b分别绕光轴O1旋转了90°时相同的构造。
如图24的(I)部所示，在将与光轴O1正交且与垂直方向平行的直线设为L1时，第一和第二相位差像素36a、36b相对于分别通过了左区域17L、右区域17R的被摄体光50L、50R(参照图5)，灵敏度变高，上述左区域17L、右区域17R相对于通过摄影光学系统17的中心的第一直线L1而对称。另一方面，如图24的(II)部所示，在将与光轴O1正交且与水平方向平行的直线设为L2时，第三相位差像素93a和第四相位差像素93b相对于分别通过了上区域17U、下区域17D的被摄体光，灵敏度变高，上述上区域17U、下区域17D相对于通过摄影光学系统17的中心的第二直线L2而对称。因此，在数码相机90绕光轴O1旋转了90°的情况下，能够使用第一和第二相位差像素36a、36b替代第三相位差像素93a和第四相位差像素93b，而生成裂像数据。
如图25所示，在图像处理电路29连接有对数码相机90(彩色摄像元件91)的绕光轴O1的旋转进行检测的运动传感器(旋转检测单元)95。另外，只要能够对数码相机90的旋转进行检测，则可以使用运动传感器以外的各种传感器。像素插值处理部53基于来自运动传感器95的检测信号，在数码相机90绕光轴O1旋转了90°的情况下，将各水平行43视为各垂直列42，而进行第三相位差像素93a和第四相位差像素93b的插值处理。
具体来说，如图26和图27所示，在图中的上下两个第三相位差像素93a间对一个以上的第三插值像素97a假想地进行插值，求出第三插值像素97a的输出(图中，作为例子表示两个第三插值像素97a)。另外，在图中的上下两个第四相位差像素93b间对一个以上的第四插值像素97b假想地进行插值，求出第四插值像素97b的输出(图中，作为例子表示两个第四插值像素97b)。第三和第四插值像素97a、97b的插值处理与第一和第二插值像素56a、56b的插值处理基本相同，因此在此省略具体的说明。由此，得到包括各第三相位差像素93a和各第三插值像素97a的第三像素组的输出。另外，得到包括各第四相位差像素93b和各第四插值像素97b的第四像素组的输出。
裂像处理部54基于来自第三像素组的输出信号(输出)的亮度成分，生成白黑的第三图像数据61L’(参照图25)，基于来自第四像素组的输出信号的亮度成分而生成白黑的第四图像数据61R’(参照图25)。由此，得到包含第三图像数据61L’和第四图像数据61R’的白黑的裂像数据。由此，即使在进行了垂直摄影的情况下，也能够在即时预览图像67内对如图11和图12所示那样的上下分割后的白黑的裂像66进行显示。
[其他]
上述各实施方式的彩色摄像元件的滤色器排列由与在水平和垂直方向上重复配置的6×6像素对应的基本排列图案P构成，但是也可以由与N×N像素(N是3以上)对应的排列图案的基本排列图案构成。
在上述各实施方式中，对RGB的三原色的滤色器的滤色器排列进行了说明。但是例如也可以是RGB的三原色+其他色(例如，翠绿色(E))这四种颜色的滤色器的滤色器排列，滤色器的种类不特别被限定。另外，本发明也能够适用于作为原色RGB的互补色的C(青色)、M(品红)、Y(黄色)的滤色器的滤色器排列。
在上述第一实施方式中，第一和第二相位差像素36a、36b沿各垂直列42和各水平行43分别隔开间隔而交替地设置，但是若第一和第二相位差像素36a、36b分别沿各垂直列42设置，则第一和第二相位差像素36a、36b的配置不特别被限定。此外，也可以对各垂直列42的间隔和各水平行43的间隔适当进行变更。在该情况下，优选为，将第一和第二相位差像素36a、36b配置为，能够通过像素插值处理沿垂直方向等间隔地配置第一和第二像素组57a、57b的各像素。另外，对第二实施方式至第六实施方式也同样(也包含第三和第四相位差像素)。
在上述一实施方式中，在摄像面23a的中央区域设有第一和第二相位差像素36a、36b，但是也可以在摄像面的任意的区域设置第一和第二相位差像素36a、36b。此外，也可以在摄像面的整个面设置第一和第二相位差像素36a、36b。另外，对第二实施方式至第六实施方式也同样(也包含第三和第四相位差像素)。
在上述第一实施方式中，在摄像面23a设有两种第一和第二相位差像素36a、36b，但是也可以在摄像面设置能够生成视差量不同的第一图像和第二图像(裂像)的多种第一和第二相位差像素36a、36b。图像处理电路29与操作部9中的裂像的切换操作对应，对第一和第二相位差像素36a、36b的种类进行选择，而进行裂像数据的生成。由此，能够任意地对显示于显示部8的裂像的种类进行切换。
在上述各实施方式中，作为本发明的摄像装置列举数码相机为例进行了说明，但是，例如，也能够将本发明适用于具有相机功能的手机、智能手机、PDA(Personal Digital Assistants：个人数字助理)、便携式游戏机。以下，列举智能手机为例，参照附图详细地进行说明。
在上述第一实施方式中，在各垂直列42设有G色的第一和第二相位差像素36a、36b，但是也可以作为替代而设置R色、B色等G色以外的第一和第二相位差像素。另外，对第五实施方式以外的各实施方式也同样。
＜智能手机的结构＞
图28是表示智能手机500的外观的图。图28所示的智能手机500具有平板状的壳体502，并在壳体502的一面具备作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备扬声器531、麦克风532、操作部540和相机部541。另外，壳体502的结构不限于此，例如，也能够采用显示部和输入部独立的结构，或采用具有折叠构造、滑动机构的结构。
图29是表示图28所示的智能手机500的结构的框图。如图29所示，作为智能手机的主要的结构要素，具备无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System：全球定位系统)接收部570、运动传感器部580、电源部590和主控制部501。另外，作为智能手机500的主要的功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，而对收纳于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是通过主控制部501的控制对图像(静止画面像和动态图像)、文字信息等进行显示而视觉地向用户传递信息并且检测针对所显示的信息的用户操作的所谓的操作面板，具备显示面板521和操作面板522。优选为，在欣赏所生成的3D图像的情况下，显示面板521是3D显示面板。
显示面板521是将LCD(Liquid Crystal Display：液晶显示器)、OELD(Organic Electro-Luminescence Display：有机电致发光显示器)等作为显示装置而使用的器件。操作面板522对显示面板521的显示面上所显示的图像能够视觉认知地进行载置，是对由用户的手指、尖笔所操作的1个或多个坐标进行检测的器件。若利用用户的手指、尖笔对该器件进行操作，则将因操作而产生的检测信号输出到主控制部501。接下来，主控制部501基于接收到的检测信号，对显示面板521上的操作位置(坐标)进行检测。
虽然如图28所示智能手机500的显示面板521和操作面板522成为一体而构成显示输入部520，但是操作面板522成为对显示面板521完全地进行覆盖那样的配置。在采用了该配置的情况下，操作面板522也可以对于显示面板521以外的区域也具有对用户操作进行检测的功能。换言之，操作面板522也可以具备关于与显示面板521重合的重叠部分的检测区域(以下，称作显示区域)和关于除此以外的不与显示面板521重合的外边缘部分的检测区域(以下，称作非显示区域)。
另外，虽然也可以使显示区域的大小和显示面板521的大小完全一致，但是没有必要必须使两者一致。另外，操作面板522也可以具备外边缘部分和除此以外的内侧部分这两个感应区域。此外，根据壳体502的大小等而适当设计外边缘部分的宽度。此外，另外，作为操作面板522所采用的位置检测方式，能够列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等，也能够采用其中任一种方式。
通话部530具备扬声器531和麦克风532，将通过麦克风532而输入的用户的声音转换为能够由主控制部501处理的声音数据而输出到主控制部501，对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外，如图28所示，例如，能够将扬声器531搭载在与设有显示输入部520的面相同的面，将麦克风532搭载在壳体502的侧面。
操作部540是使用键开关等的硬件键，接受来自用户的指示。例如，如图29所示是如下那样的按压按钮式的开关：操作部540搭载在智能手机500的壳体502的显示部的下部、下侧面，若利用手指等按下则接通，若使手指离开则通过弹簧等的恢复力而成为断开状态。
存储部550对主控制部501的控制程序、控制数据、包含用于生成本发明所涉及的左眼图像和右眼图像的图像处理程序的应用软件、为了生成体视图像而使用的第一和第二数字滤光片组、视差映射、与通信对方的名称、电话号码等建立对应关系的地址数据、所收发的电子邮件的数据、利用Web浏览而下载的Web数据、所下载的内容数据进行存储，并且对流数据等暂时性地进行存储。另外，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器插槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552使用闪存型(flash memory type)、硬盘型(hard disktype)、缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random AccessMemory：随机访问存储器)、ROM(Read Only Memory：只读存储器)等存储介质而实现。
外部输入输出部560起到与连接在智能手机500的所有外部设备的界面的作用，用于通过通信等(例如，通用串行总线(USB)，IEEE1394等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)与其他外部设备直接或间接地连接。
作为与智能手机500连接的外部设备，例如具有：有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座而连接的存储卡(MEMORY CARD)、SIM(SUBSCRIBER IDENTITYMODULE CARD)/UIM(USER IDENTITY MODULE CARD)卡、经由音频/视频I/O(INPUT/OUTPUT)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接受传送后的数据传递到智能手机500的内部的各结构要素，并能够将智能手机500的内部的数据传送到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于接收到的多个GPS信号的测位运算处理，对该智能手机500的由纬度、经度、高度构成的位置进行检测。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如无线LAN)获取位置信息时，也能够使用该位置信息对位置进行检测。
运动传感器部580例如具备三轴加速度传感器等，能够按照主控制部501的指示对智能手机500的物理性的移动进行检测。通过对智能手机500的物理性的移动进行检测，能够检测智能手机500的移动方向、加速度。将该检测结果输出到主控制部501。
电源部590按照主控制部501的指示向智能手机500的各部供给蓄积于蓄电池(未图示)的电力。
主控制部501具备微处理器，按照存储部550所存储的控制程序、控制数据而动作，对智能手机500的各部集中地进行控制。另外，主控制部501为了通过无线通信部510进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
按照存储部550所存储的应用软件使得主控制部501动作从而实现应用处理功能。作为应用处理功能，例如，具有：对外部输入输出部560进行控制而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能、从本发明所涉及的2D图像生成3D图像的功能等。
另外，主控制部501具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将影像在显示输入部520显示等的图像处理功能。所谓图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理而将图像在显示输入部520上显示的功能。
此外，主控制部501执行对显示面板521的显示控制和对通过了操作部540、操作面板522的用户操作进行检测的操作检测控制。
通过显示控制的执行，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。另外，所谓滚动条，是指对于没有完全收纳到显示面板521的显示区域的较大的图像等用于接受使图像的显示部分移动的指示的软件键。
另外，通过操作检测控制的执行，主控制部501对通过了操作部540的用户操作进行检测，通过操作面板522接受对上述图标的操作、对上述窗口的输入栏的文字列的输入，或者接受通过了滚动条的显示图像的滚动要求。
此外，通过操作检测控制的执行，主控制部501具备判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外边缘部分(非显示区域)，并对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501也能够检测对操作面板522的手势操作，根据检测出的手势操作，执行预先设定的功能。所谓手势操作并非以往的单纯的触摸操作，而是指利用手指等描绘轨迹或对多个位置同时进行指定、或将它们组合而从多个位置对至少一个位置描绘轨迹的操作。
相机部541是使用CMOS(Complementary Metal OxideSemiconductor：互补性金属氧化物半导体)、CCD(Charge-CoupledDevice：电荷耦合设备)等摄像元件进行电子摄影的数码相机，是与上述各实施方式的数码相机基本上相同的结构。
另外，相机部541能够通过主控制部501的控制，将通过摄像所得到的图像数据转换为例如JPEG(Joint Photographic coding ExpertsGroup：联合图像专家小组)等压缩后的图像数据，并记录于存储部550，或通过外部输入输出部560、无线通信部510而输出。在图28所示的智能手机500中，相机部541搭载在与显示输入部520相同的面，但相机部541的搭载位置不限于此，也可以搭载在显示输入部520的背面，或者也可以搭载多个相机部541。另外，在搭载多个相机部541的情况下，也能够对提供摄影的相机部541进行切换而单独地进行摄影，或同时使用多个相机部541而进行摄影。
另外，相机部541能够用于智能手机500的各种功能。例如，能够在显示面板521显示由相机部541获取的图像，作为操作面板522的操作输入之一能够利用相机部541的图像。另外，在GPS接收部570对位置进行检测时，也能够对来自相机部541的图像进行参照而对位置进行检测。此外，也能够参照来自相机部541的图像，不使用三轴加速度传感器或与三轴加速度传感器并用，而判断智能手机500的相机部541的光轴方向、判断当前的使用环境。也能够在应用软件内利用来自相机部541的图像，这是不言而喻的。
此外，也能够向静止画面或动态画面的图像数据附加由GPS接收部570获取的位置信息、由麦克风532获取的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580获取的姿势信息等而记录于存储部550，或者也能够通过外部输入输出部560、无线通信部510而输出。
＜裂像的其他实施方式＞
在上述各实施方式中，作为裂像66列举由与水平方向平行的分割线63分割成两部分的图像为例而进行了说明，但是本发明的裂像不限于此。在本发明的裂像中包含如下图像：在将两个相位差图像(第一图像、第二图像)重叠而合成显示时，在焦点偏移的情况下作为二重像而显示，在焦点对合的状态下清晰地显示。例如，作为裂像66也可以使用由与垂直方向平行的分割线分割成两部分的图像。
另外，例如，图30所示的裂像66a由与水平方向平行的多个分割线63a分割为奇数行和偶数行。在该裂像66a中，基于来自第一像素组57a的输出信号而生成的线状(长条状)的第一图像66La在奇数行(也可以是偶数行)显示，基于来自第二像素组57b的输出信号而生成的线状(长条状)的第二图像66Ra在偶数行显示。
另外，图31所示的裂像66b由在水平方向上具有倾角的分割线63b(例如，裂像66b的对角线)分割成两部分。在该裂像66b中，基于来自第一像素组57a的输出信号而生成的第一图像66Lb在一区域中显示，基于来自第二像素组57b的输出信号而生成的第二图像66Rb在另一区域显示。
另外，图32A、32B所示的裂像66c由与水平方向和垂直方向分别平行的格子状的分割线63c所分割(参照图32A)。在裂像66c中，基于来自第一像素组57a的输出信号而生成的第一图像66Lc以棋盘式格纹(跳棋图案)状排列显示，并且，基于来自第二像素组57b的输出信号而生成的第二图像66Rc以棋盘式格纹状排列显示(参照图32B)。
如此，在各裂像66a～66c中，若将聚焦透镜16设定于对焦位置，则第一图像66La、66Lb、66Lc和第二图像66Ra、66Rb、66Rc的偏移量为零。
附图标记说明
2、70、90…数码相机，8…显示部，16…聚焦透镜，17…摄影光学系统，23、80…彩色摄像元件，35…R像素，36…G像素，37…B像素，36a、82a、83a…第一相位差像素，36b、82b、83b…第二相位差像素，37…B像素，42…垂直列，43…水平行，53…插值处理部，54…裂像处理部，55…摄影图像数据，56a…第一插值像素，56b…第二插值像素，57a…第一像素组，57b…第二像素组，61…裂像数据，61L…第一图像数据，61R…第二图像数据，66…裂像，66L…第一图像，66R…第二图像，73…平均值计算部，74…增益计算部，75…增益调整部，93a…第三相位差像素，93b…第四相位差像素。

Claims (12)

1.一种摄像装置，其特征在于，具备：
摄影光学系统，包含聚焦透镜；
透镜移动机构，接受对焦操作而使所述聚焦透镜沿所述摄影光学系统的光轴方向移动；
摄像元件，具有摄像面，所述摄像面形成有矩阵状的像素排列，所述矩阵状的像素排列包括：包含光电转换元件的多个像素沿第一方向排列而成的多个第一像素列和所述多个像素沿与所述第一方向垂直的第二方向排列而成的多个第二像素列，所述多个像素包含通过光瞳分割对分别通过了所述摄影光学系统的彼此不同的区域的各被摄体光选择性地进行受光的第一相位差像素和第二相位差像素及对所述各被摄体光分别进行受光的普通像素，所述第一方向与相位差方向平行，所述相位差方向与通过所述摄影光学系统在所述摄像面上分别成像的所述各被摄体光的像的偏移方向对应，在所述第二像素列分别设有多个所述第一相位差像素和第二相位差像素；
第一插值单元，基于各所述第一相位差像素的输出，通过插值处理求出所述第二像素列内的位于所述第一相位差像素间的第一插值像素的输出，
第二插值单元，基于各所述第二相位差像素的输出，通过插值处理求出所述第二像素列内的位于所述第二相位差像素间的第二插值像素的输出；
摄影图像生成单元，从所述普通像素的输出生成摄影图像；
裂像生成单元，使用由所述第一相位差像素和所述第一插值像素的输出构成的第一图像及由所述第二相位差像素和所述第二插值像素的输出构成的第二图像而生成裂像；及
显示单元，对由所述摄影图像生成单元生成的所述摄影图像进行显示，在所述摄影图像的显示区域内显示由所述裂像生成单元生成的所述裂像。
2.根据权利要求1所述的摄像装置，其中，
所述第一插值单元以所述第一相位差像素和所述第一插值像素沿所述第二方向等间隔排列的方式在所述第一相位差像素间设定所述第一插值像素，求出该第一插值像素的输出，
所述第二插值单元以所述第二相位差像素和所述第二插值像素沿所述第二方向等间隔排列的方式在所述第二相位差像素间设定所述第二插值像素，求出该第二插值像素的输出。
3.根据权利要求1或2所述的摄像装置，其中，
所述第一插值单元基于所述第二像素列内的两个所述第一相位差像素的输出和位置坐标及所述第一插值像素的位置坐标，通过基于线形插值法的内插来求出所述第一插值像素的输出，
所述第二插值单元基于所述第二像素列内的两个所述第二相位差像素的输出和位置坐标及所述第二插值像素的位置坐标，通过基于线形插值法的内插来求出所述第二插值像素的输出。
4.根据权利要求1～3中任一项所述的摄像装置，其中，
所述摄像元件具有多个颜色的滤色器，该多个颜色的滤色器在所述多个像素上以预定的滤色器排列排列而成，并包含与最有助于获得亮度信号的第一色对应的第一滤光片和与所述第一色以外的两种颜色以上的第二色对应的第二滤光片，
在所述第一相位差像素和第二相位差像素上设有所述第一滤光片，
所述裂像生成单元使用基于所述第一相位差像素和所述第一插值像素的输出的亮度成分而生成的白黑的所述第一图像及基于所述第二相位差像素和所述第二插值像素的输出的亮度成分而生成的白黑的所述第二图像，生成所述裂像。
5.根据权利要求4所述的摄像装置，其中，
在各所述普通像素上排列有所述第一滤光片和第二滤光片，
所述摄影图像生成单元基于所述普通像素的输出而生成全色的所述摄影图像。
6.根据权利要求1～5中任一项所述的摄像装置，其中，具备：
比较单元，对所述普通像素的输出与所述第一相位差像素和第二相位差像素各自的输出进行比较；及
增益调整单元，基于所述比较单元的比较结果，向所述第一相位差像素和第二相位差像素的输出分别乘以增益，使所述第一相位差像素和第二相位差像素的输出与所述普通像素的输出相同。
7.根据权利要求1～6中任一项所述的摄像装置，其中，
所述第一相位差像素和第二相位差像素在多个所述第二像素列内分别隔开间隔而交替地设置。
8.根据权利要求1～7中任一项所述的摄像装置，其中，
所述第一相位差像素和第二相位差像素在多个所述第一像素列内分别隔开间隔而交替地设置。
9.根据权利要求1～8中任一项所述的摄像装置，其中，
所述裂像是将所述第一图像和所述第二图像沿所述第二方向并排配置而成的图像。
10.根据权利要求1～9中任一项所述的摄像装置，其中，
所述摄影光学系统的彼此不同的区域是相对于与所述第二方向平行的第一直线而对称的第一区域和第二区域，
所述第一相位差像素对透过了所述第一区域和第二区域的一方的被摄体光选择性地进行受光，所述第二相位差像素对透过了所述第一区域和第二区域的另一方的被摄体光选择性地进行受光。
11.根据权利要求10所述的摄像装置，其中，具备：
第三相位差像素，在多个所述第一像素列分别设有多个所述第三相位差像素，所述第三相位差像素对透过了第三区域和第四区域的一方的被摄体光选择性地进行受光，所述第三区域和第四区域相对于与所述摄影光学系统的所述第一方向平行的第二直线而对称；
第四相位差像素，在多个所述第一像素列分别设有多个所述第四相位差像素，所述第四相位差像素对透过了所述第三区域和第四区域的另一方的被摄体光选择性地进行受光；及
旋转检测单元，对以所述摄影光学系统的光轴为中心的所述摄像元件的旋转进行检测，
所述第一插值单元基于所述旋转检测单元的检测结果，在所述第一像素列与所述第二方向平行时，基于各所述第三相位差像素的输出，通过插值处理求出所述第一像素列内的位于所述第三相位差像素间的第三插值像素的输出，
所述第二插值单元基于所述旋转检测单元的检测结果，在所述第一像素列与所述第二方向平行时，基于各所述第四相位差像素的输出，通过插值处理求出所述第一像素列内的位于所述第四相位差像素间的第四插值像素的输出，
所述裂像生成单元基于所述旋转检测单元的检测结果，在所述第一像素列与所述第二方向平行时，使用由所述第三相位差像素和所述第三插值像素的输出构成的第三图像及由所述第四相位差像素和所述第四插值像素的输出构成的第四图像而生成裂像。
12.根据权利要求4～11中任一项所述的摄像装置，其中，
所述第一色是绿色(G)，所述第二色的各色是红色(R)和蓝色(B)。
CN201380028891.5A 2012-06-01 2013-05-16 摄像装置 Expired - Fee Related CN104396227B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-126164 2012-06-01
JP2012126164 2012-06-01
PCT/JP2013/063631 WO2013179899A1 (ja) 2012-06-01 2013-05-16 撮像装置

Publications (2)

Publication Number Publication Date
CN104396227A true CN104396227A (zh) 2015-03-04
CN104396227B CN104396227B (zh) 2016-10-12

Family

ID=49673102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380028891.5A Expired - Fee Related CN104396227B (zh) 2012-06-01 2013-05-16 摄像装置

Country Status (4)

Country Link
US (1) US9167153B2 (zh)
JP (1) JP5747124B2 (zh)
CN (1) CN104396227B (zh)
WO (1) WO2013179899A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196857A (zh) * 2016-06-01 2019-01-11 富士胶片株式会社 成像元件及摄像装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014007279A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
CN104641626B (zh) * 2012-09-19 2018-02-27 富士胶片株式会社 摄像装置及对焦确认显示方法
JP5937690B2 (ja) * 2012-09-19 2016-06-22 富士フイルム株式会社 撮像装置及びその制御方法
WO2014046038A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及び合焦確認表示方法
CN105026976B (zh) * 2013-03-29 2017-05-03 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP6532119B2 (ja) * 2013-04-30 2019-06-19 キヤノン株式会社 撮像装置及びその制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324337A (ja) * 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
US20090153720A1 (en) * 2007-12-14 2009-06-18 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
US20090153693A1 (en) * 2007-12-13 2009-06-18 Canon Kabushiki Kaisha Image-pickup apparatus
JP2009276426A (ja) * 2008-05-13 2009-11-26 Canon Inc 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309210A (ja) 2000-04-27 2001-11-02 Minolta Co Ltd デジタルカメラ
JP3929034B2 (ja) 2002-07-08 2007-06-13 富士フイルム株式会社 マニュアルフォーカス装置
US7099575B2 (en) 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
JP5294794B2 (ja) * 2007-12-14 2013-09-18 キヤノン株式会社 撮像装置及び画像表示方法
JP5424679B2 (ja) * 2009-03-18 2014-02-26 キヤノン株式会社 撮像装置及び信号処理装置
JP5361535B2 (ja) * 2009-05-25 2013-12-04 キヤノン株式会社 撮像装置
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
JP5529928B2 (ja) * 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
WO2014006785A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
WO2014006783A1 (ja) * 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
CN104782110B (zh) * 2012-09-19 2018-09-14 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP6305006B2 (ja) * 2013-10-18 2018-04-04 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324337A (ja) * 1999-05-10 2000-11-24 Victor Co Of Japan Ltd 画像拡大縮小装置
US20090153693A1 (en) * 2007-12-13 2009-06-18 Canon Kabushiki Kaisha Image-pickup apparatus
US20090153720A1 (en) * 2007-12-14 2009-06-18 Canon Kabushiki Kaisha Image pickup apparatus and display control method for the same
JP2009276426A (ja) * 2008-05-13 2009-11-26 Canon Inc 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196857A (zh) * 2016-06-01 2019-01-11 富士胶片株式会社 成像元件及摄像装置
CN109196857B (zh) * 2016-06-01 2020-10-27 富士胶片株式会社 成像元件及摄像装置

Also Published As

Publication number Publication date
JP5747124B2 (ja) 2015-07-08
US9167153B2 (en) 2015-10-20
US20150070551A1 (en) 2015-03-12
CN104396227B (zh) 2016-10-12
WO2013179899A1 (ja) 2013-12-05
JPWO2013179899A1 (ja) 2016-01-18

Similar Documents

Publication Publication Date Title
CN104221369B (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN104620572B (zh) 摄像装置及其控制方法
JP5753321B2 (ja) 撮像装置及び合焦確認表示方法
CN104380168B (zh) 摄像装置及自动调焦方法
CN104396227A (zh) 摄像装置
CN104838313B (zh) 摄像装置及其控制方法
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
CN104365089A (zh) 摄像装置及图像显示方法
US9479689B2 (en) Imaging device and focusing-verification display method
JP5740045B2 (ja) 画像処理装置及び方法並びに撮像装置
CN104737528B (zh) 摄像装置以及图像显示方法
CN104871058A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US9288472B2 (en) Image processing device and method, and image capturing device
CN104641624A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104885440A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104755981A (zh) 图像处理装置、摄像装置、图像处理方法和图像处理程序
CN105075235A (zh) 图像处理装置、摄像装置、图像处理方法以及图像处理程序
CN104903769A (zh) 图像处理装置、摄像装置、程序及图像处理方法
JP2013211790A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161012