CN104365089B - 摄像装置及图像显示方法 - Google Patents

摄像装置及图像显示方法 Download PDF

Info

Publication number
CN104365089B
CN104365089B CN201380029916.3A CN201380029916A CN104365089B CN 104365089 B CN104365089 B CN 104365089B CN 201380029916 A CN201380029916 A CN 201380029916A CN 104365089 B CN104365089 B CN 104365089B
Authority
CN
China
Prior art keywords
image
pixel groups
focusing
display
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380029916.3A
Other languages
English (en)
Other versions
CN104365089A (zh
Inventor
河合智行
井泽克俊
林淳司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104365089A publication Critical patent/CN104365089A/zh
Application granted granted Critical
Publication of CN104365089B publication Critical patent/CN104365089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Abstract

在手动对焦时能够一边观察裂像一边进行焦点调整，能够显示基本没有色差的彩色的裂像。摄像元件包括与具有对应于焦点偏移的相位差的第一图像、第二图像对应的相位差像素组(第一像素组、第二像素组)和与普通的第三图像对应的第三像素组，从第一像素组、第二像素组输出拜耳排列的第一图像及第二图像，从第三像素组输出与RAW图像相同的颜色排列的第三图像。基于从摄像元件获取的第一图像、第二图像而生成彩色的裂像，并且基于第三图像而生成显示用的彩色图像，在所生成的显示用的彩色图像的一部分合成彩色的裂像，从而显示合成了裂像的即时预览图像。

Description

摄像装置及图像显示方法
技术领域
本发明涉及摄像装置及图像显示方法，尤其涉及显示手动对焦用的裂像的技术。
背景技术
作为数码相机，广泛已知除了使用了相位差检测方式、对比度检测方式的自动对焦之外、还具有使用者能够手动进行对焦调整的、所谓的手动对焦模式的数码相机。
作为具有手动对焦模式的数码相机，广泛已知如下的数码相机：以能够一边确认拍摄到的被摄体一边进行对焦调整的方式设置反射镜，采用使用了显示基于目视的相位差的分裂微棱镜屏幕的方法、进行基于目视的对比度的确认的方法。
另外，在近年普及的省略了反射镜的数码相机中，由于没有反射镜，所以不存在一边显示相位差一边确认被摄体像的方法。因此，不得不依赖对比度检测方式。但是，在该情况下，无法进行LCD(Liquid Crystal Display)等显示装置的分辨率以上的对比度的显示，不得不采用进行局部放大等而显示的方法。
因此，近年来，为了在手动对焦模式时容易进行操作者将焦点对准被摄体的作业，在即时预览图像(也称为实时取景图像)内显示裂像。在此，裂像是指，被分割为两部分的上下图像根据焦点的偏移而在左右方向上偏移并在焦点对准了的状态下上下图像的左右方向的偏移消除的图像。操作者以消除裂像的上下图像的偏移的方式操作手动对焦而对准焦点。
在专利文献1中记载的手动对焦装置中，设置在被摄体光路上能够沿着左右进行偏移移动的开口光圈，由使开口光圈右偏移时的图像和左偏移时的图像生成裂像，并对其进行监视显示。
此外，在专利文献2中记载的摄像装置中，生成对由来自摄像光学系统的光束中的、通过光瞳分割部分割后的光束形成的第一被摄体像及第二被摄体像分别进行光电转换所得的第一图像及第二图像，使用这些第一及第二图像而生成裂像。而且，对由未通过光瞳分割部分割的光束形成的第三被摄体像进行光电转换而生成第三图像。并且，将所述第三图像显示在显示部，并且在第三图像内显示所生成的所述裂像，且将从第三图像提取出的颜色信息附加到裂像上。
在专利文献3中记载的数码相机中，包括相位差检测方式的测距部，求出与由该测距部测出的距被摄体的距离对应的偏移量，根据该偏移量，将在左右相反的方向上错开的裂像显示在即时预览图像内。
专利文献
专利文献1:日本特开2004-40740号公报
专利文献2:日本特开2009-147665号公报
专利文献3:日本特开2001-309210号公报
发明内容
发明要解决的课题
但是，在专利文献1中记载的手动对焦装置需要使光圈移动的机械结构，所以产生容纳该结构的空间的确保及零件数的增加等问题。此外，在专利文献2中记载的摄像装置中，由于颜色信息不包括进行了光瞳分割的相位信息，所以存在产生裂像的亮度和颜色的偏差的问题。
在专利文献3中记载的数码相机中，由于不具有对被摄体光进行光瞳分割而拍摄的结构，所以难以准确实现没有破绽的裂像。
本发明是鉴于这样的情况而完成的，其目的在于，提供在手动对焦时能够一边观察对焦确认图像一边进行焦点调整，能够显示基本没有色差的彩色的对焦确认图像的摄像装置及图像显示方法。
用于解决课题的手段
为了实现所述目的，本发明的一个方式的摄像装置具备：摄像元件，在以矩阵状排列的像素上配置具有预定的滤色器排列的滤色器，且输出与滤色器的颜色排列相同的颜色排列的第一彩色图像，该摄像元件具有对通过了摄影透镜不同的第一区域、第二区域的被摄体像进行光瞳分割而分别成像的第一像素组、第二像素组和未对被摄体像进行光瞳分割而成像的第三像素组，从第一像素组、第二像素组输出与第一彩色图像相同的颜色排列或拜耳排列的第一图像及第二图像，从第三像素组输出与第一彩色图像相同的颜色排列的第三图像；显示部，显示彩色的即时预览图像；对焦确认图像生成部(裂像处理部)，基于从摄像元件获取的第一图像和第二图像，生成彩色的对焦确认图像；图像处理部(普通处理部)，基于从摄像元件获取的第三图像，生成显示于显示部的显示用的第二彩色图像；及显示控制部，在由图像处理部生成的显示用的第二彩色图像的显示区域内，显示由对焦确认图像生成部生成的彩色的对焦确认图像。
根据本发明的一个方式，使用摄像元件，该摄像元件在以矩阵状排列的像素上配置具有预定的滤色器排列的滤色器，且输出与滤色器的颜色排列相同的颜色排列的第一彩色图像，该摄像元件具有对通过了摄影透镜不同的第一区域、第二区域的被摄体像进行光瞳分割而分别成像的第一像素组、第二像素组和未对被摄体像进行光瞳分割而成像的第三像素组，从第一像素组、第二像素组输出与第一彩色图像相同的颜色排列或拜耳排列的第一图像及第二图像，从第三像素组输出与第一彩色图像相同的颜色排列的第三图像。并且，在根据第三图像而生成的显示用的第二彩色图像的显示区域内显示根据第一图像、第二图像而生成的彩色的对焦确认图像，由此，能够在手动对焦时一边观察无色差的彩色的对焦确认图像一边进行焦点调整。此外，由于摄像元件能够输出与第一彩色图像相同的颜色排列或拜耳排列的第一图像、第二图像，所以能够通过与第三图像相同的图像处理或通过与一般的拜耳排列相同的图像处理，生成对焦确认图像。
在本发明的另一方式的摄像装置中，优选为，由对焦确认图像生成部生成的对焦确认图像是与第一图像、第二图像对应的被分割的图像，是被分割的图像间根据对焦状态而产生了偏移的裂像。
在本发明的另一方式的摄像装置中，优选为，摄影透镜是能够相对于摄像装置主体装卸自如的更换透镜或固定于装置主体的一体型透镜，所述摄像装置具有通过手动操作来调整摄影透镜的离焦量的手动操作部。即使是在安装了在与装置主体之间无法进行通信的更换透镜的情况下，通过使用对焦确认图像而操作手动操作部，也能够进行手动对焦。
在本发明的另一方式的摄像装置中，优选为，图像处理部具有基于第三像素组而生成与第一像素组、第二像素组对应的未进行光瞳分割的像素组的生成部，并生成由未进行光瞳分割的一个画面量的总像素构成的记录用的第三彩色图像，所述摄像装置具备记录记录用的第三彩色图像的记录部，对焦确认图像生成部与图像处理部的处理并行地进行处理，显示控制部对从图像处理部和对焦确认图像生成部同时输出的显示用的第二彩色图像和对焦确认图像进行合成而显示于显示部。
在记录时，能够记录普通的彩色图像(彩色动画或静止画面)，显示用的即时预览图像(动画记录中的即时预览图像或静止画面摄影前的即时预览图像)能够显示包括对焦确认图像的手动对焦用的图像，能够支援对焦。
在本发明的另一方式的摄像装置中，优选为，具备检测从摄像元件输出的第一图像与第二图像的相位差的相位差检测部(中央处理装置)，显示控制部对于由对焦确认图像生成部生成的对焦确认图像中的、由相位差检测部检测出的相位差小于预定的阈值的部分，使用由图像处理部生成的显示用的第二彩色图像。
由于无法通过对焦确认图像来判别由相位差检测部检测出的相位差小于预定的阈值的部分的相位偏移，所以使用显示用的第二彩色图像作为该部分的图像，由此，能够将对焦的部分的图像设为高画质的图像。
在本发明的另一方式的摄像装置中，优选为，当将显示部的水平像素数设为N、将摄像元件的水平像素数设为H时，预定的阈值设为H/N。即，将在显示部中无法确认相位偏移的相位差设为阈值。此外，也可以将通过k×(H/N)(k：1附近的系数)进行了微调整的值用作阈值。
在本发明的另一方式的摄像装置中，优选为，具备：取景器，作为光学取景器或电子取景器而使用；取景器切换部(取景器切换杆)，切换将取景器作为电子取景器而使用的电子取景器模式和将取景器作为光学取景器而使用的光学取景器模式；合成部(显示控制部)，在设定了光学取景器模式的情况下，对光学取景器的光学图像和由显示部显示的即时预览图像进行光学合成；及遮蔽部(显示控制部)，在由取景器切换部进行向电子取景器模式的切换时，遮蔽光学图像向合成部的入射，在由取景器切换部进行向光学取景器模式的切换时，显示控制部仅使由对焦确认图像生成部生成的对焦确认图像显示于显示部。
根据本发明的另一方式，能够将取景器分为电子取景器和光学取景器而使用，在作为光学取景器而使用的情况下，进而仅使对焦确认图像显示于显示部，从而能够在光学图像中合成对焦确认图像而显示。
在本发明的另一方式的摄像装置中，优选为，摄像元件中，第一像素组的各像素和第二像素组的各像素彼此相邻而成对地配置。由此，能够准确地计算相位差。
在本发明的另一方式的摄像装置中，具备：相位差检测部(中央处理装置)，检测从摄像元件输出的第一图像和第二图像的相位差；对焦模式切换部(转盘)，切换手动对焦模式和自动对焦模式；及自动焦点调整部(中央处理装置)，当由对焦模式切换部切换到自动对焦模式时，基于由相位差检测部检测出的相位差以使摄影透镜的离焦量为零的方式来调整摄影透镜的位置。
由此，用户能够适当切换使用了对焦确认图像的手动对焦和基于检测出的相位差的自动对焦而使用。
本发明的另一方式的图像显示方法包括：(a)从摄像元件获取第一彩色图像的工序，摄像元件在以矩阵状排列的像素上配置具有预定的滤色器排列的滤色器，且输出与所述滤色器的颜色排列相同的颜色排列的第一彩色图像，摄像元件具有对通过了摄影透镜不同的第一区域、第二区域的被摄体像进行光瞳分割而分别成像的第一像素组、第二像素组和被摄体像未进行光瞳分割而成像的第三像素组；(b)从获取的第一彩色图像提取与第一彩色图像相同的颜色排列或拜耳排列的第一图像及第二图像的工序，该第一图像、第二图像与第一像素组、第二像素组对应；(c)基于提取出的第一图像和第二图像而生成彩色的对焦确认图像的对焦确认图像生成工序；(d)基于获取的第一彩色图像中的与第三像素组对应的第三图像而生成显示用的第二彩色图像的图像处理工序；及(e)在生成的显示用的第二彩色图像的显示区域内显示由对焦确认图像生成工序生成的彩色的对焦确认图像的工序，重复执行工序(a)至工序(e)，使显示了彩色的对焦确认图像的即时预览图像显示于显示部。
在本发明的另一方式的图像显示方法中，优选为，图像处理工序包括基于第三像素组的第三图像而生成与第一像素组、第二像素组对应的未进行光瞳分割的图像的工序，并生成由未进行光瞳分割的一个画面量的总像素的图像构成的记录用的第三彩色图像。
发明效果
根据本发明，使用摄像元件，该摄像元件在以矩阵状排列的像素上配置具有预定的滤色器排列的滤色器，且输出与滤色器的颜色排列相同的颜色排列的第一彩色图像，该摄像元件具有第一像素组、第二像素组(第一相位差像素组、第二相位差像素组)和没有相位差的第三像素组(普通像素组)，从第一相位差像素组、第二相位差像素组输出与第一彩色图像相同的颜色排列或拜耳排列的第一相位差图像、第二相位差图像，从普通像素组输出与第一彩色图像相同的颜色排列的第三图像，在根据第三图像而生成的显示用的第二彩色图像的显示区域内显示根据第一相位差图像、第二相位差图像而生成的彩色的对焦确认图像。因此，能够在手动对焦时一边观察无色差的彩色的对焦确认图像一边进行焦点调整。
附图说明
图1是从斜前方观察作为本发明的一个实施方式的透镜更换式相机的摄像装置的立体图。
图2是图1所示的摄像装置的后视图。
图3是表示图1所示的摄像装置的实施方式的框图。
图4A是表示在摄像元件中设置的滤色器的滤色器排列及遮光部件的图(整体)。
图4B是表示在摄像元件中设置的滤色器的滤色器排列及遮光部件的图(A面)。
图4C是表示在摄像元件中设置的滤色器的滤色器排列及遮光部件的图(B面)。
图5A是表示作为相位差像素的第一像素的结构例的图。
图5B是表示作为相位差像素的第二像素的结构例的图。
图6A是仅表示在图4A所示的摄像元件中包含的左右的相位像素组中的一方(第一像素组)的图。
图6B是仅表示在图4A所示的摄像元件中包含的左右的相位像素组中的另一方(第二像素组)的图。
图7A是表示在显示部中显示的即时预览图像的第一实施方式的图(在有相位差的情况下)。
图7B是表示在显示部中显示的即时预览图像的第一实施方式的图(在没有相位差的情况下)。
图8是摄像装置的主要部分的功能框图。
图9是表示生成第二实施方式的即时预览图像的方法的流程图。
图10是表示第二实施方式的即时预览图像的图。
图11是表示生成第三实施方式的即时预览图像的方法的流程图。
图12是表示摄像元件及显示部的水平方向的像素数的图。
图13是表示重叠显示有裂像的光学取景器(OVF)的取景器像的图。
图14是表示在其他实施方式的摄像元件中设置的滤色器的滤色器排列及遮光部件的图。
图15A是仅表示在图14所示的摄像元件中包含的左右的相位像素组中的一方(第二像素组)的图。
图15B是仅表示在图14所示的摄像元件中包含的左右的相位像素组中的另一方(第一像素组)的图。
图16是作为摄像装置的其他实施方式的智能电话的外观图。
图17是表示智能电话的主要部分结构的框图。
图18是将第一图像及第二图像分为奇数行和偶数行而交替排列地显示而成的其他实施方式的裂像的说明图。
图19是由相对于水平方向倾斜的倾斜分割线分割的其他实施方式的裂像的概略图。
图20A是形成为棋盘式格纹状的其他实施方式的裂像的概略图。
图20B是形成为棋盘式格纹状的其他实施方式的裂像的概略图。
具体实施方式
以下，参照附图，说明本发明的摄像装置的实施方式。
[摄像装置的外观]
图1是从斜前方观察作为本发明的一个实施方式的透镜更换式相机的摄像装置100的立体图，图2是摄像装置100的后视图。
摄像装置100包括相机主体200和以能够更换的方式安装在相机主体200上的更换透镜300(摄影透镜、聚焦环302(手动操作部))，是省略了反射镜的数码相机。
相机主体200和更换透镜300通过设于相机主体200的卡口256和与卡口256对应的更换透镜300侧的卡口346(图3)结合而安装成能够更换。
在相机主体200的前表面，除了卡口256之外，还设有光学取景器的取景器窗241、取景器切换杆(取景器切换部)214等。当向箭头SW方向转动取景器切换杆214时，能够在光学取景器中进行视觉辨认的图像在光学图像和电子图像(即时预览图像)之间切换(后述)。此外，光学取景器的光轴L2是与更换透镜300的光轴L1不同的光轴。此外，在相机主体200的上表面，主要设有释放按钮211及用于设定摄影模式等的转盘212。
在相机主体200的背面，主要设有光学取景器的取景器目镜部242、显示部213、十字键222、菜单/OK键224、返回/DISP按钮225。
十字键222作为输出菜单的选择、变焦、逐帧播放等各种指令信号的多功能的键发挥功能。菜单/OK键224是兼具作为用于进行在显示部213的画面上显示菜单的指令的菜单按钮的功能和作为指示选择内容的确定及执行等的OK按钮的功能的操作键。返回/DISP按钮225在选择项目等期望的对象的删除、指示内容的取消或返回到前一个操作状态时等使用。
显示部213除了在摄影模式时的即时预览图像(实时取景图像)的显示、重放模式时的重放图像的显示中使用之外，还在菜单画面等的显示中使用。
[摄像装置的内部结构]
图3是表示本发明的摄像装置100的实施方式的框图。
该摄像装置100是记录拍摄到的静止画面、动画的数码相机，相机整体的动作由中央处理装置(CPU)12统一控制。
如图1及图2所示，摄像装置100的操作部14包括释放按钮211、选择摄影模式等的转盘(对焦模式切换部)212、显示部213、取景器切换杆214、十字键222、菜单/OK键224、返回/DISP按钮225。来自该操作部14的各种操作信号被施加到CPU12。
当摄影模式被设定时，表示被摄体的图像光经由包括能够通过手动操作而移动的对焦透镜在内的摄影透镜16及快门18，在彩色摄像元件(例如，CMOS(complementarymetal-oxide semiconductor)传感器)20的受光面成像。在摄像元件20中蓄积的信号电荷通过从设备控制部22施加的读出信号，作为与信号电荷(电压)对应的数字信号而依次被读出。此外，摄像元件20具有根据读出信号的时机而控制各光电传感器的电荷蓄积时间(快门速度)的、所谓的电子快门功能。
[摄像元件]
接着，说明上述摄像元件20的结构。
图4A至4C表示在摄像元件20中设置的滤色器的滤色器排列及遮光部件。
如图4A所示，摄像元件20作为在各像素上配置的红(R)、绿(G)、蓝(B)的滤色器，拜耳排列的A面的像素组(图4B)和B面的像素组(图4C)沿着水平方向及垂直方向彼此错开半个间距而配置。
此外，图4B所示的A面的像素组由普通像素组(第三像素组)RA、GA、BA和相位差检测用的相位差像素组(第一像素组)构成。图4C所示的B面的像素组由普通像素组(第三像素组)RB、GB、BB和相位差检测用的相位差像素组(第二像素组)构成。
图5A及5B是表示在摄像元件20中配置的相位差像素的一例的图。
图5A所示的第一像素在光电二极管PD的前表面侧(微透镜L侧)配置遮蔽受光面的左半部分的遮光部件20A。另一方面，图5B所示的第二像素在光电二极管PD的前表面侧配置遮蔽受光面的右半部分的遮光部件20B。
微透镜L及遮光部件20A、20B作为光瞳分割部发挥功能，第一像素仅接受通过摄影透镜16的射出光瞳的光束的光轴的左侧，第二像素仅接受通过摄影透镜16的射出光瞳的光束的光轴的右侧。这样一来，通过作为光瞳分割部的微透镜L及遮光部件20A、20B，通过射出光瞳的光束被左右分割，并分别入射到第一像素及第二像素(相位差像素)。
此外，与通过摄影透镜16的射出光瞳的光束中的左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像中的、对准焦点的部分在摄像元件20上的相同的位置成像，但向前对焦或向后对焦的部分分别入射到摄像元件20上的不同位置(相位偏移)。由此，与左半部分的光束对应的被摄体像和与右半部分的光束对应的被摄体像能够作为视差不同的视差图像(左眼图像、右眼图像)而获取。此外，该实施方式的摄像元件20是CMOS型的图像传感器，但并不限定于此，也可以是CCD(charge coupled device)图像传感器。
图6A是仅表示在图4A所示的摄像元件20中包含的左右的相位像素组中的一方(图4B所示的第一像素组)的图。图6B是仅表示在图4A所示的摄像元件20中包含的左右的相位像素组中的另一方(图4C所示的第二像素组)的图。
如图6A及6B所示，左右的相位像素组的滤色器排列分别为拜耳排列。即，以左右的相位差像素组的滤色器排列分别为拜耳排列的方式，A面的像素组及B面的像素组中的一部分像素作为相位像素而配置。
此外，左右的相位像素组(第一像素组、第二像素组)的各像素彼此相邻而(以最小间距间隔)成对地配置。由此，能够准确地算出左右的相位像素组的相位差。
返回到图3，从上述结构的摄像元件20读出与A面的拜耳排列相同的颜色排列的第一彩色图像(RAW图像：A面的数字信号)及与B面的拜耳排列相同的颜色排列的第一彩色图像(RAW图像：B面的数字信号)，并经由接口部24而暂时存储在SDRAM(synchronous dynamicrandom access memory)等存储器26中。
图像处理部28具有：普通处理部30，对A面及B面的数字信号(R、G、B信号)中的、与第三像素组对应的R、G、B信号进行处理，生成普通的彩色图像(第二彩色图像)的数据；及裂像处理部32(对焦确认图像生成部)，对与第一像素组及第二像素组对应的R、G、B信号进行处理，生成彩色的裂像。
普通处理部30及裂像处理部32分别具有调整R、G、B信号的增益而进行白平衡(WB)校正的WB增益部、对进行了WB校正的各R、G、B信号进行伽马校正的伽马校正部、进行与摄像元件20的滤色器排列(拜耳排列)对应的颜色插值处理而生成去马赛克算法后的R、G、B信号的去马赛克算法处理部等，在各处理部中对在存储器26中暂时存储的原始的数字信号(RAW数据)依次进行信号处理。
由普通处理部30进行了处理的R、G、B信号由编码器34编码为记录用的信号，并记录在记录部40(参照图8)中。
此外，摄像元件20能够改变A面的像素组和B面的像素组的曝光条件(电子快门的快门速度)，由此，能够同时获取曝光条件不同的2个图像。图像处理部28能够基于曝光条件不同的2个图像，生成宽动态范围的图像。此外，能够以相同的曝光条件同时获取2个图像，并通过将这些图像相加，能够生成噪声少的高灵敏度的图像或能够生成高分辨率的图像。
由普通处理部30进行了处理的显示用的彩色图像和由裂像处理部32进行了处理的彩色的裂像的各图像数据分别被施加到显示控制部36。显示控制部36在所输入的普通的彩色图像的显示区域内合成彩色的裂像，并将合成后的图像数据输出到显示部213。在此，由裂像处理部32生成的裂像是合成了根据A面的相位差像素组而生成的图像(例如，上图像)和根据B面的相位差像素而生成的图像(例如，下图像)的分割为两部分的上下图像，且是根据对焦状态而分割为两部分的上下图像间产生偏移的图像。
作为在普通的彩色图像中合成彩色的裂像的方法，并不限定于代替普通的彩色图像的一部分图像而嵌入裂像的合成。例如，也可以是在普通的彩色图像上重叠裂像的合成。此外，在重叠裂像时，也可以适当调整被重叠裂像的普通的彩色图像的一部分图像和裂像的透过率而重叠。
由此，表示连续地拍摄的被摄体像的即时预览图像在显示部213的画面上显示，但所显示的即时预览图像成为在普通的彩色图像的显示区域内显示有彩色的裂像的图像。
此外，摄像装置100能够通过转盘212(对焦模式切换部)而切换手动对焦模式和自动对焦模式，当选择手动对焦模式时，优选使合成了裂像的即时预览图像显示于显示部213。
另一方面，当通过转盘212选择自动对焦模式时，CPU12作为相位差检测部及自动焦点调整部发挥功能。相位差检测部检测作为相位差像素的第一像素组的第一图像与第二像素组的第二图像的相位差，自动焦点调整部基于检测出的相位差，以摄影透镜16的离焦量(第一图像、第二图像间的相位偏移)为零的方式，从设备控制部22经由卡口256、346而控制未图示的透镜驱动部，使摄影透镜16移动到对焦位置。
＜即时预览图像的第一实施方式＞
图7A及7B是表示在显示部213中显示的即时预览图像的第一实施方式的图。
如图7A及7B所示，在画面中央的框60的内侧显示裂像，在框60的外侧显示普通图像。
即，第一像素组、第二像素组对应于框60的尺寸而设置，裂像由基于第一像素组而生成的框60的上半部分60A的图像(视差图像)和基于第二像素组而生成的框60的下半部分60B的图像(视差图像)构成。
当前，在摄影透镜16的焦点不对准框60内的被摄体的情况下，如图7A所示，裂像的上半部分60A的视差图像和下半部分60B的视差图像的边界的图像在视差方向(水平方向)上产生偏移，并且普通图像和裂像的边界的图像也在视差方向上产生偏移(产生相位差)。
另一方面，在摄影透镜16的焦点对准框60内的被摄体的情况下，如图7B所示，裂像的上半部分60A的视差图像和下半部分60B的视差图像的边界的图像一致，普通图像和裂像的边界的图像也一致(不产生相位差)。
摄影者通过在显示部213中显示的裂像，能够确认摄影透镜16的对焦状态，在手动对焦模式时，通过对摄影透镜16的聚焦环302进行手动操作，能够将焦点的偏移量(离焦量)设为零。
此外，能够将普通图像和裂像分别在无色差的彩色图像中显示，能够利用彩色的裂像来支援基于摄影者的手动的对焦调整。
图8是摄像装置100的主要部分的功能框图。此外，对于与图3所示的框图共同的部分标注相同的附图标记。
在图8中，普通处理部30具有校正部30A，该校正部30A输入从接口部24输出的R、G、B的RAW数据(RAW图像)，通过第三像素组中的同色的周边像素对第一像素组、第二像素组的位置的R、G、B的像素进行插值而生成。由此，能够与仅具有第三像素组的摄像元件相同地获得一个画面量的第三像素组的RAW图像，能够基于第三像素组的RAW图像，生成记录用的普通的彩色图像(第三彩色图像)。
普通处理部30将生成的记录用的彩色图像的图像数据输出到编码器34及显示控制部36。
另一方面，裂像处理部32从在存储器26中暂时存储的RAW数据中提取第一像素组及第二像素组的R、G、B信号，并基于第一像素组及第二像素组的R、G、B信号而生成彩色的裂像(图7A及7B的框60内的图像)。
从RAW数据中提取的第一像素组及第二像素组如图6A及6B所示成为拜耳排列，裂像处理部32基于拜耳排列的第一像素组及第二像素组的R、G、B信号，进行包括与普通处理部30相同的去马赛克算法处理等的图像处理，从而能够生成左右的视差图像。并且，裂像处理部32通过合成左视差图像的上半部分(图7A及7B所示的框60的上半部分60A)的图像和右视差图像的下半部分(图7A及7B所示的框60的下半部分60B)的图像而生成裂像，并将生成的裂像的图像数据输出到显示控制部36。
此外，第一像素组及第二像素组由于受光面的左半部分或右半部分被遮光，所以第一像素组及第二像素组的R、G、B信号成为比第三像素组的R、G、B信号小的值。因此，裂像处理部32优选以裂像的亮度成为与根据第三像素组而生成的图像相同的亮度的方式进行亮度的校正。
此外，上述普通处理部30和裂像处理部32在每次由摄像元件20获取一个画面量的RAW数据时，对该RAW数据并行地进行图像处理。
显示控制部36基于从普通处理部30施加的与第三像素组对应的记录用的图像数据和从裂像处理部32施加的与第一像素组、第二像素组对应的裂像的图像数据，生成显示用的图像数据。
即，显示控制部36根据显示部213的画面尺寸(纵横的像素数)、图7A及7B所示的框60内的画面尺寸，分别对所输入的记录用的图像及裂像进行缩放，并通过在记录用的图像的缩放后的图像(显示用的图像)的一部分合成裂像，而生成显示用的图像数据。
合成了裂像的图像数据被输出到显示部213。由此，在显示部213中，显示在普通的彩色图像的一部分合成了彩色的裂像的、表示被摄体像的即时预览图像。
此外，在由转盘212选择了动画模式作为摄影模式的情况下，由普通处理部30生成的记录用的图像数据(动画数据)经由编码器34而记录在记录部40中，在选择了静止画面模式作为摄影模式的情况下，在快门释放时由普通处理部30生成的记录用的图像数据(静止画面数据)经由编码器34而记录在记录部40中。
[混合取景器]
在相机主体200中设置的混合取景器220是作为光学取景器(OVF)240或电子取景器(EVF)248而使用的。OVF240是主要由物镜244和目镜246构成的逆伽利略式取景器，EVF248主要包括液晶显示部(LCD)247、棱镜(合成部)245及目镜246。
此外，在物镜244的前方配置有液晶快门243，液晶快门243在将混合取景器220用作EVF时，以光学图像不入射到物镜244的方式进行遮光。
棱镜245使在LCD247中显示的电子图像或各种信息反射而导入到目镜246，并且对光学图像和在LCD247中显示的信息(电子图像、各种信息)进行合成。
在此，当使取景器切换杆214向箭头SW方向转动时，在每次转动时交替地切换能够通过OVF对光学图像进行视觉辨认的OVF模式和能够通过EVF对电子图像进行视觉辨认的EVF模式。
显示控制部36在OVF模式的情况下，以液晶快门243成为非遮光状态的方式进行控制，使得能够从目镜部对光学图像进行视觉辨认。此外，在LCD247中仅显示裂像。由此，能够显示在光学图像的一部分重叠了裂像的取景器像。
另一方面，显示控制部36在EVF模式的情况下，以液晶快门243成为遮光状态的方式进行控制，使得能够从目镜部仅对在LCD247中显示的电子图像进行视觉辨认。此外，向LCD247施加与合成了输出到显示部213的裂像的图像数据同等的图像数据，由此，能够与显示部213相同地显示在普通图像的一部分合成了裂像的电子图像。
＜即时预览图像的第二实施方式＞
图9是表示生成第二实施方式的即时预览图像的方法的流程图。
在图9中，CPU12对应每个像素单位，检测作为相位差像素的第一像素组的第一图像与第二像素组的第二图像的相位差(步骤S10)。
接着，对应与裂像对应的区域内的每个像素，判别对应每个像素检测出的相位差是否为预先设定的预定的阈值以下(步骤S12)。
在此，作为预定的阈值，优选设定为在显示部213中显示的合成了裂像的即时预览图像上成为是否能够对第一像素组、第二像素组的图像的相位差进行视觉辨认的边界的相位差。
在步骤S12中，在判别对象的像素的相位差为预定的阈值以下的情况下(“是”的情况下)，转移到步骤S14，在超过预定的阈值的情况下(“否”的情况下)，转移到步骤S16。
在步骤S14中，代替第一像素组或第二像素组的图像，输出与相同的像素位置对应的第三像素组的图像(普通图像)，在步骤S16中，原样输出第一像素组或第二像素组的图像(裂像)。
在每次由摄像元件20以恒定的帧率拍摄动画或实时取景图像时，通过重复执行上述步骤S10至步骤S16的处理，能够使合成了裂像的即时预览图像显示于显示部213，由此，能够确认手动对焦时的对焦状态。即，能够辅助基于手动操作的对焦。
图10是表示如上述那样生成的第二实施方式的即时预览图像的图。
虽然在显示部213的画面中央的框60内显示普通裂像，但在图10所示的例子中，在框60内的右上、右下、左上、左下4个区域中的右上、右下的区域中显示第三像素组的普通图像，在左上的区域中显示第一像素组的图像，在左下的区域中显示第二像素组的图像。
即，判别为在框60内的右上、右下的区域中的第一像素组、第二像素组的图像的相位差为预定的阈值以下，由此，代替第一像素组或第二像素组的图像而显示第三像素组的普通图像。
通过将如此判别为相位差为预定的阈值以下的第一像素组、第二像素组的图像置换为第三像素组的普通图像，能够将难以进行相位差的判别的区域(即，焦点对准的区域)设为画质比第一像素组、第二像素组的图像好的第三图像组的图像。
＜即时预览图像的第三实施方式＞
图11是表示生成第三实施方式的即时预览图像的方法的流程图。此外，对于与图9所示的流程图共同的部分标注相同的步骤号，省略其详细的说明。
在图11中，在步骤S10中，对应每个像素检测与裂像对应的区域内的相位差，并将区域内的各像素的相位差设为“X像素”。
接着，对应与裂像对应的区域内的每个像素，判别每个像素的相位差“X像素”是否为预先设定的阈值(H/N)以下(是否满足X≤H/N)(步骤S20)。
在此，如图12所示，判别式(X≤H/N)中的H、N分别是摄像元件20及显示部213的水平方向的像素数。
即，在将与裂像对应的区域内的任意的像素的相位差设为X像素的情况下，若成为X≤H/N，则相位差成为显示部213的分辨率以下，裂像在显示部213上不会分裂。因此，将预先设定的阈值设为H/N。
此外，作为预定的阈值，并不限定于H/N，也可以将k×H/N(k：1附近的系数)等基于H/N而进行了微调整的值用作阈值。此外，在具有相机主体200的背面的显示部213和EVF的LCD2472个显示部的摄像装置的情况下，将任一进行显示的显示部的水平方向的像素数设为N而设定阈值。
＜即时预览图像的第四实施方式＞
说明在如图8所示具有混合取景器220的摄像装置100中将该混合取景器220切换为OVF而使用的情况。
在该情况下，显示控制部36以液晶快门243成为非遮光状态的方式进行控制，使得能够从目镜部对光学图像进行视觉辨认，另一方面，在LCD247中仅显示裂像。
由此，如图13所示，作为在OVF中显示的图像，能够显示在光学图像的一部分重叠了裂像(电子图像)的取景器图像。此外，显示方法并不限定于在光学图像的一部分重叠裂像的情况，也可以通过液晶快门243等而将光学图像的一部分掩盖，并在掩盖的区域中合成裂像。
[摄像元件的其他实施方式]
图14是表示应用本发明的摄像元件的其他实施方式的图，尤其表示在摄像元件中设置的滤色器的滤色器排列及遮光部件。
图14所示的摄像元件的滤色器排列包括由与6×6像素对应的正方排列图案构成的基本排列图案P(用粗框表示的图案)，该基本排列图案P沿着水平方向及垂直方向重复配置。即，在该滤色器排列中，R、G、B各色的滤光片以预定的周期性排列。
此外，与图4A所示的摄像元件相同地，图14所示的摄像元件由相位差检测用的相位差像素组(第一像素组、第二像素组)和普通像素组(第三像素组)构成。
第一像素组的受光面的左半部分由遮光部件遮光，第二像素组的受光面的右半部分由遮光部件遮光，另一方面，在第三像素组中未设置遮光部件。
图15A是仅表示在图14所示的摄像元件中包含的左右的相位像素组中的一方(第二像素组)的图。图15B是仅表示在图14所示的摄像元件中包含的左右的相位像素组中的另一方(第一像素组)的图。
如图15A及15B所示，左右的相位像素组的滤色器排列分别成为拜耳排列。即，以左右的相位差像素组的滤色器排列分别成为拜耳排列的方式，摄像元件的总像素组中的一部分像素作为相位像素而配置。
图14所示的摄像元件的滤色器排列具有6×6像素的基本排列图案P，比具有2×2像素的基本排列图案的拜耳排列复杂，去马赛克算法处理等信号处理变得复杂。但是，如上述那样，通过以左右的相位像素组的滤色器排列分别成为拜耳排列的方式配置相位差像素，能够容易地进行用于生成裂像的去马赛克算法处理等信号处理。
此外，虽然如图15A及15B所示，以左右的相位像素组的滤色器排列成为拜耳排列的方式配置了相位差像素，但排列图案并不限定于此。例如，也可以在图14所示的滤色器排列中，每隔水平方向及垂直方向的6个像素而配置相位差像素(第一像素、第二像素)，由此，第一像素组、第二像素组的颜色排列成为与原始的RAW图像相同的颜色排列。
该实施方式的摄像装置100是省略了反射镜的透镜更换式的数码相机。在这种数码相机中，在安装了未知的更换透镜的情况下，虽然无法使用自动对焦功能，但根据本发明，能够通过显示裂像而进行手动对焦。此外，本发明并不限定于省略了反射镜的透镜更换式的数码相机，还能够应用于具有一体型透镜的摄像装置。
此外，该实施方式的摄像装置100具有相机背面的显示部213和混合取景器220，但也可以仅具有其中一个。
[摄像装置的其他实施方式]
作为摄像装置100的其他实施方式的便携终端装置，例如，列举出具有相机功能的便携电话机、智能电话、PDA(Personal Digital Assistants)、便携型游戏机。以下，列举智能电话为例，参照附图详细说明。
＜智能电话的结构＞
图16是表示作为摄影装置10的其他实施方式的智能电话500的外观的图。图16所示的智能电话500具有平板状的壳体502，在壳体502的一个面具备作为显示部的显示面板521和作为输入部的操作面板522成为一体的显示输入部520。此外，壳体502包括扬声器531、话筒532、操作部540、相机部541。另外，壳体502的结构并不限定于此，例如也可以采用显示部和输入部独立的结构，或采用具有折叠结构或滑动机构的结构。
图17是表示图16所示的智能电话500的结构的框图。如图17所示，作为智能电话的主要的结构要素，包括无线通信部510、显示输入部520、通信部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System)接收部570、运动传感器部580、电源部590、主控制部501。此外，作为智能电话500的主要的功能，包括进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，对在移动通信网NW中收纳的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部520是通过主控制部501的控制，显示图像(静止图像及动态图像)、文字信息等而在视觉上对用户传递信息，并且检测对于所显示的信息的用户操作的、所谓的触摸面板，包括显示面板521和操作面板522。在对生成的3D图像进行鉴赏的情况下，优选显示面板521是3D显示面板。
显示面板521将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板522是载置成能够对在显示面板521的显示面上显示的图像进行视觉辨认，检测由用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将由于操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号，检测显示面板521上的操作位置(坐标)。
如图16所示，智能电话500的显示面板521和操作面板522成为一体而构成显示输入部520，但也可以成为操作面板522完全覆盖显示面板521的配置。在采用了该配置的情况下，操作面板522也可以对显示面板521外的区域也具有检测用户操作的功能。换言之，操作面板522也可以具有关于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)和关于除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，也可以使显示区域的大小和显示面板521的大小完全一致，但不需要使两者必须一致。此外，操作面板522也可以具有外缘部分和除此以外的内侧部分2个感应区域。而且，外缘部分的宽度根据壳体502的大小等而适当设计。而且，作为在操作面板522中采用的位置检测方式，列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一种方式。
通信部530包括扬声器531和话筒532，将通过话筒532输入的用户的声音转换为能够在主控制部501中处理的声音数据而输出到主控制部501，或对通过无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。此外，如图16所示，例如，能够将扬声器531搭载在与设有显示输入部520的面相同的面，话筒532搭载在壳体502的侧面。
操作部540是使用了键开关等的硬件键，接受来自用户的指示。例如，如图16所示，操作部540搭载在智能电话1的壳体502的显示部的下部、下侧面，是若由手指等按下则接通、若手指离开则通过弹簧等的恢复力而成为断开状态的按钮式的开关。
存储部550存储主控制部501的控制程序、控制数据、与通信对方的名称、电话号等建立对应关系的地址数据、收发的电子邮件的数据、通过Web浏览而下载的Web数据、下载的内容数据，此外，暂时存储流数据等。此外，存储部550由智能电话内置的内部存储部551和具有装卸自如的外部存储器槽的外部存储部552构成。另外，构成存储部550的各个内部存储部551和外部存储部552使用闪存类(flash memory type)、硬盘类(hard disk type)、缩微多媒体卡类(multimedia card micro type)、卡类的存储器(例如、MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read Only Memory)等存储介质而实现。
外部输入输出部560起到与连接到智能电话500的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接到其他外部设备。
作为连接到智能电话500的外部设备，例如存在有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能电话、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够将从这样的外部设备接受传输的数据传递到智能电话500的内部的各结构要素、将智能电话500的内部的数据传输到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测该智能电话500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如，无线LAN)获取位置信息时，还能够使用该位置信息而检测位置。
运动传感器部580具有例如三轴加速度传感器等，按照主控制部501的指示，检测智能电话500的物理动作。通过检测智能电话500的物理动作，检测出智能电话500移动的方向、加速度。该检测结果被输出到主控制部501。
电源部590按照主控制部501的指示，对智能电话500的各部分提供在蓄电池(未图示)中蓄积的电力。
主控制部501具有微处理器，按照存储部550存储的控制程序、控制数据而动作，统一控制智能电话500的各部分。此外，主控制部501为了通过无线通信部510而进行声音通信、数据通信，具有控制通信系统的各部分的移动通信控制功能和应用处理功能。
应用处理功能通过按照存储部550存储的应用软件使主控制部501动作而实现。作为应用处理功能，例如有控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能、本发明的从2D图像生成3D图像的功能等。
此外，主控制部501具有基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)将影像在显示输入部520中显示等的图像处理功能。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，并将图像在显示输入部520中显示的功能。
而且，主控制部501执行对显示面板521的显示控制和检测通过了操作部540、操作面板522的用户操作的操作检测控制。
通过显示控制的执行，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。另外，滚动条是指，关于无法完全在显示面板521的显示区域中收纳的大的图像等，用于接受使图像的显示部分移动的指示的软件键。
此外，通过操作检测控制的执行，主控制部501检测通过了操作部540的用户操作，或通过操作面板522接受对上述图标的操作、对上述窗口的输入栏的文字串的输入，或接受通过了滚动条的显示图像的滚动请求。
而且，通过操作检测控制的执行，主控制部501具有如下的触摸面板控制功能：判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外缘部分(非显示区域)，并对操作面板522的感应区域、软件键的显示位置进行控制。
此外，主控制部501还能够检测对操作面板522的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作是指，不是现有的单纯的触摸操作，而是通过手指等描画轨迹，或同时指定多个位置，或将它们进行组合而从多个位置至少对一个位置描画轨迹的操作。
相机部541是使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等摄像元件进行电子摄影的数码相机，包括与图1等所示的摄像装置100相同的功能。
即，相机部541构成为能够切换手动对焦模式和自动对焦模式，若选择手动对焦模式，则通过对操作部540或在显示输入部520中显示的对焦用的图标按钮等进行操作，能够进行相机部541的摄影透镜的对焦。并且，在手动对焦模式时，使合成了裂像的即时预览图像显示于显示面板521，由此，能够确认手动对焦时的对焦状态。此外，也可以将图8所示的混合取景器220设置在智能电话500中。
此外，相机部541通过主控制部501的控制，能够将通过拍摄而获得的图像数据例如转换为JPEG(Joint Photographic coding Experts Group)等压缩后的图像数据，并记录在存储部550中，或通过外部输入输出部560、无线通信部510而输出。虽然在图16所示的智能电话500中，相机部541搭载在与显示输入部520相同的面，但相机部541的搭载位置并不限定于此。相机部541也可以搭载在显示输入部520的背面，或者也可以搭载多个相机部541。此外，在搭载了多个相机部541的情况下，也能够切换用于摄影的相机部541而单独摄影，或同时使用多个相机部541而摄影。
此外，相机部541能够利用于智能电话500的各种功能。例如，在显示面板521中显示在相机部541中获取的图像、或能够利用相机部541的图像作为操作面板522的操作输入之一。此外，在GPS接收部570检测位置时，还能够参照来自相机部541的图像而检测位置。而且，还能够参照来自相机部541的图像，不使用三轴加速度传感器或与三轴加速度传感器并用，判断智能电话500的相机部541的光轴方向、判断当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。
除此之外，也可以在静止画面或动画的图像数据中附加由GPS接收部570获取的位置信息、由话筒532获取的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部580获取的姿势信息等而记录在存储部550中，或通过外部输入输出部560、无线通信部510而输出。
[其他]
本发明的摄像装置的摄像元件的滤色器排列并不限定于图4A及图14所示的滤色器排列。此外，在摄像元件中设置的相位像素组(第一像素组、第二像素组)也并不限定于图4A及图14所示的配置。例如，如图4B及4C所示，也可以将A面、B面的全部像素设为相位差像素(第一像素组、第二像素组)。
此外，裂像并不限定于在上下方向上分割为两部分的图像，也可以是在左右方向或倾斜方向上分割为两部分的图像或分割为三部分以上的图像。
例如，图18所示的裂像66a由与水平方向平行的多个分割线63a分割为奇数线和偶数线。在该裂像66a中，基于来自第一像素组的输出信号而生成的线状(长条状)的相位差图像66La显示在奇数行(也可以是偶数行)中，基于来自第二像素组的输出信号而生成的线状(长条状)的相位差图像66Ra显示在偶数行中。
此外，图19所示的裂像66b由相对于水平方向具有倾斜角的分割线63b(例如，裂像66b的对角线)分割为两部分。在该裂像66b中，基于来自第一像素组的输出信号而生成的相位差图像66Lb显示在一个区域中，基于来自第二像素组的输出信号而生成的相位差图像66Rb显示在另一个区域中。
此外，图20A及20B所示的裂像66c由与水平方向及垂直方向分别平行的格子状的分割线63c分割(参照图20A)。在裂像66c中，基于来自第一像素组的输出信号而生成的相位差图像66Lc以棋盘式格纹(跳棋图案)状排列显示，并且基于来自第二像素组的输出信号而生成的相位差图像66Rc以棋盘式格纹状排列显示(参照图20B)。
而且，并不限定于裂像，也可以根据2个相位差图像而生成其他对焦确认图像，并显示对焦确认图像。例如，也可以重叠2个相位差图像而合成显示，在焦点产生偏移的情况下，作为二重像而显示，在焦点对准的状态下，显示清晰地显示的图像。
此外，本发明并不限定于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种变形是不言而喻的。
附图标记说明
12…CPU(中央处理装置)、14…操作部、16…摄影透镜、20…摄像元件、26…存储器、28…图像处理部、30…普通处理部、32…裂像处理部、34…编码器、36…显示控制部、40…记录部、60…框、100…摄像装置、200…相机主体、213…显示部、214…取景器切换杆、220…混合取景器、240…光学取景器(OVF)、243…液晶快门、244…物镜、245…棱镜、246…目镜、247…液晶显示部(LCD)、248…电子取景器(EVF)、300…更换透镜、302…聚焦环、500…智能电话

Claims (12)

1.一种摄像装置，具备：
摄像元件，在以矩阵状排列的像素上配置具有预定的滤色器排列的滤色器，所述滤色器包括红、绿、蓝的滤色器，且所述摄像元件输出与所述滤色器的颜色排列相同的颜色排列的第一彩色图像，所述摄像元件具有对通过了摄影透镜不同的第一区域、第二区域的被摄体像进行光瞳分割而分别成像的第一像素组、第二像素组和未对所述被摄体像进行光瞳分割而成像的第三像素组，所述第一和第二像素组采用与所述第一彩色图像相同的颜色排列或拜耳排列以从所述第一像素组、第二像素组输出与所述第一彩色图像相同的颜色排列或拜耳排列的第一图像及第二图像，从没有相位差的所述第三像素组输出与所述第一彩色图像相同的颜色排列的普通第三图像；
显示部，显示彩色的即时预览图像；
对焦确认图像生成部，基于从所述摄像元件获取的所述第一图像的红、绿、蓝信号和所述第二图像的红、绿、蓝信号，生成彩色的对焦确认图像；
图像处理部，基于从所述摄像元件获取的所述普通第三图像，生成显示于所述显示部的显示用的第二彩色图像；
显示控制部，在由所述图像处理部生成的所述显示用的第二彩色图像的显示区域内，显示由所述对焦确认图像生成部生成的所述彩色的对焦确认图像；及
相位差检测部，检测从所述摄像元件输出的所述第一图像与所述第二图像的相位差，
所述显示控制部对于由所述对焦确认图像生成部生成的所述对焦确认图像中的、由所述相位差检测部检测出的相位差小于预定的阈值的部分，使用由所述图像处理部生成的显示用的第二彩色图像。
2.根据权利要求1所述的摄像装置，其中，
由所述对焦确认图像生成部生成的所述对焦确认图像是与所述第一图像、第二图像对应的被分割的图像，是被分割的图像间根据对焦状态而产生了偏移的裂像。
3.根据权利要求1或2所述的摄像装置，其中，
所述摄影透镜是能够相对于摄像装置主体装卸自如的更换透镜或固定于装置主体的一体型透镜，
所述摄像装置具有通过手动操作来调整该摄影透镜的离焦量的手动操作部。
4.根据权利要求1或2所述的摄像装置，其中，
所述图像处理部具有基于所述第三像素组的所述普通第三图像而生成与所述第一像素组、第二像素组对应的未进行光瞳分割的图像的生成部，并生成由未进行光瞳分割的一个画面量的总像素的图像构成的记录用的第三彩色图像，
所述摄像装置具备记录所述记录用的第三彩色图像的记录部，
所述对焦确认图像生成部与所述图像处理部的处理并行地进行处理，
所述显示控制部对从所述图像处理部和所述对焦确认图像生成部同时输出的所述显示用的第二彩色图像和对焦确认图像进行合成而显示于所述显示部。
5.根据权利要求1所述的摄像装置，其中，
所述相位差检测部对应每个像素而检测所述第一图像与所述第二图像的相位差，
所述显示控制部对于由所述对焦确认图像生成部生成的所述对焦确认图像中的、由所述相位差检测部检测出的相位差小于预定的阈值的像素，使用由所述图像处理部生成的显示用的第二彩色图像的像素。
6.根据权利要求1所述的摄像装置，其中，
当将所述显示部的水平像素数设为N、将所述摄像元件的水平像素数设为H时，所述预定的阈值设为H/N或k×(H/N)，其中k为1附近的系数。
7.一种摄像装置，具备：
摄像元件，在以矩阵状排列的像素上配置具有预定的滤色器排列的滤色器，所述滤色器包括红、绿、蓝的滤色器，且所述摄像元件输出与所述滤色器的颜色排列相同的颜色排列的第一彩色图像，所述摄像元件具有对通过了摄影透镜不同的第一区域、第二区域的被摄体像进行光瞳分割而分别成像的第一像素组、第二像素组和未对所述被摄体像进行光瞳分割而成像的第三像素组，所述第一和第二像素组采用与所述第一彩色图像相同的颜色排列或拜耳排列以从所述第一像素组、第二像素组输出与所述第一彩色图像相同的颜色排列或拜耳排列的第一图像及第二图像，从没有相位差的所述第三像素组输出与所述第一彩色图像相同的颜色排列的普通第三图像；
显示部，显示彩色的即时预览图像；
对焦确认图像生成部，基于从所述摄像元件获取的所述第一图像的红、绿、蓝信号和所述第二图像的红、绿、蓝信号，生成彩色的对焦确认图像；
图像处理部，基于从所述摄像元件获取的所述普通第三图像，生成显示于所述显示部的显示用的第二彩色图像；
显示控制部，在由所述图像处理部生成的所述显示用的第二彩色图像的显示区域内，显示由所述对焦确认图像生成部生成的所述彩色的对焦确认图像；
取景器，作为光学取景器或电子取景器而使用；
取景器切换部，切换将所述取景器作为电子取景器而使用的电子取景器模式和将所述取景器作为光学取景器而使用的光学取景器模式；
合成部，在设定了所述光学取景器模式的情况下，对所述光学取景器的光学图像和由所述显示部显示的即时预览图像进行光学合成；及
遮蔽部，在由所述取景器切换部进行向电子取景器模式的切换时，遮蔽所述光学图像向所述合成部的入射，
在由所述取景器切换部进行向光学取景器模式的切换时，所述显示控制部仅使由所述对焦确认图像生成部生成的对焦确认图像显示于所述显示部。
8.根据权利要求1、2、6、7中任一项所述的摄像装置，其中，
所述摄像元件中，所述第一像素组的各像素和第二像素组的各像素彼此相邻而成对地配置。
9.根据权利要求1、2、6、7中任一项所述的摄像装置，其中，具备：
相位差检测部，检测从所述摄像元件输出的第一图像和第二图像的相位差；
对焦模式切换部，切换手动对焦模式和自动对焦模式；及
自动焦点调整部，当由所述对焦模式切换部切换到自动对焦模式时，基于由所述相位差检测部检测出的相位差以使所述摄影透镜的离焦量为零的方式来调整该摄影透镜的位置。
10.一种图像显示方法，包括：
(a)从摄像元件获取第一彩色图像的工序，所述摄像元件在以矩阵状排列的像素上配置具有预定的滤色器排列的滤色器，所述滤色器包括红、绿、蓝的滤色器，且所述摄像元件输出与所述滤色器的颜色排列相同的颜色排列的所述第一彩色图像，所述摄像元件具有对通过了摄影透镜不同的第一区域、第二区域的被摄体像进行光瞳分割而分别成像的第一像素组、第二像素组和未对所述被摄体像进行光瞳分割而成像的第三像素组；
(b)从所获取的所述第一彩色图像提取与所述第一彩色图像相同的颜色排列或拜耳排列的第一图像及第二图像的工序，所述第一图像、第二图像与所述第一像素组、第二像素组对应；
(c)基于提取出的所述第一图像的红、绿、蓝信号和第二图像的红、绿、蓝信号而生成彩色的对焦确认图像的对焦确认图像生成工序；
(d)基于所获取的所述第一彩色图像中的与没有相位差的所述第三像素组对应的普通第三图像而生成显示用的第二彩色图像的图像处理工序；及
(e)在所生成的所述显示用的第二彩色图像的显示区域内显示由所述对焦确认图像生成工序生成的所述彩色的对焦确认图像的工序；
(f)检测从所述摄像元件输出的所述第一图像与所述第二图像的相位差的工序；及
重复执行所述工序(a)至工序(f)，使显示了所述彩色的对焦确认图像的即时预览图像显示于显示部的工序，该工序中，对于由所述对焦确认图像生成工序生成的所述对焦确认图像中的、由检测所述相位差的工序检测出的相位差小于预定的阈值的部分，使用由所述图像处理工序生成的显示用的第二彩色图像，使所述即时预览图像显示于显示部。
11.根据权利要求10所述的图像显示方法，其中，
所述图像处理工序包括基于所述第三像素组的普通第三图像而生成与所述第一像素组、第二像素组对应的未进行光瞳分割的图像的工序，并生成由未进行光瞳分割的一个画面量的总像素的图像构成的记录用的第三彩色图像。
12.根据权利要求10所述的图像显示方法，其中，
检测所述相位差的工序中，对应每个像素而检测所述第一图像与所述第二图像的相位差，
使所述即时预览图像显示于显示部的工序中，对于由所述对焦确认图像生成工序生成的所述对焦确认图像中的、由检测所述相位差的工序检测出的相位差小于预定的阈值的像素，使用由所述图像处理工序生成的显示用的第二彩色图像的像素。
CN201380029916.3A 2012-06-07 2013-05-14 摄像装置及图像显示方法 Active CN104365089B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012130109 2012-06-07
JP2012-130109 2012-06-07
PCT/JP2013/063404 WO2013183406A1 (ja) 2012-06-07 2013-05-14 撮像装置及び画像表示方法

Publications (2)

Publication Number Publication Date
CN104365089A CN104365089A (zh) 2015-02-18
CN104365089B true CN104365089B (zh) 2018-10-26

Family

ID=49711806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380029916.3A Active CN104365089B (zh) 2012-06-07 2013-05-14 摄像装置及图像显示方法

Country Status (4)

Country Link
US (1) US9179059B2 (zh)
JP (1) JP5681329B2 (zh)
CN (1) CN104365089B (zh)
WO (1) WO2013183406A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017175A1 (ja) * 2012-07-24 2014-01-30 富士フイルム株式会社 カメラおよびその動作制御方法
WO2014017174A1 (ja) * 2012-07-24 2014-01-30 富士フイルム株式会社 カメラおよびその動作制御方法
CN104641626B (zh) * 2012-09-19 2018-02-27 富士胶片株式会社 摄像装置及对焦确认显示方法
WO2014046038A1 (ja) * 2012-09-19 2014-03-27 富士フイルム株式会社 撮像装置及び合焦確認表示方法
WO2014069228A1 (ja) * 2012-11-05 2014-05-08 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5981026B2 (ja) * 2013-03-29 2016-08-31 富士フイルム株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
US10148864B2 (en) * 2015-07-02 2018-12-04 Pixart Imaging Inc. Imaging device having phase detection pixels and regular pixels, and operating method thereof
US9978154B2 (en) 2015-07-02 2018-05-22 Pixart Imaging Inc. Distance measurement device base on phase difference and distance measurement method thereof
TWI565323B (zh) * 2015-09-02 2017-01-01 原相科技股份有限公司 分辨前景的成像裝置及其運作方法、以及影像感測器
CN106650556B (zh) * 2015-11-03 2019-10-25 原相科技股份有限公司 影像判断方法以及执行此影像判断方法的影像感测装置
WO2017117743A1 (zh) * 2016-01-06 2017-07-13 华为技术有限公司 处理图像的方法和设备
JP6802633B2 (ja) * 2016-03-04 2020-12-16 キヤノン株式会社 撮像素子、撮像装置、画像生成方法、及びプログラム
CN108132509B (zh) * 2016-12-01 2020-11-06 睿励科学仪器（上海）有限公司 对焦装置及其对焦方法
CN107277360B (zh) * 2017-07-17 2020-07-14 惠州Tcl移动通信有限公司 一种双摄像头切换进行变焦的方法、移动终端及存储装置
WO2020121457A1 (ja) * 2018-12-12 2020-06-18 株式会社ニコン 顕微鏡、顕微鏡用調節装置、顕微鏡システム、及びプログラム
JP2021117256A (ja) * 2020-01-22 2021-08-10 キヤノン株式会社 電子機器及びその制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312073A (ja) * 2007-06-16 2008-12-25 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2009237214A (ja) * 2008-03-27 2009-10-15 Canon Inc 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001309210A (ja) 2000-04-27 2001-11-02 Minolta Co Ltd デジタルカメラ
JP3929034B2 (ja) 2002-07-08 2007-06-13 富士フイルム株式会社 マニュアルフォーカス装置
US7099575B2 (en) 2002-07-08 2006-08-29 Fuji Photo Film Co., Ltd. Manual focus device and autofocus camera
US8049801B2 (en) * 2006-09-14 2011-11-01 Nikon Corporation Image sensor and imaging apparatus
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
JP5043626B2 (ja) * 2007-12-13 2012-10-10 キヤノン株式会社 撮像装置
JP5207819B2 (ja) * 2008-05-13 2013-06-12 キヤノン株式会社 撮像装置
JP5276374B2 (ja) * 2008-07-25 2013-08-28 キヤノン株式会社 焦点検出装置
JP2011017800A (ja) * 2009-07-07 2011-01-27 Canon Inc 焦点検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008312073A (ja) * 2007-06-16 2008-12-25 Nikon Corp 固体撮像素子及びこれを用いた撮像装置
JP2009237214A (ja) * 2008-03-27 2009-10-15 Canon Inc 撮像装置

Also Published As

Publication number Publication date
JPWO2013183406A1 (ja) 2016-01-28
WO2013183406A1 (ja) 2013-12-12
US20150070539A1 (en) 2015-03-12
US9179059B2 (en) 2015-11-03
JP5681329B2 (ja) 2015-03-04
CN104365089A (zh) 2015-02-18

Similar Documents

Publication Publication Date Title
CN104365089B (zh) 摄像装置及图像显示方法
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
CN105580349B (zh) 图像处理装置、摄像装置及图像处理方法
CN104380168B (zh) 摄像装置及自动调焦方法
JP5753321B2 (ja) 撮像装置及び合焦確認表示方法
CN104919789B (zh) 图像处理装置、摄像装置及图像处理方法
CN104871058B (zh) 图像处理装置、摄像装置及图像处理方法
CN104737528B (zh) 摄像装置以及图像显示方法
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
CN104885440B (zh) 图像处理装置、摄像装置及图像处理方法
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN105051600B (zh) 图像处理装置、摄像装置以及图像处理方法
CN105075235B (zh) 图像处理装置、摄像装置以及图像处理方法
CN104396227B (zh) 摄像装置
CN110447223A (zh) 成像元件以及摄像装置
CN104903769A (zh) 图像处理装置、摄像装置、程序及图像处理方法
CN104737527A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
WO2014045741A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP2022189536A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant