CN104285435B - 摄像装置及信号校正方法 - Google Patents

摄像装置及信号校正方法 Download PDF

Info

Publication number
CN104285435B
CN104285435B CN201380024517.8A CN201380024517A CN104285435B CN 104285435 B CN104285435 B CN 104285435B CN 201380024517 A CN201380024517 A CN 201380024517A CN 104285435 B CN104285435 B CN 104285435B
Authority
CN
China
Prior art keywords
pixel cell
signal
photographed images
hot spot
yield value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380024517.8A
Other languages
English (en)
Other versions
CN104285435A (zh
Inventor
菅原文
菅原一文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104285435A publication Critical patent/CN104285435A/zh
Application granted granted Critical
Publication of CN104285435B publication Critical patent/CN104285435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/282—Autofocusing of zoom lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

具有包括摄像用像素单元(30)和焦点检测用像素单元(31R、31L)的对的摄像元件5的数码相机的数字信号处理部(17)判定在由摄像元件5拍摄而获得的摄像图像信号中有无受光斑或者重影的至少一方的影响的区域，在判定为存在该区域时，对摄像图像信号所含的全部焦点检测用像素单元的输出信号进行以下处理：通过使用了摄像图像信号所含的位于焦点检测用像素单元周围的摄像用前像素单元的输出信号的信号插值对该输出信号进行校正。

Description

摄像装置及信号校正方法
技术领域
本发明涉及摄像装置及信号校正方法。
背景技术
近年来，伴随着CCD(Charge Coupled Device)图像传感器、CMOS(Complementary Metal Oxide Semiconductor)图像传感器等固体摄像元件的高分辨率化，数码相机、数字摄像机、便携电话机、PDA(PersonalDigital Assistant，便携信息终端)等具有摄影功能的信息设备的需要剧增。另外，将具有以上那样的摄像功能的信息设备称为摄像装置。
另外，在对至主要的被摄体的距离进行检测而将焦点对准该被摄体的对焦控制方法中，有对比度AF(Auto Focus，自动对焦)方式和相位差AF方式。与对比度AF方式相比，由于相位差AF方式能够高速、高精度地进行对焦位置的检测，所以在各种摄像装置中广泛采用。
在通过相位差AF方式进行对焦控制的摄像装置中搭载的固体摄像元件中，例如，使用在摄像区域的整个面上离散地设置了遮光膜开口彼此向相反方向偏心的焦点检测用的像素单元的对的元件(参照专利文献1)。
该焦点检测用的像素单元由于遮光膜开口的面积小于其他的通常的像素单元，所以将其输出信号用作摄像图像信号还不够。因此，需要校正焦点检测用的像素单元的输出信号。
专利文献1公开了如下方法：根据焦点检测用的像素单元周围的通常的像素单元的输出信号的偏差，选择并执行插值校正处理和增益校正处理，该插值校正处理对焦点检测用的像素单元的输出信号使用其周围的通常的像素单元的输出信号进行插值生成，该增益校正处理将焦点检测用的像素单元的输出信号进行增益放大而校正。
在专利文献1中记载的摄像装置中，在摄像范围内或其附近有强的光源的情况下，由于构成光学系统的透镜的表面或固体摄像元件的芯片表面等的反射而产生重影或光斑。并且，若产生重影或光斑的光入射到焦点检测用的像素单元，则不能进行高精度的散焦量的计算，即不能进行聚焦控制。
作为防止由产生这种重影或光斑的光导致相位差AF精度降低的技术，已知有专利文献2、3中记载的技术。
专利文献2公开了如下方法：判定有无产生重影或光斑，在判定为产生了重影或光斑时，校正焦点检测用的像素单元的输出信号，提高相位差AF精度。
专利文献3公开了如下方法：从固体摄像元件的输出检测摄影光源的位置以及光量，根据该摄影光源的位置以及光量的信息和存储部中预先存储的与摄影光源的位置对应的产生重影或光斑的光的信息，算出校正值，并使用该校正值对与从固体摄像元件输出的被摄体像有关的光量分布进行校正，从而提高相位差AF精度。
专利文献1：日本特开2010-62640号公报
专利文献2：日本特开2008-242333号公报
专利文献3：日本特开2006-184321号公报
发明内容
发明要解决的课题
上述的增益校正处理是，将焦点检测用的像素单元的输出信号乘以用于缩小焦点检测用的像素单元的灵敏度和位于其周围的通常的像素单元的灵敏度之差的增益来进行校正。
因此，若焦点检测用的像素单元的灵敏度和位于其周围的通常的像素单元的灵敏度之差大，则相应地需要将焦点检测用的像素单元的输出信号乘以大的增益。对焦点检测用的像素单元的输出信号乘以大的增益时，由于该输出信号所含的噪声也增加，所以校正误差变大。
在产生了重影或光斑的情况下，在产生了重影或光斑的区域中，与没有产生重影或光斑的区域相比，焦点检测用的像素单元的灵敏度和通常的像素单元的灵敏度之差变大。因此，例如，若对全部焦点检测用的像素单元进行增益校正处理，则在图像整体中校正误差大的区域和少的区域混合存在，存在画质降低的可能性。
即，在产生了重影或光斑的情况下，如何减小产生了重影或光斑的区域中的校正误差和没有产生重影或光斑的区域中的校正误差之差在画质提高方面变得重要。
专利文献1是根据焦点检测用的像素单元周围的通常的像素单元的输出信号的偏差而决定校正方法的技术，并没有考虑在产生了重影或光斑的情况下的画质降低的改善。
专利文献2、3是根据有无重影或光斑而校正焦点检测用的像素单元的输出信号本身的技术，但仅仅是为了相位差AF而进行输出信号的校正，并没有公开在将焦点检测用的像素单元的输出信号用作摄像图像信号的情况下如何进行处理。
本发明是鉴于上述情况而作出的，目的在于提供即使是在产生重影或光斑的情况下也不会降低由包括焦点检测用的像素单元和摄像用的像素单元的摄像元件拍摄而获得的摄像图像的质量的摄像装置及信号校正方法。
用于解决课题的手段
本发明的摄像装置，具有摄像元件，该摄像元件包括摄像用的多个第一像素单元和由对通过了摄影透镜的不同的光瞳区域的光进行受光的多种焦点检测用的第二像素单元构成的多个对，上述摄像装置包括：判定部，使用由上述摄像元件拍摄而获得的摄像图像信号，判定上述摄像图像信号是否受光斑或者重影的至少一方的影响；校正处理部，对上述摄像图像信号所含的上述第二像素单元的输出信号，进行插值校正处理和增益校正处理的任一个，所述插值校正处理通过使用了上述摄像图像信号所含的位于上述第二像素单元周围的多个上述第一像素单元的输出信号的信号插值来校正该第二像素单元的输出信号，所述增益校正处理将该第二像素单元的输出信号乘以增益值来校正该第二像素单元的输出信号；及图像数据生成部，对由上述校正处理部校正处理后的摄像图像信号进行处理而生成摄像图像数据，上述校正处理部基于上述判定部的判定结果，决定对上述第二像素单元的输出信号执行上述插值校正处理和上述增益校正处理中的哪一个。
本发明的信号校正方法，对从摄像元件输出的摄像图像信号进行校正，该摄像元件包括二维状配置的、摄像用的多个第一像素单元以及由对通过了摄像透镜的不同的光瞳区域的光进行受光的多种焦点检测用的第二像素单元构成的多个对，所述信号校正方法包括：判定步骤，使用由所述摄像元件拍摄而获得的摄像图像信号，判定所述摄像图像信号是否受光斑或者重影的至少一方的影响；校正处理步骤，对所述摄像图像信号所含的所述第二像素单元的输出信号，进行插值校正处理和增益校正处理的任一个，所述插值校正处理通过使用了所述摄像图像信号所含的位于所述第二像素单元周围的多个所述第一像素单元的输出信号的信号插值来校正该第二像素单元的输出信号，所述增益校正处理将该第二像素单元的输出信号乘以增益值而放大来进行校正；及图像数据生成步骤，对由所述校正处理步骤校正处理后的所述摄像图像信号进行处理而生成摄像图像数据，在所述校正处理步骤中，基于所述判定步骤的判定结果，决定对所述第二像素单元的输出信号执行所述插值校正处理和所述增益校正处理中的哪一个。
发明效果
根据本发明，能够提供即使是在产生重影或光斑的情况下也不会降低由包括焦点检测用的像素单元和摄像用的像素单元的摄像元件拍摄而获得的摄像图像的质量的摄像装置及信号校正方法。
附图说明
图1是表示用于说明本发明的一实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图2是表示图1所示的数码相机所搭载的固体摄像元件5的概略结构的平面示意图。
图3是图2所示的固体摄像元件5中提取了以焦点检测用像素单元31L为中心的5×5个像素单元的图。
图4是图1所示的数码相机中的固体摄像元件5的平面示意图。
图5是将由图1所示的数字信号处理部17生成的增益表的一例作为曲线图的图。
图6是将由图1所示的数字信号处理部17生成的增益表的一例作为曲线图的图。
图7是用于说明由相位差检测用像素的位置引起的灵敏度的差异的图。
图8是表示由图1所示的数字信号处理部17生成的增益表的一例的图。
图9是表示由图1所示的数字信号处理部17生成的增益表的一例的图。
图10是用于说明对从图1所示的数码相机中的固体摄像元件5输出的摄像图像信号所含的全部焦点检测用像素单元的输出信号进行校正时的动作的流程图。
图11是用于说明图1所示的数字信号处理部17的处理内容的变形例的图。
图12是用于说明图1所示的数字信号处理部17的处理内容的变形例的图。
图13是用于说明图1所示的数字信号处理部17的处理内容的变形例的图。
图14是用于说明图1所示的数字信号处理部17的处理内容的变形例的图。
图15是作为摄像装置而说明智能电话的图。
图16是图15的智能电话的内部框图。
具体实施方式
以下，参照附图说明本发明的实施方式。
图1是表示用于说明本发明的一实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图1所示的数码相机的摄像系统具备：具有包括聚焦透镜、变焦透镜等透镜的摄影透镜1以及光圈2的摄影光学系统；CCD图像传感器或CMOS图像传感器等固体摄像元件5；设置在这两者之间的红外截止滤波器(IRCUT)3；光学低通滤波器(OLPF)4。
固体摄像元件5成为将多个摄像用像素单元和对通过了摄影光学系统的不同的光瞳区域的一对光束分别进行受光的两种焦点检测用像素单元二维状配置的结构，对由摄影透镜1成像的像进行受光而输出摄像图像信号并且输出与上述一对光束对应的一对焦点检测信号。
统一控制数码相机的电气控制系统整体的系统控制部11控制闪光灯发光部12以及受光部13。此外，系统控制部11控制透镜驱动部8而调整摄影透镜1所含的聚焦透镜的位置，或者进行摄影透镜1所含的变焦透镜的位置的调整。进一步，系统控制部11通过经由光圈驱动部9控制光圈2的开口量来进行曝光量的调整。
此外，系统控制部11经由摄像元件驱动部10而驱动固体摄像元件5，并使通过摄影透镜1而拍摄到的被摄体像作为摄像图像信号而输出。在系统控制部11通过操作部14而输入来自用户的指示信号。
数码相机的电气控制系统还具备：与固体摄像元件5的输出连接的进行相关双采样处理等模拟信号处理的模拟信号处理部6；将从该模拟信号处理部6输出的RGB的颜色信号转换为数字信号的A/D转换电路7。模拟信号处理部6以及A/D转换电路7由系统控制部11控制。
而且，该数码相机的电气控制系统具备：主存储器16；与主存储器16连接的存储器控制部15；对由固体摄像元件5拍摄而获得的摄像图像信号进行各种图像处理而生成摄影图像数据的数字信号处理部17；将数字信号处理部17中生成的摄影图像数据压缩为JPEG格式或者将压缩图像数据进行扩展的压缩扩展处理部18；基于从固体摄像元件5的焦点检测用像素单元输出的成对的焦点检测信号的相位差算出摄影透镜1的散焦量的焦点检测部19；连接了装卸自如的记录介质21的外部存储器控制部20；连接了搭载于相机背面等的显示部23的显示控制部22。存储器控制部15、数字信号处理部17、压缩扩展处理部18、焦点检测部19、外部存储器控制部20以及显示控制部22通过控制总线24以及数据总线25而相互连接，通过来自系统控制部11的指令而被控制。
图2是表示图1所示的数码相机所搭载的固体摄像元件5的概略结构的平面示意图。图2是从被摄体侧观察固体摄像元件5时的图。固体摄像元件5在二维状配置像素单元的摄像区域的整个面或者一部分中，焦点检测用像素单元分散而设置。在图2中，表示将摄像区域中的、设置了焦点检测用像素单元的部分进行了放大的图。
固体摄像元件5具备在行方向X及与其正交的列方向Y上以二维状(在图2的例中为正方格子状)排列的多个像素单元(图中的各正方形)。多个像素单元成为将由行方向X上以一定间距排列的多个像素单元构成的像素单元行在列方向Y上以一定的间距排列而得到的配置。多个像素单元包括摄像用像素单元30和焦点检测用像素单元31L和焦点检测用像素单元31R。各像素单元包括接受光而转换为电荷的光电转换部。
摄像用像素单元30是对通过了图1所示的摄影透镜1的不同的光瞳区域的一对光(例如，相对于摄影透镜1的主轴通过了左侧的光和通过了右侧的光)这两者进行受光的像素单元。
焦点检测用像素单元31L是对上述一对光的一方进行受光的像素单元，若与摄像用像素单元30相比，则成为光电转换部的开口(没有附加影线的区域)向左侧偏心的结构。
焦点检测用像素单元31R是对上述一对光的另一方进行受光的像素单元，若与摄像用像素单元30相比，则成为光电转换部的开口(没有附加影线的区域)向右侧偏心的结构。
另外，焦点检测用像素单元的结构并不限定于上述的结构，能够采用广泛已知的结构。此外，这里，设为由焦点检测用像素单元31R以及焦点检测用像素单元31L检测在行方向X上具有相位差的一对像信号，但也可以将遮光膜开口的偏心方向设为列方向Y，检测在列方向Y上具有相位差的一对像信号。
各像素单元所含的光电转换部的上方搭载了滤色器，该滤色器的排列在构成固体摄像元件5的多个像素单元整体中成为拜耳排列。
在图2中，对搭载了透过红色(R)光的滤色器的像素单元记上“R”。此外，对搭载了透过绿色(G)光的滤色器的像素单元记上“G”。而且，对搭载了透过蓝色(B)光的滤色器的像素单元记上“B”。在图2的例中，固体摄像元件5搭载滤色器，但也可以不搭载滤色器。
在各像素单元所含的光电转换部的上方(在设置滤色器的情况下，比该滤波器还上方)，设置有用于将光聚集于该光电转换部的微透镜。
该微透镜为了使在固体摄像元件5整体中摄像用像素单元彼此或者焦点检测用像素单元彼此的灵敏度一致，进行配置位置的比例换算。
配置位置的比例换算是指，为了使从斜向入射的光有效地聚集，各像素单元所含的微透镜的中心位置从固体摄像元件5的中心越朝向端部，则相对于像素单元的中心位置越偏离固体摄像元件5的中心侧，从固体摄像元件5的中心越朝向端部则该偏离量越大。
焦点检测用像素单元31L在从图2的上方起第3个和第9个像素单元行中每隔3个像素单元而配置于搭载了透过绿色(G)光的滤色器的像素单元的位置。
焦点差检测用像素单元31R在从图2的上方起第4个和第10个像素单元行中每隔3个像素单元而配置于搭载了透过绿色(G)光的滤色器的像素单元的位置。
斜向相邻的焦点检测用像素单元31L和焦点检测用像素单元31R构成对，成为在固体摄像元件5中设置了多个该对的结构。
图1所示的焦点检测部19使用从焦点检测用像素单元31L以及焦点检测用像素单元31R读出的信号组，算出摄影透镜1的焦点调节状态，这里算出从对焦状态偏离的量及其方向即散焦量。
图1所示的系统控制部11基于由焦点检测部19算出的散焦量，控制摄像透镜1所含的聚焦透镜的位置而进行焦点调节。
在进行了焦点调节的状态下作出摄影指示时，系统控制部11使固体摄像元件5进行摄像，通过该摄像而从固体摄像元件5输出的摄像图像信号(从各像素单元输出的输出信号的集合)被取入数字信号处理部17。而且，数字信号处理部17对该摄像图像信号所含的焦点检测用像素单元的输出信号进行校正，对校正后的摄像图像信号进行处理，生成摄像图像数据。
数字信号处理部17对焦点检测用像素单元进行插值校正处理和增益校正处理的任一个，该插值校正处理通过使用了位于该焦点检测用像素单元周围的摄像用像素单元的输出信号的信号插值来校正该焦点检测用像素单元的输出信号，该增益校正处理通过将焦点检测用像素单元的输出信号乘以增益而将其放大来校正该焦点检测用像素单元的输出信号。
图3是图2所示的固体摄像元件5中提取了以焦点检测用像素单元31L为中心的5×5个像素单元的图。
数字信号处理部17在通过插值校正处理对图3所示的焦点检测用像素单元31L进行校正的情况下，例如，将位于该焦点检测用像素单元31L周围的检测与焦点检测用像素单元31L同色光的由○包围的摄像用像素单元30的输出信号进行平均而获得的输出信号置换为该焦点检测用像素单元31L的输出信号。
此外，数字信号处理部17在通过增益校正处理对图3所示的焦点检测用像素单元31L进行校正的情况下，例如，求出增益并对该焦点检测用像素单元31L的输出信号乘以该增益，所述增益用于使该焦点检测用像素单元31L的输出信号接近位于该焦点检测用像素单元31L周围的检测与焦点检测用像素单元31L同色光的由○包围的摄像用像素单元30的输出信号的平均值。
数字信号处理部17使用摄像图像信号判定在该摄像图像信号中是否有受重影或光斑等对于图像而言无用(噪声)的光的影响的区域。而且，数字信号处理部17基于该判定结果，将对焦点检测用像素单元进行的校正处理决定为插值校正处理和增益校正处理的任一个。
图4是表示图1所示的固体摄像元件5的整体结构的平面示意图。图2所示的焦点检测用像素单元离散地设置在位于固体摄像元件5的中央的区域A。在区域A以外的区域中，只配置有摄像用像素单元30。
在图4的例中，将区域A分割为6×6的块。在图4中，将区域A分为6个列(从左起依次3L、2L、1L、1R、2R、3R)和6个行(从上起依次3U、2U、1U、1B、2B、3B)，在各行和各列交叉的位置上存在1个块。
数字信号处理部17使用摄像图像信号算出在通过增益校正处理对其所含的焦点检测用像素单元的输出信号进行校正时使用的增益值。
例如，数字信号处理部17算出位于图4的任意的块的摄像用像素单元30的输出信号的平均值AvS和位于该块的焦点检测用像素单元31L的输出信号的平均值AvL，并算出AvS/AvL作为与位于该块的焦点检测用像素单元31L对应的增益值。
同样地，数字信号处理部17算出位于图4的任意的块的摄像用像素单元30的输出信号的平均值AvS和位于该块的焦点检测用像素单元31R的输出信号的平均值AvR，并算出AvS/AvR作为与位于该块的焦点检测用像素单元31R对应的增益值。
通过该运算，生成增益值(AvS/AvL)及增益值(AvS/AvR)与各块建立了对应的增益表。
图5以及图6是表示与位于图4所示的36个块的焦点检测用像素单元31R对应的增益值的一例的图。
图5是摄像图像信号没有受重影或者光斑的至少一方的影响时的增益表的例。图6是摄像图像信号受重影的影响时的增益表的例。在图6中，表示在图4的列3L和列2L和列3R中从入射了重影的原因光的情况下的摄像图像信号求出的增益表。
如图5所示，在摄像时没有产生重影或者光斑的至少一方的情况下，连接与位于同一行的6个块对应的增益值的线成为右肩上升的大致直线形状。此外，与位于同一列的6个块对应的增益值的幅度(最小值和最大值之差)减小。另外，这样，连接增益值的线成为右肩上升的形状是因为如下理由。
相位差检测用像素31R的开口在图2中向右侧偏心。因此，如图7所示，在位于固体摄像元件5的左侧端部的相位差检测用像素31R的开口，通过摄影透镜1的左侧而来的光进入一半，通过摄影透镜1的右侧而来的光未进入。另一方面，在位于固体摄像元件5的右侧端部的相位差检测用像素31R的开口，通过摄影透镜1的右侧而来的光进入一半，通过摄影透镜1的左侧而来的光全部进入。此外，在位于固体摄像元件5的中心部的相位差检测用像素31R的开口，只有通过摄影透镜1的左侧而来的光进入，通过摄影透镜1的右侧而来的光未进入。
这样，从固体摄像元件5的左端部越朝向右端部则相位差检测用像素31R的灵敏度越高。因此，关于增益值，也随着从列3L朝向列3R而变大。
如图6所示，在摄像时产生重影的情况下，连接与位于同一行的6个块对应的增益值的线成为大致下凸形状的曲线，在区域A中的端部的列(3L、3R)中，与位于同一列的6个块对应的增益值的幅度变大。
这样，根据有无重影或者光斑的至少一方，生成的增益表发生变化。利用这个情况，数字信号处理部17使用生成的增益表，判定有无重影或者光斑的至少一方。
以下，说明使用了增益表的有无重影或者光斑的至少一方的判定方法的具体例。
图8是表示从图5所示的增益表生成的相邻增益值差表的图。图9是表示从图6所示的增益表生成的相邻增益值差表的图。
相邻增益值差表是算出与任意的块对应的增益值和与相邻的块对应的增益值之差而获得的，该相邻的块是相对于该任意的块在由焦点检测用像素单元31R、31L检测的一对像信号的错开方向(固体摄像元件5的情况下在行方向X上为右方向)上相邻的块。
在图8、9中，“＊＊-##”的标记表示列＊＊和相对于该列在右方向上相邻的列##各自的位于同一行的块的增益值之差(从列##的块的增益值减去列＊＊的块的增益值所得的值)。
图8、9所示的相邻增益值差表中的各数值表示区域A中的增益值的变动的程度。在没有产生重影或者光斑的至少一方的情况下，如图5所示，该变动的程度小，在产生重影的情况下，如图6所示，该变动的程度大。利用这个情况，数字信号处理部17首先算出相邻增益值差表中的各数值中的最大值和最小值之差。
图8所示的相邻增益值差表中的各数值中的最大值为22，最小值为7，所以双方的差为15。
图9所示的相邻增益值差表中的各数值中的最大值为245，最小值为－67，所以双方的差为312。
若将相邻增益值差表中的各数值中的最大值和最小值之差的阈值设定为例如20，则成为图5所示的增益表的生成源的摄像图像信号被判定为不存在受重影或者光斑的至少一方的影响的区域，成为图6所示的增益表的生成源的摄像图像信号被判定为存在受重影或者光斑的至少一方的影响的区域。
由于在没有产生重影或者光斑的至少一方时的、相邻增益值差表中的各数值中的最大值和最小值之差和在产生重影或者光斑的至少一方时的、相邻增益值差表中的各数值中的最大值和最小值之差能够预先通过实验求出，所以根据该实验结果能够将上述阈值对每个数码相机决定为适当的值。
另外，利用产生重影或者光斑的至少一方时与没有产生重影或者光斑的至少一方时相比同一列中的6个块的增益值的最大值和最小值之差大的特性，数字信号处理部17也可以如下判定有无产生重影或者光斑的至少一方。
即，数字信号处理部17在图5或者图6所示的增益表中，存在同一列中的数值中的最大值和最小值之差超过预先确定的值的列的情况下，判定为作为该增益表的生成源的摄像图像信号中存在受重影或者光斑的至少一方的影响的区域。此外，数字信号处理部17在不存在同一列中的数值中的最大值和最小值之差超过预先确定的值的列的情况下，判定为在作为该增益表的生成源的摄像图像信号中不存在受重影或者光斑的至少一方的影响的区域。
根据该判定方法，由于能够减少运算量，所以能够低耗电化、校正处理的高速化。
此外，也可以分别进行基于相邻增益值差表中的各数值中的最大值和最小值之差判定有无重影或者光斑的至少一方的判定方法和基于增益表中的同一列的最大值和最小值之差判定有无重影或者光斑的至少一方的判定方法，根据在两个判定的双方中判定为存在受重影或者光斑的至少一方的影响的区域，最终判定为在摄像图像信号中存在受重影或者光斑的至少一方的影响的区域。这样，通过将两个判定方法进行组合，能够提高有无重影或者光斑的至少一方的判定精度。
图10是用于说明对从图1所示的数码相机中的固体摄像元件5输出的摄像图像信号所含的全部焦点检测用像素单元的输出信号进行校正时的动作的流程图。
若由固体摄像元件5进行拍摄，摄像图像信号存储在主存储器16中，则数字信号处理部17使用该摄像图像信号而算出上述的增益表，使用该增益表，判定在摄像图像信号中有无受重影或者光斑的至少一方的影响的区域(步骤S1)。
在判定为在摄像图像信号中存在受重影或者光斑的至少一方的影响的区域的情况下(步骤S1：是)，数字信号处理部17通过插值校正处理对从固体摄像元件5输出的摄像图像信号所含的全部焦点检测用像素单元的输出信号进行校正(步骤S7)，结束校正处理。
在判定为在摄像图像信号中不存在受重影或者光斑的至少一方的影响的区域的情况下(步骤S1：否)，数字信号处理部17将进行校正的对象的焦点检测用像素单元的序号n(初始值为0)更新为n+1(步骤S2)。
接着，数字信号处理部17对于进行校正的对象的焦点检测用像素单元的输出信号判定进行了插值校正处理时的校正精度和进行了增益校正处理时的校正精度中的哪一个高(步骤S3)。
例如，数字信号处理部17使用位于进行校正的对象的焦点检测用像素单元周边的摄像用像素单元的输出信号，判定在焦点检测用像素单元的周围有没有被摄体的边缘或高频图案。
而且，数字信号处理部17在判定为有边缘或高频图案的情况下，判定为增益校正处理一方校正精度高，在判定为没有边缘或高频图案的情况下，判定为插值校正处理一方校正精度高。
或者，数字信号处理部17在与进行校正的对象的焦点检测用像素单元对应的增益表上的增益值大于预先确定的值的情况下，由于若进行增益校正处理则噪声变大，所以判定为插值校正处理一方校正精度高。另外，校正精度的判定能够使用广泛已知的方法。
数字信号处理部17在判定为进行了增益校正处理时的校正精度高的情况下(步骤S3：否)，基于在步骤S1的判定时生成的增益表，通过增益校正处理对进行校正的对象的焦点检测用像素单元的输出信号进行校正(步骤S4)。
另一方面，数字信号处理部17在判定为进行了插值校正处理时的校正精度高的情况下(步骤S3：是)，通过插值校正处理对进行校正的对象的焦点检测用像素单元的输出信号进行校正(步骤S5)。
在步骤S4、步骤S5之后，若进行校正的对象的焦点检测用像素单元的序号n达到摄像图像信号所含的焦点检测用像素单元的输出信号的总数k(步骤S6：是)，则数字信号处理部17结束处理，若没有达到(步骤S6：否)，则将处理返回到步骤S2。
如以上所述，图1所示的数码相机判定摄像图像信号中有无受重影或者光斑的至少一方的影响的区域，在判定为存在受重影或者光斑的至少一方的影响的区域的情况下，通过插值校正处理对全部焦点检测用像素单元的输出信号进行校正，在判定为不存在受重影或者光斑的至少一方的影响的区域的情况下，通过校正精度相对高的校正处理对各焦点检测用像素单元的输出信号进行校正。
这样，在产生重影或者光斑的至少一方时，由于通过插值校正处理对各焦点检测用像素单元的输出信号进行校正，所以能够防止在校正后的摄像图像信号中，受重影或者光斑的至少一方的影响的区域和未受重影或者光斑的至少一方的影响的区域中画质大幅变化，能够提高摄像画质。
另外，在图10的流程图中，也可以省略步骤S2～步骤S6的处理，在步骤S1为否时，数字信号处理部17对全部焦点检测用像素单元进行插值校正处理或者增益校正处理。
例如，数字信号处理部17在增益表中，超过阈值的增益值的数目超过预先确定的数目的情况下，对全部焦点检测用像素单元进行插值校正处理，该阈值是若成为其以上则校正后的噪声变多且画质恶化的值。在超过阈值的增益值的数目为预先确定的数目以下的情况下，数字信号处理部17对全部焦点检测用像素单元进行增益校正处理。即，数字信号处理部17选择并执行作为摄像图像信号整体由校正引起的校正误差少的校正处理。
这样，在不产生重影或者光斑的至少一方时，由于能够选择并执行插值校正处理和增益校正处理中的最适合画质提高的校正处理，所以还能够实现在不产生重影或者光斑的至少一方时的画质提高。
另外，受重影或者光斑的至少一方的影响的区域的有无的判定方法并不限定于上述的方法。例如，也可以采用在专利文献2、3中记载的方法。此外，也可以通过以下记载的方法来判定。
(受重影或者光斑的至少一方的影响的区域的有无的判定方法的变形例)
在该变形例中，在主存储器16中预先存储有基准块增益值，该基准块增益值是在不产生重影或者光斑的至少一方的条件下使用由固体摄像元件5拍摄基准图像而获得的基准摄像图像信号算出的对上述各块的增益值，
并且，数字信号处理部17算出基准块增益值和摄像块增益值的差分即基准－摄像增益值差，该摄像块增益值是使用由固体摄像元件5拍摄被摄体而获得的摄像图像信号算出的对上述各块的增益值。
而且，数字信号处理部17算出对于在由焦点检测用像素单元的对检测的像信号的错开方向上相邻的两个块而算出的基准－摄像增益值差的差分，在该差分的最大值和最小值之差超过预先确定的值的情况下，判定为在摄像图像信号中存在受重影或者光斑的至少一方的影响的区域。
图11是表示对位于图4所示的区域A的任意的行的6个块算出增益值的结果的图。在图11中，表示使用由固体摄像元件5拍摄基准图像(例如，灰色一色的图像、白一色的图像、与相位差像素的检测色相同的颜色一色的图像等的单色的连续调图像)而获得的基准摄像图像信号算出的增益值(基准图像的增益)、和使用由固体摄像元件5拍摄被摄体而获得的摄像图像信号算出的增益值(摄像图像的增益)。
图12的图12A是表示图11所示的摄像图像的增益的表格，图12的图12B是表示图11所示的基准图像的增益的表格。此外，图12的图12C是表示从图12A所示的各块的增益值减去图12B所示的该各块的增益值所得的值(基准－摄像增益值差)的图。
在图12中，图12B所示的表格预先存储在主存储器16中。
数字信号处理部17从图12A的数据和图12B的数据算出图12C的数据。而且，数字信号处理部17算出与任意的块对应的基准－摄像增益值差和相邻的块的基准－摄像增益值差的差分，并生成图12D所示的表格，其中该相邻的块是相对于该任意的块在由焦点检测用像素单元31R、31L检测的一对像信号的错开方向(固体摄像元件5的情况下在行方向X上为右方向)上相邻的块。
在图12的图12D中，“＊＊-##”的标记表示列＊＊和相对于该列在右方向上相邻的列##各自的位于同一行的块的基准－摄像增益值差之差(从列##的块的基准－摄像增益值差减去列＊＊的块的基准－摄像增益值差所得的值)。
数字信号处理部17对图4所示的各行生成图12D所示的数据，并算出所生成的数据中的最大值和最小值之差。并且，数字信号处理部17在该差超过预先确定的阈值的情况下，判定为存在受重影或者光斑的至少一方的影响的区域，在该差为预先确定的值以下的情况下，判定为不存在受重影或者光斑的至少一方的影响的区域。
这样，根据对基准图像的增益表和对摄像图像的增益表的各增益值之差的变动，判定有无受重影或者光斑的至少一方的影响的区域，所以能够在全部固体摄像元件5中将受重影或者光斑的至少一方的影响的区域的判定中使用的阈值设定为一样的值，能够削减数码相机的制造成本。
至此为止，设为判定在摄像图像信号中有无受重影或者光斑的至少一方的影响的区域，在判定为存在受重影或者光斑的至少一方的影响的区域的情况下，对全部焦点检测用像素单元执行插值校正处理。
但是，在摄像图像信号中，能够判定受重影或者光斑的至少一方的影响的区域的位置的情况下，通过只对受重影或者光斑的至少一方的影响的区域进行插值校正处理，对除此以外的区域进行校正精度高的校正处理，能够进一步提高摄像画质。
在摄像图像信号中，如下判定受重影或者光斑的至少一方的影响的区域的位置。
(第一判定例)
数字信号处理部17在使用由固体摄像元件5拍摄被摄体而获得的摄像图像信号生成的增益表中，算出任意的块的增益值和相邻的块的增益值之差的平均值，该相邻的块是在与由焦点检测用像素单元的对检测的两个像信号的错开方向正交的方向(图4的列方向Y)上与该任意的块相邻的块。而且，将位于该平均值超过预先确定的值的块中的焦点检测用像素单元的输出信号判定为有重影或者光斑的至少一方的影响的区域。
例如，考虑使用由固体摄像元件5拍摄被摄体而获得的摄像图像信号生成的增益表如图13的图13A所示的情况。此时，数字信号处理部17算出各块的增益值和与该块的上下(就位于边缘的行的块而言是上或者下)相邻的块的增益值之差，并算出该差的平均值。
具体而言，位于行1U和列2L的交点处的块的增益值是800，位于其上下的块的增益值分别是450。因此，数字信号处理部17将通过{(800－450)+(800－450)}/2的运算而求出的值350设为该块中的值。将对各块进行了这样的运算所得的结果示于图13的图13B。
若比较图5和图6可知，若产生重影或者光斑的至少一方，则在列方向Y上相邻的块间的增益值之差变大。因此，数字信号处理部17能够对图13B所示的数据设定阈值，关于该阈值以上的块，判定为受重影或者光斑的至少一方的影响，关于小于该阈值的块，判定为未受重影或者光斑的至少一方的影响。
例如，在图13B中将阈值设定为100时，附加了影线的块被判定为是受重影或者光斑的至少一方的影响的块。
(第二判定例)
在不产生重影或者光斑的至少一方的条件下使用拍摄基准图像而获得的基准摄像图像信号生成增益表，并将其存储在主存储器16中。数字信号处理部17从使用摄像图像信号所生成的图14A所示的增益表的各块的增益值减去使用基准摄像图像信号所生成的图14B所示的增益表的该各块的增益值，生成图14C所示的表格。
关于受重影或者光斑的至少一方的影响的块，使用基准摄像图像信号所生成的增益值与使用摄像图像信号所生成的增益值之差变大。因此，数字信号处理部17在图14C所示的表格中，关于增益值成为预先确定的阈值以上的块，判定为受重影或者光斑的至少一方的影响，关于小于该阈值的块，判定为未受重影或者光斑的至少一方的影响。
例如，在图14C中将阈值设定为100时，附加了影线的块被判定为是受重影或者光斑的至少一方的影响的块。
通过该第一判定例和第二判定例，能够判定在摄像图像信号中有无受重影或者光斑的至少一方的影响的区域和该区域的位置。
数字信号处理部17通过第一判定例或者第二判定例，判定在摄像图像信号中有无受重影或者光斑的至少一方的影响的区域，在判定为存在受重影或者光斑的至少一方的影响的区域的情况下，通过插值校正处理对该区域所含的焦点检测用像素单元的输出信号进行校正，对除此以外的区域所含的焦点检测用像素单元的输出信号进行校正精度高的校正处理而校正。此外，数字信号处理部17在判定为不存在受重影或者光斑的至少一方的影响的区域的情况下，进行图10的步骤S2以后的处理。
通过如此进行，在校正后的摄像图像信号中，能够防止在受重影或者光斑的至少一方的影响的区域和其他的区域中画质大幅变化，能够提高摄像画质。
接着，作为摄像装置而说明智能电话的结构。
图15是表示作为本发明的摄影装置的一实施方式的智能电话200的外观的图。图15所示的智能电话200具有平板状的壳体201，在壳体201的一个面包括作为显示部的显示面板202和作为输入部的操作面板203成为一体的显示输入部204。此外，这样的壳体201具备扬声器205、话筒206、操作部207、相机部208。另外，壳体201的结构并不限定于此，例如也可以采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图16是表示图15所示的智能电话200的结构的框图。如图15所示，作为智能电话的主要的结构元素，包括无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、GPS(全球定位系统(Global Positioning System))接收部214、移动传感器部215、电源部216、主控制部220。此外，作为智能电话200的主要的功能，具备与省略图示的基地站装置BS进行经由省略图示的移动通信网NW的移动无线通信的无线通信功能。
无线通信部210按照主控制部220的指示，对在移动通信网NW中收纳的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等的各种文件数据、电子邮件数据等的发送接收、Web数据或流数据等的接收。
显示输入部204是通过主控制部220的控制对图像(静止图像以及动态图像)、文字信息等进行显示而在视觉上向用户传递信息并且对与所显示的信息对应的用户操作进行检测的所谓的触摸面板，具备显示面板202和操作面板203。
显示面板202将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备的器件。
操作面板203是对显示面板202的显示面上显示的图像以能够视觉确认的方式进行载置并对由用户的手指或尖笔操作的一个或者多个坐标进行检测的设备。若通过用户的手指或尖笔操作该设备，操作面板203将由操作而产生的检测信号输出到主控制部220。接着，主控制部220基于接收到的检测信号，检测显示面板202上的操作位置(坐标)。
如图15所示，作为本发明的摄影装置的一实施方式而例示的智能电话200的显示面板202和操作面板203成为一体而构成显示输入部204，但也可以成为操作面板203完全覆盖显示面板202的配置。
在采用了该配置的情况下，操作面板203也可以具备对显示面板202外的区域也检测用户操作的功能。换言之，操作面板203也可以具有关于与显示面板202重叠的重叠部分的检测区域(以下，称为显示区域)和关于除此以外的不与显示面板202重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，也可以使显示区域的大小和显示面板202的大小完全一致，但不需要使两者必须一致。此外，操作面板203也可以具有外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据壳体201的大小等而适当设计。另外，作为操作面板203中采用的位置检测方式，可列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。
通话部211具备扬声器205和话筒206，将通过话筒206输入的用户的声音转换为能够由主控制部220处理的声音数据而输出到主控制部220，或者对从无线通信部210或者外部输入输出部213接收到的声音数据进行解码而从扬声器205输出。此外，如图15所示，例如，能够将扬声器205搭载在与设置了显示输入部204的面相同的面，话筒206搭载在壳体201的侧面。
操作部207是使用了键开关等的硬件键，接受来自用户的指示。例如，如图15所示，操作部207搭载在智能电话200的壳体201的侧面，是当通过手指等被按下时接通、当手指离开时通过弹簧等的恢复力而成为断开状态的按压按钮式的开关。
存储部212存储主控制部220的控制程序或控制数据、应用软件、与通信对方的名称或电话号等建立了对应的地址数据、发送接收的电子邮件的数据、通过Web浏览而下载的Web数据、下载的内容数据，此外，暂时存储流数据等。此外，存储部212由智能电话内置的内部存储部217和具有装卸自如的外部存储器槽的外部存储部218构成。另外，构成存储部212的各内部存储部217和外部存储部218使用闪存型(flash memory type)、硬盘型(hard disk type)、缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如、MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(ReadOnly Memory)等存储介质而实现。
外部输入输出部213起到与连接到智能电话200的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(InfraredData Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或者间接连接到其他的外部设备。
作为连接到智能电话200的外部设备，例如有：有/无线头戴耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card)/UIM(UserIdentity Module Card)卡、经由音频视频I/O(Input/Output)端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有/无线连接的智能电话、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部213能够将从这样的外部设备接受了传送的数据传递到智能电话200的内部的各结构要素并将智能电话200的内部的数据传送到外部设备。
GPS接收部214按照主控制部220的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测由该智能电话200的纬度、经度、高度构成的位置。GPS接收部214在能够从无线通信部210、外部输入输出部213(例如，无线LAN)取得位置信息时，还能够使用该位置信息来检测位置。
移动传感器部215具有例如三轴加速度传感器等，按照主控制部220的指示，检测智能电话200的物理上的移动。通过检测智能电话200的物理上的移动，来检测智能电话200的移动方向和加速度。将该检测结果输出到主控制部220。
电源部216按照主控制部220的指示，向智能电话200的各部提供电池(未图示)中蓄积的电力。
主控制部220具备微处理器，按照存储部212存储的控制程序、控制数据而动作，统一控制智能电话200的各部。此外，主控制部220为了通过无线通信部210进行声音通信或数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部212存储的应用软件使主控制部220动作而实现。作为应用处理功能，例如有控制外部输入输出部213而与相向设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web网页的Web浏览功能等。
此外，主控制部220具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将影像在显示输入部204中显示等的图像处理功能。图像处理功能是指，主控制部220对上述图像数据进行解码，对该解码结果实施图像处理，并将图像在显示输入部204中显示的功能。
此外，主控制部220执行对显示面板202的显示控制和对通过了操作部207、操作面板203的用户操作进行检测的操作检测控制。通过显示控制的执行，主控制部220显示用于启动应用软件的图标、滚动条等软件键，或者显示用于制作电子邮件的窗口。另外，滚动条是指，对于没有完全收纳于显示面板202的显示区域的较大的图像等用于接受使图像的显示部分移动的指示的软件键。
此外，通过操作检测控制的执行，主控制部220对通过了操作部207的用户操作进行检测，或者通过操作面板203接受对上述图标的操作、对上述窗的输入栏的字符串的输入，或者接受经由滚动条的显示图像的滚动请求。
而且，通过操作检测控制的执行，主控制部220具备判定对操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域)还是除此以外的不与显示面板202重叠的外缘部分(非显示区域)，并对操作面板203的感应区域或软件键的显示位置进行控制的触摸面板控制功能。
此外，主控制部220还能够检测对操作面板203的手势操作，根据检测出的手势操作也能够执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指利用手指等描画轨迹，或者同时指定多个位置，或者将它们组合而从多个位置对至少一个位置描画轨迹的操作。
相机部208包括图1所示的数码相机中的外部存储器控制部20、记录介质21、显示控制部22、显示部23以及操作部14以外的结构。由相机部208生成的摄像图像数据能够记录在存储部212中，或者通过输入输出部213或无线通信部210而输出。如图15所示，在智能电话200中，相机部208搭载在与显示输入部204相同的面，但相机部208的搭载位置并不限定于此，也可以搭载在显示输入部204的背面。
此外，相机部208能够用于智能电话200的各种功能。例如，能够在显示面板202中显示由相机部208取得的图像或作为操作面板203的操作输入之一而利用相机部208的图像。此外，在GPS接收部214检测位置时，还能够参照来自相机部208的图像而检测位置。而且，还能够参照来自相机部208的图像，不使用三轴加速度传感器或者与三轴加速度传感器并用，判断智能电话200的相机部208的光轴方向或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部208的图像。
除此之外，也能够对静止画面或者动态画面的图像数据附加由GPS接收部214取得的位置信息、由话筒206取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由移动传感器部215取得的姿势信息等而记录在记录部212中，或者通过输入输出部213或无线通信部210而输出。
在以上这种结构的智能电话200中，通过数字信号处理部17进行上述的信号校正处理，也能够进行高质量的摄影。
如以上所说明，在本说明书中公开以下的事项。
公开的摄像装置，具有摄像元件，该摄像元件包括摄像用的多个第一像素单元和由对通过了摄影透镜的不同的光瞳区域的光进行受光的多种焦点检测用的第二像素单元构成的多个对，上述摄像装置包括：判定部，使用由上述摄像元件拍摄而获得的摄像图像信号，判定上述摄像图像信号是否受光斑或者重影的至少一方的影响；校正处理部，对上述摄像图像信号所含的上述第二像素单元的输出信号，进行插值校正处理和增益校正处理的任一个，所述插值校正处理通过使用了上述摄像图像信号所含的位于上述第二像素单元周围的多个上述第一像素单元的输出信号的信号插值来校正该第二像素单元的输出信号，所述增益校正处理将该第二像素单元的输出信号乘以增益值来校正该第二像素单元的输出信号；及图像数据生成部，对由上述校正处理部校正处理后的摄像图像信号进行处理而生成摄像图像数据，上述校正处理部基于上述判定部的判定结果，决定对上述第二像素单元的输出信号执行上述插值校正处理和上述增益校正处理中的哪一个。
公开的摄像装置中，上述校正处理部在判定为未受上述光斑或者重影的至少一方的影响的情况下，对上述第二像素单元的输出信号进行上述插值校正处理和上述增益校正处理的任一个，在判定为受上述光斑或者重影的至少一方的影响的情况下，对上述第二像素单元的输出信号进行上述插值校正处理。
公开的摄像装置中，上述判定部使用上述摄像图像信号，判定上述摄像图像信号中的受上述光斑或者重影的至少一方的影响的区域，上述校正处理部对于上述摄像图像信号中受光斑或者重影的至少一方的影响的区域中所含的上述第二像素单元的输出信号进行上述插值校正处理，对于上述摄像图像信号中未受光斑或者重影的至少一方的影响的区域中所含的上述第二像素单元的输出信号进行上述插值校正处理和上述增益校正处理的任一个。
公开的摄像装置中，上述判定部将配置上述第二像素单元的区域分割为多个块，使用上述摄像图像信号算出用于在各块中通过上述增益校正处理来校正位于该块内的上述第二像素单元的输出信号所需的增益值即摄像块增益值，使用上述摄像块增益值，判定是否受上述光斑或者重影的至少一方的影响。
公开的摄像装置中，上述判定部在对于在由上述第二像素单元检测的两个像信号的错开方向上相邻的两个上述块而算出的上述摄像块增益值的差分即相邻块增益值差的最大值和最小值之差超过预先确定的值的情况下，判定为受光斑或者重影的至少一方的影响。
公开的摄像装置具备：存储部，预先存储有基准块增益值，该基准块增益值是在不产生光斑或者重影的至少一方的条件下使用由上述摄像元件拍摄基准图像而获得的基准摄像图像信号算出的对上述各块的增益值，上述判定部算出上述基准块增益值和上述摄像块增益值的差分即基准块增益值差，在对于在由上述第二像素单元检测的两个像信号的错开方向上相邻的两个上述块而算出的上述基准块增益值差的差分的最大值和最小值之差超过预先确定的值的情况下，判定为受光斑或者重影的至少一方的影响。
公开的摄像装置中，上述判定部将配置上述第二像素单元的区域分割为多个块，使用上述摄像图像信号算出用于在各块中通过上述增益校正处理来校正位于该块内的上述第二像素单元的输出信号所需的增益值即摄像块增益值，使用该摄像块增益值，判定受光斑或者重影的至少一方的影响的区域。
公开的摄像装置中，上述判定部对于各块算出与相邻的块的上述摄像块增益值的差的平均值，并将与该平均值超过预先确定的值的块对应的信号判定为受光斑或者重影的至少一方的影响的区域，所述相邻的块是在与由上述第二像素单元检测的两个像信号的错开方向正交的方向上相邻的块。
公开的摄像装置具备：存储部，预先存储有基准块增益值，该基准块增益值是在不产生光斑或者重影的至少一方的条件下使用由上述摄像元件拍摄基准图像而获得的基准摄像图像信号算出的对上述各块的增益值，上述判定部将与上述基准块增益值和上述摄像块增益值之差超过预先确定的值的块对应的信号判定为受光斑或者重影的至少一方的影响的区域。
公开的信号校正方法，对从摄像元件输出的摄像图像信号进行校正，该摄像元件包括二维状配置的、摄像用的多个第一像素单元以及由对通过了摄像透镜的不同的光瞳区域的光机械能受光的多种焦点检测用的第二像素单元构成的多个对，上述信号校正方法包括：判定步骤，使用由上述摄像元件拍摄而获得的摄像图像信号，判定上述摄像图像信号是否受光斑或者重影的至少一方的影响；校正处理步骤，对上述摄像图像信号所含的上述第二像素单元的输出信号进行插值校正处理和增益校正处理的任一个，所述插值校正处理通过使用了上述摄像图像信号所含的位于上述第二像素单元周围的多个上述第一像素单元的输出信号的信号插值来校正该第二像素单元的输出信号，所述增益校正处理将该第二像素单元的输出信号乘以增益值而放大来进行校正；及图像数据生成步骤，对由上述校正处理步骤校正处理后的上述摄像图像信号进行处理而生成摄像图像数据，在上述校正处理步骤中，基于上述判定步骤的判定结果，决定对上述第二像素单元的输出信号执行上述插值校正处理和上述增益校正处理中的哪一个。
工业实用性
根据本发明，能够提供即使是在产生重影或光斑的情况下也不会降低由包括焦点检测用的像素单元和摄像用的像素单元的摄像元件拍摄而获得的摄像图像的质量的摄像装置及信号校正方法。
对本发明详细地且参照特定的实施方式作了说明，但对于本领域的技术人员而言显然在不脱离本发明的精神和范围的情况下能够施加各种变形或修改。
本申请基于2012年5月10日提出的日本专利申请(特愿2012-108559)和2012年11月15日提出的日本专利申请(特愿2012-251565)，其内容作为参照而并入本文中。
附图标记说明
5 固体摄像元件
30 摄像用像素单元
31R、31L 焦点检测用像素单元
17 数字信号处理部

Claims (10)

1.一种摄像装置，具有摄像元件，该摄像元件包括摄像用的多个第一像素单元和由对通过了摄影透镜的不同的光瞳区域的光进行受光的多种焦点检测用的第二像素单元构成的多个对，所述摄像装置包括：
判定部，使用由所述摄像元件拍摄而获得的摄像图像信号，判定所述摄像图像信号是否受光斑或者重影的至少一方的影响；
校正处理部，基于所述摄像图像信号是否受光斑及重影中的至少一方的影响来对所述摄像图像信号所含的所述第二像素单元的输出信号，进行插值校正处理和增益校正处理的任一个，所述插值校正处理通过使用了所述摄像图像信号所含的位于所述第二像素单元周围的多个所述第一像素单元的输出信号的信号插值来校正该第二像素单元的输出信号，该增益校正处理将该第二像素单元的输出信号乘以增益值来校正该第二像素单元的输出信号；及
图像数据生成部，对由所述校正处理部校正处理后的摄像图像信号进行处理而生成摄像图像数据，
所述校正处理部基于所述判定部的判定结果，决定对所述第二像素单元的输出信号执行所述插值校正处理和所述增益校正处理中的哪一个。
2.如权利要求1所述的摄像装置，其中，
在判定为未受所述光斑或者重影的至少一方的影响的情况下，所述校正处理部对所述第二像素单元的输出信号进行所述插值校正处理和所述增益校正处理中的任一个，在判定为受所述光斑或者重影的至少一方的影响的情况下，所述校正处理部对所述第二像素单元的输出信号进行所述插值校正处理。
3.如权利要求1所述的摄像装置，其中，
所述判定部使用所述摄像图像信号，判定所述摄像图像信号中的受所述光斑或者重影的至少一方的影响的区域，
所述校正处理部对于所述摄像图像信号中受光斑或者重影的至少一方的影响的区域所含的所述第二像素单元的输出信号进行所述插值校正处理，对于所述摄像图像信号中未受光斑或者重影的至少一方的影响的区域所含的所述第二像素单元的输出信号进行所述插值校正处理和所述增益校正处理的任一个。
4.如权利要求1或2所述的摄像装置，其中，
所述判定部将配置所述第二像素单元的区域分割为多个块，使用所述摄像图像信号算出摄像块增益值，使用所述摄像块增益值，判定是否受所述光斑或者重影的至少一方的影响，所述摄像块增益值是用于在各块中通过所述增益校正处理来校正位于该块内的所述第二像素单元的输出信号所需的增益值。
5.如权利要求4所述的摄像装置，其中，
在相邻块增益值差的最大值和最小值之差超过预先确定的值的情况下，所述判定部判定为受光斑或者重影的至少一方的影响，所述相邻块增益值差是对于在由所述第二像素单元检测的两个像信号的错开方向上相邻的两个所述块而算出的所述摄像块增益值的差分。
6.如权利要求4所述的摄像装置，其中，
具备存储部，预先存储基准块增益值，该基准块增益值是在不产生光斑或者重影的至少一方的条件下使用由所述摄像元件拍摄基准图像而获得的基准摄像图像信号算出的对所述各块的增益值，
所述判定部算出所述基准块增益值与所述摄像块增益值的差分即基准块增益值差，在对于在由所述第二像素单元检测的两个像信号的错开方向上相邻的两个所述块而算出的所述基准块增益值差的差分的最大值和最小值之差超过预先确定的值的情况下，判定为受光斑或者重影的至少一方的影响。
7.如权利要求3所述的摄像装置，其中，
所述判定部将配置所述第二像素单元的区域分割为多个块，使用所述摄像图像信号算出摄像块增益值，使用该摄像块增益值，判定受光斑或者重影的至少一方的影响的区域，所述摄像块增益值是用于在各块中通过所述增益校正处理校正位于该块内的所述第二像素单元的输出信号所需的增益值。
8.如权利要求7所述的摄像装置，其中，
所述判定部对于各块算出与相邻的块的所述摄像块增益值的差的平均值，并将与该平均值超过预先确定的值的块对应的信号判定为受光斑或者重影的至少一方的影响的区域，所述相邻的块是在与由所述第二像素单元检测的两个像信号的错开方向正交的方向上相邻的块。
9.如权利要求7所述的摄像装置，其中，
具备存储部，预先存储基准块增益值，该基准块增益值是在不产生光斑或者重影的至少一方的条件下使用由所述摄像元件拍摄基准图像而获得的基准摄像图像信号算出的对所述各块的增益值，
所述判定部将与所述基准块增益值和所述摄像块增益值之差超过预先确定的值的块对应的信号判定为受光斑或者重影的至少一方的影响的区域。
10.一种信号校正方法，对从摄像元件输出的摄像图像信号进行校正，该摄像元件包括二维状配置的、摄像用的多个第一像素单元以及由对通过了摄像透镜的不同的光瞳区域的光进行受光的多种焦点检测用的第二像素单元构成的多个对，所述信号校正方法包括：
判定步骤，使用由所述摄像元件拍摄而获得的摄像图像信号，判定所述摄像图像信号是否受光斑或者重影的至少一方的影响；
校正处理步骤，基于所述摄像图像信号是否受光斑及重影的至少一方的影响来对所述摄像图像信号所含的所述第二像素单元的输出信号，进行插值校正处理和增益校正处理的任一个，所述插值校正处理通过使用了所述摄像图像信号所含的位于所述第二像素单元周围的多个所述第一像素单元的输出信号的信号插值来校正该第二像素单元的输出信号，所述增益校正处理通过将该第二像素单元的输出信号乘以增益值而放大来进行校正；及
图像数据生成步骤，对由所述校正处理步骤校正处理后的所述摄像图像信号进行处理而生成摄像图像数据，
在所述校正处理步骤中，基于所述判定步骤的判定结果，决定对所述第二像素单元的输出信号执行所述插值校正处理和所述增益校正处理中的哪一个。
CN201380024517.8A 2012-05-10 2013-04-09 摄像装置及信号校正方法 Active CN104285435B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012-108559 2012-05-10
JP2012108559 2012-05-10
JP2012251565 2012-11-15
JP2012-251565 2012-11-15
PCT/JP2013/060736 WO2013168505A1 (ja) 2012-05-10 2013-04-09 撮像装置及び信号補正方法

Publications (2)

Publication Number Publication Date
CN104285435A CN104285435A (zh) 2015-01-14
CN104285435B true CN104285435B (zh) 2016-09-28

Family

ID=49550558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380024517.8A Active CN104285435B (zh) 2012-05-10 2013-04-09 摄像装置及信号校正方法

Country Status (4)

Country Link
US (1) US9264636B2 (zh)
JP (1) JP5657182B2 (zh)
CN (1) CN104285435B (zh)
WO (1) WO2013168505A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
CN104904197B (zh) * 2012-12-05 2016-12-28 富士胶片株式会社 摄像装置及异常倾斜入射光检测方法
JP5749409B2 (ja) * 2012-12-07 2015-07-15 富士フイルム株式会社 撮像装置、画像処理方法及びプログラム
CN104995912B (zh) * 2013-03-05 2017-03-08 富士胶片株式会社 摄像装置、图像处理装置及图像处理方法
WO2014141561A1 (ja) * 2013-03-13 2014-09-18 富士フイルム株式会社 撮像装置、信号処理方法、信号処理プログラム
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP2016127389A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US9979909B2 (en) * 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
KR101714315B1 (ko) * 2016-05-04 2017-03-08 현대자동차주식회사 보간법을 이용한 터치 입력 인식 장치 및 방법
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
JP2018006881A (ja) * 2016-06-29 2018-01-11 株式会社シグマ 画像処理装置及び画像処理方法
JP2018093257A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 撮像装置
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10645358B2 (en) 2018-02-20 2020-05-05 Gopro, Inc. Saturation management for luminance gains in image processing
JP7038257B2 (ja) * 2019-05-15 2022-03-17 富士フイルム株式会社 漏れ光検出装置、撮像装置、漏れ光検出方法、及び漏れ光検出プログラム
WO2021138870A1 (en) * 2020-01-09 2021-07-15 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Multi-frame noise reduction method, terminal, and system
TW202143213A (zh) * 2020-02-03 2021-11-16 日商索尼半導體解決方案公司 電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717006A (zh) * 2004-06-29 2006-01-04 三星电子株式会社 用于在图像传感器中改善图像质量的设备和方法
CN101166240A (zh) * 2006-10-19 2008-04-23 索尼株式会社 图像处理装置、成像装置、图像处理方法
JP2008242333A (ja) * 2007-03-29 2008-10-09 Canon Inc 撮像装置及びその制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1528797B1 (en) * 2003-10-31 2015-07-08 Canon Kabushiki Kaisha Image processing apparatus, image-taking system and image processing method
JP2006184321A (ja) * 2004-12-24 2006-07-13 Canon Inc 焦点検出装置および焦点検出装置を備えた光学機器
CN101809994B (zh) * 2007-08-10 2012-11-14 佳能株式会社 摄像设备及其控制方法
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
JP5888940B2 (ja) * 2011-11-11 2016-03-22 オリンパス株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP2013125046A (ja) * 2011-12-13 2013-06-24 Nikon Corp 撮像装置及びカメラシステム
US9253373B2 (en) * 2012-06-06 2016-02-02 Apple Inc. Flare detection and mitigation in panoramic images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1717006A (zh) * 2004-06-29 2006-01-04 三星电子株式会社 用于在图像传感器中改善图像质量的设备和方法
CN101166240A (zh) * 2006-10-19 2008-04-23 索尼株式会社 图像处理装置、成像装置、图像处理方法
JP2008242333A (ja) * 2007-03-29 2008-10-09 Canon Inc 撮像装置及びその制御方法

Also Published As

Publication number Publication date
CN104285435A (zh) 2015-01-14
US20150062386A1 (en) 2015-03-05
US9264636B2 (en) 2016-02-16
WO2013168505A1 (ja) 2013-11-14
JPWO2013168505A1 (ja) 2016-01-07
JP5657182B2 (ja) 2015-01-21

Similar Documents

Publication Publication Date Title
CN104285435B (zh) 摄像装置及信号校正方法
CN104272161B (zh) 摄像装置和对焦控制方法
US10244165B2 (en) Imaging device
CN104221369B (zh) 摄像元件以及使用该摄像元件的摄像装置和摄像方法
CN105074528B (zh) 摄像装置及对焦控制方法
CN104285437B (zh) 信号处理装置、摄像装置、信号校正方法
CN107003586B (zh) 摄像装置及摄像方法
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
JPWO2014129216A1 (ja) 撮像装置
CN104823094A (zh) 摄像装置及对焦控制方法
CN106030366A (zh) 摄像装置及对焦控制方法
CN107211088A (zh) 相机装置、摄像系统、控制方法及程序
CN105960604A (zh) 摄像装置及对焦控制方法
CN104813212A (zh) 摄像装置及曝光确定方法
CN106415348A (zh) 摄像装置及对焦控制方法
CN104221149B (zh) 摄像元件以及摄像装置
CN104205825A (zh) 图像处理装置及方法以及摄像装置
CN106062607A (zh) 摄像装置及对焦控制方法
US9509897B2 (en) Imaging apparatus and its focus control method
CN107005650A (zh) 摄像装置、摄像方法及图像处理程序
CN104380712B (zh) 摄像装置及摄像方法
CN104813213B (zh) 摄像装置及其对焦方法和对焦控制程序
CN107005626A (zh) 摄像装置及其控制方法
CN110419210A (zh) 摄像装置、摄像方法及摄像程序
CN107211090A (zh) 操作装置、跟踪系统、操作方法及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant