CN104285437A - 信号处理装置、摄像装置、信号校正方法 - Google Patents

信号处理装置、摄像装置、信号校正方法 Download PDF

Info

Publication number
CN104285437A
CN104285437A CN201380024507.4A CN201380024507A CN104285437A CN 104285437 A CN104285437 A CN 104285437A CN 201380024507 A CN201380024507 A CN 201380024507A CN 104285437 A CN104285437 A CN 104285437A
Authority
CN
China
Prior art keywords
pixel cell
correction process
value
output signal
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380024507.4A
Other languages
English (en)
Other versions
CN104285437B (zh
Inventor
河合智行
小柴贤明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104285437A publication Critical patent/CN104285437A/zh
Application granted granted Critical
Publication of CN104285437B publication Critical patent/CN104285437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

摄像元件(5)包括摄像用像素单元(30)以及焦点检测用像素单元(31R、31L)。数字信号处理部(17)至少使用摄像时的F值来决定执行插值校正处理和增益校正处理中的哪一个，该插值校正处理对焦点检测用像素单元的输出信号通过使用了位于其周围的摄像用像素单元的输出信号的信号插值来进行校正，该增益校正处理通过增益来放大并校正焦点检测用像素单元的输出信号。

Description

信号处理装置、摄像装置、信号校正方法
技术领域
本发明涉及信号处理装置、摄像装置及信号校正方法。
背景技术
近年来，伴随着CCD(电荷耦合器件(Charge Coupled Device))图像传感器、CMOS(互补金属氧化物半导体(Complementary MetalOxide Semiconductor))图像传感器等固体摄像元件的高分辨率化，数码相机、数字摄像机、便携电话机、PDA(Personal Digital Assistant)，便携信息终端)等具有摄影功能的信息设备的需要剧增。另外，将具有如以上的摄像功能的信息设备称为摄像装置。
另外，在将焦点对准主要的被摄体的对焦控制方法中，有对比度AF(Auto Focus，自动对焦)方式和相位差AF方式。与对比度AF方式相比，由于相位差AF方式能够高速、高精度地进行对焦位置的检测，所以在各种摄像装置中广泛采用。
在通过相位差AF方式进行对焦控制的摄像装置中搭载的固体摄像元件中，例如，使用在摄像区域的整个面上离散地设置了遮光膜开口彼此向相反方向偏心的焦点检测用的像素单元的对的元件(参照专利文献1)。
该焦点检测用的像素单元由于遮光膜开口的面积小于其他的通常的像素单元，所以将其输出信号用作摄像图像信号还不够。因此，需要校正焦点检测用的像素单元的输出信号。
专利文献1公开了如下方法：根据焦点检测用的像素单元周围的通常的像素单元的输出信号的偏差，选择并执行第一校正处理和第二校正处理，该第一校正处理对焦点检测用的像素单元的输出信号使用其周围的通常的像素单元的输出信号进行插值而生成，该第二校正处理放大并校正焦点检测用的像素单元的输出信号。
专利文献1：日本特开2010-62640号公报
发明内容
发明要解决的课题
如专利文献1所记载，在根据通常的像素单元的输出信号的偏差而改变校正处理的方法中，产生不能进行准确的校正的情形。
例如，即使是上述输出信号的偏差小的情况下，在光圈位于小光圈侧时，焦点检测用的像素单元的灵敏度和通常的像素单元的灵敏度之比也减小。即，由于能够减小第二校正处理中使用的放大增益，能够抑制在进行了第二校正处理的情况下的噪声的放大。其结果，与进行了第一校正处理的情况相比能够进行准确的校正。
本发明是鉴于上述情形而完成的，目的在于提供能够精度良好地校正焦点检测用的像素单元的输出信号而提高摄像画质的信号处理装置及具备该信号处理装置的摄像装置以及信号校正方法。
用于解决课题的手段
本发明的信号处理装置，对来自经由光学系统拍摄被摄体的摄像元件的信号进行处理，上述摄像元件包括二维状配置的、摄像用的多个第一像素单元以及焦点检测用的多个第二像素单元，上述信号处理装置包括：校正处理部，进行第一校正处理和第二校正处理的任一个，上述第一校正处理通过将使用位于上述第二像素单元周围的上述第一像素单元的输出信号而生成的信号置换为上述第二像素单元的输出信号来校正该第二像素单元的输出信号，上述第二校正处理通过放大上述第二像素单元的输出信号来校正上述第二像素单元的输出信号，上述校正处理部至少使用摄像时F值来决定执行上述第一校正处理和上述第二校正处理中的哪一个，所述摄像时F值是用于取得成为校正对象的信号的摄像时的上述光学系统所含的光圈的F值。
本发明的摄像装置具备上述信号处理装置和上述摄像元件。
本发明的信号校正方法，对从摄像元件的第二像素单元输出的信号进行校正，上述摄像元件经由光学系统拍摄被摄体并包括二维状配置的、摄像用的多个第一像素单元以及焦点检测用的多个第二像素单元，上述信号校正方法包括：校正处理步骤，进行第一校正处理和第二校正处理的任一个，上述第一校正处理通过将使用位于上述第二像素单元周围的上述第一像素单元的输出信号而生成的信号置换为上述第二像素单元的输出信号来校正该第二像素单元的输出信号，上述第二校正处理通过放大上述第二像素单元的输出信号来校正上述第二像素单元的输出信号，在上述校正处理步骤中，至少使用摄像时F值来决定执行上述第一校正处理和上述第二校正处理中的哪一个，所述摄像时F值是用于取得成为校正对象的信号的摄像时的上述光学系统所含的光圈的F值。
发明效果
根据本发明，可以提供能够精度良好地校正焦点检测用的像素单元的输出信号而提高摄像画质的信号处理装置以及包括该信号处理装置的摄像装置以及信号校正方法。
附图说明
图1是表示用于说明本发明的第一实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图2是表示在图1所示的数码相机中搭载的固体摄像元件5的概略结构的平面示意图。
图3是表示在固体摄像元件5中以焦点检测用像素单元31L为中心的5×5个像素单元的图。
图4是用于说明在对图1所示的数码相机中的任意的焦点检测用像素单元的输出信号进行校正时的动作的流程图。
图5是用于说明在对图1所示的数码相机中的任意的焦点检测用像素单元的输出信号进行校正时的动作的第一变形例的流程图。
图6是表示图1所示的数码相机中的固体摄像元件5的整体结构的平面示意图。
图7是用于说明在对图1所示的数码相机中的任意的焦点检测用像素单元的输出信号进行校正时的动作的第二变形例的流程图。
图8是用于说明在对图1所示的数码相机中的任意的焦点检测用像素单元的输出信号进行校正时的动作的第三变形例的流程图。
图9是说明在图1所示的数码相机的第四变形例中根据焦距而改变判定阈值的图。
图10是用于说明在图1所示的数码相机的第五变形例中使用的两种判定条件的数据的图。
图11是表示图10所示的数据的变形例的图。
图12是作为在图1所示的数码相机中搭载的固体摄像元件5的变形例的固体摄像元件5a的平面示意图。
图13是作为摄像装置而说明智能电话的图。
图14是图13的智能电话的内部框图。
具体实施方式
以下，参照附图说明本发明的实施方式。
(第一实施方式)
图1是表示用于说明本发明的第一实施方式的作为摄像装置的一例的数码相机的概略结构的图。
图1所示的数码相机的摄像系统具备：具有包括聚焦透镜、变焦透镜等透镜的摄影透镜1以及光圈2的摄影光学系统；CCD图像传感器或CMOS图像传感器等固体摄像元件5；设置在这两者之间的红外截止滤波器(IRCUT)3；光学低通滤波器(OLPF)4。
固体摄像元件5成为将多个摄像用像素单元和对通过了摄影光学系统的光瞳区域的不同的部分的一对光束分别进行受光的两种焦点检测用像素单元以二维状配置而得到的结构，接受由摄影透镜1成像的像而输出摄像图像信号并输出与上述一对光束对应的一对焦点检测信号。
统一控制数码相机的电气控制系统整体的系统控制部11控制闪光灯发光部12以及受光部13。此外，系统控制部11控制透镜驱动部8而调整摄影透镜1所含的聚焦透镜的位置，或者进行摄影透镜1所含的变焦透镜的位置的调整。而且，系统控制部11通过经由光圈驱动部9而控制光圈2的开口量来进行曝光量的调整。
此外，系统控制部11经由摄像元件驱动部10而驱动固体摄像元件5，并使通过摄影透镜1拍摄到的被摄体像作为摄像图像信号而输出。在系统控制部11中，通过操作部14而输入来自用户的指示信号。
数码相机的电气控制系统还具备：与固体摄像元件5的输出连接的进行相关双采样处理等模拟信号处理的模拟信号处理部6；将从该模拟信号处理部6输出的RGB的颜色信号转换为数字信号的A/D转换电路7。模拟信号处理部6以及A/D转换电路7由系统控制部11控制。
而且，该数码相机的电气控制系统具备：主存储器16；连接到主存储器16的存储器控制部15；对摄像图像信号进行各种图像处理而生成摄影图像数据的数字信号处理部17；将由数字信号处理部17生成的摄影图像数据压缩为JPEG格式或者将压缩图像数据进行扩展的压缩扩展处理部18；基于从固体摄像元件5的焦点检测用像素单元输出的成对的焦点检测信号的相位差算出摄影透镜1的散焦量的焦点检测部19；连接了装卸自如的记录介质21的外部存储器控制部20；连接了在相机背面等搭载的显示部23的显示控制部22。存储器控制部15、数字信号处理部17、压缩扩展处理部18、焦点检测部19、外部存储器控制部20以及显示控制部22通过控制总线24以及数据总线25而相互连接，通过来自系统控制部11的指令而被控制。
图2是表示图1所示的数码相机中搭载的固体摄像元件5的概略结构的平面示意图。固体摄像元件5在二维状配置像素单元的摄像区域的整个面或者一部分中分散地设置有焦点检测用像素单元。在图2中，表示将摄像区域中的、设置了焦点检测用像素单元的部分进行了放大的图。
固体摄像元件5具备在行方向X及与其正交的列方向Y上以二维状(在图2的例中为正方格子状)排列的多个像素单元(图中的各正方形)。多个像素单元成为将由行方向X上以一定间距排列的多个像素单元构成的像素单元行在列方向Y上以一定的间距排列而得到的配置。多个像素单元包括摄像用像素单元30和焦点检测用像素单元31L和焦点检测用像素单元31R。各像素单元包括接受光而转换为电荷的光电转换部。
摄像用像素单元30是对通过了图1所示的摄影透镜1的光瞳区域的不同的部分的一对光(例如，相对于摄影透镜1的主轴通过了左侧的光和通过了右侧的光)这两者进行受光的像素单元。
焦点检测用像素单元31L是对上述一对光的一方进行受光的像素单元，与摄像用像素单元30相比时，成为光电转换部的开口(没有附加影线的区域)向左侧偏心的结构。
焦点检测用像素单元31R是对上述一对光的另一方进行受光的像素单元，与摄像用像素单元30相比时，成为光电转换部的开口(没有附加影线的区域)向右侧偏心的结构。
另外，焦点检测用像素单元的结构并不限定于上述的结构，能够采用广泛已知的结构。
在各像素单元所含的光电转换部的上方搭载了滤色器，该滤色器的排列在构成固体摄像元件5的多个像素单元整体中成为拜耳排列。
在图2中，对搭载了透过红色(R)光的滤色器的像素单元记上“R”。此外，对搭载了透过绿色(G)光的滤色器的像素单元记上“G”。而且，对搭载了透过蓝色(B)光的滤色器的像素单元记上“B”。在图2的例中，固体摄像元件5搭载有滤色器，但也可以不搭载滤色器。
焦点检测用像素单元31L在从图2的上方起第3个和第9个像素单元行中每隔3个像素单元地配置在搭载了透过绿色(G)光的滤色器的像素单元的位置。
焦点差检测用像素单元31R在从图2的上方起第4个和第10个像素单元行中每隔3个像素单元地配置在搭载了透过绿色(G)光的滤色器的像素单元的位置。
斜向相邻的焦点检测用像素单元31L和焦点检测用像素单元31R构成对，成为在固体摄像元件5中设置了多个该对的结构。
图1所示的焦点检测部19使用从焦点检测用像素单元31L以及焦点检测用像素单元31R读出的信号组，算出摄影透镜1的焦点调节状态，这里算出从对焦状态偏离的量及其方向即散焦量。
图1所示的系统控制部11基于由焦点检测部19算出的散焦量，控制摄像透镜1所含的聚焦透镜的位置而进行焦点调节。
在进行了焦点调节的状态下作出摄影指示时，系统控制部11使固体摄像元件5进行摄像，通过该摄像而从固体摄像元件5输出的摄像图像信号被取入数字信号处理部17。而且，数字信号处理部17对该摄像图像信号所含的焦点检测用像素单元的输出信号进行校正。
数字信号处理部17对焦点检测用像素单元进行插值校正处理和增益校正处理的任一个，该插值校正处理使用位于该焦点检测用像素单元周围的摄像用像素单元的输出信号来校正该焦点检测用像素单元的输出信号，该增益校正处理通过将焦点检测用像素单元的输出信号乘以增益而将其放大来校正该焦点检测用像素单元的输出信号。
图3是在图2所示的固体摄像元件5中提取了以焦点检测用像素单元31L为中心的5×5个像素单元的图。
数字信号处理部17在通过插值校正处理对焦点检测用像素单元31L的输出信号进行校正的情况下，将位于该焦点检测用像素单元31L周围的检测与焦点检测用像素单元31L同色光的摄像用像素单元30的输出信号进行合成而生成一个信号，并将该信号置换为焦点检测用像素单元31L的输出信号来进行校正。
例如，在通过插值校正处理对图3所示的焦点检测用像素单元31L进行校正的情况下，将位于该焦点检测用像素单元31L周围的检测与焦点检测用像素单元31L同色光的由○包围的摄像用像素单元30的输出信号进行平均(包括单纯平均、加权平均等)而获得的输出信号置换为该焦点检测用像素单元31L的输出信号。
此外，数字信号处理部17在通过增益校正处理对图3所示的焦点检测用像素单元31L进行校正的情况下，例如，求出增益并将该焦点检测用像素单元31L的输出信号乘以该增益，所述增益用于使该焦点检测用像素单元31L的输出信号接近位于该焦点检测用像素单元31L周围的检测与焦点检测用像素单元31L同色光的由○包围的摄像用像素单元30的输出信号的平均值。
另外，也可以设为，在通过增益校正处理对图3所示的焦点检测用像素单元31L进行校正的情况下，数字信号处理部17求出增益并将该焦点检测用像素单元31L的输出信号乘以该增益，所述增益用于使该焦点检测用像素单元31L的输出信号接近位于该焦点检测用像素单元31L周围的检测与焦点检测用像素单元31L同色光的由○以及△包围的摄像用像素单元30的输出信号的平均值。
这样，在插值校正处理中，使用位于以焦点检测用像素单元为中心的第一范围的多个摄像用像素单元的输出信号进行信号插值，在增益校正处理中，将焦点检测用像素单元的输出信号乘以用于接近位于比以该焦点检测用像素单元为中心的第一范围宽的第二范围的多个摄像用像素单元的输出信号的平均的增益，从而能够减少由增益校正处理引起的校正误差。
在焦点检测用像素单元周边成像的被摄体模糊的情况下插值校正处理的校正误差小，在该被摄体不模糊的情况下插值校正处理的校正误差大。
此外，由于增益校正处理是将焦点检测用像素单元的输出信号乘以用于接近摄像用像素单元的输出信号的增益的处理，所以在焦点检测用像素单元与摄像用像素单元的灵敏度差大、增益变大的状况下，校正后的焦点检测用像素单元的输出信号所含的噪声也变大，校正误差变大。
在数码相机中的光圈2的F值越小(光圈2越朝向开放侧)，则焦点检测用像素单元与摄像用像素单元的灵敏度差越大。这是因为，F值小时，通过摄影透镜1的光瞳区域的光的径变大，在两种焦点检测用像素单元中检测的相位差容易变大。
此外，光圈2的F值越大，则景深越深。因此，F值越大，则被摄体中不模糊的区域增加。在被摄体中不模糊的区域多的情况下，若进行插值校正处理，则校正误差变多。
即，在F值大时，由于灵敏度差小且景深深，所以通过进行增益校正处理，能够减少校正误差，在F值小时，由于灵敏度差大且景深浅，所以通过进行插值校正处理，能够减少校正误差。
因此，数字信号处理部17根据进行用于获得摄像图像信号的摄像的时刻下的F值(称为摄像时F值)选择并执行插值校正处理和增益校正处理的任一个。在数码相机为透镜交换型的情况下，也有摄像时F值因安装的透镜而成为固定的值的情况。
图4是用于说明在对图1所示的数码相机中的固体摄像元件5所含的任意的焦点检测用像素单元的输出信号进行校正时的动作的流程图。
数字信号处理部17首先从系统控制部11取得摄像时F值的信息，并比较摄像时F值和阈值Th0(步骤S1)。
在摄像时F值小于阈值Th0时(步骤S1：是)，数字信号处理部17通过插值校正处理对成为校正对象的焦点检测用像素单元的输出信号进行校正(步骤S2)。
在摄像时F值为阈值Th0以上时(步骤S1：否)，数字信号处理部17通过增益校正处理对成为校正对象的焦点检测用像素单元的输出信号进行校正(步骤S3)。
数字信号处理部17通过对全部焦点检测用像素单元进行这样的动作，结束校正。另外，阈值Th0只要以在校正了全部焦点检测用像素单元的情况下的校正误差的量最少的方式预先确定即可。
如以上所述，根据图1所示的数码相机，由于根据摄像时F值而决定执行插值校正处理和增益校正处理中的哪一个，所以能够进行误差少的最佳的校正。因此，能够提高由包括焦点检测用像素单元和摄像用像素单元的固体摄像元件拍摄而获得的图像的质量。
在专利文献1中，在焦点检测用像素单元周围的摄像用像素单元的输出信号的偏差大时增加增益校正处理的比例，在输出信号的偏差小时增加插值校正处理的比例。
但是，即使是在输出信号的偏差大的情况下，在焦点检测用像素单元与摄像用像素单元的灵敏度差大时，若进行增益校正处理，有时会导致噪声增加，校正误差变大。此外，即使是在输出信号的偏差小的情况下，在焦点检测用像素单元与摄像用像素单元的灵敏度差小时，有时与进行插值校正处理相比进行增益校正处理一方校正误差小。
这样，根据焦点检测用像素单元与摄像用像素单元的灵敏度差而决定最佳的校正方法在提高画质方面有利，但在专利文献1中，没有考虑该灵敏度差即摄像时F值而进行校正处理的切换，不能指望充分的画质提高。相对于此，根据图1的数码相机，由于考虑摄像时F值而进行校正处理的切换，所以能够实现充分的画质提高。
接着，说明图1所示的数码相机的数字信号处理部17的动作的变形例。
(第一变形例)
由于焦点检测用像素单元31L和焦点检测用像素单元31R其结构不同，所以灵敏度有时会产生差。因此，有时焦点检测用像素单元31L与摄像用像素单元30的灵敏度差和焦点检测用像素单元31R与摄像用像素单元30的灵敏度差不一致，两者产生差。
因此，在该变形例中，在校正焦点检测用像素单元31L的输出信号时和校正焦点检测用像素单元31R的输出信号时，将用于插值校正处理和增益校正处理的切换的判定阈值设为不同的值。
图5是用于说明在对图1所示的数码相机中的固体摄像元件5所含的任意的焦点检测用像素单元的输出信号进行校正时的动作的第一变形例的流程图。
数字信号处理部17在校正对象的焦点检测用像素单元为焦点检测用像素单元31R时(步骤S11：是)，比较从系统控制部11取得的摄像时F值和与焦点检测用像素单元31R对应地预先确定的阈值Th1(步骤S12)。
而且，数字信号处理部17在摄像时F值小于阈值Th1时(步骤S12：是)，通过插值校正处理对焦点检测用像素单元31R的输出信号进行校正(步骤S13)，在摄像时F值为阈值Th1以上时(步骤S12：否)，通过增益校正处理对焦点检测用像素单元31R的输出信号进行校正(步骤S14)。
数字信号处理部17在校正对象的焦点检测用像素单元为焦点检测用像素单元31L时(步骤S11：否)，比较从系统控制部11取得的摄像时F值和与焦点检测用像素单元31L对应地预先确定的阈值Th2(步骤S15)。阈值Th2是与阈值Th1不同的值。
而且，数字信号处理部17在摄像时F值小于阈值Th2时(步骤S15：是)，通过插值校正处理对焦点检测用像素单元31L的输出信号进行校正(步骤S16)，在摄像时F值为阈值Th2以上时(步骤S15：否)，通过增益校正处理对焦点检测用像素单元31L的输出信号进行校正(步骤S17)。
如以上所述，通过根据焦点检测用像素单元的种类将用于判定进行插值校正处理和增益校正处理中的哪一个的摄像时F值的阈值设为不同的值，能够进行更准确的校正。
另外，焦点检测用像素单元31R与焦点检测用像素单元31L的灵敏度差在固体摄像元件5整体中看，有时通过制造偏差而被吸收而不引人注目。因此，如图4中所说明，即使对全部焦点检测用像素单元将判定阈值设为相同，也能够获得充分的画质提高效果。
在以上的说明中，设为固体摄像元件5具有两种焦点检测用像素单元，但即使是具有3种以上的焦点检测用像素单元(例如，将摄影透镜1的光瞳区域上下左右进行4分割而对通过各分割区域的光进行受光的4种焦点检测用像素单元)的固体摄像元件，同样地通过对各种焦点检测用像素单元决定不同的判定阈值，也能够提高画质。
(第二变形例)
焦点检测用像素单元与摄像用像素单元的灵敏度差根据焦点检测用像素单元所配置的摄像区域上的位置而变化。参照图6说明这个情况。
图6是表示图1所示的数码相机中的固体摄像元件5的整体结构的平面示意图。在图6的例中，在位于固体摄像元件5的摄像区域51的中央部分的AF区域52中，如图2所示，配置有焦点检测用像素单元和摄像用像素单元，在其他的区域只配置有摄像用像素单元。
AF区域52分为光的入射角(相对于摄像区域51的受光面的垂线的角度)小的区域52b、入射角比区域52b大的区域52a和区域52c。
即使是相同的F值，在区域52b、区域52a、52c中，位于区域52a、52c的焦点检测用像素单元由于入射角大所以容易产生相位差，焦点检测用像素单元与摄像用像素单元的灵敏度差变大。
因此，对于位于区域52a、52c的焦点检测用像素单元，与位于区域52b的焦点检测用像素单元相比，容易执行插值校正处理，从而能够减少校正误差。
因此，在该变形例中，在对位于区域52b的焦点检测用像素单元的输出信号进行校正时和对位于区域52a、52c的焦点检测用像素单元的输出信号进行校正时，将插值校正处理和增益校正处理的切换所使用的判定阈值设为不同的值。
例如，将在对位于区域52b的焦点检测用像素单元的输出信号进行校正时的判定阈值设为F2.8，将在对位于区域52a、52c的焦点检测用像素单元的输出信号进行校正时的判定阈值设为比在对位于区域52b的焦点检测用像素单元的输出信号进行校正时的判定阈值大的F3.0。
图7是用于说明在对图1所示的数码相机中的固体摄像元件5所含的任意的焦点检测用像素单元的输出信号进行校正时的动作的第二变形例的流程图。
数字信号处理部17在校正对象的焦点检测用像素单元是配置在区域52b中的像素单元的情况下(步骤S21：是)，进行步骤S22以后的处理，在校正对象的焦点检测用像素单元不是配置在区域52b中的像素单元而是配置在区域52a、c中的像素单元的情况下(步骤S21：否)，进行步骤S25以后的处理。
在步骤S22中，数字信号处理部17比较从系统控制部11取得的摄像时F值和阈值(F2.8)。
而且，数字信号处理部17在摄像时F值小于F2.8时(步骤S22：是)，通过插值校正处理对作为校正对象的焦点检测用像素单元的输出信号进行校正(步骤S23)，在摄像时F值为F2.8以上时(步骤S22：否)，通过增益校正处理对作为校正对象的焦点检测用像素单元的输出信号进行校正(步骤S24)。
此外，在步骤S25中，数字信号处理部17比较从系统控制部11取得的摄像时F值和阈值(F3.0)。
而且，数字信号处理部17在摄像时F值小于F3.0时(步骤S25：是)，通过插值校正处理对作为校正对象的焦点检测用像素单元的输出信号进行校正(步骤S26)，在摄像时F值为F3.0以上时(步骤S25：否)，通过增益校正处理对作为校正对象的焦点检测用像素单元的输出信号进行校正(步骤S27)。
这样，根据焦点检测用像素单元的配置位置而决定判定阈值，能够进一步提高摄像画质。
(第三变形例)
第三变形例是组合了第二变形例和第一变形例的例子。
图8是用于说明在对图1所示的数码相机中的固体摄像元件5所含的任意的焦点检测用像素单元的输出信号进行校正时的动作的第三变形例的流程图。
数字信号处理部17在校正对象的焦点检测用像素单元是配置在区域52b中的像素单元的情况下(步骤S81：是)，进行图5的步骤S11以后的处理。此外，数字信号处理部17在校正对象的焦点检测用像素单元是配置在区域52a或者区域52c中的像素单元的情况下(步骤S81：否)，进行步骤S82以后的处理。
在步骤S82中，数字信号处理部17在校正对象的焦点检测用像素单元是配置在区域52a中的像素单元的情况下(步骤S82：是)，进行步骤S83以后的处理，在校正对象的焦点检测用像素单元是配置在区域52c中的像素单元的情况下(步骤S82：否)，进行步骤S90以后的处理。
在步骤S83中，数字信号处理部17在校正对象的焦点检测用像素单元是焦点检测用像素单元31R时(步骤S83：是)，比较从系统控制部11取得的摄像时F值和阈值Th3(步骤S84)。阈值Th3是比阈值Th1大的值。
而且，数字信号处理部17在摄像时F值小于阈值Th3时(步骤84：是)，通过插值校正处理对焦点检测用像素单元31R的输出信号进行校正(步骤S85)，在摄像时F值为阈值Th3以上时(步骤S84：否)，通过增益校正处理对焦点检测用像素单元31R的输出信号进行校正(步骤S86)。
在步骤S83中，数字信号处理部17在校正对象的焦点检测用像素单元是焦点检测用像素单元31L时(步骤S83：否)，比较从系统控制部11取得的摄像时F值和阈值Th4(步骤S87)。阈值Th4是与阈值Th3不同的值，且是比阈值Th2大的值。
而且，数字信号处理部17在摄像时F值小于阈值Th4时(步骤S87：是)，通过插值校正处理对焦点检测用像素单元31L的输出信号进行校正(步骤S88)，在摄像时F值为阈值Th4以上时(步骤S87：否)，通过增益校正处理对焦点检测用像素单元31L的输出信号进行校正(步骤S89)。
在步骤S90中，数字信号处理部17在校正对象的焦点检测用像素单元是焦点检测用像素单元31R时(步骤S90：是)，比较从系统控制部11取得的摄像时F值和上述阈值Th4(步骤S91)。
而且，数字信号处理部17在摄像时F值小于阈值Th4时(步骤91：是)，通过插值校正处理对焦点检测用像素单元31R的输出信号进行校正(步骤S92)，在摄像时F值为阈值Th4以上时(步骤S91：否)，通过增益校正处理对焦点检测用像素单元31R的输出信号进行校正(步骤S93)。
在步骤S90中，数字信号处理部17在校正对象的焦点检测用像素单元是焦点检测用像素单元31L时(步骤S90：否)，比较从系统控制部11取得的摄像时F值和上述阈值Th3(步骤S94)。
而且，数字信号处理部17在摄像时F值小于阈值Th3时(步骤S94：是)，通过插值校正处理对焦点检测用像素单元31L的输出信号进行校正(步骤S95)，在摄像时F值为阈值Th3以上时(步骤S94：否)，通过增益校正处理对焦点检测用像素单元31L的输出信号进行校正(步骤S96)。
如以上所述，根据焦点检测用像素单元的位置而改变判定阈值并还根据焦点检测用像素单元的种类而改变判定阈值，从而能够进行精度更高的校正。
另外，在图8的步骤S84和步骤S91、步骤S87和步骤S94中将判定阈值设为相反是因为在区域52a中焦点检测用像素单元31R的灵敏度高于焦点检测用像素单元31L、在区域52c中焦点检测用像素单元31L的灵敏度高于焦点检测用像素单元31R。
(第四变形例)
由焦点检测用像素单元检测的相位差也根据摄影透镜1的焦距而变化。具体而言，若是同一F值，那么焦距越长则摄影透镜1的开口径越大，在两种焦点检测用像素单元中容易产生相位差。即，在焦距长的情况下，作为焦点检测用像素单元与摄像用像素单元的灵敏度差可经受增益校正处理的程度的值的F值的范围比焦距短时窄。
因此，在第四变形例中，将图4的步骤S1的判定中使用的阈值设定为根据摄影透镜1的摄影时的焦距(摄像时焦距)而不同的值。
例如，如图9所示，将能够设定的焦距划分为5个范围，且设定为焦距越长则判定阈值越大。即，焦距越长则越容易进行插值校正处理。
通过如此设定判定阈值，例如在望远侧拍摄的情况下，由于在摄像时F值从最小值至F8.0的宽的范围中进行插值校正处理，所以与将判定阈值固定在例如F3.5的情况相比，能够增加进行插值校正处理的比例，能够降低校正误差而提高画质。
另外，在第一变形例～第三变形例中，通过根据焦距而决定判定阈值，也能够获得同样的效果。
(第五变形例)
在该变形例中，数字信号处理部17算出位于校正对象的焦点检测用像素单元周围的摄像用像素单元的输出信号的平均(以下，称为输出平均)和平坦度，并使用算出的输出平均以及平坦度和摄像时F值，决定进行插值校正处理和增益校正处理中的哪一个。
在数码相机的存储器16中存储有两种用于判定进行插值校正处理和增益校正处理中的哪一个的判定条件的数据。
图10是用于说明这两种判定条件的数据的图。在图10的图10A、图10B中示出横轴为输出平均、纵轴为作为平坦度的方差的图表。
在图10A和图10B中分别示出判定线70，该判定线70的形状以及位置在图10A和图10B中不同。
在图10A和图10B中，在由纵轴和横轴包围的区域中，将包括判定线70且比判定线70靠上侧的区域设为增益校正区域71，将比判定线70靠下侧的区域设为信号插值区域72。
数字信号处理部17在上述算出的方差以及输出平均进入增益校正区域71时(满足第一条件时)进行增益校正处理，在方差以及输出平均进入信号插值区域72时(满足第二条件时)进行插值校正处理。这样，在图10A或者图10B中例示的判定条件的数据是对第一条件和第二条件的组合进行了定义的数据。
在存储器16中，与将数码相机能够设定的F值的范围分割为两个而获得的各分割范围分别对应地存储有上述判定条件的数据。例如，图10A的数据是将F值的范围分割为两个而获得的分割范围的边界的F值(将该F值称为阈值Th5)设为F2.8并对应于F值为F2.8以上的范围而决定。此外，图10B的数据是对应于F值小于F2.8的范围而决定。
数字信号处理部17根据与摄像时F值对应的判定条件的数据，决定要执行的校正处理。例如，数字信号处理部17在摄像时F值为阈值Th5以上时，根据图10A所示的数据，决定要执行的校正处理，在摄像时F值小于阈值Th5时，根据图10B所示的数据，决定要执行的校正处理。
上述阈值Th5如在第一变形例～第四变形例中所述能够对每个焦点检测用像素单元的种类、位置、摄影透镜1的焦距，设定不同的值。
输出平均大意味着在增益校正处理中使用的增益大。由于增益变大时噪声的放大也变大，所以由增益校正处理引起的校正误差变大。因此，优选在输出平均大时进行插值校正处理，在输出平均小时进行增益校正处理。
此外，由于方差大能够设想为在焦点检测用像素单元的周边有锐度高的被摄体，所以若进行信号插值处理则校正误差变大。因此，优选在方差大时进行增益校正处理，在方差小时进行插值校正处理。
但是，即使是在输出平均大的情况下，在方差非常大的情况下，有时进行增益校正处理而不是进行插值校正处理，能够减少校正误差。此外，即使是在方差小的情况下，在输出平均小的情况下，有时进行增益校正处理而不是进行插值校正处理，能够减少校正误差。
考虑到这些情况，在图10所示的数据中，以校正误差变得最少的方式设定判定线70。
此外，能够使校正误差最少的判定线70根据摄影透镜1中的光圈2的F值而变化。例如，若F值变大，则焦点检测用像素单元与摄像用像素单元的灵敏度差变小，增益校正处理中的增益变小，成为增益校正处理中的校正误差减少的方向。此外，若F值变大，则由于景深变深而被摄体的锐度变高，所以成为由插值校正处理引起的校正误差增加的方向。
即，F值越大则与插值校正处理相比增益校正处理越容易进行为优选。在图10所示的两种数据中，图10A与F值为阈值Th5以上时对应，图10B与F值小于阈值Th5时对应。若比较这两种数据可知F值越大则与插值校正处理相比增益校正处理越容易进行。
如以上所述，通过准备两种用于决定进行插值校正处理和增益校正处理中的哪一个的判定条件的数据，根据摄像时F值而决定使用这两种数据中的哪一个，所以能够将校正误差减小至最小限，能够提高摄像画质。
另外，这里，将上述判定条件的数据设为两种，但其也可以是3种以上。
在此情况下，在存储器16中，与将数码相机能够设定的F值的范围分割为3个以上而获得的各分割范围分别对应地存储表示如图10所示那样的增益校正区域和信号插值区域的组合的判定条件的数据。而且，数字信号处理部17根据与包括摄像时F值在内的分割范围对应的数据，决定要执行哪一个校正处理。
(第六变形例)
在该变形例中，说明图10所示的数据的另一例。
在图11的图11A、图11B中示出横轴为输出平均、纵轴为方差的图表。并且，在图11A和图11B中分别示出在将输出平均设为X、将方差设为Y时，由Y＝kX表示的判定线80。并且，该判定线80中的k的值在图11A和图11B中不同。
在图11A和图11B中，在由纵轴和横轴包围的区域中，将包括判定线80且比判定线80靠上侧的区域设为增益校正区域81，将比判定线80靠下侧的区域设为信号插值区域82。
若将上述算出的输出平均和方差绘于图11A、图11B的图表中所得到的点(例如，图中的点A)处于增益校正区域81，则数字信号处理部17执行增益校正处理，若上述点处于信号插值区域82，则数字信号处理部17执行插值校正处理。
换言之，若连接将上述算出的输出平均和方差绘于图11A、图11B的图表中所得到的点(例如，图中的点A)和原点的直线的斜率为判定线80的斜率k以上，则执行增益校正处理，若上述直线的斜率小于判定线80的斜率k，则执行插值校正处理。
图11A的数据与F值为阈值Th6以上的范围对应而决定，图11B的数据与F值小于阈值Th6的范围对应而决定。
上述阈值Th6如第一变形例～第四变形例所述能够对每个焦点检测用像素单元的种类、位置、摄影透镜1的焦距，设定不同的值。
如在第五变形例中也叙述那样，F值越大则与插值校正处理相比增益校正处理越容易进行为优选。因此，若对应的F值越大则上述k的值越小。
这样，即使使用图11所示的判定条件的数据，也能够将校正误差减少至最小限，提高摄像画质。
另外，在本变形例中，也可以将上述判定条件的数据设为3种以上。
(第七变形例)
在该变形例中，说明图2所示的固体摄像元件5的结构的另一例。
图12是作为图1所示的数码相机所搭载的固体摄像元件5的变形例的固体摄像元件5a的平面示意图。固体摄像元件5a的各像素单元所搭载的滤色器的排列与图2不同。固体摄像元件5a的像素单元所搭载的滤色器以R滤光片的数目、B滤光片的数目、G滤光片的数目之比为1∶1∶2.5的方式排列。
固体摄像元件5a所搭载的滤色器的排列成为图12所示的单元U1内的滤光片排列和在单元U1内的滤光片排列中调换了R滤光片和B滤光片的位置而得到的单元U2内的滤光片排列以方格纹状配置而形成的排列。
换言之，成为单元U1和单元U2在水平、垂直方向上交替地排列的排列。
单元U1中，作为亮度系滤光片的G滤光片配置在4角和中央。此外，在单元U1中，在中央的G滤光片的行方向X的两邻配置有R滤光片，在中央的G滤光片的列方向Y的两邻配置有B滤光片。
单元U2是在单元U1中调换了R滤光片和B滤光片的位置而得到。
此外，单元U1、U2各自的4角的G滤光片通过单元U1和单元U2在水平、垂直方向上交替地配置而成为包括2×2像素的G滤光片的正方排列的排列。
固体摄像元件5a的滤色器排列是为以下基本排列图案重复的排列：该基本排列图案是将单元U1和单元U2在水平、垂直方向上交替地各排列两个而得到的6行×6列的滤光片排列。
在以上那样的滤色器排列中，与最有助于获得亮度信号的第一色(G)对应的第一滤光片(G滤光片)配置在滤色器排列的水平、垂直及斜向的各行内。此外，与第一滤光片对应的第一色的像素数的比率大于与第一色以外的两个颜色(B，R)的第二滤光片(B滤光片、R滤光片)对应的第二色(B，R)的像素数的比率。通过这样的排列，能够提高高频区域中的去马赛克算法处理的再现精度，且能够抑制混淆。
此外，由于与第二色(B，R)对应的第二滤光片(B滤光片、R滤光片)在所述基本排列图案内在滤色器排列的水平以及垂直方向的各行内配置1个以上，所以能够抑制色纹(伪色)的产生而实现高分辨率化。
而且，由于在该滤色器排列中，预定的基本排列图案在水平方向以及垂直方向上重复，所以在进行后段中的去马赛克算法(插值)处理时，能够按照重复图案而进行处理，与现有的随机排列相比能够简化后段的处理。
在搭载这种排列的滤色器的固体摄像元件5a中，搭载G滤光片的像素单元的一部分成为焦点检测量像素单元31L、31R。
即使是以上那样的固体摄像元件5a，通过进行上述的校正处理，也能够提高摄像画质。
(第八变形例)
在本变形例中，作为摄像装置而说明智能电话的结构。
图13是表示作为本发明的摄影装置的一实施方式的智能电话200的外观的图。图13所示的智能电话200具有平板状的壳体201，在壳体201的一个面包括作为显示部的显示面板202和作为输入部的操作面板203成为一体的显示输入部204。此外，这样的壳体201具备扬声器205、话筒206、操作部207、相机部208。另外，壳体201的结构并不限定于此，例如也可以采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图14是表示图13所示的智能电话200的结构的框图。如图14所示，作为智能电话的主要的结构要素，具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、GPS(Global Positioning System)接收部214、移动传感器部215、电源部216、主控制部220。此外，作为智能电话200的主要的功能，具备与省略图示的基地站装置BS进行经由省略图示的移动通信网NW的移动无线通信的无线通信功能。
无线通信部210按照主控制部220的指示，对移动通信网NW中收纳的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的发送接收、Web数据、流数据等的接收。
显示输入部204是通过主控制部220的控制对图像(静止图像以及动态图像)、字符信息等进行显示而在视觉上向用户传递信息并对与所显示的信息对应的用户操作进行检测的所谓触摸面板，具备显示面板202和操作面板203。
显示面板202是将LCD(液晶显示器(Liquid Crystal Display))、OELD(有机电致发光显示器(Organic Electro-Luminescence Display))等用作显示设备的器件。
操作面板203是对显示面板202的显示面上显示的图像以能够视觉确认的方式进行载置并对由用户的手指、尖笔操作的一个或者多个坐标进行检测的设备。当通过用户的手指、尖笔操作该设备时，将因操作而产生的检测信号输出到主控制部220。接着，主控制部220基于接收到的检测信号，检测显示面板202上的操作位置(坐标)。
如图13所示，作为本发明的摄影装置的一实施方式而例示的智能电话200的显示面板202和操作面板203成为一体而构成显示输入部204，但也可以成为操作面板203完全覆盖显示面板202的配置。
在采用了该配置的情况下，操作面板203也可以具备对于显示面板202外的区域也对用户操作进行检测的功能。换言之，操作面板203也可以具备关于与显示面板202重叠的重叠部分的检测区域(以下，称为显示区域)和关于除此以外的不与显示面板202重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，也可以使显示区域的大小和显示面板202的大小完全一致，但不需要使两者必须一致。此外，操作面板203也可以具备外缘部分和除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据壳体201的大小等而适当设计。另外，作为操作面板203中采用的位置检测方式，可列举矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也能够采用任一方式。
通话部211具备扬声器205和话筒206，将通过话筒206输入的用户的声音转换为能够由主控制部220处理的声音数据而输出到主控制部220，或者对从无线通信部210或者外部输入输出部213接收到的声音数据进行解码而从扬声器205输出。此外，如图13所示，例如，能够将扬声器205搭载在与设置了显示输入部204的面相同的面，话筒206搭载在壳体201的侧面。
操作部207是使用了键开关等的硬件键，接受来自用户的指示。例如，如图13所示，操作部207搭载在智能电话200的壳体201的侧面，是当通过手指等被按下时接通且当手指离开时通过弹簧等的恢复力而成为断开状态的按压按钮式的开关。
存储部212存储主控制部220的控制程序、控制数据、应用软件、与通信对方的名称或电话号等建立了对应的地址数据、发送接收的电子邮件的数据、通过Web浏览而下载的Web数据、下载的内容数据，此外，暂时存储流数据等。此外，存储部212由智能电话内置的内部存储部217和具有装卸自如的外部存储器槽的外部存储部218构成。另外，构成存储部212的各内部存储部217和外部存储部218可使用闪存型(flash memory type)、硬盘型(hard disk type)、缩微多媒体卡型(multimedia card micro type)、卡型的存储器(例如、MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(ReadOnly Memory)等存储介质而实现。
外部输入输出部213起到与连接于智能电话200的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或者网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(InfraredData Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或者间接连接到其他的外部设备。
作为与智能电话200连接的外部设备，例如有：有/无线头戴耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card)/UIM(UserIdentity Module Card)卡、经由音频视频I/O(Input/Output)端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有/无线连接的智能电话、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部213能够将从这种外部设备接受了传送的数据传递到智能电话200的内部的各结构要素，并能将智能电话200的内部的数据传递到外部设备。
GPS接收部214按照主控制部220的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测由该智能电话200的纬度、经度、高度构成的位置。GPS接收部214在能够从无线通信部210、外部输入输出部213(例如，无线LAN)取得位置信息时，还能够使用该位置信息对位置进行检测。
移动传感器部215具有例如三轴加速度传感器等，按照主控制部220的指示，检测智能电话200的物理上的移动。通过检测智能电话200的物理上的移动，来检测智能电话200的移动方向和加速度。该检测结果输出到主控制部220。
电源部216按照主控制部220的指示，向智能电话200的各部提供电池(未图示)中蓄积的电力。
主控制部220具备微处理器，根据存储部212存储的控制程序、控制数据而动作，统一控制智能电话200的各部。此外，主控制部220为了通过无线通信部210进行声音通信或数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过根据存储部212存储的应用软件使主控制部220动作而实现。作为应用处理功能，例如有控制外部输入输出部213而与相向设备进行数据通信的红外线通信功能、进行电子邮件的发送接收的电子邮件功能、阅览Web网页的Web浏览功能等。
此外，主控制部220具备基于接收数据、下载的流数据等图像数据(静止图像、动态图像的数据)而将影像在显示输入部204中显示等的图像处理功能。图像处理功能是指，主控制部220对上述图像数据进行解码，对该解码结果实施图像处理，并将图像在显示输入部204中显示的功能。
而且，主控制部220执行对显示面板202的显示控制和对通过了操作部207、操作面板203的用户操作进行检测的操作检测控制。通过显示控制的执行，主控制部220显示用于启动应用软件的图标、滚动条等软件键，或者显示用于制作电子邮件的窗口。另外，滚动条是指，对于没有完全收纳于显示面板202的显示区域中的较大的图像等用于接受使图像的显示部分移动的指示的软件键。
此外，通过操作检测控制的执行，主控制部220对通过了操作部207的用户操作进行检测，或者通过操作面板203接受对上述图标的操作、对上述窗的输入栏的字符串的输入，或者接受经由滚动条的显示图像的滚动请求。
而且，通过操作检测控制的执行，主控制部220具备判定对操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域)还是除此以外的不与显示面板202重叠的外缘部分(非显示区域)，并对操作面板203的感应区域或软件键的显示位置进行控制的触摸面板控制功能。
此外，主控制部220还能够检测对操作面板203的手势操作，根据检测出的手势操作也能够执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指利用手指等描画轨迹，或者同时指定多个位置，或者将它们组合而从多个位置对至少一个位置描画轨迹的操作。
相机部208包括图1所示的数码相机中的外部存储器控制部20、记录介质21、显示控制部22、显示部23以及操作部14以外的结构。由相机部208生成的摄像图像数据能够记录在存储部212中，或者通过输入输出部213、无线通信部210而输出。如图13所示，在智能电话200中，相机部208搭载在与显示输入部204相同的面，但相机部208的搭载位置并不限定于此，也可以搭载在显示输入部204的背面。
此外，相机部208能够用于智能电话200的各种功能。例如，能够在显示面板202中显示由相机部208取得的图像或作为操作面板203的操作输入之一而利用相机部208的图像。此外，在GPS接收部214检测位置时，还能够参照来自相机部208的图像而检测位置。而且，还能够参照来自相机部208的图像，不使用三轴加速度传感器或者与三轴加速度传感器并用，判断智能电话200的相机部208的光轴方向或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部208的图像。
除此之外，也能够对静止画面或者动态画面的图像数据附加由GPS接收部214取得的位置信息、由话筒206取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由移动传感器部215取得的姿势信息等而记录在记录部212中，或者通过输入输出部213、无线通信部210而输出。
在以上那样的结构的智能电话200中，通过上述的校正处理，也能够提高摄像画质。
在以上的说明中，将搭载G滤光片的像素单元作为焦点检测用像素单元，但也可以将搭载R滤光片的像素单元、搭载B滤光片的像素单元作为焦点检测用像素单元。由于搭载G滤光片的像素单元设置得比搭载其他的滤光片的像素单元多，所以能够精度更好地进行插值校正处理。
在图1所示的数码相机中，将摄影光学系统设为固定进行了说明，但摄影光学系统也可以是能够装卸的。在这种摄影光学系统能够装卸的数码相机中，由于能够设定的F值的范围扩大与可安装的摄影光学系统的种类相应的量，所以如上所述那样至少使用摄像时F值而决定要执行插值校正处理和增益校正处理中的哪一个，在提高画质方面将特别有效。
如以上说明，在本说明书中公开以下的事项。
公开的信号处理装置，对来自经由光学系统拍摄被摄体的摄像元件的信号进行处理，上述摄像元件包括二维状配置的、摄像用的多个第一像素单元以及焦点检测用的多个第二像素单元，上述信号处理装置包括：校正处理部，进行第一校正处理和第二校正处理的任一个，上述第一校正处理通过将使用位于上述第二像素单元周围的上述第一像素单元的输出信号而生成的信号置换为上述第二像素单元的输出信号来校正该第二像素单元的输出信号，上述第二校正处理通过放大上述第二像素单元的输出信号来校正上述第二像素单元的输出信号，上述校正处理部至少使用摄像时F值来决定执行上述第一校正处理和上述第二校正处理中的哪一个，所述摄像时F值是用于取得成为校正对象的信号的摄像时的上述光学系统所含的光圈的F值。
公开的信号处理装置具备：平均计算部，算出位于上述第二像素单元周围的上述第一像素单元的输出信号的平均；及平坦度计算部，算出位于上述第二像素单元周围的上述第一像素单元的输出信号的平坦度，上述校正处理部使用上述平均值、上述平坦度及上述摄像时F值，决定执行上述第一校正处理和上述第二校正处理中的哪一个。
公开的信号处理装置中，上述平坦度是方差，上述校正处理部在上述方差以及平均满足第一条件时进行上述第一校正处理，在上述方差以及平均满足第二条件时进行上述第二校正处理，上述信号处理装置具备：存储部，存储多种上述第一条件和上述第二条件的组合，上述多种的组合与将能够设定的上述F值的范围分割而获得的各分割范围分别对应地决定，上述校正处理部从上述多种的组合中选择与包括上述摄像时F值在内的上述分割范围对应的组合而使用。
公开的信号处理装置中，上述第一条件是以下条件：在将上述平均设为第一轴、将上述方差设为第二轴的图表中连接标绘了上述平均以及方差的点和原点的直线的斜率小于预先确定的斜率阈值，上述第二条件是上述直线的斜率为上述斜率阈值以上的条件，上述多种的组合各自的上述斜率阈值不同。
公开的信号处理装置中，上述第二像素单元包括对通过上述光学系统的光瞳区域的不同的部分的多个光束分别进行受光的多种像素单元，成为上述各分割范围的边界的F值对应上述多种像素单元的每一像素单元而被决定不同的值。
公开的信号处理装置中，成为上述各分割范围的边界的F值根据上述第一像素单元及上述第二像素单元以二维状配置的区域中的、上述第二像素单元的位置而决定不同的值。
公开的信号处理装置中，成为上述各分割范围的边界的F值根据上述光学系统的焦距而决定不同的值。
公开的信号处理装置的上述校正处理部在上述摄像时F值小于预先确定的第一阈值时进行上述第一校正处理，在上述摄像时F值为上述第一阈值以上时进行上述第二校正处理。
公开的信号处理装置的上述第二像素单元包括对通过上述光学系统的光瞳区域的不同的部分的多个光束分别进行受光的多种像素单元，对应上述多种像素单元的每一像素单元而决定不同的值的上述第一阈值。
公开的信号处理装置中的上述第一阈值根据上述第一像素单元及上述第二像素单元以二维状配置的区域中的、上述第二像素单元的位置而决定不同的值。
公开的信号处理装置中的上述第一阈值根据上述光学系统的焦距而决定不同的值。
公开的信号处理装置的上述校正处理部在上述第一校正处理中，使用位于以上述第二像素单元为中心的第一范围的多个上述第一像素单元的输出信号进行校正，在上述第二校正处理中，将上述第二像素单元的输出信号乘以增益而进行上述放大，上述增益用于使上述第二像素单元的输出信号接近位于比以上述第二像素单元为中心的上述第一范围宽的第二范围的多个上述第一像素单元的输出信号的平均。
公开的摄像装置具备上述信号处理装置和上述摄像元件，上述光学系统构成为能够装卸。
公开的摄像装置具备上述信号处理装置和上述摄像元件。
公开的信号校正方法，对从摄像元件的第二像素单元输出的信号进行校正，上述摄像元件经由光学系统拍摄被摄体并包括二维状配置的、摄像用的多个第一像素单元以及焦点检测用的多个第二像素单元，上述信号校正方法包括：校正处理步骤，进行第一校正处理和第二校正处理的任一个，上述第一校正处理通过将使用位于上述第二像素单元周围的上述第一像素单元的输出信号而生成的信号置换为上述第二像素单元的输出信号来校正该第二像素单元的输出信号，上述第二校正处理通过放大上述第二像素单元的输出信号来校正上述第二像素单元的输出信号，在上述校正处理步骤中，至少使用摄像时F值来决定执行上述第一校正处理和上述第二校正处理中的哪一个，所述摄像时F值是用于取得成为校正对象的信号的摄像时的上述光学系统所含的光圈的F值。
工业实用性
根据本发明，可以提供能够精度良好地校正焦点检测用的像素单元的输出信号而提高摄像画质的信号处理装置及具备该信号处理装置的摄像装置以及信号校正方法。
对本发明详细地且参照特定的实施方式作了说明，但对于本领域的技术人员而言显然在不脱离本发明的精神和范围情况下能够施加各种变形或修改。
本申请基于2012年5月10日提出的日本专利申请(特愿2012-108560)，其内容作为参照而并入本文中。
附图标记说明
5  固体摄像元件
30  摄像用像素单元
31R、31L  焦点检测用像素单元
17  数字信号处理部

Claims (15)

1.一种信号处理装置，对来自经由光学系统拍摄被摄体的摄像元件的信号进行处理，所述摄像元件包括二维状配置的、摄像用的多个第一像素单元及焦点检测用的多个第二像素单元，
所述信号处理装置具备校正处理部，进行第一校正处理和第二校正处理的任一个，所述第一校正处理通过将使用位于所述第二像素单元周围的所述第一像素单元的输出信号而生成的信号置换为所述第二像素单元的输出信号来校正该第二像素单元的输出信号，所述第二校正处理通过放大所述第二像素单元的输出信号来校正所述第二像素单元的输出信号，
所述校正处理部至少使用摄像时F值来决定执行所述第一校正处理和所述第二校正处理中的哪一个，所述摄像时F值是用于取得成为校正对象的信号的摄像时的所述光学系统所含的光圈的F值。
2.如权利要求1所述的信号处理装置，其中，具备：
平均计算部，算出位于所述第二像素单元周围的所述第一像素单元的输出信号的平均；及
平坦度计算部，算出位于所述第二像素单元周围的所述第一像素单元的输出信号的平坦度，
所述校正处理部使用所述平均值、所述平坦度及所述摄像时F值，决定执行所述第一校正处理和所述第二校正处理中的哪一个。
3.如权利要求2所述的信号处理装置，其中，
所述平坦度是方差，
所述校正处理部在所述方差以及平均满足第一条件时进行所述第一校正处理，在所述方差以及平均满足第二条件时进行所述第二校正处理，
所述信号处理装置具备：存储部，存储多种所述第一条件和所述第二条件的组合，
所述多种的组合与将能够设定的所述F值的范围分割而获得的各分割范围分别对应地决定，
所述校正处理部从所述多种的组合中选择与包括所述摄像时F值在内的所述分割范围对应的组合而使用。
4.如权利要求3所述的信号处理装置，其中，
所述第一条件是以下条件：在将所述平均设为第一轴、将所述方差设为第二轴的图表中连接标绘了所述平均以及方差的点和原点的直线的斜率小于预先确定的斜率阈值，
所述第二条件是所述直线的斜率为所述斜率阈值以上的条件，
所述多种的组合各自的所述斜率阈值不同。
5.如权利要求3或4所述的信号处理装置，其中，
所述第二像素单元包括对通过所述光学系统的光瞳区域的不同的部分的多个光束分别进行受光的多种像素单元，
成为所述各分割范围的边界的F值对应所述多种像素单元的每一像素单元而被决定不同的值。
6.如权利要求3～5中任一项所述的信号处理装置，其中，
成为所述各分割范围的边界的F值根据所述第一像素单元及所述第二像素单元以二维状配置的区域中的、所述第二像素单元的位置而决定不同的值。
7.如权利要求3～6中任一项所述的信号处理装置，其中，
成为所述各分割范围的边界的F值根据所述光学系统的焦距而决定不同的值。
8.如权利要求1所述的信号处理装置，其中，
所述校正处理部在所述摄像时F值小于预先确定的第一阈值时进行所述第一校正处理，在所述摄像时F值为所述第一阈值以上时进行所述第二校正处理。
9.如权利要求8所述的信号处理装置，其中，
所述第二像素单元包括对通过所述光学系统的光瞳区域的不同的部分的多个光束分别进行受光的多种像素单元，
对应所述多种像素单元的每一像素单元而决定不同的值的所述第一阈值。
10.如权利要求8或9所述的信号处理装置，其中，
所述第一阈值根据所述第一像素单元及所述第二像素单元以二维状配置的区域中的、所述第二像素单元的位置而决定不同的值。
11.如权利要求8～10中任一项所述的信号处理装置，其中，
所述第一阈值根据所述光学系统的焦距而决定不同的值。
12.如权利要求1～11中任一项所述的信号处理装置，其中，
所述校正处理部在所述第一校正处理中，使用位于以所述第二像素单元为中心的第一范围的多个所述第一像素单元的输出信号进行校正，在所述第二校正处理中，将所述第二像素单元的输出信号乘以增益而进行所述放大，所述增益用于使所述第二像素单元的输出信号接近位于比以所述第二像素单元为中心的所述第一范围宽的第二范围的多个所述第一像素单元的输出信号的平均。
13.一种摄像装置，具备：
权利要求1～12中任一项所述的信号处理装置；及
所述摄像元件，
所述光学系统构成为能够装卸。
14.一种摄像装置，具备：
权利要求1～12中任一项所述的信号处理装置；及
所述摄像元件。
15.一种信号校正方法，对从摄像元件的第二像素单元输出的信号进行校正，所述摄像元件经由光学系统拍摄被摄体并包括二维状配置的、摄像用的多个第一像素单元以及焦点检测用的多个第二像素单元，
所述信号校正方法具备：校正处理步骤，进行第一校正处理和第二校正处理的任一个，所述第一校正处理通过将使用位于所述第二像素单元周围的所述第一像素单元的输出信号而生成的信号置换为所述第二像素单元的输出信号来校正该第二像素单元的输出信号，所述第二校正处理通过放大所述第二像素单元的输出信号来校正所述第二像素单元的输出信号，
在所述校正处理步骤中，至少使用摄像时F值来决定执行所述第一校正处理和所述第二校正处理中的哪一个，所述摄像时F值是用于取得成为校正对象的信号的摄像时的所述光学系统所含的光圈的F值。
CN201380024507.4A 2012-05-10 2013-04-03 信号处理装置、摄像装置、信号校正方法 Active CN104285437B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-108560 2012-05-10
JP2012108560 2012-05-10
PCT/JP2013/060209 WO2013168493A1 (ja) 2012-05-10 2013-04-03 信号処理装置、撮像装置、信号補正方法

Publications (2)

Publication Number Publication Date
CN104285437A true CN104285437A (zh) 2015-01-14
CN104285437B CN104285437B (zh) 2016-06-29

Family

ID=49550546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380024507.4A Active CN104285437B (zh) 2012-05-10 2013-04-03 信号处理装置、摄像装置、信号校正方法

Country Status (4)

Country Link
US (1) US9344651B2 (zh)
JP (1) JP5677625B2 (zh)
CN (1) CN104285437B (zh)
WO (1) WO2013168493A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108852401A (zh) * 2018-07-11 2018-11-23 上海联影医疗科技有限公司 一种校正表生成方法、装置、ct系统及存储介质
CN114679551A (zh) * 2020-12-24 2022-06-28 广东京之映科技有限公司 固体摄像装置、固体摄像装置的信号处理方法以及电子机器

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620522B2 (ja) * 2013-01-07 2014-11-05 オリンパスイメージング株式会社 撮像装置及び撮像方法
US10440299B2 (en) 2015-09-04 2019-10-08 Apple Inc. Correcting pixel defects based on defect history in an image processing pipeline
US9804357B2 (en) 2015-09-25 2017-10-31 Qualcomm Incorporated Phase detection autofocus using masked and unmasked photodiodes
US9420164B1 (en) 2015-09-24 2016-08-16 Qualcomm Incorporated Phase detection autofocus noise reduction
EP3447678A1 (en) * 2017-08-21 2019-02-27 Axis AB Method and image processing device for detecting a portion of an image
US12070182B2 (en) 2019-03-29 2024-08-27 Sony Group Corporation Signal processing device, imaging device, and signal processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662588A (zh) * 2008-08-25 2010-03-03 佳能株式会社 摄像设备、摄像系统和焦点检测方法
JP2010093757A (ja) * 2008-10-10 2010-04-22 Canon Inc 撮像装置、その制御方法及びプログラム
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
JP2011081271A (ja) * 2009-10-08 2011-04-21 Canon Inc 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711261B2 (en) 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP4935161B2 (ja) * 2006-04-11 2012-05-23 株式会社ニコン 撮像装置、カメラおよび画像処理方法
JP5133533B2 (ja) * 2006-08-04 2013-01-30 株式会社ニコン 撮像装置
JP5371331B2 (ja) 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101809994A (zh) * 2007-08-10 2010-08-18 佳能株式会社 摄像设备及其控制方法
CN101662588A (zh) * 2008-08-25 2010-03-03 佳能株式会社 摄像设备、摄像系统和焦点检测方法
JP2010093757A (ja) * 2008-10-10 2010-04-22 Canon Inc 撮像装置、その制御方法及びプログラム
JP2011081271A (ja) * 2009-10-08 2011-04-21 Canon Inc 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108852401A (zh) * 2018-07-11 2018-11-23 上海联影医疗科技有限公司 一种校正表生成方法、装置、ct系统及存储介质
CN108852401B (zh) * 2018-07-11 2022-04-15 上海联影医疗科技股份有限公司 一种校正表生成方法、装置、ct系统及存储介质
CN114679551A (zh) * 2020-12-24 2022-06-28 广东京之映科技有限公司 固体摄像装置、固体摄像装置的信号处理方法以及电子机器
CN114679551B (zh) * 2020-12-24 2024-01-02 广东京之映科技有限公司 固体摄像装置、固体摄像装置的信号处理方法以及电子机器

Also Published As

Publication number Publication date
JPWO2013168493A1 (ja) 2016-01-07
US9344651B2 (en) 2016-05-17
JP5677625B2 (ja) 2015-02-25
CN104285437B (zh) 2016-06-29
US20150062400A1 (en) 2015-03-05
WO2013168493A1 (ja) 2013-11-14

Similar Documents

Publication Publication Date Title
CN104285437B (zh) 信号处理装置、摄像装置、信号校正方法
JP5657182B2 (ja) 撮像装置及び信号補正方法
JP5690974B2 (ja) 撮像装置及び合焦制御方法
US10244165B2 (en) Imaging device
US10516860B2 (en) Image processing method, storage medium, and terminal
US10244166B2 (en) Imaging device
JP6031587B2 (ja) 撮像装置、信号処理方法、信号処理プログラム
US9485408B2 (en) Imaging apparatus and exposure determining method
CN104520745A (zh) 摄像装置
JPWO2013190899A1 (ja) 撮像装置及び自動焦点調節方法
CN104823094A (zh) 摄像装置及对焦控制方法
JP5978411B2 (ja) 撮像装置及び合焦制御方法
JP6028112B2 (ja) 撮像装置及び合焦制御方法
CN104813648A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US9509897B2 (en) Imaging apparatus and its focus control method
WO2015141081A1 (ja) 撮像装置及び合焦制御方法
WO2018181164A1 (ja) 撮像装置及び画像処理方法
CN104871526A (zh) 图像处理装置、摄像装置、图像处理方法、图像处理程序
JP2017225011A (ja) 傷画素補正システムおよび傷画素補正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant