CN101809994A - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN101809994A
CN101809994A CN200880102938A CN200880102938A CN101809994A CN 101809994 A CN101809994 A CN 101809994A CN 200880102938 A CN200880102938 A CN 200880102938A CN 200880102938 A CN200880102938 A CN 200880102938A CN 101809994 A CN101809994 A CN 101809994A
Authority
CN
China
Prior art keywords
pixel
image
focus detection
images
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880102938A
Other languages
English (en)
Other versions
CN101809994B (zh
Inventor
瓦田昌大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2007209697A external-priority patent/JP4823167B2/ja
Priority claimed from JP2007209699A external-priority patent/JP4823169B2/ja
Priority claimed from JP2007209698A external-priority patent/JP4823168B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101809994A publication Critical patent/CN101809994A/zh
Application granted granted Critical
Publication of CN101809994B publication Critical patent/CN101809994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种摄像设备，包括：摄像元件，其包括用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换的第一像素以及包括用于对将来自摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素的第二像素；焦点检测器，用于基于来自第二像素的输出检测摄像光学系统的焦点状态；频率分量检测器，用于检测形成在第一像素上的被摄体图像的空间频率分量；图像生成器，用于基于来自第一像素的输出，生成根据来自摄像元件的输出所获得的图像中与第二像素相对应的部分图像。该设备包括控制器，该控制器根据由频率分量检测器检测到的空间频率分量切换是否使图像生成器生成所述部分图像。

Description

摄像设备及其控制方法
技术领域
本发明涉及诸如数字照相机或摄像机的摄像设备，尤其涉及基于来自摄像元件的输出进行焦点检测的摄像设备。
背景技术
日本特开2000-156823公开了以下摄像设备，其中，包括在该摄像设备所使用的摄像元件中的一些像素(焦点检测像素)配置有与其它像素的光学特性不同的光学特性，以基于来自这些焦点检测像素的输出进行焦点检测。
在日本特开2000-156823所公开的摄像设备中，在摄像元件部中布置有彼此成对的多个焦点检测像素。图5示出在像素矩阵的一些行中布置有焦点检测像素的摄像元件的像素布置的一个例子。
在图5中，附图标记R、G和B分别表示配置有红色滤波器、绿色滤波器和蓝色滤波器的普通摄像像素。附图标记S1和S2分别表示光学特性与摄像像素的光学特性不同的第一焦点检测像素和第二焦点检测像素。
图6示出第一焦点检测像素S1的结构。在图6中，微透镜501形成在第一焦点检测像素的光入射侧。附图标记502表示用于形成提供微透镜501的平坦表面的平面层。
附图标记503表示遮光层，该遮光层具有相对于第一焦点检测像素S 1的光电转换区域504的中心O向一个方向偏心的开口。
图7示出第二焦点检测像素S2的结构。在图7中，微透镜601形成在第二焦点检测像素的光入射侧。附图标记602表示用于形成提供微透镜601的平坦表面的平面层。
附图标记603表示遮光层，该遮光层具有相对于第二焦点检测像素S2的光电转换区域604的中心O偏心的开口。遮光层603的开口沿与第一焦点检测像素S1中所设置的遮光层503的开口的偏心方向相反的方向偏心。即，遮光层503和603在相对于第一和第二焦点检测像素S1和S2的微透镜的光轴的对称位置处各自具有开口。
利用这种结构，从第一焦点检测像素S1和从第二焦点检测像素S2观看摄像光学系统等同于对称分割摄像光学系统的瞳。
在图5中，在包含第一焦点检测像素S1的行中和包含第二焦点检测像素S2的行中，随着摄像元件中的像素数量增加，形成彼此更加近似的两个图像。当摄像光学系统处于相对于被摄体的对焦状态时，从分别包含第一焦点检测像素S1和第二焦点检测像素S2的行所获得的输出(图像信号)彼此一致。
另一方面，当摄像光学系统离焦(out of focus)时，在从分别包含第一焦点检测像素S1和第二焦点检测像素S2的行所获得的图像信号中产生了相位差。前焦点状态和后焦点状态中的相位差的方向彼此相反。
图8A和8B示出焦点状态和相位差之间的关系。在这些图中，示出图7所示的两种焦点检测像素S1和S2彼此较接近，并且由符号A和B来表示这两种焦点检测像素S1和S2。省略了摄像像素。
将来自被摄体上特定点的光束分割成光束ΦLa和光束ΦLb，其中，前者通过与焦点检测像素A相对应的分割瞳入射至焦点检测像素A，后者通过与焦点检测像素B相对应的分割瞳入射至焦点检测像素B。这些光束来自被摄体上的同一点。因此，当摄像光学系统处于对焦状态时，如图8A所示，这些光束通过同一微透镜并到达摄像元件上的一个点。因此，从包含第一焦点检测像素A(S1)和第二焦点检测像素B(S2)的行分别获得的图像信号彼此一致。
另一方面，如图8B所示，当摄像光学系统离焦了x时，根据入射至微透镜上的光束ΦLa和ΦLb的入射角的变化，这两个光束ΦLa和ΦLb的到达位置彼此偏移。因此，在从包含第一焦点检测像素A(S1)和第二焦点检测像素B(S2)的行分别获得的图像信号之间产生相位差。
日本特开2000-156823所公开的摄像设备采用以上原理利用摄像元件进行焦点检测。
然而，当使用这种包含焦点检测像素的摄像元件获得静止图像时，丢失了与焦点检测像素的位置相对应的像素数据。由于焦点检测像素具有与普通摄像像素的视野不同的视野，因此使用从焦点检测像素所获得的信号作为用于静止图像的图像信号，将引起来自焦点检测像素的信号与来自该焦点检测像素的周围像素的信号之间的不连续性，这使得不能获得好的图像。
为了解决该问题，在日本特开2000-156823所公开的摄像设备中，使用来自焦点检测像素的周围像素的图像信号对与来自焦点检测像素的信号相对应的图像信号进行插值。
在图5所示的摄像元件的像素布置中，将来自周围像素的插值数据插入至所拍摄的图像中、与焦点检测像素S1和S2相对应的部分。在图5中，将用于摄像的R、G和B像素按拜尔排列(Bayerarrangement)对齐，并且将一些G像素替换为焦点检测像素S1和S2。对于由于存在焦点检测像素S1和S2而丢失的G像素的数据，提供根据位于斜接该G像素的位置处的4个G像素的数据所生成的合成像素数据。
然而，如在日本特开2000-156823中所公开的，通过使用焦点检测像素的周围像素的图像信号来对这些焦点检测像素的图像信号进行插值，这可能使得与由其它区域的像素所获得的图像相比，降低了根据这些周围像素所获得的图像的清晰度。
当接收用于形成具有低空间频率的被摄体图像的光时，由于焦点检测像素和周围摄像像素之间的视野差异，因此，相对于来自焦点检测像素的周围摄像像素的图像信号，来自该焦点检测像素的图像信号的连续性可能是低的。因此，优选基于来自周围摄像像素的图像信号对焦点检测像素的位置处的图像信号进行插值。在这种情况下，由于被摄体图像的空间频率低，因此由于插值所引起的清晰度降低很难显现。
另一方面，当接收用于形成具有高空间频率的被摄体图像的光时，相对于来自焦点检测像素的周围摄像像素的图像信号，焦点检测像素的位置处的图像信号的连续性最初是低的。因此，由于插值所引起的清晰度降低变得明显。相应地，随着焦点检测像素的数量增加，由于插值而清晰度降低的图像区域增加，并且所获得的图像的质量下降。
在将具有不同视野的相位差传感器设置在摄像元件上并基于由这些相位差传感器所获得的相位差进行焦点检测时，这些传感器在其正面上设置有用于进行瞳分割的光圈。相位差传感器在其光入射面上没有设置滤色器。因此，从相位差传感器输出的图像信号具有与位于其周围的像素的信号水平不同的信号水平，这使得不能将从相位差传感器输出的图像信号照原样用于静止图像数据。
顺便提及，通常已知具有大的离焦量的焦点位置处的图像信号包含小的高频分量。相反，具有小的离焦量的焦点位置处的图像信号包含离焦范围中最大的高频分量。
发明内容
本发明提供即使在摄像元件中焦点检测像素的数量增加时，也能够获得具有高清晰度的图像的摄像设备及其控制方法。
根据本发明的方面，提供一种摄像设备，包括：
摄像元件，其包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素；
焦点检测器，用于基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；
频率分量检测器，用于检测形成在所述第一像素上的所述被摄体图像的空间频率分量；
图像生成器，用于基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及
控制器，用于根据由所述频率分量检测器检测到的空间频率分量，切换是否使所述图像生成器生成所述部分图像。
根据本发明的另一方面，提供一种摄像设备的控制方法，所述摄像设备包括摄像元件，所述摄像元件包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素，所述控制方法包括以下步骤：基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；检测形成在所述第一像素上的所述被摄体图像的空间频率分量；基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及根据所检测到的空间频率分量切换是否生成所述部分图像。
根据本发明的又一方面，提供一种摄像设备，包括：摄像元件，其包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素；焦点检测器，用于基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；图像生成器，用于基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及控制器，用于根据由所述焦点检测器所检测到的焦点状态，切换是否使所述图像生成器生成所述部分图像。
根据本发明的再一方面，提供一种摄像设备的控制方法，所述摄像设备包括摄像元件，所述摄像元件包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素，所述控制方法包括以下步骤：基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及根据由所述焦点检测器所检测到的焦点状态，切换是否生成所述部分图像。
根据本发明的再一方面，提供一种摄像设备，包括：摄像元件，其包括第一像素和第二像素，所述第一像素对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括对从来自所述摄像光学系统的光束分割后的光束进行光电转换的多个焦点检测像素；焦点检测器，用于基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；频率分量检测器，用于检测在所述第一像素上形成的被摄体图像的空间频率分量；图像生成器，用于基于来自所述第一像素的输出，生成与由来自所述摄像元件的输出所获得的图像的所述第二像素相对应的部分图像；以及控制器，用于在所述焦点检测器检测到焦点状态时，根据检测到的焦点状态切换是否使所述图像生成器生成所述部分图像，并且在所述焦点检测器未检测到焦点状态时，根据由所述频率分量检测器检测到的空间频率分量，切换是否使所述图像生成器生成所述部分图像。
根据本发明的再一方面，提供一种摄像设备的控制方法，所述摄像设备包括摄像元件，所述摄像元件包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素，所述控制方法包括以下步骤：基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；检测形成在所述第一像素上的所述被摄体图像的空间频率分量；基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及当检测到所述焦点状态时，根据所检测到的焦点状态切换是否生成所述部分图像，并且当没有检测到所述焦点状态时，根据所检测到的空间频率分量切换是否生成所述部分图像。
根据以下参考附图对实施例的说明，本发明的其它方面将变得清楚。
附图说明
图1是示出作为本发明第一实施例(实施例1)的数字照相机的结构的框图。
图2是示出实施例1中摄像像素和焦点检测像素的布置的图。
图3是示出实施例1的照相机的操作的流程图。
图4是示出作为本发明第二实施例(实施例2)的数字照相机的结构的框图。
图5是示出摄像像素和焦点检测像素的布置的图。
图6是示出第一焦点检测像素的结构的图。
图7是示出第二焦点检测像素的结构的图。
图8A是根据焦点状态(对焦状态)说明图像信号的相位差的示意图。
图8B是根据焦点状态(前焦点状态)说明图像信号的相位差的示意图。
图9是示出作为本发明第三实施例(实施例3)的数字照相机的结构的框图。
图10是示出实施例3的照相机的操作的流程图。
图11是示出作为本发明第四实施例(实施例4)的数字照相机的结构的框图。
图12是示出实施例4的照相机的操作的流程图。
具体实施方式
以下将参考附图来说明本发明的典型实施例。
实施例1
图1示出作为本发明第一实施例(实施例1)的摄像设备的数字照相机的结构。
照相机100包括：摄像光学系统101，其利用光束形成被摄体的被摄体图像；透镜控制器102，用于控制摄像光学系统101中所包括的调焦透镜(未示出)的位置；以及光圈103，用于调节通过摄像光学系统101的光量。照相机100还包括由CMOS传感器构成的摄像元件104，作为光电转换元件。利用来自摄像光学系统101的光束，在摄像元件104的光接收面上形成被摄体图像。
摄像元件104包括由用于对由摄像光学系统101所形成的被摄体图像进行光电转换的多个摄像像素所构成的摄像像素(第一像素)105群，其中各个摄像像素分别具有R、G和B滤色器之一。摄像像素105输出用于生成被摄体图像的图像信号。摄像元件104还包括输出用于检测摄像光学系统101的焦点状态(焦点检测)的成对图像信号的焦点检测像素(第二像素)106群。
焦点检测像素106群包括用于对由后述瞳分割光学系统107进行瞳分割后的光束进行光电转换的多个第一焦点检测像素和多个第二焦点检测像素。多个第一焦点检测像素形成第一相位差传感器，并且多个第二焦点检测像素形成第二相位差传感器。第一相位差传感器输出上述成对图像信号中的一个图像信号，并且第二相位差传感器输出上述成对图像信号中的另一个图像信号。
摄像元件104还包括瞳分割光学系统107，瞳分割光学系统107用于使来自摄像光学系统101的光束的瞳分割后的光束分别入射至第一相位差传感器和第二相位差传感器。
图2示出本实施例中使用的摄像元件104的像素布置。在图2中，由S1和S2来分别表示焦点检测像素106中的第一焦点检测像素和第二焦点检测像素。
第一焦点检测像素和第二焦点检测像素的结构与图6和图7所示的结构类似。即，配置第一焦点检测像素S1和第二焦点检测像素S2，以使得第一焦点检测像素S1和第二焦点检测像素S2各自的遮光层在相对于用作瞳分割光学系统107的微透镜的光轴的对称位置处具有开口。
在图2中，离散地插入了第一焦点检测像素S1的像素行构成第一相位差传感器。位于与第一相位差传感器相距预定距离(在图2中该距离对应于一个像素)处、并且离散地插入了第二焦点检测像素S2的像素行构成第二相位差传感器。包括第一相位差传感器和第二相位差传感器的焦点检测像素(第二像素)群的一个区域构成一个焦点检测区域。在图2中，在摄像元件104的上部和下部中分别布置有第一焦点检测区域和第二焦点检测区域。
如图1所示，照相机100包括焦点检测部(焦点检测器)108，其使用相关计算确定从各焦点检测区域的第一相位差传感器和第二相位差传感器输出的成对图像信号之间的相位差。
这里，“从第一相位差传感器和第二相位差传感器输出的成对图像信号(换言之，从焦点检测像素106输出的成对图像信号)”基本上是仅根据来自焦点检测像素S1和S2的输出信号所生成的成对图像信号。然而，可以根据来自整个焦点检测像素群的输出信号生成该成对图像信号。
焦点检测部108基于相位差计算离焦量，所述离焦量表示摄像光学系统101相对于在焦点检测区域上形成光学图像的被摄体的焦点状态。
在本实施例中，在焦点检测部108计算离焦量时，该设备可以被配置使得焦点检测部108仅计算图像信号中的相位差，并且由后面将说明的照相机控制器116基于该相位差来计算离焦量。在本实施例中，将焦点状态描述为离焦量，然而作为替代，还可以采用相位差作为焦点状态。
因而，焦点检测部108针对各个焦点检测区域单独地进行焦点检测(离焦量计算)。
在各个焦点检测像素106(第一焦点检测像素S1和第二焦点检测像素S2)中，如从图6和图7可以看出，由于对各焦点检测像素设置了遮光层而限制了视野。因此，来自焦点检测像素106的图像信号的水平与从摄像像素105中位于焦点检测像素106附近的多个像素(在下文，称为“相邻像素”)输出的图像信号的水平不同(例如，低于)。
因此，为了使来自焦点检测像素106的图像信号的水平接近来自相邻像素的图像信号的水平，照相机100包括增益调节部(增益调节器)110，其对来自焦点检测像素106的图像信号进行增益调节。
此外，照相机100包括空间频率检测部(频率分量检测器)109，其检测来自相邻像素(摄像像素105)的图像信号中所包含的特定频率分量(高频分量)的强度。该高频分量表示形成在相邻像素上的被摄体图像的空间频率分量。
另外，照相机100包括像素插值部(图像生成器)111，其通过基于来自相邻像素的输出进行插值来生成与焦点检测像素106相对应的图像数据。换言之，像素插值部111基于来自摄像像素105(相邻像素)的输出，生成根据来自摄像元件104的输出所获得的整个图像中与焦点检测像素106相对应的部分图像。
“与焦点检测像素106相对应的图像数据(部分图像)”可以是与覆盖整个焦点检测像素106群的区域相对应的图像数据，或者是针对第一焦点检测像素S1和第二焦点检测像素S2中的每一个的图像数据。
照相机100还包括图像处理部112，其对从摄像像素105输出的图像信号进行例如伽玛校正、白平衡调节、用于显示的重新采样和图像压缩编码等的图像处理。
此外，照相机100包括：显示部113，用于显示从图像处理部112输出的图像数据(静止图像数据)；和记录部114，用于将图像数据记录在诸如半导体存储器或光盘等的记录介质上。照相机100还包括：操作部115，其使得用户能够进行输入操作；和照相机控制器116，用于控制整个照相机100。
照相机控制器116基于由焦点检测部108计算出的离焦量计算调焦透镜的驱动量，以获得对焦状态。将所计算出的驱动量输出至透镜控制器102，透镜控制器102基于该驱动量移动调焦透镜。通过这种方式进行自动调焦(AF)，以获得摄像光学系统101的对焦状态。
图3示出本实施例的照相机的操作(主要是照相机控制器116的操作)。根据设置在照相机控制器116内的存储器(未示出)中所存储的计算机程序来执行该操作。
当从操作部115输入了AF命令信号(例如，响应于对未示出的释放按钮的半按下操作所输出的信号)时，照相机控制器116从步骤S301开始操作。尽管这里没有特别说明，然而与AF操作并行地进行包括曝光计算的摄像准备操作。
在步骤S301中，照相机控制器116使摄像元件104开始焦点检测像素106的电荷累积。在完成电荷累积之后，照相机控制器116使焦点检测像素106将图像信号输出至焦点检测部108。焦点检测部108如上所述计算离焦量，然后将该离焦量输出至照相机控制器116。照相机控制器116如上所述计算调焦透镜的驱动量，然后将该驱动量输出至透镜控制器102以使调焦透镜朝向对焦位置移动。
在移动调焦透镜之后，由于曝光条件可能因被摄体图像的变化已改变，因此在新的调焦透镜位置处再次进行曝光计算。之后，处理进入步骤S302。
在步骤S302中，照相机控制器116判断是否已从操作部115向照相机控制器116输入了摄像命令信号(例如，响应于对释放按钮的全按下操作所输出的信号)。如果尚未输入摄像命令信号，则重复该步骤中的判断。另一方面，如果已经输入了摄像命令信号，则处理进入步骤S303。
在步骤S303中，照相机控制器116使摄像元件104开始用于摄像的摄像像素105和焦点检测像素106的电荷累积，从而获得被摄体图像(图像数据)。在完成电荷累积之后，照相机控制器116使摄像像素105将图像信号输出至空间频率检测部109和像素插值部111，并使焦点检测像素106将图像信号输出至空间频率检测部109和增益调节部110。在输出图像信号之后，处理进入步骤S304。
在步骤S304中，照相机控制器116使计数器初始化(n＝1)。计数器的数值n与指派给摄像元件104上所设置的n个焦点检测区域中的各个焦点检测区域的编号相对应。
接着，在步骤S305中，照相机控制器116使空间频率检测部109从布置在第n个焦点检测区域中的焦点检测像素106附近(周围)的相邻像素的图像信号中，检测高频分量。
然后，照相机控制器116判断所检测到的高频分量的强度是否高于预定阈值(预定值)。该判断用于判断形成在第n个焦点检测区域上的被摄体图像的空间频率是否具有以下值：利用该值，通过由用于生成与该焦点检测区域(焦点检测像素106)相对应的图像数据的像素插值部111进行图像数据插值，可以获得好的整个图像。
在大多情况下，处于离焦量大的状态下的图像信号(被摄体图像)包含小的高频分量(即，被摄体的对比度低)。相反，处于离焦量小的状态下(即，接近对焦状态)的图像信号包含大的高频分量(即，对比度高)。如上所述，当在被摄体图像的空间频率低的状态下进行由像素插值部111所进行的图像数据插值时，图像的清晰度的降低不明显，而当在被摄体图像的空间频率高的状态下进行图像数据插值时，图像的清晰度的降低明显。
因此，在本实施例中，照相机控制器116根据被摄体图像的空间频率(图像信号的高频分量)的强度，切换是否使像素插值部111进行图像数据插值。即，如果检测到的强度高于阈值，则处理进入步骤S306而不进行图像数据插值，而如果检测到的强度低于阈值，则处理进入步骤S308以进行图像数据插值。
在步骤S306中，照相机控制器116将第n个焦点检测区域(在下文，称为“第n个焦点检测像素106”)的平均图像信号和相邻像素的平均图像信号进行比较。然后，照相机控制器116使增益调节部110调节要应用至第n个焦点检测像素106的图像信号的增益，使得这些平均图像信号的水平彼此相等，或者这些平均图像信号的水平在可被看作为彼此相等的范围内彼此接近。代替比较像素的平均图像信号，可以比较图像信号的峰值。在增益调节之后，处理进入步骤S307。
在步骤S307中，照相机控制器116将在步骤S306中增益调节后的第n个焦点检测像素106的图像信号，插入至根据来自摄像元件104的输出获得的包括摄像像素105的图像信号的图像(静止图像数据)中、与第n个焦点检测像素106相对应的区域(或位置)。这生成了将基于来自摄像像素105的图像信号的图像和基于来自第n个焦点检测像素106的增益调节后的图像信号的部分图像进行合成后的合成图像数据。照相机控制器116将该合成图像数据输出至图像处理部112。之后，处理进入步骤S310。
另一方面，在步骤S308中，照相机控制器116使像素插值部111通过基于第n个焦点检测像素106的相邻像素的图像信号进行插值计算来生成与第n个焦点检测像素106相对应的插值用部分图像数据(插值图像数据)。即，像素插值部111基于来自摄像像素105(相邻像素)的输出，生成根据来自摄像元件104的输出所获得的整个图像中、与第n个焦点检测像素106相对应的部分图像。
在本实施例中，由于摄像像素105的周期性的滤色器布置，使得特别有必要对如图2所示的焦点检测像素S1和S2的绿色成分的像素信号进行插值。因此，基于相邻像素中斜接焦点检测像素S1和S2的绿色像素的信号，生成与焦点检测像素S1和S2的位置相对应的像素信号。用于插值的相邻像素不限于如上所述的斜接焦点检测像素S1和S2的绿色像素。即，可利用位于比相邻像素更远处的其它绿色像素来基于这些像素的信号水平的位置变化来进行边缘检测，从而进行考虑到被摄体图像的边缘位置的插值计算。
在生成插值用部分图像数据之后，处理进入步骤S309。
在步骤S309中，照相机控制器116将在步骤S308中所生成的、与第n个焦点检测像素106相对应的插值用部分图像数据的图像信号，插入至根据来自摄像元件104的输出获得的包括摄像像素105的图像信号的图像(静止图像数据)中、与第n个焦点检测像素106相对应的区域(或位置)。这生成了将基于来自摄像像素105的图像信号的图像和与第n个焦点检测像素106相对应的插值用部分图像进行合成后的合成图像数据。照相机控制器116将该合成图像数据输出至图像处理部112。之后，处理进入步骤S310。
在步骤S310中，照相机控制器116判断是否已针对所有(n个)焦点检测区域完成了从步骤S305～步骤S309的处理。如果尚未针对所有(n个)焦点检测区域均已完成处理，则处理进入步骤S311，在步骤S311中，照相机控制器116使计数器值加1，然后处理返回步骤S305。由此，对下一焦点检测区域进行以上处理。另一方面，如果已针对所有(n个)焦点检测区域均完成了以上处理，则处理进入步骤S312。
在步骤S312中，照相机控制器116使图像处理部112对合成图像数据进行伽玛校正、白平衡校正、用于显示的重新采样和图像压缩编码等。图像处理部112将已进行了以上图像处理的图像数据输出至显示部113。显示部113显示该图像数据，使得用户可以检查所拍摄的图像。
此外，图像处理部112还将已进行了以上图像处理的图像数据输出至记录部114。记录部114将该图像数据记录在记录介质中。
上述操作使得即使在摄像元件104中设置有大量焦点检测像素时，也能够获得具有高清晰度的良好图像。
实施例2
图4示出作为本发明第二实施例(实施例2)的摄像设备的数字照相机的结构。在本实施例中，利用与实施例1中相同的附图标记来表示与实施例1中相同的构成元件，并且将省略对它们的说明。
实施例1说明了以下情况：照相机100包括检测来自相邻像素(摄像像素105)的图像信号中的高频分量的强度的空间频率检测部109。相反，代替空间频率检测部109，本实施例中的照相机400使用设置在用作焦点评价器的清晰度检测部401中的高频分量检测部401a。
高频分量检测部401a检测(提取)来自摄像像素105的图像信号中所包含的高频分量。清晰度检测部401基于该高频分量生成焦点评价信息(AF评价值信号)，然后将其输出至照相机控制器116。该焦点评价信息表示被摄体图像的对比度状态，换言之，被摄体图像的清晰度。
照相机控制器116使调焦透镜移动至焦点评价信息值变为最大的位置，以获得对焦状态。这是所谓的对比度检测方法AF。将该对比度检测方法AF与实施例1中所描述的使用相位差的AF方法(相位差检测方法AF)进行组合，使得能够以高精度且高速地获得对焦状态。
例如，如实施例1所述，照相机控制器116首先使用焦点检测部108进行焦点检测，并使调焦透镜移动至对焦位置附近。接着，照相机控制器116使用来自清晰度检测部401的焦点评价信息将调焦透镜移动至更精确的对焦位置。
对比度检测方法AF对于在利用照相机400拍摄运动图像时维持对焦状态也是有效的。
在本实施例中，将由高频分量检测部401a所获得的、来自相邻像素的图像信号中的高频分量的强度与图3所示步骤S305中的预定阈值进行比较。这提供了与实施例1类似的效果。
在本实施例中，在图3的步骤S305中判断强度的高频分量可能具有与用于生成焦点评价信息的高频分量的频率范围不同的频率范围。在这种情况下，可以将为了检测高频分量检测部401a中的频率分量而进行的滤波计算中所使用的滤波系数设置为，使得在检测用于判断强度的高频分量的情况和检测用于生成焦点评价信息的高频分量的情况之间可切换。
如上所述，实施例1和2各自根据被摄体图像的空间频率分量切换是否生成与第二像素相对应的部分图像。即，在被摄体图像的空间频率分量高时，实施例1和2均不生成部分图像。这使得即使在摄像元件中设置有较大数量的焦点检测像素时，也能够获得具有高清晰度的良好图像。
实施例3
图9示出作为本发明第三实施例(实施例3)的摄像设备的照相机的结构。在本实施例中，利用与实施例1中相同的附图标记来表示与实施例1中相同的构成元件或具有与实施例1中类似功能的构成元件。
本实施例的照相机700不包括实施例1所述的空间频率检测部109。
图10主要示出本实施例中的照相机控制器116的操作。根据设置在照相机控制器116内部的存储器(未示出)中所存储的计算机程序来执行该操作。
当从操作部115输入了AF命令信号(例如，响应于对未示出的释放按钮的半按下操作所输出的信号)时，照相机控制器116自步骤S401起开始操作。尽管这里没有特别说明，然而与AF操作并行地进行包括曝光计算的摄像准备操作。
在步骤S401中，照相机控制器116使摄像元件104开始焦点检测像素106的电荷累积。在完成电荷累积之后，照相机控制器116使焦点检测像素106将图像信号输出至焦点检测部108。焦点检测部108如上所述计算离焦量，然后将该离焦量输出至照相机控制器116。照相机控制器116如上所述计算调焦透镜的驱动量，然后将该驱动量输出至透镜控制器102以使调焦透镜朝向对焦位置移动。
在移动调焦透镜之后，由于曝光条件可能因被摄体图像的变化已改变，因此在新的调焦透镜位置处再次进行曝光计算。之后，处理进入步骤S402。
在步骤S402中，照相机控制器116判断是否已从操作部115向照相机控制器116输入摄像命令信号(例如，响应于对释放按钮的全按下操作所输出的信号)。如果没有输入摄像命令信号，则重复该步骤中的判断。另一方面，如果已经了输入摄像命令信号，则处理进入步骤S403。
在步骤S403中，照相机控制器116使摄像元件104开始摄像像素105和焦点检测像素106中的电荷累积以进行摄像，从而获得被摄体的图像(图像数据)。在完成电荷累积之后，照相机控制器116使摄像像素105将图像信号输出至像素插值部111，并且使焦点检测像素106将图像信号输出至焦点检测部108和增益调节部110。在输出图像信号之后，处理进入步骤S404。
在步骤S404中，照相机控制器116对计数器初始化(n＝1)。计数器的数值n与指派给摄像元件104上所设置的n个焦点检测区域中的各焦点检测区域的编号相对应。
接着，在步骤S405中，照相机控制器116从焦点检测部108获取第n个焦点检测区域的离焦量，并判断该离焦量是否小于预定阈值(预定值)。该判断还用于判断形成在第n个焦点检测区域上的被摄体图像的空间频率是否具有以下值：利用该值，通过由用于生成与该焦点检测区域(焦点检测像素106)相对应的图像数据的像素插值部111进行图像数据插值，可以获得好的整个图像。
在大多情况下，处于离焦量大的状态的图像信号(被摄体图像)包含小的高频分量(即，被摄体的对比度低)。相反，处于离焦量小的状态(即，接近于对焦状态)的图像信号包含大的高频分量(即，对比度高)。如上所述，当在被摄体图像的空间频率低的状态下进行由像素插值部111所进行的图像数据插值时，图像的清晰度的降低不明显，而当在被摄体图像的空间频率高的状态下进行图像数据插值时，图像的清晰度的降低明显。
因此，在本实施例中，照相机控制器116根据离焦量切换是否使像素插值部111进行图像数据插值。即，如果离焦量小于阈值，则处理进入步骤S406而不进行图像数据插值，而如果离焦量大于阈值，则处理进入步骤S408以进行图像数据插值。
在步骤S406中，照相机控制器116将第n个焦点检测区域(在下文，称为“第n个焦点检测像素106”)的平均图像信号与相邻像素的平均图像信号进行比较。然后，照相机控制器116使增益调节部110调节要应用于第n个焦点检测像素106的图像信号的增益，使得这些平均图像信号的水平彼此相等，或者这些平均图像信号的水平在可被看作为彼此相等的范围内彼此接近。代替比较像素的平均图像信号，可以比较图像信号的峰值。在增益调节之后，处理进入步骤S407。
在步骤S407中，照相机控制器116将在步骤S406中进行增益调节后的第n个焦点检测像素106的图像信号，插入至根据来自摄像元件104的输出获得的包括摄像像素105的图像信号的图像(静止图像数据)中、与第n个焦点检测像素106相对应的区域(或位置)。这生成了将基于来自摄像像素105的图像信号的图像和基于来自焦点检测像素106的增益调节后的图像信号的部分图像进行合成后的合成图像数据。照相机控制器116将该合成图像数据输出至图像处理部112。之后，处理进入步骤S410。
另一方面，在步骤S408中，照相机控制器116使像素插值部111通过基于第n个焦点检测像素106的相邻像素的图像信号进行插值计算来生成与第n个焦点检测像素106相对应的插值用部分图像数据(插值图像数据)。即，像素插值部111基于来自摄像像素105(相邻像素)的输出，生成根据来自摄像元件104的输出所获得的整个图像中、与第n个焦点检测像素106相对应的部分图像。
在本实施例中，由于摄像像素105的周期性的滤色器布置，使得特别有必要对图2所示的第一和第二焦点检测像素S1和S2的绿色成分的像素信号进行插值。因此，基于相邻像素中斜接焦点检测像素S1和S2的绿色像素的信号，生成与焦点检测像素S1和S2的位置相对应的像素信号。用于插值的相邻像素不限于如上所述斜接焦点检测像素S1和S2的绿色像素。即，可利用位于比相邻像素更远处的其它绿色像素来基于这些像素的信号水平的位置变化进行边缘检测，从而进行考虑到被摄体图像的边缘位置的插值计算。
在生成插值用部分图像数据之后，处理进入步骤S409。
在步骤S409中，照相机控制器116将在步骤S408中所生成的与第n个焦点检测像素106相对应的插值用部分图像数据的图像信号，插入至根据来自摄像元件104的输出获得的包括摄像像素105的图像信号的图像(静止图像数据)中、与第n个焦点检测像素106相对应的区域(或位置)。这生成了将基于来自摄像像素105的图像信号的图像和与第n个焦点检测像素106相对应的插值用部分图像进行合成后的合成图像数据。照相机控制器106将该合成图像数据输出至图像处理部112。之后，处理进入步骤S410。
在步骤S410中，照相机控制器116判断是否已针对所有(n个)焦点检测区域完成了从步骤S405～步骤S409的处理。如果尚未针对所有(n个)焦点检测区域均已完成处理，则处理进入步骤S411，在步骤S411中，照相机控制器116使计数器值增加1，然后处理返回步骤S405。由此，对下一焦点检测区域进行以上处理。另一方面，如果针对所有(n个)焦点检测区域已经完成了以上处理，则处理进入步骤S412。
在步骤S412中，照相机控制器116使图像处理部112对合成图像数据进行伽玛校正、白平衡调节、用于显示的重新采样和图像压缩编码等。图像处理部112将已经进行以上图像处理的图像数据输出至显示部113。显示部113显示该图像数据，使得用户可以检查所拍摄的图像。
此外，图像处理部112将已经进行以上图像处理的图像数据输出至记录部114。记录部114将该图像数据记录在记录介质中。
如上所述，本实施例根据摄像光学系统的焦点状态切换是否生成与第二像素相对应的部分图像。即，当例如焦点状态表示被摄体图像的空间频率高的状态时，本实施例不生成部分图像。这使得即使在摄像元件中设置有较大数量的焦点检测像素时，也能够获得具有高清晰度的良好图像。
实施例4
图11示出作为本发明第四实施例(实施例4)的摄像设备的数字照相机的结构。在本实施例中，利用与实施例1中相同的附图标记来表示与实施例1中相同的构成元件，并且将省略对它们的说明。
除实施例1所述的构成元件以外，本实施例的照相机800还包括判断切换部117。
判断切换部117在根据使用焦点检测像素106检测到的焦点状态来决定是否进行后面将说明的像素插值部111中的像素插值处理与根据由空间频率检测部109检测到的高频分量的强度来决定是否进行像素插值部111中的插值处理之间切换。判断切换部117和照相机控制器116构成控制器。
图12主要示出本实施例中的照相机控制器116的操作。根据设置在照相机控制器116内部的存储器(未示出)中所存储的计算机程序来执行该操作。
当从操作部115输入了AF命令信号(例如，响应于对未示出的释放按钮的半按下操作所输出的信号)时，照相机控制器116自步骤S501起开始操作。尽管这里没有特别说明，然而与AF操作并行地进行包括曝光计算的摄像准备操作。
在步骤S501中，照相机控制器116使摄像元件104开始焦点检测像素106的电荷累积。在完成电荷累积之后，照相机控制器116使焦点检测像素106将图像信号输出至焦点检测部108。焦点检测部108如上所述计算离焦量，然后将该离焦量输出至照相机控制器116。照相机控制器116如上所述计算调焦透镜的驱动量，并将该驱动量输出至透镜控制器102，以使调焦透镜朝向对焦位置移动。
在移动调焦透镜之后，由于曝光条件可能因被摄体图像的变化已改变，因此在新的调焦透镜位置处再次进行曝光计算。之后，处理进入步骤S502。
在步骤S502中，照相机控制器116判断是否已从操作部115向照相机控制器116输入了摄像命令信号(例如，响应于对释放按钮的全按下操作所输出的信号)。如果没有输入摄像命令信号，则重复该步骤中的判断。另一方面，如果已经输入了摄像命令信号，则处理进入步骤S503。
在步骤S503中，照相机控制器116使摄像元件104开始摄像像素105和焦点检测像素106的电荷累积以进行摄像，从而获得被摄体的图像(图像数据)。在完成电荷累积之后，照相机控制器116使摄像像素105将图像信号输出至空间频率检测部109和像素插值部111，并且使焦点检测像素106将图像信号输出至焦点检测部108和增益调节部110。在输出图像信号之后，处理进入步骤S504。
在步骤S504中，照相机控制器116对计数器初始化(n＝1)。计数器的数值n与指派给摄像元件104上所设置的n个焦点检测区域中的各焦点检测区域的编号相对应。
在步骤S505中，照相机控制器116(和判断切换部117)判断在第n个焦点检测区域中是否已成功进行了焦点检测。利用基于从焦点检测像素所获得的图像信号的相位差来确定离焦量的上述焦点检测方法(相位差检测方法)，对于具有重复图案的被摄体有时不能正确地进行焦点检测。
没有成功进行正确的焦点检测使得不能够判断根据离焦量来决定是否可以进行图像数据插值。因此，在本实施例中，在这种情况下，照相机控制器116(和判断切换部117)判断为根据空间频率检测部109中高频分量的检测结果来决定是否可以进行图像数据插值。这是因为，如果高频分量的强度高，则摄像光学系统101的离焦量可被看作为小。
当在第n个焦点检测区域中已成功进行了焦点检测时，处理进入步骤S506，而当没有成功进行(或尚未进行)焦点检测时，处理进入步骤S511。
在步骤S506中，照相机控制器116从焦点检测部108获取第n个焦点检测区域的离焦量，然后判断该离焦量是否小于预定阈值(第一预定值)。该判断还用于判断第n个焦点检测区域上所形成的被摄体图像的空间频率是否具有以下值：利用该值，通过由用于生成与该焦点检测区域(焦点检测像素106)相对应的图像数据的像素插值部111进行图像数据插值，可以获得良好的整个图像。
在大多情况下，处于离焦量大的状态的图像信号(被摄体图像)包含小的高频分量(即，被摄体的对比度低)。相反，处于离焦量小的状态(即，处于焦点状态是近对焦状态的状态)的图像信号包含大的高频分量(即，对比度高)。如上所述，当在被摄体图像的空间频率低的状态下进行由像素插值部111所进行的图像数据插值时，图像的清晰度的降低不明显，而当在被摄体图像的空间频率高的状态下进行图像数据插值时，图像的清晰度的降低明显。
因此，在本实施例中，如果焦点检测已成功，则照相机控制器116根据离焦量切换是否由像素插值部111进行图像数据插值。即，如果离焦量小于阈值，则处理进入步骤S507而不进行图像数据插值，而如果离焦量大于阈值，则处理进入步骤S509以进行图像数据插值。
在步骤S507中，照相机控制器116将第n个焦点检测区域(在下文，称为“第n个焦点检测像素106”)的平均图像信号和相邻像素的平均图像信号进行比较。然后，照相机控制器116使增益调节部110调节要应用至第n个焦点检测像素106的图像信号的增益，使得平均图像信号的水平彼此相等，或者平均图像信号的水平在可被看作为彼此相等的范围内彼此接近。代替比较像素的平均图像像素，可以比较图像信号的峰值。在增益调节之后，处理进入步骤S508。
在步骤S508中，照相机控制器116将在步骤S306中增益调节后的第n个焦点检测像素106的图像信号，插入至根据来自摄像元件104的输出获得的包括摄像像素105的图像信号的图像(静止图像数据)中、与第n个焦点检测像素106相对应的区域(或位置)。这生成了将基于来自摄像像素105的图像信号的图像和基于来自第n个焦点检测像素106的增益调节后的图像信号的部分图像进行合成后的合成图像数据。照相机控制器116将该合成图像数据输出至图像处理部112。之后，处理进入步骤S513。
另一方面，在步骤S509中，照相机控制器116使像素插值部111通过基于第n个焦点检测像素10的相邻像素的图像信号进行插值计算来生成与第n个焦点检测像素106相对应的插值用部分图像数据(插值图像数据)。即，像素插值部111基于来自摄像像素105(相邻像素)的输出，生成根据来自摄像元件104的输出所获得的整个图像中、与第n个焦点检测像素106相对应的部分图像。
在本实施例中，由于摄像像素105的周期性的滤色器布置，因此特别有必要对图2所示的焦点检测像素S1和S2的绿色成分的像素信号进行插值。因此，基于相邻像素中斜接焦点检测像素S1和S2的绿色像素的信号，生成与焦点检测像素S1和S2的位置相对应的像素信号。用于插值的相邻像素不限于如上所述斜接焦点检测像素S1和S2的绿色像素。即，可利用位于比相邻像素更远处的其它绿色像素来基于这些像素的信号水平的位置变化进行边缘检测，从而进行考虑到被摄体图像的边缘位置的插值计算。
在生成插值用部分图像数据之后，处理进入步骤S510。
在步骤S510中，照相机控制器116将在步骤S509中生成的与第n个焦点检测像素106相对应的插值用部分图像数据的图像信号，插入至根据来自摄像元件104的输出获得的包括摄像像素105的图像信号的图像(静止图像数据)中、与第n个焦点检测像素106相对应的区域(或位置)。这生成了将基于来自摄像像素105的图像信号的图像和与第n个焦点检测像素106相对应的插值用部分图像进行合成后的合成图像数据。照相机控制器116将该合成图像数据输出至图像处理部112。之后，处理进入步骤S513。
在步骤S511中，照相机控制器116使空间频率检测部109检测第n个焦点检测像素106的相邻像素的图像信号中的高频分量。
在步骤S512中，照相机控制器116判断在步骤S511中检测到的高频分量的强度是否高于预定阈值(第二阈值)。
如上所述，当高频分量的强度高于阈值(即，被摄体的对比度高)时，摄像光学系统101的离焦量可被看作为小。因此，该情况可被看作为与步骤S505中的焦点检测已经成功、并且在步骤S506中离焦量小于阈值的情况相同。另一方面，当高频分量的强度低于阈值(对比度低)时，摄像光学系统101的离焦量可被看作为大。因此，该情况可被看作为与步骤S505中的焦点检测已经成功、并且在步骤S506中离焦量大于阈值的情况相同。
即，当检测到的强度高于阈值时，处理进入步骤S507，而不进行图像数据插值，而当检测到的强度低于阈值时，处理进入步骤S509以进行图像数据插值。
在步骤S513中，照相机控制器116判断是否已针对所有(n个)焦点检测区域完成从步骤S505至步骤S512的处理。如果尚未针对所有(n个)焦点检测区域均已完成处理，则处理进入步骤S514，在步骤S514中，照相机控制器116使计数器值增加1，然后处理返回步骤S505。由此，对于下一焦点检测区域进行以上处理。另一方面，如果针对所有(n个)焦点检测区域已经完成以上处理，则处理进入步骤S515。
在步骤S515中，照相机控制器116使图像处理部112对合成图像数据进行伽玛校正、白平衡调节、用于显示的重新采样和图像压缩编码等。图像处理部112将已经进行了以上图像处理的图像数据输出至显示部113。显示部113显示该图像数据，使得用户可以检查所拍摄图像。
此外，图像处理部112还将已经进行以上图像处理的图像数据输出至记录部114。记录部114将该图像数据记录在记录介质中。
如上所述，本实施例根据摄像光学系统的焦点状态和被摄体图像的空间频率分量之一，切换是否生成与第二像素相对应的部分图像。即，当例如被摄体图像的空间频率高、或焦点状态是可以获得这种高空间频率的状态时，本实施例不生成部分图像。这使得即使在摄像元件中设置有较大数量的焦点检测像素时，也能够获得具有高清晰度的良好图像。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。
本申请要求2007年8月10日提交的日本专利申请2007-209697、2007年8月10日提交的日本专利申请2007-209698和2007年8月10日提交的日本专利申请2007-209699的优先权，在此通过引用包含其全部内容。
产业上的可利用性
提供了即使在摄像元件中设置有大量焦点检测像素时，也能够获得具有高清晰度的良好图像的摄像设备。

Claims (13)

1.一种摄像设备，包括：
摄像元件，其包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素；
焦点检测器，用于基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；
频率分量检测器，用于检测形成在所述第一像素上的所述被摄体图像的空间频率分量；
图像生成器，用于基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及
控制器，用于根据由所述频率分量检测器检测到的空间频率分量，切换是否使所述图像生成器生成所述部分图像。
2.根据权利要求1所述的摄像设备，其特征在于，当所述空间频率分量的强度高于预定值时，所述控制器不使所述图像生成器生成所述部分图像，并且当所述空间频率分量的强度低于所述预定值时，所述控制器使所述图像生成器生成所述部分图像。
3.根据权利要求1所述的摄像设备，其特征在于，还包括调节器，所述调节器用于对来自所述第二像素的输出进行增益调节，
其中，当所述控制器不使所述图像生成器生成所述部分图像时，所述控制器使所述调节器进行所述增益调节。
4.根据权利要求1所述的摄像设备，其特征在于，还包括焦点评价器，所述焦点评价器用于检测来自所述第一像素的输出中所包括的频率分量，以生成与所述被摄体图像的对比度状态相对应的焦点评价信息，
其中，所述焦点评价器用作所述频率分量检测器。
5.一种摄像设备的控制方法，所述摄像设备包括摄像元件，所述摄像元件包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素，所述控制方法包括以下步骤：
基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；
检测形成在所述第一像素上的所述被摄体图像的空间频率分量；
基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及
根据所检测到的空间频率分量切换是否生成所述部分图像。
6.一种摄像设备，包括：
摄像元件，其包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素；
焦点检测器，用于基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；
图像生成器，用于基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及
控制器，用于根据由所述焦点检测器所检测到的焦点状态，切换是否使所述图像生成器生成所述部分图像。
7.根据权利要求6所述的摄像设备，其特征在于，当表示所述焦点状态的离焦量小于预定值时，所述控制器不使所述图像生成器生成所述部分图像，并且当所述离焦量大于所述预定值时，所述控制器使所述图像生成器生成所述部分图像。
8.根据权利要求6所述的摄像设备，其特征在于，还包括调节器，所述调节器用于对来自所述第二像素的输出进行增益调节，
其中，当所述控制器不使所述图像生成器生成所述部分图像时，所述控制器使所述调节器进行所述增益调节。
9.一种摄像设备的控制方法，所述摄像设备包括摄像元件，所述摄像元件包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素，所述控制方法包括以下步骤：
基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；
基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及
根据由所述焦点检测器所检测到的焦点状态，切换是否生成所述部分图像。
10.一种摄像设备，包括：
摄像元件，其包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素；
焦点检测器，用于基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；
频率分量检测器，用于检测形成在所述第一像素上的所述被摄体图像的空间频率分量；
图像生成器，用于基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及
控制器，用于当所述焦点检测器检测到所述焦点状态时，根据所检测到的焦点状态来切换是否使所述图像生成器生成所述部分图像，并且当所述焦点检测器没有检测到所述焦点状态时，根据由所述频率分量检测器所检测到的空间频率分量来切换是否使所述图像生成器生成所述部分图像。
11.根据权利要求10所述的摄像设备，其特征在于，当表示所述焦点状态的离焦量小于第一预定值时，所述控制器不使所述图像生成器生成所述部分图像，并且当所述离焦量大于所述第一预定值时，所述控制器使所述图像生成器生成所述部分图像，以及
当所述空间频率分量的强度高于第二预定值时，所述控制器不使所述图像生成器生成所述部分图像，并且当所述空间频率分量的强度低于所述第二预定值时，所述控制器使所述图像生成器生成所述部分图像。
12.根据权利要求10所述的摄像设备，其特征在于，还包括调节器，所述调节器用于对来自所述第二像素的输出进行增益调节，
其中，当所述控制器不使所述图像生成器生成所述部分图像时，所述控制器使所述调节器进行所述增益调节。
13.一种摄像设备的控制方法，所述摄像设备包括摄像元件，所述摄像元件包括第一像素和第二像素，所述第一像素用于对由来自摄像光学系统的光束所形成的被摄体图像进行光电转换，所述第二像素包括用于对将来自所述摄像光学系统的光束分割后得到的光束进行光电转换的多个焦点检测像素，所述控制方法包括以下步骤：
基于来自所述第二像素的输出，检测所述摄像光学系统的焦点状态；
检测形成在所述第一像素上的所述被摄体图像的空间频率分量；
基于来自所述第一像素的输出，生成根据来自所述摄像元件的输出所获得的图像中与所述第二像素相对应的部分图像；以及
当检测到所述焦点状态时，根据所检测到的焦点状态切换是否生成所述部分图像，并且当没有检测到所述焦点状态时，根据所检测到的空间频率分量切换是否生成所述部分图像。
CN2008801029387A 2007-08-10 2008-08-01 摄像设备及其控制方法 Active CN101809994B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2007-209697 2007-08-10
JP2007-209698 2007-08-10
JP2007209697A JP4823167B2 (ja) 2007-08-10 2007-08-10 撮像装置
JP2007209699A JP4823169B2 (ja) 2007-08-10 2007-08-10 撮像装置
JP2007209698A JP4823168B2 (ja) 2007-08-10 2007-08-10 撮像装置
JP2007-209699 2007-08-10
PCT/JP2008/064264 WO2009022634A1 (en) 2007-08-10 2008-08-01 Image-pickup apparatus and control method therof

Publications (2)

Publication Number Publication Date
CN101809994A true CN101809994A (zh) 2010-08-18
CN101809994B CN101809994B (zh) 2012-11-14

Family

ID=40350687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801029387A Active CN101809994B (zh) 2007-08-10 2008-08-01 摄像设备及其控制方法

Country Status (4)

Country Link
US (1) US8203645B2 (zh)
EP (1) EP2179581B1 (zh)
CN (1) CN101809994B (zh)
WO (1) WO2009022634A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024260A (zh) * 2011-09-26 2013-04-03 索尼公司 摄像器件
CN103247664A (zh) * 2012-02-04 2013-08-14 剑扬股份有限公司 有机电激发光元件的画素结构
CN104285437A (zh) * 2012-05-10 2015-01-14 富士胶片株式会社 信号处理装置、摄像装置、信号校正方法
CN104580949A (zh) * 2013-10-09 2015-04-29 奥林巴斯株式会社 图像处理装置和图像处理方法
CN104813648A (zh) * 2012-12-11 2015-07-29 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104871526A (zh) * 2012-12-18 2015-08-26 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、图像处理程序
CN105580349A (zh) * 2013-09-27 2016-05-11 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105580354A (zh) * 2013-09-27 2016-05-11 奥林巴斯株式会社 摄像装置和图像处理方法
CN105830431A (zh) * 2014-06-11 2016-08-03 奥林巴斯株式会社 图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序
CN107197178A (zh) * 2012-01-13 2017-09-22 株式会社尼康 固体摄像装置以及电子相机
CN109246400A (zh) * 2012-03-30 2019-01-18 株式会社尼康 拍摄元件及拍摄装置
CN110542977A (zh) * 2014-05-01 2019-12-06 佳能株式会社 通知方法和系统

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
JP2010098663A (ja) * 2008-10-20 2010-04-30 Samsung Digital Imaging Co Ltd 撮像装置
JP5662667B2 (ja) * 2009-10-08 2015-02-04 キヤノン株式会社 撮像装置
CN102713713B (zh) * 2009-10-13 2016-01-27 佳能株式会社 焦点调节设备和焦点调节方法
JP5126261B2 (ja) * 2010-03-18 2013-01-23 株式会社ニコン カメラ
JP5434761B2 (ja) * 2010-04-08 2014-03-05 株式会社ニコン 撮像デバイスおよび撮像装置
JP2011221290A (ja) * 2010-04-09 2011-11-04 Olympus Corp 撮像装置及びカメラ
JP5638849B2 (ja) * 2010-06-22 2014-12-10 オリンパス株式会社 撮像装置
WO2012042963A1 (ja) * 2010-09-29 2012-04-05 富士フイルム株式会社 固体撮像素子及び撮像装置
WO2012147515A1 (ja) * 2011-04-28 2012-11-01 富士フイルム株式会社 撮像装置及び撮像方法
KR20130104756A (ko) * 2012-03-15 2013-09-25 삼성전자주식회사 영상 촬영 장치 및 이에 포함된 이미지 센서
JP5542249B2 (ja) * 2012-03-28 2014-07-09 富士フイルム株式会社 撮像素子及びこれを用いた撮像装置及び撮像方法
CN104285435B (zh) * 2012-05-10 2016-09-28 富士胶片株式会社 摄像装置及信号校正方法
JP5529928B2 (ja) 2012-06-14 2014-06-25 オリンパスイメージング株式会社 撮像装置及び撮像装置の制御方法
JP5697801B2 (ja) * 2012-06-19 2015-04-08 富士フイルム株式会社 撮像装置及び自動焦点調節方法
JP2014026062A (ja) * 2012-07-26 2014-02-06 Sony Corp 撮像装置および撮像方法
JP6103849B2 (ja) * 2012-08-02 2017-03-29 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2016127389A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
JP6506560B2 (ja) * 2015-01-20 2019-04-24 キヤノン株式会社 フォーカス制御装置及びその方法、プログラム、記憶媒体
JP6427720B2 (ja) * 2016-06-01 2018-11-21 富士フイルム株式会社 撮像素子及び撮像装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
US6819360B1 (en) * 1999-04-01 2004-11-16 Olympus Corporation Image pickup element and apparatus for focusing
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
JP4507392B2 (ja) * 2000-11-15 2010-07-21 株式会社ニコン 電子カメラ
JP2002320236A (ja) * 2001-04-23 2002-10-31 Canon Inc 撮像装置
JP4564831B2 (ja) * 2004-11-26 2010-10-20 キヤノン株式会社 撮像装置及びその制御方法
JP4967296B2 (ja) 2005-10-03 2012-07-04 株式会社ニコン 撮像素子、焦点検出装置、および、撮像システム
JP4794978B2 (ja) * 2005-10-25 2011-10-19 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP4874669B2 (ja) * 2006-02-22 2012-02-15 Ｈｏｙａ株式会社 オートフォーカスユニット及びデジタルカメラ
JP4874668B2 (ja) * 2006-02-22 2012-02-15 Ｈｏｙａ株式会社 オートフォーカスユニット及びカメラ
JP4579169B2 (ja) * 2006-02-27 2010-11-10 富士フイルム株式会社 撮影条件設定方法およびこれを用いた撮影装置
US7751700B2 (en) * 2006-03-01 2010-07-06 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
US7711261B2 (en) * 2006-04-11 2010-05-04 Nikon Corporation Imaging device, camera and image processing method
JP4985062B2 (ja) * 2006-04-14 2012-07-25 株式会社ニコン カメラ
JP4444936B2 (ja) * 2006-09-19 2010-03-31 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP4898475B2 (ja) * 2007-02-05 2012-03-14 富士フイルム株式会社 撮影制御装置、撮影装置、及び撮影制御方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024260A (zh) * 2011-09-26 2013-04-03 索尼公司 摄像器件
CN107197178A (zh) * 2012-01-13 2017-09-22 株式会社尼康 固体摄像装置以及电子相机
CN107197178B (zh) * 2012-01-13 2020-08-28 株式会社尼康 摄像元件及摄像装置
CN103247664A (zh) * 2012-02-04 2013-08-14 剑扬股份有限公司 有机电激发光元件的画素结构
CN103247664B (zh) * 2012-02-04 2016-11-23 剑扬股份有限公司 有机电激发光元件的画素结构
CN109246400A (zh) * 2012-03-30 2019-01-18 株式会社尼康 拍摄元件及拍摄装置
CN109246400B (zh) * 2012-03-30 2021-02-19 株式会社尼康 拍摄元件及拍摄装置
CN104285437B (zh) * 2012-05-10 2016-06-29 富士胶片株式会社 信号处理装置、摄像装置、信号校正方法
CN104285437A (zh) * 2012-05-10 2015-01-14 富士胶片株式会社 信号处理装置、摄像装置、信号校正方法
CN104813648A (zh) * 2012-12-11 2015-07-29 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN104813648B (zh) * 2012-12-11 2018-06-05 富士胶片株式会社 图像处理装置、摄像装置、及图像处理方法
CN104871526A (zh) * 2012-12-18 2015-08-26 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、图像处理程序
CN104871526B (zh) * 2012-12-18 2018-04-13 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法、图像处理程序
CN105580354A (zh) * 2013-09-27 2016-05-11 奥林巴斯株式会社 摄像装置和图像处理方法
CN105580349A (zh) * 2013-09-27 2016-05-11 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN105580349B (zh) * 2013-09-27 2018-08-14 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
CN105580354B (zh) * 2013-09-27 2018-10-30 奥林巴斯株式会社 摄像装置和图像处理方法
CN104580949B (zh) * 2013-10-09 2018-03-27 奥林巴斯株式会社 图像处理装置和图像处理方法
CN104580949A (zh) * 2013-10-09 2015-04-29 奥林巴斯株式会社 图像处理装置和图像处理方法
CN110542977A (zh) * 2014-05-01 2019-12-06 佳能株式会社 通知方法和系统
US11099459B2 (en) 2014-05-01 2021-08-24 Canon Kabushiki Kaisha Focus adjustment device and method capable of executing automatic focus detection, and imaging optical system storing information on aberrations thereof
CN110542977B (zh) * 2014-05-01 2021-11-02 佳能株式会社 通知方法和系统
US11822211B2 (en) 2014-05-01 2023-11-21 Canon Kabushiki Kaisha Imaging optical system storing information on its aberration, imaging apparatus, and control method thereof
CN105830431A (zh) * 2014-06-11 2016-08-03 奥林巴斯株式会社 图像处理装置、具有该图像处理装置的摄像装置、图像处理方法和图像处理程序

Also Published As

Publication number Publication date
US8203645B2 (en) 2012-06-19
EP2179581B1 (en) 2015-11-11
EP2179581A1 (en) 2010-04-28
EP2179581A4 (en) 2013-12-18
US20100214452A1 (en) 2010-08-26
CN101809994B (zh) 2012-11-14
WO2009022634A1 (en) 2009-02-19

Similar Documents

Publication Publication Date Title
CN101809994B (zh) 摄像设备及其控制方法
CN101802673B (zh) 摄像设备
US8018524B2 (en) Image-pickup method and apparatus having contrast and phase difference forcusing methods wherein a contrast evaluation area is changed based on phase difference detection areas
CN101841656B (zh) 摄像设备和信号处理器
JP5753371B2 (ja) 撮像装置およびその制御方法
CN103095985A (zh) 信息处理装置、信息处理方法和程序
JP4823167B2 (ja) 撮像装置
CN102472882B (zh) 进行自动调焦控制的摄像设备以及摄像设备的控制方法
KR20150074641A (ko) 자동 초점 조절 방법 및 자동 초점 조절 장치
CN104580851A (zh) 摄像设备及其控制方法
JP5750551B2 (ja) 複数被写体の距離計測装置及び方法
CN105472237A (zh) 摄像设备和摄像方法
JP2022000695A (ja) 撮像装置
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
US11593958B2 (en) Imaging device, distance measurement method, distance measurement program, and recording medium
JP4823169B2 (ja) 撮像装置
US20210337129A1 (en) Control device, image capturing apparatus, and control method
JP5207893B2 (ja) 撮像装置及びその制御方法
JP2012103285A (ja) 焦点検出装置およびその制御方法
JP7019442B2 (ja) 撮像装置およびその制御方法
JP2017187589A (ja) 焦点調節装置およびその方法、撮像装置、プログラム、記憶媒体
JP2022171437A (ja) 被写体追跡装置、撮像装置、被写体追跡方法、及びプログラム
JP2020101723A (ja) 撮像装置
JP2012169920A (ja) 撮像装置及び制御方法
JP2018031931A (ja) 焦点検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant