CN102844705B - 焦点调节装置和焦点调节方法 - Google Patents

焦点调节装置和焦点调节方法 Download PDF

Info

Publication number
CN102844705B
CN102844705B CN201180015740.7A CN201180015740A CN102844705B CN 102844705 B CN102844705 B CN 102844705B CN 201180015740 A CN201180015740 A CN 201180015740A CN 102844705 B CN102844705 B CN 102844705B
Authority
CN
China
Prior art keywords
mentioned
edge
focus
color component
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180015740.7A
Other languages
English (en)
Other versions
CN102844705A (zh
Inventor
矛井逸人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of CN102844705A publication Critical patent/CN102844705A/zh
Application granted granted Critical
Publication of CN102844705B publication Critical patent/CN102844705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种焦点调节装置，包括：边缘检测部，其按照构成包含被摄物体像的图像的每种颜色成分，检测上述被摄物体像的边缘；分布检测部，其基于上述边缘检测部检测到的上述边缘，检测上述图像的对焦状态和非对焦状态的分布；以及控制部，其基于上述分布检测部检测的上述分布使透镜移动。上述被摄物体像从具有上述透镜的光学系统入射，上述控制部使上述透镜移动的结果是使焦点对焦到上述被摄物体像上。

Description

焦点调节装置和焦点调节方法
技术领域
本发明涉及利用色差调节焦点的焦点调节装置和焦点调节程序。
本申请要求基于2010年2月15日在日本提出申请的、申请号为特愿2010-030481的专利申请的优先权，其内容援引于此。
背景技术
已知有在对焦到通过透镜得到的被摄物体像上时，利用色差的摄像机(参照专利文献1)。
然而，在专利文献1中公开的摄像机虽然能迅速地对焦到已对焦过一次的被摄物体像上，但不能迅速地对焦到一次也没对焦过的被摄物体像上。即，在专利文献1中公开的摄像机存在不能迅速地对焦到被摄物体像上的问题。
在先专利文献：
专利文献1：日本特开平5-45574号公报
发明内容
本发明的目的在于提供一种利用色差，能迅速地对焦到被摄物体像上的焦点调节装置和焦点调节程序。
本发明一个实施方式的焦点调节装置包括：边缘检测部，其按照构成包含被摄物体像的图像的每种颜色成分，检测上述被摄物体像的边缘；分布检测部，其基于上述边缘检测部检测到的上述边缘，检测上述图像的对焦状态和非对焦状态的分布；以及控制部，其基于上述分布检测部检测到的上述分布使透镜移动，上述被摄物体像从具有上述透镜的光学系统入射，上述控制部使上述透镜移动的结果是使焦点对焦到上述被摄物体像上。
也可以是，上述焦点调节装置构成为如下：上述分布检测部基于上述边缘检测部检测的上述边缘的颜色成分量的斜度，检测上述分布。
也可以是，上述焦点调节装置构成为如下：上述分布检测部基于上述边缘检测部检测到的上述边缘的颜色成分量的比或差，检测表示相对于被摄物体对焦在近点侧与远点侧中的哪一方的方向指标、以及散焦量。
也可以是，上述焦点调节装置构成为如下：上述分布检测部基于上述边缘检测部检测到的上述边缘的颜色成分量的比或差的峰值间距离，检测上述散焦量。
也可以是，上述焦点调节装置构成为如下：上述分布检测部基于与上述边缘检测部检测到的上述边缘相对应的线扩散函数，检测表示相对于被摄物体对焦在近点侧与远点侧中的哪一方的方向指标、以及散焦量。
也可以是，上述焦点调节装置构成为如下：上述分布检测部基于与上述边缘检测部检测到的上述边缘相对应的线扩散函数的标准差或半幅值，检测上述散焦量。
也可以是，上述焦点调节装置构成为如下：上述分布检测部选择上述边缘检测部检测到的上述边缘内的、按颜色成分量从多到少的顺序排在前面的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
也可以是，上述焦点调节装置构成为如下：上述分布检测部选择上述边缘检测部检测到的上述边缘内的、按上述颜色成分的对比度从高到低的顺序排在前面的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
也可以是，上述焦点调节装置构成为如下：在上述颜色成分的上述对比度相同的边缘与上述颜色成分的信噪比不同的边缘混在一起的情况下，上述分布检测部选择上述颜色成分的上述信噪比按从高到低的顺序排在前面的边缘，并基于该选择出的边缘，检测上述图像的 对焦状态和非对焦状态的分布。
也可以是，上述焦点调节装置构成为如下：在上述颜色成分的信噪比不同的边缘混在一起的情况下，上述分布检测部选择上述信噪比相对较低且上述对比度相对较高的边缘、以及上述信噪比相对较高且上述对比度相对较低的边缘中的至少一方，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
也可以是，上述焦点调节装置构成为如下：上述分布检测部选择上述边缘检测部检测到的上述边缘内的、包含两种原色以上且上述颜色成分以相同相位变化的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
也可以是，上述焦点调节装置构成为如下：在上述边缘包含两种原色的情况下，上述分布检测部选择包含绿色成分的边缘。
也可以是，上述焦点调节装置构成为如下：上述分布检测部选择上述边缘检测部检测到的上述边缘内的、上述颜色成分在预先设定宽度以上为平坦的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
也可以是，上述焦点调节装置构成为如下：上述分布检测部选择上述边缘检测部检测到的上述边缘内的、根据上述颜色成分的信噪比设定的长度以上的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
本发明一个实施方式的焦点调节装置包括：边缘检测部，其按照构成包含被摄物体像的图像的每种颜色成分，检测上述被摄物体像的边缘；分布检测部，其计算上述边缘检测部检测到的上述边缘的线扩散函数；以及控制部，其基于线扩散函数使透镜移动，上述被摄物体像从具有上述透镜的光学系统入射，上述控制部使上述透镜移动的结果是使焦点对焦到上述被摄物体像上。
本发明一个实施方式的计算机是执行焦点调节程序的计算机。其中，上述焦点调节程序包括如下步骤：按照构成包含被摄物体像的图像的每种颜色成分，检测上述被摄物体像的边缘的步骤，其中该被摄 物体像从具有用于进行焦点调节的透镜的光学系统入射；基于上述边缘，检测上述图像的对焦状态和非对焦状态的分布的步骤；以及基于上述分布，使上述透镜移动以对焦到上述被摄物体像上的步骤。
本发明一个实施方式的计算机是执行焦点调节程序的计算机。述焦点调节程序包括如下步骤：按照构成包含被摄物体像的图像的每种颜色成分，检测上述被摄物体像的边缘的步骤，其中该被摄物体像从具有用于进行焦点调节的透镜的光学系统入射；计算上述边缘的线扩散函数的步骤，以及基于上述线扩散函数，使上述透镜移动以对焦到上述被摄物体像上的步骤。
本发明的焦点调节装置和焦点调节程序具有能迅速地对焦到被摄物体像的效果。
附图说明
图1是表示透镜镜筒111、包括焦点调节装置191的拍摄装置100、以及存储介质200的结构的框图。
图2是表示与AF透镜112相距被摄物体距离的位置处的被摄物体、AF透镜112、拍摄元件119的拍摄面、以及弥散圆的关系的图。
图3为是表示入射到AF透镜112中的红光的焦点、绿光的焦点以及蓝光的焦点在光轴上的位置关系的图。
图4是表示入射到AF透镜112中的光的波长与光轴上的成像面的关系的图。
图5A是表示AF透镜112、拍摄元件119的拍摄面、以及在前聚焦状态下的弥散圆的关系的图。
图5B是表示形成于拍摄面的在前聚焦状态下的弥散圆的图。
图5C是表示从前聚焦状态下的弥散圆的中心朝向外周的半径方向的位置与颜色成分量的关系的图。
图6A是表示AF透镜112、拍摄元件119的拍摄面、以及在后聚焦状态下的弥散圆的关系的图。
图6B是表示形成于拍摄面的在后聚焦状态下的弥散圆的图。
图7是表示拍摄的图像的一例的图。
图8A是表示边缘位置13附近的颜色成分量的图，即在以G通道对焦的状态下的灰阶剖视图。
图8B是表示边缘位置13附近的颜色成分量的图，即在以R通道对焦的状态下的灰阶剖视图。
图8C是表示边缘位置13附近的颜色成分量的图，即在以B通道对焦的状态下的灰阶剖视图。
图9A是表示边缘位置13附近的颜色成分量的图，示出了前聚焦状态的R通道的边缘、后聚焦状态的R通道的边缘、以及对焦状态的G通道的边缘的关系。
图9B是表示边缘位置13附近的颜色成分量的图，示出了前聚焦状态的B通道的边缘、后聚焦状态的B通道的边缘、以及对焦状态的G通道的边缘的关系。
图10A是表示边缘位置13附近的“颜色成分量之差”的图，示出了在轴D的位置、以及R通道的颜色成分量与G通道的颜色成分量之差的关系。
图10B是表示边缘位置13附近的“颜色成分量之差”的图，示出了与图10A相比、较接近对焦状态的情况下的波形。
图11A是表示G通道的对焦状态下的LSF的图。
图11B是表示G通道的非对焦(轻度模糊)状态下的LSF的图。
图11C是表示G通道的非对焦(重度模糊)状态下的LSF的图。
图12A是表示按照每个颜色通道(R、G、B)在对焦状态下的LSF的图。
图12B是表示按照每个颜色通道(R、G、B)在前聚焦状态下的LSF的图。
图12C是表示按照每个颜色通道(R、G、B)在后聚焦状态下的LSF的图。
图13是表示每个颜色通道(R、G、B)的LSF的曲线图(数据)与模糊程度的关系的图。
图14是表示将LSF的标准差之差作为参数的函数值与被摄物体距离的关系的图。
图15A示出了拍摄部拍摄的图像的一部分(部分图像)的例子。
图15B示出了从拍摄的图像提取的R通道的边缘图像。
图15C示出了从拍摄的图像提取的G通道的边缘图像。
图15D是表示计算R通道的边缘图像与G通道的边缘图像逻辑与(AND)的结果的图像。
图16是表示边缘检测部192的操作的流程图。
图17是表示边缘位置13附近的颜色成分量的图的例子、以及使用了拉普拉斯滤波器的运算例的图。
图18是表示深度示意图(depth map)的例子的图。
图19是表示追踪被摄物体的追踪操作时焦点调节装置191的对焦驱动的步骤的流程图。
图20是表示边缘特性的分析步骤的流程图。
图21是表示判断为前聚焦状态时的扫描区域、以及判断为后聚焦状态时的扫描区域的图。
图22A是表示拍摄用AF的登山对比度扫描时的透镜位置的移动的图，示出了对比度扫描时AF透镜112的位置与对比度值的关系的一例。
图22B示出了通常的对比度扫描(参照图21的中层)时AF透镜112的位置的移动。
图22C示出了基于利用评价值的前聚焦状态和后聚焦状态的判断的对比度扫描(参照图21的下层)时AF透镜112的位置的移动。
图23是表示基于LSF的对焦驱动的步骤的流程图。
图24是表示“散焦-驱动脉冲表”的例子的图。
图25是表示判断为前聚焦状态并判断了其程度时的对比度扫描区域、以及判断为后聚焦状态并判断了其程度时的对比度扫描区域的图。
图26是表示追踪被摄物体的追踪操作的焦点调节装置191的对焦驱动的步骤的流程图。
图27是表示基于“散焦-驱动脉冲表”的对比度扫描时的对焦驱动的例子的图。
图28是基于“散焦-驱动脉冲表”的对比度扫描时的对焦驱动的例子的放大图。
图29是表示具有运动图像拍摄模式的焦点调节装置191的操作的流程图。
图30A是表示对焦状态下的差值数据的直方图(histogram)的图。
图30B是表示非对焦状态下的差值数据的直方图的图。
图31是表示判断点状光的焦点调节装置191的操作的流程图。
图32是用于说明切换到微距拍摄模式的判断操作的图。
图33A是用于说明颜色成分的信噪比不同的边缘混在一起的情况下选择的边缘的优先顺序的图，示出了信噪比相对较高且对比度相对较低的边缘的情况。
图33B是用于说明颜色成分的信噪比不同的边缘混在一起的情况下选择的边缘的优先顺序的图，示出了信噪比相对较低且对比度相对较高的边缘的情况。
图34A是表示包含两种原色的情况下选择的边缘的优先顺序的图，示出了由以同相位变化的R通道和G通道构成的边缘的情况。
图34B是表示包含两种原色的情况下选择的边缘的优先顺序的图。在图34B中示出的具有优先顺序的边缘由以同相位变化的R通道和G通道构成，R通道的对比度与在图34A中示出的R通道相比，对比度较低。
图34C是表示包含两种原色的情况下选择的边缘的优先顺序的图。图34C示出了由以同相位变化的R通道和B通道构成的边缘的情况。
图35A表示与横穿一条颜色成分为平坦的边缘的位置相应的颜色成分量的变化。
图35B表示与横穿多条边缘的位置相应的颜色成分量的变化。
图36是表示根据优先顺序选择排在前面的边缘步骤的流程图。
具体实施方式
(第一实施方式)
参照附图，详细地说明本发明的第一实施方式。图1是表示透镜镜筒111、包括焦点调节装置191的拍摄装置100、以及存储介质200的结构的框图。拍摄装置100拍摄从透镜镜筒111入射的被摄物体像，并将得到的图像变成静止图像或运动图像图像，存储到存储介质200中。
首先，说明透镜镜筒111的结构。透镜镜筒111包括焦点调整透镜(以下称为“AF(Auto Focus：自动对焦)透镜”)112、透镜驱动部116、AF编码器117、以及镜筒控制部118。此外，透镜镜筒111可以是可拆装地连接到拍摄装置100上，也可以是与拍摄装置100形成为一体。
AF透镜112由透镜驱动部116驱动。该AF透镜112将被摄物体像引导到后述的拍摄部110的拍摄元件119的受光面(光电转换面)上。
AF编码器117检测AF透镜112的移动，并把与AF透镜112移动量相应的信号输出到镜筒控制部118中。在这里，例如也可以是，与AF透镜112移动量相应的信号是根据AF透镜112的移动量，相位发生变化的正弦(sin)波信号。
镜筒控制部118根据从拍摄装置100的后述的焦点调节装置191输入的驱动控制信号，控制透镜驱动部116。在这里，驱动控制信号是在光轴方向上驱动AF透镜112的控制信号。镜筒控制部118根据驱动控制信号，改变例如输出到透镜驱动部116的脉冲电压的步进数。
另外，镜筒控制部118基于与AF透镜112的移动量相应的信号，将透镜镜筒111中的AF透镜112的位置(焦点位置)输出到后述的焦点调节装置191。在这里，例如也可以是，镜筒控制部118根据移动方向，将与AF透镜112的移动量相应的信号进行求和，从而计算在透镜镜筒111中的AF透镜112的移动量(位置)。
透镜驱动部116根据镜筒控制部118的控制，驱动AF透镜112。并且，透镜驱动部116使AF透镜112在透镜镜筒111内、在光轴方向上移动。
接下来，说明拍摄装置100的结构。拍摄装置100包括：拍摄部110、图像处理部140、显示部150、缓存部130、操作部180、存储部160、CPU190、通信部170、以及焦点调节装置191。
拍摄部110包括拍摄元件119和A/D(模拟/数字)转换部120。该拍摄部110按照设定的拍摄条件(例如光圈值、曝光值等)受CPU190控制。
拍摄元件119包括光电转换面。该拍摄元件119将利用透镜镜筒111(光学系统)在光电转换面上成像的光学像转换为电信号，输出到A/D转换部120中。例如也可以是，拍摄元件119由CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)构成。另外，也可以是，拍摄元件119针对光电转换面的一部分区域，将光学像转换为电信号(切取)。
另外，拍摄元件119在经由操作部180接受到拍摄指令时，将得到的图像经由A/D转换部120存储在存储介质200中。另一方面，拍摄元件119在经由操作部180未接受到拍摄指令的状态下，将连续得到的图像变成实时图像，经由A/D转换部120输出到焦点调节装置191和显示部150中。
A/D转换部120将利用拍摄元件119转换的电信号数字化。并且，A/D转换部120将已转换成数字信号的图像输出到缓存部130中。
操作部180例如包括电源开关、快门按钮、多重选择键(十字键)或者其他操作键。该操作部180根据用户的操作，接受用户的操作输入。而且，操作部180将与操作输入相应的信号输出到CPU190中。
图像处理部140参照存储在存储部160中的图像处理条件，对暂时存储在缓存部130中的图像进行图像处理。图像处理过后的图像经由通信部170存储在存储介质200中。
作为显示利用拍摄部110得到的图像和操作画面等的显示部150的例子，可以例举有液晶显示器。
缓存部130暂时存储利用拍摄部110拍摄的图像。
存储利用CPU190进行场景判断时所参照的判断条件。并且，存储部160按照利用场景判断所判断的每个场景，存储相对应的拍摄条件等。
CPU190按照设定的拍摄条件(例如光圈值、曝光值等)控制拍摄部110。另外，CPU190基于从操作部180输入的“与操作输入相应的信号”，将图像变为静止图像或运动图像，在图像处理部140中进行图像处理。
通信部170与卡存储器等能取出的存储介质200相连接。通信部170进行写入、读出或者删除往该存储介质200的信息(图像数据等)。
存储介质200是相对于拍摄装置100能拆装地连接的存储部，用于存储信息(图像数据等)。此外，也可以是，存储介质200与拍摄装置100形成为一体。
接着，说明焦点调节装置191。焦点调节装置191从基于拍摄元件119输出的电信号生成的图像检测出被摄物体像的边缘。并且，焦点调节装置191分析在检测到的边缘处产生的轴向色差所导致的颜色偏移。在这里，轴向色差即根据入射光的波长(颜色)透镜的焦距不同的特性。
焦点调节装置191基于颜色偏移的分析结果，检测散焦(焦点偏移)特征量。而且，焦点调节装置191基于检测到的散焦特征量，生成驱动控制信号以对焦到被摄物体像上，将该驱动控制信号输出到透镜镜筒111的镜筒控制部118中(对焦驱动)。
在这里，散焦特征量即方向指标、散焦量、AF透镜112的焦点调节所需要的移动量(以下称为“焦点偏移量”)以及它们的历史记录。另外，方向指标即表示对焦于被摄物体的近点侧(以下称为“前聚焦”)或者对焦于被摄物体的远点侧(以下称为“后聚焦”)的指标。另外，散焦量越大，焦点偏移量越大。另外，例如也可以是，焦点偏移量用 镜筒控制部118根据驱动控制信号、输出到透镜驱动部116的脉冲电压的步进数来表示。
用于检测方向指标和散焦量的评价值有三种：边缘差值(Edge Difference，以下称为“Ed”)、散焦量参照值(Width of Subtraction，以下称为“Wd”)、以及线扩散函数(LineSpread Function，以下称为“LSF”)。
首先，说明作为评价值之一的Ed。在图2中，示出了与AF透镜112相距被摄物体距离的被摄物体、AF透镜112、拍摄元件119的拍摄面(在图2中表示为“拍摄面”)、以及弥散圆的关系。AF透镜112将从被摄物体入射的光聚光，使被摄物体像在拍摄元件119的光电转换面(拍摄面)上成像。在这里，利用被摄物体像上所包含的点，在拍摄元件119的拍摄面上形成弥散圆。
在图3中，示出了入射到AF透镜112中的光的成分中的红光(以下称为“R通道”或“R”)的焦点、绿光(以下称为“G通道”或“G”)的焦点、以及蓝光(以下称为“B通道”或“B”)的焦点在光轴上的位置关系。并且，在图3中，示出了光的成像位置(成像面)随着光的波长不同而不同的情况。成像面随着光的波长不同而不同是由于例如光的波长不同，透镜的折射率不同。此外，作为透镜固有的特性，每个透镜的透镜折射率可以不同。以下，如图3所示，以R通道的焦点位于与AF透镜112相距最远的距离、B通道的焦点位于与AF透镜112相距最近的距离进行说明。
在图4中，示出了入射到AF透镜112中的光的波长与光轴上的成像面的位置的关系。在这里，横轴表示入射到AF透镜112中的光的波长。另外，纵轴表示成像面的位置，值越大表示与AF透镜112相距越远。这样，入射光的波长越长，成像面的位置与AF透镜112相距越远。
一般来说，AF透镜112被光学设计成在对焦状态下成像面(拍摄面)的颜色偏移最小。因此，与对焦状态相比，在非对焦状态下，颜色偏移变大。并且，已知的是，颜色偏移会根据透镜位置(焦点位置、变焦位置)或其他主要原因发生变化。另外，散焦(焦点模糊)量越大，弥散圆的半径越大。而且，弥散圆的颜色配置也会根据透镜位置(焦点位置)发生变化。
在图5A、5B、5C中，示出了在前聚焦状态下的弥散圆。在图5A中，示出了AF透镜112、拍摄元件119的拍摄面、以及弥散圆的关系。由于轴向色差，入射到AF透镜112中的光被折射(分光)成从外侧依次为R、G、B，并被引导到拍摄元件119的拍摄面上，从而在拍摄面上形成弥散圆。此外，也可以是，弥散圆用点扩散函数(Point Spread Function，以下称为“PSF”)来表示。
在图5B中，示出了在拍摄面上形成的弥散圆。在前聚焦状态下，由于轴向色差，形成为从外侧依次为R、G、B，因此弥散圆形成为从外侧依次为红色、青色、白色。
在图5C中，用纵轴表示颜色成分量的图(以下称为“灰阶剖视图”)示出了从弥散圆的中心朝向外周的半径方向的位置与颜色成分量(颜色强度)的关系。在图5C中，示出了在前聚焦状态下，从弥散圆的中心朝向外周的半径方向上的颜色成分量的斜度(倾斜)中，R的斜度最小，B的斜度最大。因此，在前聚焦状态下的弥散圆在从中心朝向外周的半径方向上，依次形成白色、青色、蓝色、黄色、橙色、以及红色。
在图6A、6B中，示出了在后聚焦状态下的弥散圆。在图6A中，示出了AF透镜112、拍摄元件119的拍摄面、以及弥散圆的关系。由于轴向色差，入射到AF透镜112中的光被折射(分光)成在光轴上的焦点与拍摄元件119之间，从外侧依次为B、G、R，并被引导到拍摄元件119的拍摄面上，从而在拍摄面上形成弥散圆。
在图6B中，示出了在拍摄面上形成的弥散圆。由于轴向色差，在后聚焦状态下的弥散圆形成为从外周依次为B、G、R，因此形成为在从中心朝向外周的半径方向上依次形成白色、黄色、蓝色(边缘)。
这样，由于轴向色差，根据对焦状态和非对焦状态，形成的弥散圆的颜色不同。结果，焦点调节装置191(参照图1)能基于形成的弥散圆的颜色，检测对焦状态和非对焦状态。
在图7中，示出了拍摄到的图像的一例。在这里，作为一例，说明拍摄黑白边缘图像的状态。此外，为了简化说明，在以下，不考虑倍率色差、透镜光晕(Lens flare)而进行说明，即使考虑这些因素，也不会改变本发明的主旨。
被拍摄部110拍摄到的图像10(黑白边缘图像)由黑色区域11和白色区域12构成。而且，黑色区域11为长方形，并位于白色区域12的中央。在这里，在水平方向上横穿黑色区域11和白色区域12这两者的轴定义为轴D。而且，轴D与黑色区域11、白色区域12的边界(刃状边缘)正交。而且，在轴D上，颜色从白色变化为黑色的边界记做边缘位置14。同样地，在轴D上，颜色从黑色变化为白色的边界记做边缘位置13。此外，也可以是，在轴D上的位置用像素单位来表示。
在图8A、8B、8C中，作为灰阶剖视图，示出了边缘位置13(参照图7)附近的颜色成分量。在这里，纵轴表示每个R、G、B(颜色通道)的颜色成分量。另外，横轴表示在轴D上的位置(参照图7)。而且，各颜色通道的颜色成分量采用值“0～250”(8位)来表示。各颜色通道的颜色成分量的值越大，表示其颜色越浓。此外，也可以是，各颜色通道的颜色成分量采用值“0～255”(8位)来表示。
并且，在R、G、B的颜色成分量均为值“250”的“在轴D上的位置”上，颜色变为白色。另一方面，在R、G、B的颜色成分量均为值“0”的“在轴D上的位置”上，颜色变为黑色。
在图8A中，示出了在以G通道对焦(聚焦)的状态下的灰阶剖视图。在该状态下，R通道为前聚焦，且B通道为后聚焦。由此，边缘位置13的白色区域12一侧变成绿色。另一方面，边缘位置13的黑色区域11一侧变成品红色。
另外，在图8B中，示出了在以R通道对焦的状态下的灰阶剖视图。并且，在该状态下，G通道为后聚焦，G通道的斜度(倾斜)大于B通道的斜度。另外，在图8C中，示出了在以B通道对焦的状态下的灰阶剖视图。在该状态下，G通道为前聚焦，G通道的斜度(倾斜)大于R通道的斜度。
这样，在灰阶剖视图中的斜度按照颜色通道各不相同。因此，不管用哪个颜色通道对焦到被摄物体像上，焦点调节装置191(参照图1)根据灰阶剖视图的颜色通道的斜度计算评价值。这样，焦点调节装置191能检测对焦状态和非对焦状态。
接下来，说明评价值Ed的计算步骤。在图9A、9B中，作为灰阶剖视图，示出了边缘位置13(参照图7)附近的颜色成分量。在这里，纵轴表示每个R、G、B(颜色通道)的颜色成分量。另外，横轴表示在轴D上的位置(参照图7)。由于人眼对G通道的灵敏度较高，在这里，作为一例，针对以G通道对焦在被摄物体像上(聚焦)的情况进行说明。
在图9A中，示出了前聚焦状态的R通道的边缘、后聚焦状态的R通道的边缘、以及对焦状态的G通道的边缘的关系。并且，在前聚焦状态下的R通道的斜度(倾斜)小于在对焦状态下的G通道的斜度。另一方面，在后聚焦状态下的R通道的斜度(倾斜)大于在对焦状态下的G通道的斜度。以下，在图9A中，位于表示R通道和G通道的颜色成分量的线的交叉点的右侧的区间中、在表示G通道的线上具有斜度的区间记做区间“Δ1”。并且，位于表示颜色成分量的线的交叉点的左侧的区间中、在表示G通道的线上具有斜度的区间记做区间“Δ2”。也可以是，这些区间的长度用像素数来表示。
根据基于R通道的颜色成分量和G通道的颜色成分量的Ed(以下称为“EdRG”)与阈值的比较结果，按如下方式检测(判断)R通道的边缘是处于前聚焦状态还是后聚焦状态。
EdRG＝(∑(R/G))/(Δ1)＞1…式1
EdRG＝(∑(R/G))/(Δ1)＜1…式2
在这里，式1和式2中的值“1”为阈值。另外，式1和式2中的(∑(R/G))是R通道的颜色成分量除以图像的相同位置的G通道的颜色成分量得到的值在区间“Δ1”的范围内相加的总和。另外，该总和除以区间“Δ1”的长度得到的值为“EdRG”。并且，在式1成立的情况下，EdRG示出了R通道的边缘处于后聚焦状态。另一方面，在式2成 立的情况下，EdRG示出了R通道的边缘处于前聚焦状态(方向指标)。另外，EdRG与阈值“1”之差示出散焦量。
另外，也可以是，对于区间“Δ2”，使用式1和式2那样的颜色成分量的“比”检测前聚焦和后聚焦。另一方面，在区间“Δ2”这样的颜色成分量较小的区间中，颜色成分量与噪声的SN比(Signal to Noise ratio：信噪比)较小。因此，在该情况下，不使用颜色成分量的“比”，而利用颜色成分量的“差”来检测前聚焦和后聚焦更有利于对焦状态的检测。
EdRG＝(∑(G-R))/(Δ2)＞0…式3
EdRG＝(∑(G-R))/(Δ2)＜0…式4
在这里，式3和式4中的值“0”为阈值。另外，式3和式4中的(∑(G-R))是从G通道的颜色成分量减去图像的相同位置的R通道的颜色成分量得到的值在区间“Δ2”的范围内相加的总和。另外，该总和除以区间“Δ2”的长度得到的值为“EdRG”。并且，在式3成立的情况下，EdRG示出了R通道的边缘处于后聚焦状态。另一方面，在式4成立的情况下，EdRG示出了R通道的边缘处于前聚焦状态(方向指标)。EdRG与阈值“0”之差示出散焦量。
同样地，在图9B中，示出了前聚焦状态的B通道的边缘、后聚焦状态的B通道的边缘、以及对焦状态的G通道的边缘的关系。并且，在前聚焦状态下的B通道的斜度(倾斜)大于在对焦状态下的G通道的斜度。另一方面，在后聚焦状态下的B通道的斜度(倾斜)小于在对焦状态下的G通道的斜度。以下，在图9B中，位于表示B通道和G通道的颜色成分量的线的交叉点的右侧的区间中、在表示G通道的线上具有斜度的区间记做区间“Δ3”。另一方面，位于表示颜色成分量的线的交叉点的左侧的区间中、在表示G通道的线上具有斜度的区间记做区间“Δ4”。
根据基于B通道的颜色成分量和G通道的颜色成分量的Ed(以下称为“EdBG”)与预先设定的阈值的比较结果，按如下方式检测B通道的边缘是处于前聚焦状态还是后聚焦状态。
EdBG＝(∑(B/G))/(Δ3)＞1…式5
EdBG＝(∑(B/G))/(Δ3)＜1…式6
在这里，式5和式6中的值“1”为阈值。式5和式6中的(∑(B/G))是B通道的颜色成分量除以图像的相同位置的G通道的颜色成分量得到的值在区间“Δ3”的范围内相加的总和。该总和除以区间“Δ3”的长度得到的值为“EdBG”。在式5成立的情况下，EdBG示出了B通道的边缘处于后聚焦状态。另一方面，在式6成立的情况下，EdBG示出了B通道的边缘处于前聚焦状态(方向指标)。EdBG与阈值“1”之差示出散焦量。
对于区间“Δ4”，也可以是，使用式5和式6那样的颜色成分量的“比”检测前聚焦和后聚焦。另一方面，在区间“Δ4”这样的颜色成分量较小的区间中，颜色成分量与噪声的SN比较小。因此，在该情况下，不使用颜色成分量的“比”，而利用颜色成分量的“差”来检测前聚焦和后聚焦更有利于对焦状态的检测。
EdBG＝(∑(G-B))/(Δ4)＞0…式7
EdBG＝(∑(G-B))/(Δ4)＜0…式8
式7和式8中的值“0”为阈值。式7和式8中的(∑(G-B))是从G通道的颜色成分量减去图像的相同位置的B通道的颜色成分量得到的值在区间“Δ4”的范围内相加的总和。该总和除以区间“Δ4”的长度得到的值为“EdBG”。在式7成立的情况下，EdBG示出了B通道的边缘处于后聚焦状态。另一方面，在式8成立的情况下，EdBG示出了B通道的边缘处于前聚焦状态(方向指标)。EdBG与阈值“0”之差示出散焦量。
这样，焦点调节装置191(参照图1)基于评价值Ed，能检测对焦状态和非对焦状态。此外，针对颜色成分量较小的区间，也可以是，焦点调节装置191利用颜色成分量的“比”来检测前聚焦和后聚焦。另外，针对颜色成分量较大的区间，也可以是，焦点调节装置191利用颜色成分量的“差”来检测前聚焦和后聚焦。另外，在上面，以G通道对焦到被摄物体像上，但是也可以是，焦点调节装置191以R通道 或B通道来对焦到被摄物体像上，从而检测(判断)前聚焦状态和后聚焦状态。
接着，说明作为评价值之一的Wd。在图10A、10B中，示出了边缘位置13(参照图7)附近的“颜色成分量之差”。在图10A中，示出了在轴D的位置、以及R通道的颜色成分量与G通道的颜色成分量之差的关系。在这里，纵轴表示从R的颜色成分量减去G的颜色成分量得到的颜色成分量差(＝R-G)。另外，横轴表示在轴D上的位置(参照图7)。此外，也可以是，纵轴不是颜色成分量差，而是R的颜色成分量与G的颜色成分量之比(＝R/G)。
另外，在图10A、10B中，实线表示R通道在“后聚焦状态”的情况下的颜色成分量差(＝R-G)与在轴D上的位置的关系。虚线表示R通道在“前聚焦状态”的情况下的颜色成分量差(＝R-G)与在轴D上的位置的关系。
Wd是表示散焦量的值(散焦量参照值)。如图10A所示，Wd示出了颜色成分量差波形的峰值间距离。Wd使用在轴D上的位置X1和X2，如式9所示。
Wd＝|X2-X1|…式9
在图10A中，位置X1和X2是表示颜色成分量差(颜色成分量比)波形的峰值的位置。并且，实线与虚线的交点与图9A中各颜色通道的线的交点相对应。
首先，在图10A的位置X2，示出了颜色成分量差的最大值“max(R-G)”，而在位置X1，示出了颜色成分量差的最小值“min(R-G)”的情况下(示出了实线的波形的情况下)，该波形的极性(正负)表示R通道处于后聚焦状态(方向指标)。其原因是，如图9A所示，在R通道处于后聚焦状态的情况下，在图9A的右侧，R通道的颜色成分量在G通道的颜色成分量以上，在图9A的左侧，R通道的颜色成分量在G通道的颜色成分量以下。
另一方面，在图10A的位置X1，示出了颜色成分量差的最大值“max(R-G)”，而在位置X2，示出了颜色成分量差的最小值“min(R-G)” 的情况下(示出了虚线的波形的情况下)，该波形的极性(正负)表示R通道处于前聚焦状态(方向指标)。其原因是，如图9A所示，在R通道处于前聚焦状态的情况下，在图9A的右侧，R通道的颜色成分量在G通道的颜色成分量以下，在图9A的左侧，R通道的颜色成分量在G通道的颜色成分量以上。
与图10A相比，在图10B中，示出了接近对焦状态时的波形。若接近对焦状态，则Wd的值变小。此外，也可以是，颜色成分量差的最大值“max(R-G)”与颜色成分量差的最小值“min(R-G)”之差根据“模糊程度”发生变化。
这样，焦点调节装置191(参照图1)能基于评价值Wd，检测对焦状态和非对焦状态。另外，焦点调节装置191能基于颜色成分量差的极性，检测前聚焦状态或后聚焦状态。
接着，说明评价值之一LSF。首先，用于评价透镜功能的指标之一有MTF(Modulation Transfer Function：调制传递函数)。该MTF作为空间频率特性表示能何种程度忠实地表现被摄物体的对比度。
一般来说，系统的MTF是成像系统(光学系统)的MTF与传感器(拍摄元件)系统的MTF之积。焦点调节装置能基于系统的MTF，检测(判断)对焦状态。例如也可以是，焦点调节装置通过评价被摄物体像的边缘的MTF来检测对焦状态。此外，也可以是，焦点调节装置进一步考虑成像系统和传感器系统的后续的图像处理方法(例如电路的响应特性、去马赛克(demosaic)、降噪以及增强边缘等)，检测对焦状态。
已知入射到光学系统的光为非相干光的情况下，MTF与LSF通过傅里叶变换是可逆的。另外，LSF能容易地从图像所包含的边缘计算(例如参照“ISO12233”标准)。
例如，也可以是，LSF通过对ESF(Edge Spread Function：边缘扩散函数)进行微分来计算。另外，也可以是，LSF基于邻接像素之间的像素值(例如颜色成分量)的差来计算。并且，也可以是，MTF 通过在LSF上施加离散傅里叶变换(Discrete Fourier Transform，DFT)来计算。
也可以是，焦点调节装置191基于上述的Ed、Wd以外的、作为评价值的LSF来检测(判断)对焦状态。例如，也可以是，焦点调节装置191基于按已知的图像处理方法预先制作的“每个颜色通道的LSF曲线图(数据)”，按如下方式检测对焦状态和非对焦状态(前聚焦或后聚焦等)。
在图11A、11B、11C中，按照对焦状态的“模糊程度”，示出了G通道的LSF。在这里，LSF用特征量之一标准差σ(统计量)表现。此外，也可以是，LSF用作为LSF的特征量之一的半幅值或者峰值来表现。
在图11A中，示出了在对焦状态下的LSF。在图11B中，示出了在非对焦(轻度模糊)状态下的LSF。在图11C中，示出了在非对焦(重度模糊)状态下的LSF。根据这些图，示出了对焦状态的“模糊程度”越大，LSF的标准差σ越大。
在图12A、12B、12C中，按照每种对焦状态的“模糊程度”和颜色通道，示出了LSF。在图12A中，按照每个颜色通道(R、G、B)，示出了在对焦状态下的LSF。此外，作为透镜的固有特性，每个颜色通道的标准差σ的大小关系也可以按每个透镜各不相同。在以下的说明中，假设在对焦状态下R通道的LSF的标准差“σR”、在对焦状态下G通道的LSF的标准差“σG”、以及在对焦状态下B通道的LSF的标准差“σB”的关系为“σR＞σG＞σB”来进行说明。
在图12B中，示出了按照每个颜色通道(R、G、B)在前聚焦状态下的LSF。另外，在图12B的最右侧，示出了在前聚焦状态下的在轴D上的位置与颜色成分量的关系。与图8A、8B、8C不同，在图12B的最右侧的图中，示出了G通道也处于前聚焦状态的情况，所以R、G、B的斜度均变得较小。并且，在图12B最右侧的图中，示出了在前聚焦状态下，边缘的颜色成分量的斜度(倾斜)中，R的斜度最小，B的斜度最大。
这样，在前聚焦状态下，因为R的斜度最小，而B的斜度最大，所以在前聚焦状态下，R通道的LSF的标准差“σRdf”、G通道的LSF的标准差“σGdf”、以及B通道的标准差“σBdf”的大小关系为“σRdf＞σGdf＞σBdf”。更具体地说，大小关系为“σRdf＞K1·σGdf”、“σBdf＜K2·σGdf”。在这里，“K1＝σR/σG”，“K2＝σB/σG”。
在图12C中，示出了按照每个颜色通道(R、G、B)在后聚焦状态下的LSF。另外，在图12C的最右侧，示出了在后聚焦状态的在轴D上的位置与颜色成分量的关系。与图8A、8B、8C不同，在图12C的最右侧的图中，示出了G通道也处于后聚焦状态的情况，所以R、G、B的斜度均变得较小。并且，在图12C最右侧的图中，示出了在后聚焦状态下，边缘的颜色成分量的斜度(倾斜)中，B的斜度最小，R的斜度最大。
这样，在后聚焦状态下，因为B的斜度最小，而R的斜度最大，所以在后聚焦状态下，R通道的LSF的标准差“σRdb”、G通道的LSF的标准差“σGdb”、以及B通道的标准差“σBdb”的大小关系为“σBdb＞σGdb＞σRdb”。更具体地说，大小关系为“σRdb＜K1·σGdb”、“σBdb＞K2·σGdb”。在这里，“K1＝σR/σG”，“K2＝σB/σG”。
在图13中，示出了每个颜色通道的LSF的曲线图(数据)与模糊程度的关系。横轴表示模糊程度。另外，从上层开始，按照G通道、R通道、B通道的顺序，示出了LSF的曲线图。另外，在图13中，示出了模糊程度的绝对值(散焦量)越大的LSF，标准差的后缀数字也越大。
另外，在横轴的中心位置“0”，示出了在对焦状态下LSF的曲线图。并且，从横轴的中心位置“0”开始的右侧为边缘在前聚焦状态下的区域(前聚焦区域)，越远离中心位置“0”，模糊程度的绝对值越大。另一方面，从横轴的中心位置“0”开始的左侧为边缘在后聚焦状态下的区域(后聚焦区域)，越远离中心位置“0”，模糊程度的绝对值越大。
并且，每个颜色通道的LSF曲线图在拍摄装置100拍摄被摄物体之前作成，按照每种模糊程度预先存储在存储部160中。在这里，每个颜色通道的LSF曲线图例如用标准差表示，预先存储在存储部160中。此外，也可以是，LSF的曲线图用半幅值或峰值来表现，预先存储在存储部160中。
此外，也可以是，横轴“模糊程度”用被摄物体距离(深度)来表示。另外，也可以是，除了“模糊程度”，每个颜色通道的LSF曲线图进一步与变焦倍率、被摄物体距离、表示相对于视角的位置的信息、表示拍摄的图像的水平(H)或垂直(V)方向的信息、表示降低噪声处理方法的信息、或表示边缘增强方法的信息对应起来，预先存储在存储部160中。
在图14中，示出了将LSF的标准差之差作为参数的函数值与被摄物体距离的关系(相对距离示意图、距离函数)。在这里，纵轴表示LSF的标准差之差。另外，横轴表示被摄物体距离。并且，被摄物体距离(Depth)用式10表示。
Depth＝G(F(σRd-σGd)-F1(σBd-σGd))…式10
在这里，σRd是R通道的LSF的标准差。σGd是G通道的LSF的标准差。σBd是B通道的LSF的标准差。
并且，F(σRd-σGd)是以标准差之差“σRd-σGd”作为参数的函数，是在后聚焦状态下为负值、在前聚焦状态下为正值的函数。另外，F1(σBd-σGd)是以标准差之差“σBd-σGd”作为参数的函数，是在后聚焦状态下为正值、在前聚焦状态下为负值的函数。
另外，函数G是以“F(σRd-σGd)-F1(σBd-σGd)”作为参数的函数，是选择函数F的值或函数F1的值中的至少一方的函数。并且，函数G是用于在前聚焦状态下选择函数F的值，而在后聚焦状态下选择函数F1的值，从而计算被摄物体距离(Depth)的函数。
此外，也可以是，LSF只针对一个颜色通道(单色)进行计算。在该情况下，也可以是，焦点调节装置191通过匹配拍摄的颜色通道的LSF与一个颜色通道的LSF的曲线图，检测对焦状态和非对焦状态。例如也可以是，在拍摄的LSF与表示模糊程度为“0”的LSF曲线图相一致(匹配)的情况下，焦点调节装置191判断为边缘处于对焦状态。
这样，焦点调节装置191(参照图1)能基于评价值LSF的标准差或半幅值，检测对焦状态和非对焦状态。另外，焦点调节装置191能按照颜色通道，比较评价值LSF的标准差或半幅值，从而检测前聚焦状态或后聚焦状态。
以上是用于检测方向指标和散焦量的评价值的说明。
接着，返回到焦点调节装置191的结构的说明。焦点调节装置191(参照图1)包括边缘检测部192、分布检测部193、以及控制部194。边缘检测部192按照构成拍摄部110输出的图像的每种颜色成分(R通道、G通道、B通道)，检测被摄物体像的边缘。
在图15A、15B、15C、15D中，示出了拍摄的图像、从拍摄的图像提取的边缘图像、以及表示两个边缘图像的逻辑与的结果的图像的例子。在图15A中，示出了拍摄部110拍摄的图像的一部分(部分图像)的例子。并且，在图15A中，用虚线示出的框表示边缘检测部192用于检测边缘的检测区域。此外，也可以是，检测区域只在边缘一侧扩展的区域。另外，也可以是，预先设定部分图像的检测区域的位置。
边缘检测部192(参照图1)从部分图像中按每种颜色成分提取(检测)在检测区域拍摄的被摄物体像的边缘图像(遮盖了边缘以外的掩模图像)。在图15B中，示出了提取的R通道的边缘图像。在图15C中，示出了提取的G通道的边缘图像。在图15D中，示出了计算R通道的边缘图像与G通道的边缘图像逻辑与(AND)的结果的图像。下面，对该图像的提取(生成)步骤进行说明。
在图16中，用流程图示出了边缘检测部192的操作。边缘检测部192用拉普拉斯滤波器等，从拍摄部110拍摄的粗图像(例如QVGA图像)中提取(生成)每个颜色通道的边缘图像(步骤Sa1)。
更具体地说明步骤Sa1的提取每个颜色通道的边缘图像的步骤。在图17中，示出了边缘位置13附近的颜色成分量的灰阶剖视图的例子、以及使用了拉普拉斯滤波器的运算例。作为一例，对提取(生成)在图像的垂直方向上延伸的边缘进行说明。
在这里，假设在与边缘正交的水平方向上，按照像素A、像素B、像素C的顺序排列着像素。并且，假设各像素由像素A“颜色成分量R1＝值“200”、颜色成分量G1＝值“220”、颜色成分量B1＝值“10””、像素B“颜色成分量R2＝值“220”、颜色成分量G2＝值“230”、颜色成分量B2＝值“10””、像素C“颜色成分量R3＝值“220”、颜色成分量G3＝值“250”、颜色成分量B3＝值“10””构成。另外，假设阈值Ek1的值为“100”。另外，这些值仅仅是一个例子。
边缘检测部192将各颜色成分量乘以拉普拉斯滤波器的系数得到的值按每种颜色成分相加。并且，边缘检测部192按照每种颜色成分将相加结果与预先设定的阈值Ek1相比较。
具体地说，边缘检测部192将R通道的相加结果“(-1)×R1+8×R2+(-1)×R3”与阈值Ek1比较。由于针对R通道的相加结果大于阈值Ek1，所以边缘检测部192将R通道的边缘作为有效边缘，生成R通道的边缘图像。
另外，边缘检测部192将G通道的相加结果“(-1)×G1+8×G2+(-1)×G3”与阈值Ek1比较。由于针对G通道的相加结果大于阈值Ek1，所以边缘检测部192将G通道的边缘作为有效边缘，生成G通道的边缘图像。同样地，在比较了B通道的相加结果与阈值Ek1后，由于B通道的相加结果在阈值Ek1以下，所以边缘检测部192不将B通道的边缘作为有效边缘，不生成B通道的边缘图像。
而且，边缘检测部192使边缘图像的R通道的颜色成分量与G通道的颜色成分量等级相同。例如，边缘检测部192将G通道的颜色成分量除以R通道的颜色成分量得到的值作为增益(修正倍率)。并且，边缘检测部192在R通道的颜色成分量上乘以增益。这样，边缘检测部192生成边缘图像(参照图15B、15C)。
返回到图16，并继续边缘检测部192的操作说明。边缘检测部192提取与位置相关的两种颜色以上的边缘(边缘对)。具体地说，边缘检测部192针对同一像素，提取R通道的边缘的颜色成分量和G通道的边缘的颜色成分量。并且，边缘检测部192将该边缘对的颜色成分量的逻辑与(AND)作为共同边缘图像(步骤Sa2)。
也可以是，即使不是同一像素的边缘，边缘检测部192将在“±1像素”以内的邻接的R通道和G通道的边缘(边缘对，颜色对)的颜色成分量的逻辑与作为共同边缘提取(粗线化)。而且，也可以是，边缘检测部192基于预先设定的长度L以上的边缘的颜色成分量的逻辑与，提取共同边缘。
并且，边缘检测部192将构成共同边缘的R通道和G通道的共同边缘存储在存储部160内(步骤Sa3)。这样，边缘检测部192生成R通道的边缘与G通道的边缘的、被提取共同边缘的边缘图像(参照图15D)。
将拍摄部110拍摄到的图像分割成格子状的块。并且，分布检测部193按照每个分割出的块，检测共同边缘的对焦状态和非对焦状态(方向指标和散焦量)。
在图18中，示出了深度示意图的例子。在这里，深度示意图即以块(部分图像)为单位示出拍摄的图像的对焦状态和非对焦状态(模糊程度)分布的示意图。
在以下，作为一个例子，拍摄部110拍摄到的图像被分割为“4×4”的块，假设其中的一个块的边缘图像是在图15D中例示的边缘图像来进行说明。
分布检测部193基于在边缘图像提取的共同边缘的Ed、Wd或LSF中的至少一个以上，检测共同边缘的对焦状态和非对焦状态的分布。分布检测部193基于在图15D的边缘图像中提取的3条共同边缘的Ed，按如下方式检测共同边缘的对焦状态和非对焦状态(模糊程度)。
在图15D的边缘图像中提取的3条共同边缘的长度分别记作L1、L2、L3。首先，分布检测部193运算式11。
∑(L((∑(R/G))/Δ))
＝L1((∑(R1/G1))/Δ)
+L2((∑(R2/G2))/Δ)
+L3((∑(R3/G3))/Δ)…式11
在这里，“Δ”是与边缘正交的区间的长度。例如，在图9A中例示的灰阶剖视图中，“Δ”为区间Δ1或Δ2的长度。而且，分布检测部193将式11“∑(L((∑(R/G))/Δ))”除以“L1+L2+L3”得到的值记作EdRG。
并且，如上述的评价值Ed的说明，在式1成立的情况下，分布检测部193判断共同边缘处于后聚焦状态。另一方面，在式2成立的情况下，分布检测部193判断共同边缘处于前聚焦状态。
在图18所例示的深度示意图中，用四方形框围起来的值表示该块的“模糊程度”。并且，模糊程度的绝对值越大，散焦量越大，表示处于非对焦状态。另外，具有负值的块表示在该块上拍摄的边缘处于后聚焦状态。相反地，具有正值的块表示在该块上拍摄的边缘处于前聚焦状态。
也可以是，分布检测部193将分割成“4×4”的一个块再细分成“2×2”的小块(部分)。并且，也可以是，分布检测部193基于模糊程度的直方图，针对这些小块检测共同边缘的对焦状态和非对焦状态。例如也可以是，分布检测部193利用直方图插补位于值“2”与值“8”之间的小块的“模糊程度”，假设为值“4”。该插补的值仅为一个例子。此外，也可以是，在没有检测到颜色成分量(能量)充分的有效边缘的情况下，在深度示意图中，剩下不能检测方向指标和散焦量的不能检测的块。
这样，分布检测部193基于Ed来检测共同边缘的对焦状态和非对焦状态的分布，并作成深度示意图。同样地，也可以是，分布检测部193基于上述的Wd，检测共同边缘的对焦状态和非对焦状态的分布，并作成深度示意图。
另外，也可以是，分布检测部193基于上述的LSF，检测共同边缘的对焦状态和非对焦状态的分布，并作成深度示意图。具体地说，分 布检测部193将拍摄部110拍摄的图像分割成格子状的块，并按每个块提取边缘图像(参照图15D)。并且，分布检测部193用评价值LSF的说明中上述的步骤，计算在边缘图像中提取的边缘的LSF。而且，分布检测部193基于LSF的曲线图和拍摄的边缘的LSF，用在评价值LSF的说明中上述的步骤，按照每个块检测“模糊程度”，从而作成深度示意图。
另外，也可以是，分布检测部193将评价值Ed、Wd、LSF组合起来，检测共同边缘的对焦状态和非对焦状态的分布。例如也可以是，分布检测部193基于Ed，在检测共同边缘的对焦状态和非对焦状态的分布后，对于未检测出有效边缘的块，基于LSF，补充性地检测共同边缘的对焦状态和非对焦状态的分布。
控制部194基于分布检测部193检测的对焦状态和非对焦状态的分布，从分布中选择被摄物体像被拍摄的块。并且，控制部194使AF透镜112移动以对焦到被摄物体像的边缘上。另外，控制部194判断是否有使拍摄部110拍摄的图像存储到存储介质200中的拍摄指令从操作部180输出到CPU190中。另外，控制部194判断是否有对焦到被摄物体像的对焦指令从操作部180输出到CPU190中。如下所述，控制部194基于这些判断，变更对焦驱动步骤。
接着，以焦点调节装置191的操作为中心，对拍摄装置100的操作进行说明。在图19中，示出了表示追踪被摄物体像的追踪操作时焦点调节装置191的对焦驱动的步骤的流程图。首先，拍摄装置100的CPU190将焦点调节装置191设定为追踪模式，以执行追踪被摄物体像的追踪操作(步骤S1)。另外，CPU190在焦点调节装置191中指定作为追踪对象的被摄物体像(步骤S2)。也可以是，这些设定基于操作部180所接受的用户的操作输入来执行。
并且，焦点调节装置191的控制部194执行第一次对焦驱动(步骤S3)。该对焦驱动的对焦方式可以适当地选择。例如，对焦方式可以是对比度AF(自动对焦)方式，也可以是其他对焦方式(相位差检测方式等)。根据对焦方式，拍摄元件119进一步地把在光电转换面中成 像的光学像转换成电信号。并且，拍摄元件119将在这里得到的电信号作为实时图像输出到A/D转换部120(步骤S4)。也可以是，从拍摄元件119输出的实时图像通过剔除数据的一部分来降低分辨率。
接着，拍摄装置100和焦点调节装置191并列处理以下说明的步骤S5～S7、以及步骤S8～S16。另外，也可以是，拍摄装置100和焦点调节装置191反复执行步骤S4～S17。
CPU190控制拍摄部110，执行自动曝光(Automatic Exposure，AE)处理、以及debayer(颜色插补)处理。另外，图像处理部140取得实时图像，并执行图像处理(步骤S5)。例如，图像处理部140对取得的实时图像执行白平衡(White Balance，WB)调整处理、降噪(Noise Reduction，NR)处理、倍率色差修正处理等作为图像处理。
另外，图像处理部140利用图像匹配处理等，在取得的实时图像的追踪区域内搜寻拍摄的追踪对象(步骤S6)。而且，图像处理部140将表示追踪区域的追踪框与实时图像重叠，显示在显示部150上(步骤S7)。
另一方面，焦点调节装置191的边缘检测部192提取预先设定的初始窗口大小的追踪区域内的拍摄的边缘(参照图15A、15B、15C、15D各图)(步骤S8)。并且，边缘检测部192使用图16，用上述的步骤分析边缘特性(步骤S9)。
而且，边缘检测部192判断作为追踪对象的边缘是否存在(步骤S10)。在边缘不存在的情况下(步骤S10-否)，边缘检测部192的处理返回到步骤S8。另一方面，在边缘存在的情况下(步骤S10-是)，边缘检测部192设定作为追踪对象的边缘(步骤S11)。在这里，例如也可以是，边缘检测部192将能量较强(颜色成分量较多)的边缘设定为追踪对象。
并且，CPU190控制拍摄部110，提高从拍摄元件119输出的实时图像的分辨率。在这里，由于没有剔除实时图像的数据的一部分，能提高实时图像的分辨率。而且，CPU190控制拍摄部110，切取在拍摄 元件119的光电转换面上成像的光学像的一部分，使该图像转换成电信号，使该电信号从拍摄元件119输出到A/D转换部120中(步骤S12)。
另外，边缘检测部192分析边缘特性，并将评价值存储在存储部160中(步骤13)。在步骤13中，边缘检测部192执行在图20中示出的步骤。在图20中，示出了表示边缘特性的分析步骤的流程图。边缘检测部192基于R通道的边缘图像和G通道的边缘图像，计算出增益(倍率)，并对于R通道的边缘乘以增益(参照图17等)(步骤Sb1)。
并且，边缘检测部192执行仿射转换或余弦修正，从而将相对于图像倾斜延伸的边缘转换成相对于图像水平(步骤Sb2)。而且，焦点调节装置191的分布检测部193基于边缘周围的区间Δ(例如参照式1)，按照每个拍摄部110拍摄的图像的格子状的块，计算评价值。
另外，分布检测部193针对边缘检测部192提取的各边缘(参照图15D)计算各评价值，并将计算出的评价值用边缘的长度取平均值，记作Ed(例如参照式11)(步骤Sb4)。在这里，分布检测部193计算Ed、Wd和LSF中的至少一个作为评价值。并且，分布检测部193将评价值、每个颜色通道的边缘对(颜色对)、颜色成分量(颜色强度)、以及增益作为边缘特性存储到存储部160中。这样，分布检测部193作成深度示意图(参照图18)。
返回到图19，并继续说明焦点调节装置191的对焦驱动的步骤。分布检测部193基于步骤S2中的被设定为追踪对象的被摄物体像的边缘被拍摄的块的评价值，判断该边缘处于对焦状态、前聚焦状态或后聚焦状态中的哪一个(例如参照式1～4)(步骤S14)。
另外，分布检测部193判断评价值Ed是否超过预先设定的第一阈值。另外，分布检测部193判断前一次的Ed与这一次的Ed之差是否大于预先设定的第二阈值(步骤S15)。
在评价值Ed超过预先设定的第一阈值的情况下或前一次的Ed与这一次的Ed之差大于预先设定的第二阈值的情况下(步骤S15-是)，能判断散焦量变大。因此，控制部194限定AF透镜112的移动方向，执行对比度扫描。
接着，对控制部194限定AF透镜112移动方向的步骤进行说明。在图21中，示出了判断为前聚焦状态时的扫描区域、以及判断为后聚焦状态时的扫描区域。在图21的中层，示出了在“通常对比度扫描”中，AF透镜112在透镜镜筒111内预先设定的透镜可动区域(最接近～无穷远)的整个区域中一边进行对比度扫描一边移动。该“通常对比度扫描”不基于前聚焦状态和后聚焦状态的判断结果而执行。
相对于图21的中层示出的“通常对比度扫描”，在图21的下层示出了基于前聚焦状态和后聚焦状态的判断结果而执行的对比度扫描的移动。根据图21的下层，AF透镜112在透镜镜筒111内预先设定的透镜可动区域(最接近～无穷远)的一部分区域中一边进行对比度扫描一边移动。
在判断被设定为追踪对象的被摄物体像的边缘处于前聚焦状态的情况下，控制部194将AF透镜112的移动方向限定为从现在的AF透镜112到最接近侧的区域，执行对比度扫描。另一方面，在判断被设定为追踪对象的被摄物体像的边缘处于后聚焦状态的情况下，控制部194将AF透镜112的移动方向限定为从现在的AF透镜112到无穷远侧的区域，执行对比度扫描。
这样，由于AF透镜112的移动方向被限定，与通常的对比度扫描相比，焦点调节装置191能迅速地对焦到被摄物体像上。
返回到图19，并继续说明焦点调节装置191的对焦驱动的步骤。为了对焦到被摄物体像的边缘上，控制部194基于前聚焦状态和后聚焦状态的判断结果，利用执行的对比度扫描，使AF透镜112移动到检测的对焦位置上(步骤S16)。
在步骤S15中，在评价值Ed未超过预先设定的第一阈值且前一次的Ed与这一次的Ed之差不大于预先设定的第二阈值的情况下(步骤S15-否)，控制部194的处理进入步骤S17。另外，在执行步骤S16后，控制部194的处理进入步骤S17中。
控制部194判断使拍摄部110拍摄到的图像存储到存储介质200中的拍摄指令是否从操作部180输出到CPU190中(步骤S17)。例如，由 于用户操作操作部180的开关按钮，拍摄指令从操作部180被输出到CPU190中。
在从操作部180未输出拍摄指令到CPU190中的情况下(步骤S17-否)，控制部194的处理返回到步骤S4。另一方面，在从操作部180输出拍摄指令到CPU190中的情况下(步骤S17-是)，控制部194的处理进入到步骤S18中。
接着，控制部194执行拍摄用AF(步骤S18)。在图22A、22B、22C中，示出了用拍摄用AF的登山对比度扫描的透镜位置的移动。并且，在图22A中，示出了对比度扫描的AF透镜112的位置与对比度值的关系的一例。在这里，把从透镜的现在位置到最接近侧的区域记作最接近侧区域。把从透镜的现在位置到无穷远侧的区域记作无穷远侧区域。
利用控制部194的控制，AF透镜112从位于透镜镜筒111内预先设定的透镜可动区域的开始位置(例如在最接近侧区域的位置)移动到结束位置(例如在无穷远侧区域的位置)的情况下，将示出对比度值的峰值的透镜位置作为对焦位置。在AF透镜112位于对焦位置的情况下，被摄物体像的边缘处于对焦状态。
在图22B中，示出了通常的对比度扫描(参照图21的中层)的AF透镜112的位置的移动。在通常对比度扫描中，控制部194一边在透镜镜筒111内预先设定的透镜可动区域的整个区域内进行对比度扫描，一边使AF透镜112移动。
在时间t1～t2中，控制部194使AF透镜112从时间t1时的透镜位置移动到对比度扫描的开始位置(初始位置驱动)。并且，在时间t2～t3a中，从开始位置到结束位置，控制部194一边执行对比度扫描，一边使AF透镜112移动(扫描驱动)。而且，在时间t3a～t4a中，控制部194使AF透镜112移动到示出对比度值为峰值的对焦位置(对焦位置驱动)。
这样，在通常对比度扫描时，控制部194在透镜可动区域的整个区域进行对比度扫描。因此，需要使AF透镜112移动到对焦位置的时间。
另一方面，在图22C中，示出了基于根据评价值的前聚焦状态和后聚焦状态的判断的对比度扫描(参照图21的下层)的AF透镜112的位置的移动。控制部194基于前聚焦状态和后聚焦状态的判断，一边在透镜镜筒111内预先设定的透镜可动区域的一部分区域内进行对比度扫描，一边使AF透镜112移动。
并且，分布检测部193按上述那样检测共同边缘的对焦状态和非对焦状态的分布。在这里，若作为追踪对象的被摄物体像的边缘处于前聚焦状态，则设分布检测部193判断为在时间t1之前。在时间t1～t2中，控制部194使AF透镜112从时间t1时的透镜位置移动到对比度扫描的开始位置(初始位置驱动)。
由于判断为被摄物体像的边缘处于前聚焦状态，所以控制部194预测对焦位置在最接近侧区域中。并且，在时间t2～t3b中，从开始位置到“时间t1时的透镜位置”，控制部194一边执行对比度扫描，一边使AF透镜112移动(扫描驱动)。而且，在时间t3b～t4b中，控制部194使AF透镜112移动到示出对比度值为峰值的对焦位置(对焦位置驱动)。
在这里，也可以是，在扫描驱动时，控制部194在评价值Ed收敛于预先设定的范围内的时候结束对焦驱动。另外，也可以是，如上所述，控制部194在扫描驱动时，基于LSF检测对焦状态，并结束对焦驱动。
另外，控制部194在扫描驱动中，一边执行对比度扫描，一边一次通过示出对比度值为峰值的位置，从而通过插值对焦位置。与不采用插值计算的情况相比，利用插值计算对焦位置的情况能更正确地检测位置的可能性变高。并且，控制部194使AF透镜112移动到利用插值计算的对焦位置(对焦位置驱动)。
返回到图19，并继续对焦驱动的说明。CPU190控制拍摄部110，将利用拍摄用AF成为对焦状态的边缘曝光。并且，CPU190使拍摄部110拍摄到的图像经由通信部170存储(记录)到存储介质200中(步骤S19)。
如上所述，焦点调节装置191包括按照每种构成图像的颜色成分，检测被摄物体像边缘的边缘检测部192，该图像包含从透镜镜筒111入射的被摄物体像，该透镜镜筒111具有用于进行焦点调节的AF透镜112。另外，焦点调节装置191还包括基于边缘检测部192按照每种颜色成分检测的边缘，检测图像的对焦状态和非对焦状态的分布的分布检测部193。并且，焦点调节装置191还包括基于分布检测部193检测的分布(深度示意图)，使AF透镜112移动以对焦到被摄物体像上的控制部194。
由此，在基于共同边缘处于前聚焦状态的判断的对比度扫描中，控制部194使AF透镜112仅在最接近侧区域移动。结果，与执行通常对比度扫描时相比，对焦驱动在短时间内结束。同样地，在基于共同边缘处于后聚焦状态的判断的对比度扫描中，控制部194使AF透镜112仅在无穷远侧区域移动。结果，与执行通常对比度扫描时相比，对焦驱动在短时间内结束。
因此，焦点调节装置191能迅速地对焦到一次也没有对焦过的被摄物体像上。
另外，分布检测部193基于边缘检测部192按每种颜色成分检测的边缘的颜色成分量的斜度，检测对焦状态和非对焦状态的分布。由此，焦点调节装置191能基于边缘的颜色成分量的斜度，迅速地对焦到被摄物体像上。
另外，分布检测部193基于边缘检测部192按每种颜色成分检测的边缘的颜色成分量的比或差，检测表示对焦于被摄物体的近点侧还是对焦于被摄物体的远点侧的方向指标。同时，分布检测部193也检测散焦量。由此，焦点调节装置191能基于边缘的颜色成分量的比或差，迅速地对焦到被摄物体像上而不增大运算负荷。
另外，分布检测部193基于边缘检测部192按每种颜色成分检测的边缘的颜色成分量的比或差的峰值间距离，检测散焦量。由此，焦点调节装置191能基于边缘的颜色成分量的比或差的峰值间距离，迅速地对焦到被摄物体像上而不增大运算负荷。
(针对基于评价值LSF，执行对焦驱动的情况)
在图23中，示出了基于LSF的对焦驱动的步骤的流程图。拍摄装置100的CPU190设定实时图像中央的区域(中央范围区域)作为对焦(AF)于边缘的区域(步骤Sd1)。也可以是，该设定基于操作部180所接受的用户的操作输入来执行。
CPU190控制拍摄部110，执行曝光控制(步骤Sd2)。另外，图像处理部140取得实时图像(步骤Sd3)。并且，CPU190控制拍摄部110，执行debayer(颜色插补)处理。
另外，图像处理部140对取得的实时图像执行图像处理。例如，图像处理部140对取得的实时图像执行白平衡(White Balance，WB)调整处理、降噪(Noise Reduction，NR)处理(步骤Sd4)。在这里，也可以是，图像处理部140取得的实时图像是通过剔除拍摄元件119输出的电信号而得到的分辨率下降的图像。在此情况下，能使图像处理部140执行的图像处理量降低。而且，图像处理部140使实施了图像处理的实时图像显示在显示部150中(步骤Sd5)。
CPU190判断对焦指令是否被输入到CPU190中(步骤Sd6)。在没有对焦指令输入的情况下(步骤Sd6-否)，CPU190的处理返回到步骤Sd3。在有对焦指令输入的情况下(步骤Sd6-是)，CPU190的处理进入到步骤Sd7。
图像处理部140以完整分辨率取得实时图像(步骤Sd7)。并且，CPU190控制拍摄部110，使其执行debayer(颜色插补)处理。另外，图像处理部140对取得的实时图像执行图像处理。例如，图像处理部140对取得的实时图像执行白平衡调整处理、降噪处理(步骤Sd8)。
边缘检测部192在中央范围区域用拉普拉斯滤波器等提取每个颜色通道的边缘图像(步骤Sb9)。并且，边缘检测部192提取颜色成分 量(边缘能量)在一定量以上的有效边缘(步骤Sb10)。而且，边缘检测部192相对于图像的水平方向计算提取的边缘的LSF(步骤Sd11)。
边缘检测部192针对各颜色通道的边缘检测位置关系(步骤Sb12)。并且，边缘检测部192选择有位置关系的两种颜色以上的通道的边缘，并抽取边缘图像(步骤Sb13)。在这里，以抽取R通道边缘和G通道边缘图像的情况为例进行说明。边缘检测部192针对提取的边缘图像边缘进行粗线化，作成遮盖了边缘以外的掩模图像(参照图15D)(步骤Sd14)。
分布检测部193将掩模图像分割为“8×8”的块。并且，分布检测部193参照各块的LSF，计算每个像素的LSF的平均值(步骤Sd15)。而且，也可以是，分布检测部193基于计算的平均值，执行被摄物体像的标记。当在中央范围区域内存在多个标记时，分布检测部193判断在中央范围区域内存在多个被摄物体距离(步骤Sd16)。
控制部194基于R通道的边缘和G通道的边缘，计算AF透镜112的驱动方向和散焦量(对比度扫描的开始位置)(步骤Sd17)。控制部194使AF透镜112移动到开始位置(例如如果处于前聚焦状态，则位于最接近侧区域的位置)。并且，控制部194一边计算LSF，一边执行对比度扫描。控制部194执行对比度扫描，同时一次通过LSF示出对焦状态的位置(参照图13)，停止扫描驱动(步骤Sd18)。
并且，控制部194利用插值计算对焦位置，并使AF透镜112移动到计算出的对焦位置(步骤Sd19)。另外，图像处理部140反复取得实时图像(步骤Sd20)。并且，图像处理部140使实时图像显示在显示部150上(步骤Sd21)。此外，也可以是，控制部194使比中央范围区域更广的区域作为对焦到边缘的区域(AF区域)。
如上所述，分布检测部193基于与边缘检测部192按每种颜色成分检测的边缘相对应的线扩散函数(LSF)，检测表示对焦于被摄物体的近点侧还是对焦于被摄物体的远点侧的方向指标。而且，分布检测部193也检测散焦量。由此，即使是被摄物体像是单色的情况、被摄物 体像的面积很小的情况、或者被摄物体像的空间频率很低的情况，焦点调节装置191也能迅速地对焦(内容耐性)。
另外，分布检测部193基于与边缘检测部192按每种颜色成分检测的边缘相对应的线扩散函数(LSF)的标准差或半幅值，检测散焦量。由此，焦点调节装置191能基于边缘的线扩散函数的标准差或半幅值，迅速地对焦到被摄物体像。
焦点调节装置191包括按照每种构成图像的颜色成分，检测被摄物体像边缘的边缘检测部192，该图像包含从透镜镜筒111入射的被摄物体像，该透镜镜筒111具有用于进行焦点调节的AF透镜112。另外，焦点调节装置191还包括计算边缘检测部192按每种颜色成分检测的边缘的线扩散函数(LSF)的分布检测部193。并且，焦点调节装置191还包括基于线扩散函数，使AF透镜112移动以对焦到被摄物体像上的控制部194。
由此，即使是被摄物体像是单色的情况、被摄物体像的面积很小的情况、或者被摄物体像的空间频率很低的情况，焦点调节装置191也能迅速地对焦。
(第二实施方式)
参照附图，详细地说明本发明的第二实施方式。第二实施方式与第一实施方式的不同点在于分布检测部193基于后述的“散焦-驱动脉冲表”预测对焦位置(散焦量)。以下，仅说明第二实施方式与第一实施方式的不同点。
在图24中，示出了“散焦-驱动脉冲表”的例子。散焦-驱动脉冲表的项目(引用，reference)有透镜位置、评价值、在前聚焦状态的驱动脉冲步进数(以下称为“在前聚焦状态的步进数”)、在后聚焦状态的驱动脉冲的步进数(以下称为“在后聚焦状态的步进数”)。在这里，也可以是，评价值是基于Ed、Wd、LSF的散焦量中的任一种。
另外，驱动脉冲的步进数即镜筒控制部118根据驱动控制信号，输出到透镜驱动部116的驱动脉冲。该驱动脉冲的步进数基于镜筒控制部118的构造预先设定。并且，在前聚焦状态的步进数表示在前聚 焦状态下用于从现在的透镜位置移动到对焦位置所需要的步进数。同样地，在后聚焦状态的步进数表示在后聚焦状态下用于从现在的透镜位置移动到对焦位置所需要的步进数。另外，也可以是，散焦-驱动脉冲表存储在存储部160中。
分布检测部193周期性地检测评价值(散焦量)。并且，分布检测部193将检测的评价值、以及检测时的透镜位置登记到散焦-驱动脉冲表的“评价值”的项目中。而且，分布检测部193将“在前聚焦状态的步进数”和“在后聚焦状态的步进数”登记到散焦-驱动脉冲表中。这些“在前聚焦状态的步进数”和“在后聚焦状态的步进数”基于镜筒控制部118的构造预先设定。分布检测部193重复这些登记操作，作成历史记录。
接着，对控制部194基于散焦-驱动脉冲表，限定AF透镜112的移动方向和对比度扫描区域的步骤进行说明。
在图25中，示出了在判断了前聚焦及其程度的情况下的对比度扫描区域。同时，在图25中，也示出了在判断了后聚焦及其程度的情况下的对比度扫描区域。在判断被设定为追踪对象的被摄物体像的边缘处于前聚焦状态的情况下，控制部194基于散焦-驱动脉冲表(参照图24)，确定对焦位置的预测范围到最接近侧区域。
例如，假设从镜筒控制部118输出的透镜位置(对焦位置)的值是“1”，且分布检测部193检测的评价值(散焦量)的值是“1”，且分布检测部193检测的方向指标表示前聚焦状态。
在该情况下，控制部194参照在散焦-驱动脉冲表(参照图24)中是否登记有与透镜位置“1”和评价值“1”相对应的、在前聚焦的步进数。在图24示出的例子中，登记有与透镜位置“1”和评价值“1”相对应的“在前聚焦的步进数”。因此，控制部194从散焦-驱动脉冲表中取得在前聚焦的步进数“23”。
由此，控制部194预测：从现在的透镜位置在最接近方向上移动了与驱动脉冲步进数“23”相对应的移动量的位置处为AF透镜112的对焦位置。并且，控制部194确定以预测的位置为中心的预定长度的 预测范围。而且，控制部194限定预测范围，执行对比度扫描。此外，预测范围的长度也可以附加安全系数，从而变得更长。
同样地，在判断被设定为追踪对象的被摄物体像的边缘处于“后聚焦状态”的情况下，控制部194基于散焦-驱动脉冲表(参照图24)，确定以位于无穷远侧区域的对焦位置为中心的对焦位置的预测范围。并且，控制部194限定对焦位置的预测范围，执行对比度扫描。
在图26中，示出了表示追踪被摄物体像的追踪操作时的焦点调节装置191的对焦驱动的步骤的流程图。图26的步骤Sc1～Sc15与图19的步骤S1～S15相同。另外，图26的步骤Sc18～Sc20与图19的步骤S17～S19相同。另外，图26的步骤Sc16和Sc17表示并列处理。
在评价值Ed超过预先设定的第一阈值的情况下，或前一次的Ed与这一次的Ed之差大于预先设定的第二阈值的情况下(步骤Sc15-是)，控制部194限定AF透镜112的移动方向。并且，控制部194使用图24，参照散焦-驱动脉冲表，进一步确定对焦位置的预测范围。(步骤Sc16)。
控制部194限定AF透镜112的移动方向，并进一步限定对焦位置的预测范围，执行对比度扫描(小范围扫描)。另外，控制部194使AF透镜112移动到对焦位置以对焦到被摄物体像的边缘上(步骤Sc17)。并且，控制部194的处理进入步骤Sc18。以后的操作与第一实施方式相同。
这样，执行对比度扫描的范围被限定在对焦位置的预测范围内。结果，与通常的对比度扫描相比，焦点调节装置191能更迅速地对焦到被摄物体像上。
在图27中，示出了基于“散焦-驱动脉冲表”的对比度扫描时的对焦驱动的例子。下面，以控制部194基于评价值Ed，执行对焦驱动的情况作为一例进行说明。图27的各横轴表示拍摄部110拍摄的实时图像的帧数。另外，图27的上层的纵轴表示共同边缘的Ed。在这里，帧数f1的Ed记作“Ed值(初始)”。另外，图27的下层的纵轴表示透镜位置。
在从对比度扫描经过了固定时间的情况下，或者拍摄指令从操作部180被输出到CPU190的情况下，控制部194执行对比度扫描，并对焦到被摄物体像的边缘上。另外，分布检测部193以一定周期计算Ed。并且，分布检测部193基于实时图像所包含的被摄物体像的动作矢量，在判断被摄物体像的每单位时间的动作较大的情况下，加快计算Ed的速度。此外，也可以是，分布检测部193在判断前一次计算的评价值Ed与这一次计算的评价值Ed的相对差较大的情况下，加快计算Ed的速度。
首先，控制部194在帧数f1～f2执行对比度扫描，并扫描驱动AF透镜112。在这里，分布检测部193在扫描驱动期间、在判断被摄物体像的每单位时间的动作较大的情况下，加快计算Ed的速度。
并且，控制部194在帧数f2～f3对焦位置驱动AF透镜112，并对焦到被摄物体像的共同边缘上。由此，在帧数f3～f4，被摄物体像的共同边缘处于对焦状态。在这里，在被摄物体距离发生了变化的情况下，也可以是，帧数f3～f4的对焦位置与对焦位置(初始)不同。
接着，由于被摄物体距离发生了变化，在帧数f4，假设Ed超过预先设定的阈值。由此，控制部194基于散焦-驱动脉冲表，限定AF透镜112的移动方向和移动量。
例如，假设从镜筒控制部118输出的透镜位置(对焦位置)的值是“1”，且分布检测部193检测的评价值(散焦量)的值是“1”，且分布检测部193检测的方向指标示出前聚焦状态。
在该情况下，控制部194判断在“散焦-驱动脉冲表(参照图24)”中是否登记有与透镜位置“1”和评价值“1”相对应的“在前聚焦的步进数”。并且，在图24示出的例子中，因为与透镜位置“1”和评价值“1”相对应的“在前聚焦的步进数”有登记在表中，所以控制部194从散焦-驱动脉冲表中取得在前聚焦的步进数“23”。
由此，控制部194预测：从现在的透镜位置朝向最接近方向，AF透镜112移动了与驱动脉冲步进数“23”相对应的移动量的位置为对焦位置。并且，控制部194将驱动控制信号输出到镜筒控制部118中。 并且，控制部194在最接近方向上、驱动AF透镜112移动与驱动脉冲的步进数“23”相对应的移动量。由此，控制部194在帧数f5对焦到边缘。
另外，假设控制部194在“帧数f5～f7”和“帧数f7～f9”重复与帧数f3～f5同样的操作。并且，假设通过用户操作操作部160，在帧数f10，对焦指令或拍摄指令被输入到CPU190中。
在图28中，示出了在图27中示出的对焦驱动的例子的帧数f10～f12部分的放大图。在这里，纵轴表示透镜位置。另外，横轴表示帧数。控制部194在帧数f10基于散焦-驱动脉冲表(参照图24)，确定以对焦位置为中心的对焦位置的预测范围。并且，控制部194在预测范围内执行对比度扫描。同时，一次通过示出对比度值为峰值的对焦位置，控制部194在帧数f11利用插值计算评价值Ed。
而且，在帧数f11～12，控制部194使AF透镜112返回到利用插值计算的对焦位置(对焦位置驱动)。
如上所述，焦点调节装置191包括按照每种构成图像的颜色成分，检测被摄物体像边缘的边缘检测部192，该图像包含从透镜镜筒111入射的被摄物体像，该透镜镜筒111具有用于进行焦点调节的AF透镜112。另外，焦点调节装置191还包括基于边缘检测部192按照每种颜色成分检测的边缘，检测图像的对焦状态和非对焦状态的分布的分布检测部193。并且，焦点调节装置191还具有控制部194，其作成包括分布检测部193检测的分布历史记录的“散焦-驱动脉冲表”，并基于该历史记录使AF透镜112移动以对焦到被摄物体像上。
由此，与不参照散焦-驱动脉冲表的情况相比较，焦点调节装置191能更迅速地对焦到一次也没有对焦过的被摄物体像上。
(第三实施方式)
参照附图，详细地说明本发明的第三实施方式。第三实施方式与第一实施方式和第二实施方式的不同点在于，分布检测部193将像素偏移导致的像素值的差值数据(自相关)作为评价值，计算散焦量。以下，仅说明与第一实施方式和第二实施方式的不同点。
图29示出了表示具有运动图像拍摄模式的焦点调节装置191的操作的流程图。CPU190将拍摄装置100设定为运动图像拍摄模式(步骤Se1)。在这里，也可以是，CPU190基于操作部180接受到的用户的操作输入，将拍摄装置100设定为运动图像拍摄模式。由此，CPU190控制图像处理部140从而将拍摄装置110拍摄的图像作为运动图像进行图像处理。
图像处理部140取得1/30剔除数据(步骤Se2)。在这里，1/30剔除数据即按照每三十分之一秒从拍摄元件119输出的实时图像，其一部分被剔除从而降低了分辨率的实时图像。并且，CPU190控制拍摄部110，执行自动曝光(AE)处理(步骤Se3)。
焦点调节装置191的控制部194执行第一次对焦驱动。该对焦驱动的对焦方式可以适当地选择。例如，对焦方式可以是对比度AF方式，也可以是其他对焦方式(相位差检测方式等)。并且，边缘检测部192从实时图像选择颜色成分量的对比度较高的区域作为评价评价值的评价范围(步骤Se4)。
控制部194执行对比度扫描，并扫描驱动AF透镜112(步骤Se5)。并且，在评价范围内，边缘检测部192在水平方向上将实时图像偏移一个像素。而且，边缘检测部192按照每个颜色通道计算(采集)在水平方向上移动了一个像素的实时图像与原来的实时图像的像素值(例如颜色成分量)的差值数据(步骤Se6)。
分布检测部193针对G通道的差值数据数的10％，作成差值数据的直方图，并计算差值数据的平均值(步骤Se7)。此外，也可以是，分布检测部193针对G通道的差值数据数的全部数量，作成差值数据的直方图。
在图30A中示出了对焦状态下的差值数据的直方图。另外，在图30B中示出了非对焦状态下的差值数据的直方图。并且，图30A和图30B的横轴表示差值数据。另外，纵轴表示差值数据的频度。
在非对焦状态下，由于散焦量较大，邻接像素之间的像素值之差(邻接差)与在对焦状态下的邻接差相比较小。因此，直方图向差值 数据较小一侧移位。因此，在图30A示出的、在对焦状态下的差值数据的平均值“Ave”与在图30B中示出的、在非对焦状态下的差值数据的平均值“Ave1”的大小关系为“Ave＞Ave1”。因此，在平均值小于预先设定的阈值的情况下，分布检测部193判断实时图像处于非对焦状态。
返回到图29，并继续焦点调节装置191的操作的说明。图像处理部140重新取得1/30剔除数据(步骤Se8)。并且，在评价范围内，边缘检测部192在水平方向上将实时图像偏移一个像素。而且，边缘检测部192按照每个颜色通道计算(采集)在水平方向上移动了一个像素的实时图像与原来的实时图像的像素值(例如颜色成分量)的差值数据。而且，分布检测部193针对差值数据数的10％，作成差值数据的直方图，并按照每个颜色通道计算差值数据的平均值(步骤Se9)。此外，也可以是，分布检测部193针对差值数据数的全部数量，按照每个颜色通道作成差值数据的直方图。
在G通道的差值数据的平均值小于预先设定的阈值的情况下，分布检测部193判断实时图像处于非对焦(散焦)状态(步骤Se10)。而且，基于R通道差值数据的平均值变化和B通道差值数据的平均值变化，分布检测部193判断被摄物体像的边缘是处于前聚焦状态还是处于后聚焦状态(步骤Se11)。
例如，也可以是，在R通道差值数据的平均值变化大于B通道差值数据的平均值变化的情况下，分布检测部193判断被摄物体像的边缘处于前聚焦状态。
并且，控制部194限定扫描区域，执行对比度扫描(步骤Se12)。
如上所述，通过使图像在水平方向上偏移一个像素并计算与原来图像的差值数据，焦点调节装置191限定扫描区域，执行对比度扫描。由此，与执行通常对比度扫描的情况相比，控制部194使对焦驱动以较轻的处理负荷在短时间内结束。因此，焦点调节装置191能迅速地对焦到一次也没有对焦过的被摄物体像上。
以上，参照附图对本发明的实施方式进行了详细的描述，但是具体的结构并不局限于这些实施方式。能在不脱离本发明宗旨的前提下进行适当变更。
例如，在对具有点状光(点光源)的被摄物体像执行了对比度扫描的情况下，存在多个对比度值的峰值。因此，不能限定对焦位置的情况较多。因此，也可以是，焦点调节装置191基于上述的评价值，提高点状光被摄物体的对比度AF的功能。
在图31中，示出了表示判断点状光的焦点调节装置191的操作的流程图。图像处理部140从拍摄部110取得实时图像(剔除过的VGA图像)(步骤Sf1)。在这里，也可以是，图像处理部140取得实时图像的周期是比通常短的周期(间隔率)。并且，CPU190控制拍摄部110，使其执行debayer(颜色插补)处理。另外，图像处理部140对取得的实时图像执行图像处理。例如，图像处理部140对取得的实时图像执行白平衡调整处理、降噪处理(步骤Sf2)。
分布检测部193作成颜色成分量的直方图，并判断在直方图中是否有限幅通道(clip channel)(步骤Sf3)。在这里，限幅通道即颜色成分量饱和的通道。此外，也可以是，分布检测部193作成亮度值的直方图。
在存在限幅通道的情况下，分布检测部193判断产生限幅(饱和)的像素周围存在点状光，并针对其周围检索有效边缘(步骤Sf4)。并且，由于使用高分辨率的图像(未剔除过的图像)来检索有效边缘，图像处理部140从拍摄部110取得高分辨率的图像(多尺度窗口(multiscale window))。分布检测部193针对高分辨率图像的产生限幅(饱和)的像素周围，检索有效边缘(步骤Sf5)。
如上所述，分布检测部193以边缘信息为基础计算LSF，按照每个颜色通道比较LSF。并且，如上所述，分布检测部193计算方向指标和散焦量(步骤Sf6)。并且，控制部194基于方向指标和散焦量，驱动AF透镜112(步骤Sf7)。
这样，焦点调节装置191针对产生限幅(饱和)的像素周围，检索有效边缘。其结果是，能提高点状光被摄物体的对比度AF的性能。另外，也可以是，拍摄装置100基于焦点调节装置191检测点状光的结果，变更拍摄条件(例如光圈值、曝光值等)。
另外，例如也可以是，拍摄装置100基于焦点调节装置191计算的方向指标和散焦量，将拍摄模式切换至“微距(近拍)拍摄模式”。在图32中，示出了说明切换到微距拍摄模式的判断操作的图。AF透镜112的位置位于最接近位置的情况下，分布检测部193判断被摄物体像处于前聚焦状态。在该情况下，基于焦点调节装置191计算的方向指标(前聚焦状态)和散焦量，拍摄装置100的CPU190将拍摄模式切换至“微距(近拍)拍摄模式”。由此，控制部194将扫描范围限定在比通常对比度扫描的最接近位置更位于最接近侧的“微距(近拍)的最接近区域”，执行对比度扫描。
这样，拍摄装置100能基于焦点调节装置191计算的方向指标(前聚焦状态)和散焦量，将拍摄模式切换至“微距(近拍)拍摄模式”而不依靠用户的操作输入。
另外，例如也可以是，颜色通道用根据RGB以外的颜色空间表示形式来表示。例如也可以是，颜色通道用根据色差(YCbCr、YUV等)的颜色空间表示形式来表示。
另外，例如也可以是，分布检测部193基于用同一颜色对被摄物体像进行分组的结果，将块细分化，并标记被摄物体像。
另外，例如也可以是，在未检测出有效的边缘的情况下，分布检测部193变更图像的分辨率。另外，也可以是，分布检测部193执行超分辨率(super resolution)处理。
另外，例如也可以是，上面说明的各曲线图、各参数、以及各阈值根据变焦位置、图像高度、以及对焦范围位置进行变更。
另外，例如也可以是，基于以固定周期计算的评价值的历史记录，在判断评价值的变化较小的情况下，分布检测部193假设被摄物体的 动作较少，延长计算评价值的周期。在此情况下，分布检测部193能减轻计算评价值的运算负荷。
另外，例如也可以是，使用SFR(Spatial Frequency Response：空间频率响应)来取代MTF。
(关于从多个边缘中选择用于焦点调节的边缘的方法)
在图像存在多个边缘的情况下，焦点调节装置根据优先顺序从多个边缘中选择预先设定的N个(N为1以上的整数)排在前面的边缘。并且，焦点调节装置基于选择出的这些边缘，进行焦点调节(例如参照图19的步骤S11)。以下，针对这样的图像存在多个边缘的情况下、焦点调节装置选择用于进行焦点调节的边缘的方法进行说明。
分布检测部193(参照图1)选择边缘检测部192按照颜色成分检测的边缘中的、按照能量从强(颜色成分量较多)到弱的顺序，排在前面的边缘。另外，分布检测部193选择边缘检测部192按照颜色成分检测的边缘中的、按照颜色成分的对比度从高到低的顺序，排在前面的边缘。
在这里，在各边缘中颜色成分的对比度相同而颜色成分的信噪比(S/N比)不同的边缘混在一起的情况下，分布检测部193按照颜色成分的信噪比从高到低的顺序，选择排在前面的边缘。另外，在各边缘中颜色成分的信噪比相同而颜色成分的对比度不同的边缘混在一起的情况下，分布检测部193按照颜色成分的对比度从高到低的顺序，选择排在前面的边缘。
另外，在各边缘中颜色成分的信噪比不相同的情况下，分布检测部193选择信噪比相对较低且对比度较高的边缘、和信噪比相对较高且对比度相对较低的边缘中的至少一方。
图33A、图33B是用于说明颜色成分的信噪比不同的边缘混在一起的情况下选择的边缘的优先顺序的图。纵轴表示颜色成分量。另外，横轴表示在轴D上的位置(参照图7)。在图33A中，示出了信噪比相对较高且对比度相对较低的边缘。另一方面，在图33B中，示出了信 噪比相对较低且对比度相对较高的边缘。在各边缘的颜色成分的信噪比不同的情况下，由分布检测部193选择这些边缘中的至少一方。
分布检测部193(参照图1)选择由白颜色成分和黑颜色成分构成的边缘。另外，在没有由白颜色成分和黑颜色成分构成的边缘的情况下，分布检测部193选择边缘检测部192按照颜色成分检测的边缘中的、包含两种原色以上且颜色成分以同相位变化的边缘。在边缘包括两种原色的情况下，分布检测部193选择包含绿颜色成分(G通道)的边缘。另外，在边缘不包括绿颜色成分的情况下，分布检测部193选择包含蓝颜色成分(B通道)的边缘。
图34A、34B、34C是表示在包含两种原色的情况下选择出的边缘的优先顺序的图。纵轴表示颜色成分量。另外，横轴表示在轴D上的位置(参照图7)。在图34A中，示出了由以同相位变化的R通道和G通道构成的边缘。另外，在图34B中，示出了由以同相位变化的R通道和G通道构成的边缘，其中，与在图34A中示出的R通道的对比度相比，R通道的对比度较低的边缘。另外，在图34C中，示出了由以同相位变化的R通道和B通道构成的边缘。
这些边缘中的优先顺序最高的边缘是包含绿颜色成分(G通道)且对比度较高的、在图34A中示出的边缘。另一方面，这些边缘中的优先顺序最低的边缘是不包含绿颜色成分的、在图34C中示出的边缘。包含绿颜色成分的边缘由拍摄元件119(参照图1)高精度地检测。
分布检测部193(参照图1)选择边缘检测部192按照颜色成分检测的边缘中的、预先设定宽度以上的颜色成分为平坦的边缘。图35A、图35B是用于说明与横穿一条颜色成分为平坦的边缘的位置相应的颜色成分量的变化、和与横穿多条边缘的位置相应的颜色成分量的变化的图。图35A、图35B的各纵轴表示颜色成分量。另外，图35A的横轴表示横穿一条边缘的位置，即在轴D上的位置(参照图7)。另外，图35B的横轴表示横穿多条边缘的位置。
在图35A中，示出了与横穿一条颜色成分为平坦的边缘的位置相应的颜色成分量的变化。在图35A中，预先设定的宽度W1和W2以上 的边缘的颜色成分量是平坦的。在这里，也可以是，平坦边缘的宽度设定为包含颜色成分量存在斜度的范围宽度W3和W4，来取代设定的宽度W1和W2。另一方面，在图35B中，示出了与横穿多条边缘的位置相应的颜色成分量的变化。在图35B中，各边缘的颜色成分量不平坦。因此，这些边缘中的优先顺序最高的边缘是预先设定的宽度以上的颜色成分为平坦的边缘，即在图35A中示出的边缘。
分布检测部193(参照图1)选择边缘检测部192按照颜色成分检测的边缘中的、根据颜色成分的信噪比确定的长度以上的边缘。例如，分布检测部193选择颜色成分的信噪比较低、较长的边缘。
接着，对根据优先顺序选择排在前面的边缘的步骤进行说明。图36是表示根据优先顺序选择排在前面的边缘步骤的流程图。边缘检测部192检测多个边缘(步骤Sg1)。分布检测部193检测由边缘检测部192检测的边缘的强度(能量、颜色成分量)(步骤Sg2)。边缘检测部192基于检测的边缘强度，选择优先顺序排在前面的N个边缘。例如，边缘检测部192将颜色成分量较多的边缘设定为追踪对象(步骤Sg3)。
分布检测部193基于构成选择出的边缘的颜色成分(参照图34A、图34B、以及图34C)，选择优先顺序排在前面的边缘。例如，在边缘包括两种原色的情况下，分布检测部193选择包含绿颜色成分(G通道)的边缘(步骤Sg4)。
分布检测部193基于选择出的边缘的对比度(参照图33)，选择优先顺序排在前面的边缘。例如，分布检测部193按照邻接像素之间的颜色成分量之差(邻接差)从大到小的顺序，选择排在前面的边缘(步骤Sg5)。
分布检测部193基于选择出的边缘的颜色成分的信噪比和波形平坦的范围的宽度(参照图35A、图35B)，选择优先顺序排在前面的边缘(步骤Sg6)。
分布检测部193根据颜色成分的信噪比选择设定的长度以上的边缘。例如，颜色成分的信噪比越低、分布检测部193就选择越长的边缘(步骤Sg7)。
分布检测部193登记作为边缘识别信息的边缘地址。即，分布检测部193将最终选择出的排在前面的边缘设定为追踪对象(步骤Sg8)。
控制部194基于边缘的评价值，判断处于前聚焦状态或后聚焦状态、以及AF透镜112的位置。即，基于分布检测部193检测的对焦状态和非对焦状态的分布，控制部194使AF透镜112移动以对焦到被摄物体像的边缘。在这里，控制部194限定AF透镜112的移动方向，执行对比度扫描(步骤Sg9)。
此外，也可以是，分布检测部193基于边缘的亮度而不是边缘的颜色成分，选择优先顺序排在前面的边缘。
另外，也可以是，将用于实现采用图16、图19、图20、图23、图26、图29、图31和图36说明的步骤的程序记录至计算机可读取记录介质，通过使计算机系统读入并执行该记录介质所记录的程序，来进行执行处理。此外，在这里所说的“计算机系统”也可以包含OS(Operating System：操作系统)或外围设备等硬件。
在这里，在利用WWW(World Wide Web：环球信息网)系统的情况下，“计算机系统”也包含主页提供环境(或者显示环境)。另外，“计算机可读取记录介质”是指软盘、磁光盘、ROM、以及闪存等能写入的非易失性存储器、CD-ROM等可移动介质、以及内置于计算机系统的硬盘等存储装置。
并且，“计算机可读取记录介质”也包括在经由互联网等网络或电话线路等通信线路发送程序时，作为服务器、客户端的计算机系统内部的易失性存储器(例如DRAM(DynamicRandom Access Memory：动态随机存取存储器))那样的、在一定时间内保持程序的记录介质。
另外，也可以是，把上述程序从将该程序保存至存储装置等的计算机系统，经由传送介质或者利用传送介质中的传送波，传送至其他计算机系统。在这里，传送程序的“传送介质”是指具有互联网等网络(通信网络)、电话线路等通信线路(通信线)这样的传送信息的特征的介质。
另外，也可以是，上述程序是用于实现上述功能的一部分的程序。而且，也可以是，上述程序是通过与已经记录于计算机系统的程序相组合而能实现上述功能的所谓的差值文件(差值程序)。
标号说明
100拍摄装置
110拍摄部
111透镜镜筒
190CPU
191焦点调节装置
192边缘检测部
193分布检测部
194控制部

Claims (14)

1.一种焦点调节装置，包括：
边缘检测部，其从基于拍摄被摄物体的拍摄部生成的图像数据，按照每种颜色成分，检测包含在上述被摄物体中的边缘；
分布检测部，其基于上述边缘检测部检测到的按照每种颜色成分的上述边缘的颜色成分量的斜度，检测通过上述图像数据所示的图像的对焦状态和非对焦状态的分布；以及
控制部，其基于上述分布检测部检测到的上述分布使透镜向对焦方向移动。
2.根据权利要求1所述的焦点调节装置，其特征在于，
上述分布检测部基于上述边缘检测部检测到的上述边缘的颜色成分量的比或差，检测表示相对于被摄物体对焦在近点侧与远点侧中的哪一方的方向指标、以及散焦量。
3.根据权利要求2所述的焦点调节装置，其特征在于，
上述分布检测部基于上述边缘检测部检测到的上述边缘的颜色成分量的比或差的峰值间距离，检测上述散焦量。
4.根据权利要求1所述的焦点调节装置，其特征在于，
上述分布检测部基于与上述边缘检测部检测到的上述边缘相对应的线扩散函数，检测表示相对于被摄物体对焦在近点侧与远点侧中的哪一方的方向指标、以及散焦量。
5.根据权利要求4所述的焦点调节装置，其特征在于，
上述分布检测部基于与上述边缘检测部检测到的上述边缘相对应的线扩散函数的标准差或半幅值，检测上述散焦量。
6.根据权利要求1所述的焦点调节装置，其特征在于，
上述分布检测部选择上述边缘检测部检测到的上述边缘内的、按颜色成分量从多到少的顺序排在前面的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
7.根据权利要求1所述的焦点调节装置，其特征在于，
上述分布检测部选择上述边缘检测部检测到的上述边缘内的、按上述颜色成分的对比度从高到低的顺序排在前面的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
8.根据权利要求7所述的焦点调节装置，其特征在于，
在上述颜色成分的上述对比度相同的边缘与上述颜色成分的信噪比不同的边缘混在一起的情况下，上述分布检测部选择上述颜色成分的上述信噪比按从高到低的顺序排在前面的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
9.根据权利要求7所述的焦点调节装置，其特征在于，
在上述颜色成分的信噪比不同的边缘混在一起的情况下，上述分布检测部选择上述信噪比相对较低且上述对比度相对较高的边缘、以及上述信噪比相对较高且上述对比度相对较低的边缘中的至少一方，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
10.根据权利要求1所述的焦点调节装置，其特征在于，
上述分布检测部选择上述边缘检测部检测到的上述边缘内的、包含两种原色以上且上述颜色成分以相同相位变化的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
11.根据权利要求10所述的焦点调节装置，其特征在于，
在上述边缘包含两种原色的情况下，上述分布检测部选择包含绿色成分的边缘。
12.根据权利要求1所述的焦点调节装置，其特征在于，
上述分布检测部选择上述边缘检测部检测到的上述边缘内的、上述颜色成分在预先设定宽度以上为平坦的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
13.根据权利要求1所述的焦点调节装置，其特征在于，
上述分布检测部选择上述边缘检测部检测到的上述边缘内的、根据上述颜色成分的信噪比设定的长度以上的边缘，并基于该选择出的边缘，检测上述图像的对焦状态和非对焦状态的分布。
14.一种焦点调节方法，包括：
从基于拍摄被摄物体的拍摄部生成的图像数据，按照每种颜色成分，检测包含在上述被摄物体中的边缘；
基于检测到的按照每种颜色成分的上述边缘的颜色成分量的斜度，检测通过上述图像数据所示的图像的对焦状态和非对焦状态的分布；以及
基于上述分布，使透镜向对焦方向移动。
CN201180015740.7A 2010-02-15 2011-02-15 焦点调节装置和焦点调节方法 Active CN102844705B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010030481 2010-02-15
JP2010-030481 2010-02-15
PCT/JP2011/053156 WO2011099626A1 (ja) 2010-02-15 2011-02-15 焦点調節装置、及び焦点調節プログラム

Publications (2)

Publication Number Publication Date
CN102844705A CN102844705A (zh) 2012-12-26
CN102844705B true CN102844705B (zh) 2017-04-12

Family

ID=44367889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180015740.7A Active CN102844705B (zh) 2010-02-15 2011-02-15 焦点调节装置和焦点调节方法

Country Status (4)

Country Link
US (3) US9066001B2 (zh)
JP (2) JP5757099B2 (zh)
CN (1) CN102844705B (zh)
WO (1) WO2011099626A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5757099B2 (ja) * 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
CN102158730B (zh) * 2011-05-26 2014-04-02 威盛电子股份有限公司 影像处理系统及方法
CN102158731B (zh) * 2011-05-26 2014-03-12 威盛电子股份有限公司 影像处理系统及方法
US9407809B2 (en) 2013-11-27 2016-08-02 Qualcomm Incorporated Strategies for triggering depth sensors and transmitting RGBD images in a cloud-based object recognition system
JP6464553B2 (ja) * 2013-11-28 2019-02-06 株式会社ニコン レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム
JP6349703B2 (ja) * 2013-12-03 2018-07-04 株式会社ニコン 電子カメラ及び画像処理プログラム
JP5874753B2 (ja) * 2014-01-28 2016-03-02 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP6478496B2 (ja) * 2014-07-03 2019-03-06 キヤノン株式会社 撮像装置およびその制御方法
WO2016185952A1 (ja) * 2015-05-18 2016-11-24 ソニー株式会社 制御装置及び医療用撮像システム
FR3046256B1 (fr) * 2015-12-23 2018-01-05 Thales Zoom plenoptique a portee optimisee
CN106937107B (zh) * 2015-12-29 2019-03-12 宁波舜宇光电信息有限公司 基于色差的摄像模组调焦方法
US20170321987A1 (en) * 2016-05-05 2017-11-09 Coriolis Games Corporation Simulated firearm with target accuracy detection, and related methods and systems
JP6742178B2 (ja) * 2016-07-19 2020-08-19 日本放送協会 Ｍｔｆ測定装置およびそのプログラム
JP6742180B2 (ja) * 2016-07-21 2020-08-19 日本放送協会 Ｍｔｆ測定装置及びそのプログラム
CN106331499B (zh) * 2016-09-13 2019-10-29 努比亚技术有限公司 对焦方法及拍照设备
CN106504279B (zh) * 2016-10-18 2019-02-19 安庆师范大学 彩色图像自动聚焦方法
JP6967382B2 (ja) * 2017-01-13 2021-11-17 日本放送協会 Ｍｔｆ測定装置およびそのプログラム
US10798316B2 (en) * 2017-04-04 2020-10-06 Hand Held Products, Inc. Multi-spectral imaging using longitudinal chromatic aberrations
WO2018207400A1 (ja) * 2017-05-09 2018-11-15 三菱電機株式会社 Ｍｔｆ測定装置およびｍｔｆ測定方法
US11074677B2 (en) 2018-03-29 2021-07-27 Dolby Laboratories Licensing Corporation Dynamic range extension of partially clipped pixels in captured images
JP2018163365A (ja) * 2018-06-07 2018-10-18 株式会社ニコン 画像処理装置
CN109078342B (zh) * 2018-08-17 2020-03-27 浙江大丰实业股份有限公司 舞台吊杆高度维护系统
US11323610B2 (en) 2018-09-28 2022-05-03 Samsung Electronics Co., Ltd. Autofocus method and electronic device performing same
DE102019117293B3 (de) 2019-06-27 2020-11-05 Carl Zeiss Smt Gmbh Vorrichtung zur Vermessung von Masken für die Mikrolithographie und Autofokussierverfahren
CN110807745B (zh) * 2019-10-25 2022-09-16 北京小米智能科技有限公司 图像处理方法及装置、电子设备
JP7405678B2 (ja) 2020-04-01 2023-12-26 株式会社Ｓｃｒｅｅｎホールディングス 合焦位置検出方法、合焦位置検出装置および合焦位置検出用プログラム
TWI790758B (zh) * 2021-09-24 2023-01-21 致茂電子股份有限公司 應用軸向色差的對焦方法及使用該方法的光學檢測架構
WO2023150671A1 (en) * 2022-02-04 2023-08-10 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods, systems and devices for increasing image resolution and dynamic range
US11852895B2 (en) 2022-02-28 2023-12-26 e-con Systems India Private Limited System and method for obtaining optimal focus of an image capturing device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815359A (zh) * 1998-01-27 2006-08-09 诺日士钢机株式会社 底片扫描器、缺陷识别方法和图像修复方法
CN101637017A (zh) * 2007-03-23 2010-01-27 佳能株式会社 具有光学取景器的摄像设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62115408A (ja) * 1985-11-15 1987-05-27 Tamuron:Kk 固体撮像素子を有するカメラの合焦検出装置
JPS6394212A (ja) * 1986-10-08 1988-04-25 Canon Inc 合焦検出装置
JPH01246516A (ja) * 1988-03-29 1989-10-02 Sony Corp 焦点位置検出装置
JPH03136012A (ja) * 1989-10-23 1991-06-10 Olympus Optical Co Ltd 合焦検出装置
JPH03204277A (ja) * 1990-01-05 1991-09-05 Canon Inc 合焦検出方法
JPH0545574A (ja) 1991-08-14 1993-02-23 Sony Corp ビデオカメラ
JP3482013B2 (ja) * 1993-09-22 2003-12-22 ペンタックス株式会社 光学系のピント評価方法、調整方法、調整装置、およびチャート装置
JPH08248302A (ja) * 1995-03-14 1996-09-27 Nikon Corp 自動焦点検出装置
KR100197609B1 (ko) * 1996-07-27 1999-06-15 윤종용 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치
US6088539A (en) 1997-12-24 2000-07-11 Canon Kabushiki Kaisha Optical apparatus with focus adjusting function and focus adjustment control circuit
JP3630965B2 (ja) 1997-12-24 2005-03-23 キヤノン株式会社 焦点検出装置、カメラ及び焦点検出方法
JP2000216978A (ja) * 1999-01-22 2000-08-04 Canon Inc 画像抽出方法及び装置並びに記憶媒体
JP2000338385A (ja) * 1999-05-28 2000-12-08 Ricoh Co Ltd 自動合焦装置およびその合焦方法
JP2001141988A (ja) * 1999-08-31 2001-05-25 Canon Inc 焦点調節装置及びその制御方法及びその制御プログラムを供給する媒体
JP2002122774A (ja) * 2000-10-16 2002-04-26 Nec Corp 焦点位置決定システムおよび焦点位置決定方法
JP2002214513A (ja) * 2001-01-16 2002-07-31 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
JP2003262783A (ja) * 2002-03-08 2003-09-19 Minolta Co Ltd オートフォーカス装置および撮像装置
JP3748446B2 (ja) * 2003-12-19 2006-02-22 株式会社メガチップス 画像入力装置の画像処理回路
EP1746846B1 (en) * 2004-04-12 2019-03-20 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
US20060078217A1 (en) * 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
JP4661084B2 (ja) * 2004-05-20 2011-03-30 セイコーエプソン株式会社 ミスフォーカス判定方法およびこれに関するプログラム
JP2007139894A (ja) * 2005-11-15 2007-06-07 Olympus Corp 撮像装置
KR100866490B1 (ko) * 2007-01-17 2008-11-03 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법
JP5036421B2 (ja) 2007-06-25 2012-09-26 シリコン ヒフェ ベー．フェー． 画像処理装置、画像処理方法、プログラムおよび撮像装置
US8494260B2 (en) 2007-06-25 2013-07-23 Silicon Hive B.V. Image processing device, image processing method, program, and imaging device
KR101399012B1 (ko) * 2007-09-12 2014-05-26 삼성전기주식회사 영상 복원 장치 및 방법
US8264591B2 (en) * 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal
EP2147854B1 (de) * 2008-07-16 2011-02-16 Torqeedo GmbH Halterung für einen Außenbordmotor
WO2010061352A2 (en) * 2008-11-26 2010-06-03 Hiok Nam Tay Auto-focus image system
US8698905B2 (en) * 2009-03-11 2014-04-15 Csr Technology Inc. Estimation of point spread functions from motion-blurred images
US9131142B2 (en) * 2009-07-17 2015-09-08 Nikon Corporation Focusing device and camera
US8958009B2 (en) * 2010-01-12 2015-02-17 Nikon Corporation Image-capturing device
JP5757099B2 (ja) * 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
US8724009B2 (en) * 2010-05-05 2014-05-13 Hiok Nam Tay Auto-focus image system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1815359A (zh) * 1998-01-27 2006-08-09 诺日士钢机株式会社 底片扫描器、缺陷识别方法和图像修复方法
CN101637017A (zh) * 2007-03-23 2010-01-27 佳能株式会社 具有光学取景器的摄像设备

Also Published As

Publication number Publication date
US9883095B2 (en) 2018-01-30
US20180115698A1 (en) 2018-04-26
JP5994904B2 (ja) 2016-09-21
US9066001B2 (en) 2015-06-23
JP2011186452A (ja) 2011-09-22
WO2011099626A1 (ja) 2011-08-18
JP2015200903A (ja) 2015-11-12
US20150264252A1 (en) 2015-09-17
CN102844705A (zh) 2012-12-26
US20130016275A1 (en) 2013-01-17
JP5757099B2 (ja) 2015-07-29

Similar Documents

Publication Publication Date Title
CN102844705B (zh) 焦点调节装置和焦点调节方法
US9251571B2 (en) Auto-focus image system
KR101417169B1 (ko) 초점 조력 시스템 및 방법
CN105430257B (zh) 控制设备和控制方法
JP4701111B2 (ja) パターンマッチングシステム及び被写体追尾システム
US10156695B2 (en) Image processing apparatus and image processing method
CN110476414A (zh) 控制系统和图像传感器
JP6156532B2 (ja) 領域抽出装置、撮像装置、及び領域抽出プログラム
CN102948142A (zh) 自动聚焦图像系统
CN103650473A (zh) 自动聚焦图像系统
CN103262524A (zh) 自动聚焦图像系统
WO2005033763A1 (ja) 撮影レンズ位置制御装置
AU2011340207A1 (en) Auto-focus image system
US20200077032A1 (en) Image processing apparatus and electronic apparatus
JP5871175B2 (ja) 領域抽出装置、撮像装置、及び領域抽出プログラム
JP5899693B2 (ja) 領域抽出装置、撮像装置、及び領域抽出プログラム
JP6248662B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
JP2011217355A (ja) 被写体特定用プログラム、およびカメラ
KR20110056092A (ko) 피사체 부각 정보를 제공하는 방법 및 이를 위한 디지털 촬영 장치
JP2015149570A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6318661B2 (ja) 被写体検出装置、撮像装置及び画像処理プログラム
CN104427248B (zh) 摄像装置及其控制方法
JP6405638B2 (ja) 被写体検出装置、撮像装置及びプログラム
JP6326840B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant