CN101959013B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN101959013B
CN101959013B CN2010102296914A CN201010229691A CN101959013B CN 101959013 B CN101959013 B CN 101959013B CN 2010102296914 A CN2010102296914 A CN 2010102296914A CN 201010229691 A CN201010229691 A CN 201010229691A CN 101959013 B CN101959013 B CN 101959013B
Authority
CN
China
Prior art keywords
image
subject
recovery
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010102296914A
Other languages
English (en)
Other versions
CN101959013A (zh
Inventor
浜野英之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201310021788.XA priority Critical patent/CN103124332B/zh
Publication of CN101959013A publication Critical patent/CN101959013A/zh
Application granted granted Critical
Publication of CN101959013B publication Critical patent/CN101959013B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Abstract

本发明涉及图像处理设备和图像处理方法。所述图像处理方法包括以下步骤：恢复步骤，用于对图像数据进行模糊恢复；获取步骤，用于获取与所述图像数据一起存储的图像相关信息；以及提取步骤，用于基于所述图像相关信息提取进行所述模糊恢复的被摄体距离的范围。在所述恢复步骤中，在所述提取步骤中所提取的被摄体距离的范围中对所述图像数据进行模糊恢复。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及基于图像中的被摄体距离信息进行模糊恢复的技术。
背景技术
日本特开2000-156823号公报公开了一种摄像设备，该摄像设备可以基于来自离散地分布在图像传感器的像素当中的焦点检测像素的信号来计算被摄体距离。采用日本特开2000-156823号公报所公开的配置，可以获取所拍摄图像中的被摄体距离分布。
作为通过恢复模糊图像来生成模糊恢复后的图像的方法，可以利用使用Wiener滤波器、通用逆滤波器或投影滤波器等的方法。日本特开2000-20691号公报公开了使用这种方法进行模糊恢复的技术。使用日本特开2000-20691号公报所公开的技术可以通过基于摄像条件等进行物理分析或基于来自摄像设备中的测量装置的输出进行估计来获得劣化函数，并且可以利用被称为去卷积(deconvolution)的图像恢复算法来恢复模糊图像。
通常，由摄像时的焦点状态确定要在哪个被摄体距离处实现聚焦。由于该原因，摄像之后不能够改变实现聚焦的被摄体距离。然而，通过使用日本特开2000-156823号公报所公开的技术获取所拍摄图像中的被摄体距离分布、并使用日本特开2000-20691号公报所公开的模糊恢复技术进行模糊恢复，可以在摄像之后改变要实现聚焦的被摄体距离。
然而，将日本特开2000-156823号公报和日本特开2000-20691号公报所公开的技术应用于图像处理设备将大幅增加资源大小，需要昂贵的硬件，并花费大量时间以进行模糊恢复处理。这是因为，尽管能进行模糊恢复的被摄体距离的范围是通过与被摄体距离相对应的模糊恢复滤波器来设置的，但整个范围中的模糊恢复需要巨大量的处理内容。另外，简化模糊恢复滤波器以简化模糊恢复处理内容，这将增加模糊恢复之后的图像的质量的劣化程度。
另一方面，当操作员在进行粗略的焦点调整后拍摄被摄体的图像时，无需对能进行模糊恢复的被摄体距离的整个范围进行模糊恢复。在这种情况下，相对于所拍摄图像细微地校正焦点位置使得可以执行操作员所期望的恢复。当操作员显示放大了的所拍摄图像时，仅在显示范围内所显示的被摄体处于聚焦的位置附近进行模糊恢复就足够了。
发明内容
考虑到以上问题做出了本发明，并且本发明用于在短的时间段内适当地执行模糊恢复。
根据本发明的第一方面，提供一种图像处理设备，包括：恢复单元，用于对摄像单元所获得的图像数据进行模糊恢复，其中所述摄像单元用于对已经经由摄像镜头入射的来自被摄体的光进行光电转换；获取单元，用于获取与所述图像数据一起存储的图像相关信息；以及提取单元，用于基于由所述获取单元所获取的图像相关信息，提取进行所述模糊恢复的被摄体距离的范围；其中，所述恢复单元在由所述提取单元所提取的被摄体距离的范围内对所述图像数据进行模糊恢复。
另外，根据本发明的第二方面，提供一种图像处理方法，包括以下步骤：恢复步骤，用于对摄像单元所获得的图像数据进行模糊恢复，其中所述摄像单元用于对已经经由摄像镜头入射的来自被摄体的光进行光电转换；获取步骤，用于获取与所述图像数据一起存储的图像相关信息；以及提取步骤，用于基于在所述获取步骤中获取的图像相关信息，提取进行所述模糊恢复的被摄体距离的范围；其中，在所述恢复步骤中，在所述提取步骤所提取的被摄体距离的范围内对所述图像数据进行模糊恢复。
根据以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据第一实施例的图像处理设备的配置的图；
图2是示出第一实施例中的图像传感器的概要电路配置的图；
图3是图像传感器的像素部的截面图；
图4A和4B分别是图像传感器的焦点检测像素的平面图和截面图；
图5A和5B分别是图像传感器的焦点检测像素的平面图和截面图；
图6A和6B分别是图像传感器的其它焦点检测像素的平面图和截面图；
图7是用于解释图像传感器的光瞳分割状态(pupil divisionstate)的概念图；
图8是示出被摄体距离信息的图；
图9是示出被摄体距离和能进行模糊恢复的距离之间的关系的图；
图10A～10C是示出如何恢复图像的模糊的图；
图11A和11B是根据第一实施例的图像处理设备的主流程图；
图12是被摄体距离映射创建子例程的流程图；
图13是摄像子例程的流程图；
图14是第一实施例中的所拍摄图像检查子例程的流程图；
图15是模糊恢复子例程的流程图；
图16是模糊函数创建子例程的流程图；
图17A～17C是示出如何细微地校正所拍摄图像的焦点位置的图；
图18是示出细微地校正了焦点位置的被摄体距离和能进行模糊恢复的距离之间的关系的图；以及
图19是第二实施例中的所拍摄图像检查子例程的流程图。
具体实施方式
以下将参考图1～17C来详细说明根据本发明第一实施例的图像处理设备。
图1是示出根据第一实施例的图像处理设备的配置的图。参考图1，该图像处理设备是电子照相机，包括具有图像传感器的照相机主体138和作为分立元件的摄像镜头137。将摄像镜头137以可互换的方式安装至照相机主体138。
首先将说明摄像镜头137的配置。附图标记101表示放置在摄像镜头的远端处的、在光轴方向上保持可伸缩的第一透镜组；附图标记102表示通过调节开口直径来调节摄像时的光量的光圈；并且附图标记103表示第二透镜组。光圈102和第二透镜组103在光轴方向上一体化地前后移动。该操作与第一透镜组101的前后移动协作地执行变倍效果(变焦功能)。附图标记105表示第三透镜组，其是用于通过光轴方向上的前后移动进行焦点调节的调焦透镜；附图标记111表示变焦致动器，其通过使凸轮管(未示出)枢转并使第一透镜组101和第二透镜组103在光轴方向上前后移动来进行变倍操作；附图标记112表示通过控制光圈102的开口直径来调节摄像用的光量的光圈致动器；并且附图标记114表示通过在光轴方向上前后驱动第三透镜组105来进行焦点调节的调焦致动器。
附图标记136表示照相机通信电路，其将与镜头相关联的信息传送至照相机主体138或接收与照相机主体138相关联的信息。与镜头相关联的信息包括变焦状态、光圈状态、焦点状态、镜头框信息和镜头的调焦驱动的精度信息。照相机通信电路136将这些信息传送至设置在照相机主体138侧的镜头通信电路135。可以将与镜头相关联的这些信息中的一部分信息存储在照相机主体138中。这样可以减少镜头和照相机主体之间的通信量，由此加速信息处理。
接着将说明照相机主体138。附图标记106表示光学低通滤波器，其是用于减轻所拍摄图像的伪色和莫尔条纹(moiréfrnge)的光学元件；并且附图标记107表示包括C-MOS传感器及其外围电路的图像传感器。图像传感器107是二维单CCD彩色传感器，其中在m(水平)×n(垂直)个光接收像素上形成按拜尔模式(Bayer pattern)的片上原色马赛克滤波器。图像传感器107通过对已经经由摄像镜头137入射的来自被摄体的光进行光电转换，输出图像数据。
附图标记115表示用于在摄像时对被摄体进行照明的电子闪光灯，其优选为使用氙气管的闪光照明装置，但也可以是包括连续发光LED的照明装置；附图标记116表示AF辅助光装置，其通过利用投影透镜将具有预定开口图案的掩模的图像投射到被摄体视野上，提高针对暗被摄体或低对比度被摄体的焦点检测性能；并且附图标记121表示进行照相机主体的各种类型的控制的照相机CPU。该CPU 121包括计算单元、ROM、RAM、A/C转换器、D/A转换器和通信接口电路。该CPU通过基于ROM中所存储的预定程序驱动照相机的各种类型的电路，执行AF、摄像、图像处理和记录等的一系列操作。
附图标记122表示与摄像操作同步地控制电子闪光灯115的发光的电子闪光灯控制电路；附图标记123表示与焦点检测操作同步地控制AF辅助光装置116的发光的辅助光驱动电路；附图标记124表示图像传感器驱动电路，其控制图像传感器107的摄像操作、对所获取的图像信号进行A/D转换、并将由此产生的信号发送至CPU 121；并且附图标记125表示图像处理电路，其对由图像传感器107获取的图像进行γ转换、颜色插值和JPEG压缩等的处理。
附图标记126表示调焦驱动电路，其通过基于焦点检测结果驱动/控制调焦致动器114并在光轴方向上前后驱动第三透镜组105来进行焦点调节；附图标记128表示通过驱动/控制光圈致动器112来控制光圈102的开口的光圈驱动电路；附图标记129表示根据由操作员进行的变焦操作来驱动变焦致动器111的变焦驱动电路；附图标记135表示与摄像镜头137中的照相机通信电路136通信的镜头通信电路；附图标记139表示控制静止图像拍摄时的曝光时间的快门单元；附图标记140表示移动快门单元139的快门致动器；并且附图标记145表示驱动快门致动器140的快门驱动电路。
附图标记131表示LCD等的显示装置，其显示与照相机的摄像模式相关联的信息、摄像之前的预览图像、摄像之后的检查图像、和焦点检测时的聚焦状态显示图像；附图标记132表示包括电源开关、释放(摄像触发)开关、变焦操作开关和摄像模式选择开关的操作开关组；附图标记133表示记录所拍摄图像的可拆卸的闪速存储器；并且附图标记144表示存储由CPU 121进行的计算所需的各种数据的照相机存储器。
图2是示出适当使用日本特开平09-046596号公报所公开的技术的、根据第一实施例的图像传感器的示意电路配置的图。图2示出二维C-MOS区域传感器的2(列)×4(行)个像素的范围。然而，当要使用该传感器作为图像传感器时，配置许多如同图2所示的像素一样的像素可以获取高分辨率图像。本实施例将例示像素间距为2μm、有效像素的数量为3000(水平方向上的列)×2000(垂直方向上的行)＝6,000,000个像素、并且摄像画面大小为6mm(水平)×4mm(垂直)的摄像像素的图像传感器。参考图2，附图标记1表示包括MOS晶体管和位于栅极下方的耗尽层的光电转换元件的光电转换单元；附图标记2表示光电栅极(photo-gate)；附图标记3表示传送开关MOS晶体管；附图标记4表示复位MOS晶体管；附图标记5表示源极跟随器放大器MOS晶体管；附图标记6表示水平选择开关MOS晶体管；附图标记7表示源极跟随器负载MOS晶体管；附图标记8表示暗输出传送MOS晶体管；附图标记9表示明输出传送MOS晶体管；附图标记10表示暗输出存储电容器CTN；附图标记11表示明输出存储电容器CTS；附图标记12表示水平传送MOS晶体管；附图标记13表示水平输出线复位MOS晶体管；附图标记14表示差动输出放大器；附图标记15表示水平扫描电路；并且附图标记16表示垂直扫描电路。
图3是像素部的截面图。参考图3，附图标记17表示P型阱；附图标记18表示栅极氧化膜；附图标记19表示第一层多极硅(poly-Si)；附图标记20表示第二层多极硅(poly-Si)；并且附图标记21表示n+浮动扩散单元(FD)。FD单元21经由其它的传送MOS晶体管连接至其它的光电转换单元。参考图3，两个传送开关MOS晶体管3的漏极共同连接至FD单元21，以通过减小FD单元21的电容来实现减小大小并提高灵敏度。然而，可以经由Al互连线连接FD单元21。
图4A、4B、5A和5B是用于解释摄像像素和焦点检测像素的结构的图。本实施例使用拜尔模式，其中，在2(行)×2(列)＝4个像素中，具有对于G(绿色)的光谱灵敏度的两个像素被对角布置，而具有对于R(红色)和B(蓝色)的光谱灵敏度的像素被分别布置为其它两个像素。在该拜尔模式中，焦点检测像素根据预定规则分散布置。将焦点检测像素离散地布置在摄像像素之间的技术是日本特开2000-156823号公报所公开的已知技术，因此将省略对该技术的说明。
图4A和4B示出摄像像素的配置和结构。图4A是2(行)×2(列)个摄像像素的平面图。如已知的，在拜尔模式中，在对角方向上布置G像素，并且布置R和B像素作为其它两个像素。重复布置这些2(行)×2(列)的像素结构。图4B是沿图4A中的A-A所得的截面图。附图标记ML表示放置在各像素的最前表面上的片上微型透镜；附图标记CFR表示R(红色)滤色器；附图标记CFG表示G(绿色)滤色器；附图标记PD表示在图4B中示意性示出的、参考图3所述的C-MOS传感器的光电转换单元；附图标记CL表示形成有用于传递C-MOS传感器中的各种类型的信号的信号线的互连层；并且附图标记TL表示在图4B中示意性示出的摄像光学系统。
在这种情况下，摄像像素的片上微型透镜ML和光电转换单元PD被配置为尽可能有效地接收已经通过摄像光学系统TL的光束。换言之，摄像光学系统TL的出射光瞳(exit pupil)EP和光电转换单元PD因微型透镜ML而彼此共轭，并且光电转换单元的有效面积被设计为大面积。尽管已经参考图4B说明了入射各R像素的光束，但各G像素和各B(蓝色)像素具有相同的结构。因此，与摄像用的R、G和B像素各自相对应的出射光瞳EP具有大直径，并且高效地接收来自被摄体的光束。这提高了图像信号的S/N比(信号/噪声比)。
图5A和5B示出摄像框的水平方向(横向方向)上的光瞳分割用的焦点检测像素的配置和结构。图5A是包括焦点检测像素的2(行)×2(列)个像素的平面图。当获得摄像信号时，G像素构成亮度信息的主要成分。由于人类图像识别特性对于亮度信息敏感，因此G像素的缺失使得容易注意到图像质量劣化。相比而言，R或B像素是用于获取颜色信息的像素。人类对颜色信息不敏感。因此，即使几个用于获取颜色信息的像素缺失，也难以注意到图像质量劣化。在本实施例中，在2(行)×2(列)个像素中，保留G像素作为摄像像素，并且使用R和B像素作为焦点检测像素。参考图5A，附图标记SHA和SHB表示这些像素。
图5B是沿图5A中的A-A所得的截面图。微型透镜ML和光电转换单元PD具有与图4B所示的摄像像素的结构相同的结构。在本实施例中，由于来自焦点检测像素的信号不用于创建图像，因此代替颜色分解滤色器，使用透明膜CFW(白色)。另外，由于图像传感器进行光瞳分割，因此互连层CL的各开口部的位置在相对于相应的微型透镜ML的中心线的一个方向上偏移。更具体地，焦点检测像素SHA的开口部OPHA向右偏移，并由此接收已经通过摄像透镜TL的左侧的出射光瞳EPHA的光束。同样，焦点检测像素SHB的开口部OPHB向左偏移，并由此接收已经通过摄像透镜TL的右侧的出射光瞳EPHB的光束。因此，将由在水平方向上规则排列的多个焦点检测像素SHA所获取的被摄体图像定义为A图像。将由在水平方向上规则排列的多个焦点检测像素SHB所获取的被摄体图像定义为B图像。检测A图像和B图像的相对位置可以检测摄像镜头137的失焦量(散焦量)。在这种情况下，微型透镜ML具有以下透镜元件的功能：该透镜元件用于生成一对光学图像，这一对光学图像包括由透过摄像透镜TL的左侧的出射光瞳EPHA的光束所形成的A图像和由透过摄像透镜TL的右侧的出射光瞳EPHB的光束所形成的B图像。
注意，焦点检测像素SHA和SHB可以对在摄像框的横向方向上具有亮度分布的被摄体，例如对垂直线，进行焦点检测，但不能够对在纵向方向上具有亮度分布的水平线进行焦点检测。因此，为了在后一种情况下也进行焦点检测，本实施例包括用于在摄像镜头的垂直方向(纵向方向)上进行光瞳分割的像素。
图6A和6B示出摄像框的垂直方向上的光瞳分割用的焦点检测像素的配置和结构。图6A是包括焦点检测像素的2(行)×2(列)个像素的平面图。与图5A相同，保留G像素作为摄像像素，并且使用R和B像素作为焦点检测像素。参考图6A，附图标记SVC和SVD表示这些像素。图6B是沿着图6A中的A-A所得的截面图。不同于在横向方向上进行光瞳分割的图5B中的像素，图6B中的像素在纵向方向上进行光瞳分割，除此之外，图6B中的像素的结构与图5B中的像素的结构相同。焦点检测像素SVC的开口部OPVC向下偏移，并由此接收已经通过摄像透镜TL的上侧的出射光瞳EPVC的光束。同样，焦点检测像素SVD的开口部OPVD向上偏移，并由此接收已经通过摄像透镜TL的下侧的出射光瞳EPVD的光束。因此，将由在垂直方向上规则排列的多个焦点检测像素SVC所获取的被摄体图像定义为C图像。将由在垂直方向上规则排列的多个焦点检测像素SVD所获取的被摄体图像定义为D图像。检测C图像和D图像的相对位置可以检测在摄像框的垂直方向上具有亮度分布的被摄体图像的失焦量(散焦量)。
图7是用于解释第一实施例中的图像传感器的光瞳分割状态的概念图。附图标记TL表示摄像透镜。附图标记107表示图像传感器。附图标记OBJ表示被摄体；并且附图标记IMG表示被摄体图像。如参考图4A和4B所述，摄像像素接收已经通过摄像透镜的整个出射光瞳EP的光束。另一方面，如参考图5A、5B、6A和6B所述，焦点检测像素具有光瞳分割功能。更具体地，图5A和5B中的焦点检测像素SHA接收当从摄像面观看镜头的后端时已经通过左光瞳的光束，即已经通过图7中的光瞳EPHA的光束。同样，焦点检测像素SHB、SVC和SVD分别接收已经通过光瞳EPHB、EPVC和EPVD的光束。在图像传感器107的整个区域上分布焦点检测像素，这使得可以在整个摄像区域中进行焦点检测。
图8是示出通过CPU 121的距离信息获取功能所获得的距离信息的图。在第一实施例中的图像传感器107中，将如同参考图5A、5B、6A和6B所述的焦点检测像素SHA、SHB、SVC和SVD分布在整个区域中。这使得可以获取摄像框上任意位置处的被摄体距离。连结并组合所获得的被摄体距离分布中近被摄体距离的区域可以提取摄像框中所包括的被摄体的轮廓。附图标记Target1、Target2和Target3表示提取出的被摄体区域；附图标记BackGround1表示背景区域；附图标记Dist1、Dist2、Dist3和Dist4表示被摄体距离。Dist1是被摄体区域Target1中的被摄体距离的代表值。Dist2是被摄体区域Target2中的被摄体距离的代表值。Dist3是被摄体区域Target3中的被摄体距离的代表值。Dist4是背景区域BackGround1中的被摄体距离。Dist1是最近距离。Dist2是第二近距离。Dist3是第三近距离。Dist4是最远距离。CPU 121获取如同图8所示的距离信息一样的距离信息。CPU 121从根据焦点检测像素获得的被摄体距离分布中提取被摄体，并获取各被摄体的区域和距离。
根据本实施例的图像处理设备基于该距离信息和摄像镜头的模糊信息，恢复所拍摄图像(拍摄图像数据)的模糊。可以根据图像处理设备的特性或摄像镜头的特性来估计模糊生成过程。定义通过对该模糊生成过程进行模型化所获得的模糊恢复滤波器，并且通过使用通常被称为去卷积的图像恢复算法来恢复模糊图像，由此进行模糊恢复。日本特开2000-20691号公报公开了模糊恢复方法，由此将省略对该方法的详细说明。
图9是示出被摄体距离Dist1、Dist2、Dist3和Dist4与在摄像镜头的给定状态下能进行模糊恢复的距离之间的关系的图。能进行模糊恢复的距离根据与图像处理设备所包括的各摄像镜头的被摄体距离相对应的模糊恢复滤波器而变化。CPU 121根据摄像镜头137的调焦透镜的状态计算能进行模糊恢复的距离的范围。在这种情况下计算出的能进行模糊恢复的距离的范围和模糊恢复所使用的滤波器被称为第一模糊恢复信息。假定在最近距离侧能进行模糊恢复的距离被定义为第一距离Dist11，并且在无限远侧的距离被定义为第二距离Dist12。CPU 121的模糊恢复功能可以对第一距离Dist11和第二距离Dist12的范围内的被摄体图像进行模糊恢复。假定在参考图8所述的被摄体距离Dist1、Dist2、Dist3和Dist4中，Dist1～Dist3位于第一距离Dist11和第二距离Dist12的范围内，并且Dist4位于该范围外。
图10A～10C示出模糊恢复单元如何恢复所拍摄图像的模糊。图10A～10C中的所拍摄图像与图8中的所拍摄图像相同。图10A示出如何进行模糊恢复以聚焦于被摄体区域Target1。模糊恢复单元根据与被摄体区域Target1中的被摄体距离Dist1相对应的图像处理设备的特性信息和摄像镜头信息，定义模糊恢复滤波器。基于该模糊恢复滤波器对被摄体区域Target1进行恢复处理将恢复被摄体区域Target1的模糊并获得聚焦图像。此时，模糊恢复单元通过以相同的方式对除被摄体区域Target1以外的区域定义模糊恢复滤波器，进行恢复处理。这使得可以获取如同图10A所示的、聚焦于被摄体区域Target1的图像。
图10B示出如何进行模糊恢复以聚焦于被摄体区域Target2。模糊恢复单元根据与被摄体区域Target2中的被摄体距离Dist2相对应的图像处理设备的特性信息和摄像镜头信息，定义模糊恢复滤波器。基于该模糊恢复滤波器对被摄体区域Target2进行恢复处理将恢复被摄体区域Target2的模糊并获得聚焦图像。此时，模糊恢复单元通过以相同的方式对除被摄体区域Target2以外的区域定义模糊恢复滤波器，进行恢复处理。这使得可以获取如同图10B所示的、聚焦于被摄体区域Target2的图像。
图10C示出如何进行模糊恢复以聚焦于被摄体区域Target3。模糊恢复单元根据与被摄体区域Target3中的被摄体距离Dist3相对应的图像处理设备的特性信息和摄像镜头信息，定义模糊恢复滤波器。基于该模糊恢复滤波器对被摄体区域Target3进行恢复处理将恢复被摄体区域Target3的模糊并获得聚焦图像。此时，模糊恢复单元通过以相同的方式对除被摄体区域Target3以外的区域定义模糊恢复滤波器，进行恢复处理。这使得可以获取如同图10C所示的、聚焦于被摄体区域Target3的图像。
如参考图10A～10C所述，根据本实施例的图像处理设备可以通过基于包括各被摄体的区域和距离的距离信息进行模糊恢复，选择要实现聚焦的被摄体。
图11A～16是用于解释由根据本发明第一实施例的图像处理设备进行的焦点调节处理和摄像处理的流程图。图11A和11B是根据本实施例的图像处理设备用的主流程图。CPU 121控制该主流程图中的操作。
当操作员接通电源开关时(步骤S101)，CPU 121检查照相机中的各个致动器和图像传感器的操作，初始化存储器的内容和执行程序，并执行摄像准备(步骤S102)。在步骤S103中，CPU 121经由镜头通信电路135与摄像镜头137中的照相机通信电路136进行镜头通信。CPU 121检查镜头的操作，初始化镜头中的存储器内容和执行程序，并执行准备操作。CPU 121获取焦点检测和摄像所需的镜头的特性数据，并将该特性数据存储在照相机存储器144中。在步骤S104中，CPU 121开始图像传感器的摄像操作，并输出低分辨率运动图像，以供预览。在步骤S105中，CPU 121将所读出的运动图像显示在设置于照相机的背面上的显示装置131上。然后，操作员从视觉上检查该预览图像，以确定摄像时的构图。
在步骤S106中，CPU 121检查要预览的运动图像是否包括任何面部。CPU 121从要预览的运动图像中检测面部的数量、位置和大小，并将它们记录在照相机存储器144中。由于日本特开2004-317699号公报公开了识别面部的技术，因此将省略对该技术的说明。如果在步骤S107中CPU 121已经识别出摄像区域中存在面部，则处理转入步骤S108，以将焦点调节模式设置为面部AF模式。在这种情况下，面部AF模式是在考虑到摄像区域中的面部的位置和在步骤S200中创建的被摄体距离映射这两者的情况下实现聚焦的AF模式。如果在步骤S107中CPU 121识别出摄像区域中不存在面部，则处理从步骤S107转入步骤S109，以将焦点调节模式设置为多点AF模式。在这种情况下，多点AF模式是以下模式：该模式将摄像区域分割成3×5＝15个区域，基于根据步骤S200中创建的被摄体距离映射所计算出的各分割区域中的焦点检测结果和各被摄体的亮度信息来估计主被摄体，并使相应的区域聚焦。
在步骤S108或S109中确定AF模式之后，在步骤S110中，CPU 121判别摄像准备开关是否接通。如果该开关没有接通，则处理进入步骤S117以判别主开关是否断开。如果在步骤S110中CPU 121判断出摄像准备开关接通，则处理转入步骤S200以执行被摄体距离映射创建子例程。在步骤S111中，CPU 121基于在步骤S200中计算出的被摄体距离映射来确定焦点检测位置。在这种情况下，在最近距离优先模式下设置检测位置确定方法。CPU 121将在步骤S200中获得的被摄体中位于最近距离侧的被摄体的位置设置为焦点检测位置。
在步骤S112中，CPU 121根据在步骤S200中获得的被摄体距离映射来计算在步骤S111中确定的焦点检测位置处的失焦量，并判断所获得的失焦量是否小于或等于容许值。如果该失焦量大于容许值，则CPU 121判断为失焦状态，并且在步骤S113中驱动调焦透镜。然后，处理返回至步骤S110以判断是否已经按下摄像准备开关。在步骤S112中判断出已经实现聚焦状态时，在步骤S114中CPU 121进行聚焦显示。处理转入步骤S115。在步骤S115中，CPU 121判断摄像开始开关是否接通。如果该开关没有接通，则在步骤S115中CPU 121维持摄像待机状态。如果在步骤S115中操作员接通了摄像开始开关，则处理转入步骤S300以执行摄像子例程。
当步骤S300中的摄像子例程完成时，处理进入步骤S116以判断摄像开始开关是否断开。如果摄像开始开关保持接通，则处理再次进入步骤S300以进行摄像子例程。即，CPU 121进行所谓的连拍操作。如果在步骤S116中CPU 121判断为摄像开始开关断开，则处理进入步骤S400以开始所拍摄图像检查子例程。当所拍摄图像检查子例程完成时，处理进入步骤S117以判断主开关是否断开。如果主开关没有断开，则处理返回至步骤S103。如果主开关断开，则CPU 121终止该系列操作。
图12是被摄体距离映射创建子例程的流程图。测距部件即CPU 121进行被摄体距离映射创建子例程中的一系列操作。当从主流程图中的步骤S200跳至该子例程中的步骤S200时，在步骤S201中，CPU 121设置焦点检测区域。CPU 121从基于AF模式所确定的至少一个焦点检测区域中确定焦点检测区域，然后进行步骤S202及后续步骤中的处理。在步骤S202中，CPU 121读出来自在步骤S201中设置的焦点检测区域中的焦点检测像素的信号。在步骤S203中，CPU 201创建进行相关计算所用的两个图像。CPU 121通过排列在步骤S202中读出的来自各个焦点检测像素的信号，生成进行相关计算所用的A图像信号和B图像信号。
在步骤S204中，CPU 121基于所获得的A图像和B图像进行相关计算，并计算A图像和B图像之间的相位差。在步骤S205中，CPU 121判断相关计算结果的可靠性。在这种情况下，该可靠性表示A图像和B图像之间的一致度。通常，A图像和B图像之间的一致度越高，焦点检测结果的可靠性就越高。由于该原因，CPU 121根据一致度是否超过给定阈值来判断相位差检测结果的可靠性。替代情形下，如果选择多个焦点检测区域，则CPU 121优先使用可靠性较高的信息。在步骤S206中，CPU121通过将在步骤S204中获得的A图像和B图像之间的相位差乘以用于将相位差转换成失焦量的转换系数，计算失焦量。
在步骤S207中，CPU 121判别对于所有的焦点检测区域，失焦量计算是否完成。如果CPU 121判断出对于所有的焦点检测区域而言失焦量计算没有完成，则处理返回至步骤S201以从其余的焦点检测区域中选择并设置焦点检测区域。如果在步骤S207中CPU 121判断出对于所有的焦点检测区域而言失焦量计算完成，则处理进入步骤S208。在步骤S208中，CPU 121根据通过重复步骤S201～S207所获得的所有的焦点检测区域中的失焦量，创建失焦量映射。在这种情况下，失焦量映射是表示摄像框上的位置和失焦量之间的对应关系的分布数据。
在步骤S209中，CPU 121考虑通过步骤S103中的镜头通信从摄像镜头137获取的镜头信息，将在步骤S208中获得的失焦量映射中的失焦量转换成被摄体距离。这使得可以获得表示摄像框上的位置和被摄体距离之间的对应关系的分布数据。在步骤S210中，CPU 121基于被摄体距离分布数据提取被摄体。CPU121通过连结并组合所获得的被摄体距离分布中近被摄体距离的区域，提取摄像框中所包括的被摄体的轮廓。这可以获得表示各个被摄体的区域和被摄体距离之间的对应关系的被摄体距离映射。在完成步骤S210后，CPU 121终止被摄体距离映射创建子例程。然后，处理进入主流程图中的步骤S111。
图13是摄像子例程的流程图。CPU 121进行摄像子例程中的一系列操作。在步骤S301中，CPU 121驱动光量调节光圈，以控制用于定义曝光时间的机械快门的开口。在步骤S302中，CPU 121读出高像素静止图像拍摄用的图像。即，CPU 121读出所有的像素。在步骤S200中，CPU 121通过使用来自在步骤S302中获得的所拍摄图像中包括的焦点检测像素的输出，进行步骤S200所述的被摄体距离映射创建子例程。通过该子例程所获得的、表示各个被摄体的区域和被摄体距离之间的对应关系的被摄体距离映射展示出所拍摄图像的失焦量。与在图11B中的步骤S110之后进行的步骤S200中的被摄体距离映射创建子例程相比较，该子例程可以获得像素数较大的图像，并且可以创建更精确的被摄体距离映射。然而，由于要处理的像素的数量较大，因而使用高像素静止图像的被摄体距离映射的创建花费大量处理时间，并且需要昂贵的处理设备。因此创建被摄体距离映射并非必需的。
在步骤S303中，CPU 121对读出的图像信号进行缺陷像素插值。即，来自各焦点检测像素的输出不具有RGB颜色信息，因此等同于获得图像时的缺陷像素。由于该原因，CPU 121通过使用来自相邻摄像像素的信息进行插值，创建图像信号。在步骤S304中，CPU 121对图像进行γ校正、颜色转换和边缘增强等的图像处理。在步骤S305中，CPU 121将所拍摄图像记录在闪速存储器133上。
在步骤S306中，CPU 121将照相机主体138的特性信息与在步骤S305中记录的所拍摄图像相对应地记录在闪速存储器133和照相机存储器144上。在这种情况下，照相机主体138的特性信息包括图像传感器107的摄像像素和焦点检测像素的光接收灵敏度分布信息、照相机主体138中的摄像光束的渐晕信息、从照相机主体138和摄像镜头137之间的安装面到图像传感器107的距离信息、以及制造误差信息。图像传感器107的摄像像素和焦点检测像素的光接收灵敏度分布信息是由片上微型透镜ML和光电转换单元PD所确定的。因此，可以记录这些信息。
在步骤S307中，CPU 121将摄像镜头137的特性信息与在步骤S305中记录的所拍摄图像相对应地记录在闪速存储器133和照相机存储器144上。在这种情况下，摄像镜头137的特性信息包括出射光瞳EP的信息、框信息、摄像时的F数信息、像差信息和制造误差信息。在步骤S308中，CPU 121将与所拍摄图像有关的图像相关信息记录在闪速存储器133和照相机存储器144上。该图像相关信息包括与摄像之前的焦点检测操作相关联的信息、被摄体移动信息以及与焦点检测操作的精度相关联的信息。
与摄像之前的焦点检测操作相关联的信息包括被摄体距离映射和摄像时的调焦透镜的位置信息。将这些信息与各图像相关联并进行记录。CPU 121根据在图11B中的步骤S115中没有检测到摄像开始开关的断开(OFF)状态并且处理进入步骤S300时、即设备的操作转入所谓的连拍操作时所获得的多个被摄体距离映射，计算被摄体移动信息。更具体地，CPU 121根据以预定时间间隔获得的被摄体距离映射，检测图像中的被摄体的移动或被摄体距离的变化、即被摄体移动速度。
另外，与焦点检测操作的精度相关联的信息是与镜头的调焦驱动的位置精度相关联的信息、或与在步骤S200中被记录为被摄体距离映射的各被摄体的距离信息的精度相关联的信息。该信息能估计相对于操作员所期望的图像而言所拍摄图像中可能已经发生了多大程度的失焦。例如，如果使用镜头调焦驱动位置精度差的镜头进行摄像，则所拍摄图像的失焦量可能较大。相比而言，如果使用镜头调焦驱动位置精度良好的镜头进行摄像，则所拍摄图像的失焦量极有可能为小。CPU 121按几个级别来区分失焦量的大小期望值，并将它们记录为与焦点检测操作的精度相关联的信息。
在完成步骤S308后，CPU 121终止步骤S300中的摄像子例程。然后，处理进入主例程中的步骤S116。
图14是所拍摄图像检查子例程的流程图。CPU 121还进行所拍摄图像检查子例程中的一系列操作。在步骤S401中，CPU121获取在步骤S200中创建的被摄体距离映射。在这种情况下获取的被摄体距离映射可以是根据预览图像创建的被摄体距离映射、或通过高像素静止图像拍摄创建的被摄体距离映射。为了更精确地检测被摄体区域和被摄体距离，优选使用通过高像素静止图像拍摄创建的被摄体距离映射。
在步骤S402中，CPU 121根据能进行模糊恢复的被摄体距离的范围和被摄体距离，设置模糊恢复所使用的滤波器。如与步骤S200中的被摄体距离映射创建子例程相关联地说明的那样，从被摄体距离映射获得表示被摄体区域和被摄体距离之间的对应关系的信息。如参考图9所述，能进行模糊恢复的距离根据摄像镜头137的类型而变化。即，作为能进行模糊恢复的最近距离侧的距离的第一距离Dist11和作为无限远侧的距离的第二距离Dist12变化。因此，将图像中位于由摄像镜头137确定的能进行模糊恢复的距离的范围(第一距离Dist11至第二距离Dist12)内的被摄体的区域设置为模糊可恢复区域。这使得可以设置各个被摄体区域、以及用于恢复这些区域的模糊的被摄体距离和模糊恢复滤波器。参考图8，Target1、Target2和Target3是模糊恢复范围，并且Dist1、Dist2和Dist3是被摄体距离范围。这些模糊可恢复区域、被摄体距离范围和模糊恢复所使用的模糊恢复滤波器将被称为第一模糊恢复信息。
在步骤S403中，CPU 121从在步骤S402设置的第一模糊恢复信息中提取信息，并设置第二模糊恢复信息。CPU 121还进行该处理。CPU 121作为模糊恢复信息提取部件工作。当设置第二模糊恢复信息时，CPU 121使用在步骤S308中获得的图像相关信息。更具体地，如果在摄像前后没有进行焦点检测操作、并且没有计算被摄体距离映射，则CPU 121将所有的模糊恢复范围设置为不进行模糊恢复的区域，不执行实际的模糊恢复处理，并且在步骤S404中显示无任何变化的所拍摄图像。相比而言，如果已经计算了被摄体距离映射，则CPU 121将具有展示最小失焦量的范围的被摄体区域设置为模糊可恢复区域，并设置该区域的被摄体距离范围。在这种情况下计算出的能进行模糊恢复的距离的范围和模糊恢复所使用的滤波器将被称为第二模糊恢复信息。例如，如图8所示，如果被摄体Target1～Target3中展示最小失焦量的被摄体是位于距离Dist2处的Target2，则CPU 121将Target2和作为Target2的被摄体距离范围以Dist2为中心的预定范围设置为模糊可恢复区域。由于Dist2是被摄体区域Target2中的被摄体距离的代表值，因此被摄体区域Target2中的所有区域中的距离不是恒定的。由于该原因，将包括Dist2的预定范围设置为Target2的被摄体距离范围。在这种情况下，要设置的被摄体距离范围优选包括Target2中所有区域的距离范围。
将参考图17A～17C和18来说明要设置的被摄体距离范围。图17B与图10B相同。图17A和17C示出通过使焦点相对于图10B中的模糊恢复图像向前和向后略微偏移所进行的模糊恢复而获得的图像。通过略微偏移焦点所进行的模糊恢复处理等同于进行模糊恢复以聚焦于位于不同于Dist2的被摄体距离处的被摄体的处理。图18示出除图9以外的、通过在图17A和17C中进行的模糊恢复实现了聚焦的被摄体距离。图17A中的模糊恢复与被摄体距离Dist2f相对应，并且图17C中的模糊恢复与被摄体距离Dist2b相对应。本实施例对被摄体距离范围进行设置，以使得被摄体距离Dist2f至被摄体距离Dist2b的范围包括被摄体Target2的整个范围。这些被摄体距离范围、模糊可恢复区域和模糊恢复所使用的模糊恢复滤波器将被称为第二模糊恢复信息。
另外，可以使用被摄体移动信息作为图像相关信息。如上所述，被摄体移动信息是表示图像中的被摄体的移动和被摄体移动速度的信息。当在自获取到被摄体距离映射起经过预定时间段之后、在步骤S305中CPU 121记录图像信号时，图像中被摄体的位置或距离可能已经改变。CPU 121通过使用被摄体移动信息计算图像中的被摄体位置和被摄体距离的估计变化量，来更新被摄体距离映射。CPU 121根据更新后的被摄体距离映射，将如上所述具有小散焦量范围的被摄体区域设置为模糊可恢复区域，并设置被摄体距离范围。
另外，可以使用与焦点检测操作的精度相关联的信息作为图像相关信息。如上所述，与焦点检测操作的精度相关联的信息是与镜头的调焦驱动的位置精度有关的信息、或与被摄体距离映射的计算精度有关的信息。可以根据这些精度信息计算所获得的图像中的被摄体区域中的失焦量的精度。与以上情况相同，CPU 121将图像中的第一范围内具有最小失焦量的范围的被摄体区域设置为模糊可恢复区域，并设置该区域的被摄体距离范围。例如，参考图8，如果被摄体Target1～Target3中展示最小失焦量的被摄体是位于距离Dist2处的Target2，则CPU 121将Target2和作为被摄体距离范围以Dist2为中心的预定范围设置为第二范围。当设置Target2的被摄体距离范围时，CPU 121通过使用失焦量的精度信息设置被摄体距离范围。更具体地，如果镜头的调焦驱动的位置精度差、并且镜头的位置相对于期望位置变化，则图像的失焦量极有可能为大。由于该原因，CPU121将比Target2的整个区域的被摄体距离大的范围设置为被摄体距离范围。同样，如果被摄体距离映射的计算精度差，则CPU121将比Target2的整个区域的被摄体距离大的范围设置为被摄体距离范围。这使得可以将包括焦点检测误差和焦点调节误差的Target2中的区域的距离范围设置为被摄体距离范围。这些被摄体距离映射、被摄体移动信息、以及与焦点检测操作的精度相关联的信息对应于图像相关信息以及与测距操作相关联的信息。
当在步骤S403中CPU 121完成第二模糊恢复信息的设置时，处理进入步骤S500中的模糊恢复子例程。在步骤S404中，CPU 121将在步骤S500中已经进行了模糊恢复的图像显示在显示装置131上。在完成步骤S404后，在步骤S405中，CPU 121判断有无用于细微地校正焦点位置的指令。如果操作员输出用于细微地调整焦点位置的指令，则处理进入步骤S406。CPU 121校正步骤S500中的模糊恢复所使用的被摄体距离信息。CPU121在步骤S403中设置的被摄体距离范围内校正被摄体距离信息。当在步骤S406中CPU 121校正了被摄体距离信息时，处理返回至步骤S500以再次进行模糊恢复处理。
如果在步骤S405中不存在用于细微地调整焦点位置的指令，则处理进入步骤S407，以将模糊校正图像和模糊恢复所使用的信息一起记录。在完成步骤S407时，CPU 121终止用于显示摄像之后的检查图像的子例程。然后，处理返回至摄像子例程。
通过以这种方式使用图像相关信息限定由摄像镜头等确定的第一模糊恢复信息、并设置第二模糊恢复信息，提供了以下优点。当操作员校正所拍摄图像上的焦点时，该操作员所期望的被摄体极有可能在一定程度上处于聚焦。由于该原因，如果图像处理设备在可以进行模糊恢复的整个范围中的整个被摄体距离区域中进行模糊恢复，则该设备对许多操作员不需要的恢复区域进行模糊恢复，并花费了大量处理时间。即，操作员不能够进行舒适的操作。在本实施例中，基于与所拍摄图像相关联的信息缩小进行模糊恢复的范围，这样能够仅对包括操作员意图进行模糊恢复的图像的较窄的被摄体距离范围进行模糊恢复处理。这可以减少模糊恢复处理的计算负荷。另外，由于处理时间短，因此可以进行对于操作员而言舒适的焦点校正处理。
图15是模糊恢复子例程的流程图。CPU 121还进行模糊恢复子例程中的一系列操作。在步骤S501中，CPU 121获取表示图像处理电路125中的转换处理的内容的转换信息。在步骤S502中，CPU 121确定要用于对从图像处理电路125供给的图像信息进行转换的转换方法。更具体地，CPU 121根据需要，基于在步骤S501中获取的转换信息(除转换信息以外，还包括在步骤S306和S307中获取的图像处理设备特性和摄像镜头特性信息)，确定转换方法。在这种情况下确定的转换方法是日本特开2000-20691号公报所公开的方法，其用于对图像信息进行转换以使曝光值和像素值具有线性关系，从而确保作为图像恢复处理所用算法的前提的线性。
例如，当图像处理电路125执行伽玛校正时，在步骤S502中CPU 121执行基于伽玛校正的转换的逆转换。这可以再现转换之前的图像并获取具有线性的图像。同样，当图像处理电路125执行颜色校正时，在S502中CPU 121执行基于颜色校正的转换的逆转换。这使得可以获取具有线性的图像。如上所述，在步骤S502中，CPU 121确定与由图像处理电路125进行的转换处理的逆转换等同的转换方法。
在步骤S503中，图像处理电路125获取所拍摄图像。在步骤S504中，图像处理电路125根据在步骤S502中确定的转换方法对所获取的所拍摄图像进行转换。当在步骤S504中图像处理电路125完成转换处理时，处理进入步骤S600以创建模糊函数。以上的模糊恢复滤波器与模糊函数同义。在步骤S505中，CPU121进行在步骤S600中创建的模糊函数的逆转换，以对在步骤S504中已经进行了转换处理的所拍摄图像进行模糊恢复处理。在这种情况下，CPU 121利用通常被称为去卷积处理的图像恢复算法进行模糊恢复处理。这使得可以通过恢复预定被摄体的模糊来获得模糊恢复图像。由于日本特开2000-20691号公报公开了通过进行模糊函数的逆转换处理来进行模糊恢复的方法，因此将省略对该方法的说明。在完成步骤S505后，CPU 121终止模糊恢复子例程。然后，处理进入用于在摄像之后显示检查图像的子例程中的步骤S404。
图16是模糊函数创建子例程的流程图。CPU 121还进行模糊函数创建子例程中的一系列操作。在步骤S601中，CPU 121获取摄像时在步骤S305中记录在照相机存储器144上的照相机主体138的特性信息。在步骤S602中，CPU 121获取摄像时在步骤S306中记录在照相机存储器144上的摄像镜头137的特性信息。
在步骤S603中，CPU 121获取要用于定义模糊函数的参数。由摄像镜头137和图像传感器107之间的光传递特性确定该模糊函数。光传递特性根据照相机主体138的特性信息、摄像镜头137的特性信息、所拍摄图像中的被摄体区域的位置、和被摄体距离等的因素而变化。因此，照相机存储器144预先存储将这些因素与要用于定义模糊函数的参数相关联的表数据。在执行步骤S603时，CPU 121基于这些因素从照相机存储器144获取要用于定义模糊函数的参数。
在步骤S604中，CPU 121基于在步骤S603中获取的模糊参数定义模糊函数。例如，模糊函数包括基于模糊现象符合正态分布规律这一假设的高斯分布(Gaussian distribution)。设r是距离中心像素的距离，并且σ2是正态分布规律中的任意参数，则模糊函数h(r)表示为：
h ( r ) = { 1 / ( σ ( 2 π ) ) } · exp ( - r 2 / σ 2 )
在完成步骤S604时，CPU 121终止模糊函数创建子例程。然后，处理进入模糊恢复子例程中的步骤S505。
在以上情况下，根据第一实施例的图像处理设备在紧挨摄像之后的再现时，进行细微焦点校正。然而，可以在其它情况下进行细微焦点校正。本发明还可适用于设备再现先前拍摄到的图像然后进行焦点校正的情况。
根据第一实施例的图像处理设备已经例示了具有可交换的摄像镜头的照相机。然而，该设备可以适用于包括固定摄像镜头的照相机，即所谓的固定镜头照相机。即使是固定镜头照相机也存在传统的问题。如本实施例所述缩小模糊恢复的图像范围可以获得相同的效果。
根据第一实施例的图像处理设备已经例示了被配置为使用图像传感器进行焦点检测的照相机。然而，该设备可以适用于包括其它焦点检测部件的照相机。即使是包括其它焦点检测部件的照相机也存在传统的问题。如本实施例所述缩小模糊恢复的图像范围可以获得相同的效果。
第二实施例
以下将参考图19来说明根据本发明第二实施例的图像处理设备。第二实施例与第一实施例的不同之处体现在用于设置第二图像范围的图像相关信息。根据第二实施例的配置允许操作员更精确地识别期望被摄体，并且可以更精确地设置模糊恢复的第二图像范围。
注意，在第二实施例中，示出根据第一实施例的图像处理设备的配置的框图(图1)、执行焦点检测的方法(图2～7)、模糊恢复方法(图8～图10C)、与摄像相关联的操作(图11A～13)、以及与模糊恢复处理相关联的操作(图15和16)均与第一实施例中的相同，因此将省略对这些的说明。
将参考图19的流程图来详细说明在图11B的图像处理设备的主流程图中的步骤S400中进行的所拍摄图像检查子例程。与图19的流程图中的步骤编号相同的步骤编号表示进行与第一实施例中作为所拍摄图像检查子例程的流程图的图14中的处理相同的处理的部分。
在步骤S401中，CPU 121获取在步骤S200中创建的被摄体距离映射。在这种情况下获取的被摄体距离映射可以是根据预览图像创建的被摄体距离映射、或通过高分辨率静止图像拍摄创建的被摄体距离映射。为了更精确地检测被摄体区域和被摄体距离，优选使用通过该高分辨率静止图像拍摄创建的被摄体距离映射。
在步骤S402中，CPU 121设置能进行模糊恢复的被摄体距离的范围、以及根据被摄体距离的模糊恢复所使用的滤波器。如与步骤S200中的被摄体距离映射创建子例程相关联地说明的那样，从被摄体距离映射中获得表示被摄体区域和被摄体距离之间的对应关系的信息。如参考图9所述，能进行模糊恢复的距离根据摄像镜头137的类型而不同。即，作为能进行模糊恢复的最近距离侧的距离的第一距离Dist11和作为无限远侧的距离的第二距离Dist12改变。因此，将图像中位于由摄像镜头137确定的能进行模糊恢复的距离范围(第一距离Dist11至第二距离Dist12)内的被摄体的区域设置为模糊可恢复区域。这使得可以设置各个被摄体区域、以及用于恢复这些区域的模糊的被摄体距离和模糊恢复滤波器。参考图8，Target1、Target2和Target3是模糊恢复区域，并且Dist1、Dist2和Dist3是被摄体距离范围。这些模糊可恢复区域、被摄体距离范围和模糊恢复所使用的模糊恢复滤波器将被称为第一模糊恢复信息。
在步骤S403中，CPU 121从步骤S402所设置的第一模糊恢复信息中提取信息，并设置第二模糊恢复信息。CPU 121还进行该处理。CPU 121作为模糊恢复信息提取部件工作。在设置第二模糊恢复信息时，CPU 121使用在步骤S308中获得的图像相关信息。更具体地，如果在摄像前后没有进行焦点检测操作、并且没有计算被摄体距离映射，则CPU 121将所有的模糊恢复范围设置为不进行模糊恢复的区域，不执行实际的模糊恢复处理，并且在步骤S404中显示无任何变化的所拍摄图像。相比而言，如果已经计算了被摄体距离映射，则CPU 121将具有展示最小失焦量的范围的被摄体区域设置为模糊可恢复区域，并且设置该区域的被摄体距离范围。在这种情况下计算出的能进行模糊恢复的距离的范围、以及模糊恢复所使用的滤波器将被称为第二模糊恢复信息。例如，如图8所示，如果被摄体Target1～Target3中展示最小失焦量的被摄体是位于距离Dist2处的Target2，则CPU 121将Target2和作为Target2的被摄体距离范围以Dist2为中心的预定范围设置为模糊可恢复范围。由于Dist2是被摄体区域Target2中的被摄体距离的代表值，因此被摄体区域Target2中的所有区域中的距离不是恒定的。由于该原因，将包括Dist2的预定范围设置为Target2的被摄体距离范围。
在这种情况下，要设置的被摄体距离范围优选包括Target2中的所有区域的距离范围。将参考图17A～17C和18来说明要设置的被摄体距离范围。图17B与图10B相同。图17A～17C示出通过使焦点相对于图10B中的模糊恢复图像向前和向后略微偏移所进行的模糊恢复而获得的图像。通过略微偏移焦点所进行的模糊恢复处理等同于进行模糊恢复以聚焦于位于不同于Dist2的被摄体距离处的被摄体的处理。图18示出除图9以外的、通过在图17A和17C中进行的模糊恢复实现了聚焦的被摄体距离。图17A中的模糊恢复与被摄体距离Dist2f相对应，并且图17C中的模糊恢复与被摄体距离Dist2b相对应。本实施例对被摄体距离范围进行设置，以使得被摄体距离Dist2f至被摄体距离Dist2b的范围包括被摄体Target2的整个区域。这些被摄体距离范围、模糊可恢复区域、和模糊恢复所使用的模糊恢复滤波器将被称为第二模糊恢复信息。
另外，可以使用被摄体移动信息作为图像相关信息。如上所述，被摄体移动信息是表示图像中的被摄体的移动和被摄体移动速度的信息。当在自获取到被摄体距离映射起经过预定时间段之后、在步骤S305中CPU 121记录图像信号时，图像中的被摄体的位置或距离可能已经改变。CPU 121通过使用被摄体移动信息计算图像中的被摄体位置和被摄体距离的估计变化量，来更新被摄体距离映射。CPU 121根据更新后的被摄体距离映射，将如上所述具有小失焦量的范围的被摄体区域设置为模糊可恢复区域，并设置被摄体距离范围。
另外，可以使用与焦点检测操作的精度相关联的信息作为图像相关信息。如上所述，与焦点检测操作的精度相关联的信息是与镜头的调焦驱动的位置精度有关的信息、或与被摄体距离映射的计算精度有关的信息。可以根据这些精度信息计算所获得的图像中的被摄体区域中的失焦量的精度。与以上情况相同，CPU 121将图像中的第一范围内具有最小失焦量的范围的被摄体区域设置为模糊可恢复区域，并设置该区域的被摄体距离范围。例如，参考图8，如果被摄体Target1～Target3中展示最小失焦量的被摄体是位于距离Dist2处的Target2，则CPU 121将Target2和作为被摄体距离范围以Dist2为中心的预定范围设置为第二范围。当设置Target2的被摄体距离范围时，CPU 121通过使用失焦量的精度信息设置被摄体距离范围。更具体地，如果镜头的调焦驱动的位置精度差、并且镜头的位置相对于期望位置变化，则图像的失焦量极有可能为大。由于该原因，CPU121将比Target2的整个区域的被摄体距离大的范围设置为被摄体距离范围。同样，如果被摄体距离映射的计算精度差，则CPU121将比Target2的整个区域的被摄体距离大的范围设置为被摄体距离范围。这使得可以将包括焦点检测误差和焦点调节误差的Target2中的区域的距离范围设置为被摄体距离范围。这些被摄体距离映射、被摄体移动信息、以及与焦点检测操作的精度相关联的信息对应于图像相关信息以及与测距操作相关联的信息。
当在步骤S403中CPU 121完成第二图像范围和被摄体的距离范围的设置时，处理进入步骤S500中的模糊恢复子例程。在步骤S404中，CPU 121将在步骤S500中已经经过了模糊恢复的图像显示在显示装置131上。在完成步骤S404后，在步骤S405中，CPU 121判断有无用于细微地校正焦点位置的指令。如果操作员输出用于细微地调整焦点位置的指令，则处理进入步骤S406。CPU 121校正步骤S500中的模糊恢复所使用的被摄体距离信息。CPU 121在步骤S403中设置的被摄体距离范围内校正被摄体距离信息。
当CPU 121完成步骤S406时，处理转入步骤S4001，以判断是否显示放大图像(以判断显示状态)。通常，图像处理设备所配置的图像显示装置不够大，放大并显示所拍摄图像将便于检查所拍摄图像的焦点状态。如果放大并显示该图像，则处理进入步骤S4002以更新第二模糊恢复信息。如上所述，在放大图像时，可以将放大并显示的范围估计为操作员所期望的模糊恢复区域。如果所显示的区域比已经设置的模糊恢复区域窄，则CPU 121更新该区域并再次设置第二模糊恢复信息。在这种情况下所使用的图像的放大显示信息对应于图像相关信息和图像显示相关信息这两者。如果在步骤S4001中不放大并显示图像、或者在步骤S4002中更新了第二模糊恢复信息，则处理返回至步骤S500以再次进行模糊恢复处理。如果在步骤S405中不存在用于进行细微焦点位置校正的指令，则CPU 121终止用于在摄像之后显示检查图像的子例程。然后，处理返回至摄像子例程。
通过将要根据摄像镜头确定的第一模糊恢复信息限定为图像相关信息并设置第二模糊恢复信息，可以获得以下优点。当操作员放大并显示所拍摄图像并校正焦点时，操作员所期望的被摄体极有可能被放大并显示。在本实施例中，根据与所拍摄图像相关联的再现时的放大信息来缩小模糊恢复的范围，这样可仅对包括操作员意图进行模糊恢复的图像的较窄的被摄体距离范围进行模糊恢复处理。这可以减少模糊恢复处理的计算负荷。另外，由于处理时间短，因此操作员可以舒适地进行焦点校正处理。
注意，在以上实施例中，在操作员发出用于进行细微焦点位置校正的指令时，通过在较窄的被摄体距离范围中进行模糊恢复处理来提供聚焦于操作员所期望的位置的图像。然而，可以在显示摄像之前的预览图像、摄像之后的检查图像或焦点检测时的聚焦图像时，通过基于以上的图像相关信息进行模糊恢复、从而聚焦于操作员所期望的被摄体，来显示模糊恢复图像。以这种方式基于图像相关信息对图像进行模糊恢复可以获得反映操作员意图的模糊恢复图像。
以上已经说明了本发明的优选实施例。然而，本发明不限于这些实施例。可以在本发明的精神和范围内进行这些实施例的各种变形和改变。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。对于权利要求书的保护范围，应给予最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (7)

1.一种图像处理设备，包括：
恢复单元，用于对摄像单元所获得的图像数据进行模糊恢复，其中所述摄像单元用于对已经经由摄像镜头入射的来自被摄体的光进行光电转换；
获取单元，用于获取与所述图像数据一起存储的图像相关信息，所述图像相关信息包括以下信息至少之一：与摄像之前的焦点检测操作相关联的信息、被摄体移动信息和焦点检测操作的精度信息；以及
提取单元，用于基于由所述获取单元所获取的图像相关信息，提取进行所述模糊恢复的被摄体距离的范围，其中，将由所述摄像单元获得的图像中具有最小失焦量的范围的被摄体区域设置为进行所述模糊恢复的区域，并且将该区域的被摄体距离的范围设置为进行所述模糊恢复的被摄体距离的范围；
其中，所述恢复单元在由所述提取单元所提取的被摄体距离的范围内对所述图像数据进行模糊恢复。
2.根据权利要求1所述的图像处理设备，其特征在于，还包括显示控制单元，所述显示控制单元进行控制，以将已经利用所述恢复单元进行了模糊恢复的图像数据显示在显示单元上。
3.根据权利要求1所述的图像处理设备，其特征在于，所述摄像镜头是能互换的镜头，以及
所述图像相关信息还包括与摄像时的摄像镜头相关联的信息。
4.根据权利要求1所述的图像处理设备，其特征在于，所述恢复单元通过基于所述摄像镜头和所述摄像单元之间的光传递特性进行的恢复处理来进行模糊恢复。
5.根据权利要求1所述的图像处理设备，其特征在于，还包括焦点检测单元，所述焦点检测单元用于获取与被摄体距离相关联的信息，
其中，所述图像相关信息是与摄像之前所述焦点检测单元的焦点检测操作相关联的信息。
6.根据权利要求1所述的图像处理设备，其特征在于，还包括显示单元，所述显示单元用于显示由所述摄像单元所获得的图像，
其中，所述图像相关信息还包括表示由所述显示单元所显示的图像的显示状态的信息。
7.一种图像处理方法，包括以下步骤：
恢复步骤，用于对摄像单元所获得的图像数据进行模糊恢复，其中所述摄像单元用于对已经经由摄像镜头入射的来自被摄体的光进行光电转换；
获取步骤，用于获取与所述图像数据一起存储的图像相关信息，所述图像相关信息包括以下信息至少之一：与摄像之前的焦点检测操作相关联的信息、被摄体移动信息和焦点检测操作的精度信息；以及
提取步骤，用于基于在所述获取步骤中获取的图像相关信息，提取进行所述模糊恢复的被摄体距离的范围，其中，将由所述摄像单元获得的图像中具有最小失焦量的范围的被摄体区域设置为进行所述模糊恢复的区域，并且将该区域的被摄体距离的范围设置为进行所述模糊恢复的被摄体距离的范围；
其中，在所述恢复步骤中，在所述提取步骤所提取的被摄体距离的范围内对所述图像数据进行模糊恢复。
CN2010102296914A 2009-07-13 2010-07-13 图像处理设备和图像处理方法 Expired - Fee Related CN101959013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310021788.XA CN103124332B (zh) 2009-07-13 2010-07-13 图像处理设备和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009165054A JP5173954B2 (ja) 2009-07-13 2009-07-13 画像処理装置及び画像処理方法
JP2009-165054 2009-07-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201310021788.XA Division CN103124332B (zh) 2009-07-13 2010-07-13 图像处理设备和图像处理方法

Publications (2)

Publication Number Publication Date
CN101959013A CN101959013A (zh) 2011-01-26
CN101959013B true CN101959013B (zh) 2013-02-13

Family

ID=43427166

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2010102296914A Expired - Fee Related CN101959013B (zh) 2009-07-13 2010-07-13 图像处理设备和图像处理方法
CN201310021788.XA Active CN103124332B (zh) 2009-07-13 2010-07-13 图像处理设备和图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201310021788.XA Active CN103124332B (zh) 2009-07-13 2010-07-13 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (2) US8350954B2 (zh)
JP (1) JP5173954B2 (zh)
CN (2) CN101959013B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP2011239195A (ja) * 2010-05-11 2011-11-24 Sanyo Electric Co Ltd 電子機器
JP2012008424A (ja) * 2010-06-28 2012-01-12 Olympus Corp 撮像システム
JP5506589B2 (ja) * 2010-08-02 2014-05-28 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記録媒体
JP5183715B2 (ja) * 2010-11-04 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP2012212975A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像装置および撮像装置の制御プログラム
JP5818515B2 (ja) * 2011-05-30 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法およびそのプログラム
KR101853817B1 (ko) * 2011-07-20 2018-05-02 삼성전자주식회사 촬상 소자
US9501834B2 (en) * 2011-08-18 2016-11-22 Qualcomm Technologies, Inc. Image capture for later refocusing or focus-manipulation
JP5857567B2 (ja) * 2011-09-15 2016-02-10 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2013047111A1 (ja) * 2011-09-30 2013-04-04 富士フイルム株式会社 撮像装置及び合焦用パラメータ値算出方法
WO2013089662A1 (en) * 2011-12-12 2013-06-20 Intel Corporation Scene segmentation using pre-capture image motion
JP2014056002A (ja) * 2012-09-11 2014-03-27 Sony Corp 焦点検出装置、撮像装置、および、焦点検出装置の制御方法
US10237528B2 (en) 2013-03-14 2019-03-19 Qualcomm Incorporated System and method for real time 2D to 3D conversion of a video in a digital camera
TWI605418B (zh) * 2013-04-15 2017-11-11 晨星半導體股份有限公司 影像編輯方法以及影像處理裝置
CN103197910B (zh) * 2013-04-17 2016-06-22 东软集团股份有限公司 图像更新方法和装置
CN104125385B (zh) * 2013-04-24 2017-09-01 晨星半导体股份有限公司 影像编辑方法以及影像处理装置
KR101932724B1 (ko) * 2013-04-30 2018-12-26 삼성전자주식회사 촬상 소자
CN103310486B (zh) * 2013-06-04 2016-04-06 西北工业大学 大气湍流退化图像重建方法
JP5769768B2 (ja) * 2013-09-03 2015-08-26 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6351243B2 (ja) * 2013-11-28 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法
WO2015118723A1 (ja) * 2014-02-07 2015-08-13 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6249825B2 (ja) * 2014-03-05 2017-12-20 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2015146380A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6317618B2 (ja) * 2014-05-01 2018-04-25 キヤノン株式会社 情報処理装置およびその方法、計測装置、並びに、作業装置
US20180041722A1 (en) * 2015-01-28 2018-02-08 Analog Devices, Inc. Circuits and techniques for noise control in digital imaging
JP6608148B2 (ja) * 2015-02-24 2019-11-20 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
JP6577738B2 (ja) * 2015-04-09 2019-09-18 キヤノン株式会社 焦点検出装置及びその制御方法、プログラム、記憶媒体
JP6126638B2 (ja) * 2015-04-20 2017-05-10 キヤノン株式会社 画像処理装置、画像処理方法およびそのプログラム
CN108337424B (zh) * 2017-01-17 2021-04-16 中兴通讯股份有限公司 一种相位对焦方法及其装置
CN112106343A (zh) * 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
CN109872304B (zh) 2019-01-17 2022-12-02 京东方科技集团股份有限公司 图像缺陷检测方法及装置、电子设备、存储介质
JP7437915B2 (ja) 2019-11-11 2024-02-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0981245A2 (en) * 1998-08-20 2000-02-23 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, basic layout of photoelectric conversion cell and storage medium
CN101272511A (zh) * 2007-03-19 2008-09-24 华为技术有限公司 图像深度信息和图像像素信息的获取方法及装置
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3031606B2 (ja) 1995-08-02 2000-04-10 キヤノン株式会社 固体撮像装置と画像撮像装置
US6822758B1 (en) 1998-07-01 2004-11-23 Canon Kabushiki Kaisha Image processing method, system and computer program to improve an image sensed by an image sensing apparatus and processed according to a conversion process
JP2000020691A (ja) 1998-07-01 2000-01-21 Canon Inc 画像処理装置及びその方法、撮像装置及びその制御方法並びにメモリ媒体
US6614994B2 (en) * 2000-08-02 2003-09-02 Nikon Corporation Shake detection device, optical device, camera system, and interchangeable lens
JP3797543B2 (ja) * 2001-10-26 2006-07-19 富士写真フイルム株式会社 自動焦点調節装置
EP1577705B1 (en) * 2002-12-25 2018-08-01 Nikon Corporation Blur correction camera system
US20040207743A1 (en) 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2005189542A (ja) * 2003-12-25 2005-07-14 National Institute Of Information & Communication Technology 表示システム、表示プログラム、表示方法
JP2006033758A (ja) * 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像復元方法
CN101080742A (zh) * 2004-10-15 2007-11-28 松下电器产业株式会社 利用多焦点透镜获取的图像的增强
JP2007282119A (ja) * 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
CN1888912A (zh) * 2006-07-20 2007-01-03 上海交通大学 基于计算机视觉的转速测量装置
JP2008157979A (ja) * 2006-12-20 2008-07-10 Olympus Imaging Corp デジタルカメラ
JP2008172321A (ja) * 2007-01-09 2008-07-24 Olympus Imaging Corp 電気的画像回復処理を行う撮像装置
JP5055025B2 (ja) * 2007-05-29 2012-10-24 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2009115893A (ja) * 2007-11-02 2009-05-28 Canon Inc 撮像装置
TWI371724B (en) * 2008-07-01 2012-09-01 Asustek Comp Inc Method and related device for image restoration for an electronic device
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0981245A2 (en) * 1998-08-20 2000-02-23 Canon Kabushiki Kaisha Solid-state image sensing apparatus, control method therefor, basic layout of photoelectric conversion cell and storage medium
CN101272511A (zh) * 2007-03-19 2008-09-24 华为技术有限公司 图像深度信息和图像像素信息的获取方法及装置
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2000-20691A 2000.01.21

Also Published As

Publication number Publication date
JP5173954B2 (ja) 2013-04-03
US9100556B2 (en) 2015-08-04
US8350954B2 (en) 2013-01-08
CN103124332B (zh) 2016-01-13
CN103124332A (zh) 2013-05-29
US20110007176A1 (en) 2011-01-13
CN101959013A (zh) 2011-01-26
JP2011023823A (ja) 2011-02-03
US20130113963A1 (en) 2013-05-09

Similar Documents

Publication Publication Date Title
CN101959013B (zh) 图像处理设备和图像处理方法
CN102422630B (zh) 摄像设备
CN102457681B (zh) 图像处理设备和图像处理方法
US10545312B2 (en) Focus detection apparatus, control method thereof, and storage medium storing program
CN102422196B (zh) 焦点检测设备
US8570427B2 (en) Image-capturing device having focus adjustment function, image creation method including focus adjustment function, and program product for image-capturing device having focus adjustment function
CN103837959A (zh) 焦点检测设备、焦点检测方法及摄像设备
JP6960755B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2014130231A (ja) 撮像装置、その制御方法、および制御プログラム
JP5352003B2 (ja) 画像処理装置及び画像処理方法
CN110995964A (zh) 摄像设备及其控制方法以及非暂时性存储介质
JP5793210B2 (ja) 撮像装置
JP7157642B2 (ja) 撮像装置、制御方法、及びプログラム
JP7445508B2 (ja) 撮像装置
JP2016200742A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130213

Termination date: 20200713