CN104685863A - 摄像装置及图像处理方法 - Google Patents

摄像装置及图像处理方法 Download PDF

Info

Publication number
CN104685863A
CN104685863A CN201380049879.2A CN201380049879A CN104685863A CN 104685863 A CN104685863 A CN 104685863A CN 201380049879 A CN201380049879 A CN 201380049879A CN 104685863 A CN104685863 A CN 104685863A
Authority
CN
China
Prior art keywords
subject distance
presumption
recovery filter
lens
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380049879.2A
Other languages
English (en)
Other versions
CN104685863B (zh
Inventor
远藤宏
林健吉
入江公祐
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104685863A publication Critical patent/CN104685863A/zh
Application granted granted Critical
Publication of CN104685863B publication Critical patent/CN104685863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0905—Dividing and/or superposing multiple light beams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

根据本发明，在使用与被摄体距离对应的复原滤波器进行拍摄到的图像的复原处理时，仅存储相当于推定偏差最近距离与无限远之间的被摄体距离的范围内的复原滤波器，从最开始就不具有比推定偏差最近距离靠近侧的范围内的复原滤波器，由此能够减少预先保持的复原滤波器的数量。

Description

摄像装置及图像处理方法
技术领域
本发明涉及摄像装置及图像处理方法，尤其涉及基于点像分布函数(PSF：Point Spread Function)而进行拍摄到的图像的点像复原处理的摄像装置及图像处理方法。
背景技术
拍摄到的图像的点像复原处理是如下处理：预先求出由摄影透镜的像差等所引起的劣化(PSF)的特性，使用基于PSF而制作出的复原滤波器对拍摄到的图像(劣化图像)进行滤波处理，由此复原为分辨率高的原始图像。
在专利文献1中，记载了如下的图像处理装置：取得包含被摄体距离的摄像状态，对应劣化图像的各复原区域，取得与摄像状态对应的复原滤波器，使用劣化图像和复原滤波器，对应每个复原区域复原劣化图像。PSF根据透镜的种类、变焦倍率、F值、被摄体距离、视角(像高)等而变化，因此需要准备多个复原滤波器。
专利文献1所记载的图像处理装置具备保持有多个复原滤波器列表的存储器，上述多个复原滤波器列表对应于透镜的种类、变焦倍率、及F值的组合。各复原滤波器列表包含根据被摄体距离而分类的多个复原滤波器表，复原滤波器表对于每个像高(复原区域)而保持复原滤波器(构成复原滤波器的滤波器系数的行列式)(专利文献1的图3)。
专利文献
专利文献1：日本特开2011-211663号公报
发明内容
发明要解决的课题
为了适当地对劣化图像进行点像复原处理，有时需要选择与透镜的种类、变焦倍率、F值、被摄体距离、视角(像高)等对应的最佳的复原滤波器，并使用所选择的复原滤波器进行劣化图像的复原处理，但是在该情况下，必须将多个复原滤波器存储保持于存储器，存在存储器容量增大这样的问题。
在专利文献1中记载有如下内容：离散地保持多个复原滤波器，通过插值生成与中间值对应的复原滤波器，由此减少保持复原滤波器的存储器的容量。
但是，存在如下问题：在通过离散地保持复原滤波器来减少复原滤波器的数量的情况下，当扩大被离散地保持的复原滤波器的间隔(例如，被摄体距离的间隔)时，无法通过插值生成适当的复原滤波器，或者在通过所生成的复原滤波器进行过度校正的情况下，反而会使分辨率变差。另外，作为产生过度校正的条件，可以想到误测量被摄体距离，其结果是，使用与错误的被摄体距离对应的复原滤波器。
本发明鉴于这样的情况而作出，目的在于提供摄像装置及图像处理方法，在使用与被摄体距离对应的复原滤波器对拍摄到的图像进行复原处理时，能够减少预先保持的复原滤波器的数量，并且能够提高复原处理的分辨率。
用于解决课题的方案
为了实现上述目的，本发明的一个方案的摄像装置具备：摄像部，拍摄由摄影透镜而成像的被摄体像，取得表示该被摄体像的图像；第一被摄体距离推定部，求出由摄像部进行摄像时的、由焦点检测部推定出的被摄体距离；复原滤波器存储部，存储从多个复原滤波器中选择的一个以上的复原滤波器，该多个复原滤波器是至少基于与被摄体距离对应的摄影透镜的点像分布函数而制作出的；复原滤波器选择部，基于由第一被摄体距离推定部推定出的被摄体距离从存储于复原滤波器存储部的复原滤波器中选择与被摄体距离对应的复原滤波器；及复原处理部，使用由复原滤波器选择部选择的复原滤波器，进行由摄像部取得的图像的复原处理，复原滤波器存储部存储相当于以下被摄体距离与无限远之间的范围内的复原滤波器，该被摄体距离是将由第一被摄体距离推定部推定出的最近侧的被摄体距离加上最近侧的被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差而得到的。
根据本发明的一个方案，在复原滤波器存储部中存储至少基于与被摄体距离对应的摄影透镜的点像分布函数而制作出的多个复原滤波器，但不是存储对可拍摄的被摄体距离的整个范围制作出的多个复原滤波器，而是存储从多个复原滤波器中选择的一个以上的复原滤波器。即，复原滤波器存储部存储相当于以下被摄体距离与无限远之间的范围内的复原滤波器，该被摄体距离是将由第一被摄体距离推定部推定出的最近侧的被摄体距离加上最近侧的被摄体距离的与由第一被摄体距离推定部推定出的被摄体距离对应的推定偏差的范围中的无限远侧的最大的推定偏差而得到的被摄体距离(以下称为“推定偏差最近距离”)。
点像分布函数(PSF)因被摄体距离而不同，具有最近侧的PSF比无限远侧的PSF宽的形状。其结果是，比无限远侧的复原滤波器靠最近侧的复原滤波器被预先准备而作为进行更强的复原处理的滤波器。
比推定偏差最近距离靠最近侧的范围内的复原滤波器有可能进行过度校正的复原处理。因此，仅存储相当于推定偏差最近距离与无限远之间的被摄体距离的范围内的复原滤波器，能够从最开始就不具有比推定偏差最近距离靠最近侧的范围内的复原滤波器，由此降低存储于复原滤波器存储部的复原滤波器的数量。
在本发明的另一方案的摄像装置中，优选的是，第一被摄体距离推定部基于摄影透镜的聚焦透镜的透镜位置来推定被摄体距离。
在本发明的又一方案的摄像装置中，优选的是，摄影透镜是可更换透镜，由第一被摄体距离推定部推定出的被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差是可更换透镜的个体差异引起的推定偏差和可更换透镜的温度特性引起的推定偏差中的至少一方。
在本发明的又一方案的摄像装置中，优选的是，摄像装置具备：推定偏差获取部，取得由第一被摄体距离推定部推定出的被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差；及第二被摄体距离推定部，算出将由第一被摄体距离推定部推定出的被摄体距离加上由推定偏差获取部取得的无限远侧的最大的推定偏差而得到的被摄体距离，复原滤波器选择部选择存储于复原滤波器存储部的一个以上的复原滤波器中的最接近由过第二被摄体距离推定部算出的被摄体距离的无限远侧的复原滤波器。
由第一被摄体距离推定部来推定被摄体距离，由推定偏差获取部取得该推定出的被摄体距离的偏差(推定偏差)的范围中的无限远侧的最大的推定偏差。算出将由第一被摄体距离推定部推定出的被摄体距离加上由推定偏差获取部取得的无限远侧的最大的推定偏差而得到的被摄体距离。该算出的被摄体距离是所推定出的被摄体距离偏移至最无限远侧时的被摄体距离。并且，在从存储于复原滤波器存储部的、与被摄体距离对应的一个以上的复原滤波器中选择在复原处理中使用的复原滤波器时，选择最接近所算出的被摄体距离的无限远侧所对应的复原滤波器。
通过选择相对于所推定出的被摄体距离偏移至最无限远侧时的被摄体距离最接近的无限远侧所对应的复原滤波器，能够选择偏移至最无限远侧时的被摄体距离所对应的复原滤波器或进行比其弱的复原处理的复原滤波器。由此，能够防止由于所选择的复原滤波器而成为过度校正的复原处理(能够防止分辨率变差)，并且能够提高复原滤波器的分辨率。
在本发明的又一方案的摄像装置中，优选的是，摄影透镜是内置有复原滤波器存储部的可更换透镜。由此，能够不在摄像装置主体侧设置复原滤波器存储部而从透镜侧的复原滤波器存储部取得与该透镜对应的复原滤波器。
在本发明的又一方案的摄像装置中，优选的是，摄影透镜是可更换透镜，推定偏差获取部从可更换透镜取得该可更换透镜的个体差异引起的推定偏差和可更换透镜的温度特性引起的推定偏差中的至少一方。
在本发明的又一方案的摄像装置中，优选的是，摄影透镜是可更换透镜，推定偏差获取部具有从所安装的可更换透镜取得该可更换透镜的透镜信息的透镜信息获取部和存储多个可更换透镜的各推定偏差的推定偏差存储部，该推定偏差获取部从推定偏差存储部取得与由透镜信息获取部取得的透镜信息对应的推定偏差。
在本发明的又一方案的摄像装置中，优选的是，摄像装置具备记录部，记录由复原处理部进行复原处理而得到的图像。
本发明的又一方案的摄像装置中，包括：图像取得工序，从具有摄影透镜的摄像部取得表示被摄体像的图像；第一被摄体距离推定工序，求出由摄像部进行摄像时的、由焦点检测部推定出的被摄体距离；准备复原滤波器存储部的工序，该复原滤波器存储部存储从多个复原滤波器中选择的一个以上的复原滤波器，该多个复原滤波器是至少基于与被摄体距离对应的摄影透镜的点像分布函数而制作出的；复原滤波器选择工序，基于由第一被摄体距离推定出工序推定的被摄体距离从存储于复原滤波器存储部的复原滤波器中选择与被摄体距离对应的复原滤波器；及复原处理工序，使用由复原滤波器选择工序选择的复原滤波器进行由摄像部取得的图像的复原处理，复原滤波器存储部存储相当于以下被摄体距离与无限远之间的范围内的复原滤波器，该被摄体距离是将由第一被摄体距离推定工序推定出的最近侧的被摄体距离加上最近侧的被摄体距离的与由第一被摄体距离推定部推定出的被摄体距离对应的推定偏差的范围中的无限远侧的最大的推定偏差而得到的。
发明效果
根据本发明，在使用与被摄体距离对应的复原滤波器进行拍摄到的图像的复原处理时，仅存储相当于推定偏差最近距离与无限远之间的被摄体距离的范围内的复原滤波器，从最开始就不具有比推定偏差最近距离靠最近侧的范围内的复原滤波器，由此能够减少预先保持的复原滤波器的数量。另外，比推定偏差最近距离靠最近侧的范围内的复原滤波器有可能进行过度校正的复原处理，因此优选不使用这些复原滤波器。
附图说明
图1是作为本发明的一个方式的摄像装置的外观图。
图2是图1所示的摄像装置的后视图。
图3是图1所示的摄像装置的主要部分框图。
图4是表示对比度自动聚焦处理的流程的图。
图5是说明对比度自动聚焦的图。
图6是聚焦透镜控制部的主要部分框图。
图7是进行点像复原处理的主CPU及数字信号处理部的主要部分框图。
图8是说明本发明的第一实施方式的复原滤波器的存储及选择的方法的图。
图9是说明本发明的第一实施方式的复原滤波器的存储及选择的方法的图。
图10是说明本发明的第一实施方式的复原滤波器的存储及选择的方法的图。
图11是说明本发明的第二实施方式的复原滤波器的存储及选择的方法的图。
图12是说明本发明的第二实施方式的复原滤波器的存储及选择的方法的图。
图13是说明本发明的第二实施方式的复原滤波器的存储及选择的方法的图。
图14是作为摄像装置的其他实施方式的智能手机的外观图。
图15是表示智能手机的主要部分结构的框图。
具体实施方式
图1是表示本发明的一个方式的摄像装置100的外观的立体图。摄像装置100由摄像装置主体200和以能够更换的方式安装于摄像装置主体200的透镜装置300构成。摄像装置主体200与透镜装置300通过设于摄像装置主体200的卡口246(发送单元、接收单元)、与卡口246对应的透镜装置300侧的卡口346(接收单元、发送单元)(参照图3)结合而以能够更换的方式进行安装。另外，在摄像装置主体200的前表面，除了卡口246之外，还设有闪光灯240，在上表面设有释放按钮220-1及摄影模式设定用的转盘220-2。
当在卡口246设置有端子247(发送单元、接收单元)，在卡口346设置有端子347(发送单元、接收单元)(参照图3)，若将透镜装置300安装于摄像装置主体200，则对应的端子247与端子347接触而能够进行通信。另外，图1及图3中的端子247、端子347是概念性地表示的，本发明的端子的位置及数量不限定于这些图中的位置及数量。
另一方面，如图2所示，在摄像装置主体200的背面配置有监视器212、十字按钮260、菜单/确认按钮265、重放按钮270、返回按钮275等。另外，作为本发明的一个方式的摄像装置100既可以是透镜更换式摄像装置，也可以是透镜固定式摄像装置。
图3是表示摄像装置100的结构的框图。摄像装置100的动作由摄像装置主体200的主CPU214及透镜装置300的透镜CPU340统一控制。主CPU214的动作所需的程序(包含用于对变焦透镜ZL、聚焦透镜FL及光圈I进行驱动的程序)、数据存储在摄像装置主体200内的闪存ROM226及ROM228中，透镜CPU340的动作所需的程序(包含用于对变焦透镜ZL、聚焦透镜FL及光圈I进行驱动的程序)、数据存储在透镜CPU340内的ROM344中。
在摄像装置主体200中，除了释放按钮220-1及转盘220-2之外，还设有包括重放按钮、菜单/确认键、十字键、返回键等的操作部220，使用者通过对操作部220包含的按钮、键进行操作，从而能够进行摄影/重放模式的选择、摄影开始、图像的选择/重放/删除、变焦指示等指示。
来自操作部220的信号输入主CPU214，主CPU214基于输入信号而控制摄像装置主体200的各电路，并经由卡口246(发送单元、接收单元、透镜信息获取部)及卡口通信部250(发送单元、接收单元、透镜信息获取部)在主CPU214与透镜装置300之间收发信号。
在上述的端子中，例如包含接地用端子、同步信号用端子、串行通信用端子、控制状态通信用端子及从摄像装置主体200的蓄电池242向透镜装置300的各部的电源供给用端子。
在摄像时，被摄体光经由透镜装置300的变焦透镜ZL、聚焦透镜FL及光圈I，在摄像装置主体200的摄像元件202的受光面上成像。在本实施方式中，摄像元件202设为CMOS型，但并不限定于CMOS型，也可以是CCD型。聚焦透镜FL、变焦透镜ZL及光圈I通过由透镜CPU340控制的变焦透镜控制部310、聚焦透镜控制部320(透镜驱动单元)、光圈控制部330而被驱动，进行聚焦控制、变焦控制、光圈控制。
变焦透镜控制部310按照来自透镜CPU340的指令，使变焦透镜ZL沿着光轴方向移动，使摄影倍率可变。另外，聚焦透镜控制部320按照来自透镜CPU340的指令，使聚焦透镜FL沿着光轴方向进行进退动作，从而使其对焦于被摄体。光圈控制部330按照来自透镜CPU340的指令，变更光圈I的光圈值。
若存在释放按钮220-1的第一阶段的按下(半按)，则主CPU214开始AF及AE动作，由此，从A/D转换器204输出的图像数据被取入到AE/AWB检测部224。主CPU214根据输入到AE/AWB检测部224的G信号的累计值，算出被摄体的明亮度(摄影EV值)，并基于该结果来控制光圈I的光圈值、摄像元件202中的电荷蓄积时间(相当于快门速度)、闪光灯240的发光时间等。
AF检测部222是进行对比度AF处理或相位差AF处理的部分。在进行对比度AF处理的情况下，以对聚焦区域内的图像数据的高频成分进行积分而算出的、表示对焦状态的AF评价值成为极大的方式，控制透镜镜筒内的聚焦透镜FL。另外，在进行相位差AF处理的情况下，以根据图像数据中的使用具有聚焦区域内的多个相位差的像素而算出的相位差数据求出的散焦量成为0的方式，控制透镜装置300内的聚焦透镜FL。另外，AF检测部222作为检测焦点的焦点检测部进行动作。
若AE动作及AF动作结束且存在释放按钮220-1的第二阶段的按下(全按)，则通过经由闪光灯控制部238的控制，闪光灯240发光。另外，基于从摄像元件控制部201施加的读出信号，蓄积于摄像元件202的信号电荷作为与信号电荷对应的电压信号被读出，并被施加到模拟信号处理部203。模拟信号处理部203对于从摄像元件202输出的电压信号，通过相关双采样处理对各像素的R、G、B信号进行采样保持，并在放大之后施加到A/D转换器204。A/D转换器204依次将输入的模拟的R、G、B信号转换为数字的R、G、B信号，并输出到图像输入控制器205。另外，在摄像元件202是CMOS型摄像元件的情况下，A/D转换器204内置在摄像元件202内的情况也比较多，或者也存在不需要上述相关双采样的情况。
从图像输入控制器205输出的图像数据输入到数字信号处理部206，进行偏移处理、包含白平衡校正及灵敏度校正的增益/控制处理、伽玛校正处理、复原处理及YC处理等信号处理，并经过对VRAM230的写入/读出，在显示控制部210中被编码并输出到监视器212，由此，被摄体像显示于监视器212中。
另外，也可以具有记录上述得到的被摄体像的单元即记录部。例如，也可以在存储卡236中记录通过复原处理得到的图像。
另外，响应于释放按钮220-1的全按，从A/D转换器204输出的图像数据从图像输入控制器205输入到SDRAM(存储器)232并临时进行存储。在暂时存储到SDRAM232之后，经过数字信号处理部206的增益/控制处理、伽玛校正处理、YC处理等信号处理、压缩/解压处理部208中的向JPEG(Joint Photographic coding Experts Group)形式的压缩处理等，生成图像文件，且该图像文件由介质控制部234读出而记录在存储卡236中。记录在存储卡236中的图像通过对操作部220的重放按钮进行操作而能够在监视器212中重放显示。
接着，说明摄像装置主体200与透镜装置300之间的通信。摄像装置主体200与透镜装置300经由摄像装置主体200的卡口246(发送单元、接收单元)及卡口通信部250(发送单元、接收单元)、透镜装置的卡口346(发送单元、接收单元)及卡口通信部350(发送单元、接收单元)以及设于卡口246及卡口346的端子进行通信，收发透镜移动指令。
在透镜移动指令中，包括控制对象(变焦透镜ZL/聚焦透镜FL/光圈I)、驱动模式、数值(变焦透镜ZL、聚焦透镜FL的目标位置、光圈I的光圈值等)、制动器通/断信息(表示是否在目标位置中使电动机326的线圈短路而施加制动的信息)。在摄像装置主体200与透镜装置300之间，除了上述之外，还经由控制状态通信用端子进行各种控制状态(透镜驱动开始/完成通知等)的通信。
<对比度AF>
接着，参照图4及图5说明对比度AF。
图4表示对比度AF处理的流程图。若开始对比度AF处理，则首先主CPU214为了检测聚焦透镜FL的透镜位置，将使聚焦透镜FL移动到起始位置(HP)的透镜移动指令输出到透镜装置300，使聚焦透镜FL移动至HP(步骤S10)。
若聚焦透镜FL移动至HP，则将可逆计数器320-8(图6)的计数值复位，设为计数值i＝0(步骤S12)。另外，在HP中设有光电断路器等HP传感器322(图6)，若基于透镜移动指令而移动中的聚焦透镜FL到达HP，则HP传感器322输出透镜检测信号。该透镜检测信号用作将作为透镜位置检测单元发挥作用的可逆计数器320-8的计数值重置为0的重置信号。另外，聚焦透镜FL向HP的移动既可以在摄像装置主体200中安装有透镜装置300时进行，也可以在接通电源时进行。
接着，主CPU214将如图5所示那样使聚焦透镜FL从无限侧(INF)移动(AF搜索)至最近端的透镜移动指令输出到透镜装置300(步骤S14)。
在AF搜索中，主CPU214从透镜装置300的可逆计数器320-8取得计数值作为透镜位置信号(步骤S16)，另外，对应适当的每个透镜位置取得聚焦区域内的图像数据，在AF检测部222(图3)中进行AF评价值的计算(步骤S18)。另外，AF检测部222通过对聚焦区域内的图像数据的高频成分进行积分，算出表示对焦状态的AF评价值，并将算出的AF评价值输出到主CPU214。
主CPU214判断AF搜索是否结束(即，计数值i(聚焦透镜FL位置)是否为最近端(0.20))(步骤S20)，在计数值i不是最近端的情况下，转移到步骤S14，继续进行AF搜索。
另一方面，若判断为AF搜索结束，则主CPU214基于由步骤S16、S18取得的各AF评价值和透镜位置，算出AF评价值成为最大的透镜位置(对焦位置)(步骤S22、图5的(A))。
主CPU214将使聚焦透镜FL移动至算出的对焦位置的透镜位置指令输出到透镜装置300，使聚焦透镜FL移动至对焦位置(步骤S24、图5的(B))。
另外，主CPU214根据在步骤S22中算出的透镜位置，算出被摄体距离(步骤S26)。
<聚焦透镜控制部>
图6表示聚焦透镜控制部320的功能框图。从主CPU214经由透镜CPU340向聚焦透镜控制部320发送透镜移动指令。
聚焦透镜控制部320主要由控制器320-2、驱动器320-4、电动机320-6及可逆计数器320-8构成。通过控制器320-2接收来自透镜CPU340的透镜移动指令。并且，从控制器320-2输出与透镜移动指令对应的脉冲信号。从控制器320-2输出的脉冲信号输入到驱动器320-4。并且，驱动器320-4根据所输入的脉冲信号，驱动电动机320-6。另外，电动机320-6优选使用步进电动机。另一方面，从控制器320-2输出的脉冲信号也发送到可逆计数器320-8。
可逆计数器320-8对发送来的脉冲信号进行计数，并输出计数值。另外，如前所述，若通过HP传感器322而聚焦透镜FL到达HP，则可逆计数器320-8复位为0，所以可逆计数器320-8的计数值表示以HP为基准的聚焦透镜FL的透镜位置。
<点像复原处理>
图7表示进行点像复原处理的主CPU214及数字信号处理部206的主要部分框图。主CPU214作为复原处理用的功能而具备透镜位置输入部214-2、第一被摄体距离推定部214-4、推定偏差获取部214-6及第二被摄体距离推定部214-8。
透镜位置输入部214-2输入聚焦透镜FL的对焦控制后的可逆计数器320-8的当前的计数值作为表示透镜位置的信息。
第一被摄体距离推定部214-4从透镜位置输入部214-2输入表示透镜位置的信息，推定通过当前的透镜位置的聚焦透镜FL而对焦的被摄体的距离(被摄体距离)。另外，聚焦透镜FL的透镜位置与通过该透镜位置而对焦的被摄体距离存在一定的关系，所以能够根据聚焦透镜FL的透镜位置而推定被摄体距离。
表示由第一被摄体距离推定部214-4推定出的被摄体距离(第一被摄体距离)的信息输出到推定偏差获取部214-6及第二被摄体距离推定部214-8。
推定偏差获取部214-6基于从第一被摄体距离推定部214-4输入的表示第一被摄体距离的信息，算出第一被摄体距离的误差(推定偏差)。
在此，推定偏差是根据聚焦透镜FL的透镜位置推定出的第一被摄体距离的偏差，由于聚焦透镜FL的对焦停止位置的检测精度等而产生。例如，若由于温度而透镜镜筒特性发生变化，即使被摄体距离恒定，聚焦透镜FL的对焦停止位置也会发生改变，导致误测量(产生推定偏差)。
另外，推定偏差中，以将第一被摄体距离为中心而向无限远侧和最近端侧延伸的方式存在误差范围(推定偏差的范围)。推定偏差获取部214-6算出第一被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差。
例如，即使被摄体距离恒定，根据HP(或INF)的可逆计数器320-8的计数值与本来的计数值不同的情况下(聚焦透镜FL的对焦停止位置不同的情况下)，该计数值的误差也成为推定偏差。当为计数值的误差在±n个脉冲的范围内产生的透镜装置的情况下，n个脉冲量的聚焦透镜FL的移动量相当于无限远侧的最大的推定偏差。另外，由于每一个脉冲的对焦被摄体距离的变化量根据当前的聚焦透镜FL的对焦停止位置(第一被摄体距离)而不同，所以推定偏差获取部214-6基于表示第一被摄体距离的信息和计数值的误差的信息(n个脉冲)，算出第一被摄体距离的推定偏差。
另外，误差也可以根据各种条件算出，或者可以从存储于存储误差的单元即误差存储部(未图示)的误差数据库中选择。例如，误差是在可更换透镜中是固体特有(个体差异)的误差，或者依赖于可更换透镜的温度特性。
例如，在为可更换透镜式的摄像装置100的情况下，由于误差范围对应每个可更换透镜而变化，所以也可以在推定偏差获取部214-6内具有存储误差(推定偏差)的单元即推定偏差存储部，存储每个可更换透镜的误差(推定偏差)。在该情况下，当安装透镜装置300时，取得该透镜装置300的透镜信息，并基于该透镜信息，从推定偏差存储部取得对应的推定偏差。另外，上述推定偏差存储部也可以设置在透镜装置300内。
由推定偏差获取部214-6算出的表示推定偏差的信息输出到第二被摄体距离推定部214-8。第二被摄体距离推定部214-8算出将推定出的第一被摄体距离与无限远侧的最大误差(推定偏差)相加而得到的第二被摄体距离，并将表示算出的第二被摄体距离的信息输出到数字信号处理部206的复原滤波器选择部206-4。
在数字信号处理部206中，与复原处理有关的主要部分是复原处理部206-2、复原滤波器选择部206-4及复原滤波器存储部206-6。
复原滤波器存储部206-6对应每个透镜存储有基于包含透镜装置300的各种透镜的点像分布函数而制作出的多个复原滤波器。另外，多个复原滤波器是对应于被摄体距离、变焦倍率、F值及像高(复原区域)的组合的滤波器，是多个复原滤波器。另外，为了简化说明，设为复原滤波器存储部206-6对应于被摄体距离而离散地存储复原滤波器。
复原滤波器选择部206-4从第二被摄体距离推定部214-8输入表示第二被摄体距离的信息，并基于该输入信息，从复原滤波器存储部206-6选择与第二被摄体距离对应的复原滤波器。在此，在与第二被摄体距离对应的复原滤波器未存储于复原滤波器存储部206-6的情况下，选择最接近第二被摄体距离的无限远侧的复原滤波器。另外，关于复原滤波器的选择方法的详情，在后面叙述。
复原处理部206-2使用由复原滤波器选择部206-4选择的复原滤波器，对图像数据进行复原处理。
接着，对复原滤波器的生成方法进行说明。
首先，在摄像装置100的出厂前等的调整时，为了测定该摄像装置100的透镜装置300的摄影透镜的点像分布函数(PSF：Point SpreadFunction)，通过透镜装置300而拍摄点像(点光源)，取得由于像差而模糊(点像扩展)的图像。
此时，摄像元件202存在使用测定专用的摄像元件的方法和使用实际安装到摄像装置100的摄像元件202的方法。在前者的情况下，适合仅对应于透镜装置300的PSF的测定，在后者的情况下，适合还考虑了摄像元件202的影响(彩色滤波器等)的PSF的测定。
接着，若将通过包含透镜装置300及摄像元件202的摄像部对点像摄像而取得的模糊的图像设为G(X，Y)，将原始的点像设为F(X，Y)，将点像分布函数(PSF)设为H(X，Y)时，则能够通过下式表示关系。
[数学式1]
G(X，Y)＝H(X，Y)*F(X，Y)
其中，*表示卷积。
基于通过上述的点像的拍摄而取得的模糊的图像G(X，Y)，求出[数学式1]的H(X，Y)(即，点像分布函数(PSF))。
接着，求出上述求出的点像分布函数(PSF)的逆函数。若将该逆函数设为R(X，Y)，则如下式所述，通过R(X，Y)对进行了相位调制的图像G(X，Y)进行卷积处理，得到与原始的图像F(X，Y)对应的复原图像(复原处理)。
[数学式2]
G(X，Y)*R(X，Y)＝F(X，Y)
将该R(X，Y)称为复原滤波器。复原滤波器能够利用将原图像与复原图像的方均误差设为最小的最小平方滤波器(维纳滤波器)、附带限制的逆卷积滤波器、递归滤波器、同态滤波器等。
[第一实施方式]
图8至图10是说明由复原滤波器选择部206-4及复原滤波器存储部206-6进行的、本发明的第一实施方式的中复原滤波器的存储及选择的方法的图。
图8是在最近端(0.2m)至无限远(INF)的范围内的多个被摄体距离不同的点像分布函数(PSF)的图像图。如前所述，基于这些PSF而生成复原滤波器。
如图8所示，无限远侧的PSF比最近侧的PSF小，因此，基于无限远侧的复原滤波器的复原处理成为比基于最近侧的复原滤波器的复原处理弱的复原处理。
另外，在图8所示的例子中，设为存储有与最近端(0.2m)至无限远的范围(可摄影范围)中的最近端(0.2m)、0.25m、0.33m、0.5m、1m及INF的6个距离(被摄体距离)对应的复原滤波器。另外，这些被摄体距离是与将聚焦透镜FL的最近端到INF的移动量大致进行了5等分的各透镜位置对应的被摄体距离。
由图8中的箭头表示的范围表示由第一被摄体距离推定部214-4推定出0.2m、0.25m、0.33m、0.5m、1m或INF的情况下的各被摄体距离的推定偏差的范围。
另外，图中的箭头前端的圆圈表示在由第一被摄体距离推定部214-4推定出的被摄体距离(第一被摄体距离)为0.2m、0.25m、0.33m、0.5m、1m或INF的情况下，将第一被摄体距离与该第一被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差相加而得到的距离(第二被摄体距离)。
在图8中，在由第一被摄体距离推定部214-4推定出的第一被摄体距离为0.2m的情况下，误差范围为0.25m至02m，考虑了无限远侧的最大的推定偏差的、由第二被摄体距离推定部214-8推定出的第二被摄体距离为0.25m。并且，使用最接近第二被摄体距离的无限远侧的复原滤波器。即，选择对应于0.25m的被摄体距离而生成的复原滤波器，防止过度校正。即，选择最接近第二被摄体距离的无限远侧所对应的复原滤波器。
在此，复原处理中的过度校正是指推定比实际的被摄体距离近的被摄体距离，使用比本来应使用的复原滤波器强(大)的复原滤波器而进行复原处理。若进行复原处理的过度校正，则导致得到的图像的质量恶化。
作为产生复原处理的过度校正的具体例，在由第一被摄体距离推定部214-4推定出的第一被摄体距离为0.25m，误差范围称为0.33m至0.2m的情况下，若选择对应于0.25m或0.2m的被摄体距离而生成的复原滤波器，则存在复原处理成为过度校正的可能性。即，由于实际的被摄体距离为0.33m至0.2m，因此假设实际的被摄体距离为0.33m的情况下，使用与0.25m或0.2m的被摄体距离对应而生成的复原滤波器的复原处理成为过度校正。
另一方面，在对第二被摄体距离使用与向无限远侧较大偏离的被摄体距离对应而生成的复原滤波器的情况下，无法充分得到复原处理的效果。例如，在第二被摄体距离为0.25m时，若使用与INF对应的复原滤波器进行复原处理，则复原处理弱，无法充分得到复原处理的效果。
由此，在由第一被摄体距离推定部214-4推定出的第一被摄体距离为0.25m、由第二被摄体距离推定部214-8推定出的第二被摄体距离为0.33m的情况下，通过使用对应于0.33m的被摄体距离而生成的复原滤波器，能够防止产生过度校正。
在图8中，与作为第一被摄体距离而推定出0.25m、0.33m、0.5m、1m或INF的情况相同地，箭头的范围表示被摄体距离的误差范围，在误差范围内，选择与最接近第二被摄体距离的无限远侧对应的复原滤波器，所以在作为第一被摄体距离而推定出0.25m的情况下，使用对应于0.33m的被摄体距离而生成的复原滤波器，在推定出0.33m的情况下，使用对应于0.5m的被摄体距离而生成的复原滤波器，在推定出0.5m的情况下，使用对应于1m的被摄体距离而生成的复原滤波器，在推定出INF的情况下，使用对应于INF的被摄体距离而生成的复原滤波器。
另外，在作为第一被摄体距离而推定出0.2m、0.25m、0.33m、0.5m、1m或INF以外的被摄体距离的情况下，例如推定出0.33m与0.5m之间的被摄体距离的情况下，考虑了最大的推定偏差的第二被摄体距离成为0.5m与1m之间的被摄体距离。因此，最接近该第二被摄体距离的无限远侧的复原滤波器是对应于1m的被摄体距离而生成的复原滤波器。
另外，在摄像装置100中，在预先决定拍摄远方的情况(风景模式)的摄影中，可以无论第二被摄体距离如何，都使用与INF的被摄体距离对应而生成的复原滤波器。
图9表示与透镜装置300不同的透镜(可更换透镜)对应的测距误差等，由于透镜的种类的不同而温度特性不同，或存在个体差异，所以根据聚焦透镜的对焦停止位置推定出的被摄体距离的推定偏差不同。
与图8的情况相比，图9表示由箭头的范围表示的推定偏差(误差范围)大(长)的情况。在图9的情况下，使用与从第二被摄体距离取最大值的被摄体距离最接近的无限远侧的复原滤波器。即，在作为第一被摄体距离而推定出0.2m的情况下，使用对应于0.33m的被摄体距离而生成的复原滤波器，在推定出0.25m的情况下，使用对应于0.5m的被摄体距离而生成的复原滤波器，在推定出0.33m的情况下，使用对应于1m的被摄体距离而生成的复原滤波器，在推定出1m以上的情况下，使用对应于INF的被摄体距离而生成的复原滤波器。
与图9的情况相比，图10表示误差范围更大(长)的情况。在图10的情况下，即使作为第一被摄体距离而推定出最近端(0.2m)，考虑了该推定偏差的被摄体距离(第二被摄体距离)也大于1m。因此，不会成为过度校正的复原滤波器仅是与INF对应而生成的复原滤波器。即，在具有图10所示的推定偏差的透镜的情况下，无论推定的被摄体距离如何，仅使用与INF对应而生成的复原滤波器。
[第二实施方式]
图11至图13是说明本发明的第二实施方式的复原滤波器的存储及选择的方法的图。
与图8至图10所示的第一实施方式相同地，图11至图13所示的第二实施方式存储与被摄体距离对应的复原滤波器，但是在第二实施方式中，复原滤波器向复原滤波器存储部206-6存储的方法不同。
在第二实施方式中，作为存储复原滤波器的单元的复原滤波器存储部206-6存储相当于以下被摄体距离(以下称为“推定偏差最近距离”)及无限远之间的范围内的复原滤波器，该被摄体距离即推定偏差最近距离是将由第一被摄体距离推定部214-4推定出的最近侧的被摄体距离加上与最近侧的被摄体距离对应的推定偏差的范围中的无限远侧的最大的推定偏差而得到的。
比推定偏差最近距离靠最近侧的范围内的复原滤波器有可能进行过度校正的复原处理。因此，在复原滤波器存储部206-6仅存储相当于推定偏差最近距离与无限远之间的范围内的多个复原滤波器，从最开始就不存储比推定偏差最近距离靠最近侧的范围内的复原滤波器。由此，降低存储于复原滤波器存储部206-6的复原滤波器的数量。
即，在第一实施方式中，复原滤波器与是否使用预先设定的多个被摄体距离中的每个被摄体距离无关地存储于复原滤波器存储部206-6，与此相对，在第二实施方式中，在与被摄体距离的误差范围的关系中未使用的复原滤波器未存储于复原滤波器存储部206-6(参照图11至图13)。
图11是表示与图8所示的第一实施方式对应的第二实施方式的图。若比较图11所示的第二实施方式和图8所示的第一实施方式，则在第二实施方式中，在没有与0.2m的被摄体距离对应的复原滤波器这一点上不同。
在由图11的箭头表示的推定偏差的情况下，即使推定出第一被摄体距离为最近端(0.2m)，若考虑误差范围，则第二被摄体距离(推定偏差最近距离)为0.25m，与最接近推定偏差最近距离的无限远侧对应的复原滤波器成为对应于0.25m的被摄体距离而生成的复原滤波器。换言之，在具有图11所示的误差范围的情况下，无论第一被摄体距离为多少都不使用与图8所示的对应于0.2m的被摄体距离而生成的复原滤波器。并且，未使用的复原滤波器未存储于复原滤波器存储部206-6。
图12是表示与图9所示的第一实施方式对应的第二实施方式的图。若比较图12所示的第二实施方式与图9所示的第一实施方式，则在第二实施方式中，在没有与0.2m及0.25m的被摄体距离对应的复原滤波器这一点上不同。
在由图12的箭头所示的推定偏差的情况下，即使出第一被摄体距离推定为最近端(0.2m)，若考虑误差范围，则第二被摄体距离(推定偏差最近距离)为0.33m，与最接近推定偏差最近距离的无限远侧对应的复原滤波器成为对应于0.33m的被摄体距离而生成的复原滤波器。换言之，在具有图12所示的误差范围的情况下，无论第一被摄体距离为多少都不使用与图9所示的对应于0.2m、0.25m的被摄体距离而生成的复原滤波器。并且，未使用的复原滤波器未存储于复原滤波器存储部206-6。
图13是表示与图10所示的第一实施方式对应的第二实施方式的图。若比较图13所示的第二实施方式与图10所示的第一实施方式，则在第二实施方式中，在没有与0.2m、0.25m、0.33m、0.5m及1m的被摄体距离对应的复原滤波器这一点上不同。
在由图13的箭头所示的推定偏差的情况下，即使推定出第一被摄体距离为最近端(0.2m)，若考虑误差范围，则第二被摄体距离(推定偏差最近距离)大于1m，与最接近推定偏差最近距离的无限远侧对应的复原滤波器成为INF(1)的复原滤波器。换言之，在具有图13所示的误差范围的情况下，无论第一被摄体距离为多少都不使用图10所示的(2)至(6)的复原滤波器。并且，未使用的(2)至(6)的复原滤波器未存储于复原滤波器存储部206-6，根据误差范围的关系而选择的(1)的复原滤波器存储于复原滤波器存储部206-6。
这样一来，在图11至图13所示的第二实施方式中，在与误差范围的关系中未使用的复原滤波器未存储于复原滤波器存储部206-6。由此，能够减轻用于存储复原滤波器的存储器容量。
另外，可以是作为存储复原滤波器的单元的复原滤波器存储部具有与推定偏差对应而分别存储有多个复原滤波器的多个表格，作为选择复原滤波器的单元的复原滤波器选择部根据推定偏差的大小，从多个表中选择对应的表，并根据所选择的表选择复原滤波器，上述推定偏差由作为取得推定偏差的单元的推定偏差获取部214-6取得。
图14表示摄像装置100的其他实施方式的智能手机500的外观。图14所示的智能手机500具有平板状的壳体502，在壳体502的一个面上具备作为监视器212的显示面板521与作为输入部的操作面板522成为一体的显示输入部520。另外，壳体502具备：扬声器531、话筒532、操作部540、相机部541。另外，壳体502的结构并不限定于此，例如也可以采用监视器212与输入部独立的结构，或者具有折叠结构、滑动机构的结构。
图15是表示图14所示的智能手机500的结构的框图。如图15所示，作为智能手机的主要的构成要素，具备：无线通信部510、显示输入部520、通话部530、操作部540、相机部541、存储部550、外部输入输出部560、GPS(Global Positioning System：全球定位系统)接收部570、运动传感器部580、电源部590、主控制部501。另外，作为智能手机500的主要功能，具备进行经由基地站装置BS和移动通信网NW的移动无线通信的无线通信功能。
无线通信部510按照主控制部501的指示，对收容于移动通信网NW的基地站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的接收。
显示输入部520是通过主控制部501的控制显示图像(静止图像及动态图像)、字符信息等而在视觉性上向使用者传递信息，并且检测对所显示的信息的使用者操作的所谓触摸面板，具备显示面板521和操作面板522。在鉴赏生成的3D图像的情况下，优选显示面板521为3D显示面板。
显示面板521使用LCD(Liquid Crystal Display：液晶显示器)、OELD(Organic Electro-Luminescence Display：有机电致发光显示器)等作为显示设备。操作面板522是放置成能够对在显示面板521的显示面上显示的图像进行视觉辨认、检测由使用者的手指或尖笔来操作的一个或多个坐标的设备。当通过使用者的手指或尖笔操作该设备时，将由于操作而产生的检测信号输出到主控制部501。接着，主控制部501基于接收到的检测信号，检测显示面板521上的操作位置(坐标)。
如图14所示，智能手机500的显示面板521与操作面板522成为一体而构成显示输入部520，但成为操作面板522完全覆盖显示面板521的配置。在采用了该配置的情况下，操作面板522也可以对显示面板521外的区域也具有检测用户操作的功能。换言之，操作面板522也可以具有关于与显示面板521重叠的重叠部分的检测区域(以下，称为显示区域)和关于除此以外的不与显示面板521重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，也可以使显示区域的大小与显示面板521的大小完全一致，但不需要使两者必须一致。另外，操作面板522也可以具备外缘部分和除此以外的内侧部分这两个感应区域。进一步，外缘部分的宽度根据壳体502的大小等而适当设计。进一步，作为在操作面板522中采用的位置检测方式，列举了矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，也可以采用任一种方式。
通话部530具备扬声器531、话筒532，将通过话筒532输入的使用者的声音转换成能够在主控制部501中进行处理的声音数据而输出到主控制部501，或者对由无线通信部510或外部输入输出部560接收到的声音数据进行解码而从扬声器531输出。另外，如图14所示，例如，能够将扬声器531搭载于与设有显示输入部520的面相同的面上，将话筒532搭载于壳体502的侧面。
操作部540是使用了键开关等的硬件键，接受来自使用者的指示。例如图14所示，操作部540搭载于智能手机500的壳体502的显示部的下部、下侧面，是当通过手指等按下时成为接通且当挪走手指时借助弹簧等的复原力而成为断开状态的按钮式的开关。
存储部550存储主控制部501的控制程序、控制数据、将通信对方的名称、电话号码等建立对应的地址数据、收发的电子邮件的数据、通过Web浏览器而下载的Web数据、已下载的内容数据，此外，临时存储流数据等。此外，存储部550由智能手机内置的内部存储部551和具有装卸自如的外部存储器槽的外部存储部552构成。此外，构成存储部550的各个内部存储部551和外部存储部552使用闪存类(flash memory type)、硬盘类(hard disk type)、微缩多媒体卡类(multimedia card micro type)、卡类的存储器(例如、MicroSD(注册商标)存储器等)、RAM(RandomAccess Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等存储介质而实现。
外部输入输出部560起到与连接到智能手机500的全部外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth(注册商标))、RFID(Radio Frequency Identification：射频识别)、红外线通信(InfraredData Association：IrDA)(注册商标)、UWB(Ultra Wideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地连接到其他外部设备。
作为连接到智能手机500的外部设备，例如有有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card)/UIM(User IdentityModule Card)卡、经由音频视频I/O(输入/输出)端子而连接的外部音频视频设备、无线连接的外部音频视频设备、有线/无线连接的智能手机、有线/无线连接的个人计算机、有线/无线连接的PDA、有线/无线连接的个人计算机、耳机等。外部输入输出部能够将这样的从外部设备接受传输的数据传递到智能手机500的内部的各结构元素、将智能手机500的内部的数据传输到外部设备。
GPS接收部570按照主控制部501的指示，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的测位运算处理，检测该智能手机500的由纬度、经度、高度构成的位置。GPS接收部570在能够从无线通信部510、外部输入输出部560(例如，无线LAN)取得位置信息时，还能够使用该位置信息而检测位置。
运动传感器部580具有例如3轴的加速度传感器等，按照主控制部501的指示，检测智能手机500的物理动作。通过检测智能手机500的物理动作，检测出智能手机500移动的方向、加速度。将该检测结果输出到主控制部501。
电源部590按照主控制部501的指示，对智能手机500的各部供给在蓄电池(未图示)中蓄积的电力。
主控制部501具有微处理器，按照存储部550存储的控制程序、控制数据而动作，统一控制智能手机500的各部。另外，主控制部501为了通过无线通信部510而进行声音通信、数据通信，具有控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过主控制部501按照存储部550存储的应用软件进行动作而实现。作为应用处理功能，例如有控制外部输入输出部560而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能、本发明的根据2D图像生成3D图像的功能等。
另外，主控制部501具有基于接收数据、已下载的流数据等图像数据(静止图像、动态图像的数据)将影像显示于显示输入部520等的图像处理功能。图像处理功能是指，主控制部501对上述图像数据进行解码，对该解码结果实施图像处理，并将图像显示于显示输入部520的功能。
此外，主控制部501执行对显示面板521的显示控制和检测通过了操作部540、操作面板522的用户操作的操作检测控制。
通过显示控制的执行，主控制部501显示用于启动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。另外，滚动条是指，关于无法在显示面板521的显示区域中收纳的较大的图像等用于接受使图像的显示部分移动的指示的软件键。
另外，通过操作检测控制的执行，主控制部501检测通过了操作部540的用户操作，或通过操作面板522接受对上述图标的操作、对上述窗口的输入栏的字符串的输入，或接受通过了滚动条的显示用图像的滚动请求。
此外，通过操作检测控制的执行，主控制部501具有判定对操作面板522的操作位置是与显示面板521重叠的重叠部分(显示区域)还是除此以外的不与显示面板521重叠的外缘部分(非显示区域)，并对操作面板522的感应区域、软件键的显示位置进行控制的触摸面板控制功能。
另外，主控制部501还能够检测对操作面板522的手势操作，并根据检测到的手势操作来执行预先设定的功能。手势操作意味着，不是现有的单纯的触摸操作，而是通过手指等描画轨迹，或同时指定多个位置，或将这些进行组合而从多个位置对至少一个位置描画轨迹的操作。
相机部541是使用CMOS(Complementary Metal OxideSemiconductor)、CCD(Charge-Coupled Device)等摄像元件202进行电子摄影的数码相机，具备与图1所示的摄像装置100相同的功能。
即，相机部541构成为能够切换手动聚焦模式和自动聚焦模式，若选择手动聚焦模式，则通过对操作部540或者在显示输入部520中显示的聚焦用的图标按钮等进行操作，能够进行相机部541的摄影透镜的对焦。并且，在手动聚焦模式时，使显示面板521显示合成有裂像的即时预览图像，由此，能够确认手动聚焦时的对焦状态。
另外，相机部541通过主控制部501的控制，能够将通过拍摄而获得的图像数据例如转换为JPEG(Joint Photographic coding Experts Group：联合图像专家组)等的压缩后的图像数据，并记录于存储部550中，或通过外部输入输出部560、无线通信部510而输出。虽然在图14所示的智能手机500中，相机部541搭载于与显示输入部520相同的面，但相机部541的搭载位置并不限定于此，也可以搭载于显示输入部520的背面，或者也可以搭载多个相机部541。此外，在搭载了多个相机部541的情况下，也能够切换用于摄影的相机部541而单独进行摄影，或同时使用多个相机部541而进行摄影。
另外，相机部541能够利用于智能手机500的各种功能。例如，作为在显示面板521中显示在相机部541中取得的图像、操作面板522的操作输入之一，能够利用相机部541的图像。此外，在GPS接收部570检测位置时，还能够参照来自相机部541的图像而检测位置。进一步，还能够参照来自相机部541的图像，不使用3轴的加速度传感器或与3轴的加速度传感器并用地，判断智能手机500的相机部541的光轴方向、判断当前的使用环境。当然，还能够在应用软件内利用来自相机部541的图像。
除此之外，也可以在静止画面或动画的图像数据中附加由GPS接收部570取得的位置信息、由话筒532取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由动作传感器部580取得的姿势信息等而记录于存储部550中，或通过外部输入输出部560、无线通信部510而输出。
另外，本发明不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够进行各种变形，这是不言而喻的。
附图标记说明
100…摄像装置，200…摄像装置主体，202…摄像元件，206…数字信号处理部，212…监视器，214…主CPU，220…操作部，214…AF检测部，300…透镜装置，320…F透镜控制部，340…透镜CPU，500…智能手机

Claims (9)

1.一种摄像装置，具备：
摄像部，拍摄由摄影透镜而成像的被摄体像，取得表示该被摄体像的图像；
第一被摄体距离推定部，求出由所述摄像部进行摄像时的、由焦点检测部推定出的被摄体距离；
复原滤波器存储部，存储从多个复原滤波器中选择的一个以上的复原滤波器，该多个复原滤波器是至少基于与被摄体距离对应的所述摄影透镜的点像分布函数而制作出的；
复原滤波器选择部，基于由所述第一被摄体距离推定部段推定出的被摄体距离从存储于所述复原滤波器存储部的复原滤波器中选择与所述被摄体距离对应的复原滤波器；及
复原处理部，使用由所述复原滤波器选择部选择的复原滤波器，进行由所述摄像部取得的图像的复原处理，
所述复原滤波器存储部存储相当于以下被摄体距离与无限远之间的范围内的复原滤波器，该被摄体距离是将由所述第一被摄体距离推定部推定出的最近侧的被摄体距离加上所述最近侧的被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差而得到的。
2.根据权利要求1所述的摄像装置，其中，
所述第一被摄体距离推定部基于所述摄影透镜的聚焦透镜的透镜位置来推定被摄体距离。
3.根据权利要求2所述的摄像装置，其中，
所述摄影透镜是可更换透镜，
由所述第一被摄体距离推定部推定出的被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差是可更换透镜的个体差异引起的推定偏差和可更换透镜的温度特性引起的推定偏差中的至少一方。
4.根据权利要求1～3中任一项所述的摄像装置，其中，
所述摄像装置具备：
推定偏差获取部，取得由所述第一被摄体距离推定部推定出的被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差；及
第二被摄体距离推定部，算出将由所述第一被摄体距离推定部推定出的被摄体距离加上由所述推定偏差获取部取得的无限远侧的最大的推定偏差而得到的被摄体距离，
所述复原滤波器选择部选择存储于所述复原滤波器存储部的一个以上的复原滤波器中的最接近由所述第二被摄体距离推定部算出的被摄体距离的无限远侧的复原滤波器。
5.根据权利要求1～4中任一项所述的摄像装置，其中，
所述摄影透镜是内置有所述复原滤波器存储部的可更换透镜。
6.根据权利要求4所述的摄像装置，其中，
所述摄影透镜是可更换透镜，
所述推定偏差获取部从可更换透镜取得该可更换透镜的个体差异引起的推定偏差和可更换透镜的温度特性引起的推定偏差中的至少一方。
7.根据权利要求4所述的摄像装置，其中，
所述摄影透镜是可更换透镜，
所述推定偏差获取部具有：
透镜信息获取部，从所安装的可更换透镜取得该可更换透镜的透镜信息；及
推定偏差存储部，存储多个可更换透镜的各推定偏差，
所述推定偏差获取部从所述推定偏差存储部取得与由所述透镜信息获取部取得的透镜信息对应的推定偏差。
8.根据权利要求1～7中任一项所述的摄像装置，其中，
所述摄像装置具备记录部，记录由所述复原处理部进行复原处理而得到的图像。
9.一种图像处理方法，包括：
图像取得工序，从具有摄影透镜的摄像部取得表示被摄体像的图像；
第一被摄体距离推定工序，求出由所述摄像部进行摄像时的、由焦点检测部推定出的被摄体距离；
准备复原滤波器存储部的工序，所述复原滤波器存储部存储从多个复原滤波器中选择的一个以上的复原滤波器，该多个复原滤波器是至少基于与被摄体距离对应的所述摄影透镜的点像分布函数而制作出的；
复原滤波器选择工序，基于由所述第一被摄体距离推定工序推定出的被摄体距离从存储于所述复原滤波器存储部的复原滤波器中选择与所述被摄体距离对应的复原滤波器；及
复原处理工序，使用由所述复原滤波器选择工序选择的复原滤波器进行由所述摄像部取得的图像的复原处理，
所述复原滤波器存储部存储相当于以下被摄体距离与无限远之间的范围内的复原滤波器，该被摄体距离是将由所述第一被摄体距离推定工序推定出的最近侧的被摄体距离加上所述最近侧的被摄体距离的推定偏差的范围中的无限远侧的最大的推定偏差而得到的。
CN201380049879.2A 2012-09-27 2013-04-23 摄像装置及图像处理方法 Active CN104685863B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-213831 2012-09-27
JP2012213831 2012-09-27
PCT/JP2013/061842 WO2014050189A1 (ja) 2012-09-27 2013-04-23 撮像装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN104685863A true CN104685863A (zh) 2015-06-03
CN104685863B CN104685863B (zh) 2017-11-03

Family

ID=50387609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380049879.2A Active CN104685863B (zh) 2012-09-27 2013-04-23 摄像装置及图像处理方法

Country Status (5)

Country Link
US (1) US9363430B2 (zh)
JP (1) JP5746795B2 (zh)
CN (1) CN104685863B (zh)
DE (1) DE112013004760B4 (zh)
WO (1) WO2014050189A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050188A1 (ja) * 2012-09-27 2014-04-03 富士フイルム株式会社 撮像装置及び画像処理方法
JP5864037B2 (ja) * 2013-08-02 2016-02-17 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6594101B2 (ja) * 2015-08-19 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法および画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197354A (ja) * 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
JP2011259314A (ja) * 2010-06-10 2011-12-22 Fujifilm Corp 撮像装置、画像処理装置及びプログラム
CN102396216A (zh) * 2010-02-08 2012-03-28 松下电器产业株式会社 摄像装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010008418A1 (en) 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP4389371B2 (ja) * 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
JP3468231B2 (ja) * 2001-07-02 2003-11-17 ミノルタ株式会社 画像処理装置、画質制御方法、プログラム及び記録媒体
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
KR100829581B1 (ko) * 2006-11-28 2008-05-14 삼성전자주식회사 영상 처리 방법, 기록매체 및 장치
JP5111306B2 (ja) * 2008-08-29 2013-01-09 キヤノン株式会社 像ブレ補正機能を有する光学機器及びその制御方法
US20110199511A1 (en) * 2008-10-20 2011-08-18 Camelot Co., Ltd. Image photographing system and image photographing method
US8218823B2 (en) * 2009-08-11 2012-07-10 Eastman Kodak Company Determining main objects using range information
JP5387377B2 (ja) * 2009-12-14 2014-01-15 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5501069B2 (ja) 2010-03-31 2014-05-21 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5454348B2 (ja) * 2010-05-12 2014-03-26 ソニー株式会社 撮像装置および画像処理装置
US8774550B2 (en) * 2010-06-04 2014-07-08 Panasonic Corporation Picture processing device, picture processing method, integrated circuit, and program
CN102625043B (zh) * 2011-01-25 2014-12-10 佳能株式会社 图像处理设备、成像设备和图像处理方法
US8928783B2 (en) * 2011-09-26 2015-01-06 Ricoh Company, Ltd. Imaging apparatus including switchable edge extraction
JP6115781B2 (ja) * 2012-03-29 2017-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
JP6039301B2 (ja) * 2012-08-09 2016-12-07 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
US8724919B2 (en) * 2012-09-21 2014-05-13 Eastman Kodak Company Adjusting the sharpness of a digital image
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
WO2014050188A1 (ja) * 2012-09-27 2014-04-03 富士フイルム株式会社 撮像装置及び画像処理方法
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197354A (ja) * 2000-01-13 2001-07-19 Minolta Co Ltd デジタル撮像装置および画像復元方法
CN102396216A (zh) * 2010-02-08 2012-03-28 松下电器产业株式会社 摄像装置
JP2011259314A (ja) * 2010-06-10 2011-12-22 Fujifilm Corp 撮像装置、画像処理装置及びプログラム

Also Published As

Publication number Publication date
JP5746795B2 (ja) 2015-07-08
CN104685863B (zh) 2017-11-03
WO2014050189A1 (ja) 2014-04-03
DE112013004760T5 (de) 2015-08-13
JPWO2014050189A1 (ja) 2016-08-22
US9363430B2 (en) 2016-06-07
DE112013004760B4 (de) 2017-10-19
US20150195447A1 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
US10095004B2 (en) Imaging apparatus and focusing control method
CN102262334B (zh) 成像设备、成像系统以及成像设备控制方法
JP5819564B2 (ja) 画像判定装置、撮像装置、３次元計測装置、画像判定方法、及びプログラム
KR20170074538A (ko) 타임랩스 영상을 생성하는 장치 및 방법
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104272161A (zh) 摄像装置和对焦控制方法
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP6000446B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN104247412B (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
CN104823094A (zh) 摄像装置及对焦控制方法
US10742868B2 (en) Imaging device and focusing control method
CN105074528A (zh) 摄像装置及对焦控制方法
CN104380709A (zh) 摄像装置及其动作控制方法
CN104428815A (zh) 图像变形装置及其动作控制方法
US9402024B2 (en) Imaging device and image processing method
JP5547356B2 (ja) 撮影装置、方法、記憶媒体及びプログラム
CN104685863A (zh) 摄像装置及图像处理方法
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
CN104871532A (zh) 拍摄装置及其动作控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant