CN105122787B - 摄像装置、校准系统、校准方法 - Google Patents

摄像装置、校准系统、校准方法 Download PDF

Info

Publication number
CN105122787B
CN105122787B CN201480021707.9A CN201480021707A CN105122787B CN 105122787 B CN105122787 B CN 105122787B CN 201480021707 A CN201480021707 A CN 201480021707A CN 105122787 B CN105122787 B CN 105122787B
Authority
CN
China
Prior art keywords
calibration
image
chart
photography
restoration disposal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480021707.9A
Other languages
English (en)
Other versions
CN105122787A (zh
Inventor
杉本雅彦
林健吉
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105122787A publication Critical patent/CN105122787A/zh
Application granted granted Critical
Publication of CN105122787B publication Critical patent/CN105122787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像装置、校准系统、校准方法及程序，其在进行摄像装置中的点像复原处理相关的校准时，判断校准的必要性，并在需要进行校准时，准确地进行校准。摄影装置(100)具备：摄像部(248)；图表保持部(240)；图表发送控制部(242)；校准必要性判断部(244)，根据由摄像部(248)对显示于外部显示装置的校准用图表进行摄影而得到的校准图像，判断是否需要进行点像复原处理的参数相关的校准；校准控制部(246)，根据是否需要进行校准必要性判断部(244)所进行的校准的判断来控制校准的执行；及校准执行部(247)。

Description

摄像装置、校准系统、校准方法
技术领域
本发明是一种涉及摄像装置、校准系统、校准方法及程序的技术，尤其涉及基于点扩散函数(PSF：Point Spread Function)对摄影图像进行的点像复原处理中的校准。
背景技术
通过数码相机等摄像装置对被摄体进行摄影而得到的摄影图像中有时会产生因光学系统(摄影透镜等)相关的各种像差而导致的图像劣化。
为了改善因该像差而导致的图像劣化(衍射模糊、周边模糊、倍率色差等)，考虑到对被摄体像的图像数据进行图像处理来消除(修正)因像差而导致的图像劣化的技术。
由像差引起的图像劣化能够利用点扩散函数来表达，且能够通过对画质劣化的摄影图像进行基于点扩散函数的点像复原处理来恢复画质。即，点像复原处理是通过对摄影图像数据执行点扩散函数的复原滤波器(逆滤波器)来消除图像劣化的处理。
图像劣化因光学系统(透镜)的个体偏差或制造摄像装置主体时的个体偏差而受到影响，因此通过对用户所使用的光学系统和摄像装置主体进行校准之后进行摄影，能够期待摄影图像的画质得到提高。
专利文献1中公开有如下技术：即使在存在由制造偏差产生的透镜的特性的情况下，由于用户一边确认进行了恢复处理(认为是与本申请的点像复原处理相对应的处理)的图像数据，一边调节恢复处理的参数，因此自动提示恢复处理有效的调整图像区域，减轻参数调整时的用户的负担。
专利文献2中公开有如下技术：使用摄像机构对外部图像显示装置的调整用图像图案进行拍摄，并计算白平衡等图像处理的参数的校正值，从而能够进行适合于用户周围相关的环境或外部显示装置的显示特性的显示调整。
专利文献3中公开有如下技术：根据对显示于图像输出装置的图像进行拍摄而得到的图像，简便地进行图像输出特性调整。
以往技术文献
专利文献
专利文献1：日本专利公开2011-193277号公报
专利文献2：日本专利公开2007-81685号公报
专利文献3：日本专利公开2009-200782号公报
发明的概要
发明要解决的技术课题
然而，专利文献1至3中所公开的技术中，在具备点像复原处理功能的摄像装置中进行点像复原处理的参数的校准的方面并没有公开有效的技术，进行校准时对用户的负担较大，可能会无法执行高精度的校准。即，在对摄影的图像(还称为摄影图像)进行点像复原处理的摄像装置中，并没有公开在对进行点像复原处理的图像进行摄影之前进行校准(参数的调整)的技术。
本发明是鉴于这种情况而完成的，根据本发明，在进行与摄像装置等的个体偏差相对应的点像复原处理的参数相关的校准时，既能够减轻用户的负担，又能够高精度地进行校准，其结果，能够减少因摄像装置中的个体偏差而产生的摄影图像的劣化。
用于解决技术课题的手段
为了实现上述目的，本发明的一种方式所涉及的摄像装置具备：摄像部；图表保持部，保持点像复原处理的参数相关的校准用图表；图表发送控制部，将图表保持部所保持的校准用图表发送至外部显示装置；校准必要性判断部，根据由摄像部对显示于外部显示装置的校准用图表进行摄影而得到的校准图像，判断是否需要进行点像复原处理的参数相关的校准，并输出该判断结果；校准控制部，根据是否需要进行从校准必要性判断部输出的校准的判断，通过输出校准执行命令来控制校准的执行；及校准执行部，通过从校准控制部输出的所述校准执行命令，根据校准图像进行点像复原处理的参数相关的校准。
由此，在进行与摄影装置等的个体偏差相对应的点像复原处理的参数相关的校准时，既能够减轻用户的负担，又能够高精度地进行校准，从而能够减少因摄像装置等的个体偏差而产生的摄影图像的劣化。
并且，由于判断是否需要进行校准后进行校准，因此在需要进行校准时能够准确地进行校准，能够抑制所得到的摄影图像的个体偏差。
摄像装置中优选为，摄像部具有包围曝光(bracketing)摄影模式，校准执行部根据在包围曝光摄影模式下通过摄像部进行摄影得到的多个校准图像，进行点像复原处理的参数相关的校准。
由此，能够自动获取多个校准图像，且能够减轻用户的负担，并且由于根据多个校准图像进行点像复原处理的参数相关的校准，因此能够进行更加准确的校准。
摄像装置中优选为，摄像部在包围曝光摄影模式下，利用多个摄影条件中的一部分摄影条件来对校准图像进行摄影，校准执行部根据利用多个摄影条件中的一部分摄影条件进行摄影得到的校准图像，进行点像复原处理的参数相关的校准。
由此，能够减轻获取校准图像时的负荷及用户的负担。
摄像装置中优选为，摄像部与外部显示装置同步，摄像部对校准用图表进行摄影，所述校准用图表对应于包围曝光摄影模式下的摄像部的摄影而同步显示于外部显示装置。
由此，无需由用户来实现外部显示装置和摄影的定时，减轻获取校准图像时的用户的负担。
摄像装置中优选为，摄像部与外部显示装置同步，摄像部对校准用图表进行摄影，所述校准用图表对应于摄像部的摄影而同步显示于外部显示装置。
由此，无需由用户来实现外部显示装置和摄影的定时，减轻获取校准图像时的用户的负担。
摄像装置中优选为，摄像装置还具备摄影环境判断部，所述摄影环境判断部根据校准图像来判断是否为适合于获取校准图像的摄影环境，校准控制部还根据是否为适合于获取校准图像的摄影环境的摄影环境判断部的判断来控制校准的执行。
由此，能够在适合于获取校准图像的摄影环境下获取校准图像，因此能够进行更加准确的校准。
摄像装置中优选为，图表保持部还具有环境判断用图表，图表发送控制部还将环境判断用图表发送至外部显示装置，摄影环境判断部根据由摄像部对显示于外部显示装置的环境判断用图表进行摄影而得到的环境判断图像、或环境判断图像及校准图像，判断是否为适合于获取校准图像的摄影环境。
由此，能够对更多的条件判断是否为适合于获取校准图像的摄影环境。
摄像装置中优选为，摄影环境判断部根据多个校准图像来判断是否为适合于获取校准图像的摄影环境。
由此，能够在适合于获取更加准确的校准图像的摄影环境下获取校准图像，能够进行更加准确的校准。
摄像装置中优选为，摄影环境判断部根据多个环境判断图像、或者单个或多个环境判断图像及单个或多个校准图像，判断是否为适合于获取校准图像的摄影环境。
由此，能够在适合于获取更加准确的校准图像的摄影环境下获取校准图像，能够进行更加准确的校准。
摄像装置中优选为，图表发送控制部获取外部显示装置的显示性能相关的信息，并将与显示性能相对应的校准用图表发送至外部显示装置。
由此，更加准确地将校准用图表显示于外部显示装置，因此能够获取更加适当的校准图像。
摄像装置中优选为，图表发送控制部获取外部显示装置的显示性能相关的信息，并将与显示性能相对应的校准用图表及环境判断用图表发送至外部显示装置。
由此，更加准确地将校准用图表显示于外部显示装置，因此能够获取更加适当的校准图像。
摄像装置中优选为，摄像装置还具备点像复原处理部，所述点像复原处理部对通过摄像部进行摄影得到的图像进行点像复原处理，点像复原处理部使用进行了校准的点像复原处理的参数来进行点像复原处理。
由此，能够与摄像装置的个体偏差相对应地使用点像复原处理的参数来执行点像复原处理，能够得到摄像装置的个体偏差进一步得到抑制的摄影图像。
摄像装置中优选为，摄像装置具有优先摄影模式，在所述优先摄影模式下，利用与进行了校准的点像复原处理的参数相对应的摄影条件来进行摄影，且利用进行了校准的点像复原处理的参数来优先进行点像复原处理。
由此，当对所得到的摄影图像进行点像复原处理时，能够得到摄像装置的个体偏差进一步得到抑制的摄影图像。
摄像装置中优选为，摄像装置还具有确认图像显示控制部及确认图像显示部，当使用与进行了校准的点像复原处理的参数相对应的摄影条件来进行摄影时，确认图像显示控制部将完成校准的信息显示于确认图像显示部。
由此，能够提示用户是完成校准的摄影条件，能够防止执行不必要的校准，从而能够减轻用户的负担。
摄像装置中优选为，摄像装置还具有确认图像显示控制部及确认图像显示部，当摄影环境判断部的判断为并非适合的摄影环境时，确认图像显示控制部在确认图像显示部显示警告显示。
由此，能够提高在适合于获取校准图像的摄影环境下获取校准图像的可能性。
摄像装置中优选为，确认图像显示控制部根据预摄影命令信号，将正式摄影之前的确认图像及完成校准的信息显示于确认图像显示部。
摄像装置中优选为，当显示在与进行了校准的点像复原处理的参数相对应的摄影条件下通过摄像部进行摄影得到的摄影图像时，确认图像显示控制部将完成校准的信息显示于确认图像显示部。
摄像装置中优选为，摄像部具有更换式透镜。并且，摄像装置中优选为，摄像部具有通过调制相位来扩大景深的透镜。
为了实现上述目的，本发明的另一方式所涉及的校准系统，其具有摄像装置和显示装置，且进行点像复原处理的参数相关的校准，其中，摄像装置具备：摄像部；图表保持部，保持点像复原处理的参数相关的校准用图表；图表发送控制部，将图表保持部所保持的校准用图表发送至显示装置；校准必要性判断部，根据由摄像部对显示于显示装置的显示部的校准用图表进行摄影而得到的校准图像，判断是否需要进行点像复原处理的参数相关的校准；校准控制部，根据校准必要性判断部所进行的是否需要进行校准的判断来控制校准的执行；及校准执行部，通过校准控制部的控制，根据校准图像进行点像复原处理的参数相关的校准，显示装置具备：图表接收部，接收从图表保持部发送过来的校准用图表；图表显示控制部，控制校准用图表在显示画面上的显示；及显示部，显示校准用图表。
为了实现上述目的，本发明的另一方式所涉及的校准方法包括以下步骤：图表发送控制步骤，将点像复原处理的参数相关的校准用图表发送至外部显示装置；校准必要性判断步骤，根据由摄像部对显示于外部显示装置的校准用图表进行摄影而得到的校准图像，判断是否需要进行点像复原处理的参数相关的校准；及校准执行步骤，基于在校准必要性判断步骤中进行的是否需要进行校准的判断，根据校准图像进行点像复原处理的参数相关的校准。
为了实现上述目的，本发明的另一方式所涉及的程序使计算机执行以下步骤：图表发送控制步骤，将点像复原处理的参数相关的校准用图表发送至外部显示装置；校准必要性判断步骤，根据由摄像部对显示于外部显示装置的校准用图表进行摄影而得到的校准图像，判断是否需要进行点像复原处理的参数相关的校准；及校准执行步骤，基于在校准必要性判断步骤中进行的是否需要进行校准的判断，根据校准图像进行点像复原处理的参数相关的校准。
发明效果
根据本发明，在进行与摄像装置等的个体偏差相对应的点像复原处理的参数相关的校准时，既能够减轻用户的负担，又能够高精度地进行校准，从而能够减少因摄像装置中的个体偏差而产生的摄影图像的劣化。
附图说明
图1(A)及图1(B)是说明本发明的摄像装置对校准用图表进行摄影的情况的图。
图2是表示摄像装置的从正面观察的外观的立体图。
图3是表示摄像装置的从背面观察的外观的立体图。
图4是摄像装置的主要部分相关的框图。
图5是摄像装置的主要部分相关的框图。
图6是说明必要性判断部所进行的判断的例子的图。
图7是说明点像复原处理的图。
图8是说明点像复原处理的图。
图9是说明摄像装置的动作的图。
图10是摄像装置的变形例中的主要部分相关的框图。
图11是对于摄像装置的变形例进行说明的图。
图12是对于摄像装置的变形例说明动作的图。
图13是对于摄像装置的变形例进行说明的图。
图14是对于摄像装置的变形例说明动作的图。
图15是对于摄像装置的变形例说明动作的图。
图16是对于摄像装置的变形例说明动作的图。
图17是对于摄像装置的变形例说明动作的图。
图18是校准系统的主要部分相关的框图。
图19是表示具备EDoF光学系统的摄像模块的一种方式的框图。
图20是表示EDoF光学系统的一例的图。
图21是表示图19所示的复原处理块中的复原处理的一例的流程图。
图22是表示通过点像复原处理而复原的点像的状态的图。
图23是表示摄像装置的另一方式的图。
图24是表示图23所示的摄像装置的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。另外，以下说明为本发明的例子，并不限定本发明。
图1(A)及图1(B)概略地示出作为本发明的一例的摄像装置100对显示于外部显示装置101的校准用图表进行摄影的情况。图1(A)中示出摄像装置100对显示于外部显示装置101的校准用图表进行摄影，并进行点像复原处理的参数相关的校准的情况。另外，图1(A)中的摄像装置100为数码相机，外部显示装置101为显示器，外部显示装置101的显示部111为校准用图表。通过摄像装置100对显示于该外部显示装置101的显示部111的校准用图表进行摄影而获取校准图像，由此进行校准。
图1(B)中也概略地示出摄像装置100对显示于外部显示装置101的校准用图表进行拍摄的情况。图1(B)中，外部显示装置101由智能手机(多功能移动电话)构成。如此，只要具有能够显示图像的显示部111，则外部显示装置101的具体设备并没有特别限定。例如，除了图1(A)及(B)的例子以外，还可以设想使用平板电脑终端等作为外部显示装置101的情况。
另外，可以设为如下方式：摄像装置100的摄像部248(参考图4)与外部显示装置101同步，摄像部248对对应于摄像部248的摄影而同步显示于外部显示装置101的校准用图表进行摄影。并且，也可以设为如下方式：摄像部248与外部显示装置101同步，摄像部248对对应于后述的包围曝光摄影模式下的摄像部248的摄影而同步显示于外部显示装置101的校准用图表进行摄影。
图2是表示摄像装置100的外观的立体图。摄像装置100具备摄像装置主体105和可更换地安装于摄像装置主体105的透镜装置150。摄像装置主体105和透镜装置150通过使摄像装置主体105上所具备的卡口146(发送机构、接收机构)和与卡口146相对应的透镜装置150侧的卡口(接收机构、发送机构)(未图示)结合而被可更换地安装。并且，在摄像装置主体105的前表面，除了卡口146以外，还设有闪光灯140，在上表面设有释放按钮120-1及摄影模式设定用的转盘120-2。另外，作为能够通过摄影模式设定用的转盘设定的摄影模式，可以想到校准模式、优先摄影模式，在优先摄影模式下，优先进行与进行了校准的点像复原处理的参数相对应的摄影条件下的摄影。并且，图2中，对于具有更换式透镜的摄像装置100进行了说明，但并不限定于此。
在卡口146上设有端子147(发送机构、接收机构)，在透镜装置150侧的卡口上设有端子(发送机构、接收机构)(未图示)，若将该透镜装置150安装于摄像装置主体105，则所对应的端子147和透镜装置150侧的卡口上的端子接触而能够进行通信。另外，图2中的端子147是概念性地表示的，本发明中的端子的位置及个数并不限定于这些图中的位置及个数。
另一方面，如图3所示，在摄像装置主体105的背面配设有显示器(确认图像显示部225)、十字按钮160、菜单/确认(MENU/OK)按钮165、重放按钮170、返回(BACK)按钮175等。
图4是说明本发明所涉及的摄像装置100的主要部分的主要部分框图。摄像装置100具有摄像部248、确认图像显示部225、确认图像显示控制部227、图表发送控制部242、图表保持部240、校准必要性判断部244、校准控制部246及校准执行部247。另外，摄像部248具有透镜部218、快门220、成像元件222、A/D转换器224、CPU212、操作部214、设备控制部216、存储器部226、图像处理部228、点像复原处理部229、编码器230、驱动器232。
摄像装置100能够将拍摄的摄影图像记录在内部存储器(存储器部226)、外部的记录介质(未图示)，装置整体的动作由中央处理装置(CPU)212进行统一控制。
在摄像装置100上设有包含快门按钮或快门开关、模式转盘、重放按钮、MENU/OK键、十字键、变焦按钮及BACK键等的操作部214。来自该操作部214的信号被输入至CPU212，CPU212根据输入信号来控制摄像装置100的各电路，例如经由设备控制部216控制透镜部218、快门220及成像元件222，并且进行摄影动作控制、图像处理控制、图像数据的记录/重放控制及确认图像显示部225的显示控制等。
透镜部218包含聚焦透镜、变焦透镜、光圈等，通过透镜部218及快门220的光束在成像元件222的受光面成像。并且，摄像部248的透镜部218可以是更换式，也可以是非更换式。并且，摄像部248的透镜部218可以通过调制相位来扩大景深。
成像元件222中二维排列有多个受光元件(光电二极管)，在各光电二极管的受光面成像的被摄体像被转换成与其入射光量相对应的量的信号电压(或电荷)。
成像元件222中所使用的滤色器可以采用各种排列(滤色器排列)，但并不限定于此。例如，成像元件222也可以采用拜耳排列。
积蓄在成像元件222的信号电荷根据从设备控制部216施加的读出信号，作为与信号电荷相对应的电压信号而被读出。从该成像元件222读出的电压信号施加于A/D转换器224，在此，依次转换成与滤色器排列相对应的数字的R(红色)、G(绿色)及B(蓝色)信号，并暂时保存于存储器部226。
存储器部226包含作为易失性存储器的SDRAM、作为可重写的非易失性存储器的EEPROM等，SDRAM用作通过CPU212执行程序时的工作区，并且用作暂时保持被进行摄像而获取的数字图像信号的存储区。另一方面，EEPROM中存储有包含图像处理程序的相机控制程序、成像元件222的像素的缺陷信息、图像处理等中所使用的各种参数或表格等。
图像处理部228对暂时存放于存储器部226的数字的图像信号进行白平衡校正、伽马校正处理、去马赛克处理(还称为同步化处理)、RGB/YC转换、轮廓校正、色差校正、点像复原处理等信号处理。另外，本发明中，对于这些信号处理的顺序并没有特别限制。并且，在图像处理部228内具备点像复原处理部229。点像复原处理部229的详细说明将后述。另外，图4中，点像复原处理部229设置于摄像部248中的图像处理部228内，但并不限定于此。例如，点像复原处理部229可以与图像处理部228分开设置，也可以与摄像部248分开设置。
使用图像处理部228处理的图像数据在编码器230中编码成图像显示用的数据，经由驱动器232输出至设置于相机背面的确认图像显示部225。由此，被摄体像连续地显示于确认图像显示部225的显示画面上。
操作部214的快门按钮(释放开关)是用于输入摄像开始的命令的操作机构，由所谓的包含“半按”和“全按”这二级行程开关构成。摄像装置100(数码相机)通过半按快门按钮而输出S1开启的信号(预摄影命令信号)，通过进行从半按进一步压入的全按而输出S2开启的信号(正式摄影命令信号)，若输出S1开启信号，则执行自动调焦(AF处理)或自动曝光控制(AE处理)等摄影准备处理，若输出S2开启信号，则执行摄影处理。
另外，快门按钮并不限于包含半按和全按的二级行程开关的方式，可以通过1次操作来输出S1开启的信号及S2开启的信号，也可以分别设置独立的开关并输出S1开启的信号及S2开启的信号。并且，在通过触摸式面板等进行操作命令的方式中，作为这些操作机构，可以通过触摸显示于触摸式面板的画面上的与操作命令相对应的区域来输出操作命令，本发明中，只要命令摄影准备处理、摄影处理，则操作机构的方式并不限于这些。并且，也可以通过对1个操作机构的操作命令来连续执行摄影准备处理和摄影处理。
若对操作部214的快门按钮执行第1阶段的按下(半按)，则CPU212接收对应于第1阶段的按下(半按)而输出的预摄影命令信号，并开始进行AF动作及AE动作。接着，控制成，经由设备控制部216使透镜部218的聚焦透镜沿光轴方向移动，从而使聚焦透镜与对焦位置一致。
CPU212接收通过快门按钮的半按而输出的预摄影命令信号，并根据从A/D转换器224输出的图像数据来计算被摄体的明度，从而确定曝光条件。另外，确定曝光条件的时刻并不限于半按快门按钮时。
若AE动作及AF动作结束后存在快门按钮的第2阶段的按下(全按)，则利用上述确定的曝光条件，控制光圈、快门220及成像元件222中的电荷积蓄时间来进行正式摄像。正式摄像时从成像元件222读出、并通过A/D转换器224进行A/D转换的R、G及B的马赛克图像(与滤色器排列相对应的图像)的图像数据临时存储于存储器部226。
通过图像处理部228被适当读出临时存储于存储器部226的图像数据，在此，进行包含白平衡校正、伽马校正、去马赛克处理(同步化处理)、RGB/YC转换、轮廓校正、色彩校正、点像复原处理等的规定的信号处理。RGB/YC转换后的图像数据(YC数据)按照规定的压缩格式(例如，JPEG方式)被压缩，压缩后的图像数据以规定的图像文件(例如，Exif文件)形式记录在内部存储器或外部存储器。
确认图像显示控制部227将从驱动器232发送过来的摄像部248所摄影的摄影图像显示于确认图像显示部225。并且，当使用与进行了校准的点像复原处理的参数相对应的摄影条件进行摄影时，可以将完成校准的信息显示于确认图像显示部225。另外，如后述，当摄影环境判断部245的判断为并非适合的摄影环境时，确认图像显示控制部227在确认图像显示部225显示警告显示。
并且，确认图像显示控制部227可以根据摄像部248的操作部214所具备的快门按钮被半按而输出的预摄影命令信号，将正式摄影之前的确认图像及完成校准的信息显示于确认图像显示部225。另外，当显示在与进行了校准的点像复原处理的参数相对应的摄影条件下通过摄像部248进行摄影的摄影图像时，确认图像显示控制部227将完成校准的信息显示于确认图像显示部225。
并且，摄像装置100具有图表发送控制部242、图表保持部240、校准必要性判断部244、校准控制部246及校准执行部247。对于这些，将按照图5进行详细说明。
图5是对于摄像装置100的图表发送控制部242、图表保持部240、校准必要性判断部244、校准控制部246及校准执行部247进行说明的图。
图表保持部240保持点像复原处理的参数相关的校准用图表。在此，所谓的点像复原处理的参数相关的校准用图表，只要适合于点像复原处理的参数相关的校准，则并没有特别限定。即，并不限于一般意义上的(图像评价用的)图表，只要能够使用于校准，则包括通常的图像在内，能够使用各种图像。
例如，可以举出如图1(A)及(B)所示的、具有对比度较大的部分沿着校准用图表的子午方向排列的图案的校准用图表。并且，也可以适当采用具有对比度较大的部分配置于校准用图表的四角的图案的校准用图表。另外，还可以使用对比度较大的部分沿着与子午方向垂直相交的弧矢方向配置的校准用图表。
另外，作为具体例，可以举出具有沿弧矢或子午方向的直线状图像的图像。通过直线状图像位于弧矢或子午方向上，能够进一步加大进行校准时的数据的获取面积。即，当对得到摄影图像中的沿着弧矢方向或子午方向配置的直线状图像的被摄体进行摄影时，从调整点像复原处理的参数的观点考虑，能够得到有用的数据。
在此，沿着弧矢方向或子午方向是指在不阻碍本发明效果的范围内可以从弧矢方向或子午方向脱离。
并且，在此，弧矢方向及子午方向的基准设为摄影图像(通过摄像部进行摄影而得到的图像)。原本，期望规定为以成像元件面状进行投影的光学像的弧矢方向或子午方向，但只有根据由成像元件受光而获取的图像数据，才能得到校准图像。因此，以摄影图像为基准来考虑弧矢方向及子午方向，也不成问题。在此，子午方向是指针对以摄影图像的中心为基准的圆周的切线方向，弧矢方向是指与子午方向垂直相交的方向。
并且，在此，点像复原处理的参数是指如复原滤波器系数、取心系(coring)数、增益系数、PSF(点扩散函数)等有助于点像复原处理内容的参数。另外，图表保持部240能够保持单个或多个校准用图表。
图表发送控制部242选择图表保持部240所保持的校准用图表并将选择的校准用图表发送至外部显示装置101。若通过位于摄像部248内的操作部214(参考图4)命令进行校准，则从位于摄像部248内的CPU212向图表发送控制部242发出校准用图表的选择及发送的指令。另外，向图表发送控制部242的校准用图表的选择及发送的指令并不限定于从摄像部248内的CPU212发出。
图表发送控制部242向外部显示装置101发送校准用图表。当外部显示装置101具有图表接收部等时，图表发送控制部242向图表接收部等发送校准用图表。另外，在此，图表发送控制部242的图表的发送机构并没有特别限定。例如，可以通过无线通信从图表发送控制部242向外部显示装置101发送校准用图表。并且，也可以通过利用SD卡等外部存储器，将校准用图表从图表发送控制部242发送至外部显示装置101的图表接收部270。并且，例如，可以利用HDMI(High-Definition Multimedia Interface)(注册商标)线缆之类的通信线缆来连接摄像装置100和外部显示装置101，从摄像装置100向外部显示装置101发送校准用图表，外部显示装置101则显示所接收的校准用图表。
摄像装置100的摄像部248对显示于外部显示装置101的校准用图表进行摄影。
通过摄像部248对校准用图表进行摄影，并通过摄像部248获取校准图像。并且，所获取的校准图像被发送至校准必要性判断部244。在校准必要性判断部244中，根据校准图像来判断是否需要进行点像复原处理的参数相关的校准。
校准必要性判断部244能够利用各种方法来判断是否需要进行校准。例如，如图6所示，能够根据所获取的校准图像中的频率响应来判断是否需要进行校准。
图6中示出：校准必要性判断部244判断为需要进行校准时的校准图像的频率响应的曲线图(I)、校准必要性判断部244判断为无需进行校准时的校准图像的频率响应的曲线图(II)；以及对校准图像进行点像复原处理时能够期待得到的频率响应的曲线图(III)。
在校准必要性判断部244中对所获取的校准图像进行分析而获取图6的(I)所示的曲线图时，判断为需要进行校准。图6所示的例子中，是否进行校准的判断基准是某一频率下的响应是否在一定的范围内。即，由图6的(IV)示出某一频率下的响应的一定的范围，由于(I)的曲线不在(IV)所示的范围内，因此校准必要性判断部244判断为进行校准。
另一方面，在进行校准必要性判断部244中对所获取的校准图像进行分析而获取图6的(II)所示的曲线图时，判断为无需进行校准。即，由于(II)的曲线在(IV)所示的范围内，因此校准必要性判断部244判断为不进行校准。校准必要性判断部244所进行的是否需要进行校准的判断被发送至校准控制部246。另外，在此所述的某一频率只要是能够适当确认响应的频率，则并没有特别限定。例如，可以采用奈奎斯频特率的一半的频率(0.25Fs)。并且，响应的一定范围只要是能够适当判断是否进行校准的范围，则并没有特别限定。例如，在对校准图像进行点像复原处理时能够期待得到的频率响应的曲线图(III)中，可以将某一频率的响应的20％的范围、优选将10％的范围用作响应的一定范围(IV)。
在校准控制部246中，接收校准必要性判断部244所进行的是否需要进行校准的判断结果。根据校准必要性判断部244所进行的是否需要进行校准的判断，将校准执行命令发送至校准执行部247，由此控制校准的执行。
在校准执行部247中，通过校准控制部246的控制，根据校准图像进行点像复原处理的参数相关的校准。将校准执行部247中所进行的结果送回到摄像部248并反映在点像复原处理中。
接着，按照图7及图8，对于在点像复原处理部229(参考图4)中进行的点像复原处理进行说明。
摄像装置100具备对通过摄像部248进行摄影的图像进行点像复原处理的点像复原处理部229。并且，点像复原处理部229使用进行了校准的点像复原处理的参数来进行点像复原处理。如此，通过使用完成校准的点像复原处理的参数来进行点像复原处理，能够执行与摄像装置的个体偏差相对应的点像复原处理，能够得到摄像装置的个体偏差进一步得到抑制的摄影图像。
图7是表示图像的摄影至点像复原处理为止的概略的图。当将点像作为被摄体而进行摄影时，被摄体像经由透镜部218(透镜、光圈等)被成像元件222(图像传感器)受光，从成像元件222输出原图像数据Do。由于因透镜部218的特性导致的点扩散现象，该原图像数据Do成为原来的被摄体像模糊的状态的图像数据。
为了由该模糊图像的原图像数据Do复原原来的被摄体像(点像)，对原图像数据Do进行使用了复原滤波器F的点像复原处理P10，由此，得到表示更加接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据Dr。
点像复原处理P10中使用的复原滤波器F根据与获取原图像数据Do时的摄影条件相对应的透镜部218的点像信息(点扩散函数)，通过规定的复原滤波器计算算法P20而得到。透镜部218的点像信息(点扩散函数)不仅根据透镜的种类而变动，还会根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器F时，可获取这些摄影条件。
根据图8，对在点像复原处理部229(参考图4)中进行的点像复原处理进行概略说明。图8是表示点像复原处理的一例的概略的框图。点像复原处理P10是指通过使用了复原滤波器F的滤波处理，根据点像复原处理前图像数据D10制作点像复原处理后图像数据D11的处理。即，将由N×M的抽头构成的复原滤波器F适用于处理对象的图像数据，并将分配给各抽头的滤波器系数和所对应的像素数据(点像复原处理前图像数据D10的处理对象像素数据及相邻像素数据)进行加权平均运算，由此能够计算出点像复原处理后的像素数据(点像复原处理后图像数据D11)。通过依次替换对象像素来将使用了该复原滤波器F的加权平均处理适用于构成图像数据的所有像素数据，由此能够进行点像复原处理。
摄像装置100中，点像复原处理前图像数据D10是校准图像的图像数据。并且，在校准执行部247中，根据校准图像(点像复原处理前图像数据D10)来调整或计算滤波器系数。如此，根据通过各个摄像装置100所具有的摄像部248而得到的校准图像的图像数据来计算滤波器系数，由此能够计算出适合于各个摄像部248的滤波器系数。在此，校准是指为了得到优选的摄影图像而调节点像复原处理相关的参数，例如可以举出调节滤波器系数。
图9是本发明的摄像装置100的动作流程图。首先，通过摄像装置100的图表发送控制部242，选择保持于图表保持部240的校准用图表并发送至外部显示装置101(步骤S10)(图表发送控制步骤)。并且，外部显示装置101接收从摄像装置100发送过来的校准用图表。
接着，通过外部显示装置101将校准用图表显示于显示部111。并且，通过摄像装置100的摄像部248对显示于显示部111的校准用图表进行摄影(步骤S20)。并且，根据由摄像部248对校准用图表进行摄影而得到的校准图像，通过校准必要性判断部244判断是否需要进行点像复原处理的参数相关的校准(步骤S30)(校准必要性判断步骤)。
并且，当判断为需要进行点像复原处理的参数相关的校准时(步骤S30的Yes时)，校准控制部246将校准执行命令发送至校准执行部247。接收到校准执行命令的校准执行部247进行点像复原处理的参数相关的校准(步骤S40)(校准执行步骤)。另一方面，当判断为无需进行点像复原处理的参数相关的校准时(步骤S30的No时)，校准控制部246不输出校准执行命令，且不进行点像复原处理的参数相关的校准(步骤S50)。本例中，当不进行校准时，校准控制部246不输出校准执行命令，但校准控制部246也可以向校准执行部247发送不进行校准的内容的校准执行命令。
通过采用如上所述的方式，在对进行点像复原处理的摄影图像进行摄影之前进行校准，由此减轻对用户的负担，实现高精度的校准。并且，在进行与摄像装置100的个体偏差相对应的点像复原处理的参数相关的校准时，既能够减轻感用户的负担，又能够高精度地进行校准，从而能够减少因摄像装置100的个体偏差而产生的摄影图像的劣化。
并且，由于通过校准必要性判断部244判断是否需要进行校准来进行校准，因此需要进行校准时，能够准确地进行校准，能够抑制所得到的摄影图像的摄像装置100中的个体偏差。
[摄像装置的变形例1]
图10是对于摄像装置100的变形例1示出主要部分的主要部分框图。若比较图10所示的摄像装置100的变形例1相关的主要部分框图和图5所示的表示摄像装置100的主要部分的主要部分框图，则图10中所记载的摄像装置100的变形例1在具有摄影环境判断部245这一点上不同。另外，与图5所示的摄像装置100相同的主要部分，标注相同的符号并省略说明。
通过摄影环境判断部245，根据校准图像判断是否为适合于获取校准图像的摄影环境，校准控制部246根据是否为适合于获取校准图像的摄影环境的摄影环境判断部245的判断来控制校准的执行。
在图10所示的变形例1的情况下，从校准必要性判断部244将需要进行校准的结果发送至摄影环境判断部245。并且，通过摄影环境判断部245判断摄影环境是否齐备。
具体而言，当必要性判断结果为需要进行校准的判断结果时，获取到校准图像及必要性判断结果的摄影环境判断部245根据所获取的校准图像来判断是否为适合于获取校准图像的摄影环境。是否为适合于获取校准图像的摄影环境的判断可以采用各种方法。例如，提取校准图像内的特征点并判明为校准用图表倾斜、偏移、摄像装置100稍微摇晃等时，在外部显示装置101的显示部111进行警告显示。另外，当进行警告显示时，警告显示从摄影环境判断部245发送至图表发送控制部242，并通过图表发送控制发送至外部显示装置101。并且，警告显示也可以在摄像装置100所具有的确认图像显示部225进行显示。
图11中示出在确认图像显示部225显示警告显示的情况。即，图11中，校准用图表显示于外部显示装置101的显示部111。并且，通过摄像装置100内的摄像部248对校准用图表进行摄影而获取校准图像。其后，在摄影环境判断部245中判断为相机朝向下方，从而在确认图像显示部225显示警告显示。
图12中示出图10所示的摄像装置100的变形例1的动作流程图。另外，对于与图9所示的动作流程图相同的部分标注相同的符号并省略说明。若比较图12中所记载的变形例1的动作流程图和图9中所记载的动作流程图，则图12中所记载的变形例1的动作流程图在判断摄影环境这一点(步骤S52)及进行警告显示这一点(步骤S54)上不同。当通过校准必要性判断部244判断为有必要进行校准时(步骤S30的Yes时)，接着通过摄影环境判断部245判断摄影环境是否齐备。并且，当摄影环境齐备时(步骤S52的Yes时)，校准控制部246将校准执行命令发送至校准执行部247，由此进行校准。另一方面，当摄影环境未齐备时(步骤S52的No时)，在显示部111或确认图像显示部225显示警告显示(步骤S54)。
并且，当摄像装置100具有摄影环境判断部245时，图表保持部240还可以具有环境判断用图表。在此，环境判断用图表是指能够确认对校准用图表进行摄影时的摄影环境是否齐备的图表。只要能够确认摄影环境是否齐备，则并没有特别限定。例如，可以考虑一面灰色的环境判断用图表，通过一面灰色的环境判断用图表来确认聚光灯是否打在显示部111上。
当图表保持部240保持有校准用图表及环境判断用图表时，摄影环境判断部245根据由摄像部248对环境判断用图表进行摄影而得到的环境判断图像、或者环境判断图像及校准图像，判断是否为适合于获取校准图像的摄影环境。另外，摄影环境判断部245能够通过校准图像或环境判断图像来判断摄影环境是否齐备。
图13中示出在确认图像显示部225显示使用环境判断用图表时的警告显示的情况。即，图13中，在外部显示装置101的显示部111显示有环境判断用图表。并且，通过摄像装置100内的摄像部248(参考图4)对环境判断用图表进行摄影而获取环境判断图像。其后，在摄影环境判断部245中判断为聚光灯S已打在显示部111上，从而在确认图像显示部225显示警告显示。
通过采用摄像装置的变形例1的结构，能够对更多的条件判断是否为适合于获取校准图像的摄影环境。并且，通过采用摄像装置的变形例1的结构，能够在适合于获取更加准确的校准图像的摄影环境下获取校准图像，能够进行更加准确的校准。
[摄像装置的变形例2]
摄像装置100的变形例2中，根据多个校准图像来判断是否为适合于获取校准图像的摄影环境。即，通过摄像部248对多个校准用图表进行摄影而获取多个校准图像，根据所获取的多个校准图像，摄影环境判断部245判断摄影环境是否齐备。并且，摄影环境判断部245也可以根据多个环境判断图像、或者单个或多个环境判断图像及单个或多个校准图像来判断是否为适合于获取校准图像的摄影环境。
图14中示出摄像装置100的变形例2相关的动作流程图。另外，对于与图9或图12相同的部分标注相同的符号并省略说明。并且，图14中，对于是否有必要进行校准的判断(步骤S30)之后的动作流程进行了记载。是否有必要进行校准的判断(步骤S30)之前的动作(图9中的步骤S10、步骤S20)与图9相同，图14中将其省略。
图14中所记载的摄像装置100的变形例2中，当通过校准必要性判断部244判断为需要进行校准时(步骤S30的Yes时)，将位于摄影环境判断部245内的计数器的计数i设定为1。其后，通过摄影环境判断部245判断计数器的计数i是否大于能够判断摄影环境的所发送的图表(摄影环境用图表、校准用图表)的总张数。当计数i不大于所发送的图表的总张数时(步骤S74的No时)，通过图表发送控制部242将第[i]号的图表发送至外部显示装置101(步骤S75)，并显示第[i]号的图表(步骤S76)。另外，接着，通过摄像部248对所显示的第[i]号的图表进行摄影(步骤S78)。其后，根据所获取的摄影环境用图像和/或校准图像，通过摄影环境判断部245判断摄影环境是否齐备(步骤S52)。并且，在摄影环境是否齐备的判断(步骤S52)中，当摄影环境齐备时(步骤S52的Yes时)，计数i加1(+1)(步骤S80)。
另一方面，当计数i大于所发送的图表的总张数时(步骤S74的Yes时)，进行校准(步骤S40)。
通过采用摄像装置的变形例2的结构，能够在适合于获取更加准确的校准图像的摄影环境下获取校准图像，能够进行更加准确的校准。
[摄像装置的变形例3]
摄像装置100的变形例3中，图表发送控制部242获取外部显示装置101的显示性能相关的信息，并将与显示性能相对应的校准用图表发送至外部显示装置101。图15是表示摄像装置100获取外部显示装置101的显示性能时的动作流程的图。
变形例3的摄像装置100具有位于图表发送控制部242内的外部显示装置列表。另外，外部显示装置列表并不特别限定于位于图表发送控制部242内。在此，外部显示装置列表是指能够确定外部显示装置101的型号或商品名与外部显示装置101的显示性能相对应的列表，若确定外部显示装置101且在列表内有该外部显示装置101，则摄像装置100能够掌握外部显示装置101的显示性能。首先，在图表发送控制部242所保持的外部显示装置列表中，检索是否有显示图表的外部显示装置101(步骤S100)。其后，通过图表发送控制部242判断对象外部显示装置101是否在外部显示装置列表内，当外部显示装置列表中有对象外部显示装置101时(步骤S102的Yes时)，图表发送控制部242获取对象外部显示装置101的显示性能相关的信息。在此，对象外部显示装置101是指从图表发送控制部242图表被发送而来的显示装置。
另一方面，当外部显示列表中没有对象外部显示装置101时(步骤S102的No时)，图表发送控制部242判断在摄像装置100所存在的环境下能否连接于互联网(步骤S104)。当判断为能够连接于互联网时(步骤S104的Yes时)，在互联网上检索对象外部显示装置101的显示性能(步骤S106)。并且，当通过检索找到显示性能时(步骤S108的Yes时)，获取对象外部显示装置101的显示性能。另一方面，即使检索对象外部显示装置101的显示性能也未能找到时(步骤S108的No时)，判断能否直接输入对象外部显示装置101的显示性能(步骤S110)。并且，当无法连接于互联网时(步骤S104的No时)，也判断能否直接输入对象外部显示装置101的显示性能(步骤S110)。在此，摄像装置100中，当直接输入对象外部显示装置101的显示能力时，例如通过操作部214进行输入。并且，当能够直接输入对象外部显示装置101的显示性能时(步骤S110的Yes时)，直接输入对象外部显示装置101的显示能力(步骤S112)。其后，转换图表的分辨率以配合对象外部显示装置101的显示能力(步骤S114)。并且，在获取对象外部显示装置101的显示性能(步骤S116)之后，转换图表的分辨率以配合对象外部显示装置101的显示能力(步骤S114)。另一方面，当无法直接输入对象外部显示装置101的显示性能时(步骤S110的No时)，则不获取外部显示装置101的显示能力。另外，在图15中所示的动作流程结束之后，开始图9所示的动作流程，执行校准必要性判断或校准。
通过采用摄像装置的变形例3的方式，校准用图表更加准确地显示于外部显示装置，因此能够获取更加适当的校准图像。
[摄像装置的变形例4]
摄像装置100的变形例4中，摄像部248具有包围曝光摄影模式，校准执行部247根据选择包围曝光摄影模式后通过摄像部248进行摄影的多个校准图像，进行点像复原处理的参数相关的校准。
在此，包围曝光摄影模式是指自动改变摄影条件并连续对相同的被摄体进行摄影的模式。此时的摄影条件是指F值(光圈值)、变焦位置(焦距)、被摄体距离等。点像复原处理的参数在每一摄影条件下不同，因此优选也在每一摄影条件下进行校准图像的获取。尤其，对于F值(光圈值)，优选对每一不同的值进行校准。其原因在于，若在校准图像的摄影中F值(光圈值)发生变化，则明度发生变化，会大大影响校准的精度。并且，点像复原处理的参数在每一摄影条件下不同，当在每一摄影条件下对校准图像进行摄影时，必须一边改变摄影条件一边进行大量摄影，会给用户施加非常大的负荷，并且校准图像的摄影精度也容易下降。因此，通过采用包围曝光摄影来对校准图像进行摄影，用户能够轻松地在每一摄影条件下对校准图像进行摄影，并且还能够抑制摄影精度的下降。
在包围曝光摄影模式的情况下，摄像部248与外部显示装置101同步，摄像部248对对应于包围曝光摄影模式下的摄像部248的摄影而同步显示于外部显示装置101的校准用图表进行摄影(参考图1)。
在摄像部248通过包围曝光摄影模式进行摄影时，从摄像装置100的图表发送控制部242向外部显示装置101的图表接收部270发生同步控制信号，并控制成将校准图像依次显示于外部显示装置(参考图1)。另外，基于图表发送控制部242的校准用图表的发送机构并没有特别限定，例如可以通过无线通信从图表发送控制部242向外部显示装置101发送校准用图表，也可以通过利用SD卡等外部存储器，将校准用图表从图表发送控制部242发送至外部显示装置101的图表接收部270。
并且，并不限于这种方式，例如可以经由HDMI(High-Definition Multim ediaInterface)(注册商标)线缆等通信线缆来连接摄像装置100和外部显示装置101，并从摄像装置100向外部显示装置101依次发送校准图像，外部显示装置101则依次显示接收到的校准图像。即，可以使用摄像装置100进行包围曝光摄影模式下的摄影及校准用图表的切换控制。此时，外部显示装置101可以利用一般的外部显示装置101，例如，能够通过利用4K2K对应的高分辨率的电视机等来高精度地显示校准用图表，从而能够更加准确地进行校准。
图16中示出摄像装置100的变形例4相关的动作流程图。另外，对于与图9相同的部分标注相同的符号并省略说明。判断是否需要进行校准(步骤S30)，当需要进行校准时(步骤S30的Yes时)，首先，将光圈设定为最大的开放位置(最小F数)(步骤S82)。其后，通过摄像部248对显示于外部显示装置101的校准用图表进行摄影而获取校准图像。另外，显示于外部显示装置101的校准用图表可以与光圈位置(F号码：F值)相对应地发生改变，也可以不改变。其后，根据所获取的校准图像，通过校准执行部247进行点像复原处理的参数的校准。其后，通过摄像部248判断光圈位置是否设定为最小的小光圈(最大F数)((步骤S88)，当未设定为最小的小光圈时(步骤S88的No时)，将光圈进一步缩小(步骤S90)。其后，再次通过摄像部248对所显示的校准用图表进行摄影。另一方面，当设定为最小的小光圈时(步骤S88的Yes时)结束动作。另外，图16中，在获取校准图像之后，依次进行校准，但并不特别限定于此。例如，可以在获取多个校准图像之后，进行点像复原处理的参数相关的校准。
通过采用摄像装置100变形例4的方式，能够自动获取多个校准图像，且能够减轻用户的负担，由于根据多个校准图像进行点像复原处理的参数相关的校准，因此能够进行更加准确的校准。
[摄像装置的变形例5]
摄像装置100的变形例5中，摄像部248具有包围曝光摄影模式，校准执行部247根据选择包围曝光摄影模式后通过摄像部248进行摄影的多个校准图像来进行点像复原处理的参数相关的校准。并且，摄像装置100的变形例5中，在一种条件下对多个校准用图表进行摄影而获取多个校准图像。
图17中示出摄像装置100的变形例5相关的动作流程图。另外，对于与图9及图16相同的部分标注相同的符号并省略说明。并且，图17中，对于判断是否有必要进行校准(步骤S30)之后的动作流程进行了记载。判断是否有必要进行校准的判断(步骤S30)之前的动作(图9中的步骤S10、步骤S20)与图9相同，图17中将其省略。
摄像装置100的变形例5中，当通过校准必要性判断部244判断为有必要进行校准时(步骤S30的Yes)，通过摄像部248将光圈位置设定为最大的开放位置(设定为最小F数)(步骤S82)。其后，将位于摄像部248内的计数器的计数n设定为1(步骤S92)。并且，通过摄像部248判断计数n是否大于发送至外部显示装置101的校准用图表的总数(步骤S94)。
并且，当位于摄像部248内的计数器的计数n不大于发送至外部显示装置101的校准用图表的总数时(步骤S94的No时)，第n个校准用图表被发送至外部显示装置101(步骤S95)，所发送的第n个图表显示于外部显示装置101(步骤S96)。其后，通过摄像部248对显示于外部显示装置101的校准用图表进行摄影(步骤S98)。并且，在位于摄像部248内的计数器的计数n上加1(步骤S100)。其后，再次判断计数n是否大于所发送的校准用图表的总数(步骤S94)。
当摄像部248内的计数器的计数n大于所发送的校准用图表的总数时，通过摄像部248判断是否设定为最小的小光圈(最大F数)。
通过采用摄像装置100的变形例5的方式，能够自动获取多个校准图像，且能够减轻用户的负担，由于根据多个校准图像进行点像复原处理的参数相关的校准，因此能够进行更加准确的校准。
[其他实施方式]
作为本发明的其他实施方式，可以举出校准系统1。图18是表示作为本发明的其他实施方式的校准系统1的主要部分的主要部分框图。即，图18中说明了具有摄像装置100和外部显示装置101且进行点像复原处理的参数相关的校准的校准系统1。摄像装置100主要具备图表保持部240、图表发送控制部242、校准必要性判断部244、校准控制部246、校准执行部247及摄像部248。另外，摄像装置100中的整体动作由中央处理装置(CPU)212(参考图4)进行统一控制。并且，外部显示装置101主要具备图表接收部270、图表显示控制部272及显示部111。在此，由于摄像装置100与图5相同，因此对其标注相同的符号并省略说明。
摄像装置100的图表发送控制部242选择图表保持部240所保持的校准用图表并将所选择的校准用图表发送至外部显示装置101。若命令通过位于摄像部248内的操作部214(参考图4)进行校准，则从位于摄像部248内的CPU212向图表发送控制部242发出校准用图表的选择及发送的指令。另外，向图表发送控制部242的校准用图表的选择及发送的指令并不限定于从摄像部248内的CPU212发出。
在图18所示的情况下，图表发送控制部242向外部显示装置101的图表接收部270发送校准用图表。在此，图表发送控制部242的图表的发送机构并没有特别限定。例如，可以通过无线通信，从图表发送控制部242向外部显示装置101的图表接收部270发送校准用图表。并且，也可以通过利用SD卡等的外部存储器，将校准用图表从图表发送控制部242发送至外部显示装置101的图表接收部270。
通过外部显示装置101的图表接收部270接收从图表发送控制部242发送的校准用图表。并且，图表接收部270向图表显示控制部272发送校准用图表。其后，通过图表显示控制部272，在显示部111显示校准用图表。
＜在EDoF系统中的适用例＞
上述说明中的使用点像复原处理的参数来进行的点像复原处理是通过根据特定的摄影条件(例如，光圈值、焦距、透镜种类等)对点扩散(点像模糊)进行恢复修正来复原原来的被摄体像的图像处理，但能够适用本发明的图像处理并不限定于上述实施方式中的点像复原处理。例如，对于针对通过具备具有被扩大的场景(焦点)深度(EDoF：ExtendedDepth of Field(Focus))的光学系统的摄像部248摄影获取的图像数据进行的点像复原处理，也能够适用本发明所涉及的点像复原处理。针对通过EDoF光学系统在景深(焦点深度)扩大的状态下摄影获取的模糊图像的图像数据进行点像复原处理，从而能够在宽范围内复原生成对焦状态的高分辨率的图像数据。此时，使用基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器进行点像复原处理，该复原滤波器具有设定成能够在扩大的景深(焦点深度)范围内进行良好的图像复原的滤波器系数。
以下，对经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，以下所示的例子中，也对由去马赛克处理后的图像数据(RGB数据)得到的亮度信号(亮度信号Y)进行点像复原处理。
图19是表示具备EDoF光学系统的摄像模块301的一种方式的框图。本例的摄像模块(数码相机等)301包含EDoF光学系统(透镜单元)310、成像元件312、AD转换部314及点像复原处理块(图像处理部)320。
图20是表示EDoF光学系统310的一例的图。本例的EDoF光学系统310具有单焦点被固定的摄影透镜310A和配置于光瞳位置的滤光器311。滤光器311是调制相位的要件，其使EDoF光学系统310(摄影透镜310A)进行EDoF化，以得到被扩大的景深(焦点深度)(EDoF)。如此，摄影透镜310A及滤光器311构成通过调制相位来扩大景深的摄影透镜部。
另外，EDoF光学系统310根据需要包含其他构成要件，例如在滤光器311附近配设有光圈(省略图示)。并且，滤光器311可以是1个，也可以组合多个。并且，滤光器311仅仅是光学相位调制机构的一例，EDoF光学系统310(摄影透镜310A)的EDoF化也可以通过其他机构来实现。例如，可以代替设置滤光器311，通过以具有与本例的滤光器311相同功能的方式进行透镜设计的摄影透镜310A来实现EDoF光学系统310的EDoF化。
即，能够通过使成像元件312在受光面成像的波面变化的各种机构来实现EDoF光学系统310的EDoF化。例如，可以将“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“通过对透镜表面进行涂布等而使厚度或折射率变化的光学元件(波面调制混合式透镜、在透镜面上形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(液晶空间相位调制元件等)”用作EDoF光学系统310的EDoF化机构。如此，不仅对于能够通过光波面调制元件(滤光器311(相位板))形成规则地分散的图像的实例，而且对于能够不使用光波面调制元件而通过摄影透镜310A本身形成与使用光波面调制元件的情况相同的分散图像的实例，也能够应用本发明。
图20所示的EDoF光学系统310可以省略机械地进行焦点调节的焦点调节机构，因此能够实现小型化，可适当搭载于带相机的移动电话或便携式信息终端。
通过被EDoF化的EDoF光学系统310之后的光学像在图19所示的成像元件312上成像，在此转换成电信号。
成像元件312由通过规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans排列、蜂窝排列等)配置成矩阵状的多个像素构成，各像素构成为包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管。经由EDoF光学系统310入射到成像元件312的受光面的光学像通过在该受光面上排列的各光电二极管而转换成与入射光量相对应的量的信号电荷。并且，在各光电二极管中积蓄的R、G及B的信号电荷作为每个像素的电压信号(图像信号)而被依次输出。
AD转换部314将从成像元件312对每个像素输出的模拟的R、G及B图像信号转换成数字的R、G及B的图像信号。通过AD转换部314转换成数字的图像信号后的数字图像信号被施加于点像复原处理块320。
点像复原处理块320例如包含黑电平调整部322、白平衡增益部323、伽马处理部324、去马赛克处理部325、RGB/YCrCb转换部326及亮度信号Y点像复原处理部327。
黑电平调整部322对从AD转换部314输出的数字图像信号实施黑电平调整。黑电平调整可以采用公知的方法。例如，当着眼于某一有效光电转换元件时，求出与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件中的每一个相对应的暗电流量获取用信号的平均值，从与该有效光电转换元件相对应的暗电流量获取用信号中减去该平均值，由此进行黑电平调整。
白平衡增益部323进行与黑电平数据进行了调整的数字图像信号中所包含的R、G及B的各颜色信号的白平衡增益相对应的增益调整。
伽马处理部324进行半色调等灰度校正的伽马校正，以使进行了白平衡调整的R、G及B的图像信号成为所希望的伽马特性。
去马赛克处理部325对伽马校正后的R、G及B的图像信号实施去马赛克处理。具体而言，去马赛克处理部325通过对R、G及B的图像信号实施颜色插值处理来生成从成像元件312的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理前，来自各受光像素的像素信号为R、G及B的图像信号中的任一个，但在颜色去马赛克处理后，会输出与各受光像素相对应的R、G及B信号的3个像素信号的组。
RGB/YCrCb转换部326将进行了去马赛克处理的每个像素的R、G及B信号转换成亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。
亮度信号Y点像复原处理部327根据预先存储的复原滤波器，对来自RGB/YCrCb转换部326的亮度信号Y进行点像复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(对应于M＝7、N＝7的抽头数)和对应于该反卷积核的运算系数(对应于复原增益数据、滤波器系数)构成，并使用于滤光器311的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器中，与滤光器311相对应的复原滤波器被存储于未图示的存储器(例如，附带设置亮度信号Y点像复原处理部327的存储器)。并且，反卷积核的核尺寸并不限于7×7。
接着，对基于点像复原处理块320的点像复原处理进行说明。图21是表示图19所示的点像复原处理块320中的点像复原处理的一例的流程图。
在黑电平调整部322的一侧的输入中，从AD转换部314施加数字图像信号，在另一输入中被施加黑电平数据，黑电平调整部322从数字图像信号中减去黑电平数据，并将减去黑电平数据的数字图像信号输出至白平衡增益部323(步骤S1)。由此，在数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整后的图像数据依次实施由白平衡增益部323、伽马处理部324进行的处理(步骤S2及S3)。
进行了伽马校正的R、G及B的信号在由去马赛克处理部325进行去马赛克处理之后，在RGB/YCrCb转换部326中转换成亮度信号Y和色差信号Cr、Cb(步骤S4)。
亮度信号Y点像复原处理部327进行对亮度信号Y施加EDoF光学系统310的滤光器311的相位调制量的反卷积处理的点像复原处理(步骤S5)。即，亮度信号Y点像复原处理部327进行与以任意处理对象的像素为中心的规定单位的像素组相对应的亮度信号(在此为7×7像素的亮度信号)和预先存储于存储器等的复原滤波器(7×7的反卷积核及其运算系数)的反卷积处理(反卷积运算处理)。亮度信号Y点像复原处理部327以覆盖摄像面的整个区域的方式重复进行该规定单位的每个像素组的反卷积处理，由此进行消除图像整体的像模糊的点像复原处理。复原滤波器根据施加反卷积处理的像素组的中心的位置而决定。即，在接近的像素组中适用共同的复原滤波器。另外，为了进一步简化点像复原处理，优选对所有的像素组适用共同的复原滤波器。
如上所述，在EDoF系统中的应用例中也同样地，如图22(A)所示，通过EDoF光学系统310之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而在成像元件312上成像，但通过亮度信号Y点像复原处理部327中的反卷积处理，复原成如图22(B)所示那样复原成较小的点像(高分辨率的图像)。
如上所述，通过对去马赛克处理后的亮度信号施加点像复原处理，无需使R、G及B分别具有点像复原处理的参数，能够使点像复原处理高速化。并且，不是将与位于分散位置的R、G及B的像素相对应的R、G及B的图像信号分别汇集为1个单位来进行反卷积处理，而是将接近的像素的亮度信号之间汇集为规定的单位，并在该单位中适用共同的复原滤波器来进行反卷积处理，因此点像复原处理的精度得到提高。另外，对于色差信号Cr、Cb，在人眼视觉特性上，即使不使用点像复原处理来提高分辨率，画质方面也是容许的。并且，当以JPEG这样的压缩形式记录图像时，色差信号以比亮度信号高的压缩率被压缩，因此没有必要使用点像复原处理来提高分辨率。如此一来，能够兼顾复原精度的提高与处理的简单化及高速化。
对于如以上说明的EDoF系统的点像复原处理，也能够适用本发明的各实施方式所涉及的点像复原处理。
[摄像装置中的其他实施方式]
以上，作为本发明的摄像装置100的实施方式，对数码相机进行了说明，但摄影装置的结构并不限定于此。作为本发明的其他摄影装置，可以设为例如，内置型或外置型的PC用相机、或如以下说明的具有摄影功能的便携终端装置。
作为本发明的摄影装置的一种实施方式的便携终端装置例如可以举出移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，以智能手机为例，参考附图进行详细说明。
图23是表示作为本发明的摄影装置的一种实施方式的智能手机401的外观的图。图23所示的智能手机401具有平板状的框体402，在框体402的一个面具备作为显示部的显示面板421和作为输入部的操作面板422成为一体的显示输入部420。并且，这种框体402具备扬声器431、麦克风432、操作部440及相机部441。另外，框体402的结构并不限定于此，例如还可以采用显示部和输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图24是表示图23所示的智能手机401的结构的框图。如图24所示，作为智能手机的主要构成要件，具备无线通信部410、显示输入部420、通话部430、操作部440、相机部441、存储部450、外部输入输出部460、GPS(Global Positioning System)接收部470、动作传感器部480、电源部490及主控制部500。并且，作为智能手机401的主要功能，具备进行经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部410按照主控制部500的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用这种无线通信来进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发、以及Web数据或流数据等的接收。
显示输入部420为所谓的触摸面板，其具备显示面板421和操作面板422，所述显示输入部通过主控制部500的控制，显示图像(静止图像及动态图像)或文字信息等来视觉上向用户传递信息，并且检测对所显示的信息的用户的操作。
显示面板421将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。操作面板422是以可视觉辨认显示于显示面板421的显示面上的图像的方式载置，并检测通过用户的手指或尖笔操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作这种设备，则将因操作而产生的检测信号输出至主控制部500。接着，主控制部500根据接收到的检测信号来检测显示面板421上的操作位置(坐标)。
如图23所示，作为本发明的摄影装置的一种实施方式而例示出的智能手机401的显示面板421和操作面板422成为一体而构成显示输入部420，配置成操作面板422完全覆盖显示面板421。当采用这种配置时，操作面板422可以对显示面板421以外的区域也具备检测用户操作的功能。换言之，操作面板422可以具备针对与显示面板421重叠的重叠部分的检测区域(以下，称为显示区域)和针对除此以外的不与显示面板421重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，显示区域的大小和显示面板421的大小可以完全一致，但无需一定要使两者一致。并且，操作面板422可以具备外缘部分和除此以外的内侧部分这2个感应区域。另外，外缘部分的宽度根据框体402的大小等而适当进行设计。并且，作为在操作面板422中所采用的位置检测方式，可以举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。
通话部430具备扬声器431和麦克风432，所述通话部将通过麦克风432输入的用户的语音转换成能够由主控制部500处理的语音数据并输出至主控制部500、或者对通过无线通信部410或外部输入输出部460接收的语音数据进行解码并从扬声器431输出。并且，如图23所示，例如，能够将扬声器431搭载于与设有显示输入部420的面相同的面，将麦克风432搭载于框体402的侧面。
操作部440为使用键开关等的硬件键，接受来自用户的命令。例如，如图23所示，操作部440搭载于智能手机401的框体402的侧面，是使用手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式的开关。
存储部450存储主控制部500的控制程序和控制数据、应用软件、与通信对方的名称、电话号码等建立了对应关联的地址数据、收发的电子邮件的数据、通过Web浏览下载的Web数据、以及已下载的内容数据，并且临时存储流数据等。并且，存储部450由智能手机内置的内部存储部451和具有装卸自如的外部存储器插槽的外部存储部452构成。另外，构成存储部450的各内部存储部451和外部存储部452使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card microtype)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read OnlyMemory)等存储介质来实现。
外部输入输出部460起到与智能手机401连结的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机401连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽而连接的存储卡(Memory card)或SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、耳机等。外部输入输出部能够将从这种外部设备接收了传送的数据传递至智能手机401内部的各构成要件、或者将智能手机401内部的数据传送至外部设备。
GPS接收部470按照主控制部500的命令，接收从GPS卫星ST1～STn发送的GPS信号，并执行基于接收到的多个GPS信号的定位运算处理，检测由该智能手机401的纬度、经度、高度构成的位置。GPS接收部470在能够从无线通信部410或外部输入输出部460(例如，无线LAN)获取位置信息时，还能够使用该位置信息来检测位置。
动作传感器部480例如具备3轴加速度传感器等，按照主控制部500的命令，检测智能手机401的物理动作。通过检测智能手机401的物理动作来检测智能手机401的动作方向、加速度。这种检测结果输出至主控制部500。
电源部490按照主控制部500的命令，向智能手机401的各部供给电池(未图示)中蓄积的电力。
主控制部500具备微处理器，按照存储部450所存储的控制程序、控制数据进行动作，统一控制智能手机401的各部。并且，主控制部500为了通过无线通信部410进行语音通信、数据通信而具备控制通信系统的各部的移动通信控制功能和应用处理功能。
应用处理功能通过主控制部500根据存储部450所存储的应用软件动作来实现。作为应用处理功能，例如有控制外部输入输出部460而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、阅览Web网页的Web浏览功能等。
并且，主控制部500具备根据接收数据、已下载的流数据等图像数据(静止图像或动态图像的数据)而将影像显示于显示输入部420等的图像处理功能。图像处理功能是指主控制部500对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部420的功能。
另外，主控制部500执行显示面板421的显示控制和检测通过操作部440及操作面板422的用户操作的操作检测控制。
通过显示控制的执行，主控制部500显示用于启动应用软件的图标、滚动条等软件键、或者显示用于创建电子邮件的窗口。另外，滚动条是指针对无法落入显示面板421的显示区域的较大的图像等，用于接受使图像的显示部分移动的命令的软件键。
并且，通过操作检测控制的执行，主控制部500检测通过操作部440的用户操作、或者通过操作面板422接受上述图标的操作或对上述窗口的输入栏的字符串的输入、或者接受通过滚动条的显示图像的滚动请求。
另外，通过操作检测控制的执行，主控制部500具备判定操作面板422的操作位置是与显示面板421重叠的重叠部分(显示区域)还是除此以外的不与显示面板421重叠的外缘部分(非显示区域)，并控制操作面板422的感应区域、软件键的显示位置的触摸面板控制功能。
并且，主控制部500还能够检测对操作面板422的手势操作，根据检测出的手势操作来执行预先设定的功能。手势操作并非以往的简单的触摸操作，而是利用手指等描绘轨迹、或者同时指定多个位置、或者将它们进行组合而从多个位置对至少一个位置描绘轨迹的操作。
相机部441是使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部441能够通过主控制部500的控制，将通过摄像而得到的图像数据例如转换成JPEG(JointPhotographic coding ExpertsGroup)等压缩的图像数据，并记录在存储部450、或者通过外部输入输出部460、无线通信部410进行输出。图23所示的智能手机401中，相机部441搭载于与显示输入部420相同的面，但相机部441的搭载位置并不限于此，也可以搭载于显示输入部420的背面、或者搭载有多个相机部441。另外，当搭载有多个相机部441时，还能够切换用于进行摄影的相机部441来单独进行摄影、或者同时使用多个相机部441来进行摄影。
并且，相机部441能够利用于智能手机401的各种功能。例如，能够在显示面板421上显示由相机部441获取的图像、或者作为操作面板422的操作输入之一而利用相机部441的图像。并且，在GPS接收部470检测位置时，还能够参照来自相机部441的图像来检测位置。另外，还能够参照来自相机部441的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用，来判断智能手机401的相机部441的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自相机部441的图像。
除此之外，也能够对静止图像或动画的图像数据附加通过GPS接收部470获取的位置信息、通过麦克风432获取的语音信息(也可以通过主控制部等，进行语音文本转换而成为文本信息)、通过动作传感器部480获取的姿势信息等等并记录在存储部450、或者通过外部输入输出部460、无线通信部410进行输出。
本发明的目的还可以通过从存储有实现作为上述实施方式而示出的流程步骤的程序编码(程序)的存储介质中，由系统或装置的计算机(或者CPU、MPU)读出并执行该程序编码来实现。
此时，从存储介质读出的程序编码本身会实现上述实施方式的功能。因此，该程序编码及存储/记录有程序编码的计算机可读存储介质也构成本发明之一。
作为用于供给程序编码的存储介质，例如可以使用软(注册商标)盘、硬盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性存储卡、ROM等。
并且，上述的实施方式的功能通过由计算机执行读出的程序来实现。并且，该程序的执行还包含根据该程序的命令，由在计算机上运行的OS等进行实际处理的一部分或全部的情况。
另外，上述实施方式的功能还能够通过插入计算机的功能扩展板、连接于计算机的功能扩展单元来实现。此时，首先，从存储介质读出的程序被写入到插入计算机的功能扩展板、连接于计算机的功能扩展单元所具备的存储器。其后，根据该程序的命令，由该功能扩展板、功能扩展单元所具备的CPU等进行实际处理的一部分或全部。通过基于这样的功能扩展板、功能扩展单元的处理，也能够实现上述实施方式的功能。
并且，上述实施方式的流程的各步骤并不限于使用软件(计算机)来实现，也可以使用硬件(电子电路)来实现。
符号说明
100-摄像装置，101-对象外部显示装置，101-外部显示装置，105-摄像装置主体，111-显示部，212-CPU，214-操作部，216-设备控制部，218-透镜部，220-快门，222-成像元件，224-A/D转换器，225-确认图像显示部，226-存储器部，227-确认图像显示控制部，228-图像处理部，229-点像复原处理部，230-编码器，232-驱动器，240-图表保持部，242-图表发送控制部，244-校准必要性判断部，245-摄影环境判断部，246-校准控制部，247-校准执行部，248-摄像部，270-图表接收部，272-图表显示控制部，1-校准系统，301-摄像模块，310-EDoF光学系统，401-智能手机，421-显示面板。

Claims (21)

1.一种摄像装置，其具备：
摄像部；
图表保持部，保持点像复原处理的参数相关的校准用图表；
图表发送控制部，将所述图表保持部所保持的所述校准用图表发送至外部显示装置；
校准必要性判断部，根据由所述摄像部对显示于所述外部显示装置的所述校准用图表进行摄影而得到的校准图像，判断是否需要进行所述点像复原处理的参数相关的校准，并输出该判断的结果；
校准控制部，根据从所述校准必要性判断部输出的是否需要进行所述校准的判断的结果，当判断为需要进行所述校准时，通过输出校准执行命令来控制所述校准的执行；及
校准执行部，通过从所述校准控制部输出的所述校准执行命令，根据所述校准图像进行所述点像复原处理的参数相关的所述校准，
所述摄像部具有包围曝光摄影模式，
所述校准执行部根据选择所述包围曝光摄影模式后通过所述摄像部进行摄影得到的多个所述校准图像，进行所述点像复原处理的参数相关的所述校准，
所述摄像部与所述外部显示装置同步，
所述摄像部对所述校准用图表进行摄影，所述校准用图表对应于所述包围曝光摄影模式下的所述摄像部的摄影而与该摄影同步显示于所述外部显示装置。
2.根据权利要求1所述的摄像装置，其中，
所述摄像部在所述包围曝光摄影模式下，利用多个摄影条件中的一部分摄影条件来获取所述校准图像，
所述校准执行部根据利用所述多个摄影条件中的一部分摄影条件进行摄影得到的所述校准图像，进行所述点像复原处理的参数相关的所述校准。
3.根据权利要求1所述的摄像装置，其中，
所述摄像部对所述校准用图表进行摄影，所述校准用图表对应于所述摄像部的摄影而与该摄影同步显示于所述外部显示装置。
4.根据权利要求1至3中任一项所述的摄像装置，其中，
所述摄像装置还具备摄影环境判断部，所述摄影环境判断部根据所述校准图像来判断是否为适合于获取所述校准图像的摄影环境，
所述校准控制部还根据是否为适合于获取所述校准图像的所述摄影环境的所述摄影环境判断部的判断，控制所述校准的执行。
5.根据权利要求4所述的摄像装置，其中，
所述图表保持部还具有环境判断用图表，
所述图表发送控制部还将环境判断用图表发送至所述外部显示装置，
所述摄影环境判断部根据由所述摄像部对显示于所述外部显示装置的所述环境判断用图表进行摄影而得到的环境判断图像、或所述环境判断图像及所述校准图像，判断是否为适合于获取所述校准图像的所述摄影环境。
6.根据权利要求4所述的摄像装置，其中，
所述摄影环境判断部根据多个所述校准图像来判断是否为适合于获取所述校准图像的所述摄影环境。
7.根据权利要求5所述的摄像装置，其中，
所述摄影环境判断部根据多个所述环境判断图像、或单个或多个所述环境判断图像及单个或多个所述校准图像，判断是否为适合于获取所述校准图像的所述摄影环境。
8.根据权利要求1至3中任一项所述的摄像装置，其中，
所述图表发送控制部获取所述外部显示装置的显示性能相关的信息，并将与所述显示性能相对应的所述校准用图表发送至所述外部显示装置。
9.根据权利要求5所述的摄像装置，其中，
所述图表发送控制部获取与所述外部显示装置的显示性能相关的信息，并将与所述显示性能相对应的所述校准用图表及所述环境判断用图表发送至所述外部显示装置。
10.根据权利要求1至3中任一项所述的摄像装置，其中，
所述摄像装置还具备点像复原处理部，所述点像复原处理部对通过所述摄像部进行摄影得到的图像进行点像复原处理，
所述点像复原处理部使用进行了所述校准的所述点像复原处理的参数来进行所述点像复原处理。
11.根据权利要求1至3中任一项所述的摄像装置，其中，
所述摄像装置具有优先摄影模式，在所述优先摄影模式下，利用与进行了所述校准的所述点像复原处理的参数相对应的摄影条件来进行摄影，且利用进行了所述校准的点像复原处理的参数来优先进行所述点像复原处理。
12.根据权利要求1至3中任一项所述的摄像装置，其中，
所述摄像装置还具有确认图像显示控制部及确认图像显示部，
当使用与进行了所述校准的所述点像复原处理的参数相对应的摄影条件来进行摄影时，所述确认图像显示控制部将完成校准的信息显示于所述确认图像显示部。
13.根据权利要求4所述的摄像装置，其中，
所述摄像装置还具有确认图像显示控制部及确认图像显示部，
当所述摄影环境判断部的判断为并非适合的所述摄影环境时，所述确认图像显示控制部在所述确认图像显示部显示警告显示。
14.根据权利要求12所述的摄像装置，其中，
所述确认图像显示控制部根据预摄影命令信号，将正式摄影之前的确认图像及所述完成校准的信息显示于所述确认图像显示部。
15.根据权利要求12所述的摄像装置，其中，
在与进行了所述校准的所述点像复原处理的参数相对应的摄影条件下通过所述摄像部进行摄影，当显示经该摄影而得到的摄影图像时，所述确认图像显示控制部将所述完成校准的信息显示于所述确认图像显示部。
16.根据权利要求1至3中任一项所述的摄像装置，其中，
所述摄像部具有更换式透镜。
17.根据权利要求1至3中任一项所述的摄像装置，其中，
所述摄像部具有通过调制相位来扩大景深的透镜。
18.一种校准系统，其具有摄像装置和外部显示装置，且进行点像复原处理的参数相关的校准，其中，
所述摄像装置具备：
摄像部；
图表保持部，保持所述点像复原处理的参数相关的校准用图表；
图表发送控制部，将所述图表保持部所保持的所述校准用图表发送至所述外部显示装置；
校准必要性判断部，根据由所述摄像部对显示于所述外部显示装置的显示部的所述校准用图表进行摄影而得到的校准图像，判断是否需要进行所述点像复原处理的参数相关的所述校准，并输出该判断的结果；
校准控制部，根据从所述校准必要性判断部输出的是否需要进行所述校准的判断的结果，通过输出校准执行命令来控制所述校准的执行；及
校准执行部，通过从所述校准控制部输出的所述校准执行命令，根据所述校准图像进行所述点像复原处理的参数相关的所述校准，
所述外部显示装置具备：
图表接收部，接收从所述图表保持部发送过来的所述校准用图表；
图表显示控制部，控制所述校准用图表在所述显示部的显示；及
所述显示部，
所述摄像部具有包围曝光摄影模式，
所述校准执行部根据选择所述包围曝光摄影模式后通过所述摄像部进行摄影得到的多个所述校准图像，进行所述点像复原处理的参数相关的所述校准，
所述摄像部与所述外部显示装置同步，
所述摄像部对所述校准用图表进行摄影，所述校准用图表对应于所述包围曝光摄影模式下的所述摄像部的摄影而与该摄影同步显示于所述外部显示装置。
19.一种校准方法，其包括以下步骤：
图表发送控制步骤，将点像复原处理的参数相关的校准用图表发送至外部显示装置；
校准必要性判断步骤，根据由摄像部对显示于所述外部显示装置的所述校准用图表进行摄影而得到的校准图像，判断是否需要进行所述点像复原处理的参数相关的校准，并输出该判断的结果；
根据在所述校准必要性判断步骤中输出的是否需要进行所述校准的判断的结果来输出校准执行命令的步骤；及
校准执行步骤，根据所述校准执行命令及所述校准图像来进行所述点像复原处理的参数相关的所述校准，
所述摄像部具有包围曝光摄影模式，
所述校准执行步骤根据选择所述包围曝光摄影模式后通过所述摄像部进行摄影得到的多个所述校准图像，进行所述点像复原处理的参数相关的所述校准，
所述摄像部与所述外部显示装置同步，
所述摄像部对所述校准用图表进行摄影，所述校准用图表对应于所述包围曝光摄影模式下的所述摄像部的摄影而与该摄影同步显示于所述外部显示装置。
20.一种摄像装置，其具备：
摄像部；
图表保持部，保持点像复原处理的参数相关的校准用图表；
图表发送控制部，将所述图表保持部所保持的所述校准用图表发送至外部显示装置；
校准必要性判断部，根据由所述摄像部对显示于所述外部显示装置的所述校准用图表进行摄影而得到的校准图像，判断是否需要进行所述点像复原处理的参数相关的校准，并输出该判断的结果；
校准控制部，根据从所述校准必要性判断部输出的是否需要进行所述校准的判断的结果，当判断为需要进行所述校准时，通过输出校准执行命令来控制所述校准的执行；及
校准执行部，通过从所述校准控制部输出的所述校准执行命令，根据所述校准图像进行所述点像复原处理的参数相关的所述校准，
所述摄像装置还具备摄影环境判断部，所述摄影环境判断部根据所述校准图像来判断是否为适合于获取所述校准图像的摄影环境，
所述校准控制部还根据是否为适合于获取所述校准图像的所述摄影环境的所述摄影环境判断部的判断，控制所述校准的执行，
所述图表保持部还具有环境判断用图表，
所述图表发送控制部还将环境判断用图表发送至所述外部显示装置，
所述摄影环境判断部根据由所述摄像部对显示于所述外部显示装置的所述环境判断用图表进行摄影而得到的环境判断图像、或所述环境判断图像及所述校准图像，判断是否为适合于获取所述校准图像的所述摄影环境。
21.一种摄像装置，其具备：
摄像部；
图表保持部，保持点像复原处理的参数相关的校准用图表；
图表发送控制部，将所述图表保持部所保持的所述校准用图表发送至外部显示装置；
校准必要性判断部，根据由所述摄像部对显示于所述外部显示装置的所述校准用图表进行摄影而得到的校准图像，判断是否需要进行所述点像复原处理的参数相关的校准，并输出该判断的结果；
校准控制部，根据从所述校准必要性判断部输出的是否需要进行所述校准的判断的结果，当判断为需要进行所述校准时，通过输出校准执行命令来控制所述校准的执行；及
校准执行部，通过从所述校准控制部输出的所述校准执行命令，根据所述校准图像进行所述点像复原处理的参数相关的所述校准，
所述摄像装置还具备摄影环境判断部，所述摄影环境判断部根据所述校准图像来判断是否为适合于获取所述校准图像的摄影环境，
所述校准控制部还根据是否为适合于获取所述校准图像的所述摄影环境的所述摄影环境判断部的判断，控制所述校准的执行，
所述摄像装置还具有确认图像显示控制部及确认图像显示部，
当所述摄影环境判断部的判断为并非适合的所述摄影环境时，所述确认图像显示控制部在所述确认图像显示部显示警告显示。
CN201480021707.9A 2013-04-16 2014-04-14 摄像装置、校准系统、校准方法 Active CN105122787B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013085781 2013-04-16
JP2013-085781 2013-04-16
PCT/JP2014/060616 WO2014171423A1 (ja) 2013-04-16 2014-04-14 撮像装置、キャリブレーションシステム、キャリブレーション方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN105122787A CN105122787A (zh) 2015-12-02
CN105122787B true CN105122787B (zh) 2018-11-27

Family

ID=51731364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480021707.9A Active CN105122787B (zh) 2013-04-16 2014-04-14 摄像装置、校准系统、校准方法

Country Status (4)

Country Link
US (1) US9584801B2 (zh)
JP (1) JP5897769B2 (zh)
CN (1) CN105122787B (zh)
WO (1) WO2014171423A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587863B2 (en) 2015-09-30 2020-03-10 Sony Corporation Image processing apparatus, image processing method, and program
WO2017057043A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2017073059A1 (ja) * 2015-10-26 2017-05-04 京セラ株式会社 撮像装置
KR102437049B1 (ko) * 2015-12-31 2022-08-25 엘지디스플레이 주식회사 표시장치, 광학보상 시스템 및 광학보상 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450797A (zh) * 2002-03-27 2003-10-22 佳能株式会社 图像信号的增益修正以及用于增益修正的校准
CN102696219A (zh) * 2010-11-08 2012-09-26 松下电器产业株式会社 摄像装置、摄像方法、程序及集成电路

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285799B1 (en) * 1998-12-15 2001-09-04 Xerox Corporation Apparatus and method for measuring a two-dimensional point spread function of a digital image acquisition system
JP2006030859A (ja) * 2004-07-21 2006-02-02 Canon Inc カメラシステム及びカメラ
JP2007033997A (ja) * 2005-07-28 2007-02-08 Canon Inc 焦点検出装置
JP4764090B2 (ja) * 2005-08-01 2011-08-31 キヤノン株式会社 焦点検出装置および撮影装置
JP2007081685A (ja) 2005-09-13 2007-03-29 Sony Corp 画像信号処理装置、画像信号処理方法及び画像信号処理システム
JP5088166B2 (ja) 2008-02-21 2012-12-05 株式会社ニコン 画像出力特性補正システム
US8897595B2 (en) * 2008-03-26 2014-11-25 Ricoh Co., Ltd. Adaptive image acquisition for multiframe reconstruction
JP5423024B2 (ja) * 2009-02-09 2014-02-19 株式会社ニコン 電子カメラ、および、電子カメラシステム
JP2011150635A (ja) * 2010-01-25 2011-08-04 Fujifilm Corp 画像復元方法および装置
JP5641751B2 (ja) 2010-03-15 2014-12-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1450797A (zh) * 2002-03-27 2003-10-22 佳能株式会社 图像信号的增益修正以及用于增益修正的校准
CN102696219A (zh) * 2010-11-08 2012-09-26 松下电器产业株式会社 摄像装置、摄像方法、程序及集成电路

Also Published As

Publication number Publication date
WO2014171423A1 (ja) 2014-10-23
JP5897769B2 (ja) 2016-03-30
US9584801B2 (en) 2017-02-28
JPWO2014171423A1 (ja) 2017-02-23
CN105122787A (zh) 2015-12-02
US20160037158A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
CN107431760B (zh) 摄像装置、摄像装置的图像处理方法以及存储介质
CN105103534B (zh) 摄像装置及校准方法
CN105432069B (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105075239B (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置以及记录介质
US9445069B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
JP5830186B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN104380706B (zh) 图像处理装置、摄像装置、计算机及图像处理方法
CN106134177B (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN106416218B (zh) 图像处理装置、摄像装置、图像处理方法以及存储介质
CN105409198B (zh) 摄像装置及图像处理方法
CN105453534B (zh) 图像处理装置及方法
CN104704806A (zh) 图像处理装置、摄像装置、图像处理方法、程序以及记录介质
CN104995911A (zh) 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN104995912A (zh) 摄像装置、图像处理装置、图像处理方法及程序
CN105009563A (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN105122787B (zh) 摄像装置、校准系统、校准方法
US9633418B2 (en) Image processing device, imaging apparatus, image processing method, and program
CN108141530A (zh) 图像处理装置、图像处理方法及程序
CN108370415B (zh) 图像处理装置及图像处理方法
CN110073656A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant