CN105165003A - 图像处理装置、摄像装置、图像处理方法及程序 - Google Patents

图像处理装置、摄像装置、图像处理方法及程序 Download PDF

Info

Publication number
CN105165003A
CN105165003A CN201480023523.6A CN201480023523A CN105165003A CN 105165003 A CN105165003 A CN 105165003A CN 201480023523 A CN201480023523 A CN 201480023523A CN 105165003 A CN105165003 A CN 105165003A
Authority
CN
China
Prior art keywords
performance data
storage part
described performance
data storage
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480023523.6A
Other languages
English (en)
Other versions
CN105165003B (zh
Inventor
杉本雅彦
林健吉
成濑洋介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105165003A publication Critical patent/CN105165003A/zh
Application granted granted Critical
Publication of CN105165003B publication Critical patent/CN105165003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明供给一种能够考虑图像复原的程度，并在存储容量有限的存储部有效地存储保持用于复原处理的光学系统的特性数据(复原滤波器等)的技术。图像处理装置具备：特性数据存储部(42)，能够存储多种光学系统的特性数据；及复原处理部，对原图像数据进行利用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获得恢复图像数据。将新的特性数据存储于特性数据存储部时，根据与光学系统的种类相应地分配于特性数据的复原评价值，控制存储于特性数据存储部(42)的特性数据。

Description

图像处理装置、摄像装置、图像处理方法及程序
技术领域
本发明涉及一种基于点扩散函数的复原处理所涉及的图像处理装置、摄像装置、图像处理方法及程序。
背景技术
在经由摄像光学系统而被摄影的被摄体像中，由于由摄像光学系统引起的衍射、像差等的影响，有时会出现点被摄体具有微小的扩散的、所谓的点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF：PointSpreadFunction)，作为影响摄影图像的分辨率劣化(模糊)的参数而被公知。
由于该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理来恢复画质。点像复原处理是如下处理，即，预先求出由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过利用与该点像特性相应的复原滤波器(恢复滤波器)的图像处理来消除摄影图像的点扩散。
对于该点像复原处理，提出有各种方法，例如专利文献1中公开了基于PSF的图像恢复算法的一例。该图像恢复算法中，在透镜侧制作恢复滤波器，将透镜-相机之间的收发数据作为与摄影参数相对应的恢复滤波器，由此实现通信数据量的减少。
并且，专利文献2公开了以实现摄影图像的自动评价为目的的图像摄像装置。该图像摄像装置中，自动评价摄影图像的画质(曝光条件、对比度、模糊及摇动情况)。记录介质的剩余容量为预先设定的容量以下时，根据已记录的摄影图像的评价结果来确定从记录介质删除的候补图像，从删除候补的图像中删除由用户指定的图像。并且，总计删除图像的评价值的频率，将累计频率多的评价值的图像优先设为删除候补。
并且，专利文献3公开了以可靠地获取与透镜单元及相机单元的组合相对应的图像恢复信息为目的的相机单元。该相机单元中，相机未保持安装于相机的透镜的透镜信息时，从相机向透镜输出图像恢复信息的发送请求，相机从透镜接收对应信息。
以往技术文献
专利文献
专利文献1：日本专利公开2011-10214号公报
专利文献2：日本专利公开2010-35177号公报
专利文献3：日本专利公开2011-119874号公报
发明内容
发明要解决的技术课题
如上所述，在去除透镜等光学系统的点扩散现象的影响而获取复原恢复图像的复原处理中，使用适当的复原滤波器是很重要的。复原滤波器及其滤波器系数不仅根据透镜即光学系统的种类而变动，还根据F值等各种摄影条件而变动。因此，为了根据光学系统及摄影条件适当地进行点像复原处理，需要与光学系统及摄影条件相应的复原滤波器，所需的所有复原滤波器的数据量庞大。
另一方面，相机主体在各种制约下未必一定能够搭载充分容量的存储器。因此，为了在相机主体的存储器中存储保持与有可能使用于摄影的所有光学系统相关的复原滤波器，需要存储容量大且尺寸小的昂贵的存储器。
然而，在透镜更换式相机主体中，按摄影条件保持与能够安装的所有透镜即光学系统相关的复原滤波器，实际上是非常困难的。这是因为透镜更换系统中，若将将来的可能性也包含在内，则更换透镜即光学系统与相机主体即机身的组合存在无数种，而能够保存于相机主体的存储器中的数据量上存在限制。
并且，有时不易受到点像复原处理的好处换言之不易受到点像复原处理效果的透镜会包含于更换透镜之中，而且对各个透镜，根据设定、摄影条件，有时也会不易受到复原处理的好处。并且，不仅是“更换透镜”本身，对于“更换透镜及相机主体的组合”，也有不易受到复原处理的好处的组合和摄影条件设定。
如此，将基于点像复原处理的复原效果原本较小的条件下的复原滤波器与基于点像复原处理的复原效果较大的条件下的复原滤波器相同地保持于存储器中，这从复原效果的观点来看，也可被视为浪费存储器容量。
因此，希望有在相机主体存储器的容量有限的情况下，可将安装透镜(光学系统)的复原滤波器有效地存储保持于相机主体存储器的技术。尤其，由于通信障碍、摄影模式等，有时将新的复原滤波器存储于相机主体存储器时会遭遇到困难的状况。希望有即使遭遇这种状况，也能够尽可能防止由点扩散现象导致的画质劣化显著的图像数据未经画质修正而输出于外部的现象。
然而，以往并未提出满足这些要求的技术。
例如专利文献1中公开有保存多个恢复滤波器时进行与摄影模式相应的保存数据的更新的方法。根据该方法，根据“估计的使用频率”来确定所保持的恢复滤波器。例如，在光圈优先模式的情况下，保持作为与同一光圈相关的数据的恢复滤波器，并删除与其他光圈相关的数据。然而，还被称为点扩散现象的点像模糊取决于用于摄影的安装透镜、成像元件等光学摄像硬件、或光圈、变焦等摄影设定条件。因此，“输出图像数据中的点像模糊的程度”与“估计的使用频率和使用履历”之间的相关性较低。因此，即使利用专利文献1的方法，根据使用频率来确定从存储器删除的数据，也并不一定会是将复原效果较大的数据留在相机主体侧的存储器中，不会成为适当的数据压缩。并且，若如专利文献1的方法那样根据估计的使用频率来确定从存储器删除的数据，则有时会删除实际摄影时需要的数据，从而无法对摄影图像数据进行精度良好的复原处理。
并且，在专利文献2及3中也相同，针对将尽可能防止由点扩散现象导致的画质劣化显著的图像数据输出于外部的情况有效的复原滤波器等数据存储保持于相机主体侧的有限的容量的存储器中的技术，既未公开也未启示。
如此，在现有技术中，无法说在与点像复原处理的关联中一定有效地应用了相机主体侧存储器。因此，希望提出“将复原效果较高的透镜的数据优先留在相机主体侧的存储器中，例如，将F值两端侧或焦距等与可估计较高复原效果的复原推荐条件相关的数据更优先留在存储器中的方法”、“相机主体侧的存储器所存储保持的多个透镜的特性数据中，将独立性较高且与其他透镜的特性数据的相关性较低的特性数据优先留在相机主体侧的存储器中的方法”。
本发明是鉴于上述情况而完成的，其目的之一在于，供给一种能够考虑图像复原的程度，并在存储容量有限的存储器即存储部有效地存储保持用于复原处理的光学系统的特性数据的技术。
并且，本发明的目的之一还在于，供给一种能够考虑存储于存储部的处理参数彼此之间的独立性，并在存储容量有限的存储部有效地存储保持用于复原处理的光学系统的特性数据的技术。
用于解决技术课题的手段
本发明的一方式涉及一种图像处理装置，其具备：特性数据存储部，能够存储多种光学系统的特性数据；存储控制部，控制特性数据存储部；及复原处理部，对原图像数据进行利用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，复原处理部根据存储于特性数据存储部的特性数据获取复原滤波器，将特性数据存储于特性数据存储部时，存储控制部根据与光学系统的种类相应地分配于特性数据的复原评价值、且表示基于复原处理的图像复原的程度的复原评价值，控制存储于特性数据存储部的特性数据。
根据本方式，根据表示基于复原处理的图像复原的程度的复原评价值，控制存储于特性数据存储部的特性数据。因此，能够考虑表示图像复原的程度的复原评价值，在存储容量有限的特性数据存储部有效地存储保持复原滤波器等复原处理的处理参数。
在此所说的“复原评价值”是表示复原处理的效果即图像复原的程度的指标，能够从任意观点与光学系统的种类相对应地设定复原评价值。例如，可将预测复原处理前后的图像的变化程度来表示的值作为复原评价值。
优选为，在将特性数据存储于特性数据存储部时，从特性数据存储部删除已被存储在特性数据存储部的特性数据时，存储控制部根据复原评价值，按照基于复原处理的图像复原的程度较小的顺序，从特性数据存储部删除特性数据。
根据本发明，基于复原处理的图像复原的程度相对较大的特性数据优先存储保持于特性数据存储部。
优选为，将特性数据存储于特性数据存储部时，将新的特性数据存储于已被存储在特性数据存储部的特性数据的存储区域时，存储控制部根据复原评价值，从已被存储于特性数据存储部的特性数据的存储区域中，按照基于复原处理的图像复原的程度较小的特性数据的存储区域的顺序，来确定新的特性数据的存储区域。
根据本方式，基于复原处理的图像复原的程度相对较大的特性数据优先存储于特性数据存储部。
优选为，与光学系统的种类相应地设定存储于特性数据存储部的特性数据，按每一种光学系统设定复原评价值，将特性数据存储于特性数据存储部时，从特性数据存储部删除已被存储在特性数据存储部的特性数据时，存储控制部根据复原评价值，与光学系统的种类相应地从特性数据存储部删除特性数据。
根据本方式，能够以“光学系统的种类”为单位，从特性数据存储部删除特性数据。
优选为，与光学系统的种类相应地设定存储于特性数据存储部的特性数据，按每一种光学系统设定复原评价值，将特性数据存储于特性数据存储部时，将新的特性数据存储于已被存储在特性数据存储部的特性数据的存储区域时，存储控制部根据复原评价值，从已被存储于特性数据存储部的特性数据的存储区域中，与针对特性数据设定的光学系统的种类相应地确定新的特性数据的存储区域。
根据本方式，能够以“光学系统的种类”为单位，将特性数据存储于特性数据存储部。
优选为，与光学系统的种类及摄影条件相应地设定存储于特性数据存储部的特性数据，与光学系统的种类及摄影条件相应地设定复原评价值，在将特性数据存储于特性数据存储部时，从特性数据存储部删除已被存储在特性数据存储部的特性数据时，存储控制部根据复原评价值，与光学系统的种类及摄影条件相应地从特性数据存储部删除特性数据。
根据本方式，能够以“光学系统的种类”及“摄影条件”的组合为单位，从特性数据存储部删除特性数据。
在此所说的“摄影条件”是摄影获取原图像数据时的各种条件，可影响原图像数据的画质例如点扩散现象等的程度。因此，可将摄影时的光圈、焦距、被摄体距离等条件作为“摄影条件”。
优选为，与光学系统的种类及摄影条件相应地设定存储于特性数据存储部的特性数据，与光学系统的种类及摄影条件相应地设定复原评价值定，将特性数据存储于特性数据存储部时，将新的特性数据存储于已被存储在特性数据存储部的特性数据的存储区域时，存储控制部根据复原评价值，从已被存储于特性数据存储部的特性数据的存储区域中，与针对特性数据设定的光学系统的种类及摄影条件相应地确定新的特性数据的存储区域。
根据本方式，能够以“光学系统的种类”及“摄影条件”的组合为单位，将特性数据存储于特性数据存储部。
优选为，与光学系统的种类及摄影条件相应地设定存储于特性数据存储部的特性数据，与光学系统的种类及摄影条件相应地设定复原评价值，将特性数据存储于特性数据存储部时，从特性数据存储部删除已被存储于特性数据存储部的特性数据时，存储控制部根据由每一种光学系统的复原评价值计算出的代表值，与光学系统的种类相应地从特性数据存储部删除特性数据。
根据本方式，即使是每一种光学系统的复原评价值根据摄影条件而大幅变动时，也能够根据例如由按每一种光学系统与各个摄影条件相对应的复原评价值计算出的代表值，准确地删除复原效果的程度较弱的光学系统的特性数据。
优选为，与光学系统的种类及摄影条件相应地设定存储于特性数据存储部的特性数据，与光学系统的种类及摄影条件相应地设定复原评价值，将特性数据存储于特性数据存储部时，将新的特性数据存储于已被存储在特性数据存储部的特性数据的存储区域时，存储控制部根据由每一种光学系统的复原评价值计算出的代表值，从已被存储于特性数据存储部的特性数据的存储区域中，与针对特性数据设定的光学系统的种类相应地确定新的特性数据的存储区域。
根据本方式，即使是每一种光学系统的复原评价值根据摄影条件而大幅变动时，也能够根据例如由按每一种光学系统与各个摄影条件对应的复原评价值计算出的代表值，准确地将新的光学系统的特性数据存储于存储有复原效果的程度较弱的光学系统的特性数据的区域。
优选为，代表值为每一种光学系统的复原评价值的平均值、最大值或最小值。
根据本方式，能够根据每一种光学系统的复原评价值的平均值、最大值或最小值，准确地从特性数据存储部删除特性数据，并能够将新的特性数据存储于特性数据存储部。
本发明的其他方式涉及一种图像处理装置，其具备：特性数据存储部，能够存储多种光学系统的特性数据；存储控制部，控制特性数据存储部；及复原处理部，对原图像数据进行利用基于光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，复原处理部根据存储于特性数据存储部的特性数据获取复原滤波器，将特性数据存储于特性数据存储部时，存储控制部根据与光学系统的种类相应地分配于特性数据的独立性评价值、且表示存储于特性数据存储部的特性数据彼此之间的近似度的独立性评价值，控制存储于特性数据存储部的特性数据。
根据本方式，根据表示存储于特性数据存储部的特性数据彼此之间的近似度的独立性评价值，控制存储于特性数据存储部的特性数据。因此，能够考虑存储于特性数据存储部的特性数据彼此之间的近似度即非独立性，并在存储容量有限的特性数据存储部有效地存储保持复原滤波器等复原处理的处理参数。
另外，在此所说的“独立性评价值”是表示存储于特性数据存储部的特性数据彼此之间的独立性的程度即特性数据彼此的非近似度的指标，能够从任意观点按每一种光学系统设定复原评价值。
优选为，将特性数据存储于特性数据存储部时，从特性数据存储部删除已被存储于特性数据存储部的特性数据时，存储控制部根据独立性评价值，按照与存储于特性数据存储部的其他特性数据的近似度较高的顺序，从特性数据存储部删除特性数据。
根据本方式，根据独立性评价值，按照与存储于特性数据存储部的其他特性数据的近似度较高的顺序，从特性数据存储部删除特性数据。因此，能够将与存储于特性数据存储部的其他特性数据的差异度相对较大的特性数据存储保持于特性数据存储部。
优选为，将特性数据存储于特性数据存储部时，将新的特性数据存储于已被存储在特性数据存储部的特性数据的存储区域时，存储控制部根据独立性评价值，在已被存储于特性数据存储部的特性数据的存储区域中，按照与存储于特性数据存储部的其他特性数据的近似度较高的特性数据的存储区域的顺序，确定新的特性数据的存储区域。
根据本方式，根据独立性评价值，从已被存储于特性数据存储部的特性数据的存储区域中，按照与已被存储于特性数据存储部的其他特性数据的近似度较高的特性数据的存储区域的顺序，确定新的特性数据的存储区域。因此，与存储于特性数据存储部的其他特性数据的差异度相对较大的特性数据优先存储保持于特性数据存储部。
优选为，根据与存储于特性数据存储部的特性数据彼此之间的差来确定独立性评价值。
根据本方式，能够由存储于特性数据存储部的特性数据彼此之间差，简单地计算独立性评价值。
优选为，特性数据为表示光学系统的物理特性的数据。
在此所说的“光学系统的物理特性”是有可能影响复原处理、复原滤波器的计算等的光学系统的特性，例如可将光学系统的点扩散函数(PSF)、光学传递函数(OTF：OpticalTransferFunction)作为“光学系统的物理特性”。
优选为，复原处理部由特性数据计算使用于复原处理的处理参数。
根据本方式，通过复原处理部，由上述“光学系统的物理特性”计算出使用于复原处理的处理参数。例如，能够由光学系统的点扩散函数(PSF)、光学传递函数(OTF)计算出复原滤波器、滤波器系数等使用于复原处理的处理参数。
优选为，特性数据为使用于复原处理的处理参数。
根据本方式，无需在复原处理部中计算使用于复原处理的处理参数，能够提高整个复原处理的处理速度。
优选为，存储控制部能够从保持光学系统的特性数据的第1数据源及第2数据源获取光学系统的特性数据，并存储于特性数据存储部，存储控制部计算从第1数据源获取光学系统的特性数据并存储于特性数据存储部所需的估计时间及从第2数据源获取光学系统的特性数据并存储于特性数据存储部所需的估计时间，从第1数据源及第2数据源中估计时间较短的数据源中获取光学系统的特性数据，并存储于特性数据存储部。
根据本方式，在第1数据源及第2数据源中，从获取光学系统的特性数据并存储于特性数据存储部所需的估计时间较短的数据源中获取光学系统的特性数据，并存储于特性数据存储部。因此，能够有效地防止特性数据的获取及存储所需的时间变长，并能够提高用户的便利性。
优选为，存储控制部能够从保持光学系统的特性数据的第1数据源及第2数据源获取光学系统的特性数据，并存储于特性数据存储部，第1数据源未保持光学系统的特性数据时，存储控制部从第2数据源获取特性数据，并存储于特性数据存储部。
根据本方式，在第1数据源及第2数据源中，能够从保持光学系统的特性数据的数据源适当地获取所希望的特性数据。
优选为，将特性数据存储于特性数据存储部时，存储控制部按照基于复原处理的图像复原的程度较大的摄影条件的顺序，将特性数据存储于特性数据存储部。
根据本方式，即使是在特性数据的存储处理在中途中断时，也能够提高图像复原的程度较大的摄影条件的特性数据在中断之前存储于特性数据存储部的概率。由此，即使是在特性数据的存储处理在中途中断时，也能够提高能够执行图像复原的程度较大的复原处理的概率。
优选为，光学系统具有通过调制相位来扩大景深的透镜部。
根据本方式，对于经由所谓的EDoF(ExtendedDepthofField)光学系统而获得的原图像数据，也能够适当地控制存储于特性数据存储部的特性数据。另外，作为调制透镜部中的相位的方法的光学性相位调制机构并无特别限定，能够在透镜之间设置相位调制部，或使透镜本身例如透镜的入射面或输出面具有相位调制功能。
本发明的其他方式涉及一种摄像装置，其能够安装多种光学系统，所述摄像装置具备：成像元件，经由光学系统摄影获取原图像数据；及上述的任意图像处理装置。
根据本方式，能够在摄像装置中控制存储于特性数据存储部的特性数据，并进行上述复原处理。
从特性数据存储部删除已被存储于特性数据存储部的特性数据的情况可以是被安装的光学系统的特性数据并未存储于特性数据存储部的情况。
将新的特性数据存储于已被存储在特性数据存储部的特性数据的存储区域的情况可以是被安装的光学系统的特性数据并未存储于特性数据存储部的情况。
如此，被安装的光学系统的特性数据未存储于特性数据存储部时，需要从特性数据存储部删除特性数据，或者需要将新的特性数据存储于已被存储在特性数据存储部的特性数据的存储区域。
优选为，摄像装置还具备：电池；及电池检测部，检测所述电池的蓄电状态，存储控制部根据电池检测部所检测的电池的蓄电状态，控制存储于特性数据存储部的特性数据的数据量。
根据本方式，电池的蓄电状态较少时，能够不对特性数据存储部进行新的特性数据的存储处理，而使电池的剩余电力使用于摄影处理等优先度更高的处理中。
本发明的其他方式涉及一种图像处理方法，其包含：将光学系统的特性数据存储于能够存储多种光学系统的特性数据的特性数据存储部的步骤；及对原图像数据进行利用根据存储于特性数据存储部的特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，所述图像处理方法中，在将特性数据存储于特性数据存储部的步骤中，根据与光学系统的种类相应地分配于特性数据的复原评价值、且表示基于复原处理的图像复原的程度的复原评价值，控制存储于特性数据存储部的特性数据。
本发明的其他方式涉及一种图像处理方法，其包含：将光学系统的特性数据存储于能够存储多种光学系统的特性数据的特性数据存储部的步骤；及对原图像数据进行利用根据存储于特性数据存储部的特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，所述图像处理方法中，在将特性数据存储于特性数据存储部的步骤中，根据与光学系统的种类相应地分配于特性数据的独立性评价值、且表示存储于特性数据存储部的特性数据彼此之间的近似度的独立性评价值，控制存储于特性数据存储部的特性数据。
本发明的其他方式涉及一种程序，其用于使计算机执行如下步骤：将光学系统的特性数据存储于能够存储多种光学系统的特性数据的特性数据存储部的步骤；及对原图像数据进行利用根据存储于特性数据存储部的特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，所述程序中，在将特性数据存储于特性数据存储部的步骤中，根据与光学系统的种类相应地分配于特性数据的复原评价值、且表示基于复原处理的图像复原的程度的复原评价值，控制存储于特性数据存储部的特性数据。
本发明的其他方式涉及一种程序，其用于使计算机执行如下步骤：将光学系统的特性数据存储于能够存储多种光学系统的特性数据的特性数据存储部的步骤；及对原图像数据进行利用根据存储于特性数据存储部的特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，所述程序中，在将特性数据存储于特性数据存储部的步骤中，根据与光学系统的种类相应地分配于特性数据的独立性评价值、且表示存储于特性数据存储部的特性数据彼此之间的近似度的独立性评价值，控制存储于特性数据存储部的特性数据。
发明效果
根据本发明的一方式，根据表示图像复原的程度的复原评价值控制存储于特性数据存储部的特性数据，因此能够考虑图像复原的程度，并在存储容量有限的特性数据存储部有效地存储保持直接或间接使用于复原处理的特性数据。
并且，根据本发明其他方式，根据表示存储于特性数据存储部的特性数据彼此之间的近似度的独立性评价值，控制存储于特性数据存储部的特性数据。因此，能够考虑存储于特性数据存储部的处理参数彼此之间的独立性，并在存储容量有限的存储部(存储器)有效地存储保持直接或间接使用于复原处理的特性数据。
附图说明
图1是表示连接于计算机的数码相机的概略的框图。
图2是表示相机主体控制器的功能结构例的框图。
图3是表示从图像摄影至点像复原处理为止的概略的图。
图4是表示点像复原处理的一例的概略的框图。
图5是表示点像复原处理部(参考图2)的功能结构的一例的框图。
图6是表示存储控制部的功能结构的一例的框图。
图7(a)是透镜单元的立体图，图7(b)是相机主体的主视图，图7(c)是透镜单元及相机主体的安装前状态的侧视图，图7(d)是安装后状态的侧视图。
图8(a)、图8(b)、图8(c)、图8(d)、图8(e)及图8(f)是例示能够安装于相机主体的透镜单元的图。
图9是表示复原评价值的求出方法的一例的图。
图10是表示复原评价值的求出方法的另一例的图。
图11是表示特性数据存储部的存储数据的一例的图，图11(a)表示确保用于新的透镜单元的特性数据的存储区域之前的状态，图11(b)表示确保用于新的透镜单元的特性数据的存储区域之后的状态。
图12是表示特性数据存储部的存储数据的另一例的图，图12(a)表示确保用于新的透镜单元的特性数据的存储区域之前的状态，图12(b)表示确保用于新的透镜单元的特性数据的存储区域之后的状态。
图13表示第1实施方式中的、新的透镜单元的特性数据在特性数据存储部中的存储与否的判定流程的一例。
图14是表示用于将新的透镜单元的特性数据读入相机主体的存储处理流程的一例的图。
图15表示第2实施方式中的、新的透镜单元的特性数据在特性数据存储部中的存储与否的判定流程的一例。
图16表示F值为“F16”时的“空间频率-响应”关系的一例。
图17表示F值为“F2”时的“空间频率-响应”关系的一例。
图18是表示特性数据存储部的存储数据的一例的图，图18(a)表示确保用于新的透镜单元的特性数据的存储区域之前的状态，图18(b)表示为了确保用于新的透镜单元的特性数据的存储区域而成为删除对象的特性数据，图18(c)表示确保用于新的透镜单元的特性数据的存储区域之后的状态。
图19是表示特性数据存储部的存储数据的另一例的图，图19(a)表示确保用于新的透镜单元的特性数据的存储区域之前的状态，图19(b)表示为了确保用于新的透镜单元的特性数据的存储区域而成为删除对象的特性数据，图19(c)表示确保用于新的透镜单元的特性数据的存储区域之后的状态。
图20表示第3实施方式中的、新的透镜单元的特性数据在特性数据存储部中的存储与否的判定流程的一例。
图21是表示独立性评价值的求出方法的一例的图，表示特性数据存储部所保持的特性数据的图像。
图22表示第4实施方式中的、新的透镜单元的特性数据在特性数据存储部中的存储与否的判定流程的一例。
图23是表示具备EDoF光学系统的摄像模块的一方式的框图。
图24是表示EDoF光学系统的一例的图。
图25是表示基于图23所示的复原处理块的复原处理流程的一例的图。
图26是表示经由EDoF光学系统获取的图像的复原例的图，图26(a)表示复原处理之前的模糊的图像，图26(b)表示复原处理之后的消除模糊的图像(点像)。
图27表示作为本发明的摄像装置的一实施方式的智能手机的外观。
图28是表示图27所示的智能手机的结构的框图。
具体实施方式
参考附图对本发明的实施方式进行说明。以下说明中，作为一例，对将本发明适用于能够与个人计算机等计算机连接的数码相机(摄像装置)的例子进行说明。
＜第1实施方式＞
图1是表示连接于计算机的数码相机的概略的框图。
数码相机10具备可更换的透镜单元12及具备成像元件26的相机主体14，经由透镜单元12的透镜单元输入输出部22及相机主体14的相机主体输入输出部30电连接透镜单元12与相机主体14。
透镜单元12具备透镜16和光圈17等光学系统及控制该光学系统的光学系统操作部18。光学系统操作部18包含连接于透镜单元输入输出部22的透镜单元控制器20、操作光学系统的驱动器(省略图示)及存储保持在后述的点像复原处理中使用的复原滤波器的透镜单元存储器24。
透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14送来的控制信号，经由驱动器控制光学系统，例如进行基于透镜移动的聚焦控制和变焦控制、光圈17的光圈量控制等。并且，透镜单元控制器20根据经由透镜单元输入输出部22从相机主体14送来的控制信号，读出透镜单元存储器24所保持的复原滤波器，经由透镜单元输入输出部22及相机主体输入输出部30送至相机主体控制器28。
透镜单元存储器24保持根据光学系统(尤其是透镜16)的点扩散函数求出的复原滤波器，通过透镜单元控制器20，透镜单元存储器24的复原滤波器被送至相机主体控制器28。复原滤波器可以是频率空间滤波器，也可以是实空间滤波器(参考后述的图4)，例如可由透镜单元存储器24保持频率空间滤波器，由相机主体控制器28由频率空间滤波器计算实空间滤波器。
并且，可代替滤波器系数或处理参数等复原滤波器，从透镜单元存储器24向相机主体控制器28发送在计算复原滤波器时使用的基础数据。即，相机主体控制器28可具有复原滤波器的计算算法，根据从透镜单元存储器24供给的基础数据来计算复原滤波器。作为该基础数据，可使用光学系统(透镜16)本身的物理特性值，例如可适当使用表示光学系统的模糊特性的透镜16的“点扩散函数(PSF)”或“光学传递函数(OTF)”。并且，可将OTF的绝对值成分即表示振幅成分的“MTF(ModulationTransferFunction)”及将相位的偏移表示为空间频率等的函数的“PTF(PhaseTransferFunction)”中的至少一个作为在此所说的基础数据。
另一方面，相机主体14除了具备成像元件26、相机主体控制器28及相机主体输入输出部30之外，还具备电池27、无线通信部29及输入输出界面32。
成像元件26具有聚光用微透镜、RGB等滤色器及图像传感器(光电二极管；CMOS(ComplementaryMetalOxideSemiconductor)、CCD(ChargeCoupledDevice)等)，将经由透镜单元12的光学系统(透镜16、光圈17等)照射的被摄体像的光转换成电信号，将图像信号(原图像数据)送至相机主体控制器28。如此，成像元件26经由光学系统而摄影获取原图像数据，原图像数据被发送至相机主体控制器28的图像处理装置。
电池27为整个数码相机10的电源，其被相机主体控制器28控制而向数码相机10(透镜单元12、相机主体14)的各部分供电。
无线通信部29被相机主体控制器28控制，其在与外部(后述的接入点75等)之间进行无线收发(Wi-Fi通信等)，并进行各种数据的收发。
相机主体控制器28统一控制相机主体14，如图2所示，其具有设备控制部34及图像处理部(图像处理装置)35。
设备控制部34例如能够控制来自成像元件26的图像信号的输出，或生成用于控制透镜单元12的控制信号并经由相机主体输入输出部30发送至透镜单元12(透镜单元控制器20)，或向经由输入输出界面32或无线通信部29连接的外部设备类(计算机60等)发送图像处理前后的图像数据(RAW数据、JPEG数据等)。并且，设备控制部34适当控制未图示的显示部(EVF：ElectronicViewFinder、背面液晶显示部)等数码相机10所具备的各种设备类。
并且，本例的设备控制部34具有检测电池27的蓄电状态的电池检测部37。通过电池检测部37检测出的电池27的蓄电状态的信息(蓄电信息)，根据需要从设备控制部34被发送至图像处理部35。
图像处理部35能够对来自成像元件26的图像信号进行与需要相应的任意图像处理。例如，可在图像处理部35中适当进行传感器校正处理、去马赛克(同步)处理、像素插值处理、色彩校正处理(偏移校正处理、白平衡处理、彩色矩阵处理和/或伽马转换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理和/或轮廓校正处理等)、RGB/YCrCb转换处理及图像压缩处理等各种图像处理。而且，本例的图像处理部35包含对图像信号(原图像数据)适用所谓的点像复原处理的点像复原处理部36。对于点像复原处理的详细内容将进行后述。
如图1所示，在相机主体控制器28中进行了图像处理的图像数据送至连接于输入输出界面32的计算机60等。从数码相机10(相机主体控制器28)送至计算机60等的图像数据的格式并无特别限定，可设为RAW、JPEG(JointPhotographiccodingExpertsGroup)、TIFF等任意格式。因此，相机主体控制器28可以如所谓的Exif(ExchangeableImageFileFormat)那样，将标题信息(摄影信息即摄影日期、机种、像素数及光圈值等)等)、主图像数据及缩略图图像数据等多个相关数据相互建立对应关联来构成为1个图像文件，并将该图像文件发送至计算机60。
计算机60经由相机主体14的输入输出界面32及计算机输入输出部62连接于数码相机10，并接收从相机主体14发送而来的图像数据等数据类。计算机控制器64统一控制计算机60，对来自数码相机10的图像数据进行图像处理或进行与经由互联网70等网络线路连接于计算机输入输出部62的服务器80等进行通信控制。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要显示于显示器66。用户通过确认显示器66的显示的同时操作键盘等输入机构(省略图示)，能够向计算机控制器64输入数据、指令，从而控制计算机60，或控制连接于计算机60的设备类(数码相机10、服务器80)。
服务器80具有服务器输入输出部82及服务器控制器84。服务器输入输出部82构成与计算机60或接入点75等外部设备类的收发连接部。因此，服务器控制器84能够经由服务器输入输出部82及互联网70等网络线路，例如与计算机60的计算机输入输出部62或接入点75(数码相机10的无线通信部29)连接。服务器控制器84根据来自计算机60的控制命令信号，与计算机控制器64协同动作，在与计算机控制器64之间根据需要进行数据类的收发，能够将数据类下载到计算机60，或进行运算处理并将其运算结果发送至计算机60。同样地，服务器控制器84根据来自数码相机10的控制命令信号，与数码相机10的相机主体控制器28协同动作，在与相机主体控制器28之间根据需要进行数据类的收发，能够将数据类下载到相机主体控制器28，或进行运算处理并将其运算结果发送至相机主体控制器28。
另外，各控制器(透镜单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具备控制处理所需的回路类，例如具备运算处理回路(CPU等)、存储器等。并且，数码相机10、计算机60及服务器80之间的通信可以是有线的也可以是无线的。并且，可一体构成计算机60及服务器80，并且也可省略计算机60和/或服务器80。
接着，对经由成像元件26获得的被摄体像的摄像数据(图像数据)的点像复原处理进行说明。
本例中，对在相机主体14(相机主体控制器28)中实施点像复原处理的例子进行说明，但也能够在其他控制器(透镜单元控制器20、计算机控制器64、服务器控制器84等)中实施点像复原处理的全部或一部分。
点像复原处理是对通过利用光学系统(透镜16、光圈17等)的摄影而从成像元件26获取的原图像数据，进行利用基于光学系统的点扩散函数的复原滤波器的点像复原处理，从而获取恢复图像数据的处理。
图3是表示从图像摄影至点像复原处理为止的概略的图。将点像作为被摄体来进行摄影时，被摄体像经由光学系统(透镜16、光圈17等)被成像元件26(图像传感器)接收，并从成像元件26输出原图像数据Do。由于因光学系统的特性导致的点扩散现象，该原图像数据Do成为原来的被摄体像模糊的状态的图像数据。
为了由从该模糊图像的原图像数据Do复原原来的被摄体像(点像)，对原图像数据Do进行利用复原滤波器F的点像复原处理P10，由此获得表示更接近原来的被摄体像(点像)的图像(恢复图像)的恢复图像数据Dr。
点像复原处理P10中使用的复原滤波器F由与获取原图像数据Do时的摄影条件相应的光学系统的点像信息即点扩散函数，通过规定的复原滤波器计算算法P20获得。光学系统的点像信息即点扩散函数不仅根据透镜16的种类而变动，还会根据光圈量、焦距、变焦量、像高、记录像素数、像素间距等各种摄影条件而变动，因此在计算复原滤波器F时，获取这些摄影条件的一部分或全部。
图4是表示点像复原处理的一例的概略的框图。
点像复原处理P10为通过如上述那样使用复原滤波器F的滤波处理来从原图像数据Do创建恢复图像数据Dr的处理，例如由N×M(N及M为2以上的整数)的抽头构成的实空间上的复原滤波器F被适用于处理对象的图像数据。由此，通过将分配给各抽头的滤波器系数和所对应的像素数据(原图像数据Do的处理对象像素数据及相邻像素数据)进行加权平均运算(反卷积运算)，能够计算点像复原处理之后的像素数据(恢复图像数据Dr)。通过依次替换对象像素来将使用了该复原滤波器F的加权平均处理适用于构成图像数据的所有像素数据，由此能够进行点像复原处理。
另外，由N×M的抽头构成的实空间上的复原滤波器能够通过对频率空间上的复原滤波器进行傅里叶逆变换来导出。因此，通过确定成为基础的频率空间上的复原滤波器并指定实空间上的复原滤波器的构成抽头数，能够适当计算实空间上的复原滤波器。
如上所述，通过对原图像数据进行利用复原滤波器的点像复原处理，能够复原成模糊比原图像数据更少的图像(恢复图像数据)，且更接近原来的被摄体像的图像。在相机主体14(相机主体控制器28)中进行该点像复原处理时，要求在相机主体14内保持与光学系统(透镜16)的点扩散函数相关的数据。尤其在可更换透镜系统中，要求将多种光学系统的数据存储保持于相机主体14内。而且，由于点像复原处理所需的数据根据透镜、光圈、焦距等摄影条件而改变，因此在存储器容量的限制上，从最初就将点像复原处理所需的所有数据存储于相机主体14内是非常困难的。
以下的例子中，对如下情况进行说明：在相机主体14侧无法确保为了存储新的透镜单元12的特性数据(光学系统的特性数据)而充分的可存储剩余容量的情况下，即在没有特性数据存储部42的可存储剩余容量或存储容量较少的情况下，需将新的透镜单元12的特性数据存储于相机主体14侧时，优先留下复原效果较大的透镜的数据。
图5是表示点像复原处理部36(参考图2)的功能结构的一例的框图。
本例的点像复原处理部36具有：特性数据存储部42，能够存储多种光学系统的特性数据；存储控制部40，控制特性数据存储部42；及复原运算处理部44，进行原图像数据的点像复原处理。
存储于特性数据存储部42的特性数据可以是表示光学系统的物理特性的数据，即表示透镜单元12(透镜16)本身的物理特性的特性数据，也可以是使用于点像复原处理的处理参数，即图像处理用参数。例如，可将后述的复原运算处理部44中的点像复原处理中使用的复原滤波器(处理参数)或成为复原滤波器的计算的基础的数据(表示光学系统的物理特性的数据：PSF、OTF等)作为特性数据而存储于特性数据存储部42。
复原运算处理部44具有滤波器获取部46及运算部48，其通过进行利用基于光学系统的点扩散函数的复原滤波器的点像复原处理，获取恢复图像数据。
滤波器获取部46(复原运算处理部44)中输入有原图像数据、摄影获取原图像数据时的摄影条件数据及特性数据存储部42所保持的数据信息(存储信息)。滤波器获取部46根据这些输入数据(特性数据存储部42的存储信息、原图像数据及摄影条件数据)判定有无执行点像复原处理，并控制向后级的数据发送。
例如，与被输入的原图像数据及摄影条件数据对应的特性数据(复原滤波器、PSF等)未存储于特性数据存储部42时，滤波器获取部46跳过后级的运算部48中的运算处理(点像复原处理)而将原图像数据送至后级。另一方面，与被输入的原图像数据及摄影条件数据对应的特性数据存储于特性数据存储部42时，滤波器获取部46根据存储于特性数据存储部42的特性数据，获取与原图像数据的摄影条件数据相对应的复原滤波器，并与原图像数据一同将所对应的复原滤波器送至运算部48。
另外，特性数据存储部42所保持的特性数据为“复原滤波器”时，滤波器获取部46根据摄影条件数据从特性数据存储部42读出所对应的复原滤波器，并送至运算部48。另一方面，特性数据存储部42所保持的特性数据为“表示光学系统的物理特性的数据”时，滤波器获取部46由特性数据存储部42所保持的所对应的“表示光学系统的物理特性的数据”计算复原滤波器，并将通过该计算获取的复原滤波器送至运算部48。
运算部48将通过滤波器获取部46获取的复原滤波器适用于原图像数据，由此进行点像复原处理，从而获取及输出恢复图像数据。
另外，向复原运算处理部44(滤波器获取部46、运算部48)供给原图像数据及摄影条件数据的方法并无特别限定。例如，可以是来自成像元件26的原图像数据直接被输入至复原运算处理部44，也可以是暂时存储于其他未图示的存储器的原图像数据及摄影条件数据被输入至复原运算处理部44。并且，可以是摄影条件数据附加于原图像数据的数据(例如Exif数据)被输入至复原运算处理部44，也可以是摄影条件数据与原图像数据被分别输入。
在将新的特性数据(复原滤波器、PSF等)存储于特性数据存储部42时，存储控制部40根据与光学系统(透镜16)的种类相应地分配于特性数据的复原评价值、且表示基于点像复原处理的图像复原的程度的复原评价值，控制存储于特性数据存储部42的特性数据。
图6是表示存储控制部40的功能结构的一例的框图。
存储控制部40具有：存储区域判定部50，控制特性数据存储部42中的特性数据的存储区域(存储器地址)；及存储器通信控制部52，控制与外部的通信。通过这些存储区域判定部50与存储器通信控制部52的协同动作，即使在需将超过相机主体14侧的存储器(特性数据存储部42)的可存储剩余容量的数据量的特性数据重新存储于特性数据存储部42时，也能够有效地应用特性数据存储部42的存储区域。
以下，举出具体例，对存储控制部40(存储区域判定部50、存储器通信控制部52)的作用进行说明。
图7(a)是透镜单元12的立体图，图7(b)是相机主体14的主视图，图7(c)是透镜单元12及相机主体14的安装前状态的侧视图，图7(d)是安装后状态的侧视图。
本例中，如图7所示，在相机主体14的卡口15安装有透镜单元12。在该安装之后，确认透镜单元12(透镜16)的特性数据是否已存储于点像复原处理部36的特性数据存储部42(参考图2及图5)，并根据需要从透镜单元存储器24(参考图1)向特性数据存储部42发送特性数据。
即，存储区域判定部50确认安装于相机主体14的透镜单元12的特性数据是否已保持于特性数据存储部42，当未保持时，将该透镜单元12的特性数据重新写入特性数据存储部42并存储。例如用户拥有多种透镜单元12时，可将未曾安装于相机主体14的新的透镜单元12安装于相机主体14的情况或特性数据存储部42在过去曾存储有所安装的透镜单元12的特性数据但当前并未保持的情况，假定为“需将安装于相机主体14的透镜单元12的特性数据重新写入特性数据存储部42的情况”。
在这种情况下，需重新存储的特性数据的数据量超过相机主体14(特性数据存储部42)的可存储剩余容量时，在特性数据存储部42已保持的特性数据中，在记录有点像复原处理效果相对较小的特性数据的存储器空间存储新的特性数据。
图8(a)、图8(b)、图8(c)、图8(d)、图8(e)及图8(f)表示能够安装于相机主体14的透镜单元12的例子。
与光学系统的种类相对应地设定存储于特性数据存储部42的特性数据。因此，例如假定特性数据存储部42具有能够存储4种类量的透镜单元12的特性数据的存储容量，且透镜单元A～透镜单元D(图8(a)～(d))的特性数据保持于特性数据存储部42的情况。
该情况下，在能够安装于相机主体14的透镜单元12中，透镜单元E(参考图8(e))及透镜单元F(参考图8(f))的特性数据并未存储于特性数据存储部42。关于透镜单元F，过去在特性数据存储部42中存储有相对应的特性数据，但当前时刻在特性数据存储部42中并未存储有相对应的特性数据。另外，透镜单元F在当前时刻并未安装于透镜单元12，因此无需将透镜单元F的特性数据存储于特性数据存储部42。
另一方面，透镜单元E安装于透镜单元12，因此需要将透镜单元E的特性数据存储于特性数据存储部42。然而，特性数据存储部42已保持有4种类量的透镜单元12(透镜单元A～透镜单元D)的特性数据，因此针对新的透镜单元E的特性数据的可存储剩余容量并不充分。因此，为了在特性数据存储部42中确保用于透镜单元E的特性数据的存储区域，需要从特性数据存储部42所保持的特性数据的存储区域中确定存储透镜单元E的特性数据的区域。
本例中，根据按每一种透镜单元12(光学系统)设定的复原评价值，通过存储区域判定部50确定用于新的透镜单元E的特性数据的存储区域。具体而言，为了将新的透镜单元E的特性数据存储于特性数据存储部42，需要从特性数据存储部42删除已被存储于特性数据存储部42的特性数据时，存储控制部40(存储区域判定部50；参考图5)根据复原评价值，与光学系统的种类相应地从特性数据存储部42删除特性数据。并且，为了将新的透镜单元E的特性数据存储于特性数据存储部42，需要将新的特性数据存储于已被存储在特性数据存储部42的特性数据的存储区域时，存储控制部40(存储区域判定部50)根据复原评价值，从已被存储于特性数据存储部42的特性数据的存储区域中，与针对特性数据设定的光学系统的种类相对应地确定新的特性数据的存储区域。
例如，如本例，在能够安装多种透镜单元12(光学系统)的相机主体14(摄像装置)中，可将实际安装的光学系统的特性数据并未存储于特性数据存储部42的情况作为“需要从特性数据存储部42删除已被存储于特性数据存储部42的特性数据的情况”或“需要将新的特性数据存储于已被存储在特性数据存储部42的特性数据的存储区域的情况”。
在此所说的“复原评价值”表示点像复原处理部36中的点像复原处理效果的程度，能够从任意观点按每一种光学系统设定复原评价值。例如，可将以预测值表示点像复原处理前后的图像的变化即画质变化的程度的值作为复原评价值。复原评价值可预先分配于所对应的特性数据，也可以通过点像复原处理部36(存储控制部40或滤波器获取部46等)分配于所对应的特性数据。
图9是表示复原评价值的求出方法的一例的图。图9中，横轴表示“空间频率”，纵轴表示“响应(图像数据)”，点像复原处理之前的图像数据即原图像数据通过“复原处理关闭”表示，点像复原处理之后的图像数据即恢复图像数据通过“复原处理开启”表示。图9所示的例子中，根据规定频率fd下的点像复原处理前后的图像数据设定“复原评价值”。具体而言，对于点像复原处理之前的图像数据及点像复原处理之后的图像数据，能够根据某一频率fd下的响应的比或差设定“复原评价值”。另外，规定频率fd可根据视觉特性等适当设定。
图10是表示复原评价值的求出方法的另一例的图。图10中的标记的意义与图9中的标记的意义相同，但图10所示的例子中，根据具有规定宽度的频带中的点像复原处理前后的图像数据设定“复原评价值”。具体而言，对于点像复原处理之前的图像数据及点像复原处理之后的图像数据，能够根据具有一定带宽的整个频率区域的响应之差的累积值(参考图10的斜线部分)等设定“复原评价值”。
另外，“复原评价值”的求出方法并不限定于图9和图10所示的例子，例如，也可以根据点像复原处理前后的图像数据中的噪声的抑制程度(例如色差的抑制程度等)设定“复原评价值”。存在多种构成复原评价值的基础的指标(基础数据)时，能够将加权相加各个指标的综合性值用作表示点像复原处理效果程度的复原评价值。
图11是表示特性数据存储部42的存储数据的一例的图，图11(a)表示确保用于新的透镜单元E的特性数据的存储区域之前的状态，图11(b)表示确保用于新的透镜单元E的特性数据的存储区域之后的状态。
图11所示的例子中，透镜单元A的复原评价值为“100”，透镜单元B的复原评价值为“80”，透镜单元C的复原评价值为“60”，透镜单元D的复原评价值为“50”，透镜单元E的复原评价值为“40”。另外，本例中，越是复原评价值大的透镜单元12的特性数据，所带来的点像复原处理效果越大。
此时，透镜单元E的复原评价值最低而点像复原处理效果也最小，但透镜单元E已安装于相机主体14，因此透镜单元E的特性数据比其他透镜单元的特性数据更优先存储于特性数据存储部42。因此，在存储于特性数据存储部42的特性数据中，需要将与任意一种类量的透镜单元12相关的特性数据的存储区域设定为透镜单元E的特性数据的存储区域。本例中，在存储于特性数据存储部42的特性数据的存储区域中，按照复原评价值较小的顺序，设定为用于新的透镜单元E的特性数据的存储区域。例如，图11所示的例子中，存储于特性数据存储部42的特性数据中与复原评价值最小的透镜单元D相关的特性数据的存储区域应用为用于新的透镜单元E的特性数据的存储区域。因此，图11所示的例子中，若新的透镜单元E安装于相机主体14，则特性数据存储部42中存储保持透镜单元A、透镜单元B、透镜单元C及透镜单元E的特性数据(参考图11(b))。
图12是表示特性数据存储部42的存储数据的其他例的图，图12(a)表示确保用于新的透镜单元E的特性数据的存储区域之前的状态，图12(b)表示确保用于新的透镜单元E的特性数据的存储区域之后的状态。图12所示的例子中，透镜单元E的复原评价值为“90”，但与图11所示的例子同样地，已安装于相机主体14的透镜单元E的特性数据优先存储于特性数据存储部42。并且，存储于特性数据存储部42的特性数据中与复原评价值最小的透镜单元D相关的特性数据的存储区域应用为用于新的透镜单元E的特性数据的存储区域。因此，在图12所示的例子中，若新的透镜单元E安装于相机主体14，则特性数据存储部42中也存储保持透镜单元A、透镜单元B、透镜单元C及透镜单元E的特性数据(参考图12(b))。
另外，在透镜单元E被安装于相机主体14期间，从透镜单元存储器24(参考图1)读出新的透镜单元E的特性数据，并经由透镜单元控制器20、透镜单元输入输出部22、相机主体输入输出部30而供给至存储控制部40(相机主体控制器28)，在存储控制部40的控制下存储于特性数据存储部42。新的透镜单元E的特性数据可从透镜单元存储器24以外的部分获取，还能够从有线连接或无线连接于相机主体控制器28(存储控制部40)的任意设备类获取。因此，例如，可经由无线通信部29及接入点75(参考图1)从服务器80(服务器控制器84)获取新的透镜单元E的特性数据，并存储于特性数据存储部42。并且，可经由输入输出界面32及计算机输入输出部62(参考图1)从计算机60(计算机控制器64)获取新的透镜单元E的特性数据，并存储于特性数据存储部42。
如上所述，相机主体14侧(特性数据存储部42)并不具有当前安装于相机主体14的透镜单元12的特性数据时，需要将该透镜单元12的特性数据读入到特性数据存储部42。若相机主体14侧(特性数据存储部42)的空闲存储容量中有富余，则能够在空闲存储区域读入新的透镜单元12的特性数据。然而，在空闲存储容量中没有富余时，即以空闲存储容量无法处理新的透镜单元12的特性数据时，需要删除特性数据存储部42已具有的一部分特性数据。特性数据中分配有表示在点像复原处理中使用时的图像复原处理的效果程度的复原评价值。新的透镜单元12已安装于相机主体14时，根据复原评价值，从特性数据存储部42已具有的特性数据中按照效果较小的顺序删除特性数据，新的透镜单元12的特性数据被读入到特性数据存储部42。另外，重新安装于相机主体14的透镜单元12会在最近的摄影中使用，因此与点像复原处理的效果大小无关地，所对应的特性数据被读入到特性数据存储部42。
图13表示第1实施方式中的、新的透镜单元E的特性数据在特性数据存储部42中的存储与否的判定流程的一例。
首先，通过存储控制部40获取安装于相机主体14的透镜单元12(安装透镜：光学系统)的种类的信息(图13的S1)，通过存储控制部40判定与被安装的透镜单元12对应的特性数据是否已存储保持于特性数据存储部42(S2)。当判定为与被安装的透镜单元12对应的特性数据存储保持于特性数据存储部42时(S2的是)，无需在特性数据存储部42中存储对应的特性数据，因此本处理流程结束。
另一方面，当判定为与被安装的透镜单元12对应的特性数据并未存储保持于特性数据存储部42时(S2的否)，通过存储控制部40判定特性数据存储部42是否具有为了存储新的透镜单元E的特性数据而充分的空闲容量(可存储剩余容量)(S3)。
当判定为特性数据存储部42不具有充分的空闲容量时(S3的否)，在存储控制部40(存储区域判定部50)的控制下，按照复原效果较小的顺序，从特性数据存储部42删除透镜单元12的特性数据(S4)。即，将新的特性数据存储于特性数据存储部42时，需要从特性数据存储部42删除已被存储于特性数据存储部42的特性数据时，存储控制部40根据复原评价值，按照基于点像复原处理的图像复原的程度较小的顺序，从特性数据存储部42删除特性数据。由此，特性数据存储部42中确保用于存储新的透镜单元E的特性数据的空间(存储容量)。另外，从特性数据存储部42删除的特性数据的数据量与重新存储于特性数据存储部42的特性数据的数据量相对应。
存储于特性数据存储部42的一部分特性数据被删除之后，在存储控制部40(存储区域判定部50)的控制下，新的透镜单元E的特性数据被存储于特性数据存储部42的空闲空间(S5)。即，将新的特性数据存储于特性数据存储部42时，需要将新的特性数据存储于已被存储在特性数据存储部42的特性数据的存储区域时，本例的存储控制部40根据复原评价值，从已被存储于特性数据存储部42的特性数据的存储区域中，按照基于点像复原处理的复原效果的程度较小的特性数据的存储区域的顺序，确定新的特性数据的存储区域。
另一方面，当判定为特性数据存储部42具有充分的空闲容量时(S3的是)，在存储控制部40的控制下，新的透镜单元E的特性数据被存储于特性数据存储部42的空闲容量(空闲存储器空间)(S5)。
如上所述，能够在判定是否将新的透镜单元E的特性数据读入到特性数据存储部42的基础上，将新的透镜单元E的特性数据存储保持于特性数据存储部42。另外，图13中示出了从特性数据存储部42删除特性数据(S4)之后存储新的特性数据(S5)的例子，但也可以不删除特性数据，即跳过步骤S4而在特性数据存储部42的所对应的存储区域覆写保存新的特性数据。
本例中，在将新的透镜单元E的特性数据读入到特性数据存储部42时，还根据是否为以被摄体像的摄影为优先的模式，变更特性数据的读入方式。
图14是表示用于将新的透镜单元12的特性数据读入到相机主体14的存储处理流程的一例的图。
图14所示的例子中，在摄影优先模式时，在所有的特性数据被读入到特性数据存储部42之前，由用户命令进行摄影时，若相应的摄影条件的特性数据已读入到特性数据存储部42，则进行开启点像复原处理的信号处理即图像处理。另一方面，相应的摄影条件的特性数据还未读入到特性数据存储部42时，进行关闭点像复原处理的不进行点像复原处理的信号处理即图像处理。
具体而言，首先，通过存储器通信控制部52(存储控制部40；参考图6)确认数码相机10中的摄影模式，并通过存储器通信控制部52判定是否为摄影(快门释放)优先模式(图14的S11)。另外，摄影模式能够由用户经由摄影模式选择转盘(摄影条件设定操作部)13(参考图7)等适当设定。通过设备控制部34(参考图2)检测由用户进行的模式设定，根据该检测结果，存储器通信控制部52能够判定是否为摄影优先模式。
另外，在此所说的“摄影优先模式”是以被摄体像的摄影为优先的模式，是比“与新的透镜单元相关的特性数据向特性数据存储部42的读入”更优先“被摄体像的摄影”的模式。因此，摄影模式不是“摄影优先模式”时(S11的否)，在存储控制部40(存储区域判定部50)的控制下，确定用于新的透镜单元E的特性数据的存储区域，新的透镜单元E的特性数据的所有数据被存储于特性数据存储部42(S13)，存储处理结束。另外，不是“摄影优先模式”时，即使在特性数据向特性数据存储部42的存储处理的中途，有来自用户的摄影命令，也可以继续进行特性数据向特性数据存储部42的存储处理。
另一方面，摄影模式为“摄影优先模式”时(S11的是)，通过存储器通信控制部52判定有无来自用户的摄影命令，具体而言，判定是否通过用户进行了释放的操作(S12)。另外，释放能够由用户经由快门按钮(摄影命令操作部)11等进行操作。通过设备控制部34(参考图2)检测有无快门按钮11的操作，根据该检测结果，存储器通信控制部52能够判定是否通过用户进行了释放的操作。
未通过用户进行释放操作时(S12的否)，在存储控制部40(存储区域判定部50)的控制下，新的透镜单元E的特性数据被存储于特性数据存储部42(S15)。另外，在该步骤中存储于特性数据存储部42的特性数据的数据量(存储数据量D0)为任意，可以是预先设定的数据量，也可以是与情况相应的可变数据量。例如，可考虑由用户进行的摄影命令到实际的摄影为止的时间来设定本步骤的存储数据量D0。并且例如，在执行本步骤期间通过用户的释放操作生成了摄影命令时，能够在从摄影命令至本步骤结束为止的时间即摄影待机时间不会给用户带来烦恼的范围内设定本步骤中的特性数据存储量，并将本步骤的存储数据量D0确定为不会过分阻碍被摄体像的摄影的数据量。并且，也可以根据其他处理的进行状态确定本步骤的存储数据量D0。
若在步骤S15中完成特性数据在特性数据存储部42中的存储，则可通过存储控制部40(存储区域判定部50)判定是否已将新的透镜单元E的所有特性数据存储于特性数据存储部42(S19)。结束新的透镜单元E的所有特性数据在特性数据存储部42中的存储时(S19的是)，本处理流程结束。另一方面，未完成新的透镜单元E的所有特性数据在特性数据存储部42中的存储时(S19的否)，返回上述的步骤S12的处理，判定有无释放操作。
另一方面，通过用户进行了释放操作时(S12的是)，与释放操作相应地进行被摄体像的摄影，从而获取原图像数据(S14)。并且，通过滤波器获取部46(参考图5)判定与所获取的原图像数据的摄影条件相对应的特性数据是否已被存储于特性数据存储部42(S16)。关于在此所说的摄影条件，具体而言，将光圈、焦距、被摄体距离等条件假定为摄影条件，分别根据这些条件判定所对应的特性数据是否已被存储于特性数据存储部42。
当判定为所对应的特性数据已被存储于特性数据存储部42时(S16的是)，从滤波器获取部46向运算部48发送原图像数据及复原滤波器，在运算部48中进行针对原图像数据的点像复原处理(S18)。另一方面，当判定为所对应的特性数据未存储于特性数据存储部42时(S16的否)，跳过运算部48而不进行点像复原处理，从滤波器获取部46向运算部48的后级发送原图像数据(S17)。恢复图像数据及原图像数据被送至点像复原处理部36的后级之后，返回上述的步骤S12，进行与新的透镜单元E相关的特性数据向特性数据存储部42的存储处理。
另外，上述例子中，当判定为所对应的特性数据未存储于特性数据存储部42时(S16的否)不进行点像复原处理(S17)，但此时，可根据已被存储于特性数据存储部42的特性数据，在运算部48进行点像复原处理。即，当判定为所对应的特性数据未存储于特性数据存储部42时(S16的否)，滤波器获取部46例如可以从存储于特性数据存储部42的特性数据中，选定与能够代用的复原滤波器相关的特性数据，由该选定的特性数据获取能够代用的复原滤波器，将该复原滤波器及原图像数据送至运算部48，从而进行原图像数据的点像复原处理。
另外，能够代用的复原滤波器的确定方法并无特别限定，能够利用任意方法。例如，滤波器获取部46可以在特性数据存储部42所保有的特性数据中，由如下透镜单元12的特性数据确定上述的“能够代用的复原滤波器”，所述透镜单元12的特性数据具有与从原图像数据的摄影条件数据导出的透镜单元12的特性最接近的特性。作为这种特性，例如可举出点扩散函数(PSF、OTF等)，滤波器获取部46可以将与由最近似于从图像数据的摄影条件数据导出的点扩散函数(PSF、OTF等)的点扩散函数相对应的复原滤波器确定为“能够代用的复原滤波器”。并且，也可以根据透镜单元12(透镜16)的种类和摄影条件，并根据显示与从原图像数据的摄影条件数据导出的透镜单元12的特性最接近的特性的特性数据，获取“能够代用的复原滤波器”。并且，也可以预先设定基于上述显示最接近的特性的特性数据的“能够代用的复原滤波器”。即，可以与原图像数据的摄影条件数据无关地，在上述步骤S16中以否表示的情况下执行利用预先设定的“能够代用的复原滤波器”或“从能够代用的特性数据导出的复原滤波器”的原图像数据的点像复原处理。
如以上说明，根据本实施方式，能够优先使点像复原处理效果比较大的透镜单元12的特性数据留在相机主体14侧(特性数据存储部42)。即，从相机主体14侧(特性数据存储部42)优先删除点像复原处理效果比较小的透镜单元12的特性数据，安装于相机主体14的透镜单元12的特性数据被写入到存储有点像复原处理效果比较小的透镜单元12的特性数据的存储器空间。由此，能够降低画质劣化场景即由于未进行点像复原处理而引起的画质劣化显著的场景中的劣化图像数据的输出率，能够作为系统整体而减少时间和电力的消耗量，并能够减少用户等待摄影的时间和频率。
可以考虑在摄影之前和图像数据记录前等各种时刻实施与新的透镜单元12相关的特性数据的读入工作，但无论在哪一时刻实施读入工作，均要求不得妨碍用户的快门时机。因此，从不妨碍快门时机的观点出发，有如下趋势，即与比其他处理更优先进行特性数据的读入处理的模式(例如，在特性数据的存储处理期间保留快门释放来等待摄影的模式)相比，摄影优先模式(例如，通过用户执行由释放操作等生成的摄影命令时，中断特性数据的读入处理或跳过点像复原处理而输出图像数据的模式)的使用频率更高。
假设根据“使用频率”确定相机主体14侧(特性数据存储部42)的特性数据的存储区域即数据删除区域时，会导致画质劣化比较大的图像数据的输出概率变高。即，根据“使用频率”确定作为数据删除区域的特性数据的存储区域时，与点像复原处理效果无关地确定保持于特性数据存储部42的特性数据，因此未必一定是点像复原处理效果较大的特性数据被保持于特性数据存储部42。因此，可设想在摄影优先模式中执行来自用户的摄影命令时，并不一定是点像复原处理效果较大的特性数据被保持于特性数据存储部42，经常会产生不得不输出画质劣化较大的图像数据的情况。
然而，根据本实施方式，以往曾经存储于相机主体14侧(特性数据存储部42)的能够期待较高点像复原处理效果的透镜单元12的特性数据留在相机主体14侧(特性数据存储部42)的可能性较高。因此，即使在摄影优先模式中，也能够降低不进行点像复原处理而输出画质劣化的程度较大的图像(原图像数据)的频率。并且，在以特性数据的读入处理为优先的模式中，也能够降低“在将与能够期待比较高的点像复原处理效果的透镜单元12相关的特性数据读入到相机主体14侧(特性数据存储部42)的期间，使用户等待”的频率。
另一方面，对于点像复原处理效果比较小的透镜单元12的特性数据，若与点像复原处理效果比较大的透镜单元12的特性数据进行比较，则有数据向相机主体14侧(特性数据存储部42)的读入工作频率变高的可能性。但是，假设点像复原处理效果比较小的透镜单元12的特性数据的读入被中断，特性数据存储部42不具有所对应的特性数据，从而输出未进行点像复原处理的图像(原图像数据)时，画质劣化也较轻微。如此，通过将点像复原处理效果较大的透镜单元12的特性数据优先留在相机主体14侧(特性数据存储部42)，能够实现系统的最佳化。
＜第2实施方式＞
本实施方式中，对于与上述的第1实施方式相同的构成要件，标注相同符号，并省略详细说明。
第1实施方式中示出了根据按“透镜单元12”设定的复原评价值确定透镜单元12的特性数据的存储区域的例子，但本实施方式中，根据基于“透镜单元12的种类及摄影条件”而设定的复原评价值，设定特性数据的存储区域。因此，本实施方式中，点像复原处理效果较大的摄影条件的特性数据优先留在特性数据存储部42(参考图5)。
图15表示第2实施方式中的、新的透镜单元12的特性数据在特性数据存储部42中的存储与否的判定流程的一例。
本例中，与上述的第1实施方式(图13的S1～S3)同样地，通过存储控制部40获取被安装于相机主体14的透镜单元12的种类(图15的S21)，并通过存储控制部40判定与被安装的透镜单元12相对应的特性数据是否已存储保持于特性数据存储部42(S22)。并且，当判定为与被安装的透镜单元12相对应的特性数据未存储保持于特性数据存储部42时(S2的否)，通过存储控制部40判定特性数据存储部42是否具有为了存储新的透镜单元的特性数据而充分的空闲容量(可存储剩余容量)(S23)。
当判定为特性数据存储部42的空闲容量不充分时(S23的否)，本实施方式中，在存储控制部40(存储区域判定部50)的控制下，根据通过透镜单元12的种类及摄影条件设定的复原评价值，从特性数据存储部42删除点像复原处理效果相对较小的摄影条件的特性数据(S24)。
另外，本实施方式中的“复原评价值”也与上述的第1实施方式同样地，表示点像复原处理部36(参考图2及图5)中的点像复原处理效果程度，能够从任意观点按每一种光学系统设定复原评价值。
图16及图17是表示复原评价值的求出方法一例的图，图16表示F值为“F16”时的“空间频率-响应”关系的一例，图17表示F值为“F2”时的“空间频率-响应”关系的一例。另外，图16及图17中的标记的意义与图9中的标记的意义相同。
本例中，能够根据规定频率fd下的点像复原处理前后的图像数据，按每一F值设定“复原评价值”，根据某一频率fd下的响应的比或差设定每一F值的“复原评价值”。根据例如图16及图17所示的例子，F16(图16)时与F2(图17)时相比，点像复原处理前后的图像数据的差和比更大。因此，表示“F16时与F2时相比，点像复原处理效果更大”的复原评价值分配于每一摄影条件(F值)。
另外，本例中，根据“透镜单元12的种类及F值”设定复原评价值，但也可以根据F值以外的摄影条件数据(例如光圈量、焦距、变焦量、像高、记录像素数、像素间距等)中的一个或多个条件来设定复原评价值。并且，可以根据点像复原处理前后的图像数据中的噪声的抑制程度(例如色差的抑制程度等)设定“复原评价值”，还可以将通过加权相加多个指标(基础数据)来获得的综合性值用作“复原评价值”。
并且，在图15的步骤S24之后，在存储控制部40(存储区域判定部50)的控制下，在存储有“点像复原处理效果相对较小的摄影条件的特性数据”的特性数据存储部42的存储区域写入新的透镜单元12的特性数据(S25)。
另外，将特性数据存储于特性数据存储部42时，本例的存储控制部40根据复原评价值，按照基于点像复原处理的图像复原的程度较大的摄影条件的顺序，将特性数据存储于特性数据存储部42。即，根据复原评价值，在与新的透镜单元12相关的特性数据中，从点像复原处理效果相对较大的摄影条件的特性数据开始依次写入到特性数据存储部42。因此，根据例如图16及图17所示的例子，F16的特性数据比F2的特性数据更先写入到特性数据存储部42。
如此，从点像复原处理效果较大的摄影条件的特性数据开始依次从透镜单元12(透镜单元存储器24)向相机主体14(相机主体控制器28)发送特性数据。由此，即使与新的透镜单元12相关的特性数据向特性数据存储部42的写入(通信)在中途中断，点像复原处理效果相对较大的摄影条件的特性数据在中断之前被写入到特性数据存储部42的概率也会提高。因此，其结果，能够提高能够对通过“通过点像复原处理可估计相对较大的画质提高的摄影条件”摄影获取的原图像数据实施点像复原处理的概率。
如此，本例中，与透镜单元12(光学系统)的种类及摄影条件相应地设定存储于特性数据存储部42的特性数据。并且，与透镜单元12(光学系统)的种类及摄影条件相应地设定复原评价值。并且，将特性数据存储于特性数据存储部42时，需要从特性数据存储部42删除已被存储于特性数据存储部42的特性数据时，存储控制部40根据复原评价值，与光学系统的种类及摄影条件相应地从特性数据存储部42删除特性数据。并且，将特性数据存储于特性数据存储部42时，需要将新的特性数据存储于已被存储在特性数据存储部42的特性数据的存储区域时，存储控制部40根据复原评价值，从已被存储于特性数据存储部42的特性数据的存储区域中，与针对特性数据设定的光学系统的种类及摄影条件相应地确定新的特性数据的存储区域。
图18是表示特性数据存储部42的存储数据的一例的图，图18(a)表示确保用于新的透镜单元的特性数据的存储区域之前的状态，图18(b)表示为了确保用于新的透镜单元的特性数据的存储区域而成为删除对象的特性数据，图18(c)表示确保用于新的透镜单元的特性数据的存储区域之后的状态。
图18所示的例子中，透镜单元A(参考图18的“透镜A”)及透镜单元B(参考图18的“透镜B”)的特性数据被存储于特性数据存储部42，按每一F值(F16、F8、F4、F2)分配有复原评价值。在这种情况下，假定透镜单元C(参考图18的“透镜C”)重新安装于相机主体14，需要将透镜单元C的特性数据存储于特性数据存储部42的情况。此时，根据复原评价值确定特性数据存储部42中的“透镜单元C的特性数据的存储区域”。具体而言，从特性数据存储部42删除相当于透镜单元C的特性数据的数据量的“复原评价值相对较小(点像复原处理效果相对较小)的特性数据”，在该被删除的存储区域写入透镜单元C的特性数据。图18的例子中，“透镜单元A、F4”、“透镜单元A、F2”、“透镜单元B、F4”及“透镜单元B、F2”的特性数据成为删除对象(参考图18(b))。
另外，用于新的透镜单元C的特性数据的存储区域的确定方法并无特别限定。例如，如图18(b)所示，可根据复原评价值对特性数据进行分类，并在分类之后求出相当于新的透镜单元C的特性数据的数据量的存储区域。如此，通过与透镜单元12(光学系统)的种类无关地，根据每一摄影条件的点像复原处理效果的大小，对特性数据存储部42所存储的特性数据进行分类，从而能够简单地确定透镜单元C的特性数据的存储区域。
通过在如此设定的特性数据存储部42的存储区域写入新的透镜单元C的特性数据，能够使点像复原处理效果较高的“透镜单元及摄影条件(F值)”的特性数据留在特性数据存储部42，同时将新的透镜单元C的特性数据存储于特性数据存储部42(参考图18(c))。这样，点像复原处理效果较大的“透镜单元及摄影条件”的特性数据优先留在特性数据存储部42。另外，将新的透镜单元12的特性数据读入到特性数据存储部42时，根据复原评价值，从点像复原处理效果较大的摄影条件的特性数据开始依次被读入。因此，在图18所示的例子中，透镜单元C的特性数据以“F16的特性数据”、“F8的特性数据”、“F4的特性数据”及“F2的特性数据”的顺序写入到特性数据存储部42。
如上所述，图18所示的例子中，确定用于新的透镜单元12的特性数据的存储区域时，同等地处理“透镜单元的种类”及“摄影条件数据(F值)”。确定新的透镜单元12的特性数据的存储区域的方法并不限定于该图18的例子，也可在“透镜单元的种类”与“摄影条件数据(F值)”之间附加优劣来确定新的透镜单元12的特性数据的存储区域。
图19是表示特性数据存储部42的存储数据的其他例的图，图19(a)表示确保用于新的透镜单元的特性数据的存储区域之前的状态，图19(b)表示为了确保用于新的透镜单元的特性数据的存储区域而成为删除对象的特性数据，图19(c)表示确保用于新的透镜单元的特性数据的存储区域之后的状态。
图19所示的例子中，将特性数据存储于特性数据存储部42时，需要从特性数据存储部42删除已被存储于特性数据存储部42的特性数据时，存储控制部40根据由每一种透镜单元12(光学系统)的复原评价值计算出的代表值，与光学系统的种类相应地从特性数据存储部删除特性数据。并且，将特性数据存储于特性数据存储部42时，需要将新的特性数据存储于已被存储在特性数据存储部42的特性数据的存储区域时，存储控制部40根据由每一种透镜单元12(光学系统)的复原评价值计算出的代表值，从已被存储于特性数据存储部42的特性数据的存储区域中，与针对特性数据设定的透镜单元12(光学系统)的种类相应地确定新的特性数据的存储区域。
具体而言，以“透镜单元12单位”进行存储于特性数据存储部42的特性数据的分类，之后，以“摄影条件(F值)单位”进行存储于特性数据存储部42的特性数据的分类。“透镜单元12单位”的分类以与各透镜单元12相关的一个或多个摄影条件对应地设定的复原评价值的代表值为关键来进行。该“代表值”为每一种透镜单元12(光学系统)的点像复原处理效果的评价值，例如能够将每一种透镜单元12(光学系统)的复原评价值的平均值、最大值、最小值等用作“代表值”。另外，可在存储控制部40(存储区域判定部50)中适当进行上述特性数据的分类和代表值的计算。
如上述所述，确定新的透镜单元C的特性数据的存储区域时，与特性数据存储部42所存储的特性数据相关地求出每一种透镜单元12的复原评价值的代表值。图19(b)所示的例子中，求出透镜单元A及透镜单元B的复原评价值的平均值及最大值，以透镜单元12单位对特性数据进行分类，进一步对透镜单元A及透镜单元B的每一个，以摄影条件(F值)单位进行特性数据的分类。并且，确定相当于新的透镜单元C的特性数据的数据量的“复原评价值相对较小即点像复原处理效果相对较小的特性数据”(图19所示的例子中为“透镜单元B、F8”、“透镜单元B、F4”及“透镜单元B、F2”的特性数据)。从特性数据存储部42删除所确定的这些特性数据，在已删除特性数据的存储区域写入透镜单元C的特性数据。
如以上说明，根据本实施方式，点像复原处理效果较大的摄影条件的特性数据优先留在特性数据存储部42(相机主体14)，因此能够减少画质劣化场景的输出率、时间/电力的消耗、用户等待摄影等不良情况。
＜第3实施方式＞
本实施方式中，对于与上述的实施方式相同的构成要件标注相同符号，并省略详细说明。
本实施方式中也与上述第1实施方式及第2实施方式同样地，相机主体14(特性数据存储部42)不具有重新安装于相机主体14的透镜单元12的特性数据时，需要将新的透镜单元12的特性数据读入到特性数据存储部42。并且，若相机主体14(特性数据存储部42)的空闲存储器容量中有富余，则能够将新的透镜单元12的特性数据写入到空闲存储区域，但空闲存储器容量中没有富余(无法确保相当于新的透镜单元12的特性数据的数据量的空闲存储器容量)时，需要将新的透镜单元12的特性数据写入到特性数据存储部42已具有的特性数据的存储区域。此时，本实施方式中，在特性数据存储部42所保持的特性数据中，将独立性较大的特性数据优先留在特性数据存储部42，并优先从特性数据存储部42删除独立性较小的特性数据。另外，已安装于相机主体14的透镜单元12的特性数据可使用于最近的摄影图像(原图像数据)的点像复原处理，因此与独立性的大小无关地被存储于相机主体14(特性数据存储部42)。
即，第1实施方式及第2实施方式中示出了根据“点像复原处理效果(复原评价值)”确定透镜单元12的特性数据的存储区域的例子，但本实施方式中，根据特性数据存储部42所存储保持的特性数据之间的“独立性(独立性评价值)”确定透镜单元12的特性数据的存储区域。具体而言，将特性数据存储于特性数据存储部42时，存储控制部40(参考图5)根据与透镜单元12(光学系统)的种类相应地分配于特性数据的独立性评价值、且表示存储于特性数据存储部42的特性数据彼此之间的近似度的独立性评价值，控制存储于特性数据存储部42的特性数据。
图20表示第3实施方式中的、新的透镜单元12的特性数据在特性数据存储部42中的存储与否的判定流程的一例。
本例中也与上述的第1实施方式(图13的S1～S3)同样地，通过存储控制部40获取被安装于相机主体14的透镜单元12的种类(图20的S31)，并通过存储控制部40判定与被安装的透镜单元12相对应的特性数据是否已存储保持于特性数据存储部42(S32)。并且，当判定为与被安装的透镜单元12相对应的特性数据未存储保持于特性数据存储部42时(S32的否)，通过存储控制部40判定特性数据存储部42是否具有为了存储新的透镜单元的特性数据而充分的空闲容量即可存储剩余容量(S33)。
特性数据存储部42的空闲容量并不充分时(S33的否)，本实施方式中，在存储控制部40(存储区域判定部50)的控制下，根据与透镜单元12的种类相应地设定的独立性评价值，从特性数据存储部42删除独立性相对较小的透镜单元12(光学系统)的特性数据(S34)。
另外，本实施方式中的“独立性评价值”表示特性数据存储部42所保持的特性数据彼此之间的独立性。
图21是表示独立性评价值的求出方法的一例的图，且表示特性数据存储部42所保持的特性数据的图像。图21所示的例子中，假定在透镜单元A(参考图21的“透镜A”)、透镜单元B(参考图21的“透镜B”)及透镜单元C(参考图21的“透镜C”)的特性数据被存储于特性数据存储部42的状态下，将透镜单元D(参考图21的“透镜D”)重新安装于透镜单元12，并需要将透镜单元D的特性数据存储于特性数据存储部42的情况。另外，图21中的标记的意义与图9等中的标记的意义相同。
此时，通过存储控制部40根据分配于各透镜单元12的独立性评价值，检查存储于特性数据存储部42的透镜单元A、透镜单元B及透镜单元C彼此之间的独立性。具体而言，能够根据存储于特性数据存储部42的特性数据彼此之间的差(响应差)，确定各透镜单元12的独立性评价值。
例如，以“Ra”表示透镜单元A的代表性响应(图像数据)，以“Rb”表示透镜单元B的代表性响应，以“Rc”表示透镜单元C的代表性响应(图像数据)时，能够通过“Da＝(Rb-Ra)2+(Rc-Ra)2”求出透镜单元A的独立性评价值Da。同样地，能够通过“Db＝(Ra-Rb)2+(Rc-Rb)2”及“Dc＝(Rc-Ra)2+(Rc-Rb)2”求出透镜单元B的独立性评价值Db及透镜单元C的独立性评价值Dc。这样求出的独立性评价值Da、Db、Dc的值越大，表示距特性数据存储部42所保持的其他特性数据的背离越大。因此，这些独立性评价值Da、Db、Dc越小，透镜单元12的特性数据的独立性越小。例如，“Db＜Da”及“Db＜Dc”成立时，透镜单元B的特性数据的独立性最小，因此为了存储透镜单元D的特性数据，从特性数据存储部42删除透镜单元B的特性数据。
另外，独立性评价值可通过上述方法以外的方法求出，可以从能够表示存储于特性数据存储部42的特性数据彼此之间的独立性(非近似度)的任意观点设定独立性评价值。例如，独立性评价值的基础数据并无特别限定。因此，能够根据规定频率fd下的点像复原处理前后的图像数据设定“独立性评价值”，并根据某一频率fd下的响应的比或差设定“独立性评价值”。并且，可根据具有规定宽度的频带下的点像复原处理前后的图像数据设定“独立性评价值”。具体而言，对于点像复原处理之前的图像数据及点像复原处理之后的图像数据，能够根据具有一定带宽的整个频率区域的响应之差的累积值等来设定“独立性评价值”。并且，可以根据点像复原处理前后的图像数据中的噪声的抑制程度(例如色差的抑制程度等)设定“独立性评价值”，也可以将通过加权相加多个指标(基础数据)来获得的综合性值用作“独立性评价值”。
并且，在图20的步骤S34之后，在存储控制部40(存储区域判定部50)的控制下，在曾存储有“独立性相对较小的透镜单元12的特性数据”的特性数据存储部42的存储区域写入新的透镜单元12的特性数据(S35)。
如此，在本例中，与存储于特性数据存储部42的特性数据彼此之间的独立性相应地设定存储于特性数据存储部42的特性数据。并且，将特性数据存储于特性数据存储部42时，需要从特性数据存储部42删除已被存储于特性数据存储部42的特性数据时，存储控制部40根据独立性评价值，按照与存储于特性数据存储部42的其他特性数据的近似度较高的顺序，从特性数据存储部42删除特性数据。并且，将特性数据存储于特性数据存储部42时，需要将新的特性数据存储于已被存储在特性数据存储部42的特性数据的存储区域时，存储控制部40根据独立性评价值，在已被存储于特性数据存储部42的特性数据的存储区域中，按照与存储于特性数据存储部42的其他特性数据的近似度较高的特性数据的存储区域的顺序，确定新的特性数据的存储区域。
另外，本例中，在原图像数据的点像复原处理时判定为特性数据存储部42中未存储有相对应的特性数据时，根据存储于特性数据存储部42的特性数据进行点像复原处理。即，当判定为特性数据存储部42中未存储有与处理对象的原图像数据相对应的特性数据时，滤波器获取部46(参考图5)根据特性数据存储部42所保持的特性数据，确定能够代用的复原滤波器，并将该确定的复原滤波器及原图像数据送至运算部48。由此，在运算部48进行原图像数据的点像复原处理。
另外，能够代用的复原滤波器的确定方法并无特别限定，可以使用任意方法。例如，滤波器获取部46可在特性数据存储部42所保有的特性数据中，由如下透镜单元12的特性数据确定上述的“能够代用的复原滤波器”，所述透镜单元12的特性数据具有与从原图像数据的摄影条件数据导出的透镜单元12的特性最接近的特性。作为这种特性，例如可举出点扩散函数(PSF、OTF等)，滤波器获取部46可将与最近似于从原图像数据的摄影条件数据导出的点扩散函数(PSF、OTF等)的点扩散函数相对应的复原滤波器确定为“能够代用的复原滤波器”。并且，根据透镜单元12(透镜16)的种类和摄影条件，并根据显示与从原图像数据的摄影条件数据导出的透镜单元12的特性最接近的特性的特性数据，获取“能够代用的复原滤波器”。并且，可根据显示上述最接近的特性的特性数据，预先设定“能够代用的复原滤波器”。即，可以与原图像数据的摄影条件数据无关地，执行利用预先设定的“能够代用的复原滤波器”或“从能够代用的特性数据导出的复原滤波器”的原图像数据的点像复原处理。
如以上说明，根据本实施方式，将与点像复原处理相关的数据即特性数据的独立性较大的透镜单元12的特性数据优先留在相机主体14(特性数据存储部42)，优先从相机主体14(特性数据存储部42)删除独立性较小的透镜单元12的特性数据，由此能够减少画质劣化场景的输出率。另外，在上述实施方式中对分配于每一透镜单元12的独立性评价值进行了说明，但与上述第2实施方式同样地，可与透镜单元12及摄影条件相应地进行独立性评价值的分配，从而进行对特性数据存储部42的特性数据的删除或追加(存储)的处理。
＜第4实施方式＞
本实施方式中，对于与上述实施方式相同的构成要件标注相同符号，并省略详细说明。
本实施方式中，在能够从多个数据源获取透镜单元12(光学系统)的特性数据的情况下，选择直至完成特性数据的获取为止的估计时间更短的数据源，并从该选择的数据源获取特性数据。
例如在图1所示的例子中，能够假定从透镜单元12(透镜单元存储器24)获取透镜单元12的特性数据的情况及从服务器80(服务器控制器84)获取透镜单元12的特性数据的情况。即，存储控制部40能够从保持透镜单元12(光学系统)的特性数据的多个数据源(透镜单元存储器24(第1数据源)及服务器控制器84(第2数据源))中获取透镜单元12的特性数据，并存储于特性数据存储部42。
并且，如果是能够在相机主体控制器28(存储控制部40)与服务器80(服务器控制器84)之间进行通信(经由无线通信部29及接入点75的无线通信)的情况，则从自两个数据源获取特性数据所需的估计时间较短的数据源中获取特性数据。即，存储控制部40计算从透镜单元存储器24获取透镜单元12的特性数据并存储于特性数据存储部42所需的估计时间、及从服务器控制器84获取透镜单元12的特性数据并存储于特性数据存储部42所需的估计时间。并且，存储控制部40从透镜单元存储器24及特性数据存储部42中的估计时间较短的一个中获取透镜单元12的特性数据并存储于特性数据存储部42。
因此，能够在相机主体控制器28(存储控制部40)与服务器80(服务器控制器84)之间进行无线通信时，在从服务器控制器84获取特性数据所需的估计时间比从透镜单元存储器24获取特性数据所需的估计时间更短的情况下，存储控制部40从服务器控制器84获取新的透镜单元12的特性数据。
图22表示第4实施方式中的、新的透镜单元12的特性数据在特性数据存储部42中的存储与否的判定流程的一例。
本例中也与上述第1实施方式(图13的S1～S3)同样地，通过存储控制部40获取被安装于相机主体14的透镜单元12的种类(图22的S41)，并通过存储控制部40判定特性数据存储部42中是否已存储保持有与被安装的透镜单元12相对应的特性数据(S42)。并且，当判定为在特性数据存储部42中未存储保持有与被安装的透镜单元12相对应的特性数据时(S42的否)，通过存储控制部40判定特性数据存储部42是否具有为了存储新的透镜单元12的特性数据而充分的空闲容量即可存储剩余容量(S43)。
特性数据存储部42的空闲容量并不充分时(S43的否)，为确保新的透镜单元12的特性数据的存储区域，在存储控制部40(存储区域判定部50)的控制下，从特性数据存储部42删除规定数据量即至少新的透镜单元12特性数据的数据量的特性数据(S44)。另外，本步骤S44中的特性数据的删除方法并无特别限定，例如能够与上述第1实施方式(参考图13的步骤S4)、第2实施方式(参考图15的步骤S24)或第3实施方式(参考图20的步骤S34)同样地，从特性数据存储部42删除规定数据量的特性数据。
当判定为特性数据存储部42具有充分的空闲容量时(S43的是)或已从特性数据存储部42删除规定数据量的特性数据时(S44)，通过存储控制部40(存储器通信控制部52)检测能否与服务器80(服务器控制器84)进行无线通信(S45)。
当判定为能够在存储控制部40与服务器80之间进行无线通信时(S45的是)，通过存储控制部40(存储器通信控制部52)估计从透镜单元12(透镜单元存储器24)向相机主体14(存储控制部40)发送特性数据所需的时间(数据发送结束时间T1)(S46)。并且，通过存储控制部40(存储器通信控制部52)估计从服务器80(服务器控制器84)向相机主体14(存储控制部40)发送特性数据所需的时间(数据发送结束时间T2)(S47)。
并且，存储控制部40(存储器通信控制部52)判定两个估计时间T1、T2的大小关系。例如，当判定为自透镜单元12(透镜单元存储器24)的数据发送结束时间T1比自服务器80(服务器控制器84)的数据发送结束时间T2长时(T1＞T2；S48的是)，存储控制部40从服务器80(服务器控制器84)获取新的透镜单元12的特性数据，并存储于特性数据存储部42(S49)。
另一方面，当判定为无法在存储控制部40与服务器80之间进行无线通信时(S45的否)或判定为自透镜单元12(透镜单元存储器24)的数据发送结束时间T1在自服务器80(服务器控制器84)的数据发送结束时间T2以下时(T1≤T2；S48的否)，存储控制部40从透镜单元存储器24获取新的透镜单元12的特性数据，并存储于特性数据存储部42(S50)。
如以上说明，根据本实施方式，能够从透镜单元12的特性数据的获取结束时间较短的数据源获取所希望的特性数据，并能够减少获取新的透镜单元12的特性数据所需的时间或电力的消耗，从而提高用户的便利性。另外，上述例子中，对透镜单元12的特性数据的数据源是能够与相机主体14(相机主体控制器28)进行通信的透镜单元12(透镜单元存储器24)及服务器80(服务器控制器84)的情况进行了说明，但并不限定于这些。例如，可由与相机主体14(相机主体控制器28)有线连接的任意数据源(透镜单元存储器24、计算机控制器64等)和/或无线连接的任意数据源(服务器控制器84等)构成上述“多个数据源”。
＜其他变形例＞
上述的数码相机10的摄影处理系统仅为例示，对其他结构也能够适用本发明。
例如，可根据电池余量控制新的透镜单元12的特性数据的读入处理。存储控制部40能够根据电池检测部37(参考图2)所检测的电池27的蓄电状态，控制存储于特性数据存储部42的复原滤波器或特性数据的数据量，从而根据电池余量改变所读入的数据量。因此，例如电池27的蓄电余量并不充分时(蓄电余量为规定阈值以下时)，可中止与新的透镜单元12相关的特性数据向特性数据存储部42的读入存储处理。即，在应比“新的透镜单元12的特性数据的读入及存储”更优先“摄影处理”的情况下，若在电池27的蓄电余量并不充分时进行“新的透镜单元12的特性数据的读入及存储”，则优先度更高的“摄影处理”有可能变得不充分。因此，电池27的蓄电余量并不充分时，通过控制“新的透镜单元12的特性数据的读入及存储”的处理，能够将电池27的有限的电力有效地用于优先度更高的处理中。
另外，即使进行了“新的透镜单元12的特性数据的读入及存储”的处理，在不使电池27的蓄电余量降低至必要以上时，仍能够进行“新的透镜单元12的特性数据的读入及存储”的处理。作为这种情况，例如可假定电池27的蓄电余量不充分的情况、外部电源(电源插座等)上连接有相机主体14(电池27)的情况等。通过电池检测部37(参考图2)检测这种电池27的蓄电状态(蓄电余量、有无连接外部电源等)，该检测结果被送至点像复原处理部36(存储控制部40)，并通过存储控制部40(存储器通信控制部52)判定能否进行“新的透镜单元12的特性数据的读入及存储”的处理。
并且，在上述第4实施方式(参考图22)中，第1数据源(例如透镜单元存储器24)未保持有原图像数据的摄影获取时使用的透镜单元12(光学系统)的特性数据时，点像复原处理部36(存储控制部40)可从存储保持该特性数据的第2数据源(例如服务器控制器84)获取特性数据并存储于特性数据存储部。因此，多个数据源全部保持所希望的透镜单元12的特性数据时，能够从特性数据的获取结束时间(估计时间)最短的数据源中获取该特性数据。另一方面，多个数据源中包含“不保持所希望的透镜单元12的特性数据的数据源”时，可在“不保持所希望的透镜单元12的特性数据的数据源”以外的数据源中，从特性数据的获取结束时间最短的数据源中获取该特性数据。由此，例如，在透镜单元12侧(透镜单元存储器24)没有作为原图像数据的摄影条件的与用户选择的摄影条件相对应的特性数据时，通过从服务器80(服务器控制器84)下载所对应的特性数据并存储于特性数据存储部42，也能够对原图像数据实施适当的点像复原处理。
并且，上述各功能结构能够通过任意的硬件、软件或两者的组合来适当地实现。因此，例如，对使计算机执行上述各装置及处理部(相机主体控制器28、设备控制部34(电池检测部37)、或图像处理部35(点像复原处理部36)等)中的图像处理方法(图像处理步骤)的程序、能够进行记录有这种程序的计算机读取的记录介质(非暂时性记录介质)、或者能够安装这种程序的计算机也能够适用本发明。
＜在EDoF系统中的适用例＞
上述实施方式中的复原处理是通过根据特定的摄影条件(例如，光圈值、F值、焦距及透镜种类等)对点扩散(点像模糊)进行恢复修正来复原原来的被摄体像的图像处理，但能够适用本发明的图像复原处理并不限定于上述实施方式中的复原处理。例如，对于针对通过具有被扩大的景深即被扩大的焦点深度(EDoF：ExtendedDepthofField(Focus))的摄影透镜等光学系统摄影获取的图像数据的复原处理，也能够适用本发明所涉及的复原处理。对通过EDoF光学系统在景深(焦点深度)被扩大的状态下摄影获取的模糊图像的图像数据进行复原处理，从而能够在宽范围内复原生成对焦状态的高分辨率的图像数据。此时，进行利用如下滤波器的复原处理，所述滤波器为基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器，且具有设定成能够在被扩大的景深即被扩大的焦点深度范围内进行良好的图像复原的滤波器系数。
以下，对与经由EDoF光学系统摄影获取的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例子中，对针对从表示去马赛克处理之后的图像数据的RGB数据获取的、表示亮度信号的Y数据进行复原处理的例子进行说明。以下例子中，进行复原处理的时刻并无特别限定，例如可对“去马赛克处理之前的图像数据(马赛克图像数据)”或“去马赛克处理之后且亮度信号转换处理之前的图像数据(去马赛克图像数据)”进行复原处理。
图23是表示具备EDoF光学系统的摄像模块101的一方式的框图。本例中的数码相机等的摄像模块101包含EDoF光学系统的透镜单元110、成像元件112、AD转换部114及复原处理块(图像处理部)120。
图24是表示EDoF光学系统110的一例的图。本例的EDoF光学系统110具有单焦点的被固定的摄影透镜110A及配置于瞳位置的滤光器111。滤光器111是调制相位的要件，其使构成EDoF光学系统110的摄影透镜110A进行EDoF化，以获得被扩大的景深即被扩大的焦点深度。如此，摄影透镜110A及滤光器111构成调制相位来扩大景深的透镜部。
另外，EDoF光学系统110根据需要包含其他构成要件，例如在滤光器111附近配设有光圈(省略图示)。并且，滤光器111可以是一个，也可以组合多个。并且，滤光器111仅仅是光学相位调制机构的一例，还可以通过其他机构实现构成EDoF光学系统110的摄影透镜110A的EDoF化。例如，可代替设置滤光器111，通过以具有与本例的滤光器111相同功能的方式进行透镜设计的摄影透镜110A实现EDoF光学系统110的EDoF化。
即，能够通过使成像元件112的受光面上成像的波面发生变化的各种机构，实现EDoF光学系统110的EDoF化。例如，可将“厚度发生变化的光学元件”、“折射率发生变化的光学元件(例如，折射率分布型波面调制透镜等)”、“通过对透镜表面进行涂布等而厚度或折射率发生变化的光学元件(例如波面调制混合式透镜或在透镜面上形成为相位面的光学元件等)”、“能够调制光的相位分布的液晶元件(例如，液晶空间相位调制元件等)”用作EDoF光学系统110的EDoF化机构。如此，不仅对于能够通过作为光波面调制元件的滤光器111(相位板)形成规则地分散的图像的情况，而且对于能够不使用光波面调制元件而通过摄影透镜110A本身形成与使用光波面调制元件时相同的分散图像的情况，也能够应用本发明。
图24所示的EDoF光学系统110可以省略机械地进行焦点调节的焦点调节机构，因此能够实现小型化，可适当地搭载于带相机的移动电话或移动信息终端。
通过被EDoF化的EDoF光学系统110之后的光学像成像于图23所示的成像元件112，在此转换成电信号。
成像元件112由以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans排列或蜂窝排列等)配置成矩阵状的多个像素构成，各像素包含微透镜、滤色器(本例中为RGB滤色器)及光电二极管而构成。经由EDoF光学系统110入射到成像元件112的受光面的光学像通过排列于该受光面的各光电二极管而转换成与入射光量相应的量的信号电荷。并且，蓄积在各光电二极管的R、G、B的信号电荷作为每个像素的电压信号即图像信号，依次被输出。
AD转换部114将从成像元件112按每个像素输出的模拟R、G、B图像信号转换成数字RGB图像信号。通过AD转换部114转换成数字图像信号的数字图像信号被施加在复原处理块120。
复原处理块120例如包含黑电平调整部122、白平衡增益部123、伽马处理部124、去马赛克处理部125、RGB/YCrCb转换部126及Y信号复原处理部127。
黑电平调整部122对从AD转换部114输出的数字图像信号实施黑电平调整。黑电平调整可采用公知的方法。例如，着眼于某一有效光电转换元件时，求出与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件的每一个相对应的暗电流量获取用信号的平均值，从与该有效光电转换元件相对应的暗电流量获取用信号中减去该平均值，由此进行黑电平调整。
白平衡增益部123进行与已调整黑电平数据的数字图像信号中包含的RGB各颜色信号的白平衡增益相应的增益调整。
伽马处理部124进行以使已被白平衡调整的R、G、B图像信号成为所希望的伽马特性的方式进行半色调等灰度校正的伽马校正。
去马赛克处理部125对伽马校正之后的R、G、B图像信号实施去马赛克处理。具体而言，去马赛克处理部125通过对R、G、B的图像信号实施颜色插值处理，生成从成像元件112的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，在颜色去马赛克处理之前，来自各受光像素的像素信号为R、G、B的图像信号中的任一个，但在颜色去马赛克处理之后，会输出与各受光像素相对应的R、G、B信号的3个像素信号组。
RGB/YCrCb转换部126将已被去马赛克处理的每个像素的R、G、B信号转换成亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y及色差信号Cr、Cb。
Y信号复原处理部127根据预先存储的复原滤波器，对来自RGB/YCrCb转换部126的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的核尺寸的反卷积核(对应于M＝7、N＝7的抽头数)及与该反卷积核相对应的运算系数(对应于复原增益数据、滤波器系数)构成，使用于滤光器111的相位调制量的反卷积处理(反卷积运算处理)。另外，复原滤波器中，与滤光器111相对应的滤波器被存储于未图示的存储器(例如附带设置有Y信号复原处理部127的存储器)。并且，反卷积核的核尺寸并不限于7×7。
接着，对基于复原处理块120的复原处理进行说明。图25是表示基于图23所示的复原处理块120的复原处理流程的一例的图。
对于黑电平调整部122的一输入中，从AD转换部114施加数字图像信号，对另一输入施加黑电平数据，黑电平调整部122从数字图像信号减去黑电平数据，并将被减去黑电平数据的数字图像信号输出至白平衡增益部123(S61)。由此，数字图像信号中不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整之后的图像数据依次实施基于白平衡增益部123、伽马处理部124的处理(S62及S63)。
被伽马校正的R、G、B信号在去马赛克处理部125中被去马赛克处理之后，在RGB/YCrCb转换部126中转换成亮度信号Y和色度信号Cr、Cb(S64)。
Y信号复原处理部127进行对亮度信号Y施以EDoF光学系统110的滤光器111的相位调制量的反卷积处理的复原处理(S65)。即，Y信号复原处理部127进行与以任意的处理对象的像素为中心的规定单位的像素组相对应的亮度信号(在此为7×7像素的亮度信号)、与预先存储于存储器等的复原滤波器(7×7的反卷积核及其运算系数)的反卷积处理(卷积运算处理)。Y信号复原处理部127以覆盖摄像面的整个区域的方式反复进行该规定单位的每个像素组的反卷积处理，由此进行消除整个图像的像模糊的复原处理。复原滤波器根据实施反卷积处理的像素组的中心位置而设定。即，在接近的像素组中适用共同的复原滤波器。为了进一步简化复原处理，优选对所有像素组适用共同的复原滤波器。
如图26(a)所示，通过EDoF光学系统110之后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而成像于成像元件112，但通过Y信号复原处理部127中的反卷积处理，如图26(b)所示那样，复原成较小的点像(高分辨率的图像)。
如上所述，通过对去马赛克处理之后的亮度信号施以复原处理，RGB无需分别具有复原处理的参数，能够使复原处理高速化。并且，并非将与位于分散位置的R、G、B的像素相对应的R、G、B的图像信号分别汇集为一个单位来进行反卷积处理，而是将接近的像素的亮度信号彼此汇集为规定单位，并在该单位中适用共同的复原滤波器来进行反卷积处理，因此复原处理的精度得到提高。另外，对于色差信号Cr、Cb，在基于人眼的视觉特性上，即使不通过复原处理来提高分辨率，在画质上也是容许的。并且，以JPEG这样的压缩形式记录图像时，色差信号以比亮度信号更高的压缩率被压缩，因此没有必要通过复原处理来提高分辨率。如此一来，能够兼顾复原精度的提高与处理的简单化及高速化。
对于如以上说明的EDoF系统的复原处理，也能够适用上述实施方式所涉及的点像复原处理。因此，能够将在Y信号复原处理部127中的复原处理中使用的复原滤波器设为与上述各实施方式相同，并存储于相机主体侧的存储器。
另外，上述各实施方式中，对点像复原处理部36设置于数码相机10的相机主体14(相机主体控制器28)的方式进行了说明，但点像复原处理部36也可设置于透镜单元12、计算机60或者服务器80等其他装置。
例如，在计算机60中加工图像数据时，可通过设置于计算机60的点像复原处理部进行该图像数据的点像复原处理。并且，服务器80具备点像复原处理部时，例如可从数码相机10或计算机60向服务器80发送图像数据，在服务器80的点像复原处理部中对该图像数据进行点像复原处理，点像复原处理之后的图像数据(恢复图像数据)发送/供给至发送源。
并且，能够适用本发明的方式并不限定于数码相机10、计算机60及服务器80，除了以摄像为主要功能的相机类之外，对于除了摄像功能以外还具备摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类，也能够适用本发明。作为能够适用本发明的其他方式，例如，可举出具有相机功能的移动电话和智能手机、PDA(PersonalDigitalAssistants)、便携式游戏机。以下，对能够适用本发明的智能手机的一例进行说明。
＜智能手机的结构＞
图27是表示作为本发明的摄像装置的一实施方式的智能手机201的外观的图。图27所示的智能手机201具有平板状框体202，在框体202的一侧的面具备作为显示部的显示面板221与作为输入部的操作面板222成为一体的显示输入部220。并且，这种框体202具备扬声器231、麦克风232、操作部240及相机部241。另外，框体202的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图28是表示图27所示的智能手机201的结构的框图。如图28所示，作为智能手机的主要的构成要件，具备无线通信部210、显示输入部220、通话部230、操作部240、相机部241、存储部250、外部输入输出部260、GPS(GlobalPositioningSystem)接收部270、动作传感器部280、电源部290及主控制部200。并且，作为智能手机201的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部210根据主控制部200的命令，对于容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的收发。
显示输入部220是所谓的触控面板，其具备显示面板221及操作面板222，所述显示输入部通过主控制部200的控制，显示图像(静止图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。
显示面板221是例如将LCD(LiquidCrystalDisplay)、OELD(OrganicElectro-LuminescenceDisplay)等用作显示设备的装置。操作面板222是以能够视觉辨认显示于显示面板221的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将因操作而产生的检测信号输出至主控制部200。接着，主控制部200根据所接收的检测信号检测显示面板221上的操作位置(坐标)。
如图27所示，作为本发明的摄像装置的一实施方式来例示的智能手机201的显示面板221与操作面板222成为一体而构成显示输入部220，配置成操作面板222完全覆盖显示面板221。采用该配置时，操作面板222可以对显示面板221以外的区域也具备检测用户操作的功能。换言之，操作面板222可具备针对与显示面板221重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板221重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板221的大小完全一致，但并非一定要使两者一致。并且，操作面板222可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体202的大小等而适当设计。此外，作为在操作面板222中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。
通话部230具备扬声器231和麦克风232，所述通话部将通过麦克风232输入的用户的语音转换成能够在主控制部200中处理的语音数据来输出至主控制部200、或者对通过无线通信部210或外部输入输出部260接收的语音数据进行解码而从扬声器231输出。并且，如图27所示，例如能够将扬声器231搭载于与设置有显示输入部220的面相同的面，并将麦克风232搭载于框体202的侧面。
操作部240为使用键开关等的硬件键，接受来自用户的命令。例如，如图27所示，操作部240搭载于智能手机201的框体202的侧面，是若被手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部250存储主控制部200的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立了对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、及已下载的内容数据，并且暂时存储流数据等。并且，存储部250由智能手机内置的内部存储部251及具有装卸自如的外部存储器插槽的外部存储部252构成。另外，构成存储部250的各个内部存储部251与外部存储部252通过使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(RandomAccessMemory)、ROM(ReadOnlyMemory)等记录介质来实现。
外部输入输出部260发挥与智能手机201连结的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(RadioFrequencyIdentification)、红外线通信(InfraredDataAssociation：IrDA)(注册商标)、UWB(UltraWideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机201连结的外部设备，例如有：有线或无线头戴式耳机、有线或无线外部充电器、有线或无线数据端口、经由卡插槽连接的存储卡(Memorycard)或SIM(SubscriberIdentityModuleCard)/UIM(UserIdentityModuleCard)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线或无线连接的智能手机、有线或无线连接的个人计算机、有线或无线连接的PDA、有线或无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机201内部的各构成要件、或将智能手机201内部的数据传送至外部设备。
GPS接收部270根据主控制部200的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由智能手机201的纬度、经度、高度构成的位置。GPS接收部270在能够从无线通信部210或外部输入输出部260例如无线LAN获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部280例如具备3轴加速度传感器等，根据主控制部200的命令，检测智能手机201的物理动作。通过检测智能手机201的物理动作，可检测智能手机201的移动方向或加速度。该检测结果输出至主控制部200。
电源部290根据主控制部200的命令，向智能手机201的各部供给蓄积在电池(未图示)中的电力。
主控制部200具备微处理器，根据存储部250所存储的控制程序或控制数据进行动作，统一控制智能手机201的各部。并且，主控制部200为了通过无线通信部210进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部200根据存储部250所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部260来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部200具备根据所接收的数据或所下载的流数据等图像数据(静止图像或动态图像的数据)而在显示输入部220显示影像等的图像处理功能。图像处理功能是指主控制部200对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部220的功能。
而且，主控制部200执行对显示面板221的显示控制及检测通过操作部240、操作面板222进行的用户操作的操作检测控制。
通过执行显示控制，主控制部200显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法落入显示面板221的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部200检测通过操作部240进行的用户操作，或者通过操作面板222接受对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部200具备判定对操作面板222操作的位置是与显示面板221重叠的重叠部分(显示区域)还是除此以外的不与显示面板221重叠的外缘部分(非显示区域)，并控制操作面板222的感应区域或软件键的显示位置的触控面板控制功能。
并且，主控制部200还能够检测对操作面板222的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部241是使用CMOS或CCD等成像元件进行电子摄影的数码相机。并且，相机部241能够通过主控制部200的控制，将通过摄像获得的图像数据转换成例如JPEG等被压缩的图像数据，并记录于存储部250。并且，能够通过输入输出部260和无线通信部210输出。图27所示的智能手机201中，相机部241搭载于与显示输入部220相同的面，但相机部241的搭载位置并不限定于此，可搭载于显示输入部220的背面，或者也可以搭载有多个相机部241。另外，搭载有多个相机部241时，还能够切换用于进行摄影的相机部241来单独摄影、或者同时使用多个相机部241来进行摄影。
并且，相机部241能够利用于智能手机201的各种功能中。例如，能够在显示面板221显示通过相机部241获取的图像，或者作为操作面板222的操作输入之一利用相机部241的图像。并且，当GPS接收部270检测位置时，还能够参考来自相机部241的图像来检测位置。而且，还能够参考来自相机部241的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机201的相机部241的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部241的图像。
另外，能够在静止画面或动画的图像数据上附加通过GPS接收部270获取的位置信息、通过麦克风232获取的语音信息、通过主控制部等进行语音文本转换而成为文本信息的语音信息、或通过动作传感器部280获取的姿势信息等等来存储于存储部250。并且，还能够通过输入输出部260或无线通信部210输出。
在上述的智能手机201中，与点像复原处理相关的上述各处理部例如可通过主控制部200、存储部250等适当地实现。
本发明并不限定于上述实施方式，能够在不脱离本发明的精神的范围内进行各种变形更是理所当然的。
符号说明
10-数码相机，11-快门按钮，12-透镜单元，14-相机主体，15-卡口，16-透镜，17-光圈，18-光学系统操作部，20-透镜单元控制器，22-透镜单元输入输出部，24-透镜单元存储器，26-成像元件，27-电池，28-相机主体控制器，29-无线通信部，30-相机主体输入输出部，32-输入输出界面，34-设备控制部，35-图像处理部，36-点像复原处理部，37-电池检测部，40-存储控制部，42-特性数据存储部，44-复原运算处理部，46-滤波器获取部，48-运算部，50-存储区域判定部，52-存储器通信控制部，60-计算机，62-计算机输入输出部，64-计算机控制器，66-显示器，70-互联网，75-接入点，80-服务器，82-服务器输入输出部，84-服务器控制器，101-摄像模块，110-EDoF光学系统，110A-摄影透镜，111-滤光器，112-成像元件，114-AD转换部，120-复原处理块，122-黑电平调整部，123-白平衡增益部，124-伽马处理部，125-去马赛克处理部，126-RGB/YCrCb转换部，127-Y信号复原处理部，200-主控制部，201-智能手机，202-框体，210-无线通信部，220-显示输入部，221-显示面板，222-操作面板，230-通话部，231-扬声器，232-麦克风，240-操作部，241-相机部，250-存储部，251-内部存储部，252-外部存储部，260-外部输入输出部，270-GPS接收部，280-动作传感器部，290-电源部。

Claims (29)

1.一种图像处理装置，其具备：
特性数据存储部，能够存储多种光学系统的特性数据；
存储控制部，控制所述特性数据存储部；及
复原处理部，对原图像数据进行利用基于所述光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，
所述复原处理部根据存储于所述特性数据存储部的所述特性数据获取所述复原滤波器，
将所述特性数据存储于所述特性数据存储部时，所述存储控制部根据与光学系统的种类相应地分配于所述特性数据的复原评价值、且表示基于所述复原处理的图像复原的程度的复原评价值，控制存储于所述特性数据存储部的所述特性数据。
2.根据权利要求1所述的图像处理装置，其中，
将所述特性数据存储于所述特性数据存储部时，从所述特性数据存储部删除已被存储于所述特性数据存储部的所述特性数据的情况下，所述存储控制部根据所述复原评价值，按照基于所述复原处理的图像复原的程度较小的顺序，从所述特性数据存储部删除所述特性数据。
3.根据权利要求1或2所述的图像处理装置，其中，
将所述特性数据存储于所述特性数据存储部时，将新的特性数据存储于已被存储在所述特性数据存储部的所述特性数据的存储区域的情况下，所述存储控制部根据所述复原评价值，从已被存储于所述特性数据存储部的所述特性数据的存储区域中，按照基于所述复原处理的图像复原的程度较小的所述特性数据的存储区域的顺序，确定所述新的特性数据的存储区域。
4.根据权利要求1～3中任一项所述的图像处理装置，其中，
与光学系统的种类相对应地设定存储于所述特性数据存储部的所述特性数据，
按每一种光学系统设定所述复原评价值，
将所述特性数据存储于所述特性数据存储部时，从所述特性数据存储部删除已被存储于所述特性数据存储部的所述特性数据的情况下，所述存储控制部根据所述复原评价值，与光学系统的种类相应地从所述特性数据存储部删除所述特性数据。
5.根据权利要求1～4中任一项所述的图像处理装置，其中，
与光学系统的种类相应地设定存储于所述特性数据存储部的所述特性数据，
按每一种光学系统设定所述复原评价值，
将所述特性数据存储于所述特性数据存储部时，将新的特性数据存储于已被存储在所述特性数据存储部的所述特性数据的存储区域的情况下，所述存储控制部根据所述复原评价值，从已被存储于所述特性数据存储部的所述特性数据的存储区域中，与针对所述特性数据设定的光学系统的种类相应地确定所述新的特性数据的存储区域。
6.根据权利要求1～3中任一项所述的图像处理装置，其中，
与光学系统的种类及摄影条件相应地设定存储于所述特性数据存储部的所述特性数据，
与光学系统的种类及摄影条件相应地设定所述复原评价值，
将所述特性数据存储于所述特性数据存储部时，从所述特性数据存储部删除已被存储于所述特性数据存储部的所述特性数据的情况下，所述存储控制部根据所述复原评价值，与光学系统的种类及摄影条件相应地从所述特性数据存储部删除所述特性数据。
7.根据权利要求1～3及6中任一项所述的图像处理装置，其中，
与光学系统的种类及摄影条件相应地设定存储于所述特性数据存储部的所述特性数据，
与光学系统的种类及摄影条件相应地设定所述复原评价值，
将所述特性数据存储于所述特性数据存储部时，将新的特性数据存储于已被存储在所述特性数据存储部的所述特性数据的存储区域的情况下，所述存储控制部根据所述复原评价值，从已被存储于所述特性数据存储部的所述特性数据的存储区域中，与针对所述特性数据设定的光学系统的种类及摄影条件相应地确定所述新的特性数据的存储区域。
8.根据权利要求1～3中任一项所述的图像处理装置，其中，
与光学系统的种类及摄影条件相应地设定存储于所述特性数据存储部的所述特性数据，
与光学系统的种类及摄影条件相应地设定所述复原评价值，
将所述特性数据存储于所述特性数据存储部时，从所述特性数据存储部删除已被存储于所述特性数据存储部的所述特性数据的情况下，所述存储控制部根据由每一种光学系统的所述复原评价值计算出的代表值，与光学系统的种类相应地从所述特性数据存储部删除所述特性数据。
9.根据权利要求1～3及8中任一项所述的图像处理装置，其中，
与光学系统的种类及摄影条件相应地设定存储于所述特性数据存储部的所述特性数据，
与光学系统的种类及摄影条件相应地设定所述复原评价值，
将所述特性数据存储于所述特性数据存储部时，将新的特性数据存储于已被存储在所述特性数据存储部的所述特性数据的存储区域的情况下，所述存储控制部根据由每一种光学系统的所述复原评价值计算出的代表值，从已被存储于所述特性数据存储部的所述特性数据的存储区域中，与针对所述特性数据设定的光学系统的种类相应地确定所述新的特性数据的存储区域。
10.根据权利要求8或9所述的图像处理装置，其中，
所述代表值为每一种光学系统的所述复原评价值的平均值、最大值或最小值。
11.一种图像处理装置，其具备：
特性数据存储部，能够存储多种光学系统的特性数据；
存储控制部，控制所述特性数据存储部；及
复原处理部，对原图像数据进行利用基于所述光学系统的点扩散函数的复原滤波器的复原处理，由此获取恢复图像数据，
所述复原处理部根据存储于所述特性数据存储部的所述特性数据获取所述复原滤波器，
将所述特性数据存储于所述特性数据存储部时，所述存储控制部根据与光学系统的种类相应地分配于所述特性数据的独立性评价值、且表示存储于所述特性数据存储部的所述特性数据彼此之间的近似度的独立性评价值，控制存储于所述特性数据存储部的所述特性数据。
12.根据权利要求11所述的图像处理装置，其中，
将所述特性数据存储于所述特性数据存储部时，从所述特性数据存储部删除已被存储于所述特性数据存储部的所述特性数据的情况下，所述存储控制部根据所述独立性评价值，按照与存储于所述特性数据存储部的其他所述特性数据的近似度较高的顺序，从所述特性数据存储部删除所述特性数据。
13.根据权利要求11或12所述的图像处理装置，其中，
将所述特性数据存储于所述特性数据存储部时，将新的特性数据存储于已被存储在所述特性数据存储部的所述特性数据的存储区域的情况下，所述存储控制部根据所述独立性评价值，从已被存储于所述特性数据存储部的所述特性数据的存储区域中，按照与存储于所述特性数据存储部的其他所述特性数据的近似度较高的所述特性数据的存储区域的顺序，确定所述新的特性数据的存储区域。
14.根据权利要求11～13中任一项所述的图像处理装置，其中，
根据存储于所述特性数据存储部的所述特性数据彼此之间的差来确定所述独立性评价值。
15.根据权利要求1～14中任一项所述的图像处理装置，其中，
所述特性数据为表示所述光学系统的物理特性的数据。
16.根据权利要求15所述的图像处理装置，其中，
所述复原处理部由所述特性数据计算使用于所述复原处理的处理参数。
17.根据权利要求1～16中任一项所述的图像处理装置，其中，
所述特性数据为使用于所述复原处理的处理参数。
18.根据权利要求1～17中任一项所述的图像处理装置，其中，
所述存储控制部能够从保持光学系统的所述特性数据的第1数据源及第2数据源获取光学系统的所述特性数据，并存储于所述特性数据存储部，
所述存储控制部计算从所述第1数据源获取光学系统的所述特性数据并存储于所述特性数据存储部所需的估计时间及从所述第2数据源获取光学系统的所述特性数据并存储于所述特性数据存储部所需的估计时间，从所述第1数据源及所述第2数据源中估计时间较短的数据源获取光学系统的所述特性数据，并存储于所述特性数据存储部。
19.根据权利要求1～17中任一项所述的图像处理装置，其中，
所述存储控制部能够从保持光学系统的所述特性数据的第1数据源及第2数据源获取光学系统的所述特性数据，并存储于所述特性数据存储部，
所述第1数据源未保持所述光学系统的所述特性数据时，所述存储控制部从所述第2数据源获取该特性数据，并存储于所述特性数据存储部。
20.根据权利要求1～19中任一项所述的图像处理装置，其中，
将所述特性数据存储于所述特性数据存储部时，所述存储控制部按照基于所述复原处理的图像复原的程度较大的摄影条件的顺序，将所述特性数据存储于所述特性数据存储部。
21.根据权利要求1～20中任一项所述的图像处理装置，其中，
所述光学系统具有通过调制相位来扩大景深的透镜部。
22.一种摄像装置，其能够安装多种光学系统，所述摄像装置具备：
成像元件，经由光学系统摄影获取原图像数据；及
权利要求1～21中任一项所述的图像处理装置。
23.根据权利要求22所述的摄像装置，其中，
从所述特性数据存储部删除已被存储于所述特性数据存储部的所述特性数据的情况为被安装的光学系统的特性数据并未存储于所述特性数据存储部的情况。
24.根据权利要求22所述的摄像装置，其中，
将新的特性数据存储于已被存储在所述特性数据存储部的所述特性数据的存储区域的情况为被安装的光学系统的特性数据并未存储于所述特性数据存储部的情况。
25.根据权利要求22～24中任一项所述的摄像装置，
所述摄像装置还具备：
电池；及
电池检测部，检测所述电池的蓄电状态，
所述存储控制部根据所述电池检测部所检测的所述电池的蓄电状态，控制存储于所述特性数据存储部的所述特性数据的数据量。
26.一种图像处理方法，其包含：
向能够存储多种光学系统的特性数据的特性数据存储部存储所述光学系统的所述特性数据的步骤；及
对原图像数据进行利用根据存储于所述特性数据存储部的所述特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，其中，
在将所述特性数据存储于所述特性数据存储部的所述步骤中，根据与光学系统的种类相应地分配于所述特性数据的复原评价值、且表示基于所述复原处理的图像复原的程度的复原评价值，控制存储于所述特性数据存储部的所述特性数据。
27.一种图像处理方法，其包含：
向能够存储多种光学系统的特性数据的特性数据存储部存储所述光学系统的所述特性数据的步骤；及
对原图像数据进行利用根据存储于所述特性数据存储部的所述特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，其中，
在将所述特性数据存储于所述特性数据存储部的所述步骤中，根据与光学系统的种类相应地分配于所述特性数据的独立性评价值、且表示存储于所述特性数据存储部的所述特性数据彼此之间的近似度的独立性评价值，控制存储于所述特性数据存储部的所述特性数据。
28.一种程序，其用于使计算机执行如下步骤：
向能够存储多种光学系统的特性数据的特性数据存储部存储所述光学系统的所述特性数据的步骤；及
对原图像数据进行利用根据存储于所述特性数据存储部的所述特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，其中，
在将所述特性数据存储于所述特性数据存储部的所述步骤中，根据与光学系统的种类相应地分配于所述特性数据的复原评价值、且表示基于所述复原处理的图像复原的程度的复原评价值，控制存储于所述特性数据存储部的所述特性数据。
29.一种程序，其用于使计算机执行如下步骤：
向能够存储多种光学系统的特性数据的特性数据存储部存储所述光学系统的所述特性数据的步骤；及
对原图像数据进行利用根据存储于所述特性数据存储部的所述特性数据获取的复原滤波器的复原处理，由此获取恢复图像数据的步骤，其中，
在将所述特性数据存储于所述特性数据存储部的所述步骤中，根据与光学系统的种类相应地分配于所述特性数据的独立性评价值、且表示存储于所述特性数据存储部的所述特性数据彼此之间的近似度的独立性评价值，控制存储于所述特性数据存储部的所述特性数据。
CN201480023523.6A 2013-04-26 2014-04-23 图像处理装置、摄像装置、图像处理方法及程序 Active CN105165003B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013094294 2013-04-26
JP2013-094294 2013-04-26
PCT/JP2014/061379 WO2014175314A1 (ja) 2013-04-26 2014-04-23 画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105165003A true CN105165003A (zh) 2015-12-16
CN105165003B CN105165003B (zh) 2018-06-22

Family

ID=51791884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023523.6A Active CN105165003B (zh) 2013-04-26 2014-04-23 图像处理装置、摄像装置、图像处理方法及程序

Country Status (4)

Country Link
US (1) US9965833B2 (zh)
JP (1) JP5851655B2 (zh)
CN (1) CN105165003B (zh)
WO (1) WO2014175314A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112654922A (zh) * 2018-09-11 2021-04-13 佳能株式会社 透镜装置、图像拾取装置、处理装置和相机装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185172A1 (ja) * 2013-05-13 2014-11-20 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6440467B2 (ja) * 2014-11-21 2018-12-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP6648918B2 (ja) * 2015-08-17 2020-02-14 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6578960B2 (ja) * 2016-01-21 2019-09-25 オムロン株式会社 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
US10296393B2 (en) 2016-09-19 2019-05-21 Texas Instruments Incorporated Method for scheduling a processing device
CN109308861B (zh) * 2017-07-26 2022-03-18 北京小米移动软件有限公司 颜色校准方法、装置、设备及存储介质
CN117795974A (zh) * 2021-08-05 2024-03-29 三星电子株式会社 支持图像数据去模糊的电子装置和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100328480A1 (en) * 2009-06-29 2010-12-30 Canon Kabushiki Kaisha Lens-interchangeable camera and method of controlling the same
CN102082912A (zh) * 2009-11-30 2011-06-01 佳能株式会社 图像拍摄装置及图像处理方法
US20120050583A1 (en) * 2010-08-27 2012-03-01 Canon Kabushiki Kaisha Image processing method, image processing apparatus and image processing program
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
JP2012216947A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 撮像装置及び画像処理方法
CN102833461A (zh) * 2011-06-14 2012-12-19 佳能株式会社 图像处理设备和图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004239962A (ja) * 2003-02-03 2004-08-26 Nikon Corp ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム
JP4986965B2 (ja) * 2008-09-30 2012-07-25 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置
JP2010035177A (ja) 2009-08-28 2010-02-12 Casio Comput Co Ltd 画像撮影装置及び画像処理システム
JP2011119874A (ja) 2009-12-01 2011-06-16 Canon Inc カメラユニット、及びレンズユニット
JP2012156714A (ja) * 2011-01-25 2012-08-16 Canon Inc プログラム、画像処理装置、画像処理方法および撮像装置。
JP5709911B2 (ja) * 2013-02-04 2015-04-30 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100328480A1 (en) * 2009-06-29 2010-12-30 Canon Kabushiki Kaisha Lens-interchangeable camera and method of controlling the same
CN102082912A (zh) * 2009-11-30 2011-06-01 佳能株式会社 图像拍摄装置及图像处理方法
US20120050583A1 (en) * 2010-08-27 2012-03-01 Canon Kabushiki Kaisha Image processing method, image processing apparatus and image processing program
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法
JP2012216947A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 撮像装置及び画像処理方法
CN102833461A (zh) * 2011-06-14 2012-12-19 佳能株式会社 图像处理设备和图像处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112654922A (zh) * 2018-09-11 2021-04-13 佳能株式会社 透镜装置、图像拾取装置、处理装置和相机装置
US11513426B2 (en) 2018-09-11 2022-11-29 Canon Kabushiki Kaisha Lens apparatus, image pickup apparatus, processing apparatus, and camera apparatus
US12038673B2 (en) 2018-09-11 2024-07-16 Canon Kabushiki Kaisha Lens apparatus, image pickup apparatus, processing apparatus, and camera apparatus

Also Published As

Publication number Publication date
CN105165003B (zh) 2018-06-22
WO2014175314A1 (ja) 2014-10-30
JP5851655B2 (ja) 2016-02-03
US20160098819A1 (en) 2016-04-07
JPWO2014175314A1 (ja) 2017-02-23
US9965833B2 (en) 2018-05-08

Similar Documents

Publication Publication Date Title
CN105165003A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
US9357107B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
CN104854858B (zh) 图像处理装置、摄像装置、计算机
US9445069B2 (en) Image-processing device, image-capturing device, image-processing method, and recording medium
CN105103534B (zh) 摄像装置及校准方法
CN104995911B (zh) 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序
CN105493493B (zh) 摄像装置、摄像方法及图像处理装置
CN105432068B (zh) 摄像装置、摄像方法及图像处理装置
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105453540B (zh) 图像处理装置、摄像装置、图像处理方法
CN106416218B (zh) 图像处理装置、摄像装置、图像处理方法以及存储介质
US9984448B2 (en) Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
CN106134177A (zh) 图像处理装置、摄影装置、图像处理方法及图像处理程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN105453534A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105122787B (zh) 摄像装置、校准系统、校准方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant