CN104854858A - 图像处理装置、摄像装置、计算机及程序 - Google Patents

图像处理装置、摄像装置、计算机及程序 Download PDF

Info

Publication number
CN104854858A
CN104854858A CN201380050500.XA CN201380050500A CN104854858A CN 104854858 A CN104854858 A CN 104854858A CN 201380050500 A CN201380050500 A CN 201380050500A CN 104854858 A CN104854858 A CN 104854858A
Authority
CN
China
Prior art keywords
information
filter
image
point
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380050500.XA
Other languages
English (en)
Other versions
CN104854858B (zh
Inventor
成濑洋介
林健吉
远藤宏
入江公祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104854858A publication Critical patent/CN104854858A/zh
Application granted granted Critical
Publication of CN104854858B publication Critical patent/CN104854858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供能够抑制点像复原精度的劣化并减少用于点像复原处理的复原滤波器的数据存储量的技术。取得与图像的点像复原相关的统计信息(D12)，取得在取得图像时使用的表示光学系统的点像强度分布的光学信息(D14)，并基于统计信息和光学信息中的至少任一个，求算用于图像的点像复原处理的复原滤波器的滤波信息(复原滤波器的对称性、复原滤波器的抽头数等)(D16)。将该滤波信息(D16)作为约束条件，基于统计信息(D12)和光学信息(D14)，算出复原滤波器的滤波系数(D18)。使用如此算出的滤波系数(D18)来进行图像的点像复原处理。

Description

图像处理装置、摄像装置、计算机及程序
技术领域
本发明涉及图像处理装置、摄像装置、计算机及程序，特别是关于在点像复原处理中使用的复原滤波器。
背景技术
经由摄像光学系统而摄影的被摄体像中，有时发现由于由摄像光学系统引起的衍射、像差等的影响而使点被摄体具有微小的扩散的所谓点扩散现象。表示光学系统相对于点光源的响应的函数被称作点扩散函数(PSF：Point Spread Function)，作为支配摄影图像的分辨率劣化(模糊)的参数而周知。
因为该点扩散现象而画质劣化的摄影图像能够通过接受基于PSF的点像复原处理而对画质劣化进行复原。点像复原处理是如下处理：预先求算由透镜(光学系统)的像差等引起的劣化特性(点像特性)，通过使用与该点像特性对应的复原滤波器(恢复滤波器)的图像处理来消除摄影图像的点扩散。
对于点像复原处理，提出了各种各样的方法。例如，专利文献1公开了如下的校正数据生成方法：考虑PSF的扩散的对称性，替代旋转非对称的锐度恢复滤波器而使用旋转对称的锐度恢复滤波器，能够对光轴外的光学性能的劣化进行补偿。另外，专利文献2公开了如下的图像处理方法：使用基于光学传递函数的图像恢复滤波器而生成恢复图像，对于恢复图像使色差降低，从而对由倍率色差引起的色差进行校正。
该点扩散现象因光圈、变焦位置、被摄体距离等摄影条件、像高位置等而各种各样地变化，因此即使是单一的摄像系统，点像复原处理所需要的PSF等的数据量也变得庞大。因此，专利文献3公开了用于减少摄像光学系统的光学传递函数的重构所需要的数据的存储量的图像处理装置，实现PSF的存储数据量的减少。
现有技术文献
专利文献
专利文献1：日本特开2003-172873号公报
专利文献2：日本特开2012-129932号公报
专利文献3：日本特开2012-073691号公报
发明内容
发明要解决的课题
如上所述，为了适当地进行利用复原滤波器的点像复原处理，需要庞大的存储数据量，但是减少存储数据量也成为较大的课题之一。在其一方面，为了点像复原处理而将复原滤波器存储于预定的存储单元的期望非常强，存储所生成的复原滤波器，在利用时读出该存储的复原滤波器，从而能够实现计算负荷的轻减、处理速度的提高。然而，复原滤波器由多个抽头(tap)构成，对各抽头分配滤波系数，因此存储负荷非常大。
在专利文献1、专利文献2所公开的装置中，并不特别地进行用于维持点像复原精度并有效地减少点像复原处理的复原滤波器的数据量的方法。即，在专利文献1中，提出了利用具有旋转对称的系数的锐化滤波来改善从光轴远离的区域中的画质劣化的方法，但是在光学系统的模糊特性是旋转非对称的情况下近似采用具有旋转对称的系数的锐化滤波器，因此点像复原的精度降低。另外，在专利文献2中，关于点像复原滤波器的存储数据量的减少没有启示任何方法。
另外，专利文献3公开了用于使摄像光学系统的光学传递函数的重构所需要的数据的存储量减少的技术，但是对于使用于点像复原处理的复原滤波器的存储数据量直接减少的方法既没有公开也没有启示。即，专利文献3所公开的技术是用于使生成图像恢复滤波器用的光学传递函数的信息量减少的技术，而并非用于减少所生成的图像恢复滤波器自身的存储量的技术。
本发明鉴于上述的情况而作出，其目的在于提供能够抑制点像复原精度的劣化并减少用于点像复原处理的复原滤波器的数据存储量的技术。
用于解决课题的手段
本发明的一方式关于图像处理装置，具备：统计信息获取部，取得与图像的点像复原相关的统计信息；光学信息获取部，获取在取得图像时使用的表示光学系统的点像强度分布的光学信息；滤波信息计算部，基于统计信息和光学信息中的至少任一个，求算用于图像的点像复原处理的复原滤波器的滤波信息；滤波系数计算部，将滤波信息作为约束条件，基于统计信息和光学信息，算出复原滤波器的滤波系数；及点像复原处理部，使用由滤波系数计算部算出的滤波系数来进行点像复原处理。
根据本方式，基于与图像的点像复原相关的统计信息和表示光学系统的点像强度分布的光学信息中的至少任一个，求算复原滤波器的滤波信息，并将该滤波信息作为约束条件，算出复原滤波器的滤波系数。因此，能够不降低点像复原处理的精度而减少用于点像复原处理的复原滤波器的数据存储量。根据点像强度分布(光学传递函数)的特性来确定复原滤波器的信息量(格式)，并将其(抽头数、对称性等)作为约束条件而生成复原滤波器，从而削减滤波系数的存储所需要的信息量，并且也能够在该范围内设计最佳特性的复原滤波器。
在此所说的“与图像的点像复原相关的统计信息”是能够对图像的点像复原产生影响的统计性的信息，例如能够包含SN比。另外，“表示光学系统的点像强度分布的光学信息”是直接或间接地表示由光学系统引起的点像强度分布的光学性的信息。例如光学信息中能够包含PSF、OTF(Optical Transfer Function：光学传递函数)(MTF：ModurationTransfer Function：调制传递函数；PTF：Phase Transfer Function：相位传递函数)。另外，“复原滤波器的滤波信息”是在点像复原处理时使用的表示复原滤波器的滤波特性的信息，例如能够包含复原滤波器的抽头结构(整体抽头数、抽头对称性、增加了对称性的情况下的最小需要抽头数等)。另外，“滤波系数”是指在滤波处理中适用于处理对象的图像数据(像素数据)的系数，在复原滤波器由多个抽头构成的情况下向各抽头分配滤波系数。另外，“点像复原”是指消除点扩散而对原始的点像进行复原，“点像复原处理”是指进行这样的点像复原的处理。点像复原处理能够使用任意的方法，例如能够采用将由多个抽头构成的复原滤波器适用于处理对象图像并对处理对象图像的各像素数据和滤波系数进行加权平均的处理。
优选为，滤波信息包含与复原滤波器的抽头数相关的信息和表示复原滤波器的对称性的种类的信息，滤波系数计算部将滤波信息计算部所求算的与复原滤波器的抽头数相关的信息和表示复原滤波器的对称性的种类的信息作为约束条件，算出滤波系数。
在该情况下，由于将“与复原滤波器的抽头数相关的信息”和“表示复原滤波器的对称性的种类的信息”作为约束条件而算出滤波系数，因此能够根据复原滤波器的对称性的种类而减少复原滤波器所需要的滤波系数的信息量。另外，复原滤波器所需要的滤波系数的信息量是能够根据“与复原滤波器的抽头数相关的信息”和“表示复原滤波器的对称性的种类的信息”而再现完整的复原滤波器的信息量。
优选为，光学信息包含：表示点像强度分布的对称性的种类的信息和能够基于点像强度分布的对称性的种类而再现点像强度分布的被压缩的信息即与表示点像强度分布的对称性的种类的信息建立了对应的被压缩的信息，滤波信息计算部根据表示点像强度分布的对称性的种类的信息来求算表示复原滤波器的对称性的种类的信息，基于与表示点像强度分布的对称性的种类的信息建立了对应的被压缩的信息和统计信息来求算与复原滤波器的抽头数相关的信息。
在该情况下，能够根据与表示点像强度分布的对称性的种类的信息建立了对应的被压缩的信息，求算与复原滤波器的抽头数相关的信息，因此能够根据点像强度分布的对称性来减少表示点像强度分布的光学信息所需要的信息量。另外，通过使用能够基于点像强度分布的对称性的种类而再现点像强度分布的被压缩的信息(光学传递函数信息)，滤波信息量(格式)的判定变得容易，也能够削减滤波设计中的运算量。
在此所说的“能够基于点像强度分布的对称性的种类而再现点像强度分布的被压缩的信息”是指通过将点像强度分布的对称性的种类考虑在内而将本来的点像强度分布压缩为能够再现的程度的(减少了信息量的)信息。
优选为，光学信息获取部取得光学信息和与点像强度分布建立对应的表示复原滤波器的对称性的种类的信息，滤波信息包含与复原滤波器的抽头数相关的信息，滤波系数计算部将滤波信息计算部所求算的与复原滤波器的抽头数相关的信息和光学信息获取部所取得的表示复原滤波器的对称性的种类的信息作为约束条件，算出滤波系数。
在该情况下，与光学信息一起取得表示复原滤波器的对称性的种类的信息，因此无需在滤波信息计算部中求算“表示复原滤波器的对称性的种类的信息”。
优选为，还具备存储部，将滤波系数和与该滤波系数对应的滤波信息相互建立关联而存储。
在该情况下，由于将滤波系数和滤波信息存储于存储部，因此通过访问存储部而能够容易地得到滤波系数和滤波信息，不需要再次算出这些滤波系数和滤波信息。另外，在被压缩的滤波系数信息的情况下，也能够不附加冗长性而以原样地记录于存储部。
优选为，图像处理装置还具备复原滤波器生成部，基于存储于存储部的滤波系数和滤波信息而生成复原滤波器。
在该情况下，点像复原处理部能够使用复原滤波器生成部所生成的复原滤波器，进行适当的点像复原处理。另外，也能够不依存于滤波系数的压缩格式，而利用相同的复原滤波器适用装置使用复原滤波器。
优选为，存储部根据图像的取得条件和由图像表示的图像中的位置，对滤波系数和滤波信息进行存储，并存储索引-偏移(index-offset)转换表，该索引-偏移(index-offset)转换表中，图像的取得条件和由图像表示的图像中的位置与存储有相互建立关联的滤波系数和滤波信息的存储部的存储器地址建立了对应，复原滤波器生成部基于索引-偏移转换表，从存储部读出与图像的取得条件和由图像表示的图像中的位置对应的滤波系数和滤波信息。
在该情况下，能够参照索引-偏移转换表的对应的存储器地址，从存储部直接读出(随机存取)与图像的取得条件和由图像数据表示的图像中的位置对应的滤波系数和滤波信息。
优选为，点像复原处理部具有对复原滤波器的对称性的多个种类分别专用的复原处理部，复原滤波器生成部具有格式转换部，该格式转换部具有表示复原滤波器的对称性的种类与复原处理部的对应关系的滤波-格式转换表，格式转换部基于滤波-格式转换表，根据从存储部读出的滤波信息来求算复原滤波器的对称性的种类，而确定对应的复原处理部，复原滤波器生成部将表示格式转换部所确定的对应的复原处理部的处理部指示信息与从存储部读出的滤波系数一起作为复原滤波器而传送到复原处理部，复原处理部利用由从复原滤波器生成部发送来的处理部指示信息所表示的复原处理部，使用从复原滤波器生成部发送来的滤波系数来进行点像复原处理。
在该情况下，能够由与滤波器的对称性的种类对应的专用的复原处理部来进行点像复原处理，实现点像复原处理的最佳化。
优选为，光学系统具有对相位进行调制而使景深扩大的透镜部。
根据本方式，对于经由所谓的EDoF(Extended Depth of Field(Focus)：扩展景深)光学系统而得到的图像，也能够不降低点像复原处理的精度而减少用于点像复原处理的复原滤波器的数据存储量。另外，透镜部中的对相位进行调制的方法(光学的相位调制单元)不特别限定，也能够在透镜间设置相位调制部，或者使透镜自身(例如透镜的入射面/输出面)具有相位调制功能。
本发明的其他方式涉及摄像装置，具备：统计信息存储部，存储与图像的点像复原相关的统计信息；光学信息存储部，存储在取得图像时使用的表示光学系统的点像强度分布的光学信息；及与统计信息存储部和光学信息存储部连接的上述的图像处理装置。
本发明的其他方式涉及摄像装置，具备镜头单元和与该镜头单元连接的主体部，其中，镜头单元具有光学信息存储部，存储在取得图像时使用的表示光学系统的点像强度分布的光学信息，主体部具有：存储与图像的点像复原相关的统计信息的统计信息存储部及与统计信息存储部和光学信息存储部连接的上述图像处理装置。
本发明的其他方式涉及计算机，与图像的点像复原相关的统计信息和图像一起被输入该计算机，该计算机具备：光学信息存储部，存储在取得图像时使用的表示光学系统的点像强度分布的光学信息及与光学信息存储部连接的上述图像处理装置。
本发明的其他方式涉及计算机，与图像的点像复原相关的统计信息、在取得图像时使用的表示光学系统的点像强度分布的光学信息和图像一起被输入该计算机，该计算机具备上述图像处理装置。
本发明的其他方式涉及程序，用于使计算机执行如下步骤：取得与图像的点像复原相关的统计信息；获取在取得图像时使用的表示光学系统的点像强度分布的光学信息；基于统计信息和光学信息中的至少任一个，求算用于图像的点像复原处理的复原滤波器的滤波信息；将滤波信息作为约束条件，基于统计信息和光学信息来算出复原滤波器的滤波系数；及使用所算出的滤波系数来进行点像复原处理。
发明效果
根据本发明，能够基于与图像的点像复原相关的统计信息和表示光学系统的点像强度分布的光学信息中的至少任一个来求算复原滤波器的滤波信息，并将该滤波信息作为约束条件，算出复原滤波器的滤波系数。
由此，能够不降低点像复原处理的精度而减少用于点像复原处理的复原滤波器的数据存储量。
附图说明
图1是表示与计算机连接的数码相机的概略的框图。
图2是表示点像复原处理的一例的概略的框图。
图3是表示第一实施方式所涉及的点像复原处理的复原滤波器生成存储方法的框图，是主要表示数据的流程的图。
图4是进行图3所示的数据处理的控制器的功能框图。
图5是表示格式标识符(滤波信息ID)、PSF的对称性、相位成分的有无、复原滤波器(滤波系数)的配置格式和应存储的滤波系数的数目(抽头数)的关系的表。
图6是表示基于存储于存储部的滤波系数和滤波信息而生成复原滤波器的流程的功能框图。
图7是表示第二实施方式所涉及的存储于PSF存储部的光学传递函数(PSF、OTF)的关系的表。
图8是表示第三实施方式所涉及的滤波系数-格式存储部的功能框图。
图9是表示第四实施方式所涉及的复原滤波器系数格式转换部和信号处理部的结构的功能框图。
图10是表示与各处理部的设置相关的例子(实施例)的表。
图11是智能手机的外观图。
图12是表示图11所示的智能手机的结构的框图。
图13是表示具备EDoF光学系统的摄像模块的一形态的框图。
图14是表示EDoF光学系统的一例的图。
图15是表示图13所示的复原处理块中的复原处理的一例的流程图。
图16是表示经由EDoF光学系统而取得的图像的复原例的图，(a)表示复原处理前的模糊的图像，(b)表示复原处理后的消除模糊后的图像(点像)。
具体实施方式
参照附图，对本发明的实施方式进行说明。在以下的说明中，作为一例，对将本发明适用于能够与计算机(PC：个人计算机)连接的数码相机(摄像装置)的例子进行说明。
图1是表示与计算机连接的数码相机的概略的框图。
数码相机10具备可更换的镜头单元12和具有摄像元件26的相机主体(主体部)14，经由镜头单元12的镜头单元端子22和相机主体14的相机主体端子30而将镜头单元12和相机主体14电连接。
镜头单元12具备透镜16、光圈(图示省略)等光学系统和控制该光学系统的光学系统操作部18，光学系统操作部18包括与镜头单元端子22连接的镜头单元控制器20和对光学系统进行操作的促动器(省略图示)。镜头单元控制器20基于经由镜头单元端子22而从相机主体14发送来的控制信号，经由促动器而控制光学系统，例如，基于透镜移动进行聚焦控制、变焦控制、光圈的光圈量控制等。
相机主体14的摄像元件26具有RGB等的滤色器和图像传感器(CMOS、CCD等)，将经由镜头单元12的光学系统(透镜16、光圈等)而照射的被摄体像的光转换为电信号，将图像信号发送到相机主体控制器(图像处理装置)28。
相机主体控制器28对相机主体14总括地进行控制，例如对来自摄像元件26的图像信号(图像数据)的输出进行控制，或者对来自摄像元件26的图像信号进行图像处理，或者生成用于控制镜头单元12的控制信号并经由相机主体端子30发送到镜头单元12(镜头单元控制器20)，或者将图像处理前后的图像数据(RAW数据、JPEG数据等)发送到经由输入输出接口32而连接的外部设备类(计算机60等)。
相机主体控制器28能够进行与需要对应的任意的图像处理，能够进行传感器校正处理、去马赛克(去马赛克算法)处理、像素插值处理、颜色校正处理(白平衡处理、颜色矩阵处理、伽马转换处理等)、RGB图像处理(锐度处理、色调校正处理、曝光校正处理等)和JPEG压缩处理。除此之外，本例的相机主体控制器28对图像数据实施所谓的点像复原处理。对该点像复原处理的详细内容留作后述。
在相机主体控制器28中图像处理后的图像数据被发送到与输入输出接口32连接的计算机60等。此时，被发送到计算机60等的图像数据的格式不特别限定，能够设为RAW、JPEG、TIFF等任意的格式。因此，相机主体控制器28也可以如所谓的Exif格式那样，将头信息(摄影信息(摄影日期时间、机种、像素数、光圈值等)等)、主图像数据和缩略图像数据相互建立对应而构成为一个图像文件，将该图像文件从相机主体14发送到计算机60。
计算机60经由相机主体14的输入输出接口32和计算机端子62而与数码相机10连接，接收从相机主体14发送来的图像数据等数据类。计算机60的计算机控制器64对计算机60总括地进行控制，对来自数码相机10的图像数据进行图像处理，进行与经由互联网70等网络线路而和计算机端子62连接的服务器80的通信控制。计算机60具有显示器66，计算机控制器64中的处理内容等根据需要而显示于显示器66。用户也能够通过确认显示器66的显示并对键盘等输入单元(图示省略)进行操作，对计算机控制器64输入数据、指示，并对与计算机60连接的数码相机10、服务器80进行控制。
服务器80具有服务器端子82和服务器控制器84。服务器端子82构成与计算机60等外部设备类的收发连接部，经由互联网70而与计算机60的计算机端子62连接。服务器控制器84根据来自计算机60的控制指示信号，与计算机控制器64相互作用，将数据类下载到计算机60，或者进行运算处理而将其运算结果发送到计算机60。
另外，各控制器(镜头单元控制器20、相机主体控制器28、计算机控制器64、服务器控制器84)具备控制处理所需的电路类，例如具备运算处理电路(CPU等)、存储器等。
接下来，对经由摄像元件26而得到的被摄体像的摄像数据(图像数据)的点像复原处理进行说明。另外，在本例中，对在相机主体14(相机主体控制器28)中实施了下述的一系列的点像复原处理的例子进行说明，但是也能够在其他控制器(镜头单元控制器20、计算机控制器64等)中实施点像复原处理的全部或一部分(参照图10)。
图2是表示点像复原处理的一例的概略的框图。
点像复原处理P10是通过使用了复原滤波器F的滤波处理而根据点像复原处理前图像数据D10来生成点像复原处理后图像数据D10’的处理。即，将由N×M的抽头构成的复原滤波器F适用于处理对象的图像数据，对分配于各抽头的滤波系数和对应的像素数据(点像复原处理前图像数据D10的处理对象像素数据和相邻像素数据)进行加权平均运算，从而能够算出点像复原处理后的像素数据(点像复原处理后图像数据D10’)。依次替换对象像素而将该使用了复原滤波器F的加权平均处理适用于构成图像数据的总像素数据，从而能够进行点像复原处理。
另外，复原滤波器F对应于摄影条件(透镜种类、光圈、变焦位置、被摄体距离等)、图像内的位置(像高)的各个条件而准备，在点像复原处理P10中，选择使用与处理对象的像素数据的条件(摄影条件、图像中位置等)对应的复原滤波器F。因此，摄影条件(光圈、变焦位置、被摄体距离等)、图像内的位置(像高)等条件越增加，应准备的复原滤波器F的数据量越增加，复原滤波器F的存储数据量变得越庞大。然而，根据以下的各实施方式，能够降低这样的复原滤波器F的需要存储量。
＜第一实施方式＞
通常，点像复原处理的复原滤波器尺寸与PSF的尺寸存在相关性，优选为，点扩散越大的PSF，利用越大抽头数的复原滤波器进行点像复原处理。另外，如果PSF是对称的形式，则复原滤波器也为对称的形式，因此通过利用这样的对称性，能够对复原滤波器的信息量进行压缩。即，进行将“表示光学系统的点像强度分布的光学信息(PSF等)的特征(对称性)”、“用于滤波信息压缩的其他特性(抽头数)”考虑为约束条件的复原滤波器的设计，从而能够不降低点像复原处理的精度，并效率良好地对复原滤波器所需的信息进行压缩。
图3是表示第一实施方式所涉及的点像复原处理的复原滤波器生成存储方法的框图，是主要表示数据的流程的图。
在本实施方式中，取得与图像数据的点像复原相关的统计信息(复原条件参数)D12，另外取得在取得图像数据时使用的表示光学系统的点像强度分布的光学信息(PSF)D14。并且，基于所取得的复原条件参数D12和PSF数据D14，求算用于图像数据的点像复原处理的复原滤波器的滤波信息D16(图3的P12)。
复原条件参数D12包含点像复原处理时的输入图像数据的统计信息(例如SN比)，是点像复原处理的复原滤波器的生成所需的附加信息，且是PSF数据D14以外的信息。
作为表示光学系统的点像强度分布的光学信息，例如能够列举出PSF(点扩散函数)。PSF表示所赋予的条件下的点像扩散(PSF形状)，根据摄影条件、图像中的位置而变化。另外，光学信息不限于PSF，也可以是对PSF进行傅立叶变换而得到的OTF(MTF、PTF)等，但是在本实施方式中，作为一例，使用PSF作为光学信息。
为了根据复原条件参数D12和PSF数据D14而以一定的精度对与PSF数据D14对应的点像复原处理的复原滤波器进行复原，滤波信息D16包含最低限所需的滤波系数以外的信息。具体来说，滤波信息D16能够包含例如与复原滤波器的抽头数相关的信息、表示复原滤波器的对称性的种类(点对称、旋转对称等)的信息。
例如，能够在PSF形状(点扩散)的尺寸较大的情况下将复原滤波器整体的抽头数设定得较多，在PSF形状是点对称的情况下将复原滤波器的对称性设定为点对称，在PSF形状是旋转对称的情况下将复原滤波器的对称性设定为旋转对称。另外，考虑复原滤波器的对称性而设定复原滤波器的再现所需的复原滤波器的抽头数，具体来说，基于构成复原滤波器的总抽头数、对称性来确定应最低限存储的抽头数。
这些滤波信息(对称性、复原滤波器抽头数等)相互建立关联，并被分配格式标识符(滤波信息ID)。对于这些滤波信息和格式标识符(滤波信息ID)的关系留作后述(参照图5)。
并且，将滤波信息D16作为约束条件，基于复原条件参数(统计信息)D12和PSF数据(光学信息)D14，算出复原滤波器的滤波系数D18(P14)。即，在复原滤波器的信息量(抽头数、对称性)的约束条件下，算出性能最高的滤波系数。
例如，在滤波信息包含与复原滤波器的抽头数相关的数据和表示复原滤波器的对称性的种类的数据的情况下，能够将与复原滤波器的抽头数相关的数据和表示复原滤波器的对称性的种类的数据作为约束条件，算出滤波系数。此时，对复原滤波器的再现所需的复原滤波器的各抽头算出滤波系数。因此，复原滤波器具有预定的对称性，在复原滤波器的再现所需的复原滤波器的抽头数比构成本来的复原滤波器的抽头数少的情况下，能够降低(压缩)滤波系数的信息量。通过如此指定约束条件并对滤波系数进行最佳设计，能够与对复原滤波器进行设计后而对滤波系数强行非可逆地进行压缩的情况相比，提高复原滤波器的点像复原精度。
另外，以下，对根据复原条件参数(统计信息)D12和PSF数据(光学信息)D14的两者来算出滤波系数D18的例子进行说明，但是也能够仅根据PSF数据(光学信息)D14来算出滤波系数D18，即使在复原条件参数(统计信息)D12不明确的情况下也能够算出滤波系数D18。
并且，所算出的滤波系数D18和与该滤波系数D18对应的滤波信息(滤波格式)D16相互建立关联而存储于存储器(ROM等)(P16)。
图4是进行图3所示的数据处理的控制器的功能框图。在本例中，由相机主体控制器28(参照图1)构成以下的复原条件参数计算部34、PSF存储部36、滤波信息计算部38、滤波系数计算部40和滤波系数-格式存储部42。
首先，由复原条件参数计算部(统计信息获取部)34取得复原条件参数(统计信息：SN比等)D12，该复原条件参数D12发送到滤波信息计算部38。
复原条件参数计算部34算出并取得与复原相关的输入图像的统计信息(SN比等)，输出该统计信息作为复原条件参数D12。通常，在基于维纳(Wiener)滤波的图像复原中需要摄影对象图像的SN比。该情况下的SN比对应每个频率而需要，由SNR(ωx，ωy)表示。在此，ωx和ωy分别是x轴方向和y轴方向上的角频率。根据数码相机10中所使用的ISO灵敏度、摄像元件26的OB(光学黑色)区域的数据值等而综合性地算出SN比的信息。
另外，也可以预先算出SN比等统计信息，并存储于预定的存储器(存储部)。在该情况下，也可以是，例如复原条件参数计算部34作为对与图像数据的复原相关的统计信息进行存储的统计信息存储部而发挥功能，滤波信息计算部38作为取得存储于复原条件参数计算部34的统计信息的统计信息获取部而发挥功能。
另一方面，PSF存储部36作为对取得图像数据时使用的表示光学系统的点像强度分布的光学信息进行存储的光学信息存储部而发挥功能。将摄影条件、图像中位置等能够对点像分布函数产生影响的条件(PSF条件)和与各条件对应的PSF数据D14预先建立对应而存储于本例的PSF存储部36中。这些相互建立对应的信息(也简单记载为“PSF数据D14”)从PSF存储部36发送到滤波信息计算部38。
滤波信息计算部38作为取得在取得图像数据时使用的表示光学系统的点像强度分布的光学信息的光学信息获取部而发挥作用，取得基于透镜信息的光学传递函数(光学信息(PSF))。光学传递函数根据摄影时的光学系统的状态(变焦位置、光圈、聚焦位置等)、图像中的距中心的距离(位置)而设定。取得光学传递函数的方法能够考虑如下方法：从相机主体14的内部ROM(相机主体控制器28)读出光学传递函数，在可换镜头式相机的情况下从可换镜头内的ROM(镜头单元控制器20)读出光学传递函数，在RAW显影软件安装于计算机60的情况下从经由互联网70而连接的服务器80等读出光学传递函数。在本例中，对在相机主体14的内部ROM(相机主体控制器28)存储光学传递函数(PSF)的情况进行说明。
另外，光学传递函数能够由PSF、OTF表示。PSF和OTF处于相互利用傅立叶变换/逆傅立叶变换而获得的关系，PSF是实函数，OTF是复变函数。作为具有与它们等价的信息的函数，有MTF和PTF，分别表示OTF的振幅成分和相位成分。因此，从信息量的观点出发，MTF和PTF的组合与OTF或者PSF等价。它们根据图像中的位置而不同，因此需要对应图像中的每个位置而求算。PSF、OTF、MTF和PTF中能够取得哪个信息这根据系统而不同，但是需要能够至少取得一个。
取得复原条件参数D12和PSF数据D14后的滤波信息计算部38基于这些信息，而求算用于图像数据的点像复原处理的复原滤波器的滤波信息D16。复原滤波器能够根据上述的PSF条件(摄影条件、图像中位置)而变动，因此滤波信息计算部38对应每个PSF求算滤波信息。
图5是表示格式标识符(滤波信息ID)、PSF的对称性、相位成分的有无、复原滤波器(滤波系数)的配置格式和应存储的滤波系数的数目(抽头数)的关系的表。在图5中，作为一例，例示了PSF的对称性是“旋转对称”、“垂直对称”、“水平对称”、“点对称”和“非对称”的情况，另外，例示了由M抽头×M抽头(最大7抽头×7抽头)的正方滤波的抽头数构成复原滤波器的情况。
在图5的表示复原滤波器(滤波系数)的配置格式的“滤波系数配置格式”的项目中，在由记号1～9，a～z和A～N表示的复原滤波器的抽头中，向被分配共通的记号的抽头分配共通的滤波系数。另外，在“滤波系数配置格式”的项目中，被涂黑的抽头的数目与“应存储的滤波系数的数目(N)”相当。
例如，在PSF具有旋转对称性的情况下，PSF形状具有“PSF(x，y)＝g(√(x2+y2))”的关系性，没有相位，应存储的滤波系数的数目(抽头数)N由“N＝(M+1)((M+1)/2+1)/4”表示。另外，在PSF具有垂直对称性的情况下，PSF形状具有“PSF(x，y)＝PSF(x，－y)”的关系性，存在相位，应存储的滤波系数的数目N由“N＝(M+1)(M－1)/4”表示。另外，在PSF具有水平对称性的情况下，PSF形状具有“PSF(x，y)＝PSF(－x，y)”的关系性，存在相位，应存储的滤波系数的数目N由“N＝(M+1)(M－1)/4”表示。另外，在PSF具有点对称性的情况下，PSF形状具有“PSF(x，y)＝PSF(－x，－y)”的关系性，没有相位，应存储的滤波系数的数目N由“N＝(M+1)2/4”表示。另外，在PSF不具有对称性的情况下，PSF形状是非对称性，存在相位，应存储的滤波系数的数目N由“N＝M2”表示。
图4所示的滤波信息计算部38基于复原条件参数D12和PSF数据D14来算出滤波信息(抽头数/对称性)，根据图5所示的表数据，进行PSF的对称性的判定，求算对应的滤波信息ID(格式ID：标识符p)。该滤波信息ID(标识符p)与表示复原滤波器所需的滤波系数的配置信息建立对应，并由滤波信息计算部38保持。通常，如果是零相位滤波，则滤波信息量(应存储的抽头数)(大致)成为一半，此外，如果是旋转对称则成为1/8。即使在不成为零相位的情况下，如果是垂直对称、水平对称，则也能够使滤波信息量(应存储的抽头数)为一半。
在赋予光学传递函数作为PSF的情况下，能够如上所述仅单纯地利用PSF对称性而进行判断，但是在MTF和PTF中仅能够利用一方的情况下，选择方法的基准稍有不同。在仅能够利用MTF的情况下，必然只能仅进行基于零相位滤波的复原，在图5所示的例中，从滤波信息ID(标识符p)的一号和四号中选择对应的滤波信息ID(标识符p)(若MTF为旋转对称，则设定图5的p＝1作为滤波信息，若不是旋转对称，则设定p＝4作为滤波信息)。
另外，表示复原滤波器的对称性的种类的数据可以如上所述根据PSF形状而由滤波信息计算部38求算，也可以预先与PSF建立对应而存储于PSF存储部36，并与PSF一起从PSF存储部36发送到滤波信息计算部38。
在该情况下，滤波信息计算部38从PSF存储部36取得PSF和与该PSF的点像强度分布建立对应的表示复原滤波器的对称性的种类的滤波信息ID数据(格式ID：标识符p)。由滤波信息计算部38算出的滤波信息成为与复原滤波器的抽头数目相关的数据。另外，滤波系数计算部40将滤波信息计算部38所求算的与复原滤波器的抽头数相关的数据和滤波信息计算部38所取得的表示复原滤波器的对称性的种类的数据作为约束条件，算出滤波系数。
滤波信息计算部38在确定了滤波信息ID(标识符p)后，确定滤波尺寸(图5的表中的M值)。通常，扩散越大的PSF，复原滤波器所需的抽头数越多，另外，SN比越大，频率特性变得陡峭的可能性越高，因此需要将抽头数取得较大。然而，准确地判断为了得到期望的复原精度的滤波而需要哪种程度的抽头数这需要较多的计算量，因此现实中，将PSF的尺寸和SN比作为参数，进行经验性的预测是现实的。
具体来说，对应每个滤波信息ID具有二维的表，以如下方式确定滤波尺寸。
M＝Tp(ρ，SNR)
在此，p表示滤波信息ID(标识符)，ρ表示PSF的尺寸，SNR表示SN比。另外，复原滤波器是M抽头×M抽头的正方滤波(抽头数＝M×M)。应存储的抽头数(自由度)N由M的值和图5的表中的式子(“应存储的滤波系数的数目(N)”)确定。
并且，所求出的滤波信息(滤波信息ID(标识符p)、抽头数)D16与PSF数据D14和复原条件参数D12一起从滤波信息计算部38发送到滤波系数计算部40。
滤波系数计算部40将发送来的滤波信息D16作为约束条件，基于复原条件参数D12和PSF数据D14，对应每个PSF条件(摄影条件、图像中位置)，算出复原滤波器的滤波系数D18。即，滤波系数计算部40将滤波信息D16作为约束条件，根据输入图像统计信息(SN比)和PSF图像信息(PSF)来算出分配于应存储的抽头的滤波系数。具体来说，滤波系数计算部40首先算出复原滤波器的频率特性。
通常，在基于PSF的模糊的复原中，能够利用卷积型的维纳滤波。能够参照OTF和SN比的信息，利用以下的式子来算出复原滤波器的频率特性d(ωx，ωy)。
[数学式1]
d ( ω x , ω y ) = H * ( ω x , ω y ) | | H ( ω x , ω y ) | | 2 + 1 / SNR ( ω x , ω y )
在此，H(ωx，ωy)表示OTF，H＊(ωx，ωy)表示其复共轭。另外，SNR(ωx，ωy)表示SN比。
滤波系数的设计中，滤波的频率特性为以变得最接近期望的维纳频率特性的方式选择系数值的最佳化问题，能够利用任意的公知的方法来适当算出滤波系数。
该复原滤波器设计成为求算使评价泛函数Jp[x]最小化的下述数学式2的问题。
[数学式2]
泛函数Jp[x]是利用任意的公知的评价方法来对复原滤波器的理想的频率特性d(ωx，ωy)和利用滤波系数x实现的实际的滤波的频率特性的近似度进行定义的函数。能够实现滤波的频率特性的范围依赖于滤波格式，因此评价泛函数根据标识符p而成为不同的定义。
应求算的滤波系数x0能够以如下方式表示。
[数学式3]
即便使用任一方法，最佳化所需的计算量也受到滤波系数的自由度(应存储的抽头数)N的较大的影响，自由度N越大，越需要更多的计算量，自由度N越大，其计算量的复杂化的倾向变得越显著。因此，最初考虑PSF的对称性等而预先确定滤波格式，从而能够大幅度降低滤波设计所需的计算量。
另外，当与“从最初算出M×M抽头的滤波系数起考虑滤波系数自身的对称性而进行滤波系数的不可逆压缩的例子”进行比较时，上述的例子的滤波系数的确定方法能够利用频率近似而直接使滤波系数最佳化，另一方面，能够对滤波系数进行压缩(降低滤波系数的自由度N)。因此，关于复原滤波器的频率特性也能够得到更优选的滤波系数。
所算出的滤波系数D18与滤波信息D16和PSF条件建立关联，并从滤波系数计算部40发送到滤波系数-格式存储部42，并记录存储于滤波系数-格式存储部42。滤波系数-格式存储部42将滤波系数D18和与滤波系数D18对应的滤波信息D16相互建立关联而存储，根据PSF条件(图像数据的取得条件(摄影条件)、由图像数据表示的图像中的位置)对滤波系数D18和滤波信息D16进行存储。
图6是表示基于存储于存储部的滤波系数和滤波信息而生成复原滤波器的流程的功能框图。
存储于滤波系数-格式存储部42的滤波信息D16和滤波系数D18由复原滤波器系数格式转换部(复原滤波器生成部)44读出。
复原滤波器系数格式转换部44基于存储于滤波系数-格式存储部42的滤波系数D18和滤波信息D16来生成复原滤波器D20。即，复原滤波器系数格式转换部44以复原滤波器系数的信息数据(格式标识符)为参考，将所存储的滤波系数转换为使用复原滤波器(滤波系数)进行点像复原处理的信号处理部(点像复原处理部)46能够处理的形式。具体来说，复原滤波器系数格式转换部44基于与格式标识符建立关联的复原滤波器的对称性，对被分配滤波系数的抽头进行扩展，例如生成M抽头×M抽头的复原滤波器。因此，复原滤波器系数格式转换部44向周围的抽头分配0，或者将滤波系数的抽头扩展为旋转对称而对全部的抽头扩展滤波系数的分配。另外，由复原滤波器系数格式转换部44生成的复原滤波器D20能够设为在后段的信号处理部46中可适用于图像数据D22的任意的形式。
复原滤波器系数格式转换部44将如此生成的复原滤波器D20发送到信号处理部46。信号处理部46从复原滤波器系数格式转换部44接收复原滤波器(滤波系数)，将该复原滤波器适用于输入图像数据D22，从而对输入图像数据D22进行点像复原处理。
如以上说明的那样，根据本实施方式，最初考虑表示光学系统的点像强度分布的光学信息(PSF等)的对称性等而预先确定滤波格式。由此，能够将复原滤波器的点像复原精度保持在一定等级以上，并减少滤波设计所需的存储滤波信息量，大幅度地减少计算量。因此，能够减少再现完整的复原滤波器所需的滤波系数的保存数据量，能够削减需要的ROM容量(存储容量)。
另外，当与“从最初算出M×M的滤波系数之后考虑滤波系数自身的对称性而进行滤波系数的不可逆压缩的例子”进行比较时，本实施方式的滤波系数的确定方法能够通过利用频率近似而直接使应存储的复原滤波器的抽头的滤波系数最佳化来进行求算。由此，关于复原滤波器的频率特性，也能够得到更优选的复原滤波器。
＜第二实施方式＞
在本实施方式中，对与上述的第一实施方式共通的结构附加相同的附图标记，省略其详细的说明。
存储于PSF存储部36(参照图4)的光学传递函数(取得图像数据时使用的表示光学系统的点像强度分布的光学信息)能够以任意的格式进行存储。以下，对以排除了由对称性引起的冗长性后的状态将光学传递函数(PSF)存储于PSF存储部36的例子进行说明。
本实施方式的存储于PSF存储部36的光学信息包括表示基于PSF的点像强度分布的对称性的种类的数据和基于该点像强度分布的对称性的种类而将点像强度分布可再现地压缩而成的PSF的数据(压缩数据)。压缩的PSF的数据(压缩数据)与表示点像强度分布的对称性的种类数据建立对应。
图7是表示第二实施方式所涉及的存储于PSF存储部36的光学传递函数(PSF、OTF)的关系的表，表示格式标识符(PSF类别ID)、PSF的对称性、相位成分的有无、应存储的PSF的定义域和应存储的OTF定义域的对应关系。
在本实施方式中，应存储的定义域中的PSF和OTF的离散化的采样间隔需要各PSF类别ID而选择适当的间隔。应存储的定义域越小(狭窄)，PSF信息的采样值的数K越小。
另外，图5所示的格式标识符(滤波信息ID)和图7所示的格式标识符(PSF类别ID)相互对应，向对应的格式标识符分配共通的标识符p。通过向相互对应的PSF类别ID(参照图7)和滤波信息ID(参照图5)分配共通的标识符p，在考虑PSF的对称性而以排除了冗长性的状态将PSF存储于PSF存储部36的情况下，不需要对滤波信息计算部38中的复原滤波器的对称性进行判定的过程(process)。滤波信息计算部38中的其他处理与上述的第一实施方式大致相同。
滤波信息计算部38根据表示点像强度分布的对称性的种类的数据，求算表示复原滤波器的对称性的种类的数据。另外，滤波信息计算部38基于与表示点像强度分布的对称性的种类的数据建立对应的压缩数据和复原条件参数(统计信息、SN比)，求算与复原滤波器的抽头数相关的数据。
为了算出维纳滤波频率(复原滤波器的期望频率)，滤波系数计算部40将考虑对称性而仅保存一部分的PSF，考虑其对称性而向定义域(需要域)整体在展开，算出整体被完整地复原的PSF条件后，算出各个的滤波系数。在此，需要将PSF暂且向定义域整体展开是因为维纳滤波频率的计算式是非线性的。然而，通过以如下方式使生成复原滤波器的基准稍微变化，能够大幅地削减计算量和需要的存储器。即，复原滤波器的适用结果的图像数据(点像复原处理后图像数据)与由点扩散现象引起的劣化前的理想图像的均方误差JWNR[x]以如下方式表示。
[数学式4]
J WNR [ x ] = 0 - π π 0 - π π ( S ( ω x , ω y ) | | 1 - H ( ω x , ω y | y ) f p ( ω x , ω y | x ) | | 2 + N ( ω x , ω y ) | | f p ( ω x , ω y | x ) | | 2 ) d ω x dω x
在上述式中，各函数以如下方式被定义。
[数学式5]
：所存储的PSF(或OTF)信息矢量
H(ωx，ωy|y)：OTF的复原函数
S(ωx，ωy)≥0：平均信号电力
N(ωx，ωy)≥0：平均噪声电力
该均方误差JWNR[x]是维纳滤波的评价基准本身，如果假设fp为非参数，则使均方误差JWNR[x]最小化的滤波频率特性具有fp(ωx，ωy)＝d(ωx，ωy)的关系，与卷积型的理想维纳滤波频率一致。
如果假设H(ωx，ωy|y)与y相关而是线性的式子，则使上述的评价基准最小化的x与上述第一实施方式的情况同样，可以不经由作为目标的理想维纳滤波频率的计算，因此能够减少计算量和需要存储器量。
如以上说明的那样，根据本实施方式，表示光学系统的点像强度分布的光学信息(PSF、OTF信息)以排除了由对称性引起的冗长性的状态进行存储和使用，因此不需要对光学信息的对称性进行判定。另外，在考虑对称性而仅保存一部分光学信息(PSF、OTF)的情况下，能够不进行滤波系数运算的中途的维纳滤波频率计算而进行滤波设计，能够减轻运算处理负荷。
＜第三实施方式＞
在本实施方式中，对与上述的第一实施方式和第二实施方式共通的结构附加相同的附图标记，省略其详细的说明。
滤波系数-格式存储部42(参照图4)能够将滤波系数D18、滤波信息D16和PSF条件以任意的格式进行存储。
图8是表示第三实施方式所涉及的滤波系数-格式存储部42的功能框图。
以被指定格式而压缩的形式从滤波系数计算部40输出的滤波系数与滤波信息(滤波信息ID(标识符p)、滤波尺寸数据(M))一起存储记录于滤波系数-格式存储部42。对这些信息进行存储记录的理由是因为如下缘故：由于滤波系数的计算耗费计算成本，因此算出一次的滤波系数以在下一次中能够直接使用的方式进行保存的方法为优选。另外，即使在不在安装于相机主体内、个人计算机的RAW显影软件内进行滤波系数的计算的情况，例如在出厂时将预先算出的滤波系数存储于ROM的情况下，上述的存储记录方法也是有效的。
本实施方式所涉及的滤波系数-格式存储部42具备：具有串行器49和解串器50的存储处理部48、与存储处理部48连接的索引-偏移转换表存储部52以及复原滤波器信息存储部54。
串行器49从所输入的滤波信息ID(标识符p)、滤波尺寸数据(M)和滤波系数，推断出滤波系数矢量(尺寸N)，将滤波信息ID(标识符p)、滤波尺寸数据(M)和滤波系数矢量以需要的最小限的存储尺寸记录于复原滤波器信息存储部54。另一方面，解串器50进行与串行器49的处理相反的处理，根据从复原滤波器信息存储部54读出的“滤波信息ID(标识符p)、滤波尺寸数据(M)和滤波系数矢量”，对滤波信息ID(标识符p)、滤波尺寸数据(M)和滤波系数进行复原。
应记录的复原滤波器根据摄影条件、图像中的位置等而存在多个，但是存储要素的数据长度不固定，因此向存储器(复原滤波器信息存储部54)的随机存取变难，另一方面，由用户随机确定以哪个条件进行摄影，因此需要向存储器的随机存取。因此，在索引-偏移转换表存储部52存储索引-偏移转换表，需要使随机存取容易化的方法。
即，将索引-偏移转换表存储于索引-偏移转换表存储部52，该索引-偏移转换表是将图像数据的摄影条件(取得条件)及由图像数据表示的图像中的位置和存储相互建立关联的滤波系数及滤波信息的滤波系数-格式存储部42(复原滤波器信息存储部54)的存储器地址建立对应而成的。因此，将复原滤波器信息存储部54中的“滤波信息ID(标识符p)、滤波尺寸数据(M)和滤波系数矢量”的存储器地址(偏移信息)和对应的“摄影条件和图像中位置”(索引)相互建立关联而成的索引-偏移转换表由存储处理部48(串行器49)存储于索引-偏移转换表存储部52。
复原滤波器系数格式转换部44基于存储于索引-偏移转换表存储部52的索引-偏移转换表，从滤波系数-格式存储部42(复原滤波器信息存储部54)读出与图像数据的取得条件和由图像数据表示的图像中的位置对应的滤波系数和滤波信息。即，复原滤波器系数格式转换部44在经由解串器50读出需要的“滤波信息ID(标识符p)、滤波尺寸数据(M)和滤波系数矢量”时参照存储于索引-偏移转换表存储部52的索引-偏移转换表，以需要的复原滤波器的“对应摄影条件和对应图像中位置”(索引)为线索，取得复原滤波器信息存储部54中的对应的存储器地址。并且，复原滤波器系数格式转换部44经由解串器50对所取得的复原滤波器信息存储部54的存储器地址进行随机存取，从而能够迅速读出需要的“滤波信息ID(标识符p)、滤波尺寸数据(M)和滤波系数矢量”。
如以上说明的那样，根据本实施方式，能够通过需要最小限的存储尺寸将以被指定格式而压缩的形式输出的滤波系数记录于存储部(滤波系数-格式存储部42)。另外，能够对保持于存储部(存储器)的各数据有效地进行随机存取，因此能够避免复原滤波器的再现所需要的数据(滤波系数、滤波信息(标识符p、滤波尺寸M))的读入速度变慢。
＜第四实施方式＞
在本实施方式中，对于与上述的第一实施方式、第二实施方式和第三实施方式共通的结构附加相同的附图标记，省略其详细的说明。
图9是表示第四实施方式所涉及的复原滤波器系数格式转换部44和信号处理部46的结构的功能框图。
复原滤波器系数格式转换部44根据由滤波系数-格式存储部42(参照图6)保持的滤波系数和滤波信息(格式标识符)来生成复原滤波器，信号处理部46使用所生成的复原滤波器来进行图像数据的点像复原处理。
本实施方式的信号处理部46具有将复原滤波器适用于图像数据而进行点像复原处理的多个专用信号处理装置(复原处理部)58-i(i＝1～Q；以下简单地由附图标记“58”表示多个专用信号处理装置)，这些专用信号处理装置58对应于复原滤波器的对称性的多个种类分别进行准备。
复原滤波器系数格式转换部44具有格式转换处理部56，该格式转换处理部56具有对表示复原滤波器的对称性的种类和专用信号处理装置58的对应关系的滤波-格式转换表T1进行存储的滤波格式转换表存储部57。
格式转换处理部56基于滤波-格式转换表T1，根据从滤波系数-格式存储部42读出的滤波信息，求算复原滤波器的对称性的种类，并确定对应的专用信号处理装置58(专用信号处理装置ID(q))。另外，格式转换处理部56根据需要，将滤波系数(扩展)转换为与所确定的对应的专用信号处理装置58(专用信号处理装置ID(q))对应的形式(抽头格式)。另外，在不进行该滤波系数的转换而能够将从滤波系数-格式存储部42读出的滤波系数(应存储的滤波系数)对所确定的对应的专用信号处理装置58直接输入的情况下，不进行格式转换处理部56中的滤波系数的转换。
如此确定的“表示对应的专用信号处理装置58的专用信号处理装置ID(q：处理部指示数据)”和“滤波系数”作为复原滤波器从格式转换处理部56发送到信号处理部46。
信号处理部46利用由从复原滤波器系数格式转换部44发送来的专用信号处理装置ID(q)所表示的专用信号处理装置58-q，使用从复原滤波器系数格式转换部44(格式转换处理部56)发送来的滤波系数，对输入图像数据进行点像复原处理。
信号处理部46中的复原滤波器的适用由硬件或软件进行，但是即使任一情况下，在存在复原滤波器呈对称的形式等的约束条件情况下，也能够进行使乘算次数减少等最佳化。
专用信号处理装置58是分别根据建立关联的复原滤波器的对称性而最佳化后的点像复原处理装置，能够通过考虑了对称性的最佳的运算处理，减轻运算负荷而进行高速运算。例如，在对于复原滤波器(滤波系数)的存储格式(标识符p)分别存在专用的信号处理装置(专用信号处理装置58)的情况下，仅设定对应的专用信号处理装置58的参数即可。然而，在专用信号处理装置58的模式数较少的情况下，需要格式的转换。
在能够适用的专用信号处理装置58中，根据滤波格式的自由度(复原滤波器的对称性)而存在包含关系。例如，作为旋转对称的复原滤波器系数用的信号处理装置，能够使用设计为水平对称的复原滤波器的滤波系数专用的专用信号处理装置58。在该情况下，格式转换处理部56参照存储于滤波格式转换表存储部57的滤波-格式转换表T1，将旋转对称的复原滤波器的滤波格式转换为水平对称的滤波格式。另外，关于复原滤波器的再现所需要的抽头(参照图5的滤波系数配置格式和应存储的滤波系数的数目(N))，格式转换处理部56也从旋转对称的复原滤波器的情况下的抽头数扩展为水平对称的复原滤波器的情况下的抽头数，并对扩展后的抽头分配对应的滤波系数。
在不存在旋转对称专用的信号处理装置的情况下进行这种转换的本例与存在旋转对称专用的信号处理装置的情况相比，用于点像复原处理的计算量变多，但是能够使在可能的范围内计算量尽可能少那样的专用信号处理装置58执行点像复原处理，因此优选。通过如此对滤波格式进行格式转换，有时能够由已有的专用信号处理装置58进行处理。
为了实现此，准备列举了在滤波格式标识符p(1≤p≤P)与信号处理装置能够处理的滤波格式标识符q(专用信号处理装置ID(q)：1≤q≤Q)之间能够进行格式转换的对的表(滤波-格式转换表T1)或判定逻辑，格式转换处理部56执行向在能够转换的滤波格式标识符q(专用信号处理装置ID(q))中，执行向计算成本可以最少的格式的转换处理，并选择其对应装置而进行处理。例如，当设为以信号处理装置的计算量成为(q＝1)＜(q＝2)＜…＜(q＝Q)的方式建立编号时，在能够转换的“滤波格式标识符p-滤波格式标识符q”转换对中，选择具有最小的q编号的转换对，从而能够减轻运算负荷。
如以上说明的那样，根据本实施方式，即使在复原滤波器的存储格式和滤波适用的信号处理装置的滤波系数输入格式不一致的情况下，也能够适当地适用复原滤波器而进行点像复原处理。另外，在能够利用多个专用的信号处理装置的情况下，能够使计算成本更少的信号处理装置承担点像复原处理。
＜变形例＞
上述的数码相机10不过是例示，对于其他结构也能够适用本发明。另外，各功能结构能够由任意的硬件、软件或者两者的组合适当实现。因此，例如，对于使计算机执行上述的各处理部(复原条件参数计算部34、PSF存储部36、滤波信息计算部38、滤波系数计算部40、滤波系数-格式存储部42、复原滤波器系数格式转换部44和信号处理部46)中的处理步骤的软件(用于使计算机执行各处理工序(步骤)的程序等)，也能够适用本发明。该软件(程序等)也可以记录于ROM等计算机能够读取的非暂时的记录介质(non-transitorycomputer-readable medium：非暂时性计算机可读取介质)。
另外，在上述的各实施方式中，对相机主体14(相机主体控制器28)具备各处理部(复原条件参数计算部34、PSF存储部36、滤波信息计算部38、滤波系数计算部40、滤波系数-格式存储部42、复原滤波器系数格式转换部44和信号处理部46)的方式进行了说明，但是这些处理部能够设于任意的部位。
例如，能够在单一的数码相机10(摄像装置)中设置：复原条件参数计算部34(参数存储部)，算出并存储与图像数据的复原相关的统计信息；PSF存储部(光学信息存储部)36，存储取得图像数据时使用的表示光学系统的点像强度分布的光学信息(PSF、OTF等)；及滤波信息计算部38(复原条件参数获取部、光学信息获取部、滤波信息计算部)，取得统计信息和光学信息，并基于这些统计信息和光学信息，求算用于图像数据的点像复原处理的复原滤波器的滤波信息。
另外，也可以是，在数码相机10的镜头单元12的镜头单元控制器(光学信息存储部)20中存储在取得图像数据时使用的表示光学系统的点像强度分布的光学信息(PSF等)，在相机主体14的相机主体控制器28(参数存储部)中存储与图像数据的复原相关的统计信息(SN比等)，将基于统计信息和光学信息来求算用于图像数据的点像复原处理的复原滤波器的滤波信息的滤波信息计算部38(复原条件参数获取部、光学信息获取部、滤波信息计算部)设于相机主体14。
另外，也可以是，将与图像数据的复原相关的统计信息和图像数据一起输入到计算机，并在计算机设置：存储在取得图像数据时使用的表示光学系统的点像强度分布的光学信息的光学信息存储部(PSF存储部36)；及基于统计信息和光学信息来求算用于图像数据的点像复原处理的复原滤波器的滤波信息的滤波信息计算部38(复原条件参数获取部、光学信息获取部、滤波信息计算部)。
另外，也可以是，将与图像数据的复原相关的统计信息、在取得图像数据时使用的表示光学系统的点像强度分布的光学信息和图像数据一起输入到计算机，并在该计算机设置基于统计信息和光学信息来求算用于图像数据的点像复原处理的复原滤波器的滤波信息的滤波信息计算部38(复原条件参数获取部、光学信息获取部、滤波信息计算部)。
图10是表示与各处理部的设置相关的具体例(实施例)的表。
上述的各实施方式是将图4和图6所示的各处理部设于相机主体14的例子，因此与图10的实施例1对应。本实施例1例如适合于使镜头单元12和相机主体14一体地构成的数码相机10。
另一方面，在数码相机10的镜头单元12能够更换的情况下，也能够将PSF存储部36设于镜头单元12(镜头单元控制器20)，将其他处理部设于相机主体14(相机主体控制器28)(图10的实施例2)。在该情况下，能够将对应每个镜头单元12所定义的光学传递函数(PSF、OTF)与镜头单元12一起进行保持。由此，在由相机主体14侧进行点像复原处理的情况下，不需要在相机主体14侧保持对不使用的其他镜头单元定义的光学传递函数，因此能够减轻存储负荷。
另外，在将PSF存储部36设于相机主体14的情况下，也可以是，将存储于PSF存储部36的光学传递函数预先存储于服务器80的服务器控制器84，将需要的光学传递函数从服务器控制器84经由互联网70(网络)和计算机60而下载(DL)/安装到PSF存储部36(实施例3)。
另外，也能够由计算机60(计算机控制器64)实现图4和图6所示的各处理部。在该情况下，可以由相机主体14(相机主体控制器28)实现复原条件参数计算部34，也能够在Exif图像文件的头信息中包含由相机主体控制器28算出的复原条件参数(统计信息)，将复原条件参数与主图像(图像数据)一起从相机主体14发送到计算机60(实施例4)。另外，存储于PSF存储部36的光学传递函数可以预装在计算机60(计算机控制器64)的PSF存储部36，也可以根据需要从服务器控制器84经由互联网70(网络)下载(DL)/安装到PSF存储部36。另外，也可以由相机主体14(相机主体控制器28)实现复原条件参数计算部34，由可更换的镜头单元12(镜头单元控制器20)实现PSF存储部36，由计算机60(计算机控制器64)实现其他处理部(实施例5)。
能够适用本发明的方式不特别限定于数码相机、计算机，除了以摄像为主要功能的相机类之外，也能够适用于具有摄像以外的其他功能(通话功能、通信功能、其他计算机功能)的移动设备类。作为能够适用本发明的其他方式，例如，能够列举具有相机功能的移动电话、智能手机、PDA(Personal Digital Assistants：个人数字助理)、便携式游戏机。以下，列举智能手机为例，参照附图，对详细内容进行说明。
＜智能手机的结构＞
图11是表示作为本发明的摄影装置的一实施方式的智能手机101的外观的图。图11所示的智能手机101具有平板状的壳体102，并在壳体102的一面具备显示输入部120，该显示输入部120是作为显示部的显示面板121和作为输入部的操作面板122成为一体而成的。另外，该壳体102具备扬声器131、麦克风132、操作部140和相机部141。另外，壳体102的结构不限于此，例如，也能够采用使显示部和输入部独立的结构，或采用具有折叠构造、滑动机构的结构。
图12是表示图11所示的智能手机101的结构的框图。如图12所示，作为智能手机的主要的结构要素，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(Global Positioning System：全球定位系统)接收部170、运动传感器部180、电源部190和主控制部100。另外，作为智能手机101的主要的功能，具备经由移动通信网NW而与基站装置BS进行移动无线通信的无线通信功能。
无线通信部110按照主控制部100的指示，对收容于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行声音数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据、流数据等的接收。
显示输入部120是通过主控制部100的控制而显示图像(静止画面像和动态图像)、文字信息等并视觉性地向用户传递信息并检测对所显示的信息的用户操作的所谓触摸面板，具备显示面板121和操作面板122。
显示面板121使用LCD(Liquid Crystal Display：液晶显示器)、OELD(Organic Electro-Luminescence Display：有机电激发光显示器)等作为显示设备。操作面板122是以能够目视确认的方式载置显示在显示面板121的显示面上的图像并检测由用户的手指、尖笔操作的一或多个坐标的设备。当由用户的手指、尖笔操作该装置时，将因操作而产生的检测信号输出到主控制部100。接下来，主控制部100基于所接收的检测信号，检测显示面板121上的操作位置(坐标)。
如图11所示，作为本发明的摄影装置的一实施方式而例示的智能手机101的显示面板121和操作面板122成为一体而构成显示输入部120，但是操作面板122成为完全覆盖显示面板121那样的配置。在采用该配置的情况下，操作面板122也可以具备对显示面板121外的区域也检测用户操作的功能。换言之，操作面板122也可以具备对于与显示面板121重叠的重叠部分的检测区域(以下，称作显示区域)和对于除此以外的未与显示面板121重叠的外缘部分的检测区域(以下，称作非显示区域)。
另外，虽然也可以使显示区域的大小和显示面板121的大小完全一致，但是也无需必须使两者一致。另外，操作面板122也可以具备外缘部分和除此以外的内侧部分这两个感应区域。此外，外缘部分的宽度根据壳体102的大小等而适当设计。此外，作为由操作面板122采用的位置检测方式，列举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式和静电电容方式等，也能够采用任一种方式。
通话部130具备扬声器131、麦克风132，将通过麦克风132而输入的用户的声音转换为能够由主控制部100处理的声音数据并输出到主控制部100，或者对由无线通信部110或外部输入输出部160接收的声音数据进行解码而从扬声器131输出。另外，如图11所示，例如，能够将扬声器131搭载于与设有显示输入部120的一面相同的一面，并将麦克风132搭载于壳体102的侧面。
操作部140是使用键开关等的硬件键，接收来自用户的指示。例如，如图11所示，操作部140是如下的按钮式开关：搭载于智能手机101的壳体102的侧面，当由手指等按下时接通，当松开手指时通过弹簧等的回复力而成为断开状态。
存储部150存储主控制部100的控制程序、控制数据、应用软件、将通信对方的名称、电话号码等建立对应而成的地址数据、所收发的电子邮件的数据、利用Web浏览下载的Web数据、所下载的内容数据，另外临时存储流数据等。另外，存储部150由智能手机内置的内部存储部151和装拆自如的具有外部存储器插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151和外部存储部152使用闪存式(flash memory type)、硬盘式(hard disk type)、微型多媒体卡式(multimedia card micro type)、卡式存储器(例如，MicroSD(注册商标)存储器等)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等存储介质来实现。
外部输入输出部160起到与连接于智能手机101的全部的外部设备的接口的作用，用于与其他外部设备通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification：无线射频识别)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband：超宽带)(注册商标)、紫蜂(ZigBee)(注册商标)等)而直接或间接地连接。
作为与智能手机101连接的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插座而连接的存储卡(Memory card)、SIM(Subscriber Identity Module Card：客户识别模块卡)/UIM(User Identity Module Card：用户识别模块卡)卡、经由音频/视频I/O(Input/Output：输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接收传送的数据传递到智能手机101的内部的各结构要素，并将智能手机101的内部的数据传送到外部设备。
GPS接收部170按照主控制部100的指示，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测该智能手机101的由纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110、外部输入输出部160(例如无线LAN)取得位置信息时，也能够使用该位置信息来检测位置。
运动传感器部180例如具备三轴加速度传感器等，按照主控制部100的指示，检测智能手机101的物理性的移动。通过检测智能手机101的物理性的移动，能够检测智能手机101移动的方向、加速度。该检测结果被输出到主控制部100。
电源部190按照主控制部100的指示，向智能手机101的各部供给存储于电池(未图示)的电力。
主控制部100具备微处理器，按照存储部150所存储的控制程序、控制数据而动作，对智能手机101的各部总括地进行控制。另外，主控制部100为了通过无线通信部110进行声音通信、数据通信而具备对通信系统的各部进行控制的移动通信控制功能和应用处理功能。
应用处理功能通过按照存储部150所存储的应用软件来使主控制部100动作而实现。作为应用处理功能，例如有：对外部输入输出部160进行控制而与相向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能和阅览Web网页的Web浏览功能等。
另外，主控制部100具备基于接收数据、下载到的流数据等图像数据(静止图像、动态图像的数据)而将影像显示于显示输入部120的图像处理功能等。图像处理功能是指如下功能：主控制部100对上述图像数据进行解码，对该解码结果实施图像处理，而将图像显示于显示输入部120。
此外，主控制部100执行对显示面板121的显示控制、检测通过操作部140、操作面板122进行的用户操作的操作检测控制。
通过执行显示控制，主控制部100显示用于启动应用软件的图标、滚动条等软件键，或显示用于生成电子邮件的窗口。另外，滚动条是指，用于对于没有完全收纳于显示面板121的显示区域的较大的图像等接收使图像的显示部分移动的指示的软件键。
另外，通过执行操作检测控制，主控制部100检测通过操作部140进行的用户操作，或者通过操作面板122接收对上述图标的操作、对上述窗口的输入栏的字符串的输入，或者接收通过滚动条进行的显示图像的滚动请求。
此外，通过执行操作检测控制，主控制部100具备如下触摸面板控制功能：判定对于操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的未与显示面板121重叠的外缘部分(非显示区域)，并对操作面板122的感应区域、软件键的显示位置进行控制。
另外，主控制部100也能够检测对操作面板122的手势操作，根据所检测出的手势操作，执行预先设定的功能。手势操作并非以往的单纯的触摸操作，而是指利用手指等来描绘轨迹、对多个位置同时进行指定或将这些组合而从多个位置对至少一个描绘轨迹的操作。
相机部141是使用CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)、CCD(Charge-Coupled Device：电荷耦合元件)等摄像元件来进行电子摄影的数码相机。另外，相机部141能够通过主控制部100的控制而将通过摄像所得到的图像数据转换为例如JPEG(Joint Photographic coding Experts Group)等的压缩后的图像数据，并记录于存储部150，或通过外部输入输出部160、无线通信部110而输出。在图11所示的智能手机101中，相机部141搭载于与显示输入部120相同的一面，但是相机部141的搭载位置不限于此，也可以搭载于显示输入部120的背面，或者也可以搭载多个相机部141。另外，在搭载多个相机部141情况下，也能够切换用于摄影的相机部141而单独进行摄影，或者同时使用多个相机部141而进行摄影。
另外，相机部141能够用于智能手机101的各种功能。例如，能够在显示面板121显示由相机部141取得的图像、作为操作面板122的操作输入之一而利用相机部141的图像。另外，在GPS接收部170检测位置时，也能够参照来自相机部141的图像而检测位置。此外，也能够参照来自相机部141的图像而不使用三轴加速度传感器，或与三轴加速度传感器并用，而判断智能手机101的相机部141的光轴方向、判断当前的使用环境。当然，也能够在应用软件内利用来自相机部141的图像。
除此以外，也能够在静止画面或动态画面的图像数据附加由GPS接收部170取得的位置信息、由麦克风132取得的声音信息(也可以由主控制部等进行声音文本转换而成为文本信息)、由运动传感器部180取得的姿势信息等而记录于存储部150，或者通过外部输入输出部160、无线通信部110而输出。
在上述的智能手机101中，与点像复原处理关联的上述的各处理部例如能够由主控制部100、存储部150等适当实现。
＜向EDoF系统的适用例＞
上述的实施方式中的复原处理是通过根据特定的摄影条件(例如光圈值、F值、焦距、透镜种类等)对点扩散(点像模糊)进行复原校正而对本来的被摄体像进行复原的图像处理，但能够适用本发明的图像复原处理不限于上述的实施方式中的复原处理。例如，对于对由具有被扩大的视场(焦点)深度(EDoF：Extended Depth of Field(Focus))的光学系统(摄影透镜等)所摄影取得的图像数据进行的复原处理，也能够适用本发明所涉及的复原处理。通过对以由EDoF光学系统将景深(焦点深度)扩大后的状态摄影取得的模糊图像的图像数据进行复原处理，能够对在大范围内对焦的状态的高分辨率的图像数据进行复原生成。在该情况下，进行使用了复原滤波器的复原处理，该复原滤波器是基于EDoF光学系统的点扩散函数(PSF、OTF、MTF、PTF等)的复原滤波器且具有以在被扩大的景深(焦点深度)的范围内能够进行良好的图像复原的方式设定的滤波系数。
以下，对与经由EDoF光学系统而摄影取得的图像数据的复原相关的系统(EDoF系统)的一例进行说明。另外，在以下所示的例中，说明对根据去马赛克处理后的图像数据(RGB数据)得到的亮度信号(Y数据)进行复原处理的例子，但是进行复原处理的时刻不特别限定，例如也可以对“去马赛克处理前的图像数据(马赛克图像数据)”、“去马赛克处理后且亮度信号转换处理前的图像数据(去马赛克图像数据)”进行复原处理。
图13是表示具备EDoF光学系统的摄像模块201的一形态的框图。本例的摄像模块(数码相机等)201包括EDoF光学系统(镜头单元)210、摄像元件212、AD转换部214以及复原处理块(图像处理部)220。
图14是表示EDoF光学系统210的一例的图。本例的EDoF光学系统210具有单焦点被固定的摄影透镜210A和配置于光瞳位置的光学滤光片211。光学滤光片211对相位进行调制，以得到扩大的拍摄景深(焦点深度)(EDoF)的方式将EDoF光学系统210(摄影透镜210A)EDoF化。如此，摄影透镜210A和光学滤光片211构成对相位进行调制而将拍摄景深扩大的透镜部。
另外，EDoF光学系统210根据需要而包含其他结构要素，例如也可以在光学滤光片211的附近配置有光圈(省略图示)。另外，光学滤光片211可以是1片，也可以组合多片。另外，光学滤光片211不过是光学的相位调制单元的一例，EDoF光学系统210(摄影透镜210A)的EDoF化也可以由其他单元实现。例如，也可以替代设置光学滤光片211，而由以具有与本例的光学滤光片211等同的功能的方式设计镜头的摄影透镜210A来实现EDoF光学系统210的EDoF化。
即，能够利用使向摄像元件212的受光面成像的波面变化的各种单元来实现EDoF光学系统210的EDoF化。例如，能够采用“厚度变化的光学元件”、“折射率变化的光学元件(折射率分布型波面调制透镜等)”、“利用向透镜表面的镀膜等使厚度、折射率变化的光学元件(波面调制混合透镜、作为相位面而形成在透镜面上的光学元件等)”、“能够对光的相位分布进行调制的液晶元件(液晶空间相位调制元件等)”作为EDoF光学系统210的EDoF化单元。如此，不仅对于能够形成由光波面调制元件(光学滤光片211(相位板))规则地分散的图像的例子，而且对于不使用光波面调制元件而能够由摄影透镜210A自身形成与使用光波面调制元件的情况同样的分散图像的例子，也能够应用本发明。
图14所示的EDoF光学系统210能够省略机械地进行调焦的调焦机构，因此能够小型化，能够适当地搭载于带相机的移动电话、信息移动终端。
通过EDoF化后的EDoF光学系统210后的光学像成像于图13所示的摄像元件212，并在此转换为电信号。
摄像元件212由以预定的图案排列(拜尔排列、G条纹R/G完全棋盘式格纹、X-Trans排列、蜂窝排列等)呈矩阵状配置的多个像素构成，各像素构成为包含微透镜、滤色器(本例中RGB滤色器)和光电二极管。经由EDoF光学系统210入射到摄像元件212的受光面的光学像由排列于该受光面的各光电二极管转换为与入射光量相应的量的信号电荷。并且，蓄积于各光电二极管的R/G/B的信号电荷作为每个像素的电压信号(图像信号)而依次输出。
AD转换部214将从摄像元件212输出到每个像素的模拟的R/G/B图像信号转换为数字的RGB图像信号。由AD转换部214转换为数字的图像信号后的数字图像信号被施加到复原处理块220。
复原处理块220例如包含黑电平调整部222、白平衡增益部223、伽马处理部224、去马赛克处理部225、RGB/YCrCb转换部226和Y信号复原处理部227。
黑电平调整部222对从AD转换部214输出的数字图像信号实施黑电平调整。黑电平调整能够采用公知的方法。例如，在关注某一有效光电转换元件的情况下，求算与包含该有效光电转换元件的光电转换元件行中所包含的多个OB光电转换元件分别对应的暗电流量取得用信号的平均，从与该有效光电转换元件对应的暗电流量取得用信号减去该平均，从而进行黑电平调整。
白平衡增益部223进行与调整了黑电平数据后的数字图像信号中包含的RGB各色信号的白平衡增益对应的增益调整。
伽马处理部224进行伽马校正，该伽马校正以白平衡调整后的R、G、B图像信号成为期望的伽马特性的方式进行半色调等灰度校正。
去马赛克处理部225对伽马校正后的R、G、B图像信号实施去马赛克处理。具体来说，去马赛克处理部225通过对R、G、B的图像信号实施颜色插值处理，生成从摄像元件212的各受光像素输出的一组图像信号(R信号、G信号、B信号)。即，颜色去马赛克处理前，来自各受光像素的像素信号是R、G、B的图像信号中的任一个，但是颜色去马赛克处理后，输出与各受光像素对应的R、G、B信号的3个像素信号的组。
RGB/YCrCb转换部226将去马赛克处理后的每个像素的R、G、B信号转换为亮度信号Y和色差信号Cr、Cb，并输出每个像素的亮度信号Y和色差信号Cr、Cb。
Y信号复原处理部227基于预先存储的复原滤波器，对来自RGB/YCrCb转换部226的亮度信号Y进行复原处理。复原滤波器例如由具有7×7的内核尺寸的逆卷积内核(与M＝7、N＝7的抽头数对应)和与该逆卷积内核对应的运算系数(与复原增益数据、滤波系数对应)构成，使用于光学滤光片211的相位调制部分的逆卷积处理(逆卷积运算处理)。另外，复原滤波器将与光学滤光片211对应的参数存储于未图示的存储器(例如附设有Y信号复原处理部227的存储器)。另外，逆卷积内核的内核尺寸不限于7×7。
接下来，对复原处理块220的复原处理进行说明。图15是表示图13所示的复原处理块220中的复原处理的一例的流程图。
从AD转换部214向黑电平调整部222的一方的输入施加数字图像信号，向其他的输入施加黑电平数据，黑电平调整部222从数字图像信号减去黑电平数据，将减去了黑电平数据后的数字图像信号输出到白平衡增益部223(步骤S1)。由此，数字图像信号不包含黑电平成分，表示黑电平的数字图像信号成为0。
对黑电平调整后的图像数据，依次实施白平衡增益部223、伽马处理部224的处理(步骤S2和S3)。
被伽马校正后的R、G、B信号在由去马赛克处理部225进行了去马赛克处理后，在RGB/YCrCb转换部226中被转换为亮度信号Y和色度信号Cr、Cb(步骤S4)。
Y信号复原处理部227进行对亮度信号Y实施与EDoF光学系统210的光学滤光片211的相位调制相应的量的逆卷积处理的复原处理(步骤S5)。即，Y信号复原处理部227进行与以任意的处理对象的像素为中心的预定单位的像素组对应的亮度信号(在此是7×7像素的亮度信号)和预先存储于存储器等的复原滤波器(7×7的逆卷积内核和其运算系数)的逆卷积处理(逆卷积运算处理)。Y信号复原处理部227进行如下的复原处理：以覆盖摄像面的全部区域的方式反复进行该预定单位的每个像素组的逆卷积处理，从而去除图像整体的像模糊。复原滤波器根据实施逆卷积处理的像素组的中心的位置而设定。即，对接近的像素组适用共通的复原滤波器。为了进一步复原处理简化，优选为，对全部的像素组适用共通的复原滤波器。
如图16(a)所示，通过EDoF光学系统210后的亮度信号的点像(光学像)作为较大的点像(模糊的图像)而成像于摄像元件212，但是通过Y信号复原处理部227中的逆卷积处理，被复原为如图16(b)所示较小的点像(高分辨率的图像)。
通过如上所述向去马赛克处理后的亮度信号实施复原处理，不需要使RGB分别具有复原处理的参数，能够使复原处理高速化。另外，不是将与处于分散的位置的R/G/B的像素对应的R/G/B的图像信号分别汇总为1个单位而进行逆卷积处理，而是将接近的像素的亮度信号彼此汇总为预定的单位，对该单位适用共通的复原滤波器而进行逆卷积处理，因此复原处理的精度提高。另外，对于色差信号Cr/Cb，在人眼的视觉的特性方面，即使不利用复原处理来提高分辨率，在画质上也允许。另外，在以JPEG那样的压缩形式记录图像的情况下，色差信号以比亮度信号高的压缩率被压缩，因此缺乏利用复原处理来提高分辨率的必要性。这样一来，能够兼顾复原精度的提高、处理的简化和高速化。
对于以上说明的那样的EDoF系统的复原处理，也能够适用本发明的各实施方式所涉及的点像复原处理。即，能够在滤波信息计算部38(光学信息获取部)中，取得在取得图像时使用的表示EDoF光学系统210的点像强度分布的光学信息，基于该光学信息算出复原滤波器的滤波系数，在信号处理部46中进行使用所算出的滤波系数的点像复原处理。
本发明不限于上述的实施方式，在不脱离本发明的宗旨的范围内能够进行各种的变形，这是不言而喻的。
附图标记说明
10…数码相机，12…镜头单元，14…相机主体，16…透镜，18…光学系统操作部，20…镜头单元控制器，22…镜头单元端子，26…摄像元件，28…相机主体控制器，30…相机主体端子，32…输入输出接口，34…复原条件参数计算部，36…PSF存储部，38…滤波信息计算部，40…滤波系数计算部，42…格式存储部，44…复原滤波器系数格式转换部，46…信号处理部，48…存储处理部，49…串行器，50…解串器，52…偏移转换表存储部，54…复原滤波器信息存储部，56…格式转换处理部，57…滤波格式转换表存储部，58…专用信号处理装置，60…计算机，62…计算机端子，64…计算机控制器，66…显示器，70…互联网，80…服务器，82…服务器端子，84…服务器控制器，100…主控制部，101…智能手机，102…壳体，110…无线通信部，120…显示输入部，121…显示面板，122…操作面板，130…通话部，131…扬声器，132…麦克风，140…操作部，141…相机部，150…存储部，151…内部存储部，152…外部存储部，160…外部输入输出部，160…输入输出部，170…接收部，170…GPS接收部，180…运动传感器部，190…电源部，201…摄像模块，210…EDoF光学系统，210A…摄影透镜，211…光学滤光片，212…摄像元件，214…AD转换部，220…复原处理块，222…黑电平调整部，223…白平衡增益部，224…伽马处理部，225…去马赛克处理部，226…YCrCb转换部，227…Y信号复原处理部。

Claims (12)

1.一种图像处理装置，具备：
统计信息获取部，取得与图像的点像复原相关的统计信息；
光学信息获取部，获取在取得所述图像时使用的表示光学系统的点像强度分布的光学信息；
滤波信息计算部，基于所述统计信息和所述光学信息中的至少任一个，求算用于所述图像的点像复原处理的复原滤波器的滤波信息；
滤波系数计算部，将所述滤波信息作为约束条件，基于所述统计信息和所述光学信息，算出所述复原滤波器的滤波系数；及
点像复原处理部，使用由所述滤波系数计算部算出的所述滤波系数来进行所述点像复原处理。
2.根据权利要求1所述的图像处理装置，其中，
所述滤波信息包含与所述复原滤波器的抽头数相关的信息和表示所述复原滤波器的对称性的种类的信息，
所述滤波系数计算部将所述滤波信息计算部所求算的与所述复原滤波器的抽头数相关的信息和表示所述复原滤波器的对称性的种类的信息作为约束条件，算出所述滤波系数。
3.根据权利要求2所述的图像处理装置，其中，
所述光学信息包含：表示所述点像强度分布的对称性的种类的信息和能够基于所述点像强度分布的对称性的种类而再现所述点像强度分布的被压缩的信息即与表示所述点像强度分布的对称性的种类的信息建立了对应的被压缩的信息，
所述滤波信息计算部根据表示所述点像强度分布的对称性的种类的信息来求算表示所述复原滤波器的对称性的种类的信息，基于与表示所述点像强度分布的对称性的种类的信息建立了对应的所述被压缩的信息和所述统计信息来求算与所述复原滤波器的抽头数相关的信息。
4.根据权利要求1所述的图像处理装置，其中，
所述光学信息获取部取得所述光学信息和与所述点像强度分布建立对应的表示所述复原滤波器的对称性的种类的信息，
所述滤波信息包含与所述复原滤波器的抽头数相关的信息，
所述滤波系数计算部将所述滤波信息计算部所求算的与所述复原滤波器的抽头数相关的信息和所述光学信息获取部所取得的表示所述复原滤波器的对称性的种类的信息作为约束条件，算出所述滤波系数。
5.根据权利要求1～4中任一项所述的图像处理装置，其中，
还具备存储部，将所述滤波系数和与该滤波系数对应的所述滤波信息相互建立关联而存储。
6.根据权利要求5所述的图像处理装置，其中，
还具备复原滤波器生成部，基于存储于所述存储部的所述滤波系数和所述滤波信息而生成所述复原滤波器。
7.根据权利要求1～6中任一项所述的图像处理装置，其中，
所述光学系统具有对相位进行调制而使景深扩大的透镜部。
8.一种摄像装置，具备：
统计信息存储部，存储与图像的点像复原相关的统计信息；
光学信息存储部，存储在取得所述图像时使用的表示光学系统的点像强度分布的光学信息；及
与所述统计信息存储部和所述光学信息存储部连接的权利要求1～7中任一项所述的图像处理装置。
9.一种摄像装置，具备镜头单元和与该镜头单元连接的主体部，其中，
所述镜头单元具有光学信息存储部，存储在取得图像时使用的表示光学系统的点像强度分布的光学信息，
所述主体部具有：存储与所述图像的点像复原相关的统计信息的统计信息存储部及与所述统计信息存储部和所述光学信息存储部连接的权利要求1～7中任一项所述的图像处理装置。
10.一种计算机，与图像的点像复原相关的统计信息和所述图像一起被输入所述计算机，
所述计算机具备：
光学信息存储部，存储在取得所述图像时使用的表示光学系统的点像强度分布的光学信息；及
与所述光学信息存储部连接的权利要求1～7中任一项所述的图像处理装置。
11.一种计算机，与图像的点像复原相关的统计信息、在取得所述图像时使用的表示光学系统的点像强度分布的光学信息和所述图像一起被输入所述计算机，
所述计算机具备权利要求1～7中任一项所述的图像处理装置。
12.一种程序，用于使计算机执行如下步骤：
取得与图像的点像复原相关的统计信息；
获取在取得所述图像时使用的表示光学系统的点像强度分布的光学信息；
基于所述统计信息和所述光学信息中的至少任一个，求算用于所述图像的点像复原处理的复原滤波器的滤波信息；
将所述滤波信息作为约束条件，基于所述统计信息和所述光学信息来算出所述复原滤波器的滤波系数；及
使用所算出的所述滤波系数来进行点像复原处理。
CN201380050500.XA 2012-09-26 2013-04-24 图像处理装置、摄像装置、计算机 Active CN104854858B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012212243 2012-09-26
JP2012-212243 2012-09-26
JP2013-040681 2013-03-01
JP2013040681 2013-03-01
PCT/JP2013/062001 WO2014050190A1 (ja) 2012-09-26 2013-04-24 画像処理装置、撮像装置、コンピュータ及びプログラム

Publications (2)

Publication Number Publication Date
CN104854858A true CN104854858A (zh) 2015-08-19
CN104854858B CN104854858B (zh) 2017-11-07

Family

ID=50387610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380050500.XA Active CN104854858B (zh) 2012-09-26 2013-04-24 图像处理装置、摄像装置、计算机

Country Status (4)

Country Link
US (1) US9489719B2 (zh)
JP (1) JP5779724B2 (zh)
CN (1) CN104854858B (zh)
WO (1) WO2014050190A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605094A (zh) * 2016-02-26 2018-09-28 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
US10853926B2 (en) 2016-03-29 2020-12-01 Sony Corporation Image processing device, imaging device, and image processing method
CN116819909A (zh) * 2023-08-31 2023-09-29 光科芯图(北京)科技有限公司 一种数据压缩方法、装置、曝光设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9808146B2 (en) 2011-12-02 2017-11-07 Interscope, Inc. Endoscopic tool for debriding and removing polyps
US9204868B2 (en) 2011-12-02 2015-12-08 Interscope, Inc. Methods and apparatus for removing material from within a mammalian cavity using an insertable endoscopic instrument
WO2015015935A1 (ja) * 2013-07-29 2015-02-05 富士フイルム株式会社 撮像装置及び画像処理方法
JP2015201724A (ja) * 2014-04-07 2015-11-12 キヤノン株式会社 画像処理装置および画像処理方法
JP6071966B2 (ja) * 2014-09-17 2017-02-01 キヤノン株式会社 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム
JP6071974B2 (ja) * 2014-10-21 2017-02-01 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6376974B2 (ja) * 2014-12-26 2018-08-22 キヤノン株式会社 撮像装置及び撮像システム
JP2017021425A (ja) * 2015-07-07 2017-01-26 キヤノン株式会社 画像生成装置、画像生成方法、および画像生成プログラム
JP6448526B2 (ja) 2015-12-02 2019-01-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理プログラム
CN106920220B (zh) * 2017-02-24 2019-07-19 西北工业大学 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
JP6407330B2 (ja) * 2017-03-10 2018-10-17 キヤノン株式会社 画像投射装置
WO2021171928A1 (ja) * 2020-02-26 2021-09-02 ソニーグループ株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN112418054A (zh) * 2020-11-18 2021-02-26 北京字跳网络技术有限公司 图像处理方法、装置、电子设备和计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101282A (ja) * 1990-08-20 1992-04-02 Olympus Optical Co Ltd 空間周波数フィルタリング装置
CN1910614A (zh) * 2004-01-15 2007-02-07 松下电器产业株式会社 光学传递函数的测定方法、图像恢复方法以及数字图像拍摄装置
CN101534391A (zh) * 2008-02-05 2009-09-16 富士胶片株式会社 摄像装置、摄像方法、图像处理装置、图像处理方法以及存储程序的介质
TW200951494A (en) * 2008-05-09 2009-12-16 Samsung Electronics Co Ltd Lens having extended depth of focus, method for designing the same, and optical system having the same
US20110242373A1 (en) * 2010-03-31 2011-10-06 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and program for performing image restoration
US20120002085A1 (en) * 2010-07-01 2012-01-05 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003172873A (ja) 2001-09-28 2003-06-20 Olympus Optical Co Ltd 補正データ作成方法及び撮像装置
WO2010103527A2 (en) * 2009-03-13 2010-09-16 Ramot At Tel-Aviv University Ltd. Imaging system and method for imaging objects with reduced image blur
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5441652B2 (ja) * 2009-12-09 2014-03-12 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5180407B2 (ja) * 2010-03-24 2013-04-10 富士フイルム株式会社 立体撮像装置および視差画像復元方法
JP4931266B2 (ja) * 2010-08-27 2012-05-16 キヤノン株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP5153846B2 (ja) 2010-09-28 2013-02-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及び、プログラム
JP5409589B2 (ja) 2010-12-17 2014-02-05 キヤノン株式会社 画像処理方法、画像処理プログラム、画像処理装置および撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04101282A (ja) * 1990-08-20 1992-04-02 Olympus Optical Co Ltd 空間周波数フィルタリング装置
CN1910614A (zh) * 2004-01-15 2007-02-07 松下电器产业株式会社 光学传递函数的测定方法、图像恢复方法以及数字图像拍摄装置
CN101534391A (zh) * 2008-02-05 2009-09-16 富士胶片株式会社 摄像装置、摄像方法、图像处理装置、图像处理方法以及存储程序的介质
TW200951494A (en) * 2008-05-09 2009-12-16 Samsung Electronics Co Ltd Lens having extended depth of focus, method for designing the same, and optical system having the same
US20110242373A1 (en) * 2010-03-31 2011-10-06 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and program for performing image restoration
US20120002085A1 (en) * 2010-07-01 2012-01-05 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN102625043A (zh) * 2011-01-25 2012-08-01 佳能株式会社 图像处理设备、成像设备和图像处理方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108605094A (zh) * 2016-02-26 2018-09-28 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
CN108605094B (zh) * 2016-02-26 2019-08-06 富士胶片株式会社 图像处理装置、摄像装置以及图像处理方法
US10699387B2 (en) 2016-02-26 2020-06-30 Fujifilm Corporation Point image restoration device and method
US10853926B2 (en) 2016-03-29 2020-12-01 Sony Corporation Image processing device, imaging device, and image processing method
CN116819909A (zh) * 2023-08-31 2023-09-29 光科芯图(北京)科技有限公司 一种数据压缩方法、装置、曝光设备及存储介质
CN116819909B (zh) * 2023-08-31 2023-11-17 光科芯图(北京)科技有限公司 一种数据压缩方法、装置、曝光设备及存储介质

Also Published As

Publication number Publication date
JP5779724B2 (ja) 2015-09-16
WO2014050190A1 (ja) 2014-04-03
CN104854858B (zh) 2017-11-07
US20150199795A1 (en) 2015-07-16
US9489719B2 (en) 2016-11-08
JPWO2014050190A1 (ja) 2016-08-22

Similar Documents

Publication Publication Date Title
CN104854858A (zh) 图像处理装置、摄像装置、计算机及程序
US9633417B2 (en) Image processing device and image capture device performing restoration processing using a restoration filter based on a point spread function
CN105103534B (zh) 摄像装置及校准方法
CN104704806B (zh) 图像处理装置、摄像装置以及图像处理方法
US9865039B2 (en) Restoration filter generation device and image processing device
CN105009563B (zh) 复原滤波器生成装置和方法、图像处理装置、摄像装置、复原滤波器生成程序以及记录介质
CN105453539B (zh) 图像处理装置、摄像装置及图像处理方法
CN105009168A (zh) 复原滤波器生成装置以及方法、图像处理装置以及方法、摄像装置、程序以及记录介质
US20170006218A1 (en) Image processing device, imaging device, image processing method, and image processing program
CN104704807A (zh) 图像处理装置、摄像装置、图像处理方法、程序及记录介质
CN105432069A (zh) 图像处理装置、摄像装置、图像处理方法及程序
US9892495B2 (en) Image processing device, imaging device, image processing method, and image processing program
CN105432068A (zh) 摄像装置、摄像方法及图像处理装置
US9984448B2 (en) Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
CN105453534A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105453540A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN105165003A (zh) 图像处理装置、摄像装置、图像处理方法及程序
CN106464798B (zh) 图像处理装置、摄像装置、图像处理方法以及记录介质
CN105122787A (zh) 摄像装置、校准系统、校准方法及程序

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant