CN102422632B - 摄像装置以及图像复原方法 - Google Patents
摄像装置以及图像复原方法 Download PDFInfo
- Publication number
- CN102422632B CN102422632B CN201180002014.1A CN201180002014A CN102422632B CN 102422632 B CN102422632 B CN 102422632B CN 201180002014 A CN201180002014 A CN 201180002014A CN 102422632 B CN102422632 B CN 102422632B
- Authority
- CN
- China
- Prior art keywords
- psf
- image
- spread function
- point spread
- brightness value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000003384 imaging method Methods 0.000 title abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 238000011084 recovery Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 abstract description 18
- 238000009826 distribution Methods 0.000 description 32
- 230000009467 reduction Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000010354 integration Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000000654 additive Substances 0.000 description 5
- 230000000996 additive effect Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 5
- BYJQAPYDPPKJGH-UHFFFAOYSA-N 3-(2-carboxyethyl)-1h-indole-2-carboxylic acid Chemical compound C1=CC=C2C(CCC(=O)O)=C(C(O)=O)NC2=C1 BYJQAPYDPPKJGH-UHFFFAOYSA-N 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001915 proofreading effect Effects 0.000 description 3
- 230000004304 visual acuity Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
目的在于提供在基于由光学系统拍摄的点扩散函数图像来复原退化图像时能够高分辨率地复原退化图像的摄像装置。该摄像装置(10)具备：光学系统(1)；点扩散函数拍摄部(2)，取得由光学系统(1)进行拍摄而得到的点扩散函数信息，并输出修正点扩散函数信息；被摄体拍摄部(4)，取得由光学系统(1)进行拍摄而得到的被摄体信息并进行输出；以及图像复原部(5)，基于修正点扩散函数信息和被摄体信息，进行被摄体信息的复原运算，点扩散函数拍摄部(2)，通过从点扩散函数信息减去校正亮度值，从而输出修正点扩散函数信息，该校正亮度值比在时间序列上不变动的固定值噪声的亮度值Nf大出亮度值Is。
Description
技术领域
本发明涉及将在拍摄时退化的图像复原为退化少的图像的技术。
背景技术
将在拍摄时光学系统未对焦、晃动或像差等原因而退化的图像复原为退化少的图像的技术的开发有进展。例如，在专利文献1所公开的技术中，通过对因为未对焦、晃动或像差等而退化的退化图像(拍摄图像)进行利用了校正函数的复原运算，从而能够得到退化被校正后的复原图像，该校正函数具有基于未对焦、晃动或像差等的PSF(Point Spread Function：点扩散函数)的逆特性。很多情况下，校正函数利用基于设计数据等而以计算机作成的PSF数据来作成。
并且，在专利文献2所公开的技术中，在PSF数据的作成困难的情况下，利用进行实拍而得到的PSF数据来进行退化图像的复原运算。
专利文献1：(日本)特开昭62-127976号公报
专利文献2：(日本)特开2009-163642号公报
然而，在利用基于设计数据等而以计算机作成的PSF数据来实施退化图像的复原运算的情况下，在因为相机组装时的安装误差大等原因而PSF数据所示出的PSF与实际的PSF之间的差异大时，不能得到高分辨率的复原图像。因此，存在需要利用实际拍摄而得到的PSF图像来实施图像的复原，而不是利用以计算机作成的PSF数据来实施图像的复原的情况。
并且，如专利文献2所示，即使在不是利用以计算机作成的PSF数据而是利用拍摄点光源而得到的PSF图像来进行退化图像的复原运算的情况下，尤其是在拍摄PSF图像时的摄像元件的无用亮度(以下也称为“噪声”)大的情况下，因为该噪声的影响而PSF图像所示出的PSF与实际的PSF之间存在差异。其结果，存在不能得到高分辨率的复原图像这样的课题。
发明内容
本发明用于解决上述课题，目的在于提供一种摄像装置以及图像复原方法，其在基于由光学系统拍摄的PSF图像来复原退化图像的情况下，能够高分辨率地复原退化图像。
为了达到上述目的，本发明的一个方面所涉及的摄像装置具备：光学系统；点扩散函数拍摄部，取得由所述光学系统进行拍摄而得到的点扩散函数信息，并输出修正点扩散函数信息；被摄体拍摄部，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及图像复原部，基于所述修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，所述点扩散函数拍摄部，通过从所述点扩散函数信息减去校正亮度值，从而输出所述修正点扩散函数信息，所述校正亮度值比在时间序列上不变动的固定值噪声的亮度值大出亮度值Is。
这样，通过从由光学系统进行拍摄而得到的PSF信息减去比固定值噪声大的亮度值，从而能够减少PSF信息中包括的随机噪声的影响。其结果，能够高分辨率地复原退化图像。
通过本发明的一个方面所涉及的摄像装置，在图像复原运算时，即使拍摄PSF图像的无用亮度(尤其是在时间序列上变动的随机噪声)大的情况下，也能够通过削减无用亮度并将亮度平均值校正为恰当的值，从而使复原信息更加准确，能够进行高分辨率的图像的复原。
附图说明
图1是示出本发明的实施例1以及实施例2所涉及的摄像装置的构成的框图。
图2是用于说明本发明的实施例的原图像、PSF图像以及退化图像的关系的图。
图3是示出本发明的实施例的PSF的亮度分布的图。
图4是示出用于验证本发明的实施例的噪声对复原图像的影响的模拟器的图。
图5是说明本发明的实施例的退化图像中包括的噪声与复原图像的关系的图。
图6是说明本发明的实施例的PSF图像中包括的噪声与复原图像的关系的图。
图7是说明本发明的实施例的退化图像以及PSF图像中包括的噪声与复原图像的分辨率的关系的图。
图8是示出本发明的实施例的理想的PSF信息的图。
图9是示出本发明的实施例的包括噪声的PSF信息的图。
图10是示出本发明的实施例1所涉及的摄像装置的工作的流程图。
图11是示出本发明的实施例1的PSF信息的图。
图12是示出本发明的实施例1的PSF信息的图。
图13是示出本发明的实施例1的复原图像的图。
图14是示出本发明的实施例1的复原图像的分辨率的图。
图15是示出本发明的实施例2所涉及的摄像装置的工作的流程图。
图16是示出本发明的实施例2的PSF信息的图。
图17是示出本发明的实施例2的复原图像的图。
图18是示出本发明的实施例2的复原图像的分辨率的图。
具体实施方式
以下，在说明本发明的实施例之前，说明被拍摄的PSF图像的无用亮度(噪声)大的情况下高分辨率的图像的复原困难的原因。
利用从图2到图9，说明被拍摄的PSF图像的噪声大的情况下高分辨率的图像的复原困难的原因。在图2的(a)示出没有退化的原图像(被摄体)。是测定被拍摄的图像的分辨率时通常利用的楔形图。在图2的(b)示出光学系统的PSF图像的一个例子。
因为光学系统未对焦、晃动或像差等，如图2的(b)所示，点像(pointimage)有限地扩散。因此，经由光学系统，图2的(a)的原图像，作为如图2的(c)所示的分辨率退化的退化图像而成像于摄像元件上。已知：通过原图像与被进行归一化(normalization)而使所有图像区域的亮度积分值为“1”的PSF图像的卷积积分来表示退化图像。
另外，图3是对图2的(b)的PSF图像中的包括亮度最大的部分的行(line)中的亮度最大的区域的周边进行了放大的亮度分布。图3是PSF图像不包括噪声的情况下的亮度分布。图像的亮度的表现因安装系统的不同而不同，在此以“0”表现黑，以“1.0”表现白。
图4表示模拟器的框图，该模拟器用于调查：导入成像于摄像元件的被摄体像时，分别混入退化图像以及PSF图像的噪声对复原图像的分辨率的影响。模拟器具备：退化图像噪声附加部101，将噪声附加到不包括噪声的退化图像；PSF图像噪声附加部102，将噪声附加到不包括噪声的PSF图像；以及图像复原运算部103。利用该模拟器，能够调查分别针对退化图像和PSF图像的噪声的影响。
假定噪声是高斯噪声。并且，通过使该高斯噪声的标准偏差σ变动，从而调查噪声的影响。例如，基于图像位置而在时间序列上几乎不变化的固定值噪声(例如，暗电流噪声或者规定的行或者像素位置的摄像元件的制造不良而出现的噪声等)，因为能够通过预先调查各个图像位置的噪声值而容易补偿，因此在此不予考虑。也就是说，仅考虑不易补偿的在时间序列上随机变化的随机噪声(假定为高斯噪声)，来调查噪声的影响。另外，图像位置是指图像上的位置，典型的是构成图像的像素的位置。并且，高斯噪声是指噪声成分的亮度值分布近似于高斯分布的噪声。
图像复原运算部103利用作为图像复原算法已知的维纳滤波器或RL(Richardson-Lucy)算法等来进行图像复原运算就可以。在此，图像复原运算部103的构成是：通过利用维纳滤波器进行图像复原运算来得到复原图像。
维纳滤波器Hw(u，v)的构成，利用例如非专利文献(“デイジタル画像处理(2004年7月22日CG-ARTS协会发行)”的146页)记载的以下(算式1)就可以。
Hw(u，v)＝1/H(u，v)·|H(u，v)|^2/(H(u，v)|^2+K) (算式1)
在此，H(u，v)表示PSF图像的傅立叶变换即OTF(Optical TransferFunction：光学传递函数)。并且，u表示存放有PSF图像的垂直方向的各频率成分的排列的地址。并且，v表示存放有PSF图像的水平方向的各频率成分的排列的地址。K是恰当的常数。
图像复原运算部103，通过按照每个频率成分将退化图像的傅立叶变换数据与维纳滤波器Hw(u，v)相乘，并对该乘法运算结果进行逆傅立叶变换，从而生成复原图像。作为被摄体利用在图2的(a)示出的楔形图。将由PSF图像噪声附加部102根据需要将噪声附加到图2的(b)的PSF图像后进行归一化而使所有区域的亮度积分值成为1的图像，作为PSF图像来利用。
在图5的(a)、(b)以及(c)示出由退化图像噪声附加部101对图2的(c)的退化图像附加变动了标准偏差σ的高斯噪声的情况下的与各标准偏差σ对应的复原图像。作为一个列子，在此，将PSF图像以及退化图像的大小设定为512×512像素。
具体而言，在图5的(a)、(b)以及(c)示出将标准偏差σ分别设定为退化图像的亮度最大设定值(在此设定“0”为黑，“1.0”为白，因此亮度最大设定值为“1”)的0％、0.05％以及0.3％的情况下的复原图像。此时，对于PSF图像未附加噪声。从图5的(a)、(b)以及(c)很明确的是，随着标准偏差σ增大，复原图像的分辨率会降低一些。另外，亮度最大设定值是示出亮度的值中的示出最大亮度的值。
在图6的(a)、(b)以及(c)示出由PSF图像噪声附加部102对图2的(b)的PSF图像附加变动了标准偏差σ的高斯噪声的情况下的与各标准偏差σ对应的复原图像。具体而言，在图6的(a)、(b)以及(c)示出将高斯噪声的标准偏差σ分别设定为PSF图像的最大亮度值的0％、0.05％以及0.3％的情况下的复原图像。此时对于退化图像未附加噪声。从图6的(a)、(b)以及(c)很明确的是，随着高斯噪声的标准偏差σ增大，复原图像的分辨率明显降低。
另外，PSF图像的最大亮度值是在PSF图像中示出最大亮度的图像位置的亮度值。具体而言，PSF图像的最大亮度值是指例如构成PSF图像的像素中示出最大亮度的像素的亮度值。
在图7示出对变动了高斯噪声的标准偏差σ的情况下的复原图像的分辨率的变化进行了比较的结果。在图7中，符号701表示仅对退化图像附加高斯噪声的情况下的复原图像的分辨率。并且，符号702表示仅对PSF图像附加高斯噪声的情况下的复原图像的分辨率。
对退化图像附加的高斯噪声的标准偏差σ以与亮度最大设定值之比来表示。并且，对PSF图像附加的高斯噪声的标准偏差σ以与最大亮度值之比来表示。在此，将高斯噪声附加到PSF图像时，对PSF图像进行归一化而使最大亮度值是亮度最大设定值“1.0”，并以对退化图像以及PSF图像附加同等的噪声为条件来进行比较。
参考CIPA标准DC-003“デジタルカメラの解像度测定方法”，利用CIPA发布的分辨率测定用工具HYRes3.1来测定分辨率。这样测定的分辨率，其测定出的条数越多则表示分辨率越高。另外，本实施例中，对退化图像以及PSF图像都未附加高斯噪声的情况下的被复原的复原图像的分辨率是428条。
从图7可知：按照图像信号与高斯噪声的标准偏差σ之比而复原图像的分辨率变化。并且，可知：随着高斯噪声的标准偏差σ增大，比起退化图像，PSF图像的分辨率的降低更明显。
在仅对退化图像附加高斯噪声的情况下，如果高斯噪声的标准偏差σ在亮度最大设定值的0.6％以上，则分辨率明显降低而分辨率变为0条(不能测定)。另一方面，在仅对PSF图像附加高斯噪声的情况下，如果高斯噪声的标准偏差σ在最大亮度值的0.3％以上，则分辨率明显降低而分辨率变为0条。
因此，可知：比起退化图像中包括的噪声，PSF图像中包括的噪声对复原图像造成更大的不良影响。另外，测定了图2的(c)的复原前的退化图像的分辨率的情况下，不论有无噪声，结果都会因像差引起的模糊的影响而不能测定，分辨率为0条。
利用图8以及图9，对因PSF图像中包括的噪声而使复原图像的分辨率大幅度降低的原因进行了验证的结果进行说明。
图8的(a)表示将图2的(b)的PSF图像的亮度最大部分的周边的行进行了放大的亮度分布。在此，PSF图像中不包括噪声。
在图8的(b)表示对该不包括噪声的PSF图像进行了傅立叶变换而得到的OTF的增益。图8的(b)的OTF被进行归一化而使直流成分(频率“0”)的增益为1。图8的(b)的横坐标表示频率，直流成分(频率“0”)以右表示正的频率，以左表示负的频率。图2的(b)的PSF图像使用的是：具有以亮度为最大的图像位置为中心而对称的亮度分布的例子。因而，考虑到增益分布的容易观察程度，图8的(b)以及示出OTF的之后的图，仅提取作为二维排列的OTF中的包括垂直以及水平方向的直流成分的数据的1行的数据，来进行显示。
图9的(a)表示将对图2的(b)的PSF图像附加标准偏差σ是最大亮度值的0.3％的高斯噪声后的图像的、亮度最大部分的周边的行进行了放大的亮度分布。图9的(b)表示对包括该噪声的PSF图像进行傅立叶变换而得到的OTF的增益。图9的(b)的OTF也被归一化而使直流成分(频率“0”)的增益为“1”。
可知：图9的(b)与图8的(b)相比，频率“0”的成分(直流成分)的增益与其他频率成分的增益相比明显变大。这考虑是因为：图2的(b)的PSF图像中，亮度小的区域占据图像全体中的大部分，通过对该亮度小的区域附加噪声，而使基于噪声的PSF图像全体的亮度平均值(＝直流成分)大幅度地变动。
因此，因为被拍摄的PSF图像的OTF与实际的OTF的差异变大，而使复原图像的分辨率大幅度地降低。另外，即使使中值滤波器、帧积分或低通滤波器等降低随机噪声的一般的滤波器作用于PSF图像，也难以从PSF图像的亮度小的区域完全去除随机噪声，因此难以去除PSF图像全体的亮度平均值的变动。
这样，通过利用图4的模拟器进行的研讨已很清楚存在的课题是：在利用被拍摄的PSF图像来对退化图像进行复原的情况下，因为校正困难的随机噪声(高斯噪声)的影响而PSF图像的亮度平均值变动，从而PSF的频率成分中的直流成分大幅度地变动，而不能得到高分辨率的复原图像。
因此，以下，说明能够解决上述课题的本发明的一个方面所涉及的摄像装置。
(实施例1)
以下，参照附图说明本发明的实施例1。
图1是示出本发明的实施例1所涉及的摄像装置的构成的框图。摄像装置10具备光学系统1、具有亮度降低部3的PSF拍摄部2、被摄体拍摄部4以及图像复原部5。
光学系统1取得被摄体像。具体而言，光学系统1包括例如透镜以及摄像元件等。光学系统1，通过拍摄点像或相当于点像的被摄体像，从而生成PSF图像I_psf(x，y)。并且，光学系统1，通过拍摄任意的被摄体像，从而生成被摄体图像I_img(x，y)。
PSF拍摄部2，为了取得与光学系统1对应的PSF而另光学系统1拍摄点像或者相当于点像的被摄体像，并从光学系统1取得并保存PSF图像I_psf(x，y)。在此，x表示图像中的垂直方向的图像位置，y表示水平方向的图像位置。
也就是说，PSF拍摄部2取得PSF信息。在此，PSF信息是指基于由光学系统1拍摄的PSF图像I_psf(x，y)的信息。具体而言，PSF信息是示出例如PSF图像I_psf(x，y)本身的信息。并且，也可以是，例如，PSF信息是将PSF图像I_psf(x，y)从空域变换为频域而得到的信息。
在基于图像位置而存在在时间序列上不变化的已知的固定值噪声(例如，暗电流噪声、或者规定的行或像素位置的摄像元件的制造不良而产生的噪声等)的情况下，如(算式2)，亮度降低部3从PSF图像I_psf(x，y)减去在PSF图像I_psf(x，y)的各个图像位置预先调查的固定值噪声的亮度值Nf(x，y)。
Ir1_psf(x，y)＝I_psf(x，y)-Nf(x，y) (算式2)
而且，如(算式3)所示，亮度降低部3，从减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)的所有位置减去规定的亮度值Is1。也就是说，亮度降低部3，通过按照(算式2)以及(算式3)进行减法运算处理，从而从PSF图像I_psf(x，y)减去比固定值噪声的亮度值大的亮度值。
Ir2_psf(x，y)＝Ir1_psf(x，y)-Is1 (算式3)
另外，在减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)中，对于亮度值变为负的位置设定亮度值为“0”。也就是说，在减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)中，对于亮度值比亮度最小设定值小的位置，将亮度值变更为亮度最小设定值。在此，亮度最小设定值是示出亮度的值中示出最小亮度的值，在本实施例中是“0”。
并且，虽然(算式2)以及(算式3)以不同的算式来记述，但是亮度降低部3可以通过在同一个步骤实施(算式2)以及(算式3)等，以进行运算的合理化。PSF拍摄部2输出减去亮度值后的修正PSF图像Ir2_psf(x，y)。根据需要对修正PSF图像Ir2_psf(x，y)进行归一化处理后对其进行输出。
这样，PSF拍摄部2，通过利用亮度降低部3，从PSF信息减去校正亮度值，从而输出修正PSF信息，该较正亮度值比在时间序列上不变动的固定值噪声的亮度值Nf大出亮度值Is1。详细地来讲，PSF拍摄部2，从PSF信息的所有区域减去校正亮度值。
也就是说，PSF拍摄部2，针对构成PSF图像I_psf(x，y)的各像素，从该像素的亮度值减去比固定值噪声的亮度值Nf大出亮度值Is1的校正亮度值。并且，PSF拍摄部2，在减法运算的结果比亮度最小设定值小的情况下，通过校正减法运算的结果而使其与亮度最小设定值一致，从而生成修正PSF图像Ir2_psf(x，y)。
并且，PSF拍摄部2输出修正PSF信息，该修正PSF信息是基于这样来生成的修正PSF图像Ir2_psf(x，y)的信息。修正PSF信息例如是示出修正PSF图像Ir2_psf(x，y)本身的信息。并且，也可以是，例如，修正PSF信息是将修正PSF图像Ir2_psf(x，y)从空域变换为频域而得到的信息。
另外，减去亮度值Is1的理由以及亮度值Is1的设定范围之后记述。
被摄体拍摄部4保存由光学系统1取得的各种各样的被摄体的被摄体图像I_img(x，y)。也可以是，被摄体拍摄部4根据需要对被摄体图像I_img(x，y)实施所述固定值噪声的补偿、中值滤波器等噪声补偿处理。
也就是说，被摄体拍摄部4，取得由光学系统1拍摄的被摄体图像I_img(x，y)，并输出被摄体信息。在此，被摄体信息是指基于所取得的被摄体图像I_img(x，y)的信息。例如，被摄体信息是示出被摄体图像I_img(x，y)本身的信息。并且，也可以是，例如，被摄体信息是示出对被摄体图像I_img(x，y)实施了各种噪声补偿处理后的图像的信息。并且，也可以是，例如，被摄体信息是将被摄体图像I_img(x，y)或对被摄体图像I_img(x，y)实施了各种噪声补偿处理后的图像从空域变换为频域而得到的信息。
图像复原部5，基于修正PSF图像和被摄体图像，利用维纳滤波器等进行图像复原运算，从而作成复原图像。也就是说，图像复原部5，基于修正PSF信息和被摄体信息，进行被摄体信息的复原运算。也就是说，图像复原部5，通过进行使修正PSF信息作用于被摄体信息的图像复原运算，从而生成分辨率比被摄体信息所示出的图像的分辨率高的复原图像。
具体而言，例如，图像复原部5，将修正PSF信息所示出的修正PSF图像Ir2_psf(x，y)和被摄体信息所示出的被摄体图像I_img(x，y)，从空域变换为频域，对各频率的频率成分的值进行运算，从而生成复原图像。
另外，也可以是，修正PSF图像Ir2_psf(x，y)是在出厂时、进行维护时等进行过一次拍摄以及校正的图像。也就是说，图像复原部5，具有存储器等记忆单元，预先保存由PSF拍摄部2生成的修正PSF图像Ir2_psf(x，y)，并利用所保存的修正PSF图像Ir2_psf(x，y)，生成复原图像就可以。也就是说，PSF拍摄部2，不必每当被摄体图像I_img(x，y)变化都生成修正PSF图像Ir2_psf(x，y)。
并且，也可以是，图像复原部5，按照图像复原的算法、运算的合理化的情况等，保存对修正PSF图像Ir2_psf(x，y)进行傅里叶变换而得到的频域的数据。也就是说，也可以是，图像复原部5保存有修正PSF信息。
接着，说明以上述说明来构成的本实施例所涉及的摄像装置的各种工作。
图10是示出在前述的本发明的实施例1所涉及的摄像装置的工作的流程图。具体而言，图10的(a)是示出修正PSF信息生成处理的流程的流程图。并且，图10的(b)是示出图像复原处理的流程的流程图。如上述说明，在图10的(b)所示出的处理之前，图10的(a)所示出的处理至少进行一次就可以，并非一定要同步进行。
首先，说明在图10的(a)示出的流程图。
光学系统1拍摄PSF图像I_psf(x，y)(S101)。接着，亮度降低部3，按照算式(2)，从PSF图像I_psf(x，y)减去固定值噪声的亮度值Nf(x，y)，从而算出减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)(S102)。然后，亮度降低部3，按照算式(3)，从减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)，减去亮度值Is1，从而算出修正PSF图像Ir2_psf(x，y)(S103)。另外，修正PSF图像Ir2_psf(x，y)中，比最小亮度设定值还小的亮度值，被替换为最小亮度设定值。
最后，PSF拍摄部2，对所算出的修正PSF图像Ir2_psf(x，y)进行归一化，并输出到图像复原部5(S104)。
另外，如上述说明，亮度降低部3并非一定要顺序地执行步骤S102以及S103的处理。也就是说，也可以是，亮度降低部3，通过从PSF图像I_psf(x，y)减去固定值噪声的亮度值Nf(x，y)与亮度值Is1之和，从而将步骤S102及S103的处理作为一个步骤来执行。
另外，在固定值噪声非常小等情况下，并非一定要执行步骤S102的固定值噪声减法运算处理。
接着，说明在图10的(b)示出的流程图。
光学系统1拍摄被摄体图像I_img(x，y)(S111)。接着，被摄体拍摄部4，针对被拍摄的被摄体图像I_img(x，y)进行噪声补偿处理(S112)。最后，图像复原部5，通过基于噪声补偿处理后的被摄体图像I_img(x，y)和修正PSF图像Ir2_psf(x，y)进行复原运算，从而生成复原图像(S113)。
另外，并非一定要执行步骤S112的噪声补偿处理。
接着，说明减去亮度值Is1的理由以及亮度值Is1的设定范围。在以下的说明中，作为被摄体图像I_img(x，y)，利用在图2的(c)示出的梭形图的退化图像。并且，作为减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)(以下也单称PSF图像Ir1_psf(x，y))，利用对图2的(b)的PSF图像附加了标准偏差σ是最大亮度值的0.3％的高斯噪声后的图像(亮度值变为负的图像位置的亮度值已较正为“0”)。
在图11的(a)示出PSF图像Ir1_psf(x，y)的包括最大亮度值的位置的行的亮度分布。因为去除了固定值噪声，因此在最大亮度值的位置附近具有基于图1的光学系统1的亮度分布，在距最大亮度值的位置远的位置亮度值几乎为“0”。
在图11的(b)示出对图11的(a)的虚线附近进行了放大的亮度分布。可知：在距最大亮度值的位置远的位置也因为随机分布的高斯噪声的影响而存在细小的亮度分布(细小的亮度值的变动)。
在图11的(c)示出对PSF图像Ir1_psf(x，y)进行傅里叶变换而得到的OTF。观察图11的(c)，则可知频率“0”的成分与其他的频率成分相比增益明显变大。可考虑这是因为如之前所述的、因为高斯噪声而PSF图像Ir1_psf(x，y)全体的亮度平均值大幅度地增加而致。
因此，在利用PSF图像Ir1_psf(x，y)进行了图像复原运算的情况下，因为图11的(c)的OTF和实际的OTF的差异变大，因此复原图像的分辨率大幅度地降低。
在图12的(a)示出行的亮度分布，该行包括按照(算式3)从PSF图像Ir1_psf(x，y)的所有位置减去规定的亮度值Is1的情况下的修正PSF图像Ir2_psf(x，y)的最大值亮度值的位置。在图12的(b)示出对图12的(a)的虚线附近进行了放大的亮度分布。可知：在距最大亮度值的位置远的位置的随机分布的高斯噪声的影响而引起的细小的亮度分布已不存在。
在图12的(c)示出对修正PSF图像Ir2_psf(x，y)进行傅里叶变换而得到的OTF。在图11的(c)中，与其他频率成分相比明显变大的频率“0”的成分的增益得到了改善，变成近似于如图8的(b)所示的实际的OTF分布的分布。
在图13示出利用修正PSF图像Ir2_psf(x，y)而由图1的图像复原部5进行图像复原运算来作成的复原图像。图13的(a)示出Is1＝0时的复原图像，图13的(b)示出Is1是PSF图像Ir1_psf(x，y)的最大亮度值的0.5％时的复原图像，图13的(c)示出Is1是PSF图像Ir1_psf(x，y)的最大亮度值的1％时的复原图像。
可知：比起图13的(a)，图13的(b)的复原图像的分辨率得到提高，比起图13的(b)，图13的(c)的复原图像的分辨率进一步得到提高。
在图14示出使Is1变化时的复原图像的分辨率的变化。在图14示出的图中，纵座标表示利用由CIPA发布的分辨率测定用工具HYRes3.1测定的分辨率，横坐标表示Is1与PSF图像Ir1_psf(x，y)的最大亮度值的之比率。
从图14可知：使Is1在PSF图像Ir1_psf(x，y)的最大亮度值的0.3％以上的情况下，分辨率会提高。也就是说，在PSF图像中，基于实际的PSF的亮度值与噪声的亮度值之比对分辨率的影响大，而将Is1设定为在PSF图像中包括的高斯噪声的标准偏差σ以上的情况下分辨率会提高。也就是说，优选为，在将PSF图像中包括的随机噪声假定为高斯噪声时，Is1的大小在高斯噪声的标准偏差σ以上。
而且，如果将Is1设定为PSF图像Ir1_psf(x，y)的最大亮度值的0.6％以上，则会得到与不存在高斯噪声的情况同等的分辨率。虽然未在图中示出，但是如果使Is1大于PSF图像Ir1_psf(x，y)的最大亮度值的30％，则复原图像的分辨率不再提高。也就是说，如果Is1与PSF图像Ir1_psf(x，y)的最大亮度值之比大于30％，则复原图像的分辨率会变低。因此，优选为，Is是与PSF图像的最大亮度值之比在0.3％～30％之间的值。
这样，通过(算式2)的减法运算，实际的PSF的亮度分布中，亮度小的区域的信息丢失，但是比起由此而引起的复原图像的分辨率的降低，叠加于PSF图像的噪声引起的分辨率的降低的影响更大，因此通过利用(算式2)的减法运算对PSF图像进行较正，能够提高复原图像的分辨率。
另外，高斯噪声(随机噪声)的原因考虑是电流噪声等，是噪声发生的位置(像素)随机变动的噪声。但是，高斯噪声一般具有亮度值的分布在时间序列上不会大幅度地变动这样的特点。因此，高斯噪声的标准偏差σ，能够通过将在暗室等拍摄的暗图像中的亮度值的分布以高斯分布进行近似来相对稳定地进行确定。
这样，根据本发明的实施例1所涉及的摄像装置10，在图像复原运算时，即使被拍摄的PSF图像的无用亮度(尤其是在时间序列上变动的随机噪声)大时，也能够通过从PSF图像减去比固定值噪声的亮度值大的较正亮度值，将亮度平均值较正为恰当的值，从而使用于图像的复原的PSF信息更加准确，而能够进行高分辨率的图像的复原。
作为降低随机噪声的一般的方法，有利用中值滤波器、帧积分或低通滤波器的方法。因为即使利用该中值滤波器、帧积分或低通滤波器来从PSF图像中减低噪声，也难于从PSF图像的亮度小的区域完全去除随机噪声，因此难于去除PSF图像的亮度平均值的变动。因此，即使对PSF图像进行了利用中值滤波器、帧积分或低通滤波器的噪声去除处理，也不能高分辨率地复原退化图像。
而在本实施例中，如(算式2)以及(算式3)所示，从PSF图像中强制性地减去比固定值噪声的亮度值大的亮度值。因此，PSF图像的亮度平均值的变动被去除，能够高分辨率地复原退化图像。
另外，一般而言，从拍摄图像中去除随机噪声的情况下，利用亮度平均值不会变动的方法(例如中值滤波器、帧积分或低通滤波器)，而不利用如本实施例的强制性地减去规定的亮度值的方法。这是因为如果从拍摄图像中强制性地减去规定的亮度值，则会消除拍摄图像中的亮度相对小的被摄体像而不能复原。而在本实施例中，因为从PSF图像中减去亮度值，因此大部分的被摄体像不会被消除，所以实用上没有问题。
另外，亮度降低部3，并非一定要进行(算式2)的固定值噪声的亮度值的减法运算。也就是说，不言而喻，亮度降低部3根据需要从PSF图像的亮度值减去固定值噪声的亮度值就可以，固定值噪声的亮度值的减法运算不是必需的构成。
另外，在上述的(算式3)中，虽然亮度值Is1是与像素位置无关的一定的值，但是并非一定要是与像素位置无关的一定的值。也就是说，亮度值Is1只要是比0大的值就可以(优选为，与最大亮度值之比是0.3％～30％的值)，也可以按照每个像素而其值不同。
另外，在本实施例1中，虽然以PSF的分布具有如图2的(b)所示的以亮度为最大的图像位置为中心而对称的亮度分布的例子来进行了说明，但是不言而喻，针对具有不对称的亮度分布的PSF的光学系统也能够适用。
(实施例2)
本发明的实施例2所涉及的摄像装置10的构成与实施例1同样以图1来表示。在本实施例中，图1的框图中的亮度降低部3的工作与实施例1不同。因为其他工作与实施例1相同，所以省略其说明。
亮度降低部3，在存在基于图像位置而在时间序列上不变化的固定值噪声(例如，因为暗电流噪声或规定的行或像素位置的摄像元件的制造不良而发生的噪声等)的情况下，如(算式2)所示，从PSF图像I_psf(x，y)减去预先调查的各图像位置的固定值噪声的亮度值Nf(x，y)。
并且，亮度降低部3，如(算式4)所示，针对减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)的各图像位置中、亮度值比规定的亮度值Is2小的图像位置，减去该图像位置的亮度值，进行校正使亮度值成为“0”。也就是说，亮度降低部3，通过按照(算式2)以及(算式4)进行减法运算处理，从而针对PSF图像I_psf(x，y)的亮度值比固定值噪声的亮度值Nf(x，y)与规定的亮度值Is2之和小的图像位置，减去比固定值噪声的亮度值大的亮度值。
if(Ir1_psf(x，y)＜Is2)
Ir2_psf(x，y)＝0 (算式4)
另外，(算式2)和(算式4)虽然以不同的算式来记述，但是亮度降低部3，也可以将Is2替换为Is2与Nf(x，y)之和来同时进行(算式2)以及(算式4)的运算等，从而对运算进行合理化。
也就是说，PSF拍摄部2，利用亮度降低部3，从PSF信息减去比在时间序列上不变动的固定值噪声的亮度值Nf大出亮度值Is2的校正亮度值，从而输出校正PSF信息。详细而言，PSF拍摄部2仅从PSF信息的所有区域中的亮度值比校正亮度值小的区域减去校正亮度值。
也就是说，PSF拍摄部2，仅对构成PSF图像I_psf(x，y)的多个像素中的、亮度值小于校正亮度值的像素，从该像素的亮度值减去比固定值噪声的亮度值Nf大出亮度值Is2的校正亮度值。而且，PSF拍摄部2，在减法运算结果比亮度最小设定值小的情况下，校正减法运算结果使其与亮度最小设定值一致，从而生成修正PSF图像Ir2_psf(x，y)。
换而言之，PSF拍摄部2，将PSF信息的所有区域中的、亮度值比校正亮度值小的区域的亮度值替换为亮度最小设定值。也就是说，PSF拍摄部2，针对构成PSF图像I_psf(x，y)的多个像素中的、比固定值噪声的亮度值Nf(x，y)与亮度值Is2之和小的亮度值的像素，将亮度值替换为亮度最小设定值。
这样，PSF拍摄部2，通过将构成PSF图像I_psf(x，y)的多个像素中的、亮度值小于校正亮度值的像素的亮度值校正为亮度最小设定值，从而生成修正PSF图像Ir2_psf(x，y)。
接着，说明按照上述的说明构成的本实施例所涉及的摄像装置的各种工作。
图15是示出前述的本发明的实施例1所涉及的摄像装置的工作的流程图。具体而言，图15的(a)是示出修正PSF信息生成处理的流程的流程图。并且，图15的(b)是示出图像复原处理的流程的流程图。另外，在图15中，对于与图10进行同样的处理的步骤附加同一符号，并省略其说明。
固定值噪声减法运算处理之后，亮度降低部3，仅从PSF信息的所有区域中的、亮度值比校正亮度值小的区域减去校正亮度值，从而输出修正PSF信息(S201)。
这样，PSF拍摄部2，将PSF图像I_psf(x，y)的亮度值小于校正亮度值的像素的亮度值校正为亮度最小设定值，从而生成修正PSF图像Ir2_psf(x，y)。
接着，说明亮度值Is2的设定范围。在以下的说明中，作为被摄体图像I_img(x，y)，利用在图2的(c)示出的楔形图的退化图像。并且，作为减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)(以下，也单称PSF图像Ir1_psf(x，y))，利用对图2的(b)的PSF图像附加了标准偏差σ是最大亮度值的0.3％的高斯噪声的图像(亮度值变为负的图像位置的亮度值已校正为“0”)。
在图16的(a)示出行的亮度分布，该行包括通过(算式4)使PSF图像Ir1_psf(x，y)中亮度值比规定的亮度值Is2小的位置的亮度值成为“0”的情况下的、修正PSF图像Ir2_psf(x，y)的最大亮度值的位置。在图16的(b)示出将图16的(a)的虚线附近放大了的亮度分布。可知：在距最大亮度值的位置远的位置的随机分布的高斯噪声的影响而引起的细小的亮度分布已不存在。
在图16的(c)示出对修正PSF图像Ir2_psf(x，y)进行傅里叶变换而得到的OTF。可知：在图11的(c)中的与其他的频率成分相比明显变大的频率“0”的成分的增益被校正，而成为近似于如图8的(b)所示的实际的OTF分布的分布。
在图17示出利用修正PSF图像Ir2_psf(x，y)由图1的图像复原部5进行图像复原运算而作成的复原图像。图17的(a)示出Is2＝0时的复原图像，在图17的(b)示出Is2是PSF图像Ir1_psf(x，y)的最大亮度值的0.75％时的复原图像，在图17的(c)示出Is2是PSF图像Ir1_psf(x，y)的最大亮度值的1.5％时的复原图像。
可知：比起图17的(a)，图17的(b)的复原图像的分辨率得到提高，比起图17的(b)，图17的(c)的复原图像的分辨率进一步得到提高。
在图18示出使Is2变化时的复原图像的分辨率的变化。在图18示出的图中，纵坐标表示利用由CIPA发布的分辨率测定用工具HYRes3.1测定的分辨率，横坐标表示Is2与PSF图像Ir1_psf(x，y)的最大值亮度值之比率。
从图18可知：将Is2设定为其值在PSF图像Ir1_psf(x，y)的最大亮度值的0.5％以上的情况下，分辨率会提高。也就是说，虽然基于实际的PSF的亮度值与噪声的亮度值之比对PSF图像的分辨率的影响大，但是在将Is2设定为其值在PSF图像中包括的高斯噪声的标准偏差σ的约1.6(≈0.5/0.3)倍以上的情况下，分辨率会提高。也就是说，优选为，在将PSF图像中包括的随机噪声假定为高斯噪声时，Is2的大小在高斯噪声的标准偏差的1.6倍以上。
而且，如果将Is2设定为其值在PSF图像Ir1_psf(x，y)的最大亮度值的1％以上，则能够得到与不存在高斯噪声的情况同等的分辨率。虽然未在图中示出，但是如果使Is2大于PSF图像Ir1_psf(x，y)的最大亮度值的40％，则复原图像的分辨率不再提高。也就是说，Is2与PSF图像Ir1_psf(x，y)的最大亮度值之比大于40％，则复原图像的分辨率会降低。也就是说，优选为，Is2是与PSF图像的最大亮度值之比在5％到40％之间的值。
这样，通过(算式4)的校正，实际的PSF的亮度分布中的亮度小的区域的信息会丢失，但是比起由此引起的复原图像的分辨率的降低，叠加于PSF图像的噪声引起的分辨率的降低其影响更大，因此通过利用(算式4)的PSF图像的校正能够提高复原图像的分辨率。
这样，根据本发明的实施例2所涉及的摄像装置10，在进行图像复原运算时，即使被拍摄的PSF图像的无用亮度(尤其是在时间序列上变动的随机噪声)大的情况下，也能够通过从PSF图像减去比固定值噪声大的亮度值，以将亮度平均值校正为恰当的值，从而使用于图像的复原的PSF信息更加准确，能够进行高分辨率的图像的复原。
另外，本实施例所涉及的摄像装置10，如(算式4)所示，对于PSF图像Ir1_psf，对亮度值比Is2小的图像位置的亮度值进行了校正，但是如(算式5)所示，即使对亮度值在Is2以下的图像位置的亮度值进行校正，也能够得到实质上相同的效果。
if(Ir1_psf(x，y)≤Is2)
Ir2_psf(x，y)＝0 (算式5)
另外，亮度降低部3并非一定要进行(算式2)的固定值噪声的亮度值的减法运算。也就是说，不言而喻，亮度降低部3，只要根据需要从PSF图像的亮度值减去固定值噪声的亮度值就可以，固定值噪声的亮度值的减法运算不是必需的构成。
另外，在上述(算式4)中，虽然亮度值Is2是与像素位置无关的一定的值，但是并非一定要是与像素位置无关的一定的值。也就是说，亮度值Is2只要是比0大的值就可以(优选为，与最大亮度值之比是0.5％～40％的值)，也可以按照每个像素而其值不同。
另外，在本实施例2中，虽然以PSF的分布具有如图2的(b)所示的以亮度值为最大的图像位置为中心而对称的亮度分布的例子来进行说明，但是不言而喻，针对具有不对称的亮度分布的PSF的光学系统也能够适用。
以上，关于本发明的一个方面所涉及的摄像装置10，根据实施例进行了说明，但是本发明并不限定于这些实施例。只要不超出本发明的宗旨，将本领域技术人员所能想到的各种变形实施于这些实施例的实施例，或者组合不同的实施例的构成要素来构筑的实施例也包括在本发明的范围之内。
例如，在上述实施例1以及2中，虽然摄像装置10具备PSF拍摄部2，但是并非一定要具备PSF拍摄部2。具体而言，摄像装置10例如只要保存预先生成的修正PSF信息就可以。即使在这样的情况下，摄像装置10也能够基于预先保存的修正PSF信息与被摄体信息来进行被摄体信息的复原运算，因此能够高分辨率地复原被摄体图像。
并且，也可以是，上述实施例1或2中的摄像装置10具备的构成要素的一部分或全部，由一个系统LSI(Large Scale Integration：大规模集成电路)来构成。例如，也可以是，摄像装置10由具有PSF拍摄部2、被摄体拍摄部4、图像复原部5的系统LSI来构成。
系统LSI是在一个芯片上集成多个构成部来制造的超多功能LSI，具体而言，是包括微处理器、ROM(Read Only Memory)、RAM(RandomAccess Memory)等而构成的计算机系统。所述RAM中记忆有计算机程序。所述微处理器通过按照所述计算机程序进行工作，从而系统LSI达成其功能。
另外，在此，虽然设定为系统LSI，但是，根据集成程度的不同，也有称为IC、LSI、超级(super)LSI、极超级(ultra)LSI的情况。并且，集成电路化的手法并不限定于LSI，也可以在专用电路或通用处理器上实现。也可以利用在制造LSI后能够编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)或者可重构LSI内部的电路单元的连接及设定的可重构处理器。
而且，半导体技术的发展或利用派生的其他技术而出现替换LSI的集成电路化技术，当然也可以利用该技术进行功能块的集成化。也有适用生物技术等的可能性。
并且，本发明不仅能够作为具备具有这样的特征的处理部的摄像装置来实现，而且还能够作为将摄像装置包括的具有特征的处理部作为步骤的图像复原方法来实现。并且，也能够作为使计算机执行图像复原方法中包括的具有特征的各步骤的计算机程序来实现。并且，不言而喻，这些计算机程序能够通过CD-ROM(Compact Disc Read Only Memory)等计算机可读取的记录介质或互联网等通信网络使其流通。
本发明对于通过光学系统来拍摄被摄体像的所有的摄像装置都有用，例如数字镜像相机、数字摄像机、移动电话用相机、监视相机、医疗用相机、望远镜、显微镜、车载相机、立体测距相机、立体影像拍摄用多镜头反光相机、用于作成自由视点影像的光场导入用相机、EDOF(ExtendedDepth of Field：扩展景深)相机，或FDOF(Flexible Depth of Field：柔性景深)摄影(Photography)等。
符号说明
1 光学系统
2 PSF拍摄部
3 亮度降低部
4 被摄体拍摄部
5 图像复原部
10 撮像装置
101 退化图像噪声附加部
102 PSF图像噪声附加部
103 图像复原运算部
Claims (12)
1.一种摄像装置，该摄像装置具备：
光学系统；
点扩散函数拍摄部，取得由所述光学系统进行拍摄而得到的点扩散函数信息，并输出修正点扩散函数信息；
被摄体拍摄部，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及
图像复原部，基于所述修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，
所述点扩散函数拍摄部，通过从所述点扩散函数信息减去校正亮度值，从而输出所述修正点扩散函数信息，所述校正亮度值比在时间序列上不变动的固定值噪声的亮度值Nf大出亮度值Is。
2.如权利要求1所述的摄像装置，
所述点扩散函数拍摄部，从所述点扩散函数信息的所有区域减去所述校正亮度值。
3.如权利要求2所述的摄像装置，
在将所述点扩散函数信息中包括的随机噪声假定为高斯噪声时，所述亮度值Is的大小在高斯噪声的标准偏差以上。
4.如权利要求2所述的摄像装置，
所述亮度值Is是与所述点扩散函数信息的最大亮度值之比在0.3％到30%之间的值。
5.如权利要求1所述的摄像装置，
所述点扩散函数拍摄部，仅从所述点扩散函数信息的所有区域中的、亮度值在校正亮度值以下的区域，减去所述校正亮度值。
6.如权利要求5所述的摄像装置，
在将所述点扩散函数信息中包括的随机噪声假定为高斯噪声时，所述亮度值Is的大小在高斯噪声的标准偏差的1.6倍以上。
7.如权利要求5所述的摄像装置，
所述亮度值Is是与所述点扩散函数信息的最大亮度值之比在0.5％到40%之间的值。
8.如权利要求1所述的摄像装置，
所述点扩散函数拍摄部，仅从所述点扩散函数信息的所有区域中的、亮度值小于校正亮度值的区域，减去所述校正亮度值。
9.如权利要求8所述的摄像装置，
在将所述点扩散函数信息中包括的随机噪声假定为高斯噪声时，所述亮度值Is的大小在高斯噪声的标准偏差的1.6倍以上。
10.如权利要求8所述的摄像装置，
所述亮度值Is是与所述点扩散函数信息的最大亮度值之比在0.5％到40%之间的值。
11.一种摄像装置，该摄像装置具备：
光学系统；
被摄体拍摄部，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及
图像复原部，基于预先保存的修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，
所述修正点扩散函数信息是通过从由所述光学系统进行拍摄而得到的点扩散函数信息减去校正亮度值而算出的信息，所述校正亮度值比在时间序列上不变动的固定值噪声的亮度值Nf大出亮度值Is。
12.一种图像复原方法，该图像复原方法包括：
点扩散函数拍摄步骤，取得由光学系统进行拍摄而得到的点扩散函数信息，并输出修正点扩散函数信息；
被摄体拍摄步骤，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及
图像复原步骤，基于所述修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，
在所述点扩散函数拍摄步骤中，通过从所述点扩散函数信息减去校正亮度值，从而输出所述修正点扩散函数信息，所述校正亮度值比在时间序列上不变动的固定值噪声的亮度值Nf大出亮度值Is。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010-100304 | 2010-04-23 | ||
| JP2010100304 | 2010-04-23 | ||
| PCT/JP2011/002315 WO2011132415A1 (ja) | 2010-04-23 | 2011-04-20 | 撮像装置及び画像復元方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102422632A CN102422632A (zh) | 2012-04-18 |
| CN102422632B true CN102422632B (zh) | 2014-04-30 |
Family
ID=44833956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180002014.1A Expired - Fee Related CN102422632B (zh) | 2010-04-23 | 2011-04-20 | 摄像装置以及图像复原方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9025053B2 (zh) |
| JP (1) | JP4847633B2 (zh) |
| CN (1) | CN102422632B (zh) |
| WO (1) | WO2011132415A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5361976B2 (ja) * | 2011-08-25 | 2013-12-04 | キヤノン株式会社 | 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置 |
| CN104769933B (zh) * | 2012-05-23 | 2019-11-29 | 杭州美盛红外光电技术有限公司 | 红外摄影装置和红外摄影方法 |
| WO2014014957A1 (en) * | 2012-07-16 | 2014-01-23 | Flir Systems, Inc. | Methods and systems for suppressing noise in images |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| JP5980081B2 (ja) * | 2012-10-03 | 2016-08-31 | 日立マクセル株式会社 | 撮像装置および画像処理方法 |
| JP5974844B2 (ja) * | 2012-11-14 | 2016-08-23 | 富士通株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
| CN103236044B (zh) * | 2013-05-02 | 2016-01-20 | 北京理工大学 | 基于泰勒展开积分退化模型的微扫描图像重构方法 |
| DE102015122415A1 (de) * | 2015-12-21 | 2017-06-22 | Connaught Electronics Ltd. | Verfahren zum Erkennen einer bandbegrenzenden Fehlfunktion einer Kamera, Kamerasystem und Kraftfahrzeug |
| US11113791B2 (en) | 2017-01-03 | 2021-09-07 | Flir Systems, Inc. | Image noise reduction using spectral transforms |
| CN110537197A (zh) * | 2017-03-28 | 2019-12-03 | 柯尼卡美能达株式会社 | 图像处理装置、生长调查图像创建系统以及程序 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101222583A (zh) * | 2007-01-09 | 2008-07-16 | 奥林巴斯映像株式会社 | 进行电图像恢复处理的摄像装置 |
| CN101388952A (zh) * | 2007-09-12 | 2009-03-18 | 三星电子株式会社 | 恢复图像的设备和方法 |
| CN101685534A (zh) * | 2008-09-25 | 2010-03-31 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| JP2010087671A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60250483A (ja) | 1984-05-25 | 1985-12-11 | Canon Inc | 画像修正方法 |
| JPS62127976A (ja) | 1985-11-29 | 1987-06-10 | Kyocera Corp | 画像記録処理装置 |
| JP3583447B2 (ja) | 1992-04-28 | 2004-11-04 | オリンパス株式会社 | 撮像装置 |
| JP3968421B2 (ja) | 2002-07-01 | 2007-08-29 | 独立行政法人産業技術総合研究所 | 電子顕微鏡観察像の画像処理方法および画像処理プログラム並びに記録媒体 |
| JP2004186789A (ja) | 2002-11-29 | 2004-07-02 | Mitsubishi Electric Corp | 画像評価装置 |
| JP2005017136A (ja) | 2003-06-26 | 2005-01-20 | Mitsubishi Electric Corp | 光学系評価装置 |
| JP4585456B2 (ja) * | 2006-01-23 | 2010-11-24 | 株式会社東芝 | ボケ変換装置 |
| JP2009031109A (ja) | 2007-07-26 | 2009-02-12 | Tokyo Institute Of Technology | 画像解析方法 |
| JP5060967B2 (ja) | 2008-01-09 | 2012-10-31 | ライトロン株式会社 | 劣化した画像を復元する装置、方法およびプログラム |
| US8477206B2 (en) | 2008-09-30 | 2013-07-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method for performing image restoration using restoration filter |
| US8330825B2 (en) * | 2010-02-22 | 2012-12-11 | Eastman Kodak Company | Zoom lens system characterization for image sharpening |
-
2011
- 2011-04-20 US US13/319,348 patent/US9025053B2/en active Active
- 2011-04-20 WO PCT/JP2011/002315 patent/WO2011132415A1/ja active Application Filing
- 2011-04-20 CN CN201180002014.1A patent/CN102422632B/zh not_active Expired - Fee Related
- 2011-04-20 JP JP2011533448A patent/JP4847633B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101222583A (zh) * | 2007-01-09 | 2008-07-16 | 奥林巴斯映像株式会社 | 进行电图像恢复处理的摄像装置 |
| CN101388952A (zh) * | 2007-09-12 | 2009-03-18 | 三星电子株式会社 | 恢复图像的设备和方法 |
| CN101685534A (zh) * | 2008-09-25 | 2010-03-31 | 索尼株式会社 | 图像处理设备和图像处理方法 |
| JP2010087671A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像処理方法、画像処理装置及び撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9025053B2 (en) | 2015-05-05 |
| US20120099001A1 (en) | 2012-04-26 |
| JPWO2011132415A1 (ja) | 2013-07-18 |
| WO2011132415A1 (ja) | 2011-10-27 |
| JP4847633B2 (ja) | 2011-12-28 |
| CN102422632A (zh) | 2012-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102422632B (zh) | 摄像装置以及图像复原方法 | |
| CN102422321B (zh) | 摄像装置以及图像复原方法 | |
| CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US8229172B2 (en) | Algorithms for estimating precise and relative object distances in a scene | |
| US20190213719A1 (en) | Image processing method, image processing apparatus, and storage medium | |
| US11127117B2 (en) | Information processing method, information processing apparatus, and recording medium | |
| EP2597421B1 (en) | Stereo distance measurement apparatus and stereo distance measurement method | |
| US20200285883A1 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
| JP5535053B2 (ja) | 画像処理装置、及び画像処理方法 | |
| WO2011010438A1 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
| JP6648914B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20160381336A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and storage medium | |
| JP2014150498A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
| US20150116546A1 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| US10748252B2 (en) | Method and device for image correction | |
| CN115496673A (zh) | 图像处理方法、图像处理装置、图像处理系统、以及存储介质 | |
| JP2012231406A (ja) | 画像処理装置及び画像処理方法 | |
| JP2009212738A (ja) | 変化要因情報のデータの生成法および信号処理装置 | |
| JP2015109681A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
| JP2023058758A (ja) | データ生成方法、学習方法、推定方法、データ生成装置及びプログラム | |
| JP6548409B2 (ja) | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 | |
| Raid et al. | Fast NAS-RIF algorithm using iterative conjugate gradient method | |
| JP2017010114A (ja) | 画像補正装置、画像補正方法及びコンピュータプログラム | |
| KR20170042207A (ko) | 카메라 모듈, 전자 디바이스 및 그 동작 방법 | |
| JP2007226520A (ja) | 画像処理プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140430 |