CN102422321B - 摄像装置以及图像复原方法 - Google Patents
摄像装置以及图像复原方法 Download PDFInfo
- Publication number
- CN102422321B CN102422321B CN201180002030.0A CN201180002030A CN102422321B CN 102422321 B CN102422321 B CN 102422321B CN 201180002030 A CN201180002030 A CN 201180002030A CN 102422321 B CN102422321 B CN 102422321B
- Authority
- CN
- China
- Prior art keywords
- psf
- image
- information
- gain
- function information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000003384 imaging method Methods 0.000 title abstract description 12
- 230000003287 optical effect Effects 0.000 claims abstract description 59
- 238000012546 transfer Methods 0.000 claims abstract description 19
- 238000011084 recovery Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 238000009826 distribution Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 239000000654 additive Substances 0.000 description 5
- 230000000996 additive effect Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000004304 visual acuity Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000000151 deposition Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- BYJQAPYDPPKJGH-UHFFFAOYSA-N 3-(2-carboxyethyl)-1h-indole-2-carboxylic acid Chemical compound C1=CC=C2C(CCC(=O)O)=C(C(O)=O)NC2=C1 BYJQAPYDPPKJGH-UHFFFAOYSA-N 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011435 rock Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003292 diminished effect Effects 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
目的在于提供在基于由光学系统拍摄的点扩散函数图像来复原退化图像时能够高分辨率地复原退化图像的摄像装置。该摄像装置(10)具备：光学系统(1)；点扩散函数拍摄部(2)，取得由光学系统(1)进行拍摄而得到的点扩散函数信息，并通过校正点扩散函数信息而输出修正点扩散函数信息；被摄体拍摄部(5)，取得由光学系统(1)进行拍摄而得到的被摄体信息并进行输出；以及图像复原部(6)，基于修正点扩散函数信息和被摄体信息，进行被摄体信息的复原运算，点扩散函数拍摄部(2)具备：频域变换部(3)，将点扩散函数信息变换为频域的数据，并输出光学传递函数信息；以及低频成分增益平滑化部(4)，对光学传递函数信息进行校正，以使光学传递函数信息中的、直流成分的增益与非直流成分的低频成分的增益之比变小。
Description
技术领域
本发明涉及将在拍摄时退化的图像复原为退化少的图像的技术。
背景技术
将在拍摄时光学系统未对焦、晃动或像差等原因而退化的图像复原为退化少的图像的技术的开发有进展。例如，在专利文献1所公开的技术中，通过对因为未对焦、晃动或像差等而退化的退化图像(拍摄图像)进行利用了校正函数的复原运算，从而能够得到退化被校正后的复原图像，该校正函数具有基于未对焦、晃动或像差等的PSF(Point Spread Function：点扩散函数)的逆特性。很多情况下，校正函数利用基于设计数据等而以计算机作成的PSF数据来作成。
并且，在专利文献2所公开的技术中，在PSF数据的作成困难的情况下，利用进行实拍而得到的PSF数据来进行退化图像的复原运算。
专利文献1：(日本)特开昭62-127976号公报
专利文献2：(日本)特开2009-163642号公报
然而，在利用基于设计数据等而以计算机作成的PSF数据来实施退化图像的复原运算的情况下，在因为相机组装时的安装误差大等原因而PSF数据所示出的PSF与实际的PSF之间的差异大时，不能得到高分辨率的复原图像。因此，存在需要利用实际拍摄而得到的PSF图像来实施图像的复原，而不是利用以计算机作成的PSF数据来实施图像的复原的情况。
并且，如专利文献2所示，即使在不是利用以计算机作成的PSF数据而是利用拍摄点光源而得到的PSF图像来进行退化图像的复原运算的情况下，尤其是在拍摄PSF图像时的摄像元件的无用亮度(以下也称为“噪声”)大的情况下，因为该噪声的影响而PSF图像所示出的PSF与实际的PSF之间存在差异。其结果，存在不能得到高分辨率的复原图像这样的课题。
发明内容
本发明用于解决上述课题，目的在于提供一种摄像装置以及图像复原方法，其在基于由光学系统拍摄的PSF图像来复原退化图像的情况下，能够高分辨率地复原退化图像。
为了达成上述目的，本发明的一个方面所涉及的摄像装置具备：光学系统；点扩散函数拍摄部，取得由所述光学系统进行拍摄而得到的点扩散函数信息，并通过校正所述点扩散函数信息而输出修正点扩散函数信息；被摄体拍摄部，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及图像复原部，基于所述修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，所述点扩散函数拍摄部具备：频域变换部，将所述点扩散函数信息变换为频域的数据，并输出光学传递函数信息；以及低频成分增益平滑化部，对所述光学传递函数信息进行校正，以使所述光学传递函数信息中的、直流成分的增益与非直流成分的低频成分的增益之比变小。
这样，通过对将由光学系统拍摄的PSF信息变换为频域而得到的OTF(Optical Transfer Function：光学传递函数)信息进行校正，以使OTF信息中的直流成分与低频成分之比变小，从而能够降低PSF图像中包括的随机噪声的影响。其结果，能够高分辨率地复原退化图像。
通过本发明的一个方面所涉及的摄像装置，在图像复原运算时，即使拍摄PSF图像的无用亮度(尤其是在时间序列上变动的随机噪声)大的情况下，也能够通过对OTF信息进行校正而使直流成分与低频成分之比变小，从而使PSF图像的亮度平均值成为恰当的值，从而使复原信息更加准确，能够进行高分辨率的图像的复原。
附图说明
图1是示出本发明的实施例所涉及的摄像装置的构成的框图。
图2是用于说明本发明的实施例的原图像、PSF以及退化图像的关系的图。
图3是示出本发明的实施例的PSF的亮度分布的图。
图4是示出用于验证本发明的实施例的噪声对复原图像的影响的模拟器的图。
图5是说明本发明的实施例的退化图像中包括的噪声与复原图像的关系的图。
图6是说明本发明的实施例的PSF图像中包括的噪声与复原图像的关系的图。
图7是说明本发明的实施例的退化图像以及PSF图像中包括的噪声与复原图像的分辨率的关系的图。
图8是示出本发明的实施例的理想的PSF信息的图。
图9是示出本发明的实施例的包括噪声的PSF信息的图。
图10是示出本发明的实施例所涉及的摄像装置的工作的流程图。
图11是示出本发明的实施例的PSF信息的图。
图12是示出本发明的实施例的OTF信息的图。
图13是示出本发明的实施例的复原图像的图。
图14是示出本发明的实施例的复原图像的分辨率的图。
具体实施方式
以下，在说明本发明的实施例之前，说明被拍摄的PSF图像的无用亮度(噪声)大的情况下高分辨率的图像的复原困难的原因。
利用从图2到图9，说明被拍摄的PSF图像的噪声大的情况下高分辨率的图像的复原困难的原因。在图2的(a)示出没有退化的原图像(被摄体)。是测定被拍摄的图像的分辨率时通常利用的楔形图。在图2的(b)示出光学系统的PSF图像的一个例子。
因为光学系统未对焦、晃动或像差等，如图2的(b)所示，点像(pointimage)有限地扩散。因此，经由光学系统，图2的(a)的原图像，作为如图2的(c)所示的分辨率退化的退化图像而成像于摄像元件上。已知：通过原图像与被进行归一化(normalization)而使所有图像区域的亮度积分值为“1”的PSF图像的卷积积分来表示退化图像。
另外，图3是对图2的(b)的PSF图像中的包括亮度最大的部分的行(line)中的亮度最大的区域的周边进行了放大的亮度分布。图3是PSF图像不包括噪声的情况下的亮度分布。图像的亮度的表现因安装系统的不同而不同，在此以“0”表现黑，以“1.0”表现白。
图4表示模拟器的框图，该模拟器用于调查：导入成像于摄像元件的被摄体像时，分别混入退化图像以及PSF图像的噪声对复原图像的分辨率的影响。模拟器具备：退化图像噪声附加部101，将噪声附加到不包括噪声的退化图像；PSF图像噪声附加部102，将噪声附加到不包括噪声的PSF图像；以及图像复原运算部103。利用该模拟器，能够调查分别针对退化图像和PSF图像的噪声的影响。
假定噪声是高斯噪声。并且，通过使该高斯噪声的标准偏差σ变动，从而调查噪声的影响。例如，基于图像位置而在时间序列上几乎不变化的固定值噪声(例如，暗电流噪声或者规定的行或者像素位置的摄像元件的制造不良而出现的噪声等)，因为能够通过预先调查各个图像位置的噪声值而容易补偿，因此在此不予考虑。也就是说，仅考虑不易补偿的在时间序列上随机变化的随机噪声(假定为高斯噪声)，来调查噪声的影响。另外，图像位置是指图像上的位置，典型的是构成图像的像素的位置。并且，高斯噪声是指噪声成分的亮度值分布近似于高斯分布的噪声。
图像复原运算部103利用作为图像复原算法已知的维纳滤波器或RL(Richardson-Lucy)算法等来进行图像复原运算就可以。在此，图像复原运算部103的构成是：通过利用维纳滤波器进行图像复原运算来得到复原图像。
维纳滤波器Hw(u，v)的构成，利用例如非专利文献(“デイジタル画像处理(2004年7月22日CG-ARTS协会发行)”的146页)记载的以下(算式1)就可以。
Hw(u，v)＝1/H(u，v)·|H(u，v)|^2/(|H(u，v)|^2+K)(算式1)
在此，H(u，v)表示PSF图像的傅立叶变换即OTF(Optical TransferFunction：光学传递函数)。并且，u表示存放有PSF图像的垂直方向的各频率成分的排列的地址。并且，v表示存放有PSF图像的水平方向的各频率成分的排列的地址。K是恰当的常数。
图像复原运算部103，通过按照每个频率成分将退化图像的傅立叶变换数据与维纳滤波器Hw(u，v)相乘，并对该乘法运算结果进行逆傅立叶变换，从而生成复原图像。作为被摄体利用在图2的(a)示出的楔形图。将由PSF图像噪声附加部102根据需要将噪声附加到图2的(b)的PSF图像后进行归一化而使所有区域的亮度积分值成为1的图像，作为PSF图像来利用。
在图5的(a)、(b)以及(c)示出由退化图像噪声附加部101对图2的(c)的退化图像附加变动了标准偏差σ的高斯噪声的情况下的与各标准偏差σ对应的复原图像。作为一个列子，在此，将PSF图像以及退化图像的大小设定为512×512像素。
具体而言，在图5的(a)、(b)以及(c)示出将标准偏差σ分别设定为退化图像的亮度最大设定值(在此设定“0”为黑，“1.0”为白，因此亮度最大设定值为“1”)的0％、0.05％以及0.3％的情况下的复原图像。此时，对于PSF图像未附加噪声。从图5的(a)、(b)以及(c)很明确的是，随着标准偏差σ增大，复原图像的分辨率会降低一些。另外，亮度最大设定值是示出亮度的值中的示出最大亮度的值。
在图6的(a)、(b)以及(c)示出由PSF图像噪声附加部102对图2的(b)的PSF图像附加变动了标准偏差σ的高斯噪声的情况下的与各标准偏差σ对应的复原图像。具体而言，在图6的(a)、(b)以及(c)示出将高斯噪声的标准偏差σ分别设定为PSF图像的最大亮度值的0％、0.05％以及0.3％的情况下的复原图像。此时，对于退化图像未附加噪声。此时对于退化图像未附加噪声。从图6的(a)、(b)以及(c)很明确的是，随着高斯噪声的标准偏差σ增大，复原图像的分辨率明显降低。
另外，PSF图像的最大亮度值是在PSF图像中示出最大亮度的图像位置的亮度值。具体而言，PSF图像的最大亮度值是指例如构成PSF图像的像素中示出最大亮度的像素的亮度值。
在图7示出对变动了高斯噪声的标准偏差σ的情况下的复原图像的分辨率的变化进行了比较的结果。在图7中，符号701表示仅对退化图像附加高斯噪声的情况下的复原图像的分辨率。并且，符号702表示仅对PSF图像附加高斯噪声的情况下的复原图像的分辨率。
对退化图像附加的高斯噪声的标准偏差σ以与亮度最大设定值之比来表示。并且，对PSF图像附加的高斯噪声的标准偏差σ以与最大亮度值之比来表示。在此，将高斯噪声附加到PSF图像时，对PSF图像进行归一化而使最大亮度值是亮度最大设定值“1.0”，并以对退化图像以及PSF图像附加同等的噪声为条件来进行比较。
参考CIPA标准DC-003“デジタルカメラの解像度测定方法”，利用CIPA发布的分辨率测定用工具HYRes3.1来测定分辨率。这样测定的分辨率，其测定出的条数越多则表示分辨率越高。另外，本实施例中，对退化图像以及PSF图像都未附加高斯噪声的情况下的被复原的复原图像的分辨率是428条。
从图7可知：按照图像信号与高斯噪声的标准偏差σ之比而复原图像的分辨率变化。并且，可知，随着高斯噪声的标准偏差σ增大，比起退化图像，PSF图像的分辨率的降低更明显。
在仅对退化图像附加高斯噪声的情况下，如果高斯噪声的标准偏差σ在亮度最大设定值的0.6％以上，则分辨率明显降低而分辨率变为0条(不能测定)。另一方面，在仅对PSF图像附加高斯噪声的情况下，如果高斯噪声的标准偏差σ在最大亮度值的0.3％以上，则分辨率明显降低而分辨率变为0条。
因此，可知：比起退化图像中包括的噪声，PSF图像中包括的噪声对复原图像造成更大的不良影响。另外，测定了图2的(c)的复原前的退化图像的分辨率的情况下，不论有无噪声，结果都会因像差引起的模糊的影响而不能测定，分辨率为0条。
利用图8以及图9，对因PSF图像中包括的噪声而使复原图像的分辨率大幅度降低的原因进行了验证的结果进行说明。
图8的(a)表示将图2的(b)的PSF图像的亮度最大部分的周边的行进行了放大的亮度分布。在此，PSF图像中不包括噪声。
在图8的(b)表示对该不包括噪声的PSF图像进行了傅立叶变换而得到的OTF的增益。图8的(b)的OTF被进行归一化而使直流成分(频率“0”)的增益为1。图8的(b)的横坐标表示频率，直流成分(频率“0”)以右表示正的频率，以左表示负的频率。图2的(b)的PSF图像使用的是：具有以亮度为最大的图像位置为中心而对称的亮度分布的例子。因而，考虑到增益分布的容易观察程度，图8的(b)以及示出OTF的之后的图，仅提取作为二维排列的OTF中的包括垂直以及水平方向的直流成分的数据的1行的数据，来进行显示。
图9的(a)表示将对图2的(b)的PSF图像附加标准偏差σ是最大亮度值的0.3％的高斯噪声后的图像的、亮度最大部分的周边的行进行了放大的亮度分布。图9的(b)表示对包括该噪声的PSF图像进行傅立叶变换而得到的OTF的增益。图9的(b)的OTF也被归一化而使直流成分(频率“0”)的增益为“1”。
可知：图9的(b)与图8的(b)相比，频率“0”的成分(直流成分)的增益与其他频率成分的增益相比明显变大。这考虑是因为：图2的(b)的PSF图像中，亮度小的区域占据图像全体中的大部分，通过对该亮度小的区域附加噪声，而使基于噪声的PSF图像全体的亮度平均值(＝直流成分)大幅度地变动。
因此，因为被拍摄的PSF图像的OTF与实际的OTF的差异变大，而使复原图像的分辨率大幅度地降低。另外，即使使中值滤波器等降低随机噪声的一般的滤波器作用于PSF图像，也难以从PSF图像的亮度小的区域完全去除随机噪声，因此难以去除PSF图像全体的亮度平均值的变动。
这样，通过利用图4的模拟器进行的研讨已很清楚存在的课题是：在利用被拍摄的PSF图像来对退化图像进行复原的情况下，因为校正困难的随机噪声(高斯噪声)的影响而PSF图像的亮度平均值变动，从而PSF的频率成分中的直流成分大幅度地变动，而不能得到高分辨率的复原图像。
因此，以下，说明能够解决上述课题的本发明的一个方面所涉及的摄像装置。
(实施例)
以下，参照附图说明本发明的实施例。
图1是示出本发明的实施例所涉及的摄像装置的构成的一个例子的框图。摄像装置10具备光学系统1、具有频域变换部3以及低频成分增益平滑化部4的PSF拍摄部2、被摄体拍摄部5以及图像复原部6。
光学系统1取得被摄体像。具体而言，光学系统1包括例如透镜以及摄像元件等。光学系统1，通过拍摄点像或相当于点像的被摄体像，从而生成PSF图像I_psf(x，y)。并且，光学系统1，通过拍摄任意的被摄体像，从而生成被摄体图像I_img(x，y)。
PSF拍摄部2，为了取得与光学系统1对应的PSF而另光学系统1拍摄点像或者相当于点像的被摄体像，并从光学系统1取得并保存PSF图像I_psf(x，y)。在此，x表示图像中的垂直方向的图像位置，y表示水平方向的图像位置。
也就是说，PSF拍摄部2取得PSF信息。在此，PSF信息是指基于由光学系统1拍摄的PSF图像I_psf(x，y)的信息。具体而言，PSF信息示出例如PSF图像I_psf(x，y)本身。并且，也可以是，例如，PSF信息是将PSF图像I_psf(x，y)从空域变换为频域而得到的信息。
另外，优选为，为了使噪声的影响降低到最小限度，PSF图像I_psf(x，y)是被拍摄为最大亮度值为接近亮度最大设定值“1.0”的图像。并且，在基于图像位置而存在在时间序列上不变化的已知的固定值噪声(例如，暗电流噪声、或者规定的行或像素位置的摄像元件的制造不良而产生的噪声等)的情况下，如(算式2)，PSF拍摄部2从PSF图像I_psf(x，y)减去预先调查的PSF图像I_psf(x，y)的各图像位置的固定值噪声的亮度值Nf(x，y)。
Ir1_psf(x，y)＝I_psf(x，y)-Nf(x，y)(算式2)
在此，PSF拍摄部2，将减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)中的亮度值变为负的图像位置的亮度值校正为“0”。
另外，PSF拍摄部2，并非一定要从PSF图像I_psf(x，y)减去固定值噪声的亮度值Nf(x，y)。例如，在预先知道在所有的图像区域固定值噪声大致是一定的值的情况下等，PSF拍摄部2不必从PSF图像I_psf(x，y)减去固定值噪声的亮度值Nf(x，y)。
这样，PSF拍摄部2取得PSF信息。在此，PSF信息是指基于由光学系统1拍摄的PSF图像I_psf(x，y)的信息。具体而言，PSF信息例如示出PSF图像I_psf(x，y)。并且，也可以是，例如，PSF信息示出从PSF图像I_psf(x，y)减去固定值噪声的亮度值Nf(x，y)后的PSF图像Ir1_psf(x，y)。
另外，在以下的说明中，也将从PSF图像I_psf(x，y)减去固定值噪声的亮度值Nf(x，y)后的PSF图像Ir1_psf(x，y)单称为PSF图像Ir1_psf(x，y)。
频域变换部3，利用FFT(Fast Fourier Transform：快速傅立叶变换)等傅里叶变换手法，将PSF图像Ir1_psf(x，y)从空域变换为频域的数据，作成OTF信息H_psf(u，v)。也就是说，频域变换部3将PSF信息变换为频域的数据并输出OTF信息。具体而言，频域变换部3，将PSF信息所示出的PSF图像Ir1_psf(x，y)从空域变换为频域，从而输出OTF信息H_psf(u，v)。
低频成分增益平滑化部4，对OTF信息H_psf(u，v)进行校正，以使OTF信息H_psf(u，v)中的直流成分的增益Gain_H_psf(u0，v0)与低频成分的增益Gain_low_freq之比Gain_H_psf(u0，v0)/Gain_low_freq变小。
低频成分的增益是指从除了直流成分的频率之外的、比规定的频率低的频率的频率成分得到的增益。具体而言，低频成分的增益是指从直流成分的频率的近旁的频率的频率成分得到的增益。例如，低频成分的增益是与直流成分的频率邻接的频率的频率成分的平均值。在此设定低频成分的增益Gain_low_freq是OTF信息H_psf(u，v)中除了直流成分的频率之外最小的频率的频率成分的增益的值被存放的Gain_H_psf(u0，v0+1)与Gain_H_psf(u0+1，v0)的平均值。
u0表示存放有PSF图像的垂直方向的各频率成分的排列的、直流成分的值被存放的地址。并且，v0表示存放有PSF图像的水平方向的各频率成分的排列的、直流成分的值被存放的地址。
这样，PSF拍摄部2，通过校正OTF信息H_psf(u，v)，从而输出修正PSF信息Hr_psf(u，v)。
另外，根据需要对修正PSF信息Hr_psf(u，v)进行归一化处理后进行输出。校正OTF信息H_psf(u，v)的理由以及Gain_H_psf(u0，v0)/Gain_low_freq的设定范围之后记述。
被摄体拍摄部5保存由光学系统1取得的各种各样的被摄体的被摄体图像I_img(x，y)。也可以是，被摄体拍摄部5根据需要对被摄体图像I_img(x，y)实施所述固定值噪声的补偿、中值滤波器等噪声补偿处理。
也就是说，被摄体拍摄部5，取得由光学系统1拍摄的被摄体图像I_img(x，y)，并输出被摄体信息。在此，被摄体信息是指基于所取得的被摄体图像I_img(x，y)的信息。例如，被摄体信息是示出被摄体图像I_img(x，y)本身的信息。并且，也可以是，例如，被摄体信息是示出对被摄体图像I_img(x，y)实施了各种噪声补偿处理后的图像的信息。并且，也可以是，例如，被摄体信息是将被摄体图像I_img(x，y)或对被摄体图像I_img(x，y)实施了各种噪声补偿处理后的图像从空域变换为频域而得到的信息。
图像复原部6，基于修正PSF信息和被摄体信息，利用维纳滤波器等进行图像复原运算，从而作成复原图像。也就是说，图像复原部6，基于修正PSF信息和被摄体信息，进行被摄体信息的复原运算。也就是说，图像复原部6，通过进行使修正PSF信息作用于被摄体信息的图像复原运算，从而生成分辨率比被摄体信息所示出的图像的分辨率高的复原图像。
具体而言，图像复原部6，例如，将被摄体信息所示出的被摄体图像I_img(x，y)从空域变换为频域，并使修正PSF信息Hr_psf(u，v)作用于变换结果，从而进行复原运算。
另外，也可以是，修正PSF信息Hr_psf(u，v)是在出厂时、进行维护时等进行过一次拍摄并算出的数据。也就是说，图像复原部6，具有存储器等记忆单元，预先保存由PSF拍摄部2生成的修正PSF信息Hr_psf(u，v)，并利用所保存的修正PSF信息Hr_psf(u，v)，生成复原图像。也就是说，PSF拍摄部2，不必每当被摄体图像I_img(x，y)变化都生成修正PSF信息Hr_psf(u，v)。
接着，说明以上述说明来构成的本实施例所涉及的摄像装置的各种工作。
图10是示出在前述的本发明的实施例所涉及的摄像装置的工作的流程图。具体而言，图10的(a)是示出修正PSF信息生成处理的流程的流程图。并且，图10的(b)是示出图像复原处理的流程的流程图。如上述说明，在图10的(b)所示出的处理之前，图10的(a)所示出的处理至少进行一次就可以，并非一定要同步进行。
首先，说明在图10的(a)示出的流程图。
光学系统1拍摄PSF图像I_psf(x，y)(S101)。接着，PSF拍摄部2，按照算式(2)，从PSF图像I_psf(x，y)减去固定值噪声的亮度值Nf(x，y)，从而算出减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)(S102)。
并且，频域变换部3，通过将减去固定值噪声的亮度值后的PSF图像Ir1_psf(x，y)从空域变换为频域，从而算出OTF信息H_psf(u，v)(S103)。接着，低频成分增益平滑化部4，通过校正OTF信息H_psf(u，v)以使直流成分的增益与低频成分的增益之比变小，从而生成修正PSF信息Hr_psf(u，v)(S 104)。最后，PSF拍摄部2，对所生成的修正PSF信息Hr_psf(u，v)进行归一化，并输出到图像复原部6(S105)。
另外，并非一定要执行步骤S102的固定值噪声减法运算处理。例如，也可以是，在固定值噪声非常小或预先知道在所有图像区域固定值噪声是大致一定的值等情况下，PSF摄影部2不执行固定值噪声减法运算处理。
接着，说明在图10的(b)示出的流程图。
光学系统1拍摄被摄体图像I_img(x，y)(S111)。接着，被摄体拍摄部5，对噪声补偿处理后的被摄体图像I_img(x，y)进行噪声补偿处理(S112)。最后，图像复原部6，通过基于噪声补偿处理后的被摄体图像I_img(x，y)和修正PSF信息Hr_psf(u，v)进行复原运算，从而生成复原图像(S113)。
另外，并非一定要执行步骤S112的噪声补偿处理。
接着，说明校正OTF信息H_psf的理由以及Gain_H_psf(u0，v0)/Gain_low_freq的设定范围。在以下的说明中，作为被摄体图像I_img(x，y)，利用在图2的(c)示出的梭形图的退化图像。并且，作为PSF图像Ir1_psf(x，y)，利用对图2的(b)的PSF图像附加了标准偏差σ是最大亮度值的0.3％的高斯噪声后的图像(亮度值变为负的图像位置的亮度值已较正为“0”)。
在图11的(a)示出PSF图像Ir1_psf(x，y)的包括最大亮度值的位置的行的亮度分布。因为去除了固定值噪声，因此在最大亮度值的位置附近具有基于图1的光学系统1的PSF的亮度分布，在距最大亮度值的位置远的位置亮度值几乎为“0”。
在图11的(b)示出对图11的(a)的虚线附近进行了放大的亮度分布。可知：在距最大亮度值的位置远的位置也因为随机分布的高斯噪声的影响而存在细小的亮度分布(细小的亮度值的变动)。
在图11的(c)示出对PSF图像Ir1_psf(x，y)进行傅里叶变换而得到的OTF信息H_psf(u，v)。图11的(c)的OTF信息H_psf(u，v)被归一化而使直流成分(频率“0”)的增益为“1”。观察图11的(c)则可知直流成分与其他的频率成分相比增益明显变大。可考虑这是因为如之前所述的、因为高斯噪声而PSF图像Ir1_psf(x，y)全体的亮度平均值大幅度地增加而致。
因此，在利用PSF图像Ir1_psf(x，y)进行了图像复原运算的情况下，因为图11的(c)的OTF信息H_psf(u，v)所示出的OTF与实际的OTF的差异变大，复原图像的分辨率大幅度地降低。因此，在本实施例中，对OTF信息H_psf(u，v)的直流成分的增益与其他的频率的增益的差异进行校正，使其接近实际的OTF，从而能够进行高分辨率的图像的复原。
在图12示出对OTF信息H_psf(u，v)进行校正以使Gain_H_psf(u0，v0)/Gain_low_freq变小的情况下的修正PSF信息Hr_psf(u，v)。图12的修正PSF信息Hr_psf(u，v)被归一化而使直流成分(频率“0”)的增益为“1”。图12的(a)是对OTF信息H_psf(u，v)进行了校正以使Gain_H_psf(u0，v0)/Gain_low_freq＝1.5的情况下的修正PSF信息Hr_psf(u，v)。并且，图12的(b)是对OTF信息H_psf(u，v)进行校正以使Gain_H_psf(u0，v0)/Gain_low_freq＝1.0的情况下的修正PSF信息Hr_psf(u，v)。并且，图12的(c)是对OTF信息H_psf(u，v)进行校正以使Gain_H_psf(u0，v0)/Gain_low_freq＝0.67的情况下的修正PSF信息Hr_psf(u，v)。
在图13示出利用在图12示出的修正PSF信息进行了图像复原运算时的复原图像。图13的(a)是未对OTF信息H_psf(u，v)进行校正的情况下的复原图像。并且，图13的(b)示出对OTF信息H_psf(u，v)进行校正以使Gain_H_psf(u0，v0)/Gain_low_freq＝1.5的情况下的复原图像。并且，图13的(c)示出对OTF信息H_psf(u，v)进行校正以使Gain_H_psf(u0，v0)/Gain_low_freq＝1.0的情况下的复原图像。并且，图13的(d)示出对OTF信息H_psf(u，v)进行校正以使Gain_H_psf(u0，v0)/Gain_low_freq＝0.67的情况下的复原图像。
观察图13可知，通过对OTF信息H_psf(u，v)进行校正以使Gain_H_psf(u0，v0)/Gain_low_freq变小，从而复原图像的分辨率得到提高。
在图14示出使Gain_H_psf(u0，v0)/Gain_low_freq变化的情况下的分辨率的变化。在图14示出的图中，纵座标表示利用由CIPA发布的分辨率测定用工具HYRes3.1测定的复原图像的分辨率，横坐标表示修正PSF信息的DC增益/低频增益(＝Gain_H_psf(u0，v0)/Gain_low_freq)。
从图14可知：对OTF信息H_psf(u，v)进行校正以使DC增益/低频增益在0.2到5之间的情况下，分辨率得到提高。也就是说，优选为，低频成分增益平滑化部4，对OTF信息H_psf(u，v)进行校正，以使OTF信息H_psf(u，v)中的直流成分的增益与非直流成分的低频成分的增益之比在0.2倍到5倍之间。
而且，在对OTF信息H_psf(u，v)进行校正以使DC增益/低频增益在“0.2”到“2.0”之间的情况下，能得到不存在高斯噪声的情况下的分辨率的一半以上的分辨率。也就是说，优选为，低频成分增益平滑化部4，对OTF信息H_psf(u，v)进行校正，以使OTF信息H_psf(u，v)中的直流成分的增益与非直流成分的低频成分的增益之比在0.2倍到2倍之间。
而且，在对OTF信息H_psf(u，v)进行校正以使DC增益/低频增益在“0.2”到“1.0”之间的情况下，能够得到与不存在高斯噪声的情况下的分辨率同等的分辨率。也就是说，优选为，低频成分增益平滑化部4，对OTF信息H_psf(u，v)进行校正，以使OTF信息H_psf(u，v)中的直流成分的增益与非直流成分的低频成分的增益之比在0.2倍到1倍之间。
DC增益/低频增益小于“0.2”的情况下，DC增益与其他频率成分的增益相比过小，被校正的修正PSF信息Hr_psf(u，v)所示出的OTF与实际的OTF的差异过大，从而使复原图像的分辨率大幅度降低。
从上述结果可知：如图12的(b)所示，如果对OTF信息H_psf(u，v)进行校正以使DC增益/低频增益为“1”，则修正PSF信息Hr_psf(u，v)所示出的OTF与实际的OTF接近，因而使复原图像的分辨率得到提高。而且可知：即使未对OTF信息H_psf(u，v)进行校正而使DC增益/低频增益为“1”，只要对OTF信息H_psf(u，v)进行校正以使DC增益/低频增益在上述的规定范围内，则复原图像的分辨率会得到提高。
这样，根据本发明的实施例所涉及的摄像装置10，在进行图像复原运算之时，即使被拍摄的PSF图像的无用亮度(尤其是在时间序列上变动的随机噪声)大的情况下，也能够通过对OTF信息H_psf(u，v)进行校正以使DC增益/低频成分的增益成为恰当的值，从而使用于图像的复原的PSF信息更加准确，能够进行高分辨率的图像的复原。
另外，虽然将由PSF拍摄部2输出的修正PSF信息Hr_psf(u，v)作为频域的数据进行了说明，但是修正PSF信息也可以是空域的数据。也可以是，例如，作为图像复原部6的运算算法利用在空域进行运算的RL算法等情况下，PSF拍摄部2根据需要对修正PSF信息Hr_psf(u，v)进行逆傅立叶变换后作为图像区域的数据进行输出。也就是说，也可以是，PSF拍摄部2按照PSF摄影部2的后级的处理而变换为恰当的数据形式来输出修正PSF信息。
另外，低频成分增益平滑化部4，虽然将除了直流成分之外的最小频率成分的增益的平均值作为低频成分的增益Gain_low_freq来利用，但是并不限定于此。例如，只要基于除了直流成分之外的低频成分的增益来决定低频成分的增益Gain_low_freq就可以，例如，除了直流成分之外的最小的频率的增益的最大值、最小值，包括其他的低频成分的增益的平均值等。
另外，也可以是，PSF拍摄部2不进行(算式2)的固定值噪声的亮度值的减法运算。例如，在所有图像区域中固定值噪声是大致一定的值的情况下等，PSF拍摄部2并非一定要进行固定值噪声的亮度值的减法运算。也就是说，不言而喻，PSF拍摄部2，只要根据需要从PSF图像的亮度值减去固定值噪声的亮度值就可以，固定值噪声的亮度值的减法运算不是必需的构成。
另外，在本实施例中，虽然以PSF的分布具有如图2的(b)所示的以亮度为最大的图像位置为中心而对称的亮度分布的例子来进行了说明，但是不言而喻，针对具有不对称的亮度分布的PSF的光学系统也能够适用。
以上，关于本发明的一个方面所涉及的摄像装置10，根据实施例进行了说明，但是本发明并不限定于这些实施例。只要不超出本发明的宗旨，对本实施例实施了同行业人员所能想到的各种变形的实施例也包括在本发明的范围内。
例如，在上述实施例中，虽然摄像装置10具备PSF拍摄部2，但是并非一定要具备PSF拍摄部2。具体而言，摄像装置10例如只要保存预先生成的修正PSF信息就可以。即使在这样的情况下，摄像装置10也能够基于预先保存的修正PSF信息与被摄体信息来进行被摄体信息的复原运算，因此能够高分辨率地复原被摄体图像。
并且，也可以是，上述实施例的摄像装置10具备的构成要素的一部分或全部，由一个系统LSI(Large Scale Integration：大规模集成电路)来构成。例如，也可以是，摄像装置10由具有PSF拍摄部2、被摄体拍摄部5、图像复原部6的系统LSI来构成。
系统LSI是在一个芯片上集成多个构成部来制造的超多功能LSI，具体而言，是包括微处理器、ROM(Read Only Memory)、RAM(RandomAccess Memory)等而构成的计算机系统。所述RAM中记忆有计算机程序。所述微处理器通过按照所述计算机程序进行工作，从而系统LSI达成其功能。
另外，在此，虽然设定为系统LSI，但是，根据集成程度的不同，也有称为IC、LSI、超级(super)LSI、极超级(ultra)LSI的情况。并且，集成电路化的手法并不限定于LSI，也可以在专用电路或通用处理器上实现。也可以利用在制造LSI后能够编程的FPGA(Field ProgrammableGate Array：现场可编程门阵列)或者可重构LSI内部的电路单元的连接及设定的可重构处理器。
而且，半导体技术的发展或利用派生的其他技术而出现替换LSI的集成电路化技术，当然也可以利用该技术进行功能块的集成化。也有适用生物技术等的可能性。
并且，本发明不仅能够作为具备具有这样的特征的处理部的摄像装置来实现，而且还能够作为将摄像装置包括的具有特征的处理部作为步骤的图像复原方法来实现。并且，也能够作为使计算机执行图像复原方法中包括的具有特征的各步骤的计算机程序来实现。并且，不言而喻，这些计算机程序能够通过CD-ROM(Compact Disc Read Only Memory)等计算机可读取的记录介质或互联网等通信网络使其流通。
本发明对于通过光学系统来拍摄被摄体像的所有的摄像装置都有用，例如数字镜像相机、数字摄像机、移动电话用相机、监视相机、医疗用相机、望远镜、显微镜、车载相机、立体测距相机、立体影像拍摄用多镜头反光相机、用于作成自由视点影像的光场导入用相机、EDOF(ExtendedDepth of Field：扩展景深)相机，或FDOF(Flexible Depth of Field：柔性景深)摄影(Photography)等。
符号说明
1光学系统
2PSF拍摄部
3频域变换部
4低频成分增益平滑化部
5被摄体拍摄部
6图像复原部
10撮像装置
101退化图像噪声附加部
102PSF图像噪声附加部
103图像复原运算部
Claims (5)
1.一种摄像装置，该摄像装置具备：
光学系统；
点扩散函数拍摄部，取得由所述光学系统进行拍摄而得到的点扩散函数信息，并通过校正所述点扩散函数信息而输出修正点扩散函数信息；
被摄体拍摄部，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及
图像复原部，基于所述修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，
所述点扩散函数拍摄部具备：
频域变换部，将所述点扩散函数信息变换为频域的数据，并输出光学传递函数信息；以及
低频成分增益平滑化部，对所述光学传递函数信息进行校正，以使所述光学传递函数信息中的、直流成分的增益与非直流成分的低频成分的增益之比变小。
2.如权利要求1所述的摄像装置，
所述低频成分增益平滑化部，对所述光学传递函数信息进行校正，以使所述光学传递函数信息中的、直流成分的增益与非直流成分的低频成分的增益之比在0.2到5之间。
3.如权利要求1所述的摄像装置，
所述低频成分增益平滑化部，对所述光学传递函数信息进行校正，以使所述光学传递函数信息中的、直流成分的增益与非直流成分的低频成分的增益之比在0.2到1之间。
4.一种摄像装置，该摄像装置具备：
光学系统；
被摄体拍摄部，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及
图像复原部，基于预先保存的修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，
所述修正点扩散函数信息是，通过对将由所述光学系统进行拍摄而得到的点扩散函数信息变换为频域的数据而得到的光学传递函数信息进行校正，以使光学传递函数信息中的、直流成分的增益与非直流成分的低频成分的增益之比变小，从而生成的信息。
5.一种图像复原方法，该图像复原方法包括：
点扩散函数拍摄步骤，取得由光学系统进行拍摄而得到的点扩散函数信息，并通过校正所述点扩散函数信息而输出修正点扩散函数信息；
被摄体拍摄步骤，取得由所述光学系统进行拍摄而得到的被摄体信息并进行输出；以及
图像复原步骤，基于所述修正点扩散函数信息和所述被摄体信息，进行所述被摄体信息的复原运算，
所述点扩散函数拍摄步骤包括：
频域变换子步骤，将所述点扩散函数信息变换为频域的数据，并输出光学传递函数信息；以及
低频成分增益平滑化子步骤，对所述光学传递函数信息进行校正，以使所述光学传递函数信息中的、直流成分的增益与非直流成分的低频成分的增益之比变小。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010100408 | 2010-04-23 | ||
| JP2010-100408 | 2010-04-23 | ||
| PCT/JP2011/002316 WO2011132416A1 (ja) | 2010-04-23 | 2011-04-20 | 撮像装置及び画像復元方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102422321A CN102422321A (zh) | 2012-04-18 |
| CN102422321B true CN102422321B (zh) | 2015-01-07 |
Family
ID=44833957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180002030.0A Active CN102422321B (zh) | 2010-04-23 | 2011-04-20 | 摄像装置以及图像复原方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20120070096A1 (zh) |
| JP (1) | JP4856293B2 (zh) |
| CN (1) | CN102422321B (zh) |
| WO (1) | WO2011132416A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8606032B2 (en) * | 2009-12-23 | 2013-12-10 | Sony Corporation | Image processing method, device and program to process a moving image |
| JP5361976B2 (ja) * | 2011-08-25 | 2013-12-04 | キヤノン株式会社 | 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置 |
| US9373023B2 (en) * | 2012-02-22 | 2016-06-21 | Sri International | Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor |
| US20130300912A1 (en) * | 2012-05-14 | 2013-11-14 | Ricoh Innovations, Inc. | Dictionary Learning for Incoherent Sampling |
| JP6318520B2 (ja) * | 2013-09-27 | 2018-05-09 | 株式会社リコー | 撮像装置、撮像システムおよび撮像方法 |
| CN104580879B (zh) * | 2013-10-09 | 2018-01-12 | 佳能株式会社 | 图像处理设备、图像拾取设备以及图像处理方法 |
| JP5819925B2 (ja) * | 2013-12-25 | 2015-11-24 | ウイングアーク１ｓｔ株式会社 | コード読取装置およびコード読取用プログラム |
| CN103886596B (zh) * | 2014-03-19 | 2016-08-31 | 江苏大学 | 一种基于深度图像骨架端点分析的生猪行走步频提取方法 |
| CN109460690B (zh) * | 2017-09-01 | 2022-10-14 | 虹软科技股份有限公司 | 一种用于模式识别的方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101247468A (zh) * | 2007-02-15 | 2008-08-20 | 北京思比科微电子技术有限公司 | 对图像亮度进行调整的方法和装置 |
| CN101685534A (zh) * | 2008-09-25 | 2010-03-31 | 索尼株式会社 | 图像处理设备和图像处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6097856A (en) * | 1998-07-10 | 2000-08-01 | Welch Allyn, Inc. | Apparatus and method for reducing imaging errors in imaging systems having an extended depth of field |
| JP4370780B2 (ja) * | 2002-12-25 | 2009-11-25 | 株式会社ニコン | ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム |
| JP5060967B2 (ja) * | 2008-01-09 | 2012-10-31 | ライトロン株式会社 | 劣化した画像を復元する装置、方法およびプログラム |
| JP5261796B2 (ja) * | 2008-02-05 | 2013-08-14 | 富士フイルム株式会社 | 撮像装置、撮像方法、画像処理装置、画像処理方法、およびプログラム |
-
2011
- 2011-04-20 CN CN201180002030.0A patent/CN102422321B/zh active Active
- 2011-04-20 JP JP2011534947A patent/JP4856293B2/ja active Active
- 2011-04-20 WO PCT/JP2011/002316 patent/WO2011132416A1/ja active Application Filing
- 2011-04-20 US US13/319,406 patent/US20120070096A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101247468A (zh) * | 2007-02-15 | 2008-08-20 | 北京思比科微电子技术有限公司 | 对图像亮度进行调整的方法和装置 |
| CN101685534A (zh) * | 2008-09-25 | 2010-03-31 | 索尼株式会社 | 图像处理设备和图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011132416A1 (ja) | 2011-10-27 |
| US20120070096A1 (en) | 2012-03-22 |
| JPWO2011132416A1 (ja) | 2013-07-18 |
| CN102422321A (zh) | 2012-04-18 |
| JP4856293B2 (ja) | 2012-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102422321B (zh) | 摄像装置以及图像复原方法 | |
| Abdelhamed et al. | A high-quality denoising dataset for smartphone cameras | |
| CN102422632B (zh) | 摄像装置以及图像复原方法 | |
| EP2597421B1 (en) | Stereo distance measurement apparatus and stereo distance measurement method | |
| JP4782899B2 (ja) | 視差検出装置、測距装置及び視差検出方法 | |
| JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
| US8520081B2 (en) | Imaging device and method, and image processing method for imaging device | |
| JP5615393B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP6648914B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2012114849A (ja) | 画像処理装置、及び画像処理方法 | |
| US10748252B2 (en) | Method and device for image correction | |
| EP4109396A1 (en) | Image de-blurring | |
| JP2020030569A (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
| JP4927005B2 (ja) | 変化要因情報のデータの生成法および信号処理装置 | |
| JP2015102945A (ja) | 画像回復フィルタの生成方法、画像処理方法、撮像装置、画像処理装置 | |
| JP2016019017A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP5495500B2 (ja) | 変化要因情報のデータの生成法および信号処理装置 | |
| JP2019016222A (ja) | 画像処理装置およびその制御方法 | |
| JP5065099B2 (ja) | 変化要因情報のデータの生成法および信号処理装置 | |
| JP2017108243A (ja) | 画像処理装置及び画像処理方法 | |
| KR20230060381A (ko) | 차량 뷰 영상 생성방법 및 장치 | |
| JP6189172B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2017073613A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |