CN103971331B - 图像处理装置、图像拾取装置和图像处理方法 - Google Patents
图像处理装置、图像拾取装置和图像处理方法 Download PDFInfo
- Publication number
- CN103971331B CN103971331B CN201410032682.4A CN201410032682A CN103971331B CN 103971331 B CN103971331 B CN 103971331B CN 201410032682 A CN201410032682 A CN 201410032682A CN 103971331 B CN103971331 B CN 103971331B
- Authority
- CN
- China
- Prior art keywords
- image
- transfer function
- optical transfer
- optical
- correction chart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 211
- 238000012546 transfer Methods 0.000 claims abstract description 165
- 230000006870 function Effects 0.000 claims description 212
- 238000012937 correction Methods 0.000 claims description 68
- 238000011084 recovery Methods 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 40
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 230000005693 optoelectronics Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 description 39
- 238000006731 degradation reaction Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000002939 deleterious effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001627 detrimental effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及图像处理装置、图像拾取装置和图像处理方法。一种图像处理装置（804）包括：被配置为获得根据拍摄条件和图像中的位置而不同的第一光学传递函数的函数获得部分（804a）；被配置为通过使用第一光学传递函数从图像生成校正图像的校正图像生成部分（804b）；和被配置为通过使用所述校正图像执行盲去卷积处理以生成恢复图像的图像恢复部分（804c）。
Description
技术领域
本发明涉及执行图像恢复的图像处理装置。
背景技术
通过图像拾取光学系统拍摄的被照体遭受在图像拾取光学系统中出现的衍射、像差和其它不利的影响。这些不利影响使得从一个点发射的光不可能会聚于另一点，这导致光在另一点上微量地展开。这种微量展开分布被称为点分布函数(PSF)。这种在图像拾取光学系统中出现的不利影响导致形成拍摄图像，使得PSF与图像叠加。这使得图像变模糊，从而导致分辨率下降。
近年，随着将拍摄图像保持为电子数据变得普及，提出通过使用图像处理校正由光学系统导致的图像劣化的图像恢复处理。作为图像恢复处理，例如，使用Wiener滤波器的图像恢复处理是已知的。通过典型的数字照相机拍摄的图像根据其位置(图像高度)具有不同的劣化特性。在许多情况下，图像拾取光学系统的像差的量大，并且，像差在拍摄图像的周边不对称地劣化。
国际公开WO 2007/74649公开了在图像拾取光学系统的孔径的位置附近插入调制波前的相位掩模的系统。如果图像整体具有一定的劣化特性并具有不包含零点的频率特性，那么可容易地通过使用Wiener滤波器恢复图像。但是，在国际公开No.WO 2007/74649中公开的系统需要插入相位掩模的特殊光学设计。该设计使得难以将该系统应用于典型的数字照相机。
国际公开No.WO 2006/041127和文献“OSA VOLUME 62，NUMBER 1JANUARY1972Bayesian-Based Iterative Method of Image Restoration”均公开了通过使用所谓的Lucy-Richardson方法(LR方法)执行盲去卷积处理的方法。文献“J.Opt.Soc.Am.A/Vol.12，No.1/January 1995Blind deconvolution by means of the Richardson-Lucyalgorithm”公开了盲去卷积处理，在该盲去卷积处理中，即使拍摄图像是仅有的已知的信息，也可在估计劣化特性的同时执行图像恢复处理。但是，如果拍摄图像具有移变劣化特性(shift-variant deterioration characteristics)，那么难以令人满意地通过现有技术恢复光学传递函数具有接近零的值的频率区域中的图像。
发明内容
本发明提供即使在由于劣化特性损失信息的频率区域中也能够令人满意地恢复图像的图像处理装置、图像拾取装置和图像处理方法。
作为本发明的一个方面的图像处理装置包括：被配置为获得根据拍摄条件和图像中的位置而不同的第一光学传递函数的函数获得部分；被配置为通过使用第一光学传递函数从图像生成校正图像的校正图像生成部分；和被配置为通过使用校正图像执行盲去卷积处理以生成恢复图像的图像恢复部分。
作为本发明的另一方面的一种图像拾取装置包括：被配置为通过图像拾取光学系统光电转换被照体图像的图像拾取元件；被配置为获得根据拍摄条件和图像中的位置而不同的第一光学传递函数的函数获得部分；被配置为通过使用第一光学传递函数从图像生成校正图像的校正图像生成部分；和被配置为通过使用校正图像执行盲去卷积处理以生成恢复图像的图像恢复部分。
作为本发明的另一方面的一种处理图像的方法包括以下的步骤：获得根据拍摄条件和图像中的位置而不同的第一光学传递函数；通过使用第一光学传递函数从图像生成校正图像；和通过使用所述校正图像执行盲去卷积处理以生成恢复图像。
从参照附图对示例性实施例进行的以下描述，本发明的其它特征和方面将变得清晰。
附图说明
图1是实施例1中的图像处理方法(图像恢复处理)的流程图。
图2A～2E是实施例1中的校正图像的说明图。
图3是实施例2中的图像处理方法(图像恢复处理)的流程图。
图4A和图4B分别是实施例2中的第一光学传递函数和第二光学传递函数的说明图。
图5A和图5B分别是实施例2中的第一劣化特性组和第二劣化特性组的说明图。
图6A～6D是实施例2中的移变区域的说明图。
图7是实施例3中的图像处理系统的构成图。
图8是实施例4中的图像拾取装置的框图。
具体实施方式
以下将参照附图描述本发明的示例性实施例。在附图中的每一个中，相同的要素将由相同的附图标记表示，并且，其重复描述将被省略。
首先，将描述本实施例中的图像处理方法(图像恢复处理)的概要。满足下式(1)，这里，在实空间中，f(x，y)是没有被光学系统劣化的图像，h(x，y)是PSF(点分布函数)，并且g(x，y)是劣化的图像。
g(x，y)＝∫∫f(X，Y)*h(x-X，y-Y)dXdY…(1)
当对式(1)执行傅立叶变换以将实空间(x，y)转换成频率空间(u，v)时，满足下式(2)。
G(u，v)＝F(u，v)＊H(u，v)…(2)
在式(2)中，F(u，v)是f(x，y)的傅立叶变换的结果，G(u，v)是g(x，y)的傅立叶变换的结果，H(u，v)是h(x，y)的傅立叶变换的结果。因此，满足下式(3)。
F(u，v)＝G(u，v)/H(u，v)…(3)
式(3)意味着，可通过将频率空间中的劣化图像g(x，y)的傅立叶变换的结果G(u，v)除以点分布函数h(x，y)的傅立叶变换的结果H(u，v)，获得没有劣化的图像f(x，y)的傅立叶变换的结果F(u，v)。因此，可通过对F(u，v)执行逆傅立叶变换获得没有劣化的图像f(x，y)。
但是，实际上，如果执行这种处理以获得没有劣化的图像，那么由图像拾取元件导致的噪声被放大，并且，非常可能在图像上出现环带(ringing)。因此，难以通过简单的逆特性通过除法获得令人满意的图像。
作为恢复图像以抑制噪声放大的方法，使用由下式(4)表示的Wiener滤波器W(u，v)。
W(u，v)＝1/H(u，v)＊|H(u，v)|2/(|H(u，v)2+Γ)…(4)
在式(4)中，符号H(u，v)表示光学传递函数(OTF)，符号Γ表示用于减少噪声放大量的常数。
由式(4)表示的W(u，v)与劣化图像g(x，y)的傅立叶变换的结果G(u，v)的乘法允许由在光学系统中出现的衍射或像差导致的PSF的相位分量具有零的值并且振幅分量的频率特性被放大。这使得能够获得高分辨率和令人满意的图像。即，满足下式(5)：
R(u，v)＝G(u，v)＊W(u，v)…(5)
这里，R(u，v)是通过使用Wiener滤波器的图像恢复处理恢复的图像的频率空间信息。
使用Wiener滤波器的图像恢复处理的最大优点在于，可关于诸如根据空间中的各位置改变的PSF的劣化特性容易地执行恢复处理。这被称为“移变(shift-variant)”。
首先，将解释表示由光学系统导致的劣化的模型的式(1)。在式(1)中，h(x，y)即PSF不改变。这被称为“移不变(shift-invariant)”。假定h在各坐标点(x，y)上改变，式(1)被应用于移变情况。在这种情况下，将各移不变区域分成分别等于一个像素的微区域具有与完全移变处理相同的效果。但是，如果根据适当范围中的劣化特性确定各分割区域，那么能够作为移变处理实现足够的效果。即使当对于图像上的各代表点设计图像恢复滤波器并且通过对于代表点之间的区域内插和生成代表点的滤波器来执行近似时，也可实现足够的效果。
因此，图像上的各区域被细微地分割以设定满足式(1)的区域，随后，通过使用式(4)设计频率空间中的图像恢复滤波器。然后，对图像恢复滤波器执行逆傅立叶变换以将其转换成实空间中的图像恢复滤波器。最后，通过在实空间上使用图像恢复滤波器来对各分割区域执行滤波，由此可容易地实现移变图像恢复处理。
另一优点是低的计算成本。伴随近年的图像拾取元件的像素数量的明显增加，图像处理所需要的计算成本会被视为非常重要的问题。这意味着，虽然能够在理论上执行图像处理，但在实际的时间段中对数千万的像素执行图像处理需要超级计算机。Wiener滤波器是作为最小平方解优化的滤波器，它需要非常低的计算成本量，从而使得即使通过家用PC也能够执行高速图像恢复处理。
但是，如果光学传递函数H(u，v)的频率空间中的值接近零(零或极小值)，那么不能通过Wiener滤波器在频率区域中实现明显的恢复效果。另外，事实上，Wiener滤波器易于遭受环带或不自然的欠拍摄(undershoot)的影响，这对图像有害(有害效果)。并且，有时难以根据拍摄条件用Wiener滤波器正确地获得光学传递函数组，因此，当获得拍摄条件时生成的误差也可导致上述的有害效果。
为了克服该有害效果，在本实施例中，通过使用所谓的Lucy-Richardson方法(LR方法)执行图像恢复处理。与使用Wiener滤波器的图像恢复处理不同，通过LR方法的图像恢复处理不是包含式(4)所示的除法的方法。在LR方法中，通过使用Bayes估计执行图像恢复处理。与使用Wiener滤波器的图像恢复处理不同，LR方法也可估计和重构(恢复)损失频率信息。因此，本方法对频率分量为零的区域是有效的。
在实空间中，通过LR方法的图像恢复处理由下式(6)表示。在文献“OSA VOLUME62，NUMBER 1JANUARY 1972Bayesian-Based Iterative Method of Image Restoration”中描述了诸如与Bayes估计的关系的细节，该关系是通过LR方法的图像恢复处理的原理。
在式(6)中，符号fn是被更新的图像，符号fn-1是未更新的图像。符号h是光学系统的劣化特性，例如，PSF。符号g是拍摄图像。
在通过LR方法的图像恢复处理中，图像fn-1被依次更新，直到根据例如预先确定的评价准则中断处理，并然后输出图像fn。用于处理的评价准则包含例如fn与fn-1之间的差值。如果拍摄图像g的劣化程序小，那么优选f0等于g(f0＝g)。但是，如果拍摄图像g的劣化程度大，那么即使当f0等于g(f0＝g)时，也无望实现令人满意的图像恢复。
在通过LR方法的图像恢复处理中，可在频率分量具有零的值或接近零的值的区域中执行通过基于Bayes估计的原理的超分辨率处理的图像恢复处理。但是，由于在该处理中使用的恢复处理算法是移不变区域中的重复计算，因此，计算成本增加。特别地，用作初始值f0(初始条件)的图像的劣化程度越大，则从LR方法的原理的偏离程度越大。该较大的偏离程度使得难以令人满意地恢复图像。并且，初始值f0的较大的劣化程度导致完成图像恢复处理之前需要计算时间。一般地，伴随重复次数的增加，由LR方法带来的恢复效果增加，但有害效果也同时被放大。
在本实施例中，采用盲去卷积处理，在该盲去卷积处理中，即使拍摄图像是仅有的已知的信息，也在估计劣化特性的同时执行图像恢复处理。如在文献“J.Opt.Soc.Am.A/Vol.12，No.1/January 1995Blind deconvolution by means of the Richardson-Lucyalgorithm”中公开的那样，通过依次更新fn以LR方法估计劣化特性h，这里，劣化特性h是未知的，图像f是已知的。更具体而言，通过表达为下式(7)的处理重构(恢复)劣化特性hn。
因此，式(6)和式(7)的组合使得能够通过图像fn和劣化特性hn的依次更新执行图像恢复处理。虽然在本实施例中描述了通过LR方法的盲去卷积处理，但适用的方法不限于此。例如，也可采用迭代-背投影方法(IBP方法)或Ayers-Danity算法。
[实施例1]
下面，将参照图1和图2A～2E，描述本发明的实施例1中的图像处理方法(图像恢复处理)。图1是本实施例中的图像处理方法的流程图。图2A～2E是本实施例中的校正图像的说明图。通过设置在图像处理装置或图像拾取装置中的图像处理单元执行本实施例中的图像处理方法。
首先，在步骤S101中，图像处理单元规定要恢复的图像(拍摄图像)，并然后获得图像的拍摄条件。在本实施例中，拍摄条件意味着拍摄图像时的各种参数(光学参数)中的至少一个，例如，这些参数包括：焦距、F数(孔径值)、被照体距离、图像高度、关于图像拾取元件的信息(像素尺寸和像素间距)、关于光学低通滤波器的信息和关于图像拾取光学系统(透镜)的信息。图2A～2C示出在相互不同的拍摄条件下拍摄的图像。将拍摄条件附加到图2A～2C所示的图像中的每一个上。图像处理单元能够基于附加到图像上的信息(关于拍摄条件的信息)规定拍摄条件。
随后，在步骤S102中，图像处理单元规定(生成)与在步骤S101中获得的拍摄条件对应的第一光学传递函数组。第一光学传递函数组包含根据图像中的位置(图像高度位置)的多个光学传递函数OTF(第一光学传递函数)。如上所述，在本实施例中，图像处理单元(函数获得部分804a)获得根据拍摄条件和图像中的位置(图像高度位置)而不同的第一光学传递函数(第一光学传递函数组)。
图像处理单元能够对像素点的各位置获得光学传递函数OTF。但是，考虑到计算量和时间，有时计算数量与像素相同的光学传递函数是不现实的。因此，在本实施例中，如图2D所示，优选图像处理单元规定图像高度的代表点，并然后对各代表图像高度(对各代表点位置)获得光学传递函数OTF。作为替代方案，图像处理单元可将图像分成多个区域，以对各分割区域获得光学传递函数OTF。在该处理中，优选限定各代表点位置或各分割区域，以防止光学特性迅速改变。例如，如果由图像拾取光学系统导致的劣化特性在理论上是轴对称的，那么更优选利用对称性以减少计算量。
随后，在步骤S103中，图像处理单元通过使用在步骤S102中规定的第一光学传递函数组校正图像(拍摄图像)以生成校正图像。换句话说，图像处理单元(校正图像生成部分804b)通过使用第一光学传递函数组从图像(拍摄图像)生成校正图像。在该处理中，图像处理单元通过使用第一光学传递函数组校正图像的相位特性以生成校正图像。这一系列的处理与通过Wiener滤波器的图像恢复处理对应。然后，如图2E所示，图像处理单元通过使用依赖于各代表图像高度(对各代表点位置)的光学传递函数OTF设计基于Wiener滤波器的图像恢复滤波器(根据各代表点位置的图像恢复滤波器)。然后，图像处理单元向图像施加图像恢复处理，以校正移变有害特性并校正相位分量以提高分辨率。这样校正的图像是校正图像。
本实施例的图像恢复滤波器不限于上式(4)代表的Wiener滤波器。也可使用其它类型的图像恢复滤波器，如果它等同于被设计为关于光学传递函数的逆特性转换各频率的加权的式(4)所示的Wiener滤波器的话。在这种情况下，为了提高处理速度，更优选通过去除与图像拾取光学系统的畸变分量或倍率色差分量对应的相位项生成光学传递函数(第一光学传递函数)。
随后，在步骤S104中，图像处理单元对在步骤S103中生成的校正图像执行盲去卷积处理。换句话说，图像处理单元(图像恢复部分804c)通过使用所述校正图像执行盲去卷积处理以生成恢复图像。结果，可进一步提高分辨率。步骤S104与通过LR方法的图像恢复处理对应。在本实施例中执行的盲去卷积处理中，通过任意的Gaussian函数生成的劣化特性被用作劣化特性的初始值h0(初始条件)。另外，在步骤S103中生成的校正图像被用作输入图像的初始值(初始条件)。也可任意地改变Gaussian函数的分散性。
在本实施例中，图像处理单元(校正图像生成部分804b)也可被配置为仅向图像(拍摄图像)的部分区域应用第一光学传递函数以生成与该图像的部分区域对应的校正图像。在该处理中，图像恢复部分804c通过使用与该图像的部分区域对应的校正图像执行盲去卷积处理以生成恢复图像。通过图像处理装置或图像拾取装置执行本实施例的图像处理方法。该方法也提供为在软件或硬件上操作的图像处理程序。
[实施例2]
下面，将参照图3描述本发明的实施例2中的图像处理方法(图像恢复处理)。图3是本实施例中的图像处理方法的流程图。由于图3中的步骤S201～S203分别与图1中的步骤S101～S103相同，因此，将省略其描述。
图像处理单元在步骤S203中通过使用第一光学传递函数组生成校正图像，并然后在步骤S204中通过使用第一光学传递函数组生成第二光学传递函数组。换句话说，图像处理单元(函数转换部分804d)将第一光学传递函数(第一光学传递函数组)转换成与校正图像对应的第二光学传递函数(第二光学传递函数组)。更具体而言，图像处理单元获得校正图像，并然后通过使用从第一光学传递函数组自身导出的Wiener滤波器校正第一光学传递函数组以生成第二光学传递函数组。
第二光学传递函数组是校正第一光学传递函数组的相位(多个第一光学传递函数中的每一个的相位)以对各频率提高频率特性的值的光学传递函数组。换句话说，通过校正第一光学传递函数(第一光学传递函数组)的相位特性，生成第二光学传递函数(第二光学传递函数组)。也可通过主要校正第一光学传递函数组的相位特性获得第二光学传递函数组。与第一光学传递函数组相比，第二光学传递函数组更加移不变。
现在将参照图4A和图4B，描述通过使用第一光学传递函数组自身校正第一光学传递函数组以生成第二光学传递函数组的处理。图4A和图4B分别是第一光学传递函数和第二光学传递函数的说明图。典型的图像拾取光学系统的劣化特性是诸如图4A中的第一光学传递函数所示的那些。图4B示出第二光学传递函数。在图4A和图4B中的每一个中，从上面依次示出第一光学传递函数或第二光学传递函数的实部和虚部、以及劣化特性(PSF)的实空间轮廓(第一劣化特性)。
第一光学传递函数或第二光学传递函数的实部和虚部是中心具有零的频率的DC分量。所述DC分量通过图像拾取元件的Nyquist频率被标准化。第一光学传递函数或第二光学传递函数的实部表示第一劣化特性或第二劣化特性(PSF)的频率特性的余弦分量，虚部表示第一劣化特性或第二劣化特性(PSF)的频率特性的正弦分量。第一和第二光学函数中的每一个的相位分量表示由反正切(虚部/实部)表示的余弦分量和正弦分量的比。在这种情况下，正弦分量的存在意味着第一光学传递函数或第二光学传递函数在实空间中具有不对称的轮廓。因此，在各种频率区域中出现大量的正弦分量导致不对称和复杂的轮廓。
如果通过使用式(4)通过第一光学传递函数自身校正第一光学传递函数，那么获得图4B所示的第二光学传递函数。在第二光学传递函数的情况下，在所有频率区域中，实部的频率特性值增加，而虚部的频率特性值是0。也就是说，不存在劣化特性(PSF)的正弦分量导致轮廓对称。因此，通过它们的与第一光学传递函数相比得到更大改善的不对称性，第二光学传递函数具有移不变特性。
随后，将参照图5A和图5B，描述通过用第一光学传递函数中的每一个校正第一光学传递函数组导出的第一光学传递函数组和第二光学传递函数组的劣化特性(PSF)。图5A是与第一光学传递函数组对应的第一劣化特性组的说明图，图5B是与第二光学传递函数组对应的第二劣化特性组的说明图。图5A示出第一劣化特性(PSF)，图5A中的字母A～D表示图像中的各图像高度位置处的空间轮廓。图5B示出表示通过用参照图4A描述的第一光学传递函数自身校正图5A所示的空间轮廓获得的空间轮廓的第二劣化特性(PSF)。如上所述，与图5A中的字母A～D对应的光学传递函数组是第一光学传递函数组，与图5B中的字母A～D对应的光学传递函数组是第二光学传递函数组。
随后，在图3中的步骤S205中，图像处理单元将第二光学传递函数组转换成第三光学传递函数组。换句话说，图像处理单元(函数生成部分804e)基于第二光学传递函数(第二光学传递函数组)生成第三光学传递函数(第三光学传递函数组)。在本实施例中，从第二光学传递函数组选择第三光学传递函数组作为代表组。这种配置允许在不用第二光学传递函数中的每一个进行校正的情况下进一步提高校正图像的分辨率。在本实施例中，优选包含于第三光学传递函数组中的光学传递函数的数量比包含于第二光学传递函数组中的光学传递函数的数量少。例如，通过使用对其执行盲去卷积处理的图像区域的第二光学传递函数(第二光学传递函数组)的加权平均，生成第三光学传递函数(第三光学传递函数组)。优选地，也通过频率低通滤波器生成第三光学传递函数。以这种方式减少光学传递函数组的数量使得能够使用新创建的光学传递函数作为第三光学传递函数组。
现在将参照图6A～6D，描述从第二光学传递函数组确定劣化特性(PSF)移不变的图像区域的方法。图6A～6D是本实施例中的移不变区域的说明图。
图6A示出拍摄图像的移不变区域。各区域中示出的黑点表示各区域的光学传递函数。由于光学传递函数在各区域中不变，因此，在各区域中使用共同的光学传递函数。在包含于数字照相机(图像拾取装置)中的典型的图像拾取光学系统(光学系统)的情况下，光学系统的劣化特性不变的各区域小。如图6A所示，这使得拍摄图像中的各窄区域移不变。
在这种状态下通过使用第一光学传递函数组通过盲去卷积处理执行的图像恢复在各移不变区域中需要多次处理(重复处理)。该图像恢复必需大量的重复处理，从而需要非常长的计算时间。为了解决该问题，在本实施例中，通过用第一光学传递函数组校正拍摄图像来生成校正图像以放大各移不变区域。然后，通过使用第一光学传递函数组自身，第一光学传递函数组被校正为第二光学传递函数组。然后，向各移不变区域分配从第二光学传递函数组转换的第三光学传递函数。此时，通过从各移不变区域中的第二光学传递函数组选择任意的光学传递函数，获得要被分配给各移不变区域的第三光学传递函数中的每一个。事实上，第三光学传递函数也可使用通过加权和组合第二光学传递函数组的光学传递函数获得的光学传递函数。
根据第二光学传递函数确定移不变区域。例如，如果第二光学传递函数在校正图像的所有区域中移不变，那么，如图6B所示，可对校正图像的所有区域使用一个光学传递函数。但是，在第一光学传递函数组中，这种方法可导致由于例如频率特性的值小而几乎不可能恢复的频率区域。即使相位分量已被完全校正，也会在第二光学传递函数组中出现大的频率特性差。
在这种情况下，由于难以将校正图像的整个区域视为具有移不变特性，因此需要如例如图6C或6D所示的那样分割图像区域。但是，图像区域未必得被分成等尺寸的移不变区域。可基于光学传递函数组中的相关性的计算或简单的差值确定移不变区域作为评价准则。
随后，在图3中的步骤S206中，图像处理单元(图像恢复部分804c)通过使用在步骤S203处生成的校正图像和在步骤S205处获得的第三光学传递函数组执行盲去卷积处理。通过交互使用式(6)和(7)执行本实施例中的盲去卷积处理。在本实施例中，校正图像和第三光学传递函数组中的每一个被用作盲去卷积处理的初始条件。
也就是说，图像处理单元通过使用其从第三光学传递函数组选择的相应的光学传递函数对通过参照图6A～6D描述的方法确定的校正图像的各移不变区域执行盲去卷积处理。在该处理中，为了提高处理速度，更优选通过去除与图像拾取光学系统的畸变分量或倍率色差分量对应的相位项生成光学传递函数(第一光学传递函数)。考虑各种误差，也可在执行盲去卷积处理之前使各第三光学传递函数乘以低通特性。
虽然在本实施例中描述了对于拍摄图像整体的处理，但也可仅对拍摄图像的预先确定的区域执行本实施例中的处理。并且，在本实施例中，图像处理单元(图像恢复部分804c)可被配置为通过使用所述校正图像和在步骤S204中生成的第二光学传递函数(第二光学传递函数组)执行盲去卷积处理，使得步骤S205被省略。通过图像处理装置和图像拾取装置执行本实施例中的图像处理方法。本图像处理方法也被提供为在软件或硬件上操作的图像处理程序。
[实施例3]
下面，将参照图7，描述本发明的实施例3中的图像处理系统(图像处理装置)。图7是本实施例中的图像处理系统700的配置图。图7包括图像处理装置701(作为信息处理装置的硬件)、显示单元702(监视器)和输入装置703(键盘)。图像处理装置701包含函数获得部分804a、校正图像生成部分804b和图像恢复部分804c，将在后面描述它们中的每一个。根据需要，图像处理装置701还包括函数转换部分804d和函数生成部分804e。本实施例描述实施例1或2的图像处理方法在图像处理系统700(个人计算机软件)上操作的情况。
首先，为了使实施例1和2中的每一个的图像处理方法在图像处理装置701上操作，在图像处理装置701(个人计算机)上安装执行图像处理方法的程序(图像处理程序)。单独地，光学传递函数信息被数字化并然后存储于预先确定的文件夹(存储单元)中。光学传递函数信息均是用于各拍摄条件的光学传递函数信息，并且还是用于各拍摄条件的第一光学传递函数组。可从诸如CD-ROM的介质704(存储介质)安装图像处理程序(执行实施例1和2中的每一个的功能的软件)和光学传递函数信息(数据)。可替代地，可通过网络(因特网)下载来安装图像处理程序和光学传递函数信息。
然后，启动安装于图像处理装置701上的软件(图像处理程序)，并然后对图像(拍摄图像)执行实施例1和2中的每一个的图像处理方法(图像恢复处理)。在软件上，整个处理可在生成校正图像的步骤处完成，或者可执行盲去卷积处理以获得具有更高的分辨率的图像。图像处理装置701可被配置为能够具有各种设置，诸如在可变次数的重复中或者仅对图像的预先确定的区域执行盲去卷积处理。更优选图像处理装置701被配置为使得用户可在检查监视器上的恢复图像的同时改变各参数的设置。
[实施例4]
下面，将参照图8，描述本发明的实施例4中的图像拾取装置。图8是本实施例中的图像拾取装置800的框图。图像拾取装置800是集成有执行各实施例的图像处理方法的图像处理装置(图像处理单元)的图像拾取装置。
在图像拾取装置800中，通过包含孔径光阑801a(或遮光部件)和聚焦透镜801b的图像拾取光学系统801在图像拾取元件802上形成被照体(图中没有示出)的图像。孔径光阑801a和遮光部件确定孔径值。图像拾取元件802光电转换通过图像拾取光学系统801形成的被照体图像以获得拍摄图像。通过图像拾取元件802获得的拍摄图像(形成图像的光)被转换成电信号，然后，电信号被输出到A/D转换器803。A/D转换器803将从图像拾取元件802输入的电信号(模拟信号)转换成数字信号，并将数字信号输出到图像处理单元804。
除了各种预先确定的处理以外，图像处理单元804还执行各实施例的图像恢复处理(图像处理方法)。首先，图像处理单元804从状态检测器807获得图像拾取装置800的拍摄条件(拍摄条件信息)。拍摄条件包含例如孔径值(F数)、拍摄距离和变焦透镜的焦距。状态检测器807能够直接从系统控制器801获得拍摄条件信息，或者，作为替代方案，状态检测器807可从图像拾取光学系统控制器806获得关于图像拾取光学系统801的拍摄条件信息。存储单元808对各拍摄条件(焦距、F数、拍摄距离和图像高度的组合中的每一个)存储光学传递函数信息(数据)。
图像处理单元804包含函数获得部分804a、校正图像生成部分804b和图像恢复部分804c。根据需要，图像处理单元804还包含函数转换部分804d和函数生成部分804e。函数转换部分804d和函数生成部分804e中的每一个如实施例1和2描述的那样操作以从拍摄图像生成恢复图像。
通过图像处理单元804处理的输出图像(恢复图像)以预先确定的格式记录于图像记录介质809中。根据本实施例处理的图像经受各种预先确定的处理以显示于显示单元805上。可替代地，为了得到高速的显示，图像可在经受简化处理之后被显示。
通过系统控制器810执行图像拾取装置800中的一系列的控制操作。根据系统控制器810的指令由图像拾取光学系统控制器806执行机械驱动操作。作为孔径值(F数)的拍摄状态设置，控制孔径光阑801a的孔径直径。为了根据被照体距离聚焦，通过自动聚焦(AF)机构或手动聚焦机构(图中未示出)控制聚焦透镜801b的位置。
虽然在本实施例中图像拾取光学系统801(透镜装置)与图像拾取装置(图像拾取装置主体)一体化，但其配置不限于此。图像拾取光学系统801也可以是可去除地附着于诸如单镜头反射式照相机的图像拾取装置主体上的可交换透镜。
在本实施例中，图像处理单元804规定与获得的拍摄条件对应的光学传递函数组，并然后校正拍摄图像以生成校正图像。这样生成的校正图像存储于存储单元808中。图像处理单元804从存储单元808读取第一图像数据以执行盲去卷积处理。
用户可在生成校正图像的步骤处完成他/她的操作，或者执行盲去卷积处理以获得具有更高的分辨率的图像。作为替代方案，用户可使用被配置为能够具有诸如在可变次数的重复中或者仅对图像的预先确定的区域执行盲去卷积处理的各种设置的图像处理装置701或图像拾取装置800。更优选图像处理装置701或图像拾取装置800被配置为使得用户可在检查监视器上的恢复图像的同时改变各参数的设置。
上述的实施例中的每一个的图像处理装置和图像拾取装置能够令人满意地校正具有移变劣化特性的图像，并重构由于劣化损失的信息。因此，各实施例可提供能够令人满意地校正由于劣化特性损失信息的频率区域的图像处理装置、图像拾取装置、图像处理方法、图像处理程序和存储介质。
虽然已参照示例性实施例说明了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有的修改以及等同的结构和功能。
例如，也可向实施例中的每一个应用仅包含一个光学传递函数(第一光学传递函数)的第一光学传递函数组。类似地，可向实施例中的每一个应用分别仅包含一个光学传递函数(第二光学传递函数和第三光学传递函数)的第二和第三光学传递函数组。
Claims (12)
1.一种图像处理装置，包括：
函数获得部分，所述函数获得部分被配置为获得根据拍摄条件和图像中的位置而不同的第一光学传递函数；
校正图像生成部分，所述校正图像生成部分被配置为通过使用第一光学传递函数从图像生成校正图像，所述校正图像包含比所述图像的移不变区域大的移不变区域，在移不变区域中，光学传递函数不改变；
函数转换部分，所述函数转换部分被配置为将第一光学传递函数转换成与所述校正图像对应的第二光学传递函数；和
图像恢复部分，所述图像恢复部分被配置为通过使用所述校正图像和第二光学传递函数来执行盲去卷积处理以生成恢复图像，
其特征在于，与第一光学传递函数相比，第二光学传递函数具有移不变特性，移不变特性是光学传递函数在移不变区域中不改变的特性。
2.根据权利要求1的图像处理装置，还包括：
函数生成部分，所述函数生成部分被配置为从第二光学传递函数生成第三光学传递函数，
其特征在于，所述图像恢复部分被配置为通过使用所述校正图像和第三光学传递函数来执行盲去卷积处理。
3.根据权利要求2的图像处理装置，
其特征在于，所述图像恢复部分被配置为通过使用第三光学传递函数作为初始条件来执行盲去卷积处理。
4.根据权利要求2的图像处理装置，
其特征在于，第三光学传递函数是通过使用要被执行盲去卷积处理的图像区域的第二光学传递函数的加权平均生成的。
5.根据权利要求4的图像处理装置，
其特征在于，第三光学传递函数是通过使用频率低通滤波器生成的。
6.根据权利要求1～5中的任一项的图像处理装置，
其特征在于，第二光学传递函数是通过校正第一光学传递函数的相位特性生成的。
7.根据权利要求1～5中的任一项的图像处理装置，
其特征在于，所述图像恢复部分被配置为通过使用所述校正图像作为初始条件来执行盲去卷积处理。
8.根据权利要求1～5中的任一项的图像处理装置，
其特征在于，第一光学传递函数是通过去除畸变分量和倍率色差分量生成的。
9.根据权利要求1～5中的任一项的图像处理装置，
其特征在于，所述校正图像生成部分被配置为通过使用第一光学传递函数来校正图像的相位特性以生成所述校正图像。
10.根据权利要求1～5中的任一项的图像处理装置，
其特征在于，所述校正图像生成部分被配置为仅向图像的部分区域施加第一光学传递函数以生成与图像的所述部分区域对应的校正图像，
所述图像恢复部分被配置为通过使用与图像的所述部分区域对应的校正图像来执行盲去卷积处理以生成恢复图像。
11.一种图像拾取装置，包括：
图像拾取元件，所述图像拾取元件被配置为经由图像拾取光学系统光电转换被照体图像；
函数获得部分，所述函数获得部分被配置为获得根据拍摄条件和图像中的位置而不同的第一光学传递函数；
校正图像生成部分，所述校正图像生成部分被配置为通过使用第一光学传递函数从图像生成校正图像，所述校正图像包含比所述图像的移不变区域大的移不变区域，在移不变区域中，光学传递函数不改变；
函数转换部分，所述函数转换部分被配置为将第一光学传递函数转换成与所述校正图像对应的第二光学传递函数；和
图像恢复部分，所述图像恢复部分被配置为通过使用所述校正图像和第二光学传递函数来执行盲去卷积处理以生成恢复图像，
其特征在于，与第一光学传递函数相比，第二光学传递函数具有移不变特性，移不变特性是光学传递函数在移不变区域中不改变的特性。
12.一种处理图像的方法，该方法包括以下的步骤：
获得根据拍摄条件和图像中的位置而不同的第一光学传递函数；
通过使用第一光学传递函数从图像生成校正图像，所述校正图像包含比所述图像的移不变区域大的移不变区域，在移不变区域中，光学传递函数不改变；
将第一光学传递函数转换成与所述校正图像对应的第二光学传递函数；和
通过使用所述校正图像和第二光学传递函数来执行盲去卷积处理以生成恢复图像，
其特征在于，与第一光学传递函数相比，第二光学传递函数具有移不变特性，移不变特性是光学传递函数在移不变区域中不改变的特性。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013013226A JP5615393B2 (ja) | 2013-01-28 | 2013-01-28 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
| JP2013-013226 | 2013-06-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103971331A CN103971331A (zh) | 2014-08-06 |
| CN103971331B true CN103971331B (zh) | 2017-05-24 |
Family
ID=50064357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410032682.4A Expired - Fee Related CN103971331B (zh) | 2013-01-28 | 2014-01-24 | 图像处理装置、图像拾取装置和图像处理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9390477B2 (zh) |
| EP (1) | EP2759982A3 (zh) |
| JP (1) | JP5615393B2 (zh) |
| CN (1) | CN103971331B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106134177B (zh) * | 2014-03-31 | 2019-05-28 | 富士胶片株式会社 | 图像处理装置、摄影装置、图像处理方法及图像处理程序 |
| JP6042031B2 (ja) * | 2014-03-31 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
| WO2015156151A1 (ja) * | 2014-04-11 | 2015-10-15 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| JP6555881B2 (ja) * | 2014-12-19 | 2019-08-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
| JP2016119532A (ja) * | 2014-12-19 | 2016-06-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
| JP6614843B2 (ja) * | 2015-07-30 | 2019-12-04 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
| JP6538469B2 (ja) * | 2015-07-31 | 2019-07-03 | 株式会社日立製作所 | 画像処理装置、画像処理方法、及びそれを用いた画像処理システム |
| JP6566780B2 (ja) * | 2015-08-18 | 2019-08-28 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
| CN105450933B (zh) * | 2016-01-04 | 2018-06-22 | 中国科学院光电技术研究所 | 一种气动光学效应中模糊图像的复原装置 |
| CN106123915B (zh) * | 2016-06-08 | 2018-11-09 | 中国科学院光电技术研究所 | 一种基于直接点扩散函数的气动退化图像复原系统 |
| DE102018107950A1 (de) * | 2017-04-18 | 2018-10-18 | Canon Kabushiki Kaisha | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102708543A (zh) * | 2012-04-19 | 2012-10-03 | 北京工商大学 | 基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7031054B2 (en) * | 2002-10-09 | 2006-04-18 | The Regent Of The University Of Colorado | Methods and systems for reducing depth of field of hybrid imaging systems |
| JP4568730B2 (ja) | 2004-10-14 | 2010-10-27 | ライトロン株式会社 | 劣化情報復元方法と復元装置 |
| JP4663737B2 (ja) | 2005-12-27 | 2011-04-06 | 京セラ株式会社 | 撮像装置およびその画像処理方法 |
| JP4985062B2 (ja) * | 2006-04-14 | 2012-07-25 | 株式会社ニコン | カメラ |
| US8249357B2 (en) * | 2006-10-23 | 2012-08-21 | Ben Gurion University Of The Negev, Research And Development Authority | Blind restoration of images degraded by isotropic blur |
| US8204328B2 (en) * | 2008-04-08 | 2012-06-19 | The United States Of America, As Represented By The Secretary Of The Navy | Automated underwater image restoration via denoised deconvolution |
| US20110097009A1 (en) | 2008-06-20 | 2011-04-28 | Nxp B.V. | Digital image restoration |
| US8447129B2 (en) * | 2009-03-18 | 2013-05-21 | Florida Institute Of Technology | High-speed diversity-based imaging method for parallel atmospheric turbulence compensation |
| JP2011059813A (ja) * | 2009-09-07 | 2011-03-24 | Nikon Corp | 画像処理装置、撮影装置及びプログラム |
| JP5237978B2 (ja) | 2010-02-12 | 2013-07-17 | パナソニック株式会社 | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 |
| JP2012003454A (ja) | 2010-06-16 | 2012-01-05 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
| JP5409589B2 (ja) * | 2010-12-17 | 2014-02-05 | キヤノン株式会社 | 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 |
| US9058656B2 (en) * | 2012-01-23 | 2015-06-16 | Eiffel Medtech Inc. | Image restoration system and method |
| WO2013130629A1 (en) * | 2012-02-27 | 2013-09-06 | Greywolf Technical Services, Inc. | Methods and systems for modified wavelength diversity image compensation |
| US9245328B2 (en) * | 2012-03-29 | 2016-01-26 | Nikon Corporation | Algorithm for minimizing latent sharp image cost function and point spread function with a spatial mask in a fidelity term |
| WO2013148142A1 (en) * | 2012-03-29 | 2013-10-03 | Nikon Corporation | Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term |
-
2013
- 2013-01-28 JP JP2013013226A patent/JP5615393B2/ja not_active Expired - Fee Related
-
2014
- 2014-01-24 EP EP14000252.8A patent/EP2759982A3/en not_active Withdrawn
- 2014-01-24 CN CN201410032682.4A patent/CN103971331B/zh not_active Expired - Fee Related
- 2014-01-28 US US14/165,739 patent/US9390477B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102708543A (zh) * | 2012-04-19 | 2012-10-03 | 北京工商大学 | 基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9390477B2 (en) | 2016-07-12 |
| EP2759982A2 (en) | 2014-07-30 |
| EP2759982A3 (en) | 2016-06-29 |
| US20140211038A1 (en) | 2014-07-31 |
| CN103971331A (zh) | 2014-08-06 |
| JP2014146107A (ja) | 2014-08-14 |
| JP5615393B2 (ja) | 2014-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103971331B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
| RU2431889C1 (ru) | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления | |
| EP2574038B1 (en) | Image capturing apparatus, image processing apparatus, image processing method, and image processing program | |
| RU2523028C2 (ru) | Устройство обработки изображения, устройство захвата изображения и способ обработки изображения | |
| JP5983373B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
| WO2011096157A1 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
| EP3879483A1 (en) | Learning data manufacturing method, learning method, learning data manufacturing apparatus, learning apparatus, program, and memory medium | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| WO2011135761A1 (ja) | 撮像装置、画像処理装置、および画像処理方法 | |
| JP4885150B2 (ja) | 画像処理装置 | |
| JP5541750B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及び、プログラム | |
| US9727956B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
| US10339637B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for correcting deterioration of image | |
| WO2009110183A1 (ja) | 変化要因情報のデータの生成法および信号処理装置 | |
| Bhagat et al. | Novel Approach to Estimate Motion Blur Kernel Parameters and Comparative Study of Restoration Techniques | |
| JP2021140758A (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
| JP4606976B2 (ja) | 画像処理装置 | |
| JP6555881B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
| JP5495500B2 (ja) | 変化要因情報のデータの生成法および信号処理装置 | |
| JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
| JP4763419B2 (ja) | 画像処理装置 | |
| Šorel et al. | Restoration of color images degraded by space-variant motion blur | |
| Eboli | Hybrid Non-blind Image Deblurring for Real Scenarios | |
| Harale | Analysis of Image Deblurring Techniques with Variations in Gaussian Noise and Regularization factor | |
| Zhou et al. | A Modified Multichannel Deconvolution Algorithm for Single Lens Imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170524 Termination date: 20220124 |