CN103426147B - 图像处理装置、图像拾取装置和图像处理方法 - Google Patents

Abstract

本发明涉及图像处理装置、图像拾取装置和图像处理方法。基于关于对象的距离信息使拾取图像模糊化的图像处理装置包括：恢复核获取部分，获取作为用于消除图像劣化的核的恢复核；模糊化核获取部分，获取作为用于使图像模糊化的核的模糊化核；合成核获取部分，获取通过合并恢复核与模糊化核所获得的合成核；以及图像处理部分，通过使用合成核来消除拾取图像的劣化并使拾取图像模糊化。

Description

图像处理装置、图像拾取装置和图像处理方法

技术领域

本发明涉及数字图像处理，特别是涉及对图像执行模糊化（blur）的图像处理技术。

背景技术

近年来，提出了能够通过增大图像传感器的尺寸来获得优良的模糊化的紧凑型数字照相机。但是，当图像传感器的尺寸增大时，图像形成光学系统的尺寸也增大，使得变得难以减小照相机的尺寸。为了应对这一点，日本专利申请公开No.2000-207549公开了通过拾取几乎处于深焦（deepfocus）（所有区域都对焦（infocus）的状态）的图像、获取关于到对象的距离的信息、并对拾取的图像执行预定的图像处理来执行模糊化的照相机。

但是，实际上，由于由孔阑导致的衍射和像面像差的影响以及物体距离的差异，即使当要拾取深焦图像时，也不可能获得在所有区域中完美地聚焦的图像。特别是在紧凑型数字照相机中，衍射或像差的影响趋于增大。为了应对这一点，日本专利申请公开No.2011-211663公开了通过数字处理来恢复（restore）由于衍射或像差的影响而劣化的图像的发明。

在执行拾取图像的焦点位置被改变的模糊化处理的情况下，当拾取的图像不是严格深焦图像时，出现模糊化之后的图像质量劣化、即应对焦的部分模糊化的问题。另外，存在这样的问题：即使在对焦的部分中，图像也由于衍射或像差的影响而劣化，并且，不能获得具有高图像质量的模糊化图像。

发明内容

为了解决以上的问题，本发明的目的是提供能够产生没有衍射或像差的影响的具有高质量的模糊化图像的图像处理装置、图像拾取装置、图像处理方法和图像处理程序。

本发明在其一个方面中提供一种基于关于对象的距离信息使拾取图像模糊化的图像处理装置，包括：恢复核获取部分，获取作为用于消除图像劣化的核的恢复核；模糊化核获取部分，获取作为用于使图像模糊化的核的模糊化核；合成核（compoundkernel）获取部分，获取通过合并恢复核与模糊化核所获得的合成核；以及图像处理部分，通过使用合成核来消除拾取图像的劣化并使拾取图像模糊化。

本发明在其另一方面中提供一种基于关于对象的距离信息使拾取图像模糊化的图像处理装置，包括：恢复核获取部分，获取作为用于消除图像劣化的核的恢复核；模糊化核获取部分，获取作为用于使图像模糊化的核的模糊化核；以及图像处理部分，通过使用恢复核和模糊化核来消除拾取图像的劣化并使拾取图像模糊化，其中，恢复核获取部分获取与对应于拾取图像上的要处理区域的距离与视角相关的恢复核，以及模糊化核获取部分获取与对应于拾取图像上的所述要处理区域的所述距离与视角相关的模糊化核。

本发明在其另一方面中提供一种通过基于关于对象的距离信息使拾取图像模糊化的图像处理装置执行的图像处理方法，包括以下步骤：获取作为用于消除图像劣化的核的恢复核；获取作为用于使图像模糊化的核的模糊化核；获取通过合并恢复核与模糊化核所获得的合成核；以及通过使用合成核来消除拾取图像的劣化并使拾取图像模糊化。

本发明在其另一方面中提供一种通过基于关于对象的距离信息使拾取图像模糊化的图像处理装置执行的图像处理方法，包括以下步骤：获取作为用于消除图像劣化的核的恢复核；获取作为用于使图像模糊化的核的模糊化核；以及通过使用恢复核和模糊化核来消除拾取图像的劣化并使拾取图像模糊化，其中，在获取恢复核的步骤中获取与对应于拾取图像上的要处理区域的距离与视角相关的恢复核，以及在获取模糊化核的步骤中获取与对应于拾取图像上的所述要处理区域的所述距离与视角相关的模糊化核。

根据本发明，可以提供能够产生没有衍射或像差的影响的具有高质量的模糊化图像的图像处理装置、图像拾取装置、图像处理方法和图像处理程序。

从参照附图对示例性实施例的以下描述，本发明的进一步的特征将变得明显。

附图说明

图1是示出根据第一实施例的图像处理装置的配置的框图；

图2是示出根据第一实施例的图像处理装置的操作的流程图；

图3是示出第一实施例中的区域产生处理的操作的流程图；

图4是示出第一实施例中产生的地图（map）的示图；

图5是示出第一实施例中的计算核的组成（composition）的示图；

图6A和6B是示出第一实施例中的区域产生处理的示图；以及

图7是示出根据第二实施例的图像拾取装置的配置的框图。

具体实施方式

（第一实施例）

以下，将参照附图描述作为本发明的一个方面的图像处理装置。各附图中的类似的附图标记表示类似的部件。注意，本发明的范围不是要限于在实施例的描述中示出的例子。

<系统配置>

图1是根据第一实施例的图像处理装置的系统配置图。

图像处理装置1具有参数输入部分101、参数存储器部分102、图像数据输入部分103、图像存储器部分104、PSF存储器部分105和区域产生部分106。另外，图像处理装置1还具有模糊化核产生部分107、恢复核产生部分108、图像处理运算部分109和处理图像存储器部分110。

可通过使用专用电路来实现或者可通过计算机来实现根据本实施例的图像处理装置。当通过计算机实现图像处理装置时，存储于辅助存储装置中的程序被加载到主存储装置中并被CPU执行，并且，图1所示的各个部件由此起作用（在附图中没有示出CPU、辅助存储装置和主存储装置）。

参数输入部分101是用于向图像处理装置输入与诸如焦点位置和曝光的图像拾取条件有关的参数、在后面描述的区域产生处理中使用的图像劣化量的阈值、以及确定模糊化的尺寸和形状所需要的参数的输入部分。参数存储器部分102是用于存储从参数输入部分101输入的参数的存储器。

图像数据输入部分103是用于向图像处理装置输入关于通过未示出的图像拾取部件所拾取的图像的数据（即，通过二维亮度值来表示拾取图像的数据）、以及与图像数据对应的距离信息的输入部分。将在后面给出距离信息的详细描述。图像存储器部分104是用于存储输入到图像数据输入部分103的图像数据的存储器。

PSF存储器部分105是用于存储用于图像恢复的PSF或者可替代PSF的数据的存储器。这里提到的点扩散函数（pointspreadfunction,PSF）是代表理想的点图像通过目标光学系统时的光线的扩展的函数。在本实施例中，存储用于通过去卷积处理来恢复由像差或衍射所劣化的图像的PSF。到对象的距离和视角具有各种条件，由此，PSF存储器部分105存储与各个条件对应的多个PSF。

区域产生部分106是用于基于存储于参数存储器部分102、图像存储器部分104和PSF存储器部分105中的信息来产生执行图像恢复和模糊化处理时的处理区域的部件。更具体而言，区域产生部分106确定可通过使用同样的模糊化核和同样的恢复核来执行处理的拾取图像的图像区域（本发明中的扩展区域）。区域产生部分106是本发明中的图像区域扩展部分。

模糊化核产生部分107是用于产生与由区域产生部分106确定的图像区域对应的模糊化核的部件。这里提到的模糊化核是用于执行使图像模糊化的过滤处理的核。模糊化核产生部分107能够产生与诸如物体距离、视角、F数、焦距和与模糊化有关的参数的条件相关的模糊化核。模糊化核产生部分107是本发明中的模糊化核获取部分。在本说明书中使用的短语“物体距离”表示到对象的距离。

恢复核产生部分108是用于基于存储于PSF存储器部分105中的多个PSF来确定与由区域产生部分106产生的图像区域对应的PSF、并产生作为用于执行图像恢复处理的核的恢复核的部件。恢复核产生部分108是本发明中的恢复核获取部分。

图像处理运算部分109是用于基于从区域产生部分106、模糊化核产生部分107和恢复核产生部分108获得的信息来执行将图像恢复和模糊化的效果给予存储于图像存储器部分104中的图像的运算处理的部件。

处理图像存储器部分110是用于存储在图像处理运算部分109中产生的模糊化图像的存储器。

<处理流程图>

接下来，将参照处理流程图详细描述图像处理装置1的操作。图2是示出由图像处理装置1执行的处理的流程图。

在步骤S201中，参数输入部分101获取与图像拾取条件有关的参数、在后面描述的区域产生处理中使用的图像劣化量的阈值、以及模糊化所需要的参数。参数可由用户输入或者也可从图像拾取部件获取。作为替代方案，也可获取预存储的参数。输入的参数被存储于参数存储器部分102中。通过使用这些参数，执行后面描述的区域产生处理、模糊化核产生处理和恢复核产生处理。

在步骤S202中，图像数据输入部分103获取通过图像拾取部件拾取的图像数据、以及与图像数据对应的距离信息或可转换成距离信息的数据，并使图像存储器部分104存储它们。这里提到的可转换成距离信息的数据包括诸如距输入图像数据的视点位置的相对距离和全局坐标（globalcoordinate）中的位置等的直接距离信息、以及通过使用来自多个图像拾取部件的图像信息所产生的视差信息。

另外，可转换成距离信息的数据也可以是用于通过使用计算拍摄技术作为使用数字处理的图像形成方法来获取距离的数据。

例如，在称为散焦测深（depthfromdefocus,DFD）的技术中，可以通过获取聚焦图像和散焦图像并分析模糊化量来确定物体距离。另外，可转换成距离信息的数据就可以是任何数据，只要该数据是用于获取物体距离即可。例如，可以使用从距离信息和作为步骤S201中输入的与图像拾取条件有关的参数之一的焦点位置所计算的散焦量作为输入数据。

在步骤S203中，当执行图像恢复处理和图像模糊化处理时，执行用于产生用作偏移不变区域（shift-invariantarea）的新区域的处理。这里提到的偏移不变区域表示可在后面描述的图像处理运算（图像恢复处理和图像模糊化处理）中对其应用同样的核的区域。

换句话说，偏移不变区域是即使当通过使用同样的核来执行处理时图像质量的劣化也落入可允许的范围内的区域。在不执行本步骤的情况下，必须对于每个要处理的区域（例如，对于图像所拥有的每个像素）执行图像处理运算。但是，通过执行本步骤，可以在使图像质量劣化最小化的同时减少要处理的区域的数量。

这里，将详细描述在步骤S203中由区域产生部分106执行的区域产生处理的内容。图3是详细示出步骤S203中的处理的流程图。

首先，在步骤S301中，执行地图的产生。地图是分配给图像上的不同区域的多个恢复核和模糊化核的数据组。

图4是二维示出地图的例子的示图。要使用的恢复核和模糊化核被分配给在拾取图像上预设的要处理区域中的每一个。附图标记401表示分配给每个要处理区域的核。要处理区域可以是仅包含一个像素的区域，并且，也可以是包含多个像素的具有任意形状的区域。该地图是区域产生部分106执行区域产生处理之前的地图。

分配给每个要处理区域的恢复核和模糊化核取决于实际的图像拾取条件和光学配置、即物体距离和视角而不同。可以获取每当执行处理时通过运算产生的核，或者，也可获取被预先计算和存储的核。

可以通过使用与模糊化条件（物体距离、视角、模糊化强度等）对应的多个PSF来产生模糊化核。可根据需要从模糊化条件通过运算产生在模糊化核的产生中使用的PSF，或者，也可从预先计算和存储的PSF选择适当的一个。利用该布置，可以赋予符合实际光学系统的模糊化。

可以不必通过符合实际光学系统的PSF来产生模糊化核。例如，存储共享的模糊化核，并且，可通过使用物体距离和视角作为参数来转换共享的模糊化核而获取目标模糊化核。因此，可以以希望的形式以任何方式确定要使用的模糊化核。

可向每个要处理区域分配通过使用恢复核将模糊化核去卷积并合并模糊化核与恢复核所获得的核（以下，该核被称为计算核）。图5是以二维图的形式示出通过使用恢复核将模糊化核去卷积所获得的计算核的示图。换句话说，图5所示的图代表由与计算核对应的过滤器矩阵（filtermatrix）形成的区域。注意，计算核是本发明中的合成核。

分配给要处理区域的计算核也取决于距离和视角而不同。可以获取根据需要产生的计算核，或者，也可获取预先产生和存储的多个计算核。当产生计算核时，图像处理运算部分109用作本发明中的合成核获取部分。以下，模糊化核、恢复核或计算核被简称为核。

接下来，在步骤S302中，对于每个要处理区域执行核类似度的计算。核类似度是指示分配给要处理区域的核的类似度的参数。当在步骤S303中产生新区域时，通过使用类似度确定图像质量的劣化量。

将给出核类似度的第一例子。第一例子是基于核的尺寸和形状来计算类似度的例子。可通过核的面积、距其中心点的距离及其半径来确定核的尺寸的类似度。例如，计算核中的每一个的虚拟重心，计算从作为中心点的重心到边缘的平均距离，并且可通过使用平均距离来确定核的类似度。另外，执行核的形状的匹配，并且可以计算指示形状的类似度的参数。

接下来，将描述核类似度的第二例子。第二例子是使用核的频率特性的例子。例如，核经受傅立叶变换，并且通过使用调制传递函数（MTF）来计算类似度。MTF将在像面上再现对象的对比度时的保真度表示为空间频率特性（以下，MTF意味着图像拾取系统中的MTF）。在第二例子中，通过式1计算核类似度I：

【数学1】

$\left(1\right),I=\underset{{\mathrm{\&mu;}}_1}{\overset{{\mathrm{\&mu;}}_2}{\&Integral;}}\mathrm{MTF}\left(\mathrm{\&mu;}\right)\mathrm{d\&mu;}$

这里，μ代表空间频率，μ₁和μ₂是用于设定空间频率的上限和下限的常数，I是通过用空间频率积分MTF获得的。在计算中，可使图像数据经受傅立叶变换，并且也可使用图像数据的频率特性。

上述的核类似度I可被用作相互比较与各种距离和视角相关的多个核的类似度时的基准。注意，可以组合使用第一例子和第二例子。例如，计算的类似度可被加权和相加。

在步骤S303中，通过使用在步骤S302中计算的核类似度I来确定新区域。在该步骤中确定的新区域是通过合并具有类似的核类似度I的要处理区域所获得的区域。

更具体而言，准备图像质量劣化量的阈值T，并且确定在每一个中I的变化量都不大于T的多个新区域。只要核类似度的变化量不大于T，就可以以任意方式确定区域。新确定的区域用作通过使用同样的核来执行图像处理的区域。通过将区域中的核类似度的变化限于特定值，可以将由模糊化处理导致的图像质量的劣化限于特定量。注意，可在步骤S202中输入的参数中包含图像质量劣化量的阈值T，并且也可使用存储于其中的值。

将通过使用简单的特定例子进行描述。图6示出步骤S203中的处理结果。图6A示出执行步骤S203中的处理之前的地图。向图6A所示的各个正方形区域分配不同的核。

图6B示出执行步骤S203中的处理之后的地图。例如，在确定关于包含于区域601中的核而言核类似度I的变化量不大于阈值的情况下，产生作为新区域的区域602。区域602用作通过使用同样的核来执行图像处理的区域。通过执行步骤S203中的处理，可以减少在图像处理中使用的核的数量，同时将图像质量的劣化限于特定量。

在步骤S204中，产生与在步骤S203中产生的新区域对应的模糊化核。具体而言，与步骤S301类似，对于每个区域产生与图像拾取条件、根据光学配置的物体距离和视角、以及参数相关的模糊化核。在存在预先计算和存储的模糊化核的情况下，可以使用该模糊化核。

另外，关于用于产生模糊化核的PSF，可以预先存储取决于参数而不同的PSF。与区域的对应关系、即仅仅是诸如距离和视角的确定PSF的要素被存储，并且，可通过根据需要产生PSF来产生模糊化核。通过本步骤的处理，确定与新产生的区域对应的模糊化核。

在步骤S205中，如同在步骤S204中产生的模糊化核那样，恢复核产生部分108产生与在步骤S203中产生的新区域对应的恢复核。具体而言，与步骤S301类似，恢复核产生部分108对于每个区域产生由图像拾取条件和光学配置确定的恢复核或其替代。在预先计算和存储恢复核的情况下，可以使用该恢复核。

在本实施例中，虽然通过使用预先存储的PSF来产生恢复核，但是，与区域的对应关系、即仅仅是诸如距离和视角的确定PSF的要素被存储，并且可通过根据需要产生PSF来产生恢复核。通过本步骤的处理，确定与新产生的区域对应的恢复核。

在步骤S206中，图像处理运算部分109通过使用存储于图像存储器部分104中的图像数据、在步骤S203中新产生的图像区域、在步骤S204中产生的模糊化核和在步骤S205中产生的恢复核来执行图像处理。在本步骤中执行的图像处理是执行图像恢复和目标图像的模糊化的处理。

具体而言，执行图像数据和模糊化核的卷积计算，并且执行恢复核的去卷积计算。虽然存在去卷积计算的各种方法，但是，这里将描述该方法的最简单例子。首先，去卷积计算被定义为式2。注意，P代表给定图像区域中的图像数据，B代表相应的模糊化核，S代表相应的恢复核：

【数学2】

$\left(2\right),(P\&CircleTimes;B)(x,y)=\&Integral;\&Integral;P(x^{\&prime;},y^{\&prime;})B(x-x^{\&prime;},y-y^{\&prime;}){\mathrm{dx}}^{\&prime;}{\mathrm{dy}}^{\&prime;}$

这是对于图像区域中的一个像素的计算。即，可通过对于图像区域中的所有像素重复执行该计算来执行图像的模糊化处理。这里，由于可通过在步骤S203中新产生的区域中使用同样的核来执行处理，因此，可通过使用如式3中那样的卷积定理来执行计算：

【数学3】

$\left(3\right),(P\&CircleTimes;B)(x,y)=\mathrm{IFT}\left\{\mathrm{FT}\right[P(x,y)]\&CenterDot;\mathrm{FT}[B(x,y)\left]\right\}$

这里，FT代表二维傅立叶变换，IFT代表二维逆傅立叶变换。在产生已经受图像恢复和模糊化的图像的情况下，可根据式4执行计算：

【数学4】

$\left(4\right),(P\&CircleTimes;B\&CircleTimes;\frac{1}{S})(x,y)=\mathrm{IFT}\left\{\mathrm{FT}\right[P(x,y)]\&CenterDot;\mathrm{FT}[B(x,y)]/\mathrm{FT}[S(x,y)\left]\right\}$

通过对在区域产生部分106中产生的所有图像区域执行以上的计算，可以将图像恢复和模糊化的效果给予输入的图像数据。注意，为了使用去卷积计算的其它方法，可以使用已被给予通过图像数据和模糊化核的卷积计算导致的模糊化效果的图像数据。另外，如上所述，可通过使用计算核来执行图像数据的卷积计算。

随后，在步骤S207中执行图像输出，并且，在处理图像存储器部分110中存储被给予图像恢复和模糊化的效果的图像。

因此，依据根据本实施例的图像处理装置，即使当输入图像不是完美地聚焦的图像，也可以获得具有高图像质量的模糊化图像。另外，可以计算任意图像中的偏移不变区域。利用此，可以在维持必要和足够的图像质量的同时减少要用于图像恢复的核的数量，并且应用卷积定理。结果，可以提供具有高图像质量的模糊化效果并明显减少计算量。

（第二实施例）

根据第二实施例的图像拾取装置是包括根据第一实施例的图像处理装置1的图像拾取装置。图7示出根据本实施例的图像拾取装置的配置。图像拾取装置4典型地是数字静物照相机或数字视频照相机等。

在图7中，附图标记400表示将对象光引向图像拾取元件402的图像拾取透镜。附图标记401表示包括光阑和快门的曝光控制元件。已经经由图像拾取透镜400入射的对象光经由曝光控制元件401入射到图像拾取元件402中。图像拾取元件402是将物体光转换成电信号并且输出电信号的图像拾取元件，并由诸如CCD或CMOS的图像传感器构成。

图像形成电路403是用于将来自图像拾取元件402的模拟输出信号数字化和可视化的电路，并且输出数字图像。图像形成电路403由未示出的模拟/数字转换电路、自动增益控制电路、自动白平衡电路、像素插值处理电路和颜色转换处理电路、以及根据第一实施例的图像处理装置1构成。

曝光控制部分404是用于控制曝光控制元件401的部件。测距（rangefinding）控制部分405是用于控制图像拾取透镜400的聚焦的部件。通过使用例如通过透镜（through-the-lens,TTL）方法（通过测量实际通过图像拾取透镜的光来控制曝光和聚焦的方法）来控制曝光控制部分404和测距控制部分405。

系统控制电路406是控制整个图像拾取装置4的操作的电路。存储器407是记录系统控制电路406中的用于操作控制的数据和处理程序的使用闪速ROM等的存储器。非易失性存储器408是可被电擦除或记录的、用于存储诸如各种调整值等的信息条目的、诸如EEPROM的非易失性存储器。

帧存储器409是存储在图像形成电路403中产生的图像的存储器，所述图像等同于数个帧。存储器控制电路410是控制输入到帧存储器409或从其输出的图像信号的电路。图像输出部分411是用于在未示出的图像输出装置上显示在图像形成电路403中产生的图像的部件。

在第二实施例中，通过图像拾取元件402获得的图像被输入到包括根据第一实施例的图像处理装置的图像形成电路403。也就是说，通过图像拾取元件402获取的图像数据、即代表二维亮度值的数据被输入到第一实施例中的图像数据输入部分103。可以通过由图像形成电路403执行的利用已知DFD方法的处理来获取输入到图像数据输入部分103的距离信息。可以从系统控制电路406获取输入到参数输入部分101的与图像拾取条件有关的参数。

由图像形成电路403执行的图像恢复和模糊化处理的内容与由根据第一实施例的图像处理装置1执行的那些相同。

根据第二实施例，可以提供能够通过使用根据第一实施例的图像处理装置对拾取图像执行具有高质量的模糊化的图像拾取装置。

（第三实施例）

第三实施例是除了核的频率特性以外还基于视觉的空间频率特性来确定第一实施例中的核类似度I的实施例。

本实施例与第一实施例的不同仅在于步骤S301和S302中的核类似度的计算方法。配置和处理方法在其它方面与第一实施例中的那些相同。

在本实施例中，除了模糊化核和恢复核中的每一个的MTF以外，还通过使用视觉的空间频率特性来计算核类似度。作为例子，使用称为级联调制传递锐度（cascadedmodulationtransferacutance,CMTA）的值。在“TAKAGIMikio,SHIMODAHaruhisa,“HandbookofImageAnalysis（RevisedEdition）”，UniversityofTokyoPress,p.77-78,2004”中详细描述了CMTA。

可以通过使用在第一实施例中描述的方法来确定偏移不变区域。但是，已知人的视力具有特征的（distinct）空间频率特性，并且存在对于空间频率的变化具有大反应的空间频率和对于空间频率的变化具有小反应的空间频率。因此，通过用视觉的空间频率特性将核的MTF加权，变得可以在人不能觉察到变化的区域中更精确地确定核类似度。

用于视觉的空间频率的MTF被已知为对比敏感度函数（contrastsensitivityfunction,CSF）。CSF是考虑眼球的图像形成系统中的低通滤波器的特性和从视网膜到脑的信号处理系统中的带通滤波器的特性通过视觉对比敏感度的模型化获得的。CSF的例子由式5表示：

【数学5】

(5)CSF(f)=a.f.exp(-b.f)

这里，f是空间频率，并且由代表在人视角的每度中观察到对比度条纹的次数的单位（cycle/deg）表示。虽然a常被设为75并且b常被设为0.2，但是，所述值不是固定的，并取决于与评价环境有关的各种条件而改变。

通过将给定空间频率范围中的模糊化核和恢复核中的每一个的MTF和CSF的积的积分值归一化所获得的因子被称为主观质量因子（SQF）。这里，本实施例中的模糊化核的MTF被假定为MTF_b，而本实施例中的恢复核的MTF被假定为MTF_s。通过将核的空间频率特性和视觉的空间频率的积的积分值（积分的值）除以视觉的空间频率的积分值（积分的值）（的式6），获得SQF。注意，f代表空间频率，f₁和f₂代表用于设定空间频率的上限和下限的常数：

【数学6】

$\left(6\right),\mathrm{SQF}=\frac{\underset{f_1}{\overset{f_2}{\&Integral;}}{\mathrm{MTF}}_b\left(f\right)/{\mathrm{MTF}}_s\left(f\right)\&CenterDot;\mathrm{CSF}\left(f\right)\mathrm{df}}{\underset{f_1}{\overset{f_2}{\&Integral;}}\mathrm{CSF}\left(f\right)\mathrm{df}}$

通过使用Weber-Fechner法则使SQF对于人的感觉呈线性并将SQF归一化为100，获得CMTA。这里提到的Weber-Fechner法则是人的感觉与刺激的对数成比例的法则，并且CMTA可被表达为式7。通过使用CMTA作为核类似度I，可以确定反映了视觉的空间频率特性的偏移不变区域：

【数学7】

(7)CMTA=100+66log₁₀(SQF)

因此，依据根据本实施例的图像处理装置，通过使用利用CMTA的评价值，可以识别人不能觉察的图像质量变化的范围并更精确地确定偏移不变区域。即，可以在对于人视力维持必要和足够的图像质量的同时减少用于图像恢复的核的数量，并且应用卷积定理。结果，与第一实施例相比，可以在实现计算量减少的同时获得具有高图像质量的模糊化效果。

实施例的描述是为了例示本发明的描述，并且，可通过在不背离本发明的要旨的情况下适当地改变或组合实施例来实现本发明。本发明可实现为包含以上处理的至少一部分的图像处理方法，或者实现为使图像处理装置执行该方法的图像处理程序。除非出现技术上的矛盾，否则，可以自由地组合以上的处理和部件。

也可通过读出并执行记录在存储设备上的程序以执行上述实施例的功能的系统或装置的计算机（或者诸如CPU或MPU的设备）、以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的程序来执行其步骤以执行上述实施例的功能的方法，实现本发明的各方面。出于这种目的，例如经由网络或从用作存储设备的各种类型的记录介质（例如，非暂态计算机可读介质）向计算机提供该程序。

虽然已参照示例性实施例描述了本发明，但要理解，本发明不限于公开的示例性实施例。所附的权利要求的范围要被赋予最宽的解释，以包含所有这样的修改以及等同的结构和功能。

Claims (12)

1.一种基于关于对象的距离信息使拾取图像模糊化的图像处理装置，其特征在于，包括：

恢复核获取部分，获取作为用于消除图像劣化的核的恢复核，其中，恢复核获取部分获取与对应于拾取图像上的要处理区域的距离和视角相关的恢复核；

模糊化核获取部分，获取作为用于使图像模糊化的核的模糊化核；

合成核获取部分，获取通过合并恢复核与模糊化核所获得的合成核；以及

图像处理部分，通过使用合成核来消除拾取图像的劣化并使拾取图像模糊化。

2.根据权利要求1所述的图像处理装置，其中，模糊化核获取部分获取与对应于拾取图像上的所述要处理区域的所述距离或所述视角相关的模糊化核。

3.根据权利要求1所述的图像处理装置，其中，图像处理部分将合成核分配给拾取图像上的要处理区域，并通过使用分配的合成核来执行包含图像恢复的模糊化处理。

4.根据权利要求3所述的图像处理装置，还包括：

图像区域扩展部分，确定作为包含至少一个要处理区域的区域的扩展区域，

其中，图像区域扩展部分确定分配给每个要处理区域的合成核的类似度，以将与被确定为相互类似的多个合成核对应的要处理区域合并成一个扩展区域，以及

图像处理部分通过使用同样的合成核对扩展区域执行包含图像恢复的模糊化处理。

5.根据权利要求4所述的图像处理装置，其中，图像区域扩展部分基于分配给要处理区域的合成核的尺寸或形状来确定类似度。

6.根据权利要求4所述的图像处理装置，其中，图像区域扩展部分基于分配给要处理区域的合成核的空间频率特性来确定类似度。

7.根据权利要求6所述的图像处理装置，其中，图像区域扩展部分进一步基于视觉的空间频率特性来确定类似度。

8.根据权利要求7所述的图像处理装置，其中，图像区域扩展部分基于分配给要处理区域的合成核的空间频率特性和视觉的空间频率特性的积的积分值与视觉的空间频率的积分值之间的比来确定类似度。

9.一种基于关于对象的距离信息使拾取图像模糊化的图像处理装置，其特征在于，包括：

恢复核获取部分，获取作为用于消除图像劣化的核的恢复核；

模糊化核获取部分，获取作为用于使图像模糊化的核的模糊化核；以及

图像处理部分，通过使用恢复核和模糊化核来消除拾取图像的劣化并使拾取图像模糊化，

其中，恢复核获取部分获取与对应于拾取图像上的要处理区域的距离和视角相关的恢复核，以及

模糊化核获取部分获取与对应于拾取图像上的所述要处理区域的所述距离和所述视角相关的模糊化核。

10.一种图像拾取装置，其特征在于，包括：

图像拾取单元；以及

根据权利要求1至9之一的图像处理装置。

11.一种通过基于关于对象的距离信息使拾取图像模糊化的图像处理装置执行的图像处理方法，其特征在于，包括以下步骤：

获取作为用于消除图像劣化的核的恢复核，其中，所获取的恢复核与对应于拾取图像上的要处理区域的距离和视角相关；

获取作为用于使图像模糊化的核的模糊化核；

获取通过合并恢复核与模糊化核所获得的合成核；以及

通过使用合成核来消除拾取图像的劣化并使拾取图像模糊化。

12.一种通过基于关于对象的距离信息使拾取图像模糊化的图像处理装置执行的图像处理方法，其特征在于，包括以下步骤：

获取作为用于消除图像劣化的核的恢复核；

获取作为用于使图像模糊化的核的模糊化核；以及

通过使用恢复核和模糊化核来消除拾取图像的劣化并使拾取图像模糊化，

其中，在获取恢复核的步骤中获取与对应于拾取图像上的要处理区域的距离和视角相关的恢复核，以及

在获取模糊化核的步骤中获取与对应于拾取图像上的所述要处理区域的所述距离和所述视角相关的模糊化核。