CN102598649A - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明的目的在于提供一种在降低输入图像上产生的模糊时，能够在降低输入图像中包含的噪声的同时，抑制噪声处理所致图像劣化因图像复原处理而被强调的图像处理装置以及图像处理方法。用于降低输入图像上产生的模糊的图像处理装置(100)具备：噪声处理部(10)，通过对输入图像进行降低噪声的噪声处理来生成噪声处理图像；复原处理部(20)，对噪声处理图像进行降低模糊的图像复原处理；噪声处理部(10)根据图像复原处理的特性来进行噪声处理。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及用于降低输入图像上产生的模糊(blur)的图像处理装置以及图像处理方法。

背景技术

拍摄时对焦不准(离焦：out-of-focus)或手抖(camera shake)等原因，会导致输入图像上产生模糊。对此，通过对产生了模糊的输入图像进行图像复原处理，能获得高精度的输出图像。但是，在图像复原处理中，因输入图像的高频成分会被强调，从而输入图像所包含的噪声也会被增幅。因此，在输入图像中包含噪声的情况下，难以通过图像复原处理来获得良好的输出图像。

对此，现已有出利用噪声信息来设计复原函数，由此避免噪声因图像复原处理而被强调的方法(例如，参照专利文献1)。一般而言，在图像复原处理中，如下式(1)所示，作为复原函数M(u，v)，利用劣化函数H(u，v)的逆函数。

$M(u,v)=\frac{1}{H(u,v)}$ 式(1)

因发生模糊等而劣化的图像其高频成分少。即，能通过强调高频成分来降低模糊。但是，若用以上方法强调高频成分，噪声也被强调。

根据专利文献1所记载的方法，利用噪声的频谱密度Sn(u，v)以及近似理想图像频谱密度Sf(u，v)，设计出如下式(2)所示的复原函数M(u，v)。

$M(u,v)=\frac{1}{H(u,v)}\×\frac{{\left|H(u,v)\right|}^2}{{\left|H(u,v)\right|}^2+\mathrm{Sn}(u,v)/\mathrm{Sf}(u,v)}$ 式(2)

在式(2)中，利用可根据噪声的频谱密度Sn(u，v)和近似理想图像频谱密度Sf(u，v)之比来大致推定出噪声量的这一关系，设计复原函数。即，在式(2)所示的复原函数中，根据推定出的噪声量，调整图像复原处理的复原程度。具体是，在噪声少的情况下(在Sn(u，v)/Sf(u，v)非常小的情况下)，式(2)所示的复原函数成为与式(1)所示的一般的复原函数(劣化函数的逆函数)大致相同的函数，从而能使图像充分复原。相反，在噪声多的情况下(在Sn(u，v)/Sf(u，v)大的情况下)，在式(2)所示的复原函数中，复原程度将变得小于式(1)所示的一般的复原函数，噪声因图像复原处理而被强调的情况受到抑制。

另外，还有在图像复原处理前后降低噪声的方法(例如，参照专利文献2)。图10是表示专利文献2所记载的现有的图像复原处理的图。

在图10所示的现有的图像复原处理中，首先根据以露出信息检测40检测出的露出信息，进行降低输入图像的噪声的第一噪声降低滤波处理30。其次，对噪声被降低了的图像进行复原处理50。如上所述，通过在复原处理50之前进行降低噪声的第一噪声降低滤波处理30，抑制噪声因复原处理50而被强调。另外，在复原处理50之后，通过进行第二噪声降低滤波处理60，来进一步降低噪声。

现有技术文献

专利文献1：特开平8-172533号公报

专利文献2：国际公开第2007/013621号

发明内容

发明要解决的问题

但是，根据专利文献1所记载的方法，在噪声多的情况下，由于图像复原处理中的复原程度减弱，而无法使图像充分复原。即，专利文献1所记载的方法中存在着噪声多时复原结果图像中会残留模糊或者抖动的问题。

另外，根据专利文献2所记载的方法，因第一噪声降低滤波处理，有时会发生对于并非是噪声的真图像信号也进行加工的情况。在这种情况下，因第一噪声降低滤波处理而发生图像劣化，并且，该图像劣化会因复原处理而被强调。

对此，本发明是鉴于所述现有问题而开发的，其目的在于提供一种在降低输入图像上产生的模糊时，能够在降低输入图像中包含的噪声的同时抑制由噪声处理所致的图像劣化在图像复原处理中被强调的图像处理装置以及图像处理方法。

解决问题的手段

为了解决所述现有的问题，本发明一形态的图像处理装置是用于降低在输入图像上产生的模糊的图像处理装置，其具备：噪声处理部，通过对所述输入图像进行降低噪声的噪声处理来生成噪声处理图像；复原处理部，对所述噪声处理图像进行降低模糊的图像复原处理，所述噪声处理部根据所述图像复原处理的特性来进行所述噪声处理。

根据该结构，由于在进行图像复原处理之前进行噪声处理，因此能降低输入图像中包含的噪声。并且，由于是根据图像复原处理的特性来进行噪声处理，因此能够抑制噪声处理所致的图像劣化因过图像复原处理而被强调的问题。

另外，优选为，所述噪声处理部进行所述噪声处理，以使所述噪声处理图像在频域中相对于所述输入图像的变化程度按照所述图像复原处理的特性而被限制。

根据该结构，能够根据图像复原处理的特性来限制噪声处理图像在频域中相对于输入图像的变化程度，因此能有效抑制噪声处理所致图像劣化因图像复原处理而被强调的问题。

另外，优选为，所述复原处理部利用复原函数进行所述图像复原处理，该复原函数表示频域中的每个频率的复原程度，所述图像复原处理的特性是所述复原函数所表示的复原程度。

根据该结构，由于能根据复原函数所示复原程度来限制变化程度，因此能有效抑制噪声处理所致的图像劣化因图像复原处理而被强调的问题。

另外，优选为，所述噪声处理部进行所述噪声处理，以使得所述复原程度越大的频率，在该频率的所述变化程度越被限制。

根据该结构，复原程度越大的频率，越能限制在该频率的变化程度。因此，越是图像劣化易被强调的频率，越能防止其发生图像劣化，从而能够有效抑制噪声处理所致的图像劣化因图像复原处理而被强调的问题。

另外，优选为，所述噪声处理部具备：噪声降低部，通过在空域对所述输入图像进行噪声降低处理来生成噪声降低图像；第一变动幅度设定部，按每个频率设定第一变动幅度，以使得所述复原程度越大的频率，用于限制在该频率的所述变化程度的第一变动幅度变得越小；频率限制部，通过以使表示所述变化程度大小的变化度不超过所述第一变动幅度的方式来对所述噪声降低图像进行加工，从而生成所述噪声处理图像。

根据该结构，通过对噪声降低图像进行加工，以使变化度不超过第一变动幅，从而能容易地生成如下噪声残留图像，即，复原程度越大的频率越能抑制在该频率的变化程度的噪声处理图像。

另外，优选为，所述频率限制部具备：区域变换部，将所述输入图像以及所述噪声降低图像，从空域变换到频域；比较部，按每个频率，算出被变换到频域的输入图像的振幅和被变换到频域的噪声降低图像的振幅的差值的绝对值，以作为所述变化度；加工部，按每个频率判断算出的所述变化度是否超过所述第一变动幅度，并在判断为所述变化度超过所述第一变动幅度的情况下，对所述噪声降低图像的振幅进行加工，以使在该频率的所述变化度与所述第一变动幅度一致。

根据该结构，在变化度超得第一变动幅的情况下，能够对噪声降低图像进行加工，以使变化度与第一变动幅度一致。因此，能在尽量降低噪声的同时，抑制噪声处理所致的图像劣化因图像复原处理而被强调的问题。

另外，优选为，该图像处理装置还具备第二变动幅度设定部，该第二变动幅度设定部根据所述输入图像的噪声信息，设定无论在任何频率都均一的第二变动幅度，所述频率限制部通过以使所述变化度不超过所述第一变动幅度以及所述第二变动幅度的方式来对所述噪声降低图像进行加工，从而生成所述噪声处理图像。

根据该结构，还能够利用噪声的振幅无论在任何频率都保持均一的这一特点，来抑制图像因噪声处理而劣化的问题。

另外，优选为，所述噪声信息是利用相机的传感器特性、所述输入图像被拍摄时的ISO感光度以及所述输入图像的亮度而算出的。

根据该结构，可根据利用相机的传感器特性、输入图像被拍摄时的ISO感光度以及输入图像的亮度算出的噪声信息，来高精度地设定第二变动幅度。

另外，优选为，所述噪声处理部根据所述图像复原处理的特性和所述输入图像的噪声信息，进行所述噪声处理。

根据该结构，还能根据噪声信息来进行噪声处理，因此能抑制图像因噪声处理而劣化的问题。

另外，优选为，所述噪声信息是利用相机的传感器特性、所述输入图像被拍摄时的ISO感光度以及所述输入图像的亮度而算出的。

根据该结构，由于能根据利用相机的传感器特性、输入图像被拍摄时的ISO感光度以及输入图像的亮度而算出的噪声信息来进行噪声处理，因此能够进一步抑制图像因噪声处理而劣化的问题。

另外，优选为，所述图像复原处理的特性是利用所述输入图像的图像劣化函数而导出的。

根据该结构，能根据利用输入图像的图像劣化函数导出的图像复原处理的特性，来进行噪声处理。

另外，可将所述图像处理装置作为集成电路而构成。

另外，不仅能作为所述图像处理装置来实现本发明，还能通过以此类图像处理装置所具备的特征性构成部分的动作作为步骤的图像处理方法来实现本发明。另外，还能作为使计算机执行图像处理方法中包含的各步骤的程序来实现本发明。并且，当然能够通过CD-ROM(Compact Disc ReadOnly Memory：光盘只读存储器)等的计算机可读取的非临时性记录介质或者互联网等的传送介质来发送此类程序。

发明效果

根据本发明，由于在进行图像复原处理之前进行噪声处理，因此能够降低输入图像中包含的噪声。并且，由于是根据图像复原处理的特性来进行噪声处理，因此能够抑制噪声处理所致的图像劣化因图像复原处理而被强调的问题。

附图说明

图1是表示本发明的实施方式1的图像处理装置的功能结构的方框图。

图2是表示本发明的实施方式1的噪声处理部的功能结构的方框图。

图3是表示本发明的实施方式1的频率限制部的功能结构的方框图。

图4是表示本发明的实施方式1的图像处理装置中的处理流程的流程图。

图5是用于说明本发明的实施方式1的第一变动幅度设定部中的处理的图。

图6是表示本发明的实施方式1的频率限制部中的处理流程的流程图。

图7是用于说明由本发明的实施方式1的噪声处理部生成的噪声处理图像的图。

图8是表示本发明的实施方式2的噪声处理部的功能结构的方框图。

图9是表示在本发明的实施方式2的频域中的图像信号的变动的一个例子的图。

图10是表示现有的图像复原处理的图。

具体实施方式

以下，参照附图说明本发明的实施方式。在此，以下将说明的实施方式均为本发明所优选的一个具体例。即，以下的实施方式中出现的数值、形状、材料、结构要素、结构要素的配置以及连接方式、步骤、步骤的顺序等均为本发明的一个例子，并不表示本发明限定于此。本发明限定于权利要求项所记载的范围。因此，关于以下的实施方式的结构要素，在表示本发明的最上位概念的独立权利要求项中未记载的结构要素其并非是为达成本发明之目的所必须的结构要素，而是为了构成优选结构的结构要素。

(实施方式1)

图1是表示本发明的实施方式1的图像处理装置100的功能结构的方框图。

图像处理装置100降低在输入图像上产生的模糊。如图1所示，图像处理装置100具备噪声处理部10和复原处理部20。

噪声处理部10降低被输入的输入图像的噪声。即，噪声处理部10通过对输入图像进行降低噪声的噪声处理，而生成噪声处理图像。此时，噪声处理部10根据由复原处理部20进行的图像复原处理的特性来进行噪声处理。即，噪声处理部10根据图像复原处理的特性，在调整噪声的降低程度的同时进行噪声处理。

具体是，噪声处理部10进行噪声处理，以使噪声处理图像的变化程度按照图像复原处理的特性而被限制。在此，所谓的噪声处理图像的变化程度是指噪声处理图像在频域中相对于输入图像的变化程度。

更具体是，噪声处理部10以变化程度根据复原函数所示的复原程度而被限制方式来进行噪声处理。在本实施方式中，噪声处理部10以复原程度越大的频率，在该频率的变化程度越被限制的方式进行噪声处理。

在此，所谓的复原程度是指处理对象图像的频率成分因图像复原处理而被变更的程度。即，复原程度越大，频率成分因图像复原处理而被变更的程度就越大。

复原处理部20通过对噪声处理图像进行降低模糊的图像复原处理，而生成输出图像。具体是，复原处理部20利用表示频域中的每个频率的复原程度的复原函数，来进行图像复原处理。

另外，只要能降低模糊，作为图像复原处理的算法可采用任何算法。例如，最简单的是，图像复原处理是在频域中以式(1)所示的复原函数乘以噪声处理图像的处理。再例如，图像复原处理也可以是利用公知的Richardson-Lucy(LR)法或者维纳滤波法等的处理。

以下，详细说明噪声处理部10的功能结构。

图2是表示本发明的实施方式1的噪声处理部10的功能结构的方框图。

如图2所示，噪声处理部10具有噪声降低部11、第一变动幅度设定部12和频率限制部13。在本实施方式中，由这些噪声降低部11、第一变动幅度设定部12和频率限制部13进行噪声处理。

噪声降低部11通过在空域对输入图像进行噪声降低处理，而生成噪声降低图像。

第一变动幅度设定部12根据图像复原处理的特性，按每个频率设定用于限制变化程度的第一变动幅度。具体是，第一变动幅度设定部12按每个频率设定第一变动幅度，以使复原程度越大的频率，在该频率的第一变动幅度变得越小。

频率限制部13通过在频域中对噪声降低图像进行加工，以使表示变化程度大小的变化度不超过第一变动幅度，从而生成噪声处理图像。

图3是表示本发明的实施方式1的频率限制部13的功能结构的方框图。如图3所示，频率限制部13具备区域变换部13a、比较部13b和加工部13c。

区域变换部13a将输入图像以及噪声降低图像，从空域变换到频域。具体是，区域变换部13a对输入图像以及噪声降低图像进行傅里叶变换。

比较部13b按每个频率，算出被变换到频域的输入图像的振幅和被变换到频域的噪声降低图像的振幅的差值的绝对值，并以此作为变化度。

加工部13c按每个频率判断算出的差值的绝对值是否超过第一变动幅度。在此，如果判断为差值的绝对值超过第一变动幅度，加工部13c对噪声降低图像的振幅进行加工，以使得在该频率的差值的绝对值与第一变动幅度一致。相反，如果判断为差值的绝对值未超第一变动幅度，加工部13c就不对在该频率的噪声降低图像的振幅进行加工。

如上所述，噪声处理部10进行噪声处理，以使复原程度越大的频率，在该频率的变化程度越被限制。

接下来，说明以所述方式构成的图像处理装置100的各动作。

图4是表示本发明的实施方式1的图像处理装置100中的处理流程的流程图。

首先，噪声处理部10通过对所述输入图像进行降低噪声的噪声处理，而生成噪声处理图像(S101)。

具体是，在步骤S101中，执行以下的步骤S102～S104的处理。噪声降低部11在空域对输入图像进行噪声降低处理(S102)。在本实施方式中，对噪声降低处理并无特别限定，只要具有噪声降低效果，可以采用任何类型的处理。例如，噪声降低处理可以是利用一般的低通滤波器、双边带滤波器或者小波滤波器进行的噪声降低处理等。

然后，第一变动幅度设定部12根据图像复原处理的特性，按每个频率设定第一变动幅度(S103)。在此，图像复原处理的特性是指由复原处理部20进行图像复原处理时采用的复原函数所表示的复原程度。

复原函数是根据表示拍摄时的图像的模糊或者振动等的PSF(PointSpread Function：点扩散函数)导出的。作为最原始的方式，可将复原函数表示为PSF的逆函数，其具有图5(a)所示的特征。在此，复原函数并非一定是PSF的逆函数，也可以是与PSF的逆函数近似的变换函数。

图5是用于说明本发明的实施方式1的第一变动幅度设定部12的处理的图。具体是，图5(a)是表示复原函数的一个例子的图，图5(b)是表示第一变动幅度的一个例子的图。

在输入图像上产生了模糊的情况下，输入图像的高频成分会衰减，输入图像的细微部分或者边缘等会不明显。因此，为了使输入图像复原，需要强调高频成分。在此，复原函数一般被设定为图5(a)所示的方式。即，复原函数被设定为越是高频其复原程度越大。在此，如果是在由噪声降低部11进行噪声降低处理时发生了图像劣化，该图像劣化也会因图像复原处理而被强调。

在此，为了避免噪声降低处理中发生的图像劣化因图像复原处理而被强调，第一变动幅度设定部12按每个频率设定第一变动幅度，以使复原程度越大的频率，在该频率的第一变动幅度变得越小。

例如，在将每个频率的第一变动幅度表示为Range(u，v)的情况下，Range(u，v)如图5(b)所示，被设定成频率越高值越小的方式。具体是，例如通过从预先规定的规定值减去表示复原程度的值来算出Range(u，v)。再例如，也可以通过将预先规定的一定值除以表示复原程度的值来算出Range(u，v)。即，只要能以复原程度越大值变得越小的方式算出Range(u，v)，可以采用任何方法。

然后，频率限制部13根据由第一变动幅度设定部12设定的第一变动幅度，对由噪声降低部11降低了噪声的噪声降低图像进行加工(S104)。关于步骤S104的详细处理，以下将参照图6进行说明。

最后，复原处理部20对噪声处理图像进行降低模糊的图像复原处理(S105)，并结束处理。

以下，参照图6详细说明频率限制部13中的处理(S104)。

图6是表示本发明的实施方式1的频率限制部13的处理流程的流程图。

首先，区域变换部13a通过傅立叶变换，将输入图像以及噪声降低图像变换到频域，并算出输入图像以及噪声降低图像的振幅特性A1(u，v)和A2(u，v)(S131)。然后，比较部13b按每个频率，对振幅特性A1(u，v)和A2(u，v)进行比较，并以式(3)所示的方式，算出振幅的差Diff(u，v)(S132)。

Diff(u，v)＝A2(u，v)-A1(u，v)                     式(3)

Diff(u，v)表示噪声降低图像和输入图像在频域的振幅的变化程度，其中，噪声降低图像是噪声降低处理后的图像，输入图像是噪声降低处理前的图像。该Diff(u，v)的绝对值表示图像因噪声降低处理而变化的程度。Diff(u，v)的绝对值越大，表示图像因噪声降低处理发生了大的变化。即，该Diff(u，v)的绝对值相当于变化度，该变化度表示噪声降低图像在频域的、相对于输入图像的变化程度。

然后，加工部13c利用算出的振幅的差Diff(u，v)的绝对值以及由第一振幅设定部12设定的第一振幅Range(u，v)的大小关系，限制在频域的变化程度(S133)。具体是，加工部13c对振幅的差Diff(u，v)的绝对值和变动幅度Range(u，v)进行比较。然后，在振幅的差Diff(u，v)的绝对值比第一变动幅度Range(u，v)大的情况下，加工部13c在该频率对噪声降低图像的振幅特性A2(u，v)进行加工，以使振幅的差的绝对值与第一变动幅度一致。即，由于存在图像因噪声降低处理而劣化的可能性，加工部13c根据以下的式(4)来对噪声被降低了的图像的振幅特性A2(u，v)进行加工。

A2(u，v)＝A1(u，v)+sign(Diff(u，v))×Range(u，v)    式(4)

在此，sign(x)是表示x的符号的符号函数(signum function)。

图7是用于说明由本发明的实施方式1的噪声处理部10生成的噪声处理图像的图。具体是，图7(a)表示由噪声降低部11生成的噪声降低图像的振幅特性的一个例子的图。另外，图7(b)是表示由频率限制部13生成的噪声处理图像的振幅特性的一个例子的图。并且，图7表示了u轴方向的一个剖面的振幅特性。

如图7所示，频率限制部13在噪声降低图像中，将与输入图像的振幅的差值的绝对值超过第一变动幅度的振幅，加工成与输入图像的振幅恰好差第一变动幅度的振幅。进行该加工的结果，作为噪声处理图像将生成在复原程度大的频率的振幅变化度小的图像。

如上所述，根据本实施方式的图像处理装置100，由于在进行图像复原处理之前进行噪声处理，因此能降低输入图像中包含的噪声，并能抑制噪声因图像复原处理而被强调的问题。另外，由于是根据图像复原处理的特性来进行噪声处理，因此能抑制噪声处理所致的图像劣化因图像复原处理而被强调的问题。

另外，根据图像处理装置100，越是复原程度大的频率，越能限制在该频率的变化程度。因此，能以越是图像劣化易被强调的频率越能防止其发生图像劣化的方式进行噪声处理，从而能有效抑制噪声处理所致的图像劣化因图像复原处理而被强调的问题。

另外，在本实施方式中，说明了从PSF导出复原函数，但并非是一定要从PSF导出复原函数。例如，也可以从表示相机的光学系所致劣化的劣化函数或者表示相机的运动所致劣化的劣化函数导出复原函数。即，从表示输入图像的劣化的劣化函数导出复原函数即可。

另外，在本实施方式中说明了由第一变动幅度设定部12设定如图5(b)所示的第一变动幅度。但是，只要能满足复原程度越大越能使第一变动幅度边小的条件，并非一定要设定为如该图所示的第一变动幅度。另外，第一变动幅度设定部12还可以设定第一变动幅度，以使第一变动幅度成为预先规定的上限值以及下限值范围内的值。

另外，在本实施方式中说明了区域变换部13a在将图像变换到频域时采用傅立叶变换。但是，只要能将图像变换到频域，也可以采用其他的变换方法。

(实施方式2)

以下，说明本发明的实施方式2。

本实施方式的图像处理装置除了噪声处理部10的一部分以外，其他部分均与实施方式1的图像处理装置相同。以下，以不同于实施方式1的部分为中心，通过参照附图来进行说明实施方式2。

图8是表示本发明的实施方式2的噪声处理部10的功能结构的方框图。在图8中，对与图2相同的结构要素赋予相同的符号，并适当地的省略其说明。

噪声频率特性算出部14利用输入图像以及噪声信息，算出噪声的频率特性。

第二变动幅度设定部15根据由噪声频率特性算出部14算出的噪声的频率特性，设定在任何频率都均一的第二变动幅度。

首先，详细说明噪声频率特性算出部14中的处理。

一般而言图像中包含的随意性噪声具有如下特性，即，在图像的亮度固定的情况下，在所有频率都具有大致相同的振幅。另外，通过提高拍摄时的ISO感光度，摄影图像的增益被提升，噪声也被增幅。在此，如果预先算出了平均亮度以及ISO感光度的组合互不相同的多个图像中的噪声量，能够生成表示噪声的频率特性(例如，噪声的最大值)与平均亮度以及ISO感光度的对应关系的表。

这此情况下，噪声频率特性算出部14能够通过参照该表，算出与相机的传感器特性、输入图像区域的平均亮度以及拍摄时的ISO感光度信息对应的噪声的频率特性。即，噪声频率特性算出部14能算出与相机的传感器特性、输入图像区域的平均亮度以及摄影时的ISO感光度信息对应的噪声在频域的振幅的最大值。

在此，噪声频率特性算出部14首先算出输入图像的平均亮度。然后，噪声频率特性算出部14参照预先保存的表，算出与算出的平均亮度以及取得的ISO信息对应的、在频域的噪声的振幅的最大值N_max。

接下来，详细说明第二变动幅度设定部15中的处理。

在此，若将输入特性表示为F(u，v)、将真图像信号表示为S(u，v)、将噪声表示为N(u，v)，可将输入图像表示为式(5)。

F(u，v)＝S(u，v)+N(u，v)                          式(5)

另外，算出的噪声的振幅的最大值为N_max。因此，如图9所示，可知在各频率成分中，真图像信号S(u，v)在(F(u，v)±N_max)的范围(影线区域)内变动。即，可知当噪声降低图像超出该范围(影线区域)时，真图像信号因噪声降低处理而劣化。

在此，为了抑制输入图像的劣化，第二变动幅度设定部15设定噪声的振幅的最大值N_max，以作为在任何频率都均一的第二变动幅度。

然后，频率限制部13对噪声降低图像进行加工，以使表示噪声处理图像在频域的、相对于输入图像的变化程度的变化度不超过第一变动幅度以及第二变动幅度。

具体是，频率限制部13例如利用由第二变动幅度设定部15设定的第二变动幅度N_max，来修正由第一变动幅度设定部12设定的第一变动幅度Range(u，v)。

由于第一变动幅度Range(u，v)是在不利用噪声特性的情况下算出的值，因此有可能是一个能容许比实际噪声还大的变化程度的值。在此，频率限制部13修正Range(u，v)，以使Range(u，v)的最大值成为N_max。具体是，频率限制部13例如进行缩放(scaling)处理，以使Range(u，v)的最大值成为N_max。另外，频率限制部13例如还可以修正Range(u，v)，以使Range(u，v)中的超过N_max的部分与N_max一致。然后，频率限制部13利用修正的Range(u，v)进行与实施方式1相同的处理。

如上所述，根据本实施方式的图像处理装置100，通过利用噪声的信息来算出噪声的频率特性，从而能够正确地推定出噪声的振幅的最大值。通过利用该噪声的振幅的最大值来限制噪声处理图像在频域的、相对于输入图像的变化程度，能够抑制图像因噪声处理而劣化。

另外，在本实施方式中说明了噪声频率特性算出部14算出输入图像的平均辉度，此外也可以算出噪声降低图像的平均亮度。其理由在于，平均亮度基本不会因噪声降低处理而变化。

另外，在本实施方式中说明了噪声频率特性算出部14利用表示噪声的最大值与平均亮度以及ISO感光度的对应关系的表来算出噪声的振幅的最大值，但并非一定要利用表来算出噪声的振幅的最大值。例如，噪声频率特性算出部14还可以利用能根据平均亮度和ISO感光度算出噪声的振幅的最大值的公式，来算出噪声的振幅的最大值。

另外，在本实施方式中说明了噪声频率特性算出部14针对图像全体算出噪声的频率特性，此外也可以按每个图像区域算出噪声的频率特性。根据以上，噪声频率特性算出部14能更正确地求出图像区域的平均亮度，由此能够更正确地算出噪声的频率特性。

另外，在本实施方式中说明了频率限制部13利用第二变动幅度来修正第一变动幅度，但并非一定要修正第一变动幅度。在此情况下，频率限制部13例如还可以依次利用第一变动幅度以及第二变动幅度来限制变化程度。具体是，频率限制部13例如可以在利用第一变动幅度来加工噪声降低图像之后，利用第二变动幅度来加工以上被加工过的图像。

以上，通过实施方式，说明了本发明的一形态的图像处理装置100，但本发明并不限定于这些实施方式。只要不脱离本发明的宗旨，通过将该领域技术人员所想到的各种变形方式实施于本实施方式而获得的方式，或者通过对不同实施方式的结构要素进行组合而成的方式也输入本发明的范畴内。

例如，在实施实施方式1以及2中，第一变动幅度设定部12按每个频率设定第一变动幅度，但并非一定要按每个频率设定第一变动幅度。例如，第一变动幅度设定部12也可以按每个规定的频域设定第一变动幅度。

另外，所述实施方式1或2的图像处理装置100所具备的结构要素的一部分或全部，可由一个系统LSI(Large Scale Integration：大规模集成电路)构成。例如，图像处理装置100如图1所示，可由具有噪声处理部10和复原处理部20的系统LSI101构成。

系统LSI101是将多个结构要素叠层于一个芯片上制造而成的超多功能LSI，具体为包括微处理器、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存储器)等而构成的计算机系统。所述RAM中存储有计算机程序。通过由所述微处理器按照所述计算机程序进行动作，系统LSI达成其功能。

在此例举了LSI，此外，根据集成度的不同，还有被称为IC、系统LSI、超级LSI、最超级LSI的结构。另外，集成电路化采用的方式并不限定于LSI，还可以通过专用电路或者通用处理器实现。制造LSI之后，能够利用可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)，或者可对LSI内部的电路元件的连接和设定进行重建的可重建处理器。

另外，随着半导体技术的进步以及衍生出的其他技术，若有可代替LSI的集成电路化技术出现，当然可以利用该技术来进行功能块的集成化。具有可能性的例如有生物技术的应用等。

另外，不仅能通过具备所述特征性处理部的图像处理装置的方式来实现本发明，还能通过以图像处理装置所包含的特征性处理部作为步骤的图像处理方法的方式来实现本发明。另外，用于使计算机执行图像处理方法所包含的各特征性步骤的计算机程序来实现本发明。并且，可通过CD-ROM等的计算机可读取的非临时性记录介质或者互联网等的通信介质来传送所述计算机程序。

另外，可通过具备图像处理装置和拍摄元件的拍摄装置来实现本发明。

工业实用性

本发明的图像处理装置可应用为，在降低图像的模糊时通过根据图像复原处理的特性来调整噪声降低处理，从而能够在降低噪声的同时抑制图像劣化的图像处理装置以及图像处理方法。

符号说明

10    噪声处理部

11    噪声降低部

12    第一变动幅度设定部

13    频率限制部

13a   区域变换部

13b   比较部

13c   加工部

14    噪声频率特性算出部

15    第二变动幅度设定部

20    复原处理部

100   图像处理装置

101   系统LSI

Claims (15)

1.一种图像处理装置，用于降低在输入图像上产生的模糊，该图像处理装置具备：

噪声处理部，通过对所述输入图像进行降低噪声的噪声处理来生成噪声处理图像；以及

复原处理部，对所述噪声处理图像进行降低模糊的图像复原处理，

所述噪声处理部根据所述图像复原处理的特性来进行所述噪声处理。

2.如权利要求1所述的图像处理装置，

所述噪声处理部进行所述噪声处理，以使所述噪声处理图像在频域中相对于所述输入图像的变化程度按照所述图像复原处理的特性而被限制。

3.如权利要求2所述的图像处理装置，

所述复原处理部利用复原函数进行所述图像复原处理，该复原函数表示频域中的每个频率的复原程度，

所述图像复原处理的特性是所述复原函数所表示的复原程度。

4.如权利要求3所述的图像处理装置，

所述噪声处理部进行所述噪声处理，以使得所述复原程度越大的频率，在该频率的所述变化程度越被限制。

5.如权利要求4所述的图像处理装置，

所述噪声处理部具备：

噪声降低部，通过在空域对所述输入图像进行噪声降低处理来生成噪声降低图像；

第一变动幅度设定部，按每个频率设定第一变动幅度，以使得所述复原程度越大的频率，用于限制在该频率的所述变化程度的第一变动幅度变得越小；以及

频率限制部，通过以使表示所述变化程度大小的变化度不超过所述第一变动幅度的方式来对所述噪声降低图像进行加工，从而生成所述噪声处理图像。

6.如权利要求5所述的图像处理装置，

所述频率限制部具备：

区域变换部，将所述输入图像以及所述噪声降低图像，从空域变换到频域；

比较部，按每个频率，算出被变换到频域的输入图像的振幅和被变换到频域的噪声降低图像的振幅的差值的绝对值，以作为所述变化度；以及

加工部，按每个频率判断算出的所述变化度是否超过所述第一变动幅度，并在判断为所述变化度超过所述第一变动幅度的情况下，对所述噪声降低图像的振幅进行加工，以使在该频率的所述变化度与所述第一变动幅度一致。

7.如权利要求5或6所述的图像处理装置，

还具备第二变动幅度设定部，该第二变动幅度设定部根据所述输入图像的噪声信息，设定无论在任何频率都均一的第二变动幅度，

所述频率限制部，通过以使所述变化度不超过所述第一变动幅度以及所述第二变动幅度的方式来对所述噪声降低图像进行加工，从而生成所述噪声处理图像。

8.如权利要求7所述的图像处理装置，

所述噪声信息是利用相机的传感器特性、所述输入图像被拍摄时的ISO感光度以及所述输入图像的亮度而算出的。

9.如权利要求1所述的图像处理装置，

所述噪声处理部根据所述图像复原处理的特性和所述输入图像的噪声信息，进行所述噪声处理。

10.如权利要求9所述的图像处理装置，

所述噪声信息是利用相机的传感器特性、所述输入图像被拍摄时的ISO感光度以及所述输入图像的亮度而算出的。

11.如权利要求1至10中的任一项所述的图像处理装置，

所述图像复原处理的特性是利用所述输入图像的图像劣化函数而导出的。

12.如权利要求1至11中的任一项所述的图像处理装置，

所述图像处理装置被作为集成电路而构成。

13.一种图像处理方法，用于降低在输入图像上产生的模糊，该图像处理方法包括：

噪声处理步骤，通过对所述输入图像进行降低噪声的噪声处理来生成噪声处理图像；以及

复原处理步骤，对所述噪声处理图像进行降低模糊或者抖动的图像复原处理，

在所述噪声处理步骤中，根据所述图像复原处理的特性来进行所述噪声处理。

14.一种程序，用于使计算机执行权利要求13所述的图像处理方法。

15.一种记录介质，是计算机可读取的非临时性记录介质，记录有用于使计算机执行权利要求13所述的图像处理方法的程序。

Images