CN104335568A - 图像增强装置、图像增强方法 - Google Patents

Abstract

本发明提供一种图像增强装置，其以不对多个帧反复进行运算的方式，利用超过奈奎斯特频率的频率成分来锐化图像。本发明的图像增强装置(1)生成将输入图像锐化后的输出图像，所述图像增强装置(1)具备：非线性处理部(10)，其对表示所述输入图像的输入图像信号进行非线性处理而生成第一信号；滤波器部(20)，其通过去除所述第一信号所包含的频率成分中的至少直流成分而生成第二信号；限幅器(30)，其通过调整所述第二信号而生成第三信号；以及加法器(40)，其通过将所述第三信号与所述输入图像信号相加而生成表示所述输出图像的输出图像信号。

Description

图像增强装置、图像增强方法

本申请主张日本专利申请2012-177476号(2012年8月9日提交)的优先权，在此组入该申请的全部公开内容以便用于参照。

技术领域

本发明涉及用于锐化图像来改善画质的图像增强装置以及图像增强方法，例如涉及适用于电视(TV)接收机中实时显示的动态图像的锐化的图像增强装置以及图像增强方法。

背景技术

以往，广泛地公知有用于锐化图像来改善画质的图像增强处理。例如，在现有的电视接收机中，进行使与显示的图像的轮廓部相当的影像信号的上升、下降急剧的轮廓补偿。在该轮廓补偿中，提取输入图像信号(亮度信号)的高频成分，并将该高频成分放大而与输入图像信号相加，由此来提高视觉上的画质。图10是表示由现有的图像增强处理带来的图像的信号电平的波形变化的图。图10(A)是表示输入图像信号的水平方向的信号电平的波形的图，特别是表示水平方向上的与信号电平变化的边缘相当的部分的波形的图。图10(B)是从输入图像信号提取的高频成分，通过将该高频成分放大而与输入图像信号相加，从而能够得到图10(C)所示的边缘的上升变化急剧的输出图像信号。

另外，近年，尤其是也提出了将输入图像升频转换为更高分辨率的输出图像，并对该升频转换后的图像进行增强处理的被称为超分辨率的技术(例如，参照非专利文献1)。

非专利文献1：S.Farsiu，D.Robinson，M.Elad,and P.Milanfar，”Fastand Robust Multi-frame Super-resolution”，IEEE Transactions onImage Processing，vol.13，no.10，pp.1327-1344，October 2004.

现有的图像增强处理是基于线性的数字信号处理的图像增强处理，因此，无法生成比奈奎斯特频率高的频率成分、即无法生成比成为对象的图像的采样频率的1/2高的频率成分。因此，无法为了改善画质而生成、利用超过奈奎斯特频率的频率成分来锐化图像。

例如，在全高清(HDTV：High Definition Television，1080×1920像素)的电视接收机中对分辨率不满足HDTV的图像信号进行放大显的情况下，图像被模糊地显示。另外，在将具有HDTV的分辨率的图像信号放大为更高清晰度的分辨率(例如4000×2000像素左右的4K分辨率)的情况下，图像也同样被模糊地显示。像这样图像模糊的原因是因为，在放大处理后的图像信号中，仅包含到放大前的原始图像的奈奎斯特频率为止的频率成分，不包含放大后的图像的奈奎斯特频率附近的频率成分。

以下，根据图11对图像的放大、增强处理所带来的频率成分的变化进行说明。图11(A)表示采样频率为fs的数字图像信号的频谱，图11(B)是对该数字图像信号进行升频转换而将像素数在水平方向上放大了2倍的情况下的频谱。放大处理后的采样频率Fbs为原来的采样频率fs的2倍(Fsb＝2·fs)。这里，如图11(B)所示，在升频转换后的数字图像信号中，在与原来的采样频率fs对应的奈奎斯特频率fs/2、和与新的采样频率Fbs对应的新的奈奎斯特频率Fbs/2＝fs之间，不存在频率成分。

图11(C)表示对升频转换后的数字图像信号，进行使用现有的线性数字信号处理的图像增强处理的情况下的频谱。如图所示，通过使用线性数字信号处理的图像增强处理，使原来的奈奎斯特频率fs/2附近的频率成分增大。但是，在使用现有的线性数字信号处理的图像增强处理中，不生成超过原来的奈奎斯特频率fs/2的频率成分。因此，在使用现有的线性数字信号处理的图像增强处理中，不会如图11(D)所例示那样，超过原来的奈奎斯特频率fs/2，而生成新的奈奎斯特频率Fbs/2附近的频率成分。即，针对升频转换后的数字图像信号，无法为了改善画质而生成、利用超过奈奎斯特频率的频率成分来锐化图像。

另外，非专利文献1等所记载的现有的超分辨率技术对采样频率相同的多个帧反复实施运算处理，从各帧选择分辨率较高的像素并对其进行合成，从而进行图像增强处理。因此，对于图像而言有时无法正确地恢复，从而在动态图像中存在产生失真图像突然出现那样的闪烁的可能性，另外，存在使用多个帧的运算的处理量非常繁重这一问题。

发明内容

因此，本发明的目的在于，提供一种能够以不对多个帧反复进行运算的方式，利用超过奈奎斯特频率的频率成分来锐化图像的图像增强装置以及图像增强方法。

为了解决上述各课题，本发明的图像增强装置生成将输入图像锐化后的输出图像，上述图像增强装置具备：非线性处理部，其是对表示上述输入图像的输入图像信号进行非线性处理而生成第一信号的非线性处理部，该非线性处理部进行将上述第一信号相对于上述输入图像信号表示为连续的非线性函数、且生成上述输入图像信号中未包含的频率成分的非线性处理；滤波器部，其通过去除上述第一信号所包含的频率成分中的至少直流成分而生成第二信号；限幅器，其通过调整上述第二信号而生成第三信号；以及加法器，其通过将上述第三信号与上述输入图像信号相加而生成表示上述输出图像的输出图像信号。

另外，优选上述非线性处理部生成上述输入图像信号的乘方来作为上述第一信号。

另外，优选上述非线性处理部生成上述输入图像信号的开方来作为上述第一信号。

如上所述那样将本发明的解决手段作为装置而进行了说明，但是应理解的是，本发明也能够作为实际与上述解决手段相当、并且由装置所具备的处理器执行的方法、程序、或者记录了程序的存储介质来实现，并且本发明的范围也包含上述方法、程序、或者记录了程序的存储介质。

例如，将本发明作为方法来实现的图像增强方法是生成将输入图像锐化后的输出图像的图像增强装置中的图像增强方法，基于上述图像增强装置进行的处理顺序包括：非线性处理步骤，该非线性处理步骤是对表示上述输入图像的输入图像信号进行非线性处理而生成第一信号的非线性处理步骤，在该非线性处理步骤中，进行将上述第一信号相对于上述输入图像信号表示为连续的非线性函数、且生成上述输入图像信号中未包含的频率成分的非线性处理；通过去除上述第一信号所包含的频率成分中的至少直流成分而生成第二信号的步骤；通过调整上述第二信号而生成第三信号的步骤；以及通过将上述第三信号与上述输入图像信号相加而生成表示上述输出图像的输出图像信号的步骤。

另外，优选在上述非线性处理步骤中，生成上述输入图像信号的乘方来作为上述第一信号。

另外，优选在上述非线性处理步骤中，生成上述输入图像信号的开方来作为上述第一信号。

根据本发明的图像增强装置以及图像增强方法，能够以不对多个帧反复进行运算的方式，利用超过奈奎斯特频率的频率成分来锐化图像。

附图说明

图1是表示本发明的一实施方式的图像增强装置的结构的图。

图2是表示图像的水平方向的信号电平的波形的图。

图3是表示高通滤波器的结构的一个例子的图。

图4是表示由低通滤波器构成的高通滤波器的一个例子的图。

图5是用于使用伽玛处理的非线性处理的评价的原始图像。

图6是伽玛处理前后的频谱。

图7是表示进行了本发明的图像增强处理的图像的图。

图8是表示进行了本发明的图像增强处理的图像的频谱。

图9是表示本发明的图像增强处理与现有方法的图像的比较的图。

图10是表示现有的图像增强处理所带来的图像的信号电平的波形变化的图。

图11是表示图像的放大、增强处理所带来的频率成分的变化的图。

具体实施方式

以下，参照各附图，对本发明的实施方式进行详细说明。

图1是表示本发明的一实施方式的图像增强装置1的结构的框图。该图像增强装置1是针对作为表示图像的数字信号而从外部输入的输入图像信号S_in，实施用于将该输入图像信号S_in所表示的图像锐化的处理(以下称为“图像增强处理”或者仅称为“增强处理”)的装置，其具备非线性处理部10、高通滤波器(HPF)20、限幅器30、以及加法器40。

输入图像信号S_in所表示的图像可以是静止图像，也可以是动态图像，在输入图像信号S_in表示动态图像的情况下，该动态图像也可以是在例如标准画质电视(SDTV：Standard Definition Television)或者高清晰度电视(HDTV：High Definition Television)的接收机中实时显示的动态图像。

以下，以图2所示的图像的水平方向的信号电平(亮度值)的波形为例，对各构成部的动作以及输出的波形进行说明。此外，在以下的说明中，针对图像的水平方向的信号电平的波形，进行各构成部的说明，但是应留意即使针对图像的垂直方向的信号电平的波形、动态图像的图像之间的时间方向的信号电平的波形，各构成部也能够以与水平方向同等的处理进行图像增强处理这一点。

图2(A)是表示输入图像信号S_in的水平方向的信号电平的波形的图，尤其是表示与水平方向上信号电平变化的边缘相当的部分的波形的图。此外，输入图像信号S_in的分辨率是与输出图像信号S_out的分辨率对应的分辨率，在输出图像的分辨率比原来的输入图像的分辨率高的情况下，输入图像信号S_in是将原来的输入图像的分辨率升频转换为输出图像信号S_out的分辨率后的图像信号。例如，在利用图像增强装置1将SDTV的图像作为HDTV的图像而输出的情况下，输入图像信号S_in成为通过现有的线性变换将原来的SDTV的图像转换为HDTV的分辨率后的信号。

非线性处理部10通过对输入图像信号S_in进行非线性处理而生成第一信号S1。由非线性处理部10施行的非线性处理的目的在于锐化图像的轮廓，具体而言，使图2(A)所示的输入图像信号S_in成为图2(B)所示的第一信号S1，而进行在信号电平中使边缘的上升变化急剧的处理。

由非线性处理部10施行的从输入图像信号S_in生成第一信号S1的处理能够由公式(1)概括。由非线性处理部10施行的非线性处理包含所有用p/q表示的一般有理数的幂指数。

公式1

$S1={S_{\mathrm{in}}}^{\frac{p}{q}}---\left(1\right)$

例如，非线性处理部10生成输入图像信号S_in的乘方作为第一信号S1。在非线性处理部10将n个输入图像信号S_in相乘而生成第一信号S1的情况下，成为S1＝S_in ⁿ。输入图像信号S_in是数字信号(被离散化的信号)，所以更详细而言，在将构成输入图像信号S_in的数据列设为X1、X2、X3、···时，第一信号S1是由数据列X1ⁿ、X2ⁿ、X3ⁿ、···构成的数字信号。其中，n为任意的实数。

例如，在输入图像信号S_in为8位数字信号的情况下，各像素的信号电平取0～255的值。此时，若非线性处理部10将2个输入图像信号S_in相乘，则如图2(B)所例示的那样，边缘部的上升变化变得急剧，因此更加增强图像的轮廓。

另外，例如，非线性处理部10生成输入图像信号S_in的开方作为第一信号S1。在非线性处理部10生成输入图像信号S_in的n次方根作为第一信号S1的情况下，成为S1＝S_in ^1/n。输入图像信号S_in是数字信号(被离散化的信号)，所以更详细而言，在将构成输入图像信号S_in的数据列设为X1、X2、X3、···时，第一信号S1是由数据列X1^1/n、X2^1/n、X3^1/n、···构成的数字信号。其中，n为任意的实数。

生成输入图像信号S_in的开方作为第一信号S1的非线性处理适用于基于人们的感知特性的轮廓提取。例如，作为基于人们的感觉的规律，公知有韦伯-费希纳定律。在将该定律应用于图像识别时，可以说亮度低的区域中的轮廓比亮度高的区域中的轮廓更容易被感知。因此，非线性处理部10例如利用伽玛校正函数(例如，S1＝S_in ^1/2)，进行与亮度较高的像素相比更加提高亮度较低的像素的非线性处理。

在该情况下，非线性处理部10利用公式(2)，计算将m位数字信号的像素值X归一化后得到的值亦即X’。由公式(2)计算的归一化后的X’的值成为0～1之间的值。

公式2

$X^{\′}=\frac{X}{2^m}---\left(2\right)$

这里，非线性处理部10对归一化后的X’应用公式(3)所示的伽玛校正函数，从而计算非线性处理后的值Y。

公式3

$Y=X^{{\′}^{\frac{1}{n}}}---\left(3\right)$

根据公式(3)，在X’的值较小的情况下，非线性处理后的Y的值与X’相比，提高较高。即，与亮度较高的像素相比，更加提高亮度较低的像素。由此，在例如图2(B)所例示的边缘的锐化中，尤其是亮度较低的区域的边缘增强成分变大，因此尤其更加增强亮度较低的区域的图像的轮廓。

HPF20通过去除第一信号S1所包含的频率成分中的至少直流成分来生成作为高频信号的第二信号S2。具体而言，作为提取包含对输入图像信号S_in进行非线性处理而得到的图像的轮廓成分在内的高频成分的处理，HPF20从图2(B)的第一信号S1提取图2(C)的第二信号S2。这里，若对图2(C)所示的第二信号S2与图10(B)所示的基于现有的线性数字处理的高频成分的信号进行比较，则第二信号S2与现有的高频成分相比，波形更被锐化。如后述那样，第二信号S2是作为用于锐化图像的补偿用信号，经由限幅器30而与输入图像信号S_in相加的信号。即，第二信号S2的波形与以往相比更被锐化是指，与以往相比能够实现更高清晰度的图像增强处理，另外，随着轮廓的锐化，能够使现有的线性数字处理中成为问题的振铃的产生减少。

图3是表示HPF20的结构的一个例子的图。如图3所示，HPF20能够构成为由m-1个单位延迟元件201～20(m-1)、m个乘法器211～21m、以及一个加法器220构成的m抽头(m为3以上)的横向数字滤波器。在该情况下，各乘法器21j(j＝1～m，以下相同)将被输入的信号乘以系数Cj并将其结果输出至加法器220，其中设定系数Cj，以使得HPF20提取包含轮廓成分在内的高频成分(例如，m＝3，C1＝0.5，C2＝-1，C3＝0.5)。此外，一般地，与实现高通滤波器相比，更容易实现低通滤波器。图4是表示由低通滤波器构成的高通滤波器的一个例子的图。如图4所示，由于使用了低通滤波器(以下称为“LPF”)21与减法器22的结构，而能够实现图1所示的HPF20。

限幅器30是作为第二信号S2的振幅(信号电平)的调整器而发挥功能的装置，其调整第二信号S2而生成第三信号S3。具体而言，以使第二信号S2的振幅成为规定的上限值以下的方式进行修剪处理，或者通过将第二信号S2乘以0≤α＜1的常量α而进行该第二信号的电平的增益调整。另外，为了去除噪音，限幅器30也能够进行使第二信号S2中的规定的下限值以下的信号值成为0的舍入处理。限幅器30将进行了修剪处理、增益调整、舍入处理等的第二信号S2作为第三信号S3输出至加法器40。

加法器40通过将第三信号S3作为用于锐化图像的补偿用信号而与输入图像信号S_in相加，从而生成输出图像信号S_out。即，为S_out＝S_in+S3，通过将图2(C)的第三信号S3与图2(A)的输入图像信号相加，从而生成图2(D)所示的图像增强处理后的信号。该输出图像信号S_out的边缘部的上升变化比输入图像信号S_in的边缘部的上升变化更急剧。即，能够得到比输入图像信号S_in更锐利的图像。此外，加法器40根据需要，具备用于在输入图像信号S_in与第三信号S3之间调整定时的延迟元件。

本实施方式的图像增强装置1还能够实现现有的图像增强装置中无法补偿的超过奈奎斯特频率fs/2的高频区域的补偿，因此在实施放大处理后的图像信号所表示的图像的锐化带来的画质提高方面，尤其有效。以下，对通过由非线性处理部10施行的非线性处理而能够进行超过奈奎斯特频率fs/2的高频区域的补偿这一点进行更详细的说明。

现在，若用(水平方向)位置x的函数f(x)来表现输入图像信号S_in，并将输入图像信号S_in的基本角频率设为ω，则能够用公式(4)所示的傅里叶级数来表现该f(x)。

公式4

$\begin{array}{c}f\left(x\right)=a_{-N}\cos (-N)\text{\ωx+}{a}_{-N+1}\cos (-N+1)\mathrm{\ωx}+...+a_{-1}\cos (-1)\mathrm{\ωx}\\ +a_0+a_1\cos \mathrm{\ωx}+a_2\cos 2\mathrm{\ωx}+...+a_N\cos \mathrm{N\ωx}\\ +b_{-N}\sin (-N)\mathrm{\ωx}+b_{-N+1}\sin (-N+1)\mathrm{\ωx}+...+b_{-1}\sin (-1)\mathrm{\ωx}\\ +b_1\sin \mathrm{\ωx}+b_2\sin 2\mathrm{\ωx}+...+b_N\sin \mathrm{N\ωx}\end{array}---\left(4\right)$

这里，N是不超过与(图像放大处理前的)采样频率fs对应的奈奎斯特频率fs/2的最高频率的谐波的次数。即，

Nω/(2π)＜fs/2≤(N+1)ω/(2π)。

例如，在非线性处理部10通过将2个输入图像信号S_in相乘而生成第一信号S1的情况下，由下述公式(5a)～(5c)中的任一个来表现第一信号S1中的各项。

公式5

a_icos iωx× a_j cos jωx    (5a)

a_icos iωx×b_j sin jωx    (5b)

b_isin iωx× b_j sin jωx    (5c)

(i＝±1，±2，…，±N；j＝±1，±2，…，±N)

若使用与三角函数相关的公式，则上述公式(5a)～(5c)能够分别改写为下述的公式(6a)～(6c)。

公式6

$\frac{a_i{a}_j}{2}(\cos (i+j)\mathrm{\ωx}+\cos (i-j)\mathrm{\ωx})---\left(6a\right)$

$\frac{a_i{a}_j}{2}(\cos (i+j)\mathrm{\ωx}-\sin (i-j)\mathrm{\ωx})---\left(6b\right)$

$-\frac{b_i{b}_j}{2}(\sin (i+j)\mathrm{\ωx}-\cos (i-j)\mathrm{\ωx})---\left(6c\right)$

根据上述公式，(f(x))²包含(N+1)ω、(N+2)ω、…、2Nω等角频率成分，因此包含比奈奎斯特频率fs/2高的频率成分。因此，第一信号S1也如频率2Nω/(2π)这一谐波成分等那样包含比奈奎斯特频率fs/2高的频率成分。

因此，若将实施了使像素数在水平方向成为2倍的图像放大处理后的图像信号作为输入图像信号S_in而输入至本实施方式的图像增强装置1，则通过非线性处理部10的处理，生成包含比图像放大处理前的奈奎斯特频率fs/2高的频率成分在内的第一信号S1。HPF20提取第一信号S1的高频成分而生成第二信号S2，第二信号S2必然包含比图像放大处理前的奈奎斯特频率fs/2高的频率成分。另外，限幅器30所输出的第三信号S3也包含比图像放大处理前的奈奎斯特频率fs/2高的频率成分。因此，将输入图像信号S_in与作为补偿用信号的第三信号S3相加后得到的输出图像信号S_out也同样包含比图像放大处理前的奈奎斯特频率fs/2高的频率成分。其结果是，例如图11(D)所示，输出图像信号S_out的频谱超过原来的奈奎斯特频率fs/2，并生成新的奈奎斯特频率Fbs/2附近的频率成分。

以上，通过非线性处理部10将2个输入图像信号S_in相乘而生成第一信号S1的例子，对由图像增强装置1施行的超过奈奎斯特频率fs/2的高频区域的补偿进行了说明，但是非线性处理部10的处理当然不限定于输入图像信号S_in的平方。例如与平方处理相同地通过任意的乘方处理而生成超过奈奎斯特频率fs/2的频率成分是从一般的三角函数的公式等清楚地推导的事项。

另外，任意的伽玛处理(开方)也是生成超过奈奎斯特频率fs/2的频率成分的处理。以下，根据图5、图6，对通过由非线性处理部10施行的伽玛处理而能够进行超过奈奎斯特频率fs/2的高频区域的补偿这一点进行说明。

图5是用于利用伽玛处理的非线性处理的评价的原始图像，图6是表示伽玛处理前后的频谱的图。图6(A)是伽玛处理前的原始图像的频谱，图6(B)是伽玛处理后的图像的频谱。在图6中，非线性处理部10作为伽玛处理而将输入图像信号S_in的平方根作为第一信号S1。即，为S1＝S_in ^1/2。若对图6(A)、图6(B)进行比较，则在图6(B)所示的伽玛处理后的频谱中，可知频率成分的范围扩大，并且生成了原始图像的频谱中未包含的频率成分。

以下，为了验证本发明的效果，对将本发明的图像增强处理实施于实际图像的结果进行说明。

图7是表示原始图像与进行了本发明的图像增强处理的图像的图，图8是表示各自的图像的频谱的图。图7(A)的原始图像是对原来的图像实施纵、横2倍的放大处理后的图像，该原始图像不具有与放大处理后的采样频率Fbs＝2fs对应的奈奎斯特频率Fbs/2＝fs附近的频率成分(参照图8(A))。

图7(B)表示非线性处理部10将输入图像信号S_in的平方根作为第一信号S1而在水平方向与垂直方向各一次地对对象图像实施图像增强处理后的图像。若将图7(B)的图像与图7(A)的图像相比，则可以说以围巾、椅子的靠背为中心，提案方法的图像的锐度或者分辨率提高，并且通过锐化而使图像整体的画质提高。另外，在图8(B)的频谱中，可知产生有超过放大处理后的奈奎斯特频率Fbs/2＝fs的频率成分，并且利用超过放大处理后的奈奎斯特频率Fbs/2＝fs的频率成分而锐化图像。

图9是表示用于比较的进行了本发明的图像增强处理的图像与进行了使用现有的线性处理的图像增强处理的图像的图。如上所述，在使用现有的线性处理的图像增强处理中，图像处理后的图像无法产生奈奎斯特频率Fbs/2＝fs附近的频率成分，因此，即使对该对象图像实施将现有的图像增强处理，也不提高画质，例如，在图7(A)的原始图像与图9(A)的基于现有技术的图像之间，几乎未观察到锐度、分辨率有任何差异。另一方面，可知图7(B)所示的本发明的图像产生超过放大处理后的奈奎斯特频率Fbs/2＝fs的频率成分，从而与作为现有技术的图9(A)相比，大幅度地锐化了图像。

这样，根据本实施方式，非线性处理部10对输入图像信号S_in进行非线性处理而生成第一信号S1，HPF20通过去除第一信号S1所包含的频率成分中的至少直流成分而生成第二信号S2，限幅器30调整第二信号S2而生成第三信号S3，加法器40将第三信号S3与输入图像信号S_in相加而生成输出图像信号S_out。由此，能够以不对多个帧反复进行运算的方式，利用超过奈奎斯特频率的频率成分来锐化图像。另外，由于是相对于输入信号唯一规定输出信号的处理，所以不采取如现有的超分辨率处理方法那样的图像匹配，也不会突然产生图像失真。

更详细而言，通过非线性处理部10的非线性处理(例如公式(1))，生成超过输入图像信号S_in所具有的频率成分的谐波成分等的奈奎斯特频率fs/2的高频成分，并利用该高频成分，对输入图像信号S_in实施用于锐化的处理。即，若通过图像放大处理从采样频率为fs的数字图像信号生成采样频率Fbs＝2fs的图像信号，并将该图像信号用作输入图像信号S_in，则基于非线性处理部10的处理，生成包含比与原来的采样频率fs对应的奈奎斯特频率fs/2高的频率成分在内的第三信号S3作为补偿用信号，并将该第三信号S3添加于输入图像信号S_in。由此，本实施方式中的输出图像信号S_out的频谱如图11(D)所示，包含超过放大处理前的奈奎斯特频率fs/2的成分，与现有的图像增强装置相比，能够充分锐化放大处理后的图像。此外，在上述实施方式中，以将图像放大处理成2倍的情况为例进行了说明，但是本发明的效果当然不仅仅限定于使图像为2倍的方式。

另外，非线性处理部10能够生成输入图像信号S_in的乘方作为第一信号S1，或者生成输入图像信号S_in的开方作为第一信号S1。即，非线性处理部10能够通过比较简单的非线性处理，而生成超过奈奎斯特频率fs/2的高频成分作为第一信号S1。

另外，由于能够以图1所示的简单的结构来实现本实施方式的图像增强装置1，所以通过将该图像增强装置1用于高清晰度电视(HDTV)、标准画质电视(SDTV)的接收机等，不仅对于静止图像，也对于实时显示的动态图像，能够在不导致成本大幅增加的情况下改善画质。

另外，本实施方式还能够进行现有的图像增强装置中无法补偿的超过奈奎斯特频率fs/2的高频区域的补偿，因此特别是在实施放大处理后的图像信号所表示的图像的锐化带来的画质提高方面，尤其有效。例如在高清晰度电视(HDTV)的接收机的显示器中，对标准画质电视(SDTV：Standard Definition Television)的图像信号实施放大处理而显示图像的情况下，本实施方式在能够以简单的结构而使实时显示的动态图像充分锐化这一点，起到较大的效果。另外，目前正在进行比HDTV的像素数多的4000×2000左右的像素数的显示器(以下称为“4k显示器”)的技术开发、用于与该显示器对应的电视广播的技术开发，从而在将HDTV用的图像信号升频转换而用该4k显示器进行显示的情况下，本实施方式也在相同的方面起到较大的效果。

另外，例如作为利用人们的感知特性的图像处理技术，公知有HDR(高动态范围)合成。HDR是将对比度非常大的原始图像(现实)转换为降低了对比度的图像的技术。在HDR中，通过在用于降低对比度的色调映射中使用伽玛校正函数，从而进行亮度较低的像素的提高。本实施方式的图像增强装置1是如HDR合成那样进行基于人们的感知特性的非线性处理(伽玛处理)的装置，其通过进一步锐化亮度较暗的区域的轮廓，能够以对人们来说更优选的形式来锐化图像从而改善画质。

工业上的可利用性

本发明在用于锐化图像来改善画质的图像增强装置中得到应用，例如能够在用于使电视(TV)接收机中实时显示的动态图像锐化的图像增强装置中得到应用。

另外，本发明能够应用于监控相机的图像增强处理，例如能够减少将图像的一部分放大时的模糊。另外，针对设置于暗处的监控相机的图像、夜间拍摄的图像等，能够进行更加锐化亮度较暗的区域的轮廓的图像增强处理。

并且，本发明能够应用于从远距离拍摄的影像的分辨率的改善。例如，针对从远方拍摄的难以接近的事故现场等的图像、卫星图像等，能够进行锐化轮廓的图像增强处理。

并且，本发明能够应用于模拟内容的高清晰化。即，在将现有的模拟内容转换为高清内容时，通过进行将升频转换后的图像的轮廓锐化的图像增强处理，能够将模拟内容再制成更高清晰度的数字内容。例如，能够在将模拟电视内容转换为高清内容、或者在将老电影内容转换为更高清晰度的数字内容(例如Blu-ray(注册商标)内容)时进行应用。

并且，本发明也能够应用于医疗领域。例如，能够将患部的基于内窥镜等的放大图像转换为更高清晰度的图像，或者在远程医疗等，将分辨率较低的患部的影像转换为更高清晰度的图像。

并且，本发明能够应用于可在计算机中视听的动态图像内容的高清晰化。网络上存在很多发布动态图像内容的网站，并且已经保存有大量的动态图像内容。根据本发明，能够将现有的动态图像内容转换为进一步高清晰度、高分辨率的内容，从而提高视听质量。

虽然根据各附图、实施例对本发明进行了说明，但是应当注意的是，本领域技术人员根据本公开可以容易地进行各种变形、修正。因此，应留意这些变形、修正均包含在本发明的范围内。例如，能够重新配置各构成部、各步骤等所包含的功能等，以不使其在逻辑上产生矛盾，并且能够将多个构成部、步骤等组合为一个或者对它们进行分割。

附图标记的说明

1...图像增强装置；10...非线性处理部；20...HPF(高通滤波器)；201～20(m-1)...单位延迟元件；211～21m...乘法器；220...加法器；21...LPF(低通滤波器)；22...减法器；30...限幅器；40...加法器。

Claims (6)

1.一种图像增强装置，其生成将输入图像锐化后的输出图像，

所述图像增强装置具备：

非线性处理部，其是对表示所述输入图像的输入图像信号进行非线性处理而生成第一信号的非线性处理部，该非线性处理部进行将所述第一信号相对于所述输入图像信号表示为连续的非线性函数、且生成所述输入图像信号中未包含的频率成分的非线性处理；

滤波器部，其通过去除所述第一信号所包含的频率成分中的至少直流成分而生成第二信号；

限幅器，其通过调整所述第二信号而生成第三信号；以及

加法器，其通过将所述第三信号与所述输入图像信号相加而生成表示所述输出图像的输出图像信号。

2.根据权利要求1所述的图像增强装置，其中，

所述非线性处理部生成所述输入图像信号的乘方来作为所述第一信号。

3.根据权利要求1所述的图像增强装置，其中，

所述非线性处理部生成所述输入图像信号的开方来作为所述第一信号。

4.一种图像增强方法，其是生成将输入图像锐化后的输出图像的图像增强装置中的图像增强方法，

基于所述图像增强装置进行的处理顺序包括：

非线性处理步骤，该非线性处理步骤是对表示所述输入图像的输入图像信号进行非线性处理而生成第一信号的非线性处理步骤，在该非线性处理步骤中，进行将所述第一信号相对于所述输入图像信号表示为连续的非线性函数、且生成所述输入图像信号中未包含的频率成分的非线性处理；

通过去除所述第一信号所包含的频率成分中的至少直流成分而生成第二信号的步骤；

通过调整所述第二信号而生成第三信号的步骤；以及

通过将所述第三信号与所述输入图像信号相加而生成表示所述输出图像的输出图像信号的步骤。

5.根据权利要求4所述的图像增强方法，其中，

在所述非线性处理步骤中，生成所述输入图像信号的乘方来作为所述第一信号。

6.根据权利要求4所述的图像增强方法，其中，

在所述非线性处理步骤中，生成所述输入图像信号的开方来作为所述第一信号。