CN102362486B - 图像增强装置、图像增强方法、图像增强程序和信号处理装置 - Google Patents

图像增强装置、图像增强方法、图像增强程序和信号处理装置 Download PDF

Info

Publication number
CN102362486B
CN102362486B CN200980158237.XA CN200980158237A CN102362486B CN 102362486 B CN102362486 B CN 102362486B CN 200980158237 A CN200980158237 A CN 200980158237A CN 102362486 B CN102362486 B CN 102362486B
Authority
CN
China
Prior art keywords
signal
image
mentioned
image intensifier
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980158237.XA
Other languages
English (en)
Other versions
CN102362486A (zh
Inventor
合志清一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to CN201510005986.6A priority Critical patent/CN104539826B/zh
Publication of CN102362486A publication Critical patent/CN102362486A/zh
Application granted granted Critical
Publication of CN102362486B publication Critical patent/CN102362486B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明的目的在于通过以简单的结构进行适当的高频补偿，不仅对于静止图像，而且对于运动图像实施了图像放大处理的情况下，也能够充分地使图像清晰，提高画质。HPF(11)从输入图像信号(Sin)提取高频成分作为第一信号(S1)，平方运算器(12)通过对第一信号(S1)进行平方运算而生成平方信号(S12)。第一微分器(13)通过对平方信号(S12)进行微分而生成第一微分信号(S13)，第二微分器(14)通过对输入图像信号(Sin)进行微分而生成第二微分信号(S14)。乘法运算器(15)通过将第一微分信号(S13)与第二微分信号(S14)进行乘法运算而生成第二信号(S2)。加法运算器(16)通过将第二信号(S2)作为补偿用信号与输入图像信号(Sin)相加而生成输出图像信号(Sout)。

Description

图像增强装置、图像增强方法、图像增强程序和信号处理装置
技术领域
本发明涉及用于使图像清晰(sharpening，也称为“锐化”)而改善画质的图像增强装置、图像增强方法和图像增强程序，更一般而言，涉及用于提高信号的质量的信号处理装置等，例如涉及适合用于使电视(TV)接收机实时显示的运动图像清晰的图像增强装置
背景技术
用于使图像清晰而改善画质的图像增强处理，在现有技术中是广泛周知的。例如，在现有技术的电视接收机中，进行使与所显示的图像的轮廓部相当的视频信号的上升(上升沿)、下降(下降沿)急剧的轮廓补偿。在该轮廓补偿中，提取(抽出)输入至电视接收机的显示器的视频信号(亮度信号)的高频成分，将该高频成分放大而与视频(即，影像)信号进行加法运算，由此改善从视频信号输入到显示器输入为止在各电路处理的视频信号的频率特性的劣化，提高视觉上的画质。
包含这样的轮廓补偿的现有技术中的图像增强处理，通常基于线性的数字信号处理，因此不能够利用比奈奎斯特(Nyquist，也称为“乃奎斯特”)频率高的频率成分，即比成为对象的图像的采样频率(即，取样频率)的1／2高的频率成分。因此，不能够以改善画质为目的使超过奈奎斯特频率的频率成分恢复，也无法利用这样的频率成分使图像清晰。于是，例如在高清晰电视(HDTV：High Definition Television)即全高清(full high vision，1080×1920像素)的电视接收机中的显示器，在对分辨率不到HDTV的图像信号进行图像放大(enlarge)处理而显示图像的情况下，存在图像模糊的问题。该模糊的图像不具有奈奎斯特频率附近的频率成分，因此即使使用现有技术中的图像增强处理也不能够提取应放大的频率成分，画质无法得到改善。
与此相对，利用帧之间或帧内的自相关等，即使在进行上述这样的图像放大处理的情况下也能够进行高分辨率化而得到清晰的图像的技术(例如非专利文献1、专利文献3)，以及利用在边缘的切线方向和边缘的垂直方向进行程度不同的平滑处理的各向异性(异方性)扩散滤波而使图像高分辨率化的技术(例如非专利文献2)也已被提出。另外，为了对为了增强高频成分改善画质而应与图像信号相加的核化(coring)量、限幅(clipping)量、增强(enhance)量和限制(limit)量等分别进行调整而使用非线性电路的图像处理装置(专利文献1)、为了不降低视频的品质地补偿高频信号而抑制图像信号中的脉冲(pulse)波形、阶跃(step，步进)波形的边沿部的振铃(ringing，振荡)的发生，为此使用非线性转换电路的画质补偿电路(专利文献2)也被提出了方案。
现有技术文献
专利文献
专利文献1：日本特开2006-304352号公报
专利文献2：日本特开平7-312704号公报
专利文献3：日本特开2007-310837号公报
非专利文献
非专利文献1：松本信幸、井田孝，《フレ一ム内再構成超解像の领域適応処理による高画質化の検討》，电子信息通信学会技术研究报告，社团法人电子信息通信学会，2008年4月，第108卷，第4号，IE2008-6，p.31-36
非专利文献2：Luminita A.Vese and Stanley J.Osher，“ModelingTextures with Total variation Minimization and Oscillating Patterns inImage Processing”，Journal of Scientific Computing，Vol.19，Nos.1-3，December2003
发明内容
发明要解决的问题
但是，在非专利文献2中记载的利用各向异性滤波的高分辨率化的技术，处理复杂，因此在如电视接收机等中的运动图像(活动图像)的显示那样需要实时地处理的情况下难以应用，非专利文献1中记载的高分辨率化的技术，即使能够应用，其实现也需要大规模的LSI，导致成本大幅增加。另外，就专利文献1中记载的图像处理装置、专利文献2中记载的画质补偿电路而言，使用非线性处理的目的只是与图像信号应相加的信号的限幅处理等、以及抑制因高频信号的补偿而引起的振铃发生，通过这样的画质补偿电路、图像处理装置，在对实施了上述那样的放大处理的图像进行显示的情况下不能够充分地使图像清晰。
于是，本发明的目的在于提供图像增强装置和图像增强方法等，通过以简单的结构进行适当的高频补偿，不仅对静止图像，而且在为运动图像的情况下也能够在实施了上述那样的图像放大处理的情况下使图像充分清晰而提高画质，更一般而言，本发明的目的是提供能够以简单的结构进行适当的高频补偿来提高信号的质量的信号处理装置等。
解决问题的技术手段
本发明的第一方面为一种图像增强装置，其用于使输入信号所表示的图像清晰，该图像增强装置的特征在于，包括：
通过将表示图像的输入信号所包含的频率成分中的至少直流成分从该输入信号中除去而生成第一信号的滤波部；
对上述第一信号实施非线性处理而生成第二信号的非线性处理部；和
将上述第二信号与上述输入信号相加的加法运算部，
上述非线性处理部，
基于(根据)上述第一信号生成第三信号，该第三信号相对于上述第一信号至少在0附近非线性或正负对称地、单调非减少，
基于上述第三信号生成上述第二信号，使得上述第一信号的正负被实质地保存在上述第二信号中，并且上述第二信号不包含直流成分。
本发明的第二方面的特征在于，在本发明的第一方面中，
上述非线性处理部，
通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生成上述第三信号，
基于上述第三信号生成上述第二信号，使得上述第一信号的正负被实质地保存在上述第二信号中。
本发明的第三方面的特征在于，在本发明的第二方面中，
上述非线性处理部包括：
通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生成上述第三信号的乘幂运算器；
通过对上述第三信号进行微分而生成第四信号的第一微分器；
通过对上述输入信号进行微分而生成第五信号的第二微分器；和
基于上述第四信号与上述第五信号的积而生成上述第二信号的乘法运算器。
本发明的第四方面的特征在于，在本发明的第二方面中，
上述非线性处理部包括：
通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生成上述第三信号的乘幂运算器；和
符号变换器，其基于上述第一信号使上述第三信号中正负与上述第一信号不同的部分的正负颠倒(即，逆转或反转)，以使得基于上述第三信号生成上述第二信号。
本发明的第五方面的特征在于，在本发明的第二方面中，
上述非线性处理部包括：
通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生成上述第三信号的乘幂运算器；
通过除去上述第三信号的直流成分而生成第四信号的滤波器；和
符号变换器，其基于上述第一信号使上述第四信号中正负与上述第一信号不同的部分的正负颠倒，以使得基于上述第四信号生成上述第二信号。
本发明的第六方面的特征在于，在本发明的第一方面中，
上述非线性处理部，
生成与上述第一信号的绝对值相当的信号作为上述第三信号，
基于上述第三信号生成上述第二信号，以使上述第一信号的正负被实质地保存在上述第二信号中。
本发明的第七方面的特征在于，在本发明的第六方面中，
上述非线性处理部包括：
绝对值处理器，其生成与上述第一信号的绝对值相当的信号作为上述第三信号；
第一微分器，其通过对上述第三信号进行微分而生成第四信号；
第二微分器，其通过对上述输入信号进行微分而生成第五信号；和
乘法运算器，其基于上述第四信号与上述第五信号的积生成上述第二信号。
本发明的第八方面的特征在于，在本发明的第六方面中，
上述非线性处理部包括：
绝对值处理器，其生成与上述第一信号的绝对值相当的信号作为上述第三信号；
滤波器，其通过除去上述第三信号的直流成分而生成上述第四信号；和
符号变换器，其基于上述第一信号使上述第四信号中正负与上述第一信号不同的部分的正负颠倒，以使得基于上述第四信号生成上述第二信号。
本发明的第九方面的特征在于，在本发明的第一方面中，
上述非线性处理部，通过以3以上的奇数为幂指数对上述第一信号进行乘幂运算而生成上述第三信号，基于上述第三信号生成上述第二信号。
本发明的第十方面的特征在于，在本发明的第九方面中，
上述非线性处理部包括：
乘幂运算器，其通过以3以上的奇数为幂指数对上述第一信号进行乘幂运算而生成上述第三信号；和
调整器，其通过调整上述第三信号的振幅而生成上述第二信号。
本发明的第十一方面的特征在于，在本发明的第一方面中，
上述非线性处理部，以使得上述第三信号的绝对值比上述第一信号的绝对值大的区间至少在上述0附近出现的方式，生成上述第三信号。
本发明的第十二方面的特征在于，在本发明的第一方面中，
上述非线性处理部，基于上述第一信号，生成相对于上述第一信号在上述第一信号的最大振幅的至少1／2以下的范围内，非线性或正负对称地、单调非减少的信号作为上述第三信号。
本发明的第十三方面的特征在于，在本发明的第一方面中，
上述滤波部包括抽头(tap)数为3以上的高频通过型数字滤波器。
本发明的第十四方面的特征在于，在本发明的第一方面中，
上述非线性处理部包括：
舍入处理器，其将上述第一信号中绝对值比规定的下限值小的部分的信号值改变(即，变更)为0；和
限制器(limiter，也称为“限幅器”)，其将上述第一信号中绝对值比规定的上限值大的部分的信号值的绝对值改变为该上限值以下的规定值。
本发明的第十五方面的特征在于，在本发明的第一方面中，
上述非线性处理部包括用于对上述第二信号的振幅进行调整的调整器。
本发明的其他方面，通过本发明的上述第一～第十五方面以及与后述的实施方式相关的说明能够变得清楚明了，因此省略其说明。
发明的效果
根据本发明的第一方面，从输入信号中至少除去了直流成分的信号作为第一信号被生成，第二信号通过对该第一信号实施非线性处理而被生成。即，相对于第一信号至少在0附近非线性或正负对称地、单调非减少的第三信号被生成，基于该第三信号生成第二信号。第一信号的正负被实质地保存在该第二信号中，并且该第二信号不包含直流成分。这样的第二信号与输入信号相加。通过该加法运算而得到的信号即图像增强装置的输出信号，由于通过对上述第一信号的非线性处理得到原信号的谐波，所以含有比将输入信号离散化的情况下的采样频率fs所对应的奈奎斯特频率fs／2高的频率成分。因此，能够比基于线性处理的现有技术的图像增强装置得到更大的画质改善。另外，能够以简单的结构使图像充分清晰，因此，不仅对静止图像，而且对实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入信号的情况下，与不能够进行超过奈奎斯特频率fs／2的高频区域的补偿的现有技术的图像增强装置相比，能够使放大处理后的图像充分清晰而大幅改善画质。
根据本发明的第二方面，基于以2以上的偶数为幂指数的上述第一信号的乘幂运算，生成上述第二信号，以使得上述第一信号的正负被实质地保存，这样的第二信号与输入信号进行加法运算，因此能够比基于线性处理的现有技术中的图像增强装置得到更大的画质改善。另外，能够以简单的结构使图像充分清晰，因此，不仅对静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入信号的情况下，与现有技术中的图像增强装置相比，能够在通过使图像清晰而实现画质的改善方面得到较大的效果。
根据本发明的第三方面，通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生成第三信号，通过对第三信号进行微分而生成除去了直流成分的第四信号，将对输入信号进行微分而得到的第五信号与第四信号进行乘法运算，而生成第二信号作为保存有第一信号的正负的信号。这样，作为补偿用信号应与输入信号进行加法运算的第二信号，基于以2以上的偶数为幂指数的上述第一信号的乘幂，以使得上述第一信号的正负被保存的方式被生成，因此能够得到与本发明的第二方式相同的效果。
根据本发明的第四方式，通过以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生成第三信号，基于上述第一信号使上述第三信号中正负与上述第一信号不同的部分的正负颠倒，以基于上述第三信号生成第二信号。这样，应与输入信号进行加法运算的第二信号，基于以2以上的偶数为幂指数的上述第一信号的乘幂，以使得第一信号的正负被保存的方式被生成，因此能够得到与本发明的第二方式相同的效果。
根据本发明的第五方面，以2以上的偶数为幂指数对上述第一信号进行乘幂运算而生成第三信号，通过除去第三信号的直流成分而生成第四信号。并且，基于上述第一信号使上述第四信号中正负与上述第一信号不同的部分的正负颠倒，以使得能够基于第四信号生成第二信号。这样，应与输入信号进行加法运算的第二信号，基于以2以上的偶数为幂指数的上述第一信号的乘幂，以使得第一信号的正负被保存的方式被生成，因此能够得到与本发明的第二方式相同的效果。并且，基于从第三信号除去直流成分后的信号生成第二信号，因此与本发明的第四方面相比，效果的程度增大，能够使图像更加清晰。
根据本发明的第六方面，基于上述第一信号的绝对值生成第二信号，因此第二信号包含输入信号的频率成分的2倍以上的高频成分。另外，第二信号以使得上述第一信号的正负被保存的方式被生成。通过将这样的第二信号与输入信号进行加法运算，能够比基于线性处理的现有技术中的图像增强装置得到更大的画质改善。另外，能够以简单的结构使图像充分清晰，因此，不仅对静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入信号的情况下，与现有技术中的图像增强装置相比，能够在通过使图像清晰而改善画质方面得到较大的效果。
根据本发明的第七方面，与上述第一信号的绝对值相当的信号作为第三信号被生成，通过对第三信号进行微分而生成除去了直流成分的第四信号，对输入信号进行微分而得到的第五信号，与第四信号进行乘法运算，由此生成第二信号作为保存有第一信号的正负的信号。这样，应与输入信号进行加法运算的第二信号，基于上述第一信号的绝对值，以使得上述第一信号的正负被保存的方式被生成，因此能够得到与本发明的第六方式相同的效果。
根据本发明的第八方面，与上述第一信号的绝对值相当的信号作为第三信号被生成，通过除去第三信号的直流成而生成第四信号。并且，以使得能够基于第四信号生成第二信号的方式，将第四信号中正负与上述第一信号不同的部分的正负基于上述第一信号颠倒。这样，应与输入信号进行加法运算的第二信号，基于上述第一信号的绝对值，以使得上述第一信号的正负被保存的方式被生成，因此能够得到与本发明的第六方式相同的效果。
根据本发明的第九方面，基于以3以上的奇数为幂指数的上述第一信号的乘幂生成第二信号，上述第一信号的正负被保存在该第二信号中。这样，应与输入信号进行加法运算的第二信号，基于以3以上的奇数为幂指数的上述第一信号的乘幂被生成，由于没有必要进行用于保存上述第一信号的正负的处理，因此能够以更简单的结构，比基于线性处理的现有技术中的图像增强装置得到更大的画质改善。另外，能够以简单的结构使图像充分清晰，因此，不仅对静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入信号的情况下，与现有技术中的图像增强装置相比，能够在通过使图像清晰而改善画质方面得到较大的效果。
根据本发明的第十方面，以3以上的奇数为幂指数对上述第一信号进行乘幂而生成第三信号，调整第三信号的振幅，由此生成第二信号。因此，即使第三信号通过第一信号的乘幂运算而具有过大的振幅(信号电平)，也由于适当的振幅的第二信号与输入信号进行加法运算，因此能够良好地使输入信号表示的图像清晰。
根据本发明的第十一方面，上述第三信号的绝对值比上述第一信号的绝对值大的区间至少在上述0附近出现，因此能够将基于与该区间对应的第三信号的第二信号附加至输入信号，使得输入信号表示的图像得以充分地清晰。
根据本发明的第十二方面，上述第三信号相对于上述第一信号在上述第一信号的最大振幅的至少1／2以下的范围内，非线性或正负对称地、单调非减少，因此充分包含应补偿的频率成分的补偿用信号作为第二信号被生成。通过将该第二信号附加至输入信号，能够使得输入信号表示的图像充分地清晰。
根据本发明的第十三方面，滤波部具备抽头数为3以上的高频通过型数字滤波器，因此包含应补偿的频率成分的适当的第一信号被生成，通过将基于该第一信号的该第二信号与输入信号进行加法运算，能够使输入信号表示的图像充分地清晰。
根据本发明的第十四方面，将上述第一信号中绝对值比规定的下限值小的部分的信号值变为0，因此输入信号中包含的噪声不因对上述第一信号的非线性处理而放大。另外，将第一信号中绝对值比规定的上限值大的部分的信号值的绝对值变为该上限值以下的规定值，因此已经作为高频成分具有足够能量的信号成分不因对上述第一信号的非线性处理而被过度放大。于是，通过将基于这样调整后的第一信号的第二信号与输入信号的加法运算，能够良好地使输入信号表示的图像清晰。
根据本发明的第十五方面，通过对作为补偿用信号应与输入信号进行加法运算的上述第二信号的振幅进行调整，输入信号被适当地补偿，因此能够良好地使输入信号表示的图像清晰。
附图说明
图1是表示本发明的第一实施方式的图像增强装置的结构的框图。
图2是表示上述第一实施方式中的高通滤波器(高频通过滤波器)的结构的框图。
图3是表示上述第一实施方式中的高通滤波器的其他的结构例的框图。
图4是表示上述第一实施方式中的微分器的结构的框图。
图5是用于说明现有技术中的图像增强装置的动作的信号波形图(A～E)。
图6是用于说明上述第一实施方式的图像增强装置的动作的信号波形图(A～F)。
图7是表示用于说明现有技术中的图像增强装置的动作的频谱的附图(A、B)。
图8是表示用于说明上述第一实施方式的图像增强装置对放大后的图像的动作的频谱的附图(A、B)。
图9是用于说明上述第一实施方式的第一变形例的框图。
图10是表示在上述第一变形例的垂直方向处理部使用的高通滤波器的结构的框图。
图11是表示在上述第一变形例的垂直方向处理部使用的微分器的结构的框图。
图12是用于说明上述第一实施方式的第二变形例的框图。
图13是表示在上述第二变形例的时间方向处理部使用的高通滤波器的结构的框图。
图14是表示在上述第二变形例的时间方向处理部使用的微分器的结构的框图。
图15是表示本发明的第二实施方式的图像增强装置的结构的框图。
图16是表示本发明的第三实施方式的图像增强装置的结构的框图。
图17是用于说明上述第三实施方式的图像增强装置的动作的信号波形图(A～D)。
图18是表示本发明的第四实施方式的图像增强装置的结构的框图。
图19是表示本发明的第五实施方式的图像增强装置的结构的框图。
图20是用于说明上述第四实施方式的图像增强装置的动作的信号波形图(A～E)。
图21是用于说明上述第五实施方式的图像增强装置的动作的信号波形图(A～F)。
图22是表示本发明的第六实施方式的图像增强装置的结构的框图。
图23是表示本发明的第七实施方式的图像增强装置的结构的框图。
图24是表示为了验证本发明的效果而使用的原始图像的附图。
图25是表示对象图像的图，该对象图像是对上述原始图像进行放大处理后切取一部分而得到的图像。
图26是将对上述对象图像实施现有技术中的图像增强装置进行的处理后所得的图像(B)，与上述对象图像(A)一起表示的附图。
图27是表示对上述对象图像实施上述第二实施方式的图像增强装置进行的处理后所得的图像(A)，和实施上述第三实施方式的图像增强装置进行的处理后所得的图像(B)的图。
图28是表示为了通过图像增强程序以软件的形式实现本发明的图像增强装置而使用的个人计算机的结构的框图。
具体实施方式
下面参照附图对本发明的实施方式进行说明。
(1.第一实施方式)
(1.1结构)
图1是表示本发明的第一实施方式的图像增强装置的结构的框图。该图像增强装置100为对作为表示图像的数字信号而从外部输入的输入图像信号Sin，实施用于使该输入图像信号Sin所表示的图像清晰的处理(以下称为“图像增强处理”或简称为“增强处理”)的装置，包括：高频通过滤波器(以下称为“高通滤波器”或者“HPF”)11、非线性处理部102和加法运算器16，其中，非线性处理部102包括平方运算器(即，“2次幂运算器”或“自乘运算器”)12、第一微分器13、第二微分器14和乘法运算器15。上述输入图像信号Sin被送至HPF11、第二微分器14和加法运算器16。此外，输入图像信号Sin表示的图像既可以是静止图像也可以是运动图像，在输入图像信号Sin表现的是运动图像的情况下，该运动图像也可以是例如标准画质电视(SDTV：Standard Definition Television，标准分辨率电视)或高清晰电视(HDTV：High Definition Television，高分辨率电视)的接收机中实时显示的运动图像。这点在其他的实施方式中也是同样的。
HPF11将包含输入图像信号Sin所表示的图像中的轮廓成分的高频成分抽出。图2是表示该HPF11的结构的框图。如图2所示，该HPF具备m抽头(m为3以上)横向(transversal)型的数字滤波器110，此外还具备舍入处理器132和限制器133，该数字滤波器110具备m-1个单位延迟元件111、112、……、11(m-1)，m个乘法运算器121、122、……、12m和1个加法运算器131。在此，各乘法运算器12j将被输入的信号乘以系数Cj并将乘法运算的结果输出至加法运算器131(j＝1～m)，系数C1～C m设定为：HPF11中的上述数字滤波器110作为用于将包含上述轮廓成分的高频成分提取的高频通过滤波器起作用。例如使m＝3，C1＝0.5，C2＝-1，C3＝0.5时，上述数字滤波器110对在后面叙述的图5(B)中所示那样的输入图像信号Sin，输出如图5(C)所示那样的信号作为高频成分信号Si1。这样得到的高频成分信号Si1，经过舍入处理器132和限制器133从HPF11作为第一信号S1被输出。
舍入处理器132是为了使得在后级的非线性处理部102中不将噪声放大而设置的，将高频成分信号Si1中的规定的下限值以下的信号值舍入为0。例如，在输入图像信号Sin取0～255的范围的值的情况下，即为256灰度等级的图像信号的情况下，将2以下的信号值舍入为0。限制器133是为了使得在后级的非线性处理部102中不过度地将作为高频成分已经具有足够能量的信号放大而设置的，将超过规定上限值的信号值变更为该上限值以下的规定值(例如0或该上限值)。例如，在输入图像信号Sin取0～255的范围的值的情况下，使绝对值超过64的信号值为0，或者使绝对值超过64的信号值按照其符号成为±64。
但是，一般而言，与实现高频通过滤波器相比，实现低域通过滤波器更容易。因此，也可以通过如图3所示的使用低域通过滤波器(以下称为“LPF”)1011和减法运算器1012的结构，实现图2所示的作为高频通过滤波器的数字滤波器110。
从HPF11输出的第一信号S1被输入至非线性处理部102的平方运算器12。平方运算器12通过将第一信号S1平方而生成平方信号S12。即S12＝S12。此外，第一信号S1为数字信号(离散化的信号)，更详细而言，使构成第一信号S1的数据列为X1、X2、X3、……时，平方信号S12为由信号数据列X12、X22、X32、……构成的数字信号。该平方信号S12被输入至第一微分器13，该微分器13通过将该平方信号S12微分而生成第一微分信号S13。该第一微分信号S13被输入至乘法运算器15。在此，平方信号S12为数字信号，是离散化的，因此第一微分器13通过例如图4所示那样的算出后向差分(backward difference)的电路生成第一微分信号S13。如图4所示的结构中，通过单位延迟元件1021和减法运算器1022实现微分器，数字信号Sb为通过将数字信号Sa微分而得到的信号。
另一方面，非线性处理部102的第二微分器14通过对输入图像信号Sin进行微分而生成第二微分信号S14，该第二微分信号S14也被输入至乘法运算器15。在此，第二微分器14也例如通过图4所示这样的结构而实现。
乘法运算器15通过将第一微分信号S13与第二微分信号S14进行乘法运算而生成第二信号S2。即，S2＝S13×S14。此外，第一和第二微分信号S13、S14都是数字信号(离散化的信号)，因此更详细而言，在使构成第一微分信号S13的数据列(数据串)为U1、U2、U3、……，使构成第二微分信号S14的数据列为V1、V2、V3、……时，第二信号S2为由数据列U1·V1、U2·V2、U3·V3、……构成的数字信号。该第二信号S2从非线性处理部102输出、并被输入至加法运算器16。此外，由于在HPF11、平方运算器12、第一和第二微分器13、14的处理中产生延迟，因此在乘法运算器15，根据需要包含用于在第一微分信号S13和第二微分信号S14之间调整定时(timing，即“时间”或“时机”)的延迟元件。
加法运算器16通过将上述第二信号S2作为用于使图像清晰的补偿用信号与输入图像信号Sin进行加法运算而生成输出图像信号Sout。即，Sout＝Sin+S2。此外，在加法运算器16中，也根据需要包含用于在输入图像信号Sin与第二信号S2之间调整定时的延迟元件。此外，作为用于对作为补偿用信号的第二信号S2的电平(振幅)进行调整的调整器，优选在加法运算器16的内部或乘法运算器15与加法运算器16之间设置增益调整器和限制器中的至少一个。在此，增益调整器是通过对所输入的信号乘以0≤α＜1的常数α来调整该信号的电平的单元(器件)，限制器是将所输入的信号中绝对值大于规定的上限值的部分的信号值的绝对值变更为该上限值(不改变正负)，由此调整该信号的电平的单元。
加法运算器16生成的输出图像信号Sout作为表示使输入图像信号Sin所表示的图像清晰而得到的图像的图像信号，从图像增强装置100被输出。
(1.2动作)
接着，着眼于对输入图像信号Sin中如图5(B)所示那样在水平方向图像信号的电平即像素值发生变化的边缘(edge)所相当的部分的处理，对上述那样构成的本实施方式的图像增强装置100的动作，进行说明。
为了进行比较，首先对现有技术中的图像增强装置的动作进行说明。输入图像信号中的与边缘部相当的部分，在理想状态下是如图5(A)所示那样的信号，实际上，由于用于图像信号的处理和传输的硬件的特性，成为图5(B)所示那样的信号。在现有技术中的图像增强装置中，当被施加图5(B)所示那样的输入图像信号时，通过与本实施方式相同的HPF将图5(C)所示那样的高频信号提取，将该高频信号与输入图像信号相加，生成图5(D)所示那样的信号作为输出图像信号。该输出图像信号与图5(B)的输入图像信号相比，边缘部的上升变得陡峭(急剧)，图像变得鲜明。但是，输出图像信号中的边缘部的上升与后面叙述的本实施方式的输出图像信号(图5(E))相比，陡的程度较低。
在本实施方式中，当输入与图5(B)的输入图像信号相同的输入图像信号Sin(图6(A))时，通过HPF11生成与图5(C)的信号同等的信号作为第一信号S1。由(从)该第一信号S1通过平方运算器12生成图6(B)所示那样的平方信号S12，由该平方信号S12通过第一微分器13生成图6(C)所示那样的第一微分信号S13。通过此时的平方信号S12的微分将直流成分除去。
另一方面，由输入图像信号Sin通过第二微分器14生成如图6(D)所示那样的第二微分信号S14。基于该第二微分信号S14和第一微分信号S13，通过乘法运算器15生成图6(E)所示那样的第二信号S2。该第二信号S2作为补偿用信号在加法运算器16中与输入图像信号Sin进行加法运算，生成图6(F)所示那样的输出图像信号Sout。如上述那样，该输出图像信号Sout的边缘部的上升比现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))更陡，因此与现有技术相比能够得到更清晰(鲜明)的图像。
由上面的说明可知，作为补偿用信号与输入图像信号Sin进行加法运算的第二信号S2，是通过对从HPF11输出的作为高频信号的第一信号S1(图5(C))实施非线性处理而得到的信号。另外，由于第一微分器13，第二信号S2成为不含直流成分的信号。进而，通过第二微分器14得到的第二微分信号S14通过与第一微分信号S13进行乘法运算，第一信号(图5(C))的正负被实质上保存在第二信号S2(图6(E))中。即，第一信号中的正的部分在第二信号S2中不会变为负，第一信号中的负的部分在第二信号S2中也不会变为正。在本实施方式中，基于这样的对第一信号S1的处理的非线性和第一信号S1的正负保存性，能够充分实现图像的清晰(参照图6(F))。此外，根据第一微分信号S13和第二微分信号S14的乘法运算结果，在第二信号S2中，第一信号S1的正负未能得以完全地保存的部分也存在若干(参照图6(E)中的细线的小的波形)，但这不足以对通过第二信号S2向输入图像信号Sin的加法运算而进行的图像的清晰产生实质上的障碍的程度(参照图6(F))。
接着，对于将实施图像放大处理后的数字图像信号作为输入图像信号Sin施加给图像增强装置的情况，对本实施方式的动作在与不进行图像放大处理的情况相比较的同时进行说明。
图7(A)表示采样频率为fs的数字图像信号的频谱，图7(B)表示对于该数字图像信号，通过现有技术的图像增强装置进行用于清晰(清晰化)的增强处理后的数字图像信号(以下称为“现有技术的增强处理后的图像信号”)的频谱。如上所述，通过用于清晰的增强处理，输入图像信号的高频成分被相加，由此，在增强处理后的图像信号中，如图7(B)所示那样，奈奎斯特频率fs／2附近的频率成分增大。
另一方面，在实施将上述数字图像信号上变频(up conversion：向上变换)使像素数在水平方向为2倍的图像放大处理后的情况下，图像放大处理后的采样频率Fbs为上述采样频率fs的2倍(Fsb＝2·fs)，图像放大处理后的频谱如图8(A)所示。此时，在原始(原来)的采样频率fs所对应的奈奎斯特频率fs／2与新的采样频率Fbs所对应的新的奈奎斯特频率Fbs／2＝fs之间不存在频率成分(Fbs／2与3fs／2之间也同样)。因此，即使对图像放大处理后的图像信号通过现有技术的图像增强装置实施用于清晰化的增强处理，图像放大处理后的图像信号中的高频成分即新的奈奎斯特频率Fbs／2附近的频率成分也不被附加(参照图8(A))。
与此相对，根据本实施方式，通过非线性处理部102的平方运算器12，超过输入图像信号Sin所具有的频率成分的谐波成分等的奈奎斯特频率fs／2的高频成分被生成，利用该高频成分，对输入图像信号Sin实施用于清晰化的处理。即，从采样频率为fs的数字图像信号，通过图像放大处理生成采样频率Fbs＝2fs的图像信号，将该图像信号作为输入图像信号Sin使用时，基于平方运算器12的处理，包含比原始的采样频率fs所对应的奈奎斯特频率fs／2高的频率成分的第二信号S2作为补偿用信号被生成，该第二信号S2被附加至输入图像信号Sin。由此，本实施方式中的输出图像信号Sour的频谱成为如图8(B)所示的那样。由此，与现有技术的图像增强装置相比，能够对放大处理后的图像信号进行适当的高频补偿，能够使放大处理后的图像充分地清晰。
下面，针对如上所述那样利用通过非线性处理生成的高频成分的图像的清晰化，进行更详细的说明。现在，使输入图像信号Sin由(水平方向)位置x的函数f(x)表示，使输入图像信号Sin的基本角频率为ω时，该f(x)能够用下面这样的傅里叶级数表示。
f(x)＝a-Ncos(-N)ωx+a-N+1cos(-N+1)ωx……+a-1cos(-1)ωx+a0+a1cosωx+a2cos2ωx+……+aNcosNωx+b-Nsin(-N)ωx+b-N+1sin(-N+1)ωx+……+b-1sin(-1)ωx+b1sinωx+b2sin2ωx+……+bNsinNωx   ……(1)
在此，N为不超过(图像放大处理前的)采样频率fs所对应的奈奎斯特频率fs／2的最高频率的谐波的次数。即，
Nω／(2π)＜fs／2≤(N+1)ω／(2π)
通过上述式(1)，以由函数f(x)表示的输入图像信号Sin(以下也称为“输入信号f(x)”)的直流成分a0以外的部分为g(x)时，
g(x)＝a-Ncos(-N)ωx+a-N+1cos(-N+１)ωx……+a-1cos(-1)ωx+a1cosωx+a2cos2ωx+……+aNcosNωx+b-Nsin(-N)ωx+b-N+1sin(-N+1)ωx+……+b-1sin(-1)ωx+b1sinωx+b2sin2ωx+……+bNsinNωx   ……(2)
从HPF11输出的第一信号S1包含上述信号g(x)或信号g(x)的高频成分，从平方运算器12输出的平方信号S12为将该第一信号S1平方而得的信号。在此，求(g(x))2时，通过上述式(2)，该(g(x))2的各项由下述式的任一个表示。
aicosiωx·ajcosjωx  ……(3a)
aicosiωx·bjsinjωx  ……(3b)
bisiniωx·bjsinjωx  ……(3c)
(i＝±1、±2、……、±N；j＝±1、±2、……、±N)使用与三角函数相关的公式能够将上述式改写为下述这样。
(aiaj／2)[cos(i+j)ωx+cos(i-j)ωx]  ……(4a)
(aibj／2)[sin(i+j)ωx-sin(i-j)ωx]  ……(4b)
(-bibj／2)[cos(i+j)ωx-cos(i-j)ωx]  ……(4c)
通过上述式，(g(x))2，由于包含(N+1)ω、(N+2)ω、……、2Nω等的角频率成分，因此包含比奈奎斯特频率fs／2高的频率成分。因此，平方信号S12也如频率2Nω／(2π)的谐波成分等那样包含比奈奎斯特频率fs／2高的频率成分。在如(g(x))2这样为偶数次方的情况下，在上述式(4a)(4c)所示的项中存在产生直流成分的情况。对此，在本实施方式中，通过第一微分器13将该直流部分除去(参照图1)。
因此，如果如上所述那样进行将数字图像信号上变频而使像素数在水平方向为2倍的图像放大处理后的图像信号，作为输入图像信号Sin被输入至本实施方式的图像增强装置100，则基于平方运算器12的处理，包含比图像放大处理前的奈奎斯特频率fs／2高的频率成分的第二信号S2作为补偿用信号被生成，该第二信号S2被附加至输入图像信号Sin。其结果是，输出图像信号Sout的频谱成为图8(B)所示的那样，与现有技术的图像增强装置相比，能够使实施放大处理后的图像充分的清晰。另外，附加有输入图像信号Sin中不包含的高频成分即比原始的奈奎斯特频率fs／2高的频率成分，图像被清晰化，就这点而言，能够说本实施方式能够使输入图像信号Sin表示的图像高分辨率化。此外，基于上述的说明(参照式(1)～(4c))，应输入至非线性处理部102的第一信号S1从原理上讲只要是从输入图像信号Sin除去直流成分后的信号即可，也可以代替HPF11，使用将输入图像信号Sin所包含的频率成分中的至少直流成分除去的其他的滤波器。
(1.3效果)
如上所述，根据本实施方式，对从输入图像信号Sin由HPF11提取的作为高频成分的第一信号S1进行基于平方运算器12的处理，生成平方信号S12，基于该平方信号S12，以使得第一信号S1的正负被保存的方式生成的第二信号S2，作为补偿用信号被与输入图像信号Sin进行加法运算。由此，图像被充分地清晰化，比现有技术的图像增强装置能够更大幅改善画质。另外，能够以图1～图4所示的简单的结构实现本实施方式的图像增强装置100，因此通过将该图像增强装置100使用在高清晰电视(HDTV)或标准画质电视(SDTV)的接收机等中，不仅对于静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。而且，本实施方式中的非线性处理部102内的平方运算器12和乘法运算器15虽然可以作为硬件乘法运算器实现，但由于输入图像信号Sin等的比特数并不大(例如在为256灰度等级的图像的情况下为8比特)，所以也能够将平方运算器12和乘法运算器15作为ROM(Read Only Memory，只读存储器)表而实现。这样的基于ROM表的实现，能够进行高速的处理，在对象为实时显示的运动图像的情况下有效。
另外，本实施方式能够进行现有技术的图像增强装置未能补偿的超过奈奎斯特频率fs／2的高频区域的补偿，因此在实施放大处理后的图像信号所表示的图像的清晰化带来的画质提高方面效果尤其好。例如在高清晰电视(HDTV)的接收机的显示器，对标准画质电视(SDTV：Standard Definition Television，标准分辨率电视)的图像信号实施放大处理而显示图像的情况下，本实施方式能够以简单的结构充分地使实时显示的运动图像清晰，本实施方式在这方面具有优异的效果。另外，现在比HDTV的像素数更多的4000×2000左右的像素数的显示器(以下称为“4k显示器”)以及用于与该4k显示器对应的电视广播的技术开发正在进行，在将HDTV用的图像信号上变频而以该4k显示器进行显示的情况下，本实施方式在同样的方面具有大的效果。
(1-4第一实施方式的变形例)
在上述说明中，说明了：输入图像信号Sin通过表示作为本实施方式的图像增强装置100的处理对象的图像的水平方向的像素列的数据列(像素值的系列)构成，HPF11、第一和第二微分器13、14根据该图像的水平频率、水平方向的像素值的变化而进行滤波处理、微分处理。即，能够说：在上述实施方式中，对该图像的水平方向进行图像增强处理。但是，除了水平方向的图像增强处理，优选还进行该图像的垂直方向的图像增强处理。因此，如图9所示那样，图像增强装置优选具备用于水平方向的图像增强处理的水平方向处理部1100和用于垂直方向的图像增强处理的垂直方向处理部1200。在该结构中，表示作为处理对象的图像的输入图像信号SI被输入至水平方向处理部1100，来自水平方向处理部1100的输出信号被输入至垂直方向处理部1200，来自垂直方向处理部1200的输出信号成为该图像增强装置的输出图像信号SO。此外，在该结构中，也可以调换(交换)水平方向处理部1100与垂直方向处理部1200的前后关系，输入图像信号SI被输入至垂直方向处理部1200，来自垂直方向处理部1200的输出信号被输入至水平方向处理部1100。
如果输入图像信号SI由表示作为处理对象的图像的垂直方向的像素列的数据列(像素值的系列)构成，则上述结构的垂直方向处理部1200能够以与本实施方式相同的结构(图1～图4)实现。但是，也可以使用与上述实施方式相同的输入图像信号SI(由表示水平方向的像素列的数据列构成的输入图像信号SI)，使HPF11为图10所示的结构，使第一和第二微分器13、14为图11所示的结构。在图2的结构中提取图像的水平方向的空间频率成分中的高频成分(至少将直流成分除去)，与此相对，在图10的结构中，提取图像的垂直方向的空间频率成分中的高频成分(至少将直流成分除去)。因此在图10的结构中，图2的结构中的单位延迟元件111～11m分别被置换为与1水平期间的量的延迟元件相当的线阵存储器(LM：line memory，也称为“线路存储器”)111B～11(m-1)B。但是，在图10的结构中，除了这点，与图2的结构相同，对同一部分附加相同的参照附图标记，省略其说明。另外，在图11的结构中，图4的结构中的单位延迟元件1021置换为与1水平期间的量相当的延迟元件的线阵存储器(LM)1021B，除了这点，与图4的结构相同，对同一部分附加相同的参照附图标记，省略其说明。此外，图4的结构中的第一微分器13形成为第二信号S2中不包含有关图像的水平方向的空间频率的直流成分，而图11的结构中的第一微分器13形成为第二信号S2中不包含有关图像的垂直方向的空间频率的直流成分。
另外，在以由电视接收机等显示的运动图像为处理对象的情况下，各像素值随时间而变化，因此设置用于时间方向的图像增强处理的时间方向处理部1300，如图12所示，优选图像增强装置除了具备上述水平方向处理部1100和垂直方向处理部1200外还具备时间方向处理部1300。在此情况下，使用与上述实施方式相同的输入图像信号SI，在上述实施方式中，使HPF11为图13所示的结构，使第一和第二微分器13、14为图14所示的结构，由此能够实现时间方向部1300。图13的结构中，除了图2的结构中的单位延迟元件111～11m被分别置换为与1帧期间的量的延迟元件相当的帧存储器(FM)111C～11(m-1)C之外，与图2的结构相同，对同一部分附加相同的参照附图标记，省略其说明。另外，图14的结构中，除了图4的结构中的单位延迟元件1021被置换为与1帧期间的量的延迟元件相当的帧存储器(FM)1021C之外，与图4的结构相同，对同一部分附加相同的参照附图标记，省略其说明。此外，图13的结构中的HPF11C，提取图像的时间方向的频率成分中的高频成分(至少除去直流成分)，图14的结构中的第一微分器13形成为：使第二信号S2不包含有关图像的时间方向的频率的直流成分。
此外，在本实施方式中，为了对第一信号S1实施非线性处理而设置了平方运算器12，但是也可以代替该平方运算器12，使用对第一信号S1进行4次方运算的4次方运算器，另外，一般而言，也可以使用生成与以2以上的偶数为幂指数的第一信号S1的乘幂相当的信号的乘幂运算器。另外，也可以将本实施方式中的第一微分器13和第二微分器14的一方或双方替换成其他的高通滤波器(HPF)。而且，通常微分器也能够看作是一种高通滤波器。
(2-第二实施方式)
图15是表示本发明的第二实施方式的图像增强装置的结构的框图。该图像增强装置200为对输入图像信号Sin实施图像增强处理的装置，该图像增强处理用于使作为数字信号从外部输入的该输入图像信号Sin所表示的图像清晰，该图像增强装置200包括HPF11、非线性处理部202和加法运算器16，其中，非线性处理部202具有绝对值处理器22以取代上述第一实施方式中的平方运算器12。本实施方式的其他部分与上述第一实施方式相同(图1～图4)，因此对相同的部分附加相同的参照附图标记，省略其说明。
在本实施方式中，从HPF11输出的第一信号S1，被输入至非线性处理部202的绝对值处理器22。绝对值处理器22生成与第一信号S1的绝对值相当的信号作为绝对值信号S22。即，使构成第一信号S1的数据列为X1、X2、X3、……时，绝对值信号S22为由数据列|X1|、|X2|、|X3|、……构成的数字信号。该绝对值信号S22被输入至第一微分器13，该微分器13通过对该绝对值信号S22进行微分而生成第一微分信号S23。该第一微分信号S23被输入至乘法运算器15。
另一方面，非线性处理部202的第二微分器14通过对输入图像信号Sin进行微分而生成第二微分信号S14。该第二微分信号S14也被输入至乘法运算器15。
乘法运算器15通过对第一微分信号S23和第二微分信号S14进行乘法运算而生成第二信号S2。该第二信号S2从非线性处理部102输出并被输入加法运算器16。
加法运算器16将上述第二信号S2作为用于使图像清晰的补偿用信号与输入图像信号Sin进行加法运算，由此生成输出图像信号Sout。
接着，着眼于对输入图像信号Sin中如图6(A)所示那样在水平方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处理，对上述那样构成的本实施方式的图像增强装置200的动作进行说明。
本实施方式也进行与上述第一实施方式的动作基本相同的动作。即，表示与图6(A)所示的边缘相当的部分的输入图像信号Sin被输入至本实施方式的图像增强装置200时，生成图5(C)所示的信号作为第一信号S1。在本实施方式中，该第一信号S1被输入至非线性处理部102中的绝对值处理器22。该绝对值处理器22由图5(C)所示的第一信号S1生成与图6(B)所示的信号S12类似的绝对值信号S22。即，绝对值处理器22，在使构成第一信号S1的数据列为X1、X2、X3、……时，生成由数据列|X1|、|X2|、|X3|、……构成的数字信号作为绝对值信号S22。与此相对，平方信号S12为由数据列X12、X22、X32、……构成的数字信号。因此，平方信号S12与绝对值信号S22的信号电平虽然不同，但是平方信号S12与绝对值信号S22整体的信号波形为同样的形状(图6(B))。
于是，由这样的绝对值信号S22，通过第一微分器13生成与图6(C)所示的第一微分信号S13相同的第一微分信号S23。通过此时的绝对值S22的微分除去直流成分。
另一方面，由输入图像信号Sin，通过第二微分器14生成图6(D)所示的第二微分信号S14。由该第二微分信号S14与上述第一微分信号S23，通过乘法运算器15生成图6(E)所示的第二信号S2。该第二信号S2作为补偿用信号在加法运算器16与输入图像信号Sin进行加法运算，由此生成图6(F)所示的输出图像信号Sout。该输出图像信号Sout的边缘部的上升，与现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))相比更陡。
从上述说明可知，从包含绝对值处理器22的非线性处理部102作为补偿用信号输出的第二信号S2，是通过对作为从HPF11输出的高频信号的第一信号S1(图5(C))实施非线性处理而得到的信号。另外，通过第一微分器13，第二信号S2成为不含直流成分的信号。进而，通过第二微分器14得到的第二微分信号S14，与第一微分信号S23进行乘法运算，由此第一信号(图5(C))的正负被实质保存在第二信号S2(图6(E))中。在本实施方式中，基于这样的对第一信号S1的处理的非线性和第一信号S1的正负保存性，输出图像信号Sout的边缘部的上升比现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))更陡(图6(F))，与现有技术相比能够得到更清晰的图像。
在本实施方式中，对第一信号S1的处理的非线性是基于绝对值处理器22的，绝对值处理器22进行的处理被施加于第一信号S1，由此生成比输入图像信号Sin的奈奎斯特频率fs／2高的频率成分。即，当将三角函数sinx的绝对值|sinx|以傅里叶级数展开时，包含cos(2πx)的项等、与x的2倍以上的频率成分对应的项出现。因此，通过绝对值处理器22生成的绝对值信号S22包含：含有输入图像信号Sin的高频成分的第一信号S1的谐波。于是，作为补偿用信号与输入图像信号Sin进行加法运算的第二信号S2，包含比上述奈奎斯特频率fs／2高的高频成分。
于是，根据本实施方式，与第一实施方式同样地能够比基于线性处理的现有技术的图像增强装置得到更大的画质改善。另外，能够以图15所示的简单的结构使图像充分清晰，因此，不仅对静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入图像信号Sin的情况下，与不能够进行超过奈奎斯特频率fs／2的高频区域的补偿的现有技术的图像增强装置相比，能够使放大处理后的图像充分清晰而大幅改善画质。
此外，在本实施方式中，也与第一实施方式同样地优选：除了进行水平方向的图像增强处理，还进行该图像的垂直方向的图像增强处理。因此，如图9所示那样，优选图像增强装置200具备用于水平方向的图像增强处理的水平方向处理部1100和用于垂直方向的图像增强处理的垂直方向处理部1200(参照图9～图11)。这一点在后述的其他实施方式中也相同。另外，在以由电视接收机等显示的运动图像为处理对象的情况下，各像素值随时间变化，因此优选：设置用于时间方向的图像增强处理的时间方向处理部1300，如图12所示，图像增强装置200除了具备上述水平方向处理部1100和垂直方向处理部1200，还具备时间方向处理部1300(参照图12～图14)。这一点在后述的其他实施方式中也相同。
(3-第三实施方式)
图16是表示本发明的第三实施方式的图像增强装置的结构的框图。该图像增强装置300为对作为数字信号从外部输入的输入图像信号Sin实施图像增强处理的装置，该图像增强处理用于使该输入图像信号Sin所表示的图像清晰，该图像增强装置300包括HPF11、非线性处理部302和加法运算器16，其中，非线性处理部302包括3次方运算器32和限制器33。本实施方式的结构中非线性处理部302以外的部分与上述第一实施方式相同(图1～图4)，因此对相同的部分附加相同的参照附图标记，省略其说明。
在本实施方式中，从HPF11输出的第一信号S1被输入非线性处理部302的3次方运算器32。3次方运算器32通过对第一信号S1进行3次方运算而生成3次方信号S32。即S32＝S13。此外，由于第一信号S1为数字信号(离散化的信号)，更详细而言，使构成第一信号S1的数据列为X1、X2、X3、……时，3次方信号S32为由数据列X13、X23、X33、……构成的数字信号。该3次方信号S32被输入至限制器33。
限制器33具有作为3次方信号S32振幅(信号电平)的调整器的功能。具体而言，通过使0≤α＜1的常数α与3次方信号S32相乘，进行该信号的电平的增益调整，进而，以使得3次方信号S32的增益调整后的振幅为规定的上限值以下的方式进行限幅(clipping)处理。例如，当3次方信号S32的增益调整后的信号值的绝对值超过32时，使限制器33的输出信号与其符号相对应地为±32。限制器33的输出信号从非线性处理部302作为第二信号S2被输出，被输入至加法运算器16。
加法运算器16通过将上述第二信号S2作为用于使图像清晰的补偿用信号与输入图像信号Sin相加，生成输出图像信号Sout。
接着，着眼于对输入图像信号Sin中如图17(A)所示那样在水平方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处理，对上述那样构成的本实施方式的图像增强装置300的动作进行说明。
当表示与图17(A)所示的边缘相当的部分的输入图像信号Sin被输入本实施方式的图像增强装置300时，生成图17(B)所示的信号作为第一信号S1。在本实施方式中，该第一信号S1被输入至非线性处理部102的3次方运算器32。3次方运算器32由第一信号S1生成图17(C)所示那样的3次方信号S32。在此，在使构成第一信号S1的数据列为X1、X2、X3、……时，该3次方信号S32为由数据列X13、X23、X33、……构成的数字信号。于是，在3次方信号S32中，第一信号S1的正负被保存。
这样的3次方信号S32，在限制器33中，通过增益调整和减幅处理对振幅进行调整后，作为第二信号S2从非线性处理部302被输出。通过将该第二信号S2作为补偿用信号在加法运算器16与输入图像信号Sin相加，生成图17(D)所示的输出图像信号Sout。该输出图像信号Sout的边缘部的上升，与现有技术的图像增强装置的输出信号的边缘部的上升(图5(D))相比更陡。
通过上述说明可知，作为补偿用信号与输入图像信号Sin进行加法运算的第二信号S2，是通过对作为从HPF11输出的高频信号的第一信号S1(图17(B))进行非线性处理而得到的信号。即该第二信号S2由第一信号S1通过3次方运算器32被生成，并且与基于平方运算器12的非线性处理不同，第一信号S1的正负被保存在第二信号S2中。在本实施方式中，基于这样的对第一信号S1的处理的非线性和第一信号S1的正负的保存性，输出图像信号Sout中的边缘部的上升比现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))更陡(图17(D))，与现有技术相比能够得到更清晰的图像。
在本实施方式中，对第一信号S1的处理的非线性基于3次方运算器32进行。即，在本实施方式中也与第一实施方式同样，从HPF11输出的第一信号S1包含上述式(2)所示的信号g(x)或信号g(x)的高频成分，从3次方运算器32输出的3次方信号S32是将该第一信号S1进行3次方运算而得的信号。于是，求取(g(x))3时，通过式(2)，该(g(x))3中的各项由下述式中的一个表示。
aicosiωx·ajcosjωx·akcoskωx  ……(5a)
aicosiωx·ajcosjωx·bksinkωx  ……(5b)
aicosiωx·bjsinjωx·bksinkωx  ……(5c)
bisiniωx·bjsinjωx·bksinkωx  ……(5d)
(i＝±1，±2，……，±N；j＝±1，±2，……，±N；k＝±1，±2，……，±N)
现在，例如着眼于i＝j＝k＝N的项之中上述式(5a)(5d)所示的下述项时，这些项能够通过三角函数公式改写为下述这样。
(aNcosNωx)3＝aN 3[(3／4)cosNωx+(1／4)cos3Nωx] ……(6a)
(bNsinNωx)3＝bN ３[(3／4)sinNωx-(1／4)sin3Nωx]  ……(6d)
另外，例如着眼于i＝j＝k＝-N的项之中由上述式(5a)(5d)所示的下述项时，该项能够通过三角函数公式改写为下述这样。
[aNcos(-Nωx)]3＝aN ３[(3／4)cos(-Nωx)+(1／4)cos(-3Nωx)]……(7a)
[bNsin(-Nωx)]3＝bN 3[(3／4)sin(-Nωx)-(1／4)sin(-3Nωx)]……(7d)
通过上述式(6a)(6d)(7a)(7d)，(g(x))3包含基本角函数ω的3N倍的频率成分和-3N倍的频率成分。针对(g(x))3中的其他项，也能够通过三角函数的公式改写，由此可知(g(x))3包含从基本角函数ω的-3N倍到3N倍的各种频率成分。
这样，(g(x))3包含：至第一信号S1所含的频率成分的3倍的频率成分为止的高频成分。因此，3次方信号S32也包含第一信号S1所包含的频率成分的3倍的频率成分等这样的充分比奈奎斯特频率fs／2高的频率成分。因此，根据本实施方式，能够比基于线性处理的现有技术的图像增强装置得到更大的画质改善。另外，由于能够以图16所示这样的简单的结构使图像充分清晰，因此不仅对于静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入图像信号的情况下，与不能够进行超过奈奎斯特频率fs／2的高频区域的补偿的现有技术中的图像增强装置相比，能够使放大处理后的图像充分清晰而大幅改善画质。
此外，在本实施方式中，为了对第一信号S1进行非线性处理而设置了3次方运算器32，但也可以代替该3次方运算器32而使用使第一信号S1进行5次方运算的5次方运算器，另外，更一般而言，也可以使用生成与以3以上的奇数为幂指数的第一信号S1的乘幂相当的信号的乘幂运算器。
(4.第四实施方式)
图18是表示本发明的第四实施方式的图像增强装置的结构的框图。该图像增强装置400为对作为数字信号从外部输入的输入图像信号Sin实施图像增强处理的装置，该图像增强处理用于使该输入图像信号Sin所表示的图像清晰，该图像增强装置400包括HPF11、非线性处理部402和加法运算器16，其中，非线性处理部402包括平方运算器12、符号变换器43和限制器33。本实施方式的结构中的除非线性处理部402以外的部分与上述第一实施方式相同(图1～图4)。另外，非线性处理部402中的平方运算器12和限制器33分别与第一实施方式中的平方运算器12和第三实施方式中的限制器33相同。对本实施方式的构成要素中与第一或第三实施方式中的构成要素相同的部分附加相同的参照附图标记，省略详细的说明。
在本实施方式中，从HPF11输出的第一信号S1被输入至非线性处理部402的平方运算器12。平方运算器12通过对第一信号S1进行平方(2次方)运算而生成平方信号S12。该平方信号S12被输入符号变换器43。第一信号S1也被输入该符号变换器43。
符号变换器43基于从HPF11输出的第一信号S1的符号比特信息，进行使第一信号S1的符号在平方信号S12中恢复(复活)的符号变换处理。即，符号变换器43保持(维持)平方信号S12中正负与第一信号S1相同的部分的正负不变，使平方信号S12中正负与第一信号不同的部分的正负颠倒(逆转)。通过该符号变换器43得到的信号，作为符号变换信号S43被输入限制器33。符号变换信号S43通过该限制器33与第三实施方式的限制器33同样地被调整振幅后，作为第二信号S2从非线性处理部402被输出。该第二信号S2作为补偿用信号被输入至加法运算器16。
加法运算器16将上述第二信号S2作为用于使图像清晰的补偿用信号与输入图像信号Sin进行加法运算，由此生成输出图像信号Sout。
接着，着眼于对输入图像信号Sin之中如图20(A)所示那样在水平方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处理，对上述那样构成的本实施方式的图像增强装置400的动作进行说明。
表示与图20(A)所示的边缘相当的部分的输入图像信号Sin被输入至本实施方式的图像增强装置400时，生成图20(B)所示的信号作为第一信号S1。在本实施方式中，该第一信号S1被输入至非线性处理部402中的平方运算器12。平方运算器12基于第一信号S1生成图20(C)所示的平方信号S12。
该平方信号S12通过符号变换器43被变换为图20(D)所示的符号变换信号S43。在该符号变换信号S43中，第一信号S1的正负被保存，另外，该符号变换信号S43能够通过对不包含直流成分的第一信号S1(图20(C))平方后实施符号变换处理而得到，因此不包含直流成分(图20(D))。
这样的符号变换信号S43在限制器33中被调整振幅后，作为第二信号S2从非线性处理部302输出。通过将该第二信号S2作为补偿用信号在加法运算器16与输入图像信号Sin进行加法运算，生成图20(E)所示的输出图像信号Sout。该输出图像信号Sout的边缘部的上升，与现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))相比更陡。
如上述说明可知，作为补偿用信号与输入图像信号Sin进行加法运算的第二信号S2，是通过对作为从HPF11输出的高频信号的第一信号S1(图20(B))实施非线性处理而得到的信号。即，该第二信号S2由第一信号S1通过平方运算器12而被生成，第一信号S1的正负通过符号变换器43保存在第二信号S2中。在本实施方式中，基于这样的对第一信号S1的处理的非线性和第一信号S1的正负的保存性，输出图像信号Sout中的边缘部的上升比现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))更陡(图20(E))，与现有技术相比能够得到更清晰的图像。
另外，第二信号S2基于平方运算器12的处理，包含比与输入信号Sin的采样频率fs对应的奈奎斯特频率fs／2高的频率成分。因此，根据本实施方式，能够比基于线性处理的现有技术的图像增强装置得到更大的画质改善。另外，能够以图18所示的简单的结构使图像充分清晰，因此，不仅对静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入图像信号的情况下，与不能够进行超过奈奎斯特频率fs／2的高频区域的补偿的现有技术的图像增强装置相比，能够使放大处理后的图像充分清晰而大幅改善画质。
此外，在本实施方式中，为了对第一信号S1进行非线性处理而设置了平方运算器12，但也可以代替该平方运算器12而使用使第一信号S1进行4次方运算的4次方运算器，另外，更一般而言，也可以使用生成与以2以上的偶数为幂指数的第一信号S1的乘幂相当的信号的乘幂运算器。
(5.第五实施方式)
图19是表示本发明的第五实施方式的图像增强装置的结构的框图。该图像增强装置500为对作为数字信号从外部输入的输入图像信号Sin实施图像增强处理的装置，该图像增强处理用于使该输入图像信号Sin所表示的图像清晰，该图像增强装置500包括HPF11、非线性处理部502和加法运算器16，其中，非线性处理部502包括平方运算器12、微分器13、符号变换器43和限制器33。本实施方式的结构中的除非线性处理部502以外的部分与上述第一实施方式相同(图1～图4)。另外，非线性处理部502中的平方运算器12和微分器13分别与第一实施方式中的平方运算器12和第一微分器13为相同的构成要素，非线性处理部502中的限制器33与第三实施方式中的限制器33为相同的构成要素。对本实施方式的构成要素中与第一或第三实施方式中的构成要素相同的部分附加相同的参照附图标记，省略详细的说明。
在本实施方式中，从HPF11输出的第一信号S1被输入至非线性处理部502的平方运算器12。平方运算器12通过对第一信号S1进行平方(2次方)运算而生成平方信号S12，该平方信号S12被输入至微分器13。该微分器13通过对平方信号S12进行微分而生成微分信号S13，该微分信号S13被输入至符号变换器43。第一信号S1也被输入至该符号变换器43。
符号变换器43基于从HPF11输出的第一信号S1的符号比特信息，进行使第一信号S1的符号在微分信号S13中恢复的符号变换处理。即，符号变换器43维持(保持)微分信号S13中正负与第一信号S1相同的部分的正负不变，使微分信号S13中正负与第一信号不同的部分的正负颠倒。通过该符号变换器43得到的信号，作为符号变换信号S44被输入至限制器33。符号变换信号S44通过该限制器33与第三实施方式的限制器33同样地被调整振幅后，作为第二信号S2从非线性处理部502输出。该第二信号S2作为补偿用信号被输入至加法运算器16。
接着，着眼于对输入图像信号Sin之中如图21(A)所示那样在水平方向图像信号的电平(像素值)发生变化的边缘所相当的部分的处理，对上述那样构成的本实施方式的图像增强装置500的动作进行说明。
表示与图21(A)所示的边缘相当的部分的输入图像信号Sin被输入至本实施方式的图像增强装置500时，图21(B)所示的信号作为第一信号S1被生成。在本实施方式中，该第一信号S1被输入至非线性处理部502中的平方运算器12。平方运算器12由第一信号S1生成图21(C)所示的平方信号S12。
该平方信号S12被输入至微分器13，通过该微分器13生成图21(D)所示的微分信号S13。在该微分信号S13中，平方信号S12所包含的直流成分已被除去。该微分信号S13通过符号变换器43变换为图21(E)所示的符号变换信号S44。在该符号变换信号S44中，第一信号S1的正负被保存。
这样的符号变换信号S43在限制器33之被调整振幅后，作为第二信号S2从非线性处理部302输出。通过将该第二信号S2作为补偿用信号在加法运算器16与输入图像信号Sin进行加法运算，生成图21(F)所示的输出图像信号Sout。该输出图像信号Sout的边缘部的上升，与现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))相比更陡。
根据上述说明可知，作为补偿用信号与输入图像信号Sin进行加法运算的第二信号S2，是通过对作为从HPF11输出的高频信号的第一信号S1(图21(B))实施非线性处理而得到的信号。即，该第二信号S2由第一信号S1通过平方运算器12而被生成，通过微分器13被除去直流成分，并且通过符号变换器43将第一信号S1的正负保存在第二信号S2中。在本实施方式中，基于这样的对第一信号S1的处理的非线性和第一信号S1的正负的保存性，输出图像信号Sout中的边缘部的上升比现有技术的图像增强装置的图像输出信号的边缘部的上升(图5(D))更陡(图20(F))，与现有技术相比能够得到更清晰的图像。
另外，第二信号S2基于平方运算器12的处理，包含比与输入图像信号Sin的采样频率fs对应的奈奎斯特频率fs／2高的频率成分。于是，根据本实施方式，能够比基于线性处理的现有技术的图像增强装置得到更大的图像改善。另外，由于能够以图19所示这样的简单的结构充分使图像清晰，因此不仅对于静止图像，而且对于实时显示的运动图像也能够在不导致成本大幅增加的情况下改善画质。进而，在以图像放大处理后的图像信号为输入信号的情况下，与不能够进行超过奈奎斯特频率fs／2的高频区域(高频域)的补偿的现有技术的图像增强装置相比，能够使放大处理后的图像充分清晰而大幅改善画质。
在本实施方式中，为了对第一信号S1进行非线性处理而使用了平方运算器12，但也可以代之而使用在第二实施方式中使用的绝对值处理器22。此时，能够通过与本实施方式基本相同的动作得到同样的效果(参照图21)。
此外，在本实施方式中，为了对第一信号S1实施非线性处理而设置了平方运算器12，但也可以取代该平方运算器12而使用对第一信号S1进行4次方运算的4次方运算器，另外，更一般而言，也可以使用生成与以2以上的偶数为幂指数的第一信号S1的乘幂运算相当的信号的乘幂运算器。另外，在本实施方式中，为了除去平方信号S12的直流成分而使用了微分器13，但也可以代之使用高通滤波器(HPF)。进而，在本实施方式中微分器13配置在符号变换器43的前级，但也可以代之而将微分器13或HPF配置在符号变换器43的后级。
(6.其他的实施方式)
在以上说明的实施方式中，非线性处理部中的非线性基于平方运算、3次方运算(更一般而言，以2以上的偶数或3以上的奇数为幂指数的乘幂运算)，或者基于绝对值处理，但是通过其他的非线性运算也能够得到与上述各实施方式同样的效果。
以下，将这样的用于非线性运算的非线性运算器的输入信号值设为x、输出信号值设为y，使该非线性运算器的处理以函数f(x)表示(y＝f(x))。在本发明中，能够使用进行与线性或正负对称地单调增加的非线性函数f(x)相当的处理的非线性运算器。此外，这里的单调增加是指单调非减少。另外，该非线性函数f(x)，没有必要随所有的x单调增加，至少在0附近单调增加即可。进而，优选该非线性函数f(x)至少在0附近的规定区间中f(x)＞x。
例如，通过使用进行与正负对称地单调增加的上述这样的非线性函数f(x)相当的处理的非线性运算器62的图22所示的结构的图像增强装置600、或使用该非线性运算器62的图23所示的结构的图像增强装置700，也能够将输入图像信号Sin中不包含的高频成分即比原信号的奈奎斯特频率fs／2高的高频成分附加至图像，实现与上述各实施方式相同的效果。图22的图像增强装置600的结构为：在图18所示的第四实施方式的图像增强装置400中，取代平方运算器12而使用上述非线性运算器62，在第四实施方式的变形例中也能够取代图18的图像增强装置400而使用图22的图像增强装置600。另外，图23的图像增强装置700为在图19所示的第五实施方式的图像增强装置500中，取代平方运算器12而使用上述非线性运算器62的结构，在第五实施方式的变形例中也能够取代图19的图像增强装置500而使用图23的图像增强装置700。
作为表示图22或图23所示的结构中的非线性运算器62的处理的函数f(x)，即正负对称且单调非减少、(优选)f(x)＞x的非线性函数，除了f(x)＝x2n(n为自然数)之外，例如也能够使用下述的函数f(x)。
f(x)＝|x|1/2  ……(8)
f(x)＝|x|1/10  ······(9)
上述式(8)的函数f(x)和上述式(9)的函数f(x)，在x＝0～1之间增加较大，因此在本实施方式中的图像增强装置中，使用该区间。
如果输入图像信号Sin为8比特的数字信号，则像素值取0～255的值。在此，实际上使用上述函数时，以255使像素值x正规化(标准化)。例如对于上述式(8)的函数，以x／255置换右边的x，并且在右边乘以255。即，使用下面的函数。
f(x)＝255|x／255|1/2  ……(10)
根据上述式(10)的函数，满足f(x)＞x。此外，如果输入图像信号Sin为10比特的数字信号，则以1023进行正规化即可。
在上述式(10)的函数中，对式(8)的函数正规化后乘以255，但是该乘法运算的值并非必须为与用于正规化的值(本例中为255)相同的值。例如也可以为f(x)＝100|x／255|1/2，只要满足f(x)＞x的条件即可。
采用上述方法时，下述的三角函数f(x)，也能够作为表示上述非线性运算器62的处理的非线性函数使用。
f(x)＝255|sin[(x／255)(π／2)]|  ……(11)
(7.实际图像的验证)
为了验证本发明的效果，对实际的图像进行本发明的图像增强处理。下面，针对该图像增强处理的结果进行说明。
图24表示为了验证本发明的效果而使用的图像(下面称为“原始图像”(即，“原图像”))，该原始图像为了配合图面上的登载(刊登)空间，比实际尺寸缩小。图25为切取该原始图像中的右上部分、进行纵、横2倍的放大处理后的图像，作为图像增强处理的对象(以下称为“对象图像”)。该对象图像不具有与放大处理后的采样频率Fb＝2fs对应的奈奎斯特频率Fb／2＝fs附近的频率成分(参照图8(A))。此外，图24和图25中，考虑到打印(print out)的情况等的方便性而采用伪(pseudo：仿)灰度等级显示法。这点在后面叙述的图26和图27也是相同的。
图26(B)表示对对象图像实施基于线性处理的现有技术的图像增强处理后的图像，为了比较，图26(A)表示对象图像。如已经叙述的那样，对象图像不具有放大处理后的奈奎斯特频率Fb／2＝fs附近的频率成分(参照图8(A))，即使对该对象图像实施现有技术的图像增强处理也不能提升画质，在图26(A)的对象图像与图26(B)的图像之间，几乎未发现清晰度、分辨率方面有任何差别。
图27(A)表示在水平方向和垂直方向分别对对象图像实施使用了绝对值处理器22的图15所示的结构的图像增强处理作为一维处理之后的图像(参照图9)。在图27(A)的图像中，与图26(A)的对象图像相比，以围巾、椅子靠背为中心清晰度、分辨率提高，在该方面，图27(A)的图像与图26(B)的图像相比大幅不同。因此，基于图15的结构进行的图像增强处理，与基于线性处理的现有技术的图像增强处理相比，显然能够充分地使放大处理后的图像清晰、大幅改善画质。
图27(B)表示在水平方向和垂直方向各一次地对对象图像实施使用了3次方运算器32的图16所示的结构的图像增强处理后的图像(参照图9)。在该图像增强处理中，输入图像信号Sin为8比特，用于限制器33中的增益调整的常数α为0.03、用于限幅处理的上限值为±32。将图27(B)的图像与图27(A)相比较，在围巾、椅子靠背部分的画质改善(清晰)方面，图27(A)的图像更胜一筹，但在眼睛和嘴唇等这样的图像信号振幅较小的部分，图27(B)的图像更胜一筹。由此可知，图15的结构与图16的结构相比，对振幅小的图像信号，图16的结构即使用3次方运算器32的结构能够给予好的效果；对振幅大的图像信号，图15的结构即使用绝对值处理器22的结构能够给予好的效果。因此，考虑这方面，为了使整个图像清晰从而提高图像的画质，优选为共用图15的结构和图16的结构。
(8.其他的变形例)
以上，作为本发明的实施方式，对于为了进行非线性处理，使用平方运算器12的第一、第四和第五实施方式，使用绝对值处理器22的第二实施方式，以及使用3次方运算器32的第三实施方式进行了说明，但是本发明的图像增强装置也可以为将这些第一～第五实施方式或它们的变形例(图9～图14)中的任意几个进行共用或组合的结构。
另外，上述各实施方式作为硬件(LSI等电路)被实现，但也可以使这些结构的一部分或全部以软件实现。例如，通过使图28所示那样的个人计算机(下面称为“计算机”)800执行程序，能够以软件实现本发明的图像增强装置，其中，该程序例如是用于进行图1、图15、图16、图18和图19分别表示的第一、第二、第三、第四和第五实施方式以及图22和图23表示的其他实施方式中的任一个实施方式，或者其变形例的图像增强处理的程序(下面称为“图像增强程序”)。特别是，在作为对象的图像为静止图像时，通过这样以软件实现的图像增强装置也能够充分地进行实用的图像增强处理，在通过使图像清晰而提高画质方面能够得到与上述各实施方式同样的效果。
上述的计算机800为通用的计算机，构成为：以总线连接作为中央处理装置的CPU801、存储器803、调制解调器805、显示控制部807、输入接口部809、硬盘装置811和CD-ROM(Compact Disc Read OnlyMemory，光盘只读存储器)驱动装置813，在输入接口部809连接有键盘和鼠标等操作部810，在显示控制部807连接有CRT或液晶显示器等显示装置815。上述图像增强程序，典型地由作为记录有该程序的记录介质的CD-ROM提供。即，使用者购买作为上述图像增强程序的记录介质的CD-ROM850，安装在CD-ROM驱动装置813，从该CD-ROM850读出该程序，安装于硬盘装置811。另外，也可以代替这种方式，接收通过与调制解调器805连接的通信线路输送来的图像增强程序，安装在硬盘装置811。进而，也可以为如下方式：制造商在计算机800出货前将上述图像增强程序安装于硬盘装置811。这样，安装在硬盘装置811的图像增强程序，由使用者对操作部810进行规定操作而启动(起动)时，转送至存储器803并被暂时存储，由CPU801执行。由此，计算机800作为进行与上述各实施方式或其变形例的图像增强装置同样的图像增强处理的装置进行动作。在这样以软件实现的图像增强装置中，表示成为图像增强处理的对象的图像的数据作为对象图像数据预先存储在硬盘装置811中，上述图像增强程序被启动时，对该图像数据，基于图像增强程序由CPU801进行图像增强处理，处理后的图像数据(下面称为“完成处理后的图像数据”)被生成，存储于硬盘装置811。
上面，对用于改善画质的图像增强处理，例如用于改善在电视(TV)接收机实时显示的运动图像的质量的图像增强处理进行了说明。但本发明不限于这样的图像增强处理，也能够应用在进行用于提高音质(声音质量)的信号处理、以及用于提高包含声音等的内容的质量的信号处理的装置中，另外，也能够应用在进行用于提高通过通信线路输送来的信号的质量的信号处理的装置中。由于能够在这样的进行本发明的信号处理的装置中通过非线性处理得到原始信号的谐波，因此通过该装置生成的信号包含比与使输入信号离散化的情况下的采样频率fs对应的奈奎斯特频率fs／2高的频率成分。由此，对于信号的质量(音质、画质等)，能够实现比基于线性处理的现有技术的信号处理更大的改善，另外，能够以简单的结构提高信号的质量。
产业上的可利用性
本发明应用在用于使图像清晰而改善画质的图像增强装置、图像增强方法和图像增强程序，能够应用在用于使例如电视(TV)接收机实时显示的运动图像清晰的图像增强装置。
附图标记的说明
11、11B、11C  ……高频通过滤波器(HPF)
12  ……平方运算器(乘幂运算器)
13  ……第一微分器
14  ……第二微分器
15  ……乘法运算器
16  ……加法运算器
22  ……绝对值处理器
32  ……3次方运算器(乘幂运算器)
33  ……限制器
43  ……符号变换器
62  ……非线性运算器
100  ……图像增强装置(第一实施方式)
102  ……非线性处理部
110、110B、110C  ……数字滤波器
132  ……舍入处理器
133  ……限制器
200  ……图像增强装置(第二实施方式)
202  ……非线性处理部
300  ……图像增强装置(第三实施方式)
302  ……非线性处理部
400  ……图像增强装置(第四实施方式)
402  ……非线性处理部
500  ……图像增强装置(第五实施方式)
502  ……非线性处理部
Sin  ……输入图像信号(输入信号)
Sout  ……输出图像信号
S1  ……第一信号
S2  ……第二信号
S12  ……平方信号(第三信号)
S13  ……第一微分信号(第四信号)
S14  ……第二微分信号(第五信号)
S22  ……绝对值信号(第三信号)
S32  ……3次方信号(第三信号)

Claims (10)

1.一种图像增强装置，其用于使输入信号所表示的图像清晰，该图像增强装置的特征在于，包括：
滤波部，其通过将表示图像的输入信号所包含的频率成分中的至少直流成分从该输入信号除去而生成第一信号；
非线性处理部，其通过对所述第一信号实施非线性处理而生成第二信号；和
将所述第二信号与所述输入信号相加的加法运算部，其中，
所述非线性处理部，
通过以2以上的偶数为幂指数对所述第一信号进行乘幂运算而生成第三信号，
基于所述第三信号生成所述第二信号，使得所述第一信号的正负被保存在所述第二信号中。
2.如权利要求1所述的图像增强装置，其特征在于：
所述非线性处理部包括：
通过以2以上的偶数为幂指数对所述第一信号进行乘幂运算而生成所述第三信号的乘幂运算器；
通过对所述第三信号进行微分而生成第四信号的第一微分器；
通过对所述输入信号进行微分而生成第五信号的第二微分器；和
基于所述第四信号与所述第五信号的积，生成所述第二信号的乘法运算器。
3.如权利要求1所述的图像增强装置，其特征在于：
所述非线性处理部包括：
通过以2以上的偶数为幂指数对所述第一信号进行乘幂运算而生成所述第三信号的乘幂运算器；和
符号变换器，其基于所述第一信号使所述第三信号中正负与所述第一信号不同的部分的正负颠倒，以基于所述第三信号生成所述第二信号。
4.如权利要求1所述的图像增强装置，其特征在于：
所述非线性处理部包括：
通过以2以上的偶数为幂指数对所述第一信号进行乘幂运算而生成所述第三信号的乘幂运算器；
通过除去所述第三信号的直流成分而生成第四信号的滤波器；和
符号变换器，其基于所述第一信号使所述第四信号中正负与所述第一信号不同的部分的正负颠倒，以基于所述第四信号生成所述第二信号。
5.如权利要求1所述的图像增强装置，其特征在于：
所述滤波部包括抽头数为3以上的高频通过型数字滤波器。
6.如权利要求1所述的图像增强装置，其特征在于：
所述滤波部包括：
滤波器，其用于将所述输入信号所包含的频率成分中的至少直流成分从所述输入信号除去；
舍入处理器，其将由所述滤波器得到的信号中绝对值比规定的下限值小的部分的信号值改变为0；和
限制器，其将由所述滤波器得到的信号中绝对值比规定的上限值大的部分的信号值的绝对值改变为该上限值以下的规定值，
将由所述滤波器得到的信号经过所述舍入处理器和所述限制器的处理之后，作为所述第一信号输出。
7.如权利要求1所述的图像增强装置，其特征在于：
所述非线性处理部包括：用于对所述第二信号的振幅进行调整的调整器。
8.如权利要求1所述的图像增强装置，其特征在于：
所述滤波部通过将所述图像的水平方向的空间频率成分中的至少直流成分从该输入信号除去而生成所述第一信号，
所述非线性处理部以所述第二信号不包含所述图像的水平方向的空间频率的直流成分的方式生成所述第二信号。
9.如权利要求1所述的图像增强装置，其特征在于：
所述滤波部通过将所述图像的垂直方向的空间频率成分中的至少直流成分从该输入信号除去而生成所述第一信号，
所述非线性处理部以所述第二信号不包含所述图像的垂直方向的空间频率的直流成分的方式生成所述第二信号。
10.如权利要求1所述的图像增强装置，其特征在于：
所述图像为运动图像，
所述滤波部通过将所述图像的时间方向的频率成分中的至少直流成分从该输入信号除去而生成所述第一信号，
所述非线性处理部以所述第二信号不包含所述图像的时间方向的频率的直流成分的方式生成所述第二信号。
CN200980158237.XA 2009-03-31 2009-10-14 图像增强装置、图像增强方法、图像增强程序和信号处理装置 Expired - Fee Related CN102362486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510005986.6A CN104539826B (zh) 2009-03-31 2009-10-14 图像增强装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-088058 2009-03-31
JP2009088058 2009-03-31
PCT/JP2009/067787 WO2010113342A1 (ja) 2009-03-31 2009-10-14 画像強調装置、画像強調方法、画像強調プログラム、および信号処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510005986.6A Division CN104539826B (zh) 2009-03-31 2009-10-14 图像增强装置

Publications (2)

Publication Number Publication Date
CN102362486A CN102362486A (zh) 2012-02-22
CN102362486B true CN102362486B (zh) 2015-02-04

Family

ID=42827666

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510005986.6A Expired - Fee Related CN104539826B (zh) 2009-03-31 2009-10-14 图像增强装置
CN200980158237.XA Expired - Fee Related CN102362486B (zh) 2009-03-31 2009-10-14 图像增强装置、图像增强方法、图像增强程序和信号处理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510005986.6A Expired - Fee Related CN104539826B (zh) 2009-03-31 2009-10-14 图像增强装置

Country Status (7)

Country Link
US (1) US8508667B2 (zh)
EP (1) EP2416557A4 (zh)
JP (1) JP5281690B2 (zh)
CN (2) CN104539826B (zh)
BR (1) BRPI0924760A2 (zh)
RU (1) RU2497301C2 (zh)
WO (1) WO2010113342A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140281A1 (ja) 2009-06-04 2010-12-09 シャープ株式会社 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
WO2010146728A1 (ja) 2009-06-16 2010-12-23 シャープ株式会社 波形整形装置、等化器、受信システム、波形整形装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US8824825B2 (en) 2009-11-17 2014-09-02 Sharp Kabushiki Kaisha Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon
JP5291804B2 (ja) 2009-11-17 2013-09-18 シャープ株式会社 符号化装置、符号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
CN102771111B (zh) * 2010-02-15 2015-04-29 夏普株式会社 信号处理装置和集成电路
US8687852B2 (en) * 2010-02-15 2014-04-01 Sharp Kabushiki Kaisha Motion detection device, control program, and integrated circuit
JP5583780B2 (ja) 2010-09-29 2014-09-03 シャープ株式会社 信号処理装置および集積回路
WO2012124591A1 (ja) * 2011-03-15 2012-09-20 シャープ株式会社 信号処理装置、制御プログラム、および集積回路
JP2014135528A (ja) * 2011-04-27 2014-07-24 Sharp Corp 画像処理装置、表示装置、画像処理方法および画像処理プログラム
JP5932399B2 (ja) * 2012-03-02 2016-06-08 キヤノン株式会社 撮像装置及び音声処理装置
US8760580B2 (en) * 2012-06-19 2014-06-24 Silicon Integrated Systems Corp. Image sharpness device and method for the same
JP5320538B1 (ja) * 2012-08-09 2013-10-23 清一 合志 画像強調装置、画像強調方法
JP5396626B1 (ja) * 2012-08-09 2014-01-22 清一 合志 画像強調装置、画像強調方法
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9536288B2 (en) 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9066025B2 (en) * 2013-03-15 2015-06-23 Samsung Electronics Co., Ltd. Control of frequency lifting super-resolution with image features
US9349188B2 (en) * 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
JP5629902B1 (ja) * 2013-08-20 2014-11-26 合志　清一 画像処理装置、画像処理方法
JP5730362B2 (ja) * 2013-08-30 2015-06-10 合志　清一 画像処理装置及び画像処理方法
WO2015115168A1 (ja) 2014-01-28 2015-08-06 シャープ株式会社 画像処理装置
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
WO2017123487A1 (en) * 2016-01-15 2017-07-20 Vid Scale, Inc. System and method for enhanced motion compensation using adaptive filtering
CN108932103A (zh) * 2018-06-29 2018-12-04 北京微播视界科技有限公司 标识用户兴趣的方法、装置、终端设备及存储介质
CN112435195B (zh) * 2020-12-02 2024-06-04 湖南优象科技有限公司 一种基于自适应分数阶微分的图像增强方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2203013A (en) * 1987-03-31 1988-10-05 Sony Corp Aperture correction circuits
US6295322B1 (en) * 1998-07-09 2001-09-25 North Shore Laboratories, Inc. Processing apparatus for synthetically extending the bandwidth of a spatially-sampled video image
US6377313B1 (en) * 1999-09-02 2002-04-23 Techwell, Inc. Sharpness enhancement circuit for video signals
CN101014088A (zh) * 2006-02-02 2007-08-08 日本胜利株式会社 图像信号处理装置以及轮廓增强装置
CN101043579A (zh) * 2006-03-23 2007-09-26 三星电子株式会社 数字图像中细微细节恢复方法
US20080050032A1 (en) * 2005-02-22 2008-02-28 Yoshiaki Okuno Image Processing Apparatus, Image Processing Method, and Image Display Apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07312704A (ja) 1994-05-18 1995-11-28 Victor Co Of Japan Ltd 画質補償回路
KR0170657B1 (ko) * 1994-08-31 1999-03-30 김광호 색신호에 있는 윤곽을 보정하는 방법 및 이를 칼라 비디오기기에서 구현하기 위한 회로
JPH08139969A (ja) * 1994-11-08 1996-05-31 Matsushita Electric Ind Co Ltd 輪郭補正回路
JPH09319869A (ja) * 1996-05-28 1997-12-12 Nippon Hoso Kyokai <Nhk> 画像エンハンサ
US7302112B2 (en) 2001-04-11 2007-11-27 Sony Corporation Contour-emphasizing circuit
JP4116649B2 (ja) 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法
JP4475255B2 (ja) * 2006-06-19 2010-06-09 ソニー株式会社 画像処理装置
JP2008103785A (ja) * 2006-10-17 2008-05-01 Sony Corp 輪郭強調回路、輪郭強調方法、撮像装置およびビューファインダ
RU2007116225A (ru) * 2007-04-28 2008-11-10 Корпораци "Самсунг Электроникс Ко., Лтд." (KR) Способ адаптивного повышения резкости изображения

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2203013A (en) * 1987-03-31 1988-10-05 Sony Corp Aperture correction circuits
US6295322B1 (en) * 1998-07-09 2001-09-25 North Shore Laboratories, Inc. Processing apparatus for synthetically extending the bandwidth of a spatially-sampled video image
US6377313B1 (en) * 1999-09-02 2002-04-23 Techwell, Inc. Sharpness enhancement circuit for video signals
US20080050032A1 (en) * 2005-02-22 2008-02-28 Yoshiaki Okuno Image Processing Apparatus, Image Processing Method, and Image Display Apparatus
CN101014088A (zh) * 2006-02-02 2007-08-08 日本胜利株式会社 图像信号处理装置以及轮廓增强装置
CN101043579A (zh) * 2006-03-23 2007-09-26 三星电子株式会社 数字图像中细微细节恢复方法

Also Published As

Publication number Publication date
WO2010113342A1 (ja) 2010-10-07
CN104539826A (zh) 2015-04-22
EP2416557A4 (en) 2013-01-23
RU2011143859A (ru) 2013-05-10
BRPI0924760A2 (pt) 2016-01-26
US20110279730A1 (en) 2011-11-17
CN102362486A (zh) 2012-02-22
JPWO2010113342A1 (ja) 2012-10-04
CN104539826B (zh) 2017-09-08
US8508667B2 (en) 2013-08-13
JP5281690B2 (ja) 2013-09-04
EP2416557A1 (en) 2012-02-08
RU2497301C2 (ru) 2013-10-27

Similar Documents

Publication Publication Date Title
CN102362486B (zh) 图像增强装置、图像增强方法、图像增强程序和信号处理装置
JP4556276B2 (ja) 画像処理回路及び画像処理方法
CN102771111B (zh) 信号处理装置和集成电路
US8655101B2 (en) Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein
CN100471230C (zh) 降噪方法和设备
WO2012043407A1 (ja) 信号処理装置、制御プログラム、および集積回路
WO2011061958A1 (ja) 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5291804B2 (ja) 符号化装置、符号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US9014502B2 (en) Signal processing device, control program and integrated circuit
EP2733920B1 (en) Iimage enhancing device and image enhancing method
EP2961151B1 (en) Image processing device, image processing method
EP3038341B1 (en) Image processing device, and image processing method
EP3041213A1 (en) Image processing device and image processing method
JP5396626B1 (ja) 画像強調装置、画像強調方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150204

Termination date: 20211014

CF01 Termination of patent right due to non-payment of annual fee