CN105075232A

CN105075232A - 图像处理装置、图像处理方法

Info

Publication number: CN105075232A
Application number: CN201480009966.XA
Authority: CN
Inventors: 合志清一; 小笠原仁; 中村晋一郎
Original assignee: Metering Technology Inst Of Co Ltd
Current assignee: Metering Technology Inst Of Co Ltd
Priority date: 2013-02-25
Filing date: 2014-02-25
Publication date: 2015-11-18
Anticipated expiration: 2034-02-25
Also published as: JP2014165679A; WO2014129209A1; EP2961151B1; CN105075232B; JP5403450B1; EP2961151A4; EP2961151A1; US20150373234A1; KR20150122656A; US9374508B2

Abstract

本发明涉及图像处理装置、图像处理方法。在超过输入图像的水平以及垂直方向的频率分量的频率区域中不生成重复水平以及垂直方向的清晰化处理的频率分量就使图像清晰化。本发明的图像处理装置具备：垂直滤波器，其除去输入图像信号的垂直方向的频率分量的高频部分；水平清晰化处理部，其生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；水平滤波器，其除去输入图像信号的水平方向的频率分量的高频部分；以及垂直清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，在所述水平清晰化处理部的前级配置有所述垂直滤波器的水平方向处理部和在所述垂直清晰化处理部的前级配置有所述水平滤波器的垂直方向处理部被以串联或者并联的方式连接并使输入图像清晰化。

Description

图像处理装置、图像处理方法

本申请主张日本专利申请2013－035186号(于2013年2月25日申请)的优先权，并在此引用该申请的全部公开内容用于参照。

技术领域

本发明涉及用于使图像清晰化来改善画质的图像处理装置以及图像处理方法，例如涉及适合利用电视机(TV)接收器实时显示的视频的清晰化的图像处理装置以及图像处理方法。

背景技术

在利用全高清(HDTV：HighDefinitionTelevision，1080×1920像素)的电视机接收器放大显示分辨率不足HDTV的图像信号的情况下，图像被模糊地显示。另外，将具有HDTV的分辨率的图像信号放大为更高清的分辨率(例如4000×2000像素左右的4K分辨率)的情况也相同，图像被模糊地显示。因此，在现有的电视机接收器中，进行了使相当于被显示的图像的轮廓部的影像信号的上升、下降陡峭的轮廓补偿。在该轮廓补偿中，提取输入图像信号(亮度信号)的高频分量，对该高频分量进行放大并与输入图像信号相加，来使视觉上的画质提高。

这里，通过对图像的水平方向以及垂直方向的高频分量实施清晰化处理，从而在清晰化处理后的图像中发生斜线看起来晃眼的现象，特别是在通过非线性处理生成超过奈奎斯特频率的高频频率分量的清晰化处理中容易成为问题。

图19是表示在垂直方向以及水平方向上连续进行生成超过奈奎斯特频率的高频频率分量的清晰化处理的构成的图，图20是表示各阶段中的信号的频率分量的图。图20(a)示出水平方向的取样频率是fh且垂直方向的取样频率是fv的数字图像的输入图像信号S_in的频率分量。数字图像的奈奎斯特频率水平方向为fh/2且垂直方向为fv/2，如图所示，频率分量不存在于超过奈奎斯特频率的范围。若对输入图像信号S_in的垂直方向实施清晰化处理，则如图20(b)，在清晰化处理后的信号S1中，在超过垂直方向的奈奎斯特频率fv/2的较宽区域生成频率分量。若对该信号S1进一步实施水平方向的清晰化处理，则如图20(c)，在清晰化处理后的输出图像信号S_out中，在超过水平方向的奈奎斯特频率fh/2的较宽区域生成频率分量。如图所示，输出图像信号S_out的频率分量的四角，即水平方向以及垂直方向均为高频率的区域，重复进行了水平方向以及垂直方向的清晰化处理，且增强了图像的晃眼感。

为了消除这样的晃眼感，提出了在水平方向以及垂直方向的清晰化处理的前级配置二维滤波器的技术(参照专利文献1)。

专利文献1：国际公开第2012/043407号

专利文献1如图21那样在水平方向以及垂直方向的清晰化处理的前级配置二维滤波器。图22是表示二维滤波器的频率特性的一个例子的图。如图所示，二维滤波器具有使输入图像信号S_in的水平以及垂直方向的高频分量衰减的特性。图23是表示图21的电路的各阶段中的信号的频率分量的图。在图21的电路中，若对水平方向的取样频率是fh且垂直方向的取样频率是fv的数字图像的输入图像信号S_in实施二维滤波，则滤波处理后的第一信号S1的频率分量如图23(b)为水平以及垂直方向的高频分量被衰减后的频率分量。若对第一信号S1实施水平清晰化处理，则如图23(c)，清晰化处理后的第二信号S2为频率分量沿水平方向放大了的信号。通过加法器合成第一信号S1以及第二信号S2，若对合成后的信号实施垂直清晰化处理，则如图23(d)，清晰化处理后的第三信号S3为频率分量沿垂直方向放大了的信号。而且，通过后级的加法器合成了垂直清晰化处理前后的信号，输出图像信号S_out被输出。

由图21的电路生成的输出图像信号S_out如图23(e)所示，在输出图像信号S_out的频率分量的四角，即水平方向以及垂直方向均为高频率的区域中，对于在水平方向生成了高次谐波的信号进一步在垂直方向生成了高次谐波，所以恶化的程度比图20(c)的信号少，但是依然存在容易成为晃眼/闪烁的图像这样的问题。另外，这里，也存在若为了除去晃眼/闪烁感而将二维滤波器中的通过区域较窄地设定，则用于清晰化的信号分量变少，所以无法进行有效的清晰化这样的问题。

发明内容

因此，本发明的目的在于，提供能够在均超过输入图像的水平方向以及垂直方向的频率分量的频率区域中不生成因水平方向以及垂直方向的清晰化处理的重复带来的频率分量就使图像清晰化的图像处理装置以及图像处理方法。

为了解决上述的各种课题，本发明的图像处理装置是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置，具备：垂直滤波器，其至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分；水平清晰化处理部，其生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；水平滤波器，其至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分；以及垂直清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，在上述水平清晰化处理部的前级配置有上述垂直滤波器的水平方向处理部和在上述垂直清晰化处理部的前级配置有上述水平滤波器的垂直方向处理部被以并联的方式连接，上述图像处理装置具备与被以并联的方式连接的上述水平方向处理部以及上述垂直方向处理部的任意一方的后级和任意另一方的前级连接的放大器，且使输入图像清晰化。

另外，优选上述放大器的放大率β是0≤β≤1。

另外，本发明的图像处理装置是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置，具备：垂直滤波器，其至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分；水平清晰化处理部，其生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；水平滤波器，其至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分；以及垂直清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，上述水平清晰化处理部以及上述垂直清晰化处理部的至少一方包括：滤波器部，其通过除去输入信号所包含的频率分量的至少直流分量来生成第一信号；非线性处理部，其是对于上述第一信号进行在上述第一信号的正负为非对称的非线性处理并生成第二信号的非线性处理部，对于上述第一信号进行如下的非线性处理，即，被作为应用于正的区域的非线性处理和应用于负的区域的非线性处理通过原点的连续函数表示，并且由非线性处理生成的频率分量的频带在正的区域和负的区域为非对称；以及限幅器，其调整上述第二信号来生成第三信号，在上述水平清晰化处理部的前级配置有上述垂直滤波器的水平方向处理部和在上述垂直清晰化处理部的前级配置有上述水平滤波器的垂直方向处理部被以串联或者并联的方式连接并使输入图像清晰化。

另外，本发明的图像处理装置是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置，具备：垂直滤波器，其至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分；水平清晰化处理部，其生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；水平滤波器，其至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分；以及垂直清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，上述水平清晰化处理部以及上述垂直清晰化处理部的至少一方包括：非线性处理部，其是对输入信号进行非线性处理并生成第一信号的非线性处理部，对于上述输入信号进行如下的非线性处理，即，被作为上述第一信号连续的非线性函数，并且生成不包含于上述输入信号中的频率分量；滤波器部，其通过除去上述第一信号所包含的频率分量的至少直流分量来生成第二信号；以及限幅器，其调整上述第二信号来生成第三信号，在上述水平清晰化处理部的前级配置有上述垂直滤波器的水平方向处理部和在上述垂直清晰化处理部的前级配置有上述水平滤波器的垂直方向处理部被以串联或者并联的方式连接并使输入图像清晰化。

另外，优选具备检测输入图像信号的运动的范围变化检测部，上述范围变化检测部在输入图像信号的垂直方向的运动量大时降低上述垂直清晰化处理部的频率分量的强调度，并且在输入图像信号的水平方向的运动量大时降低上述水平清晰化处理部的频率分量的强调度。

并且，为了解决上述的各种课题，本发明的图像处理方法是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置中的图像处理方法，上述图像处理装置中的处理步骤包括：水平方向处理步骤，至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分，生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；垂直方向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波；以及通过放大率β切换将上述垂直方向处理步骤以及上述水平方向处理步骤串行执行还是并行执行的步骤，串行或者并行地执行上述垂直方向处理步骤以及上述水平方向处理步骤。

优选上述放大率β是0≤β≤1。

另外，本发明的图像处理方法是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置中的图像处理方法，上述图像处理装置中的处理步骤包括：水平方向处理步骤，至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分，生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；以及垂直方向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，上述水平方向处理步骤和上述垂直方向处理步骤的至少一方包括：通过除去输入信号所包含的频率分量的至少直流分量来生成第一信号的步骤；非线性处理步骤，其是对于上述第一信号进行在上述第一信号的正负为非对称的非线性处理并生成第二信号的非线性处理步骤，对于上述第一信号进行如下的非线性处理，即，被作为应用于正的区域的非线性处理和应用于负的区域的非线性处理通过原点的连续函数表示，并且由非线性处理生成的频率分量的频带在正的区域和负的区域为非对称；以及调整步骤，调整上述第二信号来生成第三信号，串行或者并行地执行上述垂直方向处理步骤以及上述水平方向处理步骤。

另外，本发明的图像处理方法是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置中的图像处理方法，上述图像处理装置中的处理步骤包括：水平方向处理步骤，至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分，生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；以及垂直方向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，上述水平方向处理步骤和上述垂直方向处理步骤的至少一方包括：非线性处理步骤，其是对输入信号进行非线性处理并生成第一信号的非线性处理步骤，对于上述输入信号进行如下的非线性处理，即被作为上述第一信号连续的非线性函数表示，并且生成不包含于上述输入信号中的频率分量；通过除去上述第一信号所包含的频率分量的至少直流分量来生成第二信号的步骤；以及调整上述第二信号来生成第三信号的步骤，串行或者并行地执行上述垂直方向处理步骤以及上述水平方向处理步骤。

另外，优选包括如下的步骤：检测输入图像信号的运动，在输入图像信号的垂直方向的运动量大时降低上述垂直方向处理步骤的频率分量的强调度，并且在输入图像信号的水平方向的运动量大时降低上述水平方向处理步骤的频率分量的强调度。

根据本发明的图像处理装置以及图像处理方法，能够在均超过输入图像的水平方向以及垂直方向的频率分量的频率区域中不生成因水平方向以及垂直方向的清晰化处理的重复带来的频率分量就使图像清晰化，能够减少图像的晃眼/闪烁感。

附图说明

图1是表示本发明的清晰化处理部的第一构成的图。

图2是表示清晰化处理的图像的水平方向的信号电平的波形的图。

图3是表示高通滤波器的构成的一个例子的图。

图4是表示由低通滤波器构成的高通滤波器的一个例子的图。

图5是表示本发明的清晰化处理部的第二构成的图。

图6是表示清晰化处理的图像的水平方向的信号电平的波形的图。

图7是表示本发明的第一实施方式的图像处理装置的构成的图。

图8是表示第一实施方式中的信号的频率分量的变化的图。

图9是表示本发明的第二实施方式的图像处理装置的构成的图。

图10是表示本发明的第三实施方式的图像处理装置的构成的图。

图11是表示第三实施方式中的信号的频率分量的变化的图。

图12是表示本发明的第四实施方式的图像处理装置的构成的图。

图13是表示第四实施方式中的二维滤波器的频率特性的图。

图14是表示第四实施方式中的信号的频率分量的第一变化的图。

图15是表示第四实施方式中的信号的频率分量的第二变化的图。

图16是表示本发明的第五实施方式的图像处理装置的构成的图。

图17是表示第五实施方式中的清晰化处理部的构成的图。

图18是表示第五实施方式中的范围变化检测部的构成的图。

图19是表示以往的图像的水平方向以及垂直方向的清晰化处理的图。

图20是表示基于以往的清晰化处理的频率分量的变化的图。

图21是表示使用了二维滤波器的以往的清晰化处理的图。

图22是表示以往的二维滤波器的频率特性的图。

图23是表示基于使用了二维滤波器的以往的清晰化处理的频率分量的变化的图。

具体实施方式

以下，参照各附图对本发明的实施方式进行详细说明。

各实施方式的图像处理装置(集成电路)概略地讲，是对于图像的水平方向(横向、主扫描方向)的频率分量以及垂直方向(纵向、副扫描方向)的频率分量，实施用于使图像清晰化的清晰化处理的装置。

所谓图像处理装置实施的清晰化处理，是指通过对于表示输入图像的信号(以下，记载为输入图像信号)实施非线性运算，来使相当于输入图像所包含的轮廓部分(边缘)的信号的上升以及下降高度陡峭(增强)的处理。本发明的图像处理装置实施的清晰化处理能够将无法在以往的使用放大处理等线性运算的清晰化处理中利用的高频分量附加到图像信号，所以能够使图像高度(强烈)地清晰化。

首先，对后述的各实施方式中的图像处理装置的主要的构成要素亦即清晰化处理部的概要进行说明。此外，清晰化处理部也可以是后述的水平清晰化处理部以及垂直清晰化处理部中的任意一个。在本说明书中，在不区别水平清晰化处理部以及垂直清晰化处理部时，仅记载为“清晰化处理部”。

(清晰化处理部的第一构成例)

图1是表示本发明的清晰化处理部FE的第一构成例的框图。该清晰化处理部FE是对于作为表示图像的数字信号从外部输入的输入图像信号S_in，实施用于使该输入图像信号S_in表示的图像清晰化的处理的装置，具备HPF10(高通滤波器)、非线性处理部20(非对称型非线性函数)、以及限幅器30。

输入图像信号S_in表示的图像既可以是静止图像也可以是视频，在输入图像信号S_in表示视频的情况下，该视频也可以是在例如标准画质电视机(SDTV：StandardDefinitionTelevision)或者高清晰电视机(HDTV：HighDefinitionTelevision)的接收器中实时地显示的视频。

以下，以图2所示的图像的水平方向的信号电平(亮度值)的波形为例，进行各构成部的动作以及输出的波形的说明。此外，在以下的说明中，对图像的水平方向的信号电平的波形进行各构成部的说明，但对于图像的垂直方向的信号电平的波形、视频图像中的图像间的时间方向的信号电平的波形，各构成部也能够用与水平方向同等的处理进行清晰化处理。

图2(A)是表示输入图像信号S_in的水平方向的信号电平的波形的图，特别是表示相当于信号电平在水平方向上变化的边缘的部分的波形的图。此外，输入图像信号S_in的分辨率与输出图像信号S_out的分辨率对应，在输出图像的分辨率比原始的输入图像的分辨率高的情况下，输入图像信号S_in将原始的输入图像的分辨率上转换成输出图像信号S_out的分辨率。例如，在通过图像处理装置将SDTV的图像作为HDTV的图像输出的情况下，输入图像信号S_in为通过现有的线性变换将原始的SDTV的图像转换成HDTV的分辨率后的信号。

HPF10通过除去输入图像信号S_in所包含的频率分量的至少直流分量来生成高频信号的第一信号S1。具体而言，HPF10提取包括输入图像信号S_in表示的图像中的轮廓分量的高频分量，从图2(A)的输入图像信号S_in提取出图2(B)的第一信号S1。

图3是表示该HPF10的构成的框图。如图3，HPF10能够构成为由m－1个单位延迟元件111～11(m－1)、m个乘法器121～12m、以及一个加法器131构成的m抽头(m是3以上)的横向型数字滤波器。在该情况下，各乘法器12j(j＝1～m，以下相同)使被输入的信号乘以系数Cj并将其结果输出到加法器131，系数Cj被设定为HPF10提取包括轮廓分量的高频分量(例如，m＝3、C1＝0.5、C2＝－1、C3＝0.5)。此外，一般来说，与实现高通滤波器相比，实现低通滤波器的一方容易。图4是表示由低通滤波器构成的高通滤波器的一个例子的图。如图4，能够通过使用了低通滤波器(以下称为“LPF”)11和减法器12的构成来实现图1所示的HPF10。

非线性处理部20通过对于第一信号S1进行在第一信号S1的正负为非对称的非线性处理来生成第二信号S2。第一信号S1如图2(B)所示包括正方向的轮廓分量和负方向的轮廓分量。这里，第一信号S1的正方向以及负方向在像素上分别为白方向以及黑方向，通过对于两方向不应用相同的(对称的)非线性处理，而应用不同(非对称)的非线性处理，能够进行更适合人的视觉特性的边缘增强。即，非线性处理部20对第一信号S1的正方向的轮廓分量和负方向的轮廓分量进行不同(非对称)的非线性处理。以下，将在第一信号S1的正负为非对称的非线性处理称为“非对称非线性处理”。

非线性处理部20的非对称非线性处理只要以第一信号S1的原点(值为零的点)为中心，应用于正的区域的非线性处理和应用于负的区域的非线性处理的值连续，就能够组合所有的非线性处理。在本实施方式中，非线性处理部20例如在第一信号S1是正的情况下，使第一信号S1自乘三次来生成第二信号S2(S2＝S1³)，在第一信号S1是负的情况下，生成使第一信号S1自乘两次并使符号为负的信号作为第二信号S2(S2＝－S1²)。图2(C)是表示基于非线性处理部20进行的非对称非线性处理的第二信号S2的波形的图。如图所示，第二信号S2的正的波形被大幅放大。另外，如后述，通过进行在正负为非对称的非线性处理，能够生成在正负为非对称的频率分量。

非线性处理部20通过进行在第一信号S1的正负为非对称的非线性处理，能够如后述那样进行适合人的感知特性的图像清晰化处理。例如，作为基于人的感觉的定律，公知有韦伯费希纳定律。若将该定律应用于图像识别，则可以说亮度低的区域中的轮廓比亮度高的区域中的轮廓更容易被感知。因此，例如，非线性处理部20通过对于信号电平(亮度)低的区域应用非线性处理部20的处理，从而即使处理前的边缘分量微小，也能够增强第一信号S1中的边缘分量来感知轮廓。另外，非线性处理部20因为正的波形被大幅放大以使亮度高的区域的轮廓更清晰化，所以在亮度高的区域中轮廓能够更容易被感知。另外，无论在哪个区域中，均能够通过非线性处理生成高频的频率分量。

此外，基于非线性处理部20的非对称非线性处理并不局限于2乘方处理以及3乘方处理的组合，也能够进行其他的非线性处理。例如，第一信号S1的正负各区域中的非线性处理能够由公式(1)表现。基于各处理部的非线性处理包括全部由p/q表示的一般的有理数的指数幂。此外，在这样的幂处理中，第一信号S1的正负被维持，例如，即使在进行偶数幂(例如2乘方)作为求幂处理的情况下，在第一信号S1是负的情况下，求幂处理后的值的符号也被维持为负(例如，S2＝－S1²)。

【公式1】

S 2 = S 1^{\frac{p}{q}} - - - (1)

并且，非线性处理部20对于非对称非线性处理，能够适当地组合三角函数(例如S2＝Sin(S1))、对数函数(例如S2＝log(|S1|+1))、伽马修正函数(例如S2＝S1^1/2)等各种非线性函数来利用。

另外，非线性处理部20预先用表等保持第一信号S1的每个信号电平的相加值，例如，在是取从最小值0到最大值255的值的8比特的信号电平的情况下，也能够进行根据第一信号S1的信号电平而加上±10的范围的值等不依赖于公式(1)所示的一般式的非线性处理。

限幅器30作为第二信号S2的振幅(信号电平)的调整器发挥作用，调整第二信号S2来生成输出图像信号S_out。具体而言，进行剪辑处理以使第二信号S2的振幅为规定的上限值以下、或者通过使第二信号S2乘以为0≤α＜1的增益α来进行该第二信号S2的电平的增益调整。另外，限幅器30为了除去噪声，也能够进行使第二信号S2中的规定的下限值以下的信号值为0的舍入处理。限幅器30将进行了剪辑(clip)处理、增益调整、舍入处理等的第二信号S2作为输出图像信号S_out输出。

通过未图示的加法器，将图2(C)所示的输出图像信号S_out作为用于图像的清晰化的补偿用信号与图2(A)所示的输入图像信号S_in相加，从而生成了图2(D)所示的信号。该信号(S_in+S_out)中的边缘部的上升变化变得比输入图像信号S_in的边缘部的上升变化急。即，与输入图像信号S_in相比，能够得到清晰的图像。

(清晰化处理部的第二构成例)

图5是表示本发明的清晰化处理部的第二构成例的框图。该清晰化处理部FE具备非线性处理部40(非线性函数)、HPF10、以及限幅器30。以下，以图6所示的图像的水平方向的信号电平(亮度值)的波形为例，进行各构成部的动作以及输出的波形的说明。此外，对于图像的垂直方向的信号电平的波形、视频图像中的图像间的时间方向的信号电平的波形，各构成部也能够用与水平方向同等的处理进行清晰化处理。

图6(A)是表示输入图像信号S_in的水平方向的信号电平的波形的图，特别是表示相当于信号电平在水平方向上变化的边缘的部分的波形的图。

非线性处理部40通过对于输入图像信号S_in进行非线性处理来生成第一信号S1。基于非线性处理部40的非线性处理的目的在于使图像的轮廓清晰化，具体而言，进行将图6(A)所示的输入图像信号S_in作为如图6(B)的第一信号S1，在信号电平中使边缘的上升变化陡的处理。

基于非线性处理部40的根据输入图像信号S_in生成第一信号S1的处理能够通过公式(2)一般化。基于非线性处理部40的非线性处理包括全部由p/q表示的一般的有理数的指数幂。

【公式2】

S 1 = {S_{i n}}^{\frac{p}{q}} - - - (2)

例如，非线性处理部40将输入图像信号S_in的幂作为第一信号S1生成。在非线性处理部40生成使输入图像信号S_in自乘n次来生成第一信号S1的情况下，为S1＝S_in ⁿ。因为输入图像信号S_in是数字信号(离散信号)，所以更详细而言，当将构成输入图像信号S_in的数据列为X1,X2,X3,…时，第一信号S1是由数据列X1ⁿ,X2ⁿ,X3ⁿ,…构成的数字信号。此外，n是任意的实数。

例如，在输入图像信号S_in是8比特的数字信号的情况下，各像素的信号电平取0～255的值。此时，非线性处理部40若使输入图像信号S_in自乘两次，则如图6(B)所例示那样，边缘部的上升变化变得陡，所以图像的轮廓被更加增强。

另外，例如，非线性处理部40将输入图像信号S_in的乘方根作为第一信号S1生成。在非线性处理部40将输入图像信号S_in的n次方根作为第一信号S1生成的情况下，为S1＝S_in ^1/n。因为输入图像信号S_in是数字信号(离散信号)，所以更详细而言，当将构成输入图像信号S_in的数据列为X1,X2,X3,…时，第一信号S1是由数据列X1^1/n,X2^1/n,X3^1/n,…构成的数字信号。此外，n是任意的实数。

将输入图像信号S_in的乘方根作为第一信号S1生成的非线性处理适于基于人类的感知特性的轮廓提取。例如，作为基于人类的感觉的定律，公知有韦伯费希纳定律。若将该定律应用于图像识别，则可以说亮度低的区域中的轮廓比亮度高的区域中的轮廓更容易被感知。因此，例如，为了增强亮度低的区域的微小的边缘分量来感知轮廓，非线性处理部40例如通过伽马修正函数(例如，S1＝S_in ^1/2)来进行比起亮度高的像素更加提高亮度低的像素的非线性处理。

在该情况下，非线性处理部40通过公式(3)，计算将m比特的数字信号的像素值X归一化后的值亦即X’。基于公式(3)的归一化后的X’的值为0～1之间的值。

【公式3】

X^{'} = \frac{X}{2^{m}} - - - (3)

这里，非线性处理部40对归一化后的X’应用公式(4)所示的伽马修正函数，计算非线性处理后的值Y。

【公式4】

Y = X^{' \frac{1}{n}} - - - (4)

通过公式(4)，在X’值小的情况下，非线性处理后的Y的值与X’相比被更高地提高。即，与亮度高的像素相比，亮度低的像素被更加提高。由此，在例如图6(B)所例示的边缘的清晰化中，亮度特别低的区域的边缘增强分量变大，所以亮度特别低的区域的图像的轮廓被更加增强。

HPF10通过除去第一信号S1所包含的频率分量的至少直流分量来生成高频信号的第二信号S2。具体而言，HPF10从图6(B)的第一信号S1提取图6(C)的第二信号S2，作为提取包括对输入图像信号S_in进行非线性处理而得到的图像的轮廓分量的高频分量的处理。

限幅器30作为第二信号S2的振幅(信号电平)的调整器发挥作用，调整第二信号S2生成输出图像信号S_out。限幅器30将进行了剪辑处理、增益调整、舍入处理等的第二信号S2作为输出图像信号S_out输出。

通过未图示的加法器，将图6(C)所示的输出图像信号S_out作为用于图像的清晰化的补偿用信号与图6(A)所示的输入图像信号S_in相加，从而生成了图6(D)所示的信号。该信号(S_in+S_out)中的边缘部的上升变化变得比输入图像信号S_in的边缘部的上升变化陡。即，与输入图像信号S_in相比，能够得到清晰的图像。

以下，对具备上述的清晰化处理部FE，使图像的水平方向(横向、主扫描方向)的频率分量以及垂直方向(纵向、副扫描方向)的频率分量清晰化的图像处理装置进行详述。各实施方式中的输入图像信号S_in为水平方向的取样频率是fh且垂直方向的取样频率是fv，奈奎斯特频率在水平方向是fh/2且垂直方向是fv/2的信号。

(第一实施方式)

图7是表示本发明的第一实施方式的图像处理装置1的构成的图。图像处理装置1具备垂直LPF13(垂直滤波器)以及水平LPF14(水平滤波器)、水平清晰化处理部FEh以及垂直清晰化处理部FEv、第一加法器15以及第二加法器16。若将在水平清晰化处理部FEh的前级配置有垂直LPF13的构成作为水平方向处理部，将在垂直清晰化处理部FEv的前级配置有水平LPF14的构成作为垂直方向处理部，则图像处理装置1为水平方向处理部和垂直方向处理部以串联的方式连接的构成。图8是表示图像处理装置1的各功能模块输出的信号表示的图像的频率分量的图。以下，与图8的频率分量一起对各功能模块的处理进行说明。

垂直LPF13除去输入图像信号S_in的垂直方向的频率分量的高频部分，其使输入图像信号S_in的垂直方向分量的高频局部衰减，并将第一信号S1输出到水平清晰化处理部FEh。图8(b)是表示第一信号S1的频率分量的图。通过垂直LPF13，频率分量的高频在垂直方向上被衰减。此外，这里所说的高频部分或者高频是指，为了防止在成为晃眼感的原因的水平方向以及垂直方向均成为高频率的区域产生基于清晰化处理的高频分量而将其除去或者衰减的部分，本领域技术人员能够考虑后级的清晰化处理部FE的清晰化特性而适当地设定。

水平清晰化处理部FEh生成包括比输入图像信号S_in所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波，对于由来自垂直LPF13的第一信号S1表示的图像的水平方向实施清晰化处理，并将第二信号S2输出到第一加法器15。图8(c)是表示第二信号S2的频率分量的图。通过水平清晰化处理部FEh，生成了在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波。

第一加法器15将输入图像信号S_in与来自水平清晰化处理部FEh的第二信号S2相加来生成第三信号S3。图8(d)是表示第三信号S3的频率分量的图。第三信号S3成为在输入图像信号S_in的频率分量加上了在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波的形态，特别是，在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波在垂直方向的高频区域不被生成。

水平LPF14除去第三信号S3的水平方向的频率分量的高频部分，使第三信号S3的水平方向分量的高频局部衰减，并将第四信号S4输出到垂直清晰化处理部FEv。图8(e)是表示第四信号S4的频率分量的图。通过水平LPF14，频率分量的高频在水平方向上衰减。此外，这里所说的高频部分或者高频是指，为了防止在成为晃眼感的原因的水平方向以及垂直方向均成为高频率的区域产生基于清晰化处理的高频分量而将其除去或者衰减的部分，本领域技术人员能够考虑后级的垂直清晰化处理部FEv的清晰化特性而适当地设定。

垂直清晰化处理部FEv生成包括比输入图像信号S_in所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，对于由来自水平LPF14的第四信号S4表示的图像的垂直方向实施清晰化处理，并将第五信号S5输出到第二加法器16。图8(f)是表示第五信号S5的频率分量的图。通过垂直清晰化处理部FEv，生成了在垂直方向上包括超过奈奎斯特频率的频率分量的垂直方向的高次谐波。

第二加法器16将来自第一加法器15的第三信号S3与来自垂直清晰化处理部FEv的第五信号S5相加来生成输出图像信号S_out。图8(g)是表示输出图像信号S_out的频率分量的图。输出图像信号S_out成为在输入图像信号S_in的频率分量加上了在水平方向以及垂直方向上包括超过奈奎斯特频率的频率分量的高次谐波的形态，特别是，超过奈奎斯特频率的频率分量在水平方向以及垂直方向均为高频的区域不被生成。

这样，根据本实施方式，因为在水平清晰化处理部FEh的前级配置有垂直LPF13，在垂直清晰化处理部FEv的前级配置有水平LPF14，所以能够在均超过输入图像的水平方向以及垂直方向的频率分量的频率区域中不生成因水平方向以及垂直方向的清晰化处理的重复带来的频率分量就使图像清晰化，能够减少图像的晃眼/闪烁感。另外，在本方法中，因为在水平的高次谐波生成以及垂直的高次谐波生成中限制在各自需要的频带的滤波器(也包括后述的二维滤波器)分别独立地选择，所以能够不伴随噪声感地得到水平方向以及垂直方向分别良好的高次谐波，能够清晰化成清楚的图像。

另外，能够利用图7所示的简单的构成实现本实施方式的图像处理装置1，所以通过将该图像处理装置1用于高清电视机(HDTV)、标准画质电视机(SDTV)的接收器等，不仅是静止图像，对于实时显示的视频也能够不导致大幅的成本增加就改善画质。

另外，本实施方式因为也能够进行超过奈奎斯特频率的高频域的补偿，所以，特别是在实施放大处理后的图像信号表示的图像的清晰化的画质提高方面特别起到效果。在例如利用高清电视机(HDTV)的接收机的显示器对标准画质电视机(SDTV：StandardDefinitionTelevision)的图像信号实施放大处理来显示图像的情况下，本实施方式在能够利用简单的构成充分地使实时显示的视频清晰化这点上起到较大的效果。另外，当前，正在进行用于比HDTV的像素数多的4000×2000左右的像素数的显示器(以下称为“4k显示器”)或与此对应的电视播送的技术开发，上转换HDTV用的图像信号来在该4k显示器显示的情况下，本实施方式也在相同的点上起到较大的效果。

此外，在图像处理装置1中，也可以更换水平方向以及垂直方向的清晰化处理的顺序。即，能够更换水平方向的清晰化处理的构成(垂直LPF13、水平清晰化处理部FEh、第一加法器15)、和垂直方向的清晰化处理的构成(水平LPF14、垂直清晰化处理部FEv、第二加法器16)的顺序来处理输入图像信号S_in。

另外，也可以代替垂直LPF13以及水平LPF14，使用二维滤波器。在该情况下，优选在水平清晰化处理部FEh的前级使用二维滤波器，该二维滤波器至少在输入图像信号S_in所包含的水平方向的高频部分中，除去输入图像信号S_in的垂直方向的频率分量的高频部分。另外，优选在垂直清晰化处理部FEv的前级使用二维滤波器，该二维滤波器至少在输入图像信号S_in所包含的垂直方向的高频部分中，除去输入图像信号S_in的水平方向的频率分量的高频部分。此外，这里所说的高频部分或者高频是指，为了防止在成为晃眼感的原因的水平方向以及垂直方向均为高频率的区域产生基于清晰化处理的高频分量而将其除去或者衰减的部分，本领域技术人员能够考虑各二维滤波器后级的清晰化处理部(FEv、FEh)的清晰化特性而适当地设定。

另外，也可以为在第二加法器16的后级还具备二维滤波器，使高频分量更可靠地衰减的构成。优选这样的二维滤波器除去输出图像信号S_out的频率分量中水平方向以及垂直方向均为高频率的区域。

(第二实施方式)

图9是表示本发明的第二实施方式的图像处理装置2的构成的图。图像处理装置2具备与第一实施方式的图像处理装置1同等的功能模块，垂直LPF13以及水平LPF14的配置与第一实施方式不同。对于各功能模块，对于与第一实施方式同等的处理，省略重复的说明。

根据本实施方式，输入图像信号S_in通过垂直LPF13以及水平LPF14，所以各LPF为了清晰化处理而进行高频除去，并且能够使输入图像信号S_in本身所包含的高频分量衰减。这样的构成在输入图像信号S_in的高频分量中噪声较多的情况等需要进行输入图像信号S_in整体的噪声减少的情况下特别有效。

此外，与第一实施方式相同地，在图像处理装置2中，也可以更换水平方向以及垂直方向的清晰化处理的顺序。另外，也可以代替垂直LPF13以及水平LPF14，使用分别对应的二维滤波器。另外，也可以为在第二加法器16的后级具备二维滤波器，使高频分量更可靠地衰减的构成。

(第三实施方式)

图10是表示本发明的第三实施方式的图像处理装置3的构成的图。图像处理装置3具备垂直LPF13以及水平LPF14、水平清晰化处理部FEh以及垂直清晰化处理部FEv、第一加法器15以及第二加法器16。若将在水平清晰化处理部FEh的前级配置有垂直LPF13的构成作为水平方向处理部，将在垂直清晰化处理部FEv的前级配置有水平LPF14的构成作为垂直方向处理部，则图像处理装置3为水平方向处理部和垂直方向处理部以并联的方式连接的构成。图11是表示图像处理装置3的各功能模块输出的信号的频率分量的图。以下，与图11的频率分量一起对各功能模块的处理进行说明。

垂直LPF13除去输入图像信号S_in的垂直方向的频率分量的高频部分，使输入图像信号S_in的垂直方向分量的高频局部衰减，并将第一信号S1输出到水平清晰化处理部FEh。图11(b)是表示第一信号S1的频率分量的图。通过垂直LPF13，频率分量的高频在垂直方向上被衰减。此外，这里所说的高频部分或者高频是指，为了防止在成为晃眼感的原因的水平方向以及垂直方向均为高频率的区域产生基于清晰化处理的高频分量而将其除去或者衰减的部分，本领域技术人员能够考虑后级的水平清晰化处理部FEh的清晰化特性而适当地设定。

水平清晰化处理部FEh生成包括比输入图像信号S_in所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波，对于由来自垂直LPF13的第一信号S1表示的图像的水平方向实施清晰化处理，并将第二信号S2输出到第一加法器15。图11(c)是表示第二信号S2的频率分量的图。通过水平清晰化处理部FEh，生成了在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波。

水平LPF14除去输入图像信号S_in的水平方向的频率分量的高频部分，使输入图像信号S_in的水平方向分量的高频局部衰减，并将第三信号S3输出到垂直清晰化处理部FEv。图11(d)是表示第三信号S3的频率分量的图。通过水平LPF14，频率分量的高频在水平方向上被衰减。此外，这里所说的高频部分或者高频是指，为了防止在成为晃眼感的原因的水平方向以及垂直方向均为高频率的区域产生基于清晰化处理的高频分量而将其除去或者衰减的部分，本领域技术人员能够考虑后级的垂直清晰化处理部FEv的清晰化特性而适当地设定。

垂直清晰化处理部FEv生成包括比输入图像信号S_in所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，对于由来自水平LPF14的第三信号S3表示的图像的垂直方向实施清晰化处理，并将第四信号S4输出到第一加法器15。图11(e)是表示第四信号S4的频率分量的图。通过垂直清晰化处理部FEv，生成了在垂直方向上包括超过奈奎斯特频率的频率分量的垂直方向的高次谐波。

第一加法器15将来自水平清晰化处理部FEh的第二信号S2与来自垂直清晰化处理部FEv的第四信号S4相加来生成第五信号S5。图11(f)是表示第五信号S5的频率分量的图。

第二加法器16将输入图像信号S_in与来自第一加法器15的第五信号S5相加来生成输出图像信号S_out。图11(g)是表示输出图像信号S_out的频率分量的图。输出图像信号S_out为在输入图像信号S_in的频率分量加上了在水平方向以及垂直方向上包括超过奈奎斯特频率的频率分量的高次谐波的形态，特别是超过奈奎斯特频率的频率分量在水平方向以及垂直方向均为高频的区域不被生成。

这样，根据本实施方式，因为在水平清晰化处理部FEh的前级配置有垂直LPF13，在垂直清晰化处理部FEv的前级配置有水平LPF14，所以能够在均超过输入图像的水平方向以及垂直方向的频率分量的频率区域中不生成因水平方向以及垂直方向的清晰化处理的重复带来的频率分量就使图像清晰化，能够减少图像的晃眼/闪烁感。另外，在本方法中，因为在水平的高次谐波生成以及垂直的高次谐波生成中限制在各自需要的频带的滤波器(也包括后述的二维滤波器)分别独立地选择，所以能够不伴随噪声感地得到水平方向以及垂直方向分别良好的高次谐波，能够清晰化成为清楚的图像。

此外，在图像处理装置3中，也可以为在第二加法器16的后级还具备二维滤波器，使高频分量更可靠地衰减的构成。优选这样的二维滤波器除去输出图像信号S_out的频率分量中水平方向以及垂直方向均为高频率的区域。

(第四实施方式)

图12是表示本发明的第四实施方式的图像处理装置4的构成的图。第四实施方式的图像处理装置4具备第1二维滤波器21以及第2二维滤波器22、水平清晰化处理部FEh以及垂直清晰化处理部FEv、放大器17(切换器)、第一加法器15，第二加法器16以及第三加法器18。若将在水平清晰化处理部FEh的前级配置有第1二维滤波器21的构成作为水平方向处理部，将在垂直清晰化处理部FEv的前级配置有第2二维滤波器22的构成作为垂直方向处理部，则图像处理装置4具备与水平方向处理部的后级和垂直方向处理部的前级连接的切换器(放大器17)，通过作为切换器的放大器17的设定(放大率β)来切换水平方向处理部和垂直方向处理部的并联连接以及串联连接。此外，如后所述，放大器17的放大率β为0≤β≤1的范围的值，所以在放大率β为0＜β＜1的情况下，严格来说，放大器17并不切换为并联连接以及串联连接的任意一方，而能够成为分别包括并联连接以及串联连接的电路构成。

图13是表示本实施方式的优选的二维滤波器的频率特性的图。图13(a)示出第1二维滤波器21的频率特性，图13(b)示出第2二维滤波器22的频率特性。这些第1二维滤波器21以及第2二维滤波器22具有对于输入图像信号Sin的二维频谱中的四角的奈奎斯特频率极限附近的信号分量也能够通过后述的清晰化处理来使有效的高次谐波产生的特性。第1二维滤波器21至少在输入图像信号S_in所包含的水平方向的高频部分中，除去输入图像信号S_in的垂直方向的频率分量的高频部分。另外，第2二维滤波器22至少在输入图像信号S_in所包含的垂直方向的高频部分中，除去输入图像信号S_in的水平方向的频率分量的高频部分。此外，这里所说的高频部分是指，为了防止在成为晃眼感的原因的水平方向以及垂直方向均为高频率的区域产生基于清晰化处理的高频分量而将其除去或者衰减的部分，本领域技术人员能够考虑二维滤波器后级的清晰化处理部(FEv、FEh)的清晰化特性而适当地设定。

放大器17的放大率β能够在0≤β≤1的范围设定。在放大率β是0的情况下，图像处理装置4的构成如第三实施方式那样成为水平方向以及垂直方向的清晰化处理并行进行的构成，在放大率β是1的情况下，图像处理装置4的构成成为如第一实施方式那样水平方向以及垂直方向的清晰化处理串行进行的构成。在放大率β是0＜β＜1的情况下，生成了基于串行处理的频率分量和基于并行处理的频率分量，所以通过按照输入图像信号S_in的特性来设定放大率β，能够组合串行处理以及并行处理带来的频率分量，进行更适当的清晰化处理。

图14是表示放大器17的放大率β是0的情况下的各功能模块输出的信号的频率分量的图。

第1二维滤波器21至少在输入图像信号S_in所包含的水平方向的高频部分中，除去输入图像信号S_in的垂直方向的频率分量的高频部分，使输入图像信号S_in的垂直方向分量的高频局部衰减，并将第一信号S1输出到水平清晰化处理部FEh。图14(b)是表示第一信号S1的频率分量的图。通过第1二维滤波器21，频率分量的高频在垂直方向上被衰减。

水平清晰化处理部FEh生成包括比输入图像信号S_in所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波，对于由来自第1二维滤波器21的第一信号S1表示的图像的水平方向实施清晰化处理，并将第二信号S2输出到第一加法器15以及放大器17。图14(c)是表示第二信号S2的频率分量的图。通过水平清晰化处理部FEh，生成了在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波。

放大器17使第二信号S2乘以放大率β(＝0)，但在该情况下，放大率β是0，所以未进行对第三加法器18的信号的输出。

第2二维滤波器22至少在输入图像信号S_in所包含的垂直方向的高频部分中，除去输入图像信号S_in的水平方向的频率分量的高频部分，使作为输入图像信号S_in的第6信号S6的水平方向分量的高频局部衰减，并将第三信号S3输出到垂直清晰化处理部FEv。图14(d)是表示第三信号S3的频率分量的图。通过第2二维滤波器22，频率分量的高频在水平方向上衰减。

垂直清晰化处理部FEv生成包括比输入图像信号S_in所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，对于由来自第2二维滤波器22的第三信号S3表示的图像的垂直方向实施清晰化处理，并将第四信号S4输出到第一加法器15。图14(e)是表示第四信号S4的频率分量的图。通过垂直清晰化处理部FEv，生成了在垂直方向上包括超过奈奎斯特频率的频率分量的垂直方向的高次谐波。

第一加法器15将来自水平清晰化处理部FEh的第二信号S2与来自垂直清晰化处理部FEv的第四信号S4相加来生成第五信号S5。图14(f)是表示第五信号S5的频率分量的图。

第二加法器16将输入图像信号S_in与来自第一加法器15的第五信号S5相加来生成输出图像信号S_out。图14(g)是表示输出图像信号S_out的频率分量的图。输出图像信号S_out为在输入图像信号S_in的频率分量加上了在水平方向以及垂直方向上包括超过奈奎斯特频率的频率分量的高次谐波的形态，特别是超过奈奎斯特频率的频率分量在水平方向以及垂直方向均为高频的区域不被生成，并且不超过奈奎斯特频率的频率中的、水平方向以及垂直方向均为高频的区域中的水平方向的高次谐波与垂直方向的高次谐波的重叠被抑制为适度。

图15是表示放大器17的放大率β是1的情况下的各功能模块输出的信号的频率分量的图。

第1二维滤波器21至少在输入图像信号S_in所包含的水平方向的高频部分中，除去输入图像信号S_in的垂直方向的频率分量的高频部分，使输入图像信号S_in的垂直方向分量的高频局部衰减，并将第一信号S1输出到水平清晰化处理部FEh。图15(b)是表示第一信号S1的频率分量的图。通过第1二维滤波器21，频率分量的高频在垂直方向上被衰减。

水平清晰化处理部FEh生成包括比输入图像信号S_in所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波，对于由来自第1二维滤波器21的第一信号S1表示的图像的水平方向实施清晰化处理，并将第二信号S2输出到第一加法器15以及放大器17。图15(c)是表示第二信号S2的频率分量的图。通过水平清晰化处理部FEh，生成了在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波。

放大器17使第二信号S2乘以放大率β(＝1)，并输出到第三加法器18。

第三加法器18将输入图像信号S_in与第二信号S2相加来生成第6信号S6。图15(d)是表示第6信号S6的频率分量的图。第6信号S6为在输入图像信号S_in的频率分量加上了在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波的形态，特别是在水平方向上包括超过奈奎斯特频率的频率分量的水平方向的高次谐波在垂直方向的高频区域不被生成。

第2二维滤波器22至少在第6信号S6(输入图像信号S_in+第二信号S2)所包含的垂直方向的高频部分中，除去第6信号S6(输入图像信号S_in+第二信号S2)的水平方向的频率分量的高频部分，使被输入的第6信号S6(输入图像信号S_in+第二信号S2)的水平方向分量的高频局部衰减，并将第三信号S3输出到垂直清晰化处理部FEv。图15(e)是表示第三信号S3的频率分量的图。通过第2二维滤波器22，频率分量的高频在水平方向上被衰减。

垂直清晰化处理部FEv生成包括比含有输入图像信号S_in的第6信号S6所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，对于由来自第2二维滤波器22的第三信号S3表示的图像的垂直方向实施清晰化处理，并将第四信号S4输出到第一加法器15。图15(f)是表示第四信号S4的频率分量的图。通过垂直清晰化处理部FEv，生成了在垂直方向上包括超过奈奎斯特频率的频率分量的垂直方向的高次谐波。

第一加法器15将来自水平清晰化处理部FEh的第二信号S2与来自垂直清晰化处理部FEv的第四信号S4相加来生成第五信号S5。图15(g)是表示第五信号S5的频率分量的图。

第二加法器16将输入图像信号S_in与来自第一加法器15的第五信号S5相加来生成输出图像信号S_out。图15(h)是表示输出图像信号S_out的频率分量的图。输出图像信号S_out为在输入图像信号S_in的频率分量加上了在水平方向以及垂直方向上包括超过奈奎斯特频率的频率分量的高次谐波的形态，特别是超过奈奎斯特频率的频率分量在水平方向以及垂直方向均为高频的区域不被生成，并且，不超过奈奎斯特频率的频率中的、水平方向以及垂直方向均为高频的区域中的水平方向的高次谐波与垂直方向的高次谐波的重叠被抑制为适当。

这样，根据本实施方式，因为在水平清晰化处理部FEh的前级配置有第1二维滤波器21，在垂直清晰化处理部FEv的前级配置有第2二维滤波器22，所以能够在均超过输入图像的水平方向以及垂直方向的频率分量的频率区域中不生成因水平方向以及垂直方向的清晰化处理的重复带来的频率分量就使图像清晰化，能够减少图像的晃眼/闪烁感。另外，在本方法中，因为在水平的高次谐波生成以及垂直的高次谐波生成中限制在各自需要的频带的滤波器(也包括二维滤波器)分别独立地选择，所以能够不伴随噪声感地得到水平方向以及垂直方向分别良好的高次谐波，以如尖锐的前端那样的图像也不会感觉钝化的方式清晰化。

另外，在图像处理装置4中，作为切换器的放大器17能够切换水平方向处理部以及垂直方向处理部的串联连接以及并联连接。由此，在使放大率作为0成为并联连接的情况下，由水平方向以及垂直方向的清晰化处理分别生成的高频分量之和在图像的清晰化中发挥作用，所以能够防止人为的晃眼感的发生。另外，在使放大率作为1成为串联连接的情况下，即使是输入图像信号S_in已经除去了斜分量的模糊的感觉，因为在水平方向以及垂直方向上二维地进行了高频分量的生成，所以也能够通过清晰化将输入图像制作成显眼的感觉。

另外，在图像处理装置4中，将放大器17作为串联连接以及并联连接的切换器，所以通过对应输入图像信号S_in的特性来设定放大率β，能够组合串行处理以及并行处理带来的频率分量，进行更适当的清晰化处理。

此外，在图像处理装置4中，也可以更换水平方向以及垂直方向的清晰化处理的顺序。另外，也可以为在第二加法器16的后级具备二维滤波器，使高频分量更可靠地衰减的构成。

另外，各加法器(15、16、18)将从各路径输入的相同帧的图像信号相加，所以根据需要具备用于调整时机的延迟元件。

另外，切换器并不局限于放大器17，也能够适当地使用开关电路等。

(第五实施方式)

图16是表示本发明的第五实施方式的图像处理装置5的构成的图。第五实施方式的图像处理装置5以在第三实施方式的图像处理装置3加上检测输入图像信号S_in的水平以及垂直方向的运动量(范围变化)的范围变化检测部60的方式而构成。此外，对于各功能模块，对于与第三实施方式同等的处理，省略重复的说明。

本实施方式的范围变化检测部60检测输入图像信号S_in的范围变化，来调整水平清晰化处理部FEh以及垂直清晰化处理部FEv的频率分量的强调度(增益α)。图17是表示本实施方式的清晰化处理部FE(水平清晰化处理部FEh以及垂直清晰化处理部FEv)的构成的图。图17(a)所示的清晰化处理部FE是在图1所示的清晰化处理部FE的非线性处理部20的后级设置了放大器50的构成。图17(b)所示的清晰化处理部FE是在图5所示的清晰化处理部FE的HPF10的后级设置了放大器50的构成。图17所示的清晰化处理部FE的放大器50能够通过来自范围变化检测部60的控制信号使增益变化。此外，在图17中，为了方便说明而记载为使放大器50独立的构成，但也可以使放大器50的功能(增益α的调整)与限幅器30一体构成。

图18是表示范围变化检测部60的构成的图。范围变化检测部60具备帧存储器61、水平LPF62以及水平LPF63、垂直LPF64以及垂直LPF65、差分检测部66以及差值检测部67、以及增益决定部68。

在范围变化检测部60中，作为输入图像信号S_in的当前帧的信号被输入水平LPF63以及垂直LPF65。另外，从帧存储器61输出的前一帧的信号被输入水平LPF62以及垂直LPF64。

水平LPF62以及水平LPF63的输出被输入差分检测部66，差值检测部66将各信号的差值信号(垂直运动量)输出到增益决定部68。

垂直LPF64以及垂直LPF65的输出被输入差值检测部67，差分检测部67将各信号的差值信号(水平运动量)输出到增益决定部68。

增益决定部68在垂直运动量的值大的情况下，以降低基于垂直清晰化处理部FEv的频率分量的强调度的方式决定增益α1，将决定后的增益α1输出到垂直清晰化处理部FEv。另外，增益决定部68在水平运动量的值大的情况下，以降低基于水平清晰化处理部FEh的频率分量的强调度的方式决定增益α2，将决定后的增益α2输出到水平清晰化处理部FEh。

这样，根据本实施方式，范围变化检测部60根据输入图像信号S_in的运动决定基于水平方向以及垂直方向的清晰化处理的频率分量的强调度，所以能够进行适于输入图像信号S_in的特征的清晰化处理。

(基于非线性处理的高频分量生成的说明)

以下，用于参考，对在图1以及图5所示的清晰化处理部FE中，能够进行超过取样频率是fs的输入图像的奈奎斯特频率fs/2的高频域的补偿的点进行说明。

现在，输入图像信号S_in由(水平方向)位置x的函数f(x)表现，若将输入图像信号S_in的基本角频率设为ω，则该f(x)能够用如公式(5)的傅里叶级数表现。

【公式5】

f(x)＝a_-Ncos(-N)ωx+a_-N+1cos(-N+1)ωx+…+a_-1cos(-1)ωx

+a₀+a₁cosωx+a₂cos2ωx+…+a_NcosNωx

(5)

+b_-Nsin(-N)ωx+b_-N+1sin(-N+1)ωx+…+b_-1sin(-1)ωx

+b₁sinωx+b₂sin2ωx+…+b_NsinNωx

这里，N是不超过与(图像放大处理前的)取样频率fs对应的奈奎斯特频率fs/2的最高频率的高次谐波的次数。即，

Nω/(2π)＜fs/2≤(N+1)ω/(2π)。

例如，在非线性处理部(20、40)通过使输入图像信号S_in自乘两次来生成第一信号S1的情况下，第一信号S1中的各项由下述公式(6a)～(6c)中的任意一个表现。

【公式6】

a_icosiωx×a_jcosjωx(6a)

a_icosiωx×b_jsinjωx(6b)

b_isiniωx×b_jsinjωx(6c)

(i＝±1，±2，…，±N；j＝±1，±2，…，±N)

若使用关于三角函数的公式，则上述公式(6a)～(6c)分别能够改写为下述的公式(7a)～(7c)。

【公式7】

\frac{a_{i} a_{j}}{2} (c o s (i + j) ω x + c o s (i - j) ω x) - - - (7 a)

\frac{a_{i} b_{j}}{2} (c o s (i + j) ω x - s i n (i - j) ω x) - - - (7 b)

- \frac{b_{i} b_{j}}{2} (s i n (i + j) ω x - c o s (i - j) ω x) - - - (7 c)

通过上述公式，(f(x))²包括(N+1)ω，(N+2)ω，…，2Nω等的角频率分量，所以包括比奈奎斯特频率fs/2高的频率分量。因此，第一信号S1也如频率2Nω/(2π)之类的高次谐波分量等那样包括比奈奎斯特频率fs/2高的频率分量。

另外，例如，在非线性处理部(20，40)通过使正的第一信号S1自乘三次来生成第二信号S2的情况下，第二信号S2中的各项由下述公式(8a)～(8d)中的任意一个表现。

【公式8】

a_icosiωx×a_jcosjωx×a_kcoskωx(8a)

a_icosiωx×a_jcosjωx×b_ksinkωx(8b)

a_icosiωx×b_jsinjωx×b_ksinkωx(8c)

b_isiniωx×b_jsinjωx×b_ksinkωx(8d)

(i＝±1，±2，…，±N；j＝±1，±2，…，±N；k＝±1，±2，…，±N)

现在，若着眼于例如i＝j＝k＝N的项中由上述公式(8a)(8d)表示的下述的项，则这些项能够通过三角函数的公式如下那样改写。

【公式9】

(a_NcosNωx)³＝a_N ³{(3/4)cosNωx+(1/4)cos3Nωx}(9a)

(a_NsinNωx)³＝b_N ³{(3/4)sinNωx-(1/4)sin3Nωx}(9d)

另外，若着眼于例如i＝j＝k＝－N的项中由上述公式(8a)(8d)表示的下述的项，则该项能够通过三角函数的公式如下那样改写。

【公式10】

{a_Ncos(-Nωx)}³＝a_N ³{(3/4)cos(-Nωx)+(1/4)cos(-3Nωx)}(10a)

{a_Nsin(-Nωx)}³＝b_N ³{(3/4)sin(-Nωx)-(1/4)sin(-3Nωx)}(10d)

通过上述公式(9a)(9d)(10a)(10d)，(g(x))³包括基本角频率ω的3N倍的频率分量或－3N倍的频率分量。对于(g(x))³中的其他的项，也通过三角函数的公式改写，由此可知(g(x))³包括从基本角频率ω的－3N倍到3N倍的各种频率分量。

如上所述，通过非线性处理部(20、40)的非线性处理，在清晰化处理部FE中，能够进行超过取样频率是fs的输入图像的奈奎斯特频率fs/2的高频域的补偿。另外，使用非对称型非线性函数的非线性处理部20通过进行在高通滤波处理后的信号的正负为非对称的非线性处理，能够生成在正负为非对称的频率分量。

工业上的可用性

本发明应用于使图像清晰化来改善画质的图像处理装置，例如能够应用于使利用电视机(TV)接收器实时地显示的视频清晰化的图像处理装置。

另外，本发明能够应用于监视照相机的图像清晰化处理，例如，能够降低对图像的一部分进行放大时的模糊。另外，能够对于设置于暗处的监视照相机的图像、在夜间拍摄到的图像等，进行使亮度暗的区域的轮廓更清晰化的图像处理。

并且，本发明能够应用于从远距离拍摄的影像的分辨率改善。例如，能够对于从远方拍摄到难以接近的事故现场等的图像、卫星图像等，进行使轮廓清晰化的图像处理。

并且，本发明能够应用于模拟内容的高清化。即，在将现有的模拟内容转换成高清内容时，通过进行使上转换后的图像的轮廓清晰化的图像处理，能够将模拟内容重制为更高清的数字内容。例如，能够在将模拟电视内容转换成高清内容、或者将旧的电影内容转换成更高清的数字内容(例如Blu－ray(注册商标)内容)时应用。

并且，本发明也能够应用于医疗领域。例如，能够将内视镜等的患部的放大图像转换成更高清的图像，或者在远程医疗等，将分辨率低的患部的影像转换成更高清的图像。

并且，本发明能够应用于可利用计算机视听的视频内容的高清化。在互联网上存在许多提供视频内容的网站，已经保存了许多视频内容。通过本发明，能够将现有的视频内容转换成更高清、高分辨率的内容，使视听品质提高。

应注意虽然根据各附图、实施例对本发明进行了说明，但如果是本领域技术人员则容易根据本公开进行各种变形、修正。因此，应当指出的是这些变形、修正包含于本发明的范围。例如，各构成部、各步骤等所包含的功能等能够以逻辑性不矛盾的方式重新配置，能够将多个构成部、步骤等组合成一个、或者分割。

符号说明

1、2、3、4、5...图像处理装置；10...HPF；111～11(m－1)...单位延迟元件；121～12m...乘法器；131...加法器；11...LPF；12...减法器；13...垂直LPF(垂直滤波器)；14...水平LPF(水平滤波器)；15...第一加法器；16...第二加法器；17...放大器(切换器)；18...第三加法器；20、40...非线性处理部；21...第1二维滤波器(垂直滤波器)；22...第2二维滤波器(水平滤波器)；30...限幅器；50...放大器；60...范围变化检测部；61...帧存储器；62、63...水平LPF；64、65...垂直LPF；66、67...差分检测部；68...增益决定部。

Claims

1.一种图像处理装置，其特征在于，

是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置，具备：

垂直滤波器，其至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分；

水平清晰化处理部，其生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；

水平滤波器，其至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分；以及

垂直清晰化处理部，其生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，

在所述水平清晰化处理部的前级配置有所述垂直滤波器的水平方向处理部和在所述垂直清晰化处理部的前级配置有所述水平滤波器的垂直方向处理部被以并联的方式连接，所述图像处理装置具备与被以并联的方式连接的所述水平方向处理部以及所述垂直方向处理部的任意一方的后级和任意另一方的前级连接的放大器，且使输入图像清晰化。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述放大器的放大率β是0≤β≤1。

3.一种图像处理装置，其特征在于，

所述水平清晰化处理部以及所述垂直清晰化处理部的至少一方包括：滤波器部，其通过除去输入信号所包含的频率分量的至少直流分量来生成第一信号；非线性处理部，其是对于所述第一信号进行在所述第一信号的正负为非对称的非线性处理并生成第二信号的非线性处理部，对于所述第一信号进行如下的非线性处理，即，被作为应用于正的区域的非线性处理和应用于负的区域的非线性处理通过原点的连续函数表示，并且，由非线性处理生成的频率分量的频带在正的区域和负的区域为非对称；以及限幅器，其调整所述第二信号来生成第三信号，

在所述水平清晰化处理部的前级配置有所述垂直滤波器的水平方向处理部和在所述垂直清晰化处理部的前级配置有所述水平滤波器的垂直方向处理部被以串联或者并联的方式连接并使输入图像清晰化。

4.一种图像处理装置，其特征在于，

所述水平清晰化处理部以及所述垂直清晰化处理部的至少一方包括：非线性处理部，其是对输入信号进行非线性处理并生成第一信号的非线性处理部，对于所述输入信号进行如下的非线性处理，即，被作为所述第一信号连续的非线性函数表示，并且生成不包含于所述输入信号中的频率分量；滤波器部，其通过除去所述第一信号所包含的频率分量的至少直流分量来生成第二信号；以及限幅器，其调整所述第二信号来生成第三信号，

5.根据权利要求1至4中任一项所述的图像处理装置，其特征在于，

具备检测输入图像信号的运动的范围变化检测部，

所述范围变化检测部在输入图像信号的垂直方向的运动量大时降低所述垂直清晰化处理部的频率分量的强调度，并且在输入图像信号的水平方向的运动量大时降低所述水平清晰化处理部的频率分量的强调度。

6.一种图像处理方法，其特征在于，

是生成比表示输入图像的输入图像信号所包含的频率分量更高的频率分量来使输入图像清晰化的图像处理装置中的图像处理方法，

所述图像处理装置中的处理步骤包括：

水平方向处理步骤，至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分，生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；

垂直方向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波；以及

通过放大率β切换将所述垂直方向处理步骤以及所述水平方向处理步骤串行执行还是并行执行的步骤，

串行或者并行地执行所述垂直方向处理步骤以及所述水平方向处理步骤。

7.根据权利要求6所述的图像处理方法，其特征在于，

所述放大率β是0≤β≤1。

8.一种图像处理方法，其特征在于，

所述图像处理装置中的处理步骤包括：

水平方向处理步骤，至少在输入图像信号所包含的水平方向的高频部分中，除去输入图像信号的垂直方向的频率分量的高频部分，生成包括比输入图像信号所包含的水平方向的频率分量更高的频率分量的水平方向的高次谐波；以及

垂直方向处理步骤，至少在输入图像信号所包含的垂直方向的高频部分中，除去输入图像信号的水平方向的频率分量的高频部分，生成包括比输入图像信号所包含的垂直方向的频率分量更高的频率分量的垂直方向的高次谐波，

所述水平方向处理步骤和所述垂直方向处理步骤的至少一方包括：通过除去输入信号所包含的频率分量的至少直流分量来生成第一信号的步骤；非线性处理步骤，其是对于所述第一信号进行在所述第一信号的正负为非对称的非线性处理并生成第二信号的非线性处理步骤，对于所述第一信号进行如下的非线性处理，即，被作为应用于正的区域的非线性处理和应用于负的区域的非线性处理通过原点的连续函数表示，并且由非线性处理生成的频率分量的频带在正的区域和负的区域为非对称；以及调整步骤，调整所述第二信号来生成第三信号，

9.一种图像处理方法，其特征在于，

所述图像处理装置中的处理步骤包括：

所述水平方向处理步骤和所述垂直方向处理步骤的至少一方包括：非线性处理步骤，其是对输入信号进行非线性处理并生成第一信号的非线性处理步骤，对于所述输入信号进行如下的非线性处理，即，被作为所述第一信号连续的非线性函数表示，并且生成不包含于所述输入信号中的频率分量；通过除去所述第一信号所包含的频率分量的至少直流分量来生成第二信号的步骤；以及调整所述第二信号来生成第三信号的步骤，

10.根据权利要求6至9中任一项所述的图像处理方法，其特征在于，

包括如下的步骤：检测输入图像信号的运动，在输入图像信号的垂直方向的运动量大时降低所述垂直方向处理步骤的频率分量的强调度，并且在输入图像信号的水平方向的运动量大时降低所述水平方向处理步骤的频率分量的强调度。