CN102265306A - 图像处理装置和方法以及图像显示装置 - Google Patents

图像处理装置和方法以及图像显示装置 Download PDF

Info

Publication number
CN102265306A
CN102265306A CN2009801519836A CN200980151983A CN102265306A CN 102265306 A CN102265306 A CN 102265306A CN 2009801519836 A CN2009801519836 A CN 2009801519836A CN 200980151983 A CN200980151983 A CN 200980151983A CN 102265306 A CN102265306 A CN 102265306A
Authority
CN
China
Prior art keywords
image
intermediate image
frequency component
radio
vertical direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801519836A
Other languages
English (en)
Other versions
CN102265306B (zh
Inventor
守谷正太郎
奥田悟崇
山中聪
南浩次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN102265306A publication Critical patent/CN102265306A/zh
Application granted granted Critical
Publication of CN102265306B publication Critical patent/CN102265306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

在第1中间图像生成单元(1)中生成对输入图像(DIN)的特定频带的成分进行提取而得到的中间图像(D1)，在第2中间图像生成单元(2)中生成具有比中间图像(D1)高的频率成分的中间图像(D2)，在中间图像处理单元(3M)中生成抑制了中间图像(D1)中包含的微小振动的中间图像(D3M)，在中间图像处理单元(3H)中生成抑制了中间图像(D2)中包含的微小振动的中间图像(D3H)，在相加单元(4)中，将输入图像(DIN)和中间图像(D3M)以及中间图像(D3H)进行相加，得到最终的输出图像(DOUT)。即使是输入图像在高频成分侧包含折返成分的情况下和未包含足够的高频成分的情况下，也能够得到不会强调噪声的强调处理图像。

Description

图像处理装置和方法以及图像显示装置
技术领域
本发明涉及对输入图像进行强调处理的图像处理装置和方法、以及使用该图像处理装置和方法的图像显示装置，例如，在输入了将作为基础的图像放大后的放大图像作为输入图像时，通过进行高频成分的生成和相加来进行图像的强调处理，以便得到析像感较高的输出图像。
背景技术
通常，在对表示图像的图像信号适当进行图像处理后，对图像进行再现显示。
例如，在专利文献1记载的图像处理装置中，针对被变换为多重析像感的细节图像，根据比期望频带低的频带的细节图像信号，设定针对该期望频带的细节图像的强调系数，由此对期望频带进行强调。
现有技术文献
专利文献
专利文献1：日本特开平9-44651号公报
发明内容
发明要解决的问题
但是，在针对被变换为多重析像感的细节图像，适当设定针对期望频带的细节图像的强调系数的图像处理装置中，根据输入图像的不同，存在强调处理不适当或者不充分而不能得到合适画质的输出图像的情况。
例如，在输入经放大处理的图像作为输入图像的情况下，在输入图像的频谱的高频成分侧出现放大处理前的图像的频谱的一部分折返的成分(折返成分)。因此，如果单纯地强调高频成分，则导致强调该折返成分，成为不合适的处理。另外，如果限定频带而只强调不包含折返成分的频带，在从频谱出发进行分析时，由于避免强调高频成分侧，结果成为不充分的强调处理。
另外，在输入图像包含噪声的情况下，将导致对叠加在细节图像的频带中的噪声进行强调。
另外，在输入图像包含噪声的情况下，如果先利用噪声处理来去除输入图像中包含的噪声，则导致高频成分侧的频谱也通过噪声处理而消失。因此，存在即使想要提取高频成分也不能进行提取，而不能充分进行图像的强调处理的情况。
用于解决问题的手段
本发明的图像处理装置的特征在于，该图像处理装置具有：第1中间图像生成单元，其生成对输入图像的特定频带的成分进行提取而得到的第1中间图像；第2中间图像生成单元，其根据所述第1中间图像生成第2中间图像；第1中间图像处理单元，其生成抑制了所述第1中间图像中包含的微小振动的第3中间图像；第2中间图像处理单元，其生成抑制了所述第2中间图像中包含的微小振动的第4中间图像；以及相加单元，其将所述输入图像和所述第3中间图像以及所述第4中间图像进行相加。
发明效果
根据本发明，即使是在输入图像中包含噪声时，也能够充分进行图像的强调处理，而不会增加或者强调噪声。
附图说明
图1是表示本发明的实施方式1的图像处理装置的结构的框图。
图2是表示图1中的第1中间图像生成单元1的结构示例的框图。
图3是表示图1中的第2中间图像生成单元2的结构示例的框图。
图4是表示图1中的第1中间图像处理单元3M的结构示例的框图。
图5是表示图2中的第2中间图像处理单元3H的结构示例的框图。
图6是表示图3中的水平方向非线性处理单元2Ah的结构示例的框图。
图7是表示图3中的垂直方向非线性处理单元2Av的结构示例的框图。
图8(A)和(B)是表示针对核化(coring)处理的输入信号和核化处理的输出信号的图。
图9是表示使用本发明的图像处理装置的图像显示装置的结构示例的框图。
图10是表示图9中的图像放大单元U1的结构示例的框图。
图11(A)～(E)是表示图10中的图像放大单元U1的动作的像素配置图。
图12(A)～(D)是用于说明图10中的图像放大单元U1的动作的频率响应及频谱的图。
图13(A)～(E)是用于说明图1中的第1中间图像生成单元1的动作的频率响应及频谱的图。
图14(A)～(C)是用于说明图1中的第2中间图像生成单元2的动作的频率响应及频谱的图。
图15(A)～(C)是表示阶梯型边缘、和在按照采样间隔S1对阶梯型边缘进行采样时得到的相连续的像素的信号的值的图。
图16(A)～(C)是表示阶梯型边缘、和在按照采样间隔S2对阶梯型边缘进行采样时得到的相连续的像素的信号的值的图。
图17(A)～(F)是用于说明图1中的第1中间图像生成单元1和第2中间图像生成单元2的动作的、相连续的像素的信号的值的图。
图18(A)～(E)是用于说明第1中间图像生成单元1和第2中间图像生成单元2的动作的、相连续的像素的信号的值的图。
图19(A)～(D)是用于说明第1中间图像处理单元3M和第2中间图像处理单元3H的动作的、相连续的像素的信号的值的图。
图20是表示本发明的实施方式2的图像处理方法的处理的流程图。
图21是表示图20中的第1中间图像生成步骤ST1的处理的流程图。
图22是表示图20中的第2中间图像生成步骤ST2的处理的流程图。
图23是表示图22中的水平方向非线性处理步骤ST2Ah的处理的流程图。
图24是表示图22中的垂直方向非线性处理步骤ST2Av的处理的流程图。
图25是表示图20中的第1中间图像处理步骤ST3M的处理的流程图。
图26是表示图20中的第2中间图像处理步骤ST3H的处理的流程图。
具体实施方式
实施方式1
图1是表示本发明的实施方式1的图像处理装置的结构示例的图，图示的图像处理装置能够用作例如图像显示装置的一部分。
图示的图像处理装置具有第1中间图像生成单元1、第2中间图像生成单元2、第1中间图像处理单元3M、第2中间图像处理单元3H和相加单元4。
第1中间图像生成单元1生成从输入图像DIN提取特定频带的成分(即从第1频率(第1预定频率)到第2频率(第2预定频率)的成分)得到的中间图像(第1中间图像)D1。
第2中间图像生成单元2生成对中间图像D1进行后面叙述的处理得到的中间图像(第2中间图像)D2。
第1中间图像处理单元3生成对中间图像D1进行后面叙述的处理得到的中间图像(第3中间图像)D3M。
第2中间图像处理单元4生成对中间图像D2进行后面叙述的处理得到的中间图像(第4中间图像)D3H。
相加单元4将输入图像DIN和中间图像D3M和中间图像D3H进行相加。由相加单元4进行相加的结果而得到的图像，被作为最终的输出图像DOUT进行输出。
图2是表示第1中间图像生成单元1的结构示例的图，图示的第1中间图像生成单元1具有：高频成分图像生成单元1A，其生成从输入图像DIN只提取上述第1频率以上的高频成分而得到的图像D1A；以及低频成分图像生成单元1B，其生成只提取图像D1A的第2频率以下的低频成分而得到的图像D1B。由高频成分图像生成单元1A和低频成分图像生成单元1B构成提取特定频带的成分的带通滤波器单元。从第1中间图像生成单元1输出图像D1B作为中间图像D1。
图3是表示第2中间图像生成单元2的结构示例的图，图示的第2中间图像生成单元2具有：非线性处理单元2A，其输出对中间图像D1进行后面叙述的非线性处理而得到的图像D2A；以及高频成分图像生成单元2B，其输出只提取图像D2A的第3频率(第3预定频率)以上的高频成分而得到的图像D2B。从第2中间图像生成单元2输出图像D2B作为中间图像D2。
图4是表示第1中间图像处理单元3M的结构示例的图，图示的第1中间图像处理单元3M具有水平方向微小振动抑制单元3Mh和垂直方向微小振动抑制单元3Mv。第1中间图像处理单元3M对中间图像D1进行后面叙述的处理。并且，从第1中间图像处理单元3M输出该处理的结果作为中间图像D3M。
图5是表示第2中间图像处理单元3H的结构示例的图，图示的第2中间图像处理单元3H具有水平方向微小振动抑制单元3Hh和垂直方向微小振动抑制单元3Hv。第2中间图像处理单元3H对中间图像D2进行后面叙述的处理。并且，从第2中间图像处理单元3H输出该处理的结果作为中间图像D3H。
相加单元4将中间图像D3M和中间图像D3H与输入图像DIN进行相加，生成最终的输出图像DOUT。
下面，对本发明的实施方式1的图像处理装置的具体动作进行说明。
首先，对第1中间图像生成单元1的具体动作进行说明。
第1中间图像生成单元1在高频成分图像生成单元1A中生成只提取输入图像DIN的第1频率以上的高频成分而得到的图像D1A。高频成分的提取能够通过进行高通滤波处理来实现。针对图像的水平方向和垂直方向分别进行高频成分的提取。即，高频成分图像生成单元1A具有：水平方向高频成分图像生成单元1Ah，其对输入图像DIN进行水平方向的高通滤波处理，生成只针对水平方向提取第1水平方向频率以上的高频成分而得到的图像D1Ah；以及垂直方向高频成分图像生成单元1Av，其对输入图像DIN进行垂直方向的高通滤波处理，生成只针对垂直方向提取第1垂直方向频率以上的高频成分而得到的图像D1Av，图像D1A由图像D1Ah和图像D1Av构成。
然后，第1中间图像生成单元1在低频成分图像生成单元1B中生成只提取图像D1A的第2频率以下的低频成分而得到的图像D1B。低频成分的提取能够通过进行低通滤波处理来实现。针对水平方向和垂直方向分别进行低频成分的提取。即，低频成分图像生成单元1B具有：水平方向低频成分图像生成单元1B，其对图像D1Ah进行水平方向的低通滤波处理，生成只针对水平方向提取第2水平方向频率以下的低频成分而得到的图像D1Bh；以及垂直方向低频成分图像生成单元1Bv，其对图像D1Av进行垂直方向的低通滤波处理，生成只针对垂直方向提取第2垂直方向频率以下的低频成分而得到的图像D1Bv，图像D1B由图像D1Bh和图像D1Bv构成。从第1中间图像生成单元1输出图像D1B作为中间图像D1。另外，中间图像D1由相当于图像D1Bh的图像D1h和相当于图像D1Bv的图像D1v构成。
下面，对第2中间图像生成单元2的具体动作进行说明。
首先，第2中间图像生成单元2在非线性处理单元2A中生成对中间图像D1进行后面叙述的非线性处理而得到的图像D2A。针对水平方向和垂直方向分别进行非线性处理。即，非线性处理单元2A具有：水平方向非线性处理单元2Ah，其对图像D1h进行后面叙述的非线性处理，生成图像D2Ah；垂直方向非线性处理单元2Av，其对图像D1v进行后面叙述的非线性处理，生成图像D2Av，图像D2A由图像D2Ah和图像D2Av构成。
对非线性处理单元2A的动作进行更详细的说明。非线性处理单元2A具有由彼此相同的结构构成的水平方向非线性处理单元2Ah和垂直方向非线性处理单元2Av。水平方向非线性处理单元2Ah进行水平方向的处理，垂直方向非线性处理单元2Av进行垂直方向的处理。
图6是表示水平方向非线性处理单元2Ah的结构示例的图，图示的水平方向非线性处理单元2Ah具有过零判定单元311h和信号放大单元312h。图像D1h作为输入图像DIN311h被输入非线性处理单元2Ah。
过零判定单元311h沿水平方向确认输入图像DIN311h中的像素值的变化。并且，捕捉像素值从正值向负值、或者从负值向正值变化的位置作为过零点，利用信号D311h将位于过零点前后的像素(前后邻接的像素)的位置传递给信号放大单元312h。在此，“前后”是指提供信号的顺序中的前后，在沿水平方向从左向右提供像素信号时是指“左右”，在沿垂直方向从上向下提供像素信号时是指“上下”。在过零判定单元311h中，水平方向非线性处理单元2Ah内的过零判定单元311h将位于过零点左右的像素认为是位于过零点前后的像素。
信号放大单元312h根据信号D311h，确定位于过零点前后的像素(前后邻接的像素)，生成只将位于过零点前后的像素的像素值放大(增大绝对值)而得到的非线性处理图像D312h。即，对于位于过零点前后的像素的像素值，将放大率设为大于1的值，将除此之外的像素的像素值的放大率设为1。
从水平方向非线性处理单元2Ah输出非线性处理图像D312h作为图像D2Ah。
图7是表示垂直方向非线性处理单元2Av的结构示例的图，图示的垂直方向非线性处理单元2Av具有过零判定单元311v和信号放大单元312v。图像D1v作为输入图像DIN311v被输入非线性处理单元2Av。
过零判定单元311v沿垂直方向确认输入图像DIN311v中的像素值的变化。并且，捕捉像素值从正值向负值或者从负值向正值变化的位置作为过零点，利用信号D311v将位于过零点前后的像素(在前后邻接的像素)的位置传递给信号放大单元312v。垂直方向非线性处理单元2Av内的过零判定单元311v将位于过零点上下的像素认为是位于过零点前后的像素。
信号放大单元312v根据信号D311v，确定位于过零点前后的像素(前后邻接的像素)，生成只将位于过零点前后的像素的像素值放大(增大绝对值)而得到的非线性处理图像D312v。即，对于位于过零点前后的像素的像素值，将放大率设为大于1的值，将除此之外的像素的像素值的放大率设为1。
以上是非线性处理单元2A的动作。
然后，第2中间图像生成单元2在高频成分图像生成单元2B中生成只提取图像D2A的第3频率以上的高频成分而得到的图像D2B。高频成分的提取能够通过进行高通滤波处理来实现。针对图像的水平方向和垂直方向分别进行高频成分的提取。即，高频成分图像生成单元2B具有：水平方向高频成分图像生成单元2Bh，其对图像D2Ah进行水平方向的高通滤波处理，生成只针对水平方向提取第3水平方向频率以上的高频成分而得到的图像D2Bh；以及垂直方向高频成分图像生成单元2Bv，其对图像D2Av进行垂直方向的高通滤波处理，生成只针对垂直方向提取第3垂直方向频率以上的高频成分而得到的图像D2Bv，图像D2B由图像D2Bh和图像D2Bv构成。从第2中间图像生成单元2输出图像D2B作为中间图像D2。另外，中间图像D2由相当于图像D2Bh的图像D2h和相当于图像D2Bv的图像D2v构成。
下面，对第1中间图像处理单元3M的具体动作进行说明。
中间图像处理单元3M对第1中间图像D1进行抑制微小振动的处理(微小振动抑制处理)。在此，第1中间图像由图像D1h和图像D1v构成，所以水平方向微小振动抑制单元3Mh对图像D1h进行微小振动抑制处理，生成图像D3Mh，垂直方向微小振动抑制单元3Mv对图像D1v进行微小振动抑制处理，生成图像D3Mv。并且，从第1中间图像处理单元3M输出图像D3Mh和图像D3Mv作为中间图像D3M。
参照图8(A)和(B)更详细地说明微小振动抑制处理。
在图8(A)和(B)中，作为微小振动抑制处理的一例，采用了核化处理。图8(A)表示针对核化处理的输入信号，图8(B)表示核化处理的输出信号，在将针对核化处理的输入值设为DATAIN，将核化处理的输出值设为DATAOUT时，DATAIN与DATAOUT的关系可以表示如下。
[数式1]
DATAOUT = DATAIN - THp if ( DATAIN ≥ THp ) 0 if ( THp > DATAIN > THm ) DATAIN + THm if ( THm ≥ DATAIN ) - - - ( 1 )
其中，THp表示取正值的阈值，THm表示取负值的阈值。
将图8(A)和图8(B)进行比较，通过核化处理明显地抑制了微小的振动(利用阈值THp～阈值THm表示的范围内的振动)。即，通过核化处理能够抑制微小的振动。
另外，微小振动抑制处理不限于在式(1)中说明的核化处理，只要是抑制微小的振动的处理即可。
以上是第1中间图像处理单元3M的动作。
下面，对第2中间图像处理单元3H的动作进行说明。将图4和图5进行比较，第2中间图像处理单元除了输入信号是中间图像D2之外，其它结构与第1中间图像处理单元相同，第2中间图像处理单元3H对中间图像D2进行与第1中间图像处理单元3M对中间图像D1进行的处理相同的处理，并输出所得到的中间图像D3H。另外，根据上述的第1中间图像处理单元3M的动作的详细说明，能够明确第2中间图像处理单元3H的具体动作，因而省略第2中间图像处理单元3H的动作的详细说明。
最后对相加单元4的动作进行说明。相加单元4生成将输入图像DIN和中间图像D3M和中间图像D3H相加而得到的输出图像DOUT。将相加单元4的输出图像DOUT作为最终的输出图像，从图像处理装置输出。
中间图像D3M由图像D3Mh和图像D3Mv构成，中间图像D3H由图像D3Hh和图像D3Hv构成，因而将输入图像DIN、中间图像D3M和中间图像D3H相加，意味着将图像D3Mh、D3Mv、D3Hh、D3Hv全部与输入图像DIN相加。
在此，相加单元4的相加处理不限于简单相加，也可以进行加权相加。即，分别以不同的放大率将各个图像D3Mh、D3Mv、D3Hh、D3Hv放大，然后与输入图像DIN相加。
下面，对将本发明的图像处理装置用作图像显示装置的一部分的示例进行说明。通过该说明，本发明的图像处理装置的作用、效果将得到明确。在下面的说明中只要没有特别说明，记号Fn表示输入图像DIN的尼奎斯特频率。
图9表示使用了本发明的图像处理装置的图像显示装置，在图示的图像显示装置中，在监视器U3上显示与原图像DORG对应的图像。
在原图像DORG的图像尺寸小于监视器U3的图像尺寸的情况下，图像放大单元U1输出将原图像DORG放大而得到的图像DU1。在此，图像的放大例如能够利用bicubic(双三次插值)法等进行。
本发明的图像处理装置U2输出对图像DU1进行前面说明的处理而得到的图像DU2。并且，在监视器U3上显示图像DU2。
然后，设为原图像DORG的像素数在水平方向和垂直方向都是监视器U3的像素数的一半，来首先对图像放大单元U1的动作、作用进行说明。
图10是表示图像放大单元U1的结构及动作的图，图像放大单元U1具有水平方向零插入单元U1A、水平方向低频成分通过单元U1B、垂直方向零插入单元U1C、以及垂直方向低频成分通过单元U1D。
水平方向零插入单元U1A生成关于原图像DORG的水平方向适当插入了具有像素值0的像素(在原图像DORG的水平方向上邻接的像素列相互之间，逐列插入由像素值0的像素构成的像素列)而得到的图像DU1A。
水平方向低频成分通过单元U1B生成通过低通滤波处理只提取图像DU1A的低频成分而得到的图像DU1B。
垂直方向零插入单元U1C生成关于图像DU1B的垂直方向适当插入了具有像素值0的像素(在图像DU1B的垂直方向上邻接的像素行相互之间，逐行插入由像素值0的像素构成的像素行)而得到的图像DU1C。
垂直方向低频成分通过单元DU1D生成只提取图像DU1C的低频成分而得到的图像DU1D。
图像DU1D作为将原图像DORG沿水平方向和垂直方向都变为2倍而得到图像DU1，从图像放大单元U1输出。
图11(A)～(E)是用于详细说明图像放大单元U1的动作的图，图11(A)表示原图像DORG，图11(B)表示图像DU1A，图11(C)表示图像DU1B，图11(D)表示图像DU1C，图11(E)表示图像DU1D。在图11(A)～(E)中，方框(方格)表示像素，被写入方框中的记号或者数值表示各个像素的像素值。
水平方向零插入单元U1A针对图11(A)所示的原图像DORG，对水平方向上的每1像素插入1个具有像素值0的像素(即，在原图像DORG的水平方向上邻接的像素列相互之间，插入一个由像素值0的像素构成的像素列)，生成图11(B)所示的图像DU1A。水平方向低频成分通过单元U1B对图11(B)所示的图像DU1A实施低通滤波处理，生成图11(C)所示的图像DU1B。
垂直方向零插入单元U1C针对图11(C)所示的图像DU1B，对在垂直方向上的每1像素插入1个具有像素值0的像素(即，在图像DU1B的垂直方向上邻接的像素行相互之间，插入一个由像素值0的像素构成的像素行)，生成图11(D)所示的图像DU1C。垂直方向低频成分通过单元U1D对图11(D)所示的图像DU1C实施低通滤波处理，生成图11(E)所示的图像DU1D。通过以上的处理，生成将原图像DORG沿水平方向和垂直方向都放大2倍而得到的图像DU1D。
图12(A)～(D)是在频率空间上表示图像放大单元U1进行的处理的作用的图，图12(A)表示原图像DORG的频谱，图12(B)表示图像DU1A的频谱，图12(C)表示水平方向低频成分通过单元U1B的频率响应，图12(D)表示图像DU1B的频谱。另外，在图12(A)～(D)中，横轴是表示水平方向的空间频率的频率轴，纵轴表示频谱或者频率响应的强度。
原图像DORG的像素数是输入图像DIN的一半，换言之，原图像DORG的采样间隔是输入图像DIN的采样间隔的2倍。因此，原图像DORG的尼奎斯特频率是输入图像DIN的尼奎斯特频率的一半即Fn/2。
另外，在图12(A)～(D)中为了简化表述，只采用了一个频率轴。但是，通常图像数据由在呈二维平面状排列的像素排列上给出的像素值构成，其频谱也在由水平方向的频率轴和垂直方向的频率轴形成的平面上给出。因此，为了准确表示原图像DORG等的频谱等，需要记载水平方向的频率轴和垂直方向的频率轴双方。但是，其频谱的形状通常是以频率轴上的原点为中心各向同性地扩散的形状，只要示出了利用一个频率轴形成的空间上的频谱，本领域技术人员就容易由此扩展到利用两个频率轴形成的空间上进行分析。因此，在后面的说明中只要没有特别说明，使用利用一个频率轴形成的空间来进行频率空间上的说明。
首先，对原图像DORG的频谱进行说明。通常，输入自然图像作为原图像DORG，但在该情况下其频谱强度集中在频率空间的原点周围。因此，原图像DORG的频谱如图12(A)的频谱SPO那样。
下面，对图像DU1A的谱强度进行说明。图像DU1A是通过对原图像DORG沿水平方向针对每1像素插入一个具有像素值0的像素而生成的。在进行这种处理时，频谱中产生以原图像DORG的尼奎斯特频率为中心的折返。即，产生频谱SPO以频率±Fn/2为中心折返的谱SPM，因此图像DU1A的频谱如图12(B)所示。
下面，对水平方向低频成分通过单元U1B的频率响应进行说明。水平方向低频成分通过单元利用低通滤波器实现，所以如图12(C)所示在频率越高时，其频率响应越低。
最后对图像DU1B的频谱进行说明。对具有图12(B)所示的频谱的图像DU1A，进行具有图12(C)所示的频率响应的低通滤波处理，由此得到图12(D)所示的图像DU1B。
因此，图像DU1B的频谱如图像DU1B所示，由谱SPM的强度下降某种程度后的谱SP2、和谱SPO的强度下降某种程度后的谱SP1构成。另外，通常在频率越高时，低通滤波器的频率响应越低。因此，将谱SP1的强度与谱SPO进行比较得知，利用水平方向低频成分通过单元U1B使得高频成分侧即频率为±Fn/2附近的谱强度减小。
另外，关于图像放大单元U1进行的处理中、由垂直方向零插入单元U1C和垂直方向低频成分通过单元U1D进行的处理，省略有关该处理在频率空间上的作用的说明，但根据该处理的内容能够容易理解得到，针对表示垂直方向的空间频率的轴方向，具有与参照图12(A)～(D)说明的内容相同的作用。即，图像DU1D的频谱是由图12(D)所示的频谱在二维上扩展而形成的。
并且，在后面的说明中，将谱SP2称为折返成分。该折返成分在图像上表现为具有比较高的频率成分的伪信号。关于这种伪信号，可以列举过冲(overshoot)、锯齿(jaggies)或者振铃(ringing)等。
下面，对本发明的图像处理装置的作用、效果进行说明。
图13(A)～(E)是示意地表示在输入将原图像DORG放大而得到的图像DU1D作为输入图像DIN(或者图像DU1)时，根据输入图像DIN生成中间图像D1时的作用、效果的图，图13(A)表示输入图像DIN的频谱，图13(B)表示高频成分图像生成单元1A的频率响应，图13(C)表示低频成分图像生成单元1B的频率响应，图13(D)表示第1中间图像生成单元1的频率响应，图13(E)表示中间图像D1的频谱。另外，基于和图12(A)～(D)相同的理由，在图13(A)～(E)中也是只采用了一个频率轴。
另外，在图13(A)～(E)中只在空间频率为0以上的范围示出了频谱或者频率响应的强度，但在下面的说明中，频谱或者频率响应是以频率轴上的原点为中心对称的形状。因此，作为说明用的图，只示出空间频率为0以上的范围即足以。
首先，对输入图像DIN的频谱进行说明。通过图像放大单元U1的放大处理而生成的图像DU1D作为输入图像DIN被输入，因而输入图像DIN的频谱呈现如图13(A)所示的、与在图12(D)中说明的形状相同的形状，频谱由原图像DORG的谱SPO的强度下降某种程度后的谱SP1和成为折返成分的谱SP2构成。
下面，对高频成分图像生成单元1A的频率响应进行说明。高频成分图像生成单元1A由高通滤波器构成，因而如图13(B)所示在频率越低时其频率响应越低。
下面，对低频成分图像生成单元1B的频率响应进行说明。低频成分图像生成单元1B由低通滤波器构成，因而如图13(C)所示在频率越高时其频率响应越低。
下面，对第1中间图像生成单元1的频率响应进行说明。输入图像DIN具有的频率成分中、如图13(D)所示的低频成分侧的区域(比“第1频率FL1”低的频率的频带)RL1的频率成分被第1中间图像生成单元1内的高频成分图像生成单元1A减弱。另一方面，图13(D)所示的高频成分侧的区域(比第2频率FL2高的频率的频带)RH1的频率成分，被第1中间图像生成单元1内的低频成分图像生成单元1B减弱。因此，第1中间图像生成单元1的频率响应如图13(D)所示，在由低频成分侧的区域RL1和高频成分侧的区域RH1限制了频带的中间区域(特定的频带)RM1内具有峰值。
下面，对中间图像D1的频谱进行说明。具有图13(A)所示的频谱的输入图像DIN通过具有图13(D)所示的频率响应的第1中间图像生成单元1，得到图13(E)所示的中间图像D1。并且，第1中间图像生成单元1的频率响应在由低频成分侧的区域RL1和高频成分侧的区域RH1限制了频带的中间区域RM1内具有峰值，因而中间图像D1的频谱是在输入图像DIN的频谱中、包含在低频成分侧的区域RL1和高频成分侧的区域RH1中的部分的强度减弱的频谱。因此，中间图像D1是从输入图像DIN具有的高频成分中去除成为折返成分的谱SP2而得到的图像。即，第1中间图像生成单元1具有生成中间图像D1的效果，该中间图像D1是从输入图像DIN具有的高频成分中去除成为折返成分的谱SP1得到的图像。
图14(A)～(C)是表示第2中间图像生成单元2的作用、效果的图，图14(A)表示非线性处理图像D2A的频谱，图14(B)表示高频成分图像生成单元2B的频率响应，图14(C)表示图像D2B的频谱。另外，基于与图13(A)～(E)相同的理由，在图14(A)～(C)中，只在空间频率为0以上的范围示出了频谱或者频率响应。
如后面所述，在非线性处理图像D2A中生成相当于高频成分侧的区域RH2的高频成分。图14(A)是示意表示该情况的图。图14(C)所示的图像D2B是使非线性处理图像D2A通过高频成分图像生成单元2B而生成的。高频成分图像生成单元2B利用使第3频率FL3以上的成分通过的高通滤波器构成，如图14(B)所示在频率越高时其频率响应越高。因此，图像D2B的频谱是如图14(C)所示、从非线性处理图像D2A的频谱中去除了与低频成分侧的区域RL2相当的成分(比第3频率FL3低的频率的成分)的频谱。换言之，非线性处理单元2A具有生成相当于高频成分侧的区域RH2的高频成分的效果，高频成分图像生成单元2B具有只提取由非线性处理单元2A生成的高频成分的效果。另外，在图示的示例中，第3频率FL3大致等于Fn/2。
对上述的作用、效果进行更详细的说明。
图15(A)～(C)和图16(A)～(C)是表示对阶梯型边缘进行采样时得到的信号的图。
图15(A)表示阶梯型边缘和采样间隔S1，图15(B)表示按照采样间隔S1对阶梯型边缘进行采样时得到的信号，图15(C)表示图15(B)所示的信号的高频成分。另一方面，图16(A)表示阶梯型边缘和间隔比采样间隔S1大的采样间隔S2，图16(B)表示按照采样间隔S2对阶梯型边缘进行采样时得到的信号，图16(C)表示图16(B)所示的信号的高频成分。在下面的说明中，将采样间隔S2的长度设为采样间隔S1的长度的2倍。
如图15(C)和图16(C)所示，阶梯型边缘的中央在表示高频成分的信号中表现为过零点Z。并且，表示高频成分的信号的过零点Z附近的倾斜度在采样间隔越短时变得越陡，而且在过零点Z附近呈现局部最大值、最小值的点的位置，在采样间隔越短时越接近过零点Z。
即，即使在采样间隔变化时，在边缘的附近表示高频成分的信号的过零点的位置也不变，但在采样间隔越小时(或者析像感越高时)，边缘附近的高频成分的倾斜度越陡，呈现局部最大值、最小值的点的位置越接近过零点。
图17(A)～(F)是表示将按照采样间隔S2对阶梯型边缘进行采样而得到的信号放大为2倍后，输入本发明的图像处理装置时的作用、效果的图，尤其表示第1中间图像生成单元1和第2中间图像生成单元2的作用、效果。另外，如前面所述，第1中间图像生成单元1和第2中间图像生成单元2内部的处理是按照水平方向和垂直方向分别进行的，所以该处理是一维处理。因此，在图17(A)～(F)中使用一维信号来表示处理的内容。
图17(A)表示与图16(B)同样地按照采样间隔S2对阶梯型边缘进行采样得到的信号。图17(B)表示将图17(A)所示的信号放大2倍而得到的信号。即，当在原图像DORG中包含如图17(A)所示的那样的边缘的情况下，输入如图17(B)所示的那样的信号作为输入图像DIN。另外，在将信号放大2倍后，采样间隔成为放大前的一半，图17(B)所示的信号的采样间隔与图14(A)～(C)中的采样间隔S1相同。并且，在图17(A)中利用坐标P3表示的位置是边缘信号的低亮度侧(低电平侧)的边界部分，利用坐标P4表示的位置是边缘信号的高亮度侧(高电平侧)的边界。
图17(C)示出了表示图17(B)所示的信号的高频成分的信号，即相当于从高频成分图像生成单元1A输出的图像D1A的信号。另外，图像D1A是指提取输入图像DIN的高频成分而得到的图像，其中也包含折返成分。
图17(D)示出了表示图17(C)所示的信号的低频成分的信号，即相当于从低频成分图像生成单元1B输出的图像D1B的信号。另外，如前面所述，图像D1B是作为中间图像D1而输出的，因而图17(D)也相当于中间图像D1。如图17(D)所示，在中间图像D1中，过零点Z附近的局部最小值出现在坐标P3，局部最大值出现在坐标P4，这种状态与图16(C)所示的从按照采样间隔S2对阶梯型边缘进行采样而得到的信号中提取的高频成分一致。并且，包含在图像D1A中的折返成分通过由低频成分图像生成单元1B进行的低通滤波处理而被去除。
图17(E)表示将图17(D)所示的信号输入非线性处理单元2A时的输出信号、即在输入了中间图像D1时从非线性处理单元2A输出的图像D2A。非线性处理单元2A将过零点Z前后的(前后邻接的)坐标P1、P2的信号值放大。因此，图像D2A如图17(E)所示，坐标P1、P2处的信号值的大小比其它值大，在过零点Z附近，出现局部最小值的位置从坐标P3变化到更接近过零点Z的坐标P1，出现局部最大值的位置从坐标P4变化到更接近过零点Z的坐标P2。这意味着通过由非线性处理单元2A的将过零点Z前后的像素的值放大的非线性处理，生成了高频成分。这样通过针对每个像素适当改变放大率、或者根据像素适当改变处理的内容，能够生成高频成分。即，非线性处理单元2A具有生成不包含在中间图像D1中的高频成分、即相当于图14(A)所示的高频成分侧的区域RH2的高频成分的效果。
图17(F)示出了表示图17(E)所示的信号的高频成分的信号、即相当于从高频成分图像生成单元2B输出的图像D2B的信号。关于图像D2B的更准确的形状将在后面进行叙述，如图17(F)所示，在图像D2B中，过零点Z附近的局部最小值(负侧的峰值)出现在坐标P1，最大值(正侧的峰值)出现在坐标P2。这种状态与图15(C)所示的、从按照采样间隔S1对阶梯型边缘进行采样得到的信号中提取的高频成分一致。这意味着由非线性处理单元2A生成的高频成分被高频成分图像生成单元2B提取，并作为图像D2B输出。
并且，所提取的图像D2B可以说是包括与采样间隔S1对应的频率成分的信号。换言之，高频成分图像生成单元2B具有只提取由非线性处理单元2A生成的高频成分的效果。
换言之，进行如上所述的处理使过零点Z附近的峰值的位置向由坐标P1、P2表示的位置变化，这对应于使生成与采样间隔S1对应的频率成分。
以上是第2中间图像生成单元2的效果，总而言之，第2中间图像生成单元2内的非线性处理单元2A具有生成相当于高频成分侧的区域RH2的高频成分的效果，第2中间图像生成单元2内的高频成分图像生成单元2B具有只提取由非线性处理单元2A生成的高频成分的效果。并且，图像D2B作为中间图像D2被输出，因而第2中间图像生成单元2能够输出具有与采样间隔S1对应的高频成分的中间图像D2。
在此，将中间图像D1和中间图像D2与输入图像DIN进行相加，由此能够进行图像的强调处理。
虽然在本发明中并不是将第1和第2中间图像D1、D2与输入图像DIN进行相加，下面对假设将第1和第2中间图像进行相加时得到的效果进行说明，然后，对取代第1和第2中间图像D1、D2而将第3和第4中间图像D3M、D3H与输入图像DIN进行相加时得到的效果进行说明。
首先，对加上中间图像D1时的效果进行说明。如前面所述，中间图像D1是从输入图像DIN具有的高频成分中去除折返成分得到的图像，与如图13(E)所示的原图像DORG的尼奎斯特频率附近的高频成分对应。如在图12(D)中说明的那样，原图像DORG的尼奎斯特频率附近的谱强度通过图像放大单元U1的放大处理而减弱，因而通过加上中间图像D1，能够弥补由于放大处理而减弱的谱强度。并且，由于从中间图像D1去除折返成分，所以不会强调过冲(overshoot)、锯齿(jaggies)或者振铃(ringing)这些伪信号。
下面，对加上中间图像D2时的效果进行说明。如前面所述，中间图像D2是与采样间隔S1对应的高频成分。因此，通过加上中间图像D2，能够赋予原图像DORG的尼奎斯特频率以上的频带的高频成分，因此能够增加图像的析像感。
总之，通过将中间图像D1和图像D2与输入图像DIN相加，能够将高频成分相加，并能提高图像的析像感，而不会强调折返成分。
可是，将按照上面的说明所生成的高频成分与输入图像相加，由此能够增加图像的鲜明度、提高画质，但是在输入图像中包含较多的噪声时，噪声将会被强调，有时反而导致画质的下降。
图18(A)～(E)是用于说明通过高频成分相加而导致的画质下降的图。
图18(A)表示与图17(B)同样地对阶梯型边缘信号进行采样后放大为2倍而得到的图像。但是，与图17(B)的不同之处是，在利用区间SEC1、SEC2表示的区域中存在噪声。并且，坐标Z0表示阶梯型边缘信号的中心部分。下面，考虑输入图18(A)所示的图像作为输入图像DIN的情况。
另外，在图18(A)中为了方便起见，在区间SEC1、SEC2中画出了按照每1像素反复增减的微小振动(2像素周期的振动)作为噪声，但是噪声的类型不限于此。即，振动的周期不限于2像素，并且也不限定于一种类型。换言之，也可以是合成了多个周期的振动的方式。例如，作为合成了所有周期的噪声的示例有白色杂音。并且，噪声不限于周期性的噪声，也可以是诸如椒盐噪声(salt-and-pepper noise)那样单发性噪声。
图18(B)是表示此时得到的图像D1A的图。图像D1A呈现与参照图17(C)说明的情况大致相同的形状，但与图17(C)的不同之处是，在区间SEC1、SEC2中，输入图像DIN存在起因于区间SEC1、SEC2具有的噪声的微小振动。即，输入图像DIN所包含的噪声中的一部分噪声通过高频成分图像生成单元1A内的高通滤波器，因而在区间SEC1、SEC2产生微小振动。
图18(C)是表示此时得到的中间图像D1的图。中间图像D1呈现与参照图17(D)说明的情况大致相同的形状，但与图17(D)的不同之处是，在利用区间SEC1、SEC2表示的区域中存在微小振动。这是因为图像D1A所包含的微小振动中的一部分微小振动通过低频成分图像生成单元1B内的低通滤波器。
对以上的说明换个说法，在中间图像D1中包括输入图像DIN所包含的噪声中的通过在图13(D)中的区域RM1示出的频带的噪声。
图18(D)是表示此时得到的图像D2A的图。中间图像D2A呈现与参照图17(E)说明的情况大致相同的形状，但与图17(E)的不同之处是，在区间SEC1、SEC2中存在微小振动。这是起因于中间图像D1所包含的微小振动的振动。并且，在存在于中间图像D1的区间SEC1、SEC2间的微小振动中，包含许多噪声值从正值向负值或者从负值向正值变化的过零点，因而该振动通过非线性处理单元2A的非线性处理而被放大。
图18(E)是表示此时得到的中间图像D2的图。中间图像D2呈现与参照图17(F)说明的情况大致相同的形状，但与图17(F)的不同之处是，在区间SEC1、SEC2中存在微小振动。这是因为图像D2A所包含的微小振动中的一部分微小振动通过高频成分图像生成单元2B内的高通滤波器。
将图18(C)所示的中间图像D1和图18(E)所示的中间图像D2与图18(A)所示的输入图像DIN进行相加，由此强调以坐标Z0为中心的阶梯型边缘信号，能够提高图像的析像感。但是同时，在区间SEC1、SEC2中由于中间图像D1和中间图像D2而被加上了微小振动，结果，区间SEC1、SEC2中原本包含的噪声增加。
如前面所述，输入图像DIN所包含的噪声作为微小振动出现在中间图像D1和中间图像D2中。并且，该微小振动被加到输入图像DIN中，使得噪声增加。
因此，抑制存在于中间图像D1和中间图像D2中的微小振动，然后与输入图像DIN相加，由此进行图像的强调处理，而不会产生噪声的增加。
在本发明的实施方式1的图像处理装置中，第1中间图像处理单元3M通过微小振动抑制处理来抑制中间图像D1的微小振动，第2中间图像处理单元3H通过微小振动抑制处理来抑制中间图像D2的微小振动。
使用图19(A)～(D)，以采用核化处理作为微小振动抑制处理的情况为例，对本发明的实施方式1的图像处理装置的作用、效果进行说明。
图19(A)再次示出了图18(B)所示的中间图像D1。另外，在图19(A)中也一并示出了在第1中间图像处理单元3M的核化处理中使用的阈值THp1、THm1。
图19(B)表示通过第1中间图像处理单元3M的核化处理而生成的中间图像D3M。通过核化处理，利用阈值THp1、THm1示出的范围内的振动得到抑制，因而能够抑制包含在中间图像D1的区间SEC1、SEC2中的微小振动。并且，位于坐标P3、P4的位置的峰值没有损失地保留下来，因而通过将该中间图像D3M与输入图像DIN相加，能够进行图像的强调处理，而不会增加噪声。
图19(C)再次示出了图18(E)所示的中间图像D2。另外，在图19(C)中也一并示出了在第2中间图像处理单元3H的核化处理中使用的阈值THp2、THm2。
图19(D)表示通过第2中间图像处理单元3H的核化处理而生成的中间图像D3H。通过核化处理，利用阈值THp2、THm2示出的范围内的振动得到抑制，因而能够抑制包含在中间图像D2的区间SEC1、SEC2中的微小振动。并且，位于坐标P1、P1的位置的峰值没有损失地保留下来，因而通过将该中间图像D3H与输入图像DIN相加，也能够进行图像的强调处理。如前面所述，过零点附近的峰值位于坐标P1、P1，这是与采样间隔S1对应的高频成分，因而通过加上中间图像D3H，能够赋予原图像DORG的尼奎斯特频率以上的频带的高频成分，能够增加图像的析像感。
这样，在本发明的实施方式1的图像处理装置中，能够提高图像的析像感，而不会增加包含在输入图像DIN中的噪声。
总之，通过将中间图像D3M和图像D3H与输入图像DIN相加，能够提高图像的析像感，而不会增加噪声。
另外，在本发明的图像处理装置中，在第1中间图像生成单元1和第2中间图像生成单元2中并行进行关于图像的水平方向的处理和关于垂直方向的处理，因而不限于只是图像的水平方向或者垂直方向，在任意方向都能够得到上述的效果。
并且，在本发明的图像处理装置中，从频率空间方面进行考虑，以输入图像DIN在从原点到Fn的频带中原图像DORG的尼奎斯特频率±Fn/2附近(或者特定的频带)所具有的成分为基础，生成与图像DIN的尼奎斯特频率±Fn附近的高频成分对应的图像D2B。因此，即使输入图像DIN中的尼奎斯特频率±Fn附近的高频成分由于某种原因而消失时，也能够利用图像D2B来赋予尼奎斯特频率±Fn附近的高频成分。换言之，由于对输入图像DIN赋予更高频成分侧的频率成分，所以能够增加输出图像DOUT的析像感。
另外，被用作特定的频带的位置不限于±Fn/2附近。即，通过适当变更高频成分图像生成单元1A和低频成分图像生成单元1B的频率响应，能够变更利用的频带。
在上述的说明中，关于尼奎斯特频率Fn附近的频率成分消失的示例，列举了图像的放大处理，但尼奎斯特频率Fn附近的频率成分相对于输入图像DIN消失的原因不限于此，也可以考虑其它的噪声去除处理等。因此，本发明的图像处理装置的用途并不限于图像的放大处理之后。
并且，由第1中间图像处理单元3M和第2中间图像处理单元3H进行的微小振动抑制处理不限于在本实施方式中说明的处理，只要是抑制微小振动的处理即可。
实施方式2
图20是表示本发明的实施方式2的图像处理方法的流程的图，本实施方式2的图像处理方法包括第1中间图像生成步骤ST1、第2中间图像生成步骤ST2、第1中间图像处理步骤ST3M、第2中间图像处理步骤ST3H、以及相加步骤ST4。
如图21所示，第1中间图像生成步骤ST1包括高频成分图像生成步骤ST1A和低频成分图像生成步骤ST1B。
高频成分图像生成步骤ST1A包括水平方向高频成分图像生成步骤ST1Ah和垂直方向高频成分图像生成步骤ST1Av，低频成分图像生成步骤ST1B包括水平方向低频成分图像生成步骤ST1Bh和垂直方向高频成分图像ST1Bv。
如图22所示，第2中间图像生成步骤ST2包括非线性处理步骤ST2A和高频成分图像生成步骤ST2B。
非线性处理步骤ST2A包括水平方向非线性处理步骤ST2Ah和垂直方向非线性处理步骤ST2Av，高频成分图像生成步骤ST2B包括水平方向高频成分通过步骤ST2Bh和垂直方向高频成分通过步骤ST2Bv。
如图23所示，水平方向非线性处理步骤ST2Ah包括过零判定步骤ST311h和信号放大步骤ST312h，如图24所示，垂直方向非线性处理步骤ST2Av包括过零判定步骤ST311v和信号放大步骤ST312v。
如图25所示，第1中间图像处理步骤ST3M包括水平方向微小振动抑制步骤ST3Mh和垂直方向微小振动抑制步骤ST3Mv。
如图26所示，第2中间图像处理步骤ST3H包括水平方向微小振动抑制步骤ST3Hh和垂直方向微小振动抑制步骤ST3Hv。
首先，按照图21的流程来说明第1中间图像生成步骤ST1的动作。
在高频成分图像生成步骤ST1A中，对在未图示的图像输入步骤中输入的输入图像DIN进行以下所述的处理。首先，在水平方向高频成分图像生成步骤ST1Ah中，通过水平方向的高通滤波处理，生成从输入图像DIN提取水平方向的高频成分而得到的图像D1Ah。
在垂直方向高频成分图像生成步骤ST1Av中，通过垂直方向的高通滤波处理，生成从输入图像DIN提取垂直方向的高频成分而得到的图像D1Av。
即，高频成分图像生成步骤ST1A进行与高频成分图像生成单元1A相同的处理，根据输入图像DIN生成由图像D1Ah和图像D1Av构成的图像D1A。该动作与高频成分图像生成单元1A的动作相同。
在低频成分图像生成步骤ST1B中，对图像D1A进行以下所述的处理。首先，在水平方向低频成分图像生成步骤ST1Bh中，通过水平方向的低通滤波处理，生成从图像D1Ah提取水平方向的低频成分而得到的图像D1Bh。
在垂直方向低频成分图像生成步骤ST1Bv中，通过垂直方向的低通滤波处理，生成从图像D1Av提取垂直方向的低频成分而得到的图像D1Bv。
即，低频成分图像生成步骤ST1B进行与低频成分图像生成单元1B相同的处理，根据图像D1A生成由图像D1Bh和图像D1Bv构成的图像D1B。该动作与低频成分图像生成单元1B的动作相同。
以上是第1中间图像生成步骤ST1的动作，第1中间图像生成步骤ST1将图像D1Bh作为图像D1h，将图像D1Bv作为图像D1v，输出由图像D1h和图像D1v构成的中间图像D1。以上动作与第1中间图像生成单元1的动作相同。
下面，按照图22～图24的流程来说明第2中间图像生成步骤ST2的动作。
首先，在非线性处理步骤ST2A中，对中间图像D1进行以下所述的处理。
首先，在水平方向非线性处理步骤ST2Ah中，通过基于图23所示的流程的处理，根据图像D1h生成图像D2Ah。图23所示的流程的处理如下所述。首先，在过零判定步骤ST311h中，沿着水平方向确认图像D1h中的像素值的变化。并且，捕捉像素值从正值向负值或者从负值向正值变化的位置作为过零点，将位于过零点左右的像素通知给信号放大步骤ST312h。在信号放大步骤ST312h中，对于图像D1h，将被通知了位于过零点左右的像素的像素值放大，将其图像作为图像D2Ah输出。即，非线性处理步骤ST2Ah对图像D1h进行与水平方向非线性处理单元2Ah相同的处理，生成图像D2Ah。
然后，在垂直方向非线性处理步骤ST2Av中，通过基于图24所示的流程的处理，根据图像D1v生成图像D2Av。图24所示的流程的处理如下所述。首先，在过零判定步骤ST311v中，沿着垂直方向确认图像D1v中的像素值的变化。并且，捕捉像素值从正值向负值或者从负值向正值变化的位置作为过零点，将位于过零点上下的像素通知给信号放大步骤ST312v。在信号放大步骤ST312v中，对于图像D1v，将被通知了位于过零点上下的像素的像素值放大，将其图像作为图像D2Av输出。即，非线性处理步骤ST2Av对图像D1v进行与垂直方向非线性处理单元2Av相同的处理，生成图像D2Av。
以上是非线性处理步骤ST2A的动作，非线性处理步骤ST2A生成由图像D2Ah和图像D2Av构成的图像D2A。该动作与非线性处理单元2A的动作相同。
然后，在高频成分图像生成步骤ST2B中，对图像D2A进行以下所述的处理。
首先，在水平方向高频成分图像生成步骤ST2Bh中，生成对图像D2Ah进行了水平方向的高通滤波处理而得到的图像D2Bh。即，水平方向高频成分图像生成步骤ST2Bh进行与水平方向高频成分图像生成单元2Bh相同的处理。
然后，在垂直方向高频成分图像生成步骤ST2Bv中，生成对图像D2Av进行了垂直方向的高通滤波处理得到的图像D2Bv。即，垂直方向高频成分图像生成步骤ST2Bv进行与垂直方向高频成分图像生成单元2Bv相同的处理。
以上是高频成分图像生成步骤ST2B的动作，高频成分图像生成步骤ST2B生成由图像D2Bh和图像D2Bv构成的图像D2B。该动作与高频成分图像生成单元2B的动作相同。
以上是第2中间图像生成步骤ST2的动作，第2中间图像生成步骤ST2将图像D2B作为中间图像D2输出。即，输出将图像D2Bh作为图像D2h、将图像D2Bv作为图像D2v的中间图像D2。该动作与第2中间图像生成单元2的动作相同。
下面，按照图25的流程来说明第1中间图像处理步骤ST3M的动作。
第1中间图像处理步骤ST3M对中间图像D1进行微小振动抑制处理，生成中间图像D3M。在此，中间图像D1由图像D1h、D1v构成，首先，在水平方向微小振动抑制步骤ST3Mh中生成对图像D1h进行微小振动抑制处理而得到的图像D3Mh，然后在垂直方向微小振动抑制步骤ST3Mv中生成对图像D1v进行微小振动抑制处理而得到的图像D3Mv。并且，生成由图像D3Mh、D3Mv构成的中间图像D3M。在此，关于微小振动抑制处理的详细情况，与在实施方式1中说明的情况相同，所以省略其说明。
以上是第1中间图像处理步骤ST3M的动作，该动作与第1中间图像处理单元3M的动作相同。
下面，按照图26的流程来说明第2中间图像处理步骤ST3H的动作。
第2中间图像处理步骤ST3H对中间图像D2进行微小振动抑制处理，生成中间图像D3H。在此，中间图像D2由图像D2h、D2v构成，首先，在水平方向微小振动抑制步骤ST3Hh中生成对图像D2h进行微小振动抑制处理而得到的图像D3Hh，然后在垂直方向微小振动抑制步骤ST3Hv中生成对图像D2v进行微小振动抑制处理而得到的图像D3Hv。并且，生成由图像D3Hh、D3Hv构成的中间图像D3H。在此，关于微小振动抑制处理的详细情况，与在实施方式1中说明的情况相同，所以省略其说明。
以上是第2中间图像处理步骤ST3H的动作，该动作与第2中间图像处理单元3H的动作相同。
相加步骤ST4将输入图像DIN、中间图像D3M、中间图像D3H进行相加，生成输出图像DOUT。中间图像D3M由图像D3Mh和图像D3Mv构成，中间图像D3H由图像D3Hh和图像D3Hv构成，因而在相加步骤ST4中，将图像D3Mh、D3Hv、D3Mh以及D3Hv全部与输入图像DIN相加。此时，也可以将图像D3Mh、D3Hv、D3Mh以及D3Hv与输入图像DIN进行简单相加，也可以进行加权相加。将输出图像DOUT作为本发明的图像处理方法的最终输出图像进行输出。以上是相加步骤ST4的动作，该动作与相加单元4的动作相同。
以上是本发明的图像处理方法的动作。
本发明的图像处理方法的动作如根据以上说明所明确的那样，与本发明的实施方式1的图像处理装置的动作相同。因此，本发明的图像处理方法基于与本发明的实施方式1的图像处理装置相同的效果。并且，在图9所示的图像显示装置中，例如在图像处理装置U2的内部实施上述的图像处理方法，由此也能够在图9所示的图像显示装置显示利用上述的图像处理方法进行处理而得到的图像。
标号说明
1第1中间图像生成单元；2第2中间图像生成单元；3M第1中间图像处理单元；3H第2中间图像处理单元；4相加单元；DIN输入图像；D1中间图像；D2中间图像；D3M中间图像；D3H中间图像；DOUT输出图像。

Claims (13)

1.一种图像处理装置，其特征在于，该图像处理装置具有：
第1中间图像生成单元，其生成对输入图像的特定频带的成分进行提取而得到的第1中间图像；
第2中间图像生成单元，其根据所述第1中间图像生成第2中间图像；
第1中间图像处理单元，其生成抑制了所述第1中间图像中包含的微小振动的第3中间图像；
第2中间图像处理单元，其生成抑制了所述第2中间图像中包含的微小振动的第4中间图像；以及
相加单元，其将所述输入图像和所述第3中间图像以及所述第4中间图像进行相加。
2.根据权利要求1所述的图像处理装置，其特征在于，所述第1中间图像生成单元具有：
第1高频成分图像生成单元，其生成只提取所述输入图像的第1频率以上的高频成分而得到的第1高频成分图像；以及
低频成分图像生成单元，其只提取所述第1高频成分图像的第2频率以下的低频成分。
3.根据权利要求1或2所述的图像处理装置，其特征在于，所述第2中间图像生成单元具有非线性处理单元，该非线性处理单元生成以根据像素而变化的放大率将所述第1中间图像的像素值放大而得到的非线性处理图像。
4.根据权利要求3所述的图像处理装置，其特征在于，所述第2中间图像生成单元具有第2高频成分图像生成单元，该第2高频成分图像生成单元生成只提取所述非线性处理图像的第3频率以上的高频成分而得到的第2高频成分图像。
5.根据权利要求2～4中任意一项所述的图像处理装置，其特征在于，所述第1高频成分图像生成单元具有：
第1水平方向高频成分图像生成单元，其使用位于所述输入图像的各个像素的水平方向附近的像素，生成对第1水平方向频率以上的高频成分进行提取而得到的第1水平方向高频成分图像；以及
第1垂直方向高频成分图像生成单元，其使用位于所述输入图像的各个像素的垂直方向附近的像素，生成对第1垂直方向频率以上的高频成分进行提取而得到的第1垂直方向高频成分图像，
所述低频成分图像生成单元具有：
水平方向低频成分图像生成单元，其生成只提取所述第1水平方向高频成分图像的第2水平方向频率以下的低频成分得到的第1水平方向中间图像；以及
垂直方向低频成分图像生成单元，其生成只提取所述第1垂直方向高频成分图像的第2垂直方向频率以下的低频成分得到的第1垂直方向中间图像。
6.根据权利要求5所述的图像处理装置，其特征在于，所述第1中间图像由所述第1水平方向中间图像和所述第1垂直方向中间图像构成，
所述非线性处理单元具有：
水平方向非线性处理单元，其生成以根据像素而变化的放大率将所述第1水平方向中间图像的各个像素值放大而得到的水平方向非线性处理图像；以及
垂直方向非线性处理单元，其生成以根据像素而变化的放大率将所述第1垂直方向中间图像的各个像素值放大而得到的垂直方向非线性处理图像，
所述第2高频成分图像生成单元具有：
第2水平方向高频成分图像生成单元，其生成只提取所述水平方向非线性处理图像的第3水平方向频率以上的高频成分得到的第2水平方向高频成分图像；以及
第2垂直方向高频成分图像生成单元，其生成只提取所述垂直方向非线性处理图像的第3垂直方向频率以上的高频成分得到的第2垂直方向高频成分图像。
7.根据权利要求6所述的图像处理装置，其特征在于，所述水平方向非线性处理单元具有：
水平方向过零判定单元，其将所述第1水平方向中间图像的像素值从正向负或者从负向正变化的位置判定为过零点；以及
水平方向信号放大单元，其根据所述水平方向过零判定单元的判定结果来确定针对所述第1水平方向中间图像的各个像素的放大率，并以所确定的放大率对所述第1水平方向中间图像的像素值进行放大，
所述垂直方向非线性处理单元具有：
垂直方向过零判定单元，其将所述第1垂直方向中间图像的像素值从正向负或者从负向正变化的位置判定为过零点；以及
垂直方向信号放大单元，其根据所述垂直方向过零判定单元的判定结果来确定针对所述第1垂直方向中间图像的各个像素的放大率，并以所确定的放大率对所述第1垂直方向中间图像的像素值进行放大。
8.根据权利要求5～7中任意一项所述的图像处理装置，其特征在于，所述第1中间图像由所述第1水平方向中间图像和所述第1垂直方向中间图像构成，
所述第1中间图像处理单元具有：
第1微小振动抑制单元，其生成抑制了所述第1水平方向中间图像中包含的微小振动的第3水平方向中间图像；以及
第2微小振动抑制单元，其生成抑制了所述第1垂直方向中间图像中包含的微小振动的第3垂直方向中间图像。
9.根据权利要求8所述的图像处理装置，其特征在于，所述第2中间图像由第2水平方向中间图像和第2垂直方向中间图像构成，
所述第2中间图像处理单元具有：
第3微小振动抑制单元，其生成抑制了所述第2水平方向中间图像中包含的微小振动的第4水平方向中间图像；以及
第4微小振动抑制单元，其生成抑制了所述第2垂直方向中间图像中包含的微小振动的第4垂直方向中间图像。
10.根据权利要求9所述的图像处理装置，其特征在于，所述第1～第4微小振动抑制单元中的至少一个微小振动抑制单元通过进行以下处理来抑制微小振动：
在利用DATAIN表示输入像素值，利用DATAOUT表示输出像素值时，
在DATAIN的值在作为正值的第1阈值THp以上的情况下，设为DATAOUT＝DATAIN-THp，
在DATAIN的值大于作为负值的第2阈值THm的情况下，设为DATAOUT＝0，
在DATAIN的值在所述第2阈值THm以下的情况下，设为DATAOUT＝DATAIN+THm。
11.一种图像显示装置，其特征在于，该图像显示装置具有权利要求1～10中任意一项所述的图像处理装置。
12.一种图像处理方法，其特征在于，该图像处理方法包括：
第1中间图像生成步骤，生成对输入图像的特定频带的成分进行提取而得到的第1中间图像；
第2中间图像生成步骤，根据所述第1中间图像生成第2中间图像；
第1中间图像处理步骤，生成抑制了所述第1中间图像中包含的微小振动的第3中间图像；
第2中间图像处理步骤，生成抑制了所述第2中间图像中包含的微小振动的第4中间图像；以及
相加步骤，将所述输入图像和所述第3中间图像和所述第4中间图像进行相加。
13.一种图像显示装置，其特征在于，该图像显示装置显示利用权利要求12所述的图像处理方法进行处理后的图像。
CN200980151983.6A 2008-12-22 2009-12-02 图像处理装置和方法以及图像显示装置 Active CN102265306B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008325259A JP4994355B2 (ja) 2008-12-22 2008-12-22 画像処理装置及び方法並びに画像表示装置
JP2008-325259 2008-12-22
PCT/JP2009/006531 WO2010073496A1 (ja) 2008-12-22 2009-12-02 画像処理装置及び方法並びに画像表示装置

Publications (2)

Publication Number Publication Date
CN102265306A true CN102265306A (zh) 2011-11-30
CN102265306B CN102265306B (zh) 2014-02-19

Family

ID=42287155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980151983.6A Active CN102265306B (zh) 2008-12-22 2009-12-02 图像处理装置和方法以及图像显示装置

Country Status (5)

Country Link
US (1) US8537179B2 (zh)
EP (1) EP2362348B1 (zh)
JP (1) JP4994355B2 (zh)
CN (1) CN102265306B (zh)
WO (1) WO2010073496A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5984480B2 (ja) * 2012-04-25 2016-09-06 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置
US9342874B2 (en) * 2014-01-16 2016-05-17 Megachips Corporation Noise determination apparatus and method, and noise filter
JP6242431B2 (ja) * 2016-04-28 2017-12-06 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置
US10552944B2 (en) * 2017-10-13 2020-02-04 Adobe Inc. Image upscaling with controllable noise reduction using a neural network
TWI698116B (zh) * 2018-11-02 2020-07-01 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2970809B2 (ja) 1987-12-28 1999-11-02 信越化学工業株式会社 希土類永久磁石
JPH0767176B2 (ja) * 1990-11-28 1995-07-19 松下電器産業株式会社 符号化雑音除去フィルタ
JPH06111334A (ja) * 1992-09-24 1994-04-22 Sony Corp 円盤状記録媒体用の記録及び／又は再生装置、光検出器及び光ヘッド
US5374995A (en) * 1993-03-22 1994-12-20 Eastman Kodak Company Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom
DE4318057C1 (de) 1993-05-29 1994-07-07 Mb Video Gmbh Schaltungsanordnung zur Verbesserung der Qualität von Videosignalen
US6005983A (en) * 1993-09-08 1999-12-21 California Institutue Of Technology Image enhancement by non-linear extrapolation in frequency space
US5717789A (en) * 1993-09-08 1998-02-10 California Institute Of Technology Image enhancement by non-linear extrapolation in frequency space
JPH07177386A (ja) * 1993-12-21 1995-07-14 Matsushita Electric Ind Co Ltd 画像輪郭強調装置
JPH08111792A (ja) * 1994-10-13 1996-04-30 Matsushita Electric Ind Co Ltd 画像輪郭強調器
JPH08204995A (ja) * 1995-01-20 1996-08-09 Matsushita Electric Ind Co Ltd 輪郭補正回路
JPH0944651A (ja) 1995-07-27 1997-02-14 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH0946576A (ja) * 1995-07-28 1997-02-14 Sony Corp ディジタル信号処理カメラ
JPH10257356A (ja) * 1997-03-14 1998-09-25 Sony Corp 雑音除去装置
JP3362147B2 (ja) * 1997-08-29 2003-01-07 松下電器産業株式会社 固体撮像装置
EP1775956B1 (en) * 1998-05-22 2011-08-03 Panasonic Corporation Block noise detector and block noise eliminator
JP4383581B2 (ja) * 1998-05-22 2009-12-16 パナソニック株式会社 ブロックノイズ検出装置およびブロックノイズ除去装置
JP4632568B2 (ja) * 2001-04-25 2011-02-16 パナソニック株式会社 撮像装置
JP2005142832A (ja) * 2003-11-06 2005-06-02 Canon Inc 輪郭補正回路及び撮像装置
JP4526405B2 (ja) * 2005-02-04 2010-08-18 シャープ株式会社 テレビ画像処理装置
JP2006340006A (ja) * 2005-06-01 2006-12-14 Sony Corp 撮像装置と映像信号処理装置と映像信号処理方法およびプログラム
JP2006349757A (ja) 2005-06-13 2006-12-28 Toshiba Corp 情報処理装置および画像処理方法
WO2007043460A1 (ja) * 2005-10-12 2007-04-19 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP2007110303A (ja) * 2005-10-12 2007-04-26 Matsushita Electric Ind Co Ltd 輪郭補正装置
JP4437150B2 (ja) * 2005-10-12 2010-03-24 パナソニック株式会社 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP4157568B2 (ja) * 2006-04-11 2008-10-01 株式会社東芝 画像の高解像度化方法及び装置
EP2320637B1 (en) * 2008-07-30 2018-01-31 Mitsubishi Electric Corporation Image processing device and method, and image display device

Also Published As

Publication number Publication date
US8537179B2 (en) 2013-09-17
EP2362348A1 (en) 2011-08-31
WO2010073496A1 (ja) 2010-07-01
EP2362348B1 (en) 2014-02-26
JP2010146449A (ja) 2010-07-01
JP4994355B2 (ja) 2012-08-08
CN102265306B (zh) 2014-02-19
US20110050700A1 (en) 2011-03-03
EP2362348A4 (en) 2012-07-18

Similar Documents

Publication Publication Date Title
CN102265306B (zh) 图像处理装置和方法以及图像显示装置
CN102292742B (zh) 图像处理装置、方法以及图像显示装置
US7738044B2 (en) Method and apparatus for adjusting a chrominance signal
US8264615B2 (en) Split edge enhancement architecture
KR100970525B1 (ko) 화상 처리 장치
CN102113307B (zh) 图像处理装置、方法以及图像显示装置
EP1075140A1 (en) Video signal enhancement
CN102265305B (zh) 图像处理装置、方法以及图像显示装置
US7505084B2 (en) Picture quality improvement device and picture quality improvement method
KR100771867B1 (ko) 색 신호의 천이 특성을 향상시키는 영상 신호 처리 방법 및영상 신호 처리 장치
KR100476618B1 (ko) 화상 신호 처리 장치
CN102842111A (zh) 放大图像的补偿方法及装置
CN102460561B (zh) 基于farrow结构的内容自适应缩放器
JP4994409B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP4958876B2 (ja) 画像処理装置及び方法並びに画像表示装置
JP4912418B2 (ja) 画像処理装置及び方法並びに画像表示装置
AU2252099A (en) Filtering digital video signals
US6441866B1 (en) Edge enhancement with background noise suppression in video image processing
JP3494888B2 (ja) 輪郭補正回路
JP2005073027A (ja) 画像信号処理装置、ビューファインダ、表示装置、画像信号処理方法、記録媒体及びプログラム
JPH05165951A (ja) 画像処理装置
JP2006080767A (ja) 信号処理装置及び撮像装置
JPH05328230A (ja) 雑音低減回路
JP2004502349A (ja) 走査速度変調のダイナミック制御

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant