CN1610380A - 图像处理装置、其方法以及显示装置 - Google Patents

Abstract

提供一种图像处理装置。插补部(11)将彩色的具有像素精度的输入图像变换成子像素精度的插补图像。亮度/色度分离部(21)从子像素精度的插补图像中分离子像素精度的亮度分量。图像处理部(12)基于亮度分离部分离的子像素精度的亮度分量，强调属于亮度分量的特定频带的分量。抑制边缘变粗和锯齿感，并获得高清晰感、高质量的显示结果。

Description

图像处理装置、其方法以及显示装置

技术领域

本发明涉及图像处理装置及其相关技术，在抑制副作用的同时，对输入图像中属于特定频带的分量进行强调，提高图像的清晰感。

这里，在本说明书中，“子像素”指与构成一个像素的多个发光元件中的一个发光元件对应的微小像素单元，“子像素精度”指与构成一个像素的多个发光元件中的一个发光元件一一对应的精度。

背景技术

作为提高图像的清晰感的技术之一，已知图像增强器。图像增强器将图像的高频分量增益加倍并与图像相加。

图11是现有的图像处理装置的方框图。用图11具体地说明现有的图像增强器。

在图像处理部1的内部，输入图像倍输入到加法器2和高通滤波器3。高通滤波器3提取输入图像的高频分量，输出到乘法器4。乘法器4将提取的高频分量按一定倍数放大，输出到加法器2。加法器2将输入图像和放大的高频分量相加，将相加的结果作为输出图像。

这样一来，高频分量被补偿，图像的清晰感提高。另一方面，高频分量由于放大而变宽。

特别地，希望小像(例如，小石头的像等)的轮廓清晰，但作为其副作用，小的图像比实物大很多，在这点上，成为清晰感反而下降的结果。

另外，使增益变高，则图像的边缘成为锯齿状而降低显示质量。

考虑到这一点，日本特开平9-264606号公报公开了如下的技术：抑制高频分量的增益，，防止小像的扩大。但是，这使得提高图像的清晰感的作用变弱。再有，现有技术都是在图像精度下进行处理。

发明内容

因此，本发明的目的在于提供一种技术，即使图像处理作用强烈，也可使副作用少而且提高清晰感。

本发明的第1图像处理装置，包括图像处理部，图像处理部基于具有与构成显示器件的像素的发光元件(子像素)的个数相对应的精度的子像素精度的图像，生成强调属于所述图像的特定频带的分量的子像素精度的强调图像。

根据该结构，输入到图像处理部的图像，不是在像素精度下、而是在子像素精度下，在保持高解像度的状态下被处理。而且，该处理对属于图像的特定频带的分量进行强调，基于子像素精度的强调图像或由来于此的图像，通过在显示器件上在保持子像素精度的状态下进行显示，相比现有技术，可进行清晰感良好的显示。

本发明的第2图像处理装置，包括：插补部，将具有像素精度的输入图像变换成子像素精度的插补图像；亮度分离部，从所述子像素精度的插补像素中分离子像素精度的亮度分量；以及图像处理部，基于所述亮度分离部分离的所述子像素精度的亮度分量，强调属于所述亮度分量的特定频带的分量。

根据该结构，相比现有技术，可对彩色的输入图像进行清晰感良好的显示。由于强调从彩色图像中分离的亮度分量(人的视觉敏感地反应)，所以可有效地提高清晰感。

本发明的第3图像处理装置，包括：插补部，将黑白二值或灰度等级的具有像素精度的输入图像变换成子像素精度的插补图像；以及图像处理部，基于所述子像素精度的插补图像，强调属于所述亮度分量的特定频带的分量。

根据该结构，相比现有技术，可对黑白二值或灰度等级的输入图像进行清晰感良好的显示。另外，由于强调亮度分量(人的视觉敏感地反应)，所以可有效地提高清晰感。

本发明的第4图像处理装置，包括：插补部，将像素精度的输入图像变换成子像素精度的插补图像；图像处理部，基于所述子像素精度的插补图像，生成强调属于所述插补图像的特定频带的分量的子像素精度的强调图像；以及子像素再现部，对所述子像素精度的强调图像进行子像素再现处理并生成显示图像。

在该结构中，通过设置子像素再现部，不需要进行下采样(Down-sampling)，可充分发挥可进行子像素精度的显示的显示器件的性能。

更具体地，相比现有技术，即使更强地强调属于特定频带的分量，边缘也不不自然地变粗，不增加锯齿感，可获得边缘清晰且高质量的显示结果。

本发明的第5图像处理装置中，一个像素由对应于红色发光元件的子像素、对应于绿色发光元件的子像素、以及对应于蓝色发光元件的子像素构成。

根据该结构，使用通过分别发出RGB三原色的三个发光元件来构成一个像素的显示器件，例如PDP(等离子显示板)、液晶板、有机EL等，可进行清晰感良好的显示。

本发明的第6图像处理装置，插补部利用由关注像素和与关注像素相邻的像素的发光状态所定义的图形，基于图形匹配来进行变换。

根据该结构，可实施反映上述发光状态的插补，相比单纯插补，可提高插补精度。

本发明的第7图像处理装置，插补部以构成一个像素的子像素的个数次来复制所述像素精度的输入图像，并变换成子像素精度的插补图像。

根据该结构，可通过单纯的处理高速地实施插补。

本发明的第8图像处理装置，插补部还包括从变换的子像素精度的插补图像中去除高频分量的低通滤波器。

根据该结构，可去除原图像中所不包含的高频分量(作为单纯插补的副作用而容易发生)。而且，由于先进行图像处理部的强调，然后去除该高频分量，所以可避免将原图像中所不包含的高频分量进行强调的事态。

本发明的第9图像处理装置，子像素再现部包括：亮度/色度分离部，将子像素精度的图像分离为子像素精度的亮度分量和子像素精度的色度分量；色渗抑制部，实施抑制在对分离的子像素精度的亮度分量以子像素精度显示时发生的色渗的滤波处理，并输出第一结果；色度处理部，处理分离的子像素精度的色度分量并输出第二结果；以及显示图像生成部，基于第一结果和第二结果，生成显示图像。

根据该结构，由于对人的视觉敏感的亮度分量施行子像素精度下的强调处理，可有效地提高清晰感。而且，通过色渗抑制部，可生成色渗少的图像。

本发明的第10图像处理装置，图像处理部包括：高通滤波器，从子像素精度的插补图像中提取子像素精度的高频分量；乘法器，将高频分量增益加倍并输出强调分量；以及加法器，将插补图像和强调分量相加并输出子像素精度的强调图像。

根据该结构，可在子像素精度下进行轮廓或边缘等的强调，可有效地提高清晰感。而且，由于乘法器放大的强调分量通过加法器进入插补图像中，所以容易把握插补图像被强调的程度。

本发明的第11图像处理装置，图像处理部还包括波形整形部，将高频分量的波形在一定范围内整形并输出整形后高频分量。基于所述整形后高频分量来调整乘法器的增益。

在该结构中，通过设置波形整形器并基于整形后高频分量来调整乘法器的增益，不使乘法器的增益过剩，可使图像处理结果自然。

本发明的第12图像处理装置，每单位时间中，相对插补部输入输入图像的处理量，图像处理部进行构成一个像素的子像素的个数倍的并行处理。

根据该结构，插补部和图像处理部可按相同的频率或时钟数动作，容易对应实时处理。

附图说明

图1是本发明的实施方式1的显示装置的方框图。

图2(a)～图2(f)是本发明的实施方式1的图像处理的过程说明图。

图3本发明的实施方式1的图像处理部的方框图。

图4(a)～图4(d)是表示本发明的实施方式1的波形例的图。

图5本发明的实施方式1(第一变形例)的显示装置的方框图。

图6本发明的实施方式1(第二变形例)的显示装置的方框图。

图7是本发明的实施方式2的显示装置的方框图。

图8是本发明的实施方式2的单纯插补的副作用的说明图。

图9(a)～图9(c)是表示本发明的实施方式2的波形例的图。

图10是表示本发明的实施方式2的波形整形部的输出范围的图。

图11是现有的图像处理装置的方框图。

具体实施方式

以下，参照附图说明本发明的实施方式。

(实施方式1)

图1是本发明的实施方式1的图像处理装置的方框图。图1的图像处理装置，大致划分包括：进行输入图像的前处理的前处理部10；子像素再现(rendering)部20；以及驱动器30，基于子像素再现部20输出的输出图像，控制显示器件31的发光状态。

作为显示器件31，最好是PDP(等离子体显示板)、LCD、有机EL等的显示器件。这些显示器件一个像素由分别发出RGB三原色的三个发光元件构成，各发光元件由驱动器独立地控制。

发光元件不是发RGB三原色的光的元件也没有问题，发光元件的排列方向可以是水平或垂直的任一种，发光元件的排列顺序是任意的。再有，以下为了方便，设发光元件在水平方向按照RGB的顺序排列。因此，根据上述定义，子像素也和这些发光元件同样地配置。

前处理部10中，插补部11将像素精度的输入图像(本例中设为RGB色空间)变换成子像素精度的插补图像。本例中，由于设子像素水平排列，所以插补部11对输入图像在水平方向上插补为3倍(垂直方向为1倍)的解像度。

作为插补的具体方法，可考虑(1)单纯插补、(2)图形匹配、(3)线形插补、(4)双三次插补。

这里，如图2(a)所示，引入下标i(i＝1，2...，n：自然数n为水平方向的像素数)，设从水平方向的左端第i的像素的输入数据具有(Ri，Gi，Bi)三个分量。

此时，如图2(b)所示，插补部11对第i的像素生成(Rri，Gri，Bri，Rgi，Ggi，Bgi，Rbi，Gbi，Bbi)的九个分量。

(1)单纯插补时，插补部11根据

Rri＝Rgi＝Rbi＝Ri

Gri＝Ggi＝Gbi＝Gi

Bri＝Bgi＝Bbi＝Bi

进行构成一个像素的子像素的个数次(本例中为3次)的复制。

但是，如后所述，如果进行单纯插补，则具有产生输入图像原来所不包含的高频分量的副作用。

(2)在根据图形匹配进行插补时，插补部11根据关注像素(从水平方向的左端第i的像素)和与关注像素相邻的多个像素的颜色和发光状态，按照定义的图形，进行匹配。由于本发明不是以图形匹配的方法自身作为核心，所以省略详细说明，关于图形匹配的具体方法，例如参照日本特开2002-354277号公报等。

另外，在前处理部10中，图像处理部12输入来自插补部11的子像素精度的插补图像S1，生成强调属于插补图像S1的特定频带的分量的子像素精度的强调图像S4。如图2(c)所示，该强调图像S4对第i号像素具有(R’ri，G’ri，B’ri，R’gi，G’gi，B’gi，R’bi，G’bi，B’bi)的九个分量。

在本方式中，设图像处理部12进行图像增强处理。该图像增强处理不是以像素精度而是以子像素精度实施。再有，图像处理部12不仅进行增强处理，进行其他的以提高清晰感为目的的处理(例如，通过对比度校正，伽玛校正、颜色调整等来提高清晰感的处理)也可以。

参照图3，说明本方式的图像处理部12的结构。这里，在图3之后，粗箭头表示子像素精度。

子像素精度的插补图像S1被输入到高通滤波器121和加法器122。高通滤波器121提取插补图像S1的高频分量S2并输出到乘法器123。乘法器123按照一定的增益值将高频分量S2增益加倍，其结果作为强调分量S3输出到加法器122。

加法器122将插补图像S1和强调分量S3相加，将相加的结果作为强调图像S4输出。以上的处理全部以子像素精度实施。

图4(a)～图4(d)中，横轴表示水平方向的位置(子像素精度)，纵轴表示各分量的电平。图4(a)表示插补图像S1的波形例，同样地，图4(b)表示高频分量S2的波形例，图4(c)表示强调分量S3的波形例，图4(d)表示强调图像S4的波形例。

如果对图4(d)所示的强调图像S4以像素精度进行增强处理，则在横轴方向上只能实施1/3精度的粗糙的处理。因此，可理解本发明的增强处理比现有技术可更锐利地实施，而且，可抑制锯齿感。

下面，参照图1、图2来说明子像素再现部20。在图1中亮度/色度分离部21将子像素精度的强调图像S4(R’ri，G’ri，B’ri，R’gi，G’gi，B’gi，R’bi，G’bi，B’bi)分离成子像素精度的的亮度分量(Yri，Ygi，Ybi)和子像素精度的色度分量(Cbri，Crri，Cbgi，Crgi，Cbbi，Crbi)(参照图2(d))。

亮度/色度分离部21例如可使用下式作为进行该变换的变换式。

Yi＝0.299Ri+0.587Gi+0.114Bi

Cbi＝-0.172Ri-0.339Gi+0.511Bi

Cri＝0.511Ri-0.428Gi-0.083Bi

色渗抑制部22对分离的子像素精度的亮度分量实施抑制在以子像素精度显示时产生的色渗的滤波处理，并输出第一结果

在本方式中，色渗抑制部22对分离的子像素精度的亮度分量(Yri，Ygi，Ybi)进行在以子像素精度显示时发生的色渗抑制处理，输出第一结果(Y#ri，Y#gi，Y#bi)。

色渗抑制部22例如可使用下式作为进行该变换的变换式。

Y#ri＝(Ybi-1+Yri+Ygi)÷3

Y#gi＝(Yri+Ygi+Ybi)÷3

Y#ri＝(Ygi+Ybi+Ygi+1)÷3

在该例中，色渗抑制部22进行1∶1∶1的3抽头的滤波处理。但是，色渗抑制部22也可以进行1∶2∶1的3抽头的滤波处理、1∶2∶3∶2∶1或1∶4∶6∶4∶1的5抽头的滤波处理、或者日本特开2002-41024号公报和日本特开2002-99238号公报所公开的处理。

这里，在本说明书中，“色渗”是指，在发不同颜色的光的子像素中，为了提供基于各个不同亮度的信息而发生的不期望的颜色的发光。如果发生这样的不期望的颜色的发光，则在亮度变化大的部分，产生好象颜色泄漏的部分，成为图像质量恶化的原因。色渗抑制部22抑制由于子像素再现而发生的色渗。

当然，以上的滤波系数不过为一例，如果是对抑制色渗有效果的滤波系数，色渗抑制部22可使用任意的系数。

色度处理部23处理分离的子像素精度的色度分量(Cbri，Crri，Cbgi，Crgi，Cbbi，Crbi)并输出第二结果(Cb#i，Cr#i)。

色度处理部23例如可使用下式作为进行该变换的变换式。

Cb#i＝(Cbri+Crgi+Cbbi)÷3

Cr#i＝(Crri+Crgi+Crbi)÷3

而且，显示图像处理部24基于第一结果(Y#ri，Y#gi，Y#bi)和第二结果(Cb#i，Cr#i)，生成显示图像(R#i，G#i，B#i)。

显示图像生成部24例如可使用下式作为进行该变换的变换式。

R#i＝Y#ri+1.371C#ri

G#i＝Y#gi-0.698C#ri-0.336C#bi

B#i＝Y#bi+1.732C#bi

在该式中，加到显示图像(R#i，G#i，B#i)中的亮度分量要关注于各自的不同点。由此，将以子像素精度施行图像处理的结果原样保持，将其结果反映在显示器件31的显示上。

再有，上述各式不过是例示，可以使用其他算式。

根据本方式，像素精度的输入图像被变换成子像素精度，在子像素精度下，实施图像处理，图像处理结果以保持子像素精度的信息的状态反映在显示器件31的显示结果中。由此，可比现有技术生成清晰感更高的图像。而且，由于位置精度高，所以即使图像处理的增益高，与现有技术相比，锯齿感不显眼。

最好是，对于像素精度的输入图像，进行子像素精度处理的前处理部10和子像素再现部20的各自的内部可同时并行处理3倍的数据。这样，则由硬件构成图1的图像处理装置时，进行子像素精度的处理的部分电路规模增加，但硬件的工作频率不需比对输入图像的取样频率大，这一点是有利的。

(实施方式1的第1变形例)

在图1的结构中，图像处理部12主要对亮度分量起作用。因此，在输入图像为与彩色图像对应时，如图5所示，可先进行亮度分量的分离，此后，通过图像处理部12进行图像处理。

(实施方式1的第2变形例)

或者，在输入图像仅为黑白二值或灰度等级时，如图6所示，可省略亮度的分离和色度的处理。

在提高清晰感这一点上，以上的第一变形例和第二变形例的任何一个都与图1的结构没有不同。

(实施方式2)

下面，参照图7～图10说明本发明的实施方式2。图7是本发明的实施方式2的显示装置的方框图。

如图7所示，本方式与实施方式1的图1相比，插补部40和图像处理部50的结构不同。另外，对图7之后的各图中与图1同样的结构部件，赋予相同标号，并省略说明。

插补部40具有以下的部件。单纯插补部41对像素精度的输入图像以构成一个像素的子像素的个数次进行复制，并变换成子像素精度的插补图像(Ri，Gi，Bi，Ri，Gi，Bi，Ri，Gi，Bi)。本方式也与实施方式1同样，对一个像素将三个子像素水平排列，单纯插补部41对水平方向进行3次复制(实施方式1中已叙述的单纯插补)。

如上所述，如果进行这样的单纯插补，则作为副作用，在插补图像中发生输入图像中原本不包含的高频分量。

在图8中，上部表示输入图像的数据例，其下部表示插补图像(单纯插补结果)的数据例。图8中，在点P1附近发生了上述高频分量。在点P1，插补图像的RGB各值从“255”到“0”按一个像素的约1/3的间隔变化，但输入图像从“255”到“0”按一个像素的一倍的间隔变化。即，如果考虑频率区域，则插补图像的值的变化更靠近高频侧。

因此，如果由单纯插补部41进行单纯插补的插补图像原样由图像处理部50进行图像处理(例如，增强处理等)，则单纯插补发生的、输入图像原本不包含的高频分量被不自然地强调。

因此，本方式中，在单纯插补部41和图像处理部50之间设置低通滤波器42，通过低通滤波器42来抑制由于单纯插补的副作用所发生的高频分量。由此，可对输入图像实现更自然的图像处理。再有，低通滤波器42的输出作为子像素精度的插补图像S11被输入到图像处理部50。

另外，如图7所示，图像处理部50具有以下部件。子像素精度的插补图像S11(参照图9(a))被输入到高通滤波器51和第一加法器52。高通滤波器51从插补图像S11中提取子像素精度的高频分量S12(参照图9(b))，提取的高频分量S12输入到乘法器54和波形整形部53。

乘法器54按照增益调整值S15将高频分量S12增益加倍，并将子像素精度的强调分量S16输出到第一加法器52。

波形整形器53将如图9(b)所示的高频分量S12的波形，如图9(c)示出的那样整形在一定范围内，将整形后高频分量S13输出到第二加法器55。本方式中，第二加法器55按照图10所示的特性，进行仅将图10的斜线部输出的限幅处理。即，如果高通滤波器51的输出大于或等于一定电平，则整形后高频分量S13变小。由此，对于高通滤波器51的输出比较大的部分，可防止乘法器54的增益值过大。

当然，作为波形整形部53的处理，也可以采用调整增益的其他处理(例如，绝对值的调整、核化等)。

而且，如图7所示，在第二加法器55中输入正的固定增益值，第二加法器55将该固定增益值与整形后高频分量S13相加，相加的结果作为增益调整值S15输出到乘法器54。

乘法器54按照增益调整值S15将高频分量S12增益加倍，将其结果作为子像素精度的强调分量S16输出到第一加法器52。

而且，第一加法器52将子像素精度的查部图像S11核子像素精度的强调分量S16相加，将其结果作为子像素精度的强调图像S17输出到子像素再现部20。

根据本方式，可限制由于单纯插补而产生的高频分量，可实施自然的图像处理。另外，通过在图像处理部50中调整增益值，可抑制过大增益造成的信号的折返和色渗，可获得高清晰感、高质量的显示结果。

根据本发明，在以子像素精度对输入图像进行插补后，没有下取样，可在显示器件的显示结果上反映高精度的图像处理结果，可提高图形的清晰感。

另外，图像处理是强调图像的高频分量时，可抑制边缘变粗和锯齿感，相比现有技术，可获得锐利感高、高质量的显示结果。

Claims (17)

1.一种图像处理装置，包括图像处理部，图像处理部基于具有与构成显示器件的像素的发光元件(子像素)的个数相对应的精度的子像素精度的图像，生成强调属于所述图像的特定频带的分量的子像素精度的强调图像。

2.一种图像处理装置，包括：

插补部，将具有像素精度的输入图像变换成子像素精度的插补图像；

亮度分离部，从所述子像素精度的插补像素中分离子像素精度的亮度分量；以及

图像处理部，基于所述亮度分离部分离的所述子像素精度的亮度分量，强调属于所述亮度分量的特定频带的分量。

3.一种图像处理装置，包括：

插补部，将黑白二值或灰度等级的具有像素精度的输入图像变换成子像素精度的插补图像；以及

图像处理部，基于所述子像素精度的插补图像，强调属于所述亮度分量的特定频带的分量。

4.一种图像处理装置，包括：

插补部，将像素精度的输入图像变换成子像素精度的插补图像；

图像处理部，基于所述子像素精度的插补图像，生成强调属于所述插补图像的特定频带的分量的子像素精度的强调图像；以及

子像素再现部，对所述子像素精度的强调图像进行子像素再现处理从而生成显示图像。

5.如权利要求1所述的图像处理装置，其中，一个像素由对应于红色发光元件的子像素、对应于绿色发光元件的子像素、以及对应于蓝色发光元件的子像素构成。

6.如权利要求2所述的图像处理装置，其中，所述插补部利用由关注像素和与所述关注像素相邻的像素的发光状态所定义的图形，基于图形匹配来进行变换。

7.如权利要求2所述的图像处理装置，其中，所述插补部以构成一个像素的子像素的个数次来复制所述像素精度的输入图像，从而变换成所述子像素精度的插补图像。

8.如权利要求7所述的图像处理装置，其中，所述插补部还包括从变换的所述子像素精度插补图像中除去高频分量的低通滤波器。

9.如权利要求4所述的图像处理装置，其中，所述子像素再现部包括：

亮度/色度分离部，将子像素精度的图像分离为子像素精度的亮度分量和子像素精度的色度分量；

色渗抑制部，实施抑制在对分离的所述子像素精度的亮度分量以子像素精度显示时发生的色渗的滤波处理，并输出第一结果；

色度处理部，处理分离的所述子像素精度的色度分量并输出第二结果；

以及

显示图像生成部，基于所述第一结果和所述第二结果，生成显示图像。

10.如权利要求4所述的图像处理装置，其中，所述图像处理部包括：

高通滤波器，从所述子像素精度的插补图像中提取子像素精度的高频分量；

乘法器，将所述高频分量增益加倍从而输出强调分量；以及

加法器，将所述插补图像和所述强调分量相加并输出所述子像素精度的强调图像。

11.如权利要求10所述的图像处理装置，其中，所述图像处理部还包括将所述高频分量的波形在一定范围内整形并输出整形后高频分量的波形整形部，

所述乘法器的增益基于所述整形后高频分量来调整。

12.如权利要求2至11任何一项所述的图像处理装置，其中，在每单位时间中，相对所述插补部输入所述输入图像的处理量，所述图像处理部进行构成一个像素的子像素的个数倍的并行处理。

13.一种显示装置，包括：显示器件；权利要求1所述的图像处理装置；以及通过所述图像处理部生成的强调图像来控制所述显示器件的驱动器。

14.一种图像处理方法，包括以下步骤：基于子像素精度的图像，生成强调属于所述图像的特定频带的分量的子像素精度的强调图像。

15.一种图像处理方法，包括：

将具有像素精度的输入图像变换成子像素精度的插补图像的步骤；

从所述子像素精度的插补像素中分离子像素精度的亮度分量的步骤；以及

基于分离的所述子像素精度的亮度分量，强调属于所述亮度分量的特定频带的分量的步骤。

16.一种图像处理方法，包括：

将黑白二值或灰度等级的具有像素精度的输入图像变换成子像素精度的插补图像的步骤；以及

基于所述子像素精度的插补图像，强调属于所述亮度分量的特定频带的分量的步骤。

17.一种图像处理方法，包括：

将像素精度的输入图像变换成子像素精度的插补图像的步骤；

基于所述子像素精度的插补图像，生成强调属于所述插补图像的特定频带的分量的子像素精度的强调图像的步骤；以及

对所述子像素精度的强调图像进行子像素再现处理从而生成显示图像的步骤。

Images