CN101729741A - 图像处理设备、图像处理方法和计算机程序 - Google Patents

Abstract

本发明涉及一种图像处理设备，包括：Δ∑调制装置，用于在将预定的信号处理应用到调制图像上时，对图像进行Δ∑调制，在此，所述的调制图像是通过在信号处理单元中将Δ∑调制应用到图像而得到的，其中，通过Δ∑调制的噪声整形的频率特性与预定的信号处理的频率特性相反。

Description

图像处理设备、图像处理方法和计算机程序

技术领域

本发明涉及图像处理设备、图像处理方法和计算机程序，尤其是涉及在将预定信号处理应用到图像上时，有可能改进经过预定信号处理而得到的图像的等级的图像处理设备、图像处理方法和计算机程序。

背景技术

图1是以前的图像处理系统(系统指的是多个设备的逻辑集，而不管这些具有特定配置的设备是否位于同一壳体内)的实例的配置的示意图。

在图1中，图像处理系统包括存储用图像(image-for-storage)产生设备10和显示用图像(image-for display)产生设备20。

存储用图像产生设备10包括量化单元11，并产生要存储在显示用图像产生设备20中的图像。

能够将显示用图像产生设备20应用到电视接收机上(以下称为TV(电视))。应用到电视接收机上的显示用图像产生设备20存储例如菜单屏面图像和作为某种背景的背景图像。存储用图像产生设备10产生由显示用图像产生设备20存储的图像。

具体地说，将多位图像提供给存储用图像产生设备10，这样的图像如像包含R、G和B(红、绿和蓝)的16位分量的图像，该图像是作为菜单屏面的原始图像由设计者使用图像创建工具创建的。

在存储用图像产生设备10中，为了减少在显示用图像产生设备20中的容量和计算量，量化单元11将提供给存储用图像产生设备10的16位图像量化为例如小于16位的8位图像。存储用图像产生设备10以诸如PNG(便携式网络图形)之类的格式的图像文件输出8位图像(包含R、G和B的8位分量的图像)，该图像是通过在量化单元11中量化得到的。

显示用图像产生设备20包括存储单元21、信号处理单元22、等级(gradation)转换单元23。

存储单元21是例如闪存储器，并存储由存储用图像产生设备10输出的图像文件。

具体地说，例如，在制造其上应用显示用图像产生设备20的电视机的工厂中，将由存储用图像产生设备10输出的图像文件写(存储)在存储单元21中。

信号处理设备22对存储在图像文件中的菜单屏面的8位图像应用必要的信号处理并将经受所述信号处理的图像提供给等级转换单元23，在此，该图像文件存储在存储单元21内。

等级转换单元23将来自信号处理单元22的图像等级转换(gradation-convert)为8位图像，并将此8位图像提供给未示出的、能够显示8位图像的显示器(以下称为8位显示器)。

具体地说，作为由信号处理单元22应用到8位图像上的信号处理的结果的所得到的图像可以是含有比8位图像更多位数的图像。在8位显示器上难于显示含有比8位图像更多位数的图像。因此，等级转换单元23将来自信号处理单元22的图像等级转换为8位图像。

在等级转换单元23中，进行作为等级转换的抖动(dithering)处理，以便将噪声应用到图像中并随后进行图像的量化处理。在此技术说明书中，抖动处理包括抖动方法和误差扩散方法。在抖动方法中，将与图像无关的噪声，诸如如随机噪声，添加到图像中，然后进行图像的量化。在误差扩散方法中，将作为噪声的量化误差(的滤波结果)添加到图像中(误差扩散)，然后进行图像的量化处理(例如，见Hitoshi Tokay，“Yokuwakaru数字图像处理”，第六版，CQ出版社(“Yokuwakaru Digital Image Processing”，sixth endition，CQpublishing))。

当来自信号处理单元22的图像是含有比8位图像更多的位数的图像时，等级转换单元23进行等级转换。当来自信号处理单元22的图像是8位图像时，等级转换单元23就直接向8位显示器提供8位图像。

例如，在用户进行操作以显示菜单屏面时，如上所述处理存储在存储单元21的图像文件中的菜单屏面的8位图像，并将其显示在8位显示器上。

发明内容

采用通过在等级转换单元23中的抖动处理的等级转换，能够模拟实现与利用人类视觉的整体效应的多位图像的等级相同的等级。

具体地说，例如，在图1的显示用图像产生设备20中，就菜单屏面而言，由于8位图像存储在存储单元21的图像文件中，因此能够实现与8位图像的等级相同的等级。

然而，就菜单屏面而言，难于实现与包含比存储在存储单元21的图像文件中的8位图像更多的位数的图像的等级相同的等级。

具体地说，菜单屏面的原始图像是由设计者创建的16位图像。在存储用图像产生设备10中，作为原始图像的16位图像被量化为8位图像并存储在显示用图像产生设备20的存储单元21中。

在显示用图像产生设备20中，由信号处理单元22对存储在存储单元21中的菜单屏面的8位图像进行信号处理，并由等级转换单元23来进行等级转换，然后显示该图像。

照此方式，菜单屏面的图像在信号处理后被等级转换和显示。然而，在显示用图像产生设备20中，由于作为信号处理目标的图像是8位图像，因此，采用等级转换技术很难实现其等级超过8位图像的等级的图像。

因此，其等级显著劣于设计者期望的等级的图像被显示为菜单屏面。

在此情况下，期望在对图像进行预定的信号处理时能够改善通过预定的信号处理所得到的图像的等级。

根据本发明的实施例，提出了一种图像处理设备，包括：Δ∑调制装置，用于在将预定信号处理应用到通过在信号处理单元中将Δ∑调制应用到图像上而得到的调制图像上时，将Δ∑调制应用到图像。经过Δ∑调制的噪声整形(noise shaping)的频率特性是与预定的信号处理的频率特性相反的特性。根据此实施例，也提出了计算机程序，用于使计算机起到图像处理设备的作用。

根据本发明的另一个实施例，提出了一种图像处理方法，该方法包括：在将预定的信号处理应用到通过在信号处理单元中将Δ∑调制应用到图像上而得到的调制图像上时，将Δ∑调制应用到图像的步骤。经过Δ∑调制的噪声整形的频率特性是与预定的信号处理的频率特性相反的特性。

在本发明的实施例中，在将预定的信号处理应用到通过在信号处理单元中将Δ∑调制应用到图像上而得到的调制过的图像上时，Δ∑调制被应用到图像。经过Δ∑调制的噪声整形的频率特性是与预定的信号处理的频率特性相反的特性。

图像处理设备可以是独立的设备或者是含于一个设备中的内部块。

可以通过传输媒体发送计算机程序或者将计算机程序记录在记录介质上来提供计算机程序。

根据本发明的实施例，可能改进图像的等级。具体地说，例如，在对图像应用预定的信号处理时，能够改进通过预定的信号处理而得到的图像的等级。

附图说明

图1是图示出了以前的图像处理系统的配置实例的方块图(graph)。

图2是图示出了根据本发明实施例的图像处理系统的配置实例的方块图。

图3是图示出了Δ∑调制单元31的配置实例的方块图。

图4是图示出了滤波器44的配置实例的方块图。

图5是说明了由存储用图像产生设备30进行的图像处理的流程图。

图6是图示出了其上应用显示用图像产生设备20的电视机的配置实例的方块图。

图7是图示出了其上应用存储用图像产生设备10的图像处理设备的配置实例的方块图。

图8A和8B是表示由图像处理设备70处理的图像的曲线图。

图9A和9B是表示由电视接收机60处理的图像的曲线图。

图10A和10B是表示内容图像的曲线图。

图11是表示组合图像的曲线图。

图12A和12B是表示等级转换后的图像的曲线图。

图13是图示出了其上应用存储用图像产生设备30的图像处理设备的配置实例的方块图。

图14是图示出了信号处理单元62的配置实例的方块图。

图15是LPF92的幅值特性的曲线图。

图16是LPF92的幅值特性的曲线图。

图17是经过Δ∑调制的噪声整形的幅值特性的曲线图。

图18是表示由图像处理设备80处理过的图像的曲线图。

图19A-19D是表示由电视机60处理过的图像的曲线图。

图20是根据本发明的实施例示出了计算机的配置实例的方块图。

具体实施方式

[根据本发明的实施例的图像处理系统的总体配置实例]

图2是图示出了根据本发明实施例的图像处理系统的配置实例的方块图。

在此图中，与图1所示的部件对应的部件用相同的标号表明。因此，下面适当地省略对这些部件的解释。

图2中所示的图像处理系统与图1中所示的图像处理系统的相同在于，图像处理系统包括显示用图像产生设备20。然而，图2所示的图像处理系统与图1所示的图像处理系统的不同之处在于，提供了存储用图像产生设备30，而不是存储用图像产生设备10(图1)。

存储用图像产生设备30包括Δ∑调制单元31。

例如，向存储用图像产生设备30提供了由设计者创建的、作为菜单屏面的原始图像的16位图像。

为了减少显示用图像产生设备20的容量和计算量，存储用图像产生设备30的Δ∑调制单元31将Δ∑调制，即采用误差扩散方法的等级转换，应用到要提供给存储用图像产生设备30的16位图像上，并将此16位图像转换为8位图像。

在Δ∑调制中，对作为在空间上接近关注像素(pixel of attention)的像素的像素值的量化误差的噪声进行噪声整形(noise-shape)到空间频率的高频段，所述的关注像素是指在处理时要给予关注的像素，所述的高频段是指人的视觉灵敏度较低的频段。进行误差扩散，以便将噪声整形后的噪声添加到所述关注像素的像素值中。增加噪声后的像素值被量化到所希望的位数的8位。

如上所述，在Δ∑调制中，将其中加入了噪声(量化误差)的像素值进行量化。因此，在量化后(等级转化后)的图像中，当简单地截取(truncate)低阶位时，看起来就像对在具有固定值的区域中的像素值进行PWM(脉冲宽度调制)那样。结果，由于在人的视觉中在空间方向上表现为一个整体的空间整体效应，看起来就像Δ∑调制后的图像的等级平滑地变化那样。换句话说，可以模拟表示与原始图像的等级相同的等级(例如，如果原始图像是上述的16位图像，那就是2¹⁶等级)。

如下面将要详细说明的那样，由Δ∑调制单元31经过Δ∑调制的噪声整形的频率特性(幅值特性)是与由显示用图像产生设备20的信号处理单元22进行的信号处理(预定的信号处理)的频率特性相反的特性。

以下将在Δ∑调制单元31中经过Δ∑调制而得到的图像称为调制图像。

在存储用图像产生设备30中，将在Δ∑调制单元31中经过Δ∑调制而得到的作为调制图像的8位图像当作为如像PNG这类格式的图像文件输出。

在制制造其上应用显示用图像产生设备20的电视机的造厂或类似厂家中，将由存储用图像产生设备30输出的图像文件写在存储单元21中。

[Δ∑调制单元31的配置实例]

图3是图2所示的Δ∑调制单元31的配置实例的示意图。

在图3中，Δ∑调制单元31包括运算单元41、量化单元42、运算单元43和滤波器44。

将作为菜单屏面的原始图像的16位图像提供给运算单元41，并以此图像作为Δ∑调制的目标(以下称为目标图像)。此外，将滤波器44的输出P也作为目标图像提供给运算单元41，在此，滤波器44在量化值的量化误差的空间方向上进行滤波，在此，所述的量化值是通过量化16位图像的像素值而得到的。

运算单元41按照光栅扫描的顺序将目标图像的像素设为关注像素，并将关注像素的16位像素值IN和滤波器44的输出P相加。运算单元41将作为相加结果而得到的合计值U提供给(输出到)量化单元42和运算单元43。

量化单元42将作为运算单元41的输出的合计值U量化为小于16位的8位，并作为目标图像的位数。量化单元42将作为量化结果而得到的8位量化值作为调制像素值OUT输出，该调制像素值是对像素值IN进行Δ∑调制的结果。

由量化单元42输出的8位调制像素值OUT是作为调制图像的8位图像的像素值。将由量化单元42输出的8位调制像素值OUT提供给运算单元43。

运算单元43计算在合计值U与8位调制像素值OUT之间的差值U-OUT，在此，合计值U是运算单元41的输出，由量化单元42输出的8位调制像素值OUT是作为合计值U的量化值，从而计算含在调制像素值OUT中的量化误差Q作为量化值，并输出该量化误差Q。

将由运算单元43输出的量化误差Q提供给滤波器44。

滤波器44可以是FIR(有限脉冲响应)滤波器，它在空间方向的两个维度(水平方向和垂直方向)上进行滤波。滤波器44在空间方向上对从运算单元43提供的量化误差Q进行滤波。此外，滤波器44还向运算单元41提供(输出)滤波的结果(P)。

如果用G来表示滤波器44的传递函数，就可用下面的公式(1)来表示由量化单元42输出的调制像素值OUT：

OUT＝IN-(1-G)Q            (1)

在公式(1)中，用-(1-G)来调制量化误差Q。用-(1-G)进行的调制是在空间方向上经过Δ∑调制的噪声整形。

[滤波器44的配置实例]

图4是图3所示的滤波器44的配置实例。

在图4中，滤波器44是12抽头(tap)的二维FIR(有限脉冲响应)滤波器。滤波器44包括12个运算单元51_1，3、51_1，2、51_1，1、51_2，3、51_2，2、51_2，1、51_3，2、51_3，1、51_4，1、51_4，2、51_5，1和51_5，2，以及一个运算单元52。

在关注像素周围的5×5像素之中，如果用Q(x，y)来代表从左方开始的第x个像素和从顶部开始的第y个像素的量化误差，那就可将量化误差Q(x，y)提供给运算单元51_x，y。

具体地说，在图4中，在关注像素周围的5×5像素之中，将12像素的每一个的量化误差Q(x，y)分别提供给运算单元51_x，y，在此，12个像素(设置为关注像素)是在关注像素之前按照光栅扫描顺序处理的。

运算单元51_x，y将提供给它的量化误差Q(x，y)和预先设置的滤波系数a(x，y)相乘，并将作为相乘的结果得到的相乘值提供给运算单元52。

运算单元52将从12个运算单元51_x，y提供的相乘值相加，并将各个相乘值的合计值P作为量化误差的滤波结果输出到运算单元41(图3)中。

在图3所示的运算单元41中，将滤波结果添加到关注像素的像素值IN中，在此，所述的滤波结果是通过使用在关注像素周围的5×5像素之中的12像素的量化误差Q(x，y)得到的，该12像素是在关注像素之前按照光栅扫描顺序处理的。

[存储用图像产生设备30的处理]

参照图5来说明图2所示的、由存储用图像产生设备30进行的图像处理(存储用图像产生设备的处理)。

存储用图像产生设备30等待要向它提供的16位图像的某个帧(一个屏面)并接收这个帧。在步骤S10中，存储用图像产生设备30对设置为目标图像的16位图像进行Δ∑调制，并将作为Δ∑调制的结果而得到的8位图像作为调制图像输出。

具体地说，在存储用图像产生设备30的Δ∑调制单元31(图3)中，运算单元41等待要提供的目标图像的某个帧并接收这个帧。运算单元41将一个像素设置为关注像素，然而，在这个帧的多个像素中，该像素并没有按照光栅扫描的顺序被设置为关注像素。在步骤S11中，运算单元41将关注像素的像素值和下述的、由滤波器44进行的步骤S14中通过滤波而得到的值(滤波器44的输出)相加。运算单元41向量化单元42和运算单元43输出通过相加而得到的合计值。然后，处理前进到步骤S12。

在步骤S12中，量化单元42量化作为运算单元41的输出的合计值，并输出含有量化误差的量化值，作为在调制图像的关注像素的位置上的像素的调制像素值。处理前进到步骤S13。

将作为由量化单元42输出的量化值的调制像素值提供给运算单元43。

在步骤S13中，运算单元43计算在作为运算单元41输出的合计值和量化单元42的输出(作为运算单元41的输出的合计值的量化值)(调制像素值)之间的差值，从而计算由于量化单元42的量化而产生的量化误差。此外，运算单元43向滤波器44提供量化误差。随后，处理从步骤S13前进到步骤S14。

在步骤S14中，滤波器44在从运算单元43提供的量化误差的空间方向上进行滤波，并将滤波结果提供(输出)给运算单元41。

随后，运算单元41按照光栅扫描顺序将关注像素的下一个像素设置为新的关注像素。处理从步骤S14回到步骤S11。运算单元41将新的关注像素的像素值和在紧接在前面的步骤S14中、从滤波器44上提供的滤波结果相加。重复相同的处理。

重复进行步骤S11到步骤S14的处理，直到停止向存储用图像产生设备30提供16位图像为止。

[其上应用显示用图像产生设备20的电视机的配置实例]

可将图2(和图1)所示的显示用图像产生设备20应用到如像电视机之类的处理图像的设备上。

图6示出了其上应用图2所示的显示用图像产生设备20的电视机的配置实例的示意图。

在图6中，电视机60包括存储单元61、信号处理单元62、等级转换单元63和混合单元64。

存储单元61对应于图2所示的存储单元21。例如，存储单元61存储图像文件，在此图像文件中存储了通过将Δ∑调制应用到由设计者制作的作为菜单屏面的原始图像的16位图像上而得到的作为调制图像的8位图像。

信号处理单元62对应于图2所示的信号处理单元22。信号处理单元62将必要的信号处理应用到存储在存储单元61的图像文件中的菜单屏面的8位图像上，并向混合单元64提供该8位图像。

存储在存储单元61的图像文件中的8位图像是一个在水平和垂直两个方向上为作为菜单屏面的原始图像的16位图像的一半大的图像。

因此，信号处理单元62将作为信号处理的扩张处理应用到存储在存储单元61的图像文件中的菜单屏面的8位图像上，以便按扩张比2来进行扩张，并由此得到与原始图像的尺寸相同的8位图像，然后，将此8位图像提供给混合单元64。

等级转换单元63对应于图2所示的等级转换单元23。等级转换单元63将下述的来自混合单元64的组合图像转换为8位图像，并将该8位图像提供给没有示出的8位显示器，并使该8位显示器显示该8位图像。

混合单元64将从信号处理单元62上提供的菜单屏面的8位图像和电视广播节目的图像或类似图像(以下称为内容图像)组合起来，以产生组合图像，并将此组合图像提供给等级转换单元63。

混合单元64包括运算单元65、66和67，并使用预定的系数α进行所谓的α混合。

将来自信号处理单元62的菜单屏面的8位图像提供给运算单元65。运算单元65将来自信号处理单元62的菜单屏面的8位图像与系数α(α的值在0到1的范围内)相乘，以便进行α混合，并将作为相乘结果而得到的相乘值提供给运算单元67。

从未示出的调谐器或类似装置上将内容图像提供给运算单元66。运算单元66将内容图像和系数1-α相乘，并将作为相乘结果得到的相乘值提供给运算单元67。

运算单元67将来自运算单元65的相乘值和来自运算单元66的相乘值相加，以产生组合图像，该组合图像是通过在内容图像上叠加菜单屏面而得到的，并将此组合图像提供给等级转换单元63。

在如上述配置的电视机60中，信号处理单元62将作为信号处理的扩张处理应用到存储在存储单元61的图像文件中的菜单屏面的8位图像上，以便按扩张比2来进行扩张，并由此得到与原始图像相同尺寸的8位图像，然后将此8位图像提供给混合单元64。

在混合单元64中，运算单元65将来自信号处理单元62的菜单屏面的8位图像与系数α相乘，并将通过相乘得到的相乘值提供给运算单元67。此外，运算单元66将内容图像与系数1-α相乘，并将作为相乘结果得到的相乘值提供给运算单元67。运算单元67将来自运算单元65的相乘值和来自运算单元66的相乘值相加，以产生组合图像，并将此组合图像提供给等级转换单元63。

等级转换单元63将来自混合单元64的组合图像等级转换为8位图像，然后将此8位图像提供给图中未示出的8位显示器，并使该8位显示器显示该8位图像。

[其上应用存储用图像产生设备10的图像处理设备的配置实例]

如上所述，当尺寸仅为作为菜单屏面的原始图像的16位图像尺寸一半的8位图像(或其中存储有8位图像的图像文件)存储在电视机60的存储单元61中，在此电视机上应用显示用图像产生设备20，其上应用存储用图像产生设备10的图像处理设备产生这样的8位图像。下面将说明该图像处理设备。

图7是其上应用图1所示的存储用图像产生设备10的图像处理设备的配置实例的示意图。

在图7中，图像处理设备70包括缩减单元71和量化单元72。

将作为菜单屏面的原始图像的16位图像提供给缩减单元71。缩减单元71根据缩减比1/2来缩减作为菜单屏面的原始图像的16位图像的尺寸，在此，该缩减比与在信号处理单元62(图6)中的、用于扩张处理的扩张比相对应。缩减单元71向量化单元72输出通过尺寸缩减而得到的16位缩减图像(包括R、G和B的16位分量的缩减图像)。

量化单元72对应于图1所示的量化单元11。量化单元72将来自缩减单元71的16位缩减图像量化为8位。

图像处理设备70将通过在量化单元72中量化而得到的8位缩减图像存储在图像文件中，并输出此8位缩减图像。

[在将由图像处理设备70得到的8位缩减图像存储在电视机60中时，由图像处理设备70处理的图像以及由电视机60处理的图像]

下面将说明在将由图像处理设备70得到的8位缩减图像存储在电视机60的存储单元61(图6)中时，经图7所示的图像处理设备70处理的图像以及经电视机60处理的图像。

图8A和8B是曲线图，该图表示由图7所示的图像处理设备70处理的图像。

在图8A和8B(以及下面提及的图9A和9B到图12A和12B，图18，图19A到19D)中，横坐标代表排列在水平方向(或垂直方向)上的像素的位置，纵坐标代表像素值。

图8A是曲线图，该图示出了16位缩减图像，该图像是通过在缩减单元71(图7)中将作为菜单屏面的原始图像的16位图像的尺寸缩减一半而得到的。

在图8A所示的16位缩减图像中，从左边开始的第一像素到第200像素的像素值平稳地(线性地)从100变化到110。

图8B是曲线图，该图示出了8位缩减图像，该图像是通过在量化单元72(图7)中将图8A中的16位缩减图像量化为8位而得到的。

在图8B所示的8位缩减图像中，从左边开始的第一像素到第200像素的像素值逐步地(stepwise)从100变化到110。由于量化单元72的量化，与图8A中的16位缩减图像相比，8位缩减图像的等级降低。具体地说，通过量化单元72的量化，将图8B所示的8位缩减图像变为具有2⁸等级的图像。

图9A和9B是曲线图，该图表示，在将图8B所示的8位缩减图像存储在图6所示的电视机60的存储单元61中时，由电视机60处理的图像。

具体地说图9A是曲线图，该图表示其尺寸与菜单屏面的原始图像(以下也称为原始尺寸图像)的尺寸相同的图像，该菜单屏面的原始图像是通过在信号处理单元62(图6)中将图8中的8位缩减图像的尺寸扩大一倍而得到的。

在图9A所示的原始尺寸图像中，在是从左边开始的第一个像素到第200像素两倍大的范围内，从左边开始的第一个像素到第400个像素的像素值从100逐步地变化到109。于在图8B的情况一样，由于量化单元72的量化，与图8A所示的16位缩减图像相比，图像的等级降低了。

图9B是曲线图，该图表示通过在运算单元65(图6)中将图9A中的原始尺寸图像与系数α相乘而得到的图像(以下也称为α-倍图像)。

具体地说，图9B表示，例如，在将系数α设置为0.5时，由运算单元65得到的图像。

在图9B中的α-倍图像中，从左边开始的第一像素到第400像素的像素值逐步地从50变化到54.5，这个值是在图9A情况下从100变化到109的0.5(＝α)倍。如同在图8B和图9A的情况中那样，图像的等级降低了。

图10A和10B是表示内容图像的曲线图。

具体地说，图10A是表示提供给运算单元66(图6)的内容图像的图像。

在图10A的内容图像中，从左边开始的第一像素到第400像素的像素值是固定的值60。

图10B是曲线图，该图表示通过在运算单元66(图6)中将图10A的内容图像与系数1-α相乘而得到的图像(以下也称为1-α倍图像)。

具体地说，如同参照图9A和9B所说明那样，图10B表示在将系数α设置为0.5时由运算单元66得到的1-α倍图像。

在图10B中的1-α倍图像中，从左边开始的第一像素到第400像素的像素值是30，这是在图10A的情况下的像素值60的0.5(＝1-α)倍。

图11是曲线图，该图表示组合图像，该组合图像是通过在运算单元67(图6)中将图9B中的α倍图像和图10B中的1-α倍图像进行α混合(组合)而得到的。

在图11的组合图像中，将图9B中的α倍图像和图10B中的1-α倍图像相加，在前者中，从左边开始的第一像素到第400像素的像素值逐步地从50变化到54.5，在后者中，从左边开始的第一像素到第400像素的像素值始终是30。因此，在组合图像中，从左边开始的第一像素到第400像素的像素值逐步地从80变化到84.5，如同在图8B和图9A中的情况那样，组合图像的等级降低了。

图12A和12B是曲线图，该图表示等级转换后的图像(以下也称为等级转换后图像)，它是通过将图11中的组合图像等级转换为8位而得到的。

具体地说，图12A是曲线图，该图表示等级转换后的图像，该图像只通过在等级转换单元63(图6)中的量化，将图11中的组合图像等级转换为8位而得到的。

在图12A中的等级转换后图像中，从左边开始的第一像素到第400像素的像素值以较大的步长(step)逐步地从80变化到85。等级转换后图像的等级低于在图11的情况下的等级。

具体地说，在图9B中的、用于产生组合图像的α倍图像，是通过将图9A中的原始尺寸图像与其值为0.5的系数α(＝2^-1)相乘而得到的图像。在仅通过量化将这样的α倍图像(或使用α倍图像产生的组合图像)等级转换为8位图像时，实际上将α倍图像转换为具有27等级的图像。因此，图像的等级降到在等级转换之前的等级以下。

图12B是曲线图，该图表示等级转换后的图像，该图像是通过在等级转换单元63(图6)中的抖动处理，将图11中的组合图像等级转换为8位而得到的。

在图12B所示的等级转换后图像中，就像是对像素值进行了脉冲宽度调制(PWM)那样，像素值发生了变化。由于视觉的空间整体效应，看起来就好像是像素值以平稳变化的方式变化那样。

具体地说，在图12B中的等级转换后图像中，就菜单屏面的图像而言，模拟地实现了与存储在存储单元61(图6)中的8位缩减图像的等级相同的等级。

然而，在图12B中的等级转换后图像中，菜单屏面的图像并非是其等级与作为菜单屏面的原始图像的16位图像的等级相同的图像。

如上所述，在运算单元65(图6)中，用α(＝0.5)来乘以图9A中的原始尺寸图像(其中的像素值从100变化到109)，以便得到图9B中的α倍图像(其中的像素值从50变化到54.5)。

因此，在图9B中的α倍图像中，像素值的变化比图9A中的原始尺寸图像的像素值的变化更为和缓。因此，在通过等级转换这样的α倍图像(或使用α倍图像产生的组合图像)而得到的等级转换后的组合图像中，频带效应(banding)就变得更加明显。

具体地说，在(其中的像素值变化和缓)图像的等级转换后的组合图像中，固定像素值持续长久的部分增加了。因此，其中的等级变化看起来好像是一个频带的频带效应就变得明显了。

[其上应用存储用图像产生设备30的图像处理设备的配置实例]

在等级转换后图像中，为了将菜单屏面图像模拟转变为其等级等于作为菜单屏面的原始图像的16位图像的等级的图像，以及其中没有明显频带效应的图像，作为等级转换的目标的图像，即由混合单元64(图6)得到的组合图像，应当是其等级等于16位图像的等级的图像。

图13是图像处理设备的配置实例，在此设备上应用图2所示的存储用图像产生设备30。

在此图中，用相同的标号表明与图7所示的图像处理设备70中的部件对应的部件。下面不再对这些部件加以说明。

具体地说，在图13中，图像处理设备80包括缩减单元71和Δ∑调制单元81。图像处理设备80与图7所示的图像处理设备70相同之处在于，图像处理设备80包括缩减单元71。图像处理设备80与图7所示的图像处理设备70的不同之处在于，提供了Δ∑调制单元81来代替量化单元72。

将16位缩减图像提供给Δ∑调制单元81，在此，该16位缩减图像是通过在缩减单元71中、按照对应于在信号处理单元62(图6)中的扩张处理的扩张比的缩减比1/2来缩减作为菜单屏面的原始图像的16位图像的尺寸而得到的。

Δ∑调制单元81对应于图2中的Δ∑调制单元31。Δ∑调制单元81将Δ∑调制应用到由缩减单元71提供的16位缩减图像上，并将16位缩减图像转换为8位缩减图像。

图像处理单元80将由Δ∑调制单元81通过Δ∑调制而得到的8位缩减图像存储在图像文件中并输出此8位缩减图像。

[通过Δ∑调制产生的噪声整形的频率特性]

图13所示的由Δ∑调制单元81通过Δ∑调制产生的噪声整形的频率特性是与由电视机60的信号处理单元62(图6)进行的信号处理的频率特性相反的特性。

因此，为了说明由Δ∑调制单元81通过Δ∑调制产生的噪声整形的频率特性，就要说明由信号处理单元62进行的信号处理的频率特性。

如同参照图6说明的那样，在电视机60中，信号处理单元62将作为信号处理的扩张处理应用到存储在存储单元61的图像文件中的菜单屏面的8位图像(8位缩减图像)上，以便按照扩张比2来进行扩张。

图14是信号处理单元62的配置实例图，在此，信号处理单元62进行作为信号处理的扩张处理。

在图14中，信号处理单元62包括上采样(up-sampling)单元91和LPF(低通滤波器)92。

将存储在存储单元61(图6)的图像文件中的菜单屏面的8位缩减图像提供给上采样单元91。

上采样单元91在形成8位缩减图像的邻近像素之间逐个插补像素值为0的像素，从而产生具有双倍尺寸的8位图像，并将此8位图像提供给LPF92。

具体地说，上采样单元91根据零值插补来产生图像，在此图像中，水平和垂直方向上的像素的数量都是8位缩减图像的两倍大，并将此图像提供给LPF92。

LPF92对由上采样单元91提供的图像进行滤波，从而线性地插补其中由上采样单元91插补了零值的像素的像素值。LPF92向混合单元64(图6)提供作为线性插补结果而得到的尺寸与菜单屏面的原始图像的尺寸(原始尺寸图像)相同的图像。

如上所述，信号处理单元62在8位缩减图像中插补零值，并用LPF92进行滤波，从而进行扩张处理，以便按照扩张比2来扩张图像(将缩减图像恢复为原始尺寸的调整尺寸处理)。

为了简化说明，只关注8位缩减图像的水平方向。上采样单元91在8位缩减图像的水平方向上、在彼此邻近的像素之间，逐个插补像素值为零的像素，从而在水平方向上产生具有两倍尺寸的图像。

上采样单元91将在水平方向上具有两倍尺寸的像素的像素值加倍，以防止像素值的平均值发生变化，并将此像素值提供给LPF92。

LPF92是FIR滤波器，其中，用于将水平方向上连续的三个像素(的像素值)相乘的滤波系数为1/4、1/2和1/4。LPF92在水平方向上滤波由上采样单元91提供的图像。因此，从LPF92上输出原始尺寸图像，该原始尺寸图像是通过线性地插补由上采样单元91插补的像素的像素值而得到的。

如上所述，如果信号处理单元62包括上采样单元91和LPF92，那么，由Δ∑调制单元81通过Δ∑调制而产生的噪声整形的频率特性是与LPF92的频率特性相反的特性。

图15是曲线图，该图示出了LPF92的频率特性(幅值特性)。

在图15(和下面提到的图16)中，横坐标表示归一化到1的频率(以下也称为归一化频率)，该频率是作为LPF92的滤波目标的图像(其中插补了零值的图像)的像素的采样频率的一半。纵坐标表示以dB(分贝)为单位的增益。

Δ∑调制单元81(图13)以8位缩减图像作为目标来进行Δ∑调制，在此，该8位缩减图像的尺寸是作为LPF92的滤波目标的图像(其中插补了零值的图像)(以下也称为零插补图像)的尺寸的一半。

作为Δ∑调制的目标的8位缩减图像的像素的采样频率是作为LPF92的滤波目标的零插补图像的像素的采样频率的一半。

因此，就作为Δ∑调制的目标的8位缩减图像而言，由于在LPF92的频率特性中，其归一化频率等于或低于0.5的部分会影响LPF92的滤波，因此，仅必须考虑这个部分。

图16是曲线图，该图示出了在图15所示的LPF92的频率特性中，其归一化频率等于或低于0.5的部分。

由Δ∑调制单元81(图13)通过Δ∑调制而产生的噪声整形的频率特性是与图16所示的频率特性相反的特性。

图17是曲线图，该图示出了由Δ∑调制单元81(图13)通过Δ∑调制而产生的噪声整形的频率特性(幅值特性)。

在图17中，横坐标表示归一化到1的频率(归一化频率)，该频率是作为Δ∑调制的目标的8位缩减图像的像素的采样频率的一半。纵坐标表示以dB为单位的增益。

在图17中的归一化频率1相应于图15和16所示的LPF92(图14)的频率特性的归一化频率0.5。

在图17中所示的噪声整形的频率特性是这样的特性，当归一化频率为0时，增益为0，随着归一化频率升到较高的频段(空间频率的较高频段)，增益也就变大。该频率特性(基本上)与图16所示的频率特性相反。

噪声整形的频率特性并不需要与通过逆转信号处理单元62(图6)的频率特性而得到的相反特性完全一致，在此，该频率特性就是LPF92(图14)的频率特性(其归一化频率等于或低于0.5的部分(图16))。

根据图16所示的频率特性，就作为Δ∑调制目标的8位缩减图像而言，空间频率的高频率成分由于LPF92的滤波而减弱。

Δ∑调制单元81(图13)添加由于LPF92的滤波而减弱的(均化的)高频噪声(量化误差)，以便进行Δ∑调制，从而使得通过LPF92的滤波而得到的原始尺寸图像是具有与16位图像的等级相同的等级的图像。

因此，通过Δ∑调制的噪声整形的频率特性只能是与该频率特性相应的噪声(量化误差)通过LPF92的滤波(理想地，完全地)减弱了的特性。

换句话说，通过Δ∑调制的噪声整形的频率特性只能是这样的特性，其形状与通过逆转LPF92的频率特性(其归一化频率等于或低于0.5的部分(图16))所得到的形状相似。

在此技术说明中，如果噪声整形的频率特性是与信号处理单元62(图6)的频率特性相反的特性，这就表示噪声整形的频率特性完全符合这样一个特性，这就是与信号处理单元62的信号处理的频率特性相反的特性。此外，这也表示噪声整形的频率特性类似于相反的特性。

Δ∑调制单元81的结构与图3所示的Δ∑调制单元31的结构相同。但是，由Δ∑调制单元81通过Δ∑调制而产生的噪声整形的频率特性取决于滤波器44(图3)的传递函数G和滤波器44的滤波系数。

例如，如上所述，由信号处理单元62(图6)进行的信号处理是扩张处理，以便借助线性插补将图像的尺寸扩张为两倍的尺寸，如图4所示，滤波器44是12分支(tap)的二维FIR滤波器。在此情况下，用于将由Δ∑调制单元81通过Δ∑调制而产生的噪声整形的频率特性设置为与由信号处理单元62进行的信号处理的频率特性相反的特性的，滤波器44的滤波系数a(x，y)(图4)可以是如下数值：

a(1，1)＝-0.0064

a(2，1)＝-0.0256

a(3，1)＝-0.0384

a(4，1)＝-0.0256

a(5，1)＝-0.0064

a(1，2)＝-0.0256

a(2，2)＝0.1816

a(3，2)＝0.4144

a(4，2)＝0.1816

a(5，2)＝-0.0256

a(1，3)＝-0.0384

a(2，3)＝0.4144

[在将由图像处理设备80得到的8位缩减图像存储在电视机60中时，由图像处理设备80处理的图像以及由电视机60处理的图像]

下面将要说明，在将由图像处理设备80得到的8位缩减图像存储在电视机60的存储单元61(图6)中时，由图像处理设备80处理的图像以及由电视机60处理的图像。

图18是曲线图，该图表示由图13所示的图像处理设备80处理的图像。

具体地说，图18表示作为调制图像的8位缩减图像，它是通过将Δ∑调制应用到图8A中的16位缩减图像上得到的，在此，该16位缩减图像又是通过Δ∑调制单元81中的缩减单元71(图13)得到的。

在图18中的、作为调制图像的8位缩减图像中，就像对像素值进行了PWM(脉冲宽度调制)一样，像素值发生了变化。由于视觉的空间整体效应，看起来就像是像素值以平稳变化的方式发生变化那样。

具体地说，在图18中的作为调制图像的8位缩减图像中，在对其进行Δ∑调制之前，就模拟实现了与16位缩减图像(图8A)的等级相同的等级。

图19A到19D是曲线图，该图表示在将图18中的8位缩减图像存储在图6所示的电视机60的存储单元61中时，由电视机60处理的图像。

在图19A到19D中，示出了从左边开始的第一个像素到第400个像素的像素值。

图19A是曲线图，该图示出了通过在信号处理单元62(图6)中将图18中的8位缩减图像扩张到两倍的尺寸而得到的原始尺寸图像的尺寸。

如上所述，在信号处理单元62(图14)中，进行了作为扩张处理的信号处理，以便插补零值并由LPF92进行滤波。将具有与LPF92的频率特性相反的特性的噪声(量化误差)添加到图18中的8位缩减图像中(将Δ∑调制应用到8位缩减图像上，以便进行与LPF92的频率特性相反的频率特性的噪声整形)。

因此，如果将由信号处理单元62进行的、作为扩张处理的信号处理应用到图18中8位缩减图像上，就会减弱(均化)应用到缩减图像上的噪声。结果，通过由信号处理单元62作为扩张处理进行的信号处理而得到原始尺寸图像就是通过恢复16位图像(菜单屏面的原始图像)而得到的图像，在此，所述的16位图像是凭借视觉的空间整体效应而模拟实现的。

图19B是曲线图，该图示出了组合图像，该组合图像是通过将系数α设为0.5并在混合单元64(图6)中将通过将图19A中的原始尺寸图像与系数α相乘而得到的图像(α倍图像)与图10B中的1-α倍图像相加而得到的，。

与图11中的组合图像相比，可以看出图19B中的组合图像是具有高等级的图像。

图19C是曲线图，该图示出了理想的组合图像，它是通过将系数α设为0.5并对用系数α乘以作为菜单屏面的原始图像的16位图像而得到的图像(α倍图像)与图10B中的1-α倍图像进行α混合得到的。

图19B中所示的组合图像是这样的图像，与图11中的组合图像的等级相比，它的等级更接近于(更相似于)图19C中的理想的组合图像的等级。

图19D是曲线图，该图示出了等级转换后图像，该图像是在等级转换单元63(图6)中，借助抖动处理，将图19B中的组合图像等级转换为8位而得到的图像。

在图19D中所示的等级转换后图像中，就像对像素值进行了PWM(脉冲宽度调制)一样，像素值发生了变化。由于视觉的空间整体效应，看起来就像是像素值以平稳变化的方式发生变化那样。

具体地说，该组合图像，如图19B所示，作为在等级转换单元63(图6)中经过抖动处理的等级转换目标，是接近于图19C中的理想的组合图像的图像，并且其等级接近于理想的组合图像的等级。

在通过这样的组合图像的抖动处理而得到的等级转换后图像中，(由于视觉的空间整体效应)模拟地实现了与等级转换前的组合图像的等级相同的等级。

具体地说，在图19D中的等级转换后图像中，就菜单屏面的图像而言，模拟地实现了与作为菜单屏面的原始图像的16位图像的等级基本相同的等级。

因此，在电视机60(图6)中，在将扩张处理作为预定的信号处理应用到菜单屏面的图像上时，能够改进通过作为预定信号处理的扩张处理而得到的图像的等级。

该组合图像，作为在等级转换单元63(图6)中通过抖动处理的等级转换目标，如图19B所示，其等级接近于图19C中的理想的组合图像的等级。因此，与通过等级转换其中的像素值逐步变化的组合图像(如图11所示)而得到的图像相比较，在通过等级转换该组合图像而得到的图像中，能够防止频带效应的出现。

如上所述，将Δ∑调制应用到通过缩减菜单屏面的原始图像而得的16位缩减图像上，以便将16位缩减图像等级转换为作为调制图像的8位缩减图像，并将此8位缩减图像存储在电视机60中，在此，经过Δ∑调制的噪声整形的频率特性时与由电视机60(图6)的信号处理单元62进行的信号处理的频率特性相反的特性。这就允许电视机60显示菜单屏面图像而不用提供特别的硬件或软件，在此，该菜单屏面图像具有与菜单屏面原始图像的等级相近的高等级。

除了如像菜单屏面图像(原始图像)这样的作为UI(用户界面)的图像之外，图像处理设备80(图13)还能够将现实世界的摄影图像和类似图像设置为处理目标。

图像处理设备80既能够将静止图像也能够将活动图像设置为处理目标。

除了线性插补外，还可利用最靠近的相邻插补、立方插补和类似的插补技术，由电视机60(图6)的信号处理单元62来进行作为信号处理的扩张处理。

就信号处理单元62的扩张处理而言，能够采用除了数值2以外的扩张比来进行图像的扩张处理。

由信号处理单元62的信号处理不只限于扩张处理。

[根据本发明的具体实施例的计算机的配置实例]

能够用硬件和软件来进行上述的系列处理。在用软件来进行系列处理时，将构成软件的计算机程序安装在通用计算机或类似设备中。

图20是根据本发明的具体实施例的计算机的配置实例，其中，安装了用于执行系列处理的计算机程序。

可将计算机程序预先记录在组装于计算机内的、作为记录介质的硬盘105和ROM(只读存储器)103中。

另外，可将计算机程序暂时地或永久地存储(记录)在可拆卸的记录介质111上，例如，软盘、CD-ROM(只读光盘)、MO(磁光)盘、DVD(数字通用光盘)、磁盘或半导体存储器上。还可将这样的可拆卸的记录介质111作为所谓的包软件(package software)来提供。

除了可将上述的可拆卸的记录介质安装在计算机中而外，还可以用无线电并通过数字卫星广播用的人造卫星将计算机程序从下载地点传送到计算机上，或者用导线并通过网络(这如像LAN(局域网)或互联网)传送到计算机上。计算机能够接收按上述方式在通信单元108中传送的计算机程序，并将计算机程序安装在组装在计算机中的硬盘105上。

该计算机包含CPU(中央处理器)102。输入和输出接口110通过总线101连接到CPU102上。例如，在用户操作包括键盘、鼠标和麦克风在内的输入单元以便通过输入和输出接口110输入指令时，CPU102就根据指令来执行存储在ROM(只读光盘)103中的计算机程序。CPU102装载要存储在硬盘105上的计算机程序，该计算机程序可通过卫星或网络传送，并由通信单元108接收，然后安装在硬盘105上，或者从安插在驱动器109中的、可拆卸的记录介质111上读取计算机程序，并将其安装在硬盘105或RAM(随机存取存储器)中，并由CPU102来执行此计算机程序。因此，CPU102可根据上述的流程图来进行处理，或者进行由上述方块图中所示的部件执行的处理。例如，CPU102输出来自输出单元106(包含LCD(液晶显示器)或扬声器)的处理结果，或者通过输入和输出接口110从通信单元108上发送处理结果，或者根据必要性让硬盘105记录处理结果。

在此说明书中，并非总是必须根据流程图所述的顺序并按照时间序列来进行上述的处理步骤，这些处理步骤只是说明了让计算机执行各种各样处理的计算机程序，它们包括并行执行的或单个执行的处理程序(即并行处理或由目标程序(object)执行的处理)。

可以由一个计算机来执行计算机程序，也可以由多个计算机来对计算机程序进行分布式处理。此外，还可将计算机程序传送到远程计算机上并加以执行。

本发明的实施例并非仅限于上述的实施例。只要不偏离本发明的精神，就可以对实施例进行各种修改。

本申请书包含与在日本优先权专利申请书JP2008-272890中所揭示的内容相关的主题内容，该日本优先权专利申请书是在2008年10月23日在日本专利局中存档的，在此将其全部内容归并于此，以供参照。

Claims (6)

1.一种图像处理设备，包括：

Δ∑调制装置，用于在将预定的信号处理应用到通过在信号处理单元中将Δ∑调应用到图像上而得到的调制图像上时，对图像施加Δ∑调制，其中

通过Δ∑调制的噪声整形的频率特性是一种与预定的信号处理的频率特性相反的特性。

2.根据权利要求1所述的图像处理设备，其中，当信号处理单元插补零值并由LPF(低通滤波器)进行滤波，由此应用作为预定信号处理的扩张处理，以便按照预定的扩张比来扩张图像时，经过Δ∑调制的噪声整形的频率特性是与LPF的频率特性相反的特性。

3.根据权利要求2所述的图像处理设备，还包括：缩减装置，用于按照与扩张比相应的缩减比来缩减原始图像并输出该缩减图像，其中，

Δ∑调制装置对所述缩减图像应用Δ∑调制。

4.一种图像处理方法，包括如下步骤：

在将预定的信号处理应用到通过在信号处理单元中将Δ∑调制应用到图像上而得到的调制图像上时，对图像应用Δ∑调制，其中

经过Δ∑调制的噪声整形的频率特性是与预定的信号处理的频率特性相反的特性。

5.一种计算机程序，用于使计算机起到Δ∑调制装置的作用，以便在将预定的信号处理应用到通过在信号处理单元中将Δ∑调制应用到图像上而得到的调制图像上时，对该图像应用Δ∑调制，其中，

经过Δ∑调制的噪声整形的频率特性是与预定的信号处理的频率特性相反的特性。

6.一种图像处理设备，包括：

Δ∑调制单元，配置成在将预定的信号处理应用到通过在信号处理单元中将Δ∑调制应用到图像上而得到的调制图像上时，对该图像应用Δ∑调制，其中，

经过Δ∑调制的噪声整形的频率特性是与预定的信号处理的频率特性相反的特性。

Images