CN100410979C

CN100410979C - 图像处理方法和装置

Info

Publication number: CN100410979C
Application number: CNB2004100950015A
Authority: CN
Inventors: 星伸宏
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-11-18
Filing date: 2004-11-18
Publication date: 2008-08-13
Anticipated expiration: 2024-11-18
Also published as: CN1624736A; JP3958278B2; US20050105114A1; JP2005151305A; US7791759B2

Abstract

一种图像处理方法，包括下列步骤：检测输入图像数据的动态范围；执行边缘增强处理以增加输入图像数据的灰度等级数；以及执行抖动处理以减少输入图像数据的每一个像素的灰度等级数。根据表示动态范围等级的参数和表示边缘增强处理等级的参数确定抖动处理中的伪灰度等级数。

Description

图像处理方法和装置

技术领域

本发明涉及一种图像处理方法和装置，更具体地说，涉及一种处理数字图像信号的方法。

背景技术

薄膜显示设备、液晶显示器(LCD)、等离子体显示器(PDP)、场致发射显示器(FED)引起了极大关注。

LCD、PDP、以及FED是固定像素矩阵驱动显示设备，能够由数字图像信号驱动。上述显示设备的灰度等级数由相应于每一个像素的视频信号的位数表示。

考虑采用显示图像的技术以便通过对图像信号执行信号处理实现完美的视觉效果。该技术包括用于增强图像的边缘部分和高频分量的边缘增强处理，从而显著增加图像的分辨率。

图8示出用于对图像信号执行边缘增强处理的边缘增强器800的结构。

从输入端子801输入的图像信号输出到高通滤波器803和加法器807。

高通滤波器803提取输入图像信号的高频分量并将获得的图像信号输出到乘法器805。

在控制器809的控制下，乘法器805将表示图像的高频分量增强等级的增强系数和高频分量相乘，并将获得的信号输出到加法器807。通过控制增强系数，可以调整图像的高频分量的增强等级。

作为从乘法器805输出的高频分量的位精度，通过高通滤波器803和乘法器805可以将从输入端子801输入的8位图像信号提高为12位图像信号。

然后，加法器807将初始的8位图像信号和从乘法器805输出的12位高频分量相加，并将获得的具有增强高频分量的12位图像信号输出到舍入单元811。

通过从控制器809输出具有负号的增强系数，可以使图像更加平滑，而不增强边缘。

为了将12位图像信号转换成8位图像信号，舍入单元811通过舍入操作将12位图像信号的低4位截去，并将所获得的8位图像信号输出到输出端子813。

在打印机中，使用抖动处理的半色调处理已经作为二进制化方法被采用。在打印机中，例如在日本专利申请公开第2000-134471号中所公开的，将图像例如分成字符部分和影像部分，并对这些部分使用不同的二进制化方法。

日本专利申请公开第2003-69830号中公开了一种用于执行分辨率转换和抖动处理的图像处理方法。

如果在通过执行边缘增强像素信号的位数增加之后，简单地通过舍入操作来缩减像素信号的位数，则根据图像的类型不同而很可能出现伪轮廓。

具体地说，作为自然图像，在具有窄动态范围的图像例如蓝天中，邻近像素的相关性很高，很容易出现视觉上能够注意到的伪轮廓。

为了防止伪轮廓的出现，可以总是用抖动处理来替代执行舍入操作。但是，在这种情况下，抖动处理对具有宽动态范围的图像或经历过边缘增强的图像不会产生明显的效果，这是因为不会很容易地出现由此类图像的邻近像素之间的低相关性而造成的伪轮廓。与此相反，抖动处理容易产生负面影响，例如能够察觉到的具有固定模式的噪声。

发明内容

因此，本发明的目的是提供一种图像处理方法和装置，其中能够显示高质量的图像并有效抑制伪轮廓的出现。

为了实现上述目的，根据本发明的一个方面，提供一种图像处理方法，包括下列步骤：检测输入图像数据的动态范围；执行边缘增强处理以增加输入图像数据的灰度等级数；执行抖动处理以减少边缘增强处理后的图像数据的每一个像素的灰度等级数；以及根据表示动态范围等级的参数和表示边缘增强处理等级的参数确定抖动处理中的伪灰度等级数。

根据本发明的另一个方面，提供一种图像处理方法，包括下列步骤：检测输入图像数据的动态范围；执行边缘增强处理以增加输入图像数据的灰度等级数；执行抖动处理以减少边缘增强处理后的图像数据的每一个像素的灰度等级数；以及根据表示动态范围等级的参数和表示边缘增强处理等级的参数确定抖动处理中的伪灰度等级数，以便当边缘增强处理等级相对较低时或者当图像数据的动态范围等级相对较窄时增加在抖动处理中的伪灰度等级数。

根据本发明的再一个方面，提供一种图像处理装置，包括：动态范围检测器，用于检测输入图像数据的动态范围；边缘增强器，用于执行边缘增强处理以增加输入图像数据的灰度等级数；以及抖动处理单元，用于执行抖动处理以减少边缘增强处理后的图像数据的每一个像素的灰度等级数；其中，根据表示动态范围等级的参数和表示边缘增强处理等级的参数确定抖动处理中的伪灰度等级数。

根据本发明，根据输入图像信号的动态范围等级以及边缘增强等级控制抖动处理中的伪灰度等级数。由此，能够执行信号处理，从而使得能够显示高质量的图像并有效抑制伪轮廓的出现。

更具体地说，当边缘增强等级相对较低时，将抖动处理中的伪灰度等级数确定为较大。当输入图像信号的动态范围等级相对较窄时，将抖动处理中的伪灰度等级数确定为较大。由此，能够显示高质量的图像并有效抑制伪轮廓的出现。

从下面结合附图对优选实施例的详细描述中，本发明的其它目的、特征和优点将变得更加清楚。

附图说明

图1示出使用根据本发明的实施方案的图像处理方法的图像处理装置的结构示例方框图。

图2示出抖动处理单元的结构方框图。

图3A至3E示出在抖动处理单元中使用阈值矩阵。

图4示出在根据本发明的实施方案的图像处理方法中使用的参数的相关性的表格。

图5示出使用根据本发明的另一实施方案的图像处理方法的图像处理装置的另一结构示例方框图。

图6示出在根据本发明的另一实施方案的图像处理方法中使用的参数的相关性的示例表格。

图7示出在根据本发明的另一实施方案的图像处理方法中使用的参数的相关性的另一示例表格。

图8是表示现有技术中的边缘增强器的示例方框图。

具体实施方式

下面将参照附图通过优选实施例详细描述本发明。

第一实施例

参照图1所示的图像处理装置，数字图像信号输入到输入端子1。在该实施例中，将输入数字像素信号量化为8位。

然后将输入到输入端子1的数字图像信号输出到延迟单元3和动态范围检测器9。

在延迟单元3中，延迟数字像素信号直到在动态范围检测器9中检测完图像信号的动态范围为止。

可以如下所述在动态范围检测器9中检测图像信号的动态范围。确定一帧输入图像信号中像素信号的最大值和最小值之间的差的绝对值。接着，在将所确定的绝对值与预定阈值比较之后，发现所述图像信号的动态范围是相对较窄还是相对较宽。

延迟后的数字图像信号输出到边缘增强器5。

边缘增强器5在控制器11的控制下增强图像的边缘部分并将所得到的图像输出到抖动处理单元7。在边缘增强器5中，为了保持通过边缘增强所增加的计算精度，将8位像素信号增加为12位像素信号。控制器11接收表示动态范围等级的参数和表示边缘增强等级的参数作为信号，并确定执行抖动处理中的伪灰度等级数。

图2示出图1所示的抖动处理单元7的结构。

从图1所示的边缘增强器5输出的12位像素信号输入到图2所示的相加器25。

另外，阈值矩阵23根据像素的位置将图3A至3E中的一个所表示的阈值矩阵输出到相加器25。这些阈值矩阵每一个都由存储器或寄存器形成并能够通过控制器11重写。

相加器25将12位像素图像和4位抖动矩阵的阈值相加，并将相加后的值输出到分割器27。

如果作为12位像素信号和4位阈值数据相加的结果，将最高位(MSB)进位到更高的数字，则在输出到分割器27之前可以通过执行削去处理将所得到的值转换为12位。

削去处理将超出预设最大值的像素信号的位长度用最大值替代。

分割器27分割所输入的12位像素信号以便将其缩减为8位的像素信号，并将所得到的信号输出到图1所示的输出端子13。

分割器27通过截取像素信号执行分割操作。例如，当从相加器25输出的像素信号为削减到12位的像素信号时，分割器27可以将该信号移位4位。

下面将讨论使用抖动矩阵的像素信号的舍入操作。

仅将矩阵的二进制数字数据的MSB设置为1。也就是说，如果矩阵是4位阈值矩阵，则将矩阵的所有栏设置为二进制数字数据的1000，即十进制的8，如图3D所示。相加器25将12位的像素信号和阈值矩阵23的阈值相加并将所得到的值输出给分割器27。然后，在分割器27中将低4位截去。

另外，以帧为单位检测输入到动态范围检测器9中的图像信号的动态范围，并将所检测的等级输出到控制器11。

控制器11控制边缘增强器5中的边缘增强等级，并根据从动态范围检测器9输出的动态范围等级和边缘增强器5中的边缘增强等级，控制抖动处理单元7中的抖动矩阵的阈值。

在图3A所示的阈值矩阵中，位长度为4位，并且能够表示伪方式中灰度等级数的位数是4位，或者说0至15(16级)。矩阵的大小为4×4。

在图3B所示的阈值矩阵中，尽管位长度为4位，但是最低位(LSB)是0并且能够表示伪方式中灰度等级数的位数是3位，即0、2、4、6、8、10、12和14(8级)。

在图3C所示的阈值矩阵中，尽管位长度为4位，但是最低两位是0并且能够表示伪方式中灰度等级数的位数是2位，即0、4、8和12(4级)。

图4示出根据动态范围等级和边缘增强等级控制抖动矩阵阈值时的相关性表格。边缘增强等级可以如上所述通过增加或减少乘法器中与高频分量相乘的系数来改变。

在图4中，当图像信号的动态范围为窄并且边缘增强以低等级进行时(模式1)，所得到的图像变为最平滑，并且如果在执行边缘增强后截取所得到信号的位，则最有可能出现伪轮廓。因此，在模式1中，将伪灰度位数设置为4，也就是说使用图3A中所示的抖动矩阵。

在这种情况下，显然可以表示的灰度等级数为总共12位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(4位))。

在图4中，当图像信号的动态范围为宽并且边缘增强以低等级进行时(模式2)，所得到的图像变为次最平滑，并且相对有可能出现伪轮廓。因此，在模式2中，将伪灰度位数设置为3，也就是说使用图3B中所示的抖动矩阵。

在这种情况下，显然可以表示的灰度等级数为总共11位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(3位))。

在图4中，当图像信号的动态范围为窄并且边缘增强以高等级进行时(模式3)，相对不可能出现伪轮廓。因此，在模式3中，将伪灰度位数设置为2，也就是说使用图3C中所示的抖动矩阵。

在这种情况下，显然可以表示的灰度等级数为总共10位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(2位))。

在图4中，当图像信号的动态范围为宽并且边缘增强以高等级进行时(模式4)，最不可能出现伪轮廓。并且即使出现伪轮廓，也不容易察觉到。因此，在模式4中，对图像信号进行舍入处理而不执行抖动处理。

在这种情况下，可以如下所述执行舍入操作。将抖动矩阵中所有的阈值固定为8，如图3D所示，并将所得到的阈值加到12位像素信号上，然后将所得到值的低4位截去。

在这种情况下，显然可以表示的灰度等级数总共为8位。

如果需要，该实施例的图像处理装置经由输出端子13通过数字处理电路或驱动电路连接到固定像素矩阵驱动的显示设备上，并将处理后的图像数据供应给显示设备显示。

第二实施例

数字图像信号输入到输入端子501。在该实施例中，将输入数字像素信号量化为8位。

然后将输入到输入端子501的数字像素信号输出到延迟单元503和动态范围检测器511。

在延迟单元503中，延迟数字图像信号直到在动态范围检测器511中检测完图像信号的动态范围为止。例如，为了检测一帧电视信号的动态范围，延迟单元503将电视信号延迟一帧。延迟后的数字图像信号输出到分辨率转换器505。

分辨率转换器505将输入信号的分辨率转换成显示设备的分辨率例如固定像素显示设备(未示出)的像素数。也就是说，通过减少(缩小)或增加(放大)输入图像信号的像素数，将输入信号的分辨率转换成显示设备的像素数或显示设备中的显示区域例如小窗口的像素数。在本说明书中，将缩小/放大比率统称为“分辨率转换(缩放)比率”。

如果例如显示设备的水平分辨率和垂直分辨率分别为1280像素和720像素，并且输入图像信号的水平像素的数量和垂直像素的数量分别为720和480，则水平分辨率和垂直分辨率的分别按16/9和3/2的比率增加。

尽管在本发明中使用的放大处理的类型不受限制，但是除了最邻近插值之外，优选采用例如诸如双线性插值的线性插值或诸如双三次插值的三维卷积插值的插值方法。

如果例如显示设备的水平分辨率和垂直分辨率分别为1280像素和720像素，并且输入图像信号的水平像素的数量和垂直像素的数量分别为1920和1080，则水平分辨率和垂直分辨率的分别按2/3和2/3的比率减小。在这种情况下，将8位图像扩展为10位。

作为在本发明中使用的缩小处理，可以简单地消除像素信号，或者在通过诸如线性插值或三维卷积插值的插值方法进行坐标变换之后，消除不必要坐标处的像素信号。

在控制器513的控制下，边缘增强器507增强图像的边缘部分并将所得到的图像输出到抖动处理单元509。在边缘增强器507中，为了保持边缘增强所提高的位计算精度，将10位输入像素信号增加为12位像素信号。

另外，动态范围检测器511检测一帧图像信号的动态范围并将该动态范围等级输出给控制器513。

控制器513设置在分辨率转换器505中使用的放大/缩小比率，并控制边缘增强器507中的边缘增强等级，以便根据从动态范围检测器511输入的动态范围等级、边缘增强器507中的边缘增强等级、以及分辨率转换器505中使用的放大或缩小比率，即缩放比率，控制抖动处理单元509中抖动矩阵的阈值。

作为抖动矩阵的阈值，可以使用与图3A至3E所示相同的矩阵。

尽管图3E所述的阈值矩阵的位数为4位，但是低3位是0，并且能够表示伪方式中灰度等级数的位数是1位，也就是说0和8(2级)。

图6示出在根据分辨率转换类型(即放大或缩小)、动态范围的等级、以及边缘增强的等级控制抖动矩阵的阈值时的相关性表格。

在图6所示的相关性表格中，分辨率转换的放大处理的优先级高于边缘增强等级，并且伪轮廓通过抖动处理来增加伪灰度等级数而防止。

在图6中，当图像信号的动态范围为窄、分辨率转换为放大处理、以及边缘增强以低等级执行时(模式11)，所得到的图像变为最平滑，并且最有可能出现伪轮廓。因此，在模式11中，将通过抖动处理表示的伪灰度位数设置为4，也就是说使用图3A所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为12位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(4位))。

在图6中，当图像信号的动态范围为宽、分辨率转换为放大处理、以及边缘增强以低等级执行时(模式12)，所得到的图像变为次最平滑。因此，在模式12中，将通过抖动处理表示的伪灰度位数设置为3，也就是说使用图3B所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为11位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(3位))。

在图6中，当图像信号的动态范围为窄、分辨率转换为缩小处理、以及边缘增强以低等级执行时(模式15)，如果图像的动态范围为中间等级，则容易出现伪轮廓。

因此，在模式15中，将通过抖动处理表示的伪灰度位数设置为2，也就是说使用图3C所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为10位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(2位))。

在图6中，当图像信号的动态范围为窄、分辨率转换为缩小处理、以及边缘增强以高等级执行时(模式17)，次容易出现伪轮廓。

因此，在模式17中，将通过抖动处理表示的伪灰度位数设置为1，也就是说使用图3E所示的抖动矩阵。

在这种情况下，可以显然表示的灰度等级数总共为9位(初始像素信号的灰度等级数(8位)和通过抖动处理的伪灰度等级数(1位))。

在图6中，当图像信号的动态范围为宽、分辨率转换为缩小处理、以及边缘增强以高等级执行时(模式18)，最不容易出现伪轮廓。因此，截取所得到的图像而不执行抖动处理。

在这种情况下，可以显然表示的灰度等级数总共为8位。

图7示出其中边缘增强等级的优先级高于分辨率转换的放大/缩小处理、并且伪轮廓通过抖动处理来增加伪灰度等级数而防止的相关性表格。

在图7中，模式21与图6中的模式11类似。类似地，模式22、模式27、以及模式28分别与图6中的模式12、模式17、以及模式18类似。

但是，在模式23中，通过抖动处理表示的伪灰度位数比图6中所示的模式15要大。类似地，在模式24中，通过抖动处理表示的伪灰度位数比图6中所示的模式16要大。在模式25中，通过抖动处理表示的伪灰度位数比图6中所示的模式13要小。在模式26中，通过抖动处理表示的伪灰度位数比图6中所示的模式14要小。

当分辨率转换的放大/缩小(缩放)比率大时优选采用图6中的处理模式，而当分辨率转换的放大/缩小(缩放)比率小时优选采用图7中的处理模式。

在图7中，当边缘增强以低等级执行、分辨率转换为缩小处理、以及图像信号的动态范围为宽时(模式24)，如果图像的动态范围为中间等级，则容易出现伪轮廓。

因此，在模式24中，将通过抖动处理表示的伪灰度位数设置为2，也就是说使用图3C所示的抖动矩阵。

如果需要，该实施例的图像处理装置经由输出端子515通过数字处理电路或驱动电路连接到固定像素矩阵驱动的显示设备上，并将处理后的图像数据供应给显示设备显示。

根据上述实施例，将经历过图像处理的具有真实灰度等级(没有伪灰度等级)的数字像素信号输入到固定像素矩阵驱动的显示器的调制驱动电路中。然后使该数字像素信号经历脉冲宽度调制、电压幅度调制或电流幅度调制、或者脉冲宽度调制和电压幅度调制(或电流幅度调制)的组合。之后将所得到的调制后的输出信号提供给相应的像素。根据调制的输出信号以真实的灰度等级展示像素亮度。但是，从整个一屏图像来看，由于将通过抖动处理的伪灰度等级数加到了真实灰度等级数上，所以能够根据真实灰度等级数和伪灰度等级数的总和来重放和显示图像。

本发明可以优选使用在固定像素矩阵驱动显示设备中，例如，具有由至少一个电子束元素和荧光材料构成的像素的电子束荧光显示器，诸如FED和表面传导显示器(SED)，自然光显示器，诸如PDP和场致发光显示器(ELD)，以及诸如LCD的显示器。

虽然参照目前认为的优选实施例描述了本发明，但是应该理解本发明不仅限于所公开的实施例。相反，本发明覆盖包括在所附权利要求的构思和范围内的各种修改和等价替换。应该将所附的权利要求解释为最宽的范围，以便涵盖所有的这些变型和等价结构及功能。

Claims

1. 一种图像处理方法，包括下列步骤：

检测输入图像数据的动态范围；

执行边缘增强处理以增加输入图像数据的灰度等级数；

执行抖动处理以减少边缘增强处理后的图像数据的每一个像素的灰度等级数；以及

根据表示动态范围等级的参数和表示边缘增强处理等级的参数确定抖动处理中的伪灰度等级数。

2. 根据权利要求1所述的图像处理方法，其中

抖动处理中的伪灰度等级数被确定，以便当边缘增强处理等级相对较低时或者当图像数据的动态范围等级相对较窄时增加在抖动处理中的伪灰度等级数。

3. 一种图像处理装置，包括：

动态范围检测器，用于检测输入图像数据的动态范围；

边缘增强器，用于执行边缘增强处理以增加输入图像数据的灰度等级数；以及

抖动处理单元，用于执行抖动处理以减少边缘增强处理后的图像数据的每一个像素的灰度等级数；

其中，根据表示动态范围等级的参数和表示边缘增强处理等级的参数确定抖动处理中的伪灰度等级数。

4. 根据权利要求3所述的图像处理装置，还包括固定像素矩阵驱动显示器，其中将经历抖动处理后的图像数据提供给固定像素矩阵驱动显示器并在其上显示。