CN1320324A

CN1320324A - 数字图像轮廓增强方法和装置

Info

Publication number: CN1320324A
Application number: CN99811524A
Authority: CN
Inventors: 高唯纯(音译); 楚德仁(音译); 王仁育(音译)
Original assignee: Divio Inc
Current assignee: Divio Inc
Priority date: 1998-09-01
Filing date: 1999-09-01
Publication date: 2001-10-31
Also published as: JP2002524929A; EP1110380A1; WO2000013406A8; WO2000013406A9; US6774943B1; EP1110380A4; WO2000013406A1

Abstract

被当做原始数字图像数据提供给输入终端的数字图像进行轮廓增强处理并且把经过处理的图像数据提供给输出终端的装置(50)。系统还具有分别彼此相连的一个插值电路(54),一个补偿处理电路(52),一个颜色处理电路(56),一个轮廓增强电路(58),一个查找表(60)和一个转换电路(62)。这些电路被用来定义对象的轮廓并且正确定位对象轮廓,从而在增加轮廓时避免失真(artifact)。

Description

数字图像轮廓增强方法和装置

本申请对1998年9月1日申请的临时专利申请60/098,751号提出优先权要求，这里引用了上述临时专利申请以作参考。

本发明涉及数字图像轮廓增强方法和装置。具体地，本发明提供一种通过提高轮廓清晰度改进图像的图像处理技术。

数字图像捕捉和处理是一种重要的技术，因为它通过计算机网络提供了很容易的图像共享。为了提供高质量图像，图像内部的对象的轮廓应当是清晰的。数字捕捉设备(例如照相机)中一直存在的一个问题源于被用来捕捉图像的电荷耦合设备(CCD)。有时CCD不能正常工作或者会提供错误数据。有时这种错误被认为是遗漏像素。在这种情况下，常规捕捉设备向显示设备提供错误的图像数据并且还原出畸变的图像。因此，期望有克服遗漏像素问题的技术。

并且，轮廓增强是数字和个人计算机(PC)照相机中非常期望的功能。然而，从数字照相机重构的图像的质量通常低于普通照相机的质量。这至少是部分由于照相机中使用的CCD的低分辨率和低质量。因此，轮廓增强提高了输出图像的清晰度并且为用户提供了更好的观看效果。

成功的轮廓增强技术有两个关键因素。一个是正确定位轮廓，另一个是当增强轮廓时避免失真。本发明提供了一个有效执行上述两个步骤的操作并且克服常规数字照相机具有的缺陷的技术。

本发明克服了所指出的缺陷并且提供一个得到改进的图像轮廓增强技术。本发明的一个示例性实施例是一个装置，该装置对被当做原始数字图像数据提供给一个输入终端的数字图像进行轮廓增强处理并且把经过处理的图像数据提供给一个输出终端。一个补偿处理电路被连接到输入终端并且被用来接收原始数据和产生补偿数据。一个插值电路被连接到补偿处理电路并且被用来接收补偿数据和提供插值数据。一个颜色处理电路被连接到插值电路并且被用来处理插值数据以产生颜色数据。一个轮廓增强电路被连接到插值电路和颜色处理电路并且被用来根据插值数据和颜色数据增强图像轮廓以产生增强数据。一个查找表被连接到颜色处理电路和轮廓增强电路并且被用来查找颜色数据和增强数据以产生查找数据。一个转换电路被连接到查找表电路并且被用来转换查找数据以产生被提供到输出终端的处理图像数据。在本发明的一个方面，用RGB数据执行处理，并且在本发明的另一方面，使用YUV数据执行处理。

在本发明的另一个实施例中，轮廓增强电路包括一个轮廓提取电路，一个截止电平(cut-offlevel)调整电路和一个轮廓增益定标电路。这些电路被用来定义图像中对象的轮廓并且增强其各自的轮廓。

在本发明的另一个实施例中，图像捕捉设备包含一个在渐变RGB类型CCD中实现遗漏像素插值的电路。这种实现的目的是(a)重构全分辨率RGB颜色图像，(b)补偿因交错线条中的相邻红/蓝颜色滤镜涂层在绿像素中产生的某些CCD暗-亮-暗-亮图案，(c)吸收从背景到前景的下降采样(否则，在插值之后需要使用附加线条存储器进行垂直下降采样)和(d)为每个像素提供一个3×3像素块以便以后进行轮廓增强。

本发明的优点包含正确定位对象轮廓和在增强轮廓时避免失真。因此，本发明通过常规轮廓处理器提供了一个得到改进的图像轮廓增强技术。

通过阅读下列详细描述并且参照附图会理解本发明的其它优点，其中：

图1是示出基于本发明一个实施例的一个图像捕捉设备和一个图像处理器的模块图；

图2描述了实现基于本发明一个实施例的遗漏像素插值的体系结构；

图3A-D示出了基于本发明一个实施例的各种下降采样技术；

图4是一个示出用于基于本发明一个实施例的轮廓增强处理的图像处理器的模块图；

图5描述了一个原始CCD数据图案；

图6描述了根据本发明一个实施例增强图像中的轮廓的步骤；

图7描述了一个轮廓检测和增强过程；

图8描述了一个用于轮廓检测的3×3块；

图9描述了针对3×3矩阵的加权系数，上述矩阵被用来在四个不同方向上检测一个轮廓边界；

图10描述了基于本发明一个方面的截止电平和增益控制；

图11描述了一个背景亮度为60并且前景亮度为50的图像；

图12描述了一个背景亮度为110并且前景亮度为100的图像；并且

图13描述了一个非均衡轮廓增益比率的例子。

参照具体结构描述示例性实施例。本领域的技术人员会理解，可以进行各种改变和修改并且不超出权利要求的范围。例如，虽然针对特定硬件实现描述了本发明，但也可以用软件实现本发明。

图1是示出一个图像捕捉设备10和一个图像处理器50的模块图。图像捕捉设备可以是一个照相机，其中包含一个聚集图像的透镜和一些检测通过透镜进入的光线的电荷耦合设备(CCD)。CCD产生原始图像数据。原始数据需要被处理以便还原出最终的高质量图像。CCD产生模拟数据，而通过一个模数转换器(ADC)把模拟数据转换成10位原始图像数据。

然而，在某些情况下一个遗漏像素可以导致图像的表示出现问题，该问题会导致对图像的错误处理。本发明涉及渐变RGB类型CCD中的遗漏像素插值的实现。这种实现的目的是(a)重构全分辨率RGB颜色图像，(b)补偿因交错线条中的相邻红/蓝颜色滤镜涂层在绿像素中产生的某些CCD暗-亮-暗-亮图案，(c)吸收从背景到前端的下降采样(否则，在插值之后需要使用附加线条存储器进行垂直下降采样)和(d)为每个像素提供一个3×3像素块以便以后进行轮廓增强。这种实现支持尺寸高达640×480像素的渐变类型CCD。

图2描述了实现基于本发明一个实施例的遗漏像素插值的体系结构。图例中的各个正方形是一个单时钟周期存储单元。箭头指示数据流。通过单端口FIFO实现线条存储器(LM)以节省芯片面积。在不同的时钟阶段调度读写操作以便不会发生读/写冲突。此外，如下所述，由于LM4只记录一种类型的像素(例如绿像素)，LM4只有LM1到LM3一半的尺寸。

以下提供一个伪码算法以作为基于本发明的处理技术的一个例子。对于红/蓝重构，当其包含有关的颜色时使用像素自身。否则从相邻8个像素中选择正确颜色的像素并且求出均值以便导出颜色。这种方案平滑水平和垂直方向上的色彩间断，因而减少了这种间断产生的伪彩色效应。

对于绿色重构，甚至在有关像素已经包含绿色的情况下也要求出均值。对于某些CCD，由于红线条和蓝线条中的红和蓝色滤波涂层对相邻绿像素具有不同的影响，绿色非均匀分布在红和蓝线条上。这样就降低了图像质量并且导致在轮廓增强之后进一步被放大的不期望轮廓。平均值技术被用来消除这种影响。

由于只有G被用于轮廓增强，所以通过增加表示前一线条和后一线条中的绿像素的g_和g+来实现3×3像素块。如算法所示，当重构绿色时只使用R4。在LM4只需要存储绿像素并且这就是LM4的尺寸只有其他线条存储器部件的一半的原因。

/^*伪码算法^*/

/^*重构R^*/

如果(R2在一个红线条中){

如果(R2是红色)r₊₁=R2

否则r₊₁=(R2_-1+R2₊₁)/2； ∥R2是绿色

}

否则{ ∥R2在一个蓝线条中

如果(R2是蓝色)r₊₁=(R1_-1+R1₊₁+R3_-1+R3₊₁)/4；

否则r₊₁=(R1+R2_-1+R2₊₁+R3)/4； ∥R2是绿色

}

/^*重构B^*/

如果(R2在一个蓝线条中){

如果(R2是蓝色)b₊₁=R2

否则b₊₁=(R2_-1+R2₊₁)/2； ∥R2是绿色

}

否则{ ∥R2在一个红线条中

如果(R2是红色)b₊₁=(R1_-1+R1₊₁+R3_-1+R3₊₁)/4；

否则b₊₁=(R1+R2_-1+R2₊₁+R3)/4； ∥R2是绿色

}

/^*重构G^*/

如果(R2是绿色){

g_₊₁=(R2+R3₊₁+R3_-1+R4)/4； ∥R3不是绿色

g₊₁=(R1_-1+R1₊₁+4^*R2+R3_-1+R3₊₁)/8；

g+₊₁=(R0+R1₊₁+R1_-1+R2)/4； ∥R3不是绿色

}

否则{ ∥R2不是绿色

g_₊₁=(R2_-1+R2₊₁+4^*R3+R4_-1+R4₊₁)/8；∥R3是绿色

g₊₁=(R2+R3₊₁+R3_-1+R4)/4；

g+₊₁=(R0_-1+R0₊₁+4^*R₁+R2_-1+R2₊₁)/8；∥R1是绿色

}

/^*结束^*/

另一个重要主题是下降采样。这种实现支持5种不同的图像尺寸：640×480,352×288,320×240,176×144和160×120。尺寸640×480几乎是CCD的全尺寸(只有一个小边界被从CCD的659×694像素输出中裁剪掉)。不需要下降采样。然而，可以使用不同下降采样比率获得其它尺寸。

图3A示出了X和Y方向上的352×288-5到3下降采样和X方向上的裁剪(384到352)。图3B示出了X和Y方向上的320×240-2到1下降采样。图3C示出了X和Y方向上的176×144-10到3下降采样和X方向上的裁剪(192到176)。图3D示出了X和Y方向上的160×120-4到2下降采样。

取代在存储器中分别存储重构的RGB以便在图像处理输出结束端执行垂直下降采样，这种实现通过在刚开始时只增加控制信号来进行下降采样，从而节省总的存储器费用。

图4是一个示出用于基于本发明一个实施例的轮廓增强处理的图像处理器50的模块图。图像捕捉设备(例如照相机)由检测进入透镜的光线的电荷耦合设备(CCD)构成。CCD产生原始图像数据。原始数据需要被处理以便还原出最终的高质量图像。CCD产生模拟数据，而通过一个模数转换器(ADC)把模拟数据转换成10位原始图像数据。图像处理器从ADC的输出接收10位原始图像数据并且执行各种图像处理任务。图像处理器的输出符合标准4:2:2 YCrCb格式。图像处理器完全可编程并且包括六个主要功能部件。一个补偿处理电路52被连接到输入终端并且被用来接收10位原始数据和产生补偿数据。一个插值电路54被连接到补偿处理电路并且被用来接收补偿数据和提供插值数据。一个颜色处理电路56被连接到插值电路并且被用来处理插值数据以产生颜色数据。一个轮廓增强电路58被连接到插值电路和颜色处理电路并且被用来根据插值数据和颜色数据增强图像轮廓以产生增强数据。一个查找表60被连接到颜色处理电路和轮廓增强电路并且被用来查找颜色数据和增强数据以产生查找数据。一个转换电路62被连接到查找表电路并且被用来转换查找数据以产生被提供到输出终端的处理图像数据。在本发明的一个方面，用RGB数据执行处理，并且在本发明的另一方面，使用YUV数据执行处理。

当数据首先被从CCD传感器馈送到图像处理器50时，各个输入像素只有一个颜色分量。如图5所示对R,G和B分量进行交错。首先由黑色补偿钳位电路52对输入的原始数据进行处理。接着在颜色插值电路54中根据与遗漏颜色最接近相邻像素值导出遗漏颜色分量。在颜色重构之后，各个像素拥有其自身的R,G和B数值。接着像素发送到颜色处理电路56对其各自的红，蓝或绿色值进行增益调整以便完成白色均衡，CCD光谱补偿及其他处理。

可以在RGB域或YUV域执行轮廓增强。如图像处理器轮廓增强电路58中所示，在这个系统中在原始数据被重构到RGB域之后进行轮廓处理。在插值电路54中有保存3个像素线条以备轮廓增强的线缓冲区。获得一个3×3绿像素矩阵和中央像素的亮度值并且传递到增强电路58以便进行轮廓增强。之后，各个像素的R,G,B和亮度值被发送到查找表60并且接着被发送到执行转换的RGB-YUV色空间转换电路62。

轮廓增强过程包含如图6所示的若干步骤。第一个步骤是识别目标图像中一个对象的边界上的像素的亮度变化。亮度数值变化导致轮廓显现。这个步骤被称作轮廓检测。第二个步骤是判定一个轮廓数值有效范围，并将对其施加进一步的轮廓增益。在本说明书中，术语有效轮廓值被用来定义这些会施加增益的轮廓。有效轮廓值与一个由用户分配的增益系数相乘，其结果是一个轮廓增益数值。最终，轮廓增益值被加到初始亮度上以产生最终的轮廓增强像素。

图7图解了轮廓增强过程中的计算步骤。初始图像被简化成一个一维线条。首先使用矩阵运算检测(即轮廓提取)该线条中的低到高跃迁以便进行如下所述的水平方向轮廓提取。接着，根据一个用户指定的增益系数对轮廓进行定标。最终，通过把定标轮廓加到初始像素上从而计算出最终轮廓增强数值。

实现轮廓增强算法最优效果的第一关键因素是正确识别图画中的轮廓。通过在以如图8所示的A为中心的3×3像素块上执行专门的滤光来完成在图像中任何像素A上的轮廓提取。通过使用如图9所示的加权系数可以检测在水平，垂直或对角方向上与A相邻的像素的数值改变。图9图解了针对3×3矩阵的加权系数，上述矩阵被用来在4个不同方向上检测轮廓边界。从左到右分别为：垂直，水平，左上到右下和右上到左下对角方向。4个矩阵运算的最大绝对结果值是像素A的轮廓数值。通过这些矩阵运算得到的轮廓是向量。如图7所示，初始图像中的一个低到高跃迁产生一个等值负轮廓和一个等值正轮廓。

各个像素具有一个亮度值和一个色度值。最好使用亮度值进行前面章节描述的轮廓提取运算。然而，执行基于真实亮度数据的轮廓处理需要可用于3×3矩阵中所有9个像素的完整R,G,B数值。这需要在颜色插值电路14中有额外的线缓冲区。由于硬件的限制，本发明在轮廓检测中用绿色值代替3×3矩阵的亮度。

然而，当最终轮廓增强数值即将被加回到初始像素时，本发明使用初始像素的亮度值。与使用初始像素的绿色值进行轮廓处理相比，增强亮度在最终输出上表现出比增强绿色值要好得多的效果。

模拟噪声在从CCD传感器读取数据时产生一个微小的变化。结果，重构像素继承了噪声并且有时在图像中显示出不期望的虚线图案。这种噪声，如果被轮廓检测电路定位，则不应该被增强。因此，一个截止阈值被用于某电平以下的轮廓以防止这种噪声的可能增强。

反之，当在景像上的相邻像素(例如，一个站立在光幕前端的人的头发线条周围的黑白边界)中存在较大的亮度值突变时，对增强这种轮廓的尝试通常会在最终图像中产生讨厌的失真。在这种情况下，在增强处理中应当保留超出某个高阈值的轮廓。

为达到标定的目的，通过前面步骤提取的轮廓被发送到一个范围检查电路。图10中示出了一个高截止数值和一个低截止数值。轮廓在绝对数值小于低截止数值或大于高截止数值的地方消失。剩余有效轮廓与一个可编程增益系数相乘。在下面段落对增益系数进行进一步的讨论和调整。

在进行截止范围检查之后，一个用户指定的增益系数被用于各个有效轮廓。在相乘之前对这个增益数值的调整有助于避免失真和改进最终图像质量。关于调整的详细内容如下所述。

首先，考虑基于相邻像素中亮度等级的增益调整。考虑如图11所示的一个较暗景像和图12中的一个较亮景像，相同数量的亮度等级变化表现出惊人不同的视觉效果。图11中的对象比位于图12中较亮背景前景中的对象更加清晰。

这种差异背后的原因是人类视觉的非线性性质。人眼在暗环境中比在亮环境中更加敏感。换句话说，当从灰色区域观察时，相同数量的亮度等级变化比从亮背景中观察更加引人注目。

这种观察有助于本发明改进轮廓增强算法。这意味着应当在相邻像素亮度较高时增加用户指定的轮廓增益系数并且在相邻背景较暗时减少上述系数。根据这种观察，使用下列公式从初始轮廓增益系数G导出一个改进轮廓增益系数G′以便调整基于相邻像素的轮廓数值：

(1)G′=G^*B，其中G是用户指定增益系数，G′是调整后的增益系数，B是调整相邻像素中的亮度的系数，和

(2)B=logA，其中A是一个3×3块中相邻像素的平均亮度值。

最终，期望补偿一个非均衡轮廓增益比率。轮廓增强的最后步骤是如图7的下部所示把轮廓增益值加到初始亮度值上，如上所述，轮廓是一个向量。存在与各个数值跃迁相关的一个正轮廓和一个负轮廓。根据前面章节中有关人类视觉系统非线性性质的观察，现在描述被用于正轮廓和负轮廓的不同增益比率为何和如何可以减少失真。

参照图13，初始图像(部分A)示出一个在点M上从较暗景像(小亮度值)到较亮景像(大亮度值)的跃迁E5。在轮廓被提取并且被相应定标之后，如部分B所示，轮廓增益被加到初始图像上。轮廓增强运算产生一个负数值变化E2和一个正数值变化E3。注意当通过矩阵运算进行计算时，E2等于E3。点M上的亮度值变化数量增加了E2+E3，因而实现了轮廓增强。

在部分B中，E1和E2是从初始图像较暗一侧观察到的数值变化，而E3和E4是从初始图像较亮一侧观察到的数值变化。如上所述，人眼对暗背景中的变化比亮背景中的变化更加敏感。因此会更加注意E1和E2。注意，尤其当在初始图像中亮度等级有较大变化(即E5)时，E1通常会导致失真。为了使这种失真最小化，对表示正轮廓增益的E3进行1/N的比率调整，同时负轮廓增益E2的值保持不变。图13中的部分C和部分D提供了N=2和N=4的比率调整结果。与部分B相比，E2是相同的，但E1变小从而减少了失真。

如上所述，解释了一个包含下列5个步骤的有效轮廓增强系统：轮廓提取，亮度源选择，有效轮廓范围检查，相邻像素亮度调整和轮廓增益比率调整。本发明的轮廓增强机制有两个关键因素。一个是正确定位轮廓，另一个是当增强轮廓时避免失真。第一步是解决轮廓提取问题，而步骤3至步骤5则侧重于减少失真。

前面已经公开了示例性实施例和最优模式，在不偏离下列权利要求定义的本发明的范围的前提下可以对所公开的实施例进行修改和改变。

Claims

1．对被当做原始数字图像数据提供给输入终端的数字图像进行轮廓增强处理并且把经过处理的图像数据提供给输出终端的装置，该装置包括：

一个被连接到输入终端并且被用来接收原始数据和产生补偿数据的补偿处理电路；

一个被连接到补偿处理电路并且被用来接收数据数据和提供插值数据的插值电路；

一个被连接到插值电路并且被用来处理插值数据以产生颜色数据的颜色处理电路。

一个被连接到插值电路和颜色处理电路并且被用来根据插值数据和颜色数据增强图像轮廓以产生增强数据的轮廓增强电路；

一个被连接到颜色处理电路和轮廓增强电路并且被用来查找颜色数据和增强数据以产生查找数据的查找表；

一个被连接到查找表电路并且被用来转换查找数据以产生被提供到输出终端的处理图像数据的转换电路。

2．如权利要求1所述的轮廓增强装置，其中：

轮廓增强电路包含一个轮廓提取电路，一个截止电平调整电路和一个轮廓增益定标电路。

3．数字照相机中的轮廓增强装置，其中包含识别目标图像中对象边界上的像素的亮度变化以检测对象轮廓的装置，识别需要增益的有效轮廓值范围的装置，把有效轮廓量值与一个增益系数相乘以提供一个轮廓增益值的装置，和把轮廓增益值加到初始亮度上以产生一个轮廓增强像素的装置。

4．如权利要求3所述的装置，其中包含在轮廓增强之前重构一个彩色图像以提供遗漏像素的装置。

5．数字照相机中的轮廓增强方法，其中包含识别目标图像中对象边界上的像素的亮度变化以检测对象轮廓，识别需要增益的有效轮廓值范围，把有效轮廓量值与一个增益系数相乘以提供一个轮廓增益值，和把轮廓增益值加到初始亮度上以产生一个轮廓增强像素。

6．图像捕捉设备中一个补偿遗漏像素的装置，其中包括：

一个插值器电路，该电路被用来比较相邻像素的亮度值以确定一个适当的遗漏像素亮度值并且为遗漏像素分配适当的亮度值。

7．如权利要求6所述的装置，其中：

插值器电路包含一个补偿电路，补偿电路被用来补偿至少某些因交错线条中的相邻红/蓝颜色滤镜涂层在绿像素中产生的CCD暗-亮-暗-亮图案。

8．如权利要求7所述的装置，其中：

插值器电路包含一个采样电路，采样电路被用来吸收从背景到前景的下降采样并且为各个像素提供一个用于轮廓增强的3×3像素块。

9．如权利要求8所述的装置，其中还包括一个在数字照相机图像中进行轮廓增强的图像处理器，该处理器包含识别目标图像中对象边界上的像素的亮度变化以检测对象轮廓的装置，识别需要增益的有效轮廓值范围的装置，把有效轮廓量值与一个增益系数相乘以提供一个轮廓增益值的装置，和把轮廓增益值加到初始亮度上以产生一个轮廓增强像素的装置。

10．图像捕捉设备中一个补偿遗漏像素的方法，其中包括的步骤有：

比较相邻像素的亮度值以便为遗漏像素确定一个适当的亮度值；和

为遗漏像素分配适当的亮度值。

11．如权利要求10所述的方法，其中还包括的步骤有：

补偿至少某些因交错线条中的相邻红/蓝颜色滤镜涂层在绿像素中产生的CCD暗-亮-暗-亮图案。

12．如权利要求11所述的方法，其中还包括的步骤有：

吸收从背景到前景的下降采样并且为各个像素提供一个用于轮廓增强的3×3像素块。

13．如权利要求12所述的方法，其中还包含一个对数字照相机图像中的一个图像进行轮廓增强的方法，该方法包含识别目标图像中对象边界上的像素的亮度变化以检测对象轮廓，识别需要增益的有效轮廓值范围，把有效轮廓量值与一个增益系数相乘以提供一个轮廓增益值，和把轮廓增益值加到初始亮度上以产生一个轮廓增强像素。