CN1870048A - 贝尔影像的边缘强化方法与装置暨彩色影像撷取系统 - Google Patents

Abstract

一种贝尔影像的边缘强化方法与装置暨彩色影像撷取系统。该贝尔影像的边缘强化装置是将原始贝尔影像资料储存在缓冲器，并直接从该缓冲器读取原始贝尔影像资料后进行亮度特征值计算与边缘特性分析，再输出边缘特性资料，然后根据所分析的边缘特性资料来强化原始贝尔影像资料的边缘。由于本发明直接于贝尔影像上做边缘强化，可以简化后级处理的复杂度，易于与其后的影像处理机制结合，因此可减少贝尔影像转换成RGB影像或YUV影像后再进行边缘强化时的运算量与节省内存空间。并且，事先进行边缘强化的动作有助于后续插补时方向的判定与减少影像杂讯的优点。

Description

贝尔影像的边缘强化方法与装置暨彩色影像撷取系统

技术领域

本发明是有关于数字影像处理(digital signal processing)，尤指有关于一种贝尔(Bayer)影像的边缘加强(edge enhancement)的方法与装置。

背景技术

如果要呈现一个景物的真实色彩，一般需要使用三个影像传感器(imagesensor)各别去纪录每个图素(pixel)的三个颜色的值。但为了减少硬件大小及降低成本，大多数的影像撷取系统(image acquisition system)仅使用带有色彩过滤阵列(color filter array)的单颗影像传感器。因此每个像素上只有一种颜色会被撷取，所以这种影像撷取系统必须重建(reconstruct)每个像素所缺的其它颜色。图1A即为每个像素仅包含单一颜色数据的贝尔影像数据。

图1B为一公知影像撷取系统的硬件架构方块图。参考图1B，该影像撷取系统100的组成单元主要包含有一影像撷取单元101、一缓冲器(buffer)103、一插补(interpolation)单元104、一色彩校正单元(color correction unit)105、一迦玛校正单元(gamma correction unit)106、一RGB转YUV(Y代表亮度(luminance)值，UV代表色调(chrominance)值)单元107以及一边缘强化单元108。

该影像撷取系统100利用影像撷取单元101来撷取影像数据，并产生原始贝尔影像数据，且储存在缓冲器103中。插补单元104接收缓冲器103中的原始贝尔影像数据，并利用插补方法或其它方法产生每一像素的其它颜色值，并输出RGB影像数据。色彩校正单元105接收RGB影像数据后，对该RGB影像数据进行色彩校正。迦玛校正单元106对色彩校正单元105所输出的影像数据进行迦玛校正。而RGB转YUV单元107将每一像素包含RGB三种颜色值转换为对应的YUV三种颜色值，并输出YUV影像数据。

经由影像撷取单元101所撷取的影像，其清晰度(clarity)常常会因光感应组件(photosite)的感应度及光学组件解析力(resolution)不同而降低，所以一般皆需要在影像撷取系统100内利用一边缘强化单元108做影像边缘强化的处理，用以加强影像的清晰度。

如美国专利文献第6,192,162号提出一种彩色数字影像的强化边缘的方法。该方法以彩色RGB影像计算亮度值或直接使用绿色像素值，来计算相对应像素的各边缘方向的参数值。再以此数个参数值的大小来决定此区域为平坦(flat)区或含边缘的区域，并对非平坦区的边缘方向决定其强化的程度。若以绿色像素值来评估边缘，由于其相对于亮度值的代表性较低，所以易造成杂讯(noise)的放大。若采用亮度值来评估边缘，一般会先将各像素所缺乏的颜色还原，亦即经过插补处理后，使每一像素皆含有其相对应的RGB三种颜色值，再转换至亮度域(domain)做边缘的判断及强化处理。

另外，美国专利文献第6,774,943号揭示一种强化影像边缘的方法与装置，由各像素亮度值与相邻像素亮度值的差值，来决定相对应的边缘值，调整此边缘值作用于此像素与邻近各像素的亮度值，以达到边缘强化的目的。

然而，上述两种方法皆应用在已做完插补处理的影像数据上，所以计算亮度值与判断边缘皆会耗费大量的内存空间并造成时序上的延迟(delay)。

发明内容

本发明的目在于提供一种贝尔影像的边缘强化装置与方法，通过直接对原始贝尔影像数据进行边缘强化来节省内存使用空间。

为达成上述目的，本发明贝尔影像的边缘强化装置包含一缓冲器、一亮度特征值产生单元、一边缘分析单元以及一边缘强化单元。缓冲器接收原始贝尔影像数据并暂存该贝尔影像数据。亮度特征值产生单元从缓冲器接收原始贝尔影像数据后，产生每一像素的亮度特征值。边缘分析单元根据每一像素的亮度特征值与其周围多个像素的亮度特征值，分析并决定该像素是否存在边缘特性及其边缘方向。边缘强化单元则接收原始贝尔影像数据，并在该像素存在边缘特性时，根据其边缘方向来强化该像素的边缘方向上相对应的像素值输出边缘强化贝尔影像数据，且在该像素不存在边缘特性时直接输出原始贝尔影像数据。

本发明不同于传统在插捕后影像后实施边缘强化方法与装置，是直接针对贝尔影像作处理，可以简化后级处理的复杂度，不但易于与其后的其它影像处理机制结合，并可以节省相关的硬件需求，同时，实施边缘强化后的影像，杂讯也大幅降低。

附图说明

图1A说明贝尔影像的颜色排列方式。

图1B为一公知影像撷取系统的硬件架构方块图。

图2是本发明的贝尔影像的边缘强化方法流程图。

图3是本发明的贝尔影像的边缘强化装置的硬件架构方块图。

图4说明富士色彩过滤数组的颜色排列方式。

图5是本发明的影像撷取系统的硬件架构方块图。

具体实施方式

图2是本发明的贝尔影像的边缘强化方法流程图。参考图2，本发明的贝尔影像的边缘强化方法包含以下步骤：

步骤S210：产生亮度特征值。是从一缓冲器接收原始贝尔影像数据，并计算每一像素的亮度特征值。

步骤S220：分析边缘特性。根据每个像素及其周围多个像素的亮度特征值来分析该像素是否存在边缘特性及其边缘方向。

步骤S230：强化影像数据。从缓冲器接收原始贝尔影像数据，并在像素存在边缘特性时，根据其对应的边缘方向强化该像素的边缘方向上的像素值，并输出边缘强化贝尔影像数据。若像素不存在边缘特性时，则不对原始贝尔影像数据进行任何处理。

在步骤S210中，本发明是利用一矩阵滤波器作用于待处理像素及其周围多个像素，以得到每一像素的亮度特征值。举例而言，此矩阵滤波器可以下列的3×3数组来实施： $\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right].$ 因此，只需要将一3×3数组的原始贝尔影像数据与该矩阵滤波器相乘，并计算其行列式的平均值(在此实施例是除以16)即为该3×3数组中央像素的亮度特征值。

而在步骤S220，本发明是分别利用一水平边缘矩阵滤波器及一垂直边缘矩阵滤波器作用于待处理像素及其周围像素的亮度特征值，以得到待处理像素的水平边缘特征值与垂直边缘特征值。举例而言，此水平边缘矩阵滤波器可以下列的3×3数组来实施： $\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right],$ 而垂直边缘矩阵滤波器可以下列的3×3数组来实施： $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$ 因此，只需要将一3×3数组的亮度特征值分别与该水平边缘矩阵滤波器及一垂直边缘矩阵滤波器相乘，并计算其行列式值即为该3×3亮度特征值数组的中央像素的水平边缘特征值与垂直边缘特征值。之后，分别比较待处理像素的水平边缘特征值与一临界值，以及垂直边缘特征值与此临界值。若水平边缘特征值大于此临界值，则待处理像素存在边缘特性，且是水平边缘。另一方面，若垂直边缘特征值大于此临界值，则待处理像素存在边缘特性，且是垂直边缘。然而，若垂直边缘特征值与水平边缘特征值均小于临界值时，则待处理像素不存在边缘特性。

而在步骤S230中，当待处理像素存在边缘特性时，本发明是利用一边缘强化滤波器来强化待处理像素的边缘方向上相对应的像素值。举例而言，此边缘强化滤波器可以下列的1×5数组来实施： $\left[\begin{array}{ccccc}-\frac{1}{2}& 0& 1& 0& -\frac{1}{2}\end{array}\right].$ 当边缘强化滤波器对待处理像素进行边缘强化动作时，是以多重处理路径(pipeline)来进行，以在设定的时间内(例如单一时脉宽度)完成。例如边缘强化滤波器是同时从缓冲器读取5个数据，并与上述数组运算后输出强化后的待处理像素。

根据本发明，本发明可利用边缘强化滤波器作用于影像处理路径中三个不同阶段的影像(参考图1B)，以强化不同阶段的影像中待处理像素的边缘方向上相对应的像素值。第一阶段：此边缘强化滤波器可以作用于贝尔色彩过滤数组影像，此时，待处理像素只有一种颜色值。第二阶段：此边缘强化滤波器可以作用于RGB影像数据，此时，待处理像素拥有三种RGB颜色值。第三阶段：此边缘强化滤波器也可作用于YUV影像数据，此时，待处理像素拥有三种YUV颜色值。本发明利用此边缘强化滤波器作用于三者皆可以产生影像边缘强化的效果，同时，三者的运算量相对于先前技术而言，也大幅减少，最重要的是，三者都不用额外的内存去做运算。然而，在第一阶段的运算量最少，并且有助于后续插补处理时方向的判定，与减少影像杂讯的优点。

图3是本发明的贝尔影像的边缘强化装置的硬件架构方块图。参考图3，本发明贝尔影像的边缘强化装置300包含一缓冲器103、一亮度特征值产生单元310、一边缘分析单元320以及一边缘强化单元330。

缓冲器103是接收原始贝尔影像数据，并暂存该原始贝尔影像数据。亮度特征值产生单元310从缓冲器103读取原始贝尔影像数据，并产生每一像素的亮度特征值。对每一待处理像素，边缘分析单元320根据其本身与其周围多个像素的亮度特征值，分析并决定待处理像素是否存在边缘特性以及其边缘方向。边缘强化单元330则在待处理像素存在边缘特性时，根据其边缘方向强化待处理像素在其边缘方向上相对应的像素值，并输出边缘强化贝尔影像数据。

亮度特征值产生单元310利用一矩阵滤波器作用于待处理像素及其周围多个像素，以产生每一像素的亮度特征值。举例而言，此矩阵滤波器可以为下列的3×3数组： $\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right].$ 因此，只需要将一3×3数组的原始贝尔影像数据与该矩阵滤波器相乘，并计算其行列式的平均值(在此实施例是除以16)即为该3×3数组中央像素的亮度特征值。

边缘分析单元320的实施方式有许多种。例如利用一水平边缘矩阵滤波器与一垂直边缘矩阵滤波器来分别计算出待处理像素的水平边缘特征值与垂直边缘特征值。举例而言，此水平边缘矩阵滤波器的一实施例为3×3数组： $\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right],$ 而垂直边缘矩阵滤波器的一实施例为3×3数组： $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$ 因此，只需要将一3×3数组的亮度特征值分别与该水平边缘矩阵滤波器及一垂直边缘矩阵滤波器相乘，并计算其行列式值即为该3×3亮度特征值数组的中央像素的水平边缘特征值与垂直边缘特征值。

当水平边缘特征值大于一临界值且水平边缘特征值大于垂直边缘特征值时，则判定该待处理像素存在边缘特性且为水平边缘。而当垂直边缘特征值大于一临界值且垂直边缘特征值大于水平边缘特征值时，则判定该待处理像素存在边缘特性且为垂直边缘。其它情形则判定该待处理像素不存在边缘特性。当然，还有其它的实施方式来进行边缘分析。

当待处理像素存在边缘特性时，边缘强化单元330利用一边缘强化滤波器来强化待处理像素的边缘方向上相对应的像素值。若待处理像素不存在边缘特性时，则边缘强化单元330直接将待处理像素的数据输出。

举例而言，此边缘强化滤波器可以为下列1×5数组： $\left[\begin{array}{ccccc}-\frac{1}{2}& 0& 1& 0& -\frac{1}{2}\end{array}\right].$ 例如，该待处理像素为垂直边缘时，则边缘强化单元330从缓冲器103读取包含该待处理像素的垂直5点像素，并将所读取的5点像素分别乘上边缘强化滤波器后作为强化后的贝尔影像数据。反之，若该待处理像素为水平边缘时，则边缘强化单元330从缓冲器103读取包含该待处理像素的水平5点像素，并将所读取的5点像素分别乘上边缘强化滤波器后作为强化后的贝尔影像数据。也可将边缘强化实施于插补后的RGB影像数据，亦即将此边缘强化滤波器与经插补后的RGB影像数据做相对应的相乘，作为强化后的RGB影像数据。又由于RGB与YUV之间存在线性转换的关系，同样我们也可利用作用于YUV上的边缘强化滤波器，与YUV影像数据做相对应的相乘，作为强化后的YUV影像数据。

边缘强化单元330中可被安排去作用于影像处理路径中三个不同阶段的影像，以强化不同阶段的影像中待处理像素的边缘方向上相对应的像素值。第一阶段：可以作用于暂存在缓冲器103的原始贝尔影像数据。第二阶段：可以作用于插补后的RGB影像数据。第三阶段：可作用于YUV影像数据。

值得注意的是，色彩过滤数组有许多样式(pattern)，最常见的数组是贝尔色彩过滤数组(如图1A所示)，过滤出RGB三种颜色。本发明所适用的色彩过滤数组包含贝尔色彩过滤数组以及富士(Fuji)色彩过滤数组(如图4所示)等等。

图5是本发明影像撷取系统的方块图。如图5所示，此影像撷取系统500包含一影像撷取单元101、一缓冲器103、一亮度特征值产生单元310、一边缘分析单元320、一边缘强化单元330、插补单元104、一色彩校正单元105、一迦玛校正单元106、以及一RGB转YUV单元107。

其中，影像撷取单元101撷取影像后转换成原始贝尔影像数据，并暂存于缓冲器103中。缓冲器103、亮度特征值产生单元310、边缘分析单元320与边缘强化单元330的功能与结构已于上述提及，不再赘言。

对每一待处理像素，插补单元104接收边缘强化贝尔影像数据并对每一像素根据其本身与其周围多个像素的数据，插补出每一像素所缺的其它颜色数据，并产生RGB影像数据。色彩校正单元105则接收此RGB影像数据，并对每一像素进行颜色校正后输出色彩校正数据。而迦玛校正单元106接收此色彩校正数据，并利用一预设函数，对每一像素进行亮度校正后输出亮度校正数据。至于，RGB转YUV单元107接收此亮度校正数据，并将每一像素的RGB影像数据转换至相对应的YUV影像数据。

当影像撷取系统500开始运作后，影像撷取单元101撷取影像后转换成原始贝尔影像数据，并储存至缓冲器103。此时，每一像素只有一种颜色值。只要缓冲器103中储存有影像的三条线之后，亮度特征值产生单元310就可以开始动作与产生亮度特征值。因为系统500做插补处理一般而言需要五条线，在缓冲器103填满五条线并送出做后续的插补处理之前，所有像素都已做了边缘加强处理(就第一阶段而言)，没有延迟。另外，所有亮度特征值与加强值的计算皆利用影像撷取系统中原有的缓冲器103的空间，并不需再额外增加内存空间。

上述实施例仅用以说明本发明，而非限定本发明。

Claims (30)

1.一种贝尔影像的边缘强化装置，其特征在于，包含：

一缓冲器，接收并暂存一原始贝尔影像数据；

一亮度特征值产生单元，从所述缓冲器读取原始贝尔影像数据，并根据每一待处理像素的数据以及其周围多个像素的数据产生该待处理像素的亮度特征值；

一边缘分析单元，接收所述亮度特征值，并根据每一待处理像素的亮度特征值与其周围多个像素的亮度特征值来分析并决定该待处理像素是否存在边缘特性以及其边缘方向；以及

一边缘强化单元，接收所述原始贝尔影像数据，且当待处理像素存在边缘特性时，根据该待处理像素的边缘方向来强化该待处理像素的边缘方向上的像素值，并输出边缘强化贝尔影像数据。

2.如权利要求1所述的贝尔影像的边缘强化装置，其特征在于，所述亮度特征值产生单元包含一矩阵滤波器来产生每一像素的亮度特征值。

3.如权利要求2所述的贝尔影像的边缘强化装置，其特征在于，所述矩阵滤波器的矩阵为 $\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right].$

4.如权利要求1所述的贝尔影像的边缘强化装置，其特征在于，所述边缘分析单元包含一垂直边缘矩阵滤波器与一水平边缘矩阵滤波器，以分别计算出垂直边缘特征值与水平边缘特征值。

5.如权利要求4所述的贝尔影像的边缘强化装置，其特征在于，所述边缘分析单元的垂直边缘特征值大于一临界值时，则所述待处理像素存在边缘特性，且为垂直边缘。

6.如权利要求5所述的贝尔影像的边缘强化装置，其特征在于，所述边缘分析单元的水平边缘特征值大于所述临界值时，则所述待处理像素存在边缘特性，且为水平边缘。

7.如权利要求6所述的贝尔影像的边缘强化装置，其特征在于，所述边缘分析单元的垂直边缘特征值与所述水平边缘特征值均小于所述临界值时，则所述待处理像素不存在边缘特性。

8.如权利要求4所述的贝尔影像的边缘强化装置，其特征在于，所述垂直边缘矩阵滤波器的矩阵为 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

9.如权利要求4所述的贝尔影像的边缘强化装置，其特征在于，所述水平边缘矩阵滤波器的矩阵为 $\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right].$

10.如权利要求1所述的贝尔影像的边缘强化装置，其特征在于，所述原始贝尔影像数据先被插补为一RGB影像数据，再被转换成一YUV影像数据，所述边缘强化滤波单元包含一边缘强化滤波器来强化所述待处理像素的边缘方向上的像素值。

11.如权利要求10所述的贝尔影像的边缘强化装置，其特征在于，所述边缘强化滤波器被安排去作用在原始贝尔影像数据，以强化该原始贝尔影像数据中待处理像素的边缘方向上的像素值。

12.如权利要求10所述的贝尔影像的边缘强化装置，其特征在于，所述边缘强化滤波器被安排去作用在RGB影像数据，以强化该RGB影像数据中待处理像素的边缘方向上的像素值。

13.如权利要求10所述的贝尔影像的边缘强化装置，其特征在于，所述边缘强化滤波器被安排去作用在YUV影像数据，以强化该YUV影像数据中待处理像素的边缘方向上的像素值。

14.如权利要求10所述的贝尔影像的边缘强化装置，其特征在于，所述边缘强化滤波器的矩阵为 $\left[\begin{array}{ccccc}-\frac{1}{2}& 0& 1& 0& -\frac{1}{2}\end{array}\right].$

15.一种彩色影像撷取系统，其特征在于，包含：

一影像撷取单元，撷取影像后输出原始贝尔影像数据；

一缓冲器，接收并暂存所述原始贝尔影像数据；

一亮度特征值产生单元，从所述缓冲器读取原始贝尔影像数据，并根据每一待处理像素的数据以及其周围多个像素的数据产生待处理像素的亮度特征值；

一边缘分析单元，接收所述亮度特征值，并根据每一待处理像素的亮度特征值与其周围多个像素的亮度特征值来分析并决定该待处理像素是否存在边缘特性以及其边缘方向；以及

一边缘强化单元，接收所述原始贝尔影像数据，且当待处理像素存在边缘特性时，根据该待处理像素的边缘方向来强化该待处理像素的边缘方向上的像素值，并输出边缘强化贝尔影像数据；

一插补单元，接收所述边缘强化贝尔影像数据并对每一像素根据其本身与其周围多个像素的数据，插补出每一像素所缺的其它颜色数据，并产生RGB影像数据；

一色彩校正单元，接收所述RGB影像数据，并对每一像素进行颜色校正后输出色彩校正数据；

一迦玛校正单元，接收所述色彩校正数据，并利用一预设函数，对每一像素进行亮度校正后输出亮度校正数据；以及

一RGB转YUV单元，接收所述亮度校正数据，并将每一像素的RGB影像数据转换至相对应的YUV影像数据。

16.如权利要求15所述的彩色影像撷取系统，其特征在于，所述亮度产生单元包含一矩阵滤波器来产生每一像素的亮度特征值。

17.如权利要求16所述的彩色影像撷取系统，其特征在于，所述矩阵滤波器的矩阵为 $\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right].$

18.如权利要求15所述的彩色影像撷取系统，其特征在于，所述边缘分析单元包含一垂直边缘矩阵滤波器与一水平边缘矩阵滤波器，以分别计算出垂直边缘特征值与水平边缘特征值。

19.如权利要求18所述的彩色影像撷取系统，其特征在于，所述边缘分析单元的垂直边缘特征值大于一临界值时，则所述待处理像素存在边缘特性，且为垂直边缘。

20.如权利要求19所述的彩色影像撷取系统，其特征在于，所述边缘分析单元的水平边缘特征值大于所述临界值时，则所述待处理像素存在边缘特性，且为水平边缘。

21.如权利要求20所述的彩色影像撷取系统，其特征在于，所述边缘分析单元的垂直边缘特征值与所述水平边缘特征值均小于所述临界值时，则所述待处理像素不存在边缘特性。

22.如权利要求18所述的彩色影像撷取系统，其特征在于，所述垂直边缘矩阵滤波器的矩阵为 $\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right].$

23.如权利要求18所述的彩色影像撷取系统，其特征在于，所述水平边缘矩阵滤波器的矩阵为 $\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right].$

24.如权利要求15所述的彩色影像撷取系统，其特征在于，所述边缘强化滤波单元包含一边缘强化滤波器来强化待处理像素的边缘方向上的像素值。

25.如权利要求24所述的彩色影像撷取系统，其特征在于，所述边缘强化滤波器被安排去作用在原始贝尔影像数据，以强化该原始贝尔影像数据中待处理像素的边缘方向上的像素值。

26.如权利要求24所述的彩色影像撷取系统，其特征在于，所述边缘强化滤波器被安排去作用在RGB影像数据，以强化该RGB影像数据中待处理像素的边缘方向上的像素值。

27.如权利要求24所述的彩色影像撷取系统，其特征在于，所述边缘强化滤波器被安排去作用在YUV影像数据，以强化该YUV影像数据中待处理像素的边缘方向上的像素值。

28.如权利要求24所述的彩色影像撷取系统，其特征在于，所述边缘强化滤波器的矩阵为 $\left[\begin{array}{ccccc}-\frac{1}{2}& 0& 1& 0& -\frac{1}{2}\end{array}\right].$

29.一种贝尔影像的边缘强化方法，其特征在于，该方法包含下列步骤：

一亮度特征值产生步骤，接收原始贝尔影像数据，并计算每一像素的亮度特征值；

一边缘分析步骤，接收所述亮度特征值，并根据每一像素的亮度特征值与其周围多个像素的亮度特征值，分析并决定该像素是否存在边缘特性及其边缘方向；以及

一边缘强化步骤，接收所述原始贝尔影像数据，并在像素存在边缘特性时，根据其对应的边缘方向强化该像素的边缘方向上的像素值，并输出边缘强化贝尔影像数据。

30.如权利要求29所述的贝尔影像的边缘强化方法，其特征在于，所述的亮度特征值产生步骤中的计算动作是利用一矩阵滤波器来产生亮度特征值。

Images