CN106157253A - 图像处理装置与图像处理方法 - Google Patents

Abstract

本发明揭露了一种图像处理装置与图像处理方法。图像处理装置包含线缓存器、像素增强模块、平滑效果模块、噪声抑制模块以及对比度调整模块。线缓存器储存图像的多个像素值。像素增强模块对图像进行增强图像边缘的运算。平滑效果模块对图像滤波，以针对图像的粗糙度做改善。噪声抑制模块对图像滤波，以针对图像的信号噪声比做改善。对比度调整模块检测目标像素是否位于细边上以决定如何调整图像的对比度。

Description

图像处理装置与图像处理方法

技术领域

本发明是关于图像处理装置与方法，尤其是关于可针对图像的边缘与细节做强化的图像处理装置与方法。

背景技术

图像增强是图像处理中最重要也最常见的技巧之一，大致上可以分为两大类别：第一类是针对亮度以及色彩部分做强化，第二类是针对纹理部分(例如边缘以及细节)做强化。执行图像增强时可以同时做两类别的方法，亦或是择一类别来做。现在有多种图像评测标准会根据图像的细节和平滑区域做检测，像是微软公司(Microsoft)所制订的测试规范中就定义了调制转换函数(Modulation Transfer Function，MTF)、过锐利度(Over-sharpness)、粗糙度(Roughness)、锐敏度(Acutance)和信号噪声比(Signal-to-Noise Ratio，SNR)等指标。要能通过这些专业的测试标准，必须对图像质量有更高的要求，其对应设计的算法也要更为强健。而针对以上的这些测试标准，第二类的图像增强算法扮演了非常重要的角色。

发明内容

本发明之一目的在于提供一种图像处理装置与方法，以增加图像调整的弹性以及针对图像的边缘与细节做强化。

本发明揭露了一种图像处理装置，用来处理包含多个像素之一图像，每一像素具有一像素值，该图像处理装置包含：一存储器，用来暂存该些像素值之一部分；一像素增强模块，耦接该存储器，用来对该些像素值进行增强图像边缘之运算，以产生一运算结果；一第一滤波模块，耦接该存储器，用来依据一第一滤波系数对该些像素值进行一第一滤波运算，以产生一第一滤波结果；一第二滤波模块，耦接该像素增强模块及该第一滤波模块，用来依据一第二滤波系数以及该运算结果与该第一滤波结果进行一第二滤波运算，及输出一第一中间值；以及一对比度调整模块，耦接该第二滤波模块，用来依据一亮度调整参数调整该图像之一对比度，以产生一对比度调整结果，并依据该第一中间值及该对比度调整结果产生一输出值；其中该第一滤波系数、第二滤波系数及该亮度调整参数是可独立调整。

本发明另揭露了一种图像处理方法，用来处理包含多个像素之一图像，每一像素具有一像素值，该图像处理方法包含：暂存该些像素值；对该些像素值进行增强图像边缘之运算，以产生一运算结果；依据一第一滤波系数对该些像素值进行一第一滤波运算，以产生一第一滤波结果；将该运算结果及该第一滤波结果相加以产生一第一中间值；依据一第二滤波系数对该第一中间值进行一第二滤波运算，以产生一第二滤波结果；产生一第二中间值，该第二中间值是与该第二滤波结果相关；依据一亮度调整参数调整该图像之一对比度，以产生一对比度调整结果；以及依据该第二中间值及该对比度调整结果产生一输出值；其中该第一滤波系数、第二滤波系数及该亮度调整参数是可独立调整。

本发明之图像处理装置与方法能够独立且弹性地调整各种图像处理机制的系数或参数，以使得调整后的图像更容易通过各种评测标准。

有关本发明的特征、实例与功效，兹配合附图作实施例详细说明如下。

附图说明

[图1]为本发明之图像处理装置的之一实施方式的功能方块图；

[图2]为本发明其中一实施例之边缘方向种类的示意图；

[图3]为本发明之噪声抑制模块用来进行二维滤波之功能方块图；

[图4]为本发明之一实施例依据图像的变化程度决定比重α的示意图；

[图5]为本发明判断图像之边缘是否为细边的一种实施方式；

[图6]为本发明之一实施例依据图像的变化程度决定比重β的示意图；以及

[图7]为本发明之图像处理方法之一实施例的流程图。

具体实施方式

以下说明内容之技术用语是参照本技术领域之习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语之解释是以本说明书之说明或定义为准。

图1为本发明之图像处理装置之一实施方式的功能方块图。图像处理装置100包含线缓存器(line buffer)110、像素增强模块120、平滑效果模块130、噪声抑制模块140以及对比度调整模块150。图像处理装置100对图像数据进行图像处理时，通常以图像画面中某一目标像素为基准，将其邻近像素的资料暂存于线缓存器110中，以供后续的模块使用。举例来说，假设图像处理装置100每次处理的窗口大小为M个像素×N个像素(M条像素线，每条像素线取N个像素，M、N为正整数，可为相等或不相等)，则该窗口包含该目标像素，且线缓存器110设计为可至少暂存M-1条像素线。之后像素增强模块120及平滑效果模块130各自从线缓存器110中取出该窗口的图像数据进行运算。线缓存器110可以例如是动态随机存取存储器、同步动态随机存取存储器或静态随机存取存储器等存储器，且可以为图像处理装置100的专属存储器，或是与其它的电路共享。图像处理装置100可以适用于多种图像编码方法，例如贝尔(Bayer)域、RGB域或YUV域。在贝尔域或RGB域中，图像处理装置100所处理的像素数据可以是代表R、G、B之其中之一的像素值；在YUV域中，图像处理装置100所处理的像素数据可以是代表Y的像素值。

像素增强模块120以增强图像边缘的算法对原始像素值P进行处理，对应一个目标像素(或一个窗口)可得到一个增强后的像素值P’。像素增强模块120可以采用习知的算法，例如非锐利屏蔽(unsharp mask)算法、拉普拉斯矩阵(Laplacian matrix)算法或其它可达到类似效果的算法。

平滑效果模块130的目的在于减缓图像边缘的锯齿状现象。平滑效果模块130首先侦测窗口中所包含的边缘位置以及方向。边缘方向的种类可以预先定义，例如图2所示的四种边缘方向(四个大的矩形分别代表窗口，灰色的格子代表边缘所在位置的像素)，然而在不同的实施例中可能定义不同的边缘方向。侦测图像的边缘及方向可以使用一阶梯度的滤波方法，例如习知的索贝尔(Sobel)运算方法。找出边缘及其方向后，对该边缘上的像素或是边缘之法向量上的像素进行一维的空间滤波。举例来说，图2所示的窗口大小为9×9，位于最左边的窗口的水平边缘上包含9个像素，平滑效果模块130可以依据以下的算式来进行滤波：

$\mathrm{value}1={\mathrm{\Σ}}_{i=0}^8{C}_i\×P_i---\left(1\right)$

其中P_i为原始图像的像素值，C_i为对应像素位置的滤波系数。在一个实施例中，滤波结果value1可以是位于边缘上的所有像素的平均值(亦即对任何i值，C_i＝1/9)；在其它的实施例中，滤波系数C_i可以依据高斯分布(Gaussian distribution)来做设定。平滑效果模块130决定滤波系数C_i时，可以依据信号para1做决定。在一个实施例中，平滑效果模块130内建查找表(loop-up table)，并且依据信号para1从查找表中找出对应的滤波系数C_i来进行滤波。例如图像处理装置100可以包含其它用来侦测图像的特性的图像处理模块(图未示)，侦测图像的亮度、彩度及/或像素的变化程度等特性，而产生该信号para1，也就是说滤波系数C_i可以依据图像的特性自动调整；又例如使用者可以依据滤波结果value1是否满足实际的需求而手动调整该信号para1。在其它的实施例中，平滑效果模块130不内建查找表，滤波系数C_i可以藉由信号para1传入。平滑效果模块130也同样对应一个目标像素(或一个窗口)产生一个滤波结果value1，滤波结果value1与相对应的增强后的像素值P’相加后形成像素值P_En。

噪声抑制模块140的目的在于缓解随着图像强化而增长的噪声，以及使图像的平滑区更为平滑以提升视觉感受度。在一个实施例中，噪声抑制模块140可以包含图3所示的功能方块以对像素值P_En进行二维滤波。储存单元310储存k组滤波系数312(k为正整数)。在此例中，窗口大小为5×5，因此每组滤波系数312包含5×5＝25个数值，数值可为有理数，不以附图中之整数为限。多任务器320依据信号para2从k组滤波系数312中选取其中一组，之后卷积(convolution)运算单元330依据该组选取的滤波系数312对像素值P_En进行卷积运算。同样地，滤波系数312可以藉由信号para2的控制来作选择，信号para2可以依据图像的特性自动调整，或由使用者手动调整。卷积运算单元330进行卷积运算时，窗口中的25个像素值分别与该组滤波系数中对应位置的数值相乘，再将所得的25个乘积相加后平均。

但因为二维滤波很容易影响图像的细节，所以噪声抑制模块140还会依据此窗口中图像细节的多寡决定上述的滤波结果对图像的作用程度。亦即，噪声抑制模块140依据下式将滤波结果P_Co与先前的像素值P_En做混合运算(blending)。

value2＝α×P_Co+(1-α)×P_En (2)

比重α用来控制滤波结果P_Co所占的比例，可以依据窗口中图像的特性动态计算得到。图4为本发明之一实施例依据图像的变化程度决定比重α的示意图。横轴chg代表图像的变化程度，可以利用多种方法计算而得，例如习知的索贝尔运算方法。数值chg愈大，表示图像的变化程度愈大，而当图像的变化程度愈大，本发明令比重α愈小。也就是说，当图像的细节愈多时(亦即变化程度愈大)，为了避免图像经过二维滤波后造成细节损失，此时运算结果value2倾向保留较多的像素值P_En，而降低二维滤波结果P_Co的比重；相反的，如果图像比较平滑(亦即变化程度小)，噪声抑制模块140则倾向使二维滤波结果P_Co在运算结果value2占有较大的比重。图4中的数值Max1与Min1分别为比重α的上限与下限，可以弹性调整，且分别对应数值thd1及thd2。数值Max1与Min1的大小关系为：0≤Min1<Max1≤1。比重α对应变化程度chg的斜率，以及数值thd1、thd2、Max1与Min1可以依据图像处理装置100所处理的图像的特性而预先设定。数值thd1、thd2、Max1与Min1可由信号para2输入噪声抑制模块140。

运算结果value2接着由对比度调整模块150处理，针对图像的对比度做调整，以满足调制转换函数。由于调制转换函数与图像的边缘高度相关，更明确地说，调制转换函数与目标像素所在之边缘的细节高度相关。因此，对比度调整模块150在进行运算时，会先判断目标像素是否位于一细边(thin edge)上。图5显示本发明判断图像之边缘是否为细边的一种实施方式。图中以5×5的窗口为例，灰色格子代表目标像素，本例中以窗口的中心位置的像素作为目标像素。图中的虚线代表图像的边缘(沿x方向)的所在位置，目标像素经判断为位于边缘上之后(例如使用前述的索贝尔运算方法)，现在进一步判断该边缘是否为细边。图中的三个矩形代表三个滤波屏蔽(mask)，屏蔽中的数字代表滤波系数，空白的部分代表数值0。判断时，以三个滤波屏蔽分别对同一窗口中的运算结果value2做卷积运算，并取其绝对值。三个屏蔽主要用来计算位于该边缘的法向量上(y方向)，且与该目标像素呈直线排列的多个像素的像素值变化情形，对应该三个屏蔽可以分别得到该边缘偏上、该边缘上以及该边缘偏下的像素差值(分别为Vu、Vc及Vd)。位于图像边缘附近的像素值在边缘的法向量上通常具有梯度变化，判断边缘是否为细边实际上即是判断边缘在法向量上的像素值变化是否明显，像素值变化明显即代表该边缘为细边。因此如果Vc大于Vu且Vc大于Vd，则代表目标像素位于细边上。

如果对比度调整模块150判断目标像素不位于细边上，则直接输出噪声抑制模块140的运算结果value2；然而如果目标像素位于细边上，则对比度调整模块150依据下式来提升图像的对比度。

P_To＝(value2-2^n-1)×R+2^n-1 (3)

数值R是对比度的调整倍率，可以依据图像的特性自动调整或是依据评测标准而手动微调；n表示每一个像素所占的位数。P_To即为经过对比度调整后的像素值。尚有许多增加像素之对比度的方法，本发明不以上式的方法为限。得到新的像素值P_To之后，对比度调整模块150再将像素值P_To与前述的运算结果value2作混合运算，而得到运算结果value3，如下式所示：

value3＝β×P_To+(1-β)×value2 (4)

比重β用来控制像素值P_To的比重，可以根据图像区域的特性动态计算出来。图6为本发明之一实施例依据图像的变化程度决定比重β的示意图。横轴chg代表图像的变化程度，本实施例令比重β随着数值chg增大而增加，也就是当图像的细节愈多时，图像的对比度也随之加强，使细边的边缘更加锐利；相反的，当图像的变化程度不大时，细边相对而言已够锐利，故可以降低像素值P_To的比重。同样的，图6中的数值Max2与Min2分别为比重β的上限与下限，可以弹性调整，且分别对应变化程度thd4及thd3。数值Max2与Min2的大小关系为：0≤Min2<Max2≤1。比重β对应变化程度chg的斜率，以及数值thd3、thd4、Max2与Min2可以依据图像处理装置100所处理的图像的特性而预先设定。上述的数值R及数值thd3、thd4、Max2与Min2可由信号para3输入对比度调整模块150。

经过上述各功能模块的处理后，图像处理装置100产生输出像素值P_Out。各功能模块可以针对不同的图像评测标准做微调，例如平滑效果模块130可以藉由改变滤波系数来使输出像素值P_Out更能符合粗糙度的评测标准，噪声抑制模块140可以藉由选择不同的滤波屏蔽来使输出像素值P_Out更能符合信号噪声比的评测标准，以及对比度调整模块150可以藉由检测目标像素是否位于细边上以及藉由改变对比度以使输出像素值P_Out更能符合调制转换函数的评测标准。上述各模块所使用的参数或系数都可以个别调整，因此本发明很容易针对各种图像评测标准来独立调整相对应的图像特性，以快速调整图像来满足各种不同的应用情形或评测标准。此外，噪声抑制模块140及对比度调整模块150将图像的变化程度chg纳入参考则有助于调整输出像素值P_Out的锐敏度。另外，为了调整弹性方便，平滑效果模块130也可以进一步只针对细边做处理。

请参阅图7，其是本发明之图像处理方法之一实施例的流程图，包含下列步骤：

步骤S810：接收并暂存一图像的像素值。像素值中包含一目标像素的像素值。储存时仅需暂存图像之部分像素线的像素值；

步骤S820：对原始像素值进行强化运算。此步骤可以利用非锐利屏蔽算法、拉普拉斯矩阵算法或其它具有相同目的的算法，来增强原始像素值P的图像边缘，而后得到像素值P’；

步骤S830：对原始像素值进行滤波运算，以减缓图像边缘的锯齿状现象。此步骤先侦测边缘的方向，再对边缘上的像素或是边缘之法向量上的像素进行一维空间的滤波。滤波系数可以藉由自动侦测图像的特性来决定，或是由使用者依据滤波的结果而手动微调，或是两者合并实施。此步骤滤波后得到滤波结果value1；

步骤S840：抑制噪声以及使图像的平滑区更为平滑。此步骤针对步骤S820所产生的像素值P’及步骤S830所产生的滤波结果value1相加后的结果(即像素值P_En)进行二维滤波运算，以抑制因强化图像而增长的噪声。此步骤从多个组滤波系数中选取一组，再对该组滤波系数及该像素值P_En进行卷积运算，而得到滤波结果P_Co。此外，此步骤还可以进一步依据图像的变化程度对滤波结果P_Co与像素值P_En做混合运算，而得到运算结果value2。同样的，滤波系数可以藉由自动侦测图像的特性来决定，或是由使用者依据滤波的结果而手动微调，或是两者合并实施；

步骤S850：侦测目标像素是否位于细边上。此步骤先侦测目标像素是否位于一边缘上(可采用步骤S830所使用之方法)，如果是，则再进一步判断该边缘是否为一细边。判断是否为细边可以利用例如图5所示的滤波屏蔽对步骤S840所产生的运算结果value2进行卷积运算。如果为细边，则进行步骤S860；如果目标像素不在边缘上，或虽然在边缘上但该边缘不是细边，则进行步骤S870；

步骤S860：调整图像的对比度。因为调制转换函数与边缘的锐利程度息息相关，改善细边的对比度有助于满足调制转换函数的标准。提升对比度的方法很多，本发明不限于方程式(3)的方法，对比度经过调整后得到像素值P_To。此外，此步骤还可以进一步依据图像的变化程度对像素值P_To与前述的运算结果value2做混合运算，得到运算结果value3；以及

步骤S870：输出处理完毕之像素值。如果步骤S850的判断为否，则此步骤输出运算结果value2作为最后的输出像素值P_Out；如果步骤S850的判断为是，则此步骤输出步骤S860所得到的混合结果value3作为最后的输出像素值P_Out。

为了增加调整弹性，上述的步骤S830之前亦可以加入细边的判断程序。更明确地说，步骤S820之后先判断目标像素是否位于细边上，如果是，则进行步骤S830，如果不是，则略过步骤S830直接进行步骤S840。此外，本发明亦可针对不同的图像处理需求选择对应的实施步骤，也就是说步骤S830、步骤S840及步骤S860不一定要全部实施。举例来说，如果信号噪声比的评测标准不是某次图像处理的重点，则可以省略步骤S840。

虽然本发明之实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域的技术人员可依据本发明之明示或隐含之内容对本发明之技术特征施以变化，凡此种种变化均可能属于本发明所寻求之专利保护范畴，换言之，本发明之专利保护范围须视本说明书之权利要求书所界定者为准。

符号说明

100、200 图像处理装置

110 线缓存器

120 像素增强模块

130 平滑效果模块

140 噪声抑制模块

150 对比度调整模块

310 储存单元

312 滤波系数

320 多任务器

330 卷积运算单元

S810～S870 步骤

Claims (10)

1.一种图像处理装置，用来处理包含多个像素之一图像，每一像素具有一像素值，该图像处理装置包含：

一存储器，用来暂存该多个像素值之一部分；

一像素增强模块，耦接该存储器，用来对该多个像素值进行增强图像边缘之运算，以产生一运算结果；

一第一滤波模块，耦接该存储器，用来依据一第一滤波系数对该多个像素值进行一第一滤波运算，以产生一第一滤波结果；

一第二滤波模块，耦接该像素增强模块及该第一滤波模块，用来依据一第二滤波系数以及该运算结果与该第一滤波结果进行一第二滤波运算，及输出一第一中间值；以及

一对比度调整模块，耦接该第二滤波模块，用来依据一亮度调整参数调整该图像之一对比度，以产生一对比度调整结果，并依据该第一中间值及该对比度调整结果产生一输出值；

其中该第一滤波系数、第二滤波系数及该亮度调整参数可独立调整。

2.根据权利要求1所述的图像处理装置，其中该对比度调整模块还判断部分该多个第一中间值之间的差异程度是否满足一边缘条件，其中该部分该多个第一中间值是对应沿同一方向排列的像素，且该方向与该图像之一边缘方向垂直。

3.根据权利要求1所述的图像处理装置，其中该第二滤波模块对该运算结果与该第一滤波结果相加后的一第二中间值进行该第二滤波运算，而得到一第二滤波结果，并依据该第二中间值及该第二滤波结果产生该第一中间值。

4.根据权利要求1所述的图像处理装置，其中该第一滤波模块还判断该图像的一边缘方向，并以该边缘方向上的多个像素或该边缘方向的垂直方向上的多个像素进行该第一滤波运算。

5.根据权利要求1所述的图像处理装置，其中该第一滤波模块还判断部分该多个像素值之间的差异程度是否满足一边缘条件以决定是否进行该第一滤波运算，其中该部分该多个像素值是对应沿同一方向排列的像素，且该方向与该图像的一边缘方向垂直。

6.一种图像处理方法，用来处理包含多个像素的一图像，每一像素具有一像素值，该图像处理方法包含：

暂存该多个像素值；

对该多个像素值进行增强图像边缘的运算，以产生一运算结果；

依据一第一滤波系数对该多个像素值进行一第一滤波运算，以产生一第一滤波结果；

将该运算结果及该第一滤波结果相加以产生一第一中间值；

依据一第二滤波系数对该第一中间值进行一第二滤波运算，以产生一第二滤波结果；

产生一第二中间值，该第二中间值与该第二滤波结果相关；

依据一亮度调整参数调整该图像的一对比度，以产生一对比度调整结果；以及

依据该第二中间值及该对比度调整结果产生一输出值；

其中该第一滤波系数、第二滤波系数及该亮度调整参数可独立调整。

7.根据权利要求6所述的图像处理方法，其中该产生该第二中间值的步骤对该第二滤波结果及该第一中间值进行一混合运算，以产生该第二中间值。

8.根据权利要求6所述的图像处理方法，还包含：

在调整该图像的该对比度之前判断部分该多个第二中间值之间的差异程度是否满足一边缘条件，其中该部分该多个第二中间值是对应沿同一方向排列的像素，且该方向与该图像的一边缘方向垂直。

9.根据权利要求6所述的图像处理方法，还包含：

判断该图像的一边缘方向；

其中该依据该第一滤波系数对该多个像素值进行该第一滤波运算的步骤是以该边缘方向上的多个像素或该边缘方向的垂直方向上的多个像素进行该第一滤波运算。

10.根据权利要求6所述的图像处理方法，还包含：

判断部分该多个像素值之间的差异程度是否满足一边缘条件以决定是否进行该第一滤波运算；

其中该部分该多个像素值是对应沿同一方向排列的像素，且该方向与该图像的一边缘方向垂直。