CN108881670B - 影像处理方法及影像处理装置 - Google Patents

Abstract

一种影像处理方法，用以处理输入影像，包含下述步骤：选取输入影像的像素；根据输入影像的至少一第一像素对应的至少一第一校正像素以及输入影像的至少一第二像素判断像素是否为第一影像边缘；以及若像素非为第一影像边缘，将像素的至少一频道上的影像高频成分以第一校正影像高频成分取代，以作为校正像素，若像素为第一影像边缘，维持像素以作为校正像素。

Description

影像处理方法及影像处理装置

技术领域

本案有关于影像处理方法及影像处理装置，特别有关于可抑制杂讯的影像处理方法及影像处理装置。

背景技术

为了让影像的色彩具有高真实度，影像讯号处理器(Image Signal Processor，ISP)中通常会提供一色彩校正装置，用以转换影像感测器接收到的原始讯号成符合人眼视觉的讯号。色彩校正装置通常将影像像素资讯乘上一系数矩阵做线性转换，以产生数位影像的输出，而此系数矩阵称为色彩校正矩阵(Color Correction Matrix，CCM)。

在低光源环境中，影像讯号处理器会对原始讯号做增益处理，藉以维持一定的影像亮度，但同时也使得杂讯被放大，又人眼视觉对色彩的杂讯特别敏感，因此容易使增益后的影像品质恶化，进而在还原色彩时产生失真的现象。

为了抑制影像中的色彩杂讯，会利用目标像素先前像素与目标像素进行低通滤波来执行无限脉冲响应(infinite impulse response，IIR)低通滤波。然而，在影像里色彩明显变化的区域中，此种IIR低通滤波方式容易使影像产生拖曳的现象。

发明内容

因此，本案的一目的为提供一种可降低拖曳现象的影像杂讯抑制方法以及影像杂讯抑制装置。本案揭露一影像处理方法，用以处理输入影像，包含下述步骤：选取输入影像的像素；根据输入影像的至少一第一像素对应的至少一第一校正像素以及输入影像的至少一第二像素判断像素是否为第一影像边缘；以及若像素非为第一影像边缘，将像素的至少一频道上的影像高频成分以第一校正影像高频成分取代，以作为校正像素，若像素为第一影像边缘，维持像素以作为校正像素。

本案揭露一影像处理装置，包含影像边缘侦测模组及校正模组。影像边缘侦测模组根据输入影像的至少一第一像素对应的至少一第一校正像素以及输入影像的至少一第二像素判断输入影像的一像素是否为第一影像边缘。若像素非为第一影像边缘，校正模组将像素的至少一频道上的影像高频成分以第一校正影像高频成分取代，以作为校正像素，若像素为第一影像边缘，校正模组维持像素以作为校正像素。

根据前述实施例，由于不在影像边缘处进行杂讯抑制动作，因此可降低习知技术中的拖曳现象。此外，经过前述色彩校正矩阵的处理，可让影像具有所预期的色彩，使影像品质更佳。

附图说明

图1是根据本案一实施例所绘示的影像像素的示意图。

图2-4是根据本案不同实施例所绘示的影像杂讯抑制方法的流程图。

图5是根据本案一实施例所绘示的影像像素的示意图。

图6是根据本案一实施例所绘示的计算校正影像高频成分并产生校正影像的流程图。

图7是根据本案一实施例所绘示的影像处理方法的示意图。

图8是根据本案一实施例所绘示的色卡的示意图。

图9是根据本案一实施例所绘示的影像杂讯抑制装置的方块图。

【符号说明】

201-209，301-309，401-409，601-609步骤

900影像杂讯抑制装置

901影像边缘侦测模组

903校正模组

具体实施方式

以下将以不同实施例来说明本案的概念。以下实施例所提及的装置、系统或模组可藉由硬体(例如电路)或是硬体加软体(例如在处理器中写入程式)来实现。

参照图1～4，图1是根据本案一实施例所绘示的影像像素的示意图，图2～4是根据本案不同实施例所绘示的影像杂讯抑制方法的流程图，其中，图1～4均以R频道(channel)的像素为例，但其他种类像素亦可适用，如G、B频道的像素，或是Y、U、V频道的像素。在图2和图3的实施例中，影像杂讯抑制方法可判断不同样式的边缘。

一并参照图1及图2，图2所示的影像杂讯抑制方法200包含步骤201～209。

步骤201：选取输入影像的像素R(i，j)，其中像素R(i，j)对应于像素P(i，j)，并代表输入影像的R频道中第i列上第j行的像素，同理可知，像素R(i-1，j)代表输入影像的R频道中第i-1列上及第j行的像素。

步骤203：计算对应于像素R(i，j)的参考值差异R_{diff_row}(i，j)与参考值差异R_{diff_col}(i，j)。其中，参考值差异R_{diff_row}(i，j)用以判断是否有水平向的边缘，参考值差异R_{diff_col}(i，j)用以判断是否有垂直向(上下向)的边缘。下述将以式1至式3、式4至式6分别说明如何计算参考值差异R_{diff_row}(i，j)及R_{diff_col}(i，j)，需说明的是，于本案中，像素的元件符号亦用来代表该像素的像素值。

(式1)R_{avg_row_cur}(i，j)＝(R(i，j-2)+R(i，j-1)+4*R(i，j)+R(i，j+1)+R(i，j+2))/8

(式2)R_{avg_row_pre}(i，j)＝(R(i-1，j-2)+R(i-1，j-1)+4*R(i-1，j)+R(i-1，j+1)+R(i-1，j+2))/8

(式3)R_{diff_row}(i，j)＝|R_{avg_row_cur}(i，j)-R_{avg_row_pre}(i，j)|

式1用以计算参考值R_{avg_row_cur}(i，j)，参考值R_{avg_row_cur}(i，j)代表像素R(i，j)的水平方向的像素值加权平均。式2用以计算参考值R_{avg_row_pre}(i，j)，参考值R_{avg_row_pre}(i，j)代表像素R(i，j)前一列的水平方向的像素值加权平均。式3用以计算参考值差异R_{diff_row}(i，j)，即取参考值R_{avg_row_cur}(i，j)与参考值R_{avg_row_pre}(i，j)相减后的绝对值，以判断是否有水平向的边缘。其中，式1以取像素R(i，j)及像素R(i，j)左右各2个像素的像素值做加权平均为例，于其他实施例中，亦可就像素R(i，j)及像素R(i，j)左右各n个像素的像素值做加权平均，其中n为正整数。相应地，式2亦可就像素R(i-1，j)及像素R(i-1，j)左右各n个像素的像素值做加权平均。在一些实施中，加权平均的运算亦可为其他种类的平均运算，如一般平均、指数平均、指数平均等平均运算。

(式4)R_{avg_col_left}(i，j)＝(R(i，j-2)+R(i，j-1)+R(i-1，j-1)+R(i-1，j-2))/4

(式5)R_{avg_col_right}(i，j)＝(R(i，j+1)+R(i，j+2)+R(i-1，j+1)+R(i-1，j+2))/4

(式6)R_{diff_col}(i，j)＝|R_{avg_col_left}(i，j)-R_{avg_col_right}(i，j)|

式4用以计算参考值R_{avg_col_left}(i，j)，参考值R_{avg_col_left}(i，j)代表像素R(i，j)的左边像素的像素值平均。式5用以计算参考值R_{avg_col_right}(i，j)，参考值R_{avg_col_right}(i，j)代表像素R(i，j)的右边像素的像素值平均。式6用以计算参考值差异R_{diff_col}(i，j)，即取参考值R_{avg_col_left}(i，j)与参考值R_{avg_col_right}(i，j)相减后的绝对值，以判断是否有垂直向的边缘。其中，式4取像素R(i，j)左边2个像素及像素R(i-1，j)左边2个像素的像素值做一般平均为例，于其他实施例中，亦可就像素R(i，j)左边不同列的k个像素做一般平均，其中k为正整数。相应地，式5亦可就R(i，j)右边不同列的k个像素做一般平均。在一些实施中，一般平均亦可为其他种类的平均运算，如加权平均、指数平均、指数平均等平均运算。

步骤205：判断R_{diff_row}(i，j)是否大于临界值Th0，并判断R_{diff_col}(i，j)是否大于临界值Th1，若上述条件其中一者成立，代表输入影像具有影像边缘，进入步骤209；若上述条件均不成立，代表影像边缘不存在，进入步骤207。

步骤207：将校正影像高频成分取代像素R(i，j)的影像高频成分，以产生校正影像的校正像素R_p(i，j)。校正影像高频成分及影像高频成分的详细内容将于底下详述。

步骤209：维持原像素R(i，j)。

在一些实施例中，由于垂直向的边缘不只一种态样，若像素R(i，j)左边和右边的像素的差异不大，但像素R(i，j)左边和右边的像素分别与像素R(i，j)差异较大时，像素R(i，j)亦为影像边缘，而图3所示的影像杂讯抑制方法300可根据此类影像边缘是否存在来决定是否进行杂讯抑制。

如图3所示，影像杂讯抑制方法300包含步骤301～309，其中影像杂讯抑制方法300的步骤301、307、309类似于影像杂讯抑制方法200的步骤201、207、209，故在此不再赘述。

步骤303：计算对应于像素R(i，j)的参考值差异R_{diff_left}(i，j)与参考值差异R_{diff_right}(i，j)。其中，参考值差异R_{diff_left}(i，j)与参考值差异R_{diff_right}(i，j)用以判断是否有垂直向的边缘。参照前述的式4、式5及下述的式7、式8，藉以说明如何计算参考值差异。

(式7)R_{diff_left}(i，j)＝|R(i，j)-R_{avg_col_left}(i，j)|

(式8)R_{diff_right}(i，j)＝|R(i，j)-R_{avg_col_right}(i，j)|

其中，式7用以计算参考值差异R_{diff_left}(i，j)，参考值差异R_{diff_left}(i，j)为像素R(i，j)的像素值与参考值R_{avg_col_left}(i，j)相减后的绝对值。式8用以计算参考值差异R_{diff_right}(i，j)，参考值差异R_{diff_right}(i，j)为像素R(i，j)的像素值与参考值R_{avg_col_right}(i，j)相减后的绝对值。

步骤305：判断R_{diff_left}(i，j)是否大于临界值Th2，并判断R_{diff_right}(i，j)是否大于临界值Th3，若上述条件其中两者均成立，代表输入影像具有影像边缘，进入步骤309；若上述条件至少其中一者不成立，代表影像边缘不存在，进入步骤307。

值得注意的是，图2和图3的实施例可并用，参阅图4，图4绘示杂讯抑制方法200与杂讯抑制方法300并用后的流程图。其中步骤401对应步骤201和步骤301，步骤403a对应步骤203，步骤405a对应步骤205，步骤403b对应步骤303，步骤405b对应步骤305，步骤407对应步骤207或步骤307，步骤409对应步骤209或步骤309。图4中各步骤的详细内容已详述于前述实施例，故在此不再赘述。

在一些实施例中，步骤403a及步骤403b可同步进行，步骤405a及步骤405b可同步进行，若步骤405a和步骤405b的条件均不成立时，进入步骤407，反的，进入步骤409。

在一些实施例中，像素R(i，j)上方和下方的像素分别与像素R(i，j)差异较大时，像素R(i，j)亦为影像边缘，在此情形，亦可利用类似于图3的杂讯抑制方法300针对像素R(i，j)进行杂讯抑制，如将影像杂讯抑制方法300中列与行的索引(index)互换，即可用于判断水平向的边缘。

前述实施例均是以未经过影像杂讯抑制方法处理的像素为例来说明，然而，利用影像杂讯抑制方法处理输入影像时，可由列的顺序或是行的顺序依次处理每一像素，因此，本案的一实施例是利用已经过影像杂讯抑制方法处理后的校正像素的像素值来进行影像杂讯抑制方法。以图5为例(但不以此为限)，当第i-1列的像素已经过前述影像杂讯抑制方法处理，则其像素值为已经过影像杂讯抑制后的校正像素的像素值，此类像素标示为R_p。因此，(式2)、(式4)以及(式5)可据此修改为以下的(式2-1)、(式4-1)以及式(5-1)，藉以实施图2～4的影像杂讯抑制方法。

(式2-1)R_{avg_row_pre}(i，j)＝(R_p(i-1，j-2)+R_p(i-1，j-1)+4*R_p(i-1，j)+R_p(i-1，j+1)+R_p(i-1，j+2))/8

(式4-1)R_{avg_col_left}(i，j)＝(R(i，j-2)+R(i，j-1)+R_p(i-1，j-1)+R_p(i-1，j-2))/4

(式5-1)R_{avg_col_right}(i，j)＝(R(i，j+1)+R(i，j+2)+R_p(i-1，j+1)+R_p(i-1，j+2))/4

综上所述，因影像杂讯抑制方法200、300不在水平向或垂直向的影像边缘处进行校正，故可有效降低习知技术中的拖曳现象。

前述实施例中，提及了若影像边缘不存在，则将校正影像高频成分取代选取的像素。以下将描述如何产生此校正影像高频成分。还请留意，以下所述的高频影像成份是指影像变化较大的部份，低频影像成份是指影像变化较小的部份。

一并参照图1及图6来说明校正影像高频成分的产生方法，图6是根据本案一实施例所绘示的计算校正影像高频成分并产生校正影像的流程图。计算方法600包含步骤601至步骤609。

步骤601：选取输入影像的像素。

步骤603：计算对应于像素的影像低频成分，并据以产生相对应的影像高频成分。在一实施例中，将以(式9)及(式10)来计算影像低频成分及高频成分，其中(式9)及(式10)均以R通道的像素R(i，j)作为示例说明，亦可适用于G通道及B通道的像素。

(式9)R_LP(i，j)＝(3*R(i，j)+R(i-1，j-2)+R(i-1，j-1)+R(i-1，j)+R(i-1，j+1)+R(i-1，j+2))/8

(式10)R_HP(i，j)＝R(i，j)-R_LP(i，j)

其中，R_LP(i，j)及R_HP(i，j)分别代表对应于像素R(i，j)的影像低频成分及影像高频成分。(式9)将像素R(i，j)与前一列的5个像素的像素值做权重平均，以得到对应于像素R(i，j)的影像低频成分，(式10)将像素R(i，j)的像素值减去R_LP(i，j)，以得到对应于像素R(i，j)的影像高频成分R_HP(i，j)。需注意的是，影像低频成分的计算方式不以(式9)为限，其考虑的像素个数也不以6个为限，相应地，影像高频成分的计算方式不以(式10)为限。

步骤605：根据影像高频成分计算出校正影像高频成分Y_HP(i，j)。在一实施例中，将依(式11)来求得校正影像高频成分Y_HP(i，j)。

(式11)Y_HP(i，j)＝(R_HP(i，j)+2·G_HP(i，j)+B_HP(i，j))/4

其中，影像高频成分R_HP(i，j)、G_HP(i，j)以及B_HP(i，j)分别对应R、G、B通道，(式11)对影像高频成分R_HP(i，j)、G_HP(i，j)以及B_HP(i，j)做权重平均，以计算出校正影像高频成分Y_HP(i，j)，在一些实施例中，权重平均的权重系数不以(式11)为限。此外，于另一实施例中，校正影像高频成分Y_HP(i，j)可为R频道影像高频成分R_HP(i，j)、G频道影像高频成分G_HP(i，j)或B频道影像高频成分B_HP(i，j)。因此，校正影像高频成分Y_HP(i，j)可根据输入影像的至少一色彩频道上的影像高频成分来决定。

步骤607：根据校正影像高频成分Y_HP(i，j)产生校正影像的对应像素

(式12)R_p(i，j)＝R_LP(i，j)+Y_HP(i，j)

校正影像于R频道的对应像素的像素值R_p(i，j)为原来的影像低频成分R_LP(i，j)加上校正影像高频成分Y_HP(i，j)。

类似地，前述(式9)至(式12)的步骤不限于施行在未经影像杂讯抑制方法处理的像素，亦可施行于已经过影像杂讯抑制方法处理的像素。以图5为例，当第i-1列的像素已经过前述影像杂讯抑制方法处理，则其像素值为已经过影像杂讯抑制的像素值，此类像素标示为R_p。因此，前述(式9)可据此修改为以下的(式9-1)。

(式9-1)

R_LP(i，j)＝(3*R(i，j)+R_p(i-1，j-2)+R_p(i-1，j-1)+R_p(i-1，j)+R_p(i-1，j+1)+Rp(i-1，j+2))/8

其中，(式9-1)结合(式10)至(式12)的动作与(式9)结合(式10)至(式12)的动作相同，故在此不再赘述。

于一实施例中，本案提出一影像处理方法，除了包含前述的影像杂讯抑制方法来抑制影像的杂讯外，更包含一影像色彩校正方法来使影像的色彩更加理想。如图7所示，输入影像Img_in在经过前述的影像杂讯抑制方法处理后，会再经过影像色彩校正方法处理来产生校正影像Img_c，其中，影像色彩校正方法系根据色彩校正矩阵来处理影像杂讯抑制后的影像，色彩校正矩阵产生方法的详细内容将于底下详述。

色彩校正矩阵的产生方法包含下列步骤：输入包含复数个影像区块的比较影像，其中，比较影像可对应至输入影像；计算所有影像区块的每一色彩频道的像素统计值；根据像素统计值与目标统计值来计算出色彩校正矩阵。

更详细地来说，在一些实施例中，该比较影像可由拍摄一色卡所取得，此色卡可为常用于色彩校正的色彩旗盘格，例如GretagMacbethColorChecker，值得注意的是，该比较影像可对应至该输入影像，举例来说，该比较影像与该输入影像有相似的拍摄环境(如光源)。图8是根据本案一实施例所绘示的色卡的示意图，色卡800包含多个色块(即前述影像区块，仅绘示部份色块A～F)，每个色块具有不同的颜色。在输入完比较影像后，会计算比较影像的每一频道的像素统计值，举例来说，可在每个影像区块选取多个像素，并取平均以得到对应的平均像素，接著，加总所有影像区块的该平均像素后除以影像区块数目，以计算出像素统计值，如底下(式13)中所述的输入影像向量[R_input G_input B_input]^T，其中，T代表转置运算子(transpose operator)。目标统计值亦根据此色卡影像而产生，但可能跟比较影像具有不同的参数例如亮度、色温等，其每一频道的目标统计值可为(式13)中所述的目标影像向量[R_target G_target B_target]^T，根据输入影像向量[R_input G_input B_input]^T和目标影像向量[R_target G_target B_target]^T并利用最小平方法可计算出(式13)中的色彩校正矩阵(例如

)。也就是说，透过此色彩校正矩阵，可将输入影像向量调整为预期的目标影像向量。

(式13)

在一些实施例中，色彩校正矩阵不只有一个，可根据不同环境下的比较影像产生多个色彩校正矩阵。

图9绘示了根据本案一实施例的影像杂讯抑制装置。如图9所示，影像杂讯抑制装置900包含影像边缘侦测模组901以及校正模组903。影像边缘侦测模组901用以判断输入影像Img_in是否存在影像边缘。若判断影像边缘不存在，则校正模组903将输入影像Img_in至少一频道上的影像高频成分以校正影像高频成分取代来产生校正影像Img_c，若判断影像边缘存在，则校正模组903不对输入影像Img_in进行校正而直接将输入影像Img_in输出。

根据前述实施例，由于不在影像边缘处进行杂讯抑制动作，因此可降低习知技术中的拖曳现象。此外，经过前述色彩校正矩阵的处理，可让影像具有所预期的色彩，使影像品质更佳。

Claims (10)

1.一种影像处理方法，用以处理一输入影像，包含下述步骤：

选取该输入影像的一像素；

根据该输入影像的至少一第一像素对应的至少一第一校正像素以及该输入影像的至少一第二像素判断该像素是否为一第一影像边缘；以及

若该像素非为该第一影像边缘，将该像素的至少一频道上的影像高频成分以一第一校正影像高频成分取代，以作为一校正像素，若该像素为该第一影像边缘，维持该像素以作为该校正像素。

2.根据权利要求1所述的影像处理方法，其中，该至少一第一像素分别根据下述步骤产生对应的该至少一第一校正像素：

(i)判断该第一像素是否为一第二影像边缘；以及

(ii)若该第一像素非为该第二影像边缘，将该第一像素的至少一频道上的影像高频成分以一第二校正影像高频成分取代，以作为对应的该第一校正像素，若该第一像素为该第二影像边缘，维持该第一像素以作为该第一校正像素。

3.根据权利要求1所述的影像处理方法，其中，判断该像素是否为该第一影像边缘的步骤包含：

根据该像素以及该至少一第二像素于一第一频道上的像素值产生一第一参考值；

根据该至少一第一像素对应的该至少一第一校正像素于该第一频道上的像素值产生一第二参考值；

计算该第一参考值及该第二参考值的差异来产生一参考值差异；以及

根据该参考值差异判断像素是否为该第一影像边缘。

4.根据权利要求3所述的影像处理方法，其中，该像素为P(i，j)，该校正像素为P_p(i，j)，P(i，j)为该输入影像中第i列及第j行的像素，该至少一第一像素为该输入影像中的像素P(i-1，j-n)至像素P(i-1，j+n)，该至少一第二像素包含该输入影像中的像素P(i，j-n)至像素P(i，j-1)及像素P(i，j+1)至像素P(i，j+n)，n为正整数。

5.根据权利要求1所述的影像处理方法，其中，判断该像素是否为该第一影像边缘的步骤包含：

根据该像素的一边的m个第三像素于一第一频道上的像素值产生一第一参考值；

根据像素的另一边m个第四像素于该第一频道上的像素值产生一第二参考值，其中，当该m个第三像素的其中一者或该m个第四像素的其中一者为该第一像素时，该第一像素的像素值由对应的该第一校正像素的像素值所取代；

计算该第一参考值及该第二参考值的差异来产生一参考值差异；以及

根据该参考值差异判断该像素是否为该第一影像边缘。

6.根据权利要求1所述的影像处理方法，其中，判断该像素是否为该第一影像边缘的步骤包含：

根据该像素的一边的m个第三像素于一第一频道上的像素值产生一第一参考值；

根据像素的另一边m个第四像素于该第一频道上的像素值产生一第二参考值，其中，当该m个第三像素的其中一者或该m个第四像素的其中一者为该第一像素时，该第一像素的像素值由对应的该第一校正像素的像素值所取代；

根据该第一参考值与该像素于该第一频道上的像素值计算一第一参考值差异，并根据该第二参考值与该像素于该第一频道上的像素值计算一第二参考值差异；以及

根据该第一参考值差异及该第二参考值差异判断该像素是否为该第一影像边缘。

7.根据权利要求1所述的影像处理方法，其中该第一校正影像高频成分是根据该像素的该至少一频道上的该影像高频成分来决定。

8.根据权利要求7所述的影像处理方法，其中该影像高频成分可根据下述步骤产生：

根据该像素及该至少一第一校正像素于该频道的像素值计算出该像素于该频道的低频成分；以及

以该像素于该频道的像素值减去该低频成分来得到该像素于该频道的该影像高频成分。

9.根据权利要求1所述的影像处理方法，更包含：

根据一色彩校正矩阵校正该校正像素，其中该色彩校正矩阵可由下述步骤所产生：

将一比较影像定义为复数个影像区块，该比较影像对应于该输入影像；

分别计算每一该影像区块的每一频道的输入统计值；以及

根据该些输入统计值与多个目标统计值计算出该色彩校正矩阵。

10.一种影像处理装置，包含：

一影像边缘侦测模组，根据一输入影像的至少一第一像素对应的至少一第一校正像素以及该输入影像的至少一第二像素判断该输入影像的一像素是否为一第一影像边缘；以及

一校正模组，若该像素非为该第一影像边缘，将该像素的至少一频道上的影像高频成分以一第一校正影像高频成分取代，以作为一校正像素，若该像素为该第一影像边缘，维持该像素以作为该校正像素。

Images