CN113037991B - 信号处理装置与信号处理方法 - Google Patents

Abstract

一种信号处理装置，包括用以储存第一帧的第一帧缓冲器、用以储存第二帧的第二帧缓冲器，以及处理器。处理器耦接至第一帧缓冲器与第二帧缓冲器，用以根据第一帧与第二帧执行第一图像处理程序以取得第一帧的各像素所对应的超分辨率差值、并用以根据第一帧与第二帧执行第二图像处理程序以取得第一帧的各像素所对应的降噪值、选择性地将超分辨率差值与降噪值加回第一帧对应的像素以产生输出帧，以及将输出帧存入第二帧缓冲器作为第二帧。

Description

信号处理装置与信号处理方法

技术领域

本发明涉及一种信号处理装置，尤其涉及一种可运用时域和空间域降噪信息对影像进行类迭代反向投影的信号处理装置。

背景技术

超分辨率成像(Super-resolution imaging)是一种提高影像分辨率的技术。超分辨率成像技术可应用于把低分辨率图片重建为尺寸更大、像素更高、画质更优的图片，或者是不改变图片的尺寸而是基于相同分辨率之下增强影像清晰度，使得画面内容的锐化程度更好。

现有的超分辨率成像技术可采用深度学习以获得较好的结果，但其庞大的运算需求并不符合实际应用。此外，超分辨率成像技术于提升细节的同时，也增强了高频噪点，此为执行超分辨率成像操作所带来的副作用。

为解决上述问题，需要一种信号处理装置，其可有效节省硬件或软件储存成本，并且可于超分辨率成像的处理程序中达到增强细节同时减少高频噪点的效果。

发明内容

本发明的目的在于提供一种信号处理方法以及相关的信号处理电路，能够有效节省硬件或软件储存成本，并且可于超分辨率成像的处理程序中达到增强细节同时减少高频噪点的效果。

本发明的一个实施例提供一种信号处理装置，包括用以储存第一帧的第一帧缓冲器、用以储存第二帧的第二帧缓冲器，以及处理器。处理器耦接至第一帧缓冲器与第二帧缓冲器，用以根据第一帧与第二帧执行第一图像处理程序以取得第一帧的各像素所对应的超分辨率差值、并用以根据第一帧与第二帧执行第二图像处理程序以取得第一帧的各像素所对应的降噪值、选择性地将超分辨率差值与降噪值加回第一帧对应的像素以产生输出帧，以及将输出帧存入第二帧缓冲器做为第二帧。

本发明的另一实施例提供一种信号处理装置，适用于一种信号处理装置，信号处理装置包括用以储存第一帧的第一帧缓冲器、用以储存第二帧的第二帧缓冲器以及处理器，该方法由处理器所执行并包括：根据第一帧与第二帧执行第一图像处理程序以取得第一帧的各像素所对应的超分辨率差值；根据第一帧与第二帧执行第二图像处理程序以取得第一帧的各像素所对应的降噪值；选择性地将超分辨率差值与降噪值加回第一帧的对应的像素以产生输出帧；以及将输出帧存入第二帧缓冲器做为第二帧。

附图说明

图1是示出了根据本发明的一个实施例的信号处理装置的示意方块图。

图2是示出了根据本发明的一个实施例所述的一图像处理装置的示意方块图。

图3是示出了根据本发明的一个实施例所述的将影像放大、模糊化及缩小的示意图。

图4是示出了根据本发明的一个实施例所述的信号处理方法流程图。

图5是一影像对照图。

具体实施方式

图1是示出了根据本发明的一个实施例所述的信号处理装置的示意方块图。信号处理装置100可至少包括帧缓冲器(frame buffer)110与120以及处理器130。帧缓冲器110用以储存一第一帧，例如一当前帧(current frame)。当前帧是指处理器130目前正在处理的帧。帧缓冲器120用以储存一第二帧，例如一先前帧(previous frame)。其中，帧缓冲器110可从一影像源接收第一帧，例如，藉由一主机(图未示出)接收第一帧。

处理器130耦接至帧缓冲器110与120，用以根据第一帧与第二帧执行第一图像处理程序以取得第一帧的各像素所对应的一第一估计值，以及根据第一帧与第二帧执行第二图像处理程序以取得第一帧的各像素所对应的一第二估计值。根据本发明的一个实施例，第一图像处理程序可以是一迭代反向投影(Iterative Back Projection，缩写IBP)程序，处理器130可根据第一帧与第二帧执行IBP程序以估计出第一帧的各像素所对应的超分辨率差值。此外，根据本发明的一个实施例，第二图像处理程序可以是一三维降噪(3D noisereduction，缩写3DNR)程序，处理器130可根据第一帧与第二帧执行3DNR程序以估计出第一帧的各像素所对应的降噪值。

根据本发明的一个实施例，处理器130可选择性地将超分辨率差值与降噪值加回第一帧以产生一输出帧。输出帧可被提供给下一级的信号处理装置(若有)或处理器130内的其他处理电路(若有)做后续的处理，或者可被提供至显示器150使其被显示出来。此外，输出帧还被存回帧缓冲器120以取代原先储存的第二帧(先前帧)，而于处理器130完成当前帧的图像处理后，也可从一影像源(图未示)取得下一帧存入帧缓冲器110。即，处理器130也可将经处理过的当前帧(上述的输出帧)存回帧缓冲器120作为下一帧的先前帧，以实现迭代的图像处理流程。

处理器130可包括图像处理装置131与132。图像处理装置131用以执行第一图像处理程序，例如上述的IBP程序。图像处理装置132用以执行第二图像处理程序，例如上述的3DNR程序。图像处理装置131与132可以是处理器130中的部分电路。根据本发明的一个实施例，图像处理装置131与132可平行地根据帧缓冲器110与120所储存的数据对帧缓冲器110所储存的第一帧(当前帧)执行对应的图像处理程序，以产生输出帧。因此，图像处理装置131与132实际上共享帧缓冲器110与120所储存的数据。图像处理装置131与132可同时根据帧缓冲器110与120所储存的数据执行对应的图像处理程序，并且各自将其所产生的估计值选择性地加回当前帧以产生输出帧。因此，输出帧为当前帧经IBP及3DNR程序增强后的结果。

需注意的是，在本发明的其他实施例中，图像处理装置131与132也可被整合为一体。因此，本发明并不限于图1所示的结构。

图2是示出了根据本发明的一个实施例所述的一图像处理装置示意性的方块图。图像处理装置200可用以执行IBP程序。如上所述，图像处理装置200可以是图1的图像处理装置131，或者可被整合于图像处理装置132，或者可直接被视为处理器130的一部分电路。

首先，图像处理装置200从帧缓冲器取得先前帧数据以及当前帧数据。

接着，升频装置210可将先前帧放大，以产生一放大的影像。即，影像的尺寸被放大，或者说分辨率被提高。例如，升频装置210可将先前帧放大为两倍。升频装置210可由一线性内插器、一高通滤波器或一低通滤波器实施。

接着，模糊化装置220可根据一模糊函数针对放大的影像进行模糊化，以产生模糊化的影像。此操作可仿真从高分辨率投影至低分辨率时的清晰度损失，同时也可以避免降低分辨率时产生的混叠效应(aliasing effect)。模糊化装置220可由一低通滤波器实施，其尺寸可依成本需求弹性选择。接着，降频装置230将模糊化的影像缩小，以产生一缩小的影像。即，影像的尺寸被缩小，或者说分辨率被降低。此操作可得到仿真的低分辨率影像，且经降频装置230缩小的影像的分辨率与当前帧相同。降频装置230可由一高通滤波器或一低通滤波器实施，其尺寸可依成本需求弹性选择。

接着，减法器240将当前帧数据与降频装置230的输出相减，以得到当前帧的超分辨率差值(如图所示的差值Diff)。

根据本发明的一个实施例，图像处理装置200(或处理器130)可选择性地将差值Diff提供至加法器250，加法器250可用以将差值Diff(或者在其他实施例中还包括降噪值)加回到当前帧，以得到一增强的当前帧。选择性地加回差值Diff的目的在于避免增强的当前帧因为加回差值Diff而产生失真，以确保输出帧的影像质量。

需注意的是，虽然以上说明是以当前帧/先前帧作为示例，实际上图2所示的当前帧数据/先前帧数据可以是选择当前帧/先前帧的一像素作为一当前像素(目前正在处理的像素)，并取得当前像素于当前帧/先前帧的像素值，或者取得当前像素与一个或多个相邻像素于当前帧/先前帧的像素值作为当前帧数据/先前帧数据。

更具体地说，图像处理装置200可以以滑动窗口的方式于当前帧/先前帧中依次以当前像素为中心取一特定大小(例如，5*5像素区块)的影像区块的数据作为当前帧/先前帧数据，并由上述流程处理该影像区块的数据以得到一增强的影像区块。最终，增强的影像区块中的当前像素所对应的像素值即为当前像素于输出帧中所对应的像素值。

图3是示出了根据本发明的一个实施例所述的将影像放大、模糊化及缩小的示意图。如图所示，输入帧310可以是上述先前帧数据，其以当前像素为中心在先前帧中取一特定大小的影像区块的数据。输入帧经内插放大后，得到放大的影像320。放大的影像除了包含输入帧的原始像素外，还包含了由线性内插而产生的内插的像素。放大的影像经模糊化后得到模糊化的影像330，其中各像素皆被模糊化处理。模糊化的影像最后被缩小成为与输入帧具有相同尺寸的仿真的低分辨率影像340。

图4是示出了根据本发明的一个实施例所述的信号处理方法的流程图。信号处理方法适用于如图1所示的信号处理装置，并可由处理器130执行以下步骤：

步骤S402:根据第一帧与第二帧执行第一图像处理程序以取得第一帧的各像素所对应的一超分辨率差值。

步骤S404:根据第一帧与第二帧执行第二图像处理程序以取得第一帧的各像素所对应的一降噪值。

步骤S406:选择性地将超分辨率差值与降噪值加回第一帧对应的像素以产生一输出帧。

步骤S408:将输出帧存入第二帧缓冲器做为第二帧。

需注意的是，本发明并不限制执行步骤S402与步骤S404的先后顺序。只要处理器130最终将经步骤S402与步骤S404处理过后的输出帧存回帧缓冲器作为下一帧的先前帧，本发明并不限于任一种执行步骤S402与步骤S404的安排。例如，步骤S404可在步骤S402之前或之后被执行，或者步骤S402与步骤S404可同时且平行地被执行，或者步骤S402与步骤S404中的细节操作可穿插被执行。

此外，在步骤S406中，处理器130(或对应的图像处理装置)可有条件地加回超分辨率差值与降噪值，以确保影像质量。

根据本发明的一个实施例，在步骤S404中，处理器130可对当前帧执行运动估计(motion estimation)，以得知当前帧的哪些影像区块为运动中区块，并根据此信息判断是否于步骤S406中加回超分辨率差值与降噪值。前述运动估计的计算可参考美国专利(US20150373235A1)。

具体而言，处理器130在判断出哪些影像区块为运动中区块后，可对应地为各影像区块的中心像素设定一运动旗标值，用以指示此中心像素或此影像区块是否为一运动中像素/区块。因此，在判断是否加回超分辨率差值与降噪值时，处理器130可取得当前像素所对应的运动旗标值，并判断当前像素是否为一运动中像素。

在当前像素为一运动中像素时，处理器130可决定不将当前像素所对应的超分辨率差值加回当前像素(即，加回当前像素所对应的像素值)，或者决定将当前像素所对应的超分辨率差值减量后(例如，减少50％)，再加回当前像素，以避免残影现象。在当前像素并非一运动中像素时，处理器130可决定直接将当前像素所对应的超分辨率差值加回当前像素。

类似地，在当前像素为一运动中像素时，处理器130可决定不将当前像素所对应的降噪值加回当前像素，或者决定将当前像素所对应的降噪值减量后，再加回当前像素。在当前像素并非一运动中像素时，处理器130可决定直接将当前像素所对应的降噪值加回当前像素。

根据本发明的另一实施例，于步骤S406中，处理器130可决定当前像素与当前像素的一个或多个相邻像素中的一最大值与一最小值，并根据此信息判断是否加回超分辨率差值。

具体而言，处理器130可判断最大值与最小值的一差值是否大于一高阀值或小于一低阀值。当此差值大于高阀值或小于低阀值时，代表当前像素位于明显边缘区或平坦区，处理器130可决定不将当前像素所对应的超分辨率差值加回当前像素，或者决定将当前像素所对应的超分辨率差值减量后，再加回当前像素。当此差值介于高阀值与低阀值之间时，处理器130可决定将当前像素所对应的超分辨率差值加回当前像素。

或者，处理器130可根据最大值与最小值决定一高阀值与一低阀值，例如，直接取最大值与最小值作为所述的高阀值与低阀值，或者将最大值与最小值加上一既定数值而计算出所述的高阀值与低阀值。处理器130可判断将当前像素所对应的超分辨率差值加回当前像素后所得的一增强的像素值是否大于高阀值或小于低阀值。当增强的像素值大于高阀值或小于低阀值时，处理器130可决定不将当前像素所对应的超分辨率差值加回当前像素，或者决定将当前像素所对应的超分辨率差值减量后，再加回当前像素。当增强的像素值介于高阀值与低阀值之间时，处理器130可决定将当前像素所对应的超分辨率差值加回当前像素。

图5是一影像对照图，其中图5左侧为原始影像，右侧为根据本发明的一个实施例结合3DNR降噪及IBP处理后所得的影像。如图所示，经由3DNR降噪及IBP处理后，影像更为清晰，画面细节的锐化程度更好。

综上所述，在本发明的信号处理流程中，利用时域和空间域降噪信息(即，经3DNR降噪处理后的输出帧)进行IBP程序，其用以在连续影像上实施超分辨率增强，相较于先前超分辨率成像的技术，所得到的增强的影像具有噪点更少的改善效果。

此外，由于图像处理装置131与132实际上共享帧缓冲器110与120所储存的数据，因此可实现IBP中迭代的部分，并且可有效节省硬件或软件储存成本。此外，因当前帧除经过IBP程序外也通过3DNR降噪处理，使输出的超分辨率的影像能同时具有增强细节及减少跳动噪点的视觉效果。

此外，本发明的信号处理方法针对运动中区块选择不将超分辨率差值/降噪值加回或减量加回，以维持适当的模糊效果，藉此可避免使输出的超分辨率的影像产生过度的失真，维持良好的影像质量。

以上所述仅为本发明的优选实施例，凡依本发明申请范围所做的同等变化与修改，皆应属本发明的涵盖范围。

【符号说明】

100 信号处理装置

110、120 帧缓存器

130 处理器

131、132、200 图像处理装置

150 显示器

210 升频装置

220 模糊化装置

230 降频装置

240 减法器

250 加法器

310 输入帧

320 放大的影像

330 模糊化的影像

340 仿真的低分辨率影像

Diff 差值

Claims (10)

1.一种信号处理装置，包括：

一第一帧缓冲器，用以储存一第一帧；

一第二帧缓冲器，用以储存一第二帧；以及

一处理器，其耦接至所述第一帧缓冲器与所述第二帧缓冲器，用以根据所述第一帧与所述第二帧执行一第一图像处理程序以取得所述第一帧的各像素所对应的一超分辨率差值，并用以根据所述第一帧与所述第二帧执行一第二图像处理程序以取得所述第一帧的各像素所对应的一降噪值，选择性地将所述超分辨率差值与所述降噪值加回所述第一帧对应的所述像素以产生一输出帧，以及将所述输出帧存入所述第二帧缓冲器作为所述第二帧。

2.根据权利要求1所述的信号处理装置，其特征在于，所述处理器包括：

一第一图像处理装置，用以执行所述第一图像处理程序；以及

一第二图像处理装置，用以执行所述第二图像处理程序，

其中所述第一图像处理装置与所述第二图像处理装置共享所述第一帧缓冲器与所述第二帧缓冲器。

3.根据权利要求1所述的信号处理装置，其特征在于，所述处理器还取得所述第一帧的一当前像素所对应的一运动旗标值，所述运动旗标值用以指示所述当前像素是否为一运动中像素，所述处理器根据所述当前像素所对应的所述运动旗标值判断是否将所述当前像素所对应的所述超分辨率差值以及/或所述降噪值加回所述当前像素。

4.根据权利要求3所述的信号处理装置，其特征在于，当所述当前像素所对应的所述运动旗标值指示所述当前像素为一运动中像素时，所述处理器不将所述当前像素所对应的所述超分辨率差值加回所述当前像素。

5.根据权利要求3所述的信号处理装置，其特征在于，当所述当前像素所对应的所述运动旗标值指示所述当前像素为一运动中像素时，所述处理器将所述当前像素所对应的所述超分辨率差值减量后加回所述当前像素。

6.根据权利要求3所述的信号处理装置，其特征在于，当所述当前像素所对应的所述运动旗标值指示所述当前像素为一运动中像素时，所述处理器不将所述当前像素所对应的所述降噪值加回所述当前像素。

7.根据权利要求1所述的信号处理装置，其特征在于，所述处理器根据一当前像素与所述当前像素的一或多个相邻像素判断是否将所述超分辨率差值加回所述当前像素。

8.根据权利要求7所述的信号处理装置，其特征在于，所述处理器进一步决定所述当前像素与所述当前像素的所述一个或多个相邻像素中的一最大值与一最小值，并且判断所述最大值与所述最小值的一差值是否大于一高阀值或小于一低阀值，当所述差值大于所述高阀值或小于所述低阀值时，所述处理器不将所述当前像素所对应的所述超分辨率差值加回所述当前像素。

9.根据权利要求7所述的信号处理装置，其特征在于，所述处理器进一步决定所述当前像素与所述当前像素的所述一个或多个相邻像素的中的一最大值与一最小值，根据所述最大值与所述最小值决定一高阀值与一低阀值，并且判断将所述当前像素所对应的所述超分辨率差值加回所述当前像素后所得的一增强的像素值是否大于所述高阀值或小于所述低阀值，当所述增强的像素值大于所述高阀值或小于所述低阀值时，所述处理器不将所述当前像素所对应的所述超分辨率差值加回所述当前像素。

10.一种信号处理方法，适用于一种信号处理装置，所述信号处理装置包括用以储存一第一帧的一第一帧缓冲器、用以储存一第二帧的一第二帧缓冲器以及一处理器，所述方法由所述处理器所执行并包括：

根据所述第一帧与所述第二帧执行一第一图像处理程序以取得所述第一帧的各像素所对应的一超分辨率差值；

根据所述第一帧与所述第二帧执行一第二图像处理程序以取得所述第一帧的各像素所对应的一降噪值；

选择性地将所述超分辨率差值与所述降噪值加回所述第一帧对应的所述像素以产生一输出帧；以及

将所述输出帧存入所述第二帧缓冲器作为所述第二帧。

Images