CN102982509B - 图像处理电路 - Google Patents

Abstract

本发明提供图像处理电路，包含至少一个处理单元，每一处理单元执行迭代调整图像增强的迭代，且包含：第一像素撷取模块按光栅扫描顺序输入第一图像的像素数据并撷取该第一图像的第一图像区块的像素数据；参考像素撷取模块按光栅扫描顺序输入参考图像的像素数据并撷取参考图像的参考图像区块的像素数据；误差计算模块根据第一图像的像素数据与参考图像的像素数据执行误差计算，产生与第一图像区块的特定像素有关的一个或多个迭代误差项；更新模块基于与特定像素有关的一个或多个迭代误差项更新特定像素，产生用于迭代的第一图像的更新版本。本发明在区块处理单元内执行迭代调整图像增强而不使用回馈路径，以节省数据访问的带宽需求。

Description

图像处理电路

技术领域

本发明有关于例如用于退化图像的图像复原(restoration)/增强的图像处理，且特别有关于用于基于区域的迭代调整的图像增强方法、图像增强装置及图像处理电路。

背景技术

因为用于退化图像的图像复原/增强问题尚没有平凡(trivial)解，所以例如分辨率增强(也就是，插值)、去模糊(deblur)处理及噪声移除等问题，已成为一个难题。举例来说，假设g_v是代表退化图像的退化图像向量而f_v是代表原始图像的原始图像向量，通过退化模型，退化图像可描述如下：

g_v＝DBf_v+η；

其中，B代表模糊矩阵，D代表次抽样矩阵，且η代表噪声向量，而模糊矩阵B与噪声向量η未知。

发明内容

有鉴于此，本发明提供了一种图像处理电路。

本发明提供了一种图像处理电路，包含：至少一个处理单元，处理单元的每一者用于执行迭代调整图像增强的迭代，处理单元的每一者包含：第一像素撷取模块，用于按光栅扫描顺序输入第一图像的像素数据以及撷取第一图像的第一图像区块的像素数据；参考像素撷取模块，用于按光栅扫描顺序输入参考图像的像素数据以及撷取参考图像的参考图像区块的像素数据，其中关于参考图像的参考图像区块的相对位置与尺寸，对应于关于第一图像的第一图像区块的相对位置与尺寸；误差计算模块，用于根据第一图像的像素数据与参考图像的像素数据执行误差计算，以产生与第一图像区块的特定像素有关的一个或多个迭代误差项；以及更新模块，用于基于与特定像素有关的一个或多个迭代误差项更新特定像素，以产生用于迭代的第一图像的更新版本。

本发明提供的图像处理电路，在区块处理单元内执行迭代调整图像增强而不使用回馈路径，可节省数据访问的带宽需求。

附图说明

图1是根据本发明第一实施方式的用于基于区域的迭代调整的图像增强装置的示意图。

图2是根据本发明一个实施方式的用于基于区域的迭代调整的图像增强方法的流程图。

图3是根据本发明一个实施方式的图2所示的方法的实施细节的例子的示意图。

图4是根据本发明一个实施方式的基于整个帧不分区块的方式进行迭代调整的图像增强装置的示意图。

图5是根据图3所示的实施方式的一个变形，图4中所示的处理引擎与DRAM之间的数据流以及分别对应于上述数据流的数据量的示意图。

图6是根据本发明第二实施方式的用于基于区域的迭代调整的图像增强装置的示意图。

图7是根据本发明另一个实施方式的基于帧的用于迭代调整的图像增强装置的示意图。

图8是根据图3中所示的实施方式的一个变形，图7中所示的处理引擎与DRAM之间的数据流以及分别对应于上述数据流的数据量的示意图。

图9是根据图3中所示的实施方式的特定情况，图1或图6中所示的区块引擎与DRAM之间的数据流以及分别对应于上述数据流的数据量的示意图。

图10是应用于图9中所示的实施方式的多个区域中的一个的细节的示意图。

图11是根据图9中所示的实施方式，图1或图6中所示的区块引擎与DRAM之间的某些数据流的序列的例子的示意图。

图12是根据本发明的第三实施方式的DRAM与多个区块引擎之间的某些数据流的序列的例子的示意图。

图13是图12中所示的多个区块引擎的某些操作的示意时序图。

图14是根据本发明的第四实施方式的DRAM与多个区块引擎之间的某些数据流的序列的例子的示意图。

图15是图14中所示的多个区块引擎的某些操作的示意时序图。

图16是根据本发明一个实施方式的包含至少一个处理单元的图像处理电路的示意图。

图17是图16中所示的实施方式中的待更新的特定像素的相对位置的示意图。

图18是根据图16中所示的实施方式的特定情况的对称过滤机制的示意图。

图19是根据图16中所示的实施方式的一个变形的包含多个处理单元的图像处理电路的示意图。

具体实施方式

在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提到的“包含”为开放式的用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。

请参考图1，图1是根据本发明第一实施方式的用于基于区域的迭代调整的图像增强装置100的示意图，其中图像增强装置100包含用于存储图像数据的存储器，图像增强装置100更包含用于执行迭代调整图像增强的一个或多个区域引擎。根据本实施方式，存储器是动态随机访问存储器(dynamicrandom access memory，以下简称为DRAM)105，并且区域引擎是区块引擎。举例来说，本实施方式的图像增强装置100包含例如区块引擎110的单个区域引擎。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本实施方式的一个变形，图像增强装置100包含例如多个区块引擎的两个或多个区域引擎。根据本实施方式的另一个变形，存储器(例如DRAM 105)位于图像增强装置100之外。

如图1所示，上述例如区块引擎110的区域引擎包含计算逻辑与寄存器单元112(图中标示为“计算逻辑与寄存器单元”)，且此区域引擎更包含例如两个静态随机访问存储器(static random access memory，以下简称为SRAM)114与SRAM 116的多个区域缓冲器。根据本实施方式，计算逻辑与寄存器单元112用于执行区域引擎的操作，更确切来说，计算逻辑与寄存器单元112用于执行迭代调整图像增强的操作。两个区域缓冲器SRAM 114与SRAM 116用于在迭代之前/后存储数据。

更确切来说，区域缓冲器包含第一区域缓冲器与第二区域缓冲器，其中第一区域缓冲器用于在迭代之前/后存储数据、第二区域缓冲器则用于同一迭代之后/前存储数据且第一区域缓冲器与第二区域缓冲器在下一迭代过程中交换角色。根据本实施方式，对于特定迭代，SRAM 114在这个迭代之前存储数据且SRAM 116在这个迭代之后存储数据。然后，对于下一迭代，SRAM116在这个迭代之前存储数据且SRAM 114在这个迭代之后存储数据。更详细的描述请参考图2。

图2是根据本发明一个实施方式的用于基于区域的迭代调整的图像增强方法的流程图。图2所示的方法可应用于装置100，更确切来说，此方法可应用于上述区域引擎(例如区块引擎110)。此方法描述如下。

在步骤910中，对于图像的每一区域，一个或多个区域引擎中的一个区域引擎(例如区块引擎110)用于执行这个区域的最近代表函数(latestrepresentative function)的目标函数的至少一个梯度计算，且根据梯度计算更新最近代表函数，举例来说，至少一个梯度计算可以是最近代表函数的优化程序。

在步骤920中，对于图像的这个区域，当至少一个预定收敛准则(例如单个收敛准则或多个收敛准则)没有被满足时，步骤910中提到的相同区域引擎(例如区块引擎110)用于根据最近代表函数的相同目标函数的至少一个梯度计算，迭代地更新最近代表函数。

在步骤930中，对于图像的这个区域，当至少一个预定收敛准则(例如单个收敛准则或多个收敛准则)被满足时，步骤910中提到的相同区域引擎(例如区块引擎110)用于对这个区域的最近代表函数执行后处理以产生对应于这个区域的迭代调整的部分图像。

请注意，应用于步骤920与步骤930中的收敛准则的数目可以是一个或多个。举例来说，可以仅应用一个收敛准则来决定是否执行步骤920或步骤930。在另一个例子中，可应用两个或多个收敛准则来决定是否执行步骤920或步骤930。

根据本实施方式，对于图像的所有区域，上述一个或多个区域引擎(例如区块引擎110)配置为应用相同的收敛准则以决定是否执行步骤920或步骤930。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本实施方式的一个变形，对于图像的多个区域，上述一个或多个区域引擎(例如区块引擎110)配置为应用各自的预定收敛准则。

在本实施方式中，目标函数对应于图像增强算法。此外，对于图像的所有区域，上述一个或多个区域引擎(例如区块引擎110)配置为应用相同的目标函数。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本实施方式的一个变形，对于图像的多个区域，上述一个或多个区域引擎(例如区块引擎110)配置为应用所述区域的最近代表函数的各自的目标函数。目标函数对应于各自的图像增强算法。因在本变形中应用多个目标函数，故可将各种图像增强算法运用到所述区域。

图3是根据本发明一个实施方式的图2所示的方法的实施细节的例子的示意图，其中符号“g”代表在步骤910中提到的图像(例如上述退化图像)且符号“f*”代表生成图像。

在本实施方式中，步骤910中提到的区域引擎(例如区块引擎110)用于为上述图像(例如上述退化图像)的每一区域执行如图3所示的工作流程，其中对于每一区域此工作流程以预处理操作(图中标示为“预处理(f⁰)”)开始且以后处理操作(图中标示为“后处理”)结束。结果，步骤910中提到的区域引擎(例如区块引擎110)产生分别对应所述区域的多个迭代调整的部分图像，以产生生成图像“f*”，其中生成图像“f*”包含上述迭代调整的部分图像。特别地，生成图像“f*”由上述迭代调整的部分图像组成。

根据图3所示的工作流程，步骤910中提到的区域引擎(例如区块引擎110)为每一区域执行循环，其中此循环是介于预处理操作与后处理操作之间。举例来说，此循环的第一迭代对应于这个区域的步骤910，其中符号fⁿ代表步骤910中提到的最近代表函数，迭代指数n等于初始值0而J代表步骤910中提到的目标函数。在第一迭代(n＝0)开始时，最近代表函数fⁿ等于从预处理操作取得的f⁰。

请注意，本实施方式的目标函数J是数据保真度函数与事前(prior)知识导引调整函数的线性组合，目标函数J可根据下述等式描述：

J(f)＝J_D(f)+λJ_P(f)…………………………………(1)；

其中符号J_D代表数据保真度函数且J_P代表事前知识导引调整函数。根据等式(1)，步骤910中提到的区域引擎(例如区块引擎110)通过将数据保真度函数J_D与事前知识导引调整函数J_P相加计算目标函数，其中此事前知识导引调整函数J_P被拉格朗日乘数λ(在本实施方式中也可被称为调整参数(parameter))加权且此拉格朗日乘数λ用于控制数据保真度函数J_D与事前知识导引调整函数J_P之间的折衷(tradeoff)。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本实施方式的一个变形，目标函数J是数据保真度函数与多个事前知识导引调整函数的线性组合，目标函数J可根据下述等式描述：J(f)＝J_D(f)+λ₁J_P1(f)+λ₂J_P2(f)+…；其中，J_P1、J_P2、…等代表事前知识导引调整函数。根据上述等式，步骤910中提到的区域引擎(例如区块引擎110)通过将数据保真度函数J_D与事前知识导引调整函数J_P相加计算目标函数，其中此事前知识导引调整函数J_P1、J_P2、…等分别被拉格朗日乘数λ₁、λ₂、…等加权。

实际上，数据保真度函数J_D用于代表重建误差，而事前知识导引调整函数J_P与J_P1、J_P2、…等用于代表涉及期望解的事前知识。因此，当计算梯度时，重建误差与事前知识都应被考虑到。

根据本实施方式，如图3所示的工作流程的目标是分别对应于所述区域的迭代调整的部分图像找到最佳解，其可通过对每一区域的迭代以最小化目标函数J来实现。更确切来说，步骤910中提到的区域引擎(例如区块引擎110)通过计算最近代表函数fⁿ的目标函数J的导数J’(fⁿ)，执行所述区域的最近代表函数fⁿ的目标函数J的梯度计算，且根据最近代表函数fⁿ的目标函数J的导数J’(fⁿ)更新最近代表函数fⁿ。

请参考图3(特别是图中标示为“图像更新”的方框)，步骤910中提到的区域引擎(例如区块引擎110)用步长α(J’(fⁿ))更新最近代表函数fⁿ，以更新最近代表函数fⁿ代表之中间(intermediate)部分图像，其中步长α(J’(fⁿ))等于最近代表函数fⁿ的目标函数J的导数J’(fⁿ)的函数α，且它可以是增量或减量。本实施方式的函数α可以是线性函数。举例来说，步长α(J’(fⁿ))可以是增量/减量(即增量或减量)，此增量/减量的绝对值正比于最近代表函数fⁿ的目标函数J的导数J’(fⁿ)的函数，更确切来说，正比于导数J’(fⁿ)的预定百分比。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本实施方式的一个变形，函数α可以是非线性函数。

只要收敛准则没有被满足，则步骤910中提到的区域引擎(例如区块引擎110)操作对应于步骤920的一个或多个后续迭代。在本实施方式中，当进入后续迭代时，迭代指数n以等于一的增量增加。

根据本实施方式的特定情况，目标函数J可定义如下：J(f)＝||g–DBf||²+λ||Hf||_Wt ²；其中，算子H是高通过滤器、算子||||代表l₂范数(norm)、以及符号W_t代表基于邻域(neighborhood)的内容计算的加权矩阵。结果，步骤910中提到的区域引擎(例如区块引擎110)可根据以下等式更新最近代表函数fⁿ：

fⁿ⁺¹＝fⁿ+α(J’(fⁿ))

＝fⁿ+α(J’_D(fⁿ)+λJ’_P(fⁿ))；

其中：

J’_D(fⁿ)＝B^TD^T(g–DBfⁿ)；且

J’_P(fⁿ)＝J’_S(fⁿ)＝H^TW_tHfⁿ。

此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本实施方式的一个变形，目标函数J可是更加复杂。因此，需要较好的硬件资源用于实施如图1所示的计算逻辑与寄存器单元112(图中标示为“计算逻辑与缓冲器”)。

请参考图4与图5。图4是根据本发明一个实施方式的基于整个帧不分区块的方式进行迭代调整的图像增强装置500的示意图，其中图像增强装置500包含DRAM 105与处理引擎510，处理引擎510包含计算逻辑与寄存器单元512(图中标示为“计算逻辑与寄存器单元”)。图5是根据图3所示的实施方式的一个变形，图4中所示的处理引擎510与DRAM 105之间的数据流以及分别对应于上述数据流的数据量的示意图。

如图5所示，例如Wz、N、S、及I的参数用于描述分别对应于上述数据流的数据量。参数Wz代表用于处理区域中的像素的窗口W的窗口尺寸。也就是，参数Wz的值与窗口W中的像素数量相等。此外，参数N代表输入图像的尺寸。也就是，参数N的值与输入图像中的像素数量相等。另外，参数S代表缩放因子(scaling factor)，而参数I代表迭代数量，它是迭代指数n的最大值。

对于帧的至少一部分，处理引擎510首先从DRAM 105加载数据量为Wz×N的数据，以执行预处理操作(图中标示为“预处理(f⁰)”)。在预处理操作之后，处理引擎510将数据量为S²×N的数据存储到DRAM 105之中。在上述部分帧的迭代期间，处理引擎510从DRAM 105加载总数据量为I×Wz×S²×N的数据，且将总数据量为I×S²×N的数据存储到DRAM 105之中。另外，处理引擎510从DRAM 105加载数据量为Wz×S²×N的数据，以执行后处理操作(图中标示为“后处理”)。在后处理操作之后，处理引擎510将数据量为S²×N的数据存储到DRAM 105之中。

因此，每一帧的总访问字节(access bytes per frame，以下简称为ABPF)可描述如下：

ABPF＝(1+(I+1)×Wz×S²)×Wz×N+(I+2)×S²×N。

举例来说，假设N＝(720×480)、S＝2、I＝5、且Wz＝(8×8)，则ABPF＝34005657600(≌340M)。

预处理、梯度计算及后处理使用的窗口的窗口尺寸Wz可以与上述例子的窗口尺寸相同，或者在其他实施方式中窗口尺寸Wz也可以不同。

图6是根据本发明第二实施方式的用于基于区域的迭代调整的图像增强装置200的示意图。本实施方式中的图像增强装置200与图1中的图像增强装置100的不同之处在于图像增强装置200更包含区块列(region line)缓冲器218。如图6所示，图像增强装置200包含例如DRAM 105的存储器与例如区块引擎210的区域引擎。除上述的计算逻辑与寄存器单元112(图中标示为“计算逻辑与寄存器单元”)及SRAM 114与SRAM 116之外，区块引擎210更包含例如区块列缓冲器218的区域列缓冲器，此区域列缓冲器用于步骤910中的区域内的列缓冲。特别地，区块列缓冲器218包含一个或多个列缓冲器。

请参考图7与图8。图7是根据本发明另一个实施方式的基于帧的迭代调整的图像增强装置800的示意图，其中图像增强装置800包含DRAM 105与处理引擎810，处理引擎810包含计算逻辑与寄存器单元812(图中标示为“计算逻辑与寄存器单元”)与帧列缓冲器818。图8是根据图3中所示的实施方式的一个变形，图7中所示的处理引擎与DRAM之间的数据流以及分别对应于上述数据流的数据量的示意图。

如图8所示，参数N、S、及I用于描述分别对应于上述数据流的数据量。对于帧的至少一部分，处理引擎810首先从DRAM 105加载数据量为N的数据，以执行预处理操作(图中标示为“预处理(f⁰)”)。在预处理操作之后，处理引擎810将数据量为S²×N的数据存储到DRAM 105之中。在上述部分帧的迭代期间，处理引擎810从DRAM 105加载总数据量为I×S²×N的数据，且将总数据量为I×S²×N的数据存储到DRAM 105之中。另外，处理引擎810从DRAM 105加载数据量为S²×N的数据，以执行后处理操作(图中标示为“后处理”)。在后处理操作之后，处理引擎810将数据量为S²×N的数据存储到DRAM 105之中。

因此，每一帧的总访问字节ABPF可描述如下：

ABPF＝(2×I+3)×S²×N+N。

举例来说，假设N＝(720×480)、S＝2、I＝5、且Wz＝(8×8)，且区块列缓冲器218包含7个列缓冲器，ABPF＝18316800(≌18M)。

另外，用于实施本例子中的区块列缓冲器218所需的存储容量是：1440×7＝10080(≌10K)。

根据本发明的某些实施方式(例如上述实施方式或变形)，步骤910中提到的区域可代表上述图像(例如退化图像)的多个非重迭部分图像，步骤910中提到的区域引擎配置为应用所述区域的最近代表函数fⁿ以产生整个区域的更新版本。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本发明的某些实施方式，步骤910中提到的区域可代表上述图像(例如退化图像)的多个重迭部分图像，步骤910中提到的区域引擎配置为应用所述区域的最近代表函数fⁿ以产生区域的主要部分的更新版本。

请参考图9与图10。图9是根据图3中所示的实施方式的特定情况，图1或图6中所示的区块引擎与DRAM之间的数据流(例如区块引擎110与DRAM 105之间的数据流，或区块引擎210与DRAM 105之间的数据流)以及分别对应于上述数据流的数据量的示意图。图10是应用于图9中所示的实施方式的多个区域中的一个的细节的示意图。

请注意，图10所示的区域R₁、R₂、R₃、…等代表上述图像(例如退化图像)的多个重迭部分图像，其中区域R₁、R₂、R₃、…等分别包含内部(inner)区块B₁、B₂、B₃、…等。在多个区域R₁、R₂、R₃、…等的每一区域内，相关内部区块B包含b_w×b_h像素。除了内部区块B之外，区域R更包含壳(shell)，而本实施方式的壳包含内壳(图中标示为“内壳”)与外壳(图中标示为“外壳”)。如图10所示，内壳包含一层(layer)像素而外壳也包含一层像素，这意味着上述壳包含两层像素。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。通常，壳的厚度等于L_K，因此，壳的总尺寸L可如下表示：L＝4×L_K ²+2×L_K×b_h+2×L_K×b_w。

也就是，参数L的值代表上述壳的像素的数量。

如图9所示，除参数N与S以外，例如Rz与Bz的其他参数用于描述分别对应于上述数据流的数据量。参数Rz代表区域R的尺寸。也就是，参数Rz的值代表区域R的像素数量。此外，参数Bz代表位于区域R中心的内部区块B的尺寸。也就是，参数Bz的值代表内部区块B的像素数量，其中Bz＝b_w×b_h，b_w代表区块B的宽度而b_h代表区块B的高度。结果，Rz＝(Bz+L)。

对于步骤910中提到的区域，上述区域引擎(例如区块引擎110或区块引擎210)从DRAM 105加载数据量为Rz×(N/Bz)的数据，以执行预处理操作(图中标示为“预处理(f⁰)”)。在后处理操作之后，步骤910中提到的区域引擎将数据量为S²×N的数据存储到DRAM 105之中。此处，当有需要时，上述参数N与S可应用于本实施方式。

因此，每一帧的总访问字节ABPF可描述如下：

ABPF＝Rz×(N/Bz)+S²×N。

举例来说，假设N＝(720×480)、S＝2、I＝5、Bz＝(32×32)且Rz＝(40×40)，ABPF＝1922400(≌2M)。

根据本实施方式，从基于区域的实施产生的生成图像f*可与本发明的另一实施方式的基于帧的实施产生的生成图像完全相同，而本实施方式的基于区域的实施需要较少的硬件资源。

通常来说，区域R的上述提到的壳的像素(例如图10所示的内壳与外壳)也是其他区域的像素。请注意，区域R的壳用于防止区域之间的不一致。举例来说，假设梯度计算需要窗口尺寸为(3×3)的窗口(例如窗口W的窗口尺寸Wz等于(3×3))且假设L_K＝2并且I＝2，因如图10所示的外壳的像素的某些相邻像素的数据并不位于SRAM 114与SRAM 116的任何一个之中，故所述像素的像素值将在第一次迭代之后出错。此外，因相邻像素的某些错误像素值(例如外壳的像素的像素值)用于执行内壳的像素的梯度计算，故如图10所示的内壳的像素的像素值将在第二次迭代之后出错。因此，通过应用内部区块B₁、B₂、B₃、…等以产生生成图像f*，因内壳与外壳的像素值没有用作生成图像f*的像素值，故本发明保证了生成图像f*的正确性。迭代数量I取决于窗口尺寸Wz与防护像素的数量L_K。

图11是根据图9中所示的实施方式，图1或图6中所示的区块引擎与DRAM之间的某些数据流的序列(例如区块引擎110与DRAM 105之间的某些数据流的序列，或区块引擎210与DRAM 105之间的某些数据流的序列)的例子的示意图。为简便起见，列举图像增强装置200的区块引擎210作为例子，其中对应于图1的数据流的序列与对应于图11的数据流的序列相似。虚线所示的圆圈中的数字1、2、3、4、5、6、…等代表数据流序列。举例来说，步骤910中提到的区域引擎(例如区块引擎110或区块引擎210)首先从DRAM 105加载区域R₁的数据且对区域R₁执行如图9所示的工作流程，然后区域引擎将对应于区域R₁的迭代调整的部分图像的数据存储到DRAM105之中。之后，区域引擎(例如区块引擎110或区块引擎210)从DRAM 105加载区域R₂的数据且对区域R₂执行如图9所示的工作流程，然后区域引擎将对应于区域R₂的迭代调整的部分图像的数据存储到DRAM 105之中。类似地，区域引擎(例如区块引擎110或区块引擎210)对后续区域R₃、R₄、R₅、…等继续上述操作。

图12是根据本发明的第三实施方式的DRAM与多个区块引擎之间的某些数据流的序列的例子的示意图。本实施方式中的图像增强装置300与图1中的图像增强装置100或图6中的图像增强装置200不同。如图12所示，图像增强装置300包含例如DRAM 105的存储器与例如区块引擎210-1与区块引擎210-2的多个区域引擎，其中本发明的任何一个区块引擎(例如区块引擎210-1或区块引擎210-2)包含与如图1中所示的区块引擎110或如图6中所示的区块引擎210相同的元件。

虚线所示的圆圈中的数字1、2、3、4、…等代表数据流序列。举例来说，区块引擎210-1与区块引擎210-2从DRAM 105分别加载区域R₁与区域R₂的数据，且进一步对区域R₁与区域R₂分别执行如图9所示的工作流程。然后区块引擎210-1与区块引擎210-2将对应于区域R₁与区域R₂的迭代调整的部分图像的数据分别存储到DRAM 105之中。随后，区块引擎210-1与区块引擎210-2分别将区域R₃与区域R₄的数据加载到DRAM 105，且进一步对区域R₃与区域R₄分别执行如图9所示的工作流程。区块引擎210-1与区块引擎210-2将对应于区域R₃与区域R₄的迭代调整的部分图像的数据分别存储到DRAM 105之中。类似地，区块引擎210-1与区块引擎210-2对后续区域R₅、R₆、…等继续上述操作。

图13是图12中所示的区块引擎210-1与区块引擎210-2的某些操作的示意时序图，其中水平轴(图中标示为“t”)代表时间轴。根据本实施方式，符号“Load1”、“EXE1”与“Save1”分别代表由第一区块引擎(例如区块引擎210-1)对例如区域R₁的特定区域执行的加载操作、主要操作(即对区域执行图9所示的工作流程的右半部分的区域引擎操作)、及存储操作。另外，符号“Load2”、“EXE2”与“Save2”分别代表由第二区块引擎(例如区块引擎210-2)对例如区域R₂的下一区域执行的加载操作、主要操作、及存储操作。类似描述在本实施方式中不再赘述。

图14是根据本发明的第四实施方式的DRAM与多个区块引擎之间的某一数据流的序列的例子的示意图。本实施方式的图像增强装置400与图12中的图像增强装置300不同，图像增强装置400包含例如DRAM 105之存储器与例如区块引擎210-1与区块引擎210-2的多个区域引擎，且更包含用于仲裁区块引擎210-1与区块引擎210-2的操作的仲裁器420。更确切来说，仲裁器420是用于区块引擎210-1与区块引擎210-2的DRAM仲裁器。

图15是图14中所示的区块引擎210-1与区块引擎210-2的某些操作的示意时序图，其中水平轴(图中标示为“t”)代表时间轴。符号“Load1”、“EXE1”与“Save1”分别代表由第一区块引擎(例如区块引擎210-1)执行的加载操作、主要操作、及存储操作，符号“Load2”、“EXE2”与“Save2”分别代表由第二区块引擎(例如区块引擎210-2)执行的加载操作、主要操作、及存储操作。例如“Load3”、“EXE3”与“Save3”…等的其他符号可用于代表后续操作。举例来说，符号“Load3”、“EXE3”与“Save3”分别代表由第一区块引擎(例如区块引擎210-1)对例如区域R₃的后续区域执行的加载操作、主要操作、及存储操作。通过应用DRAM仲裁器，两个或多个区块引擎的操作可按高效方式调度。类似描述在本实施方式中不再赘述。

图16是根据本发明一个实施方式的包含至少一个处理单元的图像处理电路的示意图。更确切来说，上述图像处理电路包含至少一个如图16所示的处理单元PE-n的处理单元。

为避免混淆，特在此澄清对符号n相关的描述。根据本实施方式，符号n仍代表迭代指数。举例来说，当处理单元的总数量等于一时(其中此处理单元配置为在上述图像处理电路中执行调整图像增强)，就意味着在本实施方式中的迭代数量等于一，迭代指数n仅可以是零且处理单元PE-n实质上是处理单元PE-0。在另一个例子中，当处理单元的总数量等于预定处理单元数目时(其中此处理单元配置为在上述图像处理电路之中执行调整图像增强)，就意味着在本实施方式中的迭代数量等于预定处理单元数，迭代指数n可以是从零到预定处理单元数减一的范围内的整数。具体来说，例如图16中所示的处理单元PE-n的每一处理单元，用于执行迭代调整图像增强中的一个迭代。更具体来说，处理单元PE-n执行迭代调整图像增强中的第(n+1)次迭代。

根据本实施方式，例如图16中所示的处理单元PE-n包含第一像素撷取模块1610、参考像素撷取模块1620、误差计算模块1630、以及更新模块1640。如图16所示，第一像素撷取模块1610包含多个第一图像延迟线1612与耦接于第一图像延迟线1612的多个第一图像缓冲器集合1614，其中每一个标示为“DC”的功能方框代表延迟单元且每一个标示为“RG”的功能方框代表缓冲器。此外，参考像素撷取模块1620包含多个参考图像延迟线1622、耦接于参考图像延迟线1622的多个参考图像缓冲器集合1624及切换单元1626(在图16中标示为“SU”)。另外，误差计算模块1630包含多个例如分别标示为“Gen e_A”、“Gen e_B”、“Gen e_C”、及“Gen e_D”的误差项产生器。根据本实施方式，在例如图16中所示的处理单元PE-n的每一个处理单元的输出端及输入端之间不存在像素数据回馈路径。因为不存在回馈路径，所以当需要插入用于高速应用的管线缓冲器时，与现有技术相比，本发明可极大程度地节省芯片面积与相关成本。

请注意，第一图像延迟线1612与参考图像延迟线1622可与缓冲器实施。此描述只是用于说明本发明原理的目的，并不是作为本发明的限制。根据本实施方式的一个变形，第一图像延迟线1612与参考图像延迟线1622可与SRAM实施以实现小很多的芯片面积并节约相关成本。

在本实施方式中，每一个第一图像延迟线1612具有与第一图像s_n的第一图像宽度相等的延迟单元数，每一个参考图像延迟线1622具有与参考图像r_n的参考图像宽度相等的延迟单元数，其中第一图像宽度与参考图像宽度以像素为单位量测。因为在本实施方式中第一图像s_n的分辨率大于参考图像r_n的分辨率，所以第一图像s_n的第一图像宽度在图16中标示为“高分辨率图像宽度”，用于指示每一个第一图像延迟线1612的延迟单元数；参考图像r_n的参考图像宽度在图16中标示为“低分辨率图像宽度”，用于指示每一参考图像延迟线1622的延迟单元数。

处理单元PE-n的各自的部分的具体操作描述如下。第一像素撷取模块1610用于按光栅扫描顺序输入第一图像s_n的像素数据并且撷取第一图像s_n的第一图像区块的像素数据。参考像素撷取模块1620用于按光栅扫描(rasterscan)顺序输入参考图像r_n的像素数据并且撷取参考图像r_n的参考图像区块的像素数据，其中关于参考图像r_n的参考图像区块的相对位置与尺寸，对应于关于第一图像s_n的第一图像区块的相对位置与尺寸。更具体来说，第一图像延迟线1612用于输入第一图像s_n的像素数据，第一图像缓冲器集合1614用于撷取第一图像区块的像素数据。类似地，参考图像延迟线1622用于输入参考图像r_n的像素数据，参考图像缓冲器集合1624用于撷取参考图像区块的像素数据。

请注意切换单元1626是用于切换参考图像延迟线1622的输入路径，以控制参考图像r_n的像素数据的输入时序。更确切来说，在本实施方式中，切换单元1626用于对第一图像s_n的每隔一个样本与第一图像s_n的每隔一条延迟线使能参考图像延迟线1622的输入路径。由于如图16所示的构架，第一图像s_n按光栅扫描顺序以每一频率周期一个样本的速率被输入到第一像素撷取模块1610，而因切换单元1626的控制，参考图像r_n按光栅扫描顺序以较低速率被输入到参考像素撷取模块1620，使得关于参考图像r_n的参考图像区块的相对位置与尺寸，对应于关于第一图像s_n的第一图像区块的相对位置与尺寸。

此外，误差计算模块1630用于根据第一图像的像素数据与参考图像的像素数据执行误差计算，以产生与第一图像区块的特定像素(例如P_A、P_a、P_b、或P_c)有关的一个或多个迭代误差项。

根据本实施方式，误差计算模块1630用于从第一像素撷取模块1610(特别是第一图像缓冲器集合1614)以并行方式读取第一图像区块的各自的像素的像素数据。因为在本实施方式中存在五组第一图像缓冲器，每一组第一图像缓冲器具有五个缓冲器，第一图像区块的尺寸安排为(5×5)，并且误差计算模块1630以并行方式读取第一图像区块的(5×5)像素的像素数据。

类似地，误差计算模块1630用于从参考像素撷取模块1620(特别是参考图像缓冲器集合1624)以并行方式读取参考图像区块的各自的像素的像素数据。因为在本实施方式中存在两组参考图像缓冲器，每一组参考图像缓冲器具有两个缓冲器，参考图像区块的尺寸安排为(2×2)，并且误差计算模块1630以并行方式读取参考图像区块的(2×2)像素的像素数据。

请注意，在上述特定像素位于第一图像区块的中心的情形下，这个特定像素可以是此第一图像区块的中心像素。在上述情形下，第一图像缓冲器集合1614的中心缓冲器(也就是，第一图像缓冲器集合1614的中心集合的中心缓冲器)存储此特定像素的像素数据。

图17是图16中所示的实施方式中的待更新的特定像素(例如P_A、P_a、P_b、或P_c)的相对位置的示意图。举例来说，误差计算模块1630可根据下述等式产生迭代误差项e_A、e_B、e_C、及e_D：

e_A＝r_A-K*s_n,A；

e_B＝r_B-K*s_n,B；

e_C＝r_C-K*s_n,C；及

e_D＝r_D-K*s_n,D；

其中符号“K”代表例如(3×3)滤波核心(filter kernel)的滤波核心，而符号“*”表示在s_n,X的中心过滤，X指示上述等式中P_A、P_a、P_b、与P_c的任何一个像素P_X的像素位置。在本实施方式中，在图16中标示为“Gen e_A”、“Gen e_B”、“Gen e _C”、及“Gen e_D”的误差项产生器分别产生迭代误差项e_A、e_B、e_C、及e_D。实际上，基于上述等式涉及的计算，每一个误差项产生器可包含多个算术单元，例如多个乘法器与加法器连同一个或几个减法器。

另外，更新模块1640用于基于与特定像素(例如P_A、P_a、P_b、或P_c)有关的一个或多个迭代误差项(例如迭代误差项e_A、e_B、e_C、及e_D的一个或多个)更新该特定像素，以产生用于此迭代(例如迭代地调整的图像增强的第(n+1)次迭代)的第一图像s_n的更新版本。特别地，第一像素撷取模块1610用于改变与对齐关于第一图像s_n的第一图像区块的相对位置，且参考像素撷取模块1620用于改变与对齐关于参考图像r_n的参考图像区块的相对位置，以促使更新模块1640更新第一图像s_n的每一像素。

实际上，更新模块1640可根据下述等式更新特定像素P_A、P_a、P_b、及P_c：

s_n+1,A＝s_n,A+α_A e_A，

对于特定像素P_A；

s_n+1,a＝s_n,a+α_a(e_A K(1,0)+e_B K(-1,0))，

对于特定像素P_a；

s_n+1,b＝s_n,b+α_b(e_A K(0,1)+e_C K(0,-1))，

对于特定像素P_b；及

s_n+1,c＝s_n,c+α_c(e_A K(1,1)+e_B K(-1,1)+e_C K(1,-1)+e_D K(-1,-1))，

对于特定像素P_c；

其中符号α_A、α_a、α_b、及α_c分别代表特定像素P_A、P_a、P_b、及P_c的步长。举例来说，步长α_A、α_a、α_b、及α_c互相依赖。特别地，步长α_A、α_a、α_b、及α_c可以用与上述获得函数α的相同的方法获得，其中步长α_a、α_b、及α_c正比于步长α_A。类似描述在本实施方式中不再赘述。

请注意，通过应用第一像素撷取模块1610来改变与对齐关于第一图像s_n的第一图像区块的相对位置，且通过应用参考像素撷取模块1620来改变与对齐关于参考图像r_n的参考图像区块的相对位置，处理单元PE-n可使用相同方法继续另一像素集合的更新操作。举例来说，另一像素集合可为(2×2)的像素区块并且特定像素P_B为其左上像素，或者可为(2×2)的像素区块并且特定像素P_C为其左上像素，或者可为(2×2)的像素区块并且特定像素P_D为其左上像素等。

图18是根据图16中所示的实施方式的特定情况的对称过滤机制的示意图。在这个特定的情况下，上述提到的过滤是对称的。也就是，滤波核心K是对称的。由于运用了这个对称过滤方案，滤波核心加权值K(-1，-1)、K(-1，1)、K(1，-1)、及K(1，1)可以认为是相同的。类似地，滤波核心加权值K(0，-1)、K(0，1)、K(-1，0)、及K(1，0)可以认为是相同的。此外，更新模块1640因此可根据下述等式更新特定像素P_A、P_a、P_b、及P_c：

s_n+1,A＝s_n,A+α_A e_A，

对于特定像素P_A；

s_n+1,a＝s_n,a+α_a’(e_A+e_B)，

对于特定像素P_a；

s_n+1,b＝s_n,b+α_a’(e_A+e_C)，

对于特定像素P_b；及

s_n+1,c＝s_n,c+α_c’(e_A+e_B+e_C+e_D)，

对于特定像素P_c；

其中符号α_a’代表特定像素P_a与P_b的步长且符号α_c’代表特定像素P_c的步长。请注意，步长α_a’正比于步长α_a且步长α_c’正比于步长α_c。类似描述在本实施方式中不再赘述。

图19是根据图16中所示的实施方式的一个变形，包含多个处理单元PE-0、PE-1、PE-2、…等的图像处理电路的示意图，其中上述至少一个处理单元包含串联的处理单元PE-0、PE-1、PE-2、…等。请注意，每一个处理单元PE-0、PE-1、PE-2、…等实质上与图16中所示的处理单元PE-n相同。

在这个变形中，处理单元PE-0、PE-1、PE-2、…等分别用于执行迭代调整图像增强的迭代，例如第一次迭代、第二次迭代、第三次迭代等。更确切来说，串联的处理单元PE-0、PE-1、PE-2、…等配置为不使用任何处理单元PE-0、PE-1、PE-2、…等之间的回馈路径而执行迭代调整图像增强的迭代。因为不存在回馈路径，所以当需要插入用于高速应用的管线缓冲器时，与现有技术相比，本申请可极大程度地节省芯片面积与相关成本。

本发明的另一优点在于，因为在每一个处理单元PE-0、PE-1、PE-2、…等之内不存在DRAM访问，且因处理单元PE-0、PE-1、PE-2、…等之间也不存在DRAM访问，所以不会引入DRAM带宽的瓶颈效应。因此，本实施方式的图像处理电路的性能优于根据现有技术实施的图像处理电路。

本发明的又一优点在于，因为每一处理单元PE-0、PE-1、PE-2等(例如图16中所示的处理单元PE-n)按光栅扫描顺序输入第一图像s_n与参考图像r_n的像素数据，且按光栅扫描顺序进一步输出其更新版本s_n+1与r_n+1的像素数据，所以可以有效地将图像处理电路整合到其他装置(例如图像处理器与视讯播放装置)而不会引入副作用或不必要的成本增长。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种图像处理电路，包含：

至少一个处理单元，每一处理单元用于执行迭代调整图像增强的迭代，且每一处理单元包含：

第一像素撷取模块，用于按光栅扫描顺序输入第一图像的像素数据并撷取该第一图像的第一图像区块的像素数据；

参考像素撷取模块，用于按该光栅扫描顺序输入参考图像的像素数据并撷取该参考图像的参考图像区块的像素数据，其中关于该参考图像的该参考图像区块的相对位置与尺寸，对应于关于该第一图像的该第一图像区块的相对位置与尺寸；

误差计算模块，用于根据该第一图像的像素数据与该参考图像的像素数据执行误差计算，以产生与该第一图像区块的特定像素有关的一个或多个迭代误差项；以及

更新模块，用于基于与该特定像素有关的该一个或多个迭代误差项更新该特定像素，以产生用于该迭代的该第一图像的更新版本。

2.如权利要求1所述的图像处理电路，其特征在于，该第一像素撷取模块用于改变与对齐关于该第一图像的该第一图像区块的相对位置，且该参考像素撷取模块用于改变与对齐关于该参考图像的该参考图像区块的相对位置，以促使该更新模块更新该第一图像的每一像素。

3.如权利要求1所述的图像处理电路，其特征在于，该图像处理电路包含串联的多个处理单元；以及该处理单元分别用于执行该迭代调整图像增强的多个迭代。

4.如权利要求3所述的图像处理电路，其特征在于，串联的该多个处理单元未使用该多个处理单元之间的任何回馈路径来执行该迭代调整图像增强的多个迭代。

5.如权利要求1所述的图像处理电路，其特征在于，

该第一像素撷取模块包含：

多个第一图像延迟线，每一第一图像延迟线具有与该第一图像的第一图像宽度相等的延迟单元数，其中该多个第一图像延迟线用于输入该第一图像的像素数据；以及

多个第一图像缓冲器集合，耦接于该多个第一图像延迟线，其中该多个第一图像缓冲器集合用于撷取该第一图像区块的像素数据；以及该参考像素撷取模块包含：

多个参考图像延迟线，每一参考图像延迟线具有与该参考图像的参考图像宽度相等的延迟单元数，其中该多个参考图像延迟线用于输入该参考图像的像素数据；以及

多个参考图像缓冲器集合，耦接于该多个参考图像延迟线，其中该多个参考图像缓冲器集合用于撷取该参考图像区块的像素数据。

6.如权利要求5所述的图像处理电路，其特征在于，该第一图像宽度与该参考图像宽度以像素作为量测单位。

7.如权利要求1所述的图像处理电路，其特征在于，该误差计算模块用于从该第一像素撷取模块以并行方式读取该第一图像区块的各个像素的像素数据；以及该误差计算模块用于从该参考像素撷取模块以并行方式读取该参考图像区块的各个像素的像素数据。

8.如权利要求1所述的图像处理电路，其特征在于，在该至少一个处理单元中的每一者的多个输出端与多个输入端之间不存在像素数据回馈路径。

9.如权利要求1所述的图像处理电路，其特征在于，该第一图像的分辨率大于该参考图像的分辨率。