CN102317970B - 具有用于为视频提供强度校正的电路的集成电路以及为视频提供强度校正的方法 - Google Patents

Abstract

本发明揭示一种为视频提供强度校正的方法。所述方法可包含：评估(602)所述视频的帧的一部分；确定(604)所述帧的当前块与先前帧的对应块的强度差值；在满足第一组参数的情况下用局部强度校正来校正(607)所述帧的所有块；以及在不满足所述第一组参数的情况下用全局强度校正和局部强度校正两者来校正(608、614)所述帧的所述当前块。本发明还揭示一种具有用于为视频提供强度校正的电路的集成电路(202)。

Description

具有用于为视频提供强度校正的电路的集成电路以及为视频提供强度校正的方法

技术领域

本发明大体上涉及集成电路，且明确地说，涉及一种为视频提供强度校正的方法。

背景技术

视频监视市场在最近几年里响应于相机技术的降价和改进而经历需求增长。数字记录装置和能够进行视频分析的新型计算平台的改进能力也有助于需求增长。视频监视系统的应用的范围从已知封闭环境或未知动态环境两者中的侵入保护到活动监控与跟踪，例如在空中监视应用中。另外，因为需要较佳视频分辨率，所以人们关注于针对视频监视使用高清晰度(HD)速率。

集成电路为包括监视设备的任何电子装置的整体部分。经常一起使用多种集成电路以实现电子装置(例如视频监视网络)的操作。尽管集成电路通常经设计以用于特定应用，但某些集成电路可具有可配置逻辑。举例来说，专用集成电路(ASIC)可具有包含可配置逻辑的部分。具有可配置逻辑的另一类型的集成电路为可编程逻辑装置(PLD)。可编程逻辑装置经设计为用户可编程的，使得用户可实施其选择的逻辑设计。一种类型的可编程逻辑装置为复合可编程逻辑装置(CPLD)。CPLD包括两个或两个以上具有两级AND/OR结构的“功能块”，其连接在一起且通过互连开关矩阵连接到输入/输出(I/O)资源。另一类型的可编程逻辑装置为现场可编程门阵列(FPGA)。在典型的FPGA中，可配置逻辑块(CLB)阵列耦合到可编程输入/输出块(IOB)。CLB和IOB通过可编程路由资源分层结构互连。对于这两种类型的可编程逻辑装置来说，所述装置的功能性受出于所述目的而提供到所述装置的配置位流的配置数据位控制。

至于任何电子系统，总是需要提高系统质量且降低系统成本。尽管俘获视频数据的系统可与任何类型的集成电路一起使用，但图像质量和需要处理的数据量在实施所述系统以满足消费者需要时构成重大问题。

发明内容

本发明揭示一种为视频的帧提供强度校正的方法的实施例。所述方法可包含：评估所述视频的帧的一部分；确定所述帧的当前块与先前帧的对应块的强度差值；在满足第一组参数的情况下用局部强度校正来校正所述帧的所有块；以及在不满足所述第一组参数的情况下用全局强度校正和局部强度校正两者来校正所述帧的所述当前块。在满足所述第一组参数的情况下用局部强度校正来校正所述帧的所有块可包含确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过预定阈值且全局增益因子是否在预定范围之外。用全局强度校正和局部强度校正两者来校正所述帧的所述当前块包含：使用全局增益因子来校正所述帧的所述当前块；在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的当前块与所述先前帧的对应块的强度差值；以及确定是否要使用局部强度校正来校正帧的所述当前块。

在此实施例中，所述确定是否要使用局部强度校正来校正帧的所述当前块的步骤可包含在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块之间的强度差值是否超过第二预定阈值。所述确定是否要使用局部强度校正来校正帧的所述当前块的步骤可包含确定所述全局增益因子是否在预定范围之外。所述方法的此实施例可进一步包含确定两个先前块是否失真，且在所述两个先前块不失真的情况下用失真块的编号更新局部强度计数器。另外，所述方法的此实施例可进一步包含在所述当前帧中的所述两个先前块失真的情况下校正先前块。

根据替代实施例，一种为视频的帧提供强度校正的方法包含：评估所述视频的帧的一部分；确定所述帧的当前块与先前帧的对应块的强度差值；在所述帧的经校正当前块与先前帧的对应块的强度差值小于预定阈值或全局增益因子在预定范围内的情况下使用全局增益因子来校正所述帧的所述当前块；在使用所述全局增益因子来校正所述帧的当前块之后确定所述帧的当前块与所述先前帧的对应块的强度差值；以及确定是否要使用局部强度校正来校正所述帧的所述当前块。可在所述帧的所述当前块与所述先前帧的所述对应块的强度差值超过第二预定阈值且所述全局增益因子在预定范围之外的情况下，针对所述帧的每一块以逐块为基础来执行局部强度校正。

所述方法的此实施例可进一步包含在确定所述帧的所述当前块与所述先前帧的所述对应块的强度差值之前估计全局增益因子，且使用所述全局增益因子来校正所述帧的一部分。在此实施例中，所述确定是否要使用局部强度校正来校正帧的所述当前块的步骤可包含在使用所述全局增益因子来校正所述帧的所述当前块之后将所述帧的所述当前块与所述先前帧的所述对应块的强度差值与第二预定阈值进行比较，且确定所述全局增益因子是否在预定范围之外。所述方法的此实施例可进一步包含确定在使用所述全局增益因子来校正所述帧的所述当前块之后所述帧的所述当前块与所述先前帧的所述对应块的强度差值是否已超过所述第二预定阈值，且确定所述全局增益因子是否在预定范围内。此实施例可进一步包含确定两个先前块是否失真，且在所述两个先前块不失真的情况下用失真块的编号更新局部强度计数器。另外，此实施例可进一步包含在所述当前帧中的所述两个先前块失真的情况下校正先前块。

本发明还揭示一种具有用于为视频的帧提供强度校正的电路的集成电路的实施例。所述集成电路包含：缓冲器，其经耦合以接收与所述视频相关联的数据的帧；处理器，其耦合到所述缓冲器，所述处理器分析所述视频的帧的一部分，其中所述处理器在所述帧的经校正部分与先前帧的对应部分的强度差值大于预定阈值且全局增益因子在预定范围之外的情况下用局部强度校正来校正所述帧的所有块；以及存储器，其耦合到所述处理器，所述存储器接收由所述处理器产生的用于所述帧的经校正强度系数。

在此实施例中，所述当前帧的所述经校正部分和所述先前帧的所述对应部分可包含所述当前帧的顶部五行和所述先前帧的顶部五行。所述处理器可在所述帧的当前块与所述先前帧的对应块的强度差值小于预定阈值或所述全局增益因子在预定范围内的情况下通过以下步骤来校正所述帧的所述当前块：(1)使用全局增益因子来校正所述帧的所述当前块；(2)在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的强度差值；以及(3)确定是否要使用局部强度校正来校正帧的所述当前块。所述处理器可通过在使用所述全局增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过第二预定阈值，来确定是否要使用局部强度校正来校正帧的所述当前块。所述处理器可通过确定所述全局增益因子是否在预定范围之外来确定是否要使用局部强度校正来校正帧的所述当前块。所述处理器可进一步确定两个先前块是否失真且在所述两个先前块不失真的情况下用失真块的编号来更新局部强度计数器、或在所述当前帧中的所述两个先前块失真的情况下校正先前块。

附图说明

图1为根据本发明实施例的监视系统的框图；

图2为根据本发明实施例的耦合到用于接收用于视频图像的像素的参数的存储器的集成电路的框图；

图3为根据本发明实施例的用于选择用于校正帧的图像强度的格式的电路的框图；

图4为展示根据本发明实施例的全局强度校正的框图；

图5为展示根据本发明实施例更新帧的强度值的框图；

图6为展示根据本发明实施例的为视频图像提供强度校正的方法的流程图；

图7为根据本发明实施例的用于提供全局和局部强度校正的电路的框图；

图8为根据本发明实施例的用于实施图1到图7的电路的可编程逻辑装置的框图；

图9为根据本发明实施例的图8的电路的可配置逻辑元件的框图。

具体实施方式

首先转向图1，展示根据本发明实施例的监视系统的框图。如图1所示，监视系统100包含多个类似相机系统101，其耦合到控制计算机102。每一相机系统101包含相机103，其为通常可得且可根据例如高清晰度电视(HDTV)标准等预定义标准产生视频图像。相机耦合到相机系统的数据处理块104，所述数据处理块104可包含具有可编程逻辑的集成电路106和处理器108。如下文将更详细描述，处理器可并入到具有可编程逻辑的集成电路中。

图像调节块110与相机介接以在必要时执行解交错、在必要时执行输入数据速率的上变频/下变频转换，且执行全局运动补偿以实现图像稳定和帧间对准。或者，相机可提供图像调节块的特征。强度校正块112自动适应由环境和相机的自调整功能两者所造成的照明变化，且维持帧之间的平滑强度转变。背景估计块114在存在混乱和移动对象的情况下确定背景，且实现干净利落的前景分割以便检测移动对象，如下文将更详细地描述。背景估计块114产生对背景的估计。阴影移除块116防止将阴影检测为前景，同时对象跟踪块118允许在帧之间跟踪所检测对象的移动。也就是说，所跟踪的对象可由与对象相关联的像素随时间的改变来识别，其中所述改变如果满足预定准则就可被视为移动对象。为了产生对象跟踪信息，移除与所述对象有关的背景和任何阴影。编码器120压缩视频流，之后予以发送到网络信道。控制计算机可接着使用所述对象跟踪信息与经解压缩的视频信号来在较长时间跨度上以改进的分辨率更容易地识别所关注的对象。

例如对象跟踪信息等低带宽分级信息可在分级块122中产生且连同元数据一起存储在元数据缓冲器124中。举例来说，元数据可包括获取视频的日期以及相机设定的细节，例如镜头、焦距、光圈、快门定时和白平衡。处理器108还可响应于监视程序128提供相机控制功能126。网络接口130将经编码的视频数据、元数据和相机控制信息提供到网络通信链路129。控制计算机102耦合到网络通信链路129以针对相机系统101中的每一者从网络接口130接收数据。控制计算机可为任何类型的通用计算机，其具有监视器以用于针对相机系统中的一者或一者以上显示图像。通信链路129可为任何类型的有线或无线通信网络(例如电信网络)或数据网络(例如局域网(LAN)或广域网(WAN))的一部分。低带宽功能可归属于在集成电路(其可为(例如)具有可编程逻辑的集成电路)外部的处理器或具有可编程逻辑的集成电路(例如具有嵌入式处理器核心的FPGA)的嵌入式处理器核心。尽管数据处理块104经展示为与相机分离，但任何部分或整个数据处理块可并入在相机中。类似地，尽管控制计算机102经展示为与相机系统分离，但控制计算机可并入在相机系统中的一者或一者以上中。

通过采用监视系统的相机系统的数据处理块104，实施低成本监视系统。然而，为了提供有益的对象跟踪信息，必须执行强度校正、背景估计和阴影移除。通过针对每一相机实施例如强度校正和背景估计等高处理带宽功能，可在控制计算机远端处实施处理密集型功能来提供对象跟踪，其中将表示视频图像和对象跟踪信息的经压缩数据提供到控制计算机。

现转向图2，展示根据本发明实施例的耦合到用于接收视频图像的像素的参数的存储器的集成电路的框图。集成电路202包含硬件加速器，其提供强度校正块和背景估计与相减块两者。明确地说，集成电路202可耦合到芯片外存储器204，以用于存储由集成电路202产生的数据。像素缓冲器206经耦合以接收图像调节电路(例如图像调节电路110)的输出。像素缓冲器的输出耦合到全局与局部强度校正块208。全局与局部强度校正块208的输出或由夜景对比度增强块210处理的数据由多路复用器211选择且耦合到自适应背景估计与相减块212。如下文将更详细地描述，图2的电路对HD序列执行视频分割而不需要存储帧，因而在外部存储器带宽的方面提供高效率电路。所述电路在集成电路上的占用面积的方面也较小，且可在监视市场中广泛使用。

人眼中的感受器仅能够检测到波长为400nm到700nm的光。这些感受器被称为视锥且具有三种不同类型，其中一种类型用于红光，一种类型用于绿光，一种类型用于蓝光。如果观测到单个波长的光，那么这三个感受器的相对响应让人能辨别出所述光的称为色彩的内容。这种现象非常有用，因为其使得能够通过简单地将来自仅三种不同波长的各种比例的光相加在一起来产生一定范围的色彩。这种称为加色调配的过程用于彩色电视系统中，其中待显示的所得图像被分解为待显示的图片元素或像素的阵列。

一般来说，每一像素显示一定比例的红色、绿色或蓝色。图像的红色、蓝色和绿色表示通常称为RBG。然而，传输或存储这些RBG色彩分量需要大量带宽，且集成电路可能较难以处理所述数据，例如高清晰度电视(HDTV)图像中的大量数据。因此，经常使用亮度与色彩差异编码来减小待显示的图像的带宽。举例来说，YUV格式含有表示与明度相关联的亮度分量(也称为亮度)的Y部分，以及表示与色彩相关联的色度分量(也称为色度1和色度2)的U和V部分。除了减小带宽之外，YUV格式比标准RBG格式更贴切地建模人类对色彩的感知。YUV420意味着对于每四个亮度(Y)字节，存在两个色度字节(交替的Cr和Cb)。即使在YUV格式所提供的带宽减小的情况下，HDTV格式也具有大量数据要求。HDTV帧可具有1920x1080个像素，且可使用传统标准清晰度TV的带宽的六倍。因此，存储为背景图像的数据的量的任何减小将为有益的。

如图2所示，实施全局与局部强度校正和自适应背景估计与相减以产生与图像的背景部分相关联的参数。视频包含一序列图像(也称为帧)。基于帧间差异的背景估计算法在处理变动背景场景时容易出错。执行像素时间中值滤波的方法需要大量帧缓冲，因而使得其对高动态场景无吸引力。尽管基于获得像素的在线时间均值的自适应背景方法需要较少帧缓冲，但像素在真实场景中可能随时间具有一个以上均值，其中每一均值代表像素的不同背景模式。此类像素为多模式的，且当在在线求平均值方案中使用单个统计表示时未能如此恰当表征。可采用使用正态分布混合物来建模多模式背景图像序列的自适应方法。对于每一像素，其背景混合物中的每一正态分布对应于在像素中观测到特定强度或色彩的概率。这与其中出现在像素视野中的一个以上表面产生背景混乱的场景相符。每一表面由具有等于表面强度或色彩的均值和归因于表面纹理、照明波动或相机噪声引起的变化的正态分布来表示。根据图3的电路，减少的数据传送要求也可通过采用使用全局强度校正和局部强度校正两者的强度校正来实现。也就是说，因为局部强度校正为处理密集型的，所以下文阐述的提供全局和局部强度校正的方法也可针对像素的强度值减少更新要求，且因此减小传输数据所需要的带宽。

图3为根据本发明实施例的用于选择用于校正帧的图像强度的格式的电路的框图。明确地说，全局强度校正块302和局部强度校正块304经耦合以接收输入信号，且分别产生像素的经修改强度值

和控制单元306可用以控制多路复用器308以用于选择待产生作为经修改强度值

的正确值。如下文将更详细地描述，可执行对全局强度校正和局部强度校正的选择以使处理器密集型的局部强度校正的量减到最小，以在处理视频图像时使数据处理要求减到最少。

视频监视系统通常在能完全控制照明条件的控制良好的环境中较好地起作用。由于在视频监视和移动对象检测与跟踪中所使用的大多数算法假定恒定的图像强度，所以环境照明的改变可影响这些算法的执行。图像强度的改变可分类为全局和局部强度改变。全局强度改变为均匀地影响整个帧的平衡改变。举例来说，全局强度改变可由归因于灯光接通或断开引起的照明改变造成，或由云朵在太阳前面移动造成。另外，相机采用技术组合来最佳地将所反射的光映射到其数字化器的动态范围，且可改变图像强度。通常所使用的技术为用以根据视域中的照明量来设置曝光度的自动增益控制(AGC)、使相机参考适应“真正白色”以校正所有色彩的强度的自动白平衡以及用以控制穿过镜头进入的光量(即，曝光度)的自动光阑控制。在同时具有昏暗和明亮对象的场景中，AGC可能在尝试使所述水平达到平均水平时由于过亮或过暗而发生补偿过度/不足。或者，局部强度改变可导致不平衡的改变，其对所述帧的若干区域的影响大于对所述帧的其余部分的影响，且可突然地并在例如相机闪光等短时间周期内发生。

图像强度可如下建模：

1.I(t)＝a(t)I_r(t)+N_total(t)                    (1)

其中I(t)为当前图像强度，I_r(t)为参考图像强度，a(t)为表观增益因子，且N_total(t)为具有均值零的总噪声。全局强度改变可如等式1所示使用表观增益因子来校正。

a. $\hat{I}\left(t\right)=\frac{Y\left(t\right)}{a\left(t\right)}---\left(2\right)$

其中Y(t)为观测到的图像强度，且

为经校正的图像强度。两个考虑是如何选择参考图像I_r(t)以及如何计算a(t)。

所述序列的第一帧可用作参考图像。因为使用所述序列的第一帧作为参考图像可能在场景改变的情况下不能非常好地起作用，所以可能要周期性地刷新参考图像。举例来说，可通过每若干帧选择参考图像或通过使用先前帧作为参考图像来刷新参考图像。在任一情况下，参考图像可为未经校正的图像或先前经校正的图像。未经校正的图像可在所选择的参考图像失真的情况下导致失真输出，而先前经校正的图像允许传播校正误差。

用以计算等式2的a(t)的四个等式可包括：

b. $a_{\mathrm{AofQ}}=\frac{\underset{s\∈S}{\mathrm{\Σ}}{Y}_s\left(t\right)}{\underset{s\∈S}{\mathrm{\Σ}}{\hat{I}}_s(t-1)}---\left(3\right)$

$a_{\mathrm{MofQ}}=\frac{M_{s\∈S}{Y}_s\left(t\right)}{M_{s\∈S}{\hat{I}}_s(t-1)}---\left(4\right)$

c. $a_{\mathrm{AofQ}}=\frac{1}{\left|S\right|}\underset{s\∈S}{\mathrm{\Σ}}\frac{Y_s\left(t\right)}{{\hat{I}}_s(t-1)}---\left(5\right)$

$a_{\mathrm{MofQ}}=M_{s\∈S}\frac{Y_s\left(t\right)}{{\hat{I}}_s(t-1)}---\left(6\right)$

在等式3到6中分别使用平均值的商、中值的商、商的平均值和商的中值来计算a(t)。Y_s(t)和

分别为当前帧的观测到的强度和先前帧的经校正的强度，而|S|为像素集合S中的像素数目，且M表示一组数字的中值。

局部强度校正需要图像强度改变的较高级模型。以下等式提供高级模型：

1.Y(x，y，t)＝α(x，y，t)I(x，y，t)-β(x，y，t)        (7)

其中x和y为离散空间坐标，且t为帧编号。Y(x，y，t)和I(x，y，t)分别为观测到的图像强度和原始图像强度。α(x，y，t)和β(x，y，t)分别为积性和加性强度改变参数。

如果α(x，y，t)和β(x，y，t)为空间平滑的，那么其可假定为局部恒定的：

i.α(x，y，t)＝α_m，n(t)  β(x，y，t)＝β_m，n(t)

所以对于每一区域：

a.

β_m，n(t)＝E[Y(x，y，t)]-α_m，n(t)E[I(x，y，t)]        (9)

为了获得良好接近，对于固定区域来说下式成立：

a. $\begin{array}{c}E\left[I(x,y,t)\right]\≈E\left[\hat{I}(x,y,t-1)\right]\\ \mathrm{\σ}\left[I(x,y,t)\right]\≈\mathrm{\σ}\left[\hat{I}(x,y,t-1)\right]\end{array}$ (10)

所以可如下校正图像：

a. $\hat{I}(x,y,t)=\frac{Y(x,y,t)-\mathrm{\β}(x,y,t)}{\mathrm{\α}(x,y,t)}---\left(11\right)$

尽管对于具有运动的区域来说需要较复杂的操纵，但在不存在运动时通常使用帧的一部分来执行图像强度校正。

图4为展示根据本发明实施例的全局强度校正(GIC)的框图。GIC块具有两个级：图4所示的校正级和图5所示的更新级。校正级使用表观增益因子方法来完成，其中a(t)值可接着使用如等式6所示的商中值等式来计算。为了避免存储用于参考和当前图像的整个帧，仅使用当前和参考图像的顶部若干行来找到表观增益因子a(t)，其用以校正整个当前帧Y(t)。根据一个实施例，使用顶部若干行足以找到a(t)，因为所述帧的顶部部分最可能是背景的一部分。另外，使用等式6的商中值等式来找到a(t)即使在不进行非正常值移除的情况下也得出良好结果。因此，即使在帧的顶部部分上存在移动对象，用以找到a(t)的商中值等式也为足够的，且可仍仅使用帧的顶部部分来找到a(t)。因此，通常可使用顶部五行来计算a(t)。

为了改进性能且使强度校正更稳健，通过采取分别存储于缓冲器402到406中的三个先前图像I′(t-1)、I′(t-2)和I′(t-3)的中值来形成参考图像。接着产生中值

且予以存储于缓冲器408中。Q中M块410接收输入信号的中值

和当前强度值Y(t)。根据等式4产生经更新的强度值

其中仅使用这些帧的顶部五行来如先前所论述减小所需要的存储器大小。这些帧中的每一者可为经校正或未经校正的先前帧。此选择在更新级中发生。取决于一个以上先前帧且不使其全部为经校正或未经校正的帧有助于改进强度校正的性能和稳健性。

现转向图5，框图展示根据本发明实施例更新帧的强度值。在校正级之后，更新参考图像。如以下等式所示将存储于缓冲器502中的当前帧的顶部五行的均值与存储于缓冲器504中的经校正帧的顶部五行的均值之间的绝对差值与阈值Th1进行比较：

如果在决策块506中的绝对差值大于阈值Th1，那么在将先前值存储于缓冲器510和512中之后，将经校正帧插入缓冲器508中的参考堆叠中。也就是说，如果差值的绝对值大于阈值，那么原始图像Y(t)为失真的且不应予以用作参考图像的一部分。另一方面，如果差值的绝对值小于阈值Th1，那么较好的是使用参考堆叠中的原始图像Y(t)而非经校正图像

以避免传播任何校正误差。Th1的值可由用户选择且与相机移动速度成比例，其中较快的相机速度具有较大值的Th1。

现转向图6，流程图展示根据本发明实施例的为视频图像提供强度校正的方法。取决于当前帧与先前帧的比较来执行全局强度校正和局部强度校正。GIC块通过使用从先前帧得知的知识来校正当前帧。统计固定区域(SSA)用以全面表征每一帧。对于大多数视频来说，SSA为由相机俘获的区域，其由与帧的左侧、右侧和顶部边界毗邻的条带组成。所述帧的具有移动的部分通常占据帧的中心，且在SSA之外。因此，SSA中的数据较不可能含有移动对象的若干部分，且移动对象的发生为暂时的且经有效处置，如下文将更详细地描述。GIC块(例如全局强度校正块302)使用当前帧的前五行作为SSA，这足以确定帧之间的背景图像的特性。GIC块在步骤602处估计表观增益因子a(t)且使用其来校正当前帧的前五行。在图4和图5中描述用于估计全局增益因子且用其校正前五行的电路。在步骤604处确定经校正帧与先前帧的前五行的平均强度之间的绝对差值，且如以下等式所示将其与阈值Th2进行比较：

Th2的值由用户确定。使用较小Th2值致使较经常使用局部强度校正来校正较小局部强度改变，而使用较大Th2值致使仅在存在较大局部强度改变时运行局部强度校正。

如果绝对差值大于Th2且表观增益因子在预定范围之外(即，a(t)＞1.1或a(t)＜0.9)，那么存在未由GIC块校正的局部强度改变。在步骤607处接着使用LIC块(例如局部强度块304)来校正原始帧，其中将校正当前帧的所有块。也就是说，将具有局部强度改变的帧划分为较小正方形块，例如具有8x8像素大小的块。针对每一块估计校正参数α_m，n(t)和β_m，n(t)，其中α_m，n(t)和β_m，n(t)值用以校正图像强度。根据一个实施例，不使用高级操纵来处理并入有运动的区域。优选地不对每个帧均应用局部强度校正以便减小强度校正过程的计算成本。因为局部强度校正可能在帧中引入模糊假象，所以优选的是除非需要，否则不使用局部强度校正。尽管可在具有运动的区域中注意到一些模糊假象，但所述模糊假象不会使在如图2所示的全局与局部强度校正块之后的块(包括自适应背景估计与相减块)的效率恶化。

如果绝对差值小于Th2或表观增益因子在预定范围内(0.9＜a(t)＜1.1)，那么将帧划分为较小块(例如，8x8像素)。也就是说，将帧划分为若干行的块，且使用表观增益因子a(t)且可能使用局部强度校正来校正每一块。以逐块为基础执行对校正每一块的确定。在步骤608处用表观增益因子a(t)校正每一块，且在步骤610处确定所述帧的经校正块与先前帧的对应块的平均强度之间的绝对差值。接着在步骤612处将所述绝对差值与第二阈值(例如，10xTh2)进行比较。如果确定当前块的平均强度比先前帧中的对应块大得多且表观增益因子在预定范围之外(即，a(t)＞1.1或a(t)＜0.9)，那么在步骤614处用局部强度校正来校正当前块。

如果未确定当前块的平均强度比先前帧中的对应块大得多或表观增益因子在预定范围之外(即，a(t)＞1.1或a(t)＜0.9)，那么接着在步骤616处确定当前块的平均强度是否比先前帧中的对应块大得多且表观增益因子是否在预定范围内(即，0.9＜a(t)＜1.1)。如果是，那么在步骤618处确定两个先前块是否失真。如果两个先前块不失真，那么在步骤620处用失真块的编号更新局部强度计数器。如果两个先前块失真，那么在步骤622处用局部强度校正来校正当前帧中的先前块。接着在步骤624处确定是否达到当前块行的末端。如果是，那么在步骤626处用局部强度校正来校正当前帧中的当前块。接着在步骤628处确定是否已达到当前帧的末端。也就是说，因为在每一块的先前块和随后块失真的情况下对每一块进行校正，所以在先前块失真的情况下对行中的最后块进行校正。如果其不是当前帧的末端，那么在步骤630处确定下一块是否需要处理，且在步骤608处用表观增益因子a(t)校正下一块。如果达到帧的末端，那么在步骤632处确定是否已达到视频的最后帧。如果视频的额外帧要处理，那么在步骤602处再次开始用于下一帧的过程。

现转向图7，展示根据本发明实施例的用于提供全局强度校正和局部强度校正的电路的框图。对全局与局部强度校正块208的输入为按光栅扫描次序的RGB帧。将RGB帧转换为YUV格式，且将色彩分量下取样到4:2:0格式以节省存储器以用于在线缓冲器1和3中存储8行像素。尽管所有强度校正步骤均仅处理亮度分量，但必须存储色彩分量以将图像转换回到随后级所需要的RGB格式。全局与局部强度校正块208使用三个线缓冲器来存储输入、输出和参考像素。其具有两个局部存储器以存储来自当前帧的当前块行和来自局部强度校正所需要的参考帧(即，先前帧)的对应块行两者的均值和标准偏差。另外，使用外部存储器来存储用于全局强度校正的三个先前帧(仅亮度)的顶部五行以及用于局部强度校正的参考帧的8x8块的均值和标准偏差。

明确地说，全局与局部强度校正电路208经耦合以接收RBG图像且在RGB/YUV转换器702中将图像转换为YUV图像，所述RGB/YUV转换器702的输出耦合到多路复用器704和线缓冲器706。多路复用器704和线缓冲器706的输出耦合到具有多个除法器电路的算术逻辑块708。多路复用器704选择RGB/YUV转换器702或线缓冲器706的输出，其输出耦合到除法器710，除法器710还通过线缓冲器716接收参考五行。也就是说，中值电路714借助于线缓冲器716将三个先前帧402、404和406的顶部五行的中值耦合到除法器电路710。算术块的输出耦合到线缓冲器718，其输出耦合到YUV/RGB转换器720。多路复用器722经耦合以接收线缓冲器706或线缓冲器718的输出且将值提供到外部存储器。

算术逻辑块730也经耦合以接收算术逻辑块708的输出和线缓冲器718的输出。如下文将更详细地描述，具有除法器和累加器的算术块可用以执行上文阐述的各种计算。算术逻辑块730包含第一累加器732，且第一标准偏差电路734耦合到用于存储当前块行的均值E[ ]和标准偏差值σ[ ]的块735。类似地，第二累加器736和第二标准偏差电路738借助于多路复用器742和744耦合到用于存储参考块行的均值E[ ]和标准偏差值σ[ ]的块746。块746的输出耦合到乘法器750，其将输出提供到减法器752，减法器752还经耦合以接收块735的输出。减法器752的输出耦合到减法器754，其还接收线缓冲器706的输出。乘法器750接收除法器块708的输出，而块735和746以及减法器754的输出耦合到除法器708。最后，块735或块746的输出中的一者由多路复用器756选择，多路复用器756的输出可耦合到芯片外存储器204。

操作包括初始化过程，其中将视频序列的前三个帧的顶部五行存储于外部存储器中。估计所述三个帧的这五行的中值并予以存储于线缓冲器716中。接着计算第三帧的顶部五行的平均强度。将第三帧划分为8x8块，且计算所述块的均值和标准偏差并予以存储于外部存储器中。对于每一新帧，从外部存储器读取一个参考块行的均值和标准偏差并将予以储于线缓冲器716中。接着读取线缓冲器1中的用于8个行(即，一个8x8块行)的新帧像素。使用所述除法器中的一者来计算如上文在等式4中所阐述。通过估计先前步骤中所计算的商的中值来找到MofQ。使用五个除法器来用MofQ值(a_MofQ)校正当前帧的顶部五行，且予以存储于线缓冲器718中。接着计算经校正帧的顶部五行的平均强度。还使用算术逻辑块730来计算当前8x8块行的均值和标准偏差。控制单元740将针对每一8x8块做出决策，其中将用全局表观增益因子和/或用局部强度校正参数来校正每一块。

现转向图8，展示根据本发明实施例的用于实施图1到图7的电路的可编程逻辑装置的框图。图8的装置包含FPGA架构800，其具有大量不同可编程瓦片，其中包括多千兆位收发器(MGT 801)、可配置逻辑块(CLB 802)、随机存取存储器块(BRAM 803)、输入/输出块(IOB 804)、配置与计时逻辑(CONFIG/CLOCK 805)、数字信号处理块(DSP 806)、专门输入/输出块(I/O807)(例如，配置端口和时钟端口)以及其它可编程逻辑808，例如数字时钟管理器、模/数转换器、系统监控逻辑等。一些FPGA还包括专用处理器块(PROC 810)。图7的各种存储器可以CLE的BRAM或分布式存储器来实施。算术逻辑块可以DSP块来实施，而控制单元740可以专用处理器块来实施。

在一些FPGA中，每一可编程瓦片包括可编程互连元件(INT 811)，其具有去往和来自每一邻近瓦片中的对应互连元件的标准化连接。因此，一起采用的可编程互连元件实施用于所说明FPGA的可编程互连结构。可编程互连元件(INT 811)还包括去往和来自同一瓦片内的可编程逻辑元件的连接，如图8顶部处所包括的实例所示。

举例来说，CLB 802可包括可经编程以实施用户逻辑的可配置逻辑元件(CLE 812)加上单个可编程互连元件(INT 811)。除了一个或一个以上可编程互连元件之外，BRAM 803还可包括BRAM逻辑元件(BRL 813)。BRAM包含专用存储器，其与配置逻辑块的分布式RAM分离。通常，瓦片中所包括的互连元件的数目取决于瓦片的高度。在所描绘的实施例中，BRAM瓦片具有与四个CLB相同的高度，但还可使用其它数目(例如，五个)。除了恰当数目的可编程互连元件之外，DSP瓦片806还可包括DSP逻辑元件(DSPL 814)。举例来说，除了可编程互连元件(INT 811)的一个例子之外，IOB 804还可包括输入/输出逻辑元件(IOL 815)的两个例子。装置的连接的位置受出于所述目的而提供到装置的配置位流的配置数据位所控制。如下文将更详细地描述，响应于配置位流的位，可编程互连使得包含互连线的连接能够用以将各种信号耦合到以可编程逻辑实施的电路或例如BRAM或处理器等其它电路。

在所描绘的实施例中，在裸片中心附近的柱状区域(图8中以阴影展示)用于配置、时钟和其它控制逻辑。从此柱延伸的水平区域809用以在FPGA的宽度上分布时钟和配置信号。利用图8中所说明的架构的一些FPGA包括额外逻辑块，其中断组成FPGA的大部分的规则柱状结构。所述额外逻辑块可为可编程块和/或专用逻辑。举例来说，图8所示的处理器块PROC 810横跨若干列CLB和BRAM。

请注意，图8既定仅说明示范性FPGA架构。列中的逻辑块的数目、列的相对宽度、列的数目和次序、列中所包括的逻辑块的类型、逻辑块的相对大小以及图8顶部处所包括的互连/逻辑实施方案纯粹为示范性的。举例来说，在实际FPGA中，在CLB出现的任何地方通常包括一个以上邻近CLB列，以促进用户逻辑的有效实施。本发明的电路和方法可在图8的PLD中或在任何其它合适装置中实施，包括具有可编程逻辑的任何类型的集成电路。事实上，使FPGA的使用最大化的应用领域是在相机层级处执行的视频分析中。图1展示含有连网在一起的FPGA的链接相机系统的实例。FPGA执行视频分析且能够控制其相应相机。FPGA非常适于处理由支持用于视频监视的数据速率所需要的带宽增加而造成的挑战，包括以高清晰度(HD)速率产生视频图像。

现转向图9，展示根据本发明实施例的图8的装置的可配置逻辑元件的框图。明确地说，图9以简化形式说明图8的配置逻辑块802的可配置逻辑元件。在图9的实施例中，切片M 1001包括四个查找表(LUTM)901A到901D，其每一者由六个LUT数据输入端子A1到A6、B1到B6、C1到C6和D1到D6驱动，且每一者提供两个LUT输出信号O5和O6。来自LUT 901A到901D的O6输出端子分别驱动切片输出端子A到D。LUT数据输入信号由FPGA互连结构经由输入多路复用器供应，且LUT输出信号也供应到互连结构。切片M还包括：输出选择多路复用器911A到911D，其驱动输出端子AMUX到DMUX；多路复用器912A到912D，其驱动存储器元件902A到902D的数据输入端子；组合多路复用器916、918和919；反弹多路复用器电路922到923；由反相器905和多路复用器906(其共同在输入时钟路径上提供任选反相)表示的电路；以及携载逻辑，其包含多路复用器914A到914D、915A到915D、920到921以及异或门913A到913D。所有这些元件如图9所示耦合在一起。在未针对图9所说明的多路复用器展示选择输入的情况下，选择输入受配置存储器单元所控制。也就是说，存储于配置存储器单元中的配置位流的配置位耦合到多路复用器的选择输入以选择对多路复用器的正确输入。这些配置存储器单元(其为众所周知的)出于清楚起见而从图9以及从本文中其它选定图式省略。

在所描绘的实施例中，每一存储器元件902A到902D可经编程以充当同步或异步触发器或锁存器。通过编程同步/异步选择电路903针对切片中的所有四个存储器元件做出同步与异步功能性之间的选择。当存储器元件经编程以使得S/R(设置/复位)输入信号提供设置功能时，REV输入端子提供复位功能。当存储器元件经编程以使得S/R输入信号提供复位功能时，REV输入端子提供设置功能。存储器元件902A到902D由时钟信号CK计时，举例来说，所述时钟信号CK可由全局时钟网络或由互连结构提供。此类可编程存储器元件在FPGA设计的技术领域中为众所周知的。每一存储器元件902A到902D将所寄存的输出信号AQ到DQ提供到互连结构。因为每一LUT 901A到901D提供两个输出信号O5和O6，所以LUT可经配置以充当具有五个共享输入信号(IN1到IN5)的两个5输入LUT或充当具有输入信号IN1到IN6的一个6输入LUT。

在图9的实施例中，每一LUTM 901A到901D可以若干模式中的任一者起作用。当在查找表模式中时，每一LUT具有六个数据输入信号IN1到IN6，其由FPGA互连结构经由输入多路复用器供应。基于信号IN1到IN6的值以可编程方式从配置存储器单元选择64个数据值中的一者。当在RAM模式中时，每一LUT充当单个64位RAM或具有共享寻址的两个32位RAM。将RAM写入数据经由输入端子DI1(经由用于LUT 901A到901C的多路复用器917A到917C)供应到64位RAM或经由输入端子DI1和DI2供应到两个32位RAM。LUT RAM中的RAM写入操作受到来自多路复用器906的时钟信号CK以及受到来自多路复用器907的写入启用信号WEN所控制，其可选择性地使时钟启用信号CE或写入启用信号WE通过。在移位寄存器模式中，每一LUT充当两个16位移位寄存器，或其中所述两个16位移位寄存器串联耦合以形成单个32位移位寄存器。经由输入端子DI1和DI2中的一者或两者提供移入信号。可通过LUT输出端子提供16位和32位移出信号，且还可经由LUT输出端子MC31更直接地提供32位移出信号。LUT 901A的32位移出信号MC31也可经由输出选择多路复用器911D和CLE输出端子DMUX提供到用于移位寄存器链接的通用互连结构。本发明的具有可编程逻辑的装置和方法可根据图8和图9的装置来实施或在任何装置中实施，其中包括具有可编程逻辑的任何类型的集成电路。

所述电路可有效地在可编程逻辑装置(例如可从Xilinx公司获得的Virtex4FPGA)中实施。可以1920x1080的帧大小和30帧/秒的帧速率来估计资源。所估计的资源包括各自使用10个块RAM的线缓冲器706和718。线缓冲器716使用5个块RAM以及用于两个存储器(例如用于存储均值和标准偏差值的存储器735和746)的1个块RAM，总共26个块RAM。用于三个先前图像的顶部五行的外部存储器大小和带宽以及先前图像的8x8块的均值和标准偏差存储于外部存储器中且用每个新图像予以更新。因此，所需要的外部存储器大小为约1920x5x3x8位+((1920x1080)/(8x8))x32位＝1,267,200位≈1.3兆位。对于每一新图像，读取并更新外部存储器中的数据。如上文阐述用来自原始当前图像或经校正图像的新顶部五行来盖写最旧先前图像的顶部五行。因此，每秒读取的总数据为约(1920x5x3x8位+((1920x1080)/(8x8))x32位)x30＝38,016,000位/秒。每秒写入的总数据为约(1920x5x1x8位+((1920x1080)/(8x8))x32位)x30＝33,408,000位/秒。最后，总外部存储器带宽为71,424,000～72兆位/秒。

因此，可容易明白，已描述了为视频图像提供强度校正的新型且新颖的集成电路和方法。所属领域的技术人员将容易明白，将看到存在并入有所揭示的发明的众多替代方案和等效物。因而，本发明不应由前述实施例限制，而是仅由所附权利要求书限制。

Claims (13)

1.一种为视频的帧提供强度校正的方法，所述方法包含：

评估所述视频的帧的一部分的当前图像强度和参考图像强度，以建立使用于全局强度校正的表观增益因子；

确定所述帧的当前块与先前帧的对应块的强度差值；

在所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值满足第一组参数的情况下，用局部强度校正来校正所述帧的每一块；以及

在所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值不满足所述第一组参数的情况下，用使用所述表观增益因子的全局强度校正和用局部强度校正来校正所述帧的所述当前块。

2.根据权利要求1所述的方法，其中用局部强度校正来校正所述帧的每一块包含确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过预定阈值且所述表观增益因子是否在预定范围之外。

3.根据权利要求1或2所述的方法，其中用全局强度校正和用局部强度校正来校正所述帧的所述当前块包含：

使用所述表观增益因子来校正所述帧的所述当前块；

在使用所述表观增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的强度差值；以及

确定是否要使用局部强度校正来校正帧的所述当前块。

4.根据权利要求3所述的方法，其中确定是否要使用局部强度校正来校正帧的所述当前块包含在使用所述表观增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块之间的强度差值是否超过第二预定阈值。

5.根据权利要求4所述的方法，其中确定是否要使用局部强度校正来校正帧的所述当前块包含确定所述表观增益因子是否在预定范围之外。

6.根据权利要求1或2所述的方法，其进一步包含确定所述帧的两个先前块是否失真，且在所述两个先前块不失真的情况下用失真块的编号更新局部强度计数器。

7.根据权利要求6所述的方法，其进一步包含在所述帧中的所述两个先前块失真的情况下校正先前块。

8.一种具有用于为视频的帧提供强度校正的电路的集成电路，所述集成电路包含：

缓冲器，其经耦合以接收与所述视频相关联的数据的帧；

处理器，其耦合到所述缓冲器，所述处理器分析所述视频的帧的一部分，其中所述处理器在所述帧的经校正部分与先前帧的对应部分的强度差值大于预定阈值且表观增益因子在预定范围之外的情况下，用局部强度校正来校正所述帧的每一块，且在所述帧的所述经校正部分与所述先前帧的所述对应部分的强度差值小于所述预定阈值的情况下，用全局强度校正来校正所述帧的当前块；以及

存储器，其耦合到所述处理器，所述存储器接收由所述处理器产生的用于所述帧的经校正强度系数。

9.根据权利要求8所述的集成电路，其中所述当前帧的所述经校正部分包含所述当前帧的顶部五行，且所述先前帧的所述对应部分包含所述先前帧的顶部五行。

10.根据权利要求8或9所述的集成电路，其中所述处理器在所述帧的当前块与所述先前帧的对应块的强度差值小于预定阈值或所述表观增益因子在预定范围内的情况下通过以下步骤来校正所述帧的所述当前块：

使用所述表观增益因子来校正所述帧的所述当前块；

在使用所述表观增益因子来校正所述帧的所述当前块之后，确定所述帧的所述当前块与所述先前帧的所述对应块的强度差值；以及

确定是否要使用局部强度校正来校正所述帧的所述当前块。

11.根据权利要求10所述的集成电路，其中所述处理器通过在使用所述表观增益因子来校正所述帧的所述当前块之后确定所述帧的所述当前块与所述先前帧的所述对应块的所述强度差值是否超过第二预定阈值，来确定是否要使用局部强度校正来校正所述帧的所述当前块。

12.根据权利要求11所述的集成电路，其中所述处理器通过确定所述表观增益因子是否在预定范围内来确定是否要使用局部强度校正来校正帧的所述当前块。

13.根据权利要求8或9所述的集成电路，其中所述处理器进一步确定所述帧的两个先前块是否失真，且在所述两个先前块不失真的情况下用失真块的编号来更新局部强度计数器或在所述帧中的所述两个先前块失真的情况下校正先前块。

Images