CN1136720C - 用于修正成像设备中灰度的系统和方法 - Google Patents

Abstract

把输入图像划分成相对小的像素块。周期性地计算限定这些区域的边界数据。对于每个像素，产生表示像素所在区域的一对选择脉冲。响应于这对脉冲，对每个区域计算灰度特性。使用与每个区域有关的一个灰度特性来修正输入图像的灰度，以对该区域提供经修正的图像信号。响应于这对脉冲，把经修正的图像信号组合成一输出图像信号。对每个区域进行最佳灰度修正。构成的选择脉冲在边界附近逐步变化，从而使再现的图像变得逼真。

Description

用于修正成像设备中灰度的系统和方法

本发明涉及诸如视频摄像机等成像系统中的灰度修正系统，尤其涉及使用响应于图像状态而把图像划分成多个区域中的各个最佳灰度特性来进行灰度修正的系统和方法。

成像设备的灰度修正系统修正图像信号，以使再现图像的亮度与待拍摄的物体的亮度相匹配。对于灰度修正系统，已制造了各种装置来有效地使用具有窄的动态范围的成像系统。

然而，在常规的灰度修正系统中，各个灰度特性适用区域之间边界的位置是固定的。如果在这种区域内既有低又有高亮度的部分，则这将使得难于进行有效的灰度修正。在此情况下，能够改变区域的结构从而在一个区域中不存在亮度极为不同的部分是有利的。

于是，需要一种用于灰度修正系统和方法的技术，该系统和方法可根据图像的状态而周期性地确定限定图像所划分区域的边界，从而可把最佳的灰度特性应用于每个区域。

本发明提供了一种系统和方法，该系统和方法使用响应于成像设备中图像状态而把图像周期性重新划分的每个区域的灰度特性来修正输入图像的灰度。输入图像被划分成M×N个像素块(在示意实施例中，M＝8以及N＝6)。根据输入图像的状态，周期性地计算限定这些区域的边界数据。对于每个像素，产生表示像素所在的一个区域的一对选择脉冲。响应于这对脉冲，根据从每个区域获得的直方图数据来计算灰度特性。对于每个区域，使用与该区域有关的一个灰度特性来修正输入图像的灰度，以提供用于该区域的经修正的图像信号。响应于这对脉冲，把经修正的图像信号组合成输出图像信号。对每个区域进行了最佳的灰度修正。

构成的选择脉冲在边界附近逐步变化，从而使再现的图像变得逼真。

如果高亮度的块分布接近于图像四条边中的一条边，则把图像划分成四个区域，从而四个区域中的一个区域包括高亮度的块分布。如果高亮度的块分布被所述图像的其他部分所环绕，则把图像划分成一中心区域和一包围中心区域的区域，从而中心区域包括高亮度块分布。

从以下对附图示出的本发明较佳实施例进行的描述中，将使本发明的其他目的和优点变得明显起来，其中：

图1是示出一固态成像设备配置的方框图，该设备安装了依据本发明一个示意实施例的灰度修正系统；

图2示出被划分成8×6块的输入图像的一个例子；

图3示出对这些块计算得到的平均亮度值；

图4和5是分别示出在2分区域和4分区域的情况下所产生的选择脉冲；

图6是示出图1中控制器的边界位置计算功能操作的流程图；

图7示出对这些块计算得到的亮度标志LF_m，n；

图8示出平滑滤波器的一个例子；以及

图9示出计算边界标志HBFn和VBFm以及边界位置数据。

在这些附图中，由相同的标号来表示在一幅以上的附图中所表示的相同元件。

图1是示出一固态成像设备100的方框图，该设备安装了依据本发明一示意实施例的灰度修正系统。在图1中，成像设备100包括：

成像装置1，用于在每场(field)期间交替地输出曝光时间不同的两个图像信号(S1和Ss)；

预处理器2，其输入端连到成像装置1的输出端；

A/D(模拟-数字)转换器(ADC)3，其输入端连到预处理器2的输出端；去复用器4，其输入端连到ADC3的输出端；

电平混合器5，它的两个输入端连到去复用器4的S长和S短输出端；

灰度修正系统6，其输入端连到电平混合器5的输出端；以及

主信号处理器7，其输入端连到灰度修正系统的输出端并提供视频输出信号作为成像设备100的输出。

在此成像设备100中，成像装置1以时分多路复用的方式输出上述图像信号S1和Ss。信号Sl和Ss经过预处理器2的CDS(相关复式采样)、AGC(自动增益控制)等处理，被ADC3转换成数字信号，以及被去复用成为同步的数字图像信号S长和S短，这两个信号被加权然后混合成单个数字图像信号IS。如以下详细所述，由本发明的灰度修正系统6对图像信号IS进行灰度修正。由主信号处理器7来处理经灰度修正的图像信号，从而产生视频信号输出。

灰度修正系统6包括：

块数据检测器10，其输入端连到电平混合器5的输出端IS，用于把图像信号IS划分成M×N个像素块(M和N是自然数)，并输出对每个块B_m，n所取的平均亮度ALi，这里i＝1，2，...，M×N；

控制器20，具有来自块数据检测器10的数据路径，该控制器用于控制整个成像设备100；

选择脉冲发生器30，具有来自控制器20的数据路径，该发生器用于输出垂直和水平选择脉冲VSh和HSv，这里h＝1，2，...，H，v＝1，2，...，V，这里H和V分别是水平和垂直像素的数目；

直方图数据检测器40，它的三个输入端连到电平混合器5的输出端以及选择脉冲发生器30的VSh和HSv输出端，并具有到控制器20的数据路径；

四个灰度修正电路50，它们的各个输入端连到电平混合器5的输出端IS；以及

区域组合器60，它的四个修正图像输入端连到相应的灰度修正电路50的输出端Sa、Sb、Sc和Sd，其区域选择输入端连到选择脉冲发生器30的输出端VSh和HSv，其输出端(作为灰度修正系统6的输出端)连到主信号处理器7的输入端。

应注意连接元件的线不一定相应于导电金属线，而可表示数据流。对于连到控制器20的线尤其如此。连到控制器20的线最好以连到包含在控制器20内的中央处理单元(未示出)的数据总线来实现。

控制器20可以是本领域内共知的任何合适的微型计算机。除控制器20以外，可以IC来实现系统6的其余部分。IC中最好包括去复用器4和电平混合器5。

此外，注意控制器20中所示的边界位置计算功能21和灰度特性计算功能22不是硬件，而是由存储在只读存储器(未示出)中的各个程序所实现的软件。

如上所述，输入图像被划分成M×N块，这些块比灰度修正中所考虑的区域的平均面积小得多。在本特殊实施例中，假定M和N分别为8和6。在图2中示出被划分成8×6(＝48)块的输入图像的一个例子。

依据本发明的示意实施例，灰度特性计算周期需要几场，例如在最有效的情况下需要5场。尤其是，该周期的第一场用于确定限定区域的边界，即如下所述计算边界位置。灰度特性计算周期的其余四场用于根据四个区域的四组直方图数据(取一场的时间来收集每组数据)对四个区域进行四灰度图像计算。这些灰度特性用于在下一个周期的第一场中进行修正。

周期中第一场的操作

块数据检测器10计算每块B_m，n中像素亮度的平均值ALi(在此例中，i＝1，2，...，48)，即平均亮度AL1，AL2，...，AL48(M×N＝8×6)。图3示出对图2的图像计算得到的平均亮度的{ALi|i＝1，2，...，48}。把计算得到的亮度传送到控制器20。控制器20执行边界位置计算功能21(将在以下详述)，以产生水平和垂直边界数据HBlh(n)、HBhl(n)、VBlh(m)和VBhl(m)，这里n＝1，2，...，(N-1)以及m＝1，2，...，(M-1)。

边界数据是表示沿扫描方向的亮度变化的数据，即亮度变化的位置和方向(升高或下降)。尤其是，水平边界数据HBlh(n)和HBhl(n)分别表示在从左扫描到右时亮度分别从低变到高以及从高变到低的块B_m，n和B_m，n+1之间的水平边界线。垂直边界数据VBlh(m)和VBhl(m)表示在从顶部扫描到底部时亮度从低变到高以及从高变到低的块B_m，n和B_m+1，n之间的垂直边界线。例如，在图4中，图像被水平边界HBlh(4)和垂直边界VBlh(5)划分成4个区域，该水平边界意味着在从顶部向底部观察时块B_m，4和B_m，5之间亮度从低变到高，该垂直边界意味着在从左向右观察时在块B_5，n和B_6，n之间亮度从低变到高。于是，看上去D区域具有高的亮度。同样，图5示出划分成两个区域的一个例子，其中一个区域(D区域)被另一个区域即A+B+C区域所环绕。

图6示出图1控制器的边界位置计算功能21的操作，在接收到来自块数据检测器10的平均亮度AL1，AL2，...AL48时启用控制器。在图6中，控制器20把每个平均亮度ALi与预定的基准值Lr相比较，并对每个平均亮度产生亮度标志LF_m，n，如果平均亮度大于基准值Lr，把标志设定为1(步骤602)。于是，在图7中示出所产生的亮度标志阵列。

在步骤604中，控制器20通过图8的平滑滤波器800传送亮度标志阵列。滤波器800是值为1/3的3×3的阵列。注意，为了在如此把滤波器应用于亮度标志阵列时避免m＝1和8以及n＝1和6的最外部各块B_m，n中的数据损失，在阵列的最外部各块通过平滑滤波器800以前，以众所周知的方式执行各块向外扩展。图9示出经滤波的亮度标志阵列。

在步骤606中，控制器20计算水平和垂直总和HSn和VSm如下： $\mathrm{HSn}=\underset{m}{\mathrm{\Σ}}L{F}_{m,n},$ $\mathrm{VSm}=\underset{n}{\mathrm{\Σ}}L{F}_{m,n},$ 并进一步计算水平和垂直边界阈值HBT和VBT如下：HBT＝(1/N)∑HSn，VBT＝(1/M)∑HSm，

在图9的经滤波的亮度标志阵列的情况下，水平和垂直求和的计算产生了HSn＝4，4，2.7，1.2，0，0和VSm＝0，0，0，1，2，3，3，3。因此，通过计算水平和垂直边界阈值，我们获得HBT＝11.9/62以及VBT＝11.9/81.5。

在步骤608中，控制器20把每个水平总和HSn与水平边界阈值HBT(＝2)相比较并把每个垂直总和VSm与垂直边界阈值VBT(＝1.5)相比较，以产生水平边界标志HBFn和垂直边界标志VBFm，如果总和超过阈值，则把标志设定为1。通过在图9中再次这样做，我们获得水平边界标志HBFn＝1，1，1，0，0，0以及垂直边界标志VBFm＝0，0，0，0，1，1，1，1。通过此操作，包含许多高亮度块的块线的标志将被设定为1。

根据所获得的水平和垂直边界标志，产生上述边界位置数据。然而，如果以与外围不同的特性对一非常小的区域进行灰度修正，这将使再现的图像不再逼真。为了避免这种情况，控制器20进行测试以查看是否有不符合预定规则的块。如果有，则控制器20在步骤610中颠倒所发现的块的标志。

在步骤612中，控制器20通过考虑边界标志HBFn和VBFm中的变化次数来计算边界位置数据HBlh(n)、HBhl(n)、VBlh(m)和VBhl(m)。尤其是，(1)如果水平和垂直边界标志HBFn和VBFm在扫描时都只变化一次，或者如果只有边界标志组HBFn或VBFm才变化两次或更少的次数，则图像被划分成四个区域；(2)如果水平和垂直边界标志HBFn和VBFm在扫描时都变化两次，则图像被划分成两个区域。

这是因为两个标志组中都只有一个变化或仅在一个标志组中有两个或更少的变化意味着高亮度块分布接近于图像四条边中的一条边，从而把图像划分成四个区域使得可进行有效的灰度修正。此外，两个标志组中都有两个变化意味着高亮度块分布被其他部分所环绕，从而把图像划分成两块而不是四块形成了更逼真的灰度修正。

应注意，如果在任一个标志组中有三个以上的变化，则通过在水平和垂直中央处设定水平和垂直边界位置把图像划分成四个区域。

这样，控制器20产生边界位置数据HBlh(n)、HBhl(n)、VBlh(m)和VBhl(m)，并把这些数据传送到选择脉冲发生器30，以及结束功能21的操作。于是，在灰度修正前根据图像的状态而把图像划分成两个或四个适当的区域，从而可进行最佳的灰度修正。

在灰度特性计算周期接着的四场中的操作

在四场的每场中，根据接收到边界位置数据，选择脉冲发生器30产生垂直和水平选择脉冲VSh和HSv，其中0≤VSh≤1，0≤HSv≤1，h＝1，2，...，H，以及v＝1，2，...，V，这里H和V分别是水平和垂直像素的数目。如图9中VSh和HSv所示，在VBlh(4)所限定的边界线附近即在块B_4，n和B_5，n之间的边界附近，选择脉冲VSh逐步从0变到1，在HBlh(3)所限定的边界线附近，选择脉冲HSv逐步从1变到0。把选择脉冲VSh和HSv提供给直方图数据发生器40和区域组合器60。

在四场中的每场中，直方图数据发生器40响应于来自选择脉冲发生器30的选择脉冲VSh和HSv检测来自图像IS的一个不同区域的直方图数据。在这四场期间，把对四个区域检测到的直方图数据传送到控制器20，控制器20继而在每场中计算四个区域中一个区域的最佳灰度特性。按照所述次序，把对每个区域计算得到的灰度特性传送到A区域、B区域、C区域和D区域修正电路50中的一个。

在下一个周期的第一场中

灰度修正电路50对图像IS的灰度进行修正，从而实现各个灰度特性，以提供传送到区域组合器60的经灰度修正的图像信号SAhv、SBhv、SChv和SDhv。然后，区域组合器60把所接收的图像信号SAhv、SBhv、SChv和SDhv组合成一个输出信号SO。在划分成4个区域的情况下，依据以下公式进行组合操作。

SO＝(1-HSv)·(1-VSh)·SAhv+HSv·(1-VSh)·SBhv

    +(1-HSv)·VSh·SChv+HSv·VSh·SDhv，   ......(1)

有时，高亮度块可能集中在图像的中央部分。在此情况下，把图像划分成相应于图5所示的中央D区域和A、B和C区域组合的周围A+B+C区域。以两个区域为基础，计算两个区域(A+B+C)和D的灰度特性。在此情况下，把D区域的特性提供给D区域修正电路，把A+B+C区域的特性提供给A区域、B区域和C区域修正电路。这四个灰度修正电路50进行与划分成四区域的情况相同的操作，以提供经灰度修正的图像信号SAhv、SBhv、SChv和SDhv，这些图像信号被区域组合器60组合成一输出图像信号SO。由于给电路50-1到50-3提供相同的灰度特性，所以信号经灰度修正的图像信号SAhv、SBhv和SChv都相同。因此，假定SAhv＝SBhv＝SChv＝S’hv，则可如下改写公式(1)：

SO＝(1-HSv)·(1-VSh)·S’hv+HSv·(1-VSh)·S’hv

    +(1-HSv)·VSh·S’hv+HSv·VSh·SDhv，    ......(2)

在任一种情况下，在每个边界附近逐步改变选择脉冲有利于使边界平滑。

可构成本发明的许多更为不同的实施例，而不背离本发明的精神和范围。应理解除了附加的权利要求书中所限定的以外，本发明不限于本说明书中所述的特殊实施例。

Claims (21)

1.一种系统(6)，所述系统使用响应于成像设备(100)中图像状态而把图像周期性重新划分的多个区域中每个区域的灰度特性来修正输入图像的灰度，其特征在于所述系统包括：

根据所述输入图像的状态而进行操作的装置(10，21)，所述装置用于周期性地计算限定所述区域的边界数据，每个所述区域包括多个像素块；

用于对每个像素产生一对脉冲的装置(30)，所述一对脉冲表示所述像素所在的区域；

响应于所述脉冲对，用于根据从每个所述区域中获得的直方图数据来计算所述灰度特性的装置(22)；

为每个所述区域所分配的装置(50)，所述装置用于使用与所述区域有关的一个所述灰度特性来修正所述输入图像的灰度，以对该区域提供经修正的图像信号；以及

响应于所述脉冲对，用于把所述经修正的图像信号组合成一输出图像信号的装置(60)。

2.如权利要求1所述的系统，其特征在于用于产生一对脉冲的所述装置包括：

在任一个所述脉冲位于所述边界数据所限定的边界附近时进行操作的装置，所述装置用于逐步改变所述任一个所述脉冲的大小。

3.如权利要求1或2所述的系统，其特征在于用于周期性计算边界数据的所述装置包括：

在高亮度块分布接近于所述图像四条边中的一条边时进行操作的装置，所述装置用于使所述区域包括四个区域，从而所述四个区域中的一个区域包括所述高亮度块分布；以及

在高亮度块分布被所述图像的其他部分所围绕时进行操作的装置，所述装置用于使所述区域包括一中央区域和一包围所述中央区域的区域，从而所述中央区域包括所述高亮度块分布。

4.一种方法，所述方法使用响应于成像设备(100)中图像状态而把图像周期性重新划分的多个区域中每个区域的灰度特性来修正输入图像的灰度，其特征在于所述方法包括以下步骤：

根据所述输入图像的状态，周期性地计算限定所述区域的边界数据，每个所述区域包括多个像素块；

对每个像素产生一对脉冲，所述脉冲对表示所述像素所在的区域；

响应于所述脉冲对，根据从每个所述区域中获得的直方图数据来计算所述灰度特性；

对每个所述区域，使用与所述区域有关的一个所述灰度特性来修正所述输入图像的灰度，以对该区域提供经修正的图像信号；以及

响应于所述脉冲对，把所述经修正的图像信号组合成一输出图像信号。

5.如权利要求4所述的方法，其特征在于产生一对脉冲的所述步骤包括：

在任一个所述脉冲位于所述边界数据所限定的边界附近时，逐步改变所述任一个所述脉冲的大小。

6.如权利要求4或5所述的方法，其特征在于周期性计算边界数据的所述步骤包括：

在高亮度块分布接近于所述图像四条边中的一条边时，使所述区域包括四个区域，从而所述四个区域中的一个区域包括所述高亮度块分布；以及

在高亮度块分布被所述图像的其他部分所围绕时，使所述区域包括一中央区域和一包围所述中央区域的区域，从而所述中央区域包括所述高亮度块分布。

7.一种成像设备，其特征在于，包括：

成像装置(1)，它输出长曝光图像信号和短曝光图像信号；

电平混合器(5)，它将所述长曝光图像信号和短曝光图像信号进行混合以形成单个图像信号；

亮度检测器(10)，它对所述单个图像信号中的多个区域的亮度进行检测；

边界位置计算器(21)，它依据所述亮度值对所述单个图像信号中的边界进行计算；

灰度修正器(50)，它对多个区域中每个区域的灰度特性进行修正，所述多个区域通过所述边界划分；以及

区域组合器(60)，它将所述多个区域组合成一个图像信号；

其中，所述边界位置计算器周期性地计算单个图像信号中的边界，以依据所述亮度值重新划分所述单个图像信号。

8、如权利要求7所述的成像设备，其特征在于，进一步包括：

平均亮度数据检测器，针对所述多个区域中的每个区域输出平均亮度数据；并且

其中，所述边界位置计算器(21)依据所述平均亮度数据计算所述边界。

9、如权利要求7所述的成像设备，其特征在于，进一步包括：

平均亮度数据检测器，对所述多个区域中的每个区域输出平均亮度数据；并且

其中，所述边界位置计算器(21)依据所述平均亮度数据以高亮度区域分布为基准来计算所述边界。

10、如权利要求9所述的成像设备，其特征在于，当所述高亮度区域分布与图像一侧接触时，所述边界位置计算器(21)对所述边界进行计算以便将所述单个图像信号分成4个区域，并且将所述高亮度区域定位于所述4个区域之一。

11、如权利要求9所述的成像设备，其特征在于，当所述高亮度区域分布与图像一侧不接触时，所述边界位置计算器(21)对所述边界进行计算以便将所述单个图像信号分成至少2个区域，并且将所述高亮度区域定位于所述2个区域之一。

12、一种摄像机，包括一种成像设备，所述成像设备包括：

成像装置(1)，它输出长曝光图像信号和短曝光图像信号；

电平混合器(5)，它将所述长曝光图像信号和短曝光图像信号进行混合以形成单个图像信号；

亮度检测器(10)，它对所述单个图像信号中的多个区域的亮度进行检测；

边界位置计算器(21)，它依据所述亮度值对所述单个图像信号中的边界进行计算；

灰度修正器(50)，它对多个区域中每个区域的灰度特性进行修正，所述多个区域通过所述边界划分；以及

区域组合器(60)，它将所述多个区域组合成一个图像信号；

其中，所述边界位置计算器周期性地计算单个图像信号中的边界，以依据所述亮度值重新划分所述单个图像信号。

13.如权利要求12所述的摄像机，其特征在于，所述成像设备进一步包括：

平均亮度数据检测器，针对所述多个区域中的每个区域输出平均亮度数据；并且

其中，所述边界位置计算器(21)依据所述平均亮度数据计算所述边界。

14.如权利要求12所述的摄像机，其特征在于，所述成像设备进一步包括：

平均亮度数据检测器，对所述多个区域中的每个区域输出平均亮度数据；并且

其中，所述边界位置计算器(21)依据所述平均亮度数据以高亮度区域分布为基准来计算所述边界。

15.如权利要求14所述的摄像机，其特征在于，当所述高亮度区域分布与图像一侧接触时，所述边界位置计算器(21)对所述边界进行计算以便将所述单个图像信号分成4个区域，并且将所述高亮度区域定位于所述4个区域之一。

16、如权利要求14所述的摄像机，其特征在于，当所述高亮度区域分布与图像一侧不接触时，所述边界位置计算器(21)对所述边界进行计算以便将所述单个图像信号分成至少2个区域，并且将所述高亮度区域定位于所述2个区域之一。

17、一种用于图像信号灰度修正的方法，其特征在于，包括下述步骤：

产生长曝光图像信号和短曝光图像信号；

对单个图像信号中的所述长曝光图像信号和短曝光图像信号进行同步；

对所述单个图像信号中的多个区域的亮度进行检测；

依据所述亮度分布计算所述单个图像信号的边界位置；

对由所述边界划分出的多个区域中每个区域的灰度特性进行修正；

将所述多个区域组合成一个图像信号；

其中，所述计算边界位置的步骤包括周期性地计算单个图像信号中的边界，并依据所述亮度值重新划分所述单个图像信号。

18、如权利要求17所述的图像信号灰度修正方法，其特征在于，进一步包括下述步骤：

对所述多个区域中每个区域检测平均亮度数据；

其中，所述计算边界位置的步骤包括依据所述平均亮度数据计算所述边界位置。

19、如权利要求17所述的图像信号灰度修正方法，其特征在于，进一步包括下述步骤：

对所述多个区域中每个区域检测平均亮度数据；

其中，所述计算边界位置的步骤包括依据所述平均亮度数据以高亮度区域分布为基础计算所述边界位置。

20、如权利要求19所述的图像信号灰度修正方法，其特征在于，当所述高亮度区域与图像一侧接触时，所述计算边界位置的步骤包括对所述边界位置进行计算以便将所述单个图像信号分成4个区域，并且

将所述高亮度区域定位于所述4个区域之一。

21、如权利要求19所述的图像信号灰度修正方法，其特征在于，当所述高亮度区域与图像一侧不接触时，所述计算边界位置的步骤包括对所述边界位置进行计算以便将所述单个图像信号分成至少2个区域，并且将所述高亮度区域定位于所述2个区域之一。

Images