CN1164086C - 在图象拾取装置中校正亮度分级的方法 - Google Patents

Abstract

把长期图象信号和短期图象信号相结合以产生动态图象的合成图象信号、根据它检测直方图数据、当增加直方图数据数量时重复计算它的总和作为总和值和检测一系列总和值表示的线倾斜度作为亮度分级特性。根据最大亮度级和动态范围上限亮度级之间关系把亮度分级特性校正成经校正亮度分级特性并根据它产生亮度分级经校正信号以使最大分级经校正亮度级等于或低于上限亮度级。在动态范围内清楚地再现低亮度物体和/或高亮度物体。

Description

在图象拾取装置中校正亮度分级的方法

本发明一般涉及供摄像机等使用的图象拾取装置(image pickup apparatus)中亮度分级校正方法，特别是涉及逼真地再现由较亮物体部分和/或较暗物体部分构成的物体的动态图象(即使图象拾取装置的显示单元的亮度动态范围很窄)的亮度分级校正方法。

在单板型彩色摄像机中，最高可再现亮度与最低可再现亮度之比是2或3，从而单板型彩色摄像机的动态范围大约为2或3倍。然而，由于晴天在户外场所的亮度大约为50000lux，而在室内的亮度大约为500lux，从而在同时拍摄阳光充足的户外场所中的较亮物体部分和位于室内的较暗物体部分的情况下，单板型彩色摄像机所需的动态范围大约为100倍。为了通过使用窄动态范围的图象拾取装置拍摄由较亮物体部分和较暗物体部分组成的作为动态图象的特定物体，为图象拾取装置提供在传输速度为传统电荷耦合器件(CCD)的两倍的情况下操作的新CCD，通过在较长曝光时间内(例如，大约1/60秒，这与在带有传统CCD的图象拾取装置中的相同)拍摄特定物体，获得第一图象信号(称为长期图象信号)、通过在较短曝光时间内(例如，大约为1/1000秒)拍摄特定物体，获得第二图象信号(称为短期图象信号)、把长期图象信号和短期图象信号组合起来以对于每个场期间产生合成图象信号，而且校正在合成图象信号中的亮度分级以校正由与特定物体的实际亮度相对应的合成图象信号再现的图象亮度并把经校正的再现图象的亮度设置在图象拾取装置的窄动态范围内。在这种情况下，虽然长期图象信号没有清楚地表明较亮物体部分的图象，但是长期图象信号清楚地表明较暗物体部分的图象，而且虽然短期图象信号没有清楚地表明较暗物体部分的图象，但是短期图象信号清楚地表明较亮物体部分的图象。因此，在适当地校正在合成图象信号中的亮度分级的情况下，即使带有新CCD的图象拾取装置的动态范围很窄，合成图象信号也可以清楚地表明在特定物体中的较暗物体部分和较亮物体部分。

参照图1描述根据传统亮度分级校正方法操作的图象拾取装置。

图1是根据传统亮度分级校正方法操作的图象拾取装置的方框图。

如图1所示，图象拾取装置11包括：

图像拾取设备12，它具有M*N个象素(横向M个象素，而纵向N个象素)，以交替地进行通过在较长曝光时间内拍摄由较亮物体部分和较暗物体部分构成的特定物体并在较短曝光时间内拍摄该特定物体，产生与较长曝光时间相对应的长期模拟图象信号和与较短曝光时间相对应的短期模拟图象信号，而且在每个场时期内成对地传输长期模拟图象信号和短期模拟图象信号；

预处理单元13，对于长期模拟图象信号和短期模拟图象信号，它执行相关二重采样和自动增益控制，并对于每个场期间放大长期模拟图象信号和短期模拟图象信号；

模拟-数字(A/D)变换器14，对于每个场期间，它把长期模拟图象信号和短期模拟图象信号转换成长期数字图象信号和短期数字图像信号；

时轴转换器15，对于每个场期间，它通过把长期数字图象信号和短期数字图像信号交替地存储在长期信号存储器和短期信号存储器中，来产生其传输时间(或时轴)相互一致的长期数字图象信号和短期数字图像信号，而且同时从信号存储器读出长期数字图象信号和短期数字图像信号；

亮度级合成单元16，它把长期数字图象信号和短期数字图像信号组合起来，以产生具有亮度范围的合成图象信号、在亮度范围内把象素的亮度值分成16个亮度级L(i)(i＝0至15)、通过把亮度范围平分成16个分开的亮度范围来确定16个亮度级、每个亮度级代表具有相同分开的亮度宽度Lw的一个分开的亮度范围的亮度值并把合成图象信号分成与16个亮度级相对应的16个直方图数据值H(i)；

直方图检测单元17，它检测多个直方图数据的值H(i)，每个直方图数据的值H(i)表示具有一个亮度级的象素量，而且具有一个亮度级的象素量被称为亮度频率；

由微机实现的亮度分级特性产生单元18，它使多个直方图数据的值H(i)标准化以产生多个标准化的直方图数据的值Hn1(i)、用有限的直方图数据的值Hn2(i)代替值Hn1(i)以限制由一系列总和值Hns1(j)＝∑Hn1(i)(i＝0至j，j＝0至15)表示的曲线的倾斜度、把值Hn2(0)、Hn2(1)、…和Hn2(j)加起来以产生总和直方图数据的多个总和值Hns2(j)＝∑Hn2(i)并对于总和直方图数据进行标准化处理以产生具有值Hnsn(j)的总和标准化直方图数据、由总和标准化直方图数据的一系列和值Hnsn(j)(它表示由合成图象信号表示的合成图象的亮度分级特性)表示的曲线倾斜度；

亮度分级校正单元19，它根据亮度分级特性校正由合成图象信号表示的合成图象的亮度分级，以强调在高亮度频率的特定亮度级和接近于特定亮度级的一组相邻亮度级之间的亮度对比度，并产生亮度分级经校正的图象信号，把亮度分级经校正的图象信号分成与16个分级经校正的亮度级相对应的16个分级校正直方图数据值H(i)；

主图象信号处理单元20，它处理亮度分级经校正的图象信号以产生亮度分级经校正的视频信号；

显示单元21，它根据亮度分级经校正的视频信号再现特定物体的分级校正图象、使最高校正亮度级与最低校正亮度级之比使处于显示单元21的窄动态范围内。

在上述结构中，图象拾取设备12是由两倍于普通CCD的传输速度进行操作的CCD构成、由图象拾取设备12在较长曝光时间内(1/64秒)拍摄由较亮物体部分和较暗物体部分构成的特定物体部分以产生长期模拟图象信号和在较短曝光时间内(1/1000秒)拍摄特定物体以产生短期模拟图象信号。在图象拾取设备12中交替产生长期模拟图象信号和短期模拟图象信号，而且对于每个场期间，成对地传输长期模拟图象信号和短期模拟图象信号。之后，在预处理单元13中处理长期模拟图象信号和短期模拟图象信号，而且在模拟-数字转换器14中，把它们转换成长期数字图象信号和短期数字图像信号。之后，在时轴转换器15中，使长期数字图象信号的传输时间与短期数字图像信息的传输时间一致，而且在亮度级合成单元16中把同时传输的长期数字图象信号和短期数字图像信号结合起来以产生合成图象信号。

图2示出根据一个长期数字图象信号和一个短期数字图像信息来产生一个合成图象信号的组合法。

在图2中，X轴表示每个低亮度象素的长期数字图象信号的亮度值和每个高亮度象素的短期数字图像信息的亮度值，而Y轴表示在相应象素处的合成图象信号的亮度值。设定与长期数字图象信号相对应的低亮度组合级L1和与短期数字图像信号相对应的高亮度组合级L2、由于即使在较长曝光时间内拍摄较暗物体部分长期数字图象信号也能够较好地再现较暗物体部分的图象，所以采用长期数字图象信号作为具有等于或低于低亮度组合级L1的亮度值的象素的合成图象信号、而且由于即使在较短曝光时间内拍摄较亮物体部分短期数字图像信号也能够较好地再现较亮物体部分的图象，所以把短期数字图像信号用作具有等于或高于上亮度组合级L2的亮度值的象素。

由于在短于长期数字图象信号的曝光时间内，产生短期数字图像信号，所以一个象素的短期数字图像信号的亮度值Yshort低于相同象素的长期数字图象信号的亮度值Ylong，从而把偏移值Yoffset加到每个象素的短期数字图像信号亮度值Yshort。因此，Ylong表示具有等于或低于低组合级L1的亮度值的象素的合成图象信号的亮度值，而Yshort+Yoffset表示具有等于或高于上组合级L2的亮度值的象素的合成图像信息的亮度值。合成图象信号的低合成亮度级L3与长期数字图象信号的低亮度组合级L1相对应，而且合成图象信号的上合成亮度级L4与短期数字图象信号的上亮度组合级L2相对应。通常把低合成亮度级L3设为显示单元21的动态范围的上限亮度值Lmax的一半。

此外，如果在低组合级L1处满足K＝1而在上组合级L2处满足K＝0，使用在组合级L1和L2之间的转移亮度范围内线性变化的增益K，而且K+Ylong+(1-K)*(Yshort+Yoffset)表示在转移亮度范围内象素的合成图象信号的亮度值。因此，当在转移亮度范围内增加亮度值时，在合成图象信号中增加短期数字图像信号的影响。

因此，对于每个象素，确定合成图象信号的亮度值Ymix。

由于在把亮度值平分成16个亮度级的情况下，合成图象信号具有与M*N象素相对应的多个亮度值，所以可以获得与16个亮度级相对应的16个直方图数据值H(i)(i＝0至15)。在这种情况下，每个直方图数据的值H(i)表示具有一个亮度级的象素数量，而且将其称为亮度频率。此外，由于具有等于或高于上组合级L2的象素的合成图象信号具有高于亮度值Yshort的亮度值Yshort+Yoffset，所以最高亮度级L(15)超过显示单元21的动态范围的上限亮度值，从而在合成图象信号中，最高亮度级与最低亮度级之比超过超过显示单元21的动态范围。

之后，直方图数据检测单元17检测直方图数据的值H(i)，而且亮度分级特性产生单元18产生由合成图象信号表示的合成图象的亮度分级特性。

图3示出产生由合成图象信号表示的合成图象的亮度分级特性的方法的流程图。

如图3所示，在步骤S101中，计算直方图数据的值H(i)的总和Hall。

$\mathrm{Hall}=\underset{i=0}{\stackrel{15}{\mathrm{\Σ}}}H\left(i\right)$

之后，在步骤S102中，使直方图数据标准化以产生标准化直方图数据的值Hn1(i)。

Hn1(i)＝H(n)/Hall

之后，假设当根据亮度分级特性强调由合成图象信号表示的合成图象的亮度分级特性和亮度对比度时，根据标准化直方图数据产生多个和值Hns1(j)＝∑Hn1(i)(j＝0至15)，过分强调高亮度频率的亮度级之间的细微不同，从而信噪比(S/H)劣化，或者丢失低亮度频率的亮度级之间的亮度对比度。为了防止这个缺点，限制由一系列总和值Hns1(j)表示的曲线倾斜度。即，在步骤S103中，在标准化直方图数据的一个值Hn1(i)低于下限值Cpmin(i)的情况下，把与值Hn1(i)相对应的有限直方图数据的值Hn2(i)设为下限值Cpmin(i)。此外，在标准化直方图数据的一个值Hn1(i)高于上限值Cpmax(i)的情况下，把与值Hn1(i)相对应的有限直方图数据的值Hn2(i)设为上限值Cpmax(i)。此外，在标准化直方图数据的一个值Hn1(i)的范围在有限值Cpmin(i)和Cpmax(i)之间的情况下，把值Hn1(i)用作有限直方图数据的值Hn2(i)。

之后，在步骤S104中，对于每个可变值j(j＝0至15)，计算有限直方图数据值Hn2(0)、Hn2(1)…和Hn2(j)的总和。

$\mathrm{Hns}2\left(j\right)=\underset{i=0}{\overset{j}{\mathrm{\Σ}}}\mathrm{Hn}2\left(i\right)$

因此，获得总和直方图数据的多个和值Hns2(j)。之后，由于合成图象信号的最高亮度级L(15)超过显示单元21的动态范围的上限亮度值，所以在步骤S105中，通过把每个总和直方图数据的值与常数K1相乘以使合成图象信号的最高亮度级L(15)符合显示单元21的动态范围的上限亮度值Lmax，对于总和直方图数据进行标准化处理。

Hnsn(j)＝Hns2(j)*K1

K1＝Lmax/Hns2(15)

因此，获得总和标准化直方图数据的多个总和值Hnsn(j)。在这种情况下，由总和标准化直方图数据的一系列总和值Hnsn(j)表示的曲线倾斜度表示由合成图象信号表示的合成图象的亮度分级特性，从而把曲线称为亮度分级特性线。

之后，在亮度分级校正单元19，根据总和标准化直方图数据产生与亮度分级经校正的图象信号的分级校正直方图数据相对应的16个分级经校正的亮度级Lc(i)。

Lc(i)＝Hnsn(i)

在这种情况下，由于用值K1调节亮度分级特性线的倾斜度，所以最高分级经校正的亮度级Lc(15)符合显示单元21的动态范围的上限亮度值Lmax，以把最高分级经校正的亮度级Lc(15)与最低分级经校正的亮度级Lc(0)之比设定在显示单元21的动态范围内。

之后，产生亮度分级经校正的图象信号，其中值H(i)的每个分级校正直方图数据与分级经校正的亮度级Lc(i)相对应。因此，由于与高亮度频率相对应的分级经校正的亮度级表示具有较宽亮度宽度的分开的亮度范围，在由亮度分级经校正的图象信号所表示的亮度分级校正图象中，强调高亮度频率的特定亮度级和接近于特定亮度级的邻近亮度级组之间的亮度对比度。

之后，在主图象信号处理单元20中处理亮度分级经校正的图象信号，而且如果最高分级经校正的亮度级与最低分级经校正的亮度级之比落在显示单元21的窄动态范围内，在显示单元21中再现特定物体的分级校正图象。

因此，根据传统亮度分级校正方法，可以强调对于其它亮度级的特定亮度级(其中存在大量象素)的亮度对比度。此外，根据传统亮度分级校正法，最高分级经校正的亮度级Lc(15)符合显示单元21的动态范围的上限亮度值以防止亮度分级经校正的图象信号的亮度值超过显示单元21的窄动态范围。

然而，即使图象拾取装置11只拍摄诸如较暗物体的低亮度物体而且表示较暗物体的合成图象信号的最高亮度级不超过显示单元21的动态范围的上限亮度值，也不必调节合成图象信号的亮度级以使合成图象信号的最高亮度级符合显示单元21的动态范围的上限亮度值。因此，存在一个缺点，即，用户在不自然地观看较暗物体的亮度分级校正图象。

本发明的目的在于，考虑到这种传统亮度分级校正方法的缺点，提供一种亮度分级校正方法，其中即使通过用具有窄动态范围的图象拾取装置拍摄低亮度物体(诸如，较暗物体)来获得图象，也能再现用户看上去觉得十分自然的图象。

通过在具有动态范围的图象拾取装置中提供一种亮度分级校正方法，达到本发明的目的，包括下列步骤：

根据在图象拾取装置中产生的输入图象信号，检测分别表示亮度级的象素数量的直方图数据，输入图象信号表示特定图象；

根据直方图数据的亮度级，检测最大亮度级；

根据与亮度级相对应的直方图数据，检测由输入图象信号所表示的特定图象的亮度分级特性；

根据最大亮度级和图象拾取装置的动态范围，从特定图象的亮度分级特性产生特定图象的经经校正的亮度分级特性；

根据特定图象的经经校正的亮度分级特性，把直方图数据的亮度级校正成多个分级经校正的亮度级，以把与直方图数据相对应的分级经校正的亮度级设定在图象拾取装置的动态范围内；和

产生由与分级经校正的亮度级相对应的直方图数据组成的亮度分级经校正的图象信号，以根据亮度分级经校正的图象信号再现特定图象，其中每个象素都具有一个相应的分级经校正的亮度级。

在上述步骤中，在根据输入图象信号检测直方图数据之后，从亮度级中检测最大亮度级，并根据直方图数据检测特定图象的亮度分级特性。与最大亮度级相对应的直方图数据的值不等于零。此外，亮度分级特性表示由总和直方图数据的总和值序列所表示的线的倾斜度，而且当逐一增加直方图数据的数量时，通过重复计算直方图数据的值的总和来确定总和直方图数据的总和值。

之后，根据特定图象的亮度分级特性产生特定图象的经校正的亮度分级特性，而且根据经校正的亮度分级特性把亮度级校正成多个分级经校正的亮度级。在这种情况下，当最大亮度级低于或等于标准亮度级时，亮度级与分级经校正的亮度级相同。即，不进行任何亮度分级校正。当最大亮度级高于标准亮度级并低于或等于动态范围的上限亮度值时，设定经校正的亮度分级特性以使最大分级经校正的亮度级符合最大亮度级。当最大亮度级高于动态范围的上限亮度值时，设定经校正的亮度分级特性以使最大分级经校正的亮度级符合上限亮度值。

之后，产生由与分级经校正的亮度级相对应的直方图数据组成的亮度分级经校正的图象信号，并根据亮度分级经校正的图象信号再现特定图象(其中，每个象素具有一个相应的分级经校正的亮度级)。

因此，即使通过拍摄特定物体(诸如，低亮度的较暗物体，高亮度的较亮物体，或由较暗物体部分和较亮物体部分构成的组合物体)获得输入图象信号，用户也可以看到自然的输入图象信号的特定图象。

参照附图，从以下说明中可以清楚地了解本发明的目的、特性和优点，其中：

图1是根据传统亮度分级校正方法操作的图象拾取装置的方框图；

图2示出根据长期数字图象信号和短期数字图像信号产生的合成图象信号的组合法；

图3示出根据传统亮度分级校正方法产生由合成图象信号所表示的合成图象的亮度分级特性的方法的流程图；

图4是根据本发明的亮度分级校正方法的图象拾取装置的方框图；

图5示出进行亮度分级校正以把合成图象信号的直方图数据的亮度级改成分级经校正的亮度级的流程图；

图6A示出合成图象信号的第一例子，其中最大亮度级低于或等于标准亮度级(它相当于如图4所示的图象拾取装置的后处理单元的动态范围的上限亮度值的一半)；

图6B示出合成图象信号的第二例子，其中最大亮度级高于标准亮度级，而且等于或低于动态范围的上限亮度值；

图6C示出合成图象信号的第三例子，其中最大的亮度级高于动态范围的上限亮度值；

图7A示出如图6A所示的第一例子分级经校正的亮度级；

图7B示出如图6B所示的第二例子的分级经校正的亮度级；和

图7C示出如图6C所示的第三例子的分级经校正的亮度级。

参照附图，描述根据本发明的亮度分级校正方法的较佳实施例。

图4是根据本发明的亮度分级校正方法操作的图象拾取装置的方框图，而图5示出进行亮度分级校正的方法的流程图，以把合成图象信号的直方图数据的亮度级改成分级经校正的亮度级。

如图4所示，图象拾取装置31包括：具有M*N个象素的图象拾取设备12、预处理单元13、模拟-数字变换器14、时轴转换器15、亮度级合成单元16、直方图检测单元17、

最大亮度级检测单元32，它从由直方图数据检测单元17检测的原始直方图数据中选出与具有不等于零的值H(i)的特定直方图数据相对应的特定亮度级L(i)、从特定亮度级中选出具有最大亮度值的最大亮度级L(Nmax)并检测最大亮度级的数量Nmax；

倾斜度限制选择单元33，它在最大亮度级低于或等于标准亮度级Ls的情况下，选择第一倾斜度限制、在最大亮度级高于标准亮度级Ls并等于或低于后处理单元38的上限亮度值Lmax的情况下，选择第二倾斜度限制、并在最大亮度级高于动态范围的上限亮度级Lmax的情况下，选择第三倾斜度限制，标准亮度级Ls是动态范围的上限亮度值Lmax的一半；

直方图数据标准化单元34，它使由直方图数据检测单元17检测的原始直方图数据的值H(i)标准化，以产生标准化直方图数据的值Hn1(i)；

倾斜度限制执行单元35，它在选择第一倾斜度限制的情况下，准备下限值Cpmin(i)和上限值Cpmax(i)以满足Cpmin(i)＝Cpmax(i)、在选择第二倾斜度限制或第三倾斜度限制的情况下，准备下限值Cpmin(i)和上限值Cpmax(i)以满足Cpmin(i)＜Cpmax(i)、在Hn1(i)＜Cpmin(i)的情况下，把每个标准化直方图数据的值Hn1(i)设为下限值Cpmin(i)、在Hn1(i)＞Cpmax(i)的情况下，把每个标准化直方图数据的值Hn1(i)设为上限值Cpmax(i)并把每个标准化直方图数据的值Hn1(i)设为有限直方图数据的值Hn2(i)(i＝0至最大值)，在由一系列总和值Hns2(j)＝∑Hn2(i)表示的曲线中，限制由一系列总和值Hns1(j)＝∑Hn1(i)(i＝0至j)所表示的曲线的倾斜度；

亮度分级特性产生单元36，它积累有限直方图数据的值Hn2(i)以产生有限直方图数据的总和值Hns2(j)＝∑Hn2(i)(i＝0至j，j＝0至Nmax)，并产生由一系列总和值Hns2(j)所表示的线的有限倾斜度作为合成图象信号的亮度分级特性；

经校正的亮度分级特性产生单元37，它在选择第一倾斜度限制或第二倾斜度限制的情况下，把每个总和值Hns2(j)与标准化因数K2＝L(Nmax)/Hns2(Nmax)相乘，以产生标准化总和值Hnsn2(j)＝K2*Hns2(j)、在选择第三倾斜度限制的情况下，把每个总和值Hns2(j)与标准化因子K2＝Lmax/Hns2(Nmax)相乘以产生标准化总和值Hnsn2(j)＝K2*Hns2(j)，并产生一系列标准化总和值Hnsn2(j)所表示的线的经校正倾斜度作为亮度分级经校正的图象信号的经校正的亮度分级特性；

亮度分级校正单元38，它把标准化总和值Hnsn2(j)设为分级校正亮度值Lc(j)并产生分成与分级经校正的亮度级Lc(i)(i＝0至Nmax)相对应的值H(i)的(Nmax+1)个分级校正直方图数据的亮度分级经校正的图象信号，以把由合成图象信号表示的合成图象的亮度分级校正成由亮度分级经校正的图象信号所表示的亮度分级，当在亮度级L(n)处，由一系列总和值Hns2(n)所表示的线的倾斜度很高的时候，强调在接近于特定亮度级的特定分级经校正的亮度级Lc(n)和邻近亮度级Lc(n-1)与Lc(n+1)组之间的亮度对比度；

主图象信号处理单元20，处理亮度分级经校正的图象信号以产生亮度分级经校正的视频信号；和

后处理单元39，它根据在从分级经校正的亮度级Lc(0)到上限亮度值Lmax的窄动态范围内的亮度分级经校正的视频信号再现特定物体。

在上述结构中，在亮度级合成单元16中产生合成图象信号之后，由直方图数据检测单元17用与如图3所示的现有技术中相同的方法，检测原始直方图数据的值H(i)。

之后，如图5所示，在步骤S201中，在最大亮度级检测单元32中，从与原始直方图数据(其H(i)不等于零)相对应的特定亮度级中选出具有最大亮度值的最大亮度级L(Nmax)，并检测最大亮度级的数量Nmax。例如，如图6A所示，在第一例子(其中，最大亮度级L(Nmax)等于或低于标准亮度级Ls＝L(4))中，亮度级的最大数量Nmax是3。标准亮度级Ls大约是动态范围的上限亮度值Lmax的一半，而且把它设为如图2所示的较低合成亮度级L3。此外，如图6B所示，在第二例子(其中，最大亮度级L(Nmax)的亮度值高于标准亮度级Ls，并等于或低于后处理单元39的动态范围的上限亮度值Lmax＝L(5))中，亮度级的最大数量Nmax是4。此外，如图6C所示，在第三例子(其中，最大亮度级L(Nmax)的亮度值高于动态范围的上限亮度值Lmax)中，亮度级的最大数量Nmax是15。在这个实施例中，对于上述例子所进行的分级校正法互不相同。

之后，在步骤L202中，倾斜度限制选择单元33选择倾斜度限制。详细地说，在最大亮度级L(Nmax)低于或等于标准亮度级Ls的情况下，选择第一倾斜度限制、在最大亮度级L(Nmax)高于标准亮度级Ls并等于或低于动态范围的上限亮度值Lmax的情况下，选择第二倾斜度限制、而且在最大亮度级L(Nmax)高于动态范围的上限亮度值Lmax的情况下，选择第三倾斜度限制。

此外，在步骤S203中，用与图3的步骤S102中相同的方法，在直方图数据标准化单元34中，使由直方图数据检测单元17所检测的原始直方图数据的值H(i)标准化以产生标准化直方图数据的值Hn1(i)。

之后，在步骤S204中，把表示极大数量象素的原始直方图数据的值限幅为上限值Cpmax(i)，而把表示极少量象素的原始直方图数据的值限幅为下限值Cpmin(i)。在该实施例中，通过扩大特定亮度级的分开亮度宽度，强调在特定亮度级(其中，象素量很大)和接近于特定亮度级的邻近亮度级组之间的亮度对比度。然而，在通过把分开的亮度宽度与根据与特定亮度级相对应的极大量象素确定的增益相乘，大大扩大特定亮度级的分开亮度宽度的情况下，大大强调了在高亮度频率的亮度级之间的细微差异，从而劣化信噪比(S/N)。此外，在通过把分开的亮度宽度与根据与特定亮度级相对应的极少数象素确定的增益相乘使特定亮度级的分开的亮度宽度大大缩小的情况下，大大抑制了在较低亮度频率的亮度级之间的亮度对比度。因此，不理想地进行非自然亮度分级校正。

为了在倾斜度限制执行单元35中防止这种不自然的亮度分级校正(步骤S204)，在第一倾斜度限制的情况下，准备满足Cpmin(i)＝Cpmax(i)的下限值Cpmin(i)和上限值Cpmax(i)、在第二倾斜度限制或第三倾斜度限制的情况下，准备满足Cmin(i)＜Cpmax(i)的下限值Cpmin(i)和上限值Cpmax(i)、在Hn1(i)＜Cpmin(i)的情况下，把每个标准化直方图数据的值Hn1(i)设为下限值Cpmin(i)、在Hn1(i)＞Cpmax(i)的情况下，把每个标准化直方图数据的值Hn1(i)设为上限值Cpmax(i)，和把每个标准化直方图数据的值Hn1(i)设为有限直方图数据的值Hn2(i)(i＝0至Nmax)。因此，如图6A至6C所示，把由一系列总和值Hns1(j)＝∑Hn1(i)(i＝0至j)所表示的线的倾斜度改成由一系列总和值Hns2(j)＝∑Hn2(i)所表示的线的有限倾斜度。在这种情况下，上限值Cpmax(i)表示有限倾斜度的上限，而且下限值Cpmin(i)表示有限倾斜度的下限。

例如，在第一倾斜度限制的情况下，对于Nmax＝511，把上、下限值Cpmin(i)hCpmax(i)设为32。在第二倾斜度限制的情况下，对于Nmax＝511，把下限值Cpmin(i)设为32(i＝0，1)和16(i≥2)，而且对于Nmax＝511，把上限值Cpmax(i)设为32(i≤4)和16(i≥5)。在第三倾斜度限制的情况下，对于Nmax＝511，把下限值Cpmin(i)设为32(i＝0，i≥5)和8(1≤i≤4)，和对于Nmax＝511，把上限值Cpmax(i)设为32(i≤4)和64(i≥5)。然而，在图6A至6C中，对于所有亮度级L(i)，有限值Cpmin(i)都是恒定的，而且为了方便，对于所有亮度级L(i)，有限值Cpmax(i)也是恒定的。

之后，在步骤S205中，在直方图数据特性产生单元36中，产生有限直方图数据的亮度分级特性。即，累加有限直方图数据的值Hn2(i)以产生总和值Hns2(j)。

$\mathrm{Hns}2\left(j\right)=\underset{i=0}{\overset{j}{\mathrm{\Σ}}}\mathrm{Hn}2\left(i\right)$ (j＝0至Nmax)

由一系列总和值Hns2(j)所表示的线的有限倾斜度表示合成图象信号的亮度分级特性，如图6A和6C所示。

之后，在步骤S206中，在亮度分级特性产生单元37中，产生亮度分级经校正的图象信号的经校正的亮度分级特性，如图6A至6C所示。即，把每个总和值Hns2(j)与标准化因子K2相乘，以在选择第一倾斜度限制或第二倾斜度限制的情况下使最大分级校正亮度值Lc(Nmax)符合最大亮度值L(Nmax)，并在选择第三倾斜度限制的情况下使最大分级校正亮度值Lc(Nmax)符合动态范围的上限亮度值Lmax。

Hnsn2(j)＝K2*Hns2(j)  (j＝0至Nmax)

K2＝L(Nmax)/Hns2(Nmax)  (对于第一和第二倾斜度限制)

K2＝Lmax/Hns2(Nmax)    (对于第三倾斜度限制)

在这种情况下，由于对于第一倾斜度限制或第二倾斜度限制满足Hnsn2(Nmax＝L(Nmax)，而且对于第三倾斜度限制满足Hnsn2(Nmax)＝Lmax，所以由一系列总和标准化值Hnsn2(j)所表示的线的倾斜度表示亮度级校正图象信号的经校正的亮度分级特性。此外，选择第一倾斜度限制的情况下，由于每个值Hn2(j)等于Cpmin(i)(或Cpmax(i))，所以两个总和标准化值Hnsn2(j)和Hnsn2(j+1)之差恒等，而且设定值Cpmin(i)(或Cpmax(i))以使差符合两个亮度值L(j)和L(j+1)之间的亮度差。

之后，在步骤S207中，在亮度分级校正单元38中，校正由合成图象信号所表示的合成图象的亮度分级。即，把标准化总和值Hnsn2(j)设为分级校正亮度值Lc(j)。

Lc(j)＝Hnsn2(j)(j＝0至Nmax)

之后，在步骤S208中，产生由与分级经校正的亮度级Lc(i)(i＝0至Nmax)相对应的(Nmax+1)个分级校正直方图数据组成的亮度分级经校正的图象信号。与一个分级经校正的亮度级Lc(i)相对应的每个分级校正直方图数据的值等于与一个亮度级L(i)相对应的一个直方图数据的值H(i)。

因此，当由于有限直方图数据的值Hn2(n)很高，所以在亮度级L(n)处一系列总和值Hns2(n)的倾斜度很高时，强调在特定分级经校正的亮度级Lc(n)和接近于特定亮度级的邻近亮度级组Lc(n-1)和Lc(n+1)之间的亮度对比度。

在这种情况下，当选择第一倾斜度限制时，由于两个总和标准化值Hnsn2(j)和Hnsn2(j+1)之差恒定，并把它设为互相接近的两个亮度级之间的亮度宽度，所以不进行任何亮度分级的校正。即，在最大亮度级L(Nmax)低于或等于标准亮度级Ls的情况下，在具有窄动态范围的后处理单元39中，可以充分再现由合成图象信号所表示的合成图象，而无需校正亮度分级。

此外，当选择第二倾斜度限制时，由于当强调在高亮度频率和接近于特定亮度级的邻近亮度级组之间亮度对比度时，在具有窄动态范围的后处理单元39中，可以自然地再现由合成图象信号所表示的合成图象，所以如果最大分级经校正的亮度级Lc(Nmax)符合最大亮度级L(Nmax)，就把亮度级L(i)改成分级经校正的亮度级Lc(i)。

此外，当选择第三倾斜度限制时，由于在合成图象信号中的亮度范围超过后处理单元39的动态范围，所以要求使合成图象信号的亮度范围变窄，以落在后处理单元39的动态范围内。因此，如果最大分级经校正的亮度级Lc(Nmax)符合动态范围的上限亮度值Lmax，就把亮度级L(i)改成分级经校正的亮度级Lc(i)。

之后，在主图象信号处理单元20中，处理亮度分级经校正的图象信号，而且在窄动态范围内，在后处理单元39中再现特定物体的图象。

因此，例如，在最大亮度级L(Nmax)低于或等于标准亮度级Ls的情况下，把合成图象信号的原始直方图数据的亮度级L(i)改成如图7A所示的分级经校正的亮度级Lc(i)。此外，在最大亮度级L(Nmax)高于标准亮度级Ls并等于或低于动态范围的上限亮度值的情况下，把合成图象信号的原始直方图数据的亮度级L(i)改成如图7B所示的分级经校正的亮度级Lc(i)。此外，最大亮度级L(Nmax)高于在动态范围的上限亮度值Lmax的情况下，把合成图象信号的原始直方图数据的亮度级L(i)改成如图7C所示的分级经校正的亮度级L(i)。

因此，即使拍摄任何物体(诸如，较低亮度的较暗物体、较高亮度的较亮物体或由较暗物体部分和较亮物体部分组成的较暗和较亮物体)，在具有窄动态范围的图象拾取装置中，也可以自然地再现用户所看到的图象。

此外，由于根据合成图象信号的最大亮度级和标准亮度级Ls之间的第一关系以及最大亮度级和动态范围的上限亮度值Lmax之间的第二关系，确定在亮度分级经校正的图象信号中的最大分级经校正的亮度级，所以即使拍摄任何物体，也可以有效地使用后处理单元的动态范围，在再现高亮度部分的图象的同时，可以提高低亮度部分的图象的S/N比。

在其较佳实施例中，显示并描述了本发明的原理之后，对于熟悉该技术的人员来说，在布局和细节方面，可以对本发明进行变更，而不偏离该原理是显而易见的。我们声明，所有的变更都落在所附权利要求书的范围内。

Claims (4)

1.在具有动态范围的图象拾取装置中的一种亮度分级校正方法，其特征在于，包括下列步骤：

根据在所述图象拾取装置中产生的输入图象信号，检测分别表示亮度级的象素数量的直方图数据，所述输入图象信号表示特定图象；

根据所述直方图数据的所述亮度级，检测最大亮度级；

根据与所述亮度级相对应的所述直方图数据，检测由所述输入图象信号所表示的所述特定图象的亮度分级特性；

根据所述最大亮度级和所述图象拾取装置的所述动态范围，从所述特定图象的所述亮度分级特性产生所述特定图象的经校正的亮度分级特性；

根据所述特定图象的所述经校正的亮度分级特性，把所述直方图数据的所述亮度级校正成多个分级经校正的亮度级，以把与所述直方图数据相对应的所述分级经校正的亮度级设定在所述图象拾取装置的所述动态范围内；和

产生由与所述分级经校正的亮度级相对应的所述直方图数据组成的亮度分级经校正的图象信号，以根据所述亮度分级经校正的图象信号再现所述特定图象，其中每个所述象素都具有一个相应的分级经校正的亮度级，

其中，产生经校正的亮度分级特性的所述步骤包括：

在所述最大亮度级低于或等于所述动态范围的上限亮度值一半的标准亮度级的情况下，把所述经校正的亮度分级特性设为所述亮度分级特性；

设定所述经校正的亮度分级特性，以在最大亮度级高于所述标准亮度级并低于或等于所述动态范围的所述上限亮度值的情况下，使在所述分级经校正的亮度级中的最大分级经校正的亮度级符合所述最大亮度级；和

设定所述经校正的亮度分级特性，以在最大亮度级高于所述动态范围的所述上限亮度值的情况下，使在所述分级经校正的亮度级中的最大分级经校正的亮度级符合所述动态范围的所述上限亮度值。

2.如权利要求1所述的亮度分级校正方法，其特征在于，检测最大亮度级的所述步骤包括：

从所述亮度级中选出分别具有不等于零的值的一个或多个特定直方图数据；和

根据与所述特定直方图数据相对应的一个或多个亮度级，检测所述最大亮度级。

3.如权利要求1所述的亮度分级校正方法，其特征在于，检测直方图数据的所述步骤包括：

根据所述输入图象信号，检测分别表示一个亮度级的所述象素数量的原始直方图数据；

在所述最大亮度级低于或等于所述标准亮度级的情况下，准备限定值；

在所述最大亮度级高于所述标准亮度级的情况下，准备下限值和高于所述下限值的上限值；

在所述最大亮度级低于或等于所述标准亮度级的情况下，把所述原始直方图数据设为其值等于所述限定值的所述直方图数据；

在所述最大亮度级高于所述标准亮度级的情况下，把低于所述下限值的每个原始直方图数据设为其值等于所述下限值的一个直方图数据；

在所述最大亮度级高于所述标准亮度级的情况下，把高于所述上限值的每个原始直方图数据设为其值等于所述上限值的一个直方图数据；和

在所述最大亮度级高于所述标准亮度级的情况下，把等于或高于所述下限值并等于或低于所述上限值的每个原始直方图数据设为其值等于所述原始直方图数据的一个直方图数据。

4.如权利要求1所述的亮度分级校正方法，其特征在于，检测直方图数据的所述步骤包括：

在较长曝光时间内，产生表示所述特定图象的长期图象信号；

在较短曝光时间内，产生表示所述特定图象的短期图象信号；和

在所述长期图象信号和所述短期图象信号结合起来，以产生所述输入图象信号，其中所述长期图象信号表示较低亮度物体的图象，而所述短期图象信号表示较高亮度物体的图象。

Images