CN101448086A - 图像数据处理方法以及图像数据处理装置 - Google Patents

Abstract

提供图像数据处理方法和图像数据处理装置，用于相对于具有一饱和像素值的图像数据执行一像素值补偿处理。该方法包括临时补偿像素值计算步骤，输入多个图像数据，所述多个图像数据包括将被补偿并具有其中所述图像数据的至少部分像素被设置为最大像素值的饱和像素的第一图像数据和一个或多个在不同于所述第一图像数据的曝光条件下捕获到的子图像数据；在多个输入图像数据彼此对应像素值差的基础上，获取曝光条件差数据，该数据指出在获取每个图像数据时的曝光条件差；和基于所述曝光条件差数据计算所述第一图像数据中所述饱和像素的临时补偿像素值；和补偿像素值计算步骤，执行标准化处理，以便将所述临时补偿像素值校正为在可输出范围内的像素值。

Description

图像数据处理方法以及图像数据处理装置

本发明是申请日为2003年6月19日，申请号为03817171.6的发明专利申请“图像数据处理方法、图像数据处理装置和计算机程序”的分案申请。

技术领域

本发明涉及图像处理方法和图像处理装置，具体地说，本发明涉及实现适当白平衡处理和获得清楚图像的图像处理方法和图像处理装置。

技术背景

当利用摄影机捕获图像时，闪光(电子闪光，频闪仪)被用做一辅助光源。近年来，已经迅速流行一种DSC(数字静态图片摄影机)，并经常利用所述DSC执行闪光成像。通过利用所述闪光，可以执行诸如补助光(一种当在人的面部具有很强的阴影时消弱该阴影的技术)、背景光补偿(一种在诸如利用背景阳光拍照情况下避免黑暗曝光的技术)、捕光(一种引入一“光点”照射到眼瞳中，从而使所述瞳孔被描述为具有一非常美丽外观的技术)和日光同步(日光同步；一种在白天或夜间使用辅助眼的技术)等的各种成像处理。另一方面，当执行闪光成像时，可能出现色彩的不平衡或变白。本发明的目的就是提供一种能够校正在这种闪光成像中产生的不希望现像的适当的装置。

通常，数字摄影机提供一白平衡(WB)调节，以便可以捕获例如白色的白色目标。例如，当在其中使用自然光、照明光和闪光(频闪光)等照射目标的光具有高色温和强蓝(B)光分量的光分量场合下执行成像时，所述白平衡被调节为抑制对蓝光的敏感度并对红光的敏感度相对高，相反，当在其中用于照射目标的光具有低色温和强红(R)光的光分量场合执行成像时，所述白平衡被调节为抑制对红光的敏感度和使对蓝光(B)的敏感度相对高。

所述白平衡调节对于执行一调节处理是非常有用的，在该调节处理中，根据在成像时所使用光源设置一调节参数。例如，当执行闪光成像时，根据对应于将被使用的闪光所具有的光分量的参数执行所述白平衡调节。

但是，在其中具有除所述闪光以外的周围光的场合下，当执行闪光成像时，所述闪光和周围光这两种光都照射到所述目标上，从而使反射光到达所述摄影机的图像分量上，并进而执行所述成像。当执行这种成像时，如果根据所述闪光执行所述白平衡调节，那么，被更多闪光照射的目标部分被调节为自然颜色。但是，在所述闪光没有到达并仅借助于反射周围光执行成像的区域，例如背景图像区域，如果根据基于所述闪光的光分量所设置的参数执行白平衡调节，那么将不能适当地执行所述白平衡调节，从而使得该区域可能作为具有一非自然颜色的区域被输出。

相反，如果对所捕获到的所有图像执行所述白平衡调节，可以认为所述白平衡调节是根据所述背景部分执行的，即仅通过周围光执行成像，和具有较多闪光的部分被调节为非自然颜色。

为了解决这些问题，已经提出了一系列结构。例如，日本专利申请公开No.8-51632披露了一种结构，在这种结构中，获取没有燃亮闪光所捕获到的图像和燃亮闪光所捕获到的图像，这两个被捕获到的图像被分成多个块，比较用于每个块的亮度值，和基于所述亮度值比较的结果，相对于通过燃亮所述闪光捕获到的图像执行每个块均不相同的白平衡调节。

通过选择根据用于每个块的所述闪光的白平衡调节、根据所述闪光和周围光的中间的白平衡调节或根据所述周围光的白平衡调节中的任一白平衡调节执行所述白平衡调节。但是，利用这样一种结构，必须在每个块基础上执行处理，因此，存在一个问题，即当发生块失真或目标移动等时，不能精确地执行所述处理。

日本专利申请公开No.2000-308068披露了下述处理结构，在这种处理结构中，以光圈被全部打开的方式通过燃亮所述闪光执行成像，曝光时间被缩短，然后在不燃亮所述闪光并以原始预期的曝光条件执行所述成像。这里，前者被认为是第一图像，和后者被认为是第二图像。此外，在所述第一图像中，多于一预定级别的像素被注册为一主目标区域，其它的则被注册为一背景区域。然后，根据所述闪光对该第一图像进行白平衡调节，根据周围光对该第二图像进行白平衡调节，然后，第一图像的所述主目标区域和第二图像的所述背景区域被结合到一起作为最后的记录图像。

但是，在这个结构中，对于那些被周围光和闪光同时照射到的目标不能正确地执行所述白平衡调节。

此外，除了上述日本专利申请公开No.2000-308068以外，日本专利申请公开No.2000-307940还披露了一种被添加有一图像模糊检测装置的结构。当它确定存在一模糊时，上述第一图像被原样地改变成一记录图像，从而不执行结合所述第一图像和所述第二图像的处理。因此，当检测到所述模糊时，将不能排除由于所述闪光和周围光之间的色温差而导致的不自然。

此外，日本专利申请公开No.H8-340542披露了一种结构，在这种结构中，在通过燃亮所述闪光和不燃亮所述闪光捕获的相应图像像素的亮度值之间执行一分割，从而获得所述闪光的组成比，然后，在所述组成比的基础上，针对通过燃亮所述闪光而捕获的图像执行所述白平衡调节。

但是，在该结构中，对于借助于反射的闪光和周围光的混合所捕获的图像，基于所述闪光的组成比，对所述闪光和周围光简单地插入一白平衡参数，从而以生成所述最后图像。但是，当考虑实际光的反射模型时，应当独立处理所述闪光的分量和所述周围光的分量，并且，不可能仅仅通过对借助于所述闪光和反射的周围光的混合所捕获到的图像进行处理来生成较佳的最后图像。

最近的摄影机是在用于机械的燃亮所述闪光的频闪仪和所述摄影机的成像单元之间交换信息，并使所述频闪仪发射精确的光数量，从而使所述摄影机能够利用精确的曝光执行成像。该系统被称之为TTL(经过镜头)自动曝光控制系统，并且这种技术被广泛使用。

图1示出了一典型照片10的例子，该照片是在这种情况下使用一频闪仪在暗室中对个人外形成像所获得的。个人A的投影图像是11。在暗室中的投影图像是12。取得该照片的过程如下所述。个人A已经处于所述暗室之中。成像器携带具有所述频闪仪的摄影机并靠近个人A取像。

在成像期间，所述TTL自动曝光控制系统累积和测量由所述频闪仪发射并从一对像目标反射后返回到所述摄影机的每个光的数量。在测量一精确数量光的定时处，所述摄影机指令频闪仪侧停止发射光，借此能够获得一精确曝光的图像。

但是，与图1所示的照片相似，当个人A的投影图像11很小时，从所述频闪仪发射的绝大部分光都没有照射到所述个人A上，而是由位于相对远处的室内墙壁所反射的光。因此，返回光的数量很小，从而所述TTL自动曝光控制系统确定光的数量是不充分的，并且调节而增加从所述频闪仪发射的光的数量。

该调节处理的结果使成像时所述频闪光的数量增加，从而使得由直接靠近所述成像装置(摄影机)的个人A所反射的总的光数量相对于所述频闪光而言被明显增加，借此，所述个人A的投影图像部分的像素数据的值极度地增高并处于饱和状态。

通过使用数字值，所述像素数据被表示如下。在上述的例子中，虽然一方法是公知的，每个像素数据中的红(R)、绿(G)和蓝(B)中的每一个都被表示为256(0-256)标度，但个人A(特别是诸如脸部的浅褐色部分)是由(R，G，B)＝(255，255，255)表示的。这是由于由所述频闪仪发射的闪光太多地照射到靠近摄影机站立的个人A上所引起的。

换言之，这是由于频闪光的数量很高，从而使得在由个人A反射的总光量中的R分量超过了255，G分量超过了255和B分量也超过了255。(R，G，B)＝(255，255，255)表示最亮的白。这就是所谓的“白化”。个人A脸部的投影图像不是浅褐色而是纯白色。

当(R，G，B)＝(255或更多，255或更多，255或更多)时所获取的像素数据中的每一个实际上都具有不同的色调。但是，光是被过度地照射到所述目标上的，因此，它们可以被统一表示为(R，G，B)＝(255，255，255)，和变成纯白色。

在日本专利申请公开No.2000-278598中描述了一种为解决所谓的“白化”问题而提出的结构。该专利申请公开披露了一种对过曝光图像中具有高亮度的图像信号进行移位补偿处理的结构。具体地说，该结构生成一输入信号亮度级别和一输出信号亮度级别的移位转换特征曲线，以便调节所述输出信号的高亮度部分，即利用一灰度系数(gamma)校正表对所述高亮度部分进行补偿。

但是，即使是应用上述日本专利申请公开No.2000-278598中描述的技术，每个具有(R，G，B)＝(255，255，255)的输入信号被转换为某个设置输出值。事实上，具有(R，G，B)＝(255或更多，255或更多，255或更多)的像素数据总是具有不能解决上述“白化”问题的相同的值。换言之，应当具有各种像素值的目标图像被设置为相同的颜色和亮度，从而不能再现这些目标颜色和亮度的分布。

发明内容

针对相关技术中存在的上述问题做出了本发明，并提供了一种图像数据处理方法、一种图像数据处理装置和一种计算机程序，它们能够允许对在周围光和闪光被混合在一起的环境下捕获到的图像执行一较佳的白平衡调节，并且即使是当检测到一图像模糊时也允许一较佳的白平衡调节而不会发生失败。

此外，在执行到所述目标的光照射以便捕获图像的结构中，本发明提供了一种图像数据处理方法、一种图像数据处理装置和一种计算机程序，它们能够解决所述目标太靠近所述成像装置以及照射到所述目标上面的光量过多而导致所述目标图像的值(R，G，B)被饱和为白化的问题，和即使是对于一被过度照射的目标也可以生成再现其精确颜色和亮度的图像。

本发明的第一方面是一图像数据处理方法，其特征在于：

一从构成借助于使第一光源发光导致的一成像处理所获取的第二数据图像的每个像素的像素值中减去借助于使前述第一光源不发光导致的一图像处理所获取的第一图像数据的相应像素值，借此以获得与在仅有前述第一光源照射环境下捕获到的图像相对应的差图像数据的步骤；

一差图像数据像素值调节处理步骤，用于针对前述差图像数据执行像素值调节处理；和

一最终像素值调节图像生成步骤，用于使用在前述差图像数据像素调节处理步骤中生成的经调节的一像素数据，以便生成一最终像素值调节图像。

此外，根据本发明图像数据处理方法的一较佳实施例，前述图像数据处理方法的特征还在于包括一第一图像数据像素值调节处理步骤，用于对前述第一图像数据执行像素值调节处理，其中，前述最终像素值调节图像生成步骤是一对由前述差图像数据像素值调节处理步骤和前述第一图像数据像素值调节处理步骤获取的经调节像素值的两个图像数据的相应像素执行像素值加法处理、从而生成一最终像素值调节图像数据的步骤。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述像素值调节处理是一白平衡调节处理，前述差图像数据像素值调节处理步骤是根据基于前述第一光源的光分量设置的参数的白平衡调节处理，和前述第一图像数据像素值调节处理步骤是根据基于不包含前述第一光源的周围光分量设置的参数的白平衡调节处理。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述参数是由3x3矩阵表示的参数，和所述矩阵被用于对构成每个像素颜色的颜色分量转换。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述3x3矩阵是除对角分量以外被设置为0的矩阵。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述图像数据处理方法的特征在于还包括一像素值加法步骤，用于将在前述差图像数据像素值调节处理步骤中生成的经调节像素值的图像数据的每个像素的像素值加到前述第一图像数据的相应像素的像素值上，其中，前述最终像素值调节图像生成步骤是一对在前述像素值加法步骤中生成的图像数据执行所述像素值调节从而生成所述最终像素值调节图像数据的步骤。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述像素值调节处理是所述白平衡调节处理，和前述差图像数据像素值调节处理步骤是根据基于不包含前述第一光源的周围光分量所设置参数的白平衡调节处理。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述图像数据处理方法的特征在于还包括一用于根据多个图像数据的差数据检测其中目标移动的的移动部分的移动检测步骤，和一用于对前述移动部分执行像素值调节处理的移动部分像素值调节步骤。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述移动部分像素值调节步骤的特征在于包括：一当前述第一光源被导致发光或不发光时计算两个光源的光强度标量比，作为对应于与移动部分相邻的静止部分的一像素的数据的步骤；一使用一径向基础函数(RBF：Radial Basis Function)计算与所述移动部分的每个像素对应的光强度标量比的步骤；一第一像素值计算步骤，用于在与所述移动部分的每个像素对应的所述光强度标量比的基础上计算在与仅具有前述第一光源的照射环境中捕获的图像等效的一图像中所述移动部分每个像素的像素值作为所述第一像素值；一第二像素值计算步骤，用于在与所述移动部分的每个像素对应的所述光强度标量比的基础上计算在与不包括前述第一光源的周围光照射环境中捕获的图像的一图像中所述移动部分的每个像素的像素值作为所述第二像素值；一第一像素值调节处理步骤，用于基于在前述第一像素值计算步骤中计算的所述第一像素值执行所述像素值调节处理；一第二像素值调节处理步骤，用于基于在前述第二像素值计算步骤计算的所述第二像素值执行所述像素值调节处理；和一像素值加法步骤，用于将在前述第一像素值调节处理步骤和在前述第二像素值调节处理步骤所生成的两个调节像素值相加。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述像素值调节处理是所述白平衡调节处理，前述第一像素值调节处理步骤是根据基于所述第一光源的前述光分量所设置的参数的所述白平衡调节处理，和前述第二像素值调节处理步骤是根据基于不包含前述第一光源的周围光所设置的参数的白平衡调节处理。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述移动部分像素值调节步骤的特征在于还包括：一计算所述移动部分的内部周边像素的像素值与和所述移动部分内部周边像素相邻的所述移动部分的外部周边相素的平均相素值的颜色分量比(α_r，α_g，α_b)的步骤；一通过将所述移动部分中的所有内部周边像素认为是采样点并在每个像素对应的所属颜色分量比的基础上构成所述径向基础函数(RBF：Radial Basis Function)的步骤；和在前述径向基础函数(RBF)的基础上计算与所述移动部分的每个像素对应的颜色分量比，并倍增将被补偿图像的颜色分量比，以便获得一补偿像素值的步骤。

此外，根据本发明图像数据处理方法的一较佳实施例，前述图像数据处理方法的特征在于还包括一用于根据多个图像数据的差数据检测其中一目标在移动的移动部分的移动检测步骤；一当前述移动部分整个图像的比例大于一预定阈值时在借助于使前述第一光源发光导致的一图像处理所获取的图像数据的基础上执行所述像素值调节处理的步骤，其中，基于所述第二图像数据的所述像素值调节数据被设置为一最终像素值调节数据。

此外，根据本发明所述图像数据处理方法的一较佳实施例，基于前述第二图像数据的所述像素值调节处理的特征在于是根据基于前述第一光源的光分量所设置的参数的白平衡调节处理、根据基于不包含前述第一光源的周围光所设置的参数的白平衡调节处理或根据基于在前述第一光源和不包含前述第一光源光分量的周围光分量之间的一中间分量所设置的参数的白平衡调节处理。

此外，根据本发明的第二方面提供了一种图像数据处理装置，其特征在于包括：

一存储器，用于存储借助于使所述第一光源不发光导致的一成像处理所获取的一第一图像数据，和借助于使前述第一光源发光导致的一成像处理所获取的一第二图像数据；和

一数据处理单元，用于基于在前述存储器中存储的所述图像数据执行一像素值调节处理，

其中，前述数据处理单元具有：

一差图像数据获取单元，用于从构成前述第二图像数据的每个像素的像素值中减去前述第一图像数据的相应像素的像素值，以便获取与仅具有前述第一光源的照射环境中捕获到的所述图像相对应的所述差图像数据；

一差图像数据像素值调节单元，用于对前述差图像数据执行所述像素值调节处理；和

一最终像素值调节单元，用于使用在前述差图像数据像素值调节单元中生成的经调节像素值的图像数据执行一最终像素值调节。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述数据处理单元还包括一第一图像数据像素值调节单元，用于执行关于前述第一图像数据的所述像素值调节处理，和前述最终像素值调节单元被配置成对在前述差图像数据像素值调节单元和前述第一图像数据像素值调节单元中生成的经调节像素值的两个图像数据的相应像素执行像素值加法处理，并生成所述最终像素值调节图像数据。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述像素值调节处理是所述白平衡调节处理，前述差图像数据像素值调节单元被配置成根据基于前述第一光源的光分量所设置的参数执行所述白平衡调节处理，和前述第一图像数据像素值调节单元根据基于不包括前述第一光源的周围光分量所设置的参数执行所述白平衡调节处理。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述数据处理单元还包括一像素值加法单元，用于将在前述差图像数据像素值调节单元中生成的经调节像素值的所述图像数据的每个像素的像素值加到前述第一图像数据的相应像素的一像素值上，和前述最终像素值图像生成单元执行关于在前述像素值加法单元中生成的所述图像数据的像素值调节，并生成所述最终像素值调节图像数据。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述像素值调节处理是所述白平衡调节处理，和前述差图像数据像素值调节单元根据基于不包括前述第一光源的周围光分量所设置的参数执行所述白平衡调节处理。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述数据处理单元的特征在于还包括一移动检测单元，用于在多个图像数据的所述差数据的基础上检测一目标的移动部分；还包括一移动部分像素值调节单元，用于执行关于前述移动部分的像素值调节处理。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述移动部分像素值调节单元的特征在于当前述第一光源被导致发光和不发光时计算两个光源的光强度标量比作为对应于与一移动部分相邻的静止部分的一像素对应的数据；使用一径向基础函数(RBF：Radial Basis Function)计算与所述移动部分每个像素对应的所述光强度标量比；在与所述移动部分的每个像素对应的光强度标量比的基础上，计算在等效于仅具有前述第一光源的照射环境中捕获的图像的一图像中所述移动部分的每个像素的所述像素值，作为所述第一像素值；在与所述移动部分的每个像素对应的所述光强度标量比的基础上，计算在等效于其中不包括前述第一光源的周围光照射环境中捕获的图像的一图像中所述移动部分的每个像素的像素值，作为所述第二像素值；在前述第一像素值的基础上，执行所述像素值调节处理；在前述第二像素值的基础上，执行所述像素值调节处理；和将所生成的两个调节像素值相加，以此执行一移动部分像素值调节处理。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述像素值调节处理是所述白平衡调节处理，作为所述白平衡调节处理，执行根据基于前述第一光源的光分量所设置的参数的前述第一像素值调节处理作为所述白平衡调节处理，执行根据基于不包括前述第一光源的周围光分量所设置的参数的前述第二像素值调节处理。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述移动部分像素值调节单元的特征在于计算所述移动部分一内部周边像素的像素值与和所述移动部分的该内部周边像素相邻的所述移动部分的一外部周边像素的像素值的颜色分量比(α_r，α_g，α_b)，在认定所述移动部分中的所有内部周边像素是采样点并基于对应于每个像素的所述颜色分量比构建一径向基础函数(RBF：Radial Basis Fuction)，在前述径向基础函数(RBF)的基础上计算与所述移动部分的每个像素对应的所述颜色分量比，和倍增将被补偿的一图像的所述颜色分量比并由此获得一补偿的像素值。

此外，根据本发明所述图像数据处理装置的一较佳实施例，前述数据处理单元的特征在于当由前述移动检测单元检测到的前述移动部分的整个图像的比例大于一预定阈值时，基于借助于使前述第一光源发光的成像处理所获取的第二图像数据执行所述像素值调节处理，从而使基于前述第二图像数据的所述像素值调节数据被设置为所述最终像素值调节数据。

此外，根据本发明所述图像数据处理装置的一较佳实施例，基于前述第二图像数据的所述像素值调节处理的特征在于根据基于前述第一光源的光分量所设置的参数执行所述白平衡调节处理、根据基于不包括前述第一光源的周围光分量所设置的参数执行白平衡调节处理或根据基于在前述第一光源的光分量和不包括前述第一光源的周围光分量之间的一中间光分量所设置的参数执行所述白平衡调节处理。

此外，本发明的第三方面是一种图像数据处理方法，该方法的特征在于：

一借助于使前述第一光源不发光导致的一成像处理获取第一图像数据的步骤；

一借助于使前述第一光源发光导致的一成像处理获取一第二图像数据的步骤；

一从构成前述第二图像数据的每个像素的像素值中减去前述第一图像数据的相应像素的像素值，以便获取与在只有前述第一光源的照射环境中捕获的图像对应的一差图像数据的步骤；

一差图像数据像素值调节处理步骤，用于执行关于前述差图像数据的像素值调节处理；和

一最终像素值调节图像生成步骤，用于使用在前述差图像数据像素值调节处理步骤中生成的经调节的像素值图像数据生成一最终像素值调节图像。

此外，本发明的第四方面是一种图像数据处理方法，其特征在于：

一在所述第一光源的发光条件相同的场合获取不同时间捕获到的多个图像数据的步骤；

一基于在前述多个图像数据中的比较获取移动信息的步骤；和

一根据基于前述移动信息所设置的白平衡执行关于前述多个图像数据中的一个、一部分、全部或者其它图像数据的处理的步骤。

此外，根据本发明所述图像数据处理方法的一较佳实施例，在根据基于前述移动信息所设置的白平衡执行关于在捕获前述多个图像数据的时间周期内捕获到的所述其它图像数据的处理的步骤中，刚好在捕获前述多个图像数据的前后调节相应部分的白平衡。

此外，根据本发明的所述图像数据处理方法的一较佳实施例，在根据基于前述移动信息所设置的白平衡执行所述处理的步骤中，当基于前述移动信息确定一移动较大时，在周围光、所述闪光或虚拟光源的中间周围光和所属闪光的基础上执行所述白平衡调节处理。

此外，根据本发明的所述图像数据处理方法的一较佳实施例，基于前述移动信息执行所述白平衡处理的步骤的特征在于还包括一自适应地转换用于所述图像每个部分的白平衡调节处理，而不是用于整个图像的均衡处理的步骤，其中，在前述移动信息的基础上，进一步根据与一相应部分相邻的静止部分的图像数据内插所述图像，以获得所述相应部分的图像数据。

此外，本发明的第五方面是一种图像数据处理装置，其特征在于：

一成像装置，用于借助于使一第一光源不发光导致的一成像处理和使前述第一光源发光导致的一成像处理获取多个图像数据；

一存储器，用于存储借助于使前述第一光源不发光导致的所述成像处理获取的第一图像数据和借助于使前述第一光源发光导致的所述成像处理获取的第二图像数据；和

一数据处理单元，用于在存储在前述存储器中的图像数据的基础上执行一像素值调节处理，其中，

前述数据处理单元包括：

一差图像数据获取单元，用于从构成前述第二图像数据的每个像素的像素值中减去前述第一图像数据相应像素的像素值，从而获取与在仅有前述第一光源的照射环境中捕获到的所述图像对应的一差图像数据；

一差图像数据像素值调节单元，用于执行关于前述差图像数据的像素值调节处理；和

一最终像素值调节单元，用于通过使用在前述差图像数据像素值调节单元中生成的经调节的像素值的图像数据执行一最终像素值调节。

此外，本发明的第六方面是一种图像数据处理装置，其特征在于：

一用于在所述第一光源的发光和成像条件相同的场合获取不同时间捕获到的多个图像数据的装置；

一用于在前述多个图像数据当中进行比较的基础上获取移动信息的装置；和

一用于根据基于前述移动信息所设置的白平衡执行关于前述多个图像数据中的一个、一部分、全部或者其它图像数据处理的装置。

此外，本发明的第七方面是一种计算机程序，用于执行与所述图像数据相关的处理，该计算机程序的特征在于：

一借助于使一第一光源不发光导致的一成像处理获取一第一图像数据的步骤；

一借助于使前述第一光源发光导致的一成像处理获取一第二图像数据的步骤；

一从构成前述第二图像数据的每个像素的像素值中减去前述第一图像数据相应像素的像素值，从而获取与在前述仅有前述第一光源的照射环境中捕获到的所述图像对应的一差图像数据的步骤；

一差图像数据像素值调节处理步骤，用于执行关于前述差图像数据的像素值调节处理；和

一最终像素值调节图像生成步骤，用于通过使用在前述差图像数据像素值调节处理步骤中生成的经调节的像素值图像数据生成一最终像素值调节图像。

此外，本发明的第八方面是一种图像数据处理方法，用于对一具有饱和像素值的图像数据执行一像素值补偿处理，该方法的特征在于：

一临时补偿像素值计算步骤，用于输入包括将被补偿并具有其中所述图像数据中的至少部分像素被设置为最大像素值的一饱和像素的第一图像数据以及在不同于所述第一图像数据的曝光条件下捕获到的一个或多个子图像数据的多个图像数据，基于多个输入图像数据中相互对应的像素值差获取一指出在获取每个图像数据时曝光条件差的曝光条件差数据，和在所述曝光条件差数据的基础上计算在前述第一图像数据中所述饱和像素的临时补偿像素值；和

一补偿像素值计算步骤，用于执行一标准化处理，以便将前述临时补偿像素值校正为可输出范围内的一像素值。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述第一图像数据在所述饱和像素位置(Xc，Yc)中具有所述像素值(Rc1、Gc1，Bc1)，并且是在不饱和像素(Xu，Yu)中具有所述像素值(Ru1，Gu1，Bu1)的图像数据；前述子图像数据包括作为曝光强度低于前述第一图像数据的捕获图像的所述第二图像数据和作为曝光强度低于所述第二图像数据的捕获图像的第三图像数据，前述临时补偿像素值计算步骤根据下述等式执行一计算，假设在所述第二图像数据和第三图像数据中对应于前述第一图像数据的不饱和像素(Xu，Yu)的部分中的像素值是(Ru2，Gu2，Bu2)和(Ru3，Gu3，Bu3)，

$P(\mathrm{Xu},\mathrm{Yu})=\sqrt{{\left(\frac{(\mathrm{Ru}1-\mathrm{Ru}3)}{(\mathrm{Ru}2-\mathrm{Ru}3)}\right)}^2+{\left(\frac{(\mathrm{Gu}1-\mathrm{Gu}3)}{\mathrm{Gu}2-\mathrm{Gu}3}\right)}^2+{\left(\frac{(\mathrm{Bu}1-\mathrm{Bu}3)}{(\mathrm{Bu}2-\mathrm{Bu}3)}\right)}^2}$

                                           ...(等式1)

$S=\frac{\mathrm{\ΣP}(\mathrm{Xu},\mathrm{Yu})}{n}$

                                           ...(等式2)

和在上述等式1和2的基础上计算所述曝光条件差数据∶S。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述补偿像素值计算步骤的特征在于还根据下述等式执行一处理，假设在所述第二图像数据和第三图像数据中与前述第一图像数据的饱和像素(Xc，Yc)对应的位置的像素值是(Rc2，Gc2，Bc2)和(Rc3，Gc3，Bc3)，

Rcq＝(Rc2-Rc3)xS+Rc3

Gcq＝(Gc2-Gc3)xS+Gc3

Bcq＝(Bc2-Bc3)xS+Bc3                       ...(等式3)

和基于前述等式3，计算前述第一图像数据中所述饱和像素的临时补偿像素值(Rcq，Gcq，Bcq)。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述补偿像素值计算步骤的特征在于计算前述第一像素的不饱和像素(Xu，Yu)的像素值(Ru，Gu，Bu)的所有数据的最大值Dmax、关于所述饱和像素(Xc，Yc)的前述临时补偿像素值(Rcq，Gcq，Bcq)，根据下述等式执行所述计算处理，在不饱和像素(Xu，Yu)的情况下，

Ruf＝Ru/Dmax

Guf＝Gu/Dmax

Buf＝Bu/Dmax，

在饱和像素(Xc，Yc)的情况下，

Rcf＝Rcq/Dmax

Gcf＝Gcq/Dmax

Bcf＝Bcq/Dmax                           ...(等式4)

和基于前述等式4，计算前述第一图像数据的不饱和像素的补偿像素值(Ruf，Guf，Buf)以及所述饱和像素的补偿像素值(Rcf，Gcf，Bcf)。

此外，根据本发明所述图像数据处理方法的一较佳实施例，在前述第一图像数据和一个或多个子图像数据之间的曝光条件的差是照射光强度的差，和前述临时补偿像素值计算步骤基于在多个图像数据的照射光强度的差计算照射光量的比值，作为前述曝光条件差数据。

此外，根据本发明所述图像数据处理方法的一较佳实施例，在前述第一图像数据和一个或多个子图像数据之间的曝光条件的差是曝光时间的差，和前述临时补偿像素值计算步骤基于多个图像数据曝光时间的差计算照射光强度的比值，作为前述曝光条件差数据。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述临时补偿像素值计算步骤和前述补偿像素值计算步骤的特征在于计算与前述第一图像中彩色图像的每个信号分量相关的补偿数据。

此外，根据本发明所述图像数据处理方法的一较佳实施例，前述临时补偿像素值计算步骤和前述补偿像素值计算步骤的特征在于根据前述第一图像的亮度分量计算所述补偿数据。

此外，本发明的第九方面是一种成像方法，用于捕获将被存储到一存储器中的图像数据，该方法的特征在于：

一成像步骤，用于通过设置不同的曝光条件捕获图像；

一临时补偿像素值计算步骤，用于输入包括将被补偿并具有其中该图像数据中的至少部分像素被设置为一最大像素值的第一图像数据和一个或多个在不同于所述第一图像数据曝光条件下捕获的子图像数据的多个图像，基于在所述多个图像数据中彼此对应的像素值差获取用于指出在获取每个图像数据时曝光条件的差的曝光条件差数据，和基于所述曝光条件差计算在前述第一图像数据中的饱和像素的临时补偿像素值；

一补偿像素值计算步骤，用于执行一标准化处理，以便将前述临时补偿像素值校正为一可输出范围的像素值；和

一存储步骤，用于存储由前述补偿像素值计算步骤补偿的像素所组成的所述图形数据。

此外，根据本发明所述成像方法的一较佳实施例，在前述曝光条件之间的差是照射光强度的差或者是曝光时间的差，前述成像步骤在照射光强度或曝光时间的不同设置条件下捕获多个图像，和前述临时补偿像素值计算步骤在所述多个图像数据的照射光强度或曝光时间差的基础上计算照射光强度比作为前述曝光条件差数据。

此外，本发明的第十方面是一种图像数据处理装置，用于对一具有一饱和像素值的图像数据执行像素值补偿处理，所述图像数据处理装置的特征在于包括：

一临时补偿像素值计算装置，用于输入包括将被补偿并具有其中该图像数据中的至少部分像素被设置为一最大像素值的饱和像素的一第一图像数据和一个或多个在不同于所述第一图像数据的曝光条件下捕获的子图像数据的多个图像数据，基于多个图像数据中彼此对应的像素值差获取一用于指出在获取每个图像数据时曝光调节差的曝光条件差数据，和基于所述曝光条件差数据计算前述第一图像数据中所述饱和像素的临时补偿像素值；和

一补偿像素值计算装置，用于执行一标准化处理，以便将前述临时补偿像素值校正为在一可输出范围内的像素值。

此外，本发明的第十一方面是一计算机程序，用于对具有一饱和像素值的图像数据执行包括像素值补偿处理的图像数据处理，所述计算机程序的特征在于：

一临时补偿像素值计算步骤，用于输入包括将被补偿并具有其中所述图像数据中的至少部分像素被设置为一最大像素值的饱和像素的第一图形数据和一个或多个在不同于所述第一图像数据的曝光条件下捕获的子图像数据的多个图像，在多个输入图像数据中相应像素值差的基础上获取一指出在获取每个图像数据时曝光条件差的曝光条件差数据，和在所述曝光条件差的基础上计算在前述第一图像数据中所述饱和像素的临时补偿像素值；和

一补偿像素值计算步骤，用于执行一格式化处理，以便将前述临时补偿像素值校正为在一可输出范围内的像素值。

根据本发明的所述结构，可以就在诸如周围光、闪光等不同光分量相互混合在一起的环境中所捕获到的图像稳定地调节所述白平衡，并能够获取自然色调的图像数据。

此外，根据本发明的结构，由于它被结构成能够就将被在诸如周围光、闪光等多种不同种类照射光条件下捕获的图像转换成在单种光照射环境中捕获或生成所述图像，并相对于单种光照射的每个环境中的图像执行根据基于每种照射光颜色分量(色温)所设置的参数的白平衡调节以合成所述图像，借此，实现了其中减少了闪光和周围光之间的色温差的稳定的白平衡调节处理。

此外，根据本发明的结构，由于它被结构成就目标本身的移动部分能够以与静止部分相邻的像素值为基础调节和设置所述像素值，所以可以产生像素间平滑变化的自然图像数据。

此外，本发明的结构对所述像素数据提供适当的像素值补偿，在所述像素数据中，由于靠近所述成像装置的目标处于诸如附着到诸如摄影机的成像装置上的频闪仪的照射光的过度照射之下，所以，该目标图像的所述像素值被饱和。

此外，根据本发明的结构，基于在不同曝光条件下的多个图像数据获得所述饱和像素值的临时补偿像素值，和该临时补偿像素值被标准化处理，从而再次被校正为所述可输出的像素值并进而被输出或记录，借此，在一精确补偿像素值计算和所述补偿像素值的基础上，可以输出和存储一个清晰的图像数据。

此外，根据本发明的结构，输入多个图像数据，包括将被补偿和具有其中是该图像数据中至少部分像素被设置为一最大像素值的饱和像素的第一图像数据和一个或多个在不同于所述第一图像数据曝光条件下捕获的子图像数据；基于所述多个图像数据中相互对应的像素值差，获取所述曝光条件差数据，该数据指出在获取每个图像数据时的曝光条件的差；在所述曝光条件差数据的基础上，计算前述第一图像数据中的所述饱和像素的临时补偿像素值；和执行一格式化处理，以将前述临时补偿像素值校正为一可输出范围内的像素值，然后，在一精确补偿像素值计算和所述补偿像素值的基础上，输出和存储一清晰的图像数据。

另外，一与本发明相符的计算机程序是一种能够被提供用于一计算机系统的计算机程序，所述计算机系统能够例如借助于一种以计算机可读形式提供的记录介质和通信媒体执行各种程序码，所述记录介质诸如是CD、FD和MO，所述通信媒体诸如是一个网络。通过提供这种计算机可读形式的程序，可以在计算机系统上实现根据该程序的处理。

通过下面基于本发明的例子和附图的详细描述，本发明的其它方面、特性和优点将变得更加明显。

附图说明

图1用于解释有关在利用频闪仪等照射下捕获的图像的问题；

图2A和图2B解释本发明图像处理装置中捕获的多个图像的曝光条件；

图3用于解释本发明所述图像处理装置的硬件结构的例子；

图4用于解释本发明所述图像处理装置中图像获取的例子，

图5A至图5C解释本发明图像处理装置中多个被捕获到的图像的例子；

图6的流程图用于解释本发明所述图像处理装置中的像素值补偿处理；

图7的流程图用于解释本发明所述图像处理装置中的像素值补偿处理；

图8的流程图用于解释本发明所述图像处理装置中的像素值补偿处理；

图9的功能框图示出了用于在本发明所述图像处理装置中执行的与每个功能相关的像素值补偿；

图10用于解释在本发明的所述图像处理装置中捕获的多个图像的曝光条件；

图11示出了本发明所述图像数据处理装置的结构；

图12的流程图用于解释本发明图像数据处理方法的过程；

图13的流程图用于解释本发明图像数据处理方法中基于多个图像数据的白平衡调节处理的过程；

图14A至图14D的曲线示出了本发明图像数据处理方法中基于多个图像数据的白平衡调节处理的原理；

图15A至图15D用于解释在本发明所述图像数据处理方法中基于所述多个图像数据的移动部分的检测处理；

图16的流程图用于解释在本发明所述图像数据处理方法中所述移动部分的像素值调节处理；

图17的曲线用于解释本发明所述图像数据处理方法中所述移动部分的像素值调节处理；

图18用于解释一种机制，在该机制下执行本发明所述图像数据处理方法中基于所述多个图像数据的白平衡像素值调节处理；

图19的流程图用于解释在本发明所述图像数据处理方法中基于所述多个图像数据的白平衡调节处理的过程；

图20用于解释一种机制，在该机制下，执行本发明所述图像处理方法中基于所述多个图像的像素值调节处理。

具体实施方式

此后，将结合附图描述一图像数据处理方法，一成像装置，以及用于根据本发明对图像进行处理的一装置和方法。将依次描述以下二个主题。

1.用于由于过度光照射而导致的饱和像素值的补偿处理

2.在其中周围光和闪光被相互混合的环境中图像的较佳白平衡调节处理

[1.用于由于过度光照射而导致的饱和像素值的补偿处理]

首先，描述本发明用于对由于过度光照射而导致的饱和像素值执行补偿处理的图像处理装置、成像装置和方法的概况。在本发明中，捕获至少三个或更多个以不同成像模式捕获的图像。如图2(a)和(b)所示，所述多个图像的成像模式在所述图像的曝光时间和光强度方面是变化的。第一图像是将要被补偿的图像，和第二图像和第三图像是被用于对所述第一图像进行补偿处理的子图像。

与传统方式类似，当例如频闪仪的发光装置发射光时，将被进行补偿处理的所述第一图像被曝光。因此，当将被捕获图像的目标存在于相对于所述成像装置一近距离位置和一远距离位置时，过度的光量被照射到位于靠近所述成像装置的成像目标上，从而所述图像(称做第一图像)的值(R，G，B)被饱和。另外，在下面的描述中，虽然所述发射装置被描述为频闪仪或一闪光，但当所述发射装置不仅利用了所述频闪仪和闪光，而且还有其它不同的光照射装置时，也可以应用本发明的结构。

作为所述子图像的第二图像是通过将所述曝光时间设置得短于所述第一图像的曝光时间所捕获到的图像，或者是在其中所述频闪仪的光强度被减小到所述第一图像成像时的光强度的情况中捕获的图像(称做第二图像)。

此外，作为第三图像的子图像是一个通过将所述曝光时间设置为比所述第二图像的曝光时间更短时捕获到的图像，或者是在其中所述频闪仪的光强度仍然低于所述第二图像成像(或没有发射光)的情况中捕获的图像(称做第三图像)。

由于第二图像与第三图像具有较少的频闪光(strobe light)的曝光时间和较低的强度，所以，从整体上看图像变得较暗。即使它是一个靠近所述成像装置(摄影机)和距离作为光发射装置的频闪仪比较近的目标，照射光的强度也减小，因此，所捕获到图像的像素也不会出现饱和的情况。

由于所述第二图像和第三图像是暗图像，所以它没有被用于观看。但是，它们包括被所述第一图像丢失的有用信息。即，有关色度的信息。换言之，从所述第二图像和第三图像中可以获得每个像素中R:G:B的比例关系。根据这个信息，恢复第一图像中饱和像素的数据(特别是色度)。

下面将说明本发明的一特定结构。首先，结合图3说明本发明一图像处理装置的硬件结构的例子。结合图3描述图像处理装置100的每个构成组件。另外，图3所示的图像处理装置100也能够被插入到所述成像装置(摄影机)中。

作为该图像处理装置100的主控器的CPU(中央处理单元)101在操作系统(OS)的控制下执行各种应用程序。CPU101能够执行一应用程序以补偿从作为成像装置的数字摄影机150经外部设备接口106一次下载到一HDD111中的图像。如图所示，CPU101借助总线107与其它设备互连。

存储器102是一个用于存储在CPU101中执行的程序码或用于临时存储运行中操作数据的存储设备。应当理解，图示存储器102既包括诸如ROM的非易失存储器，也包括诸如DRAM的易失存储器。

显示控制器103是一专用控制器，用于实际处理由CPU101发出的绘制命令。在显示控制器103中处理的一绘制数据例如在被一次写入一帧缓存器(未示出)之后通过显示器108输出给一屏幕。例如，从HDD(111)再现的图像和由CPU101处理的图像被显示在屏幕108上，借此使用户能够看到它们。

输入设备接口104是一个用于将诸如键盘109、鼠标110等用户输入设备连接到系统100上的设备。所述用户能够经过键盘109和鼠标110输入用于处理和显示所述图像的命令等。

网络接口105可以根据诸如以太网(Ethernet)的一预定通信协议将系统100连接到诸如LAN(局域网)的本地网络和诸如因特网(Internet)的广域网上。

在一网络上，以透明状态连接多个主机端和服务器(未示出)，和建立一分布式计算环境。在所述网络上，可以对分布软件程序和数据内容等提供服务。例如，一图像数据可被从其中保存有由其它服务器捕获到的图像的其它服务器中经过所述网络下载到HDD(111)。

外部设备接口106是一用于将诸如数字摄影机、硬盘驱动器(HDD)111和媒体设备112的外部设备连接到系统100的设备。

HDD111是一个用于固定地承载作为存储介质的磁盘、在存储容量、数据传输速度等方面优于其它外部存储装置并能够提供随机访问的外部存储装置。把将被执行的软件程序放置到所述HDD111上被称之为在所述系统中“安装(to install)”所述程序。通常，将由CPU101执行的操作系统的程序码、应用程序和设备驱动程序等被以非易失方式存储在HDD111中。例如，下面将要描述的图像补偿程序可以被安装到HDD111中。

媒体驱动器112是一个被安装在诸如CD(高密度盘)、MO(磁光盘)、DVD(数字通用盘)的便携式介质160上的设备，用于访问它们的数据记录侧。

便携式介质160被用于主要备份一软件程序和数据文件等作为计算机可读的数据，并用于在系统之间移动它们(即，包括销售、流通和分配)。通过使用这些便携式介质，可以在多个设备当中实际流通和分配用于执行成像处理的应用程序。

另外，图3所示成像处理装置100的例子可以被实现为来自美国IBM公司的个人计算机“PC/AT(Personal Computer/Advanced Technology)”的一兼容机或一后继的机器。当然，就该实施例而言，也可以使用装备有其它作为图像处理装置100的结构的计算机。此外，还可以通过将其插入到所述数字摄影机内将其实现为在所述数字摄影机内执行处理的结构。

下面将描述在本发明图像处理装置中执行的图像处理的一特定例子。如图4所示，一摄影者利用作为所述成像装置的摄影机(数字摄影机)210对个人A(250)成像。所述个人A(250)位于暗室200中，所述摄影者利用频闪仪211承载摄影机(数字摄影机)210，和所述摄影机210位于靠近个人A(250)的位置处。

摄影机210检测周围光的强度并以“频闪串行成像(strobe serialimaging)”的模式自动成像。另一方面，摄影者操作一有意添加到所述数字摄影机上的按钮，以便以“频闪串行成像”的模式成像。另外，所述“频闪串行成像”模式是这样一种模式，在这种模式下，持续地捕获将被在所述图像处理装置中进行处理的多个图像，并且这不是一个通用术语。

在所述“频闪串行成像”模式下，当所述摄影者推动一个释放按钮时，自动地执行多个图像(例如三个图像)的串行成像。在所述“频闪串行成像”模式下，当一释放按钮被推动时，首先执行所述成像，同时使一频闪仪以一传统方式发射光。所捕获到的图像被立即捕获到所述数字摄像机中的一存储器(帧存储器)中作为第一图像。

在将所述第一图像捕获到所述存储器之中后，再次执行成像，同时使所述频闪仪发射弱于成像所述第一图像时的光。然后，将其捕获到所述摄像机中的存储器中作为第二图像。此外，在此之后，在不使所述频闪仪发光的情况下再次执行所述成像。然后，将其捕获到所述数字摄像机的存储器中作为第三图像。

另外，不存在获取这些图像的顺序规则。另一方面，可以通过使用多个成像装置在基本上相同的时间处执行成像。此外，通过推动所述释放按钮三次，在有意控制所述频闪仪的光强度的同时，上述第一图像、第二图像以及第三图像都可以被所述摄影者捕获到。

根据所述成像可获得例如图5所示的图像。图5(a)是利用普通光照射捕获到的所述第一图像，图5(b)是利用低强度光照射捕获到的所述第二图像，和图5(c)是利用更低强度的光照射捕获到的第三图像。

图6以流程图的形式示出了在本发明所述图像处理装置100中执行的处理过程。通过使用图6，将参考图3所示的图像处理装置详细说明本发明所述图像处理装置中执行的处理。

首先，在图6的步骤1，所述图像处理装置100的使用者将用于成像的数字摄像机连接到外部接口106上。另一方面，当所捕获到的数据位于诸如MO的便携式介质中时，所述便携式介质被安装在媒体驱动器112中。

在步骤2，从诸如数字摄像机或MO的所述便携式介质中取出将被处理的图像数据，并将其复制到例如HDD111中。这里，被捕获到的图像数据是多个在上述“频闪串行成像”模式下捕获到的多个图像，即在不同曝光条件下捕获到的多个图像数据。例如，它们是如图5所示的三个图像数据。在步骤2S，所述图像数据被进一步发送给存储器102。当然，虽然它不需要被一次复制到HDD111中，但是，最好将它们复制到HDD111中，以便可以在不连接到诸如数字摄像机或MO的所述便携式介质的情况下再次观看它们。然后，处理进行到步骤3。

在步骤3，CPU101分析第一图像数据，例如图5(a)所示利用普通光照射所捕获到的第一图像数据，并提取一饱和的图像数据区域，该区域是通过由CPU101判断所述图像数据中的每个像素是否存在具有三个分量R、G和B当中的255像素值的一个或多个分量而确定的。

换言之，提取具有像素值R＝255或像素值G＝255或像素值B＝255的值的一像素作为一饱和像素。所述饱和像素位置被设置为(Xc，Yc)。不饱和的像素位置被设置为(Xu，Yu)。然后，处理进行到步骤4。

在步骤4，在所述第二图像和第三图像的基础上计算在步骤3中获得的所述第一图像中的饱和像素位置(Xc，Yc)的补偿像素数据，即在所述第二图像和第三图像的基础上计算所述补偿像素图像。下面将结合图7和图8描述步骤4的特定处理。另外，在图7和图8中，步骤41-45示出了图6所示步骤4的详细处理，和步骤51-52示出了图6所示步骤5的详细处理(格式化处理)。这些处理是由CPU101执行下述的处理实现的。

首先，在步骤41，确定所述第一图像的饱和的像素(饱和像素)的位置(Xc，Yc)和所述第一图像中没有饱和的像素(未饱和像素)的位置(Xu，Yu)，从而获取像素位置信息。所述饱和的像素(饱和像素)是其中R、G和B中的任何一个都被设置为最大值(例如，255)的一个像素。所述未饱和像素是其它像素，即其中R、G和B的任何一个都没有被设置为所述最大值(例如，255)的像素。

接着，在步骤42，从所述第二图像和第三图像中取出与所述第一图像中饱和的像素(饱和像素)的位置(Xc，Yc)相同位置中的像素。所述第一饱和的像素的R、G和B分别被表示为Rc1、Gc1和Bc1。在从第二图像取出的相同位置处的像素的R、G和B被分别表示为Rc2、Gc2和Bc2。此外，在从第三图像取出的相同位置处的像素的R、G和B被分别表示为Rc3、Gc3和Bc3。

此外，从所述第二图像和第三图像中取出与在所述第一图像中还没有饱和的像素(未饱和像素)的位置(Xu，Yu)相同位置中的像素。所述第一未饱和像素的R、G和B分别由Ru1、Gu1个Bu1表示。从所述第二图像中取出的相同位置中的像素的R、G和B分别由Ru2、Gu2和Bu2表示。此外，从所述第三图像中取出的相同位置中的像素的R、G和B分别由Ru3、Gu3和Bu3表示。

接着，在步骤42，针对所述第一图像中没有饱和的像素(饱和像素)的每个位置(Xu，Yu)如下计算(等式1)P(Xu，Yu)：

$P(\mathrm{Xu},\mathrm{Yu})=\sqrt{{\left(\frac{(\mathrm{Ru}1-\mathrm{Ru}3)}{(\mathrm{Ru}2-\mathrm{Ru}3)}\right)}^2+{\left(\frac{(\mathrm{Gu}1-\mathrm{Gu}3)}{\mathrm{Gu}2-\mathrm{Gu}3}\right)}^2+{\left(\frac{(\mathrm{Bu}1-\mathrm{Bu}3)}{(\mathrm{Bu}2-\mathrm{Bu}3)}\right)}^2}$

                                         ...(等式1)

相对于在所述第一图像中关于没有饱和的所述像素的位置(Xu，Yu)，利用等式1计算P(Xu，Yu)。进一步，在步骤44，计算所有像素位置的P(Xu，Yu)的平均值：S，所述平均值是由下述(等式2)计算的：

$S=\frac{\mathrm{\ΣP}(\mathrm{Xu},\mathrm{Yu})}{n}$                                   (等式2)

在上述(等式1)和(等式2)中，(Xu，Yu)是所述第一图像中没有饱和的像素的位置。n是所述第一图像中没有饱和的像素的总数。

由上述(等式1)和(等式2)计算的：S指出“当成像第一图像时所发射的频闪光的强度＝[高强度频闪光]”与“当成像第二图像时所发射的频闪光的强度＝[低强度频闪光]”的比值。即，可以是，S指出随着每个图像数据的曝光条件不同数据的照射光强度的比值。

换言之，(Ru1-Ru3、Gu1-Gu3、Bu1-Bu3)是通过从关于所述第一图像中未饱和像素(未饱和像素)的所述第一图像的像素值(Ru1、Gu1、Bu1)分别减去所述第三图像的相应位置中的像素值(Ru3、Gu3、Bu3)所得到的差值。所述差值指出通过消除周围光分量在纯碎利用所述[高强度照射光]直接照射的投影位置中的像素值。这里所述[高强度照射光]是指当获取所述第一图像时发射的频闪光。

类似的，(Ru2-Ru3，Gu2-Gu3，Bu2-Bu3)是通过从在与在所述第一图像中未饱和的像素(未饱和像素)对应的位置中的所述第二图像的像素值(Ru2，Gu2，Bu2)中减去在所述第三图像的相应位置中的像素值(Ru3，Gu3，Bu3)所得到的差值。通过消除周围光分量，所述差值构成了纯碎利用所述[低强度频闪光]照射的一投影图像的差值。这里所述[低强度频闪光]是指当获取所述第二图像时发射的光。

因此，借助于上述(等式2)所计算的曝光条件差数据：S指出“当成像所述第一图像时发射的频闪光的强度＝[高强度频闪光]”与“当成像所述第二图像时发射的频闪光的强度＝[低强度频闪光]”的比值。

由此，借助于在不同发光条件下捕获到的三个图像的基础上执行的图像分析处理，可以计算“当成像所述第一图像时发射的频闪光的强度＝[高强度频闪光]”与“当成像所述第二图像时发射的频闪光的强度＝[读强度频闪光]”的比值：S。

另外，在所述成像装置(摄像机)侧或连接到所述摄像机的控制单元，如果可以正确地控制频闪发射的强度以获取指出“当成像所述第一图像时发射的频闪光的强度＝[高强度频闪光]”与“当成像所述第二图像时发射的频闪光的强度＝[低强度频闪光]”的比值的数据，那么，所获取的数据被作为S。

接着，在步骤45(图8)，捕获在所述第一图像中被饱和的所述像素(饱和像素)的位置(Xc，Yc)，和根据下述(等式3)使用所述曝光条件差数据：S计算每个位置(Xc，Yc)中的临时补偿像素值(Rcq，Gcq，Bcq)。

Rcq＝(Rc2-Rc3)xS+Rc3

Gcq＝(Gc2-Gc3)xS+Gc3

Bcq＝(Bc2-Bc3)xS+Bc3                            (等式3)

然后，利用(等式3)表示的所述临时补偿像素值(Rcq，Gcq，Bcq)分别被设置为相对于在第一像素中的饱和像素位置(Xc，Yc)的临时补偿像素值。

其中，(Xc，Yc)是所述第一图像中被饱和像素(饱和像素)的位置。由上述(等式3)所计算的值(Rcq，Gcq，Bcq)是所述像素的值，假设所发射的光强度是“当成像所述第二图像时所发射的频闪光的强度＝[低强度频闪光]”的S倍。换言之，它们是假设当利用“当取所述第一图像时的频闪光的强度＝[高强度频闪光]”照射时它们没有被饱和的前提下的所述像素的值。

因此，由上述(等式3)所计算的像素值可以是超过实际图像像素值的最大值(例如，255)的值。

由此，在图6所示处理流程的步骤4(图7和8的步骤41-45)中，执行一处理，用于利用假设其没有被饱和的一个假设的像素值、即一个假设的临时补偿像素值(Rcq，Gcq，Bcq)来替换所述第一图像中的饱和像素。

接着，在步骤5，对于在步骤4对应于在所述饱和像素位置(Xc，Yc)中的像素(Rc，Gc，Bc)和在未饱和像素位置(Xu，Yu)中由像素(Ru，Gu，Bu)构成的所述第一图像的组成像素值所计算的临时补偿像素值(Rcq，Gcq，Bcq)执行一格式化处理。

如上所述，对于在步骤4像素数据替换处理中所计算的临时补偿像素值(Rcq，Gcq，Bcq)，所有Rc、Bcq或Gcq的值并不总是被设置在范围0-255之内，其中的任何一个值都可以超过255。在这种场合下不能输出图像。然后，执行所述格式化处理，以便使所有像素的R、G和B的值都可以被限制到可允许的输出值，例如在0-255的范围内，从而正确的计算补偿像素值(Rcf，Gcf，Bcf)。

下面将结合图8的步骤51和52描述一具体的格式化处理。首先，在步骤51，计算所述第一图像的最大像素值Dmax。

换言之，分别获得所述第一图像的未饱和像素(Xu，Yu)的像素值(Ru，Gu，Bu)和由根据所述饱和像素(Xc，Yc)在步骤4(＝步骤41-45)计算的所述临时补偿像素值(Rcq，Gcq，Bcq)构成的所述第一图像的所有像素的像素值，并计算所有的最大值：Dmax。

接着，在步骤52，将所述第一图像的组成像素的每个像素值除以在步骤51中计算的最大像素值Rmax、Gmax或Bmax，和利用下述(等式4)分别计算在所述未饱和像素位置(Xu，Yu)中的补偿像素值(Rus，Guf，Buf)和在所述饱和像素位置(Xc，Yc)中的补偿像素值(Rcf，Gcf，Bcf)。

(1)在未饱和像素(Xu，Yu)的情况下，

Ruf＝(Ru/Dmax)x255

Guf＝(Gu/Dmax)x255

Buf＝(Bu/Dmax)x255

在饱和像素(Xc，Yc)情况下，

Rcf＝(Rcq/Dmax)x255

Gcf＝(Gcq/Dmax)x255

Bcf＝(Bcq/Dmax)x255                             (等式4)

由上述(等式4)计算的像素值，即在未饱和像素位置(Xu，Yu)中的补偿像素值(Ruf，Guf，Buf)和在饱和像素位置(Xc，Yc)中的补偿像素值(Rcf，Gcf，Bcf)可以被保持在0-255之间的值。这些补偿像素值被用作输出像素值。

所述格式化处理并不局限于上述处理。也可以使用诸如在日本专利申请No.2002-025464中描述其它格式化处理。上述日本专利申请是同样由本发明的申请人申请的专利申请。它提供了一种用于将具有宽动态范围的图像(即具有超过255的值的图像)转换成具有较窄动态范围的图像(即其所有像素值的R，G和B都在0-255范围之间的图像)而不会被人的视觉感到不适应的处理方法。通过使用这种处理方法，计算构成所述第一图像的未饱和像素位置(Xu，Yu)中的补偿像素值(Ruf，Guf，Buf)和饱和像素位置(Xc，Yc)中的补偿像素值(Rcf，Gcf，Bcf)，借此以将所有像素的R、G和B的值保持在0-255的范围内。

在图6的步骤5(图8的步骤51和52)的格式化处理之后，处理移动到步骤6。在步骤6，在步骤5重新写入的所述第一图像被输出和处理结束。这个图像是由在未饱和像素位置(Xu，Yu)中的补偿像素值(Ruf，Guf，Buf)和在饱和像素位置(Xc，Yc)中的补偿像素值(Rcf，Gcf，Bcf)构成的。

被如此获得的图像是这样一个图像，在该图像中，利用假设没有被饱和所述像素来替换所述第一原始图像中被饱和的像素，这消除了传统的缺陷。换言之，能够避免当一目标在附近时由于频闪成像导致所述(R，G，B)的值被饱和和导致最亮的白色。

图9示出了一功能框图，用于解释本发明图像处理装置中的处理。所述图像处理装置能够以例如具有如前面使用图3描述的一CPU的PC等来实现。在所述CPU中执行如参考图6-8所描述的其中记录有所述处理过程的程序，从而实现所述补偿像素值的计算。图9是一功能框图，该图示出了主要在所述CPU中执行并被单独分块的处理功能。

在成像单元301中，捕获其中上述曝光条件是变化的多个图像(见图2和图5)，和该多个图像被存储在存储器302中。在像素值鉴别单元303中，相对于存储在所述存储器302中的多个图像执行像素值鉴别处理，和执行所述多个图像的像素值的获取处理。

在像素区域划分单元304中，在像素值鉴别单元303中获得的所述第一图像中的像素值被分成一饱和像素区域和一未饱和像素。所述饱和像素是其中三个分量R，G和B中一个或者多个分量具有最大值(例如，255)的像素。其它的像素是未饱和像素。

第一到第三图像的所有像素值数据都被取入临时补偿像素值计算单元305。通过使用上述等式1-3，计算所述第一图像中所述饱和像素位置(Xc，Yc)内的临时补偿像素值(Rcq，Gcq，Bcq)。

在补偿像素值计算单元(格式化处理单元)306中，从像素区域划分单元304输入所述第一图像的未饱和像素(Xu，Yu)的像素值(Ru，Gu，Bu)。此外，从临时补偿像素值计算单元305输入所述第一图像的饱和像素(Xc，Yc)的临时补偿像素值(Rcq，Gcq，Bcq)。根据上述的(等式4)，分别计算在未饱和像素位置(Xu，Yu)中的所述补偿像素值(Ruf，Guf，Buf)和在饱和像素位置(Xc，Yc)中的所述补偿像素值(Rcf，Gcf，Bcf)。

在输出单元307中，输出根据在补偿像素值计算单元(格式化处理单元)306中所计算的补偿像素值的图像数据。

另外，图9所示的结构也可以被配置为一成像装置(摄像机)。如果是这种情况，如结合上述图3所述的图像处理装置结构可以被插入到所述成像装置(摄像机)中，借此以在由例如DVD、CD、闪存等构成的存储器单元中存储所述补偿图像数据。所述成像单元根据上述描述执行持续设置不同曝光条件的处理，获取多个图像(见图2和图5)，和使所述成像处理单元(见图3)包含在所述成像装置中提供的CPU，以便执行上述处理，从而基于在所述存储器单元中的补偿像素值计算所述补偿像素值并存储所述图像数据。

在根据当前结构的成像装置中，基于多个图像所补偿的图像数据被存储在所述存储器单元中，从而可以保留其中所述饱和像素值被补偿的清晰图像数据作为记录数据。

根据本发明的图像处理装置或成像装置，对于具有其中由于普通照射光而导致过度照射光从而使所述像素值为最大并处于饱和状态的像素区域的图像数据，通过补偿所述像素值计算较佳像素值，借此输出或记录所述清晰的图像数据。

另外，在上述的例子中，虽然描述了利用普通频闪光成像、利用低强度频闪光成像和利用最小强度频闪光成像的基于三种类型图像执行像素值补偿的结构例，但是它也可以被配置成使用在不同曝光条件下捕获的四种或更多种图像执行补偿处理。在这种情况下，计算其中每一个都具有利用上述(等式2)所获得的强度的多个频闪光的比值。通过将(等式3)运用于它们当中的每一个，计算所述临时补偿像素值。在将所述临时补偿像素值的平均值设置为一最终临时补偿像素值之后，可以借助于(等式4)执行所述格式化处理。

此外，在上述的较佳实施例中，虽然描述了使用通过改变所述频闪光的强度捕获的多个图像的处理，但是，可以对通过改变曝光时间而捕获的多个图像执行类似的补偿处理，换言之，可以借助于上述(等式2)计算基于每个图像数据曝光时间差的照射光量的比值：S，执行类似的补偿像素值计算处理等等。

此外，如图10所示，在取所述第一图像之前，在不发射所述频闪光的情况可以捕获一第三’图像(third’image)，捕获

(1)第三’图像(没有频闪光)

(2)第一图像(普通频闪光)

(3)第二图像(低强度频闪光)，和

(4)第三图像(没有频闪光)，

计算“所述第三图像和所述第三图像的平均值”，和所计算的图像可以被用作上述中的所述第三图像。由此，通过执行平均处理，可以补偿在串行成像期间由个人A的移动所引起的“图像间的位移”，并可以减少噪声。

此外，在上述的较佳实施例中，所述像素值被表示为关于由三种主要颜色(R，G，B)构成的所述图像数据的补偿的例子。借助于类似的处理，也可以对不是彩色图像的黑白图像、即只有亮度数据的图像执行亮度补偿。此外，对于由除RGB以外的颜色所表示的图像数据，可以通过补偿每个数据值来补偿饱和的数据。

[2.在其中周围光和闪光被混合的环境中对图像的较佳白平衡调节处理]

下面将描述用于在其中周围光和闪光被混合环境中成像的较佳白平衡调节处理装置。

图11示出了根据移实施例的当前例的一成像装置的结构。如图11所示，根据该较佳实施例的成像装置装备有透镜501、可变光圈502、固态图像组件503、关联双采样电路504、A/D转换器505、DSP块506、定时发生器507、D/A转换器508、视频编码器509、视频监视器510、编码解码器(CODEC)511、存储器512、CPU513、输入设备514、闪光控制单元515和闪光发射装置516。

这里，输入设备514包括诸如是在摄像机壳体中的记录按钮的多个手动操作按钮。此外，DSP块506是一个具有用于信号处理的处理器和用于图像的RAM的块，所述用于信号处理的处理器能够对存储在所述用于图像的RAM中的图像数据执行先前所编程的图像处理。所述DSP块在下面将简称之为DSP。

下面将描述较佳实施例的这些例子的操作。

通过一光学系统并到达所述固态图像组件503的入射光首先到达成像表面上的每个光接收器，然后借助于在所述光接收器处的光电转换被转换为电信号，借助于关联双采样电路504消除噪声，借助于A/D转换器505转换为数字信号，然后暂时存储在数字信号处理单元(DSP)506中的图像存储器中。另外，如果需要，闪光发射装置516可以在成像情况下经过闪光控制单元515被导致发光。

在成像期间，定时发生器507控制一信号处理系统，以便以一固定的帧速率保持图像捕获。在一像素流也被以一固定速率传送到其中执行了适当的图像处理的数字信号处理单元(DSP)506之后，图像数据被传送给D/A转换器508和/或编码解码器(CODEC)511。D/A转换器508将从数字信号处理单元(DSP)506传送的所述图像数据转换为模拟信号，该模拟信号并由视频编码器509转换为视频信号，借此，可以借助于视频监视器510监视所述视频信号。视频监视器510在实施例的当前例中起所述摄像机的取景器的作用。此外，编码解码器(CODEC)511对从数字信号处理单元(DSP)506接收的所述图像数据编码，和编码后的图像数据被记录在存储器512中。这里，存储器512可以是使用半导体的记录设备、磁记录介质、磁光记录介质和光记录介质等。

虽然上面描述了实施例的较佳例子的数字摄影机的整个系统，但是在施例的当前例子中，本发明是在数字信号处理单元(DSP)506中的图像处理中实现的。下面将详细描述所述图像处理的一部分。

如上所述，实施例当前例的图像处理单元实际上是在数字信号处理单元(DSP)506中提供的。因此，在实施例当前例的结构中，所述图像处理单元对输入的图像信号流的操作是如下实现的：即所述操作单元顺序地执行在数字信号处理单元(DPS)506中的预定程序码所描述的操作。在下面的说明中，借助于一流程图来描述在所述程序中执行的每个处理的过程。但是，除了所述实施例的当前例所描述的所述程序的较佳实施例以外，本发明还可以被结构安装一硬件电路，该硬件电路被用于实现与下述功能等效的处理。

图12的流程图用于解释对所述数字信号处理单元(DSP)506内输入的图像信号流执行的所述白平衡(WB)调节处理的过程。

在步骤101，使用预先设置的光圈和快门速度，在没有闪光的情况下执行成像，在步骤102，在没有闪光情况下捕获到的图像被作为一图像数据I₁存储在一存储器中。

在步骤103，与步骤101类似，使用预先设置的所述光圈和快门速度，借助于闪光执行所述成像。在步骤104，利用闪光所捕获到的该图像被作为图像数据I₂存储在所述存储器中。

接着，在步骤105，与步骤101类似，使用预先设置的光圈和快门速度，再次在没有闪光的情况下执行成像。在步骤106，在没有闪光情况下捕获到的所述图像被作为图像数据I₃存储在所述存储器中。

另外，当继续成像时，例如以约1/100的第二间隔连续成像时，执行步骤101、103和105的成像。使用从各成像步骤中获得的多个图像，执行所述白平衡调节处理并生成其白平衡(WB)被调节的图像数据。

此外，在步骤102、104和106中存储在所述存储器中的图像数据I₁、I₂和I₃被认为是在模糊补偿中得到调节的图像。换言之，当在摄取三个图像I₁、I₂和I₃的时间处发生模糊时，所述模糊首先被补偿，然后被存储在所述存储器中。

换言之，当所捕获到的图像是一模糊图像时，在步骤101和102之间、步骤103和104之间以及步骤105和106之间补偿所述模糊，然后经过补偿的图像被存储到所述存储器中。因此，存储在所述存储器中的图像数据I₁、I₂和I₃就像一摄像机被安装在三脚架上的情况下它们被连续捕获一样。

另外，模糊补偿处理可以使用一传统已知的处理。例如，使用一加速传感器检测位移从而移动透镜的方法、读出适当的部分以便可以使用一图像组件捕获分辨率高于目标分辨率的图像从而不引起位移的方法、或者仅借助于不使用传感器的图像处理校正模糊的方法都是传统和被广泛使用的方法。

接着在步骤107，检测在步骤101、103和105成像三个图像期间是否存在缘自所述成像目标本身移动的图像模糊。检测是否存在由所述成像目标本身的移动导致的任一图像模糊的处理是通过比较三个图像中的两个图像执行的。例如，使用所述图像I₁和图像I₃能够检测一移动部分。作为一个例子，对图像图像I₁和图像I₃的每个像素取一个差。当所述差大于某个阈值时，相应的像素可以被注册为一移动部分。当它确定不存在由于成像目标本身的移动而导致的图像模糊时(步骤108：No)，处理进行到步骤112。而当检测到一移动时(步骤108：Yes)，处理进行到步骤109。

在步骤109，确定是否可应用对在步骤107检测到的所述移动部分执行白平衡(WB)调节的补偿处理。该确定处理使用，例如基于在步骤107中被注册为所述移动部分的像素数量与整个图像的相书数量的比值所执行的处理。例如，当被注册为所述移动部分的像素数量与整个图像的像素数量的比值[比值A]大于某个预定的固定阈值[阈值]时，它确定不可能补偿所述像素。当所述比值小于所述阈值时，则确定可以对其进行补偿。

当在步骤109确定不可能对其进行补偿时，处理进行到步骤113。当确定可以对其进行补偿时，处理进行到步骤110。

在步骤113，对利用闪光捕获到的图像数据I₂执行白平衡(WB)调节，生成输出图像R，所述处理结束。用于所述白平衡调节的参数值是根据周围光分量设置的参数、根据闪光分量设置的参数、或者是基于周围光和闪光的中间分量设置的参数。由于设置了三种参数，所以能够执行所述白平衡(WB)调节。另外，这个白平衡调节方法是一种传统执行的方法，因此，在这里省略对它们的描述。另外，将被使用的参数是由一3 x 3矩阵表示的参数，并且是用于转换构成每个像素颜色的颜色分量的矩阵。至于所述3 x 3矩阵，使用了除对角以外设置为0的一矩阵。

下面将描述基于步骤110和步骤S112的多个图像数据的白平衡(WB)调节处理。在步骤110和步骤S112的处理是相同的处理。下面将结合图13详细描述该处理。

在步骤201，取得在利用闪光捕获图像数据I₂的分量和在没有闪光情况下捕获的图像I₁的所述像素的每种颜色的分量之间的差，以便生成一差图像F＝I₂-I₁，并将其存储在所述存储器中。如果所述成像目标在其中没有闪光执行成像的步骤101和在其中利用闪光执行成像的步骤103中确实没有移动，那么，所述差图像F＝I₂-I₁等效于在某种场合下仅利用闪光照射成像目标捕获到的一图像，在所述场合下，没有周围光，只有从所述成像目标反射的闪光，并入射到所述摄像机的所述固态成像组件上。接着，在步骤202，相对于图像F执行依据所述闪光的色温的白平衡(WB)调节。换言之，在根据通过依据所述闪光调节所述差图像数据F所建立的参数的基础上执行所述白平衡(WB)调节。此外，当所述闪光太亮或太暗时，执行一强度调节，以便使所述图像的亮度可以变得较佳，从而生成一补偿图像F’。

接着，在步骤203，根据周围光执行关于在没有闪光情况下捕获到的图像数据I₁的白平衡(WB)调节。换言之，基于通过依据周围光调节在没有闪光情况下捕获到的图像数据I₁所建立的参数执行所述白平衡(WB)调节，并由此生成一补偿图像I₁’。

这是通过一种传统使用和广泛公知的白平衡(WB)调节执行的。在日本专利申请公开No.2001-78202中披露了一种可应用的技术。在日本专利申请公开No.2001-78202中，获得目标颜色分量数据和周围光的频谱分布作为来自利用闪光捕获到的图像I₂和没有利用闪光捕获到的图像I₁之间的差图像F的发光分量数据，以及一已知闪光的频谱特征。使用所述发光分量数据，执行图像I₁的所述白平衡(WB)调节。

接着，在步骤204，通过将所述差图像F’加到所述补偿图像I₁’上生成白平衡(WB)调节图像R。根据上述步骤，所述白平衡(WB)调节图像R是这样一种图像，即相对于没有移动的部分，借助于闪光的分量和借助于周围光的分量独自地受到所述白平衡(WB)调节。

图14的曲线用于解释根据图13所示流程执行的基于两个图像的白平衡(WB)调节处理图像R的生成原理。换言之，该曲线用于解释基于没有闪光捕获到的图像I₁和利用闪光捕获到的图像I₂生成所述白平衡(WB)调节图像R的原理。

图14(a)的曲线示出了利用闪光捕获到的所述图像数据I₂的坐标位置(x，y)中作为RGB空间上的矢量V3的一像素。所述矢量V3具有作为(R，G，B)的值的(ir，ig，ib)。所述矢量V3是一个基于包括周围光分量和闪光分量的照射光而获取的像素值。

因此，该矢量V3等效于矢量V1和V2的和，所述矢量V1基于通过只利用周围光分量成像获取的相同坐标(x，y)中的所述像素值，即在没有闪光情况下捕获到的像素数据I₁，和所述矢量V2包括当在只有闪光而没有周围光的假定条件下执行成像时捕获到的图像的像素值分量。

因此，由矢量V1表示的像素值被从矢量V3中减掉，以便获取矢量V2的像素值，即当在只有闪光而没有周围光的假定条件下执行成像时捕获到的所述图像的像素值。图14(b)的矢量V2示出了这个结果。根据基于在由所述矢量V2表示的仅有闪光照射条件的像素值中的闪光分量所设置的参数，执行所述白平衡调节，以便计算补偿像素值并获得具有所述补偿像素值的矢量V2’。由利用矢量V2’表示的像素值所构成的图像对应于作为在图3所示步骤202中所述白平衡调节的结果的所述补偿图像F’。换言之，图14(a)和图14(b)的处理等效于图13所示流程中的步骤201和202。

图14(c)示出了一处理，在该处理中，根据基于周围光分量所设置的参数对与基于在没有闪光捕获到的所述图像数据I₁的像素值的矢量V1对应的像素值执行所述白平衡(WB)调节，借此获得所述补偿像素值并获得具有该补偿像素值的矢量V1’。由矢量V1’表示的像素值构成的图像对应于作为图13所示步骤203中白平衡调节结果获得的补偿图像I₁’。换言之，图14(c)的处理等效于图13所示流程的步骤203。

图14(d)示出了一处理，在该处理中，由对应于图14(b)所示补偿图像F’的矢量V2’表示的所述像素值被加到由对应于图14(c)所示补偿图像I₁’的矢量V1’表示的像素值上，借此以生成具有一最终白平衡调节像素值的白平衡调节图像数据R。换言之，在某个坐标(x，y)处的白平衡调节像素值是由对应于图14(b)所示补偿图像F’的矢量V2’所表示的像素值与由对应于图14(c)所示补偿图像I₁’的矢量V1’表示的像素值的结果之和。即，图14(d)的处理等效于图13所示流程的步骤204。

在这种方式中，实施例当前例的白平衡调节处理被安排为包含周围光分量和闪光分量的图像被分割成两个图像，即仅利用周围光分量捕获的图像和仅利用闪光分量捕获的图像。仅利用周围光分量捕获的图像被根据基于所述周围光分量所设置的参数进行白平衡调节处理，和仅利用闪光分量捕获的图像被根据基于闪光分量所设置的参数进行所述白平衡调节处理，从而将这些补偿像素值再次相相加，以获得以最终的所述白平衡调节图像R。在这种方式下，借助于适用于每个光学分量的参数相对于两个独立的光学分量执行所述白平衡调节，从而可以执行以精确的白平衡调节。换言之，可以就像在其中周围光和闪光是相同颜色的场合中被捕获一样地生成一经过调节的图像。

步骤的描述将继续返回到图12所示的流程。当执行如上步骤112所述基于多个图像的白平衡调节时，所述白平衡调节图像R被设置为一最终输出图像，和处理结束。

另一方面，如果执行如上述步骤110所述基于多个图像的白平衡调节处理，那么其情况如下：确定是否存在由成像目标本身的移动所导致的图像模糊和确定将可能对所述图像模糊进行补偿。在步骤111，在步骤110中生成的白平衡调节图像R当中，对由成像目标本身移动所导致的模糊图像区域、即所述移动部分区域执行所述像素值补偿处理。换言之，对在步骤107检测到的所述移动部分执行一消除处理，从而校正所述白平衡调节图像R。考虑到利用闪光捕获到的图像数据I₂的像素值对应于一从中检测到作为一输入的所述移动的所述部分，所以，所述校正处理可以确定关于在所述白平衡调节图像R中没有移动部分的像素值的从中检测到所述移动的所述部分的像素值，借此例如以合成一最终图像。

该合成技术将予以描述。在图像中出现的目标的颜色如下：通过所述目标反射光，并入射到一图像组件并被捕获。例如，当在所述白光源下在所述图像上的某个目标是红色的时，所述目标将反射其频率等于红色的可见光，并准确地吸收频率等于其它颜色的光。换言之，一个目标能够具有对每个频率光的特殊反射系数。现在假设所述目标的RGB各颜色分量的光反射系数由(O_r，O_g，O_b)表示，某种色温的光由(1_r，1_g，1_b)表示。当所述光出现时，即当利用所述摄像机捕获到由目标(O_r，O_g，O_b)反射的光(1_r，1_g，1_b)时，构成被捕获图像的所述像素的值(i_r，I_g，I_b)可用下述(等式5)表示：

(i_r，I_g，I_b)＝(k*i_r*O_r，k*I_g*O_g，k*I_b*O_b)     ...(等式5)

在上述的等式中，k是一表示所述光的强度的标度值。然后，例如具有诸如周围光和闪光的作为两种照射光的光源1(1_1r，1_1g，1_1b)光源2(1_2r，1_2g，1_2b)。当摄像机捕获到由某个目标(O_r，O_g，O_b)反射的这两种光的光时，被所述摄像机捕获到的图像的像素值(i_r，I_g，I_b)可由下述等式(等式6)来表示：

(i_r，I_g，I_b)＝((k₁*1_1r+k₂*1_2r)*O_r，(k₁*1_1g+k₂*1_2g)*0g，(k₁*1_1b+k₂*1_2b)*O_b)…

                                                         (等式6)

其中，k₁是表示光源1的强度的标度值，和k₂是表示光源2的强度的标度值。

现在假设，O_r’＝k₁*O_r，O_g’＝k₁*O_g，和O_b’＝k₁*O_b，则上述等式(等式6)可以被转换为下述等式(等式7)：

(i_r，I_g，I_b)＝((1_1r+k’*1_2r)*O_r’，(1_1g+k’*1_2g)*O_g’，(1_1b+k’*1_2b)*O_b’)

                                                            (等式7)

其中，k’＝k₂/k₁，和k’是两个光源的光强度标度比值。即，k’是在由感兴趣的像素捕获的所述目标的一部分中由光源1和光源2发射的光的强度的标度比值。

现在，让我们考虑某个像素值(i_r，i_g，i_b)，该像素值位于通过所述目标反射周围光和闪光这两种光所捕获的图像I₂上。在上述等式(等式7)中的光源1是周围光，和光源2是所述闪光。周围光的颜色(1_1r，1_1g，1_1b)可以利用传统的用于自动白平衡调节的方法进行测量。此外，由于所述闪光的颜色(1_2r，1_2g，1_2b)为闪光设备所特有，所以，它们是已知的并能够被事先设置。当k’也是已知的时，像素(i_r，i_g，i_b)可以被分解成周围光分量(1_1r*O_r’，1_1g*O_g’，1_1b*O_b’)和闪光分量(k’*1_2r*O_r’，k’*1_2g*O_g’，k’*1_2b*O_b’)。所述周围光分量和闪光分量被分离并单独承受一WB处理。通过将需要重新结构的图像相加，可以消除由周围光和闪光之间的色温差引起的图像的不自然性。

在结合图12所述的流程中，相对于在步骤S107检测到的移动部分，根据上述处理在步骤S111执行所述像素值补偿。此后，将描述该处理的一特定例子。

如上所述，在步骤107中，检测由所述目标本身的移动而导致的图像模糊是否是在步骤101、103和105中的三个图像成像期间。通过比较所述三个图像中的两个图像执行是否存在任何由所述目标本身引起的图像模糊的检测处理。

例如如图15所示，当在执行串行成像(a)没有闪光的图像I₁、(b)利用闪光的图像I₂和(c)没有闪光的图像I₃的同时球600滚动时，捕获在(a)的图像I₁和(c)的图像I₃之间的差图像(d)I₃-I₁，并检测区域610，该区域产生了由所述目标本身的移动引起的图像模糊。

结合图16和17说明所述移动部分的像素值补偿处理的特定处理过程。图16的流程图示出了所述移动部分的像素值补偿处理的一特定处理过程，图17示出了包括用于补偿的所述移动部分的像素区域，该区域在图15中是区域610的一部分。

如图17所示，在确定将要移动的图像区域内，确定将不移动的所述图像区域的相邻像素(包括在周围8个像素中的位置中的像素)被定义为所述移动部分的内部周边像素650。另外，在确定将要移动的一图像区域内，除所述内部周边像素650以外的像素是移动非周边像素652。

此外，在确定将不移动的所述图像区域内，确定将要移动的所述图像区域的相邻像素(包括在周围8个像素中的位置中的像素)被定义为所述移动部分的外部周边像素651。另外，在步骤103确定将不移动的部分中，除所述移动部分的所述外部周边像素651以外的像素是静止部分653的非周边像素。

相对于所述移动部分的像素，光源1(周围光)的强度(标度值)k₁与光源2(闪光)的强度(标度值)k₂的比值，即光强标度比k’＝k₂/k₁是未知的。现在假设一正确经受目标白平衡(WB)调节和所述移动部分已经被补偿的像素具有一种所述移动部分和所述静止部分的像素值平滑改变的像素结构。在该假设情况下，相对于所述移动部分的外部周边像素651计算光强标度比k’的值。相对于所述移动部分的外部周边像素651，由于在上述等式(等式7)中的周围光分量(1_1r*O_r’，1_1g*O_g’，和1_1b*O_b’)等于没有闪光捕获的图像数据I₁中的对应像素的值，所以，可以在利用闪光捕获的图像数据I₂的像素值(i_r，i_g，i_b)和等式(等式7)的基础上计算所述光强标度比k’＝k₂/k₁的值。相对于移动部分651，外部周边像素651的光源1(周围光)的强度(标度值)k₁与光源2(闪光)的强度(标度值)k₂的比值k’＝k₂/k₁的计算处理是在图16所示步骤301执行的。

根据步骤301的处理，可以计算相对于移动部分的外部周边像素651的光强标度比k’。但是，与包括在所述移动部分中的像素对应的光强标度比k’的值是未知的。根据对应于所述移动部分的外部周边像素651所计算的k’的值对对应于包括在所述移动部分中的像素的光强标度比k’的值进行内插。作为内插方法的一个例子所给出的处理是使用径向基础函数(RBF：RadialBasis Function)。有关使用所述RBF进行数据内插的文献例如是J.C.Carr的“利用Radial Basis Function(径向基础函数)的三维对像的重构和表示”，ACMSIGGRAPH2001，Los Angeles，CA，pp67-76，和12-17August2001。

所述Radial Basis Function(径向基础函数)是指其中一个色调值随着到一中心点的距离的增加(或减少)而减少(或增加)，轮廓线变成一超球面(两维中的圆或椭圆)。为了通过构建一个被用于使一条线穿过其高度未知的采样点并变得尽可能平滑的函数解决估计一未知点高度值的问题，已经知道可以仅添加位于已知采样点中心的RBF。具体地说，当所述采样点位于两维空间时，使所述采样点是 $\{{\stackrel{\→}{C}}_i=(C_i^x,C_i^y)\}(1\≤i\≤n)$ (其中，

分别表示在一采样点处的一X坐标值和一Y坐标值)和使各点处的高度为{h_i}(1≤i≤n)，然后，使用所述RBF以下述等式(等式8)表示预期函数

$f(\stackrel{\→}{x})=p(\stackrel{\→}{x})+\underset{J=1}{\overset{n}{\mathrm{\Σ}}}{d}_j\mathrm{\φ}(\stackrel{\→}{x}-{\stackrel{\→}{c}}_j)$                                 ...(等式8)

其中， $p(\stackrel{\→}{x})=p_0+p_{1}x+p_{2}y.$ 另外，作为一基础函数

的例子，还有 $\mathrm{\φ}(\stackrel{\→}{x})=\left|\stackrel{\→}{x}\right|$ 或 $\mathrm{\φ}(\stackrel{\→}{x})={\left|\stackrel{\→}{x}\right|}^2\log \left|\stackrel{\→}{x}\right|$ 等。但是，不能只利用上述等式(等式8)来规定{d_i}(1≤i≤n)，{p_i}(0≤i≤2)。然后计算满足下述等式(等式9)的{d_i}(1≤i≤n)，{p_i}(0≤i≤2)：

$\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_j=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_j{c}_j^x=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_j{c}_j^y=0$                               ...(等式9)

因此，可以根据 $f({\stackrel{\→}{c}}_i)=p({\stackrel{\→}{c}}_i)+\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{d}_i\mathrm{\φ}({\stackrel{\→}{c}}_i-{\stackrel{\→}{c}}_j)$ 和等式(等式9)计算(未知数n+3，等数n+3){d_i}(1≤i≤n)，{p_i}(0≤i≤2)。

如果

是通过假设在是一个采样的所述移动部分中的所述外部周边像素651中的光强标度比k’构成的，那么，可以计算在任一位置中的光强标度此k’。这个处理是基于图16步骤302所示的所述采样点的光强标度比k’(在所述移动部分的外部周边像素651中的k’)的RBF结构处理。

借助于所述RBF结构处理，可以假定被确定将要移动部分的光源1(周围光)的强度(标度值)k₁与对应于利用闪光捕获的图像数据I₂上每个像素的光源2(闪光)的强度(标度值)k₂的比值，即对应于包括在所述移动部分中的每个像素的光强标度比K’:k’＝k₂/k₁。通过使用与每个像素对应的假定光强标度比k’，所述图像I₂的移动区域部分被分解为周围光分量和闪光分量，和根据每种光的色温分别执行所述白平衡(WB)调节处理。

换言之，由于能够计算所述移动部分的每个像素位置中的光强标度比k’，所以，所述k’、在利用闪光捕获的图像数据I₂的每个像素位置中的像素值(i_r，i_g，i_b)和光源1(周围光)的已知光分量(1_1r，1_1g，1_1b)以及光源2(闪光)的光分量(1_2r，1_2g，1_2b)都被代入到上述等式(等式7)中，从而获得仅仅基于所述光源(周围光)的所述目标的反射系数(O_r’，O_g’，O_b’)。

此外，计算当只利用周围光分量照射时的所述目标的像素值：(1_1r*O_r’，1_1g*O_g’，1_1b*0_b’)和只利用闪光分量照射时所述目标的像素值：(k’*1_2r*O_r’，k’*1_2g*O_g’，k’*1_2b*O_b’)，并通过根据在前结合图13和14描述的各光分量所设置的独立参数对其中的每一个执行二次白平衡调节。借助于所述调节数据的重组处理，计算所述最终白平衡调节像素值。

概括地说，所述移动部分的像素值的补偿过程执行下述a-f的处理。

a.首先，作为与移动部分相邻的静止部分的像素对应的数据，计算在所捕获到的目标的部分像素中的两种光之间的光强标度比，这两种光是仅从上述第一光源发射的光和从没有上述第一光源的周围光发射的光。

b.使用径向基础函数(RBF：Radial Basis Function)，计算对应于所述移动部分的每个像素的所述光强标度比。

c.在对应于所述移动部分的每个像素的所述光强标度比的基础上，计算与仅利用所述第一光源的照射环境下捕获到的图像等效的图像中所述移动部分的每个像素的像素值，作为所述第一像素值。

d.在对应于所述移动部分的每个像素的所述光强标度比的基础上，计算与在不包括所述第一光源的周围光照射环境下捕获到的图像等效的图像中所述移动部分的每个像素的像素值，作为所述第二像素值。

e.在所述第一像素值的基础上执行所述像素值调节处理(白平衡调节)，和在所述第二像素值的基础上执行所述像素值调节处理(白平衡调节)。

f.将两个生成的被调节的像素值相加。

由此，相对于包括在所述移动部分中的所述像素的白平衡(WB)调节像素值重写在图12步骤110中生成的图像数据R，借此以获得所述第一补偿图像数据R’。换言之，只有相对于由所述目标的移动引起的所述移动区域的像素值被重置以用于在步骤111中所捕获到的图像，并重写在步骤110所生成的白平衡调节图像R，以便获得所述第一补偿图像数据R’。

另外，如在图13所示处理流程中所述，当执行所述闪光的级别(level)补偿(S202)时，在执行等效级别补偿之后以及当计算所述移动部分的像素值时，基于周围光分量和闪光分量的白平衡调节像素值被相加。

由此，所述移动部分的像素值被重置，和与所述图像R的移动部分区域对应的像素被改写。这个处理是图16步骤303中的处理。

但是，在以在上述移动区域中重置的像素值重写已经在步骤110中生成的所述白平衡调节图像R的方式获得的所述第一补偿图像R’中，在所述移动部分的所述重置像素和原始图像R的静止部分的像素之间的边界不可能是平滑的。一个原因是不可能精确地测量周围光的颜色。另一个原因是在利用闪光等捕获的图像I₂中可能发生增白现像。因此，为了照顾这种情况，还要执行平滑设置所述边界部分的颜色转换处理。

具体地说，执行图16中步骤304-306所示的处理。首先，在步骤304，在所述第一补偿图像R’的移动部分的所述内部周边像素650的像素值的某个像素a654(见图17)的像素值和与所述像素a654相邻的像素(在包括在8个周围像素中的位置中的像素)的所述移动部分的外部周边像素(图17中的像素655)的所述第一补偿图像R’的值的平均值之间计算每种颜色分量的比值(α_r，α_g，α_b)。该比值被用作对应于所述像素a654的颜色补偿比数据。类似的，计算与在所述移动部分中所述内部周边像素650的所有位置中的每个像素对应的每个颜色分量的比值(α_r，α_g，α_b)，作为与所述像素对应的颜色补偿比数据，并用作与每个像素对应的颜色补偿比值数据。接着，在步骤305，使用作为采样点的所述移动部分中所有内部周边像素650建立基

于所述颜色补偿比值数据的RBF。

最后，在步骤306，相对于所述移动部分的每个像素，根据基于所建立的颜色补偿比值数据的RBF，计算与所述移动部分的每个像素对应的颜色补偿比值数据(α_r，α_g，α_b)，和将在所述第一补偿图像R’中设置的每个像素的像素值乘以对应像素的颜色补偿比值数据(α_r，α_g，α_b)，借此以获得一个新的像素值，并在将所述像素值认定为是所述移动部分的像素的情况下执行一第二颜色转换。通过执行所述第二颜色转换除了所获得的第二补偿图像R”是所述输出图像。这个处理是在图16所示步骤306中执行的处理。

另外，在通过图16所示步骤303执行的处理获得的所述第一补偿图像R’中，当在所述移动部分的图像和静止部分的图像之间的边界具有平滑连接时，可以省略步骤304到步骤306的处理。

在上面的描述中，描述了相对于在其它点处内插在所述采样点处的值的方法以及使用所述RBF的方法，但是，其它的方法也可以被用于内插。上述处理是图12中的步骤111的处理的具体例子。因此，当从串行捕获的多个图像中检测到基于目标本身移动的图像模糊时，执行根据图16所示流程的处理，由上述处理生成的所述第二补偿图像R”或所述第一补偿图像R’是最后输出的图像。

另外，当事先已知所述目标本身没有移动时，不再需要图12中的步骤107到111的处理。此外，由于步骤108的判定总是“NO”，所以，不需要执行步骤108的判定处理，因此，不再需要创建和存储用于在步骤108进行判定的数据的步骤105和106。

因此，当事先已知所述目标本身没有移动时，在步骤105中没有闪光捕获到的图像I₃不再是需要的图像。在这种情况下，只有没有闪光捕获到的图像I₁和利用闪光捕获到的图像I₂这两种图像。

此外，使用将闪光称之为当所述目标是暗的时发射光的发光装置的术语进行了描述。除此之外，所述闪光还经常被称之为频闪光，它并不局限于所述闪光，由此，本发明被应用于当所述目标是暗的时通常发光的发光装置。

如上所述，在较佳实施例的例子中，关于利用多种不同光、闪光、周围光等照射捕获到的图像，获取并生成在单一照射光环境下捕获到的图像；相对于在各单一照射光环境下的图像，执行根据基于各照射光的颜色分量(色温)所设置的参数的白平衡调节处理；通过合成这些图像，可以实现其中闪光和周围光的色温差被减小的精确白平衡调节处理。

图18的框图示出了执行根据所述较佳实施例的例子的处理的数字信号处理单元(DSP)(与图11的DSP506等效)的功能结构。

下面将描述图18所示的所述数字信号处理单元(DSP)中的处理并与图12所示的流程对比。

分别在图12的步骤101-106中捕获的没有闪光的图像I₁、利用闪光的图像I₂和没有闪光的图像I₃分别被存储在帧存储器701、702和703中。另外，内置于所述数字信号处理单元(DSP)中的一存储器或连接到总线上的一存储器(图11的存储器512)可被用做存储图像的帧存储器。

在移动检测单元709中执行步骤S107的移动检测。如前结合图15所述，该处理是借助于没有闪光的图像I₁和没有闪光的图像I₃的差数据执行的检测处理。

在步骤112基于多个图像数据的白平衡调节处理是如先前结合图13和图14所描述处理。

首先，在没有闪光的图像I₁和利用闪光的图像I₂的基础上，在一差图像计算单元704中计算所述差图像数据F＝I₂-I₁(见图13，S201)。接着，在一白平衡调节单元707中根据基于所述闪光的分量所设置的参数对所述差图像数据F＝I₂-I₁、即与仅利用闪光照射捕获到的图像等效的图像F执行所述白平衡调节处理(图13，S202)。此外，在白平衡调节单元705中对没有闪光的图像I₁执行根据基于在周围光分量假定单元706中估计的周围光分量的估计值所设置的参数的白平衡调节处理(图13，S203)。

此外，在像素值加法单元708中将由这两种白平衡调节处理所捕获的两个图像的像素值相加(图13，S204)。

当移动部分没有包括在所捕获到的图像中时，在移动部分补偿像素值计算单元710中不执行处理，但具有在所述像素值加法单元708中相加的像素值的图像数据被经过一输出开关单元712输出，作为一白平衡调节图像。目的地是一用于进行数字-模拟转换的D/A转换器508(见图11)、用于编码处理的编解码器511等。

另一方面，所述目标本身的移动区域是作为在移动检测单元709中借助于基于没有闪光的图像I₁和没有闪光的图像I₃的差数据的移动检测的结果检测的。此外，在移动部分补偿像素值计算单元710中，执行如在前结合图16和图17所述的所述移动部分像素值的补偿(转换)，经过输出开关单元712输出具有其中所述移动部分已经被替换为所述补偿像素值的像素值的图像。

白平衡调节单元711执行图12处理流程中步骤113的处理。换言之，当在移动检测单元709中检测到所述移动区域时，但是如果由于在整个图像中移动区域的比例太大而确定补偿是不可能的，那么，输入利用闪光的图像I₂，和执行根据预定参数的白平衡调节，从而经过所述输出开关单元712输出它。

另外，图18所示的结构示出了每个独立的处理单元，以便解释所述功能，但是，实际的处理可以利用所述DSP中的一处理器根据一用于执行与上述每个处理流程相符的程序来执行。

(白平衡调节处理的实施例的第二个例子)

在上述白平衡调节处理中，如结合图13和图14所述，可以计算关于周围光分量和闪光分量中每种光分量的单一照射光图像数据。相对于所述图像，描述了所述结构例，在这种结构中，根据基于周围光分量和闪光分量所设置的参数执行所述白平衡调节处理。

下面将说明关于对应于仅具有闪光照射光条件的差图像数据F＝I₂-I₁的结构例子，其中，所述白平衡调节处理是根据基于周围光分量所设置的参数执行的。

图19示出了基于等效于图13所示流程的实施例的当前例的多个图像数据的白平衡调节处理流程。

在步骤401，获得在利用闪光捕获到的图像数据I₂的像素和没有闪光捕获的图像I₁的像素之间的每个颜色分量的差，以生成将被存储在所述存储器中的差图像F＝I₂-I₁。所述差图像F＝I₂-I₁与以其中在没有周围光场合下仅利用闪光照射所述成像目标、仅有从所述成像目标反射的闪光入射到摄像机固态成像组件上的方式捕获到的图像等效。接着，在步骤402，相对于所述图像F，执行根据周围光的色温的白平衡(WB)调节以生成补偿图像F’。即，根据基于所述差图像数据F与所述周围光的色温相匹配所设置的参数执行所述白平衡(WB)调节，从而生成所述补偿图像F’。

在这种情况下，由于允许在所述差图像F和没有闪光捕获到的图像I₁的各个像素之间进行直接补偿，所以，执行所述白平衡调节处理，以便使所述闪光可以与所述周围光的颜色相匹配。作为该WB处理的一特定的例子，使用在没有闪光情况下捕获到的像素(r_i，g_i，b_i)，位于与所述差图像F的像素(r_f，g_f，b_f)相同位置处的像素、所述差图像F的所述像素的分量R、B与在没有闪光情况下捕获到的图像I₁的像素的G信号的级别相匹配，然后，使用下述(等式10)和(等式11)执行所述像素值的转换。

$r_f^{\′}=r_f*(g_i/g_f)$                                      ...(等式10)

$b_f^{\′}=b_f*(g_i/g_f)$                                      ...(等式11)

然后，通过比较

和r_i以及

和b_i得到下述值。

$a_r=r_i/r_f^{\′}=(r_i*g_f)/(r_f*g_i)$                             ...(等式12)

$a_B=b_i/b_f^{\′}=(b_i*g_f)/(b_f*g_i)$                             ...(等式13)

通过对所有的像素使用上述(等式12)和(等式13)获得的a_r和a_b来计算所述WB参数。通过将所获得的参数乘以所述图像F的每个像素的R分量和B分量执行所述白平衡调节。根据该处理，图像F被转换成如同在利用与周围光具有相同颜色的闪光照射时所捕获到的图像，从而被用做所述图像F’。

进一步，在步骤403，所述差图像F’与在没有闪光时捕获到的图像I₁被合成到一起，从而生成第一白平衡调节图像R₁。所述第一白平衡调节图像R₁变成其周围光和闪光的色温彼此相互匹配的图像。

最后，在步骤404，执行相对于所述第一白平衡调节图像R₁的白平衡调节处理，并进一步生成一第二白平衡调节图像R₂。

在步骤404，由用户设置的值可被用于所述WB的参数。通过使用已知的自动白平衡技术，可以被改变，以便使所述第二白平衡调节处理图像R₂可以具有一自然的色调。

通过使用根据较佳实施例的该例子的处理，获得了强调了周围光分量的所述白平衡调节。具体地说，当由于晚间光而使周围光微红时，即当具有较高的R分量时，根据周围光的调节，获得诸如将整个图像调节到微红色调的结果。

图20的框图示出了执行根据较佳实施例的该例子的所述数字信号处理单元(DSP)(等效于图11所示的DSP506)的基本结构。

下面将结合图20描述在数字信号处理单元(DSP)中执行的处理并与图19所示的流程对比。

在图12的步骤101-106中捕获的没有闪光的图像I₁、利用闪光的图像I₂和没有闪光的图像I₃被分别存储在帧存储器801、802和803中。

在没有闪光的图像I₁和利用闪光的图像I₂的基础上，在差图像计算单元804中计算所述差图像数据F＝I₂-I₁(图19，S401)。接着，在白平衡调节单元805中对所述差图像数据F＝I₂-I₁，即与仅具有闪光照射条件下捕获到的图像等效的所述图像F执行根据基于周围光分量所设置的参数的白平衡调节处理(图19，S402)。进一步，在像素值加法单元806中，通过该白平衡调节处理所捕获到的补偿图像F’的像素值和没有闪光的图像I₁的像素值被相相加，并生成第一白平衡调节图像R₁(图19，S403)。然后，在所述白平衡调节单元807中，执行相对于所述第一白平衡调节图像R₁的白平衡调节，并生成第二白平衡调节图像R₂。

当所述移动部分没有包括在所捕获的图像中时，在移动部分补偿像素值计算单元809中不执行所述处理，经过输出开关单元811输出作为所述白平衡调节图像的第二白平衡调节图像R₂。目的地是执行数字-模拟的转换的D/A转换器508(见图11)、执行编码处理的编码器511。

另一方面，作为借助于基于没有闪光的图像I₁和没有闪光的图像I₃的差数据移动检测的结果，在运动检测单元808中检测目标本身的移动区域。此外，在移动部分补偿像素值计算单元809中，执行如前面结合图16和图17所述的移动部分的像素值的补偿(转换)，并经过输出开关单元811输出具有其中所述移动部分已经被所述补偿像素值替换的像素值数据的图像。

白平衡调节单元810在图12所示的处理流程的步骤113执行所述处理。换言之，当在移动检测单元808中检测到所述移动区域时，但是如果它确定由于整个图像中的移动区域的比例太大而导致不可能进行补偿，那么，输入利用闪光的图像I₂，并执行根据一预定参数的白平衡调节，从而经过所述输出开关单元811输出它。

另外，图20所示的结构单独地示出了每个处理单元，以便解释所述功能，但是，实际处理可以是通过在所述DSP中的一处理器根据用于执行与上述每个处理流程相符的处理的程序执行的。

根据较佳实施例的该例子，能够获得强调了周围光分量的白平衡调节。

已经就特定的实施例详细地描述了本发明，但是，对于本领域普通技术人员来讲很明显，在不脱离本发明的范围的前提下可以对所述较佳实施例的例子做出修改或替换。换言之，仅仅是借助于举例披露了本发明，因此该说明的内容并不是作为限制，所附权利要求被解释为确定本发明的特性。

另外，可以借助于硬件、软件或软硬件的结合来执行上述的一系列处理。当借助于软件执行处理时，具有所记录的处理顺序的程序可以被插入到置于一专用硬件设备内部的一计算机内的一存储器中，另外，可以使用能够执行各种处理插入其中和执行所述程序的一通用计算机。

例如，所述程序可以事先被记录到作为记录介质的一硬盘或一ROM(只读存储器)中。另外，所述程序还可以被永久或暂时地存储到诸如软盘、CD-ROM(高密度盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁带、半导体存储器等的可拆卸记录介质中。

另外，所述程序可以经过上述可拆卸记录介质安装到一计算机中、从下载一侧无线发送给所述计算机、或者经导线或诸如LAN(局域网)、Internet等的网络发送给所述计算机。所述计算机可以接收待被安装到诸如内置硬盘的记录介质中的如此发送的程序。

另外，上述说明书中所描述的各种处理不仅可以按照上述的时间顺序执行，还可以根据需要或根据执行所述处理的设备的吞吐能力来执行。此外，在该说明书中，系统是指多个设备的逻辑组结构，因此，不必在同一个壳体中提供每个设备。

工业实用性

如上所述，根据本分明的结构，可以精确地调节在诸如周围光和闪光的不同光分量相互混合的环境下所捕获到的图像的白平衡，并获取自然色调的图像数据。

此外，根据本发明的结构，由于它是被如下构建的，即就将被在诸如周围光和闪光等多个不同种类照射光下捕获的图像而言，在单种光照环境中捕获或生成所述图像，并根据基于每种照射光的颜色分量(色温)所设置的参数执行关于在每个单种照射光环境下图像的白平衡调节，以便合成它们，所以可以实现一其中闪光和周围光之间的色温差被减小的精确白平衡调节处理。

此外，根据本发明的结构，由于它是被如下构建的，即就所述目标本身的移动部分而言，基于相邻的无移动部分的像素值调节和设置所述像素值，所以，可以生成像素间可以平滑变化的自然图像数据。

此外，根据本发明的结构，可以对所述图像数据提供一种适当的像素值补偿，在所述图像数据中，由于靠近诸如摄像机的成像装置的所述目标被诸如频闪仪的照射光的过度照射而导致所述目标图像的像素值被饱和。

此外，根据本发明的结构，在不同曝光条件下基于多个图像数据获得所述饱和像素的临时补偿像素值，和对该临时补偿像素值执行格式化处理，以便将其再次校正为可输出的像素值，然后输出或记录，借此，能够在精确补偿像素值计算和所述补偿像素值的基础上输出和存储一清晰的图像数据。

此外，根据本发明的结构，输入包括将被补偿和具有其中所述图像数据中的至少部分像素值被设置为最大像素值的第一图像数据和一个或多个在不同于所述第一图像数据的曝光条件下捕获的子图像数据的多个图像数据；在所述多个输入图像数据的相应像素值差的基础上，获取曝光条件差数据，该数据指出在获取每个图像数据时所述曝光条件的差；在所述曝光条件差的基础上，计算在上述第一图像数据中所述饱和像素的临时补偿像素值；和执行所述格式化处理，以便将所述临时补偿像素值校正为一可输出范围内的像素值，由此，在所述精确补偿像素值计算和所述补偿像素值的基础上，输出和存储所述清晰的图像数据。

Claims (11)

1.一种图像数据处理方法，用于相对于具有一饱和像素值的图像数据执行一像素值补偿处理，该方法的特征在于包括：

一临时补偿像素值计算步骤，输入多个图像数据，所述多个图像数据包括将被补偿并具有其中所述图像数据的至少部分像素被设置为最大像素值的饱和像素的第一图像数据和一个或多个在不同于所述第一图像数据的曝光条件下捕获到的子图像数据；在多个输入图像数据彼此对应像素值差的基础上，获取曝光条件差数据，该数据指出在获取每个图像数据时的曝光条件差；和基于所述曝光条件差数据计算所述第一图像数据中所述饱和像素的临时补偿像素值；和

一补偿像素值计算步骤，执行一标准化处理，以便将所述临时补偿像素值校正为在一可输出范围内的像素值。

2.根据权利要求1所述的图像数据处理方法，其特征在于：

所述第一图像数据具有在饱和像素位置(Xc，Yc)中的像素值(Rc1，Gc1，Bc1)和在非饱和像素位置(Xu，Yu)中的像素值(Ru1，Gu1，Bu1)；所述子图像数据包括曝光强度低于所述第一图像数据曝光强度时捕获到的一第二图像数据和其曝光强度低于所述第二图像数据的曝光强度时捕获到的一第三图像数据；

所述临时补偿像素值计算步骤根据下述等式执行一计算处理，并假设在所述第二图像数据和第三图像数据中与所述第一图像数据的非饱和像素(Xu，Yu)对应的位置中的所述像素值是(Ru2，Gu2，Bu2)和(Ru3，Gu3，Bu3)，

$P(\mathrm{Xu},\mathrm{Yu})=\sqrt{{\left(\frac{(\mathrm{Ru}1-\mathrm{Ru}3)}{(\mathrm{Ru}2-\mathrm{Ru}3)}\right)}^2+{\left(\frac{(\mathrm{Gu}1-\mathrm{Gu}3)}{\mathrm{Gu}2-\mathrm{Gu}3}\right)}^2+{\left(\frac{(\mathrm{Bu}1-\mathrm{Bu}3)}{(\mathrm{Bu}2-\mathrm{Bu}3)}\right)}^2}$

                                       ...(等式1)

$S=\frac{\mathrm{\ΣP}(\mathrm{Xu},\mathrm{Yu})}{n}$

                                       ...(等式2)

和基于上述(等式1)和(等式2)计算一曝光条件差数据：S。

3.根据权利要求1所述的图像数据处理方法，其特征在于：

所述补偿像素值计算步骤根据下述等式执行一计算处理，假设在所述第二图像数据和第三图像数据中与所述第一图像数据的饱和像素(Xc，Yc)对应的位置的像素值是(Rc2，Gc2，Bc2)和(Rc3，Gc3，Bc3)：

Rcq＝(Rc2-Rc3)xS+Rc3

Gcq＝(Gc2-Gc3)xS+Gc3

Bcq＝(Bc2-Bc3)xS+Bc3                          ...(等式3)

和基于上述(等式3)，计算所述第一图形数据的所述饱和像素的临时补偿像素值(Rcq，Gcq，Bcq)。

4.根据权利要求1所述的图像数据处理方法，其特征在于：

所述补偿像素值计算步骤根据下述等式执行计算处理，计算所述第一图像的非饱和像素(Xu，Yu)的像素值(Ru，Gu，Bu)的所有数据的最大值：Dmax，相对于饱和像素(Xc，Yc)的临时补偿像素值(Rcq，Gcq，Bcq)，

其中，非饱和像素(Xu，Yu)，

Ruf＝Ru/Dmax

Guf＝Gu/Dmax

Buf＝Bu/Dmax

其中，饱和像素(Xc，Yc)，

Rcf＝Rcq/Dmax

Gcf＝Gcq/Dmax

Bcf＝Bcq/Dmax

.....                                            (等式4)

和基于(等式4)，计算所述第一图像数据的非饱和像素的补偿像素值(Ruf，Guf，Buf)和所述饱和像素的补偿像素值(Rcf，Gcf，Bcf)。

5.根据权利要求1所述的图像数据处理方法，其特征在于：在照射光强度方面，在所述第一图像数据和一个或多个子图像数据之间的曝光条件的差是不同的；和所述临时补偿像素值计算步骤基于作为所述曝光调节差数据的多个图像数据的照射光强的差计算照射光数量的比值。

6.根据权利要求1所述的图像数据处理方法，其特征在于在曝光时间方面，在所述第一图像数据和所述一个或多个子图像数据之间的曝光条件差是不同的，和所述临时补偿像素值计算步骤基于在作为曝光条件差数据的多个图像数据的曝光时间差计算照射光强的比值。

7.根据权利要求1所述的图像数据处理方法，其特征在于所述临时补偿像素值计算步骤和所述补偿像素值计算步骤的特征在于计算关于所述第一图像中彩色图像的每个信号分量的补偿数据。

8.根据权利要求1所述的图像数据处理方法，其特征在于所述临时补偿像素值计算步骤和所述补偿像素值计算步骤根据所述第一图像的亮度分量计算所述补偿数据。

9.一种用于捕获将被存储到一存储单元中的图像数据的方法，其特征在于：

一成像步骤，基于所设置的不同曝光条件捕获图像；

一临时补偿像素值计算步骤，输入多个图像数据，该多个图像数据包括将被补偿并且具有其中所述图像数据中的至少部分像素被设置为最大像素值的饱和像素的第一图像数据和其曝光条件不同于所述第一图像数据曝光条件下捕获的一个或多个子图像数据；基于所述多个输入图像数据的彼此对应的像素值差获取一曝光条件差数据，该数据指出获取每个图像数据时曝光条件的差；和基于所述曝光条件差数据计算所述第一图像数据中饱和像素的临时补偿像素值；

一补偿像素值计算步骤，用于执行一标准化处理，以便将所述临时补偿像素值校正为在一可输出范围内的像素值；和

一存储步骤，用于存储由利用所述补偿像素值计算步骤所补偿的像素值所构成的图像数据。

10.根据权利要求9所述的成像方法，其特征在于在所述曝光条件之间的差是所述照射光强方面的差或是在曝光时间方面的差，所述成像步骤在照射光强或曝光时间的不同设置条件下捕获多个图像数据，和所述临时补偿像素值计算步骤基于作为曝光条件差数据的所述多个图像数据的照射光强或曝光时间的差计算照射光强的比值。

11.一种捕获的图像数据处理装置，用于相对于具有一饱和像素值的图像数据执行像素值补偿处理，所述图像数据处理装置的特征在于包括：

一临时补偿像素值计算装置，用于输入多个图像数据，该多个图像数据包括将被补偿并具有其中至少部分所述图像数据的的像素被设置为一最大值的饱和像素的第一图像数据和在与不同于所述第一图像数据曝光条件下捕获的一个或多个子图像数据；基于所述多个输入图像数据中彼此对应的像素值差获取一曝光条件差数据，该数据指出在获取每个图像数据时曝光条件的差，和基于所述曝光条件差数据计算所述第一图像中所述饱和像素的一临时补偿像素值；和

一补偿像素值计算装置，用于执行一标准化处理，以便将所述临时补偿像素值校正为在一可输出范围内的像素值。

Images