CN103098456B - 图像处理单元及图像处理方法 - Google Patents

Abstract

一种图像处理单元包括：存储器单元，在其中存储连续捕获的包括基准图像和比较图像的图像；图像划分单元，用于划分基准图像和比较图像为预定尺寸的图像块；均值计算器单元，用于计算基准和比较图像中的每一个图像块中的像素输出的均值；阈值确定单元，用于根据基准图像的图像块的像素输出的均值确定阈值；以及确定器单元，用于比较阈值与要合成的基准和比较图像的图像块中的像素输出的均值的差值并且基于比较的结果确定基准和比较图像的图像块是否适于图像合成。

Description

图像处理单元及图像处理方法

相关申请的交叉引用

本申请基于2010年7月8日提交的日本专利申请第2010-155869号并且要求其优先权，其公开通过引用整体并入于此。

技术领域

本发明涉及图像处理单元、图像处理方法和图像处理程序，其可以高精度地校正由于相机震动或其他原因引起的图像中的模糊和噪声，而不损坏图像。

背景技术

近些年，通过使用诸如CMOS之类的图像传感器的加速操作，已经开发了具有各种功能的数码相机。例如，存在能够每秒连续存储五个图像或更多图像的数字相机或者能够以1000fps或更多拍摄高速视频的数字相机。已知这样的数字相机包括图像处理单元以合成连续拍摄的图像用于从图像移除由相机震动引起的模糊或由于长时间曝光的噪声的目的。通过图像合成，能够平均随机噪声并且减少由于相机震动或黑暗处拍摄引起的噪声。

为了合成连续拍摄的图像，有必要判定图像之一作为基准图像并且以该基准图像的位置来对准其他图像（比较图像）的位置。对于完全静态的被摄体的图像，通过使得图像的尺寸彼此相等来完成此位置对准。然而，对于包括移动被摄体的图像，需要确定被摄体移动的方向并且然后依据被摄体的运动对准位置。不考虑被摄体的运动的图像合成导致增加图像中的模糊和噪声。例如，日本专利第3935500号（参考1）公开了一种图像处理单元，其被配置为首先确定被摄体的运动并合成图像，同时例如基于运动的数据对准图像的位置。

进一步，为了防止移动被摄体的图像合成损坏（重影或其他）图像，存在已知的图像处理方法：将基准图像和比较图像的每一个划分为非常小的图像块并根据每一个图像块的RGB输出值中的差异确定合成速率。例如，日本专利申请公开第2009-164857号（参考2）公开了一种图像处理方法，以对每一个图像块确定图像是否应该被合成，当图像块的RGB输出值（平均RGB值）中的差值低于预定阈值时合成图像块并且当差值超出预定阈值时不合成它们。

如在参考2中公开的图像处理方法那样使用预定阈值确定图像合成存在一个问题。用图像传感器（其中，与曝光量成比例地发生随机噪声）捕获图像，从而在被摄体图像的亮部分中的噪声大于暗部分中的噪声并且在图像中的差值的绝对值是大的。因此，为了通过图像合成校正亮部分中的噪声，用于确定是否执行图像合成的阈值需要被设置为一个大的值，其实现了图像的亮部分中的被摄体运动的精确校正。然而，设置用于亮部分的大阈值对于被摄体图像的暗部分过于大，使得不可能检测到暗部分中的被摄体运动并且引起图像合成上的错误确定。基于错误确定，移动被摄体的图像被合成并且在被合成的图像中发生损坏（重影等）。

图14A到14C和15示出使用不同阈值的图像合成的结果。图14A中的图像是基准图像，并且虽然未示出，对图像合成使用三个连续捕获的比较图像。图14B示出例如当对图像的暗部分设置用于确定图像合成的阈值时的图像合成的结果。在图14B中，被摄体X是移动被摄体并且图像合成被正确地确定，从而图像的轮廓清楚并且不包括诸如重影之类的损坏。

同时，图14C示出例如当对图像的亮部分设置用于确定图像合成的阈值时图像合成的结果。在图14C中，移动被摄体X是暗的并且在基准图像和比较图像中的差值小并且不可能超出对亮部分设置的大阈值。因此，图像被错误地确定为适于图像合成，导致生成具有沿着被摄体X的运动的轮廓R或重影Z的图像。

另外，例如，如图15所示，当对图像的暗部分设置阈值时，仅在图像的亮部分明显地发生噪声Y。即，局部明亮区（诸如汽车的前灯或街灯之类）被确定为不适于图像合成而周围图像块被确定为是适合的。因此，不合成与明亮区对应的图像块并且通过图像合成未实现噪声的平均化，从而在局部明亮区中噪声是明显的。

如上所述，使用固定阈值，用于图像合成的图像适用性不能被精确地确定并且其结果是，未适当地完成图像合成。这在图像中引起了重影或者显著噪声的发生并且使得图像损坏。

发明内容

本发明旨在提供图像处理单元、图像处理方法和图像处理程序，其通过替代设置固定阈值地依据要合成的基准图像的像素输出可变地设置用于确定执行/不执行图像合成的阈值，可以精确地合成连续捕获的图像用于图像校正而无图像损坏的发生。

根据本发明的一个方面，图像处理单元包括存储器单元，其中存储连续捕获的图像，该图像包括基准图像和不同于基准图像的比较图像；图像划分单元，被配置为将基准图像和比较图像中的每一个划分为预定尺寸的图像块；均值计算器单元，被配置为计算基准图像和比较图像中的每一个的每一个图像块中的像素输出的均值；阈值确定单元，被配置为根据基准图像的图像块的像素输出的均值确定阈值，该阈值用于确定基准图像和比较图像的图像块是否适于图像合成；以及确定器单元，被配置为对由阈值确定单元确定的阈值与要合成的基准图像和比较图像的图像块中的像素输出的均值的差值进行比较并且基于比较的结果确定基准图像和比较图像的图像块是否适于图像合成。

附图说明

参考附图从以下的详细描述，本发明的特征、实施例和优势将变得显然：

图1示出根据本发明一个实施例的合并图像处理单元的成像设备的示例；

图2示出图1中的成像设备的控制系统的示例的框图；

图3示出在选择阈值作为确定执行/不执行图像合成的基准中使用的图表图像的示例；

图4A、4B是示出在图3的图表图像的像素输出中的差值的分布的示图；

图5A、5B示出在根据本发明一个实施例的图像处理单元中使用的阈值表的示例；

图6是图像处理单元的示例性操作的流程图；

图7是详细确定图像处理单元的操作的示例性图像合成的流程图；

图8是详细确定图像处理单元的操作的另一示例性图像合成的流程图；

图9是详细确定图像处理单元的操作的另一示例性图像合成的流程图；

图10A、10B示出图像处理单元的捕获图像的示例；

图11A示出现有技术图像处理单元的图像合成的示例而图11B示出根据本发明一个实施例的图像处理单元的图像合成的示例；

图12示出图像处理单元的捕获图像的另一示例；

图13A示出现有技术图像处理单元的图像合成的另一示例而图13B示出根据本发明一个实施例的图像处理单元的图像合成的另一示例；

图14A到14C示出现有技术图像处理方法中的图像合成的示例；以及

图15示出现有技术图像处理方法中的图像合成的另一示例。

具体实施方式

以下，将参考附图详细描述根据本发明实施例的图像处理单元和方法。根据本发明一个实施例的图像处理单元可以被合并于成像设备中。因而，将对合并图像处理单元的成像设备做出描述。

第一实施例

图1是包括根据第一实施例的图像处理单元的示例性成像设备的前视图。在图1中，成像设备1包括含有变焦镜头和聚焦镜头的镜筒单元2、频闪单元（stroboscopicunit）3、测量到被摄体的距离的测距单元4和光学取景器5。在前面，提供快门按钮SW1、选择拍摄模式的模式拨盘SW2、拨动开关（jogdialswitch）SW3。通过对快门按钮SW1的操作，被摄体的图像经由镜筒单元2的各种镜头被捕获，被取到未示出的图像传感器中并被存储在未示出的存储器单元中作为图像数据。多个图像可以通过单一拍摄操作而连续地存储在存储器单元中。例如，可以通过对快门按钮SW1的单一操作存储四项连续图像数据。

接着，参考图2描述根据本发明的成像设备1的功能块的示例。在图2中，成像设备1包括作为处理器以控制整个设备的操作的CPU10、成像单元11、存储器单元12、图像划分单元13、均值计算器单元14、阈值确定单元15、确定器单元16、图像合成器单元17、运动数据计算器单元18、显示单元19、操作单元20以及连接这些单元的数据总线21。

成像单元11被配置为经由光学系统获取被摄体的光学图像，用图像传感器将其转换为电信号，将该电信号转换为数字数据并以预定存储器格式生成文件。这里，由成像单元11生成的文件称为“图像”。成像单元11继续捕获预定数量的图像，例如，四个。

由成像单元11连续生成的图像被存储在存储器单元12中。图像划分单元13被配置为划分在存储器单元中存储的图像为预定尺寸（例如32像素×32像素）的图像块。

均值计算器单元14被配置为计算在由图像划分单元13划分的每一个图像块中包括的像素的输出的均值。像素输出的均值可以是例如在稍后描述的第二实施例中的R像素、G像素和B像素的各个输出的均值（以下称为，平均RGB值）、包括在稍后描述的第三实施例中的每一个图像块中的全部像素的亮度的均值、在第四实施例中的每一个图像块中包括的R像素、G像素和B像素的各个输出的和的均值（以下称为平均RGB值之和）。

阈值确定单元15被配置为，基于由均值计算器单元14计算的基准图像的均值确定用于确定图像合成的执行/不执行的阈值。这里，基准图像指在存储器单元12中存储的连续捕获的图像之一。除了基准图像之外的图像称为比较图像。在本实施例中，基准图像是连续捕获的图像中的第一捕获图像。然而，基准图像应该不限于这样的图像，并且可以例如是在连续捕获的图像中的具有最高级聚焦（highestleveloffocus）的图像。

接着，描述阈值。阈值被用于确定在每一个图像块中的图像是否适于图像合成并且根据图像块的像素输出的均值而不同。在像素输出的小均值时，阈值很小，且阈值随着均值的增加而增加。首先，将描述根据图像块的像素输出的均值改变阈值的目的。

通常，存在两种发生在图像传感器中的噪声，一种取决于输出的幅值而另一种与之无关。取决于幅值的噪声是光学拍摄噪声、电荷传输噪声、操作放大器的噪声及其他。光学拍摄噪声源自光电二极管的量子效率，且其幅值取决于光子的数量。即使以相同量的时间照射相同量的光，光电二极管的输出仍将变化，并且输出越高，变化越大。换言之，即使当在相同的环境条件下捕获相同的被摄体时，图像传感器的输出（像素输出）不总是相同。关于在相同环境条件下捕获的相同被摄体的四个图像，四个图像的像素输出中的差异在具有低输出的暗部分和具有高输出的亮部分之间不同。即使在相同的场景下，暗部分（低亮度）的像素输出很可能低于阈值而亮部分（高亮度）的像素输出很可能超出阈值。同步具有低于阈值的像素输出的图像而不同步具有高于阈值的像素输出的图像，从而诸如在暗部分中的重影和在亮部分中的显著噪声之类的图像损坏发生。因而，对暗部分和亮部分使用相同阈值确定图像合成的执行和不执行引起图像质量的降低。

从以上看，在本实施例中，计算图3中的麦克白（Macbeth）图表的连续捕获图像的像素输出的差值的分布，并且使用此分布，依据被摄体图像的输出可以最优地设置阈值。用安装在三脚架上的数码相机在相同的环境条件和相同的设置下多次拍摄麦克白图表。图4A、4B是当图3中的麦克白图表被连续两次拍摄并被划分为图像块时描绘在相同位置的一个图像块中的像素输出的均值的差值的曲线图。横坐标示出像素亮度（像素输出）而纵坐标示出像素输出的差值。从图4A、4B显而易见的是，差异在暗部分中是小值而在亮部分中是大值。差异有多大将是概率的问题且亮部分示出更大的变化。

图4A、4B示出分布差值垂直地形成长型组。这是因为由每一个都以单一色彩上色的矩形区（小块）构成麦克白图表（如图3所示）并且每一个小块的亮度在预定范围内。从图4A、4B显而易见的是像素输出的差值与每一个小块的色彩无关并且几乎不取决于光源。然而，当光源生成闪烁等时这并不适用，因为其输出的绝对值变化。在图4A中，ISO灵敏度是100而在图4B中是1600。信噪比根据ISO灵敏度改变并且像素输出的差值也是如此。

图4A、4B中的曲线是根据像素输出的差值的分布计算的近似曲线。可以根据该近似曲线确定每一个像素的最优阈值。当目标像素输出的差值低于曲线时，执行图像合成，而当其高于曲线时，不执行图像合成。因此，曲线代表阈值。根据本实施例的成像设备1包括阈值表，其包含彼此相关联的阈值和像素输出的均值并且被提前存储在非易失性工作存储器中。图5A、5B示出包含彼此相关联的阈值和均值的差值的阈值表的示例。在图5A中，每一个可能的差值与每一个阈值相关联，并且这要求大量的存储器区。在图5B中，存储代表性像素输出的均值的差值和对应的阈值，并且其他阈值可以通过内插来计算。因为像素输出的均值随着ISO灵敏度变化（图4A、4B），所以可以对每一级ISO灵敏度准备图5B中的阈值表。进一步，对每一个RGB像素准备阈值表以通过计算每一个RGB的均值的差值来更精确地确定阈值。

参考回图2，确定器单元16被配置为将由阈值确定单元15确定的阈值与基准图像和比较图像的对应图像块的像素输出的均值的差值进行比较。当差值小于阈值时，确定在此图像块中的两个图像适于图像合成并且放置标志以指示图像合成的执行。标志与识别图像块的信息相关联地被存储在未示出的工作存储器中。

图像合成器单元17被配置为合成具有由确定器单元16放置的指示图像合成的执行的标志的基准图像与比较图像的图像块。然后，如果在存储器单元12（其尚未经受图像合成确定）中存储了任何连续捕获的图像，则它使用此图像作为比较图像，设置合成图像为新基准图像以将比较图像与新基准图像进行比较。确定器单元16重复地确定图像是否适于图像合成。

运动数据计算器单元18被配置为计算运动数据用于确定目标图像块中的基准图像和比较图像之间的关系。运动数据指示比较图像距基准图像的水平和垂直位移量。例如，当成像设备在第一次拍摄和第二次拍摄之间发生轻微震动以引起视角的改变时，运动数据是基准图像和比较图像的相对位移。它可以是指示平行运动的量的运动向量或者具有高自由度的仿射参数，其中检测图像的旋转或其他。可以使用通过输入图像的多分辨率和具有低分辨率的图像到具有高分辨率的图像的逐步块匹配获得的精确仿射参数，来计算基准图像和比较图像之间的运动数据。

显示单元19被配置为显示图像数据和操作菜单。操作单元20包括快门按钮SW1、模式拨盘SW2及其他并且被配置为转换预定操作为电信号并传送它们到CPU10。

第二实施例

接着，将参考图6中的流程图描述根据第一实施例的图像处理单元执行的图像处理的示例。

在步骤S1中，成像单元11以相同参数设置（孔径光阑、曝光时间、ISO灵敏度、视角及其他）连续捕获被摄体的图像，并且所捕获的图像被存储在存储器单元12中。接着，在步骤S2中，运动数据计算器单元18计算用于确定在存储器单元12中存储的基准图像和比较图像之间的关系的运动数据，并且CPU10基于运动数据对准基准图像和比较图像的位置。在步骤S2中的位置对准是为了校正比较图像距基准图像的位移。

在步骤S3中，对基准图像和比较图像是否适于图像合成做出确定。在步骤S4中，存储每一个图像块中已合成的图像的数量用于在图像合成之后的图像处理。稍后将详细描述步骤S3中的确定。对连续捕获的全部图像重复执行步骤S2到S4（步骤S5中的否）。当确定全部图像已经被处理（步骤S5中的是）时，图像合成器单元17合成图像并且在步骤S6以RAW格式输出合成图像。

参考图7中的流程图详细描述步骤S3中的图像合成的执行或不执行的确定。在步骤S10中，图像划分单元13划分基准图像和第一比较图像中的每一个为预定尺寸的图像块。这里，基准图像指连续捕获的图像中的第一捕获图像而第一比较图像指第二捕获的图像。图像块越小，关于图像中的移动被摄体的确定的精度越好且合成图像的质量越好。然而，这增加计算量和处理时间。考虑处理时间和图像质量的平衡，例如将图像块的最优尺寸预设为32像素×32像素。以下，假定将一个图像划分为M个图像块。

在步骤S20中，均值计算器单元14计算基准图像的第k个图像块中的RGB像素的各个输出的均值（平均RGB值）以确定用于确定图像合成的执行/不执行的阈值。k是从1到M的数值并且在第一处理中，计算第一图像块的平均RGB值，k是1。当每一个图像块的尺寸是32像素×32像素时，R像素和B像素的数量每个都是256而G像素的数量是512。平均RGB值通过用各个RGB像素输出的和除RGB像素的总数量来计算。

使用成像单元11中的拜耳（Bayer）模式的图像传感器，在一些情况下区分RG阵列中的Gr和GB阵列中的Gb，然而，在依据第一实施例的图像处理单元中，Gr和Gb不需要区分。当在Gr和Gb的属性上存在巨大差异或用四色图像传感器捕获时，RGr和RGb可以被区分或者可以对四色的每一个计算均值。

接着，在步骤S30中，阈值确定单元15基于在步骤S20中计算的平均RGB值确定阈值以确定图像块中的图像是否适于图像合成，参考在工作存储器中存储的阈值表。对各个RGB像素确定阈值。12位RAW图像的平均RGB值在0到4095的范围内并且阈值的数量对应是4096。如参考图4A所述，过多的阈值极大地占用了存储器区。在本实施例中，如图5所示，代表性平均RGB值的差值和对应阈值被存储在工作存储器中并且通过根据与在步骤S20中计算的均值的近似差值对应的阈值的内插来计算阈值。

然后，在步骤S40中，均值计算器单元14计算在比较图像的第k个图像块中的RGB像素的各个输出的均值。k是从1到M的值。在第一处理中，k是1，并且计算第一图像块的平均RGB值。

在步骤S50中，确定器单元16计算基准图像的平均RGB值和比较图像的平均RGB值之间的差值并且对该差值与在步骤S30中确定的阈值（Th_R[k]，Th_G[k],Th_B[k]）进行比较。随着全部RGB像素的差值低于阈值（步骤S50中的是），在步骤S60中与指示合成可能的标志有关地在工作存储器中存储识别正在考虑的所述图像块的数据用于在后续步骤中的基准图像和比较图像的图像合成。同时，随着任何RGB像素的差值高于阈值（步骤S50中的否），不在此图像块上执行图像合成。

指示合成可能和合成不可能的标志被配置为识别比较图像和将要比较的图像块。例如，在基准图像（0）和第一比较图像（1）的第100个图像块是合成可能的情况下，标志可以通过诸如0：1：100：1之类的数字组合来表达。此外，当基准图像（0）和第二比较图像（2）的第200个图像块是合成不可能时，标志可以通过诸如0：2：200：0之类的数字组合来表达。

在步骤S80，对是否对步骤S80中的全部图像块进行图像合成确定做出确定。当结果是否定时，在全部图像块经受确定之前（步骤S80中的否）重复执行步骤S20到S70。

参考图8中的流程图详细描述步骤S3中的图像合成确定的另一示例。与图7中的操作相同的操作在图8中被给予相同的步骤编号。首先，在步骤S10中，图像划分单元13划分基准图像和第一比较图像中的每一个为预定尺寸的图像块。在步骤S21中，均值计算器单元14计算该基准图像的第k个图像块的亮度的均值以确定用于确定图像合成的执行/不执行的阈值。

阈值确定单元15基于在步骤S21中所计算的平均亮度值，确定用于确定图像块中的图像是否适于图像合成的阈值，参考在工作存储器中存储的阈值表。阈值表包含一组数据作为与阈值关联的代表性平均亮度值的差值，该阈值基于麦克白图表的图像亮度的差值的分布，如图5B所示。通过根据与在步骤S21中计算的平均亮度值的近似差值对应的阈值的内插计算阈值。

在步骤S41，均值计算器单元14计算比较图像的第k个图像块的平均亮度值。在步骤S51，确定器单元16确定基准图像和比较图像的平均亮度值之间的差值是否大于阈值。当差值小于阈值时，存储指示图像合成的执行的预定存储器格式的预定标志，以对第k个图像块执行图像合成（在步骤S51和S60中的是）。同时，当差值等于或大于阈值时，存储指示图像合成的不执行的预定存储器格式的预定标志，以不对第k个图像块执行图像合成（在步骤S51和S60中的否）。

在确定基准图像和比较图像的全部图像块的图像合成完成之前重复执行S20到S70的步骤（步骤S80中的否）。

因此，通过使用用于确定图像合成的执行/不执行的平均亮度值，能够高速地处理与阈值的比较（步骤S51）并且减少整个图像合成处理的处理时间。

第四实施例

接着，参考图9中的流程图详细描述步骤S3中的图像合成确定的另一示例。注意，与图7-8中的步骤相同的步骤被给予相同的步骤编号。首先，在步骤S10中，图像划分单元13划分基准图像和第一比较图像中的每一个为预定尺寸的图像块。在步骤S22中，均值计算器单元14计算第k个图像块的平均RGB值的和以便于确定用于确定图像合成的执行/不执行的阈值。平均RGB值的和是包括在图像块中的RGB像素的各个输出的均值的和。

在步骤S32中，阈值确定单元15基于在步骤S22中所计算的平均RGB值的和，确定用于确定图像块中的图像是否适于图像合成的阈值，参考在工作存储器中存储的阈值表。如上所述，阈值表包含一组数据作为与阈值相关联的代表性平均RGB值的和的差值，该阈值基于麦克白图表的图像亮度的差值分布，如图5B所示。通过根据与在步骤S22中计算的平均RGB值的和的近似差值对应的阈值的内插计算阈值。

在步骤S42，均值计算器单元14计算比较图像的第k个图像块的平均RGB值的和。在步骤S52，确定器单元16确定基准图像和比较图像的平均RGB值的和之间的差值是否大于阈值。当差值小于阈值时，存储指示执行图像合成的预定存储器格式的预定标志，以对第k个图像块执行图像合成（在步骤S52和S60中的是）。同时，当差值等于或大于阈值时，存储指示不执行图像合成的预定存储器格式的预定标志，以不对第k个图像块执行图像合成（在步骤S53和S60中的否）。

在确定基准图像和比较图像的全部图像块的图像合成完成之前，重复执行S20到S70的步骤（步骤S80中的否）。

因此，通过使用用于确定图像合成的执行/不执行的平均RGB值的和，能够高速地处理与阈值的比较（步骤S52）并且减少整个图像合成处理的处理时间。

第五实施例

现在，在图10-13中使用四个连续捕获的图像的图像合成作为示例，描述根据本发明一个实施例的图像处理方法的效果。图10A示出捕获图像之一作为基准图像的示例。因为诸如图像中的视野和被摄体之类的照相条件无差别，所以不示出其他图像。为了简洁，如图10B所示，图像A被划分为如车列B、天空C和行人D的区。

图11A、11B示出图10A中的图像A的合成图像的示例。在图中，以白色代表已合成四个图像的图像块，以浅灰色代表已合成三个图像的图像块，以暗灰色代表已合成两个图像的图像块，而用黑色代表未经受图像合成的图像块。图11A是通过现有技术图像合成的合成图像的示例而图11B是通过根据本发明一个实施例的图像处理方法的合成图像的示例。

在图11A中，作为静态被摄体的天空C以浅灰色（已合成三个图像）和暗灰色（已合成两个图像）代表。这是因为在使用与像素输出无关的固定阈值的现有技术图像合成中，静态被摄体的一些部分被确定为适于图像合成而其他部分被确定为不适合的。固有的，诸如天空之类的静态被摄体的像素输出应当是常数，然而，由于图像传感器的属性，在亮被摄体的像素输出中存在大变化。此外，在车列B和行人C中，一些部分被确定为适于图像合成而其他部分被确定为不适合。这些移动被摄体通常具有大差值，从而它们不应当被确定为适于图像合成。然而，关于非常暗的移动被摄体，差值极可能小于阈值，导致图像合成的错误确定。因此，在通过现有技术图像合成生成的图像的亮部分中，在图像中发生重影并且噪声是明显的。

相反，在根据本发明一个实施例的图像处理方法中，根据像素输出的均值确定（计算）最优阈值并且使用最优阈值做出关于图像合成的确定。在图11B中，天空C是已合成四个图像而对如车列B和行人C的移动被摄体未进行图像合成。对于包括诸如具有高对比度的建筑轮廓的边缘部分的图像块，即使小位置性位移也使得它们被确定为移动被摄体。移动被摄体检测的级别取决于阈值表，从而其最优值可以提前任意判定并存储在工作存储器中。

描述图像处理方法的效果的另一示例。图12示出在宏模式中捕获的图像E。根据第二实施例的图像处理单元被配置为计算图像块中的RGB像素输出的各个均值并且对R、G和B像素分别确定阈值。换言之，对基准图像和比较图像的每一个图像块分别比较RGB像素输出的均值和阈值，以确定图像合成的执行/不执行（图7）。

图13示出图12中的图像E的区域F的放大图像。图13A示出现有技术图像合成的合成图像的示例而图13B是根据本发明一个实施例的图像处理方法的合成图像的示例。

根据现有技术图像处理方法，使用图像块中的像素值的总和计算基准图像和比较图像的像素输出的差值，以通过对该差值与固定阈值进行比较来确定图像是否适于图像合成。通过∑R+2*∑G+∑B计算图像块的总和，其中RGB是像素输出。通过总和/像素的数量计算图像块的均值。仅对确定移动被摄体使用亮度信息，而不使用色调和色度。

这样的现有方法在捕获被摄体时有如下问题：如图13A所示，在图像中在前方的被摄体（主被摄体）和在后方（背景）的被摄体示出近似亮度的情况下视觉上完全不同的图像块被确定为适于图像合成。其结果是，在图中，背景与主被摄体（植物叶）重叠并且损坏了主被摄体的图像。

同时，在根据本发明一个实施例的图像处理方法中，对各个RGB像素做出关于图像合成的确定。这使得可能精确地检测前景（主被摄体）和背景中的色差并且正确地确定它们不应当被合成。如图13B所示，捕获主被摄体作为前景而不与背景重叠，并且防止图像损坏。

图12、13A、13B中的图像的主被摄体示出微红色，从而可以基于仅包括在图像块中的R像素的数据确定图像合成的执行。也可以仅使用一个RGB像素的数据，精确地确定包括移动被摄体的图像的图像合成的执行。

因此，此图像处理方法使得能够防止图像中重影和显著噪声并且实现了更加精确的图像处理。

根据本发明一个实施例的图像处理方法可应用于操作在除了成像设备之外的个人计算机上的图像处理软件。

尽管已经从示例性实施例的角度描述了本发明，但是不限于此。应当意识到，本领域技术人员可以在实施例中做出变化或变型，而不背离在以下权利要求中定义的本发明的范围。

Claims (14)

1.一种图像处理单元，包括：

存储器单元，在其中存储连续捕获的图像，所述图像包括基准图像和不同于所述基准图像的比较图像；

图像划分单元，被配置为划分所述基准图像和所述比较图像中的每一个为预定尺寸的图像块；

均值计算器单元，被配置为计算在所述基准图像和所述比较图像中的每一个的每一个图像块中的像素输出的均值；

阈值确定单元，被配置为根据所述基准图像的图像块的像素输出的均值确定阈值，所述阈值用于确定所述基准图像和所述比较图像的图像块是否适于图像合成；以及

确定器单元，被配置为将由所述阈值确定单元确定的阈值与要合成的所述基准图像和所述比较图像的图像块中的像素输出的均值的差值进行比较，并且基于比较的结果确定所述基准图像和所述比较图像的图像块是否适于图像合成。

2.根据权利要求1所述的图像处理单元，进一步包括

运动数据计算器单元，被配置为计算关于所述基准图像和所述比较图像之间的运动的数据，其中：

所述均值计算器单元被配置为基于所计算出的运动数据对其位置彼此相关联的所述基准图像和所述比较图像的每一个图像块计算像素输出的均值；以及

所述确定器单元被配置为确定其位置彼此相关联的所述基准图像和所述比较图像的图像块是否适于图像合成。

3.根据权利要求1所述的图像处理单元，其中

由所述均值计算器单元计算出的所述像素输出的均值是在每一个图像块中的R像素输出、G像素输出以及B像素输出的每一个的均值；并且

所述阈值确定单元被配置为根据所述R像素输出、G像素输出以及B像素输出的每一个的均值确定所述阈值。

4.根据权利要求1所述的图像处理单元，其中

由所述均值计算器单元计算出的所述像素输出的均值是在每一个图像块中的R像素输出、G像素输出以及B像素输出的每一个的均值；并且

所述阈值确定单元被配置为根据所述R像素输出、G像素输出以及B像素输出的各个均值的最大值确定所述阈值。

5.根据权利要求1所述的图像处理单元，其中

由所述均值计算器单元计算出的所述像素输出的均值是包括在每一个图像块中的像素的输出的亮度的均值。

6.根据权利要求1所述的图像处理单元，其中

所述阈值确定单元被配置为根据ISO灵敏度确定不同阈值。

7.根据权利要求1所述的图像处理单元，进一步包括

图像合成器单元，被配置为合成两者都被所述确定器单元确定为适于图像合成的所述基准图像的图像块和所述比较图像的图像块。

8.一种图像处理方法，包括如下步骤：

存储连续捕获的图像，所述图像包括基准图像和不同于所述基准图像的比较图像；

划分所述基准图像和所述比较图像中的每一个为预定尺寸的图像块；

计算所述基准图像和所述比较图像中的每一个的每一个图像块中的像素输出的均值；

根据所述基准图像的图像块的像素输出的均值确定阈值，所述阈值用于确定所述基准图像和所述比较图像的图像块是否适于图像合成；以及

将由所述阈值确定单元确定的阈值与要合成的所述基准图像和所述比较图像的图像块中的像素输出的均值的差值进行比较，并且基于比较的结果确定所述基准图像和所述比较图像的图像块是否适于图像合成。

9.根据权利要求8所述的图像处理方法，进一步包括如下步骤：

计算关于所述基准图像和所述比较图像之间的运动的数据，其中：

在均值计算步骤中，基于所计算出的运动数据对其位置彼此相关联的所述基准图像和所述比较图像的每一个图像块计算像素输出的均值；以及

在确定步骤中，对于其位置彼此相关联的所述基准图像和所述比较图像的图像块是否适于图像合成做出确定。

10.根据权利要求8所述的图像处理方法，其中：

在所述均值计算步骤中计算的像素输出的均值是在每一个图像块中的R像素输出、G像素输出以及B像素输出的每一个的均值；并且

在所述阈值确定步骤中，根据所述R像素输出、G像素输出以及B像素输出的每一个的均值确定所述阈值。

11.根据权利要求8所述的图像处理方法，其中：

在所述均值计算步骤中计算的像素输出的均值是在每一个图像块中的R像素输出、G像素输出以及B像素输出的每一个的均值；并且

在所述阈值确定步骤中，根据所述R像素输出、G像素输出以及B像素输出的各个均值的最大值确定所述阈值。

12.根据权利要求8所述的图像处理方法，其中：

由所述均值计算步骤计算的所述像素输出的均值是包括在每一个图像块中的像素输出的亮度的均值。

13.根据权利要求8所述的图像处理方法，其中：

在所述阈值确定步骤，根据ISO灵敏度确定不同阈值。

14.根据权利要求8所述的图像处理方法，进一步包括如下步骤：

合成两者都在确定步骤确定为适于图像合成的所述基准图像的图像块和所述比较图像的图像块。