CN101416219B - 数字图像中的前景/背景分割 - Google Patents

Abstract

用于识别景物的数字图像的前景图区和背景图区的有效实施方法包括：捕获名义上为同一个景物的两个图像并以DCT编码格式存储该捕获图像，利用比该背景更靠近焦点的该前景拍摄该第一图像，而利用比该前景更靠近焦点的该背景拍摄该第二图像。根据选择的高阶DCT系数之和对于该第二图像的等效图区是减小还是增大，将该第一图像的图区指定为前景或者背景。

Description

数字图像中的前景/背景分割

技术领域

本发明涉及一种用于识别数字图像的前景图区和背景图区的方法，即，进行前景/背景分割的方法。

背景技术

对于某些应用，能够在图像上实现前景/背景分离是有用的。在第PCT/EP2006/005109号PCT专利申请中，讨论了基于对图像的闪光版和非闪光版的分析进行分离。然而，例如，在明亮的阳光下，存在不能充分识别图像的闪光版和非闪光版的情况。

离焦深度法(Depth from de-focus)是众所周知的图像处理技术，它根据不同焦距的两个或者两个以上图像创建深度图(depth map)。关于该技术的概况可以参见：

http://homepages.inf.ed.ac.uk/rbf/CVonline/

LOCAL_COPIES/FAVARO1/dfdtutorial.html

Favaro基于对两个或者两个以上各自散焦的图像的辐射率的统计分析，确定图像的特征深度(depth of feature)。Favaro是基于认识到像素模糊对应于给定的高斯卷积核，因此应用反卷积表示像素的离焦程度，并且，这也可以被用于构建深度图。Favaro要求，一旦获得图像，就利用专用方法进行深度计算，因为必须对用于深度计算的每个图像创建单独辐射图。与现有图像采集处理相比，这意味着显著的附加处理开销。

授予惠普公司(Hewlett-Packard)的US2003/0052991公开了，对于在不同聚焦距离处分别拍摄的一系列图像中的每一幅图像，根据像素周围的像素亮度差的积，创建每个像素的衬比图。亮度差的积越大，认为像素更可能在焦点上。拍摄像素衬比度最大的图像，以指出该像素离开取景器的距离。这使得照相机能够创建景物的深度图。然后，照相机应用程序根据该距离信息实现模拟辅助闪光。在此，尤其需要创建衬比图，与现有图像采集处理相比，这也意味着显著的附加处理开销。

授予Epson的US2004/0076335描述了一种小景深图像分割的方法。Epson是基于认识到清晰聚焦区含有高频分量。授予Philips的US2003/0219172公开了，根据其离散余弦变换(DCT)系数的突出度(分布形状)，计算单幅图像的清晰度。授予Xiao-Fan Feng的US2004/0120598还公开了，利用单幅图像的DCT块检测该图像中的模糊。Epson、Philips以及Feng分别基于对单幅图像的分析，而且不能可靠识别图像的前景图区和后景图区。

另一种现有技术包括US2003/0091225，它描述了根据两个“立体”图像创建深度图。

本发明的目的是提供一种用于识别数字图像的前景图区和后景图区的改进方法。

发明内容

根据本发明的第一方面，提供了一种用于识别景物的数字图像的前景图区和背景图区的方法，该方法包括：捕获名义上为同一个景物的第一图像和第二图像并以DCT编码格式存储该捕获图像，利用比该背景更靠近焦点的该前景拍摄该第一图像，而利用比该前景更靠近焦点的该背景拍摄该第二图像；以及根据所选的高阶DCT系数之和对于该第二图像的等效图区是减小还是增大，将该第一图像的图区指定为前景或者背景。

在本说明书中，如果在该两个图像具有相同分辨率的情况下，这两个图区基本上对应于该景物的同一个部分，或者如果在一个图像的分辨率高于另一个图像的分辨率的情况下，对应于该高分辨率图像的图区的部分景物基本上完全包含在对应于该低分辨率图像的图区的部分景物内，名义上为同一个景物的两个图像的各自图区被称为是等效的。

如果该两个图像基本上不相同，例如由于照相机稍许运动，可能需要调准这两个图像的附加步骤。

优选地，如果利用数字照相机捕获该第一图像和第二图像，则该第一图像是较高分辨率的图像，而该第二图像是该第一图像的较低分辨率的预览图像或者后览图像。

在数字照相机捕获图像时，即，当存储了主图像后，作为后处理步骤在照相机内执行处理，或者作为后处理步骤在其外部的分立设备内，诸如个人计算机或者服务器计算机中，执行后处理。在前者情况下，可以仅将这两个DCT编码图像存储在该照相机的易失性存储器中，因为对于前景/背景分割以及最终图像生成才需要它们。然而，在后者情况下，优选将两个图像存储在非易失性存储器中。在使用较低分辨率预览图像或者后览图像的情况下，可以存储较低分辨率图像，作为较高分辨率图像的文件标题的一部分。

在某些情况下，仅需要比较这两个图像的所选图区。例如，如果已知该图像含有面部，例如，正如面部检测算法所确定的那样，则可以仅对包括并包围该面部的图区应用本技术，以提高在背景上界定该面部的精度。

本发明使用DCT块提供的固有频率信息，而且采用DCT块的高阶DCT系数的和，作为块是否处于焦点的指示符。在其余块表示背景或者边界区域的情况下，将在主目标移动到焦点外时其高阶频率系数降低的块取为前景。作为图像采集和存储处理的中间步骤，传统数字照相机中的图像采集和存储处理以DCT格式对捕获的图像进行编码，所以在基本上没有附加处理的情况下，可以在这种照相机中实现本发明。

如第PCT/EP2006/005109号PCT专利申请所述，在照相机闪光产生的差异不是足够大的情况下，该技术有效。这两种技术还可以有利地组合在一起，以互相补充。

由于执行此任务需要的计算较简单，本发明的方法适于在照相机内有效实现。

根据本发明的第二方面，提供了一种根据对景物的两个或者两个以上的图像所做的前景/背景分析，确定图像相对于数字图像采集器件的取向的方法。

附图说明

现在将利用例子参考附图描述本发明实施例，附图中：

图1是根据本发明实施例工作的摄像设备的方框图。

图2示出根据本发明实施例的方法的工作流。

图3示出竖式图像的前景图/后景图。

具体实施方式

图1示出根据本发明实施例工作的图像采集器件20的方框图。在本实施例中，图像采集器件20是便携式数字照相机，它包括处理器120。我们知道，在该数字照相机内执行的许多处理都可以利用被共同表示为标记了“处理器”的方框120的微处理器、中央处理单元、控制器、数字信号处理器和/或者专用集成电路内运行的软件来实现或者控制。通常，微控制器122对所有用户界面以及诸如按钮和显示器的外围部件的控制进行控制。响应122的用户输入，例如，半按下快门按钮(预捕像模式32)，处理器120启动并控制数字照相过程。利用光传感器40确定背景光曝光量，以自动确定是否使用闪光。利用还将图像聚焦在捕像器件60上的调焦机构50，确定到目标的距离。如果使用闪光，则处理器120使闪光装置70产生与完全按下快门按钮时捕像器件60记录图像基本上一致的照相闪光。捕像器件60利用数字方法以彩色记录该图像。该捕像器件为熟悉本技术领域的技术人员所公知，而且它可以包括CCD(电荷耦合器件)或者CMOS，以便于数字记录。闪光可以选择性地响应光传感器40，或者响应该照相机用户的手动输入72产生。捕像器件60记录的高清晰度图像存储在图像存储器80内，图像存储器80可以包括计算机内存，诸如动态随机存取存储器或者非易失性存储器。该照相机装备有诸如LCD的显示器100，用于预览和后览图像。

对于在半按下快门按钮情况下以预捕像模式32产生的预览图像，显示器100可以支持用户合成图像以及用于确定聚焦和曝光。暂存器82用于存储一个或者多个预览图像，而且它可以作为图像存储器80的一部分，也可以作为分立部件。该预览图像通常由捕像器件60产生。因为速度和存储效率的原因，预览图像的像素分辨率通常比快门按钮被完全按下时拍摄的主图像的分辨率低，而且该预览图像是通过利用可以作为通用处理器120一部分的软件124或者专用硬件或者它们的组合对原始捕获的图像进行分抽样产生的。根据该硬件子系统的设置，预采集图像处理可以先满足某些预定测试判据，然后存储预览图像。这种测试判据可以是时序的，例如，在预捕像模式32期间，始终每隔0.5秒利用新捕获的预览图像代替先前存储的预览图像，直到最终，通过完全按下快门按钮捕获到高清晰度图像。更复杂的判据可以包括对预览图像内容的分析，例如，检验发生变化的图像，然后，决定该新预览图像是否应该替换先前存储的图像。其他判据可以基于诸如锐度的图像分析，或者诸如曝光条件、是否对最终图像使用闪光、到目标的估计距离等的元数据分析。

如果没有满足测试判据，照相机通过捕获下一个预览图像而废弃先前捕获的预览图像继续工作。继续执行该处理，直到通过完全按下快门按钮，获取并保存最终的高清晰度图像。

如果可以存储保存多个预览图像，则可以将新预览图像放置在时序先进先出(FIFO)堆栈上，直到用户拍摄到最终图片。存储多个预览图像的理由是，例如在红眼校正处理中或者在本实施例中的肖像模式处理中，与最终高清晰度图像相比，最终预览图像，或者任意一个预览图像可以不是最佳基准图像。通过存储多个图像，可以获得较佳基准图像，而且在后面讨论的调准阶段，可以实现预览图像与最终捕获的图像更接近的调准。

如下所述，当该照相机处于肖像模式下时，该照相机也能够捕获一个或者多个低分辨率后览图像，然后，将它们存储在暂存器82内。除了后览图像在捕获了高分辨率的主图像之后出现外，该后览图像与预览图像基本相同。

在该实施例中，照相机20具有用户可选模式30。作为较大处理的一部分，用户模式30是一种需要对图像进行前景/背景分割的模式，例如对该图像应用特技滤波器或者修改或校正图像。因此，在用户模式30中，进行前景/背景分割本身不是目的，但是，只有模式30的分割方面与本发明有关，因此，在此仅描述这些方面。

如果选择用户模式30，则在按下快门按钮时，使照相机以紧密间隔自动捕获并存储一系列图像，因此，这些图像名义上是同一个景物的。图像的特定数量、分辨率和顺序以及图像的不同部分聚焦或者散焦的程度取决于特定实施例，下面将做说明。用户模式处理器90根据要描述的工作流分析并处理该存储图像。处理器90可以集成在照相机20上，的确，它可以是被适当编程的处理器120，它也可以是诸如台式计算机的外部处理设备10的一部分。在该实施例中，处理器90以DCT格式处理该捕获图像。如上所述，传统数字照相机中的图像采集与存储处理以DCT格式编码并暂存该捕获图像，作为该处理的中间步骤，最终，例如以jpg格式，存储该图像。因此，使得处理器90可以轻而易举地获得中间DCT编码图像。

图2示出根据本发明的用户模式处理实施例的工作流。

首先，在步骤200，选择用户模式30。现在，当快门按钮被完全按下时，照相机自动以DCT格式捕获并存储两个数字图像：

—在步骤202，高像素分辨率图像(图像A)。该图像具有处于焦点的，或者至少与背景相比实际上更接近处于焦点的感兴趣前景目标。

—在步骤204，低像素分辨率后览图像(图像B)。该图像具有处于焦点，或者至少与感兴趣前景目标相比实际上更接近焦点的背景。数字照相机中的自动聚焦算法通常支持偏心多点聚焦，可以利用该偏心多点聚焦在该背景上获得良好聚焦。如果这种支持不可用，照相机可能聚焦在无穷远。

迅速连续拍摄这两个图像，以便名义上每个图像捕获的景物是同一个景物。

在该实施例中，在照相机20内需要执行刚描述的步骤200至206。可以在该照相机或者外部设备10内执行现在将要描述的其余步骤。

在步骤206，对图像A和B进行调准，以补偿在拍摄这些图像期间该目标或者照相机发生的稍许运动。调准准算法是众所周知的。然后，在步骤208，通过对该图像的每个DCT块或者至少该图像的大多数DCT块，求得选择的高阶DCT系数和，构建前景聚焦图像A的高频(HF)图。作为背景，对于8×8像素块，产生一组从第一(直流(d.c.))分量到最高频率分量的64个DCT系数。在该实施例中，对于块附加最多25％的DCT系数，以提供该块的总HF指数。如果没有使用该图像的全部DCT块构建该图，这些DCT块应该集中在期望含有感兴趣前景目标的该图区上。例如，通常可以省略该图像的超边缘，因为它们几乎始终是背景。在此，将所获得的图称为图A。

接着，在步骤210，通过利用与图A相同的过程计算DCT块的HF指数，构建背景聚焦图像B的HF图(图B)。

现在，在步骤212，通过将图A减图B，构建差图(differencemap)。这是通过将在步骤210获得的HF指数分别减去在步骤208获得的HF指数实现的。由于图像A比图像B的像素分辨率高，所以与图像A中的DCT块相比，图像B中的DCT块对应更大的景物区域。因此，将图B的HF指数，其对应于景物区域的DCT块包含或者允许该目标或者照相机在拍摄图像期间稍许运动，减去基本上含有对应于图A的DCT块的景物区域的图A的每个HF指数。这意味着，图像A上几个相邻DCT块的HF指数，将从对应于图像B的一个DCT块的图B的相同HF指数中减去。

在步骤214，利用差图中的值，构建数字前景/背景图，其中根据其HF指数与在步骤212中减去它的图像B的DCT块的HF指数之间的差分别为负或为正，指定图像A的每个DCT块对应于该图像的前景或者背景图区。

最后，在步骤216，附加形态、图区填充以及相关图像处理技术，单独或者与其他前景/背景分割技术组合，可以进一步改进并增强最终前景/背景图。

现在，根据用户可选模式30执行的功能，该最终前景/背景图218可以应用于DCT编码版或者jpg版的图像A，用于处理该图像。

如果处理器90集成在照相机20上，则可以将最终处理的jpg图像显示在图像显示器100上，将它存储在可以是诸如CF卡、SD卡等的内部存储器或者可移动存储器的长久存储器112上，也可以通过系留的或者是无线的图像输出设备110，将它下载到诸如个人计算机、服务器或者打印机的另一个设备上。在在诸如台式计算机的外部设备10上实现处理器90的实施例中，最终处理过的图像可以返回照相机20中进行如上所述的存储和显示，或者在照相机外存储并显示它。

上述实施例可能存在变型。例如，图像B可以是低分辨率预览图像，而非后览图像。作为一种选择，图像A和B可以是分辨率相同的高分辨率图像。在这种情况下，图像B上的DCT块与图像A上的DCT块对应于相同的区域。因此，在步骤212，通过将图B的相应不同HF指数，即，对应于该景物的相同区域，或者在拍摄该图像期间允许该目标或者照相机稍许运动的基本相同区域的图B的HF指数，减去图A的每个HF指数，构建该差图。在另一个实施例中，图像A和B都是具有相同分辨率的低分辨率预览和/或者后览图像，而且将由其获得的前景/背景图应用于名义上同一个景物的第三高分辨率图像。在又一个实施例中，图像A和B具有不同像素分辨率，而且在进行DCT编码之前，通过增抽样(up-sampling)低分辨率图像和/或者分抽样高分辨率图像，使这两个图像的像素分辨率匹配。

尽管上面描述的实施例设想创建并存储数字前景/背景图，但是在另一种算法中，还可以使用直接对相应于每个DCT块的图区指定的前景/背景，因此，不需要正式地创建并存储数字图。

在另一个实施例中，可以首先对每个图进行预处理，以提供分别具有类似HF特性的图区，而不是采用块分析使这些图及其比较基于DCT块。例如，将具有大于给定阈值的HF分量的邻接块编在一组，而将具有小于给定阈值的HF分量的邻接块编在一组。然后，将前景图像中和背景图像中的图区进行比较，以确定它们是前景还是背景。

如上所述，在许多应用中，在图像中实现前景/背景分离的能力是有用的。

根据本发明的又一个方面，使用无论是利用上面描述的实施例还是利用例如PCT/EP2006/005109的基于闪光技术计算的图像的前景图/背景图的特定应用是，探测图像相对于照相机的取向。(当然，该技术可以应用于任意数字图像采集器件。)对于大多数情况，当在不需要附加机械装置的情况下拍摄图像时，这还暗示了照相机的取向。

请参考图3，本发明的该方面基于观察到，对于正常取向景物，在正常取向照相机中，近图像前景(在这种情况下是目标30)处于该图像的底部，而远背景处于其顶部。

利用基于闪光的前景/背景分割，如果更靠近照相机，则与远背景相比，近前景30反映更多的闪光。因此，通过计算该景物的闪光版图像与非闪光版图像的差，可以探测到图像取向，而且可以暗示照相机取向。(与在上述实施例中相同，在分析两个图像的DCT系数时，应用相应的分析。)

典型实现使用两个基准图像(或者预览图像或者分辨率适配的先前图像与主图像的组合)，一个是闪光图像，一个是非闪光图像，而且将它们变换为灰度级。

对于每个像素，对应于闪光图像的灰度级减去非闪光图像的灰度级，以提供差图像。在其他实现中，可以利用求比代替求减。

对于每种可能的图像/照相机取向，在差图像中取图框(box)。这样，对于直立照相机中的图像感测阵列10，图框12与该照相机的直立取向相关，图框16与该照相机的反向取向相关，图框14与该照相机相对于景物的顺时针旋转相关，图框18与该照相机相对于景物的逆时针旋转相关。

对于每个图框12至18，计算差图像的平均值。这样，可以看出，在某些实现中，对于对应于图框12至18的各部分图像，仅需要计算该差。

为了简洁起见，图3所示的图框没有延伸到该图像的边缘，然而，在典型实现中，如果图框尺寸＝dim，则图框18可以从：左侧＝0、顶部＝0延伸到右侧＝dim和底部＝图像高度。在其他实现中，图框可以使其他适当图区与给定取向，或者实际上与其他测量单元相关，而非与平均值相关(即，直方图)。

计算图框12至18的平均值中的最大值，而且对应于该最大值的图框被认为是最大程度对着其余图区的前景的图区。可以认为这指出该图区位于(各)基准图像的底部。在图3所示的例子中，该图框的差图像中的最大差值出现在图框12中，这表示直立目标，而且暗示了给出目标的正常姿态的直立照相机取向。在某些实现中，不需要使用图框16，因为它不是照相机内的实际取向。

在某些实现中，为了使推定的图像取向有效，执行一些检验有好处。例如，检验平均值的最大值，以确定它是否相对于其他值具有主导作用，而且该主导作用暗示了可信度，反之亦然。对于不同类型的图像(正如PCT/EP2006/0055109描述的室内/室外，白天/晚上)，通过实验，改变要求的主导度。在该步骤，可以将来自该照相机内使用的其他图像分析部件的信息组合在一起，以确定可信度。一个典型的图像分析部件是面部跟踪模块，它可以对预览图像流起作用。该部件存储与跟踪的面部区域相关的历史数据，包括图区是面部的可信度以及相关取向。如果存在多个面部，则可以将其数据组合在一起，以确定可信度。

如果推定的左侧图像和右侧图像的差值接近并小于推定的底部图像的垂直而大于推定的顶部图像的差值，则它更可能正确检测到该取向。

因为根据该图是利用基于闪光还是基于非闪光的分割创建的，可以对室内图像和室外图像提供前景/背景图，所以在许多其他照相机应用中，知道图像取向可能有用。例如，知道物体在图像中的可能取向减小了试图识别处于每个可能取向上的物体所需的处理开销。

本发明并不局限于在此描述的实施例，在不脱离本发明范围的情况下，可以对该实施例进行修改和变更。

Claims (11)

1.一种用于在数字照相机(20)中执行的识别景物的数字图像的前景图区和背景图区的方法，该方法包括：利用同一个图像采集器件迅速连续捕获名义上为同一个景物的第一图像和第二图像(A，B)并存储该捕获图像，利用比该背景更靠近焦点的该前景拍摄该第一图像(A)，利用比该前景更靠近焦点的该背景拍摄该第二图像(B)；以及对所存储的图像进行比较，以确定该第一图像的前景图区，

其特征在于：

以DCT编码格式存储所捕获的图像，

通过比较编码的图像的高频分量对所述编码的图像进行比较，以及

通过以下步骤，比较该高频分量：

(a)对该第一图像(A)的多个DCT块的每一个，计算选定的高阶系数之和，所述和是所述块的HF指数，

(b)对该第二图像(B)的多个DCT块的每一个，计算相同的高阶系数之和，所述和是所述块的HF指数，

(c)将该第一图像的每个DCT块的HF指数与该第二图像的等效图区的DCT块的HF指数进行比较，

(d)如果该第一图像的给定DCT块的HF指数大于该第二图像的该等效图区的DCT块的HF指数，则指定所述第一图像的给定块为对应于该图像的前景图区，以及

(e)如果该第一图像的给定DCT块的HF指数小于该第二图像的该等效图区的DCT块的HF指数，则指定所述第一图像的给定块为对应于该图像的背景图区。

2.根据权利要求1所述的方法，其中该第一图像(A)是较高分辨率图像，而且其中该第二图像(B)是该第一图像的较低分辨率的预览版或者后览版，其中所述第二图像中的DCT块比所述第一图像中的DCT块对应于更大的景物区域，并且其中所述第一图像的每个HF指数减去所述第二图像的HF指数，所述第二图像的DCT块对应于基本上包含对应于所述第一图像的DCT块的景物区域的景物区域，从而所述第一图像中的几个相邻DCT块的HF指数将从对应于所述第二图像中的一个DCT块的相同HF指数中减去。

3.根据权利要求1或2所述的方法，进一步包括在步骤(a)之前调准该第一图像和第二图像的步骤。

4.根据权利要求1或2所述的方法，进一步包括，通过指定所述块为对应于该图像的背景或者前景图区，创建数字图。

5.根据权利要求1所述的方法，其中该第一图像和第二图像具有不同的像素分辨率。

6.根据权利要求5所述的方法，进一步包括在进行DCT编码之前，使该两个图像的像素分辨率匹配。

7.根据权利要求1所述的方法，其中该第一图像和第二图像具有相同的像素分辨率。

8.根据权利要求7所述的方法，其中该第一图像和第二图像两者均是由该照相机捕获的所述景物的高分辨率图像的较低分辨率的预览版和/或者后览版。

9.根据权利要求1或2所述的方法，其中所选高阶系数是最多25％的系数。

10.一种数字照相机(20)，包括：用于利用同一个图像采集器件(60)迅速连续捕获名义上为同一个景物的第一图像和第二图像(A，B)并存储该捕获图像的装置，利用比背景更靠近焦点的前景拍摄该第一图像(A)，而利用比前景更靠近焦点的背景拍摄该第二图像(B)；以及处理装置(90)，用于对所存储的图像进行比较，以确定该第一图像的前景图区，

其特征在于：

以DCT编码格式存储所捕获的图像，

通过比较编码的图像的高频分量对所述编码的图像进行比较，以及

如下比较编码信号的高频分量：

(a)对该第一图像的多个DCT块的每一个，计算选定的高阶系数之和，所述和是所述块的HF指数，

(b)对该第二图像的多个DCT块的每一个，计算相同的高阶系数之和，所述和是所述块的HF指数，

(c)将该第一图像的每个DCT块的HF指数与该第二图像的等效图区的DCT块的HF指数进行比较，

(d)如果该第一图像的给定DCT块的HF指数大于该第二图像的该等效图区的DCT块的HF指数，则指定所述第一图像的给定块为对应于该图像的前景图区，以及

(e)如果该第一图像的给定DCT块的HF指数小于该第二图像的该等效图区的DCT块的HF指数，则指定所述第一图像的给定块为对应于该图像的背景图区。

11.根据权利要求10所述的照相机，其中该第一图像(A)是较高分辨率图像，而且其中该第二图像(B)是该第一图像的较低分辨率的预览版或者后览版，其中所述第二图像中的DCT块比所述第一图像中的DCT块对应于更大的景物区域，并且其中所述第一图像的每个HF指数减去所述第二图像的HF指数，所述第二图像的DCT块对应于基本上包含对应于所述第一图像的DCT块的景物区域的景物区域，从而所述第一图像中的几个相邻DCT块的HF指数将从对应于所述第二图像中的一个DCT块的相同HF指数中减去。

Images