CN1781121A - 分段精化 - Google Patents

Abstract

本发明公开了一种用于把一个图像的第一组(100a)初始段转换为第二组更新的段(A’、B’、C’、D’)的方法。所述方法包括：迭代地更新从各个初始段所导出的中间段(A、B、C、D)。每次更新包括：根据一个像素(300)的像素值，根据所述中间段(A)的第一参数以及根据所述第二中间段(B)的第二参数，来确定是否应当把所述像素(300)从第一中间段(A)移动到第二中间段(B)。所述迭代更新以块为基础执行。这意味着首先对该图像的第一个二维像素块(200)的像素执行多次迭代更新，然后再对所述图像的第二个二维像素块(204)的像素执行相同次数的迭代更新。

Description

分段精化

本发明涉及一种把一个图像的第一组初始段转换为所述图像的第二组更新的段的方法，所述方法包括：迭代地更新从各初始段所导出的中间段，一次特定的更新包括：根据一个特定像素的像素值，根据第一个中间段的第一参数并且根据第二个中间段的第二参数，来确定是否应该把位于第一个中间段和第二个中间段之间的边界的所述特定像素从第一个中间段移动到第二个中间段。

本发明还涉及一种转换部件，所述转换部件被配置成执行这种转换方法。

本发明还涉及一种图像处理设备，包括：

接收装置，用于接收表示图像的信号；

分段部件，用于确定该图像的第一组初始段；

转换部件，用于把所述第一组初始段转换为第二组更新的段；和

图像处理部件，用于根据所述第二组更新的段来处理该图像。

图象分段是常常先于其它任务的重要的第一步骤，所述其它任务诸如基于段的深度估算或视频压缩。通常，图像分段是把图像划分为一组不交迭的部分或段的过程，所述部分或段一起尽可能地对应于存在于场景中的物理对象。存在用于解决图像分段任务的各种方法，包括基于直方图的分段、基于边缘的分段、基于区域的分段以及混合分段。

在开头段落所描述的这种方法已为本领域所知。利用此已知方法，把一个图像的第一组初始段转换为该图像的第二组更新的段。所述方法包括：迭代地更新从各初始段所导出的中间段。一次更新包括：确定是否应该把位于第一中间段和第二中间段之间的边界的特定像素从第一中间段移动到第二中间段。这基于所述特定像素的颜色值，第一中间段的平均颜色值以及第二中间段的平均颜色值。如果表现为该特定像素应该被从第一中间段移动到第二中间段，那么为新的中间段计算新的平均颜色值。随后，估算并可选择地移动下一像素。在该图像的一次扫描中估算该图像的相关像素之后，开始在该图像上进行另一次的估算扫描。

然而已知的方法受到如下事实的困扰：必须对该完整图像执行几次分段精化迭代以便实现像素精确的分段。典型情况下，要在该图像上进行二十次扫描来获得该图像的第二组更新的段。因此就存储器访问、功率消耗和计算工作量而言，此方法代价非常高。

本发明的目的在于提供在开头段落所描述的这种方法，其对于存储器访问来说相对高效。

本发明的目的的实现在于：首先对于该图像的第一个二维像素块的像素执行多次迭代更新，然后对所述图像的第二个二维像素块的像素执行相同次数的迭代更新。典型情况下，像素块的尺寸是8*8或16*16个像素。在多次扫描中对于一个块中的相关像素进行估算。这意味着，例如逐行地估算在所考虑块中的这些相关像素，并且在此之后，再次估算该块的相关像素。注意，在每次估算之后这些段的参数被修改。在已经在多次扫描中估算了一个像素块的相关像素之后，采用相似的方式来估算另一像素块的像素值。相关像素指的是位于两个段之间的边界的那些像素。注意，如果一个像素被从中间段取出并且添加到其邻近的中间段，那么边界就会移动，即一个段的边缘发生变化。因此，对于每次扫描，一个块的相关像素都是不同的。

依照本发明方法的优点在于：包括一个滑动窗口(包括后续像素块)只在图像上移动一次。这意味着该像素块只能从存储装置访问一次。典型情况下，把所考虑块的像素值临时存储在高速缓存器中。然后根据所述高速缓存器中的值来执行迭代。

在依照本发明方法的实施例中，第一参数对应于第一中间段的平均颜色值，第二参数对应于第二中间段的平均颜色值，而特定像素的像素值表示所述特定像素的颜色值。颜色是用于图像分段的相对较好的准则。依照本发明此实施例的优点在于：所更新的段相对较好地对应于场景中的对象。

在依照本发明方法的实施例中，特定的更新是基于取决于第一个中间段的形状的规则项(regularization term)的，所述规则项根据第一个二维像素块的第一组像素来计算。换句话说，所述规则项取决于在段之间的边界的形状。该规则项降低不规则的段边界的地位。依照本发明此实施例的优点在于：确定了相对规则的段边界。因此，依照本发明的此实施例对于图像中的噪声并不怎么敏感。

在依照本发明方法的实施例中，在第一像素块内逐行扫描的过程中执行第一个多次迭代更新的序列，并且在第一像素块内逐列扫描的过程中执行第二个相同次数的迭代更新的序列。换句话说，扫描方向在连续扫描之间是交替的。例如，首先在水平方向上执行扫描继而在垂直方向上执行扫描。作为选择，首先在垂直方向上执行扫描继而在水平方向上执行扫描。选择性地，第三扫描采用与第一扫描相反的方向，例如从左到右对从右到左。选择性地，第四扫描采用与第二扫描相反的方向，例如从上到下对从下到上。优选地是，对于各次扫描来说，该规则项的值是不同的，例如从低曲率变差开始到高曲率变差。

在依照本发明方法的实施例中，第一个二维像素块位于第二个二维像素块附近。依照本发明此实施例的优点在于：获得相对简单的存储器分配模式。

在依照本发明方法的实施例中，根据第一个二维像素块的第一组像素和第二个二维像素块的第二组像素来计算规则项。此外通过考虑邻近像素块的像素，对于在块边界的像素就可以计算出较好的规则项。

本发明进一步的目的在于：提供在开头段落所描述的这种转换部件，其对于存储器访问来说相对高效。

本发明的目的的实现：转换部件包括计算装置，所述计算装置用于首先对该图像的第一个二维像素块的像素执行多次迭代更新，然后对所述图像的第二个二维像素块的像素执行相同次数的迭代更新。

把依照本发明转换部件的实施例应用于在开头段落所描述的图像处理设备中是有益的。图像处理设备可以包括附加组件，例如用于显示所处理的图像的显示装置或用于存储所处理的图像的存储装置。图像处理部件可以支持下列一种或多种类型的图像处理：

视频压缩，即依照MPEG标准或H26L标准来编码；或

把传统的单视觉(monoscopic)视频(2D)视频材料转换为3D视频以便在立体(3D)电视上观看。依照此技术，来自运动方法的结构可以用来从视频序列中的两个连续图像导出深度图；或

图像分析，例如用于基于视觉控制的机器人或安全应用。

该方法的修改及其变化可以对应于所描述的转换部件和图像处理设备的修改和变化。

相对于以下描述的实施方式和实施例并且参考附图，依照本发明的方法、转换部件和图像处理设备的这些及其它方面将得到阐明并变得显而易见，其中：

图1示意地示出了依照现有技术的扫描模式；

图2示意地示出了依照本发明的扫描模式；

图3示意地示出了两个邻近中间段的更新；

图4示意地示出了像素块的后续的扫描方向；

图5示意地示出了多个块的滑动窗口；

图6示意地示出了依照本发明的图像处理设备；和

图7示意地示出了在依照本发明转换部件情境内的多个组件。

贯穿附图，相同的附图标记用来表示同样的部分。

在把2D视频转换为3D视频中的重要步骤是利用均匀颜色来标识图像段或区域，即图像分段。深度间断性被假定与所检测的均匀颜色区域的边缘一致。对于每个颜色区域估算一单个深度值。每个区域的此深度估算的优点在于：沿着区域边界每个清晰度都存在较大的颜色对比度。颜色边缘位置的暂时稳定性是深度图的最终质量的关键。当边缘随着时间变得不稳定时，当在3D彩色电视上展示视频时，观众可以感觉出恼人的闪烁。从而，时间稳定的分段方法是从2D到3D视频转换过程中的第一步骤。使用恒定的颜色模型的图像分段能够达到这种想要的效果。下面将非常详细地描述此图像分段方法。该方法是基于第一组初始段和产生第二组更新的段的迭代更新的。换句话说，分段是把第一组初始段转换为第二组更新的段。

恒定的颜色模型假定：可以用平均区域颜色来充分详细地描述目标段的时变图像。一个图像用图像坐标的向量值的函数来表示：

I(x，y)＝[r(x，y)，g(x，y)，b(x，y)]                (1)

其中r(x，y)、g(x，y)和b(x，y)是红色、绿色和蓝色通道。目的是发现被称为分段L的区域划分，所述分段L由固定数目的段N组成。最优分段L_opt被定义为这样的分段，所述分段在该图像中的所有像素上使误差项e(x，y)加上规则项f(x，y)的和最小：

$L_{\mathrm{opt}}=\arg \underset{L}{\min }\underset{(x,y)}{\mathrm{\Σ}}e(x,y)+k\underset{(x,y)}{\mathrm{\Σ}}f(x,y)---\left(2\right)$

其中k是用于加权规则项重要性的规则参数。在Richard O.Duda、Peter E.Hart和Dayid G.Stork的书“Pattern Classification”第548-549页中(John Wiley和Sons公司，纽约，2001年)，当一个样本从一个聚类移动到另一聚类时，为简单且高效的误差准则更新，导出方程式。在导出分段方法的方程式中应用此导出。规则项是基于在C.Oliver、S.Quegan的书“Understanding SyntheticAperture Radar Images”(Artech-House，1998)中所给出的方法的。规则项限制了随机信号波动(诸如传感器噪声)在边缘位置的影响。在像素位置(x，y)的误差e(x，y)取决于颜色值I(x，y)并且取决于段标签L(x，y)：

$e(x,y)={\left|\right|I(x,y)-m_{L(x,y)}\left|\right|}_2^2---\left(3\right)$

其中m_L(x，y)是具有标签L(x，y)段的平均颜色。在双垂直线的下标表示欧几里德范数。规则项f(x，y)取决于在段之间的边界形状：

$f(x,y)=\underset{(x^{,},y^{,})}{\mathrm{\Σ}}x(L(x,y),L(x^{,},y^{,})---\left(4\right)$

其中(x’，y’)是来自(x，y)的8个连接的邻近像素的坐标。x(A，B)的值取决于段标签A和B是否不同：

函数f(x，y)具有简单易懂的解释。对于给定的像素位置(x，y)，该函数简单地返回具有不同的段标签的、8个连接的邻近像素的数目。

假定初始分段，通过向邻接段分配一个边界像素来在段边界造成一次改变。假如当前在标签A的段中坐标为(x，y)的像素被暂时地移到具有标签B的段。于是，对于段A，平均颜色的变化是：

$\mathrm{\Δ}{m}_A=-\frac{I(x,y)-m_A}{n_A-1}---\left(6\right)$

并且对于段B，平均颜色的变化是：

$\mathrm{\Δ}{m}_B=\frac{I(x,y)-m_B}{n_B+1}---\left(7\right)$

其中n_A和n_B分别是在段A和B内的像素数目。所提出的标签变化导致在由下式给出的误差函数中也有相应的变化：

$\mathrm{\Δ}\underset{(x,y)}{\mathrm{\Σ}}e(x,y)=\frac{n_B}{n_B+1}{\left|\right|I(x,y)-m_B\left|\right|}_2^2-\frac{n_A}{n_A-1}{\left|\right|I(x,y)-m_A\left|\right|}_2^2---\left(8\right)$

所提出的、在像素(x，y)从A到B的标签变化还改变了全局规则函数f。所提出的移动不仅在(x，y)影响f，而且在(x，y)的8个连接的邻近像素位置也影响f。由下式的和给出规则函数中的变化：

$\mathrm{\Δk}\underset{(x,y)}{\mathrm{\Σ}}f(x,y)=\mathrm{k\Δ}\underset{(x,y)}{\mathrm{\Σ}}f(x,y)=2\underset{\left(x^{,}{y}^{,}\right)}{\mathrm{\Σ}}[x(B,L(x^{,},y^{,}))-x(A,L(x^{,},y^{,}))]---\left(9\right)$

其中(x’，y’)是(x，y)的8个连接的邻近像素(x，y)。

如果下式成立则所提出的标签变化改进了适合准则

$\mathrm{\&Delta;}\underset{(x,y)}{\mathrm{\&Sigma;}}e(x,y)+\mathrm{k\&Delta;}\underset{(x,y)}{\mathrm{\&Sigma;}}f(x,y)<0---\left(10\right)$

图1示意地示出了依照现有技术的扫描模式。图1示出了具有中间段A、B、C和D的图像以及具有更新的段A’、B’、C’和D’的相同图像，所述中间段A、B、C和D是在转换开始从初始段导出的。在如箭头(箭头102)所表示的逐行扫描中估算图像的像素。在该图像上的一次扫描之后，执行在该图像上的一次后续扫描。所述估算是基于如上所述估算颜色模型的。

图2示意地示出了依照本发明的扫描模式。图2示出了具有中间段A、B、C和D的图像以及具有更新的段A’、B’、C’和D’的相同图像，所述中间段A、B、C和D在转换开始从初始段导出的。采用逐块模式来估算图像的像素。这意味着，首先对在第一块200内的相关像素执行多次迭代估算。在此之后，对在第二块202内的相关像素执行多次迭代估算。在块内的扫描方向可以如箭头204所描绘，即逐行扫描。所述估算是基于如上所述估算颜色模型的。

图3示意地示出了分别把两个邻近中间段A和B更新为A’和B’。图3示意地示出了8*8个像素的块200a，所述块200a位于在第一中间段A和第二中间段B之间的边界302。估算具有坐标(x，y)的像素300。这意味着确定像素300是否应该被移动到B。所述估算是基于如在方程式6-9中所规定的计算的。根据所述估算移动像素300。图3还示出了位于在第三中间段A’和第四中间段B’之间边界304的8*8个像素的相同块200b。第三中间段从第一中间段A导出，而第四中间段B’从第二中间段B导出。

图4示意地示出了对一个像素块所进行的后续扫描方向。为了估算而在一个块的像素上所进行的扫描可以在水平方向200a、200c和垂直方向200b、200d上相互交替。除此之外，扫描可以从左到右200a，或反之亦然200c。除此之外扫描可以从上到下200d，以及从下到上200b。除此之外，未绘出的锯齿形扫描也是可以的。

图5示意地示出了多个块200-216的滑动窗口500。典型情况下，当估算中央块208的像素时，同时高速缓存这些块200-216。邻近块200-206和210-216被要求来用于计算按照方程式4中所规定的规则项。在已经对中央块208执行了所有估算之后，在该图像内定义新的窗口502。此新的窗口包括块206-222。现在将估算此窗口的中央块214。应当注意，如果在一个块内没有边缘，那么将要跳过该块并且进一步移动窗口。在一个块内，只估算那些位于段边界的像素。

图6示意地示出了依照本发明的图像处理设备600，包括：

接收装置602，用于接收表示视频图像的信号；

分段部件604，用于确定一个视频图像的第一组初始段；

转换部件606，用于把第一组初始段转换为第二组更新的段A’、B’、C’、D’；和

图像处理部件608，用于根据第二组更新的段A’、B’、C’、D’来处理视频图像110b。

输入信号可以是经由天线或电缆接收的广播信号，但也可以是来自像VCR(盒式录象机)或数字化视频光盘(DVD)之类的存储装置的信号。在输入连接器610提供输入信号。图像处理设备600在输出连接器612提供输出。

可以使用一个处理器来实现用于把第一组初始段转换为第二组更新的段的转换部件604。通常，在软件程序产品的控制之下执行此功能。在执行期间，通常软件程序产品被载入像RAM之类的存储器中，并从那里执行。所述程序可以从像ROM、硬盘或磁和/或光存储器之类的后台存储器中加载，或可以经由像因特网之类的网络加载。选择性地，用一个专用集成电路提供所公开的功能。

分段部件604、转换部件606和图像处理部件608可以组合为一个处理器。

输出可以是压缩的视频数据流。作为选择，输出表示3D视频内容。把所接收的视频图像转换为3D视频内容可以如M.Op de Beeck和A.Redert在“Three dimensional video for the home”(在关于加强虚拟环境和三维成像的国际信息处理会议记录中，Myconos，希腊，2001年)的第188-191页中所公开的那样。

图像处理设备600例如可以是TV。图像处理设备600可以包括显示装置。作为选择，图像处理设备600不包括可选的显示装置、而是向包括显示装置的设备提供输出数据。于是，图像处理设备600例如可以是机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。图像处理设备600也可以是由电影工作室或广播电台所应用的系统。

选择性地，图像处理设备600包括像硬盘或用于在可移动介质(例如光盘)上存储的装置之类的存储装置。

图7示意地示出了在依照本发明转换部件706的情境下的多个组件702、704。系统700包括用于存储图像数据的存储装置，所述图像数据例如所述图像像素的亮度和颜色值。此图像数据被提供给第一输入连接器710。系统700还包括转换部件706，所述转换部件706被配置成把一个图像的第一组初始段转换为第二组更新的段A’、B’、C’、D’。此转换借助于迭代更新从各初始段所导出的中间段A、B、C、D来完成，由此，一次特定的更新包括：根据一个特定像素300的像素值，根据第一个中间段的平均颜色值并且根据第二个中间段B的平均颜色值，来确定是否应该把位于第一个中间段A和第二个中间段B之间的边界302的所述特定像素300从第一个中间段移动到第二个中间段。一个图像的第一组初始段在第二输入连接器712提供，而第二组更新的段A’、B’、C’、D’在输出连接器714提供。

转换部件706包括计算装置，用于首先对该图像的第一个二维像素块208的像素执行多次遮代更新，并且之后对所述图像的第二个二维像素块214的像素执行相同次数的迭代更新。当估算中央块208的像素时，同时高速缓存块200-216的像素。在已经对中央块208执行了所有估算之后，在该图像内定义新的窗口502。此新的窗口包括块206-222。现在将估算此窗口的中央块214。

应当注意，上述实施例用于说明而不是限制本发明，本领域内的技术人员在不脱离所附权利要求的范围内的情况下可以设计出可替换的实施例。在本权利要求书中，不应当将置于圆括号内的任何附图标记看作是对该权利要求的限制。词“包括”并不排除没有在权利要求中列出的元件或步骤的存在。位于元件之前的词“一个”或“一种”并不排除存在多个这种元件。本发明可以借助于包括若干分立元件的硬件来实现，也可以借助于适当的程序计算机来实现。在列举多个装置的部件权利要求中，这些装置中的某几个可以被具体化为同一个硬件项。

Claims (9)

1.一种把一个图像的第一组(100a)初始段转换为所述图像的第二组(100b)更新的段(A’、B’、C’、D’)的方法，所述方法包括：迭代地更新从各初始段所导出的中间段(A、B、C、D)，一次特定的更新包括：根据一个特定像素(300)的像素值，根据第一个中间段(A)的第一参数并且根据第二个中间段(B)的第二参数，来确定是否应当把位于第一个中间段(A)和第二个中间段(B)之间的边界(302)的所述特定像素(300)从第一个中间段(A)移动到第二个中间段(B)，其特征在于：首先对该图像的第一个二维像素块(200)执行多次迭代更新，然后再对所述图像的第二个二维像素块(204)的像素执行相同次数的迭代更新。

2.如权利要求1所述的转换方法，其特征在于：第一参数对应于第一中间段的平均颜色值，第二参数对应于第二中间段的平均颜色值，而特定像素的像素值表示所述特定像素的颜色值。

3.如权利要求1或2所述的转换方法，其特征在于：所述特定的更新是基于取决于第一个中间段的形状的规则项的，所述规则项根据第一个二维像素块的第一组像素来计算。

4.如权利要求1所述的转换方法，其特征在于：在第一像素块内逐行扫描的过程中执行第一个多次迭代更新的序列，然后在第一像素块内逐列扫描的过程中执行第二个相同次数的迭代更新的序列。

5.如权利要求1所述的转换方法，其特征在于：第一个二维像素块位于第二个二维像素块附近。

6.如权利要求1所述的转换方法，其特征在于：根据第一个二维像素块的第一组像素和第二个二维像素块的第二组像素来计算规则项。

7.一种用于把一个图像的第一组(100a)初始段转换为所述图像的第二组(100b)更新的段(A’、B’、C’、D’)的转换部件(706)，所述转换部件被配置成对从各初始段所导出的中间段(A、B、C、D)执行迭代更新，一次特定的更新包括：根据一个特定像素(300)的像素值，根据第一个中间段(A)的第一参数并且根据第二个中间段(B)的第二参数，来确定是否应当把位于第一个中间段(A)和第二个中间段(B)之间的边界(302)的所述特定像素(300)从第一个中间段(A)移动到第二个中间段(B)，其特征在于：所述转换部件(706)包括计算装置，用于首先对该图像的第一个二维像素块(200)执行多次迭代更新，然后对所述图像的第二个二维像素块(204)的像素执行相同次数的迭代更新。

8.一种图像处理设备(600)，包括：

接收装置(602)，用于接收表示图像的信号；

分段部件(604)，用于确定该图像的第一组初始段；

转换部件(606)，用于把所述第一组初始段转换为第二组更新的段，其中所述转换部件和权利要求7所述的相同；和

图像处理部件(608)，用于根据所述第二组更新的段来处理该图像。

9.如权利要求8所述的图像处理设备(600)，由此所述图像处理部件(608)被设计成执行视频压缩。

Images