CN1223969C - 根据图像中分段区域之间的特征匹配提取目标的方法和装置 - Google Patents

Abstract

提供一种根据图像中分段区域之间的特征匹配来提取目标的方法和装置。该装置包括一图像输入单元，用于接收查询图像，该图像包括一目标和一对象提取目标图像，从该目标图像中提取包括在查询图像中的目标；一目标位置确定单元，用于在对象提取目标图像中，使用基于彩色特征匹配的像素确定目标位置；一图像分段单元，用于使用图像特征包括彩色或纹理，把每个查询图像和对象提取目标图像分段成多个区域；和一目标区域确定单元，用于使用彩色或纹理特征，在查询图像中的分段区域和确定的目标位置中的分段区域之间执行匹配，该目标在对象提取目标图像中，并使用在匹配区域之间的空间邻接中的相似性来确定最后的目标区域，所述匹配区域作为匹配的结果得到。因此，能够从对象提取目标图像中自动地提取一特殊目标的图像区域。因此，该装置能够应用到视频编辑器、视频创作工具、基于目标的视频编码器、交互式视频创作工具等。

Description

根据图像中分段区域之间的特征 匹配提取目标的方法和装置

技术领域

本发明涉及一种用于提取目标区域信息的方法和装置，在对象提取目标图像(静止图像或视频顺序)中查询该目标，从该目标图像中提取目标，其中要提取的目标图像作为查询图像给出，以像素为单位处理对象提取目标图像以确定其中目标的位置，并将查询图像与由一位置上的对象提取目标图像的分段区域构成的图像进行比较，按照彩色特征、纹理特征、和空间布置中的相似性把该位置确定为目标位置。

背景技术

从图像中提取目标的方法主要分成三类，也就是，使用目标移动的基于移动的提取，使用目标区域特征的基于特征的提取，和使用视频编辑软件的人工操作。

基于移动的提取的方法被分成基于图像帧差计算的移动区域提取、基于背景减少的提取和基于移动分析的提取。在美国专利US5,500,904和US5,109,435中公开的使用图像帧差的方法中，计算连续图像画面中的亮度差来提取移动，这是一种提取移动区域的基本方法。在美国专利US5,748,775中公开的基于背景减少的方法中，使用图像特征参数值的暂态变化重建背景图像，和使用重建的背景图像和原始图像之间的差别来提取目标。在美国专利US5,862,508中公开的基于移动分析的方法中，计算移动目标的移动方向和速度来提取移动区域。该方法是一种最普遍的移动区域提取方法，甚至当照明条件或背景结构变化时也能够应用。当连续图像中目标的移动达到适当的量时，能够应用上述基于移动的提取。然而，把基于移动的提取应用到静态图像、具有轻微移动的图像或具有过高移动速度的图像是困难的。

基于特征提取的方法可以分成模板匹配、基于多值阈值的分段和特征匹配。在美国专利US5,943,442中公开的模板匹配方法中，将要提取的目标定义为一模板图像，和提取一其标准化相关值最大的区域作为要搜索的图像中的目标区域。然而，当目标的尺寸变化或目标旋转时，标准化的相关值灵敏地起作用，所以提取执行减少。在美国专利US5,138,671中公开的使用多值阈值提取目标的方法中，使用多值阈值，把图像亮度值或彩色值分布分成多个区域，并将每个区域当成一个目标区域。在这种方法中，不容易准确地从背景中区分目标。

在使用视频编辑软件的人工方法中，人工地提取目标。根据这种方法，目标提取的准确性高，但是需要大量的时间。因此，这种方法对于编辑包括连续图像或大量图像的图像数据库来说是不合适的。

发明内容

为了解决上述问题，本发明的第一目的是提供一种方法和装置，使用不同图像中分段区域之间的特征匹配来提取目标。

本发明的第二目的是提供一种计算机可读记录媒体，在其上记录用于在计算机中执行上述方法的程序。

为了完成本发明的第一目的，提供一种用于从图像中提取目标的装置。该装置包括一图像输入单元，其用于接收查询图像，该图像包括一目标和一对象提取目标图像，从该查询图像中提取包括在查询图像中的目标；一目标位置确定单元，用于在对象提取目标图像中，使用基于彩色特征匹配的像素确定目标的位置；一图像分段单元，用于使用包括彩色或纹理的图像特征，把每个查询图像和对象提取目标图像分段成多个区域；和一目标区域确定单元，用于在查询图像中的分段区域和对象提取目标图像中确定的目标位置中的分段区域之间，使用彩色或纹理特征来执行匹配，和使用作为匹配结果得到的匹配区域之间的相邻空间中的相似性来确定最后的目标区域。

也提供一种用于从图像中提取目标的方法。该方法包括以下步骤：(a)接收包括一目标和一对象提取目标图像的查询图像，从该查询图像中提取包括在查询图像中的目标；(b)使用基于彩色特征匹配的像素，在对象提取目标图像中确定目标的位置；(c)使用包括彩色或纹理的图像特征，把查询图像和对象提取目标图像分段成多个区域；和(d)在查询图像中的分段区域和对象提取目标图像中确定的目标位置中的分段区域之间，使用彩色或纹理特征执行匹配，和使用作为匹配结果得到匹配区域之间的相邻空间中的相似性来确定最后的目标区域。

附图的简要说明

通过参考附图详细描述其中一个优选实施例，本发明的上述目的和优点将变得更加明显，其中：

图1是根据本发明一种目标提取装置的优选实施例的框图；

图2是根据本发明一种提取目标方法的流程图；

图3是用于解释用在本发明的量化彩色空间和围箱的图；

图4是用于解释围绕像素(m，n)旋转的图；

图5A和图5B表示原始图像和指定标号的分段图像的例子；

图6表示关于图5B所示的图像的邻接矩阵；

图7A-7C表示一种获得对照矩阵方法的优选实施例，当查询图像中分段区域的数量大于对象提取目标图像中分段区域的数量时；

图8A-8C表示一种获得对照矩阵方法的优选实施例，当查询图像中分段区域的数量小于对象提取目标图像中分段区域的数量时；

图9A和9B分别表示根据该距离矩阵的距离矩阵和对照矩阵的例子；和

图10A和10B表示从对象提取目标图像中提取两个不同目标的结果。

优选实施例的详细描述

在下文中，将参考附图详细描述本发明的一个优选实施例。

图1是根据本发明一种目标提取装置的优选实施例的框图。该目标提取装置包括一图像输入单元110，一目标位置确定单元120，一图像分段单元130，和一目标区域确定单元140。优选情况下，目标位置确定单元120包括一彩色直方图计算器121、一图像投影仪123和一候选目标位置确定器125。该目标区域确定单元140包括一区域匹配单元141、一邻接矩阵计算器143、一对应区域检测器145和一相似计算器147。

图2是根据本发明一种提取目标方法的流程图。图1中所示的目标提取装置的操作将参考图2详细描述。

在步骤210中图像输入单元110接收一包括一目标和一对象提取目标图像的查询图像。这里，该查询图像是一包括要提取的目标的图像。该查询图像通过对着一蓝屏给要提取的目标照相来得到，或使用视频编辑器从运动图像中一任意包括该目标的图像帧背景中分离目标得到。这里，在不同于目标区域的背景区域中的所有像素的值处理为0(黑色)。对象提取目标图像是从运动图像中使用一抓拍检测技术选择的一任意图像或核心图像帧。在对象提取目标图像是运动图像中的核心图像帧的情况下，该核心图像帧可以包括也可以不包括要提取的目标。该查询图像和对象提取目标图像应该在开始本发明的步骤前准备好。

然后，在步骤221至225-3中该目标位置确定单元120以像素为单位在查询图像和对象提取目标图像之间执行彩色特征匹配，来确定对象提取目标图像中的目标的位置。

具体而言，在步骤221中，彩色直方图计算器121使用选择的彩色空间和量子化水平，计算关于查询图像和对象提取目标图像的彩色直方图值。这里，彩色直方图值表示包括在每个围箱中的量化彩色空间中的像素的数量。

图3表示用于本发明的具有围箱的量化彩色空间。在这个例子中，彩色空间表示为三维空间，其具有红(R)、绿(G)、和蓝(B)像素。在图3中，三基轴像素中的每一种被分成从0开始的5个区域，以至于该5个区域在值51、102、153、204和255结束来把该彩色空间量化成具有预定体积的立方体。这里，围箱表示量化的三维彩色空间中的一个区域，例如，图3中的被涂黑部分。

当包括在每个围箱中的像素量C_mi小于阈值时，对应的围箱中的像素被当成噪扰，且一彩色直方图值设为0。该阈值可以定义为thrPixe|＝SUM(C_mi)/n。这里的“i”是一围箱号，其具有0至n-1的值，“n”是围箱的数，和C_mi是在查询图像中包括在第i围箱中的像素的数量。在这种情况下，具有在一图像中出现频率低并具有彩色值的像素作为噪音。关于定义为背景的(具有值为0的像素)区域的彩色直方图的值处理为0，由此确定最后彩色直方图值。在本发明的实施例中，使用RGB彩色空间和8H8H8量化。然而，本发明不局限于特定的彩色空间或量化。也可以使用其它彩色空间例如YCbCr或L*u*v。对于量化来说，可以使用其它水平例如4H4H4或16H16H16。当彩色空间或量化水平改变时，结果也轻微地改变。

在步骤223中，图像投影仪123计算比例直方图值并用一比例直方图值代替对象提取目标图像中每个像素的值。这是使用彩色直方图的图像投影。使用下面两种方法可以计算比例直方图值。在第一种方法中，包括在查询图像的第i围箱中的像素的数量除以查询图像中的所有有效像素的数量。也就是，比例直方图值定义为R[Ci]＝[C_mi/SUM(C_mi)-_effective]。这里，SUM(C_mi)-_effective表示第i围箱中的有效像素的数量。在第二种方法中，通过由查询图像中围箱里像素的数量除以与对象提取目标图像中的查询图像的围箱相对应的围箱中像素的数量得到一个值，在1和该值之间，更小的值被选择作为比例直方图值。也就是，比例直方图值定义为R[Ci]＝min[(C_mi/C_di)，1]。这里，R[Ci]表示具有与第i围箱相一致彩色像素的比例。像素值用与对象提取目标图像中每个像素的彩色值相对应的比例直方图值来代替，由此执行图像投影。

然后，在步骤225-1中，该候选目标位置确定器125使用比例直方图值作为像素值来确定对象提取目标图像中的候选目标位置。特别地，获得围绕该查询图像中目标区域的一最小矩形围框。根据该围框的尺寸来确定一具有特殊尺寸的掩蔽图像(mask)，该掩蔽图像针对具有比例直方图值的对象提取目标图像卷积来计算关于每个像素的目标存在可能性的尺寸。如果计算的尺寸超出一参考值，相应像素位置确定为候选目标位置。

这里，用来计算每个像素(x_p，y_p)尺寸的掩蔽图像W可以是一圆，其由公式(1)来定义并且其半径是WR。

这里，WR是一个由围框定义的值，bl是该围框较长边的尺寸，bs是该围框较短边的尺寸，且α是用于调节掩蔽图像W尺寸的变量。每个像素目标存在可能性的尺寸用“loc”来表示，其定义为loc(x，y)＝w*p(x，y)。这里，p(x，y)是像素(x，y)的比例直方图值，和“*”表示卷积。归一化loc(x，y)，例如最大值是255。如果loc值至少是一参考值，确定像素(x，y)的位置为候选目标位置。在公式(1)中，目标的多数位置能够通过调节变量α来确定。换句话说，当要提取目标尺寸在查询图像和对象提取目标图像之间不同时，可以考虑尺寸方面的变化。

如果在步骤255-1中确定了候选目标位置，在步骤225-2中，用包括根据查询图像或整个目标区域中一部分目标区域的具有特定尺寸的矩形区域内的像素和在对象提取目标图像中围绕候选目标位置的具有特定尺寸的矩形区域中像素之间的彩色距离差，来执行模板匹配。在步骤225-3中根据平均彩色距离差至少确定一个目标位置。特别地，当围绕查询图像中目标区域的掩蔽图像中像素和由候选目标位置确定器125在对象提取目标图像中确定为候选目标位置上像素内的掩蔽图像内的像素之间的彩色距离差的平均值为最小时，确定该候选目标位置为一目标位置，如果另一平均值是第二小值时，确定一相应的候选目标位置为另一目标位置。按照这样的处理，确定至少一个目标位置。这里，该掩蔽图像是具有特定尺寸的矩形区域，其根据查询图像中围框的尺寸来确定，例如bs作为长度和宽度。查询图像中像素和对象查询目标图像中像素之间的彩色距离差平均值AD_pixelcolor可以由公式(2)来定义。

${\mathrm{AD}}_{\mathrm{pixelcolor}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(R_q-R_d)}^2+{(G_q-G_d)}^2+{(B_q-B_d)}^2}...\left(2\right)$

这里，N表示其中Rq＝Gq＝Bq＝0非真的有效像素的数量，且在上面计算式中排除了对于Rq＝Gq＝Bq＝0正确的像素。在公式(2)中，q表示查询图像，和d表示对象提取目标图像。

在步骤230中，图像分段单元130使用包括彩色和纹理的图像特征，把通过图像输入单元110接收的每一个查询图像和对象提取目标图像段成多个区域。分离图像的方法不局限于一种特定的方法，但是可以使用典型的图像分离方法。图5A和5B中图解了图像分离的一个优选实施例。图5A表示一原始图像，和图5B表示一分段图像。参考图5B，每个分段区域指定一个标号。

在步骤241至249中，在对象提取目标图像中由目标位置确定单元120确定为目标位置的位置里的每个分段区域和查询图像的所有分段区域中，目标区域确定单元140使用彩色或纹理特征执行区域匹配，并使用在空间相邻中匹配区域之间的相似性来确定最后的目标区域。

特别地，在步骤241中，区域匹配单元141检测对象提取目标图像中的与确定为目标位置的位置中心的掩蔽图像W交会的分段区域，和计算对象提取目标图像中每个检测区域和查询图像的所有分段区域之间的相似性来执行区域匹配。如果相似性小于预定的阈值，确定对象提取目标图像中相应的检测区域为目标区域。如果相似性超出预定的阈值，相应的检测区域排除在目标区域之外。这里，相似距离由彩色纹理空间中的距离Dct来确定，并且距离Dct可以用公式(3)来表示。

$\mathrm{Dct}(x,y)=\frac{\mathrm{WcDc}(x,y)+\mathrm{WtDt}(x,y)}{\mathrm{Wc}+\mathrm{Wt}}...\left(3\right)$

这里，Dc(x，y)和Dt(x，y)分别表示彩色空间中两个区域x和y之间的距离和纹理空间中两个区域x和y之间的距离，Wc和Wt分别表示应用到各自距离的加权系数。在下文中，将详细描述一个计算Dc(x，y)和Dt(x，y)的例子。每个分段区域的彩色特征由亮度B、色调H和饱和度S表示，它们由公式(4)表示。

这里，r、g和b表示输入区域的平均彩色值，和u＝min(r，g，b)。BHS彩色空间中的距离可以用作彩色空间中的距离Dc(x，y)，如公式(5)中所示。

Dc(x，y)＝K_B|B(x)-B(y)|+K_H|H(x)-H(y)|+K_s|S(x)-S(y)|    …(5)

这里，B(x)、H(x)和S(x)分别表示彩色空间中一点的亮度、色度和饱和度，和K_B、K_H、K_S分别表示应用到关于亮度、色度和饱和度的距离差的加权系数。

使用多尺寸和多方向纹理特征来形成纹理特征空间。每个特征可以通过加总关于每个像素的多方向局部变量v和多方向局部振荡g来得到。图像的亮度B用来检测这种纹理特征。

在得到纹理特征的过程中，围绕像素(m，n)以角度α_k＝kπ/K(k＝0，…，k-1)旋转2L长度中的像素。这里，参考图4来描述L。

图4用于解释围绕像素(m，n)旋转和L的含意。图4中黑色部分是要计算其纹理特征的像素(m，n)。在像素(m，n)上面、下面、左边和右边的四个像素使用阴影来标记。这里L是4。在对角线上的像素表示四个像素围绕像素(m，n)旋转45角的情况。

“y_i(-L≤i≤L)”表示在阵列中均匀分布的这些像素中一个像素的亮度B。这里，d_i＝y_i+1-y_i表示矩阵中相邻像素中的亮度梯度，和w_i＝ucos(iπ/(2L+1))是一个余玄加权函数。系数u被用于形成∑w_i＝1。由上面因子形成的上下向加权差异可以用公式(6)表示。

这里，在公式(6)中两个值之间的较小值被选择作为局部差异v，换句话说，局部差异v定义为公式(7)。

V＝min(V⁺，V^-)                               …(7)

局部振荡g是d_i的教量，当其符号在该阵列长度范围内在所得到的d_i间变化时，其振荡幅度超出灵敏度的预定阈值，-L≤i≤L。每个像素的通过把像素的局部差异与像素的局部振荡相乘能够得到纹理特征 ${\tilde{t}}_k=v_k{g}_k.$ 为了均匀得到的纹理特征，每个纹理特征平滑到一平均值，其用于一h型窗口，并使用如公式(8)所示的变换公式，通过双曲线正切线变换来处理每个纹理特征，由此降低高纹理特征和增加低纹理特征。

$t_i=\tanh \left(a\underset{h}{\mathrm{\Σ}}{\tilde{t}}_k\left(h\right)\right)...\left(8\right)$

纹理是依图像尺寸的特征。因此，使用不同频率图像尺寸降低1/2S，和每当图像的尺寸降低时，每个像素的纹理特征以上述相同的方式得到。这样的纹理特征可以用公式(9)表示。

$t_k^s=\tanh \left(a\underset{h}{\mathrm{\Σ}}{\tilde{t}}_k^s\left(h\right)\right)...\left(9\right)$

根据公式(9)，每个像素纹理特征的数量是KS。每个区域中每个像素的KS个纹理特征用于得到不同区域中像素间的纹理距离。纹理距离由公式(10)来定义。

$\mathrm{Dt}(x,y)=\underset{s=1}{\overset{s}{\mathrm{\Σ}}}{w}^s\underset{k=1}{\overset{k}{\mathrm{\Σ}}}|t_k^s\left(x\right)-t_k^s\left(y\right)|...\left(10\right)$

这里，x和y表示纹理空间中的两点，t_k ^s(x)和t_k ^s(y)分别表示x和y的纹理特征，和w^s表示应用于多尺寸纹理的加权系数。

在步骤242中，根据计算的相似距离，区域匹配单元141确定是否至少一个目标区域存在于对象提取目标图像。如果确定没有目标区域，确定对象提取目标图像不包括要提取的目标，步骤结束。相反地，如果确定存在至少一个目标区域，确定对象提取目标图像包括要提取的目标。

然后，在步骤243中，邻接矩阵计算器143接收具有分段区域的查询图像和通过执行关于分段区域的区域匹配得到的图像，该分段区域被确定包括对象提取目标图像中的目标区域和查询图像的分段区域，然后计算关于每个输入图像中分段区域的邻接矩阵。每个分段区域指定一个标号，并且分段区域之间的邻接以一矩阵形式表示。当两个分段区域邻接时，矩阵中相应的元素值为1。当两个分段区域不邻接时，矩阵中相应的元素值为0。图6中表示这种邻接矩阵的优选实施例。

图6表示关于图5B中所示图像的邻接矩阵。由于区域2和3邻接，矩阵里位置(2，3)上的元素值为1。由于区域2和4不邻接，矩阵里位置(2，4)上的元素值为0。如上所述，分段区域的标号指定为矩阵中的行和列，且在一相应的元素上，两个区域间的相邻用1或0表示，由此形成一邻接矩阵。

然后，在步骤245中，使用邻接矩阵，对应区域检测器145检测对象提取目标图像中的区域，该区域与构成查询图像邻接矩阵的区域相对应。具体而言，查询图像和对象提取目标图像之间的相应区域在一比较矩阵中表示。根据查询图像中分段区域的数量和对象提取目标图像中分段区域的数量以不同的方式得到一比较矩阵是必要的。

(1)当查询图像中分段区域的数量大于对象提取目标图像中分段区域数量时，例如，当查询图像中分段区域的数量是4，而对象提取目标图像中分段区域数量是3，

-得到查询图像和对象提取目标图像的邻接矩阵；

-根据查询图像中的分段区域的数量构成一比较方阵；和

-在对象提取目标图像的邻接矩阵中添加标号，但是与附加标号相对应的元素值设为0。

图7A至7C表示，当查询图像中分段区域的数量大于对象提取目标图像中分段区域数量时，获得比较矩阵的方法的一优选实施例。图7A表示查询图像邻接矩阵的例子。图7B表示对象提取目标图像邻接矩阵的例子。图7C表示从图7A和7B中所示的邻接矩阵中得到的比较矩阵的例子。这里，图7B和7C中的“X”是附加标号。

(2)当查询图像中分段区域的数量小于对象提取目标图像中分段区域数量时。

-得到查询图像和对象提取目标图像的邻接矩阵；

-根据查询图像中的分段区域的数量构成一比较方阵；和

-把对象提取目标图像中的一些标号排除出该比较矩阵。

图8A至8C表示，当查询图像中分段区域的数量小于对象提取目标图像中分段区域数量时，获得比较矩阵的方法的一优选实施例。图8A表示查询图像邻接矩阵。图8B表示对象提取目标图像邻接矩阵。图8C表示从图8A和8B中所示的邻接矩阵中得到的一比较矩阵。

在图7A至8C中，通过匹配查询图像和对象提取目标图像之间的相同标号构成一比较矩阵。然而，只有当假定具有相同标号的区域具有相同特征(彩色和纹理特征)，由图7A至8C中所示上述方法得到的比较矩阵才是有效的。换句话说，在对象提取目标图像中搜索相应的区域是必要的，对于查询图像中每一个标号区域来说，该区域具有最相似的属性。只有当使用每个相应区域的标号得到一比较矩阵时，查询图像和对象提取目标图像之间的区域比较才是有效的。这样相应的区域确定如下。

(1)得到以查询图像区域标号为行和以对象提取目标图像区域标号为列的矩阵，得到查询图像中分段区域之间的距离和对象提取目标图像中分段区域之间的距离，并得到一距离矩阵，该矩阵以得到的距离作为元素。这里，该距离是彩色-纹理空间中的距离D_CT(x，y)。

(2)根据该距离矩阵，检测对象提取目标图像中与查询图像区域相应的区域，并根据检测的相应区域重建该比较矩阵。

图9A和9B表示一搜索步骤的优选实施例，用于分别在查询图像和对象提取目标图像中搜索区域，并根据搜索的相应区域得到一比较矩阵，所述区域对于具有不同标号的区域来说，具有最相似的属性。图9A是一距离矩阵的优选实施例，该矩阵表示查询图像中的区域和对象提取目标图像中区域之间的距离。图9B是一比较矩阵的优选实施例，该矩阵使用指定给图9A中距离最短的区域的标号来重建。图9A的距离矩阵中用阴影标记的元素表示查询图像中区域和对象提取目标图像中区域之间最短距离。在图9A和9B中，该查询图像具有三个区域和对象提取目标图像具有四个区域。可以看见比较矩阵中的标号根据相应区域来改变，所述相应区域根据距离矩阵得到。

然后，在步骤247中，相似计算器计算空间邻接矩阵中的相似性。通过把比较矩阵中1的数量E_u除以上三角矩阵中所有元素的数量M_u得到该相似性。当查询图像中的邻接与对象提取目标图像中的邻接完全相同时，相似性值是1。相反，当这些邻接完全不同时，相似性值是0。换句话说，查询图像与对象提取目标图像之间的空间邻接中的相似性Si能够从公式(11)中得到。

$\mathrm{Si}=\frac{\mathrm{Eu}}{\mathrm{Mu}}...\left(11\right)$

然后，在步骤248中，确定计算的相似性是否小于阈值。如果确定该计算的相似性不小于阈值，在步骤249中确定最后的目标区域。换句话说，确定对象提取目标图像中的区域是否是要提取的目标区域，通过使用彩色和纹理特征执行区域匹配得到该区域。最后确定的作为目标区域的区域确定为目标。最后目标区域中的像素值设定为原始图像中的像素值，对象提取目标图像中的其它区域中的像素值设定为0。相反，如果确定该计算的相似性小于该阈值，确定要提取的目标不存在于对象提取目标图像中，对象提取目标图像中所有像素值设为0。

图10A和10B表示从对象提取目标图像中提取两个不同目标的结果。图10A表示根据本发明从四个对象提取目标图像中提取女性衣服(要提取的目标)的结果。图10B表示根据本发明从四个对象提取目标图像中提取男性衣服(要提取的目标)的结果。

本发明可以作为程序来实现，该程序可以在计算机中执行。该程序能够在通用数字计算机中使用一种媒体来实现，该媒体能够应用到计算机中。该媒体可以是一种磁存储媒体(例如，只读存储器(ROM)、硬盘、或软盘)、一种光可读媒体(例如，CD-ROM、DVD)或一种载波(例如，通过互连网络传输)。

如上所述，不同于传统的基于移动的目标提取，不管该目标移动与否，本发明允许提取对象提取目标图像中的目标。另外，对象提取目标图像不需要是移动图像画面顺序。与只使用一种信息例如彩色特征或纹理特征来提取目标的方法相比较，本发明实现更精确的目标提取。由于执行自动目标提取来响应查询图像的输入，该查询图像包括一要提取的目标和一对象提取目标图像，本发明节约了人工提取目标花费的时间。本发明能够有效地应用到视频编辑器、视频写作工具、基于目标的视频译码器、交互式视频写作工具等等，其中需要对特殊目标的图像区域进行自动提取。

虽然已经参考其优选实施例专门描述和显示了本发明，不用说，对于本领域技术人员来说可以对其在形式和细节上进行变化。因此，上面优选实施例仅仅考虑用在描述的目的而不是用于限定的目的。因此，本发明的实际范围由附加的权利要求来定义。

Claims (31)

1、一种用于从图像中提取目标的装置，包含：

一图像输入单元，用于接收一查询图像，该查询图像包括一目标和一对象提取目标图像，从该对象提取目标图像中提取包括在查询图像中的目标；

一目标位置确定单元，用于在对象提取目标图像中，使用基于像素的彩色特征匹配确定目标的位置；

一图像分段单元，用于使用包括彩色或纹理的图像特征，把每个查询图像和对象提取目标图像分段成多个区域；和

一目标区域确定单元，用于在查询图像中的分段区域和对象提取目标图像中确定的目标位置中的分段区域之间，使用彩色或纹理特征执行匹配，并且使用在作为匹配的结果获得的相匹配区域之间的空间邻接中的相似性来确定最后的目标区域。

2、根据权利要求1所述的装置，其特征在于，所述目标位置确定单元包含：

一彩色直方图计算器，用于计算关于查询图像和对象提取目标图像的彩色直方图；

一图像投影仪，用于用比例直方图来代替关于查询图像和对象提取目标图像的像素值；

一候选目标位置确定器，用于在具有比例直方图的对象提取目标图像中确定候选目标位置。

3、根据权利要求2所述的装置，其特征在于，彩色直方图计算器计算在关于每个查询图像和对象提取目标图像的量化彩色空间中像素的数量。

4、根据权利要求2所述的装置，其特征在于，候选目标位置确定器执行对于一掩蔽图像值的卷积，所述掩蔽图像根据最小的围框来确定，所述围框围绕包括在具有比例直方图的查询图像和对象提取目标图像中的目标；计算像素之间的彩色距离差，关于这些像素的卷积结果的值不小于在对象提取目标图像中预定的阈值；并且根据关于每个像素得到的彩色距离差的平均值、以平均值的升序把像素确定为候选目标位置。

5、根据权利要求1所述的装置，其特征在于，图像分段单元使用包括彩色或纹理的图像特征，把查询图像和对象提取目标图像分段成区域。

6、根据权利要求1所述的装置，其特征在于，目标区域确定单元包含：

一区域匹配单元，用于使用至少包括彩色和纹理的图像特征，对于查询图像分段区域和与对象提取目标图像中的目标位置对应的分段区域执行区域匹配，并根据区域匹配的结果来确定对象提取目标图像是否包括目标；

一邻接矩阵计算器，用于计算关于分段查询图像的空间邻接矩阵，并计算关于一图像的空间邻接矩阵，所述图像从与被确定为具有目标的分段对象提取目标图像相匹配的区域中得出；

一对应区域检测器，用于使用由邻接矩阵计算器计算的邻接矩阵，检测查询图像和对象提取目标图像之间的对应区域；和

一相似计算器，用于根据对应区域来计算查询图像和对象提取目标图像之间的相似性，并确定最后的目标区域。

7、根据权利要求6所述的装置，其特征在于，区域匹配单元检测分段对象提取目标图像中的一分段区域，该分段区域包括处于预定目标位置的像素和满足根据围绕查询图像中目标的区域而确定的掩蔽图像，计算每个检测区域和每个查询图像的分段区域之间的相似性距离，并确定对象提取目标图像是否包括该目标。

8、根据权利要求6所述的装置，其特征在于，所述邻接矩阵计算器给查询图像的分段区域和对象提取目标图像中包括查询图像目标的分段区域指定标号，并形成邻接矩阵，该邻接矩阵中当对应的区域相邻时每个元素具有第一值，当它们不相邻时具有第二值，所述邻接矩阵分别表示在查询图像和对象提取目标图像中指定标号的分段区域如何邻近的信息。

9、根据权利要求6所述的装置，其特征在于，所述对应区域检测器根据查询图像中的分段区域的数量是否大于或小于对象提取目标图像中的分段区域的数量，使用该邻接矩阵以不同的方式形成一比较矩阵，来表示查询图像和对象提取目标图像之间的对应区域。

10、根据权利要求6所述的装置，其特征在于，所述对应区域检测器使用该邻接矩阵和只使用对象提取目标图像中的分段区域形成一比较矩阵，来表示查询图像和对象提取目标图像之间的对应区域，所述分段区域具有相对于查询图像中具有标号的分段区域来说最相似的图像特征。

11、根据权利要求10所述的装置，其特征在于，所述对应区域检测器使用一距离矩阵来确定分段区域，所述分段区域相对于对象提取目标图像中查询图像的分段区域来说具有最相似的图像特征，并根据查询图像和对象提取目标图像之间的对应区域来重建比较矩阵。

12、根据权利要求11所述的装置，其特征在于，所述距离矩阵以查询图像的标号为行值，以对象提取目标图像的标号为列值，且距离矩阵中的每个元素是查询图像中指定一个标号的区域和对象提取目标图像中指定一个标号的区域之间的距离。

13、根据权利要求8所述的装置，其特征在于，所述相似计算器通过在比较矩阵中把上三角矩阵中具有第一值的元素数量与上三角矩阵中所有元素的数量相除来计算相似性。

14、一种从图像中提取目标的方法，包含以下步骤：

(a)接收一查询图像，该查询图像包括一目标和一对象提取目标图像，从该对象提取目标图像中提取包括在查询图像中的目标；

(b)在对象提取目标图像中使用基于像素的查询图像和对象提取目标图像之间的彩色特征匹配来确定目标位置；

(c)使用包括彩色或纹理的图像特征，把查询图像和对象提取目标图像分段成多个区域；和

(d)使用彩色或纹理特征，在查询图像中的分段区域和对象提取目标图像中确定的目标位置中的分段区域之间执行匹配，并且使用在作为匹配的结果得到匹配区域之间的空间相邻中的相似性来确定最后的目标区域。

15、根据权利要求14所述的方法，其特征在于，步骤(b)包含以下步骤：

(b1)计算关于查询图像和对象提取目标图像的彩色直方图；

(b2)用比例直方图代替关于查询图像和对象提取目标图像的彩色直方图；和

(b3)在具有比例直方图的对象提取目标图像中确定候选目标位置。

16、根据权利要求15所述的方法，其特征在于，步骤(b1)包含关于每个查询图像和对象提取目标图像计算量化彩色空间中每个围箱上像素的数量。

17、根据权利要求16所述的方法，其特征在于，步骤(b2)包含计算比例直方图，方法是把关于查询图像的每个围箱中的像素数量与关于查询图像的所有围箱中的像素数量相除。

18、根据权利要求16所述的方法，其特征在于，步骤(b2)包含定义该直方图作为关于查询图像的每个围箱中的像素数量与关于对象提取目标图像的每个围箱中的像素数量的比率。

19、根据权利要求15所述的方法，其特征在于，步骤(b3)包含：

(b3-1)在根据最小围框确定的掩蔽图像值基础上执行卷积，所述围框围绕包括在具有比例直方图的查询图像和对象提取目标图像中的目标；

(b3-2)在像素间计算彩色距离差，关于这些像素的卷积结果值不小于对象提取目标图像中预定阈值；和

(b3-3)根据关于每个像素得到的彩色距离差平均值，以平均值的升序，把像素确定为候选目标位置。

20、根据权利要求19所述的方法，其特征在于，像素(x_p，y_p)处的掩蔽图像是一个圆，其定义为

$\mathrm{WR}=\mathrm{\α}(\stackrel{\‾}{b}s+(\mathrm{bl}-\mathrm{bs})\frac{\mathrm{bs}}{\mathrm{bl}})$

bl表示围框较长边的长度，bs表示该围框较短边的长度，且α表示用于调节掩蔽图像尺寸的变量。

21、根据权利要求19所述的方法，其特征在于，所述平均彩色距离差定义为：

${\mathrm{AD}}_{\mathrm{pixelcolor}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{(R_q-R_d)}^2+{(G_q-G_d)}^2+{(B_q-B_d)}^2}$

N表示围框内有效像素的数量，q表示该查询图像，和d表示对象提取目标图像。

22、根据权利要求14所述的方法，其特征在于，步骤(d)包含以下步骤：

(d1)使用包括彩色或纹理的图像特征，关于查询图像的分段区域和对象提取目标图像中对应目标位置的分段区域执行区域匹配，并根据区域匹配的结果，确定该对象提取目标图像是否包括目标；

(d2)计算关于分段查询图像的空间邻接矩阵，并计算关于一图像的空间邻接矩阵，所述图像从与被确定为具有目标的分段对象提取目标图像的相匹配的区域中得出；

(d3)使用步骤(d2)中计算的邻接矩阵，检测在查询图像和对象提取目标图像之间的对应区域；和

(d4)根据对应区域在查询图像和对象提取目标图像之间计算相似性，并确定最后的目标区域。

23、根据权利要求22所述的方法，其特征在于，步骤(d1)包含以下步骤：

(d1-1)在分段对象提取目标图像中检测一分段区域，该分段区域包括确定的目标位置上的像素和满足根据围绕查询图像中目标的区域而确定的掩蔽图像；和

(d2-2)计算每个检测区域和查询图像的每个分段区域之间的彩色或纹理距离差来确定对象提取目标图像是否包括目标。

24、根据权利要求23所述的方法，其特征在于，定义彩色或纹理距离差为图像特征空间中两个区域之间的距离，该图像特征包括彩色或纹理，两个区域之间的距离可以从下面计算得到：

$\mathrm{Dct}(x,y)=\frac{\mathrm{WcDc}(x,y)+\mathrm{WtDt}(x,y)}{\mathrm{Wc}+\mathrm{Wt}}$

Dc(x，y)和Dt(x，y)分别表示彩色空间中两个区域x和y之间的距离和纹理空间中两个区域x和y之间的距离，和Wc和Wt分别表示应用到各自距离的加权系数。

25、根据权利要求22所述的方法，其特征在于，步骤(d2)包含给查询图像分段区域和对象提取目标图像中包括查询图像目标的分段区域指定标号，并构成邻接矩阵，在该矩阵中，当对应区域邻接时每个元素具有第一值，当对应区域不邻接时每个元素具有第二值，所述邻接矩阵分别表示在查询图像和对象提取目标图像中指定标号分段区域如何邻接的信息。

26、根据权利要求22所述的方法，其特征在于，步骤(d3)包含根据查询图像中的分段区域的数量是否大于或小于对象提取目标图像中分段区域的数量，使用该邻接矩阵以不同的方式构成一比较矩阵，来表示查询图像和对象提取目标图像之间的对应区域。

27、根据权利要求22所述的方法，其特征在于，步骤(d3)包含使用该邻接矩阵和只使用对象提取目标图像中的分段区域形成一比较矩阵，来表示查询图像和对象提取目标图像之间的对应区域，所述分段区域具有相对于查询图像中具有标号的分段区域来说最相似的图像特征。

28、根据权利要求22所述的方法，其特征在于，步骤(d3)包含使用一距离矩阵确定该分段区域，所述分段区域相对于对象提取目标图像中查询图像的分段区域来说具有最相似的图像特征，并根据查询图像和对象提取目标图像之间的对应区域来重建比较矩阵。

29、根据权利要求28所述的方法，其特征在于，所述距离矩阵以查询图像的标号为行值，以对象提取目标图像的标号为列值，且距离矩阵中的每个元素是查询图像中指定一个标号的区域和对象提取目标图像中指定一个标号的区域之间的距离。

30、根据权利要求22所述的方法，其特征在于，当对应区域邻接时，所述邻接矩阵中每个元素具有第一值，当它们不邻接时具有第二值，步骤(d4)包含通过在比较矩阵中把上三角矩阵中具有第一值的元素数量与上三角矩阵中所有元素的数量相除来计算相似性。

31、根据权利要求26或27所述的方法，其特征在于，在步骤(d4)中，相似性从下面计算中得出：

$\mathrm{Si}=\frac{\mathrm{Eu}}{\mathrm{Mu}}$

当对应区域邻接时，该邻接矩阵中每个元素具有第一值，当它们不邻接时具有第二值，Eu表示比较矩阵的上三角矩阵中具有第一值元素的数量，Mu表示上三角矩阵中所有元素数量。

Images