CN102346852A - 用于提取目标的装置和方法，以及用于存储实 施该方法的程序的存储介质 - Google Patents

Abstract

提供了一种用于提取目标的装置和方法，提取目标涉及通过使用权重值中心跟踪方法中所需的目标提取方法的目标和背景的统计特性来将目标和背景分离的算法，以及用于存储实施该方法的程序的存储介质。根据本发明，能够将目标区域和背景区域有效地相互分离，并且能够改进目标提取性能的可靠性。

Description

用于提取目标的装置和方法,以及用于存储实 施该方法的程序的存储介质

技术领域

本发明涉及用于提取目标的装置和方法，以及用于存储实施该方法的程序的存储介质。更具体地来说，本发明涉及用于提取目标的装置和方法，提取目标涉及通过使用权重值中心跟踪方法中所需的目标提取方法的目标和背景的统计特性来将目标和背景分离的算法，以及用于存储实施该方法的程序的存储介质。 

背景技术

在背景技术中，通过使用包括目标的内部区域(目标区域)以及不包括目标的外部区域(背景区域)，基于目标区域和背景区域的统计特性提取目标。 

另外，在目标提取方法中，如何将背景区域设置为不包括目标，对于性能所施加的影响最大。然而，在背景技术中，如果没有关于如何设置背景区域的标准，则在实际实施过程中，无法获得可靠的统计信息，从而使跟踪的可靠性变差。这是因为，背景区域的设置方法对于目标跟踪的性能起着较大影响这一点被忽略了。 

发明内容

本发明提供了一种用于提取目标的装置和方法，当输入连续图像时，以及基于所提取的目标区域来调节到达背景的距离以及背景的尺寸，还提供了存储实施上述方法的程序的存储介质。 

而且，本发明提供了一种用于提取目标的装置和方法，通过使用权重值函数，增加了目标的像素数，还提供了存储实施上述方法的程序的存储介质。 

本发明的示例性实施例提供了一种用于提取目标的方法，该方法包括：从输入图像中提取目标区域；根据目标区域的尺寸，从输入图像中提取背景区域；以及根据目标区域和背景区域，从输入图像中提取目标。 

在提取背景区域的步骤中，通过将背景区域调节成与目标区域的尺寸成比例来提取背景区域。在提取背景区域的步骤中，通过将目标区域的尺寸乘以预定的第一增益值来计算背景区域的尺寸并且根据计算出的背景区域的尺寸，提取背景区域。 

在提取背景区域的步骤中，在提取背景区域时，还要考虑与目标区域的距离。在提取背景区域的步骤中，背景区域通过以下方式被提取：将背景区域的尺寸调节成与目标区域的距离成反比例。在提取背景区域的步骤中，与目标区域的距离通过使用预定的第二增益值除以目标区域的尺寸所得到的值而被计算出来，并且根据被计算出来与目标区域的距离，提取背景区域。 

提取目标的步骤可以包括：为目标区域生成目标柱状图，为背景区域生成背景柱状图；通过使用目标柱状图和背景柱状图，生成查找表；通过使用查找表，生成可能性图；由可能性图计算用于提取目标的阈值；以及通过使用阈值，从输入图像中提取目标。在生成柱状图的步骤中，考虑根据与目标区域中心的距离对于构成目标区域的每个像素的权重值，生成目标柱状图。 

在提取背景区域的步骤中，所提取的区域中，背景区域包围目标区域。 

在提取目标区域的步骤中，根据预定的跟踪算法，基于估算的目标位置，从输入图像中提取目标区域。 

在提取目标的步骤中，提取的目标用于在输入图像之后跟踪输入图像中的目标。 

本发明的另一个示例性实施例提供了一种用于提取目标的装置，包括：目标区域提取单元，从输入图像中提取目标区域；背景区域提取单元，考虑目标区域的尺寸，从输入图像中提取背景区域；以及目标提取单元，根据目标区域和背景区域，从输入图像中提取目标。 

背景区域提取单元可以通过将背景区域的尺寸调节成与目标区域的尺 寸成比例。 

背景区域提取单元可以包括：背景区域尺寸计算模块，通过目标区域的尺寸乘以预定的第一增益值，计算背景区域的尺寸；以及背景区域提取模块，根据计算出的背景区域的尺寸，提取背景区域。 

背景区域提取单元可以在提取背景区域时，还考虑与目标区域的距离。背景区域提取单元可以通过将所述背景区域的尺寸调节成与所述与目标区域的距离成反比例，从而提取背景区域。 

背景区域提取单元可以包括：距离计算模块，通过使用预定的第二增益值除以目标区域的尺寸所得到的值，计算与目标区域的距离；以及背景区域提取模块，根据计算出的与目标区域的距离，提取背景区域。 

目标提取单元可以包括：柱状图生成模块，为目标区域生成目标柱状图，为背景区域生成背景柱状图；查找表生成模块，通过使用目标柱状图和背景柱状图，生成查找表；可能性图生成模块，通过使用查找表，生成可能性图；阈值计算模块，由可能性图计算用于提取目标的阈值；以及使用阈值的目标提取模块，通过使用阈值，从输入图像中提取目标。柱状图生成模块可以考虑基于与目标区域的中心的距离对于构成目标区域的每个像素的权重值，生成目标柱状图。 

在背景区域提取单元所提取的区域中，背景区域可以包围目标区域。 

目标区域提取单元可以根据预定的跟踪算法，基于目标的估算位置，提取目标区域。 

通过目标提取单元所提取的目标可以用于在输入图像之后跟踪所输入的图像中的目标。 

根据本发明的示例性实施例，能够通过完成目标而提供以下效果。第一，能够在输入连续图像时，基于所提取的目标区域调节到达背景的距离以及背景的尺寸，从而有效地将目标区域和背景区域相互分离。此外，能够从复杂的背景中有效地提取目标，并且能够根据具有可靠性的目标区域的像素数，通过充分确定背景区域的像素数，来获得目标区域和背景区域的统计特性。 

第二，能够通过使用权重值函数来增加目标的像素数，从而改进目标 提取性能的可靠性。而且，能够减轻在跟踪权重值中心过程中所遇到的跟踪中心变动的问题，而且，能够阻止图像噪声或者比如包括在背景区域中的目标部件的外部噪声。 

附图说明

图1是示意性示出了根据本发明示例性实施例的用于提取目标的装置的框图。 

图2示出了显示目标区域和背景区域的图像。图2A示出了所提取的目标较大的实例，图2B示出了所提取的目标较小的实例。 

图3是示出了用于增加目标的像素数的权重值函数(数量可以被任意改变)的示意图。 

图4是示意性示出了根据本发明示例性实施例的用于提取目标的方法的流程图。 

图5是详细地示出了根据本发明示例性实施例的用于提取目标的方法的流程图。 

具体实施方式

在下文中，本发明的示例性实施例将参照附图而被详细描述。首先，我们应该注意，即使相似的部件被示出在不同的附图中，在向每幅附图分配参考标号的过程中，相似的参考标号表示相似的部件。而且，在描述本发明过程中，将不会详细描述一些公知的函数或者结构，这是由于这些函数或者结构不会使对本发明的理解产生不必要的模糊不清。在本文中，将描述本发明的示例性实施例，但是本领域普通技术人员可以理解，本发明的主旨和范围并没有限制于此，并且可以做出各种修改和改变。 

图1是示意性示出了根据本发明示例性实施例的用于提取目标的装置的框图。参考图1，目标提取装置100包括目标区域提取单元110、背景区域提取单元120、目标提取单元130、电源单元140、以及主控制单元150。 

在示例性实施例中，目标提取装置100实现了从图像中分离目标的算法。详细地来说，目标提取装置100通过使用权重值中心跟踪方法中所需 的目标提取方法的目标和背景的统计特性，实现了比将目标和背景相互分离的算法的背景技术更有效的提取目标算法。 

目标区域提取单元110从输入图像中提取目标区域。在这里，该图像利用照相机(包括红外照相机、可见光照相机等等)获取，并且该目标包括所获取的图像中的重要信息。例如，在导弹的实例中，将导弹想要进行跟踪的诸如坦克、直升机等等的目标定为目标，在监视摄像机的实例中，将诸如入侵者等监控对象定为目标。从图像中分离目标的原因是，分离的目标用作跟踪算法的输入。在这里，跟踪算法代表了在整个图像帧中跟踪目标的算法。 

目标区域提取单元110根据预定的跟踪算法，基于目标的估算位置，从输入图像中提取目标区域。首先，当图像从照相机中获取时，根据跟踪算法，基于目标的估算位置，估算出目标的位置。因此，有可能将目标区域设置为诸如图2中的红色区域210。 

背景区域提取单元120考虑目标区域的尺寸，从输入图像中提取背景区域。背景区域提取单元120基于所设置的目标区域来设置背景区域。所设置的背景区域可以是诸如图2中的绿色区域220的区域，该区域与目标区域相隔一预定距离。 

背景区域提取单元120通过将背景区域的尺寸调节到与目标尺寸成比例来提取背景区域。考虑到这一点，背景区域提取单元120可以具有背景区域尺寸计算模块以及背景区域提取模块。背景区域尺寸计算模块通过将目标区域的尺寸乘以预定的第一增益值，计算出背景区域的尺寸。背景区域提取模块基于所计算出的背景区域的尺寸，提取背景区域。 

目标跟踪方法的结果很大程度上受到背景区域设置方法所影响。原因是，该方法基于如果没有包括在背景区域的部分出现在目标区域中则该部分就会被视为目标这样的假设。 

在示例性实施例中，背景区域提取单元120为了有效地将目标区域和背景区域相互分离而设置背景区域。为此，当输入连续图像时，背景区域提取单元120基于所提取的目标区域调节到达背景的距离以及背景的尺寸。 

在示例性实施例中，以下等式用于调节背景区域的尺寸： 

背景区域的尺寸＝目标区域的尺寸×B_增益 

在上述等式中，B增益代表了增益值。B增益是一个比例常数，用于基于目标区域的尺寸来设置背景区域的尺寸。B增益根据每种情况，实验性地设置，从而适当地设置背景区域的尺寸。 

在图2A和图2B中，当红色框部分210是当前所提取的作为目标的区域(目标区域)时，背景区域与目标区域(例如，绿色框部分220)的尺寸成比例地扩大。这是为了根据目标区域的像素数，通过充分确定背景区域的像素数，从而可靠地获得统计特性。 

背景区域提取单元120可以进一步考虑在提取背景区域时与目标区域的距离。在这种情况下，背景区域提取单元120通过调节背景区域与目标区域的距离成反比例，从而提取背景区域。背景区域提取单元120可以具有距离计算模块以及背景区域提取模块。距离计算模块利用预定的第二增益值除以目标区域的尺寸所获得的值，计算出与目标区域的距离。背景区域提取模块基于计算出的与目标区域的距离，提取背景区域。 

背景区域提取模块基于背景区域的尺寸或者与目标区域的距离来提取背景区域。然而，在示例性实施例中，基于背景区域的尺寸提取背景区域的模块可以被定义为第一背景区域提取模块，基于与目标区域的距离提取背景区域的模块可以被定义为第二背景区域提取模块。 

目标区域和背景区域之间的距离可以通过以下等式获得： 

两个区域之间的距离＝D增益÷目标区域的尺寸 

在上述等式中，两个区域代表了目标区域和背景区域，D增益代表了增益值。D增益用于设置目标区域和背景区域之间在水平方向和垂直方向上的距离(间隔)。与B增益类似，这个参数也根据每种情况，实验性地设置，从而适当地设置背景区域和目标区域之间的间隔。 

目标区域和背景区域之间的距离与图2A和图2B中所示的目标区域的尺寸成反比。在目标区域较大(见图2A)的情况下，由于提取了绝大多数的目标，因此，目标的部件包括在背景区域中的可能性较低，甚至在将背景区域设置为邻近调节目标区域的情况下也是如此。相反，在目标区域较 小的情况下(见图2B)，由于判断只提取了目标中的一些，因此，有可能通过将背景区域设置为远离目标区域，从而使得目标信息无法包括在背景区域中。 

而且，在背景区域提取单元120所提取的区域中，目标区域被背景区域包围。 

目标提取单元130基于目标区域和背景区域，从输入图像中提取目标。 

目标提取单元130可以具有柱状图生成模块、查找表生成模块、可能性图生成模块、阈值计算模块、以及使用阈值的目标提取模块。 

柱状图生成模块为目标区域生成目标柱状图，为背景区域生成背景柱状图。柱状图生成模块所获得的柱状图用于限定目标区域和背景区域。柱状图通过计算预定区域内图像的像素数生成。柱状图生成模块生成目标柱状图要考虑到基于与目标区域中心的距离对于构成目标区域的每个像素的权重值。 

查找表生成模块通过使用目标柱状图和背景柱状图生成查找表。查找表生成模块通过将目标区域和背景区域的柱状图相加，生成查找表。 

可能性图生成模块通过使用查找表生成可能性图(likelihood map)。可能性图生成模块通过使用查找表生成可能性图。等式如下： 

[等式1] 

$L\left(j\right)=\frac{H_S^I\left(\mathrm{\Λ}\left(j\right)\right)}{H_S^I\left(\mathrm{\Λ}\left(j\right)\right)+H_S^O\left(\mathrm{\Λ}\left(j\right)\right)}$

阈值计算模块计算用于从可能性图中提取出目标的阈值。阈值计算模块通过使用可能性图等于或者大于阈值的两点生成用于提取目标的阈值。 

使用阈值的目标提取模块通过使用阈值而从输入图像中提取目标。 

目标提取单元130使用目标像素数的增量技术(increment technique)来改进目标提取性能的可靠性。 

通常，将所提取的目标的中心作为目标的可能性较高。因此，通过将当前像素数乘以图3的关于对应区域的权重值函数来生成柱状图，有可能增加目标的像素数。也就是说，由于柱状图是通过在对应区域中具有相同亮度的像素数生成的统计数据，因此当图3中所示的遮幅框(mask)用于 向中心给予权重值时(通过使关于中心区域的对应于遮幅框的权重值增加)，中心变为33，相邻像素8变为9，相邻像素4变为5。 

在生成图像的柱状图时，进行以下计算： 

(1)读取位置(X，Y)上的像素值：[A＝Image(X，Y)] 

(2)为所读取的像素值A增加柱状图值：[Hist(A)＝Hist(A)+1] 

(所有初始Hist值都设置为0) 

(3)当关于整个图像的位置(X，Y)改变时，通过重复步骤(1)和步骤(2)来完成柱状图。 

这里，当步骤(2)被改变时，也就是说，中心被遮幅框(系数32)遮盖，Hist(A)＝Hist(A)+1+32。因此，所获得的效果是，好像像素数比真实像素数多32。 

在中心的上、下、左、和右，Hist(A)＝Hist(A)+1+8，在中心的对角线，Hist(A)＝Hist(A)+1+4。也就说，由于跟踪中心将会成为目标的可能性较高，因此所设置的权重值会高于其它像素。 

当使用本方法时，目标跟踪的可靠性增加，并且有可能减轻在跟踪权重值中心过程中所遇到的跟踪中心变动的问题。而且，有可能阻止图像噪声或者比如包括在背景区域中的目标部件的外部噪声，。 

通过目标提取单元130所提取的目标用于在输入图像之后跟踪所输入的图像中的目标。 

电源单元140为构成目标提取装置100的每个部件供电。 

主控制单元150控制构成目标提取装置100的部件的全部操作。 

如上所述，目标提取装置100通过提出一种用于设置背景区域的新式方法，能够有效地从复杂的背景中提取目标，设置背景区域对于跟踪目标起到了最大的影响，另外，通过使用目标的像素数的增量技术，增加了提取目标的可靠性，减轻了跟踪中心的变动，以及阻止了外部噪声。 

接下来，将通过使用目标提取装置100描述一种用于跟踪目标的方法。图4是示意性示出了根据本发明示例性实施例的用于提取目标的方法的流程图。另外，图5是详细示出了根据本发明示例性实施例的用于提取目标的方法的流程图。在下文中，将会通过参考图4和图5来进行描述。 

首先，目标区域提取单元110从输入图像中提取目标区域(S400)。之后，背景区域提取单元120考虑目标区域的尺寸而从输入图像中提取背景区域(S410)。然后，目标提取单元130基于目标区域和背景区域从输入图像中提取目标(S420)。 

目标提取单元130根据预定的跟踪柱状图，基于目标的估算位置，从输入图像中提取目标区域(S500)。 

背景区域提取单元120通过将背景区域的尺寸调节成与目标区域的尺寸成比例，从而提取背景区域。详细地来说，背景区域提取单元120通过将目标区域的尺寸乘以预定第一增益值，计算背景区域的尺寸，并且基于所计算出的背景区域的尺寸提取背景区域(S510)。 

背景区域提取单元120进一步考虑到在提取背景区域时，与目标区域的距离。详细地来说，背景区域提取单元120通过将背景区域的尺寸调节成与目标区域的距离成反比例，从而提取背景区域。更详细地来说，背景区域提取单元120通过使用由预定的第二增益值除以目标区域的尺寸所得到的值，计算与目标区域的距离，并且基于所计算出的与目标区域的距离提取背景区域(S520)。 

在背景区域提取单元120所提取的区域中，目标区域被背景区域包围。 

目标提取单元通过实施以下步骤，从输入图像中提取目标。 

首先，柱状图生成单元为目标区域生成目标柱状图(S530a)，并且为背景区域生成背景柱状图(S530b)。优选地，柱状图生成单元通过考虑基于与目标区域的中心的距离对于构成目标区域的每个像素的权重值，生成目标柱状图(A)。之后，查找表生成模块通过使用目标柱状图和背景柱状图生成查找表(S540)。然后，可能性图生成模块通过使用查找表生成可能性图(S550)。之后，阈值计算模块计算用于从可能性图中提取目标的阈值(S560)。然后，使用阈值的目标提取模块通过使用阈值，从输入图像中提取目标(S570)。所提取的目标用于在输入图像之后跟踪所输入的图像中的目标。 

而且，前述本发明的实施例能够通过在计算机中运行的程序而准备，并且能够通过通用数字计算机而实现，该通用数字计算机使用计算机可读 存储介质来运行程序。计算机可读存储介质包括磁存储介质(例如，ROM、软盘、硬盘等等)、光学读取介质(例如，CD-ROM、DVD等等)、以及诸如载波的存储介质(例如，通过互联网传输)。 

已经示例性示出本发明的主旨。本领域普通技术人员可以理解，在不偏离本发明的本质特征的情况下，可以做出各种修改、改变和替换。因此，本发明中所公开的示例性实施例和附图并不用于进行限制，而是对于本发明的主旨的描述。本发明的范围并不仅仅限于该示例性实施例和附图。本发明的保护范围必须通过附加的权利要求来进行分析，并且应该分析得出，等同范围内的所有主旨都包括在了本发明的附加的权利要求中。 

本发明可以被应用到用于跟踪导弹想要进行跟踪的目标(坦克、直升机等等)的跟踪算法。 

Claims (15)

1.一种用于提取目标的方法，包括：

从输入图像中提取目标区域；

考虑所述目标区域的尺寸，从所述输入图像中提取背景区域；以及

根据所述目标区域和所述背景区域，从所述输入图像中提取所述目标。

2.根据权利要求1所述的方法，其中，在所述提取所述背景区域的过程中，通过将所述背景区域调节成与所述目标区域的尺寸成比例来提取所述背景区域。

3.根据权利要求2所述的方法，其中，在提取所述背景区域的过程中，通过将所述目标区域的尺寸乘以预定的第一增益值来计算所述背景区域的尺寸，并且根据计算出的所述背景区域的尺寸，提取所述背景区域。

4.根据权利要求1所述的方法，其中，在所述提取所述背景区域的过程中，在提取所述背景区域时，还考虑与目标区域的距离。

5.根据权利要求4所述的方法，其中，在所述提取所述背景区域的过程中，通过将所述背景区域的尺寸调节成与所述与目标区域的距离成反比例来提取所述背景区域。

6.根据权利要求5所述的方法，其中，在所述提取所述背景区域的过程中，所述与目标区域的距离通过使用预定的第二增益值除以所述目标区域的尺寸所得到的值而被计算出来，并且根据被计算出来的与目标区域的距离，提取所述背景区域。

7.根据权利要求1所述的方法，其中，提取所述目标包括：

为所述目标区域生成目标柱状图，为所述背景区域生成背景柱状图；

通过使用所述目标柱状图和所述背景柱状图，生成查找表；

通过使用所述查找表，生成可能性图；

通过所述可能性图计算用于提取所述目标的阈值；以及

通过使用所述阈值，从所述输入图像中提取所述目标。

8.根据权利要求7所述的方法，其中，在生成所述柱状图的过程中，考虑基于与所述目标区域的中心的距离对于构成所述目标区域的每个像素的权重值，生成所述目标柱状图。

9.根据权利要求1所述的方法，其中，在提取所述背景区域的过程中，在所提取的区域中，所述背景区域包围所述目标区域。

10.根据权利要求1所述的方法，其中，在提取所述目标区域的过程中，根据预定的跟踪算法，基于所述目标的估算位置，从所述输入图像中提取所述目标区域。

11.根据权利要求1所述的方法，其中，在提取所述目标的过程中提取的所述目标用于在所述输入图像之后跟踪输入的图像中的所述目标。

12.一种计算机可读介质，存储有实现权利要求1到11中的任意一项所述的方法的程序。

13.一种用于提取目标的装置，包括：

目标区域提取单元，从输入图像中提取目标区域；

背景区域提取单元，考虑所述目标区域的尺寸，从所述输入图像中提取背景区域；以及

目标提取单元，根据所述目标区域和所述背景区域，从所述输入图像中提取所述目标。

14.根据权利要求13所述的方法，其中，所述背景区域提取单元包括：

背景区域尺寸计算模块，通过所述目标区域的尺寸乘以预定的第一增益值，计算所述背景区域的尺寸；

距离计算模块，通过使用预定的第二增益值除以所述目标区域的尺寸所得到的值，计算与所述目标区域的距离；以及

背景区域提取模块，根据计算出的所述背景区域的尺寸以及计算出的与所述目标区域的距离，提取所述背景区域。

15.根据权利要求13所述的方法，其中，所述目标提取单元包括：

柱状图生成模块，通过考虑基于与所述目标区域中心的距离对于构成所述目标区域的每个所述像素的权重值，为所述目标区域生成目标柱状图，为所述背景区域生成背景柱状图；

查找表生成模块，通过使用所述目标柱状图和所述背景柱状图，生成查找表；

可能性图生成模块，通过使用所述查找表，生成可能性图；

阈值计算模块，由所述可能性图计算用于提取所述目标的阈值；以及

使用阈值的目标提取模块，通过使用所述阈值，从所述输入图像中提取所述目标。

Images