CN102999755B - 数字图像中多物体检测的分离方法 - Google Patents

Abstract

本发明提供一种数字图像中多物体检测的分离方法，属于图像处理技术领域。步骤如下：（1）采用局部特征对数字图像进行检测，并分离检测窗口；（2）根据分离的窗口信息构建并扩展空间特征，采用交叉验证选择最佳参数，并使用支撑向量机进行训练和测试。本发明方法不仅有效利用了图像中物体之间的空间关系，降低了计算的复杂度；而且由于窗口与窗口的分离，不会因为少量的错误结果而恶化所有的检测结果；同时，可以引入更多的空间关系特征，有效的提升了物体检测的结果。本发明优于已有的各种物体检测方法。

Description

数字图像中多物体检测的分离方法

技术领域

本发明涉及的是一种多物体检测的方法，特别涉及一种数字图像中多物体检测的分离方法，属于图像处理技术领域。

背景技术

近年来，随着多媒体技术和计算机网络的飞速发展，每天都有海量的数字图像产生和传播。自动识别这些数字图像的内容，从而高效的进行组织、管理，已经成为了目前研究的热点和难点。对数字图像的物体检测是解决图像内容识别的关键技术之一。在传统的物体检测方案中，很多都是基于图像的局部特征，如图像的颜色、形状、边缘纹理等进行检测，而并没有考虑图像中物体与物体之间的关系。这种方式依赖于局部特征的不变性，对于姿态可变的物体检测效果较差。在考虑了空间关系的物体检测方案中，首先通过局部特征的检测得到了图像中物体可能存在的位置和物体的类别，并标记为窗口。局部特征检测可以为每个窗口打分，分数的大小将反映窗口中存在物体的可能性大小。然后定义一系列物体和物体间的空间关系，并对图像中存在的这种空间关系进行鉴别。通过空间关系以及窗口的分数作出综合判断。空间关系在多种物体检测方案中都显示出了良好的效果。

经对现有技术文献的检索发现，Desai等人在IEEE 12th InternationalConference on Computer Vision，2009（IEEE第12届国际计算机视觉大会）上发表的文章“Discriminative models for multi-class object layout”（“多类物体布局的判别式模型”）中，提出了一种新的空间关系模型。这种空间模型预先定义了7种空间关系，并使用了结构化支撑向量机（SSVM）进行训练和测试。在空间关系模型的训练和测试中，由于对每一个窗口分数的调整均会对图像中所有窗口产生影响，因此，通常难以得到一个全局最优解。在以上方法中，采用了Greedy ForwardSearch（贪婪算法），在算法的每一步迭代中寻找分数最高的窗口，并使用此窗口的分数和之前迭代得到的空间信息，对此窗口进行判断，从而得到一个局部最优解。

这种方法存在一定缺陷。由于贪婪算法在每一步迭代中均假定，对分数最高的窗口进行判断后，其余窗口分数的变化将不再影响此窗口的判断结果。如果在局部特征识别得到的所有窗口中，分数最高的窗口中并不含任何物体，这种算法很有可能会在第一步迭代中将分数最高的窗口误认为存在物体，并基于此信息对之后的迭代进行判断。因此，这种算法可能会产生恶化的检测结果。同时，在空间模型的训练过程中，结构化支撑向量机需要对所有图片中的所有物体进行优化，以得到最终的模型，因此计算速度较慢。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种多物体检测的分离方法，降低物体检测的计算复杂度，极大减少了计算时间，提高检测速度。

为实现上述目的，本发明采用的技术方案是：本发明通过对图像局部特征检测结果进行分析，将每幅图像通过阈值法和极大值法计算分离为孤立的窗口。这些孤立的窗口仅携带自身的信息，以及少量其他窗口的信息。然后计算每个窗口与其他窗口的空间关系。这种方法不仅有效利用了图像中物体之间的空间关系，降低了计算的复杂度；而且由于窗口与窗口的分离，不会因为少量的错误结果而恶化所有的检测结果；同时，可以引入更多的空间关系特征，有效的提升了物体检测的结果。本发明优于已有的各种物体检测方法。

具体的，本发明所述数字图像中多物体检测的分离方法，具体步骤如下：

（1）采用局部特征对数字图像进行检测，并分离检测窗口

由于数字图像中通常存在多类物体，且每类物体的局部特征相对较为固定，因此可以通过局部特征对每一类物体进行检测。检测结果为不同尺度、位置的窗口。首先设定局部特征的阈值T1，随后对检测出的所有窗口进行分析，保留分数超过阈值T1的窗口，去除分数低于阈值T1的窗口。然后，定义七种不同的空间关系，分别为“覆盖”、“在上”、“在下”、“左右相邻”、“邻近”、“远离”、“重叠”。随后对保留的所有窗口，采用阈值法，或极大值法进行分离。其中阈值法和极大值法的具体步骤分别阐述如下：

①阈值法

对于保留的每一个窗口，也称为当前窗口，我们首先增加它的邻域。邻域的长度取窗口长度的3倍，且宽度去窗口长度的3倍。邻域的中心与当前窗口中心重合。其次设定分离阈值T2，且T2大于T1。对于邻域中所有的窗口，也称为邻域窗口，如果分数大于T2，则保留此邻域窗口，如果分数小于T2，则去除此邻域窗口。不同的窗口-邻域组合之间相互独立。

②极大值法

对保留的每一个当前窗口，与阈值法类似设定邻域，但邻域的大小为整张图片。邻域中的其他窗口，即邻域窗口可能属于多种物体类别。对每一类别，分别计算属于该类别的邻域窗口与当前窗口之间的空间关系。对属于这一类别、且与当前窗口构成某种空间关系的所有邻域窗口，仅保留其中分数最大的，并去除其余的。采用极大值法分离后的不同的窗口-邻域组合之间依然相互独立。

（2）根据分离的窗口信息构建空间特征，采用交叉验证选择最佳参数，并使用支撑向量机进行训练和测试

对于分离后的每个窗口-邻域组合，分别构建空间特征。由于不同的组合相互独立，即一个窗口-邻域组合的检测结果并不影响另一个窗口-邻域组合的检测结果，仅需要分别对每个组合进行检测，判断窗口中是否存在物体。

在本发明中，对窗口-邻域组合的检测和判断分别从构建空间关系特征、支撑向量机学习和判别两个方面描述如下：

①构建空间关系特征

在本发明中，对每一个窗口-邻域组合均计算其空间特征。空间关系特征为定长的数字向量，且由两部分组成，第一部分表示了当前窗口和邻域窗口之间的空间关系，标记为另一部分表示了图像中当前窗口在局部模型的可信度，标记为

对于前一部分计算方法如下：对于所有的物体类别，分别初始化长度为7维的零向量 的每一维均为0。统计在邻域中属于该类别的邻域窗口，并计算这些窗口和当前窗口之间的空间关系。建立从实数集合到正实数集合的映射函数ψ(x)＝e^λx,其中，λ为选取的参数，且满足λ>0。如果邻域窗口属于第k种空间关系，且邻域窗口的分数为s，则将的第k维增加ψ(s)。按不同的物体类别，将依次组合为一个大向量，此向量即为后一部分为一维向量，即为图像中当前窗口在局部模型的可信度。组合 则得到空间关系特征。

②支撑向量机训练和测试

对图像中分离的每一个窗口-邻域组合，均可计算其空间关系特征。本发明采用线性模型来对这些特征进行建模和识别。在训练集合上，使用支撑向量机学习空间关系特征每一维的权重，使得权重向量乘以特征向量的结果尽量符合真实值。然后在测试集合中，提取窗口-邻域组合的空间关系特征向量，然后将权重向量与特征向量相乘，如果大于某个阈值，则判断此窗口-邻域组合的当前窗口包含物体。

对图像中的每一类物体，均做以上的学习和判别步骤，然后根据判别的结果融合为最终的检测结果。

③选择最佳参数：使用交叉验证的方法选择最优参数λ。

（3）增加新的特征

在本发明中采用了阈值法和极大值法对窗口进行分离。由于在极大值法的分离过程中，属于每一个类、每一种空间关系的邻域窗口仅保留了分数最大的窗口，可以计算此邻域窗口和当前窗口的更多特征，如长宽比和重叠百分比。这些特征对多物体的检测也是有益的。引入新的特征后，空间关系特征的部分将会得到扩展。

具体实施过程如下：

对于所有的物体类别C以及空间关系S，分别初始化长度为3维的零向量 的每一维均为0。寻找在邻域中属于类别C，且与当前窗口的空间关系为S的邻域窗口。如果邻域中存在这样的窗口且分数为s，的第一维更新为ψ(s)。其中ψ为从实数集合到正实数集合的映射。计算邻域窗口与当前窗口长宽比的比值r，并将的第二维更新为r。计算邻域窗口与当前窗口重叠的百分比o，并将的第二维更新为o。按不同的物体类别和空间关系种类，将依次组合为一个大向量，此向量即为扩展后的 依然为一维向量，即为当前窗口的分数。随后，支撑向量机的学习和判别方式保持不变。

在阈值法分离中，不能增加新的特征。其原因在于阈值法的邻域中，属于一种物体类别、一种空间关系的邻域窗口可能有多个。而长宽比以及重叠百分比这样的特征仅对应于一个邻域窗口。实验可以证明，采用阈值法分离后，检测速度的提升明显，但检测结果的准确度提升有限。

与现有的技术相比，本发明方法采用阈值法或极大值法分离了每个窗口，并附加了对应的邻域，从而独立了每个窗口的判别过程，极大降低了运算的复杂度。这也是本发明的核心思想。本发明还在极大值法的基础上，引入了新的特征，实验证明新的特征可以明显提高多物体检测的准确度。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，本实施例提供一种物体检测的分离方法，可以分为以下几个步骤。

（1）采用局部特征对数字图像进行检测，并分离检测窗口

在本实施例中，首先采用局部特征对所有可能存在的物体进行检测，去掉低于局部特征阈值T1的窗口。定义七种不同的空间关系，分别为“覆盖”、“在上”、“在下”、“左右相邻”、“邻近”、“远离”、“重叠”。然后选择图像数据库中的一类物体，采用极大值法进行分离。即对保留的每一个当前窗口，设定整张图片的区域为当前窗口的邻域。对每个类别的邻域窗口，分别计算属于该类别的邻域窗口与当前窗口之间的空间关系并归类。在所有属于特定物体类别，并满足特定空间关系邻域窗口中，仅保留其中分数最大的，其余窗口均去除。

（2）根据分离的窗口信息构建并扩展空间特征，采用交叉验证选择最佳参数，并使用支撑向量机进行训练和测试

对于分离后的每个窗口-邻域组合，分别构建空间特征。由于不同的组合相互独立，即一个窗口-邻域组合的检测结果并不影响另一个窗口邻域组合的检测结果，仅需要分别对每个组合采用支撑向量机进行检测，判断窗口中是否存在物体。另外，由于在构造特征时使用的映射函数ψ包含参数λ，采用了交叉验证的方式选择了最佳的参数。下面分别针对空间特征的构造和扩展、支撑向量机的训练和测试以及交叉验证选择最优参数三个方面阐述如下：

①构建并扩展空间关系特征

在本实施例中，对于分离后的每一个窗口-邻域组合均计算并扩展其空间关系特征。空间关系特征由两部分组成，一部分表示了组合中所有当前窗口与邻域窗口之间的空间关系，标记为另一部分表示了当前窗口在局部模型中的可信度，标记为

对于前一部分计算方法如下：对于所有的物体类别C以及空间关系S，分别初始化长度为3维的零向量 的每一维均为0。寻找在邻域中属于类别C，且与当前窗口的空间关系为S的邻域窗口。如果邻域中存在这样的窗口且分数为s，的第一维更新为ψ(s)。其中ψ为从实数集合到正实数集合的映射ψ(x)＝e^λx。λ为选取的参数，且满足λ>0。计算邻域窗口与当前窗口长宽比的比值r，并将的第二维更新为r。计算邻域窗口与当前窗口重叠的百分比o，并将的第二维更新为o。按不同的物体类别和空间关系种类，将按顺序组合为一个大向量，此向量即为扩展后的

后一部分为一维向量，即为当前窗口的分数。将 两部分组合起来即构成最终的空间关系特征。

②支撑向量机训练和测试

对每个窗口-邻域组合的空间关系特征，采用支撑向量机在训练集合上进行训练，使得权重向量乘以特征向量的结果尽量符合真实值。然后使用训练得到的权重向量，在测试集合中将权重向量与提取出的空间关系特征向量相乘，如果大于阈值，则判断此窗口-邻域组合的当前窗口中含有物体。

对图像中的每一类物体，均做以上的学习和判别步骤，然后根据判别的结果融合为最终的检测结果。

③选择最佳参数

在本实施例中使用了交叉验证的方法选择最优参数λ。交叉验证的过程如下：

首先取参数λ的多个值，在每个交叉验证实验中，依次取其中的一个值进行试验。将图像的训练集合随机均分为5份，取其中第1份作为交叉验证的测试集，剩余4份作为交叉验证的训练集。对交叉验证的训练集进行训练，再在测试集上测试得到结果。然后依次取下一份作为测试集，其余为训练集进行训练和测试。直到取第五份完成后停止。将5次得到的结果，计算它们的平均准确率（AP）后，取5个AP的均值作为本次交叉验证实验最终输出。最终输出最高的交叉验证实验中使用的参数λ就是最优的参数。

本实施例用平均准确率（AP）来衡量物体检测的最终结果。AP通过一组对应的准确率-召回率而计算得到。其中准确率指最终的检测窗口中，检测正确的个数所占的百分比；而召回率指在最终的图像中，有多少百分比的物体被检测了出来。AP的计算公式如下：

$\mathrm{AP}={\∫}_0^1\mathrm{pre}\left(i\right)\mathrm{di}$

其中，pre(i)代指召回率为i时的准确率，AP代指最终的结果。

实例：

本实施例采用的图像数据库是PASCAL VOC 2007的所有图像。PASCAL VOC是在图像分类、图像检测、姿态识别等领域的权威比赛。使用了数据库中的所有的物体类别，分别为：aeroplane、bicycle、bird、boat、bottle、bus、car、cat、chair、cow、dining table、dog、horse、motorbike、person、potted plant、sheep、sofa、train、TV monitor，共20类。整个图像数据库共有10000张图像，其中训练集合和测试集合各占一半。在此数据集上，本实施例大大优于其他的物体检测方法。为了对比，这里给出了采用局部特征的检测模型（Def）、采用结构化支撑向量机的检测模型（SSVM）、使用阈值法的检测模型（Thr）以及采用极大值法并扩展空间特征的检测模型（Max）。分别使用上述4种方法进行训练和测试，得到的结果如表1所示。其中，对采用了空间关系的结构化支撑向量机的检测模型（SSVM）、使用阈值法的检测模型（Thr）以及采用极大值法并扩展空间特征的检测模型（Max），训练和测试所用的时间如表2所示。

表1各种物体检测方法的结果比较

表2各种物体检测方法的速度比较

从表1和表2可以得出结论，本发明方法对于图像中的大多物体类检测的结果都很好。与现有的物体检测方法相比，本发明：（1）有效利用了图像中物体之间的空间关系，极大降低了计算的复杂度；（2）分离了各个窗口，不会因为少量的错误结果恶化所有的检测结果；（3）使用极大值法分离并引入更多的空间关系特征，可以有效提升物体检测的结果。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种数字图像中多物体检测的分离方法，其特征在于，步骤如下：

(1)采用局部特征对数字图像进行检测，并分离检测窗口

采用局部特征对所有可能存在的物体进行检测，去掉低于局部特征阈值T1的窗口，定义七种不同的空间关系，分别为“覆盖”、“在上”、“在下”、“左右相邻”、“邻近”、“远离”、“重叠”；然后选择图像数据库中的一类物体，对保留的每一个当前窗口，采用阈值法或极大值法进行分离，分离后不同的窗口-邻域组合之间相互独立；

(2)根据分离的窗口信息构建空间特征，采用交叉验证选择最佳参数，并使用支撑向量机进行训练和测试；

①构建空间关系特征：对于分离后的每一个窗口-邻域组合均计算并构建空间关系特征；

②支撑向量机训练和测试：

训练步骤：对每个窗口-邻域组合的空间关系特征，采用支撑向量机在训练集合上进行训练，得到的权重向量；

判断步骤：在测试集合中将权重向量与提取出的空间关系特征向量相乘，如果大于阈值，则判断此窗口-邻域组合的当前窗口中含有物体；

对图像中的每一类物体，均做以上的训练和判断步骤，然后根据判断的结果融合为最终的检测结果；

③选择最佳参数：使用交叉验证的方法选择最优参数λ；

所述阈值法，具体为：对于保留的每一个当前窗口，首先增加它的邻域，邻域的长度取窗口长度的3倍，且宽度取窗口宽度的3倍，邻域的中心与当前窗口中心重合；其次设定分离阈值T2，对于邻域中所有的邻域窗口，如果分数大于T2，则保留此邻域窗口，如果分数小于T2，则去除此邻域窗口；

所述极大值法，具体如下：对保留的每一个当前窗口，设定邻域大小为整张图片，对每一物体类别，分别计算属于该类别的邻域窗口与当前窗口之间的空间关系，对属于这一类别、且与当前窗口构成某种空间关系的所有邻域窗口，仅保留其中分数最大的邻域窗口，并去除其余的邻域窗口；

所述构建空间关系特征，具体为：对每一个窗口-邻域组合计算其空间特征，空间关系特征由两部分组成，第一部分表示了当前窗口和邻域窗口之间的空间关系，标记为另一部分表示了图像中当前窗口在局部模型的可信度，标记为

对于前一部分分别对所有的物体类别初始化长度为7维的零向量的每一维均为0，统计在邻域中属于该类别的邻域窗口，并计算这些窗口和当前窗口之间的空间关系；建立从实数集合到正实数集合的映射函数ψ(x)＝e^λx，其中，λ为选取的参数，且满足λ>0；如果邻域窗口属于第k种空间关系，且邻域窗口的分数为s，则将第k维的数值增加ψ(s)；按不同的物体类别，将依次组合为一个大向量，此向量即为为一维向量，即为当前窗口在局部模型的可信度；组合则得到空间关系特征。

2.根据权利要求1所述的数字图像中多物体检测的分离方法，其特征是，所述采用极大值法进行分离后，在构建空间关系特征时能进一步扩展空间关系特征，具体为：对于所有的物体类别C以及空间关系S，分别初始化长度为3维的零向量寻找在邻域中属于类别C，且与当前窗口的空间关系为S的邻域窗口，如果邻域中存在这样的窗口且分数为s，的第一维更新为ψ(s)；计算邻域窗口与当前窗口长宽比的比值r，并将的第二维更新为r；计算邻域窗口与当前窗口重叠的百分比o，并将的第二维更新为o；按不同的物体类别和空间关系种类，将依次组合为一个大向量，此向量即为扩展后的为图像中当前窗口在局部模型的可信度，组合扩展后的则得到扩展后的空间关系特征,表示当前窗口和邻域窗口之间的空间关系。