CN101655909A - 匹配程度计算装置及方法 - Google Patents

Abstract

本发明公开了匹配程度计算装置及方法，其中，该匹配程度计算装置包括：样本选取模块，用于对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本用于特征训练；特征训练模块，用于对多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及匹配程度计算模块，用于基于通过特征训练模块训练好的多类特征和分类判别标准，计算得出输入图像中所有前景区域的匹配程度结果并进行分类。通过本发明，提高了算法的应用便捷性和对特征分类的准确性。

Description

匹配程度计算装置及方法

技术领域

本发明涉及目标相似度计算，尤其涉及在图像或视频数据中对目标区域与感兴趣目标的相似度进行计算并进行类别判定的匹配程度计算装置及方法。

背景技术

在图像分析的问题中，对检测区域与目标相似度的判断，是所有工作的前提。现有判断方法大致分为两类：基于判别理论的方法和基于相似度匹配理论的方法。

基于判别理论的方法主要是通过学习目标的统计特点，训练两类分类器，直接从图像中确定检测区域是否为目标。例如，先用区域增长法提取所有非草地区域，再利用预先手工标定好的图像训练支撑向量机(support vector machine，SVM)分类器，对非草地区域是否为球员进行识别，将识别为人的区域作为分割结果。此外，还可以利用手工标定大量训练图像的方式训练得到Boost型球员定位器，将定位器检测结果直接作为球员分割区域。还可以利用图像的梯度方位直方图(Histogram of Oriented Gradient，HOG)特征训练SVM分类器，对检测区域是否为行人或车辆作出判断。另外，还可以采用矩形特征来检测静态图像中的人体，用Boost方法自动选择人所在的区域。这类方法首先通过对手工标定好的正负样本进行学习，建立跟踪区域判别准则。然后在定位时，利用已经训练好的判别准则对目标区域进行判断。这类方法对已训练图像一般具有较高的分类正确率，但由于需要预先手工标定好大量训练图像，因此训练样本图像的标定工作相当困难。

另一方面，基于相似度匹配理论的方法首先确定图像中感兴趣区的大体位置，然后根据目标的特征信息对所有感兴趣区的匹配程度进行标定，按照匹配程度的大小，对检测区域是否为目标做出判断。例如，可利用检测区域与人物姿势的吻合程度，给出图像中每像素点的匹配程度。另外，可以利用颜色信息给出跟踪图像的匹配程度。此外，也有利用运动信息等其它特征确定匹配程度的方法。这类方法的优点是大多不受跟踪目标的形状和姿势变化的影响，并且特征计算方便。但是，由于需要对每个目标区域单独建立匹配模型，因此在对属于较少类别的多目标追踪问题中，计算效率不高。

综上所述，需要能够自动完成样本提取且能够提高计算效率的匹配程度计算装置及其方法。

发明内容

本发明的目的在于解决现有技术中所存在的问题。

根据本发明的一个方面，提供了一种匹配程度计算装置，用于在图像分析中计算目标区域的匹配程度并对目标区域进行分类，该匹配程度计算装置包括：样本选取模块，用于对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；特征训练模块，用于对多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及匹配程度计算模块，用于基于通过特征训练模块训练得到的多类特征和分类判别标准，计算得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进行分类。

其中，样本选取模块包括：训练图像集采集模块，用于从所输入的训练样本中采集预定数量的包括一个或多个前景区域的训练图像作为训练图像集；范围限制条件获取模块，用于统计训练图像集中的所有训练图像的大小和形状参数，获取对应于单一前景区域的范围限制条件；以及特征训练图像选择模块，用于基于通过范围限制条件获取模块所获取的范围限制条件，从所有训练图像中选择对应于单一前景区域的多个特征训练图像。

此外，范围限制条件获取模块包括：计算模块，用于求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训练图像的长、宽、以及长宽比所对应的均值和方差；以及范围限制条件确定模块，用于基于在计算模块中得到的均值和方差，确定范围限制条件。

优选地，特征训练模块包括：样本接收模块，用于接收从样本选取模块中输出的多个样本；特征提取模块，用于提取多个样本中每一个的特征；样本初始中心确定模块，用于计算多个样本之间的两两距离，并将距离最大的两个样本确定为第一类样本的初始中心和第二类样本的初始中心；以及样本分类模块，用于以通过样本初始中心确定模块所确定的初始中心为起点，综合使用最近邻和K均值两种自动聚类算法，通过迭代到最终收敛中心的方式得到第一阈值和第二阈值，然后利用第一阈值和第二阈值将多个样本分为第一类样本、第二类样本以及第三类样本。

另外，特征提取模块包括：转换模块，用于将多个样本的RGB图像信息转换到HSV特征空间；以及直方图信息提取模块，用于分别提取单一样本区域内HSV三通道的直方图信息作为多个样本的特征。

另外，样本分类模块还包括：迭代模块，用于计算每个样本与第一类样本的初始中心的第一距离以及与第二类样本的初始中心的第二距离，然后使用最近邻算法根据第一距离和第二距离的大小将所有样本分为第一类样本和第二类样本，使用K均值算法计算第一类样本和第二类样本的平均特征作为第一类样本和第二类样本新的中心，然后进行迭代处理直到所有样本类别变化个数总和为零；统计模块，用于统计第一类样本和第二类样本的个数，如果第一类样本和第二类样本的个数差大于预定值，则将样本数量较少的那类样本作为第三类样本，并对多个样本中剩余的样本重复样本初始中心确定模块和迭代模块中的处理，直到第一类样本的个数和第二类样本的个数差小于等于预定值为止；样本特征计算模块，用于在统计模块中确定第一类样本和第二类样本的个数差小于等于预定值的情况下，计算第一类样本和第二类样本的所有特征相对应的均值和协方差矩阵组；Mahalanobis距离计算装置，用于对每个样本计算所有特征的Mahalanobis距离之和，然后重复迭代模块、统计模块以及样本特征计算模块中的处理，直到所有样本类别变化个数总和为零；以及第三类样本个数确定模块，用于根据预定的概率，确定第一类样本和第二类样本中作为第三类样本的样本个数；阈值确定模块，用于将每一类样本到各自样本中心的Mahalanobis距离按照从大到小的顺序进行排序，将每类距离排序中从前到后、排名等于第三类样本个数的样本所对应的距离作为从第一类样本和第二类样本中剔除第三类样本的第一阈值和第二阈值；类别判断模块，用于基于第一阈值和第二阈值将多个样本分为第一类样本、第二类样本、以及第三类样本。

优选地，匹配程度计算模块包括：图像接收模块，用于接收包括待匹配目标区域的输入图像；以及前景区域选取模块，用于基于预定处理选取输入图像中的所有前景区域。

具体地，前景区域选取模块包括：背景去除模块，用于利用主颜色分割处理，从输入图像中去除背景区域；以及前景区域提取模块，用于利用单连通域选择处理，从经过背景去除模块处理的图像中提取所有前景区域。

另外，匹配程度确定模块还包括：匹配结果生成模块，用于基于通过特征训练模块训练好的两类特征，通过概率投影进行两次计算，给出输入图像中所有前景目标的匹配程度结果；以及类别判断模块，用于提取所有前景区域的特征并分别计算特征与通过特征训练模块训练得到的两类前景样本中心的Mahalanobis距离，按照最近邻算法将所有前景区域分为第一类样本和第二类样本，然后基于在特征训练模块中得到的分类判别标准，从第一类样本和第二类样本中剔除第三类样本，从而将所有前景区域分为第一类样本、第二类样本以及第三类样本。

根据本发明的另一方面，提供了一种匹配程度计算方法，用于在图像分析中计算目标区域的匹配程度并对目标区域进行分类，该方法包括以下步骤：样本选取步骤，使样本选择模块对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；特征训练步骤，使特征训练模块对多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及匹配程度计算步骤，使匹配程度计算模块基于在训练步骤中训练得到的多类特征和分类判别标准，计算得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进行分类。

其中，样本选取步骤还包括：训练图像集采集步骤，使训练图像集采集模块从所输入的训练样本中采集预定数量的包括一个或多个前景区域的训练图像作为训练图像集；范围限制条件获取步骤，使范围限制条件获取模块统计训练图像集中的所有训练图像的大小和形状参数，获取对应于单一前景区域的范围限制条件；以及特征训练图像选择步骤，使特征训练图像选择模块基于在范围限制条件获取步骤获取的范围限制条件，从所有训练图像中选择对应于单一前景区域的多个特征训练图像。

此外，范围限制条件获取步骤还包括：计算步骤，使计算模块求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训练图像的长、宽、以及长宽比所对应的均值和方差；以及范围限制条件确定步骤，用于使范围限制条件确定模块基于在计算步骤中得到的均值和方差，确定范围限制条件。

优选地，特征训练步骤还包括：样本接收步骤，用于使样本接收模块接收在样本选取步骤中输出的多个样本；特征提取步骤，用于使特征提取模块提取多个样本中每一个的特征；样本初始中心确定步骤，用于使样本初始中心确定模块计算多个样本之间的两两距离，并将距离最大的两个样本确定为第一类样本的初始中心和第二类样本的初始中心；样本分类步骤，用于使样本分类模块以在样本初始中心确定步骤中确定的初始中心为起点，综合使用最近邻和K均值两种自动聚类算法，通过迭代到最终收敛中心的方式得到第一阈值和第二阈值，然后利用第一阈值和第二阈值将多个样本分为第一类样本、第二类样本以及第三类样本。

另外，特征提取步骤还包括：转换步骤，使转换模块将多个样本的RGB图像信息转换到HSV特征空间；以及直方图信息提取步骤，使直方图信息提取模块分别提取单一样本区域内HSV三通道的直方图信息作为多个样本的特征。

另外，样本分类步骤还包括：迭代步骤，使迭代模块计算每个样本与第一类样本的初始中心的第一距离以及与第二类样本的初始中心的第二距离，然后使用最近邻算法根据第一距离和第二距离的大小将所有样本分为第一类样本和第二类样本，使用K均值算法计算第一类样本和第二类样本的平均特征作为第一类样本和第二类样本新的中心，然后进行迭代处理直到所有样本类别变化个数总和为零；统计步骤，使统计模块统计第一类样本和第二类样本的个数，如果第一类样本和第二类样本的个数差大于预定值，则将样本数量较少的那类样本作为第三类样本，并对多个样本中剩余的样本重复样本初始中心确定模块和迭代模块中的处理，直到第一类样本的个数和第二类样本的个数差小于等于预定值为止；样本特征计算步骤，使样本特征计算模块在统计步骤中确定第一类样本和第二类样本的个数差小于等于预定值的情况下，计算第一类样本和第二类样本的所有特征相对应的均值和协方差矩阵组；Mahalanobis距离计算步骤，使Mahalanobis距离计算装置对每个样本计算所有特征的Mahalanobis距离之和，然后重复迭代步骤、统计步骤以及样本特征计算步骤中的处理，直到所有样本类别变化个数总和为零；以及第三类样本个数确定步骤，使第三类样本个数确定模块根据预定的概率，确定第一类样本和第二类样本中作为第三类样本的样本个数；阈值确定步骤，使阈值确定模块将每一类样本到各自样本中心的Mahalanobis距离按照从大到小的顺序进行排序，将每类距离排序中从前到后、排名等于第三类样本个数的样本所对应的距离作为从第一类样本和第二类样本中剔除第三类样本的第一阈值和第二阈值；分类步骤，使类别判断模块基于第一阈值和第二阈值将多个样本分为第一类样本、第二类样本、以及第三类样本。

优选地，匹配程度计算步骤还包括：图像接收步骤，使图像接收模块接收包括待匹配目标区域的输入图像；以及前景区域选取步骤，使前景区域选取模块基于预定处理选取输入图像中的所有前景区域。

具体地，前景区域选取步骤还包括：背景去除步骤，使背景去除模块利用主颜色分割处理，从输入图像中去除背景区域；以及前景区域提取步骤，使前景区域提取模块利用单连通域选择处理，从经过背景去除模块处理的图像中提取所有前景区域。

另外，匹配程度确定步骤还包括：匹配结果生成步骤，使匹配结果生成模块基于通过在训练步骤中训练好的两类特征，通过概率投影进行两次计算，给出输入图像中所有前景目标的匹配程度结果；以及类别判断步骤，使类别判断模块提取所有前景区域的特征并分别计算特征与通过特征训练模块训练得到的两类前景样本中心的Mahalanobis距离，按照最近邻算法将所有前景区域分为第一类样本和第二类样本，然后基于在特征训练步骤中得到的分类判别标准，从第一类样本和第二类样本中剔除第三类样本，从而将所有前景区域分为第一类样本、第二类样本以及第三类样本。

因而，在训练过程中，所有工作都不需要手工的干预，由系统自动完成对单一前景区域训练样本的提取及自动分类；对一张待匹配图像中，属于两种类别的多个跟踪区域，仅通过两次计算，就可以给出全部区域各自对应的匹配程度及分类结果；以及可以在对一类样本增强匹配程度的同时，减少另一类样本的匹配程度，从而减轻后续分析过程中两类样本间的相互影响。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是示出根据本发明的匹配程度计算装置100的框图；

图2是示出根据本发明的样本选取模块102的框图；

图3是示出根据本发明的特性训练模块104的框图；

图4是示出根据本发明的样本分类模块148的框图；

图5是示出根据本发明的匹配程度计算模块106的框图；

图6是示出根据本发明的匹配程度计算方法的流程图；

图7是示出根据本发明实施例的系统流程；

图8是示出根据本发明实施例的训练样本的图像特征的示图；

图9是示出根据本发明实施例的匹配程度计算的流程图；

图10是示出从待匹配图像中提取所有前景区域的示图；

图11示出了经过训练得到的两类前景样本中心对应的直方图概率分布曲线；

图12是示出根据本发明实施例的待匹配图像的相似度投影和匹配结果图；以及

图13是示出根据本发明实施例的所有前景区域的匹配程度图像及分类结果的实验结果的示图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本部分实施例以对体育图像或视频中足球运动员区域的匹配程度计算和类别判断为例，但本发明不限于足球运动员的匹配程度计算，而是还可以用于其他情况。

图1是示出根据本发明的匹配程度计算装置100的框图。

如图1所示，匹配程度计算装置100包括：样本选取模块102，用于对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；特征训练模块104，用于对多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及匹配程度计算模块106，用于基于通过特征训练模块104训练得到的多类特征和分类判别标准，通过两次计算，得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进行分类。

如图2所示，样本选取模块102包括：训练图像集采集模块122，用于从所输入的训练样本中采集预定数量的包括一个或多个前景区域的训练图像作为训练图像集；范围限制条件获取模块124，用于统计训练图像集中的所有训练图像的大小和形状参数获取对应于单一前景区域的范围限制条件；以及特征训练图像选择模块126，用于基于通过范围限制条件获取模块124所获取的范围限制条件，从所有训练图像中选择对应于单一前景区域的多个特征训练图像。

此外，范围限制条件获取模块124包括：计算模块1242，用于求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训练图像的长、宽、以及长宽比所对应的均值和方差；以及范围限制条件确定模块1244，用于基于在计算模块1242中得到的均值和方差，确定范围限制条件。

如图3所示，特征训练模块104包括：样本接收模块142，用于接收从样本选取模块102中输出的多个样本；特征提取模块144，用于提取多个样本中每一个的特征；样本初始中心确定模块146，用于计算多个样本之间的两两距离，并将距离最大的两个样本确定为第一类样本的初始中心和第二类样本的初始中心；以及样本分类模块148，用于以通过样本初始中心确定模块146所确定的初始中心为起点，综合使用最近邻和K均值两种自动聚类算法，通过迭代到最终收敛中心的方式得到第一阈值和第二阈值，然后利用第一阈值和第二阈值将多个样本分为第一类样本、第二类样本以及第三类样本。

另外，特征提取模块144包括：转换模块1442，用于将多个样本的RGB图像信息转换到HSV特征空间；以及直方图信息提取模块1444，用于分别提取单一样本区域内HSV三通道的直方图信息作为多个样本的特征。

另外，如图4所示，样本分类模块148还包括：迭代模块1482，用于计算每个样本与第一类样本的初始中心的第一距离以及与第二类样本的初始中心的第二距离，然后使用最近邻算法根据第一距离和第二距离的大小将所有样本分为第一类样本和第二类样本，使用K均值算法计算第一类样本和第二类样本的平均特征作为第一类样本和第二类样本新的中心，然后进行迭代处理直到所有样本类别变化个数总和为零；统计模块1484，用于统计第一类样本和第二类样本的个数，如果第一类样本和第二类样本的个数差大于预定值，则将样本数量较少的那类样本作为第三类样本，并对多个样本中剩余的样本重复样本初始中心确定模块和迭代模块中的处理，直到第一类样本的个数和第二类样本的个数差小于等于预定值为止；样本特征计算模块1486，用于在统计模块1484中确定第一类样本和第二类样本的个数差小于等于预定值的情况下，计算第一类样本和第二类样本的所有特征相对应的均值和协方差矩阵组；Mahalanobis距离计算装置1488，用于对每个样本计算所有特征的Mahalanobis距离之和，然后重复迭代模块1482、统计模块1484以及样本特征计算模块1486中的处理，直到所有样本类别变化个数总和为零；以及第三类样本个数确定模块1490，用于根据预定的概率，确定第一类样本和第二类样本中作为第三类样本的样本个数；阈值确定模块1492，用于将每一类样本到各自样本中心的Mahalanobis距离按照从大到小的顺序进行排序，将每类距离排序中从前到后、排名等于第三类样本个数的样本所对应的距离作为从第一类样本和第二类样本中剔除第三类样本的第一阈值和第二阈值；以及类别判断模块1494，用于基于第一阈值和第二阈值将多个样本分为第一类样本、第二类样本、以及第三类样本。

如图5所示，匹配程度计算模块106包括：图像接收模块162，用于接收包括待匹配目标区域的输入图像；以及前景区域选取模块164，用于基于预定处理选取输入图像中的所有前景区域。

具体地，前景区域选取模块164包括：背景去除模块1642，用于利用主颜色分割处理，从输入图像中去除背景区域；以及前景区域提取模块1644，用于利用单连通域选择处理，从经过背景去除模块处理的图像中提取所有前景区域。

另外，匹配程度确定模块106还包括：匹配结果生成模块166，用于基于通过特征训练模块104训练好的两类特征，通过概率投影进行两次计算，给出输入图像中所有前景目标的匹配程度结果；以及类别判断模块168，用于提取所有前景区域的特征并分别计算特征与通过特征训练模块104训练得到的两类前景样本中心的Mahalanobis距离，按照最近邻算法将所有前景区域分为第一类样本和第二类样本，然后基于在特征训练模块104中得到的分类判别标准，从第一类样本和第二类样本中剔除第三类样本，从而将所有前景区域分为第一类样本、第二类样本以及第三类样本。

图6是示出根据本发明的匹配程度计算方法的流程图。

参照图6，该匹配程度计算方法包括：样本选取步骤S602，使样本选择模块对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；特征训练步骤S604，使特征训练模块对多个样本执行预定处理，以自动完成两类特征的训练以及分类判别标准的确定；以及匹配程度计算步骤S606，使匹配程度计算模块基于在训练步骤中训练得到的两类特征和分类判别标准，通过两次计算，得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进行分类。

下面，参照图7至图13详细描述本发明的实施例。

注意，在本发明的实施例中，以检测两类对象为例，但本发明不限于此，本发明还可用于检测三类或三类以上的对象。

图7是示出根据本发明实施例的系统流程。该流程分为训练样本选择、特征训练和匹配三个部分。

首先，描述训练阶段的处理。

701中所有的训练样本为尽量多包含单一前景区域的前景图像。

在702中进行训练样本的选择，具体过程如下：

求取所有训练样本图像的长、宽及长宽比参数，并进行保存；分别计算所有训练图像长、宽及长宽比各自对应的两个参数，即，均值与方差，从而得到：(W，σ_W)，(H，σ_H)，

基于长、宽及长宽比各自对应的均值与方差，确定范围限制条件，假设样本长、宽及长宽比参数为：(W，H，ratio)，则范围限制条件定义为：

$\left\{\begin{array}{c}(\stackrel{\&OverBar;}{W},{-\mathrm{\&sigma;}}_W)<W<(\stackrel{\&OverBar;}{W},+{\mathrm{\&sigma;}}_W)\\ (\stackrel{\&OverBar;}{H},-{\mathrm{\&sigma;}}_H)<H<(\stackrel{\&OverBar;}{H},+{\mathrm{\&sigma;}}_H)\\ (\stackrel{\&OverBar;}{\mathrm{rati}{o}_{\frac{W}{H}}},-{\mathrm{\&sigma;}}_{\frac{W}{H}})<\mathrm{ratio}<(\stackrel{\&OverBar;}{\mathrm{rati}{o}_{\frac{W}{H}}},+{\mathrm{\&sigma;}}_{\frac{W}{H}})\end{array}\right.;$ 以及

将所有符合长、宽及长宽比限制条件的最终训练图像作为输出，发送到特征训练模块用于训练。

在单一前景区域选取的过程中：可以具体根据前景样本类别的不同来选择不同的形状限制方式；大小、形状的限制方式以选择的前景区域对应单个跟踪目标为标准；并且所有训练图像不需要用手工标定任何信息。

接下来，在703中进行特征训练，训练过程具体如下：

(1)输入所有符合单一前景区域范围限制条件的最终训练样本图像；

(2)提取所有最终训练样本图像的特征，在本实施中采用如下特征提取处理：对于每个最终训练样本图像，首先将RGB图像信息转换到HSV特征空间；其次，提取单一样本区域内HSV三通道各自的直方图信息，作为三类特征，训练样本的图像特征如图8所示；

(3)用HSV三个直方图的欧式距离平方和D_ij作为评价方式，确定所有最终训练样本图像特征之间的两两距离；

$D_{\mathrm{ij}}=\underset{k=1}{\overset{n_H}{\mathrm{\&Sigma;}}}{(h_{\mathrm{ik}}-h_{\mathrm{jk}})}^2+\underset{k=1}{\overset{n_S}{\mathrm{\&Sigma;}}}{(s_{\mathrm{ik}}-s_{\mathrm{jk}})}^2+\underset{k=1}{\overset{n_V}{\mathrm{\&Sigma;}}}{(v_{\mathrm{ik}}-v_{\mathrm{jk}})}^2$

其中，i，j为表示训练集中第i，j个样本的编号；n_H，n_S，n_V对应表示HSV三通道直方图的维数，h_ik，s_ik，v_ik表示第i个样本的HSV三通道直方图每一维上的系数，h_jk，s_jk，v_jk同理；

(4)将D_ij距离最大的两个样本作为两类样本的初始中心；

(5)利用距离评价方式D，计算每个样本对该类样本特征中心的距离D_A，D_B：

$\left\{\begin{array}{c}{D}_A=\underset{k=1}{\overset{n_H}{\mathrm{\&Sigma;}}}{(h_k-\stackrel{\&OverBar;}{h_{\mathrm{Ak}}})}^2+\underset{k=1}{\overset{n_S}{\mathrm{\&Sigma;}}}{(s_k-\stackrel{\&OverBar;}{s_{\mathrm{Ak}}})}^2+\underset{k=1}{\overset{n_V}{\mathrm{\&Sigma;}}}{(v_k-\stackrel{\&OverBar;}{v_{\mathrm{Ak}}})}^2\\ D_B=\underset{k=1}{\overset{n_H}{\mathrm{\&Sigma;}}}{(h_k-\stackrel{\&OverBar;}{h_{\mathrm{Bk}}})}^2+\underset{k=1}{\overset{n_S}{\mathrm{\&Sigma;}}}{(s_k-\stackrel{\&OverBar;}{s_{\mathrm{Bk}}})}^2+\underset{k=1}{\overset{n_V}{\mathrm{\&Sigma;}}}{(v_k-\stackrel{\&OverBar;}{v_{\mathrm{Bk}}})}^2\end{array}\right.$

其中，h_Ak，s_Ak，v_Ak表示特征中心A，HSV三通道直方图每一维上的系数，h_Bk，s_Bk，v_Bk同理。

然后，使用最近邻分类方法，根据D_A，D_B的大小将所有样本分为AB两类，具体处理方法为：

然后，分别计算AB两类样本平均特征，作为新的特征中心：

$\left\{\begin{array}{c}{C}_A=\frac{1}{n_A}\underset{k=1}{\overset{n_A}{\mathrm{\&Sigma;}}}{S}_{\mathrm{Ak}}\\ C_B=\frac{1}{n_B}\underset{k=1}{\overset{n_B}{\mathrm{\&Sigma;}}}{S}_{\mathrm{Bk}}\end{array}\right.$

其中，C_A表示A类样本特征中心，n_A为A类样本总数，S_Ak为A类中第k个样本；C_B，n_B，S_Bk同理；

然后进行迭代分类，直到所有样本类别变化个数总和为零，从而将所有样本图像分为AB两类；

(6)统计两类样本的个数，如果总数相差过大，则将样本数较少的那类作为背景类C；否则，进入(8)；

(7)对剩余样本重复(3)～(6)的处理，直到两类样本个数相当；

(8)统计两类样本所有特征对应的均值C_A，C_B与协方差矩阵组Cov_A，Cov_B：

$\left\{\begin{array}{c}{\mathrm{Cov}}_A=({\mathrm{cov}}_{\mathrm{AH}},{\mathrm{cov}}_{\mathrm{AS}},{\mathrm{cov}}_{\mathrm{AV}})\\ {\mathrm{Cov}}_B=({\mathrm{cov}}_{\mathrm{BH}},{\mathrm{cov}}_{\mathrm{BS}},{\mathrm{cov}}_{\mathrm{BV}})\end{array}\right.,$

${\mathrm{cov}}_{\mathrm{AH}}=\frac{1}{n_A}\underset{k=1}{\overset{n_A}{\mathrm{\&Sigma;}}}{(S_{\mathrm{AkH}}-C_{\mathrm{AH}})}^T\&CenterDot;(S_{\mathrm{Ak}}-C_{\mathrm{AH}})$

其中，S_AkH为A类中第k个样本的H直方图特征，C_AH为A类中心的H直方图特征，cov_AH为A类样本H通道特征对应的协方差矩阵，S_BkH，C_BH，cov_AS，cov_AV，cov_BH，cov_BS，cov_BV同理；

(9)对每个样本计算对特征中心C_A，C_B，HSV三通道的Mahalanobis距离之和D_M，来替换距离评价方式D：

$\left\{\begin{array}{c}{D}_{\mathrm{MAi}}={(S_{\mathrm{iH}}-C_{\mathrm{AH}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{AH}}^{-1}\&CenterDot;(S_{\mathrm{iH}}-C_{\mathrm{AH}})+{(S_{\mathrm{iS}}-C_{\mathrm{AS}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{AS}}^{-1}\&CenterDot;(S_{\mathrm{iS}}-C_{\mathrm{AS}})+{(S_{\mathrm{iV}}-C_{\mathrm{AV}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{AV}}^{-1}\&CenterDot;(S_{\mathrm{iV}}-C_{\mathrm{AV}})\\ D_{\mathrm{MBi}}={(S_{\mathrm{iH}}-C_{\mathrm{BH}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{BH}}^{-1}\&CenterDot;(S_{\mathrm{iH}}-C_{\mathrm{BH}})+{(S_{\mathrm{iS}}-C_{\mathrm{BS}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{BS}}^{-1}\&CenterDot;(S_{\mathrm{iS}}-C_{\mathrm{BS}})+{(S_{\mathrm{iV}}-C_{\mathrm{BV}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{BV}}^{-1}\&CenterDot;(S_{\mathrm{iV}}-C_{\mathrm{BV}})\end{array}\right.$

其中，S_iH表示所有训练样本中第i个样本的H直方图特征，其它同理；

重复(5)～(9)的处理，直到所有样本类别变化个数总和为零；

(10)假设在(9)的分类完毕后的结果中每类包含背景的概率为θ，则两类中作为背景类的样本个数 $\left\{\begin{array}{c}{N}_A=n_A\&times;\mathrm{\&theta;}\\ N_B=n_B\&times;\mathrm{\&theta;}\end{array}\right.;$

(11)将每类样本到各自特征均值的Mahalanobis距离按照从大到小的顺序进行排序，将距离最大的第N_A，N_B个样本对应的距离作为从每类中剔除背景图像的阈值D_thd，A，D_thd，B；

(12)利用阈值D_thd，A，D_thd，B，分别从两类样本中剔除背景样本，对所有训练样本图像进行类别判断；

在训练过程中，使用对应于单一目标的图像作为训练图像，且训练得到的特征匹配程度是对应于单一目标的。

此外，用无须估计参数的距离评价方式确定两类样本的初始分布中心，用无须估计参数的距离评价方式，通过迭代收敛方法将所有样本分为两类，用无须估计参数的距离评价方式，通过迭代收敛方法，初步剔除背景样本。然后，对于每个样本来说，如果包含多类特征，则用所有特征各自对应的Mahalanobis距离之和D_M表示每个样本与所属类中心的差异，利用对所有样本与各自对应特征均值距离排序的方法，将给定的背景类占样本数量的百分比阈值，转换为每类剔除背景图像的距离阈值D_thd，A，D_thd，B。

接下来，参照图9描述匹配程度计算阶段704的处理，具体过程如下：

在901中，输入所有待匹配目标区域所在的图像；

在902中，利用主颜色分割方法，从待匹配图像中去除背景区域；

在903中，利用单连通域选择方法，从待匹配图像中提取所有前景区域，如图10所示；

在904中，利用训练好的特征，通过概率投影的方法，经两次计算，给出所有前景目标区域的匹配程度；

图11示出了经过训练得到的两类前景样本中心对应的直方图概率分布曲线。其中，横坐标为HSV特征值，纵轴为相似度匹配结果。任意给定HSV特征值，垂直向两条曲线上投影，投影点的纵坐标就是该特征值对应的匹配程度。从图11可以看出，同一特征值经AB两条曲线得到的投影相似度匹配结果S_A、S_B不同。

将每张待匹配图像经两直方图曲线投影得到对应于两类样本的相似度匹配结果，如图12(a)、图12(b)所示。

在905中，提取所有前景区域的HSV直方图特征，并分别计算其与训练得到的两类前景样本特征中心的Mahalanobis距离D_MA，D_MB；

$\left\{\begin{array}{c}{D}_{\mathrm{MA}}={(S_H-C_{\mathrm{AH}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{AH}}^{-1}\&CenterDot;(S_H-C_{\mathrm{AH}})+{(S_S-C_{\mathrm{AS}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{AS}}^{-1}\&CenterDot;(S_S-C_{\mathrm{AS}})+{(S_V-C_{\mathrm{AV}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{AV}}^{-1}\&CenterDot;(S_V-C_{\mathrm{AV}})\\ D_{\mathrm{MB}}={(S_H-C_{\mathrm{BH}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{BH}}^{-1}\&CenterDot;(S_H-C_{\mathrm{BH}})+{(S_S-C_{\mathrm{BS}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{BS}}^{-1}\&CenterDot;(S_S-C_{\mathrm{BS}})+{(S_V-C_{\mathrm{BV}})}^T\&CenterDot;{\mathrm{cov}}_{\mathrm{BV}}^{-1}\&CenterDot;(S_V-C_{\mathrm{BV}})\end{array}\right.$

然后，将计算得到的距离，根据每类对应的剔除背景图像阈值D_thd，A，D_thd，B，使用公式<1>对前景样本作判断，将其分为AB两类前景或C类背景。

接下来，根据每个前景目标区域分类结果，从903得到的两张匹配图像中，挑选对应区域作为匹配程度计算的结果。例如，样本i被判断为属于A类，则选取A类直方图投影结果图像中样本i所对应的区域，作为样本i的匹配程度计算结果。

如图12的方框中的小区域所示，在输出的两张匹配结果图像中，A类目标的匹配程度在对应A类目标的匹配图像(a)中，明显大于其在对应B类目标图像(b)中的匹配程度(亮度对应匹配程度，越亮，匹配程度越高)。B类目标结果同理。

可以看出，本发明可在对一类样本增强匹配程度的同时，减少了另一类样本的匹配程度，从而减轻后续分析过程中，两类样本间的相互影响。

在匹配程度计算阶段中，根据训练好的两类前景特征均值，对每个待匹配前景区域使用概率投影的方式计算匹配程度，仅通过两次计算，就能够完成多个目标区域匹配程度的计算。

此外，匹配程度计算模块可以同时给出目标区域的匹配程度及分类结果，并且可以在对一类样本增强匹配程度的同时，减少另一类样本的匹配程度，从而以减轻后续分析过程中两类样本间的相互影响。

图13是示出所有前景区域的匹配程度图像及分类结果的实验结果的示图。实验结果表明，本方法对多目标匹配程度的确定，便捷、准确而有效。

通过本发明的技术方案，实现了以下优点：在训练过程中，所有工作都不需要手工的干预，由系统自动完成对单一前景区域训练样本的提取及自动分类；对一张待匹配图像中，属于两种类别的多个跟踪区域，仅通过两次计算，就可以给出全部区域各自对应的匹配程度及分类结果；以及可以在对一类样本增强匹配程度的同时，减少另一类样本的匹配程度，从而减轻后续分析过程中两类样本间的相互影响。

注意，实施例仅给出了本发明在一种特定环境下的应用方式，对算法不具有限定条件。本系统应用于图像或者视频数据中对目标区域匹配程度的计算及类别判定。该方法也可以与其他特征和方法联合来共同完成两类目标匹配程度的计算与分类。通过本发明，提高了算法的应用便捷性和对特征分类的准确性。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种匹配程度计算装置，用于在图像分析中计算目标区域的匹配程度并对所述目标区域进行分类，其特征在于，所述匹配程度计算装置包括：

样本选取模块，用于对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；

特征训练模块，用于对所述多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及

匹配程度计算模块，用于基于通过所述特征训练模块训练得到的多类特征和分类判别标准，计算得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进行分类。

2.根据权利要求1所述的匹配程度计算装置，其特征在于，所述样本选取模块包括：

训练图像集采集模块，用于从所输入的训练样本中采集预定数量的包括一个或多个前景区域的训练图像作为训练图像集；

范围限制条件获取模块，用于统计所述训练图像集中的所有训练图像的大小和形状参数，获取对应于单一前景区域的范围限制条件；以及

特征训练图像选择模块，用于基于通过所述范围限制条件获取模块所获取的所述范围限制条件，从所有训练图像中选择对应于单一前景区域的所述多个特征训练图像。

3.根据权利要求2所述的匹配程度计算装置，其特征在于，所述范围限制条件获取模块包括：

计算模块，用于求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训练图像的长、宽、以及长宽比所对应的均值和方差；以及

范围限制条件确定模块，用于基于在所述计算模块中得到的所述均值和所述方差，确定范围限制条件。

4.根据权利要求1所述的匹配程度计算装置，其特征在于，所述特征训练模块包括：

样本接收模块，用于接收从所述样本选取模块中输出的所述多个样本；

特征提取模块，用于提取所述多个样本中每一个的特征；

样本初始中心确定模块，用于计算所述多个样本之间的两两距离，并将距离最大的两个样本确定为第一类样本的初始中心和第二类样本的初始中心；以及

样本分类模块，用于以通过所述样本初始中心确定模块所确定的所述初始中心为起点，综合使用最近邻和K均值两种自动聚类算法，通过迭代到最终收敛中心的方式得到第一阈值和第二阈值，然后利用所述第一阈值和所述第二阈值将所述多个样本分为所述第一类样本、所述第二类样本以及第三类样本。

5.根据权利要求4所述的匹配程度计算装置，其特征在于，所述特征提取模块包括：

转换模块，用于将所述多个样本的RGB图像信息转换到HSV特征空间；以及

直方图信息提取模块，用于分别提取单一样本区域内HSV三通道的直方图信息作为所述多个样本的特征。

6.根据权利要求4所述的匹配程度计算装置，其特征在于，所述样本分类模块还包括：

迭代模块，用于计算每个样本与所述第一类样本的初始中心的第一距离以及与所述第二类样本的初始中心的第二距离，然后使用最近邻算法根据所述第一距离和所述第二距离的大小将所有样本分为所述第一类样本和所述第二类样本，使用K均值算法计算所述第一类样本和所述第二类样本的平均特征作为所述第一类样本和所述第二类样本新的中心，然后进行迭代处理直到所有样本类别变化个数总和为零；

统计模块，用于统计所述第一类样本和所述第二类样本的个数，如果所述第一类样本和所述第二类样本的个数差大于预定值，则将样本数量较少的那类样本作为第三类样本，并对所述多个样本中剩余的样本重复所述样本初始中心确定模块和所述迭代模块中的处理，直到所述第一类样本的个数和所述第二类样本的个数差小于等于所述预定值为止；

样本特征计算模块，用于在所述统计模块中确定所述第一类样本和所述第二类样本的个数差小于等于所述预定值的情况下，计算所述第一类样本和所述第二类样本的所有特征相对应的均值和协方差矩阵组；

Mahalanobis距离计算装置，用于对每个样本计算所有特征的Mahalanobis距离之和，然后重复所述迭代模块、所述统计模块以及所述样本特征计算模块中的处理，直到所有样本类别变化个数总和为零；以及

第三类样本个数确定模块，用于根据预定的概率，确定所述第一类样本和所述第二类样本中作为第三类样本的样本个数；

阈值确定模块，用于将每一类样本到各自样本中心的Mahalanobis距离按照从大到小的顺序进行排序，将每类距离排序中从前到后、排名等于第三类样本个数的样本所对应的距离作为从所述第一类样本和所述第二类样本中剔除所述第三类样本的所述第一阈值和所述第二阈值；以及

类别判断模块，用于基于所述第一阈值和所述第二阈值将所述多个样本分为所述第一类样本、所述第二类样本、以及所述第三类样本。

7.根据权利要求1所述的匹配程度计算装置，其特征在于，所述匹配程度计算模块包括：

图像接收模块，用于接收包括待匹配目标区域的所述输入图像；以及

前景区域选取模块，用于基于预定处理选取所述输入图像中的所有前景区域。

8.根据权利要求7所述的匹配程度计算装置，其特征在于，所述前景区域选取模块还包括：

背景去除模块，用于利用主颜色分割处理，从所述输入图像中去除背景区域；以及

前景区域提取模块，用于利用单连通域选择处理，从经过所述背景去除模块处理的图像中提取所有前景区域。

9.根据权利要求7所述的匹配程度计算装置，其特征在于，所述匹配程度计算模块还包括：

匹配结果生成模块，用于基于通过所述特征训练模块训练好的两类特征，通过概率投影进行两次计算，给出输入图像中所有前景的匹配程度结果；以及

类别判断模块，用于提取所有前景区域的特征并分别计算所述特征与通过所述特征训练模块训练得到的两类前景样本中心的Mahalanobis距离，按照最近邻算法将所有前景区域分为第一类样本和第二类样本，然后基于在所述特征训练模块中得到的所述分类判别标准，从所述第一类样本和所述第二类样本中剔除第三类样本，从而将所有前景区域分为所述第一类样本、所述第二类样本以及所述第三类样本。

10.一种匹配程度计算方法，用于在图像分析中计算目标区域的匹配程度并对所述目标区域进行分类，其特征在于，所述方法包括以下步骤：

样本选取步骤，使样本选择模块对输入的训练样本进行选取，以得到对应于单一前景区域的多个样本作为多个特征训练图像；

特征训练步骤，使特征训练模块对所述多个样本执行预定处理，以自动完成多类特征的训练以及分类判别标准的确定；以及

匹配程度计算步骤，使匹配程度计算模块基于在所述训练步骤中训练得到的多类特征和分类判别标准，计算得到关于输入图像中所有前景区域的匹配程度结果并对所有前景区域进行分类。

11.根据权利要求10所述的匹配程度计算方法，其特征在于，所述样本选取步骤还包括：

训练图像集采集步骤，使训练图像集采集模块从所输入的训练样本中采集预定数量的包括一个或多个前景区域的训练图像作为训练图像集；

范围限制条件获取步骤，使范围限制条件获取模块统计所述训练图像集中的所有训练图像的大小和形状参数，获取对应于单一前景区域的范围限制条件；以及

特征训练图像选择步骤，使特征训练图像选择模块基于在所述范围限制条件获取步骤获取的所述范围限制条件，从所有训练图像中选择对应于单一前景区域的所述多个特征训练图像。

12.根据权利要求11所述的匹配程度计算方法，其特征在于，所述范围限制条件获取步骤还包括：

计算步骤，使计算模块求取所有训练图像的长、宽、以及长宽比参数，并分别计算所有训练图像的长、宽、以及长宽比所对应的均值和方差；以及

范围限制条件确定步骤，用于使范围限制条件确定模块基于在所述计算步骤中得到的所述均值和所述方差，确定范围限制条件。

13.根据权利要求10所述的匹配程度计算方法，其特征在于，所述特征训练步骤还包括：

样本接收步骤，用于使样本接收模块接收在所述样本选取步骤中输出的所述多个样本；

特征提取步骤，用于使特征提取模块提取所述多个样本中每一个的特征；

样本初始中心确定步骤，用于使样本初始中心确定模块计算所述多个样本之间的两两距离，并将距离最大的两个样本确定为第一类样本的初始中心和第二类样本的初始中心；

样本分类步骤，用于使样本分类模块以在所述样本初始中心确定步骤中确定的所述初始中心为起点，综合使用最近邻和K均值两种自动聚类算法，通过迭代到最终收敛中心的方式得到第一阈值和第二阈值，然后利用所述第一阈值和所述第二阈值将所述多个样本分为所述第一类样本、所述第二类样本以及第三类样本。

14.根据权利要求13所述的匹配程度计算方法，其特征在于，所述特征提取步骤还包括：

转换步骤，使转换模块将所述多个样本的RGB图像信息转换到HSV特征空间；以及

直方图信息提取步骤，使直方图信息提取模块分别提取单一样本区域内HSV三通道的直方图信息作为所述多个样本的特征。

15.根据权利要求13所述的匹配程度计算方法，其特征在于，所述样本分类步骤还包括：

迭代步骤，使迭代模块计算每个样本与所述第一类样本的初始中心的第一距离以及与所述第二类样本的初始中心的第二距离，然后使用最近邻算法根据所述第一距离和所述第二距离的大小将所有样本分为所述第一类样本和所述第二类样本，使用K均值算法计算所述第一类样本和所述第二类样本的平均特征作为所述第一类样本和所述第二类样本新的中心，然后进行迭代处理直到所有样本类别变化个数总和为零；

统计步骤，使统计模块统计所述第一类样本和所述第二类样本的个数，如果所述第一类样本和所述第二类样本的个数差大于预定值，则将样本数量较少的那类样本作为第三类样本，并对所述多个样本中剩余的样本重复所述样本初始中心确定模块和所述迭代模块中的处理，直到所述第一类样本的个数和所述第二类样本的个数差小于等于所述预定值为止；

样本特征计算步骤，使样本特征计算模块在所述统计步骤中确定所述第一类样本和所述第二类样本的个数差小于等于所述预定值的情况下，计算所述第一类样本和所述第二类样本的所有特征相对应的均值和协方差矩阵组；

Mahalanobis距离计算步骤，使Mahalanobis距离计算装置对每个样本计算所有特征的Mahalanobis距离之和，然后重复所述迭代步骤、所述统计步骤以及所述样本特征计算步骤中的处理，直到所有样本类别变化个数总和为零；以及

第三类样本个数确定步骤，使第三类样本个数确定模块根据预定的概率，确定所述第一类样本和所述第二类样本中作为第三类样本的样本个数；

阈值确定步骤，使阈值确定模块将每一类样本到各自样本中心的Mahalanobis距离按照从大到小的顺序进行排序，将每类距离排序中从前到后、排名等于第三类样本个数的样本所对应的距离作为从所述第一类样本和所述第二类样本中剔除所述第三类样本的所述第一阈值和所述第二阈值；以及

分类步骤，使类别判断模块基于所述第一阈值和所述第二阈值将所述多个样本分为所述第一类样本、所述第二类样本、以及所述第三类样本。

16.根据权利要求10所述的匹配程度计算方法，其特征在于，所述匹配程度计算步骤还包括：

图像接收步骤，使图像接收模块接收包括待匹配目标区域的所述输入图像；以及

前景区域选取步骤，使前景区域选取模块基于预定处理选取所述输入图像中的所有前景区域。

17.根据权利要求16所述的匹配程度计算方法，其特征在于，所述前景区域选取步骤还包括：

背景去除步骤，使背景去除模块利用主颜色分割处理，从所述输入图像中去除背景区域；以及

前景区域提取步骤，使前景区域提取模块利用单连通域选择处理，从经过所述背景去除模块处理的图像中提取所有前景区域。

18.根据权利要求16所述的匹配程度计算方法，其特征在于，所述匹配程度确定步骤还包括：

匹配结果生成步骤，使匹配结果生成模块基于通过在所述训练步骤中训练好的两类特征，通过概率投影进行两次计算，给出输入图像中所有前景的匹配程度结果；以及

类别判断步骤，使类别判断模块提取所有前景区域的特征并分别计算所述特征与通过所述特征训练模块训练得到的两类前景样本中心的Mahalanobis距离，按照最近邻算法将所有前景区域分为第一类样本和第二类样本，然后基于在所述特征训练步骤中得到的所述分类判别标准，从所述第一类样本和所述第二类样本中剔除第三类样本，从而将所有前景区域分为所述第一类样本、所述第二类样本以及所述第三类样本。

Images