CN107067027B

CN107067027B - 一种基于光滑多示例学习的目标识别方法

Info

Publication number: CN107067027B
Application number: CN201710135040.0A
Authority: CN
Inventors: 黄德双; 李大元
Original assignee: Tongji University
Current assignee: Tongji University
Priority date: 2017-03-08
Filing date: 2017-03-08
Publication date: 2020-06-23
Anticipated expiration: 2037-03-08
Also published as: CN107067027A

Abstract

本发明涉及一种基于光滑多示例学习的目标识别方法，包括样本训练步骤和目标识别步骤，样本训练步骤为：提取训练图片的示例特征；根据示例特征，进行光滑处理得到示例相关的连续概率模型；根据示例相关的连续概率模型进行训练，得到训练权重w；目标识别步骤为：提取待检测图片的示例特征；根据待检测图片的示例特征和训练权重，计算确定待检测图片中是否存在需要识别的目标。与现有技术相比，本发明具有识别效率高、识别准确率高以及识别效果好等优点。

Description

一种基于光滑多示例学习的目标识别方法

技术领域

本发明涉及图像识别领域，尤其是涉及一种基于光滑多示例学习的目标识别方法。

背景技术

多示例学习是1997年由Dietterich等人提出来的，当时主要用在药物活性预测上面。在那之后由于多示例学习在机器学习和机器视觉上的广泛应用，大量的多示例学习方法被提了出来。1998年DD(Diverse Density)被提出来，这种方法通过在许多不同正包和少量负包中寻找区块的方式来处理多示例学习问题，之后此方法又被发展成DD-SVM。2002年和2005年有S.Andrews和C.Zhang等人分别提出了miSVM和MILBoost方法，他们通过训练SVM和boosting分类器进行示例分类。最近2015年J.Wu等人建立了一个深度学习框架和用Bag-of-word模型来解决大规模的多示例学习问题。

目前，通过多示例学习来进行图像中目标识别的方法主要有以下三种：

(1)有监督的图像目标识别严重依赖于人工的参与，需要人工对图像是否含有目标物体进行标记，还要对含有物体的图片中物体的位置进行标记。在样本量很大的情况下，这是非常费时费力的，还有一定的局限性。

(2)并不是所有的多示例学习方法都可以识别一个包中示例的标签，有些多示例学习方法只对包级别样本进行了分类。

(3)在传统的多示例学习方法中，用来在正样本中定位目标物体的检测器是同过同一个样本训练得到的，这使得在同一个窗口进行重定位时产生偏重。

以上三种方法由于自身的缺陷都未能得到很好的识别效果。

发明内容

本发明的目的是针对上述问题提供一种基于光滑多示例学习的目标识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于光滑多示例学习的目标识别方法，所述方法包括样本训练步骤和目标识别步骤，所述样本训练步骤具体为：

A1)提取训练图片的示例特征；

A2)根据步骤A1)提取的示例特征，进行光滑处理得到示例相关的连续概率模型；

A3)根据步骤A2)得到的示例相关的连续概率模型进行训练，得到训练权重w；

所述目标识别步骤具体为：

B1)提取待检测图片的示例特征；

B2)根据步骤B1)得到的待检测图片的示例特征和步骤A3)得到的训练权重，计算确定待检测图片中是否存在需要识别的目标。

所述步骤A1)具体为：

A11)以每张训练图片作为一个训练包，产生与每一个训练包相对应的示例；

A12)对步骤A11)产生的所有示例进行特征提取，得到每一个示例的特征值x_ij。

所述特征提取包括颜色特征提取、形状特征提取和纹理特征提取。

所述步骤A2)具体为：

A21)根据步骤A1)得到的示例特征，计算得到每一个示例的标签的连续概率模型p_ij；

A22)根据步骤A21)得到的每一个示例的标签的连续概率模型p_ij，计算得到每一个训练图片的连续概率模型P_i。

所述每一个示例的标签的连续概率模型p_ij具体为：

p_ij＝Pr(y_ij＝1|x_ij；w)＝Φ(w^Tx_ij)

其中，y_ij为第i个图片中的第j个示例。

所述每一个训练图片的连续概率模型P_i具体为：

其中，m_i为第i张图片包含的示例总量。

所述根据步骤A2)得到的示例相关的连续概率模型进行训练的目标函数具体为：

其中，p_ij为每一个示例的标签的连续概率模型，P_i为每一个训练图片的连续概率模型，x_ij为每一个示例的特征值，p为界定示例正负的阈值，m为SVM模型边缘值，m_i为第i张图片包含的示例总量，n为此次训练所用的样本数，Y_i为第i个图片的标签，β和λ为调整参数。

所述步骤A3)包括通过多折样本训练对训练权重w进行优化，具体为：

A31)将训练图片中的正示例集随机分成K折训练集，对K折训练集进行遍历；

A32)每次进行训练时，选取其中第k折以外的训练集进行训练，得到与之对应的训练权重；

A33)将步骤A32)中得到的所有训练权重求取平均值，作为优化后的训练权重。

所述步骤B2)具体为：

B21)根据步骤B1)得到的示例特征和步骤A3)得到的训练权重，计算得到待检测图片中每一个示例的标签的连续概率模型p_ij'；

B22)根据步骤B21)得到的每一个示例的标签的连续概率模型p_ij'，计算得到待检测图片的连续概率模型P_i'；

B23)判断待检测图片的连续概率模型P_i'是否为正，若是则表明待检测图片中存在目标，否则表明待检测图片中不存在目标；

B24)对于存在目标的待检测图片，选取B22)中连续概率模型p_ij'值最大所对应的示例，即为待检测图片中的目标位置。

所述待检测图片中每一个示例的标签的连续概率模型p_ij'和待检测图片的连续概率模型P_i'的求取方法与样本训练步骤中的方法相同。

与现有技术相比，本发明具有以下有益效果：

(1)通过对提取的图片的示例特征进行光滑处理从而得到示例相关的连续概率模型，继而将问题转化为连续的分类识别问题，便于后续的训练和目标识别。

(2)进行示例提取时，本发明采用了Edgebox的方法，简单易行，同时保证了提取速度。

(3)在训练得到了训练权重后，还通过多折样本训练对训练权重进行了优化，通过这种方式，重新定位确定检测时使用的样本不是训练时使用的样本，很好的防止了过早的锁定在错误的物体上。

(4)本方法中对每一个训练包中的所有示例标签都进行了训练，而非只是在包级别进行样本训练，训练更加准确，从而使得识别的效果更好。

(5)本方法可以实现对目标的全自动识别，无需人工参与和标记，识别耗时短且效率高。

(6)本方法既可以进行对待检测图片中是否存在目标进行识别，同时也可以确定目标在待检测图片中的位置，实用性能强。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

基于光滑多示例学习的目标识别方法的流程图如图1所示。该方法包括样本训练步骤和目标识别步骤，样本训练步骤具体为：

A1)提取训练图片的示例特征：

A11)以每张训练图片作为一个训练包，通过Edgebox产生与每一个训练包相对应的示例；

A12)对步骤A11)产生的所有示例进行特征提取，得到每一个示例的特征值x_ij；

A2)根据步骤A1)提取的示例特征，进行光滑处理得到示例相关的连续概率模型：

A21)根据步骤A1)得到的示例特征，计算得到每一个示例的标签的连续概率模型p_ij，具体为：

p_ij＝Pr(y_ij＝1|x_ij；w)＝Φ(w^Tx_ij)；

其中，y_ij为第i个图片中的第j个示例；

A22)根据步骤A21)得到的每一个示例的标签的连续概率模型p_ij，计算得到每一个训练图片的连续概率模型P_i：

其中，m_i为第i张图片包含的示例总量；

A3)根据步骤A2)得到的示例相关的连续概率模型进行训练，得到训练权重w，其中根据步骤A2)得到的示例相关的连续概率模型进行训练的目标函数具体为：

其中，p_ij为每一个示例的标签的连续概率模型，P_i为每一个训练图片的连续概率模型，x_ij为每一个示例的特征值，p为界定示例正负的阈值，m为SVM模型边缘值，m_i为第i张图片包含的示例总量，n为此次训练所用的样本数，Y_i为第i个图片的标签，β和λ为调整参数；

步骤A3)可以通过多折样本训练对训练权重w进行优化，具体为：

A33)将步骤A32)中得到的所有训练权重求取平均值，作为优化后的训练权重；

目标识别步骤具体为：

B1)提取待检测图片的示例特征；

B2)根据步骤B1)得到的待检测图片的示例特征和步骤A3)得到的训练权重，计算确定待检测图片中是否存在需要识别的目标，具体为：

B21)根据步骤B1)得到的示例特征，计算得到待检测图片中每一个示例的标签的连续概率模型p_ij'；

B23)判断待检测图片的连续概率模型P_i'是否为正，若是则表明待检测图片中存在目标，否则表明待检测图片中不存在目标，其中，待检测图片中每一个示例的标签的连续概率模型p_ij'和待检测图片的连续概率模型P_i'的求取方法与样本训练步骤中的方法相同；

根据上述步骤进行具体的目标识别试验，过程为：

(1)采用Edgebox技术产生多示例学习中的示例集合，一张图片作为一个包，每一个Edgebox产生的框作为一个示例。

(2)对图片进行预处理，并提取每个示例的颜色、形状、纹理等特征作为示例特征。

(3)示例标签的概率模型通过Probit模型给出：p_ij＝Pr(y_ij＝1|x_ij；w)＝Φ(w^Tx_ij)，包的概率模型通过Softmax模型给出：

根据以上两个公式和考虑到示例级别和报级别的损失得到目标函数：

其中，p_ij为每一个示例的标签的连续概率模型，P_i为每一个训练图片的连续概率模型，x_ij为每一个示例的特征值，p为界定示例正负的阈值，m为SVM模型边缘值，m_i为第i张图片包含的示例总量，n为此次训练所用的样本数，Y_i为第i个图片的标签，β和λ为调整参数，Pr为分布函数，Φ为轭数。

(4)通过光滑方法把离散的多示例分类识别问题转换为连续的分类识别问题的，示例的光滑模型在(3)中通过Probit模型给出，包的光滑模型在(3)中通过Softmax模型进行定义，最后得到了(3)中的目标函数。转换为连续问题后就可以对目标函数利用梯度下降等方法求得最小值，进一步求解这个问题。

(5)通过多折的样本训练方法进行样本训练。把训练集中的正包随机分成K折，遍历这K折训练集，每次训练时使用第K折以外的正包进行训练，使用训练好的w在第K折上利用(3)中的目标函数确定检测目标，迭代若干次，具体迭代次数由经验确定。最后再用每一份中的正窗口来训练最终的检测器。

在Pascal06和Pascal07这两个数据集上的实验结果的CorLoc值如下表，CorLoc即为本方法所提供的目标位置窗口与物体精确位置标记窗口重叠面积大于50％的数量/所有目标定位次数。经过大量的实验证明，由下表可知，本实施例中提出的方法与其他常见多示例目标定位方法相比具有更好的准确率。：

表1.结果分析

数据集	本发明	bMCL	ADMM	MIForest
					Pascal06	54	45	43	36
Pascal07	38	31	27	25

Claims

1.一种基于光滑多示例学习的目标识别方法，其特征在于，所述方法包括样本训练步骤和目标识别步骤，所述样本训练步骤具体为：

A1)提取训练图片的示例特征，

A2)根据步骤A1)提取的示例特征，进行光滑处理得到示例相关的连续概率模型，

A3)根据步骤A2)得到的示例相关的连续概率模型进行训练，得到训练权重w，

所述目标识别步骤具体为：

B1)提取待检测图片的示例特征，

B2)根据步骤B1)得到的待检测图片的示例特征和步骤A3)得到的训练权重，计算确定待检测图片中是否存在需要识别的目标；

2.根据权利要求1所述的基于光滑多示例学习的目标识别方法，其特征在于，所述步骤A1)具体为：

3.根据权利要求2所述的基于光滑多示例学习的目标识别方法，其特征在于，所述特征提取包括颜色特征提取、形状特征提取和纹理特征提取。

4.根据权利要求3所述的基于光滑多示例学习的目标识别方法，其特征在于，所述步骤A2)具体为：

5.根据权利要求4所述的基于光滑多示例学习的目标识别方法，其特征在于，所述每一个示例的标签的连续概率模型p_ij具体为：

p_ij＝Pr(y_ij＝1|x_ij；w)＝Φ(w^Tx_ij)

其中，y_ij为第i个图片中的第j个示例。

6.根据权利要求4所述的基于光滑多示例学习的目标识别方法，其特征在于，所述每一个训练图片的连续概率模型P_i具体为：

其中，m_i为第i张图片包含的示例总量。

7.根据权利要求1所述的基于光滑多示例学习的目标识别方法，其特征在于，所述步骤A3)包括通过多折样本训练对训练权重w进行优化，具体为：

8.根据权利要求1所述的基于光滑多示例学习的目标识别方法，其特征在于，所述步骤B2)具体为：

9.根据权利要求8所述的基于光滑多示例学习的目标识别方法，其特征在于，所述待检测图片中每一个示例的标签的连续概率模型p_ij'和待检测图片的连续概率模型P_i'的求取方法与样本训练步骤中的方法相同。