CN107577994A - 一种基于深度学习的行人、车辆附属品识别及检索方法 - Google Patents
一种基于深度学习的行人、车辆附属品识别及检索方法 Download PDFInfo
- Publication number
- CN107577994A CN107577994A CN201710708646.9A CN201710708646A CN107577994A CN 107577994 A CN107577994 A CN 107577994A CN 201710708646 A CN201710708646 A CN 201710708646A CN 107577994 A CN107577994 A CN 107577994A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- dcp
- image
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000009977 dual effect Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 12
- 238000003066 decision tree Methods 0.000 claims description 11
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 101000844800 Lactiplantibacillus plantarum (strain ATCC BAA-793 / NCIMB 8826 / WCFS1) D-alanyl carrier protein 1 Proteins 0.000 claims description 6
- 101000844801 Lactiplantibacillus plantarum (strain ATCC BAA-793 / NCIMB 8826 / WCFS1) D-alanyl carrier protein 2 Proteins 0.000 claims description 6
- 238000013139 quantization Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- SSHMODVPGQFZJQ-UHFFFAOYSA-N diamino 4,5-dichlorobenzene-1,3-dicarboxylate Chemical compound NOC(=O)C1=CC(Cl)=C(Cl)C(C(=O)ON)=C1 SSHMODVPGQFZJQ-UHFFFAOYSA-N 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的行人、车辆附属品识别及检索方法。首先对图像中像素点的八个方向进行采样，经量化采样得到纹理信息，并用双交叉编码器编码每像素点上两组十字双交叉的子集，形成总描述符；根据描述符及局部灰度联合分布密度提取局部直方图向量，形成纹理特征；根据提取纹理特征训练得到初始分类器，设定学习次数及精度要求；采用主动学习算法优化分类器，到预设精度要求时停止；最后使用训练完成的多示例多标签分类器进行识别，得到高精度的识别结果。本发明提出的系统具有自适应性强、可信度强、整体性能稳健的优点。在提取图像特征时采用双交叉模式的编码方法，可以实现最大联合熵，使图像信噪比最大化，增大图像鲁棒性。
Description
技术领域
本发明属于计算机技术、信息技术、数据挖掘交叉技术领域，涉及一种基于深度学习的行人、车辆附属品识别及检索方法和系统。
背景技术
图像识别是计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术，识别过程包括图像预处理、图像分割、特征提取和判断匹配。检索技术 是指利用计算机对图像深度学习，对提取到的图像特征进行归类，从而改变检索的技 术。由于行人、车辆附属品识别有着广泛的应用前景，因而逐渐成为当前图像理解、 模式识别、语义分割、机器视觉等领域的研究热点之一。
主动学习是一种通过一定算法查询最有用的未标记样本，并交由专家进行标记，然后用查询到的样本训练分类模型来提高模型的精确度的算法。在人类的学习过程中， 通常利用已有的经验来学习新的知识，又依靠获得的知识来总结和积累经验，经验与 知识不断交互。同样，机器学习模拟人类学习的过程，利用已有的知识训练出模型去 获取新的知识，并通过不断积累的信息去修正模型，以得到更加准确有用的新模型。 不同于被动学习被动的接受知识信息，主动学习能够选择性地获取知识信息。
目前现有的行人、车辆附属品识别只是使用一些传统的监督学习方法做分类，这种方法往往是训练样本规模越大，分类的效果就越好。但是在现实生活的很多场景中， 标记样本的获取是比较困难的，这需要领域内的专家来进行人工标注，所花费的时间 成本和经济成本都是很大的。而且，如果训练样本的规模过于庞大，训练的时间花费 也会比较多，从而使得学习任务变得极其困难，分类器的性能与可靠性降低。
发明内容
本发明所要解决的技术问题是克服上述现有技术的不足而提供一种基于深度学习 的行人、车辆附属品识别及检索技术，适用于多示例多标签识别分类，把主动学习应 用到多示例多标签学习框架上，构建基于示例选择的标签平均分类距离主动学习算法， 选择距离SVM超平面较近的易错示例训练分类器。通过上述方法，本发明可有效地减 少训练时间，提高分类器性能与分类可信度。
本发明为解决上述技术问题采用的技术方案为一种基于深度学习的行人、车辆附属品识别及检索方法，包括以下步骤：
步骤001.对每帧图像中的每一个像素点，以其为圆心画内外两个圆，在内外圆上各取0、π、和这八个方向；
步骤002.对步骤001中像素点的八个方向上的纹理信息进行量化，分配一个唯一的十进制数：定义函数S(y)： y是变量，Io、分别是点0、Ai、Bi的灰度值；Ai、Bi分别 是步骤1中像素点内圆、外圆上的点，DCPi是第i方向上的纹理信息量；第0-第7方 向分别指0、π、和
步骤003.对于步骤002中的DCPi,定义{DCP0，DCP2，DCP4，DCP6}作为第一子 集、{DCP1，DCP3，DCP5，DCP7}作为第二子集；这两个子集构建一个十字的形状， 构成双交叉模式，出现最大联合熵；
步骤004.将步骤003中的两个子集分组为两个交叉编码器，分别命名为DCP-1、DCP-2，在表情子区域图像中的像素点的代码表述为： 两个交叉编码器构成总描述符DCP:DCP＝{DCP-1,DCP-2}；
步骤005.从每个区域提取直方图向量R：R＝T{f(x，y)＝j}，j＝0，1，...，n-1，这里T为局部区域内像素灰度的联合分布密度，f(x，y)表示图像局部区域中心像素点的 灰度值，j表示第j灰度级，n为直方图的灰度范围，为256，R是区域中具有第j级 灰度值的像素数目。将这些局部直方图串接为一个序列H， H＝{(R1,R2,...,Rn1×n1)1，(R1,R2,...,Rn2×n2)2}作为纹理特征，其包含的多示例构成未标记样 本集U；
步骤006.从Corel图像数据集输入己标记训练集L,未标记样本集U，其中NL表示已标记多示例包的个数,NU表示未标记多示例包的个数；
步骤007.使用K近邻算法、K-means算法、决策树、Boosting算法和支持向量机 算法在已标记训练集L中构造5个初始分类器F1,F2,...,F5,得到每个类别标签分类器的 目标方程fK(k＝1,2,...,5)；
步骤008.设定超时次数门限M以及分类器精度要求A，并定义精度 confK(k＝1,2,...,5)，其表达式为：
上式中,I[...]是一个指示函数(indicatorfonction)，满足I[...]给定条件则其值为 1,否则取值为0；表示第k个分类器中第i个己标记多示例包的标签,表示第k个分类器中第i个未标记多示例包的标签。表示已标记多示例包在第k 个分类器中正标签的平均值，表示未标记多示例包在第k个分类器中 预测的正标签的平均值；
步骤009.用初始分类器F1,F2,...,F5对未标记样本集U中的多示例包 Bi(i＝1,2,...,NU)进行标注，并对每个分类器计算分类器可信度confK(k＝1,2,...,K)；
步骤010.计算每个未标记多示例包样本的最小分类距离min_dis(Bi)，其表达式如 下：
上式中,为第i个示例包中所有示例xij对于第k个SVM分类器的超平面的平均距离。β(β∈[0,1])是平衡分类器可信度和多示例包中示例到超平面平均距离这两个 指标的相对重要程度的权衡参数，设定初始值；
步骤011.计算得出最不确定的多示例包B*，并对B*进行标注,置入训练集L得到新的标记训练集L’,同时从未标记多示例包中把 B*去掉,再利用新得到的训练集L’重新构造分类器；
步骤012.将M减一，若M＞0则判断分类精度是否满足预设要求A，若精度小于A 则返回步骤007，若精度大于A或M＝0进入步骤013；
步骤013.使用训练完成的多示例多标签分类器对视频提取特征进行识别。
进一步，上述步骤007中，F1,F2,...,F5分类器具体步骤如下：
步骤00701.F1表示K近邻算法，比较未标记样本集U与己标记训练集L的欧式距离，提取样本集中与其特征最相似的数据的分类标签作为分类结果；
步骤00702.F2表示K-means算法，随机地选择k个初始点作为质心作为初始聚类中心，将己标记训练集L中其他的点分配到k个类中，将每个类的质心更新为该类所有 点的平均值，计算准则函数，如果准则函数收敛，算法终止；如果不收敛，则重新分 配；
步骤00702.F3表示决策树，根据己标记训练集L采用ID3算法建立决策树模型， 使用建立的模型对未标记样本集U进行分类判别；
步骤00702.F4表示Boosting算法，在己标记训练集L上，根据若干准确率大于随机猜测的弱分类器，按照不同权重组成一个具有高准确率的强分类器，通过组合特征 得到性能更好的AdaBoost算法，对未标记样本集U进行标记；
步骤00702.F5表示支持向量机(SVM)，在己标记训练集L上确定最优分类面 (SVM平面)，保证各类别样本之间的分类间隔最大，对未标记样本集U进行分类。
作为优选，上述步骤010中设定的初始值为0.5。
本发明还进一步提出一种实现上述基于深度学习的行人、车辆附属品识别及检索方法的系统，该系统由视频采集器、特征提取装置、分类学习器、语义识别器组成， 视频采集器从输入录像中采集到相应视频信号后，传送到特征提取装置中的信息量化 编码模块，经量化交叉编码后，传送到特征提取装置中的直方图串接模块，由图像局 部区域中心像素点的灰度值得到局部直方图，再将局部直方图串接为序列构成纹理特 征，交由语义识别器中的识别模块，分类学习器包括训练模块、控制模块和Corel图像 库，从Corel图像库输入训练模块，操作者按需设定精度并输入至控制模块，训练模块 在控制模块的监督下主动学习分类器，达到预设精度后停止运行，将高精度分类器递 交至语义识别器，语义识别器包括识别模块、主动学习模块，识别模块接收来自分类 学习器递交的MIML分类器和特征提取装置的图像特征，分类学习器根据特征矩阵对 训练已知语义进行匹配识别，主动学习模块中操作者对图像部分难以识别的语义人为 标注，并将特征标注匹配关系添加至识别模块，直到分类结果达到操作者要求，输出 图像识别结果，完成识别过程。
进一步，上述特征提取装置中信息量化编码采用双交叉分组编码，实现最大联合熵，图像信噪比最大化，增大图像鲁棒性。
特征提取装置中直方图串接指对图像局部灰度值直方图的串接。
特征提取装置提取的图像纹理特征为区域性特征，在模式匹配时，不会由于局部偏差而无法匹配成功，此纹理特征具有旋转不变性，且抗噪性能强。
上述分类器包括K近邻算法，K-means算法，决策树算法，Boosting算法，支持 向量机算法。
与现有技术相比，本发明具有的有益效果：
1、本发明提出的系统自适应性强，可信度强，整体性能稳健。
2、本发明提取图像特征时采用双交叉模式的编码方法，概括八个方向，实现最大联 合熵，使图像信噪比最大化，增大图像鲁棒性。
3、本发明提取的图像纹理特征为区域性特征，在模式匹配时，不会由于局部偏差而 无法匹配成功。
4、把主动学习应用到多示例多标签学习框架上，适用于多示例多标签识别分类，可 有效的减少训练时间，提高分类器性能与分类可信度。
附图说明
图1是本发明一种基于深度学习的行人、车辆附属品识别及检索系统的结构示意图。
图2是一种基于深度学习的行人、车辆附属品识别及检索技术的流程图。
图3是局部采样点集示意图。
图4是双交叉分组编码示意图；其中，(a)为由0，π，这四个方向构成 的一个十字子集，(b)为由这四个方向构成的另一个十字子集。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明。
一种基于深度学习的行人、车辆附属品识别及检索系统的结构如图1所示。系统由信息采集器、特征提取装置、分类学习器、语义识别器组成，特征提取装置包括信 息量化编码模块和直方图串接模块；分类学习器包括训练模块、控制模块；从Corel 图像库输入训练模块，操作者按需设定精度并输入至控制模块，训练模块在控制模块 的监督下主动学习分类器，达到预设精度后停止运行。语义识别器包括识别模块、主 动学习模块；识别模块接收来自分类学习器递交的MIML分类器和特征提取装置的图像 特征，分类器根据特征矩阵对训练已知语义进行匹配识别。主动学习模块中操作者对 图像部分难以识别的语义人为标注，并将特征标注匹配关系添加至识别模块，直到分 类结果达到操作者要求，输出图像识别结果，完成全过程。
如图2所示，一种基于深度学习的行人、车辆附属品识别及检索技术包含以下步骤：
步骤001.对每帧图像中的每一个像素点，以其为圆心画内外两个圆，在内外圆上各取0、π、和这八个方向，如图3所示，然后进入步骤 002；
步骤002.对步骤001中像素点的八个方向上的纹理信息进行量化，分配一个唯一的十 进制数：定义函数S(y)：y是变量，Io、分别是点0、Ai、Bi的灰度值；Ai、Bi分别是步骤1中像素点 内圆、外圆上的点，DCPi是第i方向上的纹理信息量；第0-第7方向分别指0、 π、和并进入步骤003；
步骤003.对于步骤002中的DCPi,定义{DCP0，DCP2，DCP4，DCP6}作为第一子 集、{DCP1，DCP3，DCP5，DCP7}作为第二子集；这两个子集构建一个十字的形状， 构成双交叉模式，如图4中的(a)、(b)所示，此时出现最大联合熵。然后进入步骤 004；
步骤004.将步骤003中的两个子集分组为两个交叉编码器，分别命名为DCP-1、DCP-2，在表情子区域图像中的像素点的代码表述为： 两个交叉编码器构成总描述符DCP:DCP＝{DCP-1,DCP-2}。 然后进入步骤005；
步骤005.从每个区域提取直方图向量R：R＝T{f(x，y)＝j}，j＝0，1，...，n-1，这里T为局部区域内像素灰度的联合分布密度，f(x，y)表示图像局部区域中心像素点的 灰度值，j表示第j灰度级，n为直方图的灰度范围，为256，R是区域中具有第j级 灰度值的像素数目。将这些局部直方图串接为一个序列H， H＝{(R1,R2,...,Rn1×n1)1，(R1,R2,...,Rn2×n2)2}作为纹理特征，其包含的多示例构成未标记样 本集U。进入步骤006；
步骤006.从自然场景图像数据集Corel输入己标记训练集L,输入未标记样本集U，其中NL表示已标记多示例包的个数,NU表示未标记多示例包的个数，然后进入步骤 007；
步骤007.使用常用的图像纹理分类方法：K近邻算法、K-means算法、决策树、Boosting算法和支持向量机算法在已标记训练集L中构造5个初始分类器F1,F2,...,F5, 得到每个类别标签分类器的目标方程fK(k＝1,2,...,5)。F1,F2,...,F5分类器具体步骤如下：
步骤00701.F1表示K近邻算法，比较未标记样本集U与己标记训练集L的欧式距离，提取样本集中与其特征最相似的数据的分类标签作为分类结果；
步骤00702.F2表示K-means算法，随机地选择k个初始点作为质心作为初始聚类中心，将己标记训练集L中其他的点分配到k个类中，将每个类的质心更新为该类所有 点的平均值，计算准则函数，如果准则函数收敛，算法终止；如果不收敛，则重新分 配；
步骤00702.F3表示决策树，根据己标记训练集L采用ID3算法建立决策树模型， 使用建立的模型对未标记样本集U进行分类判别；
步骤00702.F4表示Boosting算法，在己标记训练集L上，根据若干准确率大于随机猜测的弱分类器，按照不同权重组成一个具有高准确率的强分类器，通过组合特征 得到性能更好的AdaBoost算法，对未标记样本集U进行标记；
步骤00702.F5表示支持向量机(SVM)，在己标记训练集L上确定最优分类面 (SVM平面)，保证各类别样本之间的分类间隔最大，对未标记样本集U进行分类。最 后，进入步骤008；
步骤008.根据要求设定超时次数门限M以及分类器精度要求A，并定义精度 confK(k＝1,2,...,5)，其表达式为：
上式中,I[...]是一个指示函数(indicatorfonction)，满足I[...]给定条件则其值为 1,否则取值为0；表示第k个分类器中第i个己标记多示例包的标签,表示第k个分类器中第i个未标记多示例包的标签。表示已标记多示例包在第k 个分类器中正标签的平均值，表示未标记多示例包在第k个分类器中 预测的正标签的平均值。然后进入步骤009；
步骤009.用初始分类器F1,F2,...,F5对未标记样本集U中的多示例包 Bi(i＝1,2,...,NU)进行标注，并对每个分类器计算分类器可信度confK(k＝1,2,...,K)。然 后进入步骤010；
步骤010.针对每个未标记多示例包样本计算最小分类距离min_dis(Bi)，其表达式 如下：
上式中,为第i个示例包中所有示例xij对于第k个SVM分类器的超平面的平均距离。β(β∈[0,1])是平衡分类器可信度和多示例包中示例到超平面平均距离这两个 指标的相对重要程度的权衡参数，设定初始值设为0.5。进入步骤011；
步骤011.计算得出最不确定的多示例包B*，并对B*进行标注,置入训练集L得到新的标记训练集L’,同时从未标记多示例包中把 B*去掉,再利用新得到的训练集L’重新构造分类器。然后进入步骤012；
步骤012.完成一次分类器重构，将计数M减一，若M＞0则判断分类精度是否满 足预设要求A，若精度小于A则返回步骤009，若精度大于A或M＝0进入步骤013；
步骤013.使用训练完成的多示例多标签分类器对视频提取特征进行识别，获得高精度的识别结果，运用于其他领域。
Claims (8)
1.一种基于深度学习的行人、车辆附属品识别及检索方法，其特征在于包括以下步骤：
步骤001：对每帧图像中的每一个像素点，以其为圆心画内外两个圆，在内外圆上各取0、π、和这八个方向；
步骤002：对步骤001中像素点的八个方向上的纹理信息进行量化，分配一个唯一的十进制数：定义函数S(y)：y是变量，Io、分别是点0、Ai、Bi的灰度值；Ai、Bi分别是步骤001中像素点内圆、外圆上的点，DCPi是第i方向上的纹理信息量；第0-第7方向分别指0、π、 和
步骤003：对于步骤002中的DCPi,定义{DCP0，DCP2，DCP4，DCP6}作为第一子集、{DCP1，DCP3，DCP5，DCP7}作为第二子集；这两个子集构建一个十字的形状，构成双交叉模式，出现最大联合熵；
步骤004：将步骤003中的两个子集分组为两个交叉编码器，分别命名为DCP-1、DCP-2，在表情子区域图像中的像素点的代码表述为：两个交叉编码器构成总描述符DCP:DCP＝{DCP-1,DCP-2}；
步骤005：从每个区域提取直方图向量R：R＝T{f(x，y)＝j}，j＝0，1，...，n-1，这里T为局部区域内像素灰度的联合分布密度，f(x，y)表示图像局部区域中心像素点的灰度值，j表示第j灰度级，n为直方图的灰度范围，为256，R是区域中具有第j级灰度值的像素数目，将这些局部直方图串接为一个序列H，H＝{(R1,R2,...,Rn1×n1)1，(R1,R2,...,Rn2×n2)2}作为纹理特征，其包含的多示例构成未标记样本集U；
步骤006：从Corel图像数据集输入己标记训练集L,未标记样本集U，其中NL表示已标记多示例包的个数,NU表示未标记多示例包的个数；
步骤007：使用K近邻算法、K-means算法、决策树、Boosting算法和支持向量机算法在已标记训练集L中构造5个初始分类器F1,F2,...,F5,得到每个类别标签分类器的目标方程fK(k＝1,2,...,5)；
步骤008：设定超时次数门限M以及分类器精度要求A，并定义精度confK(k＝1,2,...,5)，其表达式为：
<mrow>
<msub>
<mi>conf</mi>
<mi>K</mi>
</msub>
<mo>=</mo>
<mn>1</mn>
<mo>/</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mrow>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>U</mi>
</msub>
</munderover>
<mi>I</mi>
<mo>&lsqb;</mo>
<msubsup>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mi>U</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>></mo>
<mn>0</mn>
<mo>&rsqb;</mo>
<mo>&divide;</mo>
<msub>
<mi>N</mi>
<mi>U</mi>
</msub>
<mo>-</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>L</mi>
</msub>
</munderover>
<mi>I</mi>
<mo>&lsqb;</mo>
<msubsup>
<mi>Y</mi>
<mrow>
<mi>i</mi>
<mi>L</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>></mo>
<mn>0</mn>
<mo>&rsqb;</mo>
<mo>&divide;</mo>
<msub>
<mi>N</mi>
<mi>L</mi>
</msub>
</mrow>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mrow>
上式中,I[...]是一个指示函数，满足I[...]给定条件则其值为1,否则取值为0；表示第k个分类器中第i个己标记多示例包的标签,表示第k个分类器中第i个未标记多示例包的标签，表示已标记多示例包在第k个分类器中正标签的平均值，表示未标记多示例包在第k个分类器中预测的正标签的平均值；
步骤009：用初始分类器F1,F2,...,F5对未标记样本集U中的多示例包Bi(i＝1,2,...,NU)进行标注，并对每个分类器计算分类器可信度confK(k＝1,2,...,K)；
步骤010：计算每个未标记多示例包样本的最小分类距离min_dis(Bi)，其表达式如下：
<mrow>
<mi>min</mi>
<mo>_</mo>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>B</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mi>min</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>K</mi>
</mrow>
</munder>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mrow>
<msub>
<mi>conf</mi>
<mi>k</mi>
</msub>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mrow>
<mn>1</mn>
<mo>-</mo>
<mi>&beta;</mi>
</mrow>
</msup>
<mo>*</mo>
<mrow>
<mo>(</mo>
<munder>
<mi>max</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
</mrow>
</munder>
<mfrac>
<msup>
<mrow>
<mo>|</mo>
<msub>
<mi>f</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mover>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
<mi>&beta;</mi>
</msup>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>,</mo>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<msub>
<mi>N</mi>
<mi>U</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
上式中,为第i个示例包中所有示例xij对于第k个SVM分类器的超平面的平均距离，β(β∈[0,1])是平衡分类器可信度和多示例包中示例到超平面平均距离这两个指标的相对重要程度的权衡参数，并设定初始值；
步骤011：计算得出最不确定的多示例包B*，并对B*进行标注,置入训练集L得到新的标记训练集L’,同时从未标记多示例包中把B*去掉,再利用新得到的训练集L’重新构造分类器；
步骤012：将M减一，若M＞0则判断分类精度是否满足预设要求A，若精度小于A则返回步骤009，若精度大于A或M＝0进入步骤013；
步骤013：使用训练完成的多示例多标签分类器对视频提取特征进行识别。
2.根据权利要求1所述一种基于深度学习的行人、车辆附属品识别及检索方法，其特征在于：所述步骤007中，F1,F2,...,F5分类器的具体步骤如下：
步骤00701.F1表示K近邻算法，比较未标记样本集U与己标记训练集L的欧式距离，提取样本集中与其特征最相似的数据的分类标签作为分类结果；
步骤00702.F2表示K-means算法，随机地选择k个初始点作为质心作为初始聚类中心，将己标记训练集L中其他的点分配到k个类中，将每个类的质心更新为该类所有点的平均值，计算准则函数，如果准则函数收敛，算法终止；如果不收敛，则重新分配；
步骤00702.F3表示决策树，根据己标记训练集L采用ID3算法建立决策树模型，使用建立的模型对未标记样本集U进行分类判别；
步骤00702.F4表示Boosting算法，在己标记训练集L上，根据若干准确率大于随机猜测的弱分类器，按照不同权重组成一个具有高准确率的强分类器，通过组合特征得到性能更好的AdaBoost算法，对未标记样本集U进行标记；
步骤00702.F5表示支持向量机，在己标记训练集L上确定最优分类面，保证各类别样本之间的分类间隔最大，对未标记样本集U进行分类。
3.根据权利要求1所述一种基于深度学习的行人、车辆附属品识别及检索方法，其特征在于：所述步骤010中设定的初始值为0.5。
4.一种基于深度学习的行人、车辆附属品识别及检索系统，其特征在于该系统由视频采集器、特征提取装置、分类学习器、语义识别器组成，视频采集器从输入录像中采集到相应视频信号后，传送到特征提取装置中的信息量化编码模块，经量化交叉编码后，传送到特征提取装置中的直方图串接模块，由图像局部区域中心像素点的灰度值得到局部直方图，再将局部直方图串接为序列构成纹理特征，交由语义识别器中的识别模块，分类学习器包括训练模块、控制模块和Corel图像库，从Corel图像库输入训练模块，操作者按需设定精度并输入至控制模块，训练模块在控制模块的监督下主动学习分类器，达到预设精度后停止运行，将高精度分类器递交至语义识别器，语义识别器包括识别模块、主动学习模块，识别模块接收来自分类学习器递交的MIML分类器和特征提取装置的图像特征，分类学习器根据特征矩阵对训练已知语义进行匹配识别，主动学习模块中操作者对图像部分难以识别的语义人为标注，并将特征标注匹配关系添加至识别模块，直到分类结果达到操作者要求，输出图像识别结果，完成识别过程。
5.根据权利要求4所述的一种基于深度学习的行人、车辆附属品识别及检索系统，其特征在于所述特征提取装置中信息量化编码采用双交叉分组编码，实现最大联合熵，图像信噪比最大化，增大图像鲁棒性。
6.根据权利要求4所述的一种基于深度学习的行人、车辆附属品识别及检索系统，其特征在于特征提取装置中直方图串接指对图像局部灰度值直方图的串接。
7.根据权利要求4所述的一种基于深度学习的行人、车辆附属品识别及检索系统，其特征在于特征提取装置提取的图像纹理特征为区域性特征，在模式匹配时，不会由于局部偏差而无法匹配成功，此纹理特征具有旋转不变性，且抗噪性能强。
8.根据权利要求4所述的一种基于深度学习的行人、车辆附属品识别及检索系统，其特征在于所述分类器包括K近邻算法，K-means算法，决策树算法，Boosting算法，支持向量机算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710708646.9A CN107577994A (zh) | 2017-08-17 | 2017-08-17 | 一种基于深度学习的行人、车辆附属品识别及检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710708646.9A CN107577994A (zh) | 2017-08-17 | 2017-08-17 | 一种基于深度学习的行人、车辆附属品识别及检索方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107577994A true CN107577994A (zh) | 2018-01-12 |
Family
ID=61033821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710708646.9A Pending CN107577994A (zh) | 2017-08-17 | 2017-08-17 | 一种基于深度学习的行人、车辆附属品识别及检索方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107577994A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109158954A (zh) * | 2018-09-10 | 2019-01-08 | 杭州电子科技大学 | 一种基于声信号检测的超声刀具磨损状态识别方法与系统 |
| CN109657702A (zh) * | 2018-11-23 | 2019-04-19 | 盎锐（上海）信息科技有限公司 | 3d深度语义感知算法及装置 |
| CN109784391A (zh) * | 2019-01-04 | 2019-05-21 | 杭州比智科技有限公司 | 基于多模型的样本标注方法及装置 |
| CN111915559A (zh) * | 2020-06-30 | 2020-11-10 | 电子科技大学 | 基于svm分类可信度的机载sar图像质量评估方法 |
| CN112651450A (zh) * | 2020-12-30 | 2021-04-13 | 哈尔滨工程大学 | 一种基于多示例深度学习的医学图像分类方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200228A (zh) * | 2014-09-02 | 2014-12-10 | 武汉睿智视讯科技有限公司 | 一种安全带识别方法与系统 |
| CN105117429A (zh) * | 2015-08-05 | 2015-12-02 | 广东工业大学 | 基于主动学习和多标签多示例学习的场景图像标注方法 |
| CN105307121A (zh) * | 2015-10-16 | 2016-02-03 | 上海晶赞科技发展有限公司 | 一种信息处理方法及装置 |
| CN106971168A (zh) * | 2017-03-31 | 2017-07-21 | 南京邮电大学 | 基于人脸结构特征的多方向多层次双交叉鲁棒性识别方法 |
-
2017
- 2017-08-17 CN CN201710708646.9A patent/CN107577994A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104200228A (zh) * | 2014-09-02 | 2014-12-10 | 武汉睿智视讯科技有限公司 | 一种安全带识别方法与系统 |
| CN105117429A (zh) * | 2015-08-05 | 2015-12-02 | 广东工业大学 | 基于主动学习和多标签多示例学习的场景图像标注方法 |
| CN105307121A (zh) * | 2015-10-16 | 2016-02-03 | 上海晶赞科技发展有限公司 | 一种信息处理方法及装置 |
| CN106971168A (zh) * | 2017-03-31 | 2017-07-21 | 南京邮电大学 | 基于人脸结构特征的多方向多层次双交叉鲁棒性识别方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109158954A (zh) * | 2018-09-10 | 2019-01-08 | 杭州电子科技大学 | 一种基于声信号检测的超声刀具磨损状态识别方法与系统 |
| CN109657702A (zh) * | 2018-11-23 | 2019-04-19 | 盎锐（上海）信息科技有限公司 | 3d深度语义感知算法及装置 |
| CN109657702B (zh) * | 2018-11-23 | 2023-02-07 | 盎锐（上海）信息科技有限公司 | 3d深度语义感知方法及装置 |
| CN109784391A (zh) * | 2019-01-04 | 2019-05-21 | 杭州比智科技有限公司 | 基于多模型的样本标注方法及装置 |
| CN109784391B (zh) * | 2019-01-04 | 2021-01-05 | 杭州比智科技有限公司 | 基于多模型的样本标注方法及装置 |
| CN111915559A (zh) * | 2020-06-30 | 2020-11-10 | 电子科技大学 | 基于svm分类可信度的机载sar图像质量评估方法 |
| CN111915559B (zh) * | 2020-06-30 | 2022-09-20 | 电子科技大学 | 基于svm分类可信度的机载sar图像质量评估方法 |
| CN112651450A (zh) * | 2020-12-30 | 2021-04-13 | 哈尔滨工程大学 | 一种基于多示例深度学习的医学图像分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yu et al. | Spatial pyramid-enhanced NetVLAD with weighted triplet loss for place recognition | |
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| CN107577994A (zh) | 一种基于深度学习的行人、车辆附属品识别及检索方法 | |
| CN108875816A (zh) | 融合置信度准则和多样性准则的主动学习样本选择策略 | |
| Liu et al. | Nonparametric scene parsing via label transfer | |
| CN109671102B (zh) | 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法 | |
| CN108197538A (zh) | 一种基于局部特征和深度学习的卡口车辆检索系统及方法 | |
| CN106682233A (zh) | 一种基于深度学习与局部特征融合的哈希图像检索方法 | |
| CN108984642B (zh) | 一种基于哈希编码的印花织物图像检索方法 | |
| CN104008395B (zh) | 一种基于人脸检索的不良视频智能检测方法 | |
| CN106126581A (zh) | 基于深度学习的手绘草图图像检索方法 | |
| CN106055573B (zh) | 一种多示例学习框架下的鞋印图像检索方法及系统 | |
| CN110647907B (zh) | 利用多层分类和字典学习的多标签图像分类算法 | |
| CN103336795A (zh) | 基于多特征的视频索引方法 | |
| CN105930792A (zh) | 一种基于视频局部特征字典的人体动作分类方法 | |
| CN106778501A (zh) | 基于压缩跟踪与ihdr增量学习的视频人脸在线识别方法 | |
| CN106776896A (zh) | 一种快速的图融合图像检索方法 | |
| CN104281572B (zh) | 一种基于互信息的目标匹配方法及其系统 | |
| CN104809469A (zh) | 一种面向服务机器人的室内场景图像分类方法 | |
| CN109635140B (zh) | 一种基于深度学习和密度峰值聚类的图像检索方法 | |
| CN108491430A (zh) | 一种基于对特征方向进行聚类的无监督哈希检索方法 | |
| CN108154158B (zh) | 一种面向增强现实应用的建筑物图像分割方法 | |
| CN113032613B (zh) | 一种基于交互注意力卷积神经网络的三维模型检索方法 | |
| CN109213853A (zh) | 一种基于cca算法的中文社区问答跨模态检索方法 | |
| CN109871379B (zh) | 一种基于数据块学习的在线哈希最近邻查询方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180112 |