CN114492634A - 一种细粒度装备图片分类识别方法及系统 - Google Patents
一种细粒度装备图片分类识别方法及系统 Download PDFInfo
- Publication number
- CN114492634A CN114492634A CN202210090516.4A CN202210090516A CN114492634A CN 114492634 A CN114492634 A CN 114492634A CN 202210090516 A CN202210090516 A CN 202210090516A CN 114492634 A CN114492634 A CN 114492634A
- Authority
- CN
- China
- Prior art keywords
- picture
- training
- model
- fine
- grained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 114
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 57
- 230000008447 perception Effects 0.000 claims abstract description 49
- 238000002790 cross-validation Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 22
- 238000007635 classification algorithm Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 13
- 210000002569 neuron Anatomy 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明公开一种细粒度装备图片分类识别方法及系统，所述方法包括如下步骤：输入若干类待细分的同种装备图片，每类装备图片按文件夹存放，生成数据集，其中的每幅图片称为原始图片；利用感知模型获得每幅原始图片对应的物体图片和部件图片，将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络中进行训练，获得图片整体特征、物体级特征和部件级特征；通过决策模型将三尺度分类器获得的特征进行融合，经过训练和交叉验证得到超参数α,β和γ；基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络，得到所输入的训练集外装备图片的细粒度分类结果。本发明可以在短时间内，对大批量装备图片做出相对精准判别。
Description
技术领域
本发明涉及模式识别技术领域，尤其涉及一种细粒度装备图片分类识别方法及系统。
背景技术
与一般意义上的图片分类不同，细粒度图片分类识别是在区分出基础类别的基础上进一步进行子类别分类。由于子类别之间往往都非常相似，一般只能通过细微的局部差异对不同的子类别进行区分。细粒度图片分类是一项极具挑战的研究任务。目前存在的各种细粒度图片识别方法存在如下问题：(1)特征的描述能力依然太弱，不具有足够的区分性。(2)传统的细粒度分类算法对于局部区域的信息没有给予足够的重视，而这正是影响细粒度分类性能好坏的关键。(3)为了更好的进行局部定位，很多算法严重依赖于人工标注信息，导致算法无法推广到实际应用中。
对属于同基础类别的装备图片进行进一步细粒度分类识别，目前尚缺乏真正有效的装置或者系统，尤其是识别装备的具体型号。通常情况下，只能由具有扎实的相关专业知识的人进行人工肉眼来辨别。除了人工方法，解决细粒度图片分类问题最简单的方法就是直接采用一般的图片分类神经网络模型，但是这样做会导致分类性能低下，无法应用于实际情况。因此，现有对同基础类别装备图片进行细粒度分类识别的技术缺点在于：第一，人工肉眼识别所需要的时间成本与经济成本高昂；第二，人工肉眼识别装备图片效率低下；第三，人工肉眼识别难以进行大批量装备图片的识别工作；第四，一般的深度学习图片分类模型无法完成细粒度装备图片的分类识别。
发明内容
本发明要解决的技术问题在于如何从属于同基础类别但属于不同子类别的装备图片中提取出具有区分度的细粒度特征，也就是如何对待分类物体进行精确定位并提取更具有表达力的特征，针对现有技术中的缺陷，提供一种能够适用于装备图片细分类的细粒度装备图片分类识别方法及系统。
为了解决上述技术问题，本发明提出一种基于两级区域感知三尺度通道加权双线性卷积神经网络的细粒度装备图片分类识别方法，主要核心思想是首先对原始图片利用两级区域感知机制获得物体图片和部件图片，然后从原始图片、物体图片和部件图片三个尺度分别使用通道加权双线性卷积神经网络模型进行训练和分类。
本发明具体采用如下技术方案：一种细粒度装备图片分类识别方法，包括如下步骤：
101)原始图片集生成步骤：输入若干类待细分的同种装备图片，每类装备图片按文件夹存放，生成数据集，其中的每幅装备图片称为原始图片；
102)物体图片集生成步骤：利用物体级区域感知模型获得每幅原始图片对应的物体图片。
103)部件图片集生成步骤：利用部件级区域感知模型获得每幅物体图片对应的部件图片。
104)三尺度通道加权双线性卷积神经网络训练步骤：将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络CW-B-CNN中进行训练，获得三个分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征。
105)决策模型训练步骤：通过决策模型将三尺度分类器获得的特征进行融合，通过结合不同层次特征的优点用于最终的细粒度分类，经过训练和交叉验证得到超参数α,β和γ。
106)分类输入步骤：输入训练好的模型、输入待细分类的训练集外装备图片、输入所有模型参数和超参数。
107)分类输出步骤：基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络，得到所输入的训练集外装备图片的细粒度分类结果。
进一步，物体图片集生成步骤具体过程如下：将每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练，将模型中的最后一个卷积层输出的特征图在通道方向上叠加生成特征映射图，保留大于平均值的像素点，选取最大联通区域作为物体图片。
进一步，VGG-16模型是一种经典的深度学习网络架构，有13个卷积层(被5个最大池化层分割)和3个全连接层。所有卷积层的过滤器大小都是3×33×3，步长为1，进行填充。5个最大池化层分别在第2、4、7、10、13卷积层后面，池化效果是特征图长宽减少一半(滤波器2×22×2，步长2)。
进一步，部件图片集生成步骤具体过程如下：使用区域推荐网络(RPN)获得部件图片候选区块；将每幅物体图片输入到VGG-16模型中进行训练；在卷积神经网络的中间层神经元上进行谱聚类，生成部件簇以对齐部件；将候选区块输入到卷积网络中，根据激活得分将候选区块分为若干块，将各块中得分最高的候选区块作为部件图片。
进一步，区域推荐网络RPN是一种经典的基于滑窗的无类别物体检测器，是全卷积网络，采用基础网络输出的卷积特征图作为输入。
进一步，通道加权双线性卷积神经网络是在双线性卷积神经网络B-CNN的最后一个卷积层后添加通道权值计算模块，以同时学习通道间的线性关系和非线性关系，抑制背景影响。
进一步，通道权值计算模块的计算过程如下：对卷积层输出的特征图进行全局平均池化和全局最大池化得到平均池化特征和最大池化特征；将这两组特征输入到共同网络，生成通道感兴趣图，共同网络由只包含一个隐藏层的多层感知器组成；将通道感兴趣图使用对应元素求和合并，获得特征矢量；将特征矢量通过Sigmoid函数激活获得各个通道的权重值。
进一步的，本发明还提出一种细粒度装备图片分类识别系统，包括模型训练装置、模型训练电子设备、细粒度分类执行装置、细粒度分类执行电子设备。
进一步的，所述模型训练装置，其包括物体级区域感知模型训练模块、部件级区域感知模型训练模块、三尺度通道加权双线性卷积神经网络训练模块、决策模型训练模块。
进一步的，物体级区域感知模型训练模块的功能是将每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练。
进一步的，部件级区域感知模型训练模块的功能是首先使用区域推荐网络(RPN)获得部件图片候选区块，然后将每幅物体图片输入到VGG-16模型中进行训练。
进一步的，三尺度通道加权双线性卷积神经网络训练模块的功能是将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络(CW-B-CNN)中进行训练，获得三个分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征。
进一步的，决策模型训练模块的功能是将三尺度分类器获得的特征进行融合，经过训练和交叉验证得到超参数α,β和γ。
进一步的，所述模型训练电子设备，包括：训练图片集存储器；模型训练算法处理器；模型输出接口；以及模型训练算法存储器，用于存储模型训练的程序，该设备通电并通过所述处理器运行该模型训练的程序后，执行下述步骤：将训练图片集存储器中的每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练，并得到物体图片；使用区域推荐网络(RPN)获得部件图片候选区块，然后将每幅物体图片输入到VGG-16模型中进行训练，在卷积神经网络的中间层神经元上进行谱聚类，生成部件簇以对齐部件，将候选区块输入到卷积网络中，根据激活得分将候选区块分为若干块，将各块中得分最高的候选区块作为部件图片；将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络(CW-B-CNN)中进行训练，获得三个分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征；将三尺度分类器获得的特征进行融合，经过训练和交叉验证得到超参数α,β和γ；将所有模型及其模型参数和超参数输出到模型输出接口。
进一步的，所述细粒度分类执行装置的功能是：输入训练好的模型、输入待细分类的训练集外装备图片、输入所有模型参数和超参数；基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络，得到所输入的训练集外装备图片的细粒度分类结果。
进一步的，所述细粒度分类执行电子设备，包括：摄像头；模型输入接口；预处理器；细粒度分类算法处理器；显示器；以及细粒度分类算法存储器，用于存储细粒度分类的程序，该设备通电并通过所述处理器运行该细粒度分类的程序后，执行下述步骤：摄像头采集装备图片并输入所述预处理器中；所述预处理器接收所述装备图片后对图片进行预处理生成预处理图片；从模型输入接口获取已训练好的模型、将这些模型连同所述预处理图片和所有模型参数和超参数到所述细粒度分类算法处理器；所述细粒度分类算法处理器基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络进行细粒度分类识别；所述细粒度分类算法处理器输出所述装备图片的细粒度分类结果到显示器。
进一步，所述预处理器的功能包括：对摄像头偶然情况采集到的错误图片使用算法进行剔除；许多情况下装备正在高速移动，由于摄像头并未使用超高速摄像头，因此针对采集到的图片会存在拖影，预处理过程将存在拖影的图片合成重构为清晰图片；分辨率调整，有助于在保证识别准确率的条件下，提高细粒度分类算法处理器的运算效率。
本发明所达到的有益效果：本发明可以通过工业高清摄像头拍摄未知装备的照片，传入已部署本系统的电子设备，经过有限的已知不同种类装备图片数据集充分训练后的模型判别，在几秒钟内对图片中的未知装备型号给出识别结果，识别准确率近乎百分九十以上。对比传统的人工肉眼识别，本发明可以在短时间内，对大批量装备图片做出相对精准判别，大大节省了相关成本的消耗。从技术上看，本发明通过三尺度分类网络可以使原始图片分类子网络结合物体级区域感知模块和部件级区域感知模块的优势，增大差异性信息的获取，提高分类准确率。另一方面，本发明在双线性卷积神经网络中引入通道权重计算模块，能够学习通道间的非线性关系，提高了关键特征的表达力。
附图说明
图1是根据本发明实施例的一种细粒度装备图片分类识别方法的整体原理拓扑图；
图2是根据本发明实施例的一种细粒度装备图片分类识别方法的流程图；
图3是根据本发明实施例的通道加权双线性卷积神经网络的拓扑示意图；
图4是根据本发明实施例的通道加权计算模块网络的拓扑结构图；
图5是根据本发明实施例的训练装置的拓扑示意图；
图6是根据本发明实施例的训练电子设备的拓扑示意图；
图7是根据本发明实施例的细粒度分类执行装置的拓扑示意图；
图8是根据本发明实施例的细粒度分类电子设备的拓扑示意图。
具体实施方式
下面详细描述本发明的实施方式，其中自始至终相同或类似的标号表示相同或类似的元件或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明而不能作为对本发明的限制。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科技术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样的定义，不会用理想化或过于正式的含义来解释。
实施例1：本发明提供的一种细粒度装备图片分类识别方法的整体原理框图如图1所示。细粒度装备图片分类识别方法在训练阶段包括三个子网络：
首先通过物体级区域感知模型和部件级区域感知模型在只使用类标签的情况下获取物体图片和部件图片；
将原始图片、物体图片与部件图片分别输入到通道加权双线性卷积神经网络中进行训练，获得三个分类子网络；
原始图片分类子网络学习图片的整体特征，物体图片分类子网络学习物体级特征，部件图片分类子网络学习物体的部件级特征；
通过决策模型结合三个分类子网络不同层次特征的优点，增大差异性信息的获取，获得最终分类结果。
本发明提供的一种细粒度装备图片分类识别方法的具体步骤如图2所示，描述如下：
101)原始图片集生成步骤：输入若干类待细分的同种装备图片，每类装备图片按文件夹存放，生成数据集，其中的每幅图片称为原始图片；
102)物体图片集生成步骤：利用物体级区域感知模型获得每幅原始图片对应的物体图片；
103)部件图片集生成步骤：利用部件级区域感知模型获得每幅物体图片对应的部件图片；
104)三尺度通道加权双线性卷积神经网络训练步骤：将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络(CW-B-CNN)中进行训练，获得三个分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征；
105)决策模型训练步骤：通过决策模型将三尺度分类器获得的特征进行融合，通过结合不同层次特征的优点用于最终的细粒度分类，经过训练和交叉验证得到超参数α,β和γ；
106)分类输入步骤：输入训练好的模型、输入待细分类的训练集外装备图片、输入所有模型参数和超参数；
107)分类输出步骤：基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络，得到所输入的训练集外装备图片的细粒度分类结果。
进一步，物体图片集生成步骤具体过程如下：将每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练，将模型中的最后一个卷积层输出的特征图在通道方向上叠加生成特征映射图，保留大于平均值的像素点，选取最大联通区域作为物体图片。
进一步，VGG-16模型是一种经典的深度学习网络架构，有13个卷积层(被5个最大池化层分割)和3个全连接层。所有卷积层的过滤器大小都是3×33×3，步长为1，进行填充。5个最大池化层分别在第2、4、7、10、13卷积层后面，池化效果是特征图长宽减少一半(滤波器2×22×2，步长2)。
进一步，部件图片集生成步骤具体过程如下：使用区域推荐网络(RPN)获得部件图片候选区块；将每幅物体图片输入到VGG-16模型中进行训练；在卷积神经网络的中间层神经元上进行谱聚类，生成部件簇以对齐部件；将候选区块输入到卷积网络中，根据激活得分将候选区块分为若干块，将各块中得分最高的候选区块作为部件图片。
进一步，区域推荐网络(RPN)是一种经典的基于滑窗的无类别物体检测器，是全卷积网络，采用基础网络输出的卷积特征图作为输入。
进一步，通道加权双线性卷积神经网络是在双线性卷积神经网络(B-CNN)的最后一个卷积层后添加通道权值计算模块，以同时学习通道间的线性关系和非线性关系，抑制背景影响。
进一步，通道权值计算模块的计算过程如下：对卷积层输出的特征图使用全局平均池化和全局最大池化操作来聚合特征图的空间信息，生成两个不同的空间描述符：平均池化特征和最大池化特征；将这两组特征输入到一个共同网络，生成通道感兴趣图，共同网络由只包含一个隐藏层的多层感知器组成；将通道感兴趣图使用对应元素求和合并，获得特征矢量；将特征矢量通过Sigmoid函数激活获得各个通道的权重值。
详细地，所述物体级区域感知模型将原始图片I输入到VGG-16中，从最后一个卷积层输出特征图T＝[t1,t2,…,tc]，对其按通道方向叠加，得到激活特征图G＝t1+t2+…+tc，tn为第n个通道(n＝1,2,…,c)的特征图，c为通道数。通过特征图T的叠加，可突出识别重点区块，准确定位目标区域。将G的平均值作为阈值以确定G中该位置处的元素是否是物体的一部分，保留大于平均值的象素值，从该图中选取最大联通区域得到掩模M，将其覆盖到输入图片I上，即I'＝I·M，其中·表示矩阵对应元素相乘。最后得到坐标参数[x0,y0,a,b],其中(x0,y0)表示代表区块中心，a和b分别代表区块宽和高的一半。则区块的左上角坐标和右下角坐标分别为(x0-a,y0-b)和(x0+a,y0+b)。
详细地，所述部件级区域感知模型将物体图片区域输入到VGG-16模型中进行训练，在卷积神经网络的中间层神经元上进行谱聚类，生成部件簇以对齐部件。先计算相似度矩阵P＝{pij}，其中pij表示两个中间层神经元ui和uj之间权值的余弦相似度，然后对相似度矩阵P进行谱聚类，将中间层神经元划分为k组。从倒数第2个卷积层以k＝4选取神经元。将候选区块调整大小后输入到卷积网络中，前向传播以产生每个神经元的激活得分，根据激活得分将候选区块分为4块。将各块中得分最高的候选区块作为部件图片。
详细地，所述的通道加权双线性卷积神经网络模型如图3所示。该模型以基于VGG-16构建的双线性卷积神经网络模型为基准，在最后一个卷积层与双线性池化层中间增加通道权值计算模块。在图3中，Fpre表示为最后一个卷积层前的所有运算(卷积和池化)，Fcon表示为最后一个卷积层的卷积运算。定义V＝[v1,v2,…,vc]为Fcon的卷积核，vj是第j个卷积核参数，Fcon输出的特征图表示为U＝[u1,u2,…,uc]，其第j个通道(j＝1,2,…,c)的特征图为
其中*表示卷积运算，
是二维空间核，表示为vj的单个通道的卷积核，作用于I'的对应通道xs，s＝1,2,…,n，其中n表示该卷积层输入的通道特征图的数量。图3中的通道权值计算模块详细结构如图4所示，对特征图
进行全局平均池化操作和全局最大池化操作，分别得到dj1＝Fsq(uj)和dj2＝max{uj}。然后采用包含一个隐藏层的多层感知器MLP并采用Sigmoid激活函数来捕获通道间的非线性关系，权重计算公式为：q＝σ(MLP(dj1)+MLP(dj2))＝σ(W1ReLU(W0dj1)+W1ReLU(W0dj2))，其中ReLU(·)指ReLU激活函数，σ(·)为Sigmoid激活函数，q＝[q1,q2,…,qc],W0是第一个FC层的权重，W1是第2个FC层的权重。将获得的通道权重与输入的特征图进行相乘得到加权分布的特征图，计算公式为：xj”＝Fscale(uj,sj)，其中I”＝[x1”,x2”,…,xc”]，Fscale(·)为逐元素相乘运算。加权后的特征图与原特征图尺寸相同，即xj”,
接着对得到的加权特征图进行双线性池化。然后对其进行归一化操作以提高加权双线性特征的表示能力。最后将归一化后的加权双线性特征输入Softmax层实现图片分类。
详细地，所述决策模型为了获得更好的分类性能，将原始图片、物体图片和部件图片分别使用通道加权双线性卷积神经网络模型进行训练，得到三个分类器，分别为OriginalNet，ObjectNet和PartNet：OriginalNet用于原始图片，ObjectNet用于物体图片，PartNet用于部件图片。OriginalNet关注图片整体特征，ObjectNet关注物体级整体特征，PartNet关注的是部件级细节特征。通过决策模型将三个分类网络进行结合，使原始图片分类器结合物体级区域感知模型和部件级区域感知模型的优势，增大差异性信息的获取。在训练阶段，这三个网络结构都使用交叉熵损失作为分类损失，计算公式为：L＝-log(Pc(b))，其中b是输入图片的标签，Pc是最后一个softmax层输出的类别概率。决策模型的最终的输出为score＝α×score_or+β×score_ob+γ×_score_pa，score_pa＝∑score_pai，其中score_or、score_ob和score_pa分别为3个softmax分类器的值，α,β和γ通过交叉验证的方法获得。
实施例2：本发明还提供了基于两级区域感知三尺度通道加权双线性卷积神经网络的一种细粒度装备图片分类识别系统，包括模型训练装置、模型训练电子设备、细粒度分类执行装置、细粒度分类执行电子设备；
图5给出了所述模型训练装置示意图，包括物体级区域感知模型训练模块、部件级区域感知模型训练模块、三尺度通道加权双线性卷积神经网络训练模块和决策模型训练模块。
物体级区域感知模型训练模块的功能是将每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练；
部件级区域感知模型训练模块的功能是首先使用区域推荐网络(RPN)获得部件图片候选区块，然后将每幅物体图片输入到VGG-16模型中进行训练；
三尺度通道加权双线性卷积神经网络训练模块的功能是将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络(CW-B-CNN)中进行训练，获得三个分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征；
决策模型训练模块的功能是将三尺度分类器获得的特征进行融合，经过训练和交叉验证得到超参数α,β和γ。
图6给出了所述模型训练电子设备示意图，包括：训练图片集存储器；模型训练算法处理器；模型输出接口；以及模型训练算法存储器，用于存储模型训练的程序，该设备通电并通过所述处理器运行该模型训练的程序后，执行下述步骤：
将训练图片集存储器中的每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练，并得到物体图片；
使用区域推荐网络(RPN)获得部件图片候选区块，然后将每幅物体图片输入到VGG-16模型中进行训练，在卷积神经网络的中间层神经元上进行谱聚类，生成部件簇以对齐部件，将候选区块输入到卷积网络中，根据激活得分将候选区块分为若干块，将各块中得分最高的候选区块作为部件图片；
将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络(CW-B-CNN)中进行训练，获得三个分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征；
将三尺度分类器获得的特征进行融合，经过训练和交叉验证得到超参数α,β和γ；
将所有模型及其模型参数和超参数输出到模型输出接口。
图7给出了所述细粒度分类执行装置的示意图，功能是：输入训练好的模型、输入待细分类的训练集外装备图片、输入所有模型参数和超参数；基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络，得到所输入的训练集外装备图片的细粒度分类结果。
图8给出了所述细粒度分类执行电子设备的示意图，包括：摄像头；模型输入接口；预处理器；细粒度分类算法处理器；显示器；以及细粒度分类算法存储器，用于存储细粒度分类的程序，该设备通电并通过所述处理器运行该细粒度分类的程序后，执行下述步骤：
摄像头采集装备图片并输入所述预处理器中；
所述预处理器接收所述装备图片后对图片进行预处理生成预处理图片；
从模型输入接口获取已训练好的模型、将这些模型连同所述预处理图片和所有模型参数和超参数到所述细粒度分类算法处理器；
所述细粒度分类算法处理器基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络进行细粒度分类识别；
所述细粒度分类算法处理器输出所述装备图片的细粒度分类结果到显示器。
进一步，所述预处理器的功能包括：对摄像头偶然情况采集到的错误图片使用算法进行剔除；许多情况下装备正在高速移动，由于摄像头并未使用超高速摄像头，因此针对采集到的图片会存在拖影，预处理过程将存在拖影的图片合成重构为清晰图片；分辨率调整，有助于在保证识别准确率的条件下，提高细粒度分类算法处理器的运算效率。
神经网络模型需要在装备数据集上进行训练。对于数据集的制作和准备，设计了简单方便的数据组织规范，可以仅仅按照文件夹进行分类存放，便可作为符合模型训练使用的数据集。对于模型的训练，单个军用装备类型仅需准备50张图片便可以达到90％以上的识别准确率，且模型训练收敛快，效率高，对于一百类装备的数据集规模，训练可以在12小时内完成。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种细粒度装备图片分类识别方法，其特征在于，包括如下步骤：
步骤101)：原始图片集生成步骤，包括：输入若干类待细分的同种装备图片，每类装备图片按文件夹存放，生成数据集，其中的每幅装备图片称为原始图片；
步骤102)：物体图片集生成步骤，包括：利用感知模型获得每幅原始图片对应的物体图片；
步骤103)：部件图片集生成步骤，包括：利用感知模型获得每幅物体图片对应的部件图片；
步骤104)：三尺度通道加权双线性卷积神经网络训练步骤，包括：将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络中进行训练，获得三尺度分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征；
步骤105)：决策模型训练步骤，包括：通过决策模型将三尺度分类器获得的特征进行融合，通过结合不同层次特征的优点用于最终的细粒度分类，经过训练和交叉验证得到超参数α,β和γ；
步骤106)：分类输入步骤，包括：输入训练好的模型、输入待细分类的训练集外装备图片、输入所有模型参数和超参数；
步骤107)：分类输出步骤，包括：基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络，得到所输入的训练集外装备图片的细粒度分类结果。
2.根据权利要求1所述的一种细粒度装备图片分类识别方法，其特征在于，所述步骤101)具体包括：装备图片数据集是细粒度的，即同种装备的不同型号。
3.根据权利要求1所述的一种细粒度装备图片分类识别方法，其特征在于，所述步骤102)具体包括：采用物体级区域感知模型获得每幅原始图片对应的物体图片。
4.根据权利要求3所述的一种细粒度装备图片分类识别方法，其特征在于，所述步骤102)具体还包括：将物体级区域感知模型VGG-16中的最后一个卷积层输出的特征图在通道方向叠加获得特征映射图，将大于平均值的点设为1，其余的点为0，选取最大联通区域作为物体图片。
5.根据权利要求1所述的一种细粒度装备图片分类识别方法，其特征在于，所述步骤103)具体包括：采用部件级区域感知模型获得每幅原始图片对应的物体图片。
6.根据权利要求5所述的一种细粒度装备图片分类识别方法，其特征在于，所述步骤103)具体还包括：使用区域推荐网络RPN获得部件图片候选区块，在卷积神经网络的中间层神经元上进行谱聚类，生成部件簇以对齐部件，将候选区块输入到卷积网络中，根据激活得分将候选区块分为若干块，将各块中得分最高的候选区块作为部件图片。
7.根据权利要求1所述的一种细粒度装备图片分类识别方法，其特征在于，所述步骤104)具体包括：采用三尺度通道加权双线性卷积神经网络，将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络CW-B-CNN中进行训练，获得三尺度分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征。
8.根据权利要求7所述的一种细粒度装备图片分类识别方法，其特征在于，所述通道加权双线性卷积神经网络CW-B-CNN在双线性卷积神经网络B-CNN的最后一个卷积层后添加通道权值计算模块，以同时学习通道间的线性关系和非线性关系，抑制背景影响。
9.根据权利要求8所述的一种细粒度装备图片分类识别方法，其特征在于，所述通道权值计算模块执行：对卷积层输出的特征图使用全局平均池化和全局最大池化操作来聚合特征图的空间信息，生成两个不同的空间描述符：平均池化特征和最大池化特征；将这两组特征输入到一个共同网络，生成通道感兴趣图，共同网络由只包含一个隐藏层的多层感知器组成；将通道感兴趣图使用对应元素求和合并，获得特征矢量；将特征矢量通过Sigmoid函数激活获得各个通道的权重值。
10.一种细粒度装备图片分类识别系统，其特征在于，包括：
模型训练装置，所述模型训练装置包括：物体级区域感知模型训练模块、部件级区域感知模型训练模块、三尺度通道加权双线性卷积神经网络训练模块、决策模型训练模块，所述物体级区域感知模型训练模块执行每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练，所述部件级区域感知模型训练模块执行首先使用区域推荐网络RPN获得部件图片候选区块，然后将每幅物体图片输入到VGG-16模型中进行训练，所述三尺度通道加权双线性卷积神经网络训练模块执行将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络CW-B-CNN中进行训练，获得三尺度分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征，所述决策模型训练模块执行将三尺度分类器获得的特征进行融合，经过训练和交叉验证得到超参数α,β和γ；
模型训练电子设备，包括：训练图片集存储器；模型训练算法处理器；模型输出接口；以及模型训练算法存储器，用于存储模型训练的程序，具体执行：将训练图片集存储器中的每幅原始图片输入到VGG-16模型进行物体级区域感知模型的训练，并得到物体图片；使用区域推荐网络RPN获得部件图片候选区块，然后将每幅物体图片输入到VGG-16模型中进行训练，在卷积神经网络的中间层神经元上进行谱聚类，生成部件簇以对齐部件，将候选区块输入到卷积网络中，根据激活得分将候选区块分为若干块，将各块中得分最高的候选区块作为部件图片；将原始图片、物体图片和部件图片分别输入到通道加权双线性卷积神经网络CW-B-CNN中进行训练，获得三个分类器，分别对应三个尺度的特征：图片整体特征、物体级特征和部件级特征；将三尺度分类器获得的特征进行融合，经过训练和交叉验证得到超参数α,β和γ；将所有模型及其模型参数和超参数输出到模型输出接口；
细粒度分类执行装置，具体执行：输入训练好的模型、输入待细分类的训练集外装备图片、输入所有模型参数和超参数；基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络，得到所输入的训练集外装备图片的细粒度分类结果；
细粒度分类执行电子设备，包括：摄像头；模型输入接口；预处理器；细粒度分类算法处理器；显示器；以及细粒度分类算法存储器，用于存储细粒度分类的程序，具体执行：摄像头采集装备图片并输入预处理器中；预处理器接收所述装备图片后对图片进行预处理生成预处理图片；从模型输入接口获取已训练好的模型、将这些模型连同预处理图片和所有模型参数和超参数到所述细粒度分类算法处理器；所述细粒度分类算法处理器基于训练好的两级区域感知三尺度通道加权双线性卷积神经网络进行细粒度分类识别；所述细粒度分类算法处理器输出所述装备图片的细粒度分类结果到显示器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210090516.4A CN114492634B (zh) | 2022-01-25 | 2022-01-25 | 一种细粒度装备图片分类识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210090516.4A CN114492634B (zh) | 2022-01-25 | 2022-01-25 | 一种细粒度装备图片分类识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114492634A true CN114492634A (zh) | 2022-05-13 |
| CN114492634B CN114492634B (zh) | 2024-01-19 |
Family
ID=81475424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210090516.4A Active CN114492634B (zh) | 2022-01-25 | 2022-01-25 | 一种细粒度装备图片分类识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114492634B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114861739A (zh) * | 2022-07-06 | 2022-08-05 | 广东工业大学 | 一种特征通道可选择的多组件系统退化预测方法及系统 |
| CN114943845A (zh) * | 2022-05-23 | 2022-08-26 | 天津城建大学 | 一种领域图片细粒度分类识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN112052876A (zh) * | 2020-08-04 | 2020-12-08 | 烽火通信科技股份有限公司 | 一种基于改进ra-cnn的细粒度图像检测方法与系统 |
| CN112668403A (zh) * | 2020-12-09 | 2021-04-16 | 上海海事大学 | 多特征区域的细粒度船舶图像目标识别方法 |
-
2022
- 2022-01-25 CN CN202210090516.4A patent/CN114492634B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647912A (zh) * | 2019-08-15 | 2020-01-03 | 深圳久凌软件技术有限公司 | 细粒度图像识别方法、装置、计算机设备及存储介质 |
| CN112052876A (zh) * | 2020-08-04 | 2020-12-08 | 烽火通信科技股份有限公司 | 一种基于改进ra-cnn的细粒度图像检测方法与系统 |
| CN112668403A (zh) * | 2020-12-09 | 2021-04-16 | 上海海事大学 | 多特征区域的细粒度船舶图像目标识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943845A (zh) * | 2022-05-23 | 2022-08-26 | 天津城建大学 | 一种领域图片细粒度分类识别方法及系统 |
| CN114861739A (zh) * | 2022-07-06 | 2022-08-05 | 广东工业大学 | 一种特征通道可选择的多组件系统退化预测方法及系统 |
| CN114861739B (zh) * | 2022-07-06 | 2022-09-23 | 广东工业大学 | 一种特征通道可选择的多组件系统退化预测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114492634B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| CN107273845B (zh) | 一种基于置信区域和多特征加权融合的人脸表情识别方法 | |
| CN109685819B (zh) | 一种基于特征增强的三维医学图像分割方法 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN111291809B (zh) | 一种处理装置、方法及存储介质 | |
| CN111814661B (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
| KR102224253B1 (ko) | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 | |
| CN107169974A (zh) | 一种基于多监督全卷积神经网络的图像分割方法 | |
| JP2018506788A (ja) | 物体の再同定の方法 | |
| CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| JP2017513144A (ja) | 顔認証方法およびシステム | |
| CN110555481A (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN110879982A (zh) | 一种人群计数系统及方法 | |
| CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN115661246A (zh) | 一种基于自监督学习的姿态估计方法 | |
| CN111209873A (zh) | 一种基于深度学习的高精度人脸关键点定位方法及系统 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
| Zhao et al. | Cbph-net: A small object detector for behavior recognition in classroom scenarios | |
| CN115131503A (zh) | 一种虹膜三维识别的健康监测方法及其系统 | |
| KR102178469B1 (ko) | 교사-학생 프레임워크 기반의 소프트 타겟 학습방법을 이용한 보행자 포즈 방향 추정 방법 및 시스템 | |
| JP7225731B2 (ja) | 多変数データシーケンスの画像化 | |
| CN117036658A (zh) | 一种图像处理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |