CN114548884B - 一种基于剪枝轻量化模型的包裹识别方法和系统 - Google Patents
一种基于剪枝轻量化模型的包裹识别方法和系统 Download PDFInfo
- Publication number
- CN114548884B CN114548884B CN202210447343.7A CN202210447343A CN114548884B CN 114548884 B CN114548884 B CN 114548884B CN 202210447343 A CN202210447343 A CN 202210447343A CN 114548884 B CN114548884 B CN 114548884B
- Authority
- CN
- China
- Prior art keywords
- matrix
- pruning
- entropy
- characteristic
- von neumann
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013138 pruning Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 165
- 238000010586 diagram Methods 0.000 claims abstract description 100
- 238000003062 neural network model Methods 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000008859 change Effects 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于剪枝轻量化模型的包裹识别方法和系统，属于图像识别技术领域，解决了现有神经网络模型运算复杂度高、时间和内存消耗大以及难以在终端设备上部署的问题。包括将训练图片输入待剪枝神经网络模型，提取各卷积层的特征图矩阵；将特征图矩阵转换为带权无向图，构建改进后的拉普拉斯矩阵，计算出冯·诺依曼图熵作为原始值；依次删除带权无向图中单个顶点得到新的带权无向图，计算新的带权无向图的冯·诺依曼图熵相对于原始值的变化值；根据冯·诺依曼图熵的变化值计算通道的重要性，对通道进行剪枝得到剪枝轻量化模型；将剪枝轻量化模型部署至包裹识别终端设备，识别实时采集的图片。实现了模型的高剪枝率，提升了实时包裹识别效率。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于剪枝轻量化模型的包裹识别方法和系统。
背景技术
近年来，我国快递业务总体呈快速增长趋势，发展潜力巨大。为满足快速增长的快递业务量带来的分拣需求，快递业对物流中转中心的快递分拣能力提出了高要求。现代物流使用物流包裹自动分拣系统将包裹按照不同地区分拣开，其中包裹的识别检测是快递分拣的重要组成部分。
在当前的图像识别方法中，传统图像处理方法在复杂的包裹分拣场景中存在人为设计特征困难等问题，相比之下，基于深度学习的目标识别算法具有明显的技术优势。
随着深度学习理论的不断发展，深度卷积神经网络向着更深的网络层数和更宽的网络架构推进。一方面，这种复杂模型可以有效提升神经网络学习能力，从而获得更好的性能指标；另一方面，这会导致网络参数量和浮点数运算量急剧增长，这意味着更高的能耗、更大的内存占用以及更长的训练推理时间。长久以来，深度卷积神经网络对使用场景要求比较严格，往往部署在服务器端，但并不能满足实际需求。在物流分拣场景中，实时包裹识别要求深度学习模型具有参数少、运算快等特点，而复杂模型的推理时间以及终端与服务器之间的通讯延迟都无法满足快速处理包裹图像的要求，极大地限制了深度学习在该领域的推广应用。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于剪枝轻量化模型的包裹识别方法和系统，用以解决现有神经网络模型运算复杂度高、时间和内存消耗大以及难以在终端设备上部署的问题。
一方面，本发明实施例提供了一种基于剪枝轻量化模型的包裹识别方法，包括以下步骤：
将训练图片输入已预训练的待剪枝神经网络模型，提取各卷积层的特征图矩阵；
将各卷积层的特征图矩阵转换为带权无向图，根据特征图矩阵的幅值矩阵构建改进后的拉普拉斯矩阵，并计算出冯·诺依曼图熵作为各卷积层的原始值；依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于原始值的变化值；
根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，并根据各卷积层的剪枝率和通道的重要性，对各卷积层的通道进行剪枝，训练剪枝后的神经网络模型，得到剪枝轻量化模型；
将剪枝轻量化模型部署至包裹识别终端设备，对实时采集的图片识别出其中的包裹信息。
基于上述方法的进一步改进，将各卷积层的特征图矩阵转换为带权无向图，包括：
将各卷积层的特征图矩阵中的每个三维特征图进行变形，得到特征行向量矩阵，其中每一行是与每个通道对应的特征行向量，分别作为各卷积层的带权无向图的顶点；
计算各卷积层的特征行向量矩阵中任意两个特征行向量的余弦距离，作为各卷积层的带权无向图中对应两个顶点之间的边权重；
根据带权无向图，获取邻接矩阵和度矩阵。
基于上述方法的进一步改进，邻接矩阵是一个实对称矩阵，其非对角元素为对应两个顶点之间的边权重，对角元素为0；度矩阵是一个对角矩阵，其每行对角元素为邻接矩阵中相应行的所有元素之和。
基于上述方法的进一步改进，根据特征图矩阵的幅值矩阵构建改进后的拉普拉斯矩阵，包括：
根据特征图矩阵，获取幅值矩阵，幅值矩阵是一个对角矩阵，其中每个对角元素为特征图矩阵中相应通道中所有元素的平方和；
将度矩阵与幅值矩阵相乘后，再减去邻接矩阵，得到改进后的拉普拉斯矩阵。
基于上述方法的进一步改进，冯·诺依曼图熵通过下式计算得到：
其中，H i 表示第i个卷积层的冯·诺依曼图熵，L d 表示改进后的拉普拉斯矩阵；trace(•)表示矩阵的迹，即矩阵所有特征值之和；λ k 表示改进后的拉普拉斯矩阵L d 中第k个特征值，λ k ≥0，且
，n i 表示第i个卷积层的通道数量。
基于上述方法的进一步改进，依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于原始值的变化值，包括：
针对每个卷积层的带权无向图，依次删除单个顶点对应的特征行向量，对每次删除后得到的特征行向量矩阵重新转换为新的带权无向图，构造新的改进后的拉普拉斯矩阵，计算出新的冯·诺依曼图熵；
计算每个新的冯·诺依曼图熵与对应的卷积层的原始值的差值绝对值，作为被删除的顶点对应的通道的冯·诺依曼图熵的变化值。
基于上述方法的进一步改进，根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，包括：
根据每张训练图片得到的各卷积层的通道的冯·诺依曼图熵的变化值，计算出每个通道的冯·诺依曼图熵变化值的平均值，作为每个通道的重要性。
基于上述方法的进一步改进，根据各卷积层的剪枝率和通道的重要性，对各卷积层的通道进行剪枝，是根据各卷积层的剪枝率，按照各卷积层的通道的重要性，从小到大对通道进行剪枝。
基于上述方法的进一步改进，待剪枝神经网络模型是由具有CONV-BN-ReLU结构的卷积层构成的神经网络模型。
另一方面，本发明实施例提供了一种基于剪枝轻量化模型的包裹识别系统，包括：
特征图矩阵提取模块，用于将训练图片输入已预训练的待剪枝神经网络模型，提取各卷积层的特征图矩阵；
冯·诺依曼图熵计算模块，用于将各卷积层的特征图矩阵转换为带权无向图，根据特征图矩阵的幅值矩阵构建改进后的拉普拉斯矩阵，并计算出冯·诺依曼图熵作为各卷积层的原始值；依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于原始值的变化值；
通道剪枝模块，用于根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，并根据各卷积层的剪枝率和通道的重要性，对各卷积层的通道进行剪枝，训练剪枝后的神经网络模型，得到剪枝轻量化模型；
包裹识别模块，用于将剪枝轻量化模型部署至包裹识别终端设备，对实时采集的图片识别出其中的包裹信息。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、将无向图和冯·诺依曼图熵等理论应用至神经网络剪枝中，将神经网络模型的特征图矩阵转换为带权无向图，同时考虑特征图的幅值和相关性，计算删除单个通道后的冯·诺依曼图熵变化值，以此作为剪枝依据，以保证剪枝后轻量化模型的性能，实现了显著的模型压缩与加速；
2、特征图矩阵的冯·诺依曼图熵具有良好的稳定性，与输入训练图片的数量相关性较小，只需要少量训练图片即可得到准确的特征图通道重要性，使得技术方案剪枝效率高、内存占用低以及剪枝结果稳定；
3、本发明的通道剪枝方法适用于由具有CONV-BN-ReLU结构的卷积层构成的神经网络模型，在保持性能最大化的同时，尽可能缩减其参数量和运算量，实现神经网络模型轻量化，将压缩后的轻量化深度神经网络模型部署在资源受限的边缘设备，扩大了使用范围，实现了应用价值最大化。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件；
图1为本发明实施例一中一种基于剪枝轻量化模型的包裹识别方法的流程图；
图2为本发明实施例一中一种基于剪枝轻量化模型的包裹识别方法的剪枝示例图；
图3为本发明实施例二中一种基于剪枝轻量化模型的包裹识别系统的模块示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在物流分拣场景中，实时包裹识别要求深度学习模型具有参数少、运算快等特点，而复杂模型的推理时间以及终端与服务器之间的通讯延迟都无法满足快速处理包裹图像的要求。针对当下深度神经网络模型参数量和浮点计算量大、时间/内存消耗大以及难以部署等问题，本发明提出了一种基于剪枝轻量化模型的包裹识别方法和系统，将无向图和冯·诺依曼图熵等理论应用至神经网络剪枝中，将特征图矩阵转换为带权无向图，计算剪除每个通道后冯·诺依曼图熵的变化值，以此作为衡量通道重要性的指标，在兼顾剪枝后轻量化模型的性能，实现了显著的模型压缩与加速，便于部署在资源受限的包裹识别终端，满足实时包裹识别的需求。
实施例一
本发明的一个具体实施例，公开了一种剪枝轻量化模型的包裹识别方法。如图1所示，该方法包括以下步骤：
S101：将训练图片输入已预训练的待剪枝神经网络模型，提取各卷积层的特征图矩阵；
需要说明的是，本实施例中并不限制待剪枝神经网络模型的具体网络结构，只要是由具有CONV-BN-ReLU结构的卷积层构成的神经网络模型即可。CONV-BN-ReLU结构广泛应用在多种主流卷积神经网络模型，使得本方法中的剪枝方案可以十分方便地应用在分类、识别等领域的主流神经网络模型中，实现神经网络模型轻量化。
示例性地，待剪枝神经网络模型可以是YOLO和ResNet系列的神经网络模型。
需要说明的是，通过包裹分拣传送带上摄像头的连续拍照，采集图片，对其进行标注，对图像数据进行缩放等预处理，构建包裹图片数据集，用于预训练待剪枝神经网络模型。本步骤中对已预训练的待剪枝神经网络模型开始进行剪枝轻量化，所需的训练图片从包裹图片数据集中随机抽取。当使用更多训练图片时，理论上可以获得更加准确的特征图通道重要性，但是这会导致剪枝时间增加，剪枝效率降低，且剪枝性能并没有显著提升；当使用更少训练图片时，则无法获得较为精确的特征图通道重要性，剪枝效果变差。因此，为了兼顾剪枝效率和剪枝性能，使用600~1000张图片进行剪枝。优选地，使用640张训练图片，分5个批次，每个批次输入128张图片。
具体来说，将训练图片分批输入已预训练的待剪枝神经网络模型，提取的各卷积层的特征图矩阵是一个四维矩阵，包括每批次中每张图片产生的三维特征图，可以通过如下公式表示：
其中，
表示第i个卷积层输出的特征图矩阵，
表示特征图矩阵
中的第j个特征图；
表示在一个批次中输入到待剪枝的神经网络模型中的训练图片数量；n i 表示第i个卷积层输出特征图矩阵中每个特征图的通道数量；h i 和w i 分别表示特征图的高度和宽度；
表示第i个卷积层输出特征图矩阵中第j个特征图
的第k个通道图。
示例性地，ResNet56神经网络模型中存在55个卷积层，在输入每个批次128张训练图片时提取各个卷积层产生的特征图矩阵，则5个批次总共可以提取到275个特征图矩阵，每个特征图矩阵中包括128个三维特征图。
S102：将各卷积层的特征图矩阵转换为带权无向图，根据特征图矩阵的幅值矩阵构建改进后的拉普拉斯矩阵，并计算出冯·诺依曼图熵作为各卷积层的原始值；依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于对应的卷积层的原始值的变化值；
需要说明的是，将各卷积层的特征图矩阵转换为带权无向图，包括：
①将各卷积层的特征图矩阵中的每个三维特征图进行变形，得到特征行向量矩阵，其中每一行是与每个通道对应的特征行向量，分别作为各卷积层的带权无向图的顶点；
具体来说，对提取到的特征图矩阵中的每个三维特征图(n i ,h i ,w i )进行变形，是保持通道数量n i 不变，将每一个通道下的(h i ,w i )矩阵的所有元素拉成一行，得到n i 个特征行向量(n i ,h i w i )，对应带权无向图中的n i 个顶点，其中，h i 和w i 分别表示特征图的高度和宽度，h i w i 表示变形后每个特征行向量中的元素数量。变形后得到的特征行向量矩阵通过如下公式表示：
其中，
表示第i个卷积层第j个特征图变形后的特征行向量矩阵，
中的
表示与特征图中第k个通道对应的特征行向量，作为第i个卷积层的带权无向图G的一个顶点。
②计算各卷积层的特征行向量矩阵中任意两个特征行向量的余弦距离，作为各卷积层的带权无向图中对应两个顶点之间的边权重；
具体来说，依照公式(4)所示，计算
中任意两个特征行向量
和
的余弦距离：
其中，
和
分别表示特征行向量
和
中第m个元素。计算
中所有行向量两两之间的余弦距离，作为转换得到的带权无向图G相应两个顶点之间边的权重。
③根据带权无向图，获取邻接矩阵和度矩阵。
需要说明的是，带权无向图的邻接矩阵是一个实对称矩阵，其非对角元素为对应两个顶点之间的边权重，对角元素为0，表示如下：
其中，W表示带权无向图G的邻接矩阵，其非对角元素dis p,q 为顶点p和顶点q之间边的权重。
带权无向图的度矩阵是一个对角矩阵，其每行对角元素为邻接矩阵中相应行的所有元素之和，表示如下：
其中，S表示带权无向图G的度矩阵，其对角元素s k 为邻接矩阵W第k行所有元素之和。
通过以上三步，将各卷积层的特征图矩阵转换为带权无向图，用于描述各卷积层的通道的相关性。
本实施例为了得到更准确的剪枝标准，通过带权无向图描述通道相关性，通过特征图的幅值大小描述通道个体重要性，最终融合通道相关性和通道个体重要性，构建改进后的拉普拉斯矩阵。
具体来说，通过特征图的幅值矩阵来表示特征图的幅值大小，用于衡量各通道对神经网络模型的影响，幅值矩阵是一个对角矩阵，其中每个对角元素为特征图矩阵中相应通道中所有元素的平方和，公式如下所示：
其中，D表示特征图的幅值矩阵，其对角元素d k 为特征图矩阵第k个通道中所有元素的平方和。
将度矩阵与幅值矩阵相乘后，再减去邻接矩阵，得到改进后的拉普拉斯矩阵，公式如下所示：
其中，L d 表示改进后的拉普拉斯矩阵，是一个实对称半正定矩阵，*表示矩阵对应元素相乘。
根据改进后的拉普拉斯矩阵，通过下式计算得到冯·诺依曼图熵：
其中，H i 表示第i个卷积层的冯·诺依曼图熵，trace(•)表示矩阵的迹，即矩阵所有特征值之和；λ k 表示改进后的拉普拉斯矩阵L d 中第k个特征值，λ k ≥0，且
，n i 表示第i个卷积层的通道数量。
需要说明的是，冯·诺依曼图熵具有良好的稳定性，与输入训练图片的数量相关性较小，只需要少量训练图片即可得到准确的特征图通道重要性。根据各卷积层的特征图矩阵计算出来的冯·诺依曼图熵作为各卷积层的原始值，接下来，计算删除单个通道后的冯·诺依曼图熵变化值，以此作为剪枝依据。
具体来说，依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于对应的卷积层的原始值的变化值，包括：
针对每个卷积层的带权无向图，依次删除单个顶点对应的特征行向量，对每次删除后得到的特征行向量矩阵重新转换为新的带权无向图，构造新的改进后的拉普拉斯矩阵，计算出新的冯·诺依曼图熵；
需要说明的是，从原始图G中删除单个顶点，即从特征行向量矩阵
中删除对应的特征行向量，按照公式(4)-(9)重新构造带权无向图G ’ ，根据公式(10)得到新的改进后的拉普拉斯矩阵
，以及根据公式(11)得到新的冯·诺依曼图熵H ’ 。
计算每个新的冯·诺依曼图熵与对应的卷积层的原始值的差值绝对值，作为被删除的顶点对应的通道的冯·诺依曼图熵的变化值，公式如下所示：
其中，abs(•)表示求取绝对值运算。
S103：根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，并根据各卷积层的剪枝率，对各卷积层的通道进行剪枝，训练剪枝后的神经网络模型，得到剪枝轻量化模型；
需要说明的是，冯·诺依曼图熵有助于测量图之间的信息差异和距离，将某一通道删除后，若新的冯·诺依曼图熵变化明显，则表明该通道重要性高，在剪枝过程中需要保留，以保证剪枝后轻量化模型的性能。因此，模型通道剪枝的目标就是，在最大限度保留原有神经网络模型性能和泛化性的基础上，从神经网络模型中减去不重要的卷积通道。此目标可以定义为如下公式所示：
其中，Acc表示剪枝后神经网络模型性能；
表示第k个通道的掩膜，取值为0或1，当
取0时表示该通道被剪除，当
取1时表示该通道被保留；CI(b k )表示第k个通道b k 的重要性；n i 表示该卷积层中的通道数量；
表示剪枝后该卷积层保留的通道数量。
各卷积层的通道的重要性根据各卷积层中冯·诺依曼图熵的变化值，依照如下公式近似得到：
其中，ΔH k,j 表示输入第j个图片时该卷积层第k个通道b k 得到的冯·诺依曼图熵变化值；
表示输入的图片总数量。
根据公式(13)和公式(14)可知，为了使剪枝后的模型性能最大化，可以等价为保留重要性最大的通道。因此，根据各卷积层的剪枝率，对各卷积层的通道进行剪枝，是根据各卷积层的剪枝率，按照各卷积层的通道的重要性，从小到大对通道进行剪枝。
以ResNet56神经网络模型为例，该神经网络模型包含有55个卷积层，那么就对这55个卷积层中每一层的所有通道按照重要性从小到大分别进行排序。
图2是以一个卷积层为例，展示了本实施例中通过通道剪枝得到剪枝轻量化模型的过程。在图2中，该卷积层有4个通道，将1张图片输入该卷积层后，构建出1个包含4个顶点的带权无向图，根据其计算的冯·诺依曼图熵作为该卷积层的原始值，再依次删除单个顶点，构建出4个包含3个顶点的新的带权无向图，分别得到新的冯·诺依曼图熵，并与原始值对比，得到4个通道的冯·诺依曼图熵变化值。由于是1张图片，变化值的大小相当于重要性的大小，当剪枝率是0.5时，按照从小到大排序，将变化值比较小的通道4和通道1剪枝，保留通道2和通道3。
需要说明的是，对于神经网络模型来说，同一卷积层输出特征图的通道重要性具有可比性，而不同卷积层的特征图通道对模型的影响不同，因此给定神经网络模型通道剪枝率、通道重要性排序以及剪枝操作都是在模型不同卷积层中分层进行的。其中神经网络模型通道剪枝率可以依据实际需要设置，以实现模型性能和模型计算量之间的平衡。根据实验发现，相比深层卷积通道来说，模型的浅层卷积通道往往更重要，因此浅层卷积通道剪枝率一般会小于深层卷积通道剪枝率。另外，对于残差网络还需要考虑残差输出通道的剪枝率与主干网络输出通道的剪枝率相匹配，以保证两个输出特征可以实现相加操作。
在本实施例中，对剪枝后的神经网络模型进行微调训练，包括：设置微调训练超参数，包括初始学习率、带预热机制的余弦退火衰减策略、批次大小、迭代次数、带有动量和权重衰减的随机梯度下降以及分层剪枝率，在GPU上对剪枝后的轻量化模型进行微调训练，得到训练好的剪枝轻量化模型。
S104：将剪枝轻量化模型部署至包裹识别终端设备，对实时采集的图片识别出其中的包裹信息。
具体来说，基于实时采集的图片，识别出图片中包裹的数量和位置信息，统计出包裹识别的指标结果，包括：模型大小、识别速度和识别精度。
示例性地，在CIFAR-10数据集中，对ResNet56神经网络模型进行剪枝操作，可以实现42.8%参数量和47.4%浮点计算量的降低，且剪枝后轻量化模型的精度提升了1.02%；在ImageNet数据集中，对ResNet50神经网络模型进行剪枝操作，可以实现40.8%参数量和44.8%浮点计算量的降低，且剪枝后轻量化模型的精度提升了0.25%。与未剪枝的神经网络模型相比，本实施例的方法实现了显著的模型压缩与加速，且在相同甚至更高的剪枝率下，可以取得比其他类似方法更好的模型精度。
与现有技术相比，本实施例提供的一种基于剪枝轻量化模型的包裹识别方法，将无向图和冯·诺依曼图熵等理论应用至神经网络剪枝中，将神经网络模型的特征图矩阵转换为带权无向图，同时考虑特征图的幅值和相关性，计算删除单个通道后的冯·诺依曼图熵变化值，以此作为剪枝依据，以保证剪枝后轻量化模型的性能，实现了显著的模型压缩与加速；特征图矩阵的冯·诺依曼图熵具有良好的稳定性，与输入训练图片的数量相关性较小，只需要少量训练图片即可得到准确的特征图通道重要性，使得技术方案剪枝效率高、内存占用低以及剪枝结果稳定；本实施例中的通道剪枝方法适用于由具有CONV-BN-ReLU结构的卷积层构成的神经网络模型，在保持性能最大化的同时，尽可能缩减其参数量和运算量，实现神经网络模型轻量化，将压缩后的轻量化深度神经网络模型部署在资源受限的边缘设备，扩大了使用范围，实现了应用价值最大化。
实施例二
本发明的另一个实施例，公开了一种基于剪枝轻量化模型的包裹识别系统，从而实现实施例一中的包裹识别方法。各模块的具体实现方式参照实施例一中的相应描述。如图3所示，该系统包括：
特征图矩阵提取模块S201，用于将训练图片输入已预训练的待剪枝神经网络模型，提取各卷积层的特征图矩阵；
冯·诺依曼图熵计算模块S202，用于将各卷积层的特征图矩阵转换为带权无向图，根据特征图矩阵的幅值矩阵构建改进后的拉普拉斯矩阵，并计算出冯·诺依曼图熵作为各卷积层的原始值；依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于原始值的变化值；
通道剪枝模块S203，用于根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，并根据各卷积层的剪枝率和通道的重要性，对各卷积层的通道进行剪枝，训练剪枝后的神经网络模型，得到剪枝轻量化模型；
包裹识别模块S204，用于将剪枝轻量化模型部署至包裹识别终端设备，对实时采集的图片识别出其中的包裹信息。
由于本实施例的基于剪枝轻量化模型的包裹识别系统与前述识别方法相关之处可相互借鉴，此处为重复描述，故这里不再赘述。凡是本发明实施例中的方法所采用的系统都应涵盖在本发明的保护范围之内。由于本系统实施例与上述方法实施例原理相同，所以本系统也具有上述方法实施例相应的技术效果。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于剪枝轻量化模型的包裹识别方法，其特征在于，包括以下步骤：
将训练图片输入已预训练的待剪枝神经网络模型，提取各卷积层的特征图矩阵；所述训练图片从包裹图片数据集中随机抽取而得到；
将各卷积层的特征图矩阵转换为带权无向图，根据特征图矩阵的幅值矩阵构建改进后的拉普拉斯矩阵，并计算出冯·诺依曼图熵作为各卷积层的原始值，包括：
将各卷积层的特征图矩阵中的每个三维特征图进行变形，得到特征行向量矩阵，其中每一行是与每个通道对应的特征行向量，分别作为各卷积层的带权无向图的顶点；
计算各卷积层的特征行向量矩阵中任意两个特征行向量的余弦距离，作为各卷积层的带权无向图中对应两个顶点之间的边权重；
根据所述带权无向图，获取邻接矩阵和度矩阵；
根据特征图矩阵，获取幅值矩阵，所述幅值矩阵是一个对角矩阵，其中每个对角元素为特征图矩阵中相应通道中所有元素的平方和；
将所述度矩阵与幅值矩阵相乘后，再减去邻接矩阵，得到改进后的拉普拉斯矩阵；
所述冯·诺依曼图熵通过下式计算得到：
其中，H i 表示第i个卷积层的冯·诺依曼图熵，L d 表示改进后的拉普拉斯矩阵；trace(•)表示矩阵的迹，即矩阵所有特征值之和；λ k 表示改进后的拉普拉斯矩阵L d 中第k个特征值，λ k ≥0，且
，n i 表示第i个卷积层的通道数量；
依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于原始值的变化值，包括：
针对每个卷积层的带权无向图，依次删除单个顶点对应的特征行向量，对每次删除后得到的特征行向量矩阵重新转换为新的带权无向图，构造新的改进后的拉普拉斯矩阵，计算出新的冯·诺依曼图熵；
计算每个新的冯·诺依曼图熵与对应的卷积层的原始值的差值绝对值，作为被删除的顶点对应的通道的冯·诺依曼图熵的变化值；
根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，并根据各卷积层的剪枝率和通道的重要性，对各卷积层的通道进行剪枝，训练剪枝后的神经网络模型，得到剪枝轻量化模型；
将所述剪枝轻量化模型部署至包裹识别终端设备，对实时采集的图片识别出其中的包裹信息。
2.根据权利要求1所述的基于剪枝轻量化模型的包裹识别方法，其特征在于，所述邻接矩阵是一个实对称矩阵，其非对角元素为对应两个顶点之间的边权重，对角元素为0；所述度矩阵是一个对角矩阵，其每行对角元素为邻接矩阵中相应行的所有元素之和。
3.根据权利要求1所述的基于剪枝轻量化模型的包裹识别方法，其特征在于，所述根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，包括：
根据每张训练图片得到的各卷积层的通道的冯·诺依曼图熵的变化值，计算出每个通道的所述冯·诺依曼图熵变化值的平均值，作为每个通道的重要性。
4.根据权利要求3所述的基于剪枝轻量化模型的包裹识别方法，其特征在于，所述根据各卷积层的剪枝率和通道的重要性，对各卷积层的通道进行剪枝，是根据各卷积层的剪枝率，按照各卷积层的通道的重要性，从小到大对通道进行剪枝。
5.根据权利要求1或4所述的基于剪枝轻量化模型的包裹识别方法，其特征在于，所述待剪枝神经网络模型是由具有CONV-BN-ReLU结构的卷积层构成的神经网络模型。
6.一种基于剪枝轻量化模型的包裹识别系统，其特征在于，包括：
特征图矩阵提取模块，用于将训练图片输入已预训练的待剪枝神经网络模型，提取各卷积层的特征图矩阵；所述训练图片从包裹图片数据集中随机抽取而得到；
冯·诺依曼图熵计算模块，用于将各卷积层的特征图矩阵转换为带权无向图，根据特征图矩阵的幅值矩阵构建改进后的拉普拉斯矩阵，并计算出冯·诺依曼图熵作为各卷积层的原始值，包括：
将各卷积层的特征图矩阵中的每个三维特征图进行变形，得到特征行向量矩阵，其中每一行是与每个通道对应的特征行向量，分别作为各卷积层的带权无向图的顶点；
计算各卷积层的特征行向量矩阵中任意两个特征行向量的余弦距离，作为各卷积层的带权无向图中对应两个顶点之间的边权重；
根据所述带权无向图，获取邻接矩阵和度矩阵；
根据特征图矩阵，获取幅值矩阵，所述幅值矩阵是一个对角矩阵，其中每个对角元素为特征图矩阵中相应通道中所有元素的平方和；
将所述度矩阵与幅值矩阵相乘后，再减去邻接矩阵，得到改进后的拉普拉斯矩阵；
所述冯·诺依曼图熵通过下式计算得到：
其中，H i 表示第i个卷积层的冯·诺依曼图熵，L d 表示改进后的拉普拉斯矩阵；trace(•)表示矩阵的迹，即矩阵所有特征值之和；λ k 表示改进后的拉普拉斯矩阵L d 中第k个特征值，λ k ≥0，且
，n i 表示第i个卷积层的通道数量；
依次删除各卷积层的带权无向图中单个顶点得到新的带权无向图，计算出每个新的带权无向图的冯·诺依曼图熵相对于原始值的变化值，包括：
针对每个卷积层的带权无向图，依次删除单个顶点对应的特征行向量，对每次删除后得到的特征行向量矩阵重新转换为新的带权无向图，构造新的改进后的拉普拉斯矩阵，计算出新的冯·诺依曼图熵；
计算每个新的冯·诺依曼图熵与对应的卷积层的原始值的差值绝对值，作为被删除的顶点对应的通道的冯·诺依曼图熵的变化值；
通道剪枝模块，用于根据各卷积层中冯·诺依曼图熵的变化值，计算各卷积层的通道的重要性，并根据各卷积层的剪枝率和通道的重要性，对各卷积层的通道进行剪枝，训练剪枝后的神经网络模型，得到剪枝轻量化模型；
包裹识别模块，用于将所述剪枝轻量化模型部署至包裹识别终端设备，对实时采集的图片识别出其中的包裹信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210447343.7A CN114548884B (zh) | 2022-04-27 | 2022-04-27 | 一种基于剪枝轻量化模型的包裹识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210447343.7A CN114548884B (zh) | 2022-04-27 | 2022-04-27 | 一种基于剪枝轻量化模型的包裹识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114548884A CN114548884A (zh) | 2022-05-27 |
| CN114548884B true CN114548884B (zh) | 2022-07-12 |
Family
ID=81667083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210447343.7A Active CN114548884B (zh) | 2022-04-27 | 2022-04-27 | 一种基于剪枝轻量化模型的包裹识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114548884B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139430A (zh) * | 2015-08-27 | 2015-12-09 | 哈尔滨工程大学 | 一种基于图熵的医学图像聚类方法 |
| WO2016083620A1 (en) * | 2014-11-28 | 2016-06-02 | Imec Taiwan Co. | Autofocus system and method in digital holography |
| CN109886397A (zh) * | 2019-03-21 | 2019-06-14 | 西安交通大学 | 一种针对卷积层的神经网络结构化剪枝压缩优化方法 |
| CN112508225A (zh) * | 2020-10-27 | 2021-03-16 | 宁波工程学院 | 基于谱聚类算法的多细节交通小区划分方法及系统 |
| CN113807466A (zh) * | 2021-10-09 | 2021-12-17 | 中山大学 | 一种基于深度学习的物流包裹自主检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210303536A1 (en) * | 2020-03-19 | 2021-09-30 | NEC Laboratories Europe GmbH | Methods and systems for graph approximation |
-
2022
- 2022-04-27 CN CN202210447343.7A patent/CN114548884B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016083620A1 (en) * | 2014-11-28 | 2016-06-02 | Imec Taiwan Co. | Autofocus system and method in digital holography |
| CN105139430A (zh) * | 2015-08-27 | 2015-12-09 | 哈尔滨工程大学 | 一种基于图熵的医学图像聚类方法 |
| CN109886397A (zh) * | 2019-03-21 | 2019-06-14 | 西安交通大学 | 一种针对卷积层的神经网络结构化剪枝压缩优化方法 |
| CN112508225A (zh) * | 2020-10-27 | 2021-03-16 | 宁波工程学院 | 基于谱聚类算法的多细节交通小区划分方法及系统 |
| CN113807466A (zh) * | 2021-10-09 | 2021-12-17 | 中山大学 | 一种基于深度学习的物流包裹自主检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Exploring the heterogeneity for node importance by von Neumann;Feng X, et al;《Physica A: Statistical Mechanics and its Applications》;20191231;全文 * |
| 两类图熵的极值特性及在复杂网络中的应用研究;薛玉龙;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20201215(第12期);全文 * |
| 复杂网络结构特性及其鲁棒性研究;董璊;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20190915(第9期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114548884A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Juefei-Xu et al. | Local binary convolutional neural networks | |
| CN108108751B (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
| CN111460968A (zh) | 基于视频的无人机识别与跟踪方法及装置 | |
| CN109063666A (zh) | 基于深度可分离卷积的轻量化人脸识别方法及系统 | |
| CN112257794A (zh) | 一种基于yolo的轻量级的目标检测方法 | |
| CN112639828A (zh) | 数据处理的方法、训练神经网络模型的方法及设备 | |
| CN111723915B (zh) | 一种基于深度卷积神经网络的目标检测方法 | |
| CN109840560A (zh) | 基于胶囊网络中融入聚类的图像分类方法 | |
| CN107291825A (zh) | 一种视频中同款商品的检索方法和系统 | |
| CN113705580B (zh) | 基于深度迁移学习的高光谱图像分类方法 | |
| CN103927531A (zh) | 一种基于局部二值和粒子群优化bp神经网络的人脸识别方法 | |
| CN112446888B (zh) | 图像分割模型的处理方法和处理装置 | |
| CN109871749B (zh) | 一种基于深度哈希的行人重识别方法和装置、计算机系统 | |
| CN111242180A (zh) | 一种基于轻量化卷积神经网络的图像识别方法及系统 | |
| RU2674326C2 (ru) | Способ формирования архитектуры нейросети для классификации объекта, заданного в виде облака точек, способ ее применения для обучения нейросети и поиска семантически схожих облаков точек | |
| CN107679572A (zh) | 一种图像判别方法、存储设备及移动终端 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN111310821A (zh) | 多视图特征融合方法、系统、计算机设备及存储介质 | |
| CN113269224A (zh) | 一种场景图像分类方法、系统及存储介质 | |
| Kowalczuk et al. | Classification of objects in the LIDAR point clouds using Deep Neural Networks based on the PointNet model | |
| CN112200123A (zh) | 联合稠密连接网络和样本分布的高光谱开放集分类方法 | |
| CN116977723A (zh) | 基于空间-光谱混合自注意力机制的高光谱图像分类方法 | |
| Liu et al. | Image retrieval using CNN and low-level feature fusion for crime scene investigation image database | |
| Lyu et al. | A GPU‐free real‐time object detection method for apron surveillance video based on quantized MobileNet‐SSD | |
| CN108985346B (zh) | 融合低层图像特征及cnn特征的现勘图像检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |