CN112070211A - 基于计算卸载机制的图像识别方法 - Google Patents
基于计算卸载机制的图像识别方法 Download PDFInfo
- Publication number
- CN112070211A CN112070211A CN202010852263.0A CN202010852263A CN112070211A CN 112070211 A CN112070211 A CN 112070211A CN 202010852263 A CN202010852263 A CN 202010852263A CN 112070211 A CN112070211 A CN 112070211A
- Authority
- CN
- China
- Prior art keywords
- network model
- data
- layer
- image
- characteristic diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 230000007246 mechanism Effects 0.000 title claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims abstract description 36
- 238000007906 compression Methods 0.000 claims abstract description 20
- 230000006835 compression Effects 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000013139 quantization Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000006837 decompression Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 9
- 230000008878 coupling Effects 0.000 abstract description 4
- 238000010168 coupling process Methods 0.000 abstract description 4
- 238000005859 coupling reaction Methods 0.000 abstract description 4
- 238000013144 data compression Methods 0.000 abstract description 3
- 238000012360 testing method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 240000007651 Rubus glaucus Species 0.000 description 2
- 235000011034 Rubus glaucus Nutrition 0.000 description 2
- 235000009122 Rubus idaeus Nutrition 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000252229 Carassius auratus Species 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及机器视觉领域，特别涉及一种处理器计算能力无法直接满足神经网络对计算能力需求情况下的低成本图像识别方案的基于计算卸载机制的图像识别方法。该方法根据网络分段后移动设备上计算任务占比、通信数据量和前后段网络模型任务耦合性等指标，计算分段点，对前段网络模型产生的特征图进行频域压缩，后端网络接收数据进行图像处理得到识别结果；这样，采用分段部署将系统的前段网络模型和数据压缩算法结合，能够很好的对输入数据进行压缩，以平衡移动端、云端和网络传输三者的时间消耗，将系统时延降低，在保证实时性的同时，能够保障整个网络模型的性能衰减控制在可以接受的范围之中，对具体任务的执行精度没有明显的影响。
Description
技术领域
本发明涉及机器视觉领域，特别涉及一种处理器计算能力无法直接满足神经网络对计算能力需求情况下的低成本图像识别方案的基于计算卸载机制的图像识别方法。
背景技术
在当今社会，图像识别系统在工业测控、安防监测等领域有着广泛的应用，开发人员和用户对于移动设备端进行图像识别的实时响应有着较高需求。与服务器级GPU相比，移动设备的计算能力和成本受到了更严格的限制。目前，在图像分类、图像目标检测、图像分割等任务中，基于卷积神经网络的图像分析方法在分析准确率和效率上取得了突破性的成果。但是，基于卷积神经网络的图像识别算法需要占用处理器大量计算资源，并且需要一定成本才能在移动端部署具有相应计算能力的处理器以实现理想的探测精度。
目前国内外以研发了多种图像识别技术，用于在计算能力不足的移动设备中的图像识别，但由于深度学习的训练时间过长且需要的训练数据量大，并不能在识别准确率和时延问题上得到很好的效果。
鲁迪针对上述问题，提出一种移动边缘计算环境下的图像识别算法(鲁迪.移动边缘计算环境下的图像识别算法研究与实现[D].北京邮电大学,2019.)，实验表明，该方法可以占用更小的核心网带宽、且能获得实时响应的图像识别结果。但是该方法中的图像特征提取算法是一种线性的子空间学习算法并且不能在深度学习的识别准确率和时延问题上得到很好的结果。
发明内容
本发明要解决的技术问题是提供一种图像自动识别方法，以解决现有技术所存在的目标识别任务中所存在的高成本、算法占用处理器计算力大的问题。
为解决上述技术问题，本发明实施例提供一种低成本图像识别方法，包括：
获取具有识别目标的图像和对应的语义标注的图像数据，以预训练轻量级神经网络模型。
通过对系统中分段运行的神经网络需求进行分析，通过分析前段网络模型计算量占比、网络耦合性和特征图数据传输量这三个方面，对网络中的每一层给出分段有效性评价，以计算网络分段点。
其中，所述前段网络模型计算量占比My，具体公式如下所示：
其中，D为神经网络所包含的卷积层的层数，mi为第i层的计算任务消耗；
且，
其中，ln为第n层的网络输出特征图的边长，kn为第n层的卷积核边长，Cn为第n层的输入图像的特征图的通道数，α为变换系数且为固定的常数；
S2.2)计算卷积神经网络中某一层的感受野大小公式为：
其中，jn表示为第n层之前对每一层的步长stride的累积，rn即为第n层的感受野大小，初始值为jn＝1,rn＝1，Sn为每一层的步长；
进一步地，定义一个评价指标η，η越小则表明越适合在该层进行分段。
其中，所述η计算公式为：
其中，ln为第n层的网络输出特征图的边长，Cn为第n层的特征图的通道数；C0为输入图片的通道数,l0为输入图片的边长；
通过对网络中的每一层计算分段有效性评价值，选择网络中最适合分段的层级。
根据分段结果，将轻量级神经网络模型分段依次部署在移动端和云端，两段网络模型之间的联系依赖于数据通信传输；
对后段网络模型进行再训练；
学习率更新公式为：
βN＝β0·0.98N-1，
其中，N表示训练轮数，β0表示网络预训练时最后一轮的学习率。
移动端获取摄像头传入的图像作为处理图像；
将图像传入前段网络模型进行特征提取输出特征图，使系统的整体输入数据点数小于原始输入数据点数；
对特征图原始的矩阵进行分块切割为6x6大小的分块矩阵；
将分块矩阵缩放为-127至128之间缩略图。
进一步地，8位图像数据精度范围缩放公式为：
其中X为输入值，max(|X|)表示X的绝对值的最大值。
进一步地，对缩略图进行离散余弦正变换，将输入图像数据转换为频域数据，从而依据图像的频域特性进行不同的操作。
进一步地，离散余弦正变换公式为：
其中，f(x,y)为输入信号,Fdct(u,v)为计算的离散余弦变换的输出信号，
进一步地，α(u)表示为：
使用可动态更新量化间隔参数的频域非均匀量化法对特征图的频域数据进行量化处理，用更小的数据精度表示原始数据。
将量化后的数据展平为一个稀疏矩阵。
采用稀疏矩阵行压缩储存压缩算法将稀疏矩阵压缩为三个一维向量。
对经过稀疏压缩后的特征图数据进行全局霍夫曼编码，保证最终编码输出的平均长度最短，降低数据量。
将数据压缩后上传至云端。
将霍夫曼编码树、非均匀离散量化表部署至云端，即可避免在每次执行任务时重新生成和上传数据。
云端接收来自移动端的特征压缩数据。
将接收到的压缩数据进行霍夫曼解码和稀疏矩阵行解压缩，还原为稀疏矩阵。
对稀疏矩阵进行反量化与反缩放，重建得到近似的特征图。
将近似的特征图传入后段网络模型进行识别。
将识别结果从云端返回至移动端，完成识别。
本发明的上述技术方案的有益效果：由于采用上述技术方案，本发明的方法根据网络分段后移动设备上计算任务占比、通信数据量和前后段网络模型任务耦合性等指标，计算分段点，对前段网络模型产生的特征图进行频域压缩，后端网络接收数据进行图像处理得到识别结果；这样，采用分段部署将系统的前段网络模型和数据压缩算法结合，能够很好的对输入数据进行压缩，以平衡移动端、云端和网络传输三者的时间消耗，将系统时延降低，在保证实时性的同时，能够保障整个网络模型的性能衰减控制在可以接受的范围之中，对具体任务的执行精度没有明显的影响。
附图说明
图1为本发明一种基于计算卸载机制的图像识别方法的流程图。
图2为本发明实施例提供的MobileNetV2网络各层值曲线图。
图3为本发明实施例提供的分段算法模型流程示意图。
图4为本发明实施例提供的移动端图像识别方案的流程图。
图5为本发明实施例提供的特征压缩算法流程示意图。
图6为本发明实施例提供的云端工作流程图。
图7为本发明实施例提供的云端数据近似恢复流程示意图。
图8为本发明实施例提供的测试数据集一个部分数据示意图。
图9为本发明实施例提供的图像识别实验测试图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
如图1所示，基于计算卸载机制的图像识别方法，其特征在于，该方法具体包括以下步骤：
S1)利用数据集对轻量级神经网络模型进行训练；
S2)根据训练后的轻量级神经网络模型中每个卷积层中输出的特征图大小、感受野大小以及前段网络模型的计算量比率，从而计算出模型中每个卷积层的分段评价值，建立分段评价值曲线图，根据分段评价值曲线图确定合理的分段点；
S3)根据分段点计算结果，将训练后的轻量级神经网络模型分为部署在移动端的前段网络模型和部署在云端的后段网络模型，并建立通信连接；
S4)利用所述数据集对后段网络模型进行再训练；
S5)将移动端采集的图像输入前段网络模型，得到输入图像的特征图，对输入图像的特征图进行压缩，并发送后段网络模型；
S6)所述后段网络模型将接收到的输入图像的特征图进行解压缩和近似恢复；
S7)将解压后的输入图像的特征图通过后段网络模型进行识别，将识别后的信息返回到移动端，完成识别。
所述轻量级神经网络模型为MobileNetV2模型或LeNet模型。
所述S2)的具体步骤为：
S2.1)通过以下公式求出所述前段网络模型计算量比率Mn：
其中，D为神经网络所包含的卷积层的层数，mi为第i层的计算任务消耗；
且，
其中，ln为第n层的网络输出特征图的边长，kn为第n层的卷积核边长，Cn为第n层的输入图像的特征图的通道数，α为变换系数且为固定的常数；
S2.2)计算卷积神经网络中某一层的感受野大小公式为：
其中，jn表示为第n层之前对每一层的步长stride的累积，rn即为第n层的感受野大小，初始值为jn＝1,rn＝1，Sn为每一层的步长；
S2.3)设分段评价值为η，η越小则表明越适合在所在层进行分段，所述分段评价值η的计算公式为：
其中，ln为第n层的网络输出特征图的边长，Cn为第n层的特征图的通道数；C0为输入图像的特征图的通道数,l0为输入图像的特征图的边长，
根据计算出模型中每层的分段评价值，建立分段评价值曲线图；
S2.4)根据S2.3)得到网络各层ηn值曲线图，确定分段点。
所述S4)的具体步骤为：
S4.1)对后段网络模型进行再训练，学习率更新公式为：
βN＝β0·0.98N-1,
其中，N为训练轮数，β0为网络预训练时最后一轮的学习率。
所述S5)的具体步骤为：
S5.1)将移动端获取的传入的图像作为处理图像，输入前段网络模型提取输入图像的特征图，得到特征图矩阵；
S5.2)对得到的特征图矩阵进行分块切割为6x6大小的分块矩阵；
S5.3)再将S5.2)得到的分块矩阵采用位图缩放方法缩放为-127 至128之间缩略图，并发送后段网络模型。
所述位图缩放方法采用8位图像数据精度范围缩放公式进行缩放，公式如下所示：
其中，X’为缩放输出值，X为输入值，max(|X|)表示X的绝对值的最大值。
所述S6)的具体步骤为：
S6.1)后段网络模型将接收到的数据解压缩：
S6.11对缩略图进行离散余弦正变换，将输入图像数据转换为频域数据；
S6.12)使用可动态更新量化间隔参数的频域非均匀量化法对输入图像的特征图的频域数据进行量化处理；
S6.13)将量化后的数据展平为一个稀疏矩阵；
S6.14)采用稀疏矩阵行压缩储存压缩算法将稀疏矩阵压缩为三个一维向量，对经过稀疏压缩后的特征图进行全局霍夫曼编码，
S6.2)近似恢复：
S6.21)：将接收到的S6.14)处理后的压缩数据进行霍夫曼解码得到三个一维向量；
S6.22)：将所述三个一维向量进行稀疏矩阵行解压缩压缩得到一个稀疏矩阵；
S6.23)：将稀疏矩阵进行反量化得到近似频域数据；
S6.24)：将S6.23)得到近似频域数据反缩放，重建得到近似的输入图像特征图。
所述离散余弦正变换公式为：
其中，f(x,y)为输入信号,Fdct(u,v)为计算的离散余弦变换的输出信号，π为圆周率,x，y为输入特征图的横纵坐标u，v为离散余弦变换的输出坐标，
一种实现上述的基于计算卸载机制的图像识别方法的计算机程序。
一种实现上述的基于计算卸载机制的图像识别方法的信息处理终端。
一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的基于计算卸载机制的图像识别方法。
实施例：
本发明针对现有技术所存在的目标识别任务中所存在的高成本、算法占用处理器计算力大的问题，提供一种低成本图像识别方法，包括：
步骤1：将所需要使用模型的相关数据进行数据模型训练，其中包括图像数据、标注信息等；
步骤2：计算出训练好的模型每层中输出的特征图大小、感受野大小以及前段网络模型的计算量比率，从而可以计算出网络模型每层的分段评价值，根据分段评价值曲线图确定合理的分段点；
步骤3：根据分段点计算结果，将模型前段网络模型部署在移动端，后段网络模型部署在云端，两段网络模型之间的联系则依赖于数据通信传输，通过前段网络模型的特征提取能力，可以使系统的整体输入数据点数小于原始输入数据点数；
步骤4：对后段网络模型进行再训练；
步骤5：对前段网络模型特征值进行压缩；
步骤6：后段网络模型将接收到的数据解压缩和近似恢复；
步骤7：将解压后的数据通过后段网络模型进行识别，将识别后的信息返回到移动端，完成识别。
本发明实施例所述的低成本图像识别方法，将所需要使用模型的相关数据进行数据模型训练；根据训练好的模型每层中输出的特征图大小、感受野大小以及前段网络模型的计算量比率，计算出网络模型每层的分段评价值，根据分段评价值曲线图确定合理的分段点；根据分段点计算结果，将模型前段网络模型部署在移动端，后段网络模型部署在云端，两段网络模型之间的联系则依赖于数据通信传输，通过前段网络模型的特征提取能力，使系统的整体输入数据点数小于原始输入数据点数；对后段网络模型进行再训练；对前段网络模型特征值进行压缩；后段网络模型将接收到的数据解压缩和近似恢复；将解压后的数据通过后段网络模型进行识别，将识别后的标签信息返回到移动端，以实现对目标图像的自动识别。这样，采用分段部署的思想，可以将系统的前段网络模型和数据压缩算法结合，能够很好的对输入数据进行压缩，以平衡移动端、云端和网络传输三者的时间消耗，将系统时延降低，在保证实时性的同时，能够保障整个网络模型的性能衰减控制在可以接受的范围之中的同时，做到目标识别精度没有明显的降低。
本实施例中，搭建了实验平台以测试分段前后卷积神经网络在其他条件不变时的分段效果和性能变化，该实验平台主要分为三部分，分别为机器人端、通信信道、云端。实验系统中，利用无线路由器将由树莓派模拟的移动机器人和由阿里云服务器模拟的云端连接起来。
其中，为了模拟移动端在实际执行任务中的复杂通信环境，以验证整个任务过程的性能，本实施例中将通信的信道带宽限制为4 Mbps。实验平台各个部分的主要环境参数如表1所示：
表1实验平台环境参数
为了更好地理解本发明实施例提供的低成本图像识别方法，对其进行详细说明，所述计算卸载分段点选择方法为：
将神经网络模型各模块层网络计算量占比、网络耦合性和特征图数据传输量的组合作为分段选择的评价指标η。
进一步地，所述轻量级神经网络模型包括：
MobileNetV2模型、本实施例中选择MobileNetV2网络模型。
本实施例中，分段点评价指标的计算公式为：
其中，jn表示为第n层之前对每一层的步长stride的累积，rn即为第n层的感受野大小，ln表示第n层的网络输出特征图的边长，cn表示第n层的特征图的通道数，mn表示第n层的计算任务消耗， Mn为计算量占比；
第n层的计算任务消耗的计算公式为：
其中，ln为第n层的网络输出特征图的边长，kn为第n层的卷积核边长，Cn为第n层的特征图的通道数，α为变换系数，为固定的常数；
其中，jn表示为第n层之前对每一层的步长stride的累积，rn即为第n层的感受野大小，初始值为jn＝1,rn＝1，Sn为每一层的步长；
本实施例中，通过依次计算MobileNetV2网络模型中每层瓶颈层bottleneck的计算任务比率、感受野大小以及前段网络模型计算量比率，并计算相应的分段有效性评价值，如图2所示，得出 MobileNetV2网络模型的每层的分段评价值。
本实施例中，根据计算得到的MobileNetV2网络各层值曲线图，η在第5层与第8层之间存在低谷，且在第五层处出现最小值，确定第五层是比较合理的分段点。
本实施例中，如图3所示，所述模型分段包括：
步骤8：将MobileNetV2网络模型从第五层进行分段，前5层部署在移动端；
步骤9：配置IP地址与端口号，将移动端与云端相连接，以传输数据，其中IP地址为202.204.54.46，端口号为40005；
步骤11：将读取的图片数据传入前段网络模型，得到目标的特征图；
步骤12：将后段网络模型再次训练以优化网络，避免模型性能发生跳变；
步骤13：再训练后的后段网络模型部署至云端。
进一步地，后段网络模型再训练的学习率更新公式为：
βN＝β0·0.98N-1，
其中，N表示训练轮数，β0表示网络预训练时最后一轮的学习率。
本实施例中，以树莓派模拟移动端为例，采用计算卸载的方法，将前段网络模型部署在移动端，其中移动端图像识别方法的具体实施流程如图4所示，包括：
步骤14：加载MobileNetV2模型预训练好的权重参数；
步骤15：将特征图进行压缩，其中压缩数据包命名为 compress.pth.tar；
步骤16：将压缩数据包上传至云端；
步骤16：接收云端返回的标签信息，并打印输出。
进一步地，所述特征图压缩方法如图4，具体步骤包括：
步骤17：对特征图原始的矩阵进行分块切割为6x6大小的分块矩阵，并将分块矩阵缩放为-127至128之间缩略图。
本实施例中，8位图像数据精度范围缩放公式为：
其中X为输入值，max(|X|)表示X的绝对值的最大值；
步骤18：将缩放后的缩略图进行离散余弦正变换，也就是对输入信号执行了一次动态卷积操作，在每次卷积时采用不同的卷积核计算卷积结果，通过这种方式将输入图像数据转换为频域数据，其数值从输出的二维矩阵的左上角至右下角对应着输入的频域数据的低频到高频。
本实施例中，离散余弦正变换公式为：
其中，f(x,y)为输入信号,Fdct(u,v)为计算的离散余弦变换的输出信号。
进一步地，α(u)表示为：
步骤19：对特征图的频域数据使用可动态更新量化间隔参数的频域非均匀量化法进行量化处理，用更小的数据精度表示原始数据。
本实施例中，图像编码算法中的图像亮度量化矩阵为：
步骤20：将量化后的数据展平为一个稀疏矩阵。
步骤21：将稀疏矩阵通过稀疏矩阵行压缩储存压缩算法压缩为三个一维向量，分别为非零数据点向量Ds、行间隔向量Es和列索引 Ls，且CSR压缩后不存储数值为0的数据点。
步骤22：对经过稀疏压缩后的特征图数据进行全局霍夫曼编码，保证最终编码输出的平均长度最短，以降低数据量。
所述测试ILSVRC 2012数据集，共有1000种不同分类的图片，本实施例中，使用一个分类数据如图8，为金鱼分类；并用相机拍摄了真实场景下的鹦鹉图片，作为测试数据集。
本实施例中，云端图像识别方法的具体实施流程如图6所示，包括：
步骤23：加载MobileNetV2模型再训练好的权重参数；
步骤24：将前段网络模型整体训练后所对应的非均匀量化表和霍夫曼编码表部署在云端中，避免每次执行任务时重新生成和上传。
步骤25：配置IP地址与端口号，其中IP地址为202.204.54.46，端口号为40005；
步骤26：接收移动端发送的高度压缩的数据；
步骤27：将接收到的压缩数据做解压缩和近似恢复处理；
步骤28：将解压缩和近似恢复处理后得到的近似特征图传入后段网络模型，进行目标识别；
步骤29：将识别结果返回至移动端；
步骤30：云端进入休眠状态，等待下一次数据的接收。
进一步地，所述特征图数据解压缩和近似恢复方法如图7所示，包括：
步骤27-1：将接收到的压缩数据进行霍夫曼解码得到三个一维向量；
步骤27-2：将这三个一维向量进行稀疏矩阵行解压缩压缩得到一个稀疏矩阵；
步骤27-3：将稀疏矩阵进行反量化得到近似频域数据；
步骤27-3：将频域数据反缩放，重建得到近似的特征图。
本实施例中，移动端图像识别程序运行结果如图9所示：
真实场景拍摄的图片和数据集中的图片均识别正确，得到了目标真正的语义标签。
本发明实例所述低成本图像识别方法，通过将云端的计算能力导入，协助移动设备完成大规模的计算任务，可以为复杂的基于计算机视觉的深度学习应用在实际场景中的部署提供契机，而不再受制于移动设备计算力弱小的缺陷，并在视觉任务对输入数据的巨大传输需求和系统实时性要求的矛盾中找到平衡。
上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。
Claims (11)
1.基于计算卸载机制的图像识别方法，其特征在于，该方法具体包括以下步骤：
S1)利用数据集对轻量级神经网络模型进行训练；
S2)根据训练后的轻量级神经网络模型中每个卷积层中输出的特征图大小、感受野大小以及前段网络模型的计算量比率，从而计算出模型中每个卷积层的分段评价值，建立分段评价值曲线图，根据分段评价值曲线图确定合理的分段点；
S3)根据分段点计算结果，将训练后的轻量级神经网络模型分为部署在移动端的前段网络模型和部署在云端的后段网络模型，并建立通信连接；
S4)利用所述数据集对后段网络模型进行再训练；
S5)将移动端采集的图像输入前段网络模型，得到输入图像的特征图，对输入图像的特征图进行压缩，并发送后段网络模型；
S6)所述后段网络模型将接收到的输入图像的特征图进行解压缩和近似恢复；
S7)将解压后的输入图像的特征图通过后段网络模型进行识别，将识别后的信息返回到移动端，完成识别。
2.根据权利要求1所述的方法，其特征在于，所述轻量级神经网络模型为MobileNetV2模型或LeNet模型。
3.根据权利要求2所述的方法，其特征在于，所述S2)的具体步骤为：
S2.1)通过以下公式求出所述前段网络模型计算量比率Mn：
其中，D为神经网络所包含的卷积层的层数，mi为第i层的计算任务消耗；
且，
其中，ln为第n层的网络输出特征图的边长，kn为第n层的卷积核边长，Cn为第n层的输入图像的特征图的通道数，α为变换系数且为固定的常数；
S2.2)计算卷积神经网络中某一层的感受野大小公式为：
其中，jn表示为第n层之前对每一层的步长stride的累积，rn即为第n层的感受野大小，初始值为jn＝1,rn＝1，Sn为每一层的步长；
S2.3)设分段评价值为η，η越小则表明越适合在所在层进行分段，所述分段评价值η的计算公式为：
其中，C0为输入图像的特征图的通道数,l0为输入图像的特征图的边长，
根据计算出模型中每层的分段评价值，建立分段评价值曲线图；
S2.4)根据S2.3)得到网络各层ηn值曲线图，确定分段点。
4.根据权利要求2所述的方法，其特征在于，所述S4)的具体步骤为：
S4.1)对后段网络模型进行再训练，学习率更新公式为：
βN＝β0·0.98N-1，
其中，N为训练轮数，β0为网络预训练时最后一轮的学习率。
5.根据权利要求3所述的方法，其特征在于，所述S5)的具体步骤为：
S5.1)将移动端获取的传入的图像作为处理图像，输入前段网络模型提取输入图像的特征图，得到特征图矩阵；
S5.2)对得到的特征图矩阵进行分块切割为6x6大小的分块矩阵；
S5.3)再将S5.2)得到的分块矩阵采用位图缩放方法缩放为-127 至128之间缩略图，并发送后段网络模型。
6.根据权利要求4所述的方法，其特征在于，所述位图缩放方法采用8位图像数据精度范围缩放公式进行缩放，公式如下所示：
其中，X’为缩放输出值，X为输入值，max(|X|)表示X的绝对值的最大值。
7.根据权利要求5所述的方法，其特征在于，所述S6)的具体步骤为：
S6.1)后段网络模型将接收到的数据解压缩：
S6.11对缩略图进行离散余弦正变换，将输入图像数据转换为频域数据；
S6.12)使用可动态更新量化间隔参数的频域非均匀量化法对输入图像的特征图的频域数据进行量化处理；
S6.13)将量化后的数据展平为一个稀疏矩阵；
S6.14)采用稀疏矩阵行压缩储存压缩算法将稀疏矩阵压缩为三个一维向量，对经过稀疏压缩后的特征图进行全局霍夫曼编码，
S6.2)近似恢复：
S6.21)：将接收到的S6.14)处理后的压缩数据进行霍夫曼解码得到三个一维向量；
S6.22)：将所述三个一维向量进行稀疏矩阵行解压缩压缩得到一个稀疏矩阵；
S6.23)：将稀疏矩阵进行反量化得到近似频域数据；
S6.24)：将S6.23)得到近似频域数据反缩放，重建得到近似的输入图像特征图。
8.根据权利要求6所述的方法，其特征在于，所述离散余弦正变换公式为：
其中，f(x,y)为输入信号,Fdct(u,v)为计算的离散余弦变换的输出信号，π为圆周率,x，y为输入特征图的横纵坐标，u，v为离散余弦变换的输出坐标，
9.一种实现如权利要求1-7任一项所述的基于计算卸载机制的图像识别方法的计算机程序。
10.一种实现如权利要求1-7任一项所述的基于计算卸载机制的图像识别方法的信息处理终端。
11.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的基于计算卸载机制的图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852263.0A CN112070211B (zh) | 2020-08-21 | 2020-08-21 | 基于计算卸载机制的图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852263.0A CN112070211B (zh) | 2020-08-21 | 2020-08-21 | 基于计算卸载机制的图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112070211A true CN112070211A (zh) | 2020-12-11 |
| CN112070211B CN112070211B (zh) | 2024-04-05 |
Family
ID=73659853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010852263.0A Active CN112070211B (zh) | 2020-08-21 | 2020-08-21 | 基于计算卸载机制的图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070211B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469169A (zh) * | 2021-07-26 | 2021-10-01 | 湖州师范学院 | 一种钢瓶穿孔编码定位与识别系统及识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024398A (zh) * | 2013-01-15 | 2013-04-03 | 山东大学 | 基于稀疏矩阵的高光谱遥感图像的压缩感知处理方法 |
| CN106612435A (zh) * | 2016-01-16 | 2017-05-03 | 四川用联信息技术有限公司 | 一种基于svd-dwt-dct的联合图像压缩方法 |
| CN107832837A (zh) * | 2017-11-28 | 2018-03-23 | 南京大学 | 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法 |
| US20180250826A1 (en) * | 2017-03-03 | 2018-09-06 | Futurewei Technologies, Inc. | Fine-grained object recognition in robotic systems |
| CN108933815A (zh) * | 2018-06-15 | 2018-12-04 | 燕山大学 | 一种移动边缘计算卸载的边缘服务器的控制方法 |
| CN109116834A (zh) * | 2018-09-04 | 2019-01-01 | 湖州师范学院 | 一种基于深度学习的间歇过程故障检测方法 |
| CN109785847A (zh) * | 2019-01-25 | 2019-05-21 | 东华大学 | 基于动态残差网络的音频压缩算法 |
| CN110399970A (zh) * | 2019-05-05 | 2019-11-01 | 首都经济贸易大学 | 小波卷积小波神经网络及情报分析方法与系统 |
| CN111242180A (zh) * | 2020-01-03 | 2020-06-05 | 南京邮电大学 | 一种基于轻量化卷积神经网络的图像识别方法及系统 |
| CN111479286A (zh) * | 2020-02-26 | 2020-07-31 | 国网河南省电力公司电力科学研究院 | 一种边缘计算系统减少通信流量的数据处理方法 |
-
2020
- 2020-08-21 CN CN202010852263.0A patent/CN112070211B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024398A (zh) * | 2013-01-15 | 2013-04-03 | 山东大学 | 基于稀疏矩阵的高光谱遥感图像的压缩感知处理方法 |
| CN106612435A (zh) * | 2016-01-16 | 2017-05-03 | 四川用联信息技术有限公司 | 一种基于svd-dwt-dct的联合图像压缩方法 |
| US20180250826A1 (en) * | 2017-03-03 | 2018-09-06 | Futurewei Technologies, Inc. | Fine-grained object recognition in robotic systems |
| CN107832837A (zh) * | 2017-11-28 | 2018-03-23 | 南京大学 | 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法 |
| CN108933815A (zh) * | 2018-06-15 | 2018-12-04 | 燕山大学 | 一种移动边缘计算卸载的边缘服务器的控制方法 |
| CN109116834A (zh) * | 2018-09-04 | 2019-01-01 | 湖州师范学院 | 一种基于深度学习的间歇过程故障检测方法 |
| CN109785847A (zh) * | 2019-01-25 | 2019-05-21 | 东华大学 | 基于动态残差网络的音频压缩算法 |
| CN110399970A (zh) * | 2019-05-05 | 2019-11-01 | 首都经济贸易大学 | 小波卷积小波神经网络及情报分析方法与系统 |
| CN111242180A (zh) * | 2020-01-03 | 2020-06-05 | 南京邮电大学 | 一种基于轻量化卷积神经网络的图像识别方法及系统 |
| CN111479286A (zh) * | 2020-02-26 | 2020-07-31 | 国网河南省电力公司电力科学研究院 | 一种边缘计算系统减少通信流量的数据处理方法 |
Non-Patent Citations (5)
| Title |
|---|
| SHUAI YU等: "Computation Offloading for Mobile Edge Computing: A Deep Learning Approach", 《PIMRC》, pages 1 - 6 * |
| YU GUO等: "An Energy Sensitive Computation Offloading Strategy in Cloud Robotic Network Based On GA", 《IEEE SYSTEMS JOURNAL》, pages 1 - 11 * |
| 孙锰阳: "基于卷积神经网络压缩算法的关键词识别系统设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2020, pages 136 - 191 * |
| 杨江平: "基于BWDSP平台的DNN模型计算与部署优化研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2019, pages 138 - 1129 * |
| 郭宇: "云机器人系统网络优化与计算卸载相关技术研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 2020, pages 140 - 45 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113469169A (zh) * | 2021-07-26 | 2021-10-01 | 湖州师范学院 | 一种钢瓶穿孔编码定位与识别系统及识别方法 |
| CN113469169B (zh) * | 2021-07-26 | 2023-11-24 | 湖州师范学院 | 一种钢瓶穿孔编码定位与识别系统及识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112070211B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101323439B1 (ko) | 특징 디스크립터를 표현하고 식별하는 방법, 장치 및 컴퓨터 판독가능 저장 매체 | |
| CN111368636B (zh) | 目标分类方法、装置、计算机设备和存储介质 | |
| CN110830807B (zh) | 图像压缩方法、装置及存储介质 | |
| KR20220137076A (ko) | 이미지 프로세싱 방법 및 관련된 디바이스 | |
| US20230401833A1 (en) | Method, computer device, and storage medium, for feature fusion model training and sample retrieval | |
| CN109344893B (zh) | 一种基于移动终端的图像分类方法 | |
| CN110557633B (zh) | 图像数据的压缩传输方法、系统和计算机可读存储介质 | |
| US20220067417A1 (en) | Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks | |
| KR20180123810A (ko) | Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
| CN116978011B (zh) | 一种用于智能目标识别的图像语义通信方法及系统 | |
| CN116469100A (zh) | 一种基于Transformer的双波段图像语义分割方法 | |
| CN112070211B (zh) | 基于计算卸载机制的图像识别方法 | |
| CN110555120A (zh) | 图片压缩控制方法、装置、计算机设备及存储介质 | |
| CN114066914A (zh) | 一种图像处理方法以及相关设备 | |
| CN111314707A (zh) | 数据映射识别方法、装置、设备及可读存储介质 | |
| CN112949814A (zh) | 卷积神经网络的压缩和加速方法、装置及嵌入式设备 | |
| CN116090543A (zh) | 模型压缩方法及装置、计算机可读介质和电子设备 | |
| CN115546236A (zh) | 基于小波变换的图像分割方法及装置 | |
| Feng et al. | Compression for text detection and recognition based on low bit-width quantization | |
| CN111626298A (zh) | 一种实时图像语义分割装置及分割方法 | |
| CN111314708B (zh) | 一种图像数据压缩方法、装置、存储介质和电子设备 | |
| CN112749666B (zh) | 一种动作识别模型的训练及动作识别方法与相关装置 | |
| CN112580772B (zh) | 卷积神经网络的压缩方法及装置 | |
| CN116758618B (zh) | 图像识别方法、训练方法、装置、电子设备及存储介质 | |
| CN114898187B (zh) | 一种用于云边端的目标检测网络构建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |