CN112614135A - 一种嵌入式端的表计主刻度线分割方法 - Google Patents

一种嵌入式端的表计主刻度线分割方法 Download PDF

Info

Publication number
CN112614135A
CN112614135A CN202011537925.1A CN202011537925A CN112614135A CN 112614135 A CN112614135 A CN 112614135A CN 202011537925 A CN202011537925 A CN 202011537925A CN 112614135 A CN112614135 A CN 112614135A
Authority
CN
China
Prior art keywords
network
main scale
scale mark
unet
student
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011537925.1A
Other languages
English (en)
Inventor
朱仲贤
蔡科伟
刘文涛
杜瑶
李世民
臧春华
刘鑫
徐蒙福
王晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maintenace Co of State Grid Anhui Electric Power Co Ltd
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Institute of Advanced Technology University of Science and Technology of China
Original Assignee
Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Institute of Advanced Technology University of Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Overhaul Branch of State Grid Anhui Electric Power Co Ltd, Institute of Advanced Technology University of Science and Technology of China filed Critical Overhaul Branch of State Grid Anhui Electric Power Co Ltd
Priority to CN202011537925.1A priority Critical patent/CN112614135A/zh
Publication of CN112614135A publication Critical patent/CN112614135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理和神经网络领域，提供一种嵌入式端的表计主刻度线分割方法，所述嵌入式端的表计主刻度线分割方法包括：步骤1，构建用于主刻度线分割任务的原始Unet网络作为知识蒸馏的教师网络；步骤2，将原始Unet网络进行模型压缩，得到Thin‑Unet网络；步骤3，对Thin‑Unet网络进行卷积替换方式获得一个参数量较小的Unet网络，并训练得到作为知识蒸馏的学生网络；步骤4，采用知识蒸馏方法，将教师网络与学生网络连接起来进行训练，不断更新学生网络的参数，得到参数量接近教师网络参数量的学生网络；步骤5，利用训练完成的学生网络进行主刻度线分割。本发明的技术方案能够在保持精度接近的情况下，大大降低了模型的计算量，使其能部署在嵌入式端运行。

Description

一种嵌入式端的表计主刻度线分割方法
技术领域
本发明涉及图像处理和计算机视觉领域，特别涉及一种嵌入式端的表计主刻度线分割方法。
背景技术
表盘主刻度线分割任务是指针式表计读数识别中的一项关键的任务，它为后面的指针角度与刻度起始、终止位置计算提供关键信息。
传统的表盘主刻度线分割是基于图像处理的分割方案，也有基于深度学习的分割方案。基于图像处理的分割方案要充分考虑目标的先验信息，然后针对其颜色，边缘进行处理，一般流程是，边缘检测、二值化、腐蚀膨胀等，最后根据刻度线的轮廓特点，根据刻度线的长度、面积等参数提取轮廓。基于图像处理的表盘刻度线分割方案，在处理多种表盘刻度线和光照丰富的场景时泛华性能明显不足，需要在写代码时考虑大量的先验信息。其技术特点是，精度不足、速度较快。
基于深度学习的分割方案是依靠大量的数据增强模型的泛化性能。一般处理流程是对采集的表计数据进行标注，即把表盘刻度线用多边形标注出来，然后采用语义分割方法进行训练。基于深度学习的分割方案技术特点是，泛化性能好，精度较高，但速度较慢。模型较大，不适合嵌入式端部署。
发明内容
有鉴于此，本发明旨在提出一种嵌入式端的表计主刻度线分割方法，该方法能够在基于深度学习的分割方案的基础上，采用模型压缩和知识蒸馏的方法，在保持精度近似接近的情况下，大大降低了模型的计算量，使其能部署在嵌入式端运行。
为达到上述目的，本发明的技术方案是这样实现的：
一种嵌入式端的表计主刻度线分割方法，包括以下步骤：
步骤1，构建用于主刻度线分割任务的原始Unet网络，以其作为知识蒸馏的教师网络；
步骤2，将原始Unet网络进行模型压缩，得到Thin-Unet网络；
步骤3，对Thin-Unet网络进行卷积替换方式获得一个参数量较小的Unet网络，并训练得到作为知识蒸馏的学生网络；
步骤4，采用知识蒸馏方法，将教师网络与学生网络连接起来，通过教师网络指导学生网络的训练，不断更新学生网络的参数，得到参数量接近教师网络参数量的学生网络；
步骤5，利用步骤4训练完成的学生网络进行主刻度线分割。
进一步地，所述步骤1包括以下子步骤：
步骤1.1，采集表盘主刻度线数据；
步骤1.2，将表盘主刻度线数据训练成一个用于主刻度线分割任务的原始Unet网络；
步骤1.3，将原始Unet网络作为知识蒸馏的教师网络。
进一步地，所述步骤1中的主刻度线分割基于语义分割。
进一步地，所述步骤1中的主刻度线分割将表盘区域分为主刻度线区域和其他区域两类。
进一步地，所述步骤2中的模型压缩方法为通道裁剪。
进一步地，所述步骤2具体为：将原始Unet网络进行通道裁剪，减少每层的卷积的通道数量来降低模型大小和计算量，得到Thin-Unet网络。
进一步地，所述步骤3包括以下子步骤：
步骤3.1，确定Thin-Unet网络的原始卷积；
步骤3.2，采用卷积替换方式获得一个参数量较小的Unet网络；
步骤3.3，将参数量较小的Unet网络的表盘主刻度线数据进行训练，得到的网络作为知识蒸馏的学生网络。
进一步地，所述步骤3中的卷积替换方式为可分离卷积替换原始卷积的方式。
进一步地，所述步骤4包括以下子步骤：
步骤4.1，基于知识蒸馏方法的训练方法，将教师网络与学生网络连接起来，通过教师网络指导学生网络的训练；
步骤4.2，用教师网络的输出与学生网络的输出做损失计算；
步骤4.3，用步骤4.2计算出的损失反向更新学生网络的参数，而教师网络参数不更新；
步骤4.4，更新学生网络的参数直至参数量接近教师网络参数量，学生网络训练完成，训练完成的学生网络即是最终的部署网络结构。
进一步地，所述步骤5具体为：基于语义分割，对于训练完成的学生网络进行主刻度线分割，将表盘区域分为模型大小和计算量都降低但保持精度接近原始精度的主刻度线区域和其他区域两类。
相对于现有技术，本发明的嵌入式端的表计主刻度线分割方法通过采用模型压缩和知识蒸馏两种技术方法，对现有的语义分割模型进行裁剪和重新训练，相比原始大小的模型，在保持精度接近的情况下，大大降低了模型的计算量，使表盘主刻度线分割方法部署到嵌入式相机中成为了可能。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的嵌入式端的表计主刻度线分割方法的一种实施方式的流程图；
图2为图1中嵌入式端的表计主刻度线分割方法的部分流程演示图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
根据本发明的一个方面，提供一种嵌入式端的表计主刻度线分割方法，如图1至图2所示，所述嵌入式端的表计主刻度线分割方法，包括以下步骤：
步骤1，构建用于主刻度线分割任务的原始Unet网络，以其作为知识蒸馏的教师网络，如图2中a处所示，Original U-Net为原始的Unet网络；
步骤2，将原始Unet网络进行模型压缩，得到Thin-Unet网络，如图2中b处所示，ThinU-net为薄的Unet网络；
步骤3，对Thin-Unet网络进行卷积替换方式获得一个参数量较小的Unet网络，并训练得到作为知识蒸馏的学生网络，如图2中c处所示，Separable Convolution U-Net为可分离卷积的Unet网络；
步骤4，采用知识蒸馏方法，将教师网络与学生网络连接起来，通过教师网络指导学生网络的训练，不断更新学生网络的参数，得到参数量达到接近教师网络参数量的学生网络，如图2中d处所示，Knowledge Distillation为知识蒸馏方法；
步骤5，利用步骤4训练好的学生网络进行主刻度线分割。
上述中，使用的分割网络是Unet网络，Unet网络本身计算量较小，在此基础上再进行模型压缩，更适合部署到嵌入式设备上，且主刻度线分割任务相比自然场景的语义分割任务，背景相对简单，刻度线轮廓相对稳定，Unet网络能达到比较好的分割效果。采用的模型压缩方式为通道裁剪，如减少每层的卷积的通道数量等来降低模型大小和计算量，使得神经网络适合在嵌入式端运算。采用的知识蒸馏是一种将大模型学习到的函数压缩进更小更快的模型中，并且使小模型的精度达到接近大模型精度的方法。因此，Unet网络经过模型压缩后得到稀疏的Unet网络的精度相比原始Unet网络有一定程度的下降，知识蒸馏则提供了一个挽回精度的方法。
本发明的实施方式中采用模型压缩和知识蒸馏两种主要的技术方法对现有的语义分割模型进行裁剪和重新训练，相比原始大小的模型，在保持精度近似接近的情况下，大大降低了模型的计算量，使表盘主刻度线分割方法法部署到嵌入式相机中成为了可能。
进一步地，所述步骤1包括以下子步骤：
步骤1.1，采集表盘主刻度线数据；
步骤1.2，将表盘主刻度线数据训练成一个用于主刻度线分割任务的原始Unet网络；
步骤1.3，将原始Unet网络作为知识蒸馏的教师网络。
其中，所述步骤1中的主刻度线分割基于语义分割，能将表盘区域分为主刻度线区域和其他区域两类。
进一步地，所述步骤2具体为：将原始Unet网络进行通道裁剪，减少每层的卷积的通道数量来降低模型大小和计算量，得到Thin-Unet网络。
进一步地，所述步骤3包括以下子步骤：
步骤3.1，确定Thin-Unet网络的原始卷积；
步骤3.2，采用卷积替换方式获得一个参数量较小的Unet网络；
步骤3.3，将参数量较小的Unet网络的表盘主刻度线数据进行训练，得到的网络作为知识蒸馏的学生网络。
上述中，卷积替换方式为可分离卷积替换原始卷积的方式；其中，普通卷积的计算方式：
Figure BDA0002854085550000061
计算量为：
DK·DK·M·N·DF·DF
深度可分离卷积的计算方式：
Figure BDA0002854085550000062
计算量为：
DK·DK·M·DF·DF+M·N·DF·DF
由于计算方式不同，相比于普通卷积，深度可分离卷积的计算量大大下降，相比常规的卷积操作，其参数数量和运算成本比较低，采用可分离卷积替换原始普通卷积能获得一个参数量较小的Unet网络。
进一步地，所述步骤4包括以下子步骤：
步骤4.1，基于知识蒸馏方法的训练方法，将教师网络与学生网络连接起来，通过教师网络指导学生网络的训练；
步骤4.2，用教师网络的输出与学生网络的输出做损失计算；
步骤4.3，用步骤4.2计算出的损失反向更新学生网络的参数，而教师网络参数不更新；
步骤4.4，更新学生网络的参数直至参数量接近教师网络参数量，学生网络训练完成，训练好的学生网络即是最终的部署网络结构。
上述中，损失计算是将教师网络的输出层的特征图和学生网络的输出层的特征图一起做L2 loss，然后loss反向传播，只更新学生网络的参数，
计算公式如下为，
L2＝|f(x)-Y|2
其中，Y为教师网络的输出特征图，f(x)为学生网络的输出特征图，x为学生网络的参数，Loss反传只更新x，即学生网络的参数。
进一步地，所述步骤5具体为：基于语义分割，对于训练好的学生网络进行主刻度线分割，将表盘区域分为模型大小和计算量都降低但保持精度接近原始精度的主刻度线区域和其他区域两类。
本发明的实施方式中通过构建一个用于主刻度线分割任务的原始Unet网络作为知识蒸馏的教师网络，将原始Unet网络进行模型压缩得到的Thin-Unet网络进行卷积替换方式获得一个参数量较小的Unet网络，并训练得到作为知识蒸馏的学生网络，再采用知识蒸馏的技术方法对学生网络进行训练，挽回了有一定程度下降的精度，最后通过对训练完成的学生网络主刻度线分割。本发明的技术方案在基于深度学习的分割方案的基础上，采用模型压缩和知识蒸馏的方法，对现有的语义分割模型进行裁剪和重新训练，相比原始大小的模型，在保持精度近似接近的情况下，大大降低了模型的计算量，使其能部署在嵌入式端运行。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种嵌入式端的表计主刻度线分割方法，其特征在于，所述方法包括以下步骤：
步骤1，构建用于主刻度线分割任务的原始Unet网络，以其作为知识蒸馏的教师网络；
步骤2，将原始Unet网络进行模型压缩，得到Thin-Unet网络；
步骤3，对Thin-Unet网络进行卷积替换方式获得一个参数量较小的Unet网络，并训练得到作为知识蒸馏的学生网络；
步骤4，采用知识蒸馏方法，将教师网络与学生网络连接起来，通过教师网络指导学生网络的训练，不断更新学生网络的参数，得到参数量接近教师网络参数量的学生网络；
步骤5，利用步骤4训练完成的学生网络进行主刻度线分割。
2.根据权利要求1所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤1包括以下子步骤：
步骤1.1，采集表盘主刻度线数据；
步骤1.2，将表盘主刻度线数据训练成一个用于主刻度线分割任务的原始Unet网络；
步骤1.3，将原始Unet网络作为知识蒸馏的教师网络。
3.根据权利要求2所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤1中的主刻度线分割基于语义分割。
4.根据权利要求3所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤1中的主刻度线分割将表盘区域分为主刻度线区域和其他区域两类。
5.根据权利要求1所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤2中的模型压缩方法为通道裁剪。
6.根据权利要求5所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤2具体为：将原始Unet网络进行通道裁剪，减少每层的卷积的通道数量来降低模型大小和计算量，得到Thin-Unet网络。
7.根据权利要求1所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤3包括以下子步骤：
步骤3.1，确定Thin-Unet网络的原始卷积；
步骤3.2，采用卷积替换方式获得一个参数量较小的Unet网络；
步骤3.3，将参数量较小的Unet网络的表盘主刻度线数据进行训练，得到的网络作为知识蒸馏的学生网络。
8.根据权利要求7所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤3中的卷积替换方式为可分离卷积替换原始卷积的方式。
9.根据权利要求1所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤4包括以下子步骤：
步骤4.1，基于知识蒸馏方法的训练方法，将教师网络与学生网络连接起来，通过教师网络指导学生网络的训练；
步骤4.2，用教师网络的输出与学生网络的输出做损失计算；
步骤4.3，用步骤4.2计算出的损失反向更新学生网络的参数，而教师网络参数不更新；
步骤4.4，更新学生网络的参数直至参数量接近教师网络参数量，学生网络训练完成，训练完成的学生网络即是最终的部署网络结构。
10.根据权利要求1所述的嵌入式端的表计主刻度线分割方法，其特征在于，所述步骤5具体为：基于语义分割，对于训练完成的学生网络进行主刻度线分割，将表盘区域分为模型大小和计算量都降低但保持精度接近原始精度的主刻度线区域和其他区域两类。
CN202011537925.1A 2020-12-23 2020-12-23 一种嵌入式端的表计主刻度线分割方法 Pending CN112614135A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011537925.1A CN112614135A (zh) 2020-12-23 2020-12-23 一种嵌入式端的表计主刻度线分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011537925.1A CN112614135A (zh) 2020-12-23 2020-12-23 一种嵌入式端的表计主刻度线分割方法

Publications (1)

Publication Number Publication Date
CN112614135A true CN112614135A (zh) 2021-04-06

Family

ID=75244393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011537925.1A Pending CN112614135A (zh) 2020-12-23 2020-12-23 一种嵌入式端的表计主刻度线分割方法

Country Status (1)

Country Link
CN (1) CN112614135A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065564A (zh) * 2021-04-25 2021-07-02 合肥中科类脑智能技术有限公司 一种嵌入式端的表计主刻度线实时分割方法及系统
CN113566863A (zh) * 2021-06-11 2021-10-29 北京眸视科技有限公司 一种指针表的读取方法和装置
CN116416212A (zh) * 2023-02-03 2023-07-11 中国公路工程咨询集团有限公司 路面破损检测神经网络训练方法及路面破损检测神经网络

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325505A (zh) * 2018-09-11 2019-02-12 北京陌上花科技有限公司 用于嵌入式设备的实例分割方法及装置、手机端
CN110059740A (zh) * 2019-04-12 2019-07-26 杭州电子科技大学 一种针对嵌入式移动端的深度学习语义分割模型压缩方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325505A (zh) * 2018-09-11 2019-02-12 北京陌上花科技有限公司 用于嵌入式设备的实例分割方法及装置、手机端
CN110059740A (zh) * 2019-04-12 2019-07-26 杭州电子科技大学 一种针对嵌入式移动端的深度学习语义分割模型压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAGAR VAZE 等，: "Low-Memory CNNs Enabling Real-Time Ultrasound Segmentation Towards Mobile Deployment", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065564A (zh) * 2021-04-25 2021-07-02 合肥中科类脑智能技术有限公司 一种嵌入式端的表计主刻度线实时分割方法及系统
CN113566863A (zh) * 2021-06-11 2021-10-29 北京眸视科技有限公司 一种指针表的读取方法和装置
CN113566863B (zh) * 2021-06-11 2023-12-26 北京眸视科技有限公司 一种指针表的读取方法和装置
CN116416212A (zh) * 2023-02-03 2023-07-11 中国公路工程咨询集团有限公司 路面破损检测神经网络训练方法及路面破损检测神经网络
CN116416212B (zh) * 2023-02-03 2023-12-08 中国公路工程咨询集团有限公司 路面破损检测神经网络训练方法及路面破损检测神经网络

Similar Documents

Publication Publication Date Title
CN112614135A (zh) 一种嵌入式端的表计主刻度线分割方法
AU2020103716A4 (en) Training method and device of automatic identification device of pointer instrument with numbers in natural scene
WO2023039959A1 (zh) 一种基于金字塔机制的遥感影像海洋与非海区域分割方法
CN112233092A (zh) 一种用于无人机电力巡检智能缺陷检测的深度学习方法
CN110298227B (zh) 一种基于深度学习的无人机航拍图像中的车辆检测方法
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN111967470A (zh) 一种基于解耦注意力机制的文本识别方法及系统
CN103154974A (zh) 字符识别装置、字符识别方法、字符识别系统以及字符识别程序
CN109522434B (zh) 基于深度学习图像检索的社交图像地理定位方法及系统
CN111414954B (zh) 一种岩石图像检索方法及其系统
CN111027456B (zh) 基于图像识别的机械水表读数识别方法
CN110180186A (zh) 一种地形图转换方法及系统
CN104794171A (zh) 标记图片地理位置信息的方法及装置
CN112232341B (zh) 文本检测方法、电子设备及计算机可读介质
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
US12056950B2 (en) Transformer-based multi-scale pedestrian re-identification method
CN112836702A (zh) 一种基于多尺度特征提取的文本识别方法
CN104063701A (zh) 基于surf词汇树和模板匹配的快速电视台台标识别系统及其实现方法
CN117315446B (zh) 一种面向复杂环境下水库溢洪道异常智能识别方法
CN117609527A (zh) 一种基于向量数据库的跨模态数据检索优化方法
CN113837166A (zh) 一种基于深度学习的指针式仪表自动读数方法
CN112668567A (zh) 一种基于深度学习的图像裁剪算法
CN112861869A (zh) 一种基于轻量级卷积神经网络的高粱倒伏图像分割方法
CN116863476A (zh) 基于掩模引导的去除印章噪声的图像生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination