CN114943832A - 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 - Google Patents
一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 Download PDFInfo
- Publication number
- CN114943832A CN114943832A CN202210229869.8A CN202210229869A CN114943832A CN 114943832 A CN114943832 A CN 114943832A CN 202210229869 A CN202210229869 A CN 202210229869A CN 114943832 A CN114943832 A CN 114943832A
- Authority
- CN
- China
- Prior art keywords
- network
- convolution
- layer
- lightweight
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 45
- 238000013140 knowledge distillation Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000011218 segmentation Effects 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013461 design Methods 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 59
- 238000005070 sampling Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011068 loading method Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011049 filling Methods 0.000 claims 3
- 238000013459 approach Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000013135 deep learning Methods 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 54
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000945 filler Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004821 distillation Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明设计了一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其包含了一种基于多路卷积特征融合的轻量化分割网络设计方法与一种基于差温知识蒸馏的模型训练方法，解决了现有基于深度学习的道路路面图像分割网络难以应用的问题。本发明设计了一种多路卷积特征融合网络结构，其包含标准卷积路径、长方卷积路径、膨胀卷积路径与融合路径，能在浅网络层与窄特征通道的条件下保持良好的分割性能。本发明拓展了知识蒸馏，通过制造差异温度参数进一步缩小轻量化网络的收敛空间，从而提升网络性能。最终基于本发明所训练出来的轻量化网络能够部署到嵌入式设备中执行高效准确的路面裂缝分割检测任务。
Description
技术领域
本发明涉及道路路面病害识别技术领域，可用于路面路面裂缝的快速检测，具体涉及一种基于多路卷积特征融合的轻量化分割网络设计方法与一种基于差温知识蒸馏的模型训练方法。
技术背景
道路裂缝是指道路固体材料组织在机械力冲击，化学侵蚀，温差效应等作用下产生的一种不连续现象，一般表现为肉眼可见的，宽度等于或大于0.05mm的宏观裂隙。道路路面裂缝扩展会使雨水与杂物侵入面层结构与路基，造成道路的结构性破坏，导致路面承载能力与耐久性下降，加速路面老化与损坏，增加交通安全风险。为了降低路面裂缝扩展带来的安全风险，我国每年要投入大量资金改善结构状况以维持道路寿命。目前，路面裂缝调查一般依靠检测员目测评估完成，但这种工作方式危险、辛苦而低效。所以，设计一种自动化快速巡检路面裂缝方法具有现实意义。
近年来得益于计算机视觉在道路结构健康监测领域的发展，基于图像的裂缝检测与分割方法取得了巨大进步。相关研究者构建深层神经网络执行路面裂缝检测任务，利用卷积神经网络强大的特征提取能力，开发了一系列自动化、高性能的检测方法，这些方法为道路运营与维护工作提供了便利。但是，由于深度神经网络对计算机内存空间与运算能力存在较高要求，因此神经网络的应用部署工作难以推进。而浅层神经网络又无法满足道路检测任务的性能要求。因此，寻找一种能同时满足轻量化与性能要求的路面裂缝图像分割网络具有现实意义。同时，寻找一种适用于嵌入式设备的神经网络部署方案可以进一步拓展神经网络的工程应用场景。
发明内容
为了克服现有技术的缺点，本发明的目的是提供一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，解决现有神经网络无法部署到嵌入式设备并维持良好性能的问题，实现了路面裂缝分割网络在嵌入式设备中能以极小的运行成本进行接近实时、高效和准确的裂缝图像分割任务。
本系统涉及基于多路卷积特征融合的轻量化网络结构设计方法、基于差温知识蒸馏的轻量化模型训练方案以及适用于嵌入式设备的轻量化网络部署方案。
为了实现上述目的，本发明的技术方案是：
步骤一：收集路面裂缝图像，对图像进行数据分析、数据清理与数据增广等操作，对裂缝图像进行分割标注并创建训练实例；
步骤二：根据数据分析所获得的先验知识，设计构建复杂多路卷积特征融合深度神经网络与不平衡损失函数，针对裂缝的不同特征进行差异性提取，再融合提取到的差异性特征用于预测分割标签；
步骤三：训练构建好的复杂神经网络，经过反复实验后得到性能优越的复杂深度神经网络；
步骤四：修改复杂神经网络分类层参数，使复杂神经网络推理软目标分割标签，并将软目标分割标签视作轻量化神经网络训练数据集的一部分；
步骤五：设计构造与复杂网络具有相似结构的轻量化多路卷积特征融合神经网络，使用差温知识蒸馏的模型训练方案让轻量化网络学习复杂神经网络的知识，从而使轻量化分割神经网络保持优良性能；
步骤六：对轻量化分割神经网络进行修剪与量化，进一步压缩网络。
步骤七：将训练得到的基于多路卷积特征融合的轻量化神经网络部署至嵌入式设备，连接摄像头并安置在智能移动小车上，执行自动化巡检路面裂缝任务。
进一步地，所述步骤一：
从图像采集设备中采集的图像经过数据清理与数据标准化处理后可以得到三维张量，其平面彩色图像数学表达式可表示为I＝f(x,y,λ)，其中x表示空间x轴上的值，y表示空间y轴上的值,这两者表示像素空间位置，λ表示波长，彩色图像中一般指RGB三通道。标注图像的数学表达式可表示为L＝f′(x,y),其中标注图像不包含色彩信息，只包含语义信息，0表示路面背景，1表示裂缝。我们需要构建神经网络D使其满足L＝D(I)的映射。
进一步地，所述步骤二中：
根据图像分析，裂缝一般会贯穿图像并呈现细长条形，对此本发明有针对性地设计了多路卷积，分别包括了标准卷积路径、膨胀卷积路径、长方卷积路径三种卷积路径，最后通过融合路径融合所有特征信息。所建立的神经网络包含四个部分，第一部分是编码器，利用堆叠的卷积块(包含卷积层、标准化层、激活层)执行下采样过程，进行特征提取；第二部分是特征增强部分，利用残差块对特征进行强化与抽象；第三部分是利用堆叠的反卷积块(包含反卷积层、归一化层、激活层)执行上采样过程，解码还原抽象特征信息；第四部分是结果推理层，包含归一化指数函数层，将特征信息归一化成概率图以反映最终的推理结果，其中深颜色表示被视作裂缝的概率高，浅颜色表示被视作背景的概率高。本发明构造了一种特殊的不平衡损失函数以解决裂缝图像分割中的类不平衡问题。不平衡损失函数将对标注图像不同的通道附加不同的权重值，从而突破单通道图像的限制，实现对不平衡类(背景与裂缝)进行控制。
其中Yi代表原始标签，
代表预测标签，w代表权重值，n代表样本数量。
进一步地，所述步骤三中：
使用复杂多路卷积特征融合深度神经网络进行训练，使用验证集与测试集对训练结果进行验证与测试，以保证神经网络良好的鲁棒性。
进一步地，所述步骤四中：
归一化指数函数层中的SoftMax函数可表示为：
其中zi代表特征信息值，T代表SoftMax函数的温度值，通过修改T可以改变概率结果qi的值，改变预测结果概率分布图。载入复杂多路卷积特征融合深度神经网络并将T值由1修改为10，对训练数据与验证数据进行重新推理，得到经过标签软化的数据标签结果，并且将这些结果组合在一起构建为轻量化网络的训练集。
进一步地，所述步骤五中：
设计构造具有相似网络结构的轻量化多路卷积特征融合网络，缩减通道宽度与网络宽度，从而减小网络复杂度，并将特征增强层残差块中的卷积层修改为深度可分离卷积层，进一步减小网络的内存占用空间。然后使用拓展的差温知识蒸馏以获得相较于标准知识蒸馏更优良的训练效果。
进一步地，所述步骤六中：
对轻量化多路卷积特征融合神经网络的分类层进行修剪优化，使用量化技术将网络模型中的浮点型数据量化成整型数据，进一步降低轻量化网络的大小并提升轻量化网络的推理速度。
进一步地，所述步骤七中：
将轻量化网络部署到嵌入式设备中，并设计计算机程序，将摄像头获取的图像流传入到程序中交由轻量化神经网络处理并在便携显示屏中实时反馈推理结果。
本发明的创新点为设计了基于多路卷积特征融合的轻量化神经网络架构，设计了性能比标准知识蒸馏方案更加优良的差温知识蒸馏方案，首次将轻量化神经网络部署到嵌入式设备中以近于实时的反馈速度显示准确的检测结果图像。
本发明的优点及有益效果有：本发明所设计训练的轻量化神经网络能在嵌入式设备中运行，并保持准确、清晰、近乎实时的处理效果，大大地拓展了神经网络在实际工程中的应用。本发明所提出的多路卷积特征融合可以有效地提升网络性能，在极致压缩的条件依然保持良好的性能，可以准确地处理复杂的分割任务。本发明所提出的差温知识蒸馏训练方案在不增加计算成本的情况下可以提升轻量化网络的学习能力，并保持良好的鲁棒性。本发明的训练方案可以推广到众多神经网络的轻量化，促进深度神经网络的应用进程。
附图说明
图1为本发明轻量化网络设计-训练-部署全流程示意图。
图2为本发明步骤二的基于多路卷积特征融合的网络结构示意图。
图3为本发明步骤二的基于多路卷积特征融合的网络的标准卷积路径示意图。
图4为本发明步骤五的基于差温蒸馏的轻量化网络训练流程图。
图5为本发明的轻量化模型优化部署全过程示意图。
图6为本发明的一个分割实例结果展示示意图。
具体实施方式
下面根据说明书附图对本发明做进一步说明：
如图1所示，一种基于多路卷积特征融合与知识蒸馏的轻量化神经网络的设计方法与训练方案，包含以下步骤：
步骤一、收集道路路面裂缝与标签信息，经过清理错误图像与重复图像等数据清洗操作后，得到2500份道路路面裂缝数据标签对，通过随机函数将2500份数据对分为训练集(2000份)、验证集(250份)与测试集(250份)，创建基础的训练数据集。
步骤二、根据裂缝图像分析设计基于多路卷积特征融合的神经网络结构，其结构如图2所示，输入数据进入神经网络输入层后同时流入三条卷积路径，三条卷积路径分别为标准卷积路径(其中的卷积块以标准卷积层为主，卷积核为正方形，膨胀系数为1)、长方卷积(其中的卷积块以长方卷积层为主，卷积核为长方形，膨胀系数为1)、膨胀卷积层(其中的卷积块以膨胀卷积层为主，其卷积核为正方形，膨胀系数＞1)。三条路径分别会生成相应的预测标签，其分别为标准卷积标签、长方卷积标签与膨胀卷积标签，除此之外，还有一条融合路径融合三条路径的特征信息，生成融合标签。因此基于多路卷积特征融合的神经网络存在四个输出，在网络训练过程中，四个输出的对应真实标签保持一致。三条路径的组成是相似的，是以编码器-解码器为主要的神经网络结构。如图3所示，标准卷积路径的全程包含图像调整层(由填充层、卷积层、批标准化层与激活层组成，目的是调整输入数据的尺寸)、下采样层(由卷积层、批标准化层与激活层组成的卷积块堆叠而成，目的是对数据进行下采样与特征提取)、特征增强层(由填充层、卷积层、批标准化层与激活层通过残差连接组合的残差块堆叠而成，目的是对特征信息进行增强)、上采样层(由反卷积层、批标准化层与激活层组成的反卷积块堆叠而成，目的是对数据进行上采样与特征解码)、图像调整层(由填充层与卷积层组成，目的是调整输入数据的尺寸)、分类层(由注意力模块与归一化指数函数组成，目的是执行预测)。损失函数为带有权值的均值平方差损失函数，其权值为10。最终设计方案中，复杂多路卷积特征融合的神经网络的初始通道宽度设置为64，下采样层与上采样层均设置为2层，特征增强层设置为8层。
步骤三、根据设计好的神经网络与损失函数调整训练超参数并执行训练，复杂模型需在训练集、验证集与测试集上均表现性能优异才能执行下一步，否则需调整训练超参数再次执行训练，直到性能满足要求。
步骤四、由步骤三得到满足性能条件的复杂网络后、载入复杂网络并修改分类层中归一化指数函数中的温度值T值为10，重新对训练集与验证集执行推理。经过推理后，一张原始图像可以得到四种软化标签，分别是软化标准卷积标签、软化长方卷积标签、软化膨胀卷积标签、软化融合标签。此时四个标签各不相同，组合各个标签与原始图像，构建软标签数据集，为后续知识蒸馏训练提供数据集。
步骤五、设计轻量化多路卷积特征融合网络结构。轻量化网络与复杂网络结构相似，但轻量化多路卷积特征融合神经网络的初始通道宽度设置为16，下采样层与上采样层均设置为2层，特征增强层设置为4层，并且特征增强层中的卷积层被替换为深度可分离卷积层。
步骤六、调整训练参数，执行知识蒸馏训练方法。知识蒸馏是通过构建一个轻量化模型，利用性能更好的复杂模型的监督信息训练轻量化模型，以期达到更好的性能和精度。这种方式有效地缩小了轻量化网络的收敛空间，从而使轻量化网络也能表现出良好的性能。知识蒸馏的具体过程如图4所示，图中共提到三种知识蒸馏策略，其中高温知识蒸馏与差温知识蒸馏是本发明所提出，并且这两种方式的性能都要好于标准知识蒸馏。在这三种知识蒸馏方案中差温知识蒸馏表现最好。差温知识蒸馏对获取的预处理真实标签不做处理，将推理得到软标签的温度值T1设置为10，在执行硬标签预测时将温度值T2设置为10。经过这种处理方式后，轻量化网络的收敛空间会进一步收敛，从而提升轻量化网络的性能。高温知识蒸馏的参数设置可参照策略2中的参数设置。知识蒸馏是一种特殊的模型训练方案，所以知识蒸馏也需要不断地调整训练超参数，当轻量化网络满足道路检测要求时，执行下一步优化阶段与部署阶段。
步骤七、训练完成的轻量化网络仍存在冗余设计，轻量化网多余的输出标签需被删除，只保留融合标签。网络内部的参数需量化为整型以提升运算速度。在轻量化网络同时满足运算速度与分割性能的要求后，执行下一步部署任务。
步骤八、如图5最后两部分所示，经过模型量化后，本发明将模型转换成Onnx文件形式，并用Tensor RT技术将其转换为可部署的Engine文件，进而将神经网络部署在本地嵌入式设备。
步骤九、最终，我们将转换好的网络模型部署到嵌入式设备中，并将嵌入式设备放置在移动小车上，连接摄像头执行分割程序。实际的分割效果如图6所示，图中灰白色标签表示预测结果。在本发明中，轻量化神经网络能有效识别裂缝，并且图像显示帧数可达到10FPS，此效果基本满足工程检测要求。
本发明的训练方法有效、简便且具有普适性，可以推动众多检测任务的神经网络轻量化。
Claims (8)
1.一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，包括如下步骤：
步骤一：收集路面裂缝图像，对图像进行数据分析、数据清理与数据增广等操作，对裂缝图像进行分割标注并创建训练实例；
步骤二：根据数据分析所获得的先验知识，设计构建复杂多路卷积特征融合深度神经网络与不平衡损失函数，针对裂缝的不同特征进行差异性提取，再融合提取到的差异性特征用于预测分割标签；
步骤三：训练构建好的复杂神经网络，经过反复实验后得到性能优越的复杂深度神经网络；
步骤四：修改复杂神经网络分类层参数，使复杂神经网络推理软目标分割标签，并将软目标分割标签视作轻量化神经网络训练数据集的一部分；
步骤五：设计构造与复杂网络具有相似结构的轻量化多路卷积特征融合神经网络，使用差温知识蒸馏的模型训练方案让轻量化网络学习复杂神经网络的知识，从而使轻量化分割神经网络保持优良性能；
步骤六：对轻量化分割神经网络进行修剪与量化，进一步压缩网络。
步骤七：将训练得到的基于多路卷积特征融合的轻量化神经网络部署至嵌入式设备，连接摄像头并安置在移动智能小车上，执行快速自动化巡检路面裂缝任务。
2.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，在步骤一中，经过数据清洗构建的数据对不是单一的对应关系，而是一张原始图像对应四张真实标签的关系，并且四张真实标签的相似性会随着训练进程而发生改变。平面彩色图像的数学表达式可表示为I＝f(x,y,λ)，其中x表示空间x轴上的值，y表示空间y轴上的值,这两者表示像素的空间位置，λ表示波长，在彩色图像中一般指RGB三通道。标注图的数学图像可表示为L＝f′(x,y),标注图像不包含色彩信息，只包含相应区域的语义信息，0代表路面背景，1代表裂缝。为了适应不平衡损失函数，数据集构建的额外特征在于标注图像会在数据预处理中扩展为正反两种标签，在第一通道中0代表路面背景，1代表裂缝，在第二通道中1表示路面背景，0表示裂缝。这种处理方式是为了适应不平衡损失函数的运算要求。
3.根据权利要求1与2所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，数据集构建与不平衡损失函数的对应关系。不平衡损失函数将对标注图像不同的通道附加不同的权重值，从而突破单通道图像的限制，实现对不平衡类(背景与裂缝)进行控制。
其中Yi代表原始标签，
代表预测标签，w代表权重值，n代表样本数量。
4.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，步骤二中所提取到的先验知识为裂缝一般具有贯穿图像与长宽比大的特点。因此有针对性地设计了多路卷积，分别包括了普通卷积路径、膨胀卷积路径、长方卷积路径三种卷积路径，并在融合路径中融合所有特征信息。三条卷积路径的组成是相似的，都以编码器-解码器为主要的神经网络结构。以标准卷积路径的全程为例，其包含图像调整层(由填充层、卷积层、批标准化层与激活层组成，主要目的是调整输入数据的尺寸)、下采样层(由卷积层、批标准化层与激活层组成的卷积块堆叠而成，主要目的是对数据进行下采样与特征提取)、特征增强层(由填充层、卷积层、批标准化层与激活层通过残差连接组合的残差块堆叠而成，主要目的是对特征信息进行增强)、上采样层(由反卷积层、批标准化层与激活层组成的反卷积块堆叠而成，主要目的是对数据进行上采样与特征解码)、图像调整层(由填充层、卷积层组成，主要目的是调整输入数据的尺寸)、分类层(由注意力模块与归一化指数函数组成，目的是执行预测)。复杂多路卷积特征融合的神经网络的初始通道宽度设置为64，下采样层与上采样层均设置为2层，特征增强层设置为8层。
5.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，步骤二中所提取到的信息还包括裂缝图像是一项典型类不平衡问题。为了在轻量化网络设计的设计中解决此问题，本发明在多路卷积特征融合神经网络的分类层中加入了注意力模块。注意力模块通过分离数据，提取一部分数据信息作为注意力掩膜，提取另一部分数据信息作为内容掩膜，再通过乘法连接注意力掩膜与内容掩膜以加强网络对裂缝区域的关注度。本发明提出的注意力模块在仅增加少量参数的情况下极大地缓解了类不平衡问题。
6.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，步骤四中通过修改训练好的复杂多路卷积特征融合网络中的归一化指数函数，其中的SoftMax函数可表示为：
其中zi代表特征信息值，T代表SoftMax函数的温度值，通过修改T可以改变概率结果qi的值，最终改变预测结果的概率图。载入复杂多路卷积特征融合深度神经网络并将T值由1修改为10，对训练数据与验证数据进行重新推理，得到经过标签软化的数据标签结果，并且将这些结果组合在一起构建为轻量化网络的训练集。
7.根据权利要求1所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，步骤五中的轻量化网络设计方法与差温知识蒸馏方法。轻量化网络设计方法为，将轻量化多路卷积特征融合神经网络的初始通道宽度设置为16，下采样层与上采样层均设置为2层，特征增强层设置为4层，并且将特征增强层中的卷积层替换为深度可分离卷积层。知识蒸馏是通过构建一个轻量化模型，利用性能更好的复杂模型的监督信息训练轻量化模型，以期达到更好的性能和精度。这种方式有效地缩小了轻量化网络的收敛空间，从而使轻量化网络也能表现出良好的性能。差温知识蒸馏对获取的预处理真实标签不做处理，将推理得到软标签的温度值T1设置为10，在执行硬标签预测时将温度值T2设置为10。经过这种处理方式后，轻量化网络的收敛空间会进一步收敛，提升轻量化网络的性能。本发明共提出高温知识蒸馏与差温知识蒸馏两种策略，这两种参数设置与理念是由本发明首次提出并实践。
8.根据权利要求1或6所述的一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法，其特征在于，步骤六与七中的模型优化与部署工作。在道路裂缝分割领域，本发明首次将轻量化网络部署到嵌入式设备中。训练完成的轻量化网络仍然存在冗余设计，轻量化网多余的输出标签需被删除，只保留融合标签。网络内部的参数需量化为整型以提升运算速度。经过模型量化后，本发明将模型转换为可部署的工程文件。将转换好的模型部署至嵌入式设备中，将嵌入式设备放置在移动小车上，连接摄像头执行分割任务就能获得分割结果，并且图像显示帧数可达到10FPS。本发明首次在裂缝检测领域使用嵌入式设备运行神经网络并基本满足工程检测要求。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210229869.8A CN114943832B (zh) | 2022-03-10 | 2022-03-10 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210229869.8A CN114943832B (zh) | 2022-03-10 | 2022-03-10 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114943832A true CN114943832A (zh) | 2022-08-26 |
| CN114943832B CN114943832B (zh) | 2024-08-02 |
Family
ID=82906181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210229869.8A Active CN114943832B (zh) | 2022-03-10 | 2022-03-10 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114943832B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393727A (zh) * | 2022-10-31 | 2022-11-25 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路面线性裂缝识别方法、电子设备及存储介质 |
| CN116070676A (zh) * | 2023-03-28 | 2023-05-05 | 南京气象科技创新研究院 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
| CN116416212A (zh) * | 2023-02-03 | 2023-07-11 | 中国公路工程咨询集团有限公司 | 路面破损检测神经网络训练方法及路面破损检测神经网络 |
| CN116523888A (zh) * | 2023-05-08 | 2023-08-01 | 北京天鼎殊同科技有限公司 | 路面裂缝的检测方法、装置、设备及介质 |
| CN116777926A (zh) * | 2023-08-21 | 2023-09-19 | 华侨大学 | 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置 |
| CN118097154A (zh) * | 2024-04-22 | 2024-05-28 | 清华大学深圳国际研究生院 | 轻量化裂缝分割方法、装置、终端设备及存储介质 |
| CN118274846A (zh) * | 2024-05-30 | 2024-07-02 | 深圳技术大学 | 用于道路隐患排查的无人机群协同路径规划方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402311A (zh) * | 2020-03-09 | 2020-07-10 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的轻量级立体视差估计方法 |
| CN112215334A (zh) * | 2020-09-24 | 2021-01-12 | 北京航空航天大学 | 一种面向事件相机的神经网络模型压缩方法 |
| CN112989981A (zh) * | 2021-03-05 | 2021-06-18 | 五邑大学 | 一种路面裂缝检测方法、系统及存储介质 |
| CN113034444A (zh) * | 2021-03-08 | 2021-06-25 | 安徽建筑大学 | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 |
| CN113688989A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 深度学习网络加速方法、装置、设备及存储介质 |
| CN113850228A (zh) * | 2021-10-18 | 2021-12-28 | 北方民族大学 | 基于多模态融合的道路裂缝检测方法和系统 |
| US20220004808A1 (en) * | 2018-08-28 | 2022-01-06 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation |
-
2022
- 2022-03-10 CN CN202210229869.8A patent/CN114943832B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220004808A1 (en) * | 2018-08-28 | 2022-01-06 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation |
| CN111402311A (zh) * | 2020-03-09 | 2020-07-10 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的轻量级立体视差估计方法 |
| CN112215334A (zh) * | 2020-09-24 | 2021-01-12 | 北京航空航天大学 | 一种面向事件相机的神经网络模型压缩方法 |
| CN112989981A (zh) * | 2021-03-05 | 2021-06-18 | 五邑大学 | 一种路面裂缝检测方法、系统及存储介质 |
| CN113034444A (zh) * | 2021-03-08 | 2021-06-25 | 安徽建筑大学 | 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法 |
| CN113688989A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 深度学习网络加速方法、装置、设备及存储介质 |
| CN113850228A (zh) * | 2021-10-18 | 2021-12-28 | 北方民族大学 | 基于多模态融合的道路裂缝检测方法和系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393727A (zh) * | 2022-10-31 | 2022-11-25 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种路面线性裂缝识别方法、电子设备及存储介质 |
| CN116416212A (zh) * | 2023-02-03 | 2023-07-11 | 中国公路工程咨询集团有限公司 | 路面破损检测神经网络训练方法及路面破损检测神经网络 |
| CN116416212B (zh) * | 2023-02-03 | 2023-12-08 | 中国公路工程咨询集团有限公司 | 路面破损检测神经网络训练方法及路面破损检测神经网络 |
| CN116070676A (zh) * | 2023-03-28 | 2023-05-05 | 南京气象科技创新研究院 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
| CN116070676B (zh) * | 2023-03-28 | 2023-06-30 | 南京气象科技创新研究院 | 基于注意力机制和自编码器的高速公路路面温度预报方法 |
| CN116523888A (zh) * | 2023-05-08 | 2023-08-01 | 北京天鼎殊同科技有限公司 | 路面裂缝的检测方法、装置、设备及介质 |
| CN116523888B (zh) * | 2023-05-08 | 2023-11-03 | 北京天鼎殊同科技有限公司 | 路面裂缝的检测方法、装置、设备及介质 |
| CN116777926A (zh) * | 2023-08-21 | 2023-09-19 | 华侨大学 | 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置 |
| CN116777926B (zh) * | 2023-08-21 | 2023-10-31 | 华侨大学 | 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置 |
| CN118097154A (zh) * | 2024-04-22 | 2024-05-28 | 清华大学深圳国际研究生院 | 轻量化裂缝分割方法、装置、终端设备及存储介质 |
| CN118274846A (zh) * | 2024-05-30 | 2024-07-02 | 深圳技术大学 | 用于道路隐患排查的无人机群协同路径规划方法及系统 |
| CN118274846B (zh) * | 2024-05-30 | 2024-08-13 | 深圳技术大学 | 用于道路隐患排查的无人机群协同路径规划方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943832B (zh) | 2024-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114943832A (zh) | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 | |
| CN111553387B (zh) | 一种基于Yolov3的人员目标检测方法 | |
| CN111340754B (zh) | 一种基于飞机蒙皮表面缺陷检测和分类的方法 | |
| CN111127449B (zh) | 一种基于编码器-解码器的自动化裂缝检测方法 | |
| CN111222580A (zh) | 一种高精度的裂缝检测方法 | |
| CN107909564A (zh) | 一种基于深度学习的全卷积网络图像裂纹检测方法 | |
| CN111882620B (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
| Bo et al. | Particle pollution estimation from images using convolutional neural network and weather features | |
| CN114359130B (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
| CN110766046A (zh) | 一种双通道卷积神经网络集成学习的空气质量测量方法 | |
| CN110751209A (zh) | 一种融合深度图像分类和检索的智能台风定强方法 | |
| CN114998251B (zh) | 一种基于联邦学习的空中多视觉平台地面异常检测方法 | |
| CN116883393B (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN114463340B (zh) | 一种边缘信息引导的敏捷型遥感图像语义分割方法 | |
| CN116433629A (zh) | 一种基于GA-Unet的机场道面缺陷识别方法 | |
| CN116681645A (zh) | 一种裂缝缺陷的检测模型及其实现方法 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| CN117392547A (zh) | 融合Swin Transformer与视觉图神经网络的遥感影像场景分类方法 | |
| CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 | |
| CN114648659B (zh) | 一种基于迁移学习的轻量化混凝土桥梁病害识别方法 | |
| CN113673534B (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
| CN115496941A (zh) | 基于知识增强计算机视觉的结构健康诊断方法 | |
| CN114581780A (zh) | 一种改进U-Net网络结构的隧道表面裂缝检测方法 | |
| CN112949771A (zh) | 一种基于多深度多尺度层级注意力融合机制的高光谱遥感影像分类方法 | |
| CN114612803B (zh) | 一种改进CenterNet的输电线路绝缘子缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |