CN116416212A - 路面破损检测神经网络训练方法及路面破损检测神经网络 - Google Patents
路面破损检测神经网络训练方法及路面破损检测神经网络 Download PDFInfo
- Publication number
- CN116416212A CN116416212A CN202310124903.XA CN202310124903A CN116416212A CN 116416212 A CN116416212 A CN 116416212A CN 202310124903 A CN202310124903 A CN 202310124903A CN 116416212 A CN116416212 A CN 116416212A
- Authority
- CN
- China
- Prior art keywords
- network
- teacher
- networks
- road surface
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 238000012549 training Methods 0.000 title claims abstract description 119
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003709 image segmentation Methods 0.000 claims abstract description 103
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 56
- 230000011218 segmentation Effects 0.000 claims description 91
- 230000008569 process Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 230000002779 inactivation Effects 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 230000004580 weight loss Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 11
- 239000000126 substance Substances 0.000 description 7
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种路面破损检测神经网络训练方法及路面破损检测神经网络，方法包括：将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，单类型路面破损数据集与基础图像分割网络一一对应；基于预设的多类型路面破损数据集，利用多个教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；学生网络包括编码器和解码器，编码器包括预设层数的编码子网络，解码器包括与编码子网络对称的预设层数的解码子网络，预设层数少于5层。本方法能够较好地实现多类型路面破损的自动检测，且较好地减少了路面破损检测神经网络的参数量，更易于部署与应用，检测精确度较高。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及路面破损检测神经网络训练方法及路面破损检测神经网络。
背景技术
目前，用于对公路路面破损情况如路面裂缝、坑槽、龟裂等的自动检测主要是利用计算机视觉相关技术和方法。总体来说可以分为两大类，一是传统图像处理方法，如阈值化方法、纹理分析、边缘检测等；二是基于深度学习的检测方法，主要包括：基于图像分类的方法，如深度卷积分类网络、基于目标检测的方法如YOLO(You Only Look Once)系列和RCNN(Region-Convolutional Neural Networks，区域卷积神经网络)系列等。
然而，基于传统图像处理方法对路面破损进行检测往往需要人为定义的几何特征，识别精度和鲁棒性都较差，并且人工设计的特征提取方法通常只在简单路面场景中有效，无法在具有复杂背景的公路路面实现较准确的检测。基于深度学习的路面破损检测方法仍然存在两个主要问题：一是缺乏能同时完成对路面裂缝、坑槽、龟裂等多种类型的破损实现准确检测的多类型路面破损检测模型；二是现有的基于图像分割的深度检测模型参数量较大，并且受限于数据规模也难以训练，导致路面破损检测无法取得较理想的效果。
发明内容
本发明提供一种路面破损检测神经网络训练方法及路面破损检测神经网络，用以解决现有技术中基于图像分割的深度检测模型通常针对单一类型的路面破损设计，无法较好地实现多类型路面破损的检测，且模型参数量较大、检测精确度较低的问题。
本发明提供一种路面破损检测神经网络训练方法，包括：
将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；
基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
可选的，将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络的步骤包括：
将预设的通用图像数据集输入一基础图像分割网络进行预训练，获取预训练网络、以及所述预训练网络的网络参数；
根据所述网络参数，分别对多个所述基础图像分割网络进行初始化；
将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络。
可选的，将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络的步骤包括：
将任一所述单类型路面破损数据集输入对应的初始化后的基础图像分割网络进行图像分割，获取单类型分割结果；
根据所述单类型分割结果和单类型路面破损数据集中的真实分割结果，对对应的初始化后的基础图像分割网络进行训练，获取教师网络，完成多个所述教师网络的获取。
可选的，基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络的步骤包括：
对所述学生网络进行随机初始化；
将样本扩充后的所述多类型路面破损数据集分别输入初始化后的学生网络、以及多个训练好的教师网络，获取学生网络的学生网络分割结果和多个教师网络的教师网络分割结果；
基于所述学生网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取学生网络的损失；
基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失；
基于所述学生网络的损失和所述教师网络的加权损失，获取总体损失；
根据所述总体损失，对所述学生网络的参数进行迭代更新，获取知识蒸馏后的学生网络，将知识蒸馏后的学生网络作为所述路面破损检测神经网络。
可选的，基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失的数学表达为：
其中，LossT为教师网络的加权损失，
为第j个教师网络的损失权重，k为教师网络的数量，/>
为第j个教师网络的损失，/>
为第j个教师网络的教师网络分割结果中分割的多类型样本图像为正类的概率，/>
为多类型样本图像的真实分割结果中多类型样本图像为正类的概率，0<im≤Nm，Nm为多类型样本图像的数量。
可选的，各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；
各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。
本发明还提供一种路面破损检测神经网络，包括：
知识蒸馏后的编码器和解码器，所述知识蒸馏后的编码器和所述解码器通过如上述任一项所述的路面破损检测神经网络训练方法获得；
所述编码器包括预设层数的编码子网络，所述预设层数少于5层，各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；
所述解码器包括与编码器对称的预设层数的解码子网络，各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。
本发明还提供一种路面破损检测神经网络训练系统，包括：
教师网络获取模块，用于将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；
知识蒸馏模块，用于基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述路面破损检测神经网络训练方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述路面破损检测神经网络训练方法。
本发明提供的路面破损检测神经网络训练方法及路面破损检测神经网络，通过将预设的多个单类型路面破损数据集分别输入与之一一对应的基础图像分割网络进行单独训练，获取多个教师网络。再基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的轻量化学生网络进行知识蒸馏，将知识蒸馏后的轻量化学生网络作为路面破损检测神经网络。能够较好地实现多类型路面破损，如路面裂缝、坑槽、龟裂等的自动检测，自动化程度较高，且较好地减少了路面破损检测神经网络的参数量，更易于路面破损检测神经网络模型的部署和应用，检测精确度较高，适用于多类型路面破损检测的应用场景，成本较低。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的路面破损检测神经网络训练方法的流程示意图；
图2是本发明提供的路面破损检测神经网络训练方法中教师网络的结构示意图示例；
图3是本发明提供的路面破损检测神经网络训练方法中学生网络/路面破损检测神经网络的结构示意图示例；
图4是本发明提供的路面破损检测神经网络训练方法中获取多个教师网络的流程示意图；
图5是本发明提供的路面破损检测神经网络训练方法中知识蒸馏的流程示意图；
图6是本发明提供的路面破损检测神经网络训练方法的实施例二中教师网络的训练过程示意图；
图7是本发明提供的路面破损检测神经网络的结构示意图示例；
图8是本发明提供的路面破损检测神经网络训练系统的结构示意图；
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
路面破损检测与公路的服务质量息息相关。目前，基于深度学习技术，对图像中特定像素实现准确检测，在各种应用场景中均取得了很好的效果。但是，现有的基于深度学习的路面破损检测方法仍然存在基于图像分割的深度检测模型通常针对单一类型的路面破损设计，无法较好地实现多类型路面破损的检测，且模型参数量较大、检测精确度较低等问题。因此，本发明提出一种路面破损检测神经网络训练方法及路面破损检测神经网络，通过将预设的多个单类型路面破损数据集分别输入与之一一对应的基础图像分割网络进行单独训练，获取多个教师网络。然后，基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的轻量化学生网络进行知识蒸馏，将知识蒸馏后的轻量化学生网络作为路面破损检测神经网络。能够较好地实现多类型路面破损，如路面裂缝、坑槽、龟裂等的自动检测，自动化程度较高，且较好地减少了路面破损检测神经网络的参数量，更易于路面破损检测神经网络模型的部署和应用，检测精确度较高，可实施性较强，具有较高的鲁棒性和泛化性能。
为了便于理解，在此对本发明涉及的技术术语进行解释。
知识蒸馏(KD，Knowledge Distillation)：利用较大模型学习到的知识去指导较小模型训练，使得较小模型具有与较大模型相当的性能，但是参数数量大幅降低，从而实现模型压缩与加速的模型训练过程。
教师网络：相对于学生网络，较为复杂，且参数量、运算量较多的网络，用于指导学生网络进行训练。
学生网络：相对于教师网络，较为简单，且参数量、运算量较少的网络，用于向教师网络学习，以此得到跟教师网络相近的性能。
下面结合图1-图9，对本发明提供的路面破损检测神经网络训练方法及路面破损检测神经网络进行说明。
请参考图1，本实施例提供的路面破损检测神经网络训练方法，包括：
S101：将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应。
具体地，将预设的多个单类型路面破损数据集，如路面裂缝数据集、路面坑槽数据集等，分别输入与该数据集一一对应的基础图像分割网络进行单独训练，获取多个教师网络。例如：将路面裂缝数据集输入基础图像分割网络1进行训练，获取教师网络1，将路面坑槽数据集输入基础图像分割网络2进行训练，获取教师网络2等。需要说明的是，本实施例中的基础图像分割网络采用U-Net网络。U-Net网络属于语义分割网络，是包括压缩路径和扩展路径的对称U形结构网络。本实施例通过使用U-Net网络作为基础图像分割网络，能够便于对路面破损图像进行较精准的图像分割与检测。
上述S101步骤中通过将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，能够便于后续利用获取的多个用于进行单类型路面破损检测的教师网络，对预设的轻量化学生网络进行知识蒸馏。
图2示出了在一些实施例中的教师网络的结构示意图示例。如图2所示，以用于路面裂缝检测的教师网络为例，本实施例中的基础图像分割网络和教师网络均采用原始的U-Net网络结构。教师网络接收路面裂缝图像作为输入，像素为572×572，输出分割后的同尺寸图像。U-Net是基于编码器-解码器结构的全卷积网络。图2中各条框表示特征图(featuremap)。各条框左侧或右侧标注的数字，如5722、5702、5682、2842等，均表示图像宽高。各条框顶部或底部标注的数字，如1、64、128、256、512、1024等，均表示图像通道数(channel)。在编码阶段，路面裂缝图像经过多层的卷积下采样过程，得到底层图像特征。卷积下采样过程中的卷积(Convolution)操作采用3×3的卷积核，最大池化(Max Pooling)操作采用2×2的池化核。在解码阶段，得到的底层图像特征经过同样层数的卷积上采样过程，被还原为与原始输入的路面裂缝图像具有同样尺寸大小的分割后图像，输出图像仅包括裂缝信息和背景信息。卷积上采样过程中的上采样(Up Sampling)操作采用2×2的运算核，输出图像的前一次卷积(Convolution)操作采用1×1的卷积核。教师网络的各水平层之间采用跳跃连接(skipconnection)结构，编码器每一层提取的特征通过跳跃连接被叠加在解码器对应的图像通道上，以此保证每一层提取的特征都被充分利用，避免编码过程中图像小尺寸特征的丢失。编码器和解码器所采用的随机失活层(Dropout)的暂退率可以根据实际情况进行设置，如本实施例的教师网络中Dropout分别采用0.1、0.2、0.3等。
S102：基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
需要说明的是，所述多类型路面破损数据集包括：多个不同类型的路面破损样本图像、以及与该路面破损样本图像相对应的真实分割结果。
由于目前的多类型路面破损数据集中的样本数量较少，不利于检测精确度的提升，因此，在一些实施例中，上述S102步骤在进行知识蒸馏的步骤之前，还包括：通过旋转变换和仿射变换，对所述多类型路面破损数据集进行样本扩充，获取样本扩充后的多类型路面破损数据集。进一步地，将样本扩充后的多类型路面破损数据集分别输入多个所述教师网络和预设的学生网络，进行知识蒸馏，获取知识蒸馏后的学生网络，将知识蒸馏后的学生网络作为路面破损检测神经网络。
还需要说明的是，本实施例中预设的学生网络采用轻量化的网络结构，即相较于原始的U-Net网络，本实施例中的学生网络通过减少网络的层数、降低初始特征通道数，以达到学生网络轻量化的目的，有效降低学生网络的复杂度，减少参数量。并且，本实施例中的学生网络通过在解码过程中进行多次浅层特征叠加，确保了浅层特征的充分利用，较好地提高了学生网络的检测精确度，有助于获取参数量较少、精确度较高的路面破损检测神经网络。进一步地，所述学生网络的编码器中各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。随机失活层的用于一定的概率随机地丢弃一部分神经元来简化网络，防止过拟合。
图3示出了在一些实施例中的学生网络的结构示意图示例。为了更清楚地说明学生(student)网络的网络结构，本实施例以举例的方式对学生网络的结构进行说明。请参考图3，本实施例中学生网络为预设的轻量化U-Net网络，相比于原始的U-Net网络，本实施例对U-Net进行了如下调整：将水平层数由原始的U-Net网络的5层减少为3层，即相互对称的3层编码子网络和3层解码子网络，编码子网络和解码子网络的连接层为共用层。初始特征图通道数由64减少为16，即初始特征图大小由570*570*64变为570*570*16。需要说明的是，图3中各条框表示特征图(feature map)。各条框左侧或右侧标注的数字，如5722、5702、5682、2842等，均表示图像宽高。各条框顶部或底部标注的数字，如1、16、32、64、48、2，均表示图像通道数(channel)。还需要说明的是，本实施例中的3层水平层数仅为举例，在具体实施过程中，可以根据实际情况对student网络的水平层数进行设置，如4层、2层等，初始特征图通道数也可根据实际情况进行设置，如32层等。这样可以使得学生网络参数较少，更易部署。并且，在解码器部分进行上采样的过程中，不再使用原始U-Net网络的跳跃连接结构，而是每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作，这样的结构充分保证浅层特征不被丢失，提高学生网络的检测精确度。另外，本实施例中，学生网络的编码子网络和解码子网络中的卷积(Convolution)操作采用3×3的卷积核，最大池化(Max Pooling)操作采用2×2的池化核，上采样(Up Sampling)操作采用2×2的运算核，输出图像的前一次卷积(Convolution)操作采用1×1的卷积核。随机失活层(Dropout)暂退率随层数的增加，从0.1增加到0.3。上述参数的设置仅做举例，本实施例对此不做具体限定。
请参考图4，在一些实施例中，将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络的步骤包括：
S401：将预设的通用图像数据集输入一基础图像分割网络进行预训练，获取预训练网络、以及所述预训练网络的网络参数。所述通用图像数据集可以为现有的通用图像分割数据集，如ImageNet等。通过将通用图像数据集输入一基础图像分割网络进行预训练，获取预训练网络的网络参数，便于后续利用所述网络参数，对教师网络进行初始化，以此提高教师网络进行图像分割的精确度，无需在后续的教师网络训练过程中再分别对每个基础图像分割网络进行通用图像数据集的训练，操作更加便捷。
S402：根据所述网络参数，分别对多个所述基础图像分割网络进行初始化。通过利用上述网络参数，分别对多个基础图像分割网络进行初始化，使得每一初始化后的基础图像分割网络均具备通用图像分割的能力。
S403：将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络。例如：将路面龟裂数据集输入基础图像分割网络n进行训练，获取教师网络n；将路面车辙数据集输入基础图像分割网络n′进行训练，获取教师网络n′等。多个所述教师网络分别具有对单类型路面破损的检测能力。
在一些实施例中，将预设的通用图像数据集输入一基础图像分割网络进行预训练，获取预训练网络、以及所述预训练网络的网络参数的步骤包括：
S4011：将所述通用图像数据集的第一样本图像输入一基础图像分割网络进行图像分割，获取第一分割结果。
具体地，记预训练的基础图像分割网络的参数为θim，通用图像数据集上的第一样本图像和第一样本图像的真实分割结果为
表示第i1张第一样本图像。由于通用图像数据集用于图像分割的二分类任务，因此，/>
归类于含有检测目标，
归类于噪声信息或背景信息，ε为提前设定的阈值，本实施例中设置ε＝0.5。实际实施过程中，可以根据实际情况对ε的值进行限定，此处不再赘述。在上述S4011中，首先，随机初始化用于预训练的基础图像分割网络的参数θim，再将所述通用图像数据集的第一样本图像输入对应的基础图像分割网络中进行图像分割，获取所述第一分割结果。
S4012：根据所述第一分割结果和预设的第一损失函数，进行预训练，获取所述预训练网络、以及所述预训练网络的网络参数。
具体地，上述S4012步骤包括：获取对应的基础图像分割网络输出的第一分割结果，所述第一分割结果的数学表达为：
其中，Sigmoid表示激活函数，/>
表示第一分割结果中第一样本图像为正类的概率。然后，根据第一分割结果和预设的第一损失函数，获取对应的基础图像分割网络的损失，根据获取的损失，进行相应网络参数迭代更新，即/>
指/>
达到最小值时网络参数的取值，θi′m指更新后的对应的基础图像分割网络的网络参数。再重复上述步骤，直到参数收敛或达到最大迭代次数。最后，获取所述预训练网络、以及所述预训练网络的网络参数。
在一些实施例中，所述第一损失函数的数学表达为：
其中，
表示第一分割结果与第一样本图像的真实分割结果之间的差距，/>
表示第一样本图像的真实分割结果中第一样本图像为正类的概率，0<i1≤N1，N1为第一样本图像的数量。
在一些实施例中，将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络的步骤包括：
S4031：将任一所述单类型路面破损数据集输入对应的初始化后的基础图像分割网络进行图像分割，获取单类型分割结果。具体地，所述单类型分割结果的数学表达为：
其中，/>
为单类型路面破损数据集中的第二样本图像，/>
表示第二分割结果中第二样本图像为正类的概率。
S4032：根据所述单类型分割结果和单类型路面破损数据集中的真实分割结果，对对应的初始化后的基础图像分割网络进行训练，获取教师网络。
S4033：重复S4031、S4032步骤，完成多个教师网络的获取。
在一些实施例中，根据所述单类型分割结果和单类型路面破损数据集中的真实分割结果，对对应的初始化后的基础图像分割网络进行训练，获取教师网络的步骤包括：
根据预设的第二损失函数、所述单类型分割结果、单类型路面破损数据集中的真实分割结果，对对应的初始化后的基础图像分割网络进行训练，获取所述教师网络。
所述第二损失函数的数学表达为：
其中，
表示第二分割结果与单类型路面破损数据集中第二样本图像的真实分割结果之间的差距，/>
表示第二样本图像的真实分割结果中第二样本图像为正类的概率，0<i2≤N2，N2为第二样本图像的数量。基于所述第二损失函数，对相应的基础图像分割网络的网络参数进行迭代更新，直到参数收敛或达到最大迭代次数，获取训练完成的教师网络。
请参考图5，在一些实施例中，基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络的步骤包括：
S501：对所述学生网络进行随机初始化。
S502：将样本扩充后的所述多类型路面破损数据集分别输入初始化后的学生网络、以及多个训练好的教师网络，获取学生网络的学生网络分割结果和多个教师网络的教师网络分割结果。
S503：基于所述学生网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取学生网络的损失。
S504：基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失。所述教师网络的加权损失指对多个教师网络的损失进行加权求和得到的损失值。
S505：基于所述学生网络的损失和所述教师网络的加权损失，获取总体损失。即对所述学生网络的损失和所述教师网络的加权损失进行求和，获取所述总体损失。
S506：根据所述总体损失，对所述学生网络的参数进行迭代更新，获取知识蒸馏后的学生网络，将知识蒸馏后的学生网络作为所述路面破损检测神经网络。
在一些实施例中，基于所述学生网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取学生网络的损失的步骤包括：
基于预设的第三损失函数、所述学生网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取学生网络的损失。
所述第三损失函数的数学表达为：
其中，
为第三分割结果与多类型路面破损数据集中第三样本图像的真实分割结果之间的差距，/>
为第三分割结果中第三样本图像为正类的概率，/>
为第三样本图像，/>
为第三样本图像的真实分割结果中第三样本图像为正类的概率，0<i3≤N3，N3为第三样本图像的数量。
在一些实施例中，基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失的数学表达为：
其中，LossT为教师网络的加权损失，
为第j个教师网络的损失权重，k为教师网络的数量，/>
为第j个教师网络的损失，
为多类型样本图像，/>
为第j个教师网络的教师网络分割结果中分割的多类型样本图像为正类的概率，/>
为多类型样本图像的真实分割结果中多类型样本图像为正类的概率，0<im≤Nm，Nm为多类型样本图像的数量。
在一些实施例中，
的取值可以利用预设的权重网络或权重单元进行获取。通过该权重网络，对多个教师网络的权值进行自适应学习，获取相应的权重。所述权重网络可以根据实际情况进行设置，此处不再赘述。
在一些实施例中，在本发明所有的网络训练过程中，包括预训练、教师网络训练、学生网络训练，均可采用Adam优化器等，迭代次数可以根据实际情况进行设置，如设置为1000，初始学习率设置可以根据实际情况进行设置，如10-4，衰减率也可根据实际情况进行设置，如0.9(每10次迭代)等。可采用early-stop技术提前结束训练。
实施例一：
当需要对多种不同类型的路面破损情况进行检测时，通过以下步骤进行：
首先，将预设的通用图像数据集，如ImageNet，输入一基础图像分割网络(U-Net网络)进行预训练，获取预训练网络、以及所述预训练网络的网络参数。
然后，将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，训练过程中，采用预训练网络的网络参数对相应的基础图像网络进行初始化，获取多个教师网络，如教师网络1……教师网络k等，所述单类型路面破损数据集与所述基础图像分割网络一一对应；每个教师网络均用于单一类型的检测任务的处理。
再基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的轻量化的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络。所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。
最后，利用训练完成的路面破损检测神经网络，处理路面破损检测任务。通过上述步骤，能够较好地实现多类型路面破损，如路面裂缝、坑槽、龟裂等的自动检测，且减少了路面破损检测神经网络的参数量，更易于路面破损检测神经网络模型的部署和应用，检测精确度较高，具有较高的鲁棒性和泛化性能，稳定性较强。
实施例二：
请参考图6，以针对路面裂缝检测的教师网络1和针对路面坑槽检测的教师网络2为例，教师网络的训练步骤包括：
首先，对一基础图像分割网络进行预训练。具体地，将预设的通用图像数据集输入一基础图像分割网络进行预训练，获取预训练网络、以及所述预训练网络的网络参数。根据所述网络参数，分别对多个所述基础图像分割网络进行初始化。
然后，将路面裂缝数据集中的样本图像输入初始化后的基础图像分割网络1，将路面坑槽数据集中的样本图像输入初始化后的基础图像分割网络2，分别获取基础图像分割网络1和基础图像分割网络2输出的教师网络分割结果。图6中，Ypred表示对应网络输出的分割结果，Ytrue表示对应的真实分割结果。
最后，根据获取的教师网络分割结果、样本图像的真实分割结果和预设的第二损失函数
分别对基础图像分割网络1和基础图像分割网络2进行迭代训练，将训练完成后的基础图像分割网络1作为教师网络1，将训练完成后的基础图像分割网络2作为教师网络2。该教师网络1和教师网络2能够用于后续对学生网络的训练。/>
实施例三：
请参考图7，学生网络的训练步骤包括：
首先，对预设的多类型路面破损数据集进行数据增强，即样本扩充，样本扩充的步骤包括：对多类型路面破损数据集进行旋转变换和仿射变换。
然后，将样本扩充后的所述多类型路面破损数据集分别输入初始化后的学生网络、以及多个训练好的教师网络(教师网络1……教师网络k)，获取学生网络的学生网络分割结果和多个教师网络的教师网络分割结果；图7中，Ypred表示对应网络输出的分割结果，Ytrue表示对应的真实分割结果。
之后，基于所述学生网络分割结果、多类型路面破损数据集中对应的真实分割结果和预设的第三损失函数，获取学生网络的损失；基于所述教师网络分割结果、多类型路面破损数据集中对应的真实分割结果和预设的教师网络损失函数，分别获取多个教师网络的损失；利用预设的加权网络，获取教师网络的加权损失；
再对学生网络的损失和教师网络的加权损失进行求和，获取总体损失；
最后，根据所述总体损失，对学生网络进行迭代训练，获取训练好的学生网络，作为路面破损检测神经网络。
本实施例还提供一种路面破损检测神经网络，请参考图3，包括：
知识蒸馏后的编码器和解码器，所述知识蒸馏后的编码器和解码器通过如上述任一项所述的路面破损检测神经网络训练方法获得；
所述编码器包括预设层数的编码子网络，所述预设层数少于5层，各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；
所述解码器包括与编码器对称的预设层数的解码子网络，各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。
请参考图8，本实施例还提供一种路面破损检测神经网络训练系统，包括：
教师网络获取模块801，用于将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；
知识蒸馏模块802，用于基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。所述教师网络获取模块801和所述知识蒸馏模块802连接。本系统通过将预设的多个单类型路面破损数据集分别输入与之一一对应的基础图像分割网络进行单独训练，获取多个教师网络。再基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的轻量化学生网络进行知识蒸馏，将知识蒸馏后的轻量化学生网络作为路面破损检测神经网络。能够较好地实现多类型路面破损，如路面裂缝、坑槽、龟裂等的自动检测，自动化程度较高，且较好地减少了路面破损检测神经网络的参数量，更易于路面破损检测神经网络模型的部署和应用，检测精确度较高，适用于多类型路面破损检测的应用场景，成本较低，可实施性较强。
在一些实施例中，所述教师网络获取模块801将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络的步骤包括：
将预设的通用图像数据集输入一基础图像分割网络进行预训练，获取预训练网络、以及所述预训练网络的网络参数；
根据所述网络参数，分别对多个所述基础图像分割网络进行初始化；
将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络。
在一些实施例中，将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络的步骤包括：
将任一所述单类型路面破损数据集输入对应的初始化后的基础图像分割网络进行图像分割，获取单类型分割结果；
根据所述单类型分割结果和单类型路面破损数据集中的真实分割结果，对对应的初始化后的基础图像分割网络进行训练，获取教师网络，完成多个所述教师网络的获取。
在一些实施例中，所述知识蒸馏模块802基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络的步骤包括：
对所述学生网络进行随机初始化；
将样本扩充后的所述多类型路面破损数据集分别输入初始化后的学生网络、以及多个训练好的教师网络，获取学生网络的学生网络分割结果和多个教师网络的教师网络分割结果；
基于所述学生网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取学生网络的损失；
基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失；
基于所述学生网络的损失和所述教师网络的加权损失，获取总体损失；
根据所述总体损失，对所述学生网络的参数进行迭代更新，获取知识蒸馏后的学生网络，将知识蒸馏后的学生网络作为所述路面破损检测神经网络。
在一些实施例中，基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失的数学表达为：
其中，LossT为教师网络的加权损失，
为第j个教师网络的损失权重，k为教师网络的数量，/>
为第j个教师网络的损失，/>
为第j个教师网络的教师网络分割结果中分割的多类型样本图像为正类的概率，/>
为多类型样本图像的真实分割结果中多类型样本图像为正类的概率，0<im≤Nm，Nm为多类型样本图像的数量。
在一些实施例中，各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；
各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。
本实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述路面破损检测神经网络训练方法。
本实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述路面破损检测神经网络训练方法。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行路面破损检测神经网络训练方法，该方法包括：将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的路面破损检测神经网络训练方法，该方法包括：将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的路面破损检测神经网络训练方法，该方法包括：将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体地限定。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种路面破损检测神经网络训练方法，其特征在于，包括：
将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；
基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
2.根据权利要求1所述的路面破损检测神经网络训练方法，其特征在于，将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络的步骤包括：
将预设的通用图像数据集输入一基础图像分割网络进行预训练，获取预训练网络、以及所述预训练网络的网络参数；
根据所述网络参数，分别对多个所述基础图像分割网络进行初始化；
将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络。
3.根据权利要求2所述的路面破损检测神经网络训练方法，其特征在于，将多个单类型路面破损数据集分别输入对应的初始化后的基础图像分割网络进行单独训练，获取多个所述教师网络的步骤包括：
将任一所述单类型路面破损数据集输入对应的初始化后的基础图像分割网络进行图像分割，获取单类型分割结果；
根据所述单类型分割结果和单类型路面破损数据集中的真实分割结果，对对应的初始化后的基础图像分割网络进行训练，获取教师网络，完成多个所述教师网络的获取。
4.根据权利要求1所述的路面破损检测神经网络训练方法，其特征在于，基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络的步骤包括：
对所述学生网络进行随机初始化；
将样本扩充后的所述多类型路面破损数据集分别输入初始化后的学生网络、以及多个训练好的教师网络，获取学生网络的学生网络分割结果和多个教师网络的教师网络分割结果；
基于所述学生网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取学生网络的损失；
基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失；
基于所述学生网络的损失和所述教师网络的加权损失，获取总体损失；
根据所述总体损失，对所述学生网络的参数进行迭代更新，获取知识蒸馏后的学生网络，将知识蒸馏后的学生网络作为所述路面破损检测神经网络。
5.根据权利要求4所述的路面破损检测神经网络训练方法，其特征在于，基于所述教师网络分割结果和多类型路面破损数据集中对应的真实分割结果，获取教师网络的加权损失的数学表达为：
其中，LossT为教师网络的加权损失，
为第j个教师网络的损失权重，k为教师网络的数量，/>
为第j个教师网络的损失，/>
为第j个教师网络的教师网络分割结果中分割的多类型样本图像为正类的概率，/>
为多类型样本图像的真实分割结果中多类型样本图像为正类的概率，0<im≤Nm，Nm为多类型样本图像的数量。
6.根据权利要求1所述的路面破损检测神经网络训练方法，其特征在于，各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；
各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。
7.一种路面破损检测神经网络，其特征在于，包括：
知识蒸馏后的编码器和解码器，所述知识蒸馏后的编码器和解码器通过如权利要求1至6中任一项所述的路面破损检测神经网络训练方法获得；
所述编码器包括预设层数的编码子网络，所述预设层数少于5层，各层所述编码子网络逐层连接，每层所述编码子网络均包括依次连接的两个卷积层、一个随机失活层和一个最大池化层，所述编码器的初始特征通道数小于64；
所述解码器包括与编码器对称的预设层数的解码子网络，各层所述解码子网络通过在上采样过程中，采用反卷积操作，每个反卷积操作结束后，将对应的编码子网络提取的浅层特征分别叠加至解码子网络前两次卷积操作得到的图像特征通道上，完成特征融合操作。
8.一种路面破损检测神经网络训练系统，其特征在于，包括：
教师网络获取模块，用于将预设的多个单类型路面破损数据集分别输入对应的基础图像分割网络进行单独训练，获取多个教师网络，所述单类型路面破损数据集与所述基础图像分割网络一一对应；
知识蒸馏模块，用于基于预设的多类型路面破损数据集，利用多个所述教师网络对预设的学生网络进行知识蒸馏，将知识蒸馏后的学生网络作为路面破损检测神经网络；所述学生网络包括编码器和解码器，所述编码器包括预设层数的编码子网络，所述解码器包括与所述编码子网络对称的预设层数的解码子网络，所述预设层数少于5层。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述路面破损检测神经网络训练方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述路面破损检测神经网络训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310124903.XA CN116416212B (zh) | 2023-02-03 | 2023-02-03 | 路面破损检测神经网络训练方法及路面破损检测神经网络 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310124903.XA CN116416212B (zh) | 2023-02-03 | 2023-02-03 | 路面破损检测神经网络训练方法及路面破损检测神经网络 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116416212A true CN116416212A (zh) | 2023-07-11 |
| CN116416212B CN116416212B (zh) | 2023-12-08 |
Family
ID=87058818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310124903.XA Active CN116416212B (zh) | 2023-02-03 | 2023-02-03 | 路面破损检测神经网络训练方法及路面破损检测神经网络 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116416212B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| CN112614135A (zh) * | 2020-12-23 | 2021-04-06 | 国网安徽省电力有限公司检修分公司 | 一种嵌入式端的表计主刻度线分割方法 |
| CN112766087A (zh) * | 2021-01-04 | 2021-05-07 | 武汉大学 | 一种基于知识蒸馏的光学遥感图像舰船检测方法 |
| CN113065564A (zh) * | 2021-04-25 | 2021-07-02 | 合肥中科类脑智能技术有限公司 | 一种嵌入式端的表计主刻度线实时分割方法及系统 |
| JP6902652B1 (ja) * | 2020-04-17 | 2021-07-14 | エヌ・ティ・ティ・コムウェア株式会社 | 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム |
| CN113409299A (zh) * | 2021-07-12 | 2021-09-17 | 北京邮电大学 | 一种医学图像分割模型压缩方法 |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| US20220076136A1 (en) * | 2020-09-09 | 2022-03-10 | Peyman PASSBAN | Method and system for training a neural network model using knowledge distillation |
| WO2022051856A1 (en) * | 2020-09-09 | 2022-03-17 | Huawei Technologies Co., Ltd. | Method and system for training a neural network model using adversarial learning and knowledge distillation |
| CN114359130A (zh) * | 2021-11-09 | 2022-04-15 | 上海海洋大学 | 一种基于无人机影像的道路裂缝检测方法 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
| US20220351043A1 (en) * | 2021-04-30 | 2022-11-03 | Chongqing University | Adaptive high-precision compression method and system based on convolutional neural network model |
-
2023
- 2023-02-03 CN CN202310124903.XA patent/CN116416212B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019240964A1 (en) * | 2018-06-12 | 2019-12-19 | Siemens Aktiengesellschaft | Teacher and student based deep neural network training |
| JP6902652B1 (ja) * | 2020-04-17 | 2021-07-14 | エヌ・ティ・ティ・コムウェア株式会社 | 道路不具合検出装置、道路不具合検出方法及び道路不具合検出プログラム |
| US20220076136A1 (en) * | 2020-09-09 | 2022-03-10 | Peyman PASSBAN | Method and system for training a neural network model using knowledge distillation |
| WO2022051856A1 (en) * | 2020-09-09 | 2022-03-17 | Huawei Technologies Co., Ltd. | Method and system for training a neural network model using adversarial learning and knowledge distillation |
| CN112614135A (zh) * | 2020-12-23 | 2021-04-06 | 国网安徽省电力有限公司检修分公司 | 一种嵌入式端的表计主刻度线分割方法 |
| CN112766087A (zh) * | 2021-01-04 | 2021-05-07 | 武汉大学 | 一种基于知识蒸馏的光学遥感图像舰船检测方法 |
| CN113065564A (zh) * | 2021-04-25 | 2021-07-02 | 合肥中科类脑智能技术有限公司 | 一种嵌入式端的表计主刻度线实时分割方法及系统 |
| US20220351043A1 (en) * | 2021-04-30 | 2022-11-03 | Chongqing University | Adaptive high-precision compression method and system based on convolutional neural network model |
| CN113409299A (zh) * | 2021-07-12 | 2021-09-17 | 北京邮电大学 | 一种医学图像分割模型压缩方法 |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| CN114359130A (zh) * | 2021-11-09 | 2022-04-15 | 上海海洋大学 | 一种基于无人机影像的道路裂缝检测方法 |
| CN114943832A (zh) * | 2022-03-10 | 2022-08-26 | 北京航空航天大学 | 一种基于多路卷积特征融合网络与差温知识蒸馏的路面裂缝图像轻量化分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| YUANG LIU等: "Adaptive multi-teacher multi-level knowledge distillation", NEUROCOMPUTING, vol. 415, pages 106 - 113, XP086287403, DOI: 10.1016/j.neucom.2020.07.048 * |
| 孙朝云;马志丹;李伟;郝雪丽;申浩;: "基于深度卷积神经网络融合模型的路面裂缝识别方法", 长安大学学报(自然科学版), no. 04, pages 5 - 17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116416212B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113240580B (zh) | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 | |
| CN109754015B (zh) | 用于画作多标签识别的神经网络及相关方法、介质和设备 | |
| CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| CN110570433B (zh) | 基于生成对抗网络的图像语义分割模型构建方法和装置 | |
| CN111160533A (zh) | 一种基于跨分辨率知识蒸馏的神经网络加速方法 | |
| CN111222519B (zh) | 一种层次化彩绘文物线稿提取模型构建、方法及装置 | |
| CN112215119B (zh) | 一种基于超分辨率重建的小目标识别方法、装置及介质 | |
| CN112330684B (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
| CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
| CN109741340B (zh) | 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法 | |
| CN111680702A (zh) | 一种使用检测框实现弱监督图像显著性检测的方法 | |
| CN113361645A (zh) | 基于元学习及知识记忆的目标检测模型构建方法及系统 | |
| CN111694977A (zh) | 一种基于数据增强的车辆图像检索方法 | |
| CN112200887A (zh) | 一种基于梯度感知的多聚焦图像融合方法 | |
| CN116912568A (zh) | 基于自适应类别均衡的含噪声标签图像识别方法 | |
| CN113393385B (zh) | 基于多尺度融合的无监督去雨方法、系统、装置及介质 | |
| CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
| CN112084936A (zh) | 一种人脸图像预处理方法、装置、设备及存储介质 | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN116416212B (zh) | 路面破损检测神经网络训练方法及路面破损检测神经网络 | |
| CN116433909A (zh) | 基于相似度加权多教师网络模型的半监督图像语义分割方法 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN113487506B (zh) | 基于注意力去噪的对抗样本防御方法、装置和系统 | |
| CN115630361A (zh) | 一种基于注意力蒸馏的联邦学习后门防御方法 | |
| CN114862724A (zh) | 一种基于指数移动平均知识蒸馏的对比式图像去雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |