CN116843983A - 路面病害识别方法、模型训练方法、电子设备及介质 - Google Patents
路面病害识别方法、模型训练方法、电子设备及介质 Download PDFInfo
- Publication number
- CN116843983A CN116843983A CN202310928069.XA CN202310928069A CN116843983A CN 116843983 A CN116843983 A CN 116843983A CN 202310928069 A CN202310928069 A CN 202310928069A CN 116843983 A CN116843983 A CN 116843983A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- training
- initial
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 192
- 201000010099 disease Diseases 0.000 title claims abstract description 113
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000007781 pre-processing Methods 0.000 claims description 44
- 238000000605 extraction Methods 0.000 claims description 42
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000013526 transfer learning Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 11
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 230000010339 dilation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 5
- 241000220225 Malus Species 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 235000021016 apples Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000144730 Amygdalus persica Species 0.000 description 1
- 235000006040 Prunus persica var persica Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及路面养护的领域，尤其是涉及一种路面病害识别方法、模型训练方法、电子设备及介质，该识别方法包括获取路面图像，然后将路面图像输入病害识别模型，得到病害类型，其中病害识别模型是基于第二模型对第一模型进行迁移学习得到的，第一模型是基于训练样本集对初始网络模型训练得到的，训练样本集中包括多个初始图像，每个初始图像为对路面病害所拍摄的图像，且每个初始图像关联一个病害类型标签，第二模型是基于光影训练样本集对初始模型训练得到的，光影训练样本集包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。本申请能够提高对在光线较差的环境下采集的路面图像中路面病害识别的精准度。
Description
技术领域
本申请涉及路面养护的领域，尤其是涉及一种路面病害识别方法、模型训练方法、电子设备及介质。
背景技术
道路的路面病害一般包括龟裂、断裂、坑槽等，属于路面养护中的常见状态。道路病害的存在会给交通运输带来较大的安全隐患，因而对道路病害进行精确的检测以便进行及时的修复是至关重要的。
相关技术中，依靠检测车进行路面图像数据采集，并基于深度学习的路面病害检测模型对收集到的图像数据进行识别检测，检测完成之后系统自动生成路面病害识别报告，包含裂缝类型、破损程度及位置信息的描述。
相关技术中的检测方案，对在光线较好的白天采集的路面图像中路面病害类型的识别准确度尚可， 但是对于在光线较差的环境下采集的路面图像中路面病害类型的识别准确度较低，如在雨雾天气、傍晚时段采集的路面图像。
因此，如何提高对在光线较差的环境下采集的路面图像中路面病害识别的精准度，是一个亟需解决的问题。
发明内容
为了提高对在光线较差的环境下采集的路面图像中路面病害识别的精准度，本申请提供一种病害识别方法、模型训练方法、电子设备及介质。
第一方面，本申请提供一种路面病害识别方法，采用如下的技术方案：
一种路面病害识别方法，包括：
获取路面图像；
将所述路面图像输入病害识别模型，得到病害类型，所述病害识别模型是基于第二模型对第一模型进行迁移学习得到的，所述第一模型是基于训练样本集对初始网络模型训练得到的，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签，所述第二模型是基于光影训练样本集对初始模型训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
通过采用上述技术方案，由于病害识别模型是基于第二模型对第一模型进行迁移学习得到的，而第一模型是基于训练样本集对初始网络模型训练得到，第二模型是基于包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的图像的光影训练样本集得到的，因此，迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像的识别能力，而在获取路面图像之后，通过病害识别模型进行病害识别，得到的病害类型是较为准确的。
第二方面，本申请提供一种模型训练方法，采用如下的技术方案：
一种模型训练方法，包括：
获取训练样本集，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签；
基于所述训练样本集对初始网络模型进行训练，得到第一模型；
基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，所述第二模型是基于在光影训练样本集训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
通过采用上述技术方案，由于病害识别模型是基于第二模型对第一模型进行迁移学习得到的，而第一模型是基于训练样本集对初始网络模型训练得到，第二模型是基于包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的图像的光影训练样本集得到的，因此，迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像的识别能力。
在一种可能实现的方式中，所述基于所述训练样本集对初始网络模型进行训练，得到第一模型，包括：
将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，所述预处理包括多尺度特征提取、注意力计算处理以及膨胀卷积处理；
基于每个所述训练图像对初始网络模型进行训练，得到第一模型。
在一种可能实现的方式中，所述将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，包括：
将每个所述初始图像进行多尺度特征提取，得到每个所述初始图像对应的全局特征，所述全局特征包括所述初始图像在多个图像尺度下各自对应的底层特征，所述底层特征至少包括颜色特征、纹理特征、边缘特征以及形状特征；
对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征；
对每个所述初始图像在注意力计算后的全局特征进行膨胀卷积，得到每个所述初始图像对应的训练图像。
在一种可能实现的方式中，所述对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征，包括：
对每个所述初始图像在每个图像尺度下对应的底层特征分配对应的权重参数；
对每个所述初始图像的各个所述底层特征以及各个所述底层特征各自对应的权重参数进行加权平均，得到每个所述初始图像在注意力计算后的全局特征。
在一种可能实现的方式中，所述将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，包括：
基于GAN的生成器对所述训练样本集进行预处理，得到每个所述初始图像预处理后对应的训练图像。
在一种可能实现的方式中，所述基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，包括：
基于所述第一模型的第一特征提取层和所述第二模型的第二特征提取层进行融合，得到融合后的特征提取层，所述第一模型包括第一特征提取层，所述第二模型包括第二特征提取层；
基于所述融合后的特征提取层以及所述第一模型得到病害识别模型。
第三方面，本申请提供一种路面病害识别装置，采用如下的技术方案：
一种路面病害识别装置，包括：
路面图像获取模块，用于获取路面图像；
病害识别模块，用于将所述路面图像输入病害识别模型，得到病害类型。
第四方面，本申请提供一种模型训练装置，采用如下的技术方案：
一种模型训练装置，包括：
训练样本集获取模块，用于获取训练样本集，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签；
训练模块，用于基于所述训练样本集对初始网络模型进行训练，得到第一模型；
迁移学习模块，用于基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，所述第二模型是基于在光影训练样本集训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
在一种可能实现的方式中，训练模块在基于所述训练样本集对初始网络模型进行训练，得到第一模型时，具体用于：
将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，所述预处理包括多尺度特征提取、注意力计算处理以及膨胀卷积处理；
基于每个所述训练图像对初始网络模型进行训练，得到第一模型。
在一种可能实现的方式中，训练模块在将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像时，具体用于：
将每个所述初始图像进行多尺度特征提取，得到每个所述初始图像对应的全局特征，所述全局特征包括所述初始图像在多个图像尺度下各自对应的底层特征，所述底层特征至少包括颜色特征、纹理特征、边缘特征以及形状特征；
对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征；
对每个所述初始图像在注意力计算后的全局特征进行膨胀卷积，得到每个所述初始图像对应的训练图像。
在一种可能实现的方式中，训练模块在对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征时，具体用于：
对每个所述初始图像在每个图像尺度下对应的底层特征分配对应的权重参数；
对每个所述初始图像的各个所述底层特征以及各个所述底层特征各自对应的权重参数进行加权平均，得到每个所述初始图像在注意力计算后的全局特征。
在一种可能实现的方式中，训练模块在将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像时，具体用于：
基于GAN的生成器对所述训练样本集进行预处理，得到每个所述初始图像预处理后对应的训练图像。
在一种可能实现的方式中，迁移学习模块在基于第二模型对所述第一模型进行迁移学习，得到病害识别模型时，具体用于：
基于所述第一模型的第一特征提取层和所述第二模型的第二特征提取层进行融合，得到融合后的特征提取层，所述第一模型包括第一特征提取层，所述第二模型包括第二特征提取层；
基于所述融合后的特征提取层以及所述第一模型得到病害识别模型。
第五方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，该电子设备包括：
至少一个处理器；
存储器；
至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述第一方面所述的一种路面病害识别方法和上述第二方面所述的一种模型训练方法。
第六方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述第一方面所述的一种路面病害识别方法和上述第二方面所述的一种模型训练方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：
由于病害识别模型是基于第二模型对第一模型进行迁移学习得到的，而第一模型是基于训练样本集对初始网络模型训练得到，第二模型是基于包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的图像的光影训练样本集得到的，因此，迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像的识别能力，而在获取路面图像之后，通过病害识别模型进行病害识别，得到的病害类型是较为准确的。
附图说明
图1是本申请实施例中路面病害识别方法的流程示意图；
图2是本申请实施例中模型训练方法的流程示意图；
图3是本申请实施例中路面病害识别装置的结构示意图；
图4是本申请实施例中模型训练装置的结构示意图；
图5是本申请实施例电子设备的结构示意图
具体实施方式
以下结合附图1-附图5对本申请作进一步详细说明。
本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
本申请实施例提供了一种路面病害识别方法，由电子设备执行，参照图1,该方法包括步骤S11和步骤S12，其中：
步骤S11、获取路面图像；
步骤S12、将路面图像输入病害识别模型，得到病害类型。
对于本申请实施例，病害识别模型是基于第二模型对第一模型进行迁移学习得到的，第一模型是基于训练样本集对初始网络模型训练得到的，训练样本集中包括多个初始图像，每个初始图像为对路面病害所拍摄的图像，且每个初始图像关联一个病害类型标签，第二模型是基于光影训练样本集对初始模型训练得到的，光影训练样本集包括多个光影图像，光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
由于病害识别模型是基于第二模型对第一模型进行迁移学习得到的，而第一模型是基于训练样本集对初始网络模型训练得到，第二模型是基于包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的图像的光影训练样本集得到的，因此，迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像的识别能力，而在获取路面图像之后，通过病害识别模型进行病害识别，得到的病害类型是较为准确的。
下面从模型训练的角度阐述病害识别模型训练的方法。
本申请实施例提供了一种模型训练方法，用于训练得到上述路面病害识别方法实施例中所应用的病害识别模型，模型训练方法，由电子设备执行，参照图2,该方法包括步骤S21-步骤S23，其中：
步骤S21、获取训练样本集；
对于本申请实施例，训练样本集包括多个训练样本，训练样本集中包括多个初始图像，每个初始图像为对路面病害所拍摄的图像，且每个初始图像关联一个病害类型标签。每个初始图像及对应的病害类型标签作为一个训练样本，其中，部分训练样本为正训练样本，部分训练样本为负训练样本；正训练样本的病害类型标签为对应的初始图像中实际对应的病害类型，负训练样本的病害类型标签与对应的初始图像中实际对应的病害类型不同。
步骤S22、基于训练样本集对初始网络模型进行训练，得到第一模型。
步骤S23、基于第二模型对第一模型进行迁移学习，得到病害识别模型，第二模型是基于在光影训练样本集训练得到的，光影训练样本集包括多个光影图像，光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
对于本申请实施例，部分光影图像是在预设类型的天气环境下所拍摄的图像，部分光影图像是在环境中的光线亮度小于预设值的环境下所拍摄的路面图像，如在清晨以及在傍晚时间段针对路面所拍摄的图像。其中，预设的天气类型可以包括雨天、雾天、阴天以及其他特殊类型的天气，本申请实施例中不进行具体限定。亮度对应的预设值本申请实施例中不进行具体限定，其中傍晚时间段以及清晨时间段可基于实际地区对应的环境选择。
由于在特殊的预设类型的天气环境下，以及在光线亮度小于预设值的环境下，光线复杂和/或是强度不足，因此所拍摄的路面图像中的色彩以及轮廓甚至边缘和纹理都与在白天光照单一且充足的环境下拍摄的路面图像有所差别。因此，经过包括多个光影图像训练得到的第二模型相较于第一模型，能够对路面图像中的色彩特征、轮廓特征、边缘特征以及纹理特征有着更优的提取和分辨能力。因此，基于第二模型对第一模型进行迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像中色彩特征、轮廓特征、边缘特征以及纹理特征的提取和分辨能力。
进一步地，基于训练样本集对初始网络模型进行训练，得到第一模型，具体可以包括：将训练样本集进行特征增强预处理，得到每个初始图像预处理后对应的训练图像，然后基于每个训练图像对初始网络模型进行训练，得到第一模型。
具体地，预处理包括多尺度特征提取、注意力计算处理以及膨胀卷积处理，将训练样本集进行特征增强预处理，得到每个初始图像预处理后对应的训练图像，包括：将每个初始图像进行多尺度特征提取，得到每个初始图像对应的全局特征；然后对每个初始图像对应的全局特征进行注意力计算，得到每个初始图像在注意力计算后的全局特征；之后对每个初始图像在注意力计算后的全局特征进行膨胀卷积，得到每个初始图像对应的训练图像。
具体地，预设多个参照图像尺度，将每个初始图像转换按照各个参照图像尺度进行转换，得到每个初始图像对应的多个参照尺度下各自对应的参照图像，也即一个初始图像对应多个参照图像。将每个初始图像进行多尺度特征提取，即将每个初始图像对应的各个参照图像进行特征提取，得到各个参照图像各自对应的底层特征，其中底层特征至少包括颜色特征、纹理特征、边缘特征以及形状特征，当然也可以包括其他图像的底层特征，对此，本申请实施例中不进行具体限定。
初始图像在不同尺度下进行特征提取时，得到的特征精细程度是不一样的。例如，对一个水果拍摄的图像，要确定图像中是苹果还是桃子，在30*30的图像尺度下进行相关特征的提取就足够完成任务了。但是，要是确定图像中苹果的成熟程度或者确定苹果的具体种类，则需要在60*60的图像尺度上提取相关特征才能够作出准确的判断。路面上的病害类型，有些是面积较大，有些是面积较小的，因此，在图像尺度较小时，提取的相关特征能够对面积较大的病害类型作出较准确的判断，而对面积较小的病害类型的判断准确度较低，甚至可能会忽略掉。同理，在图像尺度较大时，提取的相关特征能够对面积较小的病害类型作出较准确的判断，而对面积较大的病害类型的判断准确度较低。因而，通过对初始图像进行多尺度特征提取，能够增大感受视野。
进一步地，对每个初始图像在每个图像尺度下对应的底层特征分配对应的权重参数，其中，各项特征对应的权重参数可以是基于图像尺度预设的。然后，对每个初始图像对应的全局特征进行注意力计算，得到每个初始图像在注意力计算后的全局特征，即对每个初始图像在每个图像尺度下对应的底层特征分配对应的权重参数，然后对每个初始图像的各个底层特征以及各个底层特征各自对应的权重参数进行加权平均，得到每个初始图像在注意力计算后的全局特征。
进一步地，对每个初始图像对应的全局特征进行膨胀卷积，进一步将初始图像融合，得到初始图像对应的特征增强后的图像，也就是用于对初始网络模型进行训练的训练图像。为每个训练图像关联训练图像对应的初始图像所对应的病害类型标签，然后基于每个训练图像以及每个训练图像对应的病害类型标签对初始网络模型进行训练，以得到第一模型。
进一步地，将训练样本集进行特征增强预处理，得到每个初始图像预处理后对应的训练图像，还可以采用生成式对抗网络GAN的生成器实现：如采用U-Net模型的生成器，生成器的下采样步骤即为对初始图像的多尺度特征提取，注意力计算步骤和膨胀卷积即为上采样步骤中的特征融合，得到特征增强图像的过程。
进一步地，通过包括多个光影图像的光影训练样本在对初始网络模型进行训练得到第二模型的过程中，也可以对光影训练集中每个光影图像进行特征增强预处理，然后基于预处理后的各个光影图像对初始网络模型进行训练，以得到第二模型。具体地，每个光影图像应包含一个对应的类型标签，其中，类型标签可以是路面病害类型标签，也可以是天气类型标签，或者是其他能够表征光影图像信息的标签，但是，所有光影图像的标签类型均应该是统一的，但是对于具体的标签类型，本申请实施例中不进行具体的限定。
当然，也可以直接基于各个光影图像以及各个光影图像各自对应的标签对初始网络模型进行训练以得到第二模型。
进一步地，在得到第一模型和第二模型之后，分别提取第一模型对应的用于对输入图像进行特征提取的第一特征提取层，以及第二模型对应的用于对输入图像进行特征提取的第二特征提取层。然后基于第一模型的第一特征提取层和第二模型的第二特征提取层进行融合，得到融合后的特征提取层。
具体地，是比较第一特征提取层和第二特征提取层的差异参数，然后将差异参数补充到第一模型中的第一特征提取中进行融合，得到病害识别模型。
上述实施例从方法流程的角度介绍一种路面病害识别方法和一种模型训练方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种路面病害识别装置和一种模型训练装置，具体详见下述实施例。
本申请实施例提供一种路面病害识别装置，如图3所示，该路面病害识别装置具体可以包括路面图像获取模块301和病害识别模块302，其中：
路面图像获取模块301，用于获取路面图像；
病害识别模块302，用于将路面图像输入病害识别模型，得到病害类型。
本申请实施例提供一种模型训练装置，如图4所示，该模型训练装置具体可以包括训练样本集获取模块401、训练模块402以及迁移学习模块403，其中：
训练样本集获取模块401，用于获取训练样本集，训练样本集中包括多个初始图像，每个初始图像为对路面病害所拍摄的图像，且每个初始图像关联一个病害类型标签；
训练模块402，用于基于训练样本集对初始网络模型进行训练，得到第一模型；
迁移学习模块403，用于基于第二模型对第一模型进行迁移学习，得到病害识别模型，第二模型是基于在光影训练样本集训练得到的，光影训练样本集包括多个光影图像，光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
在一种可能实现的方式中，训练模块402在基于训练样本集对初始网络模型进行训练，得到第一模型时，具体用于：
将训练样本集进行特征增强预处理，得到每个初始图像预处理后对应的训练图像，预处理包括多尺度特征提取、注意力计算处理以及膨胀卷积处理；
基于每个训练图像对初始网络模型进行训练，得到第一模型。
在一种可能实现的方式中，训练模块402在将训练样本集进行特征增强预处理，得到每个初始图像预处理后对应的训练图像时，具体用于：
将每个初始图像进行多尺度特征提取，得到每个初始图像对应的全局特征，全局特征包括初始图像在多个图像尺度下各自对应的底层特征，底层特征至少包括颜色特征、纹理特征、边缘特征以及形状特征；
对每个初始图像对应的全局特征进行注意力计算，得到每个初始图像在注意力计算后的全局特征；
对每个初始图像在注意力计算后的全局特征进行膨胀卷积，得到每个初始图像对应的训练图像。
在一种可能实现的方式中，训练模块402在对每个初始图像对应的全局特征进行注意力计算，得到每个初始图像在注意力计算后的全局特征时，具体用于：
对每个初始图像在每个图像尺度下对应的底层特征分配对应的权重参数；
对每个初始图像的各个底层特征以及各个底层特征各自对应的权重参数进行加权平均，得到每个初始图像在注意力计算后的全局特征。
在一种可能实现的方式中，训练模块402在将训练样本集进行特征增强预处理，得到每个初始图像预处理后对应的训练图像时，具体用于：
基于GAN的生成器对训练样本集进行预处理，得到每个初始图像预处理后对应的训练图像。
在一种可能实现的方式中，迁移学习模块403在基于第二模型对第一模型进行迁移学习，得到病害识别模型时，具体用于：
基于第一模型的第一特征提取层和第二模型的第二特征提取层进行融合，得到融合后的特征提取层，第一模型包括第一特征提取层，第二模型包括第二特征提取层；
基于融合后的特征提取层以及第一模型得到病害识别模型。
本申请实施例中提供了一种电子设备，如图5所示，图5所示的电子设备500包括：处理器501和存储器503。其中，处理器501和存储器503相连，如通过总线502相连。可选地，电子设备500还可以包括收发器504。需要说明的是，实际应用中收发器504不限于一个，该电子设备500的结构并不构成对本申请实施例的限定。
处理器501可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器501也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线502可包括一通路，在上述组件之间传送信息。总线502可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器503可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器503用于存储执行本申请方案的应用程序代码，并由处理器501来控制执行。处理器501用于执行存储器503中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述路面病害识别方法实施例和模型训练方法实施例中相应内容。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种路面病害识别方法，其特征在于，包括：
获取路面图像；
将所述路面图像输入病害识别模型，得到病害类型，所述病害识别模型是基于第二模型对第一模型进行迁移学习得到的，所述第一模型是基于训练样本集对初始网络模型训练得到的，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签，所述第二模型是基于光影训练样本集对初始模型训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
2.一种模型训练方法，其特征在于，包括：
获取训练样本集，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签；
基于所述训练样本集对初始网络模型进行训练，得到第一模型；
基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，所述第二模型是基于在光影训练样本集训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。
3.根据权利要求2所述的一种模型训练方法，其特征在于，所述基于所述训练样本集对初始网络模型进行训练，得到第一模型，包括：
将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，所述预处理包括多尺度特征提取、注意力计算处理以及膨胀卷积处理；
基于每个所述训练图像对初始网络模型进行训练，得到第一模型。
4.根据权利要求3所述的一种模型训练方法，其特征在于，所述将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，包括：
将每个所述初始图像进行多尺度特征提取，得到每个所述初始图像对应的全局特征，所述全局特征包括所述初始图像在多个图像尺度下各自对应的底层特征，所述底层特征至少包括颜色特征、纹理特征、边缘特征以及形状特征；
对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征；
对每个所述初始图像在注意力计算后的全局特征进行膨胀卷积，得到每个所述初始图像对应的训练图像。
5.根据权利要求4所述的一种模型训练方法，其特征在于，所述对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征，包括：
对每个所述初始图像在每个图像尺度下对应的底层特征分配对应的权重参数；
对每个所述初始图像的各个所述底层特征以及各个所述底层特征各自对应的权重参数进行加权平均，得到每个所述初始图像在注意力计算后的全局特征。
6.根据权利要求3所述的一种模型训练方法，其特征在于，所述将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，包括：
基于GAN的生成器对所述训练样本集进行预处理，得到每个所述初始图像预处理后对应的训练图像。
7.根据权利要求2-6任一项所述的一种模型训练方法，其特征在于，所述基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，包括：
基于所述第一模型的第一特征提取层和所述第二模型的第二特征提取层进行融合，得到融合后的特征提取层，所述第一模型包括第一特征提取层，所述第二模型包括第二特征提取层；
基于所述融合后的特征提取层以及所述第一模型得到病害识别模型。
8.一种路面病害识别装置，其特征在于，包括：
路面图像获取模块，用于获取路面图像；
病害识别模块，用于将所述路面图像输入病害识别模型，得到病害类型。
9.一种电子设备，其特征在于，该电子设备包括：
至少一个处理器；
存储器；
至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行权利要求1或2-7中任一项所述路面病害识别方法。
10.一种计算机可读存储介质，其特征在于，包括：存储有能够被处理器加载并执行如权利要求1或2-7中任一项所述路面病害识别方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310928069.XA CN116843983A (zh) | 2023-07-27 | 2023-07-27 | 路面病害识别方法、模型训练方法、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310928069.XA CN116843983A (zh) | 2023-07-27 | 2023-07-27 | 路面病害识别方法、模型训练方法、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116843983A true CN116843983A (zh) | 2023-10-03 |
Family
ID=88165189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310928069.XA Pending CN116843983A (zh) | 2023-07-27 | 2023-07-27 | 路面病害识别方法、模型训练方法、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843983A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541555A (zh) * | 2023-11-16 | 2024-02-09 | 广州市公路实业发展有限公司 | 一种道路路面病害检测方法及系统 |
-
2023
- 2023-07-27 CN CN202310928069.XA patent/CN116843983A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541555A (zh) * | 2023-11-16 | 2024-02-09 | 广州市公路实业发展有限公司 | 一种道路路面病害检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cao et al. | Survey on performance of deep learning models for detecting road damages using multiple dashcam image resources | |
| Siriborvornratanakul | An automatic road distress visual inspection system using an onboard in‐car camera | |
| CN107067003B (zh) | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 | |
| CN107944450B (zh) | 一种车牌识别方法及装置 | |
| WO2017215622A1 (zh) | 物体分割方法及装置、计算设备 | |
| CN111428875A (zh) | 图像识别方法、装置及相应模型训练方法、装置 | |
| CN111783844B (zh) | 基于深度学习的目标检测模型训练方法、设备及存储介质 | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN111695609A (zh) | 目标物损伤程度判定方法、装置、电子设备及存储介质 | |
| KC | Enhanced pothole detection system using YOLOX algorithm | |
| CN114519819B (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
| CN109271842A (zh) | 一种基于关键点回归的通用物体检测方法、系统、终端和存储介质 | |
| CN112149503A (zh) | 目标事件检测方法、装置和电子设备和可读介质 | |
| CN110176017A (zh) | 一种基于目标检测的边缘检测模型、方法和存储介质 | |
| CN116843983A (zh) | 路面病害识别方法、模型训练方法、电子设备及介质 | |
| CN111652208A (zh) | 用户界面组件的识别方法、装置、电子设备及存储介质 | |
| CN112052907A (zh) | 基于图像边缘信息的目标检测方法、装置及存储介质 | |
| CN114758249A (zh) | 基于野外夜间环境的目标物监测方法、装置、设备及介质 | |
| CN114462469A (zh) | 目标检测模型的训练方法、目标检测方法及相关装置 | |
| CN113255555A (zh) | 中国交通标志牌识别方法、系统、处理设备及存储介质 | |
| CN114429577A (zh) | 一种基于高置信标注策略的旗帜检测方法及系统及设备 | |
| Zhang et al. | A YOLOv3‐Based Industrial Instrument Classification and Reading Recognition Method | |
| Hu et al. | Hybrid Pixel‐Level Crack Segmentation for Ballastless Track Slab Using Digital Twin Model and Weakly Supervised Style Transfer | |
| CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN114783042A (zh) | 基于多移动目标的人脸识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |