CN117058536B - 一种基于双分支网络的路面病害识别方法、装置及介质 - Google Patents
一种基于双分支网络的路面病害识别方法、装置及介质 Download PDFInfo
- Publication number
- CN117058536B CN117058536B CN202310889997.XA CN202310889997A CN117058536B CN 117058536 B CN117058536 B CN 117058536B CN 202310889997 A CN202310889997 A CN 202310889997A CN 117058536 B CN117058536 B CN 117058536B
- Authority
- CN
- China
- Prior art keywords
- image
- preprocessing
- disease
- network model
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 254
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 254
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000007781 pre-processing Methods 0.000 claims abstract description 335
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000005457 optimization Methods 0.000 claims abstract description 70
- 230000008014 freezing Effects 0.000 claims abstract description 27
- 238000007710 freezing Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 66
- 230000004927 fusion Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000008485 antagonism Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于双分支网络的路面病害识别方法、装置及介质，方法包括：通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得图像的最优预处理超参数；将图像的最优预处理超参数应用于图像，获得图像对应的优化图像，图像与图像对应的优化图像组成训练图像对；通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，初始双分支多任务深度网络模型包括图像自适应预处理网络模型和冻结病害识别模型；将待识别图像输入合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果。旨在提高已有模型对病害区域的识别准确率和精度。
Description
技术领域
本发明涉及路面病害识别技术领域，尤其涉及一种基于双分支网络的路面病害识别方法、装置及介质。
背景技术
为实现大规模路面图像精准、高效的科学分析，对基于图像的路面病害智能识别系统提出了迫切需求，因此目前基于深度神经网络模型的相关系统发展迅速，识别准确率高逐年提高。而在实际工程应用场景中，采集图像时存在大量干扰因素，如外界光照方向变化和遮挡等，引起图像中颜色分布不均匀，从而造成路面病害如裂缝和修补的识别准确率下降。
发明内容
有鉴于此，本发明提供一种基于双分支网络的路面病害识别方法。旨在提高已有模型对病害区域的识别准确率和精度。
在本发明实施例的第一方面，提供了一种基于双分支网络的路面病害识别方法，所述方法包括：
通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数；
将所述图像的最优预处理超参数应用于所述图像，获得所述图像对应的优化图像，所述图像与所述图像对应的优化图像组成训练图像对；
通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型至少包括图像自适应预处理网络模型和冻结病害识别模型；
将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果。
可选地，所述通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数，包括：
根据图像的预测病害结果和真实病害结果，构建图像的损失函数；
基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数。
可选地，所述基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数，包括：
根据预处理算法，对图像进行预处理；
将经过预处理的图像输入所述初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得所述经过预处理的图像的预测病害结果；
根据所述经过预处理的图像的预测病害结果和真实病害结果，通过所述损失函数，确定所述经过预处理的图像的损失函数取值；
根据所述经过预处理的图像的损失函数取值和预处理超参数，确定当前的迭代优化是否满足预设条件；
在确定当前的迭代优化满足预设条件的情况下，确定所述经过预处理的图像的预处理超参数为所述图像的最优预处理超参数；在确定当前的迭代优化不满足预设条件的情况下，根据预处理算法，再次对所述图像进行预处理，返回步骤：将经过预处理的图像输入所述初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得所述经过预处理的图像的预测病害结果。
可选地，所述根据预处理算法，对图像进行预处理，包括：
将多种预处理算法进行级联，获得目标预处理算法，所述多种预处理算法至少包括：图像对比度预处理算法、图像亮度预处理算法和局部自适应直方图均衡预处理算法；
通过所述目标预处理算法对图像进行预处理。
可选地，在基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数之前，所述方法还包括：
确定并初始化预处理超参数列表；
设定所述预处理超参数列表中各个超参数各自的取值范围和设定所述预设条件。
可选地，所述通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，包括：
通过训练图像对对初始双分支多任务深度网络模型中的图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型；
将所述合格的图像自适应预处理网络模型和冻结病害识别模型，确定为合格的双分支多任务深度网络模型。
可选地，所述将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果，包括：
将待识别图像分别输入所述合格的双分支多任务深度网络模型中的所述图像自适应预处理网络模型和所述冻结病害识别模型进行处理，获得所述图像自适应预处理网络模型输出的第一目标图像的特征图，以及获得经过所述冻结病害识别模型处理后的所述待识别图像的特征图；
将所述第一目标图像的特征图通过注意力机制模块与所述待识别图像的特征图进行融合，获得融合特征图；
通过所述合格的双分支多任务深度网络模型中的所述冻结病害识别模型对所述融合特征图进行病害识别，获得目标预测病害结果。
可选地，通过对图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型，包括：
确定所述冻结病害识别模型的损失函数，以及，确定所述图像自适应预处理网络模型的融合损失函数，所述融合损失函数包括生成对抗损失函数和L1损失函数；
根据所述损失函数和所述融合损失函数，构建总损失函数；
基于所述总损失函数和训练图像对，训练图像自适应预处理网络模型，获得合格的图像自适应预处理网络模型。
在本发明实施例的第二方面，提供了一种基于双分支网络的路面病害识别装置，所述装置包括：
最优预处理超参数确定单元，用于通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数；
清晰图像确定单元，用于将所述图像的最优预处理超参数应用于所述图像，获得所述图像对应的优化图像，所述图像与所述图像对应的优化图像组成训练图像对；
模型训练单元，用于通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型至少包括图像自适应预处理网络模型和冻结病害识别模型；
病害预测单元，用于将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果。
在本发明实施例的第三方面，提供了一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述第一方面提供的一种基于双分支网络的路面病害识别方法中的步骤。
针对在先技术，本发明具备如下优点：
本发明实施例提供的一种基于双分支网络的路面病害识别方法，首先通过贝叶斯优化器对图像的预处理超参数进行迭代优化，得到所述图像的最优预处理超参数；然后将得到的所述图像的最优预处理超参数应用于所述图像中，得到所述图像对应的优化图像，所述图像和所述图像对应的优化图像共同组成一个训练图像对；通过大量的训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型包括图像自适应预处理网络模型和已经通过大规模数据训练好的参数被冻结的冻结病害识别模型；最终将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果。由此可以在不改变病害识别模型、降低病害识别模型训练成本的前提下，通过对图像预处理方法进行优化，针对性地提高输入图像质量，然后将质量提高的图像融合到病害识别模型中，从而提高病害识别的识别准确率和精度。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种基于双分支网络的路面病害识别方法的流程图；
图2为本发明实施例提供的一种基于双分支网络的路面病害识别方法中贝叶斯优化器迭代优化的流程图；
图3为本发明实施例提供的一种基于双分支网络的路面病害识别方法中双分支多任务深度网络模型的结构图；
图4为本发明实施例提供的一种基于双分支网络的路面病害识别方法中注意力机制模块的结构图；
图5为本发明实施例提供的一种基于双分支网络的路面病害识别方法中待识别图像通过图像自适应预处理网络模型处理后得到对应清晰图像的示意图；
图6为本发明实施例提供的一种基于双分支网络的路面病害识别方法中待识别图像通过冻结病害识别模型进行病害识别获得预测病害结果的示意图；
图7为本发明实施例提供的一种基于双分支网络的路面病害识别方法中待识别图像通过合格的双分支多任务深度网络模型进行病害识别获得目标预测病害结果的示意图；
图8为本发明实施例提供的一种基于双分支网络的路面病害识别装置的示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。
在对本发明进行说明之前，先对本发明提出的背景进行说明。在训练深度网络模型时，一般采样随机亮度、对比度等操作对输入图像进行增强或预处理，增加训练的困难样本量，提高深度网络模型的鲁棒性。然而通过实验验证，使用上述图像增强方法对路面病害智能识别系统的性能并未改善，主要原因为：首先，模型的训练数据规模达到百万级，已经覆盖了多样性较强的训练样本，其中包含了大量困难样本，模型训练趋于饱和；其次，随机的图像增强，无法控制图像质量的变化模式，很大程度上会引起图像清晰度变差，造成模型难以收敛；第三，在线图像增强显著增加图像预处理时间，由于训练规模较大，预处理时间累积后造成训练周期过长。
有鉴于此，本发明提出一种基于双分支网络的路面病害识别方法，该方法在不对已经通过大规模数据训练好的现有病害识别模型做出任何改变前提下，对图像预处理方法进行优化，针对性地提高输入图像质量，并将该质量提高的图像融合到上述现有病害识别模型中，从而提高病害识别的识别准确率和精度。
图1为本发明实施例提供的一种基于双分支网络的路面病害识别方法的流程图，如图1所示，该方法包括：
步骤S101：通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数；
步骤S102：将所述图像的最优预处理超参数应用于所述图像，获得所述图像对应的优化图像，所述图像与所述图像对应的优化图像组成训练图像对；
步骤S103：通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型至少包括图像自适应预处理网络模型和冻结病害识别模型；
步骤S104：将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果。
在本发明的实施例中，首先采集大量的路面图像数据组成初始路面图像数据集，通过人工标注的方式标注出初始路面图像数据集中各个图像各自的真实病害区域，由此形成路面图像数据集。本发明采用的标注方式为网格式标注，也就是判断一幅图像中对应实际尺寸边长为0.1米的正方形图像子块中(不重叠划分)是否存在病害，每一子块对应标注的取值为0或1，0表示对应的子图像块不存在病害，1表示对应的子图像块包含病害(图2中方格所示)。应当理解的是，上述网格式标注只是本发明对图像数据进行人工标注的一种优选实施方式，本发明对图像数据进行人工标注的标注方式同样采用现有的或以后的其他标注方式进行标注，在此不做具体限定。
在得到经过人工标注真实病害区域的路面图像数据集后，通过贝叶斯优化器对该路面图像数据集中的各个图像的预处理超参数分别进行迭代优化，以此获得各个图像各自对应的最优预处理超参数。然后将各个图像各自对应的最优预处理超参数应用于对应的图像，获得各个图像各自对应的优化图像，图像和图像自身对应的优化图像构成训练图像对用于后续的初始双分支多任务深度网络模型的训练。
示例地，路面图像数据集，包括：图像A1、A2、A3、……、An；通过贝叶斯优化器每次对路面图像数据集中的一个图像的预处理超参数进行迭代优化，最终路面图像数据集中的每个图像都将获得各自对应的最优预处理超参数，包括：最优预处理超参数a1对应于图像A1、最优预处理超参数a2对应于图像A2、最优预处理超参数a3对应于图像A3、……、最优预处理超参数an对应于图像An；将得到的各个最优预处理超参数应用于各自对应的图像将获得各个图像各自对应的优化图像，包括：由最优预处理超参数a1对应于图像A1获得的对应优化图像A10、由最优预处理超参数a2对应于图像A2获得的对应优化图像A20、由最优预处理超参数a3对应于图像A3获得的对应优化图像A30、……、由最优预处理超参数an对应于图像An获得的对应优化图像An0；各个图像和各自对应的优化图像共同组成训练图像对用于后续的初始双分支多任务深度网络模型的训练，包括：训练图像对A1和A10、训练图像对A2和A20、训练图像对A3和A30、……、训练图像对An和An0。
通过获得的基于路面图像数据集构建的大量训练图像对对初始双分支多任务深度网络模型进行训练，直至训练合格获得合格的双分支多任务深度网络模型，该初始双分支多任务深度网络模型包括未经训练的图像自适应预处理网络模型和已经通过大规模数据训练好的参数被冻结的冻结病害识别模型。所述冻结病害识别模型表征的是已经通过大规模数据训练好的现有病害识别模型，该现有病害识别模型的参数将被冻结，在针对初始双分支多任务深度网络模型进行训练时，该现有病害识别模型的参数将不会被训练，也就是针对初始双分支多任务深度网络模型进行模型训练时将不会训练该现有病害识别模型。
在获得训练合格的双分支多任务深度网络模型后，将待识别图像输入该合格的双分支多任务深度网络模型进行病害识别，将获得目标预测病害结果，也就是预测到待识别图像中存在病害的区域。
本发明实施例提供的一种基于双分支网络的路面病害识别方法，首先通过贝叶斯优化器对图像的预处理超参数进行迭代优化，得到所述图像的最优预处理超参数；然后将得到的所述图像的最优预处理超参数应用于所述图像中，得到所述图像对应的优化图像，所述图像和所述图像对应的优化图像共同组成一个训练图像对；通过大量的训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型包括图像自适应预处理网络模型和已经通过大规模数据训练好的参数被冻结的冻结病害识别模型；最终将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果。由此可以在不改变病害识别模型、降低病害识别模型训练成本的前提下，通过对图像预处理方法进行优化，针对性地提高输入图像质量，然后将质量提高的图像融合到病害识别模型中，从而提高病害识别的识别准确率和精度。
在本发明中，所述通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数，包括：根据图像的预测病害结果和真实病害结果，构建图像的损失函数；基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数。
在本发明的实施例中，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数的一种实施方式为：根据图像的预测病害结果和真实病害结果，构建图像的损失函数，所述损失函数如下：
其中，X表示通过初始双分支多任务深度网络模型中的冻结病害识别模型对图像进行病害识别获得的预测病害结果；Y表示通过对该图像进行人工标注获得的真实病害结果；σ表示避免除0错误而加入的平滑因子，取较小正实数的10-3至10-4。
将图像的损失函数作为贝叶斯优化器迭代优化的判断条件对图像的迭代优化进行判断，也就是首先通过初始双分支多任务深度网络模型中的冻结病害识别模型对图像进行病害识别获得对应的预测病害结果，由于在训练阶段所用到的图像均为上述路面图像数据集中的图像，因此该图像是已经具有人工标注的真实病害结果的图像。此时可通过定义的损失函数计算到该图像当前的损失函数取值，在该取值不满足设定条件的情况下，通过贝叶斯优化器对该图像的预处理超参数进行优化，然后将该经过优化的预处理超参数应用于该图像，获得该图像对应的经过一定程度优化的图像。
然后再将该经过一定程度优化的图像输入初始双分支多任务深度网络模型中的冻结病害识别模型进行病害识别获得对应的预测病害结果。此时可通过定义的损失函数计算到该经过一定程度优化的图像当前的损失函数取值，在该取值不满足设定条件的情况下，表明优化效果不佳，此时通过贝叶斯优化器继续对该图像的预处理超参数进行优化，然后将该经过优化的预处理超参数应用于该图像，获得该图像对应的另一个经过一定程度优化的图像。如此循环，直至通过贝叶斯优化器对该图像的预处理超参数进行优化后获得的预处理超参数，在应用于该图像后获得的另外的经过一定程度优化的图像所对应的损失函数取值满足设定条件为止，此时该预处理超参数即为该图像的最优预处理超参数。
在本发明的实施例中，所述设定条件可根据具体应用场景进行设定，例如该设定条件可以为在图像对应的损失函数取值小于3，或小于5等，也可以为图像在前一次的损失函数取值与当前的损失函数取值之间的差值小于0.3，或小于0.5等，在此不做具体限定。
在本发明中，所述基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数，包括：根据预处理算法，对图像进行预处理；将经过预处理的图像输入所述初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得所述经过预处理的图像的预测病害结果；根据所述经过预处理的图像的预测病害结果和真实病害结果，通过所述损失函数，确定所述经过预处理的图像的损失函数取值；根据所述经过预处理的图像的损失函数取值和预处理超参数，确定当前的迭代优化是否满足预设条件；在确定当前的迭代优化满足预设条件的情况下，确定所述经过预处理的图像的预处理超参数为所述图像的最优预处理超参数；在确定当前的迭代优化不满足预设条件的情况下，根据预处理算法，再次对所述图像进行预处理，返回步骤：将经过预处理的图像输入所述初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得所述经过预处理的图像的预测病害结果。
在本发明的实施例中，由于路面图像数据集中的每个图像在通过贝叶斯优化器进行迭代优化的过程相同，在此以一个图像通过贝叶斯优化器进行迭代优化为例来说明本发明中所述基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数的实施方式。
具体地，首先通过预处理算法对图像进行预处理，获得经过首次预处理的图像。将该首次经过预处理的图像输入初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得该首次经过预处理的图像的预测病害结果。由于预处理只是针对图像的预处理超参数进行预处理，因此该首次经过预处理的图像的真实病害结果和该首次经过预处理的图像对应的最初未进行预处理的图像的真实病害结果是相同的，同时后续针对图像无论经过多少次预处理，得到的经过预处理的图像和该经过预处理的图像对应的最初未进行预处理的图像的真实病害结果也是相同的，后续不再说明。
根据获得的该首次经过预处理的图像的预测病害结果和真实病害结果，通过定义的损失函数计算该首次经过预处理的图像的损失函数取值。根据该首次经过预处理的图像的损失函数取值和预处理超参数，确定该首次经过预处理的图像的损失函数取值和预处理超参数是否满足各自的预设条件。在该首次经过预处理的图像的损失函数取值和预处理超参数两者中的至少一者满足自身的预设条件时，则确定当前的迭代优化满足预设条件，此时，将该首次经过预处理的图像的预处理超参数确定为该图像的最优预处理超参数，结束迭代优化。
而在确定该首次经过预处理的图像的损失函数取值和预处理超参数均不满足各自的预设条件的情况下，表明该首次经过预处理的图像中的预处理超参数并不是该图像的最优预处理超参数，此时，通过预处理算法，再次对该图像进行第二次预处理，获得经过二次预处理的图像。将该经过二次预处理的图像输入初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得该经过二次预处理的图像的预测病害结果。
根据获得的该经过二次预处理的图像的预测病害结果和真实病害结果，通过定义的损失函数计算该经过二次预处理的图像的损失函数取值。根据该经过二次预处理的图像的损失函数取值和预处理超参数，确定该经过二次预处理的图像的损失函数取值和预处理超参数是否满足各自的预设条件。在该经过二次预处理的图像的损失函数取值和预处理超参数两者中的至少一者满足自身的预设条件时，则确定当前的迭代优化满足预设条件，此时，将该经过二次预处理的图像的预处理超参数确定为该图像的最优预处理超参数，结束迭代优化。应当理解是，每次对图像进行预处理，所得到的图像的预处理超参数不同。其中，在对图像进行预处理后，即可获得一个与该预处理对应的预处理超参数。
在本发明中，在基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数之前，所述方法还包括：确定并初始化预处理超参数列表；设定所述预处理超参数列表中各个超参数各自的取值范围和设定所述预设条件。
在本发明的实施例中，本发明在执行步骤：基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数之前，还需要定义需要进行预处理的预处理超参数列表，并对该预处理超参数列表进行初始化。然后再设定好该预处理超参数列表中各个预处理超参数各自的取值范围，以防止过度迭代优化，同时设定好预设条件，以在获得所需的图像的最优预处理超参数的情况下，结束迭代优化。
具体地，本发明定义的预处理超参数列表为θ＝(a，b，c，m，l)。其中，a为图像对比度预处理算法中的图像对比度调整系数，用于变换输入图像的像素；b为图像亮度预处理算法中的增益(gain)，用来控制图像的对比度；c为图像亮度预处理算法中的图像亮度调整系数，用于控制图像的亮度；m为图像切割块数的算术平方根，在自适应直方图均衡化算法中，针对每个图像块计算一个直方图的分布函数，用于对每个图像块进行对比度限幅；l为对比度限制参数，表示对比度增强的最大程度，在具体应用中将对比度幅值高于l的所有对比度幅值设置为l，并将对比度幅值高于l的部分平均分配到整个对比度直方图的下方，从而得到最终的对比度直方图。然后对定义的预处理超参数列表中的各个超参数进行初始化为θ0＝(a0，b0，c0，m0，l0)。其中，对定义的预处理超参数列表中的各个超参数进行初始化的一种优选实施方式为将预处理超参数列表中的各个超参数初始化为各自取值范围的下限，应当理解的是这只是初始化的一种优选实施方式，同样可以以其他实施方式对定义的预处理超参数列表中的各个超参数进行初始化，在此不做具体限定。然后本发明设定的预处理超参数列表中各个预处理超参数各自的取值范围为Θ＝{a＝[1，3]，b＝[0，3)，c＝[0，100]，m＝[8,16]，l＝[1，5]}。设定的预设条件包括两个为：和其中iter为当前迭代步数，iter-1为当前迭代步数的前一个迭代步数，∈为判断阈值。
应当理解的是，迭代优化的过程中，当前正在迭代的轮次即为当前迭代步数，随着迭代优化的进行，当前迭代步数随着迭代优化的进行而变化。如当前正在进行第2次迭代优化时，该正在进行的第2次迭代优化即为当前迭代步数，之前进行的第1次迭代优化则为当前迭代步数的前一个迭代步数；当前正在进行第3次迭代优化时，该正在进行的第3次迭代优化即为当前迭代步数，之前进行的第2次迭代优化则为当前迭代步数的前一个迭代步数。
在当前迭代步数经过预处理的图像的损失函数取值与当前迭代步数的前一迭代步数经过预处理的图像的损失函数取值之间满足关系的情况下，将当前迭代步数经过预处理的图像的预处理超参数列表中各个预处理超参数确定为各个预处理超参数各自对应的最优预处理超参数。在当前迭代步数经过预处理的图像的预处理超参数列表与当前迭代步数的前一迭代步数经过预处理的图像的预处理超参数列表之间满足关系/>的情况下，将当前迭代步数经过预处理的图像的预处理超参数列表中各个预处理超参数确定为各个预处理超参数各自对应的最优预处理超参数。在当前迭代步数经过预处理的图像的损失函数取值与当前迭代步数的前一迭代步数经过预处理的图像的损失函数取值之间满足关系/>以及，当前迭代步数经过预处理的图像的预处理超参数列表与当前迭代步数的前一迭代步数经过预处理的图像的预处理超参数列表之间满足关系/>的情况下，将当前迭代步数经过预处理的图像的预处理超参数列表中各个预处理超参数确定为各个预处理超参数各自对应的最优预处理超参数。
在本发明中，所述根据预处理算法，对图像进行预处理，包括：将多种预处理算法进行级联，获得目标预处理算法，所述多种预处理算法至少包括：图像对比度预处理算法、图像亮度预处理算法和局部自适应直方图均衡预处理算法；通过所述目标预处理算法对图像进行预处理。
在本发明的实施例中，为使得将基于预处理得到的最优预处理超参数应用于自身对应的图像得到更为清晰的图像，从而提升最终病害识别的准确性。本发明在对图像进行预处理时，综合多种预处理算法得到总的预处理算法对图像进行预处理。
具体地，本发明将多种预处理算法进行级联，得到目标预处理算法，进行级联的预处理算法包括图像对比度预处理算法、图像亮度预处理算法和局部自适应直方图均衡预处理算法。将经过级联得到的目标预处理算法用于对图像进行预处理。应当理解的是上述进行级联所用到的预处理算法类型只是一种优选实施方式，根据实际应用场景，同样可以将其他的预处理算法进行级联或将上述提到的预处理算法从级联中去除来构成目标预处理算法，在此不做具体限定。
在本发明的实施例中，图像对比度预处理算法的表达式为：
f1(I；a)＝a×log(1+I)
其中，I为将进行预处理的图像。
图像亮度预处理算法的表达式为：
f2(I；b，c)＝b×I+c
局部自适应直方图均衡预处理算法的表达式为：
其中，Smax为图像I中局部映射函数的最大斜率。
在本发明的实施例中，通过贝叶斯优化器对图像的预处理超参数进行迭代优化的过程如下：
首先是进行初始化处理，包括：定义预处理超参数列表θ＝(a，b，c，m，l)，然后对预处理超参数列表中的各个预处理超参数进行初始化a＝a0，b＝b0，c＝c0，m＝m0，l＝l0，设定各个预处理超参数各自的取值范围，设定终止条件中的循环次数#NUM和判断阈值ε。
在初始化完成后，进行迭代优化。根据目标预处理算法对图像I进行预处理，得到经过预处理的图像将经过预处理的图像/>输入初始双分支多任务深度网络模型中的冻结病害识别模型F*进行处理，得到预测病害结果/>基于图像/>的预测病害结果和真实病害结果，通过损失函数计算得到对应的损失函数取值；通过贝叶斯优化算法估计到经过预处理后的当前迭代步数的预处理超参数θiter＝(aiter，biter，citer，miter，liter)。在当前迭代步数的预处理超参数θiter与当前迭代步数的前一迭代步数的预处理超参数θiter-1满足条件/>或当前迭代步数的损失函数取值Liter与当前迭代步数的前一迭代步数的损失函数取值Liter-1满足条件/>的情况下，将当前迭代步数的预处理超参数θiter＝(aiter，biter，citer，miter，liter)确定为图像I的最优预处理超参数θ*＝(aiter，biter，citer，miter，liter)；在上述两个条件/>和/> 均不满足时，则返回继续通过目标预处理算法对图像I进行新一轮的预处理，如此循环，直至满足上述两个条件中的任意一者，或达到最大迭代优化次数#NUM为止。
在本发明的实施例中，图像I的最优预处理超参数θ*的表达式为：
其中，f为目标预处理算法的表达式，f＝f1*f2*f3，*表示级联；Θ为预处理超参数列表的取值范围，Θ＝{a∈[1，3]，b∈[0，3)，c∈[0，100]，m∈[8，16]，l∈[1，5]}。
在本发明的实施例中，如图2所示，图2示出了本发明中通过贝叶斯优化器对图像的预处理超参数进行迭代优化的流程图。路面图像数据集中的每个图像都需要进行迭代优化，得到各自对应的最优的预处理超参数，下面以一个图像为例进行说明迭代优化的流程。首先对路面图像数据集中的图像进行预处理，得到经过预处理的图像，然后将该经过预处理的图像通过初始双分支多任务深度网络模型中的冻结病害识别模型进行病害识别，得到对应的预测病害结果，通过损失函数和当前的预处理超参数确定该预测病害结果与图像的真实病害结果的相似度，确定该相似度是否满足贝叶斯优化器的最大化相似度的目标。如果不满足，此时调整预处理超参数，再次对该图像进行处理，得到一个新的经过预处理的图像，后续实施方式与上述第一次进行迭代优化的实施方式类似，在此不再赘述，直至当前一次的预处理的相似度满足贝叶斯优化器的最大化相似度的目标为止，此时将该当前一次的预处理对应的预处理超参数确定为最优预处理超参数，结束迭代优化。
在本发明中，所述通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，包括：通过训练图像对对初始双分支多任务深度网络模型中的图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型；将所述合格的图像自适应预处理网络模型和冻结病害识别模型，确定为合格的双分支多任务深度网络模型。
在本发明的实施例中，本发明的初始双分支多任务深度网络模型中的冻结病害识别模型是已经通过大规模数据训练好的现有病害识别模型，该现有病害识别模型的参数被冻结，将在基于训练图像对对初始双分支多任务深度网络模型进行训练的过程中，不会对其中的冻结病害识别模型进行训练而只针对性的对其中的图像自适应预处理网络模型进行训练。由此可以在降低病害识别模型的训练成本的前提下，提升病害识别的识别准确率和精度，这是因为通过对图像预处理方法进行优化，并基于预处理优化后的图像和原始图像组成的训练图像对对图像自适应预处理网络模型进行了训练，得到了一个合格的图像自适应预处理网络模型。在对待识别图像进行病害识别时，该合格的图像自适应预处理网络模型可以提高该待识别图像的输入质量，然后将融合到病害识别模型中，从而提高病害识别的识别准确率和精度。
具体地，通过大量的训练图像对对初始双分支多任务深度网络模型中的图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型。在初始双分支多任务深度网络模型中的图像自适应预处理网络模型训练合格的情况下，由训练合格的图像自适应预处理网络模型和冻结病害识别模型构成的双分支多任务深度网络模型就是训练合格的双分支多任务深度网络模型。
在本发明中，所述将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果，包括：将待识别图像分别输入所述合格的双分支多任务深度网络模型中的所述图像自适应预处理网络模型和所述冻结病害识别模型进行处理，获得所述图像自适应预处理网络模型输出的第一目标图像的特征图，以及获得经过所述冻结病害识别模型处理后的所述待识别图像的特征图；将所述第一目标图像的特征图通过注意力机制模块与所述待识别图像的特征图进行融合，获得融合特征图；通过所述合格的双分支多任务深度网络模型中的所述冻结病害识别模型对所述融合特征图进行病害识别，获得目标预测病害结果。
在本发明的实施例中，将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果的一种实施方式为：如图3所示，将同一个待识别图像分别输入训练合格的双分支多任务深度网络模型中的图像自适应预处理网络模型和冻结病害识别模型。图像自适应预处理网络模型将对输入其中的待识别图像进行处理，得到该待识别图像对应的清晰图像，并输出该清晰图像的特征图，也就是第一目标图像的特征图。冻结病害识别模型将对输入其中的待识别图像进行处理，得到该待识别图像对应的特征图。然后通过注意力机制模块将由图像自适应预处理网络模型输出的第一目标图像的特征图融合到通过冻结病害识别模型得到的该待识别图像对应的特征图中，得到融合特征图。通过合格的双分支多任务深度网络模型中的冻结病害识别模型对该融合特征图进行病害识别，获得最终的目标预测病害结果。由此可以在降低病害识别模型的训练成本的前提下，提升病害识别的识别准确率和精度。
在本发明中，通过对图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型，包括：确定所述冻结病害识别模型的损失函数，以及，确定所述图像自适应预处理网络模型的融合损失函数，所述融合损失函数包括生成对抗损失函数和L1损失函数；根据所述损失函数和所述融合损失函数，构建总损失函数；基于所述总损失函数和训练图像对，训练图像自适应预处理网络模型，获得合格的图像自适应预处理网络模型。
在本发明的实施例中，模型训练过程中所用到的评价模型优劣的损失函数是模型的核心，本发明定义图像自适应预处理网络模型的损失函数包括两段，一段为冻结病害识别模型的损失函数，一段为由生成对抗损失函数和L1损失函数构成的图像自适应预处理网络模型的融合损失函数。由该两段损失函数共同构成用于评价图像自适应预处理网络模型的训练结果的总损失函数。然后通过构建的大量的训练图像对样本对图像自适应预处理网络模型进行训练，并通过该总损失函数对训练结果进行评价，获得最终训练合格的图像自适应预处理网络模型。
在本发明的实施例中，图像自适应预处理网络模型本质为图像生成模型，本发明采用生成对抗损失函数(GAN Loss)与L1损失函数(L1 Loss)融合的方式驱动该图像自适应预处理网络模型的训练，表达式如下：
其中，N表示训练图像对数量，D表示判别器，使用一个小型卷积神经网络实现，如5层的AlexNet，主要用于判别生成图像的真假；为图像I通过图像自适应预处理网络模型预测的清晰图像；/>为通过上述贝叶斯迭代优化后得到的对应输入图像I的真实清晰图像，也就是基于图像I的最优预处理超参数θ*＝(aiter，biter，citer，miter，liter)得到的清晰图像。
总损失函数表达式如下：
其中，λ1、λ2、λ3为权重，用来平衡各损失函数尺度，在本发明中分别取值为0.4，0.2和0.4。
在本发明的实施例中，图像自适应预处理网络模型的网络架构优选为与冻结病害识别模型相同的网络结构，如U-Net模型。
在本发明的实施例中，如图4所示，图4示出了本发明中用于进行特征图融合的注意力机制模块的结构图。合格的双分支多任务深度网络模型中下分支的图像自适应预处理网络模型输出的特征图将通过全局池化层进行全局池化处理后，通过两个全连接层进行处理，得到的结果通过点乘与合格的双分支多任务深度网络模型中上分支的冻结病害识别模型中的特征图进行融合。
在本发明的实施例中，通过将本发明提供的一种基于双分支网络的路面病害识别方法与使用大规模数据训练好的病害识别模型和使用普通预处理方法增强训练样本后对病害识别模型进行训练得到的训练合格的病害识别模型的正样本相似度指标进行对比，本发明提供的一种基于双分支网络的路面病害识别方法得到的正样本相似度指标为0.722，使用大规模数据训练好的病害识别模型得到的正样本相似度指标为0.652，使用普通预处理方法增强训练样本后对病害识别模型进行训练得到的训练合格的病害识别模型得到的正样本相似度指标为0.657。由此可见应用本发明提供的一种基于双分支网络的路面病害识别方法得到的正样本相似度指标有了明显提升；通过本发明的双分支多任务深度网络模型中的图像自适应预处理网络模型学习针对病害图像自适应的图像特征，以改善输入图像中病害区域的清晰度，从而可以提高已有病害识别模型对病害区域的识别准确率，对于路面病害的判别更加精确。如图5至7所示，图5至图7依次示出了待识别图像通过图像自适应预处理网络模型进行处理后得到的图像；待识别图像通过已有的训练好的病害识别模型进行病害识别获得的预测病害结果，该预测病害结果并未识别到待识别图像中的病害区域；以及通过将本发明提供的训练合格的双分支多任务深度网络模型进行病害识别获得的目标预测病害结果。同时由于本发明中训练合格的双分支多任务深度网络模型并不是基于进行图像识别的识别模型本身进行训练以使得识别模型具有更好的识别效果(准确率等)，而是通过该训练合格的双分支多任务深度网络模型中的图像自适应预处理网络模型对输入图像的清晰度等相关质量进行提升，从而间接提升识别模型的识别效果(准确率等)，这样对于其他识别模型只需将训练合格的双分支多任务深度网络模型中的冻结病害识别模型替换为其他的识别模型，即可提高图像的识别效果(准确率等)，而无需再对该其他的识别模型做进一步的训练以提升图像识别的识别效果(准确率等)，由此可在提升各种识别模型的识别效果(准确率等)的同时可有效节省识别模型的训练成本。
本发明第二方面提供一种基于双分支网络的路面病害识别装置，如图8所示，所述装置800包括：
最优预处理超参数确定单元801，用于通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数；
清晰图像确定单元802，用于将所述图像的最优预处理超参数应用于所述图像，获得所述图像对应的优化图像，所述图像与所述图像对应的优化图像组成训练图像对；
模型训练单元803，用于通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型至少包括图像自适应预处理网络模型和冻结病害识别模型；
病害预测单元804，用于将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果。
可选地，所述最优预处理超参数确定单元801，包括：
损失函数构建单元，用于根据图像的预测病害结果和真实病害结果，构建图像的损失函数；
第一最优预处理超参数确定单元，用于基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数。
可选地，所述第一最优预处理超参数确定单元，包括：
预处理单元，用于根据预处理算法，对图像进行预处理；
预测病害结果确定单元，用于将经过预处理的图像输入所述初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得所述经过预处理的图像的预测病害结果；
损失函数取值确定单元，用于根据所述经过预处理的图像的预测病害结果和真实病害结果，通过所述损失函数，确定所述经过预处理的图像的损失函数取值；
预设条件判定单元，用于根据所述经过预处理的图像的损失函数取值和预处理超参数，确定当前的迭代优化是否满足预设条件；
第二最优预处理超参数单元，用于在确定当前的迭代优化满足预设条件的情况下，确定所述经过预处理的图像的预处理超参数为所述图像的最优预处理超参数；以及，用于在确定当前的迭代优化不满足预设条件的情况下，根据预处理算法，再次对所述图像进行预处理，调用所述预测病害结果确定单元。
可选地，所述预处理单元，包括：
目标预处理算法确定单元，用于将多种预处理算法进行级联，获得目标预处理算法，所述多种预处理算法至少包括：图像对比度预处理算法、图像亮度预处理算法和局部自适应直方图均衡预处理算法；
预处理子单元，用于通过所述目标预处理算法对图像进行预处理。
可选地，所述装置还包括：
超参数列表确定单元，用于确定并初始化预处理超参数列表；
超参数列表取值范围确定单元，用于设定所述预处理超参数列表中各个超参数各自的取值范围和设定所述预设条件。
，所述模型训练单元803，包括：
模型训练子单元，用于通过训练图像对对初始双分支多任务深度网络模型中的图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型；
模型确定单元，用于将所述合格的图像自适应预处理网络模型和冻结病害识别模型，确定为合格的双分支多任务深度网络模型。
可选地，所述病害预测单元804，包括：
图像处理单元，用于将待识别图像分别输入所述合格的双分支多任务深度网络模型中的所述图像自适应预处理网络模型和所述冻结病害识别模型进行处理，获得所述图像自适应预处理网络模型输出的第一目标图像的特征图，以及获得经过所述冻结病害识别模型处理后的所述待识别图像的特征图；
特征图融合单元，用于将所述第一目标图像的特征图通过注意力机制模块与所述待识别图像的特征图进行融合，获得融合特征图；
病害预测子单元，用于通过所述合格的双分支多任务深度网络模型中的所述冻结病害识别模型对所述融合特征图进行病害识别，获得目标预测病害结果。
可选地，所述模型训练子单元，包括：
损失函数确定单元，用于确定所述冻结病害识别模型的损失函数，以及，确定所述图像自适应预处理网络模型的融合损失函数，所述融合损失函数包括生成对抗损失函数和L1损失函数；
总损失函数构建单元，用于根据所述损失函数和所述融合损失函数，构建总损失函数；
第一模型训练子单元，用于基于所述总损失函数和训练图像对，训练图像自适应预处理网络模型，获得合格的图像自适应预处理网络模型。
本发明第三方面提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现本发明第一方面所述的一种基于双分支网络的路面病害识别方法中的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种基于双分支网络的路面病害识别方法，其特征在于，所述方法包括：
通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数；
将所述图像的最优预处理超参数应用于所述图像，获得所述图像对应的优化图像，所述图像与所述图像对应的优化图像组成训练图像对；
通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型至少包括图像自适应预处理网络模型和冻结病害识别模型，其中，所述冻结病害识别模型为训练好的，参数冻结的病害识别模型；
将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果；
其中，所述将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果，包括：将待识别图像分别输入所述合格的双分支多任务深度网络模型中的所述图像自适应预处理网络模型和所述冻结病害识别模型进行处理，获得所述图像自适应预处理网络模型输出的第一目标图像的特征图，以及获得经过所述冻结病害识别模型处理后的所述待识别图像的特征图；将所述第一目标图像的特征图通过注意力机制模块与所述待识别图像的特征图进行融合，获得融合特征图；通过所述合格的双分支多任务深度网络模型中的所述冻结病害识别模型对所述融合特征图进行病害识别，获得目标预测病害结果。
2.根据权利要求1所述的一种基于双分支网络的路面病害识别方法，其特征在于，所述通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数，包括：
根据图像的预测病害结果和真实病害结果，构建图像的损失函数；
基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数。
3.根据权利要求2所述的一种基于双分支网络的路面病害识别方法，其特征在于，所述基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数，包括：
根据预处理算法，对图像进行预处理；
将经过预处理的图像输入所述初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得所述经过预处理的图像的预测病害结果；
根据所述经过预处理的图像的预测病害结果和真实病害结果，通过所述损失函数，确定所述经过预处理的图像的损失函数取值；
根据所述经过预处理的图像的损失函数取值和预处理超参数，确定当前的迭代优化是否满足预设条件；
在确定当前的迭代优化满足预设条件的情况下，确定所述经过预处理的图像的预处理超参数为所述图像的最优预处理超参数；在确定当前的迭代优化不满足预设条件的情况下，根据预处理算法，再次对所述图像进行预处理，返回步骤：将经过预处理的图像输入所述初始双分支多任务深度网络模型中冻结病害识别模型进行病害识别，获得所述经过预处理的图像的预测病害结果。
4.根据权利要求3所述的一种基于双分支网络的路面病害识别方法，其特征在于，所述根据预处理算法，对图像进行预处理，包括：
将多种预处理算法进行级联，获得目标预处理算法，所述多种预处理算法至少包括：图像对比度预处理算法、图像亮度预处理算法和局部自适应直方图均衡预处理算法；
通过所述目标预处理算法对图像进行预处理。
5.根据权利要求3所述的一种基于双分支网络的路面病害识别方法，其特征在于，在基于图像的损失函数，通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数之前，所述方法还包括：
确定并初始化预处理超参数列表；
设定所述预处理超参数列表中各个超参数各自的取值范围和设定所述预设条件。
6.根据权利要求1所述的一种基于双分支网络的路面病害识别方法，其特征在于，所述通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，包括：
通过训练图像对对初始双分支多任务深度网络模型中的图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型；
将所述合格的图像自适应预处理网络模型和冻结病害识别模型，确定为合格的双分支多任务深度网络模型。
7.根据权利要求6所述的一种基于双分支网络的路面病害识别方法，其特征在于，通过对图像自适应预处理网络模型进行训练，获得合格的图像自适应预处理网络模型，包括：
确定所述冻结病害识别模型的损失函数，以及，确定所述图像自适应预处理网络模型的融合损失函数，所述融合损失函数包括生成对抗损失函数和L1损失函数；
根据所述损失函数和所述融合损失函数，构建总损失函数；
基于所述总损失函数和训练图像对，训练图像自适应预处理网络模型，获得合格的图像自适应预处理网络模型。
8.一种基于双分支网络的路面病害识别装置，其特征在于，所述装置包括：
最优预处理超参数确定单元，用于通过贝叶斯优化器对图像的预处理超参数进行迭代优化，获得所述图像的最优预处理超参数；
清晰图像确定单元，用于将所述图像的最优预处理超参数应用于所述图像，获得所述图像对应的优化图像，所述图像与所述图像对应的优化图像组成训练图像对；
模型训练单元，用于通过训练图像对对初始双分支多任务深度网络模型进行训练，获得合格的双分支多任务深度网络模型，所述初始双分支多任务深度网络模型至少包括图像自适应预处理网络模型和冻结病害识别模型，其中，所述冻结病害识别模型为训练好的，参数冻结的病害识别模型；
病害预测单元，用于将待识别图像输入所述合格的双分支多任务深度网络模型进行病害识别，获得目标预测病害结果；
其中，所述病害预测单元，包括：
图像处理单元，用于将待识别图像分别输入所述合格的双分支多任务深度网络模型中的所述图像自适应预处理网络模型和所述冻结病害识别模型进行处理，获得所述图像自适应预处理网络模型输出的第一目标图像的特征图，以及获得经过所述冻结病害识别模型处理后的所述待识别图像的特征图；
特征图融合单元，用于将所述第一目标图像的特征图通过注意力机制模块与所述待识别图像的特征图进行融合，获得融合特征图；
病害预测子单元，用于通过所述合格的双分支多任务深度网络模型中的所述冻结病害识别模型对所述融合特征图进行病害识别，获得目标预测病害结果。
9.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的一种基于双分支网络的路面病害识别方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889997.XA CN117058536B (zh) | 2023-07-19 | 2023-07-19 | 一种基于双分支网络的路面病害识别方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310889997.XA CN117058536B (zh) | 2023-07-19 | 2023-07-19 | 一种基于双分支网络的路面病害识别方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058536A CN117058536A (zh) | 2023-11-14 |
| CN117058536B true CN117058536B (zh) | 2024-04-30 |
Family
ID=88666924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310889997.XA Active CN117058536B (zh) | 2023-07-19 | 2023-07-19 | 一种基于双分支网络的路面病害识别方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058536B (zh) |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101915764A (zh) * | 2010-08-10 | 2010-12-15 | 武汉武大卓越科技有限责任公司 | 基于动态规划的路面裂缝检测方法 |
| CN106153725A (zh) * | 2016-08-17 | 2016-11-23 | 西安长大公路养护技术有限公司 | 一种路面脱空检测设备及其检测方法 |
| CN110598842A (zh) * | 2019-07-17 | 2019-12-20 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
| CN111666873A (zh) * | 2020-06-05 | 2020-09-15 | 汪金玲 | 一种基于多任务深度学习网络的训练方法、识别方法及系统 |
| CN111753954A (zh) * | 2020-06-05 | 2020-10-09 | 深圳大学 | 一种稀疏化损失函数的超参数优化方法 |
| CN111860147A (zh) * | 2020-06-11 | 2020-10-30 | 北京市威富安防科技有限公司 | 行人重识别模型优化处理方法、装置和计算机设备 |
| CN112215753A (zh) * | 2020-10-23 | 2021-01-12 | 成都理工大学 | 基于双分支边缘保真网络的图像去马赛克增强方法 |
| CN112561903A (zh) * | 2020-12-24 | 2021-03-26 | 中铁建设集团基础设施建设有限公司 | 一种适用于寒冷地区沥青路面抗温缩裂缝的方法 |
| CN112766282A (zh) * | 2021-01-18 | 2021-05-07 | 上海明略人工智能(集团)有限公司 | 图像识别方法、装置、设备及计算机可读介质 |
| CN112861682A (zh) * | 2021-01-29 | 2021-05-28 | 西藏宁算科技集团有限公司 | 基于朴素贝叶斯云计算路面图像采集分类方法及其装置 |
| CN113096126A (zh) * | 2021-06-03 | 2021-07-09 | 四川九通智路科技有限公司 | 基于图像识别深度学习的道路病害检测系统及方法 |
| CN113505702A (zh) * | 2021-07-12 | 2021-10-15 | 北京洞微科技发展有限公司 | 基于双神经网络优化的路面病害识别方法及系统 |
| CN113591606A (zh) * | 2021-07-08 | 2021-11-02 | 武汉理工大学 | 沥青路面隐藏病害识别方法、装置、电子设备及存储介质 |
| CN114022368A (zh) * | 2021-10-08 | 2022-02-08 | 郑州大学 | 基于生成对抗网络的路面病害数据增强方法 |
| CN114170511A (zh) * | 2021-12-07 | 2022-03-11 | 南京中设航空科技发展有限公司 | 基于Cascade RCNN的路面裂缝病害识别方法 |
| CN114266965A (zh) * | 2021-12-10 | 2022-04-01 | 大连理工大学人工智能大连研究院 | 一种基于多任务学习的枳壳病虫害识别方法 |
| CN114896767A (zh) * | 2022-04-21 | 2022-08-12 | 中冶（贵州）建设投资发展有限公司 | 一种基于精细化轴载作用的沥青路面车辙深度预测方法 |
| CN115294377A (zh) * | 2022-07-31 | 2022-11-04 | 北京物资学院 | 一种道路裂缝的识别系统及方法 |
| CN115512238A (zh) * | 2022-10-14 | 2022-12-23 | 浙江大华技术股份有限公司 | 病害区域的确定方法、装置、存储介质及电子装置 |
| CN115511159A (zh) * | 2022-09-05 | 2022-12-23 | 同济大学 | 一种基于贝叶斯神经网络的快速路事件检测方法和装置 |
| CN115587297A (zh) * | 2021-07-06 | 2023-01-10 | 京东科技控股股份有限公司 | 构建图像识别模型和图像识别的方法、装置、设备及介质 |
| CN115995056A (zh) * | 2023-03-22 | 2023-04-21 | 南京航空航天大学 | 一种基于深度学习的桥梁病害自动识别方法 |
| CN116448773A (zh) * | 2023-06-19 | 2023-07-18 | 河北工业大学 | 一种图像-振动特征融合的路面病害检测方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7034695B2 (en) * | 2000-12-26 | 2006-04-25 | Robert Ernest Troxler | Large area position/proximity correction device with alarms using (D)GPS technology |
| CZ2014489A3 (cs) * | 2014-07-15 | 2015-10-14 | R.O.G. S.R.O. | Způsob měření, zpracování a využívání dat digitálního modelu terénu pro objektivní hodnocení geometrických parametrů měřených objektů a měřící zařízení pro provádění uvedeného způsobu |
-
2023
- 2023-07-19 CN CN202310889997.XA patent/CN117058536B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101915764A (zh) * | 2010-08-10 | 2010-12-15 | 武汉武大卓越科技有限责任公司 | 基于动态规划的路面裂缝检测方法 |
| CN106153725A (zh) * | 2016-08-17 | 2016-11-23 | 西安长大公路养护技术有限公司 | 一种路面脱空检测设备及其检测方法 |
| CN110598842A (zh) * | 2019-07-17 | 2019-12-20 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
| CN111666873A (zh) * | 2020-06-05 | 2020-09-15 | 汪金玲 | 一种基于多任务深度学习网络的训练方法、识别方法及系统 |
| CN111753954A (zh) * | 2020-06-05 | 2020-10-09 | 深圳大学 | 一种稀疏化损失函数的超参数优化方法 |
| CN111860147A (zh) * | 2020-06-11 | 2020-10-30 | 北京市威富安防科技有限公司 | 行人重识别模型优化处理方法、装置和计算机设备 |
| CN112215753A (zh) * | 2020-10-23 | 2021-01-12 | 成都理工大学 | 基于双分支边缘保真网络的图像去马赛克增强方法 |
| CN112561903A (zh) * | 2020-12-24 | 2021-03-26 | 中铁建设集团基础设施建设有限公司 | 一种适用于寒冷地区沥青路面抗温缩裂缝的方法 |
| CN112766282A (zh) * | 2021-01-18 | 2021-05-07 | 上海明略人工智能(集团)有限公司 | 图像识别方法、装置、设备及计算机可读介质 |
| CN112861682A (zh) * | 2021-01-29 | 2021-05-28 | 西藏宁算科技集团有限公司 | 基于朴素贝叶斯云计算路面图像采集分类方法及其装置 |
| CN113096126A (zh) * | 2021-06-03 | 2021-07-09 | 四川九通智路科技有限公司 | 基于图像识别深度学习的道路病害检测系统及方法 |
| CN115587297A (zh) * | 2021-07-06 | 2023-01-10 | 京东科技控股股份有限公司 | 构建图像识别模型和图像识别的方法、装置、设备及介质 |
| CN113591606A (zh) * | 2021-07-08 | 2021-11-02 | 武汉理工大学 | 沥青路面隐藏病害识别方法、装置、电子设备及存储介质 |
| CN113505702A (zh) * | 2021-07-12 | 2021-10-15 | 北京洞微科技发展有限公司 | 基于双神经网络优化的路面病害识别方法及系统 |
| CN114022368A (zh) * | 2021-10-08 | 2022-02-08 | 郑州大学 | 基于生成对抗网络的路面病害数据增强方法 |
| CN114170511A (zh) * | 2021-12-07 | 2022-03-11 | 南京中设航空科技发展有限公司 | 基于Cascade RCNN的路面裂缝病害识别方法 |
| CN114266965A (zh) * | 2021-12-10 | 2022-04-01 | 大连理工大学人工智能大连研究院 | 一种基于多任务学习的枳壳病虫害识别方法 |
| CN114896767A (zh) * | 2022-04-21 | 2022-08-12 | 中冶（贵州）建设投资发展有限公司 | 一种基于精细化轴载作用的沥青路面车辙深度预测方法 |
| CN115294377A (zh) * | 2022-07-31 | 2022-11-04 | 北京物资学院 | 一种道路裂缝的识别系统及方法 |
| CN115511159A (zh) * | 2022-09-05 | 2022-12-23 | 同济大学 | 一种基于贝叶斯神经网络的快速路事件检测方法和装置 |
| CN115512238A (zh) * | 2022-10-14 | 2022-12-23 | 浙江大华技术股份有限公司 | 病害区域的确定方法、装置、存储介质及电子装置 |
| CN115995056A (zh) * | 2023-03-22 | 2023-04-21 | 南京航空航天大学 | 一种基于深度学习的桥梁病害自动识别方法 |
| CN116448773A (zh) * | 2023-06-19 | 2023-07-18 | 河北工业大学 | 一种图像-振动特征融合的路面病害检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于迁移学习和微调的起重机类型识别策略;赵章焰等;《机械设计与制造》;20211115;第1-6页，第14页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058536A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569901B (zh) | 一种基于通道选择的对抗消除弱监督目标检测方法 | |
| CN109308696B (zh) | 基于层级特征融合网络的无参考图像质量评价方法 | |
| CN111797779A (zh) | 基于区域注意力多尺度特征融合的遥感图像语义分割方法 | |
| CN109523013B (zh) | 基于浅层卷积神经网络的空气颗粒物污染程度估计方法 | |
| CN112949828B (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
| US11283991B2 (en) | Method and system for tuning a camera image signal processor for computer vision tasks | |
| CN112446419A (zh) | 基于注意力机制的时空神经网络雷达回波外推预报方法 | |
| CN112016674A (zh) | 一种基于知识蒸馏的卷积神经网络的量化方法 | |
| CN111079847B (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
| CN111723780A (zh) | 基于高分辨率遥感图像的跨域数据的定向迁移方法及系统 | |
| CN110598848A (zh) | 一种基于通道剪枝的迁移学习加速方法 | |
| CN111695640A (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| CN114022368A (zh) | 基于生成对抗网络的路面病害数据增强方法 | |
| CN111239137B (zh) | 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法 | |
| CN112396042A (zh) | 实时更新的目标检测方法及系统、计算机可读存储介质 | |
| CN116343157A (zh) | 一种道路路面裂缝深度学习提取方法 | |
| CN111325259A (zh) | 一种基于深度学习和二进制编码的遥感图像分类方法 | |
| CN117058536B (zh) | 一种基于双分支网络的路面病害识别方法、装置及介质 | |
| CN113947538A (zh) | 一种多尺度高效卷积自注意力单幅图像除雨方法 | |
| CN109255794B (zh) | 一种标准件深度全卷积特征边缘检测方法 | |
| CN114821174B (zh) | 一种基于内容感知的输电线路航拍图像数据清洗方法 | |
| CN115240070A (zh) | 一种裂缝检测方法 | |
| CN113159082B (zh) | 一种增量式学习目标检测网络模型构建及权重更新方法 | |
| CN113870341A (zh) | 基于rgb和激光特征融合的高炉烧结矿粒径检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |