CN110569899B - 坝面缺陷分类模型训练方法及装置 - Google Patents

Abstract

本实施例涉及坝面检测技术领域，提供一种坝面缺陷分类模型训练方法及装置，所述方法包括：获取坝面图像，并对坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像；对每张增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像；获取每张增强图像的缺陷分类标签；利用多张增强图像及每张增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型。与现有技术相比，本实施例提供的坝面缺陷分类模型训练方法及装置可以提高坝面缺陷分类模型的识别精度，进而提高坝面缺陷分类的准确率。

Description

坝面缺陷分类模型训练方法及装置

技术领域

本发明涉及坝面检测技术领域，具体而言，涉及一种坝面缺陷分类模型训练方法及装置。

背景技术

大坝等水利枢纽基础设施的正常运行是保障民生质量、发展经济的重要因素之一。因此，水利枢纽基础设施的定期检测和维护成为了保障水利工程可持续发展中必不可少的一环，也成为了目前工程师们面临的主要挑战。

现有的深度学习方法通常通过将待训练样本图片进行标记，然后使用标记好的训练样本图片训练深度分类模型。在训练样本集中的训练样本图片数量不充裕时，现有的模型训练方法进行训练，得到训练后的坝面缺陷分类模型的参数不够精准，导致训练后的坝面缺陷分类模型识别精度不高。

发明内容

本发明的目的在于提供一种坝面缺陷分类模型训练方法及装置，以改善现有技术中经过训练后的坝面缺陷分类模型识别精度不高的情况。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种坝面缺陷分类模型训练方法，所述方法包括：获取坝面图像，并对所述坝面图像进行增广处理，得到包含所述坝面图像所有内容的多张增广图像；对每张所述增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像；获取每张所述增强图像的缺陷分类标签；利用多张所述增强图像及每张所述增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型。

第二方面，本发明实施例提供一种坝面缺陷分类模型训练装置，所述装置包括：获取模块，用于获取坝面图像，并对所述坝面图像进行增广处理，得到包含所述坝面图像所有内容的多张增广图像；对每张所述增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像；获取每张所述增强图像的缺陷分类标签；处理模块，用于利用多张所述增强图像及每张所述增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型。

相对于现有技术，本发明实施例所提供的一种坝面缺陷分类模型训练方法及装置，通过将坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像，以扩充训练样本图片数量，再将每张增广图像进行图像增强处理，得到多张包含边缘特征信息的增强图像，再获取每一张增强图像的缺陷分类标签，多张增强图像和每一张增强图像的缺陷分类标签构成充裕的训练样本集，再利用充裕的训练样本集对预先建立的坝面缺陷模型进行训练，得到训练后的坝面缺陷分类模型。通过充裕的训练样本集训练出来的坝面缺陷分类模型的参数更加精准，识别精度更高，经过训练后的坝面缺陷分类模型得到的坝面分类结果准确度更高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出了本发明实施例提供提供的电子设备的方框示意图。

图2示出了本发明实施例提供的第一种坝面缺陷分类模型训练方法。

图3为图2示出了步骤S2的子步骤流程图。

图4为图2示出了步骤S4的子步骤流程图。

图5示出了本发明实施例提供的第二种坝面缺陷分类模型训练方法。

图6示出了本发明实施例提供的坝面缺陷分类模型训练装置的方框示意图。

图标：100-电子设备；101-处理器；102-存储器；103-总线；104-通信接口；200-坝面缺陷分类模型训练装置；201-获取模块；202-处理模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

大坝等水利枢纽基础设施的正常运行是保障民生质量、发展经济的重要因素之一。因此，水利枢纽基础设施的定期检测和维护成为了保障水利工程可持续发展中必不可少的一环，也成为了目前工程师们面临的主要挑战。

在训练样本集中的训练样本图片数量不充裕时，现有的模型训练方法进行训练，得到训练后的坝面缺陷分类模型的参数不够精准，导致经过训练后的坝面缺陷分类模型识别精度不高。

本发明所要解决的技术问题是，针对上述问题，提供一种坝面缺陷分类模型训练方法，其核心改进点在于，通过将坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像，以扩充训练样本图片数量，再将每张增广图像进行图像增强处理，得到多张包含边缘特征信息的增强图像，再获取每一张增强图像的缺陷分类标签，多张增强图像和每一张增强图像的缺陷分类标签构成充裕的训练样本集，再利用充裕的训练样本集对预先建立的坝面缺陷模型进行训练，得到训练后的坝面缺陷分类模型。通过充裕的训练样本集训练出来的坝面缺陷分类模型的参数更加精准，识别精度更高，经过训练后的坝面缺陷分类模型得到的坝面分类结果准确度更高。有效解决了现有技术中经过训练后的坝面缺陷分类模型识别精度不高的问题。

本发明实施例提供的坝面缺陷分类模型训练方法应用于电子设备100，请参阅图1，图1示出了本发明实施例提供的电子设备的方框示意图。电子设备100可以是，但不限于膝上型便携计算机、车载电脑、个人数字助理(personal digital assistant，PDA)、服务器等等。电子设备100包括处理器101、存储器102、总线103及通信接口104。处理器101、存储器102及通信接口104通过总线103连接，处理器101用于执行存储器102中存储的可执行模块，例如计算机程序。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，坝面缺陷分类模型训练方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器101，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field－ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器102可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

总线103可以是ISA(Industry Standard Architecture)总线、PCI(PeripheralComponent Interconnect)总线或EISA(Extended Industry Standard Architecture)总线等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线103或一种类型的总线103。

电子设备100通过至少一个通信接口104(可以是有线或者无线)实现与外部的其它设备之间的通信连接。存储器102用于存储程序，例如坝面缺陷分类模型训练装置200。坝面缺陷分类模型训练装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器102中或固化在电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器101在接收到执行指令后，执行所述程序以实现坝面缺陷分类模型训练方法。

应当理解的是，图1所示的结构仅为电子设备100的结构应用示意图，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

基于上述的电子设备100，下面给出一种坝面缺陷分类模型训练方法可能的实现方式，该方法的执行主体可以为上述电子设备100，请参阅图2，图2示出了本发明实施例提供的第一种坝面缺陷分类模型训练方法的流程图。坝面缺陷分类模型训练方法包括以下步骤：

S1，获取坝面图像，并对坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像。

在本发明实施例中，坝面图像可以是对坝面进行拍摄的图像，增广图像可以是对坝面图像进行增广处理，得到的图像。需要说明的是，进行增广处理得到的多张增广图像要包含坝面图像的所有内容，一张增广图像和另一张增广图像之间的内容可以有重复。坝面图像可以是预先从网上下载的，也可以是通过摄像头实时拍摄得到再通过通信接口104传输过来的，还可以其它的外部设备通过通信接口104传输过来的，在此不作限定。

对坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像的步骤，可以理解为：对坝面图像进行仿射变换、和/或颜色明暗变换、和/或裁剪处理，得到包含坝面图像所有内容的多张增广图像。具体地，增广处理可以是仿射变换、颜色明暗变换和裁剪处理的其中的至少一种，也可以是仿射变换、颜色明暗变换和裁剪处理的组合形式。例如，在一种实施方式中，增广处理可以是仿射变换，在另一种实施方式中，增广处理可以是先进行仿射变换，后进行颜色明暗变换。

下面，分别对仿射变换、颜色明暗变换和裁剪处理进行简要阐述：

仿射变换，图像的形状、位置、角度的变化主要是通过仿射变换来完成的，仿射变换主要是对图像的缩放、旋转、剪切、翻转和平移的组合。例如，仿射变换的矩阵M可以是一个2×3的矩阵，仿射变换的矩阵M可以还由一个2×2线性变换矩阵和一个2×1平移变换矩阵B组合得到，

因此，对于图像上任意位置(x,y)，仿射变换为：

其中，T_affine为(x,y)处的仿射变换结果。

颜色明暗，图像的颜色明暗变换主要是通过在色调饱和度明度(Hue SaturationValue，HSV)颜色空间的每个通道分别添加一个微小的扰动。其中对于色调通道，从-γ到γ之间按均匀采样，获取一个随机数ε作为扰动值，可以得到新的像素值；而对于饱和度和明度通道，新的像素值也为初始像素值的1+ε倍。

裁剪处理，坝面图像的宽为w，高为h，宽高比w/h，设定一个-δ到δ的扰动范围，并从中获取一个随机数α作为裁剪后画面的宽高比扰动的比例。因此，裁剪后画面的宽和高分别为：

其中，w₁、h₁分别为裁剪后图像的宽高，β为裁剪后的图像占坝面图像的比例。在坝面图像中任一截取宽为w₁和高为h₁的图像，即为裁剪后的图像。

S2，对每张增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像。

在本发明实施例中，增强图像可以是对增广图像进行图像增强处理，得到的图像。对每张增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像的步骤，可以理解为，对每张增广图像均进行边缘检测，得到多张包含边缘特征信息的增强图像，其中，增广图像和增强图像一一对应。

请参阅图3，步骤2还可以包括以下子步骤：

S21，对每张增广图像均进行双重边缘检测，得到每张增广图像对应的边缘图像。

在本发明实施例中，边缘图像可以是对增广图像进行双重边缘检测后，得到的图像。对每张增广图像均进行双重边缘检测，得到每张增广图像对应的边缘图像的步骤，可以理解为，首先，利用第一边缘检测算子分别对每张增广图像进行边缘检测，得到每张增广图像的第一检测结果；其次，利用第二边缘检测算子分别对每张增广图像进行边缘检测，得到每张增广图像的第二检测结果；最后，将每张增广图像的第一检测结果和第二检测结果相乘，得到每张增广图像对应的边缘图像，具体地，边缘图像E_I的计算公式如下：

E_I＝C_I·S_I

其中，C_I为第一边缘检测算子，S_I为第二边缘检测算子。第一边缘检测算子可以是Canny算子，第二边缘检测算子可以是Sobel算子。

于本发明的其它实施例中，第一边缘检测算子和第二边缘检测算子还可以是其它的边缘检测算子，例如，Roberts算子、Kirsch算子或者Prewitt算子等。需要说明的是，第一边缘检测算子和第二边缘检测算子为不同的边缘检测算子。通过采用不同的边缘检测算子来分别对增广图像进行边缘处理，并将两次边缘处理的结果进行相乘，使得不同的边缘检测算子之间能够互相弥补对方的不足，不但能够非常精确的检测边缘，还能够保留边缘的幅度不变，有效的保证了边缘检测的效率和准确性。

S22，对每张边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像。

在本发明实施例中，频率特征用于强调图像中的高频区域，同时抑制低频区域。对每张边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像的步骤，可以理解为，利用拉普拉斯算子对每张边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像。

为了提取频率特征，使用二阶导数算子——拉普拉斯算子，突出了边缘图像中的灰度级不连续性，并尝试对具有缓慢变化的灰度级的区域进行去强调。因此包含边缘图像I的频率分量的增强图像为：

其中，矩阵F_I具有与边缘图像I相同的尺寸。图像频率与图像边缘互补，强调高度结构化的区域，从而提高检测精度。例如，拉普拉斯算子的形式可以如下：

0	1	0
			1	-4	1
0	1	0

S3，获取每张增强图像的缺陷分类标签。

在本发明实施例中，缺陷分类标签可以是工作人员或者是有经验的工程师对每张增强图像进行识别、分类后，得到的分类结果，也可以是其它的准确度高的分类设备对增强图像进行分类，得到的分类结果，缺陷分类标签可以看做是正确的分类结果。获取每张增强图像的缺陷分类标签的步骤，可以理解为，获取每张增强图像的缺陷分类标签的步骤，可以理解为，获取工作人员或者是有经验的工程师输入的缺陷分类标签，也可以是从外部设备获取缺陷分类标签，本发明实施例在此不作限定。

S4，利用多张增强图像及每张增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型。

在本发明实施例中，一张增强图像对应一个缺陷分类标签，将所有的增强图像及其对应的缺陷分类标签均输入至预先建立的坝面缺陷分类模型，以对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型。可以理解为，将预先建立的坝面缺陷分类模型对增强图像进行特征提取，并依据特征提取结果对增强图像中的缺陷进行分类，得到预测分类结果，最后将预测分类结果与缺陷分类标签进行比较，依据比较结果来调整坝面缺陷分类模型，得到训练后的坝面缺陷分类模型。

请参阅图4，步骤S4可以包括以下子步骤：

S41，将多张增强图像输入预先建立的坝面缺陷分类模型，利用坝面缺陷分类模型的特征提取网络进行特征提取，得到每张增强图像对应的坝面特征图。

在本发明实施例中，坝面特征图可以是将增强图像输入预先建立的坝面缺陷分类模型的特征提取网络进行特征提取后，得到的特征图。

特征提取网络包括第一卷积层、下采样层、预训练网络及第二卷积层，将多张增强图像输入预先建立的坝面缺陷分类模型，利用坝面缺陷分类模型的特征提取网络进行特征提取，得到每张增强图像对应的坝面特征图的步骤，可以理解为：首先，将每张增强图像输入第一卷积层进行卷积处理，得到每张增强图像对应的第一特征图；其次，将每张增强图像对应的第一特征图输入下采样层进行尺寸缩小处理，得到每张增强图像对应的第二特征图；然后，将每张增强图像对应的第二特征图输入预训练网络进行特征向量计算，得到每张增强图像对应的第三特征图；最后，将每张增强图像对应的第三特征图输入第二卷积层再次进行卷积处理，也就是得到每张增强图像对应的坝面特征图。其中，预训练网络可以是Inception-v3模型，Inception-v3预训练模型总共46层，由11个Inception模块组成，包含96个卷积层，第二卷积层可以是一个1*1的卷积层，通过第二卷积层，完成跨通道信息整合。

S42，将每张坝面特征图输入坝面缺陷分类模型的分类网络，得到每张增强图像对应的预测分类结果。

在本发明实施例中，预测分类结果可以是坝面缺陷分类模型的分类网络根据坝面特征图进行分类，得到的分类结果。分类网络可以是一个全连接层。将每张坝面特征图输入坝面缺陷分类模型的分类网络，得到每张增强图像对应的预测分类结果的步骤，可以理解为，将每张坝面特征图输入坝面缺陷分类模型的分类网络中，利用归一化指数函数(Softmax function，softmax)计算每个坝面特征图分别属于每个预设坝面(缺陷)分类的概率值，预设坝面分类可以是，但不限于裂缝、漏筋、脱落、渗水、完整，将每个坝面特征图对应的概率值最高的预设坝面分类作为预测分类结果。需要说明的是，每个坝面特征图对应的预设坝面分类的概率值的总和为1。

例如，预设坝面分类可以是坝面缺陷A、坝面缺陷B、坝面缺陷C和坝面缺陷D，计算当前坝面特征图分别属于这4种的概率，得到为坝面缺陷A的概率值为80％，为坝面缺陷B的概率值为20％，为坝面缺陷C的概率值为0％，为坝面缺陷D的概率值为0％。那么，最高的概率值为80％，预设分类结果为坝面缺陷A。

S43，依据每张增强图像对应的预测分类结果和缺陷分类标签，对坝面缺陷分类模型进行参数更新，得到训练后的坝面缺陷分类模型。

在本发明实施例中，依据每张增强图像对应的预测分类结果和缺陷分类标签，对坝面缺陷分类模型进行参数更新，得到训练后的坝面缺陷分类模型的步骤，可以理解为，首先，依据每张增强图像对应的预测分类结果和缺陷分类标签，得到每张增强图像对应的损失函数；然后，计算每个损失函数的梯度，并依据每个损失函数的梯度调整坝面缺陷分类模型的参数，具体地，可以是调整坝面缺陷分类的预训练网络的参数，直至每张增强图像对应的损失函数满足预设条件，得到训练后的坝面缺陷分类模型。

损失函数是作为衡量识别模型的预测值与真实值的不一致程度的函数，损失函数越小时，则识别模型的性能越好。因此，在获取到损失函数后，通过计算损失函数的梯度，来不断优化损失函数，直至损失函数趋于稳定或者是达到最小值。预设条件是损失函数区域稳定，或者是达到一个设定的最小值。

本申请实施例可以通过反向传播算法实现对坝面缺陷分类模型的进行参数更新，根据梯度下降法计算损失函数的梯度，确定是否需要更新坝面缺陷分类模型的参数，若需要更新，则使用更新后的坝面缺陷分类模型再次进行坝面缺陷分类的预测，得到二次预测分类结果，依据二次预测分类结果和缺陷分类标签，计算损失函数，直至满足预设条件。

通过在具有分类功能的坝面缺陷分类模型上进行训练，可以缩短训练时间，快速得到训练后的坝面缺陷分类模型。

在完成上述的坝面缺陷分类模型的训练后，得到训练后的坝面缺陷分类模型，还可以对训练后的坝面缺陷分类模型进行使用。请参阅图5，本发明实施例还可以包括以下步骤：

S5，获取待分类图像，并将待分类图像输入训练后的坝面缺陷分类模型，得到待分类图像的坝面缺陷分类结果。

在本发明实施例，待分类图像可以是待进行坝面缺陷分类的图像。获取待分类图像，并将待分类图像输入至训练后的坝面缺陷分类模型，可以得到准确度高的坝面缺陷分类结果。

与现有技术相比，本发明实施例具有以下优势：

首先，通过扩充训练样本集，得到充裕的训练样本，其集训练出来的坝面缺陷分类模型的参数更加精准，识别精度更高，经过训练后的坝面缺陷分类模型得到的坝面分类结果准确度更高。

其次，使得不同的边缘检测算子之间能够互相弥补对方的不足，不但能够非常精确的检测边缘，还能够保留边缘的幅度不变，有效的保证了边缘检测的效率和准确性。

针对上述图2-图5的方法流程，下面给出一种坝面缺陷分类模型训练装置200的可能的实现方式，该坝面缺陷分类模型训练装置200可以采用上述实施例中的电子设备100的器件结构实现，也可以为该电子设备100中的处理器101实现，请参阅图6，图6示出了本发明实施例提供的坝面缺陷分类模型训练装置的方框示意图。坝面缺陷分类模型训练装置200包括获取模块201和处理模块202。

获取模块201，用于获取坝面图像，并对坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像；对每张增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像；获取每张增强图像的缺陷分类标签；

处理模块202，用于利用多张增强图像及每张增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型。

在本发明实施例中，获取模块201执行对坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像步骤的方式，具体包括：对坝面图像进行仿射变换、和/或颜色明暗变换、和/或裁剪处理，得到包含坝面图像所有内容的多张增广图像。

在本发明实施例中，获取模块201执行对每张增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像步骤的方式，具体包括：对每张增广图像均进行双重边缘检测，得到每张增广图像对应的边缘图像；对每张边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像。

在本发明实施例中，获取模块201执行对每张增广图像均进行双重边缘检测，得到每张增广图像对应的边缘图像步骤的方式，具体包括：利用第一边缘检测算子分别对每张增广图像进行边缘检测，得到每张增广图像的第一检测结果；利用第二边缘检测算子分别对每张增广图像进行边缘检测，得到每张增广图像的第二检测结果；将每张增广图像的第一检测结果和第二检测结果相乘，得到每张增广图像对应的边缘图像。

在本发明实施例中，获取模块201执行对每张边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像步骤的方式，具体包括：利用拉普拉斯算子对每张边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像。

在本发明实施例中，处理模块202执行利用多张增强图像及每张增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型步骤的方式，具体包括：将多张增强图像输入预先建立的坝面缺陷分类模型，利用坝面缺陷分类模型的特征提取网络进行特征提取，得到每张增强图像对应的坝面特征图；将每张坝面特征图输入坝面缺陷分类模型的分类网络，得到每张增强图像对应的预测分类结果；依据每张增强图像对应的预测分类结果和缺陷分类标签，对坝面缺陷分类模型进行参数更新，得到训练后的坝面缺陷分类模型。

在本发明实施例中，特征提取网络包括第一卷积层、下采样层、预训练网络及第二卷积层，处理模块202执行将多张增强图像输入预先建立的坝面缺陷分类模型，利用坝面缺陷分类模型的特征提取网络进行特征提取，得到每张增强图像对应的坝面特征图步骤的方式，具体包括：将每张增强图像输入第一卷积层进行卷积处理，得到每张增强图像对应的第一特征图；将每张增强图像对应的第一特征图输入下采样层进行尺寸缩小处理，得到每张增强图像对应的第二特征图；将每张增强图像对应的第二特征图输入预训练网络进行特征向量计算，得到每张增强图像对应的第三特征图；将每张增强图像对应的第三特征图输入第二卷积层再次进行卷积处理，得到每张增强图像对应的坝面特征图。

在本发明实施例中，处理模块202执行依据每张增强图像对应的预测分类结果和缺陷分类标签，对坝面缺陷分类模型进行参数更新，得到训练后的坝面缺陷分类模型步骤的方式，具体包括：依据每张增强图像对应的预测分类结果和缺陷分类标签，得到每张增强图像对应的损失函数；计算每个损失函数的梯度，并依据每个损失函数的梯度调整坝面缺陷分类模型的参数，直至每张增强图像对应的损失函数满足预设条件，得到训练后的坝面缺陷分类模型。

在本发明实施例中，处理模块202还用于获取待分类图像，并将待分类图像输入训练后的坝面缺陷分类模型，得到待分类图像的坝面缺陷分类结果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的坝面缺陷分类模型训练装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本发明实施例提供一种坝面缺陷分类模型训练方法及装置，所述方法包括：获取坝面图像，并对坝面图像进行增广处理，得到包含坝面图像所有内容的多张增广图像；对每张增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像；获取每张增强图像的缺陷分类标签；利用多张增强图像及每张增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型。与现有技术相比，本发明实施例具有以下优势：通过扩充训练样本集，得到充裕的训练样本，其集训练出来的坝面缺陷分类模型的参数更加精准，识别精度更高，经过训练后的坝面缺陷分类模型得到的坝面分类结果准确度更高。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (7)

1.一种坝面缺陷分类模型训练方法，其特征在于，所述方法包括：

获取坝面图像，并对所述坝面图像进行增广处理，得到包含所述坝面图像所有内容的多张增广图像；

对每张所述增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像；

获取每张所述增强图像的缺陷分类标签；

利用多张所述增强图像及每张所述增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型；

所述对每张所述增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像的步骤，包括：

对每张所述增广图像均进行双重边缘检测，得到每张增广图像对应的边缘图像；

对每张所述边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像；

所述利用多张所述增强图像及每张所述增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型的步骤，包括：

将多张所述增强图像输入预先建立的坝面缺陷分类模型，利用所述坝面缺陷分类模型的特征提取网络进行特征提取，得到每张所述增强图像对应的坝面特征图；

将每张所述坝面特征图输入所述坝面缺陷分类模型的分类网络，得到每张所述增强图像对应的预测分类结果；

依据每张所述增强图像对应的预测分类结果和缺陷分类标签，对所述坝面缺陷分类模型进行参数更新，得到训练后的坝面缺陷分类模型；

所述特征提取网络包括第一卷积层、下采样层、预训练网络及第二卷积层，所述将多张所述增强图像输入预先建立的坝面缺陷分类模型，利用所述坝面缺陷分类模型的特征提取网络进行特征提取，得到每张所述增强图像对应的坝面特征图的步骤，包括：

将每张所述增强图像输入所述第一卷积层进行卷积处理，得到每张所述增强图像对应的第一特征图；

将每张所述增强图像对应的第一特征图输入所述下采样层进行尺寸缩小处理，得到每张所述增强图像对应的第二特征图；

将每张所述增强图像对应的第二特征图输入所述预训练网络进行特征向量计算，得到每张所述增强图像对应的第三特征图；

将每张所述增强图像对应的第三特征图输入所述第二卷积层再次进行卷积处理，得到每张所述增强图像对应的坝面特征图。

2.如权利要求1所述的方法，其特征在于，所述对所述坝面图像进行增广处理，得到包含所述坝面图像所有内容的多张增广图像的步骤，包括：

对所述坝面图像进行仿射变换、和/或颜色明暗变换、和/或裁剪处理，得到包含所述坝面图像所有内容的多张增广图像。

3.如权利要求1所述的方法，其特征在于，所述对每张所述增广图像均进行双重边缘检测，得到每张增广图像对应的边缘图像的步骤，包括：

利用第一边缘检测算子分别对每张增广图像进行边缘检测，得到每张增广图像的第一检测结果；

利用第二边缘检测算子分别对每张增广图像进行边缘检测，得到每张增广图像的第二检测结果；

将每张增广图像的第一检测结果和第二检测结果相乘，得到每张增广图像对应的边缘图像。

4.如权利要求1所述的方法，其特征在于，所述对每张所述边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像的步骤，包括：

利用拉普拉斯算子对每张所述边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像。

5.如权利要求1所述的方法，其特征在于，所述依据每张所述增强图像对应的预测分类结果和缺陷分类标签，对所述坝面缺陷分类模型进行参数更新，得到训练后的坝面缺陷分类模型的步骤，包括：

依据每张所述增强图像对应的预测分类结果和缺陷分类标签，得到每张所述增强图像对应的损失函数；

计算每个所述损失函数的梯度，并依据每个所述损失函数的梯度调整所述坝面缺陷分类模型的参数，直至每张所述增强图像对应的损失函数满足预设条件，得到训练后的坝面缺陷分类模型。

6.如权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

获取待分类图像，并将所述待分类图像输入所述训练后的坝面缺陷分类模型，得到所述待分类图像的坝面缺陷分类结果。

7.一种坝面缺陷分类模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取坝面图像，并对所述坝面图像进行增广处理，得到包含所述坝面图像所有内容的多张增广图像；对每张所述增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像；获取每张所述增强图像的缺陷分类标签；

处理模块，用于利用多张所述增强图像及每张所述增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型；

所述获取模块用于通过以下步骤对每张所述增广图像均进行图像增强，得到多张包含边缘特征信息的增强图像：

对每张所述增广图像均进行双重边缘检测，得到每张增广图像对应的边缘图像；

对每张所述边缘图像均进行频率域特征提取，得到多张包含边缘特征信息的增强图像；

所述处理模块通过以下步骤实现利用多张所述增强图像及每张所述增强图像对应的缺陷分类标签，对预先建立的坝面缺陷分类模型进行训练，得到训练后的坝面缺陷分类模型：

将多张所述增强图像输入预先建立的坝面缺陷分类模型，利用所述坝面缺陷分类模型的特征提取网络进行特征提取，得到每张所述增强图像对应的坝面特征图；

将每张所述坝面特征图输入所述坝面缺陷分类模型的分类网络，得到每张所述增强图像对应的预测分类结果；

依据每张所述增强图像对应的预测分类结果和缺陷分类标签，对所述坝面缺陷分类模型进行参数更新，得到训练后的坝面缺陷分类模型；

所述特征提取网络包括第一卷积层、下采样层、预训练网络及第二卷积层，所述将多张所述增强图像输入预先建立的坝面缺陷分类模型，利用所述坝面缺陷分类模型的特征提取网络进行特征提取，得到每张所述增强图像对应的坝面特征图的步骤，包括：

将每张所述增强图像输入所述第一卷积层进行卷积处理，得到每张所述增强图像对应的第一特征图；

将每张所述增强图像对应的第一特征图输入所述下采样层进行尺寸缩小处理，得到每张所述增强图像对应的第二特征图；

将每张所述增强图像对应的第二特征图输入所述预训练网络进行特征向量计算，得到每张所述增强图像对应的第三特征图；

将每张所述增强图像对应的第三特征图输入所述第二卷积层再次进行卷积处理，得到每张所述增强图像对应的坝面特征图。

Images