CN113592829B - 基于分割重组的深度学习泥沙颗粒识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于分割重组的深度学习泥沙颗粒识别方法及装置，其中该方法包括：采集复杂河流环境下泥沙颗粒的原始图像；将原始图像分割为多个边缘重合的图像碎片；将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，其中，泥沙颗粒识别模型为对U‑net模型进行机器学习训练得到的模型；将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。本发明能够将U‑net模型应用于复杂河流环境下泥沙颗粒的识别，提高复杂河流环境下泥沙颗粒的识别准确率。

Description

基于分割重组的深度学习泥沙颗粒识别方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于分割重组的深度学习泥沙颗粒识别方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

泥沙颗粒粒径及其空间分布对于河流研究(如水流阻力、河床演变、水生生物栖息地研究等)和河流管理(如河道疏浚、河流修复等)至关重要。然而，对于河流环境泥沙颗粒粒径的测量，尤其对于颗粒级配宽的山区河流，一直以来都十分具有挑战性。最常用的颗粒粒径测量方法为采样筛分法，该方法将样品依次通过不同孔径的筛子，以得到泥沙颗粒的级配信息。这种方法只有在能够获得充足的合格样品时，才能得到比较可靠的泥沙颗粒测量结果。

随着高空间分辨率摄影技术的发展，使得研究者能够有机会通过照片来估计河段泥沙粒径。相比采样筛分方法，基于图像的粒径测量方法能够大大减少泥沙颗粒采样时间，对于野外大尺度泥沙颗粒测量尤其实用。然而，对于基于图像的粒径分析方法的研究一直以来存在着较大挑战。早期的基于图像的粒径分析方法依靠人工进行颗粒识别，十分耗时耗力。近年来，基于图像的粒径测量方法有了一定程度的发展。目前基于图像的颗粒测量方法可以大致分为基于级配估计和基于颗粒识别的粒径测量方法。其中，基于级配估计的粒径测量方法基于对图像像素总体强度和纹理的统计分析来估计泥沙颗粒粒径，主要的基于级配估计的测量方法包括：基于像素值的简单自相关匹配算法，颗粒粒径与图像局部像素强度和半方差的函数映射方法，图像频谱分解方法以及卷积神经网络直接估计粒径方法；基于颗粒识别的粒径测量方法首先使用一系列图像分割算法探测颗粒边界以识别床面每个颗粒个体，进而基于颗粒识别结果计算得到颗粒粒径信息。虽然基于颗粒识别的粒径测量方法，在理论上不能被用于识别比一个像素面积小的颗粒，但其提供颗粒朝向和的空间分布信息，对于理解和研究水流阻力、泥沙输运和水生生物栖息地演变具有重要意义。

基于颗粒识别的粒径测量方法需要复杂的颗粒分割技术，对于图像分割问题，目前最先进的卷积神经网络(Convolutional Neural Networks，CNN)算法为U-Net，该网络模型最初被设计用于解决医学显微图像中的细胞识别问题。从那开始，U-Net被广泛应用解决多种问题。但由于山区河流泥沙颗粒具有宽级配，丰富的岩性以及较多的干扰因素等特点，对于如何将U-Net应用于复杂环境下泥沙颗粒的识别目前缺乏研究。此外，输入至U-Net中的图像大小和精度受到GPU内存，模型复杂度和采样粒径级配信息的综合制约。将大尺度的照片分割成较小的子图块时，由于CNN对边缘的预测能力较弱会映入测量误差，对于如何减小由于图像分割导致的测量误差，以及如何选取子图像的大小以最优化测量误差的问题的研究仍不清楚。另外，由于细颗粒的测量要求较高的图像分辨率，对于目标粒径如何选取最优的图像分辨率的问题缺乏也深入研究。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供了一种基于分割重组的深度学习泥沙颗粒识别方法，用以解决如何将U-Net应用于复杂环境下泥沙颗粒识别的技术问题，该方法包括：采集复杂河流环境下泥沙颗粒的原始图像；将原始图像分割为多个边缘重合的图像碎片；将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，其中，泥沙颗粒识别模型为对U-net模型进行机器学习训练得到的模型；将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。

本发明实施例中还提供了一种基于分割重组的深度学习泥沙颗粒识别装置，用以解决如何将U-Net应用于复杂环境下泥沙颗粒识别的技术问题，该装置包括：图像采集模块，用于采集复杂河流环境下泥沙颗粒的原始图像；图像分割模块，用于将原始图像分割为多个图像碎片；泥沙颗粒识别模块，用于将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，其中，泥沙颗粒识别模型为对U-net模型进行机器学习训练得到的模型；图像重组模块，用于将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。图像后处理模块，用于综合每个重组图像对应的五种泥沙颗粒识别结果，确定模型输入图像的最终泥沙颗粒识别结果。

本发明实施例中还提供了一种计算机设备，用以解决如何将U-Net应用于复杂环境下泥沙颗粒识别的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于分割重组的深度学习泥沙颗粒识别方法。

本发明实施例中还提供了一种计算机可读存储介质，用以解决如何将U-Net应用于复杂环境下泥沙颗粒识别的技术问题，该计算机可读存储介质存储有执行上述基于分割重组的深度学习泥沙颗粒识别方法的计算机程序。

本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法、装置、计算机设备及计算机可读存储介质，通过对U-net模型进行机器学习，训练得到一个泥沙颗粒识别模型，在采集到复杂河流环境下泥沙颗粒的原始图像后，将原始图像分割为多个边缘重合的图像碎片，进而将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，最后将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。

通过本发明实施例，能够将U-net模型应用于复杂河流环境下泥沙颗粒的识别，提高复杂河流环境下泥沙颗粒的识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中提供的一种基于分割重组的深度学习泥沙颗粒识别方法流程图；

图2为本发明实施例中提供的利用重叠分割得到的各个图像碎片及对应的逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像增强图像对泥沙颗粒进行识别的流程图；

图3为本发明实施例中提供的对泥沙颗粒图像进行后处理的流程图；

图4为本发明实施例中提供的一种基于分割重组的深度学习泥沙颗粒识别方法的具体实现流程图；

图5为本发明实施例中提供的将输入图像增强变换为原始图像、逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像五个增强图像示意图；

图6为本发明实施例中提供的泥沙颗粒图像样本及对应人工标签示意图；

图7为本发明实施例中对图像进行重合分割的示意图；

图8为本发明实施例中不同尺寸大小的图像碎片平均预测误差示意图；

图9为本发明实施例中不同粒径组的预测误差随图像分辨率变化的示意图；

图10为本发明实施例中提供的一种基于分割重组的深度学习泥沙颗粒识别装置示意图；

图11为本发明实施例中提供的一种计算机设备示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例中提供了一种基于分割重组的深度学习泥沙颗粒识别方法，图1为本发明实施例中提供的一种基于分割重组的深度学习泥沙颗粒识别方法流程图，如图1所示，该方法包括如下步骤：

S101，采集复杂河流环境下泥沙颗粒的原始图像。

需要说明的是，上述S101可以是通过图像采集设备(可以是但不限于摄像头)采集的复杂河流环境下泥沙颗粒的图像。

S102，将原始图像分割为多个边缘重合的图像碎片。

在具体实施时，可将原始图像分割为尺寸大小相同且边缘重合的多个图像碎片，当原始图像不符合等分条件的情况下，可以镜像方式对原始图像的下边缘或右边缘进行尺寸拓展，使得拓展后的图像能分割出多个边缘重合且大小为预设尺寸的图像碎片。可选地，可根据本发明实施例中提供的最优图像分辨率和最优分割子图像大小，将原始图像分割为多个边缘重合的图像碎片。

需要说明的是，由于山区河流泥沙颗粒级配宽，为了预测小粒径的泥沙颗粒，需要使用较高分辨率的图像。但受计算机内存的限制，输入U-net模型进行预测的图像尺寸不能太大。因而，需要将输入U-net模型的图像分割为若干子图像，依次输入至U-net模型进行预测。由于卷积神经网络对于图像边界区域的预测是不准确的，图像分割必然引入边缘预测误差。

本发明实施例中，在将图像分割为图像碎片时采用重合分割技术，将输入到U-net模型的图像分割成重叠的多个图像碎片，例如，子图块1、子图块2等，每个子图块的大小为512×512，对于图像边缘处的子图快，由对边缘镜像(阴影部分)获得。将分割得到的各个子图块1、子图块2等输入U-net模型，最后只取输出结果的中心区域尺寸大小为256×256的图像作为有效输出结果，从而避免对于子图块边缘的预测不准的问题。

在一个实施例中，在将原始图像分割为多个边缘重合的图像碎片之前，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法还可包括如下步骤：使用对比度滤波器对原始图像进行处理，增强原始图像中泥沙颗粒的对比度。

在将边缘增强滤波器、细节增强滤波器和对比度增强滤波器与U-net进行结合后，结果显示对比度增强滤波器与U-net结合能够得到总体最优的探测效果。其主要原因是，以往算法基于探测图像内各物体边界以进行物体分割(如BASEGRAIN)，山区河流泥沙颗粒识别问题的主要挑战之一在于图像中存在许多与泥沙颗粒同量级的植物碎屑，基于边界探测的算法会将植物碎屑等环境因素错误地识别为泥沙颗粒。

S103，将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，其中，泥沙颗粒识别模型为对U-net模型进行机器学习训练得到的模型。

在一个实施例中，上述S102中，可将尺寸为l×l的滑窗在原始图像中以步长进行滑动，从原始图像中分割出多个边缘重合的图像碎片，其中，每个图像碎片的尺寸为l×l；该实施例中，泥沙颗粒识别模型输出的每个图像碎片对应的泥沙颗粒识别结果为每个图像碎片中心区域/>的泥沙识别结果。

当原始图像的尺寸不满足等分条件(即不能分割出多个边缘重合且尺寸为l×l的图像碎片)的情况下，在将原始图像分割为多个边缘重合的图像碎片之前，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法还可包括如下步骤：对原始图像进行尺寸拓展，使得拓展后的图像能分割出多个边缘重合且尺寸为l×l的图像碎片。

在执行上述S103之前，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法，可以通过对U-net模型进行机器学习，训练得到一个能够预测图像中泥沙颗粒的模型。

需要说明的是，卷积神经网络CNN通过对图像连续地卷积和池化运算，可以自动捕捉不同层级和尺度和物体特征结构。对于颗粒识别任务，该运算可以不仅仅探测颗粒地边缘，同时还可以探测颗粒的形状，纹理和颜色。同时，由于神经网络本身的非线性结构，这些提取的边缘，形状等特征在神经网络中，通过成千上万个网络参数，被非线性映射到模型结果。神经网络对于非线性特征映射的特长对于解决复杂山区河流环境下(存在丰富的植物，多样的颗粒岩性和非均匀光照等干扰)的泥沙颗粒识别问题十分适合。研究表明，当卷积神经网络的训练集足够大时，CNN已被证实为是处理非理想条件下(如不同背景干扰物，光照不均匀或光照不足)物体识别问题的有效模型。U-Net是比较早的使用全卷积网络进行语义分割的算法。

S104，将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。

由于本发明实施例中泥沙颗粒的模型输出的是每个图像碎片的泥沙颗粒识别结果，因而，需要对多个图像碎片的泥沙颗粒识别结果进行重组，得到原始图像大小的泥沙颗粒图像。例如，将尺寸为l×l的滑窗在原始图像中以步长进行滑动，从原始图像中分割出多个边缘重合且大小为l×l的图像碎片后，将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片中心区域/>的泥沙识别结果，将每个图像碎片中心区域/>的泥沙识别结果进行重组，得到尺寸为l×l的泥沙颗粒图像。

为了提高泥沙颗粒识别模型的预测准确率，在一个实施例中，如图2所示，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法，可通过如下步骤确定每个图像碎片对应的泥沙颗粒识别结果：

S201，根据每个图像碎片，生成每个图像碎片对应的逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像；

S202，将每个图像碎片及每个图像碎片对应的逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像分别输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的五个泥沙颗粒识别结果；

S203，根据每个图像碎片的五个泥沙颗粒识别结果，生成对应的五个泥沙颗粒重组图像；

S204，根据生成的五个泥沙颗粒重组图像，确定原始图像的泥沙颗粒识别结果。

在具体实施时，可将每个图像碎片上同一像素对应的两个或两个以上相同的泥沙识别结果，确定为每个图像碎片的泥沙颗粒识别结果。

需要说明的是，本发明实施例中的弱形变图像和强形变图像，是基于python语言开源软件imgaug.augmenters.ElasticTransformation弹性形变器实现的，弱形变图像使用参数为alpha＝50，sigma＝50；强形变图像使用参数为alpha＝2000，sigma＝100。

针对山区河流泥沙颗粒预测问题和U-net应用，由于泥沙颗粒间存在相互遮蔽问题，且不同颗粒的形状有一定差别，则在考虑位置和旋转角度不相干性的同时还需考虑颗粒的形变不相干性。本发明实施例中，在进行训练数据集增强时，不仅使用了原始数据集、逆时针旋转90°数据集、水平翻转数据集，还使用了弱形变数据集和强形变数据集。其中弱形变数据集主要针对泥沙颗粒由于天然打磨造成的形状差异性，强形变数据集主要针对泥沙颗粒由于相互遮蔽造成的形状差异。

本发明实施例中，使用多重预测技术，对于一个输入图像，对该原始图像、逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像五个图像分别预测。最终的预测结果判别为，对于原始图像的某个像素，如果五个预测结果中的对应像素有两个判定该像素为边界，则预测结果中认为该像素为边界。该种判定准则在保持颗粒位移，旋转，形变不变性的同时，还能够最大程度地判定出颗粒间隙，最好地进行分割。因为若单个预测图像错误地预测某个像素为边界地概率为0.1，则两个图像都预测错误地概率为0.01，错误概率0.01为小概率事件，符合3σ估计误差估计准则。

在一个实施例中，在将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像之后，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法还可包括如下步骤：使用分水岭算法，对泥沙颗粒图像中的泥沙颗粒进行分割处理。

需要说明的是，分水岭分割算法基本思想是：将图像看作是测地学上的拓扑地貌，图像中每一像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆地，而集水盆地的边界则形成分水岭。物体分割的分水岭算法为若一个物体中存在两(多)个拓扑学上的局部极小值，则以该局部极小值为中心依据点到两个局部极小值的欧拉距离将该物体划分为两(多)个子物体。

由于分水岭算法是一种基于拓扑理论的数学形态学的分割方法，其原理与卷积网络算法不同，使用分水岭算法作为卷积神经网络预测结果的后处理算法可以很好对于卷积神经网络算法欠划分的物体(一个物体中存在多个集水区)进一步划分。

在一个实施例中，如图3所示，在将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像之后，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法还可包括如下步骤：

S301，填充泥沙颗粒图像中泥沙颗粒内部的空洞；

S302，过滤掉泥沙颗粒图像中尺寸小于预设像素阈值的泥沙颗粒；

S303，使用反集水区算法收窄泥沙颗粒的间隙；

S304，将距离每个泥沙颗粒边界最大距离的点确定为每个泥沙颗粒的颗粒重心；

S305，使用分水岭算法，根据每个泥沙颗粒的颗粒重心，对泥沙颗粒图像中的每个泥沙颗粒进行分割处理。

图4为本发明实施例中提供的一种基于分割重组的深度学习泥沙颗粒识别方法的具体实现流程图，如图4所示，包括：

S401，图像前处理：①第一次图像拓展：如果原图输入图像的尺寸(如2000×2000)不能被等分为512×512大小的图像碎片，则对该图像下边界和右边界进行镜像,以将其拓展至2048×2048；②第二次图像拓展：先将图像上下边缘以镜像方式分别拓展256宽度的像素，再将图像左右边缘以镜像方式分别拓展256宽度的像素，则将则尺寸为2048×2048的输入图像被拓展为2560×2560的图像；③对比度滤波：使用Sigmod对比度滤波器处理图像；④图像增强：对输入图像进行五倍增强，分别为：原始图像、逆时针旋转90°图像、水平翻转图像、弱弹性形变图像、强弹性形变图像；⑤图像分割：将输入图像分割为分割为512×512的小图块(即图像碎片)。

S402，U-net模型预测：将所有512×512的小图块依次输入U-net进行预测。

S403，集合投票：将小图块的预测结果重组为原始输入图像大小的图像；使用五种输入图像分别得到的预测结果进行集合投票得到最终预测结果。

S404，图像后处理：①填充颗粒：填充颗粒内部的空洞；②过滤极小颗粒：过滤掉面积小于20像素的颗粒；③收窄间隙：使用反集水区算法收窄颗粒间隙；④分水岭分割算法：基于重心信息和集水区算法将颗粒进一步分割。

图5所示为本发明实施例中将原始输入图像增强变换为五个图像：原始图像，逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像。从图5可以看出，使用弹性变换器生成的弱形变图像和强形变图像在保存泥沙颗粒的位置信息的同时，弹性地改变了泥沙颗粒形状信息，这模仿了野外环境下泥沙颗粒间互相遮蔽导致地形状多样性，也模仿了泥沙颗粒由于“磨圆度”不同而导致的形状差异。逆时针旋转图像和水平翻转图像则在保持泥沙颗粒形状不变的前提下，改变了泥沙颗粒的位置。本发明所实施的图像增强技术适应了复杂环境下泥沙颗粒的各种特性，使得模型可以在有限的训练集下学习到复杂环境泥沙颗粒的各种特性，从而提升模型预测能力。山区河流泥沙颗粒级配宽，干扰因素多，本发明实施例中，依据河流泥沙采样规范(即中华人民共和国行业标准SL43-92《河流推移质泥沙及床沙测验规程》)，准备合适的训练数据集以将U-Net应用于复杂环境下泥沙颗粒的识别，该测验规程第6部分“采样器的选择及使用”第6.1.1条“卵石床沙取样中，漏掉小于5～10mm颗粒是可能的，因它的含量很小，对整个颗粒级配无大的影响”。

本发明实施例中采用的U-net数据集包含84组水槽泥沙颗粒图像和118组野外泥沙颗粒图像，共有超过10万个泥沙颗粒被进行标记。数据集覆盖复杂多样的野外和水槽泥沙颗粒环境，其中，51组图像来自美国明尼苏达大学的实验室砂质卵砾石河床，33组来自加拿大不列颠哥伦比亚大学的实验室宽级配阶梯深潭河床。112组照片来自不列颠哥伦比亚省的18各山区小流域。6组照片由无人机在金沙江和雅鲁藏布江拍摄。每一张图像覆盖范围足够大以使得其能够对于该区域得到有意义的颗粒级配分布信息。

在具体实施时，使用人工方式对于每一幅图像上面积大于30像素的泥沙颗粒进行标记，使用该人工标记进行模型训练和评估。30像素以下的颗粒不做标记。如图6所示，(a)为加拿大安德森和泥沙颗粒图像样本，(b)为(a)对应的人工标签；(c)为加拿大科奎兰河泥沙颗粒图像样本，(d)为(c)对应的人工标签；。以典型相机4K分辨率(4096×2160)为参照，假设照片采样人员典型拍照采样高度为1m，则覆盖的图像范围约为1m×0.5m，假设颗粒为球形，则30像素大小对应实际1mm粒径的泥沙颗粒，满足行业标准要求的SL43-92泥沙颗粒。对于基于图像的物体分割方法的研究表明30像素以下的颗粒已很难在图像上被分割出来，故选择30像素作为临界点。使用这些数据集对于U-net模型进行训练。整个模型的输入是任意大小的RGB泥沙颗粒图像。

由于卷积神经网络对于图像边界区域的预测是不准确的。由于山区河流泥沙颗粒级配宽，为了预测小粒径的泥沙颗粒，需要使用较高分辨率的图像。但受计算机内存的限制，输入U-net进行预测的图像尺寸不能够大。于是，输入图像会被分割为若干子图像依次输入至U-net进行预测，而图像分割必然引入边缘预测误差。

如图7所示，对左图非阴影部分(512×512)的预测时，将左图分割成重叠子图块1、2…，每个子图块的大小为512×512，图像边缘处的子图快由对边缘镜像(阴影部分)获得。将如子图块1、2输入U-net，但最后只取输出结果的中心256×256大小的图像作为有效输出结果。这样可以避免对于子图块边缘的预测不准的问题。为此，本发明实施例中，在将原始图像分割为多个图像碎片时，采用重合分割技术，对原始图像进行分割，得到多个具有重合关系的图像碎片。

在获取最优图像分割尺寸大小的时候，本发明实施例中，选取了美国明尼苏达大学实验室的26组砂质卵砾石河床图像进行分析，使用人工筛分法测量得到该床沙的筛分粒径(D50约为10mm)。本发明实施例中，保持图像的原始分辨率(0.45mm/像素)，在图像分割时，将图像分别以64×64、128×128、256×256、512×512、768×768的子图块大小分割，以人工采样筛分法为基准，得到各子图块大小的预测误差，如图8所示，在子图块大小为512×512时，模型仍然能够保持较低预测误差，取得更小的子图块大小并不能降低误差，但会增加计算量，于是512×512的子图块大小为最优子图块大小。

在获取最优最优图像分辨率的时候，本发明实施例中，选取了美国明尼苏达大学实验室的26组砂质卵砾石河床图像进行分析，使用人工采样筛分法测量得到该床沙的筛分粒径(D50约为10mm)。图像的原始分辨率为0.45mm/像素，我们使用二维滑动平均方法对于原始图像进行降分辨率，滑动平均的窗口大小为1×1，2×2，…，10×10，对应的图像分辨率分别为0.45mm/像素，0.9mm/像素，…，4.5mm/像素。将不同像素的图像输入模型进行预测，并将预测结果与人工采样筛分法结果进行对比，获得预测误差与图像分辨率的关系，如图9所示，当测量分辨率高于2mm/像素时，对于各粒径组的预测误差均不会明显改变。而将分辨率低于2mm/像素时，各粒径组预测误差逐渐降低。分析说明，对于D50约为10mm的砂质卵砾石河床，最优测量分辨率为2mm/像素。

基于同一发明构思，本发明实施例中还提供了一种基于分割重组的深度学习泥沙颗粒识别装置，如下面的实施例所述。由于该装置解决问题的原理与基于分割重组的深度学习泥沙颗粒识别方法相似，因此该装置的实施可以参见基于分割重组的深度学习泥沙颗粒识别方法的实施，重复之处不再赘述。

图10为本发明实施例中提供的一种基于分割重组的深度学习泥沙颗粒识别装置示意图，如图10所示，该装置包括：图像采集模块10、图像分割模块20、泥沙颗粒识别模块30和图像重组模块40。

其中，图像采集模块10，用于采集复杂河流环境下泥沙颗粒的原始图像；

图像分割模块20，用于将原始图像分割为多个边缘重合的图像碎片；

泥沙颗粒识别模块30，用于将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，其中，泥沙颗粒识别模型为对U-net模型进行机器学习训练得到的模型；

图像重组模块40，用于将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。

在一个实施例中，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别装置中，图像分割模块20还用于将尺寸为l×l的滑窗在原始图像中以步长进行滑动，从原始图像中分割出多个边缘重合的图像碎片，其中，每个图像碎片的尺寸为l×l；该实施例中，泥沙颗粒识别模型输出的每个图像碎片对应的泥沙颗粒识别结果为每个图像碎片中心区域/>的泥沙识别结果。

在一个实施例中，当原始图像的尺寸不满足等分条件的情况下，如图10所示，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别装置还包括：图像前处理模块50，用于对原始图像进行尺寸拓展，使得拓展后的图像能分割出多个边缘重合且尺寸为l×l的图像碎片。

在一个实施例中，如图10所示，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别装置还包括：图像后处理模块60，用于使用对比度滤波器对原始图像进行处理，增强原始图像中泥沙颗粒的对比度。

在一个实施例中，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别装置中，图像前处理模块50还用于根据每个图像碎片，生成每个图像碎片对应的逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像；将每个图像碎片及每个图像碎片对应的逆时针旋转90°图像、水平翻转图像、弱形变图像和强形变图像分别输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的五个泥沙颗粒识别结果；根据每个图像碎片的五个泥沙颗粒识别结果，生成对应的五个泥沙颗粒重组图像；根据生成的五个泥沙颗粒重组图像，确定原始图像的泥沙颗粒识别结果。

进一步地，在一个实施例中，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别装置中，图像后处理模块60还用于使用分水岭算法，对泥沙颗粒图像中的泥沙颗粒进行分割处理。

更进一步地，在一个实施例中，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别装置中，图像后处理模块60还用于填充泥沙颗粒图像中泥沙颗粒内部的空洞；过滤掉泥沙颗粒图像中尺寸小于预设像素阈值的泥沙颗粒；使用反集水区算法收窄泥沙颗粒的间隙；将距离每个泥沙颗粒边界最大距离的点确定为每个泥沙颗粒的颗粒重心；以及使用分水岭算法，根据每个泥沙颗粒的颗粒重心，对泥沙颗粒图像中的每个泥沙颗粒进行分割处理。

基于同一发明构思，本发明实施例中还提供了一种计算机设备，用以解决如何将U-Net应用于复杂环境下泥沙颗粒识别的技术问题，图11为本发明实施例中提供的一种计算机设备示意图，如图11所示，该计算机设备11包括存储器12、处理器13及存储在存储器12上并可在处理器13上运行的计算机程序，处理器13执行计算机程序时实现上述基于分割重组的深度学习泥沙颗粒识别方法。

基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，用以解决如何将U-Net应用于复杂环境下泥沙颗粒识别的技术问题，该计算机可读存储介质存储有执行上述基于分割重组的深度学习泥沙颗粒识别方法的计算机程序。

综上所述，本发明实施例中提供的基于分割重组的深度学习泥沙颗粒识别方法、装置、计算机设备及计算机可读存储介质，通过对U-net模型进行机器学习，训练得到一个泥沙颗粒识别模型，在采集到复杂河流环境下泥沙颗粒的原始图像后，将原始图像分割为多个图像碎片，进而将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，最后将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。

通过本发明实施例，能够将U-net模型应用于复杂河流环境下泥沙颗粒的识别，提高复杂河流环境下泥沙颗粒的识别准确率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分割重组的深度学习泥沙颗粒识别方法，其特征在于，包括：

采集复杂河流环境下泥沙颗粒的原始图像；

将所述原始图像分割为多个边缘重合的图像碎片；

将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，其中，所述泥沙颗粒识别模型为对U-net模型进行机器学习训练得到的模型；

将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。

2.如权利要求1所述的方法，其特征在于，将所述原始图像分割为多个边缘重合的图像碎片，包括：

将尺寸为l×l的滑窗在所述原始图像中以步长进行滑动，从原始图像中分割出多个边缘重合的图像碎片，其中，每个图像碎片的尺寸为l×l；

其中，所述泥沙颗粒识别模型输出的每个图像碎片对应的泥沙颗粒识别结果为每个图像碎片中心区域的泥沙识别结果。

3.如权利要求2所述的方法，其特征在于，当所述原始图像的尺寸不满足等分条件的情况下，在将所述原始图像分割为多个边缘重合的图像碎片之前，所述方法还包括：

对所述原始图像进行尺寸拓展，使得拓展后的图像能分割出多个边缘重合且尺寸为l×l的图像碎片。

4.如权利要求1所述的方法，其特征在于，在将所述原始图像分割为多个边缘重合的图像碎片之前，所述方法还包括：

使用对比度滤波器对原始图像进行处理，增强原始图像中泥沙颗粒的对比度。

5.如权利要求1所述的方法，其特征在于，在将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像之后，所述方法还包括：

使用分水岭算法，对泥沙颗粒图像中的泥沙颗粒进行分割处理。

6.如权利要求5所述的方法，其特征在于，在将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像之后，所述方法还包括：

填充泥沙颗粒图像中泥沙颗粒内部的空洞；

过滤掉泥沙颗粒图像中尺寸小于预设像素阈值的泥沙颗粒；

使用反集水区算法收窄泥沙颗粒的间隙；

将距离每个泥沙颗粒边界最大距离的点确定为每个泥沙颗粒的颗粒重心；

其中，使用分水岭算法，对泥沙颗粒图像中的泥沙颗粒进行分割处理，包括：使用分水岭算法，根据每个泥沙颗粒的颗粒重心，对泥沙颗粒图像中的每个泥沙颗粒进行分割处理。

7.一种基于分割重组的深度学习泥沙颗粒识别装置，其特征在于，包括：

图像采集模块，用于采集复杂河流环境下泥沙颗粒的原始图像；

图像分割模块，用于将所述原始图像分割为多个边缘重合的图像碎片；

泥沙颗粒识别模块，用于将分割后的每个图像碎片输入至预先训练好的泥沙颗粒识别模型中，输出每个图像碎片对应的泥沙颗粒识别结果，其中，所述泥沙颗粒识别模型为对U-net模型进行机器学习训练得到的模型；

图像重组模块，用于将多个图像碎片的泥沙颗粒识别结果重组为原始图像大小的泥沙颗粒图像。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

图像后处理模块，用于填充泥沙颗粒图像中泥沙颗粒内部的空洞；过滤掉泥沙颗粒图像中尺寸小于预设像素阈值的泥沙颗粒；使用反集水区算法收窄泥沙颗粒的间隙；将距离每个泥沙颗粒边界最大距离的点确定为每个泥沙颗粒的颗粒重心；使用分水岭算法，根据每个泥沙颗粒的颗粒重心，对泥沙颗粒图像中的每个泥沙颗粒进行分割处理。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述基于分割重组的深度学习泥沙颗粒识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一项所述基于分割重组的深度学习泥沙颗粒识别方法的计算机程序。