CN115272940B - 一种基于神经网络的岩屑颗粒智能计量方法及系统 - Google Patents

Abstract

本发明公开了一种基于神经网络的岩屑颗粒智能计量方法及系统，计量方法包括以下步骤：使用图像采集器采集视频图像并采用人工标注的方式制作训练样本集；使用样本集训练分割网络；使用图像采集器采集当帧图像；使用图像特征提取模块对图像的特征进行提取，生成多个特征图；使用图像特征分类模块将不同特征图拼接融合后还原至原始图像输入尺寸；根据特征张量参数计算每个像素点属于背景和前景的概率，进行岩屑区域智能识别计量。本发明对岩屑进行智能识别和计量，将传统岩屑计量方法存在的数分钟甚至数十分钟计量延时，缩短为秒级延时，处理延时短、效率高同时保证计量结果精确，为钻井工程提供了强有力的安全保障。

Description

一种基于神经网络的岩屑颗粒智能计量方法及系统

技术领域

本发明涉及油气勘探开发领域，具体涉及一种基于神经网络的岩屑颗粒智能计量方法及系统。

背景技术

随着人类对油气资源需求的增长，我国油气勘探开发不断向低渗透、非常规等复杂油气领域推进，钻井风险随之增大，严重威胁钻井安全。钻井复杂是钻井工程安全快速开展的决定性影响因素，钻井复杂一旦发生，其处理将会增加非作业时间，极大增加钻井成本。上返岩屑是钻头破岩的产物,是油气井岩石破碎机理研究的重要部分,是油气钻井中岩石破碎程度的重要信息，也是工况判断的重要手段。所以，对岩屑流量进行实时统计测量，不仅可以改善人工观察的延时性，也可以提高准确度。实时测量并记录岩屑流量，能直观反应整个钻井过程中返出岩屑的流量变化趋势，也能在对具体某个时间的井况分析提供参考。

现有的岩屑监测装置都是基于物理传感器对岩屑的流量进行测量，通过岩屑流量计、安装称重托盘等改造振动筛或者安装复杂的装置的方式来进行岩屑流量的统计。传统的统计方法不仅安装制造成本高、计量延时大，还需要定期的维护和调整，增加了人力资源的消耗。

现有技术存在的缺点有：

（1）传统的测量岩屑流量的装置安装和制造成本高，并且维护与调整麻烦，浪费大量人力；

（2）传统的岩屑流量装置的测量效率不够高，并且测量结果精度不够高。

发明内容

为解决上述技术问题，本发明提供一种基于神经网络的岩屑颗粒智能计量方法及系统。

本发明提供了一种基于神经网络的岩屑颗粒智能计量方法，包括以下步骤：

S1，使用图像采集器采集视频图像，并制作训练样本集；

S2，使用图像特征提取模块对图像的特征进行提取，生成多个特征图；

S3，使用图像特征分类模块将不同特征图拼接融合后还原至原始图像输入尺寸；

S4，根据特征张量参数计算每个像素点属于背景和前景的概率，进行样本岩屑区域智能识别；

S5：使用样本集结合损失函数训练分割网络；

S6：使用图像采集器实时采集现场岩屑区域视频，对视频进行周期性图片抽帧；

S7：使用训练好的分割网络计算图像帧中每个像素点属于背景和前景的概率，进行岩屑区域的实时智能识别并计量。

进一步的，步骤S1包括以下子步骤：

S101,图像采集器实时采集多种型号的振动筛工作视频，所述视频包括普通泥浆振动筛视频和负压振动筛的筛面视频；

S102，将采集到的视频进行整理、归类；

S103，将视频按照设定的帧率进行抽帧并转化为序列帧图片；

S104，筛选出序列帧图片中包含岩屑的图片并进行标记，用色块标出图片中的岩屑颗粒大小及形状。

进一步的，步骤S2包括以下子步骤：

S201，将图片输入图像特征提取模块，通过卷积层、LN层、主干层和下采样层，得到输出结果；

S202，将第一层主干模块的输出作为特征图1，将第二层主干模块的输出作为特征图2，将第三层主干模块的输出作为特征图3，将第四层主干模块的输出作为特征图4，将最后一层卷积层的输出作为特征图5。

进一步的，所述步骤S3包括以下子步骤：

S301，特征图N通过第一层上采样模块，将该层图特征尺寸还原至与该层的上一层特征图尺寸一致，输出特征图N’；

S302，transformer模块将上采样之后的特征图N’和对应的特征图N-1作为共同输入，输出一个新的特征张量，所述对应的特征图N-1是指和上采样之后的图像N’尺寸相同的特征图；

S303，判断新的特征张量尺寸是否为输入图像尺寸的四分之一，如判断为是，则接着对其进行2次上采样处理，输出张量尺寸和输入的图像尺寸相同，再使用一层卷积层调整通道数为标签类别数，输出分离的通道特征图；如判断为否，则将其返回至模块输入第一层上采样模块重复S301、S302、S303的操作。

进一步的，所述步骤S4包括以下子步骤：

S401，利用S3中生成的特征图的权值，计算每个像素点属于背景和前景的百分比；

S402，将百分比阈值设为50%，超过50%视该像素点属于前景，即岩屑颗粒图像的像素点，将背景像素点置为黑色，前景像素点置为标签颜色。

进一步的，所述步骤S5采用交叉熵函数作为网络的损失函数，选用自适应估计矩作为网络的优化器。

进一步的，所述步骤S6中图片抽帧周期设为秒级，计算机在每个周期之初，从实时视频中抽取当前输入视频的最新图像帧。

进一步的，所述步骤S7进行岩屑计量的方法为：统计前景像素点个数，计算其占图像像素点总数的百分比，乘以对应拍摄的筛面面积，获得岩屑面积，获得岩屑面积。

本发明还提供了一种基于神经网络的岩屑颗粒智能计量系统，包括图像采集器、图像特征提取模块和图像特征分类模块；

所述图像采样器包括高帧率高清摄像机和补光装置，高帧率高清摄像机设置在振动筛筛面附近适当位置，用于拍摄岩屑颗粒视频；

所述图像特征提取模块结构包括卷积层、LN层、激活函数和池化层，所述模块网络前2层为1层卷积层和1层LN激活函数层，接着依次交替连接若干主干模块与下采样模块，最后以2层卷积层结束；

所述图像特征分类模块结构为1层上采样模块连接transformer模块，其中transformer模块输出端还设有判断条件，用于判断特征张量尺寸是否等于输入图像尺寸的四分之一，如等于，transformer模块输出再连接2层上采样模块和1层卷积层以便后续处理；如不等，循环上采样模块和transformer模块的处理。

本发明的优点是：

（1）本发明用于测量岩屑流量的装置安装简便，测量时的调整与后期维护也非常方便，节约了人力成本；

（2）本发明、对岩屑进行智能识别和计量，将传统岩屑计量方法存在的数分钟甚至数十分钟计量延时，缩短为秒级延时，处理延时短、效率高同时保证计量结果精确，为钻井工程提供了强有力的安全保障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为岩屑颗粒识别的流程图；

图2为岩屑图像智能识别网络结构图；

图3为图像特征提取模块结构图；

图4为图像特征提取中主干模块结构图；

图5为图像特征提取中下采样模块结构图；

图6为图像特征分类模块结构示意图；

图7为图像特征分类中transform模块结构图。

具体实施方式

本发明基于神经网络的岩屑颗粒智能计量方法包括两个主要部分，第一部分是使用多特征提取模块，提取图像的多尺寸特征图；第二部分是引入transformer模块和上采样模块，将第一部分提取的深层特征与浅层特征相融合，从多个层次维度重新组合，形成更具代表性的岩屑区域特征。如图1所述为本发明岩屑检测计量的流程图，岩屑检测计量包括以下步骤：

S1，使用图像采集器采集视频图像，并制作训练样本集；

S2，使用图像特征提取模块对图像的特征进行提取，生成多个特征图；

S3，使用图像特征分类模块将不同特征图拼接融合后还原至原始图像输入尺寸；

S4，根据特征张量参数计算每个像素点属于背景和前景的概率，进行样本岩屑区域智能识别；

S5：使用样本集结合损失函数训练分割网络；

S6：使用图像采集器实时采集现场岩屑区域视频，对视频进行周期性图片抽帧；

S7：使用训练好的分割网络计算图像帧中每个像素点属于背景和前景的概率，进行岩屑区域的实时智能识别并计量。

其中图像采集装置用于采集振动筛实时视频。由于振动筛振动以及岩屑的运动，导致岩屑相对于图像位移较快，容易出现拖影，造成目标不清晰或者尺寸放大若干倍，因此一般需利用高帧率、高清摄像装置，并配合补光装置，在振动筛筛面上方1米左右距离，录制振动筛面正常运行时的视频。录制视频图像的中心点尽量在振动筛中心，图像的成像宽度范围包括整个振动筛宽度，成像长度范围应尽可能大。将摄像装置固定好后，使用人工测量所拍摄照片中筛面在实际筛面四个端点之间的距离，从而测量拍摄图像中对应的筛面面积。

若摄像装置在现场安装条件不理想，该位置可根据现场实际情况进行调整，但应尽量确保视频画面能基本覆盖筛面，以及岩屑和泥浆运移较为集中和明显的区域，以保证识别效果。此外，摄像机的焦距设置，图像的像素值设置等应保证岩屑目标清晰可见，岩屑边缘有明显像素变化。摄像机具备将拍摄视频实时传输给处理计算机的功能。

智能识别训练样本的制作：在现场收集多种型号的振动筛工作实时视频，包括普通泥浆振动筛、负压振动筛的筛面等，将采集到的多个时长的视频资料进行整理、归类，采取每秒抽24帧的方式将视频转化为若干张图片的集合。人工筛选出图片集合中包含岩屑颗粒的图像，采用人工标注的方式，用颜色给图像赋予岩屑颗粒标记，也就是人为判断在该图中有返出的岩屑颗粒，且颗粒数量，大小和形状与标记区域表征信息一致。后续可通过标记区域的形状和大小，反映岩屑颗粒的形状和大小；可通过计算标记区域的总面积，得到返出岩屑的总面积大小，并通过不断计算该总面积大小的变化，间接推算出返出岩屑流量的变化。

岩屑颗粒图像智能识别网络架构设计：为了能让机器自动识别出图像中的岩屑颗粒特征，需设计图像特征提取模块和图像特征分类模块。

特征提取模块（编码器）：在本次项目中，基于ConvNeXt网络和transformer网络结构，搭建分割网络。原始ConvNeXt网络的高准确率反映在图像分类中，本文基于ConvNeXt网络，构建新的特征提取网络，搭建语义分割网络的图像特征提取部分：删掉了ConvNeXt网络的最后三层，并连接下采样模块和卷积层，提高其特征提取能力，并生成更深层特征图；从网络中提取出不同分辨率的特征张量，作为特征图；下采样使得特征图通道数加倍，该操作可以增大深层特征的感受野，保证了特征在一定程度上的全局性。

图像特征分类模块（解码器）：解码路径与编码路径基本对称，包括5次上采样，因为上采样操作之后会导致一部分信息的损失,所以将上采样之后的特征图与对应的具有相同分辨率的编码路径特征图进行跳跃拼接，来自编码层的特征有较高的分辨率，而来自解码层上采样提取的特征映射包含更多的语义信息。相比U-Net中原始的拼接操作，本发明使用transformer模块，更好地处理来自上采样之后的特征图与对应编码路径的特征图，可以获得更精确的分割输出。

如图3所示为图像特征提取模块的结构图，网络架构包括卷积层、LN层、激活函数和池化层，网络前两层是卷积层和LN激活函数层，其中卷积层的卷积核大小为2×2，步长为4；之后连接3个主干模块，其输出作为特征图1；再连接下采样模块和3个主干模块，其输出作为特征图2；再连接下采样模块和9个主干模块，其输出作为特征图3；再连接下采样模块和3个主干模块，其输出作为特征图4；

输出特征图4后，通用的ConvNeXt网络连接LN激活函数层和全连接层，结束特征提取过程。但是本设计的网络，后续连接下采样模块和2个卷积层，其中卷积层的卷积核大小为3×3，步长为1，其输出作为特征图5。

大部分的特征提取网络在一般第三次堆叠的主干部分的次数是最多的，借鉴SwinTransformer网络，将堆叠次数增长到9次，是其他部分的3倍，提高了特征提取精度。同时增加了ConvNeXt网络的深度，达到了增强全局特征提取的能力，产生在图像整体分割具有更好的效果的小尺寸特征图。

如图4为图像特征提取主干模块结构图，输入数据经过Depthwise卷积层和LN层。其中Depthwise卷积层的卷积核大小为7×7，步长为1，padding值为3，数据尺寸大小不变，输出通道数和输入通道数也一样；后连接卷积核大小为1×1，步长为1的卷积层，和GELU激活函数层，数据尺寸大小不变，其输出通道数变为原来的4倍；后连接卷积核大小为1×1，步长为1的卷积层、Layer Scale层和Drop Path层，数据尺寸大小不变其输出通道数变为原来的四分之一；将该输出与主干模块的输入对应相加，最终达到数据尺寸大小不变，输出通道数和输入通道数也不变的效果。

如图5为图像特征提取下采样模块结构图，通常卷积神经网络中，最初的下采样模块一般都是通过一个卷积核大小为7x7步距为2的卷积层以及一个步距为2的最大池化下采样共同组成，高和宽都下采样4倍。但在Transformer模型中一般都是通过一个卷积核非常大且相邻窗口之间没有重叠的卷积层进行下采样。比如在Swin Transformer中采用的是一个卷积核大小为4x4步距为4的卷积层构成，同样是下采样4倍。所以借鉴的思想构建下采样模块：由LN层连接卷积核大小为2×2，步长为2的卷积层，其输入通道数和输出通道数相同，以提高其精确度。

如图6所示为图像特征分类模块结构图，图中上采样模块，选用线性插值的方式来实现上采样操作，其目的是将输入的特征张量的尺寸放大1倍，通道数缩小为输入的一半。为了保证和后续transformer模块的连接，上采样模块的输出与和该输出尺寸通道数相同的特征图作为transformer模块的输入。输出一个和上采样模块输出尺寸通道数相同的特征张量。transformer模块是由Swim Transformer Block组成，一个Swim TransformerBlock是由8个Swim Transformer Layer组成。图像特征分类中transformer模块结构如图7所示，特征张量首先经过LN层和窗口注意力模块，输入的特征张量是上采样之后的特征张量，和与输入的特征张量尺寸相同的特征图；注意力模块的输出与输入再叠加输入LN层，LN层的输出作为多层感知器的输入；多层感知器层的输出和LN层的输入叠加输入到LN层和窗口多头注意力模块；窗口多头注意力模块的输出和与之相联的LN层的输入叠加输入至LN层；LN层书输出作为多层感知器的输入；多层感知器的输出和与之相联的LN层的输出作为输出。

当transformer模块输出的图像张量尺寸为输入图像尺寸的四分之一时，对其进行2次上采样处理，输出张量尺寸和输入的图像尺寸相同；再使用1×1卷积来调整通道数为标签类别数（由于本实施例仅需区分背景与岩屑区域，因此标签类别数为2）。此时两个通道为背景和前景（岩屑区域）特征图，根据该特征结合损失函数计算每个像素点属于背景和前景的概率，然后再利用概率乘以图像覆盖的面积获得岩屑面积，完成自动识别。该操作减少了模型参数的数量，同时大大降低了过拟合的可能性。最终通过计算每个像素属于岩屑、背景的概率来实现振动筛岩屑区域的自动识别。

本发明中的岩屑区域识别系统采用交叉熵函数作为网络的损失函数，选用自适应估计矩（Adam）作为网络的优化器。Adam算法与传统的随机梯度下降算法的不同之处在于Adam算法通过计算梯度的一阶矩估计和二阶矩估计来为不同的权重参数设立独立的、具有自适应性的学习率。该方法计算效率高，所需内存少，适合解决大规模参数优化问题，因此本文设计的系统网络也选用该优化器。

在实际应用过程中，但由于岩屑颗粒识别处理需要消耗时间，故本系统无法对视频中每帧图像进行识别，且岩屑颗粒流量的变化过程一般持续数秒甚至数十秒，故在秒级范围内更新监测数据，较为符合现场实际，因此现场可采取视频抽帧的方式获取处理图像。

设置秒级识别周期，确保计算机能在该周期完成岩屑颗粒的识别和计量工作。计算机在每个周期之初，从实时视频中抽取当前输入视频的最新图像帧进行岩屑识别，周而复始，保证始终处理最新图像帧，兼顾时效性和精准性。

将抽取的图像帧送入图像特征提取模块进行特征提取，并进行前景、背景的分类，同时获得整体分割图。分类完成后，统计图像中属于前景（岩屑）的像素点个数，以及前景像素点个数所占对应整体图像的像素点个数的比例；利用该比例乘以图像覆盖的面积，获得岩屑面积，即实现当前岩屑流量的计量。岩屑颗粒智能计量系统连续且实时更新岩屑面积参数，作为岩屑流量变化的依据，并将该参数以曲线或数值的方式实时展示，即实现岩屑流量的跟踪。

本发明岩屑颗粒智能计量的方法较现有的物理检测计量方式，计量延时短，将传统岩屑录井过程中，返出岩屑量参数所固有的数分钟甚至数十分钟计量延时，缩短为秒级延时。由此结合迟到井深参数可建立实时的井筒深度--返出岩屑量剖面，为钻井过程中井壁状况这一关键信息的掌控，提供了更为直观的监测手段。也大幅节约了人力资源，满足了当前钻井降本增效的迫切需求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于神经网络的岩屑颗粒智能计量方法，其特征在于，包括以下步骤：

S1，使用图像采集器采集视频图像，并制作训练样本集，包括以下子步骤：

S101,图像采集器实时采集多种型号的振动筛工作视频，所述视频包括普通泥浆振动筛视频和负压振动筛的筛面视频；

S102，将采集到的视频进行整理、归类；

S103，将视频按照设定的帧率进行抽帧并转化为序列帧图片；

S104，筛选出序列帧图片中包含岩屑的图片并进行标记，用色块标出图片中的岩屑颗粒大小及形状；

S2，使用图像特征提取模块对图像的特征进行提取，生成多个特征图，还包括以下子步骤：

S201，将图片输入图像特征提取模块，通过卷积层、LN层、主干层和下采样层，得到输出结果；

S202，将第一层主干模块的输出作为特征图1，将第二层主干模块的输出作为特征图2，将第三层主干模块的输出作为特征图3，将第四层主干模块的输出作为特征图4，将最后一层卷积层的输出作为特征图5；

S3，使用图像特征分类模块将不同特征图拼接融合后还原至原始图像输入尺寸，包括以下子步骤：

S301，特征图N通过第一层上采样模块，将该层图特征尺寸还原至与该层的上一层特征图尺寸一致，输出特征图N’；

S302，transformer模块将上采样之后的特征图N’和对应的特征图N-1作为共同输入，输出一个新的特征张量，所述对应的特征图N-1是指和上采样之后的图像N’尺寸相同的特征图；

S303，判断新的特征张量尺寸是否为输入图像尺寸的四分之一，如判断为是，则接着对其进行2次上采样处理，输出张量尺寸和输入的图像尺寸相同，再使用一层卷积层调整通道数为标签类别数，输出分离的通道特征图；如判断为否，则将其返回至模块输入第一层上采样模块重复S301、S302、S303的操作；

S4，根据特征张量参数计算每个像素点属于背景和前景的概率，进行样本岩屑区域智能识别；

S5：使用样本集结合损失函数训练分割网络；

S6：使用图像采集器实时采集现场筛面岩屑区域视频，对视频进行周期性图片抽帧，设置秒级识别周期；

S7：使用训练好的分割网络计算图像帧中每个像素点属于背景和前景的概率，进行岩屑区域的实时智能识别并计量，计量的方法为：统计前景像素点个数，计算其占图像像素点总数的百分比，乘以对应拍摄的筛面面积，获得岩屑面积。

2.根据权利要求1所述的一种基于神经网络的岩屑颗粒智能计量方法，其特征在于，所述步骤S4包括以下子步骤：

S401，利用S3中生成的特征图的权值，计算每个像素点属于背景和前景的百分比；

S402，将百分比阈值设为50%，超过50%视该像素点属于前景，即岩屑颗粒图像的像素点，将背景像素点置为黑色，前景像素点置为标签颜色。

3.根据权利要求1所述的一种基于神经网络的岩屑颗粒智能计量方法，其特征在于，所述步骤S5采用交叉熵函数作为网络的损失函数，选用自适应估计矩作为网络的优化器。

4.根据权利要求1所述的一种基于神经网络的岩屑颗粒智能计量方法，其特征在于，所述步骤S6中图片抽帧周期设为秒级，计算机在每个周期之初，从实时视频中抽取当前输入视频的最新图像帧。

5.一种基于神经网络的岩屑颗粒智能计量系统，采用权利要求1-4所述的一种基于神经网络的岩屑颗粒智能计量方法运行，其特征在于，包括图像采集器、图像特征提取模块和图像特征分类模块；

所述图像采集器包括高帧率高清摄像机和补光装置，高帧率高清摄像机设置在振动筛筛面附近适当位置，用于拍摄岩屑颗粒视频；

所述图像特征提取模块结构包括卷积层、LN层、激活函数和池化层，所述模块网络前2层为1层卷积层和1层LN激活函数层，接着依次交替连接若干主干模块与下采样模块，最后以2层卷积层结束；

所述图像特征分类模块结构为1层上采样模块连接transformer模块，其中transformer模块输出端还设有判断条件，用于判断特征张量尺寸是否等于输入图像尺寸的四分之一，如等于，transformer模块输出再连接2层上采样模块和1层卷积层以便后续处理；如不等，循环上采样模块和transformer模块的处理。