CN115984535A - 一种用于钻井作业现场的低照度图像判断以及图像增强方法 - Google Patents

Abstract

本发明公开了一种用于钻井作业现场的低照度图像判断以及图像增强方法，该方法包括以下步骤：首先将基于灰度图偏离均值和平均偏差的低照度判断方法与滑动窗口模式结合，实现钻井作业现场全局低照度、局部低照度及正常低照度三种情况的判断。构造钻井多曝光序列数据集联合训练Zero‑DCE网络，并将其应用到钻井作业现场，提升Zero‑DCE算法增强钻井作业特定环境下图像增强效果。本方法将低照度图像判断方法、低照度图像增强算法整合，形成了一个流程化的处理过程。本发明证实了与以往的单纯基于深度学习的图像增强算法相比，该方法在钻井监控影像上表现出了更好低照度增强效果。

Description

一种用于钻井作业现场的低照度图像判断以及图像增强方法

技术领域

本发明属于钻井环境下图像增强技术领域，特别涉及一种低照度图像判断及低照度图像增强的预处理方案。

背景技术

现实场景中的摄像头画面质量往往会受到天气、光照等环境影响，这些影响因素包括环境中不充分或不平衡的光照、物体背光或逆光等，使得一些图像信息湮没在暗处，呈现低照度的特点。而针对低照度图像增强的研究，可总结为两类：传统的增强算法以及基于深度学习的增强算法。

传统的低照度图像增强算法大都基于数学原理，比较权威的方法有基于直方图均衡化的方法、Gamma校正、基于Retinex理论的方法等。其中，直方图均衡化、Gamma校正等此类方法主要思想是使用非线性函数提高图像全局亮度，但容易丢失细节信息，产生大量噪点。基于Retinex理论的方法以颜色恒定不变感知理论为基础，通过估计并去除光照图像以减少低照度对原图像造成的影响，保留反射图像以实低照度图像增强效果。基于Retinex原理的算法缺乏健壮性，Robust Retinex模型引入噪声图估计来提升健壮性。Lime算法仅计算光照图，这减少了算法相当多的运算量。但传统的方法往往需大量的数学计算，使得算法的时间复杂度较高，不适用于作业现场中实时性需求。

目前基于深度学习的图像增强算法引起了人们的广泛关注，可分为两个分支：基于卷积神经网络的方法和基于GAN的方法。大多数基于卷积神经网络的解决方案都依赖于成对的数据来进行监督训练。LLNET是第一个使用深度学习实现对低光照有噪声图像的增强和去噪的网络。RetinexNet模型分为分解模块和增强网络模块，使用LOL数据集进行训练。此类方法中所使用的正常照度和低照度成对数据是通过软件后期合成的，模型泛化能力较差，不太适用于作业现场真实场景。基于无监督GAN的方法可以使用非成对的数据来训练模型，但仍需要精心挑选不成对的数据，故而对训练数据也有着较高的要求。

总的来说，传统的低照度图像增强算法由于涉及大量数学运算，而造成算法时间复杂度高。基于深度学习的图像增强算法更能满足钻井现场的实际需求。

发明内容

本发明提供了一套由低照度判断方法、低照度图像增强方法组成的图像预处理流程。对钻井现场画面存在低照度问题进行研究，提出了一种低照度图像判断方法，判断当前视频帧是否需要进行预处理。并自制钻井多曝光序列数据集联合训练Zero-DCE模型，解决钻井现场监控画面的低照度问题，赋予油田监控系统全天候、全时段监控能力。

为实现上述目的，本发明采用如下技术方案予以实现：

本发明提供了一套由低照度判断方法、低照度图像增强方法组成的图像预处理流程。包括如下步骤：

步骤S1：判断低照度图像，大多数低照度图像增强算法忽略了判断低照度图像这一环节。低照度图像灰度图的灰度级分布不均匀，像素主要堆积于灰度级较小的区域，利用该特点可粗略将低照度图像区分出来；

步骤S2：将井场监控的RGB彩色图像转化为灰度图像，计算灰度图偏离图像灰度级均值参考值α的均值、平均偏差以及亮度参数，通过计算亮度参数的大小判断图像是否为低照度；

步骤S3：将井场照度种类划分为正常光照图像、全局低照度图像、局部低照度图像。针对局部低照度图像，利用滑动窗口策略判断局部低照度图像，依次分析每个滑动窗口内的图像是否为低照度。针对全局低照度图像直接通过步骤S2中的亮度参数判断，从而尽数筛选出全局低照度和局部低照度的图像；

步骤S4：采集实际钻井井队的监控视频画面扩充Zero-DCE网络的训练数据集，以时间序列为标志进行存取，挑选2400张井队作业图像作为扩充数据集。

步骤S5：将低光照RGB图像每个像素值从[0,255]归一化至[0,1]范围内，然后输入到DCE-Net中来推理输入图像的最佳拟合光照增强曲线；

步骤S6：对输入RGB图像的三通道分别应用LE-curve，迭代使用8次以使增强曲线拥有更强的调节能力，最终共得到24个曲线参数图，对应DCE-Net中24个通道，从而映射输入RGB通道的所有像素，最终达到图像增强的效果；

进一步的，低照度图像的特征在于，灰度级越小意味着图像亮度越暗，那么当图片的亮度偏暗时，整体灰度级处于较小的区间范围内，那么均值会偏小；由于图像灰度图整体集中于左侧，意味着数据波动较小，那么方差偏小。通过上述方式判断图像是否为低照度图像。

进一步的，所述步骤S2中计算灰度图偏离图像灰度级均值参考值α的均值AVG、平均偏差A.D.以及亮度参数S的计算公式如下：

计算灰度图偏离阈值点α的平均偏差计算公式为：

其中H[i]表示灰度图中灰度级为的像素个数。

亮度参数S的计算公式为：

其中，AVG表示灰度图像素强度偏离α的均值，A.D.表示偏离α的平均偏差。通过计算S的大小判断图像是否为低照度，当S<＝1时，图像亮度正常；当S>1,AVG<0时，图像为低照度。

进一步的，所述步骤S3中利用滑动窗口策略判断局部低照度图像，依次分析每个滑动窗口内的图像是否为低照度，根据图像长宽大小设置滑动窗口大小，分别取原图像长宽的1/3作为滑动窗口的长宽，然后对每张滑动窗口的图像分别运用低照度判断方法，对每张图像使用滑动窗口判断1到9次，达到覆盖全图的效果。

进一步的，所述步骤S4中选用70余个钻井作业现场的监控视频，以时间为参照，每隔10分钟对每个监控画面进行保存，以此方式构造了并构造钻井多曝光序列数据集。

进一步的，所述步骤S5中DCE-Net由7个具有对称级联特性的普通卷积层组成，前6层卷积层后使用ReLU激活函数，最后1层后使用Tanh激活函数。另外，网络使用了3个跳步连接，用于进行第1和第6、第2和第5、第3和第4层输出的特征融合。

进一步的，所述的图像增强方法，其特征在于，所述步骤S6构造了一个非线性二阶方程LE-curve用于将低照度图像映射到增强图像，计算公式表示为：

LE_n(x)＝LE_n-1(x)+α_nLE_n(x)(1-LE_n-1(x))

LE(I(x)；α)＝I(x)+αI(x)(1-I(x))

其中x为图像中每一个像素的坐标，LE(I(x)；α)为将输入图像I(x)通过二阶方程映射后增强结果，α为可训练的曲线参数，用于调整映射方程的曲率大小。

进一步的，为了使照度增强模型实现零参考学习，Zero-DCE使用了4个非参考损失评估增强图像的质量，以调整网络的训练方向，损失函数如下：

空间一致性损失，目的是保持输入图像和增强结果间的对比度关系，促使增强后图像保持空间一致性：

其中，K表示局部区域个数，θ(i)表示以区域i为中心的4个相邻区域，Y和I表示输出图像和输入图像局部区域平均曝光值。

曝光控制损失，目的是通过比较增强后图像每一非重叠区域的光照强度与正常光照强度间的差异，衡量每一区域是否得到了良好的曝光效果：

其中，M表示大小为16×16的非重叠局部区域数量，Y表示输出图像中一个局部区域平均曝光强度。

颜色恒常损失，该损失函数基于颜色恒常理论，以减少R、G、B三通道间均值差异，用于纠正增强后图像中的颜色偏差：

其中，J^p表示增强图像中p个通道的平均光照强度值，(p,q)表示一组通道。

光照平滑损失，目的是使增强后的图像在水平梯度和垂直梯度上都能与增强前保持相同的单调关系：

其中，N表示迭代次数，

和

分别表示水平梯度运算和垂直梯度运算。

进一步的，所述的低照度判断方法，其特征在于，低照度图像判断方法将基于灰度图偏离均值和平均偏差的低照度判断方法与滑动窗口模式结合，实现钻井作业现场全局低照度、局部低照度及正常照度三种情况的判断。

进一步的，低照度增强处理算法的特征在于，自制钻井多曝光序列数据集联合训练优化模型，选取Zero-DCE算法应用到钻井作业现场，利用钻井多曝光序列数据集联合训练，提升Zero-DCE算法的针对钻井作业现场的处理效果。

进一步的，所述的用于钻井作业现场的低照度图像判断以及图像增强方法，其特征在于，将低照度图像判断方法、低照度图像增强算法整合，形成一个流程化处理过程，解决钻井现场监控画面的低照度问题，赋予油田监控系统全天候、全时段监控能力。

与现有的技术相比，本发明效果和优点是：

1、本发明提供的低照度图像预处理流程，提出一种低照度图像判断方法作为处理的前置条件，判断当前视频帧是否需要进行预处理。有效防止了正常照度的画面被刻意增强，不会造成过曝的情况，大量节省计算资源。

2、本发明提供的低照度图像判断方法采用了滑动窗口的方法，通过依次分析每个滑动窗口的图像是否为低照度，从而达到兼顾判别全局低照度图像和局部低照度图像的能力。

3、本发明提供的低照度图像增强方法，其结构轻量化，算法实时性强。较之传统的图像增强方法，本方法时间复杂度低，不会产生大量噪声，不会造成颜色失真、图片模糊，处理效果应优秀。

4、本发明采集实际钻井现场的监控视频画面训练数据集，以时间序列为标志进行存取，挑选2400张井队作业图像作为扩充数据集，训练得到的模型鲁棒性强，更加适用于钻井作业现场真实场景。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明一种用于钻井作业现场的低照度图像判断以及图像增强方法的流程图；

图2为全局低照度图像灰度示意图；

图3为局部低照度图像灰度示意图；

图4为部分自建的钻井多曝光序列数据集；

图5为Zero-DCE图像照度增强算法总体流程图；

图6为DCE-Net网络结构图；

图7为本图像增强算法在钻井现场的应用效果对比图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

1、转化为灰度图像

井场监控数据可分正常光照图像、全局低照度图像、局部低照度图像。首先将井场监控的RGB彩色图像转化为灰度图像，低照度区域像素整体朝灰度级小的区域大量分布，整体灰度级均值较小。由于灰度级越小意味着图像亮度越暗，那么当图片的亮度偏暗时，整体灰度级处于较小的区间范围内，那么均值会偏小。图2、图3分别为全局低照度图像灰度图、局部低照度灰度图。

2、全局低照度图像判别法

计算灰度图偏离图像灰度级均值参考值α的均值AVG、平均偏差A.D.以及亮度参数S，通过计算亮度参数的大小判断图像是否为低照度。当S<＝1时，图像亮度正常；当S>1,AVG<0时，图像为低照度。经过对实验结果的分析，当a取值为136时，对正常光照图像及全局低照度图像的判断正确率都能达到较高的水平。因此本方法选取阈值a为136作为钻井现场图像的低照度参考阈值。

3、滑动窗口法判别低照度图像

为了达到兼顾全局低照度和局部低照度的效果，本方法增加滑动窗口策略判断低照度图像，依次分析每个滑动窗口内的图像是否为低照度。首先根据图像长宽大小设置滑动窗口大小，分别取原图像长宽的1/3作为滑动窗口的长宽，然后对每张滑动窗口的图像分别运用低照度判断方法，对每张图像使用滑动窗口判断1到9次，达到覆盖全图的效果。若其中有一个滑动窗口的判定结果为低照度，则判定该图像为低照度图像。判别准确率如表1所示。

表1：使用滑动窗口的低照度判断方法实验结果

4、使用自建钻井时序照度数据集对图像增强模型进行训练

为满足钻井现场对图像质量的要求，使本方法更加适用于钻井作业现场真实场景，本方法采集实际钻井井队的监控视频画面扩充Zero-DCE网络的训练数据集，以时间序列为标志进行存取，挑选2400张井队作业场景图像作为扩充数据集，部分数据集如图4所示。

5、对低照度图像进行照度增强

Zero-DCE整体可分为三部分：Light-Enhancement Curve(光增强曲线)、DCE-Net(深度曲线估计网络)、Non-Reference Loss Functions(非参考损失函数)。Zero-DCE算法总体流程如图5做示。

DCE-Net由7个具有对称级联特性的普通卷积层组成，前6层卷积层后使用ReLU激活函数，最后1层后使用Tanh激活函数。另外，网络使用了3个跳步连接，用于进行第1和第6、第2和第5、第3和第4层输出的特征融合。如图6所示。

首先将低光照RGB图像每个像素值从[0,255]归一化至[0,1]范围内，然后输入到DCE-Net中来推理输入图像的最佳拟合光照增强曲线。然后对输入RGB图像的三通道分别应用LE-curve，迭代使用8次以使增强曲线拥有更强的调节能力，最终共得到24个曲线参数图，对应DCE-Net中24个通道，从而映射输入RGB通道的所有像素，最终达到图像增强的效果。增强对比如图7做示。

Claims (9)

1.一种用于钻井作业现场的低照度图像判断以及图像增强方法，其特征在于，包括如下步骤：

步骤S1：判断低照度图像，大多数低照度图像增强算法忽略了判断低照度图像这一环节。低照度图像灰度图的灰度级分布不均匀，像素主要堆积于灰度级较小的区域，利用该特点可粗略将低照度图像区分出来；

步骤S2：将井场监控的RGB彩色图像转化为灰度图像，计算灰度图偏离图像灰度级均值参考值α的均值、平均偏差以及亮度参数，通过计算亮度参数的大小判断图像是否为低照度；

步骤S3：将井场照度种类划分为正常光照图像、全局低照度图像、局部低照度图像。针对局部低照度图像，利用滑动窗口策略判断局部低照度图像，依次分析每个滑动窗口内的图像是否为低照度。针对全局低照度图像直接通过步骤S2中的亮度参数判断，从而尽数筛选出全局低照度和局部低照度的图像；

步骤S4：采集实际钻井井队的监控视频画面扩充Zero-DCE网络的训练数据集，以时间序列为标志进行存取，挑选2400张井队作业图像作为扩充数据集。

步骤S5：将低光照RGB图像每个像素值从[0,255]归一化至[0,1]范围内，然后输入到DCE-Net中来推理输入图像的最佳拟合光照增强曲线；

步骤S6：对输入RGB图像的三通道分别应用LE-curve，迭代使用8次以使增强曲线拥有更强的调节能力，最终共得到24个曲线参数图，对应DCE-Net中24个通道，从而映射输入RGB通道的所有像素，最终达到图像增强的效果。

2.根据权利要求1所述低照度图像判断方法，其特征在于，灰度级越小意味着图像亮度越暗，那么当图片的亮度偏暗时，整体灰度级处于较小的区间范围内，那么均值会偏小；由于图像灰度图整体集中于左侧，意味着数据波动较小，那么方差偏小。通过上述方式判断图像是否为低照度图像。

3.根据权利要求1所述的低照度图像判断方法，其特征在于，所述步骤S2中计算灰度图偏离图像灰度级均值参考值α的均值AVG、平均偏差A.D.以及亮度参数S的计算公式如下：

计算灰度图偏离阈值点α的平均偏差计算公式为：

其中H[i]表示灰度图中灰度级为的像素个数。

亮度参数S的计算公式为：

其中，AVG表示灰度图像素强度偏离α的均值，A.D.表示偏离α的平均偏差。通过计算S的大小判断图像是否为低照度，当S<＝1时，图像亮度正常；当S>1,AVG<0时，图像为低照度。

4.根据权利要求1所述低照度图像判断方法，其特征在于，所述步骤S3中利用滑动窗口策略判断局部低照度图像，依次分析每个滑动窗口内的图像是否为低照度，根据图像长宽大小设置滑动窗口大小，分别取原图像长宽的1/3作为滑动窗口的长宽，然后对每张滑动窗口的图像分别运用低照度判断方法，对每张图像使用滑动窗口判断1到9次，达到覆盖全图的效果。

5.根据权利要求1所述的图像增强方法，其特征在于，所述步骤S4中选用70余个钻井作业现场的监控视频，以时间为参照，每隔10分钟对每个监控画面进行保存，以此方式构造了钻井多曝光序列数据集。

6.根据权利要求1所述的图像增强方法，其特征在于，所述步骤S5中DCE-Net由7个具有对称级联特性的普通卷积层组成，前6层卷积层后使用ReLU激活函数，最后1层后使用Tanh激活函数。另外，网络使用了3个跳步连接，用于进行第1和第6、第2和第5、第3和第4层输出的特征融合。

7.根据权利要求1所述的图像增强方法，其特征在于，所述步骤S6构造了一个非线性二阶方程LE-curve用于将低照度图像映射到增强图像，计算公式表示为：

LE_n(x)＝LE_n-1(x)+α_nLE_n(x)(1-LE_n-1(x))

LE(I(x)；α)＝I(x)+αI(x)(1-I(x))

其中x为图像中每一个像素的坐标，LE(I(x)；α)为将输入图像I(x)通过二阶方程映射后增强结果，α为可训练的曲线参数，用于调整映射方程的曲率大小。

8.根据权利要求1所述的低照度判断方法，其特征在于，低照度图像判断方法，将基于灰度图偏离均值和平均偏差的低照度判断方法与滑动窗口模式结合，实现钻井作业现场全局低照度、局部低照度及人低照度三种情况的判断。

9.根据权利要求1所述的低照度图像增强方法，其特征在于，自制钻井多曝光序列数据集联合训练优化模型，选取Zero-DCE算法应用到钻井作业现场，利用钻井多曝光序列数据集联合训练，提升Zero-DCE算法的针对钻井作业现场的处理效果。最后将低照度图像判断方法、低照度图像增强算法整合，形成一个流程化处理过程。

Images