CN112037158B - 一种基于页岩气田生产设备图像增强标注方法 - Google Patents

Abstract

本发明一种基于页岩气田生产设备图像增强标注方法，涉及图像融合增强领域，首先对需要识别的目标物在一定的不同角度、距离、高度、光线下进行目标物图像采集，并抠出目标物图像，然后在采集目标物识别任务场景下，以同样的方式在不同的高度和距离下，采集背景图像，最终通过特定的图像增强技术处理后，对目标物图像和背图像景进行随机配对，并进行泊松融合，采集了原始数据集并增强了较小的原始图像数据集，解决了现有的采集图像样本和现有技术中框架里的增强技术，在样本基数太小时，样本的丰富度并没有显著的提升的问题。

Description

一种基于页岩气田生产设备图像增强标注方法

技术领域

本发明涉及图像融合增强领域，特别涉及一种基于页岩气田生产设备图像增强标注方法。

背景技术

一般而言，比较成功的深度学习神经网络模型需要大量的参数，许许多多的深度学习神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有我们想象中的那么多。在现实的工作中可以采集获得更多新的数据，并进行标注，但这种方法难度较大，需要大量的时间，资金和人力成本，所以现有技术中很多使用数据增强方法来处理上述问题，即利用已有的数据比如翻转、平移或旋转，创造出更多的数据，来使得神经网络具有更好的泛化效果。数据增强主要有两个作用：1.增加训练的数据量，提高模型的泛化能力；2.增加噪声数据，提升模型的鲁棒性。

目前深度学习框架训练都采取在线增强的方式进行数据增强，这种增强的方法用于，获得batch数据之后，然后对这个batch的数据进行增强，如旋转、平移、翻折等相应的变化，由于有些数据集不能接受线性级别的增长，这种方法常用于大的数据集，很多机器学习框架已经支持了这种数据增强方式，并且可以使用GPU优化计算。但在实际生产中模型往往只有较小的数据集，在使用框架里的增强技术后，由于样本基数太小，样本的丰富度并没有显著的提升，所以以上在线增强技术往往不能的提升模型的精度。因此现工业界需要一种采集原始数据集并增强较小数据集的算法。

发明内容

本发明的目的在于：提供了一种基于页岩气田生产设备图像增强标注方法，首先对需要识别的目标物在一定的不同角度、距离、高度、光线下进行图像采集，并抠出目标物图像，然后在采集目标物识别任务场景下，以同样的方式采集背景图像，最终通过特定的图像增强技术处理后，对目标物和背景进行随机配对，并进行泊松融合，采集了原始数据集并增强了较小的原始数据集，解决了在使用现有技术中框架里的增强技术后，由于样本基数太小，样本的丰富度并没有显著的提升的问题。

本发明采用的技术方案如下：

一种基于页岩气田生产设备图像增强标注方法，主要包括以下步骤：

步骤1目标物图像采集：在目标物识别任务场景下，对需要识别的目标物在不同角度、不同距离、不同高度和不同光线下分别进行图像采集，并抠出目标物图像，去掉背景；

步骤2背景采集：在目标物识别任务场景下，在不同距离和不同高度采集背景图像；

步骤3目标物图像处理：对采集的目标物图像做数据增广，生成更多目标物图像；

步骤4目标物图像与背景图像融合：将各个背景图像分别与步骤3生成的目标物图像随机配对，并采用泊松融合算法对目标物图像和背景图像进行融合；

步骤5融合图像增强：对步骤4中目标物图像和背景图像融合后的图像进行图像增强。

在步骤1中主要是对目标物进行采集，在采集时，我们需要对目标物采集各种不同的图像，包括不同的距离、高度、角度、光线，但是我们也不可能对每一个距离、高度、角度、光线下的目标物都进行采集，故而我们需要进行典型目标角度的采集，这样采集出的目标物图像更有针对性和代表性，目标物图像之间更有区别性。

进一步地，所述步骤1中采集目标物图像时，不同角度和距离的采集方式为，确定目标物在目标物识别任务场景下的最远距离、最近距离及应用角度a，再确定最远距离和最近距离的中间距离，在最近距离且角度为的作为一个点位；在中间距离且角度为/>和/>的作为两个点位；在最远距离且角度为0、/>a的作为三个点位，总共六个点位。

进一步地，所述步骤1中采集目标物图像时，不同高度的采集方式为，确定目标物识别任务场景下需要检测的最高点和最低点，并计算出中点，分别在最高点、中点、最低点三个高度上，选择三个水平向相距一定距离的点分别采集目标物图像。

进一步地，所述步骤1中采集目标物图像时，不同高度的采集方式为，确定目标物识别任务场景中需要检测的最高点和最低点，并计算出中点，分别在最高点、中点、最低点三个高度上，选择三个水平向相距0.5～1米的点分别采集目标物图像。

进一步地，所述步骤1中采集目标物图像时，不同光线的采集方式为，选取三个不同的天气：晴天、雨天和阴天；三个不同的时间：早上、中午、晚上，把不同天气和不同时间分别组合后对目标物进行采集。

在采集目标物时如果没有针对性，随意选取一些不同的距离、高度、角度、光线采集目标物，那么会导致采集的目标物图像彼此之间特征很相近，作为训练深度学习的数据集来说，重复性较高的目标物图像，虽然最后形成的数据集内的图像数量很多，但是最后训练出的深度学习的识别性能并不好，因此我们需要保证采集的目标物图像彼此间的差异性。

本发明首先将目标物识别任务场景的距离范围和角度范围结合，这里的目标物识别任务场景是指在实际应用中，会用到的识别目标物的角度、距离和高度范围。选择目标物识别任务场景的最远和最近距离，结合目标物实际应用的角度a，选取了近中远三个距离共六个采集点位，同时选取了三个高度的九个采集点位，这里选取三个高度的九个采集点位时，是对应前述角度和距离范围的六个点位，对于这六个点位，每个采用该方法再延伸出九个采集点位，这九个点位在同一排中的三个点位彼此之间一般相距0.5～1米，这个距离时相对来说图像比较有差异但是采集点不会太远，同时，在其中某一点的采集图像不清晰时，对最终形成的图像集影响较小。

而我们选取三个天气和三个时间点，这里的三个天气对不同的光线有较强的代表性，三个时间也对光线强度有较强的代表性，早上一般指5时到7时，中午指11时到13时，晚上指17时-19时，这样选取，既兼顾了较多的角度、距离和高度，并且在不同光线下的目标物都有了对应的原始样本的图像，避免了相似度较高的目标物采集，并且每个采集的图像之间都会有一定的差异性，降低了采集目标物图像的数量，最大化的强化了每个点位的采集图像的特殊性，降低了每个点位之间的重复性，进而进行最少化的拍摄采集工作，又能采集出较好的原始目标物图像样本集。

进一步地，所述步骤2中采集背景图像时，采集方式为，选取在目标物识别任务场景下的三个高度，并分别在三个高度下选择三个不同的拍摄距离，并在该距离下选取至少一个方向采集背景图。

对于目标物的背景图像，和目标物图像的采集相同的是，同样将目标物识别任务场景的距离范围和高度范围结合，选择目标物识别任务实际应用的三个高度，并且选取最远、最近和中间距离，共九个采集点位，覆盖了目标物应用场景的背景的常用的高度和距离，这里采集背景时通常是采集不包括目标物的、实际应用中会放置目标物的背景图像。

进一步地，在步骤4中我们将步骤2中生成的各背景图像和步骤3中生成目标物图像进行随机配对融合，采用的泊松融合算法具体为：定义目标物Ω在背景f^*的最简单的差值函数f，f在目标物的边界和背景的内边界重合时是未知等于已知，目标物的边界在背景的内边界内部时梯度变化最小,梯度在二阶偏导为0时取极值

其中是梯度运算，f的最小值Δf必须满足相关的拉格朗日方程

其中是拉普拉斯算子，一个引导域是最小化问题(1)的扩展版本中使用的向量域v，这里v是引导向量，也就是前景，向量域v满足：

它的解是Dirichlet边界条件下泊松方程的唯一解：

其中是v＝(u,v)的散度；

一个有用的替代方案是理解泊松插值所做的是Ω定义上修正的函数，以保证将泊松方程(4)变成有边界条件的拉普拉斯方程：

因此可以得出，在目标物Ω内，添加的修正是边界上源和目标错误匹配(f^*-g)的一个插值。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明一种基于页岩气田生产设备图像增强标注方法，对需要识别的目标物在特定的三个的不同角度、距离选取六个采集点，在三种高度选取九个采集点，并且在三种天气三种时间的不同光线下进行目标物图像采集，兼顾了不同的角度、距离、高度、光线下的目标物，避免了相似度较高的目标物采集，最大化的强化了每个点位的采集图像的特殊性，降低了每个点位之间的重复性，进而进行最少化的拍摄采集工作，更好地采集出原始样本集；

2.本发明一种基于页岩气田生产设备图像增强标注方法，将目标物应用的距离范围和高度范围结合，选择目标物检测任务实际应用的三个高度，并且选取最远、最近和中间距离，共九个采集点位，覆盖了目标物应用场景的各个角度，同时又避免了重复性较大的角度；

3.本发明一种基于页岩气田生产设备图像增强标注方法，采用特殊的目标物和目标物背景的采集方法，同时结合目标物和背景的融合，形成了多组数据集，解决了在使用现有技术中框架里的增强技术后，由于样本基数太小，样本的丰富度并没有显著的提升的问题。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的原理框图；

图2是本发明目标物不同距离和角度的采集点位示意图；

图3是本发明目标物不同高度的采集点位示意图；

图4是本发明的泊松融合算法原理示意图；

图5是本发明的交集解释示意图；

图6是本发明的并集解释示意图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1至图6对本发明作详细说明。

实施例1：

一种基于页岩气田生产设备图像增强标注方法，如图1，主要包括以下步骤：

步骤1目标物图像采集：在目标物识别任务场景下，对需要识别的目标物在不同角度、不同距离、不同高度和不同光线下分别进行图像采集，并抠出目标物图像，去掉背景；

步骤2背景采集：在目标物识别任务场景下，在不同距离和不同高度采集背景图像；

步骤3目标物图像处理：对采集的目标物图像做数据增广，生成更多目标物图像；

步骤4目标物图像与背景图像融合：将各个背景图像分别与步骤3生成的目标物图像随机配对，并采用泊松融合算法对目标物图像和背景图像进行融合；

步骤5融合图像增强：对步骤4中目标物图像和背景图像融合后的图像进行图像增强。

为了保证采集的目标物图像之间有区别性，目标物图像有代表性，因此我们需要在不同情况下采集目标物图像，以增强采集出的目标物图像数据集的多样性，同时又不能让采集的任务变得冗长复杂，故而我们选择不同的角度、距离、高度和光线下的目标物进行采集，在不同距离和高度采集背景图像。

实施例2

本发明在上述实施例1的基础上，如图2，所述步骤1中采集目标物图像时，不同角度和距离的采集方式为，确定目标物在目标物识别任务场景下的最远距离、最近距离及应用角度a，再确定最远距离和最近距离的中间距离，在最近距离且角度为的作为一个点位；在中间距离且角度为/>和/>的作为两个点位；在最远距离且角度为0、/>a的作为三个点位，总共六个点位。

步骤1中采集目标物图像时，不同高度的采集方式为，确定目标物识别任务场景中需要检测的最高点和最低点，并计算出中点，分别在最高点、中点、最低点三个高度上，选择三个水平向相距0.5～1米的点分别采集目标物图像。如图3，这里的最高点和最低点分别是2.2米和1.6米，并计算出中点1.9米，分别在最高点2.2米、中点1.9米、最低点1.6米三个高度上，选择三个水平向相距0.5米的点分别采集目标物图像。所述步骤1中采集目标物图像时，不同光线的采集方式为，选取三个不同的天气：晴天、雨天和阴天；三个不同的时间：早上、中午、晚上，把不同天气和不同时间分别组合后对目标物进行采集。

所述步骤2中采集背景图像时，采集方式为，选取场景中目标检测任务可能视线的三个高度，并分别在三个高度下选择三个拍摄距离，并在该距离下选取至少一个方向采集背景图。

如图4，在步骤4中我们将步骤2中生成的各背景图像和步骤3中生成目标物图像进行随机配对融合，采用的泊松融合算法具体为：定义目标物Ω在背景f^*的最简单的差值函数f，f在目标物的边界和背景的内边界重合时是未知等于已知，目标物的边界在背景的内边界内部时梯度变化最小,梯度在二阶偏导为0时取极值

其中是梯度运算，f的最小值Δf必须满足相关的拉格朗日方程

其中是拉普拉斯算子，一个引导域是最小化问题(1)的扩展版本中使用的向量域v，这里v是引导向量，也就是前景，向量域v满足：

它的解是Dirichlet边界条件下泊松方程的唯一解：

其中是v＝(u,v)的散度；

一个有用的替代方案是理解泊松插值所做的是Ω定义上修正的函数，以保证

将泊松方程(4)变成有边界条件的拉普拉斯方程：

因此可以得出，在目标物Ω内，添加的修正是边界上源和目标错误匹配(f^*-g)的一个插值。

本实施例的其他部分与上述实施例1相同，故不再赘述，在步骤1中主要是对目标物进行采集，在采集时，我们需要对目标物的各个广义上的角度进行采集，包括不同的距离、高度、角度、光线，但是我们也不可能对每一个距离、高度、角度、光线下的目标物都进行采集，故而我们需要进行典型目标角度的采集，本发明的目标物图像的采集方法将目标物应用的距离范围和角度范围结合，选择目标物实际应用的最远和最近距离，结合目标物实际应用的角度a，选取了近中远三个距离共六个采集点位，同时选取了三个高度和三个天气三个时间，这样选取，对同一目标物采集486张图像，既兼顾了较多的角度，又兼顾了不同距离和高度，并且在不同光线下的目标物都有了对应的原始样本图像，避免了相似度较高的目标物采集，最大化的强化了每个点位的采集图像的特殊性，降低了每个点位之间的重复性，进而进行最少化的拍摄采集工作，采集出原始样本集。

对于目标物的背景图像，相同的是，同样将目标物应用的距离范围和高度范围结合，选择目标物检测任务实际应用的三个高度，并且选取最远、最近和中间距离，共九个采集点位，覆盖了目标物应用场景的各个角度，同时又避免了重复性较大的角度，结合目标物图像，总共产生486×9＝4374张标注图像，涵盖了对目标物检测的各个角度、光线、距离、背景的不同条件。

通过本发明对图像数据进行增强后，使用同样的深度学习目标检测SSD算法，我们对10个目标进行了测试，原有的数据采集方式是在主观认为需要的观测点进行采集，具有随意性，一般能采集到500张左右的图像。

如下表，表1是本发明和现有技术对比针对不同目标物采集方法分类精度的AP值，表2是本发明和现有技术对比针对不同目标物采集方法分类精度的IoU值。

经过试验，如表1，根据检测数据对比，相比原有采集方式模型分类精度AP值显著提升17.53％，最高是在压力表的测试中，本发明的方法提高了26.1％的分类精度AP值；如表2，本发明的方法也显著的提高了模型的定位准确性，交并比IoU值提升9.02％,其中最高是在放空阀的检测中，交并比IoU提高了24.70％，达到了各种业务场景应用的要求。

如图5、图6，交并比IoU值是指两个集合的交集和并集的比值，设A和B为两个集合，即A和B的交并比

目标物	本发明方法	原有模型采集方法
			磁翻板液位计	92.3％	78.5％
压力表	94.5％	68.4％
			温度表	95.4％	73.0％
手动泵换向阀	93.9％	79.8％
			灭火器	95.4％	83.5％
UPS指示灯	92.3％	88.4％
			ESD电磁阀	97.5％	73.4％
流量阀	99.5％	85.6％
			放空阀	99.1％	71.6％
设备电源	97.4％	79.8％

表1

目标物	本发明方法	原有模型采集方法
			磁翻板液位计	89.3％	85.3％
压力表	93.1％	89.4％
			温度表	93.7％	87.6％
手动泵换向阀	89.4％	88.9％
			灭火器	89.5％	85.1％
UPS指示灯	94.3％	93.2％
			ESD电磁阀	96.5％	77.4％
流量阀	98.2％	81.9％
			放空阀	97.9％	73.2％
设备电源	95.3％	85.0％

表2

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.一种基于页岩气田生产设备图像增强标注方法，其特征在于：主要包括以下步骤：

步骤1目标物图像采集：在目标物识别任务场景下，对需要识别的目标物在不同角度、不同距离、不同高度和不同光线下分别进行图像采集，并抠出目标物图像，去掉背景；

步骤2背景采集：在目标物识别任务场景下，在不同距离和不同高度采集背景图像；

步骤3目标物图像处理：对采集的目标物图像做数据增广，生成更多目标物图像；

步骤4目标物图像与背景图像融合：将各个背景图像分别与步骤3生成的目标物图像随机配对，并采用泊松融合算法对目标物图像和背景图像进行融合；

步骤5融合图像增强：对步骤4中目标物图像和背景图像融合后的图像进行图像增强；

所述步骤4中图像融合采用的泊松融合算法具体为：

定义目标物Ω在背景f^*的最简单的差值函数f：梯度在二阶偏导为0时取极值

其中是梯度运算，f的最小值Δf必须满足相关的拉格朗日方程

其中是拉普拉斯算子，向量域v满足：

它的解是Dirichlet边界条件下泊松方程的唯一解：

其中是v＝(u,v)的散度；

一个有用的替代方案是理解泊松插值所做的是Ω定义上修正的函数，以保证

将泊松方程变成有边界条件的拉普拉斯方程：

在目标物Ω内，添加的修正是边界上源和目标错误匹配(f^*-g)的一个插值。

2.根据权利要求1所述的一种基于页岩气田生产设备图像增强标注方法，其特征在于：所述步骤1中采集目标物图像时，不同角度和距离的采集方式为，确定目标物在目标物识别任务场景下的最远距离、最近距离及应用角度a，再确定最远距离和最近距离的中间距离，在最近距离且角度为的作为一个点位；在中间距离且角度为/>和/>的作为两个点位；在最远距离且角度为0、/>a的作为三个点位，总共六个点位。

3.根据权利要求1或2所述的一种基于页岩气田生产设备图像增强标注方法，其特征在于：所述步骤1中采集目标物图像时，不同高度的采集方式为，确定目标物识别任务场景下需要检测的最高点和最低点，并计算出中点，分别在最高点、中点、最低点三个高度上，选择三个水平向相距一定距离的点分别采集目标物图像。

4.根据权利要求3所述的一种基于页岩气田生产设备图像增强标注方法，其特征在于：所述步骤1中采集目标物图像时，不同高度的采集方式为，确定目标物识别任务场景中需要检测的最高点和最低点，并计算出中点，分别在最高点、中点、最低点三个高度上，选择三个水平向相距0.5～1米的点分别采集目标物图像。

5.根据权利要求1所述的一种基于页岩气田生产设备图像增强标注方法，其特征在于：所述步骤1中采集目标物图像时，不同光线的采集方式为，选取三个不同的天气：晴天、雨天和阴天；三个不同的时间：早上、中午、晚上，把不同天气和不同时间分别组合后对目标物进行采集。

6.根据权利要求1所述的一种基于页岩气田生产设备图像增强标注方法，其特征在于：所述步骤2中采集背景图像时，采集方式为，选取在目标物识别任务场景下的三个高度，并分别在三个高度下选择三个不同的拍摄距离，并在该距离下选取至少一个方向采集背景图。