CN113283429A - 基于深度卷积神经网络的液位式表计读数方法 - Google Patents

Abstract

本发明将深度卷积神经网络和液位式表计的检测技术结合在一起，公开了一种基于深度卷积神经网络的液位式表计读数方法，包括以下步骤：第一步骤，基于第一特征金字塔（FPN）模型处理第一图像以输出液位式表计在第一图像中的表计位置；第二步骤，对第一图像进行截取以获得第二图像，并将截取获得的第二图像输入到第二全卷积神经网络（FCN）模型处理，以输出液位式表计在第二图像中的指针位置；第三步骤，输出液位式表计的读数。本发明充分融合了CNN、多种尺度缩放、FPN、拼接和全连接层技术，以及在此基础上配合全卷积神经网络FCN，实现了对液位式表计进行读数识别的新方法。

Description

基于深度卷积神经网络的液位式表计读数方法

技术领域

本发明属于融合神经网络和液位表检测的技术领域，特别是一种基于深度卷积神经网络的液位式表计读数方法。

背景技术

油气勘探过程中，坐岗观察溢流是油气勘探现场井控工作的重点，液位表的监测是重要工作内容，人工监测耗费人力，而采用机器人识别，让存在采集的数据容易产生各种干扰噪声，造成识别效果差，甚至无法识别的情况等问题，严重影响了液位监测。

在背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成在本国中本领域普通技术人员公知的现有技术的信息。

发明内容

针对现有技术中存在的问题，本发明提出一种基于深度卷积神经网络液位式表计读数方法，其特征在于，所述方法包括以下步骤：

第一步骤，拍摄液位式表计以获得第一图像，基于第一特征金字塔（FPN）模型处理第一图像以输出所述液位式表计在第一图像中的表计位置；

第二步骤，基于所述表计位置的坐标信息，将所述坐标信息映射到第一图像中，对所述第一图像进行截取以获得第二图像，使得所述第二图像相比第一图像去除掉并非表计区域的图像数据，并将截取获得的第二图像输入到第二全卷积神经网络（FCN）模型处理，以输出所述液位式表计在第二图像中的指针位置；

第三步骤，基于所述表计位置和指针位置，输出液位式表计的读数。

优选的，所述第一特征金字塔（FPN）模型包括：卷积神经网络(CNN)模块、特征金字塔网络(FPN)模块和全连接层模块；其中，

所述卷积神经网络模块包括级联的PNet深度学习卷积模型、RNet深度学习卷积模型和ONet深度学习卷积模型，并用于根据所述第一图像抽象提取特征以获得第一特征图；

所述特征金字塔网络模块包括：三种尺度缩放单元，和对应于三种尺度缩放单元的第一卷积单元(CNN1)、第二卷积单元(CNN2)、第三卷积单元(CNN3)，以及拼接单元；其中，

三种尺度缩放单元包括第一、第二、第三尺度缩放单元，三种尺度缩放单元用于对第一特征图依次进行三次尺度缩放以得到第一、第二、第三尺度的特征图；

第一、第二、第三卷积单元，分别用于对第一、第二、第三尺度的特征图的特征进行解析；

拼接单元，用于将第一、第二、第三卷积单元的输出进行拼接处理以获得特征向量；

全连接层模块，用于根据所述特征向量计算并输出所述液位式表计的表计位置。

优选的，第二全卷积神经网络（FCN）模型为级联Cascade FCN模型。

优选的，所述卷积神经网络(CNN)模块包括n+1层卷积层，第n+1层的输出out=k_n+1⊙(k_n⊙x),其中，k_n代表第n层的卷积层的卷积核，k_n+1代表第n+1层的卷积层的卷积核，x代表来自上一层卷积层的输入，⊙运算符表示卷积运算。

优选的，所述全连接层模块的激励函数采用ReLU函数。

优选的，所述第一特征金字塔（FPN）模型的训练步骤包括:

首先，从全部数据样本S中随机选取70%的样本作为训练集S_train,剩下的30%样本作为测试集S_test，其中：

S_train∩S_test=S

S_train∪S_test=φ

其中，S表示全集，φ表示空集；

其次，对训练集S_train包含的图片进行随机的数据扩增以模拟现场环境，数据扩增包括添加随机噪声和随机改变图像亮度，其中：

p’=p+ f(u,σ)

b’=avg+(b-avg)*(1+ratio)

p为原始像素的像素值，f(u,σ)为高斯加性噪声，其中u, σ分别为期望和方差，p’为添加随机噪声后的像素值，b为原始像素的亮度值，avg为图像整体的平均亮度值，ratio代表随机的亮度调节比例，b’为改变亮度后的输出亮度值；

再次，进行分批次训练：将训练集S_train随机分为包含样本数目相同的多个集合batch, 然后输入到第一特征金字塔（FPN）模型net中得到预测结果y’，计算y’与真实标注y的误差，并反向传播该误差修正第一特征金字塔（FPN）模型net中的参数，迭代N次，在达到收敛条件后结束训练，其中：

batch_i∩batch_k=φ，即两个不同的集合batch的交集为空，其中，batch_i表示第i个集合batch，batch_k表示第k个集合batch；

y’=net(batch_i)；

l=F(y’,y)；

l为误差；F函数为误差计算函数，其用于计算预测值y’与真实值y的欧氏距离；

若l小于误差阈值T时，结束训练；否则对l按如下公式处理并继续训练：

▽β=-∂l/∂β，

βⁿ⁺¹=βⁿ+ε×▽β，

其中β代表模型中的参数，ε为每次更新的步长，▽β为梯度。

能够发现，本发明改良了一般的FPN网络，使得拍摄液位式表计以获得图像数据，并基于图像特征金字塔式的深度卷积神经网络处理所述图像数据确定所述液位式表计的表计位置数据，其中，所述图像特征金字塔式的深度卷积神经网络包含：1)用来提取图像抽象特征的，由多个卷积层组成的卷积神经网络模块(CNN)，2)对特征进行进一步解析的特征金字塔网络(FPN)；

其中，由多个卷积层组成的卷积神经网络模块基于图像数据抽象提取特征，卷积神经网络模块对图像数据进行三次尺度缩放以得到三种尺度的特征图，再输入到对应的卷积模块处理特征；所述特征金字塔网络FPN对所述特征进行解析。

如此，本发明利用所述图像特征金字塔式的深度卷积神经网络和全卷积神经网络FCN实现了一种监督学习方式的卷积神经网络目标检测方法的联合优化训练方法，并在此基础上，本发明解决了有人值守的坐岗式液位表读取工作中可能出现的误读，漏读现象以及自动识别的识别精度差的缺陷：本发明通过摄像头视频采样，计算机视觉算法分析视频，识别图片中的表计读数；从而实现了24小时全天候监控，同时达到了读数误差小于最大量程的1%，大大解放了人力，且提高了液位表读取的精度。

本方法在液位式表计识别方面，包括至少3个技术贡献：

1)一种具体的监督学习方式的卷积神经网络目标检测方法的联合优化训练方法；

2)一种具体改良的特征金字塔式的深度卷积神经网络架构；

3)一种具体的基于多级全卷积神经网络的液位式表计关键点检测方法。

上述说明仅是本发明技术方案的概述，为了能够使得本发明的技术手段更加清楚明白，达到本领域技术人员可依照说明书的内容予以实施的程度，并且为了能够让本发明的上述和其它目的、特征和优点能够更明显易懂，下面以本发明的具体实施方式进行举例说明。

附图说明

通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。而且在整个附图中，用相同的附图标记表示相同的部件。

在附图中：

图 1 为本发明的一个实施例中步骤流程示意图；

图 2 为本发明的一个实施例中第一特征金字塔模型的流程示意图；

图 3 为本发明一个实施例中第一特征金字塔模型的特征金字塔网络模块的输入输出示意图；

图4为本发明一个实施例中第二全卷积神经网络模型的流程示意图；

图5为本发明一个实施例中第一特征金字塔模型与第二全卷积神经网络模型配合时的流程示意图；

图6至8为本发明一个实施例中液位式表计和指针的示意图；

图9为本发明一个实施例中液位式表计和指针的示意图；

图 10为本发明一个实施例的第一特征金字塔模型的卷积神经网络模块的卷积运算示意图。

以下结合附图和实施例对本发明作进一步的解释。

具体实施方式

下面将参照附图更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。

在一个实施例中，结合图1所示，本发明揭示了一种基于深度卷积神经网络液位式表计读数方法，其特征在于，所述方法包括以下步骤：

第一步骤，拍摄液位式表计以获得第一图像，基于第一特征金字塔（FPN）模型处理第一图像以输出所述液位式表计在第一图像中的表计位置；

第二步骤，基于所述表计位置的坐标信息，将所述坐标信息映射到第一图像中，对所述第一图像进行截取以获得第二图像，使得所述第二图像相比第一图像去除掉并非表计区域的图像数据，并将截取获得的第二图像输入到第二全卷积神经网络（FCN）模型处理，以输出所述液位式表计在第二图像中的指针位置；

第三步骤，基于所述表计位置和指针位置，输出液位式表计的读数。

结合图1而言，其清楚的表明了上述实施例的几个核心关键：通过第一特征金字塔（FPN）模型输出表计位置、通过第二全卷积神经网络（FCN）模型输出指针位置；而上述实施例的详细文字记载则进一步指出了其余的关键，例如第一图像、以及第二图像，其中第二图像通过如下特点的图像处理而得到：

基于所述表计位置的坐标信息，将所述坐标信息映射到第一图像中，对所述第一图像进行截取以获得第二图像，使得所述第二图像相比第一图像去除掉并非表计区域的图像数据。

由于所述第一特征金字塔（FPN）模型处理的是图像，因此上述实施例属于一种图像特征金字塔式的深度卷积神经网络技术构建得到的技术方案。又因为上述实施例还在第二图像的处理中使用了全卷积神经网络技术，这表明：本实施例利用图像特征金字塔式的深度卷积神经网络和全卷积神经网络FCN这两种不同的神经网络技术实现了一种对目标进行联合识别的方法，具体而言：先从第一图像中读到液位式表计的表计本身的信息，然后进一步从第二图像中读到液位表的指针本身的信息，最终基于读取到的所有信息，实现对液位式表计进行读数的方法。

换言之，本实施例基于特征金字塔式的深度卷积神经网络处理接收到的图像以获取更加丰富的图像语义结构信息，并利用该信息确定液位式表计的位置信息；以及，根据计算出的位置信息截取尽量限于表计的图像区域后，输入到全卷积神经网络中实现指针这个单目标的检测。

上述实施例解决了有人值守的坐岗式液位表读取工作中可能出现的误读，漏读现象以及现有技术中自动识别的识别精度差等缺陷。

能够理解，本发明通过摄像头视频采样，以及采用上述两种模型分析视频中的第一图像以及第二图像，从而识别第一图像中的表计读数。也就是说，实时、24小时的对上述方法进行实施的话，就能够实时计算每帧图像中的表计及其指针的位置，以及根据表计指针的位置和表计位置来计算读数。

因此，本发明可以实现24小时全天候监控，同时达到降低读数误差的效果。目前，本发明在应用中，已实现了读数误差小于最大量程的1%的效果，大大解放了人力，且提高了液位表读取的精度。

在另一个实施例中，所述方法还进一步包括如下步骤：

对于摄像头视频采样的每一帧第一图像，根据所述表计位置和指针位置，动态生成液位式表计的读数变化的视频文件。

对于该实施例而言，这是为了可视化的、动态的表征液位式表计的历史读数变化以及当前实时读数。

在另一个实施例中，参见图2，所述第一特征金字塔（FPN）模型包括：卷积神经网络(CNN)模块、特征金字塔网络(FPN)模块和全连接层模块。

能够理解，所述第一特征金字塔模型由于特征金字塔网络FPN模块的存在，特命名为：第一特征金字塔（FPN）模型。需要说明的是，对于本发明而言，括号中的英文缩写均表示英文别名而已，不包含任何特定的限定含义。

进一步参见图2，该第一特征金字塔（FPN）模型并非仅仅根据现有技术中的特征金字塔网络即可，而是将卷积神经网络(CNN)模块、特征金字塔网络(FPN)模块和全连接层模块进行了串联。

之所以采取此种串联的结构，是因为其各自实现不同的功能，并通过功能上的协同来实现所述液位式表计的表计位置的输出，其中：

所述卷积神经网络模块，用于根据所述第一图像抽象提取特征以获得第一特征图；

所述特征金字塔网络模块，用于在不同的尺度缩放情形下，对第一特征图依次进行多次尺度缩放以得到不同尺度的特征图，并对不同尺度的特征图的特征通过卷积进行相应的解析，以及将相应的解析进行拼接获得特征向量；

所述全连接层模块，则用于根据所述特征向量计算并输出所述液位式表计的表计位置。

在另一个实施例中，所述全连接层模块的激励函数采用ReLU函数。

在另一个实施例中，

所述卷积神经网络(CNN)模块包括级联的PNet深度学习卷积模型、RNet深度学习卷积模型和ONet深度学习卷积模型。

在另一个实施例中，

所述特征金字塔网络模块包括：三种尺度缩放单元，和对应于三种尺度缩放单元的第一卷积单元(CNN1)、第二卷积单元(CNN2)、第三卷积单元(CNN3)，以及拼接单元；其中，

三种尺度缩放单元包括第一、第二、第三尺度缩放单元，三种尺度缩放单元用于对第一特征图依次进行三次尺度缩放以得到第一、第二、第三尺度的特征图；

第一、第二、第三卷积单元，分别用于对第一、第二、第三尺度的特征图的特征进行解析；

拼接单元，用于将第一、第二、第三卷积单元的输出进行拼接处理以获得特征向量。

参见图3，图3就特征金字塔网络（FPN）模块进行了详细示意，并同时示意了第一特征金字塔（FPN）模型中的：卷积神经网络(CNN)模块、全连接层。

结合前文所述，特征金字塔网络（FPN）模块从卷积神经网络(CNN)模块接收第一特征图，以用于特征金字塔网络模块的输入。并且，由于接收的是特征图，那么，在特征金字塔网络模块中，通过多种尺度的缩放就相当于实现了一种特征金字塔技术。

需要特别强调的是，在特征金字塔网络（FPN）模块还使用了对应于3种不同尺度缩放的多种卷积单元，即图3中的CNN1、CNN2、CNN3所代表的第一、第二、第三卷积单元。

综上，特征金字塔网络（FPN）模块处理经前述卷积神经网络(CNN)模块提取的图像特征时对特征图进行三次尺度缩放，获取三种尺度的特征图，再将三种尺度的特征图输入到各自对应的卷积模块{CNN1,CNN2,CNN3}进行处理，最后对3个卷积模块的输出进行拼接处理(图中拼接单元，其执行拼接操作)获得特征向量，最后将特征向量输入到全连接层模块，计算表计在图像中的位置（例如坐标信息）。如此，通过结合不同尺度下特征图的方式，明显提高了本发明在各种尺度下对目标的检测能力，提高了算法模型的鲁棒性。

能够理解，如果在本发明采用n种尺度缩放，那么就对应的采用n个卷积单元。也就是说，本发明的特征金字塔网络（FPN）模块是融合了特征金字塔和卷积的技术构思。

不仅如此，本发明的特征金字塔网络（FPN）模块还进一步融合了拼接单元，以便为全连接层提供融合了不同尺度信息的输入。

在另一个实施例中，参见图4，第二全卷积神经网络（FCN）模型为级联Cascade FCN模型。例如图4所示，第二全卷积神经网络（FCN）模型包括两级级联FCN模型，分别是第一级全卷积神经网络FCN1和第二级全卷积神经网络FCN2。

理论上来讲，级联的FCN模型越多，有助于更加精准的识别，但是同时会带来更多的计算量。就本发明而言，从工程上来讲，经过实际验证，两级FCN即可满足使用的要求。

在另一个实施例中，参见图5，该实施例示意了：如何通过第一特征金字塔（FPN）模型与第二全卷积神经网络（FCN）模型来实施本发明。

在该实施例中：

第一图像输入到第一特征金字塔（FPN）模型的卷积神经网络（CNN）模块，并经过特征金字塔网络（FPN）模块和全连接层模块的处理，输出液位式表计在第一图像中的表计位置；

然后，第一图像与所述输出的液位式表计在第一图像中的表计位置，按照图5所示的⊕运算符进行处理。如前所述，⊕运算符表示将表计位置的坐标信息映射到第一图像中。

需要说明的是，理论上，可以直接将上述映射处理后的第一图像直接作为第二全卷积神经网络（FCN）模型的输入，继续执行本发明实施例所解释的方法。

但是，本发明为了降低第一图像中液位式表计区域之外的图像数据的影响，我们对所述第一图像进行截取以获得第二图像，使得所述第二图像相比第一图像去除掉并非表计区域的图像数据，并将截取获得的第二图像输入到第二全卷积神经网络（FCN）模型处理，再经过级联的第一级全卷积神经网络FCN1和第二级全卷积神经网络FCN2两级全卷积神经网络的处理，最终输出所述液位式表计在第二图像中的指针位置。

在另一个实施例中，

对于两级级联全卷积神经网络FCN1和FCN2，其中，第一级全卷积神经网络FCN1用于输出指针的可能的候选位置，再由第二级全卷积神经网络FCN2进行精调后，筛选出最优位置作为指针位置。

对于第一或第二图像来说，表计整体、指针整体都是个二维平面，只不过二维平面具有边界，从而成为一个区域，该区域恰是表计位置或指针位置所属的区域。因此，在实施的过程中，上述表计位置、指针位置可以利用坐标和向量来表示，更严谨的说，利用坐标的x分量，y分量和向量的减法运算来表达区域的边界信息。

对于该实施例，需要说明的是，其属于一种具体的第一图像、液位式表计、第二图像、指针的情形，且仅在该实施例中用作示例。具体结合图6至9，作如下说明：

图6表示第一图像的具体图像信息，其示意了：液位式表计、远景中拍到的星星，需要留意的是：该第一图像假定了液位式表计的水平方向上的两条边平行于第一图像的水平方向上的边，以及假定了液位式表计的垂直方向上的两条边平行于第一图像的垂直方向上的边；

图7则表示从第一图像中识别到了液位式表计的位置，并获得了第二图像。此外，假定了：液位式表计的水平方向上的两条边平行于第二图像的水平方向上的边，以及假定了液位式表计的垂直方向上的两条边平行于第二图像的垂直方向上的边。该假设在该实施例中非常重要，因为正是此种假设简化了上述坐标和向量的表达，其中：如图7所示，由于遵循了上述平行的情形，使得液位式表计的四条边分别平行于该图像最外围的四条边，图中延伸的虚线垂直于图像的上边沿和下边沿。

能够理解，对于这条虚线与液位式表计的实线边重合的部分，液位式表计的这部分实线边上的任意一点，这条实线上的任一点的x分量都是相同的（备注：水平方向为x方向，垂直方向为y方向），不同的仅仅是y分量。

具体的，在该实施例中，通过(boxtop_x-top_x, boxtop_y-top_y, boxbottom_x-bottom_x, boxbottom_y-bottom_y)表示表计位置的坐标信息。其中，图7中的点boxtop代表液位式表计的左上角顶点，其x，y分量分别是box_x, box_y；点boxbottom代表液位式表计的右下角顶点，其x，y分量分别是boxbottom_x, boxbottom_y；点top则代表该图像上边沿所在线段的左端点，即该图像的左上角顶点，其x，y分量分别是top_x, top_y；点bottom则代表该图像下边沿所在线段的右端点，即该图像的右下角顶点，其x，y分量分别是bottom_x, bottom_y。

能够理解，由于图中的液位式表计的外轮廓为矩形，且该图像的外轮廓也为矩形，而矩形的区域显然由任一对角线的两个端点即可得到所有四个端点和四条边，因此，表计位置的坐标在该实施例中示例性的表示为：(boxtop_x-top_x, boxtop_y-top_y, boxbottom_x-bottom_x, boxbottom_y-bottom_y)。

结合图8，显而易见，指针位置也是表示一个区域，即液位式表计当前读数及该读数在刻度以下所覆盖的液位式表计的区域。类似于表计位置的坐标，代表液位式表计的指针位置处的左上角顶点pointer的坐标信息为：(pointer_x-top_x, pointer_y-top_y,boxbottom_x-bottom_x, boxbottom_y-bottom_y) ，其中，pointer_x ，pointer_y代表液位式表计的指针位置处的左上角顶点的x和y分量。结合图8示例，点pointer显然与读数20有关。

因此，根据图像和相应表计区域以及指针区域均为矩形且相互存在平行的边，进一步，利用上述坐标信息以及表计的量程、结合比例关系即可用于计算读数。

能够理解，上述坐标的具体表达仅仅是一种示例。当遇到具体的液位式表计时，可以进一步根据其具体刻度方式和表计形状更好的选择位置的坐标表达方式以及计算读数。就图8所示，其表明拍摄液位式表计时，是从正对液位式表计的视角拍摄的，因此确保了图中的液位式表计的上下边和图像的上下边沿维持了平行关系。但是，这不表示本发明的方法必须仅限于此种拍摄质量的图像。

例如图9所示，即使表计刻度主体为矩形的液位式表计在拍摄中由于视角原因变成平行四边形的主体形状，能够理解，通过第一特征金字塔模型可以识别出液位式表计刻度盘面主体的4个顶点，通过4个顶点的坐标即可判断是矩形还是平行四边形。此时，图像整体本身的左上角顶点、右下角顶点的坐标信息是已知的，且表计整体的4个顶点L_up、L_down、R_up、R_down也已知（能够理解，该实施例下，这4个顶点的坐标信息可以表达表计的表计位置），量程依然已知。虽然图9中的表计长边发生了倾斜，但是本发明能够通过第二全卷积神经网络模型经对液位表计上下的颜色深浅（典型的，灰度值的差异）的辨识而识别到图中的点pointer1、pointer2从而获得这两个点的坐标信息（能够理解，该实施例下，点pointer1、pointer2的坐标信息可以表达表计的指针位置）。因此，计算读数的问题，同样是利用上述坐标信息以及表计的量程、结合比例关系即可用于计算读数，只不过此时由于表计长边相对图像下边沿即x轴的方向发生了倾斜而已，相比图8不再是矩形而是平行四边形。因此，相比图8的简单的比例关系，对于平行四边形而言，点pointer1或点pointer2都可以用于计算读数。因此，图9按照向量的计算方式计算坐标原点o与pointer1、L_up、R_up等向量即可，很容易求得读数。能够理解，坐标原点可以在任何位置，也优选在图像的左下角顶点处。

进一步的，能够理解，即使拍摄的图像中，表计的外轮廓并非矩形或平行四边形此种较为规则的图形，例如即使是表计在图像中发生梯形失真，同样可以识别指针位置（例如图9中所示的指针处上下颜色深浅不同，灰度值不同等方式），识别到相应的点pointer1、pointer2后，依然按照向量的计算方式求取读数即可。当然，能够理解，这同样需要图像整体本身的左上角顶点、右下角顶点的坐标信息是已知的，且表计整体的4个顶点L_up、L_down、R_up、R_down也已知以及量程已知。其中，对于量程而言，其可以是本发明中第一特征金字塔模型中的预设参数，也可以是第二全卷积神经网络模型中的预设参数，还可以是经过人工标记和对模型的训练而得。

在另一个实施例中，所述卷积神经网络(CNN)模块包括n+1层卷积层，第n+1层的输出out=k_n+1⊙(k_n⊙x),其中，k_n代表第n层的卷积层的卷积核，k_n+1代表第n+1层的卷积层的卷积核，x代表来自上一层卷积层的输入，⊙运算符表示卷积运算，其中n大于等于2。

在另一个实施例中，如图10所示，其示意了n+1层卷积层中的2层卷积层，以及对应的2个2*2卷积核。

综上所述，本方法针对实际工程中单目标检测的需求，创造性的移除了其他目标检测网络中常见的，但会耗费大量计算资源及时间的非极大值抑制运算(nms)。

在另一个实施例中，关于所述第一特征金字塔（FPN）模型的训练，其包括如下步骤:

首先，从全部数据样本S中随机选取70%的样本作为训练集S_train,剩下的30%样本作为测试集S_test，其中：

S_train∩S_test=S，

S_train∪S_test=φ，

其中，S表示全集，φ表示空集；

其次，对训练集S_train包含的图片进行随机的数据扩增以模拟现场环境，数据扩增包括添加随机噪声和随机改变图像亮度，其中：

p’=p+ f(u,σ)

b’=avg+(b-avg)*(1+ratio)

p为原始像素的像素值，f(u,σ)为高斯加性噪声，其中u, σ分别为期望和方差，p’为添加随机噪声后的像素值，b为原始像素的亮度值，avg为图像整体的平均亮度值，ratio代表随机的亮度调节比例，b’为改变亮度后的输出亮度值；

再次，进行分批次训练：将训练集S_train随机分为包含样本数目相同的多个集合batch, 然后输入到第一特征金字塔（FPN）模型net中得到预测结果y’，计算y’与真实标注y的误差，并反向传播该误差修正第一特征金字塔（FPN）模型net中的参数，迭代N次，在达到收敛条件后结束训练，其中：

batch_i∩batch_k=φ，即两个不同的集合batch的交集为空，其中，batch_i表示第i个集合batch，batch_k表示第k个集合batch；

y’=net(batch_i)；

l=F(y’,y)；

l为误差；F函数为误差计算函数（备注，也称损失函数，常用的有均方误差函数等），其用于计算预测值y’与真实值y的欧氏距离；

若l小于误差阈值T时，结束训练；否则对l按如下公式处理并继续训练：

▽β=-∂l/∂β，

βⁿ⁺¹=βⁿ+ε×▽β，

其中β代表模型中的参数，ε为每次更新的步长，▽β为梯度。

也就是说，结合图2、图3所示第一特征金字塔（FPN）模型，当设置好其中各个模块以及相应模块中的单元后，对于所有涉及的参数，按上述实施例所述的方法进行训练即可。能够理解，上述实施例揭示了一种监督学习方式的卷积神经网络目标检测方法的联合优化训练方法。至于第二级全卷积神经网络FCN，其网络结构可以采用现有技术的FCN网络结构即可，即使FCN1、FCN2为级联Cascade-FCN模型，其网络结构也同样可以采用现有技术中同一个FCN网络结构，至于其网络结构涉及的参数，按照通常的级联Cascade-FCN模型的训练方法训练即可，只不过，如前所述，对于量程而言，其可以是本发明中第一特征金字塔模型中的预设参数，也可以是第二全卷积神经网络模型中的预设参数，还可以是经过人工标记和对模型的训练而得。

需要说明的是，本发明：

首先，通过基于改良的图像特征金字塔式的深度卷积神经网络FPN模型接收摄像头输入的原始图像作为输入，输出液位式表计在图像中的位置信息；

再将位置信息映射到输入的图片中，截取表计区域作为输入Cascade-FCN模型中以获得表计指针的位置，实时计算每帧图像中的表计指针的位置；

最后根据表计指针的位置计算读数。

另外，本发明中的卷积神经网络模块CNN以及第一、第二、第三卷积单元CNN1至CNN3，均可以采用同样的卷积核和多层卷积层的手段，以实现其提取信息的目的。

综上所述，本发明在液位式表计识别方面，包括至少3个技术贡献：

1)一种具体的监督学习方式的卷积神经网络目标检测方法的联合优化训练方法；

2)一种具体改良的特征金字塔式的深度卷积神经网络架构；

3)一种具体的基于多级全卷积神经网络的液位式表计关键点检测方法。

尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。

Claims (6)

1.一种基于深度卷积神经网络液位式表计读数方法，其特征在于，所述方法包括以下步骤：

第一步骤，拍摄液位式表计以获得第一图像，基于第一特征金字塔模型处理第一图像以输出所述液位式表计在第一图像中的表计位置；

第二步骤，基于所述表计位置的坐标信息，将所述坐标信息映射到第一图像中，对所述第一图像进行截取以获得第二图像，使得所述第二图像相比第一图像去除掉并非表计区域的图像数据，并将截取获得的第二图像输入到第二全卷积神经网络模型处理，以输出所述液位式表计在第二图像中的指针位置；

第三步骤，基于所述表计位置和指针位置，输出液位式表计的读数。

2.根据权利要求1所述的方法，其特征在于：

所述第一特征金字塔模型包括：卷积神经网络模块、特征金字塔网络模块和全连接层模块；其中，

所述卷积神经网络模块包括级联的PNet深度学习卷积模型、RNet深度学习卷积模型和ONet深度学习卷积模型，并用于根据所述第一图像抽象提取特征以获得第一特征图；

所述特征金字塔网络模块包括：三种尺度缩放单元，和对应于三种尺度缩放单元的第一卷积单元、第二卷积单元、第三卷积单元，以及拼接单元；其中，

三种尺度缩放单元包括第一、第二、第三尺度缩放单元，三种尺度缩放单元用于对第一特征图依次进行三次尺度缩放以得到第一、第二、第三尺度的特征图；

第一、第二、第三卷积单元，分别用于对第一、第二、第三尺度的特征图的特征进行解析；

拼接单元，用于将第一、第二、第三卷积单元的输出进行拼接处理以获得特征向量；

全连接层模块，用于根据所述特征向量计算并输出所述液位式表计的表计位置。

3.根据权利要求1所述的方法，其特征在于：

第二全卷积神经网络模型为级联Cascade FCN模型。

4.根据权利要求2所述的方法，其特征在于：

所述卷积神经网络模块包括n+1层卷积层，第n+1层的输出out=k_n+1⊙(k_n⊙x),其中，k_n代表第n层的卷积层的卷积核，k_n+1代表第n+1层的卷积层的卷积核，x代表来自上一层卷积层的输入，⊙运算符表示卷积运算。

5.根据权利要求2所述的方法，其特征在于：

所述全连接层模块的激励函数采用ReLU函数。

6.根据权利要求2所述的方法，其特征在于：

所述第一特征金字塔模型的训练步骤包括：

首先，从全部数据样本S中随机选取70%的样本作为训练集S_train,剩下的30%样本作为测试集S_test，其中：

S_train∩S_test=S，

S_train∪S_test=φ，

其中，S表示全集，φ表示空集；

其次，对训练集S_train包含的图片进行随机的数据扩增以模拟现场环境，数据扩增包括添加随机噪声和随机改变图像亮度，其中：

p’=p+ f(u,σ)，

b’=avg+(b-avg)*(1+ratio) ，

p为原始像素的像素值，f(u,σ)为高斯加性噪声，其中u, σ分别为期望和方差，p’为添加随机噪声后的像素值，b为原始像素的亮度值，avg为图像整体的平均亮度值，ratio代表随机的亮度调节比例，b’为改变亮度后的输出亮度值；

再次，进行分批次训练：将训练集S_train随机分为包含样本数目相同的多个集合batch,然后输入到第一特征金字塔模型net中得到预测结果y’，计算y’与真实标注y的误差，并反向传播该误差修正第一特征金字塔模型net中的参数，迭代N次，在达到收敛条件后结束训练，其中：

batch_i∩batch_k=φ，即两个不同的集合batch的交集为空，其中，batch_i表示第i个集合batch，batch_k表示第k个集合batch；

y’=net(batch_i)；

l=F(y’,y)；

l为误差；F函数为误差计算函数，其用于计算预测值y’与真实值y的欧氏距离；

若l小于误差阈值T时，结束训练；否则对l按如下公式处理并继续训练：

▽β=-∂l/∂β，

βⁿ⁺¹=βⁿ+ε×▽β，

其中β代表模型中的参数，ε为每次更新的步长，▽β为梯度。

Images