CN115908995A - 数字仪表读数的识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种数字仪表读数的识别方法、装置、电子设备及存储介质，该方法包括：获取待检测数字仪表对应的第一图像信息；基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置；基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，所述第一图像信息包括所述第二图像信息。这样可以基于预先训练的第一网络模型，确定出待检测数字仪表在第一图像信息中的目标位置，并基于预先训练的第二网络模型，确定得到该待检测数字仪表的读数，因而无需人工读取仪表读数，达到降低人力成本、提高获取效率和准确率的目的。

Description

数字仪表读数的识别方法、装置、电子设备及存储介质

技术领域

本申请涉及工业生产技术领域，尤其涉及一种数字仪表读数的识别方法、装置、电子设备及存储介质。

背景技术

随着工业生产技术的不断发展，各类数字仪表也得到了广泛应用。数字仪表可以实时监测工业生产过程中各设备的运行状态，如设备的温度值、电压值、电流值、压力值等等，这对工业生产过程的稳定性起着至关重要的作用。因此，在工业生产过程中，需要随时获取到各类数字仪表的读数，以便及时发现异常情况。然而，由于传统的数字仪表没有通信接口，因而需要人工读取仪表读数，存在人力成本高、读取效率低、读取错误率较高等问题。

因此，如何实现数字仪表的读数的自动获取，成为亟待解决的技术问题。

发明内容

本申请提供了一种数字仪表读数的识别方法、装置、电子设备及存储介质，以解决传统的数字仪表没有通信接口，需要人工读取仪表读数，存在人力成本高、读取效率低、读取错误率较高等问题。

第一方面，本申请实施例提供了一种数字仪表读数的识别方法，所述方法包括：

获取待检测数字仪表对应的第一图像信息；

基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置；

基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，所述第一图像信息包括所述第二图像信息。

可选地，所述第一网络模型包括第一特征提取网络和第一特征融合网络；

所述基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置，包括：

基于所述第一特征提取网络对所述第一图像信息进行特征提取，得到所述第一图像信息对应的特征信息；

基于所述第一特征融合网络对所述第一图像信息对应的特征信息进行特征融合，得到所述目标位置。

可选地，所述基于所述第一特征融合网络对所述第一图像信息对应的特征信息进行特征融合，得到所述目标位置，包括：

基于所述第一特征融合网络对所述第一图像信息对应的特征信息按照通道维度分别进行全局最大值池化和全局均值池化，得到第一中间向量和第二中间向量，所述第一中间向量和所述第二中间向量均为一维向量；

将所述第一中间向量和所述第二中间向量分别送入全连接层运算和相加计算，得到通道注意力，所述通道注意力为一维向量；

将所述通道注意力与所述第一图像信息对应的特征信息按元素相乘，得到所述通道注意力调整后的特征信息；

将所述通道注意力调整后的特征信息按照空间维度分别进行全局最大值池化和均值池化，得到第三中间向量和第四中间向量，所述第三中间向量和所述第四中间向量均为二维向量；

将所述第三中间向量和所述第四中间向量进行拼接和卷积计算，得到空间注意力，所述空间注意力为二维向量；

将所述通道注意力调整后的特征信息与所述空间注意力按元素相乘，得到所述空间注意力调整后的特征信息；

基于所述空间注意力调整后的特征信息，确定所述目标位置。

可选地，所述第二网络模型包括第二特征提取网络和第二特征融合网络；

所述基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，包括：

基于所述第二特征提取网络对所述第二图像信息进行特征提取，确定所述第二图像信息对应的特征信息；

基于所述第二特征融合网络对所述第二图像信息对应的特征信息进行特征融合，得到所述待检测数字仪表的读数。

可选地，所述基于所述第二特征提取网络对所述第二图像信息进行特征提取，确定所述第二图像信息对应的特征信息，包括：

基于所述第二特征提取网络对所述第二图像信息进行逐通道卷积计算，得到第一中间特征信息，所述第一中间特征信息用于表征所述第二图像信息在通道维度上的特征信息；

对所述第一中间特征信息进行逐点卷积计算，得到所述第二图像信息对应的特征信息，所述第二图像信息对应的特征信息包括在通道维度上的特征信息和在空间维度上的特征信息。

可选地，所述基于所述第二特征融合网络对所述第二图像信息对应的特征信息进行特征融合，得到所述待检测数字仪表的读数，包括：

基于所述第二特征融合网络对所述第二图像信息对应的特征信息进行卷积计算，得到第二中间特征信息；

将所述第二中间特征信息按照多个不同的尺寸做最大池化处理，得到多个第三中间特征信息；

将多个所述第三中间特征信息进行通道的拼接，得到第四中间特征信息，所述第四中间特征信息的尺寸与所述第二图像信息对应的特征信息的尺寸一致；

根据所述第四中间特征信息，确定所述待检测数字仪表的读数。

可选地，所述获取待检测数字仪表对应的第一图像信息，包括：

获取所述待检测数字仪表对应的原始图像；

对所述原始图像进行双边滤波去噪处理；

将双边滤波去噪处理后的原始图像进行多尺度图像增强处理，得到所述第一图像信息。

第二方面，本申请实施例还提供了一种数字仪表读数的识别装置，所述装置包括：

获取模块，用于获取待检测数字仪表对应的第一图像信息；

第一确定模块，用于基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置；

第二确定模块，用于基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，所述第一图像信息包括所述第二图像信息。

第三方面，本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的数字仪表读数的识别方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的数字仪表读数的识别方法的步骤。

在本申请实施例中，通过获取待检测数字仪表对应的第一图像信息；基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置；基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，所述第一图像信息包括所述第二图像信息。通过上述方式，可以基于预先训练的第一网络模型，确定出待检测数字仪表在第一图像信息中的目标位置，并基于预先训练的第二网络模型，确定得到该待检测数字仪表的读数，因而无需人工读取仪表读数，达到降低人力成本、提高获取效率和准确率的目的。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数字仪表读数的识别方法的流程示意图；

图2为本申请实施例提供的一种通过该FPN对第一图像信息对应的特征信息进行特征融合的示意图；

图3为本申请实施例提供的一种CBAM的结构示意图；

图4为本申请实施例提供的又一种数字仪表读数的识别方法的流程示意图

图5为本申请实施例提供的一种数字仪表读数的识别装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，图1为本申请实施例提供的一种数字仪表读数的识别方法的流程示意图。如图1所示，该数字仪表读数的识别方法可以包括以下步骤：

步骤101、获取待检测数字仪表对应的第一图像信息。

具体地，上述待检测数字仪表可以为电压表、电流表、温度计量表等带有电子显示屏的任一数字仪表。该待检测数字仪表可以为一个数字仪表，也可以为多个数字仪表，本申请实施例不做具体限定。上述第一图像信息可以为该待检测数字仪表对应的原始图像，也可以为对该原始图像进行图像预处理后的图像。当该第一图像信息为该待检测数字仪表对应的原始图像时，那么获取该第一图像信息的方式可以直接通过摄像头进行获取；当该第一图像信息为图像预处理后的图像时，那么获取该第一图像信息的方式可以先通过摄像头获取该待检测数字仪表对应的原始图像，再对该原始图像进行滤波去噪、图像增强等一系列处理而得到。

步骤102、基于预先训练的第一网络模型，确定待检测数字仪表在第一图像信息中的目标位置。

具体地，上述第一网络模型可以为Faster R-CNN(Faster Region ConvolutionalNeural Network的简称)模型、SSD(Single Shot MultiBox Detector，单激发多框探测器)模型和YOLO(You Only Look Once的简称)模型等任一具有目标检测功能的网络模型。作为一可选实施方式，该第一网络模型可以采用融合注意力机制的改进YOLO-v4网络模型实现，通过融合注意力机制的改进YOLO-v4网络模型，对待检测数字仪表对应的第一图像信息进行特征提取和特征融合，从而检测出待检测数字仪表在该第一图像信息中的目标位置。具体而言，该目标位置可以是指待检测数字仪表的读数显示区域在第一图像信息中的位置。

步骤103、基于预先训练的第二网络模型和目标位置对应的第二图像信息，确定待检测数字仪表的读数，第一图像信息包括第二图像信息。

具体地，上述第二网络模型可以也为Faster R-CNN模型、SSD模型和YOLO模型等任一具有目标检测功能的网络模型。作为一可选实施方式，该第二网络模型可以采用基于轻量级的YOLO-v4网络模型实现，通过基于轻量级的YOLO-v4网络模型，对目标位置对应的第二图像信息进行特征提取和特征融合，从而检测出待检测数字仪表的读数。

在本实施例中，可以基于预先训练的第一网络模型，确定出待检测数字仪表在第一图像信息中的目标位置，并基于预先训练的第二网络模型，确定得到该待检测数字仪表的读数，因而无需人工读取仪表读数，达到降低人力成本、提高获取效率和准确率的目的。

进一步地，第一网络模型包括第一特征提取网络和第一特征融合网络；

上述步骤102、基于预先训练的第一网络模型，确定待检测数字仪表在第一图像信息中的目标位置，包括：

基于第一特征提取网络对第一图像信息进行特征提取，得到第一图像信息对应的特征信息；

基于第一特征融合网络对第一图像信息对应的特征信息进行特征融合，得到目标位置。

具体地，上述第一特征提取网络用于对输入的图像信息进行特征提取，上述第一特征融合网络用于对提取的特征信息进行融合。具体而言，上述第一特征提取网络可以采用CSPDarknet53网络等实现，上述第一特征融合网络可以为引入卷积注意力机制模块CBAM(Convolutional Block Attention Module的简称)的特征金字塔网络(Feature PyramidNetworks，简称为FPN)实现。上述融合注意力机制的改进YOLO-v4网络模型包括CSPDarknet53网络和引入卷积注意力机制模块CBAM的特征金字塔网络，当然还包括其他常规网络模块，在此不一一赘述。

在一实施例中，可以将第一图像信息输入至CSPDarknet53网络进行特征提取，利用该CSPDarknet53网络在保持原来的Bottleneck的基础上，利用卷积的方式将输入的第一图像信息分为2个部分,其中一部分做resnet的残差卷积，然后再做1x1卷积，最后与另一部分进行拼接操作，以得到第一图像信息更丰富的特征信息，并有效地防止了梯度消失或爆炸的问题。

在得到第一图像信息对应的特征信息的特征信息之后，可以将该特征信息输入至引入卷积注意力机制模块CBAM的特征金字塔网络，通过特征金字塔网络按空间维度和通道维度进行特征融合，最终根据融合后的特征信息，确定出待检测数字仪表在第一图像信息中的目标位置。

在本实施例中，可以先通过第一网络模型确定出待检测数字仪表在第一图像信息中的目标位置，进而方便后续针对该目标位置的图像信息进行数字仪表读数识别，从而缩小识别范围，提高计算效率。

进一步地，上述步骤、基于第一特征融合网络对第一图像信息对应的特征信息进行特征融合，得到目标位置，包括：

基于第一特征融合网络对第一图像信息对应的特征信息按照通道维度分别进行全局最大值池化和全局均值池化，得到第一中间向量和第二中间向量，第一中间向量和第二中间向量均为一维向量；

将第一中间向量和第二中间向量分别送入全连接层运算和相加计算，得到通道注意力，通道注意力为一维向量；

将通道注意力与第一图像信息对应的特征信息按元素相乘，得到通道注意力调整后的特征信息；

将通道注意力调整后的特征信息按照空间维度分别进行全局最大值池化和均值池化，得到第三中间向量和第四中间向量，第三中间向量和第四中间向量均为二维向量；

将第三中间向量和第四中间向量进行拼接和卷积计算，得到空间注意力，空间注意力为二维向量；

将通道注意力调整后的特征信息与空间注意力按元素相乘，得到空间注意力调整后的特征信息；

基于空间注意力调整后的特征信息，确定目标位置。

在一实施例中，在通过第一特征融合网络对第一图像信息对应的特征信息进行特征融合时，可以先对第一图像信息对应的特征信息按通道维进行全局最大值池化和全局均值池化，将池化后的两个一维向量(即第一中间向量和第二中间向量)送入全连接层运算后相加，生成一维通道注意力，该通道注意力可以用M_C∈R^C×1×1表示，其中，C表示第一图像信息对应的特征信息的通道数量。再将该通道注意力与第一图像信息对应的特征信息按元素相乘，获得通道注意力调整后的特征信息F′；将该通道注意力调整后的特征信息F′按空间维度进行全局最大值池化和均值池化，将池化生成的两个二维向量(即第三中间向量和第四中间向量)拼接后进行卷积操作，最终生成二维空间注意力，该空间注意力可以用M_S∈R^{1 ×H×W}表示，其中，H表示第一图像信息对应的特征信息的长，W表示第一图像信息对应的特征信息的宽。再将该空间注意力与通道注意力调整后的特征信息F′按元素相乘，得到空间注意力调整后的特征信息F″；最后基于该空间注意力调整后的特征信息F″。其中，CBAM总体生成注意力过程可描述为：

其中，

表示对应元素相乘，在相乘操作前，通道注意力和空间注意力分别需要按空间维度和通道维度进行广播。M_C表示通道注意力，M_S表示空间注意力，F表示第一图像信息对应的特征信息，F′表示通道注意力调整后的特征信息，F″表示空间注意力调整后的特征信息。

最后通过改进的特征融合获得更丰富的语义信息，预测出待检测数字仪表在第一图像信息中的目标位置。

需要说明的是，该第一特征融合网络可以采用FPN实现，该FPN主要由自下而上(bottom-up)、自上而下(top-down)和横向连接三部分构成，在特征融合模块插入CBAM注意力机制，通过该FPN对第一图像信息对应的特征信息进行特征融合的示意图如图2所示。此处的CBAM的结构示意图如图3所示。

进一步地，第二网络模型包括第二特征提取网络和第二特征融合网络；

上述步骤103、基于预先训练的第二网络模型和目标位置对应的第二图像信息，确定待检测数字仪表的读数，包括：

基于第二特征提取网络对第二图像信息进行特征提取，确定第二图像信息对应的特征信息；

基于第二特征融合网络对第二图像信息对应的特征信息进行特征融合，得到待检测数字仪表的读数。

具体地，上述第二特征提取网络对输入的图像信息进行特征提取，上述第二特征融合网络用于对提取的特征信息进行融合。具体而言，上述第二特征提取网络可以采用MobileNet-v2网络实现，上述第二特征融合网络可以采用SPP(Spatial Pyramid PoolingNetworks，空间金字塔池化网络)+PANet(Path-Aggregation Network,路径聚合网络)实现。上述基于轻量级的YOLO-v4网络模型包括MobileNet-v2网络和SPP+PANet，当然还包括其他常规网络模块，在此不一一赘述。

在一实施例中，可以将第二图像信息输入至MobileNet-v2网络进行特征提取，利用该MobileNet-v2网络对第二图像信息进行特征提取，确定第二图像信息对应的特征信息，再通过SPP+PANet对第二图像信息对应的特征信息进行特征融合，得到待检测数字仪表的读数。

在本实施例中，可以先通过第二网络模型确定出待检测数字仪表的读数，因而无需人工读取仪表读数，达到降低人力成本、提高获取效率和准确率的目的。

进一步地，上述步骤、基于第二特征提取网络对第二图像信息进行特征提取，确定第二图像信息对应的特征信息，包括：

基于第二特征提取网络对第二图像信息进行逐通道卷积计算，得到第一中间特征信息，第一中间特征信息用于表征第二图像信息在通道维度上的特征信息；

对第一中间特征信息进行逐点卷积计算，得到第二图像信息对应的特征信息，第二图像信息对应的特征信息包括在通道维度上的特征信息和在空间维度上的特征信息。

在一实施例中，在通过第二特征提取网络对第二图像信息进行特征提取时，考虑数字仪表读数的实时性要求，本申请实施例在数字识别阶段采用MobileNet-v2作为特征提取网络。MobileNet-v2提出的深度可分离卷积将标准卷积的运算过程分为逐通道卷积和逐点卷积。对于一个输入通道为C_in、长为H、宽为W的特征图，标准卷积层需要对输入特征信息的每一个通道进行特征提取，并通过逐元素相加融合特征，以得到输出特征图的一个通道。因此，对每一个卷积层而言，其参数总数为：

N_std＝D_F·D_F·C_in·C_out；

其中，N_std表示一个标准卷积层的参数量，D_F表示卷积层内每一个滤波器的尺寸，对于3×3卷积层，D_F＝3；C_in表示输入特征图的通道数量，C_out表示输出特征图的通道数量。

而深度可分离卷积将特征提取过程单独分离出标准卷积作为逐通道卷积，也即仅对输入特征图的每个通道进行一次特征提取，而后的多通道特征聚合过程则共享逐通道卷积得到的逐通道特征，其参数量分别为：

N_DW＝D_F·D_F·C_in；

N_PW＝C_in·C_out；

其中，N_DW表示一个逐通道卷积层的参数量，N_PW表示一个逐点卷积层的参数量，D_F表示卷积层内每一个滤波器的尺寸，对于3×3卷积层，D_F＝3；C_in表示输入特征图的通道数量，C_out表示输出特征图的通道数量。

由此可见，采用MobileNet-v2提出的深度可分离卷积，可以极大地减少卷积层参数，并有效提高特征提取速度。

进一步地，上述步骤、基于第二特征融合网络对第二图像信息对应的特征信息进行特征融合，得到待检测数字仪表的读数，包括：

基于第二特征融合网络对第二图像信息对应的特征信息进行卷积计算，得到第二中间特征信息；

将第二中间特征信息按照多个不同的尺寸做最大池化处理，得到多个第三中间特征信息；

将多个第三中间特征信息进行通道的拼接，得到第四中间特征信息，第四中间特征信息的尺寸与第二图像信息对应的特征信息的尺寸一致；

根据第四中间特征信息，确定待检测数字仪表的读数。

在一实施例中，在通过第二特征融合网络对第二图像信息对应的特征信息进行特征融合时，可以将第二图像信息对应的特征信息输入一个卷积层进行卷积计算，得到第二中间特征信息；再分别经过多个不同尺寸的内核做最大池化处理，如5×5、9×9和13×13这3个尺寸的内核做最大池化处理，得到多个第三中间特征信息；然后通过连接层将多个第三中间特征信息进行通道的拼接，得到第四中间特征信息，第四中间特征信息的通道数变为原第二图像信息对应的特征信息的通道数的4倍，述第四中间特征信息的尺寸与第二图像信息对应的特征信息的尺寸不变。其中，每个池化层设步长stride为1，填充padding＝(k–1)/2(k为最大池化中内核的尺寸)，得到输出特征图尺寸为

其中，n为输入特征图的大小，p为填充padding，s为步长；Updown为向下取整。由此可得，通过池化层得到的特征图大小与输入时保存一致。

最后可以根据该第四中间特征信息，根据数字的坐标顺序依次输出，完成数字仪表读数识别。

在本实施例中，采用最大池化Maxpool层可以在保持特征图平移不变形的同时，扩大了感受野，而SPP模块通过使用不同大小内核的最大池化Maxpool层，得到特征图局部区域感受野和接近全局的感受野信息，并进行特征融合。并且，融合不同尺度感受野的操作能有效丰富特征图的表达能力，增强骨干网输出特征的接受范围，分离出重要的上下文。

进一步地，上述步骤101、获取待检测数字仪表对应的第一图像信息，包括：

获取待检测数字仪表对应的原始图像；

对原始图像进行双边滤波去噪处理；

将双边滤波去噪处理后的原始图像进行多尺度图像增强处理，得到第一图像信息。

在一实施例中，考虑到工业数字仪表的图像信息容易受天气、光照的干扰，本申请实施例采用双边滤波进行去噪，该双边滤波算法不仅考虑了像素间如欧氏距离(EuclideanDistance)、城市街区距离(City Block Distance)、棋盘距离等距离关系，还结合了像素值间如卷积核像素与中心像素之间的相似度，成功地在去除噪声的同时，保留了图像的边缘信息。针对仪表图像识别问题，本申请实施例可以有效地保护了图像中相邻区域之间灰度变化快的细节信息。

考虑空间邻近度的同时还考虑到像素值相似度对本申请环境的影响，本申请将传统Retinex算法中的高斯滤波处理替换为双边滤波处理，基于双边滤波获得不同尺度的单尺度Retinex(Single Scale Retinex，简称为SSR)输出，进行加权求和，获得多尺度Retinex(Multi-Scale Retinex,简称为MSR)图像增强。其中，多尺度Retinex的数学表示为：

R_MSR＝∑w_nR_nk,k＝1,2,...,n；

其中，n为尺度数量，R_nk为第n个尺度的第k个频谱分量，R_MSR是MSR输出的第k个频谱分量，w_n是与第n个尺度相关的权重。

在本实施例中，在将待检测数字仪表对应的原始图像输入至预先训练的第一网络模型之前，可以先对待检测数字仪表对应的原始图像进行滤波去噪和图像增强，以完成图像预处理，改善图像质量，从而提高仪表读数识别的准确性。

在一示例中，该数字仪表读数的识别方法的流程图如图4所示。该数字仪表读数的识别方法可以包括：步骤S1、首先通过基于双边滤波的多尺度Retinex算法进行图像滤波及图像增强，完成图像预处理，改善图像质量；步骤S2、将图片输入基于改进YOLO-v4的仪表定位网络(相当于上文中的第一网络模型)，特征融合模块增加注意力机制，加强语义特征，定位出数字仪表所在位置；步骤S3、将数字仪表显示区域输入基于轻量级YOLO-v4的数字识别网络(相当于上文中的第二网络模型)，快速识别并定位出数字仪表的数值。具体而言，该数字仪表读数的识别方法实施步骤如下：

步骤S1：图像预处理。

在该步骤中，先利用双边滤波对原始数字仪表图像进行滤波，降低原始图像中存在的噪声，并且基于双边滤波获得不同尺度的SSR输出，进行加权求和，获得多尺度Retinex图像增强，完成图像预处理，改善图像质量。

具体而言，具体而言，步骤S1包括步骤S11和步骤S12。

步骤S11、双边滤波去噪。

考虑到工业数字仪表的图像信息容易受天气、光照的干扰，本申请实施例采用双边滤波进行去噪，该双边滤波算法不仅考虑了像素间如欧氏距离、城市街区距离、棋盘距离等距离关系，还结合了像素值间如卷积核像素与中心像素之间的相似度，成功去除噪声的同时，保留了图像的边缘信息。针对仪表图像识别问题，本申请实施例可以有效地保护了图像中相邻区域之间灰度变化快的细节信息。具体地，在该步骤中，可以在输入原始图像后，根据以当前像素为中心的窗口内的像素值，通过空间距离和灰度距离计算权重，从而对工业采集的图像进行去噪。

步骤S12、基于双边滤波的改进多尺度Retinex图像增强。

考虑空间邻近度的同时还考虑到像素值相似度对本申请环境的影响，本申请将传统Retinex算法中的高斯滤波处理替换为双边滤波处理，基于双边滤波获得不同尺度的单尺度Retinex(Single Scale Retinex，简称为SSR)输出，进行加权求和，获得多尺度Retinex(Multi-Scale Retinex,简称为MSR)图像增强。其中，多尺度Retinex的数学表示为：

R_MSR＝∑w_nR_nk,k＝1,2,...,n；

其中，n为尺度数量，R_nk为第n个尺度的第k个频谱分量，R_MSR是MSR输出的第k个频谱分量，w_n是与第n个尺度相关的权重。

步骤S2、融合注意力机制的改进YOLO-v4数字仪表定位网络。

在该步骤中，将预处理后的图像输入CSPDarknet53进行特征提取，然后在网络颈部分别进行2次上采样，并以PAN+SPP模型结构实现浅层特征与高层语义特征的融合以及多尺度感受野的融合，并加入注意力机制，更加充分地利用了浅层网络的细节特征。然后经过特征融合后的三维特征图，得到数字仪表的定位信息。

具体而言，步骤S2包括步骤S21和步骤S22。

步骤S21、CSPDarknet53特征提取。

将预处理后的图像输入CSPDarknet53网络进行特征提取，利用卷积层CBM和残差模块Resunit，以得到更丰富的语义信息并有效地防止了梯度消失或爆炸的问题。

步骤S22、融合注意力机制的数字仪表识别定位。

FPN主要由自下而上、自上而下和横向连接三部分构成，在特征融合模块插入CBAM注意力机制，通过该FPN对第一图像信息对应的特征信息进行特征融合的示意图如图2所示。先对第一图像信息对应的特征信息按通道维进行全局最大值池化和全局均值池化，将池化后的两个一维向量(即第一中间向量和第二中间向量)送入全连接层运算后相加，生成一维通道注意力，该通道注意力可以用M_C∈R^C×1×1表示，其中，C表示第一图像信息对应的特征信息的通道数量。再将该通道注意力与第一图像信息对应的特征信息按元素相乘，获得通道注意力调整后的特征信息F′；将该通道注意力调整后的特征信息F′按空间维度进行全局最大值池化和均值池化，将池化生成的两个二维向量(即第三中间向量和第四中间向量)拼接后进行卷积操作，最终生成二维空间注意力，该空间注意力可以用M_S∈R^1×H×W表示，其中，H表示第一图像信息对应的特征信息的长，W表示第一图像信息对应的特征信息的宽。再将该空间注意力与通道注意力调整后的特征信息F′按元素相乘，得到空间注意力调整后的特征信息F″；最后基于该空间注意力调整后的特征信息F″。其中，CBAM总体生成注意力过程可描述为：

其中，

表示对应元素相乘，在相乘操作前，通道注意力和空间注意力分别需要按空间维度和通道维度进行广播。M_C表示通道注意力，M_S表示空间注意力，F表示第一图像信息对应的特征信息，F′表示通道注意力调整后的特征信息，F″表示空间注意力调整后的特征信息。

通过加入的注意力机制，对空间注意力和通道注意力进行处理，有效的提高卷积神经网络(Convolutional Neural Network，简称为CNN)的表达能力。然后通过改进的特征融合获得更丰富的语义信息，预测出图像中数字仪表位置。

步骤S3、基于轻量级YOLO-v4的仪表数字识别网络。

在该步骤中，对数字仪表数显区域进一步通过轻量级模块MobileNet-v2进行特征提取，然后通过路径聚合网络进行特征融合，检测数字字符，最后根据数字的坐标顺序依次输出，完成数字仪表读数识别。

具体而言，步骤S3包括步骤S31和步骤S32。

步骤S31、轻量级特征提取。

考虑数字仪表读数的实时性要求，本申请实施例在数字识别阶段采用MobileNet-v2作为特征提取网络。MobileNet-v2提出的深度可分离卷积，将标准卷积的运算过程分为逐通道卷积和逐点卷积，极大地减少了卷积层参数并有效地提高了特征提取速度。对于一个输入通道为C_in、长为H、宽为W的特征图，标准卷积层需要对输入特征信息的每一个通道进行特征提取，并通过逐元素相加融合特征，以得到输出特征图的一个通道。因此，对每一个卷积层而言，其参数总数为：

N_std＝D_F·D_F·C_in·C_out；

其中，N_std表示一个标准卷积层的参数量，D_F表示卷积层内每一个滤波器的尺寸，对于3×3卷积层，D_F＝3；C_in表示输入特征图的通道数量，C_out表示输出特征图的通道数量。

而深度可分离卷积将特征提取过程单独分离出标准卷积作为逐通道卷积，也即仅对输入特征图的每个通道进行一次特征提取，而后的多通道特征聚合过程则共享逐通道卷积得到的逐通道特征，其参数量分别为：

N_DW＝D_F·D_F·C_in；

N_PW＝C_in·C_out；

其中，N_DW表示一个逐通道卷积层的参数量，N_PW表示一个逐点卷积层的参数量，D_F表示卷积层内每一个滤波器的尺寸，对于3×3卷积层，D_F＝3；C_in表示输入特征图的通道数量，C_out表示输出特征图的通道数量。

步骤S32、SPP+PANet特征融合

输入的特征图通过一个卷积层后，分别经过5×5、9×9和13×13的3个不同尺寸的内核做最大池化处理，再通过concat将得到的特征图进行通道的拼接，输出的通道数变为原通道数的4倍，其特征图尺寸不变。其中，每个池化层设步长stride为1，填充padding＝(k–1)/2(k为最大池化中内核的尺寸)，得到输出特征图尺寸为

其中，n为输入特征图的大小，p为填充padding，s为步长；Updown为向下取整。由此可得，通过池化层得到的特征图大小与输入时保存一致。最大池化Maxpool层可以在保持特征图平移不变形的同时，扩大了感受野，而SPP模块通过使用不同大小内核的最大池化Maxpool层，得到特征图局部区域感受野和接近全局的感受野信息，并进行特征融合。并且，融合不同尺度感受野的操作能有效丰富特征图的表达能力，增强骨干网输出特征的接受范围，分离出重要的上下文。最后根据数字的坐标顺序依次输出，完成数字仪表读数识别。也就是说，在该步骤中，通过SPP层，对空间尺度特征使用不同池化尺寸进行最大池化，以获取多维空间特征，进行多维尺度特征拼接，以提升准确度。然后采用融合自底向上和自顶向下两条路径的方式增强了骨干网络的表征能力，使得特征图融合的语义更加丰富。

本申请实施例提供的数字仪表读数的识别方法，可以采用基于双边滤波的多尺度Retinex图像增强，既有效地保护了图像中相邻区域之间灰度变化快的细节信息，同时突出感兴趣的区域，有效地增强在拍摄过程中受光线雾气等影响而导致成像效果不好的图像；提出了融合注意力机制的特征融合模块，融合CBAM在通道和空间均进行注意力处理，使得特征图融合的语义更加丰富，其特征表达能力也更强，充分利用特征金字塔多尺度特征；提出了轻量级YOLO-v4数字识别网络，使用MobileNet-v2网络进行特征提取，利用空洞卷积减小网络参数，提高运行速度。本发明对人工读表存在成本高、效率低、识别错误率较高等问题提出了解决方案。

参见图5，图5为本申请实施例提供的一种数字仪表读数的识别装置的结构示意图。如图5所示，该数字仪表读数的识别装置500可以包括：

获取模块501，用于获取待检测数字仪表对应的第一图像信息；

第一确定模块502，用于基于预先训练的第一网络模型，确定待检测数字仪表在第一图像信息中的目标位置；

第二确定模块503，用于基于预先训练的第二网络模型和目标位置对应的第二图像信息，确定待检测数字仪表的读数，第一图像信息包括第二图像信息。

进一步地，第一网络模型包括第一特征提取网络和第一特征融合网络；

第一确定模块502包括：

第一特征提取子模块，用于基于第一特征提取网络对第一图像信息进行特征提取，得到第一图像信息对应的特征信息；

第一特征融合子模块，用于基于第一特征融合网络对第一图像信息对应的特征信息进行特征融合，得到目标位置。

进一步地，第一特征融合子模块包括：

第一池化单元，用于基于第一特征融合网络对第一图像信息对应的特征信息按照通道维度分别进行全局最大值池化和全局均值池化，得到第一中间向量和第二中间向量，第一中间向量和第二中间向量均为一维向量；

处理单元，用于将第一中间向量和第二中间向量分别送入全连接层运算和相加计算，得到通道注意力，通道注意力为一维向量；

第一相乘单元，用于将通道注意力与第一图像信息对应的特征信息按元素相乘，得到通道注意力调整后的特征信息；

第二池化单元，用于将通道注意力调整后的特征信息按照空间维度分别进行全局最大值池化和均值池化，得到第三中间向量和第四中间向量，第三中间向量和第四中间向量均为二维向量；

第一卷积计算单元，用于将第三中间向量和第四中间向量进行拼接和卷积计算，得到空间注意力，空间注意力为二维向量；

第二相乘单元，用于将通道注意力调整后的特征信息与空间注意力按元素相乘，得到空间注意力调整后的特征信息；

第一确定单元，用于基于空间注意力调整后的特征信息，确定目标位置。

进一步地，第二网络模型包括第二特征提取网络和第二特征融合网络；

第二特征提取子模块，用于基于第二特征提取网络对第二图像信息进行特征提取，确定第二图像信息对应的特征信息；

第二特征融合子模块，用于基于第二特征融合网络对第二图像信息对应的特征信息进行特征融合，得到待检测数字仪表的读数。

进一步地，第二特征提取子模块包括：

逐通道卷积计算单元，用于基于第二特征提取网络对第二图像信息进行逐通道卷积计算，得到第一中间特征信息，第一中间特征信息用于表征第二图像信息在通道维度上的特征信息；

逐点卷积计算单元，用于对第一中间特征信息进行逐点卷积计算，得到第二图像信息对应的特征信息，第二图像信息对应的特征信息包括在通道维度上的特征信息和在空间维度上的特征信息。

进一步地，第二特征融合子模块包括：

第二卷积计算单元，用于基于第二特征融合网络对第二图像信息对应的特征信息进行卷积计算，得到第二中间特征信息；

第三池化单元，用于将第二中间特征信息按照多个不同的尺寸做最大池化处理，得到多个第三中间特征信息；

拼接单元，用于将多个第三中间特征信息进行通道的拼接，得到第四中间特征信息，第四中间特征信息的尺寸与第二图像信息对应的特征信息的尺寸一致；

第二确定单元，用于根据第四中间特征信息，确定待检测数字仪表的读数。

进一步地，获取模块501包括：

获取子模块，用于获取待检测数字仪表对应的原始图像；

滤波去噪处理子模块，用于对原始图像进行双边滤波去噪处理；

图像增强处理子模块，用于将双边滤波去噪处理后的原始图像进行多尺度图像增强处理，得到第一图像信息。

需要说明的是，该数字仪表读数的识别装置500实现如前述任意一个方法实施例提供的数字仪表读数的识别方法的步骤，且能达到相同的技术效果，在此不再一一赘述。

如图6所示，本申请实施例还提供了一种电子设备，包括处理器611、通信接口612、存储器613和通信总线614，其中，处理器611，通信接口612，存储器613通过通信总线614完成相互间的通信，

存储器613，用于存放计算机程序；

在本申请一个实施例中，处理器611，用于执行存储器613上所存放的程序时，实现前述任意一个方法实施例提供的数字仪表读数的识别方法，包括：

获取待检测数字仪表对应的第一图像信息；

基于预先训练的第一网络模型，确定待检测数字仪表在第一图像信息中的目标位置；

基于预先训练的第二网络模型和目标位置对应的第二图像信息，确定待检测数字仪表的读数，第一图像信息包括第二图像信息。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的数字仪表读数的识别方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数字仪表读数的识别方法，其特征在于，所述方法包括：

获取待检测数字仪表对应的第一图像信息；

基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置；

基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，所述第一图像信息包括所述第二图像信息。

2.根据权利要求1所述的方法，其特征在于，所述第一网络模型包括第一特征提取网络和第一特征融合网络；

所述基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置，包括：

基于所述第一特征提取网络对所述第一图像信息进行特征提取，得到所述第一图像信息对应的特征信息；

基于所述第一特征融合网络对所述第一图像信息对应的特征信息进行特征融合，得到所述目标位置。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征融合网络对所述第一图像信息对应的特征信息进行特征融合，得到所述目标位置，包括：

基于所述第一特征融合网络对所述第一图像信息对应的特征信息按照通道维度分别进行全局最大值池化和全局均值池化，得到第一中间向量和第二中间向量，所述第一中间向量和所述第二中间向量均为一维向量；

将所述第一中间向量和所述第二中间向量分别送入全连接层运算和相加计算，得到通道注意力，所述通道注意力为一维向量；

将所述通道注意力与所述第一图像信息对应的特征信息按元素相乘，得到所述通道注意力调整后的特征信息；

将所述通道注意力调整后的特征信息按照空间维度分别进行全局最大值池化和均值池化，得到第三中间向量和第四中间向量，所述第三中间向量和所述第四中间向量均为二维向量；

将所述第三中间向量和所述第四中间向量进行拼接和卷积计算，得到空间注意力，所述空间注意力为二维向量；

将所述通道注意力调整后的特征信息与所述空间注意力按元素相乘，得到所述空间注意力调整后的特征信息；

基于所述空间注意力调整后的特征信息，确定所述目标位置。

4.根据权利要求1所述的方法，其特征在于，所述第二网络模型包括第二特征提取网络和第二特征融合网络；

所述基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，包括：

基于所述第二特征提取网络对所述第二图像信息进行特征提取，确定所述第二图像信息对应的特征信息；

基于所述第二特征融合网络对所述第二图像信息对应的特征信息进行特征融合，得到所述待检测数字仪表的读数。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二特征提取网络对所述第二图像信息进行特征提取，确定所述第二图像信息对应的特征信息，包括：

基于所述第二特征提取网络对所述第二图像信息进行逐通道卷积计算，得到第一中间特征信息，所述第一中间特征信息用于表征所述第二图像信息在通道维度上的特征信息；

对所述第一中间特征信息进行逐点卷积计算，得到所述第二图像信息对应的特征信息，所述第二图像信息对应的特征信息包括在通道维度上的特征信息和在空间维度上的特征信息。

6.根据权利要求4所述的方法，其特征在于，所述基于所述第二特征融合网络对所述第二图像信息对应的特征信息进行特征融合，得到所述待检测数字仪表的读数，包括：

基于所述第二特征融合网络对所述第二图像信息对应的特征信息进行卷积计算，得到第二中间特征信息；

将所述第二中间特征信息按照多个不同的尺寸做最大池化处理，得到多个第三中间特征信息；

将多个所述第三中间特征信息进行通道的拼接，得到第四中间特征信息，所述第四中间特征信息的尺寸与所述第二图像信息对应的特征信息的尺寸一致；

根据所述第四中间特征信息，确定所述待检测数字仪表的读数。

7.根据权利要求1所述的方法，其特征在于，所述获取待检测数字仪表对应的第一图像信息，包括：

获取所述待检测数字仪表对应的原始图像；

对所述原始图像进行双边滤波去噪处理；

将双边滤波去噪处理后的原始图像进行多尺度图像增强处理，得到所述第一图像信息。

8.一种数字仪表读数的识别装置，其特征在于，所述装置包括：

获取模块，用于获取待检测数字仪表对应的第一图像信息；

第一确定模块，用于基于预先训练的第一网络模型，确定所述待检测数字仪表在所述第一图像信息中的目标位置；

第二确定模块，用于基于预先训练的第二网络模型和所述目标位置对应的第二图像信息，确定所述待检测数字仪表的读数，所述第一图像信息包括所述第二图像信息。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的数字仪表读数的识别方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的数字仪表读数的识别方法的步骤。

Images