CN115909347A - 仪表示数识别方法、装置、设备及介质 - Google Patents
仪表示数识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115909347A CN115909347A CN202211273086.6A CN202211273086A CN115909347A CN 115909347 A CN115909347 A CN 115909347A CN 202211273086 A CN202211273086 A CN 202211273086A CN 115909347 A CN115909347 A CN 115909347A
- Authority
- CN
- China
- Prior art keywords
- area
- feature
- instrument
- image
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006870 function Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请实施例提供了仪表示数识别方法、装置、设备及介质，通过将仪表图像输入至第一模型，识别出仪表图像中的示数区域；将标记有示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数；通过不同模型实现不同功能，分工明确；引入空间和通道维度的注意力机制，使网络自主性关注图像中的重要特征，实现更好地识别出示数区域；挖掘深层语义特征，对深层语义特征融合，提升相邻特征间的利用率和联系，增强了网络的检测能力；提升了识别准确性和效率。
Description
技术领域
本申请实施例涉及但不限于图像识别领域，尤其涉及仪表示数识别方法、装置、设备及介质。
背景技术
目前电力统计主要有三种形式，一种是通过具有后台数据采集功能的智能电表联网收集电力数据，另一种是人工实地读取无后台数据采集功能的老式电表的读数，又一种是通过图像识别网络识别电表图像的读数。但是，由于拍摄图像通常是角度偏转的、位置偏移的，规格并不统一，通过图像识别网络识别电表图像的读数难以定位仪表示数，依然存在效率慢和读数不够准确的问题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了仪表示数识别方法、装置、设备及介质。
本申请的第一方面的实施例，一种仪表示数识别方法，包括：
获取仪表图像；
将所述仪表图像输入至第一模型，识别出所述仪表图像中的示数区域；
将标记有所述示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数。
本申请的第一方面的某些实施例，所述将所述仪表图像输入至第一模型，识别出所述仪表图像中的示数区域，包括：
将所述仪表图像进行切片得到切片图像，将切片图像在宽度维度上的第一信息和在高度维度上的第二信息在通道维度上拼接得到第三信息；
利用注意力机制，根据包含第三信息的切片图像进行特征提取，得到多张不同尺度的注意力特征图；
计算所述注意力特征图的特征贡献权重，根据所述特征贡献权重将多张不同尺度的注意力特征图融合，得到融合特征图；
对所述融合特征图进行图像识别，得到所述仪表图像中的示数区域。
本申请的第一方面的某些实施例，所述利用注意力机制，根据包含第三信息的切片图像进行特征提取，得到多张不同尺度的注意力特征图，包括：
将所述切片图像在空间维度上进行全局最大池化和全局平均池化得到空间特征图，将空间特征图依次经过共享全连接层和激活函数层得到子注意力特征图；
将所述子注意力特征图在通道维度上进行全局最大池化和全局平均池化得到多个通道的通道特征图，将多个通道的通道特征图合并和卷积得到注意力特征图。
本申请的第一方面的某些实施例，所述计算所述注意力特征图的特征贡献权重，根据所述特征贡献权重将多张不同尺度的注意力特征图融合，得到融合特征图，包括：
计算所述注意力特征图的特征贡献权重；
对不同尺度的多张注意力特征图进行上采样操作、下采样操作、卷积操作和根据所述特征贡献权重叠加操作，得到融合特征图。
本申请的第一方面的某些实施例，所述仪表示数识别方法还包括：
根据示数区域的预测边界框与示数区域的目标边界框的重叠部分以及示数区域的预测边界框与示数区域的目标边界框的集合部分，得到准确度检测标准；
获取示数区域的预测边界框的中心点与示数区域的目标边界框的中心点的欧式距离值；
获取示数区域的预测边界框与示数区域的目标边界框的最小包围区的对角线长度；
根据所述准确度检测标准、所述欧式距离值和所述对角线长度得到对应边界框回归的损失函数；
根据对应边界框回归的损失函数调整所述第一模型的参数。
本申请的第一方面的某些实施例，所述将标记有所述示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数，包括：
对所述示数区域进行特征提取，得到示数区域的特征序列；
根据所述示数区域的特征序列中的特征向量进行预测，得到标签分布；
将所述标签分布转换为标签序列，得到仪表示数。
本申请的第一方面的某些实施例，所述对所述示数区域进行特征提取，得到示数区域的特征序列，包括：
通过密集连接网络对所述示数区域进行特征提取，得到示数区域的特征序列；
其中，所述密集连接网络包括相互连接的多个密集连接模块，所述密集连接模块中的多个数据处理层采用密集连接方式进行连接。
本申请的第二方面的某些实施例，一种仪表示数识别装置，包括：
图像获取模块，用于获取仪表图像；
示数区域识别模块，用于将所述仪表图像输入至第一模型，识别出所述仪表图像中的示数区域；
示数识别模块，用于将标记有所述示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数。
本申请的第三方面的某些实施例，一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上所述的仪表示数识别方法。
本申请的第四方面的某些实施例，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的仪表示数识别方法。
上述方案至少具有以下的有益效果：通过第一模型根据仪表图像识别出仪表图像中的示数区域，通过第二模型识别出示数区域中的仪表示数，通过不同模型实现不同功能，分工明确；引入空间和通道维度的注意力机制，使网络自主性关注图像中的重要特征，实现更好地识别出示数区域；挖掘深层语义特征，对深层语义特征融合，提升相邻特征间的利用率和联系，增强了网络的检测能力；提升了识别准确性和效率。
附图说明
附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
图1是本申请实施例所提供的仪表示数识别方法的步骤图；
图2是步骤S200的子步骤图；
图3是步骤S220的子步骤图；
图4是步骤S230的子步骤图；
图5是对第一模型的调参步骤的子步骤图；
图6是步骤S300的子步骤图；
图7是本申请实施例所提供的仪表示数识别装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
下面结合附图，对本申请实施例作进一步阐述。
本申请的实施例，提供了一种仪表示数识别方法。
参照图1，仪表示数识别方法，包括但不限于以下步骤：
步骤S100，获取仪表图像；
步骤S200，将仪表图像输入至第一模型，识别出仪表图像中的示数区域；
步骤S300，将标记有示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数。
对于步骤S100，通过摄影设备拍摄电表的仪表图像，对每个电表均拍摄至少一张仪表图像。
参照图2，对于步骤S200，将仪表图像输入至第一模型，识别出仪表图像中的示数区域，包括但不限于以下步骤：
步骤S210，将仪表图像进行切片得到切片图像，将切片图像在宽度维度上的第一信息和在高度维度上的第二信息在通道维度上拼接得到第三信息；
步骤S220，利用注意力机制，根据包含第三信息的切片图像进行特征提取，得到多张不同尺度的注意力特征图；
步骤S230，计算注意力特征图的特征贡献权重，根据特征贡献权重将多张不同尺度的注意力特征图融合，得到融合特征图；
步骤S240，对融合特征图进行图像识别，得到仪表图像中的示数区域。
在目标检测任务中，一张图片上不同位置的信息重要程度不同，不同通道的信息重要程度也可能不同。并且电表示数区域所在液晶显示屏中的区域目标较小，使目标检测的准确率降低。因此，为了提高主干网络对电表的液晶显示屏中示数区域特征的提取能力，引入了注意力机制，用来自动学习和计算输入数据对输出数据的贡献大小，提升网络对特征的利用率。
对于步骤S210，将仪表图像进行切片得到切片图像，将切片图像在宽度维度上的第一信息和在高度维度上的第二信息整合到通道维度上，将第一信息和第二信息在通道维度上拼接得到第三信息，则切片图像的宽度w缩小为原来的1/2，切片图像的高度h缩小为原来的1/2，通道c增加至原来的4倍，这能有效减少信息丢失、降低每秒浮点运算次数和提高检测速度。
对于步骤S220，第一模型的主干网络设有注意力模块，注意力模块由一个通道注意力模块和一个空间注意力模块串联而成，在通道维度和空间维度上分别算出注意力的权重，使网络可以更加关注图像中的待检测区域，即示数区域，提高主干网络的特征提取能力。
参照图3，利用注意力模块的注意力机制，根据包含第三信息的切片图像进行特征提取，得到多张不同尺度的注意力特征图，包括但不限于以下步骤：
步骤S221，将切片图像在空间维度上进行全局最大池化和全局平均池化得到空间特征图，将空间特征图依次经过共享全连接层和激活函数层得到子注意力特征图；
步骤S222，将子注意力特征图在通道维度上进行全局最大池化和全局平均池化得到多个通道的通道特征图，将多个通道的通道特征图合并和卷积得到注意力特征图。
对于步骤S221，通过通道注意力模块，对特征的每一个通道设置一个检测器，将切片图像在空间维度上进行全局最大池化和全局平均池化得到空间特征图，然后对空间特征图在空间维度上压缩，并经过多层感知器的共享全连接层建立模型相关性，并通过sigmoid激活函数得到权重，进而根据权重调整得到子注意力特征图。
通道注意力模块的数据处理过程可以通过以下式子表示：
式中，σ表示sigmoid激活函数；
表示全局平均池化；
表示全局最大池化；W0表示共享全连接层的第一层；W1表示共享全连接层的第二层；c表示子注意力特征图的向量长度。
对于步骤S222，将通道注意力模块的输出，即子注意力特征图输入至空间注意力模块，在通道维度上进行全局最大池化和全局平均池化得到2个通道的通道特征图，将2个通道的通道特征图进行合并，然后使用卷积生成操作生成注意力特征图。
空间注意力模块的数据处理过程可以通过以下式子表示：
式中，f7×7表示对特征图进行7*7的卷积；
表示全局平均池化，
表示全局最大池化；MS(F)表示注意力特征图。
参照图4，对于步骤S230，计算注意力特征图的特征贡献权重，根据特征贡献权重将多张不同尺度的注意力特征图融合，得到融合特征图，包括但不限于以下步骤：
步骤S231，计算注意力特征图的特征贡献权重；
步骤S232，对不同尺度的多张注意力特征图进行上采样操作、下采样操作、卷积操作和根据特征贡献权重叠加操作，得到融合特征图。
对于步骤S231，每个注意力特征图的输入特征分辨率不同，因此每个注意力特征图对融合特征图的特征贡献程度是不同的，通过对每个注意力特征图添加可学习的特征贡献权重，使网络不断调整权重以确定每个输入特征对输出特征的重要程度。
对于步骤S232，将注意力特征图A、位于注意力特征图A下一层的注意力特征图B的上采样结果和位于注意力特征图A上一层的注意力特征图C的下采样结果根据特征贡献权重进行叠加，得到融合特征图。
具体地，叠加操作为快速归一化融合，直接使用当前注意力特征图的特征贡献权重除以所有注意力特征图的特征贡献权重之和。另外可以对特征贡献权重进行归一化，将特征贡献权重归一化到[0,1]之间，以提高计算速度。
叠加操作可以通过以下式子表示：
式中，O表示输入特征；Ii表示输出特征；wi表示特征贡献权重，特征贡献权重经ReLU激活函数得到，以保证特征贡献权重大于等于0；ε＝0.0001是保证数值稳定的小量。
在步骤S230中，通过跳跃连接使得输出层可以获得自下而上的特征融合后的信息；形成融合模块，可作为整体继续参与堆叠，做进一步的融合；减少结点数量，减少额外信息，减少冗余计算。
另外，由于实际图像采集过程中拍摄设备距离电表远近、角度和光照不同，都会导致部分待检测图像只有少数有用的特征供网络训练学习，为了提高模型的检测效率和融合结果，并考虑到模型参数量和模型复杂度，可以对融合特征图经一个卷积层以提取更深层的特征信息，提高网络对于小目标物体和有用特征量较少的图像的检测能力。同时，对由融合特征图提取到的相邻两个特征信息进行拼接融合操作，提升相邻特征之间的关系，使多尺度的特征信息被有效利用，从而提高电表示数检测场景下的小目标检测精度。
通过融合高层特征信息与底层特征信息，加强了网络对不同尺度特征的利用能力，增强网络的学习能力，同时增加了由下向上的路径，使底层定位信息更好传递至顶层，将两者同时使用可达到互补的效果，加强网络的特征融合能力，提高模型的鲁棒性。
对于步骤S240，对融合特征图进行图像识别，得到仪表图像中的示数区域。
另外，仪表示数识别方法还包括对第一模型的调参步骤。
参照图5，对第一模型的调参步骤，包括但不限于以下步骤：
步骤S251，根据示数区域的预测边界框与示数区域的目标边界框的重叠部分以及示数区域的预测边界框与示数区域的目标边界框的集合部分，得到准确度检测标准；
步骤S252，获取示数区域的预测边界框的中心点与示数区域的目标边界框的中心点的欧式距离值；
步骤S253，获取示数区域的预测边界框与示数区域的目标边界框的最小包围区的对角线长度；
步骤S254，根据准确度检测标准、欧式距离值和对角线长度得到对应边界框回归的损失函数；
步骤S255，根据对应边界框回归的损失函数调整第一模型的参数。
具体地，调参步骤可以通过以下式子表示：
式中，c是示数区域的预测边界框与示数区域的目标边界框的最小包围区的对角线长度，b为示数区域的预测边界框的中心点，bgt为示数区域的目标边界框的中心点，ρ为示数区域的预测边界框的中心点与示数区域的目标边界框的中心点的欧式距离值，α为一个正的权重参数；v为衡量长宽比一致的函数；
与
表示的是预测边界框和目标框边界之间的宽高比。
通过对应边界框回归的损失函数计算了检测边界框尺度的损失，即增加了长和宽的损失，这样预测边界框就会更加的符合真实边界框，使预测边界框的回归效果更好。
结合边界框回归的损失函数、定位损失(localization loss)、分类损失(classification loss)和目标置信度损失(confidence loss)得到第一模型的总损失函数，根据第一模型的总损失函数调整第一模型的参数，以优化第一模型。
对于步骤S300，通过特征序列的分类概率来确定真实字符，即仪表示数。
参照图6，将标记有示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数，包括但不限以下步骤：
步骤S310，对示数区域进行特征提取，得到示数区域的特征序列；
步骤S320，根据示数区域的特征序列中的特征向量进行预测，得到标签分布；
步骤S330，将标签分布转换为标签序列，得到仪表示数。
对于步骤S310，通过密集连接网络对示数区域进行特征提取，得到示数区域的特征序列。
其中，密集连接网络包括相互连接的多个密集连接模块，密集连接模块中的多个数据处理层采用密集连接方式进行连接。
密集连接模块中的多个数据处理层可以包括批量归一化层、激活函数、池化层和卷积层，这些层相互连接并且特征图的大小相同。两个相邻的密集连接模块之间通过过渡层来改变特征图的大小，过渡层包括瓶颈层与池化层。其中，瓶颈层是1*1的卷积层，作用是降低参数量和控制输出特征图的数目。
在密集连接网络中，通过密集连接机制把所有网络层相互连接，即把每个层的输出都作为当前层的附加输入。第l层和前面所有的网络层在通道维度进行合并连接，然后作为第l+1层的输入；一个N层的网络会产生N(N+1)/2个连接。
对于密集连接，使用{x0,x1,...,xl-1}表示把网络的第0层到第l-1层的输出特征图进行通道合并，那么第l层的输出表示为：xl＝Hl([x0,x1,...,xl-1])。
所有层的权重分散在同一块内的多个输入上，网络就可以提取出更高级的特征，实现了特征复用，可以使最后损失函数的分类使用低级特性，计算更加简便，目标优化更加高效。通过建立密集连接网络中某一层和前面所有层的密集连接来使特征充分利用，并且使用的计算量和参数量更少，进而提升了特征提取的效果。密集连接方式等同于把每一层都直接和网络输入与损失函数相连接，因此可以在更深的网络结构中，有效减轻网络在训练过程中出现梯度消失的问题。
对于步骤S320，利用BLSTM单元学习示数区域的特征序列中的特征向量，并进行文本预测，预测真实的标签分布并输出。
其中，BLSTM单元包括存储单元、输入单元、输出单元和遗忘门；存储单元只能存储过去的上下文信息，需要BLSTM进行双向上下文存储，遗忘门可以清除单元的内存。BLSTM单元能够在多次训练过程中保持稳定，避免梯度消失和梯度爆炸的问题，从而能够获得长距离的上下文，提高文本预测准确性。
对于步骤S330，使用连接时序分类损失，将标签分布转换为标签序列，得到仪表示数。
将标签分布，即预测结果概率转换为标签序列，具体为根据输入的每帧预测信息寻找具有最高概率的标签序列输出，使输入序列和输出序列对齐。由于预测结果转录而生成的文本会存在大量重复堆叠的现象，简单处理会造成文本信息丢失。例如电表示数2200.03经过RNN预测的结构可能为‘22200000.003’，简单去除重复部分则变为‘220.03’，如果只是简单处理则会造成信息丢失。可以通过把某些位置设置为占位符‘-’，在文本序列中的重复字符之间插入一个占位符，上述的预测结构可能就变成‘2-200-00.003’，实现编码。将没有经过占位符的重复数字去除后就得到了‘2200.03’，实现解码。
本申请的某些实施例，提供了一种仪表示数识别装置。
参照图7，仪表示数识别装置，包括图像获取模块110、示数区域识别模块120、示数识别模块130。
其中，图像获取模块110用于获取仪表图像；示数区域识别模块120用于将仪表图像输入至第一模型，识别出仪表图像中的示数区域；示数识别模块130用于将标记有示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数。
可以理解的是，仪表示数识别方法实施例中的内容均适用于本仪表示数识别装置实施例中，本仪表示数识别装置实施例所具体实现的功能与仪表示数识别方法实施例相同，并且达到的有益效果与仪表示数识别方法实施例所达到的有益效果也相同。
本申请的某些实施例，提供了一种电子设备。所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上所述的仪表示数识别方法。
该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
总体而言，对于电子设备的硬件结构，处理器可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器中，并由处理器来调用执行本申请实施例的方法。
输入/输出接口用于实现信息输入及输出。
通信接口用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线在设备的各个组件(例如处理器、存储器、输入/输出接口和通信接口)之间传输信息。处理器、存储器、输入/输出接口和通信接口通过总线实现彼此之间在设备内部的通信连接。
本申请的某些实施例，提供了一种计算机可读存储介质。所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的仪表示数识别方法。
应当认识到，本发明实施例中的方法步骤可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、智能手机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种仪表示数识别方法，其特征在于，包括：
获取仪表图像；
将所述仪表图像输入至第一模型，识别出所述仪表图像中的示数区域；
将标记有所述示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数。
2.根据权利要求1所述的一种仪表示数识别方法，其特征在于，所述将所述仪表图像输入至第一模型，识别出所述仪表图像中的示数区域，包括：
将所述仪表图像进行切片得到切片图像，将切片图像在宽度维度上的第一信息和在高度维度上的第二信息在通道维度上拼接得到第三信息；
利用注意力机制，根据包含第三信息的切片图像进行特征提取，得到多张不同尺度的注意力特征图；
计算所述注意力特征图的特征贡献权重，根据所述特征贡献权重将多张不同尺度的注意力特征图融合，得到融合特征图；
对所述融合特征图进行图像识别，得到所述仪表图像中的示数区域。
3.根据权利要求2所述的一种仪表示数识别方法，其特征在于，所述利用注意力机制，根据包含第三信息的切片图像进行特征提取，得到多张不同尺度的注意力特征图，包括：
将所述切片图像在空间维度上进行全局最大池化和全局平均池化得到空间特征图，将空间特征图依次经过共享全连接层和激活函数层得到子注意力特征图；
将所述子注意力特征图在通道维度上进行全局最大池化和全局平均池化得到多个通道的通道特征图，将多个通道的通道特征图合并和卷积得到注意力特征图。
4.根据权利要求2所述的一种仪表示数识别方法，其特征在于，所述计算所述注意力特征图的特征贡献权重，根据所述特征贡献权重将多张不同尺度的注意力特征图融合，得到融合特征图，包括：
计算所述注意力特征图的特征贡献权重；
对不同尺度的多张注意力特征图进行上采样操作、下采样操作、卷积操作和根据所述特征贡献权重叠加操作，得到融合特征图。
5.根据权利要求2所述的一种仪表示数识别方法，其特征在于，所述仪表示数识别方法还包括：
根据示数区域的预测边界框与示数区域的目标边界框的重叠部分以及示数区域的预测边界框与示数区域的目标边界框的集合部分，得到准确度检测标准；
获取示数区域的预测边界框的中心点与示数区域的目标边界框的中心点的欧式距离值；
获取示数区域的预测边界框与示数区域的目标边界框的最小包围区的对角线长度；
根据所述准确度检测标准、所述欧式距离值和所述对角线长度得到对应边界框回归的损失函数；
根据对应边界框回归的损失函数调整所述第一模型的参数。
6.根据权利要求1所述的一种仪表示数识别方法，其特征在于，所述将标记有所述示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数，包括：
对所述示数区域进行特征提取，得到示数区域的特征序列；
根据所述示数区域的特征序列中的特征向量进行预测，得到标签分布；
将所述标签分布转换为标签序列，得到仪表示数。
7.根据权利要求6所述的一种仪表示数识别方法，其特征在于，所述对所述示数区域进行特征提取，得到示数区域的特征序列，包括：
通过密集连接网络对所述示数区域进行特征提取，得到示数区域的特征序列；
其中，所述密集连接网络包括相互连接的多个密集连接模块，所述密集连接模块中的多个数据处理层采用密集连接方式进行连接。
8.一种仪表示数识别装置，其特征在于，包括：
图像获取模块，用于获取仪表图像；
示数区域识别模块，用于将所述仪表图像输入至第一模型，识别出所述仪表图像中的示数区域；
示数识别模块，用于将标记有所述示数区域的仪表图像输入至第二模型，识别出示数区域中的仪表示数。
9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的仪表示数识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的仪表示数识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211273086.6A CN115909347A (zh) | 2022-10-18 | 2022-10-18 | 仪表示数识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211273086.6A CN115909347A (zh) | 2022-10-18 | 2022-10-18 | 仪表示数识别方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115909347A true CN115909347A (zh) | 2023-04-04 |
Family
ID=86483184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211273086.6A Pending CN115909347A (zh) | 2022-10-18 | 2022-10-18 | 仪表示数识别方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115909347A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173690A (zh) * | 2023-10-24 | 2023-12-05 | 四川泓宝润业工程技术有限公司 | 自动定位和读取天然气仪表读数的方法、装置及电子设备 |
-
2022
- 2022-10-18 CN CN202211273086.6A patent/CN115909347A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173690A (zh) * | 2023-10-24 | 2023-12-05 | 四川泓宝润业工程技术有限公司 | 自动定位和读取天然气仪表读数的方法、装置及电子设备 |
| CN117173690B (zh) * | 2023-10-24 | 2024-01-26 | 四川泓宝润业工程技术有限公司 | 自动定位和读取天然气仪表读数的方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111369581B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN112766244B (zh) | 目标对象检测方法、装置、计算机设备和存储介质 | |
| CN108304835B (zh) | 文字检测方法和装置 | |
| CN112052787A (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
| US11314986B2 (en) | Learning device, classification device, learning method, classification method, learning program, and classification program | |
| CN112906816B (zh) | 基于光微分与双通道神经网络的目标检测方法和装置 | |
| CN117152484B (zh) | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 | |
| CN114898154A (zh) | 一种增量式目标检测方法、装置、设备及介质 | |
| CN113936287A (zh) | 基于人工智能的表格检测方法、装置、电子设备及介质 | |
| CN113139540B (zh) | 背板检测方法及设备 | |
| CN115909347A (zh) | 仪表示数识别方法、装置、设备及介质 | |
| KR20230036030A (ko) | 복수의 머신 러닝 프로그램을 사용하여 이미지 내의 아노몰리를 검출하기 위한 방법 및 시스템 | |
| CN114118410A (zh) | 图结构的节点特征提取方法、设备及存储介质 | |
| CN107316296A (zh) | 一种基于对数变换的遥感图像变化检测方法及装置 | |
| CN114494823A (zh) | 零售场景下的商品识别检测计数方法及系统 | |
| CN113762109A (zh) | 一种文字定位模型的训练方法及文字定位方法 | |
| CN113822144A (zh) | 一种目标检测方法、装置、计算机设备和存储介质 | |
| CN111027551B (zh) | 图像处理方法、设备和介质 | |
| Zhang et al. | A YOLOv3‐Based Industrial Instrument Classification and Reading Recognition Method | |
| CN117237681A (zh) | 图像处理方法、装置及相关设备 | |
| CN110705633A (zh) | 目标物检测、目标物检测模型的建立方法及装置 | |
| CN115345917A (zh) | 低显存占用的多阶段稠密重建方法及装置 | |
| CN114445716A (zh) | 关键点检测方法、装置、计算机设备、介质及程序产品 | |
| CN114882490A (zh) | 一种基于点引导定位的无受限场景车牌检测分类方法 | |
| CN114359382A (zh) | 基于深度学习的合作目标靶球检测方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |