CN113554026A - 电力设备铭牌识别方法、识别装置及电子设备 - Google Patents

电力设备铭牌识别方法、识别装置及电子设备 Download PDF

Info

Publication number
CN113554026A
CN113554026A CN202110860524.8A CN202110860524A CN113554026A CN 113554026 A CN113554026 A CN 113554026A CN 202110860524 A CN202110860524 A CN 202110860524A CN 113554026 A CN113554026 A CN 113554026A
Authority
CN
China
Prior art keywords
text
nameplate
algorithm
resnet
bilstm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110860524.8A
Other languages
English (en)
Inventor
雷璟
唐铭骏
王宇
李佳
郑亚茹
夏英男
曾瑞江
王喆
谢彬瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202110860524.8A priority Critical patent/CN113554026A/zh
Publication of CN113554026A publication Critical patent/CN113554026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了电力设备铭牌识别方法、识别装置及电子设备，包括：使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行；将多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得电力设备的铭牌；其中，改进的EAST算法是采用多通道的FCN直接预测铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果；基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的文本校正、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。本申请可以提高电力设备铭牌识别的准确率。

Description

电力设备铭牌识别方法、识别装置及电子设备
技术领域
本申请涉及图像识别技术领域，尤其涉及电力设备铭牌识别方法、识别装置及电子设备。
背景技术
电网变压器是供配电系统中关键的一个环节，起到电力系统中电压等级的变换的作用，是电能输送、分配和使用的关键设备。所以，对于电网变压器的运维工作显得尤为重要。
电网变压器的运维工作一般从变压器的铭牌出发，铭牌就类似变压器的一张身份证，从铭牌上可以获取变压器的编号和主要技术参数，为运维工作的开展提供更加充足的信息支持。变电站设备巡检主要依靠人工巡检，该巡检方式存在环境恶劣、劳动性强度大、重复性高的问题，巡检机器人可以减少高危环境下巡检作业的危险，提高巡检的质量和效率。
图像识别是近几年人工智能领域的主要研究方向之一，在电网运维领域，图像识别可以根据现场采集的图像数据进行模型训练，从而对图像数据中提取出关键信息，为运维工作提供支持。
现有方法的文本方法采用VGG进行特征提取，网络训练速度较慢、网络难以收敛，准确度有待提升。针对不同尺度的铭牌图像，文本行的大小也不一样，现有方法的检测网络鲁棒性不够。文本检测算法可能会检测出存在弯曲、倾斜的文本，
但现有方法针对铭牌整图进行校正，并未对文本行进行校正，这些不规则的文本行图像输入到后续的特征提取网络会影响识别准确率。现有方法采用LSTM进行文本识别，LSTM具有方向性，无法提取从后往前的特征，识别准确率有待提高。
发明内容
本申请提供电力设备铭牌识别方法、识别装置及电子设备，以解决现有技术中铭牌识别准确率不高的问题。
为解决上述技术问题，本申请提出一种电力设备铭牌识别方法，包括：使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行；将多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得电力设备的铭牌；其中，改进的EAST算法是采用多通道的FCN直接预测铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果；基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的文本校正、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。
可选地，执行改进的EAST算法的步骤，包括：将铭牌图像的尺寸缩放为原图像尺寸的二分之一、四分之一和八分之一；采用Resnet网络提取不同尺度的特征图；然后将特征图输入到特征合并分支；输出层根据特征合并分支输出的特征图预测出每个像素存在文字的置信度和文字框位置。
可选地，执行基于STN的文本校正的步骤，包括：将多方向文本行进行STN网络处理，获得文本均校正到了水平方向的预处理图像。
可选地，执行基于Resnet的卷积特征提取的步骤，包括：提取特征图并将特征图的每一列转换成特征序列，特征序列中的每个特征向量对应预处理图像的一个矩形区域。
可选地，在基于BiLSTM的序列特征提取中，BiLSTM由方向不同的两个LSTM组成，可以同时获取两个方向的特征。
可选地，CTC能够去除预测文本中重复的文本和空白文本。
可选地，CTC引入blank字符删除重复的字符。
为解决上述技术问题，本申请提出一种电力设备铭牌识别装置，包括：改进EAST算法模块，用于使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行；文本识别算法模块，用于将多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得电力设备的铭牌；其中，改进的EAST算法是采用多通道的FCN直接预测铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果；基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的文本校正、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。
为解决上述技术问题，本申请提出一种电子设备，包括存储器和处理器，所述存储器连接所述处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现上述的方法。
为解决上述技术问题，本申请提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被执行时实现上述的方法。
本申请提出电力设备铭牌识别方法、识别装置及电子设备，包括：使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行；将多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得电力设备的铭牌；其中，改进的EAST算法是采用多通道的FCN直接预测铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果；基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的文本校正、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。本申请可以提高电力设备铭牌识别的准确率。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请电力设备铭牌识别方法一实施例的流程示意图；
图2是本申请电力设备铭牌识别方法一实施例的关键节点示意图；
图3是本申请电力设备铭牌识别装置一实施例的结构示意图；
图4是本申请电子设备一实施例的结构示意图；
图5是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供电力设备铭牌识别方法、识别装置及电子设备进一步详细描述。
首先，对本文中出现的英文缩写进行解释：
EAST：是一种文本检测算法；
FCN：Fully Convolutional Networks，全卷积网络；
VGG：一种网络结构；
STN：Spatial Transformer Network，空间变换网络，显式地允许在网络中对数据进行空间变换操作；
Resnet：是一种网络结构；
LSTM：全称是Long Short-Term Memory，它是RNN(Recurrent Neural Network)的一种。LSTM由于其设计的特点，非常适合用于对时序数据的建模，如文本数据；
BiLSTM：是Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成。两者在自然语言处理任务中都常被用来建模上下文信息；
CTC：Connectionist Temporal Classification，联接时许分类，是为RNN专门设计的顶层(top layer)。使得针对输入序列的每一帧，网络能够输出一个标签或者空白(blank)。CTC使得用一个RNN构建语音识别系统成为可能。
本申请提出一种电力设备铭牌识别方法，请参阅图1，图1是本申请电力设备铭牌识别方法一实施例的流程示意图，在本实施例中，具体可以包括以下步骤：
S110：使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行。
改进的EAST算法是采用多通道的FCN直接预测铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果。
具体地，执行改进的EAST算法的步骤，包括：将铭牌图像的尺寸缩放为原图像尺寸的二分之一、四分之一和八分之一；采用Resnet网络提取不同尺度的特征图；然后将特征图输入到特征合并分支；输出层根据特征合并分支输出的特征图预测出每个像素存在文字的置信度和文字框位置。
本实施例对EAST的改进主要体现在：特征提取网络的改进、多尺度训练的改进。
(1)特征提取网络的改进
在FCN网络中，首先采用VGG网络提取不同尺度的特征图；然后将特征输入到特征合并分支；输出层根据特征合并分支输出的特征图预测出每个像素存在文字的置信度和文字框位置。
因为文本区域的按大小存在差异，定位大文本需要提取更深层的特征，而定位小文本需要提取浅层特征。VGG网络证明了增加神经网络的深度能一定程度上提高网络的最终性能，使错误率下降。但是随着神经网络深度的增加，网络提取到的多种等级的特征越来越丰富。如果不断的增加网络的深度，会引起反向传播过程中梯度消失或梯度爆炸，进而使网络难以收敛，降低网络的性能。
本实施例采用152层的深层神经网络Resnet，网络参数量低，效果非常突出。残差单元的结构可以极快的加速神经网络的训练，模型的准确率也有较大的提高。同时Resnet的推广性非常好，可以直接用到其他网络中。
本实施例在EAST算法的基础上做出改进，采用Resnet网络替代原算法中的VGG网络提取更深层的图像特征，提高铭牌图像文本检测的准确性，提升网络训练速度。
(2)多尺度训练
实际运维环境下，图像采集过程中图像尺度存在不确定性，采集到的铭牌图像大小存在差异，导致图像中文本存在尺度差异。固定输入图像尺度的训练方法容易导致某些尺度的图像检测准确率极差，不能适应铭牌图像检测的需求。
为降低算法对图像尺度变化的敏感程度，使其对不同尺度的设备铭牌图像文本检测效果均能达到较好的效果，提升算法的鲁棒性。本实施例采用多尺度训练的方法，在训练之前，将输图像的尺寸随机缩放为原图像尺寸的二分之一、四分之一和八分之一。
S120：将多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得电力设备的铭牌。
目前，图像文本识别算法主要分为基于分割的方法和基于文本序列的方法。基于分割的方法要经过图像预处理，然后进行文本分割后运用CNN进行单字符识别。基于文本序列的方法有很多方案，但这些方案的识别准确率不能达到实际的应用需求。
而本实施例提出一种基于STN+Resnet+BiLSTM+CTC的铭牌图像文本识别算法，可以提高识别准确率。基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。
1)基于STN的文本校正
执行基于STN的文本校正的步骤，包括：将多方向文本行进行STN网络处理，获得文本均校正到了水平方向的预处理图像。
由于文本检测算法可能会检测出存在弯曲、倾斜的文本，为了解决这个问题，本实施例先通过空间变换网络对输入的图像进行预处理。经过STN网络处理后，图像中的文本均校正到了水平方向，比原输入图像的可读性更强。解决不规则文本难以识别的问题。
2)基于Resnet的卷积特征提取
执行基于Resnet的卷积特征提取的步骤，包括：提取特征图并将特征图的每一列转换成特征序列，特征序列中的每个特征向量对应预处理图像的一个矩形区域。
Resnet进行卷积特征提取的效果比VGG要好，因此，此处仍选择Resnet作为特征提取网络。提取特征图并将特征图的每一列转换成特征序列。特征序列中的每个特征向量对应输入图像的一个矩形区域，即特征向量的感受野。
3)基于BiLSTM的序列特征提取
在基于BiLSTM的序列特征提取中，BiLSTM由方向不同的两个LSTM组成，可以同时获取两个方向的特征。
文本通常以序列的形式存在，相比逐个字符进行识别，利用上下文信息可以提高文本识别的准确率。循环神经网络RNN具备很强的上下文信息提取能力。但RNN在处理长序列时容易出现梯度爆炸和梯度消失的问题。LSTM的记忆机制使其对长序列的特征提取更加稳定，然而LSTM具有方向性，单向的LSTM仅能够存储单方向的特征，无法提取从后往前的特征。本实施例采用双层BiLSTM网络。BiLSTM由方向不同的两个LSTM组成，可以同时获取两个方向的特征。双层BiLSTM可以抑制多余像素的干扰，避免将非文本区域误识别成文本。
4)基于CTC的文本预测
可选地，CTC能够去除预测文本中重复的文本和空白文本。CTC引入blank字符删除重复的字符。
对于双层BiLSTM的输出，如果使用常见的softmax损失函数预测文本，需要确定预测字符的长度，同时该方法要求网络训练之前需要同时标记出每个文本的内容及位置，数据标记工作量极大，效率低。另外，不同文本中字符的长度、大小有差异，预测文本的长度不能和文本的实际长度相对应。而CTC能够去除预测文本中重复的文本和空白文本，CTC引入blank字符删除重复的字符，解决有些位置没有字符的问题，用CTC损失函数代替softmax算是函数，可以使训练样本无需对齐，还可以通过递推快速计算梯度。
为了更好地说明本实施例的方案，可参阅图2，图2是本申请电力设备铭牌识别方法一实施例的关键节点示意图。由图2中可以看出，电力设备铭牌识别方法主要可以分为EAST算法文本检测和文本识别，其中EAST算法文本检测依次包括输入图像、多通道FCN、非极大抑制算法和输出多方向文本行，文本识别依次包括文本校正、卷积特征提取、序列特征提取和文本预测。并且，EAST算法文本检测中的输出多方向文本型与文本识别中的文本校正依次连接。
以上，本实施例提出一种电力设备铭牌识别方法，可以实现以下技术效果：
1)采用Resnet替换FCN网络中的特征提取网络VGG，提取更深层的网络特征，提升网络的检测准确率，并提高网络的训练速度。
2)多尺度的训练方法，降低算法对图像尺度变化的敏感程度，使其对不同尺度的设备铭牌图像文本检测效果均能达到较好的效果，提升算法的鲁棒性。
3)基于STN+Resnet+BiLSTM+CTC的铭牌文本识别算法，该算法首先使用STN将不规则文本校正为水平方向的文本解决不规则文本难以识别的问题，然后用Resnet网络提取深层空间特征，再通过BiLSTM提取文本序列的上下文信息，抑制多余像素的干扰，避免将非文本区域误识别成文本，最后采用CTC损失函数识别不定长文本，滤除重复的文本，解决有些位置没有文本的问题，整体提升文本识别的准确率。
因此，本实施例研究文本检测的特征提取网络，提升文本检测网络训练速度，提升文本检测准确率；进行多尺度训练，提高文本行检测模型的泛化能力；提出文本行校正方法，对不规则的文本行进行校正，提高后续文本识别准确率；通过BiLSTM算法提取文本序列上下文信息，提高文本识别的准确率。
此外，本申请提出一种电力设备铭牌识别装置，请参阅图3，图3是本申请电力设备铭牌识别装置一实施例的结构示意图。在本实施例中，识别装置可以包括：
改进EAST算法模块，用于使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行；
文本识别算法模块，用于将多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得电力设备的铭牌；
其中，改进的EAST算法是采用多通道的FCN直接预测铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果；
基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的文本校正、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。
基于上述的电力设备铭牌识别方法，本申请还提出一种电子设备，如图4所示，图4是本申请电子设备一实施例的结构示意图。电子设备400可以包括存储器41和处理器42，存储器41连接处理器42，存储器41中存储有计算机程序，计算机程序被处理器42执行时实现上述任一实施例的方法。其步骤和原理在上述方法已详细介绍，在此不再赘述。
在本实施例中，处理器42还可以称为CPU(central processing unit，中央处理单元)。处理器42可以是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
基于上述的电力设备铭牌识别方法，本申请还提出一种计算机可读存储介质。请参阅图5，图5是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质500上存储有计算机程序51，计算机程序51被处理器执行时实现上述任一实施例的方法。其步骤和原理在上述方法已详细介绍，在此不再赘述。
进一步的，计算机可读存储介质500还可以是U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存储器(random access memory，RAM)、磁带或者光盘等各种可以存储程序代码的介质。
可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。文中所使用的步骤编号也仅是为了方便描述，不对作为对步骤执行先后顺序的限定。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种电力设备铭牌识别方法，其特征在于，包括：
使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行；
将所述多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得所述电力设备的铭牌；
其中，所述改进的EAST算法是采用多通道的FCN直接预测所述铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果；
所述基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的文本校正、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。
2.根据权利要求1所述的电力设备铭牌识别方法，其特征在于，执行所述改进的EAST算法的步骤，包括：
将所述铭牌图像的尺寸缩放为原图像尺寸的二分之一、四分之一和八分之一；
采用Resnet网络提取不同尺度的特征图；然后将所述特征图输入到特征合并分支；
输出层根据所述特征合并分支输出的特征图预测出每个像素存在文字的置信度和文字框位置。
3.根据权利要求2所述的电力设备铭牌识别方法，其特征在于，执行所述基于STN的文本校正的步骤，包括：
将所述多方向文本行进行STN网络处理，获得文本均校正到了水平方向的预处理图像。
4.根据权利要求3所述的电力设备铭牌识别方法，其特征在于，执行所述基于Resnet的卷积特征提取的步骤，包括：
提取所述特征图并将所述特征图的每一列转换成特征序列，所述特征序列中的每个特征向量对应所述预处理图像的一个矩形区域。
5.根据权利要求4所述的电力设备铭牌识别方法，其特征在于，
在所述基于BiLSTM的序列特征提取中，所述BiLSTM由方向不同的两个LSTM组成，可以同时获取两个方向的特征。
6.根据权利要求5所述的电力设备铭牌识别方法，其特征在于，
所述CTC能够去除预测文本中重复的文本和空白文本。
7.根据权利要求6所述的电力设备铭牌识别方法，其特征在于，
所述CTC引入blank字符删除重复的字符。
8.一种电力设备铭牌识别装置，其特征在于，包括：
改进EAST算法模块，用于使用改进的EAST算法对铭牌图像进行检测，输出多方向文本行；
文本识别算法模块，用于将所述多方向文本行输入到基于STN+Resnet+BiLSTM+CTC的文本识别算法中进行文本识别，从而获得所述电力设备的铭牌；
其中，所述改进的EAST算法是采用多通道的FCN直接预测所述铭牌图像中的单词或者文本行，然后运用非极大抑制算法去除文本行冗余的检测框，保留最好的一个，最终输出多方向单词或文本行预测结果；
所述基于STN+Resnet+BiLSTM+CTC的文本识别算法包括基于STN的文本校正、基于Resnet的卷积特征提取、基于BiLSTM的序列特征提取以及基于CTC的文本预测。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器连接所述处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被执行时实现权利要求1-7任一项所述的方法。
CN202110860524.8A 2021-07-28 2021-07-28 电力设备铭牌识别方法、识别装置及电子设备 Pending CN113554026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110860524.8A CN113554026A (zh) 2021-07-28 2021-07-28 电力设备铭牌识别方法、识别装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110860524.8A CN113554026A (zh) 2021-07-28 2021-07-28 电力设备铭牌识别方法、识别装置及电子设备

Publications (1)

Publication Number Publication Date
CN113554026A true CN113554026A (zh) 2021-10-26

Family

ID=78104798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110860524.8A Pending CN113554026A (zh) 2021-07-28 2021-07-28 电力设备铭牌识别方法、识别装置及电子设备

Country Status (1)

Country Link
CN (1) CN113554026A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583367A (zh) * 2018-11-28 2019-04-05 网易（杭州）网络有限公司 图像文本行检测方法及装置、存储介质和电子设备
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN110458165A (zh) * 2019-08-14 2019-11-15 贵州大学 一种引入注意力机制的自然场景文本检测方法
CN111860348A (zh) * 2020-07-21 2020-10-30 国网山东省电力公司青岛供电公司 基于深度学习的弱监督电力图纸ocr识别方法
CN112418278A (zh) * 2020-11-05 2021-02-26 中保车服科技服务股份有限公司 一种多类物体检测方法、终端设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583367A (zh) * 2018-11-28 2019-04-05 网易（杭州）网络有限公司 图像文本行检测方法及装置、存储介质和电子设备
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN110458165A (zh) * 2019-08-14 2019-11-15 贵州大学 一种引入注意力机制的自然场景文本检测方法
CN111860348A (zh) * 2020-07-21 2020-10-30 国网山东省电力公司青岛供电公司 基于深度学习的弱监督电力图纸ocr识别方法
CN112418278A (zh) * 2020-11-05 2021-02-26 中保车服科技服务股份有限公司 一种多类物体检测方法、终端设备及存储介质

Similar Documents

Publication Publication Date Title
CN109117848B (zh) 一种文本行字符识别方法、装置、介质和电子设备
CN111860348A (zh) 基于深度学习的弱监督电力图纸ocr识别方法
Ma et al. Joint layout analysis, character detection and recognition for historical document digitization
CN110276351B (zh) 多语言场景文本检测与识别方法
EP3734496A1 (en) Image analysis method and apparatus, and electronic device and readable storage medium
CN112070649B (zh) 一种去除特定字符串水印的方法及系统
CN112818951A (zh) 一种票证识别的方法
CN114022900A (zh) 检测模型的训练方法、检测方法、装置、设备和介质
CN111666937A (zh) 一种图像中的文本识别方法及系统
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN116189162A (zh) 一种船牌检测与识别方法、装置、电子设备和储存介质
CN113591719A (zh) 一种自然场景任意形状文本检测方法、装置和训练方法
Tang et al. HRCenterNet: An anchorless approach to Chinese character segmentation in historical documents
CN113780276B (zh) 一种结合文本分类的文本识别方法及系统
CN113468979A (zh) 文本行语种识别方法、装置、电子设备
CN113537187A (zh) 文本识别方法、装置、电子设备及可读存储介质
Rasheed et al. A deep learning-based method for Turkish text detection from videos
Seeri et al. A novel approach for Kannada text extraction
CN111444834A (zh) 图像文本行检测方法、装置、设备及存储介质
CN116311276A (zh) 文档图像矫正方法、装置、电子设备及可读介质
Yang et al. Intelligent digitization of substation one-line diagrams based on computer vision
CN113554026A (zh) 电力设备铭牌识别方法、识别装置及电子设备
Devi et al. Brahmi script recognition system using deep learning techniques
CN113822275A (zh) 一种图像语种识别方法及其相关设备
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination