CN111860348A - 基于深度学习的弱监督电力图纸ocr识别方法 - Google Patents

基于深度学习的弱监督电力图纸ocr识别方法 Download PDF

Info

Publication number
CN111860348A
CN111860348A CN202010714478.6A CN202010714478A CN111860348A CN 111860348 A CN111860348 A CN 111860348A CN 202010714478 A CN202010714478 A CN 202010714478A CN 111860348 A CN111860348 A CN 111860348A
Authority
CN
China
Prior art keywords
text
character
region
level
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010714478.6A
Other languages
English (en)
Inventor
王杉
李�昊
石玮
朱玉锦
高连学
王黎
孙万珺
苗纯源
甘甜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Shandong University
Qingdao Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Shandong University
Qingdao Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Shandong University, Qingdao Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202010714478.6A priority Critical patent/CN111860348A/zh
Publication of CN111860348A publication Critical patent/CN111860348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于深度学习的弱监督电力图纸OCR识别方法，属于电力图纸智能识别技术领域，所述方法包括：利用预先训练好的文本检测模型对待识别图像进行检测，预测出整个单词级别的文本区域框；对预测出的文本区域框进行文字识别：对于竖直文本采用字符切割得到单个字符文本，对于水平文本则直接使用文本行，之后再通过CNN+BiLSTM+CTC模型进行识别；对得到的识别结果进行后处理：通过先验知识对结果进行判定和修改来提高准确率。本发明对图纸中水平竖直文本并存的情况能够准确检测出两种文本的区域，对图纸中中文、英文、数字混合的情况能够准确识别出其文字，并且本发明识别速度快，成本低。

Description

基于深度学习的弱监督电力图纸OCR识别方法
技术领域
本发明涉及电力图纸智能识别技术领域，特别是指一种基于深度学习的弱监督电力图纸OCR识别方法。
背景技术
目前，智慧电力在我国电网系统的应用逐步开展，智慧电力将电能流和信息流结合在一起，实现能源传输的同时实现数据的采集。但是我国电力系统发展迅速的同时也会带来相当巨大的工作量，尤其对于电力系统中的图纸，图纸中的文字符号众多，字体相对偏小而且文本方向不统一，通过人工获取图中的信息，将会耗费过多时间并且准确率也无法得到保证。例如像变电站一次接线图，它采用规定的设备文字和图形符号并按照工作顺序排列，详细地表示电气设备或成套装备的全部基本组成和连接关系。但是其中的文字类型较多，而且相对图片本身它的字体过小，人工读取将会非常的耗时耗力。
为解决上述问题，近年来有许多研究工作基于计算机视觉以解决对图像中的文字进行OCR(Optical Character Recognition，光学字符识别)识别等问题。然而现有的OCR识别技术主要是基于词的水平上并只针对水平文本进行识别，例如CTPN(ConnectionistText Proposal Network，连接文本提议网络)和CRNN(Convolutional Recurrent NeuralNetwork，卷积循环神经网路)都只针对水平文本，而像EAST(Efficient and AccuracyScene Text，高效和准确的场景文本检测)这种可以检测多方向文本的模型又因为感受野过小不能获得理想的检测效果。所以针对图纸中存在的水平竖直文本并存，中文、英文、数字混合的情况现有的主流方法没有良好的鲁棒性。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的弱监督电力图纸OCR识别方法，本发明旨在利用深度学习和传统计算机视觉处理技术相结合的方式，对电力系统中的图纸的文本进行OCR识别。针对图纸中存在的水平竖直文本并存的情况做到能够准确检测出两种文本的区域。针对图纸中中文、英文、数字混合的情况本发明能够准确识别出其文字。在此基础上还要提高识别的速度并且降低使用的成本。
为解决上述技术问题，本发明提供技术方案如下：
一种基于深度学习的弱监督电力图纸OCR识别方法，包括：
利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，其中所述文本检测模型对每个单词级别的标注区域使用弱监督训练学习字符特性；
对预测出的文本区域框进行文字识别：对于竖直文本采用字符切割得到单个字符文本，对于水平文本则直接使用文本行，之后再通过CNN+BiLSTM+CTC模型进行识别；
对得到的识别结果进行后处理：通过先验知识对结果进行判定和修改来提高准确率。
根据本发明优选的，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框之前，包括：
对电力系统图纸进行切割，得到预设尺寸范围内的待识别图像。
根据本发明优选的，所述文本检测模型的训练包括：
数据集使用两种：字符级标签的强数据集和单词级标签的弱数据集；
标签包括：字符级的高斯热图和字符间连接的高斯热图；
对于单词级标签的弱数据集生成伪标签：首先，将单词级别的字符区域从原图中裁剪出来；之后，使用强监督训练出的预训练模型预测区域分数Region score，再通过分水岭算法分割字符区域得到字符框；最后，将字符框的坐标转换回原坐标；
文本检测模型训练过程分为两步：首先，在SynthText数据集上进行训练，迭代50K次；之后，在电力系统图纸数据集上进行微调fine-tuning，此时弱标签数据和强标签数据按照1:5的比例进行训练，即得到所需的文本检测模型。
根据本发明优选的，所述字符级标签的强数据集为SynthText数据集，所述单词级标签的弱数据集为电力系统图纸数据集。
根据本发明优选的，对于字符级标签的强数据集来说，字符级的高斯热图直接由字符框生成高斯热图来获得，字符间连接的高斯热图是由亲和力框Affinity Box生成高斯热图来获得，其中，Affinity Box是通过连接字符框的对角线，再对连接对角线后产生的三角形进行组合得到候选的Affinity Box，之后选出其中面积最大且为凸四边形的即为Affinity Box。
根据本发明优选的，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，包括：
对待识别图像通过视觉几何群VGG-16构架进行特征提取，之后通过特征金字塔网络FPN进行特征融合，其中在解码阶段跳过连接，就像U-net聚合底层特征一样采用自顶向下的特征聚合方式，浅层和深层的卷积特征相结合作为输出，有效保留浅层的结构特征和深层的语义特征；
再通过使用3*3*32、3*3*32、3*3*16和1*1*16四次卷积，最终的1*1卷积层使用两个卷积核输出两个分支结果，输出分为两个通道区域分数region score和亲和力分数affinity score，分别为单字符中心区域的概率和相邻字符区域中心的概率，得到原图大小1/2的预测图，即可预测出每个文字字符的区域与文字字符的相互关系的置信度；
对预测的region score和affinity score分别记为Sr(p)和Sa(p)，τr和τa分别表示各自的阈值，创建与图像相同大小的二进制图M，并将其全部像素点初始化为0，若Sr(p)>τr或Sa(p)>τa，则对二进制图M进行二值化操作，最终得到二值化图像M，之后在M的基础上使用连通区域标记法对图像中不同连通区域中的像素设置唯一的标号，将所有相连的值为1的像素定为一个文本目标，最终将这些单独预测的字符区域连接起来，在这些区域上使用最小包围矩形框得到一个带角度的矩形框检测结果，即可获得单词级别的文本区域框。
根据本发明优选的，所述对预测出的文本区域框进行文字识别，包括：
对预测出的文本区域框通过检测出的坐标获取到文本区域，判别文本区域是竖直还是水平，对于竖直文本通过垂直投影的方法并通过kmeans找到每一个字符的上下边界，进行每个字符切割；
首先对图片的文本区域缩放到预定尺寸，通过CNN提取出输入的文本区域的特征序列，其中提取的特征序列中的向量是从特征图从左到右生成的，每一个特征向量表示了文本区域是一定宽度的特征；
通过BiLSTM网络预测特征序列中每一个特征向量的标签分布；
通过对预测的特征序列进行整合，即可转换成最终的输出结果，其中要用到CTC模型用于解决输出不定长序列结果时存在的对齐解码的问题，CTC连接在BiLSTM网络的最后，做到端对端的识别。
根据本发明优选的，所述预定尺寸为32像素的默认高度，宽度则是任意长度。
本发明具有以下有益效果：
本发明利用了深度学习和传统计算机视觉处理技术相结合的方式，对电力系统图纸中的文本进行OCR识别。其中OCR识别大体分为文本检测和文本识别两部分，文本检测用于检测出文本区域框，文本识别对文本框中的文字进行识别。针对水平竖直文本并存的情况本发明采取切割字符的方法提升识别效果。这样基于字符水平就不存在竖直文本无法检测和识别等问题，对文本过长的情况也有很好的效果。由于基于字符级的数据过少，采用了弱监督的训练方式训练出模型进行文本检测。对于文字识别部分本发明通过使用CNN+BiLSTM+CTC的识别模型可以对中文、英文以及数字混合的情况达到良好的识别效果。
附图说明
图1为本发明基于深度学习的弱监督电力图纸OCR识别方法的流程示意图；
图2为本发明中预测文本区域框过程中得到区域分数和亲和力分数的流程图；
图3为本发明中预测出的一个文本区域框的示意图；
图4为变电站一次接线图原图示例；
图5为采用本发明方法对图4所示原图的识别效果图；
图6为采用现有OCR方法对图4所示原图的识别效果图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明提供一种基于深度学习的弱监督电力图纸OCR识别方法，如图1所示，包括：
步骤101：利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，其中所述文本检测模型对每个单词级别的标注区域使用弱监督训练学习字符特性；
作为一种可选的实施例，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框(步骤101)之前，可以包括：
步骤1001：对电力系统图纸进行切割，得到预设尺寸范围内的待识别图像。
由于电力系统图纸的图片过大，宽度和高度大多数在3000像素左右，同时图纸上的文字又过小，直接对图纸进行OCR识别将耗费大量计算资源而且准确率也不高，如何对图纸进行预处理来获取合适大小的图片将是一个挑战。本发明中，对图纸进行切割能够减少图片的分辨率，例如可以切割为四份，分别对四张小图进行识别，识别完成后再对四张图进行拼接；切割的算法可以采用本领域各种常规算法，例如获取图片的高和宽，四份按四等分进行切割，即小图的宽高都为原图宽高的一半，切割后的图片的格式和原图一样都为jpg格式。预设尺寸范围可以根据需要灵活设定，例如为2000*2000像素。
作为另一种可选的实施例，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框(步骤101)之前，还可以包括文本检测模型的训练步骤，具体可以包括：
步骤1001’：数据集使用两种：字符级标签的强数据集和单词级标签的弱数据集；
优选的，所述字符级标签的强数据集为SynthText数据集，所述单词级标签的弱数据集为电力系统图纸数据集。
步骤1002’：标签包括：字符级的高斯热图(Region Score GT)和字符间连接的高斯热图(Affinity Score GT)；
本步骤中，对于字符级标签的强数据集来说，字符级的高斯热图直接由字符框生成高斯热图来获得，字符间连接的高斯热图是由亲和力框Affinity Box生成高斯热图来获得，其中，Affinity Box是通过连接字符框的对角线，再对连接对角线后产生的三角形进行组合得到候选的Affinity Box，之后选出其中面积最大且为凸四边形的即为AffinityBox。
步骤1003’：对于单词级标签的弱数据集生成伪标签：
首先，将单词级别的字符区域从原图中裁剪出来；
之后，使用强监督训练出的预训练模型预测区域分数Region score，再通过分水岭算法分割字符区域得到字符框；
本步骤中，为生成伪标签数据，需要把电力系统图纸数据集中的单词级别的字符区域裁剪出来后(即将单词级别的字符区域从原图中裁剪出来)，使用强监督训练出的模型对裁剪出的区域进行预测。强监督训练出的预训练模型是指通过使用SynthText数据集强监督训练出的模型。
最后，将字符框的坐标转换回原坐标；
步骤1004’：文本检测模型训练过程分为两步：
首先，在SynthText数据集上进行训练，迭代50K次；
之后，在电力系统图纸数据集上进行微调fine-tuning，此时弱标签数据和强标签数据按照1:5的比例进行训练，即得到所需的文本检测模型。
作为再一种可选的实施例，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框(步骤101)可以包括：
步骤1011：对待识别图像通过视觉几何群VGG-16构架进行特征提取，之后通过特征金字塔网络FPN进行特征融合，其中在解码阶段跳过连接，就像U-net聚合底层特征一样采用自顶向下的特征聚合方式，浅层和深层的卷积特征相结合作为输出，有效的保留了浅层的结构特征和深层的语义特征；
步骤1012：再通过使用3×3×32、3×3×32、3×3×16和1×1×16四次卷积，最终的1×1卷积层使用两个卷积核输出两个分支结果。如图2所示输出分为两个通道区域分数region score和亲和力分数affinity score，分别为单字符中心区域的概率和相邻字符区域中心的概率，得到原图大小1/2的预测图，即可预测出每个文字字符的区域与文字字符的相互关系的置信度；
步骤1013：对预测的region score和affinity score分别记为Sr(p)和Sa(p)，τr和τa分别表示各自的阈值，创建与图像相同大小的二进制图M，并将其全部像素点初始化为0。若Sr(p)>τr或Sa(p)>τa，则对二进制图M进行二值化操作，即两个预测的分数中至少有一方高于阈值的像素点标为1，其他标为0，最终得到二值化处理后的图像M。之后在M的基础上使用连通区域标记法对图像中不同连通区域中的像素设置唯一的标号，将所有相连的值为1的像素定为一个文本目标。最终将这些单独预测的字符区域连接起来，在这些区域上使用最小包围矩形框得到一个带角度的矩形框检测结果。如图3所示，即可获得单词级别的文本区域框。从而得到对于水平和竖直文本都有很好鲁棒性的检测结果。
通过上述步骤1011-1013，即可较好地从待识别图像中预测出整个单词级别的文本区域框。
步骤102：对预测出的文本区域框进行文字识别：对于竖直文本采用字符切割得到单个字符文本，对于水平文本则直接使用文本行，之后再通过CNN+BiLSTM+CTC模型进行识别；
本步骤中，竖直文本切割后为一个个单个字符，每个单个字符视为一个文本行，识别后直接使用其结果即可。
作为一种可选的实施例，所述对预测出的文本区域框进行文字识别(步骤102)，可以包括：
步骤1021：对预测出的文本区域框通过检测出的坐标获取到文本区域，判别文本区域是竖直还是水平，对于竖直文本通过垂直投影的方法并通过kmeans找到每一个字符的上下边界，进行每个字符切割；
本步骤中，判断文本区域是竖直还是水平具体可以通过获取该文本区域的宽和高，通过比较它的宽和高的大小来判断是竖直的还是水平的。
步骤1022：首先对图片的文本区域缩放到预定尺寸，通过卷积神经网络CNN提取出输入的文本区域的特征序列，其中提取的特征序列中的向量是从特征图从左到右生成的，每一个特征向量表示了文本区域是一定宽度的特征；
本步骤中，预定尺寸可以根据需要灵活设定，例如可以为32像素的默认高度，宽度则是任意长度。特征图是指通过卷积神经网络从输入的文本区域的图中提取出的特征图，特征图包含了从左到右这些特征序列。
步骤1023：通过BiLSTM网络预测特征序列中每一个特征向量的标签分布；这里的标签是指所有字符的softmax概率分布，是一个概率矩阵。
步骤1024：通过对预测的特征序列进行整合，即可转换成最终的输出结果，其中要用到CTC模型用于解决输出不定长序列结果时存在的对齐解码的问题，CTC连接在BiLSTM网络的最后，做到端对端的识别。
CTC是一种loss计算方法，使用CTC代替softmax loss，训练样本无需对齐。其loss函数为：L(S)＝-∑(x,z)∈slnP(z|x)
其中P(z|x)代表给定输入x，输出序列z的概率，s则为训练集。
由于电力系统图纸中文字有水平和竖直两种方向，无法直接使用只针对水平文本进行OCR识别的模型方法，针对图纸中的文字如何做到对水平和竖直两种方向的文字都有很好的识别效果将是一个挑战。并且电力系统图纸中的文字类型众多，包含了汉字、字母、数字这三种类型，而且文字之间的距离过短甚至有粘连，如何降低OCR识别的漏检、误检将会形成挑战。本申请上述步骤1011-1013、1021-1024能够较好地解决这些问题。
步骤103：对得到的识别结果进行后处理：通过先验知识对结果进行判定和修改来提高准确率。
后处理的具体处理过程可以为：通过人工观察和总结识别的结果，找出识别结果中一些共性的错误。例如对于“系统图”这个文本识别结果易共同识别成“系统四”的情况，在程序中通过使用后处理函数对识别结果中这些共性的错误进行判定和更正，使这些共性的错误最终得出正确的识别结果，以此提高准确率。
综上，本发明利用了深度学习和传统计算机视觉处理技术相结合的方式，对电力系统图纸中的文本进行OCR识别。其中OCR识别大体分为文本检测和文本识别两部分，文本检测用于检测出文本区域框，文本识别对文本框中的文字进行识别。针对水平竖直文本并存的情况本发明采取切割字符的方法提升识别效果。这样基于字符水平就不存在竖直文本无法检测和识别等问题，对文本过长的情况也有很好的效果。由于基于字符级的数据过少，采用了弱监督的训练方式训练出模型进行文本检测。对于文字识别部分本发明通过使用CNN+BiLSTM+CTC的识别模型可以对中文、英文以及数字混合的情况达到良好的识别效果。
通过20张不同类别的图纸进行实验表明，文本检测部分在交并比为0.5的情况下平均准确率达到0.85，文本识别部分在基于对字符检测的基础上，平均准确率达到0.82。本发明对电力系统图纸的OCR识别达到了较好的识别效果。同时进行OCR识别时的速度也较快，几乎达到了实时性识别。
下面结合几个具体的例子，对本发明的方案进行说明。
实施例1
对于35kv变电站一次接线图，本例的图片其分辨率为4843×3348像素。为了选到合适大小的处理图片，首先对其进行切割，其中切割时选择的对宽和高切割份数的参数都为2。之后通过使用训练好的文本区域检测模型，获得接线图中的文本区域。由于训练的模型适用于所有电力图纸，不需要设置特定的处理参数。获取每个文本区域的宽高识别是水平文本还是竖直文本，之后将文本区域缩放到32像素的默认高度，竖直文本则需要先进行切割再对字符进行缩放。对文本区域通过CNN+BiLSTM+CTC的识别模型进行文本识别，经过处理对粘连或者间隙过小的字体也有很好的效果。最终，对识别结果再进行后处理。采用现有的OCR(EAST+Tesseract OCR)方法和本发明所述的识别方法进行对比，文本检测部分本发明的方法在交并比为0.5的情况下可以达到0.94的准确率，而现有的OCR方法只有0.83的准确率，文本识别方面本发明的方法可以达到0.92的准确率，而现有的OCR方法只有0.7。在识别速度上，本发明的方法处理时间为0.83秒。
实施例2
对于35kv变电站一次接线图，本例的图片其分辨率为3748×2374像素，图纸中的文本同样过小。为了选到合适大小的处理图片，首先对其进行切割，其中切割时选择的对宽和高切割份数的参数都为2。之后通过使用训练好的文本区域检测模型，获得接线图中的文本区域。由于训练的模型适用于所有电力图纸，不需要设置特定的处理参数。获取每个文本区域的宽高识别是水平文本还是竖直文本，之后将文本区域缩放到32像素的默认高度，竖直文本则需要先进行切割再对字符进行缩放。对文本区域通过CNN+BiLSTM+CTC的识别模型进行文本识别，经过处理对粘连或者间隙过小的字体也有很好的效果。最终，对识别结果再进行后处理。采用现有的OCR(EAST+Tesseract OCR)方法和本发明所述的识别方法进行对比，文本检测部分本发明的方法在交并比为0.5的情况下可以达到0.96的准确率，而现有的OCR方法只有0.81的准确率，文本识别方面本发明的方法可以达到0.912的准确率，而现有的OCR方法只有0.72。在识别速度上，本发明的方法处理时间为0.8秒。
实施例3
对于110kv变电站一次接线图，本例的图片其分辨率为2382×1684像素。为了选到合适大小的处理图片，首先对其进行切割，其中切割时选择的对宽和高切割份数的参数都为2。之后通过使用训练好的文本区域检测模型，获得接线图中的文本区域。由于训练的模型适用于所有电力图纸，不需要设置特定的处理参数。不过由于该类110kv变电站一次接线图图纸数据较少，检测效果相对较差。获取每个文本区域的宽高识别是水平文本还是竖直文本，之后将文本区域缩放到32像素的默认高度，竖直文本则需要先进行切割再对字符进行缩放。对文本区域通过CNN+BiLSTM+CTC的识别模型进行文本识别，经过处理对粘连或者间隙过小的字体也有很好的效果。最终，对识别结果再进行后处理。采用现有的OCR(EAST+Tesseract OCR)方法和本发明所述的识别方法进行对比，文本检测部分本发明的方法在交并比为0.5的情况下可以达到0.76的准确率，而现有的OCR方法只有0.69的准确率，文本识别方面本发明的方法可以达到0.8的准确率，而现有的OCR方法只有0.55。在识别速度上，本发明的方法处理时间为0.78秒。图4-6分别是本实施例3所对应的变电站一次接线图原图，本发明方法的识别效果图和现有OCR方法的识别效果图。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于深度学习的弱监督电力图纸OCR识别方法，其特征在于，包括：
利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，其中所述文本检测模型对每个单词级别的标注区域使用弱监督训练学习字符特性；
对预测出的文本区域框进行文字识别：对于竖直文本采用字符切割得到单个字符文本，对于水平文本则直接使用文本行，之后再通过CNN+BiLSTM+CTC模型进行识别；
对得到的识别结果进行后处理：通过先验知识对结果进行判定和修改来提高准确率。
2.根据权利要求1所述的方法，其特征在于，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框之前，包括：
对电力系统图纸进行切割，得到预设尺寸范围内的待识别图像。
3.根据权利要求1所述的方法，其特征在于，所述文本检测模型的训练包括：
数据集使用两种：字符级标签的强数据集和单词级标签的弱数据集；
标签包括：字符级的高斯热图和字符间连接的高斯热图；
对于单词级标签的弱数据集生成伪标签：首先，将单词级别的字符区域从原图中裁剪出来；之后，使用强监督训练出的预训练模型预测区域分数Region score，再通过分水岭算法分割字符区域得到字符框；最后，将字符框的坐标转换回原坐标；
文本检测模型训练过程分为两步：首先，在SynthText数据集上进行训练，迭代50K次；之后，在电力系统图纸数据集上进行微调fine-tuning，此时弱标签数据和强标签数据按照1:5的比例进行训练，即得到所需的文本检测模型。
4.根据权利要求3所述的方法，其特征在于，所述字符级标签的强数据集为SynthText数据集，所述单词级标签的弱数据集为电力系统图纸数据集。
5.根据权利要求3所述的方法，其特征在于，对于字符级标签的强数据集来说，字符级的高斯热图直接由字符框生成高斯热图来获得，字符间连接的高斯热图是由亲和力框Affinity Box生成高斯热图来获得，其中，Affinity Box是通过连接字符框的对角线，再对连接对角线后产生的三角形进行组合得到候选的Affinity Box，之后选出其中面积最大且为凸四边形的即为Affinity Box。
6.根据权利要求1所述的方法，其特征在于，所述利用预先训练好的文本检测模型对待识别图像进行检测，通过检测每个文字字符的区域与文字字符的相互关系，预测出整个单词级别的文本区域框，包括：
对待识别图像通过视觉几何群VGG-16构架进行特征提取，之后通过特征金字塔网络FPN进行特征融合，其中在解码阶段跳过连接，就像U-net聚合底层特征一样采用自顶向下的特征聚合方式，浅层和深层的卷积特征相结合作为输出，有效保留浅层的结构特征和深层的语义特征；
再通过使用3*3*32、3*3*32、3*3*16和1*1*16四次卷积，最终的1*1卷积层使用两个卷积核输出两个分支结果，输出分为两个通道区域分数region score和亲和力分数affinityscore，分别为单字符中心区域的概率和相邻字符区域中心的概率，得到原图大小1/2的预测图，即可预测出每个文字字符的区域与文字字符的相互关系的置信度；
对预测的region score和affinity score分别记为Sr(p)和Sa(p)，τr和τa分别表示各自的阈值，创建与图像相同大小的二进制图M，并将其全部像素点初始化为0，若Sr(p)>τr或Sa(p)>τa，则对二进制图M进行二值化操作，最终得到二值化图像M，之后在M的基础上使用连通区域标记法对图像中不同连通区域中的像素设置唯一的标号，将所有相连的值为1的像素定为一个文本目标，最终将这些单独预测的字符区域连接起来，在这些区域上使用最小包围矩形框得到一个带角度的矩形框检测结果，即可获得单词级别的文本区域框。
7.根据权利要求1所述的方法，其特征在于，所述对预测出的文本区域框进行文字识别，包括：
对预测出的文本区域框通过检测出的坐标获取到文本区域，判别文本区域是竖直还是水平，对于竖直文本通过垂直投影的方法并通过kmeans找到每一个字符的上下边界，进行每个字符切割；
首先对图片的文本区域缩放到预定尺寸，通过CNN提取出输入的文本区域的特征序列，其中提取的特征序列中的向量是从特征图从左到右生成的，每一个特征向量表示了文本区域是一定宽度的特征；
通过BiLSTM网络预测特征序列中每一个特征向量的标签分布；
通过对预测的特征序列进行整合，即可转换成最终的输出结果，其中要用到CTC模型用于解决输出不定长序列结果时存在的对齐解码的问题，CTC连接在BiLSTM网络的最后，做到端对端的识别。
8.根据权利要求1所述的方法，其特征在于，所述预定尺寸为32像素的默认高度，宽度则是任意长度。
CN202010714478.6A 2020-07-21 2020-07-21 基于深度学习的弱监督电力图纸ocr识别方法 Pending CN111860348A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010714478.6A CN111860348A (zh) 2020-07-21 2020-07-21 基于深度学习的弱监督电力图纸ocr识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010714478.6A CN111860348A (zh) 2020-07-21 2020-07-21 基于深度学习的弱监督电力图纸ocr识别方法

Publications (1)

Publication Number Publication Date
CN111860348A true CN111860348A (zh) 2020-10-30

Family

ID=72950818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010714478.6A Pending CN111860348A (zh) 2020-07-21 2020-07-21 基于深度学习的弱监督电力图纸ocr识别方法

Country Status (1)

Country Link
CN (1) CN111860348A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232352A (zh) * 2020-11-12 2021-01-15 深圳聚谷科技有限公司 一种智能识别pcb图纸自动计价系统和方法
CN112364821A (zh) * 2020-11-30 2021-02-12 国网湖南省电力有限公司 一种继电保护设备电力模式数据自识别方法和自识别设备
CN112541504A (zh) * 2020-12-11 2021-03-23 上海品览数据科技有限公司 一种针对文本中单个字符目标的检测方法
CN112541491A (zh) * 2020-12-07 2021-03-23 沈阳雅译网络技术有限公司 基于图像字符区域感知的端到端文本检测及识别方法
CN112966684A (zh) * 2021-03-15 2021-06-15 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
CN113096138A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 选择性像素亲和学习的弱监督语义图像分割方法
CN113159086A (zh) * 2020-12-31 2021-07-23 南京太司德智能电气有限公司 一种高效的电力信号描述模型训练方法
CN113554026A (zh) * 2021-07-28 2021-10-26 广东电网有限责任公司 电力设备铭牌识别方法、识别装置及电子设备
CN113569629A (zh) * 2021-06-11 2021-10-29 杭州玖欣物联科技有限公司 一种机加工图纸关键信息提取和敏感信息脱敏的模型方法
CN113609892A (zh) * 2021-06-16 2021-11-05 北京工业大学 深度学习与景区知识图谱融合的手写诗词识别方法
CN113642619A (zh) * 2021-07-29 2021-11-12 华侨大学 文字识别模型的训练方法、装置、设备及可读存储介质
CN113673338A (zh) * 2021-07-16 2021-11-19 华南理工大学 自然场景文本图像字符像素弱监督自动标注方法、系统及介质
CN114170616A (zh) * 2021-11-15 2022-03-11 嵊州市光宇实业有限公司 基于图纸组的电力工程物资信息采集及分析系统和方法
CN114493475A (zh) * 2021-12-09 2022-05-13 国网浙江省电力有限公司 一种基于文本识别和目标检测的智能审图方法
CN115035541A (zh) * 2022-06-27 2022-09-09 中核核电运行管理有限公司 一种大尺寸复杂pdf工程图纸文本检测与识别方法
WO2022194130A1 (zh) * 2021-03-16 2022-09-22 北京有竹居网络技术有限公司 字符位置修正方法、装置、电子设备和存储介质
CN116071759A (zh) * 2023-03-06 2023-05-05 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种融合gpt2预训练大模型的光学字符识别方法
CN116543392A (zh) * 2023-04-19 2023-08-04 钛玛科（北京）工业科技有限公司 一种用于深度学习字符识别的标注方法
CN116563840A (zh) * 2023-07-07 2023-08-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于弱监督跨模态对比学习的场景文本检测与识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171237A (zh) * 2017-12-08 2018-06-15 众安信息技术服务有限公司 一种文本行图像单字切分方法和装置
CN110287952A (zh) * 2019-07-01 2019-09-27 中科软科技股份有限公司 一种维语图片字符的识别方法及系统
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN110929727A (zh) * 2020-02-12 2020-03-27 成都数联铭品科技有限公司 图像标注方法及装置、文字检测方法及系统、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171237A (zh) * 2017-12-08 2018-06-15 众安信息技术服务有限公司 一种文本行图像单字切分方法和装置
CN110287952A (zh) * 2019-07-01 2019-09-27 中科软科技股份有限公司 一种维语图片字符的识别方法及系统
CN110287960A (zh) * 2019-07-02 2019-09-27 中国科学院信息工程研究所 自然场景图像中曲线文字的检测识别方法
CN110929727A (zh) * 2020-02-12 2020-03-27 成都数联铭品科技有限公司 图像标注方法及装置、文字检测方法及系统、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YOUNGMIN BAEK等: "Character Region Awareness for Text Detection", 《ARXIV》 *
陈萱等: "基于物联网和图像识别的智慧停车服务平台", 《电脑知识与技术》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232352A (zh) * 2020-11-12 2021-01-15 深圳聚谷科技有限公司 一种智能识别pcb图纸自动计价系统和方法
CN112232352B (zh) * 2020-11-12 2024-05-28 深圳聚谷科技有限公司 一种智能识别pcb图纸自动计价系统和方法
CN112364821A (zh) * 2020-11-30 2021-02-12 国网湖南省电力有限公司 一种继电保护设备电力模式数据自识别方法和自识别设备
CN112541491A (zh) * 2020-12-07 2021-03-23 沈阳雅译网络技术有限公司 基于图像字符区域感知的端到端文本检测及识别方法
CN112541491B (zh) * 2020-12-07 2024-02-02 沈阳雅译网络技术有限公司 基于图像字符区域感知的端到端文本检测及识别方法
CN112541504A (zh) * 2020-12-11 2021-03-23 上海品览数据科技有限公司 一种针对文本中单个字符目标的检测方法
CN113159086A (zh) * 2020-12-31 2021-07-23 南京太司德智能电气有限公司 一种高效的电力信号描述模型训练方法
CN113159086B (zh) * 2020-12-31 2024-04-30 南京太司德智能电气有限公司 一种高效的电力信号描述模型训练方法
CN112966684A (zh) * 2021-03-15 2021-06-15 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
CN112966684B (zh) * 2021-03-15 2022-11-04 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
WO2022194130A1 (zh) * 2021-03-16 2022-09-22 北京有竹居网络技术有限公司 字符位置修正方法、装置、电子设备和存储介质
CN113096138A (zh) * 2021-04-13 2021-07-09 西安电子科技大学 选择性像素亲和学习的弱监督语义图像分割方法
CN113096138B (zh) * 2021-04-13 2023-04-28 西安电子科技大学 选择性像素亲和学习的弱监督语义图像分割方法
CN113569629A (zh) * 2021-06-11 2021-10-29 杭州玖欣物联科技有限公司 一种机加工图纸关键信息提取和敏感信息脱敏的模型方法
CN113569629B (zh) * 2021-06-11 2023-09-15 杭州玖欣物联科技有限公司 一种机加工图纸关键信息提取和敏感信息脱敏的模型方法
CN113609892A (zh) * 2021-06-16 2021-11-05 北京工业大学 深度学习与景区知识图谱融合的手写诗词识别方法
CN113673338A (zh) * 2021-07-16 2021-11-19 华南理工大学 自然场景文本图像字符像素弱监督自动标注方法、系统及介质
CN113673338B (zh) * 2021-07-16 2023-09-26 华南理工大学 自然场景文本图像字符像素弱监督自动标注方法、系统及介质
CN113554026A (zh) * 2021-07-28 2021-10-26 广东电网有限责任公司 电力设备铭牌识别方法、识别装置及电子设备
CN113642619A (zh) * 2021-07-29 2021-11-12 华侨大学 文字识别模型的训练方法、装置、设备及可读存储介质
CN113642619B (zh) * 2021-07-29 2023-12-26 华侨大学 文字识别模型的训练方法、装置、设备及可读存储介质
CN114170616A (zh) * 2021-11-15 2022-03-11 嵊州市光宇实业有限公司 基于图纸组的电力工程物资信息采集及分析系统和方法
CN114493475A (zh) * 2021-12-09 2022-05-13 国网浙江省电力有限公司 一种基于文本识别和目标检测的智能审图方法
CN115035541A (zh) * 2022-06-27 2022-09-09 中核核电运行管理有限公司 一种大尺寸复杂pdf工程图纸文本检测与识别方法
CN116071759B (zh) * 2023-03-06 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种融合gpt2预训练大模型的光学字符识别方法
CN116071759A (zh) * 2023-03-06 2023-05-05 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种融合gpt2预训练大模型的光学字符识别方法
CN116543392A (zh) * 2023-04-19 2023-08-04 钛玛科（北京）工业科技有限公司 一种用于深度学习字符识别的标注方法
CN116543392B (zh) * 2023-04-19 2024-03-12 钛玛科（北京）工业科技有限公司 一种用于深度学习字符识别的标注方法
CN116563840B (zh) * 2023-07-07 2023-09-05 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于弱监督跨模态对比学习的场景文本检测与识别方法
CN116563840A (zh) * 2023-07-07 2023-08-08 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于弱监督跨模态对比学习的场景文本检测与识别方法

Similar Documents

Publication Publication Date Title
CN111860348A (zh) 基于深度学习的弱监督电力图纸ocr识别方法
CN107346420B (zh) 一种基于深度学习的自然场景下文字检测定位方法
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN108376244B (zh) 一种自然场景图片中的文本字体的识别方法
CN110598690B (zh) 一种端到端光学字符检测识别方法与系统
CN110766008A (zh) 一种面向任意方向和形状的文本检测方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
EP3734496A1 (en) Image analysis method and apparatus, and electronic device and readable storage medium
CN113537227B (zh) 一种结构化文本识别方法及系统
CN112085024A (zh) 一种罐表面字符识别方法
CN112580507B (zh) 一种基于图像矩矫正的深度学习文本字符检测方法
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN104778470A (zh) 基于组件树和霍夫森林的文字检测和识别方法
CN112818951A (zh) 一种票证识别的方法
CN112836650A (zh) 一种质量检验报告扫描图像表格语义解析方法与系统
CN112541491A (zh) 基于图像字符区域感知的端到端文本检测及识别方法
CN112101108B (zh) 一种基于图形极点位置特征的左右转交通标志识别方法
CN112949510A (zh) 基于Faster R-CNN热红外影像人物探测方法
CN115810197A (zh) 一种多模态电力表单识别方法及装置
CN117437647B (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
CN114550153A (zh) 一种端子排图像检测识别方法
CN115937492A (zh) 一种基于特征识别的变电设备红外图像识别方法
CN114550197A (zh) 一种端子排图像检测信息匹配方法
CN114387600A (zh) 文本特征识别方法、装置、计算机设备和存储介质
CN112434698A (zh) 字符识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication