CN110991448A - 电力设备铭牌图像的文本检测方法及装置 - Google Patents

电力设备铭牌图像的文本检测方法及装置 Download PDF

Info

Publication number
CN110991448A
CN110991448A CN201911183356.2A CN201911183356A CN110991448A CN 110991448 A CN110991448 A CN 110991448A CN 201911183356 A CN201911183356 A CN 201911183356A CN 110991448 A CN110991448 A CN 110991448A
Authority
CN
China
Prior art keywords
nameplate
text
image
input image
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911183356.2A
Other languages
English (en)
Inventor
郭晨鋆
高丙团
马显龙
仲林林
曹占国
舒越
于虹
龚泽威一
李�昊
段雨廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN201911183356.2A priority Critical patent/CN110991448A/zh
Publication of CN110991448A publication Critical patent/CN110991448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种电力设备铭牌图像的文本检测方法及装置，其中方法包括：获取输入图像；利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取；通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像；利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果。本申请的方案通过深度学习算法实现对电力设备铭牌图像中的文本的智能检测，解决了电力设备信息自动采集中铭牌文本难以检测的难题，提高了电力设备信息采集的效率。

Description

电力设备铭牌图像的文本检测方法及装置
技术领域
本申请涉及图像识别领域，特别涉及一种电力设备铭牌图像的文本检测方法及装置。
背景技术
电力系统设备的稳定运行关系着人民生活和生产活动，保证电力系统安全运行是行业的首要任务，对于电力设备的管理尤为重要。
随着我国电网规模日益发展，电力设备的种类与数量也越来越多；对于电力设备的管理也日趋复杂。目前对电力设备管理中，需要人工手动抄录设备铭牌信息，从而实现对电力设备信息的采集、统计，并记录在电力系统设备台账，存在效率低、准确性差、易出现信息记录不完全等问题，给电力设备的管理工作带来极大困难。实现电力设备铭牌文本的自动采集提取，对提高电力系统设备管理水平与自动化水平具有重要意义，而铭牌文本的自动精准检测，是实现铭牌文本自动采集的关键难题。
发明内容
本申请实施例提供了一种电力设备铭牌图像的文本检测方及装置，以解决现有技术对电力设备信息采集提取工作中存在的易出错、效率低的问题。
第一方面，本申请实施例提供了一种电力设备铭牌图像的文本检测方法，包括：
获取输入图像；
利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取；
通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像；
利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果。
第二方面，本申请实施例提供了一种电力设备铭牌图像的文本检测装置，该装置包括：
获取模块，用于获取输入图像；
定位模块，用于利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取；
矫正模块，用于通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像；
文本检测模块，用于利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果。
由以上技术方案可知，本申请实施例的方案，通过深度学习算法实现对电力设备铭牌图像定位提取，并进行矫正，智能地实现了电力设备铭牌图像的有效提取，进而通过深度学习文本检测方法，对矫正后的铭牌图像自动进行文本检测，高效且精准的得到了铭牌文本检测结果，解决了电力设备信息的自动采集中的关键难题，提高了电力设备信息采集的效率及精准度。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种电力设备铭牌图像的文本检测方法流程图；
图2为本申请实施例中根据预测的文本候选框得到铭牌文本检测结果的方法流程图；
图3为本申请实施例提供一种电力设备铭牌图像的文本检测方法步骤S2的流程图；
图4为本申请实施例中实现步骤S2中铭牌图像定位的网络的结构示意图；
图5本申请实施例提供的一种电力设备铭牌图像的文本检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
图1为本申请实施例提供的一种电力设备铭牌图像的文本检测方法流程图。本实施例的方法可以由具备较强计算能力的设备执行，例如服务器、终端设备等，如图所示，该方法包括以下步骤：
步骤S1：获取输入图像；
设置于电力设备表面的铭牌记录了设备型号、参数、生产厂家等丰富的信息，所述输入图像为包含电力设备铭牌图像的图像，具体可以由巡检人员对电力设备拍摄所得，也可以通过监控设备远程对电力设备拍摄所得。
步骤S2：利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取；
本实施例中，深度学习算法对应模型对大量铭牌图像学习训练，对所述输入图像中存在的铭牌进行区域定位。
步骤S3：通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像；
步骤S4：利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果。
这里的文本检测结果，具体可以为通过文本检测得到的铭牌中的文本区域，进一步通过文字识别来识别出文本区域内的文字，作为采集到的电力设备信息；也可以是根据检测到的文本区域提取出的文本图像，进而将提取出的文本图像作为采集到的设备信息。
本实施例提供的方法中，通过深度学习算法实现对电力设备铭牌图像定位提取，并进行矫正，智能地实现了电力设备铭牌图像的有效提取，进而通过深度学习文本检测方法，对矫正后的铭牌图像自动进行文本检测，高效且精准的得到了铭牌文本检测结果，解决了电力设备信息的自动采集中的关键难题，提高了电力设备信息采集的效率及精准度。
优选地，为提高文本检测精度及效率，在本申请实施例中，上述步骤S4中利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果，具体可以包括以下步骤401～402：
步骤401：利用深度学习文本检测算法对所述铭牌图像中的文本进行初步检测，预测得到多个文本候选框；
所述深度学习文本检测算法可以为EAST、CTPN、YOLO中的任一种。生成的每个文本候选框都包含4个坐标和一个置信度值，置信度取值区间为0～1，置信度越高，表明候选框中包含文本的概率越高。优选地，在本实施例中，利用深度学习文本检测算法EAST对铭牌图像中的文本进行初步检测，预测出大量文本候选框。
步骤402：根据各文本候选框对应的置信度及坐标信息，对预测得到的文本候选框进行处理得到所述铭牌文本检测结果。
进一步地，为进一步提高文本检测的精准度及鲁棒性，降低漏检率，本申请实施例中在深度学习方法的基础上，结合传统模式识别方法来检测铭牌文本，对应地，参见图2，步骤402中所述根据各文本候选框对应的置信度及坐标信息，对预测得到的文本候选框进行处理得到所述铭牌文本检测结果，具体包括以下步骤402-1～步骤402-3：
步骤402-1：筛选置信度高于预设阈值的文本候选框，对筛选出的文本候选框进行非极大抑制处理，并对同一文本行的邻近文本候选框进行合并，得到第一合并结果；
对于置信度高于阈值的文本候选框进行非极大抑制处理，去除重叠、多余的文本候选框，同时对同一文本行的邻近候选框进行合并。此处的预设阈值为根据实际文本检测效果人为设置的经验值，取值区间为0～1。本领域技术人员可以在本申请实施例公开的技术思路下，通过多次的验证对比选择出合适的预设阈值，本申请实施例中对预设阈值的取值不做具体限定。
步骤402-2：对于置信度低于所述预设阈值的文本候选框：提取文本候选框区域的笔画宽度特征，根据提取的笔画宽度特征，确认包含文字的文本侯选框；
上述步骤402-1与步骤402-2先后顺序任意，也可以同步进行。
该步骤中利用传统模式识别方法确认各文本候选框是否包含文字，确认出包含文字的文本候选框。
步骤402-3：将确认包含文字的文本侯选框与所述第一合并结果合并，得到所述铭牌文本检测结果。
此处，对检测出的具有较低置信度的文本候选框，利用手动提取特征的方法，进一步判断是否包含文本，具体的，利用笔画宽度变换算法提取出文本候选框中的文本连通域，若文本连通域占候选区面积的比例超过一定阈值且连通域高和宽占比满足一定的条件，则认为候选区中包含文本，否则判定为背景。若判断包含文本，则与合并后的高置信度文本框进行二次合并，否则丢弃，生成最终的铭牌文本检测结果。
本申请实施例中，首先利用深度学习模型检测文本，再利用手工提取特征的方法判断低置信度的文本区域，具有良好的鲁棒性，同时能提高检测准确率，降低漏检率。
为进一步提高铭牌定位提取过程的计算效率，本申请实施例中可以先利用深度学习算法实现输入图像中电力设备铭牌的粗定位，大大降低复杂背景的干扰，有效定位铭牌区域。去除复杂背景后，再利用边缘检测等手工特征提取的方法精确定位铭牌位置，实现铭牌位置的细定位，相应地，参见图3，上述步骤S2中的所述利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取，包括以下步骤：
步骤201：利用卷积神经网络对所述输入图像处理，生成所述输入图像的特征图；
步骤202：基于所述输入图像的特征图，定位出铭牌对应的矩形边界框区域；
上述步骤201～202实现对输入图像中电力设备铭牌的粗定位。
步骤203：根据边缘检测算法，从所述铭牌对应的矩形边界框区域提取出独立的铭牌区域，得到所述定位提取图像。
具体地，该步骤中通过边缘检测算法及霍夫变换，从所述铭牌对应的矩形边界框区域内检测出铭牌的4条边界线与4个角点，剪裁提取出独立的铭牌区域，得到所述定位提取图像，进一步地除去了矩形边界框区域中铭牌的背景，实现铭牌细定位。
由于拍摄角度问题，所述输入图像中的铭牌图像较难呈现为规则的矩形，一般呈现为不规则的四边形，因此该处根据4条边界线与4个角点得到所述定位提取图像，一般存在形变，为普通四边形，为实现铭牌文本检测，需要对其进行矫正，步骤S3中的形变矫正具体为：根据文本行方向，通过透视变换对定位提取图像进行形变矫正，矫正后的铭牌图像为矩形且图像中文本行呈水平方向。
优选地，在本申请实施例中所述卷积神经网络包括5个卷积块与2个卷积层，每个卷积块包括一个卷积层及一个池化层，步骤201中利用卷积神经网络对所述输入图像处理，生成所述输入图像的特征图，具体为通过卷积神经网络5个卷积块及2个卷积层处理，得到尺度大小为输入图像尺度1/32的所述输入图像的特征图。具体地，图像首先被放缩到固定的尺寸输入卷积神经网络，每经过一个卷积块，图像对应特征图的尺度都会减少一半，因此，经过5个卷积块后，尺度为输入图像尺度的1/32。接着，再经过2个卷积层，尺寸保持不变。最终，卷积神经网络提取出铭牌图像的高级特征图即所述输入图像的特征图，尺度为输入图像的1/32。
优选地，为提高定位的精准度，下面示例性地介绍了本申请实施例步骤202的一种实施方式，包括以下步骤201-1至步骤201-3：
步骤201-1：基于所述输入图像的特征图，建立所述卷积神经网络的分类网络和回归网络，根据所述输入图像的特征图的大小尺寸，将特征图分为K×K个特征单位网格；
具体地，K×K为所述输入图像的特征图的尺寸，特征图大小为K×K，则对应可分为K×K个特征单位网格。
步骤201-2：对于每个特征单位网络，根据设定的锚框数量M，预测出M个预测矩形框，所述回归网络用于预测出各预测矩形框的坐标，所述分类网络用于预测出各预测矩形框包含铭牌的概率；
在提取出的特征图基础上分别建立分类网络和回归网络。其中，回归网络用于预测铭牌矩形包围框即预测矩形框的坐标，分类网络用于预测的矩形框包含铭牌的概率。锚框也称为先验验矩形框，设定的锚框数量M为手动设置，每个特征单位网格都预测M个以锚框为基础的预测矩形框，共预测K×K×M个框。
图4为上述步骤201～202中实现铭牌图像定位所使用的所述卷积神经网络结构示意图，参见图4，通过5个卷积块1～5及2个卷积层6～7处理，得到输入图像的特征图后，将输入图像的特征图经过卷积核为1×1的卷积层8后输入分类网络，分类网络预测K×K×M×1个值，对应表示K×K×M个框包含铭牌的概率。同时特征图经过另一个卷积核为1×1的卷积层9后输入回归网络，回归网络预测K×K×M×4个值，每个框预测4个值x、y、w、h。其中，x、y表示预测的矩形框中心点坐标相对于对应特征单位网格左上角坐标的偏移量；w、h分别表示预测的预测矩形框的框长、宽与对应锚框长、宽的比值。
在本申请实施例中，所述卷积神经网络的损失函数由分类损失和回归损失共同组成，具体为：
L＝Lcls+λLreg
其中，L表示总损失，Lcls表示分类损失，Lreg表示回归损失，λ表示损失权重；
损失函数中的分类损失Lcls，具体如下：
Figure BDA0002291841360000061
pi表示对应预测矩形框包含铭牌的概率，
Figure BDA0002291841360000062
为对应的标签值；
损失函数中回归损失Lreg，函数如下：
Figure BDA0002291841360000063
xi、yi表示对应预测矩形框的中心点坐标相对于对应特征单位网格左上角坐标的偏移量；wi和hi分别表示预测矩形框长、宽与对应锚框长、宽的比值，
Figure BDA0002291841360000064
分别为对应的标签值。其中，(2-wi×hi)为自适应长宽损失权重，当长和宽过大时，自适应权重小，当长和宽过小时，自适应权重大。
201-3：对预测出的预测矩形框进行非极大抑制操作，定位出铭牌对应的矩形边界框区域。这里通过非极大抑制操作，去除重叠、多余的预测矩形框，粗略定位出铭牌矩形区域。
本申请实施例还提供一种电力设备铭牌图像的文本检测装置，该装置可以应用于PC(个人电脑)、平板电脑、手机和服务器等具备深度学习计算能力的电子设备中，用于执行本申请实施例提供的方法，参见图5，该装置包括：
获取模块51，用于获取输入图像；
定位模块52，用于利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取；
矫正模块53，用于通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像；
文本检测模块54，用于利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果。
本实施例提供的装置中，定位模块52通过深度学习算法实现对电力设备铭牌图像定位提取，并通过矫正模块53进行矫正，智能地实现了电力设备铭牌图像的有效提取，进而通过深度学习文本检测方法，对对矫正后的铭牌图像自动进行文本检测，效且精准的得到了铭牌文本检测结果，解决了电力设备信息的自动采集中的关键难题，提高了电力设备信息采集的效率及精准度。
进一步地，所述文本检测模块54具体包括：预测单元及预测框处理单元：
所述预测单元，由于利用深度学习文本检测算法对所述铭牌图像中的文本进行初步检测，预测得到多个文本候选框；
所述预测框处理单元，具体用于根据各文本候选框对应的置信度及坐标信息，对预测得到的文本候选框进行处理得到所述铭牌文本检测结果。
优先地，所述根据各文本候选框对应的置信度及坐标信息，对预测得到的文本候选框进行处理得到所述铭牌文本检测结果，包括：
筛选置信度高于预设阈值的文本候选框，对筛选出的文本候选框进行非极大抑制处理，并对同一文本行的邻近文本候选框进行合并，得到第一合并结果；
对于置信度低于所述预设阈值的文本候选框：提取文本候选框区域的笔画宽度特征，根据提取的笔画宽度特征，确认各文本候选框是否包含文字，并将确认包含文字的文本侯选框与所述第一合并结果合并，得到所述铭牌文本检测结果。
进一步地，定位模块52具体用于：
利用卷积神经网络对所述输入图像处理，生成所述输入图像的特征图；
基于所述输入图像的特征图，定位出铭牌对应的矩形边界框区域；
根据边缘检测算法，从所述铭牌对应的矩形边界框区域提取出独立的铭牌区域，得到所述定位提取图像。具体为通过边缘检测算法及霍夫变换，从所述铭牌对应的矩形边界框区域内检测出铭牌的4条边界线与4个角点，剪裁提取出独立的铭牌区域，得到所述定位提取图像。
优选地，所述卷积神经网络包括5个卷积块与2个卷积层，每个卷积块包括一个卷积层及一个池化层，所述利用卷积神经网络对所述输入图像处理，生成所述输入图像的特征图，包括：通过卷积神经网络5个卷积块及2个卷积层处理，得到尺度大小为输入图像尺度1/32的所述输入图像的特征图。
进一步地，所述基于所述输入图像的特征图，定位出铭牌对应的矩形边界框区域；包括：
基于所述输入图像的特征图，建立所述卷积神经网络的分类网络和回归网络，根据所述输入图像的特征图的大小尺寸，将特征图分为K×K个特征单位网格；
对于每个特征单位网络，根据设定的锚框数量M，预测出M个预测矩形框，具体地，利用所述回归网络预测出各预测矩形框的坐标，同时利用所述分类网络预测出各预测矩形框包含铭牌的概率；
对预测出的预测矩形框进行非极大抑制操作，定位出铭牌对应的矩形边界框区域。
优选地，所述卷积神经网络的损失函数为：L＝Lcls+λLreg，L表示总损失，由分类损失和回归损失共同组成，Lcls表示分类损失，Lreg表示回归损失，λ表示损失权重；
其中，
Figure BDA0002291841360000081
pi表示对应预测矩形框包含铭牌的概率，
Figure BDA0002291841360000082
为对应的标签值；
Figure BDA0002291841360000083
其中，xi、yi表示对应预测矩形框的中心点坐标相对于对应特征单位网格左上角坐标的偏移量；wi和hi分别表示预测矩形框长、宽与对应锚框长、宽的比值，
Figure BDA0002291841360000084
分别为对应的标签值。
所述矫正模块53，具体用于根据文本行方向，通过透视变换对定位提取图像进行形变矫正，使得矫正后的铭牌图像为矩形且图像中文本行呈水平方向。
本申请实施例提供的装置，实现了对电力设备信息的自动采集，通过深度学习方法与传统模式识别方法来检测铭牌文本，具有鲁棒性强、检测准确率高等特点。深度学习模型使用大量数据驱动，自动学习、提取特征，具有良好的鲁棒性。利用深度学习模型对图像中的铭牌进行粗定位，能大大降低复杂背景的干扰，有效定位铭牌区域。去除复杂背景后，利用边缘检测等手工特征提取的方法能精确定位铭牌位置。同理，首先利用深度学习模型检测文本，再利用手工提取特征的方法判断低置信度的文本区域，也具有良好的鲁棒性，同时能提高检测准确率，降低漏检率。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种电力设备铭牌图像的文本检测方法，其特征在于，包括：
获取输入图像；
利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取；
通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像；
利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果。
2.根据权利要求1所述的方法，其特征在于，所述利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果，包括：
利用深度学习文本检测算法对所述铭牌图像中的文本进行初步检测，预测得到多个文本候选框；
根据各文本候选框对应的置信度及坐标信息，对预测得到的文本候选框进行处理得到所述铭牌文本检测结果。
3.根据权利要求2所述的方法，其特征在于，所述根据各文本候选框对应的置信度及坐标信息，对预测得到的文本候选框进行处理得到所述铭牌文本检测结果，包括：
筛选置信度高于预设阈值的文本候选框，对筛选出的文本候选框进行非极大抑制处理，并对同一文本行的邻近文本候选框进行合并，得到第一合并结果；
对于置信度低于所述预设阈值的文本候选框：提取文本候选框区域的笔画宽度特征，根据提取的笔画宽度特征，确认各文本候选框是否包含文字，并将确认包含文字的文本侯选框与所述第一合并结果合并，得到所述铭牌文本检测结果。
4.根据权利要求1～3中任一项所述的方法，其特征在于，所述利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取，包括：
利用卷积神经网络对所述输入图像处理，生成所述输入图像的特征图；
基于所述输入图像的特征图，定位出铭牌对应的矩形边界框区域；
根据边缘检测算法，从所述铭牌对应的矩形边界框区域提取出独立的铭牌区域，得到所述定位提取图像。
5.根据权利要求4所述的方法，其特征在于，所述基于所述输入图像的特征图，定位出铭牌对应的矩形边界框区域；包括：
基于所述输入图像的特征图，建立所述卷积神经网络的分类网络和回归网络，根据所述输入图像的特征图的大小尺寸，将所述输入图像的特征图分为K×K个特征单位网格；
对于每个特征单位网络，根据设定的锚框数量M，通过所述分类网络和所述回归网络预测出M个预测矩形框；所述回归网络用于预测出各预测矩形框的坐标，所述分类网络用于预测出各预测矩形框包含铭牌的概率；
对预测出的预测矩形框进行非极大抑制操作，定位出铭牌对应的矩形边界框区域。
6.根据权利要求5所述的方法，其特征在于，所述卷积神经网络的损失函数为：L＝Lcls+λLreg，L表示总损失，由分类损失和回归损失共同组成，Lcls表示分类损失，Lreg表示回归损失，λ表示损失权重；
其中，
Figure FDA0002291841350000021
pi表示对应预测矩形框包含铭牌的概率，
Figure FDA0002291841350000022
为对应的标签值；
Figure FDA0002291841350000023
xi、yi表示对应预测矩形框的中心点坐标相对于对应特征单位网格左上角坐标的偏移量；wi和hi分别表示预测矩形框长、宽与对应锚框长、宽的比值，
Figure FDA0002291841350000024
分别为对应的标签值。
7.根据权利要求4所述的方法，其特征在于，所述根据边缘检测算法，从所述铭牌对应的矩形边界框区域提取出独立的铭牌区域，得到所述定位提取图像，包括：
通过边缘检测算法及霍夫变换，从所述铭牌对应的矩形边界框区域内检测出铭牌的4条边界线与4个角点，剪裁提取出独立的铭牌区域，得到所述定位提取图像。
8.根据权利要求1～3中任一项所述的方法，其特征在于，所述通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像，包括：
根据文本行方向，通过透视变换对定位提取图像进行形变矫正，使得矫正后的铭牌图像为矩形且图像中文本行呈水平方向。
9.根据权利要求4所述的方法，其特征在于，所述卷积神经网络包括5个卷积块与2个卷积层，每个卷积块包括一个卷积层及一个池化层，所述利用卷积神经网络对所述输入图像处理，生成所述输入图像的特征图，包括：
通过卷积神经网络5个卷积块及2个卷积层处理，得到尺度大小为输入图像尺度1/32的所述输入图像的特征图。
10.一种电力设备铭牌图像的文本检测装置，其特征在于，包括：
获取模块，用于获取输入图像；
定位模块，用于利用深度学习算法及边缘检测算法，对所述输入图像中的铭牌进行定位提取；
矫正模块，用于通过透视变换对定位提取图像进行形变矫正，得到矫正后的铭牌图像；
文本检测模块，用于利用深度学习文本检测算法，对矫正后的铭牌图像自动进行文本检测，得到铭牌文本检测结果。
CN201911183356.2A 2019-11-27 2019-11-27 电力设备铭牌图像的文本检测方法及装置 Pending CN110991448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911183356.2A CN110991448A (zh) 2019-11-27 2019-11-27 电力设备铭牌图像的文本检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911183356.2A CN110991448A (zh) 2019-11-27 2019-11-27 电力设备铭牌图像的文本检测方法及装置

Publications (1)

Publication Number Publication Date
CN110991448A true CN110991448A (zh) 2020-04-10

Family

ID=70087395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911183356.2A Pending CN110991448A (zh) 2019-11-27 2019-11-27 电力设备铭牌图像的文本检测方法及装置

Country Status (1)

Country Link
CN (1) CN110991448A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523583A (zh) * 2020-04-16 2020-08-11 国网河北省电力有限公司石家庄市栾城区供电分公司 一种利用无人机对设备铭牌照片自动识别分类的方法
CN111598082A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法
CN111832390A (zh) * 2020-05-26 2020-10-27 西南大学 一种手写古文字检测方法
CN112364821A (zh) * 2020-11-30 2021-02-12 国网湖南省电力有限公司 一种继电保护设备电力模式数据自识别方法和自识别设备
CN112580632A (zh) * 2020-12-24 2021-03-30 南方电网深圳数字电网研究院有限公司 铭牌识别方法、系统、电子设备及计算机可读存储介质
CN112749694A (zh) * 2021-01-20 2021-05-04 中科云谷科技有限公司 用于识别图像方向、识别铭牌文字的方法及装置
CN112800954A (zh) * 2021-01-27 2021-05-14 北京市商汤科技开发有限公司 文本检测方法及装置、电子设备和存储介质
CN113537199A (zh) * 2021-08-13 2021-10-22 上海淇玥信息技术有限公司 图像边界框筛选方法、系统、电子装置及介质
CN113569850A (zh) * 2021-09-23 2021-10-29 湖南星汉数智科技有限公司 银行卡卡号识别方法、装置、计算机设备和存储介质
CN115689994A (zh) * 2022-09-14 2023-02-03 优层智能科技(上海)有限公司 一种铭牌和条码缺陷检测方法、设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038481A (zh) * 2017-12-11 2018-05-15 江苏科技大学 一种结合最大极值稳定区域和笔画宽度变化的文本定位方法
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的套牌车检测方法
CN109117841A (zh) * 2018-09-03 2019-01-01 厦门金龙联合汽车工业有限公司 基于笔画宽度变换与卷积神经网络的场景文本检测方法
CN109299274A (zh) * 2018-11-07 2019-02-01 南京大学 一种基于全卷积神经网络的自然场景文本检测方法
CN109344824A (zh) * 2018-09-21 2019-02-15 泰康保险集团股份有限公司 一种文本行区域检测方法、装置、介质和电子设备
CN109389121A (zh) * 2018-10-30 2019-02-26 金现代信息产业股份有限公司 一种基于深度学习的铭牌识别方法及系统
CN109409355A (zh) * 2018-08-13 2019-03-01 国网陕西省电力公司 一种新型变压器铭牌识别的方法及装置
CN109711464A (zh) * 2018-12-25 2019-05-03 中山大学 基于层次化特征关系图构建的图像描述方法
CN109919025A (zh) * 2019-01-30 2019-06-21 华南理工大学 基于深度学习的视频场景文本检测方法、系统、设备及介质
CN110033002A (zh) * 2019-04-19 2019-07-19 福州大学 基于多任务级联卷积神经网络的车牌检测方法
CN110059694A (zh) * 2019-04-19 2019-07-26 山东大学 电力行业复杂场景下的文字数据的智能识别方法
CN110399800A (zh) * 2019-06-28 2019-11-01 智慧眼科技股份有限公司 基于深度学习vgg16框架的车牌检测方法及系统、存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038481A (zh) * 2017-12-11 2018-05-15 江苏科技大学 一种结合最大极值稳定区域和笔画宽度变化的文本定位方法
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的套牌车检测方法
CN109409355A (zh) * 2018-08-13 2019-03-01 国网陕西省电力公司 一种新型变压器铭牌识别的方法及装置
CN109117841A (zh) * 2018-09-03 2019-01-01 厦门金龙联合汽车工业有限公司 基于笔画宽度变换与卷积神经网络的场景文本检测方法
CN109344824A (zh) * 2018-09-21 2019-02-15 泰康保险集团股份有限公司 一种文本行区域检测方法、装置、介质和电子设备
CN109389121A (zh) * 2018-10-30 2019-02-26 金现代信息产业股份有限公司 一种基于深度学习的铭牌识别方法及系统
CN109299274A (zh) * 2018-11-07 2019-02-01 南京大学 一种基于全卷积神经网络的自然场景文本检测方法
CN109711464A (zh) * 2018-12-25 2019-05-03 中山大学 基于层次化特征关系图构建的图像描述方法
CN109919025A (zh) * 2019-01-30 2019-06-21 华南理工大学 基于深度学习的视频场景文本检测方法、系统、设备及介质
CN110033002A (zh) * 2019-04-19 2019-07-19 福州大学 基于多任务级联卷积神经网络的车牌检测方法
CN110059694A (zh) * 2019-04-19 2019-07-26 山东大学 电力行业复杂场景下的文字数据的智能识别方法
CN110399800A (zh) * 2019-06-28 2019-11-01 智慧眼科技股份有限公司 基于深度学习vgg16框架的车牌检测方法及系统、存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
AKOUSHIDEH, ALIREZA等: "Text localization in digital images using a hybrid method", 《MULTIMEDIA TOOLS AND APPLICATIONS》, vol. 81, no. 23, pages 34047 - 34066 *
BAOGUANG SHI等: "An End-to-End Trainable Neural Network for Image-Based Sequence Recognition and Its Application to Scene Text Recognition", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 39, no. 39, pages 2298 - 2304, XP055405545, DOI: 10.1109/TPAMI.2016.2646371 *
GUO, CHENJUN等: "Text Detection of Power Equipment Nameplates Based on Deep Learning", 《2019 9TH IEEE ANNUAL INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL, AND INTELLIGENT SYSTEMS》, pages 1635 - 1639 *
孙悦等: "基于改进SSD算法的自然场景文本检测", 《电视技术》, no. 08, pages 6 - 14 *
朱旭辰等: "基于深度学习的车牌识别", 《电子技术与软件工程》, no. 22, pages 65 - 66 *
王佳宇: "基于深度学习的变电设备铭牌文本识别研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, pages 042 - 968 *
王逸凡等: "基于深度学习的电力设备铭牌文本识别", 《电力工程技术》, vol. 41, no. 5, pages 210 - 218 *
陈晓龙等: "基于深度学习的电力设备铭牌识别", 《广西大学学报(自然科学版)》, vol. 43, no. 6, pages 2216 - 2226 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523583B (zh) * 2020-04-16 2022-06-24 国网河北省电力有限公司石家庄市栾城区供电分公司 一种利用无人机对设备铭牌照片自动识别分类的方法
CN111523583A (zh) * 2020-04-16 2020-08-11 国网河北省电力有限公司石家庄市栾城区供电分公司 一种利用无人机对设备铭牌照片自动识别分类的方法
CN111598082A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法
CN111598082B (zh) * 2020-04-24 2023-10-17 云南电网有限责任公司电力科学研究院 一种基于全卷积网络与实例分割网络的电力铭牌文本检测方法
CN111832390A (zh) * 2020-05-26 2020-10-27 西南大学 一种手写古文字检测方法
CN111832390B (zh) * 2020-05-26 2022-10-25 西南大学 一种手写古文字检测方法
CN112364821A (zh) * 2020-11-30 2021-02-12 国网湖南省电力有限公司 一种继电保护设备电力模式数据自识别方法和自识别设备
CN112580632A (zh) * 2020-12-24 2021-03-30 南方电网深圳数字电网研究院有限公司 铭牌识别方法、系统、电子设备及计算机可读存储介质
CN112749694A (zh) * 2021-01-20 2021-05-04 中科云谷科技有限公司 用于识别图像方向、识别铭牌文字的方法及装置
CN112749694B (zh) * 2021-01-20 2024-05-21 中科云谷科技有限公司 用于识别图像方向、识别铭牌文字的方法及装置
CN112800954A (zh) * 2021-01-27 2021-05-14 北京市商汤科技开发有限公司 文本检测方法及装置、电子设备和存储介质
CN113537199A (zh) * 2021-08-13 2021-10-22 上海淇玥信息技术有限公司 图像边界框筛选方法、系统、电子装置及介质
CN113569850A (zh) * 2021-09-23 2021-10-29 湖南星汉数智科技有限公司 银行卡卡号识别方法、装置、计算机设备和存储介质
CN115689994A (zh) * 2022-09-14 2023-02-03 优层智能科技(上海)有限公司 一种铭牌和条码缺陷检测方法、设备和存储介质
CN115689994B (zh) * 2022-09-14 2023-08-04 优层智能科技(上海)有限公司 一种铭牌和条码缺陷检测方法、设备和存储介质

Similar Documents

Publication Publication Date Title
CN110991448A (zh) 电力设备铭牌图像的文本检测方法及装置
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
CN109409355B (zh) 一种新型变压器铭牌识别的方法及装置
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN109685075A (zh) 一种基于图像的电力设备识别方法、装置及系统
CN108648169A (zh) 高压输电塔绝缘子缺陷自动识别的方法及装置
CN110781877B (zh) 一种图像识别方法、设备及存储介质
CN112989995B (zh) 文本检测方法、装置及电子设备
CN111080615B (zh) 基于卷积神经网络的pcb缺陷检测系统及检测方法
CN116168351B (zh) 电力设备巡检方法及装置
CN113490947A (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN116311201A (zh) 一种基于图像识别技术的变电站设备状态识别方法及系统
CN113177941B (zh) 一种钢卷边裂识别方法、系统、介质和终端
CN114880730A (zh) 确定目标设备的方法、装置及光伏系统
CN109635729B (zh) 一种表格识别方法及终端
CN107085722A (zh) 在图像中定位指定信息的方法及装置
CN113870196A (zh) 一种基于锚点切图的图像处理方法、装置、设备和介质
CN113111728A (zh) 面向变电站内电力生产作业风险的智能识别方法及系统
CN116363319B (zh) 一种建筑物屋顶的建模方法、建模装置、设备及介质
CN112001336A (zh) 行人越界报警方法、装置、设备及系统
CN103455798A (zh) 基于最大几何流向直方图的人体检测方法
CN110263736A (zh) 一种构件识别方法、装置、存储介质及系统
CN107330470B (zh) 识别图片的方法和装置
CN102682291A (zh) 一种场景人数统计方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200410