CN112836696A - 一种文字数据的检测方法、装置及电子设备 - Google Patents
一种文字数据的检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112836696A CN112836696A CN201911155385.8A CN201911155385A CN112836696A CN 112836696 A CN112836696 A CN 112836696A CN 201911155385 A CN201911155385 A CN 201911155385A CN 112836696 A CN112836696 A CN 112836696A
- Authority
- CN
- China
- Prior art keywords
- height
- width
- image
- characteristic diagram
- text line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000010586 diagram Methods 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims description 17
- 230000003321 amplification Effects 0.000 claims description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种文字数据的检测方法、装置及电子设备，该方法包括：将待检测图像输入预先训练好的全卷积网络获得像素分类特征图、文本行高度特征图及文本行宽度特征图；根据像素分类特征图获取待检测图像中文本行的连通域；通过文本行高度特征图中的高度和文本行宽度特征图中的宽度对连通域对应的文字行进行监督，获得连通域的高度基准和/或宽度基准；根据连通域以及高度基准或者宽度基准，获得待检测图像中的文字行。在上述方法中，通过全卷积网络获得图形的像素分类特征图、文本行高度特征图及文本行宽度特征图，并采用文本行高度特征图和文本行宽度特征图作为监督信息检测获得图像中的文字行，实现了文字行的自动检测，提高了文字行检测的效率。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种文字数据的检测方法、装置及电子设备。
背景技术
随着图像处理技术的不断发展，图像检测的对象越来越广泛，不仅可以检测出图像中的人物、动物、背景等，还可以检测出图像中的文字行，以便于进行文字提取、编辑等操作，给用户带来了诸多便利。
现如今，对图像中的文字行进行检测时，通常采用基于候选框区域来检测文字行，即需要用户通过候选框对需要进行文字行检测的区域进行选中，然后，对选中的区域进行文字行检测。由于该识别过程需要借助用户对检测区域进行定位，存在检测效率低下的技术问题。
发明内容
本发明实施例提供一种文字数据的检测方法、装置及电子设备，用于解决现有技术中文字行检测效率低下的技术问题，提高文字行的检测效率。
本发明实施例提供一种文字数据的检测方法，包括：
将待检测图像输入预先训练好的全卷积网络，获得像素分类特征图、文本行高度特征图及文本行宽度特征图；
根据所述像素分类特征图获取所述待检测图像中文本行的连通域；
通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；
根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行。
可选的，所述通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准，包括：
获得所述连通域在所述像素特征图中所处的位置区域；
获得所述文本行高度特征图中所述位置区域内的高度数据并计算其平均高度，以及，获得所述文本行宽度特征图中所述位置区域内的宽度数据并计算其平均宽度；
根据第一预设比例对所述平均高度进行转换获得所述平均高度对应的参考宽度，获得所述参考宽度和所述平均宽度中的较小值作为所述宽度基准；和/或，
根据第二预设比例对所述平均宽度进行转换获得所述平均宽度对应的参考高度，获得所述参考高度和所述平均高度中的较小值作为所述高度基准。
可选的，所述根据所述连通域以及所述高度基准或者所述宽度基准，获得所述待检测图像中的文字行，包括：
根据所述高度基准或者所述宽度基准，对所述连通域的最小面积外接矩形执行等比例放大操作；
根据所述放大操作后的外接矩形所在位置，获得所述待检测图像中相同位置处的图像内容作为所述文字行。
可选的，所述全卷积网络的检测单元包括：深度残差网络单元、通道注意力模块和空间注意力模块。
可选的，所述全卷积网络的训练方法包括：
获得N个样本图像，N为大于1的整数；
对每个所述样本图像中文字行所在区域进行坐标点标记获得标记后的第一图像；
对每个所述样本图像中文字行的高度进行坐标点标记获得标记后的第二图像；
对每个所述样本图像中文字行的宽度进行坐标点标记获得标记后的第三图像；
将每个所述样本图像作为模型输入、将每个所述样本图像对应的所述第一图像、所述第二图像及所述第三图像作为每个所述样本图像的训练结果标记对所述全卷积网络进行模型训练，获得训练后的所述全卷积网络。
本发明实施例还提供一种文字数据的检测装置，包括：
第一获取单元，用于将待检测图像输入预先训练好的全卷积网络，获得像素分类特征图、文本行高度特征图及文本行宽度特征图；
第二获取单元，用于根据所述像素分类特征图获取所述待检测图像中文本行的连通域；
监督单元，用于通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；
第三获取单元，用于根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行。
可选的，所述监督单元用于：
获得所述连通域在所述像素特征图中所处的位置区域；
获得所述文本行高度特征图中所述位置区域内的高度数据并计算其平均高度，以及，获得所述文本行宽度特征图中所述位置区域内的宽度数据并计算其平均宽度；
根据第一预设比例对所述平均高度进行转换获得所述平均高度对应的参考宽度，获得所述参考宽度和所述平均宽度中的较小值作为所述宽度基准；和/或，
根据第二预设比例对所述平均宽度进行转换获得所述平均宽度对应的参考高度，获得所述参考高度和所述平均高度中的较小值作为所述高度基准。
可选的，所述第三获取单元还用于包括：
根据所述高度基准和/或所述宽度基准，对所述连通域的最小面积外接矩形执行等比例放大操作；
根据所述放大操作后的外接矩形所在位置，获得所述待检测图像中相同位置处的图像内容作为所述文字行。
可选的，所述全卷积网络的检测单元包括：深度残差网络单元、通道注意力模块和空间注意力模块。
可选的，所述装置还包括训练单元，所述训练单元用于：
获得N个样本图像，N为大于1的整数；
对每个所述样本图像中文字行所在区域进行坐标点标记获得标记后的第一图像；
对每个所述样本图像中文字行的高度进行坐标点标记获得标记后的第二图像；
对每个所述样本图像中文字行的宽度进行坐标点标记获得标记后的第三图像；
将每个所述样本图像作为模型输入、将每个所述样本图像对应的所述第一图像、所述第二图像及所述第三图像作为每个所述样本图像的训练结果标记对所述全卷积网络进行模型训练，获得训练后的所述全卷积网络。
本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果：
本申请实施例提供一种文字数据的检查方法，通过将待检测图像输入预先训练好的全卷积网络获得像素分类特征图、文本行高度特征图及文本行宽度特征图，实现文字行的像素定位；进一步，根据所述像素分类特征图获取所述待检测图像中文本行的连通域；通过所述文本行高度特征图和所述文本行宽度特征图中的高度和宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行，实现通过文字行的高度和宽度对像素定位的优化，使得文字行的定位更精确，可见，在上述技术方案中通过全卷积网络的像素分类识别、文字行宽度/高度的监督，不仅实现了文字行的自主识别提高了文字行的检测效率，还实现了文字行的精确定位，提高了文字行检测的准确率。
附图说明
图1为本申请实施例提供的一种文字数据的检查方法的流程示意图；
图2为本申请实施例提供的深度残差网络单元、通道注意模块和空间注意力模块的数据处理流程示意图；
图3为本申请实施例提供的一种文字数据的检查装置的方框图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请实施例提供的技术方案中，提供一种文字数据的检测方法、装置电子设备，通过模型进行像素分割检测来获得文字行的位置，并通过文本行的高度和宽度来进行监督，最终获得图像中的文字行，以解决现有技术中文字行检测效率低下的技术问题。
下面结合附图对本申请实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
实施例
请参考图1，本申请实施例提供一种文字数据的检测方法，包括：
S10、将待检测图像输入预先训练好的全卷积网络，获得像素分类特征图、文本行高度特征图及文本行宽度特征图；
S12、根据所述像素分类特征图获取所述待检测图像中文本行的连通域；
S14、通过所述文本行高度特征图和所述文本行宽度特征图中的高度和宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；
S16、根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行。
具体实施过程中，S10采用的全卷积网络(Fully Convolutional Networks，FCN)可以选用深度残差网络。其中，选用深度残差网络时，可以选用一个50层的深度残差网络，用于兼顾模型线上服务的速度要求和整体的检测准确性，从而达到提高检测速度和检测准确性的有益效果。
进一步的，本实施例还基于注意力机制对全卷积网络进行优化：在选用深度残差网络的基础上，加入通道注意力模块(Channel Attention Module，CAM)和空间注意力模块(Spatial Attention Module，SAM)。本实施例在通道channel和空间spatial两个维度上引入注意力机制，通过通道注意力模块利用通道间的关系，强调模型需要关注哪些特征，通过空间注意力模块利用空间信息，强调模型需要关注哪些区域，从而在图像像素分类检测时从检测特征和检测区域上提升网络模型的特征表达能力，进而提高全卷积网络对待检测图像进行像素分类检测时的准确性。
具体的，可以将通道注意力模块和空间注意力模块加入深度残差网络时，可以在深度残差网络的检测单元中加入通道注意力模块和空间注意力模块，即全卷积网络的检测单元中包括：深度残差网络单元、通道注意单元和空间注意力单元，全卷积网络中可以包含多个上述检测单元。请参考图2，为深度残差网络单元、通道注意力模块和空间注意力模块的数据处理流程示意图，图像数据通过深度残差网络单元Res Unit处理后，经通道注意力模块CAM进行处理，经过深度残差网络单元Res Unit和通道注意力模块CAM处理后的数据再输入到第一个逐元素相乘模块scale，经过第一个逐元素相乘模块scale处理后的数据经由空间注意力模块SAM进行处理，空间注意力模块SAM处理后的数据和第一个缩放模块scale处理的数据通过第二个逐元素相乘模块scale处理输出。通过通道注意力模块CAM和空间注意力模块SAM对深度残差网络单元的输出数据做进一步处理，增强图像中的特征表示，从而获得更为准确的特征图。
对于全卷积网络，本实施例预先通过如下方法进行训练：
首先，获得N个样本图像，N为大于1的整数，N越大训练获得的网络模型越准确。然后，对每个样本图像进行训练结果标记，包括：对每个所述样本图像中文字行所在区域进行坐标点标记获得标记后的第一图像；对每个所述样本图像中文字行的高度进行坐标点标记获得标记后的第二图像；对每个所述样本图像中文字行的宽度进行坐标点标记获得标记后的第三图像，即通过坐标点标记分别获得样本图像中文字行所在的区域、文字行的高度、宽度。最后，将每个所述样本图像作为输入、将每个所述样本图像对应的所述第一图像、所述第二图像及所述第三图像作为每个所述样本图像对应的训练结果标记对所述全卷积网络进行模型训练，获得训练后的所述全卷积网络。
针对预先训练好的全卷积网络，S10将待检测图像输入预先训练好的全卷积网络获得像素分类特征图、文本行高度特征图及文本行宽度特征图。像素特征图通过图像中的像素特征表征文字行所在的区域。文本行高度特征图用于表征图像中不同位置上文字行的不同高度。文本行宽度特征图用于表征图像中不同位置上文字行的不同高度。
针对获得的像素分类特征图，执行S12根据所述像素分类特征图获取所述待检测图像中文本行的连通域。具体的，可以先对像素特征图进行二值化，然后，计算二值化后的特征图中的每个连通域以及每个连通域的最小面积外界矩形。每个连通域所涵盖的图像区域对应着待检测图像中文字行所在的区域。实际应用过程中发现，某些连通域的大小与文字行所在区域的大小并不完全一致，若直接将连通域所在位置作为文字行所在位置，则会出现文字行检测结果与文字行实际位置不相符的问题，大大降低了文字行检测的准确性，从而降低文字识别的准确率，甚至无法识别出正确的文字。
为了提高文字行检测的准确性，本实施例进一步执行S14和S16，通过文本行宽度特征图和文本行高度特征图来对文字行所在连通域进行优化。
针对每个连通域，S14获得连通域的高度基准或者宽度基准时，可以获得连通域在像素特征图中所处的位置区域。接着，对应于文本行高度特征图和文本行宽度特征图中的相同位置，获得文本行高度特征图中所述位置区域内的高度数据并计算其平均高度，以及，获得所述文本行宽度特征图中所述位置区域内的宽度数据并计算其平均宽度。文本行高度特征图和文本行宽度特征图表征的是文字行的高度和宽度特征，本实施例通过其平均高度和平均宽度对连通域的实际大小进行校准、完善。通常情况下，图像中文字行的高宽比相对固定，可以根据第一预设比例对获得平均高度进行转换获得该平均高度对应的参考宽度，获得参考宽度和平均宽度中的较小值作为宽度基准；和/或，根据第二预设比例对平均宽度进行转换获得平均宽度对应的参考高度，获得参考高度和平均高度中的较小值作为高度基准。
S16根据获得高度基准或者宽度基准，获得待检测图像中的文字行。一般情况下，通过像素分类特征图中的像素获得连通域所覆盖的区域往往比文字行实际所在区域小，可以通过高度基准或者宽度基准作为监督信息，对连通域进行放大，以获得文字行的实际所在区域。具体的，可以根据获得高度基准和/或宽度基准，对连通域的最小面积外接矩形执行等比例放大操作。一般的，文字的高宽比一定，相应的文字行高宽比相对一定，所以单独根据高度基准或者宽度基准对外接矩形进行等比例放大。但有些异常情况，如外接矩形的高宽比严重失真时，可以根据高度基准和宽度基准确定新的外接矩形再等比例放大。进一步的，根据放大操作后的外接矩形所在位置，获得待检测图像中相同位置处的图像内容作为文字行。
在上述技术方案中，通过预先训练好的全卷积网络进行像素分类，获得像素分类特征图、文本行高度特征图及文本行宽度特征图，实现文字行的像素定位；通过文本行高度特征图和文本行宽度特征图中的高度和宽度对像素特征图中连通域对应的文字行进行监督，获得连通域的高度基准或者宽度基准；进而根据连通域以及高度基准或者宽度基准获得待检测图像中的文字行，实现通过文字行的高度和宽度对像素定位的优化，使得文字行的定位更精确，不仅实现了文字行的自主识别提高了文字行的检测效率，还实现了文字行的精确定位，提高了文字行检测的准确率。
针对上述实施例提供一种文字数据的检测方法，本申请实施例还对应提供一种文字数据的检测装置，请参考图3，该装置包括：
第一获取单元31，用于将待检测图像输入预先训练好的全卷积网络，获得像素分类特征图、文本行高度特征图及文本行宽度特征图；
第二获取单元32，用于根据所述像素分类特征图获取所述待检测图像中文本行的连通域；
监督单元33，用于通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；
第三获取单元34，用于根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行。
作为一种可选的实施方式，所述监督单元33在进行文字行监督时，可以获得所述连通域在所述像素特征图中所处的位置区域；获得所述文本行高度特征图中所述位置区域内的高度数据并计算其平均高度，以及，获得所述文本行宽度特征图中所述位置区域内的宽度数据并计算其平均宽度；根据第一预设比例对所述平均高度进行转换获得所述平均高度对应的参考宽度，获得所述参考宽度和所述平均宽度中的较小值作为所述宽度基准；和/或，根据第二预设比例对所述平均宽度进行转换获得所述平均宽度对应的参考高度，获得所述参考高度和所述平均高度中的较小值作为所述高度基准。
作为一种可选的实施方式，所述第三获取单元43可以根据所述高度基准或者所述宽度基准，对所述连通域的最小面积外接矩形执行等比例放大操作；根据所述放大操作后的外接矩形所在位置，获得所述待检测图像中相同位置处的图像内容作为所述文字行。
作为一种可选的实施方式，所述全卷积网络的检测单元包括：深度残差网络单元、通道注意力模块和空间注意力模块。
作为一种可选的实施方式，所述装置还包括训练单元35，所述训练单元35用于：
获得N个样本图像，N为大于1的整数；对每个所述样本图像中文字行所在区域进行坐标点标记获得标记后的第一图像；对每个所述样本图像中文字行的高度进行坐标点标记获得标记后的第二图像；对每个所述样本图像中文字行的宽度进行坐标点标记获得标记后的第三图像；将每个所述样本图像作为模型输入、将每个所述样本图像对应的所述第一图像、所述第二图像及所述第三图像作为每个所述样本图像的训练结果标记对所述全卷积网络进行模型训练，获得训练后的所述全卷积网络。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图4是根据一示例性实施例示出的一种用于实现文字数据的检测方法的电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/展现(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个展现接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为展现和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于展现音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种文字数据的检测方法，所述方法包括：
将待检测图像输入预先训练好的全卷积网络，获得像素分类特征图、文本行高度特征图及文本行宽度特征图；根据所述像素分类特征图获取所述待检测图像中文本行的连通域；通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种文字数据的检测方法，其特征在于，包括：
将待检测图像输入预先训练好的全卷积网络，获得像素分类特征图、文本行高度特征图及文本行宽度特征图；
根据所述像素分类特征图获取所述待检测图像中文本行的连通域；
通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；
根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行。
2.如权要要求1所述的方法，其特征在于，所述通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准，包括：
获得所述连通域在所述像素特征图中所处的位置区域；
获得所述文本行高度特征图中所述位置区域内的高度数据并计算其平均高度，以及，获得所述文本行宽度特征图中所述位置区域内的宽度数据并计算其平均宽度；
根据第一预设比例对所述平均高度进行转换获得所述平均高度对应的参考宽度，获得所述参考宽度和所述平均宽度中的较小值作为所述宽度基准；和/或，
根据第二预设比例对所述平均宽度进行转换获得所述平均宽度对应的参考高度，获得所述参考高度和所述平均高度中的较小值作为所述高度基准。
3.如权利要求2所述的方法，其特征在于，所述根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行，包括：
根据所述高度基准和/或所述宽度基准，对所述连通域的最小面积外接矩形执行等比例放大操作；
根据所述放大操作后的外接矩形所在位置，获得所述待检测图像中相同位置处的图像内容作为所述文字行。
4.如权利要求1所述的方法，其特征在于，所述全卷积网络的检测单元包括：深度残差网络单元、通道注意力模块和空间注意力模块。
5.如权利要求1所述的方法，其特征在于，所述全卷积网络的训练方法包括：
获得N个样本图像，N为大于1的整数；
对每个所述样本图像中文字行所在区域进行坐标点标记获得标记后的第一图像；
对每个所述样本图像中文字行的高度进行坐标点标记获得标记后的第二图像；
对每个所述样本图像中文字行的宽度进行坐标点标记获得标记后的第三图像；
将每个所述样本图像作为模型输入、将每个所述样本图像对应的所述第一图像、所述第二图像及所述第三图像作为每个所述样本图像的训练结果标记对所述全卷积网络进行模型训练，获得训练后的所述全卷积网络。
6.一种文字数据的检测装置，其特征在于，包括：
第一获取单元，用于将待检测图像输入预先训练好的全卷积网络，获得像素分类特征图、文本行高度特征图及文本行宽度特征图；
第二获取单元，用于根据所述像素分类特征图获取所述待检测图像中文本行的连通域；
监督单元，用于通过所述文本行高度特征图中的高度和所述文本行宽度特征图中的宽度对所述连通域对应的文字行进行监督，获得所述连通域的高度基准和/或宽度基准；
第三获取单元，用于根据所述连通域以及所述高度基准和/或所述宽度基准，获得所述待检测图像中的文字行。
7.如权要要求6所述的装置，其特征在于，所述监督单元用于：
获得所述连通域在所述像素特征图中所处的位置区域；
获得所述文本行高度特征图中所述位置区域内的高度数据并计算其平均高度，以及，获得所述文本行宽度特征图中所述位置区域内的宽度数据并计算其平均宽度；
根据第一预设比例对所述平均高度进行转换获得所述平均高度对应的参考宽度，获得所述参考宽度和所述平均宽度中的较小值作为所述宽度基准；和/或，
根据第二预设比例对所述平均宽度进行转换获得所述平均宽度对应的参考高度，获得所述参考高度和所述平均高度中的较小值作为所述高度基准。
8.如权利要求7所述的装置，其特征在于，所述第三获取单元用于：
根据所述高度基准和/或所述宽度基准，对所述连通域的最小面积外接矩形执行等比例放大操作；
根据所述放大操作后的外接矩形所在位置，获得所述待检测图像中相同位置处的图像内容作为所述文字行。
9.一种电子设备，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以的上程序存储于存储器中，且经配置以由一个或者一个以上的处理器执行所述一个或者一个以上的程序所包含的用于进行如权利要求1～5任一所述方法对应的操作指令。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1～5任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911155385.8A CN112836696A (zh) | 2019-11-22 | 2019-11-22 | 一种文字数据的检测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911155385.8A CN112836696A (zh) | 2019-11-22 | 2019-11-22 | 一种文字数据的检测方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112836696A true CN112836696A (zh) | 2021-05-25 |
Family
ID=75921717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911155385.8A Pending CN112836696A (zh) | 2019-11-22 | 2019-11-22 | 一种文字数据的检测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112836696A (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006165818A (ja) * | 2004-12-03 | 2006-06-22 | Oki Electric Ind Co Ltd | 改ざん検出装置，透かし入り画像出力装置，透かし入り画像入力装置，透かし入り画像出力方法，および透かし入り画像入力方法 |
| CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
| CN102722707A (zh) * | 2012-06-11 | 2012-10-10 | 复旦大学 | 基于连通区域和间隙模型的车牌字符分割方法 |
| CN103824078A (zh) * | 2014-03-18 | 2014-05-28 | 厦门翼歌软件科技有限公司 | 复杂场景多车牌定位方法 |
| CN104182750A (zh) * | 2014-07-14 | 2014-12-03 | 上海交通大学 | 一种在自然场景图像中基于极值连通域的中文检测方法 |
| CN104778470A (zh) * | 2015-03-12 | 2015-07-15 | 浙江大学 | 基于组件树和霍夫森林的文字检测和识别方法 |
| US20160004682A1 (en) * | 2014-07-07 | 2016-01-07 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| CN105913040A (zh) * | 2016-04-27 | 2016-08-31 | 重庆邮电大学 | 暗视觉条件下的双摄像头实时行人检测系统 |
| CN106503732A (zh) * | 2016-10-13 | 2017-03-15 | 北京云江科技有限公司 | 文本图像与非文本图像的分类方法和分类系统 |
| CN107563379A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 用于对自然场景图像中文本的定位方法 |
| CN107609549A (zh) * | 2017-09-20 | 2018-01-19 | 北京工业大学 | 一种自然场景下证件图像的文本检测方法 |
| CN108537099A (zh) * | 2017-05-26 | 2018-09-14 | 华南理工大学 | 一种复杂背景的车牌识别方法 |
| CN108985317A (zh) * | 2018-05-25 | 2018-12-11 | 西安电子科技大学 | 一种基于可分离卷积和注意力机制的图像分类方法 |
| CN109800750A (zh) * | 2019-01-25 | 2019-05-24 | 济南浪潮高新科技投资发展有限公司 | 一种基于图像形态学用于规则排版的文本的文字区域标注方法 |
| CN109977949A (zh) * | 2019-03-20 | 2019-07-05 | 深圳市华付信息技术有限公司 | 边框微调的文本定位方法、装置、计算机设备及存储介质 |
| CN110032938A (zh) * | 2019-03-12 | 2019-07-19 | 北京汉王数字科技有限公司 | 一种藏文识别方法、装置及电子设备 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110287969A (zh) * | 2019-06-14 | 2019-09-27 | 大连理工大学 | 基于图残差注意力网络的摩尔文本图像二值化系统 |
| CN110458063A (zh) * | 2019-07-30 | 2019-11-15 | 西安建筑科技大学 | 防视频、照片欺骗的人脸活体检测方法 |
-
2019
- 2019-11-22 CN CN201911155385.8A patent/CN112836696A/zh active Pending
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006165818A (ja) * | 2004-12-03 | 2006-06-22 | Oki Electric Ind Co Ltd | 改ざん検出装置，透かし入り画像出力装置，透かし入り画像入力装置，透かし入り画像出力方法，および透かし入り画像入力方法 |
| CN102609686A (zh) * | 2012-01-19 | 2012-07-25 | 宁波大学 | 一种行人检测方法 |
| CN102722707A (zh) * | 2012-06-11 | 2012-10-10 | 复旦大学 | 基于连通区域和间隙模型的车牌字符分割方法 |
| CN103824078A (zh) * | 2014-03-18 | 2014-05-28 | 厦门翼歌软件科技有限公司 | 复杂场景多车牌定位方法 |
| US20160004682A1 (en) * | 2014-07-07 | 2016-01-07 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| CN104182750A (zh) * | 2014-07-14 | 2014-12-03 | 上海交通大学 | 一种在自然场景图像中基于极值连通域的中文检测方法 |
| CN104778470A (zh) * | 2015-03-12 | 2015-07-15 | 浙江大学 | 基于组件树和霍夫森林的文字检测和识别方法 |
| CN105913040A (zh) * | 2016-04-27 | 2016-08-31 | 重庆邮电大学 | 暗视觉条件下的双摄像头实时行人检测系统 |
| CN106503732A (zh) * | 2016-10-13 | 2017-03-15 | 北京云江科技有限公司 | 文本图像与非文本图像的分类方法和分类系统 |
| CN108537099A (zh) * | 2017-05-26 | 2018-09-14 | 华南理工大学 | 一种复杂背景的车牌识别方法 |
| CN107563379A (zh) * | 2017-09-02 | 2018-01-09 | 西安电子科技大学 | 用于对自然场景图像中文本的定位方法 |
| CN107609549A (zh) * | 2017-09-20 | 2018-01-19 | 北京工业大学 | 一种自然场景下证件图像的文本检测方法 |
| CN108985317A (zh) * | 2018-05-25 | 2018-12-11 | 西安电子科技大学 | 一种基于可分离卷积和注意力机制的图像分类方法 |
| CN109800750A (zh) * | 2019-01-25 | 2019-05-24 | 济南浪潮高新科技投资发展有限公司 | 一种基于图像形态学用于规则排版的文本的文字区域标注方法 |
| CN110032938A (zh) * | 2019-03-12 | 2019-07-19 | 北京汉王数字科技有限公司 | 一种藏文识别方法、装置及电子设备 |
| CN109977949A (zh) * | 2019-03-20 | 2019-07-05 | 深圳市华付信息技术有限公司 | 边框微调的文本定位方法、装置、计算机设备及存储介质 |
| CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
| CN110287969A (zh) * | 2019-06-14 | 2019-09-27 | 大连理工大学 | 基于图残差注意力网络的摩尔文本图像二值化系统 |
| CN110458063A (zh) * | 2019-07-30 | 2019-11-15 | 西安建筑科技大学 | 防视频、照片欺骗的人脸活体检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| J. DING ET AL: "Research on Video Text Recognition Technology Based on OCR", 《ICMTMA》, 31 December 2018 (2018-12-31), pages 457 - 462 * |
| 刘濛: "图像序列中运动目标检测与跟踪方法研究", 《中国博士学位论文全文数据库信息科技辑》, vol. 2015, no. 7, 15 July 2015 (2015-07-15), pages 138 - 54 * |
| 王一丁等: "基于深度学习的小样本中药材粉末显微图像识别", 《计算机应用》, 16 November 2019 (2019-11-16) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101805090B1 (ko) | 영역 인식 방법 및 장치 | |
| CN109446994B (zh) | 手势关键点检测方法、装置、电子设备及存储介质 | |
| US9924226B2 (en) | Method and device for processing identification of video file | |
| CN106127751B (zh) | 图像检测方法、装置以及系统 | |
| CN108062547B (zh) | 文字检测方法及装置 | |
| US20170177209A1 (en) | Screen unlocking method and apparatus | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN114240882A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
| CN111666941B (zh) | 一种文本检测方法、装置及电子设备 | |
| CN105678296B (zh) | 确定字符倾斜角度的方法及装置 | |
| CN112200040A (zh) | 遮挡图像检测方法、装置及介质 | |
| CN108717542B (zh) | 识别文字区域的方法、装置及计算机可读存储介质 | |
| CN112927122A (zh) | 水印去除方法、装置及存储介质 | |
| CN110286813B (zh) | 图标位置确定方法和装置 | |
| CN110930351A (zh) | 一种光斑检测方法、装置及电子设备 | |
| CN111209354A (zh) | 一种地图兴趣点判重的方法、装置及电子设备 | |
| CN113920293A (zh) | 信息识别方法、装置、电子设备及存储介质 | |
| CN107292901B (zh) | 边缘检测方法及装置 | |
| CN110738267B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN112836696A (zh) | 一种文字数据的检测方法、装置及电子设备 | |
| CN107526683B (zh) | 应用程序功能冗余度的检测方法、装置及存储介质 | |
| CN107067392B (zh) | 识别花屏图像的方法及装置 | |
| CN113012029B (zh) | 一种曲面图像的矫正方法、装置及电子设备 | |
| CN112948704B (zh) | 用于信息推荐的模型训练方法、装置、电子设备以及介质 | |
| CN114155160A (zh) | 结构图的连接器还原方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220812 Address after: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: Room 1501, building 17, No.57, kejiyuan Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Hangzhou City, Zhejiang Province, 310016 Applicant before: SOGOU (HANGZHOU) INTELLIGENT TECHNOLOGY Co.,Ltd. Applicant before: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. |