CN110619325B - 一种文本识别方法及装置 - Google Patents
一种文本识别方法及装置 Download PDFInfo
- Publication number
- CN110619325B CN110619325B CN201810636441.9A CN201810636441A CN110619325B CN 110619325 B CN110619325 B CN 110619325B CN 201810636441 A CN201810636441 A CN 201810636441A CN 110619325 B CN110619325 B CN 110619325B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- feature map
- text
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010586 diagram Methods 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 abstract description 33
- 230000008569 process Effects 0.000 abstract description 14
- 238000012545 processing Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Abstract
本申请实施例提供了一种文本识别方法和装置，其中所述方法包括获取图像样本的位置信息，根据位置信息，生成图像样本的图像特征，基于图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合，基于识别数据集合识别目标图像，获得目标文本，使得在训练模型时，将位置信息提供到模型中来生成图像特征，引导训练时模型的注意力，通过位置信息来指导、优化其他图像特征的训练学习过程，使得训练更有针对性，提高训练速度，并在识别图像中文本时取得更高的识别准确率。
Description
技术领域
本申请涉及文本识别技术领域，特别是涉及一种文本识别方法、一种文本识别装置和一种用于文本识别的装置。
背景技术
神经网络是一组大致模仿人类大脑构造设计的算法，用于识别模式。神经网络是一个模型，神经网络的每个连接的权值就是模型的参数，也就是模型要学习的东西。利用训练数据通过反向传播算法来学习模型，并在实际使用时利用此模型预测结果。神经网络可以应用于OCR(Optical Character Recognition，光学字符识别)中。
在识别图像中的文本时，通常使用大量的标注数据进行训练，模型结构一般采用CNN(Convolutional Neural Network，卷积神经网络)结合LSTM(Long Short-TermMemory，长短期记忆)网络或RNN(Recurrent Neural Networks，循环神经网络)。
基于CNN+RNN结构或者CNN+LSTM结构的深度学习具有很强的学习能力，数据足够多就能够训练出准确度很高的识别模型。但同时，深度学习的计算量大，要想实现程序的实时运行，对设备硬件的计算能力、电池续航等要求很高。
经申请人研究发现，训练过程是一个黑盒，外部不知道训练模型时，提取的是图像的什么特征，也不知道为什么会产生这样的结果。为了提高识别的准确率，可以单纯增加特征提取的数量，但必然增加计算量和内存占用，降低执行速度。
发明内容
鉴于上述问题，本申请实施例提出了一种克服上述问题或者至少部分地解决上述问题的文本识别方法、文本识别装置和用于文本识别的装置，本申请实施例能够使得训练更有针对性，提高训练速度，并在识别图像中文本时取得更高的识别准确率。
为了解决上述问题，本申请公开了一种文本所述方法，包括：
获取图像样本的位置信息；
根据所述位置信息，生成所述图像样本的图像特征；
基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
基于所述识别数据集合识别目标图像，获得目标文本。
可选地，所述获取图像样本的位置信息包括：
提取所述图像样本中划分的各个区域的局部特征；
根据所述各个区域的位置关系，由所述局部特征组成位置信息。
可选地，所述局部特征包括第一特征点，所述提取所述图像样本中划分的各个区域的局部特征包括：
根据预设卷积参数对所述图像样本进行特征提取，得到各个区域对应的第一特征点；
所述根据所述各个区域的位置关系，由所述局部特征组成位置信息包括：
根据所述位置关系，由所述第一特征点组成包含位置信息的第一特征图。
可选地，所述图像特征包括第三特征图，所述根据所述位置信息，生成所述图像样本的图像特征包括：
利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；
结合所述第一特征图和至少一层第二特征图，得到第三特征图。
可选地，所述第一特征图和相结合的第二特征图的尺寸相同，在所述获取图像样本的位置信息之前，所述方法还包括：
根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
可选地，所述基于所述识别数据集合识别目标图像，获得目标文本包括：
获取所述目标图像的位置信息；
根据所述目标图像的位置信息，生成所述目标图像的图像特征；
基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
本申请实施例还公开了一种文本识别装置，包括：
信息获取模块，用于获取图像样本的位置信息；
特征生成模块，用于根据所述位置信息，生成所述图像样本的图像特征；
集合创建模块，用于基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
识别模块，用于基于所述识别数据集合识别目标图像，获得目标文本。
可选地，所述信息获取模块包括：
局部特征提取子模块，用于提取所述图像样本中划分的各个区域的局部特征；
信息组成子模块，用于根据所述各个区域的位置关系，由所述局部特征组成位置信息。
可选地，所述局部特征包括第一特征点，所述局部特征提取子模块包括：
特征点提取单元，用于根据预设卷积参数对所述图像样本进行特征提取，得到各个区域对应的第一特征点；
所述信息组成子模块包括：
第一特征图组成单元，用于根据所述位置关系，由所述第一特征点组成包含位置信息的第一特征图。
可选地，所述图像特征包括第三特征图，所述特征生成模块包括：
第二特征图提取子模块，用于利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；
结合子模块，用于结合所述第一特征图和至少一层第二特征图，得到第三特征图。
可选地，所述第一特征图和相结合的第二特征图的尺寸相同，所述装置还包括：
参数确定模块，用于在所述获取图像样本的位置信息之前，根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
可选地，所述识别模块包括：
信息获取子模块，用于获取所述目标图像的位置信息；
特征生成子模块，用于根据所述目标图像的位置信息，生成所述目标图像的图像特征；
文本确定子模块，用于基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
本申请实施例还公开了一种用于文本识别的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取图像样本的位置信息；
根据所述位置信息，生成所述图像样本的图像特征；
基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
基于所述识别数据集合识别目标图像，获得目标文本。
可选地，所述获取图像样本的位置信息包括：
提取所述图像样本中划分的各个区域的局部特征；
根据所述各个区域的位置关系，由所述局部特征组成位置信息。
可选地，所述局部特征包括第一特征点，所述提取所述图像样本中划分的各个区域的局部特征包括：
根据预设卷积参数对所述图像样本进行特征提取，得到各个区域对应的第一特征点；
所述根据所述各个区域的位置关系，由所述局部特征组成位置信息包括：
根据所述位置关系，由所述第一特征点组成包含位置信息的第一特征图。
可选地，所述图像特征包括第三特征图，所述根据所述位置信息，生成所述图像样本的图像特征包括：
利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；
结合所述第一特征图和至少一层第二特征图，得到第三特征图。
可选地，所述第一特征图和相结合的第二特征图的尺寸相同，在所述获取图像样本的位置信息之前，所述方法还包括：
根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
可选地，所述基于所述识别数据集合识别目标图像，获得目标文本包括：
获取所述目标图像的位置信息；
根据所述目标图像的位置信息，生成所述目标图像的图像特征；
基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
本申请实施例包括以下优点：
本申请实施例可以通过获取图像样本的位置信息，根据位置信息，生成图像样本的图像特征，基于图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合，基于识别数据集合识别目标图像，获得目标文本，使得在训练模型时，将位置信息提供到模型中来生成图像特征，引导训练时模型的注意力，通过位置信息来指导、优化其他图像特征的训练学习过程，使得训练更有针对性，提高训练速度，并在识别图像中文本时取得更高的识别准确率。
附图说明
图1示出了本申请的一种文本识别方法实施例一的步骤流程图；
图2示出了本申请的一种文本识别方法实施例二的步骤流程图；
图3示出了本申请的一种文本识别装置实施例的结构框图；
图4是根据一示例性实施例示出的一种用于文本识别的装置的框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1，示出了本申请的一种文本识别方法实施例一的步骤流程图，具体可以包括如下步骤：
步骤101，获取图像样本的位置信息。
在本申请实施例中，图像样本是指预先选取的多个图像，图像样本中包括文本，具体可以包括一个或多个字符，文本可以是英语、法语、汉语、数字、符号等，或者其他任意适用的文本，本申请实施例对此不做限制。
图像样本的位置信息包括图像中文本的各个部分的相对位置关系，例如，将同一个字的不同部分分别进行特征提取，得到一个与位置相关的特征，即位置信息，具体可以包括任意适用的位置信息，本申请实施例对此不做限制。
例如，结合现有的特征提取结构，设计一种特定尺寸和感受野的卷积核，利用该卷积核能够将图像样本中同一个字的不同部分分别进行特征提取，得到一个初步的位置相关的特征图。
步骤102，根据所述位置信息，生成所述图像样本的图像特征。
在本申请实施例中，图像特征用于表征图像。在机器处理图像时，要想让机器识别图像中的文本，就需要将图像抽象表示成可被机器理解的形式，所以要把图像进行特征化。图像样本的图像特征包括颜色特征、纹理特征、形状特征、卷积特征等，或者其他任意适用的特征，本申请实施例对此不做限制。根据位置信息，生成图像样本的图像特征的方式可以包括多种，例如，按照通常的特征提取方式，提取出图像特征，之后再将位置信息与提取的图像特征结合，得到结合后的图像特征，或者其他任意适用的方式，本申请实施例对此不做限制。
例如，利用深度神经网络对图像样本进行特征提取，得到预设层数的第二特征图，结合所述第一特征图(即位置信息)和至少一层第二特征图，得到第三特征图(即图像特征)。
步骤103，基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合。
在本申请实施例中，为了训练出可以识别图像中文本的识别数据集合，需要大量的标注数据进行训练，图像样本对应标记有文本数据，文本数据是文本格式的数据，以作为图像样本的标签，可以由人工标记，或者可以从已有的图像样本库中得到，或者其他任意适用的方式获得图像样本对应标记的文本数据，本申请实施例对此不做限制。
识别数据集合可以包括一个或多个识别模型，可以是任意适用于本申请的分类器。为了创建一个可以识别图像中文本的识别数据集合，需要采用有监督的学习方式，根据针对图像样本标记的文本数据，得到能识别图像中文本的模型。每个图像样本对应可以得到多个图像特征，根据图像样本和文本数据的对应关系，就可以得到多个图像特征和文本数据之间的表征关系，通过机器学习算法得到基于图像特征识别图像中文本的模型。
在本申请实施例中，提供多个图像样本标记有文本数据，根据图像样本以及文本数据之间的关系，通过机器学习算法，创建基于图像特征获得图像中文本的识别数据集合，进一步基于该识别数据集合识别其他待识别的图像中的文本。先验信息表明人类大脑识别文本时，文本的各个部分之间的相对位置关系(即位置信息)将帮助人类大脑识别文本，受此启发，将位置信息与通常提取的各种图像特征相融合，使得识别数据集合能够对特征图中前景区域加以增强，从而降低噪声的干扰，引导训练时模型的注意力，使训练更有针对性，提高训练速度，并在应用中取得更高的识别准确度。
步骤104，基于所述识别数据集合识别目标图像，获得目标文本。
在本申请实施例中，识别数据集合被创建后，可以用来识别除图像样本之外的其他更多的图像。识别目标图像时，识别数据集合可以提取目标图像的图像特征，获得目标图像中的目标文本。一种实现方式中，获取所述目标图像的位置信息，根据目标图像的位置信息，生成目标图像的图像特征，基于识别数据集合，确定目标图像的图像特征对应的目标文本。具体可以包括任意适用的方式，本申请实施例对此不做限制。
综上所述，依据本申请实施例，通过获取图像样本的位置信息，根据位置信息，生成图像样本的图像特征，基于图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合，基于识别数据集合识别目标图像，获得目标文本，使得在训练模型时，将位置信息提供到模型中来生成图像特征，引导训练时模型的注意力，通过位置信息来指导、优化其他图像特征的训练学习过程，使得训练更有针对性，提高训练速度，并在识别图像中文本时取得更高的识别准确率。
在本申请实施例中，可选地，获取图像样本的位置信息的一种实现方式可以包括：提取图像样本中划分的各个区域的局部特征，根据各个区域的位置关系，由局部特征组成位置信息。局部特征是由局部信息抽象出的特征，具体可以在各个图像样本中划分区域，分别提取各个划分的区域的局部特征，然后根据各个区域的位置关系，由局部特征组成位置信息，也就是说在位置信息中局部特征的排布保持了原来各个区域的位置关系，因此提取并保留了文本内部本身的相对位置信息。例如，将图像样本划分为互相不重叠的多个区域，对每个区域进行卷积运算，得到图像的cnn特征(即卷积特征)，得到的特征图的每个点对应于原图像中的一个区域。
参照图2，示出了本申请的一种文本识别方法实施例二的步骤流程图，具体可以包括如下步骤：
步骤201，根据预设卷积参数对所述图像样本进行特征提取，得到各个区域对应的第一特征点。
在本申请实施例中，采用卷积神经网络对图像样本进行特征提取，原始图像包含的是一些高层信息，也就是能够被人视觉所直接看到的信息，但是随着神经网络层的增加，这些信息被线性处理的越来越抽象，成为人眼无法理解的信息，也就是底层信息。实际操作中可以把神经网络的一层当做一个层级，每个层级都会有相应的特征图被提取出来。感受野是指提取出的特征图上的某一个特征点，映射回原始图像中所对应的区域。
在本申请实施例中，针对图像样本中文本像素的位置信息，结合现有的特征提取结构，设计一种特定尺寸和感受野的卷积核，也就是，通过预设卷积参数得到特定的卷积核来对各个区域分别进行特征提取。预设卷积参数包括卷积核的尺寸(filter)、边缘扩充的像素数(pad)、步长(stride)等，或者其他任意适用的参数，本申请实施例对此不做限制。通过设置预设卷积参数来控制各个第一特征点的感受野，也就是映射到图像样本中的区域。
在本申请实施例中，新设计的卷积核本身并没有增加太多的计算量，但却可以明显提升识别效果，因此可以对原来的其他特征层的结构进行简化，例如，减少通道数、特征图的个数等，整体上来说，由于弥补了原有模型结构中位置信息的缺失，改善了完全黑盒训练的效果，与原有的多个层次的特征融合，提升了训练效果和识别精度，从而可以使整体结构进一步简化，提高识别速度。引入位置信息的同时，简化其他特征，实现同时优化精度和速度的效果。
步骤202，根据所述位置关系，由所述第一特征点组成包含位置信息的第一特征图。
在本申请实施例中，按照各个区域的位置关系，由第一特征点保持该位置关系组成包含位置信息的第一特征图。第一特征图中的各个第一特征点对应到图像样本的一个局部区域，所以第一特征图可以表征图像的各个局部区域之间的位置关系。
值得说明的是，由于第一特征图中每个特征点是对应到原图像中的局部区域的，其中还可以包含文本的形状信息、笔画信息等，也可以提高识别文本的准确性，本申请实施例对此不做限制。
步骤203，利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图。
在本申请实施例中，第二特征图是基于卷积神经网络训练得到的特征图，对于一个卷积核将其与给定的图像样本做卷积运算就可以提取到预设层数的第二特征图。卷积神经网络对输入的图像样本进行特征提取后，可以形成一种多层次的特征描述，每一层的特征描述称为特征图。
第二特征图可以有多个，采用多个卷积核对图像样本进行特征提取，就可以得到多个第二特征图，具体可以对图像样本进行特征提取，得到第一层的多个第二特征图，再对第一层的多个第二特征图分别进行特征提取，得到第二层的多个第二特征图，直至得到预设层数的多个第二特征图，预设层数可以为任意适用的层数，本申请实施例对此不做限制。
步骤204，结合所述第一特征图和至少一层第二特征图，得到第三特征图。
在本申请实施例中，第一特征图包含有图像样本的位置信息，结合第一特征图和传统的卷积神经网络得到的至少一层第二特征图，得到第三特征图，即图像特征。第一特征图和相结合的第二特征图的尺寸需要是相同的，结合方式包括将第一特征图和第二特征图中同一个位置的特征点的值进行相乘、相加，或其他任意适用的运算方式，本申请实施例对此不做限制。
第二特征图有多层，最终用于模型训练的是最后一层的特征图，即第三特征图。每一层第二特征图都是从上一层第二特征图提取而来的，因此只要将某一层第二特征图和第一特征图进行结合，就可以影响到最后一层特征图，即第三特征图，一般来说，越多层的第二特征图与第一特征图相结合，最终产生的第三特征图训练出的识别数据集合的识别准确率就会越高。具体可以对任意适用层的第二特征图进行结合，本申请实施例对此不做限制。
在本申请实施例中，在所述获取图像样本的位置信息之前，还包括：根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。与第二特征图相结合的第一特征图的尺寸必须是相同的，不同层的第二特征图的尺寸可以是不同的，需要根据第二特征图的尺寸从图像样本中提取相同尺寸的第一特征图，也就是说，针对不同第二特征图，需要从图像样本中提取出相应尺寸的多个第一特征图。第一特征图的尺寸由预设卷积参数决定，因此在获取图像样本的位置信息(即第一特征图)之前，需要根据第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数，以得到相同尺寸的第一特征图。
例如，卷积神经网络对图像样本进行特征提取，得到M层的第二特征图时，针对不同层的第二特征图，从图像样本中提取与第二特征图的尺寸相同的第一特征图，将第一层的第二特征图与相应的第一特征图结合后，作为第一层的新的第二特征图，再从第一层的新的第二特征图中提取第二层的第二特征图，将第二层的第二特征图与相应的第一特征图结合后，作为第二层的新的第二特征图，直至得到M层的第二特征图，然后利用反向传播算法，更新卷积核的参数，重新得到M层的第二特征图，并与第一特征图结合，再利用反向传播算法，更新卷积核的参数，迭代执行此过程，直至梯度下降至满足设定条件，得到的最后一层特征图，即第三特征图。
步骤205，基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合。
在本申请实施例中，此步骤实现方式可以参见前述实施例中的描述，本申请实施例对此不做限制。
步骤206，获取所述目标图像的位置信息。
在本申请实施例中，应用识别数据集合进行识别的过程中，需要获取目标图像的位置信息。例如，采用的卷积神经网络是预先学习得到的卷积神经网络，也就是识别数据集合的一部分，用于提取目标图像的特征，其学习过程以及卷积神经网络的特征提取过程本申请并不加以限制，本申请改进之处在于利用位置信息生成图像特征，使得图像特征对识别文本的准确率有帮助。当然也可以采用BP神经网络、LVQ神经网络等，本申请实施例对此不做限制。改进的卷积神经网络，由于增加了一个卷积核用于提取包含位置信息的第一特征图，因此可以获取到位置信息。
步骤207，根据所述目标图像的位置信息，生成所述目标图像的图像特征。
在本申请实施例中，利用识别数据集合生成目标图像的图像特征时，也要对应的根据目标图像的位置信息来生成，例如，将目标图像的第一特征图和至少一层第二特征图结合，得到目标图像的第三特征图，即目标图像的图像特征，以用于后续确定目标文本，具体可以采用任意适用的方式生成目标图像的图像特征，本申请实施例对此不做限制。
步骤208，基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
在本申请实施例中，识别数据集合提取到目标图像的图像特征后，就可以根据目标图像的图像特征，确定对应的目标文本，也就是目标图像中的文本，预先学习好的识别数据集合确定目标文本的过程本申请并不加以限制，可以采用任意适用的方式。
综上所述，依据本申请实施例，通过根据预设卷积参数对图像样本进行特征提取，得到各个区域对应的第一特征点，根据位置关系，由第一特征点组成包含位置信息的第一特征图，利用深度神经网络对图像样本进行特征提取，得到预设层数的第二特征图，结合第一特征图和至少一层第二特征图，得到第三特征图，基于图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合，获取目标图像的位置信息，根据目标图像的位置信息，生成目标图像的图像特征，基于识别数据集合，确定目标图像的图像特征对应的目标文本，使得在训练模型时，将位置信息提供到模型中来生成图像特征，引导训练时模型的注意力，通过位置信息来指导、优化其他图像特征的训练学习过程，使得训练更有针对性，提高训练速度，并在识别图像中文本时取得更高的识别准确率。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的运动动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的运动动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的运动动作并不一定是本申请实施例所必须的。
参照图3，示出了本申请的一种文本识别装置实施例的结构框图，具体可以包括：
信息获取模块301，用于获取图像样本的位置信息；
特征生成模块302，用于根据所述位置信息，生成所述图像样本的图像特征；
集合创建模块303，用于基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
识别模块304，用于基于所述识别数据集合识别目标图像，获得目标文本。
在本申请的一种可选实施例中，所述信息获取模块包括：
局部特征提取子模块，用于提取所述图像样本中划分的各个区域的局部特征；
信息组成子模块，用于根据所述各个区域的位置关系，由所述局部特征组成位置信息。
在本申请的一种可选实施例中，所述局部特征包括第一特征点，所述局部特征提取子模块包括：
特征点提取单元，用于根据预设卷积参数对所述图像样本进行特征提取，得到各个区域对应的第一特征点；
所述信息组成子模块包括：
第一特征图组成单元，用于根据所述位置关系，由所述第一特征点组成包含位置信息的第一特征图。
在本申请的一种可选实施例中，所述图像特征包括第三特征图，所述特征生成模块包括：
第二特征图提取子模块，用于利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；
结合子模块，用于结合所述第一特征图和至少一层第二特征图，得到第三特征图。
在本申请的一种可选实施例中，所述第一特征图和相结合的第二特征图的尺寸相同，所述装置还包括：
参数确定模块，用于在所述获取图像样本的位置信息之前，根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
在本申请的一种可选实施例中，所述识别模块包括：
信息获取子模块，用于获取所述目标图像的位置信息；
特征生成子模块，用于根据所述目标图像的位置信息，生成所述目标图像的图像特征；
文本确定子模块，用于基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
综上所述，依据本申请实施例，通过获取图像样本的位置信息，根据位置信息，生成图像样本的图像特征，基于图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合，基于识别数据集合识别目标图像，获得目标文本，使得在训练模型时，将位置信息提供到模型中来生成图像特征，引导训练时模型的注意力，通过位置信息来指导、优化其他图像特征的训练学习过程，使得训练更有针对性，提高训练速度，并在识别图像中文本时取得更高的识别准确率。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图4是根据一示例性实施例示出的一种用于文本识别的装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理部件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑行操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由装置500的处理器520执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置(智能终端或者服务器)的处理器执行时，使得装置能够执行一种文本识别方法，所述方法包括：
获取图像样本的位置信息；
根据所述位置信息，生成所述图像样本的图像特征；
基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
基于所述识别数据集合识别目标图像，获得目标文本。
可选地，所述获取图像样本的位置信息包括：
提取所述图像样本中划分的各个区域的局部特征；
根据所述各个区域的位置关系，由所述局部特征组成位置信息。
可选地，所述局部特征包括第一特征点，所述提取所述图像样本中划分的各个区域的局部特征包括：
根据预设卷积参数对所述图像样本进行特征提取，得到各个区域对应的第一特征点；
所述根据所述各个区域的位置关系，由所述局部特征组成位置信息包括：
根据所述位置关系，由所述第一特征点组成包含位置信息的第一特征图。
可选地，所述图像特征包括第三特征图，所述根据所述位置信息，生成所述图像样本的图像特征包括：
利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；
结合所述第一特征图和至少一层第二特征图，得到第三特征图。
可选地，所述第一特征图和相结合的第二特征图的尺寸相同，在所述获取图像样本的位置信息之前，所述方法还包括：
根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
可选地，所述基于所述识别数据集合识别目标图像，获得目标文本包括：
获取所述目标图像的位置信息；
根据所述目标图像的位置信息，生成所述目标图像的图像特征；
基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种文本识别方法、一种文本识别装置和一种用于文本识别的装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种文本识别方法，其特征在于，包括：
根据预设卷积参数对图像样本进行特征提取，得到所述图像样本中划分的各个区域对应的第一特征点；
根据所述各个区域的位置关系，由所述第一特征点组成包含位置信息的第一特征图；
利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；
结合所述第一特征图和至少一层第二特征图，得到第三特征图；
基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
基于所述识别数据集合识别目标图像，获得目标文本。
2.根据权利要求1所述的方法，其特征在于，所述第一特征图和相结合的第二特征图的尺寸相同，在根据预设卷积参数对图像样本进行特征提取之前，所述方法还包括：
根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
3.根据权利要求1所述的方法，其特征在于，所述基于所述识别数据集合识别目标图像，获得目标文本包括：
获取所述目标图像的位置信息；所述目标图像的位置信息包括所述目标图像的第一特征图；
根据所述目标图像的位置信息，生成所述目标图像的图像特征；所述目标图像的图像特征包括所述目标图像的第一特征图和至少一层所述目标图像的第二特征图结合得到的第三特征图；
基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
4.一种文本识别装置，其特征在于，包括：
信息获取模块，用于根据预设卷积参数对图像样本进行特征提取，得到所述图像样本中划分的各个区域对应的第一特征点；根据所述各个区域的位置关系，由所述第一特征点组成包含位置信息的第一特征图；
特征生成模块，用于利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；结合所述第一特征图和至少一层第二特征图，得到第三特征图；
集合创建模块，用于基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
识别模块，用于基于所述识别数据集合识别目标图像，获得目标文本。
5.根据权利要求4所述的装置，其特征在于，所述第一特征图和相结合的第二特征图的尺寸相同，所述装置还包括：
参数确定模块，用于在根据预设卷积参数对图像样本进行特征提取之前，根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
6.根据权利要求4所述的装置，其特征在于，所述识别模块包括：
信息获取子模块，用于获取所述目标图像的位置信息；所述目标图像的位置信息包括所述目标图像的第一特征图；
特征生成子模块，用于根据所述目标图像的位置信息，生成所述目标图像的图像特征；所述目标图像的图像特征包括所述目标图像的第一特征图和至少一层所述目标图像的第二特征图结合得到的第三特征图；
文本确定子模块，用于基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
7.一种用于文本识别的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
根据预设卷积参数对图像样本进行特征提取，得到所述图像样本中划分的各个区域对应的第一特征点；
根据所述各个区域的位置关系，由所述第一特征点组成包含位置信息的第一特征图；
利用卷积神经网络对所述图像样本进行特征提取，得到预设层数的第二特征图；
结合所述第一特征图和至少一层第二特征图，得到第三特征图；
基于所述图像样本以及对应标记的文本数据，创建基于图像特征识别图像中文本的识别数据集合；
基于所述识别数据集合识别目标图像，获得目标文本。
8.根据权利要求7所述的装置，其特征在于，所述第一特征图和相结合的第二特征图的尺寸相同，在根据预设卷积参数对图像样本进行特征提取之前，所述装置还包括：
根据所述第二特征图的尺寸，确定与第二特征图相结合的第一特征图对应的预设卷积参数。
9.根据权利要求7所述的装置，其特征在于，所述基于所述识别数据集合识别目标图像，获得目标文本包括：
获取所述目标图像的位置信息；所述目标图像的位置信息包括所述目标图像的第一特征图；
根据所述目标图像的位置信息，生成所述目标图像的图像特征；所述目标图像的图像特征包括所述目标图像的第一特征图和至少一层所述目标图像的第二特征图结合得到的第三特征图；
基于所述识别数据集合，确定所述目标图像的图像特征对应的目标文本。
10.一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至3中一个或多个所述的文本识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810636441.9A CN110619325B (zh) | 2018-06-20 | 2018-06-20 | 一种文本识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810636441.9A CN110619325B (zh) | 2018-06-20 | 2018-06-20 | 一种文本识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619325A CN110619325A (zh) | 2019-12-27 |
| CN110619325B true CN110619325B (zh) | 2024-03-08 |
Family
ID=68920995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810636441.9A Active CN110619325B (zh) | 2018-06-20 | 2018-06-20 | 一种文本识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619325B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191715A (zh) * | 2019-12-27 | 2020-05-22 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113128494A (zh) * | 2019-12-30 | 2021-07-16 | 华为技术有限公司 | 识别图像中文本的方法、装置和系统 |
| CN111539410B (zh) * | 2020-04-16 | 2022-09-06 | 深圳市商汤科技有限公司 | 字符识别方法及装置、电子设备和存储介质 |
| CN112712072B (zh) * | 2021-03-26 | 2021-07-23 | 北京世纪好未来教育科技有限公司 | 文本的识别方法和识别装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011081454A (ja) * | 2009-10-02 | 2011-04-21 | Sharp Corp | 情報処理装置、情報処理方法、プログラムおよび記録媒体 |
| CN102750540A (zh) * | 2012-06-12 | 2012-10-24 | 大连理工大学 | 基于形态滤波增强的最稳定极值区视频文本检测方法 |
| CN104217203A (zh) * | 2013-06-03 | 2014-12-17 | 支付宝（中国）网络技术有限公司 | 复杂背景卡面信息识别方法及系统 |
| CN105608456A (zh) * | 2015-12-22 | 2016-05-25 | 华中科技大学 | 一种基于全卷积网络的多方向文本检测方法 |
| CN105631445A (zh) * | 2014-11-06 | 2016-06-01 | 通号通信信息集团有限公司 | 中文车牌字符识别方法及系统 |
| CN106446899A (zh) * | 2016-09-22 | 2017-02-22 | 北京市商汤科技开发有限公司 | 文字检测方法和装置、及文字检测训练方法和装置 |
| CN106650725A (zh) * | 2016-11-29 | 2017-05-10 | 华南理工大学 | 基于全卷积神经网络的候选文本框生成和文本检测方法 |
| KR101769918B1 (ko) * | 2017-05-17 | 2017-08-21 | 주식회사 마인드그룹 | 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치 |
| CN107085699A (zh) * | 2015-12-28 | 2017-08-22 | 佳能株式会社 | 信息处理设备、信息处理设备的控制方法和存储介质 |
| WO2017162069A1 (zh) * | 2016-03-25 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 一种图像文本的识别方法和装置 |
| CN107273897A (zh) * | 2017-07-04 | 2017-10-20 | 华中科技大学 | 一种基于深度学习的文字识别方法 |
| WO2018010657A1 (zh) * | 2016-07-15 | 2018-01-18 | 北京市商汤科技开发有限公司 | 结构化文本检测方法和系统、计算设备 |
| CN107808157A (zh) * | 2017-11-08 | 2018-03-16 | 广东工业大学 | 一种雷管编码定位及识别的方法及装置 |
| CN108090443A (zh) * | 2017-12-15 | 2018-05-29 | 华南理工大学 | 基于深度强化学习的场景文本检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517112B (zh) * | 2013-09-29 | 2017-11-28 | 北大方正集团有限公司 | 一种表格识别方法与系统 |
-
2018
- 2018-06-20 CN CN201810636441.9A patent/CN110619325B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011081454A (ja) * | 2009-10-02 | 2011-04-21 | Sharp Corp | 情報処理装置、情報処理方法、プログラムおよび記録媒体 |
| CN102750540A (zh) * | 2012-06-12 | 2012-10-24 | 大连理工大学 | 基于形态滤波增强的最稳定极值区视频文本检测方法 |
| CN104217203A (zh) * | 2013-06-03 | 2014-12-17 | 支付宝（中国）网络技术有限公司 | 复杂背景卡面信息识别方法及系统 |
| CN105631445A (zh) * | 2014-11-06 | 2016-06-01 | 通号通信信息集团有限公司 | 中文车牌字符识别方法及系统 |
| CN105608456A (zh) * | 2015-12-22 | 2016-05-25 | 华中科技大学 | 一种基于全卷积网络的多方向文本检测方法 |
| CN107085699A (zh) * | 2015-12-28 | 2017-08-22 | 佳能株式会社 | 信息处理设备、信息处理设备的控制方法和存储介质 |
| WO2017162069A1 (zh) * | 2016-03-25 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 一种图像文本的识别方法和装置 |
| WO2018010657A1 (zh) * | 2016-07-15 | 2018-01-18 | 北京市商汤科技开发有限公司 | 结构化文本检测方法和系统、计算设备 |
| CN106446899A (zh) * | 2016-09-22 | 2017-02-22 | 北京市商汤科技开发有限公司 | 文字检测方法和装置、及文字检测训练方法和装置 |
| WO2018054326A1 (zh) * | 2016-09-22 | 2018-03-29 | 北京市商汤科技开发有限公司 | 文字检测方法和装置、及文字检测训练方法和装置 |
| CN106650725A (zh) * | 2016-11-29 | 2017-05-10 | 华南理工大学 | 基于全卷积神经网络的候选文本框生成和文本检测方法 |
| KR101769918B1 (ko) * | 2017-05-17 | 2017-08-21 | 주식회사 마인드그룹 | 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치 |
| CN107273897A (zh) * | 2017-07-04 | 2017-10-20 | 华中科技大学 | 一种基于深度学习的文字识别方法 |
| CN107808157A (zh) * | 2017-11-08 | 2018-03-16 | 广东工业大学 | 一种雷管编码定位及识别的方法及装置 |
| CN108090443A (zh) * | 2017-12-15 | 2018-05-29 | 华南理工大学 | 基于深度强化学习的场景文本检测方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| A Statistical Approach for Phrase Location and Recognition within a Text Line: An Application to Street Name Recognition;El-Yacoubi M A , Gilloux M , Bertille J M;IEEE Transactions on Pattern Analysis & Machine Intelligence;20020228;第24卷(第2期);第172-188页 * |
| Weakly supervised text attention network for generating text proposals in scene images;Rong L, MengYi E, JianQiang L等;2017 14th IAPR international conference on document analysis and recognition (ICDAR);第324-330页 * |
| 基于卷积神经网络的自然场景中数字识别;周成伟;;计算机技术与发展;20171130(第11期);第107-111页 * |
| 基于深度学习的自然场景文字识别;黄攀;中国优秀硕士学位论文全文数据库 (信息科技辑);第2016年卷(第7期);I138-1239 * |
| 基本图像特征用于文本图像文种识别;郭龙;平西建;周林;童莉;;应用科学学报(第01期);第60-64页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619325A (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419328B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106557768B (zh) | 对图片中的文字进行识别的方法及装置 | |
| CN110619325B (zh) | 一种文本识别方法及装置 | |
| CN107480665B (zh) | 文字检测方法、装置及计算机可读存储介质 | |
| US11455491B2 (en) | Method and device for training image recognition model, and storage medium | |
| CN108062547B (zh) | 文字检测方法及装置 | |
| RU2648616C2 (ru) | Способ и устройство для добавления шрифта | |
| CN110781323A (zh) | 多媒体资源的标签确定方法、装置、电子设备及存储介质 | |
| CN113409342A (zh) | 图像风格迁移模型的训练方法、装置及电子设备 | |
| CN108717542B (zh) | 识别文字区域的方法、装置及计算机可读存储介质 | |
| CN112200040A (zh) | 遮挡图像检测方法、装置及介质 | |
| CN111046927B (zh) | 标注数据的处理方法、装置、电子设备及存储介质 | |
| CN110764627B (zh) | 一种输入方法、装置和电子设备 | |
| CN107992894B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN113920293A (zh) | 信息识别方法、装置、电子设备及存储介质 | |
| CN113033538A (zh) | 一种公式识别方法及装置 | |
| CN112259122A (zh) | 音频类型识别方法、装置及存储介质 | |
| CN113506324B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN113807540A (zh) | 一种数据处理方法及装置 | |
| CN110297678B (zh) | 一种输入法界面的处理方法和装置 | |
| CN111582265A (zh) | 一种文本检测方法及装置、电子设备和存储介质 | |
| CN112990208B (zh) | 一种文本识别方法及装置 | |
| CN111915021B (zh) | 图像处理模型的训练和使用方法、装置、服务器及介质 | |
| CN114722570B (zh) | 视线估计模型建立方法、装置、电子设备及存储介质 | |
| CN113220208B (zh) | 一种数据处理方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220720 Address after: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Applicant before: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Applicant before: SOGOU (HANGZHOU) INTELLIGENT TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |