CN112990208B - 一种文本识别方法及装置 - Google Patents
一种文本识别方法及装置 Download PDFInfo
- Publication number
- CN112990208B CN112990208B CN201911288936.8A CN201911288936A CN112990208B CN 112990208 B CN112990208 B CN 112990208B CN 201911288936 A CN201911288936 A CN 201911288936A CN 112990208 B CN112990208 B CN 112990208B
- Authority
- CN
- China
- Prior art keywords
- module
- network
- lstm
- picture
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 102100032202 Cornulin Human genes 0.000 claims abstract 12
- 101000920981 Homo sapiens Cornulin Proteins 0.000 claims abstract 12
- 238000013527 convolutional neural network Methods 0.000 claims description 74
- 230000015654 memory Effects 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000002457 bidirectional effect Effects 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 238000004364 calculation method Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000001537 neural effect Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 101100425597 Solanum lycopersicum Tm-1 gene Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种文本识别方法，包括：获取待识别图片；将所述待识别图片输入到改进型CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括CNN模块、RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果。本发明实现了提高自然场景文本的识别精度的技术效果，同时，本发明还公开了一种文本识别装置和计算机可读存储介质。
Description
技术领域
本发明涉及文本识别技术领域，尤其涉及一种文本识别方法及装置。
背景技术
文本识别，简称为OCR识别(Optical Character Recognition，光学字符识别)，是OCR应用中的一个重要环节，所要完成的任务是在文字检测的基础上，识别出检测到文本行图像中的文字内容，便于后续应用对文本的理解和相对应的需求。传统的OCR识别一般包含文本检测、单字符分割、单字符识别、后处理等一些复杂步骤，其对自然场景文本图像识别效果很不理想。
目前，基于深度学习应用比较主流的文本识别框架是CRNN(ConvolutionalRecurrent Neural Network，卷积循环神经网络)，其结构是由CNN(Convolutional NeuralNetwork，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)、CTC(Connectionist Temporal Classification，连接性时序分类)三个模块组成。
虽然标准的CRNN网络结构在自然场景文本识别中相比较传统OCR算法在识别效果方面有了很大的提升，但是由于自然场景文本图像的复杂性，导致标准CRNN网络结构针对自然场景文本图像识别精度方面，仍存在不足之处，识别精度低，无法更好地满足应用的需求。
发明内容
本发明实施例通过提供一种文本识别方法及装置，解决了现有技术中，在对自然场景文本进行识别时，存在识别精度低的技术问题，实现了提高自然场景文本的识别精度的技术效果。
第一方面，本发明通过本发明的一实施例提供如下技术方案：
一种文本识别方法，包括：
获取待识别图片；
将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；
输出所述文本识别结果。
优选地，所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
优选地，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
优选地，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
基于同一发明构思，第二方面，本发明通过本发明的一实施例，提供如下技术方案：
一种文本识别装置，包括：
获取单元，用于获取待识别图片；
输入单元，用于将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；
输出单元，用于输出所述文本识别结果。
优选地，所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
优选地，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
优选地，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
基于同一发明构思，第三方面，本发明通过本发明的一实施例，提供如下技术方案：
一种文本识别装置，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
获取待识别图片；将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果。
优选地，所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
优选地，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
优选地，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
基于同一发明构思，第四方面，本发明通过本发明的一实施例，提供如下技术方案：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
获取待识别图片；将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果。
优选地，所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
优选地，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
优选地，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在本发明实施例中，公开了一种文本识别方法，包括：获取待识别图片；将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果。由于在该改进型CRNN模型中，采用OctConv(八度卷积)结构代替了传统CRNN模型中的标准的卷积神经结构，如此，可以应对更为复杂的自然场景文本图像，解决了现有技术中，在对自然场景文本进行识别时，存在识别精度低的技术问题，实现了提高自然场景文本的识别精度的技术效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种文本识别方法的流程图；
图2为本发明实施例中改进型CRNN模型的结构图；
图3为本发明实施例中残差结构的示意图；
图4为采用本发明实施例中改进型CRNN模型和采用现有技术中的CRNN模型的识别结果对比示意图；
图5为本发明实施例中一种文本识别装置的结构图；
图6为本发明实施例中一种文本识别装置的结构图；
图7为本发明实施例中一种文本识别装置作为服务器时的结构图。
具体实施方式
本发明实施例通过提供一种文本识别方法及装置，解决了现有技术中，在对自然场景文本进行识别时，存在识别精度较低的技术问题，实现了提高自然场景文本的识别精度的技术效果。
本发明实施例的技术方案为解决上述技术问题，总体思路如下：
一种文本识别方法，包括：获取待识别图片；将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果。由于在该改进型CRNN模型中，采用OctConv(八度卷积)结构代替了传统CRNN模型中的换标准的卷积神经结构，如此，可以应对更为复杂的自然场景文本图像，解决了现有技术中，在对自然场景文本进行识别时，存在识别精度低的技术问题，实现了提高自然场景文本的识别精度的技术效果。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
首先说明，本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
其次说明，本文中出现的术语“多个”，一般是指“两个以上”，包含“两个”的情况。
实施例一
本实施例提供了一种文本识别方法，应用于电子设备中，所述电子设备可以为：PC(Personal Computer，个人电脑)、或智能手机、或平板电脑、或智能电视、或服务器、等等。此处，对于所述电子设备具体是何种设备，本实施例不做具体限定。
如图1所示，所述文本识别方法，包括：
步骤S101：获取待识别图片。
在具体实施过程中，所述待识别图片可以是：电子设备启动拍照功能拍摄的一张图片，或者，是用户从网上下载的一张图片，或者，是电子设备接收其它设备发来的一张图片，或者，用户从其它设备上拷贝的一张图片，等等。此处，对于所述待识别图片的获取方式，不做具体限定。
在具体实施过程中，待识别图片中包含文本信息(例如：文字或符号)，尤其是自然场景文本，相对于印刷出版物上的文字图片而言，自然场景文本的图像内容比较复杂，存在各式各样的字体、颜色、字号等，没有统一的规范，干扰因素较多。例如，广告牌上的文字、交通牌上的文字、衣服/饰品上的文字、食品包装上的艺术字、等等，都属于自然场景文本。
在获取到待识别图片之后，即可执行步骤S102。
步骤S102：将待识别图片输入到改进型CRNN模型中，以使得改进型CRNN模型对待识别图片中的文本进行识别，获得文本识别结果；其中，改进型CRNN模型包括CNN模块、RNN模块和CTC模块，CNN模块、RNN模块和CTC模块依次连接，CNN模块为OctConv结构。
在具体实施过程中，如图2所示，改进型CRNN模型包括：依次连接的CNN模块、RNN模块和CTC模块。
与现有技术中的CRNN模型类似，在改进型CRNN模型中，CNN模块可以对待识别图片进行特征提取，获得特征图(Feature maps)，并将特征图传输给RNN模块。RNN模块可以利用双向多层的LSTM结构对特征图进行处理，获得特征序列(Feature sequence)，并将特征序列传输给CTC模块。CTC模块可以对特征序列进行预测(或称作“翻译”)，获得预测序列(Predicted sequence)，该预测序列即为文本识别结果。
需要注意的是：在改进型CRNN模型中，CNN模块为OctConv(八度卷积)结构，而不是现有技术中通常使用的标准卷积神经结构。
OctConv(Octave Convolution，八度卷积)，是2019年提出的全新的卷积神经结构，可以保存和处理在较低空间分辨率下变化较慢(Slower)的特征图，从而减少存储和计算开销。OctConv被制定为一种单个通用的即插即用卷积单元，可以直接替换普通卷积，而不需要对现有网络有任何调整。OctConv最大的优点就是节省存储空间和运算力，而且只需要改动网络中卷积部分即可实现即插即用的功能。
在本实施例中，针对改进型CRNN识别框架，在CNN模块使用OctConv结构替换(现有技术中的)标准的卷积神经结构，在降低CNN模块存储和计算的同时，还提升了CNN模块提取特征的表征能力，有利于对自然场景文本图像进行文字识别，从而提高识别精度。
作为一种可选的实施例，RNN模块为双向多层的LSTM(Long Short Term Memory，长短期记忆网络)结构，LSTM结构中设置有残差结构。
在具体实施过程中，可以在双向多层LSTM中引入残差结构(即：在LSTM中引入了残差操作)，形成ResLSTM(Residual Long Short Term Memory，残差长短期记忆网络)，可以有效提升LSTM在文本识别应用中的性能。
举例来讲，如图3所示，图3展示了残差结构对应的残差操作，即为残差操作。图中为双向多层的LSTM结构，共有n层LSTM，从下往上看，分别标记为LSTM 1、LSTM 2、LSTM 3、……、LSTM n；图中标记了m个时刻，按照时间的先后顺序，分别标记为T1、T2、T3、……、Tm。X0为T1时刻LSTM 1的输入，X1为T1时刻LSTM 1的输入，X2为T2时刻LTSM 1的输入，……，Xm为Tm时刻LSTM 1的输入。其中，X0、X1、X2、……、Xm是CNN输出的特征图的序列化结果。
在T0时刻，LSTM 1的输入为X0，是一路信号；而LSTM 2、LSTM 3、……、LSTM n的输入都是两路信号，一路是上一个LSTM的输出，一路是上一个LSTM的输入。例如，LSTM 2的输入包括：LSTM 1的输出和LSTM 1的输入(即：X0沿着信号流向①流入LSTM 2的输入端，X0也作为LSTM 2的输入)；……；LSTM n的输入包括LSTM n-1的输出和LSTM n-1的输入(如信号流向③所示)。
T1时刻LSTM 1的输入包括X1、T0时刻LSTM 1的输出；T1时刻LSTM2的输入包括T1时刻LSTM1的输出、X1、T0时刻LSTM 2的输出；……；T1时刻LSTM n的输入包括T1时刻LSTM n-1的输出、T1时刻LSTM n-1的输入、T0时刻LSTM n的输出。
……
Tm时刻LSTM 1的输入包括Xm、Tm-1时刻LSTM 1的输出；Tm时刻LSTM 2的输入包括Tm时刻LSTM1的输出、Xm、Tm-1时刻LSTM 2的输出；……；Tm时刻LSTM n的输入包括：Tm时刻LSTM n-1的输出、Tm时刻LSTM n-1的输入、Tm-1时刻LSTM n的输出。
在本实施例中，在双向多层LSTM中引入残差结构(即：在LSTM中引入了残差操作)，形成ResLSTM，可以有效提升LSTM在文本识别应用中的性能。
并且，LSTM结构中的隐藏单元(即：隐藏层节点数)的数量大于一预设值。
举例来讲，所述预设值可以为256，也就是说，在LSTM结构中的隐藏单元的数量需要大于256个(例如：512个、或1024个、或2048个、等等)。隐藏单元的数量越多，RNN模块的性能越好。
在本实施例中，可以增加LSTM中隐藏单元(即：隐藏层节点数)的数量，RNN模块的性能表现会更优一些，从而进一步提升LSTM在文本识别应用中的识别，进而助于提升整个改进型CRNN的文字识别性能，识别精度更高。
作为一种可选的实施例，LSTM网络中设置有Projection(投影)网络，Projection网络用于降低RNN模块的参数的数量。
在具体实施过程中，由于增加LSTM中隐藏单元的数量，导致RNN模块的参数量和计算量的增加，导致计算量增大，拖慢计算速度。对此，在LSTM网络内部设置Projection网络(即：引入Projection操作)，可以降低RNN模块的参数的数量，从而减少改进型CRNN的计算量，提高计算速度，进而提高文本识别的速度。
举例来讲，在隐藏单元的数量为512时，隐藏单元的通道数也为512个，这里由于增加了Projection网络，可以对隐藏单元进行降参(即：降低参数的数量)，例如，可以将隐藏单元的通道数降低为256个，如此，减少了改进型CRNN的计算量，提高计算速度，进而提高文本识别的速度。
作为一种可选的实施例，在RNN模块和CTC模块之间设置有一通道合并网络，通道合并网络用于将RNN模块的用于输出特征序列的通道进行合并处理。
在具体实施过程中，如上文所述，由于增加LSTM中隐藏单元的数量，导致RNN模块的参数量和计算量的增加，导致计算量增大，拖慢计算速度。对此，在RNN模块和CTC模块之间设置一通道合并网络，用于将RNN模块的用于输出特征序列的通道进行合并，从而减少RNN模块的用于输出特征序列的通道的数量，减少改进型CRNN的计算量，提高计算速度，进而提高文本识别的速度。
举例来讲，如图3所示，LSTM网络为双向的，其数据流向包括两个方向：一个是“从左往右“，另一个是“从右往左“。每个LSTM的输出也由两部分组成，一部分是从左往右的输出(记为“特征1”)，另一部分是从右往左的输出(记为“特征2”)，假如每个LSTM的隐藏单元数为256，则特征1有256个通道(记为：a1、a2、a3、……、a256)，特征2也有256个通道(记为：b1、b2、b3、……、b256)，通道合并网络可以将LSTM网络输出的特征序列进行对应通道的相加合并(例如：将a1和b1合并为一个通道，将a2和b2合并为一个通道，将a3和b3合并为一个通道，……，将a256和b256合并为一个通道，合并后的通道数量为256个)，相比于Concat操作(会将特征1和特征2的进行通道相加，相加后的通道数量为512个)而言，通道合并网络可以减少LSTM输出的特征序列的通道数量，减少改进型CRNN的计算量，提高计算速度，进而提高文本识别的速度。
在利用改进型CRNN模型对待识别图片中的文本进行识别，获得文本识别结果之后，即可执行步骤S103。
步骤S103：输出文本识别结果。
在具体实施过程中，电子设备上设置有显示单元(例如：显示屏)，可以将文本识别结果在显示单元进行显示。
如图4所示，图4为采用本发明实施例中改进CRNN模型和采用现有技术中的CRNN模型的识别结果对比示意图。从图4可以看出，改进CRNN模型可以显著地提高自然场景文本的识别精度，准确率大大提高。
上述本发明实施例中的技术方案，至少具有如下的技术效果或优点：
在本发明实施例中，公开了一种文本识别方法，包括：获取待识别图片；将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果。由于在该改进型CRNN模型中，采用OctConv(八度卷积)结构代替了传统CRNN模型中的换标准的卷积神经结构，如此，可以应对更为复杂的自然场景文本图像，解决了现有技术中，在对自然场景文本进行识别时，存在识别精度较低的技术问题，实现了提高自然场景文本的识别精度的技术效果。
实施例二
基于同一发明构思，如图5所示，本实施例提供了一种文本识别装置200，包括：
获取单元201，用于获取待识别图片；
输入单元202，用于将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；
输出单元203，用于输出所述文本识别结果。
作为一种可选的实施例，所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
作为一种可选的实施例，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
作为一种可选的实施例，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
由于本实施例所介绍的文本识别装置为实施本发明实施例一中文本识别方法所采用的装置，故而基于本发明实施例一中所介绍的文本识别方法，本领域所属技术人员能够了解本实施例的文本识别装置的具体实施方式以及其各种变化形式，所以在此对于该装置如何实现本发明实施例一中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例一中文本识别方法所采用的装置，都属于本发明所欲保护的范围。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种文本识别装置的结构图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由装置800的处理器执行时，使得装置800能够执行一种文本识别方法，包括：获取待识别图片；将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果。
优选地，所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
优选地，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
优选地，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
图7是本发明实施例中一种文本识别装置作为服务器时的结构图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。
服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种文本识别方法，其特征在于，包括：
获取待识别图片；所述待识别图片中包含自然场景文本；
将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；
输出所述文本识别结果；
所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
2.如权利要求1所述的方法，其特征在于，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
3.如权利要求1所述的方法，其特征在于，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
4.一种文本识别装置，其特征在于，包括：
获取单元，用于获取待识别图片；所述待识别图片中包含自然场景文本；
输入单元，用于将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；
输出单元，用于输出所述文本识别结果；
所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
5.如权利要求4所述的装置，其特征在于，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
6.如权利要求4所述的装置，其特征在于，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
7.一种文本识别装置，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
获取待识别图片；所述待识别图片中包含自然场景文本；将所述待识别图片输入到改进型卷积循环神经网络CRNN模型中，以使得所述改进型CRNN模型对所述待识别图片中的文本进行识别，获得文本识别结果；其中，所述改进型CRNN模型包括卷积神经网络CNN模块、循环神经网络RNN模块和CTC模块，所述CNN模块、所述RNN模块和所述CTC模块依次连接，所述CNN模块为八度卷积OctConv结构；输出所述文本识别结果；
所述RNN模块为双向多层的LSTM结构，所述LSTM结构中设置有残差结构，并且所述LSTM结构中的隐藏单元的数量大于一预设值。
8.如权利要求7所述的装置，其特征在于，所述LSTM网络中设置有投影Projection网络，所述Projection网络用于降低所述LSTM网络中的参数的数量。
9.如权利要求7所述的装置，其特征在于，在所述RNN模块和所述CTC模块之间设置有通道合并网络，所述通道合并网络用于将所述RNN模块的用于输出特征序列的通道进行合并处理。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911288936.8A CN112990208B (zh) | 2019-12-12 | 2019-12-12 | 一种文本识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911288936.8A CN112990208B (zh) | 2019-12-12 | 2019-12-12 | 一种文本识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112990208A CN112990208A (zh) | 2021-06-18 |
| CN112990208B true CN112990208B (zh) | 2024-04-30 |
Family
ID=76342819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911288936.8A Active CN112990208B (zh) | 2019-12-12 | 2019-12-12 | 一种文本识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990208B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082922A (zh) * | 2022-08-24 | 2022-09-20 | 济南瑞泉电子有限公司 | 基于深度学习的水表数字图片处理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016197381A1 (en) * | 2015-06-12 | 2016-12-15 | Sensetime Group Limited | Methods and apparatus for recognizing text in an image |
| CN108564940A (zh) * | 2018-03-20 | 2018-09-21 | 平安科技（深圳）有限公司 | 语音识别方法、服务器及计算机可读存储介质 |
| WO2019174130A1 (zh) * | 2018-03-14 | 2019-09-19 | 平安科技（深圳）有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
| CN110276881A (zh) * | 2019-05-10 | 2019-09-24 | 广东工业大学 | 一种基于卷积循环神经网络的纸币序列号识别方法 |
| CN110321755A (zh) * | 2018-03-28 | 2019-10-11 | 中移(苏州)软件技术有限公司 | 一种识别方法及装置 |
| CN110414519A (zh) * | 2019-06-27 | 2019-11-05 | 众安信息技术服务有限公司 | 一种图片文字的识别方法及其识别装置 |
-
2019
- 2019-12-12 CN CN201911288936.8A patent/CN112990208B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016197381A1 (en) * | 2015-06-12 | 2016-12-15 | Sensetime Group Limited | Methods and apparatus for recognizing text in an image |
| WO2019174130A1 (zh) * | 2018-03-14 | 2019-09-19 | 平安科技（深圳）有限公司 | 票据识别方法、服务器及计算机可读存储介质 |
| CN108564940A (zh) * | 2018-03-20 | 2018-09-21 | 平安科技（深圳）有限公司 | 语音识别方法、服务器及计算机可读存储介质 |
| CN110321755A (zh) * | 2018-03-28 | 2019-10-11 | 中移(苏州)软件技术有限公司 | 一种识别方法及装置 |
| CN110276881A (zh) * | 2019-05-10 | 2019-09-24 | 广东工业大学 | 一种基于卷积循环神经网络的纸币序列号识别方法 |
| CN110414519A (zh) * | 2019-06-27 | 2019-11-05 | 众安信息技术服务有限公司 | 一种图片文字的识别方法及其识别装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于CTC模型的无分割文本验证码识别;杜薇;周武能;;计算机与现代化(09);全文 * |
| 结合密集神经网络与长短时记忆模型的中文识别;张艺玮;赵一嘉;王馨悦;董兰芳;;计算机系统应用(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112990208A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11455491B2 (en) | Method and device for training image recognition model, and storage medium | |
| US20220147741A1 (en) | Video cover determining method and device, and storage medium | |
| CN107480665B (zh) | 文字检测方法、装置及计算机可读存储介质 | |
| RU2648616C2 (ru) | Способ и устройство для добавления шрифта | |
| CN111669502B (zh) | 目标对象显示方法、装置及电子设备 | |
| CN110941966A (zh) | 机器翻译模型的训练方法、装置及系统 | |
| CN110532956B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US20210326649A1 (en) | Configuration method and apparatus for detector, storage medium | |
| CN112822388B (zh) | 拍摄模式的触发方法、装置、设备及存储介质 | |
| CN113033538B (zh) | 一种公式识别方法及装置 | |
| CN110619325B (zh) | 一种文本识别方法及装置 | |
| CN111242303A (zh) | 网络训练方法及装置、图像处理方法及装置 | |
| CN104216973A (zh) | 一种数据搜索的方法及装置 | |
| CN107943317B (zh) | 输入方法及装置 | |
| CN112990208B (zh) | 一种文本识别方法及装置 | |
| CN113920293A (zh) | 信息识别方法、装置、电子设备及存储介质 | |
| CN112598016A (zh) | 图像分类方法及装置、通信设备及存储介质 | |
| CN112445348A (zh) | 一种表情处理方法、装置和介质 | |
| CN113506324B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111383296A (zh) | 绘制轨迹的显示方法、装置及存储介质 | |
| CN115357249A (zh) | 一种代码生成方法、装置、电子设备及存储介质 | |
| CN112784858B (zh) | 一种图像数据的处理方法、装置及电子设备 | |
| CN109388328B (zh) | 一种输入方法、装置和介质 | |
| CN110058752B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN107870932B (zh) | 一种用户词库优化方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220812 Address after: 100084. Room 9, floor 01, cyber building, building 9, building 1, Zhongguancun East Road, Haidian District, Beijing Applicant after: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: Room 1501, building 17, No.57, kejiyuan Road, Baiyang street, Hangzhou Economic and Technological Development Zone, Hangzhou City, Zhejiang Province, 310016 Applicant before: SOGOU (HANGZHOU) INTELLIGENT TECHNOLOGY Co.,Ltd. Applicant before: BEIJING SOGOU TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |