CN109086756B - 一种基于深度神经网络的文本检测分析方法、装置及设备 - Google Patents
一种基于深度神经网络的文本检测分析方法、装置及设备 Download PDFInfo
- Publication number
- CN109086756B CN109086756B CN201810618508.6A CN201810618508A CN109086756B CN 109086756 B CN109086756 B CN 109086756B CN 201810618508 A CN201810618508 A CN 201810618508A CN 109086756 B CN109086756 B CN 109086756B
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep neural
- information
- template
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 153
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 88
- 238000004458 analytical method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000002372 labelling Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 18
- 238000010992 reflux Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 210000002569 neuron Anatomy 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 102100032202 Cornulin Human genes 0.000 description 2
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Abstract
本发明公开了一种基于深度神经网络的文本检测分析方法、装置及设备，属于深度学习和图像处理技术领域。所述方法包括：进行模板标注，生成标注模板信息；利用预设深度神经网络检测模型对待检测图像进行文字区域的检测和分类，生成带类别的文字区域信息；根据所述标注模板信息和所述带类别的文字区域信息进行模板匹配，生成结构化信息数据。本发明能够针对如票据图像中各种字段，实现快速、准确的检测分析，对于文档图像的检测与分析具有实时、准确、通用、鲁棒、可扩展的特点，可广泛应用于多种包含文本的图像文本检测、分析与识别领域中。
Description
技术领域
本发明涉及深度学习和图像处理技术领域，特别涉及一种基于深度神经网络的文本检测分析方法、装置及设备。
背景技术
物体检测是一种计算机视觉(CV)和图像处理相关的计算机技术，从数字图像和视频中检测出特定类别(例如人类、建筑和汽车等)的语义对象实例。物体检测在人脸检测和行人检测领域发展比较完善。物体检测在计算机视觉领域有着大量的应用场景，包括图像检索和视频监控。
神经网络(Neural Network)是一种人为设计的网络结构，其本质是多层感知机(Multi-layer Perceptron)。感知机由若干神经元(Neuron)构成，每个神经元从外部或其它节点收到输入信号，并通过激活函数得到输出信号，就像大脑中神经元的信号传递。神经元按层相连，形成网络结构。与神经细胞不同，人工神经元的信号能够反向传播，这种反馈机制让感知机具备学习功能。除了学习功能，多层感知机可以表示非线性映射，因此神经网络能够帮助人们解决一些相对复杂的问题，如模式识别、自动控制、决策评估、预测等。卷积神经网络(Convolutional Neural Network)是一种前馈神经网络，它的神经元可以响应一部分覆盖范围内的周围单元，形成感受野(Receptive Field)，对图像处理有较好表现。同时，通过权值共享，卷积神经网络相比传统的全连接神经网络节省空间。用卷积神经网络学习出的特征，具有一定的位置不变性与尺度不变性，用卷积神经网络训练的OCR模型，对字体、字号的变化具有鲁棒性。
深度学习的检测算法主要包含三个部分：检测窗口的选择，特征的提取和分类器的选择。深度学习早期，大都使用滑动窗口的方式进行窗口提取，近期的检测算法例如Faster R-CNN则直接利用RPN(Region Proposal Networks)网络来计算候选框。RPN以一张任意大小的图片为输入，输出一批矩形区域，每个区域对应一个目标分数和位置信息。借助于卷积神经网络强大的非线性建模能力，能够提取出契合各种不同子任务的特征。深度学习的检测算法也打破了传统滑框的框架，使用回归的方法解决检测问题。
模板分析是一种光学字符识别相关的计算机技术，从数字文档图像中将对应的文字区域映射到语义对象实例，从而将数字文档图像等非结构化的数据转化成与语义对象实例相关的结构化数据。模板分析将文档中各个文字区域映射到语义对象实例从而将文档图像内容结构化。模板分析主要包含三个部分：锚点的设置与匹配，各个文字区域的映射和文档图像内容的结构化。锚点是每个模板中最为稳定的特征，内容和相对位置都不会发生变化，例如表格中的表头，通过设置多个锚点可以完全确定当前模板中各个区域的相对位置关系。现有的方法中锚点的匹配都是基于传统的图像特征匹配方法，图像的亮度、对比度、分辨率等会严重影响锚点匹配的准确度；现有方法的文字区域的匹配是通过跟锚点的相对位置去确定文字区域，但是手写文字、针式打印文字等会出现不可预知的位置偏移，文字区域的定位往往会出错。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种基于深度神经网络的文本检测分析方法、装置及设备。所述技术方案如下：
第一方面，提供了一种基于深度神经网络的文本检测分析方法，所述方法包括：进行模板标注，生成标注模板信息；利用预设深度神经网络检测模型对待检测图像进行文字区域的检测和分类，生成带类别的文字区域信息；根据所述标注模板信息和所述带类别的文字区域信息进行模板匹配，生成结构化信息数据。
结合第一方面，在第一种可能的实现方式中，进行模板标注，生成标注模板信息，包括：标注模板锚点和非锚点文字区域的大小及相对位置，以及实体与所述锚点、非锚点文字区域的映射关系，生成标注模板信息。
结合第一方面，在第二种可能的实现方式中，利用预设深度神经网络检测模型对待检测图像进行文字区域的检测和分类，生成带类别的文字区域信息，包括：利用预设深度神经网络检测模型检测待检测图像的文字行，通过输出的类别获取包括的锚点和非锚点文字区域的文字区域信息。
结合第一方面，在第三种可能的实现方式中，根据所述标注模板信息和所述带类别的文字区域信息进行模板匹配，生成结构化信息数据，包括：将所述标注模板信息与所述带类别的文字区域信息作为输出，匹配定位锚点，并通过锚点将所述带类别的文字区域映射到对应的实体，去除包括非文本区域和无关文本在内的冗余部分，生成结构化信息。
结合第一方面及第一方面的第一至三任一种可能方式，在第四至七种可能的实现方式中，所述方法还包括：对输入的待检测图像进行图像预处理，所述图像预处理包括图像矫正和/或缩放到统一尺寸。
结合第一方面及第一方面的第一至三任一种可能方式，在第八至十一种可能的实现方式中，所述方法还包括：训练获得所述预设深度神经网络检测模型。
结合第一方面的第八至十一任一种可能方式，在第十二至十五种可能的实现方式中，训练获得所述预设深度神经网络检测模型，包括：使用样本生成工具生成样本；使用样本进行训练；获得初步深度神经网络检测模型；在检测应用中形成数据回流，获得更多的新样本；用新样本在初步深度神经网络检测模型上进行Fine-tuning。
第二方面，提供了一种基于深度神经网络的文本检测分析装置，包括：标注模块，用于进行模板标注，生成标注模板信息；文字区域检测模块，用于利用预设深度神经网络检测模型对待检测图像进行文字区域的检测和分类，生成带类别的文字区域信息；匹配模块，用于根据所述标注模板信息和所述带类别的文字区域信息进行模板匹配，生成结构化信息数据。
结合第二方面，在第一种可能的实现方式中，所述标注模块用于：标注模板锚点和非锚点文字区域的大小及相对位置，以及实体与所述锚点、非锚点文字区域的映射关系，生成标注模板信息。
结合第二方面，在第二种可能的实现方式中，所述文字区域检测模块用于：利用预设深度神经网络检测模型检测待检测图像的文字行，通过输出的类别获取包括的锚点和非锚点文字区域的文字区域信息。
结合第二方面，在第三种可能的实现方式中，所述匹配模块用于：将所述标注模板信息与所述带类别的文字区域信息作为输出，匹配定位锚点，并通过锚点将所述带类别的文字区域映射到对应的实体，去除包括非文本区域和无关文本在内的冗余部分，生成结构化信息。
结合第二方面及第二方面的第一至三任一种可能方式，在第四至七种可能的实现方式中，所述装置还包括图像预处理模块，用于对输入的待检测图像进行图像预处理，所述图像预处理包括图像矫正和/或缩放到统一尺寸。
结合第二方面及第二方面的第一至三任一种可能方式，在第八至十一种可能的实现方式中，所述装置还包括模型训练模块，用于训练获得所述预设深度神经网络检测模型。
结合第二方面的第八至十一任一种可能方式，在第十二至十五种可能的实现方式中，所述模型训练模块用于：使用样本生成工具生成样本；使用样本进行训练；获得初步深度神经网络检测模型；在检测应用中形成数据回流，获得更多的新样本；用新样本在初步深度神经网络检测模型上进行Fine-tuning。
第三方面，提供了一种基于深度神经网络的文本检测分析设备，包括：处理器；存储器，用于存储有所述处理器的可执行指令；其中，所述处理器配置为经由所述可执行指令来执行第一方面任一项方案所述的基于深度神经网络的文本检测分析方法的步骤。
本发明实施例提供的技术方案带来的有益效果是：
1、现有物体检测和文本检测检测框架不能准确地检测出文档中的文字，而本发明实施例提供的文本检测分析方法中，采用深度神经网络物体检测框架能够精准找出不同尺度(或字号)的文字区域，并对文字内容进行初步分类，如金额、项目名、词条、票据编号等类别，对位置和内容信息稳定的锚点可以准确的匹配，并提升后续匹配步骤的准确率；
2、根据文字检出区域的相对位置，匹配检测模板，排除非文本区域与无关文本，比现有识别方法更能抓住关键信息；
3、初期不需要大量标注样本训练检测模型，形成数据回流之后识别率逐步提高。
总的来说，本发明实施例提供的基于深度神经网络的文本检测分析方法、装置及设备，通过利用深度神经网络检测模型进行图像文字区域的检测、分类，然后结合标注的模板信息与检测分类得到的带类别的文字区域信息，进行模板匹配，生成结构化信息数据，能够针对如票据图像中各种字段，实现快速、准确的检测分析，对于文档图像的检测与分析具有实时、准确、通用、鲁棒、可扩展的特点，可广泛应用于多种包含文本的图像文本检测、分析与识别领域中。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的基于深度神经网络的文本检测分析方法流程图；
图2是一优选实施方式的模板匹配过程示意图；
图3是本发明实施例2提供的基于深度神经网络的文本检测分析方法流程图；
图4是本发明实施例3提供的基于深度神经网络的文本检测分析装置结构示意图；
图5是本发明实施例提供的基于深度神经网络的文本检测分析设备组成示意图；
图6至图9是本发明实施例提供的基于深度神经网络的文本检测分析方法、装置及设备应用实例的发票票据处理效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在本发明的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
本发明实施例提供的基于深度神经网络的文本检测分析方法、装置及设备，通过利用深度神经网络检测模型进行图像文字区域的检测、分类，然后结合标注的模板信息与检测分类得到的带类别的文字区域信息，进行模板匹配，生成结构化信息数据，能够针对如票据图像中各种字段，实现快速、准确的检测分析，对于文档图像的检测与分析具有实时、准确、通用、鲁棒、可扩展的特点，可广泛应用于多种包含文本的图像文本检测、分析与识别领域中。
下面结合具体实施例及附图，对本发明实施例提供的基于深度神经网络的文本检测分析方法、装置及设备作详细说明。
实施例1
图1是本发明实施例1提供的基于深度神经网络的文本检测分析方法流程图。如图1所示，本发明实施例提供的基于深度神经网络的文本检测分析方法，包括以下步骤：
101、进行模板标注，生成标注模板信息。
具体的，标注模板锚点和非锚点文字区域的大小及相对位置，以及实体与锚点、非锚点文字区域的映射关系，生成标注模板信息。这一过程用于标注所有需要识别字段的位置和类别，类别包括是否为锚点，文字行是否为日期、汉字、英文等等。生成的标注模板信息用于后续的模板匹配。
需要注意的是，这里进行标注的模板并不限于一种或两种，根据实际需要，可以预先设置多种模板。
102、利用预设深度神经网络检测模型对待检测图像进行文字区域的检测和分类，生成带类别的文字区域信息。
具体的，利用预设深度神经网络检测模型检测待检测图像的文字行，通过输出的类别获取包括的锚点和非锚点文字区域的文字区域信息。使用检测模型检测文字行，通过输出的类别就可以获取所有锚点，这个过程中也可以筛选置信度最高的锚点，通过锚点就可以确定版面的相对位置。这里的预设深度网络检测模型可以采用faster-rcnn网络模型、mask-rcnn网络模型或者现有技术中其他任何可能的深度神经网络模型，本发明实施例不对其加以特别限制。
采用深度神经网络物体检测框架能够精准找出不同尺度(字号)的文字区域，并对文字内容进行初步分类，如金额、项目名、词条、票据编号等类别，锚点确定了，相当于确定了整个版面各个字段的相对位置，然后结合之前的检测结果和版面的相对位置就可以准确的定位想要的字段对位置和内容信息，因此稳定的锚点能够实现准确的匹配，提升后续匹配步骤的准确率。
103、根据标注模板信息和带类别的文字区域信息进行模板匹配，生成结构化信息数据。
具体的，将标注模板信息与带类别的文字区域信息作为输出，匹配定位锚点，并通过锚点将带类别的文字区域映射到对应的实体，去除包括非文本区域和无关文本在内的冗余部分，生成结构化信息。根据检测出的文字行与锚点的相对位置，就可以确定该文字行的类型(姓名，性别，年龄等等)，识别之后就可以将结果结构化。然后可以将结构化信息输出，以便进行相应应用。这里涉及的识别过程可以采用现有技术中tessract、CRNN之类的识别模型，本发明实施例不对其加以特别限制。
图2是一优选实施方式的模板匹配过程示意图，如图2所示，上述103步骤又可进一步包括：
1031：结合标注模板信息与带类别的文字区域信息进行模板匹配；
1032：结合标注模板信息、带类别的文字区域信息以及匹配成功的锚点进行文字区域的映射；
1033:将映射的结果去重，去除重复冗余的文字区域；
1034:将完整的检测结果根据模板信息结构化，完成模板匹配。
根据通过检验得到的文字检出区域的相对位置，匹配标注模板，排除非文本区域与无关文本，比通用识别方法更能抓住关键信息。
优选地，本发明实施例提供的基于深度神经网络的文本检测分析方法除了包括以上101-103步骤外，还包括以下步骤：
对输入的待检测图像进行图像预处理，图像预处理包括但不限于图像矫正和/或缩放到统一尺寸，可以根据实际情况进行图像预处理操作的相应设置。
另外，优选地，本发明实施例提供的基于深度神经网络的文本检测分析方法，还包括以下步骤：
训练获得预设深度神经网络检测模型，具体地包括：
使用样本生成工具生成样本；
使用样本进行训练；
获得初步深度神经网络检测模型；
在检测应用中形成数据回流，获得更多的新样本；
用新样本在初步深度神经网络检测模型上进行Fine-tuning。
在上述过程中，会对样本中的文字行分类(包括但不限于进行锚点类和非锚点类的分类)，然后训练检测模型。
实施例2
图3是本发明实施例2提供的基于深度神经网络的文本检测分析方法流程示意图，如图3所示，本发明实施例提供的基于深度神经网络的文本检测分析方法，包括以下步骤：
201、训练获得预设深度神经网络检测模型。
具体的，使用样本生成工具生成样本；
使用样本进行训练；
获得初步深度神经网络检测模型；
在检测应用中形成数据回流，获得更多的新样本；
用新样本在初步深度神经网络检测模型上进行Fine-tuning。
在上述过程中，会对样本中的文字行分类(包括但不限于进行锚点类和非锚点类的分类)，然后训练检测模型。
值得注意的是，步骤201的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
202、标注模板锚点和非锚点文字区域的大小及相对位置，以及实体与锚点、非锚点文字区域的映射关系，生成标注模板信息。
这一过程用于标注所有需要识别字段的位置和类别，类别包括是否为锚点，文字行是否为日期、汉字、英文等等。生成的标注模板信息用于后续的模板匹配。需要注意的是，这里进行标注的模板并不限于一种或两种，根据实际需要，可以预先设置多种模板。
值得注意的是，步骤202的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
203、对输入的待检测图像进行图像预处理，图像预处理包括图像矫正和/或缩放到统一尺寸。这里图像预处理的内容包括但不限于图像矫正和/或缩放到统一尺寸，可以根据实际情况进行图像预处理操作的相应设置。
值得注意的是，步骤203的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
204、利用预设深度神经网络检测模型检测待检测图像的文字行，通过输出的类别获取包括的锚点和非锚点文字区域的文字区域信息。
使用检测模型检测文字行，通过输出的类别就可以获取所有锚点，这个过程中也可以筛选置信度最高的锚点，通过锚点就可以确定版面的相对位置。这里的预设深度网络检测模型可以采用faster-rcnn网络模型、mask-rcnn网络模型或者现有技术中其他任何可能的深度神经网络模型，本发明实施例不对其加以特别限制。
采用深度神经网络物体检测框架能够精准找出不同尺度(字号)的文字区域，并对文字内容进行初步分类，如金额、项目名、词条、票据编号等类别，锚点确定了，相当于确定了整个版面各个字段的相对位置，然后结合之前的检测结果和版面的相对位置就可以准确的定位想要的字段对位置和内容信息，因此稳定的锚点能够实现准确的匹配，提升后续匹配步骤的准确率。
值得注意的是，步骤204的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
205、将标注模板信息与所述带类别的文字区域信息作为输出，匹配定位锚点，并通过锚点将带类别的文字区域映射到对应的实体，去除包括非文本区域和无关文本在内的冗余部分，生成结构化信息。
根据检测出的文字行与锚点的相对位置，就可以确定该文字行的类型(姓名，性别，年龄等等)，识别之后就可以将结果结构化。然后可以将结构化信息输出，以便进行相应应用。这里涉及的识别过程可以采用现有技术中tessract、CRNN之类的识别模型，本发明实施例不对其加以特别限制。
再参照图2，如图2所示，上述205步骤又可进一步包括：
1031：结合标注模板信息与带类别的文字区域信息进行模板匹配；
1032：结合标注模板信息、带类别的文字区域信息以及匹配成功的锚点进行文字区域的映射；
1033:将映射的结果去重，去除重复冗余的文字区域；
1034:将完整的检测结果根据模板信息结构化，完成模板匹配。
根据通过检验得到的文字检出区域的相对位置，匹配标注模板，排除非文本区域与无关文本，比通用识别方法更能抓住关键信息。
值得注意的是，步骤205的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。
需要说明的是，本发明实施例提供的基于深度神经网络的文本检测分析方法中具体步骤的操作顺序，并不限定于上述方法中的步骤顺序，在不脱离本发明发明构思的情况下，可以根据实际情况进行相应变换设计。
实施例3
图4是本发明实施例3提供的基于深度神经网络的文本检测分析装置结构示意图，如图4所示，本发明实施例提供的基于深度神经网络的文本检测分析装置，包括：
标注模块31，用于进行模板标注，生成标注模板信息；具体的，将模板标注锚点和非锚点文字区域的大小及相对位置，以及实体与所述锚点、非锚点文字区域的映射关系，生成标注模板信息；
文字区域检测模块32，用于利用预设深度神经网络检测模型对待检测图像进行文字区域的检测和分类，生成带类别的文字区域信息；具体的，利用预设深度神经网络检测模型检测待检测图像的文字行，通过输出的类别获取包括的锚点和非锚点文字区域的文字区域信息；
匹配模块33，用于根据标注模板信息和带类别的文字区域信息进行模板匹配，生成结构化信息数据；具体的，将标注模板信息与带类别的文字区域信息作为输出，匹配定位锚点，并通过锚点将带类别的文字区域映射到对应的实体，去除包括非文本区域和无关文本在内的冗余部分，生成结构化信息。最终可将结构化信息输出，可提供统一接口方便其他外部模块调用。
优选地，上述装置还包括图像预处理模块34，用于对输入的待检测图像进行图像预处理，图像预处理包括但不限于图像矫正和/或缩放到统一尺寸。
另外，优选地，上述装置还包括模型训练模块35，用于训练获得预设深度神经网络检测模型。具体的，模型训练模块35用于：使用样本生成工具生成样本；使用样本进行训练；获得初步深度神经网络检测模型；在检测应用中形成数据回流，获得更多的新样本；用新样本在初步深度神经网络检测模型上进行Fine-tuning。
实施例4
图5是本发明实施例提供的基于深度神经网络的文本检测分析设备组成示意图，如图5所示，本发明实施例提供的基于深度神经网络的文本检测分析设备包括处理器41和存储器42。
具体的，存储器42用于存储有处理器41的可执行指令，处理器41配置为经由可执行指令来执行实施例1和实施例2所述的基于深度神经网络的文本检测分析方法的步骤，具体实施过程详见实施例1、实施例2相应内容，在此不再赘述。
应用实例
系统构建方面分为硬件需求与软件需求。
硬件方面需要服务器一台、计算设备一台、图像输入设备一台。
软件方面需要在服务器上架设票据识别的web服务、用于终端显示的页面、存储图像及检测结果的数据库。
流程方面分为模型生成流程及文档检测流程。
模型生成方面，首先通过样本生成模块生成训练样本，如果有足够人力，可采用人工标记真实样本。训练样本足够后(通常为10万数量级)，在服务器上通过深度神经网络训练票据识别模型，并存储在服务器上，架设web服务。
检测方面，首先用图像输入设备对文档进行扫描。得到文档图像后，从终端打开识别服务的页面，将图像上传至服务器。服务器接收到图像后，通过图像预处理模块、文本检测模块以及模板匹配模块获得结构化检测结果，之后利用识别模块对相应区域进行识别，再根据具体情况对识别结果进行后处理，最终将识别结果传回终端，展现给用户。
下面具体的选取一种医疗发票识别为例。假设我们需要识别票据上的医院名称、医院类型、医保类型、对应项目以及金额。
第一步，获得如图6所示的原始票据图像；
第二步，如图7所示，对发票进行版面分析；
第三步，如图8所示，找出不同类别的文字区域；
第四步，如图9所示，根据版面分析与文字区域分类，提取出需要识别的区域：
第五步，用相应的识别模型识别文字区域。
识别结果：
“上海第一妇婴保健院”
“三级甲等专科医院”
“医保自费”
“治疗费(自费)”
“门诊诊疗费”
“6.00”
“800”
第六步，对识别结果进行后处理。
后处理结果为：
“上海市第一妇婴保健院”(查询医院名表匹配)
“三级甲等专科医院”
“医保自费”
“治疗费(自费)”
“门诊诊疗费”
“6.00”
“8.00”(根据金额规则匹配)
第七步，格式化识别结果。
需要说明的是：上述实施例提供的在基于深度神经网络的文本检测分析装置、设备在进行文本检测分析时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置、设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于深度神经网络的文本检测分析装置、设备与基于深度神经网络的文本检测分析方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
综上所述，本发明实施例提供的基于深度神经网络的文本检测分析方法、装置及设备，相对于现有技术具有以下有益效果：
1、现有物体检测和文本检测检测框架不能准确地检测出文档中的文字，而本发明实施例提供的文本检测分析方法中，采用深度神经网络物体检测框架能够精准找出不同尺度(或字号)的文字区域，并对文字内容进行初步分类，如金额、项目名、词条、票据编号等类别，对位置和内容信息稳定的锚点可以准确的匹配，并提升后续匹配步骤的准确率；
2、根据文字检出区域的相对位置，匹配检测模板，排除非文本区域与无关文本，比现有识别方法更能抓住关键信息；
3、初期不需要大量标注样本训练检测模型，形成数据回流之后识别率逐步提高。
总的来说，本发明实施例提供的基于深度神经网络的文本检测分析方法、装置及设备，通过利用深度神经网络检测模型进行图像文字区域的检测、分类，然后结合标注的模板信息与检测分类得到的带类别的文字区域信息，进行模板匹配，生成结构化信息数据，能够针对如票据图像中各种字段，实现快速、准确的检测分析，对于文档图像的检测与分析具有实时、准确、通用、鲁棒、可扩展的特点，可广泛应用于多种包含文本的图像文本检测、分析与识别领域中。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于深度神经网络的文本检测分析方法，其特征在于，所述方法包括：
进行模板标注，生成标注模板信息，包括：标注模板锚点和非锚点文字区域的大小及相对位置，以及实体与所述锚点、非锚点文字区域的映射关系，生成标注模板信息；
利用预设深度神经网络检测模型检测待检测图像的文字行，通过输出的类别获取包括锚点和非锚点文字区域的文字区域信息；
根据所述标注模板信息和所述带类别的文字区域信息进行模板匹配，生成结构化信息数据，包括：将所述标注模板信息与所述带类别的文字区域信息作为输出，匹配定位锚点，并通过锚点将所述带类别的文字区域映射到对应的实体，去除包括非文本区域和无关文本在内的冗余部分，生成结构化信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对输入的待检测图像进行图像预处理，所述图像预处理包括图像矫正和/或缩放到统一尺寸。
3.根据权利要求1至2任一项所述的方法，其特征在于，所述方法还包括：
训练获得所述预设深度神经网络检测模型。
4.根据权利要求3所述的方法，其特征在于，训练获得所述预设深度神经网络检测模型，包括：
使用样本生成工具生成样本；
使用样本进行训练；
获得初步深度神经网络检测模型；
在检测应用中形成数据回流，获得更多的新样本；
用新样本在初步深度神经网络检测模型上进行Fine-tuning。
5.一种基于深度神经网络的文本检测分析装置，其特征在于，包括：
标注模块，用于进行模板标注，生成标注模板信息，所述标注模块用于：标注模板锚点和非锚点文字区域的大小及相对位置，以及实体与所述锚点、非锚点文字区域的映射关系，生成标注模板信息；
文字区域检测模块，用于利用预设深度神经网络检测模型检测待检测图像的文字行，通过输出的类别获取包括锚点和非锚点文字区域的文字区域信息；
匹配模块，用于根据所述标注模板信息和所述带类别的文字区域信息进行模板匹配，生成结构化信息数据，所述匹配模块用于：将所述标注模板信息与所述带类别的文字区域信息作为输出，匹配定位锚点，并通过锚点将所述带类别的文字区域映射到对应的实体，去除包括非文本区域和无关文本在内的冗余部分，生成结构化信息。
6.根据权利要求5所述的装置，其特征在于，所述装置还包括图像预处理模块，用于对输入的待检测图像进行图像预处理，所述图像预处理包括图像矫正和/或缩放到统一尺寸。
7.根据权利要求5至6任一项所述的装置，其特征在于，所述装置还包括模型训练模块，用于训练获得所述预设深度神经网络检测模型。
8.根据权利要求7所述的装置，其特征在于，所述模型训练模块用于：
使用样本生成工具生成样本；
使用样本进行训练；
获得初步深度神经网络检测模型；
在检测应用中形成数据回流，获得更多的新样本；
用新样本在初步深度神经网络检测模型上进行Fine-tuning。
9.一种基于深度神经网络的文本检测分析设备，其特征在于，包括：
处理器；
存储器，用于存储有所述处理器的可执行指令；
其中，所述处理器配置为经由所述可执行指令来执行权利要求1至4中任一项所述的基于深度神经网络的文本检测分析方法的步骤。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810618508.6A CN109086756B (zh) | 2018-06-15 | 2018-06-15 | 一种基于深度神经网络的文本检测分析方法、装置及设备 |
| PCT/CN2019/090896 WO2019238063A1 (zh) | 2018-06-15 | 2019-06-12 | 文本检测分析方法、装置及设备 |
| JP2019561162A JP6831480B2 (ja) | 2018-06-15 | 2019-06-12 | テキスト検出分析方法、装置及びデバイス |
| SG11202002659WA SG11202002659WA (en) | 2018-06-15 | 2019-06-12 | Method, apparatus and device for detecting and analyzing text |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810618508.6A CN109086756B (zh) | 2018-06-15 | 2018-06-15 | 一种基于深度神经网络的文本检测分析方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109086756A CN109086756A (zh) | 2018-12-25 |
| CN109086756B true CN109086756B (zh) | 2021-08-03 |
Family
ID=64839664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810618508.6A Active CN109086756B (zh) | 2018-06-15 | 2018-06-15 | 一种基于深度神经网络的文本检测分析方法、装置及设备 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP6831480B2 (zh) |
| CN (1) | CN109086756B (zh) |
| SG (1) | SG11202002659WA (zh) |
| WO (1) | WO2019238063A1 (zh) |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086756B (zh) * | 2018-06-15 | 2021-08-03 | 众安信息技术服务有限公司 | 一种基于深度神经网络的文本检测分析方法、装置及设备 |
| CN109685055B (zh) * | 2018-12-26 | 2021-11-12 | 北京金山数字娱乐科技有限公司 | 一种图像中文本区域的检测方法及装置 |
| CN109829453B (zh) * | 2018-12-29 | 2021-10-12 | 天津车之家数据信息技术有限公司 | 一种卡证中文字的识别方法、装置以及计算设备 |
| CN109829457A (zh) * | 2019-01-04 | 2019-05-31 | 平安科技（深圳）有限公司 | 一种图像数据处理方法、设备及计算机可读存储介质 |
| CN109492627B (zh) * | 2019-01-22 | 2022-11-08 | 华南理工大学 | 一种基于全卷积网络的深度模型的场景文本擦除方法 |
| CN109816118B (zh) * | 2019-01-25 | 2022-12-06 | 上海深杳智能科技有限公司 | 一种基于深度学习模型的创建结构化文档的方法及终端 |
| CN109887153B (zh) * | 2019-02-03 | 2021-08-24 | 国信电子票据平台信息服务有限公司 | 一种财税处理方法和处理系统 |
| CN109977935B (zh) * | 2019-02-27 | 2024-04-12 | 平安科技（深圳）有限公司 | 一种文本识别方法及装置 |
| CN109977957A (zh) * | 2019-03-04 | 2019-07-05 | 苏宁易购集团股份有限公司 | 一种基于深度学习的发票识别方法及系统 |
| CN109934227A (zh) * | 2019-03-12 | 2019-06-25 | 上海兑观信息科技技术有限公司 | 图像文字识别系统和方法 |
| CN109977949B (zh) * | 2019-03-20 | 2024-01-26 | 深圳华付技术股份有限公司 | 边框微调的文本定位方法、装置、计算机设备及存储介质 |
| CN110070045A (zh) * | 2019-04-23 | 2019-07-30 | 杭州智趣智能信息技术有限公司 | 一种营业执照的文本识别方法、系统及相关组件 |
| CN110110715A (zh) * | 2019-04-30 | 2019-08-09 | 北京金山云网络技术有限公司 | 文本检测模型训练方法、文本区域、内容确定方法和装置 |
| CN110245658A (zh) * | 2019-05-21 | 2019-09-17 | 深圳壹账通智能科技有限公司 | 一种票据识别方法、装置、存储介质和服务器 |
| CN110287911A (zh) * | 2019-06-28 | 2019-09-27 | 广东工业大学 | 一种发票的内容识别方法、装置、设备及存储介质 |
| CN110516541B (zh) * | 2019-07-19 | 2022-06-10 | 金蝶软件（中国）有限公司 | 文本定位方法、装置、计算机可读存储介质和计算机设备 |
| CN110472524B (zh) * | 2019-07-25 | 2022-09-13 | 广东工业大学 | 基于深度学习的发票信息管理方法、系统和可读介质 |
| CN110363190A (zh) * | 2019-07-26 | 2019-10-22 | 中国工商银行股份有限公司 | 一种文字识别方法、装置及设备 |
| CN112396057A (zh) * | 2019-08-13 | 2021-02-23 | 上海高德威智能交通系统有限公司 | 一种字符识别方法、装置及电子设备 |
| CN110689447A (zh) * | 2019-08-30 | 2020-01-14 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于深度学习的社交软件用户发布内容的实时检测方法 |
| CN110689010B (zh) * | 2019-09-27 | 2021-05-11 | 支付宝(杭州)信息技术有限公司 | 一种证件识别方法及装置 |
| CN110888926B (zh) * | 2019-10-22 | 2022-10-28 | 北京百度网讯科技有限公司 | 医疗文本结构化的方法以及装置 |
| CN110909733A (zh) * | 2019-10-28 | 2020-03-24 | 世纪保众(北京)网络科技有限公司 | 基于ocr图片识别的模版定位方法、装置和计算机设备 |
| CN112749705A (zh) * | 2019-10-31 | 2021-05-04 | 深圳云天励飞技术有限公司 | 训练模型更新方法及相关设备 |
| CN110889412B (zh) * | 2019-11-01 | 2023-04-07 | 泰康保险集团股份有限公司 | 体检报告中的医学长文定位与分类方法及装置 |
| CN110929614A (zh) * | 2019-11-14 | 2020-03-27 | 杨喆 | 模版定位方法、装置和计算机设备 |
| CN110598191B (zh) * | 2019-11-18 | 2020-04-07 | 江苏联著实业股份有限公司 | 一种基于神经网络的复杂pdf结构解析方法及装置 |
| CN113033269B (zh) * | 2019-12-25 | 2023-08-25 | 华为技术服务有限公司 | 一种数据处理方法及装置 |
| CN111325092B (zh) * | 2019-12-26 | 2023-09-22 | 湖南星汉数智科技有限公司 | 一种动车票识别方法、装置、计算机装置及计算机可读存储介质 |
| CN111191715A (zh) * | 2019-12-27 | 2020-05-22 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113128496B (zh) * | 2019-12-31 | 2023-12-12 | 华为云计算技术有限公司 | 一种从图像中提取结构化数据的方法、装置和设备 |
| CN111523292B (zh) * | 2020-04-23 | 2023-09-15 | 北京百度网讯科技有限公司 | 用于获取图像信息的方法和装置 |
| CN111539414B (zh) * | 2020-04-26 | 2023-05-23 | 梁华智能科技(上海)有限公司 | 一种ocr图像字符识别和字符校正的方法及系统 |
| CN111539416A (zh) * | 2020-04-28 | 2020-08-14 | 深源恒际科技有限公司 | 一种基于深度神经网络的文本检测目标提取关系的端到端方法 |
| CN111582273B (zh) * | 2020-05-09 | 2023-10-10 | 中国工商银行股份有限公司 | 图像文本识别方法及装置 |
| CN111709339B (zh) * | 2020-06-09 | 2023-09-19 | 北京百度网讯科技有限公司 | 一种票据图像识别方法、装置、设备及存储介质 |
| CN111695518B (zh) | 2020-06-12 | 2023-09-29 | 北京百度网讯科技有限公司 | 结构化文档信息标注的方法、装置及电子设备 |
| CN111753960B (zh) * | 2020-06-25 | 2023-08-08 | 北京百度网讯科技有限公司 | 模型训练及图像处理方法、装置、电子设备、存储介质 |
| CN112069893A (zh) * | 2020-08-03 | 2020-12-11 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种票据处理方法、装置、电子设备及存储介质 |
| CN112101336A (zh) * | 2020-09-09 | 2020-12-18 | 杭州测质成科技有限公司 | 一种基于计算机视觉的智能数据采集方式 |
| CN112287763A (zh) * | 2020-09-27 | 2021-01-29 | 北京旷视科技有限公司 | 图像处理方法、装置、设备及介质 |
| CN112381086A (zh) * | 2020-11-06 | 2021-02-19 | 厦门市美亚柏科信息股份有限公司 | 一种结构化输出图像文字识别结果的方法及装置 |
| CN112633118A (zh) * | 2020-12-18 | 2021-04-09 | 上海眼控科技股份有限公司 | 一种文本信息提取方法、设备及存储介质 |
| CN112818823B (zh) * | 2021-01-28 | 2024-04-12 | 金科览智科技(北京)有限公司 | 一种基于票据内容和位置信息的文本抽取方法 |
| CN112801987B (zh) * | 2021-02-01 | 2022-11-08 | 上海万物新生环保科技集团有限公司 | 一种手机零件异常检测方法及设备 |
| CN113033431B (zh) * | 2021-03-30 | 2023-08-08 | 北京百度网讯科技有限公司 | 光学字符识别模型训练和识别方法、装置、设备及介质 |
| CN112990091A (zh) * | 2021-04-09 | 2021-06-18 | 数库（上海）科技有限公司 | 基于目标检测的研报解析方法、装置、设备和存储介质 |
| CN113094508A (zh) * | 2021-04-27 | 2021-07-09 | 平安普惠企业管理有限公司 | 数据检测方法、装置、计算机设备和存储介质 |
| CN113111858A (zh) * | 2021-05-12 | 2021-07-13 | 数库（上海）科技有限公司 | 自动检测图片中表格的方法、装置、设备和存储介质 |
| CN113191348B (zh) * | 2021-05-31 | 2023-02-03 | 山东新一代信息产业技术研究院有限公司 | 一种基于模板的文本结构化提取方法及工具 |
| CN113569629B (zh) * | 2021-06-11 | 2023-09-15 | 杭州玖欣物联科技有限公司 | 一种机加工图纸关键信息提取和敏感信息脱敏的模型方法 |
| CN113408517B (zh) * | 2021-06-30 | 2023-01-17 | 青岛海信移动通信技术股份有限公司 | 一种图像显示方法及装置、电子设备 |
| CN113627439A (zh) * | 2021-08-11 | 2021-11-09 | 北京百度网讯科技有限公司 | 文本结构化处理方法、处理装置、电子设备以及存储介质 |
| CN113762109B (zh) | 2021-08-23 | 2023-11-07 | 北京百度网讯科技有限公司 | 一种文字定位模型的训练方法及文字定位方法 |
| CN114611497B (zh) * | 2022-05-10 | 2022-08-16 | 北京世纪好未来教育科技有限公司 | 语病诊断模型的训练方法、语病诊断方法、装置及设备 |
| CN115273111B (zh) * | 2022-06-27 | 2023-04-18 | 北京互时科技股份有限公司 | 一种无模板识别图纸材料表的装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049755A (zh) * | 2014-06-18 | 2014-09-17 | 中国科学院自动化研究所 | 信息处理方法及装置 |
| CN105469047A (zh) * | 2015-11-23 | 2016-04-06 | 上海交通大学 | 基于无监督学习深度学习网络的中文检测方法及系统 |
| CN106295629A (zh) * | 2016-07-15 | 2017-01-04 | 北京市商汤科技开发有限公司 | 结构化文本检测方法和系统 |
| CN106372061A (zh) * | 2016-09-12 | 2017-02-01 | 电子科技大学 | 基于语义的短文本相似度计算方法 |
| CN107480681A (zh) * | 2017-08-02 | 2017-12-15 | 四川长虹电器股份有限公司 | 基于深度学习的高并发票据识别系统与方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06139410A (ja) * | 1992-10-23 | 1994-05-20 | Fujitsu Ltd | ニューラル・ネットワークによるテンプレート・マッチング型文字認識方式 |
| JPH11306282A (ja) * | 1998-04-17 | 1999-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 文字列領域抽出方法及び装置 |
| CN106156766B (zh) * | 2015-03-25 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 文本行分类器的生成方法及装置 |
| CN106156767A (zh) * | 2016-03-02 | 2016-11-23 | 平安科技（深圳）有限公司 | 行驶证有效期自动提取方法、服务器及终端 |
| CN105913093B (zh) * | 2016-05-03 | 2019-06-21 | 电子科技大学 | 一种用于文字识别处理的模板匹配方法 |
| US10909313B2 (en) * | 2016-06-22 | 2021-02-02 | Sas Institute Inc. | Personalized summary generation of data visualizations |
| JP2018005462A (ja) * | 2016-06-30 | 2018-01-11 | 株式会社日立ソリューションズ | 認識装置及び認識方法 |
| CN108133212B (zh) * | 2018-01-05 | 2021-06-29 | 东华大学 | 一种基于深度学习的定额发票金额识别系统 |
| CN109086756B (zh) * | 2018-06-15 | 2021-08-03 | 众安信息技术服务有限公司 | 一种基于深度神经网络的文本检测分析方法、装置及设备 |
-
2018
- 2018-06-15 CN CN201810618508.6A patent/CN109086756B/zh active Active
-
2019
- 2019-06-12 JP JP2019561162A patent/JP6831480B2/ja active Active
- 2019-06-12 WO PCT/CN2019/090896 patent/WO2019238063A1/zh active Application Filing
- 2019-06-12 SG SG11202002659WA patent/SG11202002659WA/en unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049755A (zh) * | 2014-06-18 | 2014-09-17 | 中国科学院自动化研究所 | 信息处理方法及装置 |
| CN105469047A (zh) * | 2015-11-23 | 2016-04-06 | 上海交通大学 | 基于无监督学习深度学习网络的中文检测方法及系统 |
| CN106295629A (zh) * | 2016-07-15 | 2017-01-04 | 北京市商汤科技开发有限公司 | 结构化文本检测方法和系统 |
| CN106372061A (zh) * | 2016-09-12 | 2017-02-01 | 电子科技大学 | 基于语义的短文本相似度计算方法 |
| CN107480681A (zh) * | 2017-08-02 | 2017-12-15 | 四川长虹电器股份有限公司 | 基于深度学习的高并发票据识别系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| SG11202002659WA (en) | 2020-04-29 |
| WO2019238063A1 (zh) | 2019-12-19 |
| JP6831480B2 (ja) | 2021-02-17 |
| JP2020527260A (ja) | 2020-09-03 |
| CN109086756A (zh) | 2018-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086756B (zh) | 一种基于深度神经网络的文本检测分析方法、装置及设备 | |
| Hoque et al. | Real time bangladeshi sign language detection using faster r-cnn | |
| Ismael et al. | Face recognition using Viola-Jones depending on Python | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| US20180349716A1 (en) | Apparatus and method for recognizing traffic signs | |
| CN111651992A (zh) | 命名实体标注方法、装置、计算机设备和存储介质 | |
| CN111695392B (zh) | 基于级联的深层卷积神经网络的人脸识别方法及系统 | |
| CN111898528B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| Vasavi et al. | Medical assistive system for automatic identification of prescribed medicines by visually challenged from the medicine box using invariant feature extraction | |
| Rakowski et al. | Hand shape recognition using very deep convolutional neural networks | |
| CN111199050B (zh) | 一种用于对病历进行自动脱敏的系统及应用 | |
| Begum et al. | A novel approach for multimodal facial expression recognition using deep learning techniques | |
| Duan et al. | Attention enhanced convnet-RNN for Chinese vehicle license plate recognition | |
| Koushik et al. | Automated marks entry processing in Handwritten answer scripts using character recognition techniques | |
| Bora et al. | ISL gesture recognition using multiple feature fusion | |
| Palani et al. | Detecting and extracting information of medicines from a medical prescription using deep learning and computer vision | |
| CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 | |
| CN113434721A (zh) | 表情包分类方法、装置、计算机设备和存储介质 | |
| Park et al. | Optical character recognition system using BP algorithm | |
| Rawat et al. | Indian Sign Language Recognition System for Interrogative Words Using Deep Learning | |
| Girinath et al. | Automatic Number Plate Detection using Deep Learning | |
| Sari et al. | The Involvement of Local Binary Pattern to Improve the Accuracy of Multi Support Vector-Based Javanese Handwriting Character Recognition | |
| Nguyen et al. | UIT-ANPR: toward an open framework for automatic number plate recognition on smartphones | |
| Gouveia et al. | Handwriting recognition system for mobile accessibility to the visually impaired people | |
| Banerjee et al. | Quote examiner: verifying quoted images using web-based text similarity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40002126 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240306 Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702 Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd. Country or region after: China Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240415 Address after: Room 1179, W Zone, 11th Floor, Building 1, No. 158 Shuanglian Road, Qingpu District, Shanghai, 201702 Patentee after: Shanghai Zhongan Information Technology Service Co.,Ltd. Country or region after: China Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee before: ZHONGAN INFORMATION TECHNOLOGY SERVICE Co.,Ltd. Country or region before: China |