CN111967391A - 医学化验单的文本识别方法和计算机可读存储介质 - Google Patents
医学化验单的文本识别方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111967391A CN111967391A CN202010829924.8A CN202010829924A CN111967391A CN 111967391 A CN111967391 A CN 111967391A CN 202010829924 A CN202010829924 A CN 202010829924A CN 111967391 A CN111967391 A CN 111967391A
- Authority
- CN
- China
- Prior art keywords
- text
- neural network
- anchor
- convolutional neural
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000009533 lab test Methods 0.000 title claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 65
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 50
- 238000011176 pooling Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 238000010339 medical test Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000003651 basophil Anatomy 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000001772 blood platelet Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000003979 eosinophil Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Character Discrimination (AREA)
Abstract
本公开提供了一种医学化验单的文本识别方法和计算机可读存储介质，涉及文本识别技术领域。其中，医学化验单的文本识别方法包括：通过基于锚的卷积神经网络对待识别化验单的文本框进行字段定位，锚的水平宽度是根据待识别化验单的文本框的水平宽度预设确定的，卷积神经网络的下采样比例由锚的水平宽度确定；将字段定位的特征图输入至文本识别模块，文本识别模块的输出层包含前向‑后向神经网络层，以获取待识别化验单的第一字符识别结果，前向‑后向神经网络层中引入注意力机制。通过本公开的技术方案，减少了提取文本框的漏检或黏连的情况发生，提高了医学化验单的文本识别的可靠性和准确性。
Description
技术领域
本公开涉及文本识别技术领域，尤其涉及一种医学化验单的文本识别 方法和计算机可读存储介质。
背景技术
OCR(Optical Character Recognition，光学字符识别)技术已经经历了 几十年的发展，从早期的文档识别，扩展到已经在收费停车场等场景下发 挥重要作用的车牌识别，以及目前尚未实现大面积应用的身份证识别、银 行卡识别、增值税发票识别等。
然而，目前针对医学化验单识别的研究仍较为匮乏，尚未发现相关技 术中存在鲁棒性高和准确性高的中文化验单识别系统。
基于此，由于医学化验单的稀疏排布、多语言混合、含较多生僻的医 学名词等不同于一般文档的特性，如果采用OCR系统进行识别，则准确 率较低。
另外，OCR系统输出的识别结果是散乱的非结构化文本，不利于后 续分析生成医学报告。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开 的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技 术的信息。
发明内容
本公开的目的在于提供一种医学化验单的文本识别方法和计算机可 读存储介质，至少在一定程度上克服相关技术中文本识别的准确率低和鲁 棒性差的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地 通过本公开的实践而习得。
根据本公开的一个方面，提供一种医学化验单的文本识别方法，包括： 通过基于锚的卷积神经网络对待识别化验单的文本框进行字段定位，锚的 水平宽度是根据待识别化验单的文本框的水平宽度预设确定的，卷积神经 网络的下采样比例由锚的水平宽度确定；将所述字段定位的特征图输入至 文本识别模块，所述文本识别模块的输出层包含前向-后向神经网络层， 以获取待识别化验单的第一字符识别结果，所述前向-后向神经网络层中 引入注意力机制。
在本公开的一个实施例中，卷积神经网络包括多个卷积块；在通过基 于锚的卷积神经网络对待识别化验单的文本框进行特征提取前，还包括： 根据锚的宽度调整卷积块的池化层的核宽度，以调整卷积神经网络的下采 样比例。
在本公开的一个实施例中，卷积神经网络包括第一卷积块、第二卷积 块、第三卷积块、第四卷积块和第五卷积块，第一卷积块、第二卷积块、 第三卷积块和第四卷积块包含的池化层分别为第一池化层、第二池化层、 第三池化层和第四池化层，第一池化层的核宽度、第二池化层的核宽度、 第三池化层的核宽度和调整后的第四池化层的核宽度的乘积结果与锚的 宽度相等。
在本公开的一个实施例中，前向-后向神经网络层的下一级网络为长 短期记忆网络层，医学化验单的文本识别方法还包括：确定长短期记忆网 络层在获取第一字符识别结果的前一时刻的内部隐藏状态值；根据内部隐 藏状态值确定第一字符识别结果对应的注意力权重；采用注意力权重对第 一字符识别结果进行加权处理，以得到第二字符识别结果；将第二字符识 别结果输入长短期记忆网络层；将长短期记忆网络层的输出结果依次进行 线性层和柔性最大化处理，以得到文本框包含的字符串的概率分布。
在本公开的一个实施例中，还包括：计算待识别化验单中的左右相邻 的两个文本框之间的高度交并比；根据高度交并比确定文本框所属的文本 行；根据行逐行遍历文本框包含的字符串；计算字符串与表头标识字符之 间的相似度；根据相似度确定待识别化验单的表格区域；根据待识别化验 单的检查项字典，对表格区域内的文本框的字符进行纠错；根据纠错结果 输出待识别化验单的结构化识别结果，结构化识别结果包括检查项名称、检查项数值和所述检查项数值的量纲中的至少一种。
在本公开的一个实施例中，还包括：对待识别化验单进行网格划分， 并确定划分后的网格；确定网格对应的多个训练锚；确定待识别化验单的 文字区域面积占训练锚的面积的比例；将比例小于或等于预设比例的训练 锚确定为负训练锚；采用负训练锚对卷积神经网络进行训练。
在本公开的一个实施例中，还包括：确定卷积神经网络的训练锚与训 练锚所属的锚集合之间的交并比；将交并比大于预设交并比的训练锚确定 为正训练锚；采用正训练锚对卷积神经网络进行训练。
在本公开的一个实施例中，卷积神经网络的训练锚的中心点与网格的 中心点重合。
在本公开的一个实施例中，在通过基于锚的卷积神经网络对待识别化 验单的文本框进行特征提取前，还包括：根据待识别化验单中的文本框的 高度，确定卷积神经网络的锚的数量；和/或根据待识别化验单中的文本框 的字体大小，确定卷积神经网络的锚的高度；和/或根据待识别化验单中的 文本框的宽度，调整待识别化验单的短边尺寸。
根据本公开的再一个方面，提供一种电子设备，包括：处理器；以及 存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可 执行指令来执行上述任意一项的医学化验单的文本识别方法。
根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储 有计算机程序，计算机程序被处理器执行时实现上述任意一项的医学化验 单的文本识别方法。
本公开的实施例所提供的医学化验单的文本识别方案，通过调整锚的 粒度，使卷积神经网络对于不同宽度的文本框进行更可靠地提取，以降低 文本框的粘连和漏检，提升了文本识别的准确性和鲁棒性。
进一步地，在调整锚的宽度后，通过调整卷积神经网络的下采样比例， 使卷积神经网络收敛，以保证文本识别的结果可靠地输出。
另外，通过将注意力机制引入前向-后向神经网络层，选择性地利用 图像局部特征，更好地聚焦在字符区域，有利于提升字符识别的准确性。
最后，通过检查项字典对卷积神经网络的输出结果进行纠错，输出结 构化识别结果，以获取键值形式的识别结果，降低了后期分析识别结果的 人力成本和时间。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释 性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本 公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下 面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来 讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A示出本公开实施例中一种医学化验单的文本识别方案的示意图；
图1B示出本公开实施例中一种医学化验单的文本识别架构下宽度为 16的锚的示意图；
图1C示出图1B所示的医学化验单的文本识别架构输出的文本框的 示意图；
图1D示出本公开实施例中一种医学化验单的文本识别架构的示意图；
图2A示出本公开实施例中一种医学化验单的文本识别架构下引入 Attention机制的计算流程图；
图2B示出本公开实施例中一种医学化验单的文本识别架构下宽度为 8的锚的示意图；
图2C示出图2B所示的医学化验单的文本识别架构输出的文本框的 示意图；
图3示出本公开实施例中另一种医学化验单的文本识别方法的流程 图；
图4A示出本公开实施例中又一种医学化验单的文本识别方法的流程 图；
图4B示出本公开实施例中又一种医学化验单的文本识别方法的特征 提取过程的示意图；
图5示出本公开实施例中又一种医学化验单的文本识别方法的流程 图；
图6A示出本公开实施例中又一种医学化验单的文本识别方法的流程 图；
图6B示出图6A所示的医学化验单的文本识别方法处理得到的表头 行和表尾行的示意图；
图7示出本公开实施例中又一种医学化验单的文本识别方法的流程 图；图8示出本公开实施例中又一种医学化验单的文本识别方法的流程 图；
图9示出本公开实施例中又一种医学化验单的文本识别方法的流程 图；
图10示出本公开实施例中一种电子设备的示意图；
图11示出本公开实施例中一种计算机可读存储介质的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能 够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这 些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面 地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适 的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中 相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。 附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的 实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬 件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置 和/或微控制器装置中实现这些功能实体。
本申请提供的方案，通过根据文本框的水平宽度对锚的水平宽度进行 调整，以及相应地调整下采样比例，并引入注意力机制，提供了一种准确 性高、可靠性高和鲁棒性高的医学化验单的文本识别方案。
本申请实施例提供的方案涉及计算机视觉技术的图形处理和医学化 验单的文本识别等技术，具体通过如下实施例进行说明。
图1A示出本公开实施例中一种医学化验单的文本识别过程的示意图。
如图1A所示，本公开的医学化验单的文本识别过程包括：字段定位、 文本识别、后处理三个基本过程。输入为待识别化验单，输出结果为 sturcture information(结构化信息)。
(1)VGG16模型是13个卷积层+3个全连接层叠加而成，使用图1D 所示的VGG16作为基础网络102提取特征时，删掉3个全连接层，仅保 留卷积层和池化层，提取得到卷积层conv5_3上的特征作为特征图104， 大小是W×H×C，W、H和C均为正整数。
其中，VGG16相比AlexNet的一个改进是采用连续的几个3x3的卷 积核代替AlexNet中的较大卷积核(11x11，7x7，5x5)。对于给定的感受 野(与输出有关的输入图片的局部大小)，因为多层非线性层可以增加网 络深度来保证学习更复杂的模式，而且维护代价还比较小(参数更少)， 采用堆积的小卷积核优于采用大的卷积核。
(2)如图1D所示，在上述特征图104上使用大小为3×3的滑动窗 1042进行滑动，每个窗口都能得到一个长度为3×3×C的特征向量。
(3)将上一步得到的特征向量展开成一维，并逐个输入到一个双向 的LSTM(LongShort-Term Memory，长短期记忆网络)中，即BILSTM (上述实施例中限定的前向-后向神经网络层)106得到长度为W×256的 输出，然后接一个512的全连接层108，准备输出识别结果。
(4)输出层110主要包括三个输出：2k个vertical coordinate(垂直 坐标)、2k个通道的score(得分)和k个side-refinement(侧面精化)， k为正整数。
(4.1)2k个vertical coordinate，因为一个anchor(锚)用的是中心位 置的高(y坐标)和矩形框的高度两个值表示的，所以存在2k个输出，注 意这里输出的是相对anchor(锚)的偏移。
(4.2)2k个通道的score，因为预测了k个锚，所以有2k个分数， 表示每个锚分别属于文本区域还是非文本区域的概率。
(4.3)k个side-refinement，这部分主要是用来精修文本框的左右两 个端点的，表示的是每个锚的水平平移量。
上述scores层是分类层，采用交叉熵损失函数，vertical coordinates 层和side-refinement层是回归层，采用L1损失函数，总损失层是3个 输出层的加权和。
(5)使用一个标准的非极大值抑制算法来滤除多余的锚。
(6)如图1C所示，最后使用基于图的文本框构造算法，将得到的多 个锚合并成文本框。
如图2A所示，进一步地在文本识别模块中引入Attention(注意力) 机制，结合附图3至图9的实施例，对本示例实施方式中的医学化验单的 文本识别方法的各个步骤进行更详细的说明。
图3至图9示出本公开实施例中的医学化验单的文本识别方法的流 程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备 执行，电子设备可例如终端和/或服务器集群。
发明人在研发过程中发现：如图1B所示，对于医学影像数据而言， 特别短的文本框只能被1个锚覆盖，如单位“％”、“fl”等，而在文本框构 造过程中，为了减少虚警，如图1C所示，孤立的1个锚会被过滤掉(如 图1C所示的虚线框)，因此造成了短文本框的漏检。
如图1B所示，由于锚的粒度较粗(锚的宽度为16)，对于横向距离 很近的字段而言，它们的锚是黏连在一起的，因此由相邻锚构造出来的文 本框也连在一起，导致后续难以进行结构化处理。
如图3所示，终端或服务器集群执行医学化验单的文本识别方法的步 骤包括：
步骤S302，通过基于锚的卷积神经网络对待识别化验单的文本框进 行字段定位，锚的水平宽度是根据待识别化验单的文本框的水平宽度预设 确定的，卷积神经网络的下采样比例由锚的水平宽度确定。
在上述实施例中，通过字段定位提取待识别化验单中的文本框，输出 结果是每个字段的bounding box(图1C所示的边界框)坐标，对于化验 单报告进行识别时，根据字段定位的结果，系统从原图中裁剪出一个个矩 形窗，输入到文本识别模块。
对于每一个矩形子图，文本识别模块对应的输出是一个字符串。由于 每个矩形子图内的字符串是不定长的，因此，采用seq-to-seq(卷积到卷 积)模型实现，以省去字符分割步骤，避免字符错误分割带来的累积误差。
基于此，本公开的卷积神经网络不同于Faster RCNN、YOLO等其他 基于锚的检测网络，默认的锚会设置几种不同的宽度，不直接输出目标文 本框，而是输出一些固定宽度的、较窄的锚，并通过后处理把相邻的锚连 接成文本框。
综上，本公开的卷积神经网络的优点是可以识别任意长度的文本框， 而不受限于横向感受野的大小，可例如，修改锚的宽度，从16减小到8。
步骤S304，将字段定位的特征图输入至文本识别模块，文本识别模 块的输出层包含前向-后向神经网络层，以获取待识别化验单的第一字符 识别结果，前向-后向神经网络层中引入注意力机制。
在上述实施例中，由于锚在水平方向是连续出现的，通过增加了一个 BiLSTM层，来提取同一行中锚间的上下文信息，以进一步地提高待识别 化验单的文本定位准确率。
基于图3所示的步骤，如图4A和图4B所示，卷积神经网络包括多 个卷积块，每个卷积块包括一个maxpooling(最大池化层)和 convolution+ReLU(ReLU激活函数的卷积层)，在通过基于锚的卷积神 经网络对待识别化验单的文本框进行特征提取前，终端或服务器集群执行 步骤还包括：
如图4A所示，步骤S402，根据锚的宽度调整卷积块的池化层的核宽 度，以调整卷积神经网络的下采样比例。
在上述实施例中，发明人发现若根据文本框的宽度只修改锚的宽度， 卷积神经网络是无法收敛的，因此，卷积神经网络的尺寸也需要做相应调 整，以使卷积神经网络收敛。
如图4B所示，本公开的卷积神经网络采用VGG16的前5个卷积块， 卷积神经网络含有4个核尺寸为2×2的池化层，所以卷积特征提取器的下 采样比例为16×16，即原图中每个16×16大小的窗口对应k个锚。
进一步地，发明人把第4个池化层的核尺寸改为2×1，这样卷积神经 网络下采样比例变为16×8，与调整后的图2B所示的锚宽度8相匹配。 另外，由于横向只需要预测局部的、很窄的锚，发明人改变核尺寸后，由 于短文本框也能被至少2个锚覆盖，且相近字段间的缝隙也足以使锚的序 列断开，所以字段漏检、黏连的问题都被很好地解决了。
如图4B所示，卷积神经网络包括第一卷积块、第二卷积块、第三卷 积块、第四卷积块和第五卷积块，第一卷积块、第二卷积块、第三卷积块 和第四卷积块包含的池化层分别为第一池化层、第二池化层、第三池化层 和第四池化层，第一池化层的核宽度、第二池化层的核宽度、第三池化层 的核宽度和调整后的第四池化层的核宽度的乘积结果与锚的宽度相等。
基于图3所示的步骤，如图5所示，前向-后向神经网络层的下一级 网络为长短期记忆网络层，终端或服务器集群执行医学化验单的文本识别 方法的步骤还包括：
步骤S502，确定长短期记忆网络层在获取第一字符识别结果的前一 时刻的内部隐藏状态值。
步骤S504，根据内部隐藏状态值确定第一字符识别结果对应的注意 力权重。
步骤S506，采用注意力权重对第一字符识别结果进行加权处理，以 得到第二字符识别结果。
步骤S508，将第二字符识别结果输入长短期记忆网络层。
步骤S510，将长短期记忆网络层的输出结果依次进行线性层和柔性 最大化处理，以得到文本框包含的字符串的概率分布。
在上述实施例中，文本识别模块输入是从原始化验单中裁剪下来的单 个字段图像，可例如将其高度缩放到32，宽度等比例缩放，以保证经过卷 积神经网络特征提取器后特征图的高度为1(卷积神经网络的纵向下采样 比例为32)。
发明人发现，由于裁剪下来的单个字段图像也存在边缘，且字符间存 在空隙，所以我们尝试将注意力机制引入卷积神经网络，使网络选择性地 利用图像局部特征，更好地聚焦在字符区域，引入注意力机制对于提升识 别准确率是有帮助的。
如图2B所示，将特征图的每一列作为一个512维的特征向量(特征 图的通道数为512)，从左到右逐帧输入到BiLSTM，来学习上下文关系。
进一步地，如图2C所示，在CNN(Convolutional Neural Network， 卷积神经网络)的Attend(注意力)单元后增加一层LSTM，作为新的 decoder(解码器)。
在时刻t，首先根据BiLSTM层的输出h，和decoder前一时刻的内部 隐状态st-1，经过线性层、tanh激活和softmax归一化，计算注意力权重 αt：
et，i＝wT×tanh(W×st-1+V×hi+b) (1)
at，i＝exp(et，i)/Σexp(et，i) (2)
其中，wT、W、V、b都是可训练的参数，hi为第i个h的幅值，et，i为 tanh激活处理的结果，at，i为hi的权重。
然后用at对h加权：
gt＝Σ(at，i×hi) (3)
加权和gt即为decoder在t时刻的输入：
(xt，st)＝lstm(gt，st-1) (4)
xt经过线性层和softmax处理，即字符概率分布p(yt)。
上述卷积神经网络的字符集由训练集中出现过的所有字符组成，包含 汉字、英文、数字、特殊符号等共计3196种。
在训练文本识别模块时，使用所有帧的联合概率分布p来计算距离 字符串标签的CTC(Connectionist Temporal Classification，时序分类)loss。
其中，CTC loss是专门用于解决特征序列和输出序列长度不对齐的序 列识别问题的。在推断时直接转录即可，选取各帧概率最大的字符，即为 预测结果。
如图2B和如图2C所示，由于字符间存在空隙，某些窗口内可能不 存在字符，因此用“-”来表示预测结果为空。
其中，文本识别模块中的CNN的横向下采样比例为8，小于其纵向 下采样比例32，这是因为要保证即使很窄的字符，如“l”、“f”等字符，也 能占据一个LSTM的一帧。而对于字符宽度大于窗口宽度的情况，如正 方形的汉字，相邻的两个帧可能预测结果是相同的。因此，在转录时需要 去除“-”，和“-”之间连续重复的字符。
基于图3所示的步骤，如图6A所示，终端或服务器集群执行医学化 验单的文本识别方法的步骤还包括：
步骤S602，计算待识别化验单中的左右相邻的两个文本框之间的高 度交并比。
步骤S604，根据高度交并比确定文本框所属的文本行。
步骤S606，逐行遍历文本行包含的字符串。
步骤S608，计算字符串与表头标识字符之间的相似度。
步骤S610，根据相似度确定待识别化验单的表格区域。
在上述实施例中，结构化识别结果的抽取即为将文本识别模块输出的 散乱的识别结果，转换为键值对形式，可例如，“{血小板比容：[结果：0.19， 参考值：0.18-0.22，单位：％]}”。
具体地，发明人发现需要对待识别化验单进行行构造，即判断哪些字 段属于同一行，但是，由于图片倾斜、透视形变等影响，不能仅根据y坐 标是否相近来构造行。
因此，本公开提供了一个行构造算法，即定义一种邻接关系：文本框 a和文本框b邻接，若二者的纵向IOUy小于阈值，且b是在水平方向上距 离a最近的文本框，或a是在水平方向上距离b最近的文本框。设文本框 a和文本框b的重叠区域的高度为hU，a和b各自的高度分别为ha和hb， 则二者的纵向IOUy的计算方法为：
IOUy＝hU/(ha+hb-hU) (6)
邻接关系具有传递性，即若a和b邻接，且b和c邻接，则a和c 也邻接。
将一张化验单中的所有文本框看成一个无向图的节点，互相邻接的一 簇文本框构成无向图中的一棵树，而一棵树就对应一个文本行，一个文本 行对应1(单栏情况)或2条(双栏情况)检查结果。接下来需要定位表 格区域，即确定表头行6042和表尾行6044。这一步采用匹配法实现。
如图6B所示，根据用户在前端网站中输入的列名和单栏/双栏选择结 果，可以得知表头行的实际字符内容，如涿州市医院的表头行内容应为 “No”、“项目”、“结果”、“参考值”、“单位”、“No”、“项目”、“结果”、 “参考值”、“单位”，记为THL(Table Head Label，表头行)。逐行遍历预 测出的文本行内容，计算与TBL(Table Bottom Label，表尾行)的相似度分数，若大于阈值，即可确定为表头行6042。
如图6B中的第一个文本框内的“No”、“项目”、“结果”、“参考值”、 “单位”与TBL的相似度高达0.94，因此认为是表头行6042。表尾行6044 的定位与表头行相似，只不过是与[“时间”，“日期”，“检验”，“审核”，“备 注”]等词语进行非完全匹配，即只要文本行内容含有以上词语中的一个， 相似度即为1。
步骤S612，根据待识别化验单的检查项字典，对表格区域内的文本 框的字符进行纠错。
步骤S614，根据纠错结果输出待识别化验单的结构化识别结果，结 构化识别结果包括检查项编号、检查项名称、检查项数值、数值参考范围、 检查项英文缩写和检查项数值的量纲中的至少一种。
在上述实施例中，在表头行和表尾行确定后，二者之间的部分即为检 验结果的表格区域。对表格区域，进行与行构造算法相似的列构造，即可 得知表格中每个字段处于第几列，以及具体表示什么属性。
具体地，对于特定的医学影像报告，可以建立检查项词典，用该词典 对识别结果进行纠错。词典由该医学影像报告的全部检查项组成，不仅包 括项目名称，还包括每个检查项对应的参考值和单位。
纠错方法可例如：对于识别结果s，在词典中查找与其编辑距离最短 的一项sg，将sg作为s的纠错结果。其中编辑距离的定义为将sg修改到与s 完全相同所需要的最少操作数(操作包括删除一个字符、增加一个字符或 替换一个字符)，如“嗜碱粒细胞比例”到“嗜酸粒细胞百分比”编辑距离为 4。
基于图3所示的步骤，如图7所示，还包括：
步骤S702，对待识别化验单进行网格划分，并确定划分后的网格。
步骤S704，确定网格对应的多个训练锚。
步骤S706，确定待识别化验单的文字区域面积占训练锚的面积的比 例。
步骤S708，将比例小于或等于预设比例的训练锚确定为负训练锚。
步骤S710，采用负训练锚对卷积神经网络进行训练。
现有技术中，负训练锚通常是交并比小于0.5的锚，但是，发明人发 现，部分负训练锚712的文本区域所占的面积超过了70％，其分类损失较 高，致使卷积神经网络难以向正确的方向收敛。
在上述实施例中，通过待识别化验单的文字区域面积占训练锚的面积 的比例，来重新选取合理的负训练锚，以此使卷积神经网络按照正确的方 向收敛。
基于图3所示的步骤，如图8所示，还包括：
步骤S802，确定卷积神经网络的训练锚与训练锚所属的锚集合之间 的交并比。
步骤S804，将交并比大于预设交并比的训练锚确定为正训练锚。
步骤S806，采用正训练锚对卷积神经网络进行训练。
在上述实施例中，通过确定卷积神经网络的训练锚与训练锚所属的锚 集合之间的交并比，并将交并比大于预设交并比的训练锚确定为正训练锚， 结合上述正训练锚和负训练锚对卷积神经网络的分类层进行训练，不仅能 提高卷积神经网络对医学影像报告识别的准确率和可靠性，而且能使卷积 神经网络保持收敛。
发明人设置上述预设交并比大于0.5，可例如设置为0.6。
在本公开的一个实施例中，卷积神经网络的训练锚的中心点与网格的 中心点重合。
基于图3所示的步骤，如图9所示，在通过基于锚的卷积神经网络对 待识别化验单的文本框进行特征提取前，终端或服务器集群执行医学化验 单的文本识别方法的步骤还包括：
步骤S902，根据待识别化验单中的文本框的高度，确定卷积神经网 络的锚的数量。
在上述实施例中，考虑到医学领域的待识别化验单中的字号比较相似， 因此，在调整锚的宽度后，对锚的数量进行相应的调整，可例如，将锚的 宽度由16调整为8后，将锚的数量由10调整为5，进而使输出层的参数 量减少了一半，提高了上述卷积神经网络的计算效率。
和/或，步骤S904，根据待识别化验单中的文本框的字体大小，确定 卷积神经网络的锚的高度。
在上述实施例中，通过文本框的字体的大小对锚的高度进行调整，使 锚更适用于医学影像报告中的字号，不仅有利于提高识别的可靠性、鲁棒 性和准确性，也有利于优化计算效率。
可例如，将锚的数据设置为5个，且高度分别设置为11、16、22、32 和46。
和/或，步骤S906，根据待识别化验单中的文本框的宽度，调整待识 别化验单的短边尺寸。
在上述实施例中，发明人发现医学影像报告的字段较密集，且字号较 小，对输入图像的分辨率要求较高，所以，基于文本框的宽度调整待识别 化验单的短边尺寸，可例如将待识别化验单的短边大小从600增加到了 900。
下面参照图10来描述根据本公开的这种实施方式的电子设备1000。 图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能 和使用范围带来任何限制。
如图10所示，电子设备1000以通用计算设备的形式表现。电子设备 1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少 一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元 1010)的总线1030。
其中，存储单元存储有程序代码，程序代码可以被处理单元1010执 行，使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根 据本公开各种示例性实施方式的步骤。例如，处理单元1010可以执行如 图3至图9中所示的步骤，以及本公开的医学化验单的文本识别方法中限 定的其他步骤。
存储单元1020可以包括易失性存储单元形式的可读介质，例如随机 存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一 步包括只读存储单元(ROM)10203。
存储单元1020还可以包括具有一组(至少一个)程序模块10205的 程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、 一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一 个或某种组合中可能包括网络环境的实现。
总线1030可以为表示几类总线结构中的一种或多种，包括存储单元 总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用 多种总线结构中的任意总线结构的局域总线。
电子设备1000也可以与一个或多个外部设备1040(例如键盘、指向 设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备 交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算 设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通 信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可 以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广 域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配 器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽 管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不 限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系 统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述 的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方 式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式 体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD- ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设 备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据 本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其 上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式 中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代 码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说 明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的 步骤。
参考图11所示，描述了根据本公开的实施方式的用于实现上述方法 的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括 程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程 序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序 的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结 合使用。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的 数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信 号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、 传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用 的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限 于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开 操作的程序代码，所述程序设计语言包括Python和C++等，还包括常规 的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码 可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个 独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、 或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中， 远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网 (WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如 利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干 模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施 方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块 或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可 以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但 是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须 执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某 些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多 个步骤执行等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述 的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方 式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式 体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD- ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设 备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据 本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到 本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适 应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包 括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实 施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
Claims (10)
1.一种医学化验单的文本识别方法，其特征在于，包括：
通过基于锚的卷积神经网络对待识别化验单的文本框进行字段定位，锚的水平宽度是根据待识别化验单的文本框的水平宽度预设确定的，卷积神经网络的下采样比例由锚的水平宽度确定；
将所述字段定位的特征图输入至文本识别模块，所述文本识别模块的输出层包含前向-后向神经网络层，以获取待识别化验单的第一字符识别结果，所述前向-后向神经网络层中引入注意力机制。
2.根据权利要求1所述的医学化验单的文本识别方法，其特征在于，所述卷积神经网络包括多个卷积块；在通过基于锚的卷积神经网络对所述待识别化验单的文本框进行特征提取前，还包括：
根据所述锚的宽度调整所述卷积块的池化层的核宽度，以调整所述卷积神经网络的下采样比例。
3.根据权利要求1所述的医学化验单的文本识别方法，其特征在于，
所述卷积神经网络包括第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块，
所述第一卷积块、所述第二卷积块、所述第三卷积块和所述第四卷积块包含的池化层分别为第一池化层、第二池化层、第三池化层和第四池化层，
所述第一池化层的核宽度、第二池化层的核宽度、第三池化层的核宽度和调整后的第四池化层的核宽度的乘积结果与所述锚的宽度相等。
4.根据权利要求1至3中任一项所述的医学化验单的文本识别方法，其特征在于，
所述前向-后向神经网络层的下一级网络为长短期记忆网络层，所述医学化验单的文本识别方法还包括：
确定所述长短期记忆网络层在获取所述第一字符识别结果的前一时刻的内部隐藏状态值；
根据所述内部隐藏状态值确定所述第一字符识别结果对应的注意力权重；
采用所述注意力权重对所述第一字符识别结果进行加权处理，以得到第二字符识别结果；
将所述第二字符识别结果输入所述长短期记忆网络层；
将所述长短期记忆网络层的输出结果依次进行线性层和柔性最大化处理，以得到所述文本框包含的字符串的概率分布。
5.根据权利要求1至3中任一项所述的医学化验单的文本识别方法，其特征在于，还包括：
计算所述待识别化验单中的左右相邻的两个文本框之间的高度交并比；
根据所述高度交并比确定所述文本框所属的文本行；
逐行遍历所述文本行包含的字符串；
计算所述字符串与所述表头标识字符之间的相似度；
根据所述相似度确定所述待识别化验单的表格区域；
根据所述待识别化验单的检查项字典，对所述表格区域内的文本框的字符进行纠错；
根据纠错结果输出所述待识别化验单的结构化识别结果，所述结构化识别结果包括检查项编号、检查项名称、检查项数值、数值参考范围、检查项英文缩写和所述检查项数值的量纲中的至少一种。
6.根据权利要求1至3中任一项所述的医学化验单的文本识别方法，其特征在于，还包括：
对所述待识别化验单进行网格划分，并确定划分后的网格；
确定所述网格对应的多个训练锚；
确定所述待识别化验单的文字区域面积占所述训练锚的面积的比例；
将所述比例小于或等于预设比例的训练锚确定为负训练锚；
采用所述负训练锚对所述卷积神经网络进行训练。
7.根据权利要求1至3中任一项所述的医学化验单的文本识别方法，其特征在于，还包括：
确定所述卷积神经网络的训练锚与所述文本框之间的交并比；
将所述交并比大于预设交并比的训练锚确定为正训练锚；
采用所述正训练锚对所述卷积神经网络进行训练。
8.根据权利要求1至3中任一项所述的医学化验单的文本识别方法，其特征在于，
所述卷积神经网络的训练锚的中心点与所述网格的中心点重合。
9.根据权利要求1至3中任一项所述的医学化验单的文本识别方法，其特征在于，在通过基于锚的卷积神经网络对所述待识别化验单的文本框进行特征提取前，还包括：
根据所述待识别化验单中的文本框的高度，确定所述卷积神经网络的锚的数量；
和/或根据所述待识别化验单中的文本框的字体大小，确定所述卷积神经网络的锚的高度；
和/或根据所述待识别化验单中的文本框的宽度，调整所述待识别化验单的短边尺寸。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～9中任意一项所述的医学化验单的文本识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010829924.8A CN111967391A (zh) | 2020-08-18 | 2020-08-18 | 医学化验单的文本识别方法和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010829924.8A CN111967391A (zh) | 2020-08-18 | 2020-08-18 | 医学化验单的文本识别方法和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111967391A true CN111967391A (zh) | 2020-11-20 |
Family
ID=73389211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010829924.8A Pending CN111967391A (zh) | 2020-08-18 | 2020-08-18 | 医学化验单的文本识别方法和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111967391A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052156A (zh) * | 2021-03-12 | 2021-06-29 | 北京百度网讯科技有限公司 | 光学字符识别方法、装置、电子设备和存储介质 |
| CN114429542A (zh) * | 2021-12-10 | 2022-05-03 | 北京航空航天大学 | 针对医疗化验单的结构化识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018054326A1 (zh) * | 2016-09-22 | 2018-03-29 | 北京市商汤科技开发有限公司 | 文字检测方法和装置、及文字检测训练方法和装置 |
| CN110263694A (zh) * | 2019-06-13 | 2019-09-20 | 泰康保险集团股份有限公司 | 一种票据识别方法及装置 |
| CN110399845A (zh) * | 2019-07-29 | 2019-11-01 | 上海海事大学 | 一种图像中连续成段文本检测与识别方法 |
| CN110674804A (zh) * | 2019-09-24 | 2020-01-10 | 上海眼控科技股份有限公司 | 文本图像的检测方法、装置、计算机设备和存储介质 |
| CN111191695A (zh) * | 2019-12-19 | 2020-05-22 | 杭州安恒信息技术股份有限公司 | 一种基于深度学习的网站图片篡改检测方法 |
| CN111310762A (zh) * | 2020-03-16 | 2020-06-19 | 天津得迈科技有限公司 | 一种基于物联网的智能医疗票据识别方法 |
| CN111401375A (zh) * | 2020-03-09 | 2020-07-10 | 苏宁云计算有限公司 | 文本识别模型训练方法、文本识别方法、装置及设备 |
-
2020
- 2020-08-18 CN CN202010829924.8A patent/CN111967391A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018054326A1 (zh) * | 2016-09-22 | 2018-03-29 | 北京市商汤科技开发有限公司 | 文字检测方法和装置、及文字检测训练方法和装置 |
| CN110263694A (zh) * | 2019-06-13 | 2019-09-20 | 泰康保险集团股份有限公司 | 一种票据识别方法及装置 |
| CN110399845A (zh) * | 2019-07-29 | 2019-11-01 | 上海海事大学 | 一种图像中连续成段文本检测与识别方法 |
| CN110674804A (zh) * | 2019-09-24 | 2020-01-10 | 上海眼控科技股份有限公司 | 文本图像的检测方法、装置、计算机设备和存储介质 |
| CN111191695A (zh) * | 2019-12-19 | 2020-05-22 | 杭州安恒信息技术股份有限公司 | 一种基于深度学习的网站图片篡改检测方法 |
| CN111401375A (zh) * | 2020-03-09 | 2020-07-10 | 苏宁云计算有限公司 | 文本识别模型训练方法、文本识别方法、装置及设备 |
| CN111310762A (zh) * | 2020-03-16 | 2020-06-19 | 天津得迈科技有限公司 | 一种基于物联网的智能医疗票据识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052156A (zh) * | 2021-03-12 | 2021-06-29 | 北京百度网讯科技有限公司 | 光学字符识别方法、装置、电子设备和存储介质 |
| CN113052156B (zh) * | 2021-03-12 | 2023-08-04 | 北京百度网讯科技有限公司 | 光学字符识别方法、装置、电子设备和存储介质 |
| CN114429542A (zh) * | 2021-12-10 | 2022-05-03 | 北京航空航天大学 | 针对医疗化验单的结构化识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10817717B2 (en) | Method and device for parsing table in document image | |
| Malakar et al. | A GA based hierarchical feature selection approach for handwritten word recognition | |
| Ahmed et al. | Handwritten Urdu character recognition using one-dimensional BLSTM classifier | |
| RU2661750C1 (ru) | Распознавание символов с использованием искусственного интеллекта | |
| RU2695489C1 (ru) | Идентификация полей на изображении с использованием искусственного интеллекта | |
| Jo et al. | Handwritten text segmentation via end-to-end learning of convolutional neural networks | |
| US7929769B2 (en) | Script recognition for ink notes | |
| Mondal et al. | Handwritten English word recognition using a deep learning based object detection architecture | |
| CN114596566B (zh) | 文本识别方法及相关装置 | |
| Boillet et al. | Robust text line detection in historical documents: learning and evaluation methods | |
| Chherawala et al. | Combination of context-dependent bidirectional long short-term memory classifiers for robust offline handwriting recognition | |
| US11295175B1 (en) | Automatic document separation | |
| Qaroush et al. | Segmentation-based, omnifont printed Arabic character recognition without font identification | |
| CN111680684B (zh) | 一种基于深度学习的书脊文本识别方法、设备及存储介质 | |
| CN111967391A (zh) | 医学化验单的文本识别方法和计算机可读存储介质 | |
| CN112613293A (zh) | 摘要生成方法、装置、电子设备及存储介质 | |
| Le et al. | Stroke order normalization for improving recognition of online handwritten mathematical expressions | |
| Al Ghamdi | A novel approach to printed Arabic optical character recognition | |
| Qureshi et al. | A novel offline handwritten text recognition technique to convert ruled-line text into digital text through deep neural networks | |
| CN111488870A (zh) | 文字识别方法和文字识别装置 | |
| CN115880702A (zh) | 数据处理方法、装置、设备、程序产品及存储介质 | |
| Pham et al. | A deep learning approach for text segmentation in document analysis | |
| Jain | Unconstrained Arabic & Urdu text recognition using deep CNN-RNN hybrid networks | |
| Ashlin et al. | Document Text Analysis and Recognition of Handwritten Telugu Scripts | |
| CN110807449A (zh) | 一种科技项目申报线上服务终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201120 |