CN109815958A

CN109815958A - 一种化验单识别方法、装置、电子设备和存储介质

Info

Publication number: CN109815958A
Application number: CN201910102915.6A
Authority: CN
Inventors: 徐青松; 李青
Original assignee: Hangzhou Glority Software Ltd
Current assignee: Hangzhou Glority Software Ltd
Priority date: 2019-02-01
Filing date: 2019-02-01
Publication date: 2019-05-28
Anticipated expiration: 2039-02-01
Also published as: CN109815958B

Abstract

本发明提供了一种化验单识别方法、装置、电子设备和存储介质，包括获得化验单的图像；基于预先训练的区域识别模型，识别所述化验单的图像中的至少一个区域；其中，所述区域识别模型为基于神经网络的模型；识别所述至少一个区域中每个区域中的字符，得到所述化验单的识别信息。本发明可以准确识别纸质化验单中的信息。

Description

一种化验单识别方法、装置、电子设备和存储介质

技术领域

本发明涉及机器学习技术领域，尤其涉及一种化验单识别方法、装置、电子设备和计算机可读存储介质。

背景技术

医疗化验单是医生对患者病情做出诊断，观察患者健康状况的重要依据，通常情况下，医院对患者出具的是纸质的医疗化验单。通常人们在医院进行常规检查后，希望了解检查的各项指标反映的身体情况。例如，患者可以通过手机等电子设备就化验单的内容向线上的医生或医疗团队进行咨询，这也就需要电子设备能够对化验单中的信息进行识别。因此，如何准确识别纸质化验单中的信息是一项亟待解决的问题。

发明内容

本发明的目的在于提供一种化验单识别方法、装置、电子设备和计算机可读存储介质，以准确识别纸质化验单中的信息。

为解决上述技术问题，本发明提供了一种化验单识别方法，包括：

获得化验单的图像；

基于预先训练的区域识别模型，识别所述化验单的图像中的至少一个区域；其中，所述区域识别模型为基于神经网络的模型；

识别所述至少一个区域中每个区域中的字符，得到所述化验单的识别信息。

可选的，所述化验单的图像中的区域包括以下区域中的一种或多种：表头所在区域、底侧区域、表单所在区域、图片以及图片对应的抬头所在区域。

可选的，针对识别出的表单所在区域，所述得到所述化验单的识别信息，包括：

根据位置信息判断所述表单所在区域的每一列中是否存在空行，如果存在，对存在空行的列进行空行补充；

将所述表单所在区域中识别出的字符按照行对齐，得到所述化验单的表单部分的结构化信息。

可选的，所述根据位置信息判断所述表单所在区域的每一列中是否存在空行，如果存在，对存在空行的列进行空行补充，包括：

根据所述表单所在区域的每一列中各个行的位置信息，确定每一列中的项数以及所有列中的最大项数；

针对每一列，判断该列中的项数是否小于所述最大项数，如果是，判定该列存在空行，则根据各项之间的行间距和行高，对该列进行空行补充。

可选的，所述方法还包括：

判断所述表单所在区域中每一行每一列的字符是否完整；

如果否，根据该行该列已识别出的字符，从预设的标准化数据库中检索后补全该行该列的字符，其中，所述标准化数据库中预先存储有预设的专有名词。

可选的，在所述得到所述化验单的识别信息之后，还包括：

对所述化验单的识别信息进行后处理，包括：根据预设的文本格式化规则库调整所述化验单的识别信息的文本格式，和/或，根据预设的标准化数据库对所述化验单的识别信息中缺失或识别错误的字符进行补全或修改。

可选的，在所述获得化验单的图像之后，还包括：

识别所述化验单的图像中所述化验单的方向，若所述化验单的方向不符合标准方向，则对所述化验单的图像进行转正处理。

可选的，所述识别所述至少一个区域中每个区域中的字符，包括：

利用预先训练的字符识别模型，识别所述至少一个区域中每个区域中的字符，其中，所述字符识别模型是基于神经网络的模型；或

利用光学字符识别技术，识别所述至少一个区域中每个区域中的字符。

本发明还提供一种化验单识别装置，包括：

获得模块，用于获得化验单的图像；

第一识别模块，用于基于预先训练的区域识别模型，识别所述化验单的图像中的至少一个区域；其中，所述区域识别模型为基于神经网络的模型；

第二识别模块，用于识别所述至少一个区域中每个区域中的字符，得到所述化验单的识别信息。

可选的，所述第二识别模块，包括：

补充子模块，用于针对识别出的表单所在区域，根据位置信息判断所述表单所在区域的每一列中是否存在空行，如果存在，对存在空行的列进行空行补充；

对齐子模块，用于将所述表单所在区域中识别出的字符按照行对齐，得到所述化验单的表单部分的结构化信息。

可选的，所述补充子模块，包括：

确定单元，用于根据所述表单所在区域的每一列中各个行的位置信息，确定每一列中的项数以及所有列中的最大项数；

补充单元，用于针对每一列，判断该列中的项数是否小于所述最大项数，如果是，判定该列存在空行，则根据各项之间的行间距和行高，对该列进行空行补充。

可选的，所述第二识别模块，还包括：

补全子模块，用于判断所述表单所在区域中每一行每一列的字符是否完整；如果否，根据该行该列已识别出的字符，从预设的标准化数据库中检索后补全该行该列的字符，其中，所述标准化数据库中预先存储有预设的专有名词。

可选的，所述装置还包括：

后处理模块，用于在所述第二识别模块得到所述化验单的识别信息之后，对所述化验单的识别信息进行后处理，包括：根据预设的文本格式化规则库调整所述化验单的识别信息的文本格式，和/或，根据预设的标准化数据库对所述化验单的识别信息中缺失或识别错误的字符进行补全或修改。

可选的，所述装置还包括：

转正模块，用于在所述获得模块获得化验单的图像之后，识别所述化验单的图像中所述化验单的方向，若所述化验单的方向不符合标准方向，则对所述化验单的图像进行转正处理。

可选的，所述第二识别模块识别所述至少一个区域中每个区域中的字符，包括：

本发明还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任一项所述的化验单识别方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的化验单识别方法的步骤。

与现有技术相比，本发明提供的方案，在获得化验单的图像之后，首先基于预先训练的区域识别模型，识别所述化验单的图像中的至少一个区域，再识别所述至少一个区域中每个区域中的字符，得到所述化验单的识别信息，从而实现了对化验单内容的准确识别，且识别速度快。进一步的，对表单部分进行空行补充可以避免所获得的表单部分的识别信息出错，另外，对化验单的识别信息进行后处理可以提高识别准确率。

附图说明

图1是本发明一实施例提供的一种化验单识别方法的流程示意图；

图2是本发明一具体实施例中一个化验单的示例图；

图3是本发明一具体实施例中另一个化验单的示例图；

图4是本发明一实施例提供的一种化验单识别装置的结构示意图；

图5是本发明一实施例提供的电子设备的结构框图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种化验单识别方法、装置、电子设备和计算机可读存储介质作进一步详细说明。根据权利要求书和下面说明，本发明的优点和特征将更清楚。

为解决现有技术的问题，本发明实施例提供了一种化验单识别方法、装置、电子设备及计算机可读存储介质。

需要说明的是，本发明实施例的化验单识别方法可应用于本发明实施例的化验单识别装置，该化验单识别装置可被配置于电子设备上。其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。

图1是本发明一实施例提供的一种化验单识别方法的流程示意图，请参考图1，一种化验单识别方法可以包括如下步骤：

步骤S101，获得化验单的图像。

其中，化验单的图像可以通过手机等终端拍照形成。化验单的类型包括：血常规化验单、尿常规化验单等，每种类型的化验单也可以具有多种不同的格式，图2为一个化验单的图像的示例，通常可以包含表头、表单、图片、底侧等一个或多个组成部分。表头部分为患者的基本信息，表单部分为检查项目及检查结果的详细情况，图片通常为以图表的形式展示检查项目的检查结果，底侧通常包含检查日期、检查医生等信息。

一般情况下，步骤S101所获得的图像中，化验单的上下左右的方向与图像的上下左右的方向相同，即化验单的方向符合标准方向。然而在实际应用中，步骤S101所获得的化验单的图像中，化验单可能是倾斜的甚至上下颠倒的，即化验单的方向不符合标准方向，而这将会影响化验单识别的准确性。因此，为了更准确的识别化验单中的信息，在获得所述化验单的图像之后，还可以识别所述化验单的图像中所述化验单的方向，若图像中化验单的方向不符合标准方向，则对所述化验单的图像进行转正处理，转正处理后的图像中所述化验单的方向符合或接近标准方向。

例如，可以通过预先训练的方向识别模型来识别化验单的方向。所述方向识别模型可以是基于神经网络的模型。所述方向识别模型可以通过如下过程得到：对每个训练样本图像中化验单的方向进行标注处理；利用经过所述标注处理的训练样本图像，对神经网络进行训练，以得到所述方向识别模型。所述神经网络可以为深度神经网络。

在标注训练样本图像中化验单的方向时，可以按照上下左右四个方向来标注训练样本图像中化验单的方向，或者可以按照每45°划分出一个方向的方式，将训练样本图像中化验单标注出8个方向。利用训练好的方向识别模型识别出某一图像中化验单的方向后，根据所识别的方向将该图像进行转正调整，以使得转正后的图像中化验单的方向符合标准方向。

步骤S102，基于预先训练的区域识别模型，识别所述化验单的图像中的至少一个区域。

所述化验单的图像中的区域可以包括以下区域中的一种或多种：表头所在区域、底侧区域、表单所在区域、图片以及图片对应的抬头所在区域。

其中，所述区域识别模型为基于神经网络的模型，例如可以是深度神经网络。所述区域识别模型可以通过如下过程得到：对化验单的训练样本图像，可以进行分层标注，按照组成部分划分为：表头、表单、图片、底侧等区域，对表单部分可以继续按列进行标注，对图片部分可以标注出图片对应的抬头信息，对表头和底侧的文本可以直接标注表头和底侧的整片区域；然后，利用经过区域标注处理的训练样本图像，对神经网络进行训练，以得到所述区域识别模型。

步骤S103，识别所述至少一个区域中每个区域中的字符，得到所述化验单的识别信息。

具体的，识别所述至少一个区域中每个区域中的字符可以通过以下两种方式：

利用预先训练的字符识别模型，识别所述至少一个区域中每个区域中的字符；其中，所述字符识别模型是基于神经网络的模型，例如可以是深度神经网络；

利用光学字符识别(Optical Character Recognition，OCR)技术，识别所述至少一个区域中每个区域中的字符。

可以理解的是，在识别出所述至少一个区域中每个区域中的字符后，可以按照预设规则对所识别出的字符进行规范整理，得到所述化验单的识别信息，其中，预设规则可以为：以与图像中化验单的显示形式相同的方式记录化验单的识别信息，或者以表格的方式记录化验单的识别信息。举例而言，对图2中表头所在区域进行字符识别后，可以得到表头部分的识别信息如以下表1所示：

表1

样本号	735
		样本种类	尿液
病人类别	住院
		姓名	张三
性别	女
		年龄	24岁
病历号	24073
		卡号
科室	皮肤科
		病区	皮肤科2407300224
床号	730073
		备注

进一步的，在所述得到所述化验单的识别信息之后，还可以对所述化验单的识别信息进行后处理，包括：根据预设的文本格式化规则库调整所述化验单的识别信息的文本格式，和/或，根据预设的标准化数据库对所述化验单的识别信息中缺失或识别错误的字符进行补全或修改。

举例而言，对于化验单中的时间信息，可以针对医疗行业的行业背景进行正则化，得到时间信息的文本格式化规则，并将该文本格式化规则存储于规则库中，以使得在对化验单的识别信息进行后处理时，将其中的时间信息调整为符合该规则的格式。例如，时间信息对应给文本格式化规则可以为：年/月/日时:分，对图2所示的化验单进行识别，识别出底侧区域中的时间信息“检验日期：2018-04-11 08:23”，则对该时间信息进行后处理后，得到符合文本格式化规则的时间信息为“检验日期：2018/04/11 08:23”。

再如，还可以对各个区域对应的识别信息设置不同的文本格式。例如，表单部分的识别信息对于用户来说是比较重要且需要重点关注的，因此，可以设置表单部分的识别信息以加粗或添加背景色的方式进行突出显示。

另外，预设的标准化数据库中可以存储预设的专有名词，例如医疗行业的专有名词和/或专有医疗单位名称等，在对化验单的识别信息进行后处理时，若识别信息中存在缺失或识别错误的字符，则可以根据预设的标准化数据库进行补全或修改。例如，对图2所示的化验单进行识别，若识别错误(如将表单区域的字符“尿胆原”识别为“尿月旦原”)或识别缺失(如将表单区域的字符“尿胆原”识别为“尿胆”)，则可以对识别信息进行后处理时，可以根据标准化数据库中存储的专有名词将识别错误的字符“尿月旦原”或识别缺失的字符“尿胆”进行修改或补全为正确的字符：“尿胆原”。

可以理解的是，在化验单识别中针对表单部分的识别是最重要的，表单部分通常包含多列，如包含3列，分别为项目、结果、参考值，而在参考值这一列可能会出现空行的情况，如图2中项目为“RBC散射光强度”“RBC散射光宽度”“红细胞信息”“导电率”这四行在参考值这一列中对应的信息均为空，表示参考值这一列中有四个空行。对于存在空行的情况，如果不识别出空行并进行相应的处理将会导致表单部分的识别信息出错。

因此，在本发明中，针对识别出的表单所在区域，所述得到所述化验单的识别信息，包括：

具体而言，可以根据所述表单所在区域的每一列中各个行的位置信息，确定每一列中的项数以及所有列中的最大项数；针对每一列，判断该列中的项数是否小于所述最大项数，如果是，判定该列存在空行，则根据各项之间的行间距和行高，对该列进行空行补充。

实际应用时，在对表单所在区域的字符进行识别的过程中，可以确定每一列中各个行的字符在表单所在区域内的位置信息，从而可以确定每一列所包含的项数(每一列中每一行所对应的字符组合后形成的字段，称为项)，以及所有列中的最大项数。举例而言，如图3所示的化验单的表单部分，“项目(英文)”、“项目(中文)”、“结果”这三列中的项数均为4，而“参考值”这一列中的项数为3，表示所有列中的最大项数为4，且“参考值”这一列中存在空行。

进而，可以根据各项之间的行间距和行高(其中，行间距为任一列中相邻两行的字符之间的最小距离，行高为任一列中任一行的字符的高度)，对存在空行的列进行空行补充，具体而言，在存在空行的列中，根据行间距和行高可以确定出空行所在的位置，从而可以在该位置上进行空行补充，例如，在该位置上以补充空字符的方式进行空行补充，如图3所示的化验单中，在识别出空行后，在“参考值”这一列中第三行的位置上补充空字符以进行空行补充。

然后，由于已经对存在空行的列进行了空行补充，因此对于表单所在区域中识别出的字符可以按照行对齐，即可得到化验单的表单部分的结构化信息。可以理解的是，按照以上方式获得的表单部分的结构化信息中各行各列的对应关系，与图像中表单所在区域内各行各列的对应关系相同。因此，通过空行补充的方式得到表单部分的结构化信息，可以避免所获得的表单部分的识别信息出错，实现了对图像中化验单的表单部分的信息还原。

其中，表单部分的结构化信息可以以二维表格的形式进行表示，如图3所示的化验单的表单部分，得到表单部分的结构化信息可以如以下表2所示：

表2

项目(英文)	项目(中文)	结果	参考值
				ANA(1：100)	抗核抗体(1：100)	阳性(核颗粒型)	阴性
ANA(1：320)	抗核抗体(1：320)	阳性(核颗粒型)	阴性
				ANA(1：1000)	抗核抗体(1：1000)	阴性
RNP/Sm	抗U1-nRNP抗体	阴性	阴性

可以理解的是，对于表单部分，当某一行某一列的字符数太多导致侵入到当前行相邻列的空格区域时，会导致该行该列的字符识别不完整，如图2所示的化验单中字符“混合型：正常红细胞与变异红细胞”所在的行列，由于该行列中字符数太多而侵入到当前行相邻列的区域。此时，本发明的方法还可以包括：判断所述表单所在区域中每一行每一列的字符是否完整；如果否，根据该行该列已识别出的字符，从预设的标准化数据库中检索后补全该行该列的字符，其中，所述标准化数据库中预先存储有预设的专有名词，例如医疗行业的专有名词。可见，针对表单区域，在识别该区域的字符时，可以根据每一行每一列中已识别出的字符判断该行该列已识别出的字符是否完整，如果不完整，则从预设的标准化数据库中检索后补全该行该列的字符，从而保证得到的表单所在区域的识别信息是完整的。

综上所述，与现有技术相比，本发明提供的方案，在获得化验单的图像之后，首先基于预先训练的区域识别模型，识别所述化验单的图像中的至少一个区域，再识别所述至少一个区域中每个区域中的字符，得到所述化验单的识别信息，从而实现了对化验单内容的准确识别，且识别速度快。进一步的，对表单部分进行空行补充可以避免所获得的表单部分的识别信息出错，另外，对化验单的识别信息进行后处理可以提高识别准确率。

与上述的化验单识别方法相对应，本发明还提供了一种化验单识别装置，如图4所示，所述装置包括：

获得模块201，用于获得化验单的图像；

第一识别模块202，用于基于预先训练的区域识别模型，识别所述化验单的图像中的至少一个区域；其中，所述区域识别模型为基于神经网络的模型；

第二识别模块203，用于识别所述至少一个区域中每个区域中的字符，得到所述化验单的识别信息。

可选的，所述第二识别模块203，包括：

可选的，所述补充子模块，包括：

可选的，所述第二识别模块203，还包括：

可选的，所述装置还包括：

后处理模块，用于在所述第二识别模块203得到所述化验单的识别信息之后，对所述化验单的识别信息进行后处理，包括：根据预设的文本格式化规则库调整所述化验单的识别信息的文本格式，和/或，根据预设的标准化数据库对所述化验单的识别信息中缺失或识别错误的字符进行补全或修改。

可选的，所述装置还包括：

转正模块，用于在所述获得模块201获得化验单的图像之后，识别所述化验单的图像中所述化验单的方向，若所述化验单的方向不符合标准方向，则对所述化验单的图像进行转正处理。

可选的，所述第二识别模块203识别所述至少一个区域中每个区域中的字符，包括：

本发明还提供了一种电子设备，如图5所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301、通信接口302、存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现如下步骤：

获得化验单的图像；

关于该方法各个步骤的具体实现以及相关解释内容可以参见上述图1所示的方法实施例，在此不做赘述。

另外，处理器301执行存储器303上所存放的程序而实现的化验单识别方法的其他实现方式，与前述方法实施例部分所提及的实现方式相同，这里也不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述的化验单识别方法的方法步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims

1.一种化验单识别方法，其特征在于，包括：

获得化验单的图像；

2.如权利要求1所述的化验单识别方法，其特征在于，

所述化验单的图像中的区域包括以下区域中的一种或多种：表头所在区域、底侧区域、表单所在区域、图片以及图片对应的抬头所在区域。

3.如权利要求2所述的化验单识别方法，其特征在于，针对识别出的表单所在区域，所述得到所述化验单的识别信息，包括：

4.如权利要求3所述的化验单识别方法，其特征在于，所述根据位置信息判断所述表单所在区域的每一列中是否存在空行，如果存在，对存在空行的列进行空行补充，包括：

5.如权利要求3所述的化验单识别方法，其特征在于，所述方法还包括：

判断所述表单所在区域中每一行每一列的字符是否完整；

6.如权利要求1所述的化验单识别方法，其特征在于，在所述得到所述化验单的识别信息之后，还包括：

7.如权利要求1所述的化验单识别方法，其特征在于，在所述获得化验单的图像之后，还包括：

8.如权利要求1所述的化验单识别方法，其特征在于，所述识别所述至少一个区域中每个区域中的字符，包括：

9.一种化验单识别装置，其特征在于，包括：

获得模块，用于获得化验单的图像；

10.如权利要求9所述的化验单识别装置，其特征在于，

11.如权利要求10所述的化验单识别装置，其特征在于，所述第二识别模块，包括：

12.如权利要求11所述的化验单识别装置，其特征在于，所述补充子模块，包括：

13.如权利要求11所述的化验单识别装置，其特征在于，所述第二识别模块，还包括：

14.如权利要求9所述的化验单识别装置，其特征在于，所述装置还包括：

15.如权利要求9所述的化验单识别装置，其特征在于，所述装置还包括：

16.如权利要求9所述的化验单识别装置，其特征在于，所述第二识别模块识别所述至少一个区域中每个区域中的字符，包括：

17.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的方法步骤。

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法步骤。