CN113947776A - 确定处方图像的结构化处方信息的方法及装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，提供了一种确定处方图像的结构化处方信息的方法及装置，在实施例中方法包括：对处方笺的处方图像进行目标检测后进行裁剪，以确定多个文本图像；对多个文本图像分别进行光学字符识别，以确定多个文本图像各自的文字信息；从多个文本图像各自的文字信息中确定处方笺医院名称，并获取处方笺医院名称对应的预设的属性名定位模板，属性名定位模板用于说明结构化属性名在多个文本图像中的位置信息；根据多个文本图像各自的文字信息、处方文字位置信息和属性名定位模板，确定处方图像的结构化处方信息，结构化处方信息包括结构化属性名的属性值。通过本实施例的技术方案，可较为快速的得到较为准确的结构化处方信息。

Description

确定处方图像的结构化处方信息的方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及确定处方图像的结构化处方信息的方法及装置。

背景技术

现阶段处方录入的方式主要有两种，一种是人工手动录入，另一种是通过文字视觉识别技术，即光学字符识别(Optical Character Recognition，OCR)技术对处方进行识别，然后自动录入。

但是对于OCR识别来说，仅仅是识别出了文字，后续录入还是需要人工处理、精确匹配信息，处理效率较低。

发明内容

本发明提供了一种确定处方图像的结构化处方信息的方法、装置、计算机可读存储介质及电子设备，通过属性名定位模板、文本图像的文字信息以及处方文字位置信息，较为快速的提取处方图像中的关键信息以得到较为准确的结构化处方信息。

第一方面，本发明提供了一种确定处方图像的结构化处方信息的方法，包括：

对处方笺的处方图像进行目标检测，以获取所述处方图像的处方文字位置信息；

基于所述处方文字位置信息对所述处方图像进行裁剪，以确定多个文本图像；

对所述多个文本图像分别进行光学字符识别，以确定所述多个文本图像各自的文字信息；

从所述多个文本图像各自的文字信息中确定处方笺医院名称，并获取所述处方笺医院名称对应的预设的属性名定位模板，所述属性名定位模板指示了多个结构化属性名各自在所述多个文本图像中的第一位置信息；

根据所述多个文本图像各自的文字信息、所述处方文字位置信息和所述属性名定位模板，确定所述处方图像的结构化处方信息，所述结构化处方信息包括所述多个结构化属性名各自的属性值。

第二方面，本发明提供了一种确定处方图像的结构化处方信息的装置，包括：

目标检测模块，用于对处方笺的处方图像进行目标检测，以获取所述处方图像的处方文字位置信息；

裁剪模块，用于基于所述处方文字位置信息对所述处方图像进行裁剪，以确定多个文本图像；

识别模块，用于对所述多个文本图像分别进行光学字符识别，以确定所述多个文本图像各自的文字信息；

模板匹配模块，用于从所述多个文本图像各自的文字信息中确定处方笺医院名称，并获取所述处方笺医院名称对应的预设的属性名定位模板，所述属性名定位模板指示了多个结构化属性名各自在所述多个文本图像中的第一位置信息；

结构化模块，用于根据所述多个文本图像各自的文字信息、所述处方文字位置信息和所述属性名定位模板，确定所述处方图像的结构化处方信息，所述结构化处方信息包括所述多个结构化属性名各自的属性值。

第三方面，本发明提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

本发明提供了一种确定处方图像的结构化处方信息的方法、装置、计算机可读存储介质及电子设备，该方法通过对处方笺的处方图像进行目标检测，以获取处方图像的处方文字位置信息；然后，基于处方文字位置信息对处方图像进行裁剪，以确定多个文本图像；然后，对多个文本图像分别进行光学字符识别，以确定多个文本图像各自的文字信息；然后，从多个文本图像各自的文字信息中确定处方笺医院名称，并获取处方笺医院名称对应的预设的属性名定位模板，属性名定位模板用于说明多个结构化属性名各自在多个文本图像中的位置信息；之后，根据多个文本图像各自的文字信息、处方文字位置信息和属性名定位模板，确定处方图像的结构化处方信息，结构化处方信息包括多个结构化属性名各自的属性值。综上所述，通过本发明的技术方案，可较为快速的提取处方图像中的关键信息以得到较为准确的结构化处方信息。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例提供的一种处方图像识别系统的架构图；

图2为图1提供的处方图像识别系统的处方图像处理方法的流程示意图；

图3为本实施例提供的一种确定处方图像的结构化处方信息的方法的结构示意图；

图4a为本实施例提供的图像方向为0°的电子图像示意图；

图4b为本实施例提供的图像方向为90°的电子图像示意图；

图4c为本实施例提供的图像方向为180°的电子图像示意图；

图4d为本实施例提供的图像方向为270°的电子图像示意图；

图5a为本实施例提供的第一种处方图像的目标检测结果的示意图；

图5b为本实施例提供的第二种处方图像的目标检测结果的示意图；

图5c为本实施例提供的第三种处方图像的目标检测结果的示意图；

图6a为图5a提供的第一种处方图像的表单的示意图；

图6b为图5b提供的第二种处方图像的表单的示意图；

图6c为图5c提供的第三种处方图像的表单的示意图；

图7为本实施例提供的一种确定处方图像的结构化处方信息的装置的结构示意图；

图8为本实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本实施例所应用的处方图像识别系统的架构图。如图1所示，系统包括图像采集设备110和图像处理设备120。

其中，图像采集设备110用于对处方笺进行拍摄采集到的处方图像。

在一个例子中，患者或顾客通过图像采集设备110对处方笺进行拍照以得到处方图像，并将处方图像上传至图像处理设备120。

在一个例子中，图像采集设备110为具有图像采集功能的设备。示例地，图1示出了图像采集设备110可以为相机平台，相机平台包括支架、相机和光源，用于将处方笺放置在光源处，通过相机进行拍照后将采集到的处方图像上传至图像处理设备120。示例地，图像采集设备100可以为相机。示例地，图像采集设备110可以为手机。

其中，图像处理设备120用于对图像采集装置采集的处方图像进行处理。

图像处理设备120对处方笺的处方图像进行目标检测，以获取处方图像的处方文字位置信息；基于处方文字位置信息对处方图像进行裁剪，以确定多个文本图像；对多个文本图像分别进行光学字符识别，以确定多个文本图像各自的文字信息；从多个文本图像各自的文字信息中确定处方笺医院名称，并获取处方笺医院名称对应的预设的属性名定位模板，属性名定位模板指示了多个结构化属性名各自在多个文本图像中的位置信息；根据多个文本图像各自的文字信息和属性名定位模板，确定处方图像的结构化处方信息，从而可较为快速的提取处方图像中的关键信息以得到较为准确的结构化处方信息。

需要说明的是，结构化处方信息包括结构化属性名(比如，患者姓名、年龄、药品名称、药品用法等)和结构化属性名对应的属性值。在一个例子中，可以把结构化属性名对应的属性值填入表单(比如Excel表格)，方便药师查看，在一个例子中，可以将结构化处方信息写入数据库存档(即处方存档)。在一个例子中，还可以自动上传系统(药监管理系统)供系统进行报备管理。

在实际应用中，请参考图2，相机平台或手机作为图像采集设备110，通过相机平台采集或手机APP采集处方图像后上传至图像处理设备120，图像处理设备120对处方图像进行图像预处理，比如，去噪处理、角度矫正以及增强处理。示例地，可以利用高斯滤波算法消除图像中干扰明显的噪声像素；利用投影映射原理消除图像倾斜变形以矫正图像；利用图像增强技术调节图像亮度。之后，调用方向分类模型比如深度学习分类模型识别图像预处理后的处方图像的图像方向后进行图像翻正，以使处方图像上的文字成水平分布且文本没有上下颠倒，即符合人们正常阅读时的方向；调用Yolov3模型对图像翻正后的处方图像进行文本检测，如没有检测到文本，则退出系统，如检测到文本，则基于Yolov3模型输出的处方文字位置信息进行文本区域图像的截取，得到多个文本图像；对这些文本图像进行分别进行图像灰度化，调用CRNN模型对每个灰度化后的文本图像进行文本识别，得到每个文本图像各自的文字信息；基于处方文字位置信息进行版面分析得到处方笺医院名称后匹配定位模板，得到处方笺医院名称对应的属性名定位模板，用于说明结构化属性名在多个文本图像中的位置，基于属性名定位模板、每个文本图像各自的文字信息和版面分析后的结果，确定结构化属性名的属性值以得到结构化处方信息后填写表单。

如图3所示，为本实施例提供的一种确定处方图像的结构化处方信息的方法。本实施例所提供的方法可应用在电子设备上，具体可以应用于服务器或一般计算机上，下文以电子设备作为执行主体进行描述。本实施例中，所述方法具体包括以下步骤：

步骤301、对处方笺的处方图像进行目标检测，以获取处方图像的处方文字位置信息。

在一个例子中，处方文字位置信息包括多个文本区域各自的坐标信息，坐标信息指示了文本区域的四个顶点的像素坐标(包括横坐标和纵坐标)。应当理解，如图4a所示，像素坐标的横轴的延伸方向为从左到由的阅读方向，像素坐标的纵轴的延伸方向为从上到下的阅读方向。

在一个例子中，目标检测通过文本目标检测模型实现。示例地，电子设备基于训练好的文本目标检测模型对处方图像进行特征提取并对文本区域进行检测，得到处方图像的处方文字位置信息。需要说明的是，本实施例并不意图对文本目标检测模型的模型结构进行任何限定，比如，可以为yolov3模型。图4a至图4c示出了对处方笺的处方图像进行目标检测的结果。图4a至图4c中的矩形框为检测到的文本区域。对于图4a示出的处方图像，所有矩阵框的4个顶点的坐标作为该处方图像的处方文字位置信息，图4b和图4c类同。

在一种可能实现的方式中，具体可通过如下实现方式获取处方图像：

获取图像采集设备对处方笺进行拍摄采集到的电子图像；识别电子图像的图像方向，并根据识别到的电子图像的图像方向对电子图像进行翻转，以确定处方图像；其中，处方图像上的文字成水平分布。

在一个例子中，患者或顾客通过图像采集设备对处方笺进行拍照，电子设备获取拍照后的图像并进行图像预处理，以得到电子图像。需要说明的是，电子图像是彩色图像，比如RGB图像。在一些可行的情况，图像采集设备可以为电子设备，比如，手机。

在一个例子中，考虑到电子图像可以存在倾斜，电子设备识别电子图像的图像方向，并根据识别到的电子图像的图像方向对电子地图进行翻转得到处方图像，使得处方图像上的文字成水平分布，且文本没有上下颠倒符合人们正常阅读时的方向。示例地，图像采集设备为上述相机平台，则图像方向可以为图4a示出的0°、图4b示出的90°、图4c示出的180°、图4d示出的270°。示例地，采用训练好的深度学习分类网络，即图2示出的方向分类模型，对电子图像的图像方向进行识别。

步骤302、基于处方文字位置信息对处方图像进行裁剪，以确定多个文本图像。

在实际应用中，电子设备根据得到的处方文字位置信息，依据相应的像素坐标进行文字区域的裁剪，获得仅含有文本的多个文本图像。

步骤303、对多个文本图像分别进行光学字符识别，以确定多个文本图像各自的文字信息。

光学字符识别(Optical Character Recognition，简称OCR)是指电子设备检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

在一个例子中，电子设备通过训练好的文本识别模型的识别得到每个文本图像对应的文字信息。示例地，文本识别模型为CRNN模型：先通过CNN(卷积神经网络)提取文本图像的卷积特征，然后使用深层双向LSTM(长短期记忆)网络进一步提取文字序列特征，最后引入连接时序分类CTC损失解决字符对齐问题。

比如，经过文本识别，即光学字符识别，图5a的首行的文本区域识别为：“瑞安市基层卫生协会普通处方笺”，第2行的文本区域依次识别为：“姓名:”、“性别：男”、“年龄：50岁”和“2016-04-25”；图5b的首行的文本区域依次识别为：“No.2008222806”、“番禺区中医院门诊西药处方笺”、“自费”；图5b的首行的文本区域识别为：“智能医学院门诊部处方笺”。

需要说明的是，电子设备在进行光学字符识别的过程中，需要将处方图像转换成灰度图像，比如，将含有3通道(R、G、B)的文本图像转化成灰度图像。

值得注意，本实施例中的文本图像中的文本不考虑手写字体，通常都是印刷体字符，从而可较为准确的识别出文本图像的文字信息。

步骤304、从多个文本图像各自的文字信息中确定处方笺医院名称，并获取处方笺医院名称对应的预设的属性名定位模板，属性名定位模板指示了多个结构化属性名各自在多个文本图像中的第一位置信息。

在一种可能实现的方式中，属性名定位模板以相应的医院名称命名。比如，“瑞安市基层卫生协会普通处方笺”定位模板。则电子设备依据识别出的首行的处方笺医院名称，从数据库中匹配相应的已定义的属性名定位模板。示例地，处方笺表头即处方笺医院名称与属性名定位模板的名称相同，则匹配此模板。如图5a，由首行的“瑞安市基层卫生协会普通处方笺”匹配“瑞安市基层卫生协会普通处方笺”定位模板；如图5b，由首行文本，经python正则匹配，提取得到“番禺区中医院门诊西药处方笺”文本，依此信息匹配到“番禺区中医院门诊西药处方笺”定位模板。

其中，属性名定位模板中定义了结构化属性名在多张文本图像中的位置信息。

在一个例子中，结构化属性名用于提取处方图像中药品区域的上方的信息，比如，姓名、性别、年龄、日期、单位或住址、联系电话、门诊号、科别、诊断等信息。则属性名定位模板包括药品区域的上方的结构属性名的行号和列号，比如，在图5a中，“瑞安市基层卫生协会普通处方笺”定位模板定义了2行的各列依次为姓名、性别、年龄和日期；5行2列为处方编号。

在一个例子中，结构化属性名用于提取处方图像中药品区域的信息，比如，药品名称、药品规格、药品数量、药品用法等；则属性名定位模板包括药品区域的结构化属性名的行相对位置信息、列号，药品区域的开始规则，药品区域的结束规则。比如，图5a和图5b的药品区域的结束规则为依次遍历所有药品编号下的每行直到用法检索结束，如1，2,3等；图5c的结束规则为依次遍历所有药品编号，直到用法检索结束，或者，若最大编码未检索到用法，检索到药品规格+药品数量结束；图5a至图5c的药品区域的开始规则为“Rp”。

示例地，行相对位置信息指示了药品区域中的结构化属性名所在行和药品编号所在行的相对位置关系。

比如，在图5a中，药品用法的行相对位置信息为每个编号的最后一行，列号为第1列；药品名称、药品规格、药品数量和药品总量各自的行相对位置信息均为每个编号的最后一行之前每行，各自的列号分别为第1列、第2列、第3列。显然，每个编号下的所有药品为用法相同的一组。

比如，在图5b中，药品用法的行相对位置信息为编号所在行之后的每行，列号为第1列和第2列，药品名称、药品规格+药品数量各自的行相对位置信息为编号所在行，各自的列号分别为第1列、第2列。

比如，在图5c中，药品名称，药品规格+药品数量，药品用法各自的列号为第1列、第2列、第3列，各自的行相对位置信息为编号所在行以及编号所在行之后的每行。

在一个例子中，结构化属性名用于提取处方图像中药品区域的下方的信息，比如，药品费、检查费、医生姓名、发药员姓名等。则属性名定位模板包括药品区域的下方的结构化属性名的列号和相对药品区域的行相对位置信息；属性名定位模板包括药品区域的下方是否包含表格。

示例地，行相对位置信息指示了结构化属性名所在行和药品区域的相对位置关系，用于可以说明结构化属性名所在行位于药品区域的下方的第几行。

比如，在图5a中，对于“瑞安市基层卫生协会普通处方笺”定位模板，属性名定位模板包括药品区域的下方包括表格，药品区域的下方的第1行的第1列、第3列、第5列分别为诊费、敷材费、医师；第2行的第1列、第3列、第5列分别为检查费、注射、医师；第3行的第1列、第3列分别为中草药、配对医师；第4行的第1列为中草药、西药；第4行的第1列为西药；第5行的第1列、第3列、第5列分别为手术费、合计、复核药师；第5行的第1列为注意。应当理解，由于医师的位置不好界定，可以属于第1行也可以属于第2行。

比如，在图5b中，对于“番禹区中医院门诊西药处方笺”定位模板，属性名定位模板包括药品区域的下方不包括表格，药品区域的下方的第1行的各列依次为医生、药费、审核员、核对员，第2行的各列依次为医生签名、调配员、发药员；第3行之后的每行分别为备注。

比如，在图5c中，对于“智能医学院门诊部处方笺”定位模板，属性名定位模板包括药品区域的下方包括表格，药品区域的下方的第1行的第1列、第3列、第5列分别为药品费、中成药费、治疗费；第2行的第1列、第3列、第5列分别为检查费、换药费、诊疗费；第3行的第1列、第3列分别为注射费、其他费用；第4行的第1列、第2列、第3列分别为合计、大写费用、小写费用。

需要说明的是，不同属性名定位模板中的结构化属性名用于统一相同含义不同表述的名称。比如，所有属性名定位模板中的姓名的表示方式相同。

另外，药品区域可以理解为药品所在的区域。

步骤305、根据多个文本图像各自的文字信息、处方文字位置信息和属性名定位模板，确定处方图像的结构化处方信息，结构化处方信息包括多个结构化属性名各自的属性值。

在一种可能实现的方式中，具体可通过如下实现方式确定结构化处方信息：

根据处方文字位置信息对多个文本图像进行版面分析，以确定版面信息；其中，版面信息包括多个文本图像各自在处方图像上的第二位置信息；根据属性名定位模板和版面信息，确定多个文本图像中的多个目标图像各自的结构化属性名；其中，多个目标图像分别与多个结构化属性名一一对应；根据多个目标图像各自的文字信息和各自的结构化属性名，确定多个目标图像各自的结构化属性名的属性值；根据多个目标图像各自的结构化属性名和各自的结构化属性名的属性值，确定结构化处方信息。

基于行号和列号表征文本图像的版面信息，具体实现方式如下：

电子设备对于多个文本图像，基于多个文本图像各自的像素坐标和属性名定位模板，按照多个文本图像各自的像素坐标的纵坐标由小到大顺序对多个文本图像进行划分后编号，以确定多个文本图像各自的行号；其中，行号相同的任意两个文本图像的中心的纵坐标的差值满足预设阈值；对于多个文本图像中相同行号的各文本图像，按照文本图像的像素坐标的横坐标由小到大顺序进行排序，以确定相同行号的各文本图像各自的列号。

示例地，电子设备按照多个文本图像各自的中心的像素坐标的纵坐标由小到大顺序对多个文本图像进行划分编号，纵坐标上下浮动10像素都属于同一行，得到每个文本图像各自的行号；对属于相同行的文本图像的中心的横坐标由小到大依次排序编号，得到该行的每个文本图像的列号。应当理解，行号从上到下依次增加，列号从左到右依次增加。换言之，像素坐标的纵坐标越大行号越大，像素坐标的横坐标越大列号越大。

需要说明的是，属性名定位模板定义了药品区域开始规则和药品区域结束规则，比如，药品区域开始规则为出现药品区域的开始标识RP。则电子设备基于属性名定位模板中药品区域的开始标识，将包含药品区域的开始标识的文字信息的文本图像作为药品区域开始图像，比如，包含RP的文本图像；然后，电子设备基于属性名定位模板中药品区域的结束规则，确定药品区域结束图像，比如，图5c的结束规则为检索到依次遍历所有药品编号，直到用法检索结束，则药品区域结束图像为“用法：口服每次2片每日三次”。应当理解，行号大于药品区域开始图像的行号的文本图像作为药品区域上方的文本图像；行号大于药品区域开始图像，且，小于等于的药品区域结束图像的行号的文本图像作为药品区域的文本图像；大于药品区域结束图像的行号的文本图像作为药品区域的下方的文本图像。

另外，若属性名定义模板中定义了药品区域的下方的结构化属性名，且药品区域下方包括表格，则电子设备对于药品区域的下方区域的各文本图像，对于第1列的文本图像，当第1列的文本图像和第2列的文本图像的中心的横坐标的差值大于等于预设单元格间距时，第2列的文本图像的列号更新为第1列的文本图像的列号加2，即第3列，之后按照类似的方式更新相邻的文本图像的列号即可。

另外，通常需要删除一些药品区域的下方的文本图像，这些文本图像包括无用信息，比如，扫码缴费、以下为空之类的无用信息。当然，在一些可能的情况，也需要删除药品区域和药品区域上方的包含无用信息的文本图像。

然后，基于属性名定位模板以及每个文字图像各自的行号和列号，确定所有文本图像中的多个目标图像各自的结构化属性名；其中，多个目标图像分别与属性名定位模板包含的多个结构化属性名一一对应。

需要说明的是，当属性名定位模板没有定义文本图像的位置时，则不会确定该文本图像的结构化属性名，从而实现关键信息的提取。因此，不是所有的文本图像都对应有结构化属性名。为了便于区分，将对应有结构化属性名的文本图像称为目标文本图像。

应当理解，属性名定位模板已经定义好结构化属性名的位置，文本图像(未知属性)的行号和列号是为了找到其相应的结构化属性名。

对于药品区域的上方的多个文本图像的每个文本图像，基于文字图像各自的行号和列号，若属性定义模板中存在相同行号和相同列号对应的结构化属性名，则将其作为该文本图像的结构化属性名。比如：属性名定位模板中定义2行2列的文本图像的结构化属性名为“姓名”，则根据此预先定义好的位置信息，找到标记为2行2列的文本图像，则此图像对应的就是结构化属性名为“姓名”，包括患者的姓名。

对于药品区域的多个文本图像的每个文本图像，确定每个编号各自的文本图像子集；其中，文本图像子集中的文本图像的行号等于或者大于该编号所在文本图像的行号，小于下一编号所在文本图像的行号；对于文本图像子集中的各图像，确定文本图像的列号和相对于所属编号所在文本图像的行相对位置信息，若属性名定位模板中存在该行相对位置信息和列号对应的结构化属性名，则将其作为文本图像的结构化属性名。示例地，文本图像的行相对位置信息可以为所属药品编号的最大行号和文本图像的行号之间的第一差值，若第一差值等于1，则认为文本图像位于所属药品编号的最大行号对应的文本图像之前的倒数第一行，若差值等于0,则认为文本图像和所属药品编号的最大行号对应的文本图像在同一行；其中，所属药品编号的最大行号为该编号对应的文本图像子集中的文本图像的最大的行号。比如，对于在图5a示出的“瑞安市基层卫生协会普通处方笺”定位模板，药品名称的行相对位置信息为每个编号的最后一行之前的每行，列号为第1列，则文本图像的行相对位置信息可以为第一差值，第一差值大于等于1、列号为第1列的每个文本图像的结构化属性名均为“药品名称”。示例地，文本图像的行相对位置信息可以为所属药品编号所在文本图像的行号和文本图像的行号之间的第二差值，若第二差值等于1，则认为文本图像位于所属药品编号所在文本图像之后的第一行，若第二差值等于0,则认为文本图像和所属药品编号所在文本图像位于同一行。比如，对于在图5b示出的“番禺区中医院门诊西药处方笺”定位模板，药品用法的行相对位置信息为编号所在行之后的每行，列号为第1列和第2列，则文本图像的行相对位置信息为第二差值，第二差值大于等于1、列号为第1列或第2列的每个文本图像的结构化属性名均为“药品用法”。比如，对于在图5a示出的“瑞安市基层卫生协会普通处方笺”定位模板，药品名称的行相对位置信息为每个编号的最后一行之前的每行，列号为第1列，则行相对位置信息为第二差值，确定文本图像子集对应的最大差值，则小于最大差值的第二差值、列号为第1列的每个文本图像的结构化属性名均为“药品名称”。

对于药品区域的下方的多个文本图像的每个文本图像，确定药品区域结束图像的行号，基于药品区域结束图像的行号，确定文本图像的列号和相对于药品区域结束图像的行相对位置信息，若属性名定位模板中存在该行相对位置信息和列号对应的结构化属性名，则将其作为文本图像的结构化属性名。示例地，文本图像相对于药品区域结束图像的行相对位置信息可以为文本图像的行号和药品区域结束图像的行号的差值，若差值等于1，则认为文本图像位于药品区域下的第一行。比如，对于在图5a示出的“瑞安市基层卫生协会普通处方笺”定位模板，“诊费”位于药品区域的下方的第1行的第1列，若文本图像的行相对位置信息为文本图像的行号和药品区域结束图像的行号的差值，则差值为1，列号为第1列的文本图像的结构化属性名为“诊费”。

然后，根据多个目标图像各自的文字信息和各自的结构化属性名，确定多个目标图像各自的结构化属性名的属性值。

示例地，结构化属性名的属性值可以为文本图像的文本信息中的信息，比如姓名，性别，年龄，住址，处方编号，病历号等。在一个例子中，可以通过关键字提取。比如，依据“瑞安市基层卫生协会普通处方笺”定位模板，可以获知4行1列的文本图像为门诊/住院号，通过关键字提取，“：”后的文本即为相应住院号。在一个例子中，可以通过去除多余的信息提取。比如，图5a所示，在药品区域，通过去除药品名称的数字编号，提取药品名称为“5％葡萄糖250ml”，药品规格为“250ml”，药品数量为1瓶。

示例地，结构化属性名的属性值可以为文本图像的文本信息中的信息和预设结构化处方属性值匹配得到的结构化属性值。比如，药品名称、药品规格、药品数量等。由于相同药品可能存在不同的表述，因此，需要预设结构化药品名称，并将从文本图像的文字信息中提取出的药品名称和预设结构化药品名称进行匹配，将匹配得到的结构化药品名称作为属性值。药品规格和药品数量可能会存在单位不一致的情况，比如，有的药品的单位是克，有的药品的单位是毫升，有的是千克，对于相同药品应当统一药品规则的单位。再比如，有的药品的数量的单位是支，有的是瓶，有的是片，对于相同药品应当统一药品数量的单位。

之后，将多个目标图像各自的结构化属性名和各自的结构化属性名的属性值关联，确定结构化处方信息，进一步的填入表单或写入数据库进行存档。其中，结构化处方信息主要是为了填写表单和后续存档的方便。在一个例子中，结构化处方信息可通过python字典或JSON格式进行保存，通过结构化处方信息中的结构化属性名，可提取到相应的属性值。如：{“姓名”：“张三”，“年龄”：“20岁”，“药名”：[“5％葡萄糖250ml”，“DX注射液”]}。在一个例子中，获取待填写的表单，待填写的表单包括属性名称；从结构化处方信息中确定属性名称对应的属性值，并将属性名称对应的属性值填写到待填写的表单中的指定位置，得到填写好的表单。图6a至图6c分别示出了图5a至图5c填入excel表单后的结果。

另外，表单和结构化处方信息可以用于大数据分析，比如，统计某一城市的药品使用情况。

通过以上技术方案可知，本实施例存在的有益效果是：

通过属性名定位模板、文本图像的文字信息以及处方文字位置信息，较为快速的提取处方图像中的关键信息以得到较为准确的结构化处方信息。

基于与本发明方法实施例相同的构思，请参考图7，本实施例还提供了一种确定处方图像的结构化处方信息的装置，包括：

目标检测模块701，用于对处方笺的处方图像进行目标检测，以获取所述处方图像的处方文字位置信息；

裁剪模块702，用于基于所述处方文字位置信息对所述处方图像进行裁剪，以确定多个文本图像；

识别模块703，用于对所述多个文本图像分别进行光学字符识别，以确定所述多个文本图像各自的文字信息；

模板匹配模块704，用于从所述多个文本图像各自的文字信息中确定处方笺医院名称，并获取所述处方笺医院名称对应的预设的属性名定位模板，所述属性名定位模板指示了多个结构化属性名各自在所述多个文本图像中的第一位置信息；

结构化模块705，用于根据所述多个文本图像各自的文字信息、所述处方文字位置信息和所述属性名定位模板，确定所述处方图像的结构化处方信息，所述结构化处方信息包括所述多个结构化属性名各自的属性值。

在一种可能实现的方式中，所述结构化模块705，包括：版面分析单元、属性名确定单元、项目信息确定单元及结构化单元；其中，

所述版面分析单元，用于根据所述处方文字位置信息对所述多个文本图像进行版面分析，以确定版面信息；其中，所述版面信息包括所述多个文本图像各自在所述处方图像上的第二位置信息；

所述属性名确定单元，用于根据所述属性名定位模板和所述版面信息，确定所述多个文本图像中的多个目标图像各自的结构化属性名；其中，所述多个目标图像分别与所述多个结构化属性名一一对应；

所述项目信息确定单元，用于根据所述多个目标图像各自的文字信息和各自的结构化属性名，确定所述多个目标图像各自的结构化属性名的属性值；

所述结构化单元，用于根据所述多个目标图像各自的结构化属性名和各自的结构化属性名的属性值，确定结构化处方信息。

在一种可能实现的方式中，所述多个结构化属性名分为第一属性名和/或第二属性名；

所述第一属性名对应的属性值为对应的目标图像的文字信息中的信息；

所述第二属性名对应的属性值为对应的目标图像的文字信息和预设结构化处方属性值匹配得到的结构化属性值。

在一种可能实现的方式中，所述属性名定位模板还包括所述处方图像中的药品区域的开始规则和所述药品区域的结束规则；其中，所述开始规则用于确定所述多个文本图像中的药品区域开始图像，所述结束规则用于确定所述多个文本图像中的药品区域结束图像；

所述多个文本图像各自在所述处方图像上的第二位置信息为行号和列号；

所述属性名定位模板包括属于所述药品区域的上方的结构化属性名的行号和列号，属于所述药品区域的结构化属性名的列号和相对于所属药品编号的第一行相对位置信息，或者，属于所述药品区域的下方的结构化属性名的列号和相对所述药品区域的第二行相对位置信息。

在一种可能实现的方式中，当所述目标图像的行号大于所述药品区域开始图像的行号，所述目标图像位于所述药品区域的上方，所述目标图像的行号、列号和对应的结构化属性名的行号、列号匹配；

当所述目标图像的行号大于或等于所述药品区域开始图像的行号，小于或等于，所述药品区域结束图像的行号，所述目标图像位于药品区域，所述目标图像相对于所属药品编号所在文本图像的第三行相对位置信息和对应的结构化属性名相对于所属药品编号的第一行相对位置信息匹配；或者，

当所述目标图像的行号大于所述药品区域结束图像的行号，所述目标图像位于所述药品区域的下方，所述目标图像相对于所述药品区域结束图像的第四行相对位置信息和对应的结构化属性名相对于所述药品区域的第二行相对位置信息匹配。

在一种可能实现的方式中，还包括：获取模块以及翻转模块；其中，

获取模块，用于获取图像采集设备对所述处方笺进行拍摄采集到的电子图像；

翻转模块，用于识别所述电子图像的图像方向，并根据识别到的所述电子图像的图像方向对所述电子图像进行翻转，以确定所述处方图像；其中，所述处方图像上的文字成水平分布。

在一种可能实现的方式中，所述翻转模块，包括：方向识别单元；其中，

所述方向识别单元，用于以所述电子图像作为深度学习分类模型的输入，获取所述深度学习分类模型输出的所述处方图像的图像方向。

在一种可能实现的方式中，所述目标检测模块701，用于以所述处方图像作为训练好的文本目标检测模型的输入，获取所述训练好的文本目标检测模型输出的所述处方图像的处方文字位置信息；其中，所述文本目标检测模型为YOLO。

在一种可能实现的方式中，所述识别模块703，用于对于所述多个文本图像中的各图像，以灰度化后的文本图像作为训练好的文本识别模型的输入，获取所述训练好的文本识别模型输出的所述文本图像的文字信息；其中，所述文本识别模型为CRNN模型。

在一种可能实现的方式中，还包括：分析模块；其中，

所述分析模块，用于根据所述结构化处方信息确定表单，所述表单用于大数据分析；或者，将所述结构化处方信息存储在数据库以用于大数据分析时调用。

在一种可能实现的方式中，所述分析模块，还包括：表单获取单元和表单填写单元；其中，

所述表单获取单元，用于获取待填写表单，所述待填写表单包括属性名称；

所述表单填写单元，用于从所述结构化处方信息中确定所述属性名称对应的属性值，并将所述属性名称对应的属性值填写到所述待填写表单的指定位置，以确定填写好的表单。

图8是本实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器801以及存储有执行指令的存储器802，可选地还包括内部总线803及网络接口804。其中，存储器802可能包含内存8021，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器8022(non-volatile memory)，例如至少1个磁盘存储器等；处理器801、网络接口804和存储器802可以通过内部总线803相互连接，该内部总线803可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等；内部总线803可以分为地址总线、数据总线、控制总线等，为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。当然，该电子设备还可能包括其他业务所需要的硬件。当处理器801执行存储器802存储的执行指令时，处理器801执行本发明任意一个实施例中的方法，并至少用于执行如图3所示的方法。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成一种确定处方图像的结构化处方信息的装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任实施例中提供的一种确定处方图像的结构化处方信息的方法。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本实施例还提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行执行指令时，所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图8所示的电子设备；执行指令是一种确定处方图像的结构化处方信息的装置所对应计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种确定处方图像的结构化处方信息的方法，其特征在于，包括：

对处方笺的处方图像进行目标检测，以获取所述处方图像的处方文字位置信息；

基于所述处方文字位置信息对所述处方图像进行裁剪，以确定多个文本图像；

对所述多个文本图像分别进行光学字符识别，以确定所述多个文本图像各自的文字信息；

从所述多个文本图像各自的文字信息中确定处方笺医院名称，并获取所述处方笺医院名称对应的预设的属性名定位模板，所述属性名定位模板指示了多个结构化属性名各自在所述多个文本图像中的第一位置信息；

根据所述多个文本图像各自的文字信息、所述处方文字位置信息和所述属性名定位模板，确定所述处方图像的结构化处方信息，所述结构化处方信息包括所述多个结构化属性名各自的属性值。

2.根据权利要求1所述的方法，其特征在于，所述根据所述多个文本图像各自的文字信息、所述处方文字位置信息和所述属性名定位模板，确定所述处方图像的结构化处方信息，包括：

根据所述处方文字位置信息对所述多个文本图像进行版面分析，以确定版面信息；其中，所述版面信息包括所述多个文本图像各自在所述处方图像上的第二位置信息；

根据所述属性名定位模板和所述版面信息，确定所述多个文本图像中的多个目标图像各自的结构化属性名；其中，所述多个目标图像分别与所述多个结构化属性名一一对应；

根据所述多个目标图像各自的文字信息和各自的结构化属性名，确定所述多个目标图像各自的结构化属性名的属性值；

根据所述多个目标图像各自的结构化属性名和各自的结构化属性名的属性值，确定结构化处方信息。

3.根据权利要求2所述的方法，其特征在于，所述多个结构化属性名分为第一属性名和/或第二属性名；

所述第一属性名对应的属性值为对应的目标图像的文字信息中的信息；

所述第二属性名对应的属性值为对应的目标图像的文字信息和预设结构化处方属性值匹配得到的结构化属性值。

4.根据权利要求2所述的方法，其特征在于，所述属性名定位模板还包括所述处方图像中的药品区域的开始规则和所述药品区域的结束规则；其中，所述开始规则用于确定所述多个文本图像中的药品区域开始图像，所述结束规则用于确定所述多个文本图像中的药品区域结束图像；

所述多个文本图像各自在所述处方图像上的第二位置信息为行号和列号；

所述属性名定位模板包括属于所述药品区域的上方的结构化属性名的行号和列号，属于所述药品区域的结构化属性名的列号和相对于所属药品编号的第一行相对位置信息，或者，属于所述药品区域的下方的结构化属性名的列号和相对所述药品区域的第二行相对位置信息。

5.根据权利要求4所述的方法，其特征在于，当所述目标图像的行号大于所述药品区域开始图像的行号，所述目标图像位于所述药品区域的上方，所述目标图像的行号、列号和对应的结构化属性名的行号、列号匹配；

当所述目标图像的行号大于或等于所述药品区域开始图像的行号，小于或等于，所述药品区域结束图像的行号，所述目标图像位于药品区域，所述目标图像相对于所属药品编号所在文本图像的第三行相对位置信息和对应的结构化属性名相对于所属药品编号的第一行相对位置信息匹配；或者，

当所述目标图像的行号大于所述药品区域结束图像的行号，所述目标图像位于所述药品区域的下方，所述目标图像相对于所述药品区域结束图像的第四行相对位置信息和对应的结构化属性名相对于所述药品区域的第二行相对位置信息匹配。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取图像采集设备对所述处方笺进行拍摄采集到的电子图像；

识别所述电子图像的图像方向，并根据识别到的所述电子图像的图像方向对所述电子图像进行翻转，以确定所述处方图像；其中，所述处方图像上的文字成水平分布。

7.根据权利要求6所述的方法，其特征在于，所述识别所述电子图像的图像方向，包括：

以所述电子图像作为深度学习分类模型的输入，获取所述深度学习分类模型输出的所述处方图像的图像方向；

所述对处方笺的处方图像进行目标检测，以获取所述处方图像的处方文字位置信息，包括：

以所述处方图像作为训练好的文本目标检测模型的输入，获取所述训练好的文本目标检测模型输出的所述处方图像的处方文字位置信息；其中，所述文本目标检测模型为YOLO；

所述对所述多个文本图像分别进行光学字符识别，以确定所述多个文本图像各自的文字信息，包括：

对于所述多个文本图像中的各图像，以灰度化后的文本图像作为训练好的文本识别模型的输入，获取所述训练好的文本识别模型输出的所述文本图像的文字信息；其中，所述文本识别模型为CRNN模型。

8.根据权利要求1所述的方法，其特征在于，还包括：

根据所述结构化处方信息确定表单，所述表单用于大数据分析；或者，

将所述结构化处方信息存储在数据库以用于大数据分析时调用。

9.根据权利要求8所述的方法，其特征在于，所述根据所述结构化处方信息确定表单，包括：

获取待填写表单，所述待填写表单包括属性名称；

从所述结构化处方信息中确定所述属性名称对应的属性值，并将所述属性名称对应的属性值填写到所述待填写表单的指定位置，以确定填写好的表单。

10.一种确定处方图像的结构化处方信息的装置，其特征在于，包括：

目标检测模块，用于对处方笺的处方图像进行目标检测，以获取所述处方图像的处方文字位置信息；

裁剪模块，用于基于所述处方文字位置信息对所述处方图像进行裁剪，以确定多个文本图像；

识别模块，用于对所述多个文本图像分别进行光学字符识别，以确定所述多个文本图像各自的文字信息；

模板匹配模块，用于从所述多个文本图像各自的文字信息中确定处方笺医院名称，并获取所述处方笺医院名称对应的预设的属性名定位模板，所述属性名定位模板指示了多个结构化属性名各自在所述多个文本图像中的第一位置信息；

结构化模块，用于根据所述多个文本图像各自的文字信息、所述处方文字位置信息和所述属性名定位模板，确定所述处方图像的结构化处方信息，所述结构化处方信息包括所述多个结构化属性名各自的属性值。

Images