CN116311327A - 处方图像检测方法 - Google Patents

Abstract

本发明提供了一种处方图像检测方法，涉及人工智能技术领域，尤其涉及图像识别、自然语言处理、处方流转平台技术领域，该方法包括：响应于获取目标处方的初始处方图像，基于预设处方模板对初始处方图像进行预处理，得到处方图像；基于预设处方模板对处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像；对至少一个印章区域图像进行要素提取，得到印章要素信息，其中，印章要素信息包括至少一个印章区域图像各自的印章文字信息；对至少一个文本区域图像进行文本识别，得到处方文本；以及基于印章要素信息和处方文本，得到处方图像的检测结果。

Description

处方图像检测方法

技术领域

本发明涉及人工智能技术领域，尤其涉及图像识别、自然语言处理、处方流转平台技术领域，更具体地，涉及一种处方图像检测方法。

背景技术

药店的信息系统与医院的信息系统之间的信息壁垒是阻碍医药分开的重要因素。在处方流转过程中，由于电子处方无法直接从医院的信息系统流转至药店的信息系统，因此用户需要从医院处开具纸质处方，再将纸质处方提供给药店方。而药店方在获取纸质处方后，需要对处方的内容进行核实和录入。相关技术中，处方内容的核实和录入过程会耗费较高的人力成本，且较易出错。

发明内容

有鉴于此，本发明提供了一种处方图像检测方法。

本发明的一个方面提供了一种处方图像检测方法，包括：响应于获取目标处方的初始处方图像，基于预设处方模板对上述初始处方图像进行预处理，得到处方图像；基于上述预设处方模板对上述处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像；对上述至少一个印章区域图像进行要素提取，得到印章要素信息，其中，上述印章要素信息包括上述至少一个印章区域图像各自的印章文字信息；对上述至少一个文本区域图像进行文本识别，得到处方文本；以及基于上述印章要素信息和上述处方文本，得到上述处方图像的检测结果。

根据本发明的实施例，上述对上述至少一个印章区域图像进行要素提取，得到印章要素信息，包括：对于每个上述印章区域图像，对上述印章区域图像进行印章数量检测，得到印章数量信息；在上述印章数量信息表示上述印章区域图像中存在的印章的数量满足预设条件的情况下，确定上述印章区域图像中存在的至少一个印章各自的位置信息，其中，上述预设条件与上述预设处方模板相关；基于上述至少一个印章各自的位置信息，从上述印章区域图像中切分得到至少一个第一印章图像；对于每个上述第一印章图像，对上述第一印章图像进行印章文本识别，得到上述第一印章图像的印章文字信息；以及基于上述印章数量信息和上述至少一个第一印章图像各自的印章要素子信息，得到印章要素信息。

根据本发明的实施例，上述对于每个上述第一印章图像，对上述第一印章图像进行印章文本识别，得到上述第一印章图像的印章文字信息，包括：对于每个上述第一印章图像，对上述第一印章图像进行颜色空间变换，得到灰度图像；对上述灰度图像进行二值化处理，得到第一二值化图像；对上述第一二值化图像进行膨胀运算，得到第二印章图像；对上述第二印章图像进行种子填充，得到第三印章图像；对上述第三印章图像进行反色处理，得到第四印章图像；基于上述第二印章图像和上述第四印章图像，得到第一掩码图像；对上述第四印章图像进行种子填充，得到第五印章图像；基于上述第五印章图像和上述第一二值化图像，得到第二掩码图像；对上述第二掩码图像进行反色处理，得到第六印章图像；基于上述第六印章图像和上述第一掩码图像，得到第三掩码图像；基于上述第三掩码图像的位置信息，从上述灰度图像中分离得到字符区域图像；以及对上述字符区域图像进行文本识别，得到上述第一印章图像的印章文字信息。

根据本发明的实施例，上述对上述至少一个文本区域图像进行文本识别，得到处方文本，包括：对上述文本区域图像进行字符类型检测，得到上述文本区域图像中包括的文本的字符类型；以及使用与上述文本区域图像中文本的字符类型对应的深度学习模型来对上述文本区域图像进行文本识别，得到上述处方文本。

根据本发明的实施例，上述基于上述印章要素信息和上述处方文本，得到上述处方图像的检测结果，包括：从上述处方文本中确定与上述目标处方的开具方相关的目标子文本；对上述目标子文本与上述印章文字信息进行匹配，得到匹配结果；在上述匹配结果表示匹配的情况下，利用处方信息库对上述处方文本进行药品用量检测，得到用量检测结果；在上述用量检测结果表示用量正常的情况下，得到表示检测通过的上述处方图像的检测结果；以及在上述匹配结果表示不匹配的情况下，或者，在上述用量检测结果表示用量异常的情况下，得到表示检测不通过的上述处方图像的检测结果。

根据本发明的实施例，上述基于上述预设处方模板对上述处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像，包括：基于上述预设处方模板，确定上述至少一个印章区域图像各自的位置信息和上述至少一个文本区域图像各自的位置信息；以及分别基于上述至少一个印章区域图像各自的位置信息和上述至少一个文本区域图像各自的位置信息，对上述处方图像进行切分，得到上述至少一个印章区域图像和上述至少一个文本区域图像。

根据本发明的实施例，上述方法还包括：对于每个要素区域图像，对上述要素区域图像进行完整性检测，得到完整性检测结果，其中，上述要素区域图像包括上述印章区域图像或上述文本区域图像；以及在上述完整性检测结果表示上述要素区域图像完整的情况下，对上述印章区域图像进行要素提取，或者，对上述文本区域图像进行文本识别。

根据本发明的实施例，上述对上述要素区域图像进行完整性检测，得到完整性检测结果，包括：对上述要素区域图像进行二值化处理，得到第二二值化图像；确定上述第二二值化图像包括的多个像素点各自与上述要素区域图像的边缘之间的距离值；以及在上述距离值小于第一预设值的像素点的数量大于第二预设值的情况下，得到表示上述要素区域图像不完整的上述完整性检测结果。

根据本发明的实施例，上述方法还包括：在上述完整性检测结果表示上述要素区域图像不完整的情况下，基于上述要素区域图像的位置信息，得到目标位置信息；基于上述目标位置信息，从上述处方图像中切分得到与上述要素区域图像对应的目标要素区域图像；以及对上述目标要素区域图像进行完整性检测。

根据本发明的实施例，上述对上述要素区域图像进行完整性检测，得到完整性检测结果，包括：对上述要素区域图像进行二值化处理，得到第三二值化图像；基于上述第三二值化图像中值为第三预设值的像素点的数量和上述第三二值化图像包括的多个像素点的总数量，得到检测值；在上述检测值大于第四预设值的情况下，得到表示上述要素区域图像完整的上述完整性检测结果；以及在上述检测值小于或等于上述第四预设值的情况下，得到表示上述要素区域图像不完整的上述完整性检测结果。

根据本发明的实施例，上述基于预设处方模板对上述初始处方图像进行预处理，得到处方图像，包括：对上述初始处方图像进行倾斜校正，得到第一处方图像；对上述第一处方图像进行裁剪，得到第二处方图像；以及将上述第二处方图像置入预设坐标空间中，以基于上述预设处方模板在预设坐标空间中的位置信息和上述第二处方图像在上述预设坐标空间中的位置信息来处理上述第二处方图像，得到上述处方图像。

本发明的另一个方面提供了一种处方图像检测装置，包括：预处理模块，用于响应于获取目标处方的初始处方图像，基于预设处方模板对上述初始处方图像进行预处理，得到处方图像；第一切分模块，用于基于上述预设处方模板对上述处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像；第一处理模块，用于对上述至少一个印章区域图像进行要素提取，得到印章要素信息，其中，上述印章要素信息包括上述至少一个印章区域图像各自的印章文字信息；第二处理模块，用于对上述至少一个文本区域图像进行文本识别，得到处方文本；以及第一检测模块，用于基于上述印章要素信息和上述处方文本，得到上述处方图像的检测结果。

本发明的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个指令，其中，当上述一个或多个指令被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。

本发明的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

本发明的另一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。

根据本发明的实施例，在通过预处理对初始处方图像进行校正之后，可以使用预设处方模板对得到的处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像，分别对至少一个印章区域图像和至少一个文本区域图像进行信息的识别和获取，可以得到印章要素信息和处方文本，印章要素信息和处方文本可以用于实现对目标处方的检测，以得到目标处方是否有效的检测结果。通过上述技术手段，可以基于目标处方的处方图像，实现目标处方的自动录入和检测，可以至少部分地克服相关技术中存在的处方内容的核实和录入过程会耗费较高的人力成本，且较易出错的技术问题，提升了处方信息录入的准确性，降低了药店方的成本。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚。

图1示意性示出了根据本发明实施例的可以应用处方图像检测方法的示例性系统架构。

图2示意性示出了根据本发明实施例的处方图像检测方法的流程图。

图3示意性示出了根据本发明另一实施例的处方图像检测方法的流程图。

图4A示意性示出了根据本发明实施例的二值化图像的示意图。

图4B示意性示出了根据本发明实施例的第一区域图像的示意图。

图4C示意性示出了根据本发明实施例的第二区域图像的示意图。

图4D示意性示出了根据本发明实施例的第三区域图像的示意图。

图4E示意性示出了根据本发明实施例的第四区域图像的示意图。

图4F示意性示出了根据本发明实施例的掩蔽图像的示意图。

图4G示意性示出了根据本发明实施例的第五区域图像的示意图。

图4H示意性示出了根据本发明实施例的第六区域图像的示意图。

图5A示意性示出了根据本发明实施例的灰度图像的示意图。

图5B示意性示出了根据本发明实施例的第一二值化图像的示意图。

图5C示意性示出了根据本发明实施例的第二印章图像的示意图。

图5D示意性示出了根据本发明实施例的第三印章图像的示意图。

图5E示意性示出了根据本发明实施例的第四印章图像的示意图。

图5F示意性示出了根据本发明实施例的第一掩码图像的示意图。

图5G示意性示出了根据本发明实施例的第五印章图像的示意图。

图5H示意性示出了根据本发明实施例的第二掩码图像的示意图。

图5I示意性示出了根据本发明实施例的第六印章图像的示意图。

图5J示意性示出了根据本发明实施例的第三掩码图像的示意图。

图5K示意性示出了根据本发明实施例的印章边框图像的示意图。

图5L示意性示出了根据本发明实施例的印章边框图像的示意图。

图6示意性示出了根据本发明的实施例的处方图像检测装置的框图。

图7示意性示出了根据本发明实施例的适于实现处方图像检测方法的电子设备的框图。

具体实施方式

以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

在医药分开的背景下，由于医院方的处方系统和药店方的管理系统完全没有关联，因此，医院方开具的处方无法直接录入到药店方的管理系统中。若需要建立医院方的处方系统和药店方的管理系统之间的关联，则每个药店方的管理系统均需要和多个医院方的处方系统进行对接，相当于医院方的处方系统需要对外发明接入接口，使得用户的数据隐私安全无法得到有效的保障。

因此，在相关技术中，常采用纸质处方来完成从医院方到药店方的处方流程。药店方在获取纸质处方后，需要人工把纸质处方的处方信息，比如患者姓名、性别、年龄，过敏史、既往史、现病史、诊断、处方药品、药品规格、数量、用法、用量、医嘱、处方医生、审核药师等等逐一录入到管理系统中，不但大大增加了药房店员的工作量，而且录入信息容易出错，从而导致处方流转受到严重阻碍。

有鉴于此，本发明的实施例提供了一种处方图像检测方法，用以至少部分地克服相关技术中存在的技术问题。该方法包括：响应于获取目标处方的初始处方图像，基于预设处方模板对初始处方图像进行预处理，得到处方图像；基于预设处方模板对处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像；对至少一个印章区域图像进行要素提取，得到印章要素信息，其中，印章要素信息包括至少一个印章区域图像各自的印章文字信息；对至少一个文本区域图像进行文本识别，得到处方文本；以及基于印章要素信息和处方文本，得到处方图像的检测结果。

在本发明的实施例中，所涉及的数据（例如，包括但不限于用户个人信息）的收集、更新、分析、处理、使用、传输、提供、公开、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。特别地，对用户个人信息采取了必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。

在本发明的实施例中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。

需要说明的是，本发明实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。

图1示意性示出了根据本发明实施例的可以应用处方图像检测方法的示例性系统架构。需要注意的是，图1所示仅为可以应用本发明实施例的系统架构的示例，以帮助本领域技术人员理解本发明的技术内容，但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。终端设备101、102、103可以配置有摄像设备，用于对处方进行拍摄，以得到处方图像。

服务器105可以是提供各种服务的各种类型的服务器。例如，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（Virtual Private Server，VPS）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为边缘服务器。服务器也可以为分布式系统的服务器。

需要说明的是，本发明实施例所提供的处方图像检测方法一般可以由服务器105执行。相应地，本发明实施例所提供的处方图像检测装置一般可以设置于服务器105中。本发明实施例所提供的处方图像检测方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本发明实施例所提供的处方图像检测装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者，本发明实施例所提供的处方图像检测方法也可以由终端设备101、102、或103执行，或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地，本发明实施例所提供的处方图像检测装置也可以设置于终端设备101、102、或103中，或设置于不同于终端设备101、102、或103的其他终端设备中。

例如，终端设备101、102、或103中的任意一个（例如，终端设备101，但不限于此）可以拍摄处方以得到处方图像。该处方图像可以通过网络104发送给服务器105。服务器105可以执行本发明实施例所提供的处方图像检测方法对该处方图像进行检测，得到检测结果。服务器105可以将检测结果通过网络104发送给其他终端设备，如终端设备102，由终端设备102将检测结果向用户进行展示。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本发明实施例的处方图像检测方法的流程图。

如图2所示，该方法包括操作S210~S250。

在操作S210，响应于获取目标处方的初始处方图像，基于预设处方模板对初始处方图像进行预处理，得到处方图像。

在操作S220，基于预设处方模板对处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像。

在操作S230，对至少一个印章区域图像进行要素提取，得到印章要素信息。

在操作S240，对至少一个文本区域图像进行文本识别，得到处方文本。

在操作S250，基于印章要素信息和处方文本，得到处方图像的检测结果。

根据本发明的实施例，目标处方的初始处方图像可以由任意摄像设备采集得到。任意摄像设备可以是手机、相机、摄像头等。任意摄像设备可以独立存在，在进行初始处方图像的获取时，由药店方的工作人员控制该摄像设备对目标处方进行拍摄，以得到初始处方图像。或者，任意摄像设备可以集成在其他装置或设备中，例如，可以集成在采集平台中，在进行初始处方图像的获取时，可以由工作人员将目标处方放置于该采集平台的采集区域，以得到初始处方图像。

根据本发明的实施例，预设处方模板中可以预设有处方的边界、处方中的文字或印章区域等要素各自的位置信息。该位置信息可以指在预设的坐标空间中的坐标数据信息。每个区域的位置信息可以由该区域的两个对角点的坐标数据来确定，或者，也可以由表示该区域的边界线的多个函数来组成。

根据本发明的实施例，基于预设处方模板对处方图像进行切分，可以在将预设处方模板和处方图像进行位置匹配后，利用预设处方模板中文本区域和印章区域的位置信息，确定存在于处方图像的文本区域和印章区域，再据此进行切分。

根据本发明的实施例，印章要素信息可以包括至少一个印章区域图像各自的印章文字信息，印章文字信息可以是指印章上刻有的文字信息。作为一种可选实施方式，印章要素信息还可以包括至少一个印章区域图像各自的印章边框信息，印章边框信息可以包括印章的大小、形状、规格、防伪刻痕等信息。

根据本发明的实施例，对文本区域图像进行文本识别可以使用任意的自然语言处理方法来实现，在此不再赘述。

根据本发明的实施例，基于印章要素信息和处方文本，可以实现对处方图像的检测，例如可以检测印章是否属于伪造的印章、检测印章中包含的文本所指示的医院方信息是否与处方文本包含的医院方信息一致等。

根据本发明的实施例，印章区域图像和文本区域图像可以同步或异步地进行处理。在对印章区域图像和文本区域图像进行异步处理时，可以对在先处理所得到的信息进行检测，在确定检测通过的情况下，再进行另一类图像的处理。例如，可以先对印章区域图像进行要素提取，可以基于得到的印章要素信息进行印章检测，包括检测印章的数量、真伪等，在确定印章检测无误后，再对文本区域图像进行文本识别。

根据本发明的实施例，在通过预处理对初始处方图像进行校正之后，可以使用预设处方模板对得到的处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像，分别对至少一个印章区域图像和至少一个文本区域图像进行信息的识别和获取，可以得到印章要素信息和处方文本，印章要素信息和处方文本可以用于实现对目标处方的检测，以得到目标处方是否有效的检测结果。通过上述技术手段，可以基于目标处方的处方图像，实现目标处方的自动录入和检测，可以至少部分地克服相关技术中存在的处方内容的核实和录入过程会耗费较高的人力成本，且较易出错的技术问题，提升了处方信息录入的准确性，降低了药店方的成本。

下面参考图3、图4A~图4H和图5A~图5L，结合具体实施例对图2所示的方法做进一步说明。

图3示意性示出了根据本发明另一实施例的处方图像检测方法的流程图。

如图3所示，在通过拍照等方式获取初始处方图像后，可以对初始处方图像进行预处理，得到处方图像。可以即将处方图像切分为多个要素区域图像，包括至少一个印章区域图像和至少一个文本区域图像。可以分别多个要素区域图像进行完整性检测，以确定处方图像中的信息是否完整。在确定处方图像中的信息不完整的情况下，可以结束处方图像检测方法的流程。在确定处方图像中的信息完整的情况下，可以同步或异步地对至少一个印章区域图像和至少一个文本区域图像进行关键信息提取。对于从印章区域图像中提取得到的印章要素信息，可以基于该印章要素信息进行印章鉴别。在鉴别不通过的情况下，可以结束处方图像检测方法的流程。对于从文本区域图像中提出得到的处方文本，可以使用预设的处方库对该处方进行药品及用量的检测。在检测不通过的情况下，可以结束处方图像检测方法的流程。同时，在至少一个印章区域图像各自的印章鉴别结果均表示鉴别通过，以及在至少一个文本区域图像各自的药品及用量的检测结果均表示检测通过的情况下，可以得到该处方通过检测的检测结果。之后，可以将该处方入库。

根据本发明的实施例，对初始处方图像进行预处理可以包括但不限于对初始处方图像的校正处理、对初始处方图像的放缩处理、基于预设处方模板对初始处方图像的位置匹配处理等。例如，可以包括如下操作：对初始处方图像进行倾斜校正，得到第一处方图像；对第一处方图像进行裁剪，得到第二处方图像；以及将第二处方图像置入预设坐标空间中，以基于预设处方模板在预设坐标空间中的位置信息和第二处方图像在预设坐标空间中的位置信息来处理第二处方图像，得到处方图像。

根据本发明的实施例，对初始处方图像进行倾斜校正可以是以初始处方图像的几何中心点为中心，将初始处方图像在平面上进行旋转。

根据本发明的实施例，具体地，可以对初始处方图像进行二值化处理，得到第四二值化图像。可以先将初始处方图像进行灰度处理，再对得到的灰度图像进行二值化处理，以得到第四二值化图像。根据灰度图像中存在的边界的颜色的不同，可以采取不同的二值化方法。例如，在初始处方图像的边界为黑色的情况下，可以采用固定阈值的方法实现二值化的处理，如公式（1）所示。

。

在式（1）中，D[i,j]可以表示初始处方图像中的像素点的灰度值，I[i,j]可以表示第四二值化图像中的像素点的灰度值，i和j可以分别表示水平方向的位置和垂直方向的位置。

根据本发明的实施例，二值化处理也可以使用最大类间方差法（OTSU）来实现，在此不作限定。

根据本发明的实施例，可以对第四二值化图像进行空洞填充，将第四二值化图像中存在的较小的连通域进行填充，得到第三处方图像。较小的连通域例如可以是包括的像素点的数量小于一定值的连通域，或者，也可以指面积小于一定值的连通域。

根据本发明的实施例，可以对第三处方图像进行边缘检测，得到第三处方图像的轮廓图像。轮廓图像的提取方式在此不作限定，例如可以使用OpenCV的cvFindContours方法来实现。通过先进行空洞填充再进行轮廓提取的方式，可以减少文字内部区域的轮廓提取，从而降低轮廓提取所需的计算资源和处理时间。

根据本发明的实施例，可以对轮廓图像进行霍夫线变换，得到至少一条直线。至少一条直接各自的斜率可以存在区别，例如，直线A的斜率可以为10°，直线B的斜率可以为20°等。

根据本发明的实施例，可以基于至少一条直线各自的斜率，确定目标旋转角度。可以将至少一条直线各自的斜率按由小到大的顺序进行排列，并取排列后的至少一个斜率的中位数作为选择的斜率，该选择的斜率即目标选择角度。或者，也可以选择至少一个斜率的众数作为目标选择角度。

根据本发明的实施例，可以利用目标旋转角度对初始处方图像进行仿射变换，得到第一处方图像。

作为一种可选实施方式，在对初始处方图像进行二值化处理之前，还可以对初始处方图像进行缩放处理，以得到缩放图像，再对缩放图像进行二值化处理，以得到第四二值化图像。对初始处方图像进行缩放处理例如可以是将图像缩放为原来的一半大小。通过缩放处理可以减少运算时间。

根据本发明的实施例，对第一处方图像进行图像裁剪，可以是将将第一处方图像的部分边界图像，例如黑边等不属于目标处方的图像裁剪。具体可以包括如下操作：

对第一处方图像进行颜色空间转换，得到灰度图像；分别对灰度图像进行水平投影和垂直投影，得到灰度图像的上下边界信息和左右边界信息；以及基于上下边界信息和左右边界信息对第一处方图像进行图像裁剪，得到处方图像。

根据本发明的实施例，对灰度图像进行水平投影可以包括如下操作：构建直方图，从第一行开始扫描，在当前行的统计值大于阈值的情况下，确定起始点；在当前行的统计值小于阈值的情况下，确定终点。起始点和终点所在的行即为上下边界。相应地，对灰度图像进行垂直投影可以包括如下操作：构建直方图，从第一列开始扫描，在当前列的统计值大于阈值的情况下，确定起始点；在当前列的统计值小于阈值的情况下，确定终点。起始点和终点所在的行即为左右边界。

根据本发明的实施例，基于预设处方模板对处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像可以包括如下操作：

基于预设处方模板，确定至少一个印章区域图像各自的位置信息和至少一个文本区域图像各自的位置信息；以及分别基于至少一个印章区域图像各自的位置信息和至少一个文本区域图像各自的位置信息，对处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像。

根据本发明的实施例，经预处理后，处方图像可以与预设处方模板在坐标空间中重合，以便根据预设处方模板中各个区域图像的位置信息来对处方图像进行切分。

根据本发明的实施例，对于每个要素区域图像，可以对要素区域图像进行完整性检测，得到完整性检测结果。要素区域图像可以包括印章区域图像或文本区域图像。在完整性检测结果表示要素区域图像完整的情况下，对印章区域图像进行要素提取，或者，对文本区域图像进行文本识别，即执行操作S230或操作S240的方法。

根据本发明的实施例，对要素区域图像的完整性检测可以是对要素区域图像中内容是否完整进行检测，具体可以包括如下操作：

对要素区域图像进行二值化处理，得到第二二值化图像；确定第二二值化图像包括的多个像素点各自与要素区域图像的边缘之间的距离值；以及在距离值小于第一预设值的像素点的数量大于第二预设值的情况下，得到表示要素区域图像不完整的完整性检测结果。

根据本发明的实施例，在进行二值化处理时，第二二值化图像包括的多个像素点可以指灰度值为0的像素点。

根据本发明的实施例，距离值小于第一预设值的像素点的数量大于第二预设值可以表示为要素区域图像的边缘存在较多的灰度值为0的像素点，即要素区域图像中存在的文字或印章可能超出预定的要素区域图像的范围。

根据本发明的实施例，在完整性检测结果表示要素区域图像不完整的情况下，可以基于要素区域图像的位置信息，得到目标位置信息。即可以在原有要素区域图像的范围的基础上扩大，根据扩大后的要素区域图像的范围可以确定目标位置信息。可以基于目标位置信息，从处方图像中切分得到与要素区域图像对应的目标要素区域图像。再对目标要素区域图像进行完整性检测。

根据本发明的实施例，通过将要素区域图像进行扩大，可以将原本超出范围的印章或文字重新纳入要素区域图像的范围，从而确保要素区域图像中内容的完整性。

作为一种可选实施方式，对要素区域图像的完整性检测也可以是对要素区域图像中是否包含印章或文字进行检测，具体可以包括如下操作：

对要素区域图像进行二值化处理，得到第三二值化图像；基于第三二值化图像中值为第三预设值的像素点的数量和第三二值化图像包括的多个像素点的总数量，得到检测值；在检测值大于第四预设值的情况下，得到表示要素区域图像完整的完整性检测结果；以及在检测值小于或等于第四预设值的情况下，得到表示要素区域图像不完整的完整性检测结果。

根据本发明的实施例，检测值可以表示为第三二值化图像中值为第三预设值的像素点的数量在第三二值化图像包括的多个像素点的总数量中的占比。

根据本发明的实施例，在检测值大于第四预设值的情况下，可以表示在第三二值化图像中存在较多值为第三预设值的像素点，即表示该要素区域图像中填写有文字或印章。

根据本发明的实施例，通过在进行印章或文本检测之前进行完整性检测，可以有效减少计算资源的消耗。

根据本发明的实施例，在确定至少一个印章区域图像和至少一个文本区域图像均通过完整性检测的情况下，可以同步或异步地对印章区域图像和文本区域图像进行要素提取。

根据本发明的实施例，对文本区域图像进行文本识别可以包括确定文本区域图像中文本的字符类型的操作，和根据字符类型对文本区域图像进行文本识别的操作。具体地，可以对文本区域图像进行字符类型检测，得到文本区域图像中包括的文本的字符类型；再使用与文本区域图像中文本的字符类型对应的深度学习模型来对文本区域图像进行文本识别，得到处方文本。

根据本发明的实施例，文本的字符类型例如可以包括手写体类型和打印体类型。

根据本发明的实施例，对文本区域图像进行字符类型检测例如可以对文本区域图像进行二值化处理，得到第四二值化图像。采用连通域标记算法标记得到第四二值化图像中的独立区域，并去除该独立区域。通过对去除独立区域后的第四二值化图像的分析，可以得到该文本区域图像内包含手写体或打印体的字符类型检测结果。例如，可以使用opencv提供的cvFindContours()函数在第四二值化图像中寻找各字符的轮廓，提取模式采用只提取最外层的轮廓，逼近方法采用将所有点由链码形式翻译为点序列形式，从而提取得到像素长度和宽度均大于一个设定的阈值的外接矩形。再根据各个外接矩形的像素长度和宽度，来进行手写体和打印体的判断。例如，多个外接矩形中两两之间的宽度差小于一定值，且高度差也小于一定值，则可以认为这些外接矩形所对应的字符为打印体，否则则为手写体。

作为一种可选实施方式，可以记录统计得到的打印体字符的数量和手写体的数量，并计算两者之间的比值。并在该比值大于一定值的情况下，可以认为该文本区域图像内的文本为打印体类型。

根据本发明的实施例，在确定文本的字符类型后，可以使用与该字符类型对应的深度学习模型来进行文本识别。例如，在字符类型为手写体类型的情况下，可以使用与手写体类型相对应的深度学习模型来进行文本识别。在字符类型为打印体类型的情况下，可以使用与打印体类型相对应的深度学习模型来进行文本识别。进一步地，还可以识别得到打印体的具体字体，例如为宋体、楷体等，并利用与该具体字体相对应的深度学习模型来完成文本识别。识别打印体的具体字体可以基于各个具体字体的特征来完成识别。

根据本发明的实施例，对至少一个印章区域图像进行要素提取可以包括如下操作：

对于每个印章区域图像，对印章区域图像进行印章数量检测，得到印章数量信息；在印章数量信息表示印章区域图像中存在的印章的数量满足预设条件的情况下，确定印章区域图像中存在的至少一个印章各自的位置信息，其中，预设条件与预设处方模板相关；基于至少一个印章各自的位置信息，从印章区域图像中切分得到至少一个第一印章图像；对于每个第一印章图像，对第一印章图像进行印章文本识别，得到第一印章图像的印章文字信息；以及基于印章数量信息和至少一个第一印章图像各自的印章要素子信息，得到印章要素信息。

以下结合图4A~图4H，对印章数量检测方法的流程进行说明。

图4A示意性示出了根据本发明实施例的二值化图像的示意图。

如图4A所示，通过对印章区域图像进行二值化处理，可以得到该二值化图像。具体地，可以对印章区域图进行颜色域转换，将其转换到HSV颜色空间，再对HSV颜色空间中的图像进行二值化处理，以得到该二值化图像。

根据本发明的实施例，可以对该二值化图像进行处理，使提取的印章更加完整。

图4B示意性示出了根据本发明实施例的第一区域图像的示意图。

如图4B所示，通过对该二值化图像进行拉普拉斯变换，可以得到该第一区域图像。

图4C示意性示出了根据本发明实施例的第二区域图像的示意图。

如图4C所示，可以将该二值化图像与第一区域图像进行相加，以进行锐化处理，得到该第二区域图像。将二值化图像与第一区域图像相加，可以是将表示该二值化图像的矩阵的各个元素与表示该第一区域图像的矩阵中对应的各个元素相加，从而得到表示该第二区域图像的矩阵。

图4D示意性示出了根据本发明实施例的第三区域图像的示意图。

如图4D所示，可以将第二区域图像进行sobel变换处理，得到该第三区域图像。

图4E示意性示出了根据本发明实施例的第四区域图像的示意图。

如图4E所示，可以对第三区域图像进行滤波处理，得到该第四区域图像。滤波处理可以采用均值滤波方法来实现。

图4F示意性示出了根据本发明实施例的掩蔽图像的示意图。

如图4F所示，可以将第二区域图像和第四区域图像相乘，得到该掩蔽图像。将第二区域图像和第四区域图像相乘，可以是将表示该第二区域图像的矩阵的各个元素与表示该第四区域图像的矩阵中对应的各个元素相加，从而得到表示该掩蔽图像的矩阵。

图4G示意性示出了根据本发明实施例的第五区域图像的示意图。

如图4G所示，可以将该二值化图像和掩蔽图像相加，以进行锐化处理，得到该第五区域图像。

图4H示意性示出了根据本发明实施例的第六区域图像的示意图。

如图4H所示，可以对第五区域图像进行去噪处理，去掉印章外轮廓处的汉字和图案，以得到该第六区域图像。具体地，可以统计连通区域，去掉小于阈值的区域以实现去噪处理。

根据本发明的实施例，可以基于第六区域图像实现印章数量的统计，具体地，可以统计第六区域图像中存在的外轮廓的数量，以得到印章的个数，即表示为该印章数量信息。

根据本发明的实施例，在得到印章数量信息后，可以判断该印章数量信息是否满足预设条件。印章的数量满足预设条件可以表示为印章的数量等于预设处方模板中该印章区域所规定的印章数。或者，印章的数量满足预设条件也可以表示为印章的数量大于或等于预设处方模板中该印章区域所规定的印章数，在此不作限定。在印章数量信息不满足预设条件时，可以结束该处方图像的检测流程。

根据本发明的实施例，在印章数量信息满足预设条件时，可以将印章区域图像切分为至少一个第一印章图像，在分别对每个第一印章图像进行文本识别，以得到该第一印章图像的印章文字信息。

以下结合图5A~图5L，对每个第一印章图像的文本识别方法的流程进行说明。

图5A示意性示出了根据本发明实施例的灰度图像的示意图。

如图5A所示，可以对第一印章图像进行颜色空间变换，得到灰度图像。即可以将第一印章图像变换到灰度空间，从而得到该灰度图像。

根据本发明的实施例，要将印章内文字准确分割出来，首先要将印章与背景分割，其次要将印章内部文字和印章边框分割，因此需要分别提取出印章边框和印章内部文字掩码。

图5B示意性示出了根据本发明实施例的第一二值化图像的示意图。

如图5B所示，可以对灰度图像进行二值化处理，得到第一二值化图像。

根据本发明的实施例，处方图像上不同的印章存在深浅、颜色等的不同，直接二值化后可以造成外边框、中文字符的断裂。可以对第一二值化图像进行膨胀运算得到，以得到印章膨胀图像，即第二印章图像。

图5C示意性示出了根据本发明实施例的第二印章图像的示意图。

如图5C所示，可以对第一二值化图像进行膨胀运算，得到第二印章图像。

根据本发明的实施例，由于第一二值化图像中印章文字和图案、边框为白色，其余为黑色，要将印章边框提取出来，需要将第一二值化图像与一个文字和图案区域为黑色，其他为白色的图案相与，从而将第一二值化图像中的文字区域去除，得到印章边框区域。种子填充可以从已知的印章像素点作为种子点，向周围扩散填充像素点直到形成完整的印章区域，由于印章内部无字区域的背景色和印章外的相同，因此为了区分印章内部区域和外部区域，可以对印章第二印章图像进行种子填充得到第三印章图像。

图5D示意性示出了根据本发明实施例的第三印章图像的示意图。

如图5D所示，可以对第二印章图像进行种子填充，得到第三印章图像。

根据本发明的实施例，可以将种子填充后得到的第三印章图像进行反色，得到第四印章图像，即印章内部感兴趣区域。

图5E示意性示出了根据本发明实施例的第四印章图像的示意图。

如图5E所示，可以对第三印章图像进行反色处理，得到第四印章图像。

图5F示意性示出了根据本发明实施例的第一掩码图像的示意图。

如图5F所示，可以基于第二印章图像和第四印章图像，得到第一掩码图像。具体地，可以将第二印章图像与第四印章图像相或，得到第一掩码图像，第一掩码图像可以包含全部边缘和文字图案信息的掩码。

图5G示意性示出了根据本发明实施例的第五印章图像的示意图。

如图5G所示，可以对第四印章图像进行种子填充，得到该第五印章图像。

图5H示意性示出了根据本发明实施例的第二掩码图像的示意图。

如图5H所示，可以基于第五印章图像和第一二值化图像，得到第二掩码图像。具体地，可以将第五印章图像和第一二值化图像相与，从而将第一二值化图像中的文字区域去除，得到印章边框区域的图像，即该第二掩码图像。

图5I示意性示出了根据本发明实施例的第六印章图像的示意图。

如图5I所示，可以对对第二掩码图像进行反色处理，得到第六印章图像。

图5J示意性示出了根据本发明实施例的第三掩码图像的示意图。

如图5J所示，可以基于第六印章图像和第一掩码图像，得到第三掩码图像。具体地，可以将第六印章图像和第一掩码图像相与，得到该第三掩码图像。

图5K示意性示出了根据本发明实施例的印章边框图像的示意图。

如图5K所示，可以基于第二掩码图像的位置信息，从灰度图像中分离得到该印章边框图像。

根据本发明的实施例，分离得到的印章边框图像可以用于对印章进行防伪检测，具体地，可以根据印章边框上预设的划痕或印章在使用过程中产生的破损痕迹，来实现印章的防伪检测。

图5L示意性示出了根据本发明实施例的印章边框图像的示意图。

如图5L所示，可以基于第三掩码图像的位置信息，从灰度图像中分离得到字符区域图像。

根据本发明的实施例，可以对字符区域图像进行文本识别，得到第一印章图像的印章文字信息。多个第一印章图像各自的印章文字信息进行汇总，可以得到该印章区域图像包含的印章文字信息。将至少一个印章区域图像各自的印章文字信息进行汇总，可以得到该处方文本。

根据本发明的实施例，对于得到的处方文本，可以直接对该处方文本进行药品用量检测。具体地，可以结合基于处方文本确定的年龄、性别、基础病等信息，从处方信息库中确定对应处方的药品用量标准范围，再将处方文本中记录的药品用量与该药品用量标准范围进行比较，以得到用量是否正常的检测结果。

根据本发明的实施例，作为一种可选实施方式，在进行药品用量检测之前，可以结合处方文本和印章要素信息包括的印章文字信息进行匹配。

根据本发明的实施例，具体地，基于印章要素信息和处方文本，得到处方图像的检测结果可以包括如下操作：

从处方文本中确定与目标处方的开具方相关的目标子文本；对目标子文本与印章文字信息进行匹配，得到匹配结果；在匹配结果表示匹配的情况下，利用处方信息库对处方文本进行药品用量检测，得到用量检测结果；在用量检测结果表示用量正常的情况下，得到表示检测通过的处方图像的检测结果；以及在匹配结果表示不匹配的情况下，或者，在用量检测结果表示用量异常的情况下，得到表示检测不通过的处方图像的检测结果。

根据本发明的实施例，例如，可以使用处方文本包含的处方开具方信息与印章文字信息进行匹配，以确定处方开具方是否对该处方进行签章。在确定未签章的情况下，可以结束对该处方图像的检测。

图6示意性示出了根据本发明的实施例的处方图像检测装置的框图。

如图6所示，处方图像检测装置600包括预处理模块610、第一切分模块620、第一处理模块630、第二处理模块640和第一检测模块650。

预处理模块610，用于响应于获取目标处方的初始处方图像，基于预设处方模板对初始处方图像进行预处理，得到处方图像。

第一切分模块620，用于基于预设处方模板对处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像。

第一处理模块630，用于对至少一个印章区域图像进行要素提取，得到印章要素信息，其中，印章要素信息包括至少一个印章区域图像各自的印章文字信息。

第二处理模块640，用于对至少一个文本区域图像进行文本识别，得到处方文本。

第一检测模块650，用于基于印章要素信息和处方文本，得到处方图像的检测结果。

根据本发明的实施例，第一处理模块630包括第一处理单元、第二处理单元、第三处理单元、第四处理单元和第五处理单元。

第一处理单元，用于对于每个印章区域图像，对印章区域图像进行印章数量检测，得到印章数量信息。

第二处理单元，用于在印章数量信息表示印章区域图像中存在的印章的数量满足预设条件的情况下，确定印章区域图像中存在的至少一个印章各自的位置信息，其中，预设条件与预设处方模板相关。

第三处理单元，用于基于至少一个印章各自的位置信息，从印章区域图像中切分得到至少一个第一印章图像。

第四处理单元，用于对于每个第一印章图像，对第一印章图像进行印章文本识别，得到第一印章图像的印章文字信息。

第五处理单元，用于基于印章数量信息和至少一个第一印章图像各自的印章要素子信息，得到印章要素信息。

根据本发明的实施例，第四处理单元包括第一处理子单元、第二处理子单元、第三处理子单元、第四处理子单元、第五处理子单元、第六处理子单元、第七处理子单元、第八处理子单元、第九处理子单元、第十处理子单元、第十一处理子单元和第十二处理子单元。

第一处理子单元，用于对于每个第一印章图像，对第一印章图像进行颜色空间变换，得到灰度图像。

第二处理子单元，用于对灰度图像进行二值化处理，得到第一二值化图像。

第三处理子单元，用于对第一二值化图像进行膨胀运算，得到第二印章图像。

第四处理子单元，用于对第二印章图像进行种子填充，得到第三印章图像。

第五处理子单元，用于对第三印章图像进行反色处理，得到第四印章图像。

第六处理子单元，用于基于第二印章图像和第四印章图像，得到第一掩码图像。

第七处理子单元，用于对第四印章图像进行种子填充，得到第五印章图像。

第八处理子单元，用于基于第五印章图像和第一二值化图像，得到第二掩码图像。

第九处理子单元，用于对第二掩码图像进行反色处理，得到第六印章图像。

第十处理子单元，用于基于第六印章图像和第一掩码图像，得到第三掩码图像。

第十一处理子单元，用于基于第三掩码图像的位置信息，从灰度图像中分离得到字符区域图像。

第十二处理子单元，用于对字符区域图像进行文本识别，得到第一印章图像的印章文字信息。

根据本发明的实施例，第二处理模块640包括第六处理单元和第七处理单元。

第六处理单元，用于对文本区域图像进行字符类型检测，得到文本区域图像中包括的文本的字符类型。

第七处理单元，用于使用与文本区域图像中文本的字符类型对应的深度学习模型来对文本区域图像进行文本识别，得到处方文本。

根据本发明的实施例，第一检测模块650包括第一检测单元、第二检测单元、第三检测单元、第四检测单元和第五检测单元。

第一检测单元，用于从处方文本中确定与目标处方的开具方相关的目标子文本。

第二检测单元，用于对目标子文本与印章文字信息进行匹配，得到匹配结果。

第三检测单元，用于在匹配结果表示匹配的情况下，利用处方信息库对处方文本进行药品用量检测，得到用量检测结果。

第四检测单元，用于在用量检测结果表示用量正常的情况下，得到表示检测通过的处方图像的检测结果。

第五检测单元，用于在匹配结果表示不匹配的情况下，或者，在用量检测结果表示用量异常的情况下，得到表示检测不通过的处方图像的检测结果。

根据本发明的实施例，第一切分模块620包括第一切分单元和第二切分单元。

第一切分单元，用于基于预设处方模板，确定至少一个印章区域图像各自的位置信息和至少一个文本区域图像各自的位置信息。

第二切分单元，用于分别基于至少一个印章区域图像各自的位置信息和至少一个文本区域图像各自的位置信息，对处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像。

根据本发明的实施例，处方图像检测装置600还包括第二检测模块和第三处理模块。

第二检测模块，用于对于每个要素区域图像，对要素区域图像进行完整性检测，得到完整性检测结果，其中，要素区域图像包括印章区域图像或文本区域图像。

第三处理模块，用于在完整性检测结果表示要素区域图像完整的情况下，对印章区域图像进行要素提取，或者，对文本区域图像进行文本识别。

根据本发明的实施例，第二检测模块包括第六检测单元、第七检测单元和第八检测单元。

第六检测单元，用于对要素区域图像进行二值化处理，得到第二二值化图像。

第七检测单元，用于确定第二二值化图像包括的多个像素点各自与要素区域图像的边缘之间的距离值。

第八检测单元，用于在距离值小于第一预设值的像素点的数量大于第二预设值的情况下，得到表示要素区域图像不完整的完整性检测结果。

根据本发明的实施例，处方图像检测装置600还包括第四处理模块、第二切分模块和第三检测模块。

第四处理模块，用于在完整性检测结果表示要素区域图像不完整的情况下，基于要素区域图像的位置信息，得到目标位置信息。

第二切分模块，用于基于目标位置信息，从处方图像中切分得到与要素区域图像对应的目标要素区域图像。

第三检测模块，用于对目标要素区域图像进行完整性检测。

根据本发明的实施例，第二检测模块包括第九检测单元、第十检测单元、第十一检测单元和第十二检测单元。

第九检测单元，用于对要素区域图像进行二值化处理，得到第三二值化图像。

第十检测单元，用于基于第三二值化图像中值为第三预设值的像素点的数量和第三二值化图像包括的多个像素点的总数量，得到检测值。

第十一检测单元，用于在检测值大于第四预设值的情况下，得到表示要素区域图像完整的完整性检测结果。

第十二检测单元，用于在检测值小于或等于第四预设值的情况下，得到表示要素区域图像不完整的完整性检测结果。

根据本发明的实施例，预处理模块610包括第一预处理单元、第二预处理单元和第三预处理单元。

第一预处理单元，用于对初始处方图像进行倾斜校正，得到第一处方图像。

第二预处理单元，用于对第一处方图像进行裁剪，得到第二处方图像。

第三预处理单元，用于将第二处方图像置入预设坐标空间中，以基于预设处方模板在预设坐标空间中的位置信息和第二处方图像在预设坐标空间中的位置信息来处理第二处方图像，得到处方图像。

根据本发明的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，预处理模块610、第一切分模块620、第一处理模块630、第二处理模块640和第一检测模块650中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本发明的实施例，预处理模块610、第一切分模块620、第一处理模块630、第二处理模块640和第一检测模块650中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，预处理模块610、第一切分模块620、第一处理模块630、第二处理模块640和第一检测模块650中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

需要说明的是，本发明的实施例中处方图像检测装置部分与本发明的实施例中处方图像检测方法部分是相对应的，处方图像检测装置部分的描述具体参考处方图像检测方法部分，在此不再赘述。

图7示意性示出了根据本发明实施例的适于实现处方图像检测方法的电子设备的框图。图7示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，根据本发明实施例的计算机电子设备700包括处理器701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储部分708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC）），等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器 701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。

根据本发明的实施例，电子设备700还可以包括输入/输出（I/O）接口705，输入/输出（I/O）接口705也连接至总线704。电子设备700还可以包括连接至输入/输出（I/O）接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至输入/输出（I/O）接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。

根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本发明实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本发明实施例所提供的处方图像检测方法。

在该计算机程序被处理器701执行时，执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。

以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。

Claims (11)

1.一种处方图像检测方法，其特征在于，包括：

响应于获取目标处方的初始处方图像，基于预设处方模板对所述初始处方图像进行预处理，得到处方图像；

基于所述预设处方模板对所述处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像；

对所述至少一个印章区域图像进行要素提取，得到印章要素信息，其中，所述印章要素信息包括所述至少一个印章区域图像各自的印章文字信息；

对所述至少一个文本区域图像进行文本识别，得到处方文本；以及

基于所述印章要素信息和所述处方文本，得到所述处方图像的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述至少一个印章区域图像进行要素提取，得到印章要素信息，包括：

对于每个所述印章区域图像，对所述印章区域图像进行印章数量检测，得到印章数量信息；

在所述印章数量信息表示所述印章区域图像中存在的印章的数量满足预设条件的情况下，确定所述印章区域图像中存在的至少一个印章各自的位置信息，其中，所述预设条件与所述预设处方模板相关；

基于所述至少一个印章各自的位置信息，从所述印章区域图像中切分得到至少一个第一印章图像；

对于每个所述第一印章图像，对所述第一印章图像进行印章文本识别，得到所述第一印章图像的印章文字信息；以及

基于所述印章数量信息和所述至少一个第一印章图像各自的印章要素子信息，得到印章要素信息。

3.根据权利要求2所述的方法，其特征在于，所述对于每个所述第一印章图像，对所述第一印章图像进行印章文本识别，得到所述第一印章图像的印章文字信息，包括：

对于每个所述第一印章图像，对所述第一印章图像进行颜色空间变换，得到灰度图像；

对所述灰度图像进行二值化处理，得到第一二值化图像；

对所述第一二值化图像进行膨胀运算，得到第二印章图像；

对所述第二印章图像进行种子填充，得到第三印章图像；

对所述第三印章图像进行反色处理，得到第四印章图像；

基于所述第二印章图像和所述第四印章图像，得到第一掩码图像；

对所述第四印章图像进行种子填充，得到第五印章图像；

基于所述第五印章图像和所述第一二值化图像，得到第二掩码图像；

对所述第二掩码图像进行反色处理，得到第六印章图像；

基于所述第六印章图像和所述第一掩码图像，得到第三掩码图像；

基于所述第三掩码图像的位置信息，从所述灰度图像中分离得到字符区域图像；以及

对所述字符区域图像进行文本识别，得到所述第一印章图像的印章文字信息。

4.根据权利要求1所述的方法，其特征在于，所述对所述至少一个文本区域图像进行文本识别，得到处方文本，包括：

对所述文本区域图像进行字符类型检测，得到所述文本区域图像中包括的文本的字符类型；以及

使用与所述文本区域图像中文本的字符类型对应的深度学习模型来对所述文本区域图像进行文本识别，得到所述处方文本。

5.根据权利要求1~4中任一项所述的方法，其特征在于，所述基于所述印章要素信息和所述处方文本，得到所述处方图像的检测结果，包括：

从所述处方文本中确定与所述目标处方的开具方相关的目标子文本；

对所述目标子文本与所述印章文字信息进行匹配，得到匹配结果；

在所述匹配结果表示匹配的情况下，利用处方信息库对所述处方文本进行药品用量检测，得到用量检测结果；

在所述用量检测结果表示用量正常的情况下，得到表示检测通过的所述处方图像的检测结果；以及

在所述匹配结果表示不匹配的情况下，或者，在所述用量检测结果表示用量异常的情况下，得到表示检测不通过的所述处方图像的检测结果。

6.根据权利要求1所述的方法，其特征在于，所述基于所述预设处方模板对所述处方图像进行切分，得到至少一个印章区域图像和至少一个文本区域图像，包括：

基于所述预设处方模板，确定所述至少一个印章区域图像各自的位置信息和所述至少一个文本区域图像各自的位置信息；以及

分别基于所述至少一个印章区域图像各自的位置信息和所述至少一个文本区域图像各自的位置信息，对所述处方图像进行切分，得到所述至少一个印章区域图像和所述至少一个文本区域图像。

7.根据权利要求6所述的方法，其特征在于，还包括：

对于每个要素区域图像，对所述要素区域图像进行完整性检测，得到完整性检测结果，其中，所述要素区域图像包括所述印章区域图像或所述文本区域图像；以及

在所述完整性检测结果表示所述要素区域图像完整的情况下，对所述印章区域图像进行要素提取，或者，对所述文本区域图像进行文本识别。

8.根据权利要求7所述的方法，其特征在于，所述对所述要素区域图像进行完整性检测，得到完整性检测结果，包括：

对所述要素区域图像进行二值化处理，得到第二二值化图像；

确定所述第二二值化图像包括的多个像素点各自与所述要素区域图像的边缘之间的距离值；以及

在所述距离值小于第一预设值的像素点的数量大于第二预设值的情况下，得到表示所述要素区域图像不完整的所述完整性检测结果。

9.根据权利要求8所述的方法，其特征在于，还包括：

在所述完整性检测结果表示所述要素区域图像不完整的情况下，基于所述要素区域图像的位置信息，得到目标位置信息；

基于所述目标位置信息，从所述处方图像中切分得到与所述要素区域图像对应的目标要素区域图像；以及

对所述目标要素区域图像进行完整性检测。

10.根据权利要求7所述的方法，其特征在于，所述对所述要素区域图像进行完整性检测，得到完整性检测结果，包括：

对所述要素区域图像进行二值化处理，得到第三二值化图像；

基于所述第三二值化图像中值为第三预设值的像素点的数量和所述第三二值化图像包括的多个像素点的总数量，得到检测值；

在所述检测值大于第四预设值的情况下，得到表示所述要素区域图像完整的所述完整性检测结果；以及

在所述检测值小于或等于所述第四预设值的情况下，得到表示所述要素区域图像不完整的所述完整性检测结果。

11.根据权利要求1所述的方法，其特征在于，所述基于预设处方模板对所述初始处方图像进行预处理，得到处方图像，包括：

对所述初始处方图像进行倾斜校正，得到第一处方图像；

对所述第一处方图像进行裁剪，得到第二处方图像；以及

将所述第二处方图像置入预设坐标空间中，以基于所述预设处方模板在预设坐标空间中的位置信息和所述第二处方图像在所述预设坐标空间中的位置信息来处理所述第二处方图像，得到所述处方图像。

Images