CN113627442A - 医疗信息的录入方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能领域，公开了一种医疗信息的录入方法、装置、设备及存储介质，用于解决现有技术中对医疗信息进行识别和录入时效率低下且易出现错误的技术问题。该方法包括：获取待录入的医疗信息的初始图像并进行图像矫正，得到矫正图像；解析矫正图像的图像尺寸，调用标识码检测模型对矫正图像上的标识码进行位置检测，确定标识码的位置坐标；根据图像尺寸和位置坐标生成待识别区域框，并对矫正图像进行分割，得到待识别图像集；调用光学字符识别模型对待识别图像集进行识别，得到识别结果和对应的置信度；提取置信度大于置信阈值的识别结果，并根据识别结果对医疗信息进行录入。此外，本发明还涉及区块链技术，医疗信息可存储于区块链中。

Description

医疗信息的录入方法、装置、设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种医疗信息的录入方法、装置、设备及存储介质。

背景技术

随着社会经济的发展，人民生活水平提高以及城乡居民基本医疗保障体系的不断完善，人们的医疗需求特别是对于体检服务的需求日益增长。为了满足社会不同人群的体检需求，医院在改革发展中需要加强资源管理，提高体检服务质量，改善医护人员的体检操作流程，提供人性化的体检管理、以便实现智能诊疗、远程会诊等功能。

在现有的技术中，在进行智能健康档案的建立与管理等操作中，可能需要医护人员在体检客户信息表上手动填写各个用户的基本信息和化验信息，并贴上体检机构的标识码；化验完毕后还需人工对得到的信息进行格式化存储，容易出现错误且效率低下。

发明内容

本发明的主要目的在于解决现有技术中对医疗信息进行识别和录入时效率低下且容易出现错误的技术问题。

本发明第一方面提供了一种医疗信息的录入方法，包括：获取待录入的医疗信息的初始图像；对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像；解析所述矫正图像的图像尺寸，调用预置的标识码检测模型对所述矫正图像上的标识码进行位置检测，确定所述标识码的位置坐标；根据所述图像尺寸和所述位置坐标生成待识别区域框；根据所述待识别区域框对所述矫正图像进行分割，得到待识别图像集；将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度；提取所述置信度大于预设的置信阈值的识别结果，并根据所述识别结果对医疗信息进行录入。

可选的，在本发明第一方面的第一种实现方式中，所述对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像包括：将所述初始图像输入方向矫正工具中进行图像内容的方向判断，并基于判断的结果调整所述图像内容的方向，得到预设方向的第一图像；将所述第一图像输入预置的图像分割工具中进行无关内容的分割，得到去除背景的第二图像；检测所述第二图像是否倾斜，若是，则将所述第二图像输入预置的倾斜矫正工具中进行透视变换，得到所述初始图像对应的矫正图像。

可选的，在本发明第一方面的第二种实现方式中，所述方向矫正工具包括特征提取层和细粒度分类层，所述将所述初始图像输入方向矫正工具中进行图像内容的方向判断，并基于判断的结果调整所述图像内容的方向，得到预设方向的第一图像包括：将所述初始图片输入所述特征提取层中进行特征提取，得到初始特征信息，其中，所述特征提取层是基于DenseNet工具建立的；将所述初始特征信息输入所述细粒度分类层中进行图片方向的分类，得到所述初始图片的方向类别，其中，所述细粒度分类层是基于DFL细粒度分类网络建立的；根据所述方向类别将所述初始图片旋转至预设方向，得到第一图像。

可选的，在本发明第一方面的第三种实现方式中，所述将所述第一图像输入预置的图像分割工具中进行无关内容的分割，得到去除背景的第二图像包括：对所述第一图像进行图像的前景和背景的识别，得到前景和背景的识别结果；根据所述识别结果生成所述第一图像的二值化图像；将所述二值化图像与所述第一图像进行矩阵相乘，得到去除背景的第二图像。

可选的，在本发明第一方面的第四种实现方式中，所述将所述第二图像输入预置的倾斜矫正工具中进行透视变换，得到所述初始图像对应的矫正图像包括：调用预置的倾斜矫正工具中的Canny算子检测出所述第二图像中的图像边缘；对所述图像边缘进行霍夫变换，检测所述图像边缘中的直线线段；根据所述直线线段定位出直线交点坐标；根据所述直线交点坐标对所述第二图像进行透视变换，得到矫正图像。

可选的，在本发明第一方面的第五种实现方式中，所述将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度包括：检测所述待识别图像集中各待识别图像中的文字位置，得到文字位置的坐标；根据所述文字位置的坐标对各所述待识别图像进行裁剪，得到至少一个文字图像片；将至少一个所述图像片进行等比缩放，得到至少一个短边长度相同的缩放图像片；对至少一个所述缩放图像片进行文本识别，得到识别结果，并输出所述识别结果对应的置信度。

可选的，在本发明第一方面的第六种实现方式中，在所述获取待录入的医疗信息的初始图像之前，还包括：获取待录入的医疗信息的初始图像的模板图像；获取常用字符制作字符字典，调用文本生成工具生成至少一种不同字体的测试文本；基于所述测试文本和所述模板图像生成测试图片集，根据所述测试图片集对预置的原始光学识别网络进行训练，得到光学字符识别模型。

本发明第二方面提供了一种医疗信息的录入装置，包括：获取模块，用于获取待录入的医疗信息的初始图像；矫正模块，用于对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像；定位模块，用于解析所述矫正图像的图像尺寸，调用预置的标识码检测模型对所述矫正图像上的标识码进行位置检测，确定所述标识码的位置坐标；区域划定模块，用于根据所述图像尺寸和所述位置坐标生成待识别区域框；区域分割模块，用于根据所述待识别区域框对所述矫正图像进行分割，得到待识别图像集；识别模块，用于将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度；录入模块，用于提取所述置信度大于预设的置信阈值的识别结果，并根据所述识别结果对医疗信息进行录入。

可选的，在本发明第二方面的第一种实现方式中，所述矫正模块包括：方向调整单元，用于将所述初始图像输入方向矫正工具中进行图像内容的方向判断，并基于判断的结果调整所述图像内容的方向，得到预设方向的第一图像；背景分割单元，用于将所述第一图像输入预置的图像分割工具中进行无关内容的分割，得到去除背景的第二图像；透视变换单元，用于检测所述第二图像是否倾斜，若是，则将所述第二图像输入预置的倾斜矫正工具中进行透视变换，得到所述初始图像对应的矫正图像。

可选的，在本发明第二方面的第二种实现方式中，所述方向调整单元包括：特征提取子单元，用于将所述初始图片输入所述特征提取层中进行特征提取，得到初始特征信息，其中，所述特征提取层是基于DenseNet工具建立的；方向分类子单元，用于将所述初始特征信息输入所述细粒度分类层中进行图片方向的分类，得到所述初始图片的方向类别，其中，所述细粒度分类层是基于DFL细粒度分类网络建立的；旋转处理子单元，用于根据所述方向类别将所述初始图片旋转至预设方向，得到第一图像。

可选的，在本发明第二方面的第三种实现方式中，所述背景分割单元包括：背景识别子单元，用于对所述第一图像进行图像的前景和背景的识别，得到前景和背景的识别结果；二值化图像生成子单元，用于根据所述识别结果生成所述第一图像的二值化图像；背景去除子单元，用于将所述二值化图像与所述第一图像进行矩阵相乘，得到去除背景的第二图像。

可选的，在本发明第二方面的第四种实现方式中，所述透视变换单元包括：边缘检测子单元，用于调用预置的倾斜矫正工具中的Canny算子检测出所述第二图像中的图像边缘；霍夫变换子单元，用于对所述图像边缘进行霍夫变换，检测所述图像边缘中的直线线段；交点坐标定位子单元，用于根据所述直线线段定位出直线交点坐标；变换子单元，用于根据所述直线交点坐标对所述第二图像进行透视变换，得到矫正图像。

可选的，在本发明第二方面的第五种实现方式中，所述识别模块包括:文字位置检测单元，用于检测所述待识别图像集中各待识别图像中的文字位置，得到文字位置的坐标；图像裁剪单元，用于根据所述文字位置的坐标对各所述待识别图像进行裁剪，得到至少一个文字图像片；缩放单元，用于将至少一个所述图像片进行等比缩放，得到至少一个短边长度相同的缩放图像片；文本识别单元，用于对至少一个所述缩放图像片进行文本识别，得到识别结果，并输出所述识别结果对应的置信度。

可选的，在本发明第二方面的第六种实现方式中，所述医疗信息的录入装置还包括模型训练模块，所述模型训练模块具体用于：获取待录入的医疗信息的初始图像的模板图像；获取常用字符制作字符字典，调用文本生成工具生成至少一种不同字体的测试文本；基于所述测试文本和所述模板图像生成测试图片集，根据所述测试图片集对预置的原始光学识别网络进行训练，得到光学字符识别模型。

本发明第三方面提供了一种医疗信息的录入设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述医疗信息的录入设备执行上述的医疗信息的录入方法的步骤。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的医疗信息的录入方法的步骤。

本发明提供的技术方案中，获取待录入的医疗信息的初始图像；对初始图像进行图像矫正，得到初始图像对应的矫正图像；解析矫正图像的图像尺寸，调用预置的标识码检测模型对矫正图像上的标识码进行位置检测，确定标识码的位置坐标；根据图像尺寸和位置坐标生成待识别区域框；根据待识别区域框对矫正图像进行分割，得到待识别图像集；将待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和识别结果对应的置信度；提取置信度大于预设的置信阈值的识别结果，并根据识别结果对医疗信息进行录入。本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据识别结果对医疗信息进行录入，提高医疗信息录入的效率以及准确度。

附图说明

图1为本发明实施例中医疗信息的录入方法的第一实施例的示意图；

图2为本发明实施例中医疗信息的录入方法的第二实施例的示意图；

图3为本发明实施例中医疗信息的录入方法的第三实施例的示意图；

图4为本发明实施例中医疗信息的录入方法的第四实施例的示意图；

图5为本发明实施例中医疗信息的录入装置的一个实施例示意图；

图6为本发明实施例中医疗信息的录入装置的另一个实施例示意图；

图7为本发明实施例中医疗信息的录入设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种获取待录入的医疗信息的初始图像；对初始图像进行图像矫正，得到初始图像对应的矫正图像；解析矫正图像的图像尺寸，调用预置的标识码检测模型对矫正图像上的标识码进行位置检测，确定标识码的位置坐标；根据图像尺寸和标识码的位置坐标生成待识别区域框；根据待识别区域框对矫正图像进行分割，得到待识别图像集；将待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和识别结果对应的置信度；提取置信度大于置信阈值的识别结果，并根据识别结果对医疗信息进行录入。本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据识别结果对医疗信息进行录入，提高医疗信息录入的效率以及准确度。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中医疗信息的录入方法的一个实施例包括：

101、获取待录入的医疗信息的初始图像；

可以理解的是，本发明的执行主体可以为医疗信息的录入装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明，该服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

本实施例中的信息识别方法具体欲对表格文件中的具体信息进行识别，以避免人工识别的错误和效率低下的问题，具体地，在进行信息识别时，用户可以通过拍照或扫描的方式获取待录入的医疗信息的初始图像。其中，本实施例中所述的表格文件中可能包含有各种信息条目，其中每一个信息条目都有对应的标识码，该标识码可以为条形码或二维码，此外，该标识码还具有定位标识，后续能够通过识别定位标识确定该识别码的具体位置。

102、对初始图像进行图像矫正，得到初始图像对应的矫正图像；

本实施例中，为提高后续进行识别的精度，获取到初始图像后，首先对初始图像进行图像矫正，具体地，本实施例中首先识别初始图像的方向，将初始图片进行旋转，从而将图片的方向统一；随后去除图片中无关的背景等信息；随后检测去除背景的图像中的边缘线，进行透视变换，得到矫正后的表格图像。

103、解析矫正图像的图像尺寸，调用预置的标识码检测模型对矫正图像上的标识码进行位置检测，确定标识码的位置坐标；

获取矫正图像的图像尺寸，并用预置的标识码检测模型对矫正图像上的单位标识码进行位置检测，其中，本步骤中所述标识码检测模型可以对矫正图像上的单位标识码进行识别，基于单位标识码上的定位标识确定每个单位标识码的具体位置。

104、根据图像尺寸和位置坐标生成待识别区域框；

具体地，本实施例中的待进行信息识别的表格中根据检测的具体项目或样本的不同，在一张表格上可能会有一个或多个的单位标识码；根据具体的格式不同，一条检测信息可能位于单位标识码的下方或右方，当检测信息位于单位标识码的下方时，本步骤中的单位标识码的宽度与检测信息内容框位的宽度相同；当检测信息位于单位标识码的右方时，本步骤中的单位标识码的宽度与检测信息内容框位的高度相同。故根据前述的标识码的位置坐标和图像尺寸，计算出待识别区域框的大致位置。

105、根据待识别区域框对矫正图像进行分割，得到待识别图像集；

106、将待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和识别结果对应的置信度；

调用图像切割工具基于前述得到的待识别区域框对所述矫正图像进行分割，得到至少一个待识别图像，将得到的全部待识别图像组成待识别图像集。

将待识别图像集中的各待识别图像输入预置的光学字符识别模型中，其中，本步骤中所述的光学字符识别模型为手写字OCR(Optical Character Recognition,光学字符识别)模型。

具体地，该手写字OCR模型是预先通过深度神经网络工具建立的，其能够通过深度神经网络工具中的深度神经网络算法提取待识别图像中图像特征，根据图像特征确定手写字字段的坐标；随后，根据该手写字字段的坐标确定待识别的文本图像块，提取文本图像块中的图像特征，基于提取到的文本图像块中的图像特征进行文本内容的识别，其中，在进行文本内容识别时可以具体采用深度神经网络算法中的全连接层进行具体的分类与识别，并同时输出该识别结果对应的置信度。

107、提取置信度大于预设的置信阈值的识别结果，并根据识别结果对医疗信息进行录入。

本实施例中，预先设定一个置信阈值，提取前述的识别结果对应的置信度超过或等于所述置信阈值的识别结果，将其标注为识别成功，并将识别成功的内容输出；将置信度未超过所述置信阈值的识别结果作为不确定结果，根据识别结果输出其可能信息内容，并进行标注，以便后续的处理。

得到识别成功后输出的识别结果内容后，根据该识别结果内容对将识别完毕的医疗信息内容转换为计算机可读的文本并录入电子表格中，完成医疗信息的录入。

本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据所述识别结果对医疗信息进行录入，提高医疗信息录入的效率以及准确度。

请参阅图2，本发明实施例中医疗信息的录入方法的第二实施例包括：

201、获取待录入的医疗信息的初始图像；

本步骤中内容与前述实施例中步骤101中内容基本相同，故在此不再赘述。

202、将初始图像输入方向矫正工具中进行图像内容的方向判断，并基于判断的结果调整图像内容的方向，得到预设方向的第一图像；

203、将第一图像输入预置的图像分割工具中进行无关内容的分割，得到去除背景的第二图像；

204、检测第二图像是否倾斜；

205、若是，则将第二图像输入预置的倾斜矫正工具中进行透视变换，得到初始图像对应的矫正图像；

本实施例中首先都调用方向矫正工具对基于初始图像中的内容判断所述初始图像的方向，得到方向判断结果，再根据方向判断结果对不同方向的图像旋转对应的角度，从而将图像的方向统一，得到预设方向的第一图像，以便后续的识别。

随后，为提高后续的识别精度，将统一方向后得到的第一图像中无关的背景噪声去除，具体通过预置的图像分割工具对无关内容进行分割得到去除背景的第二图像。

检测去除背景的第二图像中是否存在倾斜的情况，若不倾斜，则不进行操作；若倾斜，则调用预置的倾斜矫正工具将倾斜的第二图像进行透视变换，得到矫正图像。

206、解析矫正图像的图像尺寸，调用预置的标识码检测模型对矫正图像上的标识码进行位置检测，确定标识码的位置坐标；

获取矫正图像的图像尺寸，并用预置的标识码检测模型对矫正图像上的单位标识码进行位置检测，其中，本步骤中所述标识码检测模型可以对矫正图像上的单位标识码进行识别，基于单位标识码上的定位标识确定每个单位标识码的具体位置。

具体地，可以调用预先根据YOLO V5模型建立的预置的标识码检测模型定位矫正图像上的单位标识码的四个角点坐标。

207、根据图像尺寸和位置坐标生成待识别区域框；

本实施例中，待进行信息识别的表格中根据检测的具体项目或样本的不同，在一张表格上可能会有一个或多个的单位标识码；根据具体的格式不同，一条检测信息可能位于单位标识码的下方或右方，当检测信息位于单位标识码的下方时，本步骤中的单位标识码的宽度与检测信息内容框位的宽度相同；当检测信息位于单位标识码的右方时，本步骤中的单位标识码的宽度与检测信息内容框位的高度相同。故根据前述的标识码的位置坐标和图像尺寸，计算出待识别区域框的大致位置；其中，通过获取矫正图像的图像尺寸获取图像的四个角点坐标，根据前述根据YOLO V5模型建立的预置的标识码检测模型获取到的单位标识码的四个角点坐标，生成待识别区域框。

208、根据待识别区域框对矫正图像进行分割，得到待识别图像集；

调用图像切割工具基于前述得到的待识别区域框对所述矫正图像进行分割，得到至少一个待识别图像，将得到的全部待识别图像组成待识别图像集。

209、将待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和识别结果对应的置信度；

将待识别图像集中的各待识别图像输入预置的光学字符识别模型中，其中，本步骤中所述的光学字符识别模型为手写字OCR(Optical Character Recognition,光学字符识别)模型，其能够检测出待识别图像中的手写字并识别出字段的坐标，对得到坐标的文字进行特征的提取，随后基于提取到的特征进行文本内容的判定与识别，得到识别结果和所述识别结果对应的置信度。

210、提取置信度大于预设的置信阈值的识别结果，并根据识别结果对医疗信息进行录入。

提取前述的识别结果对应的置信度超过或等于预设的置信阈值的识别结果，将其标注为识别成功，并将识别成功的内容输出；将置信度未超过所述置信阈值的识别结果作为不确定结果，根据识别结果输出其可能信息内容，并进行标注，以便后续的处理。

得到识别成功后输出的识别结果内容后，根据该识别结果内容对将识别完毕的医疗信息内容转换为计算机可读的文本并录入电子表格中，完成医疗信息的录入。

本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据识别结果对医疗信息进行录入，提高了医疗文本录入的效率以及准确度。

请参阅图3，本发明实施例中医疗信息的录入方法的第三实施例包括：

301、获取待录入的医疗信息的初始图像；

本步骤中内容与前述实施例中步骤101中内容基本相同，故在此不再赘述。

302、将初始图片输入特征提取层中进行特征提取，得到初始特征信息；

本步骤中，首先将得到的初始图片输入方向矫正工具中的特征提取层中进行特征提取；该特征提取层为基于DenseNet(Densely connected convolutional networks，密集连接卷积网络)网络建立的，具体可以采用DenseNet121；该网络以前馈的方式将每一层连接到其他每一层，减轻了梯度消失问题，增强了特征传播，鼓励功能重用，减小了参数数量。

303、将初始特征信息输入细粒度分类层中进行图片方向的分类，得到初始图片的方向类别；

随后，将输出的初始特征信息输入方向矫正工具中的细粒度(DFL-CNN)分类层中，对得到的初始特征信息进行非最大值抑制挑选预处理，得到预处理初始特征能量图，针对该预处理初始特征能量图，将得到的初始特征能量图输入卷积核为1的全卷积网络中进行分类处理，将初始图片根据其具体的方向分为四个方向类别，具体分为0度方向、90度方向、180度方向、270度方向。

304、根据方向类别将初始图片旋转至预设方向，得到第一图像；

根据具体的方向类别，将属于90度方向、180度方向和270度方向进行相应的旋转操作，使其方向改为预设方向也即为本实施例中所述的0度方向，得到预设方向的第一图像，其中第一图像为至少一个。

305、对第一图像进行图像的前景和背景的识别，得到前景和背景的识别结果；

306、根据识别结果生成第一图像的二值化图像；

307、将二值化图像与第一图像进行矩阵相乘，得到去除背景的第二图像；

本步骤中所述的预置的图像分割工具中包含有DA-Net分割层、softmax层以及矩阵处理层，具体地，首先将第一图像输入DA-Net(Dual Attention Network，双重注意力)分割层中进行图片特征的提取，根据提取到的特征识别出图像中的前景和背景所在的像素，将得到的特征输入softmax层中进行分类，将每个像素根据识别结果进行分类，将属于前景的像素标注为1，将属于背景的像素标注为0；基于得到的标注结果生成该第一图像对应的二值化图像，将得到的二值化图像与对应的第一图像进行矩阵相乘，得到的结果即为去除背景噪声的第二图像。

其中，本步骤中所述的背景噪声为在进行第一图片的拍摄或扫描时获取到的非信息表内容，如地板、桌子等无关物品的图像。将这些内容部分去除，以便提高本实施例中的信息识别的精度。

308、检测第二图像是否倾斜；

309、若是，则调用预置的倾斜矫正工具中的Canny算子检测出第二图像中的图像边缘；

本实施例中，调用预置的倾斜矫正工具对第二图像进行透视变换，首先调用预置的倾斜矫正工具中的Canny边缘检测算子对第二图像进行检测处理。

具体地，首先对第二图像应用高斯滤波，平滑图像去除噪声；随后通过卷积运算计算平滑处理后的第二图像中每一个像素点的梯度；应用非最大抑制(non-maximumsuppression)技术消除误检；随后，使用双阈值技术和边界跟踪获取第二图像的图像边缘。

310、对图像边缘进行霍夫变换，检测图像边缘中的直线线段；

311、根据直线线段定位出直线交点坐标；

312、根据直线交点坐标对第二图像进行透视变换，得到矫正图像；

对得到的图像边缘进行霍夫变换，检测图像边缘中包含的直线线段，其中，霍夫变换是一种特征检测方法，能够检测物件中的特征。得到图像边缘中的直线线段后，根据所述直线线段定位出直线交点坐标，根据计算得到的直线交点坐标的具体位置对第二图像进行透视变换，得到矫正图像。通过这种方式防止由于拍摄或扫描时存在的角度倾斜导致文字信息发生畸变导致识别效果不好的问题。

313、解析矫正图像的图像尺寸，调用预置的标识码检测模型对矫正图像上的标识码进行位置检测，确定标识码的位置坐标；

314、根据图像尺寸和位置坐标生成待识别区域框；

315、根据待识别区域框对矫正图像进行分割，得到待识别图像集；

316、将待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和识别结果对应的置信度；

317、提取置信度大于预设的置信阈值的识别结果，并根据识别结果对医疗信息进行录入。

本实施例中步骤313-步骤317与前述实施例中步骤206-步骤210中内容基本相同，故在此不再赘述。

本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据识别结果对医疗信息进行录入，提高医疗信息文本录入的效率以及准确度。

请参阅图4，本发明实施例中医疗信息的录入方法的第四实施例包括：

401、获取待录入的医疗信息的初始图像；

实施例中的信息识别方法具体欲对表格文件中的具体信息进行识别，以避免人工识别的错误和效率低下的问题，具体地，在进行信息识别时，用户可以通过拍照或扫描的方式获取待录入的医疗信息的初始图像。其中，本实施例中所述的表格文件中可能包含有各种信息条目，其中每一个信息条目都有对应的标识码，该标识码可以为条形码或二维码，此外，该标识码还具有定位标识，后续能够通过识别定位标识确定该识别码的具体位置。

此外，在本步骤之前，首先需要获取待录入的医疗信息的初始图像的模板图像；并获取常用字符制作字符字典，调用文本生成工具生成至少一种不同字体的测试文本，其中，该制度字典中包含有常用字2500个，英文字母26个，阿拉伯数字0-9，该文本生成工具可以是基于SynthText脚本构建的；基于所述测试文本和所述模板图像生成测试图片集，具体地，将得到的不同字体的测试文本进行一定程度的扭曲处理，并将扭曲后的测试文本嵌入模板图像中，的大测试图片，对测试图片进行添加噪点处理，并组成测试图片集。根据所述测试图片集对预置的原始光学识别网络进行训练，得到光学字符识别模型。

402、将初始图片输入特征提取层中进行特征提取，得到初始特征信息；

403、将初始特征信息输入细粒度分类层中进行图片方向的分类，得到初始图片的方向类别；

404、根据方向类别将初始图片旋转至预设方向，得到第一图像；

405、对第一图像进行图像的前景和背景的识别，得到前景和背景的识别结果；

406、根据识别结果生成第一图像的二值化图像；

407、将二值化图像与第一图像进行矩阵相乘，得到去除背景的第二图像；

408、检测第二图像是否倾斜；

409、若是，则调用预置的倾斜矫正工具中的Canny算子检测出第二图像中的图像边缘；

410、对图像边缘进行霍夫变换，检测图像边缘中的直线线段；

411、根据直线线段定位出直线交点坐标；

412、根据直线交点坐标对第二图像进行透视变换，得到矫正图像；

本实施例中步骤402-步骤412中内容与前述实施例中步骤302-步骤312中内容基本相同，故在此不再赘述。

413、解析矫正图像的图像尺寸，调用预置的标识码检测模型对矫正图像上的标识码进行位置检测，确定标识码的位置坐标；

414、根据图像尺寸和位置坐标生成待识别区域框；

415、根据待识别区域框对矫正图像进行分割，得到待识别图像集；

本实施例中步骤413-步骤415中内容与前述实施例中步骤206-步骤208中内容基本相同，故在此不再赘述。

416、检测待识别图像集中各待识别图像中的文字位置，得到文字位置的坐标；

本实施例中，调用光学字符识别模型对待识别图像集中的文字内容进行识别，其中，本实施例中的光学字符识别模型由检测模型和识别模型构成；该检测模型检测所述待识别图像集中各待识别图像中的文字位置，得到文字位置的坐标，具体地，本步骤中所述检测模型可以基于ABCNet(Adaptive Bezier-Curve Network，自适应贝塞尔曲线网络)建立，其可以通过简单而有效的贝塞尔曲线自适应实现任意形状的场景文本检测，得到待识别图像集中各待识别图像中的文字位置，得到文字位置的边缘的坐标。

417、根据文字位置的坐标对各待识别图像进行裁剪，得到至少一个文字图像片；

418、将至少一个图像片进行等比缩放，得到至少一个短边长度相同的缩放图像片；

根据得到的文字位置的边缘的坐标对待识别图像进行裁剪，得到待识别图像集中的至少一个文字图像片。随后将得到的至少一个文字图像片进行等比缩放，使得文字图像片的短边缩放至720像素，得到短边长度相同的缩放图像片。

419、对至少一个缩放图像片进行文本识别，得到识别结果，并输出识别结果对应的置信度；

将缩放图像片输入识别模型中进行文本的识别，其中识别模型是通过深度学习算法建立的，其具体可以基于CRNN(Convolutional Recurrent Neural Network，卷积递归神经网络)和Attention(注意力)机制建立，该识别模型中包含有两部分，为特征提取和结果归类两部分，缩放图像片在输入识别模型后首先要进行特征的提取生成图像片特征信息，随后，根据全连接层和softmax层对图像片特征信息进行归类，并同时计算归类得到的识别的文字结果的置信度，得到识别完毕的文字内容和识别的文字结果的置信度。

420、提取置信度大于预设的置信阈值的识别结果，并根据识别结果对医疗信息进行录入。

本实施例中，预先设定一个置信阈值，提取前述的识别结果对应的置信度超过或等于所述置信阈值的识别结果，将其标注为识别成功，并将识别成功的内容输出；将置信度未超过所述置信阈值的识别结果作为不确定结果，根据识别结果输出其可能信息内容，并进行标注，以便后续的处理。

得到识别成功后输出的识别结果内容后，根据该识别结果内容对将识别完毕的医疗信息内容转换为计算机可读的文本并录入电子表格中，完成医疗信息的录入。

本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据识别结果对医疗信息进行录入，提高医疗信息文本录入的效率以及准确度。

上面对本发明实施例中医疗信息的录入方法进行了描述，下面对本发明实施例中医疗信息的录入装置进行描述，请参阅图5，本发明实施例中医疗信息的录入装置一个实施例包括：

获取模块501，用于获取待录入的医疗信息的初始图像；

矫正模块502，用于对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像；

定位模块503，用于解析所述矫正图像的图像尺寸，调用预置的标识码检测模型对所述矫正图像上的标识码进行位置检测，确定所述标识码的位置坐标；

区域划定模块504，用于根据所述图像尺寸和所述位置坐标生成待识别区域框；

区域分割模块505，用于根据所述待识别区域框对所述矫正图像进行分割，得到待识别图像集；

识别模块506，用于将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度；

录入模块507，用于提取所述置信度大于预设的置信阈值的识别结果，并根据所述识别结果对医疗信息进行录入。

本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据所述识别结果对医疗信息进行录入，提高医疗信息录入的效率以及准确度。

请参阅图6，本发明实施例中医疗信息的录入装置的另一个实施例包括：

获取模块501，用于获取待录入的医疗信息的初始图像；

矫正模块502，用于对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像；

定位模块503，用于解析所述矫正图像的图像尺寸，调用预置的标识码检测模型对所述矫正图像上的标识码进行位置检测，确定所述标识码的位置坐标；

区域划定模块504，用于根据所述图像尺寸和所述位置坐标生成待识别区域框；

区域分割模块505，用于根据所述待识别区域框对所述矫正图像进行分割，得到待识别图像集；

识别模块506，用于将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度；

录入模块507，用于提取所述置信度大于预设的置信阈值的识别结果，并根据所述识别结果对医疗信息进行录入。

可选的，矫正模块502包括：

方向调整单元5021，用于将所述初始图像输入方向矫正工具中进行图像内容的方向判断，并基于判断的结果调整所述图像内容的方向，得到预设方向的第一图像；

背景分割单元5022，用于将所述第一图像输入预置的图像分割工具中进行无关内容的分割，得到去除背景的第二图像；

透视变换单元5023，用于检测所述第二图像是否倾斜，若是，则将所述第二图像输入预置的倾斜矫正工具中进行透视变换，得到所述初始图像对应的矫正图像。

可选的，方向调整单元5021包括：

特征提取子单元，用于将所述初始图片输入所述特征提取层中进行特征提取，得到初始特征信息，其中，所述特征提取层是基于DenseNet工具建立的；

方向分类子单元，用于将所述初始特征信息输入所述细粒度分类层中进行图片方向的分类，得到所述初始图片的方向类别，其中，所述细粒度分类层是基于DFL细粒度分类网络建立的；

旋转处理子单元，用于根据所述方向类别将所述初始图片旋转至预设方向，得到第一图像。

可选的，背景分割单元5022包括：

背景识别子单元，用于对所述第一图像进行图像的前景和背景的识别，得到前景和背景的识别结果；

二值化图像生成子单元，用于根据所述识别结果生成所述第一图像的二值化图像；

背景去除子单元，用于将所述二值化图像与所述第一图像进行矩阵相乘，得到去除背景的第二图像。

可选的，透视变换单元5023包括：

边缘检测子单元，用于调用预置的倾斜矫正工具中的Canny算子检测出所述第二图像中的图像边缘；

霍夫变换子单元，用于对所述图像边缘进行霍夫变换，检测所述图像边缘中的直线线段；

交点坐标定位子单元，用于根据所述直线线段定位出直线交点坐标；

变换子单元，用于根据所述直线交点坐标对所述第二图像进行透视变换，得到矫正图像。

可选的，识别模块506包括:

文字位置检测单元，用于检测所述待识别图像集中各待识别图像中的文字位置，得到文字位置的坐标；

图像裁剪单元，用于根据所述文字位置的坐标对各所述待识别图像进行裁剪，得到至少一个文字图像片；

缩放单元，用于将至少一个所述图像片进行等比缩放，得到至少一个短边长度相同的缩放图像片；

文本识别单元，用于对至少一个所述缩放图像片进行文本识别，得到识别结果，并输出所述识别结果对应的置信度。

可选的，所述医疗信息的录入装置还包括模型训练模块，所述模型训练模块具体用于：获取待录入的医疗信息的初始图像的模板图像；获取常用字符制作字符字典，调用文本生成工具生成至少一种不同字体的测试文本；基于所述测试文本和所述模板图像生成测试图片集，根据所述测试图片集对预置的原始光学识别网络进行训练，得到光学字符识别模型。

本发明实施例中，对待识别的初始图像进行识别区域位置判定并进行文字内容的识别并根据所述识别结果对医疗信息进行录入，提高医疗信息录入的效率以及准确度。

上面图5和图6从模块化功能实体的角度对本发明实施例中的医疗信息的录入装置进行详细描述，下面从硬件处理的角度对本发明实施例中医疗信息的录入设备进行详细描述。

图7是本发明实施例提供的一种医疗信息的录入设备的结构示意图，该医疗信息的录入设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对医疗信息的录入设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在医疗信息的录入设备700上执行存储介质730中的一系列指令操作。

医疗信息的录入设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的医疗信息的录入设备结构并不构成对医疗信息的录入设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机设备，该计算机设备可以是能够执行上述实施例中所述的医疗信息的录入方法的任何一种设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述医疗信息的录入方法的步骤。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述医疗信息的录入方法的步骤。

本发明中的实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种医疗信息的录入方法，其特征在于，所述医疗信息的录入方法包括：

获取待录入的医疗信息的初始图像；

对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像；

解析所述矫正图像的图像尺寸，调用预置的标识码检测模型对所述矫正图像上的标识码进行位置检测，确定所述标识码的位置坐标；

根据所述图像尺寸和所述位置坐标生成待识别区域框；

根据所述待识别区域框对所述矫正图像进行分割，得到待识别图像集；

将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度；

提取所述置信度大于预设的置信阈值的识别结果，并根据所述识别结果对医疗信息进行录入。

2.根据权利要求1所述的医疗信息的录入方法，其特征在于，所述对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像包括：

将所述初始图像输入方向矫正工具中进行图像内容的方向判断，并基于判断的结果调整所述图像内容的方向，得到预设方向的第一图像；

将所述第一图像输入预置的图像分割工具中进行无关内容的分割，得到去除背景的第二图像；

检测所述第二图像是否倾斜，若是，则将所述第二图像输入预置的倾斜矫正工具中进行透视变换，得到所述初始图像对应的矫正图像。

3.根据权利要求2所述的医疗信息的录入方法，其特征在于，所述方向矫正工具包括特征提取层和细粒度分类层，所述将所述初始图像输入方向矫正工具中进行图像内容的方向判断，并基于判断的结果调整所述图像内容的方向，得到预设方向的第一图像包括：

将所述初始图片输入所述特征提取层中进行特征提取，得到初始特征信息，其中，所述特征提取层是基于DenseNet工具建立的；

将所述初始特征信息输入所述细粒度分类层中进行图片方向的分类，得到所述初始图片的方向类别，其中，所述细粒度分类层是基于DFL细粒度分类网络建立的；

根据所述方向类别将所述初始图片旋转至预设方向，得到第一图像。

4.根据权利要求2所述的医疗信息的录入方法，其特征在于，所述将所述第一图像输入预置的图像分割工具中进行无关内容的分割，得到去除背景的第二图像包括：

对所述第一图像进行图像的前景和背景的识别，得到前景和背景的识别结果；

根据所述识别结果生成所述第一图像的二值化图像；

将所述二值化图像与所述第一图像进行矩阵相乘，得到去除背景的第二图像。

5.根据权利要求2所述的医疗信息的录入方法，其特征在于，所述将所述第二图像输入预置的倾斜矫正工具中进行透视变换，得到所述初始图像对应的矫正图像包括：

调用预置的倾斜矫正工具中的Canny算子检测出所述第二图像中的图像边缘；

对所述图像边缘进行霍夫变换，检测所述图像边缘中的直线线段；

根据所述直线线段定位出直线交点坐标；

根据所述直线交点坐标对所述第二图像进行透视变换，得到矫正图像。

6.根据权利要求1-5中任一项所述的医疗信息的录入方法，其特征在于，所述将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度包括：

检测所述待识别图像集中各待识别图像中的文字位置，得到文字位置的坐标；

根据所述文字位置的坐标对各所述待识别图像进行裁剪，得到至少一个文字图像片；

将至少一个所述图像片进行等比缩放，得到至少一个短边长度相同的缩放图像片；

对至少一个所述缩放图像片进行文本识别，得到识别结果，并输出所述识别结果对应的置信度。

7.根据权利要求6所述的医疗信息的录入方法，其特征在于，在所述获取待录入的医疗信息的初始图像之前，还包括：

获取待录入的医疗信息的初始图像的模板图像；

获取常用字符制作字符字典，调用文本生成工具生成至少一种不同字体的测试文本；

基于所述测试文本和所述模板图像生成测试图片集，根据所述测试图片集对预置的原始光学识别网络进行训练，得到光学字符识别模型。

8.一种医疗信息的录入装置，其特征在于，所述医疗信息的录入装置包括：

获取模块，用于获取待录入的医疗信息的初始图像；

矫正模块，用于对所述初始图像进行图像矫正，得到所述初始图像对应的矫正图像；

定位模块，用于解析所述矫正图像的图像尺寸，调用预置的标识码检测模型对所述矫正图像上的标识码进行位置检测，确定所述标识码的位置坐标；

区域划定模块，用于根据所述图像尺寸和所述位置坐标生成待识别区域框；

区域分割模块，用于根据所述待识别区域框对所述矫正图像进行分割，得到待识别图像集；

识别模块，用于将所述待识别图像集输入预置的光学字符识别模型中进行文字内容的识别，得到识别结果和所述识别结果对应的置信度；

录入模块，用于提取所述置信度大于预设的置信阈值的识别结果，并根据所述识别结果对医疗信息进行录入。

9.一种医疗信息的录入设备，其特征在于，所述医疗信息的录入设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述医疗信息的录入设备执行如权利要求1-7中任一项所述的医疗信息的录入方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-7中任一项所述医疗信息的录入方法的步骤。

Images