CN108597565A - 一种基于ocr与命名实体提取技术的临床队列数据协同校验方法 - Google Patents

Abstract

本发明公开了一种基于OCR与命名实体提取技术的临床队列数据协同校验方法，包括：步骤1，利用人工录入方式将纸质病历报告表电子化，得到人工录入数据；步骤2，利用OCR将纸质病历报告表电子化，识别得到纸质病历数据；步骤3，利用命名实体提取技术从电子病历中提取得到电子病历数据；步骤4，针对待校验临床队列数据，比对人工录入数据、纸质病历数据和电子病历数据，得到校验结果。本发明提供的基于OCR与命名实体提取技术的临床队列数据协同校验方法，解决现有人工校验方法成本高效率低，数据错误覆盖不全面的问题。

Description

一种基于OCR与命名实体提取技术的临床队列数据协同校验 方法

技术领域

本发明涉及临床数据处理技术领域，具体涉及一种基于OCR与命名实体提取技术的临床队列数据协同校验方法。

背景技术

临床队列研究是国际公认的探讨常见重大疾病病因的有效方法，也是研究各种遗传和环境暴露因素与健康结局关系最重要的方法之一。

一方面，由于临床队列研究的样本人群基数大，随访时间长，因此需要收集的数据量通常都很庞大，在数据采集的过程中，研究对象或者数据采集人员等人为因素会不可避免地影响数据质量。另一方面，2016年颁布的《临床试验数据管理工作技术指南》明确指出，数据质量是评价研究结果的基础；在指南中也明确提出临床试验的数据必须是准确的、完整的和可靠的，因此，在实施临床队列研究时，在数据的采集环节保证数据的质量尤为重要。

目前大多数临床队列的数据采集和管理方式都是先通过纸质的CRF(Case ReportForm，病历报告表)收集数据，然后将数据转录到专门的信息管理系统进行统一管理以便于后续的统计分析。有研究表明，在这样的数据采集过程中，各种人为因素(填写人员、录入人员的粗心大意和不规范操作以及研究对象的依从性等)会导致数据出现填写错误、填写遗漏、录入错误和录入遗漏。为了解决这些问题，在现有临床队列研究的实施过程中，在纸质CRF填写之后，可以通过重新问询病人或者与其它数据源(如电子病历(ElectronicMedical Record，EMR)进行核对的方式来找出和纠正填写遗漏和填写错误。

数据录入环节常用的数据校验方法包括双录入、源数据校验和逻辑核查等方法，其中，双录入指的是不同录入人员分别录入同一份表单，通过对两次的输入值进行逐项核对，来纠正数据中的错误项；源数据校验指的是在数据录入后再次观察表单内容对录入数据进行校对；逻辑核查指的是根据生理参数的正常范围对用户提交的数据进行控制和验证。

双录入和源数据校验基本能够解决录入错误和录入遗漏的问题，但双录入需要额外的人力资源，增加人力成本，而源数据校验会增加时间成本，总之费时费力。逻辑核查虽然能够在一定程度上解决录入错误和填写错误，但不能解决录入数据和纸质数据不一致的问题。总的来说，现有的这些措施可以解决部分数据问题，但是都不能全面覆盖，而且需要的成本较高。

发明内容

本发明提供了一种基于OCR与命名实体提取技术的临床队列数据协同校验方法，解决现有人工校验方法成本高效率低，数据错误覆盖不全面的问题。

一种基于OCR与命名实体提取技术的临床队列数据协同校验方法，包括：

步骤1，利用人工录入方式将纸质病历报告表电子化，得到人工录入数据；

步骤2，利用OCR将纸质病历报告表电子化，识别得到纸质病历数据；

步骤3，利用命名实体提取技术从电子病历中提取得到电子病历数据；

步骤4，针对待校验临床队列数据，比对人工录入数据、纸质病历数据和电子病历数据，得到校验结果。

本发明提供的临床队列数据协同校验方法，对人工录入数据、纸质病历数据和电子病历数据进行一致性分析，通过三种数据比对的结果，判断临床队列数据的可靠性。

步骤1中，利用OCR技术解析纸质病历报告表的表单结构，利用机器学习对解析提取的内容进行识别，汇总识别结果，得到纸质病历数据。

步骤2中，利用命名实体提取技术中基于规则的方法，根据待校验临床队列数据中的数据字段编写提取规则，利用规则从电子病历中提取数据，得到电子病历数据。

本发明中的校验结果用于提示三者来源数据的不一致性，并将结果反馈给审核人员，对错误数据的进一步认定和处理，由审核人员进行。

作为优选，步骤4中，遍历待校验的临床队列数据中的所有数据字段，针对每一数据字段，分别对比人工录入数据、纸质病历数据和电子病历数据，得到校验结果。

作为优选，不同数据来源具有不同的可信度，根据数据的一致性，以及数据来源的可信度设置校验结果的错误等级。

作为优选，步骤4中错误等级设定包括以下情况：

(1)同时存在纸质病历数据、电子病历数据和人工录入数据

(1-1)、若纸质病历数据、电子病历数据和人工录入数据均一致，校验结果正确；

(1-2)、若纸质病历数据与电子病历数据一致，人工录入数据与纸质病历数据不一致，校验结果为录入错误，综合纸质病历数据和电子病历数据的可信度设置错误等级；

(1-3)、若纸质病历数据与电子病历数据不一致，人工录入数据与纸质病历数据一致，校验结果为填写错误，根据电子病历数据的可信度设置错误等级；

(1-4)、若纸质病历数据与电子病历数据不一致，人工录入数据与电子病历数据一致，校验结果为识别错误；

(1-5)、若纸质病历数据、电子病历数据和人工录入数据均不一致：

若电子病历数据可信度大于纸质病历数据可信度，校验结果为错误，根据电子病历数据可信度设置错误等级；

若电子病历数据可信度不大于纸质病历数据可信度，校验结果为录入错误，根据纸质病历数据可信度设置错误等级；

(2)、存在纸质病历数据和人工录入数据，不存在电子病历数据

若纸质病历数据和人工录入数据不一致，校验结果为录入错误，根据纸质病历数据的可信度设置错误等级；

若纸质病历数据和人工录入数据一致，校验结果为正确；

(3)、存在电子病历数据和人工录入数据，不存在纸质病历数据

(3-1)、若电子病历数据可信度大于人工录入数据的可信度，电子病历数据和人工录入数据一致，校验结果为正确；

(3-2)、若电子病历数据可信度大于人工录入数据的可信度，电子病历数据和人工录入数据不一致，校验结果为错误，根据电子病历数据可信度设置错误等级；

(3-3)、若电子病历数据可信度不大于人工录入数据的可信度，校验结果为录入错误，根据纸质病历数据可信度设置错误等级；

(4)、存在人工录入数据，不存在纸质病历数据和电子病历数据，校验结束；

(5)、存在纸质病历数据和电子病历数据，不存在人工录入数据

(5-1)、若纸质病历数据和电子病历数据一致，校验结果为录入遗漏，综合纸质病历数据和电子病历数据的可信度设置错误等级；

(5-2)、若纸质病历数据和电子病历数据不一致，且电子病历数据可信度大于纸质病历数据可信度，校验结果为遗漏，根据电子病历数据可信度设置错误等级；

(5-3)、若纸质病历数据和电子病历数据不一致，且电子病历数据可信度不大于纸质病历数据可信度，校验结果为录入遗漏，根据纸质病历数据可信度设置错误等级；

(6)、存在纸质病历数据，不存在电子病历数据和人工录入数据，校验结果为录入遗漏，根据纸质病历数据可信度设置错误等级；

(7)、存在电子病历数据，不存在纸质病历数据和人工录入数据，校验结果为填写遗漏，根据电子病历数据可信度设置错误等级；

(8)、不存在人工录入数据、纸质病历数据和电子病历数据，校验结束。

作为优选，所述纸质病历数据和电子病历数据均采用XML文件格式存储。

作为优选，步骤4中，以病人ID作为唯一标识，保存对应的校验结果。

所述校验结果统一保存在数据库中，并提供对外数据接口，用于展示给数据审核人员。

本发明基于OCR与命名实体提取技术的临床队列数据协同校验方法，利用纸质病历数据和电子病历数据对人工录入的临床队列数据进行校验，提高临床队列数据的数据质量。

附图说明

图1为本发明基于OCR与命名实体提取技术的临床队列数据协同校验方法的总体构架图；

图2为本发明利用OCR将纸质病历报告表电子化的流程图；

图3为本发明从电子病历中提取电子病历数据的流程图；

图4为本发明校验过程的总体流程图；

图5为本发明图4中子流程A的流程图；

图6为本发明图4中子流程B的流程图；

图7为本发明图4中子流程C的流程图；

图8为本发明图4中子流程D的流程图。

具体实施方式

下面结合附图，对本发明基于OCR与命名实体提取技术的临床队列数据协同校验方法做详细描述。

一种基于OCR与命名实体提取技术的临床队列数据协同校验方法，包括：

步骤1，利用人工录入方式将纸质病历报告表电子化，得到人工录入数据。

步骤2，利用OCR将纸质病历报告表电子化，识别得到纸质病历数据。

该步骤对应图1中步骤S101，即利用OCR技术纸质病历报告表(Case Report Form)快速电子化，并通过编写CRF描述模型，训练识别模型完成纸质病历数据的获得。

纸质病历数据的获取具体包括：

步骤a、从多张纸质病历报告表的扫描图像中获取勾选框训练样本，包括勾选和未勾选两种，人工标注后进行特征分析，基于逻辑回归模型训练出分类模型，最后打包成可执行文件供主程序调用。

步骤b、利用MNIST手写数字数据库，基于3层卷积层，2层全连接层(relu激活函数+dropout+BN)的卷积神经网络模型训练出手写数字分类模型，打包成可执行文件供主程序调用。

步骤c、基于XML语言手动编写描述CRF的模板文件，主要包括所有待识别区域的位置信息和类别。

具体地，描述CRF的模板文件中，以纸质病历报告表的表格框线左上角为原点，表格的上边框线为X轴建立直角坐标系，主要记录问题(例如身高、体重、血压等)的字段名称、数据类型以及是否多选等属性，勾选框选项的值和坐标，以及数字填写区域的四角坐标。

描述CRF的模板文件示例如表1所示。

表1

步骤d、加载CRF的模板文件，解析CRF扫描图像，提取出待识别内容，根据待识别内容的类别调用不同的可执行文件，输入到不同的分类模型，得到识别结果。

解析CRF扫描图像具体包括：针对纸质病历报告表的扫描图像进行灰度化和倾斜校正处理，即根据经验公式将扫描的彩色图像转换为灰度图像，并利用描述模型和扫描图像的倾斜角度rotation和对角线长度diagonal计算出扫描图像相对于描述模型的倾斜角度和缩放比例，从而计算出映射后的新坐标，完成灰度化和倾斜校正，通过图像解析读取描述模型中待识别区域的坐标截取图片，识别图片内的内容，识别结果示例如表2所示。

表2

步骤e、将结果汇总，以XML文件存储。

步骤3，利用命名实体提取技术从电子病历中提取得到电子病历数据。

该步骤对应图1中步骤S102，如图3所示，具体包括：

步骤a)、根据待校验数据字段和中文电子病历的文本特点，用正则表达式编写可配置的提取规则文件；

电子病历数据提取规则配置文件示例如表3所示。

表3

步骤b)、通过接口获取病人的电子病历数据，加载规则配置文件，从电子病历文本中提取所需电子病历数据；

步骤c)、用XML文件存储提取结果。

电子病历数据提取结果示例如表4所示。

表4

图3中的预处理主要是删除电子病历中的XML标签，并对编码的文本内容进行解码。

步骤4，针对待校验临床队列数据，比对人工录入数据、纸质病历数据和电子病历数据，得到校验结果。

本步骤对应图1中的S103，如图4所示，加载步骤2和步骤3的XML文件，遍历临床队列数据中的待校验数据字段，查询队列数据，并从XML文件中查找相应的数据，根据三部分数据的存在性进行状态判断，并确定进入哪个子流程。

在各子流程中，根据数据的一致性和可信度决定待校验数据是否出错，若出错，则根据校验数据的来源设置错误的来源、类型和详情，根据校验数据的可信度设置错误等级，并将错误进行持久化存储。

如图4、图5、图6、图7、图8中所示，各图中Scan对应纸质病历数据，EMR对应电子病历数据，Input对应人工录入数据，步骤4中错误等级设定包括以下情况：

(1)同时存在纸质病历数据、电子病历数据和人工录入数据

(1-1)、若纸质病历数据、电子病历数据和人工录入数据均一致，校验结果正确；

(1-2)、若纸质病历数据与电子病历数据一致，人工录入数据与纸质病历数据不一致，校验结果为录入错误，根据可信度较高的一方设置错误的重要等级；

(1-3)、若纸质病历数据与电子病历数据不一致，人工录入数据与纸质病历数据一致，校验结果为填写错误，根据电子病历数据的可信度设置错误等级；

(1-4)、若纸质病历数据与电子病历数据不一致，人工录入数据与电子病历数据一致，校验结果为识别错误；

(1-5)、若纸质病历数据、电子病历数据和人工录入数据均不一致：

若电子病历数据可信度大于纸质病历数据可信度，校验结果为错误，根据电子病历数据可信度设置错误等级；

若电子病历数据可信度不大于纸质病历数据可信度，校验结果为录入错误，根据纸质病历数据可信度设置错误等级；

(2)、存在纸质病历数据和人工录入数据，不存在电子病历数据

若纸质病历数据和人工录入数据不一致，校验结果为录入错误，根据纸质病历数据的可信度设置错误等级；

若纸质病历数据和人工录入数据一致，校验结果为正确；

(3)、存在电子病历数据和人工录入数据，不存在纸质病历数据

(3-1)、若电子病历数据可信度大于人工录入数据的可信度，电子病历数据和人工录入数据一致，校验结果为正确；

(3-2)、若电子病历数据可信度大于人工录入数据的可信度，电子病历数据和人工录入数据不一致，校验结果为错误，根据电子病历数据可信度设置错误等级；

(3-3)、若电子病历数据可信度不大于人工录入数据的可信度，校验结果为录入错误，根据纸质病历数据可信度设置错误等级；

(4)、存在人工录入数据，不存在纸质病历数据和电子病历数据，校验结束；

(5)、存在纸质病历数据和电子病历数据，不存在人工录入数据

(5-1)、若纸质病历数据和电子病历数据一致，校验结果为录入遗漏，根据可信度较高的一方设置错误的重要等级；

(5-2)、若纸质病历数据和电子病历数据不一致，且电子病历数据可信度大于纸质病历数据可信度，校验结果为遗漏，根据电子病历数据可信度设置错误等级；

(5-3)、若纸质病历数据和电子病历数据不一致，且电子病历数据可信度不大于纸质病历数据可信度，校验结果为录入遗漏，根据纸质病历数据可信度设置错误等级；

(6)、存在纸质病历数据，不存在电子病历数据和人工录入数据，校验结果为录入遗漏，根据纸质病历数据可信度设置错误等级；

(7)、存在电子病历数据，不存在纸质病历数据和人工录入数据，校验结果为填写遗漏，根据电子病历数据可信度设置错误等级；

(8)、不存在人工录入数据、纸质病历数据和电子病历数据，校验结束。

对于纸质病历数据，可信度基本上由识别率决定，使用纸质病历数据中不同类别数据的识别率来表征数据的可信度。

对于电子病历数据，可信度不仅仅和提取的准确率有关，还和电子病历数据本身是否准确有关，使用经验公式进行计算：可信度＝提取准确率×自身准确率。对于电子病历数据自身准确率的计算，某项数据如果可以找到多条一致的记录，则使用该数据并认定其可信度为100％；某项数据如果只能找到一条记录，则认定该数据项的可信度为基本可信度(经过多次测试，选取70％作为基本可信度)。

以病人ID作为唯一标识，将校验结果保存在数据库中，审核人员通过审核界面可以查看所有病人的数据错误，也可以完成其他操作，如忽略某条错误。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行适当的变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (6)

1.一种基于OCR与命名实体提取技术的临床队列数据协同校验方法，其特征在于，包括：

步骤1，利用人工录入方式将纸质病历报告表电子化，得到人工录入数据；

步骤2，利用OCR将纸质病历报告表电子化，识别得到纸质病历数据；

步骤3，利用命名实体提取技术从电子病历中提取得到电子病历数据；

步骤4，针对待校验临床队列数据，比对人工录入数据、纸质病历数据和电子病历数据，得到校验结果。

2.如权利要求1所述的基于OCR与命名实体提取技术的临床队列数据协同校验方法，其特征在于，步骤4中，遍历待校验的临床队列数据中的所有数据字段，针对每一数据字段，分别对比人工录入数据、纸质病历数据和电子病历数据，得到校验结果。

3.如权利要求1所述的基于OCR与命名实体提取技术的临床队列数据协同校验方法，其特征在于，不同数据来源具有不同的可信度，根据数据的一致性，以及数据来源的可信度设置校验结果的错误等级。

4.如权利要求3所述的基于OCR与命名实体提取技术的临床队列数据协同校验方法，其特征在于，步骤4中错误等级设定包括以下情况：

(1)同时存在纸质病历数据、电子病历数据和人工录入数据

(1-1)、若纸质病历数据、电子病历数据和人工录入数据均一致，校验结果正确；

(1-2)、若纸质病历数据与电子病历数据一致，人工录入数据与纸质病历数据不一致，校验结果为录入错误，综合纸质病历数据和电子病历数据的可信度设置错误等级；

(1-3)、若纸质病历数据与电子病历数据不一致，人工录入数据与纸质病历数据一致，校验结果为填写错误，根据电子病历数据的可信度设置错误等级；

(1-4)、若纸质病历数据与电子病历数据不一致，人工录入数据与电子病历数据一致，校验结果为识别错误；

(1-5)、若纸质病历数据、电子病历数据和人工录入数据均不一致：

若电子病历数据可信度大于纸质病历数据可信度，校验结果为错误，根据电子病历数据可信度设置错误等级；

若电子病历数据可信度不大于纸质病历数据可信度，校验结果为录入错误，根据纸质病历数据可信度设置错误等级；

(2)、存在纸质病历数据和人工录入数据，不存在电子病历数据

若纸质病历数据和人工录入数据不一致，校验结果为录入错误，根据纸质病历数据的可信度设置错误等级；

若纸质病历数据和人工录入数据一致，校验结果为正确；

(3)、存在电子病历数据和人工录入数据，不存在纸质病历数据

(3-1)、若电子病历数据可信度大于人工录入数据的可信度，电子病历数据和人工录入数据一致，校验结果为正确；

(3-2)、若电子病历数据可信度大于人工录入数据的可信度，电子病历数据和人工录入数据不一致，校验结果为错误，根据电子病历数据可信度设置错误等级；

(3-3)、若电子病历数据可信度不大于人工录入数据的可信度，校验结果为录入错误，根据纸质病历数据可信度设置错误等级；

(4)、存在人工录入数据，不存在纸质病历数据和电子病历数据，校验结束；

(5)、存在纸质病历数据和电子病历数据，不存在人工录入数据

(5-1)、若纸质病历数据和电子病历数据一致，校验结果为录入遗漏，综合纸质病历数据和电子病历数据的可信度设置错误等级；

(5-2)、若纸质病历数据和电子病历数据不一致，且电子病历数据可信度大于纸质病历数据可信度，校验结果为遗漏，根据电子病历数据可信度设置错误等级；

(5-3)、若纸质病历数据和电子病历数据不一致，且电子病历数据可信度不大于纸质病历数据可信度，校验结果为录入遗漏，根据纸质病历数据可信度设置错误等级；

(6)、存在纸质病历数据，不存在电子病历数据和人工录入数据，校验结果为录入遗漏，根据纸质病历数据可信度设置错误等级；

(7)、存在电子病历数据，不存在纸质病历数据和人工录入数据，校验结果为填写遗漏，根据电子病历数据可信度设置错误等级；

(8)、不存在人工录入数据、纸质病历数据和电子病历数据，校验结束。

5.如权利要求4所述的基于OCR与命名实体提取技术的临床队列数据协同校验方法，其特征在于，所述纸质病历数据和电子病历数据均采用XML文件格式存储。

6.如权利要求1～5任一项所述的基于OCR与命名实体提取技术的临床队列数据协同校验方法，其特征在于，步骤4中，以病人ID作为唯一标识，保存对应的校验结果。