CN110728315B - 一种实时质量控制方法，系统和设备 - Google Patents

一种实时质量控制方法，系统和设备 Download PDF

Info

Publication number
CN110728315B
CN110728315B CN201910943578.3A CN201910943578A CN110728315B CN 110728315 B CN110728315 B CN 110728315B CN 201910943578 A CN201910943578 A CN 201910943578A CN 110728315 B CN110728315 B CN 110728315B
Authority
CN
China
Prior art keywords
data
real
classifier
test
test sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910943578.3A
Other languages
English (en)
Other versions
CN110728315A (zh
Inventor
郭玮
潘柏申
王蓓丽
朱晶
邵文琦
段昕岑
沈隽霏
吴文浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Hospital Fudan University
Original Assignee
Zhongshan Hospital Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Hospital Fudan University filed Critical Zhongshan Hospital Fudan University
Priority to CN201910943578.3A priority Critical patent/CN110728315B/zh
Publication of CN110728315A publication Critical patent/CN110728315A/zh
Application granted granted Critical
Publication of CN110728315B publication Critical patent/CN110728315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

本发明提供一种实时质量控制方法，通过获取检验样本数据，基于检验样本数据产生一个或多个适用于检测检验样本数据系统误差的分类器，将分类器部署至实时质量控制平台，接收实时检验数据以完成检验质量的实时控制，本发明通过模拟引入正负误差数据组训练样本，从而提高分类器的分类准确率，同时采用ROC曲线下面积AUC对所述含最优模型参数的模型进行评价完成分类器的训练，从而对检测数据进行监控，可进一步提高对检测设备质检性能，降低了实验室的失控风险。

Description

一种实时质量控制方法，系统和设备
技术领域
本发明涉及检验医学领域，具体涉及一种实时质量控制方法，系统和设备。
背景技术
目前自动化检验分析仪器在我国检验医学实验室已经普及。三甲医院单一检验指标在一天之内的检测量在1000-5000例。实时了解检验分析仪的检测状态是实验室管理至关重要的一环，尤其因为检验仪器失控导致病人结果与临床情况不符，可能使得临床决策错误从而导致医疗事故。传统质量控制方法，实验室内质控(IQC)，通过在一天中按规定对已知浓度的质控品进行一到多次检测，预估检测仪器在每次质控之间的情况。大多情况下，由于成本限制，IQC无法及时发现问题，导致错误样本发出。PBRTQC(基于病人的实时质量控制)作为辅助IQC的方法，在IQC的基础上可以实时监控仪器的检测情况。最早的PBRTQC是根据检验医学实验室部分项目数值结果在人群中分布为正态并相对集中而开发的浮动均值算法(MA)。此算法在之后研究进行优化后在满足正态且分布集中的检测项目中能够有好的效果。然而在其它偏态分布，分布宽度大的项目中则达不到能运用于临床工作的性能。
发明内容
本发明的目的是本发明提出了一种实时质量控制方法，系统和设备，目的在于解决现有的针对检验医学实验室实时质量控制方法检验效率和准确率低，无法满足临床医学的质量控制要求。
为了达到上述目的，本发明一方面提供一种实时质量控制方法，包括：
获取检验样本数据并进行数据预处理，其中，所述检验样本数据根据数据采集时间进行排序；
基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器；
其中分类器的生成过程包括：根据检验指标的最大允许误差将检验样本数据分为正误差数据组和负误差数据组，建立正误差数据组和负误差数据组的训练集、验证集和测试集，根据正误差数据组和负误差数据组的训练集分别训练分类器，通过验证集优化各分类器的型高参数和结构，通过测试集绘制ROC曲线，并根据ROC曲线下面积AUC对分类器进行评价，以完成分类器的训练；
将分类器部署至实时质量控制平台，接收实时检验数据以完成检验质量的实时控制。
进一步的，所述检验样本数据为近半年内获取的实验室各检验指标数据，所述检验样本的数据预处理过程包括数据区域转置和变量筛选。
进一步的，将检验样本数据进行分时段处理，其中正误差数据组和负误差数据组根据数据采集时间选择后30％的检验数据进行检验指标正负误差校准。
进一步的，在检验指标正负误差校准过程中，增加检验样本数据中后30％的数据的最大允许误差值以形成正误差数据组。
进一步的，在检验指标正负误差校准过程中，减少检验样本数据中后30％的数据的最大允许误差值以形成负误差数据组。
进一步的，所述正误差数据组和负误差数据组根据70％、10％和20％的比例随机分为训练集、验证集和测试集。
进一步的，根据ROC曲线下面积AUC对分类器进行评价的过程中，当AUC＞0.8则判断分类器训练成功。
另一方面，本发明还提供一种实时质量控制系统，包括：
检验样本数据获取单元，获取检验样本数据并进行数据预处理；
分类器生成单元，基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器；
实时质量控制平台，用以将部署分类器接收实时检验数据以完成检验质量的实时控制。
另一方面，本发明还提供一种实时质量控制设备，包括：
处理器；
用以存储处理器可执行计算机程序指令的存储器；
其中，所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。
本发明提供一种实时质量控制方法、系统和设备，通过获取检验样本数据，基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器，将分类器部署至实时质量控制平台，接收实时检验数据以完成检验质量的实时控制，其中，分类器根据检验指标的最大允许误差将检验样本数据分为正误差数据组和负误差数据组，建立正误差数据组和负误差数据组的训练集、验证集和测试集，根据正误差数据组和负误差数据组的训练集分别训练分类器，通过验证集优化各分类器的型高参数和结构，通过测试集绘制ROC曲线，并根据ROC曲线下面积AUC对分类器进行评价，以完成分类器的训练，本发明正负误差数据组训练样本，从而提高分类器的分类准确率，同时，采用ROC曲线下面积AUC对所述含最优模型参数的模型进行评价，可进一步提高对检测设备质检性能，降低了实验室的失控风险。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的时序数据缺失值自动填补方法的方法流程图；
图2是本发明一个实施例的神经网络分解模型的架构图；
图3为本发明一个实施例的时序数据缺失值自动填补系统的系统架构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有的医学检测实验室的实时质量控制采用移动平均算法，在指标偏态分布，分布宽度大的检测项目中达不到临床检验的质量控制要求。
为解决上述技术问题，本发明提供一种本发明提供一种实时质量控制方法，通过获取检验样本数据，基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器，将分类器部署至实时质量控制平台，接收实时检验数据以完成检验质量的实时控制，本发明通过正负误差对照组训练样本，从而提高主题分类器的分类准确率，同时采用ROC曲线下面积AUC对所述含最优模型参数的模型进行评价训练出主题分类器，从而对检测数据进行分类，可进一步提高主题分类的准确率。
请参阅图1，为本发明实施例涉及的实时质量控制装置结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的终端设备。如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以实时质量控制平台程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的实时质量控制平台程序，以实现实时质量控制。
图2为本发明的实时质量控制的方法流程图，包括以下步骤：
步骤2001，获取检验样本数据并进行数据预处理，其中，所述检验样本数据根据数据采集时间进行排序；
步骤2002，基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器；
步骤2003，将分类器部署至实时质量控制平台，接收实时检验数据以完成检验质量的实时控制。
在本发明的一个实施例中，检验样本数据是从实验室信息系统(LIS)中提取，获取半年内的各项检验指标数据。检验样本数据按照指标获取时间进行排序，在获取检验样本数据之后，对检验样本数据进行数据预处理，以使检验样本数据满足分类器训练的需要。数据预处理包括对检验样本数据进行区域转置和变量筛选，优选的，为处理众多的检验指标数据本实施例可采用随机森林算法产生检验指标各个重要特性的数据集，通过数据集确定训练分类器的变量特征，筛选出重要的变量特征以后可以训练分类器。
进一步的，为提高检验准确度，检验样本数据复制为正误差数据组和负误差数据组。其中，正误差数据组根据检验指标的采集时间，选取后30％的检验数据进行检验指标正误差校准。负误差数据组根据检验指标的采集时间，选取后30％的检验数据进行检验指标负误差校准。
优选的，在正误差数据组的正误差校准中，将选取的后30％的检验指标增加该指标的最大允许误差(TEd)。在负误差数据组的负误差校准中，将选取的后30％的检验指标减少该指标的最大允许误差(TEd)。
进一步的，在完成正负误差数据组的正负误差校准后，将正误差数据组中的检验数据以以70％、10％和20％随机分为训练集、验证集和测试集，将负误差数据组中的检验数据以以70％、10％和20％随机分为训练集、验证集和测试集。
在本发明的一个实施例中，分类器采用2个CNN模型。其中，正误差数据组的训练集训练第一分类器，负误差数据组的训练集训练第二分类器，正误差数据组的验证集验证第一分类器，负误差数据组的验证集验证第二分类器，以优化第一分类器和第二分类器的型高参数和结构。第一分类器根据正误差数据组的测试集绘制ROC曲线，并根据ROC曲线下面积AUC对第一分类器进行评价。第二分类器根据负误差数据组的测试集绘制ROC曲线，并根据ROC曲线下面积AUC对第二分类器进行评价。
优选的，在根据ROC曲线下面积AUC对分类器进行评价的过程中，当AUC＞0.8则判断分类器训练成功，当AUC＜0.8则判断分类器训练不成功，重新回到数据获取阶段获取数据并训练分类器。
在本发明的一个实施例中，当完成分类器的训练后，分类器部署于实时质量控制平台(CNN-PBRTQC平台)。实验室的各检测设备通过中间件将数据数传输至实时质量控制平台对检测数据进行实时监控。
优选的，在监控过程中，第一分类器和第二分类器分别输入检测数据已进行检测，当第一分类器和第二分类器同时检测出质量异常时，则实时质量控制平台输出为“1”，则系统报价提示检验系统可能出现问题，并建议检验人员排除检验设备可能出现的问题。当第一分类器和第二分类器未检测出质量异常，或第一分类器和第二分类器其中之一检测出质量异常时，则实时质量控制平台输出为“0”，系统质量正常。
采用了本发明的检测实时质量控制方法，可大大提高质量检测准确率，以偏态分布的项目谷丙转氨酶(ALT)为例，优化后的移动均衡算法在测试集上验证的AUC为0.55，而本发明的检测实时质量控制方法的AUC可以达到0.89。本发明的检测实时质量控制方法显著提升对检验仪器质量监测的性能。更高的AUC说明本发明的检测实时质量控制方法即使在与移动均衡算法检出特异性相同的情况下(或不错报)比移动均衡算法的漏报会低很多。这样降低了实验室失控的风险也降低了检验人员的工作量。
图3为本发明的实时质量控制系统的系统架构图。
如图3所示，检验样本数据获取单元3001，获取检验样本数据并进行数据预处理；
分类器生成单元3002，基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器；
实时质量控制平台3003，用以将部署分类器接收实时检验数据以完成检验质量的实时控制，其中检验质量实时控制平台通过中间件3004获取各检验设备的检验数据3005。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种实时质量控制方法，其特征在于，包括：
获取检验样本数据并进行数据预处理，其中，所述检验样本数据根据数据采集时间进行排序；
基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器；
其中分类器的生成过程包括：根据检验指标的最大允许误差将检验样本数据分为正误差数据组和负误差数据组，建立正误差数据组和负误差数据组的训练集、验证集和测试集，根据正误差数据组和负误差数据组的训练集分别训练分类器，通过验证集优化各分类器的型高参数和结构，通过测试集绘制ROC曲线，并根据ROC曲线下面积AUC对分类器进行评价，以完成分类器的训练；
将分类器部署至实时质量控制平台，接收实时检验数据以完成检验质量的实时控制。
2.如权利要求1所述的一种实时质量控制方法，其特征在于，
所述检验样本数据为近半年内获取的实验室各检验指标数据，所述检验样本的数据预处理过程包括数据区域转置和变量筛选。
3.如权利要求2所述的一种实时质量控制方法，其特征在于，将检验样本数据进行分时段处理，其中正误差数据组和负误差数据组根据数据采集时间选择后30％的检验数据进行检验指标正负误差校准。
4.如权利要求3所述的一种实时质量控制方法，其特征在于，在检验指标正负误差校准过程中，增加检验样本数据中后30％的数据的最大允许误差值以形成正误差数据组。
5.如权利要求3所述的一种实时质量控制方法，其特征在于，在检验指标正负误差校准过程中，减少检验样本数据中后30％的数据的最大允许误差值以形成负误差数据组。
6.如权利要求1所述的一种实时质量控制方法，其特征在于，
所述正误差数据组和负误差数据组根据70％、10％和20％的比例随机分为训练集、验证集和测试集。
7.如权利要求1所述的一种实时质量控制方法，其特征在于，根据ROC曲线下面积AUC对分类器进行评价的过程中，当AUC＞0.8则判断分类器训练成功。
8.一种实时质量控制系统，其特征在于，包括：
检验样本数据获取单元，获取检验样本数据并进行数据预处理；
分类器生成单元，基于检验样本数据产生一个或多个适用于检测检验样本数据误差的分类器；
其中分类器的生成过程包括：根据检验指标的最大允许误差将检验样本数据分为正误差数据组和负误差数据组，建立正误差数据组和负误差数据组的训练集、验证集和测试集，根据正误差数据组和负误差数据组的训练集分别训练分类器，通过验证集优化各分类器的型高参数和结构，通过测试集绘制ROC曲线，并根据ROC曲线下面积AUC对分类器进行评价，以完成分类器的训练；
实时质量控制平台，用以将部署分类器接收实时检验数据以完成检验质量的实时控制。
9.一种实时质量控制设备，其特征在于，包括：
处理器；
用以存储处理器可执行计算机程序指令的存储器；
其中，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN201910943578.3A 2019-09-30 2019-09-30 一种实时质量控制方法，系统和设备 Active CN110728315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910943578.3A CN110728315B (zh) 2019-09-30 2019-09-30 一种实时质量控制方法，系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910943578.3A CN110728315B (zh) 2019-09-30 2019-09-30 一种实时质量控制方法，系统和设备

Publications (2)

Publication Number Publication Date
CN110728315A CN110728315A (zh) 2020-01-24
CN110728315B true CN110728315B (zh) 2023-09-15

Family

ID=69218637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910943578.3A Active CN110728315B (zh) 2019-09-30 2019-09-30 一种实时质量控制方法，系统和设备

Country Status (1)

Country Link
CN (1) CN110728315B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112635069A (zh) * 2020-12-14 2021-04-09 内蒙古卫数数据科技有限公司 一种基于常规检验数据的肺结核智能识别方法
CN115691722B (zh) * 2022-04-15 2023-09-29 首都医科大学附属北京朝阳医院 医疗数据检测的质控方法、装置、设备、介质及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704495A (zh) * 2017-08-25 2018-02-16 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
CN109273093A (zh) * 2018-09-14 2019-01-25 苏州贝斯派生物科技有限公司 一种川崎病风险评估模型的构建方法及构建系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074826A1 (en) * 2004-09-14 2006-04-06 Heumann John M Methods and apparatus for detecting temporal process variation and for managing and predicting performance of automatic classifiers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704495A (zh) * 2017-08-25 2018-02-16 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
WO2019037197A1 (zh) * 2017-08-25 2019-02-28 平安科技（深圳）有限公司 主题分类器的训练方法、装置及计算机可读存储介质
CN109273093A (zh) * 2018-09-14 2019-01-25 苏州贝斯派生物科技有限公司 一种川崎病风险评估模型的构建方法及构建系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于多分类器协同训练的网络异常检测方法;杨弢等;《四川大学学报(自然科学版)》(第02期);全文 *
一种改进的最大化AUC方法在障碍物检测中的应用;韩光等;《模式识别与人工智能》(第05期);全文 *

Also Published As

Publication number Publication date
CN110728315A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN113792825B (zh) 一种用电信息采集设备故障分类模型训练方法及装置
CN109447156B (zh) 用于生成模型的方法和装置
US10373065B2 (en) Generating database cluster health alerts using machine learning
CN110766080B (zh) 一种标注样本确定方法、装置、设备及存储介质
CN102117443A (zh) 分析处理指定工作负荷时的预期价值和工作的方法和装置
CN108197652A (zh) 用于生成信息的方法和装置
CN110728315B (zh) 一种实时质量控制方法，系统和设备
CN113053535A (zh) 一种医疗信息预测系统及医疗信息预测方法
US11580425B2 (en) Managing defects in a model training pipeline using synthetic data sets associated with defect types
CN112183638B (zh) 基于声纹深度特征的硬岩拉剪破裂识别方法及装置
CN113704389A (zh) 一种数据评估方法、装置、计算机设备及存储介质
CN112397195B (zh) 用于生成体格检查模型的方法、装置、电子设备和介质
CN110232130B (zh) 元数据管理谱系生成方法、装置、计算机设备和存储介质
CN116860562B (zh) 一种用于数据中台数据质量的监控方法及系统
CN114037018A (zh) 医疗数据分类方法、装置、存储介质及电子设备
CN113360611A (zh) 基于检查结果的ai诊断方法、装置、存储介质和设备
KR102187344B1 (ko) 결정 트리를 이용한 반려동물 진단 방법 및 장치
CN114510405B (zh) 指标数据评估方法、装置、设备、存储介质及程序产品
CN116302794A (zh) 一种基于人工智能的海量数据安全监控方法及系统
CN111277427A (zh) 一种数据中心网络设备的巡检方法及系统
JP2012505453A5 (zh)
CN113457128A (zh) 游戏角色对战胜率预测方法、装置
CN107194918A (zh) 数据分析方法及装置
CN113886261A (zh) 应用程序性能数据处理方法、装置、电子设备及存储介质
CN115919273B (zh) 一种基于深度学习的亚健康预警系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant