CN111354441A - 对医学影像ai运行结果进行监测的系统及其方法 - Google Patents
对医学影像ai运行结果进行监测的系统及其方法 Download PDFInfo
- Publication number
- CN111354441A CN111354441A CN201811572626.4A CN201811572626A CN111354441A CN 111354441 A CN111354441 A CN 111354441A CN 201811572626 A CN201811572626 A CN 201811572626A CN 111354441 A CN111354441 A CN 111354441A
- Authority
- CN
- China
- Prior art keywords
- error rate
- module
- mark
- diagnosis
- diagnosis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
本发明提供了一种对医学影像AI运行结果进行监测的系统，包括AI诊断结果记录模块记录医生对诊断结果运用的标记，运用的标记为使用标记、修改标记和拒绝使用标记；当接收使用标记时处理模块判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时判断该诊断结果为错误数据；错误率计算模块基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值；当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，分析模块自动将AI诊断模块停用，发送提醒信号到管理员终端。本发明还公开了一种对医学影像AI运行结果进行监测的方法。本发明能自动将错误率高的AI诊断系统停用，减少医生诊断时间，提高监测效率。
Description
技术领域
本发明涉及医疗信息领域，更具体地，涉及一种对医学影像AI运行结果进行监测的系统及其方法。
背景技术
随着信息技术的发展和医疗信息化的建设，目前已经有很多医疗机构影像科室已经安装部署了医学影像结构化报告系统以及医学影像AI(人工智能)诊断系统，例如肺结节AI诊断系统、骨龄测量AI诊断系统、前列腺AI诊断系统等。目前，这些系统在使用过程中存在以下问题：对AI运行结果无法监测，比如对运行错误的AI诊断结果，医生对错误的结果修改后返回给AI诊断系统，此时，AI诊断系统基于医生的修改做持续改进，改进一段时间后，该AI诊断系统的诊断结果错误率如何，还需要管理员计算对比，把错误率高的AI诊断系统手动停用，这样会导致检测时间延长，AI诊断系统还会不断的发送错误的诊断结果给医生，消耗医生的诊断时间，降低了管理员的工作效率。
发明内容
有鉴于此，本发明的主要目的在于提供一种对医学影像AI运行结果进行监测的系统及其方法，能够解决现有技术中存在的无法对AI运行结果进行监测，需要管理员手动计算对比来决定是否停用AI诊断系统而导致的延长医生的诊断时间、降低管理员工作效率的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一方面，本发明提供了一种对医学影像AI运行结果进行监测的系统，包括人工智能AI诊断结果记录模块、处理模块、错误率计算模块和分析模块，其中，AI诊断结果记录模块，与处理模块相连，用于存储AI诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；处理模块，分别与AI诊断结果记录模块和错误率计算模块相连，用于当接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；错误率计算模块，分别与处理模块和分析模块相连，用于基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；分析模块，与错误率计算模块相连，用于当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，自动将AI诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。
优选地，该系统还包括图表生成模块，与错误率计算模块相连，用于获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到管理员终端以供管理员查看。
另一方面，本发明还提供了一种对医学影像AI运行结果进行监测的方法，包括：AI诊断结果记录模块存储AI诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；当处理模块接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；错误率计算模块基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，分析模块自动将AI诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。
优选地，该方法还包括：图表生成模块获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到所述管理员终端以供管理员查看。
本发明的技术效果：
由于本发明中设置了AI诊断结果记录模块、处理模块、错误率计算模块和分析模块，判断AI诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将AI诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的AI诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率；同时，本发明还设置了图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析AI诊断模块的运行情况，使诊断流程更加完善。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本发明实施例一的对医学影像AI运行结果进行监测的系统结构示意图；
图2示出了根据本发明实施例二的对医学影像AI运行结果进行监测的系统结构示意图；
图3示出了根据本发明实施例三的对医学影像AI运行结果进行监测的方法流程图。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。
实施例一
图1示出了根据本发明实施例一的对医学影像AI运行结果进行监测的系统结构示意图；如图1所示，该系统包括人工智能AI(Artificial Intelligence)诊断结果记录模块10、处理模块20、错误率计算模块30和分析模块40，其中，
AI诊断结果记录模块10，与处理模块20相连，用于存储AI诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；
当医生在撰写结构化报告时，会与AI诊断模块相结合，利用AI诊断模块的智能诊断结果，如果AI诊断模块的诊断结果为正确时，则医生选择使用该诊断结果，以提高医生的诊断效率和降低诊断难度；如果AI诊断模块的诊断结果为错误时，则医生根据DICOM图像来对诊断结果进行修改，则此时，AI诊断结果记录模块10记录该医生对AI诊断结果的修改并做相应的标记，或该AI诊断结果变差很大或本来就是识别错误的结果，则医生会拒绝使用该诊断结果，此时，AI诊断结果记录模块10记录该医生的拒绝操作并做相应的标记。
处理模块20，分别与AI诊断结果记录模块10和错误率计算模块30相连，用于当接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块30；
错误率计算模块30，分别与处理模块20和分析模块30相连，用于基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块40；
分析模块40，与错误率计算模块30相连，用于当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，自动将AI诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。
例如，某AI系统开始使用，设定指定时间段为最近七天，第一预设阈值为20％，第二预设阈值为5％，则当错误率大于等于20％时，分析模块自动停用该AI诊断模块，并发送提醒信号到管理员终端，提示管理员该AI诊断模块已停用。当错误率升高值大于等于5％时，分析模块自动停用该AI诊断模块，并发送提醒信号到管理员终端，提示管理员该AI诊断模块已停用。
本发明的实施例设置了AI诊断结果记录模块、处理模块、错误率计算模块和分析模块，判断AI诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将AI诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的AI诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率。
实施例二
图2示出了根据本发明实施例二的对医学影像AI运行结果进行监测的系统结构示意图，如图2所示，该系统还包括图表生成模块50，与错误率计算模块30相连，用于获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到管理员终端以供管理员查看。
其中图表可以为柱状带颜色图表也可以为EXCEL表格，图表形式在此不做限定。
本发明的实施例设置了图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析AI诊断模块的运行情况，使诊断流程更加完善。
实施例三
图3示出了根据本发明实施例三的对医学影像AI运行结果进行监测的方法流程图；如图3所示，该方法包括以下步骤：
步骤S301，AI诊断结果记录模块存储AI诊断模块的诊断结果以及记录医生对诊断结果运用的标记，并将运用的标记发送给处理模块，其中，运用的标记为使用标记、修改标记和拒绝使用标记；
当医生在撰写结构化报告时，会与AI诊断模块相结合，利用AI诊断模块的智能诊断结果，如果AI诊断模块的诊断结果为正确时，则医生选择使用该诊断结果，以提高医生的诊断效率和降低诊断难度；如果AI诊断模块的诊断结果为错误时，则医生根据DICOM图像来对诊断结果进行修改，则此时，AI诊断结果记录模块10记录该医生对AI诊断结果的修改并做相应的标记，或该AI诊断结果变差很大或本来就是识别错误的结果，则医生会拒绝使用该诊断结果，此时，AI诊断结果记录模块10记录该医生的拒绝操作并做相应的标记。
步骤S302，当处理模块接收使用标记时，则判断诊断结果为正确数据；当接收修改标记或拒绝使用标记时，则判断该诊断结果为错误数据，并将正确数据和错误数据发送给错误率计算模块；
步骤S303，错误率计算模块基于正确数据和错误数据，计算指定时间段内诊断结果的错误率和错误率升高值，并将错误率和错误率升高值实时发送给分析模块；
步骤S304，当错误率大于等于第一预设阈值或错误率升高值大于等于第二预设阈值时，分析模块自动将AI诊断模块停用，并设置提醒信号，将提醒信号发送到管理员终端。
例如，某AI系统开始使用，设定指定时间段为最近七天，第一预设阈值为20％，第二预设阈值为5％，则当错误率大于等于20％时，分析模块自动停用该AI诊断模块，并发送提醒信号到管理员终端，提示管理员该AI诊断模块已停用。当错误率升高值大于等于5％时，分析模块自动停用该AI诊断模块，并发送提醒信号到管理员终端，提示管理员该AI诊断模块已停用。
其中，该方法还包括：图表生成模块获取错误率和错误率升高值，基于错误率和错误率升高值，自动生成图表发送到所述管理员终端以供管理员查看。
本发明的实施例中的处理模块判断AI诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将AI诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的AI诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率；同时，图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析AI诊断模块的运行情况，使诊断流程更加完善。
从以上描述中，可以看出，本发明的上述实施例实现了如下技术效果：由于本发明的实施例设置了AI诊断结果记录模块、处理模块、错误率计算模块和分析模块，判断AI诊断模块的诊断结果是否正确，基于诊断结果的正确与否，错误率计算模块计算指定时间段内诊断结果的错误率和错误率升高值，在错误率或错误率升高值达到一定数值时，自动将AI诊断模块停用，并设置提醒信号发送到管理员终端，能够及时的将错误率高的AI诊断系统停用，避免错误诊断结果还经常性的发送给医生使用，减少了医生诊断时间，提高了管理员的监测效率；同时，本发明还设置了图表生成模块，根据错误率和错误率升高值，自动生成图表以供管理员查看，便于管理员分析AI诊断模块的运行情况，使诊断流程更加完善。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种对医学影像AI运行结果进行监测的系统，其特征在于，包括人工智能AI诊断结果记录模块、处理模块、错误率计算模块和分析模块，其中，
所述AI诊断结果记录模块，与所述处理模块相连，用于存储AI诊断模块的诊断结果以及记录医生对所述诊断结果运用的标记，并将所述运用的标记发送给所述处理模块，其中，所述运用的标记为使用标记、修改标记和拒绝使用标记；
所述处理模块，分别与所述AI诊断结果记录模块和所述错误率计算模块相连，用于当接收所述使用标记时，则判断所述诊断结果为正确数据；当接收所述修改标记或所述拒绝使用标记时，则判断该诊断结果为错误数据，并将所述正确数据和所述错误数据发送给所述错误率计算模块；
所述错误率计算模块，分别与所述处理模块和所述分析模块相连，用于基于所述正确数据和所述错误数据，计算指定时间段内所述诊断结果的错误率和错误率升高值，并将所述错误率和所述错误率升高值实时发送给所述分析模块；
所述分析模块，与所述错误率计算模块相连，用于当所述错误率大于等于第一预设阈值或所述错误率升高值大于等于第二预设阈值时，自动将所述AI诊断模块停用，并设置提醒信号，将所述提醒信号发送到管理员终端。
2.根据权利要求1所述的对医学影像AI运行结果进行监测的系统，其特征在于，该系统还包括图表生成模块，与所述错误率计算模块相连，用于获取所述错误率和所述错误率升高值，基于所述错误率和所述错误率升高值，自动生成图表发送到所述管理员终端以供管理员查看。
3.一种对医学影像AI运行结果进行监测的方法，其特征在于，包括：
AI诊断结果记录模块存储AI诊断模块的诊断结果以及记录医生对所述诊断结果运用的标记，并将所述运用的标记发送给处理模块，其中，所述运用的标记为使用标记、修改标记和拒绝使用标记；
当所述处理模块接收所述使用标记时，则判断所述诊断结果为正确数据；当接收所述修改标记或所述拒绝使用标记时，则判断该诊断结果为错误数据，并将所述正确数据和所述错误数据发送给错误率计算模块；
所述错误率计算模块基于所述正确数据和所述错误数据，计算指定时间段内所述诊断结果的错误率和错误率升高值，并将所述错误率和所述错误率升高值实时发送给分析模块；
当所述错误率大于等于第一预设阈值或所述错误率升高值大于等于第二预设阈值时，所述分析模块自动将所述AI诊断模块停用，并设置提醒信号，将所述提醒信号发送到管理员终端。
4.根据权利要求3所述的对医学影像AI运行结果进行监测的方法，其特征在于，该方法还包括：图表生成模块获取所述错误率和所述错误率升高值，基于所述错误率和所述错误率升高值，自动生成图表发送到所述管理员终端以供管理员查看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811572626.4A CN111354441A (zh) | 2018-12-21 | 2018-12-21 | 对医学影像ai运行结果进行监测的系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811572626.4A CN111354441A (zh) | 2018-12-21 | 2018-12-21 | 对医学影像ai运行结果进行监测的系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111354441A true CN111354441A (zh) | 2020-06-30 |
Family
ID=71198036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811572626.4A Pending CN111354441A (zh) | 2018-12-21 | 2018-12-21 | 对医学影像ai运行结果进行监测的系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111354441A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450897A (zh) * | 2021-07-08 | 2021-09-28 | 思必驰科技股份有限公司 | 医学影像读片系统 |
| WO2023184385A1 (en) * | 2022-03-31 | 2023-10-05 | Fujitsu Limited | Indication method and apparatus |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101203170A (zh) * | 2005-06-02 | 2008-06-18 | 美的派特恩公司 | 计算机辅助检测系统和方法 |
| CN102063579A (zh) * | 2011-01-30 | 2011-05-18 | 潘亚萍 | 牙周电子病历系统及其操作方法 |
| CN106682446A (zh) * | 2017-01-24 | 2017-05-17 | 宁波江丰生物信息技术有限公司 | 一种病理诊断方法 |
| CN106874696A (zh) * | 2017-03-23 | 2017-06-20 | 北京赛迈特锐医疗科技有限公司 | 对结构化报告中的录入项目进行统计的系统及其方法 |
| CN107658004A (zh) * | 2017-09-14 | 2018-02-02 | 武汉互创科技有限公司 | 一种在移动终端上查看云端医学影像信息的方法及系统 |
-
2018
- 2018-12-21 CN CN201811572626.4A patent/CN111354441A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101203170A (zh) * | 2005-06-02 | 2008-06-18 | 美的派特恩公司 | 计算机辅助检测系统和方法 |
| CN102063579A (zh) * | 2011-01-30 | 2011-05-18 | 潘亚萍 | 牙周电子病历系统及其操作方法 |
| CN106682446A (zh) * | 2017-01-24 | 2017-05-17 | 宁波江丰生物信息技术有限公司 | 一种病理诊断方法 |
| CN106874696A (zh) * | 2017-03-23 | 2017-06-20 | 北京赛迈特锐医疗科技有限公司 | 对结构化报告中的录入项目进行统计的系统及其方法 |
| CN107658004A (zh) * | 2017-09-14 | 2018-02-02 | 武汉互创科技有限公司 | 一种在移动终端上查看云端医学影像信息的方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450897A (zh) * | 2021-07-08 | 2021-09-28 | 思必驰科技股份有限公司 | 医学影像读片系统 |
| WO2023184385A1 (en) * | 2022-03-31 | 2023-10-05 | Fujitsu Limited | Indication method and apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564181B (zh) | 电力设备故障检测与维修方法及终端设备 | |
| CN108197658B (zh) | 图像标注信息处理方法、装置、服务器及系统 | |
| CN108563445B (zh) | 应用程序代码检测方法及服务器 | |
| US10365946B2 (en) | Clustering based process deviation detection | |
| CN110222107B (zh) | 一种数据发送方法及相关设备 | |
| Dave et al. | Current state of practice regarding digital radiography exposure indicators and deviation indices: Report of AAPM Imaging Physics Committee Task Group 232 | |
| GB2596960A (en) | A platform for evaluating medical information and method for using the same | |
| KR102491551B1 (ko) | 투석 디바이스들의 그룹에 대한 공동 알람 처리 | |
| CN111354441A (zh) | 对医学影像ai运行结果进行监测的系统及其方法 | |
| CN110971485A (zh) | 业务指标的监控系统及方法 | |
| US20130018921A1 (en) | Need-to-know information access using quantified risk | |
| CN109710689B (zh) | 企业监管方法、系统、装置、设备及可读存储介质 | |
| CN104133688A (zh) | 医疗服务巡查与调查系统及方法 | |
| CN113704021A (zh) | 基于异常信息的错误码生成方法、装置、设备及介质 | |
| CN116957491A (zh) | 业务预警方法、系统、设备及介质 | |
| US10909674B2 (en) | System and method for context-aware imaging | |
| CN114661569B (zh) | 用户行为数据动态埋点采集方法 | |
| CN106911492A (zh) | 一种麻醉机报警信息检测和显示方法 | |
| CN115374088A (zh) | 数据库健康度分析方法、装置、设备及可读存储介质 | |
| CN114266501A (zh) | 医院运营指标的自动预测和根因分析方法及系统 | |
| FI129933B (en) | Management of communication network prediction models | |
| CN107704383A (zh) | 一种基于任务栈分析的动态测试函数覆盖率获取方法 | |
| CN113947874A (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN107784047B (zh) | 存储过程的实现方法及装置 | |
| US20210109801A1 (en) | Anomaly assessment device, anomaly assessment method, and storage medium whereupon anomaly assessment program is recorded |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |