CN112652393A - 基于深度学习的ercp质控方法、系统、存储介质及设备 - Google Patents

基于深度学习的ercp质控方法、系统、存储介质及设备 Download PDF

Info

Publication number
CN112652393A
CN112652393A CN202011636876.7A CN202011636876A CN112652393A CN 112652393 A CN112652393 A CN 112652393A CN 202011636876 A CN202011636876 A CN 202011636876A CN 112652393 A CN112652393 A CN 112652393A
Authority
CN
China
Prior art keywords
ercp
quality control
deep learning
time
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011636876.7A
Other languages
English (en)
Other versions
CN112652393B (zh
Inventor
季锐
左秀丽
李延青
李�真
邵学军
赖永航
冯健
杨晓云
李广超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd, Qilu Hospital of Shandong University filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN202011636876.7A priority Critical patent/CN112652393B/zh
Publication of CN112652393A publication Critical patent/CN112652393A/zh
Application granted granted Critical
Publication of CN112652393B publication Critical patent/CN112652393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于人工智能领域，提供了一种基于深度学习的ERCP质控方法、系统、存储介质及设备。其中，基于深度学习的ERCP质控方法包括基于全局预训练的端到端的BERT文本相似性度量方式，对术前患者病案描述及ERCP操作分级操作内容进行文本相似性度量，预测出患者的术前适应症及手术困难等级评估；基于训练好的DETR模型内镜视频帧进行实时目标检测，识别出插管器械、十二指肠乳头、通过X射线出现动态影像及导丝，从而选择性控制术中的插管时间及透视时间。

Description

基于深度学习的ERCP质控方法、系统、存储介质及设备
技术领域
本发明属于人工智能领域，尤其涉及一种基于深度学习的ERCP质控方法、系统、存储介质及设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
逆行胰胆管造影术(ERCP)是消化内镜中技术难度最高、并发症风险最大、也是患者最易获益的一种微创治疗手段。并发症高的原因多数与ERCP治疗适应证把握不严格、术前检查不全、或术中认识不足等因素有关。目前，ERCP发展的培训欠规范，不健全，培训落后于发展。目前，ERCP培训和质控基本沿袭传统模式，采取“师傅带徒弟”的方式，直接在临床上“边学边做”，这种方式不仅不利于该技术的推广与质控，同时也给临床工作带来了风险与隐患。如果缺少经验丰富的“导师”监督，容易出现并发症。然而，发明人发现，内镜医师尤其是初学者在操作前常因经验欠缺，容易出现适应证把握不严；在操作时处于紧张状态，对导丝进入胰管、胰管提前显影、胆囊显影、插管操作时间过长、穿孔气体影等高风险因素认识不足，存在一定的临床安全隐患。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种基于深度学习的ERCP质控方法、系统、存储介质及设备，其能够准确评估导丝位置，识别高危图像征象，及时提示内镜医师在操作时避免出现多种手术并发症，为医疗安全提供保障。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于深度学习的ERCP质控方法。
一种基于深度学习的ERCP质控方法，包括：
基于全局预训练的端到端的BERT文本相似性度量方式，对术前患者病案描述及ERCP操作分级操作内容进行文本相似性度量，预测出患者的术前适应症及手术困难等级评估；
基于训练好的DETR模型内镜视频帧进行实时目标检测，识别出插管器械、十二指肠乳头、通过X射线出现动态影像及导丝，从而选择性控制术中的插管时间及透视时间。
作为一种实施方式，基于深度学习的ERCP质控方法还包括：基于术前患者病案描述确定是否需要预防性应用抗生素。
作为一种实施方式，基于深度学习的ERCP质控方法还包括：根据术前信息确定出术后胰腺炎风险来对高危人群进行提示。
作为一种实施方式，手术难度评级输出即对应BERT Input中的[CLS]站位表示了患者病案文本描述与设定操作内容数据库中的哪一个操作内容文本最相似，对应概率最大值所对应的设定操作内容数据库中的操作内容所对应的评级即为手术难度评级。
作为一种实施方式，命名实体识别输出，表征每个词的命名识别分类，BERT的Input的每一个Tokens代表的是一个字，命名实体识别的每个Token的输出代表了该字属于命名实体的哪个部分。
作为一种实施方式，所述基于深度学习的ERCP质控方法，还包括利用训练完成的DETR还实时检测设定不良目标，当出现设定不良目标，自动进行报警提醒。
作为一种实施方式，所述基于深度学习的ERCP质控方法，还包括利用术中监护设备实时监控患者血氧饱和度，血压及心率变化，当出现异常进行报警提醒。
作为一种实施方式，在基于训练好的DETR模型内镜视频帧进行实时目标检测的过程中，当内镜视频帧第一次出现插管器械和十二指肠乳头，开始记录时间t0；当通过X射线第一出现动态影像，开始记录时间t1；导丝计入胆管或胰管，并记录时间t2,计算t1-t0是否大于透视时间阈值T0，若是，则输出报警信息；计算t2-t1是否大于选择插管时间阈值T1，若是，则输出报警信息。
作为一种实施方式，如果是基于胆管的手术，识别结果为导丝进入胰管，则输出报警信息。
本发明的第二个方面提供一种基于深度学习的ERCP质控系统。
一种基于深度学习的ERCP质控系统，包括：
术前质控模块，其基于全局预训练的端到端的BERT文本相似性度量方式，对术前患者病案描述及ERCP操作分级操作内容进行文本相似性度量，预测出患者的术前适应症及手术困难等级评估；
术中质控模块，其基于训练好的DETR模型内镜视频帧进行实时目标检测，识别出插管器械、十二指肠乳头、通过X射线出现动态影像及导丝，从而选择性控制术中的插管时间及透视时间。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于深度学习的ERCP质控方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于深度学习的ERCP质控方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明通过基于人工智能识别术前高危因素，将ERCP操作按照操作难度自动分级，术前筛选胰腺炎高危的人群提前应用药物。通过基于深度学习的人工智能识别ERCP图像中的导丝位置，实时准确发现导丝进入胰管、胰管提前显影、胆囊显影、穿孔气体影等高风险因素，自动计算插管操作时间，超时后自动报警提示。采用这一系列的围手术期全程质控，对提高ERCP医疗安全，减少并发症具有重要意义。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于深度学习的ERCP质控方法流程图；
图2是本发明实施例的Transformer Encoder结构图；
图3是本发明实施例的BERT的基本结构；
图4是本发明实施例的BERT的Input；
图5是本发明实施例的基于ERCP的BERT输出；
图6是本发明实施例的术前智能隐患报警流程图；
图7是本发明实施例的插管器械和十二指肠乳头标注样例1；
图8是本发明实施例的导丝进入胰管样例2；
图9是本发明实施例的导丝进入胆管样例3；
图10是本发明实施例的DETR目标检测模型结构示意图；
图11是本发明实施例的术中质控检测流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
参照图1，本实施例提供了一种基于深度学习的ERCP质控方法，其包括：
S101：基于全局预训练的端到端的BERT文本相似性度量方式，对术前患者病案描述及ERCP操作分级操作内容进行文本相似性度量，预测出患者的术前适应症及手术困难等级评估。
例如：手术难度分级如下：
表1 ERCP操作分级
Figure BDA0002876680910000061
基于全局预训练的端到端的基于BERT的文本相似性度量方式，更准确的在术前基于患者病案描述及ERCP操作分级操作内容进行文本相似性度量，从而确定手术难度分级这比传统基于简单文本匹配的手术难度评级准确性更高,并节省医师手动填写。于此同时基于预训练的BERT模型，同时可以完成命名实体识别的任务，识别患者术前病案中既往病史实体，及确诊疾病实体，识别到的实体自动填充到术前主诉文档，实现了单一模型多任务识别体系。
其中，ERCP操作分级操作内容如表1所示。
基于BERT的文本分析得到患者最终主诉文档，基于开源TTS实现术前自动语音播报,并提供患者术前关键词播报，用于强化医师术中注意事项，其术前关键词主要来源于医师输入的患者年龄，性别及BERT命名实体识别到的实体。
因本实施例特殊的应用场景和多任务统一模型的实现，基于BERT模型的输出层需要做相应的调整，训练策略同时做了基于该任务的调整，使其创新性的适用于ERCP术前智能报警任务。
下面将详细介绍基于BERT的多任务文本分析的模型结构及训练策略，同时提供ERCP术前智能报警系统运行流程结构图。
本实施例首先介绍基于BERT模型的预测微调结构，其次介绍采用的预训练模型和预训练的方式。
基于预测任务的微调BERT模型：
BERT的全名是来自Transformer的双向编码器表示(Bidirectional EncoderRepresentations from Transformers),模型的基本结构基于Transformer模型的Encoder,但是在具体任务中预测的结构会根据任务调整。Transformer的Encoder结构如图2所示。
输入一段文本，对该文本进行分词，分词后的文本经过词嵌入和位置编码相加后经过多头的自注意力机制得到每个词的值向量，该值向量可以简单的理解为，文本中其他词与该词的相关程度的度量和，其次经过残差结构和Layer Normalization,最后在经过一个前馈网络及残差结构和Layer Normalization，得到每个词对应的编码结果；该结构可以重复N次进行堆叠。
BERT的结构即是Transformer的Encoder部分的堆叠，如图3所示。图3中的Trm结构即是我们描述的每个Encoder编码结构，Ei表示融入位置编码的词嵌入，如图4所示。
BERT的Input与Transformer有差异，在Input中增加了[CLS]，[SEP]标识符，这两个符号是占位符，[CLS]占位符在Output位置代表了BERT的分类结果的输出节点，[SEP]占位符代表了句子与句子的分割符。在Embedding过程中增加了表征句子片段的SegmentEmbedding,主要用0，1表示，代表了该词来源于第几个句子，其他的Embedding与Transformer相同。
Ti表示BERT的输出，基于本发明实施例的设计，该输出是需要进行调整的部分。该发明实施例在预训练结束后的微调(funetune)阶段采用的网络输出结构如图5所示.
[CLS]在BERT中表征了在Output站位位置的分类输出，在ERCP的术前智能隐患报警系统中我们定义为输入为患者病案文档描述为第一个句子，表1中的操作内容为第2个句子组成一个如下的Input输入：
[CLS]患者病案描述文本.[SEP]表1中的操作内容[SEP]。
图5中的手术难度评级输出即对应BERT Input中的[CLS]站位表示了患者病案文本描述与表1中哪一个操作内容文本最相似，对应概率最大值所对应的表1中的操作内容所对应的评级即为手术难度评级。
图5中的命名实体识别输出，表征每个词的命名识别分类，在这里需要强调的是本发明实施例的Input的每一个Tokens代表的是一个字，也即上述描述的词嵌入实际上使用的为字嵌入，图5中的命名实体识别的每个Token的输出代表了该字属于命名实体的哪个部分。本实施例采用四位序列标注法(BIOES)标注命名实体识别，标注方式如表2所示。
表2标注方式
Figure BDA0002876680910000081
Figure BDA0002876680910000091
begin,I-inside,O-outside,E-end,S-single，B表示开始，I表示内部，O代表非实体，E代表实体尾部，S代表该词本身就是一个实体。则图5中的每一个节点代表该患者病案描述中的每个字符的命名实体识别分类，其中实体类别包括：age(年龄)，sex(性别)，history(既往病史)，diagnosis(确诊疾病)共4个实体类别(该发明实施例可以根据具体要求对实体类别进行标注调整)，因此每个输出节点会是一个4*3+1+4＝17个类别的分类任务。
该发明实施例可同时基于一个BERT模型的finetune同时对上述任务进行准确预测。
如图6所示，基于BERT的预测结果和预先设定好的模板变量，可以准确预测术前质控项目包括患者的术前适应症、手术困难等级评估，是否需要预防性应用抗生素、根据术前信息计算术后胰腺炎风险，对高危人群进行提示。
不失一般性，本发明实施例提供一个简单的模板样例：
{％age％}的{％sex％}患者，既往有{％history％}病史，目前确诊为：{％diagnosis％},建议ERCP手术，建议手术使用药物{％medicine％},该患者术中风险等级为{％level％}。
其中{％xxx％}表示BERT识别出的模板变量，将会根据BERT的识别结果准确自动填充。至此该发明实施例得到了完整准确的术前质控文本描述。
该文本描述会经过文本转语音(TTS)模块，通过语音播报的形式播报给即将术中的医师。
为了深入体现患者关键信息，TTS模块同时会播报BERT识别结果的关键信息，比如播报关键信息如下：
19岁，女性，胆结石，抗生素，手术困难评估等级4。
下面解释训练集的构建及训练策略：
本实施例的模型BERT训练分为两个阶段，阶段一为基于无监督学习的预训练阶段，阶段二为基于术前智能隐患报警系统训练数据的微调阶段。
阶段一：基于无监督学习的预训练阶段
为了适应该发明实施例的术前质控指标，阶段一基于https://github.com/alibaba-research/ChineseBLUE开源的医学文本数据对BERT模型进行无监督的预训练，过程中因数据量过大且无标注数据因此采用如下的无监督学习策略：遮蔽语言模型(MLM)和下一句预测(NSP)两种策略。其中遮蔽语言模型描述如下：即随机遮蔽一定比例的输入标记，然后仅预测那些被遮蔽的标记,具体的策略为：
80％的情况下用[MASK]替换随机选择的遮蔽单词；
10％的情况下用一个字典中的随机词替换被选择Mask的词
10％的情况下用原词替换被选择Mask的词
下一句预测的策略为：每个训练的语料有两个句子组成[CLS]句子1[SEP]句子2[SEP],50％的情况是句子1的下一句确实是句子2的下一句，50％的情况是句子1的下一句不是句子2，依次来训练模型对句子之间关系的理解。
阶段二：基于术前智能隐患报警系统训练数据的微调阶段
按照表2的方式对历史患者报告进行标注，其标注的数据量约5000条，并且标注了每个患者报告对应的手术难等级，以此为基础构建训练集，模型微调的训练集构建方式如下所示：下面为本发明实施例提供1条样本的标注样例：
input:[CLS]病案内容[SEP]操作内容[SEP]
label:操纵难度等级,报告内容的命名实体类别
基于此训练集微调BERT模型。
在一些实施例中，基于深度学习的ERCP质控方法还包括：基于术前患者病案描述确定是否需要预防性应用抗生素。
在其他实施例中，基于深度学习的ERCP质控方法还包括：根据术前信息确定出术后胰腺炎风险来对高危人群进行提示。
S102：基于训练好的DETR模型内镜视频帧进行实时目标检测，识别出插管器械、十二指肠乳头、通过X射线出现动态影像及导丝，从而选择性控制术中的插管时间及透视时间。
具体地，术中质控项目包括选择性插管时间，透视时间的控制(插管时间通过识别插管器械开始计时，透视通过X线出现动态影像的时长进行计时)；
同时监测导丝进入胰管、胰管注射显影、胆囊显影、腹膜后气体影、肝门部胆管占位、造影剂充盈不良、术中血氧饱和度、血压、心率等质控指标。
术中质控涵盖了识别第一次插管器械和十二指肠乳头的出现，开始计时t0，识别通过X射线出现动态影像并记录此时的时间点t1，则t1-t0即为插管时间，同时人工智能模型检测导丝进入胆管或胰管，并记录进入时间t2,如果是基于胆管的手术，检测到导丝进入胰管，则会以语音警报的形式提示医师操作，如果是基于胰腺管的手术，检测到导丝进入胆管，则同样会以语音警报的形式提示医师，t2-t1即为选择性插管时间。插管时间和选择性插管时间如果超过规定时间T则系统会自动提醒超时。
同时深度学习模型会实时监测，造影剂的分布和运动情况，比如造影剂过量是否导致胰管注射显影，胆囊显影，腹膜后气体影，肝门部胆管站位；如果造影剂不足会导致造影剂充盈不良。
基于自然语言处理和卷积特征提取的目标检测新方法DETR(B.2)，可以实现上述过程中的所有影像的目标识别和检测。同时对检测异常的结果进行实时的语音预警提醒；另一边监护设备会提供术中的血氧饱和度，血压，心率等质控指标。
训练基于Transformer和CNN的目标检测模型需要对ERCP影像进行标注，本发明实施例的标注文件采用VOC 2017标注标准，每个训练图像在标注过程中会产生对应的标注的XML文件。下面提供部分标注样例：
样例1：插管器械和十二指肠乳头标注，如图7所示；
样例2：导丝进入胰管，如图8所示；
样例3：导丝进入胆管，如图9所示；
基于上述标注数据可以训练基于NLP中的Transformer和CNN特征提取的目标检测模型DETR,其模型结构图如图10所示。
DETR的两个关键是：利用损失函数完成预测内容和标注信息的唯一匹配以及预测一组目标及其之间的关系。
DETR包含以下部分：提取特征的CNN部分，Transformer的编解码结构，用于检测的前馈网络FFN。DETR的结构较灵活，能以极小代价迁移到任何带有CNN和Transformer结构的模型中。在提取特征部分，令输入图像为H*W*C的，其中W,H,C分别表示输入的图像的宽,高和通道数，经过CNN(ResNet-50，ResNet-101，或其他CNN backbone)得到特征图f(图X中的Image features).特征图的通道数为2048，宽高分别为W/32,H/32,在输入Transformer之前，经过1x1卷积将通道数减小到d，得到的最终的特征图大小为H/32*W/32*d。由于编码器通常采用序列作为输入，首先将特征图的形状转化为d*(HW)的矩阵，然后加入位置编码，共同作为编码器的输出，(由于在这里，CNN没有提取图像中目标的位置信息这里在输入编码器之前加入一个可学习的位置信息，即位置编码。位置编码的概念来源于NLP,是Transformer中为了表征序列中各元素之间的位置信息)
在解码器阶段，我们看到解码器的输入编码的输入外，还有一个名为目标查询的输入，这和Transformer的结构相对应，这表示N个预测目标。最后通过FFN产生边界框的坐标和类别信息。(每个预测目标单独使用一个FFN，通过并行处理，因此权重是共享的)通过编解码器的注意力机制，模型可以通过图像的全局信息来推理出预测内容和标注信息对。这就使得整个模型具有检测的功能。
上面提到的FFN其实是一个带有ReLU激活函数、d个隐藏层单元的三层感知机。FFN预测边界框的归一化信息，并通过softmax层预测类别信息。由于模型得到的固定大小N(大于图像中目标数)的预测结果，那些不带有类别的结果就类似于预测结果为背景。
在整个DETR架构中，第一步是用CNN(文中为ResNet-50,ResNet-101,或其他CNNbackbone)提取图片的特征，然后叠加上位置编码，之后展开成序列状输入Transformer的encoder端。在encoder里面采用self-attention进行本身序列信息的关联度的提取，encoder输出与输入同维的序列。此序列作为条件信息(conditioning info)进行decoder对下方的object queries进行变换上的指导。在下方随机初始化N个object queries，经过conditioning info的指导输出为与object queries同维的结果，最终将结果进入线性FFN网络用于分类和画框。
本实施例的术中质控检测流程，如图11所示：
首先，基于内镜视频流采集视频帧(本发明实施例可以采用任意视频，图像采集设备)，采集到的视频帧进入图像数据预处理模块，该模块支持任意形式的基于图像处理和数据增强的算法，处理完成的视频帧拷贝到显存；其次基于训练的DETR模型已经加载到显存，可以对视频帧进行实时目标检测，检测的结果包括：该帧是否存在插管器械和十二指肠乳头，并记录是否是第一次出现(如果是第一次则开始记录时间t0)，该帧是否通过X射线出现动态影像，并记录是否是第一次出现(如果是第一次则开始记录时间t1),导丝是否计入胆管或胰管(如果是基于胆管的手术，识别结果为导丝进入胰管则开启语音报警提示)，并记录时间t2，计算t1-t0是否大于透视时间阈值T0，如果大于该阈值则会开启语音警报提示，计算t2-t1是否大于选择插管时间阈值T1，如果大于该阈值则会开启语音报警提示。
在一些实施例中，所述基于深度学习的ERCP质控方法，还包括利用训练完成的DETR还实时检测设定不良目标(比如：胰管注射显影、胆囊显影、腹膜后气体影、肝门部胆管占位、造影剂充盈不良等目标)，当出现设定不良目标，自动进行报警提醒。
在另一些实施例中，所述基于深度学习的ERCP质控方法，还包括利用术中监护设备实时监控患者血氧饱和度，血压及心率变化，当出现异常进行报警提醒。
本实施例实现了准确实时的术中质控监测和提醒，减少并发症发生率，减轻操作医生负担，规范其行为。
在上述实施例中，报警提醒或报警信息，可为声音报警信号，也可为声光报警信息，本领域技术人员可根据实际情况来具体设置。
实施例二
本实施例提供了一种基于深度学习的ERCP质控系统，其包括：
术前质控模块，其基于全局预训练的端到端的BERT文本相似性度量方式，对术前患者病案描述及ERCP操作分级操作内容进行文本相似性度量，预测出患者的术前适应症及手术困难等级评估；
术中质控模块，其基于训练好的DETR模型内镜视频帧进行实时目标检测，识别出插管器械、十二指肠乳头、通过X射线出现动态影像及导丝，从而选择性控制术中的插管时间及透视时间。
此处需要说明的是，本实施例的基于深度学习的ERCP质控系统中的各个模块，与实施例一中的基于深度学习的ERCP质控方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于深度学习的ERCP质控方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于深度学习的ERCP质控方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的ERCP质控方法，其特征在于，包括：
基于全局预训练的端到端的BERT文本相似性度量方式，对术前患者病案描述及ERCP操作分级操作内容进行文本相似性度量，预测出患者的术前适应症及手术困难等级评估；
基于训练好的DETR模型内镜视频帧进行实时目标检测，识别出插管器械、十二指肠乳头、通过X射线出现动态影像及导丝，从而选择性控制术中的插管时间及透视时间。
2.如权利要求1所述的基于深度学习的ERCP质控方法，其特征在于，基于深度学习的ERCP质控方法还包括：基于术前患者病案描述确定是否需要预防性应用抗生素；
或
基于深度学习的ERCP质控方法还包括：根据术前信息确定出术后胰腺炎风险来对高危人群进行提示。
3.如权利要求1所述的基于深度学习的ERCP质控方法，其特征在于，手术难度评级输出即对应BERT Input中的[CLS]站位表示了患者病案文本描述与设定操作内容数据库中的哪一个操作内容文本最相似，对应概率最大值所对应的设定操作内容数据库中的操作内容所对应的评级即为手术难度评级。
4.如权利要求1所述的基于深度学习的ERCP质控方法，其特征在于，命名实体识别输出，表征每个词的命名识别分类，BERT的Input的每一个Tokens代表的是一个字，命名实体识别的每个Token的输出代表了该字属于命名实体的哪个部分。
5.如权利要求1所述的基于深度学习的ERCP质控方法，其特征在于，所述基于深度学习的ERCP质控方法，还包括利用训练完成的DETR还实时检测设定不良目标，当出现设定不良目标，自动进行报警提醒；
或
所述基于深度学习的ERCP质控方法，还包括利用术中监护设备实时监控患者血氧饱和度，血压及心率变化，当出现异常进行报警提醒。
6.如权利要求1所述的基于深度学习的ERCP质控方法，其特征在于，在基于训练好的DETR模型内镜视频帧进行实时目标检测的过程中，当内镜视频帧第一次出现插管器械和十二指肠乳头，开始记录时间t0；当通过X射线第一出现动态影像，开始记录时间t1；导丝计入胆管或胰管，并记录时间t2,计算t1-t0是否大于透视时间阈值T0，若是，则输出报警信息；计算t2-t1是否大于选择插管时间阈值T1，若是，则输出报警信息。
7.如权利要求6所述的基于深度学习的ERCP质控方法，其特征在于，如果是基于胆管的手术，识别结果为导丝进入胰管，则输出报警信息。
8.一种基于深度学习的ERCP质控系统，其特征在于，包括：
术前质控模块，其基于全局预训练的端到端的BERT文本相似性度量方式，对术前患者病案描述及ERCP操作分级操作内容进行文本相似性度量，预测出患者的术前适应症及手术困难等级评估；
术中质控模块，其基于训练好的DETR模型内镜视频帧进行实时目标检测，识别出插管器械、十二指肠乳头、通过X射线出现动态影像及导丝，从而选择性控制术中的插管时间及透视时间。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于深度学习的ERCP质控方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于深度学习的ERCP质控方法中的步骤。
CN202011636876.7A 2020-12-31 2020-12-31 基于深度学习的ercp质控方法、系统、存储介质及设备 Active CN112652393B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011636876.7A CN112652393B (zh) 2020-12-31 2020-12-31 基于深度学习的ercp质控方法、系统、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011636876.7A CN112652393B (zh) 2020-12-31 2020-12-31 基于深度学习的ercp质控方法、系统、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112652393A true CN112652393A (zh) 2021-04-13
CN112652393B CN112652393B (zh) 2021-09-07

Family

ID=75367063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011636876.7A Active CN112652393B (zh) 2020-12-31 2020-12-31 基于深度学习的ercp质控方法、系统、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112652393B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521470A (zh) * 2021-07-27 2021-10-22 上海理工大学 一种多模态气管插管导引方法
CN114464289A (zh) * 2022-02-11 2022-05-10 武汉大学 Ercp报告生成方法、装置、电子设备及计算机可读存储介质
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
WO2023015941A1 (zh) * 2021-08-13 2023-02-16 北京百度网讯科技有限公司 文本检测模型的训练方法和检测文本方法、装置和设备
WO2023102880A1 (zh) * 2021-12-10 2023-06-15 曾稼志 气管插管影像的处理方法与系统以及气管插管的成效评量方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2751349Y (zh) * 2004-04-27 2006-01-11 上海医疗器械厂有限公司 一种x射线机界面的控制装置
US20120101372A1 (en) * 2010-10-25 2012-04-26 Fujifilm Corporation Diagnosis support apparatus, diagnosis support method, lesioned part detection apparatus, and lesioned part detection method
CN106233357A (zh) * 2013-10-07 2016-12-14 曼帝斯有限公司 基于医疗程序模拟的辐射估算和防护
CN106383853A (zh) * 2016-08-30 2017-02-08 刘勇 一种电子病历后结构化以及辅助诊断的实现方法及其系统
US9754220B1 (en) * 2016-07-01 2017-09-05 Intraspexion Inc. Using classified text and deep learning algorithms to identify medical risk and provide early warning
CN109584229A (zh) * 2018-11-28 2019-04-05 武汉大学人民医院（湖北省人民医院） 一种内镜下逆行胰胆管造影术实时辅助诊断系统及方法
CN109935337A (zh) * 2019-02-25 2019-06-25 长沙学院 一种基于相似性度量的病案查找方法及系统
CN110491503A (zh) * 2019-08-21 2019-11-22 山东大学第二医院 一种基于深度学习的胆石症智能辅助系统
CN111539194A (zh) * 2020-03-24 2020-08-14 华东理工大学 一种医疗文本结构化算法的可用度评估方法
CN111767958A (zh) * 2020-07-01 2020-10-13 武汉楚精灵医疗科技有限公司 基于随机森林算法的肠镜退镜时间的实时监测方法
CN111870342A (zh) * 2020-08-07 2020-11-03 西安交通大学医学院第一附属医院 一种用于胆道碎石的激光胆道镜系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2751349Y (zh) * 2004-04-27 2006-01-11 上海医疗器械厂有限公司 一种x射线机界面的控制装置
US20120101372A1 (en) * 2010-10-25 2012-04-26 Fujifilm Corporation Diagnosis support apparatus, diagnosis support method, lesioned part detection apparatus, and lesioned part detection method
CN106233357A (zh) * 2013-10-07 2016-12-14 曼帝斯有限公司 基于医疗程序模拟的辐射估算和防护
US9754220B1 (en) * 2016-07-01 2017-09-05 Intraspexion Inc. Using classified text and deep learning algorithms to identify medical risk and provide early warning
CN106383853A (zh) * 2016-08-30 2017-02-08 刘勇 一种电子病历后结构化以及辅助诊断的实现方法及其系统
CN109584229A (zh) * 2018-11-28 2019-04-05 武汉大学人民医院（湖北省人民医院） 一种内镜下逆行胰胆管造影术实时辅助诊断系统及方法
CN109935337A (zh) * 2019-02-25 2019-06-25 长沙学院 一种基于相似性度量的病案查找方法及系统
CN110491503A (zh) * 2019-08-21 2019-11-22 山东大学第二医院 一种基于深度学习的胆石症智能辅助系统
CN111539194A (zh) * 2020-03-24 2020-08-14 华东理工大学 一种医疗文本结构化算法的可用度评估方法
CN111767958A (zh) * 2020-07-01 2020-10-13 武汉楚精灵医疗科技有限公司 基于随机森林算法的肠镜退镜时间的实时监测方法
CN111870342A (zh) * 2020-08-07 2020-11-03 西安交通大学医学院第一附属医院 一种用于胆道碎石的激光胆道镜系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴文广: "ERCP相关胰腺及十二指肠损伤特点及外科治疗", 《中国实用外科杂志》 *
崔梅花: "经内镜逆行胰胆管造影模拟培训研究概况", 《临床肝胆病杂志》 *
郑亮: "胆管狭窄的ERCP处理：术后并发症的危险因素分析、导丝超选和生存期预测", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113521470A (zh) * 2021-07-27 2021-10-22 上海理工大学 一种多模态气管插管导引方法
WO2023015941A1 (zh) * 2021-08-13 2023-02-16 北京百度网讯科技有限公司 文本检测模型的训练方法和检测文本方法、装置和设备
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
WO2023102880A1 (zh) * 2021-12-10 2023-06-15 曾稼志 气管插管影像的处理方法与系统以及气管插管的成效评量方法
CN114464289A (zh) * 2022-02-11 2022-05-10 武汉大学 Ercp报告生成方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112652393B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN112652393B (zh) 基于深度学习的ercp质控方法、系统、存储介质及设备
CN111415564B (zh) 基于人工智能的胰腺超声内镜检查导航方法及系统
CN110390674B (zh) 图像处理方法、装置、存储介质、设备以及系统
Lecuyer et al. Assisted phase and step annotation for surgical videos
CN117077786A (zh) 一种基于知识图谱的数据知识双驱动智能医疗对话系统和方法
Wang et al. Chinese medical named entity recognition based on multi-granularity semantic dictionary and multimodal tree
WO2023204944A1 (en) Training of text and image models
Golany et al. Artificial intelligence for phase recognition in complex laparoscopic cholecystectomy
CN117115581A (zh) 一种基于多模态深度学习的智能误操作预警方法及系统
CN117524402A (zh) 关于内镜影像分析并自动生成诊断报告的方法
CN111145903A (zh) 获取眩晕症问诊文本的方法、装置、电子设备及问诊系统
CN114564959A (zh) 中文临床表型细粒度命名实体识别方法及系统
CN117787282B (zh) 基于大语言模型的医患文本智能提取方法
CN115205880A (zh) 一种医学影像报告生成方法及装置
CN111341437A (zh) 基于舌图像的消化道疾病判断辅助系统
Ding et al. Automatic glottis segmentation for laryngeal endoscopic images based on U-Net
CN117476215A (zh) 一种基于ai的医疗辅助判别方法及判别系统
Pravin et al. Regularized deep LSTM autoencoder for phonological deviation assessment
CN115222674A (zh) 基于多维特征融合的颅内动脉瘤破裂风险的检测装置
CN116884648A (zh) 基于中医问诊的语音交互优化方法、装置、设备及介质
Spinks et al. Justifying diagnosis decisions by deep neural networks
CN115964484A (zh) 基于多标签分类模型实现的法律多意图识别方法和装置
CN112767422A (zh) 图像分割模型的训练方法及装置，分割方法及装置，设备
Tsaniya et al. Automatic radiology report generator using transformer with contrast-based image enhancement
Vaidyanathan et al. Alignment of eye movements and spoken language for semantic image understanding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant