CN116825389A - 基于大型语言模型的肺部磁共振影像问诊系统 - Google Patents

基于大型语言模型的肺部磁共振影像问诊系统 Download PDF

Info

Publication number
CN116825389A
CN116825389A CN202310687501.0A CN202310687501A CN116825389A CN 116825389 A CN116825389 A CN 116825389A CN 202310687501 A CN202310687501 A CN 202310687501A CN 116825389 A CN116825389 A CN 116825389A
Authority
CN
China
Prior art keywords
nodule
module
image
lung lobe
language model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310687501.0A
Other languages
English (en)
Inventor
陈卫军
肖林芳
马泽曜
毛聪英
王克
陶晨悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenzhi Information Technology Co ltd
Original Assignee
Shanghai Shenzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shenzhi Information Technology Co ltd filed Critical Shanghai Shenzhi Information Technology Co ltd
Priority to CN202310687501.0A priority Critical patent/CN116825389A/zh
Publication of CN116825389A publication Critical patent/CN116825389A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及影像诊断技术领域，具体涉及一种基于大型语言模型的肺部磁共振影像问诊系统，包括：影像提取模块，获取肺部磁共振影像，对所述肺部磁共振影像提取肺叶影像；结节描述模块，根据所述肺叶影像生成结节位置描述信息；语言模型交互模块，将所述肺叶影像和所述结节位置描述信息输入外部的大型语言模型中，以获取所述大型语言模型反馈的补充问诊建议；询问模块，基于所述补充问诊建议对患者进行询问，以获取额外的问诊信息。有益效果在于：预先提取了肺叶影像和结节区域并生成对应于结节区域的位置描述信息，再输入大型语言模型中，实现了对大型语言模型较好的提示效果，使得大型语言模型能够较好的关注重点区域。

Description

基于大型语言模型的肺部磁共振影像问诊系统
技术领域
本发明涉及影像诊断技术领域，具体涉及一种基于大型语言模型的肺部磁共振影像问诊系统。
背景技术
MRI是一种常用的医学断层成像方法，它利用磁共振现象从人体中获得电磁信号，并重建出人体信息。这种技术利用核磁共振原理，依据所释放的能量在物质内部不同结构环境中不同的衰减，通过外加梯度磁场检测所发射出的电磁波，即可得知构成这一物体原子核的位置和种类，据此可以绘制成物体内部的结构影像。
现有技术中，已存在有基于人工智能模型进行辅助诊断的技术方案，该类技术方案通常是预先采集了大量的医学影像数据建立训练集，随后通过人工智能模型进行病灶检测、标注，辅助医生进行诊断；随着多模态模型和类GPT模型的发展，该类人工智能模型也能够用于直接输出相应的描述信息。
但是，在实际实施过程中，发明人发现，传统人工智能模型在实现对病灶的检测、分类后，仍需要依赖医生的经验进行阅片、诊断，受到医生的经验的限制；而类GPT模型则由于人工智能模型本身的不可解释性，可能会导致相应的合规风险，以及无法确定其是否能够正确关注到重点部位。
发明内容
针对现有技术中存在的上述问题，现提供一种基于大型语言模型的肺部磁共振影像问诊系统。
具体技术方案如下：
一种基于大型语言模型的肺部磁共振影像问诊系统，包括：
影像提取模块，所述影像提取模块获取肺部磁共振影像，对所述肺部磁共振影像提取肺叶影像；
结节描述模块，所述结节描述模块根据所述肺叶影像生成结节位置描述信息；
语言模型交互模块，所述语言模型交互模块将所述肺叶影像和所述结节位置描述信息输入外部的大型语言模型中，以获取所述大型语言模型反馈的补充问诊建议；
询问模块，基于所述补充问诊建议对患者进行询问，以获取额外的问诊信息。
另一方面，所述影像提取模块包括：
胸腔提取模块，所述胸腔提取模块对所述肺部磁共振影像的影像序列中的多帧图像分别提取胸腔区域；
肺叶提取模块，所述肺叶提取模块将所述胸腔区域输入时间序列模型进行处理，以获取对应于肺叶区域的所述肺叶影像。
另一方面，所述肺叶提取模块中，所述时间序列模型包括：
卷积网络，所述卷积网络对输入的单帧的所述胸腔区域进行检测，以分割得到单帧肺叶区域；
输入门，所述输入门连接所述卷积网络，所述输入门接收所述单帧肺叶区域；
输出门，所述输出门输出预测得到的所述肺叶影像；
遗忘门，所述遗忘门接收所述输出门输出的上一帧的所述肺叶影像，所述遗忘门对所述肺叶影像进行处理后形成记忆影像输出；
所述输出门分别接收所述单帧肺叶区域和所述记忆影像并预测得到所述肺叶影像。
另一方面，所述结节描述模块包括：
结节提取模块，所述结节提取模块对所述肺叶影像提取多个结节区域；
位置提取模块，所述位置提取模块将所述结节区域和所述肺叶影像输入位置描述模型中，以获取多个所述结节区域的相对位置关系、所述结节区域在所述肺叶影像中的分布关系；
位置描述模块，所述位置描述模块依照所述相对位置关系和所述分布关系生成所述结节位置描述信息。
另一方面，所述结节描述模块还包括矢量图形采集模块，所述矢量图形采集模块包括：
第一边缘提取模块，所述第一边缘提取模块获取结节示例影像，对每一张所述结节示例影像分别提取示例结节边缘；
图形处理模块，所述图形处理模块对所述示例结节边缘进行处理，以得到结节矢量图形；
所述结节提取模块包括：
第二边缘提取模块，所述第二边缘提取模块对所述肺叶影像进行边缘提取，得到边缘线条图像；
图形匹配模块，所述图形匹配模块基于所述结节矢量图像对所述边缘线条图像进行匹配，以获得多个匹配位置；
结节输出模块，所述结节输出模块将所述匹配位置对应的合围区域作为所述结节区域输出。
另一方面，所述位置描述模型包括：
特征提取网络，所述特征提取网络对标注有所述结节区域的所述肺叶影像进行特征提取，以获取位置特征；
聚类模块，所述聚类模块连接所述特征提取网络，所述聚类模块对所述位置特征进行聚类，从而得到结节聚类结果作为所述相对位置关系；
影像组学模型，所述影像组学模型连接所述特征提取网络，所述影像组学模型依照所述位置特征生成所述分布关系。
另一方面，所述位置描述模块包括：
分级模块，所述分级模块依照所述分布关系和预先划定的分布等级确定结节于所述肺叶区域中的扩散情况；
模板调用模块，所述模板调用模块依照所述分布等级调用对应的整体模板；
描述信息生成模块，所述描述信息生成模块采用所述相对位置关系和所述分布等级对所述整体模板进行填充，得到所述结节位置描述信息。
另一方面，所述语言模型交互模块包括：
输出模块，所述输出模块将所述肺叶影像输入所述大型语言模型；
提示模块，所述提示模块依照所述结节位置描述信息生成提示词，将所述提示词输入所述大型语言模型；
问诊建议生成模块，所述问诊建议生成模块获取所述大型语言模型反馈的所述补充问诊建议。
上述技术方案具有如下优点或有益效果：
针对现有技术中基于人工智能模型实现的工作流的缺陷，本方案通过对上述流程进行改进，针对肺部磁共振影像预先提取了肺叶影像和结节区域并生成对应于结节区域的位置描述信息，再输入大型语言模型中，实现了对大型语言模型较好的提示效果，使得大型语言模型能够较好的关注重点区域；同时，通过修改提示词的方式让大型语言模型仅输出需要问诊的补充问诊建议，随后再由医生进行问诊，获取到更为全面的信息后作出诊断，提高了诊断的准确性。
附图说明
参考所附附图，以更加充分的描述本发明的实施例。然而，所附附图仅用于说明和阐述，并不构成对本发明范围的限制。
图1为本发明实施例的整体示意图；
图2为本发明实施例中影像提取模块示意图；
图3为本发明实施例中时间序列模型示意图；
图4为本发明实施例中结节描述模块示意图；
图5为本发明实施例中矢量图形采集模型示意图；
图6为本发明实施例中结节提取模块示意图；
图7为本发明实施例中位置描述模型示意图；
图8为本发明实施例中位置描述模块示意图；
图9为本发明实施例中语言模型交互模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明包括：
一种基于大型语言模型的肺部磁共振影像问诊系统，如图1所示，包括：
影像提取模块1，影像提取模块1获取肺部磁共振影像，对肺部磁共振影像提取肺叶影像；
结节描述模块2，结节描述模块2根据肺叶影像生成结节位置描述信息；
语言模型交互模块3，语言模型交互模块3将肺叶影像和结节位置描述信息输入外部的大型语言模型中，以获取大型语言模型反馈的补充问诊建议；
询问模块4，基于补充问诊建议对患者进行询问，以获取额外的问诊信息。
具体地，针对现有技术中基于人工智能模型实现的工作流的缺陷，本方案通过对上述流程进行改进，针对肺部磁共振影像预先提取了肺叶影像和结节区域并生成对应于结节区域的位置描述信息，再输入大型语言模型中，实现了对大型语言模型较好的提示效果，使得大型语言模型能够较好的关注重点区域；同时，通过修改提示词的方式让大型语言模型仅输出需要问诊的补充问诊建议，随后再由医生进行问诊，获取到更为全面的信息后作出诊断，提高了诊断的准确性。
在实施过程中，肺部磁共振影像为预先对患者进行扫查得到的磁共振影像，其通常体现为时间序列上的多帧影像。肺叶影像指基于肺部磁共振影像进行处理、筛选得到的肺叶部分的单帧或多帧图像，其相对于原始磁共振影像去除了胸腔等背景区域；结节位置描述信息为基于提取得到的结节区域在肺叶影像中的位置进行描述化处理得到的文本信息，可以作为提示词直接输入大型语言模型(Large Language Model，LLM)中，以告知大型语言模型需要关注的信息。大型语言模型根据实际需要可以设置为现有的、基于公有云实现的模型，比如OpenAI提供的GPT系列模型、也可以是本地部署的、采用特定医学数据集构建得到的大型语言模型。补充问诊建议为基于特定提示词反馈得到的补充问诊建议，比如，“基于当前信息可能涉及到哪些疾病，对应哪些症状，需要再确认哪些信息”等，用于辅助医生询问到较为全面的问诊信息，以更好地作出诊断。
在一个实施例中，如图2所示，影像提取模块1包括：
胸腔提取模块11，胸腔提取模块11对肺部磁共振影像的影像序列中的多帧图像分别提取胸腔区域；
肺叶提取模块12，肺叶提取模块12将胸腔区域输入时间序列模型进行处理，以获取对应于肺叶区域的肺叶影像。
具体地，针对患者在采集磁共振影像的过程中，由于呼吸作用容易在影像中形成较多残影的问题，本实施例中，采用了先后两步的提取过程，包括对肺部磁共振影像预先去除了背景部分，仅保留胸腔区域；随后，采用时间序列模型对多帧胸腔区域中周期性运动的肺叶区域进行提取，从而分割得到较为清晰的肺叶区域，实现了较好的提取效果。
在一个实施例中，如图3所示，时间序列模型包括：
卷积网络101，卷积网络101对输入的单帧的胸腔区域进行检测，以分割得到单帧肺叶区域；
输入门102，输入门102连接卷积网络101，输入门102接收单帧肺叶区域；
输出门103，输出门103输出预测得到的肺叶影像；
遗忘门104，遗忘门104接收输出门103输出的上一帧的肺叶影像，遗忘门104对肺叶影像进行处理后形成记忆影像输出；
输出门103分别接收单帧肺叶区域和记忆影像并预测得到肺叶影像。
具体地，为实现对周期性运动的肺叶区域较好的提取效果，本实施例中，通过卷积网络101对每一帧的肺叶区域进行检测，从而分割得到单帧肺叶区域，随后，通过输入门102、输出门103、遗忘门104组成的记忆网络模型来对每一帧的单帧肺叶影像进行处理，得到预测出的肺叶影像，同时，通过控制遗忘门104来选择保留上一帧影像中的肺叶区域；由于呼吸过程是周期性进行的过程，因此在重复多次提取后，能够较为准确地获得肺叶影像，从而消除边缘的残影部分。
在一个实施例中，如图4所示，结节描述模块2包括：
结节提取模块21，结节提取模块21对肺叶影像提取多个结节区域；
位置提取模块22，位置提取模块22将结节区域和肺叶影像输入位置描述模型中，以获取多个结节区域的相对位置关系、结节区域在肺叶影像中的分布关系；
位置描述模块23，位置描述模块23依照相对位置关系和分布关系生成结节位置描述信息。
具体地，为实现对大型语言模型较好的提示效果，本实施例中，通过预先对结节区域进行提取，随后通过位置描述模型分别获取多个结节区域的相对位置关系、结节区域在肺叶影像中的分布关系，从而使得生成的结节位置描述信息更为符合实际的诊断习惯，便于确定病灶位置、病灶在肺部整体的扩散状况，从而生成更为准确的问诊建议。
在一个实施例中，结节描述模块2还包括矢量图形采集模块24，如图5所示，矢量图形采集模块24包括：
第一边缘提取模块241，第一边缘提取模块241获取结节示例影像，对每一张结节示例影像分别提取示例结节边缘；
图形处理模块242，图形处理模块242对示例结节边缘进行处理，以得到结节矢量图形；
如图6所示，结节提取模块21包括：
第二边缘提取模块211，第二边缘提取模块211对肺叶影像进行边缘提取，得到边缘线条图像；
图形匹配模块212，图形匹配模块212基于结节矢量图像对边缘线条图像进行匹配，以获得多个匹配位置；
结节输出模块213，结节输出模块213将匹配位置对应的合围区域作为结节区域输出。
具体地，为实现对肺叶中的结节位置较好的获取效果，本实施例中，通过预先维护矢量图形、再进行图形匹配的方式实现对结节的检测。其中，结节示例影像为基于多方渠道获取的标准医学影像，包括了若干种典型结节的图像。通过二值化、边缘提取等算法，容易提取到结节的示例结节边缘，随后对其进行矢量化处理得到结节矢量图像。在实际匹配过程中，通过相应的图像处理方法对图像进行二值化、边缘提取，从而得到边缘线条图像。其中存在部分疑似结节的位置具有与结节矢量图像相似的、由边缘线条合围得到的合围区域。将匹配得到的区域作为结节区域输出，实现较好的匹配效果。
在一个实施例中，如图7所示，位置描述模型包括：
特征提取网络201，特征提取网络201对标注有结节区域的肺叶影像进行特征提取，以获取位置特征；
聚类模块202，聚类模块202连接特征提取网络201，聚类模块202对位置特征进行聚类，从而得到结节聚类结果作为相对位置关系；
影像组学模型203，影像组学模型203连接特征提取网络，影像组学模型203依照位置特征生成分布关系。
具体地，为实现对结节的位置较好的描述效果，本实施例中，通过构建上述的模型，对提取到的位置特征进行处理从而实现对结节分布位置的描述。其中，在提取之前，预先对结节区域和肺叶影像进行了合成，以标注的形式指出肺叶影像中的结节区域，随后，特征提取网络201通过一系列卷积、升采样、降采样等操作，提取得到图像中基于标注体现得到的位置特征，再分别输入聚类模块202和影像组学模型203中。聚类模块202能够依照结节标注的位置特征依照其相对聚类进行聚类，达到相应的门限后停止，用于确定肺叶中存在多少病灶、病灶的大致位置，从而形成相对位置关系；影像组学模块203通过获取到的位置特征和预先训练的肺叶影像来预测结节在肺叶中的分布，从而形成分布关系。
在一个实施例中，如图8所示，位置描述模块23包括：
分级模块231，分级模块231依照分布关系和预先划定的分布等级确定结节于肺叶区域中的扩散情况；
模板调用模块232，模板调用模块232依照分布等级调用对应的整体模板；
描述信息生成模块233，描述信息生成模块233采用相对位置关系和分布等级对整体模板进行填充，得到结节位置描述信息。
具体地，为实现较好的描述效果，本实施例中，还针对临床中可能遇到的结节的分布情况进行等级划分，生成分布等级。随后，依照分布关系和分布等级来确定实际的扩散情况，并调用对应的模板，以便于根据疾病进程采用相应的描述方法，最后，基于相对位置关系和分布等级对整体模板进行填充，形成结节位置描述信息，实现了较好的提示过程。
在一个实施例中，如图9所示，语言模型交互模块3包括：
输出模块31，输出模块31将肺叶影像输入大型语言模型；
提示模块32，提示模块32依照结节位置描述信息生成提示词，将提示词输入大型语言模型；
问诊建议生成模块33，问诊建议生成模块33获取大型语言模型反馈的补充问诊建议。
具体地，为实现较好的提示效果，本实施例中，通过预先将肺叶影像输入大型语言模型中，使得大型语言模型对影像进行初步识别；随后，依照结节位置描述信息生成分段的提示词，逐一输入大型语言模型中，以使得大型语言模型能够逐步关注到结节的位置信息，从而生成更为准确的补充问诊建议。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种基于大型语言模型的肺部磁共振影像问诊系统，其特征在于，包括：
影像提取模块，所述影像提取模块获取肺部磁共振影像，对所述肺部磁共振影像提取肺叶影像；
结节描述模块，所述结节描述模块根据所述肺叶影像生成结节位置描述信息；
语言模型交互模块，所述语言模型交互模块将所述肺叶影像和所述结节位置描述信息输入外部的大型语言模型中，以获取所述大型语言模型反馈的补充问诊建议；
询问模块，基于所述补充问诊建议对患者进行询问，以获取额外的问诊信息。
2.根据权利要求1所述的肺部磁共振影像问诊系统，其特征在于，所述影像提取模块包括：
胸腔提取模块，所述胸腔提取模块对所述肺部磁共振影像的影像序列中的多帧图像分别提取胸腔区域；
肺叶提取模块，所述肺叶提取模块将所述胸腔区域输入时间序列模型进行处理，以获取对应于肺叶区域的所述肺叶影像。
3.根据权利要求2所述的肺部磁共振影像问诊系统，其特征在于，所述肺叶提取模块中，所述时间序列模型包括：
卷积网络，所述卷积网络对输入的单帧的所述胸腔区域进行检测，以分割得到单帧肺叶区域；
输入门，所述输入门连接所述卷积网络，所述输入门接收所述单帧肺叶区域；
输出门，所述输出门输出预测得到的所述肺叶影像；
遗忘门，所述遗忘门接收所述输出门输出的上一帧的所述肺叶影像，所述遗忘门对所述肺叶影像进行处理后形成记忆影像输出；
所述输出门分别接收所述单帧肺叶区域和所述记忆影像并预测得到所述肺叶影像。
4.根据权利要求1所述的肺部磁共振影像问诊系统，其特征在于，所述结节描述模块包括：
结节提取模块，所述结节提取模块对所述肺叶影像提取多个结节区域；
位置提取模块，所述位置提取模块将所述结节区域和所述肺叶影像输入位置描述模型中，以获取多个所述结节区域的相对位置关系、所述结节区域在所述肺叶影像中的分布关系；
位置描述模块，所述位置描述模块依照所述相对位置关系和所述分布关系生成所述结节位置描述信息。
5.根据权利要求4所述的肺部磁共振影像问诊系统，其特征在于，所述结节描述模块还包括矢量图形采集模块，所述矢量图形采集模块包括：
第一边缘提取模块，所述第一边缘提取模块获取结节示例影像，对每一张所述结节示例影像分别提取示例结节边缘；
图形处理模块，所述图形处理模块对所述示例结节边缘进行处理，以得到结节矢量图形；
所述结节提取模块包括：
第二边缘提取模块，所述第二边缘提取模块对所述肺叶影像进行边缘提取，得到边缘线条图像；
图形匹配模块，所述图形匹配模块基于所述结节矢量图像对所述边缘线条图像进行匹配，以获得多个匹配位置；
结节输出模块，所述结节输出模块将所述匹配位置对应的合围区域作为所述结节区域输出。
6.根据权利要求4所述的肺部磁共振影像问诊系统，其特征在于，所述位置描述模型包括：
特征提取网络，所述特征提取网络对标注有所述结节区域的所述肺叶影像进行特征提取，以获取位置特征；
聚类模块，所述聚类模块连接所述特征提取网络，所述聚类模块对所述位置特征进行聚类，从而得到结节聚类结果作为所述相对位置关系；
影像组学模型，所述影像组学模型连接所述特征提取网络，所述影像组学模型依照所述位置特征生成所述分布关系。
7.根据权利要求4所述的肺部磁共振影像问诊系统，其特征在于，所述位置描述模块包括：
分级模块，所述分级模块依照所述分布关系和预先划定的分布等级确定结节于所述肺叶区域中的扩散情况；
模板调用模块，所述模板调用模块依照所述分布等级调用对应的整体模板；
描述信息生成模块，所述描述信息生成模块采用所述相对位置关系和所述分布等级对所述整体模板进行填充，得到所述结节位置描述信息。
8.根据权利要求7所述的肺部磁共振影像问诊系统，其特征在于，所述语言模型交互模块包括：
输出模块，所述输出模块将所述肺叶影像输入所述大型语言模型；
提示模块，所述提示模块依照所述结节位置描述信息生成提示词，将所述提示词输入所述大型语言模型；
问诊建议生成模块，所述问诊建议生成模块获取所述大型语言模型反馈的所述补充问诊建议。
CN202310687501.0A 2023-06-09 2023-06-09 基于大型语言模型的肺部磁共振影像问诊系统 Pending CN116825389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310687501.0A CN116825389A (zh) 2023-06-09 2023-06-09 基于大型语言模型的肺部磁共振影像问诊系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310687501.0A CN116825389A (zh) 2023-06-09 2023-06-09 基于大型语言模型的肺部磁共振影像问诊系统

Publications (1)

Publication Number Publication Date
CN116825389A true CN116825389A (zh) 2023-09-29

Family

ID=88123392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310687501.0A Pending CN116825389A (zh) 2023-06-09 2023-06-09 基于大型语言模型的肺部磁共振影像问诊系统

Country Status (1)

Country Link
CN (1) CN116825389A (zh)

Similar Documents

Publication Publication Date Title
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
US11430140B2 (en) Medical image generation, localizaton, registration system
US11024066B2 (en) Presentation generating system for medical images, training method thereof and presentation generating method
Cao et al. Multi-task neural networks for joint hippocampus segmentation and clinical score regression
EP4345746A2 (en) Method and system for image segmentation and identification
US11321589B2 (en) Apparatus and method for generating medical image segmentation deep-learning model, and medical image segmentation deep-learning model generated therefrom
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
US20040019267A1 (en) Integration of visual information, anatomic constraints and prior shape knowledge for medical segmentations
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
CN110008992B (zh) 一种用于前列腺癌辅助诊断的深度学习方法
CN110378913A (zh) 图像分割方法、装置、设备及存储介质
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
US20220222873A1 (en) Devices and process for synthesizing images from a source nature to a target nature
CN114419314A (zh) 自动标注医学图像的系统和方法
Wang et al. Left ventricle landmark localization and identification in cardiac MRI by deep metric learning-assisted CNN regression
US11494908B2 (en) Medical image analysis using navigation processing
AU2020223750B2 (en) Method and System for Image Annotation
CN116825389A (zh) 基于大型语言模型的肺部磁共振影像问诊系统
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN115496732A (zh) 一种半监督心脏语义分割算法
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN114419015A (zh) 一种基于多模态配准的脑功能融合分析方法
Williams et al. Automatic C-plane detection in pelvic floor transperineal volumetric ultrasound
CN113223104B (zh) 一种基于因果关系的心脏mr图像插补方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination