CN116469542B - 一种个性化医疗影像诊断路径生成系统及方法 - Google Patents

一种个性化医疗影像诊断路径生成系统及方法 Download PDF

Info

Publication number
CN116469542B
CN116469542B CN202310429410.7A CN202310429410A CN116469542B CN 116469542 B CN116469542 B CN 116469542B CN 202310429410 A CN202310429410 A CN 202310429410A CN 116469542 B CN116469542 B CN 116469542B
Authority
CN
China
Prior art keywords
image
entity
data
path
report
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310429410.7A
Other languages
English (en)
Other versions
CN116469542A (zh
Inventor
杨媛媛
周立信
顾轶平
王明庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiyuanhuiyi Suzhou Health Medical Technology Co ltd
Original Assignee
Zhiyuanhuiyi Suzhou Health Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiyuanhuiyi Suzhou Health Medical Technology Co ltd filed Critical Zhiyuanhuiyi Suzhou Health Medical Technology Co ltd
Priority to CN202310429410.7A priority Critical patent/CN116469542B/zh
Publication of CN116469542A publication Critical patent/CN116469542A/zh
Application granted granted Critical
Publication of CN116469542B publication Critical patent/CN116469542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种个性化医疗影像诊断路径生成系统及方法，系统包括：客户端、服务器和数据库；所述客户端用于采集系统数据和显示推导路径；所述服务器用于对所述系统数据进行加工，并基于加工后的所述系统数据进行诊断路径推导，生成推导路径；所述数据库用于存储所述系统数据和所述推导路径。本发明的数据来源于医生真实的操作数据、临床数据；算法模型基于注意力机制的图神经网络，具有可解释性；具有良好的人机交互界面，医生可查看修正自动生成的影像诊断路径和报告，用于后续模型的智能水平的提高。

Description

一种个性化医疗影像诊断路径生成系统及方法
技术领域
本发明属于医疗影像人工智能与信息化技术领域，具体涉及一种个性化医疗影像诊断路径生成系统及方法。
背景技术
医疗影像诊断路径是医生提取影像征象、形成诊断的操作路径，没有明确的规定操作，需要高级别医生根据自己的经验，并结合病种、影像类型等因素，形成科室内部的一种操作规范。这种操作规范仅在某些热点病种上有全国统一的影像诊断路径，通用的操作规范还是依赖上级医师的经验。对于这种路径的分析，国内外的相关研究较少，成果不多。当前影像诊断研究集中于替代影像诊断路径，直接利用计算机生成影像征象，即图像特征，甚至形成诊断，这也就是时下热门的计算机辅助诊断。目前，计算机辅助诊断在许多病种上都取得了一定成果，例如微小肺结节检测，早期乳腺癌筛查，视网膜病变诊断等。这些辅助诊断大都采用人工智能技术，诊断的准确率在90％以上，其中部分国内产品已经获得了医疗器械三类注册证，并进入临床使用，如深睿医疗的肺结节CT辅助检测软件，数坤科技的心血管AI；国外也有VizContaCT脑卒中检测软件，AISightDx数字病理平台等产品通过了美国FDA认证。然而，目前的计算机辅助诊断产品都没有引入影像诊断路径进行辅助诊断，这使得产品缺乏可解释性。相对于上级医生通过个性化诊断路径进行诊断的结果，计算机辅助诊断产品在检测特异性、疑难病例准确率上还是稍逊一筹。
再者，随着大数据与医疗技术的发展，作为医学影像存储与归档系统(PACS)的直接使用者的一线临床医生(特别是影像科医生)面临着阅片量大、快速完成高质量诊断的难题。根据上海多家医院的走访结果，一名三甲医院的影像科医生平均每天阅读数百名患者的影像，并在数分钟之内完成诊断。如此庞大的工作量给医生的生理健康和心理健康带来了极大的隐患，诊断质量也会受到相应的影响。
虽然当前降低临床医生工作量的产品已经大量落地，大多以人工智能辅助诊断方式为主，但是这些应用通常面临信任度偏低，输出的结果不能满足医生的个性化需求等问题。同时，医生的培养是一个长期的、高成本的过程，影像学诊断的学习往往通过高年资的医生专家言传身教，而且诊断经验随着成像设备的发展需要不断更新，这也是诊断质量和效率不高的一个主要原因。
所以分析高级别医师的个性化诊断路径，并提取其中的专家经验，形成个性化的诊断路径推荐，可以用于提高诊断质量和效率，评价住院医师诊断操作，甚至形成影像诊断规范。
发明内容
本发明旨在解决现有技术的不足，提出一种个性化医疗影像诊断路径生成系统及方法，以影像诊断路径为出发点，通过知识图谱和注意力机制的卷积神经网络相结合的算法、自然语言处理技术，将医生操作数据、质量评估数据以及与质控、诊断相关的标注数据纳入影像大数据分析中，进行影像诊断路径分析，形成集影像诊断和报告自动生成为一体的个性化具有可解释性的影像辅助诊断系统，用来解决影像诊断质量和效率问题。
为实现上述目的，本发明提供了如下方案：一种个性化医疗影像诊断路径生成系统，包括：客户端、服务器和数据库；
所述客户端用于采集系统数据和显示推导路径；
所述服务器用于对所述系统数据进行加工，并基于加工后的所述系统数据进行诊断路径推导，生成推导路径；
所述数据库用于存储所述系统数据和所述推导路径。
优选地，所述客户端包括：采集模块和路径显示模块；
所述采集模块用于采集所述系统数据；所述系统数据包括：影像数据、报告数据和医生操作数据；
所述路径显示模块用于对所述推导路径进行可视化。
优选地，所述服务器包括：数据加工模块和诊断路径推导模型训练模块；
所述数据加工模块用于对所述系统数据进行加工，得到知识图谱；
所述诊断路径推导模型训练模块用于基于所述知识图谱进行特征提取；并基于提取的所述特征生成推导路径报告。
优选地，所述诊断路径推导模型训练模块包括推导模型单元和报告生成单元；
所述推导模型单元用于对所述知识图谱进行特征提取，并基于提取的所述特征推导出诊断路径；
所述报告生成单元用于基于推导出的所述诊断路径生成所述推导路径报告。
本发明还提供一种个性化医疗影像诊断路径生成方法，包括步骤：
S1、采集系统数据；
S2、对所述系统数据进行清洗、加工，得到知识图谱；
S3、基于所述知识图谱得到生成推导路径报告。
优选地，所述系统数据包括：影像数据、报告数据和医生操作数据；
所述S2包括：
S21、对所述影像数据和报告数据进行脱敏和归一化操作，得到大小一致的影像和半结构化数据；对所述医生操作数据进行删减和合并；
S22、对所述报告数据进行关键信息提取并获取知识实体；对所述医生操作数据进行实体抽取，得到操作实体以及操作实体属性信息；所述影像数据以影像的唯一识别号为图像实体；
S23、基于所述知识实体、所述操作实体和所述图像实体的属性，通过人工标注所述知识实体、所述操作实体和所述图像实体的关系，结合半监督算法，得到所述知识图谱。
优选地，所述脱敏操作包括：去除病人姓名、病人唯一标识号、医生姓名、医院名称；
所述归一化操作包括：将所述影像数据根据模态进行分类，对每一类进行插值调整影像数据的高、宽、层厚；
提取所述报告数据的影像表现与诊断结论，形成半结构化的数据。
优选地，所述S3包括：
S31、基于所述知识图谱，提取所述图像实体、所述操作实体和所述关系的特征；
S32、基于所述关系的特征、所述操作实体的特征和所述图像实体的特征，采用图采样与聚合算法构造三元组特征；
S33、以所述图像实体为中心，基于所述三元组特征，得到图注意网络模型；
S34、基于所述图注意网络模型，通过LSTM网络解码，得到诊断路径；
S35、基于所述图像实体的特征和所述操作实体的特征，结合注意机制，得到LSTM图像理解模型；
S36、将所述图像实体的特征和所述操作实体的特征输入所述LSTM图像理解模型，得到图像描述；
S37、将所述图像描述与预先设定的模板进行匹配，生成推导路径报告。
与现有技术相比，本发明的有益效果为：
(1)本发明的数据来源于医生真实的操作数据、临床数据，是其他软件不具有的；
(2)本发明的算法模型基于注意力机制的图神经网络，具有可解释性；
(3)本发明可以提供符合医生习惯的个性化影像诊断操作路径；
(4)本发明具有良好的人机交互界面，医生可查看修正自动生成的影像诊断路径和报告，用于后续模型的智能水平的提高；
(5)本发明提供的影像诊断操作路径可以辅助医生传承影像诊断经验。
附图说明
为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例个性化医疗影像诊断路径生成系统结构示意图；
图2为本发明实施例数据清洗、加工流程示意图；
图3为本发明实施例诊断路径推导流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
本实施例采用客户端-服务器模式，构建了一种个性化医疗影像诊断路径生成系统，系统可以将接收的新图像进行诊断路径推导和报告自动生成，医生通过路径显示模块登录查看和修正提供参考的诊断路径。如图1所示，系统包括：客户端、服务器和数据库。
客户端主要用于采集系统数据和显示推导路径；包括：采集模块和路径显示模块；
采集模块主要用于采集系统数据；本实施例中，系统数据包括：影像数据、报告数据和医生操作数据。采集模块通过嵌入PACS诊断工作站进行系统数据采集。PACS诊断工作站是为医生提供图像诊断和报告书写的软件。嵌入之后，对医生的各种图像处理操作进行采集，包括：(1)采集医生的各种图像处理操作；例如：窗宽窗位调整、放大缩小、标注测量、三维MPR浏览操作等，并同步传输至数据库中。(2)采集医生处理的图像，并传输至服务器中。(3)采集医生完成的诊断报告，并同步传输至数据库中。
路径显示模块主要用于对推导路径进行可视化。本实施例中，路径显示模块基于HTML5的人机交互界面，包括系统登录、图像列表、图像查看、诊断路径推导、修正和报告显示等。
服务器主要用于对系统数据进行加工，并基于加工后的系统数据进行诊断路径推导，生成推导路径；本实施例中，服务器包括：数据加工模块和诊断路径推导模型训练模块；其中，数据加工模块用于对系统数据进行加工，得到知识图谱。具体的，如图2所示，数据加工模块的主要工作过程包括：
首先，对影像数据和报告数据进行脱敏和归一化操作，得到半结构化数据；对医生操作数据进行删减和合并；具体的，
脱敏指的是去除其中与诊断无关的隐私信息，包括：病人姓名、病人唯一标识号、医生姓名、医院名称等等。归一化操作指的是将其表达形式进行归一化。对于影像数据，将影像根据模态(CT、MR)进行分类，对每一类进行插值来调整影像的高、宽、层厚，确保各模态内的影像大小一致。对于报告数据，归一化操作指的是将影像表现和诊断结论分别提取出来，形成半结构化的数据。对于医生操作数据，则是进行操作的删减以及合并。其中，操作删减指的是删除记录中的无效操作，包括：激活窗口、更改操作模式、已撤销的操作等等。操作合并指的是同类操作的合并，比如：多次窗口缩放、连续多次窗口平移、连续多次窗宽位调整等等。
然后，对报告数据进行关键信息提取并获取知识实体；对医生操作数据进行实体抽取，得到操作实体以及操作实体属性信息；影像数据以影像唯一识别号(ImageInstanceUID)为图像实体；具体的，
对于影像数据，以影像唯一识别号作为实体，不在此步骤中作进一步的加工。
对于报告数据，使用自然语言处理方法提取关键信息，关键信息包括：病灶位置、大小、疾病名字等等。再对提取出的关键信息进行实体消歧，从而提取出报告中的知识实体。其中，自然语言处理方法可以采用Transformer，也可以采用其他方法，本实施例不在此作限定性说明。
对于医生操作数据，以基于规则的方法进行实体抽取，提取出操作实体以及操作实体属性信息。
根据以上实体的属性，通过人工标注部分实体间的关系，再结合半监督算法补全，从而构建诊断操作知识图谱，完成加工。
基于知识实体、操作实体和图像实体的属性，通过人工标注知识实体、操作实体和图像实体的关系，结合半监督算法，得到知识图谱。并将知识图谱保存至数据库中。
诊断路径推导模型训练模块主要用于基于知识图谱进行特征提取；并基于提取的特征生成推导路径报告。如图3所示，本实施例中，诊断路径推导模型训练模块包括推导模型单元和报告生成单元；
推导模型单元主要用于对知识图谱进行特征提取，并基于提取的特征推导出诊断路径；
推导模型单元的工作过程包括：
首先，基于知识图谱，提取图像实体、操作实体与关系的特征。
结合知识图谱表示学习技术，通过神经网络提取出图像实体、操作实体和关系的特征。图像实体特征是影像数据经过VGG模型训练得到。操作实体特征和关系特征通过Word2Vec网络初步训练，再接入一层卷积层和一层池化层得到。
其次，基于关系的特征、操作实体的特征和图像实体的特征，采用图采样与聚合算法构造三元组特征；
通过图采样与聚合算法(GraphSAGE)构造包含结构信息的“实体-关系-实体”三元组特征。具体实现方式为：将“实体-关系-实体”三元组各自的特征拼接起来，通过GraphSAGE网络聚合邻域的特征，形成包含邻域信息的三元组特征。聚合函数可以采用LSTM算法或平均值算法，聚合深度为2-3层。聚合后的三元组特征为一组16维向量。
然后，以图像实体为中心，基于三元组特征，得到图注意网络模型；
以图像实体为中心，利用图注意力网络，计算图像实体特征通过注意力机制聚合邻域后的特征。得到的注意力实体特征经过三层全连接层输出一个16维的向量。将得到的这个16维的向量与上述三元组特征之前的距离作为网络的损失，通过随机梯度下降优化损失，得到图注意网络模型。
最后，基于图注意网络模型，通过LSTM网络解码，得到诊断路径；
图注意网络模型输出的16维向量通过LSTM网络解码，还原出对应的操作数据，即为根据图像和图注意网络模型推导出的诊断路径。
报告生成单元主要用于基于推导出的诊断路径生成推导路径报告。
报告生成单元的工作过程包括：
首先，基于图像实体的特征和操作实体的特征，结合注意机制，得到LSTM图像理解模型；
基于图像实体的特征和操作实体的特征，结合注意机制，输入至长短时记忆网络(LSTM)中，以输出拟合清洗加工后的报告数据进行训练。网络收敛得到基于自适应注意机制的LSTM图像理解模型。
然后，将图像实体的特征和操作实体的特征输入LSTM图像理解模型，得到图像描述；
最后，将图像描述与预先设定的模板进行匹配，从而调用相应模板，规范化并扩充图像描述，生成推导路径报告。
数据库主要用于存储系统数据和推导路径。本实施例中，数据库由资源库和特征训练库组成；其中，资源库主要以病人为中心进行建模，对报告数据、影像数据以及相应的操作数据进行匹配保存。特征训练库主要保存上述数据的关键信息或特征值以及模型和训练流程的管理信息。
实施例二
本实施例提供一种个性化医疗影像诊断路径生成方法，包括以下步骤：
S1、采集系统数据；
本实施例中，系统数据包括：影像数据、报告数据和医生操作数据；三种数据通过检查的流水号关联，一次检查对应一组数据。影像数据和报告数据直接通过相应的数据库进行抽取；医生操作数据由PACS诊断工作站记录，具体的，通过嵌入PACS诊断工作站进行系统数据采集。PACS诊断工作站是为医生提供图像诊断和报告书写的软件。嵌入之后，对医生的各种图像处理操作进行采集，包括：(1)采集医生的各种图像处理操作；例如：窗宽窗位调整、放大缩小、标注测量、三维MPR浏览操作等。(2)采集医生处理的图像。(3)采集医生完成的诊断报告。
S2、对系统数据进行清洗、加工，得到知识图谱；
对系统数据进行清洗的方法包括：
S21、对影像数据和报告数据进行脱敏和归一化操作，得到大小一致的影像和半结构化数据；对医生操作数据进行删减和合并；
具体的，脱敏指的是去除其中与诊断无关的隐私信息，包括：病人姓名、病人唯一标识号、医生姓名、医院名称等等。归一化操作指的是将其表达形式进行归一化。对于影像数据，将影像根据模态(CT、MR)进行分类，对每一类进行插值来调整影像的高、宽、层厚，确保各模态内的影像大小一致。对于报告数据，归一化操作指的是将影像表现和诊断结论分别提取出来，形成半结构化的数据。对于医生操作数据，则是进行操作的删减以及合并。其中，操作删减指的是删除记录中的无效操作，包括：激活窗口、更改操作模式、已撤销的操作等等。操作合并指的是同类操作的合并，比如：多次窗口缩放、连续多次窗口平移、连续多次窗宽位调整等等。
对系统数据进行加工的方法包括：
S22、对报告数据进行关键信息提取并获取知识实体；对医生操作数据进行实体抽取，得到操作实体以及操作实体属性信息；影像数据以影像的唯一识别号为图像实体；
具体的，对于影像数据，以影像唯一标识号作为图像实体，不在此步骤中作进一步的加工。
对于报告数据，使用自然语言处理方法提取关键信息，关键信息包括：病灶位置、大小、疾病名字等等。再对提取出的关键信息进行实体消歧，从而提取出报告中的知识实体。其中，自然语言处理方法可以采用Transformer，也可以采用其他方法，本实施例不在此作限定性说明。
对于医生操作数据，以基于规则的方法进行实体抽取，提取出操作实体以及操作实体属性信息。
根据以上实体的属性，通过人工标注部分实体间的关系，再结合半监督算法补全，从而构建诊断操作知识图谱，完成加工。
S23、基于知识实体、操作实体和图像实体的属性，通过人工标注知识实体、操作实体和图像实体的关系，结合半监督算法，得到知识图谱。
S3、基于知识图谱得到生成推导路径报告。
具体的，S3包括：
S31、基于知识图谱，提取图像实体、操作实体和关系的特征；
结合知识图谱表示学习技术，通过神经网络提取出图像实体和操作实体和关系的特征。图像实体特征是影像数据经过VGG模型训练得到。操作实体特征和关系特征通过Word2Vec网络初步训练，再接入一层卷积层和一层池化层得到。
S32、基于关系的特征、操作实体的特征和图像实体的特征，采用图采样与聚合算法构造三元组特征；
通过图采样与聚合算法(GraphSAGE)构造包含结构信息的“实体-关系-实体”三元组特征。具体实现方式为：将“实体-关系-实体”三元组各自的特征拼接起来，通过GraphSAGE网络聚合邻域的特征，形成包含邻域信息的三元组特征。聚合函数可以采用LSTM算法或平均值算法，聚合深度为2-3层。聚合后的三元组特征为一组16维向量。
S33、以图像实体为中心，基于三元组特征，得到图注意网络模型；
以图像实体为中心，利用图注意力网络，计算图像实体特征通过注意力机制聚合邻域后的特征。得到的注意力实体特征经过三层全连接层输出一个16维的向量。将得到的这个16维的向量与上述三元组特征之前的距离作为网络的损失，通过随机梯度下降优化损失，得到图注意网络模型。
S34、基于图注意网络模型，通过LSTM网络解码，得到诊断路径；
图注意网络模型输出的16维向量通过LSTM网络解码，还原出对应的操作数据，即为根据图像和图注意网络模型推导出的诊断路径。
S35、基于图像实体的特征和操作实体的特征，结合注意机制，得到LSTM图像理解模型；
基于图像实体的特征和操作实体的特征，结合注意机制，输入至长短时记忆网络(LSTM)中，以输出拟合清洗加工后的报告数据进行训练。网络收敛得到基于自适应注意机制的LSTM图像理解模型。
S36、将图像实体的特征和操作实体的特征输入LSTM图像理解模型，得到图像描述；
S37、将图像描述与预先设定的模板进行匹配，从而调用相应模板，规范化并扩充图像描述，生成推导路径报告。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.一种个性化医疗影像诊断路径生成系统，其特征在于，包括：客户端、服务器和数据库；
所述客户端用于采集系统数据和显示推导路径；
所述服务器用于对所述系统数据进行加工，并基于加工后的所述系统数据进行诊断路径推导，生成推导路径；
所述数据库用于存储所述系统数据和所述推导路径；
所述客户端包括：采集模块和路径显示模块；
所述采集模块用于采集所述系统数据；所述系统数据包括：影像数据、报告数据和医生操作数据；
所述路径显示模块用于对所述推导路径进行可视化；
所述服务器包括：数据加工模块和诊断路径推导模型训练模块；
所述数据加工模块用于对所述系统数据进行加工，得到知识图谱；
对所述影像数据和报告数据进行脱敏和归一化操作，得到大小一致的影像和半结构化数据；对所述医生操作数据进行删减和合并；
对所述报告数据进行关键信息提取并获取知识实体；对所述医生操作数据进行实体抽取，得到操作实体以及操作实体属性信息；所述影像数据以影像的唯一识别号为图像实体；
基于所述知识实体、所述操作实体和所述图像实体的属性，通过人工标注所述知识实体、所述操作实体和所述图像实体的关系，结合半监督算法，得到所述知识图谱；
所述诊断路径推导模型训练模块用于基于所述知识图谱进行特征提取；并基于提取的所述特征生成推导路径报告；
所述诊断路径推导模型训练模块包括推导模型单元和报告生成单元；
所述推导模型单元用于对所述知识图谱进行特征提取，并基于提取的所述特征推导出诊断路径；
具体的，基于所述知识图谱，提取所述图像实体、所述操作实体和所述关系的特征；
基于所述关系的特征、所述操作实体的特征和所述图像实体的特征，采用图采样与聚合算法构造三元组特征；
以所述图像实体为中心，基于所述三元组特征，得到图注意网络模型；
基于所述图注意网络模型，通过LSTM网络解码，得到诊断路径；
所述报告生成单元用于基于推导出的所述诊断路径生成所述推导路径报告；
具体的，基于所述图像实体的特征和所述操作实体的特征，结合注意机制，得到LSTM图像理解模型；
将所述图像实体的特征和所述操作实体的特征输入所述LSTM图像理解模型，得到图像描述；
将所述图像描述与预先设定的模板进行匹配，生成推导路径报告。
2.一种个性化医疗影像诊断路径生成方法，其特征在于，包括步骤：
S1、采集系统数据；
S2、对所述系统数据进行清洗、加工，得到知识图谱；
S3、基于所述知识图谱得到生成推导路径报告；所述系统数据包括：影像数据、报告数据和医生操作数据；
所述S2包括：
S21、对所述影像数据和报告数据进行脱敏和归一化操作，得到大小一致的影像和半结构化数据；对所述医生操作数据进行删减和合并；
S22、对所述报告数据进行关键信息提取并获取知识实体；对所述医生操作数据进行实体抽取，得到操作实体以及操作实体属性信息；所述影像数据以影像的唯一识别号为图像实体；
S23、基于所述知识实体、所述操作实体和所述图像实体的属性，通过人工标注所述知识实体、所述操作实体和所述图像实体的关系，结合半监督算法，得到所述知识图谱；
所述S3包括：
S31、基于所述知识图谱，提取所述图像实体、所述操作实体和所述关系的特征；
S32、基于所述关系的特征、所述操作实体的特征和所述图像实体的特征，采用图采样与聚合算法构造三元组特征；
S33、以所述图像实体为中心，基于所述三元组特征，得到图注意网络模型；
S34、基于所述图注意网络模型，通过LSTM网络解码，得到诊断路径；
S35、基于所述图像实体的特征和所述操作实体的特征，结合注意机制，得到LSTM图像理解模型；
S36、将所述图像实体的特征和所述操作实体的特征输入所述LSTM图像理解模型，得到图像描述；
S37、将所述图像描述与预先设定的模板进行匹配，生成推导路径报告。
3.根据权利要求2所述一种个性化医疗影像诊断路径生成方法，其特征在于，所述脱敏操作包括：去除病人姓名、病人唯一标识号、医生姓名、医院名称；
所述归一化操作包括：将所述影像数据根据模态进行分类，对每一类进行插值调整影像数据的高、宽、层厚；
提取所述报告数据的影像表现与诊断结论，形成半结构化的数据。
CN202310429410.7A 2023-04-20 2023-04-20 一种个性化医疗影像诊断路径生成系统及方法 Active CN116469542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310429410.7A CN116469542B (zh) 2023-04-20 2023-04-20 一种个性化医疗影像诊断路径生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310429410.7A CN116469542B (zh) 2023-04-20 2023-04-20 一种个性化医疗影像诊断路径生成系统及方法

Publications (2)

Publication Number Publication Date
CN116469542A CN116469542A (zh) 2023-07-21
CN116469542B true CN116469542B (zh) 2024-01-02

Family

ID=87178533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310429410.7A Active CN116469542B (zh) 2023-04-20 2023-04-20 一种个性化医疗影像诊断路径生成系统及方法

Country Status (1)

Country Link
CN (1) CN116469542B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109378053A (zh) * 2018-11-30 2019-02-22 安徽影联云享医疗科技有限公司 一种用于医学影像的知识图谱构建方法
WO2022041722A1 (zh) * 2020-08-28 2022-03-03 康键信息技术（深圳）有限公司 导诊数据获取方法、装置、计算机设备和存储介质
CN114330267A (zh) * 2021-12-02 2022-04-12 华中科技大学同济医学院附属协和医院 一种基于语义学关联的结构化报告模板的设计方法
CN114724704A (zh) * 2022-04-02 2022-07-08 北京赛迈特锐医疗科技有限公司 结构化报告撰写中实时展示诊断路径的方法及系统
CN115062165A (zh) * 2022-08-18 2022-09-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109378053A (zh) * 2018-11-30 2019-02-22 安徽影联云享医疗科技有限公司 一种用于医学影像的知识图谱构建方法
WO2022041722A1 (zh) * 2020-08-28 2022-03-03 康键信息技术（深圳）有限公司 导诊数据获取方法、装置、计算机设备和存储介质
CN114330267A (zh) * 2021-12-02 2022-04-12 华中科技大学同济医学院附属协和医院 一种基于语义学关联的结构化报告模板的设计方法
CN114724704A (zh) * 2022-04-02 2022-07-08 北京赛迈特锐医疗科技有限公司 结构化报告撰写中实时展示诊断路径的方法及系统
CN115062165A (zh) * 2022-08-18 2022-09-16 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于医学影像存储与传输系统的结构化报告模块的设计与实现;田军章;张雪林;江桂华;欧景才;伍平阳;洪文松;吉琳;郑丽吟;黄大江;;中华放射学杂志(第05期);全文 *

Also Published As

Publication number Publication date
CN116469542A (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US20210210179A1 (en) Evolving contextual clinical data engine for medical information
US20190220978A1 (en) Method for integrating image analysis, longitudinal tracking of a region of interest and updating of a knowledge representation
US20190051420A1 (en) Evolving contextual clinical data engine for medical data processing
CN109754886A (zh) 治疗方案智能生成系统、方法及可读存储介质、电子设备
CN107403058B (zh) 图像报告方法
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
CN110517238B (zh) Ct医学影像ai三维重建与人机交互可视化网络系统
CN111292821A (zh) 一种医学诊疗系统
CN110598722B (zh) 多模态神经影像数据自动信息融合系统
JP2010075403A (ja) 情報処理装置およびその制御方法、データ処理システム
Yang et al. Metaverse in medicine
CN116759041B (zh) 一种考虑诊疗事件关系的医疗时序数据生成方法及装置
CN115994902A (zh) 医学图像分析方法、电子设备及存储介质
JP5539478B2 (ja) 情報処理装置および情報処理方法
CN116884559A (zh) 一种基于语言模型的影像报告生成方法和系统
Tian et al. A dual discriminator adversarial learning approach for dental occlusal surface reconstruction
CN113806553A (zh) 一种中西医健康知识图谱系统及构建方法
CN116469542B (zh) 一种个性化医疗影像诊断路径生成系统及方法
JP7244974B1 (ja) 特徴分離に基づく病理画像特徴抽出器の訓練方法、訓練装置、電子機器、記憶媒体及び病理画像分類システム
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
CN111402207A (zh) 一种基于复合神经网络的超声造影视频数据分析方法
CN115775609A (zh) 一种基于人工智能的患者画像系统
US20230102428A1 (en) Generating reports from scanned images
Shen et al. Parallel medical imaging: An ACP-based approach for intelligent medical image recognition with small samples
Yu et al. Research on 3D Medical Image Segmentation based on improved 3D-Unet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant