CN115062165B - 基于读片知识图谱的医学影像诊断方法及装置 - Google Patents

Abstract

本发明属于智能医疗诊断技术领域，具体涉及一种基于读片知识图谱的医学影像诊断方法及装置，本发明构建一种医学影像的影像特征和病变位置的读片知识图谱，并通过读片知识图谱指导，实现通过一张图像智能化诊断所有可能疾病；本发明构建一种医学影像智能化诊断框架，在先验知识驱动下，利用医学图像、诊断报告、患者基本信息分步生成检查所见、检查印象，实现智能化诊断过程合理性、可解释性；本发明生成结构化检查所见，为下游的医学影像领域人工智能研究提供高质量数据支持。

Description

基于读片知识图谱的医学影像诊断方法及装置

技术领域

本发明属于智能医疗诊断技术领域，具体涉及一种基于读片知识图谱的医学影像诊断方法及装置。

背景技术

医学影像检查是现代临床医学的重要组成部分，为临床疾病筛查、病灶的定位及定性诊断、临床治疗方案的选择、疾病的分期及预后评估等提供了重要依据。目前，临床仍然采用人工方式进行医学图像阅览，并撰写相应的图像报告，然而这种方式会导致医学图像报告的生成效率较低，且随着医学影像技术的飞速发展，医学影像数据量呈指数级增长，给放射科医生带来了巨大的工作负荷，也容易产生因为疲劳导致诊断错误。人工读片费时费力，已经无法满足当下患者大规模高质量诊疗需求，成了阻碍医学影像学领域发展的一个瓶颈。如何有效的提取影像中有价值的信息来辅助影像诊断是一项巨大的挑战。

早在上个世纪六十年代，人们发现计算机在许多方面的性能要远远优于人类，继而打算将计算机应用到医学图像领域，实现自动化计算机诊断(Automated ComputerDiagnosis，ACD)，其目的是让计算机完全取代人类在医学图像中的角色。然而，经过长达几十年的不懈努力，人们发现以当时的技术水平远远无法实现这个理想化的目标。到了上世纪八十年代，人们开始转变观念，在ACD的基础上提出了计算机辅助诊断（ComputerAidedDiagnosis，CAD）的概念。与ACD相比，CAD不再是为了替代专业医生，而是希望作为医生的助手。有了CAD，放射科医生就可以把计算机的输出作为“第二意见”，辅助医生做出最后的决定。研究发现，CAD可以提高放射科医生诊断准确性和效率，已广泛应用于多种疾病诊断，包括乳腺癌、肺结核、肺炎、气胸等。

读片知识图谱是一种应用于医学影像学人工智能诊断的专业知识图谱。知识图谱是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系。其本质上是一种大规模的语义网络，其主要目的是对真实世界里实体或概念之间的关联关系进行描述，广泛应用于包括医学在内的各个行业。医学知识图谱可以将各种医疗信息系统中琐碎、零散的知识相互连接，对信息进行分析，进行支持医疗信息获取、医疗文本消歧、综合性知识检索以及问答、辅助决策支持、疾病风险估计等智能医疗应用。读片知识图谱是应用于医学影像学专业的一种医学知识图谱，旨在利用结构化的语义知识库描述影像专科医生在临床读片过程中的读片思维、涉及的相关医学知识及其相互关系，主要应用于医学影像学人工智能诊断的相关研究和系统开发。读片知识图谱主要是通过医学影像教科书、医学影像报告检查所见、学术期刊、百科类网站等非结构化数据源结合专业影像科医生的先验知识来建模临床医生的读片思维、获取相关的医学知识及其相互关系，再将疾病的影像表现特性及其相关专业知识作为节点收集，继而通过知识抽取、知识融合、知识更新等自然语言处理方式获取知识图谱的实体、实体之间的关系以及实体和关系的属性，并利用图数据库进行存储。

医学影像智能化诊断是将人工智能技术具体应用在医学影像的诊断上，主要方法是通过对大量的影像数据和诊断数据，不断对神经元网络进行深度学习训练，促使其掌握“诊断”的能力，给出对应的检查报告。而医学影像检查报告至少包括三个主要部分：第一部分是影像“检查所见”，即影像科医生根据从影像图像中观察到的信息，按照一定格式描述的影像特征集合，包括正常的描述以及异常的描述；第二部分是影像“检查印象”，即影像科医生综合影像特征信息以及临床相关信息给予病人的诊断结果。第三部分是患者基本信息，包括性别、年龄等。

现有技术的缺陷和不足：

（1）医学影像数据实际上包括影像和影像报告，单单分析影像本身还不够，更重要的是对影像本身所对应的诊断报告也加以分析。而影像诊断报告呈现出因医生而异的显著特点，由于影像诊断医生的个人习惯、执业医院、教育背景等因素导致了不同地区不同医院的影像报告不同标准的情况。另外，影像报告质量几乎完全依赖于医生的检查水平和经验，报告质量难以得到控制和保障；

（2）现有的检查所见绝大部分都是非结构化数据，其缺陷是数据冗长、复杂且描述顺序无规律，无法满足医疗数据分析；

（3）现有技术只是简单应用计算机视觉领域的成熟模型，没能充分挖掘知识图谱等专业知识的引导和驱动作用；

（4）目前CAD往往关注某一种或几种疾病，没有涵盖医学影像图像上可观测的大部分疾病，即使同时关注几十上百种不同疾病特征，然而未关注疾病定位信息，难以用作临床实践；

（5）现有技术没有充分结合影像报告的医学特征和语义特征，缺乏对医学报告生成有针对性的工作，单纯通过训练模型来强行将影像图像特征和报告文本特征进行对齐，导致生成的报告质量不高、可解释性不强、临床意义有限；

（6）现有技术往往只研究检查所见的生成，报告缺乏完整性。

发明内容

鉴于上述现有技术的不足，本发明的目的是提供一种能够结合读片知识图谱生成完成检查报告的基于读片知识图谱的医学影像诊断方法及装置。

为实现上述目的及其他相关目的，本发明提供一种基于读片知识图谱的医学影像诊断方法，包括如下步骤：

获取待诊患者的待诊医学图像和临床信息；

采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见；所述病变信息包括异常影像特征和/或病变位置；所述异常影像特征和所述病变位置被包含在预先构建的读片知识图谱中，所述读片知识图谱包括多种异常影像特征和多种病变位置，各所述异常影像特征和各所述病变位置相互关联；所述结构化检查所见是表示所述病变信息的词组；

根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见，所述规范化检查所见是包含所述病变信息的语句；

将所述临床信息与所述规范化检查所见或所述结构化检查所见输入到深度学习模型中，得到检查印象，所述检查印象是至少包含针对所述病变信息而给出的就诊建议的语句；

对所述临床信息、所述规范化检查所见和所述检查印象进行整合，生成医学影像诊断报告。

在本发明的一可选实施例中，所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤包括：

将所述待诊医学图像输入到图像分类模型中，获取第一类目标病变的异常影像特征，所述第一类目标病变是指所述图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以内的目标病变。

在本发明的一可选实施例中，所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤还包括：

将所述待诊医学图像输入到图像分割模型中，得到所述待诊患者身体组织的解剖学图像；

计算代表所述第一类目标病变分布区域的热力图；将所述第一类目标病变分布区域的热力图与所述待诊患者身体组织的解剖学图像叠加，获得所述第一类目标病变的病变位置。

在本发明的一可选实施例中，所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤还包括：

将所述待诊医学图像输入到目标检测模型，获取第二类目标病变的异常影像特征和病变区域信息，所述第二类目标病变是指所述图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以外的目标病变。

在本发明的一可选实施例中，所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤还包括：

将所述待诊医学图像输入到图像分割模型中，得到所述待诊患者身体组织的解剖学图像；

根据所述病变区域信息和所述待诊患者身体组织的解剖学图像确定所述第二类目标病变的病变位置。

在本发明的一可选实施例中，所述图像分类模型采用如下方法训练获得：

获取医学影像样本，所述医学影像样本包括医学图像及其对应的规范化检查所见；根据所述读片知识图谱和所述医学影像样本的规范化检查所见对所述医学影像样本进行标注，得到所述医学影像样本对应的病变信息结构化标签；

利用所述医学影像样本及其对应的病变信息结构化标签对图像分类模型进行训练，直至训练的平均损失值小于预设的阈值。

在本发明的一可选实施例中，所述根据所述读片知识图谱和所述医学影像样本的规范化检查所见对所述医学影像样本进行标注，得到所述医学影像样本对应的病变信息结构化标签的步骤包括：

获取已经被标注出病变信息结构化标签的医学影像样本；

利用已经被标注出病变信息结构化标签的医学影像样本的规范化检查所见和病变信息结构化标签对自然语言处理模型进行训练；

将未经标注的医学影像样本的规范化检查所见输入到所述自然语言处理模型中，获得所述医学影像样本的病变信息结构化标签；

建立所述医学影像样本中所述医学图像和所述病变信息结构化标签的对应关系。

在本发明的一可选实施例中，所述目标检测模型采用如下方法训练获得：

根据所述图像分类模型的ROC曲线的AUC值，确定所述第二类目标病变的类型；

获取医学影像样本，所述医学影像样本包括医学影像及其对应的结构化检查所见；根据所述第二类目标病变的类型在所述医学影像样本的医学图像上标注出所述第二类目标病变的位置；

利用标注的所述医学图像对目标检测模型进行训练，直至损失值小于预设的阈值。

在本发明的一可选实施例中，所述根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见的步骤包括：

根据预设的读片知识图谱接口函数，确定与所述结构化检查所见对应的所述读片知识图谱的节点信息；所述节点信息包括节点属性和节点之间的关系；

调用所述节点信息，生成规范化检查所见。

在本发明的一可选实施例中，所述深度学习模型采用如下方法训练获得：

获取医学影像样本，所述医学影像样本包括规范化检查所见、检查印象和患者临床信息；

提取所述医学影像样本中规范化检查所见、检查印象和患者临床信息的文本特征；

将规范化检查所见和患者临床信息作为自然语言翻译模型的输入，将检查印象作为所述自然语言翻译模型的输出，利用所述医学影像样本的规范化检查所见、检查印象和患者临床信息的文本特征对所述自然语言翻译模型进行训练，直至训练的损失值小于预设的阈值。

为实现上述目的及其他相关目的，本发明还提供一种基于读片知识图谱的医学影像诊断装置，包括：

数据获取模块，用于获取待诊患者的待诊医学图像和临床信息；

结构化检查所见生成模块，采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见；

规范化检查所见生成模块，用于根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见，所述规范化检查所见是包含所述病变信息的语句；

检查印象生成模块，用于将所述临床信息与所述规范化检查所见或所述结构化检查所见输入到经过训练的深度学习模型中，得到检查印象，所述检查印象是至少包含针对所述病变信息而给出的就诊建议的语句；

诊断报告生成模块，用于对所述临床信息、所述规范化检查所见和所述检查印象进行整合，生成医学影像诊断报告。

本发明的技术效果在于：本发明构建一种医学影像的影像特征和病变位置的读片知识图谱，并通过读片知识图谱指导，实现通过一张图像智能化诊断所有可能疾病；本发明构建一种医学影像智能化诊断框架，在先验知识驱动下，利用医学图像、诊断报告、患者基本信息分步生成检查所见、检查印象，实现智能化诊断过程合理性、可解释性；本发明生成结构化检查所见，为下游的医学影像领域人工智能研究（如图像检索、患者风险评估等）提供高质量数据支持。

附图说明

图1是本发明的实施例所提供的基于读片知识图谱的医学影像诊断方法的流程图；

图2是本发明的实施例所提供的结构化检查所见生成方法的流程图；

图3是本发明的实施例所提供的图像分类模型的训练流程图；

图4是本发明的实施例所提供的医学影像样本的标注流程图；

图5是本发明的实施例所提供的目标检测模型的训练流程图；

图6是本发明的实施例所提供的规范化检查所见生成流程图；

图7是本发明的实施例所提供的自然语言翻译模型的训练流程图；

图8是本发明的实施例所提供的基于读片知识图谱的医学影像诊断装置的结构框图；

图9是本发明的实施例所提供的电子设备的结构框图；

图10是本发明的实施例所提供的诊断报告生成过程的整体流程图；

图11是本发明的实施例所提供的读片知识图谱的部分信息示意图；

图12是本发明的实施例所提供的规范化检查所见生成过程的具体流程图；

图13是本发明的实施例所提供的病变位置确定方法的流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1-13。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

图1示出了本发明的医学影像诊断方法的较佳实施例的流程图。

所述医学影像诊断方法应用于一个或者多个电子设备中，所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital SignalProcessor，DSP)、嵌入式设备等。

所述电子设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。

所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。

所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。

下面将结合图1-13来详细阐述本发明的医学影像诊断方法，该医学影像诊断方法例如可应用于智能医疗诊断流程中的医学影像报告的自动生成。

请参阅图1所示，一种基于读片知识图谱的医学影像诊断方法，包括如下步骤：

S1：获取待诊患者的待诊医学图像和临床信息；

S2：采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见；所述多算法融合包括但不限于图像分割算法、图像分类算法和图像目标检测算法，所述病变信息包括异常影像特征和/或病变位置；所述异常影像特征和所述病变位置被包含在预先构建的读片知识图谱中，所述读片知识图谱包括多种影像特征和多种病变位置，各所述影像特征和各所述病变位置相互关联；所述结构化检查所见是表示所述病变信息的词组；

S3：根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见，所述规范化检查所见是包含所述病变信息的语句；可以理解的是，这一步是将表示所述病变信息的词组转换为语句的过程，这种转换例如可以遵循一种预设好的语义组合规则，例如结构化检查所见为“肺纹理-增粗-左肺”，其转换成规范化检查所见为“左肺肺纹理增粗”，这种语义组合规则并不是固定的，只要符合一般人的理解习惯即可。为进一步提升诊断信息的规范性，所述规范化检查所见还可以包括正常信息，例如“两侧胸廓对称，所有骨质未见明显异常”。

S4：将所述临床信息与所述规范化检查所见或所述结构化检查所见输入到经过训练的深度学习模型中，得到检查印象，所述检查印象是至少包含针对所述病变信息而给出的就诊建议的语句；

S5：对所述临床信息、所述规范化检查所见和所述检查印象进行整合，生成医学影像诊断报告。

以下结合一种具体实施例对本发明所述读片知识谱图的结构以及构建过程进行说明：

（1）知识类别的划分，获取一定数量的影像学检查报告，抽取每一份检查报告中的基础信息，并对每一份检查报告知识分类，将其划分至检查项目、影像特征、病灶位置3个类别中。

（2）检查项目实体设计，将影像检查、检查模式及具体检查项目设为实体，并为实体设计名称、编码、层级等3个属性；以胸部正位片为例，将检查模式设置为x线检查，检查模式设置为胸部正位片。

（3）影像特征实体设计，通过医学影像教科书、医学影像报告检查所见、学术期刊、百科类网站等非结构化数据源结合专业影像科医生的先验知识，将疾病影像表现特性及其相关专业知识作为节点收集，通过知识抽取、知识融合、知识更新等自然语言处理方式获取知识图谱的实体、实体之间的关系以及实体和关系的属性，并根据异常影像征象之间的关系，构建多层知识图谱。在胸部正位片中，将胸廓、气管及纵膈、肺纹理、肺实质、肺门、心影、主动脉、膈面、肋膈角、胸膜及胸腔、骨骼、体内异物12类解剖结构作为一级节点实体。将第一层节点的影像特征作为第二层节点，以肺实质为例，如团块、空洞等作为肺实质的二级节点。将部分二级节点的细节特征作为三级节点，如二级节点团块的细节特征分叶、毛刺、钙化，空洞的薄壁、厚壁、气液平面等作为三级节点。

（4）病变位置实体设计，根据异常影像征象提取位置信息，根据位置信息精细程度分层。如将病变位置设计为肺野、主动脉、膈面、肺动脉、肺门、肋膈角、纵膈、胸膜、胸腔、骨骼10类作为位置一级节点。在一级节点下划分二级节点，如将肺叶划分为左肺上野、左肺中野、左肺下野、右肺上野、右肺中野、右肺下野。在部分二级节点下划分三级节点，如左肺上野划分为左肺上野内带、左肺上野中带和左肺上野外带。将一级节点设计为名称、编码、层级、顺序、分隔符、子节点全部选中描述、部分子节点选中描述、无子节点选中描述等8个属性；其子节点设计为名称、编码、层级、顺序、分隔符、子节点全部选中描述、部分子节点选中描述、无子节点选中描述等8个属性；叶子节点设计为名称、编码、层级、顺序、分隔符、无子节点选中描述等6个属性。

（5）在关系设置中，将实体间的关系设计为“检查项目-检查项目子类”、“影像特征-影像特征子类”、“病变位置-病变位置子类”、“检查项目-影像特征”、“影像特征-病变位置”5类关系，并将“检查项目-检查项目子类”关系设计为关系名称、关系编号、关系类型3个属性，将“影像特征-影像特征子类”关系设计为关系名称、关系编号、关系类型3个属性，将“病变位置-病变位置子类”关系设计为关系名称、关系编号、关系类型3个属性，将“检查项目-影像特征”关系设计为关系名称、关系编号、关系类型3个属性，将“影像特征-病变位置”关系设计为关系名称、关系编号、关系类型3个属性。

（6）构建读片知识图谱，通过上述步骤获取的实体、属性、属性值及关系，使用Neo4j图数据库工具构建医学影像读片知识图谱并将其保存在图数据库中。

请参阅图2所示，在一具体实施例中所述步骤S2的包括：

S21：将所述待诊医学图像输入到经过训练的图像分割模型中，得到所述待诊患者身体组织的解剖学图像；

S22：将所述待诊医学图像输入到经过训练的图像分类模型中，获取第一类目标病变的异常影像特征，并计算代表所述第一类目标病变分布区域的热力图；将所述第一类目标病变分布区域的热力图与所述待诊患者身体组织的解剖学图像叠加，获得所述第一类目标病变的病变位置；所述经过训练的图像分类模型包括与预设的所述读片知识图谱对应的多个分类节点，每个所述分类节点表示一种目标病变；所述第一类目标病变是指所述经过训练的图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以内的目标病变；在一具体实施例中，将AUC值大于或等于0.8的目标病变作为第一类目标病变。

S23：将所述待诊医学图像输入到经过训练的目标检测模型，获取第二类目标病变的异常影像特征和病变区域信息，根据所述病变区域信息和所述待诊患者身体组织的解剖学图像确定所述第二类目标病变的病变位置；所述第二类目标病变是指所述经过训练的图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以外的目标病变；在一具体实施例中，将AUC值小于0.8的目标病变作为第二类目标病变。

可以理解的是，ROC曲线是用于判断分类模型预测准确率的数学工具，其横坐标表示假阳性率，纵坐标表示真阳性率。AUC值表示ROC曲线的曲线下面积，AUC值越大，表示模型预测结果的可信度越高。

S24：根据所述第一类目标病变的异常影像特征和病变位置以及所述第二类目标病变的异常影像特征和病变位置，生成所述结构化检查所见。

可以理解的是，对于某些病变而言，其本身呈现出分散特性，因此无法对其具体位置进行描述，对于此类病变，其病变信息可以仅包含异常影像特征，而不包含病变位置。

请参阅图3所示，在一具体实施例中，所述步骤S22中经过训练的图像分类模型采用如下方法获得：

S221：获取医学影像样本，所述医学影像样本包括医学图像及其对应的规范化检查所见；根据所述读片知识图谱和所述医学影像样本的规范化检查所见对所述医学影像样本进行标注，得到所述医学影像样本对应的病变信息结构化标签；

S222：对所述医学影像样本及其病变信息结构化标签进行分组，将一部分医学影像样本及其病变信息结构化标签作为训练集，将另一部分医学影像样本及其病变信息结构化标签作为验证集；

S223：利用所述训练集对所述图像分类模型进行训练，直至训练的平均损失值小于预设的阈值；

S224：将所述验证集输入到经过训练的图像分类模型中，并根据预测结果计算所述经过训练的图像分类模型的各分类节点的ROC曲线，及其AUC值。

请参阅图4所示，在一具体实施例中，所述步骤S221包括：

S2211：根据所述读片知识图谱和所述医学影像样本的规范化检查所见对部分所述医学影像样本进行手动标注，获得这部分医学影像样本的病变信息结构化标签；

S2212：利用手动标注的医学影像样本的规范化检查所见和病变信息结构化标签对自然语言处理模型进行训练，得到经过训练的自然语言处理模型；

S2213：将其余医学影像样本的规范化检查所见输入到所述经过训练的自然语言处理模型中，获得其余医学影像样本的病变信息结构化标签；

S2214：建立所述医学影像样本中所述医学图像和所述病变信息结构化标签的对应关系。

请参阅图5所示，所述步骤S23中经过训练的目标检测模型采用如下方法获得：

S231：根据所述经过训练的图像分类模型的各分类节点的ROC曲线的AUC值，确定所述第二类目标病变的类型；

S232：获取医学影像样本，所述医学影像样本包括医学图像及其对应的规范化检查所见；在所述医学影像样本的医学图像上标注出所述第二类目标病变的位置；

S233：利用标注的所述医学图像对目标检测模型进行训练，直至损失值小于预设的阈值。

请参阅图6所示，在一具体实施例中，所述步骤S3包括：

S31：获取生成的结构化检查所见；

S32：根据预设的读片知识图谱接口函数，确定与所述结构化检查所见对应的所述读片知识图谱的节点信息；所述节点信息包括节点属性和节点之间的关系；

S33：调用所述节点信息，按照预先定义好的语序规则生成规范化检查所见。

具体的，根据传入的检查项目名称，判断影像特征类别下面的一级节点列表，循环遍历一级节点列表，判断当前节点是否被选中，如果未被选中，返回一级节点的正常描述属性，否则判断当前节点下的子节点列表并返回该级节点的检查所见描述。遍历被选中一级节点下二级节点列表，判断当前节点是否被选中，如果节点被选中，获取节点的位置信息，若没有，返回空字符串，获取二级节点的异常描述信息，并获取二级节点的病变细节特征描述信息，合成节点的描述并返回。按照节点名称、节点正常描述或者节点异常描述、节点分隔符顺序进行拼接，最终返回规范化检查所见。如输入“气管-欠居中-左偏”“肺实质-团块影-类圆形”“肺实质-团块影-左肺-左肺下野”，返回“两侧胸廓对称，所见骨质未见异常；气管左偏；纵膈居中；两肺纹理清晰；左肺下野见类圆形团块影；余未见明显异常”。

请参阅图7所示，所述步骤S4中经过训练的深度学习模型采用如下方法获得：

S41：获取医学影像样本，所述医学影像样本包括规范化检查所见、检查印象和患者临床信息；

S42：提取所述医学影像样本中规范化检查所见、检查印象和患者临床信息的文本特征；

S43：将规范化检查所见和患者临床信息作为自然语言翻译模型的输入，将检查印象作为所述自然语言翻译模型的输出，利用所述医学影像样本的规范化检查所见、检查印象和患者临床信息的文本特征对所述自然语言翻译模型进行训练，直至训练的损失值小于预设的阈值。

请参阅图10-13所示，在一具体实施例中，所述图像分割模型由U-Net网络构成，分割模型旨在生成与读片知识图谱疾病特征一级节点相对应的正常解剖结构，包括24根肋骨、双侧肺叶、双侧肩胛骨、双侧锁骨、气管、纵膈。

图像分割模型训练步骤和原理如下：

使用Labelme图像标注工具标注图像，获取分割图像标注数据集。

使用两个3×3的卷积操作提取图像特征，每个卷积层后使用一个修正线性单元(ReLU)和一个2×2最大池操作，步长为2，实现图像尺寸的收缩，该过程重复五次。

使用步长为2的反卷积层扩大特征图，得到的特征图与特征提取阶段对应的特征图进行拼接，后续操作同特征提取阶段，使用两个3×3的卷积操作进行特征提取，并使用ReLU激活函数进行激活，该过程相应重复4次；

使用Softmax激活函数进行激活，输出分割结果，结果与读片知识图谱疾病特征一级节点相对应的正常解剖结构。

在一具体实施例中，图像分类模型由Transform构成，依据读片知识图谱影像特征三层节点框架，设计多层多标签分类器，针对每一层节点分别训练不同分类器。以胸部正位片为例，第一层包括12节点，训练1个输出12类标签分类器；第二层节点根据相连第一层节点数量，训练多标签分类器，共12个；对于三级节点，根据二级节点数量训练多标签分类器，共5个。

图像分类模型的训练过程和工作原理如下：

获取已标注的医学影像训练数据，数据包括医学图像及对应的结构化标签。

使用Transformer的编码器模块作为特征提取器，从影像图片中提取特征矩阵：

；

其中，d、h和w分别代表特征矩阵的维数，高度和宽度。

融合注意力机制与Softmax分类器，对提取到的特征矩阵进行线性分类处理。

整合各个节点对应的模型训练结果，以对应的验证集为评估数据集，并把损失值最小的模型参数保存到读片知识图谱数据库中，同时根据约登指数法保存验证集的ROC曲线对应模型的最佳阈值。

输出预测结果，将各节点的预测值按照对应的最佳阈值来进行分类处理，预测值大于最佳阈值则说明当前节点为阳性，反之为阴性。

所述医学影像训练数据获取步骤包括：

获取医学影像数据，所述医学影像数据包括图像数据和对应的检查报告；

对获取的医学影像数据进行预处理，包括数据脱敏和清洗；

根据预先构建的读片知识图谱，对医学影像数据进行标注，得到标注数据集；

根据读片知识图谱的疾病特征节点类型划分子数据集，图谱节点阳性样本抽样，遍历读片知识图谱疾病特征类型的每一个节点，从总数据集中取出所有该节点异常的样例；图谱节点阴性样本抽样，从总数据集中取出该节点对应正常的样例；各节点的子数据集由该节点的正常样例和异常样例所组成。

对各个节点的子数据集进行随机划分训练集、验证集和测试集。

所述医学影像数据标注方法包括：

获取待标注的医学影像报告，所述待标注的医学影像报告包括医学图像及对应的检查所见和检查印象；

对所述待标注的医学影像报告进行预处理；

依据预先构建的读片知识图谱影像特征第一层节点及标点符号对获取的部分检查所见数据进行手动分句，得到分句训练数据集；

例如在胸片正位片中，知识图谱影像特征第一级节点包含胸片上异常局灶观测位置，分为胸廓、气管及纵隔、肺纹理、肺门、肺实质、主动脉、心影、胸膜及胸腔、膈面、肋膈角、骨骼及体内异物12个节点。将检查所见依据知识图谱一级节点及预定标点符号如“，”、“；”“：”和“。”手动分句。例如“胸廓对称，气管受压左偏。两肺纹理增多，肺实质内未见明显异常改变。双侧肺门密度增高，心影大小形态未见明显异常，主动脉弓可见弧形钙化影，双侧膈面光整，肋膈角清晰锐利。”分句结果是“（胸廓对称），（气管受压左移）。（两肺纹理增多），（肺实质内未见明显异常改变）。（双侧肺门密度增高），（心影大小形态未见明显异常），（主动脉弓可见弧形钙化影），（双侧膈面光整），（肋膈角清晰锐利）”。

输入余下检查所见数据到预训练好的分句模型中，得到检查所见的分句结果；

统计句子的句频，根据句频从高到低将句子分为常用句子与不常用句子；并去除包含比较信息、无法解释或未提及任何放射学检查结果或诊断的句子。

依据读片知识图谱确定每个分句结果中目标实体、每个实体之间的实体关系，并根据每个分句结果中每个实体之间的关系，获得所述检查所见的结构化文本；

抽取待标注分句结果目标实体，所述目标实体标签包括异常影像特征的描述及其病变区域。以胸部正位片检查所见描述“气管受压左偏”为例，该句目标实体为“气管”。用该目标实体与预先构建好的多层读片知识库中的第一层节点匹配，显然“气管”可以匹配。提取所述检查所见描述的影像特征“左偏”，遍历读片知识图谱目标标签所属第一级节点下的叶子节点，提取该影像特征对应的属性、属性值及“实体-属性-属性值”三元组层次关系，根据每个分句结果中“实体-属性-属性值”三元组关系，获得所述待标注检查所见分句结果的结构化文本，最终该分句输出结果为“气管-欠居中-左偏”。

建立医学图像和结构化检查所见的对应关系，即每个医学图像对应着N（≥0）个结构化标签，当N=0时，表示正常（即图像中未见异常）。

本实施例中，将手工分句的数据作为BERT模型的训练集；对训练集做字词编码，作为BERT模型的输入；将编码后的字词向量输入多层Encode模块，使用多头注意力机制迭代训练；应用Softmax回归模型的分布函数P（y=j|x），计算输入样本x属于j个类别的概率；通过交叉熵损失函数计算损失并更新模型参数，直到损失值下降到预设的阈值，完成模型训练。

本实施例中，目标检测模型由YOLO v5训练而得，对于多标签分类器分类效果差（AUC<0.80）、节点数量少（训练样本<1000）、可通过手动图像注释获取训练集的节点使用目标检出模型预测；使用make-sense图像注释工具，获取标注数据集；把输入图像划分为13×13个相同大小的网格,如果一个物体的中心落在某网格内,则相应网格负责检测该物体；每个网格预测2个物体框, 包括每个框的位置信息(x,y,h,w)和IOU(intersection overunion) 值表示的包含物体的置信度；对每个网格检测的物体进行2个类别的预测,用相应的概率分数表示。

第二目标病变的位置通过如下方法确定：

通过分类模型获取热力图，在多标签分类器中添加类激活映射（ClassActivation Mapping，CAM），通过类激活映射可以将分类的输出映射回原图上，将输入图像生成类激活的热力图。

通过预先划定阈值筛选热力图上最相关的区域，然后与图像分割模型生成正常解剖解构结果（包括24根肋骨、双侧肺叶、双侧肩胛骨、双侧锁骨、气管、纵膈）叠加在一起，最终结果作为异常影像特征的位置信息。

目标检测模型输出的目标位置作为异常影像特征的位置信息。

本实施例中，所述检查检查印象生成模型由Transformer的解码器模块组成；其训练步骤包括：获取医学影像数据，数据包括规范化检查所见、检查印象和患者临床信息，如年龄、性别；划分训练、验证数据集和测试集；获取文本特征，用预先建立的专业医学术语中文词典，对输入信息进行分字或词，获取字或词特征表示；多头注意力机制计算规范化检查所见内部的关联，并给予注意力高的字词更大的权重；对规范化检查所见和患者临床信息进行归一化处理，并通过前馈网络进行传播；通过Softmax函数计算每个时间步最大的概率值，最大概率值对应的字或词，即为该时间步的生成内容，据此，可以逐步生成完整的检查印象；利用生成的检查印象，计算医学影像检查印象自动化生成网络的损失函数值，根据损失值不断更新网络参数，直到网络收敛；获取生成的检查印象。

本发明中，图像分类模型Transformer可由CNN+RNN、GRU等代替；目标检测模型YOLO可由SSD、Fast R-CNN、Faster R-CNN等代替；U-Net可以由FNC、Mask R-CNN等相似功能模型代替；分句模型中BERT方法可以由其他自然语言处理方法代替；通过调用读片知识图谱节点属性生成规范化检查所见方法可以调用预先设置句子词典方法代替。检查印象生成模型Transformer的解码器可以由其他相似文本生成模型如RNN代替。

需要说明的是，上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包含相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

如图8所示，是本发明的医学影像诊断装置的较佳的实施例的功能模块图。所述医学影像诊断装置包括：数据获取模块10、结构化检查所见生成模块20、规范化检查所见生成模块30、检查印象生成模块40和诊断报告生成模块50。所述本发明所称的模块是指一种能够被处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。

所述数据获取模块10用于获取待诊患者的待诊医学图像和临床信息；

所述结构化检查所见生成模块20用于采用图像识别算法对所述待诊医学图像进行处理，得到病变信息，并根据所述病变信息生成结构化检查所见；所述病变信息包括异常影像特征和/或病变位置；所述异常影像特征和所述病变位置被包含在预先构建的读片知识图谱中；所述结构化检查所见是包含所述病变信息的词组；

所述规范化检查所见生成模块30用于根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见，所述规范化检查所见是包含所述病变信息的语句；

所述检查印象生成模块40用于将所述临床信息与所述规范化检查所见或所述结构化检查所见输入到经过训练的深度学习模型中，得到检查印象，所述检查印象是至少包含针对所述病变信息而给出的就诊建议的语句；

所述诊断报告生成模块50用于对所述临床信息、所述规范化检查所见和所述检查印象进行整合，生成医学影像诊断报告。

需要说明的是，本实施例的医学影像诊断装置是与上述医学影像诊断方法相对应的装置，医学影像诊断装置中的功能模块或者分别对应医学影像诊断方法中的相应步骤。本实施例的医学影像诊断装置可与医学影像诊断方法相互相配合实施。相应地，本实施例的医学影像诊断装置中提到的相关技术细节也可应用在上述医学影像诊断方法中。

需要说明的是，上述的各功能模块实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的部分或全部步骤，或以上的各功能模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

如图9所示，是本发明实现医学影像诊断方法的较佳实施例的电子设备的结构示意图。

所述电子设备可以包括存储器200、处理器100和总线，还可以包括存储在所述存储器200中并可在所述处理器100上运行的计算机程序，例如医学影像诊断程序。

其中，存储器200至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。存储器在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡（Smart Media Card, SMC）、安全数字（Secure Digital, SD）卡、闪存卡（Flash Card）等。进一步地，存储器还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器不仅可以用于存储安装于电子设备的应用软件及各类数据，例如医学影像诊断程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器内的程序或者模块（例如执行医学影像诊断程序等），以及调用存储在所述存储器内的数据，以执行电子设备的各种功能和处理数据。

所述处理器执行所述电子设备的操作系统以及安装的各类应用程序。所述处理器执行所述应用程序以实现上述各个医学影像诊断方法实施例中的步骤，例如图所示的步骤。

示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述电子设备中的执行过程。例如，所述计算机程序可以被分割成数据处理模块，精确匹配模块、模糊匹配模块。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述医学影像诊断方法的部分功能。

总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器以及至少一个处理器等之间的连接通信。

综上所述，本发明提供一种实现计算机智能化诊断的通用人工智能方法，适用于X线、CT、MRI等多种医学影像数据。本发明的技术效果包括：构建一种医学影像图像异常表现的读片知识图谱，并通过读片知识图谱指导，实现通过一张图像智能化诊断所有可能疾病。构建一种医学影像智能化诊断框架，在先验知识驱动下，利用医学图像、诊断报告、患者基本信息分步生成检查所见、检查印象，实现智能化诊断过程合理性、可解释性。生成规范化检查所见，为下游的医学影像领域人工智能研究（如图像检索、患者风险评估等）提供高质量数据支持。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种基于读片知识图谱的医学影像诊断方法，其特征在于，包括如下步骤：

获取待诊患者的待诊医学图像和临床信息；

采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见；所述病变信息包括异常影像特征和/或病变位置；所述异常影像特征和所述病变位置被包含在预先构建的读片知识图谱中，所述读片知识图谱包括多种异常影像特征和多种病变位置，各所述异常影像特征和各所述病变位置相互关联；所述结构化检查所见是表示所述病变信息的词组；

根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见，所述规范化检查所见是包含所述病变信息的语句；

将所述临床信息与所述规范化检查所见或所述结构化检查所见输入到深度学习模型中，得到检查印象，所述检查印象是至少包含针对所述病变信息而给出的就诊建议的语句；

对所述临床信息、所述规范化检查所见和所述检查印象进行整合，生成医学影像诊断报告；

所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤包括：

将所述待诊医学图像输入到图像分类模型中，获取第一类目标病变的异常影像特征，所述第一类目标病变是指所述图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以内的目标病变；

将所述待诊医学图像输入到目标检测模型，获取第二类目标病变的异常影像特征和病变区域信息，所述第二类目标病变是指所述图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以外的目标病变。

2.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法，其特征在于，所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤还包括：

将所述待诊医学图像输入到图像分割模型中，得到所述待诊患者身体组织的解剖学图像；

计算代表所述第一类目标病变分布区域的热力图；将所述第一类目标病变分布区域的热力图与所述待诊患者身体组织的解剖学图像叠加，获得所述第一类目标病变的病变位置。

3.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法，其特征在于，所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤还包括：

将所述待诊医学图像输入到图像分割模型中，得到所述待诊患者身体组织的解剖学图像；

根据所述病变区域信息和所述待诊患者身体组织的解剖学图像确定所述第二类目标病变的病变位置。

4.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法，其特征在于，所述图像分类模型采用如下方法训练获得：

获取医学影像样本，所述医学影像样本包括医学图像及其对应的规范化检查所见；根据所述读片知识图谱和所述医学影像样本的规范化检查所见对所述医学影像样本进行标注，得到所述医学影像样本对应的病变信息结构化标签；

利用所述医学影像样本及其对应的病变信息结构化标签对图像分类模型进行训练，直至训练的平均损失值小于预设的阈值。

5.根据权利要求4所述的基于读片知识图谱的医学影像诊断方法，其特征在于，所述根据所述读片知识图谱和所述医学影像样本的规范化检查所见对所述医学影像样本进行标注，得到所述医学影像样本对应的病变信息结构化标签的步骤包括：

获取已经被标注出病变信息结构化标签的医学影像样本；

利用已经被标注出病变信息结构化标签的医学影像样本的规范化检查所见和病变信息结构化标签对自然语言处理模型进行训练；

将未经标注的医学影像样本的规范化检查所见输入到所述自然语言处理模型中，获得所述医学影像样本的病变信息结构化标签；

建立所述医学影像样本中所述医学图像和所述病变信息结构化标签的对应关系。

6.根据权利要求2所述的基于读片知识图谱的医学影像诊断方法，其特征在于，所述目标检测模型采用如下方法训练获得：

根据所述图像分类模型的ROC曲线的AUC值，确定所述第二类目标病变的类型；

获取医学影像样本，所述医学影像样本包括医学影像及其对应的结构化检查所见；根据所述第二类目标病变的类型在所述医学影像样本的医学图像上标注出所述第二类目标病变的位置；

利用标注的所述医学图像对目标检测模型进行训练，直至损失值小于预设的阈值。

7.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法，其特征在于：所述根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见的步骤包括：

根据预设的读片知识图谱接口函数，确定与所述结构化检查所见对应的所述读片知识图谱的节点信息；所述节点信息包括节点属性和节点之间的关系；

调用所述节点信息，生成规范化检查所见。

8.根据权利要求1所述的基于读片知识图谱的医学影像诊断方法，其特征在于，所述深度学习模型采用如下方法训练获得：

获取医学影像样本，所述医学影像样本包括规范化检查所见、检查印象和患者临床信息；

提取所述医学影像样本中规范化检查所见、检查印象和患者临床信息的文本特征；

将规范化检查所见和患者临床信息作为自然语言翻译模型的输入，将检查印象作为所述自然语言翻译模型的输出，利用所述医学影像样本的规范化检查所见、检查印象和患者临床信息的文本特征对所述自然语言翻译模型进行训练，直至训练的损失值小于预设的阈值。

9.一种基于读片知识图谱的医学影像诊断装置，其特征在于，包括：

数据获取模块，用于获取待诊患者的待诊医学图像和临床信息；

结构化检查所见生成模块，采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见；

所述采用多算法融合对所述待诊医学图像进行处理，得到异常医学影像的病变信息，所述病变信息结合读片知识图谱生成结构化检查所见的步骤包括：

将所述待诊医学图像输入到图像分类模型中，获取第一类目标病变的异常影像特征，所述第一类目标病变是指所述图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以内的目标病变；

将所述待诊医学图像输入到目标检测模型，获取第二类目标病变的异常影像特征和病变区域信息，所述第二类目标病变是指所述图像分类模型中预测概率的ROC曲线的AUC值在预设阈值以外的目标病变；

规范化检查所见生成模块，用于根据预设的配置规则，将所述结构化检查所见转换为规范化检查所见，所述规范化检查所见是包含所述病变信息的语句；

检查印象生成模块，用于将所述临床信息与所述规范化检查所见或所述结构化检查所见输入到经过训练的深度学习模型中，得到检查印象，所述检查印象是至少包含针对所述病变信息而给出的就诊建议的语句；

诊断报告生成模块，用于对所述临床信息、所述规范化检查所见和所述检查印象进行整合，生成医学影像诊断报告。

Images