CN115062120B - 读片知识图谱构建方法、装置、处理器及报告生成方法 - Google Patents

Abstract

本发明提供一种读片知识图谱构建方法、装置、处理器及报告生成方法，包括：获取医学影像报告文本库；对每一个医学影像报告文本，提取所述医学影像报告文本中的关键词作为实体，并按照影像检查类、影像特征类和病变部位类进行分类；针对每一类别中的实体，按照预设顺序进行层次化排序，并配置每一个实体的属性信息；按照所述医学影像报告文本，将所述影像检查类、所述影像特征类和所述病变部位类的实体进行关联，生成类别间的关系属性信息；将所述医学影像报告文本库中的所有实体、实体的属性信息和实体之间的关系属性信息构建读片知识图谱。本发明能够提高疾病诊断的效率，能够提升医学影像诊断报告的规范性与准确性。

Description

读片知识图谱构建方法、装置、处理器及报告生成方法

技术领域

本发明涉及医学影像分析和计算机智能化诊断技术领域，具体涉及了一种读片知识图谱构建方法、装置、处理器及报告生成方法。

背景技术

在医学诊断中，医学影像是临床医学诊断的重要工具，以报告的形式来告知医生和患者结果，其中包括检查所见和检查印象。医学影像主要有X线、计算机断层扫描（CT）和磁共振成像（MRI）等等，传统上是医生人工操作对影像进行分析，为疾病诊断给出依据。随着医学影像技术的飞速发展，医学影像数据现暴发式增长，给临床和放射科医生带来了巨大的诊断压力。医学影像诊断是医学影像学一项常规的任务，但却非常耗时。另外，不同医生的专业水平和工作环境的不同，这就导致了在诊断过程中出现效率低、易出错等问题。

随着图像处理的发展应用，出现了计算机辅助诊断技术。当前，由于人工智能技术的发展，特别是深度学习的应用，研究者正试图将其应用于医学影像分析，以实现智能诊断，从而提高诊断速度和诊断准确性，使病人迅速获得正确的治疗，进而弥补医生的不足。医学影像智能诊断是指用海量的影像诊断报告与医疗影像作为基础数据源，通过机器学习与深度学习进行相关特征提取与分析，并能够自动生成诊断结果。然而，关于这类研究报道的最新调查评估表明，现有的医学影像智能诊断方法不能满足可解释性的需求，无法准确评估病变检出的准确性，因而也无法保证诊断结果的正确性。

近年来，通过建立相关的领域知识图谱，辅助医学影像智能化诊断成为了研究热点。知识图谱是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体—关系—实体”三元组，实体间通过关系相互连接，构成网状的知识结构。知识图谱的构建过程中用到的原理和方法大致分为知识表示、知识获取、知识融合、知识加工、知识更新五类。

目前，知识图谱技术已经广泛应用于医药、影视、公共事件管理、金融等领域，但无法深入到医学影像临床当中，这主要是由于医学影像知识复杂多样，缺少对整体知识框架更细致的梳理，所以导致辅助医学影像智能化诊断的结果不够规范、细致和准确。为了使计算机更好地模拟专业医生读片，利用先验知识或医生的临床知识构建出读片知识图谱就成为了医学智能诊断成败的关键。

发明内容

鉴于以上现有技术的缺点，本发明的目的在于提供一种读片知识图谱构建方法、装置、处理器及报告生成方法，通过将庞大且杂糅的医学影像知识分门别类，再通过梳理不同类型下的实体、实体之间的关系和属性构建读片知识图谱，将结构化检查数据和读片知识图谱相交互，能够有效地利用知识图谱的实体属性信息智能化生成诊断报告，从而提高智能化诊断的水平。

为实现上述目的及其它相关目的，本发明提出一种读片知识图谱构建方法，包括：

获取医学影像报告文本；

根据所述医学影像报告文本，并提取所述医学影像报告文本中的关键词，并将所述关键词进行分类以划分成不同类别；

确定每一类别中的实体，并将所述实体通过层次化的方式进行排列，并确定每一类别中的实体属性作为该实体的实体属性信息；

确定不同类别中实体之间和相同类别中不同层次的实体之间的关系，并将其按照自顶向下的架构体系建立知识网络，并确定每个关系名称和编码作为该关系的关系属性信息；

根据确定的所有实体、实体的实体属性信息和实体之间的关系属性信息构建读片知识图谱。

在本发明的一个实施例中，所述类别至少包括影像检查类、影像特征类和病变部位类，且中所述影像检查类至少包括检查模式、检查部位、检查项目和子项目，所述影像特征类至少包括病变区域、病变特征和细节特征，所述病变部位类至少包括解剖部位和细节病变部位。

在本发明的一个实施例中，将所述实体通过层次化的方式进行排列包括：

在不同类别之间，所述层次化依次为所述影像检查类、影像特征类和病变部位类；

在所述影像检查类中，所述层次化依次为所述检查模式、所述检查部位、所述检查项目和所述子项目；

在所述影像特征类中，所述层次化依次为所述病变区域、所述病变特征和所述细节特征；

在所述病变部位类中，所述层次化依次为所述解剖部位、所述细节病变部位。

在本发明的一个实施例中，所述影像检查类中的实体包括不同的检查模式、不同的检查部位、不同的检查项目和不同的子项目；

在所述影像特征类中的实体包括不同的病变区域、不同的病变特征和不同的细节特征；

在所述病变部位类中的实体包括不同的解剖部位、不同的细节病变部位。

在本发明的一个实施例中，不同类别中实体之间和相同类别中不同层次的实体之间的关系包括：

将连接影像检查中实体与影像特征中实体之间的关系为影像检查可见特征；

将连接影像特征中实体与病变位置中实体之间的关系为影像特征所在位置；

将连接影像检查中相邻层次的实体之间的关系为影像检查子类；

将连接影像特征中相邻层次的实体之间的关系为影像特征子类；

将连接病变部位中相邻层次的实体之间的关系为病变部位子类。

在本发明的一个实施例中，所述实体之间关系的关系属性信息具有唯一性。

在本发明的一个实施例中，所述影像检查类中实体的实体属性信息包括名称信息、ID信息和层级信息、关键词和近义词信息；

所述影像特征类中实体的实体属性信息包括名称信息、ID信息、生成顺序信息、层级信息、正常描述、异常描述、分隔符、关键词和近义词信息；

所述病变部位类中实体的实现属性信息包括名称信息、ID信息、生成顺序信息、层级信息、子节点全部选中、子节点部分选中、子节点没选中、分隔符、关键词和近义词信息；

其中，所述层级信息为该实体位于所述类别中的层级；所述生成顺序为生成诊断报告时该实体生成顺序；子节点为上一层次任一实体对应的下一层次中的各个实体；分隔符用于同时调用同一层次中不同实体时进行分隔。

本发明还提出一种报告生成方法，包括：

提供一种如上述实施例中所述构建的读片知识图谱；

获取结构化检查数据，将所述结构化检查数据与所述读片知识图谱进行交互；

通过所述读片知识图谱中实体之间的关系按照其层次的遍历知识图谱的相关实体信息，并分析调用所述知识图谱中的实体属性信息，以获取规范的诊断报告。

本发明还提出一种处理器，包括存储器，所述存储器内存储有上述实施例中所述构建的读片知识图谱。

本发明还提出一种读片知识图谱构建装置，包括：

医学影像获取模块，用于获取医学影像报告文本；

影像分析模块，用于根据所述医学影像报告文本，并提取所述医学影像报告文本中的关键词，并将所述关键词进行分类以划分成不同类别；

实体设计模块，用于确定每一类别中的实体，并将所述实体通过层次化的方式进行排列，并确定每一类别中的实体属性作为该实体的实体属性信息；

实体关系设计模块，用于确定不同类别中实体之间和相同类别中不同层次的实体之间的关系，并将其按照自顶向下的架构体系建立知识网络，并确定每个关系名称和编码作为该关系的关系属性信息；

构建模块，用于根据确定的所有实体、实体的实体属性信息和实体之间的关系属性信息构建读片知识图谱。

本发明提出一种读片知识图谱构建方法、装置、处理器及报告生成方法，通过将庞大且杂糅的医学影像知识分门别类，再通过梳理不同类型下的实体、实体之间的关系和属性构建读片知识图谱，将结构化检查数据和读片知识图谱相交互，能够有效地利用知识图谱的实体属性信息智能化生成诊断报告，从而提高智能化诊断的水平，且能够避免深度学习算法生成的结果可解释性低及规范性差等问题，能够提高疾病诊断的效率，能够提升医学影像诊断的一致性与准确性，以及能够避免不同医生由于不同的临床经验给出不同诊断结果的问题。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明于一实施例中读片知识图谱构建方法的示意图。

图2为本发明于一实施例获取的医学影像报告为X射线的医学影像报告所构建的部分知识图谱示意图。

图3为本发明于一实施例包括质量控制类的知识图谱示意图。

图4为本发明于一实施例中报告生成方法的示意图。

图5为本发明于一实施例中读片知识图谱构建装置的示意图。

图6为本发明于一实施例中获取的胸部后前位片医学影像报告所构建的部分知识图谱示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1至图5所示，本发明的目的在于提供一种读片知识图谱构建方法、装置、处理器及报告生成方法，通过将庞大且杂糅的医学影像知识分门别类，再通过梳理不同类型下的实体、实体之间的关系和属性构建读片知识图谱，将结构化检查数据和读片知识图谱相交互，能够有效地利用知识图谱的实体属性信息智能化生成诊断报告，从而提高智能化诊断的水平，具体的，所述构建方法的步骤包括：

S1、获取医学影像报告文本库；

请参阅图1及图2所示，在步骤S1中，所述医学影像报告文件包括X光医学影像、CT医学影像和MRI医学影像，其中，X光医学影像譬如包括胸片X光图像、颅部X光图像、腰椎X光图像、颈椎X光图像等等。

S2、针对每一个医学影像报告文本，提取所述医学影像报告文本中的关键词作为实体，并按照影像检查类、影像特征类和病变部位类进行分类；

请参阅图1及图2所示，在本步骤S2中，根据所述医学影像报告文本，并通过提前所述医学影像报告文本中的关键词作为实体，以判断并获取该医学影像报告文本中的检查模式、检查部位、检查项目、子项目、病变区域、病变特征、细节特征、解剖部位和细节病变部位等实体，并根据其获取到的实体内容的性质将实体进行分类，以将其划分成影像检查类、影像特征类和病变部位类。

请参阅图1及图2所示，在步骤S2中，将所述检查模式、所述检查部位、所述检查项目、所述子项目划分为影像检查类，将所述病变区域、所述病变特征和所述细节特征划分为影像特征类，将所述解剖部位和所述细节病变部位划分为病变部位类。

S3、针对每一类别中的实体，按照预设顺序进行层次化排序，并配置每一个实体的属性信息；

请参阅图1及图2所示，在步骤S3中，确定每一类别中的实体，所述影像检查类中的实体包括不同的检查模式、不同的检查部位、不同的检查项目和不同的子项目，例如，X射线、CT和MRI为检查模式中的实体，胸部、盆腔、脊椎、四肢、腹部为检查部位中的实体，胸部正侧位片为检查项目中的实体，胸部后前位片或称为胸部侧位片为子项目中的实体。请参阅图2所示，检查模式X射线对应有多个检查部位，例如胸部、盆腔、脊椎、四肢、腹部，检查部位胸部对应有多个检查项目，例如胸部正侧片，检查项目对应胸部正侧位片有多个子项目，例如胸部后前位片、胸部侧位片和胸部斜位片。其按照预设顺序进行层级排序为一级检查模式X射线-二级检查部位胸部-三级检查项目胸部正侧位片-四级子项目胸部后前位片。

请参阅图1及图2所示，在步骤S3中，在所述影像特征类中的实体包括不同的病变区域、不同的病变特征和不同的细节特征，例如，胸廓、肺实质、心影为病变区域中的实体，肺实质的大片状影、结节状影、网格状影为病变特征中的实体，肺实质大片状影的外高内低、类三角形为细节特征中的实体。请参阅图2所示，胸部后正位片对应有多个病变区域，例如胸廓、肺实质、心影，病变区域肺实质对应有多个病变特征，例如大片状影、结节状影、网格状影，病变特征大片状影对应有多个细节特征，例如外高内低、类三角形，其按照预设顺序进行层级排序为一级病变区域肺实质-二级病变特征大片状影-三级细节特征外高内低。

请参阅图1及图2所示，在步骤S3中，在所述病变部位类中的实体包括不同的解剖部位、不同的细节解剖部位和不同的细节病变部位，例如，肺野、主动脉、膈面、肋膈角、肺门、肺动脉、纵隔、胸腔、胸膜、骨骼为解剖部位中的实体；根据位置从外到内、从大范围到小范围的排列方式将左肺、右肺、右侧胸膜外缘为细节解剖部位中的实体，将左肺上野、左肺中野、左肺下野、左肺上野内带、左肺上野外带为细节病变部位中的实体。请参阅图2所示，解剖部位肺野对应有多个细节解剖部位，例如左肺、右肺、右侧胸膜外缘，细节解剖部位左肺对应有多个细节病变部位，例如左肺上野、左肺中野、左肺下野，细节病变部位左肺上野对应有多个子细节病变部位，例如左肺上野内带、左肺上野外带，其按照预设顺序进行层级排序为一级解剖部位肺野-二级细节解剖部位左肺-三级细节病变部位左肺上野-四级子细节病变部位左肺上野外带。

请参阅图1及图2所示，在步骤S3中，在同一类别中，例如，在所述影像检查类中，所述层次化依次为所述检查模式、所述检查部位、所述检查项目和所述子项目；在所述影像特征类中，所述层次化依次为所述病变区域、所述病变特征和所述细节特征；在所述病变部位类中，所述层次化依次为所述解剖部位、所述细节解剖部位和所述细节病变部位，在同一类别中，其层次化依次为第一层级、第二层级、第三层级，…，第n层级。需要说明的是，相邻两个层级中，上一层级中某个实体对应的下一层级中的多个实体，即下一层级中的多个实体时上一层级中某个实体节点的子节点。

请参阅图1及图2所示，在步骤S3中，设计确定每一类别中的每个实体的属性，并将其作为该实体的实体属性信息，其中，所述影像检查类中实体的实体属性信息包括名称信息、编码信息和层级信息；所述影像特征类中实体的实体属性信息包括名称信息、编码信息、生成顺序信息、层级信息、正常描述、异常描述和分隔符；所述病变部位类中实体的实现属性信息包括名称信息、编码信息、生成顺序信息、层级信息、子节点全部选中、子节点部分选中、子节点没选中、分隔符；需要说明的是，所述层级信息为该实体位于所述类别中的层级；所述生成顺序为生成诊断报告时该实体生成顺序；子节点为上一层次任一实体对应的下一层次中的各个实体；分隔符用于同时调用同一层次中不同实体时进行分隔。需要说明的是，每一个实体的编码信息均具有唯一性。

S4、按照所述医学影像报告文本，将所述影像检查类、所述影像特征类和所述病变部位类的实体进行关联，生成类别间的关系属性信息；

请参阅图1及图2所示，在步骤S4中，将影像检查中实体与影像特征中实体进行关联，并生成其关系属性信息；将影像特征中实体与病变位置中实体进行关联，并生成其关系属性信息；将影像检查中相邻层次的实体进行关联，并生成其关系属性信息；将影像特征中相邻层次的实体进行关联，并生成其关系属性信息；将病变位置中相邻层次的实体进行关联，并生成其关系属性信息，其中，所述关系属性信息包括具有唯一性的编码，以便于后续通过该编码直接定位至知识图谱中的位置。

请参阅图1及图2所示，在步骤S4中，并将其按照自顶向下的架构体系建立知识网络，即将不同类别中的各个实体之间按照其所建立的关联关系从上至下进行排列，同时在同一类别中将各个实体之间安装其所处的层级从上至下的方式进行排列以形成架构体系，从而建立其知识网络。

S5、将所述医学影像报告文本库中的所有实体、实体的属性信息和实体之间的关系属性信息构建读片知识图谱。

请参阅图1及图2所示，在步骤S5中，根据确定的所有实体、实体的实体属性信息、实体之间的关系及关系属性信息构建读片知识图谱，可通过该构建好的知识图谱进行医学图像处理与分析，例如进行数据治理、数据标注、医学图像病灶检测/定位、医学图像分割、医学图像配准以及医学图像分类，还可以应用于基于该知识图谱进行深度学习的医学影像诊断。

图2显示为获取的医学影像报告为X射线的医学影像报告所构建的部分知识图谱示意图。

请参阅图2及图3所示，在一些实施例中，对医学影像报告文本进行分析梳理时，还可以包括质量控制类，所述质量控制类包括图像、报告的质量控制，其中，质量控制类的实体包括图像清晰度、影像质量、检查范围、中心线、图像伪影以及体位，相对应的，将质量控制类中的实体设计为名称、编码、生成顺序、层级等实体属性信息，并将影像检查与质量控制之间的关系设计为影像检查质量控制，并将名称、编码设计为此关系的关系属性信息，可通过所述质量控制类来评估医学影像的质量。

在本实施例中，构建好的所述读片知识图谱以图数据库的形式进行存储，具体的，本发明提出一种处理器，所述处理器包括存储器，所述存储器内存储有构建好的读片知识图谱，即使得所述读片知识图谱以图数据库的形式存储在存储器内。在本实施例中，所述处理器可以是计算机、平板电脑等机器，将结构化检查数据通过外接接口与存储有所述读片知识图谱的处理器进行交互，以实现自动生成诊断报告。

请参阅图4所示，本发明还提出一种报告生成方法，包括：

S201、提供一种上述实施例中构建的读片知识图谱，例如，可以提供一种计算机，所述计算机内存储有构建好的读片知识图谱。

S202、获取结构化检查数据，将所述结构化检查数据与所述读片知识图谱进行交互，例如，通过原始检查获得原始检查所见“两肺纹理增多，未见明显实质性病变，心影大小正常范围，纵隔影无明显增宽，两膈面光滑，两肋膈角锐利”，对其进行处理获取结构化检查数据“[肺纹理-增多-位置-肺野-左肺，肺纹理-增多-位置-肺野-右肺]”，将获取到的结构化数据通过计算机与所述读片知识图谱进行交互。

S203、通过所述读片知识图谱中实体之间的关系按照其层次的遍历知识图谱的相关实体信息，并分析调用所述知识图谱中的实体属性信息，以获取规范的诊断报告，例如，根据传入的检查项目名称，判断影像特征类别下面的一级实体列表，循环遍历一级节点列表，判断当前节点是否被选中，如果未被选中，返回一级节点的正常描述属性，否则判断当前实体对应的下一层级实体列表并返回该级实体的检查所见描述。遍历被选中一级实体下二级实体列表，判断当前实体是否被选中，如果实体被选中，获取实体的位置信息，若没有，返回空字符串，获取二级实体的异常描述信息，并获取二级实体的病变细节特征描述信息，合成实体的描述并返回。按照生成顺序，例如实体名称、实体正常描述或者实体异常描述、分隔符顺序进行拼接，最终返回规范化报告文本。如输入"气管-欠居中-左偏""肺实质-团块影-类圆形""肺实质-团块影-左肺-左肺下野"，返回"两侧胸廓对称，所见骨质未见异常;气管左偏;纵膈居中;两肺纹理清晰;左肺下野见类圆形团块影;余未见明显异常"。

具体的，影像特征节点中的实体属性信息包括“name”，节点名称”，其属性应用位置为“一、二、三级”；实体属性信息还包括“id”，中文名称为“节点唯一编码”，其属性应用位置为“一、二、三级”，且采用通用唯一识别码（Universally Unique Identifier，UUID）保证节点编码唯一性；实体属性信息还包括“normalDescription”，中文名称为“正常描述”，其属性应用位置为“一级”，且当该节点未被选中时，默认生成该节点的该属性；实体属性信息还包括“abnormalDescription”，中文名称为“异常描述”，其属性应用位置为“一、二、三级”，且当该节点被选中时，生成该节点的该属性；实体属性信息还包括“level”，中文名称为“节点层级”，其属性应用位置为“一、二、三级”，且用于区分不同层级节点，影像特征节点分三级；实体属性信息还包括“order”，中文名称为“不同层级节点顺序”，其属性应用位置为“一、二、三级”，且当不同层级节点被选中时，按照该属性顺序调用节点abnormalDescription属性，组合成规范化检查所见；实体属性信息还包括“generateOrder”，中文名称为“同级节点顺序”，其属性应用位置为“一、二、三级”，且当同层级多个节点被同时选中时，按照该属性顺序排列组合多个同层级节点；实体属性信息还包括“delimiter”，中文名称为“分隔符”，其属性应用位置为“二、三级”，且配合接口程序，在必要时输出分隔符“、”，使报告生成语句通顺；实体属性信息还包括“haveTrdDescription”，中文名称为“三级节点区别符”，其属性应用位置为“下设三级节点的二级节点”，且根据规则，病变位置节点及细节病变特征（即影像特征三级节点）都只能与影像特征二级节点相连，因此在二级节点加设haveTrdDescription属性，方便在调用时对位置信息、病变特征信息、细节病变特征信息进行排序；并保证不重复生成一级、二级病变特征节点。

病变部位实体属性信息包括“name”，节点名称”，其属性应用位置为“全部层级”；实体属性信息还包括“id”，中文名称为“节点唯一编码”，其属性应用位置为“全部层级”，且采用通用唯一识别码（Universally Unique Identifier，UUID）保证节点编码唯一性；实体属性信息还包括“level”，中文名称为“节点层级”，其属性应用位置为“一、二、三级”，且用于区分不同层级节点，病变部位节点层级若干；实体属性信息还包括“order”，中文名称为“不同层级节点顺序”，其属性应用位置为“全部层级”，且当不同层级节点被选中时，按照该属性顺序调用节点abnormalDescription属性，组合成规范化检查所见；实体属性信息还包括“generateOrder”，中文名称为“同级节点顺序”，其属性应用位置为“全部层级”，且当同层级多个节点被同时选中时，按照该属性顺序排列组合多个同层级节点；实体属性信息还包括“delimiter”，中文名称为“分隔符”，其属性应用位置为“全部层级”，且配合接口程序，在必要时输出分隔符“、”，使报告生成语句通顺；实体属性信息还包括“allChildrenDescription”，中文名称为“全部子节点选中描述”，其属性应用位置为“除末级节点之外其他全部层级”，且当该节点子节点全部被选中时，调用该属性；实体属性信息还包括“partialChildrenDescription”，中文名称为“部分子节点选中描述”，其属性应用位置为“除末级节点之外其他全部层级”，且当该节点部分子节点被选中，不是全部被选中时，调用该属性；实体属性信息还包括“noChildrenDescription”，中文名称为“无子节点选中描述”，其属性应用位置为“全部层级”，且当该节点子节点全部没有被选中时，调用该属性。

需要说明的是，上述属性应用位置为该属性在具体哪几个层级中的实体能够被调用。

下述给出了一些将结构化检查数据通过知识图谱的生成诊断报告文本的示例，即规范化检查所见的示例，具体的，例如结构化检查数据为“肺纹理-增多”，其生成过程为“该结构化检查数据选中的一级节点只有【肺纹理】，因此未被选中的一级节点【胸廓】等，调用normalDescription属性”，生成的规范化检查所见为“两胸廓对称，未见明显异常；……；肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多”，其生成过程为“该结构化检查数据选中的节点，调用其abnormalDescription属性，即：肺纹理【肺纹理】-增多【增多】”，生成的规范化检查所见为“……；肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多”，其生成过程为“判断选中节点层级，肺纹理【level：1】-增多【level：2】”，生成的规范化检查所见为“……；肺纹理增多；……”。

例如结构化检查数据为“肺实质-大片状影-外高内低”，其生成过程为“肺实质【order：1，abnormalDescription：/】-大片状影【order：3，abnormalDescription：大片状影】-外高内低【order：2，abnormalDescription：可见外高内低的】”，生成的规范化检查所见为“……；可见外高内低的大片状影;……”。

例如结构化检查数据为“肺纹理-增多、肺纹理-增粗、肺纹理-模糊、肺纹理-紊乱”，其生成过程为“选中一级节点【肺纹理】，并同时选中【增多】、【增粗】、【模糊】、【紊乱】四个二级节点，以上二级节点按照generateOrder属性排序：【增多】-generateOrder：1；【增粗】-generateOrder：2；【模糊】-generateOrder：4；【紊乱】-generateOrder：3”，生成的规范化检查所见为“……；肺纹理增多、增粗、紊乱、模糊；……”。

例如结构化检查数据为“肺纹理-增多、肺纹理-增粗、肺纹理-模糊、肺纹理-紊乱”，其生成过程为“同时选中多个二级节点，在调用二级节点abnormalDescription属性确认输出描述，generateOrder属性确认排列顺序之外，还要同时调用该二级节点的delimiter属性，保证语句通顺，以上二级节点delimiter属性均为“、””，生成的规范化检查所见为“……；肺纹理增多、增粗、紊乱、模糊；……”。

例如结构化检查数据为“肺实质-大片状影-境界模糊、肺实质-大片状影-位置-左肺-左肺上野”，其生成过程为“同时选中【大片状影】的三级细节病变特征【境界模糊】节点和病变位置【左肺-左肺上野】，调用haveTrdDescription，将病变位置提前，三级节点根据节点order属性放置于合适位置，并保证不重复生成一级、二级病变特征节点，肺实质【order：1，abnormaDescription：/】-大片状影【order：3，abnormalDescription：大片状影】-境界模糊【order：2，abnormalDescription：可见境界模糊的】肺实质-大片状影-位置-左肺-左肺上野”，生成的规范化检查所见为“……；左肺上野可见境界模糊的大片状影：……”。

例如结构化检查数据为“肺纹理-增多-位置-肺野-左肺-左肺上野-左肺上野外带”，其生成过程为“判断选中节点层级，病变特征：肺纹理【level：1】-增多【level：2】，病变位置：肺野【level：1】-左肺【level：2】-左肺上野【level：3】-左肺上野外带【level：4】”，生成的规范化检查所见为“……；左肺上野外带肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多-位置-肺野-左肺-左肺上野-左肺上野外带”，其生成过程为“判断选中不同层级节点生成顺序，

病变特征：肺纹理【order：1】-增多，【order：2】病变位置：肺野【order：4】-左肺【order：3】-左肺上野【order：2】-左肺上野外带【order：1】”，生成的规范化检查所见为“……；左肺上野外带肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多-位置-肺野-左肺-左肺上野

肺纹理-增多-位置-肺野-左肺-左肺中野”，其生成过程为“判断选中同一层级多个位置节点的生成顺序，病变特征：肺纹理-增多，病变位置：肺野-左肺-左肺上野【generateOrder：1】、左肺中野【generateOrder：2】”，生成的规范化检查所见为“……；左肺上野、左肺中野肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多-位置-肺野-左肺-左肺上野

肺纹理-增多-位置-肺野-左肺-左肺中野”，其生成过程为“调用多个位置节点时，为保证语句通顺，配合调用相关节点的delimiter属性，在调用【左肺上野】、【左肺中野】时，配合调用delimiter属性”，生成的规范化检查所见为“……；左肺上野、左肺中野可见肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多-位置-肺野-左肺-左肺上野

肺纹理-增多-位置-肺野-左肺-左肺中野、肺纹理-增多-位置-肺野-左肺-左肺下野”，其生成过程为“在知识图谱中，【左肺】下共设置【左肺上野】、【左肺中野】、【左肺下野】三个子节点，该结构化检查所见调用全部【左肺】的子节点，因此调用【左肺】节点的allChidrenDescription属性，同时不调用末级节点属性，只调用父节点属性，肺纹理-增多-位置-肺野【partialDescription：/】-左肺【allChildrenDescription：左肺】-左肺上野、左肺中野、左肺下野”，生成的规范化检查所见为“……；左肺可见肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多-位置-肺野-左肺-左肺上野

肺纹理-增多-位置-肺野-左肺-左肺中野”，其生成过程为“在知识图谱中，【左肺】下共设置【左肺上野】、【左肺中野】、【左肺下野】三个子节点，该结构化检查所见调用【左肺】的两个子节点，因此调用【左肺】节点的partialChidrenDescription属性，【左肺上野】、【左肺中野】为该结构化检查所见所选位置节点的末级节点，因此调用该节点的noChildrenDescription属性，肺纹理-增多-位置-肺野【partialDescription：/】-左肺【partialDescription：/】-左肺上野【noChildrenDescription：左肺上野】肺纹理-增多-位置-肺野【partialDescription：/】-左肺【partialDescription：/】-左肺中野【noChildrenDescription：左肺中野】”，生成的规范化检查所见为“……；左肺上野、左肺中野可见肺纹理增多；……”。

例如结构化检查数据为“肺纹理-增多-位置-肺野-左肺-左肺上野-左肺上野外带”，其生成过程为“在知识图谱中，【左肺】下共设置【左肺上野】、【左肺中野】、【左肺下野】三个子节点，该结构化检查所见调用【左肺】的两个子节点，因此调用【左肺】节点的partialChidrenDescription属性，【左肺上野】下设【左肺上野外带】、【左肺上野中带】、【左肺上野内带】三个子节点，该结构化检查所见调用【左肺上野外带】子节点，因此调用【左肺上野】的partialDescription属性，【左肺上野外带】为该结构化检查所见所选的末级位置节点，因此调用该节点的noChildrenDescription属性，注意的是末级位置节点因没有子节点，因此，一旦选中，默认调用noChildrenDescription属性。末级位置节点也只有noChildrenDescription属性，肺纹理-增多-位置-肺野【partialDescription：/】-左肺【partialDescription：/】-左肺上野【partialDescription：/】-左肺上野外带【noChildrenDescription：左肺上野外带】”，生成的规范化检查所见为“……；左肺上野外带可见肺纹理增多；……”。

需要说明的是，上述节点均表示读片知识图谱中的实体。

请参阅图5所示，在本实施例中，本发明还提出一种读片知识图谱构建装置，包括医学影像获取模块10、影像分析模块20、实体设计模块30、实体关系设计模块40以及构建模块50，其中，医学影像获取模块10用于获取医学影像报告文本库，影像分析模块20用于根据提取所述医学影像报告文本中的关键词作为实体，并按照影像检查类、影像特征类和病变部位类进行分类，实体设计模块30用于针对每一类别中的实体，按照预设顺序进行层次化排序，并配置每一个实体的属性信息，实体关系设计模块40用于按照所述医学影像报告文本，将所述影像检查类、所述影像特征类和所述病变部位类的实体进行关联，生成类别间的关系属性信息，构建模块50用于将所述医学影像报告文本库中的所有实体、实体的属性信息和实体之间的关系属性信息构建读片知识图谱。

请参阅图1及图6所示，以胸部后前位片的读片知识图谱为例，对所述读片知识图谱的构建过程做详细具体的说明，其包括：

S301、获取胸部后前位片的医学影像报告文本；

S302、根据胸部后前位片的医学影像报告文本，并提取所述胸部后前位片的医学影像报告文本中的关键词，并将所述关键词进行分类以划分成不同类别；例如将X线、CT、MRI等检查模式、胸部后前位片等检查项目归纳为影像检查类；

将胸廓、肺实质、心影等病变区域、肺实质的大片状影、结节状影、网格状影等病变特征、肺实质大片状影的外高内低、类三角形等细节特征归纳为影像特征类；

将肺野、主动脉等病变位置，左肺上野、左肺中野、左肺下野、左肺上野内带、左肺上野外带等细节病变部位归纳为病变部位类；

将图像清晰度、图像伪影等，报告的质量控制归纳为质量控制类。

S303、确定每一类别中的实体，并将所述实体通过层次化的方式进行排列，并确定每一类别中每个实体的属性作为该实体的实体属性信息，例如：

影像检查中实体设计，将影像检查设计为X-ray（X射线）、胸部正侧位片、胸部后前位片等实体；

影像特征中实体设计，将影像特征设计为胸廓、气管、纵隔、肺纹理、肺门、肺实质、心影、主动脉、膈面、肋膈角、胸膜及胸腔、骨骼、体内异物十三个一级病变区域实体；根据十三个一级节点异常表现的不同将胸廓的桶状、漏斗状、欠对称等，肺实质的大片状影、结节状影、网格状影等，心影的左偏、右位增大等设计为二级病变特征实体；肺实质大片状影的外高内低、类三角形等，心影增大的普大心、梨形心等实体对异常表现更细节的特征描述设计为三级细节特征实体；

病变部位中实体设计，将病变位置设计为肺野、主动脉、膈面、肋膈角、肺门、肺动脉、纵隔、胸腔、胸膜、骨骼等一级解剖位置实体；根据位置从外到内、从大范围到小范围的排列方式将左肺、右肺、右侧胸膜外缘等设计为二级细节解剖部位实体，将左肺上野、左肺中野、左肺下野、左肺上野内带、左肺上野外带等设计为细节病变部位实体；

质量控制中实体设计，将质量控制设计为图像清晰度、影像质量、检查范围、中心线、图像伪影、体位等实体，对影像质量进行评估。

同时，将影像检查中实体的实体属性信息设计为名称、编码、层级；例：影像检查中胸部后前位片的属性设计，名称：胸部后前位片、编码：1699a4c1a72b4b0e9f0de59f22f8fd6b、层级：3，其中，在影像检查中包括4个实体，胸部后前位片排在第三层级，所以层级为3。

将影像特征中实体的实体属性信息设计为名称、编码、生成顺序、层级、正常描述、异常描述、分隔符；例：影像特征中的肺纹理的属性设计，名称：肺纹理、编码：4dbf2a0c2f724f6b8b836178b7725e68、生成顺序：5（生成顺序按照位置在前，特征在后的顺序，肺纹理排在第五位，所以生成顺序为5）、层级：1（在影像特征的十三个一级病变区域实体中肺纹理、胸廓、肺实质等排在第一层级，所以层级为1）、正常描述：双侧肺纹理走行尚规整(影像特征的每个一级实体有不同的正常描述)、异常描述：肺纹理（每个实体的异常描述都不同，异常描述只是为了调用时拼接异常描述生成规范化描述）、分隔符：“、”（用于二级及后几级节点同时被调用时使用）。

将病变位置中实体的实体属性信息设计为名称、编码、生成顺序、层级、子节点全部选中、子节点部分选中、子节点没选中、分隔符属性；例如：病变位置中左肺属性设计，名称：左肺、编码：4c75a6290ede4735bd7b83257cdc8e54、生成顺序：3、层级：2、子节点全部选中：左肺（其子节点包括左肺上野、左肺中野、左肺下野）、子节点部分选中：空（部分选中子节点时，生成选中的子节点即可）、子节点没选中：左肺、分隔符：“、”。

将质量控制中实体的实体属性信息设计为名称、编码、生成顺序、层级属性。

S304、确定不同类别中实体之间和相同类别中不同层次的实体之间的关系，并将其按照自顶向下的架构体系建立知识网络，并确定每个关系名称和编码作为该关系的关系属性信息，例如：

将影像检查中实体与影像特征中实体进行关联，并生成其关系属性信息，例如，影像检查中的实体胸部后前位片与影像特征中的实体肺实质进行关联；

将影像特征中实体与病变位置中实体进行关联，并生成其关系属性信息，例如，影像特征中的实体肺实质大片状影与病变位置中的实体左肺进行关联；

将影像检查中相邻层次的实体进行关联，并生成其关系属性信息，例如，胸部X线与胸部后前位片之间进行关联；

将影像特征中相邻层次的实体进行关联，例如，肺实质大片状影与外高内低进行关联；

将病变位置中相邻层次的实体进行关联，并生成其关系属性信息，例如，肺野与左肺进行关联；

将影像检查中实体与质量控制中实体进行关联；例如，影像检查中的实体胸部后前位片与质量控制中的影像质量进行关联；

S305、根据确定的所有实体、实体的实体属性信息和实体之间的关系属性信息构建读片知识图谱。

本发明提出一种读片知识图谱构建方法、装置、处理器及报告生成方法，通过将庞大且杂糅的医学影像知识分门别类，再通过梳理不同类型下的实体、实体之间的关系和属性构建读片知识图谱，将结构化检查数据和读片知识图谱相交互，能够有效地利用知识图谱的实体属性信息智能化生成诊断报告，从而提高智能化诊断的水平，且能够避免深度学习算法生成的结果可解释性低及规范性差等问题，能够提高疾病诊断的效率，能够提升医学影像诊断的一致性与准确性，以及能够避免不同医生由于不同的临床经验给出不同诊断结果的问题，且能够通过的读片知识图谱实现计算机智能化诊断的数据治理、标注、病变分类以及目标检出等。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明，本领域技术人员应当理解，本申请中所涉及的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案，例如上述特征与本申请中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。

Claims (7)

1.一种读片知识图谱构建方法，其特征在于，包括：

获取医学影像报告文本库；

针对每一个医学影像报告文本，提取所述医学影像报告文本中的关键词作为实体，并按照影像检查类、影像特征类、病变部位类和质量控制类进行分类；所述影像检查类包括检查模式、检查部位、检查项目和子项目，所述影像特征类包括病变区域、病变特征和细节特征，所述病变部位类包括解剖部位和细节病变部位；质量控制类包括图像清晰度、影像质量、检查范围、中心线、图像伪影以及体位；

针对每一类别中的实体，按照预设顺序进行层次化排序，并配置每一个实体的属性信息；

按照所述医学影像报告文本，将所述影像检查类、所述影像特征类和所述病变部位类的实体进行关联，生成类别间的关系属性信息；

将所述医学影像报告文本库中的所有实体、实体的属性信息和实体之间的关系属性信息构建读片知识图谱；

其中，所述影像检查类中实体的实体属性信息包括名称信息、编码信息、层级信息、关键词信息和近义词信息；

所述影像特征类中实体的实体属性信息包括名称信息、编码信息、生成顺序信息、同层级生成顺序、层级信息、正常描述、异常描述、分隔符、关键词和近义词信息；

所述病变部位类中实体的实体属性信息包括名称信息、编码信息、生成顺序信息、层级信息、同层级生成顺序、子节点全部选中、子节点部分选中、子节点没选中、分隔符、关键词和近义词信息；

将质量控制类中的实体设计为名称、编码、生成顺序、层级实体属性信息；

其中，所述层级信息为该实体位于所述类别中的层级；所述生成顺序为生成诊断报告时该实体生成顺序；同层级生成顺序为诊断报告时该实体在同层级的实体中生成顺序；子节点为上一层次任一实体对应的下一层次中的各个实体；分隔符用于同时调用同一层次中不同实体时进行分隔；关键词和近义词信息为便利知识图谱关键信息检索；

其中，所述实体属性信息包括编码，所述编码具有唯一性。

2.根据权利要求1所述的读片知识图谱构建方法，其特征在于，针对每一类别中的实体，按照预设顺序进行层次化排序包括：

在所述影像检查类中，所述层次化排序依次为所述检查模式、所述检查部位、所述检查项目和所述子项目；

在所述影像特征类中，所述层次化排序依次为所述病变区域、所述病变特征和所述细节特征；

在所述病变部位类中，所述层次化排序依次为所述解剖部位和所述细节病变部位。

3.根据权利要求1所述的读片知识图谱构建方法，其特征在于，所述影像检查类中的实体包括不同的检查模式、不同的检查部位、不同的检查项目和不同的子项目；

在所述影像特征类中的实体包括不同的病变区域、不同的病变特征和不同的细节特征；

在所述病变部位类中的实体包括不同的解剖部位和不同的细节病变部位。

4.根据权利要求1所述的读片知识图谱构建方法，其特征在于，按照所述医学影像报告文本，将所述影像检查类、所述影像特征类和所述病变部位类的实体进行关联，生成类别间的关系属性信息包括：

将影像检查中实体与影像特征中实体进行关联，并生成其关系属性信息；

将影像特征中实体与病变位置中实体进行关联，并生成其关系属性信息；

将影像检查中相邻层次的实体进行关联，并生成其关系属性信息；

将影像特征中相邻层次的实体进行关联，并生成其关系属性信息；

将病变位置中相邻层次的实体进行关联，并生成其关系属性信息；

其中，所述关系属性信息包括编码，所述编码具有唯一性。

5.一种报告生成方法，其特征在于，包括：

提供一种如权利要求1至4任一项所述的读片知识图谱构建方法所构建的读片知识图谱；

获取结构化检查数据，将所述结构化检查数据与所述读片知识图谱进行交互；

通过所述读片知识图谱中实体之间的关系按照其层次的遍历知识图谱的相关实体信息，并分析调用所述知识图谱中的实体属性信息，以获取规范的诊断报告。

6.一种处理器，其特征在于，包括存储器，所述存储器内存储有根据权利要求1至4任一项所述的读片知识图谱构建方法所构建的读片知识图谱。

7.一种读片知识图谱构建装置，其特征在于，包括：

医学影像获取模块，用于获取医学影像报告文本库；

影像分析模块，用于根据提取所述医学影像报告文本中的关键词作为实体，并按照影像检查类、影像特征类、病变部位类和质量控制类进行分类；所述影像检查类包括检查模式、检查部位、检查项目和子项目，所述影像特征类包括病变区域、病变特征和细节特征，所述病变部位类包括解剖部位和细节病变部位；质量控制类包括图像清晰度、影像质量、检查范围、中心线、图像伪影以及体位；

实体设计模块，用于针对每一类别中的实体，按照预设顺序进行层次化排序，并配置每一个实体的属性信息；

实体关系设计模块，用于按照所述医学影像报告文本，将所述影像检查类、所述影像特征类和所述病变部位类的实体进行关联，生成类别间的关系属性信息；

构建模块，用于将所述医学影像报告文本库中的所有实体、实体的属性信息和实体之间的关系属性信息构建读片知识图谱；

其中，所述影像检查类中实体的实体属性信息包括名称信息、编码信息、层级信息、关键词信息和近义词信息；

所述影像特征类中实体的实体属性信息包括名称信息、编码信息、生成顺序信息、同层级生成顺序、层级信息、正常描述、异常描述、分隔符、关键词和近义词信息；

所述病变部位类中实体的实体属性信息包括名称信息、编码信息、生成顺序信息、层级信息、同层级生成顺序、子节点全部选中、子节点部分选中、子节点没选中、分隔符、关键词和近义词信息；

将质量控制类中的实体设计为名称、编码、生成顺序、层级实体属性信息；

其中，所述层级信息为该实体位于所述类别中的层级；所述生成顺序为生成诊断报告时该实体生成顺序；同层级生成顺序为诊断报告时该实体在同层级的实体中生成顺序；子节点为上一层次任一实体对应的下一层次中的各个实体；分隔符用于同时调用同一层次中不同实体时进行分隔；关键词和近义词信息为便利知识图谱关键信息检索；

其中，所述实体属性信息包括编码，所述编码具有唯一性。

Images