CN114724670A - 一种医学报告生成方法、装置、存储介质和电子设备 - Google Patents

Abstract

本发明提供一种医学报告生成方法、装置、存储介质和电子设备，方法包括：获取医学影像信息、与医学影像信息对应的样本报告信息和知识图谱信息；根据知识实体类型对所述知识图谱信息进行分类，并根据分类结果将医学影像信息设置为不同级别的节点；基于结构特征、影像学特征和细节特征之间的关系建立节点关系，根据节点和节点关系构建知识图谱数据库；通过知识图谱数据库对目标医学影像进行匹配，得到目标医学影像的报告信息；本申请通过构建知识图谱，自动生成规范化检查所见报告，通过本申请可以便于梳理知识之间的联系及知识的特有属性，提升知识的检索和调用的效率，在保证生成报告的准确性的基础上，有效地提高医生书写报告的效率。

Description

一种医学报告生成方法、装置、存储介质和电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种医学报告生成方法、装置、存储介质和电子设备。

背景技术

影像学检查是临床医学诊断的重要组成部分，为临床疾病诊断、筛查、病灶的定位及定性、临床治疗方案的选择、疾病的分期及预后等提供了重要依据。分析解读医学影像同时书写对应的报告是当前诊疗过程中不可缺少的步骤，现有的医学影像报告的书写主要以医生手动完成，但是，不同医生的专业水平和工作环境存在差异，会导致报告中存在差异性大、书写不规范等问题，并且随着医学影像技术的飞速发展，医学影像数据呈指数级增长，大大增加了报告书写负荷。

目前，现有的医学报告自动生成技术多是基于端对端的架构，生成的结果比较粗糙，并且不能较好地捕获图像中的关键临床信息，导致无法评估病变检出的准确性，因而也无法保证检查报告的正确性，不能有效地提高医生书写报告的效率，反而可能会引入更多的错误信息。

发明内容

为解决上述技术问题，本申请的实施例提供了一种医学报告生成方法、装置、存储介质和电子设备。进而至少在一定程度上实现基于人工智能的医疗影像报告自动生成。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种医学报告生成方法，方法包括：

获取医学影像信息、与所述医学影像信息对应的样本报告信息和知识图谱信息；

根据知识实体类型对所述知识图谱信息进行分类，并根据分类结果将所述医学影像信息设置为不同级别的节点，节点包括用于表征结构特征的一级节点、用于表征为影像学特征的二级节点和用于表征为细节特征的三级节点；

基于结构特征、影像学特征和细节特征之间的关系建立节点关系，根据所述节点和节点关系构建知识图谱数据库；

通过所述知识图谱数据库对目标医学影像进行匹配，得到目标医学影像的报告信息。

于本申请的一个实施例中，基于结构特征和影像学检查建立第一节点关系，并将所述第一节点关系作为影像特征；基于影像学特征和病变位置建立第二节点关系，并将所述第二节点关系作为影像特征所在位置；基于不同影像学特征之间的关系建立第三节点关系，并将所述第三节点关系作为影像特征子类；基于不同病变位置之间的关系建立第四节点关系，并将所述第三节点关系作为病变位置子类；根据所述第一节点关系、第二节点关系、第三节点关系和第四节点关系，得到所述节点关系。

于本申请的一个实施例中，设置不同级别的节点的属性，所述属性包括名称、标识号、层级、正常描述、异常描述和分隔符中的一种或几种的组合；设置病变位置的节点属性，所述病变位置的节点属性包括名称、标识号、层级、子节点全部选中、子节点部分选中、子节点未被选中、分隔符中的一种或几种的组合。

于本申请的一个实施例中，通过目标名称获取一级节点，循环遍历一级节点列表以判断当前一级节点的选中状态，根据返回的一级节点对应的正常描述信息，构建用于处理一级节点的主函数；通过当前所在的一级节点处理二级节点，循环遍历二级节点列表以判断当前二级节点的选中状态，根据返回的二级节点的异常描述信息和病变细节特征描述信息，构建二级节点处理函数；通过当前所在的二级节点处理三级节点，循环遍历三级节点列表以判断当前三级节点的选中状态，根据返回的三级节点的异常描述信息，构建三级节点处理函数；基于所述主函数、二级节点处理函数和三级节点处理函数，形成知识图谱数据库的接口函数。

于本申请的一个实施例中，获取二级节点对应的病变位置节点，循环遍历病变位置节点列表以判断当前根节点被选中的情况，根据返回的位置描述信息，构建病变位置处理函数；获取当前病变特征对应的位置关系节点，循环遍历位置关系节点列表以判断当前子节点被选中的情况，根据返回的属性，构建病变位置处理子函数；根据所述主函数、二级节点处理函数、三级节点处理函数、病变位置处理函数和病变位置处理子函数，对所述节点属性进行调用，以使所述知识图谱数据库对目标医学影像进行匹配。

于本申请的一个实施例中，获取病变位置节点的子节点全部选中属性、部分选中属性或全部未被选中属性；通过解剖区域节点正常描述或异常描述属性、细节特征节点异常描述属性、分隔符属性根据预设顺序进行拼接，以得到目标医学影像的报告信息。

根据本申请实施例的一个方面，提供了一种医学报告生成装置，包括：采集模块，用于获取医学影像信息、与所述医学影像信息对应的样本报告信息和知识图谱信息；分类模块，用于根据知识实体类型对所述知识图谱信息进行分类，并根据分类结果将所述医学影像信息设置为不同级别的节点，节点包括用于表征结构特征的一级节点、用于表征为影像学特征的二级节点和用于表征为细节特征的三级节点；数据库模块，用于基于结构特征、影像学特征和细节特征之间的关系建立节点关系，根据所述节点和节点关系构建知识图谱数据库；处理模块，用于通过所述知识图谱数据库对目标医学影像进行匹配，得到目标医学影像的报告信息。

于本申请的一个实施例中，数据库模块，包括：第一节点关系单元，用于基于结构特征和影像学检查建立第一节点关系，并将所述第一节点关系作为影像特征；第二节点关系单元，用于基于影像学特征和病变位置建立第二节点关系，并将所述第二节点关系作为影像特征所在位置；第三节点关系单元，用于基于不同影像学特征之间的关系建立第三节点关系，并将所述第三节点关系作为影像特征子类；第四节点关系单元，用于基于不同病变位置之间的关系建立第四节点关系，并将所述第三节点关系作为病变位置子类。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的医学报告生成方法。

根据本申请实施例的一个方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的医学报告生成方法中的步骤。

在本申请的一些实施例所提供的技术方案中，构建知识图谱，利用节点关系和属性获取节点描述信息，进而获取病变位置子节点位置描述信息，生成规范化检查所见报告，通过本申请可以便于梳理知识之间的联系及知识的特有属性，提升知识的检索和调用的效率，在保证生成报告的准确性的基础上，可以在报告书写流程中有效地提高医生书写报告的效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请的一示例性实施例示出的示例性系统架构的示意图；

图2是本申请的一示例性实施例示出的医学报告生成方法的流程图；

图3是本申请的一示例性实施例示出的医学报告生成方法中的生成规范化检查所见的整体架构示意图；

图4是本申请的一示例性实施例示出的医学报告生成方法中的一级节点处理具体流程示意图；

图5a是本申请的一示例性实施例示出的医学报告生成方法中的二级节点处理具体流程示意图；

图5b是本申请的一示例性实施例示出的医学报告生成方法中的三级节点处理具体流程示意图；

图6示出了适于用来实现本申请实施例的医学报告生成装置的框图；

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

首先需要说明的是，知识图谱，是由节点和边组成，节点表示实体，边表示实体与实体之间的关系，这是最直观、最易于理解的知识表示和实现知识推理的框架，奠定了第三代人工智能研究的基础。读片知识图谱是一种应用于医学影像学人工智能诊断的专业知识图谱。知识图谱是结构化的语义知识库，用于以符号形式描述物理世界中的概念及其相互关系。其本质上是一种大规模的语义网络，其主要目的是对真实世界里实体或概念之间的关联关系进行描述，广泛应用于包括医学在内的各个行业。医学知识图谱可以将各种医疗信息系统中琐碎、零散的知识相互连接，对信息进行分析，进行支持医疗信息获取、医疗文本消歧、综合性知识检索以及问答、辅助决策支持、疾病风险估计等智能医疗应用。读片知识图谱是应用于医学影像学专业的一种医学知识图谱，旨在利用结构化的语义知识库描述影像专科医生在临床读片过程中的读片思维以及相关医学知识及其相互关系，主要应用于医学影像学人工智能诊断的相关研究和系统开发。

数据库接口是与数据库建立连接的技术，主流的数据库接口包括ODBC（OpenDatabase Connectivity，开放式数据库互连）和JDBC（Java Data Base Connectivity，Java数据库连接）。ODBC是最早的整合异质数据库的数据库接口，现在已成为一种事实上的标准。访问数据库最常用的方法就是通过ODBC，数据库接口是业务程序与数据库进行通信的技术。符合标准的数据库就可以通过SQL语言编写的命令对数据库进行操作，但只能针对关系数据库进行操作（如SQL Server，Oracle，Access，Excel等），目前所有的关系数据库都符合该标准。ODBC本质上是一组数据库访问API（应用程序编程接口），由一组函数调用组成，核心是SQL语句。

计算机视觉技术(Computer Vision，简称CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例的技术方案涉及图像处理领域、人工智能领域、计算机视觉技术等技术，具体通过如下实施例进行说明:

图1是本申请的一示例性实施例示出的示例性系统架构的示意图。

参照图1所示，系统架构可以包括医学报告生成设备101、云端设备102和服务器103。其中，医学报告生成设备101可以是台式图形处理器(Graphic Processing Unit，GPU)计算机、GPU计算集群、神经网络计算机等中的至少一种。相关技术人员可以使用该医学报告生成设备101实现对产品图像的处理，通过获取结构化检查所见数据，构建读片知识图谱数据库，在医学影像领域中，医学影像数据可以包括例如X线、CT、MRI等。医学报告生成设备101用于对图像进行处理自动生成医学报告，在本实施例中医学报告生成设备101可以利用节点关系和属性通过一系列算法（递归、循环等）获取节点描述信息，通过递归算法获取病变位置子节点位置描述信息，最终合成规范化检查所见报告。

示意性的，本实施例中的医学报告生成设备101可以通过云端设备102和服务器103获取图像信息，还可以由相关技术人员将图像输入到医学报告生成设备101中。在获取之后可以对目标图像进行标注，通过医学影像检查所见进行标注获得结构化检查所见，例如可以通过系统的快速高效影像标注方式，从半结构化的影像报告检查所见中提取结构化的关键字信息组成结构化字段，将结构化标签分配给其他相对应医学图像。可见，本申请实施例的技术方案能够通过医学报告生成，通过本申请可以便于梳理知识之间的联系及知识的特有属性，提升知识的检索和调用的效率，在保证生成报告的准确性的基础上，可以在报告书写流程中有效地提高医生书写报告的效率。

需要说明的是，本申请实施例所提供的医学报告生成方法一般由医学报告生成设备101执行，相应地，图像处理装置一般设置于医学报告生成设备101中。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2是本申请的一示例性实施例示出的医学报告生成方法的流程图。

如图2所示，该医学报告生成方法可以通过医学报告生成设备来执行，该医学报告生成设备可以是图1中所示的医学报告生成设备101。参照图2所示，该医学报告生成方法至少包括步骤S210至步骤S240，详细介绍如下：

S210.获取医学影像信息、与医学影像信息对应的样本报告信息和知识图谱信息。

在本申请的一个实施例中，首先进行数据获取，通过医学影像检查所见进行标注获得结构化检查所见，医学影像信息可以为X线、CT、核磁共振、超声影像等，在本实施例中，影像学是医学的分支学科，包括通过上述的X线、CT、核磁共振、超声影像等医学影像图像进行诊断，本实施例中的一级节点对应着解剖结构，二级节点对应着影像学特征，三级节点对应着细节特征，而本实施例中的影像特征是指连接解剖部位和影像学检查之间的关系。以胸部检查影像为例，与医学影像信息对应的样本报告信息和知识图谱信息可以包括通过胸部影像检查所见进行标注获得结构化检查所见，例如胸部后前位片的医学影像报告文本。

S220.根据知识实体类型对知识图谱信息进行分类，并根据分类结果将医学影像信息设置为不同级别的节点，节点包括用于表征结构特征的一级节点、用于表征为影像学特征的二级节点和用于表征为细节特征的三级节点。

在本申请的一个实施例中，可以通过先验知识细致梳理医学影像知识，然后根据知识实体类型将相同类型的知识实体归类，再按照层次化的方式设计成一级节点、二级节点、三级节点，并设计节点间关系、属性。将节点之间关系、属性保存到图数据库中，得到一个逻辑清晰、知识信息丰富的知识图谱。在本实施例中数据库可以采用Neo4j图形数据库。Neo4j是一个高性能的NoSQL图形数据库，它将结构化数据存储在网络上而不是表中。是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性得到一个逻辑清晰、知识信息丰富的知识图谱。例如，同样以胸部后前位片的医学影像报告文本为例，可以将胸廓、气管、纵膈、肺纹理、肺门、肺实质、心影、主动脉、膈面、肋膈角、胸膜及胸腔、骨骼、体内异物十三个一级实体归为一类，作为一级节点；根据一级节点异常表现的不同设计设计二级实体，作为二级节点；对肺实质实体对异常表现有细节特征的描述设计三级实体，作为三级节点。每一级节点都有着自己的属性，一级节点设计有名称、标识号、层级、正常描述、异常描述、分隔符等属性。二级节点设计有名称、标识号、分隔符、异常描述、正常描述、层级等属性。三级节点设计有名称、标识号、分隔符、异常描述、正常描述、层级等属性。病变位置节点设计有名称、标识号、层级、子节点全部选中、子节点部分选中、子节点未被选中、分隔符等属性。将节点关系和属性保存到Neo4j图数据库中。

在申请的一个实施例中，基于结构特征和影像学检查建立第一节点关系，并将第一节点关系作为影像特征；基于影像学特征和病变位置建立第二节点关系，并将第二节点关系作为影像特征所在位置；基于不同影像学特征之间的关系建立第三节点关系，并将第三节点关系作为影像特征子类；基于不同病变位置之间的关系建立第四节点关系，并将第三节点关系作为病变位置子类；根据第一节点关系、第二节点关系、第三节点关系和第四节点关系，得到节点关系。

S230.基于结构特征、影像学特征和细节特征之间的关系建立节点关系，根据节点和节点关系构建知识图谱数据库。

在申请的一个实施例中，一级节点对应着解剖结构，即结构特征，二级节点对应着影像学特征，三级节点对应着细节特征。在本实施例中，将连接解剖部位和影像学检查之间的关系构建描述为影像特征，并将名称、标识号等属性构建描述为此关系属性。将连接影像学特征和病变位置之间的关系构建描述为影像特征所在位置，并将名称、标识号等属性构建描述为此关系属性。将连接影像学特征和影像学特征之间的关系构建描述为影像特征子类，并将名称、标识号等属性构建描述为此关系类型。将连接病变位置与病变位置之间的关系构建描述为病变位置子类，并将名称、标识号等属性构建描述为此关系属性。

S240.通过知识图谱数据库对目标医学影像进行匹配，得到目标医学影像的报告信息。

图3是本申请的一示例性实施例示出的医学报告生成方法中的生成规范化检查所见的整体架构示意图。

如图3所示，输入结构化报告，例如由传入的检查项目名称胸部后前位，通过接口函数调用图数据库，从知识图谱获取其下面的一级节点列表，循环遍历一级节点列表，判断当前节点是否被选中，如果未被选中，返回一级节点的正常描述属性，否则判断当前节点下的子节点列表，返回该级节点的检查所见描述。根据当前所在的一级节点处理二级节点，返回二级节点的异常描述。循环遍历二级节点列表，判断当前节点是否被选中，如果节点被选中，获取节点的位置信息，若没有，返回空字符串，获取二级节点的异常描述信息，并获取二级节点的病变细节特征描述信息，合成节点的描述并返回。有位置信息，则输出位置信息，有位置信息和细节特征信息则输出位置信息和细节特征，有细节特征信息，则输出细节特征，如节点正常描述，则输出正常描述，然后生成规范化检查报告。

图4是本申请的一示例性实施例示出的医学报告生成方法中的一级节点处理具体流程示意图。图5a和图5b是本申请的一示例性实施例示出的医学报告生成方法中的二级节点和三级节点具体流程示意图。

如图4、图5a、图5b所示，在本申请的一个实施例中，通过目标名称获取一级节点，循环遍历一级节点列表以判断当前一级节点的选中状态，根据返回的一级节点对应的正常描述信息，构建用于处理一级节点的主函数；通过当前所在的一级节点处理二级节点，循环遍历二级节点列表以判断当前二级节点的选中状态，根据返回的二级节点的异常描述信息和病变细节特征描述信息，构建二级节点处理函数；通过当前所在的二级节点处理三级节点，循环遍历三级节点列表以判断当前三级节点的选中状态，根据返回的三级节点的异常描述信息，构建三级节点处理函数；基于所述主函数、二级节点处理函数和三级节点处理函数，获取二级节点对应的病变位置节点，循环遍历病变位置节点列表以判断当前根节点被选中的情况，根据返回的位置描述信息，构建病变位置处理函数；获取当前病变特征对应的位置关系节点，循环遍历位置关系节点列表以判断当前子节点被选中的情况，根据返回的属性，构建病变位置处理子函数，通过上述函数设计，形成知识图谱数据库的接口函数，进而通过接口函数来判断和调用节点属性，按照规则生成规范化检查所见。

如图4、图5a、图5b所示，在本申请的一个实施例中，主函数构建，即病变特征一级节点的处理函数，可以由传入的检查项目名称参数获取一级节点并处理，返回描述信息。由传入的检查项目名称胸部后前位，从知识图谱获取其下面的一级节点列表，循环遍历一级节点列表，判断当前节点是否被选中，如果未被选中，返回一级节点的正常描述属性，否则判断当前节点下的子节点列表，返回该级节点的检查所见描述。二级节点处理函数构建，可以根据当前所在的一级节点处理二级节点，返回二级节点的异常描述。循环遍历二级节点列表，判断当前节点是否被选中，如果节点被选中，获取节点的位置信息，若没有，返回空字符串，获取二级节点的异常描述信息，并获取二级节点的病变细节特征描述信息，合成节点的描述并返回。三级节点处理函数构建，可以根据当前所在的二级节点处理三级节点，返回三级节点的异常描述，即病变细节特征。循环遍历三级节点列表，逐个判断节点是否被选中，若选中，返回节点异常描述信息，否则返回空字符串。病变位置处理函数构建，可以由所在的二级节点获取病变位置描述信息。获取二级节点对应的病变位置节点列表，循环遍历，根据当前根节点被选中的情况，如果被选中，统计子节点选中的情况，并获取部分子节点位置描述。如果子节点都没被选中，返回该节点子节点全部选中的属性。如果子节点都被选中，返回该节点子节点未被选中的属性，否则返回该节点部分子节点选中属性和部分子节点的位置描述。病变位置处理子函数构建，可以根据病变位置二级节点的位置描述需要用到递归函数。先初始化该节点的默认描述一级部分选中的描述为空，获取当前病变特征对应的位置关系节点，循环遍历，判断子节点是否被选中，如果选中，利用递归算法，获取当前节点部分选中描述，如果全部未被选中，返回节点的全部未被选中的属性，如果全部都被选中，返回节点的全部选中的属性，否则合并当前节点部分选中属性和当前节点部分选中描述，并返回。在通过接口函数来判断和调用节点属性时，可以按照病变位置节点的子节点全部选中属性或者部分选中属性或全部未被选中属性、解剖区域节点正常描述或异常描述属性、细节特征节点异常描述属性、分隔符属性按顺序进行拼接，生成规范化检查所见。

在本申请的一个实施例中，按照病变位置节点的子节点全部选中属性或者部分选中属性或全部未被选中属性、解剖区域节点正常描述或异常描述属性、细节特征节点异常描述属性、分隔符属性按顺序进行拼接，生成规范化检查所见。例如，以胸部检查为例，由传入的检查项目胸部后前位，经过利用接口函数来判断并调用节点属性，按照节点名称、节点正常描述或者节点异常描述、节点分隔符顺序进行拼接，最终返回规范化检查所见。如两侧胸廓对称，所见骨质未见异常；气管居中；纵膈居中；两肺纹理清晰；左肺下野外带见大片状影，境界模糊；余未见明显异常。

图6是本申请的一示例性实施例示出的图像处理装置的框图。该装置可以应用于图2所示的实施环境，并具体配置在医学报告生成设备101中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。

如图6所示，该示例性的图像处理装置包括：采集模块601、分类模型602、数据库模块603、处理模块604。

其中，采集模块601，用于获取医学影像信息、与医学影像信息对应的样本报告信息和知识图谱信息。本实施例中的原始图像数据可以通过CT成像设备，MRI核磁共振成像设备，超声成像设备和X射线成像设备等。通过获取数据中的医学图像和图像的检查报告中对图像的医学描述即检查所见。

在本申请的一个实施例中，分类模型602用于根据知识实体类型对所述知识图谱信息进行分类，并根据分类结果将所述医学影像信息设置为不同级别的节点，节点包括用于表征结构特征的一级节点、用于表征为影像学特征的二级节点和用于表征为细节特征的三级节点。通过分类模型602可以将相同类型的知识实体归类，按照层次化的方式设计成一级节点、二级节点、三级节点，并设计节点间关系、属性。

在本申请的一个实施例中，数据库模块，包括：第一节点关系单元，用于基于结构特征和影像学检查建立第一节点关系，并将所述第一节点关系作为影像特征；第二节点关系单元，用于基于影像学特征和病变位置建立第二节点关系，并将所述第二节点关系作为影像特征所在位置；第三节点关系单元，用于基于不同影像学特征之间的关系建立第三节点关系，并将所述第三节点关系作为影像特征子类；第四节点关系单元，用于基于不同病变位置之间的关系建立第四节点关系，并将所述第三节点关系作为病变位置子类。通过数据库模块可以将节点之间关系、属性保存到Neo4j图数据库中。得到一个逻辑清晰、知识信息丰富的知识图谱。将胸廓、气管、纵膈、肺纹理、肺门、肺实质、心影、主动脉、膈面、肋膈角、胸膜及胸腔、骨骼、体内异物十三个一级实体归为一类，作为一级节点；根据一级节点异常表现的不同设计设计二级实体，作为二级节点；对肺实质实体对异常表现有细节特征的描述设计三级实体，作为三级节点。每一级节点都有着自己的属性，一级节点设计有名称、标识号、层级、正常描述、异常描述、分隔符等属性。二级节点设计有名称、标识号、分隔符、异常描述、正常描述、层级等属性。三级节点设计有名称、标识号、分隔符、异常描述、正常描述、层级等属性。病变位置节点设计有名称、标识号、层级、子节点全部选中、子节点部分选中、子节点未被选中、分隔符等属性。

在本实施例中，数据库模块还包括知识图谱接口，通过知识图谱接口可以判断和调用图谱实体信息，其具体的判断和调用过程可以参考上述方法实施例中的方式，再此不再赘述。需要说明的是，上述实施例所提供的医学报告生成装置与上述实施例所提供的医学报告生成方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的医学报告生成装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的医学报告生成方法。

图7示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元（Central Processing Unit，CPU）701，其可以根据存储在只读存储器（Read-Only Memory，ROM）702中的程序或者从储存部分708加载到随机访问存储器（Random Access Memory，RAM）703中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（Input /Output，I/O）接口05也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分707；包括硬盘等的储存部分708；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入储存部分708。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元（CPU）701执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述的医学报告生成方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的医学报告生成方法。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

在上述实施例中，除非另外规定，否则通过使用 “第一”、“第二”等序号对共同的对象进行描述，只表示其指代相同对象的不同实例，而非是采用表示被描述的对象必须采用给定的顺序，无论是时间地、空间地、排序地或任何其他方式。

在上述实施例中，说明书对“本实施例”、“一实施例”、“另一实施例”、或“其他实施例”的提及表示结合实施例说明的特定特征、结构或特性包括在至少一些实施例中，但不必是全部实施例。“本实施例”、“一实施例”、“另一实施例”的多次出现不一定全部都指代相同的实施例。如果说明书描述了部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性“可以”、“或许”或“能够”被包括，则该特定部件、特征、结构或特性不是必须被包括的。如果说明书或权利要求提及“一”元件，并非表示仅有一个元件。如果说明书或权利要求提及“一另外的”元件，并不排除存在多于一个的另外的元件。

在上述实施例中，尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变形对本领域普通技术人员来说将是显而易见的。例如，其他存储结构（例如，动态RAM（DRAM））可以使用所讨论的实施例。本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种医学报告生成方法，其特征在于，包括：

获取医学影像信息、与所述医学影像信息对应的样本报告信息和知识图谱信息；

根据知识实体类型对所述知识图谱信息进行分类，并根据分类结果将所述医学影像信息设置为不同级别的节点，节点包括用于表征结构特征的一级节点、用于表征为影像学特征的二级节点和用于表征为细节特征的三级节点；

基于结构特征、影像学特征和细节特征之间的关系建立节点关系，根据所述节点和节点关系构建知识图谱数据库；

通过所述知识图谱数据库对目标医学影像进行匹配，得到目标医学影像的报告信息。

2.根据权利要求1所述的医学报告生成方法，其特征在于，基于结构特征、影像特征和细节特征之间的关系建立节点关系，包括：

基于结构特征和影像学检查建立第一节点关系，并将所述第一节点关系作为影像特征；

基于影像学特征和病变位置建立第二节点关系，并将所述第二节点关系作为影像特征所在位置；

基于不同影像学特征之间的关系建立第三节点关系，并将所述第三节点关系作为影像特征子类；

基于不同病变位置之间的关系建立第四节点关系，并将所述第三节点关系作为病变位置子类；

根据所述第一节点关系、第二节点关系、第三节点关系和第四节点关系，得到所述节点关系。

3.根据权利要求2所述的医学报告生成方法，其特征在于，基于结构特征、影像特征和细节特征之间的关系建立节点关系之后，还包括：

设置不同级别的节点的属性，所述属性包括名称、标识号、层级、正常描述、异常描述和分隔符中的一种或几种的组合；

设置病变位置的节点属性，所述病变位置的节点属性包括名称、标识号、层级、子节点全部选中、子节点部分选中、子节点未被选中、分隔符中的一种或几种的组合。

4.根据权利要求3所述的医学报告生成方法，其特征在于，基于结构特征、影像学特征和细节特征之间的关系建立节点关系，根据所述节点和节点关系构建知识图谱数据库，还包括：

通过目标名称获取一级节点，循环遍历一级节点列表以判断当前一级节点的选中状态，根据返回的一级节点对应的正常描述信息，构建用于处理一级节点的主函数；

通过当前所在的一级节点处理二级节点，循环遍历二级节点列表以判断当前二级节点的选中状态，根据返回的二级节点的异常描述信息和病变细节特征描述信息，构建二级节点处理函数；

通过当前所在的二级节点处理三级节点，循环遍历三级节点列表以判断当前三级节点的选中状态，根据返回的三级节点的异常描述信息，构建三级节点处理函数；

基于所述主函数、二级节点处理函数和三级节点处理函数，形成知识图谱数据库的接口函数。

5.根据权利要求4所述的医学报告生成方法，其特征在于，基于所述主函数、二级节点处理函数和三级节点处理函数，形成知识图谱数据库的接口函数，还包括：

获取二级节点对应的病变位置节点，循环遍历病变位置节点列表以判断当前根节点被选中的情况，根据返回的位置描述信息，构建病变位置处理函数；

获取当前病变特征对应的位置关系节点，循环遍历位置关系节点列表以判断当前子节点被选中的情况，根据返回的属性，构建病变位置处理子函数；

根据所述主函数、二级节点处理函数、三级节点处理函数、病变位置处理函数和病变位置处理子函数，对所述节点属性进行调用，以使所述知识图谱数据库对目标医学影像进行匹配。

6.根据权利要求4所述的医学报告生成方法，其特征在于，对所述节点属性进行调用，包括：

获取病变位置节点的子节点全部选中属性、部分选中属性或全部未被选中属性；

通过解剖区域节点正常描述或异常描述属性、细节特征节点异常描述属性、分隔符属性根据预设顺序进行拼接，以得到目标医学影像的报告信息。

7.一种医学报告生成装置，其特征在于，包括：

采集模块，用于获取医学影像信息、与所述医学影像信息对应的样本报告信息和知识图谱信息；

分类模块，用于根据知识实体类型对所述知识图谱信息进行分类，并根据分类结果将所述医学影像信息设置为不同级别的节点，节点包括用于表征结构特征的一级节点、用于表征为影像学特征的二级节点和用于表征为细节特征的三级节点；

数据库模块，用于基于结构特征、影像学特征和细节特征之间的关系建立节点关系，根据所述节点和节点关系构建知识图谱数据库；

处理模块，用于通过所述知识图谱数据库对目标医学影像进行匹配，得到目标医学影像的报告信息。

8.根据权利要求7所述的医学报告生成装置，其特征在于，所述数据库模块，包括：

第一节点关系单元，用于基于结构特征和影像学检查建立第一节点关系，并将所述第一节点关系作为影像特征；

第二节点关系单元，用于基于影像学特征和病变位置建立第二节点关系，并将所述第二节点关系作为影像特征所在位置；

第三节点关系单元，用于基于不同影像学特征之间的关系建立第三节点关系，并将所述第三节点关系作为影像特征子类；

第四节点关系单元，用于基于不同病变位置之间的关系建立第四节点关系，并将所述第三节点关系作为病变位置子类。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至6中任一项所述的图像结构化标注方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至6中任一项所述的图像结构化标注方法。

Images