CN116631584A - 通用型医学影像报告生成方法与系统、电子设备及可读存储介质 - Google Patents

Abstract

本发明涉及通用于各种疾病的医学影像报告生成方法与系统、电子设备及可读存储介质，属于医学影像智能诊断领域，包括：步骤S1，采集影像学数据，并将影像学数据的报告和临床信息存储入数据库；步骤S2，对影像数据中的病灶及人体结构进行标注或修改；步骤S3，根据所述待训练数据集训练深度学习模型，作为特征提取器；步骤S4，将系统内存储的影像学数据提取特征向量，存储入数据库；步骤S5，将待分析医学影像通过特征提取器生成特征向量，与数据库中特征向量对比，取其中最相似者生成报告。有益效果：可以生成各种器官、组织、系统、人体部位的影像学检查的报告，用于提升影像学报告书写的自动化程度和准确性。

Description

通用型医学影像报告生成方法与系统、电子设备及可读存储 介质

技术领域

本发明涉及医学影像智能诊断领域，尤其涉及通用于各种疾病的医学影像报告生成方法与系统、电子设备及可读存储介质。

背景技术

医学影像智能诊断技术已有很多，例如人工智能（artificial intelligence，AI）辅助基于超声的甲状腺结节良恶性诊断、基于眼底镜的眼底疾病诊断、基于计算机断层成像（computed tomography，CT）的肺结节检测、基于皮肤镜的皮肤肿瘤诊断等。上述技术目前已经可以做到输出对于肿瘤的良恶性诊断，或者对于有类似临床表现的疾病做鉴别诊断，以及采用检测框、掩膜标记识别出的病灶等功能。

然而，上述功能与医院中放射科医师的工作存在差异。在临床实践中，首先，放射科医师需要给出包含“检查所见”的一段对所见的正常结构和病理变化的影像学特征描述，以及包含“意见建议”的影像学诊断和相关的检查建议。单纯的良恶性诊断、鉴别诊断或高亮病灶并不便于使用，仍然需要放射科医师自行书写报告；此外，放射科医师每天接触的疾病范围很广，一般不局限于对特定的单一或一组疾病的诊断，而是可能涉及身体多个部位的多种病变，检查方式也包括X线片、CT、磁共振成像（magnetic resonance imaging，MRI）。采用能力仅限于个别疾病的人工智能算法，不能满足对临床中广泛多样的疾病的辅助诊断需求。

目前并未发现通用于各种疾病、多种检查方式的通用型医学影像报告生成方法与系统，在通常情况下都是由放射科医师自主阅片并手写报告。在此情况下，一方面低年资医师可能由于经验不足而失误；另一方面，中国医院患者众多，书写报告工作繁重，放射科医师日益紧缺。

发明内容

为了解决以上技术问题，本发明提供了一种通用型医学影像报告生成方法与系统、电子设备及可读存储介质。

本发明所解决的技术问题可以采用以下技术方案实现：

一种通用型医学影像报告生成方法，包括：

步骤S1，采集影像学数据，并对影像学数据进行预处理。根据其摄片部位、临床诊断、影像学报告内容及其他临床信息，制作分类和图像描述（image caption）数据集，并将摄片部位、临床诊断、影像学报告内容及其他临床信息通过患者id关联，建立数据库；

步骤S2，对步骤S1中得到的数据集中的病灶及人体解剖结构进行掩膜（mask）标注，得到分割数据集；再通过计算掩膜边界框，得到检测数据集；步骤S2还可以对步骤S1中制作的分类和图像描述数据集进行增加、修改、补充和删除操作。在缺少标注条件的情况下，该步骤可省略；

步骤S3，根据所述待训练数据集分别进行分类、检测、分割、图像描述深度学习模型的训练。若步骤S2被省略，则仅训练分类和图像描述深度学习模型。所得模型均作为特征提取器。在不具备自行训练的深度学习模型的情况下，也可以使用开源预训练模型、影像组学、特征工程等方法作为特征提取器；

步骤S4，将系统内存储的影像学数据经过预处理后输入至训练好的多个深度学习模型中，分别输出代表图像特征的特征向量；将各种特征向量与原始影像数据的摄片部位、临床诊断、影像学报告内容及其他临床信息建立关联，存储入步骤S1中建立的数据库；

步骤S5，将待分析医学影像通过步骤S4中训练的特征提取器生成特征向量，通过搜索算法与步骤S4中存储的数据库中特征向量对比，取其中最相似者，生成待分析医学影像的报告。

所述影像学数据包括X线片影像数据，和/或计算机断层扫描影像数据，和/或磁共振影像数据。

所述步骤S3中，具体包括：

将所述分类、检测、分割、图像描述数据集各自执行分类、检测、分割、图像描述算法任务。每个算法任务需先将相应数据集划分为训练、验证、测试集，并在训练前对数据集进行数据增强（data augmentation）；

预先设置深度学习网络，将预处理后的所述影像学数据作为所述深度学习网络的输入，将数据扩充处理后的所述训练集作为所述深度学习网络的输出，训练得到所述深度学习模型；

通过所述验证集和所述测试集对训练好的所述深度学习模型进行验证、测试；

优选地，所述步骤S3中，可以采用包括深度学习、影像组学在内的多种技术作为特征提取器。

所述步骤S4中，具体包括：

对深度学习模型通过最后一层全连接层之前的张量（tensor），如为特征图，则通过池化（pooling）等方式转化为特征向量并保存入步骤S1中建立的数据库；如为特征向量则直接保存入步骤S1中建立的数据库。

所述步骤S5中，所生成的影像报告包括检查所见（即对所见的正常结构和病理变化的影像学特征描述）和意见建议（即影像学诊断和相关的检查建议）。

本发明还提供一种通用型医学影像报告生成系统，应用于如上述的通用型医学影像报告生成方法，包括：

数据采集处理单元，用于采集影像学数据，对所述影像学数据进行预处理，并提取所述影像学数据摄片部位、临床诊断、影像学报告内容及其他临床信息建立数据库。数据采集处理单元还可以根据其摄片部位、临床诊断、影像学报告内容及其他临床信息，制作分类和图像描述（image caption）数据集；

标注单元，连接所述数据采集处理单元，用于对所述影像学数据进行标注，得到待训练数据集。标注单元也可以对已有的数据集做增加、修改、补充、删除操作；

训练单元，连接所述标注单元，用于根据所述分类、检测、分割、图像描述待训练数据集进行对应的深度学习模型的训练；

特征提取与报告生成单元，连接所述训练单元，用于提取系统内存储的影像学数据的特征向量，以及将待分析的影像学数据提取特征向量后，与数据库中的特征向量进行比较，最终输出报告。

本发明还提供一种电子设备，所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明还提供一种电子设备可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

附图说明

图1为本发明较佳实施例中，通用型医学影像报告生成方法的流程示意图；

图2为本发明较佳实施例中，通用型医学影像报告生成系统的数据流示意图；

图3为本发明较佳实施例中，通用型医学影像报告生成系统的结构框图；

图4为本发明较佳实施例中，部署了通用型医学影像报告生成系统的电子设备和电子设备可读存储介质的示意图。

实施方式

下面将结合本发明的实施例和附图，对本申请的技术方案进行详细描述，但对本申请的技术方案进行的详细描述不作为本发明的限定。下面将要描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

除非特别声明定义，本发明所使用的所有科学和/或技术术语与本发明所属的科学和/或技术领域的技术人员通常理解的含义相同。本发明在说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

贯穿说明书，X线片指基于X线穿过人体时不同位置被吸收程度不同的特性，对人体进行医疗影像学检查，而得到的图像。本发明中将使用造影剂后进行X线摄片检查所得的X线片也归属于X线片；

贯穿说明书，计算机断层扫描（computed tomography，CT）指采用X线围绕人体待检查部位进行连续断面扫描的医学影像学检查方法。CT一般分为平扫和造影增强扫描，在本发明中提到的CT包含平扫和造影增强扫描。CT影像数据指运用CT检查方法得到的图像；

贯穿说明书，磁共振成像（magnetic resonance imaging，MRI）指利用静磁场和射频磁场使原子核发生共振而吸收射频辐射，从而对待检查部位成像的医学影像学检查方法。MRI一般分为平扫和造影增强扫描，在本发明中提到的MRI包含平扫和造影增强扫描。MRI影像数据指运用MRI检查方法得到的图像。

本发明的实施例提供一种通用型医学影像报告生成方法与系统、电子设备及可读存储介质。“通用型”指不限于某一种或一组有类似临床表现、需要鉴别诊断的疾病，而是可以应用于各个器官、系统、组织、人体部位的正常或异常影像学图像。该方法可应用于一个或多个部署了影像归档和通信系统（picture archiving and communication system，PACS）的电子设备，以及一个或多个包含电子设备的影像学检查设备中；

电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specificintegrated circuit，ASIC)、可编程门阵列(field-programmable gate array，FPGA)、数字处理器(digital signal processor，DSP)、嵌入式设备等；

电子设备可以是任何一种可与客户进行人机交互的电子产品，例如，计算机、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)、游戏机、交互式网络电视(internet protocol television，IPTV)、智能式穿戴式设备等；

电子设备还可以包括网络设备和/或客户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloud computing)的由大量主机或网络服务器构成的云；

电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(virtual private network，VPN)等。

如图1所示，是本发明通用型医学影像报告生成方法的较佳实施例的流程图。对于不同的报告生成需求，图1中的流程顺序可以改变，某些步骤可以省略；

步骤S1，采集影像学数据，并对所述影像学数据进行预处理。根据其摄片部位、临床诊断、影像学报告内容及其他临床信息，制作分类和图像描述数据集。其中分类数据集标签为经过数据清洗后，可以使用国际疾病分类（international classification ofdiseases，ICD-11）代码表示的临床诊断、影像学报告中的诊断，或正常/异常的二分类标签等，分类数据集文件夹目录结构参照ImageNet数据集；图像描述数据集标签可以为临床诊断、影像学报告中的检查所见、影像学报告中的意见建议等，图像描述数据集的文件夹目录结构和标签文件格式参照Microsoft COCO Captions数据集；

运用SQL（structured query language）数据库或excel表格文件，以影像学检查的序列号（series id）作为主键，建立数据库。将检查号、摄片部位、临床诊断、影像学报告内容及其他临床信息通过患者id关联，填入数据库。数据库还会为后续需要提取的特征向量预留存储空间；

步骤S2，对步骤S1中得到的数据集中的病灶及人体解剖结构进行掩膜（mask）标注，得到分割数据集；再通过OpenCV的boundingRect函数计算掩膜边界框，得到检测数据集，检测数据集的文件夹目录结构和标签文件格式参照Microsoft COCO Detections数据集。步骤S2还可以对步骤S1中制作的分类和图像描述数据集进行增加、修改、补充和删除操作。在缺少标注条件的情况下，该步骤可省略；

步骤S3，根据所述待训练数据集分别进行分类、检测、分割、图像描述深度学习模型的训练。若步骤S2被省略，则仅训练分类和图像描述深度学习模型。所采用的深度学习神经网络可以为任何开源神经网络或自行开发的神经网络，所得模型均作为特征提取器。在不具备自行训练的深度学习模型的情况下，也可以使用开源预训练模型、影像组学、特征工程等方法作为特征提取器；

步骤S4，将所有影像学数据经过预处理后输入至训练好的多个深度学习模型中，分别输出代表图像特征的特征向量；将各种特征向量与原始影像数据的摄片部位、临床诊断、影像学报告内容及其他临床信息建立关联，存储入步骤S1中建立的数据库；

示例性地，采用ResNet50训练基于X线片影像数据的临床诊断分类模型，作为对X线片影像数据的特征提取器。已有的每张X线片数据先进行归一化，再输入ResNet50，通过神经网络的多层结构后，在平均池化（average pooling）一步中输出一个长度为2048位的特征向量。根据此X线片的序列号，将此特征向量存储入步骤S1中建立的数据库的对应行中；

示例性地，采用3D ResNet50训练基于CT影像数据的临床诊断分类模型，作为对CT影像数据的特征提取器。已有的每个CT影像数据首先通过读取DICOM（digital imagingand communications in medicine）头文件中的层厚（SliceThickness）和像素空间（PixelSpacing）参数，将DICOM中读取的体素矩阵用插值法变换为每体素对应1×1×1毫米的大小的矩阵，然后再归一化和0值中心化。将矩阵输入3D ResNet50，通过神经网络的多层结构后，在3D平均池化（3D average pooling）一步中输出一个长度为2048位的特征向量。根据此CT影像数据的序列号，将此特征向量存储入步骤S1中建立的数据库的对应行中；

示例性地，采用3D ResNet50训练基于MRI影像数据的临床诊断分类模型，作为对MRI影像数据的特征提取器。已有的每个MRI影像数据的每个序列首先通过读取DICOM头文件中的层厚和像素空间参数，将DICOM中读取的体素矩阵用插值法变换为每体素对应1×1×1毫米的大小的矩阵，然后再归一化和0值中心化。将矩阵输入3D ResNet50，通过神经网络的多层结构后，在3D平均池化一步中输出一个长度为2048位的特征向量。根据此MRI影像数据序列的序列号，将此特征向量存储入步骤S1中建立的数据库的对应行中；

步骤S5，将待分析医学影像通过所有特征提取器生成特征向量，通过搜索方法与步骤S4中存储的数据库中特征向量对比，取其中最相似者，生成待分析医学影像的报告。优选地，搜索方法可以选择欧氏距离、局部敏感哈希（locality sensitive hashing, LSH）等算法。

如图2所示，是本发明通用型医学影像报告生成方法的较佳实施例的数据流图；

对于已经纳入系统的医学影像数据，其数据流由左侧的环来描述：影像数据对应的临床信息、影像学报告等信息被存储入步骤S1中建立的数据库；影像数据的图像经过标注制成数据集，用于训练深度学习模型，模型又提取出影像数据的特征向量，按序列号存储入步骤S1中建立的数据库的对应行。对于不同的报告生成需求，图2中的流程顺序可以改变，某些步骤可以省略；

对于待分析的医学影像数据，其数据流由右侧的流程图来描述。待分析影像数据由训练好的深度学习模型提取特征向量，与数据库中相同检查手段的行的特征向量进行比对，取数据库中特征向量最为相似者作为生成的影像学报告；

本领域技术人员可以理解，图2仅仅是通用型医学影像报告生成方法的数据流的示例，并不构成对各流程执行顺序或输入输入形式的限定，也不构成对数据库所使用技术、结构、名称、数据内容、主键等信息的限定。数据库可以使用SQL技术构建，也可以使用excel构建，还可以采用散列表或其他技术构建。

如图3所示，是本发明通用型医学影像报告生成系统的较佳实施例的结构框图；

具体地，数据采集处理单元1可以分为数据采集模块、预处理模块和数据库模块。数据采集模块可采集DICOM、nii、JPEG（Joint Photographic Experts Group）、PNG（Portable Network Graphics）等多种格式的X线片、CT、MRI影像数据，并将摄片部位、临床诊断、影像学报告内容及其他临床信息提取后存储入数据库模块中，以序列号作为主键。预处理模块对影像学数据进行预处理，预处理包括但不限于归一化、平滑、滤波、数据整合、数据清洗、缺失值填充、图像分割。完成信息提取和预处理后，数据采集模块还可以根据影像数据的图像和数据库中存储的信息制作分类和图像描述数据集；

标注单元2，连接数据采集处理单元1，可供标注者对待标注图像进行掩膜标注，制作分割数据集。还可以通过OpenCV的boundingRect函数计算掩膜的检测框，制作检测数据集。标注单元2还可以对数据采集处理单元1中制作的分类和图像描述数据集进行增加、修改、补充和删除操作；

训练单元3，连接标注单元2，分为分类任务模块、检测任务模块、分割任务模块、图像描述任务模块。分别依据相应数据集训练深度学习模型，选取最优者作为特征提取器；

特征提取与报告生成单元4，连接训练单元3，分为特征提取模块和报告生成模块。特征提取模块运用训练单元3中训练的特征提取器，将已存储在系统内的影像学图像提取出特征向量，存储在数据采集处理单元1的数据库模块中；报告生成模块，运用训练单元3中训练的特征提取器，将待分析的影像学图像提取出特征向量，与特征提取模块保存在数据采集处理单元1的数据库模块中的特征向量进行比对，取最相似者的影像学报告，作为生成的报告。

如图4所示，是部署了通用型医学影像报告生成系统的电子设备和电子设备可读存储介质较佳实施例的示意图；

具体地，部署了通用型医学影像报告生成系统的电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法的步骤。电子设备可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤；

本领域技术人员可以理解，图4仅仅是部署了通用型医学影像报告生成系统的电子设备和电子设备可读存储介质的示例，并不构成对电子设备和电子设备可读存储介质的限定，电子设备可以是总线型结构，也可以是星形结构，电子设备还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如电子设备还可以包括输入输出设备、网络接入设备等。需要说明的是，图4仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种通用型医学影像报告生成方法，其特征在于，包括：

步骤S1，采集影像学数据，并对影像学数据进行预处理。根据其摄片部位、临床诊断、影像学报告内容及其他临床信息，制作分类和图像描述（image caption）数据集，并将摄片部位、临床诊断、影像学报告内容及其他临床信息通过患者id关联，建立数据库；

步骤S2，对步骤S1中得到的数据集中的病灶及人体解剖结构进行掩膜（mask）标注，得到分割数据集；再通过计算掩膜边界框，得到检测数据集。步骤S2还可以对步骤S1中制作的分类和图像描述数据集进行增加、修改、补充和删除操作。在缺少标注条件的情况下，该步骤可省略；

步骤S3，根据所述待训练数据集分别进行分类、检测、分割、图像描述深度学习模型的训练。若步骤S2被省略，则仅训练分类和图像描述深度学习模型。所得模型均作为特征提取器。在不具备自行训练的深度学习模型的情况下，也可以使用开源预训练模型、影像组学、特征工程等方法作为特征提取器；

步骤S4，将系统内存储的影像学数据经过预处理后输入至训练好的多个深度学习模型中，分别输出代表图像特征的特征向量；将各种特征向量与原始影像数据的摄片部位、临床诊断、影像学报告内容及其他临床信息建立关联，存储入步骤S1中建立的数据库；

步骤S5，将待分析医学影像通过步骤S4中训练的特征提取器生成特征向量，通过搜索算法与步骤S4中存储的数据库中特征向量对比，取其中最相似者，生成待分析医学影像的报告。

2.根据权利要求1所述的通用型医学影像报告生成方法，其特征在于，所述影像学数据包括X线片影像数据，和/或计算机断层扫描（computed tomography，CT）影像数据，和/或磁共振（magnetic resonance imaging，MRI）影像数据。

3.根据权利要求1所述的通用型医学影像报告生成方法，其特征在于，可以应用于各种器官、组织、系统、人体部位的，目的为诊断、鉴别诊断任何疾病或确认健康状态的影像学检查，生成相应影像学检查的影像学报告。

4.根据权利要求1所述的通用型医学影像报告生成方法，其特征在于，所生成的影像报告包括检查所见（即对所见的正常结构和病理变化的影像学特征描述）和意见建议（即影像学诊断和相关的检查建议）；步骤S1中的临床信息包括记录在医院信息系统内部的患者性别、年龄、病历、各种实验室检查、放射学摄片部位、病理报告等信息。

5.根据权利要求1所述的通用型医学影像报告生成方法，其特征在于，所述神经网络结构包括：

第一网络结构，用于对所述定位后X线片进行特征提取得到对应的所述病灶特征数据；

第二网络结构，用于对所述定位后CT图像进行特征提取得到对应的所述病灶特征数据；

第三网络结构，用于对所述定位后MRI图像进行特征提取得到对应的所述病灶特征数据。

6.一种通用型医学影像报告生成系统，其特征在于，应用于如权利要求1-5中任意一项所述的通用型医学影像报告生成方法，包括：

数据采集处理单元，用于采集影像学数据，并对所述影像学数据进行预处理，同时采集摄片部位、临床诊断、影像学报告内容及其他临床信息，录入本单元的数据库。数据采集处理单元还可以根据其摄片部位、临床诊断、影像学报告内容及其他临床信息，制作分类和图像描述数据集；

标注单元，连接所述数据采集处理单元，用于对预处理后的每一所述影像学数据中的目标区域进行掩膜标注，得到待训练数据集。标注单元还可以对已有数据集进行增加、修改、补充、删除操作；

训练单元，连接所述标注单元，用于根据所述分类、检测、分割、图像描述数据集进行对应的深度学习模型的训练；

特征提取与报告生成单元，连接所述训练单元，用于将系统存储的影像经过各模型分别提取特征向量，录入数据库对应行；也用于将待分析的影像学数据输入至训练好的所述深度学习模型中，输出特征向量。在数据库中进行对比，取特征向量最为相似者的影像学报告，作为输出结果。

7.根据权利要求6所述的通用型医学影像报告生成系统，其特征在于，所述影像学数据包括X线片影像数据，和/或计算机断层扫描影像，和/或磁共振影像数据。

8.根据权利要求6所述的通用型医学影像报告生成系统，其特征在于，所生成报告包括检查所见（即对所见的正常结构和病理变化的影像学特征描述）和意见建议（即影像学诊断和相关的检查建议）。

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-5任一项所述方法的步骤。

10.一种电子设备可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。