CN110993064B - 面向深度学习的医学影像标注方法及装置 - Google Patents

Abstract

本发明公开了一种面向深度学习的医学影像标注方法及装置，其中，方法包括以下步骤：对输入的影像诊断报告、电子病历信息与医学影像进行预处理，生成包含医学影像与抽取出的相关诊断信息的数据；基于深度学习对医学影像进行预标注，其中，基于图像语义分割技术对影像进行分割，得到各个病变区域的边界范围，对影像实现像素级分割标注，并基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注；将预标注后的影像及相关诊断信息通过界面展示，以接收交互式指令，供医生对预标注影像结果进行微调，并导出标注结果。该方法不仅提升了标注效率，同时保证了标注精度。

Description

面向深度学习的医学影像标注方法及装置

技术领域

本发明涉及影像标注技术领域，特别涉及一种面向深度学习的医学影像标注方法及装置。

背景技术

随着医学影像检查设备的高速发展及PACS系统的广泛应用，获取并存储了多种类医学影像大数据，使基于人工智能的医学影像分析成为当前研究热点。近年来，人工智能算法被应用于医学影像辅助诊断领域，并取得了多个令人瞩目的成果。而有监督的人工智能算法通常都需要大量已标注的数据进行训练，如何高效地获取大量高质量标注数据以供深度学习算法使用，是一个亟待解决的问题。

相关技术，(1)一种提取眼底图像标注的方法及装置。所述方法包括：依据第一设定阈值和第二设定阈值获取所述眼底图像中的各边缘信息；获取各边缘信息所界定的至少一个目标区域；对属于同一类的各所述目标区域进行拟合处理，以得到拟合区域；依据各所述拟合区域的长短半径比或面积周长比、及各所述拟合区域中存在的嵌套拟合区域，从各所述拟合区域中选择符合预设条件的至少一个目标拟合区域。该方法采用图像处理算法获取目标区域，标注准确度方面有所欠缺。

(2)一种图像标注方法、装置、计算机设备和可读存储介质。该方法可以包括：根据预先训练的奇数个图像标注模型，对同一张待标注图像进行标注，获取对应的奇数个第一标注图像；所述图像标注模型用于对图像中的目标物体进行标注；根据所述奇数个第一标注图像，确定所述待标注图像的目标标注图像。该方法仅仅基于图像信息进行标注，未利用其它信息，信息利用不充分，若应用于医学影像领域中，此法不符合实际诊断过程。

综上，目前的医学影像标注技术存在以下问题：(1)手工标注效率低，易出错(2)自动标注准确度不能达到要求(3)信息利用不充分，不符合实际诊断过程，有待解决。

发明内容

本申请是基于发明人对以下问题的认识和发现做出的：

影像标注一般涉及两类任务：影像分类任务与影像分割任务。影像分类标注是标注有病无病或病变类型与等级等，影像分割是标注影像中某个病变区域的边界范围。目前被广泛采用的标注方法主要有两种：一是手工标注，这种方法具有效率低，易出错等缺点，另一种是使用图像处理算法实现自动标注，由于语义鸿沟的存在，这种方法标注准确度不如人工方式，达不到深度学习训练样本的要求。同时，目前标注方案往往仅仅基于影像信息，未能充分利用已有诊断结果、病人病史等信息，致使信息利用不充分，不符合实际诊断过程。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种面向深度学习的医学影像标注方法，该方法不仅提升了标注效率，同时保证了标注精度，从而有效解决了目前的医学影像标注技术无法高效准确的得到标注信息、标注过程不符合实际诊断过程、未充分利用已有信息的问题。

本发明的另一个目的在于提出一种面向深度学习的医学影像标注装置。

为达到上述目的，本发明一方面实施例提出了一种面向深度学习的医学影像标注方法，包括以下步骤：对输入的影像诊断报告、电子病历信息与医学影像进行预处理，生成包含医学影像与抽取出的相关诊断信息的数据；基于深度学习对医学影像进行预标注，其中，基于图像语义分割技术对影像进行分割，得到各个病变区域的边界范围，实现像素级分割标注，并基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注；将预标注后的影像及相关诊断信息通过界面展示，接收交互式指令，供医生对预标注影像结果进行微调，并导出标注结果。

本发明实施例的面向深度学习的医学影像标注方法，通过已有病例诊断信息，以及深度学习语义分割模型、深度学习分类模型对影像进行预标注，通过交互界面展示诊断所需信息及预标注结果，辅助标注者完成标注，不仅提升了标注效率，同时保证了标注精度，从而有效解决了目前的医学影像标注技术无法高效准确的得到标注信息、标注过程不符合实际诊断过程、未充分利用已有信息的问题。

另外，根据本发明上述实施例的面向深度学习的医学影像标注方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对输入的影像诊断报告、电子病历信息与医学影像进行预处理，包括：若对象为医学文本时，从所述影像诊断报告、所述电子病历信息中识别分类诊断结果和病变的描述信息及对应文本位置信息；若所述对象为医学影像时，对所述医学影像数据进行解码、影像图像裁剪与归一化。

进一步地，在本发明的一个实施例中，还包括：将分割标注结果、分类标注及影像相关诊断信息，包括分类诊断结果以及病灶区域描述信息，绘制于交互界面上，生成闭合区域，分割标注结果是通过不同的颜色区分不同的病灶类型，并根据当前用户的操作习惯接收所述交互式指令。

进一步地，在本发明的一个实施例中，包括：确定标注方式，并确认图像的调节指令，所述调节指令包括对图像的亮度、对比度的调节以及病灶区域标注微调、疾病类型标注修改等指令。以供标注人员对影像预标注信息进行修改与确认。

进一步地，在本发明的一个实施例中，还包括：检测标注任务的类型；根据所述标注任务的类型确定导出方式，其中，所述导出方式包括文件夹式导出方式和表格标注式导出方式。

为达到上述目的，本发明另一方面实施例提出了一种面向深度学习的医学影像标注装置，包括：数据预处理模块，用于对输入的影像诊断报告、电子病历信息与医学影像进行预处理，生成包含医学影像与抽取出的相关诊断信息的数据；预标注模块，用于基于深度学习对医学影像进行预标注，其中，基于图像语义分割技术对影像进行分割，得到各个病变区域的边界范围，实现像素级分割标注，并基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注；交互式标注模块，用于将预标注后的影像信息及诊断相关信息通过界面展示，以接收交互式指令，供医生对预标注影像结果进行微调，并导出标注结果。

本发明实施例的面向深度学习的医学影像标注装置，通过已有病例诊断信息，以及深度学习语义分割模型、深度学习分类模型对影像进行预标注影像得到分类及分割结果，通过交互界面展示诊断所需信息及预标注结果，辅助标注者完成标注，不仅提升了标注效率，同时保证了标注精度，从而有效解决了目前的医学影像标注技术无法高效准确的得到标注信息、标注过程不符合实际诊断过程、未充分利用已有信息的问题。

另外，根据本发明上述实施例的面向深度学习的医学影像标注装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述数据预处理模块进一步用于在对象为医学文本时，从所述影像诊断报告、所述电子病历信息中识别分类诊断结果和病变的描述信息及对应文本位置信息，并在所述对象为医学影像时，对所述医学影像数据进行解码、影像图像裁剪与归一化。

进一步地，在本发明的一个实施例中，所述交互式标注模块进一步用于将分割标注结果、分类标注及影像相关诊断信息，包括分类诊断结果以及病灶区域描述信息，绘制于交互界面上，生成闭合区域，分割标注结果是通过不同的颜色区分不同的病灶类型，并根据当前用户的操作习惯接收所述交互式指令。

进一步地，在本发明的一个实施例中，所述交互式标注模块进一步用于确定标注方式，并确认图像的调节指令，所述调节指令包括对图像的亮度、对比度的调节，以及病灶区域标注微调、疾病类型标注修改等指令，以供标注人员对影像预标注信息进行修改与确认。

进一步地，在本发明的一个实施例中，还包括：数据导出模块，用于检测标注任务的类型，并根据所述标注任务的类型确定导出方式，其中，所述导出方式包括文件夹式导出方式和表格标注式导出方式。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的面向深度学习的医学影像标注方法的流程图；

图2为根据本发明一个实施例的面向深度学习的医学影像标注方法的流程图；

图3为根据本发明一个具体实施例的面向深度学习的医学影像标注方法的流程图；

图4为根据本发明实施例的网络结构示意图；

图5为根据本发明实施例的面向深度学习的医学影像标注装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的面向深度学习的医学影像标注方法及装置，首先将参照附图描述根据本发明实施例提出的面向深度学习的医学影像标注方法。

图1是本发明一个实施例的面向深度学习的医学影像标注方法的流程图。

该面向深度学习的医学影像标注方法，综合考虑标注效率与准确性、标注过程合理性、用户行为习惯等因素，通过设计友好的交互方式，考虑用户行为习惯，通过高效便捷的方式进行数据标注，如图2所示，从数据源输入到标注结果导出包括数据预处理、预标注、交互式标注以及数据导出等步骤，具体地，如图1所示，本发明实施例的方法包括以下步骤：

在步骤S101中，对输入的影像诊断报告、电子病历信息与医学影像进行预处理，生成包含医学影像与抽取出的相关诊断信息的数据。

可以理解的是，如图3所示，本发明实施例首先对输入的影像诊断报告，电子病历信息、医学影像，进行预处理，形成包含影像与抽取出的信息(包含影像分类诊断结果以及病变区域描述等)的数据结构，供后续处理使用。

进一步地，在本发明的一个实施例中，对输入的影像诊断报告、电子病历信息与医学影像进行预处理，包括：若对象为医学文本时，从影像诊断报告、电子病历信息中识别分类诊断结果和病变的描述信息及对应文本位置信息；若对象为医学影像时，对医学影像数据进行解码、影像图像裁剪与归一化。

可以理解的是，对输入的电子病历数据、医学影像数据、影像报告数据进行预处理，可分为两类任务：文本数据预处理任务和影像数据预处理任务。其中，(1)文本数据预处理任务：从医学文本(电子病历、影像报告)中提取关键性的生物医学命名实体，如疾病和诊断、检查、手术、药物、部位、时间等，完成从影像报告、电子病历信息中识别并获取到影像的分类诊断结果和病变的描述信息并包含其文本位置信息，还包括病人的基本信息，如性别、年龄等。(2)影像数据预处理任务：对医学影像数据进行解码，影像图像裁剪、归一化等操作。

原始数据经预处理之后，形成包含影像与抽取出的相关诊断信息的数据结构，供后续处理使用。

具体而言，数据预处理：对输入的电子病历数据、医学影像数据、影像报告数据进行预处理，具体如下：

(1)对文本信息的预处理从医学文本(电子病历、影像报告)中提取关键性的生物医学命名实体，如疾病和诊断、检查、手术、药物、部位、时间等，完成从影像报告、电子病历信息中识别并获取到影像的分类诊断结果和病变的描述信息并包含其文本位置信息，还包括病人的基本信息，如性别、年龄等。这种命名实体识别任务有多种方法，从早期的基于规则/字典的方法、基于传统机器学习的方法(如HMM、CRF等)，到基于深度学习的方法：使用神经网络如CNN、RNN等，，还有近期逐渐完善的注意力模型、迁移学习等。

下面介绍一种常见的且准确率较高的实体抽取方法：双向长短期记忆网络-条件随机场(BILSTM-CRF)方法来完成数据预处理的任务，具体地：

对于命名实体识别，根本任务是将非结构化数据转换为结构化数据，首先要通过对原始文本的词序列化、向量化表示。使用基于BIESO规则表示边界开始、中间、结束、个体及其他，并标明其实体类别作为数据标签，使用基于RNN的双向长短期记忆网络，通过三个特殊门结构：输入门、遗忘门、输出门，可以选择性地遗忘部分历史信息，并学习到长距离依赖信息。在此之后，接入CRF层，找到得分最高的标签序列并计算所有标签序列的概率分布，对标签之间的特征关系和依赖性有所考虑，以上完成整个训练过程，可服务于大型临床数据的构建和挖掘功能。基于电子病例抽取病人基本信息与分类诊断信息，基于影像报告抽取病变描述信息，其中与疾病有关的基本信息根据疾病的不同参照实际的诊断过程来确定内容。对抽取出的结果句子进行信息规范化、信息合并、信息包含等处理，最后以结构化的形式把最终结果存储。

(2)对医学影像信息的预处理包括DICOM格式文件解析，医学影像的格式一般为DICOM格式，需要对其进行解析，从中得到影像，对得到的影像进行裁剪、归一化等操作。最终形成包含影像与抽取出的信息的数据结构，供后续处理使用。

在步骤S102中，基于深度学习对医学影像进行预标注，其中，基于图像语义分割技术对影像进行分割，得到各个病变区域的边界范围，实现像素级分割标注，并基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注。

可以理解的是，如图3所示，本发明实施例使用预训练好的分割模型以及分类模型对影像进行语义分割与分类标注，具体地：使用深度学习语义分割模型对影像图片进行语义分割，得到各个病变区域的边界范围，实现对影像进行像素级标注；并使用抽取到的影像分类诊断结果结合分类模型输出结果实现影像的分类标注。

具体而言，本发明实施例使用抽取到的影像分类诊断结果结合预训练好的分类模型实现影像的分类标注，使用预训练好的分割模型对影像进行语义分割标注，得到各个病变区域的边界范围，实现影像的像素级标注。

(1)语义分割的预标注：采用多种语义分割模型，针对不同任务灵活配置，采用DeepLabV3+、DenseNet、UNet、UNet++等多种语义分割模型选择式配置的方式。针对小样本训练数据采用弱监督与半监督的深度学习网络，进行预标注模型的训练，将训练后的权重导出，用于预标注的语义分割标注。例如在糖尿病视网膜病变区域分割的任务的预标注模型中，采用DeepLabV3+模型，研究表明，通过重新采样以单一尺度提取的卷积特征，可以准确有效地对任意尺度的区域进行分类。因此，本发明实施例采用atrous空间金字塔池(ASPP)和一个卷积层来生成症状预测，针对视网膜病变并发症这种微小病灶的图像分割，非常有效果。在串行模块和空间金字塔池化(spatial pyramid pooling，SPP)模块的网络结构中，atrous convolution都能够有效增加filters的感受野，整合多尺度信息；引入语义分割常用的encoder-decoder来融合多尺度信息。DeepLabV3+的网络结构如图4中的c图所示。

(2)分类的预标注：采用多种图像分类模型ResNet+、SegNet、NAS、ResNeXt、EfficientNet等多种分类模型灵活配置。首先通过图像增强技术对训练数据进行扩充，训练数据采用弱监督与半监督的方法，接着采用ImageNet迁移学习的方法，进行预标注模型的训练，将训练后的权重导出，用于预标注的图像分类模型。

将分割模型输出，分类模型输出结合图像预处理模块获得的病例诊断数据，作为预标注结果输出到交互式界面。

在步骤S103中，将预标注后的影像信息及诊断相关信息通过界面展示，以接收交互式指令，供医生对预标注影像结果进行微调，并导出标注结果。

可以理解的是，如图3所示，将影像以及病变区域边界范围、影像的分类诊断结果、病变的描述信息，与疾病诊断有关的病人基本信息通过界面展示，并提供各种交互式操作，以供标注人员对影像预标注信息进行修改与确认。

进一步地，在本发明的一个实施例中，还包括：将分割标注结果、分类标注及影像相关诊断信息，包括分类诊断结果以及病灶区域描述信息，绘制于交互界面上，生成闭合区域，分割标注结果是通过不同的颜色区分不同的病灶类型，并根据当前用户的操作习惯接收交互式指令。

具体而言，交互式标注采用用户友好的界面，合适的布局展示影像、预标注结果、抽取出的诊断相关信息。分割标注结果及影像图片绘制于界面上，形成闭合区域，通过不同的颜色区分不同病变区域，并根据符合用户操作习惯提供各种交互式操作，以供标注人员对影像预标注信息进行修改与确认，用户可参考页面展示的信息对影像疾病类型分类及病灶区域分割进行判断，当用户发现多余、或者位置不够准确的标注区域时，可通过鼠标点击激活标注区域，选择删除区域或者直接拖动区域边缘进行修改，当发现遗漏区域时，可通过系统提供的交互式操作激活画笔、点击病变类型、选择合适的标注方式拖动鼠标在影像上添加标注区域。影像分类信息为文字信息，同样可点击激活编辑。另有拖拽、放大等交互式操作方便用户使用。

进一步地，在本发明的一个实施例中，还包括：确定标注方式，并确认图像的调节指令，调节指令包括对图像的亮度、对比度的调节以及病灶区域标注微调、疾病类型标注修改指令，以供标注人员对影像预标注信息进行修改与确认。

具体而言，提供的标注方式包括圆形、方形等规则形状，以及不规则形状，同时提供图像的调节功能，包括对图像的亮度、对比度等的调节，以使图像的特征更易被识别与把握。

影像以及分割标注区域的绘制采用HTML5的Canvas元素，通过监听鼠标事件mouseUp、mouseDown、mouseMove等，设置处理函数，获取标注位置坐标，在图片上画出标注区域并将结果传至后台进行存储。

该部分功能使标注用户使用交互式操作界面结合疾病诊断相关信息对预标注结果进行确认或修改，形成最终标注结果并存储于数据库。

进一步地，在本发明的一个实施例中，还包括：检测标注任务的类型；根据标注任务的类型确定导出方式，其中，导出方式包括文件夹式导出方式和表格标注式导出方式。

可以理解的是，如图3所示，本发明实施例在交互式标注步骤之后，将影像图片与影像分类诊断结果、分割结果以合适的数据结构组织，导出以供后续深度学习模型训练使用。

具体而言，系统可以根据标注任务的类型，自动选择导出的方式。目前，系统支持多文件夹式导出或表格标注式导出。文件夹式导出多用于单标签分类标注的医学影像数据集。在文件夹式导出时，系统首先在导出路径创建以数据集名命名的文件夹；然后检查是否已经存在名称为分类名的子文件夹，若不存在则创建该文件夹；最后，将原始影像文件在该文件夹内保存为按照序列命名、分辨率与初始相同、色彩通道数为3的图像文件。表格标注式导出多用于多标签分类标注的医学影像数据集。在表格标注式导出时，系统首先在导出路径创建以数据集名命名的文件夹，然后将原始影像文件在该文件夹内保存为按照序列命名、分辨率与初始相同、色彩通道数为3的图像文件；最后，系统在该文件夹内创建名为annotation.csv的标注表格文件。对于多分类标注，CSV文件的第一列为文件名，后续每列为一个独立分类；对于分割标注，每行代表一个样本的全部标注，包括第一列的文件名，以及后续的标注坐标集。CSV文件全部采用UTF-8编码，以便后续深度学习模型训练使用。

综上，本发明实施例提出的面向深度学习的医学影像标注方法，通过已有病例诊断信息，以及深度学习语义分割模型、深度学习分类模型对影像进行预标注影像得到分类及分割结果，通过交互界面展示诊断所需信息及预标注结果，辅助标注者完成标注，不仅提升了标注效率，同时保证了标注精度，从而有效解决了目前的医学影像标注技术无法高效准确的得到标注信息、标注过程不符合实际诊断过程、未充分利用已有信息的问题。

其次参照附图描述根据本发明实施例提出的面向深度学习的医学影像标注装置。

图5是本发明一个实施例的面向深度学习的医学影像标注装置的结构示意图。

如图5所示，该面向深度学习的医学影像标注装置10包括：数据预处理模块100、预标注模块200和交互式标注模块300。

其中，数据预处理模块100用于对输入的影像诊断报告、电子病历信息与医学影像进行预处理，生成包含医学影像与抽取出的相关诊断信息的数据；预标注模块200用于基于深度学习对医学影像进行预标注，其中，基于图像语义分割技术对影像进行分割，得到各个病变区域的边界范围，实现像素级分割标注，并基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注；交互式标注模块300用于将预标注后的影像信息及诊断相关信息通过界面展示，以接收交互式指令，供医生对预标注影像结果进行微调，并导出标注结果。本发明实施例的装置10不仅提升了标注效率，同时保证了标注精度，从而有效解决了目前的医学影像标注技术无法高效准确的得到标注信息、标注过程不符合实际诊断过程、未充分利用已有信息的问题。

进一步地，在本发明的一个实施例中，数据预处理模块100进一步用于在对象为医学文本时，从影像诊断报告、电子病历信息中识别分类诊断结果和病变的描述信息及对应文本位置信息，并在对象为医学影像时，对医学影像数据进行解码、影像图像裁剪与归一化。

进一步地，在本发明的一个实施例中，交互式标注模块300进一步用于将分割标注结果、分类标注及影像相关诊断信息，包括分类诊断结果以及病灶区域描述信息，绘制于交互界面上，生成闭合区域，分割标注结果是通过不同的颜色区分不同的病灶类型，并根据当前用户的操作习惯接收交互式指令。

进一步地，在本发明的一个实施例中，交互式标注模块300进一步用于确定标注方式，并确认图像的调节指令，调节指令包括对图像的亮度、对比度的调节以及病灶区域标注微调、疾病类型标注修改指令，以供标注人员对影像预标注信息进行修改与确认。

进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：数据导出模块400。其中，数据导出模块400用于检测标注任务的类型，并根据标注任务的类型确定导出方式，其中，导出方式包括文件夹式导出方式和表格标注式导出方式。

需要说明的是，前述对面向深度学习的医学影像标注方法实施例的解释说明也适用于该实施例的面向深度学习的医学影像标注装置，此处不再赘述。

根据本发明实施例提出的面向深度学习的医学影像标注装置，通过已有病例诊断信息，以及深度学习语义分割模型、深度学习分类模型对影像进行预标注影像得到分类及分割结果，通过交互界面展示诊断所需信息及预标注结果，辅助标注者完成标注，不仅提升了标注效率，同时保证了标注精度，从而有效解决了目前的医学影像标注技术无法高效准确的得到标注信息、标注过程不符合实际诊断过程、未充分利用已有信息的问题。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种面向深度学习的医学影像标注方法，其特征在于，包括以下步骤：

对输入的影像诊断报告、电子病历信息与医学影像进行预处理，生成包含医学影像与抽取出的相关诊断信息的数据；

基于深度学习对医学影像进行预标注，其中，基于图像语义分割技术对影像进行分割，得到各个病变区域的边界范围，实现像素级分割标注，并基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注；

将预标注后的影像及相关诊断信息通过界面展示，接收交互式指令，供医生对预标注影像结果进行微调，并导出标注结果；

其中，所述基于图像语义分割技术对影像进行分割，包括：采用多种语义分割模型,针对不同任务灵活配置；其中，针对小样本训练数据采用弱监督与半监督的深度学习网络,进行预标注模型的训练,将训练后的权重导出,用于预标注的语义分割标注；

其中，所述基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注，包括：采用多种图像分类模型灵活配置，通过图像增强技术对训练数据进行扩充,训练数据采用弱监督与半监督的方法,采用ImageNet迁移学习的方法,进行预标注模型的训练,将训练后的权重导出,用于预标注的图像分类模型。

2.根据权利要求1所述的方法，其特征在于，所述对输入的影像诊断报告、电子病历信息与医学影像进行预处理，包括：

若对象为医学文本时，从所述影像诊断报告、所述电子病历信息中识别分类诊断结果和病变的描述信息及对应文本位置信息；

若所述对象为医学影像时，对所述医学影像数据进行解码、影像图像裁剪与归一化。

3.根据权利要求1所述的方法，其特征在于，还包括：

将分割标注结果、分类标注及影像相关诊断信息，包括分类诊断结果以及病灶区域描述信息，绘制于交互界面上，生成闭合区域，分割标注结果是通过不同的颜色区分不同的病灶类型，并根据当前用户的操作习惯接收所述交互式指令。

4.根据权利要求1或3所述的方法，其特征在于，还包括：

确定标注方式，并确认图像的调节指令，所述调节指令包括对图像的亮度、对比度的调节以及病灶区域标注微调、疾病类型标注修改指令，以供标注人员对影像预标注信息进行修改与确认。

5.根据权利要求1所述的方法，其特征在于，还包括：

检测标注任务的类型；

根据所述标注任务的类型确定导出方式，其中，所述导出方式包括文件夹式导出方式和表格标注式导出方式。

6.一种面向深度学习的医学影像标注装置，其特征在于，包括：

数据预处理模块，用于对输入的影像诊断报告、电子病历信息与医学影像进行预处理，生成包含医学影像与抽取出的相关诊断信息的数据；

预标注模块，用于基于深度学习对医学影像进行预标注，其中，基于图像语义分割技术对影像进行分割，得到各个病变区域的边界范围，实现像素级分割标注，并基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注；

交互式标注模块，用于将预标注后的影像信息及诊断相关信息通过界面展示，以接收交互式指令，供医生对预标注影像结果进行微调，并导出标注结果；

其中，所述基于图像语义分割技术对影像进行分割，包括：采用多种语义分割模型,针对不同任务灵活配置；其中，针对小样本训练数据采用弱监督与半监督的深度学习网络,进行预标注模型的训练,将训练后的权重导出,用于预标注的语义分割标注；

其中，所述基于图像分类技术结合影像相关诊断信息对影像所属的疾病类型进行分类标注，包括：采用多种图像分类模型灵活配置，通过图像增强技术对训练数据进行扩充,训练数据采用弱监督与半监督的方法,采用ImageNet迁移学习的方法,进行预标注模型的训练,将训练后的权重导出,用于预标注的图像分类模型。

7.根据权利要求6所述的装置，其特征在于，所述数据预处理模块进一步用于在对象为医学文本时，从所述影像诊断报告、所述电子病历信息中识别分类诊断结果和病变的描述信息及对应文本位置信息，并在所述对象为医学影像时，对所述医学影像数据进行解码、影像图像裁剪与归一化。

8.根据权利要求6所述的装置，其特征在于，所述交互式标注模块进一步用于将分割标注结果、分类标注及影像相关诊断信息，包括分类诊断结果以及病灶区域描述信息，绘制于交互界面上，生成闭合区域，分割标注结果是通过不同的颜色区分不同的病灶类型，并根据当前用户的操作习惯接收所述交互式指令。

9.根据权利要求6或8所述的装置，其特征在于，所述交互式标注模块进一步用于确定标注方式，并确认图像的调节指令，所述调节指令包括对图像的亮度、对比度的调节以及病灶区域标注微调、疾病类型标注修改指令，以供标注人员对影像预标注信息进行修改与确认。

10.根据权利要求6所述的装置，其特征在于，还包括：

数据导出模块，用于检测标注任务的类型，并根据所述标注任务的类型确定导出方式，其中，所述导出方式包括文件夹式导出方式和表格标注式导出方式。

Images