CN115641323A - 医学图像自动标注的方法及装置 - Google Patents

Abstract

本发明涉及医学图像标注领域，具体涉及一种医学图像自动标注的方法及装置，极大地提高了医学图像自动标注的准确性。本发明医学图像自动标注的方法，包括：对医学图像进行图像预处理，所述图像预处理包括对图像数据进行格式转换与剪裁，以及对图像数据进行重采样和标准化；确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型；根据最优模型对医学图像进行自动标注。本发明使用于医学图像自动标注。

Description

医学图像自动标注的方法及装置

技术领域

本发明涉及医学图像标注领域，具体涉及一种医学图像自动标注的方法及装置。

背景技术

在医学图像处理中，为原始图像添加标注是预处理步骤中非常关键的一步。图像标注即在全图中划分出与疾病相关的病灶区域，以便在此区域进行后续的图像分析和处理。传统的标注方法需要人工手动完成，即逐个图像依次画出病灶区域，费时费力，且数据量大时标注任务非常困难。

目前主要采用基于深度学习的医学图像标注，通过模型实现自动标注。其主要利用分割算法，但现有的分割模型不仅需要大量的数据和标签训练，还需要调整模型参数使其适应特定数据集。并且还会出现数据偏移等问题，导致其标注结果并不准确。

发明内容

本发明的目的是提供一种医学图像自动标注的方法及装置，极大地提高了医学图像自动标注的准确性。

本发明采取如下技术方案实现上述目的，医学图像自动标注的方法，包括：

步骤1、对医学图像进行图像预处理，所述图像预处理包括对图像数据进行格式转换与剪裁，以及对图像数据进行重采样和标准化；

步骤2、确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型；

步骤3、根据最优模型对医学图像进行自动标注。

进一步的是，为了方便图像数据的处理，步骤1中，所述对图像数据进行格式转换具体包括：将原始图像格式转换成标准格式，以及生成对应的标签描述文件。

进一步的是，为了提高分割模型的计算效率，步骤1中，所述对图像数据进行剪裁具体包括：对图像进行零值的裁剪处理，即将图像裁剪到它的非零区域。

进一步的是，为了保证不同的图像数据中，每个体素所代表的实际物理空间一致，步骤1中，所述对图像数据进行重采样具体包括：

对不同图像数据在体素空间按照如下公式进行重采样；

其中，original shape和targetshape分别代表重采样前和重采样后的图像尺寸，original spacing和target spacing分别代表重采样前和重采样后每个体素代表的实际空间大小。

进一步的是，为了使不同图像中的灰度值能有相同的分布，步骤1中，所述对图像数据进行标准化具体包括：减去图像均值再除以标准差。

进一步的是，步骤2中，所述确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型具体包括：

步骤201、确定图像标注分割模型的基本结构，根据实际图片的维度属性和计算精度要求选择对应模型的基本结构，所述基本结构包括2D U-Net、3D U-Net以及U-Net级联网络；

步骤202、根据预处理后的图像数据获取数据指纹和管道指纹，所述数据指纹包括图像大小、体素空间信息和类别比例信息，管道指纹包括训练蓝图参数、推断参数以及经验参数；

步骤203、对数据指纹和管道指纹进行交叉验证，得到对应模型的参数，根据参数的评价指标选择最优模型。

确定图像标注的分割模型基本结构能够针对不同种数据训练对应的模型，通过获取数据指纹和管道指纹，并且进行交叉验证，能够得到更准确的模型参数。

进一步的是，步骤202中，所述训练蓝图参数包括U-Net类的模板、损失函数、训练策略以及数据增强方法；所述推断参数包括网络拓扑、补丁大小、批次大小以及图像预处理的修改；所述经验参数包括数据后处理组建、整合方法。

进一步的是，步骤203中，对数据指纹和管道指纹进行交叉验证，得到对应模型的参数，根据参数的评价指标选择最优模型具体包括：

将数据指纹和管道指纹分为五份进行五折交叉验证，每一折以分割Dice为评价指标，每折验证都得到对应的模型及其相关参数；将Dice均值最高对应的模型作为最优模型，对应的参数作为自适应调节参数。

通过五折交叉验证保证了参数的准确性以及鲁棒性，并且适应了不同训练数据带来的计算偏差。

进一步的是，步骤3中，根据最优模型对医学图像进行自动标注具体包括：

将最优模型输出的二值图进行最大矩形检测，使得矩形外为全零区域，矩形内为全1区域，对应图像目标病灶位置；

将后处理后的二值图和原图对应像素相乘，得到只包含目标病灶区域的标注图像。

医学图像自动标注的装置，用于实现如上述所述的医学图像自动标注的方法，包括：

数据处理模块，用于对医学图像进行图像预处理，所述图像预处理包括对图像数据进行格式转换与剪裁，以及对图像数据进行重采样和标准化；

模型训练模块，用于确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型；

图像标注模块，用于根据最优模型对医学图像进行自动标注。

本发明的有益效果为：

本发明对医学图像进行格式转换和图像裁剪，提高了图像数据的处理效率。

本发明对图像进行零值的裁剪处理，即将图像裁剪到它的非零区域，提高了分割模型计算效率。

本发明对图像数据进行重采样，保证了不同的图像数据中，每个体素所代表的实际物理空间的一致性。

本发明对图像数据进行标准化处理，使得不同图像中的灰度值能有相同的分布。

本发明为了针对不同种数据训练对应的模型，基本结构共有三种，2D U-Net、3DU-Net和U-Net级联网络，根据实际图片的维度属性和计算精度要求选择最合适的基本结构。

本发明对数据进行五折交叉验证，保证了参数的准确性和鲁棒性，并且适应不同训练数据带来的计算偏差。

本发明通过最优模型对医学图像进行自动标注，极大地提高了标准的准确性。

附图说明

图1为本发明实施例提供的医学图像自动标注的流程图；

图2为本发明实施例提供的医学图像自动标注的网络结构图；

图3为本发明实施例提供的医学图像自动标注的结果示意图；

图4为本发明实施例提供的医学图像自动标注的装置的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

本案例将使用2D U-Net网络结构对心脏医学图像数据集进行标注，先将待标注的数据集进行统一的预处理，并划分出训练集和测试集，再利用训练数据经过五折验证得到最优标注模型，最后在最优模型上对测试集进行标注。图1为本发明实施例提供的医学图像自动标注的流程图，包括：

1)数据准备和预处理，具体步骤如下：

第一步：数据准备。将数据集分为训练集和测试集，训练数据用于模型的训练和推理，测试数据用于标注结果的测试和评估。其中训练集包括覆盖完整胸腔结构的原图和标注出心脏结构的二值图，该二值图由值为0的背景区域和值为1的矩形目标区域组成，测试集仅由覆盖完整胸腔结构的原图构成。

第二步：格式转换和图像裁剪。医学图像常见格式为DICOM、MHD或NIFTY等等，为了方便处理，需要将原始图像格式转换成标准格式，以及生成对应的标签描述文件。为了提高分割模型计算效率，对图像进行零值的裁剪处理，即将图像裁剪到它的非零区域。

第三步：重采样和标准化。为了保证不同的图像数据中，每个体素所代表的实际物理空间一致，需要对不同图像数据在体素空间进行重采样：

其中，original shape和target shape分别代表重采样前和重采样后的图像尺寸，original spacing和target spacing分别代表重采样前和重采样后每个体素代表的实际空间大小。为了使不同图像中的灰度值能有相同的分布，需要对图像进行标准化处理，即减去图像均值再除以标准差。

2)模型自适应训练，具体步骤如下：

第一步：确定图像标注的分割模型基本结构。为了针对不同种数据训练对应的模型，基本结构共有三种，2D U-Net、3D U-Net和U-Net级联网络，根据实际图片的维度属性和计算精度要求选择最合适的基本结构。本案例采用2D U-Net的基本模型，其结构及功能如图2所示。模型设计参考经典分割模型UNet，输入为待分割的包含完整胸腔结构的灰度图，输出为心脏结构的分割二值图。

第二步：获取数据指纹和管道指纹。为了得到一套预设的自适应训练参数，结合数据特征得到数据指纹和管道指纹。数据指纹包括图像大小、体素空间信息和类别比例等信息；管道指纹包括训练蓝图参数、推断参数和经验参数，训练蓝图参数有U-Net类的模板、损失函数、训练策略和数据增强方法等；推断参数有网络拓扑、补丁大小、批次大小和图像预处理的修改等；经验参数有数据后处理组建、整合方法等等。

第三步：对训练数据进行五折交叉验证。为了保证自适应参数的准确性和鲁棒性，以及为了适应不同训练数据带来的计算偏差，将训练数据分为五份进行五折交叉验证，每一折以分割Dice为评价指标，每折验证都得到最终训练模型及其相关参数。本案例利用2DU-Net模型进行交叉训练，得到五套训练完成的模型和对应参数。

第四步：推理得到最优模型。为了得到用于标注的最优模型，根据每折训练结果，推理得到Dice均值最高的模型配置及其自适应调节的参数，Dice均值最高的模型作为最优模型。

3)图像标注，具体步骤如下：

第一步：利用最优模型得到测试图像分割结果。为了保证模型在测试集上分割的稳定性，将测试数据进行和训练数据同样的预处理。利用最优模型计算得出分割结果。并将测试数据输入最优模型，得到分割二值图。

第二步：对分割结果进行后处理，标注完成。为了得到原图像规范的矩形标注区域，将最优模型输出的二值图进行最大矩形检测，使得矩形外为全零区域，矩形内为全1区域，对应图像目标病灶位置。将后处理后的二值图和原图对应像素相乘，得到只包含目标病灶区域的标注图像。

本发明的实验效果如图3所示，该图为一个测试样例用全自动医学图像标注方法在各个处理阶段的效果图。原图经过模型分割得到边界不规则的分割二值图，经过后处理后得到标注mask，mask和原图点乘即可得到标注区域。标注区域完整覆盖了心脏结构，且没有划进多余的器官或组织，经过大量测试数据实验，本发明方法能够实现快速准确的医学图像标注。

实施例二：

图4为本发明实施例提供的医学图像自动标注的装置的结构框图，包括：

数据处理模块，用于对医学图像进行图像预处理，所述图像预处理包括对图像数据进行格式转换与剪裁，以及对图像数据进行重采样和标准化；

模型训练模块，用于确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型；

图像标注模块，用于根据最优模型对医学图像进行自动标注。

具体的，在图像标注模块中，测试数据的标注流程如下：

对测试数据实施与训练数据一致的预处理，包括格式转换、图像裁剪、重采样和标准化；

利用训练完成得到的最优模型，对测试数据进行分割结果预测；

对分割结果进行后处理，包括：

(3.1)将模型输出的二值图进行最大矩形处理，得到标注mask；

(3.2)mask和原图点乘得到标注区域。

本发明的创新点包括：(1)将深度学习应用于医学图像标注。本发明从图像预处理、模型自适应训练，以及图像标注等多个方面寻求医学图像自动标注的方案，并取得了较好的效果。(2)将模型自适应训练用于解决手工模型调参、多源数据适应等等问题。基于分割模型的标注方法往往受到数据偏移的影响，且模型调参也大量依赖人工经验，本发明将数据特征和参数选择结合，设计出模型自适应训练的网络框架，实现拟合数据特征的参数生成及优化，达到提升医学图像自动标注效率和准确率的效果。

Claims (10)

1.医学图像自动标注的方法，其特征在于，包括：

步骤1、对医学图像进行图像预处理，所述图像预处理包括对图像数据进行格式转换与剪裁，以及对图像数据进行重采样和标准化；

步骤2、确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型；

步骤3、根据最优模型对医学图像进行自动标注。

2.根据权利要求1所述的医学图像自动标注的方法，其特征在于，步骤1中，所述对图像数据进行格式转换具体包括：将原始图像格式转换成标准格式，以及生成对应的标签描述文件。

3.根据权利要求1所述的医学图像自动标注的方法，其特征在于，步骤1中，所述对图像数据进行剪裁具体包括：对图像进行零值的裁剪处理，即将图像裁剪到它的非零区域。

4.根据权利要求1所述的医学图像自动标注的方法，其特征在于，步骤1中，所述对图像数据进行重采样具体包括：

对不同图像数据在体素空间按照如下公式进行重采样；

其中，original shape和target shape分别代表重采样前和重采样后的图像尺寸，original spacing和target spacing分别代表重采样前和重采样后每个体素代表的实际空间大小。

5.根据权利要求1所述的医学图像自动标注的方法，其特征在于，步骤1中，所述对图像数据进行标准化具体包括：减去图像均值再除以标准差。

6.根据权利要求1所述的医学图像自动标注的方法，其特征在于，步骤2中，所述确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型具体包括：

步骤201、确定图像标注分割模型的基本结构，根据实际图片的维度属性和计算精度要求选择对应模型的基本结构，所述基本结构包括2D U-Net、3D U-Net以及U-Net级联网络；

步骤202、根据预处理后的图像数据获取数据指纹和管道指纹，所述数据指纹包括图像大小、体素空间信息和类别比例信息，管道指纹包括训练蓝图参数、推断参数以及经验参数；

步骤203、对数据指纹和管道指纹进行交叉验证，得到对应模型的参数，根据参数的评价指标选择最优模型。

7.根据权利要求6所述的医学图像自动标注的方法，其特征在于，步骤202中，所述训练蓝图参数包括U-Net类的模板、损失函数、训练策略以及数据增强方法；所述推断参数包括网络拓扑、补丁大小、批次大小以及图像预处理的修改；所述经验参数包括数据后处理组建、整合方法。

8.根据权利要求6所述的医学图像自动标注的方法，其特征在于，步骤203中，对数据指纹和管道指纹进行交叉验证，得到对应模型的参数，根据参数的评价指标选择最优模型具体包括：

将数据指纹和管道指纹分为五份进行五折交叉验证，每一折以分割Dice为评价指标，每折验证都得到对应的模型及其相关参数；

将Dice均值最高对应的模型作为最优模型，对应的参数作为自适应调节参数。

9.根据权利要求1所述的医学图像自动标注的方法，其特征在于，步骤3中，根据最优模型对医学图像进行自动标注具体包括：

将最优模型输出的二值图进行最大矩形检测，使得矩形外为全零区域，矩形内为全1区域，对应图像目标病灶位置；

将后处理后的二值图和原图对应像素相乘，得到只包含目标病灶区域的标注图像。

10.医学图像自动标注的装置，用于实现如权利要求1-8任意一项所述的医学图像自动标注的方法，其特征在于，包括：

数据处理模块，用于对医学图像进行图像预处理，所述图像预处理包括对图像数据进行格式转换与剪裁，以及对图像数据进行重采样和标准化；

模型训练模块，用于确定图像标注分割模型的基本结构，并通过预处理后的图像数据对对应的分割模型进行自适应训练，根据训练结果选择最优模型；

图像标注模块，用于根据最优模型对医学图像进行自动标注。

Images