CN115953345A - 脑出血医学图像的病变合成方法、装置及存储介质 - Google Patents

Abstract

本申请实施例公开了一种脑出血医学图像的病变合成方法、装置及存储介质，其中脑出血医学图像的病变合成方法包括：使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

Description

脑出血医学图像的病变合成方法、装置及存储介质

技术领域

本申请涉及医学图像处理技术领域，具体涉及一种脑出血医学图像的病变合成方法、装置及存储介质。

背景技术

脑出血(ICH, intracerebral hemorrhage)占所有中风的10%至15%，并且具有很高的发病率和死亡率。诊治的“黄金窗口”约为一小时。同时，非增强计算机断层扫描CT(computed tomography scan)是脑出血诊断的首选成像方式。通过非对比CT图像的观察和测量，很容易确定治疗决策和临床结果。然而，放射科医生必须识别血肿、估计其大小并测量中线偏移，这需要十几分钟，并且可能会延迟紧急治疗。脑出血的医学图像处理在早期临床过程中至关重要，有望更好地支持和加速诊断。最先进的脑出血系统大多基于深度学习，其性能在很大程度上取决于训练示例的数量和多样性。更多标记的训练示例可以提高深度学习模型的性能和鲁棒性。

从一方面，临床中心和医院都可以广泛使用阴性病例（正常脑CT扫描不包含病变），而从另一方面，很难收集具有良好标记血肿的CT扫描。临床医生每天只能标记大约10次CT扫描。再者，只有非常大的医院才有足够的阳性数据，尤其是微出血，由于局部体积的干扰，很难举例，容易漏诊。在这种情况下，将负面案例转化为标记良好的正面案例极具吸引力，因为它不仅减少了标记数据的工作量，而且还提供了必要的训练案例来改善深度学习网络的结果。

一种众所周知的将负片转换为正片的解决方案是基于图像合成技术，该技术使用生成对抗网络(GAN，Generative Adversarial Networks)来生成接近真实的图像。然而，来自GAN的合成图像具有完整的图像大小，因此生成的病变的位置难以控制。

因此，需要一种病变合成更稳定，能够输出只有特定部分发生变化的图像的方案。

发明内容

本申请实施例的目的在于提供一种脑出血医学图像的病变合成方法、装置及存储介质，用以解决现有技术中的将负片转换为正片的基于图像合成技术生成的病变的位置难以控制的问题。

为实现上述目的，本申请实施例提供一种脑出血医学图像的病变合成方法，包括：使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；

构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

可选地，所述根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版包括：

基于现有的病变蒙版，设置一个形状池，将D = [D1, D2, ..., Dn]定义为所述形状池中形状的数据矩阵，将w = [w1, w2, ..., wn]定义为权重或系数，Dw是标准化的组合形状，生成的形状A的所述蒙版通过公式：

得到，其中，S是具有两个所述端点的颅侧边缘，

是其余轮廓，T(·)是一个带有参数α的变换，它从生成的形状Dw到

进行反向标准化和反向对齐，通过随机设置不同出血的不同权重的w，生成任何位置、大小或形状的所述蒙版。

可选地，所述生成器为将UNet结构中的所有卷积层替换为部分卷积层；

所述补丁GAN鉴别器用于区分补丁是否是自然形成的。

可选地，所述病变合成网络还包括：

损失函数，所述损失函数计算的因素包括像素损失、内容损失、纹理损失和/或补丁GAN损失；

所述像素损失通过方程：

得到，其中，给定输入图像I和二进制蒙版M，0表示孔，1表示非孔输入，地面实况和预测输出定义为x和y；

所述内容损失通过方程：

得到，其中，Φl(·)是VGG-16第l层的特征图，它是在ImageNet上用输入(·)预训练的，z为y和x合成的图像，定义为

；

所述纹理损失通过方程：

得到，其中，图像的纹理可以看成是基于Gram矩阵

与维度为Cl×Cl的两幅图像的相关性；

所述补丁GAN损失通过方程：

得到，其中，

是未完成的图像。

可选地，在所述病变合成网络输出修复后的病变合成图像和空白蒙版图像之后，还包括：

通过预训练的残差网络评估生成的所述病变合成图像的真实性，给定一个内部有合成病变的补丁q，输出类标签是o，每一类的概率向量记为p(o|q)∈[0, 1]c，其中c是出血类的数量，因此，残差分数RS被定义为max(p(o|q))，而相应的类是arg max(p(o|q))。

可选地，使用ResNet50用作检测网络和分类模型，将带有和不带有人工病变的图像放在一起进行训练，验证人工病变是否可以提高脑出血检测和分类性能。

为实现上述目的，本申请还提供一种脑出血医学图像的病变合成装置，包括：存储器；以及

与所述存储器连接的处理器，所述处理器被配置成：

使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；

构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

为实现上述目的，本申请还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。

本申请实施例具有如下优点：

本申请实施例提供一种脑出血医学图像的病变合成方法，包括：使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

通过上述方法，提出了一种在非病变CT图像上生成人工病变的新策略，从而产生额外的标记训练示例。任何位置、大小或形状的蒙版都可以通过人工蒙版生成方法生成，然后通过病变合成网络(LSN)转换为出血病变。从而将正常图像转换为选定区域内的病变图像。与图像合成不同，病变合成更稳定，因为输出是只有特定部分发生变化的图像。

附图说明

为了更清楚地说明本申请的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

图1为本申请实施例提供的一种脑出血医学图像的病变合成方法的流程图；

图2为本申请实施例提供的一种脑出血医学图像的病变合成方法的流程框架；

图3a为本申请实施例提供的一种脑出血医学图像的病变合成方法的新月形硬膜下出血示意图；

图3b为本申请实施例提供的一种脑出血医学图像的病变合成方法的凸透镜形状的硬膜外出血示意图；

图4a为本申请实施例提供的一种脑出血医学图像的病变合成方法的脑部CT图像示意图；

图4b为本申请实施例提供的一种脑出血医学图像的病变合成方法的白色部分的头骨和灰色部分的实质的分割结果示意图；

图4c为本申请实施例提供的一种脑出血医学图像的病变合成方法的模拟硬膜下出血的损伤蒙版示意图；

图4d为本申请实施例提供的一种脑出血医学图像的病变合成方法的模拟硬膜外出血的损伤蒙版示意图；

图5为本申请实施例提供的一种脑出血医学图像的病变合成方法的病变合成网络的结构图；

图6为本申请实施例提供的一种脑出血医学图像的病变合成装置的模块框图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本申请一实施例提供一种脑出血医学图像的病变合成方法，参考图1和图2，图1为本申请的一实施方式中提供的一种脑出血医学图像的病变合成方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。

本申请所提供的方案的整体步骤为：

1.利用现有的形状池自动生成任意位置、形状或大小的人工蒙版。

2.通过病变合成网络（LSN, Lesion Synthesis Network）将蒙版作为病变修复到非病变CT图像上。

3.合成补丁用残差分数（RS, Residual Score）标记，以评估它们是否足够真实以输入检测网络。

4.通过结合真实病变图像和人工病变图像进行训练来估计脑出血检测和分类。

流程框架概述如图2所示。

在步骤101处，使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版。

具体地，构建人工蒙版生成器，该模块的想法是生成不受病变位置或形状和大小类型限制的人工蒙版。为了增加蒙版的多样性并试图更好地覆盖所有病变，一种直接的方法是基于训练集中现有的有限数量的病变蒙版设置一个“形状池”。然后现有蒙版的加权线性组合可以近似表示人工蒙版的任何输出。所有蒙版都可以通过相应轮廓（形状）的连接坐标来定义。下面为定义蒙版的两步方法。

第一步：位置和尺寸模仿，随机选择面具端点的定位。

本申请以硬膜下和硬膜外出血的病变类型为例介绍端点定位的概念，这些病变通常分别出现在颅骨和脑实质的交界处，分别呈新月形和凸透镜形（图3a和图3b）。脑颅骨和脑实质分割的预训练模型用于提取脑实质和颅骨部分（图4 b）。从颅骨和实质的边界中随机选择一个形状的两个端点作为P1和P2（图4c和图4d中的蓝色十字）。根据端点的自动选择，人工蒙版位置和大小不受限制。这意味着端点可以出现在任何位置和任何大小。

第二步：形状模仿，根据端点自动生成遮罩的形状。

为了增加形状的多样性，本申请通过组合现有数据来生成形状。图4c和图4d是硬膜下出血和硬膜外出血的例子， 图4c和图4d中蓝色十字是端点，白色曲线是靠近颅骨和实质边界的半边形状，红/绿曲线是其余形状，取决于对病变的不同先验知识（月牙形或凸透镜） 形状。由于靠近头骨的边界是从第一步确定的，只需要考虑其余的形状。对于硬膜下/硬膜外出血形状，由于靠近颅骨的边界（白色曲线）以端点确定，其余边缘（红色/绿色曲线）应位于：

P1P2直线（图4 c中的灰色虚线）与P1P2曲线（白色视线）形成的潜在区域内，或者；

P1P2直线（图4 d中的灰色虚线）和椭圆轮廓（灰色虚线）；椭圆轮廓长轴值P1P2，短轴值<|P1P2|。

在一些实施例中，本申请对预先对齐的训练集现有的蒙版进行标准化，提取其余的轮廓线，然后按照以下步骤将它们收集到形状池中。本申请将D = [D1, D2, ..., Dn]定义为形状池中形状的数据矩阵，将w = [w1, w2, ..., wn]定义为权重或系数，所以Dw是标准化的组合形状。因此，生成的形状A可以计算为：

方程1：

其中S是具有端点P1和P2的颅侧边缘，

是其余轮廓。这里T(·)是一个带有参数α 的变换，它从生成的形状Dw到

进行反向标准化和反向对齐。为了生成任意形状的人工蒙版，本申请随机设置不同出血的不同权重的w。如果需要产生硬膜下出血，只需为硬膜下设置更多的权重，使其更像新月形，反之亦然。

在步骤102中，构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

具体地，我们的目标是在非病变图像里将病变合成到人工蒙版上，然而使用基于生成对抗网络（GAN, Generative Adversarial Networks）的方法。GAN生成的图像是整个图像大小，可是，图像修复技术被应用于更多地关注任意蒙版中的感兴趣区域。此外，本申请的病变合成网络(LSN, Lesion Synthesis Network)中使用了补丁GAN鉴别器(即PatchGAN，指的是GAN的鉴别器，将鉴别器换成了全卷积网络)，以增强来自修复的边缘关节的上下文一致性。

本申请所提出的病变合成网络（LSN, Lesion Synthesis Network）如图5所示，由两部分组成（在图5的网络中，蓝色条、绿色条、黄色条、橙色条和粉色条分别表示部分卷积层、批量标准化、修正线性单元（ReLU, Rectified Linear Unit）、上采样层和卷积层。 字符C和N代表卷积核和每个块的特征数。Patch-GAN中的W和H是两个尺度（128和256）的宽度和高度。）：

类似UNet的生成器，与UNet结构不同的是将所有卷积层替换为部分卷积层；

patchGAN鉴别器，用于区分补丁（patch）是人工的或自然形成的。

LSN的目标是尽可能形成基本接近于自然状态的补丁。在一些实施例中，该网络由以下部分组成：

输入：二进制蒙版图像以及带有此蒙版的图像；

输出：修复后的病变合成图像以及空白蒙版图像。

部分卷积层与众所周知的卷积层不同，因为它的输出仅取决于有效（未屏蔽）输入而不是整个输入。假设W为卷积权重，b为对应的bias，F为卷积层的特征，M为对应的二进制蒙版（孔在轮廓内定义为0，有效输入在轮廓外定义为1）。部分卷积的定义为：

方程2：

其中⊙表示逐元素乘法。1/sum(M)是针对不同数量的未屏蔽（有效）输入进行调整的比例因子。如果M中有1 (sum(M)>0)，则该特征将仅对有效（未屏蔽）输入进行卷积；否则，它将被设置为0（无效）。

为了在每次部分卷积后更新蒙版

，如果蒙版至少有一个有效值（sum(M)>0），将通过以下方式将其标记为有效：

方程3：

在网络的编码器部分，蒙版的大小通过卷积层或下采样层不断缩小。在编码器部分结束时，蒙版将所有值转换为无效像素逐渐消失的值。并且相关区域应该完全被周围环境填满。随后，在解码器部分，网络学习根据真实病变的出现细化蒙版区域。在实验中，该过程可以分为两部分：训练阶段和推理阶段。在训练阶段，本申请根据具有真实病变的图像及其轮廓来学习病变的特征。在推理阶段，基于真实的非病变图像和给定的轮廓（人工蒙版），LSN可以预测和修复蒙版内的合成内容。

本申请利用patchGAN来改进结果。对于经典GAN，输出是一个二进制值来决定整个图像是否真实。而对于patchGAN，一个N×N单元矩阵表示整个图像。每个单元代表每个对应补丁（感受野）的真实概率。patchGAN的最终输出是每个单元的平均概率。因此，patchGAN比全局GAN更关注局部上下文信息。在本申请中，patchGAN的输入是人工蒙版对应的边界框，它被缩减为两个尺度：128×128和256×256。

在一些实施例中，所述病变合成网络还包括：

损失函数，所述损失函数计算的因素包括像素损失、内容损失、纹理损失和/或补丁GAN损失。

具体地，本申请的损失函数计算了四个因素：

(a)像素损失；

(b)内容损失；

(c)纹理损失；

(d) PatchGAN损失。

像素损失：给定输入图像I和二进制蒙版M（0表示孔，1表示非孔输入），地面实况和预测输出定义为x和y。对于像素损失，它包括通过L1损失的空洞损失和非空洞损失。Lpixel的定义是：

方程4：

其中Nx是x的元素数，并且 θ>1集对于孔部分的权重更大。

内容损失：为了评价合成图像的感知质量，内容损失Lcontent为：

方程5：

其中Φl(·)是VGG-16第l层的特征图，它是在ImageNet上用输入(·)预训练的。本申请使用pool1、pool2和pool3层。z为y和x合成的图像，定义为

。

纹理损失：图像的纹理可以看成是基于Gram矩阵

与维度为Cl×Cl的两幅图像的相关性。本申请为预测图像y和合成图像z定义纹理损失Ltexture：

方程6：

PatchGAN损失：为了强调合成病变边界的平滑度，本申请使用了patchGAN损失。对于预测输出y和ground truth x，通过求解arg minG max DLpatchGAN(G, D)同时训练生成器G和鉴别器D，因此基于patch的GAN损失定义为：

方程7：

其中

是未完成的图像。

因此，总损失函数Ltotal可以定义为：

方程8：

这里λ1,λ2,λ3,λ4是控制这四种损失平衡的超参数。

在一些实施例中，在所述病变合成网络输出修复后的病变合成图像和空白蒙版图像之后，还包括：

通过预训练的残差网络评估生成的所述病变合成图像的真实性，给定一个内部有合成病变的补丁q，输出类标签是o，每一类的概率向量记为p(o|q)∈[0, 1]c，其中c是出血类的数量，因此，残差分数RS被定义为max(p(o|q))，而相应的类是arg max(p(o|q))。

具体地，为了增加标记良好的阳性病例以提高性能，本申请考虑将生成的合成图像和真实病变图像组合为脑出血(ICH, intracerebral hemorrhage)检测和分类的训练集。然而，并非所有合成后生成的图像都符合图像质量标准，这意味着不能保证所有合成病变图像都足够真实以用于出血。如果直观地将它们全部应用到与真实病变图像相同的置信度的训练中，那么网络将会混乱，并且性能将很脆弱。因此，需要进行选择操作来去除合成质量低的图像。该策略不需要耗时的手动选择，而是需要评估生成图像的真实性，然后将合成病变图像添加到具有特定置信度分数的训练集中。

本申请提供残差分数(RS, Residual Score)，用于自动评估生成图像的真实性并取代人工选择合成图像。本申请使用的网络为预训练的残差网络（ResNet50，ResidualNetworks 50）。ResNet通过数据的预处理以及在网络中使用批量标准化BN（BatchNormalization）层来解决，用于数据集上进行基于补丁的出血分类。给定一个内部有合成病变的补丁q，输出类标签是o。每一类的概率向量记为p(o|q)∈[0, 1]c，其中c是出血类的数量。因此，RS被定义为max(p(o|q))，而相应的类是arg max(p(o|q))。本申请设置了c = 2（0表示负数，1表示正数）。本申请选择预测标签arg max(p(o|q)) = 1且RS>0.5的合成图像进入训练集。至于训练，本申请在相应的类中设置置信度分数RS = 1的真实图像和RS =max(p(o|q))的生成图像。

在一些实施例中，还包括：

使用ResNet50用作检测网络和分类模型，将带有和不带有人工病变的图像放在一起进行训练，验证人工病变是否可以提高脑出血检测和分类性能。

具体地，为了验证人工病变是否可以提高脑出血检测和分类性能，将带有和不带有人工病变的图像放在一起进行训练。本申请中，ResNet50用作我们的检测网络和分类模型。

通过上述方法，本申请提出了一种在非病变CT图像上生成人工病变的新策略，从而产生额外的标记训练示例。任何位置、大小或形状的人工蒙版都可以通过人工蒙版生成器(AMG)生成，然后通过病变合成网络(LSN)转换为出血病变。

将带有和不带有人工损伤的图像结合起来，以训练具有新残差评分的脑出血检测。本申请通过脑出血的辅助诊断任务进行评估。本申请可以在脑出血检测任务中将AUC值从84%提高到91%，在分类任务中从89%提高到96%。此外，通过添加小尺寸的人工病变，微出血的敏感性从49%显着提高到70%。此外，本申请在很大程度上克服了其他三种合成方法。

本申请主要贡献总结如下：

利用自动人工蒙版生成器(AMG)从形状池中定义尺寸、位置和形状不受限制的人工蒙版；

提出了一种病变合成网络（LSN），以应用人工蒙版在非病变图像上生成出血病变；

提出了残差评分(RS)评估来选择高真实度合成图像。将带有Residual Scores的合成图像与真实图像组合作为训练集；

实验结果证明了本申请在提高脑出血检测和分类性能方面的有效性，特别是对于微出血。

从而将正常图像转换为选定区域内的病变图像。与图像合成不同，病变合成更稳定，因为输出是只有特定部分发生变化的图像。

图6为本申请实施例提供的一种脑出血医学图像的病变合成装置的模块框图。该装置包括：

存储器201；以及与所述存储器201连接的处理器202，所述处理器202被配置成：使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；

构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

在一些实施例中，所述处理器202还被配置成：所述根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版包括：

基于现有的病变蒙版，设置一个形状池，将D = [D1, D2, ..., Dn]定义为所述形状池中形状的数据矩阵，将w = [w1, w2, ..., wn]定义为权重或系数，Dw是标准化的组合形状，生成的形状A的所述蒙版通过公式：

得到，其中，S是具有两个所述端点的颅侧边缘，

是其余轮廓，T(·)是一个带有参数α的变换，它从生成的形状Dw到

进行反向标准化和反向对齐，通过随机设置不同出血的不同权重的w，生成任何位置、大小或形状的所述蒙版。

在一些实施例中，所述处理器202还被配置成：所述生成器为将UNet结构中的所有卷积层替换为部分卷积层；

所述补丁GAN鉴别器用于区分补丁是否是自然形成的。

在一些实施例中，所述处理器202还被配置成：所述病变合成网络还包括：

损失函数，所述损失函数计算的因素包括像素损失、内容损失、纹理损失和/或补丁GAN损失；

所述像素损失通过方程：

得到，其中，给定输入图像I和二进制蒙版M，0表示孔，1表示非孔输入，地面实况和预测输出定义为x和y；

所述内容损失通过方程：

得到，其中，Φl(·)是VGG-16第l层的特征图，它是在ImageNet上用输入(·)预训练的，z为y和x合成的图像，定义为

；

所述纹理损失通过方程：

得到，其中，图像的纹理可以看成是基于Gram矩阵

与维度为Cl×Cl的两幅图像的相关性；

所述补丁GAN损失通过方程：

得到，其中，

是未完成的图像。

在一些实施例中，所述处理器202还被配置成：在所述病变合成网络输出修复后的病变合成图像和空白蒙版图像之后，还包括：

通过预训练的残差网络评估生成的所述病变合成图像的真实性，给定一个内部有合成病变的补丁q，输出类标签是o，每一类的概率向量记为p(o|q)∈[0, 1]c，其中c是出血类的数量，因此，残差分数RS被定义为max(p(o|q))，而相应的类是arg max(p(o|q))。

在一些实施例中，所述处理器202还被配置成：使用ResNet50用作检测网络和分类模型，将带有和不带有人工病变的图像放在一起进行训练，验证人工病变是否可以提高脑出血检测和分类性能。

具体实现方法参考前述方法实施例，此处不再赘述。

本申请可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本申请的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。

这里参照根据本申请实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。

虽然，上文中已经用一般性说明及具体实施例对本申请作了详尽的描述，但在本申请基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本申请精神的基础上所做的这些修改或改进，均属于本申请要求保护的范围。

Claims (10)

1.一种脑出血医学图像的病变合成方法，其特征在于，包括：

使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；

构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

2.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，所述根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版包括：

基于现有的病变蒙版，设置一个形状池，将D = [D1, D2, ..., Dn]定义为所述形状池中形状的数据矩阵，将w = [w1, w2, ..., wn]定义为权重或系数，Dw是标准化的组合形状，生成的形状A的所述蒙版通过公式：

得到，其中， S 是具有两个所述端点的颅侧边缘，

是其余轮廓，T(·) 是一个带有参数α的变换，它从生成的形状 Dw 到

进行反向标准化和反向对齐，通过随机设置不同出血的不同权重的 w，生成任何位置、大小或形状的所述蒙版。

3.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，

所述生成器为将UNet结构中的所有卷积层替换为部分卷积层；

所述补丁GAN鉴别器用于区分补丁是否是自然形成的。

4.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，所述病变合成网络还包括：

损失函数，所述损失函数计算的因素包括像素损失、内容损失、纹理损失和/或补丁GAN损失；

所述像素损失通过方程：

,

得到，其中，给定输入图像 I 和二进制蒙版 M，0 表示孔，1 表示非孔输入，地面实况和预测输出定义为 x 和 y；

所述内容损失通过方程：

,

得到，其中，Φl(·)是 VGG-16 第 l 层的特征图，它是在 ImageNet 上用输入 (·)预训练的， z为y和x合成的图像，定义为

；所述纹理损失通过方程：

,

得到，其中，图像的纹理可以看成是基于Gram矩阵

与维度为Cl × Cl的两幅图像的相关性；

所述补丁GAN损失通过方程：

,

得到，其中，

是未完成的图像。

5.根据权利要求1所述的脑出血医学图像的病变合成方法，其特征在于，在所述病变合成网络输出修复后的病变合成图像和空白蒙版图像之后，还包括：

通过预训练的残差网络评估生成的所述病变合成图像的真实性，给定一个内部有合成病变的补丁 q，输出类标签是 o，每一类的概率向量记为p(o|q)∈[0, 1]c，其中c是出血类的数量，因此，残差分数RS 被定义为 max(p(o|q))，而相应的类是 arg max(p(o|q))。

6.根据权利要求5所述的脑出血医学图像的病变合成方法，其特征在于，还包括：

使用 ResNet50 用作检测网络和分类模型，将带有和不带有人工病变的图像放在一起进行训练，验证人工病变是否可以提高脑出血检测和分类性能。

7.一种脑出血医学图像的病变合成装置，其特征在于，包括：

存储器；以及

与所述存储器连接的处理器，所述处理器被配置成：

使用脑颅骨和脑实质分割的预训练模型提取脑实质和脑颅骨部分，从提取出的脑颅骨和脑实质的边界中随机选择一个形状的两个端点，根据所述端点自动生成用于遮罩的任何位置、大小或形状的蒙版；

构建病变合成网络，通过所述病变合成网络，将所述蒙版作为病变修复到非病变图像上，所述病变合成网络包括生成器和补丁GAN鉴别器，所述病变合成网络的输入为二进制的所述蒙版和对应的带有所述蒙版的医学图像，输出为修复后的病变合成图像和空白蒙版图像。

8.根据权利要求7所述的脑出血医学图像的病变合成装置，其特征在于，所述处理器被配置成：

在所述病变合成网络输出修复后的病变合成图像和空白蒙版图像之后，还包括：

通过预训练的残差网络评估生成的所述病变合成图像的真实性，给定一个内部有合成病变的补丁 q，输出类标签是 o，每一类的概率向量记为p(o|q)∈[0, 1]c，其中c是出血类的数量，因此，残差分数RS 被定义为 max(p(o|q))，而相应的类是 arg max(p(o|q))。

9.根据权利要求8所述的脑出血医学图像的病变合成装置，其特征在于，所述处理器被配置成：

使用 ResNet50 用作检测网络和分类模型，将带有和不带有人工病变的图像放在一起进行训练，验证人工病变是否可以提高脑出血检测和分类性能。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被机器执行时实现如权利要求1至6中任一项所述的方法的步骤。

Images