CN117745567A - 医疗图像数据增强方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种医疗图像数据增强方法、装置、电子设备和存储介质。其特征包括：获取原始医疗图像和原始医疗影像对应的医疗影像报告；根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征；通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。实现了对医疗图像数据的扩散增强，能够通过少数原始图像生成真实的增强图像，弥补数据不足、数据获取难度高的缺陷。

Description

医疗图像数据增强方法、装置、电子设备和存储介质

技术领域

本发明涉及医疗数据图像领域，尤其涉及一种医疗图像数据增强方法、装置、电子设备和存储介质。

背景技术

在医疗领域中，医疗影像图像能够展示患者状态，帮助医疗工作人员制定合理的治疗方案和风险评估，基于医疗影像图像训练的机器学习模型，能够有效提高医疗工作人员的工作效率，而训练机器学习模型需要大量的医疗影像图像，通过扩大训练数据集，提高机器学习模型的泛化能力，减少训练过程中的过拟合问题；而扩大训练数据集通常需要大量的医疗影像图像，而大量医疗影像图像的成本过高，获取医疗影像图像的代价过大。现有技术中通常选择使用采用图像增强技术，图像增强技术虽然可用缓解医疗图像模型的过拟合问题，但是由于增强图像与原始图像相似度很高，多样性欠缺，导致在训练样本昂贵的医疗领域，深度学习技术应用比较受限。。

发明内容

本发明提供了一种医疗图像数据增强方法、装置、电子设备和存储介质，以实现对医疗影像图像进行数据增强，提高了医疗影像图像的多样性，降低了数据增强的成本。

根据本发明的一方面，提供了一种医疗图像数据增强方法，包括：

获取原始医疗图像和原始医疗影像对应的医疗影像报告；

根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征；

通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。

根据本发明的另一方面，提供了一种医疗图像数据增强装置、包括：

数据获取模块，用于获取原始医疗图像和原始医疗影像对应的医疗影像报告；

图像降采样模块，用于根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征；

图像增强模块，用于通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的医疗图像数据增强方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的医疗图像数据增强方法。

本发明实施例的技术方案通过获取原始医疗图像和原始医疗影像对应的医疗影像报告，通过医疗影像报告引导图像增强，提高图像增强的效果；根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征，通过变分自编码模型提高提取图像特征，并减少原始医疗图像噪声的干扰，提高图像重建的效果；通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像，基于图像增强模型能够有效的生成多个目标增强图像。解决了现有技术中医疗增强图像相似度高且多样性欠缺的技术问题，实现了对医疗图像数据的扩散增强，能够通过少数原始图像生成真实的增强图像，弥补数据不足、数据获取难度高的缺陷。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种医疗图像数据增强方法的流程图；

图2是本发明实施例二提供的另一种医疗图像数据增强方法的流程图；

图3为本发明实施例中公开的一种变分自编码模型的结构示意图；

图4为本发明实施例公开的一种图像增强模型的结构示意图；

图5是本发明实施例三提供的一种医疗图像数据增强装置的结构示意图；

图6是实现本发明实施例的医疗图像数据增强方法的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例一

图1是本发明实施例一提供了一种医疗图像数据增强方法的流程图，本实施例可适用于对医疗图像进行图像增加，以得到多个医疗图像的增强图像，该方法可以由医疗图像数据增强装置来执行，该医疗图像数据增强装置可以采用硬件和/或软件的形式实现，该医疗图像数据增强装置可配置于电子设备中。如图1所示，该方法包括：

S110、获取原始医疗图像和原始医疗影像对应的医疗影像报告。

其中，原始医疗图像可以是通过不同医疗影像技术获取得到医疗图像，原始医疗图像能够有效的反馈患者的身体状态和医疗信息。示例性的，原始医疗图像可以是超声波医疗图像、穿透光医疗图像和三维医疗图像。

其中，医疗影像报告可以是医疗工作人员和/医疗设备根据医疗影像图像进行分析和判断的结果。医疗影像报告通常是对医疗影像图像的解释，能够为医疗工作人员的判断提供参考依据，有效的帮助患者恢复健康。

可选的，在本发明实施例，可以通过互联网医疗平台分别连接医院和用户，能够基于医疗服务器提供的数据服务接口获取原始医疗图像和原始医疗图像对应的医疗影像报告，同样能够基于用户登录互联网医疗平台，将医疗影像报告和原始医疗图像上传至互联网医疗平台；互联网医疗平台还提供图像识别接口，通过图像识别接口连接用户的移动终端，调用移动终端的图像拍摄装置，在线对原始医疗图像和医疗影像报告进行图像识别和信息提取。

具体的，针对需要增强的原始医疗图像，同步获取原始医疗图像和原始医疗图像对应的医疗影像报告。

S120、根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征。

其中，变分自编码模型可以是预先训练的图像编码和图像解密的深度学习模型。需要说明的是,变分自编码(Variational AutoEncoder)通过编码和解密的过程学习图像数据中的隐含表示。在本发明实施例中，由于原始医疗图像的图像数据过大，直接使用原始医疗图像进行图像增强时，难以识别原始医疗图像的图像特征，图像增强的效果较差，通过变分自编码模型能够学的原始医疗图像中的隐含特征，提高图像增强的效果。

其中，图像采样特征可以是原始医疗图像通过变分自编码模型进行图像编码得到的图像特征。

可选的，在本发明实施例中，将原始医疗图像输入变分自编码模型中，通过变分自编码模型中图像编码器对原始医疗图像进行图像压缩，确定原始医疗图像的潜在表示，通过变分自编码模型中图像解密器对潜在表示进行图像解密，变分自编码模型输出原始医疗图像对应的重建图像，将变分自编码模型的潜在表示作为原始医疗图像的图像采样特征。

具体的，将原始医疗图像输入预先训练的变分自编码模型中，通过变分自编码模型对原始医疗图像进行图像采样，得到原始医疗图像的潜在表示，通过潜在表示进行图像重建，得到原始医疗图像的重建图像，将变分自编码模型的潜在表示确定原始医疗图像的图像采样特征。

S130、通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。

其中，图像增强模型可以是预先训练用于增强图像的神经网络模型；需要说明的是，图像增强模型可以是扩散模型，通过将高斯噪声逐步加入图像中，再通过反向过程预测每一次加入噪声，进而将噪声去掉逐渐还原至无噪声的图像，进而实现图像增强。在图像增强过程中，通过每次加入的高斯噪声不相同，并且基于医疗影像报告引导去除的噪声为随机噪声，进而实现多次增强，得到多个不相同的目标增强图像。

其中，目标增强图像可以是图像增强模型扩散输出的增强图像。需要说明的是，原始医疗图像能够生成多个目标增强图像，每个目标增强图像都不相同。

具体的，将图像采样特征和医疗影像报告输入预先训练的图像增强模型，以医疗影像报告作为图像增强引导，对图像采样特征进行图像重建，得到至少一个图像增强图像。

本发明实施例的技术方案通过获取原始医疗图像和原始医疗影像对应的医疗影像报告，通过医疗影像报告引导图像增强，提高图像增强的效果；根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征，通过变分自编码模型提高提取图像特征，并减少原始医疗图像噪声的干扰，提高图像重建的效果；通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像，基于图像增强模型能够有效的生成多个目标增强图像。解决了现有技术中医疗增强图像相似度高且多样性欠缺的技术问题，实现了对医疗图像数据的扩散增强，能够通过少数原始图像生成真实的增强图像，弥补数据不足、数据获取难度高的缺陷。

实施例二

图2是本发明实施例二提供的另一种医疗图像数据增强方法的流程图，本实施例与上述实施例之间的关系为通过图像增强模型进行图像增强的具体方法。如图2所示，该医疗图像数据增强方法包括：

S210、获取原始医疗图像和原始医疗影像对应的医疗影像报告。

S220、根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征。

可选的，在发明另一可选实施例中，在所述将所述原始医疗图像输入至所述变分自编码模型中，基于所述变分自编码模型中的编码器对所述原始医疗图像进行特征采样，确定所述图像采样特征之前，还包括：

将所述训练医疗影像输入所述变分训练模型的编码器进行训练，确定训练医疗图像对应的训练图像正态分布；对所述训练图像正态分布进行特征采样，确定训练采样特征；通过所述变分训练模型的解码器对所述训练采样特征进行图像重建，确定重建图像；获取所述训练医疗图像的重建损失和训练图像正态分布和标准正态分布之间的相对熵散度；根据所述重建损失和所述相对熵散度对所述变分训练模型进行模型优化，确定所述变分自编码模型。

其中，编码器可以用于对训练医疗影像进行图像特征压缩；解码器可以用于对训练采样特征进行图像重建。训练图像正太分布可以用于表示并缩小训练医疗影像的特征；训练采样特征可以是训练医疗图像解密压缩得到特征图像，训练采样特征可以用于表示训练医疗图像的潜在特征；重建图像可以是编码器基于训练采样特征重建的图像；基于重建图像和训练医疗图像的差确定为重建损失，相对熵散度可以是训练采样特征与高斯分布之间距离的和；

具体的，在变分训练模型训练过程中，将训练医疗影像输入变分训练模型的编码器进行训练，确定训练医疗图像对应的训练图像正太分布，基于训练图像正太分布进行特征采样，确定训练采样特征，通过变分训练模型的解码器对训练采样特征进行图像重建，确定重建图像，基于重建图像和训练医疗图像确定重建损失，并获取训练采样特征的相对熵散度，基于重建损失和相对熵散度对变分训练模型进行模型优化，确定变分自编码模型。

可选的，在本发明另一可选实施例中，在所述根据所述重建损失和所述相对熵散度对所述变分训练模型进行模型优化，确定所述变分自编码模型之后，还包括：

将所述训练采样特征输入预先设置的扩散模型，基于预设的时间步长依次对所述训练采样特征进行模型训练；在所述扩散模型基于所述训练采样特征重构得到所述训练医疗影像的情况下，将所述扩散模型确定为图像增强模型。

其中，扩散模型可以是预先设置的用于训练图像增强模型的深度网络模型。

具体的，扩散模型包括高斯噪声增加网络和高斯噪声去除网络，将训练采样特征输入至扩散模型，根据预设的时间步长依次对训练采样特征进行模型训练，对训练采样特征进行高斯噪声增加和高斯噪声去除，在扩散模型基于训练采样特征重构得到训练医疗影像，则说明扩散模型模型性能满足图像增强需求，将扩散模型确定为图像增强模型。

S230、基于所述噪声增加网络根据预设的时间步长依次对图像采样特征随机加入高斯噪声，确定高斯噪声图像。

可选的，图像增强模型包括噪声增强网络和噪声去除网络，噪声增强网络用于为图像随机增加高斯噪声，噪声去除网络可以是图像随机减少高斯噪声，在噪声增强网络中依据时间步长，逐步向图像中随机增加高斯噪声，在噪声去除网络中依据时间步长，将医疗影像报告为指引，逐步随机去除图像中的高斯噪声，进而得到增强图像。其中，图像采样特征为原始医疗图像的特征图像。

其中，高斯噪声可以是服从高斯分布的图像噪声。高斯噪声图像可以是图像采样特征中添加多次高斯噪声得到的噪声图像。在高斯噪声图像中，图像中全部分布高斯噪声，无法从高斯噪声图像中获取到任何图像特征。其中，噪声增加网络和噪声去除网络的时间步长可以为相同的时间步长，

其中，时间步长可以是预先设置的用于记录添加高斯噪声的时间标记。

具体的，在图像增强模型的噪声增加网络中，依次按照时间步长，每步向图像采样特征中随机增加高斯噪声，在高斯噪声增加完成后，得到噪声增加网络输出的高斯噪声图像。

S240、基于所述噪声去除网络根据所述时间步长和所述医疗影像报告依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像。

具体的，在图像增强模型的噪声增加网络输出高斯噪声图像，将高斯噪声图像输入噪声去除网络和医疗影像报告，通过医疗影像报告引导去除高斯噪声图像的高斯噪声，得到多个目标增强图像。

可选的，在本发明另一可选实施例中，所述基于所述噪声去除网络根据所述时间步长和所述医疗影像报告依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像，包括：

通过预设的文本编码器将所述医疗影像报告进行文本编码，确定文本引导向量；基于所述噪声去除网络根据所述时间步长和所述文本引导向量依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像。

其中，文本编码器可以是预先设置的用于将文本转换为计算机能够理解的二进制形式的工具，文本编码器能够将各种不同的字符、字母和数字进行编码。在本发明实施例中，文本编码器可以将医疗影像报告转换为文本向量，进而方便使得图像增强模型进行理解和应用。

其中，文本引导向量可以用于引导噪声去除网络的去除高斯噪声；文本引导向量可以是由文本编码器编码器根据医疗影像报告中记录的医疗报告进行文本转换，识别医疗影像报告中关于医疗影像的特征文字，对特征文字进行向量化。

具体的，在进行图像重建之前，通过预设的文本编码器将医疗影像报告进行文本编码，生成医疗影像报告对应的文本引导向量，将文本引导向量输入至图像增强模型的噪声去除网络，在噪声去除网络得到高斯噪声网络时，依据时间步长在每一次去除高斯噪声时，以文本引导向量进行引导，确定去除的高斯噪声图像的高斯噪声，进而确定多个目标增强图像。

可选的，在本发明另一可选实施例中，所述基于所述噪声去除网络根据所述时间步长和所述文本引导向量依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像，包括：

基于所述噪声去除网络根据所述文本引导向量去除所述高斯噪声图像的高斯噪声，确定高斯去噪图像，并增加一次去噪步长；在所述去噪步长小于所述时间步长的情况下，返回执行基于所述噪声去除网络根据所述文本引导向量去除所述高斯噪声图像的高斯噪声的操作；在所述去噪步长等于所述时间步长的情况下，将所述高斯去噪图像确定为目标增强图像。

其中，去噪步长可以用于记录噪声去除网络去除高斯噪声次数；通过去噪步长可以判断高斯噪声图像中高斯噪声的去除情况，在去噪步长和时间步长相同的情况，可以判断得到高斯噪声图像的高斯噪声去除完成，在去噪步长小于去噪步长的情况下，在可以判断得到高斯噪声图像的高斯噪声没有去除完成，则需要继续去除高斯噪声图像，进而根据文本引导向量继续去除高斯噪声图像。

具体的，在通过噪声去除网络去除高斯噪声时，通过去噪步长记录告诉噪声图像的去噪情况，在通过一次文本引导向量去除高斯噪声图像时，增加一次去噪步长，通过去噪步长和时间步长的大小关系，判断高斯去噪图像的高斯噪声情况，在去噪步长小于时间步长的情况下，则说明高斯去噪图像的高斯噪声并未去除完整，则返回继续根据文本引导向量去除高斯噪声图像，并增加去噪步长；在去噪步长等于时间步长的情况下，则说明高斯去噪图像的高斯噪声去除完成，则图像增强完成，将高斯去噪图像作为目标增强图像。

可选的，图像增强模型确定一个目标增强图像后，基于图像采样特征进行循环图像增强，由于每次在图像采样特征中增加的高斯噪声和去除的高斯噪声不相同，则图像增强模型能够生成多个不同的目标增强图像。

可选的，在本发明另一可选实施例中，在噪声去除网络中，在去噪步长小于时间步长的情况下，判断去噪步长和时间步长的步长距离，在步长距离满足一定的设定距离阈值时，则认为高斯噪声图像满足图像增强需求，则一边输出高斯噪声图像作为目标增强图像，并保留高斯噪声图像继续执行高斯噪声去噪，直至去噪步长等于时间步长。

本发明实施例的技术方案通过获取原始医疗图像和原始医疗影像对应的医疗影像报告，通过医疗影像报告引导图像增强，提高图像增强的效果；根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征，通过变分自编码模型提高提取图像特征，并减少原始医疗图像噪声的干扰，提高图像重建的效果；通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像，基于图像增强模型能够有效的生成多个目标增强图像。解决了现有技术中医疗增强图像相似度高且多样性欠缺的技术问题，实现了对医疗图像数据的扩散增强，能够通过少数原始图像生成真实的增强图像，弥补数据不足、数据获取难度高的缺陷。

可选的，本发明实施例公开了另一种医疗图像数据增强方法，所述方法包括：

S1、准备大量的原始医疗图像和原始医疗影像对应的医疗影像报告。

S2、通过原始医疗图像训练变分自编码模型。图3为本发明实施例中公开的一种变分自编码模型的结构示意图；如图3所示，输入原始医疗图像，通过解码器确定原始医疗图像的潜在表示，通过编码器基于潜在表示得到重建图像。其中，变分自编码模型的损失函数为图像的重建损失和相对熵散度。

S3、通过潜在表示训练扩散模型，同时纳入时间步长引导模型的权重变化，利用扩散模型重建图像。

S4、将影像报告文本通过文本编码器变成文本引导向量，用于图像增强过程，引导扩散模型的输出，从而生成影像报告文本对应的目标增强图像。图4为本发明实施例公开的一种图像增强模型的结构示意图，如图4所示：将医疗影像输入文本编码器，得到文本引导向量，并从变分自编码模型中获取图像采样特征，将图像采样特征输入至噪声增加网络，得到高斯噪声图像，通过噪声去除网络根据输入的高斯噪声图像和文本引导向量进行噪声去除，得到多个目标增强网络。

本发明实施例的技术方案解决了现有技术中医疗增强图像相似度高且多样性欠缺的技术问题，实现了对医疗图像数据的扩散增强，能够通过少数原始图像生成真实的增强图像，弥补数据不足、数据获取难度高的缺陷。

实施例三

图5是本发明实施例三提供的一种医疗图像数据增强装置的结构示意图。如图5所示，该装置包括：中断信息获取模块510、中断策略计算模块520和中断合同确定模块530，其中,

数据获取模块510，用于获取原始医疗图像和原始医疗影像对应的医疗影像报告；

图像降采样模块520，用于根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征；

图像增强模块530，用于通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。

本发明实施例的技术方案通过获取原始医疗图像和原始医疗影像对应的医疗影像报告，通过医疗影像报告引导图像增强，提高图像增强的效果；根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征，通过变分自编码模型提高提取图像特征，并减少原始医疗图像噪声的干扰，提高图像重建的效果；通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像，基于图像增强模型能够有效的生成多个目标增强图像。解决了现有技术中医疗增强图像相似度高且多样性欠缺的技术问题，实现了对医疗图像数据的扩散增强，能够通过少数原始图像生成真实的增强图像，弥补数据不足、数据获取难度高的缺陷。

可选的，所述图像降采样模块具体用于：

将所述原始医疗图像输入至所述变分自编码模型中，基于所述变分自编码模型中的编码器对所述原始医疗图像进行特征采样，确定所述图像采样特征；

其中，所述变分自编码模型是基于所述变分训练模型和预设的训练医疗图像训练得到的。

可选的，所述图像增强模块具体用于：

基于所述噪声增加网络根据预设的时间步长依次对图像采样特征随机加入高斯噪声，确定高斯噪声图像；

基于所述噪声去除网络根据所述时间步长和所述医疗影像报告依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像。

可选的，所述图像增强模块具体还用于：

通过预设的文本编码器将所述医疗影像报告进行文本编码，确定文本引导向量；

基于所述噪声去除网络根据所述时间步长和所述文本引导向量依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像。

可选的，所述图像增强模块具体还用于：

基于所述噪声去除网络根据所述文本引导向量去除所述高斯噪声图像的高斯噪声，确定高斯去噪图像，并增加一次去噪步长；

在所述去噪步长小于所述时间步长的情况下，返回执行基于所述噪声去除网络根据所述文本引导向量去除所述高斯噪声图像的高斯噪声的操作；

在所述去噪步长等于所述时间步长的情况下，将所述高斯去噪图像确定为目标增强图像。

可选的，所述装置还包括模型编码模块、模型采样模块、模型重建模块、损失确定模块和模型优化模块；其中：

所述模型编码模块，用于将所述训练医疗影像输入所述变分训练模型的编码器进行训练，确定训练医疗图像对应的训练图像正态分布；

所述模型采样模块，用于对所述训练图像正态分布进行特征采样，确定训练采样特征；

所述模型重建模块，用于通过所述变分训练模型的解码器对所述训练采样特征进行图像重建，确定重建图像；

所述损失确定模块，用于获取所述训练医疗图像的重建损失和训练图像正态分布和标准正态分布之间的相对熵散度；

所述模型优化模块，用于根据所述重建损失和所述相对熵散度对所述变分训练模型进行模型优化，确定所述变分自编码模型。

可选的，所述装置还包括扩散模型训练模块和扩散模型优化模块；其中：

所述扩散模型训练模块，用于将所述训练采样特征输入预先设置的扩散模型，基于预设的时间步长依次对所述训练采样特征进行模型训练；

所述扩散模型优化模块，用于在所述扩散模型基于所述训练采样特征重构得到所述训练医疗影像的情况下，将所述扩散模型确定为图像增强模型。

本发明实施例所提供的医疗图像数据增强装置可执行本发明任意实施例所提供的医疗图像数据增强方法，具备执行方法相应的功能模块和有益效果。

实施例四

图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图6所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如医疗图像数据增强方法。

在一些实施例中，医疗图像数据增强方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的医疗图像数据增强方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行医疗图像数据增强方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

实施例五

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的医疗图像数据增强方法步骤，该方法包括：

获取原始医疗图像和原始医疗影像对应的医疗影像报告；

根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征；

通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种医疗图像数据增强方法，其特征在于，包括：

获取原始医疗图像和原始医疗影像对应的医疗影像报告；

根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征；

通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。

2.根据权利要求1所述的方法，其特征在于，所述根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征，包括：

将所述原始医疗图像输入至所述变分自编码模型中，基于所述变分自编码模型中的编码器对所述原始医疗图像进行特征采样，确定所述图像采样特征；

其中，所述变分自编码模型是基于所述变分训练模型和预设的训练医疗图像训练得到的。

3.根据权利要求1所述的方法，其特征在于，所述图像增强模型包括噪声增加网络和噪声去除网络；所述通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像，包括：

基于所述噪声增加网络根据预设的时间步长依次对图像采样特征随机加入高斯噪声，确定高斯噪声图像；

基于所述噪声去除网络根据所述时间步长和所述医疗影像报告依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述噪声去除网络根据所述时间步长和所述医疗影像报告依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像，包括：

通过预设的文本编码器将所述医疗影像报告进行文本编码，确定文本引导向量；

基于所述噪声去除网络根据所述时间步长和所述文本引导向量依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述噪声去除网络根据所述时间步长和所述文本引导向量依次去除所述高斯噪声图像的高斯噪声，确定至少一个所述目标增强图像，包括：

基于所述噪声去除网络根据所述文本引导向量去除所述高斯噪声图像的高斯噪声，确定高斯去噪图像，并增加一次去噪步长；

在所述去噪步长小于所述时间步长的情况下，返回执行基于所述噪声去除网络根据所述文本引导向量去除所述高斯噪声图像的高斯噪声的操作；

在所述去噪步长等于所述时间步长的情况下，将所述高斯去噪图像确定为目标增强图像。

6.根据权利要求2所述的方法，其特征在于，在所述将所述原始医疗图像输入至所述变分自编码模型中，基于所述变分自编码模型中的编码器对所述原始医疗图像进行特征采样，确定所述图像采样特征之前，还包括：

将所述训练医疗影像输入所述变分训练模型的编码器进行训练，确定训练医疗图像对应的训练图像正态分布；

对所述训练图像正态分布进行特征采样，确定训练采样特征；

通过所述变分训练模型的解码器对所述训练采样特征进行图像重建，确定重建图像；

获取所述训练医疗图像的重建损失和训练图像正态分布和标准正态分布之间的相对熵散度；

根据所述重建损失和所述相对熵散度对所述变分训练模型进行模型优化，确定所述变分自编码模型。

7.根据权利要求6所述的方法，其特征在于，在所述根据所述重建损失和所述相对熵散度对所述变分训练模型进行模型优化，确定所述变分自编码模型之后，还包括：

将所述训练采样特征输入预先设置的扩散模型，基于预设的时间步长依次对所述训练采样特征进行模型训练；

在所述扩散模型基于所述训练采样特征重构得到所述训练医疗影像的情况下，将所述扩散模型确定为图像增强模型。

8.一种医疗图像数据增强装置，其特征在于，包括：

数据获取模块，用于获取原始医疗图像和原始医疗影像对应的医疗影像报告；

图像降采样模块，用于根据预先训练的变分自编码模型对所述原始医疗图像进行图像重建，确定所述原始医疗图像的图像采样特征；

图像增强模块，用于通过预先训练的图像增强模型根据所述医疗影像报告和所述图像采样特征进行图像增强，确定至少一个目标增强图像。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一所述的医疗图像数据增强方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7任一所述的医疗图像数据增强方法。