CN116824173A - 医学图像的处理方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种医学图像的处理方法、设备及存储介质，属于医疗互联网技术领域。该方法包括：对包括至少两个不同模态信息的医学图像子集第一医学图像集进行图像预处理，得到第二医学图像集；根据第二医学图像集中各第一医学图像的模态信息和图像特征，对第一医学图像进行组合划分，得到多个训练集和测试集，为每一训练集分配不同的第一编码解码器模型并根据训练集和测试集对对应的第一编码解码器模型进行模型训练，得到多个第二编码解码器模型以根据第二编码解码器模型的算法性能确定识别策略；根据识别策略和多个第二编码解码器模型，输出第二医学图像的病灶图像信息。本申请实施例能提升获取病灶图像信息的效率和精度。

Description

医学图像的处理方法、设备及存储介质

技术领域

本申请涉及医疗互联网技术领域，尤其涉及一种医学图像的处理方法、设备及存储介质。

背景技术

目前，大部分依靠医学图像做引导的手术治疗类医疗器械，例如高强度聚焦超声治疗系统，在手术过程中需要医生对医学图像进行病灶分割与处理，依靠图像分割的结果制定治疗计划，如实现计划靶区和危及器官轮廓线的精准勾画和并基于勾画的病灶图像信息进行病灶三维建模，以在超声治疗的过程中，将超声能量最大限度的集中到计划靶区内，从而使得超声在投射到病灶时，保护病灶周围正常组织和危及器官尽可能的减少或则避免不必要的超声能量覆盖。然而，目前超声治疗中对病灶的分割，通常由医生手动操作完成，一方面这种人工处理方式效率较低且分析结果受主观影响较大，另一方面部分临床经验水平较弱的医生还会出现识别错误和漏识别的问题，这些问题关系着手术的疗效。同时在治疗过程中，由于呼吸运动、膀胱尿量变化、患者自身因为疼痛导致的意外运动等因素，之前勾画好的靶区和危及器官会发生移位和变形，因此需要医生多次进行肿瘤靶区和危及器官的重新勾画，这使得临床医生的工作变的繁重。因此，亟需一种方式能提升病灶图像信息获取的效率以及获取的精度，从而提升三维建模的效率。

发明内容

本申请实施例的主要目的在于提出一种医学图像的处理方法、设备及存储介质，能提升病灶图像信息获取的效率以及获取的精度。

为实现上述目的，本申请实施例的第一方面提出了一种医学图像的处理方法，所述方法包括：

获取第一医学图像集；所述第一医学图像集中包括至少两个不同模态信息的医学图像子集；

对所述第一医学图像集进行图像预处理，得到第二医学图像集；

根据所述第二医学图像集中各第一医学图像的模态信息和图像特征，对所述第一医学图像进行组合划分，得到多个训练集和与所述训练集一一对应的测试集，其中，每个训练集至少具有两种模态信息以及一种图像特征；

为每一所述训练集分配不同的第一编码解码器模型并根据所述训练集和所述测试集对对应的第一编码解码器模型进行模型训练，得到与所述训练集对应的训练好的第二编码解码器模型；

获取所述第二编码解码器模型的算法性能并根据所述算法性能确定识别策略；

根据所述识别策略和多个所述第二编码解码器模型，输出第二医学图像的病灶图像信息。

为实现上述目的，本申请实施例的第二方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的医学图像的处理方法。

为实现上述目的，本申请实施例的第三方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请提出的医学图像的处理方法、设备及存储介质,通过收集具有多种模态信息的第一医学图像集，增加第一编码解码器模型在训练过程中的图像信息，从而增加第二编码解码器模型的识别精度；同时依据第一医学图像的模态信息和图像特征进行训练集的划分，并采用不同的第一编码解码器模型进行训练，从而使得不同的图像特征的医学图像能采用不同的算法进行学习，此时，基于识别策略和诊断信息从第二编码器模型中筛选出的用于识别的编码器模型能实现更高精度的病灶图像信息的分割和识别。因此，和相关技术相比，本申请实施例在实际应用中，仅需根据训练好的多个第二编码器模型、诊断信息和识别策略即可完成第二医学图像的自动识别，从而能提升病灶图像信息获取的效率以及获取的精度。

附图说明

图1是本申请实施例提供的医学图像的处理方法的流程示意图；

图2是本申请实施例提供的医学图像的处理方法中识别策略设置的示意图；

图3是本申请实施例提供的医学图像的处理方法中第一编码解码器模型的结构示意图；

图4是本申请实施例提供的医学图像的处理方法中一种具体实施例的流程示意图；

图5是本申请实施例提供的医学图像的处理方法对应的硬件结构的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

本申请实施例提供的医学图像的处理方法、设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的医学图像的处理方法。

本申请的医学图像的处理方法可以应用于客户端或者是嵌入式存储器自身，当应用于客户端时，可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

目前，大部分依靠医学图像做引导的手术治疗类医疗器械，例如高强度聚焦超声治疗系统，在手术过程中需要医生对医学图像进行病灶分割与处理，依靠图像分割的结果制定治疗计划，如实现计划靶区和危及器官轮廓线的精准勾画和并基于勾画的病灶图像信息进行病灶三维建模，以在超声治疗的过程中，将超声能量最大限度的集中到计划靶区内，从而使得超声在投射到病灶时，保护病灶周围正常组织和危及器官尽可能的减少或则避免不必要的超声能量覆盖。然而，目前超声治疗中对病灶的分割，通常由医生手动操作完成，一方面这种人工处理方式效率较低且分析结果受主观影响较大，另一方面部分临床经验水平较弱的医生还会出现识别错误和漏识别的问题，这些问题关系着手术的疗效。同时在治疗过程中，由于呼吸运动、膀胱尿量变化、患者自身因为疼痛导致的意外运动等因素，之前勾画好的靶区和危及器官会发生移位和变形，因此需要医生多次进行肿瘤靶区和危及器官的重新勾画，这使得临床医生的工作变的繁重。同时，相关技术中虽然存在医学图像的自动识别，但是采集的医学U型以及图像处理存在以下问题：

(1)传感器噪声或伪影：现代医学影像最基本的成像模态有XR(X光)、US(超声)、CT(电子计算机断层扫描)和MRI(磁共振成像)等，用于成像的医学设备会存在物理噪声和图像重建误差，而医学影像模态和成像参数设定的差别则会造成不同大小的伪影。

(2)组织边界信息弱：人体内部的一些器官都是具有相似特征的软组织，它们相互接触且边界信息非常弱，导致很难被识别到。

(3)单一图像分割算法模型无法适配复杂的临床情况：实验环境下算法的各项指标均较为理想，但是一到临床中实际场景中，通常面临着精度下降问题。

综上所述，亟需一种方式能提升病灶图像信息获取的效率以及获取的精度，从而提升三维建模的效率。基于此，本申请提供一种医学图像的处理方法、设备及存储介质，能提升病灶图像信息获取的效率以及获取的精度。

下面参照图1所示，根据本申请实施例提供的医学图像的处理方法，包括：

步骤S100、获取第一医学图像集；第一医学图像集中包括至少两个不同模态信息的医学图像子集；

步骤S200、对第一医学图像集进行图像预处理，得到第二医学图像集；

步骤S300、根据第二医学图像集中各第一医学图像的模态信息和图像特征，对第一医学图像进行组合划分，得到多个训练集和与训练集一一对应的测试集，其中，每个训练集至少具有两种模态信息以及一种图像特征；

步骤S400、为每一训练集分配不同的第一编码解码器模型并根据训练集和测试集对对应的第一编码解码器模型进行模型训练，得到与训练集对应的训练好的第二编码解码器模型；

步骤S500、获取第二编码解码器模型的算法性能并根据算法性能确定识别策略；

步骤S600、根据识别策略和多个第二编码解码器模型，输出第二医学图像的病灶图像信息。

因此，通过收集具有多种模态信息的第一医学图像集，增加第一编码解码器模型在训练过程中的图像信息，从而增加第二编码解码器模型的识别精度；同时依据第一医学图像的模态信息和图像特征进行训练集的划分，并采用不同的第一编码解码器模型进行训练，从而使得不同的图像特征的医学图像能采用不同的算法进行学习，此时，基于识别策略和诊断信息从第二编码器模型中筛选出的用于识别的编码器模型能实现更高精度的病灶图像信息的分割和识别。因此，和相关技术相比，本申请实施例在实际应用中，仅需根据训练好的多个第二编码器模型、诊断信息和识别策略即可完成第二医学图像的自动识别，从而能提升病灶图像信息获取的效率以及获取的精度。

需说明的是，医学图像子集中包括至少一张医学图像。

需说明的是，第一医学图像集是针对一种病症采集得到的，如均是针对子宫肌瘤的医学图像。模态信息用于表征医学图像采用不同拍摄设备或者是同一拍摄设备下不同拍摄指标；示例性的，如采用超声得到的医学图像与采用MRI的医学图像的模态信息是不同的，示例性的，如MRI中涉及T2平扫、T2压脂等多种拍摄指标，则T2平扫和T2压脂对应的医学图像的模态信息也不相同。其中，T1，是所谓的纵向弛豫时间，就是说你把质子磁化弄到z轴负向后，他要花多少时间才能回到初始位置Z轴正向。T2,是横向弛豫时间，就是说在横向平面产生一个磁化后，他会在多少时间内衰减到零。

需说明的是，步骤S200中图像预处理包括脱敏处理、数据增强、数据标注，其中，脱敏处理是用于将第一医学图像集中各第三医学图像的敏感信息去除，如个人信息以及隐私信息去除。对图像数据进行标注，采用原始图像数据以及标注后的图像数据进行训练，编码解码器的模型识别精度更高。

需说明的是，图像特征用于表征病灶信息的分类维度，如病灶尺寸、病灶位置、病灶个数等等，从而可以实现对不同类型的病灶进行细分训练。此时，不同的模态信息的医学图像可以增加病灶的信息量，因此两者相结合后，训练得到的第二编码解码器模型的识别精度更高。

需说明的是，步骤S400是用于为不同分类维度的训练集采用不同算法进行训练，从而使得每个第二编码解码器模型对于特定类型的病灶识别精度更高，从而可以提升病灶的识别精度。

需说明的是，识别策略用于基于诊断信息自动选取与第二医学图像匹配的第三编码解码器模型。诊断信息为在术前确定的诊断结果。

需说明的是，步骤S500中算法性能可以基于Di ce,敏感性，特异性，Hausdorff距离等图像分割的指标进行计算得到。算法性能用于A I接口基于该算法性能和诊断信息确定识别策略。示例性的，参照图2所示，在诊断信息中包含了图像特征以及参考形状表达，此时通过设置的AI接口基于诊断信息中的图像特征和参考形状表达分别提取出图像术语以及形状术语，此时A I接口通过设定的识别策略基于同一图像术语以及形状术语选取过的第三编码解码器模型的算法性能确定当前诊断信息需要选取的第三编码解码器。同时，识别策略会定期更新形状表达以更新基于参考形状标表达得到的形状术语，此时，随着诊断信息的增加，基于诊断信息中自动提取的形状术语更为准确，从而使得识别策略从多个第二编码解码器模型中确定的第三编码解码器模型对第二医学图像识别精度更高。

需说明的是，在一些实施例中，第一编码解码器模型均设置为Unet神经网络模型，此时多个第一编码解码器模型可以选用3D RestU-Net、DenseU-Net、DDCU-Net、TransU-Net等多种卷积神经网络模型进行组合，从而可以验证不同编解码器堆叠结构，以及上下文纹理和语义信息融合机制的训练模型，获得高维模型参数，得出多个第二编码解码器模型。

需说明的是，U-Net神经网络模型由编码器和解码器两部分构成，首先经过编码器实现特征的提取与降维，然后再通过解码器用于特征的拼接并重建分割掩码，获得与输入图像尺寸相同的分割结果。图像编解码器(encoder-decoder)根据模块(block)堆叠数量决定着由浅到深对图像的特征和语义提取能力，因此本申请中Unet神经网络模型还增加残差模块，残差模块通过跳跃链接(skip connection)的方式将编码器各个模块的编码特征张量连接到解码器对应层次的解码特征中，即将原始编码特征与解码特征融合，帮助编解码器结构充分利用各维度特征。从而解决了医学图像中由于多为超声和MRI图像，且超声和MRI图像均是灰阶图像，颜色信息单一，且病灶纹理结构简单，不适合堆叠过多模块且由于病例样本数据量和数据多样性较低，只通过编码器最高维度编码张量做解码会导致无法充分挖掘数据中特征的问题。

示例性的，参照图3所示，第一编码解码器模型中设置有3个编码模块，分别为编码模块1、编码模块2以及编码模块3，相应的设置有3个解码模块，分别为解码模块1、解码模块2以及解码模块3，当训练集中的原始图像数据作为源域输入以及将训练集中标注数据作为目标域从第一个编码模块1进入后，通过跳跃连接将编码模型1的输出连接到解码模块3，将编码模块2的输出连接到解码模块2，将编码模块3的输出连接到解码模块1，同时当训练集中存在正样本和负样本时，通过判断器分辨源域输入的为正样本还是负样本，此时，输出的结果识别精度更高。

步骤S200对第一医学图像集进行图像预处理，得到第二医学图像集，包括：

对第一医学图像集进行脱敏处理，得到第三医学图像集；

对第三医学图像集进行标注，得到第四医学图像集；

对第三医学图像集和第四医学图像集进行切片提取；

对切片提取后的第三医学图像集和第四医学图像集进行灰度归一化处理；

对灰度归一化后的第三医学图像集和第四医学图像集进行数据增强；

根据数据增强后的第三医学图像集和第四医学图像集，得到第二医学图像集；

对灰度归一化后的第三医学图像集和第四医学图像集进行数据增强，包括如下至少之一：

对灰度归一化后的第三医学图像集和第四医学图像集均进行图像形变；

对灰度归一化后的第三医学图像集和第四医学图像集均进行图像缩放；

对灰度归一化后的第三医学图像集和第四医学图像集均进行图像旋转；

通过生成对抗网络对灰度归一化后的第三医学图像集和第四医学图像集均进行样本生成处理。

需说明的是，归一化处理如下：

设置标准化的数学公式为其中x为图像灰度值，μ为所有样本数据的灰度均值，σ为所有样本数据的灰度标准差。灰度归一化通过将图像中的像素值归一化到区间[0,1]上，减少因为原始数据的数据值分布范围较大对算法性能的影响。

需说明的是，在一些实施例中，其中一个医学子集图像为通过超声设备得到的超声图像的集合，此时切片提取包括对超声图像进行裁剪并只保留扇形成像区域以及去除图像中的其他干扰信息。

需说明的是，数据增强可以增加训练集的样本数量，在第一医学图像集比较少的情况下，可以通过数据增强尽可能增加样本的数量，从而提升编码解码器模型的识别精度。

可理解的是，对第三医学图像集进行标注，包括：

获取由满足第一预设条件的多个标注人员依据第一勾画策略对第三医学图像集中同一第三医学图像标注的第一标注数据；

获取由满足第二预设条件的标注人员按照整合策略对第一标注数据进行修正。

需说明的是，第三医学图像为第三医学图像集中的医学图像。

需说明的是，在一些实施例中，通过医学图像标注软件I TK-SNAP对医学图像中进行标注，如第一医学图像主要针对的子宫肌瘤，则会针对的子宫肌瘤病灶区域和危机器官区域进行标注。第一勾画策略和整合策略设置在医学图像标注软件中设置。

需说明的是，第二预设条件的设定门槛比第一预设条件的高，从而使得标注后的医学图像准确度更高，进而提升模型训练的精度。同时，采用标注软件进行标注，效率更高。

可理解的是，步骤S300中根据第二医学图像集中各第一医学图像的模态信息和图像特征，对第一医学图像进行组合划分，得到多个训练集和与训练集一一对应的测试集，包括：

获取图像特征的特征组合关系；

获取特征组合关系中每一图像特征的组合占比以及模态占比；

根据组合占比以及对应的模态占比，对第一医学像进行组合划分，得到多个训练集和与训练集一一对应的测试集。

需说明的是，特征组合关系用于表示不同图像特征数量组合的方式，如一个训练集是两种图像特征组合，一个训练集为三种图像特征组合或者三个图像特征组合。需说明的是，组合占比表示归属于单个图像特征的医学图像占比，模态占比表示同一图像特征中不同模态信息的医学图像的占比，如有两种模态信息，则要确定两种模态信息分别对应的医学图像的数量分配以及两种模态信息总的医学图像的数量分配。

可理解的是，根据训练集和测试集对对应的第一编码解码器模型进行模型训练，得到与训练集对应的训练好的第二编码解码器模型，包括：

从预设的训练阈值集中选取出当前次模型训练中用于结束模型训练的第一训练阈值；

根据训练集和第一训练阈值，对对应的第一编码解码器模型进行模型训练，得到第一训练阈值对应的第一编码解码器；

从训练阈值集中重新选取出第一训练阈值，并根据重新选出的第一训练阈值和训练集，对对应的第一编码解码器模型重新进行模型训练直至多个预设的训练阈值中各第二训练阈值均对应有一个第一编码解码器模型；

根据测试集，从多个第二训练阈值对应的第一编码解码器模型中确定训练集对应的第二编码解码器模型；

模型训练包括如下步骤：

在模型训练的每一轮迭代训练结束时计算第一编码解码器的交叉熵损失值以及骰子损失值；

将交叉熵损失值和骰子损失值进行加权平均，得到当前迭代训练的迭代损失值；

当连续多轮迭代训练的迭代损失值均小于第一训练阈值，结束模型训练并将结束模型训练时的第一编码解码器模型作为第一训练阈值对应第一编码解码器模型。

需说明是，在一些实施例中，进行加权平均的公式为： 其中，/>为交叉熵损失值，为骰子损失值。

需说明的是，第二训练阈值为训练阈值集中的训练阈值。通过每次选取一个第二训练阈值作为第一训练阈值进行训练，从而可以得到每一个训练集下多个已完成模型训练的第一编码解码器模型。此时，根据测试集对多个已完成迭代训练的第一编码解码器模型进行测试，从而可以得到识别精度最高的一个第一编码解码器模型作为第二编码解码器模型。示例性的，如训练阈值集中设置有3个第二训练阈值，分别为σ1、σ2、σ3；分别以σ1、σ2、σ3作为迭代训练的结束条件，此时可以得到σ1、σ2、σ3；对应的迭代训练完成的第一编码解码器模型，当采用σ1对应的第一编码解码器模型进行验证时，精度最高，则将σ1对应的第一编码解码器模型作为第二编码解码器模型。

需说明的是，训练阈值的设定是为了避免在迭代训练中存在过拟合的情况，从而导致识别精度不高。在编码解码器模型中，其会结合反向传播算法，通过迭代训练的方式不断更新编解码器各个模块参数值，以小学习率学习和调整网络解码器输出端。因此，对某一个训练集的迭代次数过多时，会存在过拟合的情况。

可理解的是，模型训练为基于先验知识为第一医学图像的诊断信息来进行训练的，步骤S600、根据识别策略和多个第二编码解码器模型，输出第二医学图像的病灶图像信息，包括：

根据识别策略和第二医学图像的诊断信息，从多个第二编码解码器模型选取出第三编码解码器模型；

将第二医学图像输入到第三编码解码器模型中，输出病灶图像信息。

需说明的是，结合诊断信息进行模型训练时，能够引导模型训练的过程，识别精度更高。

需说明的是，识别策略是基于诊断信息设置的，而编码器模型是基于诊断信息进行悬链的，因此，选取的第三编码解码器模型对第二医学图像的识别精度更高。

可理解的是，模态信息包括T2平扫模态信息、T2压脂模态信息、T1增强模态信息以及超声模态信息；图像特征包括病灶尺寸、病灶位置、病灶个数以及病灶区域在T2平扫模态信息对应的第一医学图像中信号量的信号量。

可理解的是，第二医学图像为实时动态获取，方法还包括：

获取上一时刻的第二医学图像对应的病灶图像信息的第一图像轮廓坐标；

根据当前时刻的第二医学图像对应的病灶图像信息，确定当前时刻的第二图像轮廓坐标；

根据第一图像轮廓坐标和第二图像轮廓坐标，计算出病灶偏移量；

根据病灶偏移量，更新病灶三维图，病灶三维图为根据上一时刻的病灶图像信息生成的。

示例性的，以子宫肌瘤的病灶信息的识别为例，下面参照图1至图4描述本申请的一个具体实施例。

参照图1和图4所示，首先从医院收集200例子宫肌瘤患者的疗前超声图像序列和100例子宫肌瘤患者的疗前MRI图像序列，此时，第一医学图像集由200例子宫肌瘤患者的疗前超声图像序列和100例子宫肌瘤患者的疗前MRI图像序列组成。此时，超声图像序列形成具有一种模态信息的医学图像总集，MEI图像序列形成具有另一种模态信息的医学图像总集。

进一步，参照图1对第一医学图像集进行图像预处理，具体的，参照图4所示，图像预处理包括，对超声图像序列和MRI图像序列去除个人信息和隐私信息，将超声图像序列和MRI图像序列按照图像特征进行分类，得到第三医学图像集，其中，第三医学图像集包括多个图像子集，每个图像子集对应一种分类，每种每类均包括了同一分类类型的多种模态信息。进一步，组织医生通过医学图像标注软件ITK-SNAP对第三医学图像集中的医学图像的子宫肌瘤病灶区域和危机器官区域进行标注，得到第四医学图像集，对第三医学图像集和第四医学图像集依次进行切片提取、数据归一化、以及数据增强处理。此时将分类的图像子集按照不同的分类类型以及分类类型的图像数量以及不同模态信息的图像数量在训练集中的占比，确定多个训练集和测试集。

进一步，参照图1和图4所示，采用RestU-Net、DenseU-Net、DDCU-Net、TransU-Net等多种卷积神经网络模型对不同分类类型的训练集进行训练，得出多个第二编码解码器模型。

进一步，参照图4所示，根据Dice,敏感性，特异性，Hausdorff距离等指标，评估不同测试集下，各第二编码解码器模型的算法性能。

进一步，参照图4所示，开发AI识别接口，输入同一患者的诊断信息、超声图像和MRI图像序列，AI自动选择不同第二编码解码器模型，对超声图像和MRI图像序列的子宫肌瘤进行识别和分割，此时，经过多次信息输入后，AI识别接口逐步完善识别策略，实际应用时，从而可以基于逐步完善的识别策略得到病灶图像信息。

进一步，参照图4所示，根据病灶图像信息，采用Marching Cubers算法构建等值面，基于区域增长的体元素检测方法完成三维体的绘制，得到病灶图像信息的三维图像。

进一步，在治疗过程之中，动态去检测实时B超图像，自动识别出图像中的病灶轮廓形态，通过判断当前轮廓坐标与前一帧图像轮廓坐标的变化，得出x,y轴的偏移，再与三维重建后的肌瘤三维模型任意角度的切面投影进行比对，匹配出最可能的前面投影，计算出病灶z轴偏移量，并更新三维病灶的实时体位。在超声发射前，判断病灶x,y，z轴偏移情况，如果超声发射位置超出病灶轮廓，就停止超声发射；偏移量小于一定值时，控制运动系统直接运动到正确位置再发射超声；偏移量大于一定值时，提示用户重新定位病灶。

本申请实施例还提供了一种电子设备，电子设备包括括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述医学图像的处理方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图5，图5示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器701，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器702，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器702可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器702中，并由处理器701来调用执行本申请实施例的医学图像的处理方法；

输入/输出接口703，用于实现信息输入及输出；

通信接口704，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WI F I、蓝牙等)实现通信；

总线705，在设备的各个组件(例如处理器701、存储器702、输入/输出接口703和通信接口704)之间传输信息；

其中处理器701、存储器702、输入/输出接口703和通信接口704通过总线705实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述医学图像的处理方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-On ly Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种医学图像的处理方法，其特征在于，所述方法包括：

获取第一医学图像集；所述第一医学图像集中包括至少两个不同模态信息的医学图像子集；

对所述第一医学图像集进行图像预处理，得到第二医学图像集；

根据所述第二医学图像集中各第一医学图像的模态信息和图像特征，对所述第一医学图像进行组合划分，得到多个训练集和与所述训练集一一对应的测试集，其中，每个训练集至少具有两种模态信息以及一种图像特征；

为每一所述训练集分配不同的第一编码解码器模型并根据所述训练集和所述测试集对对应的第一编码解码器模型进行模型训练，得到与所述训练集对应的训练好的第二编码解码器模型；

获取所述第二编码解码器模型的算法性能并根据所述算法性能确定识别策略；

根据所述识别策略和多个所述第二编码解码器模型，输出第二医学图像的病灶图像信息。

2.根据权利要求1所述的医学图像的处理方法，其特征在于，所述对所述第一医学图像集进行图像预处理，得到第二医学图像集，包括：

对所述第一医学图像集进行脱敏处理，得到第三医学图像集；

对所述第三医学图像集进行标注，得到第四医学图像集；

对所述第三医学图像集和所述第四医学图像集进行切片提取；

对切片提取后的所述第三医学图像集和所述第四医学图像集进行灰度归一化处理；

对灰度归一化后的所述第三医学图像集和所述第四医学图像集进行数据增强；

根据数据增强后的所述第三医学图像集和所述第四医学图像集，得到所述第二医学图像集；

所述对灰度归一化后的所述第三医学图像集和所述第四医学图像集进行数据增强，包括如下至少之一：

对灰度归一化后的所述第三医学图像集和所述第四医学图像集均进行图像形变；

对灰度归一化后的所述第三医学图像集和所述第四医学图像集均进行图像缩放；

对灰度归一化后的所述第三医学图像集和所述第四医学图像集均进行图像旋转；

通过生成对抗网络对灰度归一化后的所述第三医学图像集和所述第四医学图像集均进行样本生成处理。

3.根据权利要求2所述的医学图像的处理方法，其特征在于，所述对所述第三医学图像集进行标注，包括：

获取由满足第一预设条件的多个标注人员依据第一勾画策略对第三医学图像集中同一第三医学图像标注的第一标注数据；

获取由满足第二预设条件的标注人员按照整合策略对所述第一标注数据进行修正。

4.根据权利要求1所述的医学图像的处理方法，其特征在于，所述根据所述第二医学图像集中各第一医学图像的模态信息和图像特征，对所述第一医学图像进行组合划分，得到多个训练集和与所述训练集一一对应的测试集，包括：

获取所述图像特征的特征组合关系；

获取所述特征组合关系中每一图像特征的组合占比以及模态占比；

根据所述组合占比以及对应的所述模态占比，对所述第一医学图像进行组合划分，得到多个训练集和与所述训练集一一对应的测试集。

5.根据权利要求1所述的医学图像的处理方法，其特征在于，所述根据所述训练集和所述测试集对对应的第一编码解码器模型进行模型训练，得到与所述训练集对应的训练好的第二编码解码器模型，包括：

从预设的训练阈值集中选取出当前次模型训练中用于结束模型训练的第一训练阈值；

根据所述训练集和所述第一训练阈值，对对应的第一编码解码器模型进行模型训练，得到所述第一训练阈值对应的第一编码解码器；

从所述训练阈值集中重新选取出第一训练阈值，并根据重新选出的第一训练阈值和所述训练集，对对应的第一编码解码器模型重新进行模型训练直至所述多个预设的训练阈值中各第二训练阈值均对应有一个第一编码解码器模型；

根据所述测试集，从多个所述第二训练阈值对应的第一编码解码器模型中确定所述训练集对应的第二编码解码器模型；

所述模型训练包括如下步骤：

在所述模型训练的每一轮迭代训练结束时计算所述第一编码解码器的交叉熵损失值以及骰子损失值；

将所述交叉熵损失值和所述骰子损失值进行加权平均，得到当前迭代训练的迭代损失值；

当连续多轮迭代训练的所述迭代损失值均小于所述第一训练阈值，结束模型训练并将结束模型训练时的第一编码解码器模型作为第一训练阈值对应第一编码解码器模型。

6.根据权利要求1所述的医学图像的处理方法，其特征在于，所述模型训练为基于先验知识为所述第一医学图像的诊断信息来进行训练的，所述根据所述识别策略和多个所述第二编码解码器模型，输出第二医学图像的病灶图像信息，包括：

根据所述识别策略和所述第二医学图像的诊断信息，从多个所述第二编码解码器模型选取出第三编码解码器模型；

将所述第二医学图像输入到所述第三编码解码器模型中，输出所述病灶图像信息。

7.根据权利要求1所述的医学图像的处理方法，其特征在于，所述模态信息包括T2平扫模态信息、T2压脂模态信息、T1增强模态信息以及超声模态信息；所述图像特征包括病灶尺寸、病灶位置、病灶个数以及病灶区域在所述T2平扫模态信息对应的第一医学图像中信号量的信号量。

8.根据权利要求1所述的医学图像的处理方法，其特征在于，所述第二医学图像为实时动态获取，所述方法还包括：

获取上一时刻的所述第二医学图像对应的病灶图像信息的第一图像轮廓坐标；

根据当前时刻的所述第二医学图像对应的病灶图像信息，确定当前时刻的第二图像轮廓坐标；

根据所述第一图像轮廓坐标和所述第二图像轮廓坐标，计算出病灶偏移量；

根据所述病灶偏移量，更新根据病灶三维图，所述病灶三维图为根据所述上一时刻的所述病灶图像信息生成的。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的医学图像的处理方法。

10.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的医学图像的处理方法。