CN113935957A - 医疗图像对比方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种医疗图像对比方法、装置、电子设备及存储介质，属于图像处理技术领域。该方法包括：获取原始医疗图像和标注医疗数据；对原始医疗图像进行块分区，得到多个图像区块；根据每两个图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；根据阴性样本对、阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像；根据预测图像和标注医疗数据进行对比学习以确定标注医疗数据的目标样本对。本申请实施例能够更为准确地得到阴性样本对和阳性样本对性，减少假阴性样本对，提高图像分割的质量和图像分割的准确性。

Description

医疗图像对比方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种医疗图像对比方法、装置、电子设备及存储介质。

背景技术

随着深度学习的发展和普及应用，深度学习技术被广泛应用于各个领域。在数字医疗领域里也常常采用深度学习技术实现对医疗图像的图像分割、图像对比等图像处理。由于在对医疗图像进行图像分割时，对分割精确度要求较高。为了提高分割精确度，相关技术中，在对医疗图像进行图像分割时常常会依赖于大量附带标记的数据集，并且采用对比学习的方式对医疗图像进行处理。而这一方式往往会使得在对医疗图像分割时产生较多的假阴性样本对，影响图像分割的质量和图像分割的准确性。因此，如何提供一种医疗图像对比方法，更为准确地得到阴性样本对和阳性样本对，减少假阴性样本对的出现以提高图像分割的质量和图像分割的准确性，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种医疗图像对比方法、装置、电子设备及存储介质，旨在更为准确地得到阴性样本对和阳性样本对性，减少假阴性样本对，提高图像分割的质量和图像分割的准确性。

为实现上述目的，本申请实施例的第一方面提出了一种医疗图像对比方法，所述方法包括：

获取原始医疗图像和标注医疗数据；

对所述原始医疗图像进行块分区，得到多个图像区块；

根据每两个所述图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；

根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型型对标注医疗数据进行预测处理，得到预测图像；

根据所述预测图像和所述标注医疗数据进行对比学习以确定所述标注医疗数据的目标样本对。

在一些实施例，所述对所述原始医疗图像进行块分区，得到多个图像区块包括：

获取所述原始医疗图像在x轴、y轴、z轴上的第一三维参数；

根据所述第一三维参数和预设的度量参数，确定所述图像区块在x轴、y轴、z轴上的第二三维参数；

根据所述第二三维参数，对所述原始医疗图像进行块分区，得到多个图像区块。

在一些实施例，所述根据每两个所述图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对的步骤，包括：

将体心距离小于预设阈值的两个图像区块归类为阳性样本对；

将体心距离大于或等于预设阈值的两个图像区块归类为阴性样本对。

在一些实施例，所述根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像的步骤之前，所述方法还包括：

对所述阴性样本对、所述阳性样本对进行特征提取，得到多个目标图像区块；

对每一目标图像区块进行分层处理，得到分层图像区块；

根据所述分层图像区块对医疗图像预测模型进行训练。

在一些实施例，所述根据所述分层图像区块对医疗图像预测模型进行训练，包括：

将所述分层图像区块输入到所述医疗图像预测模型中进行分割处理；

对分割处理之后的分层图像区块进行MLP映射，得到医学特征向量；

根据所述医学特征向量，计算出第一对比损失。

在一些实施例，所述已训练的医疗图像预测模型包括U-Net编码器和2D U-Net解码器，所述根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像包括：

根据所述阴性样本对、所述阳性样本对和U-Net编码器对所述标注医疗数据进行微调处理；

根据所述2D U-Net解码器对微调处理之后的标注医疗数据进行检测，得到预测图像。

在一些实施例，所述根据所述阴性样本对、所述阳性样本对和U-Net编码器对所述标注医疗数据进行微调处理的步骤，包括：

将所述阴性样本对、所述阳性样本对输入到所述U-Net编码器中进行分割处理和映射处理，得到样本特征向量；

根据所述样本特征向量，计算出第二对比损失；

根据所述第二对比损失，对所述标注医疗数据进行微调处理。

为实现上述目的，本申请实施例的第二方面提出了一种医疗图像对比装置，所述装置包括：

医疗图像获取模块，用于获取原始医疗图像和标注医疗数据；

块分区模块，用于对所述原始医疗图像进行块分区，得到多个图像区块；

样本对生成模块，用于根据每两个所述图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；

图像处理模块，用于根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像；其中，所述标注医疗数据为对所述原始医疗图像进行标注得到的数据；

对比学习模块，用于根据所述预测图像和所述标注医疗数据进行对比学习以确定所述标注医疗数据的目标样本对。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，用于计算机可读存储，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。

本申请提出的医疗图像对比方法、装置、电子设备及存储介质，其通过获取原始医疗图像和标注医疗数据，对原始医疗图像进行块分区，得到多个图像区块，并每两个图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对，通过块分区这一方式能够有效地减少假阴性样本对。这样一来，便可根据阴性样本对、阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像。最终，根据预测图像和标注医疗数据进行对比学习，确定标注医疗数据的目标样本对，其中目标样本对即为标注医疗数据的最终样本对。本申请实施例通过对原始医疗图像进行块分区能够方便区分图像区块之间的相似度，有效地减少假阴性样本对的出现。在下游分割阶段，利用已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像。同时，利用预测图像和标注医疗数据进行对比学习，最终确定标注医疗数据的样本对。通过对比学习能够满足对多个标注医疗数据进行微调处理，提高了泛化能力和对比性能，能够更为准确地确定标注医疗数据的最终样本对，该方法提高了图像分割的质量和图像分割的准确性。

附图说明

图1是本申请实施例提供的医疗图像对比方法的流程图；

图2是图1中的步骤S102的流程图；

图3是图1中的步骤S103的流程图；

图4是本申请另一实施例提供的医疗图像对比方法的流程图；

图5是图4中的步骤S403的流程图；

图6是图1中的步骤S104的流程图；

图7是图6中的步骤S601的流程图；

图8是本申请实施例提供的医疗图像对比装置的结构示意图；

图9是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

自然语言处理(natural language processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。

电子计算机断层扫描(Computed Tomography，CT)：它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查；根据所采用的射线不同可分为：X射线CT(X-CT)以及γ射线CT(γ-CT)等。

磁共振成像(Magnetic Resonance Imaging，MRI)核磁共振是一种物理现象，作为一种分析手段广泛应用于物理、化学生物等领域，到1973年才将它用于医学临床检测。为了避免与核医学中放射成像混淆，把它称为磁共振成像术(MRI)。MRI通过对静磁场中的人体施加某种特定频率的射频脉冲，使人体中的氢质子受到激励而发生磁共振现象。停止脉冲后，质子在弛豫过程中产生MR信号。通过对MR信号的接收、空间编码和图像重建等处理过程，即产生MR信号。

医学图像分割：医学成像有多种图像模态，诸如MR、CT、PET、超声成像等等。成像可以获得反映二维和三维区域人体的生理和物理特性的图像，二维图像中的每个元素称为像素，三维区域中每个元素称为体素，在某些情形下，可以把三维图像表示为一系列的二维切片进行观察，优点是计算复杂度低且需要的内存较小。

(1)MR图像：磁共振成像(MRI)是无线电成像领域中使用最广泛的技术。作为一种动态且灵活的技术，MRI可以实现多变的图像对比度，该过程的实现是通过使用不同的脉冲序列和改变成像参数对应纵向松弛时间(T1)和横向松弛时间(T2)，T1加权和T2加权成像的信号强度与特定组织的特征有关。MR成像中，图像的对比度依赖于相位对比脉冲序列参数，最常见的脉冲序列是T1加权和T2加权自旋回波序列。通过MR成像可以观察大脑、肝脏、胸、腹部和骨盆的结构细节，这有利于诊断检测或治疗

(2)CT图像：医学CT成像设备使用X射线(一种电磁波)得到人体的结构和功能信息。CT影像是基于X射线吸收剖面的重构图像，由于不同物质和组织吸收X射线能力不同，因此X射线可用于诊断[16]。CT成像作为当前多类疾病实体诊断的金标准，广泛应用于大脑、肝脏、胸部、腹部、骨盆、脊柱等身体部位以及CT血管造影的早期诊断筛查。但是与MR图像相比较，CT图像敏感性和特异性相对较差。CT成像中的伪影包括：部分容积效应、条形伪影、运动伪影、束硬化伪影、环状伪影、金属伪影等。由于这些伪影的存在给CT图像分割带来了一定的难度，不同组织部位分割精度也不一样。

U-Net网络：U-Net网络是一种编码器-解码器结构。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。U-net是基于全卷积网络(FCN)的一种语义分割网络，适用于做医学图像的分割。U-net网络结构与FCN网络结构相似，也是分为下采样阶段和上采样阶段，网络结构中只有卷积层和池化层，没有全连接层，网络中较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题，从而可以实现图像语义级别的分割。与FCN网络不同的是，U-net的上采样阶段与下采样阶段采用了相同数量层次的卷积操作，且使用skip connection结构将下采样层与上采样层相连，使得下采样层提取到的特征可以直接传递到上采样层，这使得U-net网络的像素定位更加准确，分割精度更高。此外，在训练过程中，U-net只需要一次训练，FCN为达到较精确的FCN-8s结构需要三次训练，故U-net网络的训练效率也高于FCN网络。U-net网络没有全连接层，只有卷积和下采样。U-net可以对图像进行端到端的分割，即输入是一幅图像,输出也是一幅图像。具体地，U-Net网络结构主要分为三部分：下采样，上采样以及跳跃连接。首先将该网络分为左右部分来分析，左边是压缩的过程，即Encoder。通过卷积和下采样来降低图像尺寸，提取一些浅显的特征。右边部分是解码的过程，即Decoder。通过卷积和上采样来获取一些深层次的特征。其中卷积采用的valid的填充方式来保证结果都是基于没有缺失上下文特征得到的，因此每次经过卷积后，图像的大小会减小。中间通过跳跃连接的方式，将编码阶段获得的feature map同解码阶段获得的feature map结合在一起，结合深层次和浅层次的特征，细化图像，根据得到的feature map进行预测分割。要注意的是这里两层的feature map大小不同，因此需要经过切割。最后一层通过1x1的卷积做分类。多层感知器(MultilayerPerceptron,MLP)：MLP是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看作是一个有向图，由多个的节点层所组成，每一层都全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元(或称处理单元)。MLP是感知器的推广，克服了感知器不能对线性不可分数据进行识别的弱点。最简单的MLP是三层结构(输入层-隐藏层-输出层)。多层感知器的层与层之间是全连接的，即每一层的任意一个神经元均与其前一层的所有神经元有连接，这种连接其实代表了一种权重加和。

自监督学习：主要是利用辅助任务(pretext)从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。也就是说自监督学习的监督信息不是人工标注的，而是算法在大规模无监督数据中自动构造监督信息，来进行监督学习或训练。多数情况下，我们称之为无监督预训练方法或无监督学习方法。

对比学习(Contrastive Learning)：对比学习是一种为深度学习模型描述相似和不同事物的任务的方法。利用这种方法，可以训练机器学习模型来区分相似和不同的图像。对比学习一般是自监督学习的一种方式。对比学习是自监督学习的一种，不需要依赖人工标注的类别标签信息，直接利用数据本身作为监督信息，最初的对比学习就是应用在图像领域用作图像分类。在图像领域的自监督学习分为两种类型：生成式自监督学习、判别式自监督学习。对比学习应用的是典型的判别式自监督学习。对比学习的核心要点是：通过自动构造相似实例和不相似实例，也就是正样本和负样本，学习将正样本和负样本在特征空间进行对比，使得相似的实例在特征空间中距离拉近，而不相似的实例在特征空间中的距离拉远，差异性变大，通过这样的学习过程得到的模型表征就可以去执行下游任务，在较小的标记数据集上进行微调，从而实现无监督的模型学习过程。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

基于此，本申请实施例提供一种医疗图像对比方法、装置、电子设备及存储介质，可以更为准确地得到阴性样本对和阳性样本对性，减少假阴性样本对，提高图像分割的质量和图像分割的准确性。

本申请实施例提供的医疗图像对比方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的医疗图像对比方法。

本申请实施例提供的医疗图像对比方法，涉及图像处理技术领域。本申请实施例提供的医疗图像对比方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现医疗图像对比方法的应用等，但并不局限于以上形式。

图1是本申请实施例提供的医疗图像对比方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S105。

步骤S101，获取原始医疗图像和标注医疗数据；

步骤S102，对原始医疗图像进行块分区，得到多个图像区块；

步骤S103，根据每两个图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；

步骤S104，根据阴性样本对、阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像；

步骤S105，根据预测图像和标注医疗数据进行对比学习以确定标注医疗数据的目标样本对。

经过以上步骤S101至步骤S105,首先获取到原始医疗图像和标注医疗数据，其中，原始医疗图像为三维图像，该三维图像可以是通过计算机断层扫描(Computed Tomo-graphy,-CT)或者核磁共振成像(Magnetic Resonance Imaging,MRI)得来。标注医疗数据为对原始医疗图像进行标注处理得到的医疗数据。为了减少分区时由于相邻层之间的相似度过高而产生假阴性样本对，对原始医疗图像进行块分区，得到多个图像区块。具体地，利用体心立方距离判断的方式，计算每两个图像区块之间的体心距离。根据体心距离的大小进行分类，得到多个相似区块与多个非相似区块，将相似区块作为阳性样本对，将非相似区块作为阴性样本对，能够较为方便地对阳性样本对和阳性样本对进行区分，减少假阴性样本对出现的概率，提高图像分割的准确性。进而，根据阴性样本对、阳性样本对对医疗图像预测模型进行训练。在下游分割任务中，利用已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像。同时，利用预测图像和标注医疗数据进行对比学习，最终确定标注医疗数据的样本对，最终的样本对即为目标样本对。其中，为了满足对属于同一类别的多个标注医疗数据进行微调处理，提高泛化能力，对比学习为监督式对比学习。通过监督式对比学习能够提高对比性能以及下游微调分割任务的准确度。

在一些医学应用场景中，上述的原始医疗图像可以为医学影像，原始医疗图像包含的对象所属类型为病灶，即机体上发生病变的部分。医学影像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，CT(Computed Tomography，电子计算机断层扫描)、MRI(Magnetic Resonance Imaging，磁共振成像)、US(ultrasonic，超声)、X光图像、脑电图以及光学摄影灯由医学仪器生成的图像。

请参阅图2，在一些实施例中，步骤S102可以包括但不限于包括步骤S201至步骤S203：

步骤S201，获取原始医疗图像在x轴、y轴、z轴上的第一三维参数；

步骤S202，根据第一三维参数和预设的度量参数，确定图像区块在x轴、y轴、z轴上的第二三维参数；

步骤S203，根据第二三维参数，对原始医疗图像进行块分区，得到多个图像区块。

具体地，由于获取到的原始医疗图像为三维图像，以预设的坐标原点，建立三维空间直角坐标系。将原始医疗图像置于预先建立的三维空间直角坐标系中，可以获取原始医疗图像在x轴、y轴、z轴上的第一三维参数分别为a、b、c。另外，预设一个度量参数w，根据第一三维参数和预设的度量参数，确定原始医疗图像上的每一图像区块在x轴、y轴、z轴上的第二三维参数分别为a/w，b/w，c/w。进而，根据第二三维参数中的a/w，b/w，c/w，对原始医疗图像进行块分区，按照前面的第二三维参数，将原始医疗图像分割成多个立方块，这一系列的立方块的尺寸均为(a/w)*(b/w)*(c/w),这些立方块代表着原始医疗图像的各个部分，这样能够得到多个尺寸相同的图像区块。通过对三维医疗图像进行块分区能够加大图像区块之间的不相似度，例如，根据对原始医疗图像的块分区，其中一个图像区块只包含左心室的部分图像信息，而另一图像区块会只包含右心房的部分图像信息。这一方法改变了传统技术中三维医疗图像的分区空间取样方式，提高图像分割的精确度以及数据质量。

请参阅图3，在一些实施例中，步骤S103可以包括但不限于包括步骤S301或者步骤S302：

步骤S301，将体心距离小于预设阈值的两个图像区块归类为阳性样本对；

步骤S302，将体心距离大于或等于预设阈值的两个图像区块归类为阴性样本对。

具体地，在将原始医疗图像进行块分区之后，得到多个图像区块，在计算每两个图像区块之间的体心距离时，可以根据上述预先建立好的三维空间直角坐标系确定两个图像区块的体心坐标。例如，根据上述预先建立好的三维空间直角坐标系确定两个图像区块的空间位置，根据这两个图像区块的空间位置以及图像区块的第二三维参数可以方便地计算出图像区块的各顶点坐标，进而根据图像区块的各顶点坐标计算出该图像区块的体心坐标，进而计算出两个图像区块之间的体心距离。如两个图像区块的体心坐标分别为(x1，y1，z1)和(x2，y2，z2)，则计算这两个图像区块的体心距离d，如公式(1)所示：

通过计算每两个图像区块之间的体心距离d，将体心距离d与预设阈值进行比较。通过比较体心距离d与预设阈值d0的大小，可以方便地确定出每两个图像区块是否为相似区块。具体地，若体心距离d＜预设阈值d0，则表明这两个图像区块距离较近，这两个图像区块为相似图像区块(即这两个图像区块为阳性样本对)。若体心距离d≥预设阈值d0，则表明这两个图像区块的距离较远，这两个图像区块为非相似图像区块(即这两个图像区块为阴性样本对)。其中，预设阈值可以根据实际情况确定，不做限制。通过体心距离判断的方式，能够有效地提高图像区块之间相对位置的辨识度，节省判断时间；同时，也能够较为方便地对阳性样本对和阳性样本对进行区分，减少假阴性样本对出现的概率，提高图像分割的准确性。

请参阅图4，在一些实施例中，步骤S104之前可以包括但不限于包括步骤S401至步骤S403：

步骤S401，对阴性样本对、阳性样本对进行特征提取，得到多个目标图像区块；

步骤S402，对每一目标图像区块进行分层处理，得到分层图像区块；

步骤S403，根据分层图像区块对医疗图像预测模型进行训练。

具体地，为了提高数据质量，在确定一系列的样本对之后，剔除样本对的假阴性样本对，根据样本对的类别以及当前训练需求，对样本对中的阴性样本对和阳性样本对进行特征提取，得到多个目标图像区块，例如，将样本对中属于左心房图像样本的阴性样本对以及阳性样本对提取出来，得到多个左心房图像区块。需要说明的是，样本对的类别可以根据图像编码、图像信息所属的部位进行确定，也可以是其他，不做限制。进而，为了更好地将图像训练集输入至U-Net模型，需要对每一目标图像区块进行分层处理，将目标图像区块划分为更小的图像区块，得到分层图像区块，使得目标图像区块的梯度下降，形成更小的图像训练集。需要说明的是，对目标图像区块的分层处理可以是根据预设的片层距离对目标图像区块进行切片处理，也可以是通过其他方式，不限于此。利用得到的分层图像区块可以方便地对医疗图像预测模型进行训练，以得到符合要求的图像分割模型。

请参阅图5，在一些实施例的步骤S403可以包括但不限于包括步骤S501至步骤S503：

步骤S501，将分层图像区块输入到医疗图像预测模型中进行分割处理；

步骤S502，对分割处理之后的分层图像区块进行MLP映射，得到医学特征向量；

步骤S503，根据医学特征向量，计算出第一对比损失。

在一些实施例中，医疗图像预测模型可以是U-Net模型，医疗图像预测模型包括U-Net编码器和2D U-Net解码器。将分层图像区块作为数据集x输入到医疗图像预测模型的U-Net编码器中，利用分层图像区块对的U-Net编码器进行训练。具体地，通过U-Net编码器对分层图像区块进行分割处理，对分割处理之后的分层图像区块进行MLP映射。将分割处理之后的分层图像区块输入到多层感知器MLP的输入层中，通过隐藏层中的激活函数对输入的分割处理之后的分层图像区块进行映射处理，最后通过输出层输出医学特征向量。需要说明的是，常用的激活函数有S型激活函数(将输入映射到一个0到1之间的值)、双曲正切函数(将输入映射到一个-1到1之间的值)等等。通过医学特征向量，计算第一对比损失L

其中，

和

分别为通过对数据集x进行不同数据增广的数据集。第一对比损失L

的计算公式如公式(2)所示。通过观察第一对比损失L

的变化，当对U-Net编码器的训练无法通过变化学习率来减小第一对比损失L

第一对比损失L

收敛且过拟合时，停止对U-Net模型进行训练。

其中，

Λ为通过对与数据集x不相似的图像集进行数据增广的数据集，sim为余弦相似度计算，T是阴性样本对和阳性样本对的数据增广的集合，e为U-Net编码器的编码，g为投影头，用于将经过U-Net编码器之后的数据张量投射到进行对损失判断的样本空间。

请参阅图6，在一些实施例中，步骤S104可以包括但不限于包括步骤S601至步骤S602：

步骤S601，根据阴性样本对、阳性样本对和U-Net编码器对标注医疗数据进行微调处理；

步骤S602，根据2D U-Net解码器对微调处理之后的标注医疗数据进行检测，得到预测图像。

在一些实施例中，通过获取标注医疗数据(即对原始医疗图像进行标注得到的数据)，需要说明的是，标注医疗数据可以包括胰腺分割数据集中少数带标签的数据集或者医疗影像数据集等等。由于预先训练的医疗图像预测模型包括U-Net编码器和2D U-Net解码器，可以利用已训练的医疗图像预测模型中的U-Net编码器对标注医疗数据进行微调处理。具体地，将阴性样本对、阳性样本输入到U-Net编码器中进行分割处理和映射处理，得到样本特征向量。根据样本特征向量，计算第二对比损失。通过观察第二对比损失的变化，当通过U-Net编码器对标注医疗数据进行下采样处理，使得第二对比损失满足预设条件时，停止对标注医疗数据的调整，得到浅层次特征。进而，通过2D U-Net解码器对微调处理之后的标注医疗数据进行检测，具体地，利用2D U-Net解码器对微调处理之后的标注医疗数据进行卷积处理和上采样处理，得到深层次特征，根据深层次特征以及浅层次特征进行融合，输出预测图像。进而，利用预测图像和标注医疗数据进行监督式对比学习，通过对比验证生成对比数据，根据对比数据，对标注医疗数据的样本对进行核对修改，得到标注医疗数据的最终样本对，其中，最终样本对包括阴性样本对和阳性样本对。通过监督式对比学习能够满足对属于同一类别的多个标注医疗数据进行微调处理，使得能够泛化到任意数目的阳性样本对，更为准确地辨识阴性样本对，使得能够更为准确地确定标注医疗数据的目标样本对(最终的样本对)，提高了图像分割的准确性。

需要说明的是，对原始医疗图像进行标注主要是人工标注，通过对原始医疗图像的图像信息(图像编码、影像数据等等)进行识别，根据原始医疗图像所属的部位将其分类，进而对属于同一类别的多个原始医疗图像统一标注。在其他实施例中，也可以是通过其他标注方式进行标注，不限于此。

具体地，请参阅图7，步骤S601可以包括但不限于包括步骤S701至步骤S703：

步骤S701，将阴性样本对、阳性样本对输入到U-Net编码器中进行分割处理和映射处理，得到样本特征向量；

步骤S702，根据样本特征向量，计算出第二对比损失；

步骤S703，根据第二对比损失，对标注医疗数据进行微调处理。

在一些实施例中，通过获取标注医疗数据(即对原始医疗图像进行标注得到的数据)，需要说明的是，标注医疗数据可以包括胰腺分割数据集中少数带标签的数据集或者医疗影像数据集等等。由于预先训练的医疗图像预测模型包括U-Net编码器和2D U-Net解码器，可以利用已训练的医疗图像预测模型中的U-Net编码器对标注医疗数据进行微调处理。具体地，将阴性样本对、阳性样本输入到U-Net编码器中进行分割处理和映射处理，得到样本特征向量。根据样本特征向量，计算第二对比损失

第二对比损失

的计算公式如公式(3)所示。通过观察第二对比损失的变化，当通过U-Net编码器对标注医疗数据进行下采样处理，使得第二对比损失满足预设条件时，停止对标注医疗数据的调整，例如，第二对比损失收敛且过拟合时，停止对标注医疗数据的调整。

其中，P(i)是指包含阳性样本对和阴性样本对的数据全集，A(i)代表只包含阳性样本对的数据集，两个z分别是对原始数据集进行两种不同的图像增广后再经过分割处理和映射处理之后产生的样本特征向量。

本申请实施例通过在空间取样阶段获取原始医疗图像和标注医疗数据，其中标注医疗数据为对原始医疗图像进行标注的医疗数据；对原始医疗图像进行块分区，得到多个图像区块；根据每两个图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；在下游分割阶段根据阴性样本对、阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像；根据预测图像和标注医疗数据进行对比学习，确定标注医疗数据的目标样本对。本申请实施例改变了传统技术中三维医疗图像的分区空间取样方式，通过对三维医疗图像进行块分区能够方便区分图像区块之间的相似度，有效地减少假阴性样本对的出现。在下游分割阶段，利用已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像。同时，利用预测图像和标注医疗数据进行监督式对比学习，确定标注医疗数据的目标样本对(目标样本对为最终的样本对)，通过监督式对比学习能够满足对属于同一类别的多个标注医疗数据进行微调处理，提高了泛化能力和对比性能，能够更为准确地确定标注医疗数据最终的样本对，提高了图像分割的质量和图像分割的准确性。

请参阅图8，本申请实施例还提供一种医疗图像对比装置，可以实现上述医疗图像对比方法，该装置包括：

医疗图像获取模801，用于获取原始医疗图像和标注医疗数据；

块分区模块802，用于对原始医疗图像进行块分区，得到多个图像区块；

样本对生成模块803，用于根据每两个图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；

图像处理模块804，用于根据阴性样本对、阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像；

对比学习模块805，用于根据预测图像和标注医疗数据进行对比学习以确定标注医疗数据的目标样本对。

本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述医疗图像对比方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器901，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器902，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本申请实施例的医疗图像对比方法；

输入/输出接口903，用于实现信息输入及输出；

通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和

总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；

其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，用于计算机可读存储，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述医疗图像对比方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种医疗图像对比学习方法，其特征在于，所述方法包括：

获取原始医疗图像和标注医疗数据；

对所述原始医疗图像进行块分区，得到多个图像区块；

根据每两个所述图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；

根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像；

根据所述预测图像和所述标注医疗数据进行对比学习以确定所述标注医疗数据的目标样本对。

2.根据权利要求1所述的医疗图像对比学习方法，其特征在于，所述对所述原始医疗图像进行块分区，得到多个图像区块的步骤，包括：

获取所述原始医疗图像在x轴、y轴、z轴上的第一三维参数；

根据所述第一三维参数和预设的度量参数，确定所述图像区块在x轴、y轴、z轴上的第二三维参数；

根据所述第二三维参数，对所述原始医疗图像进行块分区，得到多个图像区块。

3.根据权利要求1所述的医疗图像对比学习方法，其特征在于，所述根据每两个所述图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对的步骤，包括：

将体心距离小于预设阈值的两个图像区块归类为阳性样本对；

将体心距离大于或等于预设阈值的两个图像区块归类为阴性样本对。

4.根据权利要求1所述的医疗图像对比学习方法，其特征在于，所述根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像的步骤之前，所述方法还包括：

对所述阴性样本对、所述阳性样本对进行特征提取，得到多个目标图像区块；

对每一目标图像区块进行分层处理，得到分层图像区块；

根据所述分层图像区块对医疗图像预测模型进行训练。

5.根据权利要求4所述的医疗图像对比学习方法，其特征在于，所述根据所述分层图像区块对医疗图像预测模型进行训练的步骤，包括：

将所述分层图像区块输入到所述医疗图像预测模型中进行分割处理；

对分割处理之后的分层图像区块进行MLP映射，得到医学特征向量；

根据所述医学特征向量，计算出第一对比损失。

6.根据权利要求1至5任一项所述的医疗图像对比学习方法，其特征在于，所述已训练的医疗图像预测模型包括U-Net编码器和2D U-Net解码器，所述根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像的步骤，包括：

根据所述阴性样本对、所述阳性样本对和U-Net编码器对所述标注医疗数据进行微调处理；

根据所述2D U-Net解码器对微调处理之后的标注医疗数据进行检测，得到预测图像。

7.根据权利要求6所述的医疗图像对比学习方法，其特征在于，所述根据所述阴性样本对、所述阳性样本对和U-Net编码器对所述标注医疗数据进行微调处理的步骤，包括：

将所述阴性样本对、所述阳性样本对输入到所述U-Net编码器中进行分割处理和映射处理，得到样本特征向量；

根据所述样本特征向量，计算出第二对比损失；

根据所述第二对比损失，对所述标注医疗数据进行微调处理。

8.一种医疗图像对比学习装置，其特征在于，所述装置包括：

医疗图像获取模块，用于获取原始医疗图像和标注医疗数据；

块分区模块，用于对所述原始医疗图像进行块分区，得到多个图像区块；

样本对生成模块，用于根据每两个所述图像区块之间的体心距离进行分类，得到阴性样本对以及阳性样本对；

图像处理模块，用于根据所述阴性样本对、所述阳性样本对和已训练的医疗图像预测模型对标注医疗数据进行预测处理，得到预测图像；

对比学习模块，用于根据所述预测图像和所述标注医疗数据进行对比学习以确定所述标注医疗数据的目标样本对。

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至7任一项所述的医疗图像对比学习方法的步骤。

10.一种计算机可读存储介质，用于计算机可读存储，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至7中任一项所述的医疗图像对比学习方法的步骤。

Images