CN115170505A - 基于多视角自监督深度学习乳腺钼靶图像分割方法及系统 - Google Patents

基于多视角自监督深度学习乳腺钼靶图像分割方法及系统 Download PDF

Info

Publication number
CN115170505A
CN115170505A CN202210779534.3A CN202210779534A CN115170505A CN 115170505 A CN115170505 A CN 115170505A CN 202210779534 A CN202210779534 A CN 202210779534A CN 115170505 A CN115170505 A CN 115170505A
Authority
CN
China
Prior art keywords
supervision
self
molybdenum target
mammary gland
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210779534.3A
Other languages
English (en)
Inventor
刘斌
孙辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202210779534.3A priority Critical patent/CN115170505A/zh
Publication of CN115170505A publication Critical patent/CN115170505A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于医学影像分析领域，提供了一种基于多视角自监督深度学习乳腺钼靶图像分割方法及系统，包括：获取乳腺钼靶图像并进行预处理；基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像分割网络进行乳腺钼靶图像肿块分割；其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型；该方法对数据集差异及下游任务差异有比较好的鲁棒性。

Description

基于多视角自监督深度学习乳腺钼靶图像分割方法及系统
技术领域
本发明属于医学影像分析技术领域，具体涉及一种基于多视角自监督深度学习乳腺钼靶图像分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
乳腺钼靶检查具有低剂量、灵敏度高、简单方便等优点，已经作为一种经济有效的乳腺癌早期检测方法被广泛应用。乳腺癌是女性发病率最高的癌症，研究表明，乳腺癌占女性癌症发病率的29％和癌症死亡率的15％，乳腺癌的早期诊断对患者的生存至关重要。为了减轻致密乳房中组织重叠和性能损失的问题，标准的数字乳腺钼靶检查需要为每个乳房拍摄两个低剂量x线投影视图，一个颅尾侧位(CC)视图和一个中侧斜位(MLO)视图，放射科医生在诊断乳腺癌时通常使用所有视图，可以通过结合CC片和MLO片进行同侧分析交叉检查病变部位，利用双侧同位片分析的对称性信息来提高决策的准确性。肿块是乳腺癌的重要标志之一，基于乳腺钼靶x光片确定肿块位置，以及进一步对乳腺良恶性分级(BMC)被认为是早期诊断乳腺癌的有效方法，同时肿块轮廓的详细勾画对于后续治疗也有很大意义。
基于乳腺钼靶的计算机辅助诊断技术(CAD)的研究从未间断，特别是基于深度学习技术的应用，提高了乳腺癌诊断的整体效率和准确性。为了提高CAD识别和评估病变的能力，就像传统医生诊断流程，多视角(CC和MLO)包含的信息早已经被纳入CAD算法开发的流程里。如Engeland和Karssemeijer开发了一种算法来检测和评估同一乳房的两个视图中的病变，Wang等人提出了检测两个乳房相应视图的不对称性的算法，结果如预期的那样提高了CAD算法的性能。从Krizhevsky等人在2012年利用卷积神经网络(CNN)以压倒性优势取得了ImageNet大规模视觉识别挑战赛，CNN在过去几年被广泛应用在视觉分析的各个领域，包括在乳腺钼靶等医学图像上的诸多应用。例如，Lotter等人开发了一种两阶段算法，其中有两个不同的多尺度CNN，一个用于肿块，另一个用于钙化，用于扫描和分析图像块。也有直接通过图像级进行分类及肿块分割的工作，它不涉及单独分析图像以搜索软组织病变与钙化区域，从而获得良好的性能。但是值得注意的时，基于CNN监督训练的方式，需要大量像素级别或者图像块级别的标注训练集，需要专业的医生对病变区域进行精细勾画或者裁剪出包含有病变的图像块，这无疑增大了构建训练数据集的难度，因此最小化训练算法所需要的训练数据集的数据量时有意义的。实现这一目标的一种有效方法是迁移学习，迁移学习涉及使用已经训练过的深度学习模型，保持大部分模型内部参数值不变，并且仅针对新应用微调网络部分的参数，特别适合医疗小数据的场景，有加快收敛且提高精度的效果，作为一种范式，已经被广泛应用在视觉分析的各个场景。
迁移学习的预训练模型可以通过有标签的上游大数据集通过监督学习训练得到，也可以通过设计半监督，或者自监督学习任务来获取。有监督预训练如Samala等人从预训练的深度学习AlexNet模型开始，成功地对网络进行了微调，用于仅有1500个乳腺钼靶病变图像块的分类任务，考虑到AlexNet的原始训练数据集包括使用超过120万张自然(非医学)图像，迁移学习的效果非常显着。而有相关研究在乳腺钼靶肿块检测任务上构建自监督学习方法(SSL)，降低了下游任务对于标签的依赖。同时自监督预训练方法的有效性已经逐步超越有监督的预训练方法，考虑到自监督不需要人为的标签，在医学图像领域也逐步得到应用，给医学CAD的算法发展提供高效且持续的助力。
乳腺钼靶的多视角(CC和MLO)分析符合医生的诊断标准和流程，而目前同时利用两个视角的深度学习研究往往缺乏合理有效的模型预训练方法，不能充分在医学小数据集上利用迁移学习的巨大优势，同时现有的基于自监督迁移学习的深度学习模型在乳腺钼靶上的应用，又忽略了乳腺钼靶多视角的信息分布。因此，针对乳腺钼靶多视角的特点，设计合理的自监督预训练方法来实现迁移学习，有限降低下游任务对于精细标注量的需求，进一步提高深度学习的CAD算法基于乳腺钼靶的癌症筛查有效性，就显得尤为关键。
现有的深度学习应用于乳腺钼靶的算法，未能针对乳腺钼靶多视角的特点设计合理的自监督预训练方法，在如乳腺肿块检测分割及乳腺良恶性分级的任务里，目前的方法往往采用随机或者大型有标签数据集监督预训练的方式来初始化模型参数，导致训练收敛慢、对上游标注数据依赖严重及小数据集效果不佳等问题，从而导致下游任务乳腺钼靶肿块分割中对于精细标注量的需求不能满足，无法精准的分割乳腺肿块。
发明内容
为了解决上述问题，本发明提出了一种基于多视角自监督深度学习乳腺钼靶图像分割方法及系统，本发明利用多视角自监督预训练的方法，可以有效降低下游任务标签数据量的需求，即少量标签数据情况下达到和原来等量标签情况下相媲美的算法性能。
根据一些实施例，本发明的第一方案提供了一种基于多视角自监督深度学习乳腺钼靶图像分割方法，采用如下技术方案：
基于多视角自监督深度学习乳腺钼靶图像分割方法，包括：
获取乳腺钼靶图像并进行预处理；
基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像分割网络进行乳腺钼靶图像肿块分割；
其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：
获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。
进一步地，所述获取乳腺钼靶图像并进行预处理，包括：
获取患者不同视角的的乳腺钼靶图像；
采用Min-Max的规范化方法对患者不同视角的的乳腺钼靶图像进行规范化，得到预处理后的乳腺钼靶图像。
进一步地，基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型，包括：
选取主干网络；
在训练过程中，控制每个批次的正样本对和负样本对的比例，训练主干网络；
得到预训练模型。
进一步地，所述自监督训练的过程中，当该批次的输入都通过主干网络的前向过程，采用InfoNCE损失函数，具体为：
Figure BDA0003728567700000051
其中，q*k是模型预测的概率，t是一个温度超参数，k是数据集里类别的数量，i表示每批次第几个样本。
进一步地，所述主干网络采用50层残差卷积神经网络ResNet-50，是由卷积层、批归一化层、激活层和残差连接组成单元堆积而成。
进一步地，所述下游任务迁移训练阶段，具体为：
根据乳腺钼靶图像肿块分割要求，在预训练模型上增加分割解码器和跳层连接，得到多视角自监督图像分割网络；
采用Min-Max的规范化方法对患者不同视角的的乳腺钼靶图像进行规范化，得到预处理后的乳腺钼靶图像样本；
基于预处理后的乳腺钼靶图像样本，训练多视角自监督图像分割网络，得到多视角自监督图像分割网络。
进一步地，所述分割解码器为由卷积层、上采样层、批归一化层和激活层构成；
所述跳层连接跨层连接是将编码器主干网络的特征与分割解码器同级别特征结合到一起，起到增加低级语义信息的作用。
根据一些实施例，本发明的第二方案提供了一种基于多视角自监督深度学习乳腺钼靶图像分割系统，采用如下技术方案：
基于多视角自监督深度学习乳腺钼靶图像分割系统，包括：
图像采集模块，被配置为获取乳腺钼靶图像并进行预处理；
图像识别模块，被配置为基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像识别网络进行乳腺钼靶图像肿块分割；
其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：
获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的一种基于多视角自监督深度学习乳腺钼靶图像分割方法中的步骤。
根据一些实施例，本发明的第四方案提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的一种基于多视角自监督深度学习乳腺钼靶图像分割方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明在进行乳腺钼靶肿块分割的CAD算法开发的过程中，采用多视角自监督预训练方法，与现有的肿块分割采用大量的有标签数据训练方法对比，可以加速模型收敛及提高模型在小样本数据上的性能表现，同时该方法预训练的模型可以比较快速迁移到不同医疗机构的数据集上，对数据集差异及下游任务差异有比较好的鲁棒性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例所述的基于多视角自监督深度学习乳腺钼靶图像分割方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
如图1所示，本实施例提供了一种基于多视角自监督深度学习乳腺钼靶图像分割方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取乳腺钼靶图像并进行预处理；
基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像分割网络进行乳腺钼靶图像肿块分割；
其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：
获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。
具体的，所述获取乳腺钼靶图像并进行预处理，包括：
获取患者不同视角的的乳腺钼靶图像；
采用Min-Max的规范化方法对患者不同视角的的乳腺钼靶图像进行规范化，得到预处理后的乳腺钼靶图像。
本实施例的方法的整个流程分为两个阶段，为多视角无标签自监督学习阶段和下游任务迁移学习阶段；
其中，多视角无标签自监督学习阶段
步骤1：针对乳腺钼靶图像，将统一患者的不同视角(CC和MLO)的X光片标记为
Figure BDA0003728567700000091
和
Figure BDA0003728567700000092
其中i＝0,1,2,…,N-1，N为数据集患者数量。
步骤2：将所有的乳腺钼靶图像采取Min-Max的规范化方法将图像规范到[0,1]区间，规范化公式如下：
Figure BDA0003728567700000093
其中x为表示乳腺钼靶图像，min为图像观测的最小值，max为图像观测的最大值。
获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
步骤3：选取主干网络(如ResNet-50)，训练过程中，控制每个批次的正样本对(即同个患者的CC和MLO图像为正样本对)和负样本对比例(实验采用0.2)。
多组对比实验选择的最佳参数。是因为正样本对远远小于负样本的数量，为了是训练过程中优化不至于选择平凡解，适当平衡训练过程中每个批次的正负样本对比例。
对比学习的过程具体是每批次正负样本利用InfoNCE计算损失后，进行梯度回传更新网络参数。控制样本比例，是因为正样本对远远小于负样本的数量，为了是训练过程中优化不至于选择平凡解，适当平衡训练过程中每个批次的正负样本对比例。
所述主干网络采用50层残差卷积神经网络ResNet-50，是由卷积层、批归一化层、激活层和残差连接组成单元堆积而成。
步骤4：当该批次的输入都通过网络的前向过程，采用InfoNCE损失函数，计算如下：
Figure BDA0003728567700000101
其中，q*k是模型预测的概率，t是一个温度超参数，是个标量(实验里采用0.9)，k是数据集里类别的数量。i表示每批次第几个样本。根据计算出的损失Lq进行梯度回传更新参数。
步骤5：训练过程中，初始学习率是0.01，每训练1/4的迭代次数，按0.5的倍率降低优化器的学习率，最终到损失函数不再下降，终止训练过程，得到预训练模型。
其中，下游任务迁移学习阶段
下游任务只是利用上游预训练网络的参数。第二阶段的数据和第一阶段的数据没有关联，第一阶段的数据不需要标签，第二阶段是根据具体的任务(肿块分割)用到具体数据集的。
步骤1：采用和多视角无标签自监督学习阶段相同的主干网络(如ResNet-50)，用预训练好的预训练模型参数初始化，根据乳腺钼靶图像肿块分割要求，在预训练模型上增加分割解码器和跨层连接，得到多视角自监督图像分割网络；
所述分割解码器为类似U-Net解码器结构，由卷积层、上采样层、批归一化层和激活层构成，且和编码器的主干网络有特征的跨层连接，跨层(跳层)连接是将编码器主干网络的特征与解码器同级别特征结合到一起，起到增加低级语义信息的作用。
根据任务类型的不同，对主干网络进行调整，如下游是良恶性分类任务，调整主干网络最后的线性层(随机初始化)；如下游是乳腺肿块分割任务，添加分割解码器部分和跳层连接(类似于UNet的编码解码结构)，添加部分也随机初始化。
步骤2：下游任务输入图像采用和预训练阶段相同的规范化方式。
具体地，对乳腺钼靶图像采用Min-Max的规范化方法对患者不同视角的乳腺钼靶图像进行规范化，得到预处理后的归一化乳腺钼靶图像样本；
基于预处理后的归一化乳腺钼靶图像样本，训练多视角自监督图像分割网络，得到多视角自监督图像分割网络。
步骤3：训练过程中根据任务的不同分别采用适合分类或者分割的损失函数。
步骤4：下游训练过程中，采用较低的初始学习率如0.001，训练的迭代次数也减少为直接训练(不用预训练参数初始化)的1/4，直至模型收敛。
把同一病人的同侧乳腺钼靶不同视角x光片(CC和MLO)当作成对实例数据，即自监督学习的正样本，把同一病人的非同侧及不同病人的x光片都当作自监督学习的负样本，设计对比学习任务，对主干网络采用InfoNCE损失函数进行监督训练。训练完成后的主干网络在下游如乳腺肿块分割及乳腺良恶性分级任务里用于模型的初始化，经过微调后，肿块分割任务DICE在公开数据集DDSM上比随机初始化及ImageNet有监督预训练分别高3.2及2.6个百分点，同时良恶性分类上在INBreast上比随机初始化及ImageNet有监督预训练分别高5.7及4.9个百分点。
采用本实施例所述的多视角自监督方法预训练完成后的主干网络在下游如乳腺肿块分割及乳腺良恶性分级任务里用于模型的初始化，经过微调后，肿块分割任务DICE在公开数据集DDSM上比随机初始化及ImageNet有监督预训练分别高3.2及2.6个百分点，同时良恶性分类上在INBreast上比随机初始化及ImageNet有监督预训练分别高5.7及4.9个百分点。同时可以有效降低下游任务标签数据量的需求，DDSM上结果显示仅需要一半标签数据情况下达到和原来等量标签情况下想媲美的算法性能。
实施例二
本实施例提供了一种基于多视角自监督深度学习乳腺钼靶图像分割系统，包括：
图像采集模块，被配置为获取乳腺钼靶图像并进行预处理；
图像识别模块，被配置为基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像识别网络进行乳腺钼靶图像肿块分割；
其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：
获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于多视角自监督深度学习乳腺钼靶图像分割方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于多视角自监督深度学习乳腺钼靶图像分割方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，包括：
获取乳腺钼靶图像并进行预处理；
基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像分割网络进行乳腺钼靶图像肿块分割；
其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：
获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。
2.如权利要求1所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述获取乳腺钼靶图像并进行预处理，包括：
获取患者不同视角的的乳腺钼靶图像；
采用Min-Max的规范化方法对患者不同视角的的乳腺钼靶图像进行规范化，得到预处理后的乳腺钼靶图像。
3.如权利要求1所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型，包括：
选取主干网络；
在训练过程中，控制每个批次的正样本对和负样本对的比例，训练主干网络；
得到预训练模型。
4.如权利要求3所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述自监督训练的过程中，当该批次的输入都通过主干网络的前向过程，采用InfoNCE损失函数，具体为：
Figure FDA0003728567690000021
其中，q*k是模型预测的概率，t是一个温度超参数，k是数据集里类别的数量，i表示每批次第几个样本。
5.如权利要求3所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述主干网络采用50层残差卷积神经网络ResNet-50，是由卷积层、批归一化层、激活层和残差连接组成单元堆积而成。
6.如权利要求1所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述下游任务迁移训练阶段，具体为：
根据乳腺钼靶图像肿块分割要求，在预训练模型上增加分割解码器和跨层连接，得到多视角自监督图像分割网络；
采用Min-Max的规范化方法对患者不同视角的的乳腺钼靶图像进行规范化，得到预处理后的乳腺钼靶图像样本；
基于预处理后的乳腺钼靶图像样本，训练多视角自监督图像分割网络，得到多视角自监督图像分割网络。
7.如权利要求6所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述分割解码器为由卷积层、上采样层、批归一化层和激活层构成；
所述跨层连接是将编码器主干网络的特征与分割解码器同级别特征结合到一起，起到增加低级语义信息的作用。
8.基于多视角自监督深度学习乳腺钼靶图像分割系统，其特征在于，包括：
图像采集模块，被配置为获取乳腺钼靶图像并进行预处理；
图像识别模块，被配置为基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像识别网络进行乳腺钼靶图像肿块分割；
其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：
获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多视角自监督深度学习乳腺钼靶图像分割方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多视角自监督深度学习乳腺钼靶图像分割方法中的步骤。
CN202210779534.3A 2022-07-04 2022-07-04 基于多视角自监督深度学习乳腺钼靶图像分割方法及系统 Pending CN115170505A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210779534.3A CN115170505A (zh) 2022-07-04 2022-07-04 基于多视角自监督深度学习乳腺钼靶图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210779534.3A CN115170505A (zh) 2022-07-04 2022-07-04 基于多视角自监督深度学习乳腺钼靶图像分割方法及系统

Publications (1)

Publication Number Publication Date
CN115170505A true CN115170505A (zh) 2022-10-11

Family

ID=83491080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210779534.3A Pending CN115170505A (zh) 2022-07-04 2022-07-04 基于多视角自监督深度学习乳腺钼靶图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN115170505A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797373A (zh) * 2023-01-09 2023-03-14 苏州浪潮智能科技有限公司 一种图像分割方法、装置、电子设备及介质
CN116843715A (zh) * 2023-06-21 2023-10-03 苏州大学 一种基于深度学习的多视图协同图像分割方法和系统
CN116912496A (zh) * 2023-07-20 2023-10-20 东北大学 用于图像分割的解码器对比学习方法及系统
CN116912623A (zh) * 2023-07-20 2023-10-20 东北大学 用于医学图像数据集的对比学习方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797373A (zh) * 2023-01-09 2023-03-14 苏州浪潮智能科技有限公司 一种图像分割方法、装置、电子设备及介质
CN116843715A (zh) * 2023-06-21 2023-10-03 苏州大学 一种基于深度学习的多视图协同图像分割方法和系统
CN116912496A (zh) * 2023-07-20 2023-10-20 东北大学 用于图像分割的解码器对比学习方法及系统
CN116912623A (zh) * 2023-07-20 2023-10-20 东北大学 用于医学图像数据集的对比学习方法及系统
CN116912496B (zh) * 2023-07-20 2024-01-26 东北大学 用于图像分割的解码器对比学习方法及系统
CN116912623B (zh) * 2023-07-20 2024-04-05 东北大学 用于医学图像数据集的对比学习方法及系统

Similar Documents

Publication Publication Date Title
Xian et al. Automatic breast ultrasound image segmentation: A survey
CN115170505A (zh) 基于多视角自监督深度学习乳腺钼靶图像分割方法及系统
Courtiol et al. Classification and disease localization in histopathology using only global labels: A weakly-supervised approach
Cordeiro et al. A semi-supervised fuzzy GrowCut algorithm to segment and classify regions of interest of mammographic images
Neelapu et al. Deep learning based conventional neural network architecture for medical image classification
Cordeiro et al. Analysis of supervised and semi-supervised GrowCut applied to segmentation of masses in mammography images
Zhan et al. Auto-csc: a transfer learning based automatic cell segmentation and count framework
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
Sadad et al. Internet of medical things embedding deep learning with data augmentation for mammogram density classification
Sahran et al. Machine learning methods for breast cancer diagnostic
Velichko et al. A concept of smart medical autonomous distributed system for diagnostics based on machine learning technology
Farheen et al. Revisiting segmentation of lung tumors from CT images
Priya Resnet based feature extraction with decision tree classifier for classificaton of mammogram images
Cao et al. Supervised contrastive pre-training formammographic triage screening models
Zhang et al. A comprehensive review of methods based on deep learning for diabetes-related foot ulcers
Kavitha et al. Brain tumor segmentation using a deep Shuffled‐YOLO network
Tariq et al. Diabetic retinopathy detection using transfer and reinforcement learning with effective image preprocessing and data augmentation techniques
Nordström et al. Calibrated surrogate maximization of dice
Goel et al. A hybrid of modified YOLOv3 with BBO/EE optimizer for lung cancer detection
Kaur et al. Deep learning in medical applications: Lesion segmentation in skin cancer images using modified and improved encoder-decoder architecture
Rao et al. Weight pruning-UNet: Weight pruning UNet with depth-wise separable convolutions for semantic segmentation of kidney tumors
Kochetov et al. UNSEG: unsupervised segmentation of cells and their nuclei in complex tissue samples
Soni Performance analysis of classification algorithms on liver disease detection
Prabakaran et al. Robust hyperparameter tuned deep Elman neural network for the diagnosis of osteosarcoma on histology images
Roni et al. Deep convolutional comparison architecture for breast cancer binary classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination