CN116309585B - 基于多任务学习的乳腺超声图像目标区域识别方法及系统 - Google Patents

基于多任务学习的乳腺超声图像目标区域识别方法及系统 Download PDF

Info

Publication number
CN116309585B
CN116309585B CN202310572578.3A CN202310572578A CN116309585B CN 116309585 B CN116309585 B CN 116309585B CN 202310572578 A CN202310572578 A CN 202310572578A CN 116309585 B CN116309585 B CN 116309585B
Authority
CN
China
Prior art keywords
image
breast
network
segmentation
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310572578.3A
Other languages
English (en)
Other versions
CN116309585A (zh
Inventor
刘治
聂伟琦
曹艳坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310572578.3A priority Critical patent/CN116309585B/zh
Publication of CN116309585A publication Critical patent/CN116309585A/zh
Application granted granted Critical
Publication of CN116309585B publication Critical patent/CN116309585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明属于图像处理领域，提供了一种基于多任务学习的乳腺超声图像目标区域识别方法及系统，包括采集患者原始乳腺超声图像并进行预处理；基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断和目标区域分割。本发明利用多任务网络模型可以同时处理多个相关性任务，通过共享特征提取模块，将不同任务的特征进行融合，充分利用分类和分割的任务相关性，从而提高乳腺图像的分类和分割精度。

Description

基于多任务学习的乳腺超声图像目标区域识别方法及系统
技术领域
本发明属于图像处理技术领域，具体涉及一种基于多任务学习的乳腺超声图像目标区域识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
由于现实中存在着采集超声图像模糊、医生临床诊断经验不同等原因，不同医生对同一病人医学图像的解读有差异。同时，仅用人工进行判断的效率较低，在医学图像判读工作量较大时，会因为疲劳等因素使得超声图像判断准确性产生影响。近年来，人工智能及计算机技术的发展对医疗领域产生了重要影响。
由于乳腺超声图像中组织与周围组织的密度、纹理等特征相似，难以区分，以及受到噪声、光照等因素的影响，也会导致图像质量下降，导致目标区域的识别精度和分类准确度较差。近年来，人工智能及计算机技术的发展对医疗领域产生了重要影响。但是，现有的深度学习医疗图像识别算法在实际应用过程中算法复杂度高，在增加算法执行时长的同时也使得检测结果的精度降低。
发明内容
为了解决上述问题，本发明提出了一种基于多任务学习的乳腺超声图像目标区域识别方法及系统，本发明利用多任务网络模型可以同时处理多个相关性任务，通过共享特征提取模块，将不同任务的特征进行融合，充分利用分类和分割的任务相关性，从而提高乳腺图像的分类和分割精度。
根据一些实施例，本发明的第一方案提供了一种基于多任务学习的乳腺超声图像目标区域识别方法，采用如下技术方案：
基于多任务学习的乳腺超声图像目标区域识别方法，包括：
采集患者原始乳腺超声图像并进行预处理；
基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割；
其中，所述利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割，具体为：
对预处理后的乳腺超声图像进行分块，得到乳腺超声分块图像；
基于乳腺超声分块图像进行四次下采样处理，提取不同尺度的深层特征图；
基于第四次下采样后的深层特征图进行图像分类，得到乳腺超声图像的性质判断结果，同时将第四次下采样后的深层特征图输入到第一层转置卷积层进行上采样；
将前三次下采样提取到的不同尺寸的深层特征图与前三层转置卷积层的输出特征图进行融合连接再输出到下一层转置卷积层进行上采样，得到乳腺超声目标区域分割识别结果。
进一步地，所述多任务学习模型的训练过程，具体为：
获取患者原始乳腺超声样本图像并进行预处理；
对预处理后的乳腺超声样本图像进行标签制作，确定带标签的乳腺超声样本图像；
将带标签的乳腺超声样本图像拆分为训练集和测试集；
利用训练集，训练多任务学习模型，得到训练好的多任务学习模型；
基于测试集，利用训练好的多任务学习模型进行性质判断和目标区域分割，验证训练好的多任务学习模型的有效性。
进一步地，利用预先训练好的多任务学习模型对预处理后的乳腺超声图像的进行性质判断，判断结果为带有不规则区域的乳腺超声图像和带有规则区域的乳腺超声图像。
进一步地，所述多任务学习模型包括共享特征提取网络、图像分类子网络以及图像分割子网络组成；所述图像分类子网络和图像分割子网络分别与共享特征提取网络连接；
所指共享特征提取网络指的是参与到分类与分割任务的共享参数神经网络层，所述图像分类子网络及图像分割子网络，是分别实现分类及分割功能的网络层。
进一步地，所述共享特征提取网络是以Swin Transformer网络作为主体框架的特征提取网络，包括图像分块层、以及包含Swin Transformer Block的4个stage；
所述共享特征提取网络的作用是对输入乳腺超声图像进行深层特征提取，具体为：
所述图像分块层对输入乳腺超声图像进行Patch Partition预处理；
预处理后的乳腺超声图像依次输入到各个stage进行下采样，完成图片深层特征的提取；
得到不同尺度的深层特征图。
进一步地，所述图像分类子网络由两个全连接层及激活函数层组成；第一个线性全连接层后接ReLU激活函数，然后连接的第二个线性全连接层，最后经过softmax激活函数进行分类输出，对乳腺超声图像进行性质分类。
进一步地，所述图像分割子网络由4个上采样的转置卷积层组成，并利用跳跃连接将前三个转置卷积层上采样输出的特征图与共享特征提取网络中前三次下采样层中同等大小输出的特征图相连接，从而更好地融合深层与浅层特征，最终输出乳腺超声图像的分割结果。
根据一些实施例，本发明的第二方案提供了一种基于多任务学习的乳腺超声图像目标区域识别系统，采用如下技术方案：
基于多任务学习的乳腺超声图像目标区域识别系统，包括：
原始图像采集模块，被配置为采集患者原始乳腺超声图像并进行预处理；
图像判断分割识别模块，被配置为基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割；
其中，所述利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割，具体为：
对预处理后的乳腺超声图像进行分块，得到乳腺超声分块图像；
基于乳腺超声分块图像进行四次下采样处理，提取不同尺度的深层特征图；
基于第四次下采样后的深层特征图进行图像分类，得到乳腺超声图像的性质判断结果，同时将第四次下采样后的深层特征图输入到第一层转置卷积层进行上采样；
将前三次下采样提取到的不同尺寸的深层特征图与前三层转置卷积层的输出特征图进行融合连接再输出到下一层转置卷积层进行上采样，得到乳腺超声目标区域分割识别结果。
根据一些实施例，本发明的第三方案提供了一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于多任务学习的乳腺超声图像目标区域识别方法中的步骤。
根据一些实施例，本发明的第四方案提供了一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于多任务学习的乳腺超声图像目标区域识别方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明通过多任务网络模型，在识别出乳腺超声图像目标区域性质类别后，将实现对乳腺超声图像中的不规则区域自动分割及测量；利用多任务网络模型可以同时处理多个相关性任务，通过共享特征提取模块，将不同任务的特征进行融合，充分利用分类和分割的任务相关性，从而提高乳腺图像的分类和分割精度；本发明设计的多任务学习网络，可以更好地利用分割与分类任务存在的相关性，从而增强目标区域分割和分类的效果。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例所述的多任务学习模型结构示意图；
图2是本发明实施例所述的Swin Transformer Block模块结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了一种基于多任务学习的乳腺超声图像目标区域识别方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
步骤S1：采集患者原始乳腺超声图像并进行预处理；
步骤S2：基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割；
其中，所述利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割，具体为：
对预处理后的乳腺超声图像进行分块，得到乳腺超声分块图像；
基于乳腺超声分块图像进行四次下采样处理，提取不同尺度的深层特征图；
基于第四次下采样后的深层特征图进行图像分类，得到乳腺超声图像的性质判断结果，同时将第四次下采样后的深层特征图输入到第一层转置卷积层进行上采样；
将前三次下采样提取到的不同尺寸的深层特征图与前三层转置卷积层的输出特征图进行融合连接再输出到下一层转置卷积层进行上采样，得到乳腺超声目标区域分割识别结果。
其中，所述多任务学习模型的训练过程，具体为：
获取患者原始乳腺超声样本图像并进行预处理；
对预处理后的乳腺超声样本图像进行标签制作，确定带标签的乳腺超声样本图像；
将带标签的乳腺超声样本图像拆分为训练集和测试集；
利用训练集，训练多任务学习模型，得到训练好的多任务学习模型；
基于测试集，利用训练好的多任务学习模型进行性质判断和目标区域分割，验证训练好的多任务学习模型的有效性。
具体地，利用预先训练好的多任务学习模型对预处理后的乳腺超声图像的进行性质判断，判断结果为带有不规则区域的乳腺超声图像和带有规则区域的乳腺超声图像。
如图1所示，具体地，所述多任务学习模型包括共享特征提取网络、图像分类子网络以及图像分割子网络组成；所述图像分类子网络和图像分割子网络分别与共享特征提取网络连接；
所指共享特征提取网络指的是参与到分类与分割任务的共享参数神经网络层，所述图像分类子网络及图像分割子网络，是分别实现分类及分割功能的网络层。
所述共享特征提取网络，具体为：
共享特征提取网络以Swin Transformer网络作为主要框架的特征提取网络，包括图像分块（Patch Partition）层、以及包含Swin Transformer Block的4个stage。该共享特征提取网的作用是对输入乳腺超声图像进行深层特征提取。该共享特征提取网络的数据处理详细步骤为：
1．首先对输入乳腺超声图像进行Patch Partition预处理，将图片的最小单位由像素变为patch，假设原始矩阵大小为H*W*3，经过处理后变为H/4*W/4*48。
2．然后进入各个stage进行图片深层特征的提取，其中各stage由不同数目的SwinTransformer Block以及其他模块组成。
首先是stage 1的线性嵌入（Linear Embedding）层对patch进行线性编码，随后进入stage 1的2个Swin Transformer Block，输出大小为H/4*W/4*C，其中C为人工选取的特征维度。再进入stage 2进行Patch Merging降采样处理，以及通过6个Swin TransformerBlock输出，大小为H/8*W/8*2C，随后再依次通过stage 3和stage 4。stage 3、stage 4与stage 2过程相类似，由图像降维（Patch Merging）和2个Swin Transformer Block构成，输出大小分别为H/16*W/16*4C和H/32*W/32*8C。
3．所述的各个stage中有2个或6个Swin Transformer Block，实际是由两个连续的不同Swin Transformer Block组合构成的。其中在stage 2中的6个Swin TransformerBlock，实际为3个连续的block组合组成。
如图2所示，其中，block组合的第一个Swin Transformer Block，由MLP（前馈网络）层和窗口多头注意力层（Window Multi-head Self-Attention，W-MSA）组成；而第二个Swin Transformer Block，是由MLP层和移动窗口多头注意力层（Shifted Window Multi-head Self-Attention，SW-MSA）部分组成的。在每个MSA层和MLP层之前都有一个LayerNorm（层归一化）层，且在每个MSA层和MLP层之后都使用了残差连接操作，解决梯度消失问题。
设第一层block的输入为，则/>，则第一个Swin Transformer Block的输出为/>，该输出也为第二个Swin Transformer Block的输入。第二层block的输入为/>，则，最终第二个Swin Transformer Block的输出为。
Stage 4中最后输出的之后将作为图像分类子网络的输入和图像分割子网络第一层卷积层的输入，进行分类和分割处理。另外，为了更好地融合浅层与深层特征，前面三个stage即stage1、stage2、stage3的输出——大小分别为H/4*W/4*C、H/8*W/8*2C和H/16*W/16*4C的feature map（特征图），也将作为图像分割子网络的输入，并使用跳跃连接与图像分割子网络前三层转置卷积层输出的对应大小的feature map进行融合，具体操作将在后续对于图像分割子网络的描述中进行说明。
所述图像分类子网络由两个全连接层及激活函数层组成。第一个线性全连接层有1000个神经元，后接ReLU激活函数，然后连接的第二个线性全连接层有2个神经元，最后经过softmax激活函数进行分类输出，对乳腺超声图像进行性质分类。
图像分割子网络由4个上采样的转置卷积层组成。前三层使用的是2×2大小的卷积核以及ReLU激活函数，最后一层为4×4大小的卷积核和ReLU激活函数，最终输出乳腺超声图像的分割结果。另外，为了更好地融合深层与浅层特征，利用跳跃连接将共享特征提取网络中前三次下采样和前三层转置卷积上采样同等输出大小的feature map相连接，具体操作为：将下采样层stage1、stage2、stage3输出大小分别为H/4*W/4*C、H/8*W/8*2C和H/16*W/16*4C的feature map，分别与上采样卷积层c1、卷积层c2、卷积层c3输出的同等大小的feature map进行连接。每层连接后的结果继续输出到下一个卷积层，直到最终输出图像的分割结果。
本实施例所述的多任务学习模型的训练过程由数据采集模块1、标签制作模块2、模型训练模块3以及结果输出模块4这四部分组成。
首先利用超声设备采集病人的原始超声图像。
然后，对图像进行目标区域的勾画和标签标记。在得到超声图像数据标签后，对构建的网络模型进行训练，得到能实现乳腺超声图像分类及分割的多任务模型。
可以理解的是，本实施例中所提到的目标区域指的是乳腺超声中的不规则区域，是根据该区域的面积、半径大小、光滑度、规则性等信息综合判断的，属于现有技术中的常规判断，此处不再赘述。
数据采集模块1用来采集病人的乳腺超声图像信息。
标签制作模块2用来勾画目标区域大小、光滑度、规则性标签。
模型训练模块3用来进行一种基于多任务学习的乳腺超声图像目标区域识别系统的模型训练，包括对于多任务网络模型的训练。
输出结果模块4用来输出原始超声图像性质判断结果，以及当判断结果中带有不规则区域的病人的原始超声图像的目标区域分割结果。
所述超声采集模块包括但不限于超声采集仪器、掌上超声设备以及5G远程超声采集设备等。所述超声采集模块1包括但不限于掌上超声设备，不同于传统超声设备的主机+探头的产品形式，把主机缩小到只是一块很小的、内置于探头内部的电路板，变成只是一个“探头”就相当于一台B超，只需借助随身携带安装了超声APP软件的手机、平板电脑进行显示，图像由探头内置WIFI传输到手机/平板。
所述标签制作模块2是指勾画目标区域大小、光滑度、规则性标签。所述目标区域大小、光滑度、规则性标签指的是根据乳腺超声图像中目标区域勾画标签由软件自动计算得到的目标区域面积、半径大小、光滑度、规则性等信息。其中由于带有不规则区域的乳腺超声图像数据较少，因此仅使用不规则区域勾画标签训练出的模型分割能力不强，因此在训练多任务网络时也使用了规则区域的勾画标签。但带有规则区域的图像数据仅仅起到辅助提高模型分割能力的作用，在实际使用过程中，多任务网络将仅对分类结果带有不规则区域的患者进行图像分割。
所述模型训练模块中实现超声图像分类和分割的多任务学习模型如图1所示，由共享特征提取网络和图像分类子网络及图像分割子网络组成。所述模型训练模块指的是对多任务网络模型进行训练。其中，多任务网络模型包括共享特征提取网络、图像分类子网络及图像分割子网络，是基于乳腺超声影像以及目标区域形状以及目标区域勾画标签进行训练的。所指共享特征提取网络指的是多任务网络中，同时参与到分类与分割任务的共享参数神经网络层。而图像分类子网络及图像分割子网络，是分别实现分类及分割功能的网络层。利用超声图像及目标区域标签、目标区域勾画标签训练多任务网络。当对训练好的多任务网络模型输入新的超声图像后，就可以得到其性质判断结果及其图像分割结果。
实施例二
本实施例提供了基于多任务学习的乳腺超声图像目标区域识别系统，包括：
原始图像采集模块，被配置为采集患者原始乳腺超声图像并进行预处理；
图像判断分割识别模块，被配置为基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割；
其中，所述利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割，具体为：
对预处理后的乳腺超声图像进行分块，得到乳腺超声分块图像；
基于乳腺超声分块图像进行四次下采样处理，提取不同尺度的深层特征图；
基于第四次下采样后的深层特征图进行图像分类，得到乳腺超声图像的性质判断结果，同时将第四次下采样后的深层特征图输入到第一层转置卷积层进行上采样；
将前三次下采样提取到的不同尺寸的深层特征图与前三层转置卷积层的输出特征图进行融合连接再输出到下一层转置卷积层进行上采样，得到乳腺超声目标区域分割识别结果。
上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于多任务学习的乳腺超声图像目标区域识别方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于多任务学习的乳腺超声图像目标区域识别方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，包括：
采集患者原始乳腺超声图像并进行预处理；
基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割；
所述多任务学习模型包括共享特征提取网络、图像分类子网络以及图像分割子网络组成；所述图像分类子网络和图像分割子网络分别与共享特征提取网络连接；
所述共享特征提取网络指的是参与到分类与分割任务的共享参数神经网络层，所述图像分类子网络及图像分割子网络，是分别实现分类及分割功能的网络层；
所述多任务学习模型的训练过程，具体为：获取患者原始乳腺超声样本图像并进行预处理；对预处理后的乳腺超声样本图像进行标签制作，确定带标签的乳腺超声样本图像；将带标签的乳腺超声样本图像拆分为训练集和测试集；利用训练集，训练多任务学习模型，得到训练好的多任务学习模型；基于测试集，利用训练好的多任务学习模型进行性质判断和目标区域分割，验证训练好的多任务学习模型的有效性；
其中，所述利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的的乳腺超声图像进行目标区域分割，具体为：
对预处理后的乳腺超声图像进行分块，得到乳腺超声分块图像；
基于乳腺超声分块图像进行四次下采样处理，提取不同尺度的深层特征图；
基于第四次下采样后的深层特征图进行图像分类，得到乳腺超声图像的性质判断结果，同时将第四次下采样后的深层特征图输入到第一层转置卷积层进行上采样；
将前三次下采样提取到的不同尺寸的深层特征图与前三层转置卷积层的输出特征图进行融合连接再输出到下一层转置卷积层进行上采样，得到乳腺超声目标区域分割识别结果。
2.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，利用预先训练好的多任务学习模型对预处理后的乳腺超声图像的进行性质判断，判断结果为带有不规则区域的乳腺超声图像和带有规则区域的乳腺超声图像。
3.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，所述共享特征提取网络是以Swin Transformer网络作为主体框架的特征提取网络，包括图像分块层、以及包含Swin Transformer Block的4个stage；
所述共享特征提取网络的作用是对输入乳腺超声图像进行深层特征提取，具体为：
所述图像分块层对输入乳腺超声图像进行Patch Partition预处理；
预处理后的乳腺超声图像依次输入到各个stage进行下采样，完成图片深层特征的提取；
得到不同尺度的深层特征图。
4.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，所述图像分类子网络由两个全连接层及激活函数层组成；第一个线性全连接层后接ReLU激活函数，然后连接的第二个线性全连接层，最后经过softmax激活函数进行分类输出，对乳腺超声图像进行性质分类。
5.如权利要求1所述的基于多任务学习的乳腺超声图像目标区域识别方法，其特征在于，所述图像分割子网络由4个上采样的转置卷积层组成，并利用跳跃连接将前三个转置卷积层上采样输出的特征图与共享特征提取网络中前三次下采样层中同等大小输出的特征图相连接，从而更好地融合深层与浅层特征，最终输出乳腺超声图像的分割结果。
6.基于多任务学习的乳腺超声图像目标区域识别系统，其特征在于，包括：
原始图像采集模块，被配置为采集患者原始乳腺超声图像并进行预处理；
图像判断分割识别模块，被配置为基于预处理后的乳腺超声图像，利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割；
所述多任务学习模型包括共享特征提取网络、图像分类子网络以及图像分割子网络组成；所述图像分类子网络和图像分割子网络分别与共享特征提取网络连接；
所指共享特征提取网络指的是参与到分类与分割任务的共享参数神经网络层，所述图像分类子网络及图像分割子网络，是分别实现分类及分割功能的网络层；
所述多任务学习模型的训练过程，具体为：获取患者原始乳腺超声样本图像并进行预处理；对预处理后的乳腺超声样本图像进行标签制作，确定带标签的乳腺超声样本图像；将带标签的乳腺超声样本图像拆分为训练集和测试集；利用训练集，训练多任务学习模型，得到训练好的多任务学习模型；基于测试集，利用训练好的多任务学习模型进行性质判断和目标区域分割，验证训练好的多任务学习模型的有效性；
其中，所述利用预先训练好的多任务学习模型进行性质判断，并对带有不规则区域的乳腺超声图像进行目标区域分割，具体为：
对预处理后的乳腺超声图像进行分块，得到乳腺超声分块图像；
基于乳腺超声分块图像进行四次下采样处理，提取不同尺度的深层特征图；
基于第四次下采样后的深层特征图进行图像分类，得到乳腺超声图像的性质判断结果，同时将第四次下采样后的深层特征图输入到第一层转置卷积层进行上采样；
将前三次下采样提取到的不同尺寸的深层特征图与前三层转置卷积层的输出特征图进行融合连接再输出到下一层转置卷积层进行上采样，得到乳腺超声目标区域分割识别结果。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于多任务学习的乳腺超声图像目标区域识别方法中的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的基于多任务学习的乳腺超声图像目标区域识别方法中的步骤。
CN202310572578.3A 2023-05-22 2023-05-22 基于多任务学习的乳腺超声图像目标区域识别方法及系统 Active CN116309585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310572578.3A CN116309585B (zh) 2023-05-22 2023-05-22 基于多任务学习的乳腺超声图像目标区域识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310572578.3A CN116309585B (zh) 2023-05-22 2023-05-22 基于多任务学习的乳腺超声图像目标区域识别方法及系统

Publications (2)

Publication Number Publication Date
CN116309585A CN116309585A (zh) 2023-06-23
CN116309585B true CN116309585B (zh) 2023-08-22

Family

ID=86785316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310572578.3A Active CN116309585B (zh) 2023-05-22 2023-05-22 基于多任务学习的乳腺超声图像目标区域识别方法及系统

Country Status (1)

Country Link
CN (1) CN116309585B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991445A (zh) * 2017-04-05 2017-07-28 重庆大学 一种基于深度学习的超声造影肿瘤自动识别与检测方法
WO2020077962A1 (zh) * 2018-10-16 2020-04-23 杭州依图医疗技术有限公司 一种乳腺影像识别的方法及装置
WO2020107156A1 (zh) * 2018-11-26 2020-06-04 深圳先进技术研究院 乳腺医学超声图像的自动化分类方法及装置
WO2020118618A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
AU2020101122A4 (en) * 2020-06-25 2020-07-30 A, Tamilselvi MS Cnn model based approach towards breast cancer features detection from ultra sound images
CN112435243A (zh) * 2020-11-26 2021-03-02 山东第一医科大学附属省立医院(山东省立医院) 一种全切片数字病理图像的自动分析系统及方法
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN113139981A (zh) * 2021-05-18 2021-07-20 哈尔滨理工大学 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法
CN113191392A (zh) * 2021-04-07 2021-07-30 山东师范大学 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统
CN113223005A (zh) * 2021-05-11 2021-08-06 天津大学 一种甲状腺结节自动分割及分级的智能系统
WO2021169128A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
WO2022008374A1 (en) * 2020-07-06 2022-01-13 Exini Diagnostics Ab Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions
WO2023281317A1 (en) * 2021-07-06 2023-01-12 P M Siva Raja Method and system for analyzing magnetic resonance images

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991445A (zh) * 2017-04-05 2017-07-28 重庆大学 一种基于深度学习的超声造影肿瘤自动识别与检测方法
WO2020077962A1 (zh) * 2018-10-16 2020-04-23 杭州依图医疗技术有限公司 一种乳腺影像识别的方法及装置
WO2020107156A1 (zh) * 2018-11-26 2020-06-04 深圳先进技术研究院 乳腺医学超声图像的自动化分类方法及装置
WO2020118618A1 (zh) * 2018-12-13 2020-06-18 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
WO2021169128A1 (zh) * 2020-02-29 2021-09-02 平安科技（深圳）有限公司 眼底视网膜血管识别及量化方法、装置、设备及存储介质
AU2020101122A4 (en) * 2020-06-25 2020-07-30 A, Tamilselvi MS Cnn model based approach towards breast cancer features detection from ultra sound images
WO2022008374A1 (en) * 2020-07-06 2022-01-13 Exini Diagnostics Ab Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions
CN112446862A (zh) * 2020-11-25 2021-03-05 北京医准智能科技有限公司 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法
CN112435243A (zh) * 2020-11-26 2021-03-02 山东第一医科大学附属省立医院(山东省立医院) 一种全切片数字病理图像的自动分析系统及方法
CN112862808A (zh) * 2021-03-02 2021-05-28 王建 一种基于深度学习的乳腺癌超声图像的可解释性识别方法
CN113191392A (zh) * 2021-04-07 2021-07-30 山东师范大学 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统
CN113223005A (zh) * 2021-05-11 2021-08-06 天津大学 一种甲状腺结节自动分割及分级的智能系统
CN113139981A (zh) * 2021-05-18 2021-07-20 哈尔滨理工大学 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法
WO2023281317A1 (en) * 2021-07-06 2023-01-12 P M Siva Raja Method and system for analyzing magnetic resonance images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
詹曙 ; 梁植程 ; 谢栋栋 ; .前列腺磁共振图像分割的反卷积神经网络方法.中国图象图形学报.2017,(04),全文. *

Also Published As

Publication number Publication date
CN116309585A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US10482603B1 (en) Medical image segmentation using an integrated edge guidance module and object segmentation network
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
US10936919B2 (en) Method and apparatus for detecting human face
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN110211087B (zh) 可分享的半自动糖尿病眼底病变标注方法
CN110309849A (zh) 血管图像处理方法、装置、设备及存储介质
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN110298850B (zh) 眼底图像的分割方法和装置
CN109583364A (zh) 图像识别方法及设备
CN113012155A (zh) 髋关节图像中骨骼分割方法、电子设备及存储介质
CN112330624A (zh) 医学图像处理方法和装置
CN115953393B (zh) 基于多任务学习的颅内动脉瘤检测系统、设备及存储介质
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN113792680A (zh) 基于图像融合的行为识别方法、装置、电子设备及介质
Alawad et al. Machine learning and deep learning techniques for optic disc and cup segmentation–a review
CN116343287A (zh) 面部表情识别、模型训练方法、装置、设备及存储介质
CN106940904A (zh) 基于人脸识别和语音识别的考勤系统
CN113781387A (zh) 模型训练方法、图像处理方法、装置、设备及存储介质
Haque et al. NeuroNet19: an explainable deep neural network model for the classification of brain tumors using magnetic resonance imaging data
Wu et al. Continuous Refinement-based Digital Pathology Image Assistance Scheme in Medical Decision-Making Systems
CN116309585B (zh) 基于多任务学习的乳腺超声图像目标区域识别方法及系统
CN115861207A (zh) 一种轻量化的医学图像分割方法和系统
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN114140381A (zh) 一种基于MDP-net的玻璃体混浊分级筛查方法及装置
Huang et al. Multi-level spatial-temporal and attentional information deep fusion network for retinal vessel segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant