CN111161272A - 一种基于生成对抗网络的胚胎组织分割方法 - Google Patents

一种基于生成对抗网络的胚胎组织分割方法 Download PDF

Info

Publication number
CN111161272A
CN111161272A CN201911411515.XA CN201911411515A CN111161272A CN 111161272 A CN111161272 A CN 111161272A CN 201911411515 A CN201911411515 A CN 201911411515A CN 111161272 A CN111161272 A CN 111161272A
Authority
CN
China
Prior art keywords
network
segmentation
tissue
training
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911411515.XA
Other languages
English (en)
Other versions
CN111161272B (zh
Inventor
李建武
康杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201911411515.XA priority Critical patent/CN111161272B/zh
Publication of CN111161272A publication Critical patent/CN111161272A/zh
Application granted granted Critical
Publication of CN111161272B publication Critical patent/CN111161272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于生成对抗网络的胚胎组织分割方法，属于医学图像处理技术领域。包括：步骤1通过U‑net网络对胚胎组织切片图像进行组织分割掩码映射；步骤2制作分割网络训练集；步骤3配置网络训练所需参数，得到设置后的网络；步骤4使用制作完成的分割网络训练集训练设置后的组织品质识别网络；步骤5固定组织品质识别网络的参数，使用制作完成的分割网络训练集结合组织品质识别网络训练设置后的U‑net网络；步骤6将未标注分割结果的胚胎组织切片图像作为输入，生成对应掩码图像。所述分割方法依托的网络在训练分割时使用一个分类模型来补充损失，充分利用细胞成长状态的信息，提升分割网络在胚胎组织分割领域的准确性。

Description

一种基于生成对抗网络的胚胎组织分割方法
技术领域
本发明涉及一种基于生成对抗网络的胚胎组织分割方法，属于医学图像处理技术领域。
背景技术
随着数字成像技术的快速发展，医学成像逐渐广泛应用于临床的检测与治疗。医生可借助医学影像在判断病理原因、治疗过程中进行干预、治疗结束后查看效果等方面进行准确的诊断与病因定位，如此智能化的诊断缩短了诊断时间的同时提高了诊断的准确率。对于医学图像的观察和分类大概分为三个过程，起初靠有经验的医师对图像进行观察，主观因素强且费时费力；加入计算机技术后图像的识别可以做到半自动工作，即在医师的参与下进行更准确的较为高效的图像识别；随着人工智能技术的发展对于图像的识别与分类可以在部分领域图像中实现无需借助人力的全自动识别。由于未经处理的图像往往重叠复杂、难以辨认，存在多模态性、图像较为模糊、边缘信息较多和数据异质等性质。只通过数字成像展现的医学图像往往不能为医生所用，需要运用图像处理技术进行图像的分割、增强等，来达到各专业医生的要求标准。为了满足愈加复杂的医学图像分析和处理要求，研究优化神经网络方法并将其运用在医学图像处理中成为近年来的研究趋向之一，以期运用计算机技术帮助构建辅助治疗系统和自动检测系统。
对于细胞图像的处理是医学影像中的一个重要研究方向。相较与其他发展较为成熟的医学图像(例如MR和CT等)，细胞图像有它自身的特点：一是依赖提取和制片技术，二是图像细小复杂，观察困难。目前在对于癌变细胞检测等细胞形态检查的研究中，仍主要依赖有经验的医师或专业技术人员进行肉眼比对筛选，加上观察条件、医生主观因素等方面的影响，容易造成误判。加强细胞图像的识别和分析准确率，除了进行制片和显微镜成像方面的提高之外，引入计算机技术进行智能的细胞的边缘检测、分割、分类等工作，从而将计算机提供的高效准确和医师具备的知识和经验相结合，降低人工检测中存在的固有的系统误差，提高细胞检测的效率和准确度，建立能真正投入应用的高效的、智能的、可靠的医疗系统。
发明内容
本发明的目的在于针对现有医疗辅助系统的训练过程中数据样本不充足，导致的大多使用传统机器学习方法进行训练的现象，提出了一种基于生成对抗网络的胚胎组织分割方法，旨在运用神经网络方法进行医疗辅助诊断及组织分割识别。
为达到以上目的，本发明拟采用以下技术方案。
所述基于生成对抗网络的胚胎组织分割方法依托于生成对抗网络；
其中，生成对抗网络包括U-net网络、判别器网络以及组织品质识别网络，具体通过三个网络之间的对抗训练来提升U-net网络的分割精度U-net网络又包括自注意力机制模块和残差网络模块，具体为：
U-net网络对胚胎组织切片图像进行组织分割掩码映射，判别器网络判别分割掩码结果和正式人工分割结果来提升U-net网络的分割效果；组织品质识别网络识别分割结果以及原始胚胎图像；
生成对抗网络中的分割网络考虑了网络中感受野大小与图像自相似性信息获取具有对应关系，为了在获取大感受野和计算量之间取得平衡，残差网络模块使用空洞卷积网络层作为其组成单元；
其中，对应关系为：感受野的大小对应图像自相似性信息获取的难易程度；
U-net网络的基础组成部分包括深度下采样模块和自注意特征融合模块；其中，深度下采样模块包括下采样层和残差网络模块；自注意特征融合模块，包括自注意力机制模块和残差网络模块；其中，自注意力机制模块，通过对特征图中任意两像素点的之间的关系计算，获取特征图的全局信息，保留更多的细节信息；
所述基于生成对抗网络的胚胎组织分割方法，包括以下步骤：
步骤101：构建U-net网络、判别器网络以及组织品质识别网络；
其中，构建的U-net网络包括深度下采样模块、自注意特征融合模块和深度上采样模块；
其中，深度下采样模块包括步长为2的卷积网络和残差网络模块；
自注意特征融合模块包括残差网络模块和自注意力机制模块；
深度上采样模块包括反卷积网络层；
组织品质识别网络通过对胚胎品质识别，充分利用胚胎成长状态的信息，进一步提升U-net网络分割效果；
步骤102：制作分割网络训练集，具体为：根据标注的图片分割结果生成图片分割掩码，再进行数据增强以获取更多的训练集，将所有标注分割结果的胚胎组织切片图像与其对应的分割掩码和组织切片品质汇总成训练所需的数据集，即制作完成了分割网络训练集；
其中，标注的图片分割结果为胚胎图像的分割掩码图像；分割网络训练集，即
Figure BDA0002350091190000031
其中，xi是第i张原始胚胎图像，yi是对应的分割掩码图像，li是对应的胚胎组织品质标注，N是训练集大小；
步骤103：配置生成对抗网络的网络训练所需参数，得到设置后的网络；
其中，网络训练所需参数包括：设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法及迭代次数；
其中，优化方法是Adam算法；设置后的网络包括设置后的U-net网络、设置后的判别器网络以及设置后的组织品质识别网络；
其中，θ1为设置的U-net网络及判别器网络的参数，θ2为设置的组织品质识别网络的参数；
步骤104：使用步骤102制作完成的分割网络训练集
Figure BDA0002350091190000032
训练步骤103设置后的组织品质识别网络，得到训练好的组织品质识别网络；
其中，训练好组织品质识别网络即获得组织品质识别网络的权重；
步骤105：固定步骤104训练好的组织品质识别网络的权重，使用步骤102中制作完成的分割网络训练集
Figure BDA0002350091190000033
结合组织品质识别网络训练步骤103设置后的网络中的U-net网络以及判别器网络，得到训练好的U-net网络；
其中，组织品质识别网络识别得到的识别误差作为训练U-net网络的损失函数的一部分，判别器网络的损失函数可表示为(1)，U-net网络的损失函数可表示为(2)：
Figure BDA0002350091190000034
Figure BDA0002350091190000035
其中，θ1是U-net网络及判别器网络训练设置的参数集，组织品质识别网络的映射表示为f，U-net网络的映射表示为G，判别器网络的映射表示为D，识别误差
Figure BDA0002350091190000041
是训练后的组织品质识别网络的识别误差，||·||1表示L1范数，E·～D[f(·)]表示函数f(·)对·在分布D下的数学期望；
步骤106：使用步骤105训练好的U-net网络将未标注分割结果的胚胎组织切片图像作为输入，生成对应分割掩码图像。
有益效果
所述一种基于生成对抗网络的胚胎组织分割方法，与现有胚胎组织分割方法相比，具有如下有益效果：
1、所述胚胎组织分割方法依托的网络在训练分割时使用一个分类模型来补充损失，充分利用胚胎成长状态的信息，提升分割网络在胚胎组织分割领域的准确性；
2、所述胚胎组织分割方法依托的生成对抗网络生成器部分使用U-net网络，U-net网络具有能够通过少量的数据得到优质的分割结果的优势，并通过引入的自注意力机制，增加分割结果的细节部分；
3、所述胚胎组织分割方法依托的网络能够使用GPU进行计算，能够提升胚胎组织的分割效率，实现了对胚胎组织进行全自动的分割功能；
4、所述胚胎组织分割方法使用生成对抗网络框架来训练胚胎组织的分割网络，在同种条件下训练得到的U-net分割网络优于其他主流方法。
附图说明
图1是本发明一种基于生成对抗网络的胚胎组织分割方法的总流程图；
图2是本发明一种基于生成对抗网络的胚胎组织分割方法U-net网络中所使用的自注意力机制模块(SelfAttentionModule)；
图3是本发明一种基于生成对抗网络的胚胎组织分割方法所使用的胚胎组织分割网络；
图4是本发明一种基于生成对抗网络的胚胎组织分割方法所使用的胚胎组织分割网络的深度下采样模块(deep downsampling block)；
图5是本发明中所使用的胚胎组织分割网络的自注意特征融合模块；
图6是本发明中胚胎组织分割网络的训练方法。
具体实施方式
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1
本实例公开的一种基于生成对抗网络的胚胎组织分割方法，使用生成模型替代传统分割方法，并加入预训练好的识别网络，提升模型的分割效果。之后，利用提升效果的分割模型对识别模型的数据进行预处理，进一步提升识别模型的品质检测效果。
所述基于生成对抗网络的胚胎组织分割方法，具体实施时如图1所示，包括以下步骤：
步骤101：构建U-net网络、判别器网络以及组织品质识别网络；
其中，构建的U-net网络包括深度下采样模块、自注意特征融合模块和深度上采样模块；
其中，深度下采样模块包括步长为2的卷积网络和残差网络模块；
自注意特征融合模块包括残差网络模块和自注意力机制模块；
深度上采样模块包括反卷积网络层；
生成对抗网络主要通过生成器和判别器之间的对抗学习，来使得生成器更好的拟合目标图像分布。本发明使用生成对抗网络框架来训练分割模型，如图6所示，其中使用U-net结构替代生成器部分，使用判别器识别真实标签和分割图像，缩小标签与分割图像之间的高次不一致性。并且额外加入一个预训练的分类网络，对分割后的图像结果进行品质分类，与原始图像的品质分级进行对比，为分割网络部分提供一个额外的损失，加快并提升分割网络的训练及准确度，即充分利用胚胎组织的成长状态的信息，实现有益效果1；
U-net框架U-net网络属于FCN网络的一种变体，也是Encoder-Decoder结构，其中，Encoder负责特征提取功能，而Decoder则负责将获取的最终特征反卷积重构出目标mask图像。本发明中使用U-net网络框架作为分割模型的基础框架，如图3所示，其中使用残差网络模块作为特征提取的基本模块，如图4所示。同时，U-net使用跳跃连接，这一步骤融合了底层信息的位置信息与深层特征的语义信息，并且相较于FCN中深层信息与浅层信息融合是通过对应像素相加的方式，U-net则是通过拼接的方式将两者结合。特征图相加的方式使得新的特征图在维度未发生变化的同时各个维度包含了更多特征，但特征图拼接的方式则保留了更多的维度和位置信息，这使得后来的卷积层能够在深层特征与浅层特征之间自由选择，在语义分割中能取得更好的效果。除此之外，在特征提取模块中加入自注意力机制模块，如图5所示，以获取特征图的全局信息，保留感兴趣区的更多细节信息，即实现有益效果2；
自注意力机制模块在卷积神经网络中，每次卷积操作由于卷积核的尺寸覆盖面积较小，无法直观获取较远像素点间的特征信息。因此我们引入了自注意力模型，该模型通过计算图像中任意两个像素点之间的关系，一步到位地获取图像的全局几何特征。如图2所示，给定一个中间特征图x作为输入，自注意力机制模块可以推断出一个包含图像中任意两点间联系的方阵，该方阵用于调整输入的特征图x得到输出y。具体操作子步骤如下所示：
步骤101.A自注意力机制模块对特征图x进行两种1x1滤波变换，对结果进行转置相乘并进行归一化，获得特征图的注意图o；
步骤101.B将特征图x进行1x1滤波变换，并与步骤101.A获取的注意图o相乘，再进行一次1x1的滤波变换，获得自注意力特征图y；
该过程用公式表示如(1)：
y＝v(softmax(f(x)Tg(x))h(x)) (3)
其中，f和g是步骤101.A中对特征图x进行的两种1x1的滤波变换，softmax是步骤101.A中的归一化操作，h是步骤101.B中对特征图x进行的1x1滤波变换，v是步骤101.B中对特征图x和注意图o乘积进行的1x1滤波变换；
步骤102：制作分割网络训练集，具体为：根据标注的图片分割结果生成图片分割掩码，再进行数据增强以获取更多的训练集，将所有标注分割结果的胚胎组织切片图像与其对应的分割掩码和组织切片品质汇总成训练所需的数据集，即制作完成了分割网络训练集；
其中，标注的图片分割结果为胚胎图像的分割掩码图像；分割网络训练集，即
Figure BDA0002350091190000061
其中，xi是第i张原始胚胎图像，yi是对应的分割掩码图像，li是对应的胚胎组织品质标注，N是训练集大小；
训练分割模型所用到的胚胎细胞原始图像为有品质标注且分割标注的胚胎样本。分割模型训练过程中，我们随机抽取500张胚胎图片作为训练集，16张胚胎图片作为验证集，82张胚胎图片作为测试集。我们通过边缘检测的方式提取所有图像中胚胎细胞图像部分，并将图像大小固定在224x224，作为处理好的训练集。为了进一步扩大数据，我们采用三种方式，包括随机旋转90度、180度、270度，随机水平方向翻转，随机竖直方向翻转。使用labelme软件标注的胚胎图像，并生成图像对应的掩码图像，再由专业人士标注对应胚胎组织的品质等级。
步骤103：配置生成对抗网络网络训练所需参数，得到设置后的网络；
其中，网络训练所需参数包括：设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法及迭代次数；
其中，优化方法是Adam算法；设置后的网络包括设置后的U-net网络、设置后的判别器网络以及设置后的组织品质识别网络；
其中，θ1为设置的U-net网络及判别器网络的参数，θ2为设置的组织品质识别网络的参数；
步骤103所述的学习率初始化为2e-4，批处理大小设为32，表示单次迭代优化所处理的图像块数，权值初始化方式为xavier初始化方法，优化方法使用Adam算法，权值衰减系数为0.5。
步骤104：使用步骤102制作完成的分割网络训练集
Figure BDA0002350091190000071
训练步骤103设置后的组织品质识别网络，得到训练好的组织品质识别网络；
其中，训练好组织品质识别网络即获得组织品质识别网络的权重；
组织品质识别网络的损失可表示为：
Figure BDA0002350091190000072
其中，θ2是组织品质识别网络训练设置的参数集，组织品质识别网络的映射表示为f；
步骤105：固定步骤104中训练好的组织品质识别网络的权重，使用步骤102中制作完成的分割网络训练集
Figure BDA0002350091190000073
结合组织品质识别网络训练步骤103设置后的网络中的U-net网络以及判别器网络；
具体实施时，使用GPU完成步骤104和步骤105网络的训练过程，并利用cuDNN库来加速神经网络的训练过程，即实现有益效果3；
其中，组织品质识别网络识别得到的识别误差作为训练U-net网络的损失函数的一部分，判别器网络的损失函数可表示为(1)，U-net网络的损失函数可表示为(2)：
Figure BDA0002350091190000081
Figure BDA0002350091190000082
其中，θ1是U-net网络及判别器网络训练设置的参数集，组织品质识别网络的映射表示为f，U-net网络的映射表示为G，判别器网络的映射表示为D，识别误差
Figure BDA0002350091190000083
是训练后的组织品质识别网络的识别误差，||·||1表示L1范数，E.～D[f(·)]表示函数f(·)对·在分布D下的数学期望；
步骤106：使用步骤105训练得到的U-net网络将未标注分割结果的胚胎组织切片图像作为输入，生成对应分割掩码图像。
为说明本发明的效果，本实施例将在实验条件相同的情况下将我们的方法与其他几种主流方法进行对比。
1.测试环境
本实验的硬件测试条件为：
Figure BDA0002350091190000086
Core i7-7700CPU 3.60GHz，内存32G。GPU为Nvidia GeForce GTX 1080Ti GPU，显存11G，CUDA 8.0，开发工具为python3.5和OpenCV2.3.1。
2.评价方法
(1)使用dice系数来计算分割结果与目标图片间的相似度，进行分割结果进行评测，dice系数的定义如下：
Figure BDA0002350091190000084
其中，X和Y分别表示分割网络输出的mask图像和对应的真实mask图像。
(2)使用精确度、召回率和F1值来对分割模型结果进行评测，精确度、召回率和F1值的定义如下：
Figure BDA0002350091190000085
Figure BDA0002350091190000091
Figure BDA0002350091190000092
其中，TP表示正确地把正样本预测为正，FP表示错误地把负样本预测为正，FN表示错误地把正样本预测为负。
3.组织分割网络检测结果
Figure BDA0002350091190000093
Figure BDA0002350091190000094
通过上述的分割效果对比，可以发现我们的分割方法效果远强于传统的E-net和ICNet分割网络，相较于单一的U-net网络，dice系数有约2个百分点的提升，并且在精确度、召回率以及F1值上也有一定程度的提升。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于生成对抗网络的胚胎组织分割方法，依托于生成对抗网络；生成对抗网络包括U-net网络、判别器网络以及组织品质识别网络，具体通过三个网络之间的对抗训练来提升U-net网络的分割精度U-net网络又包括自注意力机制模块和残差网络模块；所述胚胎组织分割方法，其特征在于：包括以下步骤：
步骤101：构建U-net网络、判别器网络以及组织品质识别网络；
其中，构建的U-net网络包括深度下采样模块、自注意特征融合模块和深度上采样模块；
自注意特征融合模块包括残差网络模块和自注意力机制模块；
步骤102：制作分割网络训练集，具体为：根据标注的图片分割结果生成图片分割掩码，再进行数据增强以获取更多的训练集，将所有标注分割结果的胚胎组织切片图像与其对应的分割掩码和组织切片品质汇总成训练所需的数据集，即制作完成了分割网络训练集；
其中，标注的图片分割结果为胚胎图像的分割掩码图像；分割网络训练集，即
Figure FDA0002350091180000011
其中，xi是第i张原始胚胎图像，yi是对应的分割掩码图像，li是对应的胚胎组织品质标注，N是训练集大小；
步骤103：配置生成对抗网络的网络训练所需参数，得到设置后的网络；
其中，网络训练所需参数包括：设置学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法及迭代次数；
其中，优化方法是Adam算法；设置后的网络包括设置后的U-net网络、设置后的判别器网络以及设置后的组织品质识别网络；
其中，设置后的U-net网络参数及判别器网络，记为θ1；设置后的组织品质识别网络，记为θ2；
步骤104：使用步骤102制作完成的分割网络训练集
Figure FDA0002350091180000012
训练步骤103设置后的组织品质识别网络，得到训练好的组织品质识别网络；
其中，训练好组织品质识别网络即获得组织品质识别网络的权重；
步骤105：固定步骤104训练好的组织品质识别网络的权重，使用步骤102中制作完成的分割网络训练集
Figure FDA0002350091180000013
结合组织品质识别网络训练步骤103设置后的网络中的U-net网络以及判别器网络，得到训练好的U-net网络；
其中，组织品质识别网络识别得到的识别误差作为训练U-net网络的损失函数的一部分，判别器网络的损失函数可表示为(1)，U-net网络的损失函数可表示为(2)：
Figure FDA0002350091180000021
Figure FDA0002350091180000022
其中，θ1是U-net网络及判别器网络训练设置的参数集，组织品质识别网络的映射表示为f，U-net网络的映射表示为G，判别器网络的映射表示为D，识别误差
Figure FDA0002350091180000023
是训练后的组织品质识别网络的识别误差，||·||1表示L1范数，E·～D[f(·)]表示函数f(·)对·在分布D下的数学期望；
步骤106：使用步骤105训练好的U-net网络将未标注分割结果的胚胎组织切片图像作为输入，生成对应分割掩码图像。
2.根据权利要求1所述的一种基于生成对抗网络的胚胎组织分割方法，其特征在于：依托的生成对抗网络具体为：
U-net网络对胚胎组织切片图像进行组织分割掩码映射，判别器网络判别分割掩码结果和正式人工分割结果来提升U-net网络的分割效果；组织品质识别网络识别分割结果以及原始胚胎图像；
生成对抗网络中的分割网络考虑了网络中感受野大小与图像自相似性信息获取具有对应关系，为了在获取大感受野和计算量之间取得平衡，残差网络模块使用空洞卷积网络层作为其组成单元；
U-net网络的基础组成部分包括深度下采样模块和自注意特征融合模块；其中，深度下采样模块包括下采样层和残差网络模块；自注意特征融合模块，包括自注意力机制模块和残差网络模块；
其中，自注意力机制模块，通过对特征图中任意两像素点的之间的关系计算，获取特征图的全局信息，保留更多的细节信息。
3.根据权利要求2所述的一种基于生成对抗网络的胚胎组织分割方法，其特征在于：生成对抗网络获取的对应关系为：感受野的大小对应图像自相似性信息获取的难易程度。
4.根据权利要求1所述的一种基于生成对抗网络的胚胎组织分割方法，其特征在于：步骤101中的深度下采样模块包括步长为2的卷积网络和残差网络模块。
5.根据权利要求1所述的一种基于生成对抗网络的胚胎组织分割方法，其特征在于：步骤101中的深度上采样模块包括反卷积网络层。
6.根据权利要求1所述的一种基于生成对抗网络的胚胎组织分割方法，其特征在于：步骤101中的组织品质识别网络通过对胚胎品质识别，充分利用胚胎成长状态的信息，进一步提升U-net网络分割效果。
CN201911411515.XA 2019-12-31 2019-12-31 一种基于生成对抗网络的胚胎组织分割方法 Active CN111161272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911411515.XA CN111161272B (zh) 2019-12-31 2019-12-31 一种基于生成对抗网络的胚胎组织分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911411515.XA CN111161272B (zh) 2019-12-31 2019-12-31 一种基于生成对抗网络的胚胎组织分割方法

Publications (2)

Publication Number Publication Date
CN111161272A true CN111161272A (zh) 2020-05-15
CN111161272B CN111161272B (zh) 2022-02-08

Family

ID=70560313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911411515.XA Active CN111161272B (zh) 2019-12-31 2019-12-31 一种基于生成对抗网络的胚胎组织分割方法

Country Status (1)

Country Link
CN (1) CN111161272B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696027A (zh) * 2020-05-20 2020-09-22 电子科技大学 一种基于适应性注意力机制的多模态的图像风格迁移方法
CN112418229A (zh) * 2020-11-03 2021-02-26 上海交通大学 一种基于深度学习的无人船海上场景图像实时分割方法
CN112766313A (zh) * 2020-12-29 2021-05-07 厦门贝启科技有限公司 基于U-net结构的水晶体分割及定位方法、装置、设备和介质
CN112926697A (zh) * 2021-04-21 2021-06-08 北京科技大学 一种基于语义分割的磨粒图像分类方法及装置
CN116703837A (zh) * 2023-05-24 2023-09-05 北京大学第三医院（北京大学第三临床医学院） 一种基于mri图像的肩袖损伤智能识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN109166126A (zh) * 2018-08-13 2019-01-08 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
US20190139270A1 (en) * 2017-06-28 2019-05-09 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139270A1 (en) * 2017-06-28 2019-05-09 Deepmind Technologies Limited Generalizable medical image analysis using segmentation and classification neural networks
CN107945204A (zh) * 2017-10-27 2018-04-20 西安电子科技大学 一种基于生成对抗网络的像素级人像抠图方法
CN109166126A (zh) * 2018-08-13 2019-01-08 苏州比格威医疗科技有限公司 一种基于条件生成式对抗网络在icga图像上分割漆裂纹的方法
CN109801292A (zh) * 2018-12-11 2019-05-24 西南交通大学 一种基于生成对抗网络的沥青公路裂缝图像分割方法
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU HE，AND ETC: "A 3D Dual Path U-Net of Cancer Segmentation Based on MRI", 《2018 IEEE 3RD INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 *
梁礼明等: "自适应尺度信息的U型视网膜血管分割算法", 《光学学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696027A (zh) * 2020-05-20 2020-09-22 电子科技大学 一种基于适应性注意力机制的多模态的图像风格迁移方法
CN112418229A (zh) * 2020-11-03 2021-02-26 上海交通大学 一种基于深度学习的无人船海上场景图像实时分割方法
CN112766313A (zh) * 2020-12-29 2021-05-07 厦门贝启科技有限公司 基于U-net结构的水晶体分割及定位方法、装置、设备和介质
CN112766313B (zh) * 2020-12-29 2023-11-14 厦门贝启科技有限公司 基于U-net结构的水晶体分割及定位方法、装置、设备和介质
CN112926697A (zh) * 2021-04-21 2021-06-08 北京科技大学 一种基于语义分割的磨粒图像分类方法及装置
CN112926697B (zh) * 2021-04-21 2021-10-12 北京科技大学 一种基于语义分割的磨粒图像分类方法及装置
CN116703837A (zh) * 2023-05-24 2023-09-05 北京大学第三医院（北京大学第三临床医学院） 一种基于mri图像的肩袖损伤智能识别方法及装置
CN116703837B (zh) * 2023-05-24 2024-02-06 北京大学第三医院（北京大学第三临床医学院） 一种基于mri图像的肩袖损伤智能识别方法及装置

Also Published As

Publication number Publication date
CN111161272B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN111161272B (zh) 一种基于生成对抗网络的胚胎组织分割方法
CN108364288B (zh) 用于乳腺癌病理图像的分割方法和装置
Zanjani et al. Stain normalization of histopathology images using generative adversarial networks
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
CN108288506A (zh) 一种基于人工智能技术的癌症病理辅助诊断方法
CN109670510A (zh) 一种基于深度学习的胃镜活检病理数据筛查系统和方法
US11978536B2 (en) Synthetic IHC-stained digital sides generated using artificial neural networks
JP6791245B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN111028923B (zh) 数字病理图像染色归一化方法、电子装置及存储介质
WO2014038408A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110189293A (zh) 细胞图像处理方法、装置、存储介质及计算机设备
CN111476794B (zh) 一种基于unet的宫颈病理组织分割方法
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN113538422B (zh) 一种基于染色强度矩阵的病理图像自动分类方法
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN113657449A (zh) 一种含噪标注数据的中医舌象腐腻分类方法
CN114387264B (zh) 一种he染色病理图像数据扩充与增强的方法
Kromp et al. Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation
Kar et al. Benchmarking of deep learning algorithms for 3D instance segmentation of confocal image datasets
CN113706562A (zh) 图像分割方法、装置、系统及细胞分割方法
US20040014165A1 (en) System and automated and remote histological analysis and new drug assessment
CN110838094A (zh) 病理切片染色风格转换方法和电子设备
CN112508860B (zh) 一种免疫组化图像核阳性的人工智能判读方法及系统
CN114240883A (zh) 一种染色体图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant