CN110570431A - 一种基于改进的卷积神经网络的医学图像分割方法 - Google Patents

一种基于改进的卷积神经网络的医学图像分割方法 Download PDF

Info

Publication number
CN110570431A
CN110570431A CN201910879578.1A CN201910879578A CN110570431A CN 110570431 A CN110570431 A CN 110570431A CN 201910879578 A CN201910879578 A CN 201910879578A CN 110570431 A CN110570431 A CN 110570431A
Authority
CN
China
Prior art keywords
module
network
layer
channel
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910879578.1A
Other languages
English (en)
Inventor
吴成东
张子昂
迟剑宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN201910879578.1A priority Critical patent/CN110570431A/zh
Publication of CN110570431A publication Critical patent/CN110570431A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于改进的卷积神经网络的医学图像分割方法,属于图像处理领域。本发明构建了一种改进的卷积神经网络,分别在标准U‑Net网络原有框架的基础上设计了多通道融合模块、多通道稠密连接模块、下采样模块和上采样模块。在控制网络训练计算量的同时提升网络的深度,减少冗余计算;网络变深的同时通过改进网络内部结构从而避免梯度消失。实验结果是所训练的神经网络的输出预测图的分割DICE系数为98.57%,原网络分割出来的DICE系数为98.26%,体现了本发明的有效性。

Description

一种基于改进的卷积神经网络的医学图像分割方法
技术领域
本发明属于图像处理领域,涉及基于深度学习领域中卷积神经网络中U-Net网络模型和GoogLeNet中的“Inception”模块概念以及DenseNet中密集连接层的概念,具体涉及应用于医学CT影像中对肺部轮廓分割和眼球血管分割。
背景技术
图像分割在医学图像处理领域中发挥了十分重要作用,并引起了越来越多研究者的广泛关注。与传统的分割方法相比,基于深度学习的分割算法具有更高的分割精度以及高效的速率并得到了广泛的应用。
在医学图像分割方面,全卷积网络比其他深度网络模型具有更好的性能。在全卷积衍生的各种体系结构中,U-Net网络模型是最常用的全卷积网络模型之一,并在医学图像处理领域得到了广泛的应用。它是一种端到端,像素到像素的全卷积网络,并且网络中的分析路径和合成路径对应相同大小的特征图像层之间具有跳跃连接。
相对于原U-Net网络模型的架构而言,其本身仅仅包含若干个3×3的标准卷积层,本身网络不够深;其分析路径和合成路径中使用最大池化操作和上池化操作来改变特征图的尺寸,在此过程中可能会存在特征信息丢失,其本身还不足以获得比其他现有深度网络更好的性能。就目前来看,虽然直接在网络中添加更多的卷积层可以扩大参数空间并使得网络更深,但可能导致训练过程中梯度消失和冗余计算。
发明内容
针对当前U-Net网络不够深从而不能更好的满足医学图像分割的精度要求,同时加深网络可能导致的梯度消失或冗余计算等问题,本发明针对U-Net网络模型进行了改进,在避免冗余计算和梯度消失的情况下,使网络更深从而学习到更多更复杂的图像特征,提高图像的分割精度。一共考虑了两个步骤:第一,在控制网络训练计算量的同时提升网络的深度,减少冗余计算。本发明通过使GoogLeNet中的“Inception”模块多通道融合的概念,来构建出一个稀疏、高性能的计算网络架构。该模块的主要优点是在保持计算量不变的情况下,通过增加模块的深度和宽度来提高计算资源的利用率;第二,网络变深的同时通过改进网络内部结构从而避免梯度消失。通过查阅资料得出了神经网络并非一定要是一种递进式的结构,即使某些层被随机的丢弃,网络最终也会收敛到一个良好的状态。DenseNet正是基于这一原理作为一种具有密集连接的卷积神经网络被提出并广泛应用的。本发明使用的稠密连接体系结构具有多种优点:网络训练的参数简单、避免网络出现梯度消失和高效的特征利用率。这些特性使网络成为一个非常好的图像语义分割工具,因为其内部具有跳跃连接和多尺度监督的特点。
为了使U-Net网络更加适合于医学图像分割任务高精准度的要求,本发明提出了一种基于U-Net网络结构的卷积神经网络,并将多通道融合与稠密连接的概念相结合。其网络结构具体如下:
(1)基于原有的体系结构,将分析路径和合成路径应用于具有跳接连接的神经网络中,同时将特征图直接从下采样过程传输到对应的上采样过程中。
(2)为了使网络更深、更宽同时减少参数计算量,每个卷积层都被具有不同尺寸卷积核级联所构成的多通道融合模块所取代,同时每个模块中都使用残差连接。
(3)在网络的中间部分,采用稠密连接的概念使用密集连接各个卷积层使得网络更深同时避免消失梯度,在这些多通道融合稠密连接模块中,标准的卷积层被多通道融合模块所取代。
(4)整个网络中除了瓶颈层,所有卷积层后面都有一个批归一化层,以避免梯度消失。
本发明的技术方案是这样实现的:
一种基于改进的卷积神经网络的医学图像分割方法,包括以下步骤:A、基于标准U-Net网络原有框架来设计深度卷积神经网络,以标准的分析路径和合成路径同时包含跳跃连接的原理,设计出卷积神经网络的整体结构框架;
B、设计改进的多通道融合模块,在原有谷歌网络的多通道融合模块中加入残差连接和批处理归一化层,该模块将代替原网络中所有的标准3*3卷积层;
C、设计多通道稠密连接模块,将改进的多通道融合模块用密集连接的方式来组合,并在每个模块之间添加瓶颈层,该模块将用于网络中第4到6个模块层;
D、设计下采样模块和上采样模块,采用多通道融合的方式来实现池化层与卷积层的融合操作,下采样模块将应用于改进的卷积神经网络中的分析路径;采用多通道融合的方式来实现池化层与卷积层的融合操作,上采样模块将应用于改进的卷积神经网络中的合成路径;
E、将改进的卷积神经网络整体架构相接,包括分析路径和合成路径,分析路径包括改进的多通道融合模块、多通道稠密连接模块和下采样模块;合成路径包括改进的多通道融合模块、多通道稠密连接模块和上采样模块;在改进的卷积神经网络的中间,使用一个多通道稠密连接模块,该模块相对于其他模块包含了48个改进的多通道融合模块层;
F、准备要训练的数据集,包括训练集、验证集和测试集;在训练网络前首先对训练数据进行预处理操作,对图像进行去噪和增强;
G、将训练集输送进网络中,通过在验证集上的输出结果来调整学习率和学习率衰减系数,修改训练轮数和批次训练数,防止网络出现过拟合或欠拟合等现象,使网络最终收敛到最好的效果;
H、将测试集数据输入到网络中,得到输出图像数据,使用医学图像的分割标准来对输出的结果进行验证和评估,最终得出结果。
所述步骤A,基于原有的标准U-Net网络架构,网络模型分为分析路径(扩张路径)和合成路径(收缩路径),整体网络呈现一个U字型,在分析路径中图像逐渐收缩通道数增加,在合成路径中图像逐渐扩张通道数减少。
所述步骤B,基于谷歌网络的多通道融合原理搭建出改进的多通道融合模块,来用于网络中的分析路径和合成路径。该模块主要作用是通过各个分支中的不同大小卷积核对特征图进行卷积运算,之后将运算结果进行级联来实现图像特征的聚合,使网络更加的宽,能够学习到更多更复杂的特征。此外,残差连接使得网络学习更加容易,因为残差连接根据输入的特征图来直接学习图像特征,而不是学习图像的非相关特征。不同于标准的多通道融合模块结构,除了瓶颈层外,每个卷积层后面都跟着一个批处理归一化层。批处理归一化层可以避免梯度消失,同时保留更多的卷积层。
所述步骤C,在多通道融合稠密连接模块中,将步骤B中提出的改进的多通道融合模块嵌入到密集连接模块中。多通道融合稠密连接模块可以被看作为一种宽泛型的复合型卷积层,因为它具有不同卷积核大小的卷积集合。通过设置卷积的填充方式,将初始模块的输出与输入保持相同的大小。其主要目的是使该模块适用于密集连接的模块结构,从而使网络变深变宽的同时避免梯度消失或冗余计算。不同于标准的多通道融合模块,该模块里在每个卷积层之后也使用批处理归一化层。密集连接的主要目的是通过将前面所有的卷积层输出连接起来,作为下一卷积层的输入层,使网络可以直接通过前面所有的输出层作为训练资源,提高了每层卷积层的利用率,使得网络变得更深。同时设置增长率为24来使每一层训练的卷积核个数变小,减少了网络训练的参数量,提升网络训练速度。而在每个多通道融合层之间使用了瓶颈层来减少由于过多的通道数所导致计算量过大。因此,为了将多通道融合模块适用于密集连接的网络结构中去,对该模块进行了改进,去掉了多余的5×5或7×7大小的卷积核通道,仅保留1×1和3×3尺寸的卷积核通道,以提高密集连接块的性能。同时通过把一个3×3尺寸的卷积核等价替换成1×3和3×1尺寸两个串联的卷积核,以降低计算成本。
所述步骤D,除了下采样块中的卷积层和最大池化层以及上采样块中的反卷积层和上采样层外,这两个模块具有相同的镜像结构。与多通道融合模块的结构采用相同的多通道融合的理念,这两个模块都可以被视为具有三个分支的简化多通道融合模块。将不同大小的卷积核以并行的方式进行级联,并且设置其卷积步长都为2,同时为下采样模块额外设置一个下池化操作通道,相应的采样模块设置一个上池化操作通道,最后进行通道融合操作。
所述步骤E,整个网络是由分析路径和合成路径组成,其中分析路径包含了3个步骤B中的多通道模块和4个步骤C中的下采样模块以及一个步骤C中的多通道融合稠密连接模块;合成路径包含了3个步骤C中的多通道融合模块和4个步骤D中的上采样模块以及一个步骤D中的多通道融合稠密连接模块,在网络的中间层即两个路径之间的连接处单独设置了一个多通道融合稠密连接模块层。
所述步骤F,关于肺部分割数据的数据预处理方面,Kaggle数据库中提供的肺部分割数据包括267个二维CT影像和相同数量的标签。在本文实验中,75%的原图像和标签将用于训练集,10%将用于验证集,其余15%将用于测试集。每个原始灰度图像的大小为512×512像素,进行图像预处理后将调整为256×256再作为网络输入图像。
所述步骤G,将训练集输送进网络后,网络在循环迭代运算120轮后,通过在验证集上的输出结果来调整学习率和学习率衰减系数,修改训练轮数和批次训练数。在网络中每一层的激活函数方面选择ReLU函数。在损失函数方面,由于实际的分割任务是分割出二值图像,因此该模型将采用交叉熵函数。模型的参数将用He_normal方法进行参数初始化。网络优化算法采用Adam算法,初始学习率将设置为0.00001,beta_1为0.900,beta_2为0.999。
所述步骤H,得到训练好的神经网络后,将测试集输入到网络中,最后网络会生成相应的预测结果图,将预测的分割结果图与真值分割结果图相比较。为了定量分析该模型的性能,采用医学影像处理中常用到的DICE系数来评价指标来评价模型的性能。
本发明的有益效果:
本发明所提出的一种应用于医学图像分割的基于深度学习卷积神经网络,其内部结构包括:分析路径和合成路径以及中间层。其中各个路径内部包含了多通道融合模块,多通道融合稠密连接模块,下采样模块和上采样模块。多通道融合模块和多通道融合稠密连接模块作为本发明的技术核心。使用深度学习的方法来对网络进行训练是本发明的重要解决方法。
多通道融合主要作用是通过各个分支中的不同大小卷积核对特征图进行卷积运算,之后将运算结果进行级联来实现图像特征的聚合,使网络更加的宽,能够学习到更多更复杂的特征。此外,残差连接使得网络学习更加容易,因为残差连接根据输入的特征图来直接学习图像特征,而不是学习图像的非相关特征。不同于标准的多通道融合模块结构,除了瓶颈层外,每个卷积层后面都跟着一个批处理归一化层。批处理归一化层可以避免梯度消失,同时保留更多的卷积层。
多通道融合稠密模块是一种更加复杂化的卷积层密集连接方式。在该模块中的多通道融合模块不同于标准的多通道融合模块,在每个卷积层之后也使用批处理归一化层。密集连接的主要目的是通过将前面所有的卷积层输出连接起来,作为下一卷积层的输入层,使网络可以直接通过前面所有的输出层作为训练资源,提高了每层卷积层的利用率,使得网络变得更深。同时使用较小的增长率使每一层训练的卷积核个数变小,减少了网络训练的参数量,提升网络训练速度。而在每个多通道融合层之间使用了瓶颈层来减少由于过多的通道数所导致计算量过大。因此,为了将多通道融合模块适用于密集连接的网络结构中去,对该模块进行了改进,去掉了多余的大尺寸卷积核通道,仅保留小尺寸的卷积核通道,以提高密集连接块的性能。同时在该模块中通过把一个大尺寸的卷积核等价替换成两个串联的较小尺寸卷积核,以降低计算成本。
下采样模块和上采样模块都可以被视为具有三个分支的简化多通道融合模块。传统的网络采用步长为2的最大池化层和上采样层来缩小和放大特征图的尺寸,这样可能导致特征信息丢失,降低结果的准确性。因此,这两个模块的主要目的是克服这个问题并减少网络改变特征图尺寸时图像特征信息的丢失。
附图说明
图1为本发明改进的卷积神经网络方法示意图;
图2为本发明整体神经网络模型系统结构示意图;
图3为本发明改进的多通道融合模块结构示意图;
图4为本发明一个四层密集连接多通道融合模块的结构示意图;
图5为本发明下采样模块和上采样模块结构示意图;其中,(a)表示下采样模块,(b)表示上采样模块。
图6为本发明最终的输出分割图像结果示意图。其中,(a)表示正常状态下的肺部CT图片,(b)表示正常肺部的分割结果,(c)表示肺结节状态下的肺部CT图片,(d)表示肺结节肺部的分割结果,(e)表示肺癌状态下的肺部,(f)表示肺癌肺部的分割结果。
图中:1:卷积特征图;2:下采样模块;3:多通道融合模块;4:密集连接多通道融合模块;5:上采样模块;6:特征融合操作;7:跳跃连接;A1:多通道融合模块输出层;A2:多通道融合模块输入层;A3:1×1卷积层;A4:3×3卷积层;A5:批归一化层;A6:残差连接;B1:密集连接多通道融合模块输出层;B2:密集连接多通道融合模块输出层;B3:跳跃连接;B4:瓶颈层;B5:多通道融合模块层;C1:下采样模块输入层;C2:最大池化层;C3:步长为2的3×3卷积层;C4:1×1卷积层;C5:下采样模块输出层;D1:上采样模块输出层;D2:1×1反卷积层;D3:步长为2的3×3反卷积层;D4:上池化层;D5:上采样模块输入层。
具体实施方式
下面结合附图对本发明的具体实施作详细说明。
如图1所示,本发明公开了一种基于深度学习的卷积神经网络并应用于医学影像的分割任务。卷积神经网络的搭建方法包括:步骤A搭建整体网络架构;步骤B搭建多通道融合模块的框架;步骤C搭建密集连接多通道融合模块的框架;步骤D搭建下采样模块和上采样模块框架;步骤E将各个模块搭建整个网络框架中去。卷积神经网络的训练测试步骤包括:步骤F对训练集进行初始化与预处理操作;步骤G将训练集输入到网络中去,调整网络的超参数使网络得到最好的收敛效果;步骤H将测试集输入到网络中,得到的输出结果与真值结果进行比较以及评估。
下面针对每步骤进行详细介绍:
A、基于网络原有框架来设计深度卷积神经网络,以标准的分析路径和合成路径同时包含跳跃连接的原理,设计出卷积神经网络的整体结构框架。
B、设计改进的多通道融合模块框架,在原有模块中加入残差连接和批归一化层,该模块将代替原网络中所有的标准3*3卷积层;
C、设计多通道稠密连接模块框架,将改进的多通道融合模块用密集连接的方式来组合,并在每个模块之间添加瓶颈层,该模块将用于网络最中间的三个层;
D、设计下采样模块和上采样模块,采用多通道融合的方式来实现池化层与卷积层的融合操作,下采样模块将应用于网络中的分析路径;采用多通道融合的方式来实现上池化层与卷积层的融合操作,上采样模块将应用于网络中的合成路径;
E、将网络整体架构相接,包括分析路径和合成路径,分析路径包括多通道融合模块、多通道稠密连接模块和下采样模块。合成路径包括多通道模块、多通道稠密连接模块和上采样模块。在网络的中间,使用了一个多通道稠密连接模块,该模块相对于其他模块包含了更多的模块层;
F、准备要训练的数据集,训练集包含了267张肺部分割CT影像数据和专家标注的分割结果数据,验证集包含了60组数据,在训练网络前首先对训练数据进行预处理操作,对图像进行去噪和增强等操作;
G、将训练集输送进网络中,通过在验证集上的输出结果来调整学习率和学习率衰减系数,修改训练轮数等各种超参数,防止网络出现过拟合或欠拟合等现象,使网络最终收敛到最好的效果;
H、将测试集数据输入到网络中,得到输出图像数据,使用医学图像的分割标准来对输出的结果进行验证和评估,最终得出结果。
所述步骤A,基于原有的标准U-Net网络架构,网络模型分为分析路径(扩张路径)和合成路径(收缩路径),整体网络呈现一个U字型,在分析路径中图像逐渐收缩通道数增加,在合成路径中图像逐渐扩张通道数减少。
所述步骤B如图3所示,基于谷歌网络的多通道融合原理搭建出改进的多通道融合模块,来用于网络中的分析路径和合成路径。该模块是通过不通大小的卷积核如1×1卷积层A3和3×3卷积层A4各个分支中对特征图进行卷积运算,之后将运算结果进行级联来实现图像特征的聚合,使网络更加的宽,能够学习到更多更复杂的特征,同时中间加入批归一化层A5来防止网络出现过拟合现象。同时加入了残差连接A6来加速网络的训练。不同于标准的多通道融合模块结构,除了瓶颈层外,每个卷积层后面都跟着一个批处理归一化层。批处理归一化层可以避免梯度消失,同时保留更多的卷积层。
所述步骤C如图4所示,在多通道融合稠密连接模块中,将步骤B中提出的改进的多通道融合模块B5嵌入到密集连接模块中。通过设置卷积的填充方式,将初始模块的输出与输入保持相同的大小。该模块适用于密集连接的模块结构,从而使网络变深变宽的同时避免梯度消失或冗余计算。同时各个模块之间采用跳跃连接B3的方式进行连接。不同于标准的多通道融合模块,该模块里在每个卷积层之后使用瓶颈层B4。密集连接的主要目的是通过将前面所有的卷积层输出连接起来,作为下一卷积层的输入层,使网络可以直接通过前面所有的输出层作为训练资源,提高了每层卷积层的利用率,使得网络变得更深。同时使用较小的增长率使每一层训练的卷积核个数变小,减少了网络训练的参数量,提升网络训练速度。而在每个多通道融合层之间使用了瓶颈层来减少由于过多的通道数所导致计算量过大。因此,为了将多通道融合模块适用于密集连接的网络结构中去,对该模块进行了改进,去掉了多余的大尺寸卷积核通道,仅保留小尺寸的卷积核通道,以提高密集连接块的性能。同时在该模块中通过把一个大尺寸的卷积核等价替换成两个串联的较小尺寸卷积核,以降低计算成本。
所述步骤D如图5所示,除了下采样块中的卷积层和最大池化层C2以及上采样块中的反卷积层和上池化层D4外,这两个模块具有相同的镜像结构。与多通道融合模块的结构相似,这两个模块都可以被视为具有三个分支的简化多通道融合模块。将不同大小的卷积核如步长为2的3×3卷积层C3,1×1卷积层C4,1×1反卷积层D2和步长为2的3×3反卷积层D3;以并行的方式进行级联,并且设置其卷积步长都为2,同时为下采样模块额外设置一个下池化操作通道,相应的采样模块设置一个上池化操作通道,最后进行通道融合操作。
所述步骤E,整个网络是由分析路径和合成路径组成,其中分析路径包含了3个步骤B中的多通道模块和4个步骤C中的下采样模块以及一个步骤C中的多通道融合稠密连接模块;合成路径包含了3个步骤C中的多通道融合模块和4个步骤D中的上采样模块以及一个步骤D中的多通道融合稠密连接模块,在网络的中间层即两个路径之间的连接处单独设置了一个多通道融合稠密连接模块层。
所述步骤F,关于肺部分割数据的数据预处理方面,Kaggle数据库中提供的肺部分割数据包括267个二维CT影像和相同数量的标签。在本文实验中,75%的原图像和标签将用于训练集,10%将用于验证集,其余15%将用于测试集。每个原始灰度图像的大小为512×512像素,进行图像预处理后将调整为256×256再作为网络输入图像。在进行训练集训练前,首先对图像进行噪声去除操作,主要是使用中值滤波来去除图像上的椒盐噪声。
所述步骤G,将训练集输送进网络后,网络在循环迭代运算120轮后,通过在验证集上的输出结果来调整学习率和学习率衰减系数,修改训练轮数等各种超参数。在网络中每一层的激活函数方面选择ReLU函数。在损失函数方面,由于实际的分割任务是分割出二值图像,因此该模型将采用交叉熵函数。网络优化算法采用Adam算法,初始学习率将设置为0.00001,beta_1为0.900,beta_2为0.999。训练集和验证数据集的批处理大小为8。训练模型总共进行120个训练周期,每个周期进行300步。最终使网络最终收敛到最好的效果。
所述步骤H,得到训练好的神经网络后,将测试集输入到网络中,最后网络会生成相应的预测结果图,将预测的分割结果图与真值分割结果图相比较。如图6所示为输出的分割图像结果。为了定量分析该模型的性能,采用医学影像处理中常用到的DICE系数来评价指标来评价模型的性能。实验结果是所训练的神经网络的输出预测图的分割DICE系数为98.57%,原网络分割出来的DICE系数为98.26%,说明了本发明的有效性。
综上,一种应用于医学图像分割的基于深度学习卷积神经网络,本发明的实验结果表明,改进的神经网络模型确实使网络变得更深、更宽,改善了梯度传播,避免了梯度消失和冗余计算等问题,使得该神经网络模型在医学影像分割的方面的分割结果优于其他类型的分割方法。

Claims (9)

1.一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,包括以下步骤:
A、基于标准U-Net网络原有框架来设计深度卷积神经网络,以标准的分析路径和合成路径同时包含跳跃连接的原理,设计出卷积神经网络的整体结构框架;
B、设计改进的多通道融合模块,在原有谷歌网络的多通道融合模块中加入残差连接和批处理归一化层,该模块将代替原网络中所有的标准3*3卷积层;
C、设计多通道稠密连接模块,将改进的多通道融合模块用密集连接的方式来组合,并在每个模块之间添加瓶颈层,该模块将应用于网络中第4到6个模块层;
D、设计下采样模块和上采样模块,采用多通道融合的方式来实现池化层与卷积层的融合操作,下采样模块将应用于改进的卷积神经网络中的分析路径;采用多通道融合的方式来实现池化层与卷积层的融合操作,上采样模块将应用于改进的卷积神经网络中的合成路径;
E、将改进的卷积神经网络整体架构相接,包括分析路径和合成路径,分析路径包括改进的多通道融合模块、多通道稠密连接模块和下采样模块;合成路径包括改进的多通道融合模块、多通道稠密连接模块和上采样模块;在改进的卷积神经网络的中间,使用一个多通道稠密连接模块,该模块包含了48个改进的多通道融合模块层;
F、准备要训练的数据集,包括训练集、验证集和测试集;在训练网络前首先对训练数据进行预处理操作,对图像进行去噪和增强;
G、将训练集输送进网络中,通过在验证集上的输出结果来调整学习率和学习率衰减系数,修改训练轮数和批次训练数,防止网络出现过拟合或欠拟合等现象,使网络最终收敛到最好的效果;
H、将测试集数据输入到网络中,得到输出图像数据,使用医学图像的分割标准来对输出的结果进行验证和评估,最终得出结果。
2.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤A中,基于原有的标准U-Net网络架构,网络模型分为分析路径和合成路径,整体网络呈现一个U字型,在分析路径中图像逐渐收缩通道数增加,在合成路径中图像逐渐扩张通道数减少。
3.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤B中,基于谷歌网络的多通道融合原理搭建出改进的多通道融合模块,来用于网络中的分析路径和合成路径;该模块作用是通过各个分支中的不同大小卷积核对特征图进行卷积运算,之后将运算结果进行级联来实现图像特征的;其中,残差连接根据输入的特征图来直接学习图像特征;不同于标准的多通道融合模块结构,除了瓶颈层外,每个卷积层后面都跟着一个批处理归一化层,确保避免梯度消失,同时保留更多的卷积层。
4.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤C,在多通道融合稠密连接模块中,将步骤B中提出的改进的多通道融合模块嵌入到密集连接模块中;多通道融合稠密连接模块作为一种宽泛型的复合型卷积层,通过设置卷积的填充方式,将初始模块的输出与输入保持相同的大小;目的是使该模块适用于密集连接的模块结构,从而使网络变深变宽的同时避免梯度消失或冗余计算;不同于标准的多通道融合模块,该模块里在每个卷积层之后也使用批处理归一化层;密集连接的主要目的是通过将前面所有的卷积层输出连接起来,作为下一卷积层的输入层,使网络直接通过前面所有的输出层作为训练资源;同时设置增长率为24来使每一层训练的卷积核个数变小;而在每个多通道融合层之间使用了瓶颈层;对该模块去掉了多余的5×5或7×7大小的卷积核通道,仅保留1×1和3×3尺寸的卷积核通道;同时通过把一个3×3尺寸的卷积核等价替换成1×3和3×1尺寸两个串联的卷积核,以降低计算成本。
5.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤D,除了下采样模块中的卷积层和最大池化层以及上采样模块中的反卷积层和上采样层外,下采样模块和上采样模块的其他部分具有相同的镜像结构;与改进的多通道融合模块的结构采用相同的多通道融合的理念,下采样模块和上采样模块都被视为具有三个分支的简化多通道融合模块,将不同大小的卷积核以并行的方式进行级联,并且设置其卷积步长都为2,同时为下采样模块额外设置一个下池化操作通道,相应的上采样模块设置一个上池化操作通道,最后进行通道融合操作。
6.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤E,整个改进的卷积神经网络是由分析路径和合成路径组成,其中分析路径包含了3个步骤B中的改进的多通道融合模块和4个步骤D中的下采样模块以及一个步骤C中的多通道融合稠密连接模块;合成路径包含了3个步骤B中的改进的多通道融合模块和4个步骤D中的上采样模块以及一个步骤C中的多通道融合稠密连接模块,在网络的中间层即两个路径之间的连接处单独设置了一个多通道融合稠密连接模块层。
7.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤F,关于肺部分割数据的数据预处理方面,Kaggle数据库中提供的肺部分割数据包括267个二维CT影像和相同数量的标签,75%的原图像和标签将用于训练集,10%将用于验证集,其余15%将用于测试集;每个原始灰度图像的大小为512×512像素,进行图像预处理后将调整为256×256再作为网络输入图像。
8.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤G,将训练集输送进网络后,网络在循环迭代运算120轮后,通过在验证集上的输出结果来调整学习率和学习率衰减系数,修改训练轮数和批次训练数;在网络中每一层的激活函数方面选择ReLU函数;在损失函数采用交叉熵函数;参数将用He_normal方法进行参数初始化;优化算法采用Adam算法,初始学习率将设置为0.00001,beta_1为0.900,beta_2为0.999。
9.根据权利要求1所述的一种基于改进的卷积神经网络的医学图像分割方法,其特征在于,所述步骤H,得到训练好的卷积神经网络后,将测试集输入到卷积神经网络中,最后卷积神经网络会生成相应的预测结果图,将预测的分割结果图与真值分割结果图相比较;采用医学影像处理中的DICE系数来评价指标来评价模型的性能。
CN201910879578.1A 2019-09-18 2019-09-18 一种基于改进的卷积神经网络的医学图像分割方法 Pending CN110570431A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910879578.1A CN110570431A (zh) 2019-09-18 2019-09-18 一种基于改进的卷积神经网络的医学图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910879578.1A CN110570431A (zh) 2019-09-18 2019-09-18 一种基于改进的卷积神经网络的医学图像分割方法

Publications (1)

Publication Number Publication Date
CN110570431A true CN110570431A (zh) 2019-12-13

Family

ID=68780823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910879578.1A Pending CN110570431A (zh) 2019-09-18 2019-09-18 一种基于改进的卷积神经网络的医学图像分割方法

Country Status (1)

Country Link
CN (1) CN110570431A (zh)

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127484A (zh) * 2019-12-25 2020-05-08 北京小白世纪网络科技有限公司 基于深度学习神经网络的肝脏ct图像分割方法及装置
CN111127487A (zh) * 2019-12-27 2020-05-08 电子科技大学 一种实时多组织医学图像的分割方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111161273A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种基于深度学习的医学超声图像分割方法
CN111179275A (zh) * 2019-12-31 2020-05-19 电子科技大学 一种医学超声图像分割方法
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111223163A (zh) * 2020-01-07 2020-06-02 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111275571A (zh) * 2020-01-14 2020-06-12 河海大学 考虑微气象与用户模式的居民负荷概率预测深度学习方法
CN111325750A (zh) * 2020-02-25 2020-06-23 西安交通大学 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111583262A (zh) * 2020-04-23 2020-08-25 北京小白世纪网络科技有限公司 一种血管分割方法与系统
CN111667488A (zh) * 2020-04-20 2020-09-15 浙江工业大学 一种基于多角度U-Net的医学图像分割方法
CN111681233A (zh) * 2020-06-11 2020-09-18 北京小白世纪网络科技有限公司 基于深度神经网络的us-ct图像分割方法、系统及设备
CN111767964A (zh) * 2020-07-08 2020-10-13 福州大学 基于改进的DenseNet的多通道特征重标记图像分类方法
CN111951270A (zh) * 2020-06-29 2020-11-17 珠海格力电器股份有限公司 一种基于深度学习的单目标物体分割方法及检测设备
CN112330565A (zh) * 2020-11-12 2021-02-05 中国人民解放军战略支援部队信息工程大学 基于改善的U-net的低剂量CT投影域中图像去噪方法
CN112330687A (zh) * 2020-10-19 2021-02-05 肾泰网健康科技(南京)有限公司 基于ai技术肾脏病理图像分割模型、方法及系统
CN112348839A (zh) * 2020-10-27 2021-02-09 重庆大学 一种基于深度学习的图像分割方法及系统
CN112729562A (zh) * 2021-01-26 2021-04-30 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN112819801A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种改进U-Net的肺结节分割方法
CN112884788A (zh) * 2021-03-08 2021-06-01 中南大学 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN112950612A (zh) * 2021-03-18 2021-06-11 西安智诊智能科技有限公司 一种基于卷积神经网络的脑肿瘤图像分割方法
CN112967178A (zh) * 2021-03-08 2021-06-15 烟台艾睿光电科技有限公司 一种图像转换方法、装置、设备及存储介质
CN113011556A (zh) * 2021-02-20 2021-06-22 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN113205528A (zh) * 2021-04-02 2021-08-03 上海慧虎信息科技有限公司 医学影像分割模型训练方法、分割方法及装置
CN113240691A (zh) * 2021-06-10 2021-08-10 南京邮电大学 一种基于u型网络的医学图像分割方法
CN113300796A (zh) * 2021-07-26 2021-08-24 南京邮电大学 Noma系统中基于机器学习的频谱感知方法和装置
CN113298828A (zh) * 2021-06-11 2021-08-24 上海交通大学医学院附属第九人民医院 一种基于卷积神经网络的颌骨自动分割方法
CN113469333A (zh) * 2021-06-28 2021-10-01 上海寒武纪信息科技有限公司 执行神经网络模型的人工智能处理器、方法及相关产品
CN113628230A (zh) * 2021-08-10 2021-11-09 上海慧虎信息科技有限公司 心脏核磁共振图像中心室心肌分割模型训练方法、分割方法及装置
US20210390338A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Deep network lung texture recogniton method combined with multi-scale attention
CN113837193A (zh) * 2021-09-23 2021-12-24 中南大学 一种基于改进U-Net网络的锌浮选泡沫图像分割算法
CN114002931A (zh) * 2021-10-08 2022-02-01 清华大学深圳国际研究生院 基于深度学习加速计算的大视场全息投影方法及系统
CN114022486A (zh) * 2021-10-19 2022-02-08 西安工程大学 一种基于改进型U-net网络的医学图像分割方法
WO2022120739A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种基于卷积神经网络的医学图像分割方法及装置
WO2022133623A1 (en) * 2020-12-24 2022-06-30 Intel Corporation Accelerated scale-out performance of deep learning training workload with embedding tables
CN114723997A (zh) * 2022-04-29 2022-07-08 厦门大学 基于Tropical代数的复合型卷积运算方法、存储介质及电子设备
WO2022199143A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 一种基于u型网络的医学图像分割方法
CN115661144A (zh) * 2022-12-15 2023-01-31 湖南工商大学 基于可变形U-Net的自适应医学图像分割方法
US11580646B2 (en) 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127484A (zh) * 2019-12-25 2020-05-08 北京小白世纪网络科技有限公司 基于深度学习神经网络的肝脏ct图像分割方法及装置
CN111192245A (zh) * 2019-12-26 2020-05-22 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111192245B (zh) * 2019-12-26 2023-04-07 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111127487A (zh) * 2019-12-27 2020-05-08 电子科技大学 一种实时多组织医学图像的分割方法
CN111127487B (zh) * 2019-12-27 2022-04-19 电子科技大学 一种实时多组织医学图像的分割方法
CN111145170B (zh) * 2019-12-31 2022-04-22 电子科技大学 一种基于深度学习的医学影像分割方法
CN111179275A (zh) * 2019-12-31 2020-05-19 电子科技大学 一种医学超声图像分割方法
CN111179275B (zh) * 2019-12-31 2023-04-25 电子科技大学 一种医学超声图像分割方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111161273A (zh) * 2019-12-31 2020-05-15 电子科技大学 一种基于深度学习的医学超声图像分割方法
CN111223163B (zh) * 2020-01-07 2023-09-26 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111223163A (zh) * 2020-01-07 2020-06-02 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN111275571A (zh) * 2020-01-14 2020-06-12 河海大学 考虑微气象与用户模式的居民负荷概率预测深度学习方法
CN111325750B (zh) * 2020-02-25 2022-08-16 西安交通大学 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111325750A (zh) * 2020-02-25 2020-06-23 西安交通大学 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN111667488A (zh) * 2020-04-20 2020-09-15 浙江工业大学 一种基于多角度U-Net的医学图像分割方法
CN111667488B (zh) * 2020-04-20 2023-07-28 浙江工业大学 一种基于多角度U-Net的医学图像分割方法
CN111583262A (zh) * 2020-04-23 2020-08-25 北京小白世纪网络科技有限公司 一种血管分割方法与系统
CN111681233A (zh) * 2020-06-11 2020-09-18 北京小白世纪网络科技有限公司 基于深度神经网络的us-ct图像分割方法、系统及设备
US11551029B2 (en) * 2020-06-15 2023-01-10 Dalian University Of Technology Deep network lung texture recogniton method combined with multi-scale attention
US20210390338A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Deep network lung texture recogniton method combined with multi-scale attention
CN111951270A (zh) * 2020-06-29 2020-11-17 珠海格力电器股份有限公司 一种基于深度学习的单目标物体分割方法及检测设备
CN111767964A (zh) * 2020-07-08 2020-10-13 福州大学 基于改进的DenseNet的多通道特征重标记图像分类方法
CN112330687A (zh) * 2020-10-19 2021-02-05 肾泰网健康科技(南京)有限公司 基于ai技术肾脏病理图像分割模型、方法及系统
CN112330687B (zh) * 2020-10-19 2022-10-28 肾泰网健康科技(南京)有限公司 基于ai技术肾脏病理图像分割模型、方法及系统
CN112348839A (zh) * 2020-10-27 2021-02-09 重庆大学 一种基于深度学习的图像分割方法及系统
CN112348839B (zh) * 2020-10-27 2024-03-15 重庆大学 一种基于深度学习的图像分割方法及系统
CN112330565A (zh) * 2020-11-12 2021-02-05 中国人民解放军战略支援部队信息工程大学 基于改善的U-net的低剂量CT投影域中图像去噪方法
WO2022120739A1 (zh) * 2020-12-10 2022-06-16 深圳先进技术研究院 一种基于卷积神经网络的医学图像分割方法及装置
WO2022133623A1 (en) * 2020-12-24 2022-06-30 Intel Corporation Accelerated scale-out performance of deep learning training workload with embedding tables
CN112729562B (zh) * 2021-01-26 2022-08-26 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN112729562A (zh) * 2021-01-26 2021-04-30 河南工业大学 基于改进u型卷积神经网络的海冰分布探测方法
CN112819801A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种改进U-Net的肺结节分割方法
CN113011556B (zh) * 2021-02-20 2022-10-11 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN113011556A (zh) * 2021-02-20 2021-06-22 安徽大学 基于INC-DenseUnet网络识别模型建立方法
CN112884788A (zh) * 2021-03-08 2021-06-01 中南大学 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN112884788B (zh) * 2021-03-08 2022-05-10 中南大学 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN112967178A (zh) * 2021-03-08 2021-06-15 烟台艾睿光电科技有限公司 一种图像转换方法、装置、设备及存储介质
CN112950612A (zh) * 2021-03-18 2021-06-11 西安智诊智能科技有限公司 一种基于卷积神经网络的脑肿瘤图像分割方法
US11580646B2 (en) 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
WO2022199143A1 (zh) * 2021-03-26 2022-09-29 南京邮电大学 一种基于u型网络的医学图像分割方法
CN113205528B (zh) * 2021-04-02 2023-07-07 上海慧虎信息科技有限公司 医学影像分割模型训练方法、分割方法及装置
CN113205528A (zh) * 2021-04-02 2021-08-03 上海慧虎信息科技有限公司 医学影像分割模型训练方法、分割方法及装置
CN113240691A (zh) * 2021-06-10 2021-08-10 南京邮电大学 一种基于u型网络的医学图像分割方法
WO2022257408A1 (zh) * 2021-06-10 2022-12-15 南京邮电大学 一种基于u型网络的医学图像分割方法
CN113298828B (zh) * 2021-06-11 2023-09-22 上海交通大学医学院附属第九人民医院 一种基于卷积神经网络的颌骨自动分割方法
CN113298828A (zh) * 2021-06-11 2021-08-24 上海交通大学医学院附属第九人民医院 一种基于卷积神经网络的颌骨自动分割方法
CN113469333B (zh) * 2021-06-28 2023-11-10 上海寒武纪信息科技有限公司 执行神经网络模型的人工智能处理器、方法及相关产品
CN113469333A (zh) * 2021-06-28 2021-10-01 上海寒武纪信息科技有限公司 执行神经网络模型的人工智能处理器、方法及相关产品
CN113300796B (zh) * 2021-07-26 2021-10-08 南京邮电大学 Noma系统中基于机器学习的频谱感知方法和装置
CN113300796A (zh) * 2021-07-26 2021-08-24 南京邮电大学 Noma系统中基于机器学习的频谱感知方法和装置
CN113628230A (zh) * 2021-08-10 2021-11-09 上海慧虎信息科技有限公司 心脏核磁共振图像中心室心肌分割模型训练方法、分割方法及装置
CN113837193B (zh) * 2021-09-23 2023-09-01 中南大学 一种基于改进U-Net网络的锌浮选泡沫图像分割方法
CN113837193A (zh) * 2021-09-23 2021-12-24 中南大学 一种基于改进U-Net网络的锌浮选泡沫图像分割算法
CN114002931A (zh) * 2021-10-08 2022-02-01 清华大学深圳国际研究生院 基于深度学习加速计算的大视场全息投影方法及系统
CN114022486A (zh) * 2021-10-19 2022-02-08 西安工程大学 一种基于改进型U-net网络的医学图像分割方法
CN114723997A (zh) * 2022-04-29 2022-07-08 厦门大学 基于Tropical代数的复合型卷积运算方法、存储介质及电子设备
CN115661144A (zh) * 2022-12-15 2023-01-31 湖南工商大学 基于可变形U-Net的自适应医学图像分割方法

Similar Documents

Publication Publication Date Title
CN110570431A (zh) 一种基于改进的卷积神经网络的医学图像分割方法
CN111325751B (zh) 基于注意力卷积神经网络的ct图像分割系统
CN110189334B (zh) 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN108765296B (zh) 一种基于递归残差注意力网络的图像超分辨率重建方法
CN108804397B (zh) 一种基于少量目标字体的汉字字体转换生成的方法
CN108596841B (zh) 一种并行实现图像超分辨率及去模糊的方法
CN111145181B (zh) 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN109447976B (zh) 一种基于人工智能的医学图像分割方法及系统
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN113807355A (zh) 一种基于编解码结构的图像语义分割方法
CN113706545B (zh) 一种基于双分支神经判别降维的半监督图像分割方法
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN111861906A (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN114663440A (zh) 一种基于深度学习的眼底图像病灶分割方法
CN112348830B (zh) 基于改进3D U-Net的多器官分割方法
KR20220116270A (ko) 학습 처리 장치 및 방법
CN111080646A (zh) 一种基于宽激活卷积神经网络的改进图像分割方法
CN110942464A (zh) 一种融合2维和3维模型的pet图像分割方法
CN112288749A (zh) 一种基于深度迭代融合深度学习模型的颅骨图像分割方法
CN114708465B (zh) 图像分类方法、装置、电子设备与存储介质
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN115952424A (zh) 一种基于多视图结构的图卷积神经网络聚类方法
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割系统及方法
CN112085162A (zh) 基于神经网络的磁共振脑组织分割方法、装置、计算设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20231013