CN115994999A - 基于边界梯度注意力网络的杯状细胞语义分割方法及系统 - Google Patents

基于边界梯度注意力网络的杯状细胞语义分割方法及系统 Download PDF

Info

Publication number
CN115994999A
CN115994999A CN202211556621.9A CN202211556621A CN115994999A CN 115994999 A CN115994999 A CN 115994999A CN 202211556621 A CN202211556621 A CN 202211556621A CN 115994999 A CN115994999 A CN 115994999A
Authority
CN
China
Prior art keywords
semantic segmentation
goblet cell
image
layer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211556621.9A
Other languages
English (en)
Inventor
郑向伟
马铭骏
苏德健
李�真
李延青
张明哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202211556621.9A priority Critical patent/CN115994999A/zh
Publication of CN115994999A publication Critical patent/CN115994999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出了一种基于边界梯度注意力网络的杯状细胞语义分割方法及系统，该方法采用改进的基于边界梯度注意力U‑Net网络结构，通过改进现有深度神经网络模型，在编码层与解码层之间，引入三个边界梯度注意力机制，通过颜色梯度特征提取层用于学习杯状细胞周围的颜色特征变化，使得该语义分割网络在获取细胞形状信息的基础上，能有效捕获杯状细胞周围的颜色梯度特征，实现了共聚焦激光显微内镜图像中杯状细胞区域的精确分割。

Description

基于边界梯度注意力网络的杯状细胞语义分割方法及系统
技术领域
本发明属于医学图像语义分割技术领域，尤其涉及基于边界梯度注意力网络的杯状细胞语义分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
胃癌已经成为第三大癌症致死率病因以及第五大癌症新增病例，严重威胁着人类的生命健康。目前医学研究表明，早期发现及诊断是减少胃癌发病率、提高患者生存率的关键。目前普遍认为胃癌是由慢性胃炎、萎缩性胃炎、肠上皮化生、上皮内瘤变发展而来的。这一系列变化在胃癌发生学中称为Correa序列，而胃黏膜的肠上皮化生(GastricIntestinal Metaplasia，GIM)作为Correa序列中胃癌发生多步骤假设的中间步骤，已被视为癌前病变。胃黏膜肠上皮化生定义为杯状细胞的肠上皮替代泌酸或胃窦黏膜中的表面、小凹和/或腺上皮。因此，杯状细胞分布与所占面积能有效反应胃黏膜肠上皮化生的病变程度。
由于受到成相技术的限制，早期的临床医疗诊断难以实时获取到细胞结构的医学影像，胃黏膜肠上皮化生的疾病等级评估主要依赖于染色后组织结构的观察。此种方法缺乏细胞结构的微观数据信息，无法做到细胞级的量化分析。得益近十年数字影像的飞速发展，研究者成功将共聚焦显微镜技术成功应用到临床诊疗中，研制了共聚焦激光显微内镜(Confocal Laser Endomicroscopy，CLE)。共聚焦激光显微内镜作为一种新型技术，可实时观察放大1000倍细胞层次的状态信息，能够从微观层面反应病情程度。共聚焦激光显微内镜作为一种诊断工具，能反映出更为细致的病情变化，建立更为精确的病理学评估，使得从细胞领域诊断患者病情成为可能。近年来，共聚焦激光显微内镜已推动了诸多医学领域的发展。
在共聚焦激光显微内镜诊断肠化生病变严重程度领域，杯状细胞作为癌变前的重要特征在医生问诊、针对性治疗以及术后检查中有着重要的意义。先前的研究表明，通过共聚焦显微内镜判断杯状细胞的分布，有着较高的特异性，能较好地判断病情严重程度。临床上，杯状细胞的识别作为病情诊断的重要部分，受到广泛的关注。然而，共聚焦激光显微内镜相同区域内图像分辨率更高，所需观测范围更广，人工观察费时费力，诊断评估更为困难。同时，杯状细胞周围混杂着正常细胞区域，在共聚焦激光显微内镜上会形成与杯状细胞区域类似的颜色纹理结构。此外，细胞质泄露，纤毛分布也影响着杯状细胞区域的分割，导致传统的识别方法无法进行准确的杯状细胞区域的分割。
目前，深度神经网络已成为医疗领域最热门的研究方向之一，但是受到样本数量、图像复杂度的影响，深度神经网络在共聚焦激光显微内镜中杯状细胞语义分割任务中往往不能发挥出较好的效果，存在以下问题：其一，深度神经网络在样本较小的情况下无法关注到细胞周围颜色梯度变化的特征；其二，在训练样本较小的情况下深度神经网络很难做到共聚焦激光显微内镜下杯状细胞区域的准确语义分割。
发明内容
为了解决上述问题，本发明提出了一种基于边界梯度注意力网络的杯状细胞语义分割方法及系统，该方法利用U-Net语义分割网络模型实现了共聚焦激光显微内镜图像中杯状细胞区域的精确分割。通过改进现有深度神经网络模型，在编码层与解码层之间，引入三个边界梯度注意力机制，通过颜色梯度特征提取层学习杯状细胞周围的颜色特征变化，使得该语义分割网络在获取细胞形状信息的基础上，能有效捕获杯状细胞周围的颜色梯度特征，提高了细胞语义分割的精度。
为了实现上述目的，本发明主要包括以下几个方面：
第一方面，本发明实施例一提供了一种基于边界梯度注意力网络的杯状细胞语义分割方法。
一种基于边界梯度注意力网络的杯状细胞语义分割方法，包括：
采集共聚焦激光显微内镜图像；
对采集到的图像进行非病理学区域去除，提取图像中的病理学区域；
读取图像病理学区域的三通道色彩信息，并进行数据增强，得到增强后的颜色特征信息；
建立杯状细胞语义分割模型，采用交叉熵函数定义损失函数，对杯状细胞语义分割模型进行训练；
将增强后的颜色特征信息输入训练好的杯状细胞语义分割模型中，获得杯状细胞区域的语义分割结果；
其中，所述杯状细胞语义分割模型采用U-Net网络结构，包括依次连接的输入层、编码层、解码层、颜色梯度特征提取层以及输出层，颜色梯度特征提取层用于学习杯状细胞周围的颜色特征变化。
在一种可能的实施方式中，所述采集共聚焦激光显微内镜图像包括以下步骤：
采集共聚焦激光显微内镜临床医学影像；
对采集到的共聚焦激光显微内镜临床医学影像通过固定间隔帧采样的方式，截取共聚焦激光显微内镜图像。
所述输出层，用于将杯状细胞区域输出，根据像素概率信息输出杯状细胞区域。
在一种可能的实施方式中，所述提取图像中的病理学区域的方法为：读取共聚焦激光显微内镜图像信息与非病理学区域，采用基于规则的方式消除不含病理学信息的图像区域，通过去除非病理学区域提取共聚焦显微内镜图像的病理学区域。
在一种可能的实施方式中，通过Frankle-McCann Retinex算法对三通道信息进行数据增强。
在一种可能的实施方式中，所述的杯状细胞语义分割模型包括：输入层、四个编码层、四个解码层、三个基于边界梯度注意力引导层以及输出层，在编码层与解码层之间，引入三个边界梯度注意力机制，用于学习杯状细胞周围的颜色特征变化。
在一种可能的实施方式中，所述输入层，用于接收经过Frankle-McCann Retinex数据增强后的三通道信息；
所述编码层，用于提取杯状细胞图像的颜色特征，捕获图像的深层特征；
所述解码层，用于还原图像，将图像的特征信息转化为对应的像素概率信息；
所述边界梯度注意力机制，用于关注杯状细胞周围颜色变化信息，排除正常细胞等区域；
所述输出层，用于将杯状细胞区域输出，根据像素概率信息输出杯状细胞区域。
在一种可能的实施方式中，在编码阶段与解码阶段，模型提取输入图像的特征信息，通过编码结构获取图像深层特征信息，解码阶段将特征信息转化为概率图；
在解码阶段，模型将深层特征信息还原至原始区域概率特征信息，通过解码结构将特征信息转化为图像概率特征图。
在解码阶段，模型将深层特征信息还原至原始区域概率特征信息，通过解码结构将特征信息转化为图像概率特征图。
第二方面，本发明实施例提供一种基于边界梯度注意力网络的杯状细胞语义分割系统。
一种基于边界梯度注意力网络的杯状细胞语义分割系统，包括：
采集模块，采集共聚焦激光显微内镜图像；
提取模块，对采集到的图像进行非病理学区域去除，提取图像中的病理学区域；增强模块，读取图像病理学区域的三通道色彩信息，并进行数据增强，得到增强后的颜色特征信息；
训练模块，建立杯状细胞语义分割模型，采用交叉熵函数定义损失函数，对杯状细胞语义分割模型进行训练；
分割模块，将增强后的颜色特征信息输入训练好的杯状细胞语义分割模型中，获得杯状细胞区域的语义分割结果；
其中，所述杯状细胞语义分割模型采用U-Net网络结构，包括依次连接的输入层、编码层、解码层、颜色梯度特征提取层以及输出层，颜色梯度特征提取层用于学习杯状细胞周围的颜色特征变化。
第三方面，本发明实施例提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面中任一种可能的实施方式中所述的基于边界梯度注意力网络的杯状细胞语义分割方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面中任一种可能的实施方式中所述的基于边界梯度注意力网络的杯状细胞语义分割方法的步骤。
本发明的有益效果是：
本发明利用深度学习的方式实现了共聚焦显微内镜图像杯状细胞的语义分割，提出了基于边界梯度注意力U-Net模型，通过改进现有深度神经网络，在编码层与解码层之间，引入三个边界梯度注意力机制，实现模型对杯状细胞周围区域的关注，能有效注意到细胞周围的颜色特征信息，去除正常胃黏膜细胞区域，大大提高了杯状细胞区域分割的准确率，以获得准确的杯状细胞分布信息。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例基于边界梯度注意力U-Net的杯状细胞语义分割方法流程图。
图2是本发明实施例基于边界梯度注意力U-Net的杯状细胞语义分割模型结构图。
图3是本发明实施例的像素注意力机制的结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
实施例一
受到样本数量、图像复杂度的影响，深度神经网络在共聚焦激光显微内镜中杯状细胞语义分割任务中往往不能发挥出较好的效果，特别是在样本较小的情况下无法关注到细胞周围颜色梯度变化的特征，很难做到共聚焦激光显微内镜下杯状细胞区域的准确语义分割。
为此，本实施例通过改进现有深度神经网络模型，实现模型对杯状细胞周围区域的关注，并将改进后的模型应用于共聚焦激光显微内镜杯状细胞语义分割中，进而辅助医生诊断，以期降低人力成本，能够以获得准确的杯状细胞分布信息。
本实施例提供了一种基于边界梯度注意力网络的杯状细胞语义分割方法，包括以下步骤：
步骤1：采集共聚焦激光显微内镜图像；
步骤2：对采集到的图像进行非病理学区域去除，提取图像中的病理学区域；
步骤3：读取图像病理学区域的三通道色彩信息，并进行数据增强，得到增强后的颜色特征信息；
步骤4：建立杯状细胞语义分割模型，采用交叉熵函数定义损失函数，对杯状细胞语义分割模型进行训练；
步骤5：将增强后的颜色特征信息输入训练好的杯状细胞语义分割模型中，获得杯状细胞区域的语义分割结果；
所述基于边界梯度注意力网络采用改进的U-Net网络结构。
基于边界梯度注意力U-Net的杯状细胞语义分割模型包括依次连接的输入层、四个编码层、三个颜色梯度特征提取层、四个解码层以及输出层；在四个编码层与解码层之间，引入三个颜色梯度特征提取层，用于学习杯状细胞周围的颜色特征变化。
步骤1中，通过共聚焦激光显微内镜系统，采集共聚焦激光显微内镜图像。
在具体实施时，使用日本Pentax公司生产的EC.3870CIK共聚焦激光显微内镜系统。其构成与普通内镜系统基本类似，组成包括：共聚焦显微内镜、共聚焦显微内镜的触摸屏显示器、普通内镜影像显示器、影像处理机、光学单元和共聚焦控制单元等。
共聚焦的显微内镜的末端直径为12.8mm。其末端包含水气喷嘴、两个光导束、一个辅助孔道和一个2.8ram的工作孔道，其远端可上下弯转1300，左右弯转1200。操作手柄上的两个按钮可对成像平面的深度进行调节。
存储临床共聚焦数据，并构建临床共聚焦显微内镜临床数据集D，对于数据集D中的原始待识别样本视频，通过固定帧间隔截取实验试次z；
存储被试患者信息S与截取到的图像Sz；
在共聚焦显微内镜图像Sz上提取识别单元，标注识别单元中的病变细胞区域；
建立共聚焦激光显微内镜训练样本集R，存储标记信息以及共聚焦图像病理学区域，用于训练共聚焦激光显微内镜杯状细胞语义分割网络。
步骤2中，针对共聚焦激光显微内镜成像限制，采用基于规则的方式消除不含病理学信息的图像区域，具体操作为：
读取共聚焦激光显微内镜图像信息与非病理学区域，采用基于规则的方法，通过非病理学区域提取共聚焦显微内镜图像的病理学区域，公式如下所示：
Figure BDA0003983592460000091
其中，imagei为输出图像信息，Sz为共聚焦激光显微内镜图像，LZ为非病理学区域，x为像素对应的横坐标，y为对应像素的纵坐标，C为补集运算符。
步骤3中，共聚焦激光显微内镜图像病理学区域的数据增强，通过读取共聚焦显微内镜图像病理学区域的三通道色彩信息，每张重构的图像imagei h×w×c∈R使用Frankle-McCann Retinex算法进行数据增强，h为图像对应的长，w为图像对应的宽，c为红绿蓝三通道数，R为训练样本集。
具体计算步骤如下：
(a)提取原图像的绿色通道特征图，并将特征图的像素值由整数域转到对数域，减少后续算法的运算量；
(b)初始化一个与原图像S(x,y)同样大小的元素值均为t的矩阵，其中t是原图像输入特征图的均值；
(c)求目标点与两个比较点之间的最大距离S：
S＝2fix[log2min(m，n)-1]      (2)其中m对应为横坐标，n为对应纵坐标；fix为向上取整函数；
(d)计算路径上的像素点，公式如下：
Figure BDA0003983592460000101
Figure BDA0003983592460000102
其中，rn(x,y)为前一次迭代的结果，并通过计算路径像素点获取更新后的结果rn’(x,y)，然后再对两者做一个平均，最后得到输出结果rn+1(x,y)，△l是目标点在此路径上的亮度差；
(e)令S＝-2/S；
(f)重复c-e三个步骤n次直到|S|<1，每次重复选取不同的初始比较点；
(j)对目标进行线性拉伸，线性拉伸处理结果为：
Figure BDA0003983592460000103
其中，max为rn(x,y)中的最大值，min为rn(x,y)中的最小值；
(h)分别对红色分量与蓝色分量重复步骤a-j；
(i)将处理后的绿色分量、红色分量、蓝色分量进行特征拼接，形成增强后的三通道图像特征。
经过Frankle-McCann Retinex数据增强后的三通道信息作为图像特征，参与后续的步骤。
步骤4中，在具体实施时，针对处理杯状细胞特点构建用于语义分割的网络，如图2所示，在本模型中设计了1个输入层、4个编码层、4个解码层、3个同层传递的特征提取层以及1个输出层。输入层的作用是接收经过Frankle-McCann Retinex数据增强后的三通道信息。所述编码层的作用是提取杯状细胞图像的颜色特征，捕获图像的深层特征；解码层的作用是还原图像，将图像的特征信息转化为对应的像素概率信息；颜色梯度特征提取层是用于关注杯状细胞周围颜色变化信息，排除正常细胞等区域；输出层的作用是将杯状细胞区域输出，根据像素概率信息输出杯状细胞区域。
本实施例对基于边界梯度注意力U-Net的杯状细胞语义分割网络的各层功能进行设计：
(1)输入层(L1)：输入层L1输入是经过Frankle-McCann Retinex数据增强的特征向量l1，l1为三维矩阵W×H×3，其中W×H是医学图像的宽度与高度，3为经过Frankle-McCann Retinex数据增强的三维特征通道。l1经过一个卷积核为3*3、步长为3、输入通道为3、输出通道为64的卷积后得到特征向量l2，l2为三维特征向量W×H×64，64为特征通道数。
(2)编码层(L2)：该层的主要功能是对输入层传入的原始图像进行浅层上的提取。编码层L2输入为特征向量l2。l2依次经过一个卷积核为3*3、步长为1、输入通道为64、输出通道为128的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为128、输出通道为128的卷积；一个归一化函数；一个激活函数得到特征向量l3，l3为三维特征向量W×H×128。
(3)编码层(L3)：该层的主要功能是整合L2的新特征并实现捕获更深层结构的效果。编码层L3输入为特征向量l3。l3通过一个2倍随机下采样操作后依次经过一个卷积核为3*3、步长为1、输入通道为128、输出通道为256的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为256、输出通道为256的卷积；一个归一化函数；一个激活函数得到特征向量l4，l4为三维特征向量W/2×H/2×256。
(4)编码层(L4)：该层的主要功能是整合L3的特征图并实现捕获更深层结构的效果。编码层L3输入为特征向量l4。l4通过一个2倍随机下采样操作后依次经过一个卷积核为3*3、步长为1、输入通道为256、输出通道为512的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为512、输出通道为512的卷积；一个归一化函数；一个激活函后得到特征向量l5，l5为三维特征向量W/4×H/4×512。
(5)编码层(L5)：该层的主要功能是整合L4的特征图并实现捕获更深层结构的效果。编码层L4输入为特征向量l5。l5通过一个2倍随机下采样操作后依次经过一个卷积核为3*3、步长为1、输入通道为512、输出通道为1024的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为1024、输出通道为1024的卷积；一个归一化函数；一个激活函数得到特征向量l6；l6为三维特征向量W/8×W/8×1024。
(6)解码层(L6)：此层输入为特征向量l6，l6依次经过一个一个卷积核为3*3、步长为1、输入通道为1024、输出通道为1024的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为1024、输出通道为1024的卷积；一个归一化函数；一个激活函数后得到特征向量l7，l7为三维特征向量W/8×H/8×1024。
(7)颜色梯度特征提取层(L10)：如图3所示，L10层的作用为关注细胞周围的颜色梯度变化，排除部分非杯状细胞区域。L10的输入特征为特征向量l7与特征向量l5，其中l5分别通过一个卷积核为7*1、步长为1、输入通道为512、输出通道为1024的卷积的特征提取操作得到特征向量w5；与一个卷积核为1*7、步长为1、输入通道为512、输出通道为1024的卷积的特征提取操作得到特征向量h5，随后w5与h5通过加性注意力机制融合并将融合后的特征通过一个激活函数与一个归一化函数得到特征向量O1。特征向量l7则是通过一个卷积核为1*1、步长为1、输入通道为1024、输出通道为1024的卷积操作与上采样操作进行特征提取。提取到的特征使用加性注意力机制与特征向量O1进行融合，融合后的特征通过个卷积核为3*3、步长为1、输入通道为1024、输出通道为1的卷积；一个归一化函数；一个激活函数后得到特征向量O2。O2通过数据扩维后于特征向量O1进行乘性注意力机制融合后得到特征向量O3。O3为三维特征向量W/4×H/4×1024。其中上采样操作采用双线性插值法，上采样过程使用公式：
Figure BDA0003983592460000131
Figure BDA0003983592460000132
Figure BDA0003983592460000133
(8)解码层(L7)：解码层(L7)的作用是将深层特征还原为概率信息，此层的输入是特征向量O3与特征向量l7。特征向量l7通过上采样操作后于特征向量O3进行拼接并将拼接后的特征向量依次通过步长为1、输入通道为2048、输出通道为1024的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为1024、输出通道为512的卷积；一个归一化函数；一个激活函数后得到特征向量l8，l8为三维特征向量W/4×H/4×512。
(9)颜色梯度特征提取层(L11)：L11层的作用为关注细胞周围的颜色梯度变化，排除部分非杯状细胞区域。L11的输入特征为特征向量l4与特征向量l8，其中l4分别通过一个卷积核为7*1、步长为1、输入通道为256、输出通道为512的卷积的特征提取操作得到特征向量w6；与一个卷积核为1*7、步长为1、输入通道为256、输出通道为512的卷积的特征提取操作得到特征向量h6，随后w6与h6通过加性注意力机制融合并将融合后的特征通过一个激活函数与一个归一化函数得到特征向量O4。特征向量l8则是通过一个卷积核为1*1、步长为1、输入通道为512、输出通道为512的卷积操作与上采样操作进行特征提取。提取到的特征使用加性注意力机制与特征向量O4进行融合，融合后的特征通过个卷积核为3*3、步长为1、输入通道为512、输出通道为1的卷积；一个归一化函数；一个激活函数后得到特征向量O5。O5通过数据扩维后于特征向量O4进行乘性注意力机制融合后得到特征向量O6，O6为三维特征向量W/2×H/2×512。其中上采样操作采用双线性插值法，上采样过程使用公式：
Figure BDA0003983592460000141
Figure BDA0003983592460000142
Figure BDA0003983592460000143
(10)解码层(L8)：解码层(L8)的作用是将深层特征还原为概率信息，此层的输入是特征向量O6与特征向量l8。特征向量l8通过上采样操作后于特征向量O6进行拼接并将拼接后的特征向量依次通过步长为1、输入通道为1024、输出通道为512的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为512、输出通道为256的卷积；一个归一化函数；一个激活函数后得到特征向量l9，l9为三维特征向量W/2×H/2×256。
(11)颜色梯度特征提取层(L12)：L12层的作用为关注细胞周围的颜色梯度变化，排除部分非杯状细胞区域。L11的输入特征为特征向量l3与特征向量l9，其中l3分别通过一个卷积核为7*1、步长为1、输入通道为128、输出通道为256的卷积的特征提取操作得到特征向量w7；与一个卷积核为1*7、步长为1、输入通道为128、输出通道为256的卷积的特征提取操作得到特征向量h7，随后w7与h7通过加性注意力机制融合并将融合后的特征通过一个激活函数与一个归一化函数得到特征向量O7。特征向量l9则是通过一个卷积核为1*1、步长为1、输入通道为256、输出通道为256的卷积操作与上采样操作进行特征提取。提取到的特征使用加性注意力机制与特征向量O7进行融合，融合后的特征通过个卷积核为3*3、步长为1、输入通道为256、输出通道为1的卷积；一个归一化函数；一个激活函数后得到特征向量O8。O8通过数据扩维后于特征向量O7进行乘性注意力机制融合后得到特征向量O9，O9为三维特征向量W×H×256。其中上采样操作采用双线性插值法，上采样过程使用公式：
Figure BDA0003983592460000151
Figure BDA0003983592460000152
Figure BDA0003983592460000153
(12)解码层(L9)：解码层(L9)的作用是将深层特征还原为图像对应像素的概率信息，此层的输入是特征向量O9与特征向量l9。特征向量l7通过上采样操作后与特征向量O9进行拼接并将拼接后的特征向量依次通过步长为1、输入通道为512、输出通道为256的卷积；一个归一化函数；一个激活函数；一个卷积核为3*3、步长为1、输入通道为256、输出通道为128的卷积；一个归一化函数；一个激活函数后得到特征向量l10，l10为三维特征向量W×H×128。
(13)输出层(L13)：输出层(L13)的作用是实现最终的分类。此层的输入为特征向量l10。l10经过一个卷积核为3*3步长为1后输入通道为128输出通道为64，一个激活函数，一个归一化，以及一个卷积核为3*3步长为1后输入通道为64输出通道为2的操作后，输出最终的概率信息fet。fet为W×H×2的概率信息，其中2表示通道数，其中，第一层通道数代表对应像素为杯状细胞区域的概率，第二层特征通道代表对应像素为背景区域的概率。通过比较第一层通道的数值与第二层通道数值的大小，可划分对应像素类别。
模型中，输入层、编码层和解码层中的卷积的公式为：
Figure BDA0003983592460000161
式中，m为图像对应的横坐标，n为图像对应的纵坐标，i为卷积核的横坐标，j为卷积核的纵坐标，g为对应的卷积核，x为所得图像对应像素的横坐标，y为所的图像对应像素的纵坐标。
本实施例构建的损失函数定义如下：
Loss＝cross_entropy(p,t)                (17)
其中，p是模型的输出值，t为标记数据。
为了加快网络收敛的速度，上述网络各层的权重和偏差随机化为正态分布，均值为0，方差为1Ninput，其中Ninput是上层特征的个数。使用交叉熵函数定义损失函数。同时，在Pytorch中使用Adam优化器和梯度下降算法来调整连接权重和偏置。将最大迭代次数设置为1000，损失阈值设置为0.01。
本实施例采用共聚焦显微内镜系统捕获共聚焦显微内镜图像，通过基于规则的方式，消除非关注区域部分，使用Frankle-McCann Retinex数据增强是为了降低光照影响，最后进行基于边界梯度注意力U-Net的杯状细胞语义分割，基于边界梯度注意力U-Net能有效注意到细胞周围的颜色特征信息，去除正常胃黏膜细胞区域，大大提高了共聚焦显微内镜图像中杯状细胞语义分割的准确率。
实施例二
本发明实施例二提供了一种基于边界梯度注意力网络的杯状细胞语义分割系统。
一种基于边界梯度注意力网络的杯状细胞语义分割系统，包括：
采集模块，采集共聚焦激光显微内镜图像；
提取模块，对采集到的图像进行非病理学区域去除，提取图像中的病理学区域；
增强模块，读取图像病理学区域的三通道色彩信息，并进行数据增强，得到增强后的颜色特征信息；
训练模块，建立杯状细胞语义分割模型，采用交叉熵函数定义损失函数，对杯状细胞语义分割模型进行训练；
分割模块，将增强后的颜色特征信息输入训练好的杯状细胞语义分割模型中，获得杯状细胞区域的语义分割结果；
其中，基于边界梯度注意力网络为U-Net网络结构；所述杯状细胞语义分割模型包括依次连接的输入层、编码层、解码层、颜色梯度特征提取层以及输出层，颜色梯度特征提取层用于学习杯状细胞周围的颜色特征变化。
实施例三
本发明实施例三提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面中任一种可能的实施方式中所述的基于边界梯度注意力网络的杯状细胞语义分割方法的步骤。
实施例四
本发明实施例四提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面中任一种可能的实施方式中所述的基于边界梯度注意力网络的杯状细胞语义分割方法的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，包括：
采集共聚焦激光显微内镜图像；
对采集到的图像进行非病理学区域去除，提取图像中的病理学区域；
读取图像病理学区域的三通道色彩信息，并进行数据增强，得到增强后的颜色特征信息；
建立杯状细胞语义分割模型，采用交叉熵函数定义损失函数，对杯状细胞语义分割模型进行训练；
将增强后的颜色特征信息输入训练好的杯状细胞语义分割模型中，获得杯状细胞区域的语义分割结果；
其中，所述杯状细胞语义分割模型采用U-Net网络结构，包括依次连接的输入层、编码层、解码层、颜色梯度特征提取层以及输出层，颜色梯度特征提取层用于学习杯状细胞周围的颜色特征变化。
2.如权利要求1所述的一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，所述采集共聚焦激光显微内镜图像包括以下步骤：
采集共聚焦激光显微内镜临床医学影像；
对采集到的共聚焦激光显微内镜临床医学影像通过固定间隔帧采样的方式，截取共聚焦激光显微内镜图像。
3.如权利要求1所述的一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，所述提取图像中的病理学区域的方法为：读取共聚焦激光显微内镜图像信息与非病理学区域，采用基于规则的方式消除不含病理学信息的图像区域，通过去除非病理学区域提取共聚焦显微内镜图像的病理学区域。
4.如权利要求1所述的一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，通过Frankle-McCann Retinex算法对三通道信息进行数据增强。
5.如权利要求1所述的一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，所述的杯状细胞语义分割模型包括：输入层、四个编码层、四个解码层、三个基于边界梯度注意力引导层以及输出层，在编码层与解码层之间，引入三个边界梯度注意力机制，用于学习杯状细胞周围的颜色特征变化。
6.如权利要求1所述的一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，所述输入层，用于接收经过Frankle-McCann Retinex数据增强后的三通道信息；
所述编码层，用于提取杯状细胞图像的颜色特征，捕获图像的深层特征；
所述解码层，用于还原图像，将图像的特征信息转化为对应的像素概率信息；
所述边界梯度注意力机制，用于关注杯状细胞周围颜色变化信息，排除正常细胞等区域；
所述输出层，用于将杯状细胞区域输出，根据像素概率信息输出杯状细胞区域。
7.如权利要求1所述的一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，在编码阶段，模型提取输入图像的特征信息，通过编码结构获取图像深层特征信息，后续用于计算概率信息；
在解码阶段，模型将深层特征信息还原至原始区域概率特征信息，通过解码结构将特征信息转化为图像概率特征图。
8.一种基于边界梯度注意力网络的杯状细胞语义分割系统，其特征在于，包括：
采集模块，采集共聚焦激光显微内镜图像；
提取模块，对采集到的图像进行非病理学区域去除，提取图像中的病理学区域；
训练模块，建立杯状细胞语义分割模型，采用交叉熵函数定义损失函数，对杯状细胞语义分割模型进行训练；
增强模块，读取图像病理学区域的三通道色彩信息，并进行数据增强，得到增强后的颜色特征信息；
分割模块，将增强后的颜色特征信息输入训练好的杯状细胞语义分割模型中，获得杯状细胞区域的语义分割结果；
其中，所述杯状细胞语义分割模型采用U-Net网络结构，包括依次连接的输入层、编码层、解码层、颜色梯度特征提取层以及输出层，颜色梯度特征提取层用于学习杯状细胞周围的颜色特征变化。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的基于边界梯度注意力网络的杯状细胞语义分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的基于边界梯度注意力网络的杯状细胞语义分割方法的步骤。
CN202211556621.9A 2022-12-06 2022-12-06 基于边界梯度注意力网络的杯状细胞语义分割方法及系统 Pending CN115994999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211556621.9A CN115994999A (zh) 2022-12-06 2022-12-06 基于边界梯度注意力网络的杯状细胞语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211556621.9A CN115994999A (zh) 2022-12-06 2022-12-06 基于边界梯度注意力网络的杯状细胞语义分割方法及系统

Publications (1)

Publication Number Publication Date
CN115994999A true CN115994999A (zh) 2023-04-21

Family

ID=85994614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211556621.9A Pending CN115994999A (zh) 2022-12-06 2022-12-06 基于边界梯度注意力网络的杯状细胞语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN115994999A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197651A (zh) * 2023-07-24 2023-12-08 移动广播与信息服务产业创新研究院(武汉)有限公司 一种结合边缘检测与语义分割的田块提取方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197651A (zh) * 2023-07-24 2023-12-08 移动广播与信息服务产业创新研究院(武汉)有限公司 一种结合边缘检测与语义分割的田块提取方法及系统
CN117197651B (zh) * 2023-07-24 2024-03-29 移动广播与信息服务产业创新研究院(武汉)有限公司 一种结合边缘检测与语义分割的田块提取方法及系统

Similar Documents

Publication Publication Date Title
CN106934799B (zh) 胶囊内窥镜图像辅助阅片系统及方法
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
CN112396621B (zh) 基于深度学习的高分辨率显微内窥镜图像细胞核分割方法
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
CN113781489B (zh) 一种息肉影像语义分割方法及装置
CN110838100A (zh) 一种基于滑动窗口的结肠镜病理切片筛查与分割系统
CN115049666B (zh) 基于彩色小波协方差深度图模型的内镜虚拟活检装置
CN113781455B (zh) 宫颈细胞图像异常检测方法、装置、设备及介质
CN110974179A (zh) 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
CN114897094A (zh) 一种基于注意力双支路特征融合的食管早癌病灶分割方法
CN117274270A (zh) 基于人工智能的消化内镜实时辅助系统及方法
CN111489833A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN117012344B (zh) 一种4cmos相机采集的图像分析方法
CN114399465A (zh) 良恶性溃疡识别方法及系统
CN115994999A (zh) 基于边界梯度注意力网络的杯状细胞语义分割方法及系统
CN111862095A (zh) 根据内镜白光图像预测生成nbi图像的卷积神经网络模型及其构建方法和应用
CN109859159B (zh) 一种基于多模态分割网络的宫颈病变区域分割方法和装置
CN118397280A (zh) 基于人工智能的内镜下胃肠道图像分割识别系统及方法
Izadi et al. Whitenner-blind image denoising via noise whiteness priors
CN111754503B (zh) 基于两通道卷积神经网络的肠镜退镜超速占比监测方法
CN111798427B (zh) 基于迁移学习的胃肠道间质瘤中核分裂象检测系统
Arnold et al. Indistinct frame detection in colonoscopy videos
Long et al. A Deep Learning Method for Brain Tumor Classification Based on Image Gradient

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination