CN114445426A - 内窥镜图像中息肉区域的分割方法、装置及相关组件 - Google Patents

内窥镜图像中息肉区域的分割方法、装置及相关组件 Download PDF

Info

Publication number
CN114445426A
CN114445426A CN202210104305.1A CN202210104305A CN114445426A CN 114445426 A CN114445426 A CN 114445426A CN 202210104305 A CN202210104305 A CN 202210104305A CN 114445426 A CN114445426 A CN 114445426A
Authority
CN
China
Prior art keywords
feature map
information
primary
convolution
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210104305.1A
Other languages
English (en)
Other versions
CN114445426B (zh
Inventor
岳广辉
肖厚禄
韩婉婉
周天薇
李思莹
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210104305.1A priority Critical patent/CN114445426B/zh
Publication of CN114445426A publication Critical patent/CN114445426A/zh
Application granted granted Critical
Publication of CN114445426B publication Critical patent/CN114445426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种内窥镜图像中息肉区域的分割方法、装置及相关组件。该方法包括利用Res2Net对样本图像进行特征信息提取，得到不同层次的特征信息；利用TEM模块分别对各特征信息进行特征提取，得到相应的特征图；利用第一GEM模块、第二GEM模块聚合相应特征图，分别得到第一、第二高层特征图；利用第一FFSM模块、第二FFSM模块分别得到背景信息特征图、纹理信息特征图；将背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；利用损失函数对息肉分割模型进行监督和优化，得到优化后的息肉分割模型；利用息肉分割模型对目标图像进行分割，并输出分割结果。该方法对目标图像的分割具有较好的分割精确率。

Description

内窥镜图像中息肉区域的分割方法、装置及相关组件
技术领域
本发明涉及图像处理领域，尤其涉及一种内窥镜图像中息肉区域的分割方法、装置及相关组件。
背景技术
目前消化道类癌占类癌之绝大多数,Cheek报告3718例类癌,其中发生千消化道的有3684例,占9.1％。Godwin综合2837例类癌,也有2456例发生于消化道,占86.6％。曾吾淳综合报道日本1342例类癌,其中有928例发生于消化道,占69.2％。我国类癌报道也以消化道多。因此，通过筛查试验和切除肿瘤前病变(息肉)来预防消化道癌是非常重要的，并已成为全球公共卫生的优先事项。据统计，95％的消化道癌都是从息肉发展而来，息肉经过长期的刺激逐渐增大，最终导致消化道癌。在临床实践中，从内窥镜图像中分割息肉具有重要的意义。然而，精确的息肉分割是一项具有挑战性的任务，主要有两个原因：1、同一类型的息肉大小、颜色和纹理各不相同；2、息肉与周围粘膜的界限不清晰。
在各种各样的息肉分割方法中，传统的息肉分割方法依赖手工制作的特征，如颜色、纹理、形状、外观或这些特征的组合。但是这个方法不仅费时费力，而且准确率不高，对于一些高类内变化，低类间变化的息肉有心无力。
近年来，深度学习在图像处理、目标识别、机器翻译等领域取得突破性进展。医学领域也越来越重视深度学习的应用，如医学图像、电子病历、药物研发和基因组学等各个方面的任务中，深度学习也被应用于息肉的图像分割任务中，如PraNet利用反向注意力机制聚合多尺度特征，从而确定息肉粗略的分割图，即现有的分割模型对息肉的图像的分割的精确率较差。
发明内容
本发明的目的是提供一种内窥镜图像中息肉区域的分割方法、装置及相关组件，旨在解决现有的分割模型对息肉的图像的分割的精确率较差的问题。
为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种内窥镜图像中息肉区域的分割方法，其包括：
利用Res2Net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
利用TEM模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
另外，本发明要解决的技术问题是还在于提供一种基于内窥镜图像分析的息肉分割装置，其包括：
特征信息提取单元，用于利用Res2Net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
特征提取单元，用于利用TEM模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
信息聚合单元，用于利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
信息融合单元，用于利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
预测单元，用于将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
优化单元，用于利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
分割单元，用于利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的内窥镜图像中息肉区域的分割方法。
另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的内窥镜图像中息肉区域的分割方法。
本发明实施例公开了一种内窥镜图像中息肉区域的分割方法、装置及相关组件，其中，方法包括：利用Res2Net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；利用TEM模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；并利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
该方法先通过第一GEM模块、第二GEM模块聚合相应的特征图，得到具有较全面的全局信息的第一高层特征图、第二高层特征图，并将第一高层特征图、第二高层特征图作为第一FFSM模块、第二FFSM模块的输入，以达到利用第一FFSM模块、第二FFSM模块获得更加丰富的全局特征信息，从而使得到的最终预测图精确度高，即得到的息肉分割模型对目标图像的分割具有较好的分割精确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的内窥镜图像中息肉区域的分割方法的流程示意图；
图2为本发明实施例提供的内窥镜图像中息肉区域的分割方法的结构示意图；
图3为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第一GEM模块的结构示意图；
图4为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第二GEM模块的结构示意图；
图5为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第一FFSM模块的结构示意图；
图6为本发明实施例提供的内窥镜图像中息肉区域的分割方法的第二FFSM模块的结构示意图；
图7为本发明实施例提供的内窥镜图像中息肉区域的分割方法的EGEM模块的结构示意图；
图8为本发明实施例提供的内窥镜图像中息肉区域的分割方法的CBR模块的结构示意图；
图9为本发明实施例提供的基于内窥镜图像分析的息肉分割装置的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的内窥镜图像中息肉区域的分割方法的流程示意图；
如图1所示，该方法包括步骤S101～S107。
S101、利用Res2Net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
S102、利用TEM模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
S103、利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
S104、利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
S105、将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
S106、利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
S107、利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
在本实施例中，采用在ImageNet数据集上已训练好的Res2Net网络作为基础网络，并移除该网络的全连接层，保留前五层作为特征提取模块，针对一幅图像I∈R3×H×R，通过该Res2Net基础网络可以提取五层特征图。
结合图2，本申请首先利用预训练好的Res2Net网络对输入的样本图像进行特征信息提取，得到以下不同层次的特征信息：第一特征信息E1、第二特征信息E2、第三特征信息E3、第四特征信息E4、第五特征信息E5，记作
Figure BDA0003493372940000061
Figure BDA0003493372940000062
其中i∈{1，2，3，4，5}，其中，Ci＝{64，256，512，1024，2048}表示的是通道维度。
然后基于人类视觉中不同的感受野应该具备不同的离心率，且高层次的特征信息对性能提升有更大的帮助的条件下，本申请利用TEM模块分别对后四层的特征信息(Ei，i∈{2，3，4，5})提取其在不同感受野下的特征得到对应的特征图(Fi，i∈{2，3，4，5})，需要说明的是，本申请的TEM模块即纹理增强模块(Texture Enhanced Module)，用于捕捉细粒度的纹理和放大上下文线索，与标准感受野块结构相比，TEM模块多增加了一条空洞率更大的分支来扩大感受野，并进一步用两个不对称的卷积层代替了标准的卷积。
在解码阶段，经过TEM模块处理后的第一初级特征图F2、第二初级特征图F3和第三初级特征图F4、第四初级特征图F5中的特征信息分别通过第一GEM模块和第二GEM模块以将各层次的特征信息相互融合，得到两层具有较全面的全局特征信息图即第一高层特征图G1和第二高层特征图G2。
然后，将两个聚合得到的第一高层特征图G1和第二高层特征图G2同时作为第一FFSM模块和第二FFSM模块的输入，第一FFSM模块和第二FFSM模块旨在获得更加丰富的全局特征信息，其中，第一FFSM模块用于将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图K1，第二FFSM模块用于将所述第一高层特征图和第二高层特征图进行特征纹理信息融合，得到纹理信息特征图K2。
最后将背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；另外本申请还利用损失函数对所述息肉分割模型进行监督和优化，使优化后的息肉分割模型具有更好的分类性能，本申请生成的息肉分割模型对息肉目标图像具有较好的分割精确度。
具体一实施例中，所述步骤S103包括以下步骤：
S10、计算所述第二初级特征图和第三初级特征图的相似度，并将得到的相似度与所述第三初级特征图进行相乘，并经过softmax层进行激活，得到第一过渡特征图；
S11、将所述第一过渡特征图与所述第二初级特征图进行相乘，得到第二过渡特征图；
S12、将所述第三初级特征图经过上采样操作，并与所述第一过渡特征图中每一元素分别与1作差处理后的所述第一过渡特征图进行相乘，得到第三过渡特征图；
S13、将所述第二过渡特征图和第三过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第一高层特征图；
S14、计算所述第三初级特征图和第四初级特征图的相似度，并将得到的相似度与所述第四初级特征图进行相乘，并经过softmax层进行激活，得到第四过渡特征图；
S15、将所述第四过渡特征图与所述第三初级特征图进行相乘，得到第五过渡特征图；
S16、将所述第四初级特征图经过上采样操作，并与所述第四过渡特征图中每一元素分别与1作差处理后的所述第四过渡特征图进行相乘，得到第六过渡特征图；
S17、将所述第六过渡特征图和第五过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第二高层特征图。
在本实施例中，如图3所示，先计算第二初级特征图F3和第三初级特征图F4的相似度，在本实施例中，采用余弦相似度算法计算第二初级特征图F3和第三初级特征图F4的相似度，具体计算步骤如下：用第二初级特征图F3点乘第三初级特征图F4得到值A，然后对第二初级特征图F3的行方向求模得到值m1，对第三初级特征图F4的列方向求模得到值m2，并将值m1以及值m2点乘得到矩阵denom，相似度z＝A/denom，即每一元素对应位置进行除运算。
需要说明的是，如图3所示，将步骤S10的具体操作过程定义为第一FFSM模块中的SA模块，SA模块采用non-local思想，用于提取全局的信息，在将第二初级特征图F3和第三初级特征图F4输入SA模块后，输出第一过渡特征图H1，然后将第一过渡特征图H1与第二初级特征图F3进行相乘，得到第二过渡特征图J1；然后将所述第三初级特征图F4进行上采样操作，同时将第一过渡特征图H1中每一元素分别与1作差处理(即图3所示的1-H1)，将分别处理后的两者相乘，得到第三过渡特征图J2，最后将第二过渡特征图J1和第三过渡特征图J2进行相加、并经卷积核为3*3的卷积层输出第一高层特征图G1。
在本实施例中，第一GEM模块和第二GEM模块的结构相同，只是输出的特征图不同，导致输出的结果也不同，即将第三初级特征图F4和第四初级特征图F5分别输入第二GEM模块，得到如图4所示的第四过渡特征图H2、第五过渡特征图J3、第六过渡特征图J4，并最后输出第二高层特征图G2，需要说明的是，步骤S14也和步骤S10中同样利用余弦相似度算法计算第三初级特征图和第四初级特征图的相似度，故本实施例不再赘述。
另外，本实施例中输出第一高层特征图G1用下式表示：
G1＝Conv(F3*H1+F4(1-H1)，3*3)；
其中，Conv(a，3*3)表示输入为a与3*3的卷积核进行卷积运算得到的结果；
同理可知，本实施例中输出第二高层特征图G2用下式表示：
G2＝Conv(F4*H2+F5(1-H2)，3*3)；
其中，Conv(a，3*3)表示输入为a与3*3的卷积核进行卷积运算得到的结果。
具体一实施例中，所述步骤S104中“利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图”，包括以下步骤：
S20、将所述第一高层特征图依次输入两个3*3卷积层，得到第一卷积特征图；
S21、将所述第一卷积特征图与所述第一高层特征图进行相加，得到第一中间特征图；
S22、将所述第二高层特征图依次输入两个3*3卷积层，得到第二卷积特征图；
S23、将所述第二卷积特征图与所述第二高层特征图进行相加，得到第二中间特征图；
S24、将所述第二中间特征图依次输入全局最大池化层、以及sigmoid层，得到背景信息初级特征图；
S25、将所述背景信息初级特征图与所述第一中间特征图进行相乘，得到第三中间特征图；
S26、将所述第三中间特征图依次输入两个3*3卷积层，得到第三卷积特征图；
S27、将所述第三中间特征图和第三卷积特征图进行相乘，输出第四中间特征图；
S28、将所述第四中间特征图依次输入3*3卷积层、归一化层、ReLu层，得到背景信息特征图。
在本实施例中，为了提取更丰富的特征信息，本申请设计出FFSM模块，通过该模块可将高层特征图与低层特征图充分融合以得到更加丰富的特征信息，需要说明的是，本实施例中的高层特征图和低层特征图是相对的，即按照层次顺序，后一层特征图相对于前一层特征图是作为高层特征图的，而前一层特征图是作为底层特征图的。
如图5所示，可以将FFSM模块划分成A模块、B模块、C模块以及第三CBR模块，其中，A模块、B模块、C模块的结构相同，都包含2个相连的3*3卷积层以及一个特征相加操作(将经过2个3*3卷积层卷积的特征图与输入的特征图进行相加)。
对于第一FFSM模块(FFSM1)，用于提取高层特征图的背景信息，具体的，将第一高层特征图G1输入A模块中，A模块输出第一中间特征图M1，同时将第二高层特征图G2输入B模块中，B模块输出第二中间特征图M2，然后利用全局最大池化(GMP)提取高层特征图即第二中间特征图M2中的背景信息、以及经过sigmoid函数激活得到背景信息初级特征图T1，再将背景信息初级特征图T1与第一中间特征图M1相乘，并输入C模块中，C模块输出第四中间特征图U1。
如图7所示，在本实施例中，第三CBR模块包括依次相连的1个3*3卷积层、1个2维BatchNormlization层、1个ReLu层，具体的，将第四中间特征图U1输入第三CBR模块，得到背景信息特征图K1。
在本实施例中，所述A模块、B模块、C模块均可以用下式表示：
Out＝Conv(Conv(In，3*3)，3*3)+In；
其中，In表示输入的特征图，Out表示输出的特征图，Conv(In，3*3)表示输入In与3*3的卷积核进行卷积运算。
具体一实施例中，所述步骤S104中“利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图”，包括以下步骤：
S40、将所述第一高层特征图依次输入两个3*3卷积层，得到第四卷积特征图；
S41、将所述第四卷积特征图与所述第一高层特征图进行相加，得到第五中间特征图；
S42、将所述第二高层特征图依次输入两个3*3卷积层，得到第五卷积特征图；
S43、将所述第五卷积特征图与所述第二高层特征图进行相加，得到第六中间特征图；
S44、将所述第六中间特征图依次输入全局平均池化层、以及sigmoid层，得到纹理信息初级特征图；
S45、将所述纹理信息初级特征图与所述第五中间特征图进行相乘，得到第七中间特征图；
S46、将所述第七中间特征图依次输入两个3*3卷积层，得到第六卷积特征图；
S47、将所述第三中间特征图和第六卷积特征图进行相乘，输出第八中间特征图；
S48、将所述第八中间特征图依次输入3*3卷积层、归一化层、ReLu层，得到纹理信息特征图。
如图6所示，在本实施例中，第二FFSM模块(FFSM2)，用于提取高层特征图的特征纹理信息，具体的，将第一高层特征图G1输入A模块中，A模块输出第五中间特征图N1，同时将第二高层特征图G2输入B模块中，B模块输出第六中间特征图N2，然后利用全局平均池化(GAP)提取高层特征图即第六中间特征图N2中的纹理信息、以及经过sigmoid函数激活得到纹理信息初级特征图T2，再将纹理信息初级特征图T2与第五中间特征图N1相乘，并输入C模块中，C模块输出第八中间特征图U2，最后将第八中间特征图U2输入第三CBR模块，得到纹理信息特征图K2。
对于步骤S104中的第一FFSM模块(FFSM1)，可以用下式表示：
M1＝A(G1)；
M2＝B(G2)；
T1＝Sigmoid(GMP(M2))；
U1＝C(T1*M1)；
K1＝CBR(U1)；
其中，A(x)、B(x)、C(x)表示A模块、B模块、C模块分别对输入的x进行操作，GMP(x)表示对x进行全局最大池化操作，Sigmoid(x)表示对x进行激活函数Sigmoid操作，“*”表示特征相乘操作，第三CBR(U1)表示第三CBR模块对输入的x进行操作，需要说明的是，本申请公式中的x不是特指某一特征图，在不同的公式中，结合说明书附图以及具体实施例，代入相应的特征图。
同理，也可以用下式表示步骤S104中的第二FFSM模块(FFSM2)：
N1＝A(G1)；
N2＝B(G2)；
T2＝Sigmoid(GAP(N2))；
U2＝C(T2*N1)；
K2＝CBR(U2)；
其中，GAP(x)表示对x进行全局平均池化操作。
本申请最后将得到的背景信息特征图K1和纹理信息特征图K2进行相加、以及经过1*1卷积核的卷积层，输出最终预测图，以此构建得到息肉分割模型；
其中，可以用下式表示输出的最终预测图：
Predict＝Conv(K1+K2，1*1)；
其中Conv(x,1*1)表示x与1*1卷积核进行卷积操作。
具体一实施例中，为了进一步提高网络的性能，本发明引入如图8所示的EGEM模块，用于提取边缘信息，从而辅助网络对输入数据进行预测，即所述步骤S106之前包括以下步骤：
S50、将所述第一初级特征图与所述背景信息特征图进行相乘，得到第一衔接特征图；
S51、将所述第一衔接特征图依次输入2个第一CBR模块，得到第九卷积层，其中，所述第一CBR模块由依次相连的3*3卷积层、归一化层、ReLu层组成；
S52、对所述纹理信息特征图中每一元素分别与1作差处理，以对所述纹理信息特征图执行背景信息的转换，并将转换后的所述纹理信息特征图与所述第一初级特征图进行相乘，得到第二衔接特征图；
S53、将所述第二衔接特征图依次输入2个第二CBR模块，得到第十卷积层，其中，所述第二CBR模块由依次相连的3*3卷积层、归一化层、ReLu层组成；
S54、将所述第九卷积层和第十卷积层相加，并输入1*1卷积层进行卷积，输出边缘预测图。
需要说明的是，第一CBR模块、第二CBR模块、第三CBR模块的结构相同。
结合图7和8，在本实施例中，将第一初级特征图F2与背景信息特征图K1进行相乘，得到第一衔接特征图，然后将第一衔接特征图依次输入3*3卷积层、归一化层、ReLu层、3*3卷积层、归一化层、ReLu层，最后输出第九卷积层P1，同时，将纹理信息特征图K2中每一元素分别与1作差处理(如图8所示的1-K2)后，与第一初级特征图F2进行相乘，得到第二衔接特征图，将第二衔接特征图依次输入3*3卷积层、归一化层、ReLu层、3*3卷积层、归一化层、ReLu层，最后输出第十卷积层P2；再将九卷积层P1和第十卷积层P2相加，并将相加后的结果与卷积核为1*1的卷积层进行操作得到输出边缘预测图(如图1所示的Edge)，本申请的EGEM模块通过高层特征图指导网络学习目标区域的边缘结构信息，需要说明的是，九卷积层P1和第十卷积层P2相加之后再经过卷积核为1*1的卷积层，将输入通道数为64变为输出通道数为1。
具体一实施例中，所述步骤S106包括以下步骤：
S60、利用下式对所述最终预测图进行监督和优化：
Loss＝L(Dpre,Y)+L(Dedage,Y)；
L＝LBCE+LIoU；
其中，Dedge表示边缘预测图，Dpre表示最终预测图，Loss表示总损失，LBCE表示二进制交叉熵损失函数，LIoU表示IoU损失函数，Y表示样本图像对应的二值化真值图。
在本实施例中，为了更好的提高网络的性能，本申请采用深监督学习的方式训练模型，并利用边缘信息Dedge辅助预测输出结果Dpre，其中，在损失函数方面，本申请采用带权重的二值交叉熵损失函数与带权重的IoU损失函数之和约束网络训练。
本申请设计的息肉分割网络采用的数据划分方式为常用的随机划分，即训练集：测试集＝8：2，将batchsize设置为16，epoch设置为80，学习率设置为0.0001。
同时为了进一步减少实验误差，增加可靠性，本申请随机划分10次数据集训练得到10个网络模型。在测试阶段，将这10个网络模型输出结果的平均值作为最终的评估值；在此，采用dice similarity coefficient(Dice)，IoU of polyp(IoUp)，sensitivity(SE)和accuracy(ACC)4个常用的评估指标作为衡量网络性能的指标。Dice、IoUp、SE、ACC的值越大表示性能越好。
本申请采用Kvasir息肉数据集作为本申请的实验数据集，该数据集由1000张高分辨率白光图像组成，图像分辨率大小从332×482到1920×1072不等，为统一尺寸，本申请在训练和测试阶段将图片大小重置为352×352。
本申请提出的网络与息肉分割网络PraNet做对比，其中在Kvasir-SEG数据集上的测试结果如表1所示。
表1：
Dice IoUp SE ACC
Our 0.909 0.856 0.924 0.971
PraNet 0.897 0.841 0.917 0.967
从表1中得出，本申请的内窥镜图像中息肉区域的分割方法相较于现有的息肉分割网络PraNet，在dice similarity coefficient(Dice)，IoU of polyp(IoUp)，sensitivity(SE)和accuracy(ACC)4个常用的评估指标上，均表现最优，由此得出本申请的内窥镜图像中息肉区域的分割方法可以快速且有效对息肉图像进行自动分割，且分割后输出的分割结果准确，即对息肉图像的分割具有较好的分割精确率。
本发明实施例还提供一种基于内窥镜图像分析的息肉分割装置，该基于内窥镜图像分析的息肉分割装置用于执行前述内窥镜图像中息肉区域的分割方法的任一实施例。具体地，请参阅图9，图9是本发明实施例提供的基于内窥镜图像分析的息肉分割装置的示意性框图。
如图9所示，基于内窥镜图像分析的息肉分割装置500，包括：
特征信息提取单元501，用于利用Res2Net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
特征提取单元502，用于利用TEM模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
信息聚合单元503，用于利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
信息融合单元504，用于利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
预测单元505，用于将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
优化单元506，用于利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
分割单元507，用于利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
该装置可以快速且有效的对息肉图像进行自动分割，且分割后输出的分割结果准确，即对息肉图像的分割具有较好的分类精确率。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述基于内窥镜图像分析的息肉分割装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备1100是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备1100包括通过系统总线1101连接的处理器1102、存储器和网络接口1105，其中，存储器可以包括非易失性存储介质1103和内存储器1104。
该非易失性存储介质1103可存储操作系统11031和计算机程序11032。该计算机程序11032被执行时，可使得处理器1102执行内窥镜图像中息肉区域的分割方法。
该处理器1102用于提供计算和控制能力，支撑整个计算机设备1100的运行。
该内存储器1104为非易失性存储介质1103中的计算机程序11032的运行提供环境，该计算机程序11032被处理器1102执行时，可使得处理器1102执行内窥镜图像中息肉区域的分割方法。
该网络接口1105用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备1100的限定，具体的计算机设备1100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器1102可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器1102还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的内窥镜图像中息肉区域的分割方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种内窥镜图像中息肉区域的分割方法，其特征在于，包括：
利用Res2Net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
利用TEM模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
2.根据权利要求1所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图，包括：
计算所述第二初级特征图和第三初级特征图的相似度，并将得到的相似度与所述第三初级特征图进行相乘，并经过softmax层进行激活，得到第一过渡特征图；
将所述第一过渡特征图与所述第二初级特征图进行相乘，得到第二过渡特征图；
将所述第三初级特征图经过上采样操作，并与所述第一过渡特征图中每一元素分别与1作差处理后的所述第一过渡特征图进行相乘，得到第三过渡特征图；
将所述第二过渡特征图和第三过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第一高层特征图；
计算所述第三初级特征图和第四初级特征图的相似度，并将得到的相似度与所述第四初级特征图进行相乘，并经过softmax层进行激活，得到第四过渡特征图；
将所述第四过渡特征图与所述第三初级特征图进行相乘，得到第五过渡特征图；
将所述第四初级特征图经过上采样操作，并与所述第四过渡特征图中每一元素分别与1作差处理后的所述第四过渡特征图进行相乘，得到第六过渡特征图；
将所述第六过渡特征图和第五过渡特征图进行相加，并经过3*3卷积层进行卷积，得到第二高层特征图。
3.根据权利要求1所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，包括：
将所述第一高层特征图依次输入两个3*3卷积层，得到第一卷积特征图；
将所述第一卷积特征图与所述第一高层特征图进行相加，得到第一中间特征图；
将所述第二高层特征图依次输入两个3*3卷积层，得到第二卷积特征图；
将所述第二卷积特征图与所述第二高层特征图进行相加，得到第二中间特征图；
将所述第二中间特征图依次输入全局最大池化层、以及sigmoid层，得到背景信息初级特征图；
将所述背景信息初级特征图与所述第一中间特征图进行相乘，得到第三中间特征图；
将所述第三中间特征图依次输入两个3*3卷积层，得到第三卷积特征图；
将所述第三中间特征图和第三卷积特征图进行相乘，输出第四中间特征图；
将所述第四中间特征图依次输入3*3卷积层、归一化层、ReLu层，得到背景信息特征图。
4.根据权利要求3所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图，包括：
将所述第一高层特征图依次输入两个3*3卷积层，得到第四卷积特征图；
将所述第四卷积特征图与所述第一高层特征图进行相加，得到第五中间特征图；
将所述第二高层特征图依次输入两个3*3卷积层，得到第五卷积特征图；
将所述第五卷积特征图与所述第二高层特征图进行相加，得到第六中间特征图；
将所述第六中间特征图依次输入全局平均池化层、以及sigmoid层，得到纹理信息初级特征图；
将所述纹理信息初级特征图与所述第五中间特征图进行相乘，得到第七中间特征图；
将所述第七中间特征图依次输入两个3*3卷积层，得到第六卷积特征图；
将所述第三中间特征图和第六卷积特征图进行相乘，输出第八中间特征图；
将所述第八中间特征图依次输入3*3卷积层、归一化层、ReLu层，得到纹理信息特征图。
5.根据权利要求1～4任一项所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用损失函数对所述息肉分割模型进行监督和优化之前，包括：
将所述第一初级特征图与所述背景信息特征图进行相乘，得到第一衔接特征图；
将所述第一衔接特征图依次输入2个第一CBR模块，得到第九卷积层，其中，所述第一CBR模块由依次相连的3*3卷积层、归一化层、ReLu层组成；
对所述纹理信息特征图中每一元素分别与1作差处理，以对所述纹理信息特征图执行背景信息的转换，并将转换后的所述纹理信息特征图与所述第一初级特征图进行相乘，得到第二衔接特征图；
将所述第二衔接特征图依次输入2个第二CBR模块，得到第十卷积层，其中，所述第二CBR模块由依次相连的3*3卷积层、归一化层、ReLu层组成；
将所述第九卷积层和第十卷积层相加，并输入1*1卷积层进行卷积，输出边缘预测图。
6.根据权利要求5所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述利用损失函数对所述息肉分割模型进行监督和优化，包括：
利用下式对所述最终预测图进行监督和优化：
Loss＝L(Dpre,Y)+L(Dedage,Y)；
L＝LBCE+LIoU；
其中，Dedge表示边缘预测图，Dpre表示最终预测图，Loss表示总损失，LBCE表示二进制交叉熵损失函数，LIoU表示IoU损失函数，Y表示样本图像对应的二值化真值图。
7.根据权利要求2所述的内窥镜图像中息肉区域的分割方法，其特征在于，所述计算所述第二初级特征图和第三初级特征图的相似度，包括：
利用余弦相似度算法计算所述第二初级特征图和第三初级特征图的相似度；
所述计算所述第三初级特征图和第四初级特征图的相似度，包括：
利用余弦相似度算法计算所述第三初级特征图和第四初级特征图的相似度。
8.一种基于内窥镜图像分析的息肉分割装置，其特征在于，包括：
特征信息提取单元，用于利用Res2Net对样本图像进行特征信息提取，依次得到层次从低到高的特征信息：第一特征信息、第二特征信息、第三特征信息、第四特征信息、第五特征信息；
特征提取单元，用于利用TEM模块分别对所述第二特征信息、第三特征信息、第四特征信息、第五特征信息进行特征提取，得到以下相应的特征图：第一初级特征图、第二初级特征图、第三初级特征图、第四初级特征图；
信息聚合单元，用于利用第一GEM模块聚合所述第二初级特征图和第三初级特征图，得到第一高层特征图，并利用第二GEM模块聚合所述第三初级特征图和第四初级特征图，得到第二高层特征图；
信息融合单元，用于利用第一FFSM模块将所述第一高层特征图和第二高层特征图进行背景信息融合，得到背景信息特征图，并利用第二FFSM模块将所述第一高层特征图和第二高层特征图进行纹理信息融合，得到纹理信息特征图；
预测单元，用于将所述背景信息特征图与纹理信息特征图进行相加以及卷积操作，输出最终预测图，以此构建得到息肉分割模型；
优化单元，用于利用损失函数对所述息肉分割模型进行监督和优化，得到优化后的息肉分割模型；
分割单元，用于利用所述息肉分割模型对目标图像进行分割，并输出分割结果。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的内窥镜图像中息肉区域的分割方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的内窥镜图像中息肉区域的分割方法。
CN202210104305.1A 2022-01-28 2022-01-28 内窥镜图像中息肉区域的分割方法、装置及相关组件 Active CN114445426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210104305.1A CN114445426B (zh) 2022-01-28 2022-01-28 内窥镜图像中息肉区域的分割方法、装置及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210104305.1A CN114445426B (zh) 2022-01-28 2022-01-28 内窥镜图像中息肉区域的分割方法、装置及相关组件

Publications (2)

Publication Number Publication Date
CN114445426A true CN114445426A (zh) 2022-05-06
CN114445426B CN114445426B (zh) 2022-08-26

Family

ID=81370480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210104305.1A Active CN114445426B (zh) 2022-01-28 2022-01-28 内窥镜图像中息肉区域的分割方法、装置及相关组件

Country Status (1)

Country Link
CN (1) CN114445426B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926423A (zh) * 2022-05-12 2022-08-19 深圳大学 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061046A1 (en) * 2016-08-31 2018-03-01 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN112651981A (zh) * 2020-12-23 2021-04-13 浙江工业大学 一种显著边缘特征提取模块引导网络的肠道疾病分割方法
WO2021120695A1 (zh) * 2019-12-20 2021-06-24 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN113076902A (zh) * 2021-04-12 2021-07-06 华南理工大学 一种多任务融合的人物细粒度分割系统和方法
US20210256290A1 (en) * 2018-06-15 2021-08-19 Nippon Telegraph And Telephone Corporation Image feature learning device, image feature learning method, image feature extraction device, image feature extraction method, and program
WO2021212693A1 (zh) * 2020-04-23 2021-10-28 北京华科创智健康科技股份有限公司 一种融合Gabor小波的多尺度局部水平集超声图像分割方法
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置
US20210390338A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Deep network lung texture recogniton method combined with multi-scale attention
CN113920099A (zh) * 2021-10-15 2022-01-11 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061046A1 (en) * 2016-08-31 2018-03-01 International Business Machines Corporation Skin lesion segmentation using deep convolution networks guided by local unsupervised learning
US20210256290A1 (en) * 2018-06-15 2021-08-19 Nippon Telegraph And Telephone Corporation Image feature learning device, image feature learning method, image feature extraction device, image feature extraction method, and program
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
WO2021120695A1 (zh) * 2019-12-20 2021-06-24 北京迈格威科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111462126A (zh) * 2020-04-08 2020-07-28 武汉大学 一种基于边缘增强的语义图像分割方法及系统
WO2021212693A1 (zh) * 2020-04-23 2021-10-28 北京华科创智健康科技股份有限公司 一种融合Gabor小波的多尺度局部水平集超声图像分割方法
US20210390338A1 (en) * 2020-06-15 2021-12-16 Dalian University Of Technology Deep network lung texture recogniton method combined with multi-scale attention
CN112330542A (zh) * 2020-11-18 2021-02-05 重庆邮电大学 基于crcsan网络的图像重建系统及方法
CN112651981A (zh) * 2020-12-23 2021-04-13 浙江工业大学 一种显著边缘特征提取模块引导网络的肠道疾病分割方法
CN113076902A (zh) * 2021-04-12 2021-07-06 华南理工大学 一种多任务融合的人物细粒度分割系统和方法
CN113706542A (zh) * 2021-07-14 2021-11-26 温州医科大学附属眼视光医院 基于卷积神经网络及混合损失函数的眼球分割方法及装置
CN113920099A (zh) * 2021-10-15 2022-01-11 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
T. EFTESTØL, F. MÅLØY, K. ENGAN, L. P. KOTU, L. WOIE AND S. ØRN: "A texture-based probability mapping for localisation of clinically important cardiac segments in the myocardium in cardiac magnetic resonance images from myocardial infarction patients", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
胡玉进等: "基于BiSeNet的小儿超声心动图左心分割方法", 《中国生物医学工程学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926423A (zh) * 2022-05-12 2022-08-19 深圳大学 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质
CN114926423B (zh) * 2022-05-12 2023-02-10 深圳大学 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114445426B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN112489061B (zh) 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
Zhou et al. Cross-level feature aggregation network for polyp segmentation
CN111681252B (zh) 一种基于多路径注意力融合的医学图像自动分割方法
Zhao et al. Automatic polyp segmentation via multi-scale subtraction network
Li et al. Multitask semantic boundary awareness network for remote sensing image segmentation
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN115457021A (zh) 基于联合注意卷积神经网络的皮肤病图像分割方法及系统
Chen et al. PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation
Chen et al. Dr-tanet: Dynamic receptive temporal attention network for street scene change detection
CN112669248B (zh) 基于cnn与拉普拉斯金字塔的高光谱与全色图像融合方法
CN111373439A (zh) 使用cnn进行图像分割的方法
CN112529930A (zh) 一种基于聚焦融合的上下文学习医学图像分割方法
CN114445426B (zh) 内窥镜图像中息肉区域的分割方法、装置及相关组件
CN115984555A (zh) 一种基于深度自编码器构图的冠状动脉狭窄识别方法
CN117934824A (zh) 一种超声影像的目标区域分割方法、系统及电子设备
CN113208641B (zh) 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
Shu et al. CSCA U-Net: A channel and space compound attention CNN for medical image segmentation
CN114627137A (zh) 基于轻量化网络模型和反向注意力模块的息肉分割方法
Wei et al. TANet: Triple Attention Network for medical image segmentation
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Zeeshan Aslam et al. AML‐Net: Attention‐based multi‐scale lightweight model for brain tumour segmentation in internet of medical things
CN116703945A (zh) 一种乳腺超声图像的肿瘤分割方法、系统、介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant