CN113920099B - 一种基于非局部信息提取的息肉分割方法及相关组件 - Google Patents

一种基于非局部信息提取的息肉分割方法及相关组件 Download PDF

Info

Publication number
CN113920099B
CN113920099B CN202111203345.3A CN202111203345A CN113920099B CN 113920099 B CN113920099 B CN 113920099B CN 202111203345 A CN202111203345 A CN 202111203345A CN 113920099 B CN113920099 B CN 113920099B
Authority
CN
China
Prior art keywords
feature map
map
level
feature
carrying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111203345.3A
Other languages
English (en)
Other versions
CN113920099A (zh
Inventor
岳广辉
韩婉婉
周天薇
李思莹
李苑
段绿茵
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111203345.3A priority Critical patent/CN113920099B/zh
Publication of CN113920099A publication Critical patent/CN113920099A/zh
Application granted granted Critical
Publication of CN113920099B publication Critical patent/CN113920099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于非局部信息提取的息肉分割方法及相关组件。该方法包括将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图；分别对多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'；将多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将多个特征图D'进行拼接后，输出初始分割预测图Gg；将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图。本发明提出采用NLE模块对图像进行非局部信息提取和采用COR模块进行特征细化，具有提高网络对息肉特征的表征能力的优点。

Description

一种基于非局部信息提取的息肉分割方法及相关组件
技术领域
本发明涉及图像处理领域，尤其涉及一种基于非局部信息提取的息肉分割方法及相关组件。
背景技术
大肠癌由结肠或直肠内壁生长的息肉转变而成，早期筛查大肠息肉可以降低结直肠癌的死亡率。内窥镜检查被认为是临床筛查大肠息肉的金标准。但由于息肉具有不同的特征，形状各异、大小不同和采光不均匀造成息肉位置不明显，导致准确检测大肠息肉仍是一个挑战。因此，一种计算机辅助息肉自动分割的系统逐渐走进人们的生活，可辅助临床医生开展息肉的筛查和诊断工作，提高息肉的检出率。
目前，针对大肠息肉分割任务，可用的方法大致可分为两类，一类为基于手工特征的方法和基于深度学习的方法，该方法依赖于手工制作的特征，如大小、形状、纹理和颜色等，由于这些手工特征的表征能力有限，往往造成较高的漏检率；另一类为基于深度学习的神经网络技术检测和分割息肉，例如，为提高网络对息肉的表征能力，PraNet网络(反向注意网络)通过反向注意力机制让网络更加注重息肉区域；ACSNet网络结合全局上下文信息和局部信息提高息肉轮廓信息的提取能力；DCRNet网络(深度残差网络)在以上方法的基础上结合两个并行注意力模块提高息肉边缘信息的提取能力。虽然上述的深度神经网络方法表现良好，但是在息肉表征方面仅仅关注的是局部上下文信息，而忽略了全局信息的提取。
发明内容
本发明的目的是提供一种基于非局部信息提取的息肉分割方法及相关组件，旨在解决现有针对大肠息肉分割任务中，在息肉表征方面忽略了全局信息的提取，导致息肉特征的表征能力不高的问题。
为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种基于非局部信息提取的息肉分割方法，其包括：
将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图；
分别对所述多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'；
将所述多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将所述多个特征图D'进行拼接后，输出初始分割预测图Gg；
将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图。
另外，本发明要解决的技术问题是还在于提供一种基于非局部信息提取的息肉分割装置，其包括：
特征提取单元，用于将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图；
纹理细化单元，用于分别对所述多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'；
信息提取单元，用于将所述多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将所述多个特征图D'进行拼接后，输出初始分割预测图Gg；
特征细化单元，用于将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图。
另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于非局部信息提取的息肉分割方法。
另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于非局部信息提取的息肉分割方法。
本发明实施例公开了一种基于非局部信息提取的息肉分割方法及相关组件。该方法包括将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图；分别对多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'；将多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将多个特征图D'进行拼接后，输出初始分割预测图Gg；将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图。本发明实施例提出采用NLE模块对图像进行非局部信息提取和采用COR模块进行特征细化，具有提高网络对息肉特征的表征能力的优点。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的息肉分割方法的流程示意图；
图2为本发明实施例提供的息肉分割的子流程示意图；
图3为本发明实施例提供的息肉分割的又一子流程示意图；
图4为本发明实施例提供的息肉分割的又一子流程示意图；
图5为本发明实施例提供的息肉分割网络的整体示意性框图；
图6为本发明实施例提供的NLE模型的示意性框图；
图7为本发明实施例提供的Attention通道注意力模块的示意性框图；
图8为本发明实施例提供的COR模块的示意性框图；
图9为本发明实施例提供的息肉分割装置的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的基于非局部信息提取的息肉分割方法的流程示意图；
如图1所示，该方法包括步骤S101～S104，结合图5中的分割网络示意性框图进行说明。
S101、将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图。
该步骤中，采用在ImageNet(计算机视觉系统识别项目)数据集上预训练的Res2Net网络作为本发明的基础网络，并且去掉最后一层全连接层、保留前五层残差层作为本步骤中的特征提取模块；具体的提取过程为：
将待分割图像X输入第一层残差层，依次进行Conv卷积操作、BN算法标准化处理、Relu函数激活和Maxpool池化操作，得到低层特征图F1；
将低层特征图F1输入第二层残差层，依次进行自适应平均池化、Conv卷积操作和BN算法标准化处理，得到低层特征图F2；
将低层特征图F2输入第三层残差层，依次进行自适应平均池化、Conv卷积操作和BN算法标准化处理，得到高层特征图F3；
将高层特征图F3输入第二层残差层，依次进行自适应平均池化、Conv卷积操作和BN算法标准化处理，得到高层特征图F4；
将高层特征图F4输入第二层残差层，依次进行自适应平均池化、Conv卷积操作和BN算法标准化处理，得到高层特征图F5。
即得到特征图
Figure GDA0003474885960000041
i∈{1,2,3,4,5}，Ci∈{64,256,512,1024,2048}表示特征图Fi的通道维度，H为待分割图像X的高，W为待分割图像X的宽。
S102、分别对多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'。
该步骤中，为提高网络对息肉特征的提取能力，将每一高层特征图Fi,i∈{3,4,5}输入TEM模块(纹理增强模块)，然后通过TEM模块的4个并行分支中进行纹理细化处理，然后通过拼接的方式进行融合处理得到细化后的三个高层特征图F'，即得到高层特征图F'i,i∈{3,4,5}；具体的，每个分支的处理顺序为：经过1×1卷积操作、(2λ-1)×(2λ-1),(λ∈{1,2,3,4})卷积操作和3×3空洞卷积操作，其中3×3空洞卷积的空洞率为(2λ-1)，λ≥2，λ代表分支；需要说明的是，在每一次卷积操作后都需要经过BN算法进行标准化处理和ReLU函数进行激活处理。还需要说明的是，这里除3×3空洞卷积的空洞率中λ的取值为{2，3，4}外，其他的卷积操作中的λ均为{1，2，3，4}。
S103、将多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将多个特征图D'进行拼接后，输出初始分割预测图Gg。
该步骤中，将每一高层特征图Fi,i∈{3,4,5}输入NLE模块(非局部信息提取模块)进行信息提取，得到三个特征图D'，即特征图Di,i∈{3,4,5}，将特征图D3、D4和D5进行拼接后，得到粗略的初始分割预测图Gg。
S104、将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图。
该步骤中，将每一高层特征图Fi,i∈{3,4,5}输入COR模块(特征细化模块)进行特征细化处理，通过自上而下的方式进行计算并依次输出每一高层特征图Fi,i∈{3,4,5}对应的精准分割预测图Gi,i∈{3,4,5}；并从精准分割预测图Gi,i∈{3,4,5}中选出最终预测分割图。
本实施例中，步骤S101-104采用了NLE模块对图像进行非局部信息提取和采用COR模块进行特征细化，将非局部信息提取思想与深度学习相结合，提出本发明中基于编码-解码结构的息肉分割网络，具有提高网络对息肉特征的表征能力的优点。
下面请参阅图2，本实施例是对步骤S103的进一步介绍，并结合图6和图7所示的NLE模块的示意性框图，步骤S103可以包括：
S201、将多个高层特征图F'分别输入NLE模块进行自适应平均池化操作，得到对应的特征图Mi，其中i∈{3,4,5}；
S202、将每一特征图Mi均分成若干小份特征图，并对每一小份特征图进行Non-Local操作，再将Non-Local操作后的若干小份特征图进行拼接得到特征图M'i，其中i∈{3,4,5}；
S203、将每一特征图M'i进行自适应平均池化操作和最大池化操作，得到对应的特征图Mc i，其中i∈{3,4,5}；
步骤S202-203中，针对每一特征图Mi,i∈{3,4,5}，根据分辨率不同采用不同的划分方式来划分成若干小份特征图，具体的，特征图M3平均分成4份，特征图M4平均分成2份，特征图M5为1份。
由于Non-Local操作更关注于特征图的空间信息提取而缺乏通道信息的提取，故将特征图特征图M'i,i∈{3,4,5}通过自适应平均池化操作和最大池化操作以提取通道信息，具体按如下公式进行计算：
Figure GDA0003474885960000061
其中，sigmoid(·)代表sigmoid激活函数处理；
Figure GDA0003474885960000062
代表相加操作；
Figure GDA0003474885960000063
代表像素相乘，AvgPool(·)代表自适应平均池化操作；MaxPool(·)代表最大池化操作；最终得到特征图Mc i,i∈{3,4,5}。
S204、将每一特征图Mc i进行1×1卷积操作、ReLU操作以及自适应平均池化处理，得到对应的特征图Di，其中i∈{3,4,5}；
S205、对每一特征图Di进行上采样处理得到特征图D'i，其中i∈{3,4,5}；
该步骤中，对每一特征图Di进行上采样处理，即特征图D4分辨率经过2倍上采样得到D'4，特征图D5分辨率经过4倍上采样得到D'5。
S206、将特征图D3、D'4和D'5进行拼接后再进行卷积操作，得到初始分割预测图Gg。
本实施例中，通过临床观察发现，息肉的大小和形状多种多样；由于固定大小的卷积核仅能捕获有限的上下文信息，不能充分提取息肉特征，因此步骤S201-206采用了NLE模块获得息肉和其他位置的关联信息，以便更精确的分割息肉。
下面是对步骤S104的进一步介绍，步骤S104中设计了COR模块来对每一高层特征图F'i进行特征细化并输出对应的精准分割预测图Gi；本实施例是对高层特征图F'5进行特征细化的过程，具体可实现过程如下：
按如下公式计算高层特征图F'5对应的精准分割预测图G5：
Figure GDA0003474885960000064
Figure GDA0003474885960000065
G′5＝CBR15551(I′5)
Figure GDA0003474885960000071
其中，
Figure GDA0003474885960000072
代表像素相乘，sigmoid(·)代表sigmoid激活函数处理，D(·)代表下采样操作，
Figure GDA0003474885960000073
代表相加操作，CBR15551代表先经过1个1×1卷积操作，再经过三个5×5卷积操作，再经过1个1×1卷积操作，最后经过BN算法进行标准化处理和ReLU函数进行激活处理。
具体的，根据上述公式，首先，将初始分割预测图Gg进行下采样操作，再经过sigmoid函数处理，再与高层特征图F'5相乘得到特征图I5；
然后，将经过下采样操作和sigmoid函数处理后的初始分割预测图Gg与特征图I5相加，对相加的结果进行sigmoid函数处理后得到特征图I'5；
然后，将特征图I'5先经过1个1×1卷积操作，再经过三个5×5卷积操作，再经过1个1×1卷积操作，再经过BN算法进行标准化处理和ReLU函数进行激活处理得到特征图G'5；
最后，将特征图G'5与下采样操作后的初始分割预测图Gg相加，得到精准分割预测图G5。
下面请结合图3，本实施例是对步骤S104中高层特征图F'4的特征细化过程，具体实现步骤如下的：
S301、将高层特征图F'4与其高一层的且经过sigmoid函数处理后的精准分割预测图G5进行相乘，得到特征图I4；
S302、将特征图I4和其高一层的特征图I'5输入对应的COR模块，对特征图I'5进行自适应平均池化处理，再进行sigmoid函数处理得到权重图W4，再将特征图I4与权重图W4相乘得到特征图Iw 4；
S303、将特征图Iw 4与特征图I4相加，并将相加的结果进行sigmoid函数处理，得到高层特征图F'4对应的特征图I'4；
结合图8所示，步骤S302-S303中采用COR模块进行特征细化处理，得到的特征图I'4的表征能力更强。
S304、将特征图I'4进行1个1×1卷积操作，再进行三个3×3卷积操作，再进行标准化处理和激活处理，得到特征图G'4；
S305、将特征图G'4与其高一层的特征图G'5相加，得到高层特征图F'4对应的精准分割预测图G4。
下面请结合图4，本实施例是对步骤S104中高层特征图F'3的特征细化过程，具体实现步骤如下的：
S401、将高层特征图F'3与其高一层的且经过sigmoid函数处理后的精准分割预测图G4进行相乘，得到特征图I3；
S402、将特征图I3和其高一层的特征图I'4输入对应的COR模块，对特征图I'4进行自适应平均池化处理，再进行sigmoid函数处理得到权重图W3，再将特征图I3与权重图W3相乘得到特征图Iw 3；
S403、将特征图Iw 3与特征图I3相加，并将相加的结果进行sigmoid函数处理，得到高层特征图F'3对应的特征图I'3；
S404、将特征图I'3进行1个1×1卷积操作，再进行三个3×3卷积操作，再进行标准化处理和激活处理，得到特征图G'3；
S405、将特征图G'3与其高一层的特征图G'4相加，得到高层特征图F'3对应的精准分割预测图G3。
以上对步骤S104的进一步介绍中，采用了自上而下的方式结合COR模块的当前层输出和高一层输出(其中最高层的高一层输出选用初始分割预测图Gg)，得到了精准分割预测图G3、G4和G5；优选的，可将精准分割预测图G3作为网络在测试阶段的最终预测分割图。
下面介绍网络在训练时的损失函数、数据集划分方式及参数配置。具体来说，为了提高网络的性能，本发明对四个预测输出Gg、G3、G4和G5均采用深监督训练方式，并使用有权重的二值交叉熵损失函数和有权重的IoU损失函数(intersection-over-union)之和来约束网络训练，在测试时，本发明采用G3作为最终输出。
具体的损失函数为：
Figure GDA0003474885960000081
Figure GDA0003474885960000082
其中，
Figure GDA0003474885960000083
代表有权重的二值交叉熵损失函数，
Figure GDA0003474885960000084
代表有权重的IoU损失函数，GT代表待分割图像对应的二值化真值图；根据公式将四个预测输出、
Figure GDA0003474885960000085
Figure GDA0003474885960000086
和GT代入上述公式进行计算，以优化网络性能。
另外，本发明提出的息肉分割网络采用常用的8：2的划分方式将数据集分别划分为训练集和测试集，且将网络中的batchsize设置为16，epoch设置为50，学习率设置为0.0001。为了减少随机误差，本发明将数据集随机划分10次，并训练得到10个网络模型，在测试时，采用10个网络模型的平均值作为最终的评估值。在此，本发明采用的评价指标有：dice similarity coefficient(Dice)，IoU ofpolyp(IoU)，sensitivity(SE)，accuracy(ACC)，F2-score(F2)和mean absolute error(MAE)。其中，Dice、IoU、SE、ACC以及F2均时值越大表示性能越好，MAE则是值越小表示性能越好。
本发明采用Kvasir息肉数据集作为实验数据集，该数据集由1000张高分辨率白光图像组成，图像分辨率大小从332×482到1920×1072不等，为统一尺寸，本发明在训练和测试阶段将图片大小重置为352×352。
本发明实施例还提供一种基于非局部信息提取的息肉分割装置，该基于非局部信息提取的息肉分割装置用于执行前述基于非局部信息提取的息肉分割方法的任一实施例。具体地，请参阅图9，图9是本发明实施例提供的非局部信息提取的息肉分割装置的示意性框图。
本发明提出的息肉分割网络与经典的息肉分割网络PraNet[1]、ACSNet[2]、DCRNet[3]做对比，其在Kvasir-SEG[5]数据集上的测试结果如表1所示。从表1中我们可以看出，本发明的息肉分割网络在各个指标中均表现最优。
表1
Dice IoU SE ACC F2 MAE
Our 0.9127 0.8615 0.9174 0.9728 0.9123 0.0291
PraNet 0.8977 0.8417 0.9178 0.9676 0.9038 0.0351
ACSNet 0.9026 0.8471 0.9123 0.9709 0.9044 0.0311
DCRNet 0.8666 0.7989 0.9049 0.9521 0.8790 0.0507
如图9所示，基于非局部信息提取的息肉分割装置900，包括：特征提取单元901、纹理细化单元902、信息提取单元903和特征细化单元904。
特征提取单元901，用于将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图；
纹理细化单元902，用于分别对多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'；
信息提取单元903，用于将多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将多个特征图D'进行拼接后，输出初始分割预测图Gg；
特征细化单元904，用于将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图。
该装置采用了NLE模块对图像进行非局部信息提取和采用COR模块进行特征细化，将非局部信息提取思想与深度学习相结合，提出本发明中基于编码-解码结构的息肉分割网络，具有提高网络对息肉特征的表征能力的优点。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述非局部信息提取的息肉分割装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备1000是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备1000包括通过系统总线1001连接的处理器1002、存储器和网络接口1005，其中，存储器可以包括非易失性存储介质1003和内存储器1004。
该非易失性存储介质1003可存储操作系统10031和计算机程序10032。该计算机程序10032被执行时，可使得处理器1002执行非局部信息提取的息肉分割方法。
该处理器1002用于提供计算和控制能力，支撑整个计算机设备1000的运行。
该内存储器1004为非易失性存储介质1003中的计算机程序10032的运行提供环境，该计算机程序10032被处理器1002执行时，可使得处理器1002执行非局部信息提取的息肉分割方法。
该网络接口1005用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备1000的限定，具体的计算机设备1000可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器1002可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器1002还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的非局部信息提取的息肉分割方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于非局部信息提取的息肉分割方法，其特征在于，包括：
将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图，其中所述多个高层特征图包括高层特征图F3、高层特征图F4和高层特征图F5；
分别对所述多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'；
将所述多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将所述多个特征图D'进行拼接后，输出初始分割预测图Gg；
将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图；
其中，所述将所述多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将所述多个特征图D'进行拼接后，输出初始分割预测图Gg，包括：
将所述多个高层特征图F'分别输入NLE模块进行自适应平均池化操作，得到对应的特征图Mi，其中i∈{3,4,5}；将每一所述特征图Mi均分成若干小份特征图，并对每一小份特征图进行Non-Local操作，再将Non-Local操作后的若干小份特征图进行拼接得到特征图M'i，其中i∈{3,4,5}；将每一所述特征图M'i进行自适应平均池化操作和最大池化操作，得到对应的特征图Mc i，其中i∈{3,4,5}；将每一所述特征图Mc i进行1×1卷积操作、ReLU操作以及自适应平均池化处理，得到对应的特征图Di，其中i∈{3,4,5}；对每一所述特征图Di进行上采样处理得到特征图D'i，其中i∈{3,4,5}；将特征图D3、D'4和D'5进行拼接后再进行卷积操作，得到初始分割预测图Gg；
其中，所述将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图，包括：
按如下公式计算高层特征图F'5对应的精准分割预测图G5：
Figure FDA0003754468740000011
Figure FDA0003754468740000012
G′5＝CBR15551(I′5)；
Figure FDA0003754468740000021
其中，
Figure FDA0003754468740000022
代表像素相乘，sigmoid(·)代表sigmoid激活函数处理，D(·)代表下采样操作，
Figure FDA0003754468740000023
代表相加操作，CBR15551代表先经过1个1×1卷积操作，再经过三个5×5卷积操作，再经过1个1×1卷积操作，最后经过标准化处理和激活处理；
其中，所述将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图，还包括：
将所述高层特征图F'4与其高一层的且经过sigmoid函数处理后的精准分割预测图G5进行相乘，得到特征图I4；将所述特征图I4和其高一层的特征图I'5输入对应的COR模块，对所述特征图I'5进行自适应平均池化处理，再进行sigmoid函数处理得到权重图W4，再将所述特征图I4与权重图W4相乘得到特征图Iw 4；将所述特征图Iw 4与特征图I4相加，并将相加的结果进行sigmoid函数处理，得到高层特征图F'4对应的特征图I'4；将所述特征图I'4进行1个1×1卷积操作，再进行三个3×3卷积操作，再进行标准化处理和激活处理，得到特征图G'4；将所述特征图G'4与其高一层的特征图G'5相加，得到高层特征图F'4对应的精准分割预测图G4；
其中，所述将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图，还包括：
将所述高层特征图F'3与其高一层的且经过sigmoid函数处理后的精准分割预测图G4进行相乘，得到特征图I3；将所述特征图I3和其高一层的特征图I'4输入对应的COR模块，对所述特征图I'4进行自适应平均池化处理，再进行sigmoid函数处理得到权重图W3，再将所述特征图I3与权重图W3相乘得到特征图Iw 3；将所述特征图Iw 3与特征图I3相加，并将相加的结果进行sigmoid函数处理，得到高层特征图F'3对应的特征图I'3；将所述特征图I'3进行1个1×1卷积操作，再进行三个3×3卷积操作，再进行标准化处理和激活处理，得到特征图G'3；将所述特征图G'3与其高一层的特征图G'4相加，得到高层特征图F'3对应的精准分割预测图G3。
2.根据权利要求1所述的基于非局部信息提取的息肉分割方法，其特征在于，所述分别对所述多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'，包括：
将每一所述高层特征图Fi,i∈{3,4,5}分别输入TEM模块，然后通过TEM模块的4个并行分支进行纹理细化处理，然后进行融合处理得到细化后的对应高层特征图F'i,i∈{3,4,5}，其中，每个分支的处理顺序为：经过1×1卷积操作、(2λ-1)×(2λ-1),(λ∈{1,2,3,4})卷积操作和3×3空洞卷积操作，其中每一次卷积操作后都经过标准化处理和激活处理，λ代表分支。
3.一种基于非局部信息提取的息肉分割装置，其特征在于，包括：
特征提取单元，用于将待分割图像输入特征提取模块进行多层特征提取，输出多个高层特征图F和多个低层特征图；
纹理细化单元，用于分别对所述多个高层特征图F进行纹理细化处理，得到细化后的多个高层特征图F'；
信息提取单元，用于将所述多个高层特征图F'分别输入对应的NLE模块进行信息提取，得到多个特征图D'，将所述多个特征图D'进行拼接后，输出初始分割预测图Gg；
特征细化单元，用于将多个高层特征图F'分别输入对应的COR模块，通过自上而下的方式结合COR模块的当前层输出和高一层输出得到最终预测分割图；
其中，所述信息提取单元包括：
将所述多个高层特征图F'分别输入NLE模块进行自适应平均池化操作，得到对应的特征图Mi，其中i∈{3,4,5}；将每一所述特征图Mi均分成若干小份特征图，并对每一小份特征图进行Non-Local操作，再将Non-Local操作后的若干小份特征图进行拼接得到特征图M'i，其中i∈{3,4,5}；将每一所述特征图M'i进行自适应平均池化操作和最大池化操作，得到对应的特征图Mc i，其中i∈{3,4,5}；将每一所述特征图Mc i进行1×1卷积操作、ReLU操作以及自适应平均池化处理，得到对应的特征图Di，其中i∈{3,4,5}；对每一所述特征图Di进行上采样处理得到特征图D'i，其中i∈{3,4,5}；将特征图D3、D'4和D'5进行拼接后再进行卷积操作，得到初始分割预测图Gg；
其中，所述特征细化单元，包括：
按如下公式计算高层特征图F'5对应的精准分割预测图G5：
Figure FDA0003754468740000031
Figure FDA0003754468740000032
G′5＝CBR15551(I′5)
Figure FDA0003754468740000041
其中，
Figure FDA0003754468740000042
代表像素相乘，sigmoid(·)代表sigmoid激活函数处理，D(·)代表下采样操作，
Figure FDA0003754468740000043
代表相加操作，CBR15551代表先经过1个1×1卷积操作，再经过三个5×5卷积操作，再经过1个1×1卷积操作，最后经过标准化处理和激活处理；
其中，所述特征细化单元，还包括：
将所述高层特征图F'4与其高一层的且经过sigmoid函数处理后的精准分割预测图G5进行相乘，得到特征图I4；将所述特征图I4和其高一层的特征图I'5输入对应的COR模块，对所述特征图I'5进行自适应平均池化处理，再进行sigmoid函数处理得到权重图W4，再将所述特征图I4与权重图W4相乘得到特征图Iw 4；将所述特征图Iw 4与特征图I4相加，并将相加的结果进行sigmoid函数处理，得到高层特征图F'4对应的特征图I'4；将所述特征图I'4进行1个1×1卷积操作，再进行三个3×3卷积操作，再进行标准化处理和激活处理，得到特征图G'4；将所述特征图G'4与其高一层的特征图G'5相加，得到高层特征图F'4对应的精准分割预测图G4；
其中，所述特征细化单元，还包括：
将所述高层特征图F'3与其高一层的且经过sigmoid函数处理后的精准分割预测图G4进行相乘，得到特征图I3；将所述特征图I3和其高一层的特征图I'4输入对应的COR模块，对所述特征图I'4进行自适应平均池化处理，再进行sigmoid函数处理得到权重图W3，再将所述特征图I3与权重图W3相乘得到特征图Iw 3；将所述特征图Iw 3与特征图I3相加，并将相加的结果进行sigmoid函数处理，得到高层特征图F'3对应的特征图I'3；将所述特征图I'3进行1个1×1卷积操作，再进行三个3×3卷积操作，再进行标准化处理和激活处理，得到特征图G'3；将所述特征图G'3与其高一层的特征图G'4相加，得到高层特征图F'3对应的精准分割预测图G3。
4.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2中任一项所述的基于非局部信息提取的息肉分割方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至2任一项所述的基于非局部信息提取的息肉分割方法。
CN202111203345.3A 2021-10-15 2021-10-15 一种基于非局部信息提取的息肉分割方法及相关组件 Active CN113920099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111203345.3A CN113920099B (zh) 2021-10-15 2021-10-15 一种基于非局部信息提取的息肉分割方法及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111203345.3A CN113920099B (zh) 2021-10-15 2021-10-15 一种基于非局部信息提取的息肉分割方法及相关组件

Publications (2)

Publication Number Publication Date
CN113920099A CN113920099A (zh) 2022-01-11
CN113920099B true CN113920099B (zh) 2022-08-30

Family

ID=79240912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111203345.3A Active CN113920099B (zh) 2021-10-15 2021-10-15 一种基于非局部信息提取的息肉分割方法及相关组件

Country Status (1)

Country Link
CN (1) CN113920099B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445426B (zh) * 2022-01-28 2022-08-26 深圳大学 内窥镜图像中息肉区域的分割方法、装置及相关组件

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062754A (zh) * 2018-01-19 2018-05-22 深圳大学 基于密集网络图像的分割、识别方法和装置
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110009598A (zh) * 2018-11-26 2019-07-12 腾讯科技（深圳）有限公司 用于图像分割的方法和图像分割设备
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
JP2020038574A (ja) * 2018-09-05 2020-03-12 京セラ株式会社 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、及び画像認識装置
CN112329801A (zh) * 2020-12-03 2021-02-05 中国石油大学(华东) 一种卷积神经网络非局部信息构建方法
CN112529064A (zh) * 2020-12-03 2021-03-19 燕山大学 一种高效的实时语义分割方法
CN112561937A (zh) * 2020-12-18 2021-03-26 深圳先进技术研究院 基于病变边界信息响应的上下文感知医学图像分割方法
CN112771581A (zh) * 2018-07-30 2021-05-07 纪念斯隆凯特琳癌症中心 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络
CN113033570A (zh) * 2021-03-29 2021-06-25 同济大学 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734211B (zh) * 2018-05-17 2019-12-24 腾讯科技（深圳）有限公司 图像处理的方法和装置
KR102215757B1 (ko) * 2019-05-14 2021-02-15 경희대학교 산학협력단 이미지 세그멘테이션 방법, 장치 및 컴퓨터 프로그램
CN110210608B (zh) * 2019-06-05 2021-03-26 国家广播电视总局广播电视科学研究院 基于注意力机制和多层次特征融合的低照度图像增强方法
US11645756B2 (en) * 2019-11-14 2023-05-09 Samsung Electronics Co., Ltd. Image processing apparatus and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062754A (zh) * 2018-01-19 2018-05-22 深圳大学 基于密集网络图像的分割、识别方法和装置
CN112771581A (zh) * 2018-07-30 2021-05-07 纪念斯隆凯特琳癌症中心 用于对免疫疗法和放射疗法的分割、结果预测和纵向应答监测的多模态、多分辨率深度学习神经网络
JP2020038574A (ja) * 2018-09-05 2020-03-12 京セラ株式会社 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、及び画像認識装置
CN110009598A (zh) * 2018-11-26 2019-07-12 腾讯科技（深圳）有限公司 用于图像分割的方法和图像分割设备
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN110490813A (zh) * 2019-07-05 2019-11-22 特斯联（北京）科技有限公司 卷积神经网络的特征图增强方法、装置、设备及介质
CN112329801A (zh) * 2020-12-03 2021-02-05 中国石油大学(华东) 一种卷积神经网络非局部信息构建方法
CN112529064A (zh) * 2020-12-03 2021-03-19 燕山大学 一种高效的实时语义分割方法
CN112561937A (zh) * 2020-12-18 2021-03-26 深圳先进技术研究院 基于病变边界信息响应的上下文感知医学图像分割方法
CN113033570A (zh) * 2021-03-29 2021-06-25 同济大学 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Nonlocal spatial attention module;bingling chen;《International Journal of Advanced Robotic Systems》;20200916;DOI: 10.1177/1729881420938927 *
罗平 ; 吴凌云.基于互联网文本描述和深度对偶学习的图像分割技术.《人工智能》.2017, *

Also Published As

Publication number Publication date
CN113920099A (zh) 2022-01-11

Similar Documents

Publication Publication Date Title
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN110599476B (zh) 基于机器学习的疾病分级方法、装置、设备及介质
WO2022116856A1 (zh) 一种模型结构、模型训练方法、图像增强方法及设备
CN110706246A (zh) 一种血管图像分割方法、装置、电子设备和存储介质
US10846854B2 (en) Systems and methods for detecting cancer metastasis using a neural network
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN110838125A (zh) 医学图像的目标检测方法、装置、设备、存储介质
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN110807362A (zh) 一种图像检测方法、装置和计算机可读存储介质
CN111369567A (zh) 三维图像中目标对象的分割方法、装置及电子设备
CN113221925A (zh) 一种基于多尺度图像的目标检测方法及装置
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN113920099B (zh) 一种基于非局部信息提取的息肉分割方法及相关组件
CN110490262B (zh) 图像处理模型生成方法、图像处理方法、装置及电子设备
WO2023014789A1 (en) System and method for pathology image analysis using a trained neural network and active learning framework
CN113192067B (zh) 基于图像检测的智能预测方法、装置、设备及介质
CN115147343A (zh) 使用人工神经网络的数字病理学
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
CN110991408B (zh) 基于深度学习方法分割脑白质高信号的方法和装置
CN112884702A (zh) 一种基于内窥镜图像的息肉识别系统和方法
KR101821770B1 (ko) 특징 추출을 위한 기법들
CN116542988A (zh) 结节分割方法、装置、电子设备及存储介质
CN114820755B (zh) 一种深度图估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant