CN111986204B - 一种息肉分割方法、装置及存储介质 - Google Patents

一种息肉分割方法、装置及存储介质 Download PDF

Info

Publication number
CN111986204B
CN111986204B CN202010717640.XA CN202010717640A CN111986204B CN 111986204 B CN111986204 B CN 111986204B CN 202010717640 A CN202010717640 A CN 202010717640A CN 111986204 B CN111986204 B CN 111986204B
Authority
CN
China
Prior art keywords
module
features
global
local
polyp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010717640.XA
Other languages
English (en)
Other versions
CN111986204A (zh
Inventor
李冠彬
张锐斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010717640.XA priority Critical patent/CN111986204B/zh
Publication of CN111986204A publication Critical patent/CN111986204A/zh
Application granted granted Critical
Publication of CN111986204B publication Critical patent/CN111986204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种息肉分割方法、装置及存储介质，所述方法首先提取待检测者的影像数据，然后将其输入至预设的息肉分割模型，得到最终的息肉分割图像；上述息肉分割模型在对待检测影像数据记性识别时，先提取全局特征以及局部特征，然后根据全局特征和局部特征确定息肉的尺寸，紧接着根据息肉的尺寸分别计算全局特征和局部特征的注意力权重，根据注意力权重进行特征融合，生成与息肉尺寸对应的自适应特征，最后根据自适应特征生成最终的息肉分割图像，在整个息肉的自动化分割过程中，基于息肉的尺寸进行自适应分割，从而提高了息肉分割的准确性。

Description

一种息肉分割方法、装置及存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种息肉分割方法、装置及存储介质。
背景技术
结直肠癌是第三大发病率和致死率的癌症类疾病，严重威胁人们的健康。作为早期最主要的症状之一，息肉的及时诊断和清除是降低结直肠癌发病率的关键。目前，最常用和最有效的息肉诊断方法为结肠镜检查，可进一步分为人工诊断和自动诊断两种方案。人工诊断依赖于有丰富经验的医生，在结肠镜检查过程中，通过肉眼判断和定位息肉的大小和位置。自动诊断基于深度学习图像分割技术。通过预先使用一定数量的结肠镜图像和标注数据，训练网络模型自主学习息肉的颜色，形状特征，进而实现在结肠镜检查过程中对息肉的自动化检测与分割。
但在现有技术中对息肉的自动化检测没有基于不同息肉的尺寸，对息肉进行自适应分割，从而导致息肉分割的准确率较低。
发明内容
本发明实施例提供一种息肉分割方法、装置及存储介质，能提高息肉分割的准确率。
本发明一实施例提供一种息肉分割方法，包括：提取待检测者病变部位的影像数据，获得待检测影像数据；
将所述待检测影像数据输入至预设的息肉分割模型中，以使所述息肉分割模型对所述待检测影像数据进行识别，生成与所述待检测影像数据对应的息肉分割图像；
其中，所述息肉分割模型对所述待检测影像数据的识别，生成与所述待检测影像数据对应的息肉分割图像，具体包括：
从所述待检测影像数据中提取全局特征以及局部特征，并根据所述全局特征以及所述局部特征确定所述待检测影像数据所对应的息肉尺寸，继而根据所述息肉尺寸，确定所述全局特征的注意力权重以及所述局部特征的注意力权重；
根据所述全局特征、所述全局特征的注意力权重、所述局部特征以及所述局部特征的注意力权重，生成自适应特征；
根据所述自适应特征生成与所述待检测影像数据对应的息肉分割图像。
进一步地，所述全局特征包括颜色特征和形状特征；所述局部特征包括边缘特征和纹理特征。
进一步地，所述预设的息肉分割模型，包括：若干不同层级的编码模块、若干不同层级的局部语义注意力模块、若干不同层级的解码模块、若干不同层级的自适应选择模块以及全局语义模块；
每一所述局部语义注意力模块，用于根据由同一层级的编码模块所提取的特征信息，以及根据上一层级的解码模块的预设结果所生成的注意力图，提取每一层级的局部特征；
所述全局语义模块，用于根据最后一层级的编码模块所提取的特征信息，提全局特征，并将所述全局特征输入至各个层级的自适应选择模块；
每一所述自适应选择模块，用于根据由同一层级的局部语义注意力模块提取的局部语义特征、由所述全局语义模块提取的全局特征、由上一层级的解码模块传输的特征信息以及所述息肉的尺寸生成每一层级的自适应特征。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
本发明一实施例提供了息肉分割装置，包括数据提取模块以及息肉分割模块；
所述数据提取模块，用于提取待检测者病变部位的影像数据，获得待检测影像数据；
所述息肉分割模块，用于将所述待检测影像数据输入至预设的息肉分割模型中，以使所述息肉分割模型对所述待检测影像数据进行识别，生成与所述待检测影像数据对应的息肉分割图像；
其中，所述息肉分割模型对所述待检测影像数据的识别，生成与所述待检测影像数据对应的息肉分割图像，具体包括：
从所述待检测影像数据中提取全局特征以及局部特征，并根据所述全局特征以及所述局部特征确定所述待检测影像数据所对应的息肉尺寸，继而根据所述息肉尺寸，确定所述全局特征的注意力权重以及所述局部特征的注意力权重；
根据所述全局特征、所述全局特征的注意力权重、所述局部特征以及所述局部特征的注意力权重，生成自适应特征；
根据所述自适应特征生成与所述待检测影像数据对应的息肉分割图像。
进一步地，所述全局特征包括颜色特征和形状特征；所述局部特征包括边缘特征和纹理特征。
进一步地，所述预设的息肉分割模型，包括：若干不同层级的编码模块、若干不同层级的局部语义注意力模块、若干不同层级的解码模块、若干不同层级的自适应选择模块以及全局语义模块；
每一所述局部语义注意力模块，用于根据由同一层级的编码模块所提取的特征信息，以及根据上一层级的解码模块的预设结果所生成的注意力图，提取每一层级的局部特征；
所述全局语义模块，用于根据最后一层级的编码模块所提取的特征信息，提全局特征，并将所述全局特征输入至各个层级的自适应选择模块；
每一所述自适应选择模块，用于根据由同一层级的局部语义注意力模块提取的局部语义特征、由所述全局语义模块提取的全局特征、由上一层级的解码模块传输的特征信息以及所述息肉的尺寸生成每一层级的自适应特征。
在本发明方法项实施例的基础上，对应提供了存储介质项实施例；
本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，在所述计算机程序运行时，控制所述存储介质所在的设备执行本发明任意一项方法项实施例所述的息肉分割方法。
通过实施本发明能够实现如下有益效果：
本发明实施例提供了一种息肉分割方法、装置及存储介质，所述方法首先提取待检测者的影像数据，然后将其输入至预设的息肉分割模型，得到最终的息肉分割图像；上述息肉分割模型在对待检测影像数据记性识别时，先提取全局特征以及局部特征，然后根据全局特征和局部特征确定息肉的尺寸，紧接着根据息肉的尺寸分别计算全局特征和局部特征的注意力权重，根据注意力权重进行特征融合，生成与息肉尺寸对应的自适应特征，最后根据自适应特征生成最终的息肉分割图像，在整个息肉的自动化分割过程中，基于息肉的尺寸进行自适应分割，从而提高了息肉分割的准确性。
附图说明
图1是本发明一实施例提供的一种息肉分割方法的流程示意图。
图2是本发明一实施例提供的息肉分割模型的原理示意图。
图3是本发明一实施例提供的局部语义注意力模块的原理示意图。
图4是本发明一实施例提供的全部语义模块的原理示意图。
图5是本发明一实施例提供的自适应选择模块的原理示意图。
图6是本发明一实施例提供的息肉分割装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1，是本发明一实施例提供的一种息肉分割方法的流程示意图，包括：
步骤S101:提取待检测者病变部位的影像数据，获得待检测影像数据。
步骤S102：将所述待检测影像数据输入至预设的息肉分割模型中，以使所述息肉分割模型对所述待检测影像数据进行识别，生成与所述待检测影像数据对应的息肉分割图像。
对于步骤S101、在本发明中上述病变部位指的是待检测者的结肠部位和/或直肠部位；上述待检测影像数据可以为图片数据可以为视频数据，当其为图片数据时，上述待检测影像数据为待检测者的肠部位图片和/或直肠部位图片；当其为视频数据时，上述待检测影像数据为待检测者的结肠部位视频数据和/或待检测者的直肠部位视频数据。
在实际实施过程中，通过对待检测者进行结肠镜检查，来获取待检测者的结肠、直肠部位图片或视频数据。
对于步骤S102、所述息肉分割模型对所述待检测影像数据的识别，生成与所述待检测影像数据对应的息肉分割图像，具体包括：
从所述待检测影像数据中提取全局特征以及局部特征，并根据所述全局特征以及所述局部特征确定所述待检测影像数据所对应的息肉尺寸，继而根据所述息肉尺寸，确定所述全局特征的注意力权重以及所述局部特征的注意力权重；
根据所述全局特征、所述全局特征的注意力权重、所述局部特征以及所述局部特征的注意力权重，生成自适应特征；
根据所述自适应特征生成与所述待检测影像数据对应的息肉分割图像。
优选的，所述全局特征包括颜色特征和形状特征；所述局部特征包括边缘特征和纹理特征。
在本发明中，为了提高模型对不同尺寸息肉的分割准确性，我们赋予了网络模型根据息肉大小自适应选择全局或局部特征的能力。不同大小的息肉分割对全局环境和局部环境有不同的依赖，全局特征指的是，是模型对输入的结直肠图片全局的解析和理解，包括整体范围内的颜色和形状等特征信息，对大尺寸的息肉分割有帮助；上述局部特征指的是，局部区域范围内的边缘和纹理等细节特征，在小尺寸息肉的精细化分割上起到重要作用。
以下上述息肉分割模型进行具体的说明：
在一个优选的实施例中，所述预设的息肉分割模型，包括：若干不同层级的编码模块、若干不同层级的局部语义注意力模块、若干不同层级的解码模块、若干不同层级的自适应选择模块以及全局语义模块；
每一所述局部语义注意力模块，用于根据由同一层级的编码模块所提取的特征信息，以及根据上一层级的解码模块的预设结果所生成的注意力图，提取每一层级的局部特征；
所述全局语义模块，用于根据最后一层级的编码模块所提取的特征信息，提全局特征，并将所述全局特征输入至各个层级的自适应选择模块；
每一所述自适应选择模块，用于根据由同一层级的局部语义注意力模块提取的局部语义特征、由所述全局语义模块提取的全局特征、由上一层级的解码模块传输的特征信息以及所述息肉的尺寸生成每一层级的自适应特征。
具体的，如图2所示，本发明提出的息肉分割模型基于编码器-解码器结构，其中，编码模块1-5由Resnet34网络实现，解码模块1-5每个模块由两组[Conv-BN-ReLU]组成。在解码器部分，每个模块通过自适应选择模块，自适应选择与融合来自局部语义注意力模块的局部细节特征、来自全局语义模块的全局语义特征以及来自于上一级解码模块的特征信息，给出当前尺度的息肉分割结果，并受到相应尺度标注数据(Ground Truth)的深度监管，用于强化网络的学习。在实际应用阶段，模型最终输出的息肉分割结果由解码器最后一个模块(解码模块1)给出。
以下对息肉分割模型中的每个模块进行具体的说明：
首先是局部语义注意力模块：
局部语义注意模块位于每一级编码器和解码器之间，用于向解码器传递局部语义信息，同时，根据上一级解码器模块的预测结果生成注意图，再将注意力图与原有特征相乘，用于加强对不确定区域的特征的关注。具体原理图如图3所示：
注意力图的
Figure BDA0002598800700000071
pred指的是上一级解码器模块的预测结果；0.5判断是否为息肉的概率阈值，即模型预测概率越接近0.5，代表模型预测越不确定性，得到注意图权重也越高，相反则越低。通过此举加强对不确定的困难样本的特征关注，以提升网络的分割性能。
紧接着是全局语义模块：
全局语义模块位于编码器的顶端，其输入为编码器提取的特征，输出为经过进一步增强后的全局语义特征，并被送入每一级解码器前的自适应选择模块。具体的，全局语义模块包括4个分支，分别为全局平均池化，3×3自适应池化，5×5自适应池化和恒等映射模块，在恒等映射模块中又引入非局部操作(Non-Local)为每个像素点特征计算其与其他位置特征的长距离依赖关系，进一步增强特征的全局表达。最后，卷积处理后的各个分支的特征再经由上采用恢复到原始输入尺寸并拼接在一起，构成增强后的全局特征，具体原理如图4所示。
然后是自适应选择模块：
自适应选择模块位于每一个解码器模块之前，可通过全局语义模块、局部语义模块所解析的特征，对息肉的尺寸进行识别，自动解析息肉尺寸，然后根据所解析的息肉尺寸选择和融合来自局部语义注意力模块，全局语义模块和上一级解码器模块的特征(该特征同样经过非局部操作处理用于捕获特征的长距离依赖关系)，其具体过程由注意力机制实现。如图5所示，三种特征拼接在一起后经压缩和扩张(Squeeze-and-Excite)操作完成特征选择。Squeeze-and-Excite是一种维度层面的注意力机制，通过全局平均池化操作，将输入特征图转为特征向量，后送入全连接层学习各个维度的注意力权重，并通过Sigmoid函数将权重限制于0到1之间。通过注意力权重和原本特征相乘，完成对全局或局部特征的自适应选择，生成上述自适应特征。
此外在一个优选的实施例中，息肉分割模型基于python和PyTorch深度学习框架实现。网络训练采用随机梯度下降优化器，动量为0.9，权重衰减为0.0005，初始学习率为0.001并随训练轮数增加而降低。总计训练150轮次。联合使用二值交叉熵损失和Dice损失作为损失函数。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
如图6所示，本发明一实施例提供了包括数据提取模块以及息肉分割模块；
所述数据提取模块，用于提取待检测者病变部位的影像数据，获得待检测影像数据；
所述息肉分割模块，用于将所述待检测影像数据输入至预设的息肉分割模型中，以使所述息肉分割模型对所述待检测影像数据进行识别，生成与所述待检测影像数据对应的息肉分割图像；
其中，所述息肉分割模型对所述待检测影像数据的识别，生成与所述待检测影像数据对应的息肉分割图像，具体包括：
从所述待检测影像数据中提取全局特征以及局部特征，并根据所述全局特征以及所述局部特征确定所述待检测影像数据所对应的息肉尺寸，继而根据所述息肉尺寸，确定所述全局特征的注意力权重以及所述局部特征的注意力权重；
根据所述全局特征、所述全局特征的注意力权重、所述局部特征以及所述局部特征的注意力权重，生成自适应特征；
根据所述自适应特征生成与所述待检测影像数据对应的息肉分割图像。
优选的，所述全局特征包括颜色特征和形状特征；所述局部特征包括边缘特征和纹理特征。
优选的，所述预设的息肉分割模型，包括：若干不同层级的编码模块、若干不同层级的局部语义注意力模块、若干不同层级的解码模块、若干不同层级的自适应选择模块以及全局语义模块；
每一所述局部语义注意力模块，用于根据由同一层级的编码模块所提取的特征信息，以及根据上一层级的解码模块的预设结果所生成的注意力图，提取每一层级的局部特征；
所述全局语义模块，用于根据最后一层级的编码模块所提取的特征信息，提全局特征，并将所述全局特征输入至各个层级的自适应选择模块；
每一所述自适应选择模块，用于根据由同一层级的局部语义注意力模块提取的局部语义特征、由所述全局语义模块提取的全局特征、由上一层级的解码模块传输的特征信息以及所述息肉的尺寸生成每一层级的自适应特征。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
在本发明上述实施例的基础上，本发明对应提供了存储介质项实施例；
本发明一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，在所述计算机程序运行时，控制所述存储介质所在的设备执行本发明上述任意一项所述的息肉分割方法。
其中，上述存储介质为计算机可读存储介质，所述息肉分割装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (5)

1.一种息肉分割方法，其特征在于，包括：
提取待检测者病变部位的影像数据，获得待检测影像数据；
将所述待检测影像数据输入至预设的息肉分割模型中，以使所述息肉分割模型对所述待检测影像数据进行识别，生成与所述待检测影像数据对应的息肉分割图像；
其中，所述息肉分割模型对所述待检测影像数据的识别，生成与所述待检测影像数据对应的息肉分割图像，具体包括：
从所述待检测影像数据中提取全局特征以及局部特征，并根据所述全局特征以及所述局部特征确定所述待检测影像数据所对应的息肉尺寸，继而根据所述息肉尺寸，确定所述全局特征的注意力权重以及所述局部特征的注意力权重；
根据所述全局特征、所述全局特征的注意力权重、所述局部特征以及所述局部特征的注意力权重，生成自适应特征；
根据所述自适应特征生成与所述待检测影像数据对应的息肉分割图像；
其中，所述息肉分割模型，包括：不同层级的编码模块、不同层级的局部语义注意力模块、不同层级的解码模块、不同层级的自适应选择模块以及全局语义模块；
每一所述局部语义注意力模块，用于根据由同一层级的编码模块所提取的特征信息，以及根据上一层级的解码模块的预设结果所生成的注意力图，提取每一层级的局部特征；
每一所述全局语义模块，用于根据最后一层级的编码模块所提取的特征信息，提全局特征，并将所述全局特征输入至各个层级的自适应选择模块；
每一所述自适应选择模块，用于根据由同一层级的局部语义注意力模块提取的局部语义特征、由所述全局语义模块提取的全局特征、由上一层级的解码模块传输的特征信息以及所述息肉的尺寸生成每一层级的自适应特征；
其中，局部语义注意模块位于每一级编码器和解码器之间，用于向解码器传递局部语义信息，同时根据上一级解码器模块的预测结果生成注意图，再将注意力图与原有特征相乘；
Figure FDA0004216592840000021
pred指的是上一级解码器模块的预测结果；0.5判断是否为息肉的概率阈值；
全局语义模块位于编码器的顶端，其输入为编码器提取的特征，输出为经过进一步增强后的全局语义特征，并被送入每一级解码器前的自适应选择模块；全局语义模块包括4个分支，分别为全局平均池化，3×3自适应池化，5×5自适应池化和恒等映射模块，恒等映射模块通过非局部操作为每个像素点特征计算其与其他位置特征的长距离依赖关系；卷积处理后的各个分支的特征再经由上采样恢复到原始输入尺寸并拼接在一起，构成增强后的全局特征；
自适应选择模块位于每一个解码器模块之前，通过全局语义模块、局部语义模块所解析的特征，对息肉的尺寸进行识别，解析息肉尺寸，然后根据所解析的息肉尺寸选择和融合来自局部语义注意力模块，全局语义模块和上一级解码器模块的特征；其中，在选择和融合时，将三种特征拼接在一起后经压缩和扩张完成特征选择；在压缩和扩张时，通过全局平均池化操作，将输入特征图转为特征向量后送入全连接层学习各个维度的注意力权重，并通过Sigmoid函数将权重限制于0到1之间，通过注意力权重和原本特征相乘，完成对全局或局部特征的自适应选择，生成自适应特征。
2.如权利要求1所述的息肉分割方法，其特征在于，所述全局特征包括颜色特征和形状特征；所述局部特征包括边缘特征和纹理特征。
3.一种息肉分割装置，其特征在于，包括数据提取模块以及息肉分割模块；
所述数据提取模块，用于提取待检测者病变部位的影像数据，获得待检测影像数据；
所述息肉分割模块，用于将所述待检测影像数据输入至预设的息肉分割模型中，以使所述息肉分割模型对所述待检测影像数据进行识别，生成与所述待检测影像数据对应的息肉分割图像；
其中，所述息肉分割模型对所述待检测影像数据的识别，生成与所述待检测影像数据对应的息肉分割图像，具体包括：
从所述待检测影像数据中提取全局特征以及局部特征，并根据所述全局特征以及所述局部特征确定所述待检测影像数据所对应的息肉尺寸，继而根据所述息肉尺寸，确定所述全局特征的注意力权重以及所述局部特征的注意力权重；
根据所述全局特征、所述全局特征的注意力权重、所述局部特征以及所述局部特征的注意力权重，生成自适应特征；
根据所述自适应特征生成与所述待检测影像数据对应的息肉分割图像；
其中，所述息肉分割模型，包括：不同层级的编码模块、不同层级的局部语义注意力模块、不同层级的解码模块、不同层级的自适应选择模块以及全局语义模块；
每一所述局部语义注意力模块，用于根据由同一层级的编码模块所提取的特征信息，以及根据上一层级的解码模块的预设结果所生成的注意力图，提取每一层级的局部特征；
所述全局语义模块，用于根据最后一层级的编码模块所提取的特征信息，提全局特征，并将所述全局特征输入至各个层级的自适应选择模块；
每一所述自适应选择模块，用于根据由同一层级的局部语义注意力模块提取的局部语义特征、由所述全局语义模块提取的全局特征、由上一层级的解码模块传输的特征信息以及所述息肉的尺寸生成每一层级的自适应特征；
其中，局部语义注意模块位于每一级编码器和解码器之间，用于向解码器传递局部语义信息，同时根据上一级解码器模块的预测结果生成注意图，再将注意力图与原有特征相乘；
Figure FDA0004216592840000041
pred指的是上一级解码器模块的预测结果；0.5判断是否为息肉的概率阈值；
全局语义模块位于编码器的顶端，其输入为编码器提取的特征，输出为经过进一步增强后的全局语义特征，并被送入每一级解码器前的自适应选择模块；全局语义模块包括4个分支，分别为全局平均池化，3×3自适应池化，5×5自适应池化和恒等映射模块，恒等映射模块通过非局部操作为每个像素点特征计算其与其他位置特征的长距离依赖关系；卷积处理后的各个分支的特征再经由上采样恢复到原始输入尺寸并拼接在一起，构成增强后的全局特征；
自适应选择模块位于每一个解码器模块之前，通过全局语义模块、局部语义模块所解析的特征，对息肉的尺寸进行识别，解析息肉尺寸，然后根据所解析的息肉尺寸选择和融合来自局部语义注意力模块，全局语义模块和上一级解码器模块的特征；其中，在选择和融合时，将三种特征拼接在一起后经压缩和扩张完成特征选择；在压缩和扩张时，通过全局平均池化操作，将输入特征图转为特征向量后送入全连接层学习各个维度的注意力权重，并通过Sigmoid函数将权重限制于0到1之间，通过注意力权重和原本特征相乘，完成对全局或局部特征的自适应选择，生成自适应特征。
4.如权利要求3所示的息肉分割装置，其特征在于，所述全局特征包括颜色特征和形状特征；所述局部特征包括边缘特征和纹理特征。
5.一种存储介质，其特征在于，包括存储的计算机程序；其中，在所述计算机程序运行时，控制所述存储介质所在的设备执行如权利要求1-2任意一项所述的息肉分割方法。
CN202010717640.XA 2020-07-23 2020-07-23 一种息肉分割方法、装置及存储介质 Active CN111986204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010717640.XA CN111986204B (zh) 2020-07-23 2020-07-23 一种息肉分割方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010717640.XA CN111986204B (zh) 2020-07-23 2020-07-23 一种息肉分割方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111986204A CN111986204A (zh) 2020-11-24
CN111986204B true CN111986204B (zh) 2023-06-16

Family

ID=73439391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010717640.XA Active CN111986204B (zh) 2020-07-23 2020-07-23 一种息肉分割方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111986204B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634292B (zh) * 2021-01-06 2021-08-24 烟台大学 一种基于深度卷积神经网络的沥青路面裂缝图像分割方法
CN112862784A (zh) * 2021-02-08 2021-05-28 杭州深睿博联科技有限公司 基于非局部注意力机制的多期相融合器官分割方法及装置
CN113284146B (zh) * 2021-07-23 2021-10-22 天津御锦人工智能医疗科技有限公司 结直肠息肉图像的识别方法、装置及存储介质
CN113724276B (zh) * 2021-08-04 2024-05-28 香港中文大学（深圳） 一种息肉图像的分割方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN110197182A (zh) * 2019-06-11 2019-09-03 中国电子科技集团公司第五十四研究所 基于上下文信息和注意力机制的遥感影像语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于全局-局部特征和自适应注意力机制的图像语义描述算法;赵小虎;尹良飞;赵成龙;;浙江大学学报(工学版)(01);第131-139页 *

Also Published As

Publication number Publication date
CN111986204A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN111986204B (zh) 一种息肉分割方法、装置及存储介质
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN109492627B (zh) 一种基于全卷积网络的深度模型的场景文本擦除方法
CN111126258A (zh) 图像识别方法及相关装置
KR102332088B1 (ko) 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법
CN112927209B (zh) 一种基于cnn的显著性检测系统和方法
CN109389076B (zh) 图像分割方法及装置
CN112861690A (zh) 多方法融合的遥感影像变化检测方法及系统
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
CN111310766A (zh) 基于编解码和二维注意力机制的车牌识别方法
CN113379707A (zh) 一种基于动态滤波解耦卷积网络的rgb-d显著性检测方法
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN114639122A (zh) 一种基于卷积生成对抗网络的姿态修正行人再识别方法
CN114495916B (zh) 背景音乐的插入时间点确定方法、装置、设备和存储介质
CN113936235A (zh) 一种基于质量评估的视频显著性目标检测方法
CN113392791A (zh) 一种皮肤预测处理方法、装置、设备及存储介质
CN115222750A (zh) 基于多尺度融合注意力的遥感图像分割方法及系统
Tang et al. SDRNet: An end-to-end shadow detection and removal network
CN116980541B (zh) 视频编辑方法、装置、电子设备以及存储介质
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN115471718A (zh) 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质
CN115905613A (zh) 音视频多任务学习、评估方法、计算机设备及介质
CN112801960B (zh) 图像处理方法及装置、存储介质、电子设备
CN111539420B (zh) 基于注意力感知特征的全景图像显著性预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant