CN116128801A - 一种基于多任务学习的图像清洁度评估方法及相关装置 - Google Patents

一种基于多任务学习的图像清洁度评估方法及相关装置 Download PDF

Info

Publication number
CN116128801A
CN116128801A CN202211475103.4A CN202211475103A CN116128801A CN 116128801 A CN116128801 A CN 116128801A CN 202211475103 A CN202211475103 A CN 202211475103A CN 116128801 A CN116128801 A CN 116128801A
Authority
CN
China
Prior art keywords
feature
image
attention
module
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211475103.4A
Other languages
English (en)
Inventor
陈杰
田永鸿
高文
黄显淞
孔子尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202211475103.4A priority Critical patent/CN116128801A/zh
Publication of CN116128801A publication Critical patent/CN116128801A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种基于多任务学习的图像清洁度评估方法及相关装置，方法包括将待评估图像输入所述评估网络模型中的特征提取模块，通过所述特征提取模块确定所述待评估图像的若干特征图，将若干特征图输入所述评估网络膜中的预测模块，通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别。本申请通过特征提取模块提取若干特征图，然后通过预测模块基于若干特征图确定掩膜图以及清洁度类别，预测模块利用用于确定掩膜图的实例特征增强图像的清洁特征表现，聚焦图像所属器官的划分和图像的清洁度评估，从而可以快速确定清洁度满足预定要求的视频图像，进而使后续的病灶分割网络免受噪声场景的干扰，还能降低病灶检测的计算复杂程度。

Description

一种基于多任务学习的图像清洁度评估方法及相关装置
技术领域
本申请涉及医学图像处理技术领域，特别涉及一种基于多任务学习的图像清洁度评估方法及相关装置。
背景技术
消化道疾病是人类疾病中最常见的疾病之一，常见的包括溃疡、出血、息肉、肠道炎症以及肠道肿瘤。其中，因为小肠位于消化道中段且长度远远大于其他消化道器官(长度大于6米)，很难使用病理检查和侵入式腔镜对肠道进行全面的检查常规情况下，胶囊内腔镜作为非侵入式医学影像检查，成为了主流的消化道检测手段。在患者进行胶囊内腔镜检查前，需要保持肠道相对干净易于拍摄，这就要求患者禁食或服用适量的药品。但肠道清洁的效果往往不够理想，食物残渣、肠液和胆汁都会遮挡肠道粘膜。同时由于胶囊内腔镜本身不具备动力，仅仅随肠道蠕动进行拍摄，会存在失焦、反光、运动模糊等原因导致拍摄不到肠腔组织和粘膜的现象，使得采集得到图像中存在许多无效图像。而这些无效图像使得病灶分割过程中存储许多无效工作，影响了病灶分割的速度。
因而现有技术还有待改进和提高。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于多任务学习的图像清洁度评估方法及相关装置。
为了解决上述技术问题，本申请实施例第一方面提供了一种基于多任务学习的图像清洁度评估方法，所述方法应用评估网络模型，所述方法包括：
将待评估图像输入所述评估网络模型中的特征提取模块，通过所述特征提取模块确定所述待评估图像的若干特征图，其中，若干特征图的图像尺寸互不相同；
将若干特征图输入所述评估网络膜中的预测模块，通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别，其中，所述预测模块包括有用于执行跨任务交互注意的交互注意力层。
在一个实现方式中，所述特征提取模块包括若干特征提取单元，若干特征提取单元与若干特征图一一对应，每个特征图为其对应的特征单元的输出项，并为其对应的特征单元的后一特征单元的输入项。
在一个实现方式中，所述预测模块包括若干级联的预测单元，若干预测单元与若干特征图一一对应，所述通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别具体包括：
基于若干特征图中位于最下层的特征图以及位于最前的预测单元确定分割特征和分类特征；
基于所述分割特征与位于第二位的预测单元对应的特征图确定融合特征图，并基于所述融合特征图、分类特征及位于第二位的预测单元确定分割特征和分类特征；
依次类推直至位于最后的预测单元，以得到目标分割特征和目标分类特征；
基于所述目标分割特征与位于最上层的特征图确定所述待评估图像对应的掩膜图，基于目标分类特征确定所述待评估图像对应的清洁度类别。
在一个实现方式中，所述预测单元包括用于执行跨任务注意的交叉注意力层以及上采样层，上采样层的输入项为交叉注意力层输出的分割特征；位于最前的预测单元中的交叉注意力层的输入项为位于最下层的特征图，以及基于最下层的特征图确定的初始分类特征；其余预测单元中的交叉注意力层的输入项为前一预测单元中的上采样层的输出项和该预测单元对应的特征图的融合特征图，以及前一预测单元中交叉注意力层输出的分类特征。
在一个实现方式中，所述预测模块还包括全局平均池化层，所述全局平均池化层的输入项为若干特征图中位于最下层的特征图，所述全局平均池化层的输出项为基于位于最下层的特征图确定的初始分类特征。
在一个实现方式中，所述交叉注意力层包括分割注意力支路和分类注意力支路，其中，分割注意力支路和分类注意力支路均包括多头子注意力模块、第一融合模块、前馈网络模块以及第二融合块，其中，分割注意力支路中的第一融合模块的输入项为分割注意力支路中的多头子注意力模块的输出项和分类注意力支路中V值和K值；分类注意力支路中的第一融合模块的输入项为分类注意力支路中的多头子注意力模块的输出项和分割注意力支路中V值和K值。
在一个实现方式中，所述分割注意力支路中的多头子注意力模块的K值、V值以及Q值均是基于前一预测单元中的上采样层的输出项和预测单元对应的特征图的融合特征图确定，所述分类注意支路中的多头子注意力模块的K值、V值以及Q值均是基于前一预测单元中交叉注意力层输出的分类特征确定的。
本申请实施例第二方面提供了一种基于多任务学习的图像清洁度评估系统，所述系统包括：
特征提取模块，用于确定所述待评估图像的若干特征图，其中，若干特征图的图像尺寸互不相同；
预测模块，用于确定所述待评估图像对应的掩膜图以及清洁度类别。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于多任务学习的图像清洁度评估方法中的步骤。
本申请实施例第四方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的基于多任务学习的图像清洁度评估方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种基于多任务学习的图像清洁度评估方法及相关装置，所述方法包括将待评估图像输入所述评估网络模型中的特征提取模块，通过所述特征提取模块确定所述待评估图像的若干特征图，将若干特征图输入所述评估网络膜中的预测模块，通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别。本申请通过特征提取模块提取若干特征图，然后通过预测模块基于若干特征图确定掩膜图以及清洁度类别，预测模块利用用于确定掩膜图的实例特征增强图像的清洁特征表现，聚焦图像所属器官的划分和图像的清洁度评估，从而可以快速确定清洁度满足预定要求的视频图像，进而使后续的病灶分割网络免受噪声场景的干扰，还能降低病灶检测的计算复杂程度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的基于多任务学习的图像清洁度评估方法的流程图。
图2为本申请提供的基于多任务学习的图像清洁度评估方法的原理流程图。
图3为交叉注意力模块层的原理图。
图4为本申请提供的基于多任务学习的图像清洁度评估系统的结构原理图。
图5为本申请提供的终端设备的结构原理图。
具体实施方式
本申请提供一种基于多任务学习的图像清洁度评估方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
发明人经过研究发现，消化道疾病是人类疾病中最常见的疾病之一，常见的包括溃疡、出血、息肉、肠道炎症以及肠道肿瘤。其中，因为小肠位于消化道中段且长度远远大于其他消化道器官(长度大于6米)，很难使用病理检查和侵入式腔镜对肠道进行全面的检查常规情况下，胶囊内腔镜作为非侵入式医学影像检查，成为了主流的消化道检测手段。在患者进行胶囊内腔镜检查前，需要保持肠道相对干净易于拍摄，这就要求患者禁食或服用适量的药品。但肠道清洁的效果往往不够理想，食物残渣、肠液和胆汁都会遮挡肠道粘膜。同时由于胶囊内腔镜本身不具备动力，仅仅随肠道蠕动进行拍摄，会存在失焦、反光、运动模糊等原因导致拍摄不到肠腔组织和粘膜的现象，使得采集得到图像中存在许多无效图像。而这些无效图像使得病灶分割过程中存储许多无效工作，影响了病灶分割的速度。
在筛选胶囊内腔镜检查图片中的无效图像时，需要考虑两个方面的影响：一是由于病人的个体情况差异和术前肠道准备的充分程度不一，胆汁、气泡、食物残渣和浑浊肠内液体都会降低内腔镜图像的可视化程度并影响胶囊内腔镜图像的诊断能力。二是内腔镜因其视频的本体属性还存在时域性的图像质量降低因素，如失焦、运动模糊等对检测图像质量的影响。
基于此，在本申请实施例中，将待评估图像输入所述评估网络模型中的特征提取模块，通过所述特征提取模块确定所述待评估图像的若干特征图，将若干特征图输入所述评估网络膜中的预测模块，通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别。本申请所采用的评估网络模型为基于多任务学习的图像清洁度评估网络，通过特征提取模块提取若干特征图，然后通过预测模块基于若干特征图确定掩膜图以及清洁度类别，预测模块为利用用于确定掩膜图的实例特征增强图像的清洁特征表现，聚焦图像所属器官的划分和图像的清洁度评估，从而可以快速确定清洁度满足预定要求的视频图像，进而使后续的病灶分割网络免受噪声场景的干扰，还能降低病灶检测的计算复杂程度。此外，预测得到的像素级掩码图更近似医生在观察检查图片的流程，同时提供给医生更具可解释性的参考。
下面结合附图，通过对实施例的描述，对申请内容作进一步说明。
本实施例提供了一种基于多任务学习的图像清洁度评估方法，如图1和图2所示，所述方法包括：
S10、将待评估图像输入所述评估网络模型中的特征提取模块，通过所述特征提取模块确定所述待评估图像的若干特征图。
具体地，所述评估网络模型为预先训练的，评估网络模型的输入项为待评估图像，输出项为待评估图像对应的掩膜图以及清洁度类别。其中，评估网络模型包括特征提取模块和预测模块，特征提取模型用于确定若干特图，预测模块为多任务预测模块，通过预测模块可以确定掩膜图以及清洁度类别。待评估图像为通过胶囊内腔镜采集得到内镜图像，其中，内镜图像可以为小肠内镜图像，也可以为其他部分的内径图像。在一个典型实现方式中，待评估图像为小肠内镜图像。
由于评估网络模型包括分类任务和分割任务，从而评估网络模型的整损失函数由两部分构成，分别为组织区域的像素级高层语义分割损失函数
Figure BDA0003959585480000071
和图像清洁度评估分类损失函数
Figure BDA0003959585480000072
由此，损失函数的计算公式如下所示：
Figure BDA0003959585480000073
其中，α是用于调整分割任务与分类任务损失比例的超参数，像素级高层语义分割损失函数
Figure BDA0003959585480000074
的计算公式如下：
Figure BDA0003959585480000075
其中，M表示类别数，N代表像素的总数，y(i,j)有两个取值0和1，当第j个像素预测类别与标注值相同时取1，否则取0，p(i,j)表示预测样本属于类别i的概率。
图像清洁度评估分类损失函数
Figure BDA0003959585480000076
的计算公式如下：
Figure BDA0003959585480000077
其中，M表示总类别数，yi和pi分别表示类别标签和预测属于类别i的概率。
在一个实现方式中，所述特征提取模块包括若干特征提取单元，若干特征提取单元与若干特征图一一对应，每个特征图为其对应的特征单元的输出项，并为其对应的特征单元的后一特征单元的输入项。其中，若干特征图为通过特征提取模块确定多尺度特征图，即各特征图的图像尺寸互不相同，其中，特征提取模块可以为ResNet50、ConvNeXt或者SwinTransformer等。若干特征图的确定过程可以为：给定一张待评估图像
Figure BDA0003959585480000078
Figure BDA0003959585480000079
通过特征提取模块F进行多尺度的特征提取，得到
Figure BDA00039595854800000710
Figure BDA00039595854800000711
在一个实现方式中，各特征提取单元均通过空洞卷积层进行下采样。
S20、将若干特征图输入所述评估网络膜中的预测模块，通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别。
具体地，掩膜图为待评估图像中的组织和其他肠道内容物的像素级掩码图，清洁度类别为待评估图像的清洁度类别，其中，清洁度类别可以包括不可见、模糊和清晰等。预测模块为多任务预测模块，多任务指的是分割任务和分类任务，其中，分割任务用于确定掩膜图，分类任务用于确定清洁度类别。由此，预测模块可以包括两个预测分支，一个预测分支为分割分支，分割分支用于组织语义分割以预测得到组织和其他肠道内容物的像素级掩码图；一个是分类分支，用于图像清晰度测量以得到清洁度类别。此外，预测模块中的两个预测分支并行，在将若干特征图输入预测模块后，预测模块的两个预测分支并行以同步得到掩膜图和清洁度类别。
在一个实现方式中，所述预测模块包括若干级联的预测单元，若干预测单元与若干特征图一一对应，所述通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别具体包括：
S21、基于若干特征图中位于最下层的特征图以及位于最前的预测单元确定分割特征和分类特征；
S22、基于所述分割特征与位于第二位的预测单元对应的特征图确定融合特征图，并基于所述融合特征图、分类特征及位于第二位的预测单元确定分割特征和分类特征；
S23、依次类推直至位于最后的预测单元，以得到目标分割特征和目标分类特征；
S24、基于所述目标分割特征与位于最上层的特征图确定所述待评估图像对应的掩膜图，基于目标分类特征确定所述待评估图像对应的清洁度类别。
具体地，在所述步骤S21中，预测单元包括用于执行跨任务注意的交叉注意力层以及上采样层，其中，分割特征为上采样层的输出项，分类特征为交叉注意力层的输出项，交叉注意力层与上采样层相连接，上采样层的输入项为交叉注意力层输出的分割特征。可以理解的是，交叉注意力层为预测单元中的分类分支，交叉注意力层和上采样层为预测单元中的分割分支，即各预测单元中的交叉注意力层依次连接形成分类分支，各预测单元中的交叉注意力层和上采样层依次连接形成分割分支。
如图2所示，预测单元的输入项包括用于分类任务的输入分类特征以及用于分割任务的输入分割特征，输出项包括分类特征和分割特征；其中，位于最前的预测单元的输入分割特征为最下层的特征图，输入分类特征为基于最下层的特征图确定特征向量，位于最前的预测单元输出的分类特征为交叉注意力层输出的分类特征，位于最前的预测单元输出的分割特征为上采样层输出的分割特征。在一个实现方式中，预测模块还包括全局平均池化层，全局平均池化层用于确定位于最前的预测单元的分类特征，其中，所述全局平均池化层的输入项为若干特征图中位于最下层的特征图，所述全局平均池化层的输出项为基于位于最下层的特征图确定的初始分类特征，所述初始分类特征为最前的预测单元的输入分类特征。
在步骤S22中，如图2所示，除位于最前的预测单元外的各预测单元中的交叉注意力层的输入项为前一预测单元中的上采样层的输出项和该预测单元对应的特征图的融合特征图，以及前一预测单元中交叉注意力层输出的分类特征。可以理解的，对于除位于最前的预测单元外的每个预测单元，该预测单元的输入分类特征为前一预测单元中交叉注意力层的输出的分类特征，该预测单元的输入分割特征为前一预测单元中的上采样层的输出项和该预测单元对应的特征图的融合特征图。此外，由于交叉注意力层用于对分类特征和分割特征进行融合，对于每个交叉注意力层，该交叉注意力层输入的分类特征的通道数和分割特征的通道数相同，其中，分割特征输入交叉注意力层之前，会被展开为一维表示，以使得分割特征和分类特征均为一维表示。
对于掩膜图来说，其是通过由特征提取模块以及预测模块中的分割分支构成的U-Net结构，其中，特征提取模块为U-Net结构的编码器，交叉注意力层和上采样层形成的分割分支为U-Net结构的解码器，解码器中的每一解码层的输出项均由对应特征提取模块中对应的特征提取单元的残差连接和经过交叉注意力层以及上采样层的高层特征加和得到，基于每一解码层的输出项可以表示为：
pi+1＝fi+1+UpSample(p'i)
其中，pi+1表示第i+1层解码层的输出项，随着i的增大，pi+1的分辨率逐渐增大，通道数逐渐减小；p'i表示第i层交叉注意力层输出的分割特征，UpSample()表示上采样操作。
对于清洁度类别来说，评估检测模型通过由多个交叉注意力层连接而成的分类分支确定，这样一方面使得交叉注意力层可以将用于分类特征和分割特进行融合，即将分类分支的分类特征与分割分支中作为分割特征的高层语义信息进行融合，这样可以利用病灶检测的实例特征增强图像的清洁度特征表示，从而可以提高清洁度类别的准确性。所述交叉注意力层输出的分类特征可以表示为：
c'i＝ICA(ci)
其中，ICA表示交叉注意力层，ci表示输入第i层交叉注意力层的分类特征，c'i表示通过第i层交叉注意力层将分类特征与分割特征融合后输出的分类特征。
在步骤S24中，最后一层解码层输出的分割特征pN为目标分割特征与位于最上的特征图的融合特征图，N为解码层的数量。在最后一层解码层输出的分割特征pN后，通过一层3×3卷积将通道数变换为类别数，并通过Softmax操作获得最终的像素级的掩码图，其中，像素级的掩码图表示为：
m＝Softmax(Conv(p4))
其中，m表示预测得到的掩码图，
Figure BDA0003959585480000101
M表示类别数量。
在最后一层交叉注意力层输出目标分类特征后，通过激活函数层将目标分类特征转换为清洁度类别概率序列，并基于清洁度类别概率序列确定待评估图像对应的清洁度类别。
在一个实现方式，为了更好地融合每一层的分割特征和分类特征，以缓解两任务学习任务差异对模型性能的影响，所述交叉注意力层采用跨任务的交叉注意力结构，通过跨任务的交叉注意力结构来执行任务的交叉注意力学习。相应的，交叉注意力层的计算过程可以表示为：
p'i,c'i＝ICA(pi,ci)
其中，pi,ci表示输入第i层交叉注意力层的分割特征和分类特征；p'i,c'i表示第i层交叉注意力层对输入的分割特征和分类特征进行融合后得到分割特征和分类特征。
如图3所示，所述交叉注意力层包括并行的分割注意力支路和分类注意力支路，其中，分割注意力支路用于确定分割特征，分类注意力支路用于确定分类任务，并且分割注意力支路对输入分割特征与输入分类特征进行交互学习，并输出分割特征，分类注意力支路对输入分类特征与输入分割特征进行交互学习，并输出分类特征。
进一步，分割注意力支路和分类注意力支路均包括多头子注意力模块、第一融合模块、前馈网络模块以及第二融合块，其中，第一融合块和第二融合块均包括加法器和规则化层。分割注意力支路中的第一融合模块的输入项为分割注意力支路中的多头子注意力模块的输出项和分类注意力支路中V值和K值；分类注意力支路中的第一融合模块的输入项为分类注意力支路中的多头子注意力模块的输出项和分割注意力支路中V值和K值。此外，在通过分割注意力支路确定得到候选分割特征后，通过前馈神经网络对候选分割特征进行增强，然后在将增强后的候选分割特征与输入分割特征进行融合，得到输出分割特征。同理，对分类注意力支路确定的候选分类特征后，通过前馈神经网络对候选分类特征进行增强，然后在将增强后的候选分类特征与输入分类特征进行融合，得到输出分类特征。其中，
为了进一步说明交叉注意力层，这里以分类特征Fc的计算为例：
首先，Fc经过全连接层的线性变换得到
Figure BDA0003959585480000111
和
Figure BDA0003959585480000112
Figure BDA0003959585480000113
其中，Wq,Wk,Wv分别是3个不同的权值矩阵。
其次，通过分类注意力分支计算得到类别和像素级的交叉注意力图并求得其与VFc的归一化积以得到F'c。
再次，经过前馈网络模块络对所求得的F'c进行空间变换以得到增强分类特征的表征能力的特征F'c'，其中，F'c'的表达式为：
F”c＝LayerNorm(FFN(Fc))
其中，FFN表示前馈网络模块。
最后，将F”c作为残差同原始特征Fc得到加和结果，将加和结果作为输出分类特征Fc。
综上所述，交叉注意力层输出的注意力特征可以表示为的过程可以表述为：
Figure BDA0003959585480000121
其中，Fc和Fs分别表示交叉注意力层的分类特征和分割特征，γ,β表示融合系数。
综上所述，本实施例提供了一种基于多任务学习的图像清洁度评估方法，所述方法包括将待评估图像输入所述评估网络模型中的特征提取模块，通过所述特征提取模块确定所述待评估图像的若干特征图，将若干特征图输入所述评估网络膜中的预测模块，通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别。本申请通过特征提取模块提取若干特征图，然后通过预测模块基于若干特征图确定掩膜图以及清洁度类别，预测模块利用用于确定掩膜图的实例特征增强图像的清洁特征表现，聚焦图像所属器官的划分和图像的清洁度评估，从而可以快速确定清洁度满足预定要求的视频图像，进而使后续的病灶分割网络免受噪声场景的干扰，还能降低病灶检测的计算复杂程度。
基于上述基于多任务学习的图像清洁度评估方法，本实施例提供了一种基于多任务学习的图像清洁度评估系统，如图4所示，所述系统包括：
特征提取模块100，用于确定所述待评估图像的若干特征图，其中，若干特征图的图像尺寸互不相同；
预测模块200，用于确定所述待评估图像对应的掩膜图以及清洁度类别。
基于上述基于多任务学习的图像清洁度评估方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的基于多任务学习的图像清洁度评估方法中的步骤。
基于上述基于多任务学习的图像清洁度评估方法，本申请还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多任务学习的图像清洁度评估方法，其特征在于，所述方法应用评估网络模型，所述方法包括：
将待评估图像输入所述评估网络模型中的特征提取模块，通过所述特征提取模块确定所述待评估图像的若干特征图，其中，若干特征图的图像尺寸互不相同；
将若干特征图输入所述评估网络膜中的预测模块，通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别，其中，所述预测模块包括有用于执行跨任务交互注意的交互注意力层。
2.根据权利要求1所述基于多任务学习的图像清洁度评估方法，其特征在于，所述特征提取模块包括若干特征提取单元，若干特征提取单元与若干特征图一一对应，每个特征图为其对应的特征单元的输出项，并为其对应的特征单元的后一特征单元的输入项。
3.根据权利要求1所述基于多任务学习的图像清洁度评估方法，其特征在于，所述预测模块包括若干级联的预测单元，若干预测单元与若干特征图一一对应，所述通过所述预测模块确定所述待评估图像对应的掩膜图以及清洁度类别具体包括：
基于若干特征图中位于最下层的特征图以及位于最前的预测单元确定分割特征和分类特征；
基于所述分割特征与位于第二位的预测单元对应的特征图确定融合特征图，并基于所述融合特征图、分类特征及位于第二位的预测单元确定分割特征和分类特征；
依次类推直至位于最后的预测单元，以得到目标分割特征和目标分类特征；
基于所述目标分割特征与位于最上层的特征图确定所述待评估图像对应的掩膜图，基于目标分类特征确定所述待评估图像对应的清洁度类别。
4.根据权利要求3所述基于多任务学习的图像清洁度评估方法，其特征在于，所述预测单元包括用于执行跨任务注意的交叉注意力层以及上采样层，上采样层的输入项为交叉注意力层输出的分割特征；位于最前的预测单元中的交叉注意力层的输入项为位于最下层的特征图，以及基于最下层的特征图确定的初始分类特征；其余预测单元中的交叉注意力层的输入项为前一预测单元中的上采样层的输出项和该预测单元对应的特征图的融合特征图，以及前一预测单元中交叉注意力层输出的分类特征。
5.根据权利要求4所述基于多任务学习的图像清洁度评估方法，其特征在于，所述预测模块还包括全局平均池化层，所述全局平均池化层的输入项为若干特征图中位于最下层的特征图，所述全局平均池化层的输出项为基于位于最下层的特征图确定的初始分类特征。
6.根据权利要求3所述基于多任务学习的图像清洁度评估方法，其特征在于，所述交叉注意力层包括分割注意力支路和分类注意力支路，其中，分割注意力支路和分类注意力支路均包括多头子注意力模块、第一融合模块、前馈网络模块以及第二融合块，其中，分割注意力支路中的第一融合模块的输入项为分割注意力支路中的多头子注意力模块的输出项和分类注意力支路中V值和K值；分类注意力支路中的第一融合模块的输入项为分类注意力支路中的多头子注意力模块的输出项和分割注意力支路中V值和K值。
7.根据权利要求5所述基于多任务学习的图像清洁度评估方法，其特征在于，所述分割注意力支路中的多头子注意力模块的K值、V值以及Q值均是基于前一预测单元中的上采样层的输出项和预测单元对应的特征图的融合特征图确定，所述分类注意支路中的多头子注意力模块的K值、V值以及Q值均是基于前一预测单元中交叉注意力层输出的分类特征确定的。
8.一种基于多任务学习的图像清洁度评估系统，其特征在于，所述系统包括：
特征提取模块，用于确定所述待评估图像的若干特征图，其中，若干特征图的图像尺寸互不相同；
预测模块，用于确定所述待评估图像对应的掩膜图以及清洁度类别。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于多任务学习的图像清洁度评估方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的基于多任务学习的图像清洁度评估方法中的步骤。
CN202211475103.4A 2022-11-23 2022-11-23 一种基于多任务学习的图像清洁度评估方法及相关装置 Pending CN116128801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211475103.4A CN116128801A (zh) 2022-11-23 2022-11-23 一种基于多任务学习的图像清洁度评估方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211475103.4A CN116128801A (zh) 2022-11-23 2022-11-23 一种基于多任务学习的图像清洁度评估方法及相关装置

Publications (1)

Publication Number Publication Date
CN116128801A true CN116128801A (zh) 2023-05-16

Family

ID=86298107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211475103.4A Pending CN116128801A (zh) 2022-11-23 2022-11-23 一种基于多任务学习的图像清洁度评估方法及相关装置

Country Status (1)

Country Link
CN (1) CN116128801A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740363A (zh) * 2023-08-15 2023-09-12 苏州凌影云诺医疗科技有限公司 一种基于肠道区域分割的清洁度检测方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740363A (zh) * 2023-08-15 2023-09-12 苏州凌影云诺医疗科技有限公司 一种基于肠道区域分割的清洁度检测方法和系统
CN116740363B (zh) * 2023-08-15 2023-10-13 苏州凌影云诺医疗科技有限公司 一种基于肠道区域分割的清洁度检测方法和系统

Similar Documents

Publication Publication Date Title
Maier et al. A gentle introduction to deep learning in medical image processing
AU2019431299B2 (en) AI systems for detecting and sizing lesions
JP2021513435A (ja) 胃腸腫瘍を診断するシステム及び方法
CN112639865A (zh) 图像处理系统、学习完毕模型和图像处理方法
CN113496489A (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN113470029B (zh) 训练方法及装置、图像处理方法、电子设备和存储介质
CN114187296B (zh) 胶囊内窥镜图像病灶分割方法、服务器及系统
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
Yang et al. Efficient and robust instrument segmentation in 3D ultrasound using patch-of-interest-FuseNet with hybrid loss
CN113781489A (zh) 一种息肉影像语义分割方法及装置
CN116128801A (zh) 一种基于多任务学习的图像清洁度评估方法及相关装置
Singh et al. Lung tuberculosis detection using anti-aliased convolutional networks
WO2020019739A1 (zh) 血管壁斑块分割方法、装置及计算机可读存储介质
EP4260295A1 (en) Self-supervised machine learning for medical image analysis
CN113822289A (zh) 图像降噪模型的训练方法、装置、设备及存储介质
CN116547694A (zh) 用于对模糊图像去模糊的方法和系统
Galdran et al. Real-time informative laryngoscopic frame classification with pre-trained convolutional neural networks
Arjmand et al. Transfer learning versus custom CNN architectures in NAFLD biopsy images
Yang et al. RAU-Net: U-Net network based on residual multi-scale fusion and attention skip layer for overall spine segmentation
KR20200067052A (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
Ali et al. One step surgical scene restoration for robot assisted minimally invasive surgery
CN114584675A (zh) 一种自适应视频增强方法和装置
Van Houtte et al. A deep learning approach to horse bone segmentation from digitally reconstructed radiographs
Manshadi et al. Colorectal Polyp Localization: From Image Restoration to Real-time Detection with Deep Learning
Khan et al. Voting neural network (vnn) for endoscopic image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination