CN117911357A - 一种基于深度聚类标签修正的肠镜清洁度评价方法及系统 - Google Patents

一种基于深度聚类标签修正的肠镜清洁度评价方法及系统 Download PDF

Info

Publication number
CN117911357A
CN117911357A CN202410062418.9A CN202410062418A CN117911357A CN 117911357 A CN117911357 A CN 117911357A CN 202410062418 A CN202410062418 A CN 202410062418A CN 117911357 A CN117911357 A CN 117911357A
Authority
CN
China
Prior art keywords
cleanliness
image
clustering
deep
enteroscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410062418.9A
Other languages
English (en)
Inventor
刘恩彤
叶旺旺
严佳杰
何必仕
徐哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202410062418.9A priority Critical patent/CN117911357A/zh
Publication of CN117911357A publication Critical patent/CN117911357A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度聚类标签修正的肠镜清洁度评价方法及系统，方法如下：步骤1：获取肠道内窥镜图像并进行预处理；步骤2：应用BBPS准则，对肠道内窥镜图像的合适性进行筛选；步骤3：在BBPS标准下，对筛选后肠道内窥镜图像的清洁度进行深度聚类分级，获得优化模型参数；步骤4：加载所述的优化模型参数，对待处理的肠道内窥镜图像进行清洁度评价。本发明能够灵活地适应多样性的肠镜图像特征，为后续研究提供了更多样本的标注机会，辅助缩小标注范围。

Description

一种基于深度聚类标签修正的肠镜清洁度评价方法及系统
技术领域
本发明属于深度学习和医学图像处理技术领域，尤其涉及一种基于深度聚类标签修正的肠镜清洁度评价方法及系统。
背景技术
结肠镜检查是检测结肠病变的技术手段，但其必须在结肠清洁的情况下才能有效进行。所以，充分的肠道清洁准备对腺瘤检出率和盲肠插管率等关键指标具有重要影响，是全面检查结肠粘膜的必要条件。在结肠镜检查中，可靠的肠道准备评估是质控的重点。目前，只有少数几个经过验证的肠道准备量表得到广泛应用，包括Aronchick量表、渥太华肠道准备量表和波士顿肠道准备量表(BBPS)等。BBPS被认为是一种被推荐使用的标准化方法。首先，在没有客观评估的情况下，内窥镜医师在可接受的清洁程度上可能存在很大差异。其次，内窥镜医生可能会有自己对合理清洁的结肠段的定义，根据时间限制或疲劳等外部变量改变他们的清洁力度。最后，由于对记忆的依赖，术后肠准备质量评分可能不准确，这些都会影响肠道准备的科学评估。
文献[1](Low D J,Zhuoqiao H,Sechiv J,et al.Automated Detection ofBowel Preparation Scoring and Adequacy With Deep Convolutional NeuralNetworks[J].Journal of the Canadian Association of Gastroenterology[2023-12-11].DOI:10.1093/jcag/gwac013.)根据BBPS标准运用深度网络对图像进行四分类，计算平均分实现肠道准备评价。但是会出现大部分图像未淹没在不透明液体中、反光、结肠管腔收缩以及使用喷水器的情况，误判增多评估结果被干扰。文献[2](李昊,于天成,刘奇为.肠道清洁度的检测方法及装置:202210402593[P][2023-12-11].)结合拍摄区域信息，确定肠道不清洁图像占比，并根据预设清洁度权重系数进行加权求和。这种加权的方式在更新数据分布或与训练样本特征不相似时泛化性差。目前关于肠道清洁度公共数据集只有Nerthus，其包含的特征较少，因此需要扩充数据集。此时如果经验匮乏则会出现标注不准确现象，若要修正则需要医生辅助，分数划定具有较强的主观性，需要多人商定，导致需要耗费大量的人工和时间成本。
因此，在缺乏标注或标签模糊的场景下，判断图片是否适用于BBPS标准，设计自适应修正模糊标签的深度聚类方法，计算肠镜清洁度，能够根据数据的分布和特征自动调整聚类结果，更好地适应不同清洁度的肠道图像，降低对手工标注的依赖性，减少了人工标注的成本和时间，使算法更具可扩展性和实用性，是本领域亟需实现的目标。
发明内容
针对现有技术肠镜清洁度评价方法存在的问题，本发明提出了一种基于深度聚类标签修正的肠镜清洁度评价方法及系统。波士顿肠道准备量表作为评价标准，采用swintransformer作为筛选网络，筛除不适应于此准则且有可能误诊的图片，以保证高质量计算；再经深度聚类学习逐帧区分清洁度，结合真伪标签对模糊标注进行优化修正，根据帧得分计算清洁度结果。
本发明方法，具体包含以下步骤：
一种基于深度聚类标签修正的肠镜清洁度评价方法，按如下步骤：
步骤1：获取肠道内窥镜图像并进行预处理；
步骤2：应用BBPS准则，对肠道内窥镜图像的合适性进行筛选；
步骤3：在BBPS标准下，对筛选后肠道内窥镜图像的清洁度进行深度聚类分级，获得优化模型参数；
步骤4：加载所述的优化模型参数，对待处理的肠道内窥镜图像进行清洁度评价。
优选的，步骤1：肠道内窥镜数据准备及预处理
本发明针对的是肠道内窥镜图片，将视频截取为从回盲部结束到出镜体外的片段，再剪切成图像帧。这些图像分为两部分：一部分构成训练集，用于区分带有设备、气泡、出血、模糊四种情况的图像，通过使用图像的均值和标准差进行归一化。另一部分则是无标注的待分类数据集，用于有效性测试。
优选的，步骤2：应用BBPS准则的合适性筛选
波士顿准则，又称BBPS(Boston Bowel Preparation Scale)是一种被广泛用于结肠镜检查清洁度评估的标准。该准则对结肠镜检查中的右半结肠、横结肠和左半结肠进行综合评分，分别从0到3分，最终形成整个检查的清洁度分数，范围为0至9分。当检查过程中出现冲水清理操作，此时粪水会使镜头模糊或产生大量气泡；当摘除息肉或活检采样时，组织出血覆盖肠道，这些都会导致得分偏低。为降低这些高频操作对清洁度计算带来的影响，采用swin transformer作为筛选网络，对结肠图像的清晰度和合适性进行精确的评估，旨在有效地识别并过滤出不适合用于BBPS准则的结肠道内窥镜图像，进一步提高了结肠镜检测模型对于质量良好图像的训练和测试效果。
表1.波士顿肠道准备量表(BBPS)
优选的，步骤3：BBPS标准下的清洁度深度聚类分级
步骤3.1：基于深度卷积网络的特征提取及清洁度预测
将筛选后的图片输入至深度卷积网络，此处使用标准的AlexNet架构，由5个卷积层组成，分别有96、256、384、384和256个滤波器，三个完全连接的层。删除局部响应规范化层，并使用批处理规范化。用基于Sobel滤波器的固定线性变换来去除颜色并增加局部对比度。经过网络将图像转换为可用于聚类的特征向量，同时也给出初步的分类预测结果。
步骤3.2：聚类生成伪标签
卷积网络将原始图像映射到固定维向量空间，用fθ表示卷积映射，其中θ是相应参数的集合。此映射应用到图像上得到的向量称为特征或表示。给定训练集X＝{x1,x2,...,xN}，目标是找到一个参数θ*，使得映射产生良好的通用特征。采用K均值方法，随机选择k个数据点作为初始聚类中心，通过交替的分配数据点到最近的聚类中心和更新聚类中心的步骤来迭代进行优化。计算标准测度函数，直到达到最大迭代次数则停止，否则继续操作确定最优的聚类中心。由卷积网络产生的特征fθ(xn)，并根据几何准则将它们聚类成k个不同的组。共同学习一个d*k的质心矩阵C和每个图像n的聚类分配yn。
其中，Rd×k为d×k维度的实数矩阵，训练集X＝{x1,x2,...,xN}，样本总数量为N，表示X中的第n个样本xn聚类结果为yn时对应的质心矩阵；
根据公式(1)可得一组最优分配和一个质心矩阵C*。然后将对应xn的最优分配值/>用作伪标签，不用质心矩阵。该算法可以保证较好的伸缩性，同时算法复杂度低。
步骤3.3：真伪标签协同标签修正及参数更新
若数据集本身有标注，但是部分数据类别模糊，将真实标签加入进行伪标签修正，不确定部分仍然保持伪标签，控制每次聚类伪标签的主要方向。通过深度卷积网络预测类别标签，对特征聚类产生伪标签，两种方法之间交替使用来更新卷积网络的参数，达到深度聚类的目的。使用多项逻辑损失函数，小批量随机梯度下降和反向传播来计算梯度。判别模型学习类之间的决策边界，可能出现最优的决策边界将所有输入分配到单个聚类的问题。此时随机选择一个非空簇，并使用具有小随机扰动的质心作为空簇的新质心，将属于非空聚类的点重新分配给两个结果聚类。当每个类的图像数量高度不平衡时，会出现少数标签主导整个分布问题。为规避这个问题采取基于类的均匀分布或伪标签对图像进行采样。
使用归一化互信息(NMI)来度量相同数据的两个不同赋值A和B之间共享的信息，其中I表示互信息，H表示熵。该度量可以应用于来自聚类或真标签的任何分配。如果A和B两个赋值是独立的，则NMI等于0。如果其中一个可以确定地预测另一个，则NMI等于1。
优选的，步骤4：模型验证及应用
模型验证中，加载上述步骤训练得到的优化模型参数，将待处理的视频进行标准化切分操作，并统一视频帧大小。应用训练好的swin transformer网络筛除不适合应用BBPS准则的肠镜图片，将剩余部分作为测试使用。载入之前通过训练得到的深度聚类模型的权重和结构，若测试时有部分确定标签，使用训练好的深度聚类网络预测清洁度。将聚类结果可视化，检查每个聚类的代表性样本，分析聚类是否符合预期。若含模糊标签的半监督情况下准确率达到80％，或无标签的无监督情况下准确率达到60％，此时可供辅助实际标注应用。以上条件若符合则按照公式(3)计算总清洁度：
其中参加测试共N帧，S＝{s1,s2,...,sN}集合中分别对应为第n帧的清洁度得分，逐帧求和结果取平均向下整数得总肠道清洁度。
本发明还公开了一种基于深度聚类标签修正的肠镜清洁度评价系统，其包括如下模块：
图像获取模块：获取肠道内窥镜图像并进行预处理；
筛选模块：应用BBPS准则，对肠道内窥镜图像的合适性进行筛选；
模型参数优化模块：在BBPS标准下，对筛选后肠道内窥镜图像的清洁度进行深度聚类分级，获得优化模型参数；
评价模块：加载所述的优化模型参数，对待处理的肠道内窥镜图像进行清洁度评价。
本发明的有益效果如下：
本发明提出了一种基于深度聚类标签修正的肠镜清洁度评价方法及系统。波士顿肠道准备量表作为评价标准，筛除不适应于此准则且有可能误导诊断的图片，保证高质量计算。采用深度聚类学习逐帧区分清洁度，结合真伪标签对模糊标注进行优化修正，针对特征不断调整聚类中心和卷积参数得到预期标注分数，根据帧得分计算清洁度结果。本发明能够灵活地适应多样性的肠镜图像特征，为后续研究提供了更多样本的标注机会，辅助缩小标注范围，有助于促进技术进步。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍，附图构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。本领域技术人员应该理解，这些附图未必是按照比例绘制的。附图中：
图1为本发明优选实施例基于深度聚类标签修正的肠镜清洁度评价方法的总体流程图；
图2为本发明优选实施例中的波士顿肠道准备量表各等级示意图；
图3为本发明优选实施例中的深度聚类标签修正全程示意图；
图4为本发明优选实施例基于深度聚类标签修正的肠镜清洁度评价系统框图；
图5为本发明优选实施例模型参数优化模块的子模块结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用于说明和解释本申请，并不用于限定本申请。
如图1所示，本实施例基于深度聚类标签修正的肠镜清洁度评价方法，具体步骤如下：
步骤1：肠道内窥镜数据准备及预处理
本实施例采用的是Nerthus肠镜公开数据集，其中包含按照波士顿量表诊断过程中肠镜清洁度0到4分的分类结果，其中，BBPS通常涉及将结肠分为三个部分右半结肠、横结肠、左半结肠，然后分别对每个部分进行评分。评分通常基于黏膜可视度和肠道清晰度等方面。高分表示肠道准备较好，而低分可能表示肠道清理不足。同时采用的是hyper-kvasir胃肠镜公开数据集，其中包含诊断过程中胃肠镜重要信息，如回盲瓣、盲肠、息肉、直肠后弯等组成关键特征，同时也有对应无标签完整视频。将视频剪切为从回盲部结束到出镜体外的片段，并以每秒10帧的速度处理成图像。在此过程中，视频不包含任何患者标识符，多余的边框被裁剪，仅提取结肠腔图像。一部分构成训练集，用于带有设备、气泡、出血、模糊四种情况的图像。另一部分则是无标注的待分类数据集，用于有效性测试。利用图像的均值和标准差进行归一化，使得数据分布满足标准正态分布，再将图片统一缩放到(3,224,224)。
表2.Nerthus肠道清洁度数据集分布
步骤2：应用BBPS准则的合适性筛选
采用swin transformer作为筛选网络，做五分类区分设备、气泡、出血、模糊、正常，对结肠图像的清晰度和合适性进行精确的评估。使用在大规模图像数据上预训练过的模型参数。修改模型的输出层的神经元数量应为5，将其适应任务的分类数。选择交叉熵损失函数和Adam优化器。按照8:1:1的比例将数据集随机划分为训练集、测试集和验证集在每个训练迭代中，计算损失并使用反向传播算法更新模型的权重。将得到的正常类别的图像用来进一步分析处理，这一筛选步骤有助于确保模型的训练数据集包含高质量的、符合BBPS准则的结肠图像，从而提高模型在实际应用中的可靠性。
步骤3：BBPS标准下的清洁度深度聚类分级
步骤3.1：基于卷积网络的特征提取及清洁度预测
AlexNet输入为RGB三通道的(3,224,224)大小的图像。包含5个卷积层的参数变化为(96,3,11,11)→(256,96,5,5)→(384,256,3,3)→(384,384,3,3)→(256,384,3,3)，经过3个池化层，3个全连接层最后变为(5,4096)。其中，每个卷积层都包含卷积核、偏置项、非线性激活函数和局部响应归一化模块。第1、2、5个卷积层后面都伴随一个最大池化层，后三个层为全连接层。一部分最终输出层softmax，将网络输出转化为概率值，用于预测图像的类别。另一部分停留在最后的特征序列用于接下来的聚类操作。
步骤3.2：聚类生成伪标签
对中心裁剪后的图像特征进行聚类，并在训练网络时执行数据增强，随机水平翻转和随机大小和宽高比的裁剪等。该网络使用dropout且步长恒定，根据均方误差调整权重θ，动量设置为0.9来训练。每个小批量包含256个图像，对整个数据集进行前向传递。本实施例采用K均值方法，随机选择k个数据点作为初始聚类中心，通过交替的分配数据点到最近的聚类中心和更新聚类中心的步骤来迭代进行优化。计算标准测度函数，直到达到最大迭代次数则停止，否则续操作确定最优的聚类中心。
用fθ表示卷积映射，θ是相应参数的集合。此映射应用到图像上得到的向量称为特征或表示。给定训练集X＝{x1,x2,...,xN}，对应卷积网络产生的特征fθ(xn)，并根据几何准则将它们聚类成k个不同的组。共同学习一个d*k的质心矩阵C，每个图像xn与对应的的聚类分配为yn，其中y∈{0,1}k。最小化可得一组最优分配和一个质心矩阵C*，将这些赋值用作伪标签。为跟好权衡参数更新和集群重新分配之间的关系，每轮都重新分配集群。在对数尺度上改变k，经过相同轮次后的性能可能无法直接比较，但它反映了本工作中使用的超参数选择过程。当k＝10000时性能最佳，在ImageNet上训练模型，产生最好的结果时k＝1000，故对于肠道清洁度任务时一些过度分割是有益的。
步骤3.3：真伪标签协同标签修正及参数更新
将明确的真实标签加入进行伪标签修正，不确定部分仍然保持伪标签，控制每次聚类伪标签的主要方向。通过深度卷积网络预测类别标签，对特征聚类产生伪标签，两种方法之间交替使用来更新卷积网络的参数，达到深度聚类的目的。每个图像xn与对应的标签yn相关联，其中y∈{0,1}k。这个标签表示图像与k个可能的预定义类之一的隶属关系。参数化分类器gW在特征fθ(xn)上预测正确的标签。分类器的参数W和映射θ的参数优化方法如公式(4)所示:
其中，l为多项逻辑损失函数，使用小批量随机梯度下降和反向传播来计算梯度。
判别模型学习类之间的决策边界，可能出现最优的决策边界将所有输入分配到单个聚类的问题，这是由于缺乏防止空簇的机制造成的。故在K均值优化特征期间自动重新分配空簇，即当一个簇变成空簇时，随机选择一个非空簇，并使用其具有小随机扰动的质心作为空簇的新质心，将属于非空聚类的点重新分配给两个结果聚类。
如果绝大多数图像被分配到几个簇中，参数θ可以进行有效区分。但在某集群特征明显或数量偏多的情况下，除此集群之外，所有其他集群都属于单例，最小化损失函数会产生价值很小的参数优化，无论输入是何类别，卷积将输出同类别的预测。在监督分类中，当每个类的图像数量高度不平衡时，也会出现少数标签主导整个分布问题。为规避这个问题，采取基于类的均匀分布或伪标签对图像进行采样，此时输入对损失函数的贡献加权为其分配的簇大小的倒数。
使用归一化互信息(NMI)来度量相同数据的两个不同赋值A和B之间共享的信息，其中I表示互信息H表示熵。该度量可以应用于来自聚类或真标签的任何分配。如果A和B两个赋值是独立的，则NMI等于0。如果其中一个可以确定地预测另一个，则NMI等于1。训练过程中聚类分配和标签之间NMI的演变，体现模型预测类级别信息的能力。将此度量用于分析，而不是用于模型选择。聚类和标签之间的依赖性随着时间的推移而增加，逐渐捕获特征与对象类相关的信息。
在每轮将图像重新分配到一组新的簇中，不保证稳定性。在t-1轮和t轮时测量集群之间的NMI可以洞察模型的实际稳定性。NMI正在增加，这意味着重新分配越来越少，集群随着时间的推移趋于稳定。若NMI的饱和度低于0.8，这意味着很大一部分图像会在不同的时期被定期重新分配。在实践中，这对训练没有影响，模型也不会发散。
步骤4：模型验证及应用
模型验证中，加载上述步骤训练得到的优化模型参数，将待处理的视频进行标准化切分操作，留存回盲结束到最后一张体内的部分，并统一视频帧大小为(3,224,224)，以确保输入符合模型的要求。应用训练好的swin transformer网络筛除设备、气泡、出血、模糊四种不适合应用BBPS准则的肠镜图片，将剩余部分作为测试使用。载入之前通过训练得到的深度聚类模型的权重和结构，若测试时有部分确定标签，使用训练好的深度聚类网络预测清洁度，使用测试数据进行前向传播，获取每个样本在聚类空间中的表示。利用聚类算法对模型输出进行分析，将样本划分为不同的聚类。将聚类结果可视化，检查每个聚类的代表性样本，分析聚类是否符合预期。含模糊标签的半监督情况下准确率为80.5％，无标签的无监督情况下准确率为65.3％，此时可供辅助实际标注应用。得到帧的清洁度得分，逐帧求和结果取平均向下整数得总肠道清洁度。
如图4-5所示，本实施例公开了一种基于深度聚类标签修正的肠镜清洁度评价系统，其特征是包括如下模块：
图像获取模块：获取肠道内窥镜图像并进行预处理；
筛选模块：应用BBPS准则，对肠道内窥镜图像的合适性进行筛选；
模型参数优化模块：在BBPS标准下，对筛选后肠道内窥镜图像的清洁度进行深度聚类分级，获得优化模型参数；
评价模块：加载所述的优化模型参数，对待处理的肠道内窥镜图像进行清洁度评价。
本实施例的图像获取模块中，获取肠道内窥镜图像，图像分为两部分：第一部分构成训练集，用于区分不同情况的图像，通过使用图像的均值和标准差进行归一化；第二部分是无标注的待分类数据集，用于测试有效性。
本实施例的筛选模块中，采用swin transformer作为筛选网络，对结肠图像的清晰度和合适性进行评估，识别并过滤不适用于BBPS准则的结肠道内窥镜图像。
本实施例的模型参数优化模块具体包括如下子模块：
特征提取及预测子模块：将筛选后的图像输入至深度卷积网络，采用标准的AlexNet架构，由5个卷积层组成，分别有96、256、384、384和256个滤波器，三个完全连接的层；删除局部响应规范化层，并使用批处理规范化；用基于Sobel滤波器的固定线性变换去除颜色并增加局部对比度；
伪标签生成子模块：卷积网络将原始图像映射到固定维向量空间，用fθ表示卷积映射，其中θ是相应参数的集合；将映射应用到图像上得到的向量称为特征或表示；给定训练集X＝{x1,x2,...,xN}，目标是找到一个参数θ*，使得映射产生良好的通用特征；采用K均值方法，随机选择k个数据点作为初始聚类中心，通过交替的分配数据点到最近的聚类中心和更新聚类中心来迭代进行优化；计算标准测度函数，直至达到最大迭代次数则停止，否则继续迭代确定最优的聚类中心；由卷积网络产生的特征fθ(xn)，并根据几何准则聚类成k个不同的组；共同学习d*k的质心矩阵C和每个图像n的聚类分配yn；
其中，Rd×k为d×k维度的实数矩阵，训练集X＝{x1,x2,...,xN}，样本总数量为N，表示X中的第n个样本xn聚类结果为yn时对应的质心矩阵。
根据公式(1)得到最优分配和质心矩阵C*；然后对应xn的最优分配结果/>用作伪标签；
标签修正及参数更新子模块：采取基于类的均匀分布或伪标签对图像进行采样；
采用归一化互信息来度量相同数据的两个不同赋值A和B之间共享的信息，其中，I表示互信息，H表示熵；该度量应用于来自聚类或真标签的任何分配；如果A和B两个赋值是独立的，则归一化互信息等于0；如果其中一个能确定地预测另一个，则归一化互信息等于1。
本实施例的评价模块中，加载训练得到的优化模型参数，将待处理的视频进行标准化切分操作，并统一视频帧大小；应用训练好的swin transformer网络筛除不适用BBPS准则的肠镜图像，将剩余部分作为测试使用；载入通过训练得到的深度聚类模型的权重和结构，若测试时有部分确定标签，使用训练好的深度聚类网络预测清洁度；将聚类结果可视化，检查每个聚类的代表性样本，分析聚类是否符合预期；若符合，则按照公式(3)计算总清洁度：
其中，参加测试共N帧，S＝{s1,s2,...,sN}集合中分别对应为第n帧的清洁度得分，逐帧求和结果取平均向下整数得总肠道清洁度。
本实施例其他内容可参考上述方法实施例。
以上所述仅为本发明的优选实施例而已，但本发明的保护范围并不局限于此，凡在本发明的思想和原则之内，所作的任何修改、等同替换、改进等，均应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于深度聚类标签修正的肠镜清洁度评价方法，其特征是按如下步骤：
步骤1：获取肠道内窥镜图像并进行预处理；
步骤2：应用BBPS准则，对肠道内窥镜图像的合适性进行筛选；
步骤3：在BBPS标准下，对筛选后肠道内窥镜图像的清洁度进行深度聚类分级，获得优化模型参数；
步骤4：加载所述的优化模型参数，对待处理的肠道内窥镜图像进行清洁度评价。
2.如权利要求1所述一种基于深度聚类标签修正的肠镜清洁度评价方法，其特征是：步骤1中，获取肠道内窥镜图像，图像分为两部分：第一部分构成训练集，用于区分不同情况的图像，通过使用图像的均值和标准差进行归一化；第二部分是无标注的待分类数据集，用于测试有效性。
3.如权利要求1或2所述一种基于深度聚类标签修正的肠镜清洁度评价方法，其特征是：步骤2中，采用swin transformer作为筛选网络，对结肠图像的清晰度和合适性进行评估，识别并过滤不适用于BBPS准则的结肠道内窥镜图像。
4.如权利要求3所述一种基于深度聚类标签修正的肠镜清洁度评价方法，其特征是：步骤3具体如下：
步骤3.1：基于深度卷积网络的特征提取及清洁度预测
将筛选后的图像输入至深度卷积网络，采用标准的AlexNet架构，由5个卷积层组成，分别有96、256、384、384和256个滤波器，三个完全连接的层；删除局部响应规范化层，并使用批处理规范化；用基于Sobel滤波器的固定线性变换去除颜色并增加局部对比度；
步骤3.2：聚类生成伪标签
卷积网络将原始图像映射到固定维向量空间，用fθ表示卷积映射，其中，θ是相应参数的集合；将映射应用到图像上得到的向量称为特征或表示；给定训练集X＝{x1，x2，...，xN}，目标是找到一个参数θ*，使得映射产生良好的通用特征；采用K均值方法，随机选择k个数据点作为初始聚类中心，通过交替的分配数据点到最近的聚类中心和更新聚类中心来迭代进行优化；计算标准测度函数，直至达到最大迭代次数则停止，否则继续迭代确定最优的聚类中心；由卷积网络产生的特征fθ(xn)，并根据几何准则聚类成k个不同的组；共同学习d*k的质心矩阵C和每个图像n的聚类分配yn；
其中，Rd×k为d×k维度的实数矩阵，训练集X＝{x1，x2，...，xN}，样本总数量为N，表示X中的第n个样本xn聚类结果为xn时对应的质心矩阵；
根据公式(1)得到最优分配和质心矩阵C*；然后对应xn的最优分配结果/>用作伪标签；
步骤3.3：真伪标签协同标签修正及参数更新
采取基于类的均匀分布或伪标签对图像进行采样；
采用归一化互信息来度量相同数据的两个不同赋值A和B之间共享的信息，其中，I表示互信息，H表示熵；度量应用于来自聚类或真标签的任何分配；如果A和B两个赋值是独立的，则归一化互信息等于0；如果其中一个能确定地预测另一个，则归一化互信息等于1。
5.如权利要求4所述一种基于深度聚类标签修正的肠镜清洁度评价方法，其特征是：步骤4中，加载训练得到的优化模型参数，将待处理的视频进行标准化切分操作，并统一视频帧大小；应用训练好的swin transformer网络筛除不适用BBPS准则的肠镜图像，将剩余部分作为测试使用；载入通过训练得到的深度聚类模型的权重和结构，若测试时有部分确定标签，使用训练好的深度聚类网络预测清洁度；将聚类结果可视化，检查每个聚类的代表性样本，分析聚类是否符合预期；若符合，则按照公式(3)计算总清洁度：
其中，参加测试共N帧，S＝{s1，s2，...，sN}集合中分别对应为第n帧的清洁度得分，逐帧求和结果取平均向下整数得总肠道清洁度。
6.一种基于深度聚类标签修正的肠镜清洁度评价系统，其特征是包括如下模块：
图像获取模块：获取肠道内窥镜图像并进行预处理；
筛选模块：应用BBPS准则，对肠道内窥镜图像的合适性进行筛选；
模型参数优化模块：在BBPS标准下，对筛选后肠道内窥镜图像的清洁度进行深度聚类分级，获得优化模型参数；
评价模块：加载所述的优化模型参数，对待处理的肠道内窥镜图像进行清洁度评价。
7.如权利要求6所述一种基于深度聚类标签修正的肠镜清洁度评价系统，其特征是：图像获取模块中，获取肠道内窥镜图像，图像分为两部分：第一部分构成训练集，用于区分不同情况的图像，通过使用图像的均值和标准差进行归一化；第二部分是无标注的待分类数据集，用于测试有效性。
8.如权利要求6或7所述一种基于深度聚类标签修正的肠镜清洁度评价系统，其特征是：筛选模块中，采用swin transformer作为筛选网络，对结肠图像的清晰度和合适性进行评估，识别并过滤不适用于BBPS准则的结肠道内窥镜图像。
9.如权利要求8所述一种基于深度聚类标签修正的肠镜清洁度评价系统，其特征是：模型参数优化模块具体包括如下子模块：
特征提取及预测子模块：将筛选后的图像输入至深度卷积网络，采用标准的AlexNet架构，由5个卷积层组成，分别有96、256、384、384和256个滤波器，三个完全连接的层；删除局部响应规范化层，并使用批处理规范化；用基于Sobel滤波器的固定线性变换去除颜色并增加局部对比度；
伪标签生成子模块：卷积网络将原始图像映射到固定维向量空间，用fθ表示卷积映射，其中θ是相应参数的集合；将映射应用到图像上得到的向量称为特征或表示；给定训练集X＝{x1，x2，...，xN}，目标是找到一个参数θ*，使得映射产生良好的通用特征；采用K均值方法，随机选择k个数据点作为初始聚类中心，通过交替的分配数据点到最近的聚类中心和更新聚类中心来迭代进行优化；计算标准测度函数，直至达到最大迭代次数则停止，否则继续迭代确定最优的聚类中心；由卷积网络产生的特征fθ(xn)，并根据几何准则聚类成k个不同的组；共同学习d*k的质心矩阵C和每个图像n的聚类分配yn；
其中，Rd×k为d×k维度的实数矩阵，训练集X＝{x1，x2，...，xN}，样本总数量为N，表示X中的第n个样本xn聚类结果为yn时对应的质心矩阵；
根据公式(1)得到最优分配和质心矩阵C*；然后对应xn的最优分配结果/>用作伪标签；
标签修正及参数更新子模块：采取基于类的均匀分布或伪标签对图像进行采样；
采用归一化互信息来度量相同数据的两个不同赋值A和B之间共享的信息，其中，I表示互信息，H表示熵；度量应用于来自聚类或真标签的任何分配；如果A和B两个赋值是独立的，则归一化互信息等于0；如果其中一个能确定地预测另一个，则归一化互信息等于1。
10.如权利要求9所述一种基于深度聚类标签修正的肠镜清洁度评价系统，其特征是：评价模块中，加载训练得到的优化模型参数，将待处理的视频进行标准化切分操作，并统一视频帧大小；应用训练好的swin transformer网络筛除不适用BBPS准则的肠镜图像，将剩余部分作为测试使用；载入通过训练得到的深度聚类模型的权重和结构，若测试时有部分确定标签，使用训练好的深度聚类网络预测清洁度；将聚类结果可视化，检查每个聚类的代表性样本，分析聚类是否符合预期；若符合，则按照公式(3)计算总清洁度：
其中，参加测试共N帧，S＝{s1，s2，...，sN}集合中分别对应为第n帧的清洁度得分，逐帧求和结果取平均向下整数得总肠道清洁度。
CN202410062418.9A 2024-01-16 2024-01-16 一种基于深度聚类标签修正的肠镜清洁度评价方法及系统 Pending CN117911357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410062418.9A CN117911357A (zh) 2024-01-16 2024-01-16 一种基于深度聚类标签修正的肠镜清洁度评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410062418.9A CN117911357A (zh) 2024-01-16 2024-01-16 一种基于深度聚类标签修正的肠镜清洁度评价方法及系统

Publications (1)

Publication Number Publication Date
CN117911357A true CN117911357A (zh) 2024-04-19

Family

ID=90681626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410062418.9A Pending CN117911357A (zh) 2024-01-16 2024-01-16 一种基于深度聚类标签修正的肠镜清洁度评价方法及系统

Country Status (1)

Country Link
CN (1) CN117911357A (zh)

Similar Documents

Publication Publication Date Title
US11842556B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
CN110599448B (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
US20190156476A1 (en) Image analysis method, image analysis apparatus, program, learned deep layer learning algorithm manufacturing method and learned deep layer learning algorithm
JP2024045234A (ja) 腸の病理学のための画像スコアリング
CN111079620B (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN103198467B (zh) 图像处理装置以及图像处理方法
CN110796661B (zh) 基于卷积神经网络的真菌显微图像分割检测方法及系统
CN112819821B (zh) 一种细胞核图像检测方法
TW202004657A (zh) 大腸鏡影像電腦輔助辨識系統及方法
CN113261012B (zh) 处理图像的方法、装置及系统
CN114581709A (zh) 识别医学图像中的目标的模型训练、方法、设备及介质
Arjmand et al. Deep learning in liver biopsies using convolutional neural networks
CN114037011A (zh) 一种中医舌色噪声标注样本的自动识别与清洗方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
Foucart et al. Artifact identification in digital pathology from weak and noisy supervision with deep residual networks
Elguebaly et al. Bayesian learning of generalized gaussian mixture models on biomedical images
Kim et al. Deep learning-based fully automated grading system for dry eye disease severity
US20240070537A1 (en) Microscopy System and Method for Generating a Machine-Learned Model for Processing Microscope Data
CN112927215A (zh) 一种消化道活检病理切片自动分析方法
CN116977253B (zh) 用于内窥镜的清洁度检测方法及装置、电子设备和介质
CN111445456A (zh) 分类模型、网络模型的训练方法及装置、识别方法及装置
CN117911357A (zh) 一种基于深度聚类标签修正的肠镜清洁度评价方法及系统
Sanampudi et al. Local search enhanced optimal Inception-ResNet-v2 for classification of long-term lung diseases in post-COVID-19 patients

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination