CN116030303A - 一种基于半监督孪生网络的视频结直肠病变分型方法 - Google Patents
一种基于半监督孪生网络的视频结直肠病变分型方法 Download PDFInfo
- Publication number
- CN116030303A CN116030303A CN202310028752.8A CN202310028752A CN116030303A CN 116030303 A CN116030303 A CN 116030303A CN 202310028752 A CN202310028752 A CN 202310028752A CN 116030303 A CN116030303 A CN 116030303A
- Authority
- CN
- China
- Prior art keywords
- video
- network
- lesion
- supervised
- semi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000001575 pathological effect Effects 0.000 claims abstract description 38
- 238000012360 testing method Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 206010028980 Neoplasm Diseases 0.000 claims description 47
- 208000037062 Polyps Diseases 0.000 claims description 24
- 238000013145 classification model Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 19
- 208000012108 neoplastic polyp Diseases 0.000 claims description 13
- 210000001072 colon Anatomy 0.000 claims description 12
- 230000001613 neoplastic effect Effects 0.000 claims description 12
- 238000011282 treatment Methods 0.000 claims description 11
- 238000002052 colonoscopy Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 208000004804 Adenomatous Polyps Diseases 0.000 claims description 6
- 201000011510 cancer Diseases 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000002062 proliferating effect Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002757 inflammatory effect Effects 0.000 claims description 4
- 208000024312 invasive carcinoma Diseases 0.000 claims description 4
- 238000002271 resection Methods 0.000 claims description 4
- 238000001356 surgical procedure Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000000452 restraining effect Effects 0.000 abstract description 4
- 239000003550 marker Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000007170 pathology Effects 0.000 description 6
- 206010009944 Colon cancer Diseases 0.000 description 5
- 208000029742 colonic neoplasm Diseases 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 208000035269 cancer or benign tumor Diseases 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000003903 intestinal lesions Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于半监督孪生网络的视频结直肠病变分型方法，利用有病理标记的结直肠图像数据集和没有病理标记的结直肠视频检测数据集，以在正常白光下对病变种类预测，而不需要临床医生切换到窄带光下对病灶进行二次观察。通过约束视频连续帧之间的特征相似度与病理标记图像的预测结果，从而提高视频结直肠病变分类结果的稳定性和准确性。并在模型测试阶段引入测试时间训练方法，从而提高模型对特定样本的适应性从而提高其预测准确性。
Description
技术领域
本发明属于医学图像计算机处理技术领域，具体涉及一种基于半监督孪生网络的视频结直肠病变分型方法。
背景技术
结肠癌(CRC)是全球第三大常见的癌症，也是癌症中导致死亡人数第二多的癌症。经科学家研究，大多数结肠癌病例是由粘膜下肿瘤和肿瘤性息肉如腺瘤性息肉和锯齿状息肉发展而来。同时，根据其形态和浸润深度，癌症本身可分为四个发展阶段(T1、T2、T3和T4)。而通过定期的结肠镜筛查测试，可以及时预防、发现和诊断结肠癌。因此，对结肠镜图像上描绘的结直肠病变进行正确的分类和诊断，对病理检查结果的预后和后续治疗的设计具有重要意义。
随着计算机技术和深度学习模型的发展，越来越多的计算机辅助诊断技术也被引入到肠镜检查中。现如今，大多数市面上常用的计算机辅助诊断技术都是基于全监督的图片息肉分型模型。虽然这些模型已经得到了广泛运用，但他们都面临着两个问题。
首先，所有的工作都围绕着不全面的病理类型展开。例如，这些工作大多集中于在有限的息肉类型和癌症类型上，如增生性息肉、腺瘤性息肉和下浸润性癌症(T2、T3和T4癌症)。其他病变，如近年来已被发现与结肠癌密切相关的锯齿状息肉，粘膜下肿瘤和浅表性肿瘤(T1癌症)时常被忽略。
同时，它们只在图像层面的情况下实现了显著的性能，并且需要大量精确的图像注释，包括病理标签和病变区域(ROI)注释。这与现实的情况经常相矛盾。首先，结肠镜检查的输出是视频格式而不是图像格式，这意味着这些模型在实际应用时，将面临把视频的每一帧作为图像处理的问题。由于图像层面的模型没有考虑时间上的连续性，在对结肠镜视频进行实时预测时，由于镜头的移动和视野的暂时丧失，模型对同一病变的预测经常出现跳跃，这对结果的稳健性和准确性有很大影响。现有的结肠镜视频数据集常有掩膜或ROI注释，但很少有病理标签，更适合于检测和分割等任务，而非病理分类任务。因此，为了构建一个传统的视频级全监督学习结直肠病变分类模型，需要收集、预处理和注释大量的结肠镜视频，并对不同患者的病理标签进行匹配，由于整个数据收集和处理过程需要专业人士的参与，因此既费力又费资源。
现有技术多为图片级的全监督息肉分型模型，它们多针对于有限的结肠病变设计，没有使用一个能攘括结直肠主要病变的分类，无法即时给医生提供后续治疗方案的指导。同时，在对于肠镜视频时，由于没有考虑时空连贯性，其预测结果不具有鲁棒性。现今市面上视频级结直肠数据集多为仅拥有ROI注释或掩膜注释的视频检测/分割数据集，若构建视频级全监督学习结肠直肠病变分类模型，需要收集、预处理和注释大量的结肠镜视频，并对不同患者的病理标签进行匹配，十分耗时耗力。目前而言，领域内还未有半监督视频级结直肠病变分类方法的相关研究。
发明内容
为了解决现有技术存在的上述问题，本发明目的在于提供一种基于半监督孪生网络的视频结直肠病变分型方法，提出一个新颖的半监督孪生网络模型，可以在正常白光下对病变种类预测，而不需要临床医生切换到窄带光下对病灶进行二次观察；并通过模型测试提高模型对特定样本的适应性，从而提高其预测准确性。
本发明所采用的技术方案为：
一种基于半监督孪生网络的视频结直肠病变分型方法，包括有以下步骤：
S01，对结肠病变进行分类；
S02，创建基于半监督孪生网络的视频结直肠病变分类模型；
S03，使用肠镜设备做肠镜时，视频检测模型从肠镜设备的视频信息数据中提取结直肠病变区域数据信息，获得肠镜的视频检测结果；
S04，将结直肠病变区域数据信息输入基于半监督孪生网络的视频结直肠病变分类模型，基于半监督孪生网络的视频结直肠病变分类模型根据结直肠病变区域数据信息计算输出对应的结肠病变类型；
S05，将计算后的输出结果显示在肠镜设备的显示屏幕上。
进一步地，所述步骤S01中，按照后续治疗方式对结肠病变进行分类。
进一步地，将结肠病变划分为非肿瘤性息肉，肿瘤性病变，下浸润性癌症和黏膜下肿瘤四种类型；
非肿瘤性息肉包括炎症性息肉和增生性息肉，非肿瘤性息肉在结肠镜检查时直接切除，或者不做处理；
肿瘤性病变包括腺瘤型息肉、锯齿状息肉和T1癌症，肿瘤性病变在结肠镜下进行切除术，并对将切下的赘生物进行病理分析；
下浸润性癌症包括T2、T3、T4癌症；下浸润性癌症采用外科手术进行治疗；
黏膜下肿瘤采用黏膜下切除术进行治疗。
进一步地，所述S02步骤创建基于半监督孪生网络的视频结直肠病变分类模型包括以下操作内容：
S021，给定有病理标注的内窥镜图片数据集I＝{Ii}，将病变区域标注为RI＝{RIi}，定义病理分型为Y＝{yi}，其中yi∈P＝{非肿瘤性息肉，肿瘤性病变，下浸润性癌，黏膜下肿瘤}；
S022，给定无病理标注内窥镜视频数据集V＝{Vi}，将病变区域标注为RV＝{RVi}；其中，定义第i个视频的第j帧图像为Vi，j，则其对应病变区域标注为RVi，j；
S023，通过孪生网络对基于半监督孪生网络的视频结直肠病变分类模型进行半监督学习。
进一步地，所述步骤S04中，在将结直肠病变区域数据信息输入基于半监督孪生网络的视频结直肠病变分类模型前，先从肠镜设备的视频信息数据中中筛选出病变区域数据信息；
筛选病变区域数据信息包括以下操作内容：
按照病变标注从内窥镜图片和内窥镜视频分别裁剪出病变区域
与
进一步地，所述孪生网络包括有两条分支网络：在线网络和目标网络；
有病理标注的内窥镜图片数据仅由在线网络处理；
无病理标注的内窥镜视频数据则将表现同一息肉的不同帧分别输入在线网络与目标网络；
在训练过程中，根据在线网络的参数变化对目标网络的参数进行更新。
进一步地，所述孪生网络的框架图上下两个网络，即在线网络与目标网络的特征提取器结构皆为Vision Transformer架构。
借助目标网络fφ，训练在线网络中学习特征的骨干网络fθ与其MLP分类器；
其中，在线网络特征提取器和目标网络的参数分别由θ和φ表示。
进一步地，若输入的是有病理标注的图片数据
则将其进行切块之后输入到在线网络，通过特征提取后经过分类器得到分类结果
预测结果的误差结果由交叉熵损失函数Ls给出：
其中C代表种类数目；
若输入的为无病理标注的视频
则对于此视频第t帧，将其病变区域标注RVi，t与同一视频邻近帧的病变区域标注RVi，k进行IoU计算；
若两者IoU大于特定阈值α，模型即判断第t帧与第k帧所表示同一病变。
进一步地，训练时，K张表述同一病变的视频帧将被切块并随机掩膜后作为基准输入在线网络，经过特征提取器fθ后得到融合特征z1,...,zK；
同理，第t帧将被切块后输入目标网络，经过特征提取器fφ得到融合特征z'；
取所有层的特征使用对应元素相加的方法进行融合，非直接使用两个特征提取器最后一层特征；
同一病变不同帧的特征，对zk与z’的相似度用交叉熵损失函数Ls进行约束；
损失函数Lu最终表示为：
其中，γ>0为平均熵最大正则项的权重；
模型总损失函数则为：
L ＝ Ls + Lu (3)
只使用损失函数对在线网络的参数θ进行更新；
对于目标网络，其参数φ的更新则遵循(4)式：
φ←βφ+(1-β)θ(4)
其中β表示衰减速率。
最后，在测试阶段，引入测试时间训练的方法进行测试：
对于每个病变的测试视频片段，其前K帧先不参与预测；
先借助其帧间一致性信息对模型进行微调；
在线网络与从第K+1帧的共N-K帧参与最终的预测。
本发明的有益效果为：
一种基于半监督孪生网络的视频结直肠病变分型方法，利用有病理标记的结直肠图像数据集和没有病理标记的结直肠视频检测数据集，以在正常白光下对病变种类预测，而不需要临床医生切换到窄带光下对病灶进行二次观察。通过约束视频连续帧之间的特征相似度与病理标记图像的预测结果，从而提高视频结直肠病变分类结果的稳定性和准确性。并在模型测试阶段引入测试时间训练方法，从而提高模型对特定样本的适应性从而提高其预测准确性。
附图说明
图1是本发明实施例一基于半监督孪生网络的视频结直肠病变分型方法中的基于半监督孪生网络的视频结直肠病变分类模型整体结构图；
图2是本发明实施例一基于半监督孪生网络的视频结直肠病变分型方法中多尺度特征融合示意图；
图3是本发明实施例一基于半监督孪生网络的视频结直肠病变分型方法中接近帧间时空注意力模块示意图。
图4是本发明实施例一基于半监督孪生网络的视频结直肠病变分型方法测试过程流程原理示意图；
图5是本发明实施例一基于半监督孪生网络的视频结直肠病变分型方法训练过程流程原理示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者次序。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系或者运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
如图1～4所示，本发明提供一种基于半监督孪生网络的视频结直肠病变分型方法，整体策划方案为：
拟提出一个崭新的结直肠病变分类标准，此标准基本上包括所有常见的结直肠病变类型，可以依据分类类别为临床医生准确地提供相应的治疗建议。同时，拟提出一个新颖的半监督孪生网络模型，该模型利用有病理标记的结直肠图像数据集和没有病理标记的结直肠视频检测数据集，通过约束视频连续帧的特征相似度与病理标记图像的预测结果之间，以提高视频结直肠病变分类结果的稳定性和准确性。同时，在模型测试阶段，引入测试时间训练方法，以提高模型对特定样本的适应性从而提高其预测准确性。使得该模型可以在正常白光下对病变种类预测，而不需要临床医生切换到窄带光下对病灶进行二次观察。
具体地，一种基于半监督孪生网络的视频结直肠病变分型方法，包括有以下步骤：
S01，按照后续治疗方式将结肠病变划分为非肿瘤性息肉，肿瘤性病变，下浸润性癌症和黏膜下肿瘤四种类型；
非肿瘤性息肉包括炎症性息肉和增生性息肉，非肿瘤性息肉在结肠镜检查时直接切除，或者不做处理；
肿瘤性病变包括腺瘤型息肉、锯齿状息肉和T1癌症，肿瘤性病变在结肠镜下进行切除术，并对将切下的赘生物进行病理分析；
下浸润性癌症包括T2、T3、T4癌症；下浸润性癌症采用外科手术进行治疗；
黏膜下肿瘤采用黏膜下切除术进行治疗。
S02，创建基于半监督孪生网络的视频结直肠病变分类模型；
S021，通过收集的训练集创建模型，即为训练阶段；
给定有病理标注的内窥镜图片数据集I＝{Ii}，将病变区域标注为RI＝{RIi}，定义病理分型为Y＝{yi}，其中yi∈P＝{非肿瘤性息肉，肿瘤性病变，下浸润性癌，黏膜下肿瘤}；
S022，给定无病理标注内窥镜视频数据集V＝{Vi}，将病变区域标注为RV＝{RVi}；其中，定义第i个视频的第j帧图像为Vi，j，则其对应病变区域标注为RVi，j；
S023，通过孪生网络对基于半监督孪生网络的视频结直肠病变分类模型进行半监督学习。
S03，使用肠镜设备做肠镜时，视频检测模型从肠镜设备的视频信息数据中提取结直肠病变区域数据信息，获得肠镜的视频检测结果；
S04，将结直肠病变区域数据信息输入基于半监督孪生网络的视频结直肠病变分类模型，基于半监督孪生网络的视频结直肠病变分类模型根据结直肠病变区域数据信息计算输出对应的结肠病变类型；
在将结直肠病变区域数据信息输入基于半监督孪生网络的视频结直肠病变分类模型前，先从肠镜设备的视频信息数据中中筛选出病变区域数据信息；
筛选病变区域数据信息包括以下操作内容：
按照病变标注从内窥镜图片和内窥镜视频分别裁剪出病变区域
与
孪生网络包括有两条分支网络：在线网络和目标网络；
有病理标注的内窥镜图片数据仅由在线网络处理；
无病理标注的内窥镜视频数据则将表现同一息肉的不同帧分别输入在线网络与目标网络；
在训练过程中，根据在线网络的参数变化(即神经网络的参数，layer weights，优化器是AdamW)对目标网络的参数进行更新。
孪生网络的框架图上下两个网络，即在线网络与目标网络的特征提取器结构皆为Vision Transformer架构；
借助目标网络fφ，训练在线网络中学习特征的骨干网络fθ与其MLP分类器；
其中，在线网络特征提取器和目标网络的参数分别由θ和φ表示。
若输入的是有病理标注的图片数据
则将其进行切块之后输入到在线网络，使用特征提取器，即encoder进行提取，结构为Vision Transformer，提取的是图片高维特征，如纹理，颜色等图片信息；通过特征提取后经过分类器得到分类结果
预测结果的误差结果由交叉熵损失函数Ls给出：
其中C代表种类数目；
若输入的为无病理标注的视频
则对于此视频第t帧，将其病变区域标注RVi，t与同一视频邻近帧的病变区域标注RVi，k进行IoU计算；
若两者IoU大于特定阈值α，模型即判断第t帧与第k帧所表示同一病变。
训练时，K张表述同一病变的视频帧将被切块并随机掩膜后作为基准输入在线网络，经过特征提取器fθ后得到融合特征z1,...,zK；
同理，第t帧将被切块后输入目标网络，经过特征提取器fφ得到融合特征z'；
取所有层的特征使用对应元素相加的方法进行融合，非直接使用两个特征提取器最后一层特征；
同一病变不同帧的特征，对zk与z’的相似度用交叉熵损失函数Ls进行约束；
损失函数Lu最终表示为：
其中，γ>0为平均熵最大正则项的权重；
模型总损失函数则为：
L ＝ Ls + Lu (3)
只使用损失函数对在线网络的参数θ进行更新；
对于目标网络，其参数φ的更新则遵循(4)式：
φ←βφ+(1-β)θ(4)
其中β表示衰减速率。
在测试阶段，引入测试时间训练的方法进行测试：
对于每个病变的测试视频片段，其前K帧先不参与预测；
先借助其帧间一致性信息对模型进行微调；
在线网络与从第K+1帧开始的共N-K帧参与最终的预测。
在测试过程中，只有在线网络予以保留，所有测试图片/视频帧经过病变区域裁剪后送入在线网络的encoder提取特征z后送入MLP分类器进行分类，由于我们对一段视频会先采用前K帧进行微调，所以从第K+1帧的共N-K帧参与最终的预测。
S05，将计算后的输出结果显示在肠镜设备的显示屏幕上。
实际操作中首先提出一个新的分类标准，此标准包含基本的结直肠病变，而这个新的分类模式中的每个类别对应于其后续的治疗方式，如表1中所示，结肠病变大致分为四类，非肿瘤性息肉，肿瘤性病变，下浸润性癌症和黏膜下肿瘤。其中，非肿瘤性息肉包括炎症性息肉和增生性息肉。由于非肿瘤性息肉癌变的可能性极小，它们通常可以在结肠镜检查时直接切除，或者不做处理，以防止治疗后出现大出血。肿瘤性病变包括腺瘤型息肉、锯齿状息肉和T1癌症。肿瘤性病变是容易发生恶化的，因此其经常在结肠镜下进行切除，然后其切下的赘生物将被送去做病理分析。剩下的两类为包括T2、T3、T4癌症的下浸润性癌症及黏膜下肿瘤，应分别采用外科手术和黏膜下切除术进行治疗。在此标准下，肠道病变的诊断模型所给出的实时检测结果可以有效地为医生提供后续治疗方案的建议。
其次，本发明提出了基于半监督孪生网络的视频结直肠病变分类模型。模型包括以下步骤：
1)医生在使用肠镜设备做肠镜的同时，视频上结直肠病变区域将由视频检测模型给出，获得病人肠镜的视频检测结果。
2)将检测到的病变区域输入本发明提出的基于半监督孪生网络的视频结直肠病变分类模型，模型可自动给出对应输入中出现的病变的分类结果，在医生做肠镜的同时在屏幕检测框旁进行显示。
具体的，本发明的方案设计如下：
创建模型，即为训练阶段；
通过收集的训练集给定有病理标注内窥镜图片数据集I＝{Ii}，记其病变区域标注为RI＝{RIi}，其病理分型为Y＝{yi}，其中yi∈P＝{非肿瘤性息肉，肿瘤性病变，下浸润性癌，黏膜下肿瘤}。同理，通过收集的训练集给定无病理标注内窥镜视频数据集V＝{Vi}，记其病变区域标注为RV＝{RVi}。其中，对于第i个视频，我们记其第j帧为Vi，j，则其对应病变区域标注则为RVi，j。对于完整的内窥镜图片，我们的模型仅对感兴趣的对象区域，即病变区域进行预测。因此，在输入模型之前，图片与视频皆需按其病变标注分别裁剪出病变区域
与
本发明使用孪生网络来实现半监督学习，此网络由在线网络与目标网络两条分支构成。其中，有病理标注的图片数据仅由在线网络处理，而无病理标注的视频数据则将表现同一息肉的不同帧分别输入在线网络与目标网络。
例如：
第t帧输入在线网络，其相邻的第t+1,t+2，...,t+K帧输入目标网络，得到的K个特征(z1,...,zK)分别与第t帧的特征z’做一致性监督；
在训练过程中，目标网络的参数将会随着在线网络的参数变化而进行更新，即神经网络的参数随着在线网络的参数变化而进行更新，layer weights，优化器是AdamW。
网络框架图如图1所示，上下两个网络，即在线网络与目标网络的特征提取器结构皆为Vision Transformer架构。我们的目标是借助目标网络fφ，训练在线网络中学习特征的骨干网络fθ与其MLP分类器。其中，在线网络特征提取器和目标网络的参数分别由θ和φ表示。
如上所述，若输入的是有病理标注的图片数据
则将其进行切块之后输入到在线网络，使用特征提取器，即encoder进行提取，结构为Vision Transformer，提取的是图片高维特征，如纹理，颜色等图片信息；通过特征提取后经过分类器得到分类结果
预测结果的误差结果由交叉熵损失函数Ls给出：
其中C代表种类数目，此处为4。若输入的为无病理标注的视频
则对于此视频第t帧，将其病变区域标注RVi，t与同一视频邻近帧的病变区域标注RVi，k进行IoU计算。若两者IoU大于特定阈值α，模型即判断第t帧与第k帧所表示同一病变。训练时，K张表述同一病变的视频帧将被切块并随机掩膜后作为基准输入在线网络，经过特征提取器fθ后得到融合特征z1,...,zK。同理，第t帧将被切块后输入目标网络，经过特征提取器fφ得到融合特征z'。值得注意的是，在这里我们非直接使用两个特征提取器最后一层特征，而是如图2取所有层的特征使用对应元素相加的方法进行融合，以让模型不仅能学习到图片浅层的特征，也能总结深层的信息。对于不同帧的特征，由于表现的为同一病变，我们对zk与z’的相似度用交叉熵损失函数Ls进行约束。损失函数Lu最终可表示为：
其中，γ>0为平均熵最大正则项的权重。而模型总损失函数则为：
L ＝ Ls + Lu (3)
在训练中，我们只使用损失函数对在线网络的参数θ进行更新。对于目标网络，其参数φ的更新则遵循(4)式：
φ←βφ+(1-β)θ(4)
其中β表示衰减速率。
在测试阶段，我们引入了测试时间训练的方法。如图3所示，对于每个病变的测试视频片段，其前K帧先不参与预测，而是如同训练阶段一样先借助其帧间一致性信息对模型进行微调，使模型更加关注于现有的样本。最后，只有在线网络与从第K+1帧的共N-K帧参与最终的预测。
即：在测试过程中，只有在线网络予以保留，所有测试图片/视频帧经过病变区域裁剪后送入在线网络的encoder提取特征z后送入MLP分类器进行分类，由于我们对一段视频会先采用前K帧进行微调，所以从第K+1帧的共N-K帧参与最终的预测。
与全监督训练的息肉分割算法相比，本发明的技术方案仅仅依赖少量的标注数据，大大降低了数据标注的成本，在实际应用中更具有可行性。具体优势和创新点主要包括：
1)根据专业结肠镜医生的意见，提出了一个新的结直肠病变分类标准，基本上包括了所有常见的结直肠病变类型，并为临床医生提供了精确和相应的治疗建议，后续可以作为这个研究领域的一个通用标准。
2)提出了一个新颖的半监督孪生网络模型，该模型利用病理标记的结直肠图像数据集和没有病理标记的结直肠视频检测数据集，通过约束视频连续帧之间的特征相似度与有病理标记图像的预测结果，适用于视频结直肠病变分类任务。该模型在正常白光下预测实时图像，而不需要临床医生切换到窄带光下对病灶进行二次观察。
3)在测试阶段引入测试时间训练，以提高模型对特定样本的适应性和模型预测的准确性。
本发明对于结直肠病变的分类方法，可以即时对应地给予医生后续医疗建议，后续可以作为此种任务的统一标准。
无标签数据利用方式：使用半监督的训练方法利用视频的帧间一致性引入了无病理标签的视频检测数据集，使得模型预测准确度上升的同时对视频的预测结果更具有鲁棒性，可以实时地在肠镜过程中给予医生所检测到的病变种类提示与后续治疗方案的建议。
测试方法：引入测试时间训练方法，可以让模型针对目前所观察到的测试样本利用其前几帧进行微调，提高其预测准确性。
本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。
表1：
Claims (10)
1.一种基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：包括有以下步骤：
S01，对结肠病变进行分类；
S02，创建基于半监督孪生网络的视频结直肠病变分类模型；
S03，使用肠镜设备做肠镜时，视频检测模型从肠镜设备的视频信息数据中提取结直肠病变区域数据信息，获得肠镜的视频检测结果；
S04，将结直肠病变区域数据信息输入基于半监督孪生网络的视频结直肠病变分类模型，基于半监督孪生网络的视频结直肠病变分类模型根据结直肠病变区域数据信息计算输出对应的结肠病变类型；
S05，将计算后的输出结果显示在肠镜设备的显示屏幕上。
2.根据权利要求1所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：所述步骤S01中，按照后续治疗方式对结肠病变进行分类。
3.根据权利要求2所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：将结肠病变划分为非肿瘤性息肉，肿瘤性病变，下浸润性癌症和黏膜下肿瘤四种类型；
非肿瘤性息肉包括炎症性息肉和增生性息肉，非肿瘤性息肉在结肠镜检查时直接切除，或者不做处理；
肿瘤性病变包括腺瘤型息肉、锯齿状息肉和T1癌症，肿瘤性病变在结肠镜下进行切除术，并对将切下的赘生物进行病理分析；
下浸润性癌症包括T2、T3、T4癌症；下浸润性癌症采用外科手术进行治疗；
黏膜下肿瘤采用黏膜下切除术进行治疗。
4.根据权利要求1所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：所述S02步骤创建基于半监督孪生网络的视频结直肠病变分类模型包括以下操作内容：
S021，给定有病理标注的内窥镜图片数据集I＝{Ii}，将病变区域标注为RI＝{RIi}，定义病理分型为Y＝{yi}，其中yi∈P＝{非肿瘤性息肉，肿瘤性病变，下浸润性癌，黏膜下肿瘤}；
S022，给定无病理标注内窥镜视频数据集V＝{Vi}，将病变区域标注为RV＝{RVi}；其中，定义第i个视频的第j帧图像为Vi，j，则其对应病变区域标注为RVi，j；
S023，通过孪生网络对基于半监督孪生网络的视频结直肠病变分类模型进行半监督学习。
5.根据权利要求4所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：所述步骤S04中，在将结直肠病变区域数据信息输入基于半监督孪生网络的视频结直肠病变分类模型前，先从肠镜设备的视频信息数据中中筛选出病变区域数据信息；
筛选病变区域数据信息包括以下操作内容：
按照病变标注从内窥镜图片和内窥镜视频分别裁剪出病变区域
与
6.根据权利要求5所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：所述孪生网络包括有两条分支网络：在线网络和目标网络；
有病理标注的内窥镜图片数据仅由在线网络处理；
无病理标注的内窥镜视频数据则将表现同一息肉的不同帧分别输入在线网络与目标网络；
在训练过程中，根据在线网络的参数变化对目标网络的参数进行更新。
7.根据权利要求6所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：所述孪生网络的框架图上下两个网络，即在线网络与目标网络的特征提取器结构皆为Vision Transformer架构；
借助目标网络fφ，训练在线网络中学习特征的骨干网络fθ与其MLP分类器；
其中，在线网络特征提取器和目标网络的参数分别由θ和φ表示。
8.根据权利要求7所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：
若输入的是有病理标注的图片数据
则将其进行切块之后输入到在线网络，通过特征提取后经过分类器得到分类结果
预测结果的误差结果由交叉熵损失函数Ls给出：
其中C代表种类数目；
若输入的为无病理标注的视频
则对于此视频第t帧，将其病变区域标注RVi，t与同一视频邻近帧的病变区域标注RVi，k进行IoU计算；
若两者IoU大于特定阈值α，模型即判断第t帧与第k帧所表示同一病变。
9.根据权利要求8所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：
训练时，K张表述同一病变的视频帧将被切块并随机掩膜后作为基准输入在线网络，经过特征提取器fθ后得到融合特征z1,...,zK；
同理，第t帧将被切块后输入目标网络，经过特征提取器fφ得到融合特征z'；
取所有层的特征使用对应元素相加的方法进行融合，非直接使用两个特征提取器最后一层特征；
同一病变不同帧的特征，对zk与z’的相似度用交叉熵损失函数Ls进行约束；
损失函数Lu最终表示为：
其中，γ>0为平均熵最大正则项的权重；
模型总损失函数则为：
L ＝ Ls + Lu (3)
只使用损失函数对在线网络的参数θ进行更新；
对于目标网络，其参数φ的更新则遵循(4)式：
φ←βφ+(1-β)θ(4)其中β表示衰减速率。
10.根据权利要求9所述基于半监督孪生网络的视频结直肠病变分型方法，其特征在于：
在测试阶段，引入测试时间训练的方法进行测试：
对于每个病变的测试视频片段，其前K帧先不参与预测；
先借助其帧间一致性信息对模型进行微调；
在线网络与从第K+1帧开始的共N-K帧参与最终的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310028752.8A CN116030303B (zh) | 2023-01-09 | 2023-01-09 | 一种基于半监督孪生网络的视频结直肠病变分型方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310028752.8A CN116030303B (zh) | 2023-01-09 | 2023-01-09 | 一种基于半监督孪生网络的视频结直肠病变分型方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030303A true CN116030303A (zh) | 2023-04-28 |
| CN116030303B CN116030303B (zh) | 2024-01-30 |
Family
ID=86079145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310028752.8A Active CN116030303B (zh) | 2023-01-09 | 2023-01-09 | 一种基于半监督孪生网络的视频结直肠病变分型方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030303B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117398042A (zh) * | 2023-12-14 | 2024-01-16 | 深圳市博盛医疗科技有限公司 | 一种ai辅助检测的3d内窥镜系统及成像方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284146A (zh) * | 2021-07-23 | 2021-08-20 | 天津御锦人工智能医疗科技有限公司 | 结直肠息肉图像的识别方法、装置及存储介质 |
| CN114511502A (zh) * | 2021-12-30 | 2022-05-17 | 浙江大学 | 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质 |
| CN114549985A (zh) * | 2022-02-23 | 2022-05-27 | 清华大学 | 一种基于自监督对比学习的目标检测方法及系统 |
| CN114730463A (zh) * | 2019-11-22 | 2022-07-08 | 豪夫迈·罗氏有限公司 | 用于组织图像分类的多实例学习器 |
| CN114972293A (zh) * | 2022-06-14 | 2022-08-30 | 深圳市大数据研究院 | 基于半监督时空注意力网络的视频息肉分割方法、装置 |
-
2023
- 2023-01-09 CN CN202310028752.8A patent/CN116030303B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114730463A (zh) * | 2019-11-22 | 2022-07-08 | 豪夫迈·罗氏有限公司 | 用于组织图像分类的多实例学习器 |
| CN113284146A (zh) * | 2021-07-23 | 2021-08-20 | 天津御锦人工智能医疗科技有限公司 | 结直肠息肉图像的识别方法、装置及存储介质 |
| CN114511502A (zh) * | 2021-12-30 | 2022-05-17 | 浙江大学 | 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质 |
| CN114549985A (zh) * | 2022-02-23 | 2022-05-27 | 清华大学 | 一种基于自监督对比学习的目标检测方法及系统 |
| CN114972293A (zh) * | 2022-06-14 | 2022-08-30 | 深圳市大数据研究院 | 基于半监督时空注意力网络的视频息肉分割方法、装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117398042A (zh) * | 2023-12-14 | 2024-01-16 | 深圳市博盛医疗科技有限公司 | 一种ai辅助检测的3d内窥镜系统及成像方法 |
| CN117398042B (zh) * | 2023-12-14 | 2024-03-19 | 深圳市博盛医疗科技有限公司 | 一种ai辅助检测的3d内窥镜系统及成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030303B (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cai et al. | Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video) | |
| US12002573B2 (en) | Computer classification of biological tissue | |
| WO2020182078A1 (zh) | 影像分析方法、显微镜视频流处理方法和相关装置 | |
| CN111655116A (zh) | 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序 | |
| CN109523535B (zh) | 一种病变图像的预处理方法 | |
| Miyaki et al. | Quantitative identification of mucosal gastric cancer under magnifying endoscopy with flexible spectral imaging color enhancement | |
| EP4120186A1 (en) | Computer-implemented systems and methods for object detection and characterization | |
| Azam et al. | Videomics of the upper aero-digestive tract cancer: deep learning applied to white light and narrow band imaging for automatic segmentation of endoscopic images | |
| Domingues et al. | Computer vision in esophageal cancer: a literature review | |
| CN116030303B (zh) | 一种基于半监督孪生网络的视频结直肠病变分型方法 | |
| Wellenstein et al. | Detection of laryngeal carcinoma during endoscopy using artificial intelligence | |
| CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
| Azar et al. | Automated system for colon cancer detection and segmentation based on deep learning techniques | |
| Liu et al. | Signal to noise ratio quantifies the contribution of spectral channels to classification of human head and neck tissues ex vivo using deep learning and multispectral imaging | |
| CN118076315A (zh) | 用于分析内窥镜检查过程的检查质量的计算机实现的系统和方法 | |
| Gupta et al. | A review on deep learning-based polyp segmentation for efficient colorectal cancer screening | |
| WO2022160070A1 (en) | Machine learning enabled system for skin abnormality interventions | |
| Qing et al. | MPSA: Multi-Position Supervised Soft Attention-based convolutional neural network for histopathological image classification | |
| Pappalardo et al. | On the detection of colorectal polyps with hierarchical fine-tuning | |
| Dabass et al. | Automated mucous glands detection and segmentation in colon histology images using semantic segmentation | |
| Zhou et al. | Point-wise spatial network for identifying carcinoma at the upper digestive and respiratory tract | |
| Hill | Segmentation of oral optical coherence tomography with deep learning | |
| Goswami et al. | Classification of Oral Cancer Into Pre-Cancerous Stages From White Light Images Using LightGBM Algorithm | |
| Xu et al. | Self-supervised approach for a fully assistive esophageal surveillance: Quality, anatomy and neoplasia guidance | |
| Garbaz et al. | Bleeding Segmentation Based on a U-Formed Network with Separable Contextual Feature-Guided in Wireless Capsule Endoscopy Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |