CN114419369A - 影像中的息肉分类方法、系统、电子装置及存储介质 - Google Patents

影像中的息肉分类方法、系统、电子装置及存储介质 Download PDF

Info

Publication number
CN114419369A
CN114419369A CN202210006394.6A CN202210006394A CN114419369A CN 114419369 A CN114419369 A CN 114419369A CN 202210006394 A CN202210006394 A CN 202210006394A CN 114419369 A CN114419369 A CN 114419369A
Authority
CN
China
Prior art keywords
light image
white light
image
features
extractor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210006394.6A
Other languages
English (en)
Inventor
王钦
车晖
丁伟桢
项立
李冠彬
李镇
崔曙光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute of Big Data SRIBD
Original Assignee
Shenzhen Research Institute of Big Data SRIBD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute of Big Data SRIBD filed Critical Shenzhen Research Institute of Big Data SRIBD
Priority to CN202210006394.6A priority Critical patent/CN114419369A/zh
Publication of CN114419369A publication Critical patent/CN114419369A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种影像中的息肉分类方法、系统、电子装置及存储介质，方法包括：获取影像中成对的白光图像和窄带光图像；将白光图像输入预先训练的老师‑学生网络中的学生提取器内，学生提取器用于提取成对的白光图像和窄带光图像对齐的特征，窄带光图像用于训练老师网络，老师网络用于指导学生网络将白光图像中获取到的特征，通过域对齐和对比学习来实现特征迁移，生成对齐的特征；本发明通过将白光图像和窄带光图像进行特征对齐，而窄带光图像相较于白光图像，具有更丰富的特征，因此在对齐后，能够使得白光图像具有更丰富，且与窄带光图像更相似的特征，从而在白光图像中提取出更多的特征，实现更好的息肉分类效果，提升息肉分类的准确率。

Description

影像中的息肉分类方法、系统、电子装置及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种影像中的息肉分类方法、系统、电子装置及存储介质。
背景技术
结直肠息肉被视为结直肠癌的癌前疾病，依照病理类型可以划分为腺瘤性息肉、增生性息肉、炎性息肉等，其中尤以腺瘤性息肉易引起癌变，因此及时检出息肉，并依据其病理分型对息肉进行相应的治疗对临床具有重要意义。然而由于肠道内环境较为复杂，息肉和周围正常组织难以区分，息肉的分化程度更是难以仅凭借白光(WL)下的结肠镜图像加以辨别，所以一个精准客观的计算机辅助分类系统是十分必要的。息肉分类是一项常规的计算机视觉任务，可以将图像或视频中的息肉病理类型自动判别出来，帮助医生在诊疗过程中做出正确的判断，从而节省了医生的精力，同时也降低了误诊漏诊的可能。
近年来，计算机辅助下的结直肠息肉分类任务实现了较为理想的效果。之前的研究多使用窄带光(NBI)图像或者其他增强图像来训练模型进行息肉分类的任务，但是在临床实际操作中，结肠镜检查主要是在白光下进行观察和手术操作，因而白光图像的息肉分类对内镜医师具有更好的辅助作用。目前，基于深度学习的白光结肠镜图像下结直肠肿瘤的自动分类技术是现有的与本发明最接近的技术，对临床工作意义重大。该技术使用现有的卷积神经网络模型进行分类，取得了较为可观的效果，可以实现在白光图像下的息肉良恶性分类，准确率达79.5％。
但是，现有的息肉分类的方法，由于对白光图像的特征进行提取后，提取处的特征较少，使得息肉的分类准确率无法进一步提升。
发明内容
基于此，为了解决或改善现有技术的问题，本发明提供一种影像中的息肉分类方法、系统、电子装置及存储介质，可以提升息肉的分类准确率。
影像中的息肉分类方法包括：获取影像中成对的白光图像和窄带光图像；将所述白光图像输入预先训练的老师-学生网络中的学生提取器内，所述学生提取器用于提取所述白光图像和所述窄带光图像对齐的特征，所述窄带光图像用于训练老师网络，老师网络用于指导学生网络将白光图像中获取到的特征，通过域对齐和对比学习来实现特征迁移，生成对齐的特征；使用预先建立的第一损失函数来监督学生提取器和全连接层进行分类任务，以对影像中的息肉进行分类。
进一步地，所述白光图像和所述窄带光图像对齐的特征的提取方法包括：将所述白光图像输入预先训练的第一提取器中进行白光图像特征的提取，并将所述窄带光图像输入预先训练的老师-学生网络中的老师提取器中进行窄带光图像特征提取；使用预先建立的对齐损失函数将所述白光图像特征与所述窄带光图像特征对齐。
进一步地，所述白光图像和所述窄带光图像对齐的特征的提取方法还包括：使用预先构建的判别器判断所述白光图像特征和所述窄带光图像特征是否为真实的特征或生成的特征，得到判断结果；使用所述判断结果优化所述学生提取器得特征提取能力。
进一步地，所述判别器包括两个卷积层和两个全连接层，用于区分对齐后的所述白光图像特征和所述窄带光图像特征。
进一步地，所述息肉分类方法还包括：将所述窄带光图像特征作为正样本，并将所述白光图像特征作为负样本输入预先构建的第二损失函数，所述第二损失函数用于采用KL散度约束从所述对齐的特征到所述负样本和所述正样本在高等语义空间的分布差异，以监督所述学生提取器提取出和所述窄带光图像特征更相似并更丰富的特征。
进一步地，所述学生提取器、所述老师提取器、所述第一提取器分别包括一个单独的全连接层，以用于预测对应图像的息肉类型，所述学生提取器、所述老师提取器、所述第一提取器分别用于生成原始的窄带光图像、白光图像、白光图像到一个高位特征空间的映射，以提取相应的特征。
进一步地，
所述第一损失函数为
Lc＝CE(F1(Xa),Yi)；
其中，CE表示交叉熵损失函数，Xa表示对齐后的白光图像特征，F1(Xa)表示将对其后的白光图像特征送入全连接层后产生的预测结果，Yi表示第i个息肉分类标签；
所述对齐损失函数为
La＝CE(D(Xa),1)；
其中，CE表示交叉熵损失函数，D(Xa)表示将对齐后的白光特征送入判别器之后的预测结果；
所述第二损失函数为
Lt＝max((KL(F2(Xa),F2(Xp))-KL(F2(Xa),F2(Xn))+μ,0))。
其中，F2(Xa)表示Xa经全连接处理的概率向量，F2(Xp)表示Xp经全连接处理的概率向量，KL(F2(Xa),F2(Xp))表示F2(Xa)和F2(Xp)的分布距离，KL(F2(Xa),F2(Xn))表示F2(Xa)和F2(Xn)的分布距离，μ表示预先设置的超参数。
本发明第二方面提供一种影像中的息肉分类装置，其特征在于，包括：图像获取模块，用于获取影像中成对的白光图像和窄带光图像；特征提取模块，用于将所述白光图像输入预先训练的老师-学生网络中的学生提取器内，所述学生提取器用于提取所述白光图像和所述窄带光图像对齐的特征，所述窄带光图像用于训练老师网络，老师网络用于指导学生网络将白光图像中获取到的特征，通过域对齐和对比学习来实现特征迁移，生成对齐的特征；息肉分类模块，用于使用预先建立的第一损失函数来监督学生提取器和全连接层进行分类任务，以对影像中的息肉进行分类。
本发明第三方面提供一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任意一项所述影像中的息肉分类方法。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述影像中的息肉分类方法。
技术效果：本发明提供的影像中的息肉分类方法、系统、电子装置及存储介质，通过将白光图像和窄带光图像进行特征对齐，而窄带光图像作为一种增强图像，其相较于白光图像，具有更丰富的特征，因此在对齐后，能够使得白光图像具有更丰富，且与窄带光图像更相似的特征，从而在白光图像中提取出更多的特征，实现更好的息肉分类效果，提升息肉分类的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例影像中的息肉分类方法的流程示意图；
图2为本申请实施例影像中的息肉分类方法的不同模型的模型定性结果比较示意图；
图3为本申请实施例影像中的息肉分类系统的结构示意框图；
图4为本申请实施例电子装置的结构示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，为本申请实施例提供的一种影像中的息肉分类方法，包括：
S101、获取影像中成对的白光图像和窄带光图像；
S102、将白光图像输入预先训练的老师-学生网络中的学生提取器内，学生提取器用于提取白光图像和窄带光图像对齐的特征；
S103、使用预先建立的第一损失函数来监督学生提取器和全连接层进行分类任务，以对影像中的息肉进行分类。
在步骤S101中，对应的白光图像和窄带光图像，是人体同一部位的不同类型图像。
在步骤S102中，窄带光图像用于训练老师网络，老师网络用于指导学生网络将白光图像中获取到的特征，通过域对齐和对比学习来实现特征迁移，生成对齐的特征。
在本实施例中，采用了生成对抗网络(GAN)来对齐白光图像特征和窄带光图像特征。仅利用含有更为丰富特征的窄带光图像来预训练老师特征提取器。然后我们固定老师提取器来输出窄带光特征，以便对准学生提取器中的特征。其中，学生提取器旨在只利用白光图像来进行息肉分类任务，学生提取器是一种对齐的提取器。
本实施例的影像中的息肉分类方法，通过将白光图像和窄带光图像进行特征对齐，而窄带光图像作为一种增强图像，其相较于白光图像，具有更丰富的特征，因此在对齐后，能够使得白光图像具有更丰富，且与窄带光图像更相似的特征，从而在白光图像中提取出更多的特征，实现更好的息肉分类效果，提升息肉分类的准确率。
在一个实施例中，步骤S102中，白光图像和窄带光图像对齐的特征的提取方法包括：
S1021、将白光图像输入预先训练的第一提取器中进行白光图像特征的提取，并将窄带光图像输入预先训练的老师-学生网络中的老师提取器中进行窄带光图像特征提取；
S1022、使用预先建立的对齐损失函数将白光图像特征与窄带光图像特征对齐。
在本实施例中，第一提取器是非对齐的提取器。由于一个提取器只能提取一种图像的特征进行提取，例如白光图像或窄带光图像，因此需要使用第一提取器和老师提取器分别对白光图像和窄带光图像的特征分别进行提取。
在一个实施例中，在步骤S1022后，白光图像和窄带光图像对齐的特征的提取方法还包括：
S1023、使用预先构建的判别器判断白光图像特征和窄带光图像特征是否为真实的特征或生成的特征，得到判断结果；
S1024、使用判断结果优化学生提取器得特征提取能力。
在上述实施例中，相较于窄带光图像的特征，仅仅从白光图像提取的特征用来进行息肉分类的效果并不显著。因此，为了提升白光图像的分类准确率，我们引入了判别器。该判别器可以通过辨别对齐后的白光图像和窄带光图像哪一个是真的，哪一个是生成的，从而不断得到优化提升。判别器和学生提取器将像GAN的训练方式一样，分别得到优化。因此，对抗的损失函数将监督学生提取器来将其输出和老师提取器的输出(也就是窄带光图像特征)对齐。
在一个实施例中，步骤S1023中，判别器包括两个卷积层和两个全连接层，用于区分对齐后的白光图像特征和窄带光图像特征。
在一个实施例中，影像中的息肉分类方法还包括：S104、将窄带光图像特征作为正样本，并将白光图像特征作为负样本输入预先构建的第二损失函数，第二损失函数用于采用KL散度约束从对齐的特征到负样本和正样本在高等语义空间的分布差异，以监督学生提取器提取出和窄带光图像特征更相似并更丰富的特征。
在本实施例中，为了进一步促进模型收敛，提升模型性能，我们利用对比学习设计了一种新的损失函数。非对齐特征提取器仅利用白光图像作为输入，通过预训练来提取白光特征。然后可以监督学生提取器来产生和窄带光特征更相似的更丰富的特征。特别地，我们将窄带光特征作为正样本，而非对齐的白光特征作为负样本。为了进一步优化对齐特征，我们采用KL散度(Kullback-Leibler divergence)来约束从到白光特征(负样本)和窄带光特征(正样本)在高等语义空间的分布差异。
在一个实施例中，学生提取器、老师提取器、第一提取器分别包括一个单独的全连接层，以用于预测对应图像的息肉类型，学生提取器、老师提取器、第一提取器分别用于生成原始的窄带光图像、白光图像、白光图像到一个高位特征空间的映射，以提取相应的特征。
在上述实施例中，采用学生提取器、老师提取器、第一提取器和一个共同的主干网络进行特征提取，这个主干网络可以选用一些主流网络结构，例如VGG，ResNet50，Inception-V3等。每一个提取器被用来生成原始窄带光图像或者白光图像到一个高维特征空间的映射。最后每一个提取器都后接一个单独的全连接层用来预测息肉类型。判别器包含两个卷积层和两个全连接层，旨在区分对齐后的白光特征和窄带光特征。
在一个实施例中，步骤S103中，第一损失函数为：
Lc＝CE(F1(Xa),Yi)；
其中，CE表示交叉熵损失函数，Xa表示对齐后的白光图像特征，F1(Xa)表示将对其后的白光图像特征送入全连接层后产生的预测结果，Yi表示第i个息肉分类标签；
在步骤S1022中，对齐损失函数为：
La＝CE(D(Xa),1)；
其中，CE表示交叉熵损失函数，D(Xa)表示将对齐后的白光特征送入判别器之后的预测结果；
在步骤S104中，第二损失函数为：
Lt＝max((KL(F2(Xa),F2(Xp))-KL(F2(Xa),F2(Xn))+μ,0))；
其中，F2(Xa)表示Xa经全连接处理的概率向量，F2(Xp)表示Xp经全连接处理的概率向量，KL(F2(Xa),F2(Xp))表示F2(Xa)和F2(Xp)的分布距离，KL(F2(Xa),F2(Xn))表示F2(Xa)和F2(Xn)的分布距离，μ表示预先设置的超参数。
在上述实施例中，分别通过窄带光图像和白光图像预训练老师提取器和非对齐的提取器为了将白光特征和更具代表性的窄带光特征对齐，我们设计了一个损失函数，通过引入一个判别器来优化学生网络提取器。这个判别器旨在区分白光图像和窄带光图像的特征。最终，对齐的特征进入全连接层(FC)用于息肉分类。此外，本发明利用了对比学习损失函数来将对齐后的白光图像特征更趋近于窄带光图像的特征，而和原本未对齐的白光特征相差更大。
在一个实施例中，对上述实施例提供的影像中的息肉分类方法进行了验证，如表1所示，通过五个不同的交叉验证集的比较，本申请在所有的子集中表现均显著优于之前最先进的方法。同时，通过去除本申请中的两个重要的模块，即域对齐和对比学习，息肉分类的准确性均呈现出不同程度的下降，从而说明了本发明的每个组成部件的有效性和必要性。
表1本申请和现有技术模型定量性能比较表
Figure BDA0003455609210000081
Figure BDA0003455609210000091
另外，本实施例还进行了不同模型的模型定性结果比较，如图2所示，我们可以明显观察到，相较于非对齐的白光下的图像特征，对齐后的白光特征和窄带光图像的特征更相似，从而证明了本发明提出的域对齐和对比学习方法对于从白光到窄带光图像的域转换的有效性。
综合上述实验，本发明可以将白光图像的特征域转换为窄带光图像，从而在白光图像中实现更好的息肉分类效果。
因此，本发明可以对输入的医疗图像或视频段进行分析，判别息肉的病理类型，从而帮助医生做出相应的诊断和后续的诊疗策略，在一定程度上降低了误诊漏诊的可能。并且可以在结肠镜检查中实时形成预测结果，辅助医生在手术过程中更快地做出判断，从而节省医生的时间和精力。
请参阅图3，在一个实施例中，本申请还提供一种影像中的息肉分类装置，包括：图像获取模块1、特征提取模块2及息肉分类模块3；图像获取模块1用于获取影像中成对的白光图像和窄带光图像；特征提取模块2用于将所述白光图像输入预先训练的老师-学生网络中的学生提取器内，所述学生提取器用于提取所述白光图像和所述窄带光图像对齐的特征，窄带光图像用于训练老师网络，老师网络用于指导学生网络将白光图像中获取到的特征，通过域对齐和对比学习来实现特征迁移，生成对齐的特征；息肉分类模块3用于使用预先建立的第一损失函数来监督学生提取器和全连接层进行分类任务，以对影像中的息肉进行分类。
本实施例的影像中的息肉分类系统，通过将白光图像和窄带光图像进行特征对齐，而窄带光图像作为一种增强图像，其相较于白光图像，具有更丰富的特征，因此在对齐后，能够使得白光图像具有更丰富，且与窄带光图像更相似的特征，从而在白光图像中提取出更多的特征，实现更好的息肉分类效果，提升息肉分类的准确率。
在一个实施例中，特征提取模块2包括：提取单元及对齐单元；提取单元用于将所述白光图像输入预先训练的第一提取器中进行白光图像特征的提取，并将所述窄带光图像输入预先训练的老师-学生网络中的老师提取器中进行窄带光图像特征提取；对齐单元用于使用预先建立的对齐损失函数将所述白光图像特征与所述窄带光图像特征对齐。
在一个实施例中，特征提取模块2还包括：判断单元及优化单元；判断单元用于使用预先构建的判别器判断所述白光图像特征和所述窄带光图像特征是否为真实的特征或生成的特征，得到判断结果；优化单元用于使用所述判断结果优化所述学生提取器得特征提取能力。
在一个实施例中，所述判别器包括两个卷积层和两个全连接层，用于区分对齐后的所述白光图像特征和所述窄带光图像特征。
在一个实施例中，影像中的息肉分类装置还包括：增强模块，用于将所述窄带光图像特征作为正样本，并将所述白光图像特征作为负样本输入预先构建的第二损失函数，所述第二损失函数用于采用KL散度约束从所述对齐的特征到所述负样本和所述正样本在高等语义空间的分布差异，以监督所述学生提取器提取出和所述窄带光图像特征更相似并更丰富的特征。
在一个实施例中，上述实施例使用的所述学生提取器、所述老师提取器、所述第一提取器分别包括一个单独的全连接层，以用于预测对应图像的息肉类型，所述学生提取器、所述老师提取器、所述第一提取器分别用于生成原始的窄带光图像、白光图像、白光图像到一个高位特征空间的映射，以提取相应的特征。
本申请实施例提供一种电子装置，请参阅图4，该电子装置包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现前述中描述的影像中的息肉分类方法。
进一步的，该电子装置还包括：至少一个输入设备603以及至少一个输出设备604。
上述存储器601、处理器602、输入设备603以及输出设备604，通过总线605连接。
其中，输入设备603具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备604具体可为显示屏。
存储器601可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器601用于存储一组可执行程序代码，处理器602与存储器601耦合。
进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述中的存储器601。该计算机可读存储介质上存储有计算机程序，该程序被处理器602执行时实现前述实施例中描述的影像中的息肉分类方法。
进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器601(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种影像中的息肉分类方法、系统、电子装置及存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种影像中的息肉分类方法，其特征在于，包括：
获取影像中成对的白光图像和窄带光图像；
将所述白光图像输入预先训练的老师-学生网络中的学生提取器内，所述学生提取器用于提取所述白光图像和所述窄带光图像对齐的特征，所述窄带光图像用于训练老师网络，老师网络用于指导学生网络将白光图像中获取到的特征，通过域对齐和对比学习来实现特征迁移，生成对齐的特征；
使用预先建立的第一损失函数来监督学生提取器和全连接层进行分类任务，以对影像中的息肉进行分类。
2.根据权利要求1所述的影像中的息肉分类方法，其特征在于，
所述白光图像和所述窄带光图像对齐的特征的提取方法包括：
将所述白光图像输入预先训练的第一提取器中进行白光图像特征的提取，并将所述窄带光图像输入预先训练的老师-学生网络中的老师提取器中进行窄带光图像特征提取；
使用预先建立的对齐损失函数将所述白光图像特征与所述窄带光图像特征对齐。
3.根据权利要求2所述的影像中的息肉分类方法，其特征在于，
所述白光图像和所述窄带光图像对齐的特征的提取方法还包括：
使用预先构建的判别器判断所述白光图像特征和所述窄带光图像特征是否为真实的特征或生成的特征，得到判断结果；
使用所述判断结果优化所述学生提取器得特征提取能力。
4.根据权利要求3所述的影像中的息肉分类方法，其特征在于，
所述判别器包括两个卷积层和两个全连接层，用于区分对齐后的所述白光图像特征和所述窄带光图像特征。
5.根据权利要求2所述的影像中的息肉分类方法，其特征在于，
所述息肉分类方法还包括：
将所述窄带光图像特征作为正样本，并将所述白光图像特征作为负样本输入预先构建的第二损失函数，所述第二损失函数用于采用KL散度约束从所述对齐的特征到所述负样本和所述正样本在高等语义空间的分布差异，以监督所述学生提取器提取出和所述窄带光图像特征更相似并更丰富的特征。
6.根据权利要求2所述的影像中的息肉分类方法，其特征在于，
所述学生提取器、所述老师提取器、所述第一提取器分别包括一个单独的全连接层，以用于预测对应图像的息肉类型，所述学生提取器、所述老师提取器、所述第一提取器分别用于生成原始的窄带光图像、白光图像、白光图像到一个高位特征空间的映射，以提取相应的特征。
7.根据权利要求5所述的影像中的息肉分类方法，其特征在于，
所述第一损失函数为
Lc＝CE(F1(Xa)，Yi)；
其中，CE表示交叉熵损失函数，Xa表示对齐后的白光图像特征，F1(Xa)表示将对其后的白光图像特征送入全连接层后产生的预测结果，Yi表示第i个息肉分类标签；
所述对齐损失函数为
La＝CE(D(Xa)，1)；
其中，CE表示交叉熵损失函数，D(Xa)表示将对齐后的白光特征送入判别器之后的预测结果；
所述第二损失函数为
Lt＝max((KL(F2(Xa)，F2(Xp))-KL(F2(Xa)，F2(Xn))+μ，0))；
其中，F2(Xa)表示Xa经全连接处理的概率向量，F2(Xp)表示Xp经全连接处理的概率向量，KL(F2(Xa)，F2(Xp))表示F2(Xa)和F2(Xp)的分布距离，KL(F2(Xa)，F2(Xn))表示F2(Xa)和F2(Xn)的分布距离，μ表示预先设置的超参数。
8.一种影像中的息肉分类装置，其特征在于，包括：
图像获取模块，用于获取影像中成对的白光图像和窄带光图像；
特征提取模块，用于将所述白光图像输入预先训练的老师-学生网络中的学生提取器内，所述学生提取器用于提取所述白光图像和所述窄带光图像对齐的特征，所述窄带光图像用于训练老师网络，老师网络用于指导学生网络将白光图像中获取到的特征，通过域对齐和对比学习来实现特征迁移，生成对齐的特征；
息肉分类模块，用于使用预先建立的第一损失函数来监督学生提取器和全连接层进行分类任务，以对影像中的息肉进行分类。
9.一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任意一项所述影像中的息肉分类方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述影像中的息肉分类方法。
CN202210006394.6A 2022-01-04 2022-01-04 影像中的息肉分类方法、系统、电子装置及存储介质 Pending CN114419369A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210006394.6A CN114419369A (zh) 2022-01-04 2022-01-04 影像中的息肉分类方法、系统、电子装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210006394.6A CN114419369A (zh) 2022-01-04 2022-01-04 影像中的息肉分类方法、系统、电子装置及存储介质

Publications (1)

Publication Number Publication Date
CN114419369A true CN114419369A (zh) 2022-04-29

Family

ID=81272293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210006394.6A Pending CN114419369A (zh) 2022-01-04 2022-01-04 影像中的息肉分类方法、系统、电子装置及存储介质

Country Status (1)

Country Link
CN (1) CN114419369A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294407A (zh) * 2022-09-30 2022-11-04 山东大学 基于预习机制知识蒸馏的模型压缩方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294407A (zh) * 2022-09-30 2022-11-04 山东大学 基于预习机制知识蒸馏的模型压缩方法及系统

Similar Documents

Publication Publication Date Title
US11935644B2 (en) Deep learning automated dermatopathology
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
Yue et al. Boundary constraint network with cross layer feature integration for polyp segmentation
Guo et al. Semi-supervised WCE image classification with adaptive aggregated attention
Zhang et al. Diabetic retinopathy grading by a source-free transfer learning approach
CN110390674B (zh) 图像处理方法、装置、存储介质、设备以及系统
WO2011005865A2 (en) A system and method for automated disease assessment in capsule endoscopy
Liu et al. A source-free domain adaptive polyp detection framework with style diversification flow
KR20190105460A (ko) 의료 진단 리포트 생성 장치 및 방법
Wang et al. Convolutional‐capsule network for gastrointestinal endoscopy image classification
WO2017221412A1 (ja) 画像処理装置、学習装置、画像処理方法、識別基準の作成方法、学習方法およびプログラム
Du et al. Improving the classification performance of esophageal disease on small dataset by semi-supervised efficient contrastive learning
Dabass et al. MTU: A multi-tasking U-net with hybrid convolutional learning and attention modules for cancer classification and gland Segmentation in Colon Histopathological Images
Noor et al. GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images
Ashwath et al. TS-CNN: a three-tier self-interpretable CNN for multi-region medical image classification
CN114419369A (zh) 影像中的息肉分类方法、系统、电子装置及存储介质
Yue et al. Benchmarking polyp segmentation methods in narrow-band imaging colonoscopy images
Wang et al. Detecting tympanostomy tubes from otoscopic images via offline and online training
Liu et al. A survey of artificial intelligence in tongue image for disease diagnosis and syndrome differentiation
Liu et al. Attention combined pyramid vision transformer for polyp segmentation
Yin et al. AFA: adversarial frequency alignment for domain generalized lung nodule detection
CN113658145B (zh) 一种肝脏超声标准切面识别方法、装置、电子设备及存储介质
Ferber et al. In-context learning enables multimodal large language models to classify cancer pathology images
Gowri et al. An improved classification of MR images for cervical cancer using convolutional neural networks
Sawyer Detecting Crohn’s disease from high resolution endoscopy videos: the thick data approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination