CN114022485A - 一种基于小样本学习的结直肠癌的计算机辅助诊断方法 - Google Patents

一种基于小样本学习的结直肠癌的计算机辅助诊断方法 Download PDF

Info

Publication number
CN114022485A
CN114022485A CN202111156902.0A CN202111156902A CN114022485A CN 114022485 A CN114022485 A CN 114022485A CN 202111156902 A CN202111156902 A CN 202111156902A CN 114022485 A CN114022485 A CN 114022485A
Authority
CN
China
Prior art keywords
image
feature map
branch
colorectal cancer
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111156902.0A
Other languages
English (en)
Inventor
孙哲南
伍湘琼
王云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Original Assignee
Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd filed Critical Tianjin Zhongke Intelligent Identification Industry Technology Research Institute Co ltd
Priority to CN202111156902.0A priority Critical patent/CN114022485A/zh
Publication of CN114022485A publication Critical patent/CN114022485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于小样本学习的结直肠癌的计算机辅助诊断方法，包括步骤：通过两个结构相同的骨干网分别抽取出预处理之后的查询图像与支持图像集的特征；对上述特征经余弦相似度计算后将得到所有支持像素间的最大相似度作为响应值进行归一化后转换成图像大小，得到相似度矩阵corr作为响应值特征图；利用响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，计算出相应损失，再将误差反向传播对网络参数进行优化更新。本发明采用最大相似度响应值特征图，对分割的指导作用更精简，更有效，而且还利用了医学诊断方面的先验知识做约束，提升模型在诊断方面的专业性与准确度。

Description

一种基于小样本学习的结直肠癌的计算机辅助诊断方法
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于小样本学习的结直肠癌的计算机辅助诊断方法。
背景技术
病理切片图像是医学图像领域的范畴，在光镜下细胞核的形态表现仍然是目前肿瘤诊断的主要依据。癌症是人类难以攻克的顽疾，而结直肠癌作为消化道疾病中常见的一种恶性肿瘤，相关数据表明其发病率、致死率都在我国癌症前三位，严重影响着人们的生活和健康，而结直肠癌的早期检测对提高其治愈率有着很大的帮助。
目前的检测方法多是依赖显微镜与病理学家们的个人经验，使得检测结果具有主观性与差异性。随着图像处理技术的发展，有关病理图像计算机辅助检测系统应运而生，结直肠癌病理切片显微图像的自动分割与诊断是一个亟待解决的关键问题，好的分割诊断算法能够给病理学家提供客观精确的“第二意见”。
自20世纪中后期起，研究人员就开始进行医学图像分割相关技术的研究,希望通过计算机辅助技术减轻病理学家的沉重负担，但是这些算法通常鲁棒性较差，过程复杂且无法提供方便人类理解的语义信息。
众所周知，大多数视觉任务的深度学习网络模型都需要大规模的标注数据来训练。而与自然图像相比，医学图像的数据样本相对较少，且精细的图像标注往往需要大量的专家进行人工操作，费时耗力，高昂的人工标注成本也限制着深度学习在医学图像分割领域的应用。因此，实现基于小样本学习的结直肠癌诊断技术不仅可以挽救无数患者的生命，而且对于节约医疗资源成本,缓解医患矛盾等问题也有重大意义。
发明内容
本发明的目的是为了尽量减少标注工作，实现计算机辅助医师实现结直肠癌的诊断，而提供一种基于小样本学习的结直肠癌的计算机辅助诊断方法，能同时实现细胞核分割，良恶性的判别，分化程度的诊断，为病理学家实现辅助诊断的目的。
为实现本发明的目的所采用的技术方案是：
一种基于小样本学习的结直肠癌的计算机辅助诊断方法，包括步骤：
通过两个结构相同的骨干网分别抽取出预处理之后的查询图像与支持图像集的特征；
对上述特征经余弦相似度计算后将得到所有支持像素间的最大相似度作为响应值进行归一化后转换成图像大小，得到相似度矩阵corr，作为响应值特征图；
利用响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，通过损失函数计算出相应的损失，再将误差反向传播对网络参数进行优化更新。
本发明提出的基于小样本学习的结直肠癌的计算机辅助诊断方法，通过利用支持图像与支持图像掩码的信息和诊断结果之间相关的医学诊断先验知识，模型在小样本数据集上也能实现准确的分割与诊断，减少了人工标注的高昂成本；在分割结直肠癌病理切片显微图像中的细胞核的同时，能根据细胞核形态表现判断结直肠癌的良恶性，并给出细胞的分化程度，能自动地为病理学家和诊断人员标记出不同形态表现的细胞核，给出该结直肠癌病理切片的良恶性与分化程度结果，为病理学家和诊断人员提供客观可参考的病理诊断意见，实现计算机辅助诊断的目的；不仅减轻了病理学家的负担，为病理学家提供客观精确的参考意见，且在小样本数据的基础上还能够提升模型的准确性和泛化性。
本发明通过支持图像与支持图像掩码特征的提取，为小样本数据集下的查询图像提供了增强信息；支持图像特征与查询图像特征之间的最大相似度特征响应图提升了模型的泛化能力，增强了模型的性能；任务分支的解耦及分类任务之间医学先验知识的约束，避免了任务分支之间可能出现的特征冲突和大相径庭的诊断结果，实现了分割与诊断这两个任务的同时完成，为病理学家和诊断人员提供客观准确的细胞核定位与良恶性分类及细胞分化程度结果，达到辅助诊断的目的。
本发明采用最大相似度响应值特征图，对分割的指导作用更精简，更有效，而且还利用了医学诊断方面的先验知识做约束，提升模型在诊断方面的专业性与准确度。
附图说明
图1是本发明实施例的基于小样本实现结直肠癌自动分割与诊断方法处理流程图。
图2-图3分别是图1的两个部分的放大图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
由于基于深度学习的模型通常需要海量的数据样本进行学习，但是大规模的数据及数据标注需要高昂的人工成本和时间成本，因此发展基于小样本的深度学习对医学图像处理而言尤为重要。另外目前的大多数结直肠癌诊断方法多是依赖显微镜与病理学家们的个人经验,使得诊断结果具有主观性与差异性，而已有的医学图像分割方面的算法技术通常鲁棒性较差,且任务单一，例如通常只关注分割，而忽略良恶性与分化结果的诊断。因此结直肠癌病理切片显微图像的自动分割与诊断是一个亟待解决的关键问题,需要在自动分割出各种类型的细胞核的同时，能够给病理学家提供客观精确的病理诊断意见做参考，减轻病理学家的负担，节约医疗成本，规范医疗诊断。
本发明针对目前结直肠癌病理切片显微数据的数量不足和标注困难等问题，创新地提出了基于小样本学习的结直肠癌自动分割与诊断方法，通过神经网络提取的支持图像集的特征与查询图像集的特征做余弦相似度计算，将得到的最大相似度归一化处理后生成响应值特征图，继而指导查询集的分割与诊断。
由于本发明是将从查询图像中提取到的特征向量与支持图像集中提取到的特征向量做相似度计算生成响应值特征图，指导查询图像的分割与诊断，因此模型可以广泛地学习不同类型图像的特征分布，生成对应的响应值特征图，从而使模型获得更好的泛化性，为病理学家提供更精确的分割结果。而在诊断阶段，利用已知的医学诊断方面的先验知识做约束，模型在分类诊断方面更具有专业性和可靠性，为病理学家提供更可信的诊断结果。
本发明实施例的基于小样本实现结直肠癌自动分割与诊断方法的输入是结直肠癌的病理切片显微数据，图像数据分别经过相同结构的骨干网抽取图像特征；将抽取的特征处理后所形成的相应的特征输入进不同的任务分支，得到所需要的结果。
本发明提出的基于小样本实现结直肠癌自动分割与诊断方法，通过两个结构相同的骨干网抽取出预处理之后的查询图像与支持图像集的特征，
该步骤可表示为Fq＝M(Iqpre),Fs＝M(Ispre),
其中Iqpre与Ispre分别代表经过预处理操作后的查询图像与支持图像集，M代表骨干网，Fq与Fs分别代表骨干网从预处理的查询图像与支持图像集中提取得到的查询图像的特征与支持图像集的特征；
其中，数据预处理操作主要包括随机旋转，随机高斯模糊，随机缩放，随机水平翻转及归一化；
该预处理操作步骤可表示为：Ipre＝Fpre(I)，其中，I表示输入的图像，Fpre表示预处理操作。
将上述抽取的特征经过余弦相似度计算之后将得到的所有支持像素间的最大相似度作为响应值，进行归一化处理后转换成图像大小，得到相似度矩阵corr；
该步骤可分为计算余弦相似度得到最大相似度值，归一化操作，转化操作，可分别表示为：
Figure BDA0003288626340000051
corr＝Upsample(sim)，
其中，sim1为余弦相似度计算后得到的所有像素间的最大相似度，sim代表归一化后的最大相似度值，||·||2表示L2范数，即向量各元素的平方和然后求平方根，max是计算最大值，min是计算最小值，∈是非零常数,Upsample代表双线性插值上采样操作，即将sim进行双线性插值上采样缩放至所需的图像大小。
利用相似度矩阵corr形成的响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，进行计算出相应的损失，再将误差反向传播对网络参数进行优化更新。
本发明使用经典的交叉熵损失，损失函数如下：
Figure BDA0003288626340000052
其中，g表示深度卷积神经网络对输入图像的推理输出，gt表示数据集标注的标签。
作为一个可选的实施例，如图1所示，查询图像与支持图像的骨干网都是采用的resnet50，查询图像利用骨干网分别得到五个卷积块{Q0,Q1,Q2,Q3,Q4}的输出{q0,q1,q2,q3,q4}，将q2的特征图进行双线性插值上采样操作缩放到q3特征图大小之后与q3的特征图进行通道拼接，得到Q_feat,然后再经过一层卷积层Qd得到qd，qd经过一个平均池化层的操作得到Q_avg。
与查询图像操作一样，支持图像经过resnet50的五个卷积块{S0,S1,S2,S3,S4}的输出{s0,s1,s2,s3,s4}，将s2的特征图双线性插值上采样缩放到s3的特征图大小之后与s3特征图进行通道拼接，然后将拼接的特征图经过一个卷积层Sd得到特征sd。
与查询图像部分操作不同的是，此处有支持图像的掩码图像y(分割掩码)与s3特征图进行乘法操作，乘法操作的结果作为卷积块S4的输入，卷积块S4的输出s4继续与支持图像的掩码图像进行乘法操作得到S_feat,计算支持图像的特征S_feat与查询图像的特征q4的余弦相似度，再将得到的余弦相似度最大值进行归一化处理后双线性插值上采样成Q_avg特征图大小的相似度矩阵corr，该相似度矩阵有利于指导后续查询图像的分割与诊断。
此外，支持图像的特征sd与支持图像的掩码y进行加权全局平均池化操作(GAP)，得到Sgap_feat，用于后续与相似度矩阵corr一起指导查询图像特征的分割与诊断.其中加权全局平均池化操作具体为sd与支持图像的分割掩码y进行相乘，将相乘后得到的结果进行平均池化操作再除以经过平均池化的支持图像的掩码y，得到全局平均池化操作的输出结果Sgap_feat。
具体公式表示为：
Figure BDA0003288626340000061
其中，avgpool代表平均池化操作，h,w代表sd特征图的高度与宽度，∈是一个非零常数。接下来，将特征输入进不同的任务分支，得到所需要的结果：
1.分割分支：
将Sgap_feat，corr，Q_avg进行通道拼接，得到m0，将m0通过卷积层M得到m1，m1第一次跳过卷积层A直接经过后续两个连续的卷积层{B0,B1}得到b1，特征b1与m1进行加法操作，得到特征pre，pre特征分别输入三个不同的支路：
支路一，将特征pre输入进两个用于分类的卷积层C0与C1，然后将输出结果进行双线性插值上采样到查询图像的大小，由此得到该支路的输出结果aux，该支路仅用于模型训练阶段，利用该支路的损失函数辅助支路二对模型中的参数进行更新；
支路二，特征pre输入到卷积层R0得到输出结果r0，后又过两个卷积层R1与R2得到输出结果r1，特征r0与r1进行加法操作后，其结果输入到两个用于分类的卷积层C2与C3之中，双线性插值上采样到查询图像大小，得到输出结果out；
支路三，将特征pre双线性插值上采样后与卷积层M的输出结果m1进行通道拼接，得到输出结果rec，rec经过卷积层A后与m1进行相加得到m2，m2继续m1第一次的操作，经过两个连续的卷积层{B0，B1}得到输出结果b1，b1与m2进行相加又得到输出结果pre，如此循环。
其中，支路一的结果aux与支路二的结果out分别与真实的标注求损失值，然后将损失反向传播到网络层中更新参数；
其中支路一与支路二的损失函数均为交叉熵损失；
支路三的作用是提取循环提取特征用于支路一与支路二的结果预测。
2.二分类分支：
利用分割分支部分得到的m0与从查询图像中提取到的中层特征q2及高层特征q4通过通道拼接得到特征m3，将m3输入进一个卷积层D0得到d0，d0经过卷积层D1后将结果与d0通过通道拼接，得到d1，最后将d1输入一个含有三层卷积层{D2,D3,D4}的多层感知机中，输出该病理切片显微图像的良恶性判断结果。
3.多分类分支：
与二分类分支结构一样，利用分割分支部分得到的m0与从查询图像中提取到的中层特征q2及高层特征q4通过通道拼接得到特征m3，将m3输入进一个卷积层E0得到e0，e0经过卷积层E1后将结果与e0通过通道拼接，得到e1，最后将e1输入一个含有三层卷积层{E2,E3,E4}的多层感知机中，输出该病理切片显微图像中癌细胞的分化结果。
由于良恶性结果与癌细胞的分化结果之间存在相关性，如良性的结直肠癌细胞的分化结果通常只有健康与腺瘤性两种，而恶性的结直肠癌细胞的分化结果通常对应有中分化、中低分化与低分化三种，为了充分利用这种医学诊断的相关性约束，本发明将二分支结果与多分支结果进行配对，利用医学诊断上的先验知识为良恶性分类与分化程度分类进行约束惩罚，保证良恶性分类结果与分化程度分类结果之间的可信度与准确度。
值得注意的是，本发明所有分支使用的均是经典的交叉熵损失。
本发明利用支持图像与其分割掩码，使得模型摆脱了需要大规模数据集训练的束缚，而支持图像特征与查询图像特征之间的最大相似度响应特征图为分割与分类提供了指导作用，提高了模型的准确性和泛化性；且分割与分类分支的解耦一定程度上避免了任务之间特征参数的冲突，两个分类分支之间的相关性约束提高了诊断的准确性，为病理学家和诊断人员提供客观的辅助诊断功能。
相比于其他的医学图像分割与诊断方法，本发明利用模型同时实现了多个任务，一次性给出了辅助病理学家和诊断人员诊断需要的所有结果，且克服了深度学习固有的大规模数据集训练的缺点，减少了获取肠癌病理切片显微数据与标注信息所需的成本。
本发明的支持图像集有类型丰富的优点，因此支持图像的存在可以弥补深度学习在小样本数据集上训练而缺少的泛化能力，显著提升模型的泛化性。
本发明提出的基于小样本学习的结直肠癌细胞的分割与诊断方法，能够在小样本数据集的情况下实现对结直肠癌病理切片显微图像的分割与诊断，在降低医学图像人工标注的成本的同时，为病理学家和诊断人员提供客观精确的参考意见，实现计算机辅助诊断的目的。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，包括步骤：
通过两个结构相同的骨干网分别抽取出预处理之后的查询图像与支持图像集的特征；
对上述特征经余弦相似度计算后将得到所有支持像素间的最大相似度作为响应值进行归一化后转换成图像大小，得到相似度矩阵corr，作为响应值特征图；
利用响应值特征图与查询图像的特征及支持图像的特征，传递给后续的卷积网络得到分割与诊断结果，通过损失函数计算出相应的损失，再将误差反向传播对网络参数进行优化更新。
2.根据权利要求1所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，所述的相似度矩阵corr的计算方式如下：
Figure FDA0003288626330000011
corr＝Upsample(sim)，
其中，sim1为余弦相似度计算后得到的所有像素间的最大相似度，sim代表归一化后的最大相似度值，||·||2表示L2范数，即向量各元素的平方和然后求平方根，max是计算最大值，min是计算最小值，∈是非零常数,Upsample代表双线性插值上采样操作，即将sim进行双线性插值上采样缩放至所需的图像大小，Fq与Fs分别代表骨干网从预处理的查询图像与支持图像集中提取得到的查询图像的特征与支持图像集的特征。
3.根据权利要求2所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，所述损失函数如下：
Figure FDA0003288626330000012
其中，g表示深度卷积神经网络对输入图像的推理输出，gt表示数据集标注的标签。
4.根据权利要求3所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，所述骨干网采用的resnet50。
5.根据权利要求4所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，查询图像利用骨干网分别得到五个卷积块{Q0,Q1,Q2,Q3,Q4}的输出{q0,q1,q2,q3,q4}，将特征图q2双线性插值上采样操作缩放到特征图q3大小之后与特征图q3进行通道拼接，得到特征图Q_feat,然后再经过一层卷积层Qd得到特征图qd，特征图qd经过一个平均池化层的操作得到Q_avg；
支持图像经过resnet50的五个卷积块{S0,S1,S2,S3,S4}处理后得到输出{s0,s1,s2,s3,s4}，将特征图s2双线性插值上采样缩放到特征图s3的大小之后与特征图s3进行通道拼接，然后将拼接的特征图经过一个卷积层Sd得到特征图sd；
支持图像的掩码图像y与特征图s3乘法操作，乘法操作的结果作为卷积块S4的输入，特征图s4与支持图像的掩码图像y乘法操作得到特征图S_feat,计算特征图S_feat与查询图像的特征图q4的余弦相似度，再将得到的余弦相似度最大值进行归一化处理后，双线性插值上采样成特征图Q_avg大小的相似度矩阵corr。
6.根据权利要求5所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，将特征图sd与支持图像的掩码图像y进行加权全局平均池化操作，得到Sgap_feat，其中加权全局平均池化操作具体为特征图sd与支持图像的掩码图像y相乘，将相乘后得到的结果进行平均池化操作再除以经过平均池化的支持图像的掩码图像y，得到全局平均池化操作的输出结果Sgap_feat.
具体公式表示为：
Figure FDA0003288626330000031
其中，avgpool代表平均池化操作，h,w代表特征图sd的高度与宽度，∈是一个非零常数。
7.根据权利要求6所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，将得到的Sgap_feat，corr，Q_avg进行通道拼接，得到m0，将m0通过卷积层M得到m1，m1第一次跳过卷积层A直接经过后续两个连续的卷积层{B0,B1}得到b1，特征b1与m1进行加法操作，得到特征pre，特征pre分别输入三个不同的支路：
支路一，将特征pre输入进两个用于分类的卷积层C0与C1，然后将输出结果进行双线性插值上采样到查询图像的大小，由此得到该支路的输出结果aux，该支路仅用于模型训练阶段，利用该支路的损失函数辅助支路二对模型中的参数进行更新；
支路二，将特征pre输入到卷积层R0得到输出结果r0，后又过两个卷积层R1与R2得到输出结果r1，特征r0与r1进行加法操作后，其结果输入到两个用于分类的卷积层C2与C3之中，双线性插值上采样到查询图像大小，得到输出结果out；
支路三，将特征pre将双线性插值上采样后与卷积层M的输出结果m1进行通道拼接，得到输出结果rec，rec经过卷积层A后与m1进行相加得到m2，m2继续m1第一次的操作，经过两个连续的卷积层{B0，B1}得到输出结果b1，b1与m2进行相加又得到输出结果pre，如此循环进行；
其中，支路一的结果aux与支路二的结果out分别与真实的标注求损失值，然后将损失反向传播到网络层中更新参数；
其中支路一与支路二的损失函数均为交叉熵损失，支路三的作用是提取循环提取特征用于支路一与支路二的结果预测。
8.根据权利要求7所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，利用分割分支部分得到的m0与从查询图像中提取到的中层特征q2及高层特征q4通过通道拼接得到特征m3，将m3输入进一个卷积层D0得到d0，d0经过卷积层D1后将结果与d0通过通道拼接，得到d1，最后将d1输入一个含有三层卷积层{D2,D3,D4}的多层感知机中，输出该病理切片显微图像的良恶性判断结果。
9.根据权利要求8所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，利用分割分支部分得到的m0与从查询图像中提取到的中层特征q2及高层特征q4通过通道拼接得到特征m3，将m3输入进一个卷积层E0得到e0，e0经过卷积层E1后将结果与e0通过通道拼接，得到e1，最后将e1输入一个含有三层卷积层{E2,E3,E4}的多层感知机中，输出该病理切片显微图像中癌细胞的分化结果。
10.根据权利要求1-9任一项所述基于小样本学习的结直肠癌的计算机辅助诊断方法，其特征在于，所述数据预处理操作包括随机旋转、随机高斯模糊、随机缩放、随机水平翻转及归一化。
CN202111156902.0A 2021-09-30 2021-09-30 一种基于小样本学习的结直肠癌的计算机辅助诊断方法 Pending CN114022485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111156902.0A CN114022485A (zh) 2021-09-30 2021-09-30 一种基于小样本学习的结直肠癌的计算机辅助诊断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111156902.0A CN114022485A (zh) 2021-09-30 2021-09-30 一种基于小样本学习的结直肠癌的计算机辅助诊断方法

Publications (1)

Publication Number Publication Date
CN114022485A true CN114022485A (zh) 2022-02-08

Family

ID=80055365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111156902.0A Pending CN114022485A (zh) 2021-09-30 2021-09-30 一种基于小样本学习的结直肠癌的计算机辅助诊断方法

Country Status (1)

Country Link
CN (1) CN114022485A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227573A (zh) * 2023-04-25 2023-06-06 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227573A (zh) * 2023-04-25 2023-06-06 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质
CN116227573B (zh) * 2023-04-25 2023-08-08 智慧眼科技股份有限公司 分割模型训练方法、图像分割方法、装置及相关介质

Similar Documents

Publication Publication Date Title
Yoo et al. Prostate cancer detection using deep convolutional neural networks
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
Kobayashi et al. Observing deep radiomics for the classification of glioma grades
CN113610859B (zh) 一种基于超声图像的甲状腺结节自动分割方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
Rastogi et al. Gland segmentation in colorectal cancer histopathological images using U-net inspired convolutional network
CN113034505A (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN114266717A (zh) 一种基于Inception模块的并行胶囊网络宫颈癌细胞检测方法
CN112381846A (zh) 一种基于非对称网络的超声甲状腺结节分割方法
CN114972254A (zh) 一种基于卷积神经网络的宫颈细胞图像分割方法
Dong et al. A novel feature fusion based deep learning framework for white blood cell classification
Kokil et al. Automatic detection of renal abnormalities by Off-the-shelf CNN features
CN112233085A (zh) 一种基于像素预测增强的宫颈细胞图像分割方法
Barmpoutis et al. A digital pathology workflow for the segmentation and classification of gastric glands: Study of gastric atrophy and intestinal metaplasia cases
Xiang et al. A novel weight pruning strategy for light weight neural networks with application to the diagnosis of skin disease
CN114022485A (zh) 一种基于小样本学习的结直肠癌的计算机辅助诊断方法
Zhang et al. Dynamic linear transformer for 3d biomedical image segmentation
Li et al. Multi-level feature fusion network for nuclei segmentation in digital histopathological images
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
CN113344933A (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
Tenali et al. Oral Cancer Detection using Deep Learning Techniques
CN115170564B (zh) 一种结直肠癌放化疗反应自动预测系统
Wang et al. Improved V-Net lung nodule segmentation method based on selective kernel
Zaki et al. Graph-based methods for cervical cancer segmentation: Advancements, limitations, and future directions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination