CN116612311A - 一种面向样本不均衡的不合格免疫组化图像识别系统 - Google Patents
一种面向样本不均衡的不合格免疫组化图像识别系统 Download PDFInfo
- Publication number
- CN116612311A CN116612311A CN202310235648.6A CN202310235648A CN116612311A CN 116612311 A CN116612311 A CN 116612311A CN 202310235648 A CN202310235648 A CN 202310235648A CN 116612311 A CN116612311 A CN 116612311A
- Authority
- CN
- China
- Prior art keywords
- image
- unqualified
- random
- layer
- oriented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002055 immunohistochemical effect Effects 0.000 title claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000013519 translation Methods 0.000 claims abstract description 10
- 238000005520 cutting process Methods 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 11
- 230000002779 inactivation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims 1
- 206010028980 Neoplasm Diseases 0.000 abstract description 28
- 201000011510 cancer Diseases 0.000 abstract description 27
- 210000000981 epithelium Anatomy 0.000 abstract description 26
- 238000000034 method Methods 0.000 abstract description 6
- 238000012217 deletion Methods 0.000 description 14
- 230000037430 deletion Effects 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 4
- 206010009944 Colon cancer Diseases 0.000 description 3
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向样本不均衡的不合格免疫组化图像识别系统,包括:图像增强模块,对原始图像进行垂直水平翻转、随机平移、随机裁减、色域抖动和/或随机亮度增减;图像识别模块,将增强后的图片输入EfficientNet卷积神经网络中,通过若干移动翻转瓶颈卷积模块提取图像特征,经过全连接层和Softmax激活函数,并基于Focal Loss损失函数,得到不合格免疫组化图像的识别结果。本发明系统采用图像数据增强方法扩增样本量,并使用Focal Loss损失函数让EfficientNet卷积神经网络更关注难分类样本,提升上皮或癌少以及位点缺失的图像的识别准确率。
Description
技术领域
本发明涉及数字病理图像和计算机领域,具体涉及一种面向样本不均衡的不合格免疫组化图像识别系统。
背景技术
在结直肠癌的免疫组化图像中,除了质量合格、可以正常评分的图像以外,还包含位点缺失和上皮或癌少这两类质量不合格图像。位点缺失是因为在制作免疫组化切片时部分位点的组织切片脱落导致的。上皮或癌少的含义是所取的组织切片中可用于有效判断的上皮或癌组织太少,只有上皮表达的P53蛋白才对判断肿瘤恶性程度有意义。这两类图像都是切片制作质量不合格所导致的,无法从这两类图像中判断患者的病变情况,因此进行免疫组化评分是没有意义的,不能达到诊断的效果。此外,位点缺失和上皮或癌少这两类不合格图像相比合格图像样本量较少,这种样本不平衡会导致训练图像识别模型时倾向于样本数量多的类别,而轻视样本数量少的类别,使得模型对位点缺失和上皮或癌少的图像识别能力较差。
因此,亟需提出一种在包含位点缺失和上皮或癌少不合格图像的不均衡样本情况下的不合格免疫组化图像识别系统以检出这两类质量不合格的图像,提示研究人员对应重新制作患者的组织切片。
发明内容
鉴于此,本发明提供了一种面向样本不均衡的不合格免疫组化图像识别系统。
本发明解决其技术问题所采用的技术方案是:
本发明实施例提供了一种面向样本不均衡的不合格免疫组化图像识别系统,所述系统包括:
图像增强模块,对原始图像进行垂直水平翻转、随机平移、随机裁减、色域抖动和/或随机亮度增减;
图像识别模块,将增强后的图片输入EfficientNet卷积神经网络中,通过若干移动翻转瓶颈卷积模块提取图像特征,经过全连接层和Softmax激活函数,并基于Focal Loss损失函数,得到不合格免疫组化图像的识别结果。
进一步地,对原始图像进行随机平移包括:
设置移动距离阈值,在移动距离阈值内随机将图像沿水平和垂直方向平移,并填充图像中的空缺区域。
进一步地,对原始图像进行色域抖动包括:
将图像变换到HSV颜色空间,取出代表色调的H通道,并设置色域抖动阈值范围,在色域抖动阈值范围内随机改变图像的色调。
进一步地,对原始图像进行随机亮度增减包括:
将图像变换到HSV颜色空间,取出代表明度的V通道,并设置随机亮度阈值范围,在随机亮度阈值范围内随机增加或减小原始图像的明度。
进一步地,所述图像增强模块包括:
对原始图像按自定义的概率进行垂直水平翻转、随机平移、随机裁减、色域抖动和/或随机亮度增减。
进一步地,所述EfficientNet卷积神经网络采用EfficientNet-B5模型结构。
进一步地,所述图像识别模块包括:
将增强后的图片输入EfficientNet卷积神经网络中,经依次连接的3×3卷积层、第一批归一化层和Swish激活函数得到特征图,将特征图输入依次连接的7个MBConv模块、1×1卷积层、第二批归一化层、全局平均池化层得到特征向量,最后通过全连接层和Softmax激活函数,得到识别结果。
进一步地,所述MBConv模块具体为:
当扩展比例为1时,MBConv模块包括依次连接的k×k深度卷积层、SE模块、随机失活层;
当扩展比例大于1时,MBConv模块通过1×1卷积层增加输出通道数量,再经依次连接的批归一化层、Swish激活函数、k×k深度卷积层、SE模块,然后通过1×1卷积层恢复特征图通道数,得到输出特征图;
当输入特征图和输出特征图相同时,所述MBConv模块还包括一捷径分支和随机失活层;所述捷径分支从输入端直接连接到输出端。
进一步地,所述SE模块包括依次连接的全局平均池化层、两层1×1卷积层和Sigmoid激活函数。
进一步地,所述Focal Loss损失函数的表达式如下:
FL(y,p)=-(1-pt)γlog(pt)
式中,γ为可调节因子,(1-pt)γ为调制系数,pt为置信度。
与现有技术相比,本发明的有益效果为:本发明建立了样本不均衡条件下的结直肠癌P53蛋白免疫组化图像中上皮或癌少以及位点缺失两类不合格图像的识别系统。使用EfficientNet卷积神经网络作为基本模型,针对上皮或癌少、位点缺失这些不合格图像样本量较少,直接训练网络模型效果不佳的问题,一方面使用垂直水平翻转、随机平移、随机裁减、色域抖动、随机亮度增减数据增强方法达到类似数据扩增的效果,另一方面使用Focal Loss损失函数让模型在训练过程中更关注那些难分类的样本,提升了上皮或癌少、位点缺失两类不合格免疫组化图像的识别准确率。
附图说明:
图1为本发明提供的样本不均衡条件下不合格免疫组化图像识别系统的流程图;
图2为数据增强结果图;
图3为本发明实施例中EfficientNet-B5卷积神经网络模块结构图;
图4为移动翻转瓶颈卷积模块结构图;
图5为SE模块的结构图;
图6为对上皮或癌少图像的识别结果的示意图;
图7为对位点缺失图像的识别结果示意图。
具体实施方式
为方便技术人员理解和实施本发明,下面将结合附图和操作实例来说明本发明的具体实施方式。
如图1所示,本发明提供了一种面向样本不均衡的不合格免疫组化图像识别系统,所述系统包括图像增强模块和图像识别模块。
所述图像增强模块对原始图像进行垂直水平翻转、随机平移、随机裁减、色域抖动、随机亮度增减等操作。如图2所示,所述图像增强模块用于在图像样本有限情况下的提升图像的识别准确率,让有限的图像样本等价更多图像样本的效果。
需要进一步说明的是,图像增强模块具体包括:
所述垂直水平翻转包括:沿水平方向或者垂直方向翻转图像。
所述随机平移包括:在自定义的移动距离阈值内随机将图像沿水平和垂直方向平移,其中,平移导致的图像中空缺区域按默认值填充。在本实施例中,移动距离阈值设置为图像边长的1/5。
所述随机裁减包括:随机截取原始图像中的一部分区域。本实例中采取的截取策略是以图像边长的1/5为上限,随机删除图像的上下左右区域,达到裁减的目的。
所述色域抖动包括:将图像变换到HSV颜色空间,取出代表色调的H通道,并设置色域抖动阈值范围,在色域抖动阈值范围内随机改变图像的色调。
所述随机亮度增减包括:将图像变换到HSV颜色空间,取出代表明度的V通道,并设置随机亮度阈值范围,在随机亮度阈值范围内随机增加或减小原始图像的明度。
其中,对原始图像按自定义的概率进行垂直水平翻转、随机平移、随机裁减、色域抖动和/或随机亮度增减。在本实例中,所述概率设置为50%。
图像识别模块,将增强后的图片输入EfficientNet卷积神经网络中,通过若干移动翻转瓶颈卷积模块(Mobile inverted bottleneck convolution,MBConv)提取图像特征,经过全连接层和Softmax激活函数,并基于Focal Loss损失函数,得到不合格免疫组化图像的识别结果。
进一步地,所述图像识别模块具体为:在本实例中,所述EfficientNet卷积神经网络使用EfficientNet-B5模型结构,如图3所示,首先经过一个卷积核大小为3×3的普通卷积层,其通道数48,再经过批归一化层和Swish激活函数得到特征图。然后将特征图输入依次连接的7个MBConv模块,其中,第一MBConv模块包含3个MBConv1网络结构,卷积核大小为3×3,通道数24;第二MBConv模块包含5个MBConv6网络结构,卷积核大小为3×3,通道数40;第三MBConv模块包含5个MBConv6网络结构,卷积核大小为5×5,通道数64;第四MBConv模块包含7个MBConv6网络结构,卷积核大小为3×3,通道数128;第五MBConv模块包含7个MBConv6网络结构,卷积核大小为5×5,通道数176;第六MBConv模块包含9个MBConv6网络结构,卷积核大小为5×5,通道数304;第七MBConv模块包含3个MBConv6网络结构,卷积核大小为3×3,通道数512。接下来依次经过1×1卷积层、批归一化层、全局平均池化层得到特征向量,最后经过1024个神经元的全连接层和3个神经元的输出层,输出免疫组化图像识别结果,输出类别包括质量合格、位点缺失和上皮或癌少。
进一步地,如图4所示,所述MBConv模块具体包括:
当扩展比例大于1时,MBConv模块通过1×1卷积层增加输出通道数量,再经依次连接的批归一化层、Swish激活函数、k×k深度卷积层、压缩和激励模块,然后通过1×1卷积层恢复特征图通道数,得到输出特征图。
当扩展比例为1时,MBConv模块包括依次连接的k×k深度卷积层、压缩和激励模块、随机失活层。
当输入特征图和输出特征图相同时,所述MBConv模块还包括一捷径分支和随机失活层;所述捷径分支从输入端直接连接到输出端,这个结构来源于ResNet残差网络的思想,它缓解了训练过程中梯度消失的问题,让MBConv网络结构可以设计的很深。所述随机失活层(Dropout)的主要作用是缓解过拟合。需要注意的是,只有输入和输出的特征图矩阵形状相同时才会有随机失活和捷径分支,并且此时深度卷积的步长为1。
具体地,所述特征图输入MBConv模块后,首先会经过一个1×1卷积层来增加输出通道数量,增加的幅度由扩展比例这一参数确定。例如,第二MBConv模块包含5个MBConv6网络结构,其中MBConv6网络结构的扩展比例为6,通过1×1卷积层会将通道数量增大到原先的6倍,然后经过一批归一化层和Swish激活函数。特别地,如果扩展比例为1,则会直接跳过这个1×1卷积以及之后的批归一化层和激活函数。然后经过k×k的深度卷积(DepthwiseConvolution),每个卷积核和特征图的通道一一对应,卷积核大小为3×3或5×5。之后经过压缩和激励模块,再通过1×1卷积将特征图通道数恢复到原先的数量。
进一步地,压缩和激励(Squeeze and Excitation,SE)模块的结构如图5所示,特征图进入SE模块后,首先会通过全局平均池化操作(Global Average Pooling)将特征图压缩成一维向量,表示特征图各通道的全局特征。然后使用两个1×1卷积层代替原方法的全连接层学习通道间的组合权重,第一个1×1卷积层的卷积核数量等于压缩系数乘以特征图通道数,第二个1×1卷积层的卷积核数量等于扩张系数乘以特征图通道数。再通过Sigmoid激活函数将权重归一化到0到1范围。最后将权重向量与输入特征图相乘得到输出特征图。通过SE模块的这种结构可以让EfficientNet卷积神经网络更关注特征图中包含重要特征的通道,而抑制不重要的通道,以提高不合格免疫组化图像识别准确率。
进一步地,Focal Loss损失函数从样本分类的难易程度角度出发,对难分类的样本赋予更高的损失函数权重,其计算公式如下:
FL(y,p)=-(1-pt)γlog(pt)
式中,γ为可调节因子,在本实例中γ取值为2时效果最佳,(1-pt)γ为调制系数,pt为Softmax激活函数计算得到的样本被正确分类的概率即置信度,pt越大,说明EfficientNet卷积神经网络的预测结果越可靠。
整体来看,Focal Loss增加了分类不准确的样本在损失中的占比,让EfficientNet卷积神经网络更关注难分类样本。数据不均衡带来的主要问题就是对小样本类别的分类不准确,Focal Loss不仅可以用来解决数据不均衡带来的问题,还能提升EfficientNet卷积神经网络整体性能。
对上皮或癌少图像的识别结果如图6所示,图6中的(a)识别为合格图像的概率为0.00%,识别为上皮或癌少图像的概率为100.00%,识别为位点缺失图像的概率为0.00%,最终识别结果为上皮或癌少。图6中的(b)识别为合格图像的概率为0.05%,识别为上皮或癌少图像的概率为99.95%,识别为位点缺失图像的概率为0.00%,最终识别结果为上皮或癌少。图6中的(c)识别为合格图像的概率为0.16%,识别为上皮或癌少图像的概率为87.39%,识别为位点缺失图像的概率为12.46%,最终识别结果为上皮或癌少。图6中的(d)识别为合格图像的概率为41.13%,识别为上皮或癌少图像的概率为58.70%,识别为位点缺失图像的概率为0.17%,最终识别结果为上皮或癌少。
对位点缺失图像的识别结果如图7所示,图7中的(a)识别为合格图像的概率为0.01%,识别为上皮或癌少图像的概率为0.12%,识别为位点缺失图像的概率为99.87%,最终识别结果为位点缺失。图7中的(b)识别为合格图像的概率为0.06%,识别为上皮或癌少图像的概率为0.06%,识别为位点缺失图像的概率为99.87%,最终识别结果为位点缺失。图7中的(c)识别为合格图像的概率为3.47%,识别为上皮或癌少图像的概率为20.06%,识别为位点缺失图像的概率为76.47%,最终识别结果为位点缺失。图7中的(d)识别为合格图像的概率为0.20%,识别为上皮或癌少图像的概率为0.96%,识别为位点缺失图像的概率为98.84%,最终识别结果为位点缺失。
下表1示出了测试集上三种方法的性能比较结果,可以看到加入数据增强以后,模型对质量合格、上皮或癌少、位点缺失三类图像识别的整体准确率和F1分数都得到了比较大的提升,其中准确率达到95.18%,F1分数达到95.67%。在使用Focal Loss损失函数以后,准确率和F1分数得到进一步提升。在上皮或癌少以及位点缺失图像的召回率上,加入数据增强和Focal Loss损失函数后这两类不合格图像的召回率也得到了很大提升,分别达到96.59%和100%。
表1:本发明性能比较结果表
综上所述,本发明系统建立了样本不均衡条件下的结直肠癌P53蛋白免疫组化图像中上皮或癌少以及位点缺失两类不合格图像的识别系统。使用EfficientNet卷积神经网络作为基本模型,针对上皮或癌少、位点缺失这些不合格图像样本量较少,直接训练网络模型分类效果不佳的问题,一方面使用垂直水平翻转、随机平移、随机裁减、色域抖动、随机亮度增减数据增强方法达到类似数据扩增的效果,另一方面使用Focal Loss损失函数让EfficientNet卷积神经网络在训练过程中更关注那些难分类的样本,提升了上皮或癌少、位点缺失两类不合格免疫组化图像的识别准确率。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。
Claims (10)
1.一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,所述系统包括:
图像增强模块,对原始图像进行垂直水平翻转、随机平移、随机裁减、色域抖动和/或随机亮度增减;
图像识别模块,将增强后的图片输入EfficientNet卷积神经网络中,通过若干移动翻转瓶颈卷积模块提取图像特征,经过全连接层和Softmax激活函数,并基于Focal Loss损失函数,得到不合格免疫组化图像的识别结果。
2.根据权利要求1所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,对原始图像进行随机平移包括:
设置移动距离阈值,在移动距离阈值内随机将图像沿水平和垂直方向平移,并填充图像中的空缺区域。
3.根据权利要求1所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,对原始图像进行色域抖动包括:
将图像变换到HSV颜色空间,取出代表色调的H通道,并设置色域抖动阈值范围,在色域抖动阈值范围内随机改变图像的色调。
4.根据权利要求1所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,对原始图像进行随机亮度增减包括:
将图像变换到HSV颜色空间,取出代表明度的V通道,并设置随机亮度阈值范围,在随机亮度阈值范围内随机增加或减小原始图像的明度。
5.根据权利要求1-4任一项所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,所述图像增强模块包括:
对原始图像按自定义的概率进行垂直水平翻转、随机平移、随机裁减、色域抖动和/或随机亮度增减。
6.根据权利要求1所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,所述EfficientNet卷积神经网络采用EfficientNet-B5模型结构。
7.根据权利要求1或6所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,所述图像识别模块包括:
将增强后的图片输入EfficientNet卷积神经网络中,经依次连接的3×3卷积层、第一批归一化层和Swish激活函数得到特征图,将特征图输入依次连接的7个MBConv模块、1×1卷积层、第二批归一化层、全局平均池化层得到特征向量,最后通过全连接层和Softmax激活函数,得到识别结果。
8.根据权利要求7所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,所述MBConv模块具体为:
当扩展比例为1时,MBConv模块包括依次连接的k×k深度卷积层、SE模块、随机失活层;
当扩展比例大于1时,MBConv模块通过1×1卷积层增加输出通道数量,再经依次连接的批归一化层、Swish激活函数、k×k深度卷积层、SE模块,然后通过1×1卷积层恢复特征图通道数,得到输出特征图;
当输入特征图和输出特征图相同时,所述MBConv模块还包括一捷径分支和随机失活层;所述捷径分支从输入端直接连接到输出端。
9.根据权利要求8所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,所述SE模块包括依次连接的全局平均池化层、两层1×1卷积层和Sigmoid激活函数。
10.根据权利要求1所述的一种面向样本不均衡的不合格免疫组化图像识别系统,其特征在于,所述Focal Loss损失函数的表达式如下:
FL(y,p)=-(1-pt)γlog(pt)
式中,γ为可调节因子,(1-pt)γ为调制系数,pt为置信度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310235648.6A CN116612311A (zh) | 2023-03-13 | 2023-03-13 | 一种面向样本不均衡的不合格免疫组化图像识别系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310235648.6A CN116612311A (zh) | 2023-03-13 | 2023-03-13 | 一种面向样本不均衡的不合格免疫组化图像识别系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116612311A true CN116612311A (zh) | 2023-08-18 |
Family
ID=87680654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310235648.6A Pending CN116612311A (zh) | 2023-03-13 | 2023-03-13 | 一种面向样本不均衡的不合格免疫组化图像识别系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116612311A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991402A (zh) * | 2019-12-19 | 2020-04-10 | 湘潭大学 | 一种基于深度学习的皮肤病分类装置及分类方法 |
CN113158829A (zh) * | 2021-03-31 | 2021-07-23 | 安徽大学 | 一种基于EfficientDet网络的深度学习矿石大小测量方法及预警系统 |
CN113177465A (zh) * | 2021-04-27 | 2021-07-27 | 江苏科技大学 | 基于深度可分离卷积神经网络的sar图像自动目标识别方法 |
CN113450320A (zh) * | 2021-06-17 | 2021-09-28 | 浙江德尚韵兴医疗科技有限公司 | 一种基于较深网络结构的超声结节分级与良恶性预测方法 |
CN113627281A (zh) * | 2021-07-23 | 2021-11-09 | 中南民族大学 | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 |
CN114596608A (zh) * | 2022-01-19 | 2022-06-07 | 中国科学院自动化研究所 | 一种基于多线索的双流视频人脸伪造检测方法及系统 |
CN114724231A (zh) * | 2022-04-13 | 2022-07-08 | 东北大学 | 一种基于迁移学习的青光眼多模态智能识别系统 |
CN114937288A (zh) * | 2022-06-21 | 2022-08-23 | 四川大学 | 一种非典型类数据集平衡方法、装置、介质 |
-
2023
- 2023-03-13 CN CN202310235648.6A patent/CN116612311A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110991402A (zh) * | 2019-12-19 | 2020-04-10 | 湘潭大学 | 一种基于深度学习的皮肤病分类装置及分类方法 |
CN113158829A (zh) * | 2021-03-31 | 2021-07-23 | 安徽大学 | 一种基于EfficientDet网络的深度学习矿石大小测量方法及预警系统 |
CN113177465A (zh) * | 2021-04-27 | 2021-07-27 | 江苏科技大学 | 基于深度可分离卷积神经网络的sar图像自动目标识别方法 |
CN113450320A (zh) * | 2021-06-17 | 2021-09-28 | 浙江德尚韵兴医疗科技有限公司 | 一种基于较深网络结构的超声结节分级与良恶性预测方法 |
CN113627281A (zh) * | 2021-07-23 | 2021-11-09 | 中南民族大学 | 一种基于SK-EfficientNet的轻量级农作物病害识别方法 |
CN114596608A (zh) * | 2022-01-19 | 2022-06-07 | 中国科学院自动化研究所 | 一种基于多线索的双流视频人脸伪造检测方法及系统 |
CN114724231A (zh) * | 2022-04-13 | 2022-07-08 | 东北大学 | 一种基于迁移学习的青光眼多模态智能识别系统 |
CN114937288A (zh) * | 2022-06-21 | 2022-08-23 | 四川大学 | 一种非典型类数据集平衡方法、装置、介质 |
Non-Patent Citations (1)
Title |
---|
叶紫璇 等: "《湖南工业大学学报》", 31 December 2021, 湖南工业大学, pages: 53 - 55 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110111344B (zh) | 病理切片图像分级方法、装置、计算机设备和存储介质 | |
CN108345911B (zh) | 基于卷积神经网络多级特征的钢板表面缺陷检测方法 | |
US20200372648A1 (en) | Image processing method and device, computer apparatus, and storage medium | |
CN110909690B (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
CN110032925B (zh) | 一种基于改进胶囊网络与算法的手势图像分割与识别方法 | |
CN108399362A (zh) | 一种快速行人检测方法及装置 | |
CN108346145A (zh) | 一种病理切片中非常规细胞的识别方法 | |
CN111523521A (zh) | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 | |
CN112233073A (zh) | 一种变电设备红外热成像异常实时检测方法 | |
CN108470172A (zh) | 一种文本信息识别方法及装置 | |
CN107392130A (zh) | 基于阈值自适应和卷积神经网络的多光谱图像分类方法 | |
CN111507932B (zh) | 高特异性的糖尿病性视网膜病变特征检测方法及存储设备 | |
CN112348036A (zh) | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 | |
CN108520214A (zh) | 一种基于多尺度hog和svm的手指静脉识别方法 | |
CN105654107A (zh) | 一种基于svm的有形成分分类方法 | |
CN108734138A (zh) | 一种基于集成学习的黑色素瘤皮肤病图像分类方法 | |
CN109325490A (zh) | 基于深度学习和rpca的太赫兹图像目标识别方法 | |
CN109034233A (zh) | 一种结合OpenStreetMap的高分辨率遥感影像多分类器联合分类方法 | |
CN111291826A (zh) | 基于相关性融合网络的多源遥感图像的逐像素分类方法 | |
CN110969171A (zh) | 基于改进卷积神经网络的图像分类模型、方法及应用 | |
CN112767389A (zh) | 基于fcos算法的胃镜图片病灶识别方法及装置 | |
CN117649610B (zh) | 一种基于YOLOv5的害虫检测方法及系统 | |
CN110674802A (zh) | 一种改进的平行四边形候选框的文本检测方法 | |
CN114638800A (zh) | 一种基于改进Faster-RCNN的头影标记点定位方法 | |
CN112862766B (zh) | 一种基于图像数据扩充技术的绝缘子检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |