CN112950587B - 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备 - Google Patents
基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备 Download PDFInfo
- Publication number
- CN112950587B CN112950587B CN202110229903.7A CN202110229903A CN112950587B CN 112950587 B CN112950587 B CN 112950587B CN 202110229903 A CN202110229903 A CN 202110229903A CN 112950587 B CN112950587 B CN 112950587B
- Authority
- CN
- China
- Prior art keywords
- image
- deep learning
- detected
- brain glioma
- fluorescence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 58
- 201000007983 brain glioma Diseases 0.000 title claims abstract description 57
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 52
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 238000010191 image analysis Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000000137 annealing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000004393 prognosis Methods 0.000 abstract description 3
- 238000003703 image analysis method Methods 0.000 abstract 1
- 108090000623 proteins and genes Proteins 0.000 abstract 1
- 230000008569 process Effects 0.000 description 6
- 206010018338 Glioma Diseases 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 208000032612 Glial tumor Diseases 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000012632 fluorescent imaging Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 208000005017 glioblastoma Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000029824 high grade glioma Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000012216 imaging agent Substances 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 201000011614 malignant glioma Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像分析领域，具体涉及了一种基于深度学习的脑胶质瘤荧光图像分析方法、系统和设备，旨在解决现有的图像分析方法难以快速识别出手术中的肿瘤组织，难以辅助医生完成精准切除的问题。本发明包括：获取标本荧光图像作为待测图像，通过训练好的基于深度学习的脑胶质瘤荧光图像识别网络获得待测图像类别，将类别为肿瘤组织的待测图像通过肿瘤分级网络获得待测图像的肿瘤等级，通过Ki‑67表达水平识别网络获得待测图像的Ki‑67表达水平；其中脑胶质瘤图像识别网络基于EfficientNet卷积神经网络构建并通过二分类交叉熵损失函数训练。本发明实现了在手术中实时识别脑胶质瘤标本，辅助医生完成精准切除，同时提供分级和基因信息，帮助医生判断病人预后。
Description
背景技术
脑胶质瘤占成人原发性恶性脑肿瘤的75％。这些脑肿瘤患者中超过一半是最致命的胶质母细胞瘤，平均总生存期只有14.6个月。虽然对于脑胶质瘤患者已经存在多种先进治疗方法，但神经外科手术仍然是主要的治疗方式，在提高生存率方面发挥着重要作用。
目前，可见光下的显微手术是神经外科临床最常用的手术方法。但由于神经外科医生很难清楚地识别胶质瘤的边界，所以很容易导致肿瘤残留和早期复发的问题。因此，在手术中对组织标本进行快速、准确的诊断至关重要。术中应用苏木精-伊红(H&E)染色法对冰冻组织切片进行病理检查是一种常规而可靠的诊断方法，但它通常需要耗费很长时间(至少20-30分钟)，并且通过复杂的步骤才能获得病理结果。此外，基于这种方法在手术中冷冻数十个或数百个标本是不现实的，这在一定程度上限制了它在肿瘤术中实时诊断尤其是多个组织标本中的应用。
荧光成像的发展使实时成像引导手术成为可能，这大大提高了高级别胶质瘤的完全切除率。吲哚青绿是一种安全、经济的近红外荧光显像剂，已在临床上用于脑胶质瘤手术，并表现出较高的灵敏度和一定的特异性。
在过去的几年里，人工智能技术如深度卷积神经网络已经被发展用于进行医学图像的分类，并且表现出良好的效果。通过与常规的影像学技术如磁共振成像等相结合，深度神经网络也被用于胶质瘤的治疗和诊断，例如提供分级和基因信息，自动化术后病理诊断，或帮助确定预后和指导治疗。然而，这些技术与方法主要集中在术前和术后影像，很少有应用到术中，在手术时进行胶质瘤的快速诊断。
发明内容
为了解决现有技术中的上述问题，即现有的技术无法快速准确地识别出肿瘤的组织，难以实际运用到术中，本发明提供了一种基于深度学习的脑胶质瘤荧光图像分析方法。本发明基于的图像为可在术中实时、高通量采集的脑胶质瘤标本荧光图像，同时由于术中采集的荧光图像本身具有分辨率小、噪声高的特点，本发明提出了使用适用于荧光图像的数据预处理方法来扩增训练样本，并使用了余弦退火策略来进行网络训练。为了满足术中实时处理的需求，使用了基于EfficientNet的高效神经网络架构，在保证识别准确率的同时，尽可能地提高图像处理速度。本发明的具体步骤包括：
步骤S100，获取标本荧光图像，作为待测图像；
步骤S200，基于所述待测图像，通过训练好的基于深度学习的脑胶质瘤荧光图像识别网络，获得待测图像类别；其中，待测图像类别包括正常组织和肿瘤组织；
步骤S300，基于类别为肿瘤组织的待测图像，通过训练好的基于深度学习的肿瘤分级网络获得待测图像的肿瘤等级；通过训练好的基于深度学习的Ki-67表达水平识别网络获得待测图像的Ki-67表达水平。
进一步地，所述基于深度学习的脑胶质瘤荧光图像识别网络、基于深度学习的肿瘤分级网络和基于深度学习的Ki-67表达水平识别网络，基于EfficientNet卷积神经网络构建；所述EfficientNet卷积神经网络包括顺次连接的输入层、特征提取层和预测层；其中，特征提取层包括顺次连接的1个Stem模块和n个结构相同特征数不同的MBConv模块；所述Stem模块为1个卷积核为3×3的卷积层；所述MBConv模块为逆瓶颈结构，包括顺次连接的卷积核为1×1的卷积层、包含注意力模块的卷积核为3×3的通道可分卷积和1个卷积核为1×1的卷积，其中3x3卷积的特征数大于1x1卷积的特征数。
进一步地，所述基于深度学习的脑胶质瘤荧光图像识别网络，其训练方法包括：
步骤A100，获取训练图像；
步骤A200，基于所述训练图像进行灰度映射生成灰度训练图像；
步骤A300，基于所述灰度训练图像，通过所述基于深度学习的脑胶质瘤荧光图像识别网络的特征提取层获取训练图像特征；特征提取层的深度d、宽度w、输入分辨率r为：
s.t.α·β2·γ2≈2，α≥1，β≥1，γ≥1
其中，
为放缩系数，α表示深度常数，β表示宽度常数，γ表示分辨率常数；深度d指MBConv模块的重复次数，宽度w指MBConv中卷积的特征数；
特征提取层中所述MBConv的注意力模块的注意力函数为：
其中，SE表示注意力函数，X表示模块的输入，x表示空间横坐标，y表示空间纵坐标，H表示图像高度，W表示图像宽度，w1表示注意力模块中第一个全连接层的权重，w2表示注意力模块中第二个全连接层的权重，f表示注意力权重函数，g表示全局平均池化函数；
步骤A400，基于所述训练图像特征，通过预测层获得训练图像类别；并计算加权二分类交叉熵损失LBCE：
其中，yt表示样本标签，
表示第i个样本的标签，yp表示网络输出的概率，
表示第i个样本输出的概率，P表示正样本类别，N表示负样本类别，αP表示正样本的权重，αN表示负样本的权重；
所述加权二分类交叉熵损失可以帮助模型针对目标类别进行学习，使模型在小分辨率、高噪声的荧光图像中学习到更多有利于脑胶质瘤识别的特征。
步骤A500，重复步骤A100-步骤A400，通过反向传播得到梯度，通过随机梯度下降算法对网络参数进行优化，获得训练好的基于深度学习的脑胶质瘤荧光图像识别网络。
进一步地，所述通过随机梯度下降算法对网络参数进行优化，还包括：
通过余弦退火策略调整优化器的学习率η为：
其中，T表示总轮数，Tcur表示当前轮数，ηmax表示最大学习率，ηmin表示最小学习率，ηt表示当前学习率。
进一步地，所述加权二分类交叉熵损失函数，其权重由正负类别比例决定。
进一步地，步骤A200具体步骤包括：
步骤A210，基于所述训练图像，将荧光信号转换为灰度值生成灰度映射图像：
其中，I为包含原始荧光信号的待测图像，Imin为待测图像中荧光信号最小值，Imax为待测图像中荧光信号最大值，round表示将数值四舍五入为整数，I′为灰度映射图像；
步骤A220，基于所述灰度映射图像进行对比度自动调节，生成灰度训练图像；
所述对比度自动调节，其方法为：
IC＝min(max(I′，Cmin)，Cmax))
其中，Cmax为设置的灰度最大值，Cmin为设置的灰度最小值，IC为灰度训练图像，min函数表示取两者中的较小的值，max函数表示取两者中的较大的值，I′C为预处理后的灰度图像。
进一步地，步骤A300之前，包括对灰度训练图像预处理的步骤，包括以下一项或多项的预处理方法；
预处理方法一，将所述灰度训练图像进行填补黑边操作，使灰度训练图像的宽度和高度相等；
预处理方法二，将所述灰度训练图像缩放到与网络匹配的分辨率。
进一步地，所述步骤A100后，还包括样本扩增方法，具体步骤包括：
步骤B10，将所述训练图像依次进行随机尺寸放大或缩小、随机角度旋转、随机距离平移、随机位置裁剪、随机亮度调整和随机对比度调整生成初步处理的训练图像；
步骤B20，基于所述初步处理的训练图像，进行三通道像素值归一化处理，生成样本扩增后的训练图像。本发明的另一方面，提出了一种基于深度学习的脑胶质瘤荧光图像分析系统，包括：图像获取模块、图像识别模块和目标分析模块；
所述图像获取模块，配置为获取标本荧光图像，作为待测图像；
所述图像识别模块，配置为基于所述待测图像，通过训练好的基于深度学习的脑胶质瘤荧光图像识别网络，获得待测图像类别；其中，待测图像类别包括正常组织和肿瘤组织；
所述目标分析模块，配置为基于类别为肿瘤组织的待测图像，通过训练好的基于深度学习的肿瘤分级网络获得待测图像的肿瘤等级；通过训练好的基于深度学习的Ki-67表达水平识别网络获得待测图像的Ki-67表达水平。
本发明的第三方面，提出了一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于深度学习的脑胶质瘤荧光图像分析方法。
本发明的第四方面，提出了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于深度学习的脑胶质瘤荧光图像分析方法。
本发明的有益效果：
(1)本发明基于深度学习的脑胶质瘤荧光图像分析方法，通过从标本的荧光图像中提取的特征，深度神经网络可以自动识别手术中的标本是正常组织还是肿瘤组织，更进一步地还可将组织的情况进行分级评定和Ki-67评定，为医生判断病人预后提供有效信息。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明第一实施例基于深度学习的脑胶质瘤荧光图像分析方法的流程示意图；
图2是本发明实施例中的训练样本扩增原理示意图；
图3是本发明实施例中深度神经网络EfficientNet的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明的一种基于深度学习的脑胶质瘤荧光图像分析方法，包括：
步骤S100，获取标本荧光图像，作为待测图像；
步骤S200，基于所述待测图像，通过训练好的基于深度学习的脑胶质瘤荧光图像识别网络，获得待测图像类别；其中，待测图像类别包括正常组织和肿瘤组织；
步骤S300，基于类别为肿瘤组织的待测图像，通过训练好的基于深度学习的肿瘤分级网络获得待测图像的肿瘤等级；通过训练好的基于深度学习的Ki-67表达水平识别网络获得待测图像的Ki-67表达水平。
本发明基于的图像为可在术中实时、高通量采集的脑胶质瘤标本荧光图像，同时由于术中采集的荧光图像本身具有分辨率小、噪声高的特点，本发明提出了使用适用于荧光图像的数据预处理方法来扩增训练样本，并使用了余弦退火策略来进行网络训练。为了满足术中实时处理的需求，使用了基于EfficientNet的高效神经网络架构，在保证识别准确率的同时，尽可能地提高图像处理速度。
为了更清晰地对本发明基于深度学习的脑胶质瘤荧光图像分析方法法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于深度学习的脑胶质瘤荧光图像分析方法，包括步骤S100-步骤S300，各步骤详细描述如下：
步骤S100，获取标本荧光图像，作为待测图像；本实施例采用的荧光图像为目标患者手术中切除的脑组织的手术标本的荧光图像；对于得到的荧光图像，将每个标本所在的区域从整张图像中裁剪出来，使得标本边缘恰好位于裁剪图像边缘。可由医疗人员手动完成，或通过边缘图像分割方法并构建目标框获取以获得待测图像。所述切除的脑组织的手术标本的病理分类结果可以帮助医生判断在该切除区域是否要扩大切除。
步骤S200，基于所述待测图像，通过训练好的基于深度学习的脑胶质瘤荧光图像识别网络，获得待测图像类别；其中，待测图像类别包括正常组织和肿瘤组织；
在本实施例中，如图3所示，所述基于深度学习的脑胶质瘤荧光图像识别网络、基于深度学习的肿瘤分级网络和基于深度学习的Ki-67表达水平识别网络，基于EfficientNet卷积神经网络构建；所述EfficientNet卷积神经网络包括顺次连接的输入层、特征提取层和预测层；其中，特征提取层包括顺次连接的1个Stem模块和n个结构相同特征数不同的MBConv模块，在具体的实施环境中，MBConv模块的特征数也有相同的情况，再此不做具体的限定；所述Stem模块为1个卷积核为3×3的卷积层；所述MBConv模块为逆瓶颈结构包括顺次连接的卷积核为1×1的卷积层、包含注意力模块的卷积核为3×3的卷积和1个卷积核为1×1的卷积；预测层的神经元数目取决于目标类别数。以图3为例，所述特征提取层输入图片输入Stem模块，依次通过MBConv×3、MBConv×2、MBConv×6、MBConv×4和Dense层。
在本实施例中，如图1所示，所述基于深度学习的脑胶质瘤荧光图像识别网络，其训练方法包括：
训练前，将预测层的参数使用正态分布随机初始化；
步骤A100，获取训练图像；
在本实施例中，还包括样本扩增方法如图2所示，包括：
步骤B10，将所述训练图像依次进行随机尺寸放大或缩小、随机角度旋转、随机距离平移、随机位置裁剪、随机亮度调整和随机对比度调整生成初步处理的训练图像；其中，本步骤的调整方法择一或几种皆可达到本发明样本扩增的效果；
步骤B20，基于所述初步处理的训练图像，进行三通道像素值归一化处理，生成样本扩增后的训练图像。
所述基于深度学习的脑胶质瘤荧光图像识别网络、基于深度学习的肿瘤分级网络和基于深度学习的Ki-67表达水平识别网络，基于EfficientNet卷积神经网络构建；所述EfficientNet卷积神经网络包括顺次连接的输入层、特征提取层和预测层；其中，特征提取层包括顺次连接的1个Stem模块和n个结构相同特征数不同的MBConv模块；所述Stem模块为1个卷积核为3×3的卷积层；所述MBConv模块包括顺次连接的卷积核为1×1的卷积层、包含注意力模块的卷积核为3×3的卷积和1个卷积核为1×1的卷积。所述MBConv模块中的逆瓶颈结构使用特征数较大的3x3卷积，所以可以从小分辨率的荧光图像中提取较丰富的图像语义特征，帮助进行脑胶质瘤识别。所述MBConv模块中的注意力模块通过注意力机制，使模型在从噪声较大的荧光图像中特征提取时，聚焦有利于识别脑胶质瘤的部分，进而减小荧光图像中噪声产生的影响。步骤A200，基于所述训练图像进行灰度映射生成灰度训练图像；
步骤A200具体步骤包括：
步骤A210，基于所述训练图像，将荧光信号转换为灰度值生成灰度映射图像如公式(1)所示：
其中，I为包含原始荧光信号的待测图像，Imin为待测图像中荧光信号最小值，Imax为待测图像中荧光信号最大值，round表示将数值四舍五入为整数，I′为灰度映射图像；
步骤A220，基于所述灰度映射图像进行对比度自动调节，生成灰度训练图像；
所述对比度自动调节，其方法如公式(2)和(3)所示：
IC＝min(max(I′，Cmin)，Cmax)) (2)
其中，Cmax为设置的灰度最大值，Cmin为设置的灰度最小值，IC为灰度训练图像，min函数表示取两者中的较小的值，max函数表示取两者中的较大的值，I′C为预处理后的灰度图像。步骤A300，基于所述灰度训练图像，通过所述基于深度学习的脑胶质瘤荧光图像识别网络的特征提取层获取训练图像特征；特征提取层的深度d、宽度w、输入分辨率r如公式(4)所示：
其中，
为放缩系数，α表示深度常数，β表示宽度常数，γ表示分辨率常数；深度d指MBConv模块的重复次数，宽度w指MBConv中卷积的特征数；放缩系数
越大则得到的网络规模越大，越适用于准确率要求高，速度要求不高的场景。
特征提取层中所述MBConv的注意力模块的注意力函数如公式(5)和(6)所示：
其中，SE表示注意力函数，X表示模块的输入，x表示空间横坐标，y表示空间纵坐标，H表示图像高度，W表示图像宽度，w1表示注意力模块中第一个全连接层的权重，w2表示注意力模块中第二个全连接层的权重，f表示注意力权重函数，g表示全局平均池化函数；
步骤A400，基于所述训练图像特征，通过预测层获得训练图像类别；并计算加权二分类交叉熵损失LBCE如公式(7)和(8)所示：
其中，yt表示样本标签，
表示第i个样本的标签，yp表示网络输出的为正样本的概率，
表示第i个样本输出的概率，P表示正样本类别，N表示负样本类别，αP表示正样本的权重，αN表示负样本的权重；在本实施例中，可采用Adam优化器进行优化；
所述加权二分类交叉熵损失可以帮助模型针对目标类别进行学习，使模型在小分辨率、高噪声的荧光图像中学习到更多有利于脑胶质瘤识别的特征。
步骤A500，重复步骤A100-步骤A400，通过反向传播得到梯度，通过随机梯度下降算法对网络参数进行优化，获得训练好的基于深度学习的脑胶质瘤荧光图像识别网络。
在本实施例中，所述通过随机梯度下降算法对网络参数进行优化，还包括：
通过余弦退火策略调整优化器的学习率η如公式(9)所示：
其中，T表示总轮数，Tcur表示当前轮数，ηmax表示最大学习率，ηmin表示最小学习率，ηt表示当前学习率。
所述加权二分类交叉熵损失函数，其正负类别权重分别为αP与αN，由正负类别比例决定。
在本实施例中，还包括对灰度训练图像预处理的步骤，包括以下一项或多项：
预处理方法一，将所述灰度训练图像进行填补黑边操作，使灰度训练图像的宽度和高度相等；
预处理方法二，将所述灰度训练图像缩放到与网络匹配的分辨率。
步骤S300，基于类别为肿瘤组织的待测图像，通过训练好的基于深度学习的肿瘤分级网络获得待测图像的肿瘤等级；通过训练好的基于深度学习的Ki-67表达水平识别网络获得待测图像的Ki-67表达水平。
肿瘤等级分为低级别和高级别，Ki-67表达水平分为低水平和高水平，脑胶质瘤的分级根据世界卫生组织的标准分为I，II，III，IV四个等级，低级别指I，II两个级别，高级别指III，IV两个级别。Ki-67是一种增殖细胞的相关抗原，Ki-67指标的范围是0到100，所述低水平指Ki-67指标的范围处于0-10，高水平指Ki-67指标的范围处于10-100。
本发明第二实施例的基于深度学习的脑胶质瘤荧光图像分析系统，包括图像获取模块、图像识别模块和目标分析模块；
所述图像获取模块，配置为获取标本荧光图像，作为待测图像；
所述图像识别模块，配置为基于所述待测图像，通过训练好的基于深度学习的脑胶质瘤荧光图像识别网络，获得待测图像类别；其中，待测图像类别包括正常组织和肿瘤组织；
所述目标分析模块，配置为基于类别为肿瘤组织的待测图像，通过训练好的基于深度学习的肿瘤分级网络获得待测图像的肿瘤等级；通过训练好的基于深度学习的Ki-67表达水平识别网络获得待测图像的Ki-67表达水平。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于深度学习的脑胶质瘤荧光图像分析系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于深度学习的脑胶质瘤荧光图像分析方法
本发明第四实施例的一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于深度学习的脑胶质瘤荧光图像分析方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的脑胶质瘤荧光图像分析系统，其特征在于，所述系统包括：图像获取模块、图像识别模块和目标分析模块；
所述图像获取模块，配置为获取标本荧光图像，作为待测图像；
所述图像识别模块，配置为基于所述待测图像，通过训练好的基于深度学习的脑胶质瘤荧光图像识别网络，获得待测图像类别；其中，待测图像类别包括正常组织和肿瘤组织；
所述目标分析模块，配置为基于类别为肿瘤组织的待测图像，通过训练好的基于深度学习的肿瘤分级网络获得待测图像的肿瘤等级；通过训练好的基于深度学习的Ki-67表达水平识别网络获得待测图像的Ki-67表达水平；
所述基于深度学习的脑胶质瘤荧光图像识别网络、基于深度学习的肿瘤分级网络和基于深度学习的Ki-67表达水平识别网络，基于EfficientNet卷积神经网络构建；所述EfficientNet卷积神经网络包括顺次连接的输入层、特征提取层和预测层；其中，特征提取层包括顺次连接的1个Stem模块和n个结构相同特征数不同的MBConv模块；所述Stem模块为1个卷积核为3×3的卷积层；所述MBConv模块为逆瓶颈结构，包括顺次连接的卷积核为1×1的卷积层、包含注意力模块的卷积核为3×3的卷积和1个卷积核为1×1的卷积；
所述基于深度学习的脑胶质瘤荧光图像识别网络，其训练方法包括：
步骤A100，获取训练图像；
步骤A200，基于所述训练图像进行灰度映射生成灰度训练图像；
步骤A300，基于所述灰度训练图像，通过所述基于深度学习的脑胶质瘤荧光图像识别网络的特征提取层获取训练图像特征；特征提取层的深度d、宽度w、输入分辨率r为：
s.t.α·β2·γ2≈2，α≥1，β≥1，γ≥1
其中，
为放缩系数，α表示深度常数，β表示宽度常数，γ表示分辨率常数；深度d指MBConv模块的重复次数，宽度w指MBConv中卷积的特征数；
特征提取层中所述MBConv的注意力模块的注意力函数为：
其中，SE表示注意力函数，X表示模块的输入，x表示空间横坐标，y表示空间纵坐标，H表示图像高度，W表示图像宽度，w1表示注意力模块中第一个全连接层的权重，w2表示注意力模块中第二个全连接层的权重，f表示注意力权重函数，g表示全局平均池化函数；
步骤A400，基于所述训练图像特征，通过预测层获得训练图像类别；并计算加权二分类交叉熵损失LBCE：
其中，yt表示样本标签，
表示第i个样本的标签，yp表示网络输出的概率，
表示第i个样本输出的概率，P表示正样本类别，N表示负样本类别，αP表示正样本的权重，αN表示负样本的权重；
步骤A500，重复步骤A100-步骤A400，通过反向传播得到梯度，通过随机梯度下降算法对网络参数进行优化，获得训练好的基于深度学习的脑胶质瘤荧光图像识别网络。
2.根据权利要求1所述的基于深度学习的脑胶质瘤荧光图像分析系统，其特征在于，所述通过随机梯度下降算法对网络参数进行优化，还包括：
通过余弦退火策略调整优化器的学习率η为：
其中，T表示总轮数，Tcur表示当前轮数，ηmax表示最大学习率，ηmin表示最小学习率，ηt表示当前学习率。
3.根据权利要求1所述的基于深度学习的脑胶质瘤荧光图像分析系统，其特征在于，步骤A200具体步骤包括：
步骤A210，基于所述训练图像，将荧光信号转换为灰度值生成灰度映射图像：
其中，I为包含原始荧光信号的待测图像，Imin为待测图像中荧光信号最小值，Imax为待测图像中荧光信号最大值，round表示将数值四舍五入为整数，I′为灰度映射图像；
步骤A220，基于所述灰度映射图像进行对比度自动调节，生成灰度训练图像；
所述对比度自动调节，其方法为：
IC＝min(max(I′，Cmin)，Cmax))
其中，Cmax为设置的灰度最大值，Cmin为设置的灰度最小值，IC为灰度训练图像，min函数表示取两者中的较小的值，max函数表示取两者中的较大的值，I′C为预处理后的灰度映射图像。
4.根据权利要求1所述的基于深度学习的脑胶质瘤荧光图像分析系统，其特征在于，在步骤A300之前，还包括对灰度训练图像预处理的步骤，包括以下一项或多项：
预处理方法一，将所述灰度训练图像进行填补黑边操作，使灰度训练图像的宽度和高度相等；
预处理方法二，将所述灰度训练图像缩放到与网络匹配的分辨率。
5.根据权利要求1所述的基于深度学习的脑胶质瘤荧光图像分析系统，其特征在于，所述步骤A100后，还包括样本扩增方法，具体包括：
步骤B10，将所述训练图像依次进行随机尺寸放大或缩小、随机角度旋转、随机距离平移、随机位置裁剪、随机亮度调整和随机对比度调整生成初步处理的训练图像；
步骤B20，基于所述初步处理的训练图像，进行三通道像素值归一化处理，生成样本扩增后的训练图像。
6.一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-5任一项所述的基于深度学习的脑胶质瘤荧光图像分析系统的功能。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-5任一项所述的基于深度学习的脑胶质瘤荧光图像分析系统的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110229903.7A CN112950587B (zh) | 2021-03-02 | 2021-03-02 | 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110229903.7A CN112950587B (zh) | 2021-03-02 | 2021-03-02 | 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112950587A CN112950587A (zh) | 2021-06-11 |
| CN112950587B true CN112950587B (zh) | 2023-04-07 |
Family
ID=76247180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110229903.7A Active CN112950587B (zh) | 2021-03-02 | 2021-03-02 | 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112950587B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114048806A (zh) * | 2021-11-09 | 2022-02-15 | 安徽大学 | 一种基于细粒度深度学习的阿尔兹海默症辅助诊断模型分类方法 |
| CN116051913B (zh) * | 2023-04-03 | 2023-05-30 | 吉林农业大学 | 一种鹿茸饮片分类识别模型、方法及系统 |
| CN116287138B (zh) * | 2023-05-23 | 2023-08-11 | 杭州华得森生物技术有限公司 | 基于fish的细胞检测系统及其方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10740896B2 (en) * | 2017-12-29 | 2020-08-11 | Leica Biosystems Imaging, Inc. | Processing of histology images with a convolutional neural network to identify tumors |
| CN108376565B (zh) * | 2018-02-13 | 2022-07-19 | 北京市神经外科研究所 | 一种脑胶质瘤Ki-67表达水平的影像组学预测方法 |
-
2021
- 2021-03-02 CN CN202110229903.7A patent/CN112950587B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112950587A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112950587B (zh) | 基于深度学习的脑胶质瘤荧光图像分析方法、系统及设备 | |
| Orlando et al. | An ensemble deep learning based approach for red lesion detection in fundus images | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| CN111243042A (zh) | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 | |
| JP2005536752A (ja) | 悪性腫瘍に関連した変化を検出するための方法およびシステム | |
| CN109919254B (zh) | 乳腺密度分类方法、系统、可读存储介质和计算机设备 | |
| CN112085113B (zh) | 一种重症肿瘤影像识别系统及方法 | |
| Pugazhenthi et al. | Skin disease detection and classification | |
| CN113743463B (zh) | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 | |
| R-Prabha et al. | Design of hybrid deep learning approach for covid-19 infected lung image segmentation | |
| CN112071418B (zh) | 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法 | |
| CN113420793A (zh) | 一种基于改进的卷积神经网络ResNeSt50的胃印戒细胞癌分类方法 | |
| CN111833321A (zh) | 一种调窗优化增强的颅内出血检测模型及其构建方法 | |
| Tang et al. | Brain tumor detection from mri images based on resnet18 | |
| CN116630680B (zh) | 一种x线摄影联合超声的双模态影像分类方法及系统 | |
| CN109003659A (zh) | 胃幽门螺旋杆菌感染病理诊断支持系统和方法 | |
| CN112633336A (zh) | 一种基于多尺度特征融合的肺结节识别分类方法 | |
| CN113409319A (zh) | 肋骨骨折检测模型训练系统、方法、检测系统和检测方法 | |
| Bhaskar et al. | A survey on early detection and prediction of lung cancer | |
| CN111351942B (zh) | 肺癌肿瘤标志物筛选系统及肺癌风险分析系统 | |
| CN115661096B (zh) | 一种胃食管结合部癌食道下段侵犯长度的影像判断方法 | |
| Selvi et al. | A Novel Deep Learning Algorithm for Covid Detection and Classification | |
| CN117058467B (zh) | 一种胃肠道病变类型识别方法及系统 | |
| Vijetha et al. | Segmentation and Classification Methods Of Mammograms: A Case Study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |