CN112184638B - 基于深度学习-综合模型的肾活检电镜图片自动识别方法 - Google Patents
基于深度学习-综合模型的肾活检电镜图片自动识别方法 Download PDFInfo
- Publication number
- CN112184638B CN112184638B CN202010962876.XA CN202010962876A CN112184638B CN 112184638 B CN112184638 B CN 112184638B CN 202010962876 A CN202010962876 A CN 202010962876A CN 112184638 B CN112184638 B CN 112184638B
- Authority
- CN
- China
- Prior art keywords
- model
- electron microscope
- picture
- data
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000011862 kidney biopsy Methods 0.000 title claims abstract description 37
- 238000013136 deep learning model Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 25
- 230000008021 deposition Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000003745 diagnosis Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 10
- 239000013049 sediment Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000001575 pathological effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 208000017169 kidney disease Diseases 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000005777 Lupus Nephritis Diseases 0.000 description 2
- 238000010171 animal model Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000010166 immunofluorescence Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30084—Kidney; Renal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习‑综合模型的肾活检电镜图片自动识别方法，属于智能医疗应用技术领域，本发明为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终得到了基于跳跃结构的深度学习‑综合模型。首次提出基于跳跃结构的深度学习模型，同时首次将深度学习模型与基于人工神经网络的综合模型相结合来应用到电镜图片识别中。
Description
技术领域
本发明属于智能医疗应用技术领域，尤其涉及一种基于跳跃结构的深度学习-综合模型的肾活检电镜图片自动识别方法。
背景技术
肾脏疾病是一种常见疾病，目前全球约有7.5亿肾脏疾病患者。肾活检是诊断肾脏疾病的黄金标准。随着肾活检专家识别经验的不断积累、穿刺技术的不断进步和设备的不断更新换代，为临床医师从病理层面诊断肾脏疾病提供了更好的环境。但是肾活检涉及临床症状、光镜、电镜和免疫荧光的综合应用，特别是对于免疫复合物型肾脏疾病，电镜报告中电子致密物的有无至关重要，然而电镜报告的出具滞后于临床，这就要求我们提高出具电镜报告的速率。同时电镜是一项对设备要求高、对病理医师要求高、花费高昂的一项检测，能进行电镜操作的经验丰富的病理医师并不多，并且不同的病理医师操作不一、判断标准并不一致。特别是进行科学研究的时候，例如需要构建动物模型检查敲除基因对狼疮性肾炎的影响，在判断狼疮性肾炎动物模型是否构建成功的时候，需要电镜判断，但是电镜陈本高、标本量大、有诊断资质的病理医师少，视觉观察效率太低，无法提供科研支撑。这些都限制了电镜在肾活检中的发展。随着人工智能技术的发展，当前深度学习模型对图片识别的准确率达到了较高的水平，有的甚至超过人眼的识别准确率。因此，通过人工智能算法，自动对肾活检电镜图片进行病理特征识别，辅助医师进行免疫复合物型肾脏疾病诊断，在提高诊断效率、为科研研究提供支撑、促进电镜的广泛应用方面有重要价值和意义。
发明内容
本发明所要解决的技术问题是针对背景技术的不足提供一种基于跳跃结构的深度学习-综合模型的肾活检电镜图片自动识别方法，其对肾活检电镜图片中电子沉积物有无进行自动AI智能识别，辅助诊断免疫复合物型肾脏疾病，提高诊断效率，扩大电镜的使用范围。同时为深度学习技术在肾活检日常诊断中能够使用提供机会。
本发明为解决上述技术问题采用以下技术方案：
基于深度学习-综合模型的肾活检电镜图片自动识别方法，具体包括以下步骤：
步骤1，基于历史电镜报告，制作电镜图片是否含有电子沉积物的数据集S，数据集S中包括两个类别的数据，一种是含有电子沉积物的数据，一种是不含有电子沉积物的数据；
步骤2，将数据集S随机划分为三份子数据集S1、S2和S3，三个数据集不一样；
步骤3，构建和训练基于跳跃结构的深度学习模型；
步骤4，构建和训练经典ResNet模型；
步骤5，构建和训练基于跳跃结构的深度学习模型的综合模型结构；
步骤6，对综合模型结果进行测试验证，获取综合模型的准确度后，进而完成对肾活检电镜图片的智能自动识别。
作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤1中，数据集S制作具体如下：
对历史电镜报告中的电镜病理图片和诊断结果进行对应和相应标注，制作二分类数据集，得到数据集S，S＝{X,Y}，X和Y分别代表图片和标签集合，X＝{x1,x2,xi,…,xm}，xi代表第i张电镜图片，数据集S中一共有m张图片，Y＝{y1,y2,yi,…,ym}，yi代表第i张电镜图片对应的标签，且标签分为两类：正类Positive(S+)和负类Negative(S-)，其中Positive代表电镜图片中被病理医师诊断含有电子沉积物，而Negative代表电子图片中被病理医师诊断不含有电子沉积物。
作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤2中，数据集S划分具体如下：
将制作好的数据集S随机分为三份，S＝{S1,S2,S3}，包含数据集S1、数据集S2和数据集S3，其中，S1＝{S+:a,S-:a}，S2＝{S+:b,S-:b}，S3＝{S+:c,S-:c}，其中，S+代表正样本数据，S-代表负样本数据，S1数据集是用来训练单个子模型，S2数据集是用来训练基于人工神经网络的综合模型，S3数据集是用来测试模型准确率，a、b和c分别代表每个数据集的样本个数，且(a+b+c)*2＝总样本数。
作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤3中，构建和训练基于跳跃结构的深度学习模型，包含特征提取和分类器两部分，具体如下：
步骤3.1，特征提取部分：使用预训练好的ResNet50模型的卷积部分，对单张电镜图片进行前向传播计算，即特征提取，将每个子网络输出的特征矩阵拉平，依次得到每个子网络的特征图向量{V1,V2,V3,V4,V5}，将浅层网络特征图V2和深层网络特征图V5进行融合后得到Vmelt，对数据库S1中的每一张图片都进行前向传播计算后得到融合特征向量Vmelt，因此将图片换成特征向量，则新的数据样本为 其中，S1+'代表子数据样本S1中标签为含有电子沉积致密物的正样本数据；S1-'代表子数据样本S1中标签为无电子沉积致密物的负样本数据；S2+'代表子数据样本S2中标签为含有电子沉积致密物的正样本数据；S2-'代表子数据样本S2中标签为无电子沉积致密物的负样本数据；S3+'代表子数据样本S3中标签为有电子沉积致密物正样本数据；S3-'代表子数据样本S3中标签为无电子沉积致密物的负样本数据；/>为一张图片的融合特征向量，yi,i＝1,2为该图片对应的标签，标签分为两类，其中i＝1代表为含有电子沉积致密物正样本，i＝2代表无电子沉积致密物的负样本；
步骤3.2分类器部分：分类器采用SVM模型，通过拉格朗日对偶法，求取目标函数后得到支持向量模型，输出为标签类别：Positive代表电镜图片中有电子沉积物，Negative代表电镜图片中没有电子沉积物；
则目标函数：
式中，α是拉格朗日因子，ai，aj分别代表第i和第j个约束的拉格朗日因子，y是支持向量，yi,yj分别代表第i和第j个支持向量，C是惩罚因子，K代表核函数，l代表样本数，是核函数，并且x是图片特征向量。
作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤4中，构建和训练经典ResNet模型具体如下：采用预训练好的ResNet50模型，模型特征提取部分有5个子网络，提取到的每一张图片特征直接为第5个子网络的输出结果，将特征向量拉平后连接一个全连接层，其中全连接层的神经元为1000个，输出层的神经元为2个，激活函数使用Softmax函数，使用数据集S1对该模型进行训练，目标函数为交叉熵损失函数其中，D(xi,θ)为模型预测结果，m为样本数，yi为实际标签值，xi为单张输入图片，θ为模型的权重参数，利用梯度下降来更新权重参数。
作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤4中，构建和训练经典ResNet模型具体如下：采用预训练好的ResNet50模型，模型特征提取部分有5个子网络，提取到的每一张图片特征直接为第5个子网络的输出结果，将特征向量拉平后连接一个全连接层，其中全连接层的神经元为1000个，输出层的神经元为2个，激活函数使用Softmax函数，使用数据集S1对该模型进行进行训练，目标函数为交叉熵损失函数其中D(xi,θ)为模型预测结果，yi为实际标签值，xi为单张输入图片，θ为模型的权重参数，利用梯度下降来更新权重参数。
作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤5中，构建和训练基于跳跃结构的深度学习模型的综合模型，具体如下：使用人工神经网络的方法，将基于跳跃结构的深度学习模型M1和经典ResNet模型M2构建和训练基于跳跃结构的深度学习模型的综合模型。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明运用人工智能算法，提出了对肾活检电镜图片中病理特征进行自动智能识别的问题，缩短了肾活检电镜图片识别时间，为肾活检中电镜技术的大规模使用提供了可能性。该方法对肾活检电镜图片中二分类问题均适用；
2、本发明对肾活检电镜图片中电子沉积物有无进行自动AI智能识别，辅助诊断免疫复合物型肾脏疾病，提高诊断效率，扩大电镜的使用范围；
3、本发明将基于跳跃结构的深度学习模型和基于人工神经网络的综合模型相结合，将浅层网络提取出来的电镜特征图和深层网络中提取出来的特征图进行了融合，融合后的特征图，既包含了电镜图片的局部信息，又包含了总体空间信息，同时选取了识别效果更好的SVM分类器，得到了基于跳跃结构的ResNet+SVM模型；
4、本发明为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终得到了基于跳跃结构的深度学习-综合模型。
附图说明
图1是本发明基于跳跃结构的深度学习-综合模型的肾活检电镜图片自动识别方法总流程；
图2是本发明基于跳跃结构的深度学习模型结构示意图；
图3是本发明经典ResNet模型结构示意图；
图4是本发明基于跳跃结构的深度学习模型的综合模型结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的技术方案提供了一种智能自动从肾活检电镜图片中识别出电子沉积物有无的方法。该方法主要构建了基于跳跃结构的深度学习-综合模型，该模型将基于跳跃结构的深度学习模型和基于人工神经网络的综合模型相结合：由于本研究是对医学图片进行病理特征识别，相较于传统的图片识别模型，对图片的特征提取和分类器提出了更高的要求，为了提高模型准确率，本方法将浅层网络提取出来的电镜特征图和深层网络中提取出来的特征图进行了融合，浅层特征图包含了电镜图片的局部信息，细节更丰富，深层特征图包含了电镜图片的总体信息，这些信息空间范围广，但丢失了局部细节信息，因此融合后的特征图，既包含了电镜图片的局部信息，又包含了总体空间信息，特征提取准确率将得到进一步提高。对于分类器，由于SVM对二分类任务有更好的识别效果，本方法将传统深度学习模型中的Softmax分类函数改进成了支持向量机分类器(SVM)，得到了基于跳跃结构的ResNet+SVM模型。在此基础上，为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，根据机器学习模型的不确定性理论，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终就得到了基于跳跃结构的深度学习-综合模型。模型构建完成后，根据医院过往历史肾活检报告中的电镜图片和病理医师诊断结果，制作电镜图片是否有电子沉积物的标注数据集，然后用这些数据集对基于跳跃结构的深度学习-综合模型进行迭代训练后，得到的AI模型能够自动识别肾活检电镜图片中是否含有电子沉积物。
本发明目的是对肾活检电镜图片中电子沉积物有无进行自动AI智能识别，辅助诊断免疫复合物型肾脏疾病，提高诊断效率，扩大电镜的使用范围。该方法将基于跳跃结构的深度学习模型和基于人工神经网络的综合模型相结合，将浅层网络提取出来的电镜特征图和深层网络中提取出来的特征图进行了融合，融合后的特征图，既包含了电镜图片的局部信息，又包含了总体空间信息，同时选取了识别效果更好的SVM分类器，得到了基于跳跃结构的ResNet+SVM模型。在此基础上，为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终得到了基于跳跃结构的深度学习-综合模型。其特征在于首次提出基于跳跃结构的深度学习模型，同时首次将深度学习模型与基于人工神经网络的综合模型相结合来应用到电镜图片识别中。
本发明的技术方案提供了一种智能自动从肾活检电镜图片中识别出电子沉积物有无的方法，包括以下步骤：
步骤1：数据样本制作：对历史电镜报告中的电镜病理图片和诊断结果进行对应和相应标注，制作二分类数据集，得到数据集S，S＝{X,Y}，X和Y分别代表图片和标签集合。X＝{x1,x2,xi,…,xm}，数据集中一共有m张图片，Y＝{y1,y2,yi,…,ym}，yi代表第i张电镜图片对应的标签，标签分为两类：正类“Positive”(S+)和负类“Negative”(S-)，其中“Positive”代表电子图片中被病理医师诊断含有电子沉积物，而“Negative”代表电子图片中被病理医师诊断不含有电子沉积物；
步骤2：数据样本划分：将制作好的数据集S随机分为三份，S＝{S1,S2,S3}，包含数据集S1、数据集S2和数据集S3，其中，S1＝{S+:a,S-:a}，S2＝{S+:b,S-:b}，S3＝{S+:c,S-:c}，其中，S+代表正样本数据(图片标签为有电子沉积致密物的数据)，S-代表负样本数据(图片标签为无电子沉积致密物的数据)。S1数据集是用来训练单个子模型，S2数据集是用来训练基于人工神经网络的综合模型，S3数据集是用来测试模型准确率，a、b和c分别代表每个数据集的样本个数，且(a+b+c)*2＝总样本数；
步骤3：构建和训练基于跳跃结构的深度学习模型：由于肾活检样本需要穿刺获得，因此电镜图片数量一般都不多，本方法采用迁移学习，该模型的构建和训练主要分为两部分，分别为特征提取和分类器部分，算法实现如下：
步骤3.1特征提取部分：使用预训练好的ResNet50模型的卷积部分，对单张电镜图片进行前向传播计算，即特征提取，由于ResNet50特征提取部分一共有5个子网络组成，将每个子网络输出的特征矩阵拉平，依次得到每个子网络的特征图向量{V1,V2,V3,V4,V5}，将浅层网络特征图V2和深层网络特征图V5进行融合后得到Vmelt，对数据库S1中的每一张图片都进行前向传播计算后得到融合特征向量Vmelt，因此将图片换成特征向量，新的数据样本为 其中，S1+'代表子数据样本S1中标签为含有电子沉积致密物的正样本数据；S1-'代表子数据样本S1中标签为无电子沉积致密物的负样本数据；S2+'代表子数据样本S2中标签为含有电子沉积致密物的正样本数据；S2-'代表子数据样本S2中标签为无电子沉积致密物的负样本数据；S3+'代表子数据样本S3中标签为有电子沉积致密物正样本数据；S3-'代表子数据样本S3中标签为无电子沉积致密物的负样本数据；/>为一张图片的融合特征向量，yi,i＝1,2为该图片对应的标签，标签分为两类，其中i＝1代表为含有电子沉积致密物正样本，i＝2代表无电子沉积致密物的负样本；
步骤3.2分类器部分：分类器采用SVM模型，SVM模型旨在找到一条最优超平面来分割两个类别的数据，通过拉格朗日对偶法，求取目标函数后得到支持向量模型，输出为标签类别：“Positive”代表电镜图片中有电子沉积物，或者“Negative”代表电镜图片中没有电子沉积物。
目标函数：
式中，α是拉格朗日因子，ai，aj分别代表第i和第j个约束的拉格朗日因子，y是支持向量，yi,yj分别代表第i和第j个支持向量，C是惩罚因子，K代表核函数，l代表样本数，是核函数，并且x是图片特征向。
步骤4：构建和训练经典ResNet模型：采用预训练好的ResNet50模型，模型特征提取部分有5个子网络，提取到的每一张图片特征直接为第5个子网络的输出结果，然后特征向量拉平后连接一个全连接层，其中全连接层的神经元为1000个，输出层的神经元为2个，激活函数使用Softmax函数，然后使用数据集S1对该模型进行进行训练，目标函数为交叉熵损失函数其中D(xi,θ)为模型预测结果，yi为实际标签值，xi为单张输入图片，θ为模型的权重参数，利用梯度下降来更新权重参数；
步骤5：构建和训练基于跳跃结构的深度学习模型的综合模型：使用人工神经网络的方法，将基于跳跃结构的深度学习模型M1和经典ResNet模型M2结合成一个综合模型选择神经网络方法的原因在于，分配给M1与M2的权重是根据训练集S2’学习出来的。该神经网络的输入一共有3个，第一个是特征向量，第二个是该特征向量下的深度学习模型M1分类结果Out1(比如为”Negative”)，第三个是该特征向量下的支持向量机分类结果Out2(比如为”Positive”)，隐藏层有1层，隐藏层有3个神经元，输出层有一个神经元，为最终的结果，也就是标签值，比如该图片的实际标签值为“Positive”。结构见图4；
步骤6：对综合模型结果进行测试：将步骤5中学习好的综合模型，在测试样本S3’中进行验证，得到模型的准确度后，可用以对肾活检电镜图片进行智能自动识别。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (3)
1.基于深度学习-综合模型的肾活检电镜图片自动识别方法，其特征在于：具体包括以下步骤：
步骤1，基于历史电镜报告，制作电镜图片是否含有电子沉积物的数据集S；
步骤2，将数据集S随机划分为三份子数据集S1、S2和S3；
步骤3，构建和训练基于跳跃结构的深度学习模型；包含特征提取和分类器两部分，具体如下：
步骤3.1，特征提取部分：使用预训练好的ResNet50模型的卷积部分，对单张电镜图片进行前向传播计算，即特征提取，将每个子网络输出的特征矩阵拉平，依次得到每个子网络的特征图向量{V1,V2,V3,V4,V5}，将浅层网络特征图V2和深层网络特征图V5进行融合后得到Vmelt，对数据库S1中的每一张图片都进行前向传播计算后得到融合特征向量Vmelt，因此将图片换成特征向量，则新的数据样本为 其中，S1+′代表子数据样本S1中标签为含有电子沉积致密物的正样本数据；S1-′代表子数据样本S1中标签为无电子沉积致密物的负样本数据；S2+′代表子数据样本S2中标签为含有电子沉积致密物的正样本数据；S2-′代表子数据样本S2中标签为无电子沉积致密物的负样本数据；S3+′代表子数据样本S3中标签为有电子沉积致密物正样本数据；S3-′代表子数据样本S3中标签为无电子沉积致密物的负样本数据；/>为一张图片的融合特征向量，yi,i＝1,2为该图片对应的标签，标签分为两类，其中i＝1代表为含有电子沉积致密物正样本，i＝2代表无电子沉积致密物的负样本；
步骤3.2分类器部分：分类器采用SVM模型，通过拉格朗日对偶法，求取目标函数后得到支持向量模型，输出为标签类别：Positive代表电镜图片中有电子沉积物，Negative代表电镜图片中没有电子沉积物；
则目标函数：
式中，α是拉格朗日因子，ai，aj分别代表第i和第j个约束的拉格朗日因子，y是支持向量，yi,yj分别代表第i和第j个支持向量，C是惩罚因子，K代表核函数，l代表样本数，是核函数，并且x是图片特征向量；
步骤4，构建和训练经典ResNet模型，具体如下：采用预训练好的ResNet50模型，模型特征提取部分有5个子网络，提取到的每一张图片特征直接为第5个子网络的输出结果，将特征向量拉平后连接一个全连接层，其中全连接层的神经元为1000个，输出层的神经元为2个，激活函数使用Softmax函数，使用数据集S1对该模型进行训练，目标函数为交叉熵损失函数其中，D(xi,θ)为模型预测结果，m为样本数，yi为实际标签值，xi为单张输入图片，θ为模型的权重参数，利用梯度下降来更新权重参数；
步骤5，构建和训练基于跳跃结构的深度学习模型的综合模型结构，具体如下：使用人工神经网络的方法，将基于跳跃结构的深度学习模型M1和经典ResNet模型M2构建和训练基于跳跃结构的深度学习模型的综合模型；
步骤6，对综合模型结果进行测试验证，获取综合模型的准确度后，进而完成对肾活检电镜图片的智能自动识别。
2.根据权利要求1所述的基于深度学习-综合模型的肾活检电镜图片自动识别方法，其特征在于：在步骤1中，数据集S制作具体如下：
对历史电镜报告中的电镜病理图片和诊断结果进行对应和相应标注，制作二分类数据集，得到数据集S，S＝{X,Y}，X和Y分别代表图片和标签集合，X＝{x1,x2,xi,…,xm}，xi代表第i张电镜图片，数据集S中一共有m张图片，Y＝{y1,y2,yi,…,ym}，yi代表第i张电镜图片对应的标签，且标签分为两类：正类Positive(S+)和负类Negative(S-)，其中Positive代表电镜图片中被病理医师诊断含有电子沉积物，而Negative代表电子图片中被病理医师诊断不含有电子沉积物。
3.根据权利要求1所述的基于深度学习-综合模型的肾活检电镜图片自动识别方法，其特征在于：在步骤2中，数据集S划分具体如下：
将制作好的数据集S随机分为三份，S＝{S1,S2,S3}，包含数据集S1、数据集S2和数据集S3，其中，S1＝{S+:a,S-:a}，S2＝{S+:b,S-:b}，S3＝{S+:c,S-:c}，其中，S+代表正样本数据，S-代表负样本数据，S1数据集是用来训练单个子模型，S2数据集是用来训练基于人工神经网络的综合模型，S3数据集是用来测试模型准确率，a、b和c分别代表每个数据集的样本个数，且(a+b+c)*2＝总样本数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962876.XA CN112184638B (zh) | 2020-09-14 | 2020-09-14 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962876.XA CN112184638B (zh) | 2020-09-14 | 2020-09-14 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184638A CN112184638A (zh) | 2021-01-05 |
| CN112184638B true CN112184638B (zh) | 2024-02-06 |
Family
ID=73920767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010962876.XA Active CN112184638B (zh) | 2020-09-14 | 2020-09-14 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184638B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529658A (zh) * | 2017-07-12 | 2018-01-02 | 湖州师范学院 | 高噪声显微图像下的自动检测微管方法 |
| CN108038874A (zh) * | 2017-12-01 | 2018-05-15 | 中国科学院自动化研究所 | 面向序列切片的扫描电镜图像实时配准装置及方法 |
| CN109741317A (zh) * | 2018-12-29 | 2019-05-10 | 成都金盘电子科大多媒体技术有限公司 | 医学影像智能评价方法 |
| CN110033445A (zh) * | 2019-04-10 | 2019-07-19 | 司法鉴定科学研究院 | 基于深度学习的法医学检验自动化识别系统及识别方法 |
| CN111179237A (zh) * | 2019-12-23 | 2020-05-19 | 北京理工大学 | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 |
| CN111583246A (zh) * | 2020-05-11 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
-
2020
- 2020-09-14 CN CN202010962876.XA patent/CN112184638B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529658A (zh) * | 2017-07-12 | 2018-01-02 | 湖州师范学院 | 高噪声显微图像下的自动检测微管方法 |
| CN108038874A (zh) * | 2017-12-01 | 2018-05-15 | 中国科学院自动化研究所 | 面向序列切片的扫描电镜图像实时配准装置及方法 |
| CN109741317A (zh) * | 2018-12-29 | 2019-05-10 | 成都金盘电子科大多媒体技术有限公司 | 医学影像智能评价方法 |
| CN110033445A (zh) * | 2019-04-10 | 2019-07-19 | 司法鉴定科学研究院 | 基于深度学习的法医学检验自动化识别系统及识别方法 |
| CN111179237A (zh) * | 2019-12-23 | 2020-05-19 | 北京理工大学 | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 |
| CN111583246A (zh) * | 2020-05-11 | 2020-08-25 | 北京小白世纪网络科技有限公司 | 利用ct切片图像对肝脏肿瘤进行分类的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于ResNet和双向LSTM融合的物联网入侵检测分类模型构建与优化研究;陈红松;陈京九;;湖南大学学报(自然科学版)(08);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184638A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | Auto-metric graph neural network based on a meta-learning strategy for the diagnosis of Alzheimer's disease | |
| CN109920501A (zh) | 基于卷积神经网络和主动学习的电子病历分类方法及系统 | |
| CN107506797A (zh) | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 | |
| CN109711426A (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN112215807A (zh) | 基于深度学习的细胞图像自动分类方法及系统 | |
| CN113113130A (zh) | 一种肿瘤个体化诊疗方案推荐方法 | |
| CN111539480A (zh) | 多类别医学图像识别方法及设备 | |
| CN113610118B (zh) | 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法 | |
| Fan et al. | Evolutionary neural architecture search for retinal vessel segmentation | |
| CN114661933A (zh) | 基于胎儿先心病超声图像—诊断报告的跨模态检索方法 | |
| CN115937576A (zh) | 基于多尺度融合和注意力机制的肺癌病理图像分类系统 | |
| Kumaraswamy | Key challenges in the diagnosis of cancer using artificial intelligence methods | |
| CN113946217B (zh) | 一种肠镜操作技能智能辅助评估系统 | |
| CN115471716A (zh) | 一种基于知识蒸馏的胸部放射影像疾病分类模型轻量化方法 | |
| Azarmehr et al. | Neural architecture search of echocardiography view classifiers | |
| Wang et al. | Prototype transfer generative adversarial network for unsupervised breast cancer histology image classification | |
| CN112990270B (zh) | 一种传统特征与深度特征的自动融合方法 | |
| CN114417836A (zh) | 一种基于深度学习的中文电子病历文本语义分割方法 | |
| CN116633639B (zh) | 基于无监督与有监督融合强化学习的网络入侵检测方法 | |
| CN117058882A (zh) | 一种基于多特征双判别器的交通数据补偿方法 | |
| CN112184638B (zh) | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 | |
| Zou et al. | Deep learning and its application in diabetic retinopathy screening | |
| CN113616209A (zh) | 基于时空注意力机制的精神分裂症患者甄别方法 | |
| CN113313158A (zh) | 基于多模态深度学习分类模型的模态贡献度的计算方法 | |
| CN113077466A (zh) | 基于多尺度感知损失的医学图像分类方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |