CN110443789B - 一种免疫固定电泳图自动识别模型的建立及使用方法 - Google Patents

一种免疫固定电泳图自动识别模型的建立及使用方法 Download PDF

Info

Publication number
CN110443789B
CN110443789B CN201910708833.6A CN201910708833A CN110443789B CN 110443789 B CN110443789 B CN 110443789B CN 201910708833 A CN201910708833 A CN 201910708833A CN 110443789 B CN110443789 B CN 110443789B
Authority
CN
China
Prior art keywords
kap
lam
electrophoresis
igg
iga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910708833.6A
Other languages
English (en)
Other versions
CN110443789A (zh
Inventor
武永康
魏骁勇
盛爱林
黄琪
钟奇林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN201910708833.6A priority Critical patent/CN110443789B/zh
Publication of CN110443789A publication Critical patent/CN110443789A/zh
Application granted granted Critical
Publication of CN110443789B publication Critical patent/CN110443789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开一种免疫固定电泳图自动识别模型的建立及使用方法，需要先建立模型，并对模型进行训练，按照以下步骤进行：a)数据准备；b)数据清洗；c)数据预处理；d)数据分割；e)建立模型，CNN网络提取蛋白电泳区带图像特征，各个蛋白电泳区带图像特征拼接组成序列特征；f)数据训练，训练LSTM模型；g)保存得到的模型，建立深度模型后，使用已训练的LSTM模型预测IFE分类结果。本发明提供一种基于端对端的深度学习方法进行IFE图自动识别，运行速度快，准确率高。

Description

一种免疫固定电泳图自动识别模型的建立及使用方法
技术领域
本发明涉及深度学习领域，尤其涉及一种免疫固定电泳图自动识别模型的建立及使用方法。
背景技术
免疫固定电泳(immunofixation electrophoresis，IFE)是一种包括琼脂凝胶蛋白电泳和免疫沉淀两个过程的操作。血清IFE可检测IgG、IgM、IgA等及κ轻链、λ轻链。原理是将样本在琼脂平板上作区带电泳，分离后其上覆盖抗血清，包括抗κ轻链、抗λ轻链、抗μ重链、抗δ重链、抗γ重链、抗ε重链和抗α重链抗血清，当抗体与某区带中的单克隆Ig结合，可形成免疫复合物沉淀，即可被吸附固定，再通过漂洗与染色，呈现浓而窄的着色区带，该技术为免疫固定电泳技术。目前国内外公认IFE技术具有敏感性高和特异性好的特点。
IFE技术在蛋白分类中起到不可替代的优势，但其自动化和标准化却落后于其他技术。目前传统IFE图(免疫固定电泳图)仍需通过人工判断分类。此种方法对人员要求较高，且耗时耗力，分类偏差较大，导致分类准确度和重复性较低的问题，即不同的人员可能对同一张图片给出不同的分类结果。
现有已公开的最佳方法是先用卷积神经网络提取IFE图的特征，然后使用机器学习方法进行分类，该方法并非端到端的结构设计，因此运行速度较慢，实时性得不到保证。
发明内容
本发明旨在提供一种免疫固定电泳图自动识别模型及其使用方法，提供一种基于端对端的深度学习方法进行免疫固定电泳图自动识别，运行速度快，准确率高。
为达到上述目的，本发明是采用以下技术方案实现的：
本发明公开一种免疫固定电泳图自动识别模型的建立方法，包括以下步骤：
a)数据准备，准备多个免疫固定电泳图；
b)数据清洗，采用如下步骤：
b1、剔除受到污染的免疫固定电泳图，
b2、将正常的类型、IgA-KAP类型、IgA-LAM类型、IgG-KAP类型、IgG-LAM类型、IgM-KAP类型、IgM-LAM类型、KAP轻链类型、LAM轻链类型分别记作标签0、1、2、3、4、5、6、7、8；
c)数据预处理，采用如下步骤：
c1、对免疫固定电泳图进行放缩，
c2、对放缩后的免疫固定电泳图进行二值化，
c3、提取连通区域，连通区域共有6个，各自的面积分别记为Ssp、Sigg、Siga、Sigm、Skap、Slam，
c4、确定阈值Sthreshold，Ssp、Sigg、Siga、Sigm、Skap、Slam中任一个小于Sthreshold，则从原始数据中除去；
d)数据分割，采用如下步骤：
d1、以左端连通区域Ssp的起始位置作为总蛋白电泳区带图像的起始位置Lsp，
d2、电泳图总宽度除以6得到固定分割间隔d，
d3、将Lsp～Lsp+d、Lsp+d～Lsp+2d、Lsp+2d～Lsp+3d、Lsp+3d～Lsp+4d、Lsp+4d～Lsp+5d、Lsp+5d～Lsp+6d对应的区域分割下来，得到分割后的6个免疫蛋白电泳区带图像，分别为总蛋白电泳区带图像、IgG电泳区带图像、IgA电泳区带图像、IgM电泳区带图像、KAP轻链电泳区带图像、LAM轻链电泳区带图像；
e)建立模型，采用如下步骤：
e1、将IgG电泳区带图像、IgA电泳区带图像、IgM电泳区带图像、KAP轻链电泳区带图像、LAM轻链电泳区带图像输入CNN网络中，
e2、对得到的最后一层卷积特征进行AveragePooling降维操作，此时得到的特征值，分别作为IgG_feature，IgA_feature，IgM_feature，KAP_feature，LAM_feature，AveragePooling计算公式如下：
feature(i)＝average conv_feature(·，·，i)i＝{1，2，…，n}
其中，CNN网络模型在最后一层卷积层输出特征为conv_feature∈Rl×l×n，维度为(l，l，n)，表示由n个维度为l×l的特征图构成，feature是降维后输出向量，是一个n维向量，feature(i)表示向量中第i维数值，它是从卷积层输出特征conv_feature的每个特征图上进行AveragePooling操作得到，i表示枚举从1到n的维数值整数集合，
e3、将5个卷积特征分别作为t1，t2，t3，t4，t5时刻特征，并送入到LSTM网络中进行训练学习得到编码后的LSTM特征，最后送入到FC层中进行分类，得到最后的分类结果，特征拼接公式如下
IFE_feat＝merge(IgG_feat，IgA_feat，IgM_feat，KAP_feat，LAM_feat)
其中，IFE&feat为免疫固定电泳图的特征，IgG_feat为IgG电泳区带图像的特征，IgA_feat为IgA电泳区带图像的特征，IgM_feat为IgM电泳区带图像的特征，KAP_feat为KAP轻链电泳区带图像的特征，LAM_feat为LAM轻链电泳区带图像的特征；
f)数据训练，将多张正常类型、IgA-KAP类型、IgA-LAM类型、IgG-KAP类型、IgG-LAM类型、IgM-KAP类型、IgM-LAM类型、KAP轻链类型、LAM轻链类型输入模型，得到LSTM模型；
g)保存得到的LSTM模型；
优选的，步骤e1之前，设置有步骤e0：将IgG电泳区带图像、IgA电泳区带图像、IgM电泳区带图像、KAP轻链电泳区带图像、LAM轻链电泳区带图像放缩至与CNN网络相同的大小。
优选的，步骤e3中，FC层中采用softmax激活函数，softmax函数如下：
Figure BDA0002153031120000041
其中sj为对应j类别的softmax计算值，aj为j类别的原始输出值，T为全部类别数量，ak为第k个类的原始输出值。
优选的，步骤f中，对应二分类时，使用自定义损失函数，公式如下：
Figure BDA0002153031120000042
其中x为对应真实标签下的预测概率；σ(x)标识对输出值x求sigmod操作；K为平衡因子。
优选的，步骤f中，对应多分类时，使用自定义损失函数，公式如下：
Loss(x)＝-softmax(-Kx)log(softmax(x))
其中x为对应真实标签下的预测概率；softmax(x)表示对x求softmax操作；K为平衡因子。
优选的，步骤e1中CNN网络采用VGG16。
优选的，步骤d3中，使用Python调用OpenCV库对电泳图进行分割。
本发明还公开了一种免疫固定电泳图自动识别模型的使用方法，包括以下步骤：
i)读取待预测的免疫固定电泳图；
ii)依次按照步骤c1、c2、c3、d将免疫固定电泳图分割，得到各蛋白电泳区带；
iii)依次按照步骤e1、e2使用CNN网络提取蛋白电泳区带图像特征；
iv)按照步骤e3，将各个蛋白电泳区带图像特征拼接组成序列特征；
v)将拼接组成的序列特征输入已训练的LSTM模型，预测IFE分类结果；
vi)得到IFE分类结果；
vii)将IFE分类结果保存至数据库。
本发明的有益效果：
1、本发明基于深度学习的方法可自动识别免疫固定电泳图，整体框架采用端到端的设计方案，与现有的已公布的最佳方法对比，运行速度提升50％，使实时性得到进一步保证。
2、本发明中对IFE图的识别达到了较高的精度，在250张IFE图的测试中，与现有的已公布的最佳方法对比，预测精度提升19.8％。
3、本发明所得到的深度学习模型，可移植性非常高，当需要在新的设备环境下进行预测任务时，只要加载保存得到的深度学习模型权重即可，而不需要重新训练数据。
4、本发明可以将电泳图片直接作为模型输入，而不需要人工设计特征，模型自动提取特征，并对电泳图片进行预测和实时返回预测结果给用户。
5、本发明因此采用自定义损失函数代替一般的交叉熵损失函数，能够一定程度解决类别不平衡的问题，易于深度学习模型的训练。
6、本发明采用端到端的设计可以使预测系统实时性大大提升，并且深度学习方法与现有方法对比，精度也得到了提高。
7、本发明采用端到端的设计返回预测结果的实时性(预测速度快)；由于深度学习模型比机器学习方法更适合于处理图片这种非结构化的数据，因此模型的预测精度更高；深度学习的模型可移植性非常高，具有一次训练，随处可用。
附图说明
图1为图像分割的示意图；
图2为模型预测与模型训练的过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
本申请中所述的免疫固定电泳图特指IFE图。
本发明需要先建立模型，并对模型进行训练，按照以下步骤进行：
a)数据准备；
b)数据清洗；
c)数据预处理；
d)数据分割；
e)建立模型，CNN网络提取蛋白电泳区带图像特征，各个蛋白电泳区带图像特征拼接组成序列特征；
f)数据训练，训练LSTM模型；
g)保存得到的模型；
得到需要的模型后，使用模型时，按照以下步骤进行：
a)读取待预测的免疫固定电泳图片；
b)图像分割各蛋白电泳区域；
c)CNN网络提取蛋白电泳区带图像特征；
d)各个蛋白电泳区带图像特征拼接组成序列特征；
e)使用已训练的LSTM模型预测IFE分类结果；
f)得到IFE分类结果；
g)将结果保存至数据库。
数据清洗，把电泳图染色时候受污染区域较大的部分直接剔除掉，将正常的类型、IgA-KAP类型、IgA-LAM类型、IgG-KAP类型、IgG-LAM类型、IgM-KAP类型、IgM-LAM类型、KAP轻链类型、LAM轻链类型分别记作标签0，1，2，3，4，5，6，7，8，最后整理得到电泳图和图片标签；
基于指定尺寸，对清洗后的原始数据集中的每张电泳图进行放缩，对放缩后的每张电泳图进行二值处理，对二值化后的电泳图进行连通区域提取，在一张电泳图片中可以提取出6个连通区域，各自的面积分别记为Ssp、Sigg、Siga、Sigm、Skap、Slam，设定一个合适大小的阈值Sthreshold，Ssp、Sigg、Siga、Sigm、Skap、Slam分别与Sthreshold比较大小，只要其中一个小于阈值Sthreshold，则认定该电泳图片包含噪声区域过大，直接从原始数据集中滤除掉，进一步得到干净的数据集；
选取最左边连通区域Ssp的起始位置作为总蛋白电泳区带图像的起始位置Lsp，确定固定分割间隔d，d为电泳图总宽度除以6就可直接得到，然后将Lsp～Lsp+d、，Lsp+d～Lsp+2d、Lsp+2d～Lsp+3d、Lsp+3d～Lsp+4d、Lsp+4d～Lsp+5d、Lsp+5d～Lsp+6d对应的区域分割下来，得到分割后的6个免疫蛋白电泳区带图像，分别为总蛋白电泳区带图像、IgG电泳区带图像、IgA电泳区带图像、IgM电泳区带图像、KAP轻链电泳区带图像、LAM轻链电泳区带图像，其中分割的方法为python调用opencv库编程实现；
将得到的5个图片条带分别输入到CNN(这里采用VGG16)网络中，取CNN网络最后一层卷积特征，再对得到的最后一层卷积特征进行AveragePooling降维操作，此时得到的特征值，分别作为IgG_feature，IgA_feature，IgM_feature，KAP_feature，LAM_feature，AveragePooling计算公式如下：
feature(i)＝average conv_feature(·，·，i)i＝{1，2，…，n}
其中，CNN网络模型在最后一层卷积层输出特征为conv_feature∈Rl×l×n，维度为(l，l，n)，表示由n个维度为l×l的特征图构成，feature是降维后输出向量，是一个n维向量，feature(i)表示向量中第i维数值，它是从卷积层输出特征conv_feature的每个特征图上进行AveragePooling操作得到，i表示枚举从1到n的维数值整数集合；
CNN网络的输入大小是固定的，如256*256，那么需要将原始图片放缩到与CNN网络相同的大小，因此需要先将分割得到的条带图进行放缩，之后再输入到CNN网络；
将5个卷积特征分别作为t1，t2，t3，t4，t5时刻特征，并送入到LSTM网络中进行训练学习得到编码后的LSTM特征，最后送入到FC层中进行分类，得到最后的分类结果；
特征拼接公式如下：
IFE_feat＝merge(IgG_feat，IgA_feat，IgM_feat，KAP_feat，LAM_feat)
其中，IFE_feat为IFE图的特征，IgG_feat为IgG电泳区带图像的特征，IgA_feat为IgA电泳区带图像的特征，IgM_feat为IgM电泳区带图像的特征，KAP_feat为KAP轻链电泳区带图像的特征，LAM_feat为LAM轻链电泳区带图像的特征；
LSTM(Long Short-Term Memory)是长短期记忆网络，是一种时间循环神经网络，常用于视频，语音等具有前后相关性的样本中。在电泳图的类型判断中，最主要是根据IgG，IgA，IgM，KAP，LAM这五个条带区域的致密度相对关系来看的，如IgG条带和KAP条带致密度同时很大，那么就诊断为IgG-KAP类型，而这种致密度的相对关系可以看成是时序型的关系，因此适合采用LSTM网络来进行建模；
FC层中采用softmax激活函数，最后的输出为对于预测类别的概率，且保证了所有类别预测概率之和为1，softmax函数如下：
Figure BDA0002153031120000091
其中sj为对应j类别的softmax计算值，aj为j类别的原始输出值，T为全部类别数量，ak为第k个类的原始输出值；
在全部的训练数据集中，正常类型、IgA-KAP类型、IgA-LAM类型、IgG-KAP类型、IgG-LAM类型、IgM-KAP类型、IgM-LAM类型、KAP轻链类型、LAM轻链类型对应的数量分别为2896张、136张、204张、436张、396张、78张、26张、37张、95张，各个类别之间的比例非常不均衡，直接放入模型当中训练，那么就会出现较大偏差，模型很容易预测为占比最大的类别，为解决这个问题，训练时候的通过修改损失函数代替一般的交叉熵损失函数，修改后的损失函数公式如下：
Figure BDA0002153031120000101
其中x为对应真实标签下的预测概率；σ(x)表示对输出值x求sigmod操作；K为平衡因子，用来平衡正负样本本身的比例不均，而以上公式是对应二分类的情况，多分类的损失函数如下：
Loss(x)＝-softmax(-Kx)log(softmax(x))
其中x为对应真实标签下的预测概率；softmax(x)表示对x求softmax操作；K为平衡因子，用来平衡多个类别不平衡的情况，使模型的Loss更加倾向于易分错的类别；
测试时，从获取的原始数据集中分离出250张电泳图片用作模型的测试，剩下的电泳图片用于训练，最后在测试集上模型的准确率高达98.5％。
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种免疫固定电泳图自动识别模型的建立方法，其特征在于包括以下步骤：
a)数据准备，准备多个免疫固定电泳图；
b)数据清洗，采用如下步骤：
b1、剔除受到污染的免疫固定电泳图，
b2、将正常的类型、IgA-KAP类型、IgA-LAM类型、IgG-KAP类型、IgG-LAM类型、IgM-KAP类型、IgM-LAM类型、KAP轻链类型、LAM轻链类型分别记作标签0、1、2、3、4、5、6、7、8；
c)数据预处理，采用如下步骤：
c1、对免疫固定电泳图进行放缩，
c2、对放缩后的免疫固定电泳图进行二值化，
c3、提取连通区域，连通区域共有6个，各自的面积分别记为Ssp、Sigg、Siga、Sigm、Skap、Slam，
c4、确定阈值Sthreshold，Ssp、Sigg、Siga、Sigm、Skap、Slam中任一个小于Sthreshold，则从原始数据中除去；
d)数据分割，采用如下步骤：
d1、以左端连通区域Ssp的起始位置作为总蛋白电泳区带图像的起始位置Lsp，
d2、电泳图总宽度除以6得到固定分割间隔d，
d3、将Lsp～Lsp+d、Lsp+d～Lsp+2d、Lsp+2d～Lsp+3d、Lsp+3d～Lsp+4d、Lsp+4d～Lsp+5d、Lsp+5d～Lsp+6d对应的区域分割下来，得到分割后的6个免疫蛋白电泳区带图像，分别为总蛋白电泳区带图像、IgG电泳区带图像、IgA电泳区带图像、IgM电泳区带图像、KAP轻链电泳区带图像、LAM轻链电泳区带图像；
e)建立模型，采用如下步骤：
e1、将IgG电泳区带图像、IgA电泳区带图像、IgM电泳区带图像、KAP轻链电泳区带图像、LAM轻链电泳区带图像输入CNN网络中，
e2、对得到的最后一层卷积特征进行AveragePooling降维操作，此时得到的特征值，分别作为IgG_feature，IgA_feature，IgM_feature，KAP_feature，LAM_feature，AveragePooling计算公式如下：
feature(i)＝averageconv_feature(·，·，i)i＝{1，2，…，n}
其中，CNN网络模型在最后一层卷积层输出特征为conv_feature∈Rl×l×n，维度为(l，l，n)，表示由n个维度为l×l的特征图构成，feature是降维后输出向量，是一个n维向量，feature(i)表示向量中第i维数值，它是从卷积层输出特征conv_feature的每个特征图上进行AveragePooling操作得到，i表示枚举从1到n的维数值整数集合，
e3、将5个卷积特征分别作为时刻特征拼接组成序列特征，并将拼接组成的序列特征送入到LSTM网络中进行训练学习得到编码后的LSTM特征，最后送入到FC层中进行分类，得到最后的分类结果，特征拼接公式如下
IFE_feat＝merge(IgG_feat，IgA_feat，IgM_feat，KAP_feat，LAM_feat)
其中，IFE_feat为免疫固定电泳图的特征，IgG_feat为IgG电泳区带图像的特征，IgA_feat为IgA电泳区带图像的特征，IgM_feat为IgM电泳区带图像的特征，KAP_feat为KAP轻链电泳区带图像的特征，LAM_feat为LAM轻链电泳区带图像的特征；
f)数据训练，将多张正常类型、IgA-KAP类型、IgA-LAM类型、IgG-KAP类型、IgG-LAM类型、IgM-KAP类型、IgM-LAM类型、KAP轻链类型、LAM轻链类型输入模型，得到LSTM模型；
g)保存得到的LSTM模型。
2.根据权利要求1所述的自动识别模型的建立方法，其特征在于：步骤e1之前，设置有步骤e0：将IgG电泳区带图像、IgA电泳区带图像、IgM电泳区带图像、KAP轻链电泳区带图像、LAM轻链电泳区带图像放缩至与CNN网络相同的大小。
3.根据权利要求1所述的自动识别模型的建立方法，其特征在于：步骤e3中，FC层中采用softmax激活函数，softmax函数如下：
Figure FDA0003310805540000031
其中sj为对应j类别的softmax计算值，aj为j类别的原始输出值，T为全部类别数量，ak为第k个类的原始输出值。
4.根据权利要求1所述的自动识别模型的建立方法，其特征在于：步骤f中，对应二分类时，使用自定义损失函数，公式如下：
Figure FDA0003310805540000032
其中x为对应真实标签下的预测概率；σ(x)标识对输出值x求sigmod操作；K为平衡因子。
5.根据权利要求1所述的自动识别模型的建立方法，其特征在于：步骤f中，对应多分类时，使用自定义损失函数，公式如下：
Loss(x)＝-softmax(-Kx)log(softmax(x))
其中x为对应真实标签下的预测概率；softmax(x)表示对x求softmax操作；K为平衡因子。
6.根据权利要求1所述的自动识别模型的建立方法，其特征在于：步骤e1中CNN网络采用VGG16。
7.根据权利要求1所述的自动识别模型的建立方法，其特征在于：步骤d3中，使用Python调用OpenCV库对电泳图进行分割。
8.根据权利要求1-7中任一所述的免疫固定电泳图自动识别模型的使用方法，其特征在于包括以下步骤：
i)读取待预测的免疫固定电泳图；
ii)依次按照步骤c1、c2、c3、d将免疫固定电泳图分割，得到各蛋白电泳区带；
iii)依次按照步骤e1、e2使用CNN网络提取蛋白电泳区带图像特征；
iv)按照步骤e3，将各个蛋白电泳区带图像特征拼接组成序列特征；将拼接组成的序列特征输入已训练的LSTM模型，预测IFE分类结果；
v)得到IFE分类结果；
vi)将IFE分类结果保存至数据库。
CN201910708833.6A 2019-08-01 2019-08-01 一种免疫固定电泳图自动识别模型的建立及使用方法 Active CN110443789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910708833.6A CN110443789B (zh) 2019-08-01 2019-08-01 一种免疫固定电泳图自动识别模型的建立及使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910708833.6A CN110443789B (zh) 2019-08-01 2019-08-01 一种免疫固定电泳图自动识别模型的建立及使用方法

Publications (2)

Publication Number Publication Date
CN110443789A CN110443789A (zh) 2019-11-12
CN110443789B true CN110443789B (zh) 2021-11-26

Family

ID=68432812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910708833.6A Active CN110443789B (zh) 2019-08-01 2019-08-01 一种免疫固定电泳图自动识别模型的建立及使用方法

Country Status (1)

Country Link
CN (1) CN110443789B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177548B (zh) * 2021-05-08 2022-07-08 四川大学 一种针对免疫固定电泳的重点区域识别方法
CN113674367B (zh) * 2021-08-20 2024-03-26 上海宝藤生物医药科技股份有限公司 一种电泳后脂蛋白胆固醇试剂扫描图的预处理方法
CN114219752B (zh) * 2021-09-23 2023-07-25 四川大学 一种针对血清蛋白电泳的异常区域检测方法
CN116843986B (zh) * 2023-09-04 2023-12-08 四川省医学科学院·四川省人民医院 一种基于图像识别的免疫固定电泳检测数据自动审核方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682697A (zh) * 2016-12-29 2017-05-17 华中科技大学 一种基于卷积神经网络的端到端物体检测方法
CN107730507A (zh) * 2017-08-23 2018-02-23 成都信息工程大学 一种基于深度学习的病变区域自动分割方法
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN108334830A (zh) * 2018-01-25 2018-07-27 南京邮电大学 一种基于目标语义和深度外观特征融合的场景识别方法
CN109064484A (zh) * 2018-03-21 2018-12-21 南京邮电大学 基于子群组划分与动量特征融合的人群运动行为识别方法
CN109084980A (zh) * 2018-10-10 2018-12-25 北京交通大学 基于均等分割的轴承故障预测方法及装置
WO2019006473A1 (en) * 2017-06-30 2019-01-03 The Johns Hopkins University ACTION RECOGNITION SYSTEMS AND METHOD USING MICRO-DOPPLER SIGNATURES AND RECURRING NEURAL NETWORKS
CN110009008A (zh) * 2019-03-18 2019-07-12 四川大学 基于提取的免疫固定电泳图特征对其进行自动分类的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682697A (zh) * 2016-12-29 2017-05-17 华中科技大学 一种基于卷积神经网络的端到端物体检测方法
WO2019006473A1 (en) * 2017-06-30 2019-01-03 The Johns Hopkins University ACTION RECOGNITION SYSTEMS AND METHOD USING MICRO-DOPPLER SIGNATURES AND RECURRING NEURAL NETWORKS
CN107730507A (zh) * 2017-08-23 2018-02-23 成都信息工程大学 一种基于深度学习的病变区域自动分割方法
CN107808122A (zh) * 2017-09-30 2018-03-16 中国科学院长春光学精密机械与物理研究所 目标跟踪方法及装置
CN108334830A (zh) * 2018-01-25 2018-07-27 南京邮电大学 一种基于目标语义和深度外观特征融合的场景识别方法
CN109064484A (zh) * 2018-03-21 2018-12-21 南京邮电大学 基于子群组划分与动量特征融合的人群运动行为识别方法
CN109084980A (zh) * 2018-10-10 2018-12-25 北京交通大学 基于均等分割的轴承故障预测方法及装置
CN110009008A (zh) * 2019-03-18 2019-07-12 四川大学 基于提取的免疫固定电泳图特征对其进行自动分类的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CBAM: Convolutional Block Attention Module;Sanghyun Woo等;《ArXiv》;20180717;第1-17页 *

Also Published As

Publication number Publication date
CN110443789A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443789B (zh) 一种免疫固定电泳图自动识别模型的建立及使用方法
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
CN110009008B (zh) 基于提取的免疫固定电泳图特征对其进行自动分类的方法
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN108596038B (zh) 一种结合形态学分割和神经网络的粪便中红细胞识别方法
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN111027539B (zh) 一种基于空间位置信息的车牌字符分割方法
CN111461025B (zh) 一种自主进化的零样本学习的信号识别方法
CN109165275B (zh) 基于深度学习的智能变电站操作票信息智能搜索匹配方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN105893941A (zh) 一种基于区域图像的人脸表情识别方法
CN115131558A (zh) 一种少样本环境下的语义分割方法
CN111461323A (zh) 一种图像识别方法及装置
CN108229692B (zh) 一种基于双重对比学习的机器学习识别方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN108345943B (zh) 一种基于嵌入编码与对比学习的机器学习识别方法
CN108229693B (zh) 一种基于对比学习的机器学习识别装置及方法
CN114596273B (zh) 利用yolov4网络的陶瓷基板多种瑕疵智能检测方法
CN114529517A (zh) 基于单样本学习的工业产品缺陷检测方法
CN114463543A (zh) 基于级联决策和交互标注自提升的弱监督语义分割方法
CN113658109A (zh) 一种基于领域损失预测主动学习的玻璃缺陷检测方法
CN109739950A (zh) 筛选适用法律条文的方法及装置
Cui et al. Road crack classification based on improved vgg convolutional neural network
CN110555338A (zh) 对象识别方法和装置、神经网络生成方法和装置
CN112784674B (zh) 一种基于类中心自适应的重点人员搜索系统跨域识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant