CN110443105A - 自体免疫抗体的免疫荧光影像型态识别方法 - Google Patents
自体免疫抗体的免疫荧光影像型态识别方法 Download PDFInfo
- Publication number
- CN110443105A CN110443105A CN201910329387.8A CN201910329387A CN110443105A CN 110443105 A CN110443105 A CN 110443105A CN 201910329387 A CN201910329387 A CN 201910329387A CN 110443105 A CN110443105 A CN 110443105A
- Authority
- CN
- China
- Prior art keywords
- type
- recognition methods
- immunofluorescence image
- function
- kenel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010166 immunofluorescence Methods 0.000 title claims abstract description 93
- 230000005784 autoimmunity Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 230000003460 anti-nuclear Effects 0.000 claims abstract description 14
- 210000004027 cell Anatomy 0.000 claims description 30
- 102000007999 Nuclear Proteins Human genes 0.000 claims description 10
- 108010089610 Nuclear Proteins Proteins 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 210000000633 nuclear envelope Anatomy 0.000 claims description 10
- 210000002415 kinetochore Anatomy 0.000 claims description 9
- 230000011278 mitosis Effects 0.000 claims description 9
- 230000000394 mitotic effect Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 210000000805 cytoplasm Anatomy 0.000 claims description 6
- 108050006400 Cyclin Proteins 0.000 claims description 5
- 102000009339 Proliferating Cell Nuclear Antigen Human genes 0.000 claims description 5
- 102000004190 Enzymes Human genes 0.000 claims description 3
- 108090000790 Enzymes Proteins 0.000 claims description 3
- 101710160621 Fusion glycoprotein F0 Proteins 0.000 claims description 3
- 210000000349 chromosome Anatomy 0.000 claims description 3
- 230000006870 function Effects 0.000 description 58
- 238000010586 diagram Methods 0.000 description 15
- 238000002203 pretreatment Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 210000002230 centromere Anatomy 0.000 description 4
- 230000001086 cytosolic effect Effects 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 208000023275 Autoimmune disease Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002759 chromosomal effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000012895 dilution Substances 0.000 description 2
- 238000010790 dilution Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 210000000479 mitotic spindle apparatus Anatomy 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010039710 Scleroderma Diseases 0.000 description 1
- 206010048222 Xerosis Diseases 0.000 description 1
- 230000002529 anti-mitochondrial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007969 cellular immunity Effects 0.000 description 1
- 102000005352 centromere protein F Human genes 0.000 description 1
- 108010031377 centromere protein F Proteins 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 201000001981 dermatomyositis Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 208000026278 immune system disease Diseases 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 206010025135 lupus erythematosus Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明的实施例提供了一种自体免疫抗体的免疫荧光影像型态识别方法，其中方法包括以下步骤：输入多个原始细胞免疫荧光影像；通过处理器进行多个卷积神经网络的运算，多个卷积神经网络包括卷积层、池化层及启动层，得到多个卷积特征数据；进行识别操作，得到原始细胞免疫荧光影像分属于多个抗核抗体影像特征的比例；以及将判断结果输出。
Description
技术领域
本发明涉及一种自体免疫抗体的免疫荧光影像型态识别方法，特别涉及一种利用卷积神经网络(Convolutional neural networks,简称CNN)运算，对原始细胞免疫荧光影像进行分析，判读免疫荧光影像中分属各种自体免疫抗体特征类型的判断方法。
背景技术
抗核抗体(Antinuclear antibodies,简称ANA)可视为一组将人体细胞中各种与细胞核相关成分作为标靶原的自体免疫抗体的总称。这些自体免疫抗体存在于各种不同的免疫疾病，例如类风湿性关节炎、红斑性狼疮、硬皮症、干燥症、皮肌炎等，对于风湿疾病的诊断占有非常重要的角色。目前筛检自体免疫抗体的标准筛检方法是采用免疫荧光法(Indirect Immunofluorescence,简称IIF)进行检验，测定结果大于或等于1:80稀释后可判读出型别就认为是有意义的阳性，即与多种自身免疫疾病相关。同时，通过免疫荧光法进行筛检后所获得的细胞影像，也可用于了解自体免疫抗体的样态。然而，上述判读或样态分类都是经由人工判读，除了再现性的判读及浓度稀释的费时费工外，由于自体免疫疾病病人口逐年增加，免疫荧光方法使用越趋普遍，未来检验量势必逐年增加检验而造成人工判读上的负担。
对此，利用机器学习的技术来处理免疫荧光影像的判读，可能是解决上述人工判读需耗费人力成本及判读一致性问题的解决方式。然而，要利用机器学习技术来进行判读，现有技术上必须先对原始细胞免疫荧光影像进行前处理，包括细胞范围边界的界定切割、像素模糊化处理等，经过处理后的免疫荧光影像才由机器进行分类判读。上述的前处理过程反而增加了判读的步骤，降低了判断抗核抗体结果的判读效率，但若不进行原始细胞免疫荧光影像的前处理操作，则判读结果的准确率无法达到要求的水平。因此，目前现有的抗核抗体的检验及判断方法，仍无法以简化且准确的方式，利用机器学习来完成抗核抗体的判读。
因此，如何建立一种机器学习模型，使其能直接读取原始细胞的免疫荧光影像，摘取其中的特征，有效的对抗核抗体进行分类及判读，提升判读结果的效率及准确性，是相关医学产业所要达成的目标。
发明内容
本发明实施例要解决的问题是提供一种自体免疫抗体的免疫荧光影像判断方法，用以解决现有的自动判读准确率过低及需要对免疫荧光影像进行额外的前处理操作的问题。
为解决上述问题，本发明的实施例提供了一种自体免疫抗体的免疫荧光影像型态识别方法，包括下列步骤：通过一输入设备输入多个原始细胞影像，将多个原始细胞免疫荧光影像分别转换成多个三原色图层；通过一处理器将多个三原色图层进行多个卷积神经网络的运算，多个卷积神经网络分别包括以卷积层、池化层及启动层，运算后得到多个卷积特征数据，再将多个卷积特征数据作为下一阶卷积神经网络的输入；通过处理器进行判断操作，将多个卷积特征数据与多个神经元进行全连接，判断多个原始细胞免疫荧光影像分属于多个抗核抗体特征的比例；以及通过一输出装置将多个原始细胞免疫荧光影像的判断结果输出。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，卷积层可包括触发函数，触发函数包括Sigmoid函数、Tanh函数、ReLU函数、PReLU函数、ArcTan函数、ELU函数、SoftPlus函数、Sinusoid函数、Sinc函数、Bent identity函数或Gaussian函数。
具体地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，池化层可包括最大池化或平均池化的运算方式。
进一步的，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，启动层可包括在同一层运算中进行不同大小模板的卷积运算及最大池化运算，再将数据进行级联。
具体地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，抗核抗体特征包括：阴性表现型(Negative phenotype)、核心表现型(Nuclear phenotype)、细胞质表现型(Cytoplasmic phenotype)及有丝分裂表现型(Mitotic phenotype)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，核心表现型(Negative phenotype)包括均质型(Homogeneous pattern)、第一斑点型(Specklepattern)、第一着丝点型(Centromere pattern)、离散核点型(Discrete nuclear dotspattern)、核仁型(Nucleolar pattern)、核膜型(Nuclear envelope pattern)及多形性型(Pleomorphic pattern。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，第一斑点型(Speckle pattern)包括：第一致密斑点型(dense fine speckled pattern)、第一细致斑点型(fine speckled pattern)、大点或粗点型(Large/coarse speckled pattern)以及类第一型拓扑酶型(Topo I-like pattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，离散核点型(Discrete nuclear dots pattern)包括：多量型(Multiple pattern)和少量型(Fewpattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，核仁型(Nucleolar pattern)包括：均质型(Homogeneous pattern)、多块型(Clumpy pattern)以及第一点状型(Punctate pattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，核膜型(Nuclear envelope pattern)包括：第二点状型(Punctate pattern)和平滑型(Smoothpattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，多形性型(Pleomorphic pattern)包括：增殖细胞核抗原(Proliferating Cell Nuclear Antigen，简称PCNA)型以及有丝分裂着丝点粒蛋白F抗体型。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，细胞质表现型(Cytoplasmic phenotype)包括：纤维状型(Fibrillar pattern)、第二斑点型(Specklepattern)、抗粒线体抗体(Anti-mitochondrial antibody,简称AMA)型、高基氏体型(Golgipattern)及杆与环型(Rods and rings pattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，纤维状型(Fibrillar pattern)包括：线型(Linear pattern)、丝状型(Filamentous pattern)以及分节型(Segmental pattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，第二斑点型(Speckle pattern)包括：离散点型(Discrete dots pattern)、第二致密斑点型(dense(fine speckled pattern)以及第二细致斑点型(fine speckled pattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，有丝分裂表现型包括着丝点型(Centromere pattern)、纺锤丝型(Spindle fibers pattern)、细胞间桥型(Intercellular bridge pattern)及有丝分裂染色体膜型(Mitotic chromosomalenvelope pattern)。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，纺锤丝型(Spindle fibers pattern)包括：核有丝分裂器(Nuclear mitotic apparatus，简称NuMA)型。
具体地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，输入的多个原始细胞免疫荧光影像可进行10层卷积神经网络运算，得到多个卷积特征数据。
优选地，如上所述的自体免疫抗体的免疫荧光影像型态识别方法，多个卷积神经网络当中的各卷积层可分别具有预定像素尺寸的卷积核。
与现有技术相比，本发明实施例提供的一种自体免疫抗体的免疫荧光影像型态识别方法，至少具有以下有益效果：
(1)本发明所提供的自体免疫抗体的免疫荧光影像型态识别方法能直接分析原始细胞免疫荧光影像，无须对免疫荧光影像进行前处理的步骤，有利于提高判读效率。
(2)本发明所提供的自体免疫抗体的免疫荧光影像型态识别方法能够通过机器学习方式自动分析及判读细胞免疫荧光影像数据，无须通过人工判读方式判断抗核抗体型别，减轻了检验人员负担并降低了判读操作所需成本。
(3)本发明所提供的自体免疫抗体的免疫荧光影像型态识别方法能通过多层的卷积神经网络运算，摘取细胞免疫荧光影像深层的特征，使得判读结果更为准确，提高判断的正确率。
附图说明
图1为本发明实施例的自体免疫抗体的免疫荧光影像型态识别方法的流程示意图；
图2A为本发明实施例的触发函数为Sigmoid函数时的示意图；
图2B为本发明实施例的触发函数为Tanh函数时的示意图；
图2C为本发明实施例的触发函数为ReLU函数时的示意图；
图3为本发明实施例的启动层的示意图；
图4为本发明实施例的多层感知类神经网络的示意图；
图5为本发明实施例的自体免疫抗体特征分类的示意图；
图6为本发明实施例的自体免疫抗体的免疫荧光影像判断方法的示意图；
图7为本发明实施例的一自体免疫抗体判断结果的示意图；
图8为本发明实施例的另一自体免疫抗体判断结果的示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
参见图1，图1为本发明实施例的自体免疫抗体的免疫荧光影像型态识别方法的流程示意图。如图1所示，自体免疫抗体的免疫荧光影像型态识别方法包括以下步骤(S1～S4)：
步骤S1：输入多个原始细胞免疫荧光影像。在通过免疫荧光法检验后所产生的原始免疫荧光影像，可通过输入设备输入此分析的系统当中。此处的输入设备包括拍摄或捕获设备，如摄影机，收集检验的影像，或者利用计算机接口或网络接口传送及接收原始细胞免疫荧光影像的档案，并将其储存在储存装置中，存储装置包括计算机的内存或者服务器的数据库。同时，原始细胞免疫荧光影像进一步通过影像转换软件转换成三原色(红、绿、蓝)的图层，作为后续机器学习的输入数据。相较于现有技术需要将免疫荧光影像当中的细胞外型画出(Outline)，才能对区分出的细胞进行分析，本实施例则是将原始免疫荧光影像作为输入数据，无需进行额外的前处理步骤，有利于提高分析的效率。
步骤S2：进行多个卷积神经网络的运算。由上述的原始细胞免疫荧光影像输入后，无须经过切割细胞边界或判断细胞外缘等前处理操作，直接将转换好的原始细胞免疫荧光影像的三原色图层进行卷积神经网络的运算，此处卷积神经网络包括卷积层(convolutionlayer)、池化层(pooling layer)及启动层(inception layer)的运算，在本实施例当中，原始细胞免疫荧光影像可通过多次的卷积神经网络运算，发掘免疫荧光影像当中更深层的特征，使得后续判断或分类的结果更为准确。上述卷积层、池化层及启动层的运算准则可同样储存在分析的计算机或服务器当中，利用计算机或服务器当中的处理器执行指令来进行各层的运算，这里的处理器包括中央处理器、微处理器、多核心处理器等。以下将分别描述各层运算的内容：
首先，卷积层(convolution layer)是由预定尺寸的卷积核将前一层的特征数据进行卷积并加上偏差值后，得到卷积后的特征数据如以下方程式(1)所示。卷积操作是将卷积核通过滑动方式在数据上移动，计算内积得到新的特征。卷积核的尺寸在不同阶段的卷积神经网络运算当中可设计不同大小，使得不同阶段的卷积能有所差异。
接着，卷积层可包括触发层(Activation layer)，使用触发函数f，将上层的卷积后特征数据转换成使用触发函数时要利用非线性函数，避免以上层输入的线性组合作为这一层的输出。常见的触发函数包括Sigmoid函数、Tanh函数或ReLU函数。参见图2A至图2C，图2A至图2C分别为本发明实施例的触发函数为一特定函数时的示意图。如图2A所示，Sigmoid函数如方程式(2)所示，其输出映射在0与1之间。如图2B所示，Tanh函数如方程式(3)所示，其以0为中心，分布在-1到1之间。如图2C所示，ReLU函数如方程式(4)所示，有部分的神经元输出为0。
ReLU(x)＝max(0，x) (4)
在上述触发函数当中，Sigmoid函数及Tanh函数由于深度学习的发展于隐藏层的层数越来越多，使用网络模型进行倒传递时容易产生梯度消失的现象，导致训练出现问题。因此在本实施例当中，以ReLU函数为优选地触发函数，其部分神经元输出为0使得网络模型更加稀疏，减少过度拟合的现象。
除了上述触发函数外，PReLU函数、ArcTan函数、ELU函数、SoftPlus函数、Sinusoid函数、Sinc函数、Bent identity函数或Gaussian函数也可作为卷积层的触发函数。其中，PReLU函数如方程式(5)所示，其为ReLU函数的改进，增加了可学习参数a；ArcTan函数如方程式(6)所示；ELU函数与PReLU类似，为负值输入增加了一个非零输出，防止静默神经元出现，倒数收敛为零；SoftPlus函数如方程式(7)所示，可返回任何大于零的值；Sinusoid函数如方程式(8)所示，形成正弦曲线，值域在-1到1之间；Sinc函数如方程式(9)所示，其在x为零时定义值为1；Bent identity函数如方程式(10)所示，允许非线性行为，可在1的任意一侧返回值；Gaussian函数如方程式(11)所示，值域在0到1之间。本发明的实施例可选用上述激活函数作为触发层的触发函数，但本发明并不只限于采用上述激活函数作为触发层的触发函数。
PReLU(x)＝max(0，x)+a×min(0，x) (5)
Softplus(x)＝ln(1+ex) (7)
SinuSoid(x)＝sin(x) (8)
接着，池化层(pooling layer)运算包括最大池化方式或平均池化方式。最大池化是回传每一个特征映像的最大值，而平均池化则是回传每一个特征映像的平均值，也就是经过卷积层及触发层后的特征，被池化后成为一个新的特征。池化层的运算通过不重叠的1×n的核，计算核内的最大值或平均值，将免疫荧光影像数据的数据维度缩小了n倍。在本实施例当中，不同阶段的卷积神经网络运算，池化层将特征数据缩小的维度可有所不同。除此之外，在部分卷积神经网络运算当中，也可重新组合卷积后的特征数据，避免数据维度缩至太小而无法呈现实际免疫荧光影像特征。
最后，启动层(inception layer)运算则是利用树状网络架构的方式，让网络模型的深度及宽度都增加。参见图3，图3为本发明实施例的启动层的示意图。如图3所示，前一层的特征数据，同时并行1x1、3x3及5x5的卷积及3x3的最大池化，最后再进行级联。使得启动层能取得不同级别(level)的特征。但为了避免网络计算量过大，于3x3及5x5的卷积之前先做1x1的卷积，降低了输入信道数量，使得网络分析深度增加，而数据运算量反而减少了，进而提高了运算的效率。此外，在每一个卷积层后都可设置触发函数，如ReLU函数。
上述的卷积神经网络特征获取操作，可以对细胞免疫荧光影像内容进行多个阶段的卷积神经网络运算，得到多个卷积特征数据，而这些卷积特征数据又可做为另一卷积神经网络的输入数据，再次进行卷积层、池化层及启动层的运算，通过多次的卷积神经网络运算，确定更深层的隐藏特征。
步骤S3：进行判断操作。在经过处理器进行上述获取特征的运算之后，取得的多个卷积特征数据与多个神经元进行全连接，判断原始细胞免疫荧光影像分属于各种自体免疫抗体特征的比例。参见图4，图4为本发明实施例的多层感知类神经网络的示意图。如图4所示，其为本发明实施例的多层感知类神经网络的示意图。结合两层的全连接(Fully-connected)方式，使运算层中每一神经元连接下一层的所有神经元进行运算。但本实施例不局限于此，在另一实施例当中，也可使用丢弃(Dropout)方式，通过设定机率p使各个隐藏层中有多个神经元不加入运算，例如设定机率p可为0.5。使用丢弃方式的原因是为了避免产生训练数据预测结果好，但测试数据的结果却不佳的过度拟合的现象。利用丢弃的方式设定机率，随机的让训练每一次迭代(epoch)修正权重时，隐藏层的神经元有一定的机率消失，使得权重更新时可能不会每个神经元都被更新，因此防止过度拟合现象。例如，在训练时可选择丢弃方式，在实际测试时可选择全连接方式。
多层感知类神经网络的输出层可以使用softmax函数进行分类预测，如以下方程式(12)所示，以其作为表达预测结果的机率。
各种自体免疫抗体特征的分类，则参考International Consensus on ANAPatterns(ICAP)中分类的方式，参见图5，图5为本发明实施例的自体免疫抗体特征分类的示意图。如图5所示，细胞特征分类即抗核抗体特征主要包括阴性表现型(Negativephenotype)、核心表现型(Nuclear phenotype)、细胞质表现型(Cytoplasmic phenotype)及有丝分裂表现型(Mitotic phenotype)。
核心表现型(Negative phenotype)包括均质型(Homogeneous pattern)、第一斑点型(Speckle pattern)、着丝点型(Centromere pattern)、离散核点型(Discretenuclear dots pattern)、核仁型(Nucleolar pattern)、核膜型(Nuclear envelopepattern)及多形性型(Pleomorphic pattern)。
第一斑点型(Speckle pattern)包括：第一致密斑点型(dense fine speckledpattern)、第一细致斑点型(fine speckled pattern)、大点或粗点型(Large/coarsespeckled pattern)以及类第一型拓扑酶型(Topo I-like pattern)。
离散核点型(Discrete nuclear dots pattern)包括：多量型(Multiple pattern和少量型(Few pattern)。
核仁型(Nucleolar pattern)包括：均质型(Homogeneous pattern)、多块型(Clumpy pattern)以及第一点状型(Punctate pattern)。
核膜型(Nuclear envelope pattern)包括：第二点状型(Punctate pattern)和平滑型Smooth pattern)。
多形性型(Pleomorphic pattern)包括：PCNA型以及有丝分裂着丝点粒蛋白F抗体型即常用的CENP-F型。
细胞质表现型(Cytoplasmic phenotype)包括：纤维状型(Fibrillar pattern)、第二斑点型(Speckle pattern)、AMA型、高基氏体型(Golgi pattern)及杆与环型(Rodsand rings pattern)。
纤维状型(Fibrillar pattern)包括：线型(Linear pattern)、丝状型(Filamentous pattern)以及分节型(Segmental pattern)。
第二斑点型(Speckle pattern)包括：离散点型(Discrete dots pattern)、第二致密斑点型(dense fine speckled pattern)以及第二细致斑点型(fine speckledpattern)。
有丝分裂表现型包括着丝点型(Centromere pattern)、纺锤丝型(Spindlefibers pattern)、细胞间桥型(Intercellular bridge pattern)及有丝分裂染色体膜型(Mitotic chromosomal envelope pattern)。
纺锤丝型(Spindle fibers pattern)包括：NuMA型。
步骤S4：将判断结果输出。在通过上述运算步骤取得原始细胞免疫荧光影像属于各种自体免疫抗体特征分类的比例后，可将此判断结果储存在储存装置当中，并通过一输出装置将此判断结果传送至对应处理人员，例如通过有线或无线网络传输方式将结果传送到医护人员或医检人员的计算机、手机、平板。使其能根据判断结果进行后续诊断或提供进一步指示。
参见图6，图6为本发明实施例的自体免疫抗体的免疫荧光影像判断方法的示意图。如图6所示，在本实施例当中，对应于上述的判断步骤，可进行10层的卷积神经网络运算。具体来说，由输入层输入原始细胞免疫荧光影像后，通过卷积层及池化层的运算，再进行4次的启动层运算(启动层1至启动层4)，也就是经过16次的卷积神经网络，最后通过池化层后，经过全连接层产生属于各种抗核抗体特征的分类比例，最后经由输出层输出。其中各个启动层的运算，也可分为多个卷积层后再通过级联层整合，这个过程的详细内容类似于上述实施例的启动层运算，因此不再重复描述。整体来说，本实施例可经过10层的卷积神经网络运算，取得最佳的结果。在这当中，各层卷积核大小及数据维度设计在各卷积神经网络运算区块当中可相同也可根据实际需求调整。同时，进行的层数越，原则上可以发掘更深层的特征，但是相应的运算时间也会增加，会降低分析效率。因此，本实施例执行的卷积神经网络运算次数及各区块运算层数可根据实际需求而进行调整。
下面将在医院检验实验室检验自体免疫抗体的数据当中，抽取15000人的数据进行分析，这些数据已由临床医师进行型别判定完成。将这些数据作为本实施例自体免疫抗体免疫荧光影像型态识别方法的输入数据，经过进行多个卷积神经网络的运算，产生判断结果后，再与已判定的结果进行比较，检验判断的正确率。其中，网络分析分成两阶段：第一阶段为训练集，将12000的照片当作输入，摘取图片的特征，然后输入卷积神经网络中来提升网络训练的效率和功能，输出的结果请参见图7，在训练集(计算机有学习过的数据)的结果，正确率可达99.45％。第二阶段为验证集，将3000人照片当作测试集，确认模型结果是否能在没有学习过的图片中，依然能获得良好的分类结果。输出的结果请参见图8，在验证集(计算机没有学习过的数据)的结果，正确率仍可达96.32％。
相较于本实施例的判读结果，现有技术如果在细胞画分后，针对单一细胞判读的准确率仅能达到80％，如果针对一整张免疫荧光影像判读，包括各种不同类型细胞免疫荧光影像进行判读，准确率也仅在70％至80％之间。由上述实际操作验证结果可以得知，本实施例所使用的自体免疫抗体型态识别方法确实能达到明显优于现有技术的判读准确率。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (18)
1.一种自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，包括下列步骤：
通过一输入设备输入多个原始细胞免疫荧光影像，将所述多个原始细胞免疫荧光影像分别转换成多个三原色图层；
通过一处理器将所述多个三原色图层进行多个卷积神经网络的运算，所述多个卷积神经网络分别包括以一卷积层、一池化层及一启动层，运算后得到多个卷积特征数据，再将所述多个卷积特征数据作为下一阶卷积神经网络的输入；
通过所述处理器进行一判断操作，将所述多个卷积特征数据与多个神经元进行全连接，判断所述多个原始细胞免疫荧光影像分属于多个抗核抗体特征的比例；以及
通过一输出装置将所述多个原始细胞免疫荧光影像的判断结果输出。
2.根据权利要求1所述的自体免疫抗体的免疫荧光影像型态识别方法，其中所述卷积层包括一触发函数，所述触发函数包括Sigmoid函数、Tanh函数、ReLU函数、PReLU函数、ArcTan函数、ELU函数、SoftPlus函数、Sinusoid函数、Sinc函数、Bent identity函数或Gaussian函数。
3.根据权利要求1所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述池化层包括一最大池化或一平均池化的运算方式。
4.根据权利要求1所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述启动层包括在同一层运算中进行不同大小模板的卷积运算及最大池化运算，再将数据进行级联。
5.根据权利要求1所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述抗核抗体特征包括：阴性表现型、核心表现型、细胞质表现型及有丝分裂表现型。
6.根据权利要求5所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，核心表现型包括均质型、第一斑点型、第一着丝点型、离散核点型、核仁型、核膜型及多形性型。
7.根据权利要求6所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述第一斑点型包括：第一致密斑点型、第一细致斑点型、大点或粗点型以及类第一型拓扑酶型。
8.根据权利要求6所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述离散核点型包括：多量型和少量型。
9.根据权利要求6所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述核仁型包括：均质型、多块型以及第一点状型。
10.根据权利要求6所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述核膜型包括：第二点状型和平滑型。
11.根据权利要求6所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述多形性型包括：增殖细胞核抗原型以及有丝分裂着丝点粒蛋白F抗体型。
12.根据权利要求5所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，细胞质表现型包括：纤维状型、第二斑点型、抗粒线体抗体型、高基氏体型及杆与环型。
13.根据权利要求12所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述纤维状型包括：线型、丝状型以及分节型。
14.根据权利要求12所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，第二斑点型包括：离散点型、第二致密斑点型以及第二细致斑点型。
15.根据权利要求5所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，有丝分裂表现型包括着丝点型、纺锤丝型、细胞间桥型及有丝分裂染色体膜型。
16.根据权利要求15所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述纺锤丝型包括：核有丝分裂器型。
17.根据权利要求1所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，输入的所述多个原始细胞免疫荧光影像通过进行10层卷积神经网络运算，得到所述多个卷积特征数据。
18.根据权利要求1所述的自体免疫抗体的免疫荧光影像型态识别方法，其特征在于，所述多个卷积神经网络当中的各所述卷积层分别具有一预定像素尺寸的一卷积核。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107115132A TWI672637B (zh) | 2018-05-03 | 2018-05-03 | 自體免疫抗體免疫螢光影像型態識別方法 |
| TW107115132 | 2018-05-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110443105A true CN110443105A (zh) | 2019-11-12 |
Family
ID=66379800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910329387.8A Pending CN110443105A (zh) | 2018-05-03 | 2019-04-23 | 自体免疫抗体的免疫荧光影像型态识别方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10943157B2 (zh) |
| EP (1) | EP3564857A1 (zh) |
| CN (1) | CN110443105A (zh) |
| TW (1) | TWI672637B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111402957A (zh) * | 2020-03-10 | 2020-07-10 | 成都益安博生物技术有限公司 | 一种基于神经网络的免疫特征识别方法 |
| CN111403004A (zh) * | 2020-02-26 | 2020-07-10 | 广州和硕信息技术有限公司 | 一种人工智能ana检测图文报告系统 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI705414B (zh) * | 2018-05-29 | 2020-09-21 | 長庚醫療財團法人林口長庚紀念醫院 | 自體免疫抗體免疫螢光影像分類系統及其分類方法 |
| US11130994B2 (en) * | 2019-12-13 | 2021-09-28 | Autonomous Medical Devices Inc. | Automated, cloud-based, point-of-care (POC) pathogen and antibody array detection system and method |
| CN111460996B (zh) * | 2020-03-31 | 2022-02-15 | 东南大学 | 基于极限学习深度网络融合模型的货车车辆号牌识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1873661A (zh) * | 2006-06-29 | 2006-12-06 | 武汉大学 | 一种遥感影像的人工免疫非监督分类方法 |
| WO2014177700A1 (en) * | 2013-05-02 | 2014-11-06 | Universite D'aix-Marseille | Indirect immunofluorescence method for detecting antinuclear autoantibodies. |
| CN106096616A (zh) * | 2016-06-08 | 2016-11-09 | 四川大学华西医院 | 一种基于深度学习的磁共振影像特征提取及分类方法 |
| CN106529605A (zh) * | 2016-11-28 | 2017-03-22 | 东华大学 | 基于免疫理论的卷积神经网络模型的图像识别方法 |
| CN107909566A (zh) * | 2017-10-28 | 2018-04-13 | 杭州电子科技大学 | 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1327148B1 (en) * | 2000-10-17 | 2009-04-15 | Bio-Rad Laboratories, Inc. | Pattern recognition method for diagnosis of systemic autoimmune diseases |
| EP1817708A4 (en) * | 2004-10-18 | 2014-08-27 | Wellstat Vaccines Llc | SYSTEMS AND METHODS FOR OBTAINING, STORING, PROCESSING AND USING IMMUNOLOGICAL INFORMATION RELATING TO AN INDIVIDUAL OR A POPULATION |
| US20130052662A1 (en) * | 2011-08-23 | 2013-02-28 | University Of Medicine And Dentistry Of New Jersey | Method for Automated Autoantibody Detection and Identification |
| CN112587671A (zh) * | 2012-07-18 | 2021-04-02 | 博笛生物科技有限公司 | 癌症的靶向免疫治疗 |
| EP3092255A4 (en) * | 2014-01-10 | 2017-09-20 | Birdie Biopharmaceuticals Inc. | Compounds and compositions for treating egfr expressing tumors |
| TW201538982A (zh) * | 2014-04-15 | 2015-10-16 | Nat Univ Tsing Hua | 檢測裝置、檢測方法、檢測試片及檢測系統 |
| CA2944829C (en) * | 2014-05-23 | 2022-10-25 | Ting Chen | Systems and methods for detection of biological structures and/or patterns in images |
| US11593656B2 (en) * | 2017-12-31 | 2023-02-28 | Astrazeneca Computational Pathology Gmbh | Using a first stain to train a model to predict the region stained by a second stain |
| CN108510004B (zh) * | 2018-04-04 | 2022-04-08 | 深圳大学 | 一种基于深度残差网络的细胞分类方法及系统 |
| TWI705414B (zh) * | 2018-05-29 | 2020-09-21 | 長庚醫療財團法人林口長庚紀念醫院 | 自體免疫抗體免疫螢光影像分類系統及其分類方法 |
| US11449987B2 (en) * | 2018-12-21 | 2022-09-20 | Wisconsin Alumni Research Foundation | Image analysis of epithelial component of histologically normal prostate biopsies predicts the presence of cancer |
-
2018
- 2018-05-03 TW TW107115132A patent/TWI672637B/zh not_active IP Right Cessation
-
2019
- 2019-04-23 CN CN201910329387.8A patent/CN110443105A/zh active Pending
- 2019-04-29 US US16/397,290 patent/US10943157B2/en active Active
- 2019-05-02 EP EP19172304.8A patent/EP3564857A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1873661A (zh) * | 2006-06-29 | 2006-12-06 | 武汉大学 | 一种遥感影像的人工免疫非监督分类方法 |
| WO2014177700A1 (en) * | 2013-05-02 | 2014-11-06 | Universite D'aix-Marseille | Indirect immunofluorescence method for detecting antinuclear autoantibodies. |
| CN106096616A (zh) * | 2016-06-08 | 2016-11-09 | 四川大学华西医院 | 一种基于深度学习的磁共振影像特征提取及分类方法 |
| CN106529605A (zh) * | 2016-11-28 | 2017-03-22 | 东华大学 | 基于免疫理论的卷积神经网络模型的图像识别方法 |
| CN107909566A (zh) * | 2017-10-28 | 2018-04-13 | 杭州电子科技大学 | 一种基于深度学习的皮肤癌黑色素瘤的图像识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| FAHIME SHEIKHZADEH 等: "Automatic labeling of molecular biomarkers of immunohistochemistry images using fully convolutional networks", PLOS ONE, vol. 13, no. 1, 19 January 2018 (2018-01-19), pages 1 - 18, XP055610603, DOI: 10.1371/journal.pone.0190783 * |
| FAHIME SHEIKHZADEH 等: "Automatic labeling of molecular biomarkers of immunohistochemistry images using fully convolutional networks", PLOS ONE, vol. 13, no. 1, pages 1 - 18 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111403004A (zh) * | 2020-02-26 | 2020-07-10 | 广州和硕信息技术有限公司 | 一种人工智能ana检测图文报告系统 |
| CN111402957A (zh) * | 2020-03-10 | 2020-07-10 | 成都益安博生物技术有限公司 | 一种基于神经网络的免疫特征识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI672637B (zh) | 2019-09-21 |
| EP3564857A1 (en) | 2019-11-06 |
| US20190340473A1 (en) | 2019-11-07 |
| TW201947453A (zh) | 2019-12-16 |
| US10943157B2 (en) | 2021-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khalifa et al. | Deep transfer learning models for medical diabetic retinopathy detection | |
| CN108021916B (zh) | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 | |
| CN110443105A (zh) | 自体免疫抗体的免疫荧光影像型态识别方法 | |
| Lin et al. | Transforming retinal photographs to entropy images in deep learning to improve automated detection for diabetic retinopathy | |
| TWI705414B (zh) | 自體免疫抗體免疫螢光影像分類系統及其分類方法 | |
| Wells et al. | Artificial intelligence in dermatopathology: Diagnosis, education, and research | |
| CN110490242B (zh) | 图像分类网络的训练方法、眼底图像分类方法及相关设备 | |
| CN110490239B (zh) | 图像质控网络的训练方法、质量分类方法、装置及设备 | |
| CN108806792A (zh) | 深度学习面诊系统 | |
| US20210406687A1 (en) | Method for predicting attribute of target object based on machine learning and related device | |
| Saleh et al. | Transfer learning‐based platform for detecting multi‐classification retinal disorders using optical coherence tomography images | |
| CN113448843B (zh) | 基于缺陷分析的图像识别软件测试数据增强方法及装置 | |
| CN115690072A (zh) | 基于多模态深度学习的胸片特征提取和疾病分类方法 | |
| CN112530584A (zh) | 一种医疗诊断辅助方法及系统 | |
| CN115147640A (zh) | 一种基于改进胶囊网络的脑肿瘤图像分类方法 | |
| Wu et al. | Automatic cataract detection with multi-task learning | |
| Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
| Kotiyal et al. | Diabetic retinopathy binary image classification using PySpark | |
| Mudaser et al. | Diabetic retinopathy classification with pre-trained image enhancement model | |
| CN116434976A (zh) | 一种融合多源知识图谱的药物重定位方法和系统 | |
| Bellemo et al. | Artificial intelligence using deep learning in classifying side of the eyes and width of field for retinal fundus photographs | |
| Sharma et al. | Modified EfficientNetB3 Deep Learning Model to Classify Colour Fundus Images of Eye Diseases | |
| Sheikh | Diabetic reinopathy classification using deep learning | |
| Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation | |
| Bajaj et al. | Diabetic retinopathy stage classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |