CN112508951B - 用于确定内质网表型的方法及产品和用于药物筛选的方法 - Google Patents
用于确定内质网表型的方法及产品和用于药物筛选的方法 Download PDFInfo
- Publication number
- CN112508951B CN112508951B CN202110150528.7A CN202110150528A CN112508951B CN 112508951 B CN112508951 B CN 112508951B CN 202110150528 A CN202110150528 A CN 202110150528A CN 112508951 B CN112508951 B CN 112508951B
- Authority
- CN
- China
- Prior art keywords
- endoplasmic reticulum
- image
- cell
- phenotype
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000002472 endoplasmic reticulum Anatomy 0.000 title claims abstract description 448
- 238000000034 method Methods 0.000 title claims abstract description 161
- 238000007877 drug screening Methods 0.000 title abstract description 8
- 210000004027 cell Anatomy 0.000 claims abstract description 172
- 238000013145 classification model Methods 0.000 claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 238000013528 artificial neural network Methods 0.000 claims abstract description 53
- 230000003938 response to stress Effects 0.000 claims abstract description 11
- 238000003062 neural network model Methods 0.000 claims description 56
- 230000011218 segmentation Effects 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 48
- 238000002372 labelling Methods 0.000 claims description 26
- 239000003814 drug Substances 0.000 claims description 25
- 229940079593 drug Drugs 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 14
- 210000001519 tissue Anatomy 0.000 claims description 13
- 230000001939 inductive effect Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 239000003550 marker Substances 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 9
- 238000011160 research Methods 0.000 abstract description 6
- 238000010827 pathological analysis Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 24
- 239000002609 medium Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 239000002245 particle Substances 0.000 description 6
- RXWNCPJZOCPEPQ-NVWDDTSBSA-N puromycin Chemical compound C1=CC(OC)=CC=C1C[C@H](N)C(=O)N[C@H]1[C@@H](O)[C@H](N2C3=NC=NC(=C3N=C2)N(C)C)O[C@@H]1CO RXWNCPJZOCPEPQ-NVWDDTSBSA-N 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 239000013604 expression vector Substances 0.000 description 5
- 230000006698 induction Effects 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 238000001890 transfection Methods 0.000 description 5
- IAZDPXIOMUYVGZ-UHFFFAOYSA-N Dimethylsulphoxide Chemical compound CS(C)=O IAZDPXIOMUYVGZ-UHFFFAOYSA-N 0.000 description 4
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000001415 gene therapy Methods 0.000 description 4
- 210000003292 kidney cell Anatomy 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 108091003079 Bovine Serum Albumin Proteins 0.000 description 3
- 241000700605 Viruses Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000001640 apoptogenic effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000012091 fetal bovine serum Substances 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 108020001507 fusion proteins Proteins 0.000 description 3
- 102000037865 fusion proteins Human genes 0.000 description 3
- 239000005090 green fluorescent protein Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000013612 plasmid Substances 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 229950010131 puromycin Drugs 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 239000000725 suspension Substances 0.000 description 3
- 241000701022 Cytomegalovirus Species 0.000 description 2
- 241000713666 Lentivirus Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 108091000080 Phosphotransferase Proteins 0.000 description 2
- 102000008165 X-Box Binding Protein 1 Human genes 0.000 description 2
- 108010035430 X-Box Binding Protein 1 Proteins 0.000 description 2
- 230000006907 apoptotic process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000009509 drug development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000001638 lipofection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000001404 mediated effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000003463 organelle Anatomy 0.000 description 2
- 102000020233 phosphotransferase Human genes 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 238000003752 polymerase chain reaction Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 238000004451 qualitative analysis Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000006228 supernatant Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 102000011727 Caspases Human genes 0.000 description 1
- 108010076667 Caspases Proteins 0.000 description 1
- 241000282693 Cercopithecidae Species 0.000 description 1
- 239000006144 Dulbecco’s modified Eagle's medium Substances 0.000 description 1
- 102000004144 Green Fluorescent Proteins Human genes 0.000 description 1
- 229920000209 Hexadimethrine bromide Polymers 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 108060003951 Immunoglobulin Proteins 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- CKLJMWTZIZZHCS-REOHCLBHSA-N L-aspartic acid Chemical compound OC(=O)[C@@H](N)CC(O)=O CKLJMWTZIZZHCS-REOHCLBHSA-N 0.000 description 1
- 241001529936 Murinae Species 0.000 description 1
- 238000012408 PCR amplification Methods 0.000 description 1
- 102000035195 Peptidases Human genes 0.000 description 1
- 108091005804 Peptidases Proteins 0.000 description 1
- 229940079156 Proteasome inhibitor Drugs 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- HATRDXDCPOXQJX-UHFFFAOYSA-N Thapsigargin Natural products CCCCCCCC(=O)OC1C(OC(O)C(=C/C)C)C(=C2C3OC(=O)C(C)(O)C3(O)C(CC(C)(OC(=O)C)C12)OC(=O)CCC)C HATRDXDCPOXQJX-UHFFFAOYSA-N 0.000 description 1
- YJQCOFNZVFGCAF-UHFFFAOYSA-N Tunicamycin II Natural products O1C(CC(O)C2C(C(O)C(O2)N2C(NC(=O)C=C2)=O)O)C(O)C(O)C(NC(=O)C=CCCCCCCCCC(C)C)C1OC1OC(CO)C(O)C(O)C1NC(C)=O YJQCOFNZVFGCAF-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000004102 animal cell Anatomy 0.000 description 1
- 235000003704 aspartic acid Nutrition 0.000 description 1
- OQFSQFPPLPISGP-UHFFFAOYSA-N beta-carboxyaspartic acid Natural products OC(=O)C(N)C(C(O)=O)C(O)=O OQFSQFPPLPISGP-UHFFFAOYSA-N 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005138 cryopreservation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- VHJLVAABSRFDPM-QWWZWVQMSA-N dithiothreitol Chemical compound SC[C@@H](O)[C@H](O)CS VHJLVAABSRFDPM-QWWZWVQMSA-N 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000030583 endoplasmic reticulum localization Effects 0.000 description 1
- 230000037149 energy metabolism Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001917 fluorescence detection Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000001215 fluorescent labelling Methods 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 210000005260 human cell Anatomy 0.000 description 1
- 230000005847 immunogenicity Effects 0.000 description 1
- 102000018358 immunoglobulin Human genes 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000019948 ion homeostasis Effects 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000005265 lung cell Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009456 molecular mechanism Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000003207 proteasome inhibitor Substances 0.000 description 1
- 230000009145 protein modification Effects 0.000 description 1
- 238000001243 protein synthesis Methods 0.000 description 1
- 235000018102 proteins Nutrition 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 108091008146 restriction endonucleases Proteins 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- IXFPJGBNCFXKPI-FSIHEZPISA-N thapsigargin Chemical compound CCCC(=O)O[C@H]1C[C@](C)(OC(C)=O)[C@H]2[C@H](OC(=O)CCCCCCC)[C@@H](OC(=O)C(\C)=C/C)C(C)=C2[C@@H]2OC(=O)[C@@](C)(O)[C@]21O IXFPJGBNCFXKPI-FSIHEZPISA-N 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 239000012096 transfection reagent Substances 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- ZHSGGJXRNHWHRS-VIDYELAYSA-N tunicamycin Chemical compound O([C@H]1[C@@H]([C@H]([C@@H](O)[C@@H](CC(O)[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C(NC(=O)C=C2)=O)O)O1)O)NC(=O)/C=C/CC(C)C)[C@H]1O[C@H](CO)[C@@H](O)[C@H](O)[C@H]1NC(C)=O ZHSGGJXRNHWHRS-VIDYELAYSA-N 0.000 description 1
- MEYZYGMYMLNUHJ-UHFFFAOYSA-N tunicamycin Natural products CC(C)CCCCCCCCCC=CC(=O)NC1C(O)C(O)C(CC(O)C2OC(C(O)C2O)N3C=CC(=O)NC3=O)OC1OC4OC(CO)C(O)C(O)C4NC(=O)C MEYZYGMYMLNUHJ-UHFFFAOYSA-N 0.000 description 1
- 238000005199 ultracentrifugation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 238000001262 western blot Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明涉及一种用于确定内质网表型的方法及产品和用于药物筛选的方法，其中用于确定内质网表型的方法，包括：利用基于深度神经网络的检测模型对包含细胞内质网的待检测图像进行检测，以提取所述待检测图像中单细胞的内质网区域；以及利用基于深度神经网络的分类模型对所述内质网区域进行分类，以确定所述内质网的表型。根据本发明的方法，能够实现快速、高通量的内质网表型分析和检测，为内质网应激反应的研究、高通量的药物筛选以及病理诊断等提供有效的技术手段。
Description
技术领域
本发明一般地涉及神经网络技术领域。更具体地，本发明涉及一种用于确定内质网表型的方法及相关产品和用于对药物进行筛选的方法。
背景技术
内质网（ER）是细胞中的重要细胞器，其在蛋白质合成和修饰、脂质合成和离子稳态中起关键作用。内质网应激（ER stress）是细胞面对内外环境改变，感受自身健康状态，进行自我适应调节以实现重回内稳态或者细胞凋亡的过程。内质网应激作为决定细胞命运的重要机制，其关系到细胞内的物质能量代谢平衡，并可以在一定程度上避免细胞功能障碍。当前的研究已经证实代谢类疾病、心血管疾病、神经退行性疾病、炎症、癌症等多种病症的发生均能够引起内质网的应激反应，因此研究者们希望通过对内质网应激反应的分子机制进行深入研究，以便为新的治疗干预和药物开发提供基础。
内质网的形状是在不断变化的，且动态变化的内质网形状与应激反应紧密相关。目前对于内质网应激的研究方法主要集中在蛋白质表达与修饰分析等细胞生物学与生物化学检测方法。而目前尚缺少能够对动态变化的内质网形态进行追踪和分析的技术手段，因此阻碍了研究者们对内质网形态与功能的深入研究。
发明内容
鉴于上面所提到的技术问题，本发明的技术方案在多个方面提供一种用于确定内质网表型的方法及相关产品和用于对药物进行筛选的方法。
在本发明的第一方面中，提供一种用于确定内质网表型的方法，包括：利用基于深度神经网络的检测模型对包含细胞内质网的待检测图像进行检测，以提取所述待检测图像中单细胞的内质网区域；以及利用基于深度神经网络的分类模型对所述内质网区域进行分类，以确定所述内质网的表型。
根据本发明的一个实施例，在对待检测图像进行检测之前，所述方法还包括：对细胞的内质网进行光学标记，使得所述内质网形态显现以便于被识别；以及采集包含带光学标记的内质网的所述待检测图像。
根据本发明的另一个实施例，在采集所述待检测图像之前，所述方法还包括：通过一种或多种应激条件诱导所述内质网的应激反应，以得到内质网应激细胞；并且所述采集包含带光学标记的内质网的待检测图像包括：采集包含带光学标记的所述内质网应激细胞的待检测图像。
根据本发明的又一个实施例，在利用检测模型对待检测图像进行检测之前，所述方法还包括：获取包含内质网的细胞样本图像，并对所述细胞样本图像中的单细胞的内质网区域进行第一标注；以及使用带第一标注的所述细胞样本图像训练第一深度神经网络模型，以便得到所述检测模型。
根据本发明的一个实施例，在利用分类模型进行分类之前，所述方法还包括：获取内质网样本图像，并对所述内质网样本图像包含的内质网区域的表型类别进行第二标注；以及使用带第二标注的所述内质网样本图像训练第二深度神经网络模型，以便得到所述分类模型。
根据本发明的另一个实施例，在使用内质网样本图像训练第二深度神经网络模型之前，所述方法还包括对所述第二深度神经网络模型进行预训练，其中所述预训练包括：获取包括生物细胞图像和/或组织图像的大样本数据集；以及使用所述大样本数据集对所述第二深度神经网络模型进行所述预训练，以便得到预训练后的第二深度神经网络模型；并且所述使用内质网样本图像训练第二深度神经网络模型包括：使用所述内质网样本图像训练所述预训练后的第二深度神经网络模型。
根据本发明的又一个实施例，所述内质网的表型包括正常表型和应激表型。
根据本发明的一个实施例，还包括：利用基于深度神经网络的分割模型对所述内质网区域进行分割，以提取单细胞内质网结构。
根据本发明的另一个实施例，在使用分割模型对所述内质网区域进行分割之前，所述方法还包括：对获取的内质网样本图像中的内质网结构进行第三标注；以及使用带第三标注的所述内质网样本图像训练第三深度神经网络模型，以便得到所述分割模型。
根据本发明的又一个实施例，还包括：根据所述单细胞内质网结构的特征，确定所述单细胞内质网结构的第一特征参数。
根据本发明的一个实施例，所述第一特征参数包括以下至少一个：内质网的面积；内质网结构与所述内质网区域的面积比；内质网管状分支的长度；内质网管状分支的宽度；以及内质网网状结构的节点数。
根据本发明的另一个实施例，还包括：响应于所述内质网的表型为应激表型，获取所述内质网区域；以及根据所述内质网区域和提取的所述单细胞内质网结构，确定所述内质网的应激表型结构的第二特征参数。
根据本发明的又一个实施例，根据内质网区域和单细胞内质网结构，确定内质网的应激表型结构的第二特征参数包括：对所述内质网区域中的应激表型区域进行定位；根据所述应激表型区域的定位结果，在所述单细胞内质网结构中定位相应的应激表型结构；以及分析并确定所述应激表型结构的第二特征参数。
根据本发明的一个实施例，对内质网区域中的应激表型区域进行定位包括：使用特征可视化工具对所述内质网区域中的所述应激表型区域进行定位。
根据本发明的另一个实施例，所述第二特征参数包括以下中的至少一个：管状结构的总长度；管状结构的宽度；管状结构的曲率；以及空洞的面积。
根据本发明的又一个实施例，还包括：根据所述第一特征参数和所述第二特征参数，分析并评估所述内质网的应激程度。
在本发明的第二方面中，提供一种用于对药物进行筛选的方法，包括：利用待筛选的药物来诱导细胞的内质网，以得到诱导后的细胞模型；利用基于深度神经网络的检测模型对包含所述细胞模型的待检测图像进行检测，以提取所述待检测图像中单细胞的内质网区域；利用基于深度神经网络的分类模型对所述内质网区域进行分类，以确定所述细胞模型的应激表型；以及根据所述应激表型来对所述药物进行筛选。
在本发明的第三方面中，提供一种用于确定内质网表型的神经网络系统，包括：基于深度神经网络的检测单元，其配置用于对包含细胞内质网的待检测图像进行检测，以提取所述待检测图像中单细胞的内质网区域；以及基于深度神经网络的分类单元，其配置用于根据所述内质网区域进行分类，以确定所述内质网的表型。
根据本发明的一个实施例，还包括：基于深度神经网络的分割单元，其配置用于对所述内质网区域进行分割，以提取单细胞内质网结构。
根据本发明的另一个实施例，还包括：确定单元，其配置用于根据提取的所述单细胞内质网结构的特征，确定所述单细胞内质网结构的第一特征参数。
根据本发明的又一个实施例，所述确定单元还配置为：响应于所述内质网的表型为应激表型，获取所述内质网区域；以及根据所述内质网区域和提取的所述单细胞内质网结构，确定所述内质网的应激表型结构的第二特征参数。
根据本发明的一个实施例，所述确定单元还配置为：根据所述第一特征参数和所述第二特征参数，分析并评估所述内质网的应激程度。
在本发明的第四方面中，提供一种用于确定内质网表型的设备，包括：至少一个处理器；存储器，其存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据本发明的第一方面中的任意一项所述的方法。
在本发明的第五方面中，提供一种计算机可读存储介质，其存储有用于确定内质网表型的程序，当所述程序由处理器来运行时，执行根据本发明的第一方面中的任意一项所述的方法。
在本发明的第六方面中，提供一种用于确定内质网表型的系统，包括：图像采集单元，其用于采集包含细胞内质网的待检测图像；控制终端，其与所述图像采集单元连接，并用于接收所述图像采集单元发送的所述待检测图像；以及如本发明的第四方面中所述的设备，其与所述控制终端连接，用于接收由所述控制终端发送的所述待检测图像以对所述待检测图像进行检测，并将检测结果发送至所述控制终端。
通过上述对本发明的技术方案及其多个实施例的描述，本领域技术人员可以理解本发明的用于确定内质网表型的方法可以利用基于深度神经网络的检测模型提取单细胞的内质网区域，以及利用基于深度神经网络的分类模型对内质网区域进行分类，以确定内质网的表型。根据本发明的方法，能够实现快速、高通量的内质网表型分析和检测，为内质网应激反应的研究、高通量的药物筛选、靶点筛选以及病理诊断等提供有效的技术手段。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
图1是总体上示出根据本发明的用于确定内质网表型的方法的流程图；
图2是示出根据本发明实施例的多个正常表型的内质网的示意图；
图3是示出根据本发明实施例的多个应激表型的内质网的示意图；
图4和图5是示出根据本发明实施例的用于确定内质网表型的方法的多个流程图；
图6a是示出根据本发明实施例的检测模型的主干网络的结构示意图；
图6b是示出根据本发明实施例的检测模型中的单阶段检测器的结构示意图；
图7是示出根据本发明实施例的分类模型的结构示意图；
图8是示出根据本发明实施例的用于确定内质网表型的方法的又一个详细流程图；
图9是示出根据本发明实施例的分割模型的结构示意图；
图10是示出根据本发明实施例的用于对药物进行筛选的方法流程图；
图11是示出根据本发明实施例的用于确定内质网表型的设备示意图；以及
图12是示出根据本发明实施例的用于确定内质网表型的系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
应当理解，本发明的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明。如在本发明说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明针对现有技术的不足，提供了一种全新的可实现的解决方案。特别的，本发明的用于确定内质网表型的方法可以利用基于深度神经网络的检测模型和分类模型对单细胞的内质网区域进行提取和分类，能够快速、准确的确定内质网的表型，为实现高通量的药物筛选、靶点筛选和实时的病理诊断提供可靠的技术支持。通过下面的描述，本领域技术人员可以理解的是，本发明还在多个实施例中提供了用于训练和优化检测模型或分类模型的方法，以及对内质网结构的特征进一步提取和分析的方法等。下面结合附图来详细描述本公开的具体实施方式。
图1是总体上示出根据本发明的用于确定内质网表型的方法的流程图。如图1中所示，在步骤102中，方法100可以利用基于深度神经网络的检测模型对包含细胞内质网的待检测图像进行检测，以提取待检测图像中单细胞的内质网区域。在一些实施例中，基于深度神经网络的检测模型可以采用例如ResNet、U-Net等模型中的至少一种。根据本发明所述的细胞内质网可以包括活体细胞的内质网，也可以包括凋亡细胞的内质网。细胞内质网可以是人类、动物类或者植物类的细胞的内质网。在另一些实施例中，待检测图像可以包括荧光图像、明场图像、暗场图像等中的至少一种。待检测图像中可以包含一个或多个细胞的内质网的图像，且方法100可以提取待检测图像中的每个单细胞的内质网区域。在另一些实施例中，提取单细胞的内质网区域可以通过例如多边形框取的方式实现。在又一些实施例中，每个多边形框取的区域即为单细胞的内质网区域。
接着，在步骤104中，方法100可以利用基于深度神经网络的分类模型对内质网区域进行分类，以确定内质网的表型。在一些实施例中，基于深度神经网络的分类模型可以采用例如DenseNet、ResNet等模型中的至少一种。分类模型可以通过提取和分析内质网区域包含的内质网形态来对内质网区域进行分类。根据本发明的一个实施例，内质网的表型可以包括正常表型和应激表型（或称非正常表型）。为了便于理解内质网的正常表型和应激表型，下面将结合图2和图3进行示例性的说明。
图2是示出根据本发明实施例的多个正常表型的内质网的示意图。如图2中的a、b、c、d所示，多个细胞的内质网整体形态虽然有所不同，但是可以看出其具有相同或者相似的形态特征，例如正常表型的内质网通常具有形状规则的内质网腔以及包围在内质网腔周围的网状结构，该网状结构可以由相互连接的小管和薄片组成。
图3是示出根据本发明实施例的多个应激表型的内质网的示意图。如图3中的b所示，该内质网的内质网腔结构紊乱、边界出现折叠结构。如图3中的b进一步示出的，该内质网的外围区域出现了多个环状结构。类似地，如图3中的a和c所示，应激表型的内质网的外围区域均出现了一个或多个环状结构。该环状结构与图2中所示的网状结构明显不同。根据本发明的分类模型可以从形状多变的内质网形态中识别出例如图2中所示的正常表型的内质网和例如图3中所示的应激表型的内质网。在一些实施例中，分类模型还可以对正常表型的内质网和应激表型的内质网进行标号或标记，以便于区分并进行后续操作。
以上结合图1-图3总体上对根据本发明的用于确定内质网表型的方法进行了描述，本领域技术人员可以理解的是，以上的描述是示例性的而非限制性的，例如在步骤104中，方法100可以不限于仅将内质网的表型确定为正常表型和应激表型，还可以根据需要进行更具体的划分。在一些实施例中，可以根据应激表型的应激程度等对应激表型进行具体分类。还例如，根据本发明的方法可以不限于仅包括步骤102和步骤104，还可以根据需要包括例如对细胞的内质网进行预处理以及采集待检测图像等步骤。下面将结合图4进行示例性的描述。
图4是示出根据本发明另一个实施例的用于确定内质网表型的方法的流程图。如图4中所示，方法400可以包括：在步骤402中，可以对细胞的内质网进行光学标记，使得内质网形态显现以便于被识别。光学标记可以包括能够使得内质网发光或者能够呈现出与其他结构不同的光学特征的标记，例如荧光标记（例如绿色荧光标记、黄色荧光标记等）等。通过对细胞的内质网进行光学标记，可以在一定条件下使得内质网的形状和结构显现出来（例如内质网成像），以便于能够被研究者或者机器所识别。在一些实施例中，可以通过例如外源基因表达来对细胞内质网结构进行光学标记，下面将结合具体实施例进行说明。
根据本发明的一个实施例，可以通过慢病毒转染的方式来建立内质网标记的单克隆细胞株。具体地，首先可以通过引物设计将赖氨酸-天冬氨酸-谷氨酸-亮氨酸四肽（KDEL）序列插入荧光蛋白基因下游，以构建例如绿色荧光蛋白EGFP（Enhanced greenfluorescence protein）与内质网定位KDEL信号肽融合蛋白的串联基因表达原件。
然后可以将人工构建的串联基因表达原件克隆至慢病毒载体以得到基因治疗慢病毒表达载体（简称基因表达载体）。在另一些实施例中，可以将慢病毒载体（例如pHAGE-Puro）用限制性内切酶XbaI和SalI酶切，并对酶切完成后的慢病毒载体进行胶回收，同时根据EGFP-KDEL串联基因表达原件设计引物并进行聚合酶链式反应扩增，使得酶切后的目的片段与慢病毒载体进行连接反应，以得到基因表达载体。接着，将连接液转化至感受态细胞（例如DH5a）中，并在转化后进行抗性筛选，以对聚合酶链式反应（PCR）鉴定得到的阳性克隆进行测序，得到的质粒可以命名为pHAGE-ERGFP puro。
接着，可以使用上文中构建的基因表达载体在例如人胚胎肾细胞293（HEK293）细胞系中进行转染以获得包裹荧光标记的慢病毒颗粒。具体的过程可以包括：将构建好的基因表达载体通过脂质体转染或化学等方法与质粒pHAGE-ERGFP puro共同导入人胚胎肾细胞293中并培养表达8-72小时，其中可以将人胚胎肾细胞293细胞培养至对数期用于进行脂质体转染。每100mm培养皿的转染体系可以包括：10μg的pSPAX2载体、5μg的pMD2G载体、10μg的pHAGE-ERGFP puro质粒以及75μL的转染试剂（例如Lipofectamine 3000）。转染4小时后可以更换含10％胎牛血清的新鲜完全培养基，并且在继续培养48h和72h后分别收集病毒上清液。病毒上清液经过离心处理去除细胞碎片后，可以再进行超离心处理以便对慢病毒颗粒进行浓缩，然后可以将浓缩后的慢病毒颗粒置于-80℃冰箱中进行保存。
然后，可以将慢病毒颗粒感染目标细胞（例如来自于人源、鼠源、或猴源等的野生型细胞系），并经含嘌呤霉素（Puromycin）的培养基进行筛选，获得稳定表达内质网定位的绿色荧光融合蛋白的细胞系。具体地过程可以包括：在例如100mm培养皿中接种目标细胞，接种密度可以为1.0×106每mL，感染时可以采用10mL 5％胎牛血清（FBS）的高糖哺乳动物培养基（DMEM）和8μg/mL的聚凝胺，并加入适量的慢病毒颗粒悬液。经过24h的转染后，可以将培养皿中的培养基替换成新鲜完全培养基。然后可以利用嘌呤霉素处理经慢病毒颗粒感染后的目标细胞，并筛选成功感染病毒的目标细胞株，随后对目标细胞株进行扩大培养和冻存。
进一步地，在获得成功感染病毒的目标细胞株后，可以利用细胞分选技术对获得的目标细胞株进行基于荧光表达量的单细胞分选。具体的过程可以包括：基于目标细胞株制备细胞系悬浊液样品，然后利用流式细胞仪进行分选。分选的过程可以包括：将流式细胞仪调节至适合的流速，在将细胞系悬浊液样品经过流式细胞仪分选时，可以利用例如488nm波长的激光进行绿色荧光检测，并将达到荧光设定阈值的单细胞分选至多孔孔板（例如96孔孔板）中以进行单克隆培养。经过检测发现，根据本实施例的将单细胞培养成的单克隆细胞系具有特异性的内质网结构荧光标记，并且具有荧光表达量适中、荧光阳性率高、稳定遗传、生理状态健康等特点，发明人将该单克隆细胞系命名为ER-GFP。
通过本实施例的慢病毒载体介导的内质网特异性荧光标记方法，可以将目的基因整合到宿主细胞（或称目标细胞）基因组中，并能够通过真核强启动子巨细胞病毒（CMV）驱动使得融合蛋白在宿主细胞内实现高水平表达。进一步地，慢病毒载体介导的目的基因表达可以实现在人类多种细胞与组织中的表达，其具有免疫原性低等特点，并被认证为可以作为基因治疗人类疾病的载体。从长远角度来看，这样的实验方案策略也能够为内质网相关疾病的基因治疗提供通用的技术平台。
可以理解的是，上述对细胞的内质网进行光学标记的方法是示例性的而非限制性的，本领域技术人员可以根据需要进行调整，也可以采用其他标记方法对内质网进行光学标记，使其能够区别于其他细胞器以便于识别。经过光学标记的内质网不会改变内质网的结构和状态，且光学标记会随着内质网的变化而变化，因此内质网的形态可以经由光学标记被准确的识别和表征，为后续对内质网结构的分析和研究提供可靠的基础。
下面返回图4继续进行描述，如图4中所示，在步骤404中，方法400可以采集包含带光学标记的内质网的待检测图像。方法400可以通过例如显微镜、摄像机等设备采集待检测图像。例如，在一些实施例中，可以利用共聚焦激光显微镜采集待检测图像，以便获得高分辨率的成像效果。在另一些实施例中，利用共聚焦激光显微镜采集待检测图像时，可以在波长为488nm的激光照射下进行扫描，以便包含绿色荧光标记的内质网能够在待检测图像中显现。在一些应用场景中，当对培养于多孔孔板中的细胞系进行采集时，可以依次对多孔孔板中每个孔内的样品进行拍摄，有利于获取到内质网的高精度结构。在另一些应用场景中，为了实现自动化高通量成像，可以将培养皿中细胞成像区域进行位置预设，从而能够实现对多孔孔板中的多个孔中的样品进行同时拍摄。
需要说明的是，当利用显微镜采集待检测图像时，可以根据需要调整目镜和物镜的倍数。例如，在本发明的一个实施例中，可以选用100倍的放大物镜与1倍的目镜进行组合，这样的组合对物体成像的放大倍数较高，并且具有较清晰的光学聚焦效果，能够有助于获取到高精度的内质网结构的图像。在本发明的另一个实施例中，可以选用40倍的物镜与1.5倍的目镜进行组合，这样的组合不需要附加光介质，并且具有聚焦范围广等特点，能够适用于多点位自动化拍摄的应用场景（例如对高通量样品的筛选等）。
根据本发明的一个实施例，可以在一定时间段内连续采集或者间隔固定时间采集包含光学标记的内质网的待检测图像，以获得对内质网动态结构的时序性成像，从而能够实现对内质网的动态变化情况的追踪。例如在一个实施例中，可以利用延时拍摄技术追踪同一内质网在一定时间段（例如6小时）内的形态变化情况。在另一个实施例中，可以利用活细胞工作站保存待采集细胞，保存条件可以包括例如37℃的保存温度、5%的CO2浓度以及饱和湿度等，以保证整个图像采集期间能够追踪到待采集细胞的内质网的自然变化情况，从而能够避免因外界生存环境变化导致细胞凋亡等可能影响内质网形态的因素，以保证后续检测结果的准确性。
如图4中进一步示出的，在执行步骤404之前，方法400还可以包括步骤403（虚线框示出），在步骤403中，方法400可以通过一种或多种应激条件诱导内质网的应激反应，以得到内质网应激细胞。应激条件可以包括例如添加诱导药物的种类、诱导药物处理浓度以及处理时间等中的一种或多种。在一些实施例中，可以通过调整应激条件来构建不同应激程度的内质网应激反应模型，以实现构建内质网应激结构数据库的目的，从而能够为训练和优化例如分类模型以及临床病理诊断等应用领域提供数据支持。
在一个具体实施例中，可以对处于生长对数期的带绿色荧光标记的内质网ER-GFP细胞进行多种内质网应激诱导药物干预，其中诱导药物可以包括例如浓度为0~10μM的毒胡萝卜素、浓度为0~50μg/ml的衣霉素、浓度为0~20uM的蛋白酶体抑制剂MG132、和/或浓度为0~300uM的二硫苏糖醇。在上述诱导药物干预0~24小时后，可以得到多种应激条件诱导下的内质网应激反应模型。在建立多种应激条件诱导下的内质网应激反应模型时，对照组实验可以由二甲基亚砜DMSO进行处理。通过传统的蛋白质印迹法检测磷酸化激酶R样内质网激酶（p-IRE1α）、结合免疫球蛋白（Bip）、天冬氨酸蛋白水解酶（caspase）以及X盒结合蛋白-1(XBP-1)RNA的剪切检测，可以证实根据本发明构建的内质网应激反应模型是有效的。
进一步地，流程可以前进到步骤4041（虚线框示出）中，方法400可以采集包含带光学标记的内质网应激细胞的待检测图像。由于在一些实施例中，步骤403可以在步骤402之后执行，因此内质网应激细胞中的内质网可以是带有光学标记的内质网。可以理解的是，步骤4041是步骤404的一个具体实现形式，因此前文中结合步骤404中关于采集待检测图像的描述也适用于步骤4041，此处不再赘述。
接着，在步骤406中，方法400可以利用基于深度神经网络的检测模型对包含细胞内质网的待检测图像进行检测，以提取待检测图像中单细胞的内质网区域。步骤406与前文中结合图1所描述的步骤102相同或相似，此处不再赘述。在步骤408中，方法400可以利用基于深度神经网络的分类模型对内质网区域进行分类，以确定内质网的表型。步骤408与前文中结合图1所描述的步骤104相同或相似，此处不再赘述。
以上结合图4对根据本发明的包括采集待检测图像步骤的方法400进行了示例性的描述，本领域技术人员可以理解的是，以上的描述是示例性的而非限制性的，例如步骤403可以不限于在步骤402之后执行，也可以根据需要配置在步骤402之前执行。还例如，在另一些实施例中，可以通过对检测模型或分类模型的优化来进一步提高对单细胞的内质网区域的提取和分类的准确性以及效率。下面将结合图5对基于深度神经网络的检测模型以及分类模型的训练和优化等进行示例性的描述。
图5是示出根据本发明又一个实施例的用于确定确定内质网表型的方法的流程图。通过下文的描述，本领域技术人员将理解到方法500可以是图1所示方法100的一种具体化形式，因此前文关于图1中方法100的描述也同样适用于方法500。
如图5中所示，在步骤501中，方法500可以获取包含内质网的细胞样本图像，并对细胞样本图像中的单细胞的内质网区域进行第一标注。细胞样本图像可以包含一个或多个细胞。在一些实施例中，细胞样本图像可以包括例如荧光图像、明场图像、暗场图像等中的至少一种。在一个实施例中，方法500对细胞样本图像中的单细胞的内质网区域进行第一标注可以通过例如人工标注或者机器标注的方式实现。在又一个实施例中，方法500可以通过使用标注模型实现对细胞样本图像中的单细胞的内质网区域的第一标注。在一些应用场景中，方法500可以获取一定数量的细胞样本图像，其数量越大越有利于提高检测模型的检测准确性。
接着，在步骤502中，方法500可以使用带第一标注的细胞样本图像训练第一深度神经网络模型，以便得到检测模型。在一个实施例中，第一深度神经网络模型可以是基于例如ResNet、U-Net等模型中的至少一种构建的。通过使用带第一标注的细胞样本图像训练第一深度神经网络模型，可以不断优化第一深度神经网络模型的参数和权值。方法500使用带第一标注的细胞样本图像训练第一深度神经网络模型得到训练后的第一深度神经网络模型，并可以将训练后的第一深度神经网络模型称为检测模型。
根据本发明的另一个实施例，在步骤502处，方法500在对第一深度神经网络模型进行训练时，还可以包括对细胞样本图像进行图像数据增强处理，其中图像数据增强处理可以包括对图像的空间变换处理、比例缩放处理、图像亮度调节处理、灰度值拉伸以及直方图均衡等中的至少一种。空间变换处理可以包括例如缩放、旋转、翻转、透视变换等图像处理方式。比例缩放处理可以包括等比例缩放或者不等比例缩放等图像处理方式。图像亮度调节处理可以包括例如对图像整体或局部进行变亮或者变暗的图像处理方式。灰度值拉伸也可以成为对比度拉伸，其可以利用灰度变换来提高图像处理时灰度级的动态范围。直方图均衡可以利用图像直方图对对比度进行调整，以用于增强局部的对比度而不影响整体的对比度。
根据本发明的又一个实施例，在步骤502处，方法500在对第一深度神经网络模型进行训练时，还可以采用例如随机梯度下降法（SGD）或者批量梯度下降法（BGD）等作为优化器对第一深度神经网络模型进行优化。例如，在一个具体实施例中，可以采用SGD作为优化器，并可以对训练过程进行配置，例如可以设置批大小为4、初始学习率为0.01、每隔5个循环学习率除以10以及总的循环次数为20等。
根据本发明的再一个实施例，在步骤503之前还可以包括对训练好的检测模型进行测试，以确定检测模型的检测准确率。具体地，可以将用于测试的测试样本图像输入到检测模型中，根据检测模型输出的定位结果（即提取的测试样本图像中包含的单细胞的内质网区域）得到分类阈值，并筛选出分值较高的预测结果。结果评测中可以采用例如敏感度、特异性以及F1分值等评测标准。
然后，流程前进到步骤503中，方法500可以利用基于深度神经网络的检测模型对包含细胞内质网的待检测图像进行检测，以提取待检测图像中单细胞的内质网区域。步骤503与前文中结合图1所描述的步骤102相同或相似，此处不再赘述。接着，在步骤504中，方法500可以利用基于深度神经网络的分类模型对内质网区域进行分类，以确定内质网的表型。步骤504与前文中结合图1所描述的步骤104相同或相似，此处不再赘述。为了进一步提高分类模型的准确性，本发明实施例还提供了分类模型的优选构建方式，例如图5中进一步示出的，在步骤504之前，方法500还可以包括步骤505和步骤506，下面将进行详细说明。
如图5中所示，在步骤505中，方法500可以获取内质网样本图像，并对内质网样本图像包含的内质网区域的表型类别进行第二标注。在一些实施例中，内质网样本图像中可以包含单细胞的内质网。在另一些实施例中，内质网样本图像可以采用例如步骤502中的带第一标注的细胞样本图像，根据这样的设置，方法500可以对第一标注框取的内质网区域的表型类别进行第二标注。在又一些实施例中，表型类别可以包括正常表型和应激表型等。
在一个实施例中，方法500对内质网样本图像包含的内质网区域的表型类别进行第二标注可以通过例如人工标注或者机器标注的方式实现。在又一个实施例中，方法500可以通过使用标注模型实现对内质网样本图像包含的内质网区域的表型类别进行第二标注。在一些应用场景中，方法500可以获取一定数量的内质网样本图像，其数量越大越有利于提高分类模型的分类准确性。
接着，流程可以前进到步骤506中，方法500可以使用带第二标注的内质网样本图像训练第二深度神经网络模型，以便得到分类模型。在一个实施例中，第二深度神经网络模型可以是基于例如ResNet、DenseNet等模型中的至少一种构建的。通过使用带第二标注的内质网样本图像训练第二深度神经网络模型，可以不断优化第二深度神经网络模型的参数和权值。方法500使用带第二标注的内质网样本图像训练第二深度神经网络模型得到训练后的第二深度神经网络模型，并可以将训练后的第二深度神经网络模型称为分类模型。
根据本发明的另一个实施例，在步骤506处，方法500在对第二深度神经网络模型进行训练时，还可以包括对内质网样本图像进行图像数据增强处理，其中图像数据增强处理可以包括对图像的空间变换处理、比例缩放处理、图像亮度调节处理、灰度值拉伸以及直方图均衡等中的至少一种。
根据本发明的再一个实施例，还可以包括对训练好的分类模型进行测试，以确定分类模型的分类准确率。具体地，可以将用于测试的测试样本图像输入到分类模型中，经过前向推断得到测试样本图像中内质网区域的表型分布概率预测。预测结果可以采用例如敏感度、特异性、F1分值以及AUC等评测标准进行性能评测。
如图5中进一步示出的，在执行步骤506得到分类模型后，可以接着执行步骤504。根据本发明的另一个实施例，方法500还可以包括另一种优化训练的实施方式，可以在使用带第二标住的内质网样本图像训练第二深度神经网络之前，包括对第二深度神经网络模型进行预训练，下面将结合步骤507（虚线框示出）和步骤508（虚线框示出）对预训练进行详细描述。
在步骤507中，方法500可以获取包括生物细胞图像和/或组织图像的大样本数据集。生物细胞图像可以包括人类细胞图像、动物细胞图像和植物细胞图像等中的至少一种。组织图像可以包括人类组织图像、动物组织图像和植物组织图像等中的至少一种。根据本发明的一个实施例，大样本数据集可以来自于开源的带标注的生物图像分类数据集，其中带标注的生物图像分类数据集可以包括对生物细胞或组织的标注，而可以不包括与内质网相关的数据（即没有标注内质网区域的生物图像）。生物细胞图像和/或组织图像可以包括荧光图像、明场图像、暗场图像等中的至少一种。根据本发明的另一个实施例，可以获取到包含7万张生物细胞图像和/或组织图像的大样本数据集，其中可以包括多达120个类别的细胞和/或组织的相关标注数据等。
接着，在步骤508中，方法500可以使用大样本数据集对第二深度神经网络模型进行预训练，以便得到预训练后的第二深度神经网络模型。利用大样本数据集的大规模图像数据，能够有效提高分类模型的收敛速度和识别准确率。使用不包含内质网相关数据的大样本数据集对第二深度神经网络模型进行预训练，因具有数据获取容易、数据量大且图像特征标注准确等特点，可以为分类模型提供较好的初始化权重。根据本发明的一个实施例，在对第二深度神经网络进行预训练时，预训练条件可以配置为：采用例如SGD优化器、设置批大小为128、设置学习率为0.01、设置每隔五个循环降低至之前的10%以及设置最大循环次数为15等。
进一步地，流程可以前进到步骤5061（虚线框示出）中，方法500可以使用内质网样本图像训练预训练后的第二深度神经网络模型。可以理解的是，步骤5061是步骤506的一个具体实现形式，因此前文中结合步骤506中关于使用带第二标注的内质网样本图像训练第二深度神经网络模型的描述也适用于步骤5061。根据本实施例的对预训练后的第二深度神经网络模型进行训练，可以有利于提高分类模型的分类准确性等，为了便于理解，下面将结合表一中所示的基于DenseNet的多个分类模型的测评结果进行说明。
表一：
| 分类模型 | F1 (%) | AUC | 准确率ACC (%) | 特异性Spc (%) | 敏感度Sen (%) | 精确率Pre (%) |
| DenseNet121 | 95.71 | 98.01 | 95.07 | 95.00 | 95.12 | 96.30 |
| DenseNet121* | 97.53 | 99.11 | 97.18 | 98.33 | 96.34 | 98.75 |
| DenseNet161 | 96.25 | 97.58 | 95.77 | 98.33 | 93.90 | 98.72 |
| DenseNet161* | 97.53 | 99.17 | 97.18 | 98.33 | 96.34 | 98.75 |
| DenseNet169 | 97.53 | 97.32 | 97.18 | 98.33 | 96.34 | 98.75 |
| DenseNet169* | 98.18 | 99.65 | 97.89 | 96.67 | 98.78 | 97.59 |
| DenseNet201 | 96.34 | 98.13 | 95.77 | 95.00 | 96.34 | 96.34 |
| DenseNet201* | 98.78 | 99.15 | 98.59 | 98.33 | 98.78 | 98.78 |
其中，*表示经过预训练的分类模型；DenseNet121表示包括121个权重层的DenseNet模型；DenseNet161表示包括161个权重层的DenseNet模型；DenseNet169表示包括169个权重层的DenseNet模型；DenseNet201表示包括201个权重层的DenseNet模型。
如表一中所示，经过预训练的DenseNet分类模型的大部分评测指标均高于未经过预训练的分类模型，例如经过预训练的DenseNet121*模型的F1分值、AUC（ROC曲线下的面积）、ACC、Spc、Sen以及Pre值均高于未经预训练的DenseNet121模型。
为了更好的展示经过预训练的分类模型的优势，下面将结合表二中所示的多个基于ResNet的分类模型的测评结果进行说明。
表二：
| 分类模型 | F1 (%) | AUC | ACC (%) | Spc (%) | Sen (%) | Pre (%) |
| ResNet18 | 94.55 | 97.34 | 93.66 | 91.67 | 95.12 | 93.98 |
| ResNet18* | 95.06 | 97.52 | 94.37 | 95.00 | 93.90 | 96.25 |
| ResNet34 | 95.65 | 98.48 | 95.07 | 96.67 | 93.90 | 97.47 |
| ResNet34* | 96.34 | 98.41 | 95.77 | 95.00 | 96.34 | 96.34 |
| ResNet50 | 95.76 | 98.27 | 95.07 | 93.33 | 96.34 | 95.18 |
| ResNet50* | 97.76 | 97.50 | 97.18 | 96.67 | 97.56 | 97.56 |
| ResNet101 | 94.27 | 97.05 | 93.66 | 98.33 | 90.24 | 98.67 |
| ResNet101* | 95.76 | 98.27 | 95.07 | 93.33 | 96.34 | 95.18 |
其中，*表示经过预训练的分类模型；ResNet18表示包括18个权重层的ResNet模型；ResNet34表示包括34个权重层的ResNet模型；ResNet50表示包括50个权重层的ResNet模型；ResNet101表示包括101个权重层的ResNet模型。
如表二中所示，经过预训练的ResNet分类模型的大部分评测标准均高于未经过预训练的分类模型，例如经过预训练的ResNet18*模型的F1分值、AUC、ACC、Spc以及Pre值均高于未经预训练的ResNet18模型。
结合表一和表二所示的测评结果可以看出，经过预训练的分类模型比未经过预训练的模型的性能更好，这不仅能够提高网络较浅的分类模型（例如ResNet34）的分类准确率，还能够有效防止较深网络的分类模型（例如ResNet101或DenseNet201）的过度拟合。还可以看出，较深的网络显示出更好的性能，例如基于ResNet50的分类模型获得的F1分值高于ResNet34。进一步地，对比表一和表二的数据可以发现，基于DenseNet的分类模型整体上比基于ResNet的分类模型的性能更好，这可能是因为DenseNet能够将更多卷积层相关联。
以上结合图5对根据本发明的包括对检测模型或者分类模型进行训练或预训练的多个实施方式进行了示例性的描述，可以理解的是，以上描述是示例性的而非限制性的，例如预训练的实施方式可以不限于仅对第二深度神经网络模型执行，在另一些实施例中，可以根据需要在使用带第一标注的细胞样本图像训练第一深度神经网络模型之前，也可以对第一深度神经网络模型进行预训练，以提高检测模型的检测准确性。进一步地，为了便于理解检测模型和分类模型的结构，下面将结合图6a-图7进行示例性的描述。
图6a是示出根据本发明实施例的检测模型的主干网络的结构示意图。如图6a中所示，以ResNet101作为检测模型的主干网络为例，其可以包括一个输入卷积（图示中的7*7卷积层,64,/2）和四个卷积组，并且可以包含101个权重层，其中每个卷积组可以由1x1、3x3和1x1的卷积操作级联构成，并通过跳跃连接每个卷积组中的输入与输出。图示中的例如“7*7卷积层,64,/2”表示：执行7*7的卷积操作，输出的特征通道数为64，且输出的特征图经过下采样后尺寸减半。图示中的“1*1卷积层，64”等表示的含义类似，此处不再赘述。图示中虚线框旁边的例如“*3”表示虚线框中的操作的重复次数为3。每个卷积操作都可以按照卷积、批归一化、修正线性单元ReLU激活来实现。通过重复多次上述级联的卷积操作构成四个卷机组。在一些实施例中，四个卷积组可以分别包括3个、4个、23个和3个级联的卷积操作，每个卷积组输出的特征通道数分别为256、512、1024和2048。其中，图示中的除输入卷积以外的第一个卷积组可以包括例如“1*1卷积层，64”、“3*3卷积层，64”和“1*1卷积层，256”（虚线框中示出）的3次级联的卷积操作；图示中的除输入卷积以外的第二个卷积组可以包括例如“1*1卷积层，128”、“3*3卷积层，128”和“1*1卷积层，512”（虚线框中示出）的3次级联的卷积操作以及与第一个卷积组之间的跳跃连接（“1*1卷积层，128”、“3*3卷积层，128”和“1*1卷积层，512，/2”），即第二个卷机组一共包括4个级联的卷积操作。
图6b是示出根据本发明实施例的检测模型中的单阶段检测器的结构示意图。如图6b中所示，以单阶段检测器RetinaNet为例，可以使用图像特征金字塔方法将主干网络（例如图6a中所示的ResNet101）中每个卷积组（例如图示中的第一卷积组、第二卷积组、第三卷积组、第四卷积组和第五卷机组，可以分别对应于图6a中所述的输入卷积和四个卷积组）输出的特征映射图逐级进行上采样操作，并与相应尺寸的特征映射图进行加和操作后作为融合特征图（例如图示中的第二融合特征图、第三融合特征图、第四融合特征图和第五融合特征图）输出，输出的融合特征图上可以加入检测分支实现目标检测，以便能够输出多尺度目标特征信息的多个预测层（或称输出特征图）。
在一些实施例中，检测分支可以包括分类回归子网（Class subnet）和目标框回归（Box subnet），每个融合特征图可以输入到分类回归子网（Class subnet）和目标框回归（Box subnet）中。图示中的例如“W*H*K*A”表示类别预测分支的输出维度，即得到一个宽是W，高是H，维度是K*A的张量，换言之就是对应于尺寸为W*H的图像，且该图像中的每个像素位置都有K*A个输出值，取这个K*A个输出值里最大的数值可以作为检测模型预测的这个位置存在的物体类别。在一些实施例中，每个融合特征图输入Class subnet时可以执行例如3*3的卷积操作，通道数为K*A，每个融合特征图输入Box subnet时可以执行3*3的卷积操作，通道数为K*A*4；其中K表示物体类别数，A表示锚框个数，对应的是与不同目标物体大小差不多的一个方框尺寸，数字4是指边框编码长度，即用4个数字表示一个长方形边框，一般取目标物体中心点x和y坐标以及高和宽。在另一些实施例中，K可以为2，A可以为9。另外，图示中的“/2”表示下采样使得特征映射图的尺寸减半，“*2”表示对融合特征图的大小进行填充后使其尺寸增加一倍。
图7是示出根据本发明实施例的分类模型的结构示意图。如图7中所示，以DenseNet201作为分类模型为例，可以包括4个卷积组，并且可以包含201个权重层，其中每个卷积组可以通过稠密连接（例如图示中的曲线连接关系）实现。具体地，每个卷积组内的每个卷积层输出的特征图都可以拼接到同一卷积组内的深层特征图中以实现稠密连接。在一个实施例中，分类模型的输出可以通过例如Sigmoid函数运算以得到0-1之间的概率预测，来用于表征输入图像包含内质网应激表型的可能性。在另一个实施例中，分类模型的输入图像尺寸可以进行统一归化，例如可以统一归一化到256x256像素，以便于进行后续处理。
进一步地，本发明人还对该实施例的分类模型进行了进一步地测试，结果显示：F1值为98.27％，AUC为99.65％，ACC为98.54％，Spc为99.16％，Sen为97.70％，Pre为98.84％。并且预测的内质网应激表型结构的比例为42.16%，这与专家注释的内质网应激表型结构的比例42.33%极为接近，表明本发明的分类模型的分类结果与黄金标准之间的一致性非常高，也进一步地证明了根据本发明的基于深度神经网络的分类模型对内质网区域进行分类的准确性和可靠性。
以上结合图1-图7对根据本发明的用于确定内质网表型的方法的多个实施例进行了详细描述，本领域技术人员应该理解的是，上面的描述是示例性的而非限制性的，例如根据本发明的方法可以不限于仅对内质网的表型进行定性分析，还可以根据需要对内质网结构进行定量分析。下面将结合图8进行示例性的描述。
图8是示出根据本发明实施例的用于确定内质网表型的方法的又一个详细流程图。如图8中所示，在步骤801中，方法800可以利用基于深度神经网络的检测模型对包含细胞内质网的待检测图像进行检测，以提取待检测图像中单细胞的内质网区域。接着，在步骤802中，方法800可以利用基于深度神经网络的分类模型对内质网区域进行分类，以确定内质网的表型。
然后，流程可以前进到步骤803中，方法800可以利用基于深度神经网络的分割模型对内质网区域进行分割，以提取单细胞内质网结构。方法800可以是对步骤801中提取到的单细胞的内质网区域进行分割，且该内质网区域中包含的内质网可以为正常表型，也可以为应激表型。在一些实施例中，利用分割模型对内质网区域进行分割可以通过二值掩膜的形式实现。例如，可以将内质网区域中的单细胞内质网结构使用固定值1进行填充，并且将内质网区域中的背景区域使用固定值0进行填充，使得单细胞内质网结构能够与背景区域之间实现精准分离。
根据本发明的另一个实施例，在使用分割模型对内质网区域进行分割之前，如图8中所示，方法800还可以包括：在步骤804中，可以对获取的内质网样本图像中的内质网结构进行第三标注。这里获取的内质网样本图像可以与图5的步骤505中的内质网样本图像相同，也可以根据需要获取不同的内质网样本图像。在一个实施例中，方法800对内质网样本图像中的内质网结构进行第三标注可以通过例如人工标注或者机器标注的方式实现。在又一个实施例中，方法800可以通过使用标注模型实现对内质网样本图像中的内质网结构的第三标注。
接着，在步骤805中，方法800可以使用带第三标注的内质网样本图像训练第三深度神经网络模型，以便得到分割模型。通过使用带第三标注的内质网样本图像训练第三深度神经网络模型，可以不断优化第三深度神经网络模型的参数和权值。方法800使用带第三标注的内质网样本图像训练第三深度神经网络模型得到训练后的第三深度神经网络模型，并可以将训练后的第三深度神经网络模型称为分割模型。根据本发明的一个实施例，在使用带第三标注的内质网样本图像训练第三深度神经网络模型之前，方法800还可以包括对第三深度神经网络模型进行预训练，预训练的方式与前文中结合图5中步骤507和步骤508所描述的相同或者相似，此处不再赘述。
根据本发明的另一个实施例，对第三深度神经网络模型进行训练时可以采用从随机状态开始训练的方式。例如，在一些应用场景中，方法800在执行步骤803时，也可以同时执行步骤804和步骤805，以不断优化分割模型的参数等，从而能够持续性的调整和提高分割模型的分割效率和分割精度等。根据本发明的又一个实施例，对第三深度神经网络模型进行训练的训练条件可以配置为：批大小设为32；学习率设为0.01；每隔5个循环降低至之前的10%；优化器采用SGD以及最大循环次数设为30。分割模型的性能可以根据例如分割结果与真实值的交并比和F分值等评测标准进行评测。
根据本发明的一个实施例，分割模型的输出结果可以包括与输入图像大小一致的预测概率热图，即每个像素处可以通过一个0-1之间的数值来表示该像素属于内质网结构的概率；然后可以基于例如验证集、经验值等为每个像素处选取一个固定值（例如0或1），以将该预测概率热图转化为二值分割结果的形式。
为了更好地理解本发明的分割模型结构以及对内质网区域的分割过程，下面将结合图9对分割模型的一个具体实现方式进行描述。需要理解的是，图9中所示的分割模型的结构是示意性的，本领域技术人员可以根据需要进行调整。
图9是示出根据本发明实施例的分割模型的结构示意图。在一个实施例中，分割模型可以包括两个卷积分支，例如图9中所示的上分支910和下分支920，其中上分支910可以由7个卷积层构成，每个卷积层可以包含两个特征维度相等的卷积操作，7个卷积层的特征图通道可以分别为32、64、128、256、256、128、64。下分支920可以由5个卷积层构成，其中每个卷机层可以包含两个特征维度相等的卷积操作，5个卷积层的特征图通道数可以分别为32、64、128、256、64。
如图9中所示，上分支910输出的特征图尺寸可以与原图（例如图示中的上分支输入图像911）保持一致（例如256x256），上分支910的第一个卷积层输出的32维特征图经过下采样后输出的特征图的尺寸变为原图的一半（例如128x128），该下采样输出的特征图可以与下分支910的第一个卷积层输出的32维特征图拼接后构成下分支920的第二个卷积层的输入特征图。下分支920的第4个卷积层（图示中从左向右数第四个）输出的256维度特征图经过上采样后可以恢复至原图尺寸，并与上分支910的第4个卷积层输出的256维度特征图拼接，拼接得到的512维度特征图可以作为上分支910的第5个卷积层的输入。通过上述两种特征拼接，可以将不同尺度的特征图进行融合，以提高分割模型对内质网区域的分割精度。进一步地，分割模型可以使用多个输入和监督信号，例如在上分支910使用原图输入，下分支920可以使用原图下采样后的图像（图示中的下分支输入图像921）作为输入，上分支910的监督信号可以为原图的标注掩膜，下分支920的监督信号可以为原图标准掩膜下采样的数据。
如图9中进一步示出的，上分支输入图像911可以为步骤801中提取到的内质网区域，上分支输入图像911经过上分支910的处理后可以得到上分支输出图像912，下分支输入图像921经过下分支920的处理后可以得到下分支输出图像922，通过将下分支输出图像922上采样后与上分支输出图像912融合以作为分割模型的输出图像（即单细胞内质网结构的图像）。从图9中可以清楚的看出，分割模型对内质网区域（例如图示中的上分支输入图像911）进行分割后，可以去掉内质网区域中的背景区域，以获得仅包含单细胞内质网结构的图像（例如图示中的上分支输出图像912和下分支输出图像922）。根据这样的分割操作，能够便于后续对单细胞内质网结构进行定量分析等操作，并且由于能够消除背景区域对分析过程的影响，从而有利于提高针对单细胞内质网结构的分析结果的准确性。
下面返回图8继续描述，如图8中所示，在执行步骤803得到单细胞内质网结构后，流程可以前进到步骤808中，方法800可以根据单细胞内质网结构的特征，确定单细胞内质网结构的第一特征参数。这里的单细胞内质网结构可以包括正常表型的内质网结构，也可以包括应激表型的内质网结构。单细胞内质网结构的第一特征参数可以通过例如对单细胞内质网结构的特征部位进行测量等方式确定。根据本发明的一个实施例，第一特征参数可以包括以下至少一个：内质网的面积；内质网结构与内质网区域的面积比；内质网管状分支的长度；内质网管状分支的宽度；以及内质网网状结构的节点数等。
如图8中进一步示出地，根据本发明的另一个实施例，方法800还可以包括：在步骤806中，响应于内质网的表型为应激表型，获取内质网区域。即在步骤806中，方法800可以仅获取包含应激表型的内质网的内质网区域，而无需获取包含正常表型的内质网的内质网区域。接着，在步骤807中，方法800可以根据（步骤806中获取的内质网的表型为应激表型的）内质网区域和（步骤803中对该内质网区域进行分割）提取的单细胞内质网结构，确定该内质网的应激表型结构的第二特征参数。根据本发明的另一个实施例，第二特征参数可以包括以下中的至少一个：管状结构的总长度；管状结构的宽度；管状结构的曲率；以及空洞（例如环状结构的空洞）的面积等。
为了更便于理解，下面将结合步骤8071-步骤8073（虚线框示出）对步骤807的一个实施例进行描述，通过下面的描述，可以理解的是，步骤8071-步骤8073是步骤807的一个具体化表现形式，不是对步骤807的实施方式的限制，且上文中关于步骤807的描述也可以适用于下面关于步骤8071-步骤8073中。
如图8中的虚线框示出的，在步骤8071中，方法800可以对内质网区域中的应激表型区域进行定位。应激表型区域可以包括表现出与内质网的正常结构不同的结构区域。例如，在一些实施例中，应激表型区域可以包括例如图3中所示的环状结构的区域。在另一些实施例中，对应激表型区域进行定位可以包括在内质网区域中对应激表型区域进行多边形框取的操作。
根据本发明的又一个实施例，对内质网区域中的应激表型区域进行定位可以包括：使用特征可视化工具对内质网区域中的应激表型区域进行定位。在一个实施例中，特征可视化工具可以包括例如Grad-CAM等。使用特征可视化工具可以使得应激表型区域在内质网区域中表现出强烈的视觉响应，以呈现出突出的可视效果（例如颜色最深、或者颜色最丰富等）。在另一个实施例中，使用特征可视化工具进行定位可以是在包含内质网区域的特征可视化成像中定位应激表型响应最强烈的区域，并可以对该区域进行框取等操作。
然后，流程可以前进到步骤8072中，方法800可以根据应激表型区域的定位结果，在单细胞内质网结构中定位相应的应激表型结构。在一些实施例中，定位相应的应激表型结构可以是通过将应激表型区域的定位结果映射到提取的单细胞内质网结构中，以便在具有应激表型的单细胞内质网结构中提取到应激表型结构，并且能够去除掉应激表型区域中的背景区域，以便于后续能够针对应激表型结构进行运算或分析等操作。
接着，在步骤8073中，方法800可以分析并确定应激表型结构的第二特征参数。应激表型结构的第二特征参数可以通过例如对应激表型结构的特征部位进行测量等方式确定。第二特征参数已经在前文中结合步骤807进行了描述，此处不再赘述。
进一步地，如图8中所示，在步骤809中，方法800还可以根据第一特征参数和第二特征参数，分析并评估内质网的应激程度。在一些实施例中，通过对第一特征参数和第二特征参数进行对比和分析等操作，可以统计出例如应激表型结构（例如环状结构）的个数、密度、空间分布、大小等参数，从而有利于定量描述和分析内质网的应激程度。例如，在另一些实施例中，可以通过对第一特征参数和第二特征参数执行归一化的操作，使得内质网的整体特征和局部特征的对比更加准确。
通过上面对本发明的用于确定内质网表型的方法的技术方案以及多个实施例的描述，本领域技术人员可以理解的是，本发明利用基于深度神经网络的检测模型和分类模型来实现对待检测图像中的单细胞的内质网的表型的确定，能够实现快速和准确的内质网表型分析和检测，从而为实现高通量的、实时的内质网形态分析提供有效的技术手段，也为基于内质网表型来对细胞生理状态进行微观诊断、药物筛选或靶点筛选等研究提供了新的技术路径。例如，在一些应用场景中，本发明的方法可以对经过基因工程改造的细胞的内质网的形态进行检测和分类，以便根据该细胞的内质网的表型对经过改造的基因（或靶点）进行研究和筛选，并且还可以根据需要应用到基于基因治疗的药物开发或疾病诊断中。
在一些实施例中，本发明还提供了用于对检测模型或分类模型进行训练或者预训练的实施方式，以便能够进一步优化检测模型或分类模型的参数和权重，从而有助于持续的提高检测模型或分类模型的检测准确性。在另一些实施例中，本发明还提供了利用基于深度神经网络的分割模型来提取单细胞内质网结构的实施方式，使得本发明的方法不仅能够实现对内质网表型的定性分析，还能够实现对内质网表型（例如应激表型结构）的定量分析和评估。
在本发明的第二方面中，提供一种用于对药物进行筛选的方法，如图10中所示，在步骤1002中，方法1000可以利用待筛选的药物来诱导细胞的内质网，以得到诱导后的细胞模型。待筛选的药物可以包括一种或者多种。在一些实施例中，细胞模型可以包括具有内质网应激反应的细胞。在另一些实施例中，利用待筛选的药物诱导细胞的内质网可以是对目标细胞（例如肾细胞、肺细胞、癌细胞等）进行诱导，并可以采用与前文中结合图4的步骤403所描述的获得内质网应激细胞的诱导方法相似的方式进行诱导，此处不再赘述。
接着，在步骤1004中，方法1000可以利用基于深度神经网络的检测模型对包含细胞模型的待检测图像进行检测，以提取待检测图像中单细胞的内质网区域。步骤1004与前文中结合图1中步骤102以及结合图5中步骤503等的描述相同或相似，此处不再赘述。然后，流程可以前进到步骤1006中，方法1000可以利用基于深度神经网络的分类模型对内质网区域进行分类，以确定细胞模型的应激表型。在一些实施例中，应激表型可以根据应激程度进行分类。在另一些实施例中，应激表型可以包括正常应激表型和非正常应激表型。例如，在一个实施例中，正常应激表型可以包括内质网应激反应产生的应激结构（例如环状结构等）。在另一个实施例中，非正常应激表型可以包括例如凋亡细胞的内质网结构。
进一步地，在步骤1008中，方法1000可以根据应激表型来对药物进行筛选。在一些实施例中，方法1000可以通过追踪应激表型的变化情况来对药物进行筛选。例如，在一些应用场景中，细胞模型的应激表型由正常应激表型转变为凋亡细胞的应激表型，可以认为添加的药物对目标细胞具有破坏作用。在另一些应用场景中，细胞模型的表型由应激表型转变为正常表型，可以认为添加的药物对目标细胞具有修复作用。
通过上面的描述，可以理解的是，根据本发明的用于对药物进行筛选的方法可以对药物的作用进行双向筛选，以适应于不同的应用场景。例如当目标细胞为癌细胞时，需要筛选出能够破坏癌细胞的药物。还例如，当目标细胞为病态组织细胞时，可能需要筛选出能够修复细胞的药物。还需要说明的是，前文中描述的用于确定内质网表型的方法的多个实施例（例如利用分割模型提取单细胞内质网结构、对内质网的应激程度进行分析和评估等）也可以应用于药物筛选技术领域，此处不再赘述。
在本发明的第三方面中，提供一种用于确定内质网表型的神经网络系统，可以包括：基于深度神经网络的检测单元，其可以配置用于对包含细胞内质网的待检测图像进行检测，以提取待检测图像中单细胞的内质网区域；以及基于深度神经网络的分类单元，其可以配置用于根据内质网区域进行分类，以确定内质网的表型。
根据本发明的一个实施例，还可以包括：基于深度神经网络的分割单元，其可以配置用于对内质网区域进行分割，以提取单细胞内质网结构。
根据本发明的另一个实施例，还可以包括：确定单元，其可以配置用于根据提取的单细胞内质网结构的特征，确定单细胞内质网结构的第一特征参数。
根据本发明的又一个实施例，确定单元还可以配置为：响应于内质网的表型为应激表型，获取内质网区域；以及根据内质网区域和提取的单细胞内质网结构，确定内质网的应激表型结构的第二特征参数。
根据本发明的一个实施例，确定单元还可以配置为：根据第一特征参数和第二特征参数，分析并评估内质网的应激程度。
本发明的神经网络系统在上文中已经结合用于确定内质网表型的方法进行了详细的描述和解释，这里将不再赘述。
在本发明的第四方面中，提供一种用于确定内质网表型的设备，可以包括：至少一个处理器；存储器，其存储有程序指令，当程序指令由至少一个处理器执行时，使得设备执行根据本发明的第一方面中的任意一项所述的方法。以下将结合图11进行示例性的描述。
图11是示出根据本发明实施例的用于确定内质网表型的设备示意图。该设备1100可以用于对包含细胞内质网的待检测图像进行检测、对内质网区域进行分类等操作，以实现前述结合图1-图9所述的本发明的用于确定内质网表型的技术方案。
如图11中所示，设备1100可以包括中央处理器CPU 1101，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备1100还可以包括大容量存储器1102和只读存储器ROM 1103，其中大容量存储器1102可以配置用于存储各类数据，包括例如检测模型、分类模型、分割模型等所需要的各种程序，ROM 1103可以配置成存储对于设备1100的用于确定内质网表型的装置中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
进一步，设备1100还可以包括其他的硬件或组件，例如示出的图形处理器（“GPU”）1104和现场可编程逻辑门阵列（“FPGA”）1105等。在一些实施例中，GPU可以采用例如英伟达Jason Xavier。可以理解的是，尽管在设备1100中示出了多种硬件或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。
本发明的设备1100还可以包括通信接口1106，从而可以通过该通信接口1106连接到局域网/无线局域网（LAN/WLAN），进而可以通过LAN/WLAN连接到例如控制终端或连接到因特网（“Internet”）。替代地或附加地，本发明的设备1100还可以通过通信接口1106基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代（“3G”）、第四代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本发明的设备1100还可以根据需要访问外部网络的服务器以及可能的数据库，以便获得各种已知信息、数据和模块等，并且可以远程地存储检测的各种数据。
本发明的设备1100的上述CPU 1101、大容量存储器1102、只读存储器（“ROM”）1103、GPU 1104、FPGA 1105和通信接口1106可以通过总线1107相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线1107，CPU 1101可以控制设备1100中的其他硬件组件及其外围设备。
在工作中，本发明的设备1100的处理器CPU 1101或图形处理器GPU 1104可以通过总线1107接收数据，并调取存储于存储器1102中的计算机程序指令或代码（例如涉及用于确定内质网表型的代码），以对接收到的待检测图像进行检测。具体地，CPU 1101或GPU1104可以执行基于深度神经网络的检测模型对待检测图像进行检测，以获得单细胞的内质网区域等。同时，设备1100的CPU 1101或者GPU 1104还可以执行分类模型来对内质网区域进行分类。接着，处理器CPU 1101或GPU 1104可以根据对内质网区域的分类结果来确定内质网的表型。在CPU 1101或GPU 1104通过执行检测程序确定了内质网的表型后，可以通过例如通信接口1106将所述结果上传至网络，例如远程的数据库或者外接的控制终端等。
还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
在本发明的第五方面中，提供一种计算机可读存储介质，其存储有用于确定内质网表型的程序，当程序由处理器来运行时，执行根据本发明的第一方面中的任意一项所述的方法。
计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（DynamicRandom Access Memory）、静态随机存取存储器SRAM（Static Random-Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存HBM（High-Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
在本发明的第六方面中，提供一种用于确定内质网表型的系统1200，可以包括：图像采集单元1201，其可以用于采集包含细胞内质网的待检测图像；控制终端1202，其可以与图像采集单元1201连接，并用于接收图像采集单元1201发送的待检测图像；以及如本发明的第四方面中所述的设备1100，其可以与控制终端1202连接，用于接收由控制终端1202发送的待检测图像以对待检测图像进行检测，并可以将检测结果发送至控制终端1202。
根据本发明的一个实施例，图像采集单元1201可以包括光学显微成像设备（例如显微镜）、摄像机、光源装置等中的至少一种。控制终端1202与图像采集单元1201之间可以通过有线或者无线的方式连接。在另一个实施例中，控制终端1202可以包括例如台式机、笔记本电脑、平板电脑、智能手机等中的一种或多种。设备1100与控制终端1202之间可以通过有线或者无线的方式连接并实现信息交互。设备1100可以向控制终端1202发送例如获取待检测图像的控制信息以及可以将检测结果发送至控制终端1202。控制终端1202可以实时地向设备1100发送待检测图像信息以及状态信息等。根据本发明的一个实施例，设备1100可以包括推理机。在一个具体实施例中，在使用检测模型、分类模型或分割模型前，可以通过使用例如网络结构加速、模型推理加速和/或模型剪枝加速等对检测模型、分类模型以及分割模型等中的一个或多个模型进行加速，然后在推理机上运行以对接收到的待检测图像进行检测，有利于提高检测模型、分类模型或分割模型的推理速度以及对待检测图像的检测速度。
在一些应用场景中，图像采集单元1201、控制终端1202以及设备1100可以采用内部网络部署方式，例如可以通过路由器或者交换机等使其连接在同一内网中。根据这样的设置，可以避免本发明的系统被公开访问，从而能够更好的保护系统内的信息安全，特别是在医学图像等涉及个人隐私的信息方面，本发明的系统具有较好的部署价值和应用前景。进一步地，在一些实施例中，设备1100可以通过远程连接服务器等，以便接受远程更新等操作，这样的设置能够更好的实现系统的更新和维护，以及降低现场维护的时间和成本。在另一些实施例中，设备1100可以通过本地自学习的方式，不断迭代更新模型参数，从而使其能够更好的服务于本地连接的控制终端以及更好的适配于本地采集的图像数据和检测环境等，以保证检测的准确性和可靠性。
虽然本发明的实施例如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (23)
1.一种用于确定内质网表型的方法，包括：
利用基于深度神经网络的检测模型对包含细胞内质网的待检测图像进行检测，以提取所述待检测图像中单细胞的内质网区域；以及
利用基于深度神经网络的分类模型对所述内质网区域进行分类，以确定所述内质网的表型；
利用基于深度神经网络的分割模型对所述内质网区域进行分割，以提取单细胞内质网结构，
其中所述分割模型包括第一卷积分支和第二卷积分支，第一卷积分支输入图像为所述内质网区域，第二卷积分支输入图像为对所述内质网区域进行下采样后得到的图像，其中利用所述分割模型对所述内质网区域进行分割，以提取单细胞内质网结构包括：
利用所述第一卷积分支来处理所述第一卷积分支输入图像，以得到第一卷积分支输出图像；
利用所述第二卷积分支来处理所述第二卷积分支输入图像，以得到第二卷积分支输出图像；
将所述第二卷积分支输出图像上采样后与所述第一卷积分支输出图像进行融合，以输出去掉所述内质网区域中的背景区域并且仅包含所述单细胞内质网结构的图像。
2.根据权利要求1所述的方法，其中在对待检测图像进行检测之前，所述方法还包括：
对细胞的内质网进行光学标记，使得所述内质网形态显现以便于被识别；以及
采集包含带光学标记的内质网的所述待检测图像。
3.根据权利要求2所述的方法，其中在采集所述待检测图像之前，所述方法还包括：
通过一种或多种应激条件诱导所述内质网的应激反应，以得到内质网应激细胞；并且
所述采集包含带光学标记的内质网的待检测图像包括：
采集包含带光学标记的所述内质网应激细胞的待检测图像。
4.根据权利要求1所述的方法，其中在利用检测模型对待检测图像进行检测之前，所述方法还包括：
获取包含内质网的细胞样本图像，并对所述细胞样本图像中的单细胞的内质网区域进行第一标注；以及
使用带第一标注的所述细胞样本图像训练第一深度神经网络模型，以便得到所述检测模型。
5.根据权利要求1所述的方法，其中在利用分类模型进行分类之前，所述方法还包括：
获取内质网样本图像，并对所述内质网样本图像包含的内质网区域的表型类别进行第二标注；以及
使用带第二标注的所述内质网样本图像训练第二深度神经网络模型，以便得到所述分类模型。
6.根据权利要求5所述的方法，在使用内质网样本图像训练第二深度神经网络模型之前，所述方法还包括对所述第二深度神经网络模型进行预训练，其中所述预训练包括：
获取包括生物细胞图像和/或组织图像的大样本数据集；以及
使用所述大样本数据集对所述第二深度神经网络模型进行所述预训练，以便得到预训练后的第二深度神经网络模型；并且
所述使用内质网样本图像训练第二深度神经网络模型包括：
使用所述内质网样本图像训练所述预训练后的第二深度神经网络模型。
7.根据权利要求1所述的方法，其中所述内质网的表型包括正常表型和应激表型。
8.根据权利要求1所述的方法，其中在使用分割模型对所述内质网区域进行分割之前，所述方法还包括：
对获取的内质网样本图像中的内质网结构进行第三标注；以及
使用带第三标注的所述内质网样本图像训练第三深度神经网络模型，以便得到所述分割模型。
9.根据权利要求1所述的方法，还包括：
根据所述单细胞内质网结构的特征，确定所述单细胞内质网结构的第一特征参数。
10.根据权利要求9所述的方法，其中所述第一特征参数包括以下至少一个：
内质网的面积；
内质网结构与所述内质网区域的面积比；
内质网管状分支的长度；
内质网管状分支的宽度；以及
内质网网状结构的节点数。
11.根据权利要求9所述的方法，还包括：
响应于所述内质网的表型为应激表型，获取所述内质网区域；以及
根据所述内质网区域和提取的所述单细胞内质网结构，确定所述内质网的应激表型结构的第二特征参数。
12.根据权利要求11所述的方法，其中根据内质网区域和单细胞内质网结构，确定内质网的应激表型结构的第二特征参数包括：
对所述内质网区域中的应激表型区域进行定位；
根据所述应激表型区域的定位结果，在所述单细胞内质网结构中定位相应的应激表型结构；以及
分析并确定所述应激表型结构的第二特征参数。
13.根据权利要求12所述的方法，其中对内质网区域中的应激表型区域进行定位包括：
使用特征可视化工具对所述内质网区域中的所述应激表型区域进行定位。
14.根据权利要求11-13中任一所述的方法，其中所述第二特征参数包括以下中的至少一个：
管状结构的总长度；
管状结构的宽度；
管状结构的曲率；以及
空洞的面积。
15.根据权利要求11-13中任一所述的方法，还包括：
根据所述第一特征参数和所述第二特征参数，分析并评估所述内质网的应激程度。
16.一种用于对药物进行筛选的方法，包括：
利用待筛选的药物来诱导细胞的内质网，以得到诱导后的细胞模型；
利用基于深度神经网络的检测模型对包含所述细胞模型的待检测图像进行检测，以提取所述待检测图像中单细胞的内质网区域；
利用基于深度神经网络的分类模型对所述内质网区域进行分类，以确定所述细胞模型的应激表型；以及
根据所述应激表型来对所述药物进行筛选；
利用基于深度神经网络的分割模型对所述内质网区域进行分割，以提取单细胞内质网结构，
其中所述分割模型包括第一卷积分支和第二卷积分支，第一卷积分支输入图像为所述内质网区域，第二卷积分支输入图像为对所述内质网区域进行下采样后得到的图像，其中利用所述分割模型对所述内质网区域进行分割，以提取单细胞内质网结构包括：
利用所述第一卷积分支来处理所述第一卷积分支输入图像，以得到第一卷积分支输出图像；
利用所述第二卷积分支来处理所述第二卷积分支输入图像，以得到第二卷积分支输出图像；
将所述第二卷积分支输出图像上采样后与所述第一卷积分支输出图像进行融合，以输出去掉所述内质网区域中的背景区域并且仅包含所述单细胞内质网结构的图像。
17.一种用于确定内质网表型的神经网络系统，包括：
基于深度神经网络的检测单元，其配置用于对包含细胞内质网的待检测图像进行检测，以提取所述待检测图像中单细胞的内质网区域；以及
基于深度神经网络的分类单元，其配置用于根据所述内质网区域进行分类，以确定所述内质网的表型；
基于深度神经网络的分割单元，其配置用于对所述内质网区域进行分割，以提取单细胞内质网结构，
其中所述分割单元包括第一卷积分支和第二卷积分支，第一卷积分支输入图像为所述内质网区域，第二卷积分支输入图像为对所述内质网区域进行下采样后得到的图像，其中基于所述分割单元对所述内质网区域进行分割，以提取单细胞内质网结构包括：
利用所述第一卷积分支来处理所述第一卷积分支输入图像，以得到第一卷积分支输出图像；
利用所述第二卷积分支来处理所述第二卷积分支输入图像，以得到第二卷积分支输出图像；
将所述第二卷积分支输出图像上采样后与所述第一卷积分支输出图像进行融合，以输出去掉所述内质网区域中的背景区域并且仅包含所述单细胞内质网结构的图像。
18.根据权利要求17所述的神经网络系统，还包括：
确定单元，其配置用于根据提取的所述单细胞内质网结构的特征，确定所述单细胞内质网结构的第一特征参数。
19.根据权利要求18所述的神经网络系统，其中所述确定单元还配置为：
响应于所述内质网的表型为应激表型，获取所述内质网区域；以及
根据所述内质网区域和提取的所述单细胞内质网结构，确定所述内质网的应激表型结构的第二特征参数。
20.根据权利要求19所述的神经网络系统，其中所述确定单元还配置为：
根据所述第一特征参数和所述第二特征参数，分析并评估所述内质网的应激程度。
21.一种用于确定内质网表型的设备，包括，
至少一个处理器；
存储器，其存储有程序指令，当所述程序指令由所述至少一个处理器执行时，使得所述设备执行根据权利要求1-15的任意一项所述的方法。
22.一种计算机可读存储介质，其存储有用于确定内质网表型的程序，当所述程序由处理器来运行时，执行根据权利要求1-15的任意一项所述的方法。
23.一种用于确定内质网表型的系统，包括：
图像采集单元，其用于采集包含细胞内质网的待检测图像；
控制终端，其与所述图像采集单元连接，并用于接收所述图像采集单元发送的所述待检测图像；以及
如权利要求21所述的设备，其与所述控制终端连接，用于接收由所述控制终端发送的所述待检测图像以对所述待检测图像进行检测，并将检测结果发送至所述控制终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110150528.7A CN112508951B (zh) | 2021-02-03 | 2021-02-03 | 用于确定内质网表型的方法及产品和用于药物筛选的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110150528.7A CN112508951B (zh) | 2021-02-03 | 2021-02-03 | 用于确定内质网表型的方法及产品和用于药物筛选的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112508951A CN112508951A (zh) | 2021-03-16 |
| CN112508951B true CN112508951B (zh) | 2021-06-22 |
Family
ID=74952908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110150528.7A Active CN112508951B (zh) | 2021-02-03 | 2021-02-03 | 用于确定内质网表型的方法及产品和用于药物筛选的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112508951B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118072149B (zh) * | 2024-04-18 | 2024-08-06 | 武汉互创联合科技有限公司 | 胚胎细胞滑面内质网目标检测方法及终端 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105985999A (zh) * | 2015-02-03 | 2016-10-05 | 沈孟儒 | 建立用于评估神经功能的分析模块的方法 |
| CN111476267A (zh) * | 2020-02-28 | 2020-07-31 | 北京航空航天大学 | 根据细胞影像进行药物疗效分类的方法与电子设备 |
| CN112201300A (zh) * | 2020-10-23 | 2021-01-08 | 天津大学 | 基于深度图像特征和阈值学习策略的蛋白质亚细胞定位的方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280320B (zh) * | 2018-01-23 | 2020-12-29 | 上海市同济医院 | 一种基于深度学习的快速精准高通量药物筛选系统 |
| RU2732895C1 (ru) * | 2019-05-27 | 2020-09-24 | Общество с ограниченной ответственностью "ПЛАТФОРМА ТРЕТЬЕ МНЕНИЕ" | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей |
| CN111310838A (zh) * | 2020-02-21 | 2020-06-19 | 单光存 | 一种基于深度Gabor网络的药效图像分类识别方法 |
-
2021
- 2021-02-03 CN CN202110150528.7A patent/CN112508951B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105985999A (zh) * | 2015-02-03 | 2016-10-05 | 沈孟儒 | 建立用于评估神经功能的分析模块的方法 |
| CN111476267A (zh) * | 2020-02-28 | 2020-07-31 | 北京航空航天大学 | 根据细胞影像进行药物疗效分类的方法与电子设备 |
| CN112201300A (zh) * | 2020-10-23 | 2021-01-08 | 天津大学 | 基于深度图像特征和阈值学习策略的蛋白质亚细胞定位的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向医学图像分析的深度学习方法研究;张笑青;《中国博士学位论文全文数据库 基础科学辑》;20200615(第6期);第72，85-103页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112508951A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Galvan-Ampudia et al. | Temporal integration of auxin information for the regulation of patterning | |
| US20230127698A1 (en) | Automated stereology for determining tissue characteristics | |
| Embleton et al. | Automated counting of phytoplankton by pattern recognition: a comparison with a manual counting method | |
| Patil et al. | Deep learning techniques for automatic classification and analysis of human in vitro fertilized (IVF) embryos | |
| US12111263B2 (en) | Methods for analysis of single molecule localization microscopy to define molecular architecture | |
| Loconte et al. | Soft X‐ray tomograms provide a structural basis for whole‐cell modeling | |
| CN112508951B (zh) | 用于确定内质网表型的方法及产品和用于药物筛选的方法 | |
| CN116597895A (zh) | 一种基于图卷积神经网络的蛋白质亚细胞定位方法 | |
| Cai et al. | Rapid detection of fish with SVC symptoms based on machine vision combined with a NAM-YOLO v7 hybrid model | |
| López Flórez et al. | Automatic Cell Counting With YOLOv5: A Fluorescence Microscopy Approach | |
| Chen et al. | High-throughput phenotyping of nematode cysts | |
| García Osuna et al. | Large-scale automated analysis of location patterns in randomly tagged 3T3 cells | |
| Yang et al. | FCBTYOLO: A Lightweight and High-Performance Fine Grain Detection Strategy for Rice Pests | |
| Yasrab et al. | Rootnet: A convolutional neural networks for complex plant root phenotyping from high-definition datasets | |
| Aggarwal et al. | Protein Subcellular Localization Prediction by Concatenation of Convolutional Blocks for Deep Features Extraction from Microscopic Images | |
| Wang et al. | Cellular nucleus image-based smarter microscope system for single cell analysis | |
| Angeline et al. | Faster region-based convolutional neural network for plant-parasitic and non-parasitic nematode detection | |
| KR101913952B1 (ko) | V-CNN 접근을 통한 iPSC 집락 자동 인식 방법 | |
| EP4120119A1 (en) | Quantifying and analyzing organoids from digital images | |
| Sanchez-Tecuatl et al. | Automated intracellular calcium profiles extraction from endothelial cells using digital fluorescence images | |
| Scott et al. | Graph metric learning quantifies morphological differences between two genotypes of shoot apical meristem cells in Arabidopsis | |
| Soleimany et al. | Image segmentation of liver stage malaria infection with spatial uncertainty sampling | |
| She et al. | Detection and counting of pigment glands in cotton leaves using improved U-Net | |
| Xu et al. | OPEN ACCESS EDITED BY | |
| US20240054640A1 (en) | System, Method, and Computer Program Product for Classification of Diseases Based on Expansion Microscopic Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |