CN115049714B - 原位杂交荧光显微全景图配准、微环境的构建方法及系统 - Google Patents
原位杂交荧光显微全景图配准、微环境的构建方法及系统 Download PDFInfo
- Publication number
- CN115049714B CN115049714B CN202210536366.5A CN202210536366A CN115049714B CN 115049714 B CN115049714 B CN 115049714B CN 202210536366 A CN202210536366 A CN 202210536366A CN 115049714 B CN115049714 B CN 115049714B
- Authority
- CN
- China
- Prior art keywords
- registration
- panorama
- microscopic
- situ hybridization
- axis translation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007901 in situ hybridization Methods 0.000 title claims abstract description 70
- 238000010276 construction Methods 0.000 title description 5
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 104
- 238000000034 method Methods 0.000 claims abstract description 77
- 210000004027 cell Anatomy 0.000 claims description 84
- 210000001519 tissue Anatomy 0.000 claims description 84
- 238000013519 translation Methods 0.000 claims description 74
- 210000004881 tumor cell Anatomy 0.000 claims description 34
- 230000014509 gene expression Effects 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 27
- 238000010586 diagram Methods 0.000 claims description 24
- 230000036039 immunity Effects 0.000 claims description 24
- 210000004940 nucleus Anatomy 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 210000003855 cell nucleus Anatomy 0.000 claims description 20
- 230000002055 immunohistochemical effect Effects 0.000 claims description 17
- 239000012528 membrane Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000000799 fluorescence microscopy Methods 0.000 claims description 13
- 150000007523 nucleic acids Chemical class 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 108020004707 nucleic acids Proteins 0.000 claims description 11
- 102000039446 nucleic acids Human genes 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 238000002509 fluorescent in situ hybridization Methods 0.000 claims description 7
- 238000000386 microscopy Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000011218 segmentation Effects 0.000 description 28
- 238000012360 testing method Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 239000000427 antigen Substances 0.000 description 12
- 102000036639 antigens Human genes 0.000 description 12
- 108091007433 antigens Proteins 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000003364 immunohistochemistry Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 201000011510 cancer Diseases 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 108090000623 proteins and genes Proteins 0.000 description 8
- 102000004169 proteins and genes Human genes 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000001575 pathological effect Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 238000011282 treatment Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 108020004414 DNA Proteins 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 108091032973 (ribonucleotides)n+m Proteins 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 239000002002 slurry Substances 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000004614 tumor growth Effects 0.000 description 3
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 238000000684 flow cytometry Methods 0.000 description 2
- 238000009396 hybridization Methods 0.000 description 2
- 230000003834 intracellular effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000005748 tumor development Effects 0.000 description 2
- 102100022005 B-lymphocyte antigen CD20 Human genes 0.000 description 1
- 102000008096 B7-H1 Antigen Human genes 0.000 description 1
- 108010074708 B7-H1 Antigen Proteins 0.000 description 1
- 102000004127 Cytokines Human genes 0.000 description 1
- 108090000695 Cytokines Proteins 0.000 description 1
- LTMHDMANZUZIPE-AMTYYWEZSA-N Digoxin Natural products O([C@H]1[C@H](C)O[C@H](O[C@@H]2C[C@@H]3[C@@](C)([C@@H]4[C@H]([C@]5(O)[C@](C)([C@H](O)C4)[C@H](C4=CC(=O)OC4)CC5)CC3)CC2)C[C@@H]1O)[C@H]1O[C@H](C)[C@@H](O[C@H]2O[C@@H](C)[C@H](O)[C@@H](O)C2)[C@@H](O)C1 LTMHDMANZUZIPE-AMTYYWEZSA-N 0.000 description 1
- 101000897405 Homo sapiens B-lymphocyte antigen CD20 Proteins 0.000 description 1
- 101000851376 Homo sapiens Tumor necrosis factor receptor superfamily member 8 Proteins 0.000 description 1
- 102000003729 Neprilysin Human genes 0.000 description 1
- 108090000028 Neprilysin Proteins 0.000 description 1
- 108020004711 Nucleic Acid Probes Proteins 0.000 description 1
- 108091028043 Nucleic acid sequence Proteins 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 102100036857 Tumor necrosis factor receptor superfamily member 8 Human genes 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000003305 autocrine Effects 0.000 description 1
- 238000000376 autoradiography Methods 0.000 description 1
- 229960002685 biotin Drugs 0.000 description 1
- 235000020958 biotin Nutrition 0.000 description 1
- 239000011616 biotin Substances 0.000 description 1
- 239000006285 cell suspension Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002559 cytogenic effect Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- LTMHDMANZUZIPE-PUGKRICDSA-N digoxin Chemical compound C1[C@H](O)[C@H](O)[C@@H](C)O[C@H]1O[C@@H]1[C@@H](C)O[C@@H](O[C@@H]2[C@H](O[C@@H](O[C@@H]3C[C@@H]4[C@]([C@@H]5[C@H]([C@]6(CC[C@@H]([C@@]6(C)[C@H](O)C5)C=5COC(=O)C=5)O)CC4)(C)CC3)C[C@@H]2O)C)C[C@@H]1O LTMHDMANZUZIPE-PUGKRICDSA-N 0.000 description 1
- 229960005156 digoxin Drugs 0.000 description 1
- LTMHDMANZUZIPE-UHFFFAOYSA-N digoxine Natural products C1C(O)C(O)C(C)OC1OC1C(C)OC(OC2C(OC(OC3CC4C(C5C(C6(CCC(C6(C)C(O)C5)C=5COC(=O)C=5)O)CC4)(C)CC3)CC2O)C)CC1O LTMHDMANZUZIPE-UHFFFAOYSA-N 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 238000003365 immunocytochemistry Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000001948 isotopic labelling Methods 0.000 description 1
- -1 ki67 Proteins 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 108020004999 messenger RNA Proteins 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000006911 nucleation Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 239000002853 nucleic acid probe Substances 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000003076 paracrine Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 229920001184 polypeptide Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 108090000765 processed proteins & peptides Proteins 0.000 description 1
- 102000004196 processed proteins & peptides Human genes 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 239000000941 radioactive substance Substances 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 210000002536 stromal cell Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明公开了一种原位杂交荧光显微全景图配准、微环境的构建方法及系统，本发明原位杂交荧光显微全景图配准方法将待配准的HE显微全景图与原位杂交荧光显微全景图两者作为配准参考图F和待配准图D，确定配准参数所构成的四维空间FD；在四维空间FD中搜索配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数；基于最优配准参将HE显微全景图和原位杂交荧光显微全景图配准。本发明原位杂交荧光显微全景图配准方法能够实现暗场扫描得到的原位杂交荧光显微全景图与HE显微全景图的配准，具有配准准确度高、配准速度快的优点；本发明肿瘤免疫微环境的构建方法及系统则构建了一种全新探索和描绘肿瘤微环境的方式。
Description
技术领域
本发明涉及生物医学工程的数字图像处理技术，具体涉及一种原位杂交荧光显微全景图配准、微环境的构建方法及系统。
背景技术
肿瘤与环境，两者既是相互依存，相互促进，又是相互拮抗，相互斗争的，它是现代肿瘤生物学的一个关键和核心的问题。近年来由于肿瘤细胞学和分子生物学的进展，人们对于肿瘤和环境的相互关系有了更加深入的了解。肿瘤微环境是指肿瘤的发生、生长及转移与肿瘤细胞所处的内外环境有着密切关系，它不仅包括肿瘤所在组织的结构、功能和代谢，而且亦与肿瘤细胞自身(核和胞质)的内在环境有关。
肿瘤组织在侵袭正常组织的同时，通过各种手段方式，将周围组织细胞化为己用，而这些组织则成为肿瘤生长的温床和挡风板，一方面为肿瘤提供源源不断的营养和生长环境，另一方面配合肿瘤逃逸免疫抵抗，协助肿瘤细胞转移侵袭。也就是说肿瘤细胞可以通过自分泌和旁分泌，改变和维持自身生存和发展的条件，促进肿瘤的生长和发展，同时全身和局部组织亦可通过代谢、分泌、免疫、结构和功能的改变，限制和影响肿瘤的发生和发展。因此，现在针对肿瘤的研究不再局限于肿瘤组织和细胞本身，而更多地聚焦到了与肿瘤共存的其他细胞因素，包括基质细胞，免疫细胞，生理因素，亚细胞原件等，也就是肿瘤微环境。而对肿瘤微环境进行准确的分析和评估，可以有效的预测患者肿瘤患者的预后，对治疗效果进行客观的判断，同时对于肿瘤的发病机制研究及探索新的治疗方式和新的治疗靶点至关重要。
目前对于肿瘤微环境的分析和评估主要依靠以下几种方法
1.流式细胞仪：流式细胞仪(Flow cytometer)是对细胞进行自动分析和分选的装置。它可以快速测量、存贮、显示悬浮在液体中分散细胞的一系列重要的生物物理、生物化学方面的特征参数，并可以根据预选的参数范围把指定的细胞亚群从中分选出来。但流式细胞仪只能用于细胞悬液，对于组织切片或者组织块的检测无能为力。它无法在空间上对各种类型细胞的分布，以及与肿瘤组织、血管的关系进行系统的描述和评估。
2.免疫组织化学：免疫组织化学(Immunohistochemistry)又称免疫细胞化学，作为一种成熟、可靠，经济性强且广泛应用的技术手段，目前在临床病理诊断及科学研究中应用广泛，对于肿瘤组织来源的判断、肿瘤风险的评估、治疗方法的选择，以及各种实验中观测组织、细胞抗体(或抗原)表达的水平及分布范围具有不可替代的作用。传统的免疫组化，一次只能标记一种抗体(或抗原)，而且目前对免疫组化的判读均为人工半定量判读，判读的结果往往随机性强，人为干扰大，客观性差，这些对于同一个细胞或者同一块区域的不同抗体(或抗原)的标记及表达对比，以及研究它们的之间的相关性带来了相当的难度及极大的误差。而对比不同抗体(或抗原)标记在同一部位或者同一细胞当中的表达，在肿瘤微环境的分析和评估中是非常必须和必要的，因此，如何能够对特定区域进行抗体(或抗原)多重标记及进行可靠的定量分析成为当前研究的热点。双标免疫组化是现在应用比较好的一种方式，它具有可以同时标记两种抗体(或抗原)的能力，其原理就是根据阳性表达部位和阳性表达区域不同所建立的一种直观的多色定位的染色方法。其标记的对象是两种细胞部位，可以包括膜+浆型、膜+核型、浆+核型三种组合，但此种方法局限性也很明显，首先它不可用于膜+膜型，核+核型以及浆+浆型的抗体(或抗原)标记，会影响效果和颜色重叠；其次，由于免疫组化基本原理是抗原抗体结合，同时标记两种抗体(或抗原)容易产生交叉反应，可能导致假阳性或假阴性，这将影响染色的效果和准确性；最后该方法仅能够同时标记两种抗体(或抗原)，无法同时标记多种抗体(或抗原)，没有根本的解决免疫组化客观判读的问题。
3.原位杂交：原位杂交是指将特定标记的已知顺序核酸为探针与细胞或组织切片中核酸进行杂交，从而对特定核酸顺序进行精确定量定位的过程，原位杂交可以在细胞标本或组织标本上进行。其基本原理是两条核苷酸单链片段，在适宜的条件下，能过氢键结合，形成DNA-DNA、DNA-RNA或RNA-RNA双键分子的特点，应用带有标记的(有放射性同位素，如3H、35S、32P、荧光素生物素、地高辛等非放射性物质)DNA或RNA片段作为核酸探针，与组织切片或细胞内待测核酸(RNA或DNA)片段进行杂交，然后可用放射自显影等方法予以显示，在光镜或电镜下观察目的mRNA或DNA的存在并定位，荧光原位杂交(Fluorescence insitu hybridization，FISH)是20世纪80年代末在放射性原位杂交技术基础上发展起来的一种非放射性分子生物学和细胞遗传学结合的新技术，是以荧光标记取代同位素标记而形成的一种新的原位杂交方法。使用原位杂交技术，可以在组织、细胞学层面原位研究细胞中及细胞周围某种多肽或蛋白质的基因表达，此方法有很高的敏感性和特异性，可进一步从分子水平来探讨肿瘤微环境中各种细胞的功能表达及其调节机制，但同免疫组化一样，无法对其客观、精准判读及评估极大的限制了它在肿瘤微环境研究中的应用。
综上所述，前述三种方法各有优缺点，流式细胞仪的优点在于判读和评估的精准和客观，缺点在于无法在二维及三维空间层面对细胞及蛋白质的分布情况，以及与周围组织(神经、血管等)的关系进行描述和勾勒。而免疫组化和原位杂交的优点在于它们可以在组织和细胞的二维及三维空间层面，对蛋白质和核酸的分布进行系统的描述和评估，同时可以完全还原其空间分布情况及与周围组织的关系，但同时这种描述、评估及判读缺乏精准性和客观性。而且三种方法对应所涉及的相关设备都是极其昂贵的。
全切片数字化图像(whole slide images,WSI)是指通过全自动显微镜或光学放大系统扫描仪采集得到高分辨数字图像，然后应用计算机对图像自动进行高精度多视野无缝处理，它的出现不但使病理切片的获取和阅读更加方便，而且促生了基于数字病理的病理人工智能。随着数字病理切片在病理诊断中的应用，大量定量分析算法应运而生，包括传统机器学习算法和深度学习算法。近年来，高质量数字病理切片的大量积累为病理切片的分析提供了大数据背景，深度学习算法对大数据样本分析能力普遍强于其他算法，在病理切片分析中表现出巨大潜力，同时可以将计算机数据挖掘技术应用于病理学领域，用现代统计学方法对人工智能所获得的数据进行挖掘，建立与诊断、肿瘤分级、治疗指导及预后判断相关的算法和模型。
简而言之，基于上述现有技术的，如何基于全切片数字化图像，选择合适的方式来构建以及展示肿瘤微环境，已成为一项亟待解决的关键技术问题。而构建以及展示肿瘤微环境时，由于暗场扫描得到的原位杂交荧光显微全景图的特殊性，不能采用传统明场图像的SIFT配准算法完成配准过程，因此如何实现原位杂交荧光显微全景图配准，已成为一项亟待解决的关键技术问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种原位杂交荧光显微全景图配准、微环境的构建方法及系统，本发明原位杂交荧光显微全景图配准方法能够实现暗场扫描得到的原位杂交荧光显微全景图与HE显微全景图的配准，本发明肿瘤免疫微环境的构建方法及系统构建了一种全新探索和描绘肿瘤微环境的方式。
为了解决上述技术问题，本发明采用的技术方案为：
一种原位杂交荧光显微全景图配准方法，包括：
1)将待配准的HE显微全景图与原位杂交荧光显微全景图两者作为配准参考图F和待配准图D，确定配准参数所构成的四维空间FD；
2)在四维空间FD中搜索配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数；
3)基于最优配准参将HE显微全景图和原位杂交荧光显微全景图配准。
可选地，步骤2)中在四维空间FD中搜索配准参数包括：
S1)为配准参数确定n组步长Step1～Stepn，其中任意一组步长Stepi均包括x轴平移量、y轴平移量、旋转角和缩放比例共四种维度的搜索步长，且n组步长Step1～Stepn中四种维度的搜索步长均按照从大到小的顺序排列；
S2)在四维空间FD中确定第一组步长Step1确定对应的搜索空间FD1以及对应的整体搜索空间步数num_Step1，根据搜索空间FD1以及对应的整体搜索空间步数num_Step1遍历每一组配准参数并计算配准参考图F、待配准图D之间的匹配程度，找到匹配程度最好的一组配准参数作为第一组最优配准参数；
S3)将循环变量i从2开始遍历直至n，且针对遍历得到的任意当前的循环变量i：在四维空间FD中确定第i组步长Stepi确定对应的搜索空间FDi以及对应的整体搜索空间步数num_Stepi，根据搜索空间FDi以及对应的整体搜索空间步数num_Stepi遍历每一组配准参数并计算配准参考图F、待配准图D之间的匹配程度，找到匹配程度最好的一组配准参数作为第i组最优配准参数；最终经过n轮遍历，将第n组最优配准参数作为得到的最终的最优配准参数。
可选地，步骤S2)中确定对应的搜索空间FD1的函数表达式为：
FD1＝{(Px1,Py1,α1,S1)}，
上式中，Px1、Py1、α1以及S1分别为搜索空间FD1内x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数，且有：
Px1＝0,Step1-px,2×Step1-px,…,Fwidth，
Py1＝0,Step1-py,2×Step1-py,…,Fheight，
α1＝-π,-π+Step1-α,-π+2×Step1-α,…,π，
S1＝0.5,0.5+Step1-S,0.5+2×Step1-S,…,2，
上式中，Step1-px、Step1-py、Step1-α以及Step1-S分别为第一组步长Stepi的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长，Fwidth为配准参考图F的宽度，Fheight为配准参考图F的高度；且确定对应的整体搜索空间步数num_Step1的函数表达式为：
上式中，ceil为取整函数；步骤S3)中确定第i组步长Stepi确定对应的搜索空间FDi的函数表达式为：
FDi＝{(Pxi,Pyi,αi,Si)}，
上式中，Pxi、Pyi、αi以及Si分别为搜索空间FDi内x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数，且有：
Pxi＝Px(i-1)-best-Step(i-1)-px,Px(i-1)-best-Step(i-1)-px+Stepi-px,…,Px(i-1)-best+Step(i-1)-px，
Pyi＝Py(i-1)-best-Step(i-1)-py,Py(i-1)-best-Step(i-1)-py+Stepi-py,…,Py(i-1)-best+Step(i-1)-py，
αi＝α(i-1)-best-Step(i-1)-α,α(i-1)-best-Step(i-1)-α+Stepi-α,…,α(i-1)-best+Step(i-1)-α，
Si＝S(i-1)-best-Step(i-1)-S,S(i-1)-best-Step(i-1)-S+Stepi-S,…,S(i-1)-best+Step(i-1)-S，
上式中，Stepx(i-1)-best、Stepy(i-1)-best、Stepα(i-1)-best以及StepS(i-1)-best分别为第i-1组最优配准参数Step(i-1)-px、Step(i-1)-py、Step(i-1)-α以及Step(i-1)-S分别为第i-1组步长Stepi-1的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长，Stepi-px、Stepi-py、Stepi-α以及Stepi-S分别为第i组步长Stepi的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长；且确定对应的整体搜索空间步数num_Stepi的函数表达式为：
可选地，所述配准参考图F、待配准图D均对应多种不同大小的分辨率的图层，步骤2)在四维空间FD中搜索配准参数包括：
首先，选择一个分辨率较小的图层为当前图层，针对当前图层在四维空间FD中搜索配准参数，得到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数：
(Pxn-best,Pyn-best,αn-best,Sn-best)
上式中，Pxn-best,Pyn-best,αn-best,Sn-best分别为x轴平移量、y轴平移量、旋转角和缩放比例四种最优配准参数；
然后，依次选择一个分辨率较大的图层为新的当前图层，并针对每一个新的当前图层在四维空间FD中搜索配准参数，且针对每一个新的当前图层在四维空间FD中搜索配准参数时，保持旋转角和缩放比例两种最优配准参数不变，采用的配准参数的搜索初始值为：
(scale*Pxn-best,scale*Pyn-best,αn-best,Sn-best)
上式中，scale为新的当前图层相对上一当前图层的放大倍率，且x轴平移量、y轴平移量的搜索空间FDj为：
FDj＝{(Pjx,Pjy)│scale*(Pxn-best-1)≤Pjx≤scale*(Pxn-best+1),scale*(Pyn-best-1)≤Pjy≤scale*(Pyn-best+1)}
上式中，(Pjx,Pjy)为x轴平移量、y轴平移量对应的搜索点坐标；通过依次在新的当前图层中搜索x轴平移量、y轴平移量两种最优配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数。
可选地，所述在新的当前图层中搜索x轴平移量、y轴平移量两种最优配准参数时，所采用的步长为1像素。
可选地，步骤2)中配准参考图F、待配准图D之间的匹配程度的计算函数表达式为：
上式中，Cost表示匹配程度，E表示二维图像的期望，F'表示对配准参考图F作类荧光处理后得到的图，且有：F'＝constA-F，其中constA表示一个范围为0～255的常数，F表示配准参考图，且配准参考图为HE显微全景图。
此外，本发明还提供一种肿瘤免疫微环境的构建方法，包括：
S1)对HE显微全景图进行组织层面的分类识别，分辨出正常组织和肿瘤组织；对肿瘤组织进行分类识别，识别出肿瘤的细胞分布；对正常组织进行分类识得，识别出肿瘤的周围组织；
S2)将一张或多张对应不同免疫指标的IHC显微全景图与HE显微全景图配准；将一张或多张原位杂交荧光显微全景图采用所述的原位杂交荧光显微全景图配准方法与HE显微全景图配准；
S3)针对配准后的各张IHC显微全景图：若该IHC显微全景图的免疫指标为核阳性或膜阳性免疫组化类型，则直接对该IHC显微全景图进行分类识别，分辨出阳性细胞和非阳性细胞，分别统计阳性细胞和非阳性细胞的数量，并根据阳性细胞和非阳性细胞的数量计算核阳性率；若该IHC显微全景图的免疫指标为浆阳性免疫组化类型，则首先将该IHC显微全景图进行分类识别分辨出阳性组织区域和阴性组织区域，并根据HE显微全景图进行分类识别分辨出细胞核，然后根据细胞核所属阳性组织区域或阴性组织区域标记为阳性肿瘤细胞核或阴性肿瘤细胞核，分别统计阳性肿瘤细胞核和阴性肿瘤细胞核的数量，并根据阳性肿瘤细胞核和阴性肿瘤细胞核的数量计算浆阳性率；针对配准后的各张原位杂交荧光显微全景图，分别配以荧光原位杂交标记方法完成对原位杂交荧光显微全景图的标记，以完成二维和三维空间内的核酸分布情况的描述和勾勒；最终将融合所有的HE显微全景图、IHC显微全景图以及原位杂交荧光显微全景图后得到的3D显微全景图加入展示工具中，得到肿瘤免疫微环境全景图。
可选地，步骤S3)中的展示工具为地图地理三维展示工具。
此外，本发明还提供一种肿瘤免疫微环境的构建系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述的原位杂交荧光显微全景图配准方法的步骤，或者所述的肿瘤免疫微环境的构建方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器执行以实施所述的原位杂交荧光显微全景图配准方法的步骤，或者所述的肿瘤免疫微环境的构建方法的步骤。
和现有技术相比，本发明主要具有下述优点：
1、本发明原位杂交荧光显微全景图配准方法将待配准的HE显微全景图与原位杂交荧光显微全景图两者作为配准参考图F和待配准图D，确定配准参数所构成的四维空间FD；在四维空间FD中搜索配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数；基于最优配准参将HE显微全景图和原位杂交荧光显微全景图配准。本发明原位杂交荧光显微全景图配准方法能够实现暗场扫描得到的原位杂交荧光显微全景图与HE显微全景图的配准，具有配准准确度高、配准速度快的优点。
2、本发明肿瘤免疫微环境的构建方法及系统则构建了一种全新探索和描绘肿瘤微环境的方式。本发明肿瘤免疫微环境的构建方法及系统能够在不借助流式细胞仪和共聚焦显微镜等高昂设备的前提下，对各项肿瘤免疫指标判读精准客观，同时还能进一步勾勒出在二维或三维的空间内肿瘤免疫微环境当中的细胞、蛋白质、核酸等物质的分布情况，以及描述出与周围组织的关系，能够很好地解决临床病理工作以及科学研究中对肿瘤免疫微环境相关指标的精确定量分析，以及全局范围内总体组成成分分布情况。
附图说明
图1为本发明实施例一中原位杂交荧光显微全景图配准的流程图。
图2为本发明实施例一中IHC显微全景图的处理流程图。
具体实施方式
实施例一：
如图1所示，本实施例原位杂交荧光显微全景图配准方法包括：
1)将待配准的HE显微全景图与原位杂交荧光显微全景图两者作为配准参考图F和待配准图D，确定配准参数所构成的四维空间FD；
2)在四维空间FD中搜索配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数；
3)基于最优配准参将HE显微全景图和原位杂交荧光显微全景图配准。
其中HE显微全景图与原位杂交荧光显微全景图为已知的图像类型，例如.通过明场和荧光一体化数字切片扫描仪，扫描获取相应的连续切片中的一张HE切片和一组对应的免疫组化切片，其中一部分免疫组化切片进行相关的荧光扫描成像，分别获得相应的一张HE显微数字全景图和对应的一组IHC显微数字全景图(包含原位杂交荧光显微全景图)。
配准参数都是满足一定的值空间限制的，即对应的值是有边界、不可能无限大或者无限小的，因此只要在空间内找到最优的配准参数量就可以完成配准实现过程。平移量Px和Py的范围就是配准两图的宽高范围，旋转角度α的理论旋转范围就是-π～π，而缩放比例S的范围就是限定两图之间的比例关系，由于HE显微全景图和原位杂交荧光显微全景图是由连续切片切下来制成的切片，因此两图的前景组织部分大小几乎一致的，因此S的范围即可以限定在0.5～2之间。因此，本实施例步骤1)中四维空间FD的函数表达式为：
FD＝{(Px,Py,α,S)│0≤Px≤Fwidth,0≤Py≤Fheight,-π≤α≤π,0.5≤S≤2}
上式中，(Px,Py)为配准参数中的平移量，α为配准参数中的旋转角，S为配准参数中的缩放比例，Fwidth、Fheight为配准参考图F的宽度和高度。即在FD空间内容搜索到最优的一组配准参数，使得参考图F和待配准图D之间的匹配程度最高，便完成参数配准过程。
如果直接对四维空间FD内全空间搜索最优值，显然一旦搜索步长比较小的情况，则搜索过程将极其缓慢；因此本实施例采用多步骤，步长由大步长到小步长逐步缩小搜索空间的方法完成四维空间FD全空间内的配准参数最优值搜索。具体地，本实施例步骤2)中在四维空间FD中搜索配准参数包括：
S1)为配准参数确定n组步长Step1～Stepn，其中任意一组步长Stepi均包括x轴平移量、y轴平移量、旋转角和缩放比例共四种维度的搜索步长，且n组步长Step1～Stepn中四种维度的搜索步长均按照从大到小的顺序排列；n取值越大，则搜索越准确、但速度更慢，一般而言，n可取值为4；
S2)在四维空间FD中确定第一组步长Step1确定对应的搜索空间FD1以及对应的整体搜索空间步数num_Step1，根据搜索空间FD1以及对应的整体搜索空间步数num_Step1遍历每一组配准参数并计算配准参考图F、待配准图D之间的匹配程度，找到匹配程度最好的一组配准参数作为第一组最优配准参数；
S3)将循环变量i从2开始遍历直至n，且针对遍历得到的任意当前的循环变量i：在四维空间FD中确定第i组步长Stepi确定对应的搜索空间FDi以及对应的整体搜索空间步数num_Stepi，根据搜索空间FDi以及对应的整体搜索空间步数num_Stepi遍历每一组配准参数并计算配准参考图F、待配准图D之间的匹配程度，找到匹配程度最好的一组配准参数作为第i组最优配准参数；最终经过n轮遍历，将第n组最优配准参数作为得到的最终的最优配准参数。
本实施例中，步骤S2)中确定对应的搜索空间FD1的函数表达式为：
FD1＝{(Px1,Py1,α1,S1)}，
上式中，Px1、Py1、α1以及S1分别为搜索空间FD1内x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数，且有：
Px1＝0,Step1-px,2×Step1-px,…,Fwidth，
Py1＝0,Step1-py,2×Step1-py,…,Fheight，
α1＝-π,-π+Step1-α,-π+2×Step1-α,…,π，
S1＝0.5,0.5+Step1-S,0.5+2×Step1-S,…,2，
上式中，Step1-px、Step1-py、Step1-α以及Step1-S分别为第一组步长Stepi的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长，Fwidth为配准参考图F的宽度，Fheight为配准参考图F的高度；且确定对应的整体搜索空间步数num_Step1的函数表达式为：
上式中，ceil为取整函数；步骤S3)中确定第i组步长Stepi确定对应的搜索空间FDi的函数表达式为：
FDi＝{(Pxi,Pyi,αi,Si)}，
上式中，Pxi、Pyi、αi以及Si分别为搜索空间FDi内x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数，且有：
Pxi＝Px(i-1)-best-Step(i-1)-px,Px(i-1)-best-Step(i-1)-px+Stepi-px,…,Px(i-1)-best+Step(i-1)-px，
Pyi＝Py(i-1)-best-Step(i-1)-py,Py(i-1)-best-Step(i-1)-py+Stepi-py,…,Py(i-1)-best+Step(i-1)-py，
αi＝α(i-1)-best-Step(i-1)-α,α(i-1)-best-Step(i-1)-α+Stepi-α,…,α(i-1)-best+Step(i-1)-α，
Si＝S(i-1)-best-Step(i-1)-S,S(i-1)-best-Step(i-1)-S+Stepi-S,…,S(i-1)-best+Step(i-1)-S，
上式中，Stepx(i-1)-best、Stepy(i-1)-best、Stepα(i-1)-best以及StepS(i-1)-best分别为第i-1组最优配准参数Step(i-1)-px、Step(i-1)-py、Step(i-1)-α以及Step(i-1)-S分别为第i-1组步长Stepi-1的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长，Stepi-px、Stepi-py、Stepi-α以及Stepi-S分别为第i组步长Stepi的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长；且确定对应的整体搜索空间步数num_Stepi的函数表达式为：
本实施例中，步骤2)中配准参考图F、待配准图D之间的匹配程度的计算函数表达式为：
上式中，Cost表示匹配程度，E表示二维图像的期望(统计学上现有的期望求取函数)，F'表示对配准参考图F作类荧光处理后得到的图，且有：F'＝constA-F，其中constA表示一个范围为0～255的常数，F表示配准参考图，且配准参考图为HE显微全景图(为明场拍摄所得)，原位杂交荧光显微全景图作为待配准图D，为更好进行配准，需对配准参考图作类荧光处理，处理后的图为F'，对类荧光处理后的图作为实际配准参考图，可方便地计算其匹配度。
步骤3)基于最优配准参将HE显微全景图和原位杂交荧光显微全景图配准具体为将待配准图D的坐标基于最优配准参数(x轴平移量Px、y轴平移量Py、旋转角α和缩放比例S)转换到配准参考图F的坐标系，其函数表达式为：
ynew＝-S×sinα×xori+S×cosα×yori+Py，
xnew＝S×cosα×xori+S×sinα×yori+Px，
F(xnew,ynew)＝I(xori,yori)，
上式中，xori和yori分别是待配准图D的原始像素点坐标，xnew和ynew分别是待配准图D的新像素点坐标；I(xori,yori)表示原始待配准图D在像素坐标(xori,yori)上的像素值；F(xnew,ynew)表示新的待配准图D在像素坐标(xnew,ynew)上的像素值。
此外，本实施例还提供一种肿瘤免疫微环境的构建系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述的原位杂交荧光显微全景图配准方法的步骤。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器执行以实施前述的原位杂交荧光显微全景图配准方法的步骤。
实施例二：
本实施例为对实施例一的进一步改进。对于HE显微全景图和原位杂交荧光显微全景图来讲，其宽高范围都是很大的，即Fwidth和Fheight的范围是很大的，一般在50000像素以上，如果直接对大图进行FD空间配准参数搜索，显示值太大，搜索过程也会很缓慢。因此，本实施例中配准参考图F、待配准图D均对应多种不同大小的分辨率的图层(例如将配准参考图F、待配准图D采用多分辨率金字塔模型的数据格式存储，同一图包含多个不同大小的分辨率的图层)，因此恰好可以利用该存储格式，先在分辨率比较低的图层完成四维空间FD粗配准空间内的参数搜索，然后再逐步向分辨率更高的图层进行四维空间FD空间内的参数搜索，得到更加精确的配准参数；具体地，本实施例中步骤2)在四维空间FD中搜索配准参数包括：
首先，选择一个分辨率较小的图层为当前图层，针对当前图层在四维空间FD中搜索配准参数，得到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数：
(Pxn-best,Pyn-best,αn-best,Sn-best)
上式中，Pxn-best,Pyn-best,αn-best,Sn-best分别为x轴平移量、y轴平移量、旋转角和缩放比例四种最优配准参数；上式针对当前图层在四维空间FD中搜索配准参数与实施例一中的步骤S1)～S3)相同，故在此不再赘述。
然后，依次选择一个分辨率较大的图层为新的当前图层，并针对每一个新的当前图层在四维空间FD中搜索配准参数，且针对每一个新的当前图层在四维空间FD中搜索配准参数时，保持旋转角和缩放比例两种最优配准参数不变，采用的配准参数的搜索初始值为：
(scale*Pxn-best,scale*Pyn-best,αn-best,Sn-best)
上式中，scale为新的当前图层相对上一当前图层的放大倍率，且x轴平移量、y轴平移量的搜索空间FDj为：
FDj＝{(Pjx,Pjy)│scale*(Pxn-best-1)≤Pjx≤scale*(Pxn-best+1),scale*(Pyn-best-1)≤Pjy≤scale*(Pyn-best+1)}
上式中，(Pjx,Pjy)为x轴平移量、y轴平移量对应的搜索点坐标；通过依次在新的当前图层中搜索x轴平移量、y轴平移量两种最优配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数。
在分辨率较低的图层上，其图像宽高都比较小，因此整体搜索空间步数就比较小，搜索速度快，但由于分辨率比较低，因此搜索得到的最优值存在一定的误差，因此在分辨率低的图层完成该图层最优参数搜索之后，还需要进一步往分辨率高的图层进行搜索；本实施例中采用先低分辨率、后高分辨率的搜索方式，可达到搜索速度、搜索精度兼得的优点。其次，分辨率高的图层对应于分辨率低的图层，只是在宽高尺寸上变大，对应的旋转角度和缩放比例是一致的，因此在分辨率低的图层搜索得到的最优参数(Pxn-best,Pyn-best,αn-best,Sn-best)的基础上，分辨率高的图层的搜索初始值为(scale*Pxn-best,scale*Pyn-best,αn-best,Sn-best)，其中scale是分辨率高的图层对应于分辨率低的图层的尺寸放大倍率；由于无论是低分辨率图层还是高分辨率图层，旋转角度和缩放比例是不变的，因此在高分辨率图层当中最优旋转角和最优缩放比例依然分别为αn-best和Sn-best不变，从而可通过低分辨率图层提取最优旋转角和最优缩放比例，可减少提取最优旋转角和最优缩放比例的计算量、提高配准效率。由于通过不同分辨率图层逐层匹配，使得搜索空间大大减少，因此本实施例中在新的当前图层中搜索x轴平移量、y轴平移量两种最优配准参数时，所采用的步长为1像素，从而可达到1像素级别的配准。
此外，本实施例还提供一种肿瘤免疫微环境的构建系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述的原位杂交荧光显微全景图配准方法的步骤。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器执行以实施前述的原位杂交荧光显微全景图配准方法的步骤。
实施例三：
本实施例为对实施例一和实施例二记载的原位杂交荧光显微全景图配准方法的进一步扩展应用。本实施例提供一种肿瘤免疫微环境的构建方法，包括：
S1)对HE显微全景图进行组织层面的分类识别，分辨出正常组织和肿瘤组织；对肿瘤组织进行分类识别，识别出肿瘤的细胞分布；对正常组织进行分类识得，识别出肿瘤的周围组织；
S2)将一张或多张对应不同免疫指标的IHC显微全景图与HE显微全景图配准；将一张或多张原位杂交荧光显微全景图采用实施例一或实施例二所述的原位杂交荧光显微全景图配准方法与HE显微全景图配准；
S3)针对配准后的各张IHC显微全景图：若该IHC显微全景图的免疫指标为核阳性或膜阳性免疫组化类型，则直接对该IHC显微全景图进行分类识别，分辨出阳性细胞和非阳性细胞，分别统计阳性细胞和非阳性细胞的数量，并根据阳性细胞和非阳性细胞的数量计算核阳性率；若该IHC显微全景图的免疫指标为浆阳性免疫组化类型，则首先将该IHC显微全景图进行分类识别分辨出阳性组织区域和阴性组织区域，并根据HE显微全景图进行分类识别分辨出细胞核，然后根据细胞核所属阳性组织区域或阴性组织区域标记为阳性肿瘤细胞核或阴性肿瘤细胞核，分别统计阳性肿瘤细胞核和阴性肿瘤细胞核的数量，并根据阳性肿瘤细胞核和阴性肿瘤细胞核的数量计算浆阳性率；针对配准后的各张原位杂交荧光显微全景图，分别配以荧光原位杂交标记方法完成对原位杂交荧光显微全景图的标记，以完成二维和三维空间内的核酸分布情况的描述和勾勒；最终将融合所有的HE显微全景图、IHC显微全景图以及原位杂交荧光显微全景图后得到的3D显微全景图加入展示工具中，得到肿瘤免疫微环境全景图。
本实施例中，步骤S1)中对HE显微全景图进行组织层面的分类识别具体为采用深度卷积分类网络模型(记为HE组织分类网络)。在使用HE组织分类网络之前，需先利用已经由专业医生标注过的大量包含HE肿瘤组织、正常组织区域，进而将这些标注样本制成数据集，得到相应的训练、验证和测试数据集；利用训练和验证数据集进行深度卷积分类网络训练，然后再经测试数据集测试分类网络性能，最终得到优化好的深度卷积分类网络(HE组织分类网络)。本实施例中，步骤S1)中对肿瘤组织进行分类识别具体为采用深度卷积UNet神经网络(记为HE肿瘤细胞UNet分割网络)，在使用该用HE肿瘤细胞UNet分割网络之前，利用已经由专业医生标注过的大量包含HE肿瘤细胞标注的图片进行细胞分割检测数据集制作，得到训练、验证和测试数据集；利用训练和验证数据集进行深度卷积UNet神经网络训练，然后再经测试数据集测试UNet分割网络性能，最终得到优化好的深度卷积UNet神经网络，称之为HE肿瘤细胞UNet分割网络；同时对分割出来的肿瘤细胞的置信度对应进行数值映射，获得对应的肿瘤细胞分布概率图。本实施例中，步骤S1)中对正常组织进行分类识得也是采用深度卷积UNet神经网络(记为HE正常组织UNet分割网络)，用于识别出肿瘤的周围组织。对于HE显微全景图上的正常组织，完成正常组织类型的检测和分割，具体包括正常的细胞组织、血管形态、神经纤维组织等，这些组织构成了肿瘤的周围组织；是进一步观测肿瘤和周围环境之间的关系的重要分析成分；因此同样采用由专业医生标注过的大量包含HE正常组织标注的图片进行细胞分割检测数据集制作，得到训练、验证和测试数据集；利用训练和验证数据集进行深度卷积UNet神经网络训练，然后再经测试数据集测试深度卷积UNet神经网络DE性能，最终得到优化好的深度卷积UNet网络，称之为HE正常组织UNet分割网络。需要说明的是，由于采用深度卷积分类网络模型/深度卷积UNet神经网络进行物体识别为现有公知技术，故其细节在此不再详述。此外，也可以根据需要采用其他现有的图像识别神经网络模型。
步骤S2)将一张或多张对应不同免疫指标的IHC显微全景图与HE显微全景图配准；不同免疫指标的IHC显微全景图可为CD30、CD20、CD10、ki67、PD-L1等指标，但是本实施例方法不限定于特定的某类免疫指标。
免疫指标总体上可分成核阳性、膜阳性和浆阳性三类免疫组化类型，因此需要根据不同类型进行不同处理：
其一：核阳性和膜阳性免疫组化类型的细胞轮廓清晰可分，本实施例中直接采用基于深度卷积神经网络UNet分割网络完成对细胞的检测分割，在使用前由专业医生标注过的大量包含IHC免疫组化核阳性细胞和膜阳性细胞，并且做好标注的图片进行细胞分割检测数据集制作，得到训练、验证和测试数据集；利用训练和验证数据集进行深度卷积UNet神经网络训练，然后再经测试数据集测试UNet分割网络性能，最终得到优化好的深度卷积UNet网络，称之为IHC核阳性和膜阳性细胞UNet分割网络。需要说明的是，由于采用深度卷积UNet神经网络进行物体识别为现有公知技术，故其细节在此不再详述。此外，也可以根据需要采用其他现有的图像识别神经网络模型。进而完成对核阳性、膜阳性细胞的检测标记，并对相应的阳性指标进行统计和分析。参见图2，本实施例中将IHC显微全景图的处理包括：1、将IHC显微全景图分隔为图片块(瓦片图)；2、将图片块进行预处理，包括利用颜色解卷积的方法，将染色通道分离，在进行颜色归一化；3、将各个图片块输入训练好的IHC核阳性和膜阳性细胞UNet分割网络；4、将各个图片块利用分水岭算法，对经预处理之后的图片块，进行分割，分离得到癌组织前景和背景区域，接着通过自动阈值分割、图像膨胀腐蚀等操作后，找到每个细胞核的轮廓；将细胞核的轮廓通过训练好的IHC核阳性和膜阳性细胞UNet分割网络完成对核阳性、膜阳性细胞的检测标记；5、对每个图片块进行阳性率统计，对癌细胞中的阳性细胞数和非阳性细胞数进行统计；6、分别累加所有图片块中统计得到的核阳性细胞数和非核阳性细胞数。
假定需要统计的癌组织图片块总共有N块，对每一癌组织图片块，统计得到的核阳性细胞数和非核阳性分别为R1,i和R2,i，其中i＝1,2,3…,N，则最终计算得到的核阳性率Hhm-rate为：
上式中，R1,i为核阳性细胞数，R2,i为非核阳性细胞数。
其二：若该IHC显微全景图的免疫指标为浆阳性免疫组化类型，浆阳性细胞中，阳性颗粒主要分布于细胞浆。依据抗原在胞浆内分布形式，通常表现为弥漫性分布或局限性分布，很难分辨细胞轮廓边界，因此本实施例采用另外一种方法完成阳性细胞的标记、阳性指标的统计和分析。
本实施例中，将该IHC显微全景图进行分类识别分辨出阳性组织区域和阴性组织区域为采用深度卷积UNet神经网络(记为浆阳性IHC阳性区域UNet分割网络)。在使用前，先利用已经标注好的大量包含浆阳性IHC阳性组织和阴性组织的图片进行数据集制作，得到训练、验证和测试数据集；然后利用训练和验证数据集进行深度卷积UNet神经网络训练，然后再经测试数据集测试深度卷积UNet神经网络性能，最终得到另一个优化好的UNet网络，称之为浆阳性IHC阳性区域UNet分割网络。需要说明的是，由于深度卷积UNet神经网络进行物体识别为现有公知技术，故其细节在此不再详述。此外，也可以根据需要采用其他现有的图像识别神经网络模型。
在完成了浆阳性IHC显微全景图和HE显微全景图的一一对应配准后，在待定进行浆阳性癌细胞阳性率计算的区域R，范围表示如下：
R＝{(xR,yR)|xl≤xR≤xl+Rwidth,yt≤yR≤yt+Rheight}
其中xl和yt表示矩形局域R的左上角坐标，Rwidth和Rheight分别表示矩形局域R的宽高；(xR,yR)表示矩形区域内的坐标点。将测试查看HE显微全景图区域R，划分成多个大小一致的瓦片图(图片块)，将这些瓦片图一次输入到HE肿瘤细胞UNet分割网络，得到的网络输出的细胞掩膜图，然后再将这些掩膜图重新拼接成区域R的细胞分割检测掩膜图；网络输出的掩膜图上的分割结果并非完全精准，还需要进一步进行处理，减少一些分割错误的结果，同时对连接在一起的细胞核边界做进一步分割处理，经形态学腐蚀之后，在采用边缘检测和分水岭算法对连接在一起的细胞核进行边界分开处理，进一步得到每一个单独的细胞核；最后对每个细胞核进行圆拟合，得到最小拟合圆的中心坐标位置(xrc,yrc)和半径r，并以其表达该细胞核。
本实施例中，在对应的浆阳性IHC显微全景图的区域范围R内，同样将区域范围R分割成多个大小一致的瓦片图，再将这些等分割的瓦片图一次输入到浆阳性IHC区域UNet分割网络，得到的网络输出的掩膜图，再将这些掩膜图重新拼接成检测分割得到浆阳性IHC阳性组织区域和阴性组织区域的掩膜图，掩膜图上的像素点坐标值为0或者255，其中像素值为0，则表示该像素点位于阴性组织区域，像素值为255则表示该像素点位于阳性组织区域。再将组织区域检测分割的结果根据配准参数进行坐标位置映射，映射成与HE实际细胞位置一一对应的坐标位置，函数表达式如下：
xR_new＝S1×cosβ×xR+S1×sinβ×yR+P1x，
yR_new＝-S1×sinβ×xR+S1×cosβ×yR+P1y，
FR'(xR_new,yR_new)＝FR(xR,yR)，
其中xR_new和yR_new表示经微调之后的区域对应的像素坐标，FR(xR,yR)表示新生成的IHC在区域范围R上的阳性组织和阴性组织区域分割检测的掩膜图上对应于坐标(xR,yR)的像素值；F'R(xR_new,yR_new)则表示经微调后区域R'上对应于坐标(xR_new,yR_new)上的像素值，β表示配准参数中的旋转角度，S1表示配准参数中的放大倍率，P1x,P1y分别表示配准参数中的x、y轴平移量，上述配准参数可采用SIFT匹配算法获取，由于SIFT匹配算法为现有匹配算法，故其详细实现细节在此不再详述。将检测到的所有细胞核拟合的圆映射到新生的IHC对应区域位置上，并判断所有细胞核的位置是位于阳性区域上还是阴性区域上；对于每一个中心位置(xrc,yrc)，半径为r的拟合圆内的所有点做判断，得到该拟合圆Rr内的所有点，表示为：
上式中，(xRr,yRr)为该拟合圆内的任意点。将Rr区域上的所有点对应到R'区域上，并对所有点判断是否位于阳性区域，或阴性区域上，即：
xRr_new＝S1×cosβ×xRr+S1×sinβ×yRr+P1x，
yRr_new＝-S1×sinβ×xRr+S1×cosβ×yRr+P1y，
上式中，(xRr_new,yRr_new)为(xRr,yRr)对应到R'区域后的坐标，(xRr,yRr)为拟合圆内的任意点，β表示配准参数中的旋转角度，S1表示配准参数中的放大倍率，P1x,P1y分别表示配准参数中的x、y轴平移量。如果坐标(xRr_new,yRr_new)的像素灰度值FR'(xRr_new,yRr_new)为255，则该点位于阳性区域，否则位于阴性区域；如果判断超过一半的点位于阳性区域，则判定该细胞核为肿瘤阳性细胞核，如果判断超过一半的点位于阴性区域，则判定该细胞核为肿瘤阴性细胞核，否则该细胞核为非肿瘤细胞核。最终，根据检测得到的包浆型IHC阳性肿瘤细胞核总数Rp和阴性肿瘤细胞核总数Rn，分析计算得到包浆型IHC肿瘤阳性率Hj-rate：
其中经配准后，多张IHC显微全景图(包括核阳性、膜阳性和浆阳性三种)上的同一个位置上，多种免疫组化阳性细胞的分析构成IHC虚拟多重标记分析，用来实现共聚焦显微镜的多重标记功能，即在同一个区域上同时查看、获取该区域上不同IHC切片的癌细胞阳性分布标记情况，完成对二维和三维空间内的蛋白质分布状况的描述。利用上述步骤，完成HE肿瘤细胞UNet分割网络完成肿瘤细胞的分割和统计分析，完成对肿瘤细胞区域内的阳性细胞和阴性细胞的分割和统计分析，这样便可以完成肿瘤细胞中阳性细胞和阴性细胞的统计，用以实现流式细胞仪的细胞统计功能。
选择合适的方式来展示搭建好的肿瘤微环境也是至关重要的；本实施例中，步骤S3)中的展示工具为地图地理三维展示工具。谷歌地球是用来全方位展示地图地理信息的绝佳工具。因此本实施例中参考谷歌地球，构建了类似的三维坐标系统来完成对肿瘤微环境的显示过程。
在构建好肿瘤免疫微环境后，即可利用肿瘤免疫微环境进行展示：经配准后，将HE显微全景图、IHC显微全景图和原位杂交荧光显微全景图融合形成3D显微全景图；总体上构成肿瘤免疫微环境全景图；根据观测的需求的不同，可以观测不同层次肿瘤与周围环境之间的分布情况，同时可以实时计算观测部分的相对应指标、如各种免疫组化阳性率指标；在HE层面上，不但可以获取到肿瘤组织、正常组织的大体分布状况，轮廓范围，以及血管、神经组织等周围环境的变化；还可以通过不断放大，详细查看在细胞层面上的细胞形态正常与否，癌巢岛状不断向外延伸的细胞变化，用以探索癌细胞和周围正常组织之间的变化关系；在观测到HE层面的同一区域上，可以切换到IHC层面上，在该层面上可以融合任意不同免疫组化指标下阳性分布情况，构成免疫组化、原位杂交虚拟多重标记，进而得到整体蛋白质的分布情况，观测对比同一区域下，不同免疫组化的阳性分布情况，同时计算免疫组化阳性率指标，对比癌细胞的增殖情况；还可以进一步切换到荧光IHC层面，从核酸层面更加精细的查看肿瘤微环境当中的细微变化，查看荧光标记的分层次变化；上述是分层次查看的，同时可以进一步采用融合模式，将IHC层面上的内容或者荧光IHC层次上的内容往HE上融合投射，进而可以获得对比更加清晰、立体的肿瘤微环境变化状况。
综上所述，本实施例肿瘤免疫微环境的构建方法以连续切片的全切片数字化，广泛使用人工智能技术对肿瘤免疫微环境的各种构成成分进行分类、检测和分割的基础上，完成对肿瘤免疫微环境的三维重构，并采用类地图地理信息的显示方式，多角度、全方位展示肿瘤免疫微环境内容。本实施例肿瘤免疫微环境的构建方法在HE显微全景图层次、IHC显微全景图层次和原位杂交荧光显微全景图层次等多个层次上，通过大量数据，利用人工智能深度学习网络模型，从组织层次的分类识别，到细胞层次的分割检测，再到蛋白质、核酸层次标记，采用多级流水线网络模型逐层次、多角度分析和构建肿瘤免疫微环境；将肿瘤微环境中各个要素给予分离检测时候后，又进行融合重构，为探索肿瘤免疫微环境提供新方法新思路；本实施例肿瘤免疫微环境的构建方法结合免疫组化多重虚拟标记、荧光标记检测、HE和IHC联合求解阳性细胞分布和阳性率检测等多项技术，在为共聚焦显微镜、流式细胞仪等昂贵设备提供成本低廉替代方案的同时，也方便医生和科研人员高效观测组织层次和细胞层次上的蛋白质、核酸等物质的分布情况；本实施例肿瘤免疫微环境的构建方法采用构建类地图地理信息显示方式来全方位\多角度显示肿瘤免疫微环境，不但能在HE、IHC和原位杂交等多个单独层次上展示从粗分辨率到精细分辨率对应的不同微环境内容的分布情况，还能通过融合模式，将多个层次上的多种信息汇聚融合到一起，为探索肿瘤免疫微环境提供丰富的可视化手段。
此外，本实施例还提供一种肿瘤免疫微环境的构建系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述的肿瘤免疫微环境的构建方法的步骤。此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，该计算机程序用于被微处理器执行以实施前述肿瘤免疫微环境的构建方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种原位杂交荧光显微全景图配准方法，其特征在于，包括：
1）将待配准的HE显微全景图与原位杂交荧光显微全景图两者作为配准参考图F和待配准图D，确定配准参数所构成的四维空间FD；
2）在四维空间FD中搜索配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数；
3）基于最优配准参将HE显微全景图和原位杂交荧光显微全景图配准；
步骤2）中在四维空间FD中搜索配准参数包括：
S1）为配准参数确定n组步长Step 1～Step n，其中任意一组步长Step i均包括x轴平移量、y轴平移量、旋转角和缩放比例共四种维度的搜索步长，且n组步长Step 1～Step n中四种维度的搜索步长均按照从大到小的顺序排列；
S2）在四维空间FD中确定第一组步长Step 1确定对应的搜索空间FD 1以及对应的整体搜索空间步数num_Step 1，根据搜索空间FD 1以及对应的整体搜索空间步数num_Step 1遍历每一组配准参数并计算配准参考图F、待配准图D之间的匹配程度，找到匹配程度最好的一组配准参数作为第一组最优配准参数；
S3）将循环变量i从2开始遍历直至n，且针对遍历得到的任意当前的循环变量i：在四维空间FD中确定第i组步长Step i确定对应的搜索空间FD i以及对应的整体搜索空间步数num_ Step i，根据搜索空间FD i以及对应的整体搜索空间步数num_Step i遍历每一组配准参数并计算配准参考图F、待配准图D之间的匹配程度，找到匹配程度最好的一组配准参数作为第i组最优配准参数；最终经过n轮遍历，将第n组最优配准参数作为得到的最终的最优配准参数；
步骤S2）中确定对应的搜索空间FD 1的函数表达式为：
，
上式中，P x1、P y1、α1以及S1分别为搜索空间FD 1内x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数，且有：
，
，
，
，
上式中，Step 1-px、Step 1-py、Step 1-α以及Step 1-S分别为第一组步长Step i的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长，F width为配准参考图F的宽度，F height为配准参考图F的高度；且确定对应的整体搜索空间步数num_Step 1的函数表达式为：
，
上式中，ceil为取整函数；步骤S3）中确定第i组步长Step i确定对应的搜索空间FD i的函数表达式为：
，
上式中，P xi、P yi、α i以及S i分别为搜索空间FD i内x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数，且有：
，
，
，
，
上式中，Step x(i-1)-best、Step y(i-1)-best、Step α(i-1)-best以及Step S(i-1)-best分别为第i-1组最优配准参数Step (i-1)-px、Step (i-1)-py、Step (i-1)-α以及Step (i-1)-S分别为第i-1组步长Step i-1的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长，Step i-px、Step i-py、Step i-α以及Step i-S分别为第i组步长Step i的x轴平移量、y轴平移量、旋转角和缩放比例四种配准参数对应的步长；且确定对应的整体搜索空间步数num_Step i的函数表达式为：
。
2.根据权利要求1所述的原位杂交荧光显微全景图配准方法，其特征在于，所述配准参考图F、待配准图D均对应多种不同大小的分辨率的图层，步骤2）在四维空间FD中搜索配准参数包括：
首先，选择一个分辨率较小的图层为当前图层，针对当前图层在四维空间FD中搜索配准参数，得到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数：
(P xn-best, P yn-best, α n-best,S n-best)
上式中，P xn-best,P yn-best,α n-best,S n-best分别为x轴平移量、y轴平移量、旋转角和缩放比例四种最优配准参数；
然后，依次选择一个分辨率较大的图层为新的当前图层，并针对每一个新的当前图层在四维空间FD中搜索配准参数，且针对每一个新的当前图层在四维空间FD中搜索配准参数时，保持旋转角和缩放比例两种最优配准参数不变，采用的配准参数的搜索初始值为：
(scale*P xn-best,scale*P yn-best,α n-best, S n-best)
上式中，scale为新的当前图层相对上一当前图层的放大倍率，且x轴平移量、y轴平移量的搜索空间FDj为：
FDj={(Pj x,Pj y)│scale*(P xn-best-1)≤Pj x≤scale*(P xn-best+1),scale*(P yn-best-1)≤Pj y≤scale*(P yn-best+1)}
上式中，(Pj x,Pj y)为x轴平移量、y轴平移量对应的搜索点坐标；通过依次在新的当前图层中搜索x轴平移量、y轴平移量两种最优配准参数，最终找到一组使得配准参考图F、待配准图D之间的匹配程度最高的最优配准参数。
3.根据权利要求2所述的原位杂交荧光显微全景图配准方法，其特征在于，所述在新的当前图层中搜索x轴平移量、y轴平移量两种最优配准参数时，所采用的步长为1像素。
4.根据权利要求1所述的原位杂交荧光显微全景图配准方法，其特征在于，步骤2）中配准参考图F、待配准图D之间的匹配程度的计算函数表达式为：
上式中，Cost表示匹配程度，E表示二维图像的期望，F'表示对配准参考图F作类荧光处理后得到的图，且有：F'=constA-F，其中constA表示一个范围为0~255的常数，F表示配准参考图，且配准参考图为HE显微全景图。
5.一种肿瘤免疫微环境的构建方法，其特征在于，包括：
S1）对HE显微全景图进行组织层面的分类识别，分辨出正常组织和肿瘤组织；对肿瘤组织进行分类识别，识别出肿瘤的细胞分布；对正常组织进行分类识得，识别出肿瘤的周围组织；
S2）将一张或多张对应不同免疫指标的IHC显微全景图与HE显微全景图配准；将一张或多张原位杂交荧光显微全景图采用权利要求1～4中任意一项所述的原位杂交荧光显微全景图配准方法与HE显微全景图配准；
S3）针对配准后的各张IHC显微全景图：若该IHC显微全景图的免疫指标为核阳性或膜阳性免疫组化类型，则直接对该IHC显微全景图进行分类识别，分辨出阳性细胞和非阳性细胞，分别统计阳性细胞和非阳性细胞的数量，并根据阳性细胞和非阳性细胞的数量计算核阳性率；若该IHC显微全景图的免疫指标为浆阳性免疫组化类型，则首先将该IHC显微全景图进行分类识别分辨出阳性组织区域和阴性组织区域，并根据HE显微全景图进行分类识别分辨出细胞核，然后根据细胞核所属阳性组织区域或阴性组织区域标记为阳性肿瘤细胞核或阴性肿瘤细胞核，分别统计阳性肿瘤细胞核和阴性肿瘤细胞核的数量，并根据阳性肿瘤细胞核和阴性肿瘤细胞核的数量计算浆阳性率；针对配准后的各张原位杂交荧光显微全景图，分别配以荧光原位杂交标记方法完成对原位杂交荧光显微全景图的标记，以完成二维和三维空间内的核酸分布情况的描述和勾勒；最终将融合所有的HE显微全景图、IHC显微全景图以及原位杂交荧光显微全景图后得到的3D 显微全景图加入展示工具中，得到肿瘤免疫微环境全景图。
6.根据权利要求5所述的肿瘤免疫微环境的构建方法，其特征在于，步骤S3）中的展示工具为地图地理三维展示工具。
7.一种肿瘤免疫微环境的构建系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～4中任意一项所述的原位杂交荧光显微全景图配准方法的步骤，或者权利要求5或6所述的肿瘤免疫微环境的构建方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，该计算机程序用于被微处理器执行以实施权利要求1～4中任意一项所述的原位杂交荧光显微全景图配准方法的步骤，或者权利要求5或6所述的肿瘤免疫微环境的构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210536366.5A CN115049714B (zh) | 2022-05-17 | 2022-05-17 | 原位杂交荧光显微全景图配准、微环境的构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210536366.5A CN115049714B (zh) | 2022-05-17 | 2022-05-17 | 原位杂交荧光显微全景图配准、微环境的构建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115049714A CN115049714A (zh) | 2022-09-13 |
| CN115049714B true CN115049714B (zh) | 2024-06-21 |
Family
ID=83159912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210536366.5A Active CN115049714B (zh) | 2022-05-17 | 2022-05-17 | 原位杂交荧光显微全景图配准、微环境的构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049714B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509287A (zh) * | 2011-10-12 | 2012-06-20 | 西安理工大学 | 针对静止目标的基于经纬度定位和图像配准的查找方法 |
| CN108765474A (zh) * | 2018-04-17 | 2018-11-06 | 天津工业大学 | 一种针对ct与光学扫描牙齿模型的高效配准方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9842391B2 (en) * | 2013-05-14 | 2017-12-12 | Pathxl Limited | Method and apparatus for processing an image of a tissue sample |
| CN111105346A (zh) * | 2019-11-08 | 2020-05-05 | 同济大学 | 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 |
-
2022
- 2022-05-17 CN CN202210536366.5A patent/CN115049714B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102509287A (zh) * | 2011-10-12 | 2012-06-20 | 西安理工大学 | 针对静止目标的基于经纬度定位和图像配准的查找方法 |
| CN108765474A (zh) * | 2018-04-17 | 2018-11-06 | 天津工业大学 | 一种针对ct与光学扫描牙齿模型的高效配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115049714A (zh) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11836950B2 (en) | Quality metrics for automatic evaluation of dual ISH images | |
| EP3345161B1 (en) | Image processing systems and methods for displaying multiple images of a biological specimen | |
| JP6800152B2 (ja) | 組織学画像中の核の分類 | |
| JP6604960B2 (ja) | バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析 | |
| US9697582B2 (en) | Methods for obtaining and analyzing images | |
| JP7197584B2 (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
| DK2973397T3 (en) | Tissue-object-based machine learning system for automated assessment of digital whole-slide glass | |
| CN105122308B (zh) | 用于使用连续染色组织上的单细胞划分的多路生物标志定量的系统和方法 | |
| US20210372889A1 (en) | Systems and methods for meso-dissection | |
| US9740912B2 (en) | Evaluation of co-registered images of differently stained tissue slices | |
| JP7504116B2 (ja) | 距離ベース類似性ラベルを使用する機械学習 | |
| US20050123181A1 (en) | Automated microscope slide tissue sample mapping and image acquisition | |
| US20220351379A1 (en) | Non-tumor segmentation to support tumor detection and analysis | |
| WO2007069233A2 (en) | Automatic characterization of pathological specimen | |
| CN115088022A (zh) | 用于训练机器学习算法和维护患者隐私的联邦学习系统 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN114782372B (zh) | Dna荧光原位杂交bcr/abl融合状态检测方法、检测系统 | |
| CN112270684B (zh) | 一种显微图像免疫组化虚拟多重标记及分析方法及系统 | |
| CN115049714B (zh) | 原位杂交荧光显微全景图配准、微环境的构建方法及系统 | |
| Sieracki¹ et al. | Enumeration and sizing of micro-organisms using digital image analysis | |
| Santamaria-Pang et al. | Epithelial cell segmentation via shape ranking | |
| Sabata | Digital pathology imaging-The next frontier in medical imaging | |
| EP4323956A1 (en) | Optimized data processing for medical image analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |