CN114549520A - 基于全卷积注意力增强网络的视网膜病理切片分析系统 - Google Patents
基于全卷积注意力增强网络的视网膜病理切片分析系统 Download PDFInfo
- Publication number
- CN114549520A CN114549520A CN202210368331.5A CN202210368331A CN114549520A CN 114549520 A CN114549520 A CN 114549520A CN 202210368331 A CN202210368331 A CN 202210368331A CN 114549520 A CN114549520 A CN 114549520A
- Authority
- CN
- China
- Prior art keywords
- retina
- layer
- feature
- pathological section
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001525 retina Anatomy 0.000 title claims abstract description 174
- 230000001575 pathological effect Effects 0.000 title claims abstract description 134
- 238000004458 analytical method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 28
- 238000012360 testing method Methods 0.000 claims abstract description 15
- 238000010276 construction Methods 0.000 claims abstract description 8
- 239000010410 layer Substances 0.000 claims description 274
- 210000004027 cell Anatomy 0.000 claims description 102
- 208000003098 Ganglion Cysts Diseases 0.000 claims description 49
- 208000005400 Synovial Cyst Diseases 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 43
- 230000002207 retinal effect Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 40
- 230000004927 fusion Effects 0.000 claims description 36
- 210000004126 nerve fiber Anatomy 0.000 claims description 36
- 238000010606 normalization Methods 0.000 claims description 27
- 208000017442 Retinal disease Diseases 0.000 claims description 26
- 206010038923 Retinopathy Diseases 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 19
- 230000004286 retinal pathology Effects 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 14
- 230000001965 increasing effect Effects 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 101150058162 SGE1 gene Proteins 0.000 claims description 9
- 239000012792 core layer Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004445 quantitative analysis Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 29
- 239000003814 drug Substances 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 19
- 229940079593 drug Drugs 0.000 abstract description 15
- 230000003902 lesion Effects 0.000 abstract description 8
- 230000007246 mechanism Effects 0.000 abstract description 4
- 230000004770 neurodegeneration Effects 0.000 description 50
- 208000015122 neurodegenerative disease Diseases 0.000 description 45
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 28
- 210000002569 neuron Anatomy 0.000 description 27
- 201000010099 disease Diseases 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 230000036285 pathological change Effects 0.000 description 19
- 231100000915 pathological change Toxicity 0.000 description 19
- 108091006146 Channels Proteins 0.000 description 14
- 241001465754 Metazoa Species 0.000 description 13
- 241000699666 Mus <mouse, genus> Species 0.000 description 13
- 230000008859 change Effects 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 12
- 210000004556 brain Anatomy 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 10
- 210000001519 tissue Anatomy 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000001537 neural effect Effects 0.000 description 9
- 230000007797 corrosion Effects 0.000 description 8
- 238000005260 corrosion Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000002055 immunohistochemical effect Effects 0.000 description 7
- 230000007850 degeneration Effects 0.000 description 6
- 208000024891 symptom Diseases 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 108010084867 N-methyl D-aspartate receptor subtype 2A Proteins 0.000 description 4
- 102000048238 Neuregulin-1 Human genes 0.000 description 4
- 108090000556 Neuregulin-1 Proteins 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 238000002583 angiography Methods 0.000 description 4
- 210000005013 brain tissue Anatomy 0.000 description 4
- 208000010877 cognitive disease Diseases 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 210000001328 optic nerve Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000003660 reticulum Anatomy 0.000 description 4
- 208000024827 Alzheimer disease Diseases 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 210000004498 neuroglial cell Anatomy 0.000 description 3
- 208000037821 progressive disease Diseases 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 210000003994 retinal ganglion cell Anatomy 0.000 description 3
- 210000001116 retinal neuron Anatomy 0.000 description 3
- 210000000278 spinal cord Anatomy 0.000 description 3
- 102100040605 1,2-dihydroxy-3-keto-5-methylthiopentene dioxygenase Human genes 0.000 description 2
- 201000006474 Brain Ischemia Diseases 0.000 description 2
- 206010008120 Cerebral ischaemia Diseases 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 2
- 102100029458 Glutamate receptor ionotropic, NMDA 2A Human genes 0.000 description 2
- 101000966793 Homo sapiens 1,2-dihydroxy-3-keto-5-methylthiopentene dioxygenase Proteins 0.000 description 2
- 101100069466 Mus musculus Gria2 gene Proteins 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 102000006386 Myelin Proteins Human genes 0.000 description 2
- 108010083674 Myelin Proteins Proteins 0.000 description 2
- 201000004810 Vascular dementia Diseases 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000005056 cell body Anatomy 0.000 description 2
- 206010008118 cerebral infarction Diseases 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003364 immunohistochemistry Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005012 myelin Anatomy 0.000 description 2
- 230000000626 neurodegenerative effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010006100 Bradykinesia Diseases 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 102000018899 Glutamate Receptors Human genes 0.000 description 1
- 108010027915 Glutamate Receptors Proteins 0.000 description 1
- 102100030651 Glutamate receptor 2 Human genes 0.000 description 1
- 102100040896 Growth/differentiation factor 15 Human genes 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 101001010449 Homo sapiens Glutamate receptor 2 Proteins 0.000 description 1
- 101000893549 Homo sapiens Growth/differentiation factor 15 Proteins 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 108010008812 Ionotropic Glutamate Receptors Proteins 0.000 description 1
- 102000006541 Ionotropic Glutamate Receptors Human genes 0.000 description 1
- 102000016193 Metabotropic glutamate receptors Human genes 0.000 description 1
- 108010010914 Metabotropic glutamate receptors Proteins 0.000 description 1
- 108090001041 N-Methyl-D-Aspartate Receptors Proteins 0.000 description 1
- 102000004868 N-Methyl-D-Aspartate Receptors Human genes 0.000 description 1
- 102000014413 Neuregulin Human genes 0.000 description 1
- 108050003475 Neuregulin Proteins 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 101000653754 Rattus norvegicus Sphingosine 1-phosphate receptor 5 Proteins 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000000411 amacrine cell Anatomy 0.000 description 1
- 230000006907 apoptotic process Effects 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 201000011529 cardiovascular cancer Diseases 0.000 description 1
- 230000006727 cell loss Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009109 curative therapy Methods 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 239000004060 excitotoxin Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002287 horizontal cell Anatomy 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008897 memory decline Effects 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 206010062198 microangiopathy Diseases 0.000 description 1
- 230000004065 mitochondrial dysfunction Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 210000003007 myelin sheath Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002241 neurite Anatomy 0.000 description 1
- 230000007472 neurodevelopment Effects 0.000 description 1
- 230000017511 neuron migration Effects 0.000 description 1
- 230000009223 neuronal apoptosis Effects 0.000 description 1
- 230000007514 neuronal growth Effects 0.000 description 1
- 210000001743 on-bipolar cell Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000036542 oxidative stress Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007119 pathological manifestation Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000005962 receptors Human genes 0.000 description 1
- 108020003175 receptors Proteins 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000001210 retinal vessel Anatomy 0.000 description 1
- 210000001032 spinal nerve Anatomy 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000005062 synaptic transmission Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000003934 vacuole Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于全卷积注意力增强网络的视网膜病理切片分析系统，包括：视网膜病理切片样本获取模块；视网膜病理切片样本集合构建模块；视网膜病理切片标签制作模块；全卷积注意力增强网络构建模块；全卷积注意力增强网络训练模块，用于对初始的全卷积注意力增强网络进行训练，得到训练完成的全卷积注意力增强网络；测试模块和分析模块。本发明的全卷积注意力增强网络重复使用浅层和深层的特征，在不深化网络的前提下提高浅层和深层特征的精度，并配置了注意力增强机制实现不同通道差异的扩大，从而提高感兴趣区域的分割精度，进而提高评价NDD病变程度及药物疗效的准确性。
Description
技术领域
本发明属于生物医药与计算机视觉相结合的交叉学科领域，具体涉及一种基于全卷积注意力增强网络的视网膜病理切片分析系统。
背景技术
随着医学影像设备的不断发展和普及，如计算机断层扫描，磁共振成像，X射线和超声波等，越来越多的医学影像需要进行辅助分析诊断，这使得医学影像的分析在辅助诊断和治疗方面起着越来越重要的作用。其中，医学图像分割是近年来备受关注的课题之一，图像分割在医学领域应用广泛，尽管已经发表了许多方法，但医学图像的分割仍然是一个具有挑战性的课题。由于医学图像通常数据量少、待分割区域差异大等特点，这使得传统图形学方法对医学图像的分割比较困难，具有分割不准确的问题。
神经退行性疾病(Neurodegenerative Disease,NDD)是由脑部神经元和脊髓神经髓鞘缺失引起的一系列不可逆的进行性疾病，包含阿兹海默症、血管性痴呆、认知障碍、青光眼、小脑共计失调、帕金森等多种疾病。由于这类疾病发病隐秘、进展缓慢的特性，造成很难在发病极早期具有明显的临床表征，当出现明显的临床症状时，疾病也往往进展到末期，失去最佳的治疗窗口。视网膜是机体唯一可直接检测到与神经退行性病变相关变化的外部组织，视网膜的神经纤维层、内网层、内核层、外网层、外核层中存在大量神经细胞，可通过对视网膜神经细胞及其所在各层的变化间接反应神经退行性疾病的进展和药物疗效，因此，视网膜可以对早期NDD进行评估。
由于早期NDD发生时视网膜的变化非常细微，很难用肉眼发现，因此NDD缺乏早期有效的诊断技术。目前临床前研究的评价方法分别为行为学观察、分析病理组织、检测相关蛋白含量；例如，OTC检查只能检测视网膜神经纤维层，且不能识别神经细胞；血管造影只能检测脉络膜等血管相关病变。以上评价方法有很大的局限性，存在人为主观性强、判别不准确、判别不及时的问题。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于全卷积注意力增强网络的视网膜病理切片分析系统，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于全卷积注意力增强网络的视网膜病理切片分析系统，包括：
视网膜病理切片样本获取模块，用于获取多个视网膜病理切片样本；其中，各个视网膜病理切片样本的图像尺寸相同；
视网膜病理切片样本集合构建模块，将视网膜病理切片样本获取模块获取的多个视网膜病理切片样本放入到视网膜病理切片样本集合，得到视网膜病理切片样本集合；其中，视网膜病理切片样本集合中的每个视网膜病理切片样本，表示为：视网膜病理切片样本Si；
视网膜病理切片标签制作模块，用于对视网膜病理切片样本集合中的每个视网膜病理切片样本Si，采用以下方法，制作得到对应的视网膜病理切片标签Ti：
设定神经纤维层、内网层、内核层、外网层和神经节细胞为感兴趣区域；对视网膜病理切片样本Si的各个感兴趣区域的轮廓进行位置识别，分别得到神经纤维层轮廓的图像坐标集、内网层轮廓的图像坐标集、内核层轮廓的图像坐标集、外网层轮廓的图像坐标集和神经节细胞轮廓的图像坐标集；
根据识别得到的神经纤维层轮廓的图像坐标集、内网层轮廓的图像坐标集、内核层轮廓的图像坐标集、外网层轮廓的图像坐标集和神经节细胞轮廓的图像坐标集，可视化生成视网膜病理切片标签Ti；其中，在生成的视网膜病理切片标签Ti中，神经纤维层区域填充第一颜色；内网层区域填充第二颜色；内核层区域填充第三颜色；外网层区域填充第四颜色；神经节细胞区域填充第五颜色；背景区域填充第六颜色；
全卷积注意力增强网络构建模块，用于构建得到初始的全卷积注意力增强网络；
其中，初始的全卷积注意力增强网络包括编码单元和解码单元；
编码单元包括串联的第一层全卷积注意力增强网络，第二层全卷积注意力增强网络,…,第n层全卷积注意力增强网络；解码单元包括串联的第一融合连接层，第二融合连接层,…,第n融合连接层；
全卷积注意力增强网络训练模块，用于对初始的全卷积注意力增强网络进行训练，得到训练完成的全卷积注意力增强网络，训练方法为：
步骤1，输入视网膜病理切片样本集合中的任意视网膜病理切片样本Si；视网膜病理切片样本Si为高度H0*宽度W0*维度D0的切片；
步骤2，第一层全卷积注意力增强网络的处理过程：
第一层全卷积注意力增强网络包括卷积层conv1、批归一化层BN1、激活函数层ReLU1、注意力增强层SGE1和最大池化层MaxPooling1；
步骤2.1，使视网膜病理切片样本Si依次通过卷积层conv1进行特征提取、批归一化层BN1进行归一化、激活函数层ReLU1进行激活和注意力增强层SGE1进行通道注意力增强处理，得到维度增加的视网膜特征图Feature1(0)；其中，视网膜特征图Feature1(0)为高度H0*宽度W0*维度D1的特征图；其中，D1>D0；
其中，注意力增强层SGE1进行通道注意力增强处理的方法为：
步骤2.1.1，视网膜病理切片样本Si依次通过卷积层conv1、批归一化层BN1和激活函数层ReLU1后，得到高度H0*宽度W0*维度D1的特征图Feature(A)；
步骤2.1.2，将特征图Feature(A)按通道维度D1分为D1个子图，每个子图对应一个通道；将任意一个子图表示为：子图Ej，其中，j＝1,2,…,D1；
步骤2.1.3，对于每个子图Ej，计算其所有像素点的平均值gj；
步骤2.1.4，将子图Ej的每个像素的像素值，乘以平均值gj，得到显著性增强的子图Ej；
步骤2.1.5，对显著性增强的子图Ej进行归一化后，再使用Sigmoid函数激活，得到激活后的子图Ej；
步骤2.1.6，将激活后的子图Ej，与步骤2.1.2的子图Ej进行对位相乘，得到最终注意力增强的子图Ej；
步骤2.1.7，将D1个注意力增强的子图Ej进行特征融合，得到视网膜特征图Feature1(0)；
步骤2.2，使视网膜特征图Feature1(0)通过最大池化层MaxPooling1进行下采样，得到维度保持不变，图像尺寸缩小的视网膜特征图Feature1(1)；其中，视网膜特征图Feature1(1)为高度H1*宽度W1*维度D1的特征图；其中，H1<H0；W1<W0；
因此，通过第一层全卷积注意力增强网络，将高度H0*宽度W0*维度D0的切片，提取为高度H1*宽度W1*维度D1的视网膜特征图Feature1(1)；
步骤3，第二层全卷积注意力增强网络，第三层全卷积注意力增强网络,…,第n层全卷积注意力增强网络的处理过程，与第一层全卷积注意力增强网络的处理过程相同；
因此，高度H1*宽度W1*维度D1的视网膜特征图Feature1(1)，经过第二层全卷积注意力增强网络处理后，得到高度H2*宽度W2*维度D2的视网膜特征图Feature2(1)；其中，H2<H1；W2<W1；D2>D1；
依此类推
高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Featuren-1(1)，经过第n层全卷积注意力增强网络处理后，得到高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(1)；其中，Hn<Hn-1；Wn<Wn-1；Dn>Dn-1；
步骤4，第一融合连接层：
步骤4.1，使视网膜特征图Featuren(1)通过卷积层convn”进行特征提取、批归一化层BNn”进行归一化、激活函数层ReLUn”进行激活和注意力增强层SGEn”进行通道增强处理，得到维度增加、尺度不变的视网膜特征图Featuren(2)；
步骤4.2，使视网膜特征图Featuren(1)和视网膜特征图Featuren(2)进行特征融合，得到高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)；
步骤5，第二融合连接层：
步骤5.1，对高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)进行上采样，得到高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)；
步骤5.2，使高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Featuren-1(1)和高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)进行特征融合，得到高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Featuren-1(3)；
步骤6，第三融合连接层，第四融合连接层,…,第n融合连接层的处理过程，与第二融合连接层的处理过程相同；
经第n融合连接层，输出高度H1*宽度W1*维度D1的视网膜特征图Feature1(3)；
步骤7，对高度H1*宽度W1*维度D1的视网膜特征图Feature1(3)进行上采样，得到高度H0*宽度W0*维度D1的视网膜特征图Feature0(3)；
预设置目标维度为6维度，对高度H0*宽度W0*维度D1的视网膜特征图Feature0(3)进行卷积、批归一化、激活和注意力增强处理，得到高度H0*宽度W0*维度为6的视网膜特征图Feature0(4)，视网膜特征图Feature0(4)为全卷积注意力增强网络的输出特征图，表示为：输出特征图Featurei；
步骤8，比较输出特征图Featurei和视网膜病理切片样本Si的视网膜病理切片标签Ti的差异性，计算损失函数值，如果损失函数值小于设定阈值，则对全卷积注意力增强网络的训练完成，得到训练完成的全卷积注意力增强网络，并执行步骤9；否则，调节当前全卷积注意力增强网络的网络参数，输入下一个视网膜病理切片样本，对全卷积注意力增强网络继续进行训练；
测试模块，用于输入被测试的视网膜病理切片Test；识别得到视网膜病理切片Test的神经纤维层区域、内网层区域、内核层区域、外网层区域和神经节细胞区域；
分析模块，用于分别计算识别到的神经纤维层区域、内网层区域、内核层区域、外网层区域和神经节细胞区域的面积，以及神经节细胞区域包括的神经节细胞数量进行计算，输出视网膜病变定量分析参数。
优选的，视网膜病理切片样本获取模块还用于：
对视网膜病理切片样本数量进行扩充，得到扩充后的多个视网膜病理切片样本，具体扩充方法包括以下操作中的任意一种或几种：
操作一：对视网膜病理切片样本进行随机设定角度的旋转；
操作二：对视网膜病理切片样本进行色域变换。
优选的，步骤5.1中，对高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)进行上采样，得到高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)，具体为：
以高度Hn*宽度Wn的视网膜特征图Featuren(3)为中心，在其周围填充0像素点，得到扩充后的图片B；其中，扩充后的图片B为m1行m2列的图片；
设置卷积核为3*3的卷积核；采用滑动窗口方式，在扩充后的图片B上面，以1个像素点为移动步长，每当卷积核移动到一个位置，与图片B对应位置的像素进行卷积，得到特征提取后的特征图的新像素值，由此得到扩大后的视网膜特征图Featuren-1(2)。
本发明提供的基于全卷积注意力增强网络的视网膜病理切片分析系统具有以下优点：
本发明的全卷积注意力增强网络重复使用浅层和深层的特征，在不深化网络的前提下提高浅层和深层特征的精度，并配置了注意力增强机制实现不同通道差异的扩大，从而提高感兴趣区域的分割精度，进而提高评价NDD病变程度及药物疗效的准确性。
附图说明
图1为本发明提供的基于全卷积注意力增强网络的视网膜病理切片分析系统的流程示意图；
图2为本发明提供的视网膜病理切片样本图；
图3为本发明提供的视网膜病理切片标签图；
图4为本发明提供的本发明提供的分割结果图；
图5为本发明提供的网络识别效果分析对比图；
图6为本发明提供的对神经节细胞进行计数的示意图；
图7为本发明提供的只计算连通域面积大于一定阈值的连通域的示意图；
图8为本发明提供的对小鼠视网膜病理细胞和细胞层进行分割后的分割结果图；
图9为本发明提供的对一个感兴趣区域进行阈值二值化的示意图；
图10为本发明提供的视网膜自定义参数图；
图11为本发明提供的不同病变老鼠视网膜HE图像对比图；
图12为本发明提供的视网膜HE免疫组化图片及阳性率计算图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明属于生物医药技术领域与计算机视觉领域相结合的交叉学科，应用于临床前研究，将相关疾病模型的视网膜HE病理切片采集的图像，进行人工智能定量检测，准确识别到神经纤维层、内网层、内核层、外网层和神经节细胞的区域，通过对各区域的面积和数量等进行分析，可获取视网膜病变定量结果，以达到对早期及进展过程中神经退行性疾病细微变化的定量分析，可用于评价病变程度及药物作用疗效。
本发明的人工智能方法评价视网膜技术是基于全卷积注意力增强网络，采用图像分割技术进行感兴趣区域的精细分割，利用形态学和连通域分析进行细胞计数，以及利用连通域统计等技术进行层间面积、厚度、周长的计算，从而评价NDD疾病程度及药物疗效。与传统的深度卷积神经网络相比，本发明的全卷积注意力增强网络重复使用浅层和深层的特征，在不深化网络的前提下提高浅层和深层特征的精度，并配置了注意力增强机制实现不同通道差异的扩大，从而提高感兴趣区域的分割精度，进而提高评价NDD病变程度及药物疗效的准确性。
本发明主要具有两点创新：第一，视网膜病变可用于分析评价NDD。第二，提供一种全卷积注意力增强网络，可用于对视网膜病理切片进行精细分割，从而可评价视网膜病变程度。下面对这两点分别详细介绍：
(一)视网膜病变可用于分析评价NDD
(1.1)视网膜病变
视网膜病变：指在各种因素的影响下发生的改变，如细胞数量异常、水肿、出血等，称为视网膜病变。通常认为视网膜神经元病变早于微血管病变。
其中视网膜神经元包括神经节细胞、视杆细胞和视椎细胞、无长突细胞、双极细胞、水平细胞；Müller细胞属于视网膜中的胶质细胞，是唯一跨越全层的细胞，与视网膜神经元和视网膜血管具有密切联系。这些细胞排列规则，组成了视网膜各层，细胞之间相互交错，相互协作，共同发挥着作用。
当视网膜病变出现细胞数量异常，其病变部位主要位于视网膜神经纤维层(RNFL)、内网层(IPL)、内核层(INL)和外网层(OPL)。其中神经节细胞是视网膜的输出神经元，是神经元的重要细胞器。视网膜神经节细胞的轴突汇集形成视神经。视网膜神经属于中枢神经系统的一部分。因此NDD病变的神经元改变最有可能先累及神经纤维层和神经节细胞。双极细胞是视网膜的重要组成部分，其连接视细胞和神经节细胞，其胞体位于内核层，与外网层、内网层以及神经纤维层中的神经节细胞相互交错。在神经节细胞和神经纤维层出现异常，进一步病变会涉及内网层、内核层及外网层的改变。
(1.2)NDD和现有的临床前研究评价方法
神经退行性疾病(Neurodegenerative Disease,NDD)是由脑部神经元和神经髓鞘缺失引起的一系列进行性的疾病。NDD的发生最主要由氧化应激、线粒体功能障碍、兴奋性毒素和免疫炎症四种病因导致，包含阿兹海默症、血管性痴呆、认知障碍、青光眼、小脑共计失调、帕金森等多种疾病。这些疾病虽然有不同的病理表现，如认知障碍，记忆力下降，动作迟缓等，但同样都是由于脑部神经元的变性和缺失引起的功能障碍。
现状：NDD发病率已经远远超过心血管和癌症，随着近年来老龄化趋势日益增加，成为了严重危害人类健康的一类疾病，同时由于迄今还没有出现治愈性治疗手段，主要依靠长期服用药物来控制疾病进展，只能改善患者症状，延缓疾病的恶化，并不能阻止病情的发展，而随之产生的高昂治疗费用对社会产生了极大影响。
目前临床前研究中对NDD病变程度和药物作用效果的现有评价方法主要分为三种：分别为行为学观察、分析病理组织、检测相关蛋白含量；行为学观察是依据动物状态和症状进行评分的判定其疾病程度，比如将动物进行爬杆运动评分或水迷宫记忆评测，其主观性较强，观察不到神经退行性病变的早期细微变化，参考意义较小；病理组织分析，例如对于脑部HE切片的病理分析，能观察到的变化也很微小、动物在行为学上变化不明显，组织结构基本上也不会出现显著的改变，无法判别疾病的发生及进程；蛋白含量检测也是同样道理，相关蛋白含量发生显著变化时，神经元和神经髓鞘缺失也已达到了十分严重的状态。综上所述，因NDD退行性特征，传统的评价方法有很大的局限性，存在主观性强，变化不明显，无法判别早期疾病状态和药物疗效。因此迫切需要一种能评价NDD病变程度和药物治疗效果的方法。
(1.3)视网膜病变分析评价NDD
由于NDD病变为脑部神经元缺失或变性，同时脑部神经元缺失或变性会影响视神经的信息传输功能，视网膜神经元由于脑部神经元的病变，两者之间不能建立起完整的信息联系，进而视网膜神经元也会遭到破坏，例如视网膜神经元出现缺失，变性的情况；由于视网膜各层是细胞有序排列形成，神经细胞及共同协作的细胞一旦发生改变，必然会影响视网膜层的改变，如层级厚度的改变，产生空泡变性，以及有不属于本层级的细胞乱入等，引起视网膜的异常。
鉴于视网膜是机体唯一可直接检测到有与神经退行性病变相关变化的外部组织，且视网膜神经元与脑组织神经元是细胞同源，紧密联系，共同完成机体运作，本发明采用视网膜病变评价NDD病变程度及药物疗效。
以上说明视网膜病变可以用于评价NDD病变程度及药物疗效，但由于NDD属于慢性、进行性的一类疾病，其主要特征为起病隐匿，发病时间迟缓，疾病呈进行性发展。疾病发生从神经元的进行性变性开始，疾病早期无明显症状，神经元变性达到一定程度后，逐渐累及血管及其他临床表现发生在数十年后。随着年龄增加，身体免疫和治愈功能的降低，症状出现时NDD一般为中期和晚期，错过最佳干预期，神经元已经遭到了过度的损害，造成了不可逆的疾病状态。
所以由于NDD起病隐匿，视网膜病变非常细微，很难用肉眼看到，目前视网膜检测技术包括血管造影技术和OTC，但存在不足。(1)技术缺点：血管造影只针对血管方面，看不到神经元的改变；(2)OTC只针对神经纤维层，只能判别厚度，且识别不到神经节细胞，无法看到神经细胞的改变。OTC和血管造影现阶段只能应用在临床，不能用于视网膜病变评价NDD。设备无法放入动物房，动物房需要有专门的实验仪器；动物眼睛与人的眼睛大小，颜色，结构有差异，尤其是老鼠，所以不能将临床仪器直接用于动物；动物在不麻醉情况，很难采集到动物的视网膜图像，若麻醉，动物眼睛状态不允许采集，对疾病发展状态及药物疗效评价或有影响。尚未有人工智能用于评价视网膜神经纤维层等各层变化的技术，因此本发明采用人工智能评价视网膜的方法间接用于NDD病变程度及药物疗效的评价可以避免上述存在的不足之处。
(二)基于全卷积注意力增强网络的视网膜病理切片分析系统
本发明使用全卷积注意力增强网络，首先对病理图片集中RNFL、IPL、INL、OPL各层以及神经节细胞进行标注，制作样本标签。然后，使用全卷积注意力增强网络对视网膜进行分割，分割过程中，反复进行卷积、归一化、激活、注意力增强和下采样，最终得到特征图，特征图进行特征融合，最终得到分割结果图。
具体的，参考图1，本发明提供一种基于全卷积注意力增强网络的视网膜病理切片分析系统，包括：
视网膜病理切片样本获取模块，用于获取多个视网膜病理切片样本；其中，各个视网膜病理切片样本的图像尺寸相同；
视网膜病理切片样本获取模块还用于：
对视网膜病理切片样本数量进行扩充，得到扩充后的多个视网膜病理切片样本，具体扩充方法包括以下操作中的任意一种或几种：
操作一：对视网膜病理切片样本进行随机设定角度的旋转；
操作二：对视网膜病理切片样本进行色域变换。
例如，(1)50％概率的随机水平翻转；(2)随机的RGB转HSV的色域变换；(3)0-15度的随机旋转。将视网膜病理切片样本进行旋转、色域变换，可提高计算机对各种类型图片的适应。
本发明中，以视网膜病理切片样本为基础，进行数据增强，可以提高模型训练的鲁棒性。
视网膜病理切片样本集合构建模块，将视网膜病理切片样本获取模块获取的多个视网膜病理切片样本放入到视网膜病理切片样本集合，得到视网膜病理切片样本集合；其中，视网膜病理切片样本集合中的每个视网膜病理切片样本，表示为：视网膜病理切片样本Si；
视网膜病理切片标签制作模块，用于对视网膜病理切片样本集合中的每个视网膜病理切片样本Si，采用以下方法，制作得到对应的视网膜病理切片标签Ti：
设定神经纤维层、内网层、内核层、外网层和神经节细胞为感兴趣区域；对视网膜病理切片样本Si的各个感兴趣区域的轮廓进行位置识别，分别得到神经纤维层轮廓的图像坐标集、内网层轮廓的图像坐标集、内核层轮廓的图像坐标集、外网层轮廓的图像坐标集和神经节细胞轮廓的图像坐标集；
根据识别得到的神经纤维层轮廓的图像坐标集、内网层轮廓的图像坐标集、内核层轮廓的图像坐标集、外网层轮廓的图像坐标集和神经节细胞轮廓的图像坐标集，可视化生成视网膜病理切片标签Ti；其中，在生成的视网膜病理切片标签Ti中，神经纤维层区域填充第一颜色；内网层区域填充第二颜色；内核层区域填充第三颜色；外网层区域填充第四颜色；神经节细胞区域填充第五颜色；背景区域填充第六颜色；
在制作视网膜病理切片标签时，将每个感兴趣区域填充不同的颜色，可提高后续与视网膜病理切片测试图对比计算损失函数时的比对效率，也可以同时简化比对的复杂性。图2为视网膜病理切片样本图。图3为视网膜病理切片标签图。
全卷积注意力增强网络构建模块，用于构建得到初始的全卷积注意力增强网络；
其中，初始的全卷积注意力增强网络包括编码单元和解码单元；
编码单元包括串联的第一层全卷积注意力增强网络，第二层全卷积注意力增强网络,…,第n层全卷积注意力增强网络；解码单元包括串联的第一融合连接层，第二融合连接层,…,第n融合连接层；
具体的，本发明设计一种对输入图像具有精细分割精度的全卷积注意力增强网络。具有以下特点：
1)采用卷积操作进行特征提取，具有平移不变性、旋转不变性、尺度不变性的特点，即对输入网络的图像进行平移、旋转或缩放时，对网络提取的特征没有影响。
2)在每次卷积操作后，采用注意力增强模块提高通道差异性，进而提高分割精度。
3)采用基于跳跃连接的多层级特征融合方式，实现特征融合。
具体的，视网膜病理图像的语义较为简单、结构固定，因此并不需要重复筛选过滤无用的信息，然而，视网膜病理图像的所有特征都很重要，因此低级特征和高级语义特征都需要得到网络的重视，所以，本发明设计的U型结构的跳跃结构，能够较好的结合采样前后的语义信息，达到更好的分割精度。
输入图像经过骨干网络后，具有五层尺度的特征图，最底层的特征图经过转置卷积上采样后同样有五层尺度的特征图，将左右两侧的特征图进行拼接融合，深度融合采样前后的语义信息。
全卷积注意力增强网络训练模块，用于对初始的全卷积注意力增强网络进行训练，得到训练完成的全卷积注意力增强网络，训练方法为：
步骤1，输入视网膜病理切片样本集合中的任意视网膜病理切片样本Si；视网膜病理切片样本Si为高度H0*宽度W0*维度D0的切片；
步骤2，第一层全卷积注意力增强网络的处理过程：
第一层全卷积注意力增强网络包括卷积层conv1、批归一化层BN1、激活函数层ReLU1、注意力增强层SGE1和最大池化层MaxPooling1；
步骤2.1，使视网膜病理切片样本Si依次通过卷积层conv1进行特征提取、批归一化层BN1进行归一化、激活函数层ReLU1进行激活和注意力增强层SGE1进行通道注意力增强处理，得到维度增加的视网膜特征图Feature1(0)；其中，视网膜特征图Feature1(0)为高度H0*宽度W0*维度D1的特征图；其中，D1>D0；
其中，注意力增强层SGE1进行通道注意力增强处理的方法为：
步骤2.1.1，视网膜病理切片样本Si依次通过卷积层conv1、批归一化层BN1和激活函数层ReLU1后，得到高度H0*宽度W0*维度D1的特征图Feature(A)；
步骤2.1.2，将特征图Feature(A)按通道维度D1分为D1个子图，每个子图对应一个通道；将任意一个子图表示为：子图Ej，其中，j＝1,2,…,D1；
步骤2.1.3，对于每个子图Ej，计算其所有像素点的平均值gj；
步骤2.1.4，将子图Ej的每个像素的像素值，乘以平均值gj，得到显著性增强的子图Ej；
步骤2.1.5，对显著性增强的子图Ej进行归一化后，再使用Sigmoid函数激活，得到激活后的子图Ej；
步骤2.1.6，将激活后的子图Ej，与步骤2.1.2的子图Ej进行对位相乘，得到最终注意力增强的子图Ej；
步骤2.1.7，将D1个注意力增强的子图Ej进行特征融合，得到视网膜特征图Feature1(0)；
采用本发明提供的通道注意力增强处理方式，在不增加参数量和计算量的情况下也能使分割性能得到极强的增益。由于一个完整的特征是由许多子特征组成的，并且这些子特征会以组的形式分布在每一层的特征里，但是这些子特征会经由相同方式处理，都会有背景噪声影响，这样会导致错误的识别和定位结果。而通过在每个组里生成注意力因素，这样就能得到每个子特征的重要性，每个组也可以有针对性的学习和抑制噪声。
步骤2.2，使视网膜特征图Feature1(0)通过最大池化层MaxPooling1进行下采样，得到维度保持不变，图像尺寸缩小的视网膜特征图Feature1(1)；其中，视网膜特征图Feature1(1)为高度H1*宽度W1*维度D1的特征图；其中，H1<H0；W1<W0；
因此，通过第一层全卷积注意力增强网络，将高度H0*宽度W0*维度D0的切片，提取为高度H1*宽度W1*维度D1的视网膜特征图Feature1(1)；
步骤3，第二层全卷积注意力增强网络，第三层全卷积注意力增强网络,…,第n层全卷积注意力增强网络的处理过程，与第一层全卷积注意力增强网络的处理过程相同；
因此，高度H1*宽度W1*维度D1的视网膜特征图Feature1(1)，经过第二层全卷积注意力增强网络处理后，得到高度H2*宽度W2*维度D2的视网膜特征图Feature2(1)；其中，H2<H1；W2<W1；D2>D1；
依此类推
高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Feature n-1(1)，经过第n层全卷积注意力增强网络处理后，得到高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(1)；其中，Hn<Hn-1；Wn<Wn-1；Dn>Dn-1；
步骤4，第一融合连接层：
步骤4.1，使视网膜特征图Featuren(1)通过卷积层convn”进行特征提取、批归一化层BNn”进行归一化、激活函数层ReLUn”进行激活和注意力增强层SGE n”进行通道增强处理，得到维度增加、尺度不变的视网膜特征图Featuren(2)；
步骤4.2，使视网膜特征图Featuren(1)和视网膜特征图Featuren(2)进行特征融合，得到高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)；
步骤5，第二融合连接层：
步骤5.1，对高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)进行上采样，得到高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)；
本步骤具体为：
以高度Hn*宽度Wn的视网膜特征图Featuren(3)为中心，在其周围填充0像素点，得到扩充后的图片B；其中，扩充后的图片B为m1行m2列的图片；
设置卷积核为3*3的卷积核；采用滑动窗口方式，在扩充后的图片B上面，以1个像素点为移动步长，每当卷积核移动到一个位置，与图片B对应位置的像素进行卷积，得到特征提取后的特征图的新像素值，由此得到扩大后的视网膜特征图Featuren-1(2)。
步骤5.2，使高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Feature n-1(1)和高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)进行特征融合，得到高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Featuren-1(3)；
步骤6，第三融合连接层，第四融合连接层,…,第n融合连接层的处理过程，与第二融合连接层的处理过程相同；
经第n融合连接层，输出高度H1*宽度W1*维度D1的视网膜特征图Feature1(3)；
步骤7，对高度H1*宽度W1*维度D1的视网膜特征图Feature1(3)进行上采样，得到高度H0*宽度W0*维度D1的视网膜特征图Feature0(3)；
预设置目标维度为6维度，对高度H0*宽度W0*维度D1的视网膜特征图Feature0(3)进行卷积、批归一化、激活和注意力增强处理，得到高度H0*宽度W0*维度为6的视网膜特征图Feature0(4)，视网膜特征图Feature0(4)为全卷积注意力增强网络的输出特征图，表示为：输出特征图Feature i；
由于视网膜病理图像难以获取且标注困难，大型的骨干网络由于数据量少往往容易造成过拟合的现象，因此骨干网络不宜过深，而浅层的网络往往难以提取到深层次的语义信息，因此，本发明设计了以上的全卷积注意力增强网络，通过加入注意力增强模块构建骨干网络。当输入为512×512×3的视网膜病理切片样本时，首先对其进行两次卷积、归一化激活，其特征经过注意力增强后，进行最大池化压缩特征，再反复进行卷积、归一化、激活、注意力增强和最大池化，最终得到32×32×512的特征图，每经过一个池化层就代表一个尺度，包括原图的尺度一共有5个尺度。
本发明的全卷积注意力增强网络，在不深化网络的前提下，重复使用了浅层和深层的特征，提高了浅层和深层特征的精度，最大限度实现特征重用和横向跳跃连接的方式，进行不同方式的特征融合，即能够分割结果最大的特征图同时也提高特征图的准确性。
步骤8，比较输出特征图Feature i和视网膜病理切片样本Si的视网膜病理切片标签Ti的差异性，计算损失函数值，如果损失函数值小于设定阈值，则对全卷积注意力增强网络的训练完成，得到训练完成的全卷积注意力增强网络，并执行步骤9；否则，调节当前全卷积注意力增强网络的网络参数，输入下一个视网膜病理切片样本，对全卷积注意力增强网络继续进行训练；
实际应用中，使用pixel-wise softmax作为损失函数，pixel-wise softmax是对每个像素对应的输出单独做softmax，也就是做了w×h个softmax，其中w,h为图片的宽高，因此，损失函数可以写作：
其中，x可以看作是某一个像素点，σ(x)表示x这个点对应的类别标签，pσ(x)(x)表示x这个点的输出在类别σ(x)的softmax的激活值，w(x)表示x这个点在该区域的对应权重，可以反映出该点在当前位置的重要程度。
此外，由于Adam融合了自适应学习率的梯度下降算法和动量梯度下降算法的优点，既能适应稀疏梯度，又能缓解梯度震荡的问题，因此我们选择Adam优化器来优化我们的模型。
测试模块，用于输入被测试的视网膜病理切片Test；识别得到视网膜病理切片Test的神经纤维层区域、内网层区域、内核层区域、外网层区域和神经节细胞区域；
分析模块，用于分别计算识别到的神经纤维层区域、内网层区域、内核层区域、外网层区域和神经节细胞区域的面积，以及神经节细胞区域包括的神经节细胞数量进行计算，输出视网膜病变定量分析参数。
具体计算方式可以为：
对分割后的结果图进行图形学处理，包括像素阈值处理、二值化处理、腐蚀运算、膨胀运算，最终得到每个区间的连通域，得到各层的连通域后便能简便的获取各层参数，具体做法如下。
1)细胞层周长、面积、厚度的计算
首先对分割结果图进行阈值二值化，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。
经过阈值二值化后整个图像的单个细胞层更加直观，每一层的轮廓边界得到更好的区分，这样就能通过边界函数获取感兴趣区域的边界值，通过连通域边界值分析即可获取感兴趣区域的周长面积和厚度；
2)细胞面积、个数的计算
对细胞进行同样的阈值二值化处理。
在二值化后，通过图像开运算将图像中的高亮区域进行缩减细化，即腐蚀操作，这样能将粘连的细胞分离以更好的计算生物学衍生参数，其运行结果图比原图的高亮区域更小，之后，将分离开的区域通过膨胀运算扩张回原来的大小。利用膨胀和腐蚀的结合运算，可以更好地处理连通区域的划分，将不属于该区域的层或细胞分离，将属于该区域的地方粘合，从而才能单个统计分离的细胞连通域的个数和面积。
本发明中，对视网膜病理细胞和细胞层进行分割后，就能获取病理图片中的生物学细节信息，包括最上层细胞数、细胞面积、每一层的细胞厚度、周长、面积等相应指标。具体包括：识别到神经纤维层(RNFL)、内网层(IPL)、内核层(INL)、外网层(OPL)和神经节细胞。将RNFL面积定义为SR，厚度定义为HR；IPL面积定义为SIPL，厚度定义为HIPL；INL面积定义为SINL，厚度定义为HINL；OPL面积定义为SOPL，厚度定义为HOPL；神经节细胞数量定义为A，神经节细胞总面积为SA。
本发明通过视网膜图像的精细分割，细胞计数、以及层间面积、厚度、周长的计算定量分析视网膜病变程度来评价NDD的病变程度，且由于视网膜与脑组织的特性，说明视网膜病变与NDD病变程度为正相关。
下面介绍两个实施例：
实施例一：
以小鼠视网膜切片为例，下面介绍一个实施例：
1)视网膜病理切片样本的制备
采集多张不同年龄、大小、颜色的小鼠视网膜病理切片样本，进行数据增强以提高模型训练的鲁棒性，最终共得到350张视网膜病理切片样本。
2)视网膜病理切片标签制作
对每张视网膜病理切片样本的神经纤维层、内网层、内核层、外网层和神经节细胞进行标注，其余部分视作背景，包括背景共计6类。随机划分300张用于训练，50张用于测试。
3)全卷积注意力增强网络的训练
采用训练样本，对构建的全卷积注意力增强网络进行训练。其中，训练轮数100轮，批大小设置为4，学习率设置为0.001，学习率衰减步长为1，衰减系数0.92。采用Adam优化器对网络中的权值进行优化。
4)结果
4.1)评价指标
使用以下4个指标评估本发明全卷积注意力增强网络在像素级的分割性能：
1、像素精度(pixel accuracy,PA)，即逐像素计算精度，公式如下：
2、平均像素精度(mean pixel accuracy,MPA)，MPA考虑来自不同类别的像素数量，即计算所有类别的平均精度，公式如下：
3、交并比(intersection over union,IOU)，模型对某一类别预测结果和真实值的交集与并集的比值，公式如下：
4、平均交并比(Mean intersection over union,MIOU)，模型对每一类预测的结果和真实值的交集与并集的比值，求和再平均的结果，公式如下：
其中TP代表真正例(True Positive)，FP代表假正例(False Positive)，TN代表真反例(True Negative)，FN代表假反例(False Negative)，k代表分类的个数，本发明中k为6。
4.2)分割结果
对Unet和本发明设计的全卷积注意力增强网络分别在小鼠视网膜病理细胞测试集上推理的得分如下表所示，可以看出本发明设计的全卷积注意力增强网络基本上每个得分都超过了传统的Unet。
分割结果图如图4所示。网络识别效果分析对比如图5所示。
由上表、图4和图5可以看出，本发明设计的全卷积注意力增强网络的性能整体优于传统Unet网络结构。与传统Unet相比，本发明设计的全卷积注意力增强网络的准确性和交并比整体较高，只有在少数层，如Background、IPL、OPL的准确度与Unet相似，而在OPL、RNFL、CELL层的分割，本发明设计的全卷积注意力增强网络比传统Unet交并比明显提升，而OPL、RNFL、CELL层相对来说都比较小，特别是CELL层很不规则，可以看出，本发明加入注意力模块后，对一些不规则层和小层的分割精度明显提高。
4.3)生物学衍生参数统计结果
在得到分割结果图后，在分割结果图上进行生物学衍生参数的计算。在计算细胞数时，可能会存在分割错误导致计数不准确的问题，通常被错误划分为细胞的像素很少，这样在计算连通域时，错误分割出来的细胞像素生成的连通域往往很小，因此本发明不计算过小的细胞，即通过腐蚀运算将过小的细胞腐蚀掉；而对于大面积粘连的细胞，即便通过腐蚀运算后也不能将其分离开，因此在得到最终的计数结果前，还对大面积粘连的连通域计算外接矩形的宽高比，通过宽高比近似的估计出粘连区域的细胞数并进行累计。如图6所示，为对神经节细胞进行计数的示意图。
在计算其余细胞层的参数时，也存在背景被错误分割的问题，因此在计算当前区域的连通域时，只计算连通域面积大于一定阈值的连通域，如图7所示，为只计算连通域面积大于一定阈值的连通域的示意图。
实施例二：
本发明设计一种全卷积注意力增强网络，用于对视网膜病理切片进行分割。当输入512×512×3的视网膜病理切片样本时，该网络首先对其进行两次卷积、归一化、激活，其特征经过注意力增强后，通过步长为2的卷积进行下采样压缩特征，再反复进行卷积、归一化、激活、注意力增强和下采样，最终得到32×32×512的特征图，每经过一个池化层就代表一个尺度，包括原图的尺度一共有5个尺度。
输入图像经过骨干网络后有五层尺度的特征图，每一层特征图经过转置卷积上采样后与上层特征图进行特征融合，实现特征重用，将该过程重复应用于每层特征进行拼接融合，深度融合采样前后的语义信息。
对小鼠视网膜病理细胞和细胞层进行分割后，得到图8所示的分割结果图，基于分割结果图，就能获取病理图片中的生物学细节信息。首先确定分割结果图的一个感兴趣区域，将感兴趣区域像素点的灰度值设置为0，将其他区域像素点的灰度值设置为1，进行阈值二值化，使整个图像呈现出明显的只有黑和白的视觉效果，如图9所示，为一个感兴趣区域进行阈值二值化的示意图。经过阈值二值化后整个图像的单个细胞层更加直观，每一层的轮廓边界得到更好的区分，这样就能通过边界函数获取感兴趣区域的边界值，通过连通域计数就可以获得细胞个数等信息，通过连通域边界值分析即可获取感兴趣区域的周长面积和厚度。
按照目标区域对小鼠视网膜病理图像进行分割，并对分割后结果进行图形学处理，包括像素阈值处理、二值化处理、腐蚀运算、膨胀运算，最终得到每个区间的连通域。对数据集中RNFL、IPL、INL、OPL各层以及神经节细胞进行标注，总共标记3500张图片，其中随机划分3000张用于训练，500张用于测试。训练前进行数据增强以提高模型训练的鲁棒性，包括50％概率的随机水平翻转，0.5-1.5倍之间图像的随机缩放，随机的RGB转HSV的色域变换，以及0-15度的随机旋转。训练轮数100轮，批大小设置为4，学习率设置为0.001，学习率衰减步长为1，衰减系数0.92。采用Adam优化器对网络中的权值进行优化。
在得到上述分割结果后，在分割图上进行生物学衍生参数的计算。在计算细胞数时，对于分割错误的像素生成的连通域很小，通过腐蚀运算将过小的细胞进行腐蚀过滤；而对于大面积粘连的细胞，通过连通域计算外接矩形的宽高比，通过宽高比来近似的估计出粘连区域的细胞数并进行累计。其他目标区域参数计算时仍采用上述方法，只计算连通域面积大于一定阈值的连通域。
根据视网膜病变的自定义参数，将视网膜病变定量分析。如图10所示，为视网膜自定义参数图。
RNFL面积定义为SR，厚度定义为HR；IPL面积定义为SIPL，厚度定义为HIPL；INL面积定义为SINL，厚度定义为HINL；OPL面积定义为SOPL，厚度定义为HOPL；神经节细胞数量定义为A，神经节细胞总面积为SA(Fig1)。当出现神经节细胞丢失或凋亡时，SA和A的数值下降，当IPL和OPL中出现空泡变性或神经突触减少时，SIPL、HIPL、SOPL、HOPL数值下降；当INL出现空泡变性和神经细胞丢失或凋亡时，SINL、HINL数值下降。
见图11：kk为正常鼠视网膜HE图像；DR为糖尿病老鼠视网膜HE图像；MCAO为脑缺血老鼠视网膜HE图像。MSG模型RNFL、IPL、INL明显变薄，并出现神经细胞紊乱、神经节细胞数量减少、外网层结构异常等病理特征；脑缺血模型老鼠视网膜神经节细胞数量减少，神经细胞出现紊乱，外网层结构出现了异常；正常老鼠视网膜各层结构清晰，神经纤维层完整，神经节细胞排列紧密有序，内网层形态完成，内核层细胞排列有序，可见完整的外网层结构。
见图12，为视网膜HE免疫组化图片及阳性率计算图。其中，A1为正常ICR小鼠GLUR2免疫组化图像，A2为MSG小鼠GLUR2免疫组化图像，A3为GLUR2阳性率计算结果；B1为正常ICR小鼠NMDAR2A免疫组化图像，B2为MSG小鼠NMDAR2A免疫组化图像，B3为NMDAR2A阳性率计算结果；C1为正常ICR小鼠NRG1免疫组化图像，C2为MSG小鼠NRG1免疫组化图像，C3为NRG1阳性率计算结果；所有HE和免疫组化图像均为40倍拍照。具体的，双极细胞是视网膜的重要组成部分，其连接视细胞和神经节细胞，其胞体位于内核层，与外网层、内网层以及神经纤维层中神经节细胞相互交错。双极细胞上存在代谢型谷氨酸受体(GluR)和离子型谷氨酸受体2A亚型(NMDAR2A)，以保证光刺激后神经信号向视神经的传导。NRG1是一种神经调节蛋白，在脑中主要集中表达于神经元的突触以及胶质细胞，通过调节神经元受体(NMDAR等)的表达从而影响神经元突触、神经元迁徙以及神经元的生长发育等作用。神经元NRG-1表达的缺失会导致神经传递减少。
视网膜病理改变和神经退行性病变的视网膜病理改变有相似性，只是存在神经退行性疾病不同程度的病变，视网膜的病理改变程度不一致。早期的神经退行性视网膜病变基本出现在RNFL，神经节细胞数量缺失；而视网膜的病变同样出现在RNFL，神经节细胞数量的缺失，随着疾病的发展进程，不断累及其他各层及各层细胞。本发明中视网膜病理改变与神经退行视网膜病变相符，可以根据视网膜病变的自定义参数，将视网膜病变定量分析，用于评价神经退行疾病的病变程度及药物作用疗效。
实施例三：
本发明举例：脑缺血动物视网膜出现不同程度的病变，视网膜神经节细胞数量减少，神经细胞出现紊乱，外网层结构出现异常。
临床举例：阿兹海默症患者存在不同程度的视网膜纤维层改变，视神经改变与病情；轻度认知功能障碍的患者视网膜神经纤维层有变薄趋势；多发性硬化症状患者存在视网膜神经纤维层的改变，RNFL的缺失是MS患者的早期表现；帕金森患者RNFL视网膜外丛状层(外网层)与正常患者相比明显变薄，其他层也有不同程度的变薄。
基于视网膜神经纤维层、内网层、内核层、外网层、外核层等各层由各种神经元和胶质细胞的规则分布形成；由于视网膜与脑组织及脊髓组织被认为具有共同的细胞来源，说明视网膜神经元与NDD疾病大脑中脑组织及脊髓组织神经元细胞性质相同，当NDD发生出现脑组织及脊髓组织神经元缺失和异常时，视网膜上的神经元也会出现相应的变化，因此视网膜病变可以对NDD疾病程度和药物疗效进行评价。
但由于NDD疾病进行性的特点，NDD早期的视网膜病变非常细微，已知未有用于NDD早期病变的技术代替人眼观察，本发明使用人工智能评价视网膜的技术，基于全卷积注意力增强网络对视网膜病理图像进行分割后，应用形态学和连通域分析对视网膜神经元缺失、变性及视网膜结构层异常形成量化，用于间接评价NDD疾病程度和药物疗效。
因此，本发明采用视网膜人工智能的评价方法，依据视网膜病变的自定义参数，将视网膜病变的定量分析评价NDD的病变程度及药物作用疗效，与目前评价NDD方法比较，本发明具有便捷、客观性强、能早期预测的特点。且现阶段尚未有人工智能用于评价视网膜神经纤维层等各层变化的技术。
本发明提供的基于全卷积注意力增强网络的视网膜病理切片分析系统，具有以下优点：
本发明的全卷积注意力增强网络重复使用浅层和深层的特征，在不深化网络的前提下提高浅层和深层特征的精度，并配置了注意力增强机制实现不同通道差异的扩大，从而提高感兴趣区域的分割精度，进而提高评价NDD病变程度及药物疗效的准确性。
本领域普通技术人员可以理解，实现上述实施例系统，可以通过与计算机程序指令相关的硬件来完成，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括方法的实施例的流程。其中，上述的存储介质可为磁碟、光盘、只读存储记忆体(ROM：Read-Only Memory)或随机存储记忆体(RAM：RandomAccess Memory)等。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。
Claims (3)
1.一种基于全卷积注意力增强网络的视网膜病理切片分析系统，其特征在于，包括：
视网膜病理切片样本获取模块，用于获取多个视网膜病理切片样本；其中，各个视网膜病理切片样本的图像尺寸相同；
视网膜病理切片样本集合构建模块，将视网膜病理切片样本获取模块获取的多个视网膜病理切片样本放入到视网膜病理切片样本集合，得到视网膜病理切片样本集合；其中，视网膜病理切片样本集合中的每个视网膜病理切片样本，表示为：视网膜病理切片样本Si；
视网膜病理切片标签制作模块，用于对视网膜病理切片样本集合中的每个视网膜病理切片样本Si，采用以下方法，制作得到对应的视网膜病理切片标签Ti：
设定神经纤维层、内网层、内核层、外网层和神经节细胞为感兴趣区域；对视网膜病理切片样本Si的各个感兴趣区域的轮廓进行位置识别，分别得到神经纤维层轮廓的图像坐标集、内网层轮廓的图像坐标集、内核层轮廓的图像坐标集、外网层轮廓的图像坐标集和神经节细胞轮廓的图像坐标集；
根据识别得到的神经纤维层轮廓的图像坐标集、内网层轮廓的图像坐标集、内核层轮廓的图像坐标集、外网层轮廓的图像坐标集和神经节细胞轮廓的图像坐标集，可视化生成视网膜病理切片标签Ti；其中，在生成的视网膜病理切片标签Ti中，神经纤维层区域填充第一颜色；内网层区域填充第二颜色；内核层区域填充第三颜色；外网层区域填充第四颜色；神经节细胞区域填充第五颜色；背景区域填充第六颜色；
全卷积注意力增强网络构建模块，用于构建得到初始的全卷积注意力增强网络；
其中，初始的全卷积注意力增强网络包括编码单元和解码单元；
编码单元包括串联的第一层全卷积注意力增强网络，第二层全卷积注意力增强网络,…,第n层全卷积注意力增强网络；解码单元包括串联的第一融合连接层，第二融合连接层,…,第n融合连接层；
全卷积注意力增强网络训练模块，用于对初始的全卷积注意力增强网络进行训练，得到训练完成的全卷积注意力增强网络，训练方法为：
步骤1，输入视网膜病理切片样本集合中的任意视网膜病理切片样本Si；视网膜病理切片样本Si为高度H0*宽度W0*维度D0的切片；
步骤2，第一层全卷积注意力增强网络的处理过程：
第一层全卷积注意力增强网络包括卷积层conv1、批归一化层BN1、激活函数层ReLU1、注意力增强层SGE1和最大池化层MaxPooling1；
步骤2.1，使视网膜病理切片样本Si依次通过卷积层conv1进行特征提取、批归一化层BN1进行归一化、激活函数层ReLU1进行激活和注意力增强层SGE1进行通道注意力增强处理，得到维度增加的视网膜特征图Feature1(0)；其中，视网膜特征图Feature1(0)为高度H0*宽度W0*维度D1的特征图；其中，D1>D0；
其中，注意力增强层SGE1进行通道注意力增强处理的方法为：
步骤2.1.1，视网膜病理切片样本Si依次通过卷积层conv1、批归一化层BN1和激活函数层ReLU1后，得到高度H0*宽度W0*维度D1的特征图Feature(A)；
步骤2.1.2，将特征图Feature(A)按通道维度D1分为D1个子图，每个子图对应一个通道；将任意一个子图表示为：子图Ej，其中，j＝1,2,…,D1；
步骤2.1.3，对于每个子图Ej，计算其所有像素点的平均值gj；
步骤2.1.4，将子图Ej的每个像素的像素值，乘以平均值gj，得到显著性增强的子图Ej；
步骤2.1.5，对显著性增强的子图Ej进行归一化后，再使用Sigmoid函数激活，得到激活后的子图Ej；
步骤2.1.6，将激活后的子图Ej，与步骤2.1.2的子图Ej进行对位相乘，得到最终注意力增强的子图Ej；
步骤2.1.7，将D1个注意力增强的子图Ej进行特征融合，得到视网膜特征图Feature1(0)；
步骤2.2，使视网膜特征图Feature1(0)通过最大池化层MaxPooling1进行下采样，得到维度保持不变，图像尺寸缩小的视网膜特征图Feature1(1)；其中，视网膜特征图Feature1(1)为高度H1*宽度W1*维度D1的特征图；其中，H1<H0；W1<W0；
因此，通过第一层全卷积注意力增强网络，将高度H0*宽度W0*维度D0的切片，提取为高度H1*宽度W1*维度D1的视网膜特征图Feature1(1)；
步骤3，第二层全卷积注意力增强网络，第三层全卷积注意力增强网络,…,第n层全卷积注意力增强网络的处理过程，与第一层全卷积注意力增强网络的处理过程相同；
因此，高度H1*宽度W1*维度D1的视网膜特征图Feature1(1)，经过第二层全卷积注意力增强网络处理后，得到高度H2*宽度W2*维度D2的视网膜特征图Feature2(1)；其中，H2<H1；W2<W1；D2>D1；
依此类推
高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Featuren-1(1)，经过第n层全卷积注意力增强网络处理后，得到高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(1)；其中，Hn<Hn-1；Wn<Wn-1；Dn>Dn-1；
步骤4，第一融合连接层：
步骤4.1，使视网膜特征图Featuren(1)通过卷积层convn”进行特征提取、批归一化层BNn”进行归一化、激活函数层ReLUn”进行激活和注意力增强层SGE n”进行通道增强处理，得到维度增加、尺度不变的视网膜特征图Featuren(2)；
步骤4.2，使视网膜特征图Featuren(1)和视网膜特征图Featuren(2)进行特征融合，得到高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)；
步骤5，第二融合连接层：
步骤5.1，对高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)进行上采样，得到高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)；
步骤5.2，使高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Featuren-1(1)和高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)进行特征融合，得到高度Hn-1*宽度Wn-1*维度Dn-1的视网膜特征图Featuren-1(3)；
步骤6，第三融合连接层，第四融合连接层,…,第n融合连接层的处理过程，与第二融合连接层的处理过程相同；
经第n融合连接层，输出高度H1*宽度W1*维度D1的视网膜特征图Feature1(3)；
步骤7，对高度H1*宽度W1*维度D1的视网膜特征图Feature1(3)进行上采样，得到高度H0*宽度W0*维度D1的视网膜特征图Feature0(3)；
预设置目标维度为6维度，对高度H0*宽度W0*维度D1的视网膜特征图Feature0(3)进行卷积、批归一化、激活和注意力增强处理，得到高度H0*宽度W0*维度为6的视网膜特征图Feature0(4)，视网膜特征图Feature0(4)为全卷积注意力增强网络的输出特征图，表示为：输出特征图Featurei；
步骤8，比较输出特征图Featurei和视网膜病理切片样本Si的视网膜病理切片标签Ti的差异性，计算损失函数值，如果损失函数值小于设定阈值，则对全卷积注意力增强网络的训练完成，得到训练完成的全卷积注意力增强网络，并执行步骤9；否则，调节当前全卷积注意力增强网络的网络参数，输入下一个视网膜病理切片样本，对全卷积注意力增强网络继续进行训练；
测试模块，用于输入被测试的视网膜病理切片Test；识别得到视网膜病理切片Test的神经纤维层区域、内网层区域、内核层区域、外网层区域和神经节细胞区域；
分析模块，用于分别计算识别到的神经纤维层区域、内网层区域、内核层区域、外网层区域和神经节细胞区域的面积，以及神经节细胞区域包括的神经节细胞数量进行计算，输出视网膜病变定量分析参数。
2.根据权利要求1所述的基于全卷积注意力增强网络的视网膜病理切片分析系统，其特征在于，视网膜病理切片样本获取模块还用于：
对视网膜病理切片样本数量进行扩充，得到扩充后的多个视网膜病理切片样本，具体扩充方法包括以下操作中的任意一种或几种：
操作一：对视网膜病理切片样本进行随机设定角度的旋转；
操作二：对视网膜病理切片样本进行色域变换。
3.根据权利要求1所述的基于全卷积注意力增强网络的视网膜病理切片分析系统，其特征在于，步骤5.1中，对高度Hn*宽度Wn*维度Dn的视网膜特征图Featuren(3)进行上采样，得到高度Hn-1*宽度Wn-1*维度Dn的视网膜特征图Featuren-1(2)，具体为：
以高度Hn*宽度Wn的视网膜特征图Featuren(3)为中心，在其周围填充0像素点，得到扩充后的图片B；其中，扩充后的图片B为m1行m2列的图片；
设置卷积核为3*3的卷积核；采用滑动窗口方式，在扩充后的图片B上面，以1个像素点为移动步长，每当卷积核移动到一个位置，与图片B对应位置的像素进行卷积，得到特征提取后的特征图的新像素值，由此得到扩大后的视网膜特征图Featuren-1(2)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210368331.5A CN114549520B (zh) | 2022-04-08 | 2022-04-08 | 基于全卷积注意力增强网络的视网膜病理切片分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210368331.5A CN114549520B (zh) | 2022-04-08 | 2022-04-08 | 基于全卷积注意力增强网络的视网膜病理切片分析系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114549520A true CN114549520A (zh) | 2022-05-27 |
| CN114549520B CN114549520B (zh) | 2024-05-07 |
Family
ID=81665933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210368331.5A Active CN114549520B (zh) | 2022-04-08 | 2022-04-08 | 基于全卷积注意力增强网络的视网膜病理切片分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549520B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294126A (zh) * | 2022-10-08 | 2022-11-04 | 南京诺源医疗器械有限公司 | 一种病理图像的癌细胞智能识别方法 |
| TWI821063B (zh) * | 2022-12-06 | 2023-11-01 | 奇美醫療財團法人奇美醫院 | 視網膜自動分層模型之建立方法、視網膜分層量化系統、眼部照護裝置、視網膜分層厚度及視網膜分層面積的檢測方法及神經退化性疾病評估和預測方法 |
| CN117789284A (zh) * | 2024-02-28 | 2024-03-29 | 中日友好医院(中日友好临床医学研究所) | 缺血型视网膜静脉阻塞的识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349162A (zh) * | 2019-07-17 | 2019-10-18 | 苏州大学 | 一种视网膜黄斑水肿多病变图像分割方法 |
| CN111047613A (zh) * | 2019-12-30 | 2020-04-21 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
| US20200202103A1 (en) * | 2017-06-09 | 2020-06-25 | University Of Surrey | Method and Apparatus for Processing Retinal Images |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
| WO2021003821A1 (zh) * | 2019-07-11 | 2021-01-14 | 平安科技（深圳）有限公司 | 一种肾小球病理切片图像的细胞检测方法、装置及设备 |
| CN113887459A (zh) * | 2021-10-12 | 2022-01-04 | 中国矿业大学(北京) | 一种基于改进Unet++的露天矿区采场变化区域检测方法 |
| CN114266794A (zh) * | 2022-02-28 | 2022-04-01 | 华南理工大学 | 基于全卷积神经网络的病理切片图像癌症区域分割系统 |
-
2022
- 2022-04-08 CN CN202210368331.5A patent/CN114549520B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200202103A1 (en) * | 2017-06-09 | 2020-06-25 | University Of Surrey | Method and Apparatus for Processing Retinal Images |
| WO2021003821A1 (zh) * | 2019-07-11 | 2021-01-14 | 平安科技（深圳）有限公司 | 一种肾小球病理切片图像的细胞检测方法、装置及设备 |
| CN110349162A (zh) * | 2019-07-17 | 2019-10-18 | 苏州大学 | 一种视网膜黄斑水肿多病变图像分割方法 |
| CN111047613A (zh) * | 2019-12-30 | 2020-04-21 | 北京小白世纪网络科技有限公司 | 基于分支注意力及多模型融合的眼底血管分割方法 |
| CN111862056A (zh) * | 2020-07-23 | 2020-10-30 | 东莞理工学院 | 一种基于深度学习的视网膜血管图像分割方法 |
| CN113887459A (zh) * | 2021-10-12 | 2022-01-04 | 中国矿业大学(北京) | 一种基于改进Unet++的露天矿区采场变化区域检测方法 |
| CN114266794A (zh) * | 2022-02-28 | 2022-04-01 | 华南理工大学 | 基于全卷积神经网络的病理切片图像癌症区域分割系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294126A (zh) * | 2022-10-08 | 2022-11-04 | 南京诺源医疗器械有限公司 | 一种病理图像的癌细胞智能识别方法 |
| CN115294126B (zh) * | 2022-10-08 | 2022-12-16 | 南京诺源医疗器械有限公司 | 一种病理图像的癌细胞智能识别方法 |
| TWI821063B (zh) * | 2022-12-06 | 2023-11-01 | 奇美醫療財團法人奇美醫院 | 視網膜自動分層模型之建立方法、視網膜分層量化系統、眼部照護裝置、視網膜分層厚度及視網膜分層面積的檢測方法及神經退化性疾病評估和預測方法 |
| CN117789284A (zh) * | 2024-02-28 | 2024-03-29 | 中日友好医院(中日友好临床医学研究所) | 缺血型视网膜静脉阻塞的识别方法及装置 |
| CN117789284B (zh) * | 2024-02-28 | 2024-05-14 | 中日友好医院(中日友好临床医学研究所) | 缺血型视网膜静脉阻塞的识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114549520B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | A large-scale database and a CNN model for attention-based glaucoma detection | |
| Li et al. | Attention based glaucoma detection: A large-scale database and CNN model | |
| CN114549520A (zh) | 基于全卷积注意力增强网络的视网膜病理切片分析系统 | |
| Ardiyanto et al. | Deep learning-based diabetic retinopathy assessment on embedded system | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| Maaliw et al. | An enhanced segmentation and deep learning architecture for early diabetic retinopathy detection | |
| CN112950737A (zh) | 基于深度学习的眼底荧光造影图像生成方法 | |
| CN114038564A (zh) | 一种糖尿病无创风险预测方法 | |
| Mann et al. | Segmentation of retinal blood vessels using artificial neural networks for early detection of diabetic retinopathy | |
| CN113160119A (zh) | 一种基于深度学习的糖尿病视网膜病变图像分类方法 | |
| Aurangzeb et al. | An efficient and light weight deep learning model for accurate retinal vessels segmentation | |
| Qin et al. | A review of retinal vessel segmentation for fundus image analysis | |
| Phridviraj et al. | A bi-directional Long Short-Term Memory-based Diabetic Retinopathy detection model using retinal fundus images | |
| Giancardo | Automated fundus images analysis techniques to screen retinal diseases in diabetic patients | |
| Liu et al. | Weakly-supervised localization and classification of biomarkers in OCT images with integrated reconstruction and attention | |
| Tian et al. | Learning discriminative representations for fine-grained diabetic retinopathy grading | |
| Liu et al. | Retinal vessel segmentation using densely connected convolution neural network with colorful fundus images | |
| Anjanadevi et al. | A framework for the Diagnosis of Diabetic Retinopathy Using Deep Learning Techniques | |
| Zijian et al. | AFFD-Net: A Dual-Decoder Network Based on Attention-Enhancing and Feature Fusion for Retinal Vessel Segmentation | |
| Hatode et al. | Evolution and Testimony of Deep Learning Algorithm for Diabetic Retinopathy Detection | |
| Kaya et al. | Performances of cnn architectures on diabetic retinopathy detection using transfer learning | |
| Sreng et al. | Automatic hemorrhages detection based on fundus images | |
| Rozlan et al. | A proposed diabetic retinopathy classification algorithm with statistical inference of exudates detection | |
| Mazar Pasha et al. | Diabetic Retinopathy Severity Categorization in Retinal Images Using Convolution Neural Network. | |
| Marrapu | Detection of Glaucoma Using Deep Learning Techniques: Literature Survey |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |