CN113610742A - 一种基于深度学习的全脑结构体积测量方法及系统 - Google Patents
一种基于深度学习的全脑结构体积测量方法及系统 Download PDFInfo
- Publication number
- CN113610742A CN113610742A CN202010300943.1A CN202010300943A CN113610742A CN 113610742 A CN113610742 A CN 113610742A CN 202010300943 A CN202010300943 A CN 202010300943A CN 113610742 A CN113610742 A CN 113610742A
- Authority
- CN
- China
- Prior art keywords
- image data
- brain structure
- whole brain
- segmentation
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 139
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000000691 measurement method Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000013507 mapping Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 11
- 238000007499 fusion processing Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 abstract description 11
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 17
- 206010015037 epilepsy Diseases 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 13
- 230000001037 epileptic effect Effects 0.000 description 11
- 238000003745 diagnosis Methods 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 238000009499 grossing Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000009472 formulation Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 206010010904 Convulsion Diseases 0.000 description 3
- 230000011157 brain segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 241000257303 Hymenoptera Species 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000001054 cortical effect Effects 0.000 description 2
- 210000003792 cranial nerve Anatomy 0.000 description 2
- 238000013399 early diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004884 grey matter Anatomy 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 102100025752 CASP8 and FADD-like apoptosis regulator Human genes 0.000 description 1
- 101710100501 CASP8 and FADD-like apoptosis regulator Proteins 0.000 description 1
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 206010010144 Completed suicide Diseases 0.000 description 1
- 208000000676 Malformations of Cortical Development Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 206010042434 Sudden death Diseases 0.000 description 1
- 208000030886 Traumatic Brain injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000001961 anticonvulsive agent Substances 0.000 description 1
- 229960003965 antiepileptics Drugs 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 208000023397 cerebral cortical dysplasia Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种基于深度学习的全脑结构体积测量方法及系统，包括：A、获取待测量的患者的全脑结构图像数据；B、将所述待测量的患者的全脑结构图像数据进行预处理，将所述待测量的患者的全脑结构图像数据由原始空间映射到MNI标准空间；C、将映射到MNI标准空间中的全脑结构图像数据划分为各个预设子区域；D、将所述各个预设子区域的全脑结构图像数据分别输入至与各个所述预设子区域分别对应的训练好的各个网络分割模型中，并获取各个分割结果；E、采用多标签融合方法对所述各个分割结果进行融合处理，并将融合处理后的分割结果映射回原始空间；F、基于所述分割结果计算全脑结构的体积。本申请有利于快速有效地获取全脑结构体积测量结果。
Description
技术领域
本发明涉及医学影像领域，特别是涉及一种基于深度学习的全脑结构体积测量方法及系统。
背景技术
脑组织形态学研究是临床判断脑组织的正常老化与病理过程的重要方法，随着医学影像的快速发展，通过对人体病变部位更直接/ 细致/清晰的观察，使得脑组织形态学方法成为脑部疾病中重要的诊断方法。本申请以癫痫疾病为实例，研究脑部疾病的脑结构形态变化。癫痫是一组反复发作的神经元异常放电所导致的暂时性中枢神经系统功能失常的慢性疾病，通常分为原发性癫痫和继发性癫痫，原发性致痫原因仍未发现，继发性癫痫往往是由脑肿瘤/脑外伤等疾病引起的。在我国癫痫的患病率为0.5-1％，发病率为0.1％，癫痫疾病难以在短期内完全治愈，早期诊疗是影响癫痫预后的关键，患者经过正规 /合理的抗癫痫药物治疗，有70％左右的患者癫痫发作得到控制。癫痫患者反复的癫痫发作/社会歧视/长期服药等情况使其个人及家属承受着沉重的心理和社会负担。因对癫痫的发作的担忧和耻辱感的长期存在，多数病人容易产生心理疾病，癫痫患者社会适应能力下降也会导致婚姻与就业障碍而造成的思想和精神负担，据统计，癫痫患者自杀率是正常人群的5-6倍，发生突然死亡的风险比正常人群高20倍。癫痫不仅是一个医学问题，也是一个严重的社会问题，社会应该给予重视，加大科技投入，推广和普及科研成果，提高癫痫的防治水平，做到早期预防，早期诊断，早期治疗，从而降低癫痫的患病率和发病率，减轻癫痫所致的不良后果，减少家庭和社会负担，这些措施对提高人口质量具有重要意义。实现对癫痫病灶更精确的功能定位，始终是癫痫病学最关注的研究方向之一。目前，脑电是诊断癫痫的唯一客观依据，影像学检查(CT/MRI)为癫痫的病因诊断和预后评估提供了直观/清晰的解剖形态学图像。PET/SPECT/MRS/fMRI等技术从代谢或血流动力学变化的角度反映脑功能信息。其中，MRI检查可以更明确地发现有没有脑结构的改变，根据核磁的表现，特别是高能量核磁、高场强核磁，可以观察更细致的脑结构变化。如果发现结构的改变，特别是脑皮质发育不良等，造成的癫痫患者，可以通过早期进行手术干预，达到理想的效果。
准确的疾病诊断和治疗方案取决于所用分割方法的性能，脑结构分割自动方法主要包括：水平集/主动轮廓模型/马尔科夫随即场模型/ 聚类法/图集(以脑图谱为模板进行配准)等分割方法，但由于脑结构非常复杂，而且存在个体差异，自动分割方法难以满足MRI图像分割的精度要求。目前手动/半手动分割仍然是疾病相关的脑结构研究中常用的方法，但是手动分割工作量十分巨大，耗时严重，主观性强。深度学习分割算法是实现目标物体精确分割/快速量化计算的有效手段。建立基于深度学习的脑结构分割模型可以准确快速地分割出脑结构，定位致痫部位，从而自动计算脑结构变化的相关参数(体积等)，为临床干预提供重要决策信息。现有的基于深度学习的脑结构分割主要是针对特定部位(如海马体等家结构)的分割，基于此，本发明提供了一种基于深度学习的全脑结构体积自动测量方法，将传统图像处理方法和深度学习相结合，能快速准确分割出脑结构，计算脑结构体积，不仅可以应用于癫痫疾病的研究，还可以应用于其他多种神经系统疾病的研究，如衰老/阿尔自海默症/神经分裂症等，以揭示这些病变引起的大脑内在结构的变化，都有良好的应用前景。
发明内容
有鉴于此，本申请提供一种基于深度学习的全脑结构体积测量方法及系统，以快速有效地获取全脑结构体积测量结果。
本申请提供一种基于深度学习的全脑结构体积测量方法，包括：
A、获取待测量的患者的全脑结构图像数据；
B、将所述待测量的患者的全脑结构图像数据进行预处理，将所述待测量的患者的全脑结构图像数据由原始空间映射到MNI标准空间；
C、将映射到MNI标准空间中的全脑结构图像数据划分为各个预设子区域；
D、将所述各个预设子区域的全脑结构图像数据分别输入至与各个所述预设子区域分别对应的训练好的各个网络分割模型中，并获取各个分割结果；
E、采用多标签融合方法对所述各个分割结果进行融合处理，并将融合处理后的分割结果映射回原始空间；
F、基于所述分割结果计算全脑结构的体积。
由上，本申请提供一种基于深度学习的脑结构体积测量方法，可以实现快速有效地获取脑结构体积测量结果，以大大减少医生的诊断时间，为手术方案制定提供有效地支撑。
优选地，所述多标签融合的算法公式为：
其中，{0,1,…,L-1}表示体素i(i∈{1,2,...,N})的l个可能的标签，如果SMNI(i)＝l，p(l|Sm,i)＝1，否则p(l|Sm,i)＝0。
由上，MNI空间被分成了多个子区域，每个子区域有一个独立的卷积神经网络分割网络进行分割，由于子区域之间存在重叠区域，因此采用多标签融合策略对分割结果进行融合。多标签融合方法将多个模型分割结果{S1,S2,…,Sn}(多个子区域的多个分割结果)融合到MNI 空间中的单分割S(整个脑结构的分割结果)。标签融合中排除了每个网络图块外部的空间。优选地，步骤B，包括：
通过开源配准工具将患者的全脑结构图像数据由原始空间配准映射到MNI标准空间；
通过偏置场矫正工具矫正处理映射到MNI标准空间的图像数据；
将映射到MNI标准空间的图像数据进行强度归一化处理。
由上，由于MRI是一种非缩放成像技术，在扫描过程中，由于仪器本身和一些未知的原因可能造成图像上的强度差异，即偏置场，偏置场是一种低频平滑的不良信号，未矫正偏置字段将导致所有图像处理算法输出不正确。通过矫正处理可以减轻映射成像过程中的偏置。
优选地，所述网络分割模型的构建方法为：
S1、获取指定数量的患者的全脑结构图像数据；
S2、对S1中的所述全脑结构图像数据进行预处理；将其由原始空间映射到MNI标准空间；
S3、将S2中的MNI标准空间划分为各个预设子区域，并分别通过各个独立的卷积神经网络作为分割网络分别对于各个所述预设子区域进行独立训练，以获取各个训练后的网络分割模型。
由上，可以获取用于对各个子区域分别进行分割的网络分割模型。
优选地，所述训练的过程中使用的损失函数为：
DiceLoss＝1-DICE
其中，
其中，X表示网络分割结果，Y为标签。|X|和|Y|分别表示分割的体素数量，|X∩Y|表示两图像数据重合部分的体素数量。
由上，有利于更好地获取训练后的网络分割模型。
本申请还提供一种基于深度学习的全脑结构体积的测量系统，包括：
获取模块，用于获取待测量的患者的全脑结构图像数据；
预处理模块，用于将所述待测量的患者的全脑结构图像数据进行预处理，将所述待测量的患者的全脑结构图像数据由原始空间映射到 MNI标准空间；
子区域划分模块，用于将映射到MNI标准空间中的全脑结构图像数据划分为各个预设子区域；
分割模块，用于将所述各个预设子区域的全脑结构图像数据分别输入至与各个所述预设子区域分别对应的训练好的各个网络分割模型中，并获取各个分割结果；
融合模块，用于采用多标签融合方法对所述各个分割结果进行融合处理，并将融合处理后的分割结果映射回原始空间；
体积计算模块，用于基于所述分割结果计算全脑结构的体积。
由上，本申请提供一种基于深度学习的脑结构体积测量系统，可以实现快速有效地获取脑结构体积测量结果，以大大减少医生的诊断时间，为手术方案制定提供有效地支撑。
优选地，所述融合模块的多标签融合的算法公式为：
其中，{0,1,…,L-1}表示体素i(i∈{1,2,...,N})的l个可能的标签，如果SMNI(i)＝l，p(l|Sm,i)＝1，否则p(l|Sm,i)＝0。
由上，MNI标准空间被分成了多个子区域，每个子区域有一个独立的卷积神经网络分割网络进行分割，由于子区域之间存在重叠区域，因此采用多标签融合策略对分割结果进行融合。多标签融合方法将多个模型分割结果{S1,S2,…,Sn}(多个子区域的多个分割结果)融合到MNI空间中的单分割S(整个脑结构的分割结果)。标签融合中排除了每个网络图块外部的空间。优选地，所述预处理模块，包括：
配准子模块，用于通过开源配准工具将患者的全脑结构图像数据由原始空间配准映射到MNI标准空间；
矫正子模块，用于通过偏置场矫正工具矫正处理映射到MNI标准空间的图像数据；
归一化模块，用于将映射到MNI标准空间的图像数据进行强度归一化处理。
由上，由于MRI是一种非缩放成像技术，在扫描过程中，由于仪器本身和一些未知的原因可能造成图像上的强度差异，即偏置场，偏置场是一种低频平滑的不良信号，未矫正偏置字段将导致所有图像处理算法输出不正确。通过矫正处理可以减轻映射成像过程中的偏置。
优选地，所述系统，还包括：模型构建模块，用于：
获取指定数量的患者的全脑结构图像数据；
对该全脑结构图像数据进行预处理；将其由原始空间映射到MNI 标准空间；
将该MNI标准空间划分为各个预设子区域，并分别通过各个独立的卷积神经网络作为分割网络分别对于各个所述预设子区域进行独立训练，以获取各个训练后的网络分割模型。
由上，可以获取用于对各个子区域分别进行分割的网络分割模型。
优选地，所述模型构建模块在训练的过程中使用的损失函数为：
DiceLoss＝1-DICE
其中，
其中，X表示网络分割结果，Y为标签。|X|和|Y|分别表示分割的体素数量，|X∩Y|表示两图像数据重合部分的体素数量。
由上，有利于更好地获取训练后的网络分割模型。
综上所述，本申请提供一种基于深度学习的全脑结构体积测量方法及系统，利用传统图像处理方法与深度学习相结合，利用传统配准方法将脑MRI数据映射到MNI空间，通过空间局部网络的方法，即针对不同的局部子空间，通过训练多个相互独立的子网络模型，实现高分辨率的卷积神经网络分割，分割结果利用多标签融合，从而实现全脑分割。并对分割后的脑结构体积进行测量，以快速有效地获取脑结构体积测量结果，以大大减少医生的诊断时间，为手术方案制定提供有效地支撑。
附图说明
图1为本申请实施例提供的一种基于深度学习的全脑结构体积测量方法的流程示意图；
图2a为本申请实施例提供的偏置场矫正前的配准到MNI空间的脑部图像数据；
图2b为本申请实施例提供的偏置场矫正后的配准到MNI空间的脑部图像数据；
图3为本申请实施例提供的全脑结构分割的流程示意图，其中的“子区域”相当于本申请中文字描述的“子区域”；
图4为本申请实施例提供的原始全脑结构图像数据MRI实例；
图5为本申请实施例提供的原始全脑结构图像数据MRI实例对应的分割结果；
图6为本申请实施例提供的一种基于深度学习的全脑结构体积测量系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图对本申请进行说明。
实施例一
本申请提供一种基于深度学习的全脑结构体积测量方法，包括：
S101，获取待测量的患者的全脑结构图像数据；包括获取脑部结构MRI T1WI序列，数据格式可以是医学影像常用的dcm或者nii格式。
S102，将所述待测量的患者的全脑结构图像数据进行预处理，将所述待测量的患者的全脑结构图像数据由原始空间映射到MNI标准空间；包括：
S102.1，通过开源配准工具将患者的全脑结构图像数据由原始空间配准映射到MNI标准空间。开源配准工具例如NiftyReg(实现对nifti 图像的刚体/放射和非线性配准方法)/ANTs(提供了用于大脑图像配准映射的高级工具)/Elastix(基于ITK的开源软件，包含了处理医学图像配准的常用算法)等实现对图像的刚体/放射和非线性配准。本示例中采用ANTs配准工具。
S102.2，通过偏置场矫正工具矫正处理映射到MNI标准空间的图像数据。N4偏置场矫正N4BiasFieldCorrection工具减轻成像过程中的偏置：由于MRI是一种非缩放成像技术，在扫描过程中，由于仪器本身和一些未知的原因可能造成图像上的强度差异，即偏置场，偏置场是一种低频平滑的不良信号，未矫正偏置字段将导致所有图像处理算法输出不正确。因此，本申请通过矫正处理以减轻映射成像过程中的偏置。
S102.3，利用Freesurfer工具中的recon-all命令进行强度归一化等操作。freesurfer是一款用于分析脑神经数据的工具集合，具有很强的扩展性，它提供了一系列的算法来量化人脑的功能、连接以及结构属性，能对高分辨率的磁共振图像进行三维重建，生成展平或胀平图像，并能得到皮质厚度、面积、灰质容积等解剖参数。recon-all是freesurfer的核心命令之一，完成FreeSurfer皮质重建的部分或全部过程。有30多个步骤，可以加入人为干预，实现分阶段的自动处理。本申请示例中，使用recon-all-autorecon1-noskullstrip，自动处理流程包括：
(a)运动矫正与确认；
(b)NU(非均匀强度标准化处理)；
(c)Talairach变换计算；
(d)强度标准化。
再利用Freesurfer工具中的mri_vol2vol命令将图像重采样到 MNI305标准空间。
S103，将映射到MNI标准空间中的全脑结构图像数据划分为各个预设子区域；
经过预处理，全脑结构图像数据被映射到MNI标准空间中，其分辨率为1*1*1mm，数据尺寸为172*220*156体素。由于硬件平台的限制，不能将高分辨率的MRI图像直接输入网络，因此，本发明利用局部空间域图块网络，即采用多个独立的分割网络覆盖整个 MNI305空间。经过实验对比，在本申请实例中，采用3*3*3个卷积神经网络作为分割网络。每个卷积神经网络都是独立的一个子网络，其分辨率是内存限制和空间分辨率的折中，网络输出根据脑结构的标签设置，例如，本申请实例中，每一个网络的输入尺寸是96*128*128，分割标签为114个，因此在每个卷积神经网络的反卷积中，设置114个输出通道。
S104，将所述各个预设子区域的全脑结构图像数据分别输入至与各个所述预设子区域分别对应的训练好的各个网络分割模型中，并获取各个分割结果；具体地：
在本申请实例中，MRI脑结构分割网络包括编码和解码两部分，编码部分主要用于获取图像内容，提取脑结构特征，解码部分主要用于精确分割。编码部分是一个下采样过程，由4层编码器组成，编码器包括两个3*3的卷积-batchnormalization-激活层的卷积块，在第一层编码器中，第一个卷积块输入通道数是1,输出通道数是32，第二个卷积块的输出通道数是64，在第二层编码器中，输入通道数是64，两个卷积块的输出通道数分别是64和128，以此类推，在每个编码器之后，特征通道数加倍，可以有效学习复杂的结构，最后一层编码器的输出通道数为512，编码器之间由2*2的最大池化进行下采样；解码部分与编码部分相似，由3个解码器组成，每一个解码器由上一层的输出进行反卷积(反卷积核尺寸为2，步长为2)并与对应编码器的输出合并，再经过两个反卷积(卷积核尺寸为3*3，步长为1，padding为1)组成，具体结构为：第一层解码器的输入是编码部分的输出，即第四层编码器的输出(512个输出通道数)，经过反卷积，反卷积后的输出通道数为512，与第三层编码器的输出(256个通道数)合并(256+512个通道数)，再经过两个反卷积，输出通道数为 256，第二层解码器的输入是第一层解码器的输出，同样经过反卷积再与第二层编码器的输出合并(128+256个通道数)，再经过两个反卷积，输出通道数设置为114，第三层解码器的输入是第二层解码器的输出，经过反卷积再与第一层编码器的输出合并(64+114个通道数)，经过一个反卷积，输出通道数设置为114(113个脑结构+背景)，即为脑结构分割网络的输出。
S105，采用多标签融合方法对所述各个分割结果进行融合处理，并将融合处理后的分割结果映射回原始空间；其中，所述多标签融合的算法公式为：
其中，{0,1,…,L-1}表示体素i(i∈{1,2,...,N})的l个可能的标签，如果SMNI(i)＝l，p(l|Sm,i)＝1，否则p(l|Sm,i)＝0。
MNI空间被分成了多个子区域，每个子区域有一个独立的卷积神经网络分割网络进行分割，由于子区域之间存在重叠区域，因此采用多标签融合策略对分割结果进行融合。多标签融合方法将多个模型分割结果{S1,S2,…,Sn}(多个子区域的多个分割结果)融合到MNI空间中的单分割S(整个脑结构的分割结果)。标签融合中排除了每个网络图块外部的空间。最后，通过放射配准，将融合结果映射回原始空间，从而实现从原始目标到对应原始空间的最终分割。F、基于所述最终的分割结果计算全脑结构的体积。
基于上述分割结果，计算脑结构体积，转换为物理体积。
在本发明实例中，对正常脑MRI T1 W1数据和癫痫患者MRIT1 W1TI数据的113个脑结构(如表1所示)自动测量并进行显著性差异分析，结果显示，与正常人相比，癫痫患者的海马体等结构体积有显著的降低，白质等结构体积有显著性升高。
表1
其中，本申请还包括网络分割模型的构建，其中所述网络分割模型的构建方法为：
S1、获取指定数量的患者的全脑结构图像数据；包括获取脑部结构MRI T1WI序列，数据格式可以是dcm或者nii格式。并将其划分为作为训练集和测试集。
S2、对S1中的所述全脑结构图像数据进行预处理；将其由原始空间映射到MNI标准空间；包括：S2.1，通过开源配准工具将患者的全脑结构图像数据由原始空间配准映射到MNI标准空间。开源配准工具例如NiftyReg(实现对nifti图像的刚体/放射和非线性配准方法)/ANTs(提供了用于大脑图像配准映射的高级工具)/Elastix(基于 ITK的开源软件，包含了处理医学图像配准的常用算法)等实现对图像的刚体/放射和非线性配准。本示例中采用ANTs配准工具。S2.2，通过偏置场矫正工具矫正处理映射到MNI标准空间的图像数据。N4偏置场矫正N4BiasFieldCorrection工具减轻成像过程中的偏置：由于 MRI是一种非缩放成像技术，在扫描过程中，由于仪器本身和一些未知的原因可能造成图像上的强度差异，即偏置场，偏置场是一种低频平滑的不良信号，未矫正偏置字段将导致所有图像处理算法输出不正确。因此，本申请通过矫正处理以减轻映射成像过程中的偏置。S2.3，利用Freesurfer工具中的recon-all命令进行强度归一化等操作。
freesurfer是一款用于分析脑神经数据的工具集合，具有很强的扩展性，它提供了一系列的算法来量化人脑的功能、连接以及结构属性，能对高分辨率的磁共振图像进行三维重建，生成展平或胀平图像，并能得到皮质厚度、面积、灰质容积等解剖参数。recon-all是freesurfer 的核心命令之一，完成FreeSurfer皮质重建的部分或全部过程。有30 多个步骤，可以加入人为干预，实现分阶段的自动处理。本申请示例中，使用recon-all-autorecon1-noskullstrip，自动处理流程包括：(a) 运动矫正与确认；(b)NU(非均匀强度标准化处理)；(c)Talairach变换计算；(d)强度标准化。再利用Freesurfer工具中的mri_vol2vol命令将图像重采样到MNI305标准空间。
S3、将S2中的MNI标准空间划分为各个预设子区域，并分别通过各个独立的卷积神经网络作为分割网络分别对于各个所述预设子区域进行独立训练，以获取各个训练后的网络分割模型。具体地，包括：经过预处理后，所有训练集和测试集数据都映射到了MNI305标准空间，其分辨率为1*1*1mm，数据尺寸为172*220*156体素。由于硬件平台的限制，不能将高分辨率的mri图像直接喂入网络，因此，本发明利用局部空间域图块网络，即采用多个独立的分割网络覆盖整个MNI305空间。经过实验对比，在本申请实例中，采用3*3*3个卷积神经网络作为分割网络。每个卷积神经网络都是独立的一个子网络，其分辨率是内存限制和空间分辨率的折中，网络输出根据脑结构的标签设置，例如，本申请实例中，每一个网络的输入尺寸是 96*128*128，分割标签为114个，因此在每个卷积神经网络的反卷积中，设置114个3D输出通道。
在本申请实例中，MRI脑结构分割网络包括编码和解码两部分，编码部分主要用于获取图像内容，提取脑结构特征，解码部分主要用于精确分割。编码部分是一个下采样过程，由4层编码器组成，编码器包括两个3*3的卷积-batchnormalization-激活层的卷积块，在第一层编码器中，第一个卷积块输入通道数是1,输出通道数是32，第二个卷积块的输出通道数是64，在第二层编码器中，输入通道数是64，两个卷积块的输出通道数分别是64和128，以此类推，在每个编码器之后，特征通道数加倍，可以有效学习复杂的结构，最后一层编码器的输出通道数为512，编码器之间由2*2的最大池化进行下采样；解码部分与编码部分相似，由3个解码器组成，每一个解码器由上一层的输出进行反卷积(反卷积核尺寸为2，步长为2)并与对应编码器的输出合并，再经过两个反卷积(卷积核尺寸为3*3，步长为1，padding 为1)组成，具体结构为：第一层解码器的输入是编码部分的输出，即第四层编码器的输出(512个输出通道数)，经过反卷积，反卷积后的输出通道数为512，与第三层编码器的输出(256个通道数)合并(256+512个通道数)，再经过两个反卷积，输出通道数为256，第二层解码器的输入是第一层解码器的输出，同样经过反卷积再与第二层编码器的输出合并(128+256个通道数)，再经过两个反卷积，输出通道数设置为114，第三层解码器的输入是第二层解码器的输出，经过反卷积再与第一层编码器的输出合并(64+114个通道数)，经过一个反卷积，输出通道数设置为114(113个脑结构+背景)，即为脑结构分割网络的输出。
进一步地网络训练前，将预处理后映射到MNI空间的3D脑mri 数据(尺寸为172*220*156体素)划窗取3*3个子区域，每个子区域的尺寸是96*128*128。对27个子区域独立训练，获得27个相互独立的网络模型。训练过程中，使用作为损失使用Dice loss作为损失函数，Dice loss公式如下：
DiceLoss＝1-D/CE
其中X表示网络分割结果，Y为标签。|X|和|Y|分别表示分割的体素数量，|X∩Y|表示两图重合部分的体素数量。
模型验证，本申请实例中，采用在医学影像分割领域通用的Dice similaritycofficients(DICE)作为主要评估指标，对27个训练模型的效果进行评估，将分割结果与标签进行逐个像素的比较，DICE公式如上所示。在本申请实际例中，对40例测试集的平均Dice为 0.776±0.012。将验证后符合要求的模型应用于全脑结构体积测量中的分割。
综上所述，本申请提供一种基于深度学习的全脑结构体积测量方法，利用传统图像处理方法与深度学习相结合，利用传统配准方法将脑mri数据映射到mni空间，通过空间局部网络的方法，即针对不同的局部子空间，通过训练多个相互独立的子网络模型，实现高分辨率的卷积神经网络分割，分割结果利用多标签融合，从而实现全脑分割。并对分割后的脑结构体积进行测量，以快速有效地获取脑结构体积测量结果，以大大减少医生的诊断时间，为手术方案制定提供有效地支撑。
实施例二
本申请还提供一种基于深度学习的全脑结构体积测量系统，基于实施例一中的测量方法，包括：
获取模块，用于获取待测量的患者的全脑结构图像数据；
预处理模块，用于将所述待测量的患者的全脑结构图像数据进行预处理，将所述待测量的患者的全脑结构图像数据由原始空间映射到 MNI标准空间；包括：配准子模块，用于通过开源配准工具将患者的全脑结构图像数据由原始空间配准映射到MNI标准空间；矫正子模块，用于通过偏置场矫正工具矫正处理映射到MNI标准空间的图像数据；由于MRI是一种非缩放成像技术，在扫描过程中，由于仪器本身和一些未知的原因可能造成图像上的强度差异，即偏置场，偏置场是一种低频平滑的不良信号，未矫正偏置字段将导致所有图像处理算法输出不正确。通过矫正处理可以减轻映射成像过程中的偏置。归一化模块，用于将映射到MNI标准空间的图像数据进行强度归一化处理。
子区域划分模块，用于将映射到MNI标准空间中的全脑结构图像数据划分为各个预设子区域；
分割模块，用于将所述各个预设子区域的全脑结构图像数据分别输入至与各个所述预设子区域分别对应的训练好的各个网络分割模型中，并获取各个分割结果；
融合模块，用于采用多标签融合方法对所述各个分割结果进行融合处理，并将融合处理后的分割结果映射回原始空间；其中，所述融合模块的多标签融合的算法公式为：
其中，{0,1,…,L-1}表示体素i(i∈{1,2,...,N})的l个可能的标签，如果SMNI(i)＝l，p(l|Sm,i)＝1，否则p(l|Sm,i)＝0。MNI标准空间被分成了多个子区域，每个子区域有一个独立的卷积神经网络分割网络进行分割，由于子区域之间存在重叠区域，因此采用多标签融合策略对分割结果进行融合。多标签融合方法将多个模型分割结果 {S1,S2,…,Sn}(多个子区域的多个分割结果)融合到MNI空间中的单分割S(整个脑结构的分割结果)。标签融合中排除了每个网络图块外部的空间。最后，通过放射配准，将融合结果映射回原始空间，从而实现从原始目标到对应原始空间的最终分割。体积计算模块，用于基于所述分割结果计算全脑结构的体积。
其中，所述系统，还包括：模型构建模块，用于：
获取指定数量的患者的全脑结构图像数据；
对该全脑结构图像数据进行预处理；将其由原始空间映射到MNI 标准空间；
将该MNI标准空间划分为各个预设子区域，并分别通过各个独立的卷积神经网络作为分割网络分别对于各个所述预设子区域进行独立训练，以获取各个训练后的网络分割模型。
其中，所述模型构建模块在训练的过程中使用的损失函数为：
DiceLoss＝1-DICE
其中，
其中，X表示网络分割结果，Y为标签。|X|和|Y|分别表示分割的体素数量，|X∩Y|表示两图像数据重合部分的体素数量。
综上所述，本申请提供一种基于深度学习的全脑结构体积测量方法及系统，利用传统图像处理方法与深度学习相结合，利用传统配准方法将脑mri数据映射到mni空间，通过空间局部网络的方法，即针对不同的局部子空间，通过训练多个相互独立的子网络模型，实现高分辨率的3D卷积神经网络分割，分割结果利用多标签融合，从而实现全脑分割。并对分割后的脑结构体积进行测量，以快速有效地获取脑结构体积测量结果，以大大减少医生的诊断时间，为手术方案制定提供有效地支撑。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习的全脑结构体积测量方法，其特征在于，包括：
A、获取待测量的患者的全脑结构图像数据；
B、将所述待测量的患者的全脑结构图像数据进行预处理，将所述待测量的患者的全脑结构图像数据由原始空间映射到MNI标准空间；
C、将映射到MNI标准空间中的全脑结构图像数据划分为各个预设子区域；
D、将所述各个预设子区域的全脑结构图像数据分别输入至与各个所述预设子区域分别对应的训练好的各个网络分割模型中，并获取各个分割结果；
E、采用多标签融合方法对所述各个分割结果进行融合处理，并将融合处理后的分割结果映射回原始空间；
F、基于所述分割结果计算全脑结构的体积。
2.根据权利要求1所述的方法，其特征在于，所述多标签融合的算法公式为：
其中，{0,1,…,L-1}表示体素i(i∈{1,2,...,N})的l个可能的标签，如果SMNI(i)＝l，p(l|Sm,i)＝1，否则p(l|Sm,i)＝0。
3.根据权利要求1所述的方法，其特征在于，步骤B，包括：
通过开源配准工具将患者的全脑结构图像数据由原始空间配准映射到MNI标准空间；
通过偏置场矫正工具矫正处理映射到MNI标准空间的图像数据；
将映射到MNI标准空间的图像数据进行强度归一化处理。
4.根据权利要求3所述的方法，其特征在于，所述网络分割模型的构建方法为：
S1、获取指定数量的患者的全脑结构图像数据；
S2、对S1中的所述全脑结构图像数据进行预处理；将其由原始空间映射到MNI标准空间；
S3、将S2中的MNI标准空间划分为各个预设子区域，并分别通过各个独立的卷积神经网络作为分割网络分别对于各个所述预设子区域进行独立训练，以获取各个训练后的网络分割模型。
5.根据权利要求4所述的方法，其特征在于，所述训练的过程中使用的损失函数为：
DiceLoss＝1-DICE
其中，
其中，X表示网络分割结果，Y为标签。|X|和|Y|分别表示分割的体素数量，|X∩Y|表示两图像数据重合部分的体素数量。
6.一种基于深度学习的全脑结构体积的测量系统，其特征在于，包括：
获取模块，用于获取待测量的患者的全脑结构图像数据；
预处理模块，用于将所述待测量的患者的全脑结构图像数据进行预处理，将所述待测量的患者的全脑结构图像数据由原始空间映射到MNI标准空间；
子区域划分模块，用于将映射到MNI标准空间中的全脑结构图像数据划分为各个预设子区域；
分割模块，用于将所述各个预设子区域的全脑结构图像数据分别输入至与各个所述预设子区域分别对应的训练好的各个网络分割模型中，并获取各个分割结果；
融合模块，用于采用多标签融合方法对所述各个分割结果进行融合处理，并将融合处理后的分割结果映射回原始空间；
体积计算模块，用于基于所述分割结果计算全脑结构的体积。
7.根据权利要求6所述的系统，其特征在于，所述融合模块的多标签融合的算法公式为：
其中，{0,1,…,L-1}表示体素i(i∈{1,2,...,N})的l个可能的标签，如果SMNI(i)＝l，p(l|Sm,i)＝1，否则p(l|Sm,i)＝0。
8.根据权利要求6所述的系统，其特征在于，所述预处理模块，包括：
配准子模块，用于通过开源配准工具将患者的全脑结构图像数据由原始空间配准映射到MNI标准空间；
矫正子模块，用于通过偏置场矫正工具矫正处理映射到MNI标准空间的图像数据；
归一化模块，用于将映射到MNI标准空间的图像数据进行强度归一化处理。
9.根据权利要求6所述的系统，其特征在于，还包括：模型构建模块，用于：
获取指定数量的患者的全脑结构图像数据；
对该全脑结构图像数据进行预处理；将其由原始空间映射到MNI标准空间；
将该MNI标准空间划分为各个预设子区域，并分别通过各个独立的卷积神经网络作为分割网络分别对于各个所述预设子区域进行独立训练，以获取各个训练后的网络分割模型。
10.根据权利要求9所述的系统，其特征在于，模型构建模块在训练的过程中使用的损失函数为：
DiceLoss＝1-DICE
其中，
其中，X表示网络分割结果，Y为标签。|X|和|Y|分别表示分割的体素数量，|X∩Y|表示两图像数据重合部分的体素数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010300943.1A CN113610742A (zh) | 2020-04-16 | 2020-04-16 | 一种基于深度学习的全脑结构体积测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010300943.1A CN113610742A (zh) | 2020-04-16 | 2020-04-16 | 一种基于深度学习的全脑结构体积测量方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113610742A true CN113610742A (zh) | 2021-11-05 |
Family
ID=78303082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010300943.1A Pending CN113610742A (zh) | 2020-04-16 | 2020-04-16 | 一种基于深度学习的全脑结构体积测量方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113610742A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309355A (zh) * | 2023-01-31 | 2023-06-23 | 优脑银河(浙江)科技有限公司 | 用于脑影像图像的冗余信息处理方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110120052A (zh) * | 2019-05-13 | 2019-08-13 | 上海联影医疗科技有限公司 | 一种靶区图像分割系统及装置 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN110782427A (zh) * | 2019-08-19 | 2020-02-11 | 大连大学 | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 |
| CN110827291A (zh) * | 2019-10-18 | 2020-02-21 | 北京量健智能科技有限公司 | 一种用于自动化脑mri定量分析的方法和装置 |
-
2020
- 2020-04-16 CN CN202010300943.1A patent/CN113610742A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110120052A (zh) * | 2019-05-13 | 2019-08-13 | 上海联影医疗科技有限公司 | 一种靶区图像分割系统及装置 |
| CN110782427A (zh) * | 2019-08-19 | 2020-02-11 | 大连大学 | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN110827291A (zh) * | 2019-10-18 | 2020-02-21 | 北京量健智能科技有限公司 | 一种用于自动化脑mri定量分析的方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309355A (zh) * | 2023-01-31 | 2023-06-23 | 优脑银河(浙江)科技有限公司 | 用于脑影像图像的冗余信息处理方法、装置及存储介质 |
| CN116309355B (zh) * | 2023-01-31 | 2024-08-20 | 北京银河方圆科技有限公司 | 用于脑影像图像的冗余信息处理方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rosenke et al. | A cross-validated cytoarchitectonic atlas of the human ventral visual stream | |
| Colliot et al. | Individual voxel-based analysis of gray matter in focal cortical dysplasia | |
| Toga et al. | Maps of the brain | |
| US8280482B2 (en) | Method and apparatus for evaluating regional changes in three-dimensional tomographic images | |
| EP2481349B1 (en) | Method, device, and program for processing images obtained from asl mri | |
| CN106659424B (zh) | 医用图像显示处理方法、医用图像显示处理装置及程序 | |
| EP3605464A1 (en) | Quantitative calculation method for level of brain atrophy based on automatic segmentation | |
| Li et al. | Mapping fetal brain development based on automated segmentation and 4D brain atlasing | |
| Kochunov et al. | A library of cortical morphology analysis tools to study development, aging and genetics of cerebral cortex | |
| CN113516653B (zh) | 一种多特征融合计算识别胶质瘤复发与坏死的方法 | |
| CN112348785B (zh) | 一种癫痫病灶定位方法及系统 | |
| Glozman et al. | Framework for shape analysis of white matter fiber bundles | |
| Rashed et al. | Development of accurate human head models for personalized electromagnetic dosimetry using deep learning | |
| Abe et al. | 3D reconstruction of brain section images for creating axonal projection maps in marmosets | |
| Sun et al. | Automated template-based PET region of interest analyses in the aging brain | |
| Müller et al. | Intersubject variability in the analysis of diffusion tensor images at the group level: fractional anisotropy mapping and fiber tracking techniques | |
| CN113808191B (zh) | 急性缺血性脑卒中病灶区的自动量化及三维建模方法 | |
| CN114065825A (zh) | 一种基于结构相似性的脑磁meg源定位方法 | |
| CN113610742A (zh) | 一种基于深度学习的全脑结构体积测量方法及系统 | |
| CN111227833B (zh) | 一种基于广义线性模型的机器学习的术前定位方法 | |
| CN111227834A (zh) | 静息态脑功能连接的自动化快速可视化方法 | |
| Ma et al. | Substantially thinner internal granular layer and reduced molecular layer surface in the cerebellar cortex of the Tc1 mouse model of down syndrome–a comprehensive morphometric analysis with active staining contrast-enhanced MRI | |
| CN111477304A (zh) | 一种pet和mri图像相融合的肿瘤照射成像组合方法 | |
| CN109741330A (zh) | 一种混合滤波策略和模糊c均值的医学图像分割方法 | |
| Li et al. | Pattern analysis of the interaction of regional amyloid load, cortical thickness and APOE genotype in the progression of Alzheimer's disease |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |