CN112435212A - 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 - Google Patents
基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112435212A CN112435212A CN202011103104.7A CN202011103104A CN112435212A CN 112435212 A CN112435212 A CN 112435212A CN 202011103104 A CN202011103104 A CN 202011103104A CN 112435212 A CN112435212 A CN 112435212A
- Authority
- CN
- China
- Prior art keywords
- data
- deep learning
- perfusion
- brain
- perfusion imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 67
- 210000004556 brain Anatomy 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000010412 perfusion Effects 0.000 claims abstract description 134
- 238000003384 imaging method Methods 0.000 claims abstract description 92
- 230000011218 segmentation Effects 0.000 claims abstract description 43
- 206010061216 Infarction Diseases 0.000 claims abstract description 39
- 230000007574 infarction Effects 0.000 claims abstract description 39
- 230000000302 ischemic effect Effects 0.000 claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 30
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 206010051290 Central nervous system lesion Diseases 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000009795 derivation Methods 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims description 2
- 210000005013 brain tissue Anatomy 0.000 description 8
- 230000002490 cerebral effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000003902 lesion Effects 0.000 description 8
- 208000006011 Stroke Diseases 0.000 description 7
- 206010008190 Cerebrovascular accident Diseases 0.000 description 6
- 230000003727 cerebral blood flow Effects 0.000 description 6
- 239000008280 blood Substances 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 description 4
- 239000002872 contrast media Substances 0.000 description 4
- 229910052740 iodine Inorganic materials 0.000 description 4
- 239000011630 iodine Substances 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 208000026106 cerebrovascular disease Diseases 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 206010008118 cerebral infarction Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000032382 Ischaemic stroke Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 238000010253 intravenous injection Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/481—Diagnostic techniques involving the use of contrast agents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/50—Clinical applications
- A61B6/501—Clinical applications involving diagnosis of head, e.g. neuroimaging, craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Abstract
本申请涉及一种基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质。所述方法包括:获取与脑部相关的CT灌注成像数据,CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像,根据CT灌注成像数据进行计算,得到对应的多通道图像数据,将多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,分割图像包括梗死核心区域以及缺血半暗区域,基于多张分割图像构建三维形式的脑部模型,并根据脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。采用本方法能够提高精准度以及计算速度。
Description
技术领域
本申请涉及图像处理和医疗工程交叉技术领域,特别是涉及一种基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质。
背景技术
脑卒中也称为中风或脑梗,缺血性脑卒中是由于局部脑组织供血不足引起的急性脑血管疾病,急性缺血性脑卒中作为最常见的卒中类型,约占全部脑卒中的60%~80%,有着极高的致命风险。CTP(CT Perfusion)是脑功能成像的一种技术方法,通过脑组织器官的灌注状态从细胞层面揭示脑部疾病的生理及病理改变,对于判断患者病灶区域和评估梗死体积具有重要价值。
当缺血性中风发病后,患者脑组织中会有一个梗死核心区域,该区域脑组织损伤是不可逆的,即无法挽救的脑组织区域,但在梗死核心区周围会形成一个缺血半暗带,缺血对该区域脑组织细胞的损伤是可逆的,即该区域属于可以挽救的脑组织。脑卒中梗死区域也会随着时间延长而发生变化,所以快速且准确评估梗死核心和缺血半暗区的体积对于后续治疗极为关键。作为一种定量研究方法,CTP影像可以通过一系列灌注参数图来量化评估梗死核心区和缺血半暗区的体积。CTP核心参数图主要包括脑血流量(CBF)、脑血容量(CBV)、平均通过时间(MTT)和残余功能的达峰时间(Tmax)。
传统方法通常使用基于固定阈值的方法来直接评估相关病灶区域。目前的阈值标准分别使用rCBF<30%和Tmax>6s来确定梗死核心和缺血半暗区。阈值法简单明了且快速,但主观性较大且不易泛化,因而又有无阈值法来评估病灶区域。
基于逻辑回归的无阈值概率预测法能够以输出概率的形式来标记图像上每一区域,最后形成一个分割结果,相较于阈值法有着更高的精度。但无阈值概率方法对于图像的特征提取能力较差,其预测方法本身的精度也有限。因此设计更高精度和更为快速的自动化病灶分割算法来确定梗死核心和缺血半暗区尤为重要。
发明内容
基于此,有必要针对上述技术问题,提供一种计算更为准确并且快速的基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质。
一种基于深度学习的脑部病灶区域体积得到方法,所述方法包括:
获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
优选的,根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据包括:
根据所述CT灌注成像数据进行计算,得到对应的CT灌注参数图;
将其中一张所述CT灌注图像与所述CT灌注参数图进行叠加合并,得到对应的所述多通道图像数据。
优选的,训练所述深度学习网络包括:
获取与脑部相关的CT灌注成像数据样本集,所述样本集内包括多个对应不同扫描对象的CT灌注成像样本数据,所述CT灌注成像样本数据为以扫描时间顺序进行排列的多张CT灌注样本图像;
根据各所述CT灌注成像样本数据进行计算,得到对应的多通道图像样本数据;
获取与各所述CT灌注成像样本数据相关的多个MRI扫描数据,并将基于同一扫描对象得到多通道图像样本数据与MRI扫描数据作为一组训练数据;
依次将各组训练数据输入所述深度学习网络进行训练,得到训练后的深度学习网络。
优选的,所述依次将各组训练数据输入所述深度学习网络进行训练,得到训练后的深度学习网络包括:
将各组所述训练数据中的所述多通道图像样本数据作为所述深度学习网络的输入,并将同组所述训练数据中的MRI扫描数据作为所述深度学习网络的输出对深度学习网络进行训练。
优选的,所述深度学习网络对所述多通道图像样本数据进行多次迭代计算,在每次迭代计算中对所述多通道图像样本数据进行多次变换,其中每次变换包括依次进行随机旋转和随机翻转。
优选的,所述深度学习网络包括下采样路径、上采样路径以及长短程跳跃连接路径。
优选的,各所述MRI扫描数据中均标注有梗死核心区域以及缺血半暗区域。
本申请还提供了一种基于深度学习的脑部病灶区域体积得到装置,所述装置包括:
数据获取模块,用于获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
多通道图像数据计算模块,用于根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
图像分割模块,用于将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
体积计算模块,用于基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
上述基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质,通过将CT灌注成像数据以及由该CT灌注成像数据生成的多通道图像数据经由训练好的深度学习网络进行分割,得到多层分割图像,再基于多层分割图像构建三维形式的脑部模型,以计算脑部模型中相关病灶区域体积,这样的方式提高了计算的精准度以及计算速度,具有较高的实际应用价值。
附图说明
图1为一个实施例中脑部病灶区域体积得到方法的流程示意图;
图2为一个实施例中训练深度学习网络方法的流程示意图;
图3为一个实施例中脑部病灶区域体积得到装置的结构框图;
图4为一个实施例中原始脑部CT灌注成像数据示意图;
图5为一个实施例中CT灌注参数图;
图6为一个实施例中分割图像示意图;
图7为一个实施例中带有标准的MRI扫描数据示意图;
图8为一个实施例中深度学习模型的结构示意图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
如图1所示,提供了一种基于深度学习的脑部病灶区域体积得到方法,包括以下步骤:
步骤S101,获取与脑部相关的CT灌注成像数据,CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
步骤S102,根据CT灌注成像数据进行计算,得到对应的多通道图像数据;
步骤S103,将多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,分割图像包括梗死核心区域以及缺血半暗区域;
步骤S104,基于多张分割图像构建三维形式的脑部模型,并根据脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
在步骤S101中,脑部CT灌注成像数据(CT Perfusion,CTP成像)是一种用于分析颅内的血流动力学的成像技术,如图4所示。通过对待扫描对象静脉注射放射性示踪剂(一般采用碘对比剂),随血管中血液在脑组织中流动。再通过对脑部进行多次CT扫描,可从连续的多张CT灌注图像中得到动态的碘对比剂在器官各区域的吸收状况,同时反映出血液在脑部梗死核心区域、缺血半暗区域以及正常区域分别展现出不同的流动状态。
在本步骤中的脑部CT灌注成像数据为扫描目标对象的脑部得到。
在步骤S102中,在根据CT灌注成像数据进行计算之间,还包括对该数据进行预处理,预处理包括对原始的CT灌注成像数据去除颅骨部分以及进行倾斜校正,使得图像数据中保留脑组织部分,并且左右两半脑相对于脑中线对称。
步骤S102具体包括:根据CT灌注成像数据进行计算,得到对应的CT灌注参数图,将其中一张CT灌注图像与CT灌注参数图进行叠加合并,得到对应的所述多通道图像数据。
通过对进行预处理后的CT灌注成像数据进行计算,可以得到每一像素的时间密度曲线(time–density curve,TDC)。该曲线横坐标为时间,纵坐标为注射碘对比剂后增加的CT值,其曲线反应的是碘对比剂在器官中浓度的变化,间接反应了组织器官灌注量的变化。再根据TDC通过不同的数字模型转换和计算机伪彩处理得到脑部的脑血流量(cerebrablood flow,CBF)、脑血容量(cerebral blood volume,CBV)、平均通过时间(mean transittime,MTT)以及残余功能的达峰时间(Tmax)参数图,如图5所示,其中(a)为脑血流量参数图,(b)为脑血容量参数图,(c)为平均通过时间参数图,(d)为残余功能的达峰时间参数图。
在其中一实施例中,对预处理后的CT灌注成像数据通过去卷积法或贝叶斯法计算得到上述CT灌注参数图。
得到CT灌注参数图后,在CT灌注成像数据中挑选一张CT灌注图像与得到的四张CT灌注参数图进行叠加合并,构建多通道图像数据也就是Multi-Channel图像。假设CT灌注成像数据和各CT灌注参数图的大小均为512×512,那么合后的多通道图像数据大小为5×512×512。
在步骤S103,将多通道图像数据输入训练好的深度学习网络,可以直接得到与CT灌注成像数据中的各张CT灌注图像对应的分割图像。各张分割图像中均包括梗死核心区域以及缺血半暗区域,如图6所示。
如图2所示,本申请还提供了一种训练深度学习网络的方法,包括:
步骤S201,获取与脑部相关的CT灌注成像数据样本集,样本集内包括多个对应不同扫描对象的CT灌注成像样本数据,CT灌注成像样本数据为以扫描时间顺序进行排列的多张CT灌注样本图像;
步骤S202,根据各CT灌注成像样本数据进行计算,得到对应的多通道图像样本数据;
步骤S203,获取与各CT灌注成像样本数据相关的多个MRI扫描数据,并将基于同一扫描对象得到多通道图像样本数据与MRI扫描数据作为一组训练数据;
步骤S204,依次将各组训练数据输入深度学习网络进行训练,得到训练后的深度学习网络。
在步骤S201中,CT灌注成像数据样本集为对多个扫描对象进行CT扫描得到的CT灌注成像数据样本数据的集合。
在步骤S202中,对各CT灌注成像样本数据进行同样的处理,处理步骤与上述步骤S102中相同,故不再赘述。通过该步骤,可得到与各CT灌注成像样本数据对应的多通道图像样本数据。其中根据CT灌注成像样本数据进行计算得到CT灌注参数样本图像。
在其中一实施例中,在CT灌注成像样本数据中挑选CT灌注样本图像进行合并时,可在多层同层数据中抽取最中间的一层,与CT灌注参数样本图像进行合并。
在进行CT扫描的过程中,一般从扫描对象的颈部至头顶(或头顶至颈部)进行连续的多次扫描,可得到对应颈部和头顶之间的多层CT灌注成像数据。然而不是每一层都会出现病灶区域,所以在挑选进行合并的CT灌注样本图像时,可选择能够清楚反应病灶区域的成像数据。
在步骤S203中,其中MRI扫描数据为在对同一扫描对象进行CT灌注成像扫描之后的2小时内获取的,在该时间段内获取的MRI扫描数据作为金标准。
在其中一实施例中,各MRI扫描数据中均标注有梗死核心区域以及缺血半暗区域。标注的方式为通过在MRI扫描数据中将与梗死相关的病灶区域手动勾勒出来,如图7所示。
在步骤S204中,将各组训练数据中的多通道图像样本数据作为深度学习网络的输入,并将同组训练数据中的MRI扫描数据作为深度学习网络的输出对深度学习网络进行训练。目的是为了使得深度学习网络将带有病灶区域标注的MRI扫描数据作为目标进行学习,在大量的学习后具有根据多通道图像数据得到带有病灶区域分割的图像。
其中,深度学习网络基于改进版的U-Net++(A Nested U-Net Architecture forMedical Image Segmentation)模型进行三分类的语义分割训练。分割区域包括梗死核心区、缺血半暗区和其他正常脑区域。
具体的,深度学习网络对多通道图像样本数据进行多次迭代计算,在每次迭代计算中对多通道图像样本数据进行多次变换,其中每次变换包括依次进行随机旋转和随机翻转。多通道图像样本数据在进行每次变换时都会得到一副增强图像。并且变换次数至少为8次。
其中,在进行随机旋转时旋转角度为90度、180度或270度,随机翻转采用上下翻转或左右翻转。
如图8所示,本申请还提供了一种深度学习模型的结构,包括下采样路径、上采样路径以及长短程跳跃连接路径。
其中,下采样路径包括7个编码块,每个编码块包含两个3×3卷积层,每个卷积层后添加有一个批量归一化层和一个Leaky ReLU(一种激活函数)激活层,每个编码块利用一个3×3卷积层进行下采样。
其中,上采样路径包括6个解码块,每个解码块包含两个3×3卷积层,每个卷积层后添加有一个批量归一化层和一个Leaky ReLU激活层,每个解码块利用一个5×5转置卷积层进行上采样。
其中,长短程跳跃连接路径包括4层10个卷积块构成的4个嵌套的不同深度的U-Net网络。每个卷积块包括两个3×3卷积层,每个卷积层后添加有一个批量归一化层、一个Leaky ReLU激活层和一个Batch Normalization归一化层。
在步骤104中,训练好的模型对CT灌注成像数据的每一层图像进行梗死核心区和缺血半暗区的区域分割,基于多层的分割图像构建脑部的三维模型,从而得到立体的梗死核心区域以及缺血半暗区域,再计算各病灶区域的体积,以便于后续进行失配量化评估。
上述基于深度学习的脑部病灶区域体积得到方法中,抛弃了CTP成像评估传统的阈值法,对基于无阈值的概率预测方法进行了改进,使用基于神经网络的语义分割深度学习算法来自动化分割CTP梗死核心和缺血半暗区。基于深度学习的分割方法具有高度自动化、精度高于传统阈值法和无阈值概率预测法等优点。并且速度快,能够大大提高患者的诊断速度,具有较高的临床应用价值。
此前应用深度学习进行CTP病灶分割的研究仅以CTP原始成像数据作为输入进行分割,准确度有限。根据以往临床研究,CBF、CBV、MTT和Tmax参数图相较于原始CTP时序图而言,更能判断梗死核心和缺血半暗区。因而本申请使用CTP参数图作为模型预测基础。并且在CTP四种参数图基础上对其进行整合叠加的Multi-Channel图像作为输入,并对U-Net++语义分割算法进行改进,能够取得更高的精度。
应该理解的是,虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图3所示,提供了一种基于深度学习的脑部病灶区域体积得到装置,包括:数据获取模块301、多通道图像数据计算模块302、图像分割模块303和体积计算模块304,其中:
数据获取模块301,用于获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
多通道图像数据计算模块302,用于根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
图像分割模块303,用于将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
体积计算模块304,用于基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
关于基于深度学习的脑部病灶区域体积得到装置的具体限定可以参见上文中对于基于深度学习的脑部病灶区域体积得到方法的限定,在此不再赘述。上述基于深度学习的脑部病灶区域体积得到装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于深度学习的脑部病灶区域体积得到方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述CT灌注成像数据进行计算,得到对应的CT灌注参数图;
将其中一张所述CT灌注图像与所述CT灌注参数图进行叠加合并,得到对应的所述多通道图像数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取与脑部相关的CT灌注成像数据样本集,所述样本集内包括多个对应不同扫描对象的CT灌注成像样本数据,所述CT灌注成像样本数据为以扫描时间顺序进行排列的多张CT灌注样本图像;
根据各所述CT灌注成像样本数据进行计算,得到对应的多通道图像样本数据;
获取与各所述CT灌注成像样本数据相关的多个MRI扫描数据,并将基于同一扫描对象得到多通道图像样本数据与MRI扫描数据作为一组训练数据;
依次将各组训练数据输入所述深度学习网络进行训练,得到训练后的深度学习网络。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据所述CT灌注成像数据进行计算,得到对应的CT灌注参数图;
将其中一张所述CT灌注图像与所述CT灌注参数图进行叠加合并,得到对应的所述多通道图像数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取与脑部相关的CT灌注成像数据样本集,所述样本集内包括多个对应不同扫描对象的CT灌注成像样本数据,所述CT灌注成像样本数据为以扫描时间顺序进行排列的多张CT灌注样本图像;
根据各所述CT灌注成像样本数据进行计算,得到对应的多通道图像样本数据;
获取与各所述CT灌注成像样本数据相关的多个MRI扫描数据,并将基于同一扫描对象得到多通道图像样本数据与MRI扫描数据作为一组训练数据;
依次将各组训练数据输入所述深度学习网络进行训练,得到训练后的深度学习网络。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.基于深度学习的脑部病灶区域体积得到方法,其特征在于,所述方法包括:
获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
2.根据权利要求1所述的脑部病灶区域体积得到方法,其特征在于,根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据包括:
根据所述CT灌注成像数据进行计算,得到对应的CT灌注参数图;
将其中一张所述CT灌注图像与所述CT灌注参数图进行叠加合并,得到对应的所述多通道图像数据。
3.根据权利要求1所述的脑部病灶区域体积得到方法,其特征在于,训练所述深度学习网络包括:
获取与脑部相关的CT灌注成像数据样本集,所述样本集内包括多个对应不同扫描对象的CT灌注成像样本数据,所述CT灌注成像样本数据为以扫描时间顺序进行排列的多张CT灌注样本图像;
根据各所述CT灌注成像样本数据进行计算,得到对应的多通道图像样本数据;
获取与各所述CT灌注成像样本数据相关的多个MRI扫描数据,并将基于同一扫描对象得到多通道图像样本数据与MRI扫描数据作为一组训练数据;
依次将各组训练数据输入所述深度学习网络进行训练,得到训练后的深度学习网络。
4.根据权利要求3所述的脑部病灶区域体积得到方法,其特征在于,所述依次将各组训练数据输入所述深度学习网络进行训练,得到训练后的深度学习网络包括:
将各组所述训练数据中的所述多通道图像样本数据作为所述深度学习网络的输入,并将同组所述训练数据中的MRI扫描数据作为所述深度学习网络的输出对深度学习网络进行训练。
5.根据权利要求3所述的脑部病灶区域体积得到方法,其特征在于,所述深度学习网络对所述多通道图像样本数据进行多次迭代计算,在每次迭代计算中对所述多通道图像样本数据进行多次变换,其中每次变换包括依次进行随机旋转和随机翻转。
6.根据权利要求3所述的脑部病灶区域体积得到方法,其特征在于,所述深度学习网络包括下采样路径、上采样路径以及长短程跳跃连接路径。
7.根据权利要求2所述的脑部病灶区域体积得到方法,其特征在于,各所述MRI扫描数据中均标注有梗死核心区域以及缺血半暗区域。
8.一种基于深度学习的脑部病灶区域体积得到装置,其特征在于,所述装置包括:
数据获取模块,用于获取与脑部相关的CT灌注成像数据,所述CT灌注成像数据为以扫描时间顺序进行排列的多张CT灌注图像;
多通道图像数据计算模块,用于根据所述CT灌注成像数据进行计算,得到对应的多通道图像数据;
图像分割模块,用于将所述多通道图像数据输入训练好的深度学习网络,得到对应的多张分割图像,所述分割图像包括梗死核心区域以及缺血半暗区域;
体积计算模块,用于基于多张所述分割图像构建三维形式的脑部模型,并根据所述脑部模型进行计算,得到梗死核心区域以及缺血半暗区域的体积。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011103104.7A CN112435212A (zh) | 2020-10-15 | 2020-10-15 | 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011103104.7A CN112435212A (zh) | 2020-10-15 | 2020-10-15 | 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112435212A true CN112435212A (zh) | 2021-03-02 |
Family
ID=74690385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011103104.7A Pending CN112435212A (zh) | 2020-10-15 | 2020-10-15 | 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112435212A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222893A (zh) * | 2021-04-06 | 2021-08-06 | 数坤(北京)网络科技有限公司 | 一种异常区域确定方法及装置 |
CN113393433A (zh) * | 2021-06-10 | 2021-09-14 | 北京安德医智科技有限公司 | 一种通用的医学影像灌注参数预测方法及装置 |
CN115205294A (zh) * | 2022-09-16 | 2022-10-18 | 杭州脉流科技有限公司 | 一种基于多模型融合的缺血性脑卒中梗死评估装置和方法 |
CN115330775A (zh) * | 2022-10-13 | 2022-11-11 | 佛山科学技术学院 | 一种脑卒中ct和mri影像征象定量评估方法及系统 |
CN116363160A (zh) * | 2023-05-30 | 2023-06-30 | 杭州脉流科技有限公司 | 基于水平集的ct灌注影像脑组织分割方法和计算机设备 |
CN116757507A (zh) * | 2023-08-14 | 2023-09-15 | 武汉理工大学 | 一种作物灌浆过程预测方法、系统、电子设备及存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109003299A (zh) * | 2018-07-05 | 2018-12-14 | 北京推想科技有限公司 | 一种基于深度学习的计算脑出血量的方法 |
CN109410216A (zh) * | 2018-09-14 | 2019-03-01 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN109829894A (zh) * | 2019-01-09 | 2019-05-31 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
CN109872328A (zh) * | 2019-01-25 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 一种脑部图像分割方法、装置和存储介质 |
CN110189306A (zh) * | 2019-05-14 | 2019-08-30 | 上海联影智能医疗科技有限公司 | 脑图像中异常区域对应的责任血管确定方法和设备 |
CN110415234A (zh) * | 2019-07-29 | 2019-11-05 | 北京航空航天大学 | 基于多参数磁共振成像的脑部肿瘤分割方法 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
CN111047591A (zh) * | 2020-03-13 | 2020-04-21 | 北京深睿博联科技有限责任公司 | 基于深度学习的病灶体积测量方法、系统、终端及存储介质 |
US20200214570A1 (en) * | 2017-09-11 | 2020-07-09 | NEUROPHET Inc. | Method and program for generating three-dimensional brain map |
CN111402260A (zh) * | 2020-02-17 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的医学影像分割方法、系统、终端及存储介质 |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
-
2020
- 2020-10-15 CN CN202011103104.7A patent/CN112435212A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200214570A1 (en) * | 2017-09-11 | 2020-07-09 | NEUROPHET Inc. | Method and program for generating three-dimensional brain map |
CN109003299A (zh) * | 2018-07-05 | 2018-12-14 | 北京推想科技有限公司 | 一种基于深度学习的计算脑出血量的方法 |
CN109410216A (zh) * | 2018-09-14 | 2019-03-01 | 北京市商汤科技开发有限公司 | 一种缺血性脑卒中图像区域分割方法及装置 |
CN109829894A (zh) * | 2019-01-09 | 2019-05-31 | 平安科技(深圳)有限公司 | 分割模型训练方法、oct图像分割方法、装置、设备及介质 |
CN109872328A (zh) * | 2019-01-25 | 2019-06-11 | 腾讯科技(深圳)有限公司 | 一种脑部图像分割方法、装置和存储介质 |
CN110189306A (zh) * | 2019-05-14 | 2019-08-30 | 上海联影智能医疗科技有限公司 | 脑图像中异常区域对应的责任血管确定方法和设备 |
CN110415234A (zh) * | 2019-07-29 | 2019-11-05 | 北京航空航天大学 | 基于多参数磁共振成像的脑部肿瘤分割方法 |
CN110689547A (zh) * | 2019-09-25 | 2020-01-14 | 重庆大学 | 一种基于三维ct影像的肺结节分割方法 |
CN111402260A (zh) * | 2020-02-17 | 2020-07-10 | 北京深睿博联科技有限责任公司 | 一种基于深度学习的医学影像分割方法、系统、终端及存储介质 |
CN111047591A (zh) * | 2020-03-13 | 2020-04-21 | 北京深睿博联科技有限责任公司 | 基于深度学习的病灶体积测量方法、系统、终端及存储介质 |
CN111754520A (zh) * | 2020-06-09 | 2020-10-09 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222893A (zh) * | 2021-04-06 | 2021-08-06 | 数坤(北京)网络科技有限公司 | 一种异常区域确定方法及装置 |
CN113222893B (zh) * | 2021-04-06 | 2022-03-08 | 数坤(北京)网络科技股份有限公司 | 一种异常区域确定方法及装置 |
CN113393433A (zh) * | 2021-06-10 | 2021-09-14 | 北京安德医智科技有限公司 | 一种通用的医学影像灌注参数预测方法及装置 |
CN115205294A (zh) * | 2022-09-16 | 2022-10-18 | 杭州脉流科技有限公司 | 一种基于多模型融合的缺血性脑卒中梗死评估装置和方法 |
CN115205294B (zh) * | 2022-09-16 | 2022-11-22 | 杭州脉流科技有限公司 | 一种基于多模型融合的缺血性脑卒中梗死评估装置和方法 |
CN115330775A (zh) * | 2022-10-13 | 2022-11-11 | 佛山科学技术学院 | 一种脑卒中ct和mri影像征象定量评估方法及系统 |
CN115330775B (zh) * | 2022-10-13 | 2023-01-17 | 佛山科学技术学院 | 一种脑卒中ct和mri影像征象定量评估方法及系统 |
CN116363160A (zh) * | 2023-05-30 | 2023-06-30 | 杭州脉流科技有限公司 | 基于水平集的ct灌注影像脑组织分割方法和计算机设备 |
CN116363160B (zh) * | 2023-05-30 | 2023-08-29 | 杭州脉流科技有限公司 | 基于水平集的ct灌注影像脑组织分割方法和计算机设备 |
CN116757507A (zh) * | 2023-08-14 | 2023-09-15 | 武汉理工大学 | 一种作物灌浆过程预测方法、系统、电子设备及存储介质 |
CN116757507B (zh) * | 2023-08-14 | 2023-11-10 | 武汉理工大学 | 一种作物灌浆过程预测方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112435212A (zh) | 基于深度学习的脑部病灶区域体积得到方法、装置、计算机设备和存储介质 | |
CN110310256B (zh) | 冠脉狭窄检测方法、装置、计算机设备和存储介质 | |
CN111179372B (zh) | 图像衰减校正方法、装置、计算机设备和存储介质 | |
Kuang et al. | EIS-Net: segmenting early infarct and scoring ASPECTS simultaneously on non-contrast CT of patients with acute ischemic stroke | |
CN109712163B (zh) | 冠脉提取方法、装置、图像处理工作站和可读存储介质 | |
CN110717961B (zh) | 多模态图像重建方法、装置、计算机设备和存储介质 | |
CN110619635B (zh) | 基于深度学习的肝细胞癌磁共振图像分割系统和方法 | |
JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
CN111415361B (zh) | 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置 | |
Liu et al. | Transformer and convolutional based dual branch network for retinal vessel segmentation in OCTA images | |
CN111754534A (zh) | 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质 | |
CN113870117A (zh) | 获取脑ct灌注参数图的方法、装置、系统和计算机存储介质 | |
CN115984130A (zh) | 获取灌注参数图及病变区域的方法和可读存储介质 | |
US11600379B2 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
CN112053413A (zh) | 脑部ct灌注成像的参数图获取方法、装置、计算机设备和存储介质 | |
CN116051826A (zh) | 基于dsa影像连续帧序列的冠脉血管分割方法、计算机设备和可读存储介质 | |
CN110751187A (zh) | 异常区域图像生成网络的训练方法和相关产品 | |
CN111312374A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
Dang et al. | LVSegNet: a novel deep learning-based framework for left ventricle automatic segmentation using magnetic resonance imaging | |
CN113706451A (zh) | 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 | |
CN113935943A (zh) | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 | |
CN111160441B (zh) | 分类方法、计算机设备和存储介质 | |
CN116491968A (zh) | 基于单时相cta的急性缺血性卒中侧支循环评估方法 | |
CN110738664B (zh) | 图像定位方法、装置、计算机设备和存储介质 | |
CN110610527B (zh) | 计算suv的方法、装置、设备、系统及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |