CN113436185B - 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 - Google Patents
肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113436185B CN113436185B CN202110807559.5A CN202110807559A CN113436185B CN 113436185 B CN113436185 B CN 113436185B CN 202110807559 A CN202110807559 A CN 202110807559A CN 113436185 B CN113436185 B CN 113436185B
- Authority
- CN
- China
- Prior art keywords
- vein
- blood vessel
- vessel
- segmentation
- hepatic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种肝脏静脉血管三维结构特征定量分析方法,包括:获取待分析的肝脏三维影像,获取静脉血管的分割区域;中心线计算;血管分段处理,将静脉血管分为肝左、中、右静脉以及肝门静脉左、右支;根据各段的中心线和使用三维表面重建算法重建的静脉血管模型对静脉血管的三维结构特征进行定量分析,参数指标包括血管形态、分支、网格表征指标中的一种或几种。还提供了相关的装置、计算机设备和存储介质。本发明由于无需人工干预,可实现全自动分析,能够满足批量分析血管参数的需求,从而能快速、准确、批量的分析肝脏静脉血管的三维结构特征定量指标,能提供更全面详细的血管三维结构特征定量分析,可为医生评估血管提供更全面的参考。
Description
技术领域
本发明涉及医学影像处理技术领域,特别涉及血管三维结构特征定量分析技术领域,具体是指一种肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质。
背景技术
许多疾病都会在一定程度上引起血管的形态发生改变,故通过对血管的定量分析可以对某些疾病进行早期预测和临床诊断。由于二维血管定量分析常常会受到结构重叠的影响,因此三维血管定量分析结果更加准确。
目前市面上已经有一部分血管参数评估的软件或者专利,其内容尚存在一定的缺陷或不完善。比如血管的参数评估采用的是交互式的评估方式,也就是通过人机交互的方式在血管的位置放置一系列点,根据点的位置来计算血管的长度、血管的截面直径以及血管的分叉处的角度等参数,但是,这种方式无法满足批量处理的需求。当然,也有一些全自动的血管结构特征评估算法,但其对血管的评估指标比较单一,无法为血管的健康状况提供一个全面的定量分析。
例如,中国发明专利申请CN202010153299.X(发明名称“血管参数测量方法、装置、计算机设备和存储介质”)披露了一种血管参数测量方法,其具体的技术方案如下:
1、对待测医学影像数据(CT、MRI)进行基于深度学习的血管分割;
首先对已经标注的医学影像数据进行预处理,包括加噪、过欠均衡采样处理、数据白化等至少一种预处理,实现训练样本的扩充以及增加训练后模型的泛化能力,以得到比较准确的分割结果。
2、对待测医学影像数据通过深度学习的方式分割种子点区域,并提取种子点区域的种子点;
使用血管影像样本数据以及血管影像样本种子点区域标注数据(用于标注出整体动脉中的种子点区域)对种子点区域模型进行训练,得到种子点区域分割模型。
3、根据种子点生成血管的中心线;
对种子点区域分割模型分割的种子点区域提取的种子点在已分割的血管数据中进行区域生长,并将所有生长的区域的质心连接起来作为血管的中心线。具体的步骤如下:
(1)、将分割图像中的整体动脉作为当前的未标记区域,以种子点为队列起始点,建立第一中心线队列,并将种子点作为第一中心线队列的当前点。
(2)、基于当前点所在的区域,在当前的未标记区域中进行区域生长,得到生长区域,并将生长区域作为已标记区域。
(3)、当生长区域未达到整体动脉的血管末端、且生长区域连通时,则将生长区域的质心添加到第一中心线队列,并将质心作为当前点、且将整体动脉中除已标记区域之外的区域,作为当前的未标记区域,返回基于当前点所在的区域,在当前的未标记区域中进行区域生长的步骤以继续执行。
(4)、当生长区域未达到整体动脉的血管末端、且生长区域为不连通的多个分支区域时,则对各分支区域分别取质心,将其中一个质心添加至第一中心线队列,并将质心作为第一中心线队列的当前点。以剩余的质心为队列起始点分别建立相应的第二中心线队列,将剩余的质心分别作为相应第二中心线队列的当前点。将整体动脉中除已标记区域之外的区域,作为当前的未标记区域,执行基于当前点所在的区域,在当前的未标记区域中进行区域生长,得到生长区域及后续步骤,直至生长区域达到整体动脉的血管末端。
(5)、当生长区域已达到整体动脉的血管末端、且不存在分支区域时,则根据第一中心线队列和第二中心线队列,生成整体动脉的中心线。
4、根据中心线和分割完成的血管数据在Web上进行交互式测量血管参数,并生成相应的报告。
基于测量页面接收血管参数测量指令,根据分割图像和中心线,生成与血管参数测量指令相应的测量结果的步骤,具体包括如下步骤:
(1)、基于测量页面接收血管参数测量指令;
(2)、响应于血管参数测量指令,确定所选择的测量类型和在中心线上所选取的测量点。其中,测量类型是指要测量哪一种类型的血管参数。比如:血管横截面上的等效直径、血管中心线上两点之间的长度距离和血管中心线上三点之间所成的夹角等测量类型。;
(3)、根据测量点和分割图像,对整体动脉进行与测量类型对应的测量处理,得到与测量类型相应的测量结果。根据测量结果,可以生成能够调整的血管参数报告列表,而该血管参数报告列表包括血管参数测量指令所包含的测量点和测量类型、测量区域图像和测量结果。根据血管参数报告列表中测量结果的顺序,能够生成血管参数图文报告。
但是,上述技术方案存在以下问题:
1、对血管的三维结构特征定量指标的测量不完善,也就是测量的参数不够全面,无法全方位的评估出血管的健康状况。上述发明仅测量了血管的横截面上直径的最大/小值、血管横截面的等效直径、血管的长度以及血管在分叉处的角度。
2、采用的是交互式的测量方案,测量过程需要人工干预,无法满足批量测量的需求。
因此,需要提供一种肝脏静脉血管三维结构特征定量分析方法,其能够快速、准确、批量的分析肝脏静脉血管的三维结构特征定量指标。
发明内容
本发明的目的是为了克服上述现有技术中的缺点,提供能够快速、准确、批量的分析肝脏静脉血管的三维结构特征定量指标的肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质。
为达到以上目的,在本发明的第一方面,提供一种肝脏静脉血管三维结构特征定量分析方法,其特点是,包括以下步骤:
(1)获取待分析的肝脏三维影像,并获取所述的待分析的肝脏三维影像的静脉血管的分割区域;
(2)对所述分割区域中所述静脉血管进行中心线计算从而获得所述静脉血管的中心线;
(3)对所述分割区域中所述静脉血管进行血管分段处理,将所述静脉血管分为肝左静脉、肝中静脉、肝右静脉、肝门静脉左支和肝门静脉右支;
(4)根据所述肝左静脉的中心线、所述肝中静脉的中心线、所述肝右静脉的中心线、所述肝门静脉左支的中心线、所述肝门静脉右支的中心线和所述分割区域中使用三维表面重建算法重建的静脉血管模型对所述静脉血管的三维结构特征进行定量分析,所述定量分析的参数指标包括血管形态表征指标、血管分支表征指标和血管网格表征指标中的一种或几种,所述血管形态表征指标包括血管长度、血管扭曲度、血管管径、血管容积和容积百分比中的一种或几种,所述血管分支表征指标包括血管分支数、血管分叉角度、血管根节点数量、血管端节点数量以及血管分支节点数量中的一种或几种,所述血管网格表征指标包括血管分布密度。
较佳地,在所述步骤(1)中,所述的待分析的肝脏三维影像是肝脏MRI三维影像。
较佳地,在所述步骤(1)中,所述的获取所述的待分析的肝脏三维影像的静脉血管的分割区域的步骤具体包括:
(11)将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域。
更佳地,在所述步骤(11)中,所述的预先训练的静脉血管分割模型采用以下步骤获得:
(a)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的静脉血管标注数据;
(b)将所述样本肝脏三维影像和所述静脉血管标注数据作为训练集,对静脉血管分割模型迭代进行深度学习训练,得到所述的预先训练的静脉血管分割模型。
更进一步地,在所述步骤(a)中,所述的获取样本肝脏三维影像的步骤具体包括:
(a1)对原始样本肝脏三维影像进行预处理得到新增样本肝脏三维影像,所述预处理包括直方图均衡化、旋转、加噪声、扭曲和镜像中的一种或几种;
(a2)将所述原始样本肝脏三维影像和所述新增样本肝脏三维影像合并作为所述样本肝脏三维影像。
更进一步地,在所述步骤(b)中,所述静脉血管分割模型采用的深度学习网络是基于U-Net和混合域注意力机制相结合的全监督分割网络。
较佳地,在所述步骤(3)中,根据所述的静脉血管的中心线的拓扑形态和所述分割区域中所述静脉血管在三维空间中的方向信息对所述分割区域中所述静脉血管进行所述血管分段处理。
在本发明的第二方面,提供一种肝脏静脉血管三维结构特征定量分析装置,其特点是,包括:
静脉血管分割模块,用于获取待分析的肝脏三维影像的静脉血管的分割区域;
中心线计算模块,信号连接所述静脉血管分割模块并用于对所述分割区域中所述静脉血管进行中心线计算从而获得所述静脉血管的中心线;
血管分段处理模块,信号连接所述中心线计算模块并用于对所述分割区域中所述静脉血管进行血管分段处理,将所述静脉血管分为肝左静脉、肝中静脉、肝右静脉、肝门静脉左支和肝门静脉右支;
三维结构特征定量分析模块,信号连接所述血管分段处理模块并用于根据所述肝左静脉的中心线、所述肝中静脉的中心线、所述肝右静脉的中心线、所述肝门静脉左支的中心线、所述肝门静脉右支的中心线和所述分割区域中使用三维表面重建算法重建的静脉血管模型对所述静脉血管的三维结构特征进行定量分析,所述定量分析的参数指标包括血管形态表征指标、血管分支表征指标和血管网格表征指标中的一种或几种,所述血管形态表征指标包括血管长度、血管扭曲度、血管管径、血管容积和容积百分比中的一种或几种,所述血管分支表征指标包括血管分支数、血管分叉角度、血管根节点数量、血管端节点数量以及血管分支节点数量中的一种或几种,所述血管网格表征指标包括血管分布密度。
在本发明的第三方面,提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特点是,所述处理器执行所述计算机程序时实现上述的肝脏静脉血管三维结构特征定量分析方法。
在本发明的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特点是,所述计算机程序被处理器执行时实现上述的肝脏静脉血管三维结构特征定量分析方法。
采用了本发明的肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质,由于其无需人工干预,可实现全自动分析,能够满足批量分析血管参数的需求,从而能够快速、准确、批量的分析肝脏静脉血管的三维结构特征定量指标,而且,相比于现有的技术,本发明能够提供更加全面、详细的血管三维结构特征定量分析,可以为医生评估血管提供更加全面的参考。
附图说明
图1是本发明的肝脏静脉血管三维结构特征定量分析方法的一具体实施例的流程示意图。
图2是图1所示的具体实施例中静脉血管分割模型深度学习训练的方法示意图。
图3是采用图1所示的具体实施例获得的肝脏三维影像的静脉血管的分割区域和中心线的主视示意图。
图4是本发明的肝脏静脉血管三维结构特征定量分析装置的一具体实施例的框架示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容,特举以下实施例详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限制本发明。
请参见图1~图2所示,在本发明的一具体实施例中,本发明的肝脏静脉血管三维结构特征定量分析方法包括以下步骤:
(1)获取待分析的肝脏三维影像,并获取所述的待分析的肝脏三维影像的静脉血管的分割区域;
(2)对所述分割区域中所述静脉血管进行中心线计算从而获得所述静脉血管的中心线;
(3)对所述分割区域中所述静脉血管进行血管分段处理,将所述静脉血管分为肝左静脉、肝中静脉、肝右静脉、肝门静脉左支和肝门静脉右支;
(4)根据所述肝左静脉的中心线、所述肝中静脉的中心线、所述肝右静脉的中心线、所述肝门静脉左支的中心线、所述肝门静脉右支的中心线和所述分割区域中使用三维表面重建算法重建的静脉血管模型对所述静脉血管的三维结构特征进行定量分析,所述定量分析的参数指标包括血管形态表征指标、血管分支表征指标和血管网格表征指标中的一种或几种,所述血管形态表征指标包括血管长度、血管扭曲度、血管管径、血管容积和容积百分比中的一种或几种,所述血管分支表征指标包括血管分支数、血管分叉角度、血管根节点数量、血管端节点数量以及血管分支节点数量中的一种或几种,所述血管网格表征指标包括血管分布密度。
在所述步骤(1)中,肝脏三维影像,是对肝脏拍摄的三维影像。可以理解,肝脏三维影像包括肝脏静脉血管三维影像,肝脏静脉血管包括肝左静脉、肝中静脉、肝右静脉、肝门静脉左支和肝门静脉右支。肝门静脉从肝门进入,然后延伸为肝门静脉左支和右支,逐渐细分为肝脏的毛细血管。而肝静脉左、中、右支血管共同连接到下腔静脉,肝静脉收集肝脏中血液汇入下腔静脉中。待分析的肝脏三维影像,是需要进行血管参数指标定量分析的肝脏三维影像。
在所述步骤(1)中,所述的待分析的肝脏三维影像可以是任何合适类型的肝脏三维影像,例如CT(Computed Tomography,电子计算机断层扫描)三维影像或MRI(MagneticResonance Imaging,磁共振成像)三维影像,在本发明的一具体实施例中,在所述步骤(1)中,所述的待分析的肝脏三维影像是肝脏MRI三维影像。
在所述步骤(1)中,所述的获取所述的待分析的肝脏三维影像的静脉血管的分割区域的步骤即是对所述的待分析的肝脏三维影像进行静脉血管分割,得到静脉血管的分割区域的步骤,具体可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(1)中,所述的获取所述的待分析的肝脏三维影像的静脉血管的分割区域的步骤具体包括:
(11)将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域。
其中,静脉血管分割模型,是用于进行静脉血管分割处理的机器学习模型。可以通过深度学习训练,得到预先训练的静脉血管分割模型。
在所述步骤(11)中,所述的预先训练的静脉血管分割模型可以采用任何合适的方法获得,在本发明的一具体实施例中,在所述步骤(11)中,所述的预先训练的静脉血管分割模型采用以下步骤获得:
(a)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的静脉血管标注数据;
(b)将所述样本肝脏三维影像和所述静脉血管标注数据作为训练集,对静脉血管分割模型迭代进行深度学习训练,得到所述的预先训练的静脉血管分割模型。
也就是说,将上述训练集中的样本肝脏三维影像输入深度学习网络中,得到静脉血管预测数据,然后将静脉血管预测数据与训练集中的静脉血管标注数据进行差异对比,根据该差异迭代地更新深度学习网络,直到满足迭代终止条件,得到静脉血管分割模型。
在所述步骤(a)中,所述的获取样本肝脏三维影像的步骤具体可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(a)中,所述的获取样本肝脏三维影像的步骤具体包括:
(a1)对原始样本肝脏三维影像进行预处理得到新增样本肝脏三维影像,所述预处理包括直方图均衡化、旋转、加噪声、扭曲和镜像中的一种或几种;
(a2)将所述原始样本肝脏三维影像和所述新增样本肝脏三维影像合并作为所述样本肝脏三维影像。
其中,原始样本肝脏三维影像,是未经过预处理的样本肝脏三维影像。由于不同的仪器采集的肝脏影像数据的图像特征有所差异,为了使血管分割模型的泛化能力较强,所以在进行模型训练时需要采用一定的预处理方法,其中包括直方图均衡化、旋转、加噪声、扭曲和镜像等操作。图像直方图均衡化是一种增强图像对比度的方法,可以将图像的直方图分布变为近似均匀分布,实现增强对比度的效果。而旋转、扭曲和镜像的作用是对肝脏图像数据进行数据变换,也就是将图像中的像素点按照一定的规律映射到新的位置,可以让图像的特征发生一些适当的变化。将变化后的图像放入训练集中不但可以增加训练集的样本数量,还可以增加训练完成后血管分割模型的泛化能力。对图像进行加入噪声,相当于加入一些干扰因素,常见的有加入高斯噪声和其他的一些随机噪声。
在所述步骤(b)中,所述静脉血管分割模型采用的深度学习网络可以是任何合适的深度学习网络,请参见图2所示,在本发明的一具体实施例中,在所述步骤(b)中,所述静脉血管分割模型采用的深度学习网络是基于U-Net和混合域注意力机制相结合的全监督分割网络。
如图2所示,是通过深度学习训练,得到预先训练的静脉血管分割模型的过程示意图。从图2中可知,整体训练过程是这样的:将原始医学影像(即样本肝脏三维影像)输入到深度学习网络中,得到深度学习网络预测结果,然后将预测结果(即静脉血管预测数据)和人工标注(即静脉血管标注数据)作对比,并反馈给深度学习网络,以人工标注作为目标,根据反馈的对比信息不断更新深度学习网络,直到预测结果与人工标注接近,即得到本实施例中的预先训练的静脉血管分割模型。
需要说明的是,上述静脉血管提取方法使用的是基于深度学习的静脉血管提取方法,而在实际使用过程中可以使用其它的静脉血管分割方案,例如其它传统的静脉血管分割算法提取的静脉血管数据或者由专业的人员人工标注的静脉血管数据。
在所述步骤(2)中,所述中心线计算具体可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(2)中,所述中心线计算采用开源工具VMTK(VascularModelling Toolkit)中的vmtkNetworkExtraction函数提取血管的近似中心线并基于该近似中心线提取血管分支末梢端点,然后使用vmtkCenterlines函数进行中心线计算。也可以使用医学图像分割与配准工具ITK中的三维骨架提取方法,此时骨架由三维离散的点构成,然后根据骨架生成中心线。
所述步骤(2)还可以包括其它任何合适的步骤,在本发明的一具体实施例中,所述步骤(2)还包括:
根据所述的静脉血管的中心线对所述静脉血管进行优化处理。
在所述步骤(2)中,所述优化处理可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(2)中,所述优化处理根据所述的静脉血管的中心线的端点沿着所述的静脉血管的中心线的长度方向进行。
在所述步骤(2)中,所述优化处理可以是任何合适的优化处理,在本发明的一具体实施例中,在所述步骤(2)中,所述优化处理包括消除所述静脉血管的表面的细小突刺和连接所述静脉血管的断开的分支中的一种或几种。
在所述步骤(3)中,所述血管分段处理可以采用任何合适的方法,在本发明的一具体实施例中,在所述步骤(3)中,根据所述的静脉血管的中心线的拓扑形态和所述分割区域中所述静脉血管在三维空间中的方向信息对所述分割区域中所述静脉血管进行所述血管分段处理。根据血管数据的方向信息来决定肝脏数据的左、右、前、后等方向,并将方向对应到肝静脉中心线的每一个分支,最后从肝静脉和下腔静脉的交叉处开始,根据中心线的每一个分支的方向来确定肝左静脉、肝中静脉以及肝右静脉。以相同的方法,从肝门静脉的入口开始,根据肝门静脉的中心线的方向来确定肝门静脉左支和肝门静脉右支。
需要说明的是,关于所述血管分段处理,除了本发明中提到的上述方法之外,也可使用由专业人员标注的静脉血管分段数据或者其它结果可靠的分段方法生成的数据。
在所述步骤(4)中,所述血管扭曲度是指血管长度与血管的两个端点之间的直线距离的比值,用来衡量血管的扭曲程度;所述血管管径包括血管横截面的直径最大值、直径最小值以及等效直径;所述血管长度是指血管的一个分叉处到下一个分叉处的长度;所述血管容积是指整个肝脏血管能够容纳的血液体积;所述容积百分比是指肝静脉左、中、右支、肝门静脉左支和右支分别能够容纳的体积占整个血管容积的比例;所述血管分支数是指血管分支的数量,其中血管分支是血管两个节点之间(血管端点与分叉点、分叉点与分叉点)之间的线性结构。所述血管分叉角度是指血管分支处的两个血管轴向的方向向量之间的角度;所述血管根节点数量是指血管根节点的数量,所述血管端节点数量是指血管端节点的数量,所述血管分支节点数量是指血管分支节点的数量。根节点相当于血管的入口,而端节点则是血管末梢的端点,分支节点则是血管分叉处的轴向交点;所述血管分布密度是指在某个指定区域内部的血管绝对数量,可以定量反映出血管的分布趋势。
以下,以500份原始样本肝脏MRI三维影像和某个肝病患者的肝脏MRI三维影像作为待分析的肝脏MRI三维影像为例,具体说明本发明的肝脏静脉血管三维结构特征定量分析方法。
1、预先训练的静脉血管分割模型的获得
将500份原始样本肝脏MRI三维影像的每一个样本数据进行自适应直方图均衡化,同时对每一个样本数据依次间隔3个切片交替进行旋转、噪声、扭曲和镜像,其中旋转角度为15度和30度,镜像为垂直镜像和水平镜像,在图像中随机添加高斯噪声。获得500份样本肝脏MRI三维影像,将其中350份(70%)样本肝脏MRI三维影像和对应的肝脏血管标注数据作为训练集,150份(30%)肝脏MRI三维影像和对应的肝脏血管标注数据作为验证集。
将训练集输入图2所示的基于U-Net和混合域注意力机制相结合的全监督分割网络。该网络整体上分为编码和解码过程,编码过程中采用卷积和下采样操作来提取图像中的浅层特征。而解码过程则是采用卷积和上采样操作来提取图像深层特征,通过跳跃层将不同层次的图像信息进行融合,在融合过程中结合混合域注意力机制,也就是使图像的某些特征更加明显。最后将输出的结果和人工标注的数据进行对比并更新模型的参数。整个训练过程设置batch大小为8、学习率为0.0001、下采样过程中卷积核大小3×3,池化过程中窗的大小设置为2×2,采用Adam优化器进行训练,损失函数采用多分类交叉熵损失函数。
将验证集输入上述获得的预先训练的静脉血管分割模型,在验证集中表现较好,整个验证集的Dice值(用来评估图像分割的效果,值范围在0—1之间,越接近1,其表示越接近真实结果)范围在0.82—0.91之间,整个验证集的平均Dice值为0.846。
2、待分析的肝脏MRI三维影像的血管三维结构特征定量分析
将待分析的肝脏MRI三维影像输入上述获得的预先训练的静脉血管分割模型,获得静脉血管的分割区域,并对分割区域中静脉血管进行中心线计算,得到静脉血管的中心线。请参见图3所示,图3中示出了肝脏三维影像的静脉血管的分割区域(100即为分割得到的静脉血管)和分割区域中静脉血管的中心线(200)。
从采集的原始肝脏图像数据的文件头中,可以获得肝脏数据的方向信息,将得到的方向信息对应到血管中心线数据中。然后从血管的根节点开始,到第一个分叉节点,判断这两个点构成的方向向量,将此方向向量和方向信息相比较,最靠近方向信息中的右的中心线束对应的血管为肝静脉右支,最接近左侧的为肝静脉左支,剩下的为肝中静脉。同理可以判断肝门静脉左支、肝门静脉右支。
血管分段完成后,就可以对血管的三维结构特征进行定量分析。如血管长度可以通过该段血管的中心线的长度来度量;血管的管径根据中心线的相邻两点构成的法平面与血管的截面的直径最大值、最小值以及直径等效值;血管的容积则计算血管分支的容积与总的血管容积的比值;血管的各类节点数(根节点、端节点以及分支节点)则根据中心线的入口、末梢端点以及中心线的分支节点的数量来确定;血管的分支数可以根据血管中心线的端点到分叉点和分叉点到分叉点的数量来度量;血管分叉角度也可以根据血管中心线分叉处的点和分叉的两条中心线中各取一点构成的角度;血管分布密度是在用户指定的区域中计算血管的数量,也可以通过该区域的中心线的条数来度量。
以肝脏数据中的其中一例的肝静脉左支为例,通过参数评估后得出结果:肝静脉左支的根节点到第一个分支点的距离为1.6cm,第一个分支节点到第二个分支节点之间的距离为3.58cm;第一个分支节点的两个分支角度为34.785度;分支节点数目为14;端节点的数目为16;从根节点到端节点扭曲度的平均值为0.25;根节点到第一个分支节点的管径等效直径为1.06cm,最大值为1.36cm,最小值为0.76cm;整个肝静脉左支的容积为32.740cm3,对应的容积百分比为26.73%;血管的分支数为24;根据指定的区域,计算出血管的分布密度6。
请参见图4所示,在本发明的一具体实施例中,本发明还提供一种肝脏静脉血管三维结构特征定量分析装置,包括:
静脉血管分割模块,用于获取待分析的肝脏三维影像的静脉血管的分割区域;
中心线计算模块,信号连接所述静脉血管分割模块并用于对所述分割区域中所述静脉血管进行中心线计算从而获得所述静脉血管的中心线;
血管分段处理模块,信号连接所述中心线计算模块并用于对所述分割区域中所述静脉血管进行血管分段处理,将所述静脉血管分为肝左静脉、肝中静脉、肝右静脉、肝门静脉左支和肝门静脉右支;
三维结构特征定量分析模块,信号连接所述血管分段处理模块并用于根据所述肝左静脉的中心线、所述肝中静脉的中心线、所述肝右静脉的中心线、所述肝门静脉左支的中心线、所述肝门静脉右支的中心线和所述分割区域中使用三维表面重建算法重建的静脉血管模型对所述静脉血管的三维结构特征进行定量分析,所述定量分析的参数指标包括血管形态表征指标、血管分支表征指标和血管网格表征指标中的一种或几种,所述血管形态表征指标包括血管长度、血管扭曲度、血管管径、血管容积和容积百分比中的一种或几种,所述血管分支表征指标包括血管分支数、血管分叉角度、血管根节点数量、血管端节点数量以及血管分支节点数量中的一种或几种,所述血管网格表征指标包括血管分布密度。
所述静脉血管分割模块用于获取待分析的肝脏三维影像的静脉血管的分割区域即是用于对所述的待分析的肝脏三维影像进行静脉血管分割,得到静脉血管的分割区域,具体可以采用任何合适的方法,在本发明的一具体实施例中,所述静脉血管分割模块具体用于将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域。
所述肝脏静脉血管三维结构特征定量分析装置还可以包括其它任何合适的构成,请参见图4所示,在本发明的一具体实施例中,所述肝脏静脉血管三维结构特征定量分析装置还包括静脉血管分割模型训练模块,信号连接所述静脉血管分割模块并用于获取样本肝脏三维影像,并获取所述样本肝脏三维影像的静脉血管标注数据;将所述样本肝脏三维影像和所述静脉血管标注数据作为训练集,对静脉血管分割模型迭代进行深度学习训练,得到所述的预先训练的静脉血管分割模型。
为了使得所述的预先训练的静脉血管分割模型更加准确,在本发明的一具体实施例中,所述静脉血管分割模型训练模块还用于对原始样本肝脏三维影像进行预处理得到新增样本肝脏三维影像,所述预处理包括直方图均衡化、旋转、加噪声、扭曲和镜像中的一种或几种;将所述原始样本肝脏三维影像和所述新增样本肝脏三维影像合并作为所述样本肝脏三维影像。
所述静脉血管分割模型采用的深度学习网络可以是任何合适的深度学习网络,在本发明的一具体实施例中,所述静脉血管分割模型采用的深度学习网络是基于U-Net和混合域注意力机制相结合的全监督分割网络。
所述肝脏静脉血管三维结构特征定量分析装置还可以包括其它任何合适的构成,请参见图4所示,在本发明的一具体实施例中,所述肝脏静脉血管三维结构特征定量分析装置还包括中心线优化模块,分别信号连接所述中心线计算模块和所述血管分段处理模块并用于根据所述的静脉血管的中心线对所述静脉血管进行优化处理。
所述血管分段处理模块用于对所述分割区域中所述静脉血管进行血管分段处理可以采用任何合适的方法,在本发明的一具体实施例中,所述血管分段处理模块具体用于根据所述的静脉血管的中心线的拓扑形态和所述分割区域中所述静脉血管在三维空间中的方向信息对所述分割区域中所述静脉血管进行所述血管分段处理。
关于肝脏静脉血管三维结构特征定量分析装置的其它具体限定可以参见上文中对于肝脏静脉血管三维结构特征定量分析方法的限定,在此不再赘述。上述肝脏静脉血管三维结构特征定量分析装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在本发明的一具体实施例中,本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的肝脏静脉血管三维结构特征定量分析方法。
在本发明的一具体实施例中,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的肝脏静脉血管三维结构特征定量分析方法。
因此,本发明主要实现肝脏肝静脉和肝门静脉血管三维结构特征的快速、自动地定量分析。包括从采集的肝脏数据中,通过深度学习的方法实现较为精确的肝脏静脉血管的提取;根据提取的静脉血管数据进行中心线计算,并根据中心线的拓扑结构以及静脉血管本身的空间信息对静脉血管进行分段,使用三维表面重建算法重建的静脉血管模型结合中心线对静脉血管的每一个分段进行定量分析。
1、本发明所述的肝脏静脉血管三维结构特征定量分析方法为一个无需人工干预的全自动的分析方法,能够满足批量分析血管参数的需求。
2、相比于现有的技术,本发明提供了一个更加全面、详细地血管结构特征分析,可以为医生评估血管提供一个更加全面的参考。
由此,采用了本发明的肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质,由于其无需人工干预,可实现全自动分析,能够满足批量分析血管参数的需求,从而能够快速、准确、批量的分析肝脏静脉血管的三维结构特征定量指标,而且,相比于现有的技术,本发明能够提供更加全面、详细的血管三维结构特征定量分析,可以为医生评估血管提供更加全面的参考。
由此可见,本发明的目的已经完整并有效的予以实现。本发明的功能及结构原理已在实施例中予以展示和说明,在不背离所述原理下,实施方式可作任意修改。所以,本发明包括了基于权利要求精神及权利要求范围的所有变形实施方式。
Claims (6)
1.一种肝脏静脉血管三维结构特征定量分析方法,其特征在于,包括以下步骤:
(1)获取待分析的肝脏三维影像,并获取所述的待分析的肝脏三维影像的静脉血管的分割区域;
(2)对所述分割区域中所述静脉血管进行中心线计算从而获得所述静脉血管的中心线;
(3)对所述分割区域中所述静脉血管进行血管分段处理,将所述静脉血管分为肝左静脉、肝中静脉、肝右静脉、肝门静脉左支和肝门静脉右支;
(4)根据所述肝左静脉的中心线、所述肝中静脉的中心线、所述肝右静脉的中心线、所述肝门静脉左支的中心线、所述肝门静脉右支的中心线和所述分割区域中使用三维表面重建算法重建的静脉血管模型对所述静脉血管的三维结构特征进行定量分析,所述定量分析的参数指标包括血管形态表征指标、血管分支表征指标和血管网格表征指标中的一种或几种,所述血管形态表征指标包括血管长度、血管扭曲度、血管管径、血管容积和容积百分比中的一种或几种,所述血管分支表征指标包括血管分支数、血管分叉角度、血管根节点数量、血管端节点数量以及血管分支节点数量中的一种或几种,所述血管网格表征指标包括血管分布密度;
其中,在所述步骤(1)中,所述的获取所述的待分析的肝脏三维影像的静脉血管的分割区域的步骤具体包括:
(11)将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域;
在所述步骤(11)中,所述的预先训练的静脉血管分割模型采用以下步骤获得:
(a)获取样本肝脏三维影像,并获取所述样本肝脏三维影像的静脉血管标注数据;
(b)将所述样本肝脏三维影像和所述静脉血管标注数据作为训练集,对静脉血管分割模型迭代进行深度学习训练,得到所述的预先训练的静脉血管分割模型;
在所述步骤(b)中,所述静脉血管分割模型采用的深度学习网络是基于U-Net和混合域注意力机制相结合的全监督分割网络;
在所述步骤(3)中,根据所述的静脉血管的中心线的拓扑形态和所述分割区域中所述静脉血管在三维空间中的方向信息对所述分割区域中所述静脉血管进行所述血管分段处理。
2.如权利要求1所述的肝脏静脉血管三维结构特征定量分析方法,其特征在于,在所述步骤(1)中,所述的待分析的肝脏三维影像是肝脏MRI三维影像。
3.如权利要求1所述的肝脏静脉血管三维结构特征定量分析方法,其特征在于,在所述步骤(a)中,所述的获取样本肝脏三维影像的步骤具体包括:
(a1)对原始样本肝脏三维影像进行预处理得到新增样本肝脏三维影像,所述预处理包括直方图均衡化、旋转、加噪声、扭曲和镜像中的一种或几种;
(a2)将所述原始样本肝脏三维影像和所述新增样本肝脏三维影像合并作为所述样本肝脏三维影像。
4.一种肝脏静脉血管三维结构特征定量分析装置,其特征在于,包括:
静脉血管分割模块,用于获取待分析的肝脏三维影像的静脉血管的分割区域;
中心线计算模块,信号连接所述静脉血管分割模块并用于对所述分割区域中所述静脉血管进行中心线计算从而获得所述静脉血管的中心线;
血管分段处理模块,信号连接所述中心线计算模块并用于对所述分割区域中所述静脉血管进行血管分段处理,将所述静脉血管分为肝左静脉、肝中静脉、肝右静脉、肝门静脉左支和肝门静脉右支;
三维结构特征定量分析模块,信号连接所述血管分段处理模块并用于根据所述肝左静脉的中心线、所述肝中静脉的中心线、所述肝右静脉的中心线、所述肝门静脉左支的中心线、所述肝门静脉右支的中心线和所述分割区域中使用三维表面重建算法重建的静脉血管模型对所述静脉血管的三维结构特征进行定量分析,所述定量分析的参数指标包括血管形态表征指标、血管分支表征指标和血管网格表征指标中的一种或几种,所述血管形态表征指标包括血管长度、血管扭曲度、血管管径、血管容积和容积百分比中的一种或几种,所述血管分支表征指标包括血管分支数、血管分叉角度、血管根节点数量、血管端节点数量以及血管分支节点数量中的一种或几种,所述血管网格表征指标包括血管分布密度;
其中,所述静脉血管分割模块具体用于将所述的待分析的肝脏三维影像输入预先训练的静脉血管分割模型,输出所述的静脉血管的分割区域;
所述肝脏静脉血管三维结构特征定量分析装置还包括静脉血管分割模型训练模块,所述静脉血管分割模型训练模块信号连接所述静脉血管分割模块并用于获取样本肝脏三维影像,并获取所述样本肝脏三维影像的静脉血管标注数据;将所述样本肝脏三维影像和所述静脉血管标注数据作为训练集,对静脉血管分割模型迭代进行深度学习训练,得到所述的预先训练的静脉血管分割模型;
所述静脉血管分割模型采用的深度学习网络是基于U-Net和混合域注意力机制相结合的全监督分割网络;
所述血管分段处理模块具体用于根据所述的静脉血管的中心线的拓扑形态和所述分割区域中所述静脉血管在三维空间中的方向信息对所述分割区域中所述静脉血管进行所述血管分段处理。
5.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1~权利要求3中任一项所述的肝脏静脉血管三维结构特征定量分析方法。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1~权利要求3中任一项所述的肝脏静脉血管三维结构特征定量分析方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2021103219947 | 2021-03-25 | ||
CN202110321994.7A CN112907577A (zh) | 2021-03-25 | 2021-03-25 | 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113436185A CN113436185A (zh) | 2021-09-24 |
CN113436185B true CN113436185B (zh) | 2022-11-15 |
Family
ID=76106557
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110321994.7A Withdrawn CN112907577A (zh) | 2021-03-25 | 2021-03-25 | 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 |
CN202110807559.5A Active CN113436185B (zh) | 2021-03-25 | 2021-07-16 | 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110321994.7A Withdrawn CN112907577A (zh) | 2021-03-25 | 2021-03-25 | 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN112907577A (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114010216A (zh) * | 2021-12-20 | 2022-02-08 | 重庆医科大学附属第一医院 | 气道形态学参数定量获取方法、装置、气道支架设计方法 |
CN114298999A (zh) * | 2021-12-24 | 2022-04-08 | 上海联影智能医疗科技有限公司 | 血管结构变异的检测方法、可读存储介质和程序产品 |
CN115170912B (zh) * | 2022-09-08 | 2023-01-17 | 北京鹰瞳科技发展股份有限公司 | 图像处理模型训练的方法、生成图像的方法及相关产品 |
CN115690411A (zh) * | 2022-09-22 | 2023-02-03 | 推想医疗科技股份有限公司 | 一种肝段分割方法、装置、电子设备及存储介质 |
CN117011242B (zh) * | 2023-07-10 | 2024-05-14 | 珠海市人民医院 | 经颈静脉肝内门体分流术后肝性脑病预测方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052785A (zh) * | 2021-03-25 | 2021-06-29 | 上海志御软件信息有限公司 | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101425186B (zh) * | 2008-11-17 | 2012-03-28 | 华中科技大学 | 一种基于ct图像的肝脏分段方法及其系统 |
CN102048550B (zh) * | 2009-11-02 | 2013-07-17 | 上海交通大学医学院附属仁济医院 | 一种自动生成肝脏3d图像并准确定位肝脏血管支配区域的方法 |
CN104657624A (zh) * | 2015-03-18 | 2015-05-27 | 汪艳 | 一种肝硬化全量化分析方法 |
CN106446360B (zh) * | 2016-09-08 | 2019-07-09 | 天津大学 | 基于显微ct测量的缺损颅骨组织工程血管支架参数化设计方法 |
CN110176004A (zh) * | 2019-04-24 | 2019-08-27 | 艾瑞迈迪科技石家庄有限公司 | 一种肝脏分段方法和系统 |
CN110310726B (zh) * | 2019-08-12 | 2024-03-26 | 杨晓鹏 | 基于医学影像三维重建及全息显示的肝段切除术辅助系统 |
CN111462047B (zh) * | 2020-03-06 | 2024-03-12 | 深圳睿心智能医疗科技有限公司 | 血管参数测量方法、装置、计算机设备和存储介质 |
CN111640124B (zh) * | 2020-05-25 | 2023-06-02 | 浙江同花顺智能科技有限公司 | 一种血管提取方法、装置、设备及存储介质 |
-
2021
- 2021-03-25 CN CN202110321994.7A patent/CN112907577A/zh not_active Withdrawn
- 2021-07-16 CN CN202110807559.5A patent/CN113436185B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113052785A (zh) * | 2021-03-25 | 2021-06-29 | 上海志御软件信息有限公司 | 基于深度学习的自动化肝脏分段模型的构建方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112907577A (zh) | 2021-06-04 |
CN113436185A (zh) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113436185B (zh) | 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质 | |
US10762637B2 (en) | Vascular segmentation using fully convolutional and recurrent neural networks | |
US9836849B2 (en) | Method for the autonomous image segmentation of flow systems | |
Sankaran et al. | Fast computation of hemodynamic sensitivity to lumen segmentation uncertainty | |
JP2013537445A (ja) | 内科医が直接用いるのに適応したビジュアライゼーション | |
US11600379B2 (en) | Systems and methods for generating classifying and quantitative analysis reports of aneurysms from medical image data | |
CN111462047A (zh) | 血管参数测量方法、装置、计算机设备和存储介质 | |
CN113034507A (zh) | 基于ccta影像的冠状动脉三维分割方法 | |
CN116309571B (zh) | 一种基于半监督学习的三维脑血管分割方法和装置 | |
Damseh et al. | Laplacian flow dynamics on geometric graphs for anatomical modeling of cerebrovascular networks | |
CN111178420A (zh) | 一种二维造影图像上冠脉段标注方法及系统 | |
CN112308846A (zh) | 血管分割方法、装置及电子设备 | |
CN114782302A (zh) | 基于医学图像预测生理相关参数的系统和方法 | |
CN117078711A (zh) | 医学图像分割方法、系统、电子设备和存储介质 | |
CN113674291A (zh) | 一种全类型主动脉夹层真假腔图像分割方法及系统 | |
Khan et al. | Three-dimensional morphometric analysis of the renal vasculature | |
WO2015150320A1 (en) | Segmentation of tubular organ structures | |
EP4442196A1 (en) | Cirrhotic portal hypertension diagnosing method, apparatus, device, and medium | |
CN112651960A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN111598891B (zh) | 斑块稳定性的识别方法、装置、设备及存储介质 | |
EP3891704A1 (en) | Systems and methods for quantifying vessel features in ultrasound doppler images | |
Selzner et al. | 3D U-Net segmentation improves root system reconstruction from 3D MRI Images in automated and manual virtual reality work flows | |
WO2019190641A1 (en) | System and method for evaluation of dynamic data | |
CN114880960A (zh) | 基于流体动力学的放射栓塞剂量及注射位置评估方法 | |
Gong et al. | Automated High‐Resolution Structure Analysis of Plant Root with a Morphological Image Filtering Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |