CN112244883B - 基于ct图像提取左心耳数据参数的方法及系统 - Google Patents
基于ct图像提取左心耳数据参数的方法及系统 Download PDFInfo
- Publication number
- CN112244883B CN112244883B CN202010947586.8A CN202010947586A CN112244883B CN 112244883 B CN112244883 B CN 112244883B CN 202010947586 A CN202010947586 A CN 202010947586A CN 112244883 B CN112244883 B CN 112244883B
- Authority
- CN
- China
- Prior art keywords
- point
- image
- left atrial
- auricle
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 210000005248 left atrial appendage Anatomy 0.000 claims abstract description 127
- 210000005246 left atrium Anatomy 0.000 claims abstract description 94
- 230000011218 segmentation Effects 0.000 claims abstract description 72
- 230000001746 atrial effect Effects 0.000 claims abstract description 39
- 210000004351 coronary vessel Anatomy 0.000 claims abstract description 25
- 238000010191 image analysis Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 210000000056 organ Anatomy 0.000 claims description 14
- 238000012804 iterative process Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 8
- 238000011156 evaluation Methods 0.000 abstract description 8
- 238000011160 research Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000013175 transesophageal echocardiography Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 208000007536 Thrombosis Diseases 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 206010003658 Atrial Fibrillation Diseases 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 3
- 208000029078 coronary artery disease Diseases 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000013287 appendage segmentation Effects 0.000 description 2
- 210000001008 atrial appendage Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 210000004971 interatrial septum Anatomy 0.000 description 2
- 210000005240 left ventricle Anatomy 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000003492 pulmonary vein Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000035478 Interatrial communication Diseases 0.000 description 1
- 208000005228 Pericardial Effusion Diseases 0.000 description 1
- 238000012274 Preoperative evaluation Methods 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 208000013914 atrial heart septal defect Diseases 0.000 description 1
- 206010003664 atrial septal defect Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000007084 physiological dysfunction Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pulmonology (AREA)
- Theoretical Computer Science (AREA)
- Physiology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于CT图像提取左心耳数据参数的方法及系统，该方法包括：获取冠脉CTA图像序列；对所述冠脉CTA图像序列进行三维重建，得到三维冠脉图像；利用所述三维冠脉图像及预先建立的左心房分割模型，得到左心房三维图像；从所述左心房三维图像中提取左心耳数据参数；所述左心耳数据参数至少包括：左心耳开口位置，左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度；根据提取的左心耳数据参数生成图像分析报告。利用本发明，可以高效、快速、准确地得到多样化的左心耳三维数据，为后续临床评估和科研分析提供有效参考。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于CT图像提取左心耳数据参数的方法及系统。
背景技术
左心耳是从左心房伸出的耳状小囊，属于左心房的一部分，它是左心房主要组成部位。左心耳封堵术是目前全球预防房颤病人卒中的治疗新趋势，它能有效减少病人的病死率、致残率，同时减少出血的发生。由于左心耳形态结构解剖复杂多变，在现有技术中，通常利用CT造影显像由医生根据临床经验来评价左心耳的形态结构和变异，并进行相关测量，以此来确定左心耳解剖结构相关参数，为左心耳封堵提供数据参考。但是目前临床将CT图像应用于左心耳术前评估具有以下困难：
1.准确测量左心耳的开口、维度需要临床医生具备较强的影像学知识，而影像学专科医生目前并不具备分析左心耳参数的能力，如何让临床医生从临床需求出发获得所需要的参数存在困难；
2.目前临床工作中尚无专门针对左心耳分析的应用工具，如果采用其他应用的图像分析功能来分析左心耳，会存在严重的偏差，对初学者或者未深入接触左心耳封堵手术的医生缺乏友好度。
发明内容
本发明提供一种基于CT图像提取左心耳数据参数的方法及系统，以高效、快速、准确地得到多样化的左心耳三维数据，为后续临床评估和科研分析提供有效参考。
为此，本发明提供如下技术方案：
一种基于CT图像提取左心耳数据参数的方法，所述方法包括：
获取冠脉CTA图像序列；
对所述冠脉CTA图像序列进行三维重建，得到三维冠脉图像；
利用所述三维冠脉图像及预先建立的左心房分割模型，得到左心房三维图像；
从所述左心房三维图像中提取左心耳数据参数；所述左心耳数据参数至少包括：左心耳开口位置，左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度；
根据提取的左心耳数据参数生成图像分析报告。
可选地，所述方法还包括按照以下方式建立左心房分割模型：
采集冠脉图像序列；
对采集到的冠脉图像序列进行左心房分割，得到训练数据集及对应的三维掩模；
利用所述训练数据集及对应的三维掩模训练得到左心房分割模型。
可选地，所述从所述左心房三维图像中提取左心耳数据参数包括：
在所述左心房三维图像中确定左心房中心点；
连接左心耳主叶最远端与左心房中心点，得到初始中心线；
将左心耳主叶最远端作为起始点，通过迭代过程得到实际中心线，所述迭代过程包括：从所述起始点开始，沿所述初始中心线按照设定间隔取垂直于所述初始中心线的平面，得到多个切面；依次确定各切面的左心耳轮廓及左心耳的质心点，并对相邻切面上的质心点做连线；如果当前切面的左心耳轮廓面积大于设定的轮廓阈值，则将当前切面上的质心点作为新的起始点进行迭代过程；否则停止迭代过程，并依次将每次迭代过程得到的质心点连线进行连接，得到实际中心线；
确定对应所述左心耳轮廓的凹函数；
根据所述凹函数确定左心耳开口位置，并计算得到左心耳开口面积、左心耳最长直径和最短直径、左心耳深度。
可选地，所述在所述左心房三维图像中确定左心房中心点包括：
利用U-net深度学习得到左心房解剖形状；
基于所述左心房解剖形状取其数学上的中心点，将该中心点作为左心房中心点。
可选地，所述方法还包括：
根据所述左心房三维图像生成器官内部的灰度直方图；
根据所述灰度直方图计算得到灰度分布高斯概率曲线；
所述确定当前切面的左心耳轮廓包括：
在当前切面上以所述中心线与当前切面的交点为圆心、以设定长度为半径，画出初始圆形区域，并以所述圆心为起点在所述圆形区域内均匀间隔做射线；
根据所述灰度分布高斯概率曲线计算所述射线上每一点属于器官内部的概率，并根据所述概率确定所述射线上的最优分割点；
根据所述最优分割点确定当前切面的左心耳轮廓。
一种基于CT图像提取左心耳数据参数的系统，所述系统包括：
图像序列获取模块，用于获取冠脉CTA图像序列；
图像重建模块，用于对所述冠脉CTA图像序列进行三维重建，得到三维冠脉图像；
分割模块，用于利用所述三维冠脉图像及预先建立的左心房分割模型，得到左心房三维图像；
参数提取模块，用于从所述左心房三维图像中提取左心耳数据参数；所述左心耳数据参数至少包括：左心耳开口位置，左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度；
报告生成模块，用于根据提取的左心耳数据参数生成图像分析报告。
可选地，所述系统还包括：分割模型建立模块，用于建立左心房分割模型；所述分割模型建立模块包括：
图像采集单元，用于采集冠脉图像序列；
图像分割单元，用于对采集到的冠脉图像序列进行左心房分割，得到训练数据集及对应的三维掩模；
训练单元，用于利用所述训练数据集及对应的三维掩模训练得到左心房分割模型。
可选地，所述参数提取模块包括：
中心点确定单元，用于在所述左心房三维图像中确定左心房中心点；
初始中心线生成单元，用于连接左心耳主叶最远端与左心房中心点，得到初始中心线；
迭代处理单元，用于将左心耳主叶最远端作为起始点，通过迭代过程得到实际中心线；
函数确定单元，用于确定对应左心耳轮廓的凹函数；
参数确定单元，用于根据所述凹函数确定左心耳开口位置，并计算得到左心耳开口面积、左心耳最长直径和最短直径、左心耳深度；
所述迭代处理单元包括：
剖切单元，用于从所述起始点开始，沿所述初始中心线按照设定间隔取垂直于所述初始中心线的平面，得到多个切面；
轮廓处理单元，用于依次确定各切面的左心耳轮廓；
质心点处理单元，用于依次确定各切面的左心耳的质心点，并对相邻切面上的质心点做连线；
面积计算单元，用于计算当前切面的左心耳轮廓面积；
判断单元，用于判断当前切面的左心耳轮廓面积是否大于设定的轮廓阈值；
起始点更新单元，用于在所述判断单元判断当前切面的左心耳轮廓面积大于设定的轮廓阈值时，将当前切面上的质心点作为新的起始点进行迭代过程；
实际中心线确定单元，用于在所述判断单元判断当前切面的左心耳轮廓面积小于等于设定的轮廓阈值时，停止迭代过程，并依次将每次迭代过程得到的质心点连线进行连接，得到实际中心线。
可选地，所述中心点确定单元，具体用于利用U-net深度学习得到左心房解剖形状；基于所述左心房解剖形状取其数学上的中心点，将该中心点作为左心房中心点。
可选地，所述系统还包括：
直方图生成模块，用于根据所述左心房三维图像生成器官内部的灰度直方图；
概率计算模块，用于根据所述灰度直方图计算得到灰度分布高斯概率曲线；
所述轮廓处理单元包括：
预处理子单元，用于在当前切面上以所述中心线与当前切面的交点为圆心、以设定长度为半径，画出初始圆形区域，并以所述圆心为起点在所述圆形区域内均匀间隔做射线；
最优分割点确定子单元，用于根据所述灰度分布高斯概率曲线计算所述射线上每一点属于器官内部的概率，并根据所述概率确定所述射线上的最优分割点；
轮廓确定子单元，用于根据所述最优分割点确定当前切面的左心耳轮廓。
本发明实施例提供的基于CT图像提取左心耳数据参数的方法及系统，通过对冠脉CTA图像序列进行三维重建得到三维冠脉图像，然后利用三维冠脉图像及预先建立的左心房分割模型得到左心房三维图像；从左心房三维图像中提取左心耳数据参数，得到左心耳三维数据集。通过将得到的左心耳三维数据导出至图像分析报告中，大大方便了后续临床评估和科研分析。
利用本发明可以高效、快速、准确地得到左心耳三维数据参数，不仅包括左心耳开口位置、左心耳开口面积、左心耳最长直径和最短直径，而且还可进一步得到左心房容积、左心耳容积，能够为左心耳封堵术提供全面、可靠的参考数据，有利于临床医生对患者冠心病风险进行快速评估。
附图说明
图1是本发明实施例中建立左心房分割模型的流程图；
图2是本发明实施例基于CT图像提取左心耳数据参数的方法的流程图；
图3是本发明实施例中基于左心房三维图像得到左心耳数据参数的流程图；
图4是本发明实施例中通过迭代过程得到实际中心线的流程图；
图5是本发明实施例基于CT图像提取左心耳数据参数的系统的结构框图；
图6是本发明系统实施例中参数提取模块的一种结构框图；
图7是本发明系统实施例中迭代处理单元的一种结构框图。
具体实施方式
针对目前临床将CT图像应用于左心耳术前评估存在的困难，本发明提供一种基于CT图像中提取左心耳数据参数的方法及系统，通过对冠脉CTA图像序列进行三维重建得到三维冠脉图像，然后利用三维冠脉图像及预先建立的左心房分割模型得到左心房三维图像；从左心房三维图像中提取左心耳数据参数，得到左心耳三维数据集，从而为左心耳封堵术提供全面、可靠的参考数据，有利于临床医生对患者冠心病风险进行快速评估。
所述左心房分割模型可以通过采集大量的冠脉图像序列训练得到，具体训练过程参照图1所示。
如图1所示，是本发明实施例中建立左心房分割模型的流程图，包括以下步骤：
步骤101，采集冠脉图像序列。
步骤102，对采集到的冠脉图像序列进行左心房分割，得到训练数据集及对应的三维掩模。
比如，利用Unet模型对采集到的冠脉图像序列进行左心房分割，得到左心房的三维分割结果，即三维掩模。
步骤103，利用所述训练数据集及对应的三维掩模训练得到左心房分割模型。
利用上述训练得到的左心房分割模型，可以从通过三维重建得到的三维冠脉图像中提取出左心房三维图像，进而从左心房三维图像中提取左心耳数据参数。
如图2所示，是本发明实施例基于CT图像提取左心耳数据参数的方法的流程图，包括以下步骤：
步骤201，获取冠脉CTA图像序列。
冠脉CTA是经静脉注射造影剂后利用螺旋CT扫描再经过计算机处理重建得出的心脏冠状动脉成像的一种检查方法，冠脉CTA图像通常以DICOM((Digital Imaging andCommunications in Medicine，医学数字成像和通信)文件格式进行存储。这个格式包含关于患者的PHI(Protected Health Information)信息，例如姓名，性别，年龄，以及其他图像相关信息比如捕获并生成图像的设备信息，医疗的一些上下文相关信息等。
冠脉CTA图像序列通常会包括：心脏定位序列、增强扫描序列(最佳舒张期、最佳收缩期)等，由于在最佳舒张期心耳容积与开口面积会最大，因此，在本发明实施例中，可以优先选择最佳舒张期对应的图像序列。
步骤202，对所述冠脉CTA图像序列进行三维重建，得到三维冠脉图像。
其中，对冠脉CTA图像序列进行三维重建可以采用现有的一些三维重建算法，对此本发明实施例不做限定。
进一步地，通过三维重建，还可得到左心耳容积再现(VR)、轴断面、矢状面、冠状面图像，3D MIP(Maximal Intensity Projection，最大密度投影)图像。
步骤203，利用所述三维冠脉图像及预先建立的左心房分割模型，得到左心房三维图像。
具体地，将所述三维冠脉图像输入所述左心房分割模型，根据所述左心房分割模型的输出得到左心房三维图像。
步骤204，从所述左心房三维图像中提取左心耳数据参数，所述左心耳数据参数至少包括：左心耳开口位置，左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度。
左心耳为人体左心房的解剖结构，当左心耳出现生理功能异常时，可能会引发一系列心脑血管的疾病。在进行左心耳封堵手术的时候，需要对左心耳开口进行判断以方便手术时封堵设备的放置。为此，本发明可以从左心房三维图像中提取更丰富、全面的左心耳数据，为后续临床评估和科研分析提供参考帮助。
在本发明实施例中，通过左心耳分割来得到相应的数据参数，左心耳分割的具体过程将在后面详细描述。
步骤205，根据提取的左心耳数据参数生成图像分析报告。
所述图像分析报告主要包括多种测量值，自动测量得到的各种数据参数、以及生成的各种图像结果。其中所述测量值包括自动测量值和选择表格式值两种。自动测量值主要为左心耳数据参数，选择表格式值可以包括以下任意一种或多种：检查时是否发生房颤、房颤类型、肺静脉的评估、房间隔缺损或膨出的评估、左心耳是否存在血栓或造影剂充盈缺损、是否存在心包积液等。
进一步地，还可以将所述图像分析报告保存到相应的数据库中，以便需要时从所述数据库中下载。
如图3所示，是本发明实施例中基于左心房三维图像得到左心耳数据参数的流程图，包括以下步骤：
步骤301，在左心房三维图像中确定左心房中心点。
具体地，可以利用U-net深度学习得到左心房解剖形状，然后基于其解剖形状取其数学上的中心点，将该中心点作为左心房中心点。
U-net是基于全卷积网络拓展和修改而来，网络由两部分组成：一个收缩路径(contracting path)来获取上下文信息以及一个对称的扩张路径(expanding path)用以精确定位。
在本发明实施例中，U-net使用全卷积网络，收缩路径网络使用卷积并进行最大值池化，扩张路径网络使用上采样与收缩路径、池化层的Featuremap(特征图)相结合，然后逐层上采样到392×392的大小Heatmap(热图)。最后再经过两次卷积，达到最后的heatmap，再用一个1×1的卷积做分类，有几类就选取几层做卷积得到最后的heatmap，然后将其作为softmax函数的输入，softmax函数如下：
其中，ak(x)表示每一像素点对应类的得分。
算出概率比较大的softmax类，选择它作为输入给交叉熵进行反向传播训练。
步骤302，连接左心耳主叶最远端与左心房中心点，得到初始中心线。
设置左心耳主叶最远端为起始点P1，设置左心房中心点为终点P2，路径中心线的方向为P1->P2，连接起始点P1至终点P2得到的连接线作为左心耳的初始中心线。
然后通过迭代计算不断更正左心耳到左心房的中心线，并计算对应的左心耳轮廓，迭代计算的过程继续参照下面的步骤。
步骤303，将左心耳主叶最远端作为起始点，通过迭代过程得到实际中心线。
所述实际中心线为左心耳主叶远端至左心房中心点的路径。
步骤304，确定对应所述左心耳轮廓的凹函数。
具体地，以左心房的中心点为原点，沿左心房到左心耳的中心线方向距离为X轴，左心耳轮廓面积为Y轴，绘制出凹函数。
步骤305，根据所述凹函数确定左心耳开口位置，并计算得到左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度。
根据所述凹函数可以得到左心耳的多个截面，所述凹函数的最低点相对应的截面即为左心耳开口位置。根据各截面在三维空间中的位置即可对左心耳进行提取。
由于左心耳开口多为椭圆形状，因此，上述左心耳开口最长直径是指该椭圆的最长直径，左心耳开口最短直径是指该椭圆的最短直径。
所述左心耳深度包括直线深度和弧线深度，由于左心耳是弧形器官，因此，所述直线深度是指左心耳开口中心点到左心耳末端的直线距离，所述和弧线深度是指左心耳开口中心点到左心耳末端的弧线距离。
进一步地，还可以通过在MPR(多平面重建)图像上放置二尖瓣中心点和心尖标记点来定位左心室长轴，进而确定左心耳长轴与左心室长轴的成角。其中，所述左心耳长轴是指左心耳远端尖端与左心耳开口中心点的连线；所述左心室长轴是指二尖瓣中心点与左心室心尖的连线。
上述步骤303中，以左心耳主叶最远端为起始点，通过迭代过程得到实际中心线，迭代过程可参照图4，包括以下步骤：
步骤401，将左心耳主叶最远端作为起始点。
步骤402，从所述起始点开始，沿所述初始中心线按照设定间隔取垂直于所述初始中心线的平面，得到多个切面。
所述设定间隔可以根据应用需要来设定，比如可以是0.5mm～1mm。相应地，得到的切面数量也可以根据需要来确定，对此本发明实施例不做限定，比如，可以沿着初始中心线10mm内做所述切面，在间隔确定的情况下，切面的数量即可确定。
步骤403，依次确定各切面的左心耳轮廓及左心耳的质心点，并对相邻切面上的质心点做连线。
对于每个切面，可以利用预先根据左心房三维图像得到的灰度分布高斯概率曲线来确定该切面上的左心耳轮廓。
所述灰度分布高斯概率曲线可以按照以下方式生成：首先根据所述左心房三维图像生成器官内部的灰度直方图，比如，对100个左心房CT值进行数据收集，根据该数据生成器官内部的灰度直方图；然后根据所述灰度直方图计算得到灰度分布高斯概率曲线。
相应地，确定当前切面的左心耳轮廓的过程如下：
(1)在当前切面上以所述中心线与当前切面的交点为圆心、以设定长度(比如10cm)为半径，画出初始圆形区域，并以所述圆心为起点在所述圆形区域内均匀间隔做射线，比如相邻射线角度间距为10度，则共生成36条射线。
(2)根据所述灰度分布高斯概率曲线计算所述射线上每一点属于器官内部的概率，并根据所述概率确定所述射线上的最优分割点。
比如，在当前射线上取n个点，i为射线序号，j为射线上取的点的序号。
为选择的最优分割点，
和Pq(j+1)分别为射线上点j和j+1属于器官内部的概率。则最优分割点的选取可以按照以下公式来确定：
进一步地，为了保证得到的左心耳轮廓的光滑性，可以设定能量约束条件，比如设置相邻的两条射线之间的最优分割点距离要保证不大于设定的距离阈值L，比如距离阈值L可以设为2mm。当然，如果不满足该约束条件，可以重新选择最优分割点。
相应地，在计算当前射线右侧的相邻射线上的最优分割点时，需满足以下条件：
其中，
为当前射线上的最优分割点，
为当前射线右侧的相邻射线上的最优分割点；EArg max为概率和，是平滑能量约束场的约束项，需取最小值。
(3)根据所述最优分割点确定当前切面的左心耳轮廓。
在每个切面上，将每条射线上的最优分割点确定后，即可得到该切面上的左心耳轮廓。
在得到该切面上的左心耳轮廓后，通过轮廓点坐标计算出心耳的实际的中心点的位置，该位置即为该切面上左心耳的质心点，所述质心点可以通过该位置的坐标来标识。
步骤404，判断当前切面的左心耳轮廓面积是否大于设定的轮廓阈值；如果是，则执行步骤405；否则，执行步骤406。
需要说明的是，所述轮廓阈值可以根据经验值或大量数据统计来确定，比如为16cm2。
步骤405，将当前切面上的质心点作为新的起始点；然后返回步骤402。
步骤406，依次将每次迭代过程得到的质心点连线进行连接，得到实际中心线。
本发明实施例提供的基于CT图像中提取左心耳数据参数的方法，通过对冠脉CTA图像序列进行三维重建得到三维冠脉图像，然后利用三维冠脉图像及预先建立的左心房分割模型得到左心房三维图像；从左心房三维图像中提取左心耳数据参数，得到左心耳三维数据集。通过将得到的左心耳三维数据导出至图像分析报告中，大大方便了后续临床评估和科研分析。
相应地，本发明实施例还提供一种基于CT图像提取左心耳数据参数的系统，如图5所示，是该系统的一种结构框图。
在该实施例中，所述系统包括以下各模块：
图像序列获取模块501，用于获取冠脉CTA图像序列；
图像重建模块502，用于对所述冠脉CTA图像序列进行三维重建，得到三维冠脉图像；
分割模块503，用于利用所述三维冠脉图像及预先建立的左心房分割模型500，得到左心房三维图像；
参数提取模块504，用于从所述左心房三维图像中提取左心耳数据参数；所述左心耳数据参数至少包括：左心耳开口位置，左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度；
报告生成模块505，用于根据提取的左心耳数据参数生成图像分析报告。所述图像分析报告主要包括多种测量值，自动测量得到的各种数据参数、以及生成的各种图像结果，对此本发明实施例不做限定。
需要说明的是，冠脉CTA图像序列通常会包括：心脏定位序列、增强扫描序列(最佳舒张期、最佳收缩期)等，由于在最佳舒张期心耳容积与开口面积会最大，因此，在本发明实施例中，可以优先选择最佳舒张期对应的图像序列。
上述图像重建模块502对冠脉CTA图像序列进行三维重建可以采用现有的一些三维重建算法，对此本发明实施例不做限定。
上述分割模块503可以利用所述三维冠脉图像及预先建立的左心房分割模型500，得到左心房三维图像。具体地，需要将所述三维冠脉图像输入所述左心房分割模型，根据所述左心房分割模型的输出得到左心房三维图像。
所述左心房分割模型可以由相应的分割模型建立模块来构建，所述分割模型建立模块可以作为本发明系统的一部分，也可以独立于该系统，对此本发明实施例不做限定。
所述分割模型建立模块的一种实施例可以包括以下各单元：
图像采集单元，用于采集冠脉图像序列；
图像分割单元，用于对采集到的冠脉图像序列进行左心房分割，得到训练数据集及对应的三维掩模；
训练单元，用于利用所述训练数据集及对应的三维掩模训练得到左心房分割模型。
如图6所示，在本发明的一个实施例中，所述参数提取模块504可以包括以下各单元：
中心点确定单元601，用于在所述左心房三维图像中确定左心房中心点；
初始中心线生成单元602，用于连接左心耳主叶最远端与左心房中心点，得到初始中心线；
迭代处理单元603，用于将左心耳主叶最远端作为起始点，通过迭代过程得到实际中心线；所述实际中心线为左心耳主叶远端至左心房中心点的路径；
函数确定单元604，用于确定对应左心耳轮廓的凹函数；具体可以以左心房的中心点为原点，沿左心房到左心耳的中心线方向距离为X轴，左心耳轮廓面积为Y轴，绘制出凹函数；
参数确定单元605，用于根据所述凹函数确定左心耳开口位置，并计算得到左心耳开口面积、左心耳最长直径和最短直径、左心耳深度；
其中，所述中心点确定单元601具体可以利用U-net深度学习得到左心房解剖形状；基于所述左心房解剖形状取其数学上的中心点，将该中心点作为左心房中心点。
其中，所述迭代处理单元603的一种结构框图如图7所示，可以包括以下各单元：
剖切单元631，用于从所述起始点开始，沿所述初始中心线按照设定间隔(比如可以是0.5mm～1mm)取垂直于所述初始中心线的平面，得到多个切面；
轮廓处理单元632，用于依次确定各切面的左心耳轮廓；
质心点处理单元633，用于依次确定各切面的左心耳的质心点，并对相邻切面上的质心点做连线；具体可以根据当前切面的左心耳轮廓中各点的坐标计算得到左心耳的质心点；
面积计算单元634，用于计算当前切面的左心耳轮廓面积；
判断单元635，用于判断当前切面的左心耳轮廓面积是否大于设定的轮廓阈值；
起始点更新单元636，用于在所述判断单元635判断当前切面的左心耳轮廓面积大于设定的轮廓阈值时，将当前切面上的质心点作为新的起始点进行迭代过程；
实际中心线确定单元637，用于在所述判断单元635判断当前切面的左心耳轮廓面积小于等于设定的轮廓阈值时，停止迭代过程，并依次将每次迭代过程得到的质心点连线进行连接，得到实际中心线。
上述轮廓处理单元632具体可以对于每个切面，利用预先根据左心房三维图像得到的灰度分布高斯概率曲线来确定该切面上的左心耳轮廓。比如，在所述系统的一个实施例中还可包括：直方图生成模块和概率计算模块，其中，所述直方图生成模块根据所述左心房三维图像生成器官内部的灰度直方图；所述概率计算模块根据所述灰度直方图计算得到灰度分布高斯概率曲线。相应地，所述轮廓处理单元632可以包括以下各子单元：
预处理子单元，用于在当前切面上以所述中心线与当前切面的交点为圆心、以设定长度为半径，画出初始圆形区域，并以所述圆心为起点在所述圆形区域内均匀间隔做射线；
最优分割点确定子单元，用于根据所述灰度分布高斯概率曲线计算所述射线上每一点属于器官内部的概率，并根据所述概率确定所述射线上的最优分割点；具体计算方式可以参照前面本发明方法实施例中的描述；
轮廓确定子单元，用于根据所述最优分割点确定当前切面的左心耳轮廓。
在每个切面上，将每条射线上的最优分割点确定后，即可得到该切面上的左心耳轮廓。
本发明实施例提供的基于CT图像中提取左心耳数据参数的系统，通过对冠脉CTA图像序列进行三维重建得到三维冠脉图像，然后利用三维冠脉图像及预先建立的左心房分割模型得到左心房三维图像；从左心房三维图像中提取左心耳数据参数，得到左心耳三维数据集。通过将得到的左心耳三维数据导出至图像分析报告中，大大方便了后续临床评估和科研分析。
利用本发明方案提供的方法及系统，可以高效、快速、准确地得到左心耳三维数据参数，不仅包括左心耳开口位置、左心耳开口面积、左心耳最长直径和最短直径，而且还可进一步根据左心耳三维数据集计算得到左心房容积(具体地，用左心耳三维分割的数据集乘以像素大小，即可得到左心房容积)、左心耳容积，并生成左心房、左心耳腔内3D图像，从而更直观地展现左心耳、左心房腔内及肺静脉的三维结构，为左心耳封堵术提供全面、可靠、直观的参考数据，有利于临床医生对患者冠心病风险进行快速评估。
另外，根据得到的左心耳三维数据参数，还可模拟术中经食道超声、DSA(DigitalSubtraction Angiography，数字减影血管造影)等左心耳图像。具体地，可以先对CT切片进行层间插值得到三维体数据，然后利用CT值推导出虚拟人体组织中的超声声阻抗系数。对每个阵元发出的超声波束进行跟踪，将所获得的每个阵元成像区域内反射率的分布矩阵数据叠加得到反射图像；通过对所述体数据采样，对采样数据进行组织划分并确定散射体分布矩阵；根据划分好的采样矩阵和所述散射体分布矩阵得到散射体分布方程，同时计算扩散点函数，将散射体分布方程和扩散点函数卷积，然后进行坐标变换和插值处理，得到散射图像；然后将得到的反射图像和散射图像进行加权合成得到超声模拟图像。同时，可以评估房间隔情况，从而为术中规划房间隔穿刺最佳位置提供参考。
进一步地，如果左心耳内存在血栓也可以对左心耳内血栓容积进行测量。
另外，还可以实现左心耳模拟TEE(Transesophageal Echocardiography，经食道超声心动图)正交平面的功能。具体地，得到超声模拟图像后，模拟TEE探头旋转和行进方向，与当前模拟的TEE垂直的切面即为左心耳模拟TEE正交平面，从而更贴近现实模拟TEE功能。
利用本发明方案，不仅可以根据冠脉CTA图像自动得到丰富的左心耳数据参数，并将这些数据导出到图像分析报告中，方便后续临床评估和科研分析。由于得到的左心耳数据参数具有多样性，因此还可根据这些数据生成对左心耳充盈不全或左心耳血栓进行评估并生成相应评估报告。另外，借助于生成的多种图像，还可人工规划手术路径与模拟术中影像学，从而缩短术者的学习曲线并缩短术中的评估时间，减少术者射线暴露时间。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及装置，其仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围，本说明书内容不应理解为对本发明的限制。因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于CT图像提取左心耳数据参数的方法，其特征在于，所述方法包括：
获取冠脉CTA图像序列；
对所述冠脉CTA图像序列进行三维重建，得到三维冠脉图像；
利用所述三维冠脉图像及预先建立的左心房分割模型，得到左心房三维图像；
从所述左心房三维图像中提取左心耳数据参数；所述左心耳数据参数至少包括：左心耳开口位置，左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度；
根据提取的左心耳数据参数生成图像分析报告；所述从所述左心房三维图像中提取左心耳数据参数包括：
在所述左心房三维图像中确定左心房中心点；
连接左心耳主叶最远端与左心房中心点，得到初始中心线；
将左心耳主叶最远端作为起始点，通过迭代过程得到实际中心线，所述迭代过程包括：从所述起始点开始，沿所述初始中心线按照设定间隔取垂直于所述初始中心线的平面，得到多个切面；依次确定各切面的左心耳轮廓及左心耳的质心点，并对相邻切面上的质心点做连线；如果当前切面的左心耳轮廓面积大于设定的轮廓阈值，则将当前切面上的质心点作为新的起始点进行迭代过程；否则停止迭代过程，并依次将每次迭代过程得到的质心点连线进行连接，得到实际中心线；
确定对应所述左心耳轮廓的凹函数；
根据所述凹函数确定左心耳开口位置，并计算得到左心耳开口面积、左心耳最长直径和最短直径、左心耳深度。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括按照以下方式建立左心房分割模型：
采集冠脉图像序列；
对采集到的冠脉图像序列进行左心房分割，得到训练数据集及对应的三维掩模；
利用所述训练数据集及对应的三维掩模训练得到左心房分割模型。
3.根据权利要求1所述的方法，其特征在于，所述在所述左心房三维图像中确定左心房中心点包括：
利用U-net深度学习得到左心房解剖形状；
基于所述左心房解剖形状取其数学上的中心点，将该中心点作为左心房中心点。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述左心房三维图像生成器官内部的灰度直方图；
根据所述灰度直方图计算得到灰度分布高斯概率曲线；
所述确定当前切面的左心耳轮廓包括：
在当前切面上以所述实际中心线与当前切面的交点为圆心、以设定长度为半径，画出初始圆形区域，并以所述圆心为起点在所述圆形区域内均匀间隔做射线；
根据所述灰度分布高斯概率曲线计算所述射线上每一点属于器官内部的概率，并根据所述概率确定所述射线上的最优分割点；
根据所述最优分割点确定当前切面的左心耳轮廓。
5.一种基于CT图像提取左心耳数据参数的系统，其特征在于，所述系统包括：
图像序列获取模块，用于获取冠脉CTA图像序列；
图像重建模块，用于对所述冠脉CTA图像序列进行三维重建，得到三维冠脉图像；
分割模块，用于利用所述三维冠脉图像及预先建立的左心房分割模型，得到左心房三维图像；
参数提取模块，用于从所述左心房三维图像中提取左心耳数据参数；所述左心耳数据参数至少包括：左心耳开口位置，左心耳开口面积、左心耳开口最长直径和最短直径、左心耳深度；
报告生成模块，用于根据提取的左心耳数据参数生成图像分析报告；所述参数提取模块包括：
中心点确定单元，用于在所述左心房三维图像中确定左心房中心点；
初始中心线生成单元，用于连接左心耳主叶最远端与左心房中心点，得到初始中心线；
迭代处理单元，用于将左心耳主叶最远端作为起始点，通过迭代过程得到实际中心线；
函数确定单元，用于确定对应左心耳轮廓的凹函数；
参数确定单元，用于根据所述凹函数确定左心耳开口位置，并计算得到左心耳开口面积、左心耳最长直径和最短直径、左心耳深度；
所述迭代处理单元包括：
剖切单元，用于从所述起始点开始，沿所述初始中心线按照设定间隔取垂直于所述初始中心线的平面，得到多个切面；
轮廓处理单元，用于依次确定各切面的左心耳轮廓；
质心点处理单元，用于依次确定各切面的左心耳的质心点，并对相邻切面上的质心点做连线；
面积计算单元，用于计算当前切面的左心耳轮廓面积；
判断单元，用于判断当前切面的左心耳轮廓面积是否大于设定的轮廓阈值；
起始点更新单元，用于在所述判断单元判断当前切面的左心耳轮廓面积大于设定的轮廓阈值时，将当前切面上的质心点作为新的起始点进行迭代过程；
实际中心线确定单元，用于在所述判断单元判断当前切面的左心耳轮廓面积小于等于设定的轮廓阈值时，停止迭代过程，并依次将每次迭代过程得到的质心点连线进行连接，得到实际中心线。
6.根据权利要求5所述的系统，其特征在于，所述系统还包括：分割模型建立模块，用于建立左心房分割模型；所述分割模型建立模块包括：
图像采集单元，用于采集冠脉图像序列；
图像分割单元，用于对采集到的冠脉图像序列进行左心房分割，得到训练数据集及对应的三维掩模；
训练单元，用于利用所述训练数据集及对应的三维掩模训练得到左心房分割模型。
7.根据权利要求5所述的系统，其特征在于，
所述中心点确定单元，具体用于利用U-net深度学习得到左心房解剖形状；基于所述左心房解剖形状取其数学上的中心点，将该中心点作为左心房中心点。
8.根据权利要求5所述的系统，其特征在于，所述系统还包括：
直方图生成模块，用于根据所述左心房三维图像生成器官内部的灰度直方图；
概率计算模块，用于根据所述灰度直方图计算得到灰度分布高斯概率曲线；
所述轮廓处理单元包括：
预处理子单元，用于在当前切面上以所述实际中心线与当前切面的交点为圆心、以设定长度为半径，画出初始圆形区域，并以所述圆心为起点在所述圆形区域内均匀间隔做射线；
最优分割点确定子单元，用于根据所述灰度分布高斯概率曲线计算所述射线上每一点属于器官内部的概率，并根据所述概率确定所述射线上的最优分割点；
轮廓确定子单元，用于根据所述最优分割点确定当前切面的左心耳轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010947586.8A CN112244883B (zh) | 2020-09-10 | 2020-09-10 | 基于ct图像提取左心耳数据参数的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010947586.8A CN112244883B (zh) | 2020-09-10 | 2020-09-10 | 基于ct图像提取左心耳数据参数的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112244883A CN112244883A (zh) | 2021-01-22 |
| CN112244883B true CN112244883B (zh) | 2021-09-07 |
Family
ID=74232205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010947586.8A Active CN112244883B (zh) | 2020-09-10 | 2020-09-10 | 基于ct图像提取左心耳数据参数的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112244883B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108143396A (zh) * | 2018-01-19 | 2018-06-12 | 苏州江奥光电科技有限公司 | 一种基于荧光成像的便携式早期龋齿诊断装置及诊断方法 |
| CN112862827B (zh) * | 2021-04-26 | 2021-07-16 | 杭州晟视科技有限公司 | 一种左心耳的开口参数确定方法、装置、终端及存储介质 |
| CN113487665B (zh) * | 2021-06-04 | 2022-03-11 | 中国人民解放军总医院 | 一种管腔缺口的测量方法、装置、设备和介质 |
| CN113450337B (zh) * | 2021-07-07 | 2024-05-24 | 东软医疗系统股份有限公司 | 心包腔内积液的评价方法、装置、电子设备及存储介质 |
| CN117079080B (zh) * | 2023-10-11 | 2024-01-30 | 青岛美迪康数字工程有限公司 | 冠脉cta智能分割模型的训练优化方法、装置和设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7747047B2 (en) * | 2003-05-07 | 2010-06-29 | Ge Medical Systems Global Technology Company, Llc | Cardiac CT system and method for planning left atrial appendage isolation |
| CN108876769B (zh) * | 2018-05-31 | 2020-11-03 | 厦门大学 | 一种左心耳ct图像分割方法 |
| CN109493949B (zh) * | 2018-10-26 | 2021-08-10 | 浙江大学 | 一种左心耳复杂度的确定方法、装置及计算机存储介质 |
| US11615560B2 (en) * | 2019-02-15 | 2023-03-28 | EchoPixel, Inc. | Left-atrial-appendage annotation using 3D images |
-
2020
- 2020-09-10 CN CN202010947586.8A patent/CN112244883B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112244883A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112244883B (zh) | 基于ct图像提取左心耳数据参数的方法及系统 | |
| US11138733B2 (en) | Vascular characteristic determination with correspondence modeling of a vascular tree | |
| AU2019281799B2 (en) | System and method for lung-volume-gated x-ray imaging | |
| EP2886047B1 (en) | Dynamic feature rich anatomical reconstruction from a point cloud | |
| KR101910233B1 (ko) | 맥관구조를 수치 평가하는 시스템들 및 방법들 | |
| JP6409073B2 (ja) | 多数の画像取得または再構築を使用する画像ベースのオブジェクトモデリングのためのシステム及び方法 | |
| CA2856035C (en) | Model based reconstruction of the heart from sparse samples | |
| CN108122616B (zh) | 个体特异性的心血管模型的生成方法及其应用 | |
| CN106097298B (zh) | 基于球空间划分的冠状动脉自动分段与解剖学标记方法 | |
| CN116269415A (zh) | 振动源的计算局部化 | |
| JP2007144177A (ja) | 低コントラストの管形状対象のための半自動セグメント分割手法の方法及び装置 | |
| KR20150045885A (ko) | 초음파 및 ct 영상의 정합에 관한 시스템 및 작동 방법 | |
| CN106355582A (zh) | 一种基于形状先验的肝脏医学图像分割的方法 | |
| CN114129240A (zh) | 一种引导信息生成方法、系统、装置及电子设备 | |
| JP6039876B2 (ja) | 左心室のねじれを測定するシステム及び方法 | |
| CN114831729B (zh) | 超声心动图和ct多模态图像融合的左心耳封堵模拟系统 | |
| CN113470060B (zh) | 基于ct影像的冠状动脉多角度曲面重建可视化方法 | |
| JP6833060B2 (ja) | ３次元超音波体積内の関心オブジェクトを視覚化する少なくとも１つの最終２次元画像の決定 | |
| CN112669449A (zh) | 基于3d重建技术的cag和ivus精准联动分析方法及系统 | |
| CN115300809B (zh) | 图像处理方法及装置、计算机设备和存储介质 | |
| CN112862827B (zh) | 一种左心耳的开口参数确定方法、装置、终端及存储介质 | |
| CN114049282B (zh) | 一种冠状动脉的构建方法、装置、终端及存储介质 | |
| WO2022203814A1 (en) | Systems and methods for automatic blood vessel extraction | |
| CN111768391A (zh) | 一种基于ct影像的全自动心脏功能学分析方法、装置、计算机设备以及存储介质 | |
| CN113744217A (zh) | 一种面向ct影像的冠状动脉智能辅助分析方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |