CN103930926B - 具有孔口可视化的脉管轮廓描绘 - Google Patents

具有孔口可视化的脉管轮廓描绘 Download PDF

Info

Publication number
CN103930926B
CN103930926B CN201280055463.7A CN201280055463A CN103930926B CN 103930926 B CN103930926 B CN 103930926B CN 201280055463 A CN201280055463 A CN 201280055463A CN 103930926 B CN103930926 B CN 103930926B
Authority
CN
China
Prior art keywords
image
pipe
projection
opening
overlapping region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280055463.7A
Other languages
English (en)
Other versions
CN103930926A (zh
Inventor
B·卡雷尔森
M·E·巴利
R·弗洛朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN103930926A publication Critical patent/CN103930926A/zh
Application granted granted Critical
Publication of CN103930926B publication Critical patent/CN103930926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种处理取自包括两个或多个管的管状结构的2D投影图像(110a‑b)的装置及相关方法。所述管中的一个在侧壁开口处从所述另一个管分支。所述装置被配置为估计所述侧壁开口的位置。所述估计基于对所述一个或多个投影图像的分割。针对所述侧壁开口的所估计位置的标记可以被显示为交叠在所述投影图像上。

Description

具有孔口可视化的脉管轮廓描绘
技术领域
本发明涉及用于处理取自管状结构的2D图像的装置,涉及用于处理取自管状结构的2D投影图像的方法,涉及用于处理取自管状结构的2D投影图像的医学X射线成像系统,涉及计算机程序单元,并且涉及计算机可读介质。
背景技术
介入性C型臂X射线成像设备有时被用于支持腔内修复程序,如AAA(腹主动脉瘤)或TAA(胸主动脉瘤)。
所述介入性C型臂X射线成像器被用于在外科医师在脉管系统中引入诸如支架或腔内移植物的医学设备时产生脉管系统的大量DSA(数字减影血管造影)投影图像。可以在所述介入期间将所述图像显示在屏幕上。借助于手动标记工具或电子器件,在所述屏幕上显示所述脉管解剖结构的高亮或标记轮廓线,而支持所述介入。
目标是在在所述血管内的精确定位所述医学设备。
从所述DSA获得的图像有时运行不能为所述外科医师提供所引入的医学设备相对于所述血管中的孔口的位置的良好概念。这随后可能必须获得另外的RSA运行,因为仅基于当前DSA图像在所述血管内部定位所述医学设备有时可能是个挑战。
McInerney等人的文章“Deformable organisms for automatic medical imageanalysis”,Medical image analysis,第6卷,第3号,2002年9月1日(2002-09-01),第251-266页,公开了处理视网膜血管造影图的计算机实现的方法。所述图像被自动分割以提取血管并且确定血管分叉的位置,亦即第二血管从第一血管分支的位置以及血管交叠的位置。
发明内容
因此,可能存在着以下需要,即在一组即时的投影图像中为医学从业者提供有关所述孔口的位置的更多信息。
本发明的目标通过独立权利要求的主题而得以解决,其中,从属权利要求中并入了另外的实施例。
应指出,下文描述的本发明的各方面等同地适用于处理取自管状结构的2D(二维)投影图像的计算机辅助方法,用于处理取自管状结构的2D投影图像的医学成像系统,计算机程序单元以及计算机可读介质。
根据本法的一个方面,提供一种用于处理取自管状结构的2D投影图像的装置。
所述管状结构包括第一管和第二管。所述第二管在所述第一管的侧壁中的开口处从所述第一管分支。
所述图像是在携带造影剂的流体存在于所述管状结构中时取得的。
所述装置包括:
-输入单元;
-处理单元;
-输出单元。
所述输入单元被配置为选择初始投影图像。
所述处理单元被配置为基于对所述初始投影图像的分割,建立对所述侧壁开口在所述投影图像中的位置的估计。
所述输出单元被配置为显示针对所估计的侧壁开口位置的标记,由此提供针对所述侧壁开口在所述初始投影图像中的位置的视觉表示。
所述管状结构可以为人类或动物脉管系统的部分,例如主动脉分叉,其中所述动脉在所述主动脉的侧壁中的孔口或开口处从所述主动脉分支。然而,所述主动脉分叉中的所述孔口仅为示范性的,并且也可以在所述脉管系统的其它部分或是实际上任意管状结构上实践本发明。
根据本发明的装置使得从已取得的投影图像的信息提取最大化。可以避免在其他情况中要建立图像中孔口位置所需要的重复DSA运行,由此减小对患者的X射线剂量和造影剂施予。与所述孔口位置正交地精确定位投影角度不再是必须的,但是可能需要估计孔口位置,以再次调节所述投影角度,如下文中将描述。
根据本发明的一个实施例,所述处理单元包括:
-分割器,其被配置为在所述初始投影图像中分割交叠区域;以及
-强度检测器,其被配置为在所述交叠区域的之内或所述交叠区域的边界处检测强度下降,由此将出现下降的位置建立为对所述第一管的侧壁开口的位置的估计。
所述初始投影图像中的所述交叠区域一般出现在当被用于所述图像的采集的投影轴不与由所述主动脉/动脉分叉定义的所述平面正交时。所述交叠区域是由主动脉和动脉在所述投影图像中的各自投影(“覆盖面(footprint)”)形成的,这是因为在所述脉管系统中,当沿该非正交投影轴观看时,主动脉与动脉在透视图中交叠。
所述装置被配置为利用所述交叠区域的所述覆盖面中的线索来实现对所述孔口的图像中位置的估计。所述孔口的边界出现在发生像素灰度值强度的下降的地方。所述强度下降的发生是因为:当在透视图中观看所述脉管系统中的所述交叠时,存在所述造影剂的明显聚集,使得所述交叠区域大体上在其边界内比外侧更暗。
根据本发明的一个实施例,所述投影图像是在所述流体流动通过所述孔口时相继取得的一系列投影图像中的一个。所述分割器被配置为在来自所述图像序列的选择图像中的每个中建立第一区域和第二区域。选择意味着所述序列中的所有图像或较少图像以节省CPU时间。所述第一区域中的每个表示沿所述投影轴的投影视图中的所述第一管,并且所述第二区域中的每个表示沿所述投影轴的投影视图中的所述第二管。所述装置还包括流动元素识别器,所述流动元素识别器被配置为跨所选择的投影图像,识别在所述第一区域中表示的所述流体流动的第一流动方向和在所述第二区域中表示的所述流体流动的第二流动方向。所述处理单元被配置为通过使用所述第一流动方向和所述第二流动方向,在所述交叠区域之内或所述交叠区域的边界处,建立交叉点。这样建立的交叉点为针对所述第一管的侧壁开口的位置的进一步估计。根据本发明的一个实施例,所述处理单元被配置为通过将从所述初始投影图像获得的所述估计与从所述系列投影图像获得的所述进一步估计进行平均来建立平均估计。
进一步通过将之前的静态或“静止图像”图像分析与动态图像分析组合,引起信息提取,以在估计所述孔口位置时这样获得还要更高的准确度。
贯穿本申请,术语“平均”应在其广义上被理解为源自一组输入数量值的数学运算,以产生所述一组的极值之间的值。这样的数学运算的范例为:算术平均、几何平均、加权平均、鲁棒统计、中间值、次序统计、内插值以及类似数量。
根据本发明的一个实施例,所述输出单元还被配置为将所识别的侧壁开口位置的标记叠加在所述管状结构的主图像上。
根据本发明的一个实施例,所述主图像为所述脉管结构的X射线透视检查图像,其中主动脉和动脉和/或所述交叠区域均被示为轮廓线。
在屏幕上以图形方式表示相对于所述脉管树的所述孔口位置,帮助外科医师或医学从业者导航于所述脉管结构,并将支架或腔内移植物放置在患者的主动脉内。由此阻塞所述动脉中的一个的风险得以降低。
根据本发明的一个方面,所述估计孔口位置可以被用作在采集所述投影图像时重新调节被用于所述X射线装置中的所述投影轴的线索。所述孔口位置估计与另外的参数相组合可以被用于在取得后续图像时减小所述交叠区域。所述另外的参数可以指示在所述主动脉分支的所述动脉是在相对于发射所述X射线的所述X射线成像器的X射线源的前方或后方。
附图说明
现在将参考以下附图描述本发明的示范性实施例:
图1示意性地示出了用于采集投影图像的医学X射线成像装置。
图2示意性地示出了取得投影图像的脉管系统的部分。
图3示出了图3中所示的脉管系统的投影图像。
图4示出了用于处理2D投影图像的装置。
图5示出由图4中的装置生成的概览图像。
图6示出针对处理2D投影图像的方法的流程图。
具体实施方式
参考图1,示出了C型臂X射线成像设备100。
C形的臂在其两端之一上附接有X射线源130,并且在另一端上附接有探测器120,探测器120被配置为探测由X射线源130发射的X射线。C型臂具有轴颈在轴承150上的杆,以允许携带有X射线源130和探测器120的C型臂的旋转。台140被布置在C型臂旋转时由X射线源130和探测器120扫过的圆之间的中心。在台140上设置感兴趣对象115,用于X射线成像。用于控制X射线成像器的操作的控制器170被示为与X射线源130、探测器120和数据库160通信。
随着C型臂绕要被成像的对象115旋转,X射线源130发射撞击对象115的X射线。X射线从源130经过对象115并到探测器120上。撞击在探测器120上的每个X射线均生成信号,该信号被控制器170转化成像素图像信息。X射线随着其通过对象115而被衰减。衰减的程度被编码成与该像素相关联的灰度值。
随着C型臂绕对象115旋转,在大量不同的投影角度或沿在不同角度的不同投影轴采集多个图像。此外,针对每个投影轴p,在不同的采集时间采集大量的帧。
由介入X射线系统100(有时被称作C型臂CT扫描器)生成的输出为不同序列的选择投影图像,每个图像序列均表示以特定的投影轴p在不同的采集时间采集到的投影图像。
输出的2D投影图像110a-c以合适的数字格式(例如DICOM)被存储在数据库160上。图像110a-c中的每个都是二维的,因为每个都是由像素图像元素的阵列定义的。每个像素编码一灰阶值。所述灰度值可以通过定义所述阵列的坐标x,y访问或寻址。在每个图像110a-c中,在其DICOM标头中编码有采集图像110a、b、c或d的所述投影角度阿尔法。每个图像110a-c都定义一映射(x,y)→g,其中在图像110a-c中的位置x,y处的每个像素元件均具有被分配到其的灰阶值g。可以针对每个像素位置x,y定义灰度值梯度。所述梯度是关于所述映射(x,y)→g取得的,并且方向是在所述图像的平面上沿跨所述图像的灰度值最大改变速率的。数据库160不必指物理盘上的一组文件,其也可以指直接存储了图像110a-c而使得图像可以由单元170或其他接口单元处理的存储器系统。
参考图2,感兴趣对象115为人类脉管的部分。示出的管状结构为人类主动脉205的部分的示意图,具有从其分支的动脉210。主动脉205和动脉210限定分叉。动脉210在主动脉205的侧壁处与主动脉205交会。在交会的区域处,形成“孔口”212或侧壁开口,以允许血液从动脉中到主动脉中或从主动脉到动脉中的流体通道。在取得图像110a-110c时,造影剂存在于所述血液中。在图2中通过主动脉205和动脉210内侧的晕线指示所述造影剂的存在。主动脉205和动脉210的纵向方向限定平面230。投影图像110a是以正交于平面230的投影轴p采集的,而投影图像110b是不正交于平面230的投影轴q采集的。
现在参考图3,用表示投影图像110b的边缘的框架矩形,示出了非正交投影图像110b的更详细的平面视图。由于其一般为管状的形状并且由于图像110b是在近似跨患者的纵轴采集的,主动脉205的投影在图像110b中被示为大体矩形部分。下文中将所述矩形投影称作主动脉覆盖面305。类似地,动脉210的投影被示为矩形部分310并且在下文中被称做动脉覆盖面310。从图2、图3可见,当在沿投影轴q的投影视图中观看时,动脉210与主动脉205交叠。所述透视交叠得到如在图3中所示的交叠区域320。交叠部分320延伸到主动脉覆盖面305中,并且终止于表示孔口321的区域的大致半圆口部分。
投影图像110b中的交叠部分320源于在图像110b的采集时间,X射线穿过存在于主动脉205中的所述造影剂和存在于动脉210中的所述造影剂两者。图3中的交叠区域320因此表现为比主动脉覆盖面305或动脉覆盖面310或图像背景中的任一个更暗。
在图3中通过交叠区域320中的交叉晕线指示因所述透视图造成的该明显的造影剂聚集。
参考图4,示出了被配置为估计孔口321的位置的装置,所述估计基于投影图像110b中的图像信息。
所述装置包括处理单元420,其在操作中,经由数据库接口器件415与数据库160通信。处理单元420控制分割器430和屏幕405。屏幕405上的输出由输出单元410控制。分割器430与强度检测器440并与流动元素分析器450通信。
广义地讲,图4中的所述装置在脉管投影图像110b中输出对孔口321的位置的估计。所估计的孔口位置数据帮助外科医师规划C型臂支持的介入。
在启动时,处理单元经由数据库接口器件415连接到投影图像110a-c被保存于其中的数据库160。处理单元读取投影图像110b。然后将投影图像110b的副本转发到分割器430,以将投影图像110b分割成一个或多个图像分割。被这样分割的投影图像110b然后被传送到强度检测器440。基于处理所分割的投影图像110b,强度检测器440输出对孔口位置的估计。在将分割的图像110b转发到强度检测器440之前、之后或期间,将分割的图像110b的所述副本或另一副本转发到流动元素分析器450。流动元素分析器450类似地处理分割的投影图像110b,以输出针对所述孔口位置的另外的估计。
流动元素分析器450在投影图像110b属于的一序列图像上执行时域分析。区别于流动元素分析器450的时域处理,强度检测器440将图像110b作为“静止图像”,“空间地”处理。然后,将所述时域序列估计和所述静止图像估计两者均转发到处理单元420,在这里对所述两个估计求平均以产生针对所述孔口位置的平均最终估计。输出单元410然后使用所估计的孔口位置,来生成针对所述孔口位置的图形标记,然后将其交叠在投影图像110b上并一起显示在屏幕405上(参见图5)。
在图4中铺展示出了所述装置的部件。然而,这是为图示清楚。所述装置部件处理单元420、分割器430、强度检测器440和流动元素分析器可以事实上为本地分布的,并且在合适的通信网络中连接。然而在其他实施例中,部件420、430和440作为软件程序在处理单元420上运行。所述部件也可以被布置为专用FPGA或硬接线独立芯片。所述部件可以被编程为合适的科学计算平台,例如并然后被翻译成C++或C程序,在程序库中维护并在处理单元420调用时链接所述程序。
现在更详细地解释图4中的装置的操作。
分割器单元430划分图像110b中尚未结构化的像素信息,并限定像素区域。然后可以将所述区域处理为对其自身合适的目标。然后可以说出图像110b中的每个像素是在所述对象之内或之外。图像110b已被划分成的每个对象均被类似地称作分割。
分割器430读取投影图像110b的副本。在对投影图像110b的选择之前,可以是对比度分析,以确保所选择的图像示出在采集所述图像时存在足够的造影剂。优选地,投影图像110b也被选择为避免饱和效应,所述饱和效应将完全遮住交叠区域320。
使用基于梯度的边缘检测技术,扫描图像110b中的像素灰度值,以将主动脉覆盖面305的边沿304和306确定为最可能的上下轮廓线。示范性梯度读取在图3中被指示为g。分割器430使用图像110b的标头中的DICOM信息,其中编码有图像帧(人像式/风景式)与被成像的脉管的基本纵向取向之间的关系。在其他实施例中,分割器将分析最可能的左到右或右到左轮廓线。
分割器然后分割动脉覆盖面310。从主动脉覆盖面305的右边沿306,基于梯度和/或中心度值追踪像素路径。向着图像110b的右边沿,追踪所述路径可配置的路径长度。使用梯度值测量跨所述路径的灰度值对比,从而建立动脉覆盖面310的边沿309和311。
可以针对从主动脉覆盖面305分支的其他动脉,重复所述过程,但为了简化图示,针对示出的单个动脉覆盖面310解释所述程序。从所追踪的路径中,建立与图像背景相比在相邻路径之间接界的区域中具有相对暗的灰度值的相邻路径。由于动脉210中的造影剂,预期动脉覆盖面310之内的像素更暗。然后,取在之间具有相对暗的灰度值区域的相邻路径来表示动脉覆盖面310的边沿309和311,并且边沿路径309、311之间的区域被记录为对动脉覆盖面310的分割。以上用于追踪主动脉边沿路径的程序将类似于分支到主动脉覆盖面305的左边沿304的动脉覆盖面。这里,在相反方向,从左主动脉覆盖面边沿304到图像110b的左边缘,追踪路径。
然后,将对构成动脉覆盖面310的点的像素坐标描述与对该路径的像素描述一起转发到强度检测器440。分割器430与强度检测器440合作,以分割交叠区域320。使用动脉覆盖面310的边沿309、311路径或中心路径,强度检测器440沿动脉覆盖面中心路径向主动脉覆盖面305记录灰度值。在进入主动脉覆盖面305时,随着灰度值升高,检测到阴暗,这是因为由投影图像110b中的所述透视图造成的明显的造影剂聚集。
一旦进入主动脉覆盖面305之内,强度检测器440沿动脉覆盖面中心线的方向继续进行,直到强度检测器440检测到灰度值强度的急剧下降。记录发生所述下降的像素位置,并且其对应于孔口212的投影的边界321。现在可以使用基于模型的方法来完成对交叠区域320的分割。可以假设动脉覆盖面310的宽度为交叠区域320的宽度,如在图3中所示。然后可以绕在追踪所述孔边界上的点时使用的所述动脉覆盖面中心路径,拟合矩形部分。使用圆形作为针对所述孔覆盖面的模型,所述圆可以被拟合所述矩形部分之内,从而记录的孔边界点在所述圆的周线上。然后输出所述拟合的圆的中心,作为对孔口321的位置的估计。可以不仅针对动脉覆盖面310的中心线,还针对两个边沿311、309重复所述程序,并相应地拟合圆。也可以针对孔和动脉使用除圆和矩形以外的不同投影模型。例如,可以使用椭圆代替圆,并且可以针对动脉覆盖面310使用曲线带代替矩形部分。
根据一个实施例,针对多个样本图像中的每个执行检测器440的静止图像分析。
针对孔口位置321的静止图像估计或多个静止图像估计然后被返回到处理单元420。
如果接收到所述多个静止图像估计,则形成平均以获得针对所述静止图像分析孔口位置的平均估计。
流动元素分析器450读取投影图像的序列,包括以按成像装置100采集它们的顺序的投影图像110b。由于随着所述序列上的所述图像被采集,携带造影剂的血液在所述脉管系统上移动,因此可以通过使用来自流体动力学的技术来建立所述流动,例如描述血流通过所述脉管的速度向量场的烟线和迹线。例如,可以记录在所述序列图像上的颗粒的位置,并且可以将与其迹线相切的速度向量确定为针对所述流动方向的指示。针对覆盖面310之内和主动脉覆盖面305之内两者,建立流动向量。使沿所述向量的线相交,并且通过流动元素分析器450来分析所述交叉点的位置。如果所述交叉点出现在交叠区域320内侧,则将所述交叉点输出到处理单元420作为针对孔口位置321的另外的估计。也可以通过观看针对在动脉覆盖面310和主动脉覆盖面305中的不同流动向量的对以相同方式获得的不同交叉点,来对基于所述流动的孔口位置估计求平均。
根据一个实施例,流动元素分析器450单独地针对所述序列中的所述图像中的每个,产生独立的基于流动元素的孔口位置估计。然后将这样获得的孔口位置估计的序列传送到所述处理单元用于求平均。根据该实施例,仅利用流动动力学的时域方面,其在于每个图像提供所述流动在孔口处的不同视图。可以这样平均掉在所述图像的一些中示出的较不利的造影剂飞溅,使得所述估计过程更为鲁棒。
处理单元然后对从分割器430和流动元素分析器450接收的所述孔口位置求平均。
处理单元然后将经平均的位置数据传送到输出单元415。输出单元(例如图形用户界面控制器)然后使用所估计的孔口位置来生成图形标记。然后在屏幕405上,将为描绘所述孔的轮廓的彩色圆圈形式的标记叠加在投影图像110b或X射线透视图像上。
图5示出了对这种交叠有孔口位置标记510的概览图像的屏幕截图405。图像520可以为从图像110a-110c获得的代表性DSA图像或流动图像。根据一个实施例,也存在描绘交叠区域515的轮廓的任意交叠标记515。额外地或可选地,标记505描绘脉管系统的边沿的轮廓。所显示的血管树图像可以被外科医师用于控制移植物或支架在所述主动脉中的定位。例如,可以在血管内设备定位与递送期间,将标记505、510、515交叠在所用的X射线透视图像上。由于通过孔标记510标记了孔口位置,因而可以避免在主动脉205中定位支架时动脉210的阻塞。
图6示出了处理2D投影图像的方法的流程图。
在步骤S605,接收投影图像。
在步骤S610中,基于对初始投影图像的分割,建立对所述侧壁开口在所述投影图像中的位置的估计。
在步骤S620中,使用所估计的侧壁开口位置来生成标记,用于在所述屏幕上显示。所述标记在被交叠在所述投影图像中时,提供针对所述侧壁开口在所述初始投影图像中的所述位置的视觉表示。
根据一个实施例,建立所述孔口位置的所述步骤包括在初始投影图像中分割交叠区域。所述初始图像中的所述交叠区域是由于当沿已被用于采集所述投影图像的投影轴观看时主动脉与动脉发生交叠而形成的。建立所述孔口位置的所述步骤还包括在所述交叠区域之内或所述交叠区域的边界处检测强度下降,由此将所述下降发生的位置建立为对所述孔的位置的估计。
根据本发明另外的实施例,建立所述孔口位置的所述步骤还包括在对来自所述序列图像中的选择的图像中的每个中建立第一区域和第二区域。所述第一区域中对每个表示沿所述投影轴的投影视图中的所述主动脉,并且所述第二区域中的每个表示沿所述投影轴的投影视图中的所述动脉。
建立所述孔口位置的步骤还包括在所选择的投影图像上,识别第一流动方向和第二流动方向,所述第一流动方向针对被表示在所述第一图像区域中的流体,所述第二流动方向针对被表示在所述第二图像区域中的流体。建立所述孔口位置的步骤还包括通过使用第一流动方向和第二流动方向,在所述交叠之内或所述交叠的边界处,建立交叉点。然后输出这样建立的交叉点作为针对所述孔口位置的另外的估计。
根据本发明另外的实施例,所述孔口位置估计被平均。
根据本发明另外的实施例,针对所述管状结构的主图像上的交叠,生成针对所述估计位置标记。
根据本发明的一个实施例,在所述第一管和第二管中的所述脉管结构的主图像X射线透视图像被示为轮廓,并且当所述管状结构为人类或动物脉管系统。
根据本发明另外的实施例,所述估计孔口位置被用于调节X射线成像装置100中的投影角度,从而在随后获得的图像中,减少或甚至取消所述交叠区域。为此,可以将由操作X射线成像装置100的放射科医师提供的另外的数据与所述估计孔口位置组合。为了最小化如通过类似的所述交叠区域表示的投影缩减效应,所述另外的数据可以包括有关所述孔相对于所述投影方向在前部或后部的线索。此外,为了确定新的投影角度或多个角度,可以使用针对在所述孔处的所述动脉横截面的形状的模型。然后将所述形状模型拟合到所观察的动脉覆盖面310。例如,可以假设圆形横截面,并然后将其拟合到所述投影中的动脉覆盖面310。对动脉覆盖面310的形状建模允许3D中的2D孔口位置到所述形状建模的横截面的反向投影。适于解析所述孔口位置相对于所述投影方向的前/后模糊性的额外的数据然后使得能够毫无疑义地为所述孔分配3D位置。所述孔的所述3D位置允许确定针对X射线成像装置100的调节的投影角度或投影轴,从而可以最小化后续图像中的交叠区域。
根据本发明另外的实施例,可以在所述成像过程仍在进行时采集所述输出最优位置。X射线成像装置100输出图像110a-c,图像被输入到装置400,并被飞行中处理以输出所述估计孔口位置。输出孔口位置然后被反馈到X射线图像控制器170,以调节用于X射线成像器100的当前投影角度。
在本发明的另一示范性实施例中,提供一种计算机程序或计算机程序单元,其特征在于适于在合适的系统上运行根据前述实施例中的一个所述的方法的方法步骤。
所述计算机程序单元因此可以被存储在计算机单元上,其也可以为本发明的实施例的部分。该计算单元可以适于执行或引起执行上述方法的步骤。此外,其可以适于操作上述装置的部件。所述计算单元可以适于自动操作,和/或适于运行用户的命令。计算机程序可以被载入数据处理器的工作存储器中。所述数据处理器因此可以被装配为执行本发明的方法。
本发明的该示范性实施例覆盖以下两者:从一开始就使用本发明的计算机程序,和借助于升级将现有程序转为使用本发明的程序的计算机程序。
此外,所述计算机程序单元可以能够提供所有需要的步骤来履行上述方法的示范性实施例的所述程序。
根据本发明另外的示范性实施例,提供一种计算机可读介质,例如CD-ROM,其中,所述计算机可读介质具有存储在其上的计算机程序单元,该计算机程序单元由前段描述。
计算机程序可以被存储和/或发布在合适的介质上,例如与其他硬件一起或作为其他硬件的部分提供的光学存储介质或固态介质,但也可以以其他形式发布,例如经由互联网或其他有线或无线电信系统。
然而,也可以将所述计算机程序提供在诸如万维网的网络上,并且可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另外的示范性实施例,提供一种用于使计算机程序单元可供下载的介质,该计算机程序单元被布置为执行根据本发明的前述实施例中的一个所述的方法。
必须指出,本发明的实施例是参考不同主题而被描述的。具体而言,一些实施例是参考方法型权利要求描述的,而其他实施例是参考装置型权利要求描述的。然而,本领域技术人员将从上文以及下面的描述获悉,除非另外指出,除属于一种类型的主题的特征的任意组合以外,涉及不同主题的特征之间的任意组合也被视为由本申请公开。然而,提供大于特征的简单加合的协同效应的所有特征均可以被组合。
尽管已在附图和前文的描述中图示并描述了本发明,但应将这种图示和描述视为示例性或示范性的而非限制性的。本发明不限于所公开的实施例。本领域技术人员在实践要求保护的本发明时,根据对附图、公开内容以及所附权利要求书的研究,可以理解并实现对所公开实施例的其他变型。
在权利要求书中,词语“包括”不排除其他元件或步骤,并且定语“一”或“一个”不排除复数。单个处理器或其他单元可以完成权利要求书中记载的几个项目的功能。尽管在互不相同的从属权利要求中记载了特定措施,但是这并不指示不能有利地组合这些措施。权利要求书中的任何附图标记都不应被解释为对范围的限制。

Claims (16)

1.一种用于处理取自包括第一管(205)和第二管(210)的管状结构的一幅或多幅2D投影图像(110a-c)的C型臂X射线成像装置(100),所述第二管在所述第一管的侧壁中的开口(212)处从所述第一管分支,所述一幅或多幅2D投影图像是在携带造影剂的流体存在于所述管状结构中时取得的,所述成像装置包括:
-输入单元;
-处理单元(420);以及
-输出单元(410);
所述输入单元被配置为从所述一幅或多幅2D投影图像选择沿投影轴取得的初始投影图像(110b),所述第一管和所述第二管在沿所述投影轴观看时,发生交叠而形成所述初始投影图像中的交叠区域,
所述处理单元包括分割器(430),所述分割器被配置为在所述初始投影图像中分割所述交叠区域,所述处理单元被配置为基于对所述初始投影图像的所述分割,来建立对所述侧壁中的开口在所述初始投影图像中的位置的估计,
所述输出单元被配置为显示针对所估计的侧壁开口位置的标记,由此提供针对所述侧壁中的开口在所述初始投影图像中的所述位置的视觉表示,
其中,所述处理单元还包括:
强度检测器(440),其被配置为在所述交叠区域之内或所述交叠区域的边界处检测强度下降,由此将出现所述强度下降的位置建立为对所述第一管的侧壁中的开口的所述位置的所述估计。
2.如权利要求1所述的装置,其中,所述初始投影图像是在所述流体流动通过所述第一管的侧壁中的开口时相继取得的2D投影图像的序列中的一个,
所述分割器被配置为在来自2D投影图像的所述序列的选择图像中的每个中建立第一区域和第二区域,
其中,所述第一区域中的每个表示沿所述投影轴的投影视图中的所述第一管,并且所述第二区域中的每个表示沿所述投影轴的投影视图中的所述第二管,
所述装置还包括:
流动元素识别器,其被配置为跨所选择的投影图像,识别在所述第一区域中表示的流体流动的第一流动方向和在所述第二区域中表示的流体流动的第二流动方向;
其中,所述处理单元被配置为通过使用所述第一流动方向和所述第二流动方向,在所述交叠区域之内或所述交叠区域的边界处建立交叉点,这样建立的交叉点为对所述第一管的侧壁中的开口的所述位置的进一步估计。
3.如权利要求2所述的装置,其中,所述处理单元被配置为通过对从所述初始投影图像获得的所述估计与从所述2D投影图像的序列获得的所述进一步估计求平均来建立平均估计。
4.如权利要求1-3中的任一项所述的装置,其中,所述输出单元还被配置为将所识别的侧壁开口位置的所述标记叠加在所述管状结构的主图像上。
5.如权利要求4所述的装置,其中,所述主图像为脉管结构的X射线透视图像,其中,所述第一管和所述第二管被示为轮廓和/或所述交叠区域被示为轮廓,并且其中,所述管状结构为人类或动物脉管系统的部分。
6.一种处理借助于C型臂X射线成像装置取自包括第一管和第二管的管状结构的一幅或多幅2D投影图像的计算机辅助的方法,所述第二管在所述第一管的侧壁中的开口处从所述第一管分支,所述一幅或多幅2D投影图像是在携带造影剂的流体存在于所述管状结构中时取得的,所述方法包括:
-从所述一幅或多幅2D投影图像选择沿投影轴取得的初始投影图像,所述第一管和所述第二管在沿所述投影轴观看时,发生交叠而形成所述初始投影图像中的交叠区域;
-在所述初始投影图像中分割所述交叠区域;
-基于对所述初始投影图像的所述分割,建立对所述侧壁中的开口在所述初始投影图像中的位置的估计;
在所述交叠区域之内或所述交叠区域的边界处检测强度下降,由此将出现所述强度下降的位置建立为对所述第一管的侧壁中的开口的所述位置的所述估计;并且
-生成用于在屏幕上显示的对所估计的侧壁开口位置的标记,由此提供针对所述侧壁中的开口在所述初始投影图像中的所述位置的视觉表示。
7.如权利要求6所述的方法,其中,所述初始投影图像是在所述流体流动通过所述第一管的侧壁中的开口时相继取得的2D投影图像的序列中的一个,所述方法还包括:
-在来自2D投影图像的所述序列的选择图像中的每个中建立第一区域和第二区域,其中,所述第一区域中的每个表示沿所述投影轴的投影视图中的所述第一管,并且所述第二区域中的每个表示沿所述投影轴的投影视图中的所述第二管;
-跨所选择的投影图像,识别在所述第一区域中表示的流体流动的第一流动方向和在所述第二区域中表示的流体流动的第二流动方向;并且
-通过使用所述第一流动方向和所述第二流动方向,在所述交叠区域之内或所述交叠区域的边界处建立交叉点,这样建立的交叉点为对所述第一管的侧壁中的开口的所述位置的进一步估计。
8.如权利要求7所述的方法,所述方法还包括:
-对来自所述初始投影图像的所述估计与来自所述2D投影图像的序列的所述进一步估计求平均,从而获得对所述侧壁开口位置的平均估计。
9.如权利要求6-8中的任一项所述的方法,所述方法还包括:
为了在屏幕上显示,将所识别的侧壁开口位置或经平均的侧壁开口位置的所述标记叠加在脉管结构的主图像上。
10.如权利要求6-8中的任一项所述的方法,基于所估计的所述侧壁开口的位置,调节所述C型臂X射线成像装置中的投影角度,由此实现在所述C型臂X射线成像装置被用于采集所述管状结构的另一投影图像时,所采集的另一投影图像具有与所述初始投影图像中的所述交叠区域相比减少的交叠区域。
11.一种用于处理取自包括第一管和第二管的管状结构的一幅或多幅2D投影图像的医学X射线成像系统,所述第二管在所述第一管的侧壁中的开口处从所述第一管分支,所述一幅或多幅2D投影图像是在携带造影剂的流体存在于所述管状结构中时取得的,所述系统包括:
-数据库,其保存所述一幅或多幅2D投影图像;
-根据权利要求1-5中的任一项所述的装置,其还包括数据库接口器件,以访问所述数据库中的所述一幅或多幅2D投影图像;
-屏幕,其用于显示所识别的侧壁开口位置的所述标记。
12.一种用于处理借助于C型臂X射线成像装置取自包括第一管和第二管的管状结构的一幅或多幅2D投影图像的装置,所述第二管在所述第一管的侧壁中的开口处从所述第一管分支,所述一幅或多幅2D投影图像是在携带造影剂的流体存在于所述管状结构中时取得的,所述装置包括:
-用于从所述一幅或多幅2D投影图像选择沿投影轴取得的初始投影图像的单元,所述第一管和所述第二管在沿所述投影轴观看时,发生交叠而形成所述初始投影图像中的交叠区域;
-用于在所述初始投影图像中分割所述交叠区域的单元;
-用于基于对所述初始投影图像的所述分割来建立对所述侧壁中的开口在所述初始投影图像中的位置的估计的单元;
-用于进行以下的单元:在所述交叠区域之内或所述交叠区域的边界处检测强度下降,由此将出现所述强度下降的位置建立为对所述第一管的侧壁中的开口的所述位置的所述估计;以及
-用于进行以下的单元:生成用于在屏幕上显示的对所估计的侧壁开口位置的标记,由此提供针对所述侧壁中的开口在所述初始投影图像中的所述位置的视觉表示。
13.如权利要求12所述的装置,其中,所述初始投影图像是在所述流体流动通过所述第一管的侧壁中的开口时相继取得的2D投影图像的序列中的一个,所述装置还包括:
-用于在来自2D投影图像的所述序列的选择图像中的每个中建立第一区域和第二区域的单元,其中,所述第一区域中的每个表示沿所述投影轴的投影视图中的所述第一管,并且所述第二区域中的每个表示沿所述投影轴的投影视图中的所述第二管;
-用于跨所选择的投影图像识别在所述第一区域中表示的流体流动的第一流动方向和在所述第二区域中表示的流体流动的第二流动方向的单元;以及
-用于通过使用所述第一流动方向和所述第二流动方向在所述交叠区域之内或所述交叠区域的边界处建立交叉点的单元,这样建立的交叉点为对所述第一管的侧壁中的开口的所述位置的进一步估计。
14.如权利要求13所述的装置,所述装置还包括:
-用于进行以下的单元:对来自所述初始投影图像的所述估计与来自所述2D投影图像的序列的所述进一步估计求平均,从而获得对所述侧壁开口位置的平均估计。
15.如权利要求12-14中的任一项所述的装置,所述装置还包括:
用于为了在屏幕上显示将所识别的侧壁开口位置或经平均的侧壁开口位置的所述标记叠加在脉管结构的主图像上的单元。
16.如权利要求12-14中的任一项所述的装置,所述装置还包括:
用于进行以下的单元:基于所估计的所述侧壁开口的位置来调节所述C型臂X射线成像装置中的投影角度,由此实现在所述C型臂X射线成像装置被用于采集所述管状结构的另一投影图像时所采集的另一投影图像具有与所述初始投影图像中的所述交叠区域相比减少的交叠区域。
CN201280055463.7A 2011-09-13 2012-09-07 具有孔口可视化的脉管轮廓描绘 Active CN103930926B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11306141.0 2011-09-13
EP11306141 2011-09-13
PCT/IB2012/054633 WO2013038313A1 (en) 2011-09-13 2012-09-07 Vascular outlining with ostia visualization

Publications (2)

Publication Number Publication Date
CN103930926A CN103930926A (zh) 2014-07-16
CN103930926B true CN103930926B (zh) 2017-06-13

Family

ID=47080754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280055463.7A Active CN103930926B (zh) 2011-09-13 2012-09-07 具有孔口可视化的脉管轮廓描绘

Country Status (7)

Country Link
US (1) US9256940B2 (zh)
EP (1) EP2745267B1 (zh)
JP (1) JP6073896B2 (zh)
CN (1) CN103930926B (zh)
BR (1) BR112014005616A2 (zh)
IN (1) IN2014CN02088A (zh)
WO (1) WO2013038313A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130303944A1 (en) 2012-05-14 2013-11-14 Intuitive Surgical Operations, Inc. Off-axis electromagnetic sensor
US9452276B2 (en) 2011-10-14 2016-09-27 Intuitive Surgical Operations, Inc. Catheter with removable vision probe
US11331149B2 (en) 2012-05-16 2022-05-17 Feops Nv Method and system for determining a risk of hemodynamic compromise after cardiac intervention
US20140148673A1 (en) 2012-11-28 2014-05-29 Hansen Medical, Inc. Method of anchoring pullwire directly articulatable region in catheter
EP3243476B1 (en) 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
JP6632829B2 (ja) * 2014-08-27 2020-01-22 キヤノンメディカルシステムズ株式会社 医用画像処理装置及び医用画像処理方法
WO2016054256A1 (en) 2014-09-30 2016-04-07 Auris Surgical Robotics, Inc Configurable robotic surgical system with virtual rail and flexible endoscope
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
JP6815135B2 (ja) * 2015-10-28 2021-01-20 キヤノンメディカルシステムズ株式会社 X線診断装置及び画像処理装置
US10143526B2 (en) * 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
JP6780936B2 (ja) * 2016-01-13 2020-11-04 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6744158B2 (ja) * 2016-07-07 2020-08-19 キヤノンメディカルシステムズ株式会社 X線診断装置及び画像処理装置
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
EP3384846B1 (en) * 2017-04-03 2021-03-24 Siemens Healthcare GmbH Method for operating an x-ray device, x-ray device, computer program and electronically readable storage medium.
KR102354701B1 (ko) * 2017-04-12 2022-01-24 재단법인대구경북과학기술원 이미지 처리 장치 및 이에 의한 가상의 엑스선 이미지 생성 방법
EP3621520A4 (en) 2017-05-12 2021-02-17 Auris Health, Inc. BIOPSY APPARATUS AND SYSTEM
WO2019005872A1 (en) 2017-06-28 2019-01-03 Auris Health, Inc. INSTRUMENT INSERTION COMPENSATION
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
US11432875B2 (en) * 2017-09-28 2022-09-06 Siemens Medical Solutions Usa, Inc. Left atrial appendage closure guidance in medical imaging
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
EP3684282B1 (en) 2017-12-06 2024-02-21 Auris Health, Inc. Systems to correct for uncommanded instrument roll
JP7322026B2 (ja) 2017-12-14 2023-08-07 オーリス ヘルス インコーポレイテッド 器具の位置推定のシステムおよび方法
EP3752085A4 (en) 2018-02-13 2021-11-24 Auris Health, Inc. SYSTEM AND METHOD FOR TRAINING A MEDICAL INSTRUMENT
US11132830B2 (en) * 2018-03-29 2021-09-28 Biosense Webster (Israel) Ltd. Static virtual camera positioning
EP3856064A4 (en) 2018-09-28 2022-06-29 Auris Health, Inc. Systems and methods for docking medical instruments
CN114901194A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 解剖特征识别和瞄准
EP4084722A4 (en) 2019-12-31 2024-01-10 Auris Health Inc ALIGNMENT INTERFACES FOR PERCUTANE ACCESS
EP4084720A4 (en) 2019-12-31 2024-01-17 Auris Health Inc ALIGNMENT TECHNIQUES FOR PERCUTANE ACCESS

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882950A (zh) * 2003-09-25 2006-12-20 派昂公司 用于管状器官的三维重建的系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047090A (en) 1996-07-31 2000-04-04 U.S. Philips Corporation Method and device for automatic segmentation of a digital image using a plurality of morphological opening operation
DE10000185A1 (de) 2000-01-05 2001-07-12 Philips Corp Intellectual Pty Verfahren zur Darstellung des zeitlichen Verlaufs des Blutflusses in einem Untersuchungsobjekt
DE10100572A1 (de) * 2001-01-09 2002-07-11 Philips Corp Intellectual Pty Verfahren zur Darstellung des Blutflusses in einem Gefäßbaum
JP4421203B2 (ja) * 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
US8781193B2 (en) 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US8244331B2 (en) * 2007-08-31 2012-08-14 Siemens Aktiengesellschaft Method and device for determining an optimum direction of projection for recording projection images
JP2010082295A (ja) * 2008-10-01 2010-04-15 Toshiba Corp X線画像診断装置及びx線画像表示方法
US20110103655A1 (en) * 2009-11-03 2011-05-05 Young Warren G Fundus information processing apparatus and fundus information processing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1882950A (zh) * 2003-09-25 2006-12-20 派昂公司 用于管状器官的三维重建的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
D eformable organisms for automatic medical image analysis;Tim McInerney等;《Medical Image Analysis》;20020901;第6卷(第3期);第251-266页 *
基于投影图像和CT容积图像的三维冠状动脉运动跟踪新方法;杨俊等;《生物医学工程与临床》;20100725;第14卷(第4期);第294-299页 *

Also Published As

Publication number Publication date
EP2745267B1 (en) 2016-12-28
US9256940B2 (en) 2016-02-09
BR112014005616A2 (pt) 2017-03-28
US20140219537A1 (en) 2014-08-07
CN103930926A (zh) 2014-07-16
JP6073896B2 (ja) 2017-02-01
WO2013038313A1 (en) 2013-03-21
JP2014526334A (ja) 2014-10-06
EP2745267A1 (en) 2014-06-25
IN2014CN02088A (zh) 2015-05-29

Similar Documents

Publication Publication Date Title
CN103930926B (zh) 具有孔口可视化的脉管轮廓描绘
CN103002808B (zh) 起源于3d的心脏路图绘制
EP2863802B1 (en) Flow-related image processing in luminal organs
JP6878439B2 (ja) 体部の3次元モデル
EP3227857B1 (en) Device-based motion-compensated digital subtraction angiography
EP2863799B1 (en) Temporal anatomical target tagging in angiograms
US11282170B2 (en) Contrast injection imaging
CN110490835B (zh) 自动检查叠合图像的方法,计算单元和医学成像设备
JP2005199041A (ja) Ct血管造影法における構造を領域分割する方法及び装置
EP2800516A1 (en) Real-time display of vasculature views for optimal device navigation
CN101961245A (zh) 在采集的放射线照相术图像中补偿呼吸运动的系统和方法
CN104703542B (zh) X射线成像中的骨抑制
CN107787203A (zh) 图像配准
CN114140374A (zh) 提供合成造影场景
CN106456080A (zh) 用于修改x射线数据中的对tee探头的成像的设备
US11481957B2 (en) Medical image processing apparatus and storage medium
CN107347249A (zh) 自动移动检测
US20210248762A1 (en) Method for deformation correction
JP2020168361A (ja) 医用画像処理装置およびプログラム
CN108366834A (zh) 导航辅助系统
CN112790778A (zh) 采集错误对齐
RU2575781C2 (ru) Медицинская система визуализации и способ получения наклонного вида объекта исследования

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant