CN111798451B - 基于血管3d/2d匹配的3d导丝跟踪方法及装置 - Google Patents

基于血管3d/2d匹配的3d导丝跟踪方法及装置 Download PDF

Info

Publication number
CN111798451B
CN111798451B CN202010550016.5A CN202010550016A CN111798451B CN 111798451 B CN111798451 B CN 111798451B CN 202010550016 A CN202010550016 A CN 202010550016A CN 111798451 B CN111798451 B CN 111798451B
Authority
CN
China
Prior art keywords
vessel
guide wire
wire tip
matching
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010550016.5A
Other languages
English (en)
Other versions
CN111798451A (zh
Inventor
艾丹妮
杨健
范敬凡
郭帅
王涌天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010550016.5A priority Critical patent/CN111798451B/zh
Publication of CN111798451A publication Critical patent/CN111798451A/zh
Application granted granted Critical
Publication of CN111798451B publication Critical patent/CN111798451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

基于血管3D/2D匹配的3D导丝跟踪方法及装置，方法包括：血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管分割来提取中心线；构建血管图模型分别描述2D和3D血管的结构；构建约束关系，找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；采用深度学习对2D X射线图像中的导丝尖端分割，模型采用U‑Net作为基础结构，网络输入是x射线图像，输出是像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。

Description

基于血管3D/2D匹配的3D导丝跟踪方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于血管3D/2D匹配的3D导丝跟踪方法，以及基于血管3D/2D匹配的3D导丝跟踪装置。
背景技术
微创介入手术由于其创伤小，恢复时间快的特点，逐渐成为了医生们的主要选择。在介入手术中，医生通过将导管沿血管插入到病变区域，之后通过导管放置支架或药物进行治疗。在导管插入期间，通常使用术中X射线荧光透视图像进行引导。在这种图像中，导管可见，但血管是不可见的。因此，通常需要在引导过程中使用造影剂使血管显影，引导导管的插入过程。然而，二维的血管图像存在交叉等情况，医生通常难以判断实际的血管形状和位置。因此，将3D血管模型叠加到二维的图像上帮助医生引导导管的插入十分重要。
CTA又叫做非创伤性血管成像技术，是在增强CT扫描以后进行的重建方法，简单讲就是在扫描时向血管内注入一定的造影剂使血管腔充盈并采集其数据，然后经过计算机重建处理，将非兴趣区的内容删除，仅保留血管的影像并进行整体和多角度的重建，使血管整体外观充分展现，同时也利于病变血管的显示。这个类似于数字减影检查(但CTA可以提供3维图像信息)。
有很多学者通过血管3D/2D配准将3D血管模型显示在术中二维图像上，这能够帮助医生理解二维图像中导丝在三维血管中的大致位置，但对于导丝的实际位置并没有一个直观的展示。
卷积神经网络在图像处理方面发展迅速，在图像分割等应用场景下达到了非常好的效果。Ronnerberger等人提出了一种称为U-Net的端到端的神经网络结构，独特的编码器-解码器结构使得在具有较小数据集的情况下，神经网络也能取得较好的效果。Pierre等人将U-Net应用在整个导丝的分割任务上，取得了较好的结果。在PCI手术中使用的导丝通常只有尖端部分和导管部分可见，导丝尖端的位置对手术导航具有重要意义。因此，更关注导丝尖端而不是整个导丝。Wang等人通过使用一种基于神经网络的方法，实现了对导丝尖端区域的探测，但是并没有进行导丝尖端的分割。YuDong等人采取了先探测目标区域后分割的方法实现了导丝尖端的分割。这种方法具有一定的精度，但是模型比较复杂，导致时间效率较低。
3D/2D配准方法已经被广泛应用于心脏、颅骨、腹部以及整形外科等手术引导中。Markelj等人对3D/2D配准方法进行了总结。配准方法可以分为基于外部，基于内部以及基于校准的方法。基于外部的方法使用物理标记来配准，通常在获取3D图像之前将标记(X射线图像上可见的对象)放置在感兴趣区域附近。基于内部的方法依赖于骨骼或血管之类的解剖结构，通常基于强度，梯度或他们的组合。当3D术前图像和2D术中图像来自于同一台设备时，可以使用基于校准的方法。Ruijters等人使用C型臂信息来更新术前CT和2D X射线图像之间的配准。这种方法很适合在颅骨手术中应用，因为颅骨手术过程中不会移动头部。Atasoy等人提出了一种半自动方法，可以跟踪术中医生选择的一个感兴趣区域(导管的一部分)，并利用此信息平移以及转换3D模型以校正由呼吸运动引起的偏移。
在血管介入手术中，2D血管显影较为清晰，更加适合采用基于血管的3D/2D配准。由于血管的特性，需要采用一些较为灵活的仿射模型变换。Groher等人介绍了一种能够将3D血管结构可变形的配准到不同场景的单个投影的方法，其变换模型受到长度守恒项的约束。该方法在实际图像上的计算时间约为5分钟，限制了其在介入手术中的应用。Metz等人的方法通过4D CTA构建心脏运动模型，但是在大多数情况下，4D CTA的获取较为困难。Liao等人通过利用腹主动脉特有的特性有效提升了配准计算的精度。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于血管3D/2D匹配的3D导丝跟踪方法，其能够实现3D导丝尖端的位姿估计，为医生直观地展示导丝尖端与血管的相对位置关系。
本发明的技术方案是：这种基于血管3D/2D匹配的3D导丝跟踪方法，其包括以下步骤：
(1)血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；
(2)构建约束关系，找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；
(3)采用深度学习对2D X射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；
(4)构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。
本发明首先针对3D和2D的血管分别构建血管树，构建约束关系找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果，然后结合一种基于神经网络的方法对导丝尖端进行分割，构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，因此能够实现3D导丝尖端的位姿估计，为医生直观地展示导丝尖端与血管的相对位置关系。
还提供了基于血管3D/2D匹配的3D导丝跟踪装置，其包括：
血管拓扑的构建模块，其针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；
约束关系构建模块，其找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；
二维图像导丝尖端分割模块，其采用深度学习对2D X射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；
导丝尖端2D-3D反投影模块，其构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。
附图说明
图1示出了根据本发明的血管拓扑结构。
图2示出了根据本发明的3D和2D血管树结构，左侧为3D血管，右侧为2D血管。
图3示出了对应的2D造影图像以及2D X射线图像。
图4示出了根据本发明的基于血管3D/2D匹配的3D导丝跟踪方法的流程图。
具体实施方式
如图4所示，这种基于血管3D/2D匹配的3D导丝跟踪方法，其包括以下步骤：
(1)血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；
(2)构建约束关系，找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；
(3)采用深度学习对2D X射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；
(4)构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。
本发明首先针对3D和2D的血管分别构建血管树，构建约束关系找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果，然后结合一种基于神经网络的方法对导丝尖端进行分割，构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，因此能够实现3D导丝尖端的位姿估计，为医生直观地展示导丝尖端与血管的相对位置关系。
优选地，所述步骤(1)中，首先使用Mimics交互的对3D血管进行分割，得到较为平滑的血管3D模型，使用一种基于曲率的迭代细化方法提取其中心线，将平均曲率流的思想应用到骨架提取中，迭代进行的细化过程使模型的表面收缩为一条中心线；针对2D血管，选择一帧造影剂充溢的X射线图像，使用基于增强图像引导的神经网络的方法对其进行血管分割，为了能够得到更加平滑的2D血管中心线，在形态学细化方法的基础上，加入了非极大值抑制的策略来优化对血管中心线的提取过程。
优选地，所述步骤(1)中，在分别对2D和3D血管图像进行预处理后，得到2D和3D血管的中心线，由若干个顶点以及边组成；对于2D血管的中心线，通过遍历的方法找到其端点、分叉点以及中心线，规定其8邻域内的点都是连接的；对于3D血管中心线，通过深度优先搜索构建邻接矩阵得到连接关系，识别出端点和分叉点。
优选地，所述步骤(2)中，为了找到最佳匹配，构建一个全局的匹配分数S，通过评估每一个曲线匹配的匹配分数来找出所有匹配中的最佳匹配，匹配分数包含衡量曲线之间的距离以及3D曲线投影后与2D曲线的相似度两个部分，每个可能的曲线匹配集合表示为公式(1)：
π＝[(R,p)]∪πc1∪πc2… (1)
其中，R表示根节点处的中心线，p表示2D中心线中可能与其匹配的曲线段，πc1等代表去掉已有曲线匹配对的其它曲线匹配；
曲线匹配分数的可分离性允许将曲线匹配分数通过公式(2)独立计算：
S(π)＝L(R)·S(R,p)+S(πc1)+S(πc2)… (2)
针对每个子树来计算匹配分数求得最优匹配，而后进行回溯找到全局最优匹配。
优选地，所述步骤(3)中，网络的结构包含四个下采样和四个上采样过程，同时包含跳连接将网络低层特征和高层特征相结合；为了加速网络的收敛，在每个卷积层之后加入了bn层；同时，将U-Net中的卷积块替换为dense-block，还在每个dense-block之后加入了dropout层以避免过拟合；构建的dense-block具有五个卷积层；在第l层，接受所有之前层的输出作为输入，表示为公式(3)：
xl＝x1+x2+…+xl-1 (3)
使用逐元素的相加将每个层的输出结合起来，其中xi表示第i层的输出。
优选地，所述步骤(3)中，在输出的前一层加入了一个连接性特征的输出，输出为八个通道，代表八个方向的像素连通性特征；通过根据金标准图像构建的连通性矩阵对网络输出的连通性特征进行监督，使网络更好的学习到导丝尖端的连通性结构的特征。
优选地，所述步骤(4)中，对于8连通，采用棋盘格距离来计算像素之间距离，点P(x,y)和Q(u,v)的距离通过公式(4)表示为：
d(P,Q)＝max(|(x-u)|,|(y-v)|) (4)
构建一个连通性矩阵来描述一副图像的连通性，给定一副H×W的图像，创建一个H×W×C的矩阵，其中，H和W分别是输入图像的高度和宽度，C表示对每一个像素而言需要考虑的周围像素的个数，这里C＝8；针对给定的标签图像，定义如果两个像素都是1，则这两个像素是相连的，因此，所有的背景像素都是不相连的；对于连接性矩阵P，Pi,j,c表示一个像素和它在指定方向的像素的连接关系，其中，i,j表示在标签图像中的位置，c表示当前像素的指定方向；Pi,j,c的值有0和1两种情况，0代表不相连，1代表相连；通过检查标签图像中每个像素和它的所有邻居的连接关系，构建一个连接性矩阵的金标准；为了计算所有像素的八个方向的连接关系，将原始图像进行了零填充操作，保证在图像边缘的像素也能够完整的构建连接性矩阵。
优选地，所述步骤(4)中，首先计算图像的连通域，选取其中的最大连通域作为导丝尖端位置；之后使用迭代的细化算法提取导丝尖端的中心线，目的是为了找出导丝尖端的端点；找出两个端点后，找出这两个端点对应在3D血管空间中的坐标位置，实现在3D血管空间中显示导丝尖端的位置。
优选地，所述步骤(4)中，对应的2D造影图像以及2D X射线图像的位置相对固定，通过最近邻寻找的方法找到与导丝尖端点相距最近的2D血管点，再根据2D血管点对应的3D血管点将导丝尖端点反投影显示到3D血管空间中，获得导丝尖端点在3D血管树中的位置。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括基于血管3D/2D匹配的3D导丝跟踪装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
血管拓扑的构建模块，其针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；
约束关系构建模块，其找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；
二维图像导丝尖端分割模块，其采用深度学习对2D X射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；
导丝尖端2D-3D反投影模块，其构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计。
以下更详细地说明本发明的内容。
本发明的方法包括以下部分：
(1)血管拓扑的构建
针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取。CTA图像中血管的分割可以分为全自动方法和手动方法。手动分割的方法需要一定的交互，但是分割精度较全自动的方法较好。因此，首先使用Mimics交互的对3D血管进行分割，得到较为平滑的血管3D模型。血管中心线提取方法可以分为全自动的细化以及半自动的交互提取，交互操作需要在图像上选取中心线的起点和终点，自动计算两个点之间的最短路径进行提取。需要对整个血管结构进行建图，所以采用全自动的方法提取整个血管的中心线。使用了一种基于曲率的迭代细化方法提取其中心线，将平均曲率流的思想应用到骨架提取中，迭代进行的细化过程使模型的表面收缩为一条中心线。
针对2D血管，血管分割可以由专门设计的滤波器来完成，通过针对特定的特征设计特征提取算子对目标进行分割与检测。随着深度学习的发展，机器设计的特征因其准确性高的优势在图像分割领域大放异彩。因此，选择深度学习的方法对2D血管进行分割。首先，选择一帧造影剂充溢的X射线图像，使用基于增强图像引导的神经网络的方法对其进行血管分割。为了能够得到更加平滑的2D血管中心线，在形态学细化方法的基础上，加入了非极大值抑制的策略来优化对血管中心线的提取过程。
在分别对2D和3D血管图像进行预处理后，可以得到2D和3D血管的中心线，由若干个顶点以及边组成。对于2D血管的中心线，通过遍历的方法找到其端点、分叉点以及中心线，规定其8邻域内的点都是连接的。对于3D血管中心线，通过深度优先搜索构建邻接矩阵得到连接关系，识别出端点和分叉点。之后，通过构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，如图1所示。其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点；图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段。
(2)基于拓扑连续性的3D和2D血管匹配
在搜索3D血管树与2D血管树之间的匹配关系时，需要满足以下原则：
(1)新增加的边的起点包含在已匹配集合中，而终点不包含在已匹配集合中。
(2)已匹配集合中的边不发生交叠。根据这两个指导原则进行匹配的搜索，可以获得两个血管树之间的所有匹配。为了找到最佳匹配，构建了一个全局的匹配分数S，寻找最佳匹配的过程就是在所有可能的匹配中寻找能够使这个匹配分数最大化的匹配。
分别给定3D血管树和2D血管树的根节点后，可以通过深度优先搜索的方式得到血管树之间的匹配。如图2所示，大写字母代表3D血管树的节点和中心线，小写字母代表2D血管树的节点和中心线。由于连接关系的限制，C1段只能和c1段匹配。确定第一组匹配关系后，后续匹配关系从B1节点开始搜索，在连接关系的约束下，C2段可以和c3或c2段构成匹配关系，但不能和不直接相连的段建立匹配关系，比如c7。根据这个示例，可以递归的进行这个过程，从而得到两个血管树之间所有可能的匹配。
通过评估每一个曲线匹配的匹配分数来找出所有匹配中的最佳匹配。匹配分数的定义与上文相同，包含衡量曲线之间的距离以及3D曲线投影后与2D曲线的相似度两个部分。每个可能的曲线匹配集合可以表示为：
π＝[(R,p)]∪πc1∪πc2… (1)
其中，R表示根节点处的中心线，p表示2D中心线中可能与其匹配的曲线段，πc1等代表去掉已有曲线匹配对的其它曲线匹配。曲线匹配分数的可分离性允许将曲线匹配分数独立计算：
S(π)＝L(R)·S(R,p)+S(πc1)+S(πc2)… (2)
通过这样的方式，将整体的最大化匹配分数的问题分成了若干个子问题，这种分而治之的思想能够大大提高计算效率。针对每个子树来计算匹配分数求得最优匹配，而后进行回溯找到全局最优匹配。
(3)二维图像导丝尖端分割
采用深度学习对2D X射线图像中的导丝尖端进行自动分割。模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大。网络的结构包含四个下采样和四个上采样过程，同时包含跳连接将网络低层特征和高层特征相结合。为了加速网络的收敛，在每个卷积层之后加入了bn层。同时，将U-Net中的卷积块替换为dense-block，dense-net已被证明具有更容易优化和准确性更高的特点。还在每个dense-block之后加入了dropout层以避免过拟合。构建的dense-block具有五个卷积层。在第l层，接受所有之前层的输出作为输入：
xl＝x1+x2+…+xl-1 (3)
使用逐元素的相加将每个层的输出结合起来，其中xi表示第i层的输出。
此外，在输出的前一层加入了一个连接性特征的输出，输出为八个通道，代表八个方向的像素连通性特征。通过根据金标准图像构建的连通性矩阵对网络输出的连通性特征进行监督，可以使网络更好的学习到导丝尖端的连通性结构的特征。在本文中，采用8连通的限制。对于8连通，采用棋盘格距离来计算像素之间距离，例如点P(x,y)和Q(u,v)的距离可表示为：
d(P,Q)＝max(|(x-u)|,|(y-v)|) (4)
在8连通中，考虑每个像素和与其棋盘格距离为1的像素的连通关系。即对于每个像素，需要考虑它周围的8个像素。可以构建一个连通性矩阵来描述一副图像的连通性。给定一副H×W的图像，创建一个H×W×C的矩阵，其中，H和W分别是输入图像的高度和宽度，C表示对每一个像素而言需要考虑的周围像素的个数，这里C＝8。针对给定的标签图像，定义如果两个像素都是1，则这两个像素是相连的。因此，所有的背景像素都是不相连的。对于连接性矩阵P，Pi,j,c表示一个像素和它在指定方向的像素的连接关系，其中，i,j表示在标签图像中的位置，c表示当前像素的指定方向。Pi,j,c的值有0和1两种情况，0代表不相连，1代表相连。通过检查标签图像中每个像素和它的所有邻居的连接关系，可以构建一个连接性矩阵的金标准。为了计算所有像素的八个方向的连接关系，将原始图像进行了零填充操作，这保证了在图像边缘的像素也能够完整的构建连接性矩阵。
(4)导丝尖端2D-3D反投影
目标是导丝尖端其投影显示到3D血管空间中，以帮助医生直观的观察到导丝尖端与血管的相对位置。上一部分导丝尖端分割得到的二值图像中，通常会有一些细小的噪声。二维图像中通常只会有一根导丝尖端，因此，首先计算图像的连通域，选取其中的最大连通域作为导丝尖端位置。之后使用迭代的细化算法提取导丝尖端的中心线，目的是为了找出导丝尖端的端点。找出两个端点后，只需要找出这两个端点对应在3D血管空间中的坐标位置，即可在3D血管空间中显示导丝尖端的位置。
在拍摄X射线图像过程中，X光机的位置通常是固定不动的。因此，只要找到2D图像和3D图像的匹配关系，就可以将2D的导丝尖端点反投影显示到3D血管空间中。上一小节的2D血管树和3D血管树的匹配可以达到这个目的，得到匹配关系后，只需要确定导丝尖端点与2D血管树之间的关系，即可获得导丝尖端点在3D血管树中的位置。对应的2D造影图像以及2D X射线图像如图3所示，两者的位置相对固定。通过最近邻寻找的方法找到与导丝尖端点相距最近的2D血管点，再根据2D血管点对应的3D血管点将导丝尖端点反投影显示到3D血管空间中。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (9)

1.基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：其包括以下步骤：
(1)血管拓扑的构建：针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；
(2)构建约束关系，找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；
(3)采用深度学习对2D X射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；
(4)构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计；
所述步骤(3)中，网络的结构包含四个下采样和四个上采样过程，同时包含跳连接将网络低层特征和高层特征相结合；为了加速网络的收敛，在每个卷积层之后加入了bn层；同时，将U-Net中的卷积块替换为dense-block，还在每个dense-block之后加入了dropout层以避免过拟合；构建的dense-block具有五个卷积层；在第l层，接受所有之前层的输出作为输入，表示为公式(3)：
xl＝x1+x2+…+xl-1 (3)使用逐元素的相加将每个层的输出结合起来，其中xi表示第i层的输出。
2.根据权利要求1所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(1)中，首先使用Mimics交互对3D血管进行分割，得到较为平滑的血管3D模型，使用一种基于曲率的迭代细化方法提取其中心线，将平均曲率流的思想应用到骨架提取中，迭代进行的细化过程使模型的表面收缩为一条中心线；针对2D血管，选择一帧造影剂充溢的X射线图像，使用基于增强图像引导的神经网络的方法对其进行血管分割，为了能够得到更加平滑的2D血管中心线，在形态学细化方法的基础上，加入了非极大值抑制的策略来优化对血管中心线的提取过程。
3.根据权利要求2所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(1)中，在分别对2D和3D血管图像进行预处理后，得到2D和3D血管的中心线，由若干个顶点以及边组成；对于2D血管的中心线，通过遍历的方法找到其端点、分叉点以及中心线，规定其8邻域内的点都是连接的；对于3D血管中心线，通过深度优先搜索构建邻接矩阵得到连接关系，识别出端点和分叉点。
4.根据权利要求3所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(2)中，为了找到最佳匹配，构建一个全局的匹配分数S，通过评估每一个曲线匹配的匹配分数来找出所有匹配中的最佳匹配，匹配分数包含衡量曲线之间的距离以及3D曲线投影后与2D曲线的相似度两个部分，每个可能的曲线匹配集合表示为公式(1)：
π＝[(R,p)]∪πc1∪πc2… (1)
其中，R表示根节点处的中心线，p表示2D中心线中可能与其匹配的曲线段，πc1，πc2…代表去掉已有曲线匹配对的其它曲线匹配；曲线匹配分数的可分离性允许将曲线匹配分数通过公式(2)独立计算：
S(π)＝L(R)·S(R,p)+S(πc1)+S(πc2)… (2)
针对每个子树来计算匹配分数求得最优匹配，而后进行回溯找到全局最优匹配。
5.根据权利要求4所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(3)中，在输出的前一层加入了一个连接性特征的输出，输出为八个通道，代表八个方向的像素连通性特征；通过根据金标准图像构建的连通性矩阵对网络输出的连通性特征进行监督，使网络更好地学习到导丝尖端的连通性结构的特征。
6.根据权利要求5所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(4)中，对于8连通，采用棋盘格距离来计算像素之间距离，点P(x,y)和Q(u,v)的距离通过公式(4)表示为：
d(P,Q)＝max(|(x-u)|,|(y-v)|) (4)
构建一个连通性矩阵来描述一幅图像的连通性，给定一幅H×W的图像，创建一个H×W×C的矩阵，其中，H和W分别是输入图像的高度和宽度，C表示对每一个像素而言需要考虑的周围像素的个数，这里C＝8；针对给定的标签图像，定义如果两个像素都是1，则这两个像素是相连的，因此，所有的背景像素都是不相连的；对于连接性矩阵P，Pi,j,c表示一个像素和它在指定方向的像素的连接关系，其中，i,j表示在标签图像中的位置，c表示当前像素的指定方向；Pi,j,c的值有0和1两种情况，0代表不相连，1代表相连；通过检查标签图像中每个像素和它的所有邻居的连接关系，构建一个连接性矩阵的金标准；为了计算所有像素的八个方向的连接关系，将原始图像进行了零填充操作，保证在图像边缘的像素也能够完整的构建连接性矩阵。
7.根据权利要求6所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(4)中，首先计算图像的连通域，选取其中的最大连通域作为导丝尖端位置；之后使用迭代的细化算法提取导丝尖端的中心线，目的是为了找出导丝尖端的端点；找出两个端点后，找出这两个端点对应在3D血管空间中的坐标位置，实现在3D血管空间中显示导丝尖端的位置。
8.根据权利要求7所述的基于血管3D/2D匹配的3D导丝跟踪方法，其特征在于：所述步骤(4)中，对应的2D造影图像以及2D X射线图像的位置相对固定，通过最近邻寻找的方法找到与导丝尖端点相距最近的2D血管点，再根据2D血管点对应的3D血管点将导丝尖端点反投影显示到3D血管空间中，获得导丝尖端点在3D血管树中的位置。
9.基于血管3D/2D匹配的3D导丝跟踪装置，其特征在于：其包括：血管拓扑的构建模块，其针对3D血管，从术前CTA图像中识别出血管、构建血管表面模型并进行中心线的提取；通过深度学习的方法对2D血管进行分割来提取中心线；构建一个血管图模型G(V,E)来分别描述2D和3D血管的结构，其中，图的节点vi∈V(1≤i≤|V|)代表一个血管段的端点或分叉点，图的边ei∈E(1≤i≤|E|)代表两个血管点之间的血管段；
约束关系构建模块，其找到3D和2D之间所有可能的匹配，通过最大化匹配分数找到最优匹配结果；
二维图像导丝尖端分割模块，其采用深度学习对2D X射线图像中的导丝尖端进行分割，模型采用U-Net作为基础结构，网络的输入是一张x射线图像，输出是一张像素值为0到1的概率图，越接近1表示该像素是导丝尖端的概率越大；
导丝尖端2D-3D反投影模块，其构建导丝尖端与2D血管树的对应关系，将2D导丝尖端反投影到3D血管空间中，实现3D导丝尖端的位姿估计；
所述二维图像导丝尖端分割模块中，网络的结构包含四个下采样和四个上采样过程，同时包含跳连接将网络低层特征和高层特征相结合；为了加速网络的收敛，在每个卷积层之后加入了bn层；同时，将U-Net中的卷积块替换为dense-block，还在每个dense-block之后加入了dropout层以避免过拟合；构建的dense-block具有五个卷积层；在第l层，接受所有之前层的输出作为输入，表示为公式(3)：
xl＝x1+x2+…+xl-1 (3)
使用逐元素的相加将每个层的输出结合起来，其中xi表示第i层的输出。
CN202010550016.5A 2020-06-16 2020-06-16 基于血管3d/2d匹配的3d导丝跟踪方法及装置 Active CN111798451B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010550016.5A CN111798451B (zh) 2020-06-16 2020-06-16 基于血管3d/2d匹配的3d导丝跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010550016.5A CN111798451B (zh) 2020-06-16 2020-06-16 基于血管3d/2d匹配的3d导丝跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN111798451A CN111798451A (zh) 2020-10-20
CN111798451B true CN111798451B (zh) 2023-08-08

Family

ID=72804083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010550016.5A Active CN111798451B (zh) 2020-06-16 2020-06-16 基于血管3d/2d匹配的3d导丝跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN111798451B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116608B (zh) * 2020-10-22 2022-10-14 上海联影医疗科技股份有限公司 一种导丝分割方法、装置、电子设备及存储介质
CN112365472A (zh) * 2020-11-12 2021-02-12 中科麦迪人工智能研究院(苏州)有限公司 血管寻径方法、装置、电子设备和存储介质
EP4248404B1 (en) * 2020-11-20 2024-06-26 Koninklijke Philips N.V. Determining interventional device shape
CN112348821B (zh) * 2020-11-24 2021-06-25 中国科学院自动化研究所 基于x光图像的导丝分割和尖端点定位方法、系统和装置
CN112700551A (zh) * 2020-12-31 2021-04-23 青岛海信医疗设备股份有限公司 虚拟胆道镜介入手术规划方法、装置、设备及存储介质
CN113269788B (zh) * 2021-05-21 2024-03-29 东南大学 一种x射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法
CN113470102B (zh) * 2021-06-23 2024-06-11 依未科技(北京)有限公司 高精度测量眼底血管弯曲度的方法、装置、介质和设备
CN113450345A (zh) * 2021-07-19 2021-09-28 西门子数字医疗科技(上海)有限公司 图像处理方法、装置、电子设备和存储介质
CN113947633A (zh) * 2021-09-08 2022-01-18 顾力栩 导管末端姿态估计方法、系统及介质
CN113902746A (zh) * 2021-12-13 2022-01-07 北京唯迈医疗设备有限公司 医学图像中血管导丝提取方法、系统、电子设备及介质
CN114588478B (zh) * 2022-03-08 2024-03-05 北京弘迪医疗科技有限公司 一种微导管控制系统和方法
CN116645383B (zh) * 2023-07-27 2023-11-03 天津恒宇医疗科技有限公司 基于偏折角的感兴趣血管段路径优化方法及系统
CN117974720A (zh) * 2024-03-29 2024-05-03 杭州脉流科技有限公司 导丝实时追踪方法、计算机设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709902A (zh) * 2016-11-14 2017-05-24 上海交通大学 微创血管介入手术中导丝受血流作用的实时运动仿真方法
CN109938836A (zh) * 2019-04-01 2019-06-28 上海交通大学 一种血管介入机器人手术中的自动无标记的引导导丝方法
CN111192266A (zh) * 2019-12-27 2020-05-22 北京理工大学 一种2d导丝尖端分割方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1869637A1 (en) * 2005-03-31 2007-12-26 Paieon Inc. Method and apparatus for positioning a device in a tubular organ
US8073221B2 (en) * 2008-05-12 2011-12-06 Markus Kukuk System for three-dimensional medical instrument navigation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709902A (zh) * 2016-11-14 2017-05-24 上海交通大学 微创血管介入手术中导丝受血流作用的实时运动仿真方法
CN109938836A (zh) * 2019-04-01 2019-06-28 上海交通大学 一种血管介入机器人手术中的自动无标记的引导导丝方法
CN111192266A (zh) * 2019-12-27 2020-05-22 北京理工大学 一种2d导丝尖端分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
影像引导血管内精准介入诊疗;陈芳 等;《中国医疗设备》;20160625;第31卷(第06期);全文 *

Also Published As

Publication number Publication date
CN111798451A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111798451B (zh) 基于血管3d/2d匹配的3d导丝跟踪方法及装置
US11631174B2 (en) Adaptive navigation technique for navigating a catheter through a body channel or cavity
JP6894896B2 (ja) Ｘ線画像特徴検出および位置合わせのシステムおよび方法
AU2007221876B2 (en) Registration of images of an organ using anatomical features outside the organ
JP5129480B2 (ja) 管状臓器の３次元再構成を行うシステム及び血管撮像装置の作動方法
EP2297673B1 (en) Feature-based registration method
CA3147447C (en) System and method for endoscopic video enhancement, quantitation and surgical guidance
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
KR102050649B1 (ko) 2차원 x-선 조영영상의 혈관 구조 추출 방법, 이를 수행하기 위한 기록매체 및 장치
US20220092791A1 (en) Methods for the Segmentation of Lungs, Lung Vasculature and Lung Lobes from CT Data and Clinical Applications
EP2244633A2 (en) Medical image reporting system and method
Zhou et al. Real-time dense reconstruction of tissue surface from stereo optical video
WO2008095100A1 (en) Methods and apparatus for 3d route planning through hollow organs
JP2006526225A (ja) 仮想内視鏡のための高速自動中心線抽出方法および装置
CN114332013A (zh) 基于肺动脉树分级的ct图像靶肺段识别方法
CN116012555A (zh) 一种基于Res-Unet和隐性马尔科夫模型的血管导丝跟踪方法
CN111260704A (zh) 基于启发式树搜索的血管结构3d/2d刚性配准方法及装置
CN111784751B (zh) 基于3d/2d配准的导丝3d模拟跟踪方法及装置
Perchet et al. Advanced navigation tools for virtual bronchoscopy
CN117100393A (zh) 一种用于视频辅助外科手术靶标定位的方法、系统和装置
US20220335690A1 (en) System and method for linking a segmentation graph to volumetric data
CN114081625B (zh) 导航路径规划方法、系统和可读存储介质
WO2014155917A1 (ja) 手術支援装置、方法およびプログラム
Gómez Betancur et al. Airway segmentation, skeletonization, and tree matching to improve registration of 3D CT images with large opacities in the lungs
Acar et al. Towards navigation in endoscopic kidney surgery based on preoperative imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant