CN111670459A - 用于确定支架在脉管系统结构的图像中的位置的设备、系统和方法 - Google Patents

用于确定支架在脉管系统结构的图像中的位置的设备、系统和方法 Download PDF

Info

Publication number
CN111670459A
CN111670459A CN201980011366.XA CN201980011366A CN111670459A CN 111670459 A CN111670459 A CN 111670459A CN 201980011366 A CN201980011366 A CN 201980011366A CN 111670459 A CN111670459 A CN 111670459A
Authority
CN
China
Prior art keywords
stent
image
markers
path indicator
vasculature structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980011366.XA
Other languages
English (en)
Inventor
P·M·J·龙根
M·J·H·登哈尔托赫
J·奥利万贝斯科斯
T·埃伦巴斯
I·特霍斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111670459A publication Critical patent/CN111670459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/82—Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2250/00—Special features of prostheses classified in groups A61F2/00 - A61F2/26 or A61F2/82 or A61F9/00 or A61F11/00 or subgroups thereof
    • A61F2250/0058—Additional features; Implant or prostheses properties not otherwise provided for
    • A61F2250/0096—Markers and sensors for detecting a position or changes of a position of an implant, e.g. RF sensors, ultrasound markers
    • A61F2250/0098—Markers and sensors for detecting a position or changes of a position of an implant, e.g. RF sensors, ultrasound markers radio-opaque, e.g. radio-opaque markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Vascular Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Cardiology (AREA)
  • Transplantation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种用于确定支架(34、36)在脉管系统结构的图像中的位置的设备(10)，所述设备(10)包括：输入单元(12)；处理单元(14)；以及输出单元(16)；其中，所述输入单元(12)被配置为接收包括至少一个血管分支(44、46)的脉管系统结构(38)的图像(24)的序列；其中，所述处理单元(14)被配置为：检测用于识别所述图像(24)中的至少一幅图像中的支架位置(50、52)的至少两个标记(26、28、30、32)的位置；至少针对所述标记(26、28、30、32)的所述位置被检测到的血管区域，在所述脉管系统结构(38)的所述图像(24)中的至少一幅图像中检测针对所述至少一个血管分支(44、46)的至少一个路径指示符(64、66、74、76)；基于检测到的所述标记(26、28、30、32)的位置和所述至少一个路径指示符(64、66、74、76)的位置将所述至少两个标记(26、28、30、32)与所述至少一个路径指示符(64、66、74、76)进行关联；将与相同路径指示符(64、66、74、76)相关联的标记(26、28、30、32)分配到标记组，以指示至少一个支架(34、36)在所述脉管系统结构(38)中的位置(50、52)；并且其中，所述输出单元(16)被配置为提供指示所述标记组的所述标记(26、28、30、32)的所述位置的输出数据。本发明提供了在复杂情况下改进对支架的位置的确定的设备和方法。

Description

用于确定支架在脉管系统结构的图像中的位置的设备、系统 和方法
技术领域
本发明涉及一种用于确定支架在脉管系统结构的图像中的位置的设备、系统和方法。
背景技术
在经皮冠状动脉介入中，冠状动脉支架在放置在冠状动脉狭窄病变中之后完全扩张并与冠状动脉血管壁完全接触是很重要的。此外，相对于血管的侧支正确定位支架是关键的，尤其是当支架置入冠状动脉分叉时。在荧光检查下或在曝光运行中支架并不总是清晰可见。因此，X射线曝光中支架可见性的改进促进介入心脏病专家正确放置支架并且判断介入的临床成功性。
存在一些复杂的情况，其中，分叉血管结构的不同血管中的支架交叠。在这些情况下，由于不能正确地检测到支架，因此不能执行支架的可见性的改进。
US 8473030 B2描述了一种假体部署装置，使用用于监测从另一血管分支的血管的位置的实时监测方法。首先，采集血管的部分的多维数据集。然后，将至少一个标记固定到分叉附近的血管。标记的位置是实时确定的。然后，基于标记的位置来更新多维数据集的部分的位置。该方法在假体部署之前或期间确定血管或血管分支的位置和/或取向。然而，可能无法利用该方法执行对若干支架的位置的确定。
发明内容
因此，能够需要提供一种在复杂情况下改进对支架的位置的确定的设备和方法。
本发明的目的通过独立权利要求的主题解决；另外的实施例并入在从属权利要求中。应当注意，本发明的以下描述的方面也应用于系统、方法、计算机程序单元和计算机可读介质。
根据本发明，提供了一种用于确定支架在脉管系统结构的图像中的位置的设备。所述设备包括：输入单元；处理单元；以及输出单元；其中，所述输入单元被配置为接收包括至少一个血管分支的脉管系统结构的图像的序列；其中，所述处理单元被配置为：检测用于识别所述图像中的至少一幅图像中的支架位置的至少两个标记的位置；至少针对所述标记的所述位置被检测到的血管区域，在所述脉管系统结构的所述图像中的至少一幅图像中检测针对所述至少一个血管分支的至少一个路径指示符；基于检测到的所述标记的位置和所述至少一个路径指示符的位置将所述至少两个标记与所述至少一个路径指示符进行关联；将与相同路径指示符相关联的标记分配到标记组，以指示至少一个支架在所述脉管系统结构中的位置；并且其中，所述输出单元被配置为提供指示所述标记组的所述标记的所述位置的输出数据。
脉管系统结构的图像包括支架可以被定位于的至少一个血管分支。可以使用被定位于支架的位置处的至少两个标记来检测支架。可以由处理单元在脉管系统结构的图像中检测这至少两个标记的位置。
处理单元还可以检测序列的脉管系统结构的图像中的至少一幅图像中的至少一个路径指示符。路径指示符指示在已经检测到标记的区域中沿着至少一个血管分支的路径。基于路径指示符，处理单元确定血管分支在脉管系统结构的图像中的位置。在示例中，可以在接收示出支架和标记的脉管系统结构的图像之前确定路径指示符。在该示例中，处理单元将检测整个血管分支的路径指示符，并且之后提取在其中找到标记的血管区域。
在检测到路径指示符并且因此血管分支的位置之后，处理单元将标记的位置与一个或多个血管分支的位置和延伸进行比较。如果比较确认两个或更多个标记的位置对应于相同血管分支，则随后将相应标记与相应路径指示符相关联。
处理单元因此将所有标记分组为与相同路径相关联的标记组，即，被布置在血管分支中的标记组。标记组或对可以确定支架在脉管系统结构的图像中的位置。由于标记组的标记均布置在相同路径上，因此标记组确定单个支架在脉管系统结构的图像中的位置。
因此，根据本发明，可以将标记与正确的支架相关联，使得可以一致地确定支架位置。此外，可以检查现有确定的支架位置的一致性。这提供了在复杂情况下对支架的改进确定。
在示例中，处理单元可以在检测路径指示符之前选择至少一个初步标记组。这意味着处理单元将根据以上描述检查选择的一致性。
在示例中，该设备在经皮冠状动脉介入(PCI)期间使用。
在示例中，标记组包括两个标记。
术语“用于识别支架位置的标记”涉及指示支架的可能位置的标记。标记也可以称为“支架标记”。然而，必须注意，标记可以提供在支架本身上，或者也可以不提供在支架本身上，而是分别提供在支架元件上，例如在气囊上或用于支架定位的另一设备上。
在示例中，因为在血管造影片中造影剂填充的血管使线模糊，因此从血管造影片(即，造影增强图像)检测血管分支，并且从非造影增强图像检测线。在示例中，从非造影增强图像检测标记位置。
在示例中，提供了包括造影增强图像和非造影增强图像两者的图像的序列。
根据示例，所述输入单元被配置为接收包括至少两个血管分支的脉管系统结构的图像的序列；其中，所述处理单元被配置为：检测用于识别支架位置的至少三个标记的位置；并且至少针对所述标记的所述位置被检测到的血管区域，在所述脉管系统结构的所述图像中的至少一幅图像中检测针对所述至少两个血管分支的路径指示符；基于检测到的所述标记的位置和所述路径指示符的位置将所述至少三个标记与所述路径指示符进行关联；并且将与相同路径指示符相关联的标记分配到标记组，以指示至少两个支架在脉管系统中的位置。
在该示例中，脉管系统结构的图像包括支架被定位在其中的至少两个血管分支。一个支架布置在一个血管分支中，另一支架在另一血管分支中。至少两个支架可以在血管分支的分叉附近交叠。
可以使用至少两个标记来定位每个支架，即，针对图像中的两个支架，存在至少四个标记。在脉管系统结构的图像中，两个标记可以交叠，其被定位于不同的支架上，因为靠近于分叉，支架可以布置在脉管系统结构的图像中的相同位置上。因此，在具有四个标记的图像中，至少三个标记在图像中可见。可以由处理单元在图像中检测这至少三个标记的位置。
处理单元还可以检测脉管系统结构的图像中的至少两个路径指示符。每个路径指示符指示沿着至少两个血管分支之一的路径。基于路径指示符，处理单元确定血管分支。在示例中，可以在接收示出支架和标记的脉管系统结构的图像之前，在脉管系统结构的单独图像中定义路径指示符。
在检测到路径指示符并且因此血管分支之后，处理单元将标记的位置与血管分支的延伸进行比较。如果比较结果是标记的位置和路径被定位于相同血管分支中，则将相应标记与相应路径指示关联。标记可以与若干路径指示符关联，例如，当血管彼此交叉并且标记被定位于交叉处时。
处理单元将所有标记分组为与相同路径相关联的标记组，即，布置在相同血管分支中的标记组。标记组确定支架在图像中的位置。由于标记组的标记均布置在相同的路径上，因此标记组确定支架在图像中的位置。
因此，根据本发明，可以将标记与正确支架进行关联，使得可以一致地确定支架位置。此外，可以检查现有确定的支架位置的一致性。这提供了在复杂情况下对支架的改进确定。
根据示例，设备还包括用于进一步图像处理的图像增强模块；其中，输出数据被提供给图像增强模块；并且其中，图像增强模块被配置为在图像的序列的至少部分中为至少一个支架提供支架增强，以提供支架增强图像。
支架增强也称为支架提升。支架增强图像也称为支架提升图像。
例如，WO 2003/043516描述了关于图像中所示的支架的图像增强。图像增强被称为StentBoost(Koninklijke Philips N.V.的商标)。
根据示例，设备还包括：显示器；其中，所述显示器被配置为显示增强支架图像。
在示例中，提升可以意指对比度的改变，对支架划界，和/或颜色的改变。
根据示例，为了检测至少一个路径指示符，处理单元被配置为：将在脉管系统结构的图像中的至少一幅图像中连接标记的至少一条线和/或导丝检测为至少一个路径指示符。
为了检测两个路径指示符，处理单元被配置为将连接位置标记的脉管系统结构的图像中的至少两条线和/或导丝检测为路径指示符。
根据示例，为了检测至少一个路径指示符，处理单元被配置为：将脉管系统结构的图像中的至少一幅图像中的至少一个单独的血管分支检测为至少一个路径指示符；和/或将脉管系统结构的图像中的至少一幅图像中的至少一个单独的血管分支的至少一个分割血管特征检测为至少一个路径指示符。
在示例中，在将支架引入到该脉管系统中之前，即在接收到在两个不同的血管分支中具有至少两个支架的分叉脉管系统的图像之前，将造影分叉脉管系统进行先验造影。
在示例中，分割血管特征是如从血管造影片确定的血管中心线。
根据示例，处理单元还被配置为将分叉脉管系统的图像中的至少两个支架元件检测为路径指示符，所述至少两个支架元件在不同的血管分支中延伸并且连接至少两个标记中的两个标记的位置。
根据示例，支架元件是球囊。
根据本发明，还提供了一种用于在脉管系统结构的图像中增强支架图像的系统，所述系统包括：图像采集设备；以及根据前述描述的用于确定支架在脉管系统结构的图像中的位置的设备；其中，图像采集设备被配置为采集并提供脉管系统结构的图像的序列。
在示例中，处理单元被配置为在PCI期间实时地指示标记组。
根据示例，图像采集设备是：超声设备；或者X射线图像采集设备，优选地血管造影设备。
根据本发明，还提供了一种用于确定支架在脉管系统结构的图像中的位置的方法，所述方法包括以下步骤：a)检测用于识别所述图像中的至少一幅图像中的支架位置的至少两个标记的位置；b)至少针对所述标记的所述位置被检测到的血管区域，在所述脉管系统结构的所述图像中的至少一幅图像中检测针对所述至少一个血管分支的至少一个路径指示符；c)基于检测到的所述标记的位置和所述至少一个路径指示符的位置将所述至少两个标记与所述至少一个路径指示符进行关联；d)将与相同路径指示符相关联的标记分配到标记组，以指示至少一个支架在所述脉管系统中的位置；并且e)提供指示所述标记组的所述标记的所述位置的输出数据。
在示例中，为了检测所述至少一个路径指示符，提供了：d1)将脉管系统结构的图像中连接标记的至少一条线和/或导丝检测为至少一个路径指示符；和/或d2)将脉管系统结构的图像中的至少一个单独的血管分支检测为至少一个路径指示符；和/或d3)将脉管系统结构的图像中的至少一个单独的血管分支的至少一个分割血管特征检测为至少一个路径指示符。
根据本发明，还提供了一种计算机程序单元，用于控制根据以上描述的设备或根据以上描述的系统，所述计算机程序单元当由处理单元运行时适于执行根据以上描述的方法步骤。
根据本发明，还提供了一种存储有根据以上描述的程序单元的计算机可读介质。
参考下文描述的实施例，本发明的这些和其它方面将变得显而易见并且得到阐述。
附图说明
下面将参考以下附图描述本发明的示例性实施例：
图1示出了系统的示意图。
图2a-e示出了示出支架检测过程的脉管系统结构的图像的示意图。
图3示出了在脉管系统结构的图像中的两个支架的单独表示的示意图。
图4示出了具有导丝的脉管系统结构的图像的示意图。
图5示出了造影脉管系统结构的图像的示意图。
图6示出了方法的示意性流程图。
具体实施方式
图1示出了用于在脉管系统结构的图像中增强支架图像的系统15。系统15包括图像采集设备11和用于确定支架34、36在脉管系统结构的图像中的位置的设备10。
图像采集设备11采集脉管系统结构38的图像24的序列。在一个示例性实施例中，图像采集设备11可以是超声设备。在另一示例性实施例中，图像采集设备11是X射线图像采集设备，优选地是血管造影设备。此外，图像采集设备11可以是能够采集脉管系统结构38的图像的任何图像采集设备。
在一个示例性实施例中，脉管系统结构38的图像24包括至少一个血管分支44、46。在另一示例性实施例中，脉管系统结构38的图像24包括至少两个血管分支44、46。
血管分支44、46可包括支架34、36。然而，支架34、36在脉管系统结构38的图像24中几乎不可见。
图像采集设备11将脉管系统结构38的图像24的序列提供给设备10，以用于确定支架34、36在脉管系统结构的图像中的位置。
在脉管系统结构的图像中可见的标记26、28、30、32被布置在支架34、36处或附近。标记26、28、30、32可以被布置在支架34、36上或在支架34、36的支架元件上，例如在连接到支架34、36的球囊上。此外，标记26、28、30、32可以是辐射不透明的。
设备10包括用于接收所提供的脉管系统结构38的图像24的序列的输入单元12。此外，设备10可以包括处理单元14、输出单元16、图像增强模块13和显示器22。
处理单元14搜索图像24的序列以检测用于在图像24中的至少一幅图像中识别支架位置50、52的至少两个标记26、28、30、32的位置。在图2a至图2d中示出了该搜索过程。该搜索过程的结果如图2e所示。
图2a示出了包括两个血管分支44、46的脉管系统结构38的图像24。图像24由图像采集设备11提供。每个血管分支44、46包括支架34、36。标记26、28、30、32与支架34、36相关联。标记26和28位于支架34上，并且标记30和32位于支架36上。
在示例性实施例中，处理单元14可以在检测之后立即将标记26、28、30、32进行初步分组，其中，每个组指代支架34、36的初步位置。在该实施例中，处理单元14然后将提供这些初步位置是否与脉管系统结构38一致的一致性检查，因为可能存在标记28和32被初步分组使得会确定在标记28和32之间不存在支架的位置的情况。然而，在另一示例性实施例中，处理单元14将不从标记26、28、30、32确定支架34、36的初步位置，而是直接以检测路径指示符64、66、74、76开始。
处理单元14被配置为检测至少一个血管分支44、46的至少一个路径指示符64、66、74、76。路径指示符64、66、74、76指示沿着血管分支44、46的路径。这意味着，路径指示符64、66、74、76在脉管系统结构38的图像24中提供血管分支44、46的位置。路径指示符64、66、74、76的示例在图4和图5中示出，并且将在下面详细讨论。
在图2b中，路径指示符64、66、74、76的第一示例性实施例被示出为导丝的线，其是路径指示符64和66。那些线或导丝被示出为沿血管分支44、46的交叉线。在图2b中，将由路径指示符64、66所指示的路径示出为沿着血管分支44、46的单影线图案。在路径交叉或交叠的区域中，即，在脉管系统结构38的分叉处，两个影线图案形成交叉影线。处理单元14至少在该区域中搜索路径指示符64、66、74、76，其中，检测到标记26、28、30、32。
在用路径指示符64、66、74、76识别出血管分支44和46的位置之后，处理单元14使标记26、28、30、32与血管分支44和46相关。根据图2b，标记26和28与路径相关联，即，指示血管分支44中的路径的路径指示符64、66、74、76。标记30和32与路径指示符64、66、74、76相关联，路径指示符64、66、74、76指示路径和血管分支46。此外，标记26还可以与指示路径和血管分支46的路径指示符64、66、74、76相关联，因为标记26处于由血管分支44、46的两个路径覆盖的交叠区域中。
根据图2c，处理单元14将与相同路径指示符64、66、74、76相关联的标记26和28分组为标记组。包括标记26和28的该标记组指示支架34的支架位置50。
此外，根据图2d，标记30和32由处理单元14分组为标记组，并指示支架36的支架位置52。在示例性实施例中，处理单元14还可以被配置为从标记组中排除指示支架位置52的标记26，因为标记26已经是指示支架位置50的标记组的部分。此外，每个支架34、36的部分被布置在脉管系统结构38的分叉中。这意味着，标记26和30彼此靠近。在一些示例性情况下，那些标记26和30可以交叠，使得其表现为一个单个标记。在该示例性情况下，处理单元14可以将分叉中的单个标记与超过一个标记组相关联。
输出单元16提供指示标记组的标记26、28、30、32的位置的输出数据。
用于进一步图像处理的图像增强模块13从输出单元16接收输出数据。图像增强模块13为支架34、36和图像24的序列的至少部分提供支架增强以提供支架增强图像25。
图2e示出了支架增强图像25。代替于支架34和36，支架增强图像25包括用于支架34的提升支架图像54，提供支架34的提升图像的支架图像54，以及用于支架36的提升支架图像56。而且，提升支架图像56提供了支架36的提升图像。
例如，可以通过改变支架34、36的图像的对比度，通过在脉管系统结构38的图像24中划界支架34、36，和/或通过改变图像24中支架34、36的颜色，来执行提升。
处理单元14和图像增强模块13可以在PCI期间实时地(即，即时地)处理脉管系统结构24的图像。
显示器22可以显示支架增强图像25。然后，显示器22可以提供支架增强图像25，其中，这两个支架34、36分别由提升支架图像54、56代替。
在图3所示的另一示例性实施例中，显示器22可以被配置为示出2幅图像58、56，其中，在图像58中仅支架34由提升支架图像54替代，并且支架36未被替代，并且其中，在图像60中仅支架36由提升支架图像56替代，并且支架34未被替代。
图4示出了路径指示元件64、66、74、76的示例性实施例。图4所示的脉管系统结构24的图像包括线或导丝64、66，其被描绘为沿着血管分支44、46的交叉线。在一条线或导丝64中沿脉管系统延伸的线或导丝64、66沿血管分支44延伸，而另一线或导丝66沿血管分支46延伸。线或导丝64、66可以通过处理单元14用作路径指示元件64、66、74、76。线或导丝64、66连接脉管系统结构24的图像中的标记26、28、30、32。根据图4，线或导丝64连接标记26和28。线或导丝66连接标记30和32。
在图5中示出路径指示元件64、66、74、76的另外的示例性实施例。图5示出了脉管系统结构的造影增强图像62，其可以是血管造影片。在采集脉管系统结构的造影增强图像62之前，将造影剂引入到血管分支44、46中。因此，血管分支44、46清晰可见，并且脉管系统结构的造影增强图像62清晰可见。处理单元14可以分析脉管系统结构的造影增强图像62以检测作为血管分支44、46的中心线的血管分支44、46的延伸。备选地或额外地，对脉管系统结构的造影增强图像62的分析提供血管分支44、46的分割血管特征。造影血管分支44、46然后提供路径指示符74、76，其中，路径指示符74指代血管分支44中的路径的位置，而路径指示符76指代血管分支46中路径的位置。
图6示出了用于确定支架34、36在脉管系统结构24的图像中的位置的方法100的流程图。
图像采集设备可以提供101包括至少一个血管分支的脉管系统结构的一系列图像。用于确定支架在脉管系统结构的图像中的位置的设备可以接收脉管系统结构的图像。可以使用设备的输入单元来接收图像。在步骤a)中，设备的处理单元可以检测102用于识别图像中的至少一幅处的支架位置的至少两个标记的位置。
根据步骤b)，可以在图像中的至少一幅中的至少一个血管分支中检测103至少一个路径指示符。可以在之前已经检测到标记的位置的血管区域中执行检测。此外，可以使用处理单元来执行检测。路径指示符可以例如是根据步骤b1)的沿着血管分支的线或导丝，例如是根据步骤b2)的在脉管系统中的单独的血管分支的先前采集位置，或者具有根据步骤b3)的至少一个单独的血管分支的至少一个分割血管特征。为了沿着血管分支的线或导丝的检测，可以使用脉管系统结构的图像，其中，脉管系统结构的图像不包括血管的对比增强。为了血管分支的位置的检测，可以分析脉管系统结构的造影增强图像。
根据步骤c)，基于检测到的标记的位置和至少一个路径指示符的位置将至少两个标记与至少一个路径指示符关联104。这意味着，将两个标记的位置映射到路径指示符的位置。如果标记的位置与路径指示符的位置匹配，则这意味着标记与路径指示符在相同血管分支中。关联可以由处理单元执行。
在步骤d)中，与相同路径指示符相关联的标记被分配105到标记组。标记组指示至少一个支架在脉管系统中的位置。分配可以由处理单元执行。
可以将标记组的标记的位置提供106为输出数据。这意味着，输出数据指示标记组中的标记的位置。输出数据可以由输出单元提供。
该输出数据可以被用于在图像的序列的至少部分中以至少一个支架执行107支架增强。标准增强提供支架增强图像。此外，可以利用支架增强模块来执行支架增强。
此外，支架增强图像可以由显示器接收。显示器可以将支架增强图像显示108给用户。显示器可以将支架增强图像显示为单幅图像，其中，所有支架被增强。备选地或额外地，显示器可以显示若干支架增强图像，每幅支架增强图像示出单个增强支架，其中，其余的支架没有以增强的方式示出。可以通过对比度的改变、颜色的改变或通过对支架划界来提供支架增强图像中的支架的增强。
方法100可以在PCI期间实时地(即，即时地)执行。
在本发明的另一示例性实施例中，提供了图1所示的计算机程序或计算机程序单元18，其特征在于适于在适当系统上执行根据前述实施例之一的方法的方法步骤。
因此，所述计算机程序单元可以被存储在计算机单元上，所述计算机单元也可以是本发明的实施例的部分。该计算单元可以适于执行以上描述的方法的步骤或诱发以上描述的方法的步骤的执行。此外，其可以适于操作以上描述的装置的部件。所述计算单元能够适于自动地操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。所述数据处理器由此可以被装备为执行本发明的方法。
本发明的该示例性实施例涵盖从一开始就使用本发明的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序两者。
更进一步地，所述计算机程序单元能够提供实现如以上所描述的方法的示例性实施例的流程的所有必需步骤。
根据本发明的另一示例性实施例，提出了一种如图1所示的计算机可读介质20，例如CD-ROM，其中，所述计算机可读介质20具有存储在所述计算机可读介质上的计算机程序单元18，所述计算机程序单元18由前面部分描述。计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序可也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。
然而，所述计算机程序也可以存在于诸如万维网的网络上并能够从这样的网络中下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供了一种用于使得计算机程序单元可用于下载的介质，其中，所述计算机程序单元被布置为执行根据本发明的之前描述的实施例之一所述的方法。
必须指出，本发明的实施例参考不同主题加以描述。具体而言，一些实施例参考方法类型的权利要求加以描述，而其他实施例参考设备类型的权利要求加以描述。然而，本领域技术人员将从以上和下面的描述中了解到，除非另行指出，除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为由本申请公开。然而，所有特征能够被组合以提供超过特征的简单加和的协同效应。
尽管已经在附图和前面的描述中详细说明和描述了本发明，但这样的说明和描述被认为是说明性或示例性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、说明书和从属权利要求，本领域的技术人员在实践请求保护的本发明时能够理解和实现所公开的实施例的其他变型。
在权利要求中，词语“包括”不排除其他单元或步骤，并且，词语“一”或“一个”并不排除多个。单个处理器或其他单元可以履行权利要求书中记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (14)

1.一种用于确定支架在脉管系统结构的图像中的位置的设备，所述设备(10)包括：
-输入单元(12)；
-处理单元(14)；以及
-输出单元(16)；
其中，所述输入单元(12)被配置为接收包括至少一个血管分支(44、46)的脉管系统结构(38)的图像(24)的序列；
其中，所述处理单元(14)被配置为：
-检测用于识别所述图像(24)中的至少一幅图像中的支架位置(50、52)的至少两个标记(26、28、30、32)的位置；
-至少针对所述标记(26、28、30、32)的所述位置被检测到的血管区域，在所述脉管系统结构(38)的所述图像(24)中的至少一幅图像中检测针对所述至少一个血管分支(44、46)的至少一个路径指示符(64、66、74、76)；
-基于检测到的所述标记(26、28、30、32)的位置和所述至少一个路径指示符(64、66、74、76)的位置将所述至少两个标记(26、28、30、32)与所述至少一个路径指示符(64、66、74、76)进行关联；
-将与相同路径指示符(64、66、74、76)相关联的标记(26、28、30、32)分配到标记组，以指示至少一个支架(34、36)在所述脉管系统结构(38)中的位置(50、52)；并且
其中，所述输出单元(16)被配置为提供指示所述标记组的所述标记(26、28、30、32)的所述位置的输出数据。
2.根据权利要求1所述的设备，
其中，所述输入单元(12)被配置为接收包括至少两个血管分支(44、46)的脉管系统结构(38)的图像(24)的序列；
其中，所述处理单元(14)被配置为：
-检测用于识别支架位置(50、52)的至少三个标记(26、28、30、32)的位置；并且
-至少针对所述标记(26、28、30、32)的所述位置被检测到的血管区域，在所述脉管系统结构(38)的所述图像(24)中的至少一幅图像中检测针对所述至少两个血管分支(44、46)的路径指示符(64、66、74、76)；
-基于检测到的所述标记(26、28、30、32)的位置和所述路径指示符(64、66、74、76)的位置将所述至少三个标记(26、28、30、32)与所述路径指示符(64、66、74、76)进行关联；并且
-将与相同路径指示符(64、66、74、76)相关联的标记(26、28、30、32)分配到标记组，以指示至少两个支架(34、36)在所述脉管系统结构(38)中的位置。
3.根据权利要求1或2所述的设备，还包括：
-图像增强模块(13)，其用于进一步图像处理；
其中，所述输出数据被提供给所述图像增强模块(13)；并且
其中，所述图像增强模块(13)被配置为在图像(24)的所述序列的至少部分中提供针对所述至少一个支架(34、36)的支架增强，以提供支架增强图像(25)。
4.根据权利要求3所述的设备，还包括：
-显示器(22)；
其中，所述显示器(22)被配置为显示所述增强支架图像(25)。
5.根据权利要求1至4中的一项所述的设备，其中，为了检测所述至少一个路径指示符(64、66、74、76)，所述处理单元(14)被配置为：
-将所述脉管系统结构(38)的所述图像(24)中的所述至少一幅图像中连接标记(26、28、30、32)的至少一条线和/或导丝(64、66)检测为所述至少一个路径指示符(64、66、74、76)。
6.根据权利要求1至5中的一项所述的设备，其中，为了检测所述至少一个路径指示符(64、66、74、76)，所述处理单元(14)被配置为：
-将所述脉管系统结构(38)的所述图像(24)中的所述至少一幅图像中的至少一个单独的血管分支(44、46)检测为所述至少一个路径指示符(64、66、74、76)；和/或
-将所述脉管系统结构(38)的所述图像(24)中的所述至少一幅图像中的所述至少一个单独的血管分支(44、46)的至少一个分割血管特征(74、76)检测为所述至少一个路径指示符(64、66、74、76)。
7.根据权利要求1至6中的一项所述的设备，其中，所述处理单元(14)还被配置为将所述脉管系统结构(38)的所述图像(24)中的至少两个支架元件检测为路径指示符(64、66、74、76)，所述至少两个支架元件在不同的血管分支(44、46)中延伸并且连接所述至少两个标记(26、28、30、32)中的两个标记的所述位置。
8.根据权利要求7所述的设备，其中，所述支架元件是球囊。
9.一种用于增强脉管系统结构的图像中的支架图像的系统，包括：
-图像采集设备(11)；以及
-根据前述权利要求中的一项所述的用于确定支架(34、36)在脉管系统结构的图像中的位置的设备(10)；
其中，所述图像采集设备(11)被配置为采集并且提供所述脉管系统结构(38)的图像(24)的所述序列。
10.根据权利要求9所述的系统，其中，所述图像采集设备(11)是：
-超声设备；或者
-X射线图像采集设备，其优选地是血管造影设备。
11.一种用于确定支架在脉管系统结构的图像中的位置的方法，所述方法(100)包括以下步骤：
a)检测(102)用于识别所述图像中的至少一幅图像中的支架位置的至少两个标记的位置；
b)至少针对所述标记的所述位置被检测到的血管区域，在所述脉管系统结构的所述图像中的至少一幅图像中检测(103)针对所述至少一个血管分支的至少一个路径指示符；
c)基于检测到的所述标记的位置和所述至少一个路径指示符的位置将所述至少两个标记与所述至少一个路径指示符进行关联(104)；
d)将与相同路径指示符相关联的标记分配(105)到标记组，以指示至少一个支架在所述脉管系统中的位置；并且
e)提供(106)指示所述标记组的所述标记的所述位置的输出数据。
12.根据权利要求11所述的方法，其中，为了检测所述至少一个路径指示符，提供：
b1)将所述脉管系统结构的所述图像中连接标记的至少一条线和/或导丝检测为所述至少一个路径指示符；和/或
b2)将所述脉管系统结构的所述图像中的至少一个单独的血管分支检测为所述至少一个路径指示符；和/或
b3)将所述脉管系统结构的所述图像中的所述至少一个单独的血管分支的至少一个分割血管特征检测为所述至少一个路径指示符。
13.一种用于控制根据权利要求1至10中的一项所述的装置的计算机程序单元，所述计算机程序单元当由处理单元运行时适于执行根据权利要求11或12所述的方法的步骤。
14.一种存储有根据权利要求13所述的程序单元的计算机可读介质。
CN201980011366.XA 2018-01-31 2019-01-28 用于确定支架在脉管系统结构的图像中的位置的设备、系统和方法 Pending CN111670459A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18154357.0A EP3522116A1 (en) 2018-01-31 2018-01-31 Device, system and method for determining the position of stents in an image of vasculature structure
EP18154357.0 2018-01-31
PCT/EP2019/051933 WO2019149639A1 (en) 2018-01-31 2019-01-28 Device, system and method for determining the position of stents in an image of vasculature structure

Publications (1)

Publication Number Publication Date
CN111670459A true CN111670459A (zh) 2020-09-15

Family

ID=61132107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980011366.XA Pending CN111670459A (zh) 2018-01-31 2019-01-28 用于确定支架在脉管系统结构的图像中的位置的设备、系统和方法

Country Status (5)

Country Link
US (1) US11941842B2 (zh)
EP (2) EP3522116A1 (zh)
JP (1) JP7402802B2 (zh)
CN (1) CN111670459A (zh)
WO (1) WO2019149639A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112057165B (zh) * 2020-09-22 2023-12-22 上海联影医疗科技股份有限公司 一种路径规划方法、装置、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060155184A1 (en) * 2002-12-04 2006-07-13 Raoul Florent Medical viewing system and method for detecting borders of an object of interest in noisy images
US20110142318A1 (en) * 2009-12-10 2011-06-16 Siemens Corporation Stent viewing using a learning based classifier in medical imaging
WO2013038290A1 (en) * 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Vessel annotator.
US20170213343A1 (en) * 2016-01-26 2017-07-27 General Electric Company System and method for enhanced visualization of multiple low contrast objects within an imaged subject
US20170231646A1 (en) * 2016-02-12 2017-08-17 Covidien Lp Vascular device visibility

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6884258B2 (en) 1999-06-04 2005-04-26 Advanced Stent Technologies, Inc. Bifurcation lesion stent delivery using multiple guidewires
EP1448111A2 (en) 2001-11-21 2004-08-25 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting and enhancing structures in noisy images
US7415169B2 (en) 2001-11-30 2008-08-19 Koninklijke Philips Electronics N.V. Medical viewing system and method for enhancing structures in noisy images
US20050155184A1 (en) 2004-01-16 2005-07-21 Kayl Paul R. Mobile computer hinge assembly
WO2008050315A2 (en) * 2006-10-22 2008-05-02 Paieon Inc. Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ
EP1916957A1 (en) 2005-08-09 2008-05-07 Koninklijke Philips Electronics N.V. System and method for spatially enhancing structures in noisy images with blind de-convolution
US8821561B2 (en) 2006-02-22 2014-09-02 Boston Scientific Scimed, Inc. Marker arrangement for bifurcation catheter
US8167929B2 (en) 2006-03-09 2012-05-01 Abbott Laboratories System and method for delivering a stent to a bifurcated vessel
US20080147174A1 (en) 2006-12-11 2008-06-19 Trireme Medical, Inc. Apparatus and method of using markers to position stents in bifurcations
US8473030B2 (en) 2007-01-12 2013-06-25 Medtronic Vascular, Inc. Vessel position and configuration imaging apparatus and methods
EP2358269B1 (en) 2007-03-08 2019-04-10 Sync-RX, Ltd. Image processing and tool actuation for medical procedures
RU2569012C2 (ru) * 2010-02-04 2015-11-20 Конинклейке Филипс Электроникс Н.В. Устройство определения местоположения объекта
JP2012081136A (ja) 2010-10-13 2012-04-26 Toshiba Corp ステントおよびｘ線診断装置
US8989461B2 (en) * 2012-05-11 2015-03-24 Siemens Aktiengesellschaft Method of deformable motion correction and image registration in X-ray stent imaging
US9084531B2 (en) * 2013-02-27 2015-07-21 Siemens Aktiengesellschaft Providing real-time marker detection for a stent in medical imaging
JP6123695B2 (ja) 2014-02-12 2017-05-10 株式会社島津製作所 Ｘ線撮影装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060155184A1 (en) * 2002-12-04 2006-07-13 Raoul Florent Medical viewing system and method for detecting borders of an object of interest in noisy images
US20110142318A1 (en) * 2009-12-10 2011-06-16 Siemens Corporation Stent viewing using a learning based classifier in medical imaging
WO2013038290A1 (en) * 2011-09-13 2013-03-21 Koninklijke Philips Electronics N.V. Vessel annotator.
US20170213343A1 (en) * 2016-01-26 2017-07-27 General Electric Company System and method for enhanced visualization of multiple low contrast objects within an imaged subject
US20170231646A1 (en) * 2016-02-12 2017-08-17 Covidien Lp Vascular device visibility

Also Published As

Publication number Publication date
JP2021512662A (ja) 2021-05-20
EP3746982A1 (en) 2020-12-09
JP7402802B2 (ja) 2023-12-21
EP3522116A1 (en) 2019-08-07
WO2019149639A1 (en) 2019-08-08
US20200372674A1 (en) 2020-11-26
US11941842B2 (en) 2024-03-26

Similar Documents

Publication Publication Date Title
CN111145173B (zh) 一种冠脉造影图像的斑块识别方法、装置、设备及介质
WO2015150128A1 (en) Processing apparatus and method for processing cardiac data of a living being
CN108140238B (zh) 自动术前和术后定量冠状动脉造影
CN109859213B (zh) 关节置换手术中骨骼关键点检测方法及装置
CN108024782B (zh) 血管处置的增强成像
EP2188777A2 (en) Detecting and darkening method of objects in grey-scale raster images
US8718342B2 (en) Method and data-processing system for determining the proportion of calcium in coronary arteries
JP2008511343A (ja) マーカーを有する介入器具の画像の処理方法及び装置
CN110910441A (zh) 一种中心线提取的方法及装置
US8811693B2 (en) Method and system for indicating a feeding vessel of a malformation in a medical image
CN111670459A (zh) 用于确定支架在脉管系统结构的图像中的位置的设备、系统和方法
WO2019063660A1 (en) INCREASED ANATOMICAL MAP
US11810661B2 (en) Vessel annotator
CN112184620A (zh) 肺部影像识别方法及电子设备、计算机可读存储介质
EP3197364B1 (en) Contrast arrival detection
US20230274437A1 (en) Stenosis localization
JPWO2020054019A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114862879B (zh) 包含生理管状结构的图像的处理方法、处理系统和介质
US20220401152A1 (en) Method for visual support in navigation and system
EP4098219A1 (en) Machine learning based systems and methods for creating personalized endovascular stents and stent grafts
US11992276B2 (en) Persistent guide wire identification
US20240197405A1 (en) Determining end point locations for a stent
CN115088010A (zh) 基于光纤形状感测的图像增强
CN112368740A (zh) 支架定位
JPWO2019149639A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination