CN115363569A - 在存在医学设备的情况下的图像分析 - Google Patents

在存在医学设备的情况下的图像分析 Download PDF

Info

Publication number
CN115363569A
CN115363569A CN202211060251.XA CN202211060251A CN115363569A CN 115363569 A CN115363569 A CN 115363569A CN 202211060251 A CN202211060251 A CN 202211060251A CN 115363569 A CN115363569 A CN 115363569A
Authority
CN
China
Prior art keywords
image
pixel
pixels
filament
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211060251.XA
Other languages
English (en)
Inventor
E·克莱曼
A·斯坦伯格
N·卡蒙
S·塞莫
R·科亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sync Rx Ltd
Original Assignee
Sync Rx Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sync Rx Ltd filed Critical Sync Rx Ltd
Publication of CN115363569A publication Critical patent/CN115363569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Abstract

描述了与对象的至少一个血管(50)的图像一起使用的装置和方法，包括：使用至少一个计算机处理器(28)，确定设备(55)在所述图像内的所述血管的至少部分内的存在。所述计算机处理器将所述设备的类别确定为给定类型的设备，并且基于将所述设备的所述类别确定为所述给定类型的设备，指定要计算的参数。所述计算机处理器自动地计算所指定的参数，并且响应于所计算的参数生成输出设备(40)上的输出。也描述了其他应用。

Description

在存在医学设备的情况下的图像分析
本申请是2015年04月02日提交的申请号为201580018911.X、名称为“在存在医学设备的情况下的图像分析”的分案申请。
相关申请的交叉引用
本申请要求Klaiman于2014年4月10日递交的题为“Image analysis in thepresence of a medical device”的美国临时专利申请61/977891的权益，在此通过引用将其并入本文。
技术领域
本发明的一些应用大体上涉及医学成像。具体而言，本发明的一些应用涉及医学成像以及当在对象的身体中存在工具的情况在下采集这样的图像时对这样的图像的分析。
背景技术
血管导管插入术，诸如冠状动脉导管插入术，是频繁执行的医学介入术。这样的介入通常被执行以便诊断血管的潜在疾病和/或处置患病血管。通常，为了实现对血管的观察，导管插入术是在腔外成像下执行的。此外，针对一些流程，腔内数据采集设备被用于执行腔内成像和/或测量。腔外成像，以及在适用时的腔内数据，通常是由医务人员在介入过程中以及在流程后彼此结合地进行评价的。
发明内容
根据本发明的一些应用，在对象的身体内探测设备，并且响应于探测到所述设备，在输出设备上生成设备特异性参数的指示。通常，由计算机处理器确定设备在血管的图像的至少部分内的存在以及所述设备的类别为给定类型的设备。基于所述设备的所述类别为所述给定类型的设备，由所述计算机处理器指定要计算的参数。响应于此，所指定的参数由所述计算机处理器自动地计算，并且响应于所计算的参数在输出设备(例如，显示器)上生成输出。例如，响应于确定球囊存在于血管内部，可以将血管中存在球囊的部分内的血管的最小直径指定为要计算的参数。针对一些应用，被指定为要计算的所述参数是在血管内发生球囊的最大充气时在所述血管中存在球囊的部分内的血管的最小直径。
针对本发明的一些应用，丝线(wire)的辐射不透明部分的尖端在血管的图像内的位置是由计算机处理器自动地计算的。通常，针对所述图像的至少部分内的像素中的每个像素，由计算机处理器通过测量所述像素连同所述图像内的其他像素形成具有给定特性(诸如暗度、亮度和/或不同特性 (即，指示丝线性质(wireness)的特性))的一组细长像素的部分的程度，来确定丝线性质度量(即，对所述像素具有丝线状特性的程度的度量)。另外，针对所述图像的至少部分内的像素中的每个像素，由所述计算机处理器确定像素强度。随后，由所述计算机处理器确定是否存在这样的至少一个像素：在所述像素处，相对于属于具有指示丝线性质的特性的所述一组像素的像素中的至少一些，所述丝线性质度量的变化超出阈值量。响应于确定给定采样区域内的至少一个像素的丝线性质度量的变化确实超过阈值，所述计算机处理器然后确定，在所述至少一个像素处，相对于具有指示丝线性质的特性的所述一组像素中的至少一些的强度的值，所述像素的强度的变化是否超出阈值量。响应于确定在所述给定采样区域内的至少一个像素处强度的变化确实超过所述阈值，由所述计算机处理器确定所述丝线的辐射不透明部分的尖端被设置在所述给定采样区域内。
针对一些应用，在所指定的采样区域内，确定具有指示丝线性质的特性的所述一组像素的局部方向性，并且沿该方向测量所述丝线性质度量和/ 或强度的变化。针对一些应用，首先确定在所述采样区域内的至少一个像素处是否存在超过所述阈值的强度上的变化，并且响应于确定在给定采样区域内的至少一个像素处存在超过所述阈值的强度上的变化，确定在所述至少一个像素处是否存在超过所述阈值的丝线性质度量上的变化。
针对一些应用，响应于确定丝线的辐射不透明部分的尖端在给定图像内的位置，通过所述图像与第二图像的每个中的引导丝线的辐射不透明部分彼此对齐，而将所述图像与第二图像对齐。备选地或额外地，对丝线的辐射不透明部分的尖端在给定图像内的位置的识别被用于方便确定腔内设备在管腔内的位置，例如，根据在Tolkowsky的US 2012/0004537和/或 Steinberg的WO 13/174472中所描述的技术，在此通过引用将其并入本文。进一步备选地或额外地，对丝线的辐射不透明部分的尖端在给定图像内的位置的识别被用于方便确定用于在所述图像与第二图像之间的映射的变换函数，例如，根据在Steinberg的WO 13/174472中所描述的技术，在此通过引用将其并入本文。
因此，根据本发明的一些应用，提供了一种用于与对象的至少一个血管的图像一起使用的方法，包括：
使用至少一个计算机处理器：
确定设备在所述图像内的血管的至少部分内的存在；
将所述设备的类别确定为给定类型的设备；
基于所述设备的所述类别为所述给定类型的设备，指定要计算的参数；
自动地计算所指定的参数；并且
响应于所计算的参数，在输出设备上生成输出。
针对一些应用，确定所述设备在所述图像内的所述血管的所述部分内的存在包括：接收来自用户的指示所述设备在所述图像内的所述血管的所述部分内的所述存在的输入。
针对一些应用，确定所述设备的所述类别包括接收来自用户的指示所述设备为所述给定类型的设备的输入。
针对一些应用，确定所述设备在所述图像内的所述血管的所述部分内的所述存在包括：通过使用计算机处理器分析所述图像来自动地确定所述设备在所述图像内的所述血管的所述部分内的所述存在。
针对一些应用，确定所述设备的所述类别包括通过使用计算机处理器分析所述图像来自动地确定所述设备的所述类别。
针对一些应用，指定要计算的参数包括：基于所述设备的所述类别为所述给定类型的设备，指定事件并指定在所述事件发生时要计算的参数。
针对一些应用，指定所述要计算的参数包括：基于所述设备的所述类别为所述给定类型的设备，指定要计算的所述血管的尺寸。
针对一些应用，指定所述要计算的参数包括：基于所述设备的所述类别为所述给定类型的设备，指定要计算的所述血管的功能参数。
针对一些应用，指定所述要计算的参数包括：基于所述设备的所述类别为所述给定类型的设备，指定要计算的所述设备的尺寸。
针对一些应用，计算所述参数包括通过使用处理器分析所述图像来自动地计算所述参数。
针对一些应用，将所述设备的所述类别确定为所述给定类型的设备包括：确定所述设备的所述类别为血管过滤器，并且，指定所述要计算的参数包括将所述血管过滤器的最大直径指定为所述要计算的参数。
针对一些应用，将所述设备的所述类别确定为所述给定类型的设备包括：确定所述设备的所述类别为封口设备，并且，指定所述要计算的参数包括将所述封口设备的最大直径指定为所述要计算的参数。
针对一些应用：
将所述设备的所述类别确定为给定类型的设备包括确定所述设备为支架；并且
指定所述要计算的参数包括将血管中支架被设置于其中的区域内的血管的最小直径指定为要计算的参数。
针对一些应用：
将所述设备的所述类别确定为给定类型的设备包括确定所述设备为球囊；并且
指定所述要计算的参数包括将所述血管中所述球囊被设置于其中的区域内的所述血管的最小直径指定为所述要计算的参数。
针对一些应用，指定所述要计算的参数包括：当在所述血管内发生所述球囊的最大充气时，将所述血管中所述球囊被设置于其中的所述区域内的所述血管的所述最小直径指定为所述要计算的参数。
针对一些应用，确定所述设备的所述类别包括接收来自用户的指示所述设备为所述给定类型的设备的输入，并且，确定所述设备在所述图像内的所述血管的至少所述部分内的所述存在包括通过分析所述图像来自动地确定所述设备在所述图像内的所述血管的至少所述部分内的所述存在。
针对一些应用，确定所述设备在所述图像内的所述血管的至少所述部分内的所述存在包括：在接收到来自所述用户的指示所述设备为所述给定类型的设备的所述输入之后，确定所述设备在所述图像内的所述血管的至少所述部分内的所述存在。
根据本发明的一些应用，还提供了一种方法，包括：
使用至少一个计算机处理器，在对象的身体内探测设备；并且
使用所述计算机处理器，响应于探测到所述设备，在输出设备上生成对设备特异性参数的指示。
针对一些应用，探测所述设备包括在所述对象的身体的图像内探测设备。
针对一些应用，探测所述设备包括通过分析所述对象的身体的至少部分的图像来探测所述设备。
针对一些应用，生成所述设备特异性参数包括生成对所述对象的身体的部分的尺寸的指示。
针对一些应用，生成所述设备特异性参数包括生成对所述对象的身体的部分的功能参数的指示。
针对一些应用，生成所述设备特异性参数包括生成对所述设备的尺寸的指示。
针对一些应用，生成所述设备特异性参数包括通过使用所述计算机处理器分析所述对象的身体的部分的图像来计算所述参数。
针对一些应用，探测所述设备包括探测所述设备并确定所述设备为血管过滤器，并且，生成所述设备特异性参数包括生成对所述血管过滤器的最大直径的指示。
针对一些应用：
探测所述设备包括确定所述设备为支架；并且
生成所述设备特异性参数包括生成对所述血管中所述支架被设置于其中的区域内的血管的最小直径的指示。
针对一些应用：
探测所述设备包括确定所述设备为球囊；并且
生成所述设备特异性参数包括生成对所述血管中所述球囊被设置于其中的区域内的血管的最小直径的指示。
针对一些应用，生成所述设备特异性参数包括：当在所述血管内发生所述球囊的最大充气时，生成对所述血管中所述球囊被设置于其中的所述区域内的所述血管的最小直径的指示。
针对一些应用，探测所述设备包括接收来自用户的指示所述设备为给定类型的设备的输入，并且自动地确定所述设备在所述对象的身体的至少部分内的所述存在。
针对一些应用，确定所述设备在所述对象的身体的所述部分内的所述存在包括：在接收到来自所述用户的指示所述设备为所述给定类型的设备的所述输入之后，确定所述设备在所述对象的身体内的所述存在。
根据本发明的一些应用，额外地提供了一种用于与对象的至少一个血管的图像一起使用的装置，包括：
输出设备；以及
至少一个计算机处理器，其被配置为：
确定设备在所述图像内的所述血管的至少部分内的存在，
将所述设备的类别确定为给定类型的设备，
基于所述设备的所述类别为所述给定类型的设备，指定要计算的参数，
自动地计算所指定的参数；并且
响应于所计算的参数，经由所述输出设备生成输出。
针对一些应用，所述装置还包括用户接口，并且所述计算机处理器被配置为：通过经由所述用户接口接收来自用户的指示所述设备在所述图像内的所述血管的所述部分内的所述存在的输入，来确定所述设备在所述图像内的所述血管的所述部分内的所述存在。
针对一些应用，所述装置还包括用户接口，并且所述计算机处理器被配置为：通过经由所述用户接口接收来自用户的指示所述设备为所述给定类型的设备的输入，来确定所述设备的所述类别。
针对一些应用，所述算机处理器被配置为：通过分析所述图像，来自动地确定所述设备在所述图像内的所述血管的所述部分内的所述存在。
针对一些应用，所述计算机处理器被配置为通过分析所述图像来自动地确定所述设备的所述类别。
针对一些应用，所述计算机处理器被配置为：通过基于所述设备的所述类别为所述给定类型的设备而指定事件并指定在所述事件发生时要计算的参数，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为：通过基于所述设备的所述类别为所述给定类型的设备指定要计算的所述血管的尺寸，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为：通过基于所述设备的所述类别为所述给定类型的设备指定要计算的所述血管的功能参数，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为：通过基于所述设备的所述类别为所述给定类型的设备指定要计算的所述设备的尺寸，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为通过分析所述图像来计算所述参数。
针对一些应用，所述计算机处理器被配置为：
通过确定所述设备为支架来确定所述设备的所述类别为所述给定类型的设备，并且
通过将所述血管中所述支架被设置于其中的区域内的血管的最小直径指定为所述要计算的参数，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为：通过将所述设备的所述类别确定为封口设备，来确定所述设备的所述类别为所述给定类型的设备，并且，所述计算机处理器被配置为：通过将所述封口设备的最大直径指定为所述要计算的参数，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为：通过将所述设备的所述类别确定为血管过滤器，来确定所述设备的所述类别为所述给定类型的设备，并且，所述计算机处理器被配置为：通过将所述血管过滤器的最大直径指定为所述要计算的参数，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为：
通过确定所述设备为球囊，来确定所述设备的所述类别为所述给定类型的设备，并且
通过将所述血管中所述球囊被设置于其中的区域内的所述血管的最小直径指定为所述要计算的参数，来指定所述要计算的参数。
针对一些应用，所述计算机处理器被配置为：当在所述血管内发生所述球囊的最大充气时，通过将所述血管中所述球囊被设置于其中的所述区域内的所述血管的所述最小直径指定为所述要计算的参数，来指定所述要计算的参数。
针对一些应用：
所述装置还包括用户接口，
所述计算机处理器被配置为：通过经由所述用户接口从用户接收指示所述设备为所述给定类型的设备的输入，来确定所述设备的所述类别，并且
所述计算机处理器被配置为：通过分析所述图像，来自动地确定所述设备在所述图像内的所述血管的所述部分内的所述存在。
针对一些应用，所述计算机处理器被配置为：在从所述用户接收到指示所述设备为所述给定类型的设备的所述输入之后，确定所述设备在所述图像内的所述血管的至少所述部分内的所述存在。
根据本发明的一些应用，额外地提供了一种用于与对象的至少一个血管的图像一起使用的计算机软件产品，所述计算机软件产品包括在其中存储程序指令的非瞬态计算机可读介质，所述指令在被计算机读取时令所述计算机执行如下步骤：确定设备在所述图像内的所述血管的至少部分内的存在；将所述设备的所述类别确定为给定类型的设备；基于所述设备的所述类别为所述给定类型的设备，指定要计算的参数；自动地计算所指定的参数；并且响应于所计算的参数生成输出。
根据本发明的一些应用，还提供了一种用于与对象的血管内的丝线的图像一起使用的方法，所述丝线包括辐射不透明部分，所述方法包括：
使用至少一个计算机处理器，通过如下操作自动地确定所述丝线的所述辐射不透明部分的尖端在所述图像内的位置：
针对所述图像的至少部分内的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组细长像素的部分的程度，来确定对所述像素的丝线性质度量；
针对所述图像的至少所述部分内的每个像素，确定所述像素的强度；并且
通过探测在所述图像的所述部分内的区域内存在至少一个像素，在所述像素处如下两者的变化均大于各自的阈值量，来确定所述丝线的所述辐射不透明部分的所述尖端位于所述区域内：
相对于拥有具有给定特性的一组像素中的至少一些的一组像素的丝线性质度量的值，所述像素的丝线性质度量，以及
相对于具有给定特性的一组像素中的至少一些的强度的值，所述像素的强度；并且
响应于所确定的所述丝线的辐射不透明部分的尖端在所述图像内的位置，在输出设备上生成输出。
针对一些应用，探测存在这样的至少一个像素：在所述像素处，所述像素的丝线性质度量的变化大于阈值量，包括：探测存在沿着一方向设置的这样的至少一个像素，所述方向对应于所述区域内的一组像素的长度的局部方向，在所述像素处，所述像素的丝线性质度量的变化大于阈值量。
针对一些应用，探测存在这样的至少一个像素，在所述像素处，所述像素的强度的变化大于所述阈值量，包括：探测存在沿着一方向设置的这样的至少一个像素，所述方向对应于所述区域内的一组像素的长度的局部方向，在所述像素处，所述像素的强度的变化大于阈值量。
针对一些应用，所述方法还包括：基于所确定的所述丝线的辐射不透明部分的尖端的位置，来确定所述丝线的辐射不透明部分在所述图像内的位置，并且
生成所述输出包括：响应于所确定的所述丝线的辐射不透明部分在所述图像内的位置，来生成所述输出。
针对一些应用，所述装置还包括：基于所确定的所述丝线的辐射不透明部分的尖端的位置，来确定所述丝线的辐射不透明部分的中心在所述图像内的位置，并且
生成所述输出包括：响应于所确定的所述丝线的辐射不透明部分的中心在所述图像内的位置，来生成所述输出。
针对一些应用，确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量包括使用机器学习技术。
针对一些应用，确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量包括：针对所述像素中的每个像素，测量所述像素连同所述图像内的其他像素形成具有给定特性的一组连续细长像素的部分的程度。
针对一些应用，确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量包括分析所述图像的至少所述部分的多尺度二阶局部结构的本征值。
针对一些应用，确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量包括对所述图像的至少所述部分应用增强曲线结构的滤波器。
针对一些应用，确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量包括对所述图像的至少所述部分应用探测曲线结构的滤波器。
针对一些应用，确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量包括对所述图像的至少所述部分应用分割曲线结构的滤波器。
针对一些应用，所述方法还包括：基于所确定的所述丝线的辐射不透明部分的尖端在所述图像内的位置，将所述图像与第二图像对齐。
针对一些应用，生成所述输出包括：在图像流中显示所述图像和所述第二图像，在所述图像流中，所述图像与所述第二图像彼此对齐。
针对一些应用，生成所述输出包括基于所述图像与所述第二图像的所述对齐，来生成复合图像。
针对一些应用，所述方法还包括：至少部分地响应于所确定的所述丝线在所述图像内的位置，确定用于在所述图像与所述第二图像之间的映射的变换函数，并且生成所述输出包括基于所确定的变换函数生成所述输出。
针对一些应用，所述方法还包括，基于所确定的变换函数，确定腔内设备在所述血管内的位置，并且生成所述输出包括响应于所确定的所述腔内设备的位置来生成所述输出。
针对一些应用：
所述腔内设备包括腔内数据采集设备，
确定所述腔内设备在所述血管内的所述位置包括确定所述血管内由所述腔内数据采集设备在其处采集腔内数据点处的位置，并且
生成所述输出包括：基于确定所述血管内由所述腔内数据采集设备在其处采集所述腔内数据点处的位置，来生成所述输出。
针对一些应用，所述方法还包括，基于所确定的所述丝线在所述图像内的位置，确定所述腔内设备在所述血管内的位置，并且生成所述输出包括响应于所确定的所述腔内设备的位置生成所述输出。
针对一些应用：
所述腔内设备包括腔内数据采集设备，
确定所述腔内设备在所述血管内的所述位置包括确定所述血管内由所述腔内数据在其处采集设备采集腔内数据点处的位置，并且
生成所述输出包括：基于确定所述血管内由所述腔内数据在其处采集设备采集所述腔内数据点处的所述位置，来生成所述输出。
根据本发明的一些应用，额外地提供了一种用于与在对象的血管内的丝线的图像一起使用的装置，所述丝线包括辐射不透明部分，所述装置包括：
输出设备；以及
至少一个计算机处理器，其被配置为：
通过如下操作自动地确定所述丝线的辐射不透明部分的尖端在所述图像内的位置：
针对所述图像的至少部分内的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组细长像素的部分的程度，来确定对所述像素的丝线性质度量；
针对所述图像的至少所述部分内的每个像素，确定所述像素的强度；并且
通过探测在所述图像的所述部分内的区域内存在这样的至少一个像素，在所述像素处，如下两者的变化均大于各自的阈值量，来确定所述丝线的辐射不透明部分的尖端位于所述区域内：
相对于具有给定特性的一组像素中的至少一些像素的丝线性质度量的值，所述像素的丝线性质度量，以及
相对于具有给定特性的一组像素中的至少一些像素的强度的值，所述像素的强度；并且
响应于所确定的丝线的辐射不透明部分的尖端在所述图像内的位置，在所述输出设备上生成输出。
针对一些应用，所述计算机处理器被配置为：通过探测存在沿着一方向设置的这样的至少一个像素，所述方向对应于所述区域内的一组像素的长度的局部方向，在所述像素处，所述像素的丝线性质度量的变化大于所述阈值量，来探测存在这样的至少一个像素，在所述像素处，所述像素的丝线性质度量的变化大于阈值量。
针对一些应用，所述计算机处理器被配置为：通过探测存在沿着一方向的这样的至少一个像素，所述方向对应于所述区域内的一组像素的长度的局部方向，在所述像素处，所述像素的强度的变化大于所述阈值量，来探测存在这样的至少一个像素，在所述像素处，所述像素的强度的变化大于所述阈值量。
针对一些应用：
所述计算机处理器被配置为：基于所确定的所述丝线的辐射不透明部分的尖端的位置，来确定所述丝线的辐射不透明部分在所述图像内的位置，并且
所述处理器被配置为：响应于所确定的所述丝线的辐射不透明部分在所述图像内的位置，来生成所述输出。
针对一些应用：
所述计算机处理器被配置为：基于所确定的所述丝线的辐射不透明部分的尖端的位置，来确定所述丝线的辐射不透明部分的中心在所述图像内的位置，并且
所述计算机处理器被配置为：响应于所确定的丝线的辐射不透明部分的中心在所述图像内的位置，来生成所述输出。
针对一些应用，所述计算机处理器被配置为：使用机器学习技术确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量。
针对一些应用，所述计算机处理器被配置为：针对所述像素中的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组连续细长像素的部分的程度，来确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量。
针对一些应用，所述计算机处理器被配置为：通过分析所述图像的至少所述部分的多尺度二阶局部结构的本征值，来确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量。
针对一些应用，所述计算机处理器被配置为：通过对所述图像的至少所述部分应用增强曲线结构的滤波器，来确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量。
针对一些应用，所述计算机处理器被配置为：通过对所述图像的至少所述部分应用探测曲线结构的滤波器，来确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量。
针对一些应用，所述计算机处理器被配置为：通过对所述图像的至少所述部分应用分割曲线结构的滤波器，来确定针对所述图像的至少所述部分内的所述像素中的每个像素的丝线性质度量。
针对一些应用，所述计算机处理器被配置为：基于所确定的所述丝线的辐射不透明部分的尖端在所述图像内的位置，将所述图像与第二图像对齐。
针对一些应用，所述计算机处理器被配置为：通过在图像流中显示所述图像和所述第二图像，在所述图像流中，所述图像与所述第二图像彼此对齐，来生成所述输出。
针对一些应用，所述计算机处理器被配置为：通过基于所述图像与所述第二图像的所述对齐生成复合图像，来生成所述输出。
针对一些应用，所述计算机处理器被配置为：至少部分地响应于所确定的所述丝线在所述图像内的位置，来确定用于在所述图像与所述第二图像之间的映射的变换函数，并且，所述计算机处理器被配置为基于所确定的变换函数生成所述输出。
针对一些应用，所述计算机处理器被配置为：基于所确定的变换函数，来确定腔内设备在所述血管内的位置，并且，所述计算机处理器被配置为响应于所确定的所述腔内设备的位置生成所述输出。
针对一些应用：
所述腔内设备包括腔内数据采集设备，
所述计算机处理器被配置为：通过确定所述血管内由所述腔内数据采集设备在其处采集腔内数据点处的位置，来确定所述腔内设备在所述血管内的所述位置，并且
所述计算机处理器被配置为：基于确定所述血管内由所述腔内数据采集设备在其处采集所述腔内数据点处的位置，来生成所述输出。
针对一些应用，所述计算机处理器被配置为：基于所确定的所述丝线在所述图像内的位置，来确定所述腔内设备在所述血管内的位置，并且，所述计算机处理器被配置为响应于所确定的所述腔内设备的位置生成所述输出。
针对一些应用：
所述腔内设备包括腔内数据采集设备，
所述计算机处理器被配置为：通过确定所述血管内由所述腔内数据在其处采集设备采集腔内数据点处的位置，来确定所述腔内设备在所述血管内的所述位置，并且
所述计算机处理器被配置为：基于确定所述血管内由所述腔内数据在其处采集设备采集所述腔内数据点处的所述位置，来生成所述输出。
根据本发明的一些应用，还提供一种用于与对象的血管内的丝线的图像一起使用的计算机软件产品，所述丝线包括辐射不透明部分，所述计算机软件产品包括在其中存储程序指令的非瞬态计算机可读介质，所述指令在被计算机读取时令所述计算机执行如下步骤：通过如下操作自动地确定所述丝线的辐射不透明部分的尖端在所述图像内的位置：针对所述图像的至少部分内的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组细长像素的部分的程度，来确定所述像素的丝线性质度量；针对所述图像的至少所述部分内的每个像素，确定所述像素的强度；并且确定所述丝线的辐射不透明部分的尖端位于所述图像的所述部分内的区域内，其通过探测在所述区域内存在这样的至少一个像素来执行，在所述像素处如下两者的变化均大于各自的阈值量：相对于具有所述给定特性的一组像素中的至少一些的丝线性质度量的值，所述像素的丝线性质度量，以及相对于具有所述给定特性的一组像素中的至少一些的强度的值，所述像素的强度；并且响应于所确定的所述丝线的辐射不透明部分的尖端在所述图像内的位置，来生成输出。
附图说明
从如下结合附图对本发明的实施例的详细描述，将更全面地理解本发明，在附图中：
图1为根据本发明的一些应用在导管插入术实验室中使用的装置的示意性图示；
图2A为根据本发明的一些应用对具有病灶的血管的腔外图像的示意性图示；
图2B为根据本发明的一些应用对已在血管内部得到最大充气的血管成形球囊(例如用于处置堵塞)的腔外图像的示意性图示；
图2C-D为根据本发明的一些应用已在血管内部得到最大充气的血管成形球囊(例如用于处置堵塞)的腔外图像；
图3A-C为根据本发明的一些应用示出由处理器执行用于指定要计算的参数的流程的步骤的流程图；
图4为根据本发明的一些应用对血管、被设置于血管里的丝线(例如，引导丝线)的图像的示意性图示；以及
图5为根据本发明的一些应用示出由处理器执行用于确定丝线的辐射不透明部分的尖端在血管的腔外图像内的位置的流程的步骤的流程图。
具体实施方式
术语“医学工具”、“工具”、“设备”和“探头”指任意类型的诊断或治疗或其他功能的工具，包括，但不限于：心血管导管，支架递送、放置和/或取回工具，球囊递送和/或放置和/或取回工具，瓣膜递送和/或修复和/ 或放置和/或取回工具，移植物递送和/或放置和/或取回工具，用于可植入设备和/或这样的设备的部件的递送和/或放置和/或取回的工具，可植入设备或其部件，用于封闭裂隙的工具，用于封闭中隔缺损的工具，引导丝线，标志物丝线，缝合工具，剪裁工具(诸如瓣叶剪裁工具)，活检工具，吸气工具，导航工具，定位工具，包括一个或多个位置传感器的探头，组织表征探头，用于对流体的分析的探头，测量探头，电生理探头，刺激探头，消融工具，用于穿透或打开血管中的部分或完全堵塞的工具，药物或物质递送工具，化疗工具，光动力治疗工具，短距放射治疗工具，局部照射工具，激光器设备，用于递送能量的工具，用于递送标志物或生物标志物的工具，用于递送生物胶的工具，灌注设备，吸引设备，通气设备，用于递送和/或放置和/或取回电生理设备的引线的设备，电生理设备的引线，起搏设备，冠状窦设备，成像设备，感测探头，包括光纤的探头，机械手工具，受远程控制的工具，切除工具，斑块切除工具(诸如斑块切除导管)，或它们的任意组合。
术语“图像”和“成像”指任意类型的医学图像或成像，通常导致生成图像的序列，并且包括，但不限于：使用电离辐射的成像，使用非电离辐射的成像，视频，荧光透视检查，血管造影，超声，CT，MR，PET，PET-CT， CT血管造影，SPECT，伽马相机成像，光学相干断层摄影(OCT)，近红外光谱(NIRS)，振动反应成像(VRI)，光学成像，红外成像，电映射成像，其他形式的功能成像，聚焦声学计算机断层摄影(FACT)，光学频域成像(OFDI)，或它们的任意组合或融合。超声成像的范例包括支气管内超声(EBUS)，经胸回波(TTE)，经食道回波(TEE)，血管内超声(IVUS)，心内超声(ICE)，或它们的任意组合。
术语“造影剂”在用于与其结合成像的应用中时，指被用于在对器官进行成像的同时，高亮显示和/或以另一种方式增强身体器官的解剖结构、机能和/或组成的任意物质。
术语“稳定化”当用于被显示图像的语境中时，意指以这样的方式对一系列图像的显示，使得被成像的(一个或多个)身体器官的，和/或被观察的医学工具的周期性、循环性和/或其他运动，相对于整体图像帧或者其至少一部分，被部分地或完全地减小。
术语“自动地”当被用于描述路线图的生成和使用时，意指“不需要用户干预或交互”(然而，这样的交互或干预在一些情况下仍可以是可选的)。
术语“实时”意指没有值得注意的延迟。
术语“接近实时”意指有短的值得注意的延迟(诸如大致上为适用器官的一或两次运动循环，并且在涉及器官或血管(它们的运动主要是心脏循环的结果)的流程的情况中，小于两秒)。
术语“在线”，当用于图像处理或用于在图像上进行的测量时，意指图像处理是在流程内、实时地或接近实时地执行的，和/或测量是在流程内、实时地或接近实时地进行的。
现在参考图1，其为根据本发明的一些应用，对在到导管插入术实验室中使用的装置的示意性图示。通常，使用腔外成像设备(即，腔外图像采集设备)20对对象进行成像，其可以包括在造影剂存在于正被成像的对象的血管里的同时，在常规模式下和/或在血管造影模式下采集荧光透视检查图像的荧光透视检查。针对一些应用，成像设备执行荧光透视检查、CT、 MR、PET、SPECT、超声，或它们的任意组合。
图1额外地示出了在引导丝线24之上的已被插入到对象的血管(例如，对象的冠状动脉)中的引导导管22。腔内医学设备26已经穿过引导导管并且在引导丝线之上被插入到对象的血管中(例如，到对象的冠状动脉中)。计算机处理器28通常接收来自成像设备的输入。计算机处理器与存储器29 通信。经由用户接口30，用户(例如，医师和/或导管插入实验室技师)向计算机处理器发送指令。针对一些应用，用户接口包括键盘32、鼠标34、控制杆36、触摸屏38(诸如智能手机或平板电脑)、触摸板、跟踪球、语音命令接口，和/或本领域已知的其他类型的用户接口。通常，计算机处理器使用输出设备40生成输出。此外，通常，输出设备包括显示器，诸如监视器(如图1中所示)，并且输出包括显示在显示器上的输出。针对一些应用，显示器包括平视显示器和/或头戴式显示器，诸如
Figure RE-GDA0003895017550000171
针对一些应用，处理器生成在不同类型的视觉、文本、图形、触觉、听觉和/或视频输出设备(例如扬声器、头戴式耳机、智能手机或平板电脑)上的输出。针对一些应用，用户接口30充当输出设备和输出设备两者。针对一些应用，处理器生成在计算机可读介质上(诸如光盘，或便携式USB驱动)的输出。
注意到，针对一些应用，使用多于一个处理器。针对一些应用，与处理器20一起使用多于一个腔外成像设备。例如，第一腔外成像设备可以被用于采集第一组腔外图像，并且第二腔外成像设备可以被用于采集第二组腔外图像。
针对一些应用，腔内医学设备26包括被配置为从对象的血管内部采集数据(例如，功能数据或图像)的腔内数据采集设备。针对一些应用，腔内数据采集设备为成像探头。针对一些应用，成像探头为IVUS探头、EBUS 探头、不同类型的超声探头、OCT探头、NIRS探头、MR探头、FACT探头、OFDI探头，或者它们的任意组合。针对一些应用，腔内数据采集设备执行额外的功能。例如，腔内数据采集设备可以包括探头，例如由Volcano 公司(圣地亚哥，美国)市售的VIBE(TM)RX血管成像球囊导管，其包括IVUS和冠状动脉球囊导管功能两者。针对一些应用，腔内数据采集设备采集为图像以外的其他形式的数据。例如，数据可以包括涉及压力、流量、温度、电活动、氧合作用、生化组成或者它们的任意组合的数据。针对一些应用，并且通常在对冠状动脉血管采集数据时，腔内数据采集设备为血流储备分数(FFR)探头，和/或瞬时无波形比率(iFR)探头。针对一些应用，FFR和/或iFR测量结果是通过对腔外图像执行图像处理来确定的，并且使用本文中所描述的技术将导出的FFR和/或iFR测量结果与管腔的腔内图像共配准。针对一些应用，FFR和/或iFR测量结果是通过对腔内图像执行图像处理来确定的，并且使用本文中所描述的技术将导出的FFR和/或 iFR测量结果与管腔的腔外图像共配准。针对一些应用，使用本文中所描述的技术将腔内图像与管腔的腔外图像共配准，并且FFR和/或iFR测量结果是通过对经共配准的图像执行图像处理来确定的。
针对一些应用，腔内医学设备26包括被定位和/或部署在需要或可能需要处置的解剖特征处的腔内治疗设备，所述需要或可能需要处置的解剖特征诸如是部分或完全堵塞、自体瓣膜、动脉瘤、动脉夹层、畸形、中隔缺损、疑似恶性的块、疑似炎性的块等。例如，腔内治疗设备可以包括球囊 (例如，血管成形球囊)、支架、瓣膜和/或丝线(例如，引导丝线)。
针对一些应用，本文中所描述的装置和方法与被定位和/或部署在先前植入的设备(诸如支架、移植物或置换瓣膜)的植入部位处的腔内治疗设备一起使用。腔内数据是在植入部位处和/或附近确定的。例如，可以在不再起作用的先前植入的人造主动脉瓣的部位处(例如，内部)放置新的人造主动脉瓣期间使用本文中所描述的技术。
针对一些应用，本文中所描述的装置和方法与被定位和/或部署在相对于先前植入的设备(诸如支架、移植物或置换瓣膜)的界定位置处的腔内治疗设备一起使用。腔内数据是在所界定的位置处以及附近确定的。例如，本文中所描述的技术可以在冠状动脉支架的放置期间使用，使得新支架与先前植入的支架重叠或毗邻，以便处置长的病灶和/或已沿冠状动脉扩散的病灶。
针对一些应用，输出设备40为被配置为显示血管的腔外图像42(例如，荧光透视检查图像)、血管的腔内图像44(例如，IVUS图像)，和/或腔内图像的横截面的堆叠46(例如，IVUS图像的堆叠)的显示器。
现在参考图2A和图2B，其是根据本发明的一些应用对血管的腔外图像的示意性图示。现在也参考图2C和图2D，其是根据本发明的一些应用被设置在动脉里的球囊的图像。图2D示出了在图2C中示出的图像的增强版本，在图像上标出了球囊的边缘线。
图2A是根据本发明的一些应用，对具有病灶(例如，部分堵塞52) 的血管50(诸如冠状动脉)的腔外图像的示意性图示。通常，在血管内部不存在工具时，响应于用户指示病灶的位置(例如，通过用户在图像中指示病灶附近的单个点)，处理器对病灶附近的血管自动地执行定量血管分析。通常，诸如在Steinberg的US 2012/0230565和/或Cohen的US2010/0222671中描述的那些技术被用于执行在病灶附近的定量血管分析，在此通过引用将其并入本文。例如，使用输出设备(例如，用户接口30)，用户可以指定该位置(例如，通过使用输入设备在该位置处或附近单击或多次点击)，并且响应于用户指定该位置，系统在附近自动地探测病灶。例如，系统可以识别病灶的边缘线和参考直径54。病灶的参考直径通常是在病灶的纵向极值处血管的直径(纵向极值也被本领域技术人员称作“健康肩部”或“参考动脉”)。针对一些应用，参考直径是所分析的血管的片段内的最宽位置。响应于探测到病灶，对于该病灶执行定量血管分析。针对一些应用，以图形方式指示病灶，例如，通过高亮显示血管中被确定为病灶的片段或对其着色。针对一些应用，诸如病灶长度、血管在沿中心线的每个点处的直径，和/或最小管腔直径是在病灶附近确定的。针对一些应用，在最小管腔直径处的堵塞的水平(其通常被提供为百分数)是通过将在该点处血管的直径与在血管的参考点处血管的直径进行比较来确定的。
通常，定量血管分析是通过确定血管中心线和/或边缘线的位置来执行的，例如，使用诸如在Steinberg的US 2012/0230565和/或Cohen的US 2010/0222671中描述的那些技术，在此通过引用将其并入本文。针对一些应用，病灶是根据如下流程自动探测的。
垂直于血管中被采样的段的中心线生成扫描线。沿扫描线对图像重新采样。将对应的灰阶值存储为矩形矩阵M的列，由此将血管的该段重新采样为经平直化的血管段。针对该经平直化的血管端，确定最优上路径和下路径(相对于M的中间行)，它们连接M的第一列和最末列。优化标准将沿M的列的灰阶变化以及路径的斜率考虑在内。血管边缘线是经由上和下最优路径在原始图像上的背投影来获得的。
最短路径算法(例如，如在Dijkstra的题为“A Note on Two Problems inConnexion with Graphs”(Numerische Mathematik 1，269-271，1959)的文章中所描述的，在此通过引用将其并入本文)被用于避免边缘线上的不规则，例如小间隙和环。针对一些应用，基于所探测的边缘线校正中心线，并构建新的扫描线。针对每条新的扫描线，将血管直径定义为该扫描线与血管边界相交的两个点之间的距离。
图2B是根据本发明的一些应用，对已在血管内部被最大充气(即，被充气到球囊能够在这样的血管中被安全充气的最大压力)诸如用于处置堵塞的血管成形球囊55(例如，柔性血管成形球囊)的腔外图像的示意性图示。图2C和图2D是根据本发明的一些应用，血管成形球囊55的实际图像，球囊已经在动脉内部在部分堵塞处被充气。图2D示出了在图2C中示出的图像的增强版本，在图像上标出了球囊的边缘线。如在图2B-图2D中所示，在一些情况下，即使在球囊以被最大程度地充气之后，堵塞仍未得到充分处置，而是维持被称作是残留腰围56。通常合乎期望的是能够计算在堵塞的残留腰围处血管的直径。
针对一些应用，如果处理器使用上文所描述的用于对内部有球囊的血管执行定量血管分析的算法，则处理器可以将球囊的一端或两端58识别为最小管腔直径的位置，这是因为系统可以不在血管的边缘线与球囊的边缘线之间进行区分。因此，针对一些应用，为了避免处理器将球囊的一端或两端58识别为最小管腔直径的位置，处理器确定球囊存在于血管内。处理器响应于确定球囊在血管内的存在，确定血管的参数，例如，根据下文参考图3A-图3C所描述的技术。
现在参考图3A-图3C，其是根据本发明的一些应用，示出由计算机处理器28执行的流程的步骤的流程图。
如图3A中所示，针对一些应用，处理器探测设备(步骤60)。通常，处理器在对象的身体的部分的图像内探测设备，如下文所描述的。响应于探测到所述设备，处理器生成输出(例如，在输出设备40上)设备特异性参数(步骤61)，例如，使用下文所描述的技术。
如图3B中所示，针对一些应用，处理器在图像内确定设备在血管内的存在(步骤63)，并将设备归类为给定类型的设备(步骤64)，诸如球囊。响应于确定所述设备的类别，处理器指定要计算的参数(步骤65)。注意到，针对一些应用，在图像内对设备在血管内的存在的确定(步骤63)，以及对设备为给定类型的设备的归类(步骤64)是同时地执行的，或者以图3B 中所示的相反顺序执行的。针对一些应用，用户经由用户接口30指示给定类型的设备(例如，球囊)当前正被插入到血管中(或正要被插入，或已被插入到血管中)。基于来自用户的指示，处理器自动地确定设备何时在血管内部存在，并继续进行到步骤65。
继指定所述要计算的参数(步骤65)之后，处理器计算所指定的参数 (步骤66)并响应于此生成输出(步骤68)。例如，在图2B中所示的血管成形球囊55的范例中，响应于将设备归类为球囊，处理器可以将血管在球囊的两端之间，和/或在球囊的两个辐射不透明标志物57之间的最小直径指定为要计算的参数，其对应于堵塞的残留腰围。
如图3C中所示，针对一些应用，为了计算堵塞的残留腰围，响应于将设备归类为球囊(步骤70)，处理器识别球囊的端部的位置和/或辐射不透明球囊标志物57的位置(步骤72)。通常，处理器使用图像处理技术识别球囊标志物，例如，使用本文中所描述的用于识别球囊标志物的技术，和/ 或使用在Steinberg的US 2012/0230565和/或Cohen的US 2010/0222671中描述的技术，通过引用将其并入本文。针对一些应用，处理器，例如通过在图像内探测这样的位置，在所述位置中一般存在直的边缘线(对应于血管边缘线)，并且在直的边缘线内存在锥形成对的边缘线(对应于球囊的锥形边缘)，来确定球囊的端部的位置。
处理器将血管中在球囊的辐射不透明标志物之间的区域，和/或在血管中球囊的每个纵向端部处锥形成对的边缘线之间的区域，指定为血管中球囊被放置于其中的区域(步骤74)。处理器然后确定在血管中球囊被放置于其中的区域内的最小管腔直径(步骤76)。血管中球囊被放置于其中的区域内的最小管腔直径为堵塞的残留腰围。处理器然后生成指示所计算的残留腰围的输出(步骤78)。
针对一些应用，对设备的探测和/或归类(图3B的步骤63和64)是由处理器使用本文中所描述的一种或多种算法自动执行的。例如，处理器可以使用自动图像处理技术来确定设备的存在和/或对设备的归类。针对一些应用，处理器使用机器学习算法以便自动对设备进行归类。针对这样的应用，处理器将所探测到的设备的外观和/或特性与机器学习的外观和特性进行比较。备选地或额外地，处理器将图像的区域的外观和/或特性与机器学习的特性和外观进行比较。此外，备选地或额外地，处理器(通常经由用户接口30)接收来自用户的指示设备在血管内部的存在和/或对设备的归类的输入。如上文所描述的，针对一些应用，用户经由用户接口30指示给定类型的设备(例如，球囊)当前正被插入到血管中(或正要被插入，或者已经被插入到血管中)。基于来自用户的指示，处理器自动地确定设备何时在血管内部存在，并继续进行到步骤65。
针对一些应用，处理器使用本文中所描述的一种或多种算法指定要计算的参数(图3B的步骤65)。针对一些应用，处理器通过指定要计算的血管的参数，来指定要计算的参数。根据一些应用，血管的参数是血管的尺寸和/或血管的功能参数。例如，响应于将设备归类为支架，处理器可以将在血管中支架被放置于其中的区域内的血管的最小管腔直径指定为要计算的参数，以便确定在支架存在时血管的最小管腔直径。针对一些应用，支架被设置在球囊周围，并且处理器通过确定支架被设置于其周围的球囊的辐射不透明标志物的位置，来确定血管中支架被设置于其中的区域。
备选地或额外地，响应于将设备归类为支架，处理器可以将在支架的位置处的血流储备分数(或另一管腔流量相关指标)指定为要计算的参数，以便确定支架对血管的血流储备分数(或其他管腔流量相关指标)的影响。针对一些应用，处理器通过指定要计算的设备的参数，来指定要计算的参数。例如，响应于将设备归类为支架，处理器可以将支架的最大直径，或支架的最小直径指定为要计算的参数。针对一些应用，支架被设置在球囊周围，并且处理器通过确定支架被设置于其周围的球囊的辐射不透明标志物的位置，来确定血管中支架被设置于其中的区域。
针对一些应用，处理器指定事件并通过指定在该事件发生时要计算的参数，来指定要计算的参数。例如，在参考图2B和图3C描述的范例中，处理器可以将球囊的最大充气指定为事件，并且处理器可以确定在最大球囊充气发生时堵塞的残留腰围。针对一些应用，处理器自动地探测所指定的事件的发生，例如使用自动图像处理技术。
通常，参数是使用本文中所描述的一种或多种算法来计算的(图3B的步骤66)。针对一些应用，参数是通过使用自动图像处理技术分析图像来计算的。例如，血管和/或设备的尺寸可以使用在Steinberg的US 2012/0230565 和/或Cohen的US 2010/0222671中描述的技术来计算，在此通过引用将其并入本文。备选地或额外地，功能参数可以例如使用在Tolkowsky的WO 14/002095中描述的技术来自动地计算，在此通过应用将其并入本文。
针对一些应用，为了计算参数，使用本文中所描述的技术自动地识别血管和/或设备边缘线。例如，可以垂直于被采样的血管的段的中心线生成扫描线。沿扫描线对图像重新采样。将相应的灰阶值存储为矩形矩阵M的列，由此将血管的段重新采样为平直化的血管段。针对平直化的血管段，确定最优上路径和下路径(相对于M的中间行)，它们连接M的第一列和最末列。优化标准将沿M的列的灰度变化和路径的斜率考虑在内。血管边缘线是经由上最优路径和下最优路径在原始图像上的背投影来获得的。
最短路径算法(例如，如在Dijkstra的题为“A Note on Two Problems inConnexion with Graphs”(Numerische Mathematik 1，269-271，1959)的文章中描述的，在此通过引用将其并入本文)被用于避免边缘线上的不规则，例如小间隙和环。针对一些应用，基于所探测的边缘线校正中心线，并构建新的扫描线。针对每条新的扫描线，将血管和/或设备直径定义为该扫描线与血管边界相交的两个点之间的距离。
针对一些应用，相对于其他设备和/或相对于上文描述的那些以外的对象的身体的其他部分来执行本文中所描述的技术。
针对一些应用，使用本文中所描述的技术以便确定涉及封口设备的参数。例如，封口设备可以为心房中隔缺损封口设备、左心房左心耳封口设备和/或被用于封闭(诸如在对象的心脏的心尖中，和/或在外周血管(例如股静脉或股动脉)中的)手术创建的孔的封口设备。响应于确定设备在对象的身体的部分的图像内的存在，以及将设备归类为封口设备，计算机处理器28可以在封口设备的部署之后确定封口设备的最大直径。备选地或额外地，可以使用本文中所描述的技术以便在瓣膜的部署之后确定涉及可植入瓣膜(诸如人造主动脉瓣，和/或人造二尖瓣)的参数，例如，瓣膜的最大直径。此外，备选地或额外地，可以使用本文中所描述的技术以便在过滤器在血管内的部署之后确定涉及血管过滤器(例如，腔静脉过滤器，例如由Volcano公司(CA，美国)制造的
Figure RE-GDA0003895017550000241
腔静脉过滤器)的参数，例如，过滤器的最大直径。
针对一些应用，本文中所描述的技术被用于：响应于确定先前植入的设备(例如在当前正执行的流程之前(例如先于当前正执行的流程至少一天)植入的支架、移植物或置换瓣膜)在对象的身体的部分的图像内的存在，并且响应于将先前植入的设备归类为给定类型的设备，来确定涉及先前植入的设备的参数。
现在参考图4，其是根据本发明的一些应用，对血管、被设置于血管内部的丝线(例如，引导丝线)的图像的示意性图示。图4的右侧帧82是对左侧帧80的部分的放大，放大的部分包含引导丝线的辐射不透明端步部分 84的图像。针对一些应用，引导丝线的辐射不透明部分的尖端86是使用本文中所描述的技术来自动地识别的。通常，如可以在图4中观察到的，在血管的荧光透视检查图像(或不同的腔外图像)中，存在因噪声在图像内产生的变暗的像素。因此，通常不可能通过分析各自像素的强度，将对应于引导丝线的辐射不透明部分的像素与周围像素区分开。针对一些应用，计算机处理器28使用参考图5描述的技术，自动地确定丝线的辐射不透明部分的尖端在图像内的位置。
现在参考图5，其是根据本发明的一些应用，示出了由计算机处理器 29执行用于确定丝线的辐射不透明部分的尖端在血管的腔外图像内的位置的流程的步骤的流程图。
针对图像的至少部分内的每个像素，确定像素的丝线性质度量(步骤 90)。(注意到，本文中使用的术语“像素”不应当被解读为被限制为屏幕上呈现的图片的最小可控元素。而是相反，本文中使用的术语“像素”应当被解读为意指一个或多个这样的元素的集合。)针对一些应用，丝线性质度量是针对整个图像内的像素来确定的。备选地，仅确定图像的部分内的像素的丝线性质度量。例如，可以对图像中(例如，基于其他特征在图像内的位置)预期丝线的辐射不透明部分被设置于其中的区域内的像素的丝线性质度量进行采样。备选地或额外地，处理器可以从用户接收指示图像中预期丝线的辐射不透明部分被设置于其中的区域的输入。
丝线性质度量是对像素中的每个像素具有丝线状特性的程度的度量。针对一些应用，像素的丝线性质度量是使用本文中所描述的一种或多种算法来确定的。通常，针对所选择的像素中的每个像素，通过测量该像素连同图像内的其他像素形成具有给定特性(诸如暗度、亮度，和/或不同特性 (即，指示丝线性质的特性))的一组细长像素的部分的程度，来确定丝线性质度量。通常，丝线性质度量指示像素连同该组内的其他像素对应于丝线。
针对一些应用，与在Steinberg的US 2012/0230565和/或Cohen的US 2010/0222671中描述的那些技术大体相似的用于确定像素的血管状态度量的技术被用于确定像素的丝线性质度量，在此通过引用将其并入本文。例如，可以借助于Hessian滤波器，诸如在Frangi等人的题为“Multiscale vessel enhancement filtering”(Medical ImageComputing and Computer Assisted Intervention--MICCAI 1998--Lecture Notes inComputer Science，第1496卷， Springer Verlag，德国柏林，第130-137页)的文章中描述的滤波器，在此通过引用将其并入本文，和/或借助于执行对曲线结构的增强和/或探测和/或分割的滤波器，来确定丝线性质。针对一些应用，使用类似于Frangi滤波器的滤波器，但不同于Frangi滤波器的地方在于(a)丝线性质为均匀函数，和/或(b)用于对尺度的归一化的乘法器。
针对一些应用，像素的丝线性质度量是通过确定像素的梯度正交于对应于最高本征值的海森矩阵的本征向量的程度来获得的。针对一些应用，通过被应用于毗邻被最终确定为构成丝线自身的那些像素的像素的投票函数，来辅助进行确定。
针对一些应用，借助于迟滞将阈值化应用于图像像素。例如，其丝线性质值落在迟滞的高阈值之下但仍在迟滞的低阈值之上的像素，如果它们与落在迟滞的高阈值处或之上的像素邻接，则将其并入该组像素中。
针对一些应用，形成前文提及的组的像素是借助于形态学运算来确定的。例如，这样的形态学运算可以包括对阈值化的血管态图像的骨架化。针对一些应用，根据图像中的特定区域，所应用的阈值是自适应的。
针对一些应用，机器学习技术被用于确定像素的丝线性质度量。
在流程的下一步骤中，针对图像的至少部分内的每个像素，确定像素的强度(步骤92)。注意到，针对一些应用，步骤90和92是以与图5中的流程图中所示相反的顺序执行的。
在已经确定了图像的部分内的像素的丝线性质度量和强度之后，计算机处理器28指定图像的部分内的第一采样区域(步骤94)。针对一些应用，第一采样区域是根据本文中所描述的一种或多种算法来指定的。例如，采样区域可以包括单个像素，或多个像素。第一采样区域可以是随机生成的，和/或响应于来自用户的输入生成的。针对一些应用，处理器通过指定引导丝线的尖端可能被设置于其中的采样区域，来指定第一采样区域。例如，处理器可以通过指定具有高值的丝线性质度量的一个或多个区域，来指定第一采样区域。备选地或额外地，处理器可以响应于基于对图像的机器学习分析确定图像的区域可能包含丝线的尖端，来指定第一采样区域。
针对一些应用，步骤94是在步骤90和92的前面执行的，并且仅在所指定的采样区域上执行步骤90和92。
处理器确定在第一采样区域内是否存在这样的至少一个像素：相对于毗邻该像素并且具有指示丝线性质的特性的一个或多个像素的丝线性质度量的值，在该像素处丝线性质度量的变化大于阈值量(步骤96)。针对一些应用，处理器使用本文中所描述的一种或多种算法执行步骤96。例如，通过举例说明的方式，处理器可以确定从一个像素到毗邻像素，丝线性质度量的减小超过阈值百分数的减小。或者，处理器可以确定，至少一个像素具有这样的丝线性质度量：其比属于该组像素中的全部像素的平均丝线性质度量低超过阈值百分数，而毗邻该像素的一个或多个像素具有超过该阈值的丝线性质度量。
针对一些应用，在所指定的区域内，处理器确定具有指示丝线性质特性的该组像素的局部方向性。处理器确定，沿着该方向，是否存在这样的至少一个像素：相对于毗邻该像素并且具有指示丝线性质的特性的一个或多个像素，在该像素处丝线性质度量的变化大于阈值量。
响应于确定在第一采样区域内在至少一个像素处丝线性质度量的变化没有超过阈值，处理器继续进行到下一采样区域(步骤98)，并且在第二采样区域处重复步骤96。第二采样区域通常是以与对第二采样区域的选择大体类似的方式，和/或基于与第一采样区域的空间关系，来选择的。响应于确定在采样区域内在至少一个像素处的丝线性质度量的变化确实超过了阈值，处理器然后确定相对于具有指示丝线性质的特性的该组像素中的至少一些的强度的值，在至少一个像素处像素的强度的变化是否大于阈值量(步骤100)。针对一些应用，处理器使用本文中所描述的一种或多种算法执行步骤100。例如，通过举例说明的方式，处理器可以确定从像素中的一个像素到毗邻像素，强度的增大超过阈值百分数的增大。或者，处理器可以确定，像素中的一个像素具有超过属于该组像素中的全部像素的平均强度超过阈值百分数的强度。
针对一些应用，在所指定的区域内，处理器确定具有指示丝线性质的特性的该组像素的局部方向性。处理器确定，沿着该方向，是否存在这样的至少一个像素：相对于属于具有指示丝线性质的特性的该组像素的像素中的一些，在该像素处强度的变化大于阈值量。
响应于确定在当前采样区域内，在至少一个像素处强度的变化没有超过阈值，处理器继续进行到下一采样区域(步骤98)，并且在该下一采样区域处重复步骤96。响应于确定在当前采样区域内的至少一个像素处强度的变化确实超过阈值，确定丝线的辐射不透明部分的尖端被设置在当前采样区域内(步骤102)。响应于所确定的丝线的辐射不透明部分的尖端在图像内的位置生成输出。
注意到，针对一些应用，步骤96和100是以相反的顺序执行的，处理器首先确定在至少一个像素处的强度的变化是否大于阈值量，并且然后，确定在至少一个像素处的丝线性质度量的变化是否大于阈值量。
通常，输出是由计算机处理器28响应于所确定的丝线的辐射不透明部分的尖端在图像内的位置而生成的。针对一些应用，处理器确定丝线的辐射不透明部分的两个尖端的位置，并且由此确定丝线的辐射不透明部分和/ 或丝线的辐射不透明部分的中心在图像内的位置。输出是响应于在图像内所确定的丝线的辐射不透明部分的位置，和/或所确定的丝线的辐射不透明部分的中心的位置，来生成的。
针对一些应用，响应于确定丝线的辐射不透明部分的尖端在给定图像内的位置，处理器通过将每幅图像中丝线的辐射不透明部分彼此对齐，而将图像与第二图像对齐。根据各自的应用，所对齐的图像可以被显示在在其中图像被彼此对齐的图像流中，和/或被显示在可以基于图像与第二图像的对齐而生成的复合图像中。例如，处理器可以在将图像彼此对齐之后，对该图像与第二图像进行平均化。大体上，对丝线的辐射不透明部分的尖端在给定图像内的位置的识别可以被用于执行在Iddan的US 2008/0221440、Steinberg的US2012/0230565以及Cohen的US 2010/0222671 中的任一个中描述的图像稳定化和/或增强技术中的任一种，在此通过引用将其并入本文。
针对一些应用，对丝线的辐射不透明部分的尖端在给定图像内的位置的识别可以被用于方便确定腔内设备在管腔内的位置，例如根据在 Tolkowsky的US 2012/0004537和/或Steinberg的WO 13/174472中描述的技术，在此通过引用将其并入本文。例如，可以确定血管内由腔内数据采集设备(例如，腔内成像设备，或被配置为采集多个功能性腔内数据点的腔内数据采集设备)在其处采集一个或多个腔内数据点的位置。基于在血管内所确定的在其处采集腔内数据点的位置，处理器可以诸如通过生成腔内成像堆叠和/或通过生成对腔内数据点与血管内在其处采集腔内数据点的位置之间的对应性的指示来生成输出。
针对一些应用，腔内数据点是通过沿血管内包括指定管腔部位的管腔段定位腔内数据采集设备来采集的。因此，在观察管腔段的腔外图像的同时，通过用户输入设备(例如，用户接口30)指示沿该段的一个或多个位置。响应于通过用户输入设备对一个或多个位置的指示，显示对应的先前采集的腔内图像。
通常，所指定的管腔部位包括正被诊断的部位，治疗设备将被定位并部署在其处，该处经受诊断的结果，例如解剖特征的部位，先前植入的设备的植入部位，和/或在相对于植入部位定义的位置处的部位。例如，所指定的管腔部位可以包括管腔中相对于管腔的周围部分变窄的部分，和/或病灶的部位。
针对一些应用，腔内数据点是通过将腔内数据采集设备定位在指定管腔部位处来采集的。因此，腔内治疗设备是在同时在线观看由腔内数据采集设备在治疗设备的当前位置处先前采集的腔内数据的同时，在腔外成像下被定位并部署在所指定的管腔部位处的。通常，腔内数据是在所指定的腔内部位附近的各自腔内部位处采集的。因此，当腔内治疗设备被放置在管腔内部时，通常自动地并且通常在线地显示并更新先前采集的腔内数据，以对应于治疗设备(或其部分)的当前位置，治疗设备的位置通常在治疗设备的定位期间变化。
针对一些应用，一起使用腔外成像和先前采集的腔内数据点，使得就像是治疗设备是在实时腔外成像于实时腔内数据采集下被定位和部署的。这是因为(a)腔外成像是实时执行的，并且(b)尽管腔内数据不是实时采集的，但腔内数据被显示为对应于治疗设备的当前位置。
根据本发明的一些应用，当治疗设备被设置在管腔内部时，设备在管腔内的位置是通过对设备在管腔内部的腔外图像执行图像处理来确定的。
针对一些应用，对丝线的辐射不透明部分的尖端在给定图像内的位置的识别可以被用于帮助确定用于在图像与第二图像之间的映射的变换函数，例如，根据在Steinberg的WO 13/174472中描述的技术，在此通过引用将其并入本文。例如，可以确定用于将当前荧光透视检查图像映射到先前采集的血管造影图像或者相反的变换函数。针对一些应用，通过将当前荧光透视检查图像内的一个或多个特征的布置与先前采集的血管造影图像内的路线的至少部分的形状进行比较，来确定用于将当前荧光透视检查图像映射到先前采集的血管造影图像的变换函数。针对一些应用，特征中的至少一个为在当前荧光透视检查图像中引导丝线的辐射不透明部分。
针对一些应用，基于所确定的变换函数，处理器确定腔内设备在管腔内的位置，例如，根据在Steinberg的WO 13/174472中描述的技术，在此通过引用将其并入本文。例如，可以确定血管内由腔内数据采集设备(例如，腔内成像设备，或者被配置为采集多个功能腔内数据点的腔内数据采集设备)在其处采集一个或多个腔内数据点的位置。基于在血管内所确定的在其处采集腔内数据点的位置，处理器可以例如通过生成腔内成像堆叠和/或通过生成对腔内数据点与血管内在其处采集腔内数据点的位置之间的对应性的指示来生成输出。备选地，基于在血管内所确定的在其处采集腔内数据点的位置，处理器可以使用上文描述和/或如在Tolkowsky的US 2012/0004537和/或Steinberg的WO 13/174472中描述的技术，一起使用腔内数据点与腔外成像，在此通过引用将其并入本文。
针对一些应用，对丝线的辐射不透明部分的尖端在给定图像内的位置的识别可以被用于帮助对图像的部分的归类，如与引导丝线的远端相关联，例如，根据在Steinberg的WO 13/174472中描述的技术，在此通过引用将其并入本文。例如，对图像的部分的归类与引导丝线的远端相关联可以被用于帮助确定用于将一幅图像映射到另一幅图像的变换函数，根据在 Steinberg的WO 13/174472中描述的技术，在此通过引用将其并入本文。
注意到，尽管本文中所描述的一些技术主要是相对于腔外荧光透视检查/血管造影图像和腔内图像来描述，但本发明的范围包括将本文中所描述的技术应用于其他形式的腔外和腔内图像和/或数据，加以必要的变通。例如，腔外图像可以包括通过荧光透视检查、CT、MRI、超声、PET、SPECT、其他腔外成像技术或它们的任意组合生成的图像。腔内图像可以包括通过血管内超声(IVUS)、光学相干断层摄影(OCT)、近红外光谱(NIRS)、血管内超声(IVUS)、支气管内超声(EBUS)、磁共振(MR)、其他腔内成像技术或它们的任意组合生成的图像。腔内数据可以包括涉及压力(例如血流储备分数)、流量、温度、电活动或它们的任意组合的数据。
尽管本文中所描述的一些技术主要是在血管上执行的，但本发明的范围包括在血管系统、呼吸道、消化道、尿道、患者的身体内的任意其他官腔结构的管腔，或患者的身体内的任意其他核实的解剖结构上，执行相似的技术，加以必要的变通。可以对其应用本文中所描述的技术的解剖结构的范例包括冠状血管、冠状动脉病灶、血管、血管病灶、管腔、管腔病灶和/或瓣膜。
本发明中描述的本发明的应用能够采取可从计算机可用或计算机可读介质获取的计算机程序产品的形式，其提供由计算机或任意指令运行系统 (例如计算机处理器28)使用或与之有关的程序代码。出于本描述的目的，计算机可用或计算机可读介质能够为能够包括、存储、通信、传播或传输由指令运行系统、装置或设备使用或与之有关的程序的任意装置。介质能够为电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)或传播介质。通常，计算机可用或计算机可读介质为非瞬态计算机可用或计算机可读介质。
计算机可读介质的范例包括半导体或固态存储器、磁带、移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬磁盘和光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读写(CD-R/W) 和DVD。
适用于存储和/或运行程序代码的数据处理系统将包括通过系统总线被直接或间接耦合到存储器元件(例如，存储器29)的至少一个处理器(例如，计算机处理器28)。存储器元件能够包括在程序代码的实际运行期间采用的本地存储器、大容量存储器，以及提供至少一些程序代码的暂时存储的高速缓存存储器，以减少在运行期间必须从大容量存储器取回代码的次数。系统能够在程序存储设备上读取创新性指令，并遵循这些指令执行本发明的实施例的方法。
网络适配器可以被耦合到处理器以使得处理器能够通过介入私人或公共网络，变得被耦合到其他处理器或远程打印机或存储设备。调制解调器、光缆调制解调器和以太网卡仅为几种目前可用类型的网络适配器。
用于执行本发明的操作的计算机程序代码可以用一种或多种编程语言的组合来编写，包括面向对象的编程语言，例如Java、Smalltalk、C++等等，以及常规的程序化编程语言，例如C编程语言或类似编程语言。
将理解，图3A、图3B、图3C和图5中所示的流程图的每个方框以及流程图中的方框的组合，能够通过计算机程序指令来实施。这些计算机程序指令可以被提供到通用计算机的处理器，或其他可编程数据处理装置，以产生机器，使得指令在经由计算机的处理器(例如，计算机处理器28) 或其他可编程数据处理装置运行时，创建用于实施在流程图中说明的功能/ 行为和/或在本申请中描述的算法的装置。这些计算机程序指令也可以被存储在计算机可读介质中，其能够引导计算机或其他可编程数据处理装置以特定的方式运行，使得计算机可读介质中存储的指令产生制品，该制品包括实施流程图方块中说明的功能/行为的指令装置。计算机程序指令也饿可以被加载到计算机或其他可编程数据处理装置上，以引起在计算机或其他可编程装置上执行一系列预算步骤，以产生计算机实施的过程，使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图中说明的功能/ 行为和/或在本申请中描述的算法的过程。
计算机处理器28通常为硬件设备，其利用计算机程序指令进行编程以产生专用计算机。例如，当被编程为执行参考图2A-图2C和图3A-图3C 描述的算法时，计算机处理器28通常充当专用的设备特异性参数测量计算机处理器。当被编程为执行参考图4和图5描述的算法时，计算机处理器 28通常充当专用的引导丝线尖端识别计算机处理器。通常，取决于所使用的存储器的技术，本文中所描述的由计算机处理器28执行的运算将存储器 29的物理状态——其为真实物理制品——变换为具有不同的磁极性、电荷等等。
本发明的范围包括将本文中所描述的装置和方法与在如下申请的任一个中描述的装置和方法进行组合，通过引用将这些申请全部并入本文：
Iddan于2008年3月9日递交的题为“Imaging and tools for use with movingorgans”的国际申请PCT/IL2008/000316(公开号WO 08/107905)；
Iddan于2008年3月10日递交的题为“Imaging and tools for use with movingorgans”的美国专利申请12/075252(公开号US 2008/0221440)；
Iddan于2009年6月18日递交的题为“Stepwise advancement of a medicaltool”的国际申请PCT/IL2009/000610(公开号WO 09/153794)；
Iddan于2009年6月18日递交的题为“Stepwise advancement of a medicaltool”的美国专利申请12/487315(公开号US 2009/0306547)；
Steinberg的美国专利申请12/666879(公开号US 2012/0230565)，其为 Cohen于2009年11月18日递交的题为“Image processing and tool actuation for medicalprocedures”的PCT申请号PCT/IL2009/001089(公开号WO 10/058398)的美国国家阶段；
Cohen于2010年5月17日递交的题为“Identification and presentation ofdevice-to-vessel relative motion”的美国专利申请12/781366(公开号US 2010/0222671)；
于2011年5月17日递交的题为“Identification and presentation of device-to-vessel relative motion”的国际专利申请PCT/IL2011/000391(公开号WO 11/145094)；
Tolkowsky于2011年9月8日递交的US 13/228229(公开号US 2012/0004537)，其为Tolkowsky于2011年7月28日递交的题为“Co-use of endoluminal data andextraluminal imaging”的国际申请PCT/IL2011/000612 (公开号WO 12/014212)的继续案；
美国专利申请14/128243(公开号US 2014/0140597)，其为于2012年6 月21日递交的题为“Luminal background cleaning”的国际专利申请 PCT/IL2012/000246(公开号WO12/176191)的美国国家阶段；
Tolkowsky于2011年9月8日递交的题为“Co-use of endoluminal data andextraluminal imaging”的美国专利申请13/228229(公开号US 2012/0004537)；
Steinberg于2013年12月5日递交的题为“Co-use of endoluminal data andextraluminal imaging”美国专利申请14/097922(公开号US 2014/0094691，其为Steinberg于2013年5月21日递交的题为“Co-use of endoluminal data andextraluminal imaging”的国际申请PCT/IL2013/050438 (公开号WO 13/174472)的继续案；以及
Tolkowsky于2013年12月27日递交的题为“Determining a characteristic of alumen by measuring velocity of a contrast agent”的美国专利申请 14/142082(公开号US 2014/0121513)，其为Tolkowsky于2013年6月26 日递交的题为“Flow-related imageprocessing in luminal organs”的国际申请 PCT/IL2013/050549(公开号WO 14/002095)的继续案。
本领域技术人员将认识到，本发明不限于上文已具体示出和描述的。相反，本发明的范围包括上文描述的各个特征的组合和子组合，以及对它们的变化和修改，这些是现有技术中没有，但本领域技术人员在阅读了前面的描述后会想到的。

Claims (15)

1.一种用于与对象的血管内的丝线的图像一起使用的装置，所述丝线包括辐射不透明部分，所述装置包括：
输出设备；以及
至少一个计算机处理器，其被配置为：
通过如下操作自动地确定所述丝线的所述辐射不透明部分的尖端在所述图像内的位置：
针对所述图像的至少部分内的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组细长像素的部分的程度，确定对所述像素的丝线性质度量；
针对所述图像的至少所述部分内的每个像素，确定所述像素的强度；并且
通过探测在所述图像的所述部分内的区域内存在这样的至少一个像素：在所述像素处，如下两者的变化均大于各自的阈值量，来确定所述丝线的所述辐射不透明部分的所述尖端位于所述区域内：
相对于具有所述给定特性的一组像素中的至少一些的所述丝线性质度量的值，所述像素的所述丝线性质度量，以及
相对于具有所述给定特性的一组像素中的至少一些的所述强度的值，所述像素的所述强度；并且
响应于所确定的所述丝线的所述辐射不透明部分的所述尖端在所述图像内的位置，在所述输出设备上生成输出。
2.根据权利要求1所述的装置，其中，所述计算机处理器被配置为：通过探测存在沿着一方向设置的这样的至少一个像素，所述方向对应于所述区域内的所述一组像素的长度的局部方向，在所述像素处，所述像素的所述丝线性质度量的变化大于所述阈值量，来探测存在这样的至少一个像素，在所述像素处，所述像素的所述丝线性质度量的变化大于所述阈值量。
3.根据权利要求1所述的装置，其中，所述计算机处理器被配置为：通过探测存在沿着一方向设置的这样的至少一个像素，所述方向对应于所述一组像素的长度的局部方向，在所述像素处，所述像素的所述强度的变化大于所述阈值量，来探测存在这样的至少一个像素，在所述像素处，所述像素的所述强度的变化大于所述阈值量。
4.根据权利要求1所述的装置，
其中，所述计算机处理器被配置为：基于所确定的所述丝线的所述辐射不透明部分的所述尖端的位置，来确定所述丝线的所述辐射不透明部分在所述图像内的位置，并且
其中，所述处理器被配置为：响应于所确定的所述丝线的所述辐射不透明部分在所述图像内的位置，来生成所述输出。
5.根据权利要求1所述的装置，
其中，所述计算机处理器被配置为：基于所确定的所述丝线的所述辐射不透明部分的所述尖端的位置，来确定所述丝线的所述辐射不透明部分的中心在所述图像内的位置，并且
其中，所述计算机处理器被配置为：响应于所确定的所述丝线的所述辐射不透明部分的所述中心在所述图像内的位置，来生成所述输出。
6.根据权利要求1所述的装置，其中，所述计算机处理器被配置为使用机器学习技术确定针对所述图像的至少所述部分内的所述像素中的每个像素的所述丝线性质度量。
7.根据权利要求1所述的装置，其中，所述计算机处理器被配置为：针对所述图像的至少所述部分内的所述像素中的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组连续细长像素的部分的程度，来确定针对所述图像的至少所述部分内的所述像素中的每个像素的所述丝线性质度量。
8.根据权利要求1所述的装置，其中，所述计算机处理器被配置为：通过分析所述图像的至少所述部分的多尺度二阶局部结构的本征值，来确定针对所述图像的至少所述部分内的所述像素中的每个像素的所述丝线性质度量。
9.根据权利要求1所述的装置，其中，所述计算机处理器被配置为：通过对所述图像的至少所述部分应用增强曲线结构的滤波器，确定针对所述图像的至少所述部分内的所述像素中的每个像素的所述丝线性质度量。
10.根据权利要求1所述的装置，其中，所述计算机处理器被配置为：通过对所述图像的至少所述部分应用探测曲线结构的滤波器，确定针对所述图像的至少所述部分内的所述像素中的每个像素的所述丝线性质度量。
11.根据权利要求1-11中的任一项所述的装置，其中，所述计算机处理器被配置为：基于所确定的所述丝线的所述辐射不透明部分的所述尖端在所述图像内的位置，将所述图像与第二图像对齐。
12.根据权利要求1-11中的任一项所述的装置，其中，所述计算机处理器被配置为：至少部分地响应于所确定的所述丝线在所述图像内的位置，确定用于在所述图像与所述第二图像之间的映射的变换函数，并且其中，所述计算机处理器被配置为基于所确定的变换函数生成所述输出。
13.根据权利要求1-11中的任一项所述的装置，其中，所述计算机处理器被配置为：基于所确定的所述丝线在所述图像内的位置，确定所述腔内设备在所述血管内的位置，并且其中，所述计算机处理器被配置为响应于所确定的所述腔内设备的位置生成所述输出。
14.一种用于与对象的血管内的丝线的图像一起使用的方法，所述丝线包括辐射不透明部分，所述方法包括：
使用至少一个计算机处理器，通过如下操作自动地确定所述丝线的所述辐射不透明部分的尖端在所述图像内的位置：
针对所述图像的至少部分内的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组细长像素的部分的程度，来确定对所述像素的丝线性质度量；
针对所述图像的至少所述部分内的每个像素，确定所述像素的强度；并且
通过探测在所述图像的所述部分内的区域内这样的至少一个像素：在所述像素处如下两者的变化均大于各自的阈值量，来确定所述丝线的所述辐射不透明部分的所述尖端位于所述区域内：
相对于拥有具有所述给定特性的一组像素中的至少一些的像素组的所述丝线性质度量的值，所述像素的所述丝线性质度量，以及
相对于具有所述给定特性的一组像素中的至少一些的所述强度的值，所述像素的所述强度；并且
响应于所确定的所述丝线的所述辐射不透明部分的所述尖端在所述图像内的位置，在输出设备上生成输出。
15.一种用于与对象的血管内的丝线的图像一起使用的计算机软件产品，所述丝线包括辐射不透明部分，所述计算机软件产品包括在其中存储程序指令的非瞬态计算机可读介质，所述指令在被计算机读取时令所述计算机执行如下步骤：通过如下操作自动地确定所述丝线的辐射不透明部分的尖端在所述图像内的位置：针对所述图像的至少部分内的每个像素，通过测量所述像素连同所述图像内的其他像素形成具有给定特性的一组细长像素的部分的程度，来确定所述像素的丝线性质度量；针对所述图像的至少所述部分内的每个像素，确定所述像素的强度；并且通过探测在所述区域内存在这样的至少一个像素，在所述像素处如下两者的变化均大于各自的阈值量，来确定所述丝线的所述辐射不透明部分的所述尖端位于所述图像的所述部分内的区域内：相对于具有所述给定特性的所述一组像素中的至少一些的所述丝线性质度量的值，所述像素的所述丝线性质度量，以及相对于具有所述给定特性的所述一组像素中的至少一些的所述强度的值，所述像素的所述强度；并且响应于所确定的所述丝线的所述辐射不透明部分的所述尖端在所述图像内的位置，来生成输出。
CN202211060251.XA 2014-04-10 2015-04-02 在存在医学设备的情况下的图像分析 Pending CN115363569A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201461977891P 2014-04-10 2014-04-10
US61/977,891 2014-04-10
CN201580018911.XA CN106489152A (zh) 2014-04-10 2015-04-02 在存在医学设备的情况下的图像分析
PCT/IL2015/050372 WO2015155770A1 (en) 2014-04-10 2015-04-02 Image analysis in the presence of a medical device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201580018911.XA Division CN106489152A (zh) 2014-04-10 2015-04-02 在存在医学设备的情况下的图像分析

Publications (1)

Publication Number Publication Date
CN115363569A true CN115363569A (zh) 2022-11-22

Family

ID=54287393

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580018911.XA Pending CN106489152A (zh) 2014-04-10 2015-04-02 在存在医学设备的情况下的图像分析
CN202211060251.XA Pending CN115363569A (zh) 2014-04-10 2015-04-02 在存在医学设备的情况下的图像分析

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580018911.XA Pending CN106489152A (zh) 2014-04-10 2015-04-02 在存在医学设备的情况下的图像分析

Country Status (5)

Country Link
US (1) US20170032523A1 (zh)
EP (2) EP3176753B1 (zh)
JP (1) JP6487027B2 (zh)
CN (2) CN106489152A (zh)
WO (1) WO2015155770A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11197651B2 (en) 2007-03-08 2021-12-14 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
US9375164B2 (en) 2007-03-08 2016-06-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US10716528B2 (en) 2007-03-08 2020-07-21 Sync-Rx, Ltd. Automatic display of previously-acquired endoluminal images
US9968256B2 (en) 2007-03-08 2018-05-15 Sync-Rx Ltd. Automatic identification of a tool
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
WO2010058398A2 (en) 2007-03-08 2010-05-27 Sync-Rx, Ltd. Image processing and tool actuation for medical procedures
EP2129284A4 (en) 2007-03-08 2012-11-28 Sync Rx Ltd IMAGING AND TOOLS FOR USE WITH MOBILE ORGANS
WO2012176191A1 (en) 2011-06-23 2012-12-27 Sync-Rx, Ltd. Luminal background cleaning
US11064903B2 (en) 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US10362962B2 (en) 2008-11-18 2019-07-30 Synx-Rx, Ltd. Accounting for skipped imaging locations during movement of an endoluminal imaging probe
US9974509B2 (en) 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
JP6134789B2 (ja) 2012-06-26 2017-05-24 シンク−アールエックス，リミティド 管腔器官における流れに関連する画像処理
US20150305631A1 (en) * 2014-04-25 2015-10-29 Medtronic, Inc. Real-Time Relationship Between Geometries of an Instrument and a Structure
EP3200155B1 (en) 2014-05-14 2019-07-31 Sync-RX, Ltd. Object identification
US10929702B2 (en) 2015-09-10 2021-02-23 Sync-Rx, Ltd Automatic image feature removal
JP7303144B2 (ja) * 2016-04-05 2023-07-04 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
WO2017221159A1 (en) 2016-06-22 2017-12-28 Sync-Rx, Ltd. Updating an indication of a lumen location
JP2019522529A (ja) 2016-06-22 2019-08-15 エスワイエヌシー−アールエックス、リミテッド 内腔に沿った管腔内デバイスの管腔内経路の推定
AU2017320475B2 (en) 2016-09-02 2022-02-10 FutureVault Inc. Automated document filing and processing methods and systems
EP3507723A4 (en) 2016-09-02 2020-04-01 FutureVault Inc. SYSTEMS AND METHODS FOR SHARING DOCUMENTS
WO2018039772A1 (en) 2016-09-02 2018-03-08 FutureVault Inc. Real-time document filtering systems and methods
WO2018081665A1 (en) * 2016-10-28 2018-05-03 Sv-Medtech Inc. Device and method for intravascular imaging and sensing
CN108399647B (zh) * 2018-03-05 2021-10-26 四川和生视界医药技术开发有限公司 视网膜血管边缘线的编辑方法以及编辑装置
CN108619621B (zh) * 2018-05-23 2020-08-21 郑向鹏 一种用于肿瘤患者放射治疗精准定位及摆位的系统
JP7378484B2 (ja) * 2018-10-26 2023-11-13 コーニンクレッカ フィリップス エヌ ヴェ 自動及び支援ラベル及びブックマークを用いた管腔内超音波イメージング
JP7373980B2 (ja) * 2019-11-29 2023-11-06 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置、およびマーカ検出プログラム
CN112330638B (zh) * 2020-11-09 2023-06-16 苏州大学 一种视网膜oct图像水平配准和图像增强方法
CN115629347B (zh) * 2022-10-20 2023-09-19 无锡鸣石峻致医疗科技有限公司 一种磁共振成像系统中获得梯度轨迹的方法、装置和介质

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7942888B2 (en) * 1999-09-13 2011-05-17 Rex Medical, L.P. Vascular hole closure device
US20040215235A1 (en) * 1999-11-16 2004-10-28 Barrx, Inc. Methods and systems for determining physiologic characteristics for treatment of the esophagus
US7289652B2 (en) * 2001-11-21 2007-10-30 Koninklijke Philips Electronics, N. V. Medical viewing system and method for detecting and enhancing structures in noisy images
AU2003278465A1 (en) * 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Medical viewing system and method for detecting boundary structures
EP1570432B1 (en) * 2002-12-04 2017-03-22 Koninklijke Philips N.V. Medical viewing system and method for detecting borders of an object of interest in noisy images
JP4421203B2 (ja) * 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
EP1665495B1 (de) 2003-09-23 2011-12-21 Aloys Wobben Verfahren zum betreiben einer windenergieanlage während einer störung im netz
EP1744675B1 (en) * 2004-04-29 2013-10-30 Koninklijke Philips N.V. Viewing system for control of ptca angiograms
EP1835855B1 (en) * 2005-01-11 2017-04-05 Volcano Corporation Vascular image co-registration
US8295577B2 (en) * 2005-03-31 2012-10-23 Michael Zarkh Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ
DE102005028746B4 (de) * 2005-06-21 2018-02-22 Siemens Healthcare Gmbh Verfahren zum Ermitteln der Position und Orientierung eines Objekts, insbesondere eines Katheters, aus zweidimonsionalen Röntgenbildern
CN101523438A (zh) * 2006-10-06 2009-09-02 皇家飞利浦电子股份有限公司 通过识别位于物体内的结构在剖面内的2d表示来描述该结构的空间特征
US7831096B2 (en) * 2006-11-17 2010-11-09 General Electric Company Medical navigation system with tool and/or implant integration into fluoroscopic image projections and method of use
US8165360B2 (en) * 2006-12-06 2012-04-24 Siemens Medical Solutions Usa, Inc. X-ray identification of interventional tools
WO2010058398A2 (en) * 2007-03-08 2010-05-27 Sync-Rx, Ltd. Image processing and tool actuation for medical procedures
WO2012176191A1 (en) * 2011-06-23 2012-12-27 Sync-Rx, Ltd. Luminal background cleaning
WO2009153794A1 (en) 2008-06-19 2009-12-23 Sync-Rx, Ltd. Stepwise advancement of a medical tool
EP2129284A4 (en) 2007-03-08 2012-11-28 Sync Rx Ltd IMAGING AND TOOLS FOR USE WITH MOBILE ORGANS
US9629571B2 (en) 2007-03-08 2017-04-25 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
US11064964B2 (en) 2007-03-08 2021-07-20 Sync-Rx, Ltd Determining a characteristic of a lumen by measuring velocity of a contrast agent
US20100232672A1 (en) * 2007-08-17 2010-09-16 Koninklijke Philips Electronics N.V. Projection-based removal of high-contrast objects
US7792334B2 (en) * 2008-03-31 2010-09-07 Immersion Corporation Locating blood vessels
US11064903B2 (en) * 2008-11-18 2021-07-20 Sync-Rx, Ltd Apparatus and methods for mapping a sequence of images to a roadmap image
US9974509B2 (en) * 2008-11-18 2018-05-22 Sync-Rx Ltd. Image super enhancement
AU2010278893B2 (en) * 2009-07-29 2014-02-27 C.R. Bard, Inc. Tubular filter
US8265224B2 (en) * 2010-01-12 2012-09-11 Siemens Medical Solutions Usa, Inc. System for adjusting angiographic X-ray imaging parameters based on image content
TW201808357A (zh) * 2010-03-22 2018-03-16 賽諾菲阿凡提斯德意志有限公司 用於判定與醫療裝置有關的資訊之裝置、方法、系統及電腦程式
US8787635B2 (en) * 2010-05-03 2014-07-22 Siemens Aktiengesellschaft Optimization of multiple candidates in medical device or feature tracking
WO2011145094A2 (en) 2010-05-17 2011-11-24 Sync-Rx, Ltd. Identification and presentation of device-to-vessel relative motion
EP2599033B1 (en) 2010-07-29 2021-03-31 Sync-RX, Ltd. Co-use of endoluminal data and extraluminal imaging
JP6405090B2 (ja) * 2010-09-23 2018-10-17 シー・アール・バード・インコーポレーテッドＣ Ｒ Ｂａｒｄ Ｉｎｃｏｒｐｏｒａｔｅｄ 患者の血管系内で医療装置の位置を追跡するための医療システム及び医療システムを作動するための方法
JP5726482B2 (ja) * 2010-11-08 2015-06-03 株式会社東芝 画像処理装置及びそれを用いたｘ線診断装置、画像処理装置の作動方法
RU2591595C2 (ru) * 2011-01-17 2016-07-20 Конинклейке Филипс Электроникс Н.В. Система и способ детектирования размещения иглы при биопсии под контролем изображения
AU2013259659A1 (en) * 2012-05-08 2015-01-15 Angiometrix Corporation Systems for linear mapping of lumens
DE102012010024A1 (de) 2012-05-21 2013-11-21 Metasys Medizintechnik Gmbh Implantatträger
JP6134789B2 (ja) 2012-06-26 2017-05-24 シンク−アールエックス，リミティド 管腔器官における流れに関連する画像処理

Also Published As

Publication number Publication date
JP2017515622A (ja) 2017-06-15
CN106489152A (zh) 2017-03-08
EP3176753B1 (en) 2018-10-24
EP3129914A4 (en) 2017-04-26
US20170032523A1 (en) 2017-02-02
WO2015155770A1 (en) 2015-10-15
JP6487027B2 (ja) 2019-03-20
EP3129914A1 (en) 2017-02-15
EP3176753A1 (en) 2017-06-07

Similar Documents

Publication Publication Date Title
US11676272B2 (en) Object identification
JP6487027B2 (ja) 医療装置の存在下での画像解析
US11883149B2 (en) Apparatus and methods for mapping a sequence of images to a roadmap image
US9144394B2 (en) Apparatus and methods for determining a plurality of local calibration factors for an image
US9101286B2 (en) Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points
US8855744B2 (en) Displaying a device within an endoluminal image stack
US20140094660A1 (en) Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe
EP2852319A2 (en) Co-use of endoluminal data and extraluminal imaging
JP7278319B2 (ja) 内腔に沿った管腔内デバイスの管腔内経路の推定
US10929702B2 (en) Automatic image feature removal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination