CN116669634A - 导线粘附估计 - Google Patents
导线粘附估计 Download PDFInfo
- Publication number
- CN116669634A CN116669634A CN202180084588.1A CN202180084588A CN116669634A CN 116669634 A CN116669634 A CN 116669634A CN 202180084588 A CN202180084588 A CN 202180084588A CN 116669634 A CN116669634 A CN 116669634A
- Authority
- CN
- China
- Prior art keywords
- lead
- machine learning
- adhesion
- learning algorithm
- blood vessel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 137
- 239000013598 vector Substances 0.000 claims abstract description 113
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 106
- 238000010801 machine learning Methods 0.000 claims abstract description 102
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 70
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 238000002594 fluoroscopy Methods 0.000 claims description 6
- 238000001990 intravenous administration Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 5
- 238000002604 ultrasonography Methods 0.000 claims 2
- 230000006870 function Effects 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013479 data entry Methods 0.000 description 8
- 210000003462 vein Anatomy 0.000 description 8
- 230000000747 cardiac effect Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 210000002620 vena cava superior Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 208000015181 infectious disease Diseases 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 206010058990 Venous occlusion Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000002308 calcification Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002513 implantation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010002329 Aneurysm Diseases 0.000 description 1
- 235000003332 Ilex aquifolium Nutrition 0.000 description 1
- 241000209027 Ilex aquifolium Species 0.000 description 1
- 241000898323 Microtus irani Species 0.000 description 1
- 206010048671 Venous stenosis Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- -1 exponential diagram Substances 0.000 description 1
- 230000002169 extracardiac Effects 0.000 description 1
- 210000005003 heart tissue Anatomy 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000003698 laser cutting Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000004088 microvessel Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 210000001321 subclavian vein Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/372—Arrangements in connection with the implantation of stimulators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/056—Transvascular endocardial electrode systems
- A61N1/057—Anchoring means; Means for fixing the head inside the heart
- A61N2001/0578—Anchoring means; Means for fixing the head inside the heart having means for removal or extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种用于确定导线的一部分是否已粘附在血管上的方法。该方法包括获得与内有导线的血管相对应的数据,并根据与血管相对应的数据来确定与该导线相对应的运动向量。运动向量被输入到机器学习算法中,该机器学习算法被训练为学习运动向量与导线的一部分是否已粘附在血管上之间的相关性,并输出导线的区段的粘附程度。
Description
技术领域
本公开涉及移除植入的心脏设备领域。具体而言,本公开涉及估计心脏设备的导线是否已粘附在血管的壁上。
背景技术
在一些情况下,例如在发生故障或感染的情况下,可能需要取出手术植入的心脏设备,例如起搏器或除颤器。移除此类设备可能潜在地意味着高风险的手术。
具体而言,一根或多根电线,统称为导线,通常从控制单元(如脉冲信号发生器)延伸到心脏。在起搏器中,这些导线使设备能够通过提供一连串的电脉冲来影响心率,而在除颤器中,导线可适于向心脏提供高能量的脉冲,以破坏危险的纤颤状况。
导线通常穿过静脉到达心脏。导线的末端通常可锚固在心肌上,例如通过齿、螺钉或钩,并在植入几个月后锚固在瘢痕组织上。
起搏器或除颤器的导线的取出可通过各种工具进行,包括简单的护套、基于激光的取出设备或旋转的机械切割设备。
更一般而言,目前大多数心血管可植入电子设备(CIED)使用将发生器与心脏组织连接的导线。考虑到导线故障、发生器更换以及可直接影响CIED的临床情况(如感染),导线管理是一个重要问题。
每年约有150万个植入式心脏设备被放置。尽管最近的技术进步已经消除了在选定群组中使用CIED的经静脉或心外膜导线的需要,但由于各种原因,包括起搏器或ICD导线的故障或召回、设备升级或修改、静脉闭塞、植入部位(袋穴)感染、血流感染、由于存在废弃的导线而导致的MRI禁忌或患者因个人喜好或无进一步指征而希望移除系统,导线管理仍然至关重要。
心脏CT成像通常用于评估脉管或心外导线的定位,并可能识别静脉粘附的部位。荧光透视通常用于确定静脉闭塞或狭窄的部位,并评估导线移动和粘附的区域。
导线取出是利用像Spectranetics公司的GuideLight和TightRail的工具进行的,这些工具可在导线上行进,并使用机械切割头或激光切割头将其与血管和瘢痕组织分开。在手术过程中,医生依靠来自设备的触觉反馈来确定导线粘附情况。
用于确定导线粘附的术前CT受到金属伪影的影响,这降低了确定血管内导线定位的诊断准确性。在导线取出手术过程中,特别是在上腔静脉(SVC)附近,存在着血管撕裂的风险。如果医生能在取出手术过程中获得更多关于粘附的信息,这种情况可以避免。
Holm Mikayle等人的“Algorithm for the analysis of pre-extractioncomputed tomographic images to evaluate implanted lead-lead interactions andvascular-lead attachments”(Heart Rhythm Elsevier vol.16,no.6,2020年1月,第1009-1016页(XP086163544))中公开了CT图像的分割以创建导线和上腔静脉(SVC)的3D呈现。导线与SVC上的最近点之间的距离随着时间的推移而被追踪,且在发现恒定的可忽略的距离时假定导线粘附。
因此,需要一种改进的方法来确定血管内导线的粘附。此外,还需要一种在取出操作期间确定血管内导线的粘附程度的方法。
发明内容
本公开的各方面提供了用于确定导线的一部分是否已粘附在血管上的设备、系统、方法和计算机程序,并由权利要求来限定。
根据本公开的一方面的示例,提供了一种用于确定导线的一部分是否已粘附在血管上的方法,该方法包括:
接收或获得与血管相对应的数据,其中该血管内部具有导线;
根据与血管相对应的数据来确定与导线相对应的运动向量;
将运动向量输入到机器学习算法中,其中:
该机器学习算法被训练为学习运动向量与导线的一部分是否已粘附在血管上之间的相关性,以及
该机器学习算法被配置为基于输入的运动向量,输出导线的区段的粘附程度。
与血管相对应的数据包括两个或更多个的2D图像,优选地但不是必需地,来自至少两个不同的角度。在短的时间段内需要2D图像,例如几个心跳和/或呼吸周期,如2至20次心跳或2至10个呼吸周期。机器学习算法不需要脉管模型,但可以根据导线的不同区段的运动向量来确定导线粘附情况。运动向量可以从2D图像中提取。
数据的接收或获取可使用输入接口来完成,而结果数据的输出可使用输出接口来完成。确定和处理步骤可使用本文所述的处理器来完成。该方法可以是一种计算机实现的方法。
已知的是,通过观察导线在血管内的移动,用户可以估计导线是否已粘附在血管上的位置。然而,这需要经验和用于观察移动的导线的不同观察角度的知识。在一些情况下,导线可能是相对于观察平面横向地移动,因此无法看到移动。
与血管相对应的数据优选地包含血管的图像。替代性地(或另外),该数据可包含通过光纤真实形状(FORS)、电磁跟踪或类似方法获得的血管及其内部的导线的信息。
内有导线的血管的图像包含与血管、血管附近的组织和导线有关的很多信息。如果在不同的时间获得两个图像,由于血管、组织和导线随时间的移动,两个图像会不同。
图像之间的变化可通过运动向量进行量化。实际上,运动向量也与由图像中的物体(血管、组织和导线)做出的运动有关。
本发明人已认识到,运动向量包含了关于导线的运动所需的所有信息,同时去除图像中不必要的信息(如颜色、形状等)。因此,可以有效地训练机器学习算法,以学习运动向量与导线是否已粘附在血管的壁上之间的模式。
机器学习算法输出导线的区段的粘附程度(或粘附的程度)。换句话说,粘附程度对应于导线的区段粘附在血管上的可能性。在一些情况下,粘附程度可以是二元分类(即,是/否)。然而,在其他情况下,粘附程度可以指示粘附的概率,或者在另一示例中,粘附程度可指示粘附的严重程度,或者粘附的钙化程度。
粘附和粘着在这种情景下被互换使用,指的是导线和血管之间不期望的物理连接。
导线的区段指的是预先限定尺寸的区域(或体积),它完全包含图像中可见的导线的区域(或体积)。例如,这些区段可以是单个像素或一组10x10个像素。替代性地,这些区段可每一个包含单个运动向量(或不止一个)。区段的尺寸是任意的,且可取决于可用的处理资源和/或机器学习算法的特定训练。
运动向量可以是2D运动向量。2D运动向量可以有矢量和/或非矢量的参数化形式。参数化可以是x-/y-平移、平移的方向和幅度、四元数、矩阵、指数图、矢量场的形式。
本发明人已认识到,导线的2D运动与导线和血管的粘附有关。因此,本发明人训练了一种机器学习算法以学习2D运动和导线与血管之间的粘附程度之间的相关性。2D运动是由2D运动向量给出的,这些向量是根据血管的图像确定的。
使用以2D运动向量作为输入的机器学习算法,允许用户在不严格需要3D成像模式的情况下确定导线是否已粘附在血管上。2D运动向量可根据2D成像来确定。
此外,通过将2D运动向量输入到机器学习算法中,可不需要输入全部图像。这就减少了输入到机器学习算法中的总体数据,从而改善了确定粘附程度的速度。例如,这可以使粘附程度的确定实时完成和/或允许增加机器学习算法的复杂性(这可以改善准确性)。
血管的图像可以是2D图像。
确定导线是否已粘附在血管上通常是用3D成像模式(如CT扫描)来完成的。因此,导线和血管的运动可以在3D空间中可视化,且用户可以确定是否有导线与血管粘附的情况。然而,这需要在3D空间中进行3D成像和分析,这难以可视化,而且分析起来很耗时。
本发明人已认识到,从2D图像中获得的运动向量也与血管的壁的粘附程度相关。因此,不需要3D成像模式,且可以减少获得图像的工作流程。
获得血管的图像可以基于2D荧光透视和/或2D静脉造影。
荧光透视和/或静脉造影通常在从受试者身上移除导线的手术期间使用(即术中)。因此,在手术期间从这些成像模式获得的图像可被用于确定粘附程度,而不需要在手术前进行成像。
输入机器学习算法中的另外的输入可以是血管的图像。机器学习算法也可以纳入X射线图像作为输入。X射线图像(或路线图图像,如静脉图)包含有关血管和/或任何解剖学运动的附加信息,机器学习算法可以利用这些信息来寻找导线和血管运动之间的有用关联性。
例如,可能有多组输入:仅运动向量(优选)或运动向量和当前或序列图像(如荧光透视图像和静脉图图像的组合)。
替代性地,机器学习算法可包括运动向量层,其用于仅从例如静脉图图像中确定运动向量。然后,机器学习算法可以确定运动向量,并根据所述运动向量确定粘附程度。
机器学习算法可被进一步被配置为基于区段及其相应的粘附程度来输出粘附位置。粘附的定位是确定粘附程度的一个重要方面。由于各区段隐含地具有彼此的相对位置,粘附的定位(例如在3个区段上)也可以由机器学习算法输出为粘附位置。替代性地,机器学习算法可以在血管的图像上输出具有指示出粘附情况的粘附程度的区段,从而指示血管上的粘附位置。
机器学习算法可被进一步配置为输出建议的观察角度,其中在建议的观察角度下拍摄的血管图像能够提供准确的运动向量。
该机器学习算法可基于:
卷积神经网络;
多层感知器;
支持向量机;
决策树模型;
多变量回归模型;或
其组合。
该方法可进一步包括在血管的图像上显示粘附程度以及相对应的运动向量。
粘附程度可基于二元分类或粘附范围。
本公开还提供了一种计算机程序产品,其包括计算机程序代码单元,当该计算机程序代码单元在具有处理系统的计算设备上执行时,致使处理系统执行该方法的所有步骤,以确定导线的一部分是否已粘附在血管上。
本发明还提供了一种用于确定导线的一部分是否已粘附在血管上的系统,该系统包括:
输入接口,其被配置为接收或获得与血管相对应的数据,其中该血管内部具有导线;和
处理器,其被配置为:
根据与血管相对应的数据来确定与导线相对应的运动向量;
将运动向量输入到机器学习算法中,其中:
该机器学习算法被训练为学习运动向量与导线的一部分是否已粘附在血管上之间的相关性,以及
该机器学习算法被配置为输出导线的区段的粘附程度。
输入接口与处理器通信联接,而处理器又与输出接口通信联接。
该系统还可包括成像设备,该成像设备被配置为获得血管的图像并将图像发送到接口。
成像设备可以是2D成像设备,其被配置为获得2D图像。
成像设备可被配置为获得2D荧光透视图像和/或2D静脉造影图像。
该系统还可包括用户接口,其用于以视觉和/或听觉格式向用户提供附连程度。优选的用户接口包括显示器,该显示器被配置为至少显示粘附程度,优选与血管的图像、运动向量和/或相对应的粘附程度一起显示。
本发明还提供了一种训练机器学习算法以学习与血管内的导线相对应的运动向量与该导线的一部分是否已粘附在血管上之间的相关性的方法,该方法包括:
获得与内有导线的血管相对应的第一组数据;
确定与血管相对应的第一组数据的基准真值,其中基准真值限定了导线是否已粘附在血管上以及粘附位置;
获得与内有导线的血管相对应的第二组数据,其中第二组数据是在血管内与第一组数据相同的解剖学位置处获得的;
根据与血管相对应的第二组数据来确定与导线相对应的运动向量;
将运动向量输入到机器学习算法中,其中该机器学习算法被配置为输出导线的区段的粘附程度;
将由机器学习算法输出的粘附程度与相对应的基准真值进行比较,并基于粘附程度与基准真值之间的比较结果来确定误差;以及
基于该误差调整机器学习算法的参数。
第一组数据可以是CT图像,因为它相对简单(与其他数据模式相比),以获得准确的基准真值。第二组数据可以是2D的X射线图像或静脉图。替代性地,第一组和第二组都可以是同一组2D X射线图像(或不同数据类型的同一组)。第二组数据将是机器学习算法将从中学习的数据类型。第一组数据仅用于确定基准真值。
第一组数据可以从导线取出手术中获得。基准真值可以通过对来自导线取出手术的数据进行注释来获得(即沿着导线的不同区段遇到的导线粘附(是/否))。
第一组数据可以从空间感测技术(如电磁跟踪或FORS)来获得,从以前的导线取出手术来获得。
第一组数据可以从以前的导线取出手术的视觉检查中获得。
比较粘附程度和基准真值可以基于交叉熵损失函数(通常用于二元分类任务)或通过执行随机梯度衰减。
机器学习算法的参数可以是一组权重,其将机器学习算法的输入映射到机器学习算法的输出。
参照下文描述的实施例,本公开的这些和其他方面将变得明显并得到阐明。
附图说明
将参照所附的示意图来描述本公开的例示说明性实施例和示例,其中:
图1示出了血管的图像,其中血管内有先前植入的心脏导线;
图2示出了内有导线的血管的图像以及与导线相对应的运动向量;
图3示出了用于确定导线的粘附程度的机器学习算法的输入和输出;
图4示出了血管的图像以及由机器学习算法输出的区段;
图5示出了机器学习算法的示例结构;
图6示出了用于机器学习算法的训练数据的示例;
图7示出了用于训练的具有两条导线的血管的CT图像;以及
图8示出了机器学习算法的示例训练方法。
图9示出了根据本公开的实施例限定的处理系统的示意图。
图10示出了包括如本文所述(例如关于图9)的处理系统的成像系统。
具体实施方式
为了更好地理解本公开的原理,并更清楚地示出如何将其付诸实施,现在将仅以举例的方式参照附图来提及所描述的实施例。
详细描述和具体示例在指示设备、系统和方法的示例性实施例时只是为了例示说明的目的,而不是为了限制本公开的范围。本公开的设备、系统和方法的这些和其他特征、方面和优点将从下面的描述、所附权利要求和附图中得到更好的理解。这些附图只是示意图且没有按比例绘制。在整个附图中使用相同的附图标记来表示相同或相似的部分。
本公开提供了一种方法,其用于确定导线的一部分是否已粘附在血管(例如血管的内壁的一部分)上。该方法包括获得与内有导线的血管相对应的数据(优选为血管的图像)并根据与血管相对应的数据来确定与导线相对应的运动向量。该运动向量被输入到机器学习算法中,该机器学习算法被训练为学习运动向量与导线的一部分是否已粘附在血管上之间的相关性,并输出导线的区段的粘附程度。
图1示出了血管102的图像,其中在血管102内部有先前植入的心脏导线104。图1(a)示出了具有导线104的血管102的图像,图1(b)示出了具有导线104在血管102内的可能移动的血管102的图像。
图1(b)中的虚线106示出了导线104可在血管102内移动的极限。例如,这可以在血管102的X射线成像或CT扫描中观察到。导线104的移动可能是由于例如受试者的心跳、受试者的呼吸或血管中的血流造成的。该运动也可由围手术期的与导线104的相互作用引起,例如在手术期间由医生执行的对部位的操纵引起的那些。
血管102也具有运动范围(未示出)。在导线104没有粘附在血管102的壁上的情况下,导线104的运动与血管102的运动的相关性很小。图1示出了两个区域,其中导线已粘附在血管102的壁上。在这种情况下,导线104随着血管102移动而移动。在导线104没有附接在血管102的壁上的其他区段中,导线104的运动是更复杂的运动。这个运动范围由图1(b)中导线104周围的虚线106来限定。
如果导线104已粘附在血管102的壁上,那么在导线104已粘附在血管102上的位置处将不可能观察到相对于血管102的任何移动。导线104在血管102内的移动可以通过使用运动向量进行量化。
图2示出了内有导线104的血管102的图像以及与导线104相对应的运动向量202。运动向量202是描绘血管102内的导线104的整体运动的方向和幅度的向量。在图2中,血管102被描绘为无运动,然而,在一些情况下,可能需要通过例如也确定血管102的运动向量来确定相对于血管的运动向量202。
可以使用例如阈值处理、多尺度脊检测方法(或其变体,如基于Hessian的血管性过滤器)、主动轮廓线方法或基于深度学习的方法,如分割(例如U-net架构),在图像中识别出导线104。识别导线104的其他方法对于本领域技术人员来说是已知的。
在一示例中,植入的导线104在荧光透视图像中是可见的,且在一些情况下,较厚的血管壁也是可见的。与血管102有关的运动向量202可以从血管102内有造影剂的荧光透视图像中得出。运动向量202可以使用基于像素(即直接)或基于特征(即间接)的运动向量估计方法从荧光透视图像序列中得出。基于深度学习的方法也可用于计算运动向量。用于确定运动向量202的方法对于本领域技术人员来说是已知的。
例如,在P.H.S.Torr和A.Zisserman的文章“Feature Based Methods forStructure Motion Estimation”以及M.Irani和P.Anandan的文章“All About DirectMethods”(均可在www.robots.ox.ac.uk得到)中讨论了多个示例。
替代性地,导线图像也可以从感测技术中得到,如电磁感测、光纤真实形状(FORS)或类似技术。
导线104的运动向量202可以通过使用从多个不同角度获取的2D荧光透视图像在3D中得出。在一个典型的导线取出案例中,从多个角度获取2D荧光透视图像以使导线104的曲率可视化。2D荧光透视图像可被用于通过从2D荧光透视图像反推被分割的导线104来重建3D中的导线104。来自两个角度的2D数据允许构建3D运动向量,例如,从两个不同角度的图像中提取2D运动向量,并将其结合起来以获得3D运动向量。使用3D运动向量为机器学习算法提供了更多的信息,以对粘附程度进行分类。与确定从时间序列的CT扫描(即4D CT—3D图像的时间序列)获得的3D运动向量相比,这种方法提供了简化的粘附程度的确定。
图3示出了用于确定导线104的粘附程度310的机器学习算法302的输入和输出。导线104的运动向量202是输入到机器学习算法302中的输入。机器学习算法302已被训练为学习导线104的运动向量202与导线104是否已粘附在血管102的壁上之间的模式/相关性。然后,机器学习算法302输出导线104的粘附程度310。
血管102的运动向量也可被输入到机器学习算法302中。替代性地(或另外),血管的图像或血管的静脉图可被输入。这些将为机器学习算法提供关于血管102的移动的知识。
在图3中,粘附程度310被示为导线104的不同区段304、306、308的二元选择。例如,区段304、306、308可以基于区段内的运动向量202的数量或基于预先限定的尺寸。机器学习算法302将区段304和306输出为“粘附”,将其余区段308(虚线)输出为“未粘附”。
替代性地,机器学习算法302可以为每个区段304、306、308输出一个概率范围。此外,机器学习算法302可以输出与输入相同的运动向量202,但对每个运动向量202有一个附加的粘附程度变量。例如,机器学习算法302可输出具有不同颜色的运动向量202(例如,绿色定义“未粘附”,橙色定义“粘附”)。
替代性地,粘附程度310的可视化可以是沿导线104的颜色梯度,其显示了导线104的所有区段304、306、308被粘附在血管102的壁上的概率。可视化也可以基于治疗设备的末端在导线104上的位置以及它在哪个区域内(即只使导线104的某些部分可视化以避免不必要的混乱)。当治疗设备(如机械式动脉瘤切除设备)在粘附附近时,只使粘附程度(颜色编码)可视化可能是有利的,因为这可减少信息的混乱。
区段304、306、308的尺寸可以是一个像素的尺寸(取决于分辨率)或预先限定数量的像素宽度/高度。
简而言之,机器学习算法302被配置为识别已粘附在血管102的壁上的导线104的区段304、306、308。这可被用来避免在导线取出期间血管破裂,在激光或机械导线取出设备之间进行选择和/或加快导线取出手术。
图4示出了血管102的图像与由机器学习算法302输出的区段304、306、308。粘附程度为“粘附”的区段304和306被显示在导线104的与血管102的壁接触的点上/附近,从而将其识别为粘附。
机器学习算法302的输出可叠加在血管102的图像(例如用于确定运动向量202的原始图像)上,以使用户了解导线104可能被附接在血管102壁上的位置。运动向量202也可被显示。
图5示出了机器学习算法302的示例结构。机器学习算法302的输入502是嵌入血管102中的导线104的运动向量202,输出是沿导线104的区段304、306、308的粘附程度310的二元指示。机器学习算法302是卷积神经网络(CNN),其最后一层506为Softmax(归一化指数函数)激活函数。使用的Softmax的损失函数是对数损失函数。在其他示例中,激活函数可以是sigmoid或其他非线性激活函数,特别是当网络执行回归任务时,例如,预测粘附的严重程度或钙化程度。例如,可以使用修正线性单元(ReLU)函数。
中间层(interim layer)504、506的数量将取决于所使用的特定实施方式。例如,它可取决于每个层所使用的函数,从输入到输出的总时间(CNN可以实时使用)或CNN设计者的特定设计选择。CNN通常由三个或更多个中间层504、506组成,每个层都由卷积操作、批量归一化、剔除、池化操作和/或非线性激活组成。
来自例如静脉图或荧光透视图像的运动向量202被计算出并输入到CNN中。CNN输出二元分类,将沿导线104的区段304、306、308分类为粘附或不粘附。类别是由CNN生成的logits对数来确定的,该对数被传递给激活函数(例如,sigmoid),该函数将它们映射为0和1之间的值。然后,阈值(例如,0.5)可被用于确定类别。
替代性地,CNN输出的粘附程度310可以是沿导线104的颜色梯度,其显示了由CNN生成的处于范围[0,1]内的值(例如平滑的颜色图)。这些值可被大致解释为导线上每个点粘附在血管102的壁上的概率。
也可以使用只使用静脉图的CNN。这里,静脉图帧以及运动向量202将被输入到CNN中。由于血管102在静脉图中是可见的,不仅可以从血管102中提取运动向量202,而且CNN还可以通过观察导线104是否被组织包围来学习,以帮助其预测。因此,CNN从血管/导线的运动和解剖学特征中学习线索,以预测导线104的粘附。解剖学情景特别有用,例如,众所周知,在大多数受试者中,导线104粘附在锁骨下静脉附近的血管102的壁上。
替代性地,也可以使用只使用单向非造影剂增强的荧光透视图像的CNN。图像序列可以在较低的心率下拍摄一次,且在由运动、药物治疗或起搏器速率改变所引起的心率增加后拍摄一次。与非粘附区域相对应的运动向量202将显示出比粘附区域更多的模式变化。
机器学习算法302也可以替代性地是多层感知器(MLP)、支持向量机(SVM)、决策树(随机森林)模型、多元回归(线性或逻辑回归),或其组合。
此外,机器学习算法302也可以输出最佳的观察角度,以便使导线104的表观运动最大化。这可以通过机器学习算法302来实现,该机器学习算法已经通过在不同的观察角度观察同一导线104的多个运动向量202而进行训练。然后,机器学习算法302可以输出观察角度建议,用户可以从中获得另外的运动向量202。
使用所述机器学习算法302的示例系统可包括介入性X射线系统,其具有适于产生X射线的X射线管和被配置为获取X射线图像的X射线检测器。这种X射线系统的示例是固定式C型臂X射线系统和移动式X射线系统。
然后,使用处理器来计算沿导线104的长度的待从X射线图像中提取的运动向量202。运动向量202可以在不同的时间(如每一新帧/每一组新帧)和沿导线104的长度确定。
然后,处理器将运动向量202输入到机器学习算法302中,该机器学习算法被配置为将沿导线的区段304、306、308分类为例如粘附袋区304、306和未粘附袋区208。
训练机器学习算法
用于训练机器学习算法302的训练数据包括被植入的导线104的运动向量202、导线104被共同植入其中的血管102的运动向量和基准真值(即导线104在每个区段304、306、208被粘附在血管102上)。运动向量202可以从时间序列的X射线图像中得到。基准真值可以从术前CT图像中获得。
图6示出了用在机器学习算法302上的训练数据202、602、604的示例。训练是在由di=(m,mv,G)描述的数据集图元上进行的,其中:
m:导线104的运动向量202;
mv:血管102的运动向量;和
G:粘附(或不粘附)的基准真值604。
图7示出了具有两个导线104的血管102的CT图像。这些图像可被用于从CT图像中识别出基准真值604。图7(a)示出了血管102的CT图像,图7(b)和7(c)示出了图7(a)的横截面(1)和(2)。
图7(b)示出了区域(1)处的横截面,其中导线104与血管102的壁游离(即未粘附)。在区域(2)中,图7(c),导线104出现在充满造影剂的血管102之外,因此显示出粘附已经发生。因此,可以从CT图像中获得基准真值。
替代性地,关于导线104的粘附的基准真值604可以通过对来自导线取出手术的数据(沿导线104的不同区段遇到的导线粘附(是/否))进行注释来获得。如果导线取出设备配备了空间感测技术,如电磁、FORS等,则可以自动记录粘附的位置。此外,还可以记录给定的导线取出设备是否成功地克服了导线104与血管102的粘附。这一信息可被用于训练单独的模型,以预测带有导线104的给定设备在其他手术中是否会成功。
获得关于导线粘附的基准真值604的另一方法是在移除导线104后对导线进行视觉检查。人们可以测量从末端到组织已粘附到导线104上的位置的距离。CT扫描可提供3D形状,且它与例如荧光透视图像的配准允许对粘附进行定位。
替代性地,机器学习算法302可以以端到端方式进行训练。例如,机器学习算法302的输入可以是沿导线104的一系列部分(ROI)。每个部分将覆盖血管102和导线104两者,从而隐含地包含导线104和血管102的壁之间的相对运动。给定这一输入,可以训练序列神经网络来预测导线104与血管102的粘附存在或不存在。
机器学习算法302可包括运动向量层,该运动向量层被训练为从血管102的图像中确定运动向量202,并基于运动向量确定粘附程度。
图8示出了机器学习算法302的示例训练方法。来自图像(例如荧光透视、电影(cine)或静脉图)的选定的导线104被分成较小的区段304、306、308,并计算沿导线103的每个区段的运动向量202。这些区段的范围可以从一个像素到几个像素。运动向量202是针对每个区段计算出的。这些被用于训练机器学习算法302,该机器学习算法将其输出的粘附程度310与从相对应的术前CT图像中获得的基准真值604进行比较802。从CT图像中确定粘附位置的基准真值604,并给相应的区段分配粘附或未粘附的标签。
在训练过程中,通过比较802输出的粘附程度310和基准真值604,优选地使用交叉熵损失函数(通常用于二元分类任务)并执行随机梯度衰减,机器学习算法302的参数被迭代优化。也可以使用其他损失函数。
机器学习算法302是任何处理输入数据以便产生或预测输出数据的自我训练算法。这里,输入数据包括运动向量,输出数据包括粘附程度。
在本公开中采用的合适的机器学习算法对技术人员来说是明显的。适合的机器学习算法的示例包括决策树算法和人工神经网络。其他机器学习算法,如逻辑回归、支持向量机或朴素贝叶斯模型(Bayesian model)都是合适的替代。
人工神经网络(或简称为神经网络)的结构是受人脑的启发。神经网络由层组成,每层包括多个神经元。每个神经元包括一个数学运算。具体而言,每个神经元可包括单一类型变换的不同加权组合(例如,同一类型的变换,sigmoid等,但加权不同)。在处理输入数据的过程中,每个神经元的数学运算在输入数据上进行,以产生数字输出,且神经网络中的每一层的输出被依次送入下一层。最后一层提供输出。
训练机器学习算法的方法是众所周知的。通常,这类方法包括获得训练数据集,其包括训练输入数据条目和相应的训练输出数据条目。初始化的机器学习算法被应用于每个输入数据条目,以产生预测的输出数据条目。预测的输出数据条目和相应的训练输出数据条目之间的误差被用来修改机器学习算法。这个过程可以重复进行,直到误差收敛,并且预测的输出数据条目与训练输出数据条目足够相似(例如±1%)。这通常被称为监督学习技术。
例如,在机器学习算法是由神经网络形成的情况下,每个神经元的数学运算(的加权)可以被修改,直到误差收敛。已知的修改神经网络的方法包括梯度下降、反向传播算法等。
单个处理器或其他单元可以实现权利要求中记载的几个项目的功能。
图9是用于确定导线(104)的一部分是否已粘附在血管(102)上的系统900的示意图。该系统可以是处理系统或单元。该系统可以采取独立方式或集成方式的计算机、控制器或工作站的形式,并具有适当的硬件和软件来执行所指示的目的。在集成形式中,该系统可以是成像系统(例如X射线或CT成像系统)的一部分或集成在成像系统中。该系统包括数据处理器和根据本文所述的实施例的适当的数据输入和输出,以执行本文所述方法的一个或多个步骤。数据处理器可以是单个处理器,但替代性地可以使用分布式处理器,其中两个或更多个处理单元被分布在多个设备或位置上,并被配置为能够相互通信。例如,这种通信可以通过无线或有线通信连接和设备在有或没有利用通信网络的情况下进行。
系统900包括输入接口912、数据处理器914和输出接口916,并可包括存储器926。输入接口912被配置为接收或获得与血管(102)相对应的数据,其中血管(102)内部具有导线(104)。例如,输入接口可包括图像数据输入接口,其被配置为接收或获得此类数据,该类数据包括内有导线的此类血管的图像数据(如上所述)。数据的一个示例是2D X射线图像数据。数据的输入用虚线箭头922表示,且输入可被连接到成像设备的图像数据的输出。
数据处理器914例如通过总线或其他连接与输入接口912和输出接口916通信联接,使得所接收的数据可由数据处理器进行处理,并且随后经处理的数据(例如包括粘附程度)可通过输出接口输出。输入接口和输出接口能够接收例如代表或包括必要的和所述的数据的电信号或光信号,并且数据处理器能够处理这种电信号和/或光信号,以执行本文所述的步骤,以用于操纵所接收的数据来提供结果数据。
数据处理器914被配置为通过执行如本文所述的方法或步骤,例如参照本文所述的流程图,从输入数据中生成粘附数据。在实施例中,处理器被配置为根据与血管(102)相对应的数据来确定与导线(104)相对应的运动向量(202),并将运动向量(202)输入到机器学习算法(302)中。然后,被配置为使用经过训练以学习运动向量(202)和导线(104)的一部分是否已粘附到血管(102)上之间的相关性的机器学习算法的数据处理器,能够为导线(104)的一个或多个区段(304、306、308)输出粘附程度(310)。然后,粘附程度被提供或发送到输出接口916。数据处理器可被进一步配置为使机器学习算法(302)基于区段(304、306、308)及其相应的粘附程度(310)而输出粘附的位置。数据处理器可被配置为使机器学习算法(302)输出建议的观察角度,其中以建议的观察角度拍摄的血管(102)的图像能够提供准确的运动向量(202)。
在一些实施例中,数据处理器被配置为基于以下一项或多项来执行机器学习算法(302):卷积神经网络;多层感知器;支持向量机;决策树模型;多变量回归模型。
在一些实施例中,系统或数据处理器可被配置为生成并向用户接口输出粘附程度(310)以及叠加在血管(102)的图像上或与血管(102)的图像一起的相对应的运动向量(202)。
在一些实施例中,运动向量(202)是2D运动向量。
在一些实施例中,输入用于接收与血管(102)相对应的数据,使其包括两个或更多个图像或由两个或更多个的图像组成,且优选为通过例如2D荧光透视和/或2D静脉造影获得的两个或更多个2D图像。
在一些实施例中,还将与血管(102)相对应的数据输入到机器学习算法中。
输出接口916被配置为提供数据或代表该数据的信号,其中该数据包括粘附程度310,并且该信号或数据适于由用户接口接收,例如包括用于显示粘附数据的显示器的用户接口。数据310和可能的其他数据的输出用第一虚线箭头920示出。
框924指示以集成方式提供输入接口912、数据处理器914和输出接口16的选项,例如在例如工作站或成像系统的共同壳体中。在一个选项中,输入接口912、数据处理器914和输出接口16被作为单独的布置结构来提供,如本文之前所述的。
由该系统接收或获得的数据优选与图像数据的供应有关。然后,输入接口912提供用于输入图像数据的接口。输入接口912也可被称为图像数据源、图像数据供应、数据输入、数据供应单元、数据输入单元或数据供应模块。输入接口912可连接到数据存储器或成像源,如以独立的方式或连接到X射线成像布置结构。
输入接口912向数据处理器914提供数据。术语“接收”涉及到向该系统提供数据(例如,被动的),使得将数据输送到数据处理器14。替代性地,也可以使用术语“获得”,该术语涉及系统的(例如,主动)行为,例如,处理器使或导致输入接口912从诸如存储装置或成像系统或成像设备的来源接收数据。
在一些实施例中,“处理器”或“数据处理器”涉及图像数据处理。数据处理器914也可被称为处理器、处理单元或计算模块。
“输出接口”涉及提供数据处理的结果。输出接口916也可被称为输出单元或输出模块。
作为一种效果,粘附数据的提供提供了关于在导线移除手术之前或期间在受试者体内导线粘附情况的改进知识。因此,例如,通过比较治疗前后的情况和/或监测治疗期间的情况,也可以进行介入评估。
处理器914可包括被配置成执行本文描述的操作的中央处理单元(CPU)、数字信号处理器(DSP)、ASIC、控制器、FPGA、另一硬件装置、固件装置或其任何组合。处理器914还可被实现为计算装置的组合,例如,DSP和微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器或任何其他此类配置。
存储器926可包括高速缓冲存储器(例如,处理器914的高速缓冲存储器)、随机存取存储器(RAM)、磁阻式RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态存储装置、硬盘驱动器、其他形式的易失性和非易失性存储器或不同类型存储器的组合。在一实施例中,存储器926包括非暂时性计算机可读介质。该存储器和/或非暂时性计算机可读介质可以存储指令。例如,存储器926,或非暂时性计算机可读介质可具有记录在其上的程序代码,该程序代码包括用于使该系统执行其功能的指令,或用于使处理器执行所述操作以计算机实现的方式来执行该方法的指令。例如,处理器电路914可执行本文所述的方法的一个或多个操作。指令也可被称为代码或程序代码。术语“指令”和“代码”应广义解释为包括任何类型的计算机可读语句。例如,术语“指令”和“代码”可以指一个或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可包括单个计算机可读语句或许多计算机可读语句。存储器964与记录在其上的代码可被称为计算机程序产品。
处理系统或处理器可以是单个处理器或分布式处理器,该分布式处理器包括被配置为通过总线和或网络连接(如LAN或WLAN)相互通信的多个单独的处理器。处理系统可采取能够与成像设备连接的单个设备或装置的形式。例如,这种单个设备可包括或是工作站。如在一些实施例中提到的,处理器电路和/或成像系统具有远程分布的形式,其中分布的元件通过数据传输网络(如LAN或WLAN)互连或可互连。
计算机程序可被存储/分布在合适的介质上,如与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质,但也可以以其他形式分布,如通过因特网或其他有线或无线电信系统。
图10示出了包括图9的系统的成像系统1000的示例。系统1000包括X射线成像设备1002。作为示例,X射线成像设备1002被示为安装在天花板上的可移动的C型臂结构1004,其具有附接到C型臂的端部的X射线源1006和X射线检测器1008。为了例示说明的目的,还示出了物体1010,即受试者,其由患者支撑件1012支撑,以用于检查、介入、其他治疗或成像目的。系统1000还包括显示设备1014,例如呈监视器布置结构的形式,其被示为可移动地悬挂在天花板上。系统1000还包括用于根据前面和下面的示例之一确定导线的一部分是否已粘附在血管上的系统1016。此外,同样为了例示说明的目的,在右侧指示出带有监视器1018和其他用户接口设备(如鼠标、键盘、控制面板和触摸板)的控制台。为此,系统900可包括适当的输入和通信设备以及相应的软件来提供此类功能。该设备1016可被集成在控制台中。线1020指示X射线成像设备1002和设备1016的数据连接(有线或无线)。这种连接将例如使来自成像系统或其存储装置的数据传送到图9的系统。X射线成像设备1002被配置为提供受试者身体的关注区域的X射线图像,例如导线所在的区域。显示设备1014被配置为显示大血管相关时间密度曲线和微血管相关时间密度曲线。该成像系统在本领域是已知的,并在市场上有售,将不作进一步详细描述。
仅在相互不同的从属权利要求中记载了某些措施的这一事实并不表明这些措施的组合不能被用来发挥优势。
如果在权利要求或说明书中使用了术语“适于”,应注意的是,术语“适于”旨在等同于术语“被配置成”。
权利要求中的任何附图标记不应被解释为限制其范围。
通过研究附图、本公开和所附的权利要求,本领域技术人员在实施本公开时可以理解并实现对所公开实施例的变型。在权利要求中,“包括”一词不排除其他元件或步骤,且不定冠词“一”或“一个”不排除多个。
Claims (15)
1.一种用于确定导线(104)的一部分是否已粘附在血管(102)上的方法,所述方法包括:
接收或获得与所述血管(102)相对应的数据,其中所述血管(102)内部具有导线(104),其中与所述血管(102)相对应的所述数据包括可选地来自两个或更多个不同的角度的两个或更多个2D图像;
根据与所述血管(102)相对应的所述数据来确定与所述导线(104)相对应的运动向量(202);
将所述运动向量(202)输入到机器学习算法(302)中,其中:
所述机器学习算法(302)被训练为学习所述运动向量(202)与导线(104)的一部分是否已粘附在血管(102)上之间的相关性,并且
所述机器学习算法(302)被配置为基于输入的所述运动向量,输出所述导线(104)的区段(304,306,308)的粘附程度(310),以及
可选地,向用户提供所述粘附程度。
2.根据权利要求1所述的方法,其中,所述运动向量(202)是2D运动向量。
3.根据权利要求1或2中的任一项所述的方法,其中,与所述血管(102)相对应的所述数据包括通过例如2D荧光透视和/或2D静脉造影和/或2D超声获得的两个或更多个2D图像,或由通过例如2D荧光透视和/或2D静脉造影和/或2D超声获得的两个或更多个2D图像构成。
4.根据权利要求1至3中的任一项所述的方法,其中,所述机器学习算法(302)被进一步配置为基于所述区段(304、306、308)及其相应的粘附程度(310)来输出粘附位置。
5.根据权利要求1至4中的任一项所述的方法,其中,输入给所述机器学习算法(302)的另外的输入是与所述血管(102)相对应的所述数据。
6.根据权利要求1至5中的任一项所述的方法,其中,所述机器学习算法(302)被进一步配置为输出建议的观察角度,其中在所述建议的观察角度下拍摄的所述血管(102)的图像能够提供准确的运动向量(202)。
7.根据权利要求1至6中的任一项所述的方法,其中,所述机器学习算法(302)基于:
卷积神经网络;
多层感知器
支持向量机;
决策树模型;
多变量回归模型;或
其组合。
8.根据权利要求1至7中的任一项所述的方法,其中,所述方法还包括在所述血管(102)的图像上显示所述粘附程度(310)与相对应的所述运动向量(202)。
9.根据权利要求1至7中的任一项所述的方法,其中,所述粘附程度(310)是基于二元分类或粘附范围的。
10.一种计算机程序产品,其包括计算机程序代码单元,当所述计算机程序代码单元在具有处理系统的计算设备上执行时,所述计算机程序代码单元致使所述处理系统执行根据权利要求1至9中的任一项所述的方法的所有步骤。
11.一种用于确定导线(104)的一部分是否已粘附在血管(102)上的系统(900),所述系统包括:
输入接口(912),其被配置为接收或获得与所述血管(102)相对应的数据(922),其中所述血管(102)内部具有导线(104),其中与所述血管(102)相对应的所述数据包括可选地来自两个或更多个不同的角度的两个或更多个2D图像;和
处理器(914),其被配置为:
根据与所述血管(102)相对应的所述数据来确定与所述导线(104)相对应的运动向量(202);
将所述运动向量(202)输入到机器学习算法(302)中,其中:
所述机器学习算法(302)被训练为学习所述运动向量(302)
与所述导线(104)的一部分是否已粘附在所述血管(102)上之间的相关性,以及
所述机器学习算法(302)被配置为输出所述导线(104)的区段(304、306、308)的粘附程度(310),以及
输出接口(916),其被配置为向用户接口(918)提供所述粘附程度(920),并且
可选地,所述输出接口(918)用于向用户提供所述粘附程度。
12.根据权利要求11所述的系统,其中,所述系统还包括成像设备,所述成像设备被配置为从两个或更多个不同的角度获得所述血管(102)的所述两个或更多个2D图像,并将代表所述图像的数据(922)发送到所述输入接口。
13.根据权利要求12所述的系统,其中,所述成像设备是被配置为获得2D图像的2D成像设备,例如用于获得2D荧光透视图像和/或2D静脉造影图像和/或2D超声图像的2D成像设备。
14.根据权利要求12至13中的任一项所述的系统,其中,所述用户接口还包括被配置为显示所述血管(102)的所述图像、所述运动向量(202)和相对应的所述粘附程度(310)的显示器。
15.一种用于训练机器学习算法以学习与血管内的导线相对应的运动向量与所述导线的一部分是否已粘附在所述血管上之间的相关性的方法,所述方法包括:
获得与内有导线的血管相对应的第一组数据;
确定与所述血管相对应的所述第一组数据的基准真值,其中所述基准真值定义了所述导线是否已粘附在所述血管上以及粘附位置;
获得与内有导线的所述血管相对应的第二组数据,其中所述第二组数据是在所述血管内与所述第一组数据相同的解剖学位置处获得的,且所述第二组数据包括可选地来自两个或更多个不同的角度的两个或更多个2D图像;
根据与所述血管相对应的所述第二组数据来确定与所述导线相对应的运动向量;
将所述运动向量输入到所述机器学习算法中,其中所述机器学习算法被配置为输出所述导线的区段的粘附程度;
将由所述机器学习算法输出的所述粘附程度与相对应的所述基准真值进行比较,并基于所述粘附程度与所述基准真值之间的比较结果来确定误差;以及
基于所述误差来调整所述机器学习算法的参数。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063125905P | 2020-12-15 | 2020-12-15 | |
US63/125,905 | 2020-12-15 | ||
EP21157912.3 | 2021-02-18 | ||
PCT/EP2021/084875 WO2022128703A1 (en) | 2020-12-15 | 2021-12-09 | Lead adhesion estimation |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116669634A true CN116669634A (zh) | 2023-08-29 |
Family
ID=74668731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180084588.1A Pending CN116669634A (zh) | 2020-12-15 | 2021-12-09 | 导线粘附估计 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP4015035A1 (zh) |
CN (1) | CN116669634A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024079084A1 (en) * | 2022-10-14 | 2024-04-18 | Koninklijke Philips N.V. | Providing guidance information for an implantable device extraction procedure |
EP4353155A1 (en) * | 2022-10-14 | 2024-04-17 | Koninklijke Philips N.V. | Providing guidance information for an implantable device extraction procedure |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3636158A1 (en) * | 2018-10-10 | 2020-04-15 | Koninklijke Philips N.V. | Image guidance for implanted lead extraction |
JP2022517245A (ja) * | 2019-01-15 | 2022-03-07 | コーニンクレッカ フィリップス エヌ ヴェ | 血管デバイスによって感知された特徴を特定するためのシステム及び方法 |
-
2021
- 2021-02-18 EP EP21157912.3A patent/EP4015035A1/en not_active Withdrawn
- 2021-12-09 CN CN202180084588.1A patent/CN116669634A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4015035A1 (en) | 2022-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10762637B2 (en) | Vascular segmentation using fully convolutional and recurrent neural networks | |
US11854704B2 (en) | Systems and methods for anatomical modeling using information obtained from a medical procedure | |
EP3142033B1 (en) | Physiology-driven decision support for therapy planning | |
CN112368781A (zh) | 基于机器学习来评估血管阻塞的方法和系统 | |
CN110998744A (zh) | 针对弥漫性和串联性病变中冠状动脉疾病的非侵入性评估和治疗指导 | |
WO2018055559A1 (en) | Method and system for visualization of heart tissue at risk | |
CN115363569A (zh) | 在存在医学设备的情况下的图像分析 | |
EP3654846B1 (en) | Inflammation estimation from x-ray image data | |
US20240041534A1 (en) | Lead adhesion estimation | |
CN116669634A (zh) | 导线粘附估计 | |
CN110574121A (zh) | 血流储备分数模拟参数的定制、校准和/或训练 | |
CN113241183B (zh) | 治疗方案预测方法及装置 | |
US20210059758A1 (en) | System and Method for Identification, Labeling, and Tracking of a Medical Instrument | |
US20220148735A1 (en) | Medical information processing apparatus, medical information processing system, and medical information processing method | |
JP2021521949A (ja) | インターベンショナルx線画像及びディープラーニングを用いたインタラクティブ冠動脈ラベル付け | |
WO2021193019A1 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
EP3989828B1 (en) | Automated coronary angiography analysis | |
EP3457413B1 (en) | Method for classifying a risk for thrombus formation in an organ, system for classifying a risk for thrombus formation in an organ, a computer program product and a computer readable medium | |
JP2020515337A (ja) | 非侵襲的イメージングベースのffrのインタラクションモニタリング | |
EP3949866A1 (en) | Diagnosis support device, diagnosis support system, and diagnosis support method | |
WO2023052278A1 (en) | Intraluminal ultrasound vessel segment identification and associated devices, systems, and methods | |
WO2023239734A1 (en) | Percutaneous coronary intervention planning | |
WO2023239738A1 (en) | Percutaneous coronary intervention planning | |
WO2023247159A1 (en) | Generating an anatomical model of an anatomical cavity | |
JP2022149735A (ja) | プログラム、画像処理方法、画像処理装置及びモデル生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |