CN118159216A - 识别血管进入部位 - Google Patents
识别血管进入部位 Download PDFInfo
- Publication number
- CN118159216A CN118159216A CN202280072262.1A CN202280072262A CN118159216A CN 118159216 A CN118159216 A CN 118159216A CN 202280072262 A CN202280072262 A CN 202280072262A CN 118159216 A CN118159216 A CN 118159216A
- Authority
- CN
- China
- Prior art keywords
- vascular access
- site
- success
- vasculature
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002792 vascular Effects 0.000 title claims abstract description 224
- 210000005166 vasculature Anatomy 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims abstract description 86
- 238000013528 artificial neural network Methods 0.000 claims description 111
- 238000012549 training Methods 0.000 claims description 46
- 208000004434 Calcinosis Diseases 0.000 claims description 30
- 230000002308 calcification Effects 0.000 claims description 30
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 23
- 230000036262 stenosis Effects 0.000 claims description 23
- 208000037804 stenosis Diseases 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 19
- 230000036541 health Effects 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 8
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 4
- 230000037431 insertion Effects 0.000 claims description 4
- 239000007943 implant Substances 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 238000013152 interventional procedure Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000002608 intravascular ultrasound Methods 0.000 description 10
- 210000004204 blood vessel Anatomy 0.000 description 9
- 238000013146 percutaneous coronary intervention Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012014 optical coherence tomography Methods 0.000 description 8
- 238000010968 computed tomography angiography Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000000740 bleeding effect Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000000391 smoking effect Effects 0.000 description 5
- 210000004351 coronary vessel Anatomy 0.000 description 4
- 238000010197 meta-analysis Methods 0.000 description 4
- 238000012163 sequencing technique Methods 0.000 description 4
- 210000001367 artery Anatomy 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 210000001105 femoral artery Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000302 ischemic effect Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 210000002321 radial artery Anatomy 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 208000005189 Embolism Diseases 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002586 coronary angiography Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012636 positron electron tomography Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000003826 tablet Substances 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 244000037005 Ambrosia artemisiifolia var. elatior Species 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 206010015866 Extravasation Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 208000024248 Vascular System injury Diseases 0.000 description 1
- 208000005475 Vascular calcification Diseases 0.000 description 1
- 208000012339 Vascular injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003143 atherosclerotic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004191 axillary artery Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000002302 brachial artery Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000001715 carotid artery Anatomy 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036251 extravasation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 210000004731 jugular vein Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007310 pathophysiology Effects 0.000 description 1
- 238000012831 peritoneal equilibrium test Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000007406 plaque accumulation Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000012877 positron emission topography Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000002385 vertebral artery Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Robotics (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
提供了一种识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位的计算机实施的方法。该方法包括针对多个潜在血管进入部位计算成功度量。所述成功度量表示将介入设备从血管进入部位经由脉管系统导航到目标部位的便利性,并且基于图像数据来计算。基于所计算的成功度量来识别血管进入部位。
Description
技术领域
本公开涉及识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位。公开了一种计算机实施的方法、计算机程序产品和系统。
背景技术
脉管系统中的介入流程常常可以通过选择多个血管进入部位中的一个以到达预期的目标部位来执行。例如,经皮冠状动脉介入“PCI”流程常常可以利用桡动脉进入或股动脉进入来执行。进入部位的选择通常由医师做出,并且基于多个因素,诸如将介入设备从进入部位导航到目标部位的便利性、以及使用血管进入部位在目标部位处执行血管介入的预期结果。
通过示例,Jolly,S.等人的标题为“Radial versus femoral access forcoronary angiography or intervention and the impact on major bleeding andischemic events:Asystematic review and meta-analysis of randomized trials”(American Heart Journal 157(1):132-140(2009))的文献报告了23个随机化试验的元分析,其中,与利用股动脉进入的PCI流程相比,利用桡动脉进入的PCI流程具有降低73%的出血机会、短0.4天的住院时间和朝向降低的中风发生率的趋势。然而,该元分析还示出了,利用桡动脉进入的流程示出了朝向增加的不能利用丝线、球囊或支架穿过目标病变的趋势。
因此,多种因素可能影响医师对血管进入部位的选择,包括目标部位的位置、通向目标部位的脉管系统的弯曲度、脉管系统中可能妨碍导航到目标部位的阻塞(诸如狭窄或钙化)的存在。
由于影响选择血管进入部位以在目标部位处执行介入流程的多种因素,医师可以做出关于要使用哪个进入部位的直观决定。然而,在思想上将来自各种源的所有相关信息解析为血管进入部位的最佳选择是复杂且耗时的,而血管进入部位的不良选择可能例如影响流程时间。这是因为目标部位可能是不可到达的,并且流程可能必须从新的进入部位重新开始,从而延长了流程时间。因此,需要一种支持医师对血管进入部位的选择的系统。
WO 2017/139894 A1涉及实现用于允许更有效地进入需要血管内/神经介入流程的患者的颈动脉(或椎动脉)的个性化解决方案的系统和方法。特别地,这样的系统可以包括扫描数据读取器,其被配置为基于血管的扫描来确定身体内的血管的路线;存储器,其被配置为存储一个或多个血管管线的物理性质;处理器,其被配置为:基于所确定的血管路线来确定使用血管管线到达所述血管内的目的地点的途径,并且针对所存储的血管管线中的每个血管管线确定是否可能到达所述目的地点。因此,支持用户选择能够沿着所确定的血管路线到达目的地点的血管管线,例如包括导管和导丝的导管系统。
然而,仍然存在改进选择血管进入部位以便执行介入流程的任务的空间。
发明内容
根据本公开的一个方面,提供了一种识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位的计算机实施的方法,所述方法包括:
接收指示所述目标部位的输入;
接收表示所述脉管系统的至少部分的图像数据;并且
针对多个潜在血管进入部位:
基于所述图像数据来计算表示将所述介入设备从所述血管进入部位经由所述脉管系统导航到所述目标部位的便利性的成功度量,其中,计算所述成功度量包括计算影响使用所述血管进入部位在所述目标部位处执行血管介入的结果的多个成功因素的值,并且对所计算的值进行加权以提供所述成功度量;并且
基于针对所述潜在血管进入部位计算的所述成功度量,从所述多个潜在血管进入部位中识别所述血管进入部位。
这些操作的结果是识别目标部位的最佳血管进入部位。特别地,对于“最佳”血管进入部位,不仅目标部位是可到达的,而且并发症的风险也尽可能低。例如,如果脉管系统严重钙化或具有偏心斑块或血栓,则介入设备的导航具有并发症的风险,诸如出血、血管损伤(包括切开、外渗和破裂)或甚至栓塞。因此,血管进入部位的次优选择甚至可能伤害患者。
为此目的,在权利要求1所述的方法中,考虑并加权影响执行血管介入的结果的成功因素,特别是降低并发症风险的因素。个体地针对一个或多个潜在进入部位确定成功因素,并且所得到的成功度量可以用作确定潜在血管进入部位的排序的基础。然后可以向医师推荐已经相应地识别的最佳血管进入部位。以一致且有效的方式提供最佳血管进入部位,从而消除在确定最佳进入部位方面的一些现有挑战,同时降低了血管介入期间并发症的风险。
根据参考附图对示例的以下描述,本公开的其他方面、特征和优点将变得显而易见。
附图说明
图1是图示根据本公开的一些方面的识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位的方法的示例的流程图。
图2是图示根据本公开的一些方面的用于识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位的系统200的示例的示意图。
图3是图示根据本公开的一些方面的包括对影响成功因素中的一个或多个成功因素的主导特征的位置的识别的解剖图像的示例的示意图。
图4是图示根据本公开的一些方面的用于提供潜在血管进入部位的排序的图形用户界面160的示例的示意图。
图5是图示根据本公开的一些方面的用于识别用于插入介入设备以便到达脉管系统中的目标部位130的血管进入部位的神经网络170的第一示例的示意图。
图6是图示根据本公开的一些方面的用于识别用于插入介入设备以便到达脉管系统中的目标部位130的血管进入部位的神经网络170的第二示例的示意图。
图7是图示根据本公开的一些方面的将神经网络训练为预测成功度量和/或识别血管进入部位的方法的示例的流程图。
具体实施方式
参考以下描述和附图来提供本公开的示例。在本说明书中,出于解释的目的,阐述了某些示例的许多具体细节。说明书中对“示例”、“实施方式”或类似语言的提及意味着结合该示例描述的特征、结构或特性被包括在至少该一个示例中。还应意识到,关于一个示例描述的特征也可以用于另一示例,并且出于简洁的缘故,在每个示例中不必重复所有特征。例如,关于计算机实施的方法所描述的特征可以以对应的方式在系统中实施。
在以下描述中,提及了涉及识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位的计算机实施的方法。提及了PCI流程的示例,其中,使用股动脉或桡动脉进入来到达冠状动脉。然而,应意识到,本公开不限于用于执行冠状动脉介入流程,或与这些示例进入部位一起使用。因此,目标部位可以是脉管系统中的任何位置。
血管进入部位通常是身体上提供到脉管系统的动脉或静脉的进入的浅表位置。血管进入部位的示例包括股血管进入部位(即身体上提供到股动脉的进入的浅表位置)、桡动脉进入部位(即身体上提供到桡动脉的进入的浅表位置)、肱动脉进入部位、腋动脉进入部位和颈静脉进入部位。然而,应意识到,本公开不限于与进入部位的这些示例一起使用,并且进入部位可以备选地在身体上提供到脉管系统的动脉或静脉的进入的任何合适浅表位置处。
在本文中提及了PCI流程作为在目标部位处执行的介入流程的示例。PCI流程用于恢复到冠状动脉的血流,并且通常涉及将球囊导管从股动脉或桡动脉进入部位插入到冠状动脉中的目标部位。球囊在目标部位处的支架内部膨胀,以便打开动脉。然而,应意识到,本文公开的方法不限于该示例PCI流程、或介入设备的该示例。因此,所述方法可以与各种类型的介入流程一起使用,并且在适当时与各种类型的介入设备一起使用,所述介入设备诸如为但不限于:导丝、导管、球囊导管、粥样斑块切除术设备、血管内超声“IVUS”成像设备、光学相干断层摄影“OCT”成像设备、血压设备和/或流量传感器设备。
注意,本文所公开的计算机实施的方法可以作为非瞬态计算机可读存储介质来提供,该存储介质包括存储在其上的计算机可读指令,该计算机可读指令当由至少一个处理器运行时使该至少一个处理器执行该方法。换句话说,计算机实施的方法可以在计算机程序产品中实施。计算机程序产品可以由专用硬件或能够运行与适当的软件相关联的软件的硬件来提供。当由处理器提供时,方法特征的功能可以由单个专用处理器、由单个共享处理器或由多个个体处理器(其中一些可以共享)提供。一个或多个方法特征的功能可以例如由在联网处理架构(诸如客户端/服务器架构、对等架构、因特网或云)内共享的处理器提供。
术语“处理器”或“控制器”的明确使用不应被解释为专门是指能够运行软件的硬件,并且可以隐含地包括但不限于数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、非易失性存储设备等。此外,本公开的示例可以采取可从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式,计算机程序产品提供用于通过计算机或任何指令运行系统使用或与计算机或任何指令运行系统结合使用的程序代码。出于该描述的目的,计算机可用存储介质或计算机可读存储介质可以是能够包括、存储、通信、传播或传输程序以供指令运行系统、装置或设备使用或与其结合使用的任何装置。介质可以是电子、磁性、光学、电磁、红外或者半导体系统或者设备或者传播介质。计算机可读介质的示例包括半导体或者固态存储器、磁带、可移除计算机磁盘、随机存取存储器“RAM”、只读存储器“ROM”、刚性磁盘和光盘。光盘的当前示例包括光盘只读存储器“CD-ROM”、光盘-读/写“CD-R/W”、蓝光TM和DVD。
如上所述,多个因素可能影响医师对血管进入部位的选择以在目标部位处执行介入流程。因此,医师可以做出关于使用哪个进入部位的直观决定。备选地,医师可以仔细搜索患者的电子健康记录数据,以便做出更明智的选择。然而,该过程是低效的,因为从各种源提取所有相关信息并且在思想上将信息解析为血管进入部位的最佳选择是复杂且耗时的。
图1是图示根据本公开的一些方面的识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位的方法的示例的流程图。参考图1,该方法包括:
接收S110指示目标部位130的输入;
接收S120表示脉管系统的至少部分的图像数据140;并且
针对多个潜在血管进入部位1101..n:
基于图像数据140来计算S130表示将介入设备120从血管进入部位110经由脉管系统导航到目标部位130的便利性的成功度量150,其中,计算S130成功度量150包括计算影响使用血管进入部位110在目标部位110处执行血管介入的结果的多个成功因素1501..k的值,并且对所计算的值进行加权以提供成功度量150;并且
基于针对潜在血管进入部位计算的成功度量从多个潜在血管进入部位中识别S140血管进入部位110。
这些操作的结果是识别目标部位的最佳血管进入部位。特别地,对于“最佳”血管进入部位,不仅目标部位是可到达的,而且并发症的风险也尽可能低。然后可以向医师推荐最佳血管进入部位。还以一致且有效的方式提供最佳血管进入部位,从而消除在确定最佳进入部位方面的一些现有挑战。
上述方法还可以由图2所图示的系统200实施,图2是图示根据本公开的一些方面的用于识别用于插入介入设备以便到达脉管系统中的目标部位的血管进入部位的系统200的示例的示意图。关于图1所图示的流程图描述的操作也可以由图2所图示的系统200执行,并且反之亦然。
参考图1,在操作S110中,接收指示目标部位130的输入。通过示例,目标部位可以例如是冠状动脉中的位置,其中,旨在执行介入流程,诸如PCI流程。输入可以由图1所图示的一个或多个处理器210接收。可以从诸如键盘、鼠标、触摸屏、操纵杆等的用户输入设备(图1中未图示)接收输入。例如,用户可以使用用户输入设备使用下拉菜单从可能的目标部位的列表中选择目标部位。通过另一示例,用户可以通过经由鼠标点击或经由触摸屏触摸表示解剖结构的部分的图像中的位置来识别目标部位。可以经由任何形式的数据通信(包括有线、光学和无线通信)来接收输入。通过一些示例,当使用有线或光学通信时,通信可以经由在电缆或光缆上传输的信号进行,并且当使用无线通信时,通信可以例如经由RF或光学信号。
在操作S120中,接收表示脉管系统的至少部分的图像数据140。在这方面,图像数据140可以包括一种或多种类型的图像数据,例如:血管内超声“IVUS”图像数据、光学相干断层摄影“OCT”图像数据、计算机断层摄影血管造影“CTA”图像数据、磁共振“MR”图像数据、MR血管造影“MRA”图像数据、数字减影血管造影“DSA”图像数据和正电子发射断层摄影“PET”图像数据。图像数据140可以由图2所图示的一个或多个处理器210接收。图像数据140可以经由任何形式的数据通信进行接收,如上面关于指示目标部位130的输入所描述的。
在操作S130中,针对多个潜在血管进入部位1101..n基于图像数据140计算成功度量150。例如,潜在血管进入部位可以包括诸如股动脉进入部位、桡动脉进入部位、肱动脉进入部位、腋动脉进入部位和颈静脉进入部位的部位。成功度量表示将介入设备120从血管进入部位110经由脉管系统导航到目标部位130的便利性。
通过示例,介入设备120可以是球囊导管。可以基于影响将介入设备从血管进入部位110经由脉管系统导航到目标部位130的便利性的一个或多个成功因素的值来计算成功度量。在这方面,成功因素可以表示诸如以下项的特征:
血管进入部位110与目标部位130之间的脉管系统的部分的弯曲度;
穿过脉管系统中在血管进入部位110与目标部位130之间的狭窄的困难性;
穿过脉管系统中在血管进入部位110与目标部位130之间的植入设备的困难性;
穿过脉管系统中在血管进入部位110与目标部位130之间的钙化的困难性。
表示血管进入部位110与目标部位130之间的脉管系统的部分的弯曲度的成功因素可以根据接收到的图像数据140(例如CTA、MRA和DSA图像数据)来确定。可以使用诸如计算总曲率、计算曲率符号变化的检测技术或包括机器学习技术的其他技术在这样的图像数据中检测弯曲血管区段。还可以使用神经网络来识别弯曲血管。可以以无监督方式训练神经网络。例如,可以在包括非弯曲血管的数据集上训练诸如变分自动编码器“VAE”的生成神经网络。VAE学习在训练数据的潜在表示上的分布。因此,通过在非弯曲血管上训练VAE,由VAE学习的分布可以提供没有弯曲度的脉管系统的良好表示。在推断时,当没有弯曲度的脉管系统被输入到VAE中时,其潜在表示将是所学习的分布中的内点。然而,如果具有比训练数据中表示的更高弯曲度的脉管系统被输入到VAE中,则其潜在表示将是所学习的分布中的异常值。因此,可以通过检测VAE的异常值预测来识别脉管系统中在潜在进入部位与目标部位之间的弯曲区段。
脉管系统的部分的弯曲度可以基于每个潜在血管进入部位1101..n与目标部位130之间的弯曲区段的总数量的计数和/或弯曲度的量值来确定。弯曲度然后可以被用于确定影响将介入设备从血管进入部位110经由脉管系统导航到目标部位130的便利性的成功因素。在该示例中,成功因素可以随着弯曲度减小而增加,并且因此成功因素可以与脉管系统的部分的弯曲度逆相关。
还可以基于图像数据来计算表示穿过脉管系统中在血管进入部位110与目标部位130之间的狭窄的困难性的成功因素。将介入设备导航通过狭窄可能是复杂的,并且鉴于需要避免移位狭窄材料,可能增加流程时间。可以通过检测图像数据中的管腔的变窄区域来在诸如IVUS、OCT、CTA和MRA的图像数据中识别狭窄的位置。
穿过脉管系统中的狭窄的困难性可以基于狭窄的总数量的计数、和/或一个/多个狭窄的总长度、和/或血管进入部位110与目标部位130之间的一个/多个狭窄的最小直径来确定。穿过狭窄的这种困难性可以用于确定影响将介入设备从血管进入部位110经由脉管系统导航到目标部位130的便利性的成功因素。在该示例中,成功因素可以随着狭窄总数量的计数增加而减小,并且因此成功因素可以与穿过脉管系统中的狭窄的困难性逆相关。
还可以基于图像数据来计算表示穿过脉管系统中在血管进入部位110与目标部位130之间的植入设备的困难性的成功因素。将介入设备导航通过植入设备也可能是复杂的,并且因此可能增加流程时间。可以通过在图像数据中检测植入设备(诸如支架支柱)的特性图案来在图像数据(诸如IVUS、OCT、CTA和MRA图像数据)中检测植入设备的存在。表示穿过植入设备的困难性的成功因素可以以与狭窄类似的方式计算,并且同样地用于计算成功因素。
还可以基于图像数据来计算表示穿过脉管系统中在血管进入部位110与目标部位130之间的钙化的困难性的成功因素。血管钙化使血管收缩,妨碍介入设备的导航并增加患者的并发症的风险。介入设备通过钙化的导航可能导致钙化破裂,从而导致下游栓塞和血管缺血。可以在诸如IVUS、OCT、CTA、PET和MRA图像数据的图像数据中识别钙化的位置。可以使用分割技术(例如,U-Net、区域生长和阈值化)或使用特征检测技术在这样的图像数据中识别钙化。神经网络可以被训练为使用来自对各种患者的临床调查并且在其中注释真实情况的图像数据以监督方式检测钙化。
在操作S140中,基于所计算的成功度量来识别血管进入部位110。这可以涉及比较针对潜在血管进入部位1101..n中的每个潜在血管进入部位计算的成功度量150,并且识别具有最高成功度量的血管进入部位110。因此,这些操作的结果是针对目标部位识别最佳血管进入部位。然后可以向医师推荐最佳血管进入部位。以一致且有效的方式提供最佳血管进入部位,从而消除在确定最佳进入部位方面的一些现有挑战。
可以以各种方式在操作S140中识别最佳血管进入部位110。例如,可以将针对最佳血管进入部位110的成功度量和/或针对潜在血管进入部位1101..n中的每个潜在血管进入部位的成功度量150输出到显示器。成功度量可以被输出到图2所图示的显示器230,或到另一显示器,诸如平板电脑或增强/虚拟现实设备的显示器等。可以经由图4所图示的图形用户界面输出成功度量。可以数字地或图形地输出成功度量。例如,可以利用颜色识别具有最高成功度量的血管进入部位,以便将该血管进入部位与其他血管进入部位区分开。还可以在解剖图像中识别最佳血管进入部位。
识别S140血管进入部位110的操作可以包括基于所计算的成功度量150提供潜在血管进入部位1101..n的排序。提供这样的排序允许医师在最高排序的进入部位和更低排序的进入部位之间进行选择。可以以表或指示排序中的层级的数字顺序的形式提供排序。备选地,可以通过在解剖图像上显示潜在血管进入部位1101..n并且在解剖图像上指示其排序来图形地指示排序。在相关示例中,提供潜在血管进入部位1101..n的排序的操作包括:
输出表示目标部位130和潜在血管进入部位1101..n的解剖图像,并且针对每个潜在血管进入部位,在解剖图像中识别影响成功因素1501..k中的一个或多个成功因素的至少主导特征的位置。
这样的主导特征可以例如是脉管系统的弯曲部分。主导特征可以例如借助于注意力图或边界框来识别。在图3中图示了这种边界框的示例,图3是图示根据本公开的一些方面的包括影响成功因素中的一个或多个成功因素的主导特征的位置的识别的解剖图像的示例的示意图。参考图3,具有相对更高水平的弯曲度的脉管系统的部分通过具有虚线的边界框来识别,而具有相对更低水平的弯曲度的脉管系统的部分被识别在具有白色实线的边界框中。以这种方式输出解剖图像可以帮助用户理解为什么特定血管进入部位被认为具有低成功因素。
在相关示例中,识别S140血管进入部位110的操作包括:
在图形用户界面160上提供潜在血管进入部位1101..n的排序;
接收指示影响成功因素1501..k中的一个或多个成功因素的至少主导特征的位置的用户输入;并且
响应于用户输入而将与主导特征有关的患者数据190输出到图形用户界面160。
参考图4图示了该示例,图4是图示根据本公开的一些方面的用于提供潜在血管进入部位的排序的图形用户界面160的示例的示意图。参考图4,图形用户界面GUI 160包括朝向附图的左手侧的解剖图像。在该示例中,借助于正方形符号在解剖图像上识别目标部位130,并且借助于圆圈识别潜在血管进入部位。潜在血管进入部位也基于其成功度量被排序为1..4。影响成功因素1501..k中的一个或多个成功因素的主导特征的位置也在图4中借助于符号“A”来指示。在该示例中,用户可以使用诸如鼠标或触摸屏的用户输入设备来选择由符号“A”表示的主导特征。因此,与主导特征有关的患者数据190被输出到GUI,如在GUI中朝向图4的右手侧显示的。被输出的患者数据190可以例如包括根据其针对进入部位计算成功度量的图像数据。备选地,所输出的患者数据可以包括电子健康记录数据,诸如医师关于已经在该位置处执行的先前介入流程的报告。
如上所述,针对潜在血管进入部位1101..n的成功度量可以基于一个或多个成功因素。如果成功度量基于单个成功因素,例如脉管系统的部分的弯曲度,则成功度量可以简单地等同于成功因素。然后可以简单地针对血管进入部位对成功度量进行比较,并且可以输出具有最高成功度量的血管进入部位110作为最佳或推荐的血管进入部位110。然而,如果针对潜在血管进入部位1101..n的成功度量基于多个不同的成功因素1501..k,可以对个体成功因素进行加权以提供针对潜在血管进入部位的成功度量150。然后可以针对血管进入部位对成功度量150进行比较,并且可以输出具有最高成功度量的血管进入部位110作为最佳或推荐的血管进入部位110。
在一个示例中,可以通过将个体成功因素的权重的值设置为固定值来对成功因素进行加权。例如,权重的值可以被设置为使得钙化和植入设备的存在导致相对更低的成功度量,而不存在高弯曲度导致相对更高的成功度量。在另一示例中,权重的值可以具有可变值。例如,可以通过基于个体成功因素1501.k中的每个成功因素的值设计规则来设置权重值,使得所得到的成功度量150与将介入设备从血管进入部位经由脉管系统导航到目标部位的便利性的专家评估相匹配。神经网络可以被训练为基于个体成功因素1501.k中的每个成功因素的值或基于根据其生成个体成功因素1501.k的图像数据来生成权重的值,使得所得到的成功度量150与将介入设备从血管进入部位经由脉管系统导航到目标部位的便利性的专家评估相匹配。可以使用监督式学习方法来将神经网络训练为基于专家如何考虑各种个体成功因素1501.k来影响所得到的成功度量150而生成所得到的成功度量150。
在操作S130中计算的其成功度量150还表示使用血管进入部位110在目标部位130处执行血管介入的结果。因此,在计算成功度量150时也可以考虑影响结果的成功因素,例如血管介入的持续时间、诸如出血和缺血事件的并发症的风险、必须重复流程的可能性以及由对血管进入部位110与目标部位130之间的脉管系统进行导航而产生的其他因素。这些成功因素中的每个成功因素的值可以从临床研究中获得,诸如上面提到的Jolly,S.等人的标题为“Radial versus femoral access for coronary angiography or interventionand the impact on major bleeding and ischemic events:A systematic review andmeta-analysis of randomized trials”(American Heart Journal 157(1):132-140(2009))文献中报道的。可以通过利用权重对这些因素中的一个或多个因素进行加权来将这些成功因素包括在成功度量150中,该权重的值如上面针对成功因素1501..k所描述的那样确定。通过以这种方式将使用血管进入部位110在目标部位130处执行血管介入的结果并入到成功度量中,可以提供最佳血管进入部位的更基于证据的推荐。
在一些示例中,神经网络用于确定成功度量150和/或识别最佳血管进入部位110。在一个示例中,计算S130成功度量150和/或识别S140血管进入部位110的操作通过将目标部位130和表示脉管系统的至少部分的图像数据140输入到至少一个神经网络170中来确定。至少一个神经网络170被训练为基于所输入的目标部位130和图像数据140来预测成功度量150和/或识别血管进入部位110。
图5是图示根据本公开的一些方面的用于识别用于插入介入设备以便到达脉管系统中的目标部位130的血管进入部位的神经网络170的第一示例的示意图。参考图5,在该示例中,单个神经网络170用于针对每个潜在血管进入部位1101..n预测成功度量150,并且基于单个成功因素“CI”计算成功度量。神经网络170可以包括一个或多个架构,诸如卷积神经网络“CNN”、递归神经网络“RNN”、变分自动编码器“VAE”、变换器等。在该示例中,成功因素表示穿过脉管系统中在血管进入部位110与目标部位130之间的钙化的困难性。在该示例中,表示脉管系统的至少部分的图像数据140以及目标部位130的识别被输入到神经网络170中,并且用于针对多个潜在血管进入部位1101..n中的每个潜在血管进入部位预测成功因素。如上所述,图像数据140可以包括诸如IVUS、OCT、CTA或MRA图像数据的图像数据。图像数据140可以表示血管进入部位、目标部位或血管进入部位与目标部位之间的脉管系统的部分。
然后可以通过图5所图示的排序控制器对预测成功因素150进行排序,以便识别最佳血管进入部位110。排序控制器比较个体成功因素中的每个成功因素,以便识别最佳血管进入部位110和/或生成血管进入部位的排序。排序控制器的功能可以由一个或多个处理器(诸如图2所图示的一个或多个处理器210)提供。
在该示例中,使用钙化来说明神经网络可以被训练为识别的特征的类型。然而,单个神经网络可以被训练为识别表示导航通过血管进入部位110与目标部位130之间的脉管系统的困难性的多个特征,包括钙化、狭窄、弯曲度等。更一般地,使用单个神经网络来预测成功因素的优点是它隐式地学习与成功度量150相关联的相关特征。因此,神经网络可以学习在训练阶段未被预期并且因此未通过基于单一类型的数据(诸如钙化数据)训练神经网络来考虑的与成功因素相关联的特征。
图6是图示根据本公开的一些方面的用于识别用于插入介入设备以便到达脉管系统中的目标部位130的血管进入部位的神经网络170的第二示例的示意图。参考图6,在该示例中,针对每个潜在血管进入部位1101..n通过对应的神经网络1701..k预测多个成功因素1501..k。在该示例中,多个成功因素(即k>1)可以表示诸如以下各项的特征:血管进入部位110与目标部位130之间的脉管系统的部分的弯曲度(即“TI”)、穿过脉管系统中在血管进入部位110与目标部位130之间的狭窄的困难性、穿过脉管系统中在血管进入部位110与目标部位130之间的植入设备的困难性和穿过脉管系统中在血管进入部位110与目标部位130之间的钙化的困难性(即“CI”)。如图6所图示的,AI控制器可以用于控制各种神经网络1701..k的操作。AI控制器可以针对潜在血管进入部位中的每个潜在血管进入部位控制数据到神经网络中的输入。AI控制器的功能可以由一个或多个处理器(诸如图2所图示的一个或多个处理器210)提供。
在图6所图示的示例中,表示脉管系统的至少部分的图像数据140和目标部位130的识别被输入到AI控制器中,并且随后被输入到相关的神经网络1701..k中,并且用于针对多个潜在血管进入部位1101..n中的每个潜在血管进入部位预测多个成功因素1501..k。然后,排序控制器对针对不同特征预测的成功因素1501..k进行加权,以针对每个潜在血管进入部位1101..n提供成功度量。然后,排序控制器对针对潜在血管进入部位1101..n的成功度量进行比较,以便识别最佳血管进入部位110和/或生成血管进入部位的排序。
因此,在图6所图示的示例中,成功度量150是通过将目标部位130和表示脉管系统的至少部分的图像数据140输入到多个神经网络1701..k中来确定的;并且单独的神经网络被训练为基于所输入的目标部位130和图像数据140来预测成功因素1501..k中的每个成功因素。以这种方式将单独的神经网络训练为单独地预测每个成功因素可以简化其训练。
上面参考图5和图6描述的神经网络还可以输出其相应置信度值。置信度值表示由(一个或多个)神经网络170进行的预测的置信度,从而允许基于预测成功因素进行决策。如果血管进入部位的图像数据不足,则神经网络的置信度对于该部位可能是低的。通过示例,如果置信度对于最佳血管进入部位是低的,则可以决定不依赖于该进入部位,而是使用具有更高置信度值的备选进入部位。
在Ramalho,T.等人的标题为“Density estimation in representation spaceto predict model uncertainty”(https://arxiv.org/pdf/1908.07235.pdf)的文献中公开了用于生成与神经网络的预测相关联的置信度值的技术的示例。神经网络可以根据该技术被训练为生成置信度值,使得当向神经网络呈现与其训练数据集非常不同的图像时,神经网络能够识别这一点,并且神经网络输出低置信度值。本文献中描述的技术通过估计表示空间中的训练数据密度来生成置信度值,并且通过测量输入与其在训练集中的最近邻之间的表示空间中的距离来确定是否预期经训练的网络对输入进行正确预测。还可以使用备选技术来生成与神经网络的预测相关联的置信度值。例如,可以使用丢弃技术。丢弃技术包括迭代地将相同的数据输入到神经网络中,并且确定神经网络的输出,同时在每次迭代中从神经网络中随机排除一定比例的神经元。然后分析神经网络的输出以提供均值和方差值。均值表示最终输出,并且方差的量值指示神经网络在其预测中是否一致,在这种情况下方差小,或神经网络在其预测中是否不一致,在这种情况下方差更大。
上面参考图5和图6描述的(一个或多个)神经网络还可以基于包括电子健康记录EHR数据的额外的数据来预测成功度量。这在图5和图6中的每个中通过虚线轮廓中标记“EHR数据”的项目180来指示。在一个示例中,至少一个神经网络170被训练为还基于电子健康记录数据180预测成功度量150和/或识别血管进入部位110;并且参考图1描述的方法包括:
接收与脉管系统有关的电子健康记录数据180;并且
将电子健康记录数据输入到至少一个神经网络170中。
EHR数据可以包括来自历史流程的可以更好地通知进入部位的选择的信息,特别是具有关于并发症风险的负面影响的信息。例如,关于历史流程的结果的报告可以指示先前的出血实例或关于植入设备的细节。
此外,EHR数据可以包括与身体质量指数、吸烟史、年龄、性别等有关的信息。EHR数据还可以包括来自对患者的临床调查的信息,诸如血管特性、弯曲度、厚度、血管内的伪影(诸如钙化)、植入设备(诸如支架)的存在等。EHR数据可以包括可以帮助向医师通知他们在血管内导航期间可能遇到的潜在困难的信息。例如,已经表明吸烟使血管收缩并且与血管中的动脉粥样硬化变化(即斑块的积累)高度相关,如Ambrose,J.等人的标题为“Thepathophysiology of cigarette smoking and cardiovascular disease:an update”(J.Am.Coll.Cardiol.43(10):1731-1737(2004).Doi:10.1016/j.jacc.2003.12.047)中所描述的。因此,基于患者的吸烟史,诸如血管宽度和血管弯曲度的特征可能呈现不同的严重性水平。
因此,在某些示例中,诸如患者的吸烟史的相关EHR数据可能引起影响流程结果的一个或多个成功因素的所计算的值和/或其相对加权的变化。因此,通过将这样的EHR数据输入到被训练为计算成功度量的神经网络中,可以在计算成功度量时使用患者特异性的过去数据,从而进一步改进向用户推荐的所识别的血管进入部位的可靠性。
EHR数据可以存储在数据库(诸如影像归档和通信系统“PACS”系统)上。在该示例中,因此可以从数据库接收EHR数据。EHR数据可以由处理器(诸如图2所图示的一个或多个处理器)接收。在将电子健康记录数据输入到至少一个神经网络170中之前,可以使用自然语言处理“NLP”技术来处理电子健康记录数据180。NLP是人工智能的分支,其允许计算机以与人类大致相同的方式理解文本。NLP技术可以用于将文本或图像数据转换为计算机可读数据,并且执行诸如词语歧义消除的任务以便理解文本。NLP可以用于识别可以更好地向医师通知进入部位的选择的关键词。NLP还可以用于学习词语和伴随图像之间的背景关系。NLP的使用可以有利地减少医师手动标记或审查这种数据的工作负荷,并且还减少潜在关键患者信息被忽视的机会。
在一个示例中,被输入到(一个或多个)神经网络170中的图像数据包括在将介入设备(120)插入到所识别的血管进入部位中之前生成的超声图像数据。超声图像数据越来越多地在介入流程的开始之前立即使用,以便对进入部位周围的血管结构进行可视化。作为示例,对于股动脉进入,可以使用超声探头来找到股总动脉。在该示例中,额外的超声成像信息也由(一个或多个)神经网络处理,以便重新评估所识别的最佳血管进入部位。例如,如果在评估穿过脉管系统中在血管进入部位110与目标部位130之间的钙化的困难性(即“CI”)时在该进入部位附近识别出钙化或斑块,则这可以降低当前潜在进入部位1101..n处的成功度量150,这可以导致不同的血管进入部位是最佳的。备选地,通过观察当超声探头在最佳进入部位附近四处移动时成功度量150的变化并且选择具有最高成功度量150的精确位置,可以识别进入部位处的用于切口的精确位置。
以类似的方式,在一个示例中,在介入流程期间生成的图像数据(例如超声或X射线图像数据)可以被输入到一个或多个神经网络170中,并且用于针对潜在血管进入部位周期性地更新预测成功因素。在这样做时,来自该图像数据的额外的信息可以用于基于最新信息来确认正在使用最佳血管进入部位执行介入流程,或以其他方式推荐备选血管进入部位。在该示例中,在用户将介入设备导航通过脉管系统时,可以不断地重新评估初始选择的进入点的适用性。
在一个示例中,(一个或多个)神经网络还被训练为预测针对介入设备的模拟路径。然后使用模拟路径来计算用于导航介入设备的复杂度度量。然后使用复杂度度量来计算成功度量。在该示例中,至少一个神经网络170还被训练为预测介入设备从潜在血管进入部位1101..n中的每个潜在血管进入部位到达脉管系统中的目标部位130的模拟路径;并且至少一个神经网络170被训练为还基于表示利用介入设备从潜在血管进入部位1101..n中的每个潜在血管进入部位到达脉管系统中的目标部位130的困难性的复杂度度量计算成功度量150和/或识别血管进入部位110。
在成功度量的计算中使用复杂度度量考虑了沿着潜在血管进入部位与目标部位之间的路径导航特定介入设备的能力。复杂度度量可以基于正面影响成功度量的因素(诸如朝向目标部位迈出一步)和负面影响成功度量的因素(诸如介入设备触碰管腔壁的次数的计数、到达目标部位所采取的总步数等)。如果介入设备频繁地触碰管腔壁,则这指示狭窄或弯曲管腔。如果使用大量步来到达目标部位,则这也可能指示血管进入部位和目标部位之间的弯曲管腔和/或更大路径长度。
现在下面详细描述(一个或多个)神经网络170的训练。
通常,神经网络的训练涉及将训练数据集输入到神经网络中,并且迭代地调节神经网络的参数,直到经训练的神经网络提供准确的输出。训练常常使用图形处理单元“GPU”或专用神经处理器(诸如神经处理单元“NPU”或张量处理单元“TPU”)执行。训练常常采用集中式方法,其中,使用基于云或基于主机的神经处理器来训练神经网络。在其用训练数据集进行训练之后,经训练的神经网络可以被部署到用于在推理期间分析新的输入数据的设备。推理期间的处理要求显著低于训练期间需要的那些要求,从而允许神经网络部署到各种系统中,诸如膝上型计算机、平板电脑、移动电话等等。例如,推理可以由中央处理单元“CPU”、GPU、NPU、TPU、在服务器上或云中执行。
因此,训练上文描述的(一个或多个)神经网络170的过程包括调节其参数。参数或更具体地权重和偏置控制神经网络中的激活函数的操作。在监督式学习中,训练过程自动调节权重和偏置,使得当被呈现有输入数据时,神经网络准确地提供对应的预期输出数据。为了这样做,基于预测输出数据与预期输出数据之间的差异来计算损失函数或误差的值。可以使用诸如负对数似然损失、均方误差或Huber损失或交叉熵损失的函数来计算损失函数的值。在训练期间,通常使损失函数的值最小化,并且当损失函数的值满足停止准则时训练终止。有时,当损失函数的值满足多个准则中的一个或多个时训练终止。
已知用于解决该损失最小化问题的各种方法,诸如梯度下降、拟牛顿方法等。已经开发了各种算法来实施这些方法及其变型,包括但不限于随机梯度下降“SGD”、批量梯度下降、小批量梯度下降、高斯-牛顿、Levenberg-Marquardt、Momentum、Adam、Nadam、Adagrad、Adadelta、RMSProp和Adamax“优化器”。这些算法使用链式规则来计算损失函数相对于模型参数的导数。该过程被称为反向传播,因为导数是从最后一层或输出层开始、朝向第一层或输入层移动来计算的。这些导数通知算法必须如何调节模型参数,以便使误差函数最小化。即,从输出层开始做出对模型参数的调节,并且在网络中向后工作,直到到达输入层。在第一次训练迭代中,初始权重和偏置常常是随机的。然后,神经网络预测输出数据,这同样是随机的。然后使用反向传播来调节权重和偏置。通过对每次迭代中的权重和偏置进行调节来迭代执行训练过程。当预测输出数据与预期输出数据之间的误差或差异在针对训练数据或针对一些验证数据的可接受范围内时训练终止。随后,可以部署神经网络,并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功,则经训练的神经网络根据新的输入数据准确地预测预期输出数据。
在一个示例中,至少一个神经网络170通过以下操作被训练为预测成功度量150和/或识别血管进入部位110:
接收S210针对多个对象中的每个对象的训练数据,该训练数据包括表示脉管系统的部分的图像数据140’和对应的目标部位130’;
接收S220针对训练数据中的目标部位中的每个目标部位的真实情况数据,该真实情况数据表示将介入设备从血管进入部位110经由脉管系统的部分导航到目标部位130’的便利性;并且
针对多个对象:
输入S230训练数据和真实情况数据;并且调节S240神经网络的参数,直到表示由神经网络170预测的成功度量150和/或由神经网络预测的血管进入部位110与真实情况数据之间的差异的损失函数的值满足停止准则。
在图7中图示了该训练方法,图7是图示根据本公开的一些方面的将神经网络训练为预测成功度量和/或识别血管进入部位的方法的示例的流程图。提供了用于将(一个或多个)神经网络训练为基于穿过脉管系统中在血管进入部位110与目标部位130之间的钙化的困难性来预测单个成功因素的示例。在该示例中,训练数据可以例如包括针对多个患者的血管进入部位与目标部位之间的脉管系统的部分的IVUS图像数据。钙化常常在IVUS图像数据中进行注释。关于钙化的数据可以被呈现给评估数据并提供针对血管进入部位的真实情况成功因素的医师。真实情况成功因素可以基于诸如钙化的位置、总长度、类型和最小直径的特征。真实情况成功因素表示将介入设备从血管进入部位110导航到目标部位130’的便利性。然后,神经网络170根据上述反向传播方法被训练为预测针对多个患者的训练数据的成功因素。
类似地,当考虑多个成功因素时,单个神经网络可以被训练为预测考虑多个因素的医师评估的总体成功度量。还可以以无监督方式使用如变分自动编码器“VAE”的生成神经网络来训练单个神经网络,其中,脉管系统的部分的图像不包含如由一个或多个专家医师评估的与将介入设备从血管进入部位110导航到目标部位130’的困难性相关联的特征或包含如由一个或多个专家医师评估的与将介入设备从血管进入部位110导航到目标部位130’的困难性相关联的可忽略特征。因此,VAE学习在包含脉管系统而没有弯曲度或钙化或狭窄等的训练数据的潜在表示上的分布。当没有弯曲度或钙化或狭窄等的脉管系统被输入到经训练的VAE中时,这些输入的潜在表示将是所学习的分布中的内点。然而,如果具有弯曲度或钙化或狭窄等的脉管系统被输入到经训练的VAE中,则其潜在表示将是所学习的分布中的异常值。此外,由于VAE被训练为重建输入数据,因此经训练的VAE将包括包含训练数据中不存在的特征的图像区域中的重建误差,从而允许这种高重建误差区域的识别。脉管系统越弯曲(或类似地,钙化或狭窄越大),重建误差越大。这些误差和/或包括误差的区域的数量的量化将允许单个神经网络预测考虑多个因素的总体成功度量。另外,这允许网络学习与未被预期的成功因素相关联的特征。
当多个神经网络被训练为预测成功度量时,每个个体神经网络可以用针对诸如以下各项的特定特征的医师评估的真实情况成功因素被个体地训练:
血管进入部位110与目标部位130之间的脉管系统的部分的弯曲度;
穿过脉管系统中在血管进入部位110与目标部位130之间的狭窄的困难性;
穿过脉管系统中在血管进入部位110与目标部位130之间的植入设备的困难性;
穿过脉管系统中在血管进入部位110与目标部位130之间的钙化的困难性。
在一些示例中,真实情况数据可以包括表示将介入设备从血管进入部位110导航到目标部位130’的困难性的二进制掩模或边界框形式的图像特征的注释,诸如钙化或狭窄等。在该示例中,神经网络170或网络1701..k可以被训练为预测这些注释;并且重复调节神经网络170或网络1701..k的参数,直到表示由神经网络170或网络1701..k预测的注释与真实情况注释之间的差异的损失函数的值满足停止准则。在一些示例中,真实情况数据可以包括多个潜在血管进入部位的排序。例如,表示将介入设备从血管进入部位110导航到目标部位130’的困难性的所识别的因素(诸如弯曲度或钙化等)可以被呈现给能够基于所识别的特征对导航和/或流程成功的影响来对各种进入部位进行排序的专家。该排序还可以用于将神经网络训练为预测血管进入部位的排序。因此,在一个示例中,真实情况数据包括针对目标部位130中的每个目标部位的血管进入部位110的排序。在该示例中,神经网络170被训练为针对每个所输入的目标部位130’预测血管进入部位的排序;并且重复调节神经网络170的参数,直到表示由神经网络预测的血管进入部位的排序与进入部位的真实情况排序之间的差异的损失函数的值满足停止准则。在一些示例中,真实情况包括确定哪些图像包含表示将介入设备从血管进入部位110导航到目标部位130’的困难性的特征(诸如弯曲度或钙化等)以及哪些图像不包含此类特征的专家标签。在该示例中,可以以无监督方式利用不包含表示将介入设备从血管进入部位110导航到目标部位130’的困难性的特征的图像来训练一个或多个神经网络170。例如,通过调节神经网络170或网络1701..k的参数直到表示重建图像与输入图像之间的差异的损失函数的值满足停止准则并且表示输入的训练数据的潜在表示上的分布的预测分量与标准分布的分量之间的差异的损失函数的值满足停止准则,VAE可以被训练为重建输入的训练数据。当包含表示将介入设备从血管进入部位110导航到目标部位130’的困难的特征的图像被输入到这样的经训练的神经网络中时,它们被识别为训练数据的潜在表示上的所学习的分布中的异常值。
在一个示例中,提供了一种计算机程序产品。所述计算机程序产品包括指令,所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据所附权利要求中任一项所述的方法。
如上所述,计算机实施的方法的特征也可以在系统中实施。因此,在一个示例中,提供了一种用于识别血管进入部位110的系统200,血管进入部位110用于插入介入设备120以便到达脉管系统中的目标部位130。该系统包括一个或多个处理器210,一个或多个处理器210被配置为执行根据所附权利要求中任一项的方法的步骤。
该系统200的示例在图2中图示。该系统包括一个或多个处理器210。一个或多个处理器还可以执行上面参考图1中的流程图描述的一个或多个额外的操作。系统200还可以包括以下中的一个或多个:用于提供图像数据140的投影X射线成像系统220;用于显示所计算的成功度量150、所识别的最佳血管进入部位110、图形用户界面160等的显示器230;用于插入到脉管系统中的介入设备120;以及被配置为接收用户输入的用户输入设备(图2中未图示),诸如键盘、鼠标、触摸屏、操纵杆等。系统200还可以包括被配置为将介入设备从最佳进入部位导航到目标部位的血管内机器人。
以上示例要被理解为对于本公开是说明性而非限制性的。还设想了其他示例。例如,关于计算机实施的方法描述的示例也可以由计算机程序产品、或者由计算机可读存储介质、或者由系统200以对应的方式来提供。应理解,关于任何一个示例描述的特征可以单独使用,或者与其他描述的特征组合使用,并且可以与示例中的另一个的一个或多个特征组合使用或者与其他示例的组合组合使用。此外,在不脱离在权利要求书中定义的本发明的范围的情况下,也可以采用上文未描述的等效方案和修改。在权利要求中,词语“包括”不排除其他元件或者操作,并且词语“一”或“一个”不排除多个。尽管在互不相同的从属权利要求中记载了特定措施,但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当解释为对其范围的限制。
Claims (15)
1.一种识别血管进入部位(110)的计算机实施的方法,所述血管进入部位用于插入介入设备(120)以便到达脉管系统中的目标部位(130),所述方法包括:
接收(S110)指示所述目标部位(130)的输入;
接收(S120)表示所述脉管系统的至少部分的图像数据(140);并且
针对多个潜在血管进入部位(1101..n):
基于所述图像数据(140)来计算(S130)成功度量(150),所述成功度量表示将所述介入设备(120)从所述血管进入部位(110)经由所述脉管系统导航到所述目标部位(130)的便利性,其中,计算(S130)所述成功度量(150)包括:
计算影响使用所述血管进入部位(110)在所述目标部位(130)处执行血管介入的结果的多个成功因素(1501..k)的值,并且
对所计算的值进行加权以提供所述成功度量(150);
基于针对所述潜在血管进入部位计算的所述成功度量从所述多个潜在血管进入部位中识别(S140)所述血管进入部位(110)。
2.根据权利要求1所述的计算机实施的方法,其中,所述成功因素(1501..k)表示以下特征中的一项或多项:
所述血管进入部位(110)与所述目标部位(130)之间的所述脉管系统的部分的弯曲度;
穿过所述脉管系统中在所述血管进入部位(110)与所述目标部位(130)之间的狭窄的困难性;
穿过所述脉管系统中在所述血管进入部位(110)与所述目标部位(130)之间的植入设备的困难性;
穿过所述脉管系统中在所述血管进入部位(110)与所述目标部位(130)之间的钙化的困难性。
3.根据任一前述权利要求所述的计算机实施的方法,
其中,识别(S140)所述血管进入部位(110)包括:
提供所述潜在血管进入部位(1101..n)的排序;并且
其中,所述排序基于所计算的成功度量(150)。
4.根据权利要求3所述的计算机实施的方法,其中,提供所述潜在血管进入部位(1101..n)的排序包括:
输出表示所述目标部位(130)和所述潜在血管进入部位(1101..n)的解剖图像,并且针对每个潜在血管进入部位,在所述解剖图像中识别影响所述成功因素(1501..k)中的一个或多个成功因素的至少主导特征的位置。
5.根据权利要求4所述的计算机实施的方法,其中,识别(S140)所述血管进入部位(110)包括:
在图形用户界面(160)上提供所述潜在血管进入部位(1101..n)的所述排序;
接收用户输入,所述用户输入指示影响所述成功因素(1501..k)中的一个或多个成功因素的至少主导特征的所述位置;并且
响应于所述用户输入而将与所述主导特征有关的患者数据(190)输出到所述图形用户界面(160)。
6.根据任一前述权利要求所述的计算机实施的方法,其中,计算(S130)成功度量(150)和/或识别(S140)所述血管进入部位(110)是通过将所述目标部位(130)和表示所述脉管系统的所述至少部分的所述图像数据(140)输入到至少一个神经网络(170)中来确定的;并且
其中,所述至少一个神经网络(170)被训练为基于所输入的目标部位(130)和所述图像数据(140)来预测所述成功度量(150)和/或识别所述血管进入部位(110)。
7.根据权利要求6所述的计算机实施的方法,其中,所述至少一个神经网络(170)被训练为还基于电子健康记录数据(180)来预测所述成功度量(150)和/或识别所述血管进入部位(110);并且其中,所述方法还包括:
接收与所述脉管系统有关的电子健康记录数据(180);并且
将所述电子健康记录数据输入到所述至少一个神经网络(170)中。
8.根据权利要求7所述的计算机实施的方法,其中,将所述电子健康数据输入到所述至少一个神经网络中引起影响流程结果的所述多个成功因素中的一个或多个成功因素的所计算的值和/或其相对加权的变化。
9.根据权利要求7所述的计算机实施的方法,其中,在将所述电子健康记录数据(180)输入到所述至少一个神经网络(170)中之前使用自然语言处理技术来处理所述电子健康记录数据。
10.根据权利要求6至9中的任一项所述的计算机实施的方法,其中,计算(S130)成功度量(150)是通过将所述目标部位(130)和表示所述脉管系统的所述至少部分的所述图像数据(140)输入到多个神经网络(1701..k)中来确定的;并且
其中,单独的神经网络被训练为基于所输入的目标部位(130)和所述图像数据(140)来预测所述成功因素(1501..k)中的每个成功因素。
11.根据权利要求6至10中的任一项所述的计算机实施的方法,其中,所述图像数据(140)包括在将所述介入设备(120)插入到所识别的血管进入部位中之前生成的超声图像数据。
12.根据权利要求6至11中的任一项所述的计算机实施的方法,其中,所述至少一个神经网络(170)还被训练为预测所述介入设备从所述潜在血管进入部位(1101..n)中的每个潜在血管进入部位到达所述脉管系统中的所述目标部位(130)的模拟路径;并且
其中,所述至少一个神经网络(170)被训练为还基于复杂度度量来计算所述成功度量(150)和/或识别所述血管进入部位(110),所述复杂度度量表示利用所述介入设备从所述潜在血管进入部位(1101..n)中的每个潜在血管进入部位到达所述脉管系统中的所述目标部位(130)的困难性。
13.根据权利要求6至12中的任一项所述的计算机实施的方法,其中,所述至少一个神经网络(170)通过以下操作被训练为预测所述成功度量(150)和/或识别所述血管进入部位(110):
接收(S210)针对多个对象中的每个对象的训练数据,所述训练数据包括表示脉管系统的部分的图像数据(140’)和对应的目标部位(130’);
接收(S220)针对所述训练数据中的所述目标部位中的每个目标部位的真实情况数据,所述真实情况数据表示将所述介入设备从所述血管进入部位(110)经由所述脉管系统的所述部分导航到所述目标部位(130’)的便利性;并且
针对多个所述对象:
输入(S230)所述训练数据和所述真实情况数据;并且调节(S240)所述神经网络的参数,直到表示由所述神经网络(170)预测的成功度量(150)和/或由所述神经网络(170)预测的血管进入部位(110)与所述真实情况数据之间的差异的损失函数的值满足停止准则。
14.根据权利要求13所述的计算机实施的方法,其中,所述真实情况数据包括针对所述目标部位(130)中的每个目标部位的血管进入部位(110)的排序;并且
其中,所述神经网络(170)被训练为针对每个输入的目标部位(130’)来预测所述血管进入部位的排序;并且
其中,重复调节所述神经网络(170)的参数,直到表示由所述神经网络预测的所述血管进入部位的排序与所述进入部位的真实情况排序之间的差异的损失函数的值满足停止准则。
15.一种用于识别血管进入部位(110)的系统(200),所述血管进入部位用于插入介入设备(120)以便到达脉管系统中的目标部位(130),所述系统包括一个或多个处理器(210),所述一个或多个处理器被配置为执行根据权利要求1至14中的任一项所述的方法的步骤。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163272251P | 2021-10-27 | 2021-10-27 | |
US63/272,251 | 2021-10-27 | ||
EP21218158.0 | 2021-12-29 | ||
PCT/EP2022/079847 WO2023072973A1 (en) | 2021-10-27 | 2022-10-26 | Identifying a vascular access site |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118159216A true CN118159216A (zh) | 2024-06-07 |
Family
ID=79025068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280072262.1A Pending CN118159216A (zh) | 2021-10-27 | 2022-10-26 | 识别血管进入部位 |
Country Status (2)
Country | Link |
---|---|
EP (1) | EP4173585A1 (zh) |
CN (1) | CN118159216A (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG11201507610RA (en) * | 2013-03-15 | 2015-10-29 | Synaptive Medical Barbados Inc | Planning, navigation and simulation systems and methods for minimally invasive therapy |
ES2973208T3 (es) * | 2016-02-16 | 2024-06-19 | Mentice Ab | Sistemas para encaminar un catéter dentro de un vaso |
-
2021
- 2021-12-29 EP EP21218158.0A patent/EP4173585A1/en not_active Withdrawn
-
2022
- 2022-10-26 CN CN202280072262.1A patent/CN118159216A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4173585A1 (en) | 2023-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210219935A1 (en) | Data-driven plaque determination in medical imaging | |
EP3142033B1 (en) | Physiology-driven decision support for therapy planning | |
CN107427268B (zh) | 用于基于纯几何机器学习的血流储备分数的方法和系统 | |
KR102477057B1 (ko) | 축소 차수 모델 및 기계 학습을 사용한 혈류 특성들의 추정을 위한 시스템 및 방법들 | |
US11389130B2 (en) | System and methods for fast computation of computed tomography based fractional flow reserve | |
WO2016075331A2 (en) | Method and system for purely geometric machine learning based fractional flow reserve | |
CN110444275B (zh) | 用于快速计算血流储备分数的系统和方法 | |
CN111954907A (zh) | 基于机器学习的血管成像中的分辨和操纵决策焦点 | |
US20240020877A1 (en) | Determining interventional device position | |
EP4173585A1 (en) | Method for identifying a vascular access site | |
JP7421689B2 (ja) | 介入装置形状の決定 | |
WO2023072973A1 (en) | Identifying a vascular access site | |
WO2023186610A1 (en) | Intravascular procedure step prediction | |
EP4181058A1 (en) | Time-resolved angiography | |
US20230178248A1 (en) | Thrombus treatment metric | |
EP4252666A1 (en) | Determining a value of a physical property of a thrombus | |
WO2022218773A1 (en) | Navigating an interventional device | |
WO2023104559A1 (en) | Thrombus treatment metric | |
JP2024524863A (ja) | 解剖学的領域の形状予測 | |
WO2023083700A1 (en) | Time-resolved angiography | |
KR20240048377A (ko) | 상행성 흉부 대동맥류 추정 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |