CN117726672A - 一种介入设备实时三维成像方法、系统和装置 - Google Patents

一种介入设备实时三维成像方法、系统和装置 Download PDF

Info

Publication number
CN117726672A
CN117726672A CN202311830721.0A CN202311830721A CN117726672A CN 117726672 A CN117726672 A CN 117726672A CN 202311830721 A CN202311830721 A CN 202311830721A CN 117726672 A CN117726672 A CN 117726672A
Authority
CN
China
Prior art keywords
interventional device
image
imaging
time
interventional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311830721.0A
Other languages
English (en)
Inventor
赵丙帅
李印生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Original Assignee
Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen United Imaging Research Institute of Innovative Medical Equipment filed Critical Shenzhen United Imaging Research Institute of Innovative Medical Equipment
Priority to CN202311830721.0A priority Critical patent/CN117726672A/zh
Publication of CN117726672A publication Critical patent/CN117726672A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本说明书实施例提供一种介入设备实时三维成像方法、系统和装置，该方法包括：通过射线成像设备在第一角度和第一时间对感兴趣区域进行成像获取第一图像以及第一投影矩阵；通过射线成像设备在第二角度和第二时间对感兴趣区域进行成像获取第二图像以及第二投影矩阵，其中，第一图像和第二图像包括感兴趣区域内的介入设备，第一角度与第二角度不同，第一时间与第二时间不同；从第一图像中提取介入设备，确定第一介入设备信息；从第二图像中提取介入设备，确定第二介入设备信息；基于第一介入设备信息、第二介入设备信息、第一投影矩阵以及第二投影矩阵，利用对极几何约束算法，确定介入设备的实时三维坐标信息。

Description

一种介入设备实时三维成像方法、系统和装置
技术领域
本说明书医学成像领域，特别涉及一种介入设备实时三维成像方法、系统和装置。
背景技术
在各种介入手术(如血管介入手术)中，可以通过操纵介入设备(如导丝导管)在人体内(如血管内)运动，以对病灶进行诊断或治疗。介入设备的运动需要人为监控，目前的介入设备路径监控可以通过二维路径图实现，但二维路径图中器官组织重叠，缺乏深度信息。介入设备路径监控还可以通过三维路径图实现，然而目前的三维路径图中血管是三维的，介入设备仍然是二维的，二维的介入设备和三维血管无法精准地融合到一起，仅能提供大概的相对位置关系。另外，目前的介入设备路径监控需要更多帧透视图像，提高了患者承受的辐射剂量。
因此，本说明书提供一种介入设备三维实时成像方法，能够实时生成三维介入设备和三维血管的融合图像，且具有较低的辐射剂量。
发明内容
本说明书实施例之一提供一种介入设备三维实时成像方法，所述方法包括：通过射线成像设备在第一角度和第一时间对感兴趣区域进行成像获取第一图像以及第一投影矩阵；通过所述射线成像设备在第二角度和第二时间对所述感兴趣区域进行成像获取第二图像以及第二投影矩阵，其中，所述第一图像和所述第二图像包括所述感兴趣区域内的介入设备，所述第一角度与所述第二角度不同，所述第一时间与所述第二时间不同；从所述第一图像中提取所述介入设备，确定第一介入设备信息；从所述第二图像中提取所述介入设备，确定第二介入设备信息；基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息。
本说明书实施例之一提供一种介入设备三维实时成像方法，所述方法包括：获取图像序列以及对应的投影矩阵，其中，所述图像序列包括多个图像，每个所述图像对应一个成像时间，所述图像序列包括感兴趣区域内的介入设备；所述图像序列通过第一成像单元和第二成像单元交替对所述感兴趣区域进行成像而获得；所述第一成像单元包括第一射线源以及第一探测器，所述第一成像单元对应第一成像角度；所述第二成像单元包括第二射线源以及第二探测器，所述第二成像单元对应第二成像角度；所述第一成像角度与所述第二成像角度不同；在所述图像序列中，将相邻的两个图像确定为一个图像组；对于每个所述图像组，分别从所述两个图像中提取所述介入设备，确定第一介入设备信息和第二介入设备信息；基于所述第一介入设备信息、所述第二介入设备信息以及所述对应的投影矩阵，利用极限几何约束算法，确定所述介入设备的实时三维坐标信息；获取所述感兴趣区域的三维组织器官图像；将所述介入设备的实时三维坐标信息和所述三维组织器官图像进行融合，得到示出所述介入设备与所述感兴趣区域的组织器官的相对位置关系的三维图像；基于每个所述图像组对应的所述三维图像，对所述介入设备进行实时跟踪。
本说明书实施例之一提供一种介入设备成像系统，所述系统包括：第一获取模块，用于通过射线成像设备在第一角度和第一时间对感兴趣区域进行成像获取第一图像以及第一投影矩阵；第二获取模块，用于通过所述射线成像设备在第二角度和第二时间对所述感兴趣区域进行成像获取第二图像以及第二投影矩阵，其中，所述第一图像和所述第二图像包括所述感兴趣区域内的介入设备，所述第一角度与所述第二角度不同，所述第一时间与所述第二时间不同；第一提取模块，用于从所述第一图像中提取所述介入设备，确定第一介入设备信息；第二提取模块，用于从所述第二图像中提取所述介入设备，确定第二介入设备信息；对极几何约束模块，用于基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息。
本说明书实施例之一提供一种介入设备成像装置，所述装置包括：至少一个存储介质，存储计算机指令；至少一个处理器，执行所述计算机指令，以实现所述的介入设备三维实时成像方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的介入设备成像系统的应用场景示意图；
图2是根据本说明书一些实施例所示的介入设备成像系统的示例性结构图；
图3是根据本说明书一些实施例所示的介入设备三维实时成像方法的示例性流程图；
图4是根据本说明书一些实施例所示的确定第一介入设备信息的示例性流程图；
图5是根据本说明书一些实施例所示的另一确定第一介入设备信息的示例性流程图；
图6A、图6B是根据本说明书一些实施例所示的确定介入设备实时三维坐标信息的示例性流程图；
图7是根据本说明书一些实施例所示的导丝导管拟合中心线和控制点的示意图；
图8是根据本说明书一些实施例所示的极线和匹配点的示意图；
图9是根据本说明书一些实施例所示的导丝导管拟合中心线和控制点的示意图；
图10是根据本说明书一些实施例所示的极线和匹配点的示意图；
图11是根据本说明书一些实施例所示的另一介入设备三维实时成像方法的示例性流程图；
图12是同步采集的示意图；
图13是根据本说明书一些实施例所示的异步采集的示意图；
图14是根据本说明书一些实施例所示的另一异步采集的示意图；
图15是根据本说明书一些实施例所示的控制点映射函数示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
在各种介入手术(如血管介入手术)中，可以通过操纵介入设备(如导丝导管)在人体内(如血管内)运动，实现栓塞畸形血管、溶解血栓、扩张狭窄血管等治疗。介入设备的运动需要人为监控，目前的介入设备路径监控可以通过二维路径图实现，但是实际手术中血管和介入设备都是三维的，二维路径图缺乏深度信息。另外，介入设备路径监控还可以通过三维路径图实现，然而目前的三维路径图中血管是三维的，但介入设备仍然是二维的，二维的介入设备和三维血管无法精准地融合到一起，仅能提供大概的相对位置关系。另外，目前的介入设备路径监控需要更多帧透视图像，提高了患者的辐射剂量。
因此，本说明书提供一种介入设备三维实时成像方法，能够实时生成三维介入设备和三维血管的融合图像，且具有较低的辐射剂量。
图1是根据本说明书一些实施例所示的介入设备成像系统的应用场景示意图。
如图1所示，介入设备成像系统的应用场景100可以包括成像设备110、处理设备120、终端130、网络140以及存储设备150。
成像设备110可以用于获取目标对象的医学图像，例如，第一图像和第二图像。成像设备110可以是射线成像设备。进一步地，成像设备110可以是X射线成像设备。例如，DSA(Digital Subtraction Angiography，数字减影血管造影)设备。在一些实施例中，成像设备110可以包括用于发射X射线的射线源以及用于接收X射线的探测器。探测器可以为平板探测器。在一些实施例中，成像设备110可以包括X射线管(如球管)、高压发生器、控制器、机架等组件(部分图中未示出)。在一些实施例中，成像设备110可以包括两个射线源以及两个探测器。在一些实施例中，成像设备110可以包括第一成像单元和第二成像单元。第一成像单元包括第一射线源、与第一射线源对应的第一探测器(接收第一射线源的X射线)，第二成像单元包括第二射线源、以及与第二射线源对应的第二探测器(接收第二射线源的X射线)。作为示例，成像设备110可以是具有两个射线源-平板探测器的双平板DSA设备。成像设备110可以是双C形臂的DSA设备、G形臂的DSA设备等。在一些实施例中，目标对象可以是被扫描的个体，例如人(患者)、动物等。在一些实施例中，感兴趣区域可以是目标对象的病灶区域，例如头部、颈部、胸部、腹部等。
处理设备120可以处理从成像设备110、终端130和/或存储设备150获得的数据和/或信息。例如，处理设备120可以执行本说明书中的介入设备三维实时成像方法。在一些实施例中，处理设备120可以在云平台上实现。
终端130可以包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中，终端130可以通过网络140与其他组件交互。例如，终端130可以向成像设备110发送一种或多种控制指令以控制成像设备110按照指令对目标对象进行扫描。
网络140可以包括能够促进信息和/或数据交换的任何合适的网络。在一些实施例中，一个或多个组件(例如，成像设备110、处理设备120、终端130、存储设备150等)可以通过网络140与一个或多个组件之间交换信息和/或数据。
存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从成像设备110、终端130和/或处理设备120处获得的数据，例如，存储设备150可以存储从成像设备110获得的第一图像和第二图像。应当注意介入设备成像系统的应用场景100仅仅是为了说明的目的而提供的，并不意图限制本申请的范围。对于本领域的普通技术人员来说，可以根据本说明书的描述，做出多种修改或变化。例如，介入设备成像系统的应用场景100还可以包括数据库。又例如，介入设备成像系统的应用场景100可以在其它设备上实现类似或不同的功能。然而，这些变化和修改不会背离本申请的范围。
图2是根据本说明书一些实施例所示的介入设备成像系统的示例性结构图。
在一些实施例中，介入设备成像系统200可以由处理设备120通过软件或硬件实现。在一些实施例中，介入设备成像系统200可以包括第一获取模块210、第二获取模块220、第一提取模块230、第二提取模块240以及对极几何约束模块250。
第一获取模块210，用于通过射线成像设备在第一角度和第一时间对感兴趣区域进行成像获取第一图像以及第一投影矩阵；
第二获取模块220，用于通过射线成像设备在第二角度和第二时间对所述感兴趣区域进行成像获取第二图像以及第二投影矩阵，其中，所述第一图像和所述第二图像包括所述感兴趣区域内的介入设备，所述第一角度与所述第二角度不同，所述第一时间与所述第二时间不同；
第一提取模块230，用于从所述第一图像中提取所述介入设备，确定第一介入设备信息；
第二提取模块240，用于从所述第二图像中提取所述介入设备，确定第二介入设备信息；
对极几何约束模块250，用于基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息。
图3是根据本说明书一些实施例所示的介入设备三维实时成像方法的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由处理设备(如处理设备120)及其组件执行。
步骤310，通过射线成像设备在第一角度和第一时间对感兴趣区域进行成像获取第一图像以及第一投影矩阵。在一些实施例中，步骤310可由第一获取模块210执行。
步骤320，通过射线成像设备在第二角度和第二时间对感兴趣区域进行成像获取第二图像以及第二投影矩阵。在一些实施例中，步骤320可由第二获取模块220执行。
在一些实施例中，射线成像设备(如成像设备110)可以包括两个射线源以及两个探测器。在一些实施例中，射线成像设备可以包括第一成像单元和第二成像单元。第一成像单元包括第一射线源、与第一射线源对应的第一探测器(接收第一射线源的X射线)，第二成像单元包括第二射线源、以及与第二射线源对应的第二探测器(接收第二射线源的X射线)。作为示例，成像设备可以是具有两个射线源-平板探测器的双平板DSA设备。成像设备可以是双C形臂的DSA设备、G形臂的DSA设备等。射线源(如第一射线源、第二射线源)发射的X射线穿过感兴趣区域后被对应的探测器(如第一探测器、第二探测器)接收，经过信号处理和增强后得到图像。
第一角度是第一射线源的入射角度(例如，第一射线源中心线的入射角度)。第二角度是第二射线源的入射角度(例如，第二射线源中心线的入射角度)。其中，第一射线源、第二射线源的入射角度可以是射线源中心线与垂线之间的夹角。例如，第一角度和第二角度分别为45°和60°。在一些实施例中，第一角度和第二角度可以由用户设置确定。成像设备可以通过不同角度的第一射线源、第二射线源，获取多个角度的图像。在一些实施例中，角度可以通过第一射线源、第二射线源之间的角度差(或第一探测器、第二探测器之间的角度差)来表示。例如，第一射线源、第二射线源之间的角度差(或第一探测器、第二探测器之间的角度差)可以是70°、90°。仅作为说明，在角度差为90°时，介入设备三维重建的精度最高。
第一时间是第一射线源与第一探测器对感兴趣区域成像的时间。第二时间是第二射线源与第二探测器对感兴趣区域成像的时间。可以理解的是，步骤310和步骤320可以调换顺序进行或交替进行。
第一图像为射线成像设备在第一角度和第一时间对感兴趣区域成像得到的二维图像。第二图像为射线成像设备在第二角度和第二时间对感兴趣区域成像得到的二维图像。第一图像和第二图像可以反映感兴趣区域在成像时间的内部情况。在一些实施例中，第一图像和第二图像包括感兴趣区域内的介入设备。介入设备是介入手术中需要进入人体的医疗器械。例如，导丝导管、穿刺针等。仅作为示例，第一图像和第二图像可以是包括血管、导丝导管的位置分布情况的二维透视图像。
第一投影矩阵以及第二投影矩阵是在获取对应的第一/第二图像时得到的参数矩阵。第一投影矩阵以及第二投影矩阵包含了在获取第一/第二图像时刻球管和平板探测器的位置信息、旋转角度等。在一些实施例中，第一投影矩阵以及第二投影矩阵是3*4的矩阵。
在一些实施例中，可以通过射线成像设备的第一射线源以及与第一射线源对应的第一探测器在第一角度和第一时间对感兴趣区域进行成像获取第一图像，通过射线成像设备的第二射线源以及与第二射线源对应的第二探测器在第二角度和第二时间对所述感兴趣区域进行成像获取第二图像。在一些实施例中，处理设备120可以控制第一射线源与第一探测器、第二射线源与第二探测器之一，在第一角度和第二角度之间切换并采集第一图像和第二图像。
在一些实施例中，处理设备120可以实时获取第一图像和第二图像。例如，处理设备120可以每秒获取15帧第一图像和第二图像(例如，第一图像和第二图像之间的时间间隔为1/15s)，即处理设备120控制第一射线源与第一探测器、第二射线源与第二探测器交替成像，实现每秒共成像15次。在一些实施例中，当处理设备120接收到用户发出的实时获取图像的指令后，处理设备120可以控制第一射线源与第一探测器、第二射线源与第二探测器进行实时异步采集图像。通过上述对成像设备的控制，可以满足实时使用场景的需求，同时减少辐射量以及降低功耗。
仅作为示例，对于第一射线源与第一探测器、第二射线源与第二探测器异步采集图像，先将第一射线源与第一探测器设置在第一角度，将第二射线源与第二探测器设置在第二角度，处理设备120可以控制成像设备交替地获取第一图像和第二图像。如图13所示，假设第一图像的图像帧为A，第二图像的图像帧为B，处理设备120先控制第一射线源与第一探测器在第一角度获取第一图像A1，再控制第二射线源与第二探测器在第二角度获取第二图像B2，再控制第一射线源与第一探测器在第一角度获取第一图像A3，以此类推。则成像设备获取的第1帧图像到第N帧图像(以获取时间先后为顺序)可以表示为：A1、B2、A3、B4……AN-1、BN。
本说明书中成像设备通过控制不同角度、不同时间，对感兴趣区域进行成像，可以实现异步采集；另外，通过较高频率获取二维透视图像，可以实现对介入设备的实时三维追踪，其可以应用于介入手术中的图像导航、跟踪等。
步骤330，从第一图像中提取介入设备，确定第一介入设备信息。在一些实施例中，步骤330可由第一提取模块230执行。
步骤340，从第二图像中提取介入设备，确定第二介入设备信息。在一些实施例中，步骤340可由第二提取模块240执行。
介入设备信息(第一介入设备信息、第二介入设备信息)是与对应图像中介入设备相关的图像信息。例如，第一介入设备信息可以是第一图像中介入设备的中心线的定位信息；第二介入设备信息可以是第二图像中介入设备的中心线的定位信息。介入设备中心线的定位信息可以表示为介入设备的中心线的多个像素点，每个像素点对应自身的图像中的二维位置坐标。
在一些实施例中，介入设备信息可以通过对对应图像进行图像处理以提取。示例性的图像处理方式可以包括图像配准、图像数字减影、图像分割等方式。关于确定介入设备信息的具体说明，参见图4、图5及其相关描述。
在一些实施例中，步骤330可以在步骤310完成后进行，步骤340可以在步骤320完成后进行，本说明书对此不做限制。
步骤350，基于第一介入设备信息、第二介入设备信息、第一投影矩阵以及第二投影矩阵，利用对极几何约束算法，确定介入设备的实时三维坐标信息。在一些实施例中，步骤350可由对极几何约束模块250执行。
对极几何约束算法可以用于对图像间对应点的匹配和定位，以确定介入设备的实时三维坐标信息。对极几何约束算法可以减少匹配错误和提高匹配精度，同时可以减少计算复杂度。关于对极几何约束算法的具体说明，参见图6A、图6B及其相关描述。
通过对极几何约束算法可以得到介入设备的实时三维坐标信息。介入设备的实时三维坐标信息是介入设备在三维空间中的实时位置信息。
在一些实施例中，处理设备120还可以获取感兴趣区域的三维组织器官图像。三维组织器官图像反映感兴趣区域的立体解剖结构和形态特征。在一些实施例中，三维组织器官图像可以通过成像设备110或其他成像设备获取。例如，通过3D DSA、CTA(ComputedTomography Angiography，计算机断层血管造影)、或MRA(Magnetic ResonanceAngiography，磁共振血管成像)等对感兴趣区域扫描以获得3D血管图像。在一些实施例中，三维组织器官图像的获取可以在术前进行，即在介入设备插入人体之前进行。
在一些实施例中，处理设备120还可以将介入设备的实时三维坐标信息和三维组织器官图像进行融合，得到示出介入设备与感兴趣区域的组织器官的相对位置关系的三维图像。示例性的图像融合方式可以是图像叠加，即将介入设备的实时三维坐标信息和三维组织器官图像中介入设备/组织器官的实时位置和方向信息叠加，得到包含介入设备/组织器官位置分布以及形态结构的三维立体图像。三维立体图像可以提供更准确的导航和定位信息，帮助医生更精确地进行手术操作，减少手术风险。
在一些实施例中，处理设备120还可以将上述介入设备的实时三维坐标信息、三维组织器官图像以及融合后的三维图像反馈给用户。例如，处理设备120响应于用户的选择，通过终端(如终端130)向用户实时/非实时展示介入设备的实时三维坐标信息、三维组织器官图像以及融合后的三维图像中的一个或多个。
通过本说明书一些实施例所述的介入设备三维实时成像方法，通过异步采集方式采集感兴趣的图像帧，减少患者承受的辐射剂量；通过获取多角度的图像(如第一图像和第二图像)，以提高影像质量，有助于医生的医疗诊断；通过异步采集图像帧减少对设备的负荷，提高工作效率。
图4是根据本说明书一些实施例所示的确定第一介入设备信息的示例性流程图。如图4所示，在一些实施例中，流程400可以由处理设备(如处理设备120)或其组件执行。
步骤410，获取第一参考图像。
第一参考图像是介入设备进入人体感兴趣区域前的二维透视图像。第一参考图像不包括介入设备。第一参考图像可以在术前获取。在一些实施例中，第一参考图像通过第一射线源以及第一探测器在第一角度对感兴趣区域进行成像获取。
步骤420，基于第一参考图像和第一图像，确定第一介入设备信息。
在一些实施例中，处理设备120可以通过对第一参考图像和第一图像进行配准、数字减影等图像处理后得到第一介入设备信息。例如，处理设备120可以对第一参考图像和第一图像进行配准，将上述图像进行对齐，使它们在空间上保持一致。具体可以通过计算图像间的变换矩阵来实现，以使得上述图像的特征点或特征区域对应匹配。另外，处理设备120可以对第一参考图像和第一图像进行数字减影，即通过配准后的第一参考图像和第一图像执行减法运算，以去除骨骼和其他背景结构，从而突出显示导丝导管的图像。通过数字减影可以得到基本上去除背景结构的介入设备图像。在一些实施例中，处理设备120可以从数字减影后的图像中提取介入设备的中心线。例如，处理设备120可以通过边缘检测得到介入设备的大致形状，并通过中心线提取算法(如骨架化算法)提取介入设备的中心线。在一些实施例中，处理设备120可以对上述提取的介入设备中心线进行图像分割，并将其转化为二值图像。例如，处理设备120可以将上述提取的介入设备中心线分割为介入设备中心线区域和非介入设备中心线区域，介入设备中心线区域像素值设为1，非介入设备中心线区域像素值设为0，以此得到二值图像。其中，图像分割可以通过介入设备提取模型实现。由于图像噪声、图像处理过程的像素丢失等因素，上述介入设备中心线可能是不连续的，因此处理设备120还可以通过曲线拟合等方式，得到完整的介入设备中心线，并将其作为第一介入设备信息。
关于获取第二参考图像，以及基于第二参考图像和第二图像，确定第二介入设备信息的说明，参见上述对第一参考图像和对第一介入设备信息的说明。可以理解的是，第二参考图像通过第二射线源以及第二探测器在第二角度对感兴趣区域进行成像获取；第二参考图像也不包括介入设备。
本实施例中通过图像配准、数字减影等图像处理方式，得到能够反映介入设备形态、位置的介入设备信息，有利于用户对介入设备情况的实时追踪。
图5是根据本说明书一些实施例所示的另一确定第一介入设备信息的示例性流程图。如图5所示，在一些实施例中，流程500可以由处理设备(如处理设备120)或其组件执行。
步骤510，基于介入设备提取模型从第一图像中提取介入设备。
介入设备提取模型可以是机器学习模型。例如，SegNet、Deeplab、U-Net、V-Net、nnU-Net等模型。在一些实施例中，介入设备提取模型的输入可以包括第一图像，输出可以包括第一分割结果。
第一分割结果是对第一图像进行图像分割后的分割结果。通过图像分割可以将第一图像中的介入设备提取出来。例如，第一分割结果可以是仅包含介入设备的二维透视图像。在一些实施例中，对第一图像进行图像分割可以通过阈值分割、边缘分割、区域生长、聚类分割、深度学习等方式实现。在一些实施例中，对第一图像进行图像分割可以通过介入设备提取模型实现。
在一些实施例中，介入设备提取模型可以通过多个带有标签的样本训练得到。其中，样本可以是历史的包括介入设备以及人体组织的二维透视图像，标签可以是上述样本图像对应的对介入设备的分割结果。例如，可以将多个带有标签的样本输入初始介入设备提取模型，通过标签和初始介入设备提取模型的结果构建损失函数，基于损失函数通过梯度下降或其他方法迭代更新初始介入设备提取模型的参数。当满足预设条件时模型训练完成，得到训练好的介入设备提取模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
步骤520，确定第一介入设备信息。
在一些实施例中，处理设备120可以对提取的介入设备(如第一分割结果)进行图像处理，以确定第一介入设备信息。示例性的图像处理方式可以包括将图像转化为二值图像、中心线提取、曲线拟合等。第一分割结果中包括的与介入设备相关的信息需要进一步优化。例如，通过中心线提取可以得到介入设备的中心线，能够更准确地反映导丝导管的位置、形态；通过曲线拟合可以将可能不连续的介入设备中心线优化为连续的线条。可以理解的是，图像处理方式还可以包括其他任意一种方式。
在一些实施例中，介入设备提取模型的输入可以包括第一图像，输出可以包括第一介入设备信息。例如，介入设备提取模型可以根据第一图像直接输出第一图像中导丝导管的中心线。
这种情况下，介入设备提取模型的训练样本可以是历史的包括介入设备以及人体组织的二维透视图像，标签可以是上述样本图像对应的介入设备的中心线。例如，可以将多个带有标签的样本输入初始介入设备提取模型，通过标签和初始介入设备提取模型的结果构建损失函数，基于损失函数通过梯度下降或其他方法迭代更新初始介入设备提取模型的参数。当满足预设条件时模型训练完成，得到训练好的介入设备提取模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
对于第二图像，也可以采用与第一图像相似的方式得到第二介入设备信息。在一些实施例中，处理设备120可以基于介入设备提取模型从第二图像中提取介入设备(如提取得到第二分割结果)；确定第二介入设备信息。其中，第二分割结果是对第二图像进行图像分割后的分割结果。可以理解的是，介入设备提取模型的输入可以包括第二图像，输出是第二分割结果，第二分割结果经过图像处理(如将图像转化为二值图像、中心线提取、图像拟合等)后得到第二介入设备信息。介入设备提取模型也可以直接输出第二介入设备信息。
本实施例中，通过机器学习模型对二维透视图像进行图像分割，得到仅包含介入设备中心线的图像，整个过程不需要生成没有介入设备的参考图像，进一步减少辐射剂量。
图6A、图6B是根据本说明书一些实施例所示确定介入设备实时三维坐标信息的示例性流程图。如图6A、图6B所示，在一些实施例中，流程600-1、600-2可以由处理设备(如处理设备120)或其组件执行。
步骤610-1，选择第一介入设备信息为控制点选取帧。
控制点选取帧是确定控制点的图像帧。控制点可以用于确定极线。在图像序列A1、B2、A3、B4……AN-1、BN中，对于图像帧A1和B2，控制点选取帧可以是图像帧A1，则图像帧B2为极线匹配帧。需要说明的是，步骤610-1也可以选择第二介入设备信息为控制点选取帧，即控制点选取帧可以是图像帧B2，图像帧A1则为极线匹配帧。
步骤620-1，选择第二介入设备信息为极线匹配帧。
极线匹配帧是确定与控制点对应的匹配点的图像帧。控制点与对应的匹配点可以指示同一个物点，即控制点与对应的匹配点指向介入设备的同一位置点。在一些实施例中，极线匹配帧是控制点选取帧的相邻的前一帧或后一帧。在异步采集中，利用对极几何约束算法确定介入设备的实时三维坐标信息，需要选择相邻两帧分别作为控制点选取帧和极线匹配帧。由于异步采集中相邻两帧的获取存在时间差(即第一时间和第二时间不同)，因此介入设备在感兴趣区域中的形态、位置可能不同。进一步地，在介入设备插入人体组织的病灶的过程中以及在介入设备撤出人体组织的病灶的过程中，成像设备在不同时间采集到的介入设备(如导丝导管)长度不同。因此，控制点选取帧中的介入设备长度需要小于或等于极线匹配帧中介入设备的长度，才能保证所有控制点都被匹配到。所以，需要在相邻两帧中准确地确定控制点选取帧。需要说明的是，步骤620-1也可以选择第一介入设备信息为极线匹配帧，即极线匹配帧可以是图像帧A1，图像帧B2则为控制点选取帧。
步骤630-1，基于第一介入设备信息，确定第一控制点。
第一控制点是第一介入设备信息(例如，从第一图像中提取的介入设备中心线)中的控制点。在一些实施例中，处理设备120可以对第一介入设备信息进行拟合，得到完整平滑的介入设备中心线。例如，导丝导管中心线的定位信息可以表示为导丝导管的中心线的多个像素点，每个像素点对应自身的图像中的二维位置坐标，第一控制点可以是上述多个像素点中的一部分或全部。在一些实施例中，第一控制点至少包括介入设备的中心线的两个端点。第一控制点的选取可以由人工设置、系统预设或其他特征提取算法确定。在一些实施例中，第一控制点的选取可以遵循以下原则：在整个介入设备中心线中均匀分布(如等间距分布)，以覆盖尽可能多的介入设备的位置、形态的特征。
仅作为示例，首先将介入设备中心线上所有像素点进行曲线拟合，得到表示该曲线的函数f(t)。然后将参数t归一化到区间[0,1]，即t＝0表示介入设备中心线的一个端点，t＝1表示介入设备中心线的另一端点，t取0到1之间的任一数值，即表示介入设备中心线的任意一点。图7是根据本说明书一些实施例所示的导丝导管拟合中心线和控制点的示意图。如图7所示，导丝导管的拟合中心线710上选取了多个控制点720(即控制点1、控制点2、控制点3、控制点4、控制点5和控制点6)，每个控制点等间距均匀分布在拟合中心线710上，且涵盖了导丝导管的两个端点(控制点1和控制点6)。需要说明的是，第一控制点的确定是基于控制点选取帧对应的介入设备信息进行的，如果第二介入设备信息为控制点选取帧，则基于第二介入设备信息确定第一控制点。
步骤640-1，基于第一控制点、第二介入设备信息、第一投影矩阵以及第二投影矩阵，确定第一匹配点。
第一匹配点是第二介入设备信息中与第一控制点相匹配的点。在一些实施例中，处理设备120可以获取成像设备(如成像设备110)的系统信息。系统信息可以包括投影角度、射线源焦点到探测器中心的物理距离(Source to Image’s Distance，SID)(如第一射线源焦点和第一探测器之间的距离、第二射线源焦点和第二探测器之间的距离)、射线源焦点到旋转中心的物理距离(Source to Object’s Distance，SOD)探测器上每个像素的实际物理尺寸等信息。在一些实施例中，处理设备120可以基于上述系统信息，确定投影矩阵PA和PB，然后通过公式(1)求出反映第i帧和第i+1帧之间相对位置关系的基本矩阵：
其中，F为3*3的基本矩阵；OA为采集第控制点选取帧时的焦点坐标(满足PAOA＝0，即OA是PA的零矢量)，是PA的伪逆矩阵，[*]×是向量的反对称矩阵形式。
在一些实施例中，处理设备120可以通过公式(2)确定多条极线：
lB＝FpA (2)
其中，lB为极线；pA为[x,y,1](假设控制点的坐标为x,y)。计算得到的lB为列向量[a,b,c]，得到极线表达式(3)：
axB+byB+c＝0 (3)
其中，极线上每个点的坐标为(xB，yB)。每条极线与导丝导管中心线的交点作为匹配点。图8是根据本说明书一些实施例所示的极线和匹配点的示意图。如图8所示，导丝导管的拟合中心线810和极线830的交点作为匹配点820(即匹配点1、匹配点2、匹配点3、匹配点4、匹配点5和匹配点6)，此时匹配点820和上述图7中的控制点720正好分别对应。需要说明的是，当基于第二介入设备信息确定第一控制点时，步骤640-1可以是基于第一控制点、第一介入设备信息、第一投影矩阵以及第二投影矩阵，确定第一匹配点。
步骤650-1，判断第一匹配点的数量是否等于第一控制点的数量。
在对极几何约束算法中，需要有尽可能多的第一控制点能够找到对应的匹配点。第一控制点能够被匹配的数量越多，后续三维重建的准确度越高。因此，需要判断第一控制点和第一匹配点的数量，以确定匹配情况。在一些实施例中，响应于第一匹配点的数量等于第一控制点的数量，执行步骤660-1。响应于第一匹配点的数量小于第一控制点的数量，执行流程600-2。
步骤660-1，基于第一控制点和第一匹配点确定介入设备的实时三维坐标信息。
第一匹配点的数量等于第一控制点的数量时，说明第一控制点每个点都被匹配。例如，第i帧到第i+1帧的过程中，介入设备向感兴趣区域插入时，此时第一介入信息中的介入设备中心线长度会大于或等于第二介入信息中介入设备中心线长度，则此时在第一介入信息中确定的控制点能够被第二介入信息全部匹配到。
在一些实施例中，处理设备120可以基于第一控制点和第一匹配点确定介入设备的实时三维坐标信息。具体地，处理设备120可以以第一控制点参数t(tA)为横坐标，第一匹配点参数t(tB)为纵坐标，通过拟合算法绘制控制点映射函数(如图15所示，通过6组控制点-匹配点映射对绘制的控制点映射函数)。控制点映射函数反映第一控制点和第一匹配点的映射关系。当介入设备(如导丝)的弯曲度较大时，可能会出现一个第一控制点对应多个第一匹配点的情况。在图15中体现为一个第一控制点参数t对应多个第一匹配点参数t，即同一横坐标存在多个“+”点。处理设备120可以选择其中的一个作为控制点映射函数上的点(即“〇”内的“+”点)。通过6组控制点-匹配点映射对可以实现很好的拟合。在一些实施例中，处理设备120可以在控制点映射函数中确定更多的控制点-匹配点映射对，以增加三维重建的样本量。在一些实施例中，处理设备120可以先将控制点-匹配点映射对的t值转化为对应图像中的二维坐标，然后根据计算机视觉中的三角测量原理，通过二维坐标点对和投影矩阵PA和PB，计算出二维坐标点对对应的三维坐标点，即实现对介入设备的三维重建。
在一些实施例中，响应于第一匹配点的数量小于第一控制点的数量，处理设备120可以执行流程600-2。步骤610-2，选择第二介入设备信息为控制点选取帧。步骤620-2，选择第一介入设备信息为极线匹配帧。步骤630-2，基于第二介入设备信息，确定第二控制点。步骤640-2，基于第二控制点、第一介入设备信息、第一投影矩阵以及第二投影矩阵，确定第二匹配点。步骤650-2，判断第二匹配点的数量是否等于第二控制点的数量。响应于第二匹配点的数量等于第二控制点的数量，执行步骤680-2，基于第二控制点和第二匹配点确定介入设备的实时三维坐标信息。响应于第二匹配点的数量小于第二控制点的数量，执行步骤660-2，判断第一匹配点的数量是否大于等于第二匹配点的数量。响应于第一匹配点的数量大于等于第二匹配点的数量，执行步骤670-2，基于第一控制点和第一匹配点确定介入设备的实时三维坐标信息。响应于第一匹配点的数量小于等于第二匹配点的数量，执行步骤680-2，基于第二控制点和第二匹配点确定介入设备的实时三维坐标信息。流程600-2的原理如下：当第一控制点不能被全部匹配时，可以将控制点选取帧和极线匹配帧进行对调后再匹配，并再次判断匹配点和控制点的数量。例如，第i帧到第i+1帧的过程中，导丝导管从感兴趣区域撤出时，此时第i帧的第一介入信息中的导丝导管中心线长度会小于第i+1帧的第二介入信息中导丝导管中心线长度，则此时在第一介入信息中确定的控制点不能被第二介入信息全部匹配到，因此可以将控制点选取帧和极线匹配帧进行调换，选择导丝导管中心线长度较长的帧作为控制点选取帧。
同样地，与流程600-1相似，处理设备120可以基于第二介入设备信息确定第二控制点，第二控制点的数量等于第一控制点的数量；基于第二控制点、第一介入设备信息、第一投影矩阵以及第二投影矩阵，确定第二匹配点；判断第二匹配点的数量是否等于第二控制点的数量；响应于第二匹配点的数量等于第二控制点的数量，基于第二控制点和第二匹配点确定介入设备的实时三维坐标信息。第二控制点是第二图像中的控制点；第二匹配点是第一图像中与第二控制点对应的匹配点。第二匹配点的数量等于第二控制点的数量时，说明第二控制点每个点都被匹配。
在一些实施例中，响应于第二匹配点的数量小于第二控制点的数量，处理设备120可以判断第一匹配点的数量是否大于等于第二匹配点的数量；响应于第一匹配点的数量大于等于第二匹配点的数量，基于第一控制点和第一匹配点，确定介入设备的实时三维坐标信息；响应于第一匹配点的数量小于等于第二匹配点的数量，基于第二控制点和第二匹配点，确定介入设备的实时三维坐标信息。假设由于误差、图像畸变等因素，导致第一控制点或第二控制点和无法实现每个都被匹配，则在第一匹配点和第二匹配点中，选择匹配数量最大者进行三维重建。通过该过程可以尽可能选择匹配效果较好的情况，以得到尽可能好的三维重建结果。
步骤610-2，620-2，630-2，640-2以及680-2分别与步骤610-1，620-1，630-1，640-1以及660-1类似。
图9是根据本说明书一些实施例所示的导丝导管拟合中心线和控制点的示意图。如图9所示，将图7的控制点选取帧和图8的极线匹配帧进行对调后，导丝导管的拟合中心线910上选取了多个控制点920(即控制点1、控制点2、控制点3、控制点4、控制点5和控制点6)，每个控制点等间距均匀分布在拟合中心线910上，且涵盖了导丝导管的两个端点(控制点1和控制点6)。
图10是根据本说明书一些实施例所示的极线和匹配点的示意图。如图10所示，将图7的控制点选取帧和图8的极线匹配帧进行对调后，导丝导管的拟合中心线1010和极线1030的交点作为匹配点1020(即匹配点1、匹配点2、匹配点3、匹配点4和匹配点5)，此时能找到对应的匹配点1020只有5个，因此后续进行三维重建会存在一定误差(会丢失控制点6相关的信息)。综上，通过本实施例中提供的流程600-1和600-2，可以准确的选择控制点选取帧和极线匹配帧，能够使得控制点尽可能多的匹配到，进一步使介入设备三维重建更准确。
本实施例中优化了对极几何约束算法，通过对控制点和匹配点的数量对比，在相邻两帧图像的获取存在时间差，并且无法得知介入设备运动情况的前提下，依然能够准确的选择控制点选取帧和极线匹配帧，从而实现介入设备的三维重建。
图11是根据本说明书一些实施例所示的另一介入设备三维实时成像方法的示例性流程图。如图11所示，在一些实施例中，流程1100可以由处理设备(如处理设备120)或其组件执行。
步骤1110，获取图像序列以及对应的投影矩阵。
在一些实施例中，图像序列包括多个图像帧，如包括上述的第一图像和第二图像。具体地，以图13为例，图像序列可以是A3,B4,A5,B6……。以图14为例，图像序列可以是A1,B2,A3,B4……。在一些实施例中，每个图像对应一个成像时间，如第一时间和第二时间。在一些实施例中，图像序列包括感兴趣区域内的介入设备，如导丝导管、穿刺针等。投影矩阵包含了获取第一/第二图像时刻球管和平板探测器的位置信息、旋转角度等。
在一些实施例中，图像序列通过第一成像单元和第二成像单元交替对感兴趣区域进行成像而获得，第一成像单元包括第一射线源以及第一探测器，第一成像单元对应第一成像角度；第二成像单元包括第二射线源以及第二探测器，第二成像单元对应第二成像角度；第一成像角度与所述第二成像角度不同。关于获取图像序列的说明，参见图3及其相关描述。
在一些实施例中，在图像序列中，将相邻的两个图像确定为一个图像组。例如，以图13为例，图像组可以是A3-B4、B4-A5、A5-B6……。
步骤1120，对于每个图像组，分别从两个图像中提取介入设备，确定第一介入设备信息和第二介入设备信息。
步骤1130，基于第一介入设备信息、第二介入设备信息以及对应的投影矩阵，利用对极几何约束算法，确定介入设备的实时三维坐标信息。
步骤1140，获取感兴趣区域的三维组织器官图像。
步骤1150，将介入设备的实时三维坐标信息和三维组织器官图像进行融合，得到示出介入设备与感兴趣区域的组织器官的相对位置关系的三维图像。关于步骤1120至步骤1150的具体说明，参见图3至图6A、图6B的描述，此处不再赘述。
步骤1160，基于每个图像组对应的三维图像，对介入设备进行实时跟踪。通过上述过程可以实现异步探测器实时成像，并对介入设备实时跟踪。实时跟踪情况可以通过终端(如终端130)反馈给用户。
图12是同步采集的示意图。在同步采集中，第一图像和第二图像可以通过至少两个射线源与探测器同步采集得到。以两组射线源与探测器为例，如图12所示，A1是探测器A上的第1帧二维透视图像；A2是探测器A上的第2帧二维透视图像……；A(n+1)是探测器A上的第n+1帧二维透视图像；B1是探测器B上的第1帧二维透视图像，B2是探测器B上的第2帧二维透视图像……；B(n+1)是探测器B上的第n+1帧二维透视图像。AS1是指对A1和A2经过图像配准、数字减影等图像处理后得到基本去除背景信息的介入设备图像(其中，A1作为第一参考图像)，再经过预处理、图像分割和中心线提取后得到的第1帧二值图像……；ASn是指对A1和A(n+1)经过上述处理后，得到的第n帧二值图像；BS1是指对B1和B2经过图像配准、数字减影等图像处理后得到基本去除背景信息的介入设备图像(其中，B1作为第二参考图像)，再经过预处理、图像分割和中心线提取后得到第1帧二值图像……；BSn是指对B1和B(n+1)经过上述处理后，得到的第n帧二值图像。最后AS1和BS1经过基于对极几何约束算法后进行三维重建，得到第1帧的三维介入设备4DF1……；ASn和BSn经过基于对极几何约束算法后进行三维重建，得到第n帧的三维介入设备4DFn。其中，A1和B1同时采集；A2和B2同时采集……，探测器A和探测器B在采集过程中保持固定的采集角度且采集角度不相同。通过上述同步采集过程以及后处理过程可以实现介入设备的三维重建。上述同步采集过程共采集了2(n+1)帧图像，得到n帧介入设备的三维重建图像。
图13是根据本说明书一些实施例所示的异步采集的示意图。在一些实施例中，第一图像和第二图像可以通过至少两个射线源与探测器异步采集得到。以两组射线源与探测器为例，如图13所示，成像设备的采集时间顺序可以是图像帧A1、B2、A3……A(n+2)、B(n+3)。AS1是指对A1和A3经过图像配准、数字减影等图像处理后得到基本去除背景信息的介入设备图像(其中，A1作为第一参考图像)，再经过预处理、图像分割和中心线提取后得到的第1帧二值图像……；ASn是指对A1和A(n+2)经过上述处理后，得到的第n帧二值图像；BS2是指对B2和B4经过图像配准、数字减影等图像处理后得到基本去除背景信息的介入设备图像(其中，B2作为第二参考图像)，再经过预处理、图像分割和中心线提取后得到第2帧二值图像……；BS(n+1)是指对B2和B(n+3)经过上述处理后，得到的第n+1帧二值图像。最后AS1和BS2经过基于对极几何约束算法后进行三维重建，得到第1帧的三维介入设备4DF1；BS2和AS3经过基于对极几何约束算法后进行三维重建，得到第2帧的三维介入设备4DF2……；ASn和BS(n+1)经过基于对极几何约束算法后进行三维重建，得到第n帧的三维介入设备4DFn。探测器A和探测器B在采集过程中保持固定的采集角度且采集角度不相同。通过上述异步采集过程以及后处理过程可以实现介入设备的三维重建。上述异步采集过程共采集了n+3帧图像，得到n帧介入设备的三维重建图像。而图12中同步采集过程共采集了2(n+1)帧图像。因此，异步采集过程与图12中的同步采集相比，辐射剂量减少了近一半，与实时二维透视剂量相当。
图14是根据本说明书一些实施例所示的另一异步采集的示意图。在一些实施例中，可以通过模型(如介入设备提取模型)确定介入设备信息(如第一介入设备信息、第二介入设备信息)，省略了生成第一参考图像和第二参考图像的步骤，从而进一步减少辐射量，优化流程。如图14所示，将图像帧A1输入介入设备提取模型后，输出分割后的介入设备图像，再将上述图像转化为二值图像，提取中心线后得到图像帧AS1(也可以将图像帧A1输入介入设备提取模型后直接输出图像帧AS1)，图像帧B2经过相似的处理得到图像帧BS2，再将AS1和BS2经过基于对极几何约束算法三维重建得到第1帧的三维介入设备4DF1……将图像帧An输入介入设备提取模型后，输出分割后的介入设备图像，再将上述图像转化为二值图像，提取中心线后得到图像帧ASn(也可以将图像帧An输入介入设备提取模型后直接输出图像帧ASn)，图像帧B(n+1)经过相似的处理得到图像帧BS(n+1)，再将ASn和BS(n+1)经过基于对极几何约束算法三维重建得到第n帧的三维介入设备4DFn。上述过程共采集了n+1帧图像，得到n帧介入设备的三维重建图像。此外，图14的过程不需要将探测器A和探测器B采集的第1帧图像作为掩膜图像，从而进一步减少辐射量，优化流程。
通过本说明书一些实施例所述的介入设备三维实时成像方法，可以至少实现如下有益效果：1)通过异步采集方式采集感兴趣的图像帧，减少对患者的辐射剂量；通过获取多角度的图像(如第一图像和第二图像)，以提高影像质量，有助于医生的医疗诊断；2)通过异步采集图像帧减少对设备的负荷，提高工作效率；3)通过图像配准、数字减影等图像处理方式，得到能够反映介入设备形态、位置的介入设备信息，有利于用户对介入设备情况的实时追踪；4)通过机器学习模型对二维透视图像进行图像分割，得到仅包含介入设备中心线的图像，整个过程不需要生成没有介入设备的参考图像，进一步减少辐射剂量；5)优化了对极几何约束算法，通过对控制点和匹配点的数量对比，在相邻两帧图像的获取存在时间差，并且无法得知介入设备运动情况的前提下，依然能够准确的选择控制点选取帧和极线匹配帧，从而实现介入设备的三维重建；6)通过异步采集、去掩膜图像采集的流程，实现对成像过程的优化，与同步采集相比，进一步减少辐射剂量。
本说明书一些实施例还提供一种介入设备成像装置，该装置包括至少一个处理器以及至少一个存储器；至少一个存储器用于存储计算机指令；至少一个处理器用于执行计算机指令中的至少部分指令以实现上述介入设备三维实时成像方法。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种介入设备实时三维成像方法，其特征在于，所述方法包括：
通过射线成像设备在第一角度和第一时间对感兴趣区域进行成像，获取第一图像以及第一投影矩阵；
通过所述射线成像设备在第二角度和第二时间对所述感兴趣区域进行成像获取第二图像以及第二投影矩阵，其中，所述第一图像和所述第二图像包括所述感兴趣区域内的介入设备，所述第一角度与所述第二角度不同，所述第一时间与所述第二时间不同；
从所述第一图像中提取所述介入设备，确定第一介入设备信息；
从所述第二图像中提取所述介入设备，确定第二介入设备信息；
基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息。
2.如权利要求1所述的方法，其特征在于，所述从所述第一图像中提取所述介入设备，确定第一介入设备信息，包括：
获取第一参考图像，所述第一参考图像通过所述射线成像设备在所述第一角度对所述感兴趣区域进行成像获取；所述第一参考图像不包括所述介入设备；
基于所述第一参考图像和所述第一图像，确定所述第一介入设备信息；
所述从所述第二图像中提取所述介入设备，确定第二介入设备信息，包括：
获取第二参考图像，所述第二参考图像通过所述射线成像设备在所述第二角度对所述感兴趣区域进行成像获取；所述第二参考图像不包括所述介入设备；
基于所述第二参考图像和所述第二图像，确定所述第二介入设备信息。
3.如权利要求1所述的方法，其特征在于，所述从所述第一图像中提取所述介入设备，确定第一介入设备信息，包括：
基于介入设备提取模型从所述第一图像中提取所述介入设备，确定所述第一介入设备信息；
所述从所述第二图像中提取所述介入设备，确定第二介入设备信息，包括：
基于所述介入设备提取模型从所述第二图像中提取所述介入设备，确定所述第二介入设备信息。
4.如权利要求1所述的方法，其特征在于，所述基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息，包括：
选择所述第一介入设备信息为所述控制点选取帧；
选择所述第二介入设备信息为所述极线匹配帧；
基于所述第一介入设备信息，确定第一控制点；
基于所述第一控制点、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，确定第一匹配点；
判断所述第一匹配点的数量是否等于所述第一控制点的数量；
响应于所述第一匹配点的数量等于所述第一控制点的数量，基于所述第一控制点和所述第一匹配点确定所述介入设备的实时三维坐标信息。
5.如权利要求4所述的方法，其特征在于，所述基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息进一步包括：
响应于所述第一匹配点的数量小于所述第一控制点的数量，选择所述第二介入设备信息为所述控制点选取帧，选择所述第一介入设备信息为所述极线匹配帧；
基于所述第二介入设备信息确定第二控制点，所述第二控制点的数量等于所述第一控制点的数量；
基于所述第二控制点、所述第一介入设备信息、第一投影矩阵以及第二投影矩阵，确定第二匹配点；
判断所述第二匹配点的数量是否等于所述第二控制点的数量；
响应于所述第二匹配点的数量等于所述第二控制点的数量，基于所述第二控制点和所述第二匹配点确定所述介入设备的实时三维坐标信息。
6.如权利要求5所述的方法，其特征在于，所述基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息进一步包括：
响应于所述第二匹配点的数量小于所述第二控制点的数量，判断所述第一匹配点的数量是否大于等于所述第二匹配点的数量；
响应于所述第一匹配点的数量大于等于所述第二匹配点的数量，基于所述第一控制点和所述第一匹配点，确定所述介入设备的实时三维坐标信息；
响应于所述第一匹配点的数量小于等于所述第二匹配点的数量，基于所述第二控制点和所述第二匹配点，确定所述介入设备的实时三维坐标信息。
7.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述感兴趣区域的三维组织器官图像；
将所述介入设备的实时三维坐标信息和所述三维组织器官图像进行融合，得到示出所述介入设备与所述感兴趣区域的组织器官的相对位置关系的三维图像。
8.一种介入设备实时三维成像方法，其特征在于，所述方法包括：
获取图像序列以及对应的投影矩阵，其中，
所述图像序列包括多个图像，每个所述图像对应一个成像时间，所述图像序列包括感兴趣区域内的介入设备；
所述图像序列通过第一成像单元和第二成像单元交替对所述感兴趣区域进行成像而获得；
所述第一成像单元包括第一射线源以及第一探测器，所述第一成像单元对应第一成像角度；
所述第二成像单元包括第二射线源以及第二探测器，所述第二成像单元对应第二成像角度；所述第一成像角度与所述第二成像角度不同；
在所述图像序列中，将相邻的两个图像确定为一个图像组；
对于每个所述图像组，
分别从所述两个图像中提取所述介入设备，确定第一介入设备信息和第二介入设备信息；
基于所述第一介入设备信息、所述第二介入设备信息以及所述对应的投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息；
获取所述感兴趣区域的三维组织器官图像；
将所述介入设备的实时三维坐标信息和所述三维组织器官图像进行融合，得到示出所述介入设备与所述感兴趣区域的组织器官的相对位置关系的三维图像；
基于每个所述图像组对应的所述三维图像，对所述介入设备进行实时跟踪。
9.一种介入设备成像系统，其特征在于，所述系统包括：
第一获取模块，用于通过射线成像设备在第一角度和第一时间对感兴趣区域进行成像获取第一图像以及第一投影矩阵；
第二获取模块，用于通过所述射线成像设备在第二角度和第二时间对所述感兴趣区域进行成像获取第二图像以及第二投影矩阵，其中，所述第一图像和所述第二图像包括所述感兴趣区域内的介入设备，所述第一角度与所述第二角度不同，所述第一时间与所述第二时间不同；
第一提取模块，用于从所述第一图像中提取所述介入设备，确定第一介入设备信息；
第二提取模块，用于从所述第二图像中提取所述介入设备，确定第二介入设备信息；
对极几何约束模块，用于基于所述第一介入设备信息、所述第二介入设备信息、所述第一投影矩阵以及所述第二投影矩阵，利用对极几何约束算法，确定所述介入设备的实时三维坐标信息。
10.一种介入设备成像装置，其特征在于，所述装置包括：
至少一个存储介质，存储计算机指令；
至少一个处理器，执行所述计算机指令，以实现权利要求1～7中任一项所述的方法。
CN202311830721.0A 2023-12-28 2023-12-28 一种介入设备实时三维成像方法、系统和装置 Pending CN117726672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311830721.0A CN117726672A (zh) 2023-12-28 2023-12-28 一种介入设备实时三维成像方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311830721.0A CN117726672A (zh) 2023-12-28 2023-12-28 一种介入设备实时三维成像方法、系统和装置

Publications (1)

Publication Number Publication Date
CN117726672A true CN117726672A (zh) 2024-03-19

Family

ID=90201538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311830721.0A Pending CN117726672A (zh) 2023-12-28 2023-12-28 一种介入设备实时三维成像方法、系统和装置

Country Status (1)

Country Link
CN (1) CN117726672A (zh)

Similar Documents

Publication Publication Date Title
US10229517B2 (en) Method and apparatus for automated determination of contours in iterative reconstruction of image data
US8942455B2 (en) 2D/3D image registration method
US20200155870A1 (en) Tracking device for radiation treatment, position detection device, and method for tracking moving body
US9240046B2 (en) Method and system to assist 2D-3D image registration
WO2018083844A1 (ja) Ｘ線透視装置およびｘ線透視方法
JP5345947B2 (ja) 対象物を撮像する撮像システム及び撮像方法
EP2479708A1 (en) Systems and methods for tracking moving targets and monitoring object positions
US20070053494A1 (en) Systems and methods for processing x-ray images
EP2259726B1 (en) Respiration determination apparatus
US10235796B2 (en) Method and apparatus for selection of perspective orientation of a two dimensional angiographic image
JP2004160221A (ja) 医療的侵襲処置計画の方法及び装置
EP3463097B1 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
US10733792B2 (en) Method and apparatus for user guidance for the choice of a two-dimensional angiographic projection
CN106999130B (zh) 用于确定在投影图像中介入仪器的位置的装置
JP2017144000A (ja) 医用画像処理装置、方法、プログラム及び放射線治療装置
US11127153B2 (en) Radiation imaging device, image processing method, and image processing program
US9186087B2 (en) Combined cardiac and respiratory motion compensation for atrial fibrillation ablation procedures
CN115511997A (zh) 一种血管造影图像处理方法和系统
US9254106B2 (en) Method for completing a medical image data set
US11679276B2 (en) Real-time anatomic position monitoring for radiotherapy treatment control
US20220347493A1 (en) Real-time anatomic position monitoring in radiotherapy using machine learning regression
CN111179373B (zh) 医学图像去骨模型构建方法与骨信息去除方法
CN116649994A (zh) Cta与dsa图像智能融合方法、装置、设备及介质
CN115300809B (zh) 图像处理方法及装置、计算机设备和存储介质
CN117726672A (zh) 一种介入设备实时三维成像方法、系统和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination