CN117357250A - X射线图像与三维标测图像的融合方法和介入手术系统 - Google Patents

X射线图像与三维标测图像的融合方法和介入手术系统 Download PDF

Info

Publication number
CN117357250A
CN117357250A CN202210753552.4A CN202210753552A CN117357250A CN 117357250 A CN117357250 A CN 117357250A CN 202210753552 A CN202210753552 A CN 202210753552A CN 117357250 A CN117357250 A CN 117357250A
Authority
CN
China
Prior art keywords
image
coordinate system
magnetic field
ray
ray image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210753552.4A
Other languages
English (en)
Inventor
王心怡
沈刘娉
孙毅勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport EP MedTech Co Ltd
Original Assignee
Shanghai Microport EP MedTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport EP MedTech Co Ltd filed Critical Shanghai Microport EP MedTech Co Ltd
Priority to CN202210753552.4A priority Critical patent/CN117357250A/zh
Publication of CN117357250A publication Critical patent/CN117357250A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/367—Electrophysiological study [EPS], e.g. electrical activation mapping or electro-anatomical mapping
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Abstract

本发明提供了一种X射线图像与三维标测图像的融合方法、介入手术系统、标记组件、电子设备和存储介质，该方法包括：获取X影像设备采集的一幅或多幅X射线图像；将其中一幅包括目标区域和多个标记元件的X射线图像作为目标图像，识别出目标图像中的所有标记元件；根据各个标记元件在目标图像中的位置信息以及预先获取的各个标记元件在磁场坐标系下的位置信息，获取X影像坐标系与磁场坐标系之间的映射关系；根据X影像坐标系与磁场坐标系之间的映射关系，将其中一幅X射线图像和目标区域的三维标测图像转换至同一坐标系下并进行融合。本发明可以有效减少术中的X射线曝光量和曝光时间，提高手术过程中的安全性。

Description

X射线图像与三维标测图像的融合方法和介入手术系统
技术领域
本发明涉及手术导航技术领域，特别涉及一种X射线图像与三维标测图像的融合方法、介入手术系统、标记组件、电子设备和存储介质。
背景技术
心房颤动(房颤)是临床上最常见的心律失常之一，我国的人群患病率约为0.8％，且患病率随年龄增长而增加，80岁以上人群患病率高达7.5％。受人口老龄化、慢性心脏病及其它因素影响，全球范围内房颤的发病率剧增，而我国更是房颤患病的重灾区。目前有效控制房颤的治疗手段就是经导管消融治疗房颤。通过介入导管进行心腔内结构的三维重建，在三维标测系统的指导下，将能量作用于病灶，从而起到隔断异常电信号的通路或者对异常的组织进行破坏消除异常信号，达到治疗的目的。
通过三维标测系统重建心脏电解剖图，借助其导航能力准确选择消融靶点，可使得房颤治疗成功率显著提示。基于高精度磁定位技术，能够确保定位标测的精准度。使用定位导管可快速构建实时三维心脏标测图，随着标测点数目的增加不断修正以提高精度，三维图像随导管移动实时重构并刷新，更好指导术者完成射频消融手术。三维标测系统指导下的消融术已成为心脏电生理标准术式。随着三维标测技术的不断革新，基于高密度标测导管的建模和标测已成为主流，大大提高了建模和标测的效率。
然而，由于手术流程复杂，即便使用三维标测系统，X射线的透视仍然是不可缺少的工具。尤其是在放置冠状窦电极、Lasso电极、行房间隔穿刺和移动鞘管时，即使是熟练的电生理医生，为了手术安全和减少并发症，仍然会依赖X线的透视来进行操作。然而运用X线进行透视，可能会对病人造成伤害。
需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种X射线图像与三维标测图像的融合方法、介入手术系统、标记组件、电子设备和存储介质，可以将X射线图像与三维标测图像融合在一起，使得心脏等器官的特殊解剖结构位置更立体、更清晰，从而能够在术中精准实现定位导航，最大程度地减少X射线曝光量和曝光时间。
为达到上述目的，本发明提供一种X射线图像与三维标测图像的融合方法，包括：
获取X影像设备采集的一幅或多幅X射线图像，其中至少一幅所述X射线图像包括目标区域和多个标记元件；
将其中一幅包括所述目标区域和多个所述标记元件的X射线图像作为目标图像，识别出所述目标图像中的所有标记元件，并获取各个所述标记元件在所述目标图像中的位置信息；
根据各个所述标记元件在所述目标图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系；
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合；其中，所述三维标测图像为通过对置入所述目标区域内的介入装置所采集到的各个标测点进行三维重建得到，所述介入装置的末端安装有磁场传感器，所述磁场传感器配置为采集其所在标测点处在所述磁场坐标系下的位置信息。
可选的，所述获取X影像设备采集的多幅X射线图像，包括：
获取所述X影像设备在第一采集时刻采集的第一X射线图像，其中，所述第一X射线图像包括所述目标区域和至少三个所述标记元件；以及
获取所述X影像设备在第二采集时刻采集的第二X射线图像，其中所述第二X射线图像包括所述目标区域且不包括所述标记元件；
所述识别出所述目标图像中的所有标记元件，并获取各个所述标记元件在所述目标图像中的位置信息，包括：
识别出所述第一X射线图像中的所有标记元件，并获取各个所述标记元件在所述第一X射线图像中的位置信息；
所述根据各个所述标记元件在所述目标图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系，包括：
根据各个所述标记元件在所述第一X射线图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系；
所述根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，包括：
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述第二X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述第二X射线图像和所述目标区域的三维标测图像进行融合。
可选的，所述方法还包括：
在所述第一采集时刻之前，根据第一调节指令，控制一调节元件对所标记元件进行调节，使得所述标记元件在X射线下不可透；
在所述第二采集时刻之前，根据第二调节指令，控制一调节元件对标记元件进行调节，使得所述标记元件在X射线下可透。
可选的，所述在所述第一采集时刻之前，根据第一调节指令，控制一调节元件对所标记元件进行调节，使得所述标记元件在X射线下不可透，包括：
在所述第一采集时刻之前，根据第一调节指令，控制一水泵从所述标记元件内抽出液体，以使得所述标记元件在X射线下不可透；
所述在所述第二采集时刻之前，根据第二调节指令，控制一调节元件对标记元件进行调节，使得所述标记元件在X射线下可透，包括：
在所述第二采集时刻之前，根据第二调节指令，控制一水泵向所述标记元件内注满液体，以使得所述标记元件在X射线下可透。
可选的，所述根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，包括：
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述三维标测图像转换至所述X影像坐标系下；
将转换至所述X影像坐标系下的所述三维标测图像与其中一幅所述X射线图像进行叠加。
可选的，所述识别出所述目标图像中的所有标记元件，包括：
采用预先训练好的神经网络模型对所述目标图像进行识别，以识别出所述目标图像中的所有标记元件。
为达到上述目的，本发明还提供一种介入手术系统，用于与介入装置和X影像设备配合使用，所述X影像设备的工作范围内设置有多个标记元件，所述介入装置的末端安装有磁场传感器，所述介入装置配置为置入目标对象的目标区域内，以采集多个标测点；所述介入手术系统包括磁场发生器和控制器；
所述X影像设备、所述磁场发生器和所述磁场传感器均与所述控制器通信连接，所述磁场发生器配置为产生穿过所述目标区域的磁场；所述磁场传感器配置为采集其所在位置处的磁场强度信息；
所述控制器配置为根据所述磁场传感器所采集到的所述磁场强度信息，获取对应的标测点在所述磁场坐标系下的位置信息，并根据各个所述标测点在所述磁场坐标系下的位置信息进行三维重建，以获取所述目标区域的三维标测图像；
所述X影像设备配置为采集一幅或多幅X射线图像，其中至少一幅所述X射线图像包括目标区域和多个标记元件；
所述控制器还配置为执行前述的任一种X射线图像与三维标测图像的融合方法。
可选的，所述标记元件与一调节元件相连，所述调节元件配置为调节所述标记元件在X射线下的穿透性。
可选的，所述标记元件为设有内腔的中空结构，所述调节元件包括水泵和输送管道，所述水泵通过所述输送管道与所述标记元件相连，所述水泵能够向所述标记元件内注入液体以及能够将所述标记元件内的液体抽出。
可选的，所述介入手术系统还包括一定位板，所述标记元件设于所述定位板上，且至少有两个所述标记元件在所述定位板上的安装高度不一致。
可选的，所述介入手术系统还包括与所述控制器通信连接的显示器，所述显示器配置为对所述X射线图像和所述目标区域的三维标测图像的融合结果进行显示。
为达到上述目的，本发明还提供一种标记元件，应用于上文所述的介入手术系统，所述标记组件包括相连的标记元件和调节元件，所述标记元件为设有内腔的中空结构，所述调节元件包括水泵和输送管道，所述水泵通过所述输送管道与所述标记元件相连，所述水泵能够向所述标记元件内注入液体以提高所述标记元件在X射线下的穿透性，以及能够将所述标记元件内的液体抽出以减小所述标记元件在X射线下的穿透性。
为达到上述目的，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的X射线图像与三维标测图像的融合方法。
为达到上述目的，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的X射线图像与三维标测图像的融合方法。
与现有技术相比，本发明提供的X射线图像与三维标测图像的融合方法、介入手术系统、标记组件、电子设备和存储介质具有以下优点：
本发明提供的X射线图像与三维标测图像的融合方法，通过获取X影像设备采集的一幅或多幅X射线图像；并将其中一幅包括目标区域和多个标记元件的X射线图像作为目标图像，在所述目标图像中识别出所有的所述标记元件，并获取各个所述标记元件在所述目标图像中的位置信息(即所述标记元件在X影像坐标系下的位置信息)，从而根据各个所述标记元件在所述目标图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，即可获取X影像坐标系与所述磁场坐标系之间的映射关系之间的映射关系；进而根据所述X影像坐标系与所述磁场坐标系之间的映射关系，即可将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，从而使得目标区域(例如心脏)的特殊解剖结构更加立体、更加清晰，具有更强的空间感，能够在术中精准实现定位导航，以帮助医生在不进一步借助X射线透视的情况下，就能够更好地操控介入装置到达目标位置，从而可以有效减少术中的X射线曝光量和曝光时间，提高了手术过程中的安全性。
由于本发明提供的介入手术系统、标记组件、电子设备和存储介质与上文所述的X射线图像与三维标测图像的融合方法属于同一发明构思，因此本发明提供的介入手术系统、标记组件、电子设备和存储介质具有上文所述的X射线图像与三维标测图像的融合方法的所有优点，故在此不再对本发明提供的介入手术系统、标记组件、电子设备和存储介质的有益效果进行一一赘述。
附图说明
图1为本发明一实施方式提供的介入手术系统的方框结构示意图；
图2为本发明一实施方式提供的X影像设备、磁场发生器以及标记元件的位置关系示意图；
图3为本发明一实施方式提供的控制器的方框结构示意图；
图4为本发明一具体示例提供的包括至少三个所述标记元件的X射线图像的示意图；
图5为本发明一实施方式提供的定位板的俯视示意图；
图6为本发明一实施方式提供的定位板的侧视示意图；
图7为本发明一实施方式提供的标记元件与调节元件的连接关系示意图；
图8a为本发明一具体示例提供的标记元件在X射线下的穿透性较差时的显影效果示意图；
图8b为本发明一具体示例提供的标记元件在X射线下的穿透性较强时的显影效果示意图；
图9为本发明一实施方式提供的显示器的方框结构示意图；
图10为本发明一实施方式提供的X射线图像与三维标测图像的融合方法的流程示意图；
图11为本发明一实施方式中的电子设备的方框结构示意图。
其中，附图标记如下：
介入装置-100；磁场传感器-110；
X影像设备-200；
磁场发生器-300；
控制器-400；图像文件管理模块-410；图像融合模块-420；三维成像模块-430；信号获取模块-440；
标记元件-510、510A、510B、510C；
定位板-500；
调节元件-600；水泵-610；输送管道-620；
显示器-700；可视化模块-710；操控模块-720；
手术台-800；
处理器-101；通信接口-102；存储器-103；通信总线-104。
具体实施方式
以下结合附图和具体实施方式对本发明提出的X射线图像与三维标测图像的融合方法、介入手术系统、标记组件、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。
本发明的核心思想在于提供一种X射线图像与三维标测图像的融合方法、介入手术系统、标记组件、电子设备和存储介质，可以将X射线图像与三维标测图像融合在一起，使得心脏等器官的特殊解剖结构位置更立体、更清晰，从而能够在术中精准实现定位导航，最大程度地减少X射线曝光量和曝光时间。
需要说明的是，本发明提供的X射线图像与三维标测图像的融合方法可应用于本发明提供的电子设备上，该电子设备可被配置于本发明提供的介入手术系统上，其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。
为实现上述实现，本发明提供一种介入手术系统，用于与介入装置100和X影像设备200配合使用。请参考图1和图2，其中图1示意性地给出了本发明一实施方式提供的介入手术系统的方框结构示意图；图2示意性地给出了本发明一实施方式提供的X影像设备200、磁场发生器300以及标记元件510的位置关系示意图。如图1和图2所示，所述X影像设备200的工作范围内(拍摄范围内)设置有多个标记元件510(即所述标记元件510能够被所述X影像设备200拍摄到)。所述介入装置100的末端安装有磁场传感器110，所述介入装置100配置为置入目标对象的目标区域内，以采集多个标测点。所述介入手术系统包括磁场发生器300和控制器400。
所述X影像设备200、所述磁场发生器300和所述磁场传感器110均与所述控制器400通信连接，所述磁场发生器300配置为产生穿过所述目标区域的磁场；所述磁场传感器110配置为采集其所在位置处的磁场强度信息；所述控制器400配置为根据所述磁场传感器110所采集到的所述磁场强度信息，获取对应的所述标测点在所述磁场坐标系下的位置信息，并根据各个所述标测点在所述磁场坐标系下的位置信息进行三维重建，以获取所述目标区域的三维标测图像。需要说明的是，如本领域技术人员所能理解的，关于如何根据各个标测点的位置信息进行三维重建，以获取所述目标区域的三维标测图像的相关内容为现有技术，例如专利号为CN101243975B的中国专利详细地介绍了一种快速构建人体器官内腔三维几何模型的系统，故本文不再对如何构建三维标测图像的具体内容进行展开说明。
此外，需要说明的是，如本领域技术人员所能理解的，在一些实施方式中可以在所述目标区域内缓慢移动所述介入装置100，以通过逐点方式采集多个均匀分布于所述目标区域内的标测点。在另一些实施方式中，也可以在所述目标区域内快速移动所述介入装置100，通过记录所述介入装置100的移动路径，来快速采集位于所述目标区域内的标测点。还需要说明的是，如本领域技术人员所能理解的，介入装置100可以是各种医疗导管，例如电生理导管、消融或标测用的多肢导管或环状导管，也可以是其他体内介入装置。当介入装置100是电生理导管时，一般用于诊断或治疗，例如心电标测或递送消融能量等。当介入装置100为电生理导管时，一般会通过血管通路到达目标区域，如心腔中。介入装置100的末端可以是固定的，也可以是可调弯的；介入装置100遗留在体外的部分一般会有操作手柄，医生可以通过操作手柄来控制介入装置100末端的形状或方位。
所述X影像设备200配置为采集一幅或多幅(包括两幅的情形)X射线图像，其中至少一幅所述X射线图像包括目标区域和多个标记元件。需要说明的是，如本领域技术人员所能理解的，当所述标记元件510在X射线下的穿透性较差时，其在X射线下的显影效果较强，也即在此时所采集的X射线图像上，所述标记元件510能够被清楚地显示出来，也即此时所采集的X射线图像包括所述标记元件510。当所述标记元件510在X射线下的穿透性较强时，其在X射线下的显影效果较弱，也即在此时所采集的X射线图像上，所述标记元件510无法显示出来，也即此时所采集的X射线图像不包括所述标记元件510。
所述控制器400还配置为执行下述步骤：
将其中一幅包括所述目标区域和多个所述标记元件510的X射线图像作为目标图像，识别出所述目标图像中的所有标记元件510，并获取各个所述标记元件510在所述目标图像中的位置信息；
根据各个所述标记元件510在所述目标图像中的位置信息以及预先获取的各个所述标记元件510在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系；
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合。
由此可见，本发明提供的介入手术系统能够将X影像设备200采集的二维的X射线图像与通过标测建模所得到的三维标测图像完美地融合在一起，从而使得目标区域(例如心脏)的特殊解剖结构更加立体、更加清晰，具有更强的空间感，能够在术中精准实现定位导航，以帮助医生在不进一步借助X射线透视的情况下，就能够更好地操控介入装置100到达目标位置，从而可以有效减少术中的X射线曝光量和曝光时间，提高了手术过程中的安全性。
具体地，请参考图3，其示意性地给出了本发明一实施方式提供的控制器400的方框结构示意图。如图3所示，所述控制器400包括图像文件管理模块410、图像融合模块420、三维成像模块430和信号获取模块440。其中，所述图像文件管理模块410用于负责管理图像文件、加载图像文件以及获取图像文件信息，并对其它操作的中间文件进行存储。医学图像主要有以下六种格式：DICOM(医疗中的数字图像和通信)、NIFTI(神经影像学信息技术计划)、PAR/REC(飞利浦MRI扫描格式)、ANALYZE(Mayo医疗成像)以及NRRD(近乎原始光栅数据)和MNIC格式。其中，DICOM文件包含文件头和同文件名的*.dcm图像数据，DICOM文件的文件头的大小取决于所提供的信息多少，主要包含病人ID、病人姓名、图像模态以及其他信息。灵活的NRRD格式包含一个单独的头文件和若干个可以被结合在一起或者分开的图像文件，NRRD头文件为科学可视化和图像处理准确地表征了N维光栅信息。国家医疗图像计算联盟(NA-MIC)开发了一种使用NRRD格式来表征扩散加权图像(DWI)体积和扩散张量图像(DTI)的方法。较佳地，本发明中的X射线图像的格式为DICOM或NRRD文件格式。
所述信号获取模块440用于获取位于所述目标区域内(例如心腔内)的所述磁场传感器110的位置信息。当所述目标区域为心脏时，所述信号获取模块440还用于获取心电信号信息。
所述三维成像模块430用于根据所述磁场传感器110所采集的位置信息，构建三维标测图像。具体地，所述三维成像模块430可以通过逐点方式采集多个均匀分布于目标区域内(例如心腔内)的标测点，通过建模算法重建目标区域的三维标测图像；也可以通过实时标测的方式，当介入装置100(例如导管)在目标区域内(例如心腔内)快速移动，介入装置100(例如导管)的移动路径被实时记录以构建目标区域的三维标测图像。
所述图像融合模块420用于实现X射线图像与所述三维标测图像的融合。
在一种示范性的实施方式中，所述控制器400配置为采用预先训练好的神经网络模型对所述目标图像进行识别，以识别出所述目标图像中的所有标记元件510。由此，通过采用预先训练好的神经网络模型对所述目标图像进行识别，可以快速且准确地识别出所述目标图像中的所有标记元件510。关于如何训练得到所述用于识别所述标记元件510的神经网络模型的具体内容，可以参考现有技术中的相关内容，在此不再进行赘述。需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，所述控制器400还可以配置为采用现有技术中的其它特征点的识别方法，识别出所述目标图像中的所有标记元件510。当然，在其它一些实施方式中，所述控制器400还可以配置为接收医生手动在所述X射线图像中标注出所有的标记元件510的操作。
在一种示范性的实施方式中，所述控制器400配置为：
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述三维标测图像转换至所述X影像坐标系下；
将转换至所述X影像坐标系下的所述三维标测图像与所述X射线图像进行叠加。
具体地，请参考图4，其示意性地给出了本发明一具体示例提供的包括至少三个所述标记元件510的X射线图像的示意图。如图4所示，假设在作为所述目标图像的X射线图像中识别出的三个标记元件510为标记元件510A、标记元件510B、标记元件510C，且标记元件510A、标记元件510B、标记元件510C在所述X射线图像中的位置信息(即在所述X影像坐标系下的位置信息)分别为Q1(m1,n1)、Q2(m2,n2)、Q3(m3,n3)，标记元件510A、标记元件510B、标记元件510C在所述磁场坐标系下的位置信息分别为P1(x1,y1,z1)、P2(x2,y2,z2)、P3(x3,y3,z3)，则Q1、Q2、Q3与P1、P2、P3之间满足如下关系式：
其中，式(1)中的矩阵A即为磁场坐标系与X影像坐标系之间的转换矩阵，也即矩阵A可以表示X影像坐标系与磁场坐标系之间的映射关系。
假设：
则上式(1)被简化为：
B＝A×C (4)
根据最小二乘法可计算出矩阵A为：
A＝B×CT×(C×CT)-1 (5)
由此，将所述三维标测图像中的每一个像素点的三维坐标与所述矩阵A相乘，即可得到所述三维标测图像中的每一个像素点在所述X影像坐标系下的二维坐标，从而可以将所述三维标测图像转换至所述X影像坐标系下，再将转换至所述X影像坐标系下的所述三维标测图像与其中一幅X射线图像进行叠加显示，即可将所述三维标测图像与所述X射线图像完美地融合在一起，从而根据融合结果，可以清楚地知晓三维标测图像与周边解剖结构之间的关系，进而能在术中最大程度地减少X射线曝光量和曝光时间，进一步提高手术过程中的安全性。
需要说明的是，如本领域技术人员所能理解的，在叠加显示时，X射线图像(可以为包括标记元件510的X射线图像，也可以为不包括标记元件510的X射线图像)可以作为背景显示在转换至所述X影像坐标系下的所述三维标测图像的后面。此外，需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，也可以将X射线图像(可以为包括标记元件510的X射线图像，也可以为不包括标记元件510的X射线图像)中的每一个像素点的二维坐标与所述矩阵A的逆矩阵相乘，即可得到所述X射线图像中的每一个像素点在所述磁场坐标系下的三维坐标，从而可以将所述X射线图像转换至所述磁场坐标系下，再将转换至所述磁场坐标系下的X射线图像与所述三维标测图像进行融合，也可以将所述三维标测图像与所述X射线图像融合在一起。
请继续参考图2和图5，其中图5示意性地给出了本发明一实施方式提供的定位板500的俯视示意图。如图2和图5所示，在一种示范性的实施方式中，所述介入手术系统还包括一定位板500，所述标记元件510设于所述定位板500上。由此，通过将所有的所述标记元件510设置在所述定位板500上，从而不仅可以更加便于所述标记元件510的安放，同时也可以根据所述定位板500与所述磁场发生器300之间的位置关系，更加便于获取各个所述标记元件510在所述磁场坐标系下的位置信息。需要说明的是，虽然图5是以所述定位板500上设有9个标记元件510为例进行说明，但是如本领域技术人员所能理解的，这并不构成对本发明的限制，本发明对所述标记元件510的具体个数并不进行限制，只要大于或等于三个即可。此外，需要说明的是，虽然图2和图5是以所述标记元件510为球形为例进行说明，但是如本领域技术人员所能理解的，本发明对所述标记元件510的具体形状并不进行限制，只要所述标记元件510为规则的立体形状即可。还需要说明的是，本发明对所述标记元件510的材质也不作任何限制，所述标记元件510的材质可以塑料，例如PVC(聚氯乙烯)。
进一步地，如图2所示，所述定位板500和所述磁场发生器300均安装于手术台800的底面。由此，通过将所述定位板500和所述磁场发生器300均安装于所述手术台800的底面，不仅可以更加便于所述定位板500和所述磁场发生器300的安装，同时也更加便于获取各个所述标记元件510在所述磁场坐标系下的位置信息。需要说明的是，如本领域技术人员所能理解的，由于所述定位板500与所述磁场发生器300之间的位置是固定的，各个所述标记元件510在所述定位板500上的位置也是固定的，因此，根据所述定位板500与所述磁场发生器300之间的位置关系，以及各个所述标记元件510在所述定位板500上的安装位置，即可以获取各个标记元件510与所述磁场发生器300之间的位置关系，也即可以获取各个所述标记元件510在磁场坐标系下的位置信息。
请继续参考图6，其示意性地给出了本发明一实施方式提供的定位板的侧视示意图。如图6所示，至少有两个所述标记元件510在所述定位板500上的安装高度不一致。由于当X射线图像并不是从定位板500的正上方或正下方拍摄获得时，即所述X影像设备200的拍摄方向与所述定位板500之间成一非90°的夹角，例如45°时，若各个所述定位元件在所述定位板500上的安装高度一致，则所述定位板500上的部分所述标记元件510可能会相互重叠，彼此遮挡，使得所述X影像设备200所采集得到的X射线图像上不能显示出至少三个标记元件510。由此，本发明通过将至少两个所述标记元件510在所述定位板500上的安装高度设置为不一致，从而可以便于后续在多个角度下进行配准定位，且避免各个标记元件510出现相互遮挡的情况。需要说明的是，虽然图6是以将所有的所述标记元件510分为两层安装在所述定位板500上，但是如本领域技术人员所能理解的，这并不构成对本发明的限制，在其它一些实施方式中，还可以将所有的所述标记元件510分为三层、四层或更多层的方式安装在所述定位板500上。
在一种示范性的实施方式中，所述X影像设备200配置为：
在第一采集时刻采集第一X射线图像，其中，所述第一X射线图像包括所述目标区域和至少三个所述标记元件510(此时，将所述第一X射线图像作为目标图像)；
在第二采集时刻采集第二X射线图像，其中所述第二X射线图像包括所述目标区域且不包括所述标记元件510。
对应地，所述控制器400配置为：
在所述第一X射线图像中识别出所有的标记元件510，并获取各个所述标记元件510在所述第一X射线图像中的位置信息；
根据各个所述标记元件510在所述第一X射线图像中的位置信息以及预先获取的各个所述标记元件510在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系；
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述第二X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述第二X射线图像和所述目标区域的三维标测图像进行融合。
由此，通过在第一采集时刻采集包括所述目标区域和至少三个所述标记元件510的第一X射线图像，从而可以根据所述第一X射线图像获取X影像坐标系与所述磁场坐标系之间的映射关系；通过在第二采集时刻采集包括所述目标区域且不包括所述标记元件510的第二X射线图像，并根据所获取的X影像坐标系与所述磁场坐标系之间的映射关系，将所述第二X射线图像与所述三维标测图像转换至同一坐标系下，并进行融合，从而可以有效防止所述标记元件510对融合结果所造成的干扰，使得融合结果能够更直观地进行解剖结构的定位，更有利于帮助医生操控介入装置100到达目标位置。
请继续参考图7，其示意性地给出了本发明一实施方式提供的标记元件与调节元件的连接关系示意图。如图7所示，所述标记元件510与一调节元件600相连，所述调节元件600配置为调节所述标记元件510在X射线下的穿透性。由此，在第一采集时刻之前，通过所述调节元件600，以使得所述标记元件510在X射线下不可透，从而可以使得所述X影像设备200能够在第一采集时刻采集得到包括所述目标区域和至少三个所述标记元件510的第一X射线图像；在第二采集时刻，通过调节所述调节元件600，以使得所述标记元件510在X射线下可透，从而可以使得所述X影像设备200能够在第二采集时刻采集得到包括所述目标区域且不包括所述标记元件510的第二X射线图像。请参考图8a和图8b，其中图8a示意性地给出了本发明一具体示例提供的标记元件510在X射线下的穿透性较差时的显影效果示意图；图8b示意性地给出了本发明一具体示例提供的标记元件510在X射线下的穿透性较强时的显影效果示意图。如图8a和图8b所示，当所述标记元件510在X射线下穿透性较差(视为不可透)时，所述标记元件510在X射线下的显影效果较强，由此当所述标记元件510在X射线下不可透时，认为所述标记元件510能够清楚地显示在X射线图像(第一X射线图像)中，即此时采集得到的X射线图像(第一X射线图像)包括所述标记元件510；当所述标记元件510在X射线下穿透性较强(视为可透)时，所述标记元件510在X射线下的显影效果较弱，由此当所述标记元件510在X射线下可透时，认为所述标记元件510不能够显示在X射线图像(第二X射线图像)中，也即此时采集得到的X射线图像(第二X射线图像)不包括所述标记元件510。
进一步地，如图7所示，所述标记元件510为设有内腔的中空结构，所述调节元件600包括水泵610和输送管道620，所述水泵610通过所述输送管道620与所述标记元件510相连，所述水泵610能够向所述标记元件510内注入液体以及能够将所述标记元件510内的液体抽出。具体地，所述标记元件510内的液体越少，则所述标记元件510在X射线下的穿透性越弱；所述标记元件510内的液体越多，则所述标记元件510在X射线下的穿透性越强。进一步地，在第一采集时刻之前，通过调节水泵610，可以将所述标记元件510内的液体抽出，使其在X射线下不可透，即可以采集到包括所述目标区域和至少三个所述标记元件510的第一X射线图像。在第二采集时刻之前，通过调节水泵610，可以向所述标记元件510内注满液体，使其在X射线下可透，即可以采集到包括所述目标区域且不包括所述标记元件510的第二X射线图像。
优选地，所述水泵610与所述控制器610相连。由此，在所述第一采集时刻之前，通过所述控制器可以向所述水泵610下发第一调节指令，以控制所述水泵610将所述标记元件510内的液体抽出，使其在X射线下不可透。在所述第二采集时刻之前，通过所述控制器可以向所述水泵610下发第二调节指令，以控制所述水泵610向所述标记元件510内注满液体，使其在X射线下可透。
需要说明的是，如本领域技术人员所能理解的，所述液体可以为盐水等在手术过程中比较容易获取的液体，本发明对此并不进行限定。此外，需要说明的是，如本领域技术人员所能理解的，在一些实施方式中，可以在所述水泵610上设置多个与各个所述标记元件510一一对应设置的输送管道620，由此通过同一个水泵610可以调节所有的所述标记元件510在X射线下的穿透性；在一些实施方式中，也可以针对每一个标记元件510，均对应设置一个水泵610和各自的输送管道620，本发明对此并不进行限定。还需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，还可以采用其它的方法来调节所述标记元件510在X射线下的穿透性，例如，也可以在第二采集时刻之前，由操作者手动移除所述标记元件510，以采集到包括所述目标区域且不包括所述标记元件510的第二X射线图像，本发明对此不作限制。
请继续参考图1，如图1所示，在一种示范性的实施方式中，所述介入手术系统还包括与所述控制器400通信连接的显示器700，所述显示器700配置为对所述X射线图像和所述目标区域的三维标测图像的融合结果进行显示。由此，通过设置所述显示器700，可以可视化地显示X射线图像和三维标测图像的融合结果，即可以可视化地显示维标测图像和周边解剖结构的关系，以使得医生能够更加直观地进行解剖结构地定位，更有利于帮助医生操控介入装置100到达目标位置。此外，通过所述显示器700还可以可视化介入装置100的实时位置，从而可以更加便于医生操控所述介入装置100到达目标位置，进一步提高手术过程中的安全性。
请继续参考图9，其示意性地给出了本发明一实施方式提供的显示器700的方框结构示意图。如图9所示，所述显示器700包括可视化模块710和操控模块720，其中，所述可视化模块710用于显示三维标测图像、X射线图像、介入装置100的实时位置以及实时心内心电信息等。所述操控模块720用于接收外部人为输入的信息，以实现医生和系统之间的交互。
基于同一发明构思，本发明还提供一种标记组件，应用于上文所述的介入手术系统。请参考图7，如图7所示，本发明提供的标记组件包括上文所述的标记元件510和上文所述的调节元件600。由此，本发明提供的标记组件能够通过调节元件600调整所述标记元件510在X射线下的穿透性，从而当通过所述调节元件600将标记元件510调节至在X射线下不可透时，所述X影像设备200能够采集到所述包括目标区域和所述标记元件510的X射线图像(第一X射线图像或目标图像)；当通过所述调节元件600将标记元件510调节至在X射线下可透时，所述X影像设备200能够采集到所述包括目标区域且不包括所述标记元件510的X射线图像(第二X射线图像)。由此，通过包括目标区域和所述标记元件510的X射线图像(第一X射线图像)可以获取X影像坐标系与所述磁场坐标系之间的映射关系之间的映射关系；通过将包括目标区域且不包括所述标记元件510的X射线图像(第二X射线图像)与所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像(第二X射线图像)和所述目标区域的三维标测图像进行融合，从而可以有效防止所述标记元件510对融合结果所造成的干扰，使得融合结果能够更直观地进行解剖结构的定位，更有利于帮助医生操控介入装置100到达目标位置。关于所述标记元件510和所述调节元件600的更多内容可以参考上文中的相关描述，在此不再进行赘述。
基于同一发明构思，本发明提供一种X射线图像与三维标测图像的融合方法，请参考图10，其示意性地给出了本发明一实施方式提供的X射线图像与三维标测图像的融合方法的流程示意图。如图10所示，所述X射线图像与三维标测图像的融合方法包括如下步骤：
步骤S100、获取X影像设备200采集的一幅或多幅X射线图像，其中至少一幅所述X射线图像包括目标区域和多个标记元件；
步骤S200、将其中一幅包括所述目标区域和多个标记元件510的X射线图像作为目标图像，识别出所述目标图像中的所有标记元件510，并获取各个所述标记元件510在所述目标图像中的位置信息；
步骤S300、根据各个所述标记元件510在所述目标图像中的位置信息以及预先获取的各个所述标记元件510在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系；
步骤S400、根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合。
由此，本发明提供的X射线图像与三维标测图像的融合方法，通过获取X影像设备200采集的一幅或多幅X射线图像，并将其中一幅包括目标区域和多个标记元件的X射线图像作为目标图像，在所述目标图像中识别出所有的所述标记元件510，并获取各个所述标记元件510在所述目标图像中的位置信息(即所述标记元件510在X影像坐标系下的位置信息)，从而根据各个所述标记元件510在所述目标图像中的位置信息以及预先获取的各个所述标记元件510在磁场坐标系下的位置信息，即可获取X影像坐标系与所述磁场坐标系之间的映射关系之间的映射关系；进而根据所述X影像坐标系与所述磁场坐标系之间的映射关系，即可将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，从而使得目标区域(例如心脏)的特殊解剖结构更加立体、更加清晰，具有更强的空间感，能够在术中精准实现定位导航，以帮助医生在不进一步借助X射线透视的情况下，就能够更好地操控介入装置100到达目标位置，从而可以有效减少术中的X射线曝光量和曝光时间，提高了手术过程中的安全性。
在一种示范性的实施方式中，所述获取X影像设备200采集的多幅X射线图像，包括：
获取所述X影像设备200在第一采集时刻采集的第一X射线图像，其中，所述第一X射线图像包括所述目标区域和至少三个所述标记元件510；以及
获取所述X影像设备200在第二采集时刻采集的第二X射线图像，其中所述第二X射线图像包括所述目标区域且不包括所述标记元件510。
对应地，所述识别出所述目标图像中的所有标记元件510，并获取各个所述标记元件510在所述目标图像中的位置信息，包括：
识别出所述第一X射线图像中的所有标记元件510，并获取各个所述标记元件510在所述第一X射线图像中的位置信息。
所述根据各个所述标记元件510在所述目标图像中的位置信息以及预先获取的各个所述标记元件510在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系，包括：
根据各个所述标记元件510在所述第一X射线图像中的位置信息以及预先获取的各个所述标记元件510在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系。
所述根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，包括：
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述第二X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述第二X射线图像和所述目标区域的三维标测图像进行融合。
在一种示范性的实施方式中，所述方法还包括：
在所述第一采集时刻之前，根据第一调节指令，控制一调节元件600对所标记元件510进行调节，使得所述标记元件510在X射线下不可透；
在所述第二采集时刻之前，根据第二调节指令，控制一调节元件600对标记元件510进行调节，使得所述标记元件510在X射线下可透。
进一步地，所述在所述第一采集时刻之前，根据第一调节指令，控制一调节元件600对所标记元件510进行调节，使得所述标记元件510在X射线下不可透，包括：
在所述第一采集时刻之前，根据第一调节指令，控制一水泵610从所述标记元件510内抽出液体，以使得所述标记元件510在X射线下不可透。
所述在所述第二采集时刻之前，根据第二调节指令，控制一调节元件600对标记元件510进行调节，使得所述标记元件510在X射线下可透，包括：
在所述第二采集时刻之前，根据第二调节指令，控制一水泵610向所述标记元件510内注满液体，以使得所述标记元件510在X射线下可透。
在一种示范性的实施方式中，所述根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，包括：
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述三维标测图像转换至所述X影像坐标系下；
将转换至所述X影像坐标系下的所述三维标测图像与其中一幅所述X射线图像进行叠加。
在一种示范性的实施方式中，所述识别出所述目标图像中的所有标记元件510，包括：
采用预先训练好的神经网络模型对所述X射线图像进行识别，以识别出所述目标图像中的所有标记元件510。
基于同一发明构思，本发明还提供一种电子设备，请参考图11，示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图11所示，所述电子设备包括处理器101和存储器103，所述存储器103上存储有计算机程序，所述计算机程序被所述处理器101执行时，实现上文所述的X射线图像与三维标测图像的融合方法。由于本发明提供的电子设备与上文所述的X射线图像与三维标测图像的融合方法属于同一发明构思，因此本发明提供的电子设备具有上文所述的X射线图像与三维标测图像的融合方法的所有优点，故在此不再对本发明提供的电子设备的有益效果进行一一赘述。
如图11所示，所述电子设备还包括通信接口102和通信总线104，其中所述处理器101、所述通信接口102、所述存储器103通过通信总线104完成相互间的通信。所述通信总线104可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线104可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通信。
本发明中所称处理器101可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器101是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
所述存储器103可用于存储所述计算机程序，所述处理器101通过运行或执行存储在所述存储器103内的计算机程序，以及调用存储在存储器103内的数据，实现所述电子设备的各种功能。
所述存储器103可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的X射线图像与三维标测图像的融合方法。由于本发明提供的可读存储介质与上文所述的X射线图像与三维标测图像的融合方法属于同一发明构思，因此本发明提供的可读存储介质具有上文所述的X射线图像与三维标测图像的融合方法的所有优点，故在此不再对本发明提供的可读存储介质的有益效果进行一一赘述。
本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
综上所述，与现有技术相比，本发明提供的X射线图像与三维标测图像的融合方法、介入手术系统、标记组件、电子设备和存储介质具有以下优点：
本发明提供的X射线图像与三维标测图像的融合方法，通过获取X影像设备采集的一幅或多幅X射线图像，并将其中一幅包括目标区域和多个标记元件的X射线图像作为目标图像，在所述目标图像中识别出所有的所述标记元件，并获取各个所述标记元件在所述目标图像中的位置信息(即所述标记元件在X影像坐标系下的位置信息)，从而根据各个所述标记元件在所述目标图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，即可获取X影像坐标系与所述磁场坐标系之间的映射关系之间的映射关系；进而根据所述X影像坐标系与所述磁场坐标系之间的映射关系，即可将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，从而使得目标区域(例如心脏)的特殊解剖结构更加立体、更加清晰，具有更强的空间感，能够在术中精准实现定位导航，以帮助医生在不进一步借助X射线透视的情况下，就能够更好地操控介入装置到达目标位置，从而可以有效减少术中的X射线曝光量和曝光时间，提高了手术过程中的安全性。
由于本发明提供的介入手术系统、标记组件、电子设备和存储介质与上文所述的X射线图像与三维标测图像的融合方法属于同一发明构思，因此本发明提供的介入手术系统、电子设备和存储介质具有上文所述的X射线图像与三维标测图像的融合方法的所有优点，故在此不再对本发明提供的介入手术系统、标记组件、电子设备和存储介质的有益效果进行一一赘述。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (14)

1.一种X射线图像与三维标测图像的融合方法，其特征在于，包括：
获取X影像设备采集的一幅或多幅X射线图像，其中至少一幅所述X射线图像包括目标区域和多个标记元件；
将其中一幅包括所述目标区域和多个所述标记元件的X射线图像作为目标图像，识别出所述目标图像中的所有标记元件，并获取各个所述标记元件在所述目标图像中的位置信息；
根据各个所述标记元件在所述目标图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系；
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合；其中，所述三维标测图像为通过对置入所述目标区域内的介入装置所采集到的各个标测点进行三维重建得到，所述介入装置的末端安装有磁场传感器，所述磁场传感器配置为采集其所在标测点处在所述磁场坐标系下的位置信息。
2.根据权利要求1所述的X射线图像与三维标测图像的融合方法，其特征在于，
所述获取X影像设备采集的多幅X射线图像，包括：
获取所述X影像设备在第一采集时刻采集的第一X射线图像，其中，所述第一X射线图像包括所述目标区域和至少三个所述标记元件；以及
获取所述X影像设备在第二采集时刻采集的第二X射线图像，其中所述第二X射线图像包括所述目标区域且不包括所述标记元件；
所述识别出所述目标图像中的所有标记元件，并获取各个所述标记元件在所述目标图像中的位置信息，包括：
识别出所述第一X射线图像中的所有标记元件，并获取各个所述标记元件在所述第一X射线图像中的位置信息；
所述根据各个所述标记元件在所述目标图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系，包括：
根据各个所述标记元件在所述第一X射线图像中的位置信息以及预先获取的各个所述标记元件在磁场坐标系下的位置信息，获取X影像坐标系与所述磁场坐标系之间的映射关系；
所述根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，包括：
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述第二X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述第二X射线图像和所述目标区域的三维标测图像进行融合。
3.根据权利要求2所述的X射线图像与三维标测图像的融合方法，其特征在于，所述方法还包括：
在所述第一采集时刻之前，根据第一调节指令，控制一调节元件对所标记元件进行调节，使得所述标记元件在X射线下不可透；
在所述第二采集时刻之前，根据第二调节指令，控制一调节元件对标记元件进行调节，使得所述标记元件在X射线下可透。
4.根据权利要求3所述的X射线图像与三维标测图像的融合方法，其特征在于，
所述在所述第一采集时刻之前，根据第一调节指令，控制一调节元件对所标记元件进行调节，使得所述标记元件在X射线下不可透，包括：
在所述第一采集时刻之前，根据第一调节指令，控制一水泵从所述标记元件内抽出液体，以使得所述标记元件在X射线下不可透；
所述在所述第二采集时刻之前，根据第二调节指令，控制一调节元件对标记元件进行调节，使得所述标记元件在X射线下可透，包括：
在所述第二采集时刻之前，根据第二调节指令，控制一水泵向所述标记元件内注满液体，以使得所述标记元件在X射线下可透。
5.根据权利要求1所述的X射线图像与三维标测图像的融合方法，其特征在于，所述根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将其中一幅所述X射线图像和所述目标区域的三维标测图像转换至同一坐标系下，并将转换至同一坐标系下的所述X射线图像和所述目标区域的三维标测图像进行融合，包括：
根据所述X影像坐标系与所述磁场坐标系之间的映射关系，将所述三维标测图像转换至所述X影像坐标系下；
将转换至所述X影像坐标系下的所述三维标测图像与其中一幅所述X射线图像进行叠加。
6.根据权利要求1所述的X射线图像与三维标测图像的融合方法，其特征在于，所述识别出所述目标图像中的所有标记元件，包括：
采用预先训练好的神经网络模型对所述目标图像进行识别，以识别出所述目标图像中的所有标记元件。
7.一种介入手术系统，用于与介入装置和X影像设备配合使用，其特征在于，所述X影像设备的工作范围内设置有多个标记元件，所述介入装置的末端安装有磁场传感器，所述介入装置配置为置入目标对象的目标区域内，以采集多个标测点；所述介入手术系统包括磁场发生器和控制器；
所述X影像设备、所述磁场发生器和所述磁场传感器均与所述控制器通信连接，所述磁场发生器配置为产生穿过所述目标区域的磁场；所述磁场传感器配置为采集其所在位置处的磁场强度信息；
所述控制器配置为根据所述磁场传感器所采集到的所述磁场强度信息，获取对应的所述标测点在所述磁场坐标系下的位置信息，并根据各个所述标测点在所述磁场坐标系下的位置信息进行三维重建，以获取所述目标区域的三维标测图像；
所述X影像设备配置为采集一幅或多幅X射线图像，其中至少一幅所述X射线图像包括目标区域和多个标记元件；
所述控制器还配置为执行权利要求1至6中任一项所述的X射线图像与三维标测图像的融合方法。
8.根据权利要求7所述的介入手术系统，其特征在于，所述标记元件与一调节元件相连，所述调节元件配置为调节所述标记元件在X射线下的穿透性。
9.根据权利要求8所述的介入手术系统，其特征在于，所述标记元件为设有内腔的中空结构，所述调节元件包括水泵和输送管道，所述水泵通过所述输送管道与所述标记元件相连，所述水泵能够向所述标记元件内注入液体以及能够将所述标记元件内的液体抽出。
10.根据权利要求7所述的介入手术系统，其特征在于，所述介入手术系统还包括一定位板，所述标记元件设于所述定位板上，且至少有两个所述标记元件在所述定位板上的安装高度不一致。
11.根据权利要求7所述的介入手术系统，其特征在于，所述介入手术系统还包括与所述控制器通信连接的显示器，所述显示器配置为对所述X射线图像和所述目标区域的三维标测图像的融合结果进行显示。
12.一种标记组件，其特征在于，应用于权利要求7至11中任一项所述的介入手术系统，所述标记组件包括相连的标记元件和调节元件，所述标记元件为设有内腔的中空结构，所述调节元件包括水泵和输送管道，所述水泵通过所述输送管道与所述标记元件相连，所述水泵能够向所述标记元件内注入液体以提高所述标记元件在X射线下的穿透性，以及能够将所述标记元件内的液体抽出以减小所述标记元件在X射线下的穿透性。
13.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至6中任一项所述的X射线图像与三维标测图像的融合方法。
14.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的X射线图像与三维标测图像的融合方法。
CN202210753552.4A 2022-06-28 2022-06-28 X射线图像与三维标测图像的融合方法和介入手术系统 Pending CN117357250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210753552.4A CN117357250A (zh) 2022-06-28 2022-06-28 X射线图像与三维标测图像的融合方法和介入手术系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210753552.4A CN117357250A (zh) 2022-06-28 2022-06-28 X射线图像与三维标测图像的融合方法和介入手术系统

Publications (1)

Publication Number Publication Date
CN117357250A true CN117357250A (zh) 2024-01-09

Family

ID=89400866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210753552.4A Pending CN117357250A (zh) 2022-06-28 2022-06-28 X射线图像与三维标测图像的融合方法和介入手术系统

Country Status (1)

Country Link
CN (1) CN117357250A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117731397A (zh) * 2024-02-20 2024-03-22 北京医院 医学导航方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6368285B1 (en) * 1999-09-21 2002-04-09 Biosense, Inc. Method and apparatus for mapping a chamber of a heart
CN101243975A (zh) * 2008-03-28 2008-08-20 微创医疗器械(上海)有限公司 一种快速构建人体器官内腔三维几何模型的方法和系统
US20080221425A1 (en) * 2007-03-09 2008-09-11 Olson Eric S System and method for local deformable registration of a catheter navigation system to image data or a model
DE102007032786A1 (de) * 2007-07-13 2009-01-22 Siemens Ag Verfahren und Vorrichtung zur Fusion oder Überlagerung eines 3D-Bildes und eines 2D-Bildes von einem bewegten Gewebebereich eines Lebewesens
US20100016712A1 (en) * 2007-02-27 2010-01-21 Meir Bartal Method and Device for Visually Assisting a Catheter Application
CN103767683A (zh) * 2012-10-19 2014-05-07 韦伯斯特生物官能(以色列)有限公司 3d标测图和荧光镜图像之间的整合
CN113573641A (zh) * 2019-04-04 2021-10-29 中心线生物医药股份有限公司 使用二维图像投影的跟踪系统与图像的空间配准

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6368285B1 (en) * 1999-09-21 2002-04-09 Biosense, Inc. Method and apparatus for mapping a chamber of a heart
US20100016712A1 (en) * 2007-02-27 2010-01-21 Meir Bartal Method and Device for Visually Assisting a Catheter Application
US20080221425A1 (en) * 2007-03-09 2008-09-11 Olson Eric S System and method for local deformable registration of a catheter navigation system to image data or a model
DE102007032786A1 (de) * 2007-07-13 2009-01-22 Siemens Ag Verfahren und Vorrichtung zur Fusion oder Überlagerung eines 3D-Bildes und eines 2D-Bildes von einem bewegten Gewebebereich eines Lebewesens
CN101243975A (zh) * 2008-03-28 2008-08-20 微创医疗器械(上海)有限公司 一种快速构建人体器官内腔三维几何模型的方法和系统
CN103767683A (zh) * 2012-10-19 2014-05-07 韦伯斯特生物官能(以色列)有限公司 3d标测图和荧光镜图像之间的整合
CN113573641A (zh) * 2019-04-04 2021-10-29 中心线生物医药股份有限公司 使用二维图像投影的跟踪系统与图像的空间配准

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117731397A (zh) * 2024-02-20 2024-03-22 北京医院 医学导航方法和系统

Similar Documents

Publication Publication Date Title
US8099155B2 (en) Method for assisting with percutaneous interventions
JP5039295B2 (ja) 医学的介入手順で使用するためのイメージング・システム
CN107809955B (zh) 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位
AU2021258038B2 (en) Systems and methods for planning medical procedures
US20100099981A1 (en) Trans-Septal Catheterization Device And Method
JP2009502398A (ja) カテーテルナビゲーションシステム
DE10210646A1 (de) Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
DE102008002864A1 (de) Dynamisches Referenzverfahren und System für die Verwendung mit chirurgischen Verfahren
CN110248603A (zh) 3d超声和计算机断层摄影结合用于引导介入医疗规程
US10602959B2 (en) Position determination apparatus
US11883151B2 (en) Probe with radiopaque tag
DE112020001809T5 (de) Bildbasierte Sondenpositionierung
CN117357250A (zh) X射线图像与三维标测图像的融合方法和介入手术系统
CN113171174A (zh) 荧光镜图像中的取向检测
CN114652443A (zh) 超声手术导航系统及方法、存储介质及设备
US20130261431A1 (en) Pae treatment for bph
US9931038B2 (en) Image-assisted diagnostic evaluation
US8358874B2 (en) Method for displaying computed-tomography scans, and a computed-tomography system or computed-tomography system assembly for carrying out this method
CN116158849A (zh) 血管介入手术导航系统、方法、电子设备和可读存储介质
US7856080B2 (en) Method for determining a defined position of a patient couch in a C-arm computed tomography system, and C-arm computed tomography system
CN109907833B (zh) 医学成像中的标记描绘
CN117197346A (zh) 三维超声成像处理方法、系统、电子设备和可读存储介质
CN111223575A (zh) 基于虚拟智能医疗平台的放射治疗辅助显示方法及系统
US10682184B2 (en) Tissue sampling system
JP2022186038A (ja) ナビゲーション装置、及び、ナビゲーション方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination