CN114831732A - 基于x光图像的穿刺位置验证方法及设备 - Google Patents

基于x光图像的穿刺位置验证方法及设备 Download PDF

Info

Publication number
CN114831732A
CN114831732A CN202210776342.7A CN202210776342A CN114831732A CN 114831732 A CN114831732 A CN 114831732A CN 202210776342 A CN202210776342 A CN 202210776342A CN 114831732 A CN114831732 A CN 114831732A
Authority
CN
China
Prior art keywords
image
puncture
ray
reconstructed
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210776342.7A
Other languages
English (en)
Inventor
张昊任
陈向前
李益杰
史纪鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Truehealth Beijing Medical Technology Co Ltd
Original Assignee
Truehealth Beijing Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Truehealth Beijing Medical Technology Co Ltd filed Critical Truehealth Beijing Medical Technology Co Ltd
Priority to CN202210776342.7A priority Critical patent/CN114831732A/zh
Publication of CN114831732A publication Critical patent/CN114831732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • G06T3/06—
    • G06T3/147—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Abstract

本发明提供一种基于X光图像的穿刺位置验证方法及设备，所述方法包括获取X光图像和CT图像序列，其中所述X光图像中包括穿刺针影像；根据初始的重建参数和所述CT图像序列生成重建二维图像，对所述重建二维图像和所述X光图像进行配准，所述配准的过程包括调整所述重建二维图像，使调整后的所述重建二维图像与所述X光图像的相似性测度符合预期，进而确定调整后的所述重建二维图像对应的所述重建参数；利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，所述关键目标用于表征体内定位器的预定植入位置。

Description

基于X光图像的穿刺位置验证方法及设备
技术领域
本发明涉及医学图像处理领域，具体涉及一种基于X光图像的穿刺位置验证方法及设备。
背景技术
研究表明，肺癌是目前发病率最高、年度病死量最高的肿瘤，肺癌的治疗方法主要有外科手术、放射疗法和药物疗法，以及这三种方法的综合应用。各型肺癌如病灶较小，尚未发现远处转移，患者全身情况较好，均应采用手术疗法，并根据病理类型和手术发现，综合应用放射疗法和药物疗法，楔形切除和肺段切除是目前常用的早期肺癌治疗方法。
早期肺癌根治主体是“胸腔镜肺段/亚段、楔形切除术”，术前进行病灶穿刺定位标记是实施此项手术的常规操作，CT（Computed Tomography，电子计算机断层扫描）引导下穿刺植入定位标记是最方便易行的方式。虽然本领域学者也探索了各种其他以解剖结构毗邻关系、器官、血管三维重建引导等定位引导手术的方法，但由于实施难度和可靠性等多方面因素，都无法取代CT定位。
在实际医疗场景中，CT引导下穿刺植入定位标记的工作显然需要在CT室进行，完成植入定位标记后，患者再被送入手术室接受切除手术，这一过程会给患者和医院等各方造成很大负担。目前植入定位标记的工作和实施切除手术这两项工作无法在手术室这一个环境下完成，其中的主要障碍是绝大多数医院的手术室内没有配备CT设备，手术室内常见的影像采集设备通常是X光机，而X光图像的清晰度非常有限，首先该图像是二维图像，所能够表达的深度信息十分有限，另外是对于一些较小的病灶，X光图像甚至不能显示出病灶影像，因此通过观察X光图像无法确认穿刺针是否准确抵达病灶位置。
综上所述，现有技术无法通过X光图像来引导穿刺植入定位标记的工作。
发明内容
有鉴于此，本发明提供一种基于X光图像的穿刺位置验证方法，包括：
获取X光图像和CT图像序列，其中所述X光图像中包括穿刺针影像；
根据初始的重建参数和所述CT图像序列生成重建二维图像，对所述重建二维图像和所述X光图像进行配准，所述配准的过程包括调整所述重建二维图像，使调整后的所述重建二维图像与所述X光图像的相似性测度符合预期，进而确定调整后的所述重建二维图像对应的所述重建参数；
利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，所述关键目标用于表征体内定位器的预定植入位置。
可选地，在将关键目标映射到所述X光图像中后还包括：
显示包括所述穿刺针影像和所述关键目标的映射影像的X光图像。
可选地，在将关键目标映射到所述X光图像中后还包括：
在所述X光图像中识别所述穿刺针影像和所述关键目标的映射影像的位置，根据位置信息输出穿刺针是否达到预期位置的结论。
可选地，在生成重建二维图像前还包括：
获取所述X光图像的成像参数；
根据所述成像参数确定初始的重建参数。
可选地，所述成像参数包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息、射线源沿射野中心轴到穿刺对象的距离。
可选地，根据初始的重建参数和所述CT图像序列生成重建二维图像，包括：
根据所述重建参数从虚源位置对CT图像序列的各个体素单元向一个成像平面进行投影；
将投影射线所经过的体素单元的CT值转换为电子密度值并进行累加，进而求得有效射线长度；
将所述有效射线长度按灰度分级处理得到重建二维图像。
可选地，所述重建参数包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
可选地，所述关键目标为CT图像序列中的病灶影像。
可选地，利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，包括：
从所述CT图像序列中分割出病灶影像序列；
利用调整后的所述重建参数和所述病灶影像序列生成病灶重建二维图像；
将所述病灶重建二维图像叠加到所述X光图像中。
可选地，所述关键目标为基于CT图像序列所确定的针对病灶的穿刺路径的全部或者穿刺终点处。
可选地，利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，包括：
获取基于所述CT图像序列所确定的穿刺路径数据；
利用调整后的所述重建参数和所述穿刺路径数据生成穿刺路径的全部或穿刺终点处的重建二维图像；
将所述穿刺路径的全部或穿刺终点处的重建二维图像叠加到所述X光图像中。
可选地，所述X光图像和CT图像序列中的至少部分CT图像中存在体表定位器影像，使得所述重建二维图像中存在所述体表定位器影像，进而在对所述重建二维图像和所述X光图像进行配准时，将所述体表定位器影像作为关键目标。
可选地，对所述重建二维图像和所述X光图像进行配准，包括：
对当前的所述重建二维图像进行仿射变换，将仿射变换后的所述重建二维图像与所述X光图像进行比对以确定第一相似性测度，直至所述第一相似性测度符合预期；
对仿射变换后的所述重建二维图像进行弹性变换，将弹性变换后的所述重建二维图像与所述X光图像进行比对以确定第二相似性测度，直至所述第二相似性测度符合预期。
可选地，所述第一相似性测度为两图像间的均方差，当均方差达到极值时判定为符合预期；所述第二相似性测度为两图像间的马特斯互信息，当马特斯互信息值达到最大时判定为符合预期。
本发明还提供一种适用于手术场景的穿刺位置验证方法，包括：
获取术前的CT图像序列和术中的至少两张X光图像，其中所述至少两张X光图像是在按照预定的穿刺路径将穿刺针置入患者体内后、放置体内病灶定位器之前，通过手术场景中的X光设备采集的图像，并且所述至少两张X光图像的扫描角度不同；
利用上述基于X光图像的穿刺位置验证方法，将所述关键目标分别映射到所述至少两张X光图像中。
可选地，将所述关键目标分别映射到所述至少两张X光图像中后还包括：
判断是否所有的映射结果均指示穿刺针影像的位置符合预期；
当所有的映射结果均指示穿刺针影像的位置符合预期时，判定穿刺针的实际位置符合所述穿刺路径。
可选地， 所述至少两张X光图像中至少包括冠状位X光图像和矢状位X光图像。
相应地，本发明提供一种穿刺位置验证设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述穿刺位置验证方法。
根据本发明提供的基于X光图像的穿刺位置验证方法及设备，借助术前的CT图像序列重建出与X光图像具有足够高相似性测度的二维图像，获取此二维图像的重建参数，利用这些参数即可将通过CT图像序列得到的用于表征预定植入位置的关键目标添加到X光图像中，无论病灶是否能清楚地在X光图像中显影，都可以通过X光图像中被添加的关键目标与穿刺针影像的情况来验证穿刺针是否到位，从而使在不配备CT扫描设备的手术室中执行穿刺定位成为可能。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的基于X光图像的穿刺位置验证方法的流程图；
图2为本发明实施例中的一张冠状面X光图像；
图3是与图2相对应的一张配准后的重建二维图像；
图4为本发明实施例中将关键目标影像映射到X光图像的结果；
图5为本发明实施例中的一张初始的矢状面重建二维图像；
图6是对图5所示图像进行仿射变换后的处理结果；
图7是对图6所示图像进行弹性变换后的处理结果；
图8是本发明实施例中的一张矢状面X光图像；
图9和图10为本发明实施例的穿刺位置验证方法的应用场景示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供一种基于X光图像的穿刺位置验证方法，下面以胸外科的肝脏内病灶切除应用场景为例对本方法进行说明。在执行病灶切除手术前，需要将体内定位器放置在肝脏的病灶区域内，具体是通过穿刺针送入体内，为了确保定位器最终被固定在预期位置，所以要在穿刺针进入体内后、定位器送入体内前，验证穿刺针是否抵达预期位置。
本实施例中的穿刺位置验证方法可以由计算机或服务器等电子设备执行，如图1所示包括如下操作：
S1，获取X光图像和CT图像序列，其中X光图像中包括穿刺针影像。X光图像可以在手术室被快速或实施地获取并显示，从图像中能够看到穿刺针影像及肺部的位置关系。
CT图像序列可以在术前采集和存储，在本应用场景中CT图像中显然不包括穿刺针影像，但包括病灶影像。根据X光和CT成像原理可知，X光图像是一个二维图像，而CT图像序列可以被视为一个三维对象，在可选的实施例中也可以确实利用CT图像序列重建出三维模型。
S2，根据初始的重建参数和CT图像序列生成重建二维图像，对重建二维图像和X光图像进行配准，配准的过程包括调整重建二维图像，使调整后的重建二维图像与X光图像的相似性测度符合预期，进而确定调整后的重建二维图像对应的重建参数。
虽然可以按照X光的扫描角度及扫描距离等关键成像参数，对CT图像序列或者重建的三维模型进行投影得到二维图像，经过实验发现得到的投影结果很接近X光图像，但二者的相似度测度比较差，不能满足临床的精度需要。所以此步骤的主要目的是利用CT图像序列或者三维模型，投影出一个二维图像，并进一步对这一生成的二维图像进行调整，使其尽可能接近X光图像所呈现的内容，然后就可以得到此调整后的图像的重建参数，以此提高后续处理的精度。
另外需要说明的是，在本实施例中X光图像中有穿刺针的影像而CT图像中没有相应的目标，所以无论如何调整重建的图像都不可能与X光图像完全一致，但本步骤中只需要得到与X光图像的相似性测度相对最高的结果即可。
对重建二维图像和X光图像的配准和调整方案有多种，比如可以使用基于特征与基于灰度的图像配准算法，不同的算法的精度和效率有所区别，只要能够满足临床需要即可。如图2和图3示出了一对冠状面图像，其中图2是X光图像，图3是利用CT序列重建并经过调整得到的二维图像，可以看到两张图像的相似度很高。
S3，利用调整后的重建参数将基于CT图像序列确定的关键目标映射到X光图像中，关键目标用于表征体内定位器的预定植入位置。调整后的重建参数即为步骤S2中调整后的重建图像所对应的重建参数。关键目标可以是CT图像序列中的病灶影像，也可以是基于CT图像序列所确定的针对病灶的穿刺路径的全部或者穿刺终点处，或者是上述三种关键目标的结合，这些内容都可以表征预定植入位置。
图4示出了关键目标为病灶本身的映射结果，图中用线条表示映射结果。至少有两种实施方式可以得到此结果。第一种是利用调整后的重建参数和CT图像序列得到相应的重建图像DRR，因为此时得到的重建参数相比于预设值更准确，所以由此得到的重建图像通常会比步骤S2中得到的重建图像更接近于X光图像，并且由于CT序列中是能够包括病灶影像的，所以此时得到的重建图像中也能够包括病灶影像。然后针对此重建图像，使用图像分割技术，甚至人工进行分割，即可提取出病灶区域或者其轮廓，进而将病灶区域或者其轮廓映射到X光图像中即可。
第二种实施方式，是为了使映射结果更准确，使用原始的CT图像序列来提取和映射病灶区域或者轮廓。步骤S3具体包括如下操作：
S31A，从CT图像序列中分割出病灶影像序列；
S32A，利用调整后的重建参数和病灶影像序列生成病灶重建二维图像；
S33A，将病灶重建二维图像叠加到X光图像中。
首先在CT图像序列中将病灶影像分割出来，可以使用基于图像视觉算法或者神经网络算法的方式，自动将病灶区域分割出来，也可以是人为的处理结果。由此得到的是病灶影像的图像序列，或者是病灶的三维模型。然后利用步骤S2得到的重建参数，将这个病灶影像映射到X光图像中，实际上就是对其进行投影和形变处理，将得到二维图形添加到X光图像中相应的位置上。
若将穿刺路径作为关键目标映射到X光图像中，则步骤S3具体包括如下操作：
S31B，获取基于CT图像序列所确定的穿刺路径数据,穿刺路径是指由体表到肺部病灶的路径。本实施例中的穿刺路径数据可以是利用算法自动计算出的数据，比如可以使用中国专利文件CN110619679A公开的路径自动规划方法自动计算穿刺路径；或者完全交由胸外科医生根据步骤S1中的CT图像序列或者重建的三维模型人为设计穿刺路径；或者采用半自动的方式，先有算法计算出至少一条穿刺路径，然后再通过人机交互方式对计算出的结果进行微调，得到最终的穿刺路径。
S32B，利用调整后的重建参数和穿刺路径数据生成穿刺路径的全部或穿刺终点处的重建二维图像；
S33B，将穿刺路径的全部或穿刺终点处的重建二维图像叠加到X光图像中。
本申请中的穿刺路径是指从人体体表到病灶（切除对象）的直线路径，所以穿刺路径是一个三维对象，其具有深度信息。穿刺路径可以被还原到CT图像序列中，也可以作为一个三维模型，比如三维空间中的一条线或者一个柱状物。在步骤S3中，可以使用步骤S2得到的重建参数，将此三维对象映射得到X光图像中，实际上就是对其进行投影和形变处理，将得到二维图形添加到X光图像中。
在可选的实施例中，可以只将穿刺路径的终点处的影像映射到X光图像中，这是因为验证穿刺到位时主要关注的是穿刺针的尖端是否在预定位置上，所以可以只处理穿刺路径的终点附近的影像即可，这样还可以避免穿刺路径整体被投影到X光图像中可能会形成不必要的遮挡。当然也可以将穿刺路径全部映射到X光图像中，这样可以验证穿刺针是否完全按照预定的路径进入人体，避免破坏如血管等需要规避的组织。
在完成映射处理后，可选的反馈方式有多种，通过屏幕显示映射结果并非必要且唯一的选择。显示映射结果可以作为一种选项，由医生来决定是否显示在屏幕中。在初始情况下医生仍可以看到X光图像的原始内容，在医生点击一个显示按钮时，才将映射结果标注在X光图像中，医生可以主观判断穿刺针是否达到了预期位置；另一个选项是，通过图像识别手段来判断穿刺针是否达到预期位置，进而对医生给出提示，即通过设备给出客观结论，由此医生可以通过主观结论和客观结论相结合做出最终判断。
在步骤S3之后可能的处理还包括：
S4A，显示包括穿刺针影像和关键目标的映射影像的X光图像。即向用户显示图4所示的图像，可以通过线条将映射内容的轮廓进行突出标注。
在可选的实施例中，执行本方法的设备可以分别将病灶和穿刺路径映射到X光图像中，并允许用户选择想要看到的内容。例如医生可以点击按钮来切换显示图4所示的映射结果和将穿刺路径影像映射到X光图像中的结果，或者将病灶和穿刺路径显示到同一张X光图像中。
S4B，在X光图像中识别穿刺针影像和关键目标的映射影像的位置，根据位置信息输出穿刺针是否达到预期位置的结论。通过图像分割算法，对X光图像进行识别，将其中的病灶影像和/或穿刺路径影像，以及穿刺针影像分割出来，并识别它们的位置关系。例如，当穿刺针影像的尖端位于病灶影像区域内时，判定穿刺针达到预期位置；或者，当穿刺针影像的尖端于穿刺路径的终点处重合时，判定穿刺针达到预期位置；或者，当穿刺针影像整体与穿刺路径重合时，判定穿刺针达到预期位置。
关于上述步骤S2中的重建参数，在优选的实施例中重建参数具体包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
初始的重建参数可以是预设值，具体可以根据大量的真实图像进行实验得到，预先设定合适的重建参数，使根据CT图像序列得到的重建二维图像尽可能接近X光图像的内容。
考虑到不同患者的情况，所采用的X光成像参数不同，所以在实际应用中可能无法预先固定重建参数的值，而是需要根据X光图像的实际情况实施地计算出合适的重建参数，因此在步骤S2之前可以先获取X光图像的成像参数，根据成像参数确定初始的重建参数。
X光的成像参数包括多种，可以通过X光机读取这些信息，例如包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息（患者接受X光扫描时的体位）、射线源沿射野中心轴到穿刺对象的距离（对于肿瘤扫描，在本领域中简称为源瘤距）。
利用X光的成像参数可以确定初始的重建参数，以减少后续对重建二维图形与X光图像中进行配准时的调整量。
进一步地，步骤S2中根据初始的重建参数和CT图像序列生成重建二维图像，具体包括如下操作：
S21，根据重建参数从虚源位置对CT图像序列的各个体素单元向一个成像平面进行投影；
S22，将投影射线所经过的体素单元的CT值转换为电子密度值并进行累加，进而求得有效射线长度；
S23，将有效射线长度按灰度分级处理得到重建二维图像。
利用上述重建参数对三维的CT数据应用射线影像数字重建技术，得到的重建二维图像被称为DRR图像(Digitally Reconstructured Radiograph,数字重建放射影像)。生成过程是从虚源沿类似X射线透视或照相方向，将虚源射线分成若干扇形线，每条扇形线对应DRR平面内一个像素。每条扇形线所通过的CT体素单元的交点，经插值后获得它的CT值。将每条扇形线上通过CT片上的交点的CT值转换成电子密度值并累加。求得每条扇形线通过患者体厚后相应的有效射线长。将射线长度按灰度分级并显示形成DRR图像。重建DRR图像时的虚源到肿瘤中心的距离与X光扫描机所采用的源瘤距相同。
在得到初始的重建二维图像后，开始执行图像配准的操作，配准过程中的一个重要任务是在重建二维图像和X光图像中找到相应的多个关键点（关键目标）。一些情况下，可以利用人体本身的组织间的位置关系来识别关键目标，比如可以将骨骼作为关键目标，分别在两个图像中识别同一骨骼。但实际情况是X光图像的清晰度有限，而且受到X光拍摄角度的影响，可能导致X光图像的深度信息难以识别，所以很可能出现无法识别到关键目标的问题。
为解决此问题，可以引入一个辅助器械，即体表定位装置。这种装置常见于手术导航场景中，一般由多个不共线的球体组成，布置在人体体表。本方案可以借助现有的体表定位装置，在患者佩戴体表定位装置接受扫描CT，并保持位置不变，再接受穿刺和X光扫描，所以得到的X光图像和CT图像序列中的至少部分CT图像中存在体表定位器影像，使得重建二维图像中存在体表定位器影像，进而在对重建二维图像和X光图像进行配准时，将体表定位器影像作为关键目标，体表定位器影像很容易被识别，由此可以提高配准的效率和准确性。
在两张图像中确定相对应的关键点之后，即可计算出当前两个图像的相似性测度，这时初始的重建二维图像与X光图像的相似性测度不够高，接下来对重建二维图像进行一系列调整，最终使其与X光图像的相似性测度达到足够的高度即可。
下面介绍一种优选的调整方式，本实施例采用两阶段处理，先是刚性粗配准，对重建二维图像中的像素点位置分别进行调整；然后再进行形变精配准，改变重建二维图像中的物体的形状，做出相应的变形。通过分阶段的调整使最终结果更加接近X光图像内容。步骤S2具体包括：
S24，对当前的重建二维图像进行仿射变换，将仿射变换后的重建二维图像与X光图像进行比对以确定第一相似性测度，根据第一相似性测度的变化迭代进行仿射变换，直至第一相似性测度符合预期，仿射变换可以表示为
Figure 736272DEST_PATH_IMAGE001
Figure 600323DEST_PATH_IMAGE002
矩阵M为仿射变换矩阵，矩阵A控制旋转、矩阵B控制平移，其中a00、a10为绕X轴旋转角度的cos 、sin角度值，a01、a11为绕Y轴旋转角度的sin、cos角度值，b00、b10为x、y方向的偏移量。求解仿射变换矩阵的过程即为寻找 a00~b10这6个参数的最优值的过程。在优选的实施例中，第一相似性测度为两图像间的均方差，当均方差达到极值时判定为符合预期。相似性测度用于表征DRR图像和X光图像的相似或者差异，本实施例中的刚性粗配准过程中应用均方差实现。其中优化策略采用自适应梯度下降优化器，沿着梯度下降的方向求解相似性测度即均方差的极值，由于采取自适应学习率，因而可以加快互信息的搜索时间，并在每一维内使用拟牛顿迭代器进行迭代并估计配准参数。
S25，对仿射变换后的重建二维图像进行弹性变换，将弹性变换后的重建二维图像与X光图像进行比对以确定第二相似性测度，根据第二相似性测度的变化迭代进行弹性变换，直至第二相似性测度符合预期。
在本实施例中，形变精配准采用基于B样条的FFD(Free-Form Deformation)弹性变换。借助于操控一组由控制点组成的底层网格来对DRR图像中的图形进行变形，调整控制该三维图形的形状，变换是光滑的、二阶连续的。首先这个空间由一个带控制顶点的网格表示，每个控制顶点都有一系列参数调整控制。然后将物体映射到网格空间中，并通过改变控制顶点的方式，改变物体的形状，做出相应的变形。
在优选的实施例中，第二相似性测度为两图像间的马特斯互信息，当马特斯互信息值达到最大时判定为符合预期。形变精配准的过程中，采用马特斯互信息方法对X光图像和DRR图像进行相似性测度计算，使用配准相似性测度对图像间的相似程度进行量化。同时，优化策略采用最速下降法。
马特斯互信息方法是将像素值看作是某个连续随机变量的采样，利用这些采样值估计出单个图像的概率密度何两幅图像的联合概率密度，再求出图像的互信息：
Figure 880607DEST_PATH_IMAGE003
其中I(x，y)表示DRR图像与X光图像之间的互信息，p(x，y)为DRR图像与X光图像的联合概率密度，p(x)、p(y)分别为DRR图像与X光图像的边缘概率密度。两幅图像配准的越好，它们之间的相关性越大，互信息值也就越大。
本实施例采用的配准方案先用均方差仿射变换做刚性粗配准，接下来用马特斯做形变精配准的分阶段配准方法，实现了DRR图像与X光图像的自动配准，配准性能优于传统的基于特征与基于灰度的图像配准算法，同时也提高了配准的精度与时效性。
图5-图7分别为初始的矢状面DRR图像、经过仿射变换处理后的DRR图像、经过弹性变换后的DRR图像，图8为矢状面X光图像，经过上述配准处理后得到的图7与图8的相似性测度足够高，相比于图5的重建参数，图7的重建参数发生了部分变化。
下面结合图9和图10介绍一种适用于手术场景的穿刺位置验证方法，该方法可以与手术导航方案配合使用，并由手术导航系统中的电子终端执行，具体包括如下处理：
获取术前的CT图像序列和术中的至少两张X光图像，这些X光图像是在按照预定的穿刺路径将穿刺针置入患者体内后、放置体内病灶定位器之前，通过手术场景中的X光设备采集的图像，并且至少两张X光图像的扫描角度不同。在优选的实施例中，多张X光图像中至少包括冠状位X光图像和矢状位X光图像。
在如图9和图10所示的具体实施例中，在手术导航系统中的机械臂91完成穿刺的状态下，采用手术室的C形臂X光机92，采集了冠状位X光图像和矢状位X光图像，通过这两张X光图像来验证穿刺是否到位。
采集冠状位、矢状位两张X光图像，可实现立体定位和避免不同组织相互遮挡，同时由于冠状位、矢状位的位移量同时包含三维空间中三个方向的位移量，可更全面的覆盖体内病灶的位置信息，且正、侧位进行扫面，它的辐射量比较小，操作比较简单、方便。
得到多个扫描角度的X光图像后，针对每一个X光图像分别执行上述实施例提供的验证方法即步骤S1-S3，将关键目标分别映射到至少两张X光图像中。需要说明的是，CT图像序列只有一个，X光图像有多个，只是成像参数不同，采集对象是相同的。在步骤S2中针对不同角度的X光图像，用CT图像序列生成DRR图像时所采用的重建参数会有相应的取值。
然后可以显示每张X光图像的映射结果，也可以由设备进一步进行判断分别得到结果。具体地，判断是否所有的映射结果均指示穿刺针影像的位置符合预期；当所有的映射结果均指示穿刺针影像的位置符合预期时，判定穿刺针的实际位置符合穿刺路径，也就是判定穿刺针抵达了预期位置。当然，医生也可以通过观察映射结果做出主观判断，结合设备给出的结论做出最终判断。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (18)

1.一种基于X光图像的穿刺位置验证方法，其特征在于，包括：
获取X光图像和CT图像序列，其中所述X光图像中包括穿刺针影像；
根据初始的重建参数和所述CT图像序列生成重建二维图像，对所述重建二维图像和所述X光图像进行配准，所述配准的过程包括调整所述重建二维图像，使调整后的所述重建二维图像与所述X光图像的相似性测度符合预期，进而确定调整后的所述重建二维图像对应的所述重建参数；
利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，所述关键目标用于表征体内定位器的预定植入位置。
2.根据权利要求1所述的穿刺位置验证方法，其特征在于，在将关键目标映射到所述X光图像中后还包括：
显示包括所述穿刺针影像和所述关键目标的映射影像的X光图像。
3.根据权利要求1或2所述的穿刺位置验证方法，其特征在于，在将关键目标映射到所述X光图像中后还包括：
在所述X光图像中识别所述穿刺针影像和所述关键目标的映射影像的位置，根据位置信息输出穿刺针是否达到预期位置的结论。
4.根据权利要求1所述的穿刺位置验证方法，其特征在于，在生成重建二维图像前还包括：
获取所述X光图像的成像参数；
根据所述成像参数确定初始的重建参数。
5.根据权利要求4所述的穿刺位置验证方法，其特征在于，所述成像参数包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息、射线源沿射野中心轴到穿刺对象的距离。
6.根据权利要求1所述的穿刺位置验证方法，其特征在于，根据初始的重建参数和所述CT图像序列生成重建二维图像，包括：
根据所述重建参数从虚源位置对CT图像序列的各个体素单元向一个成像平面进行投影；
将投影射线所经过的体素单元的CT值转换为电子密度值并进行累加，进而求得有效射线长度；
将所述有效射线长度按灰度分级处理得到重建二维图像。
7.根据权利要求1或6所述的穿刺位置验证方法，其特征在于，所述重建参数包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
8.根据权利要求1所述的穿刺位置验证方法，其特征在于，所述关键目标为CT图像序列中的病灶影像。
9.根据权利要求8所述的穿刺位置验证方法，其特征在于，利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，包括：
从所述CT图像序列中分割出病灶影像序列；
利用调整后的所述重建参数和所述病灶影像序列生成病灶重建二维图像；
将所述病灶重建二维图像叠加到所述X光图像中。
10.根据权利要求1所述的穿刺位置验证方法，其特征在于，所述关键目标为基于CT图像序列所确定的针对病灶的穿刺路径的全部或者穿刺终点处。
11.根据权利要求10所述的穿刺位置验证方法，其特征在于，利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，包括：
获取基于所述CT图像序列所确定的穿刺路径数据；
利用调整后的所述重建参数和所述穿刺路径数据生成穿刺路径的全部或穿刺终点处的重建二维图像；
将所述穿刺路径的全部或穿刺终点处的重建二维图像叠加到所述X光图像中。
12.根据权利要求1所述的穿刺位置验证方法，其特征在于，所述X光图像和CT图像序列中的至少部分CT图像中存在体表定位器影像，使得所述重建二维图像中存在所述体表定位器影像，进而在对所述重建二维图像和所述X光图像进行配准时，将所述体表定位器影像作为关键目标。
13.根据权利要求1或12所述的穿刺位置验证方法，其特征在于，对所述重建二维图像和所述X光图像进行配准，包括：
对当前的所述重建二维图像进行仿射变换，将仿射变换后的所述重建二维图像与所述X光图像进行比对以确定第一相似性测度，直至所述第一相似性测度符合预期；
对仿射变换后的所述重建二维图像进行弹性变换，将弹性变换后的所述重建二维图像与所述X光图像进行比对以确定第二相似性测度，直至所述第二相似性测度符合预期。
14.根据权利要求13所述的穿刺位置验证方法，其特征在于，所述第一相似性测度为两图像间的均方差，当均方差达到极值时判定为符合预期；所述第二相似性测度为两图像间的马特斯互信息，当马特斯互信息值达到最大时判定为符合预期。
15.一种适用于手术场景的穿刺位置验证方法，其特征在于，包括：
获取术前的CT图像序列和术中的至少两张X光图像，其中所述至少两张X光图像是在按照预定的穿刺路径将穿刺针置入患者体内后、放置体内病灶定位器之前，通过手术场景中的X光设备采集的图像，并且所述至少两张X光图像的扫描角度不同；
利用权利要求1-14中任一项所述的方法，将所述关键目标分别映射到所述至少两张X光图像中。
16.根据权利要求15所述的穿刺位置验证方法，其特征在于，将所述关键目标分别映射到所述至少两张X光图像中后还包括：
判断是否所有的映射结果均指示穿刺针影像的位置符合预期；
当所有的映射结果均指示穿刺针影像的位置符合预期时，判定穿刺针的实际位置符合所述穿刺路径。
17.根据权利要求15或16所述的方法，其特征在于， 所述至少两张X光图像中至少包括冠状位X光图像和矢状位X光图像。
18.一种基于X光图像的穿刺位置验证设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-17中任意一项所述的穿刺位置验证方法。
CN202210776342.7A 2022-07-04 2022-07-04 基于x光图像的穿刺位置验证方法及设备 Pending CN114831732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776342.7A CN114831732A (zh) 2022-07-04 2022-07-04 基于x光图像的穿刺位置验证方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776342.7A CN114831732A (zh) 2022-07-04 2022-07-04 基于x光图像的穿刺位置验证方法及设备

Publications (1)

Publication Number Publication Date
CN114831732A true CN114831732A (zh) 2022-08-02

Family

ID=82573713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776342.7A Pending CN114831732A (zh) 2022-07-04 2022-07-04 基于x光图像的穿刺位置验证方法及设备

Country Status (1)

Country Link
CN (1) CN114831732A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077543A1 (en) * 2000-06-27 2002-06-20 Robert Grzeszczuk Method and apparatus for tracking a medical instrument based on image registration
CN107374705A (zh) * 2017-06-20 2017-11-24 上海交通大学 一种x光和术前ct引导下的肺穿刺手术定位方法
CN108549906A (zh) * 2018-04-10 2018-09-18 北京全域医疗技术有限公司 放疗勾靶图像配准方法及装置
CN112308765A (zh) * 2020-10-13 2021-02-02 杭州三坛医疗科技有限公司 投影参数的确定方法及装置
CN114224428A (zh) * 2021-12-31 2022-03-25 杭州三坛医疗科技有限公司 一种截骨平面定位方法、系统及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020077543A1 (en) * 2000-06-27 2002-06-20 Robert Grzeszczuk Method and apparatus for tracking a medical instrument based on image registration
CN107374705A (zh) * 2017-06-20 2017-11-24 上海交通大学 一种x光和术前ct引导下的肺穿刺手术定位方法
CN108549906A (zh) * 2018-04-10 2018-09-18 北京全域医疗技术有限公司 放疗勾靶图像配准方法及装置
CN112308765A (zh) * 2020-10-13 2021-02-02 杭州三坛医疗科技有限公司 投影参数的确定方法及装置
CN114224428A (zh) * 2021-12-31 2022-03-25 杭州三坛医疗科技有限公司 一种截骨平面定位方法、系统及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵定麟: "《现代脊柱外科学 6 脊柱骨盆肿瘤、炎症、韧带骨化和其他脊柱疾患 第3版》", 31 January 2017 *

Similar Documents

Publication Publication Date Title
US11547377B2 (en) System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US11712213B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
CN110741414B (zh) 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法
JP2022507622A (ja) 拡張現実ディスプレイでの光学コードの使用
US8897514B2 (en) Imaging method for motion analysis
CN108601629A (zh) 外科手术期间减少辐射暴露的3d可视化
EP2849630B1 (en) Virtual fiducial markers
CN110123449B (zh) 使用标准荧光镜进行局部三维体积重建的系统和方法
WO2015015219A1 (en) Method and system for tomosynthesis imaging
EP2823463A1 (en) Method and system to assist 2d-3d image registration
JP2021519646A (ja) 画像におけるアーチファクト低減のためのシステムおよび方法
EP3855396A2 (en) Orientation detection in fluoroscopic images
CN114129240A (zh) 一种引导信息生成方法、系统、装置及电子设备
CN114842004B (zh) 基于神经网络模型的穿刺位置验证方法及设备
Gong et al. Multiple-object 2-D–3-D registration for noninvasive pose identification of fracture fragments
CN114831731B (zh) 适用于手术室进行肺部病灶定位的手术导航设备和系统
CN113164150A (zh) 基于图像的设备跟踪
CN114831732A (zh) 基于x光图像的穿刺位置验证方法及设备
CN114423347A (zh) 用于显示图像的系统和方法
JP6703470B2 (ja) データ処理装置及びデータ処理方法
US11864935B2 (en) Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US20240138783A1 (en) Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US20210378749A1 (en) Method and device for monitoring images by means of an x-ray device during a surgical procedure
WO2024079639A1 (en) Systems and methods for confirming position or orientation of medical device relative to target

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination