CN114831731A - 适用于手术室进行肺部病灶定位的方法、设备和系统 - Google Patents
适用于手术室进行肺部病灶定位的方法、设备和系统 Download PDFInfo
- Publication number
- CN114831731A CN114831731A CN202210776331.9A CN202210776331A CN114831731A CN 114831731 A CN114831731 A CN 114831731A CN 202210776331 A CN202210776331 A CN 202210776331A CN 114831731 A CN114831731 A CN 114831731A
- Authority
- CN
- China
- Prior art keywords
- image
- ray
- puncture
- puncture needle
- ray image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 210000004072 lung Anatomy 0.000 title claims abstract description 29
- 239000003550 marker Substances 0.000 claims abstract description 36
- 238000002513 implantation Methods 0.000 claims abstract description 16
- 238000001727 in vivo Methods 0.000 claims abstract description 9
- 238000002591 computed tomography Methods 0.000 claims description 91
- 230000003902 lesion Effects 0.000 claims description 41
- 238000011524 similarity measure Methods 0.000 claims description 38
- 230000009466 transformation Effects 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000013507 mapping Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 16
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 230000004807 localization Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 4
- 230000002685 pulmonary effect Effects 0.000 claims description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 17
- 238000012549 training Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000002271 resection Methods 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000013170 computed tomography imaging Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 206010002091 Anaesthesia Diseases 0.000 description 5
- 230000037005 anaesthesia Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 208000020816 lung neoplasm Diseases 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000001050 pharmacotherapy Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 238000002627 tracheal intubation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Robotics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Pathology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请提供一种适用于手术室进行肺部病灶定位的方法、设备和系统，其中的方法包括：获取CT图像序列，所述CT图像序列中包括体表定位标记物影像和肺部病灶影像；获取根据所述CT图像序列得到的穿刺路径数据，所述穿刺路径是指由体表到肺部病灶的路径；基于体表标记物的空间位置将穿刺针对准所述穿刺路径，所述穿刺针用于将体内植入定位器植入所述穿刺路径指示的靶点；获取X光图像，所述X光图像中至少包括体表定位标记物影像和穿刺针影像；根据所述X光图像验证穿刺针是否处于预期位置。
Description
技术领域
本发明涉及电子医疗器械领域，具体涉及一种适用于手术室进行肺部病灶定位的方法、设备和系统。
背景技术
研究表明，肺癌是目前发病率最高、年度病死量最高的肿瘤，肺癌的治疗方法主要有外科手术、放射疗法和药物疗法，以及这三种方法的综合应用。各型肺癌如病灶较小，尚未发现远处转移，患者全身情况较好，均应采用手术疗法，并根据病理类型和手术发现，综合应用放射疗法和药物疗法，楔形切除和肺段切除是目前常用的早期肺癌治疗方法。
早期肺癌根治主体是“胸腔镜肺段/亚段、楔形切除术”，术前进行病灶穿刺定位标记是实施此项手术的常规操作，CT（Computed Tomography，电子计算机断层扫描）引导下穿刺植入定位标记是最方便易行的方式。虽然本领域学者也探索了各种其他以解剖结构毗邻关系、器官、血管三维重建引导等定位引导手术的方法，但由于实施难度和可靠性等多方面因素，都无法取代CT定位。
目前，肺段切除手术的主要流程为：一、胸外科医生与CT操作科室预约联系，确定穿刺定位时间与人数；二、胸外科医生到CT室，患者家属及病区引导员带至CT室， 穿刺定位一般需要在手术前由胸外科医务人员与CT室操作人员共同执行，穿刺定位完成后患者回病房，择时进入手术室；三、胸外科医师负责穿刺定位，CT室人员操做CT采集影像，另外还需助手协助，例如胸外科医生、影像科医生或护士等；四、穿刺定位完成后视患者状态决定是否需要吸氧观察，或直转运到下一环节目的地，一般而言需要有胸外医生跟随，以免转运过程出现意外；四、患者送入手术室，执行麻醉和手术，手术过程中根据定位标记物寻找病灶所在位置、寻找并结扎肺段动脉、寻找并结扎肺静脉、结扎支气管、切除病灶。
针对上述流程，胸外科医生至少需要进行预约CT、参与转移患者、往返于病房、CT室和手术室的工作，因此执行一例楔形切除或肺段切除手术前的准备工作，累计需要胸外科医生花费至少一小时时间，其它院方人员和患者家属也需要投入大量时间和精力，所以人力成本极高；目前我国大型医院的CT室极为繁忙，一般的CT扫描大概需要3~5分钟时间，而术前病灶定位的CT扫描，在顺利的情况下也需要花费30分钟，如果患者出现不适的情况，需要吸氧或者观察，所需的时间将难以估计，所以时间和经济成本极高；患者术前将在病房、CT室、手术室等多个空间转运，同时要等待手术排位，手术排位靠后的患者可能会等待超过一天时间，所以患者体验较差且并发症风险会有显著增加。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中适用于肺部病灶术前定位工作效率低和成本高的缺陷，从而提供一种适用于手术室进行肺部病灶定位的方法、装置和系统。
本发明提供一种适用于手术室进行肺部病灶定位的方法，包括：
获取CT图像序列，所述CT图像序列中包括体表定位标记物影像和肺部病灶影像；
获取根据所述CT图像序列得到的穿刺路径数据，所述穿刺路径是指由体表到肺部病灶的路径；
基于体表标记物的空间位置将穿刺针对准所述穿刺路径，所述穿刺针用于将体内植入定位器植入所述穿刺路径指示的靶点；
获取X光图像，所述X光图像中至少包括体表定位标记物影像和穿刺针影像；
根据所述X光图像验证穿刺针是否处于预期位置。
可选地，根据所述X光图像验证穿刺针是否处于预期位置具体包括：
在所述X光图像中识别病灶影像；
当识别到病灶影像时，判断穿刺针影像的端部是否位于病灶影像的区域内。
可选地，根据所述X光图像验证穿刺针头端是否置于病灶位置具体包括：
根据初始的重建参数和所述CT图像序列生成重建二维图像，对所述重建二维图像和所述X光图像进行配准，所述配准的过程包括调整所述重建二维图像，使调整后的所述重建二维图像与所述X光图像的相似性测度符合预期，进而确定调整后的所述重建二维图像对应的所述重建参数；
利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，所述关键目标用于表征体内定位器的预定植入位置；
根据X光图像中的刺针影像与所述关键目标的位置关系判断穿刺针是否处于预期位置。
可选地，在生成重建二维图像前还包括：
获取所述X光图像的成像参数；
根据所述成像参数确定初始的重建参数。
可选地，所述成像参数包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息、射线源沿射野中心轴到穿刺对象的距离。
可选地，根据初始的重建参数和所述CT图像序列生成重建二维图像，包括：
根据所述重建参数从虚源位置对CT图像序列的各个体素单元向一个成像平面进行投影；
将投影射线所经过的体素单元的CT值转换为电子密度值并进行累加，进而求得有效射线长度；
将所述有效射线长度按灰度分级处理得到重建二维图像。
可选地，所述重建参数包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
可选地，所述关键目标为CT图像序列中的病灶影像。
可选地，利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，包括：
从所述CT图像序列中分割出病灶影像序列；
利用调整后的所述重建参数和所述病灶影像序列生成病灶重建二维图像；
将所述病灶重建二维图像叠加到所述X光图像中。
可选地，对所述重建二维图像和所述X光图像进行配准，包括：
对当前的所述重建二维图像进行仿射变换，将仿射变换后的所述重建二维图像与所述X光图像进行比对以确定第一相似性测度，直至所述第一相似性测度符合预期；
对仿射变换后的所述重建二维图像进行弹性变换，将弹性变换后的所述重建二维图像与所述X光图像进行比对以确定第二相似性测度，直至所述第二相似性测度符合预期。
可选地，所述第一相似性测度为两图像间的均方差，当均方差达到极值时判定为符合预期；所述第二相似性测度为两图像间的马特斯互信息，当马特斯互信息值达到最大时判定为符合预期。
可选地，在获取X光图像的步骤中，至少获取冠状位X光图像和矢状位X光图像；
在根据所述X光图像验证穿刺针是否处于预期位置的步骤中，当冠状位X光图像和矢状位X光图像均指示穿刺针处于预期位置时，判定穿刺针处于预期位置。
可选地，获取根据所述CT图像序列计算的穿刺路径数据，包括：
根据所述CT图像序列建立胸部三维模型；
利用所述三维模型计算至少一条穿刺路径数据供用户选择；
获取用户选择的穿刺路径数据。
可选地，所述CT图像序列是利用医院CT扫描室的设备扫描并上传影像归档和通信系统中的CT图像序列。
可选地，所述X光图像由医院手术室中的X光设备拍摄的X光图像。
本发明还提供一种适用于手术室进行肺部病灶定位的系统，包括：
手术导航装置，用于执行上述肺部病灶定位的方法；
位移装置，受控于所述手术导航装置，用于持握所述穿刺针，并设有用于定位穿刺针空间位置的穿刺针标记物。
可选地，所述位移装置为机械臂，所述穿刺针标记物设置在机械臂的末端。
相应地，本发明提供一种手术导航设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述用于手术室进行肺部病灶定位的方法。
根据本发明提供的技术方案，体内植入定位器被穿刺针送入体内后，就可以立即进行切除手术，由此可以大幅度减少胸外科医生和CT室医生的时间占用，提高医院和医生的工作效率、避免资源浪费；
应用本方案，患者只需要在CT影像科接受与普通患者相同的扫描成像，不需要在CT影像科进行穿刺定位，避免大量占用CT场地资源，提升CT室工作效率，提升CT扫描产能；
对于患者而言，穿刺定位和切除手术全部在手术室一气呵成，不存在穿刺次日手术的情况，一方面避免了在多个场地间转运患者，大幅减轻了陪护人员的压力，另一方面，如果穿刺定位后患者出现不适，在手术室可以立即解决，降低了并发症风险和患者痛苦，提升了患者体验和安全性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的一个完整的手术流程图；
图2和图3为本发明实施例的病灶定位方法的应用场景示意图；
图4为本发明实施例中的一张冠状面X光图像；
图5是与图4相对应的一张配准后的重建二维图像；
图6为本发明实施例中将关键目标影像映射到X光图像的结果；
图7为本发明实施例中的一张初始的矢状面重建二维图像；
图8是对图7所示图像进行仿射变换后的处理结果；
图9是对图8所示图像进行弹性变换后的处理结果；
图10是本发明实施例中的一张矢状面X光图像；
图11为本发明实施例中的神经网络模型训练方法的示意图；
图12为本发明实施例中一种可选的穿刺位置验证方法的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请提供一种适用于手术室进行肺部病灶定位的方法，该方法可以由普通电子设备执行，例如计算机、平板电脑等，也可以由专用电子设备执行，例如手术导航装置。
本方案的应用场景为医院手术室，为此需要在手术室布置相应的电子设备，在一个实施例中采用手术导航装置执行上述方法，并且还配置有手术机器人（例如位移装置、机械臂）协助胸外科医生进行穿刺定位动作。此外还需要使用到手术室现有的影像采集设备来验证穿刺定位效果，例如手术室中的X光机。
在执行本方法前，需要将若干体表定位标记物布置在人体体表，具体可以使用如中国专利文件CN215914884U公开的体表定位带，其中的反光小球组件即为本申请所述体表定位标记物。当然，也可以使用其它类似的标记物，只要其能被特定成像设备捕捉并成像即可。
具体地，需要根据肺部病灶所在的位置，确定体表定位标记物的放置位置，一般是确保穿刺点（入针点）在多个体表定位标记物所围成的区域内。在患者体表布置定位带或标记物的操作需要由胸外科医务人员执行，比如可以在病房为患者布置标记物。
标记物布置在体表后，患者接受CT扫描，CT影像科可以采用平扫或者增强扫描的方式获得CT图像序列即可，耗时与普通患者相当，一般只需要若干分钟，并且此过程不需要具有较高水平的胸外科医师参与。
需要说明的是，标记物布置在体表后，需要保持其位置不发生位移，尤其是患者接受CT扫描后，直至进入手术室接受穿刺定位术前这一段时间。实际应用场景中可以采用一些措施来固定这些标记物，避免患者的正常活动导致标记物在体表产生位移。
CT影像科采集的CT图像序列中包括肺部病灶的影像和体表定位标记物的影像，然后可将此图像上传至医院自有的影像归档和通信系统（picture archiving andcommunication system，PACS）中，作为穿刺路径规划工作的基础数据。
在完成上述操作后，患者在预定的手术日被转运到手术室，由手术室内的设备执行肺部病灶定位方法，如图1所示具体包括如下步骤：
S1，获取CT图像序列，CT图像序列中包括体表定位标记物影像和肺部病灶影像。具体获取方法是，执行本方法的装置与PACS通信连接，下载患者的CT图像序列。在本应用场景中CT图像中显然不包括穿刺针影像，根据CT成像原理可知CT图像序列可以被视为一个三维对象，在可选的实施例中也可以确实利用CT图像序列重建出三维模型。
S2，获取根据CT图像序列得到的穿刺路径数据，穿刺路径是指由体表到肺部病灶的路径。此步骤中的穿刺路径数据可以是利用算法自动计算出的数据，比如可以使用中国专利文件CN110619679A公开的路径自动规划方法自动计算穿刺路径；或者完全交由胸外科医生根据步骤S1得到的图像数据人为设计穿刺路径；或者采用半自动的方式，根据CT图像序列建立胸部三维模型，由算法利用三维模型计算至少一条穿刺路径数据供用户选择，获取用户选择的穿刺路径数据。
本申请中的穿刺路径是指从人体体表到病灶（切除对象）的直线路径，优选的穿刺路径数据至少包括穿刺点信息（体表入针点）、入针方向信息和入针深度信息。
S3，基于体表标记物的空间位置将穿刺针对准穿刺路径。本申请所述穿刺针用于将体内植入定位器植入穿刺路径指示的靶点（预期位置）。此步骤由手术导航装置控制位移装置来完成，此前的步骤中所得到的穿刺路径是基于医学图像或者重建的虚拟三维模型的数据，而在此步骤中是要将穿刺路径数据映射到物理空间中的人体。
手术导航装置配置有光学采集装置，比如双目摄像机，通过自然光和/或红外光捕捉物理空间中人体体表的定位标记物的空间位置，来控制位移装置移动，将穿刺针移动到对准入针点的位置，并且调整其朝向，使其在进入人体时符合入针方向信息。
具体地，手术导航装置利用CT图像序列建立胸部三维模型，通过光学采集装置实时捕捉体表标记物的空间位置，与所述三维模型进行动态配准。然后通过光学采集装置捕捉穿刺针标记物的空间位置，控制位移装置将穿刺针按照所述穿刺路径数据对准体表入针点。关于配准方案，具体可参照中国专利文件CN110613519B、CN110443749A公开的配准方法。
在优选的实施例中，位移装置为机械臂，穿刺针标记物设置在机械臂的末端，末端设有夹持部来夹持穿刺针。具体可参照中国专利文件CN113855221B、CN215471280U和CN215651434U中公开的机械臂夹持方案，或者根据具体穿刺针的结构设计新的夹持方式。穿刺针标记物与体表定位标记物类似，穿刺针标记物一般设置在机械臂与穿刺针之间的连接部，二者间距固定，由此根据穿刺针标记物的空间位置来确定穿刺针尖的空间位置。
当穿刺针对准穿刺路径后，可以由胸外科医生人为执行穿刺动作，位移装置可协助其保持入针方向并显示或测量当前的刺入深度。也可以使用配置有自动进针机构的位移装置，按照预定的深度信息和方向信息自动完成穿刺动作。
由于现有技术中的穿刺操作是在CT室完成，而本方案中的穿刺动作要在手术室完成，所以实际应用时还需要考虑穿刺时机。示例性地，切除手术前的准备环节包括诱导麻醉环节、摆手术体位环节和插管麻醉环节，作为参考，穿刺操作可以在诱导麻醉环节、摆手术体位环节后，插管麻醉环节前执行。
当穿刺针进入人体，并认为置于预期位置后，胸外科医生或助理可利用手术室现有的影像设备对相应的人体部位进行成像，比如是X光设备，在优选的实施例中采用C型臂X光机进行成像。
S4，获取X光图像，X光图像中包括体表定位标记物影像和穿刺针影像。在本实施例中，X光图像可以在手术室被快速或实施地获取并显示，图像中至少包括穿刺针影像及肺部影像。
S5，根据X光图像验证穿刺针头端是否置于病灶位置。在一些情况下，X光图像能够显示出病灶区域，也就是说病灶的体积和位置以及扫描角度等因素使得其能够在X光下显影，并且清楚地显示穿刺针影像的尖端是否位于病灶区域内，由此仅通过X光图像，利用计算机视觉算法或者神经网络算法，分割出这些对象，即可识别得到结果。
在另一些情况下，比如病灶体积较小，或者所在位置不利于病灶在X光下显影，所以X光图像不能显示出病灶区域，或者清晰度不够，面对此情况则需要借助上述CT图像序列，与X光图像结合来验证穿刺针头端是否置于病灶位置，这里涉及多种可选的实施方式，具体将在下文中介绍。
在优选的实施例中，步骤S4-S5至少获取冠状位X光图像和矢状位X光图像这两张不同角度的X光图像；当冠状位X光图像和矢状位X光图像均指示穿刺针处于预期位置时，判定穿刺针处于预期位置，也就是定位准确。在如图2和图3所示的具体实施例中，在手术导航系统中的机械臂21完成穿刺的状态下，采用手术室的C形臂X光机22，采集了冠状位X光图像和矢状位X光图像，通过这两张X光图像来验证穿刺是否到位。
采集冠状位、矢状位两张X光图像，可实现立体定位和避免不同组织相互遮挡，同时由于冠状位、矢状位的位移量同时包含三维空间中三个方向的位移量，可更全面的覆盖体内病灶的位置信息，且正、侧位进行扫面，它的辐射量比较小，操作比较简单、方便。
当确认穿刺准确后，即可通过穿刺针将体内植入定位器送入体内，锚定在病灶（切除对象）的范围内。这一操作可以完全由胸外科医生人为执行。
穿刺针为中空结构，体内植入定位器由记忆金属材料构成，其可以通过穿刺针的中空腔被送入人体内，进入体内后展开并具有锚定效果。关于穿刺针及定位器具体可参考中国专利文件CN113796961A公开的适用于肺部病灶定位的可调节植入定位器、定位装置，或者类似的适用于植入体内的定位器。
根据本发明提供的技术方案，体内植入定位器被穿刺针送入体内后，就可以立即进行切除手术，由此可以大幅度减少胸外科医生和CT室医生的时间占用，提高医院和医生的工作效率、避免资源浪费；
应用本方案，患者只需要在CT影像科接受与普通患者相同的扫描成像，不需要在CT影像科进行穿刺定位，避免大量占用CT场地资源，提升CT室工作效率，提升CT扫描产能；
对于患者而言，穿刺定位和切除手术全部在手术室一气呵成，不存在穿刺次日手术的情况，一方面避免了在多个场地间转运患者，大幅减轻了陪护人员的压力，另一方面，如果穿刺定位后患者出现不适，在手术室可以立即解决，降低了并发症风险和患者痛苦，提升了患者体验和安全性。
下面介绍一种用X光图像结合CT图像序列来验证穿刺针是否处于预期位置的实施例，也即在面对无法从X光图像中识别到清晰的病灶影像时所采取可选方案。
根据初始的重建参数和CT图像序列生成重建二维图像，对重建二维图像和X光图像进行配准，配准的过程包括调整重建二维图像，使调整后的重建二维图像与X光图像的相似性测度符合预期，进而确定调整后的重建二维图像对应的重建参数。
虽然可以按照X光的扫描角度及扫描距离等关键成像参数，对CT图像序列或者重建的三维模型进行投影得到二维图像，经过实验发现得到的投影结果很接近X光图像，但二者的相似度测度比较差，不能满足临床的精度需要。所以此步骤的主要目的是利用CT图像序列或者三维模型，投影出一个二维图像，并进一步对这一生成的二维图像进行调整，使其尽可能接近X光图像所呈现的内容，然后就可以得到此调整后的图像的重建参数，以此提高后续处理的精度。
另外需要说明的是，在本实施例中X光图像中有穿刺针的影像而CT图像中没有相应的目标，所以无论如何调整重建的图像都不可能与X光图像完全一致，但本步骤中只需要得到与X光图像的相似性测度相对最高的结果即可。
对重建二维图像和X光图像的配准和调整方案有多种，比如可以使用基于特征与基于灰度的图像配准算法，不同的算法的精度和效率有所区别，只要能够满足临床需要即可。如图4和图5示出了一对冠状面图像，其中图4是X光图像，图5是利用CT序列重建并经过调整得到的二维图像，可以看到两张图像的相似度很高。
利用调整后的重建参数将基于CT图像序列确定的关键目标映射到X光图像中，关键目标用于表征体内定位器的预定植入位置。调整后的重建参数即为上述调整后的重建图像所对应的重建参数。关键目标可以是CT图像序列中的病灶影像，也可以是基于CT图像序列所确定的针对病灶的穿刺路径的全部或者穿刺终点处，或者是上述三种关键目标的结合，这些内容都可以表征预定植入位置。
图6示出了关键目标为病灶本身的映射结果，图中用线条表示映射结果。至少有两种实施方式可以得到此结果。第一种是利用调整后的重建参数和CT图像序列得到相应的重建图像DRR，因为此时得到的重建参数相比于预设值更准确，所以由此得到的重建图像通常会比之前得到的重建图像更接近于X光图像，并且由于CT序列中是能够包括病灶影像的，所以此时得到的重建图像中也能够包括病灶影像。然后针对此重建图像，使用图像分割技术，甚至人工进行分割，即可提取出病灶区域或者其轮廓，进而将病灶区域或者其轮廓映射到X光图像中即可。
第二种实施方式，是为了使映射结果更准确，使用原始的CT图像序列来提取和映射病灶区域或者轮廓。具体包括如下操作：
从CT图像序列中分割出病灶影像序列；利用调整后的重建参数和病灶影像序列生成病灶重建二维图像；将病灶重建二维图像叠加到X光图像中。
首先在CT图像序列中将病灶影像分割出来，可以使用基于图像视觉算法或者神经网络算法的方式，自动将病灶区域分割出来，也可以是人为的处理结果。由此得到的是病灶影像的图像序列，或者是病灶的三维模型。然后利用重建参数，将这个病灶影像映射到X光图像中，实际上就是对其进行投影和形变处理，将得到二维图形添加到X光图像中相应的位置上。
若将穿刺路径作为关键目标映射到X光图像中，则具体包括如下操作：
获取基于CT图像序列所确定的穿刺路径数据，利用调整后的重建参数和穿刺路径数据生成穿刺路径的全部或穿刺终点处的重建二维图像，将穿刺路径的全部或穿刺终点处的重建二维图像叠加到X光图像中。
在可选的实施例中，可以只将穿刺路径的终点处的影像映射到X光图像中，这是因为验证穿刺到位时主要关注的是穿刺针的尖端是否在预定位置上，所以可以只处理穿刺路径的终点附近的影像即可，这样还可以避免穿刺路径整体被投影到X光图像中可能会形成不必要的遮挡。当然也可以将穿刺路径全部映射到X光图像中，这样可以验证穿刺针是否完全按照预定的路径进入人体，避免破坏如血管等需要规避的组织。
在完成映射处理后，可选的反馈方式有多种，通过屏幕显示映射结果并非必要且唯一的选择。显示映射结果可以作为一种选项，由医生来决定是否显示在屏幕中。在初始情况下医生仍可以看到X光图像的原始内容，在医生点击一个显示按钮时，才将映射结果标注在X光图像中，医生可以主观判断穿刺针是否达到了预期位置；另一个选项是，通过图像识别手段来判断穿刺针是否达到预期位置，进而对医生给出提示，即通过设备给出客观结论，由此医生可以通过主观结论和客观结论相结合做出最终判断。
在完成映射之后可能的处理还包括：
显示包括穿刺针影像和关键目标的映射影像的X光图像。即向用户显示图6所示的图像，可以通过线条将映射内容的轮廓进行突出标注。
在可选的实施例中，执行本方法的设备可以分别将病灶和穿刺路径映射到X光图像中，并允许用户选择想要看到的内容。例如医生可以点击按钮来切换显示图6所示的映射结果和将穿刺路径影像映射到X光图像中的结果，或者将病灶和穿刺路径显示到同一张X光图像中。
在X光图像中识别穿刺针影像和关键目标的映射影像的位置，根据位置信息输出穿刺针是否达到预期位置的结论。通过图像分割算法，对X光图像进行识别，将其中的病灶影像和/或穿刺路径影像，以及穿刺针影像分割出来，并识别它们的位置关系。例如，当穿刺针影像的尖端位于病灶影像区域内时，判定穿刺针达到预期位置；或者，当穿刺针影像的尖端于穿刺路径的终点处重合时，判定穿刺针达到预期位置；或者，当穿刺针影像整体与穿刺路径重合时，判定穿刺针达到预期位置。
关于上述处理中所用到的重建参数，在优选的实施例中重建参数具体包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
初始的重建参数可以是预设值，具体可以根据大量的真实图像进行实验得到，预先设定合适的重建参数，使根据CT图像序列得到的重建二维图像尽可能接近X光图像的内容。
考虑到不同患者的情况，所采用的X光成像参数不同，所以在实际应用中可能无法预先固定重建参数的值，而是需要根据X光图像的实际情况实施地计算出合适的重建参数，因此在处理前可以先获取X光图像的成像参数，根据成像参数确定初始的重建参数。
X光的成像参数包括多种，可以通过X光机读取这些信息，例如包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息（患者接受X光扫描时的体位）、射线源沿射野中心轴到穿刺对象的距离（对于肿瘤扫描，在本领域中简称为源瘤距）。
利用X光的成像参数可以确定初始的重建参数，以减少后续对重建二维图形与X光图像中进行配准时的调整量。
进一步地，根据初始的重建参数和CT图像序列生成重建二维图像，具体包括如下操作：
根据重建参数从虚源位置对CT图像序列的各个体素单元向一个成像平面进行投影；
将投影射线所经过的体素单元的CT值转换为电子密度值并进行累加，进而求得有效射线长度；
将有效射线长度按灰度分级处理得到重建二维图像。
利用上述重建参数对三维的CT数据应用射线影像数字重建技术，得到的重建二维图像被称为DRR图像(Digitally Reconstructured Radiograph,数字重建放射影像)。生成过程是从虚源沿类似X射线透视或照相方向，将虚源射线分成若干扇形线，每条扇形线对应DRR平面内一个像素。每条扇形线所通过的CT体素单元的交点，经插值后获得它的CT值。将每条扇形线上通过CT片上的交点的CT值转换成电子密度值并累加。求得每条扇形线通过患者体厚后相应的有效射线长。将射线长度按灰度分级并显示形成DRR图像。重建DRR图像时的虚源到肿瘤中心的距离与X光扫描机所采用的源瘤距相同。
在得到初始的重建二维图像后，开始执行图像配准的操作，配准过程中的一个重要任务是在重建二维图像和X光图像中找到相应的多个关键点（关键目标）。一些情况下，可以利用人体本身的组织间的位置关系来识别关键目标，比如可以将骨骼作为关键目标，分别在两个图像中识别同一骨骼。但实际情况是X光图像的清晰度有限，而且受到X光拍摄角度的影响，可能导致X光图像的深度信息难以识别，所以很可能出现无法识别到关键目标的问题。
通过本场景下所用的体表定位标记物可以解决这一配准问题。在本场景下，患者佩戴体表定位标记物接受扫描CT，并保持位置不变，再接受穿刺和X光扫描，所以得到的X光图像和CT图像序列中的至少部分CT图像中存在体表定位标记物影像，使得重建二维图像中存在体表定位标记物影像，进而在对重建二维图像和X光图像进行配准时，将体表定位标记物影像作为关键目标，体表定位标记物影像很容易被识别，由此可以提高配准的效率和准确性。
在两张图像中确定相对应的关键点之后，即可计算出当前两个图像的相似性测度，这时初始的重建二维图像与X光图像的相似性测度不够高，接下来对重建二维图像进行一系列调整，最终使其与X光图像的相似性测度达到足够的高度即可。
下面介绍一种优选的调整方式，本实施例采用两阶段处理，先是刚性粗配准，对重建二维图像中的像素点位置分别进行调整；然后再进行形变精配准，改变重建二维图像中的物体的形状，做出相应的变形。通过分阶段的调整使最终结果更加接近X光图像内容。具体包括如下操作：
对当前的重建二维图像进行仿射变换，将仿射变换后的重建二维图像与X光图像进行比对以确定第一相似性测度，根据第一相似性测度的变化迭代进行仿射变换，直至第一相似性测度符合预期，仿射变换可以表示为
矩阵M为仿射变换矩阵，矩阵A控制旋转、矩阵B控制平移，其中a00、a10为绕X轴旋转角度的cos 、sin角度值，a01、a11为绕Y轴旋转角度的sin、cos角度值，b00、b10为x、y方向的偏移量。求解仿射变换矩阵的过程即为寻找 a00~b10这6个参数的最优值的过程。在优选的实施例中，第一相似性测度为两图像间的均方差，当均方差达到极值时判定为符合预期。相似性测度用于表征DRR图像和X光图像的相似或者差异，本实施例中的刚性粗配准过程中应用均方差实现。其中优化策略采用自适应梯度下降优化器，沿着梯度下降的方向求解相似性测度即均方差的极值，由于采取自适应学习率，因而可以加快互信息的搜索时间，并在每一维内使用拟牛顿迭代器进行迭代并估计配准参数。
对仿射变换后的重建二维图像进行弹性变换，将弹性变换后的重建二维图像与X光图像进行比对以确定第二相似性测度，根据第二相似性测度的变化迭代进行弹性变换，直至第二相似性测度符合预期。
在本实施例中，形变精配准采用基于B样条的FFD(Free-Form Deformation)弹性变换。借助于操控一组由控制点组成的底层网格来对DRR图像中的图形进行变形，调整控制该三维图形的形状，变换是光滑的、二阶连续的。首先这个空间由一个带控制顶点的网格表示，每个控制顶点都有一系列参数调整控制。然后将物体映射到网格空间中，并通过改变控制顶点的方式，改变物体的形状，做出相应的变形。
在优选的实施例中，第二相似性测度为两图像间的马特斯互信息，当马特斯互信息值达到最大时判定为符合预期。形变精配准的过程中，采用马特斯互信息方法对X光图像和DRR图像进行相似性测度计算，使用配准相似性测度对图像间的相似程度进行量化。同时，优化策略采用最速下降法。
马特斯互信息方法是将像素值看作是某个连续随机变量的采样，利用这些采样值估计出单个图像的概率密度何两幅图像的联合概率密度，再求出图像的互信息：
其中I(x，y)表示DRR图像与X光图像之间的互信息，p(x，y)为DRR图像与X光图像的联合概率密度，p(x)、p(y)分别为DRR图像与X光图像的边缘概率密度。两幅图像配准的越好，它们之间的相关性越大，互信息值也就越大。
本实施例采用的配准方案先用均方差仿射变换做刚性粗配准，接下来用马特斯做形变精配准的分阶段配准方法，实现了DRR图像与X光图像的自动配准，配准性能优于传统的基于特征与基于灰度的图像配准算法，同时也提高了配准的精度与时效性。
图7-图9分别为初始的矢状面DRR图像、经过仿射变换处理后的DRR图像、经过弹性变换后的DRR图像，图10为矢状面X光图像，经过上述配准处理后得到的图9与图10的相似性测度足够高，相比于图7的重建参数，图9的重建参数发生了部分变化。
除了上述重建、配准和映射的方式，还可以使用神经网络算法来实现该目的。具体地，可以使用DNN网络（Deep Neural Networks，深度神经网络），网络模型的搭建基于TensorFlow 框架，采用正态分布初始化模型参数。然后对初始的神经网络模型进行训练：
获取若干训练数据，训练数据包括X光图像和根据预设重建参数和CT图像序列生成的重建二维图像。具体地，可以采集真实人体的各个扫描角度的X光图像，如矢状位X光图像、冠状位X光图像以及如斜侧45度等其它角度的X光图像。同时需要采集人体的CT图像序列，并按照这些X光图像的扫描角度（根据成像参数得到重建参数）来重建DRR图像。需要说明的是，在提供这些训练数据时所使用的重建参数只需要大致准确的数值。图11中的XAP表示冠状面X光图像、XLAT表示矢状面X光图像、DRRAP表示冠状面DRR图像、DRRLAT表示矢状面DRR图像。
每一组训练数据中，至少包括一个X光图像和相应角度的DRR图像，举例来说比如是一个矢状位X光图像和一个按照矢状位的成像参数得到的矢状位DRR图像。这些训练数据中的X光图像中可以但非必须包括穿刺针影像，一方面是因为在穿刺后拍摄X光的情形并不常见，所以样本数量少；另一方面是训练方案是为了让神经网络模型更准确地学习X光图像和DRR图像的联系，X光图像中不存在穿刺针影像会使训练效果更好。
利用若干训练数据对神经网络模型进行训练，训练过程包括由所述神经网络模型对将所述重建二维图像和所述X光图像进行识别而输出重建参数，根据输出的重建参数和所述CT图像序列生成临时二维图像，基于临时二维图像与所述X光图像的相似性测度计算损失函数，进而根据损失函数的计算结果优化神经网络模型的参数，直至所述相似性测度达到预设值。
如图11所示，当一组训练数据输入神经网络后，将根据当前的网络参数提取特征向量，进行回归计算，输出一组重建参数；随后可以直接利用这组重建参数和CT数据再生成DRR图像，将此结果与X光图像作比对，如果相似性未达到预期，则通过损失函数反向传播给神经网络对网络进行调整，通过对大量的训练数据不断地迭代学习，即可得到与X光图像具有足够高相似性的DRR图像。
模型的保存采用每个周期一次验证，通过最优模型的保存保证模型性能。其中优化策略采用自适应梯度下降优化器，沿着梯度下降的方向求解相似性测度即均方差的极值，由于采取自适应学习率，因而可以加快互信息的搜索时间。同时采用误差反向传播，优化网络参数，在误差反向传播过程，使用自适应矩估计梯度下降的优化算法，保证快速找到最小优化点。
然而在优选的实施例中，为了提高模型的训练效率，可在模型训练过程中引入上述优化处理过程，具体实施方式包括：
使用神经网络输出的重建参数和CT图像序列生成重建图像，记为临时二维图像DRR+；对临时二维图像DRR+和X光图像进行配准，所述配准的过程包括调整所述临时二维图像DRR+，使调整后的所述临时二维图像DRR+与所述X光图像的相似性测度符合预期，调整的结果记为DRR++。此处配准的方式具体参见上述实施例中的刚性粗配准和形变精配准。
然后基于调整后的临时二维图像DRR++与X光图像的相似性测度计算损失函数。
经过训练后，即可使用该神经网络模型来获得重建参数。具体过程如图12所示，与上述第一种实施方式有相似之处，同样是先使用预设重建参数和CT图像序列生成重建二维图像，区别在于是利用经过训练的神经网络模型对重建二维图像和X光图像进行识别，输出重建参数，并且也可以采用与训练过程类似的方式，对输出的重建参数再进行优化。然后根据神经网络模型输出的重建参数，将基于CT图像序列确定的关键目标映射到所述X光图像中。
根据上述处理方式，借助术前的CT图像序列重建出与X光图像具有足够高相似性测度的二维图像，获取此二维图像的重建参数，利用这些参数即可将通过CT图像序列得到的用于表征预定植入位置的关键目标添加到X光图像中，无论病灶是否能清楚地在X光图像中显影，都可以通过X光图像中被添加的关键目标与穿刺针影像的情况来验证穿刺针是否到位。
对于上述两种实施方式需要说明的是，在步骤S5中，可以先判断是否可以在X光图像中识别出病灶影像，如果可以识别病灶影像以及穿刺针影像，则直接判断穿刺针影像的端部是否位于病灶影像的区域内，也就是穿刺针头端是否置于病灶位置；如果不能在X光图像中直接识别出病灶影像再执行上述重建、配准和映射操作。或者不进行判断，无论能否在X光图像中直接识别病灶，都执行上述重建、配准和映射操作。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (18)
1.一种适用于手术室进行肺部病灶定位的方法，其特征在于，包括：
获取CT图像序列，所述CT图像序列中包括体表定位标记物影像和肺部病灶影像；
获取根据所述CT图像序列得到的穿刺路径数据，所述穿刺路径是指由体表到肺部病灶的路径；
基于体表标记物的空间位置将穿刺针对准所述穿刺路径，所述穿刺针用于将体内植入定位器植入所述穿刺路径指示的靶点；
获取X光图像，所述X光图像中至少包括体表定位标记物影像和穿刺针影像；
根据所述X光图像验证穿刺针是否处于预期位置。
2.根据权利要求1所述的方法，其特征在于， 根据所述X光图像验证穿刺针是否处于预期位置具体包括：
在所述X光图像中识别病灶影像；
当识别到病灶影像时，判断穿刺针影像的端部是否位于病灶影像的区域内。
3.根据权利要求1所述的方法，其特征在于，根据所述X光图像验证穿刺针头端是否置于病灶位置具体包括：
根据初始的重建参数和所述CT图像序列生成重建二维图像，对所述重建二维图像和所述X光图像进行配准，所述配准的过程包括调整所述重建二维图像，使调整后的所述重建二维图像与所述X光图像的相似性测度符合预期，进而确定调整后的所述重建二维图像对应的所述重建参数；
利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，所述关键目标用于表征体内定位器的预定植入位置；
根据X光图像中的刺针影像与所述关键目标的位置关系判断穿刺针是否处于预期位置。
4.根据权利要求3所述的方法，其特征在于，在生成重建二维图像前还包括：
获取所述X光图像的成像参数；
根据所述成像参数确定初始的重建参数。
5.根据权利要求4所述的方法，其特征在于，所述成像参数包括图像尺寸、像素间距、焦点信息、成像角度、成像对象体位信息、射线源沿射野中心轴到穿刺对象的距离。
6.根据权利要求3所述的方法，其特征在于，根据初始的重建参数和所述CT图像序列生成重建二维图像，包括：
根据所述重建参数从虚源位置对CT图像序列的各个体素单元向一个成像平面进行投影；
将投影射线所经过的体素单元的CT值转换为电子密度值并进行累加，进而求得有效射线长度；
将所述有效射线长度按灰度分级处理得到重建二维图像。
7.根据权利要求3或6所述的方法，其特征在于，所述重建参数包括虚源位置信息、虚源变换信息、焦点信息、源图距、图像尺寸、图像像素间距、投影法向信息。
8.根据权利要求3所述的方法，其特征在于，所述关键目标为CT图像序列中的病灶影像。
9.根据权利要求8所述的方法，其特征在于，利用调整后的所述重建参数将基于所述CT图像序列确定的关键目标映射到所述X光图像中，包括：
从所述CT图像序列中分割出病灶影像序列；
利用调整后的所述重建参数和所述病灶影像序列生成病灶重建二维图像；
将所述病灶重建二维图像叠加到所述X光图像中。
10.根据权利要求3所述的方法，其特征在于，对所述重建二维图像和所述X光图像进行配准，包括：
对当前的所述重建二维图像进行仿射变换，将仿射变换后的所述重建二维图像与所述X光图像进行比对以确定第一相似性测度，直至所述第一相似性测度符合预期；
对仿射变换后的所述重建二维图像进行弹性变换，将弹性变换后的所述重建二维图像与所述X光图像进行比对以确定第二相似性测度，直至所述第二相似性测度符合预期。
11.根据权利要求10所述的方法，其特征在于，所述第一相似性测度为两图像间的均方差，当均方差达到极值时判定为符合预期；所述第二相似性测度为两图像间的马特斯互信息，当马特斯互信息值达到最大时判定为符合预期。
12.根据权利要求1所述的方法，其特征在于，在获取X光图像的步骤中，至少获取冠状位X光图像和矢状位X光图像；
在根据所述X光图像验证穿刺针是否处于预期位置的步骤中，当冠状位X光图像和矢状位X光图像均指示穿刺针处于预期位置时，判定穿刺针处于预期位置。
13.根据权利要求1所述的方法，其特征在于，获取根据所述CT图像序列计算的穿刺路径数据，包括：
根据所述CT图像序列建立胸部三维模型；
利用所述三维模型计算至少一条穿刺路径数据供用户选择；
获取用户选择的穿刺路径数据。
14.根据权利要求1所述的方法，其特征在于，所述CT图像序列是利用医院CT扫描室的设备扫描得到并上传影像归档和通信系统中的CT图像序列。
15.根据权利要求1所述的方法，其特征在于，所述X光图像由医院手术室中的X光设备拍摄的X光图像。
16.一种适用于手术室进行肺部病灶定位的系统，其特征在于，包括：
手术导航装置，用于执行权利要求1-15中任一项所述的方法；
位移装置，受控于所述手术导航装置，用于持握所述穿刺针，并设有用于定位穿刺针空间位置的穿刺针标记物。
17.根据权利要求16所述的系统，其特征在于，所述位移装置为机械臂，所述穿刺针标记物设置在机械臂的末端。
18.一种手术导航设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-15中任一项所述的适用于手术室进行肺部病灶定位的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2022105423505 | 2022-05-17 | ||
| CN202210542350 | 2022-05-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114831731A true CN114831731A (zh) | 2022-08-02 |
| CN114831731B CN114831731B (zh) | 2022-09-02 |
Family
ID=82573359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210776331.9A Active CN114831731B (zh) | 2022-05-17 | 2022-07-04 | 适用于手术室进行肺部病灶定位的手术导航设备和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114831731B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485846A (zh) * | 2022-09-21 | 2023-07-25 | 数坤(上海)医疗科技有限公司 | 进针位置确定方法、装置、电子设备及可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102512246A (zh) * | 2011-12-22 | 2012-06-27 | 中国科学院深圳先进技术研究院 | 手术导航系统及方法 |
| WO2014058838A1 (en) * | 2012-10-12 | 2014-04-17 | Intuitive Surgical Operations, Inc. | Determining position of medical device in branched anatomical structure |
| US20190015160A1 (en) * | 2017-07-14 | 2019-01-17 | Canon Medical Systems Corporation | Medical image diagnosis apparatus, medical information processing apparatus, and medical information processing method |
| CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
| CN111297448A (zh) * | 2020-02-24 | 2020-06-19 | 东软医疗系统股份有限公司 | 穿刺定位方法、装置及系统 |
| CN113610826A (zh) * | 2021-08-13 | 2021-11-05 | 推想医疗科技股份有限公司 | 穿刺定位方法及装置，电子设备及存储介质 |
-
2022
- 2022-07-04 CN CN202210776331.9A patent/CN114831731B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102512246A (zh) * | 2011-12-22 | 2012-06-27 | 中国科学院深圳先进技术研究院 | 手术导航系统及方法 |
| WO2014058838A1 (en) * | 2012-10-12 | 2014-04-17 | Intuitive Surgical Operations, Inc. | Determining position of medical device in branched anatomical structure |
| US20190015160A1 (en) * | 2017-07-14 | 2019-01-17 | Canon Medical Systems Corporation | Medical image diagnosis apparatus, medical information processing apparatus, and medical information processing method |
| CN110236674A (zh) * | 2019-05-09 | 2019-09-17 | 苏州大学 | 一种基于结构光扫描的肝脏手术导航方法及系统 |
| CN111297448A (zh) * | 2020-02-24 | 2020-06-19 | 东软医疗系统股份有限公司 | 穿刺定位方法、装置及系统 |
| CN113610826A (zh) * | 2021-08-13 | 2021-11-05 | 推想医疗科技股份有限公司 | 穿刺定位方法及装置，电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116485846A (zh) * | 2022-09-21 | 2023-07-25 | 数坤(上海)医疗科技有限公司 | 进针位置确定方法、装置、电子设备及可读存储介质 |
| CN116485846B (zh) * | 2022-09-21 | 2024-01-23 | 数坤(上海)医疗科技有限公司 | 进针位置确定方法、装置、电子设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114831731B (zh) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11547377B2 (en) | System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction | |
| US11896414B2 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
| JP4488678B2 (ja) | 骨のｘ線画像の三次元表示の確立方法 | |
| CN110120094B (zh) | 用于使用标准荧光镜的局部三维体积重构的系统和方法 | |
| JP2022507622A (ja) | 拡張現実ディスプレイでの光学コードの使用 | |
| JP6713563B2 (ja) | 標準的なｘ線透視装置を使用する局所三次元ボリュームの再構成を行うためのシステム及び方法 | |
| US20120289825A1 (en) | Fluoroscopy-based surgical device tracking method and system | |
| JP2015144861A (ja) | 患者のモデル構築を最適化するための、選択される画像を取得する技術 | |
| JP2012115635A (ja) | 画像処理方法、画像処理装置、画像システム及びプログラムコード | |
| WO2019176734A1 (ja) | 医用画像処理装置、治療システム、および医用画像処理プログラム | |
| EP3892200B1 (en) | Methods and systems for user and/or patient experience improvement in mammography | |
| CN114831731B (zh) | 适用于手术室进行肺部病灶定位的手术导航设备和系统 | |
| JP2019069037A (ja) | 放射線撮像装置、画像処理方法及び画像処理プログラム | |
| CN114842004B (zh) | 基于神经网络模型的穿刺位置验证方法及设备 | |
| CN115668281A (zh) | 使用多视图姿态估计的方法和系统 | |
| WO2020064924A1 (en) | Guidance in lung intervention procedures | |
| CN113164150A (zh) | 基于图像的设备跟踪 | |
| CN114283179A (zh) | 基于超声图像的骨折远近端空间位姿实时获取与配准系统 | |
| CN114831732A (zh) | 基于x光图像的穿刺位置验证方法及设备 | |
| CN112451095A (zh) | 用于荧光透视成像设备的姿态估计以及用于身体结构的三维成像的系统和方法 | |
| US20240307126A1 (en) | Systems and methods for active tracking of electromagnetic navigation bronchoscopy tools with single guide sheaths | |
| CN117323003A (zh) | 用于创建通向肺部中目标的导航路径的锥形束计算机断层摄影集成及导航到目标的方法 | |
| AU2013257386B2 (en) | Videographic display of real-time medical treatment | |
| CN118662231A (zh) | 具有单个引导鞘的电磁导航支气管镜检工具的主动跟踪系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 806, Research Headquarters Building, Guangdong Macao Cooperative Traditional Chinese Medicine Technology Industrial Park, No. 1 Doukou Road, Hengqin New District, Zhuhai City, Guangdong Province, 519031 Patentee after: True Health (Guangdong Hengqin) Medical Technology Co.,Ltd. Address before: 100192 Room 308, floor 3, building 2, Tiandi Linfeng, No. 1, yongtaizhuang North Road, Haidian District, Beijing Patentee before: ZHENJIANKANG (BEIJING) MEDICAL TECHNOLOGY Co.,Ltd. |
|
| CP03 | Change of name, title or address |