CN117338419A - 一种穿刺设备引导方法及装置 - Google Patents

一种穿刺设备引导方法及装置 Download PDF

Info

Publication number
CN117338419A
CN117338419A CN202311283661.5A CN202311283661A CN117338419A CN 117338419 A CN117338419 A CN 117338419A CN 202311283661 A CN202311283661 A CN 202311283661A CN 117338419 A CN117338419 A CN 117338419A
Authority
CN
China
Prior art keywords
puncture
image
virtual
dimensional
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311283661.5A
Other languages
English (en)
Other versions
CN117338419B (zh
Inventor
禹浪
门英培
徐振凯
常新雨
向俊灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shengxing Medical Technology Co ltd
Original Assignee
Hangzhou Shengxing Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shengxing Medical Technology Co ltd filed Critical Hangzhou Shengxing Medical Technology Co ltd
Priority to CN202311283661.5A priority Critical patent/CN117338419B/zh
Publication of CN117338419A publication Critical patent/CN117338419A/zh
Application granted granted Critical
Publication of CN117338419B publication Critical patent/CN117338419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及医学图像处理技术领域，为一种手术导航技术，具体涉及一种穿刺设备引导方法及装置。本申请实施例提供的技术方案中，通过采集待穿刺目标的实时图像，并通过对实时图像进行三维重建以及坐标系转换，将重建后的三维模型与现实场景中待穿刺目标位置进行三维模型成像，并且基于成像后的三维模型产生穿刺路径以及穿刺策略，并根据穿刺路径和穿刺策略引导穿刺操作者进行穿刺作业。本申请实施例提供的技术方案能够辅助穿刺操作者进行精准的穿刺作业，降低了穿刺操作者的作业压力。

Description

一种穿刺设备引导方法及装置
技术领域
本申请涉及医学图像处理技术领域，为一种手术导航技术，具体涉及一种穿刺设备引导方法及装置。
背景技术
现代医学技术领域，为了使手术过程中能够清晰的了解手术器械相对病人解剖结构的位置，一般采用术中多次实时ct技术获知手术情况，这对于设备及操作要求高，难度大。在手术过程中获知穿刺的位置，深度，角度信息等，需要中断进行多次扫描观察，医生还必须在真实手术部位与图像之间来回切换视野，这势必会给医生带来额外负担，影响手术进程，增加患者痛苦。
发明内容
为了解决现有技术中存在的，本申请实施例提供一种穿刺设备引导方法及装置，通过混合现实技术将待进行手术的目标对象进行虚拟化构建并在现实场景中相对实体目标进行投影，并且制定对应的穿刺策略引导操作者进行精准的穿刺操作。
为了达到上述目的，本申请实施例采用的技术方案如下：
第一方面，提供一种穿刺设备引导方法，应用于穿刺系统，所述穿刺系统包括穿刺部、图像采集部、虚拟成像部和服务器；所述图像采集部用于采集目标对象的二维图像，所述二维图像包括超声图像、MRI图像和CT图像中的任意一种；所述虚拟成像部用于对接收到的图像进行第一视角成像并采集目标区域内的实时图像，所述目标区域包含穿刺部所在位置；所述方法应用于所述服务器，所述方法包括：接收所述二维图像，并对所述二维图像进行图像预处理和分割，并将所述二维图像通过对三维体数据场进行转换实现三维重建，得到所述目标对象的虚拟三维图像，所述二维图像上包含多个穿刺标记点；基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维模型以第一视角在所述虚拟成像部成像；获取所述穿刺部的实时图像，并将所述实时图像通过三维体数据场进行转换实现三维重建，得到与所述穿刺部关联的虚拟穿刺部，并将所述虚拟穿刺部转换至所述穿刺部；基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，并将所述穿刺路径以第一视角在所述虚拟成像部成像色。
优选地，所述对所述二维图像进行图像预处理和分割，包括：采用Canny边缘检测算法进行分割，对有效部分进行标记和提取。
优选地，所述将所述二维图像通过对三维体数据场进行转换实现三维重建，得到所述目标对象的虚拟三维图像，包括：获取至少两个所述二维图像形成二维序列图像，并在所述二维序列图像中提取出呈离散状态的三维体数据场，并基于所述三维体数据场获取多个体素，以及多个所述体素对应顶点的初始值；建立光学照射模型向预设的三维空间进行光线模拟照射，在预设的三维空间内以每个像素为起始，以不断变化的时间间隔来收集三维信息；获取靠近所述光学照射模型入射光最近多个采样点的多个体素的颜色及其相应的不透光程度，对每个所述采样点的状态进行估计；并通过所述三维空间从左到右、从右到左的排列方式，来确定每个图像元素的亮暗程度以及它们的不透光程度；通过计算每个像素点的值得到虚拟三维图像。
优选地，所述基于所述三维体数据场获取多个体素，以及多个所述体素对应顶点的初始值，包括：对所述三维体数据场进行分层，提取相邻两层图像中的数据信息并构建体素模型，所述体素模型为具有八个定点的正方体结构；基于所述体素模型，分别求解其中每个数据点的函数值。
优选地，所述基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维模型以第一视角在所述虚拟成像部成像，包括：获取关于所述目标对象的实时二维图像，并获取所述实时二维图像在现实坐标系中的二维图像坐标，将所述图像坐标作为目标坐标，获取所述实时二维图像的深度信息，并基于所述目标坐标以及深度信息对虚拟三维图像在空间内进行投影。
优选地，所述获取所述实时二维图像在现实坐标系中的二维图像坐标，包括：基于YOLOv3对所述实时二维图像进行识别得到关于所述目标对象的第一目标图像以及所述第一目标图像的所述二维图像坐标，所述第一目标图像为二维图像。
优选地，所述将所述虚拟穿刺部转换至所述穿刺部，包括：基于YOLOv3对所述实时二维图像进行识别得到关于所述穿刺部的第二目标图像，以及所述第二目标图像的二维图像坐标，所述第二目标图像为二维图像；并获取所述第二目标图像在现实坐标系中的二维图像坐标，将图像坐标作为目标坐标，获取所述第二目标图像的深度信息，并基于所述目标坐标以及深度信息对所述虚拟穿刺部转换在空间内进行投影转换至穿刺部。
优选地，基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，包括：基于所述虚拟穿刺部的当前坐标以及所述穿刺标记点的坐标确定多个穿刺路径并通过不同颜色表示，在多个所述穿刺路径中确定最优穿刺路径并进行高亮表示，基于所述最优穿刺路径生成穿刺策略，并基于所述穿刺策略引导所述虚拟穿刺部进行移动。
优选地，所述基于所述最优穿刺路径生成穿刺策略，并基于所述穿刺策略引导所述虚拟穿刺部进行移动，包括：获取所述虚拟穿刺部的实时穿刺坐标，并基于所述实时穿刺坐标确定所述虚拟穿刺部与所述穿刺标记点的相对距离，基于所述相对距离确定移动距离，并根据不同移动距离进行不同颜色表示进行引导；并基于所述穿刺标记点的标签信息获取目标穿刺角度，并获取所述虚拟穿刺部的实时姿态数据，基于所述目标穿刺角度与所述实时姿态数据确定调姿信息。
第二方面，提供一种穿刺设备引导装置，所述装置包括：图像生成模块，用于接收二维图像，并对所述二维图像进行图像预处理和分割，并将所述二维图像通过对三维体数据场进行转换实现三维重建，得到目标对象的虚拟三维图像，所述二维图像上包含多个穿刺标记点；成像模块，基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维模型以第一视角在所述虚拟成像部成像；虚拟穿刺部构建模块，获取所述穿刺部的实时图像，并将所述实时图像通过三维体数据场进行转换实现三维重建，得到与所述穿刺部关联的虚拟穿刺部，并将所述虚拟穿刺部转换至所述穿刺部；穿刺路径确定模块，基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，并将所述穿刺路径以第一视角在所述虚拟成像部成像。
第三方面，提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的方法。
第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的方法。
本申请实施例提供的技术方案中，应用于穿刺系统，通过采集待穿刺目标的实时图像，并通过对实时图像进行三维重建以及坐标系转换，将重建后的三维模型与现实场景中待穿刺目标位置进行三维模型成像，并且基于成像后的三维模型产生穿刺路径以及穿刺策略，并根据穿刺路径和穿刺策略引导穿刺操作者进行穿刺作业。本申请实施例提供的技术方案能够辅助穿刺操作者进行精准的穿刺作业，降低了穿刺操作者的作业压力。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。
图1是本申请实施例提供的穿刺系统结构示意图。
图2是本申请实施例提供的穿刺设备引导方法流程示意图。
图3是本申请实施例提供的穿刺设备引导装置结构图。
图4是本申请实施例提供的穿刺设备引导设备结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。
本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
(1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
(2)基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
在实际的医学场景中，医生对于穿刺活检手术的操作在很大程度上依赖于多年所练就的经验，这直接影响到了手术的总时间、取得病灶组织的成功率以及对病患身体的损伤。同时，因不同人员操作或设备型号不同在手术时会产生毫米或厘米级别的误差。对于缺少手术操作经验的实习医学生来说，有极大的概率会因为未达到病灶的目标点、穿刺路径选择不当而导致对患者进行反复的穿刺，而且医学生在实习期间也几乎得不到亲自操作的机会。多次穿刺后也未取到病灶组织会导致手术失败，多次反复的穿刺会导致大概率的并发症，包括但不限于：血肿、部位感染、血尿等症状。
因此，针对于穿刺活检手术虽然已经作为疾病诊断和鉴别最为常用的手段，但是依然在实际的操作过程中面临着诸多困难：
(1)缺少一种标准化的穿刺活检方法：进行穿刺活检手术操作需要非常丰富的经验，而且实习医学生需要花费大量的时间进行学习，对他们来说是一项挑战，制约了手术的传播与发展；
(2)缺少精确的手术穿刺路径规划：在手术中医生只能通过图像进行观察，并基于自己以前的经验来规划穿刺针路径，而进针的路径是否合理，对病人是否有风险，这都无法进行判断；
(3)没有办法准确的定位穿刺针与病灶：在穿刺的过程中，医生不能准确获取病灶部位与穿刺针的位置关系，只能使用多次取材来获取病灶组织，从而对患者造成伤害，严重时会导致手术失败。
所以，针对于现有技术中的技术问题，需要提供一种能够实现引导穿刺操作者进行精准穿刺的辅助方法，其中此辅助方法应用于穿刺系统。其中，针对于本申请实施例中的穿刺系统，请参阅图1，穿刺系统包括穿刺部、图像采集部、虚拟成像部和服务器，其中图像采集部用于采集目标象的二维图像，所述二维图像包括超声图像、MRI图像和CT图像中的任意一种，在本申请实施例中针对于二维图像为CT图像；虚拟成像部用于对接收到的图像进行第一视角成像并采集目标区域内的实时图像，所述目标区域包含穿刺部所在位置，其中针对于虚拟成像部包括成像屏幕和相机，其中成像屏幕用于对接收到的图像进行第一视角成像，相机用于采集目标区域内的实时图像。
具体的，针对于虚拟成像部为可穿戴设备，可以为头盔、相机等形式，在本申请实施例中优选头盔，在头盔中设置有屏幕用于成像，设置相机用于实时图像的采集。
服务器用于对方穿刺设备引导方法进行执行。
参阅图2，针对于穿刺设备引导方法，具体包括以下步骤：
步骤S210.接收所述二维图像，并对所述二维图像进行图像预处理和分割，并将所述二维图像通过对三维体数据场进行转换实现三维重建，得到所述目标对象的虚拟三维图像，所述二维图像上包含多个穿刺标记点。
针对于本申请实施例中的二维图像为通过图像采集部对于目标对象进行采集的二维图像，其采集方式通过现有技术中的CT成像执行。
本过程主要是对于目标对象进行三维重构，将二维图像数据转换为三维图像。在对于二维图像进行转换之前需要对二维图像进行图像预处理和分割，实现对于二维图像降噪处理以及背景图像分割处理。其中针对于此过程处理通过Canny边缘检测算法进行分割，对有效部分进行标记和提取，其具体的处理过程为：
先对图像进行降噪处理，使各组织器官的边缘轮廓更加平滑，以此增强边缘提取的效果；
根据公式计算边缘点的梯度大小和方向，假设像素点的坐标值为(x,y)，则该点的梯度在x方向上表示为Gx(x,y)，在y方向上可以表示为Gy(x,y)，该点的幅值M(x,y)和边缘方向θ的计算公式如下：
采用非极大值对上一步的梯度进行抑制，以获得图像上的边缘像素点；
设定阈值，并根据高、低两种阈值对像素进行筛选，判断是否为边缘像素，若是，则保存；不是则舍弃；
对图像目标区域周围的弱边缘进行处理。首先要判断若边缘周围是否存在强边缘，如果存在就可以将此若边缘与周围的强边缘相连接，对此像素点进行保存，将其确定为边缘像素；如果不存在就将此去除。
通过Canny算子对二维图像进行处理得到清晰的图像，针对于清晰的图像通过对三维体数据场进行转换实现三维重建，得到所述目标对象的虚拟三维图像。针对于三维重建的过程通过获取至少两个所述二维图像形成二维序列图像，并在所述二维序列图像中提取出呈离散状态的三维体数据场，并基于所述三维体数据场获取多个体素，以及多个所述体素对应顶点的初始值；建立光学照射模型向预设的三维空间进行光线模拟照射，在预设的三维空间内以每个像素为起始，以不断变化的时间间隔来收集三维信息；获取靠近所述光学照射模型入射光最近多个采样点的多个体素的颜色及其相应的不透光程度，对每个所述采样点的状态进行估计；并通过所述三维空间从左到右、从右到左的排列方式，来确定每个图像元素的亮暗程度以及它们的不透光程度；通过计算每个像素点的值得到虚拟三维图像。
具体的，针对于多个体素的获得以及基于多个体素对应顶点的初始值的获取通过对所述三维体数据场进行分层，提取相邻两层图像中的数据信息并构建体素模型，所述体素模型为具有八个定点的正方体结构；基于所述体素模型，分别求解其中每个数据点的函数值。
具体的，针对于此过程通过将三维离散的规则数据场分层，可以从二维的医学图像数据中获取有用的信息，从而为后续的处理提供可靠的基础；通过对比相邻两层的数据信息，可以发现在一组8个采样点的基础上，建立了一组具有不同形状的体素，这些体素模型的形状为正方体，而模型的8个顶点就是8个采样点。通过以上采样点形成了一幅完整的体素模型；通过对比各角度的函数值与预先确定的相应的特征值c，然后建立一张完整的体素模型图；通过分析体素模型图，可以找出与之数量相同的平行于等值面的元素；使用三维线性插值方法来确定与等值面交叉的点；采用中心差分法，计算每个体素的法向矩阵，并运用线性插值技术，确定每个体素的三维表面的法向；通过计算每个面片的位置和方位角，完成模型的三维重建。
具体的，针对于本申请实施例中的体素的状态表表明了体素中八个顶点与等值面的位置关系，通过该关系可以确定哪些体素与等值面相交。在体素模型中，假设相邻的体素之间的数据场之间呈现出连续性变化，在这种情况下给其设定一个阈值，当体素的一条边的两个顶点的函数值分别为大于等值面的阈值和小于等值面的阈值时，这条边必定与等值面相交，进一步可知该体素与等值面相交；反之则不相交。
通过对图像中的所有像素点进行遍历扫描，可以发现该数据集中所有像素点的灰度值大小在一定的范围内。通过调整灰度值的大小，就能够判断出哪个像素点会与之相交。具体的，如果一个像素点的灰度值高于或低于另一个像素点的灰度值，那么它就必然会和另一个像素点相交。通过对两个像素点的灰度值进行对比，就能够得出该点在空间中的具体位置坐标。
通过以上的处理实现对于三维模型的重构，而针对于重构后的三维模型仅为单一颜色的图像数据，为了使三维模型的表达更为全面，还需要将三维模型进行处理得到具有图像完整信息的虚拟三维图像。
具体的，针对于三维模型转化为虚拟三维图像通过光学照射模型向预设的三维空间进行光线模拟照射，其中预设的三维空间与现实的三维空间相对应，通过此光学照射模型向三维空间内的三维模型进行模拟照射，并以不断变化的时间间隔收集三维信息，并通过每个图像元素的暗照程度和透光程度计算每个像素点值进行虚拟三维图像构建。
具体的，针对于光学照射模型包括光线吸收模型和光线发射模型，其中针对于光线吸收模型通过下式表示：
其中，I(s)表示光线强度，s表示长度，I0表示初始光照强度。
其中针对于光线发射模型通过下式表示：
其中，g(t)表示光源衰减项。
通过以上两个模型得到关于光学照射模型的整体表达：
在本申请实施例中，通过建立一个光学模型，可以将输入的信号转换为可以被观察的像素。这个过程包括以下步骤：
先给每个体素指定不同的颜色值H和不透明度值o。若o＝0其含义为该体素完全透明，若o＝1其含义为完全不透明。分别设置光线穿过体素前的值和穿过后的值，光线穿过前的颜色值为Hin，不透明度值为ain，穿过后的颜色值为Hout，不透明度值为Oout，采样点为q1,q2,...,qn。
光线从后到前合成方式为：Hout＝H(qi)o(qi)+Hin(1-oin)，其中H(q0)＝Hbackground,o(q0)＝1，其中qi表示第i个像素点，q0为初始像素点。
光线由前到后的合成方式为：
Hout＝Hin+(1-oin)H(qi)′，oout＝oin+o(qi)(1-oin)。
由前到后的图像合成中，不透明度值将会慢慢增长。当不透明度值与1不断接近时，其表面图像也慢慢变成了完全不透明，此时应该不再累加。和从后到前的图像合成方法相比，从前到后的图像合成方法有效的减少了多余的计算，速度更快，所以用的更多。
通过以上的处理过程能够得到关于二维图像的三维虚拟图像。
步骤S220.基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维图像以第一视角在所述虚拟成像部成像。
通过步骤S210能够得到关于二维图像的虚拟三维图像，但是此虚拟三维图像仅为二维图像的三维化表达，其并没有与现实空间中的目标对象进行关联。所以，为了实现对于目标对象与虚拟三维图像的与现实空间进行关联，并且将虚拟三维图像以第一视角在虚拟成像部成像，即针对于使用者通过虚拟成像部能够看到关于目标对象的虚拟三位图像在现实空间的对应性表达。
具体的，针对于此过程通过坐标转换的方式进行，具体的过程为：获取关于所述目标对象的实时二维图像，并获取所述实时二维图像在现实坐标系中的二维图像坐标，将所述图像坐标作为目标坐标，获取所述实时二维图像的深度信息，并基于所述目标坐标以及深度信息对虚拟三维图像在空间内进行投影。
其中针对于获取实时二维图像在现实坐标系中的二维图像坐标，基于YOLOv3对所述实时二维图像进行识别得到关于所述目标对象的第一目标图像以及所述第一目标图像的所述二维图像坐标，所述第一目标图像为二维图像。
具体的，针对于YOLOv3能够实现对于图像中对象的分类，即能够通过对二维图像中确定与目标对象相关的图像并且将其进行分割得到第一目标图像，并且还能够对第一目标图像中的二维坐标信息进行确定。因为YOLOv3是现有的已知机器视觉算法，在本申请实施例中不再进行赘述。
步骤S230.获取所述穿刺部的实时图像，并将所述实时图像通过三维体数据场进行转换实现三维重建，得到与所述穿刺部关联的虚拟穿刺部，并将所述虚拟穿刺部转换至所述穿刺部。
在本申请实施例中，此步骤用于对现实场景中的实体穿刺部映射至步骤S220中的虚拟三维图像中。
其中，针对于此过程采用的方法基于步骤S210中的三维模型重构和虚拟三维图像处理方案实现，将步骤S210中的处理图像由与目标对象相关的二维图像转换为对穿刺部进行图像采集得到的图像，在本申请实施例中不再进行赘述，其中针对于穿刺部的图像采集基于虚拟成像部设置的相机进行采集。
步骤S240.基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，并将所述穿刺路径以第一视角在所述虚拟成像部成像。
在本申请实施例中，针对于穿刺路径的获得通过以下过程确定：基于所述虚拟穿刺部的当前坐标以及所述穿刺标记点的坐标确定多个穿刺路径并通过不同颜色表示，在多个所述穿刺路径中确定最优穿刺路径并进行高亮表示，基于所述最优穿刺路径生成穿刺策略，并基于所述穿刺策略引导所述虚拟穿刺部进行移动。
具体的，针对于最优穿刺路径包括两个处理逻辑，第一个处理逻辑为规避路径中可能造成的器官伤害，因为在穿刺活检手术的路径可能经过肋骨进入腹腔中，而腹腔中有众多组织器官，如果一些重要的组织或器官被穿刺针命中，这会给人体带来不可逆的伤害。只命中病灶部位是必须被遵循的首要约束条件。
首先需要制定多条路径，并根据多条路径确定多个最优路径，后在最优路径中选取满足约束条件的路径，当最终选取的路径为多个时，确定多个路径中最优的一条路径为最终路径。
其中，针对于路径的确定以及多个路径中选择一条路径为最终路径基于切比雪夫距离进行确定，具体的基于下式表示：
D(p,q)＝max(|pi-qi|)，其中p和q分别是穿刺部点和穿刺标记点，其坐标分别为pi和qi。
针对于获取到的路径，基于约束条件进行路径的选择，其中针对于约束条件基于穿刺活检所经过的器官组织分为骨骼规避约束条件、穿刺针可达作业范围约束和穿刺角度的约束条件。
其中，针对于骨骼规避约束条件为：
在穿刺表面上所有的点的集合为P，P集合中任意点O(x,y,z)与穿刺标记点中心所在的目标点T(x0,y0,z0)能够确定穿刺路径的方向向量为J(i,j,k)为：
逐个从点S沿方向向量J的方向搜索路径上的节点，下一个点不是骨骼则搜索过程继续；若下一个点是骨骼则停止搜索，继续下一个节点。如果搜索过程一直持续到了目标节点，则证明此路径上无骨骼阻挡，该路径满足骨骼避障约束条件。
穿刺针可达作业范围约束条件为：
假设在穿刺表面上所有的点的集合为P，P集合中任意点O(x,y,z)与穿刺标记点中心所在的目标点之间的间距为1，其长度为：
穿刺角度的约束条件为：
为了计算最佳进针路径与表面穿刺夹角，需要首先计算经过穿刺路径与穿刺表面实质交点的表面法向量，再根据路径的方向向量与两个表面法向量来计算相应的进针角度。
其中针对于穿刺表面的平面方程为：
a·(x-x1)+b·(y-y1)+c·(z-z1)＝0，其中N(a,b,c)为穿刺表面上穿刺针进入点p(x1,y1,z1)处的法向量，有a2+b2+c2＝1，将上式整理为：
ax+by+cz＝ax1+by1+cz1，令ax1+by1+cz1为d，则：
ax+by+cz＝d,(d≥0)。
其对应方向向量为N(a,b,c)结合以上公式所示的穿刺路径的方向向量J(i,j,k)，则有经穿刺点的路径与皮肤平面法向量夹角为：
因此穿刺点处的路径与穿刺平面的夹角应为α＝90-α′。
通过上述距离计算以及约束条件确定最终的穿刺路径，并且针对于本申请实施例中针对于穿刺路径进行穿刺过程中根据不同移动距离进行不同颜色表示进行引导，例如当距离一毫米以内为绿色，一到两毫米为黄色，反之为红色，通过此种设置方式这样能够引导用户移动穿刺部使末端接近预设路径的入针点。并基于所述穿刺标记点的标签信息获取目标穿刺角度，并获取所述虚拟穿刺部的实时姿态数据，基于所述目标穿刺角度与所述实时姿态数据确定调姿信息。
参阅图3，提供一种穿刺设备引导装置300，其中装置包括：
图像生成模块310，用于接收二维图像，并对所述二维图像进行图像预处理和分割，并将所述二维图像通过对三维体数据场进行转换实现三维重建，得到目标对象的虚拟三维图像，所述二维图像上包含多个穿刺标记点；
成像模块320，基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维模型以第一视角在所述虚拟成像部成像；
虚拟穿刺部构建模块330，获取所述穿刺部的实时图像，并将所述实时图像通过三维体数据场进行转换实现三维重建，得到与所述穿刺部关联的虚拟穿刺部，并将所述虚拟穿刺部转换至所述穿刺部；
穿刺路径确定模块340，基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，并将所述穿刺路径以第一视角在所述虚拟成像部成像。
参阅图4，还可以将上述方法集成于提供的穿刺设备引导设备400中，针对于设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器401和存储器402，存储器402中可以存储有一个或一个以上存储应用程序或数据。其中，存储器402可以是短暂存储或持久存储。存储在存储器402的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括穿刺设备引导设备中的一系列计算机可执行指令。更进一步地，处理器401可以设置为与存储器402通信，穿刺设备引导设备上执行存储器402中的一系列计算机可执行指令。穿刺设备引导设备还可以包括一个或一个以上电源403，一个或一个以上有线或无线网络接口304，一个或一个以上输入/输出接口305，一个或一个以上键盘306等。
在一个具体的实施例中，穿刺设备引导设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对穿刺设备引导设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
接收所述二维图像，并对所述二维图像进行图像预处理和分割，并将所述二维图像通过对三维体数据场进行转换实现三维重建，得到所述目标对象的虚拟三维图像，所述二维图像上包含多个穿刺标记点；
基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维图像以第一视角在所述虚拟成像部成像；
获取所述穿刺部的实时图像，并将所述实时图像通过三维体数据场进行转换实现三维重建，得到与所述穿刺部关联的虚拟穿刺部，并将所述虚拟穿刺部转换至所述穿刺部；
基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，并将所述穿刺路径以第一视角在所述虚拟成像部成像。
下面对处理器的各个构成部件进行具体的介绍：
其中，在本实施例中，处理器是特定集成电路(application specificintegrated circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)。
可选地，处理器可以通过运行或执行存储在存储器内的软件程序，以及调用存储在存储器内的数据，执行各种功能，例如执行上述图1所示的方法。
在具体的实现中，作为一种实施例，处理器可以包括一个或多个微处理器。
其中，所述存储器用于存储执行本申请方案的软件程序，并由处理器来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。
可选地，存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compactdisc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以和处理器集成在一起，也可以独立存在，并通过处理器的接口电路与处理单元进行耦合，本申请实施例对此不作具体限定。
需要说明的是，在本实施例中示出的处理器的结构并不构成对该装置的限定，实际的装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，处理器的技术效果可以参考上述方法实施例所述的方法的技术效果，此处不再赘述。
应理解，在本申请实施例中的处理器可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种穿刺设备引导方法，其特征在于，应用于穿刺系统，所述穿刺系统包括穿刺部、图像采集部、虚拟成像部和服务器；所述图像采集部用于采集目标对象的二维图像，所述二维图像包括超声图像、MRI图像和CT图像中的任意一种；所述虚拟成像部用于对接收到的图像进行第一视角成像并采集目标区域内的实时图像，所述目标区域包含穿刺部所在位置；所述方法应用于所述服务器，所述方法包括：
接收所述二维图像，并对所述二维图像进行图像预处理和分割，并将所述二维图像通过对三维体数据场进行转换实现三维重建，得到所述目标对象的虚拟三维图像，所述二维图像上包含多个穿刺标记点；
基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维模型以第一视角在所述虚拟成像部成像；
获取所述穿刺部的实时图像，并将所述实时图像通过三维体数据场进行转换实现三维重建，得到与所述穿刺部关联的虚拟穿刺部，并将所述虚拟穿刺部转换至所述穿刺部；
基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，并将所述穿刺路径以第一视角在所述虚拟成像部成像。
2.根据权利要求1所述的穿刺设备引导方法，其特征在于，所述对所述二维图像进行图像预处理和分割，包括：采用Canny边缘检测算法进行分割，对有效部分进行标记和提取。
3.根据权利要求2所述的穿刺设备引导方法，其特征在于，所述将所述二维图像通过对三维体数据场进行转换实现三维重建，得到所述目标对象的虚拟三维图像，包括：获取至少两个所述二维图像形成二维序列图像，并在所述二维序列图像中提取出呈离散状态的三维体数据场，并基于所述三维体数据场获取多个体素，以及多个所述体素对应顶点的初始值；建立光学照射模型向预设的三维空间进行光线模拟照射，在预设的三维空间内以每个像素为起始，以不断变化的时间间隔来收集三维信息；获取靠近所述光学照射模型入射光最近多个采样点的多个体素的颜色及其相应的不透光程度，对每个所述采样点的状态进行估计；并通过所述三维空间从左到右、从右到左的排列方式，来确定每个图像元素的亮暗程度以及它们的不透光程度；通过计算每个像素点的值得到虚拟三维图像。
4.根据权利要求3所述的穿刺设备引导方法，其特征在于，所述基于所述三维体数据场获取多个体素，以及多个所述体素对应顶点的初始值，包括：对所述三维体数据场进行分层，提取相邻两层图像中的数据信息并构建体素模型，所述体素模型为具有八个定点的正方体结构；基于所述体素模型，分别求解其中每个数据点的函数值。
5.根据权利要求4所述的穿刺设备引导方法，其特征在于，所述基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维模型以第一视角在所述虚拟成像部成像，包括：获取关于所述目标对象的实时二维图像，并获取所述实时二维图像在现实坐标系中的二维图像坐标，将所述图像坐标作为目标坐标，获取所述实时二维图像的深度信息，并基于所述目标坐标以及深度信息对虚拟三维图像在空间内进行投影。
6.根据权利要求5所述的穿刺设备引导方法，其特征在于，所述获取所述实时二维图像在现实坐标系中的二维图像坐标，包括：基于YOLOv3对所述实时二维图像进行识别得到关于所述目标对象的第一目标图像以及所述第一目标图像的所述二维图像坐标，所述第一目标图像为二维图像。
7.根据权利要求5所述的穿刺设备引导方法，其特征在于，所述将所述虚拟穿刺部转换至所述穿刺部，包括：基于YOLOv3对所述实时二维图像进行识别得到关于所述穿刺部的第二目标图像，以及所述第二目标图像的二维图像坐标，所述第二目标图像为二维图像；并获取所述第二目标图像在现实坐标系中的二维图像坐标，将图像坐标作为目标坐标，获取所述第二目标图像的深度信息，并基于所述目标坐标以及深度信息对所述虚拟穿刺部转换在空间内进行投影转换至穿刺部。
8.根据权利要求1所述的穿刺设备引导方法，其特征在于，基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，包括：基于所述虚拟穿刺部的当前坐标以及所述穿刺标记点的坐标确定多个穿刺路径并通过不同颜色表示，在多个所述穿刺路径中确定最优穿刺路径并进行高亮表示，基于所述最优穿刺路径生成穿刺策略，并基于所述穿刺策略引导所述虚拟穿刺部进行移动。
9.根据权利要求8所述的穿刺设备引导方法，其特征在于，所述基于所述最优穿刺路径生成穿刺策略，并基于所述穿刺策略引导所述虚拟穿刺部进行移动，包括：获取所述虚拟穿刺部的实时穿刺坐标，并基于所述实时穿刺坐标确定所述虚拟穿刺部与所述穿刺标记点的相对距离，基于所述相对距离确定移动距离，并根据不同移动距离进行不同颜色表示进行引导；并基于所述穿刺标记点的标签信息获取目标穿刺角度，并获取所述虚拟穿刺部的实时姿态数据，基于所述目标穿刺角度与所述实时姿态数据确定调姿信息。
10.一种穿刺设备引导装置，其特征在于，所述装置包括：
图像生成模块，用于接收二维图像，并对所述二维图像进行图像预处理和分割，并将所述二维图像通过对三维体数据场进行转换实现三维重建，得到目标对象的虚拟三维图像，所述二维图像上包含多个穿刺标记点；
成像模块，基于所述虚拟三维图像坐标系到所述虚拟成像部坐标系转换，并将所述虚拟三维模型以第一视角在所述虚拟成像部成像；
虚拟穿刺部构建模块，获取所述穿刺部的实时图像，并将所述实时图像通过三维体数据场进行转换实现三维重建，得到与所述穿刺部关联的虚拟穿刺部，并将所述虚拟穿刺部转换至所述穿刺部；
穿刺路径确定模块，基于多个所述穿刺标记点的位置以及所述虚拟穿刺部的位置确定穿刺路径，并将所述穿刺路径以第一视角在所述虚拟成像部成像。
CN202311283661.5A 2023-09-28 2023-09-28 一种穿刺设备引导方法及装置 Active CN117338419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311283661.5A CN117338419B (zh) 2023-09-28 2023-09-28 一种穿刺设备引导方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311283661.5A CN117338419B (zh) 2023-09-28 2023-09-28 一种穿刺设备引导方法及装置

Publications (2)

Publication Number Publication Date
CN117338419A true CN117338419A (zh) 2024-01-05
CN117338419B CN117338419B (zh) 2024-10-11

Family

ID=89360500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311283661.5A Active CN117338419B (zh) 2023-09-28 2023-09-28 一种穿刺设备引导方法及装置

Country Status (1)

Country Link
CN (1) CN117338419B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005087553A (ja) * 2003-09-18 2005-04-07 Ge Medical Systems Global Technology Co Llc 穿刺ナビゲーション装置
US20120157834A1 (en) * 2010-12-16 2012-06-21 Siemens Medical Solutions Usa, Inc. Path Parametric Visualization in Medical Diagnostic Ultrasound
CN102961187A (zh) * 2012-10-26 2013-03-13 深圳市旭东数字医学影像技术有限公司 经皮穿刺的手术规划方法及其系统
CN103971410A (zh) * 2014-05-23 2014-08-06 中国石油大学(华东) 一种基于ct图片的三维岩心可视化方法
CN107296645A (zh) * 2017-08-03 2017-10-27 东北大学 肺穿刺手术最优路径规划方法及肺穿刺手术导航系统
CN109157284A (zh) * 2018-09-28 2019-01-08 广州狄卡视觉科技有限公司 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN109549689A (zh) * 2018-08-21 2019-04-02 池嘉昌 一种穿刺辅助引导装置、系统及方法
CN109567939A (zh) * 2018-12-10 2019-04-05 艾瑞迈迪科技石家庄有限公司 一种经皮穿刺最优路径规划方法及装置
US20190183577A1 (en) * 2017-12-15 2019-06-20 Medtronic, Inc. Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools
CN110090069A (zh) * 2019-06-18 2019-08-06 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质
CN110464459A (zh) * 2019-07-10 2019-11-19 丽水市中心医院 基于ct-mri融合的介入计划导航系统及其导航方法
LU500668B1 (en) * 2021-06-29 2022-03-17 Shenzhen Inst Adv Tech Intracranial puncture method, intracranial puncture apparatus, intracranial puncture system and storage medium
CN114983540A (zh) * 2022-06-17 2022-09-02 上海联影医疗科技股份有限公司 穿刺路径预测方法、装置和穿刺辅助设备
WO2022245767A1 (en) * 2021-05-18 2022-11-24 Covidien Lp Systems and methods for calculating tissue resistance and determining optimal needle insertion path

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005087553A (ja) * 2003-09-18 2005-04-07 Ge Medical Systems Global Technology Co Llc 穿刺ナビゲーション装置
US20120157834A1 (en) * 2010-12-16 2012-06-21 Siemens Medical Solutions Usa, Inc. Path Parametric Visualization in Medical Diagnostic Ultrasound
CN102961187A (zh) * 2012-10-26 2013-03-13 深圳市旭东数字医学影像技术有限公司 经皮穿刺的手术规划方法及其系统
CN103971410A (zh) * 2014-05-23 2014-08-06 中国石油大学(华东) 一种基于ct图片的三维岩心可视化方法
CN107296645A (zh) * 2017-08-03 2017-10-27 东北大学 肺穿刺手术最优路径规划方法及肺穿刺手术导航系统
US20190183577A1 (en) * 2017-12-15 2019-06-20 Medtronic, Inc. Augmented reality solution to optimize the directional approach and therapy delivery of interventional cardiology tools
CN109549689A (zh) * 2018-08-21 2019-04-02 池嘉昌 一种穿刺辅助引导装置、系统及方法
CN109157284A (zh) * 2018-09-28 2019-01-08 广州狄卡视觉科技有限公司 一种脑肿瘤医学影像三维重建显示交互方法及系统
CN109567939A (zh) * 2018-12-10 2019-04-05 艾瑞迈迪科技石家庄有限公司 一种经皮穿刺最优路径规划方法及装置
CN110090069A (zh) * 2019-06-18 2019-08-06 无锡祥生医疗科技股份有限公司 超声穿刺引导方法、引导装置和存储介质
CN110464459A (zh) * 2019-07-10 2019-11-19 丽水市中心医院 基于ct-mri融合的介入计划导航系统及其导航方法
WO2022245767A1 (en) * 2021-05-18 2022-11-24 Covidien Lp Systems and methods for calculating tissue resistance and determining optimal needle insertion path
LU500668B1 (en) * 2021-06-29 2022-03-17 Shenzhen Inst Adv Tech Intracranial puncture method, intracranial puncture apparatus, intracranial puncture system and storage medium
CN114983540A (zh) * 2022-06-17 2022-09-02 上海联影医疗科技股份有限公司 穿刺路径预测方法、装置和穿刺辅助设备

Also Published As

Publication number Publication date
CN117338419B (zh) 2024-10-11

Similar Documents

Publication Publication Date Title
US12033325B2 (en) Systems and methods for segmentation of anatomical structures for image-guided surgery
CN104622495B (zh) 医用图像处理装置以及医用图像处理方法
Wolf et al. 3D tracking of laparoscopic instruments using statistical and geometric modeling
WO2015161728A1 (zh) 三维模型的构建方法及装置、图像监控方法及装置
CN103371870A (zh) 一种基于多模影像的外科手术导航系统
CN111161241B (zh) 一种肝脏图像识别方法、电子设备及存储介质
CN107689045B (zh) 内窥镜微创手术导航的图像显示方法、装置及系统
CN113456219B (zh) 基于ct图像的肝癌射频消融手术路径规划方法及装置
US11676706B2 (en) Medical image processing apparatus and medical image processing method which are for medical navigation device
Selivanova et al. 3D visualization of human body internal structures surface during stereo-endoscopic operations using computer vision techniques
Stolka et al. A 3D-elastography-guided system for laparoscopic partial nephrectomies
Kofler et al. The brain tumor segmentation (brats) challenge 2023: Local synthesis of healthy brain tissue via inpainting
CN112331311B (zh) 一种腹腔镜手术中视频与术前模型融合显示的方法及装置
CN116570370B (zh) 一种脊柱针刀穿刺导航系统
CN117338419B (zh) 一种穿刺设备引导方法及装置
JP6944492B2 (ja) 画像取得方法、関連装置及び読み取り可能な記憶媒体
CN116912098A (zh) 用于介入手术医学影像处理方法、系统、装置及存储介质
CN114931435A (zh) 三维模型处理方法、装置和电子设备
KR101540402B1 (ko) 의료용 바늘의 삽입 경로의 생성 방법
Sun et al. Using cortical vessels for patient registration during image-guided neurosurgery: a phantom study
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
Sun A Review of 3D-2D Registration Methods and Applications based on Medical Images
Khafizov et al. Analyzing the Risk of Injury for Pathways of Instrument Insertion into a Surgical Target Area While Preparing for Laparoscopic Surgery
Morelli et al. Towards deformable registration for AR in nephrectomy
JPH01135339A (ja) 三次元画像診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 215531, 3rd Floor, Building 9, No. 26 Jinxing Road, Jinfeng Town, Zhangjiagang City, Suzhou City, Jiangsu Province

Applicant after: Suzhou Shengxing Medical Equipment Co.,Ltd.

Address before: Room B2-1201, No. 198 Qidi Road, Beigan Street, Xiaoshan District, Hangzhou City, Zhejiang Province, 311200

Applicant before: Hangzhou Shengxing Medical Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant