CN117598782B - 用于经皮穿刺手术的手术导航方法、装置、设备及介质 - Google Patents

用于经皮穿刺手术的手术导航方法、装置、设备及介质 Download PDF

Info

Publication number
CN117598782B
CN117598782B CN202311285572.4A CN202311285572A CN117598782B CN 117598782 B CN117598782 B CN 117598782B CN 202311285572 A CN202311285572 A CN 202311285572A CN 117598782 B CN117598782 B CN 117598782B
Authority
CN
China
Prior art keywords
preset
puncture
mixed reality
registration
coordinate information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311285572.4A
Other languages
English (en)
Other versions
CN117598782A (zh
Inventor
禹浪
门英培
卢亚超
向俊灵
张铭垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Shengxing Medical Equipment Co ltd
Original Assignee
Suzhou Shengxing Medical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Shengxing Medical Equipment Co ltd filed Critical Suzhou Shengxing Medical Equipment Co ltd
Priority to CN202311285572.4A priority Critical patent/CN117598782B/zh
Publication of CN117598782A publication Critical patent/CN117598782A/zh
Application granted granted Critical
Publication of CN117598782B publication Critical patent/CN117598782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • A61B2017/3405Needle locating or guiding means using mechanical guide means
    • A61B2017/3409Needle locating or guiding means using mechanical guide means including needle or instrument drives
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种用于经皮穿刺手术的手术导航方法、装置、设备及介质,该方法包括:响应于在预设检测区域内识别到多个配准标识,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,生成医学数据成像和通信DICOM图像数据,对DICOM图像数据中的病症特征进行识别,生成经皮穿刺手术区域内病症特征的三维模型数据,根据第一坐标信息和第二坐标信息,对全息混合现实图像进行校准,基于校准后的混合现实图像和穿刺针在混合现实头显中的设定位置,确定经皮穿刺手术的穿刺路径。从而对穿刺路径进行实时引导,提高穿刺效率和穿刺精度,同时能够降低手术过程中患者辐射量,避免对患者造成二次创伤。

Description

用于经皮穿刺手术的手术导航方法、装置、设备及介质
技术领域
本发明涉及医疗技术领域,具体为一种用于经皮穿刺手术的手术导航方法、装置、设备及介质。
背景技术
经皮穿刺手术是指使用穿刺针或者手术器械经过皮肤进行穿刺到病灶进行活检或者进行治疗的微创手术。相较于开放性手术具有微创、出血少、恢复快等特点,被广泛应用于穿刺活检、抽吸引流、椎体成形术、冷热消融手术、DBS(Deep Brain Stimulation,脑深部电刺激疗法)、臭氧消融、三叉神经痛治疗等术式中。传统的经皮穿刺手术的穿刺引导方式有:徒手穿刺(无引导),超声引导,CT(Computed Tomography,计算机体层摄影)引导,核磁引导以及手术机器人引导等。徒手穿刺具有风险大、精度低以及手术过程不能可视化的特点;超声引导具备实时可视化引导的优势,但是超声图像显示分辨率低对医生手法要求很高;CT引导具备扫描速度快以及分辨率高的特点,但是患者需要承受辐射,而且在穿刺过程中需要被多次X线照射,容易给患者造成二次伤害;核磁图像扫描引导的方式成图速度慢,无辐射,但是对所需要的手术环境要求较高。
发明内容
针对现有技术中经皮穿刺手术导航引导不方便的的技术问题,本发明提供了一种用于经皮穿刺手术的手术导航方法、装置、设备及介质。
为实现以上目的,本发明通过以下技术方案予以实现:
本发明实施例第一方面,提供一种用于经皮穿刺手术的手术导航方法,所述方法包括:
响应于在预设检测区域内识别到多个配准标识,在确定所述多个配准标识在所述预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据,其中,所述多个配准标识粘贴至患者的待手术区域内,所述多个配准标识在所述患者身上所围成的范围为所述经皮穿刺手术区域;
基于所述预设检测区域内的第一预设坐标系,确定所述多个配准标识在所述第一预设坐标系中的第一坐标信息;
通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,并基于混合现实头显将所述三维模型数据投射至所述经皮穿刺手术区域内,生成全息混合现实图像;
基于所述混合现实头显内的第二预设坐标系,对所述多个配准标识在所述第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据所述第一坐标信息和所述第二坐标信息,对所述全息混合现实图像进行校准;
基于校准后的所述全息混合现实图像和穿刺针在所述混合现实头显中的设定位置,确定所述经皮穿刺手术的穿刺路径,根据所述穿刺路径对所述经皮穿刺手术进行导航。
可选地,所述根据所述第一坐标信息和所述第二坐标信息,对所述全息混合现实图像进行校准,包括:
根据所述第一坐标信息和所述第二坐标信息,确定所述第一预设坐标系与所述第二预设坐标系之间进行刚性变换的配准矩阵;
通过所述配准矩阵对所述全息混合现实图像进行校准。
可选地,所述根据所述第一坐标信息和所述第二坐标信息,确定所述第一预设坐标系与所述第二预设坐标系之间进行刚性变换的配准矩阵,包括:
根据如下公式确定所述配准矩阵:
其中,为所述第二坐标信息,/>为所述配准矩阵,/>为第一坐标信息,n为所述多个配准标识中任一配准标识的编号。
可选地,所述根据所述第一坐标信息和所述第二坐标信息,确定所述第一预设坐标系与所述第二预设坐标系之间进行刚性变换的配准矩阵,包括:
对所述第一坐标信息和所述第二坐标信息进行齐次化,生成多个参数计算方程;
通过最小二乘法对所述多个参数计算方程进行计算,以生成所述配准矩阵的多个矩阵参数;
根据所述多个矩阵参数,确定所述配准矩阵。
可选地,所述通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,包括:
通过所述预设图像识别模型对所述DICOM图像数据中的病症特征会进行识别,生成多帧特征图像数据;
基于所述多帧特征图像数据对所述DICOM图像数据中的病症特征进行分割,并基于预设重组规则对分割后的所述DICOM图像数据进行重组,以生成目标病症特征;
采用预设三维模型对所述目标病症特征进行三维建模,以生成所述三维模型数据。
可选地,所述基于校准后的所述全息混合现实图像和穿刺针在所述混合现实头显中的设定位置,确定所述经皮穿刺手术的穿刺路径,包括:
根据所述全息混合现实图像和所述设定位置,确定所述穿刺路径中的多个靶点,以及各靶点对应靶线与所述穿刺针之间的角度信息;
根据所述多个靶点和所述角度信息,生成所述穿刺路径。
可选地,所述通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,包括:
通过所述预设图像识别模型对所述DICOM图像数据进行中值滤波,生成第一处理数据;
对所述第一处理数据中的病症特征边缘进行边缘检测,生成第二处理数据;
对所述第二处理数据进行霍夫变换,确定所述病症特征在所述DICOM图像数据中的多个球中心点,基于所述多个球中心点生成所述三维模型数据。
根据本公开实施例的第二方面,提供一种用于经皮穿刺手术的手术导航装置,所述装置包括:
第一生成模块,用于响应于在预设检测区域内识别到多个配准标识,在确定所述多个配准标识在所述预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据,其中,所述多个配准标识粘贴至患者的待手术区域内,所述多个配准标识在所述患者身上所围成的范围为所述经皮穿刺手术区域;
确定模块,用于基于所述预设检测区域内的第一预设坐标系,确定所述多个配准标识在所述第一预设坐标系中的第一坐标信息;
第二生成模块,用于通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,并基于混合现实头显将所述三维模型数据投射至所述经皮穿刺手术区域内,生成全息混合现实图像;
校准模块,用于基于所述混合现实头显内的第二预设坐标系,对所述多个配准标识在所述第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据所述第一坐标信息和所述第二坐标信息,对所述全息混合现实图像进行校准;
执行模块,用于基于校准后的所述全息混合现实图像和穿刺针在所述混合现实头显中的设定位置,确定所述经皮穿刺手术的穿刺路径,根据所述穿刺路径对所述经皮穿刺手术进行导航。
根据本公开实施例的第三方面提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令实现本公开第一方面中任一项所述用于经皮穿刺手术的手术导航方法的步骤。
根据本公开实施例的第三四面提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现第一方面中任一项所述用于经皮穿刺手术的手术导航方法的步骤。
本发明提供了一种用于经皮穿刺手术的手术导航方法、装置、设备及介质,与现有技术相比具备以下有益效果:
通过上述方式,响应于在预设检测区域内识别到多个配准标识,在确定多个配准标识在预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据,其中,多个配准标识粘贴至患者的待手术区域内,多个配准标识在患者身上所围成的范围为经皮穿刺手术区域,基于预设检测区域内的第一预设坐标系,确定多个配准标识在第一预设坐标系中的第一坐标信息,通过预设图像识别模型对DICOM图像数据中的病症特征进行识别,生成经皮穿刺手术区域内病症特征的三维模型数据,并基于混合现实头显将三维模型数据投射至经皮穿刺手术区域内,生成全息混合现实图像,基于混合现实头显内的第二预设坐标系,对多个配准标识在第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据第一坐标信息和第二坐标信息,对全息混合现实图像进行校准,基于校准后的混合现实图像和穿刺针在混合现实头显中的设定位置,确定经皮穿刺手术的穿刺路径,根据穿刺路径对经皮穿刺手术进行导航。从而能够实现在经皮穿刺手术过程中,对穿刺路径进行实时引导,提高穿刺效率和穿刺精度,同时能够降低手术过程中患者辐射量,避免对患者造成二次创伤。
附图说明
图1是根据一示例性实施例示出的一种用于经皮穿刺手术的手术导航方法的流程图。
图2是根据一示例性实施例示出的一种三维模型数据的生成方法的流程图。
图3是根据一示例性实施例示出的一种用于经皮穿刺手术的手术导航方法的流程图。
图4是根据一示例性实施例示出的一种用于经皮穿刺手术的手术导航装置的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种用于经皮穿刺手术的手术导航方法,图1是根据一示例性实施例示出的一种用于经皮穿刺手术的手术导航方法的流程图,如图1所示,所述方法包括以下步骤。
步骤S11,响应于在预设检测区域内识别到多个配准标识,在确定多个配准标识在预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据。
示例的,本实施例中在对患者进行手术之前,相关医护人员(包括医生,护士等)会对患者身上适用于进行经皮穿刺手术的区域进行标记,本提案中通过配准标识对该手术区域进行标记,示例的,可以将配准标识制作成二维码贴纸,用4张二维码贴纸来标识经皮穿刺手术对应的区域。将该二维码贴纸贴在经皮穿刺手术对应区域的四个角,以便检测设备通过识别二维码贴纸确定经皮穿刺手术在患者身上的区域位置。需要说明的是,为保证穿刺手术的精度,需要将患者的待手术位置相对预设检测区域进行固定,避免手术过程中存在偏差,导致的手术事故。
当在预设检测区域识别到多个配准标识后,确定配置标识是否静止,当配置标识在预设检测区域内静止,且静止时长达到设定时间阈值时,表示患者的待手术位置已经固定完成,并做好了相关手术准备。示例的,该设定时间阈值可以是5分钟,在多个配准标识在预设检测区域内固定5分钟,则可以开始对患者进行经皮穿刺手术的引导规划。
示例的,本实施例中通过CT装置对患者的经皮穿刺手术区域进行一次CT扫描,生成DICOM图像数据,采用一次扫描的方式对经皮穿刺手术区域进行识别,避免多次扫描对患者造成的多次辐射,提高经皮穿刺手术的安全性。
步骤S12,基于预设检测区域内的第一预设坐标系,确定多个配准标识在第一预设坐标系中的第一坐标信息。
示例的,本实施例中当患者的经皮穿刺手术区域相对预设检测区域固定完成后,对多个配准标识的位置进行检测,确定多个配准标识在预设检测区域的第一预设坐标系中的第一坐标信息。
步骤S13,通过预设图像识别模型对DICOM图像数据中的病症特征进行识别,生成经皮穿刺手术区域内病症特征的三维模型数据,并基于混合现实头显将三维模型数据投射至经皮穿刺手术区域内,生成全息混合现实图像。
示例的,本实施例中通过预设图像识别模型识别DICOM图像数据中的病症特征,并基于该病症特征进行三维建模,生成病症特征在患者皮下组织中的三维模型数据。将三维模型数据发送至混合现实头显装置中,混合现实头显装置基于三维模型数据进行混合现实投影,将生成的全息混合现实图像投影至经皮穿刺手术区域内。其中,混合现实头显装置用于对三维模型数据进行模拟补全,生成用于进行经皮穿刺手术引导的全息图像。
示例的,在一种实施方式中,上述步骤“通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据”,包括:
通过所述预设图像识别模型对所述DICOM图像数据中的病症特征会进行识别,生成多帧特征图像数据;
基于所述多帧特征图像数据对所述DICOM图像数据中的病症特征进行分割,并基于预设重组规则对分割后的所述DICOM图像数据进行重组,以生成目标病症特征;
采用预设三维模型对所述目标病症特征进行三维建模,以生成所述三维模型数据。
示例的,本实施例中预设图像识别模型为基于多种图像样本数据训练完成的人工智能模型,该预设图像识别模型可以基于DICOM图像数据识别到患者皮下组织中的病症特征,根据该病症特征生成多帧特征图像数据。基于多帧特征图像数据对DICOM图像数据中的病症特征进行分割,并基于预设重组规则对分割后的所述DICOM图像数据进行重组,以生成目标病症特征,采用预设三维模型对所述目标病症特征进行三维建模,以生成所述三维模型数据。
步骤S14,基于混合现实头显内的第二预设坐标系,对多个配准标识在第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据第一坐标信息和第二坐标信息,对全息混合现实图像进行校准。
可以理解的是,本实施例中对手术精度的要求较高,而初始状态下配准标识的位置信息是通过CT装置识别到的,而全息混合现实图像是通过预设图像识别模型生成的,两者之间存在位置偏差,因此,需要基于多个配准标识对全息混合现实图像在经皮穿刺手术区域中的位置进行校准。
示例的,本实施例中通过多个配准标识在第一预设坐标系中的第一坐标信息,以及多个配准标识在第二预设坐标系中的第二坐标信息,确定两个坐标系中同一事物之间的位置坐标关系,基于该位置坐标关系对生成的全息混合现实图像进行位置校准,从而使校准后的全息混合现实图像更能够满足实际手术需求。
可选地,在一些实施方式中,上述步骤S14,包括:
根据第一坐标信息和第二坐标信息,确定第一预设坐标系与第二预设坐标系之间进行刚性变换的配准矩阵;
通过配准矩阵对全息混合现实图像进行校准。
示例的,本实施例中通过第一坐标信息和第二坐标信息,确定第一预设坐标系与第二预设坐标系之间进行刚性变换的配准矩阵,该配准矩阵为坐标转换矩阵,通过配准矩阵可以确定两个预设坐标系下各个坐标点位之间的转换关系,通过该配准矩阵对全息混合现实图像进行校准,从而调整全息混合现实图像在经皮穿刺区域中的位置。
可选地,在一种实施方式中,上述步骤“根据第一坐标信息和第二坐标信息,确定第一预设坐标系与第二预设坐标系之间进行刚性变换的配准矩阵”,包括:
根据如下公式确定所述配准矩阵:
其中,为所述第二坐标信息,/>为所述配准矩阵,/>为第一坐标信息,n为所述多个配准标识中任一配准标识的编号。
示例的,通过识别可确定多个配准标识在图像坐标系下的位置(记为n表示配准标识的序号),以及多个配准标识在混合现实头显装置中的位置(记为/>n表示配准标识的序号)。基于两个预设坐标系下/>和/>之间的转换关系,计算上述计算公式中的/>生成/>配准矩阵。
可选地,在一些实施方式中,上述步骤“根据第一坐标信息和第二坐标信息,确定第一预设坐标系与第二预设坐标系之间进行刚性变换的配准矩阵”,包括:
对所述第一坐标信息和所述第二坐标信息进行齐次化,生成多个参数计算方程;
通过最小二乘法对所述多个参数计算方程进行计算,以生成所述配准矩阵的多个矩阵参数;
根据所述多个矩阵参数,确定所述配准矩阵。
示例的,本实施例中设置两个坐标系中坐标位置之间的转换关系为刚性变换,因此,矩阵最后一行为{0,0,0,1},共计12个未知参数,通过将两个坐标系中对应点的位置进行齐次化,从而构建多个参数计算方程,示例的,当配置标识的数量为4时,通过该方式可以构建总计16个参数计算方程,并且由于点配准标识对应的坐标位置不在一个平面,所以其增广矩阵的秩大于12,该16个参数计算方程组有解。采用最小二乘法求解该方程组,即可得到其12个最优解,也就是配准矩阵的所有未知数,根据求解确定的所有未知数构建该配准矩阵。
步骤S15,基于校准后的混合现实图像和穿刺针在混合现实头显中的设定位置,确定经皮穿刺手术的穿刺路径,根据穿刺路径对经皮穿刺手术进行导航。
示例的,本实施例中在混合现实头显中虚拟设置有穿刺针的位置,该穿刺针的位置与物理环境中穿刺针的设置位置一致,根据该设定位置和混合现实图像,确定经皮穿刺手术过程中穿刺针的穿刺路径,再基于该穿刺路径对穿刺针在经皮穿刺手术中的移动轨迹进行引导,从而完成经皮穿刺手术。
可选地,在一些实施方式中,上述步骤S15,包括:
根据所述全息混合现实图像和所述设定位置,确定所述穿刺路径中的多个靶点,以及各靶点对应靶线与所述穿刺针之间的角度信息;
根据所述多个靶点和所述角度信息,生成所述穿刺路径。
示例的,本实施例中通过设定位置和全息混合现实图像确定穿刺路径中的多个靶点,各个靶点之间的连线为靶线,通过靶线确定穿刺针之间的角度信息,示例的,本实施例中可以采用不同的颜色标识不同的手术路径,根据多个靶点以及相邻靶点之间对应靶线的角度信息,生成穿刺路径。
通过上述方式,响应于在预设检测区域内识别到多个配准标识,在确定多个配准标识在预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据,其中,多个配准标识粘贴至患者的待手术区域内,多个配准标识在患者身上所围成的范围为经皮穿刺手术区域,基于预设检测区域内的第一预设坐标系,确定多个配准标识在第一预设坐标系中的第一坐标信息,通过预设图像识别模型对DICOM图像数据中的病症特征进行识别,生成经皮穿刺手术区域内病症特征的三维模型数据,并基于混合现实头显将三维模型数据投射至经皮穿刺手术区域内,生成全息混合现实图像,基于混合现实头显内的第二预设坐标系,对多个配准标识在第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据第一坐标信息和第二坐标信息,对全息混合现实图像进行校准,基于校准后的混合现实图像和穿刺针在混合现实头显中的设定位置,确定经皮穿刺手术的穿刺路径,根据穿刺路径对经皮穿刺手术进行导航。从而能够实现在经皮穿刺手术过程中,对穿刺路径进行实时引导,提高穿刺效率和穿刺精度,同时能够降低手术过程中患者辐射量,避免对患者造成二次创伤。
图2是根据一示例性实施例示出的一种三维模型数据的生成方法的流程图,如图2所示,该方法包括以下步骤。
步骤S131,通过所述预设图像识别模型对所述DICOM图像数据进行中值滤波,生成第一处理数据。
步骤S132,对所述第一处理数据中的病症特征边缘进行边缘检测,生成第二处理数据。
步骤S133,对所述第二处理数据进行霍夫变换,确定所述病症特征在所述DICOM图像数据中的多个球中心点,基于所述多个球中心点生成所述三维模型数据。
示例的,本实施例中通过所述预设图像识别模型对所述DICOM图像数据进行中值滤波,生成第一处理数据,对所述第一处理数据中的病症特征边缘进行边缘检测,生成第二处理数据,对所述第二处理数据进行霍夫变换,确定所述病症特征在所述DICOM图像数据中的多个球中心点,基于所述多个球中心点生成所述三维模型数据。
图3是根据一示例性实施例示出的一种用于经皮穿刺手术的手术导航方法的流程图,如图3所示,该方法包括:
1、固定配准工装到患者:将配准工装(灭菌后)粘贴处的塑封薄膜揭开,粘贴至患者手术部位。注意清理患者皮肤油脂、毛发等,并使用医用胶带粘贴牢靠确认不会发生移动,配准工装数量大于等于四个;
2、行CI扫描:然后将患者移至CT扫描处进行扫描,扫描过程中保证患者不发生移动,并能够生成标准DICOM文件序列;
3、工作站导入图像并且进行显示以及三维建模:将DICOM格式图像数据发送至图像工作站。图像工作站进行图像识别以及图像分割、重建并且将重建后的数据模型传输至混合现实头显中进行显示。
4、发送模型和配准位置信息:工作站计算出配准工装在图像坐标系中的位置信息同时混合显示头显能够识别出配准工装在头显中的位置信息并且发送给工作站;
5、混合现实头显识别配准工装:工作站计算出两个坐标系的转换关系并且发送给混合显示头显,混合显示头显完成模型的显示。
6、全息模型叠加到实际的人体上:将手术器械(例如穿刺针)安装到手术器械追踪器上,混合显示头显识别追踪器的位置信息,从而计算出手术器械位置并将其显示在头显中。
7、穿刺位置识别以及虚拟穿刺绘制并进行手术引导:通过工作站可以规划手术器械的穿刺路径并且用不同的颜色标识不同的手术入路。并且可以计算出针尖距离靶点的距离以及靶线和手术器械中心线的角度信息。
通过上述方式,采用全息影像的方式进行手术器械追踪以及显示,能够减小患者辐射、提高医生穿刺效率、提高手术安全性的优点。全息导航系统能够将患者的全息影像和患者本身叠加在一起从而实现透视眼的效果,医生能够穿戴混合显示头显能够看到患者体内的器官以及占位情况,并且能够将手术器械实时的显示出来,能够大大的降低医生手术难度并且能够提高手术的安全性。
图4是根据一示例性实施例示出的一种用于经皮穿刺手术的手术导航装置的框图,如图4所示,该装置100包括:第一生成模块110、确定模块120、第二生成模块130、校准模块140和执行模块150。
第一生成模块110,用于响应于在预设检测区域内识别到多个配准标识,在确定所述多个配准标识在所述预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据,其中,所述多个配准标识粘贴至患者的待手术区域内,所述多个配准标识在所述患者身上所围成的范围为所述经皮穿刺手术区域;
确定模块120,用于基于所述预设检测区域内的第一预设坐标系,确定所述多个配准标识在所述第一预设坐标系中的第一坐标信息;
第二生成模块130,用于通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,并基于混合现实头显将所述三维模型数据投射至所述经皮穿刺手术区域内,生成全息混合现实图像;
校准模块140,用于基于所述混合现实头显内的第二预设坐标系,对所述多个配准标识在所述第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据所述第一坐标信息和所述第二坐标信息,对所述全息混合现实图像进行校准;
执行模块150,用于基于校准后的所述全息混合现实图像和穿刺针在所述混合现实头显中的设定位置,确定所述经皮穿刺手术的穿刺路径,根据所述穿刺路径对所述经皮穿刺手术进行导航。
可选地,校准模块140,包括:
确定子模块,用于根据所述第一坐标信息和所述第二坐标信息,确定所述第一预设坐标系与所述第二预设坐标系之间进行刚性变换的配准矩阵;
校准子模块,用于通过所述配准矩阵对所述全息混合现实图像进行校准。
可选地,确定子模块,用于:
根据如下公式确定所述配准矩阵:
其中,为所述第二坐标信息,/>为所述配准矩阵,/>为第一坐标信息,n为所述多个配准标识中任一配准标识的编号。
可选地,确定子模块,用于:
对所述第一坐标信息和所述第二坐标信息进行齐次化,生成多个参数计算方程;
通过最小二乘法对所述多个参数计算方程进行计算,以生成所述配准矩阵的多个矩阵参数;
根据所述多个矩阵参数,确定所述配准矩阵。
可选地,第二生成模块130,用于:
通过所述预设图像识别模型对所述DICOM图像数据中的病症特征会进行识别,生成多帧特征图像数据;
基于所述多帧特征图像数据对所述DICOM图像数据中的病症特征进行分割,并基于预设重组规则对分割后的所述DICOM图像数据进行重组,以生成目标病症特征;
采用预设三维模型对所述目标病症特征进行三维建模,以生成所述三维模型数据。
可选地,执行模块150,用于:
根据所述全息混合现实图像和所述设定位置,确定所述穿刺路径中的多个靶点,以及各靶点对应靶线与所述穿刺针之间的角度信息;
根据所述多个靶点和所述角度信息,生成所述穿刺路径。
可选地,第二生成模块130,用于:
通过所述预设图像识别模型对所述DICOM图像数据进行中值滤波,生成第一处理数据;
对所述第一处理数据中的病症特征边缘进行边缘检测,生成第二处理数据;
对所述第二处理数据进行霍夫变换,确定所述病症特征在所述DICOM图像数据中的多个球中心点,基于所述多个球中心点生成所述三维模型数据。
通过上述方式,响应于在预设检测区域内识别到多个配准标识,在确定多个配准标识在预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据,其中,多个配准标识粘贴至患者的待手术区域内,多个配准标识在患者身上所围成的范围为经皮穿刺手术区域,基于预设检测区域内的第一预设坐标系,确定多个配准标识在第一预设坐标系中的第一坐标信息,通过预设图像识别模型对DICOM图像数据中的病症特征进行识别,生成经皮穿刺手术区域内病症特征的三维模型数据,并基于混合现实头显将三维模型数据投射至经皮穿刺手术区域内,生成全息混合现实图像,基于混合现实头显内的第二预设坐标系,对多个配准标识在第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据第一坐标信息和第二坐标信息,对全息混合现实图像进行校准,基于校准后的混合现实图像和穿刺针在混合现实头显中的设定位置,确定经皮穿刺手术的穿刺路径,根据穿刺路径对经皮穿刺手术进行导航。从而能够实现在经皮穿刺手术过程中,对穿刺路径进行实时引导,提高穿刺效率和穿刺精度,同时能够降低手术过程中患者辐射量,避免对患者造成二次创伤。
基于同一方面构思本公开实施例还提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现上述实施例中任意一项所述用于经皮穿刺手术的手术导航方法的步骤。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的用于经皮穿刺手术的手术导航方法的代码部分。
以上述依据本申请的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项申请技术思想的范围内,进行多样的变更以及修改。本项申请的技术性范围并不局限于说明书上的内容。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (2)

1.一种用于经皮穿刺手术的手术导航装置,其特征在于,包括:
第一生成模块,用于响应于在预设检测区域内识别到多个配准标识,在确定所述多个配准标识在所述预设检测区域内相对静止,并且静止时间大于设定时间阈值的情况下,通过计算机体层摄影CT装置对经皮穿刺手术区域进行CT扫描,以生成医学数据成像和通信DICOM图像数据,其中,所述多个配准标识粘贴至患者的待手术区域内,所述多个配准标识在所述患者身上所围成的范围为所述经皮穿刺手术区域;
确定模块,用于基于所述预设检测区域内的第一预设坐标系,确定所述多个配准标识在所述第一预设坐标系中的第一坐标信息;
第二生成模块,用于通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,并基于混合现实头显将所述三维模型数据投射至所述经皮穿刺手术区域内,生成全息混合现实图像;
所述通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,包括:通过所述预设图像识别模型对所述DICOM图像数据进行中值滤波,生成第一处理数据;对所述第一处理数据中的病症特征边缘进行边缘检测,生成第二处理数据;对所述第二处理数据进行霍夫变换,确定所述病症特征在所述DICOM图像数据中的多个球中心点,基于所述多个球中心点生成所述三维模型数据;
校准模块,用于基于所述混合现实头显内的第二预设坐标系,对所述多个配准标识在所述第二预设坐标系中位置进行识别,以生成第二坐标信息,并根据所述第一坐标信息和所述第二坐标信息,对所述全息混合现实图像进行校准;
所述根据所述第一坐标信息和所述第二坐标信息,对所述全息混合现实图像进行校准,包括:根据所述第一坐标信息和所述第二坐标信息,确定所述第一预设坐标系与所述第二预设坐标系之间进行刚性变换的配准矩阵;通过所述配准矩阵对所述全息混合现实图像进行校准;
其中,所述根据所述第一坐标信息和所述第二坐标信息,确定所述第一预设坐标系与所述第二预设坐标系之间进行刚性变换的配准矩阵,包括:
根据如下公式确定所述配准矩阵:
其中,为所述第二坐标信息,/>为所述配准矩阵,/>为第一坐标信息,n为所述多个配准标识中任一配准标识的编号;
或者,所述根据所述第一坐标信息和所述第二坐标信息,确定所述第一预设坐标系与所述第二预设坐标系之间进行刚性变换的配准矩阵,包括:
对所述第一坐标信息和所述第二坐标信息进行齐次化,生成多个参数计算方程;通过最小二乘法对所述多个参数计算方程进行计算,以生成所述配准矩阵的多个矩阵参数;根据所述多个矩阵参数,确定所述配准矩阵;
执行模块,用于基于校准后的所述全息混合现实图像和穿刺针在所述混合现实头显中的设定位置,确定所述经皮穿刺手术的穿刺路径,根据所述穿刺路径对所述经皮穿刺手术进行导航;其中,所述基于校准后的所述全息混合现实图像和穿刺针在所述混合现实头显中的设定位置,确定所述经皮穿刺手术的穿刺路径,具体包括:根据所述全息混合现实图像和所述设定位置,确定所述穿刺路径中的多个靶点,以及各靶点对应靶线与所述穿刺针之间的角度信息;根据所述多个靶点和所述角度信息,生成所述穿刺路径。
2.根据权利要求1所述的用于经皮穿刺手术的手术导航装置,其特征在于,所述通过预设图像识别模型对所述DICOM图像数据中的病症特征进行识别,生成所述经皮穿刺手术区域内所述病症特征的三维模型数据,包括:
通过所述预设图像识别模型对所述DICOM图像数据中的病症特征会进行识别,生成多帧特征图像数据;
基于所述多帧特征图像数据对所述DICOM图像数据中的病症特征进行分割,并基于预设重组规则对分割后的所述DICOM图像数据进行重组,以生成目标病症特征;
采用预设三维模型对所述目标病症特征进行三维建模,以生成所述三维模型数据。
CN202311285572.4A 2023-09-28 2023-09-28 用于经皮穿刺手术的手术导航方法、装置、设备及介质 Active CN117598782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311285572.4A CN117598782B (zh) 2023-09-28 2023-09-28 用于经皮穿刺手术的手术导航方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311285572.4A CN117598782B (zh) 2023-09-28 2023-09-28 用于经皮穿刺手术的手术导航方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN117598782A CN117598782A (zh) 2024-02-27
CN117598782B true CN117598782B (zh) 2024-06-04

Family

ID=89946775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311285572.4A Active CN117598782B (zh) 2023-09-28 2023-09-28 用于经皮穿刺手术的手术导航方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117598782B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201004607A (en) * 2008-07-25 2010-02-01 Been-Der Yang Image guided navigation system and method thereof
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN108294814A (zh) * 2018-04-13 2018-07-20 首都医科大学宣武医院 一种基于混合现实的颅内穿刺定位方法
CN108648234A (zh) * 2018-04-19 2018-10-12 北京控制工程研究所 一种用于目标抓捕的机械臂相对导航方法
TWI641358B (zh) * 2017-12-26 2018-11-21 國立成功大學 脊椎經皮穿刺導引系統與穿刺方位規劃方法
CN110464462A (zh) * 2019-08-29 2019-11-19 中国科学技术大学 腹部外科介入手术的图像导航配准系统及相关装置
CN111951277A (zh) * 2020-07-28 2020-11-17 杭州电子科技大学 一种基于cta图像的冠状动脉分割方法
KR102235681B1 (ko) * 2019-12-03 2021-04-05 주식회사 딥노이드 수술 위치 항법 장치 및 그 방법
CN112734914A (zh) * 2021-01-14 2021-04-30 温州大学 一种增强现实视觉的图像立体重建方法及装置
CN113334380A (zh) * 2021-05-31 2021-09-03 衢州学院 基于双目视觉的机器人视觉标定方法、控制系统及装置
CN113782159A (zh) * 2021-11-12 2021-12-10 极限人工智能有限公司 医学图像标记点匹配方法、装置、电子设备及存储介质
CN113940755A (zh) * 2021-09-30 2022-01-18 南开大学 一种术像一体的外科手术规划与导航方法
CN115054369A (zh) * 2022-06-23 2022-09-16 武汉联影智融医疗科技有限公司 激光指示装置与手术执行臂的配准方法和装置
CN115105207A (zh) * 2022-06-28 2022-09-27 北京触幻科技有限公司 基于混合现实的手术全息导航方法及系统
CN115205355A (zh) * 2022-07-04 2022-10-18 海南会博科技有限公司 图像配准系统、方法及电子设备
CN116492052A (zh) * 2023-04-24 2023-07-28 中科智博(珠海)科技有限公司 一种基于混合现实脊柱三维可视化手术导航系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120071753A1 (en) * 2010-08-20 2012-03-22 Mark Hunter Apparatus and method for four dimensional soft tissue navigation including endoscopic mapping
US20190205693A1 (en) * 2017-12-28 2019-07-04 MorphoTrak, LLC Scale-Invariant Feature Point Extraction in Edge Map
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201004607A (en) * 2008-07-25 2010-02-01 Been-Der Yang Image guided navigation system and method thereof
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
TWI641358B (zh) * 2017-12-26 2018-11-21 國立成功大學 脊椎經皮穿刺導引系統與穿刺方位規劃方法
CN108294814A (zh) * 2018-04-13 2018-07-20 首都医科大学宣武医院 一种基于混合现实的颅内穿刺定位方法
CN108648234A (zh) * 2018-04-19 2018-10-12 北京控制工程研究所 一种用于目标抓捕的机械臂相对导航方法
CN110464462A (zh) * 2019-08-29 2019-11-19 中国科学技术大学 腹部外科介入手术的图像导航配准系统及相关装置
KR102235681B1 (ko) * 2019-12-03 2021-04-05 주식회사 딥노이드 수술 위치 항법 장치 및 그 방법
CN111951277A (zh) * 2020-07-28 2020-11-17 杭州电子科技大学 一种基于cta图像的冠状动脉分割方法
CN112734914A (zh) * 2021-01-14 2021-04-30 温州大学 一种增强现实视觉的图像立体重建方法及装置
CN113334380A (zh) * 2021-05-31 2021-09-03 衢州学院 基于双目视觉的机器人视觉标定方法、控制系统及装置
CN113940755A (zh) * 2021-09-30 2022-01-18 南开大学 一种术像一体的外科手术规划与导航方法
CN113782159A (zh) * 2021-11-12 2021-12-10 极限人工智能有限公司 医学图像标记点匹配方法、装置、电子设备及存储介质
CN115054369A (zh) * 2022-06-23 2022-09-16 武汉联影智融医疗科技有限公司 激光指示装置与手术执行臂的配准方法和装置
CN115105207A (zh) * 2022-06-28 2022-09-27 北京触幻科技有限公司 基于混合现实的手术全息导航方法及系统
CN115205355A (zh) * 2022-07-04 2022-10-18 海南会博科技有限公司 图像配准系统、方法及电子设备
CN116492052A (zh) * 2023-04-24 2023-07-28 中科智博(珠海)科技有限公司 一种基于混合现实脊柱三维可视化手术导航系统

Also Published As

Publication number Publication date
CN117598782A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
US11452570B2 (en) Apparatus and methods for use with skeletal procedures
Ma et al. Augmented reality surgical navigation with ultrasound-assisted registration for pedicle screw placement: a pilot study
TWI615126B (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
US9782147B2 (en) Apparatus and methods for localization and relative positioning of a surgical instrument
JP2022507622A (ja) 拡張現実ディスプレイでの光学コードの使用
US20170065248A1 (en) Device and Method for Image-Guided Surgery
US11523869B2 (en) Method and system of providing visual information about a location and shape of a tumour under a body surface of a human or animal body
EP2769689A1 (en) Computer-implemented technique for calculating a position of a surgical device
KR102105974B1 (ko) 의료 영상 시스템
DE102007057094A1 (de) Systeme und Verfahren zur visuellen Verifizierung einer CT Registrierung und Rückkopplung
CN110215285A (zh) 手术导航的纠偏方法及系统
CN111870344B (zh) 术前导航方法、系统及终端设备
Mohareri et al. Automatic localization of the da Vinci surgical instrument tips in 3-D transrectal ultrasound
Cash et al. Incorporation of a laser range scanner into an image-guided surgical system
Adebar et al. Registration of 3D ultrasound through an air–tissue boundary
Esposito et al. Multimodal US–gamma imaging using collaborative robotics for cancer staging biopsies
US11007015B2 (en) Apparatus and method for tracking a volume in a three-dimensional space
Zhou et al. Validation of a surgical navigation system for hypertensive intracerebral hemorrhage based on mixed reality using an automatic registration method
CN117598782B (zh) 用于经皮穿刺手术的手术导航方法、装置、设备及介质
US20220354579A1 (en) Systems and methods for planning and simulation of minimally invasive therapy
WO2022229916A1 (en) Method and device for generating an uncertainty map for guided percutaneous procedures
Wang et al. Towards video guidance for ultrasound, using a prior high-resolution 3D surface map of the external anatomy
Chen et al. Accuracy and efficiency of an infrared based positioning and tracking system for image-guided intervention
CN111658141B (zh) 一种胃切除术端口位置导航系统、装置及存储介质
CN115775611B (zh) 一种穿刺手术规划系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Country or region after: China

Address after: 215531, 3rd Floor, Building 9, No. 26 Jinxing Road, Jinfeng Town, Zhangjiagang City, Suzhou City, Jiangsu Province

Applicant after: Suzhou Shengxing Medical Equipment Co.,Ltd.

Address before: Room B2-1201, No. 198 Qidi Road, Beigan Street, Xiaoshan District, Hangzhou City, Zhejiang Province, 311200

Applicant before: Hangzhou Shengxing Medical Technology Co.,Ltd.

Country or region before: China

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant