CN109674533B - 基于便携式彩超设备的手术导航系统及方法 - Google Patents

基于便携式彩超设备的手术导航系统及方法 Download PDF

Info

Publication number
CN109674533B
CN109674533B CN201710971196.2A CN201710971196A CN109674533B CN 109674533 B CN109674533 B CN 109674533B CN 201710971196 A CN201710971196 A CN 201710971196A CN 109674533 B CN109674533 B CN 109674533B
Authority
CN
China
Prior art keywords
head
image
portable color
virtual display
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710971196.2A
Other languages
English (en)
Other versions
CN109674533A (zh
Inventor
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710971196.2A priority Critical patent/CN109674533B/zh
Publication of CN109674533A publication Critical patent/CN109674533A/zh
Application granted granted Critical
Publication of CN109674533B publication Critical patent/CN109674533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points

Abstract

本发明公开了基于便携式彩超设备的手术导航系统及方法，手术导航系统包括便携式彩超设备、处理器、头戴式虚拟显示设备和光学动态追踪设备；便携式彩超设备在手术中对患者进行扫描以获取扫描图像数据；处理器根据扫描图像数据生成患者的三维模拟图像；光学动态追踪设备在手术中获取便携式彩超设备的位置信息，还获取头戴式虚拟显示设备的实时动态数据；处理器根据位置信息和实时动态数据完成三维模拟图像的静态注册和动态配准，并生成三维导航图像发送至头戴式虚拟显示设备进行显示。本发明解决了肝胆等器官由于容易变形且无骨性定位点而导致术中无法实时精准的获取患者的身体数据的问题。

Description

基于便携式彩超设备的手术导航系统及方法
技术领域
本发明属于医疗器械领域，特别涉及一种基于便携式彩超设备的手术导航系统及方法。
背景技术
原发性肝癌包括肝细胞癌和胆管细胞癌，是我国常见的恶性肿瘤之一，病死率极高。近年来，随着对肿瘤生物学探索不断深入、对肝脏解剖认知水平不断的加深及外科治疗技术的发展，原发性肝癌外科治疗模式也取得很大突破。传统手术由术者依据CT(计算机断层扫描)、MRI(核磁共振成像)等影像学二维数据进行术前手术规划，单纯的CT、MRI技术不能明确肿块大小与血管、肝内胆管的三维关系，随着3D(三维)打印技术在医疗领域的快速发展，3D打印技术已经广泛应用于肝脏肿瘤的切除中。三维建模在肝脏肿瘤切除中的应用可以在术前从多角度不同方位观察肝内脉管走向有无变异，及其与肝脏肿瘤的解剖关系，进行精确的术前规划，指导手术方案的制定从而提高手术切除率。
虽然三维建模能够术前模拟手术，提高肝脏肿瘤切除的准确性，但是无法术中实时判断肿瘤在肝脏中的位置以及肝脏中脉管走向，并且，由于肝无骨性定位点，且在切除手术中容易变形，所以术中更加无法精准的判断肿瘤在肝脏中的准确位置以及肝脏中脉管走向。
发明内容
本发明要解决的技术问题是为了克服现有技术中由于肝无骨性定位点且容易变形导致术中实时获取到的数据存在较大偏差的缺陷，提供一种基于便携式彩超设备的手术导航系统及方法。
本发明是通过下述技术方案解决上述技术问题：
一种基于便携式彩超设备的手术导航系统，所述手术导航系统包括便携式彩超设备、处理器、头戴式虚拟显示设备和光学动态追踪设备；
所述便携式彩超设备用于在手术中对患者进行扫描以获取扫描图像数据并发送至所述处理器；
所述处理器用于根据接收到的所述扫描图像数据生成所述患者的三维模拟图像；
所述光学动态追踪设备用于在手术中获取便携式彩超设备在光学动态追踪设备坐标系中的位置信息并发送至所述处理器，还用于获取所述头戴式虚拟显示设备在所述光学动态追踪设备坐标系中的实时动态数据并发送至所述处理器；
所述处理器还用于根据所述位置信息将所述三维模拟图像在所述光学动态追踪设备坐标系中进行静态注册，并根据所述实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准，并将动态配准后的三维模拟图像与实际环境中所述患者实时重合并生成三维导航图像并发送至所述头戴式虚拟显示设备；
所述头戴式虚拟显示设备用于接收并显示所述三维导航图像。
较佳地，所述光学动态追踪设备还包括若干个标记部件，所述标记部件设置在所述便携式彩超设备和所述头戴式虚拟显示设备上；
所述光学动态追踪设备用于在手术中识别所述标记部件以获取所述位置信息和所述实时动态数据。
较佳地，所述标记部件包括无源标记部件，所述无源标记部件用于接收外部红外光并反射所述红外光。
较佳地，所述标记部件包括有源标记部件，所述头戴式虚拟显示设备还包括一触发装置，用于发送触发信号至所述有源标记部件，所述有源标记部件用于根据所述触发信号发射红外光。
较佳地，所述光学动态追踪设备根据所述红外光生成所述位置信息和所述实时动态数据。
较佳地，所述头戴式虚拟显示设备包括AR(增强现实技术)眼镜。
较佳地，所述便携式彩超设备用于在手术中对患者的内脏器官进行扫描以获取所述扫描图像数据。
一种基于便携式彩超设备的手术导航方法，利用上述的手术导航系统实现，包括：
所述便携式彩超设备在手术中对患者进行扫描以获取扫描图像数据并发送至所述处理器；
所述处理器根据接收到的所述扫描图像数据生成所述患者的三维模拟图像；
所述光学动态追踪设备在手术中获取便携式彩超设备在光学动态追踪设备坐标系中的位置信息并发送至所述处理器，并获取所述头戴式虚拟显示设备在所述光学动态追踪设备坐标系中的实时动态数据并发送至所述处理器；
所述处理器根据所述位置信息将所述三维模拟图像在所述光学动态追踪设备坐标系中进行静态注册，并根据所述实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准，并将动态配准后的三维模拟图像与实际环境中所述患者实时重合并生成三维导航图像并发送至所述头戴式虚拟显示设备；
所述头戴式虚拟显示设备接收并显示所述三维导航图像。
较佳地，所述光学动态追踪设备还包括若干个标记部件，所述标记部件设置在所述便携式彩超设备和所述头戴式虚拟显示设备上；
所述光学动态追踪设备在手术中识别所述标记部件以获取所述位置信息和所述实时动态数据。
较佳地，所述标记部件包括无源标记部件，所述无源标记部件用于接收外部红外光并反射所述红外光。
较佳地，所述标记部件包括有源标记部件，所述头戴式虚拟显示设备还包括一触发装置，所述触发装置发送触发信号至所述有源标记部件，所述有源标记部件根据所述触发信号发射红外光。
较佳地，所述光学动态追踪设备根据所述红外光生成所述位置信息和所述实时动态数据。
较佳地，所述头戴式虚拟显示设备包括AR眼镜。
较佳地，所述便携式彩超设备在手术中对患者的内脏器官进行扫描以获取所述扫描图像数据。
一种基于便携式彩超设备的手术导航系统，所述手术导航系统包括便携式彩超设备、处理器和头戴式虚拟显示设备；
所述便携式彩超设备用于在手术中对患者进行扫描以获取扫描图像数据并发送至所述处理器；所述处理器用于接收所述扫描图像数据并生成所述患者的三维模拟图像；
所述头戴式虚拟显示设备包括相机模块，所述相机模块用于获取患者的拍摄数据并发送至所述处理器；
所述处理器还用于接收所述拍摄数据并根据灰度值将所述三维模型图像与所述拍摄数据进行配准，并将配准后的所述三维模型图像与头戴式虚拟显示设备中所述患者的图像实时重合并生成三维导航图像发送至所述头戴式虚拟显示设备；
所述头戴式虚拟显示设备用于接收并显示所述三维导航图像。
较佳地，所述头戴式虚拟显示设备包括AR眼镜。
较佳地，所述便携式彩超设备用于在手术中对患者的内脏器官进行扫描以获取所述扫描图像数据。
一种基于便携式彩超设备的手术导航方法，利用上述的手术导航系统实现，包括：
所述便携式彩超设备在手术中对患者进行扫描以获取扫描图像数据并发送至所述处理器；所述处理器用于接收所述扫描图像数据并生成所述患者的三维模拟图像；
所述头戴式虚拟显示设备包括相机模块，所述相机模块获取患者的拍摄数据并发送至所述处理器；
所述处理器接收所述拍摄数据并根据灰度值将所述三维模型图像与所述拍摄数据进行配准，并将配准后的所述三维模型图像与头戴式虚拟显示设备中所述患者的图像实时重合并生成三维导航图像发送至所述头戴式虚拟显示设备；
所述头戴式虚拟显示设备接收并显示所述三维导航图像。
较佳地，所述头戴式虚拟显示设备包括AR眼镜。
较佳地，所述便携式彩超设备用于在手术中对患者的内脏器官进行扫描以获取所述扫描图像数据。
本发明的积极进步效果在于：本发明的手术导航系统在手术过程中，通过便携式彩超设备实时获取患者三维模拟图像，并依靠光学动态追踪设备实时将患者的实时数据叠加到三维模拟图像中，再结合AR眼镜的实时动态数据，使得在AR眼镜中呈现的图像与现实环境中的患者精准叠加，解决了由于肝胆等器官由于容易变形且无骨性定位点而导致术中无法实时精准的获取患者的身体数据的问题。
附图说明
图1为本发明实施例1的基于便携式彩超设备的手术导航系统的结构框图。
图2为本发明实施例2的基于便携式彩超设备的手术导航系统的结构框图。
图3为本发明实施例3的基于便携式彩超设备的手术导航系统的结构框图。
图4为本发明实施例4的基于便携式彩超设备的手术导航系统的结构框图。
图5为本发明实施例5的基于便携式彩超设备的手术导航方法的流程图。
图6为本发明实施例5中步骤104的具体流程图。
图7为本发明实施例6的基于便携式彩超设备的手术导航方法的流程图。
图8为本发明实施例7的基于便携式彩超设备的手术导航方法的流程图。
图9为本发明实施例8的基于便携式彩超设备的手术导航方法的流程图。
图10为本发明实施例9的基于便携式彩超设备的手术导航系统的结构框图。
图11为本发明实施例10的基于便携式彩超设备的手术导航方法的流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
一种基于便携式彩超设备的手术导航系统，具体如图1所示，所述手术导航系统包括便携式彩超设备1、处理器2、头戴式虚拟显示设备3和光学动态追踪设备4；所述头戴式虚拟显示设备3包括AR眼镜；
所述便携式彩超设备1用于在手术中对患者进行扫描以获取扫描图像数据并发送至所述处理器2；其中，扫描对象包括患者的内脏器官；
所述处理器2用于根据接收到的所述扫描图像数据生成所述患者的三维模拟图像；
需要说明的是，生成的三维模拟图像与患者为一比一等比例模拟，并且，通过该三维模拟图像可以观察到患者的肌肉组织、脉管走向等。
所述光学动态追踪设备4用于在手术中获取便携式彩超设备1在光学动态追踪设备坐标系中的位置信息并发送至所述处理器2，所述光学动态追踪设备4还用于获取头戴式虚拟显示设备3在所述光学动态追踪设备坐标系中的实时动态数据并发送至所述处理器2；具体地说，可以在便携式彩超设备1和头戴式虚拟显示设备3上设置可被动态定位获取装置追踪的标记部件，光学动态追踪设备4通过追踪该标记部件进而获取便携式彩超设备1和头戴式虚拟显示设备3在光学动态追踪设备坐标系中的位置信息和实时动态数据。
上述提到的处理器2还用于根据所述位置信息将所述三维模拟图像在所述光学动态追踪设备坐标系中进行静态注册，需要解释的是，静态注册就是将处理器2中存储的三维模拟图像放入到光学动态追踪设备坐标系中，使得三维模拟图像的坐标与实际环境中患者的坐标是相同的；
需要说明的是，彩超设备包括主机和探头，标记部件设置在探头上，在实际操作中，医生手持探头对患者进行拍摄扫描，获得图像数据，该图像数据为断层图像，由于彩超设备利用的声波原理，而探头上装有标记部件，光学动态追踪设备能够实时获得探头的动态数据，可以理解成，光学动态追踪设备能够获得拍摄的每一帧断层图像的位置信息，通过计算机处理，将这些带有位置信息的断层图像进行三维重建，便可以获得在光学动态追踪设备坐标系中的三维模拟图像，且该三维模拟图像与实际环境中的拍摄对象的位置一样的。
考虑到在手术时，佩戴AR眼镜的医生不可避免的需要移动，为了方便医生手术观察，本实施例可以将AR眼镜中的虚拟成像与现实环境中的患者进行实时重合，具体如下：
处理器2根据所述实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准，并将动态配准后的三维模拟图像与实际环境中所述患者实时重合并生成三维导航图像并发送至所述头戴式虚拟显示设备3，头戴式虚拟显示设备3用于接收并显示三维导航图像。需要解释的是，动态配准就是根据获取的实时动态数据，使三维模拟图像和现实环境中患者同步运动。
本实施例中，由于便携式彩超设备是安装于手术室中，例如安装在手术床旁边的C型臂上，因此，对患者的扫描拍摄是在术中同期进行的，并且，由于便携式彩超设备可以随时对患者重新拍摄扫描，所以可以根据术中实际需要从而对图像数据进行更新。而在一些肝胆切除手术中，区别于刚性的骨头，肝胆这些脏器属于软性组织，切除肝胆组织的过程中，软性组织会发生变形，此时，原先的三维模拟图像与实际的肝胆等组织的重合度会大大降低，三维模拟图像中显示的脉管与实际组织中脉管的位置可能有较大出入，不再适合作为医生的参考图像，而通过便携式彩超设备可以对患者的相关脏器进行重新拍摄扫描，即时更新图像数据，实时调整AR眼镜中的三维模拟图像，确保三维模拟图像与实际环境中患者的脏器的重合度，保证手术的安全性。解决了由于肝胆等器官由于容易变形且无骨性定位点而导致术中无法实时精准的获取患者的身体数据的问题。另外，值得一提的是，便携式彩超设备利用的是声波原理，辐射伤害小，保护医生及患者的健康，尤其是对于医生来说，由于工作中需要开展大量手术，辐射的累积伤害是一个不容忽视的问题，而本实施例中的手术导航系统由于采用的是便携式彩超设备，在提供手术导航图像的同时，还避免辐射对医生带来的伤害，保护医生的健康。且便携式彩超设备成较低，利于系统的推广利用。
实施例2
本实施例的基于便携式彩超设备的手术导航系统是在实施例1的基础上进一步改进，具体如图2所示，所述光学动态追踪设备4还包括若干个标记部件5，所述标记部件5设置在所述便携式彩超设备1和所述头戴式虚拟显示设备3上；
所述光学动态追踪设备4用于在手术中识别所述标记部件5以获取所述位置信息和所述实时动态数据。
本实施例中，通过在便携式彩超设备和头戴式虚拟显示设备上设有标记部件，标记部件可以被光学动态追踪设备识别从而实现对便携式彩超设备和头戴式虚拟显示设备的定位。
实施例3
本实施例的基于便携式彩超设备的手术导航系统是在实施例2的基础上进一步改进，具体如图3所示，所述标记部件包括无源标记部件51，所述无源标记部件51用于接收外部红外光并反射所述红外光；
所述光学动态追踪设备4根据所述红外光生成所述位置信息和所述实时动态数据。
本实施例中的标记部件采用无源标记部件，无源标记部件可以被光学动态追踪设备追踪，无源标记部件可以反射外部设备发射的红外光并反射至光学动态追踪设备，光学动态追踪设备进行分析处理得到AR眼镜的位置信息和方位信息。
实施例4
本实施例的基于便携式彩超设备的手术导航系统是在实施例2的基础上进一步改进，具体如图4所示，所述标记部件包括有源标记部件52，所述头戴式虚拟显示设备3还包括一触发装置31，用于发送触发信号至所述有源标记部件52，所述有源标记部件52用于根据所述触发信号发射红外光；
所述光学动态追踪设备4根据所述红外光生成所述位置信息和所述实时动态数据。
本实施例中的标记部件为采用有源标记部件，有源标记部件可以被光学动态追踪设备追踪，标记部件可以发射红外光线，发射的红外光被光学动态追踪设备接收并进行计算处理得到AR眼镜的位置信息和方位信息的获取。
实施例5
如图5-6所示，一种基于便携式彩超设备的手术导航方法，手术导航方法利用实施例1中的手术导航系统实现，包括以下步骤：
步骤101、便携式彩超设备在手术中对患者进行扫描以获取扫描图像数据并发送至处理器；其中，扫描对象包括患者的内脏器官；
步骤102、处理器根据接收到的扫描图像数据生成患者的三维模拟图像；
步骤103、光学动态追踪设备在手术中获取便携式彩超设备在光学动态追踪设备坐标系中的位置信息和头戴式虚拟显示设备在光学动态追踪设备坐标系中的实时动态数据并发送至处理器；
步骤104、处理器根据接收到的三维模拟图像、位置信息和实时动态数据生成三维导航图像并发送至头戴式虚拟显示设备；
步骤105、头戴式虚拟显示设备接收并显示三维导航图像。
具体的，如图6所示，步骤104包括以下步骤：
步骤1041、处理器根据位置信息将三维模拟图像在光学动态追踪设备坐标系中进行静态注册；
步骤1042、根据实时动态数据将静态注册后的三维模拟图像与患者进行动态配准；
步骤1043、将动态配准后的三维模拟图像与实际环境中患者实时重合并生成三维导航图像；
步骤1044、将三维导航图发送至头戴式虚拟显示设备；
本实施例中，在手术过程中通过便携式彩超设备实时获取患者三维模拟图像，并依靠光学动态追踪设备实时将患者的实时数据叠加到三维模拟图像中，再结合AR眼镜的实时动态数据，使得在AR眼镜中呈现的图像与现实环境中的患者精准叠加，解决了由于肝胆等器官由于容易变形且无骨性定位点而导致术中无法实时精准的获取患者的身体数据的问题。
实施例6
本实施例的基于便携式彩超设备的手术导航方法是在实施例5的基础上进一步改进，光学动态追踪设备还包括若干个标记部件，标记部件设置在便携式彩超设备和头戴式虚拟显示设备上；
具体如图7所示，提供步骤103的一种实现方式：
步骤103a、光学动态追踪设备在手术中识别标记部件以获取便携式彩超设备在光学动态追踪设备坐标系中的位置信息和头戴式虚拟显示设备在光学动态追踪设备坐标系中的实时动态数据并发送至处理器。
本实施例中，通过在便携式彩超设备和头戴式虚拟显示设备上设有标记部件，标记部件可以被光学动态追踪设备识别从而实现对便携式彩超设备和头戴式虚拟显示设备的定位。
实施例7
本实施例的基于便携式彩超设备的手术导航方法是在实施例6的基础上进一步改进，标记部件包括无源标记部件；
具体如图8所示，提供步骤103的另一种实现方式：
步骤1032a、无源标记部件接收外部红外光并反射红外光；
步骤1032b、光学动态追踪设备在手术中根据红外光获取便携式彩超设备在光学动态追踪设备坐标系中的位置信息和头戴式虚拟显示设备在光学动态追踪设备坐标系中的实时动态数据并发送至处理器。
本实施例中的标记部件采用无源标记部件，无源标记部件可以被光学动态追踪设备追踪，无源标记部件可以反射外部设备发射的红外光并反射至光学动态追踪设备，光学动态追踪设备进行分析处理得到AR眼镜的位置信息和方位信息。
实施例8
本实施例的基于便携式彩超设备的手术导航方法是在实施例6的基础上进一步改进，标记部件包括有源标记部件，头戴式虚拟显示设备还包括一触发装置；
具体如图9所示，提供步骤103的另一种实现方式：
步骤1033a、触发装置发送触发信号至有源标记部件；
步骤1033b、有源标记部件根据触发信号发射红外光；
步骤1033c、光学动态追踪设备在手术中根据红外光获取便携式彩超设备在光学动态追踪设备坐标系中的位置信息和头戴式虚拟显示设备在光学动态追踪设备坐标系中的实时动态数据并发送至处理器。
本实施例中的标记部件为采用有源标记部件，有源标记部件可以被光学动态追踪设备追踪，标记部件可以发射红外光线，发射的红外光被光学动态追踪设备接收并进行计算处理得到AR眼镜的位置信息和方位信息的获取。
实施例9
一种基于便携式彩超设备的手术导航系统，具体如图10所示，所述手术导航系统包括便携式彩超设备1、处理器2和头戴式虚拟显示设备3；所述头戴式虚拟显示设备3包括AR眼镜；
所述便携式彩超设备1用于在手术中对患者进行扫描以获取扫描图像数据，该图像数据包括多帧断层图像，便携式彩超设备1将图像数据发送至所述处理器2，本实施例以扫描对象是内脏器官进行说明，例如肝脏。
所述处理器2用于接收所述扫描图像数据并生成所述患者的三维模拟图像，需要说明的是，该三维模拟图像是与实际扫描对象一比一等比例的模拟图像。
所述头戴式虚拟显示设备3包括相机模块32，所述相机模块32用于获取患者的拍摄数据并发送至所述处理器2。所述处理器2还用于接收所述拍摄数据并根据灰度值将所述三维模型图像与所述拍摄数据进行配准，并将配准后的所述三维模型图像与头戴式虚拟显示设备3中所述患者的图像实时重合并生成三维导航图像发送至所述头戴式虚拟显示设备3。所述头戴式虚拟显示设备3用于接收并显示所述三维导航图像。
需要说明的是，在实际使用中，医生戴上头戴式虚拟显示设备3进行手术，而患者的肝脏从手术创口中暴露出来，患者创口以外的其他的部分用白布遮盖起来，头戴式虚拟显示设备3的相机模块32对手术场景进行拍摄，手术场景中的肝脏的颜色明显区别于周围环境，因此处理器2可以利用灰度值对拍摄数据进行处理，从而将肝脏识别出来并与三维模拟图像进行比对，并且，头戴式虚拟显示设备3是能够获取拍摄对象的位置信息，因此，处理器2可以将三维模拟图像与实际环境中拍摄的肝脏进行配准，然后将配准后的三维模拟图像发送到头戴式虚拟显示设备3中，使得头戴式虚拟显示设备3中呈现的虚拟的三维模拟图像与实际环境中的肝脏重合，为医生的手术作业提供虚实结合的术中导航图像，提高手术安全性，降低手术操作难度。并且，由于便携式彩超设备可以随时对患者重新拍摄扫描，所以可以根据术中实际需要从而对图像数据进行更新。而在一些肝胆切除手术中，区别于刚性的骨头，肝胆这些脏器属于软性组织，切除肝胆组织的过程中，软性组织会发生变形，此时，原先的三维模拟图像与实际的肝胆等组织的重合度会大大降低，三维模拟图像中显示的脉管与实际组织中脉管的位置可能有较大出入，不再适合作为医生的参考图像，而通过便携式彩超设备可以对患者的相关脏器进行重新拍摄扫描，即时更新图像数据，实时调整头戴式虚拟显示设备3中的三维模拟图像，确保三维模拟图像与实际环境中患者的脏器的重合度，进一步保证手术的安全性。另外，值得一提的是，便携式彩超设备利用的是声波原理，辐射伤害小，保护医生及患者的健康，尤其是对于医生来说，由于工作中需要开展大量手术，辐射的累积伤害是一个不容忽视的问题，而本实施例中的手术导航系统由于采用的是便携式彩超设备，在提供手术导航图像的同时，还避免辐射对医生带来的伤害，保护医生的健康。且便携式彩超设备成较低，利于系统的推广利用。
本实施例中，手术导航系统在手术过程中，通过便携式彩超设备实时获取患者三维模拟图像，相机模块实时获取患者的拍摄数据，处理器通过灰度值识别图像中肝胆等易变形的内脏器官，然后将拍摄数据和三维模拟图像进行对比配准，精度更高。
实施例10
一种基于便携式彩超设备的手术导航方法，本实施例的手术导航方法利用实施例9的手术导航系统实现，包括：
步骤201、便携式彩超设备在手术中对患者进行扫描以获取扫描图像数据并发送至处理器；其中，扫描对象包括患者的内脏器官；
步骤202、处理器用于接收扫描图像数据并生成患者的三维模拟图像；
步骤203、相机模块获取患者的拍摄数据并发送至处理器；
步骤204、处理器接收拍摄数据并根据灰度值将三维模型图像与拍摄数据进行配准；
步骤205、将配准后的三维模型图像与头戴式虚拟显示设备中患者的图像实时重合并生成三维导航图像；
步骤206、将三维导航图发送至头戴式虚拟显示设备；
步骤207、头戴式虚拟显示设备接收并显示三维导航图像。
本实施例中，在手术过程中通过便携式彩超设备实时获取患者三维模拟图像，相机模块实时获取患者的拍摄数据，处理器通过灰度值识别图像中肝胆等易变形的内脏器官，然后将拍摄数据和三维模拟图像进行对比配准，精度更高。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (7)

1.一种基于便携式彩超设备的手术导航系统，其特征在于，所述手术导航系统包括便携式彩超设备、处理器、头戴式虚拟显示设备和光学动态追踪设备；
所述便携式彩超设备用于在手术中对患者进行扫描以获取实时更新的扫描图像数据；
所述处理器用于根据接收到的所述扫描图像数据生成所述患者的三维模拟图像；
所述光学动态追踪设备用于在手术中获取便携式彩超设备在光学动态追踪设备坐标系中的位置信息并发送至所述处理器，还用于获取所述头戴式虚拟显示设备在所述光学动态追踪设备坐标系中的实时动态数据并发送至所述处理器；
所述处理器还用于根据所述位置信息将所述三维模拟图像在所述光学动态追踪设备坐标系中进行静态注册，并根据所述实时动态数据将静态注册后的三维模拟图像与所述患者进行动态配准，并将动态配准后的三维模拟图像与实际环境中所述患者实时重合并生成三维导航图像并发送至所述头戴式虚拟显示设备；
所述头戴式虚拟显示设备用于接收并显示所述三维导航图像。
2.如权利要求1所述的手术导航系统，其特征在于，所述光学动态追踪设备还包括若干个标记部件，所述标记部件设置在所述便携式彩超设备和所述头戴式虚拟显示设备上；
所述光学动态追踪设备用于在手术中识别所述标记部件以获取所述位置信息和所述实时动态数据。
3.如权利要求2所述的手术导航系统，其特征在于，所述标记部件包括无源标记部件，所述无源标记部件用于接收外部红外光并反射所述红外光。
4.如权利要求2所述的手术导航系统，其特征在于，所述标记部件包括有源标记部件，所述头戴式虚拟显示设备还包括一触发装置，用于发送触发信号至所述有源标记部件，所述有源标记部件用于根据所述触发信号发射红外光。
5.如权利要求3或4所述的手术导航系统，其特征在于，所述光学动态追踪设备根据所述红外光生成所述位置信息和所述实时动态数据。
6.如权利要求1所述的手术导航系统，其特征在于，所述头戴式虚拟显示设备包括AR眼镜。
7.如权利要求1所述的手术导航系统，其特征在于，所述便携式彩超设备用于在手术中对患者的内脏器官进行扫描以获取所述扫描图像数据。
CN201710971196.2A 2017-10-18 2017-10-18 基于便携式彩超设备的手术导航系统及方法 Active CN109674533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710971196.2A CN109674533B (zh) 2017-10-18 2017-10-18 基于便携式彩超设备的手术导航系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710971196.2A CN109674533B (zh) 2017-10-18 2017-10-18 基于便携式彩超设备的手术导航系统及方法

Publications (2)

Publication Number Publication Date
CN109674533A CN109674533A (zh) 2019-04-26
CN109674533B true CN109674533B (zh) 2022-07-05

Family

ID=66184010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710971196.2A Active CN109674533B (zh) 2017-10-18 2017-10-18 基于便携式彩超设备的手术导航系统及方法

Country Status (1)

Country Link
CN (1) CN109674533B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7142115B2 (ja) * 2019-02-15 2022-09-26 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN110215284B (zh) * 2019-06-06 2021-04-02 上海木木聚枞机器人科技有限公司 一种可视化系统和方法
CN110310726B (zh) * 2019-08-12 2024-03-26 杨晓鹏 基于医学影像三维重建及全息显示的肝段切除术辅助系统
TWI741536B (zh) * 2020-03-20 2021-10-01 台灣骨王生技股份有限公司 基於混合實境的手術導航影像成像方法
CN117357253B (zh) * 2023-11-28 2024-04-12 哈尔滨海鸿基业科技发展有限公司 一种便携式医学成像示踪导航装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
US20100099982A1 (en) * 2004-03-11 2010-04-22 Jose Luis Moctezuma De La Barrera System, Device, and Method for Determining a Position of an Object
CN102512246A (zh) * 2011-12-22 2012-06-27 中国科学院深圳先进技术研究院 手术导航系统及方法
CN103211655A (zh) * 2013-04-11 2013-07-24 深圳先进技术研究院 一种骨科手术导航系统及导航方法
CN104434313A (zh) * 2013-09-23 2015-03-25 中国科学院深圳先进技术研究院 一种腹部外科手术导航方法及系统
US20170119478A1 (en) * 2013-01-16 2017-05-04 Stryker Corporation Navigation Systems And Methods For Indicating And Reducing Line-Of-Sight Errors
CN106821499A (zh) * 2017-02-16 2017-06-13 清华大学深圳研究生院 一种3d虚拟超声引导穿刺导航系统及方法
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103519895A (zh) * 2013-10-18 2014-01-22 江苏艾迪尔医疗科技股份有限公司 一种骨科手术辅助导引方法
CN103735312B (zh) * 2013-12-11 2016-01-27 中国科学院深圳先进技术研究院 多模影像超声引导手术导航系统
CN104274247A (zh) * 2014-10-20 2015-01-14 上海电机学院 医学手术导航方法
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
EP3432780A4 (en) * 2016-03-21 2019-10-23 Washington University VISUALIZATION IN VIRTUAL REALITY OR IN INCREASED REALITY OF 3D MEDICAL IMAGES

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100099982A1 (en) * 2004-03-11 2010-04-22 Jose Luis Moctezuma De La Barrera System, Device, and Method for Determining a Position of an Object
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
CN102512246A (zh) * 2011-12-22 2012-06-27 中国科学院深圳先进技术研究院 手术导航系统及方法
US20170119478A1 (en) * 2013-01-16 2017-05-04 Stryker Corporation Navigation Systems And Methods For Indicating And Reducing Line-Of-Sight Errors
CN103211655A (zh) * 2013-04-11 2013-07-24 深圳先进技术研究院 一种骨科手术导航系统及导航方法
CN104434313A (zh) * 2013-09-23 2015-03-25 中国科学院深圳先进技术研究院 一种腹部外科手术导航方法及系统
CN106821499A (zh) * 2017-02-16 2017-06-13 清华大学深圳研究生院 一种3d虚拟超声引导穿刺导航系统及方法
CN106890025A (zh) * 2017-03-03 2017-06-27 浙江大学 一种微创手术导航系统和导航方法

Also Published As

Publication number Publication date
CN109674533A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109674533B (zh) 基于便携式彩超设备的手术导航系统及方法
Gavaghan et al. A portable image overlay projection device for computer-aided open liver surgery
US10055848B2 (en) Three-dimensional image segmentation based on a two-dimensional image information
Rosenthal et al. Augmented reality guidance for needle biopsies: an initial randomized, controlled trial in phantoms
US20220405935A1 (en) Augmented reality patient positioning using an atlas
JP3367663B2 (ja) 解剖学的物体の内部領域を視覚化するシステム
US6690960B2 (en) Video-based surgical targeting system
US11523869B2 (en) Method and system of providing visual information about a location and shape of a tumour under a body surface of a human or animal body
TW201801682A (zh) 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
KR102105974B1 (ko) 의료 영상 시스템
EP2981205A2 (en) Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CA2969874C (en) Method for optimising the position of a patient's body part relative to an imaging device
Mirota et al. High-accuracy 3D image-based registration of endoscopic video to C-arm cone-beam CT for image-guided skull base surgery
Wengert et al. Endoscopic navigation for minimally invasive suturing
Galloway et al. Overview and history of image-guided interventions
RU2816071C1 (ru) Комбинированная интраоперационная навигационная система с использованием генерации ультразвуковых изображений методом трассировки лучей
US20230360334A1 (en) Positioning medical views in augmented reality
EP3917430B1 (en) Virtual trajectory planning
US11694363B2 (en) Intra-operative determination of a focal length of a camera for medical applications
Kumar et al. Stereoscopic augmented reality for single camera endoscope using optical tracker: a study on phantom
CN116019571A (zh) 用于在手术期间定位患者身体并跟踪患者位置的装置和方法
Kanegae et al. Registration and projection method of tumor region projection for breast cancer surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Surgical Navigation System and Method Based on Portable Color Doppler Ultrasound Equipment

Effective date of registration: 20230324

Granted publication date: 20220705

Pledgee: Industrial Bank Co.,Ltd. Shanghai Pudong Sub branch

Pledgor: SHANGHAI LIN YAN MEDICAL TECHNOLOGY Co.,Ltd.|Liu Yang

Registration number: Y2023310000085

PE01 Entry into force of the registration of the contract for pledge of patent right