CN110215284B - 一种可视化系统和方法 - Google Patents

一种可视化系统和方法 Download PDF

Info

Publication number
CN110215284B
CN110215284B CN201910492514.6A CN201910492514A CN110215284B CN 110215284 B CN110215284 B CN 110215284B CN 201910492514 A CN201910492514 A CN 201910492514A CN 110215284 B CN110215284 B CN 110215284B
Authority
CN
China
Prior art keywords
image
end effector
matching
coordinate
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910492514.6A
Other languages
English (en)
Other versions
CN110215284A (zh
Inventor
孙锐
苏合检
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Mumu Jucong Robot Technology Co ltd
Original Assignee
Shanghai Mumu Jucong Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Mumu Jucong Robot Technology Co ltd filed Critical Shanghai Mumu Jucong Robot Technology Co ltd
Priority to CN201910492514.6A priority Critical patent/CN110215284B/zh
Publication of CN110215284A publication Critical patent/CN110215284A/zh
Application granted granted Critical
Publication of CN110215284B publication Critical patent/CN110215284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure

Abstract

本发明实施例公开了一种可视化系统和方法，其中，可视化系统包括：深度摄像头、位置配准和导航模块、手术机器人和头戴式显示设备；其中，深度摄像头用于获取与病灶部位相对应的深度图像；位置配准和导航模块用于将深度图像和医学图像三维重建模型进行匹配，得到匹配图像；该模块还用于向手术机器人发送动作指令，并获取手术机器人的机械臂末端执行器的实时位姿；手术机器人用于根据动作指令带动机械臂末端执行器执行相应动作；位置配准和导航模块用于确定机械臂末端执行器在匹配图像中的实时位置，并标记在匹配图像中得到标记图像；头戴式显示设备用于实时显示标记图像。本发明实施例实现了手术可视化，降低了手术成本，提高了手术安全性。

Description

一种可视化系统和方法
技术领域
本发明实施例涉及虚拟现实技术领域，尤其涉及一种可视化系统和方法。
背景技术
随着医学影像技术、机器人技术、手术导航技术的发展，越来越多的皮下手术通过精准定位来实施微创手术。典型如神经外科手术机器人、骨科机器人、脑外科框架定向仪等等。
现有技术主要是在手术实施时，先通过术前拍片(利用CT等设备拍片)来规划手术路径，在手术实施后，再次通过拍片来检验手术成果，其无法获知手术执行过程中皮下手术的进展情况是否与预期相符。此外，还有部分技术引入了术中拍片(利用CT等设备拍片)来实时观察手术执行过程中皮下手术的进展情况。但这种方案存在明显弊端：手术设备成本高昂，需要在手术室中增加昂贵的医学影像设备，同时也需要更大的手术室面积，此外引入术中拍片大大增加了病人和医生在辐射环境中的时间，影响病人和医生的身体健康。
发明内容
本发明提供一种可视化系统和方法，在实现手术可视化的同时，降低了手术的成本，提高了手术的安全性。
第一方面，本发明实施例提供了一种可视化系统，所述系统包括：
深度摄像头、位置配准和导航模块、手术机器人和头戴式显示设备；其中，
所述深度摄像头，与所述位置配准和导航模块通信连接，用于在手术进行的过程中，实时获取与病灶部位相对应的深度图像，并将所述深度图像发送给所述位置配准和导航模块；
所述位置配准和导航模块，用于在接收到所述深度图像之后，将所述深度图像和接收到的与所述病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将所述医学图像三维重建模型与所述深度图像进行融合，得到融合后的匹配图像；
所述位置配准和导航模块，与所述手术机器人通信连接，用于在手术进行的过程中，根据预设行进路径，向所述手术机器人发送动作指令，并获取所述手术机器人的机械臂末端执行器的实时位姿；
所述手术机器人，用于接收所述动作指令，并根据所述动作指令带动所述机械臂末端执行器执行相应的动作；
所述位置配准和导航模块，与所述头戴式显示设备通信连接，用于根据所述实时位姿和预设坐标转换关系，确定所述机械臂末端执行器在所述匹配图像中的实时位置，并将所述实时位置和所述机械臂末端执行器在所述匹配图像中的实际路径标记在所述匹配图像中，得到标记图像，并将所述标记图像发送给所述头戴式显示设备；
所述头戴式显示设备，用于实时显示所述标记图像。
第二方面，本发明实施例还提供了一种可视化方法，所述方法包括：
在手术进行的过程中，控制深度摄像头实时获取与病灶部位相对应的深度图像，并将所述深度图像发送给位置配准和导航模块；
在接收到所述深度图像之后，将所述深度图像和接收到的与所述病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将所述医学图像三维重建模型与所述深度图像进行融合，得到融合后的匹配图像；
根据预设行进路径，向手术机器人发送动作指令，并获取所述手术机器人的机械臂末端执行器的实时位姿；
控制所述手术机器人接收所述动作指令，并根据所述动作指令带动所述机械臂末端执行器执行相应的动作；
根据所述实时位姿和预设坐标转换关系，确定所述机械臂末端执行器在所述匹配图像中的实时位置，并将所述实时位置和所述机械臂末端执行器在所述匹配图像中的实际路径标记在所述匹配图像中，得到标记图像，并将所述标记图像发送给头戴式显示设备；
控制所述头戴式显示设备实时显示所述标记图像。
本发明实施例提供的一种可视化系统和方法，在手术进行的过程中，通过与位置配准和导航模块通信连接的深度摄像头，实时获取与病灶部位相对应的深度图像，并将深度图像发送给位置配准和导航模块；利用位置配准和导航模块在接收到深度图像之后，将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像；并通过该模块根据预设行进路径，向手术机器人发送动作指令，并获取手术机器人的机械臂末端执行器的实时位姿；手术机器人接收动作指令，并根据动作指令带动机械臂末端执行器执行相应的动作；利用位置配准和导航模块根据实时位姿和预设坐标转换关系，确定机械臂末端执行器在匹配图像中的实时位置，并将实时位置和机械臂末端执行器在匹配图像中的实际路径标记在匹配图像中，得到标记图像，并将标记图像发送给头戴式显示设备；利用头戴式显示设备实时显示标记图像，在实现手术可视化的同时，降低了手术的成本，提高了手术的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一中的一种可视化系统的结构示意图；
图2是本发明实施例二中的一种可视化方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种可视化系统的结构示意图，如图1所示，该可视化系统包括：深度摄像头110、位置配准和导航模块120、手术机器人130和头戴式显示设备140；其中，
深度摄像头110，与位置配准和导航模块120通信连接，用于在手术进行的过程中，实时获取与病灶部位相对应的深度图像，并将深度图像发送给位置配准和导航模块120。
其中，深度摄像头110是用来获取深度图像的摄像头，示例性的，深度摄像头110可以是立体照相机或TOF(Time of flight，飞行时间)照相机等。其中，深度图像也称距离影像，是将从图像采集器到场景中各点的距离(深度)作为像素值的图像。深度图像直接反映了景物可见表面的几何形状，是物体的三维表示形式。优选的，在手术进行之前，深度摄像头110也可以实时获取与病灶部位相对应的深度图像，并发送给位置配准和导航模块120，以使位置配准和导航模块120能够在手术进行之前对深度图像进行相应的处理，进而提高手术进行过程中数据处理的速度。
位置配准和导航模块120，用于在接收到深度图像之后，将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像。
示例性的，可以从图像重建设备中获取到与病灶部位相对应的医学图像三维重建模型。具体的，图像重建设备可以利用与病灶部位相对应的CT(omputed Tomography，电子计算机断层扫描)医学图像或MR(Magnetic Resonance，磁共振)医学图像等进行三维重建，得到对应的医学图像三维重建模型，并将医学图像三维重建模型发送给位置配准和导航模块。
优选的，可以利用特征匹配的方法将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配。其中，特征匹配指的是将从影像中提取的特征作为共轭实体,而将所提特征属性或描述参数(实际上是特征的特征，也可以认为是影像的特征)作为匹配实体，通过计算匹配实体之间的相似性测度以实现共轭实体配准的影像匹配方法。示例性的，特征匹配方法可以包括特征点匹配方法，特征点匹配方法的核心思想是找出需要配准的两幅图像中能够正确匹配的特征点。
本实施例中，在完成位置匹配后，即可根据位置匹配结果，将现实世界中无法看到的医学图像三维重建模型与在现实世界中可以看到的深度图像进行融合，得到叠加有医学图像三维重建模型的深度图像(即上述所说的匹配图像)，达到了虚实结合的效果。
位置配准和导航模块120，与手术机器人130通信连接，用于在手术进行的过程中，根据预设行进路径，向手术机器人130发送动作指令，并获取手术机器人130的机械臂末端执行器的实时位姿。
其中，预设行进路径可以根据手术前拍摄的与病灶部位相对应的医学图像确定，也可以利用与病灶部位相对应的医学图像三维重建模型确定。优选的，预设行进路径可以在手术进行的过程中，根据实际情况进行调整，以保证手术准确执行。本实施例中，手术机器人130包括机械臂，机械臂的末端设置有用于执行手术的执行器。其中，机械臂优选可以是六轴机械臂。
手术机器人130，用于接收位置配准和导航模块120发送的动作指令，并根据该动作指令带动机械臂末端执行器执行相应的动作。
位置配准和导航模块120，与头戴式显示设备120通信连接，用于根据机械臂末端执行器的实时位姿和预设坐标转换关系，确定机械臂末端执行器在匹配图像中的实时位置，并将实时位置和机械臂末端执行器在匹配图像中的实际路径标记在匹配图像中，得到标记图像，并将标记图像发送给头戴式显示设备140。头戴式显示设备140用于实时显示标记图像。
本实施例中，头戴式显示设备140通过一组光学系统(主要是精密光学透镜)放大超微显示屏上的图像，将影像投射于视网膜上,可以实现虚拟现实(VR，virtual reality)、增强现实(AR，Augmented reality)、混合现实(MR，Mixed reality)等不同效果。优选的，预设坐标转换关系可以是机械臂坐标系与医学图像三维重建模型坐标系之间的坐标转换关系，该预设坐标转换关系可以将机械臂末端执行器对应的坐标参数转换成医学图像三维重建模型上相应点的坐标参数。根据预设坐标转换关系以及机械臂末端执行器的实时位姿，可以确定机械臂末端执行器在医学图像三维重建模型中的实时位置(即匹配图像中的实时位置)。此外，位置配准和导航模块120还可以获取到机械臂末端执行器的实际行进路径，优选的，也可以根据预设坐标转换关系，将机械臂末端执行器对应的实际行进路径(可以将实际行进路径看作是多个点的集合)转换成医学图像三维重建模型上相应的行进路径(即在匹配图像中的行进路径)。优选的，在确定并在匹配图像中标记机械臂末端执行器的实时位置和行进路径后，即可得到显示有机械臂末端执行器的实时位置和行进路径的匹配图像(即标记图像)。
优选的，医生通过头戴式显示设备140，可以看到叠加有与病灶部位相对应的医学图像三维重建模型和机械臂末端执行器在皮下的实时位置与行进路径的深度图像。医生可以根据该图像对手术进行实时指导，以保证手术准确无误的执行。例如，医生可以对机械臂末端执行器的实时位置和行进路径进行微调等。
本实施例提供的一种可视化系统，在手术进行的过程中，通过与位置配准和导航模块通信连接的深度摄像头，实时获取与病灶部位相对应的深度图像，并将深度图像发送给位置配准和导航模块；利用位置配准和导航模块在接收到深度图像之后，将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像；并通过该模块根据预设行进路径，向手术机器人发送动作指令，并获取手术机器人的机械臂末端执行器的实时位姿；手术机器人接收动作指令，并根据动作指令带动机械臂末端执行器执行相应的动作；利用位置配准和导航模块根据实时位姿和预设坐标转换关系，确定机械臂末端执行器在匹配图像中的实时位置，并将实时位置和机械臂末端执行器在匹配图像中的实际路径标记在匹配图像中，得到标记图像，并将标记图像发送给头戴式显示设备；利用头戴式显示设备实时显示标记图像，在实现手术可视化的同时，降低了手术的成本，提高了手术的安全性。
在上述各实施例的基础上，进一步的，可视化系统还包括三维模型重建模块，该三维模型重建模块，与位置配准和导航模块120通信连接，用于在将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配之前，根据接收到的与病灶部位相对应的医学图像，生成医学图像三维重建模型，并将医学图像三维重建模型发送给位置配准和导航模块120。相应的，位置配准和导航模块120用于接收医学图像三维重建模型。
优选的，医学图像三维重建模型除了可以通过上述图像重建设备获取到，还可以利用可视化设备内部设置的三维模型重建模块获取到。其中，三维模型重建模块可以设置有与医学成像设备进行数据传输的接口，该模块可以通过该接口接收医学成像设备(CT或MRI等)发送的医学图像。
进一步的，位置配准和导航模块120包括：
特征点提取单元，用于分别提取深度图像和医学图像三维重建模型中的特征点；
特征点匹配单元，用于根据特征点匹配算法，对提取到的特征点进行特征点匹配，得到匹配结果；
匹配图像生成单元，用于根据匹配结果，将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像。
其中，特征点可以是身体部位上的特征点，也可以是粘贴在身体上的标记点。不管是身体部位上的特征点，还是粘贴在身体上的标记点，其都可以通过成像的方式存在于深度图像和医学图像三维重建模型中。
进一步的，可视化系统还包括：
坐标转换关系确定模块，用于在根据实时位姿和预设坐标转换关系，确定机械臂末端执行器在匹配图像中的实时位置之前，确定机械臂末端执行器所在的第一坐标系与医学图像三维重建模型所在的第二坐标系之间的坐标转换关系，并将坐标转换关系作为预设坐标转换关系。
本实施例中，坐标转换关系优选可以将机械臂末端执行器所在的第一坐标系下点的坐标参数，转换为医学图像三维重建模型所在的第二坐标系下相应点的坐标参数。
进一步的，坐标转换关系确定模块包括：
第一坐标参数确定单元，用于确定当机械臂末端执行器到达设置于病灶部位处的标记点时，机械臂末端执行器的第一坐标参数，其中，第一坐标参数为机械臂末端执行器在第一坐标系下的第一坐标参数；
第二坐标参数确定单元，用于确定标记点的第二坐标参数，其中，第二坐标参数为病灶部位处的标记点在第二坐标系下的第二坐标参数；
坐标转换关系确定单元，用于根据第一坐标参数和第二坐标参数，确定将第一坐标参数转换为第二坐标参数所对应的坐标转换关系。
其中，标记点的个数为至少四个。其中，优选可以根据数据配准方法确定将第一坐标参数转换为第二坐标参数的坐标转换关系。现有的数据配准方法可以包括点集对点集的配准方法、迭代最近点方法、基于点线面几何特征约束的配准方法和多幅影像数据的整体配准方法等；其中坐标转换关系中的转换参数的求解方法可以包括四元数法、最小二乘法、奇异值分解法以及遗传算法等。
进一步的，可视化系统还包括：
穿刺点确定模块，与位置配准和导航模块120通信连接，用于在手术进行之前，根据医学图像，确定机械臂末端执行器在进行手术时的穿刺点位置，并将穿刺点位置发送给位置配准和导航模块120；
相应的，位置配准和导航模块120，用于控制手术机器人带动机械臂末端执行器到达穿刺点位置。
实施例二
图2为本发明实施例二提供的一种可视化方法的流程图。该方法适用于手术过程中需要实时观察皮下机械臂末端执行器位姿的情况，该方法可以由可视化系统来执行。如图2所示，本实施例的方法具体包括：
S210、在手术进行的过程中，控制深度摄像头实时获取与病灶部位相对应的深度图像，并将深度图像发送给位置配准和导航模块；
S220、在接收到深度图像之后，将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像；
S230、根据预设行进路径，向手术机器人发送动作指令，并获取手术机器人的机械臂末端执行器的实时位姿；
S240、控制手术机器人接收动作指令，并根据动作指令带动机械臂末端执行器执行相应的动作；
S250、根据实时位姿和预设坐标转换关系，确定机械臂末端执行器在匹配图像中的实时位置，并将实时位置和机械臂末端执行器在匹配图像中的实际路径标记在匹配图像中，得到标记图像，并将标记图像发送给头戴式显示设备；
S260、控制头戴式显示设备实时显示标记图像。
本实施例提供的一种可视化方法，在手术进行的过程中，通过控制深度摄像头实时获取与病灶部位相对应的深度图像，并将深度图像发送给位置配准和导航模块；在接收到深度图像之后，将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像；根据预设行进路径，向手术机器人发送动作指令，并获取手术机器人的机械臂末端执行器的实时位姿；控制手术机器人接收动作指令，并根据动作指令带动机械臂末端执行器执行相应的动作；根据实时位姿和预设坐标转换关系，确定机械臂末端执行器在匹配图像中的实时位置，并将实时位置和机械臂末端执行器在匹配图像中的实际路径标记在匹配图像中，得到标记图像，并将标记图像发送给头戴式显示设备；控制头戴式显示设备实时显示标记图像，在实现手术可视化的同时，降低了手术的成本，提高了手术的安全性。
在上述各实施例的基础上，进一步的，在将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配之前，还包括：
控制三维模型重建模块根据接收到的与病灶部位相对应的医学图像，生成医学图像三维重建模型，并将医学图像三维重建模型发送给位置配准和导航模块；
相应的，接收医学图像三维重建模型。
进一步的，将深度图像和接收到的与病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像，包括：
分别提取深度图像和医学图像三维重建模型中的特征点；
根据特征点匹配算法，对提取到的特征点进行特征点匹配，得到匹配结果；
根据匹配结果，将医学图像三维重建模型与深度图像进行融合，得到融合后的匹配图像。
进一步的，在根据实时位姿和预设坐标转换关系，确定机械臂末端执行器在匹配图像中的实时位置之前，还包括：
控制坐标转换关系确定模块，确定机械臂末端执行器所在的第一坐标系与医学图像三维重建模型所在的第二坐标系之间的坐标转换关系，并将坐标转换关系作为预设坐标转换关系。
进一步的，控制坐标转换关系确定模块，确定机械臂末端执行器所在的第一坐标系与医学图像三维重建模型所在的第二坐标系之间的坐标转换关系，并将坐标转换关系作为预设坐标转换关系，包括：
控制第一坐标参数确定单元，确定当机械臂末端执行器到达设置于病灶部位处的标记点时，机械臂末端执行器的第一坐标参数，其中，第一坐标参数为机械臂末端执行器在第一坐标系下的第一坐标参数；
控制第二坐标参数确定单元，确定标记点的第二坐标参数，其中，第二坐标参数为病灶部位处的标记点在第二坐标系下的第二坐标参数；
控制坐标转换关系确定单元，根据第一坐标参数和第二坐标参数，确定将第一坐标参数转换为第二坐标参数所对应的坐标转换关系，并将坐标转换关系作为预设坐标转换关系。
进一步的，可视化方法还包括：
控制穿刺点确定模块，在手术进行之前，根据医学图像，确定机械臂末端执行器在进行手术时的穿刺点位置，并将穿刺点位置发送给位置配准和导航模块；
相应的，控制手术机器人带动机械臂末端执行器到达穿刺点位置。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种可视化系统，其特征在于，包括：深度摄像头、位置配准和导航模块、手术机器人和头戴式显示设备；其中，
所述深度摄像头，与所述位置配准和导航模块通信连接，用于在手术进行的过程中，实时获取与病灶部位相对应的深度图像，并将所述深度图像发送给所述位置配准和导航模块；
所述位置配准和导航模块，用于在接收到所述深度图像之后，将所述深度图像和接收到的与所述病灶部位相对应的医学图像三维重建模型进行位置匹配，根据匹配结果将所述医学图像三维重建模型与所述深度图像进行融合，得到融合后的匹配图像；
所述位置配准和导航模块，与所述手术机器人通信连接，用于在手术进行的过程中，根据预设行进路径，向所述手术机器人发送动作指令，并获取所述手术机器人的机械臂末端执行器的实时位姿；
所述手术机器人，用于接收所述动作指令，并根据所述动作指令带动所述机械臂末端执行器执行相应的动作；
所述位置配准和导航模块，与所述头戴式显示设备通信连接，用于根据所述实时位姿和预设坐标转换关系，确定所述机械臂末端执行器在所述匹配图像中的实时位置，并将所述实时位置和所述机械臂末端执行器在所述匹配图像中的实际路径标记在所述匹配图像中，得到标记图像，并将所述标记图像发送给所述头戴式显示设备，其中，所述标记图像为显示有机械臂末端执行器的实时位置和行进路径的匹配图像；
所述头戴式显示设备，用于实时显示所述标记图像，将标记图像的影像投射于佩戴头戴式显示设备用户的视网膜上。
2.根据权利要求1所述的系统，其特征在于，还包括三维模型重建模块：
所述三维模型重建模块，与所述位置配准和导航模块通信连接，用于在将所述深度图像和接收到的与所述病灶部位相对应的医学图像三维重建模型进行位置匹配之前，根据接收到的与所述病灶部位相对应的医学图像，生成所述医学图像三维重建模型，并将所述医学图像三维重建模型发送给所述位置配准和导航模块；
相应的，所述位置配准和导航模块用于接收所述医学图像三维重建模型。
3.根据权利要求1或2所述的系统，其特征在于，所述位置配准和导航模块包括：
特征点提取单元，用于分别提取所述深度图像和所述医学图像三维重建模型中的特征点；
特征点匹配单元，用于根据特征点匹配算法，对提取到的特征点进行特征点匹配，得到匹配结果；
匹配图像生成单元，用于根据所述匹配结果，将所述医学图像三维重建模型与所述深度图像进行融合，得到融合后的匹配图像。
4.根据权利要求1或2所述的系统，其特征在于，还包括：
坐标转换关系确定模块，用于在根据所述实时位姿和预设坐标转换关系，确定所述机械臂末端执行器在所述匹配图像中的实时位置之前，确定所述机械臂末端执行器所在的第一坐标系与所述医学图像三维重建模型所在的第二坐标系之间的坐标转换关系，并将所述坐标转换关系作为预设坐标转换关系。
5.根据权利要求4所述的系统，其特征在于，所述坐标转换关系确定模块包括：
第一坐标参数确定单元，用于确定当所述机械臂末端执行器到达设置于所述病灶部位处的标记点时，所述机械臂末端执行器的第一坐标参数，其中，所述第一坐标参数为所述机械臂末端执行器在所述第一坐标系下的第一坐标参数；
第二坐标参数确定单元，用于确定所述标记点的第二坐标参数，其中，所述第二坐标参数为所述病灶部位处的标记点在所述第二坐标系下的第二坐标参数；
坐标转换关系确定单元，用于根据所述第一坐标参数和所述第二坐标参数，确定将所述第一坐标参数转换为所述第二坐标参数所对应的所述坐标转换关系，并将所述坐标转换关系作为预设坐标转换关系。
6.根据权利要求1或2所述的系统，其特征在于，还包括：
穿刺点确定模块，与所述位置配准和导航模块通信连接，用于在手术进行之前，根据所述医学图像，确定所述机械臂末端执行器在进行手术时的穿刺点位置，并将所述穿刺点位置发送给所述位置配准和导航模块；
相应的，所述位置配准和导航模块，用于控制所述手术机器人带动所述机械臂末端执行器到达所述穿刺点位置。
CN201910492514.6A 2019-06-06 2019-06-06 一种可视化系统和方法 Active CN110215284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910492514.6A CN110215284B (zh) 2019-06-06 2019-06-06 一种可视化系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910492514.6A CN110215284B (zh) 2019-06-06 2019-06-06 一种可视化系统和方法

Publications (2)

Publication Number Publication Date
CN110215284A CN110215284A (zh) 2019-09-10
CN110215284B true CN110215284B (zh) 2021-04-02

Family

ID=67816089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910492514.6A Active CN110215284B (zh) 2019-06-06 2019-06-06 一种可视化系统和方法

Country Status (1)

Country Link
CN (1) CN110215284B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110638524B (zh) * 2019-09-16 2021-11-02 山东省肿瘤防治研究院（山东省肿瘤医院） 一种基于vr眼镜的肿瘤穿刺实时模拟系统
CN110711030B (zh) * 2019-10-21 2021-04-23 北京国润健康医学投资有限公司 基于ar技术的股骨头坏死微创手术导航系统及导航方法
CN113876425B (zh) * 2020-07-01 2023-09-12 北京和华瑞博医疗科技有限公司 外科手术系统及导航方法
CN112545649B (zh) * 2020-12-02 2022-03-25 中国科学院自动化研究所 基于混合现实的股骨头髓芯减压手术导航实现系统
TWI750930B (zh) * 2020-12-02 2021-12-21 國立陽明交通大學 手術輔助系統及相關手術輔助方法
CN113133814A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于增强现实的穿刺手术导航装置及计算机可读存储介质
CN114098980A (zh) * 2021-11-19 2022-03-01 武汉联影智融医疗科技有限公司 相机位姿调整方法、空间注册方法、系统和存储介质
EP4321121A1 (en) * 2021-05-10 2024-02-14 Wuhan United Imaging Healthcare Surgical Technology Co., Ltd. Robot positioning and pose adjustment method and system
CN115089303A (zh) * 2021-05-10 2022-09-23 武汉联影智融医疗科技有限公司 机器人定位方法及系统
CN113648061B (zh) * 2021-07-15 2022-08-09 上海交通大学医学院附属第九人民医院 一种基于混合现实的头戴式导航系统及导航配准方法
CN114041875B (zh) * 2021-11-24 2023-07-18 电子科技大学 一种一体式手术定位导航系统
CN114305690B (zh) * 2021-12-31 2023-12-26 杭州三坛医疗科技有限公司 一种手术导航定位方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102711650A (zh) * 2010-01-13 2012-10-03 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
CN103479431A (zh) * 2013-09-26 2014-01-01 中国科学院深圳先进技术研究院 非介入式微创手术导航系统
EP3097885A1 (en) * 2007-03-29 2016-11-30 Medtronic Navigation, Inc. Method and apparatus for registering a physical space to image space
CN106560163A (zh) * 2015-09-30 2017-04-12 合肥美亚光电技术股份有限公司 手术导航系统及手术导航系统的配准方法
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN104274194B (zh) * 2013-07-12 2018-02-09 西门子公司 介入式成像系统
CN108056819A (zh) * 2016-12-02 2018-05-22 王健 一种用于医疗机器人的手术跟踪定位导航方法
CN108420529A (zh) * 2018-03-26 2018-08-21 上海交通大学 基于电磁定位技术和术中图像引导的手术导航仿真方法
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
EP2331001B1 (en) * 2008-05-06 2018-11-28 Medtronic Navigation, Inc. System for tracking a patient
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
EP3443924A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for use in a surgical navigation system with a robot arm
CN109496143A (zh) * 2016-05-27 2019-03-19 马科外科公司 术前规划和对手术系统的相关术中配准
CN109620365A (zh) * 2019-01-15 2019-04-16 上海精劢医疗科技有限公司 一种导航穿刺系统及控制方法
CN109674533A (zh) * 2017-10-18 2019-04-26 刘洋 基于便携式彩超设备的手术导航系统及方法
CN109758231A (zh) * 2019-03-05 2019-05-17 钟文昭 基于混合现实的胸腔内手术导航方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3097885A1 (en) * 2007-03-29 2016-11-30 Medtronic Navigation, Inc. Method and apparatus for registering a physical space to image space
EP2331001B1 (en) * 2008-05-06 2018-11-28 Medtronic Navigation, Inc. System for tracking a patient
CN102711650A (zh) * 2010-01-13 2012-10-03 皇家飞利浦电子股份有限公司 用于内窥镜手术的基于图像整合的配准和导航
CN104274194B (zh) * 2013-07-12 2018-02-09 西门子公司 介入式成像系统
CN103479431A (zh) * 2013-09-26 2014-01-01 中国科学院深圳先进技术研究院 非介入式微创手术导航系统
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
CN106560163A (zh) * 2015-09-30 2017-04-12 合肥美亚光电技术股份有限公司 手术导航系统及手术导航系统的配准方法
CN109496143A (zh) * 2016-05-27 2019-03-19 马科外科公司 术前规划和对手术系统的相关术中配准
CN108056819A (zh) * 2016-12-02 2018-05-22 王健 一种用于医疗机器人的手术跟踪定位导航方法
CN108784832A (zh) * 2017-04-26 2018-11-13 中国科学院沈阳自动化研究所 一种脊柱微创手术增强现实导航方法
EP3443924A1 (en) * 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for use in a surgical navigation system with a robot arm
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN109674533A (zh) * 2017-10-18 2019-04-26 刘洋 基于便携式彩超设备的手术导航系统及方法
CN108420529A (zh) * 2018-03-26 2018-08-21 上海交通大学 基于电磁定位技术和术中图像引导的手术导航仿真方法
CN109620365A (zh) * 2019-01-15 2019-04-16 上海精劢医疗科技有限公司 一种导航穿刺系统及控制方法
CN109758231A (zh) * 2019-03-05 2019-05-17 钟文昭 基于混合现实的胸腔内手术导航方法及系统

Also Published As

Publication number Publication date
CN110215284A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN110215284B (zh) 一种可视化系统和方法
US11514576B2 (en) Surgical system with combination of sensor-based navigation and endoscopy
CN110944595B (zh) 用于将内窥镜图像数据集映射到三维体积上的系统
CN108472095B (zh) 用于机器人外科手术的使用虚拟现实设备的系统、控制器和方法
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
CN103211655B (zh) 一种骨科手术导航系统及导航方法
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
CN109925057A (zh) 一种基于增强现实的脊柱微创手术导航方法及系统
US20090088897A1 (en) Methods and systems for robotic instrument tool tracking
WO2022188352A1 (zh) 基于增强现实的介入机器人无接触遥操系统及标定方法
CN103519895A (zh) 一种骨科手术辅助导引方法
WO2017043926A1 (ko) 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
EP3789965B1 (en) Method for controlling a display, computer program and mixed reality display device
CN110169821B (zh) 一种图像处理方法、装置及系统
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
Ferraguti et al. Augmented reality and robotic-assistance for percutaneous nephrolithotomy
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
Harders et al. Multimodal augmented reality in medicine
JP2000163558A (ja) 位置合わせ装置
CN117297773A (zh) 手术器械控制方法、手术机器人和存储介质
TWM484404U (zh) 成像投影系統設備應用
Habert et al. Multi-layer visualization for medical mixed reality
Pandya et al. Simultaneous augmented and virtual reality for surgical navigation
CN114191078B (zh) 一种基于混合现实的内窥镜手术导航机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant