CN113693723A - 一种面向口腔咽喉部手术的跨模态导航定位系统及方法 - Google Patents

一种面向口腔咽喉部手术的跨模态导航定位系统及方法 Download PDF

Info

Publication number
CN113693723A
CN113693723A CN202110898962.3A CN202110898962A CN113693723A CN 113693723 A CN113693723 A CN 113693723A CN 202110898962 A CN202110898962 A CN 202110898962A CN 113693723 A CN113693723 A CN 113693723A
Authority
CN
China
Prior art keywords
self
visual
positioning
coordinate system
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110898962.3A
Other languages
English (en)
Other versions
CN113693723B (zh
Inventor
喻俊志
胡耀清
朱明珠
王绍安
李东岳
原福松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202110898962.3A priority Critical patent/CN113693723B/zh
Publication of CN113693723A publication Critical patent/CN113693723A/zh
Application granted granted Critical
Publication of CN113693723B publication Critical patent/CN113693723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A61B90/16—Bite blocks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Neurosurgery (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Abstract

本公开是一种面向口腔咽喉部手术的跨模态导航定位系统及方法，用于手术机器人在手术中实时导航定位。该跨模态导航定位系统包括：自制开口器，用于支撑口腔；自识别视觉标记，用于辅助定位；视觉定位装置，用于检测和定位自制开口器和手术机器人上的自识别视觉标记；控制主机，用于在术前进行多源扫描数据的配准与融合、自识别视觉标记的三维模型的视觉注册以及各坐标系之间的标定，并在术中进行视觉定位装置对自识别视觉标记的实时检测与定位。利用本公开，能够实时推算机器人工作端与手术目标之间的位姿关系，并将结果显示在控制主机的操作屏上，为手术机器人提供高精度的实时导航定位。

Description

一种面向口腔咽喉部手术的跨模态导航定位系统及方法
技术领域
本公开涉及手术机器人技术领域，具体而言，涉及一种面向口腔咽喉部手术的跨模态导航定位系统及方法，用于手术机器人在手术中实时导航定位。
背景技术
口腔咽喉部属于创伤、炎症、肿瘤高发区，该部位具有腔小洞深的特点，术区显露程度差，周围重要神经血管毗邻，感觉灵敏。目前，临床需借助内窥镜、支撑喉镜、显微镜及特殊器械完成手术，难度较大，病灶显露、止血和缝合困难，易受到医生状态、经验等客观因素影响，从而导致手术误差，影响治疗效果。
机器人因其可重复能力强、定位精度高、不易受外界环境影响等优势，渐渐走入了人们的视野。医疗机器人因其集成了机器人技术、自动化、计算机科学、材料科学等先进前沿学科，现已成为机器人领域的国际化研究热点。当下已有许多先进的机器人技术应用于医学之中，例如手术的术前规划、微创手术、新型治疗方法等方面。这既推动了医学的发展，也同时促进了机器人学的技术更新。
目前，大部分手术导航系统通过实时识别跟踪手术末端器械相对传感器(如摄像机、激光仪、红外传感器等)的位姿关系，得到机器人手术末端器械相对于手术目标的位置。现有技术大部分都仅依赖单源传感器的数据，这对于复杂的口腔模型的定位是不够的。例如现有技术一公开了一种手术定位装置和方法以及机器人手术系统，能够实现任意角度的透视定位，并能消除计算手术路径时引起的系统误差，增大工作空间，提高手术定位精度，但该装置仅依赖视觉定位。现有技术二公开了一种双臂机器人的导航定位方法，该方法获取病人医学影像信息，依据病人医学影像信息勾画病灶轮廓，构建三维可视化病灶建模，确定三维可视化病灶建模内的手术靶点坐标，未使用额外的光学定位或电磁定位装置。现有技术三通过光学导航系统对患肢示踪器上的标记点进行检测，使串联机械臂和患肢处于同一坐标系下，解决了手术机器人在向患肢移动过程中定位难、定位不准的问题，但也仅依赖光学导航系统。
考虑到口腔手术中术区环境的复杂性、人工完成口腔手术的精度低、手术的安全性等问题，有必要研制一种面向口腔咽喉部手术的使用多模态数据的导航定位系统及方法，为手术机器人提供高精度的实时导航定位。
发明内容
为了解决以上现有技术存在的问题，本公开的目的在于提供一种面向口腔咽喉部手术的跨模态导航定位系统及方法。
本公开的一个方面，提供了一种面向口腔咽喉部手术的跨模态导航定位系统，用于为手术机器人提供实时的导航定位，包括：自制开口器，用于支撑口腔；自识别视觉标记，用于辅助定位；视觉定位装置，用于检测和定位自制开口器和手术机器人上的自识别视觉标记；控制主机，用于在术前进行多源扫描数据的配准与融合、自识别视觉标记的三维模型的视觉注册以及各坐标系之间的标定，并在术中进行视觉定位装置对自识别视觉标记的实时检测与定位。
在本公开的一些实施例中，所述自制开口器包括固定连接的口内部分和口外部分，其中：口内部分包括两侧壁和一顶面，两侧壁是双弧形结构，每个侧壁上有多个孔，以利于通过牙科硅橡胶印模材料将口腔内手术目标另一侧的牙齿与自制开口器无缝紧密贴合；顶面设置有三个定位球和一个支撑柱；口外部分是圆柱形桶状结构，第二自识别视觉标记环绕在这个圆柱形桶状结构的外表面上。
在本公开的一些实施例中，所述口内部分整体呈倒凹形，在术中能够包裹于口腔内牙齿的两侧及顶部；顶面设置的三个定位球用于建立开口器坐标系，顶面设置的支撑柱用于支撑口腔。
在本公开的一些实施例中，所述自识别视觉标记是一个黑白块交替的棋盘格，包括设置于手术机器人机械臂表面的第一自识别视觉标记和设置于自制开口器表面的第二自识别视觉标记。
在本公开的一些实施例中，在所述黑白块交替的棋盘格中，对于由N×N个黑白块交替棋盘格构成的区域，在该区域内部至多包含N2个分布于各棋盘格中心的圆点，在该区域黑白块之间的红色交叉点是标记点，每个标记点都有唯一的标号。
在本公开的一些实施例中，所述第一自识别视觉标记被立体地打印或做成贴纸贴在手术机器人易于被视觉定位装置检测到的机械臂上；所述第二自识别视觉标记被立体地打印或做成贴纸贴在自制开口器口外部分的圆柱形桶状结构的外表面上。
在本公开的一些实施例中，所述视觉定位装置包括两个型号相同的单目工业相机，这两个型号相同的单目工业相机构成双目工业相机模组，且这两个型号相同的单目工业相机被固定在外部支架上。
在本公开的一些实施例中，所述视觉定位装置通过识别机械臂上的第一自识别视觉标记来建立相机与机械臂的位姿关系，通过识别自制开口器上的第二自识别视觉标记来建立相机与自制开口器之间的位姿关系。
在本公开的一些实施例中，所述控制主机为一台具有操作屏的工业控制计算机，所述导航定位系统在为手术机器人提供实时的导航定位时，将定位结果显示在所述控制主机的操作屏上。
在本公开的一些实施例中，所述控制主机在术前进行多源扫描数据的配准与融合，包括：所述控制主机在术前在自制开口器包裹牙齿的内侧涂上硅橡胶材料，病患在手术目标的另一侧牙齿上戴上开口器并等待硅橡胶材料凝固成型，然后病患戴着自制开口器做核磁共振、CT和口腔扫描，最后再在所述控制主机上利用相关软件做多源扫描数据的配准与融合，建立口腔的三维模型。
在本公开的一些实施例中，所述控制主机在术前进行自识别视觉标记的三维模型的视觉注册，包括：所述控制主机在术前控制所述视觉定位装置对第一自识别视觉标记和第二自识别视觉标记从多个角度进行完整拍摄，当拍摄第二自识别视觉标记时，需对三个定位球进行检测和定位，使用双目视觉重建技术，建立第一自识别视觉标记和第二自识别视觉标记的三维模型，即得到第一自识别视觉标记上的所有标记点在某个注册坐标系O1上的三维坐标和第二自识别视觉标记上的所有标记点在某个注册坐标系O2上的三维坐标。
在本公开的一些实施例中，所述控制主机在术前进行各坐标系之间的标定，包括：所述控制主机在术前在建立好的口腔三维模型中手术目标的位置建立一个手术目标坐标系Otarget，使用自制开口器三个定位球建立一个开口器坐标系Oopener，在多源数据融合软件中获取这两个坐标系之间的相对位姿；通过第一视觉标记上的所有标记点在坐标系O1上的三维坐标，建立机器人工作端坐标系Ooperator，通过三个定位球分别在坐标系O2和在开口器坐标系Oopener中的三维坐标，求出坐标系O2和坐标系Oopener之间的相对位姿，进而求出第二视觉标记中的所有标记点在开口器坐标系Oopener中的三维坐标。
在本公开的一些实施例中，所述控制主机在术中进行视觉定位装置对自识别视觉标记的实时检测与定位，包括：所述控制主机在术中控制所述视觉定位装置检测第一和第二视觉标记上的标记点，得到标记点在相机坐标系Ocamera上的三维坐标，进而解出坐标系Ocamera分别与坐标系Oopener和坐标系Ooperator之间的相对位姿，进而通过标定的结果，得到机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿。
本公开的另一方面，提供了一种面向口腔咽喉部手术的跨模态导航定位方法，采用所述的导航定位系统，包括：基于多源扫描数据的配准与融合，建立口腔的三维模型；利用自识别视觉标记的三维模型的视觉注册，建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系；利用各坐标系之间的标定，建立自制开口器上的视觉标记与手术目标之间的位姿关系；检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位。
在本公开的一些实施例中，所述基于多源扫描数据的配准与融合，建立口腔的三维模型，包括：术前在自制开口器包裹牙齿的内侧涂上硅橡胶材料，病患在手术目标的另一侧牙齿上戴上开口器并等待硅橡胶材料凝固成型，然后病患戴着自制开口器做核磁共振、CT和口腔扫描，最后再在所述控制主机上利用相关软件做多源扫描数据的配准与融合，建立口腔的三维模型。
在本公开的一些实施例中，所述利用自识别视觉标记的三维模型的视觉注册，建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系，具体包括：所述控制主机控制所述视觉定位装置对第一自识别视觉标记和第二自识别视觉标记从多个角度进行完整拍摄，当拍摄第二自识别视觉标记时，需对三个定位球进行检测和定位，使用双目视觉重建技术，建立第一自识别视觉标记和第二自识别视觉标记的三维模型，即得到第一自识别视觉标记上的所有标记点在某个注册坐标系O1上的三维坐标和第二自识别视觉标记上的所有标记点在某个注册坐标系O2上的三维坐标。
在本公开的一些实施例中，所述利用各坐标系之间的标定，建立自制开口器上的视觉标记与手术目标之间的位姿关系，包括：在建立好的口腔三维模型中手术目标的位置建立一个手术目标坐标系Otarget，使用自制开口器三个定位球建立一个开口器坐标系Oopener，在多源数据融合软件中获取这两个坐标系之间的相对位姿；通过第一视觉标记上的所有标记点在坐标系O1上的三维坐标，建立机器人工作端坐标系Ooperator，通过三个定位球分别在坐标系O2和在开口器坐标系Oopener中的三维坐标，求出坐标系O2和坐标系Oopener之间的相对位姿，进而求出第二视觉标记中的所有标记点在开口器坐标系Oopener中的三维坐标。
在本公开的一些实施例中，所述检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位，包括：所述视觉定位装置检测第一和第二视觉标记上的标记点，得到标记点在相机坐标系Ocamera上的三维坐标，进而解出坐标系Ocamera分别与坐标系Oopener和坐标系Ooperator之间的相对位姿，进而通过标定的结果，得到机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿。
在本公开的一些实施例中，该方法在对自识别视觉标记进行实时检测与定位之后，还包括：所述控制主机实时计算手术机器人工作端与手术目标之间的位姿关系，并显示在控制主机的操作屏上，实现面向口腔咽喉部手术的跨模态导航定位。
本公开的又一方面，提供了一种面向口腔咽喉部手术的跨模态导航定位设备，包括：一个或多个处理器；存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器实现所述的面向口腔咽喉部手术的跨模态导航定位方法。
本公开的再一方面，提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令被执行时实现所述的面向口腔咽喉部手术的跨模态导航定位方法。
本公开的再一方面，提供了一种计算机程序，包括：计算机可执行指令，所述指令被执行时用于实现所述的面向口腔咽喉部手术的跨模态导航定位方法。
从上述技术方案可以看出，本公开提供的面向口腔咽喉部手术的跨模态导航定位系统及方法，相对于现有技术具有以下有益效果：
本公开提供的面向口腔咽喉部手术的跨模态导航定位系统及方法，通过采用多源扫描数据的配准与融合建立口腔的三维模型，利用自识别视觉标记的三维模型的视觉注册建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系，利用各坐标系之间的标定建立自制开口器上的视觉标记与手术目标之间的位姿关系，检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位，进而能够实时推算机器人工作端与手术目标之间的位姿关系，并显示在控制主机的操作屏上，为手术机器人提供高精度的实时导航定位。
本公开提供的面向口腔咽喉部手术的跨模态导航定位系统及方法，经过术前标定和视觉标记的三维模型注册，术中该导航定位系统能实时推算机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿，并将定位结果使用OpenGL库显示在控制主机的操作屏上，为手术机器人提供高精度的实时导航定位，并且方便了医生的观察，有利于手术的顺利进行。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统的硬件组成的总体结构示意图。
图2为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统的硬件组成和原理示意图；其中，有黑色填充的矩形框属于该系统的部分，无填充的矩形框与该系统相关联但并不属于该系统。
图3为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中视觉定位装置的示意图。
图4为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中自制开口器的示意图。
图5为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中自识别视觉标记的示意图。
图6为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中控制主机的示意图。
图7为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中多源扫描数据的配准与融合方法的原理示意图。
图8为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中视觉标记的三维模型注册的原理示意图。
图9为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中各坐标系之间的标定方法的原理示意图。
图10为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统中视觉定位装置检测与定位视觉标记的原理示意图。
图11为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位方法的流程图。
图12为依照本公开实施例的在手术之前的准备阶段完成多源扫描数据的配准与融合、自识别视觉标记的三维模型的视觉注册和各坐标系之间的标定的示意图。
图13为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位设备的框图。
附图标记说明：
1、视觉定位装置；2、自制开口器；3、第一自识别视觉标记；4、第二自识别视觉标记；5、控制主机；6、口腔；7、手术目标；8、定位球；9、支撑柱；
400：面向口腔咽喉部手术的跨模态导航定位设备
410：处理器
420：存储器
421：计算机程序
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
并且图中各部件的形状和尺寸不反映真实大小和比例，而仅示意本公开实施例的内容。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。
再者，单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。说明书与权利要求书中所使用的序数例如“S1”、“S2”、“S3”等的用词，以修饰权利要求项的步骤，其本身并不意含及代表该请求步骤有任何之前的序数，也不代表某一请求步骤与另一请求步骤的顺序、或是制造方法上的顺序，这些序数的使用仅用来使具有某命名的一请求步骤得以和另一请求步骤能作出清楚区分。
为解决手术机器人的导航定位问题，本公开的实施例提供了一种面向口腔咽喉部手术的跨模态导航定位系统及方法。
本公开的实施例提供的面向口腔咽喉部手术的跨模态导航定位系统，如图1和图2所示，图1为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统的硬件组成的总体结构示意图，图2为依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统的硬件组成和原理示意图。需要注意的是，图1和图2所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他环境或场景。
如图1和图2所示，本公开实施例提供的面向口腔咽喉部手术的跨模态导航定位系统，用于为手术机器人提供实时的导航定位，该跨模态导航定位系统的硬件包括：视觉定位装置、自制开口器、自识别视觉标记和控制主机。该跨模态导航定位系统的工作原理是：多模态数据的融合用于建立口腔的三维模型，标定方法和视觉标记的模型注册方法用于建立开口器上的视觉标记与手术目标之间的位姿关系、机器人上的视觉标记与机器人工作端之间的位姿关系，视觉定位装置检测到开口器和机器人上的视觉标记，可以实时推算机器人工作端与手术目标之间的位姿关系并显示在控制主机的操作屏上，达到导航定位的目的。
如图1所示，本公开实施例提供的面向口腔咽喉部手术的跨模态导航定位系统，包括自制开口器2、第一自识别视觉标记3、第二自识别视觉标记4、视觉定位装置1和控制主机5，其中：自制开口器2用于支撑口腔；第一自识别视觉标记3和第二自识别视觉标记4均用于辅助定位；视觉定位装置1用于检测和定位自制开口器2和手术机器人上的自识别视觉标记；控制主机5用于在术前进行多源扫描数据的配准与融合、自识别视觉标记的三维模型的视觉注册以及各坐标系之间的标定，并在术中进行视觉定位装置对自识别视觉标记的实时检测与定位。
根据本公开的实施例，如图1和图4所示，所述自制开口器2包括固定连接的口内部分和口外部分，其中：口内部分包括两侧壁和一顶面，两侧壁是双弧形结构，每个侧壁上有多个孔，以利于通过牙科硅橡胶印模材料将口腔内手术目标另一侧的牙齿与自制开口器无缝紧密贴合。顶面设置有三个定位球8和一个支撑柱9。具体地，在本实施例中，三个定位球的材质为氧化锆，直径为3mm。口外部分是圆柱形桶状结构，第二自识别视觉标记4环绕在这个圆柱形桶状结构的外表面上。
根据本公开的实施例，所述口内部分整体呈倒凹形，在术中能够包裹于口腔内牙齿的两侧及顶部。顶面设置的三个定位球8用于建立开口器坐标系，顶面设置的支撑柱9用于支撑口腔。
根据本公开的实施例，如图5所示，所述自识别视觉标记是一个黑白块交替的棋盘格，包括设置于手术机器人机械臂表面的第一自识别视觉标记3和设置于自制开口器表面的第二自识别视觉标记4。
根据本公开的实施例，在所述黑白块交替的棋盘格中，对于由N×N个黑白块交替棋盘格构成的区域，其中N为自然数，在该区域内部至多包含N2个分布于各棋盘格中心的圆点，在该区域黑白块之间的红色交叉点是标记点，每个标记点都有唯一的标号。举例而言，对于每一种3×3棋盘格的区域，其内部均包含至多9个分布于各棋盘格中心的圆点。
根据本公开的实施例，所述第一自识别视觉标记3被立体地打印或做成贴纸贴在手术机器人易于被视觉定位装置检测到的机械臂上；所述第二自识别视觉标记4被立体地打印或做成贴纸贴在自制开口器口外部分的圆柱形桶状结构的外表面上。
根据本公开的实施例，如图1和图3所示，所述视觉定位装置1包括两个型号相同的单目工业相机，这两个型号相同的单目工业相机构成双目工业相机模组，且这两个型号相同的单目工业相机被固定在外部支架上。具体地，在本实施例中，使用的单目工业相机是某品牌MV-CA023-10GM型号相机，两个该型号的单目工业相机如图3中所示固定在相机支架上面，绝对位置和相对位置均保持不变。
根据本公开的实施例，所述自制开口器2和所述自识别视觉标记是该导航系统的辅助定位工具，所述视觉定位装置1通过识别机械臂上的第一自识别视觉标记3来建立相机与机械臂的位姿关系，通过识别自制开口器2上的第二自识别视觉标记4来建立相机与自制开口器之间的位姿关系。
根据本公开的实施例，如图1和图6所示，所述控制主机5为一台具有操作屏的工业控制计算机，所述导航定位系统在为手术机器人提供实时的导航定位时，将定位结果显示在所述控制主机5的操作屏上。具体地，在本实施例中，使用的控制主机5，其配置为i7-10070E，RAM为32G。在手术之前的准备阶段，该控制主机5用于完成多源扫描数据的配准与融合、自识别视觉标记的三维模型的视觉注册和各坐标系之间的标定；在做手术阶段，该控制主机5用来完成视觉定位装置对自识别标记实时检测与定位。
根据本公开的实施例，如图7所示，所述控制主机5在术前进行多源扫描数据的配准与融合，包括：所述控制主机在术前在自制开口器包裹牙齿的内侧涂上硅橡胶材料，病患在手术目标的另一侧牙齿上戴上开口器并等待硅橡胶材料凝固成型，然后病患戴着自制开口器做核磁共振、CT和口腔扫描，最后再在所述控制主机上利用相关软件做多源扫描数据的配准与融合，建立口腔的三维模型。
根据本公开的实施例，如图8所示，所述控制主机5在术前进行自识别视觉标记的三维模型的视觉注册，包括：所述控制主机在术前控制所述视觉定位装置对第一自识别视觉标记和第二自识别视觉标记从多个角度进行完整拍摄，当拍摄第二自识别视觉标记时，需对三个定位球进行检测和定位，使用双目视觉重建技术，建立第一自识别视觉标记和第二自识别视觉标记的三维模型，即得到第一自识别视觉标记上的所有标记点在某个注册坐标系O1上的三维坐标和第二自识别视觉标记上的所有标记点在某个注册坐标系O2上的三维坐标。
根据本公开的实施例，如图9所示，所述控制主机5在术前进行各坐标系之间的标定，包括：所述控制主机在术前在建立好的口腔三维模型中手术目标的位置建立一个手术目标坐标系Otarget，使用自制开口器三个定位球建立一个开口器坐标系Oopener，在多源数据融合软件中获取这两个坐标系之间的相对位姿；通过第一视觉标记上的所有标记点在坐标系O1上的三维坐标，建立机器人工作端坐标系Ooperator，通过三个定位球分别在坐标系O2和在开口器坐标系Oopener中的三维坐标，求出坐标系O2和坐标系Oopener之间的相对位姿，进而求出第二视觉标记中的所有标记点在开口器坐标系Oopener中的三维坐标。
根据本公开的实施例，如图10所示，所述控制主机5在术中进行视觉定位装置对自识别视觉标记的实时检测与定位，包括：所述控制主机在术中控制所述视觉定位装置检测第一和第二视觉标记上的标记点，得到标记点在相机坐标系Ocamera上的三维坐标，进而解出坐标系Ocamera分别与坐标系Oopener和坐标系Ooperator之间的相对位姿，进而通过标定的结果，得到机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿。
图1至图10所示的依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统，通过采用多源扫描数据的配准与融合建立口腔的三维模型，利用自识别视觉标记的三维模型的视觉注册建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系，利用各坐标系之间的标定建立自制开口器上的视觉标记与手术目标之间的位姿关系，检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位，进而能够实时推算机器人工作端与手术目标之间的位姿关系，并显示在控制主机的操作屏上，为手术机器人提供高精度的实时导航定位。
基于图1至图10所示的依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位系统，本公开还提供了面向口腔咽喉部手术的跨模态导航定位方法，图11示出了依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位方法的流程图。
如图11所示，本公开实施例提供的面向口腔咽喉部手术的跨模态导航定位方法，包括以下步骤：
步骤S1：基于多源扫描数据的配准与融合，建立口腔的三维模型；
步骤S2：利用自识别视觉标记的三维模型的视觉注册，建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系；
步骤S3：利用各坐标系之间的标定，建立自制开口器上的视觉标记与手术目标之间的位姿关系；
步骤S4：检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位。
根据本公开的实施例，步骤S1中所述基于多源扫描数据的配准与融合，建立口腔的三维模型，包括：术前在自制开口器包裹牙齿的内侧涂上硅橡胶材料，病患在手术目标的另一侧牙齿上戴上开口器并等待硅橡胶材料凝固成型，然后病患戴着自制开口器做核磁共振、CT和口腔扫描，最后再在所述控制主机上利用相关软件做多源扫描数据的配准与融合，建立口腔的三维模型。
根据本公开的实施例，步骤S2中所述利用自识别视觉标记的三维模型的视觉注册，建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系，具体包括：所述控制主机控制所述视觉定位装置对第一自识别视觉标记和第二自识别视觉标记从多个角度进行完整拍摄，当拍摄第二自识别视觉标记时，需对三个定位球进行检测和定位，使用双目视觉重建技术，建立第一自识别视觉标记和第二自识别视觉标记的三维模型，即得到第一自识别视觉标记上的所有标记点在某个注册坐标系O1上的三维坐标和第二自识别视觉标记上的所有标记点在某个注册坐标系O2上的三维坐标。
根据本公开的实施例，步骤S3中所述利用各坐标系之间的标定，建立自制开口器上的视觉标记与手术目标之间的位姿关系，包括：在建立好的口腔三维模型中手术目标的位置建立一个手术目标坐标系Otarget，使用自制开口器三个定位球建立一个开口器坐标系Oopener，在多源数据融合软件中获取这两个坐标系之间的相对位姿；通过第一视觉标记上的所有标记点在坐标系O1上的三维坐标，建立机器人工作端坐标系Ooperator，通过三个定位球分别在坐标系O2和在开口器坐标系Oopener中的三维坐标，求出坐标系O2和坐标系Oopener之间的相对位姿，进而求出第二视觉标记中的所有标记点在开口器坐标系Oopener中的三维坐标。
根据本公开的实施例，步骤S4中所述检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位，包括：所述视觉定位装置检测第一和第二视觉标记上的标记点，得到标记点在相机坐标系Ocamera上的三维坐标，进而解出坐标系Ocamera分别与坐标系Oopener和坐标系Ooperator之间的相对位姿，进而通过标定的结果，得到机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿。
根据本公开的实施例，该方法在步骤S4对自识别视觉标记进行实时检测与定位之后，还包括：所述控制主机实时计算手术机器人工作端与手术目标之间的位姿关系，并显示在控制主机的操作屏上，实现面向口腔咽喉部手术的跨模态导航定位。
基于图11所示的依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位方法，请参阅图1和图7-10，本实例提供一种跨模态导航定位的目标是实时推算机器人工作端和手术目标/病灶之间的相对位姿，该方法包括：
多源扫描数据的配准与融合方法、各坐标系之间的标定方法和自识别视觉标记的模型视觉注册与定位方法。
具体地，手术之前的准备阶段，需要完成多源扫描数据的配准与融合、自识别视觉标记的三维模型的视觉注册和各坐标系之间的标定，具体分为以下5个步骤进行处理：
S101，在自制开口器的口内部分包裹牙齿的内侧涂上适量的硅橡胶材料，病人在手术目标的另一侧牙齿上戴上自制开口器并等待硅橡胶材料凝固成型，可以认为自制开口器和牙齿或口腔形成了刚性连接，接着病人戴着自制开口器做核磁共振或CT，用口腔扫描仪做口腔扫描，这几个过程都需要对自制开口器上的三个定位球8进行扫描，最后再在控制主机5上用多源数据融合软件Geomagic Studio做多源扫描数据的配准与融合，建立口腔的三维模型，建立的模型结果如图7中所示；
S102，在建立好的口腔的三维模型中，标出手术目标/病灶的位置，并建立一个手术目标坐标系Otarget，在扫描到的开口器上三个定位球的位置附近建立一个开口器坐标系Oopener，在多源数据融合软件中获取这两个坐标系之间的相对位姿，坐标位置如图1和图9所示；
S103，对视觉定位装置1进行内外参标定，用视觉定位装置1对已知规格的棋盘格拍摄不同角度的大约30组图片，将这大约30组图片导入MATLAB的双目标定工具箱stereoCameraCalibrator中进行标定，得到这两个单目相机的内参(内参矩阵、畸变参数等)和外参(两相机之间的位姿关系、基础矩阵等)；
S104，对自识别视觉标记进行三维模型视觉注册，其一般步骤为：第一，对第一和第二视觉标记从多个视角进行完整拍摄；第二，使用双目视觉重建技术，建立第一和第二视觉标记的三维模型。步骤一具体做法如下：固定双目相机，拍摄一组图片后手持开口器或控制机械臂旋转一定微小角度再拍摄一组图片，如此往复，旋转多个角度，保证所有的标记点都拍摄进去，相当于双目相机从多个视角拍摄了视觉标记。步骤二的具体做法如下：将第一个视角左边相机光心的坐标系作为注册坐标系，注册第一视觉标记时注册坐标系为O1，注册第二视觉标记时注册坐标系为O2；以注册第二视觉标记为例，在每个视角下，找到左右两个相机看到的共同标记点集(包括三个定位球)，通过两个相机的二维像素坐标三角测量推算出该点集在该视角下的三维坐标；对于相邻的两个视角，找到它们包含的已知三维坐标的共同标记点集，通过SVD分解的方法，求出这两个视角之间的旋转矩阵R和转移向量T；通过增量式的方法，求出每个视角相对于坐标系O2的旋转矩阵Ri和转移向量Ti(i＝2，3，...，N)，并将在第i个的视角中但不在第一个视角中的标记点通过旋转和平移关系，拼接到坐标系O2下，这样就得到了所有标记点在坐标系O2上的三维坐标，到此便完成了视觉标记的三维模型视觉注册，整个流程如图8所示；
S105，对建立好的坐标系进行标定，通过第一自识别视觉标记3上的所有标记点在坐标系O1上的三维坐标，在标记点附近建立机器人工作端坐标系Ooperator，得到第一自识别视觉标记3上所有标记点在坐标系Ooperator上的三维坐标；通过三个定位球分别在坐标系O2和在开口器坐标系Oopener中的三维坐标，使用SVD分解的方法求出坐标系O2和坐标系Oopener之间的相对位姿，得到第二自识别视觉标记4上所有标记点在坐标系Oopener上的三维坐标，各坐标系的标定关系如图9所示。
具体地，机器人做手术时，该系统可以通过检测和定位自识别视觉标记来为机器人提供实时的导航定位，具体的做法是：
首先把视觉定位装置1左边相机光心的坐标系作为Ocamera，双目相机检测第一和第二自识别视觉标记上的标记点，找到两视图中的公共标记点后，通过两视图的二维像素坐标三角测量推算出该点集在相机坐标系Ocamera下的三维坐标；接着依据S105中建立好了视觉标记在坐标系Oopener和坐标系Ooperator中的三维坐标，通过SVD分解的方法，解出坐标系Ocamera分别与坐标系Oopener和坐标系Ooperator之间的相对位姿，如图9所示；最后依据S102建立的坐标系Otarget和坐标系Oopener之间的相对位姿，得到机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿，整个流程如图10所示。
通过以上方法，本公开实施例提供的面向口腔咽喉部手术的跨模态导航定位方法便达到了导航定位的目标，并能达到实时性的要求，为医生观察方便起见，该系统将定位结果使用OpenGL库显示在控制主机的操作屏上。
需要说明的是，上述步骤S101～S105是手术之前的准备阶段的一个具体实例，在实际应用中并非必须完全按照步骤S101～S105的顺序执行，其中有些步骤是可以同时进行的，具体可参照图12，执行顺序是从上至下的，在手术中只需要完成视觉装置对视觉标记的检测和定位即可。
本公开实施例还提供了一种面向口腔咽喉部手术的跨模态导航定位设备，如图13所示，图13示意性示出了依照本公开实施例的面向口腔咽喉部手术的跨模态导航定位设备400的框图。该面向口腔咽喉部手术的跨模态导航定位设备400包括：一个或多个处理器410；存储器420，其存储有计算机可执行程序，该程序在被所述处理器410执行时，使得所述处理器410实现图11所示的面向口腔咽喉部手术的跨模态导航定位方法。
具体地，处理器410例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路ASIC)，等等。处理器410还可以包括用于缓存用途的板载存储器。处理器410可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
存储器420，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
存储器420可以包括计算机程序421，该计算机程序421可以包括代码/计算机可执行指令，其在由处理器410执行时使得处理器410执行根据本公开实施例的方法或其任何变形。
计算机程序421可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序421中的代码可以包括至少一个程序模块，例如包括模块421A、模块421B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器410执行时，使得处理器410可以执行根据本公开实施例的方法或其任何变形。
本公开实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的面向口腔咽喉部手术的跨模态导航定位方法。
根据本公开的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。
本公开还提供了一种计算机程序，该计算机程序包括：计算机可执行指令，所述指令被执行时用于实现根据本公开实施例的面向口腔咽喉部手术的跨模态导航定位方法。
至此，已经结合附图对本公开进行了详细描述。依据以上描述，本领域技术人员应当对本公开有了清楚的认识。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
当然，根据实际需要，本公开还可以包含其他的部分，由于同本公开的创新之处无关，此处不再赘述。
类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。
此外，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例。再者，附图中未绘示或描述的元件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
除非存在技术障碍或矛盾，本公开的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本公开的保护范围中。
虽然结合附图对本公开进行了说明，但是附图中公开的实施例旨在对本公开优选实施方式进行示例性说明，而不能理解为对本公开的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本公开的限制。
虽然本公开总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体公开构思的原则和精神的情况下，可对这些实施例做出改变，本公开的范围以权利要求和它们的等同物限定。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (22)

1.一种面向口腔咽喉部手术的跨模态导航定位系统，用于为手术机器人提供实时的导航定位，其特征在于，包括：
自制开口器，用于支撑口腔；
自识别视觉标记，用于辅助定位；
视觉定位装置，用于检测和定位自制开口器和手术机器人上的自识别视觉标记；
控制主机，用于在术前进行多源扫描数据的配准与融合、自识别视觉标记的三维模型的视觉注册以及各坐标系之间的标定，并在术中进行视觉定位装置对自识别视觉标记的实时检测与定位。
2.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述自制开口器包括固定连接的口内部分和口外部分，其中：
口内部分包括两侧壁和一顶面，两侧壁是双弧形结构，每个侧壁上有多个孔，以利于通过牙科硅橡胶印模材料将口腔内手术目标另一侧的牙齿与自制开口器无缝紧密贴合；顶面设置有三个定位球和一个支撑柱；
口外部分是圆柱形桶状结构，第二自识别视觉标记环绕在这个圆柱形桶状结构的外表面上。
3.根据权利要求2所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述口内部分整体呈倒凹形，在术中能够包裹于口腔内牙齿的两侧及顶部；顶面设置的三个定位球用于建立开口器坐标系，顶面设置的支撑柱用于支撑口腔。
4.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述自识别视觉标记是一个黑白块交替的棋盘格，包括设置于手术机器人机械臂表面的第一自识别视觉标记和设置于自制开口器表面的第二自识别视觉标记。
5.根据权利要求4所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，在所述黑白块交替的棋盘格中，对于由N×N个黑白块交替棋盘格构成的区域，在该区域内部至多包含N2个分布于各棋盘格中心的圆点，在该区域黑白块之间的红色交叉点是标记点，每个标记点都有唯一的标号。
6.根据权利要求4所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，
所述第一自识别视觉标记被立体地打印或做成贴纸贴在手术机器人易于被视觉定位装置检测到的机械臂上；
所述第二自识别视觉标记被立体地打印或做成贴纸贴在自制开口器口外部分的圆柱形桶状结构的外表面上。
7.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述视觉定位装置包括两个型号相同的单目工业相机，这两个型号相同的单目工业相机构成双目工业相机模组，且这两个型号相同的单目工业相机被固定在外部支架上。
8.根据权利要求7所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述视觉定位装置通过识别机械臂上的第一自识别视觉标记来建立相机与机械臂的位姿关系，通过识别自制开口器上的第二自识别视觉标记来建立相机与自制开口器之间的位姿关系。
9.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述控制主机为一台具有操作屏的工业控制计算机，所述导航定位系统在为手术机器人提供实时的导航定位时，将定位结果显示在所述控制主机的操作屏上。
10.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述控制主机在术前进行多源扫描数据的配准与融合，包括：
所述控制主机在术前在自制开口器包裹牙齿的内侧涂上硅橡胶材料，病患在手术目标的另一侧牙齿上戴上开口器并等待硅橡胶材料凝固成型，然后病患戴着自制开口器做核磁共振、CT和口腔扫描，最后再在所述控制主机上利用相关软件做多源扫描数据的配准与融合，建立口腔的三维模型。
11.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述控制主机在术前进行自识别视觉标记的三维模型的视觉注册，包括：
所述控制主机在术前控制所述视觉定位装置对第一自识别视觉标记和第二自识别视觉标记从多个角度进行完整拍摄，当拍摄第二自识别视觉标记时，需对三个定位球进行检测和定位，使用双目视觉重建技术，建立第一自识别视觉标记和第二自识别视觉标记的三维模型，即得到第一自识别视觉标记上的所有标记点在某个注册坐标系O1上的三维坐标和第二自识别视觉标记上的所有标记点在某个注册坐标系O2上的三维坐标。
12.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述控制主机在术前进行各坐标系之间的标定，包括：
所述控制主机在术前在建立好的口腔三维模型中手术目标的位置建立一个手术目标坐标系Otarget，使用自制开口器三个定位球建立一个开口器坐标系Oopener，在多源数据融合软件中获取这两个坐标系之间的相对位姿；通过第一视觉标记上的所有标记点在坐标系O1上的三维坐标，建立机器人工作端坐标系Ooperator，通过三个定位球分别在坐标系O2和在开口器坐标系Oopener中的三维坐标，求出坐标系O2和坐标系Oopener之间的相对位姿，进而求出第二视觉标记中的所有标记点在开口器坐标系Oopener中的三维坐标。
13.根据权利要求1所述的面向口腔咽喉部手术的跨模态导航定位系统，其特征在于，所述控制主机在术中进行视觉定位装置对自识别视觉标记的实时检测与定位，包括：
所述控制主机在术中控制所述视觉定位装置检测第一和第二视觉标记上的标记点，得到标记点在相机坐标系Ocamera上的三维坐标，进而解出坐标系Ocamera分别与坐标系Oopener和坐标系Ooperator之间的相对位姿，进而通过标定的结果，得到机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿。
14.一种面向口腔咽喉部手术的跨模态导航定位方法，采用权利要求1至13中任一项所述的导航定位系统，其特征在于，包括：
基于多源扫描数据的配准与融合，建立口腔的三维模型；
利用自识别视觉标记的三维模型的视觉注册，建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系；
利用各坐标系之间的标定，建立自制开口器上的视觉标记与手术目标之间的位姿关系；
检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位。
15.根据权利要求14所述的面向口腔咽喉部手术的跨模态导航定位方法，其特征在于，所述基于多源扫描数据的配准与融合，建立口腔的三维模型，包括：
术前在自制开口器包裹牙齿的内侧涂上硅橡胶材料，病患在手术目标的另一侧牙齿上戴上开口器并等待硅橡胶材料凝固成型，然后病患戴着自制开口器做核磁共振、CT和口腔扫描，最后再在所述控制主机上利用相关软件做多源扫描数据的配准与融合，建立口腔的三维模型。
16.根据权利要求14所述的面向口腔咽喉部手术的跨模态导航定位方法，其特征在于，所述利用自识别视觉标记的三维模型的视觉注册，建立手术机器人上的视觉标记与手术机器人工作端之间的位姿关系，具体包括：
所述控制主机控制所述视觉定位装置对第一自识别视觉标记和第二自识别视觉标记从多个角度进行完整拍摄，当拍摄第二自识别视觉标记时，需对三个定位球进行检测和定位，使用双目视觉重建技术，建立第一自识别视觉标记和第二自识别视觉标记的三维模型，即得到第一自识别视觉标记上的所有标记点在某个注册坐标系O1上的三维坐标和第二自识别视觉标记上的所有标记点在某个注册坐标系O2上的三维坐标。
17.根据权利要求14所述的面向口腔咽喉部手术的跨模态导航定位方法，其特征在于，所述利用各坐标系之间的标定，建立自制开口器上的视觉标记与手术目标之间的位姿关系，包括：
在建立好的口腔三维模型中手术目标的位置建立一个手术目标坐标系Otarget，使用自制开口器三个定位球建立一个开口器坐标系Oopener，在多源数据融合软件中获取这两个坐标系之间的相对位姿；通过第一视觉标记上的所有标记点在坐标系O1上的三维坐标，建立机器人工作端坐标系Ooperator，通过三个定位球分别在坐标系O2和在开口器坐标系Oopener中的三维坐标，求出坐标系O2和坐标系Oopener之间的相对位姿，进而求出第二视觉标记中的所有标记点在开口器坐标系Oopener中的三维坐标。
18.根据权利要求14所述的面向口腔咽喉部手术的跨模态导航定位方法，其特征在于，所述检测自制开口器和手术机器人上的视觉标记，对自识别视觉标记进行实时检测与定位，包括：
所述视觉定位装置检测第一和第二视觉标记上的标记点，得到标记点在相机坐标系Ocamera上的三维坐标，进而解出坐标系Ocamera分别与坐标系Oopener和坐标系Ooperator之间的相对位姿，进而通过标定的结果，得到机器人工作端坐标系Ooperator与手术目标坐标系Otarget之间的相对位姿。
19.根据权利要求14所述的面向口腔咽喉部手术的跨模态导航定位方法，其特征在于，该方法在对自识别视觉标记进行实时检测与定位之后，还包括：
所述控制主机实时计算手术机器人工作端与手术目标之间的位姿关系，并显示在控制主机的操作屏上，实现面向口腔咽喉部手术的跨模态导航定位。
20.一种面向口腔咽喉部手术的跨模态导航定位设备，其特征在于，包括：
一个或多个处理器；
存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器实现权利要求14-19中任一项所述的面向口腔咽喉部手术的跨模态导航定位方法。
21.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令被执行时实现权利要求14-19中任一项所述的面向口腔咽喉部手术的跨模态导航定位方法。
22.一种计算机程序，其特征在于，包括：计算机可执行指令，所述指令被执行时用于实现权利要求14-19中任一项所述的面向口腔咽喉部手术的跨模态导航定位方法。
CN202110898962.3A 2021-08-05 2021-08-05 一种面向口腔咽喉部手术的跨模态导航定位系统及方法 Active CN113693723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110898962.3A CN113693723B (zh) 2021-08-05 2021-08-05 一种面向口腔咽喉部手术的跨模态导航定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110898962.3A CN113693723B (zh) 2021-08-05 2021-08-05 一种面向口腔咽喉部手术的跨模态导航定位系统及方法

Publications (2)

Publication Number Publication Date
CN113693723A true CN113693723A (zh) 2021-11-26
CN113693723B CN113693723B (zh) 2022-10-04

Family

ID=78652083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110898962.3A Active CN113693723B (zh) 2021-08-05 2021-08-05 一种面向口腔咽喉部手术的跨模态导航定位系统及方法

Country Status (1)

Country Link
CN (1) CN113693723B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224489A (zh) * 2021-12-12 2022-03-25 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN114587650A (zh) * 2022-02-06 2022-06-07 上海诠视传感技术有限公司 一种基于混合现实技术的牙齿根管口治疗辅助导航的方法及系统
CN115568946A (zh) * 2022-10-20 2023-01-06 北京大学 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质
CN116077182A (zh) * 2022-12-23 2023-05-09 北京纳通医用机器人科技有限公司 一种医用手术机器人控制方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1527417A2 (en) * 2002-07-01 2005-05-04 Claron Technology Inc. A video pose tracking system and method
JP2010259497A (ja) * 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20140272773A1 (en) * 2013-03-14 2014-09-18 X-Nav Technologies, LLC Image Guided Navigation System
CN105411677A (zh) * 2014-09-16 2016-03-23 X-Nav技术有限责任公司 用于探测和追踪图像姿态的图像导航系统
US20160135904A1 (en) * 2011-10-28 2016-05-19 Navigate Surgical Technologies, Inc. System and method for real time tracking and modeling of surgical site
CN106037964A (zh) * 2016-08-16 2016-10-26 苏州迪凯尔医疗科技有限公司 基于印模材料的医学图像配准方法
US20170290554A1 (en) * 2016-04-06 2017-10-12 X-Nav Technologies, LLC System for providing probe trace fiducial-free tracking
WO2019171381A1 (en) * 2018-03-07 2019-09-12 Michel Dadi A system and kit for guiding an oral surgery and method thereof
CN112545650A (zh) * 2020-12-11 2021-03-26 广州医科大学附属口腔医院（广州医科大学羊城医院） 一种用于牙科的导航定位方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1527417A2 (en) * 2002-07-01 2005-05-04 Claron Technology Inc. A video pose tracking system and method
JP2010259497A (ja) * 2009-04-30 2010-11-18 Osaka Univ 網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法
US20160135904A1 (en) * 2011-10-28 2016-05-19 Navigate Surgical Technologies, Inc. System and method for real time tracking and modeling of surgical site
US20140272773A1 (en) * 2013-03-14 2014-09-18 X-Nav Technologies, LLC Image Guided Navigation System
CN105411677A (zh) * 2014-09-16 2016-03-23 X-Nav技术有限责任公司 用于探测和追踪图像姿态的图像导航系统
US20170290554A1 (en) * 2016-04-06 2017-10-12 X-Nav Technologies, LLC System for providing probe trace fiducial-free tracking
CN106037964A (zh) * 2016-08-16 2016-10-26 苏州迪凯尔医疗科技有限公司 基于印模材料的医学图像配准方法
WO2019171381A1 (en) * 2018-03-07 2019-09-12 Michel Dadi A system and kit for guiding an oral surgery and method thereof
CN112545650A (zh) * 2020-12-11 2021-03-26 广州医科大学附属口腔医院（广州医科大学羊城医院） 一种用于牙科的导航定位方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114224489A (zh) * 2021-12-12 2022-03-25 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN114224489B (zh) * 2021-12-12 2024-02-13 浙江德尚韵兴医疗科技有限公司 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
CN114587650A (zh) * 2022-02-06 2022-06-07 上海诠视传感技术有限公司 一种基于混合现实技术的牙齿根管口治疗辅助导航的方法及系统
CN114587650B (zh) * 2022-02-06 2024-06-11 上海诠视传感技术有限公司 一种基于混合现实技术的牙齿根管口治疗辅助导航的方法及系统
CN115568946A (zh) * 2022-10-20 2023-01-06 北京大学 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质
CN116077182A (zh) * 2022-12-23 2023-05-09 北京纳通医用机器人科技有限公司 一种医用手术机器人控制方法、装置、设备及介质
CN116077182B (zh) * 2022-12-23 2024-05-28 北京纳通医用机器人科技有限公司 一种医用手术机器人控制方法、装置、设备及介质

Also Published As

Publication number Publication date
CN113693723B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN113693723B (zh) 一种面向口腔咽喉部手术的跨模态导航定位系统及方法
JP7443353B2 (ja) 位置及び方向（ｐ＆ｄ）追跡支援の光学的視覚化を使用したコンピュータ断層撮影（ｃｔ）画像の補正
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
EP3413829B1 (en) Systems of pose estimation and calibration of perspective imaging system in image guided surgery
US10165981B2 (en) Surgical navigation method
ES2666238T3 (es) Método de adquisición automatizada y asistida de superficies anatómicas
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
US20210379406A1 (en) Research and development of augmented reality in radiotherapy
Hayashibe et al. Laser-scan endoscope system for intraoperative geometry acquisition and surgical robot safety management
US20230000565A1 (en) Systems and methods for autonomous suturing
CN111345898B (zh) 激光手术路径引导方法、及其计算机设备和系统
CN110236674A (zh) 一种基于结构光扫描的肝脏手术导航方法及系统
CN109009438B (zh) 柔性无创定位装置及其在术中手术路径规划的应用及系统
TW202010477A (zh) 醫療手術導航方法及機器人系統
CN109674532A (zh) 基于mr的手术导航系统及其设备、方法和存储介质
CN107847278A (zh) 光学靶向和轨迹可视化
BRPI0709421A2 (pt) sistema de mediação de posição de uma ferramenta manual, método para guiar a extremidade distl de uma ferramenta e atadura
CN109498156A (zh) 一种基于三维扫描的头部手术导航方法
Ha et al. Robust catheter tracking by fusing electromagnetic tracking, fiber bragg grating and sparse fluoroscopic images
CN103948432A (zh) 术中立体内窥视频与超声图像增强现实算法
WO2017107116A1 (zh) 微创手术导航系统
CN108969099B (zh) 一种校正方法、手术导航系统、电子设备及存储介质
US20120004541A1 (en) Surgery assistance system
Jiang et al. Optical positioning technology of an assisted puncture robot based on binocular vision
CN116831729A (zh) 一种手术机器人内窥镜视野下器械提示方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant