CN115568946B - 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质 - Google Patents

用于口腔咽喉部手术的轻量级导航定位系统、方法及介质 Download PDF

Info

Publication number
CN115568946B
CN115568946B CN202211288273.1A CN202211288273A CN115568946B CN 115568946 B CN115568946 B CN 115568946B CN 202211288273 A CN202211288273 A CN 202211288273A CN 115568946 B CN115568946 B CN 115568946B
Authority
CN
China
Prior art keywords
coordinate system
oral cavity
camera
oral
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211288273.1A
Other languages
English (en)
Other versions
CN115568946A (zh
Inventor
喻俊志
胡耀清
朱明珠
李东岳
王绍安
原福松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202211288273.1A priority Critical patent/CN115568946B/zh
Publication of CN115568946A publication Critical patent/CN115568946A/zh
Application granted granted Critical
Publication of CN115568946B publication Critical patent/CN115568946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient

Abstract

本申请公开了一种用于口腔咽喉部手术的轻量级导航定位系统、方法及介质，所述用于口腔咽喉部手术的轻量级导航定位系统包括：环形曲面板，所述环形曲面板上带有自识别视觉标记，用于作为导航定位的参照物；口腔定位器，用于口腔定位，其中，所述口腔定位器上安装有第一相机以及至少三个基准球；牙科手术器械，用于执行口腔咽喉部手术，其中，所述牙科手术器械上安装有第二相机；控制主机，用于在术中通过对所述环形曲面板上的自识别视觉标记进行实时检测与定位，进行口腔导航定位。本申请解决了口腔咽喉部手术过程中病人和医生的舒适性偏低的技术问题。

Description

用于口腔咽喉部手术的轻量级导航定位系统、方法及介质
技术领域
本申请涉及口腔咽喉部手术领域，尤其涉及一种用于口腔咽喉部手术的轻量级导航定位系统、方法及介质。
背景技术
在现代医学中，口腔咽喉部是一个狭窄、敏感和复杂的区域，暴露不良，周围有许多重要的神经，因此在进行口腔咽喉部手术时的精确度是至关重要的，目前用于口腔手术的导航定位系统是基于视觉跟踪的，因为视觉跟踪有比其他方式更高的鲁棒性和精确性。当前已大规模应用的导航定位系统主要依靠双目相机的长基线以及较大的视觉标记来实现高精度导航定位，但这同时也带来了高昂的硬件成本，并且因为口腔定位器和手术器械上用于进行视觉跟踪的视觉标记的载体的重量偏高和体积偏大，导致了病人和医生在做手术过程中的舒适性偏低。
发明内容
本申请的主要目的在于提供一种用于口腔咽喉部手术的轻量级导航定位系统、方法及介质，旨在解决口腔咽喉部手术过程中病人和医生的舒适性偏低的技术问题。
为实现上述目的，本申请提供一种用于口腔咽喉部手术的轻量级导航定位系统，所述用于口腔咽喉部手术的轻量级导航定位系统包括：
环形曲面板，所述环形曲面板上带有自识别视觉标记，用于作为导航定位的参照物；
口腔定位器，用于口腔定位，其中，所述口腔定位器上安装有第一相机以及至少三个基准球；
牙科手术器械，用于执行口腔咽喉部手术，其中，所述牙科手术器械上安装有第二相机；
控制主机，用于在术前执行所述口腔定位器上的第一相机与口腔三维模型的配准以及所述牙科手术器械的手术工作端与第二相机标定，并在术中通过对所述环形曲面板上的自识别视觉标记进行实时检测与定位，进行口腔导航定位。
可选地，所述环形曲面板上附带所述自识别视觉标记，所述自识别视觉标记是一种黑白块交替的棋盘格图案，其中，各所述黑白块中至多包含一个圆点，所述圆点用于对所述自识别视觉标记进行编码，在所述棋盘格的区域黑白格之间的交叉点为标记点，各所述标记点具有对应的标号。
可选地，所述口腔定位器包括口外部分和口内部分，其中，所述口外部分包括所述第一相机，所述第一相机用于检测所述自识别视觉标记；所述口内部分整体呈倒凹形，用于包裹口腔内牙齿的咬合面、颊面以及舌面，所述口内部分至少包括三个基准球，所述基准球用于建立口腔三维模型和确定所述第一相机的位姿。
可选地，所述牙科手术器械的上安装有所述第二相机，所述第二相机用于检测所述自识别视觉标记。
可选地，所述控制主机用于在术中控制所述第一相机对所述自识别视觉标记进行检测，基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记坐标系中的三维坐标计算得到第一相机坐标系与所述标记坐标系之间的第二位姿；根据所述第一相机坐标系与口腔三维模型的坐标系之间的第一位姿以及所述第二位姿，求出所述口腔三维模型下的坐标系与所述标记坐标系之间的第三位姿；根据所述第三位姿，将所述口腔三维模型投射到所述标记坐标系中，得到所述口腔三维模型在所述标记坐标系中的三维坐标；控制所述第二相机对所述自识别视觉标记进行检测，基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记坐标系中的三维坐标计算得到第二相机坐标系与所述标记坐标系之间的第四位姿；根据所述牙科所述器械的手术工作端在所述第二相机坐标系下的三维工作坐标以及所述第四位姿，求出所述手术工作端在所述标记坐标系下的三维坐标；根据得到所述口腔三维模型与所述手术工作端分别在所述标记坐标系中的三维坐标，以进行口腔导航定位。
可选地，所述控制主机用于在术前对手术病患在佩戴所述口腔定位器时对应的多源扫描数据进行配准与融合，建立所述口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，标定出所述第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；获取所述自识别视觉标记在不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；将所述牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在所述第二相机坐标系下的三维工作坐标。
可选地，所述控制主机用于控制所述第一相机获取至少三个基准球共同在至少三个不同位置下的拍摄图像；提取各所述拍摄图像中基准球的中心二维像素位置，再根据所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标以及各所述中心二维像素位置，标定出所述第一相机坐标系与所述口腔三维模型的坐标系之间的第一位姿。
可选地，所述控制主机用于控制所述第二相机拍摄所述环形曲面板上的自识别视觉标记或标准棋盘格标定板至少六张不同角度的图像，其中，在拍摄的过程中，所述手术工作端的位置不变；分析各所述图像，确定所述第二相机与所述标记三维模型下坐标系或标准棋盘格标定板坐标系在各所述图像中的位姿；根据各所述第二相机与所述标记三维模型下坐标系的位姿，确定所述手术工作端在所述第二相机坐标系下的三维工作坐标。
本申请还提供一种用于口腔咽喉部手术的轻量级导航定位方法，所述用于口腔咽喉部手术的轻量级导航定位方法采用了所述用于口腔咽喉部手术的轻量级导航定位系统，所述用于口腔咽喉部手术的轻量级导航定位方法包括：
通过控制主机对手术病患在佩戴口腔定位器时对应的多源扫描数据进行配准与融合，建立口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；
基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，对所述口腔定位器上的第一相机与口腔三维模型进行配准，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；
获取自识别视觉标记的不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；
将牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在第二相机坐标系下的三维工作坐标；
基于所述口腔三维模型、所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标、所述第一位姿以及所述三维工作坐标，通过所述第一相机与所述第二相机对所述自识别视觉标记进行检测，将所述口腔三维模型与所述手术工作端统一在所述标记三维模型的坐标系中，以进行口腔导航定位。
本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述用于口腔咽喉部手术的轻量级导航定位方法的程序，所述用于口腔咽喉部手术的轻量级导航定位方法的程序被处理器执行时可实现如上述的用于口腔咽喉部手术的轻量级导航定位方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现用于口腔咽喉部手术的轻量级导航定位方法的程序，所述用于口腔咽喉部手术的轻量级导航定位方法的程序被处理器执行时实现如上述的用于口腔咽喉部手术的轻量级导航定位方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的用于口腔咽喉部手术的轻量级导航定位方法的步骤。
本申请提供了一种用于口腔咽喉部手术的轻量级导航定位系统、方法及介质，所述用于口腔咽喉部手术的轻量级导航定位系统包括：环形曲面板，所述环形曲面板上带有自识别视觉标记，用于作为导航定位的参照物；口腔定位器，用于口腔定位，其中，所述口腔定位器上安装有第一相机以及至少三个基准球；牙科手术器械，用于执行口腔咽喉部手术，其中，所述牙科手术器械上安装有第二相机；控制主机，用于在术中通过对所述环形曲面板上的自识别视觉标记进行实时检测与定位，进行口腔导航定位。本申请通过在口腔定位器和牙科手术器械上安装相机，并通过控制主机在术中实时检测所述自识别视觉标记，进行导航定位，有效地克服了口腔定位器和手术器械上安装视觉标造成的重量偏高和体积偏大的技术缺陷，降低了口腔定位器和手术器械的重量，提高了病人和医生在做手术过程中的舒适性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请用于口腔咽喉部手术的轻量级导航定位系统的硬件组成的整体结构示意图；
图2为本申请用于口腔咽喉部手术的轻量级导航定位系统的各坐标系之间的位姿示意图；
图3为本申请用于口腔咽喉部手术的轻量级导航定位系统的带自识别视觉标记的环形曲面板示意图；
图4为本申请用于口腔咽喉部手术的轻量级导航定位系统的带第一相机的口腔定位器示意图；
图5为本申请用于口腔咽喉部手术的轻量级导航定位系统的带第二相机的手术器械示意图；
图6为本申请用于口腔咽喉部手术的轻量级导航定位系统的控制主机示意图；
图7为本申请用于口腔咽喉部手术的轻量级导航定位方法实施例二的流程示意图；
图8为本申请用于口腔咽喉部手术的轻量级导航定位系统的术前多源扫描数据的配准与融合过程示意图；
图9为本申请用于口腔咽喉部手术的轻量级导航定位系统的术前口腔定位器上的第一相机与口腔三维模型的配准过程示意图；
图10为本申请用于口腔咽喉部手术的轻量级导航定位系统的术前环形曲面板上自识别视觉标记的三维模型重建过程示意图；
图11为本申请用于口腔咽喉部手术的轻量级导航定位系统的术前手术器械的手术工作端与第二相机标定过程示意图；
图12为本申请执行所述用于口腔咽喉部手术的轻量级导航定位方法设计的电子设备的结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本申请保护的范围。
实施例一
为解决口腔咽喉部手术过程中病人和医生的舒适性偏低的技术问题，本申请实施例提供一种用于口腔咽喉部手术的轻量级导航定位系统，图1为本申请用于口腔咽喉部手术的轻量级导航定位系统的硬件组成的整体结构示意图，包括：环形曲面板1、安装有第一相机的口腔定位器2、安装有第二相机的手术器械3和控制主机4；其中，所述自识别视觉标记覆盖在环形曲面板1上，并环绕着手术区，所述自识别视觉标记作为口腔定位器2上的第一相机和手术器械3上的第二相机进行视觉跟踪的参照物，5为手术病患，控制主机4用于在手术之前执行多源扫描数据的配准与融合、所述口腔定位器上的第一相机与口腔三维模型的配准、自识别视觉标记的三维模型建立、所述牙科手术器械的手术工作端与相机标定，并进行各所述相机对所述自识别视觉标记的实时检测与定位，在手术过程中控制主机的显示屏实时显示第一相机的视野、第二相机的视野以及口腔三维模型和手术器械在自识别视觉标记的三维模型下的标记坐标系中的位姿。
图2为本申请用于口腔咽喉部手术的轻量级导航定位系统的各坐标系之间的位姿示意图，其中口腔三维模型6的口腔三维坐标系为{O}，其中，所述口腔三维模型在术前的CT图像重建口腔模型过程中被建立，所述口腔三维坐标系下包含口腔内每个点的三维坐标；所述自识别视觉标记的三维模型对应的标记坐标系为{M}，其中，所述自识别视觉标记的三维模型在双目立体视觉重建过程中被建立，所述标记坐标系下包含了所有自识别视觉标记的三维坐标，所述口腔定位器上的第一相机坐标系为{Cc}，所述牙科手术器械上的第二相机坐标系为{Ch}。
本申请实施例提供一种环形曲面板，如图3所示，所述环形曲面板上附带有覆盖在黑白棋盘格上的自识别视觉标记，所述环形曲面板有可以由3D打印或机加工制成，所述环形曲面板用于在口腔咽喉部手术过程中安置在术区周围，所述环形曲面板的内表面设置覆盖有自识别视觉标记，所述自识别视觉标记为一种黑白块交替的棋盘格图案，其中，各所述黑白块中至多包含一个圆点，所述圆点用于对所述自识别视觉标记进行编码，在所述棋盘格的区域黑白格之间的交叉点为标记点，各所述标记点具有对应的标号，使得每个标记点都有唯一的特征，只需检测到3×3个完整的色块，就能识别所述3×3色块对应的标记点的标号。
作为一种示例，本申请实施例中的环形曲面板，所述环形曲面板中的自识别视觉标记以密集且均匀的分布方式占据了所述口腔定位器和所述牙科手术器械上安装的微型相机的相机视野，用于提升相机的定位精度，另外，所述棋盘格一共包含2×14×7个完整的色块，色块颜色为黑白块交替分布，标记点个数是2×15×8＝240个。
本申请实施例提供一种口腔定位器，用于口腔定位，如图4所示，包括口外部分和口内部分，其中，所述口外部分是包括相机架，上面安装有第一相机8，所述第一相机用于检测外部的带自识别视觉标记的环形曲面板；所述口内部分9整体呈倒凹形，共有三个表面，包括一顶面和两侧壁，用于在术中包裹口腔内牙齿的咬合面、颊面和舌面；各所述表面有若干小孔，以利于通过牙科硅橡胶印模材料将口腔内手术病患另一侧的牙齿与所述口腔定位器无缝紧密贴合；两侧壁为双弧形结构，所述双弧形结构的曲率与包裹的牙齿曲率一致；三个表面上设置了至少三个基准球10，用于建立口腔模型和口外相机的位姿。
作为一种优选，本申请实施例中的第一相机为微型相机，所述微型相机为普通的日常使用的USB(Universal Serial Bus，通用串行总线)相机，分辨率为1920×1080，帧率为30fps，尺寸为38mm×38mm×27mm，口内部分的两侧壁分别有两个基准球，顶面有三个基准球，共七个基准球。
作为一种优选，本申请实施例中的基准球，材质为氧化锆，直径为4mm。
本申请实施例提供一种手术器械，如图5所示，所述手术工作端11的另一端上安装有第二相机12，所述第二相机用于检测外部的带自识别视觉标记的环形曲面板。
作为一种示例，本实施例中的牙科手术器械，为牙科手机，为牙科手术中常用的手术器械，本实施例牙科手机上的第二相机和本实施例中的口腔定位器上的第一相机完全相同。
本申请实施例提供的一种控制主机，如图6所示，所述控制主机用于执行多源扫描数据的配准与融合、所述口腔定位器上的第一相机与口腔三维模型的配准、自识别视觉标记的三维模型建立、所述牙科手术器械的手术工作端与相机标定，并进行各所述相机对所述自识别视觉标记的实时检测与定位，从而达到口腔咽喉部手术中导航定位的目的。
作为一种示例，本实施例中的控制主机为一台具有操作屏的工业控制计算机，手术过程中，显示屏用于实时显示两个微型相机的视野以及口腔三维模型中各点和手术器械在标记坐标系{M}中的位姿，所述控制主机得到配置为i7-10070E，RAM(random accessmemory，随机存取存储器)为32G。
所述控制主机用于在术中控制所述第一相机对所述自识别视觉标记进行检测，基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记坐标系中的三维坐标计算得到第一相机坐标系与所述标记坐标系之间的第二位姿；根据所述第一相机坐标系与口腔三维模型的坐标系之间的第一位姿以及所述第二位姿，求出所述口腔三维模型下的坐标系与所述标记坐标系之间的第三位姿；根据所述第三位姿，将所述口腔三维模型投射到所述标记坐标系中，得到所述口腔三维模型在所述标记坐标系中的三维坐标；控制所述第二相机对所述自识别视觉标记进行检测，基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记坐标系中的三维坐标计算得到第二相机坐标系与所述标记坐标系之间的第四位姿；根据所述牙科所述器械的手术工作端在所述第二相机坐标系下的三维工作坐标以及所述第四位姿，求出所述手术工作端在所述标记坐标系下的三维坐标；根据得到所述口腔三维模型与所述手术工作端分别在所述标记坐标系中的三维坐标，以进行口腔导航定位。
作为一种示例，所述控制主机用于在术中控制所述口腔定位器上的第一相机，检测环形曲面板上的自识别视觉标记，并基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记三维模型下的标记坐标系中的三维坐标确定所述第一相机坐标系{Cc}在所述标记坐标系{M}中的第二位姿
Figure BDA0003900751760000091
再根据所述第一相机坐标系{Cc}与所述口腔坐标系{O}之间的第一位姿
Figure BDA0003900751760000092
与所述第二位姿
Figure BDA0003900751760000093
确定所述口腔坐标系{O}相对于所述标记坐标系{M}的第三位姿MTO；根据所述第三位姿MTO，将所述口腔三维模型投射到所述标记坐标系{M}中，得到所述口腔三维模型中各点在所述标记坐标系{M}中的三维坐标；通过所述牙科手术器械上的第二相机检测所述环形曲面板上的自识别视觉标记，基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记三维模型下的标记坐标系中的三维坐标确定所述第二相机坐标系{Ch}在所述标记坐标系{M}中的第四位姿
Figure BDA0003900751760000094
再根据牙科手术器械的手术工作端在所述相机坐标系{Ch}中的三维工作坐标
Figure BDA0003900751760000095
与所述第四位姿
Figure BDA0003900751760000096
得到所述牙科手术器械的手术工作端在标记坐标系{M}中的三维坐标Mpivot；根据所述口腔三维模型中各点在所述标记坐标系{M}中的三维坐标与所述牙科手术器械的手术工作端在标记坐标系{M}中的三维坐标Mpivot，将所述口腔模型和所述手术工作端统一在标记坐标系{M}中，以生成口腔咽喉部手术中的导航定位信息，所述导航定位信息用于为医师或手术机器人提供执行手术提供参考。
其中，所述控制主机用于在术前对手术病患在佩戴所述口腔定位器时对应的多源扫描数据进行配准与融合，建立所述口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，标定出所述第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；获取所述自识别视觉标记在不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；将所述牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在所述第二相机坐标系下的三维工作坐标。
作为一种示例，所述控制主机用于获取手术病患在佩戴口腔定位器情况下的核磁共振扫描数据、CT扫描数据和口腔扫描数据；根据所述核磁共振扫描数据、所述CT扫描数据和所述口腔扫描数据进行配准与融合，以建立手术病患的口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；基于各所述基准球对应的坐标，通过镜面标定技术对所述口腔定位器上的第一相机与各基准球进行标定，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；通过所述控制主机控制双目相机获取所述自识别视觉标记对应的棋盘格在各预设角度下的拍摄图像，根据各预设角度下的拍摄图像，建立所述棋盘格中各标记点对应的标记三维模型以及各所述标记点的三维标记点坐标；获取所述牙科手术器械的手术工作端在固定位置情况下，通过所述控制主机控制所述第二相机在不同角度下拍摄的所述自识别视觉标记的拍摄图像；基于各所述拍摄图像中所述第二相机相对于所述标记三维模型的标记坐标系的位姿，求得所述手术工作端在第二相机坐标系下的三维工作坐标。
其中，所述控制主机用于控制所述第一相机获取至少三个基准球共同在至少三个不同位置下的拍摄图像；提取各所述拍摄图像中基准球的中心二维像素位置，再根据所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标以及各所述中心二维像素位置，标定出所述第一相机坐标系与所述口腔三维模型的坐标系之间的第一位姿。
作为一种示例，所述控制主机用于在术前控制所述第一相机获取前表面反射镜在不同位置上时所述第一相机拍摄到的拍摄图像，其中,所述第一相机能拍摄到至少三个基准球；提取各所述拍摄图像中各基准球的中心二维像素坐标，根据各基准球在所述口腔三维模型的坐标系下的三维坐标以及各所述中心二维像素坐标，通过镜面标定法标定所述第一相机坐标系{Cc}与所述口腔三维模型的口腔坐标系{O}之间的第一位姿
Figure BDA0003900751760000111
其中，所述控制主机用于控制所述第二相机拍摄所述环形曲面板上的自识别视觉标记或标准棋盘格标定板至少六张不同角度的图像，其中，在拍摄的过程中，所述手术工作端的位置不变；分析各所述图像，确定所述第二相机与所述标记三维模型下坐标系或标准棋盘格标定板坐标系在各所述图像中的位姿；根据各所述第二相机与所述标记三维模型下坐标系的位姿，确定所述手术工作端在所述第二相机坐标系下的三维工作坐标。
作为一种示例，所述控制主机用于在术前在所述牙科手机的尖端固定在凹槽坑的情况下，通过所述控制主机控制所述第二相机获取不同角度下的覆盖在弧形曲面板上的自识别视觉标记或标准棋盘格标定板至少六张图像；根据各所述图像，标定所述第二相机相对于标记坐标系{M}或标准棋盘格标定板坐标系的位姿；根据各所述第二相机与所述标记三维模型下坐标系或标准棋盘格标定板坐标系的位姿，标定所述手术工作端在所述第二相机坐标系下的三维工作坐标。
本申请实施例提供了一种用于口腔咽喉部手术的轻量级导航定位系统，所述用于口腔咽喉部手术的轻量级导航定位系统包括：环形曲面板，所述环形曲面板上带有自识别视觉标记，用于作为导航定位的参照物；口腔定位器，用于口腔定位，其中，所述口腔定位器上安装有第一相机以及至少三个基准球；牙科手术器械，用于执行口腔咽喉部手术，其中，所述牙科手术器械上安装有第二相机；控制主机，用于在术中通过对所述环形曲面板上的自识别视觉标记进行实时检测与定位，进行口腔导航定位。本申请实施例通过在口腔定位器和手术器械上安装微型相机，以检测所述自识别视觉标记实现导航定位，克服了需要在口腔定位器和手术器械上安装自识别视觉标记造成的重量偏高和体积偏大的技术缺陷，降低了口腔定位器和手术器械等手术工具的重量，提高了病人和医生在做手术过程中的舒适性，并降低了硬件成本。
实施例二
进一步地，基于本申请第一实施例，在本申请另一实施例中，与上述实施例一相同或相似的内容，可以参考上文介绍，后续不再赘述。在此基础上，本申请实施例提供一种用于口腔咽喉部手术的轻量级导航定位方法，所述用于口腔咽喉部手术的轻量级导航定位方法采用了本申请第一实施例的用于口腔咽喉部手术的轻量级导航定位系统，参照图7，所述用于口腔咽喉部手术的轻量级导航定位方法包括：
步骤S10，通过控制主机对手术病患在佩戴口腔定位器时对应的多源扫描数据进行配准与融合，建立口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；
步骤S20，基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，对所述口腔定位器上的第一相机与口腔三维模型进行配准，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；
步骤S30，获取自识别视觉标记的不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；
步骤S40，将牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在第二相机坐标系下的三维工作坐标；
步骤S50，基于所述口腔三维模型、所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标、所述第一位姿以及所述三维工作坐标，通过所述第一相机与所述第二相机对所述自识别视觉标记进行检测，将所述口腔三维模型与所述手术工作端统一在所述标记三维模型的坐标系中，以进行口腔导航定位。
在本申请实施例中，需要说明的是，步骤S10至步骤S20之间为递进关系，当步骤S40中第二相机拍摄对象为环形曲面板上的自识别视觉标记时，步骤S30至步骤S40之间为递进关系，而当步骤S40中第二相机拍摄对象为标准棋盘格标定板时，步骤S30、步骤S40不存在先后顺序关系，同时，步骤S30、步骤S40两个步骤与步骤S10以及步骤S20之间不存在先后顺序关系，即作为另一种示例，在步骤S10与步骤S20的先后顺序不改变的情况下，步骤S30、步骤S40两个步骤可能有先后顺序，取决于步骤S40中的拍摄对象是否为环形曲面板上的自识别视觉标记，所涉及的技术方案均在本申请实施例的范围内，所述多源扫描数据包括核磁共振扫描数据、CT(Computed Tomography，电子计算机断层扫描)扫描数据和口腔扫描数据；所述自识别视觉标记为一块黑白块交替的棋盘格，所述棋盘格中包括具有唯一标号的各标记点；所述第一相机与所述第二相机均为微型相机，可以完全一致，用于减轻所述口腔定位器与所述牙科手术器械的重量；所述牙科手术器械可以为牙科手术器械，作为一种示例，所述牙科手术器械为牙科手机，所述手术工作端为牙科手机的尖端。
作为一种示例，步骤S10至步骤S50包括：获取手术病患在佩戴口腔定位器情况下的核磁共振扫描数据、CT扫描数据和口腔扫描数据；根据所述核磁共振扫描数据、所述CT扫描数据和所述口腔扫描数据进行配准与融合，以建立手术病患的口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，通过镜面标定技术对所述口腔定位器上的第一相机与各基准球进行标定，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；通过双目相机获取所述自识别视觉标记对应的棋盘格在各预设角度下的拍摄图像；根据各预设角度下的拍摄图像，建立自识别视觉标记的标记点坐标系及标记三维模型，得到自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；获取牙科手术器械的手术工作端在固定位置情况下，通过所述第二相机在不同角度下拍摄的所述环形曲面板上的自识别视觉标记的拍摄图像；基于各所述拍摄图像中所述第二相机相对于所述标记三维模型的标记坐标系的位姿，求得所述手术工作端在第二相机坐标系下的三维工作坐标；基于所述口腔三维模型、所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标、所述第一位姿以及所述三维工作坐标，并通过所述第一相机与所述第二相机对所述自识别视觉标记进行检测，求得所述口腔三维模型在所述标记坐标系中的三维坐标以及所述手术工作端在所述标记坐标系下的三维坐标，以实现所述口腔三维模型与所述手术工作端统一在所述标记三维模型的坐标系中，便于进行口腔导航定位。
其中，所述通过控制主机对手术病患在佩戴口腔定位器时对应的多源扫描数据进行配准与融合，建立口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标的步骤包括：
步骤S11，获取手术病患在戴着口腔定位器的情况下对应的核磁共振结果、CT结果和口腔扫描结果，生成多源扫描数据；
步骤S12，通过控制主机以及融合软件对所述多源扫描数据进行融合配准，建立所述口腔三维模型；
步骤S13，在所述口腔三维模型的坐标系下读取各所述基准球的三维坐标。
在本申请实施例中，需要说明的是，所述融合软件为Geomagic Studio(逆向工程软件)，其中，融合的数据至少包括多层二维的CT图像重建的三维CT口腔模型(图8左上)和口腔扫描仪扫描得到的牙齿表面的三维模型(图8右上)。
其中，基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，对所述口腔定位器上的第一相机与口腔三维模型进行配准，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿的步骤包括：
步骤S21，通过所述第一相机获取至少三个基准球共同在至少三个不同位置下的拍摄图像；
步骤S22，提取各所述拍摄图像中基准球的中心二维像素位置，再根据各所述基准球在所述口腔三维模型的坐标系下的三维坐标以及各所述中心二维像素位置，标定所述第一相机与各所述基准球的位姿；
步骤S23，根据各所述基准球与所述口腔三维模型的坐标系之间的位姿以及所述第一相机与各所述基准球的位姿，确定所述第一相机坐标系与所述口腔三维模型的坐标系之间的第一位姿。
在本申请实施例中，需要说明的是，所述拍摄图像中至少包括三个不同位置的基准球。
作为一种示例，步骤S21至步骤S23包括：通过所述第一相机以及前表面反射镜，获取所述前表面反射镜在不同位置上时所述第一相机拍摄到的拍摄图像，其中,所述第一相机能拍摄到至少三个基准球；提取各所述拍摄图像中各基准球的中心二维像素坐标，根据各所述基准球在所述口腔三维模型的坐标系下的三维坐标以及各所述中心二维像素坐标，通过镜面标定法标定所述第一相机与各所述基准球的位姿；根据各所述基准球与所述口腔三维模型的坐标系之间的位姿以及所述第一相机与各所述基准球的位姿，通过镜面标定法标定所述第一相机坐标系与所述口腔三维模型的口腔坐标系之间的第一位姿
Figure BDA0003900751760000151
作为一种示例，参考图9，所述镜面标定法包括：
由图9几何关系可知点p在所述前表面反射镜里面的虚像p′在第一相机坐标系{Cc}中的坐标描述：
Cp′＝Cp+2Lp·n           (1)
Lp＝L-nT·Cp         (2)
式中，Cp为点p相对于相机坐标系{Cc}的三维坐标；n为前表面反射镜在相机坐标系中的单位法向量，用一个列向量描述；L为所述第一相机得到光心到前表面反射镜的距离；Lp为点p到前表面反射镜的距离(距离L和距离Lp都是沿着前表面反射镜法线方向的垂直距离)。设点p相对于口腔坐标系{O}的三维坐标是Cp，则有以下变换关系：
Cp＝CRO·Op+CtO            (3)
将式(2)、式(3)代入式(1)，得：
Cp′＝(I3-2nnT)(CRO·Op+CtO)+2Ln            (4)
写成齐次坐标的形式：
Figure BDA0003900751760000152
A＝(I3-2nnT)CRO                              (6)
b＝(I3-2nnT)CtO+2Ln                          (7)
当所述拍摄图像中至少包含3个基准球时，式(5)中的A和b可以通过左手系PnP(Perspective-n-Point，多点透视成像)算法解出。将所述前表面反射镜任意改变3次位姿，便可以获得3个镜面反射图像。定义单位向量mij与第i个镜面法线向量ni和第j个镜面法线向量nj均垂直，即mij·ni＝mij·nj＝0。根据式(6)可得：
Figure BDA0003900751760000153
因此，通过计算出
Figure BDA0003900751760000154
的单位特征值所对应的特征向量mij(
Figure BDA0003900751760000155
是特殊的正交矩阵，有2个共轭特征值，另一个特征值为1)，再根据特征向量的叉积，可以得到：
Figure BDA0003900751760000161
计算出对应于3个镜面的单位法向量后，由式(6)就可以从3组方程中单独地计算出旋转矩阵CRO，未知量[CtO L1 L2 L3]T可以根据式(7)构建的线性方程求解，即
Figure BDA0003900751760000162
其中，D是9×6的已知系数矩阵；c是9×1的已知矩阵；x是6×1的未知矩阵，D+为D的摩尔彭诺斯广义逆矩阵，故得到所述口腔定位器上第一相机坐标系{Cc}与所述口腔开口器坐标系{O}之间的位姿
Figure BDA0003900751760000163
其中，所述获取自识别视觉标记的不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标的步骤包括：
步骤S31，通过双目相机获取所述自识别视觉标记在各预设角度进行拍摄，获得各所述预设角度对应的图像；
步骤S32，对各所述预设角度对应的图像进行双目立体视觉重建技术，建立所述自识别视觉标记的标记点坐标系及标记三维模型；
步骤S33，读取所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标。
在本申请实施例中，需要说明的是，参考图10，所述双目相机为高精度双目相机，用于对所述自识别视觉标记对应的棋盘格进行拍摄。
作为一种示例，步骤S31至步骤S33包括：通过双目相机对覆盖了所述自识别视觉标记的棋盘格进行拍摄，得到第一预设数目组的第一拍摄图片；将各所述第一拍摄图片导入MATLAB(Matrix Laboratory，矩阵实验室)的双目标定工具箱Stereo CameraCalibrator(立体相机校准器)中进行标定，得到这所述双目相机中两个单目相机的内参和外参，其中，所述内参至少包括内参矩阵以及畸变参数，所述外参至少包括两个单目相机之间的位姿以及基础矩阵；在所述双目相机固定的情况下，通过述双目相机获取所述棋盘格对应的弧形曲面板第二预设数目组的不同视角的第二拍摄图片；将第一个视角左边相机光心的坐标系作为标记坐标系{M}，通过对两个单目相机的二维像素坐标进行三角测量，计算各所述第二拍摄图片中两个单目相机共同拍摄到的标记点集在对应的第二拍摄图片的视角下的三维坐标；获取各相邻视角的中共同包含的标记点集对应的三维坐标，并通过奇异值分解的方法对所述标记点集对应的三维坐标进行处理，得到所述相邻视角之间的旋转矩阵R和转移向量T；通过增量式的方法基于所述旋转矩阵R和所述转移向量T，计算各视角相对于标记坐标系{M}的旋转矩阵Ri和转移向量Ti(i＝2,3,…,N)，将在第i个的视角中但不在第一个视角中的标记点通过旋转和平移关系，拼接到坐标系{M}下，得到各所述标记点在标记坐标系{M}下的三维坐标。
作为一种优选，所述第一预设数目为20，所述第二预设数目为30。
其中，所述将牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在第二相机坐标系下的三维工作坐标的步骤包括：
步骤S41，通过所述第二相机拍摄所述环形曲面板上的自识别视觉标记或标准棋盘格标定板至少六张不同角度的图像，其中，在拍摄的过程中，所述手术工作端的位置不变；
步骤S42，分析各所述图像，确定所述第二相机与所述标记三维模型下坐标系或标准棋盘格标定板坐标系在各所述图像中的位姿；
步骤S43,根据各所述第二相机与所述标记三维模型下坐标系或标准棋盘格标定板坐标系的位姿，确定所述手术工作端在所述第二相机坐标系下的三维工作坐标。
在本申请实施例中，需要说明的是，所述牙科手术器械用于执行口腔咽喉部手术，作为一种示例，所述牙科手术器械可以为牙科手机，所述手术工作端为所述牙科手机的尖端。
作为一种示例，步骤S41至步骤S43包括：在所述牙科手机的尖端固定在凹槽坑的情况下，通过旋转所述牙科手机，基于所述第二相机获取不同角度下的覆盖在弧形曲面板上的自识别视觉标记至少六张图像；根据各所述图像，标定所述第二相机相对于标记坐标系{M}的位姿；根据各所述第二相机与所述标记坐标系{M}的位姿，标定所述手术工作端在所述第二相机坐标系下的三维工作坐标。
作为一种示例，参考图11，所述标定方法包括：
由于所述牙科手机的尖端点在凹坑内保持不动，外部的环形曲面板也保持不动，因此该点在相机坐标系{Ch}和标记坐标系{M}下保持不变，坐标变换关系为Cp＝CRM·Mp+MtO，其中有6个未知量，因此理论上通过测量6次不同的相机坐标系{Ch}和标记坐标系{M}之间的位姿，可以得到6个不同的CRM和
Figure BDA0003900751760000181
将多个坐标变换关系堆叠，写成矩阵形式，有：
Figure BDA0003900751760000182
Figure BDA0003900751760000183
其中，M为3n×6的已知系数矩阵；b为3n×1的已知矩阵；x为6×1的未知矩阵，M+为M的摩尔彭诺斯广义逆矩阵，故得到了牙科手机的手术工作端在相机坐标系{Ch}中的三维坐标
Figure BDA0003900751760000184
其中，所述基于所述口腔三维模型、所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标、所述第一位姿以及所述三维工作坐标，通过所述第一相机与所述第二相机对所述自识别视觉标记进行检测，将所述口腔三维模型与所述手术工作端统一在所述标记三维模型的坐标系中的步骤包括：
步骤S51，基于自识别视觉标记中各标记点在所述标记点坐标系的三维坐标，通过所述第一相机对所述自识别视觉标记进行检测，确定所述第一相机坐标系与所述标记三维模型下的标记坐标系之间的第二位姿；
步骤S52，根据所述第一位姿以及所述第二位姿，求出所述口腔三维模型下的坐标系与所述标记坐标系之间的第三位姿；
步骤S53，根据所述第三位姿，将所述口腔三维模型投射到所述标记坐标系中，得到所述口腔三维模型在所述标记坐标系中的三维坐标；
步骤S54，基于各所述三维标记点坐标，通过所述第二相机对所述自识别视觉标记进行检测，确定所述第二相机坐标系与所述标记坐标系之间的第四位姿；
步骤S55，根据所述三维工作坐标以及所述第四位姿，求出所述手术工作端在所述标记坐标系下的三维坐标。
在本申请实施例中，需要说明的是，通过所述第一相机在检测各所述标记点，再确定所述第一相机坐标系与所述标记三维模型下的标记坐标系之间的第二位姿，以及通过所述第二相机对所述自识别视觉标记进行检测，确定所述第二相机坐标系与所述标记坐标系之间的第四位姿这两个过程中，应用的是通过2D-3D的对应关系确定所述第二位姿，其中，涉及到的算法是EPnP(Efficient Perspective-n-Point，高效PnP)算法，得到初始位姿之后，再使用Pose Only Bundle Adjustment(仅优化相机位姿的光束平差法)算法最小化标记点的重投影误差平方和优化相机位姿，最终得到所述第一相机坐标系与所述标记三维模型下的标记坐标系之间的第二位姿。
作为一种示例，步骤S51至步骤S55包括：通过所述口腔定位器上的第一相机，检测环形曲面板上的自识别视觉标记，并基于各所述三维标记点坐标确定所述第一相机坐标系{Cc}在所述标记坐标系{M}中的第二位姿
Figure BDA0003900751760000191
再根据所述第一相机坐标系{Cc}与所述口腔坐标系{O}之间的第一位姿
Figure BDA0003900751760000192
与所述第二位姿
Figure BDA0003900751760000193
确定所述口腔坐标系{O}相对于所述标记坐标系{M}的第三位姿MTO；根据所述第三位姿MTO，将所述口腔三维模型投射到所述标记坐标系{M}中，得到所述口腔三维模型中各点在所述标记坐标系{M}中的三维坐标；通过所述牙科手术器械上的第二相机检测所述环形曲面板上的自识别视觉标记，基于各所述三维标记点坐标确定所述第二相机坐标系{Ch}在所述标记坐标系{M}中的第四位姿
Figure BDA0003900751760000194
再根据牙科手术器械的手术工作端在相机坐标系{Ch}中的三维工作坐标
Figure BDA0003900751760000195
与所述第四位姿
Figure BDA0003900751760000196
得到所述牙科手术器械的手术工作端在标记坐标系{M}中的三维坐标Mpivot；根据所述口腔三维模型中各点在所述标记坐标系{M}中的三维坐标与所述牙科手术器械的手术工作端在标记坐标系{M}中的三维坐标Mpivot，将所述口腔模型和所述手术工作端统一在标记坐标系{M}中，以生成口腔咽喉部手术中的导航定位信息，所述导航定位信息用于为医师或手术机器人提供执行手术提供参考。
本申请实施例提供了一种用于口腔咽喉部手术的轻量级导航定位方法，首先通过控制主机对手术病患在佩戴口腔定位器时对应的多源扫描数据进行配准与融合，建立口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，进而基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，对所述口腔定位器上的第一相机与各基准球进行配准，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；获取自识别视觉标记的不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；将手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在第二相机坐标系下的三维工作坐标；基于所述口腔三维模型、所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标、所述第一位姿以及所述三维工作坐标，通过所述第一相机与所述第二相机对所述自识别视觉标记进行检测，将所述口腔三维模型与所述手术工作端统一在所述标记三维模型的坐标系中，以进行口腔导航定位，本申请实施例通过在口腔定位器和手术器械上安装相机，并提供了相应的配准和标定方法，从而配合自识别视觉标记进行导航定位，有效地克服了口腔定位器和手术器械上安装视觉标造成的重量偏高和体积偏大的技术缺陷，降低了口腔定位器和手术器械的重量，提高了病人和医生在做手术过程中的舒适性。
实施例三
本申请实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信链接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的用于口腔咽喉部手术的轻量级导航定位方法。
下面参考图12，其示出了适于用来实现本公开实施例的电子设备的结构示意图；本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图12示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也链接至总线。
通常，以下系统可以链接至I/O接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。
本申请提供的电子设备，采用上述实施例中的用于口腔咽喉部手术的轻量级导航定位方法，解决了口腔咽喉部手术过程中病人和医生的舒适性偏低的技术问题。与现有技术相比，本申请实施例提供的电子设备的有益效果与上述实施例一提供的用于口腔咽喉部手术的轻量级导航定位方法的有益效果相同，且该电子设备中的其他技术特征与上一实施例方法公开的特征相同，在此不做赘述。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
实施例四
本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例一中的用于口腔咽喉部手术的轻量级导航定位的方法。
本申请实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电链接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：通过控制主机对手术病患在佩戴口腔定位器时对应的多源扫描数据进行配准与融合，建立口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，对所述口腔定位器上的第一相机与口腔三维模型进行配准，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；获取自识别视觉标记的不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；将牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在第二相机坐标系下的三维工作坐标；基于所述口腔三维模型、所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标、所述第一位姿以及所述三维工作坐标，通过所述第一相机与所述第二相机对所述自识别视觉标记进行检测，将所述口腔三维模型与所述手术工作端统一在所述标记三维模型的坐标系中，以进行口腔导航定位。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—链接到用户计算机，或者，可以链接到外部计算机(例如利用因特网服务提供商来通过因特网链接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
本申请提供的计算机可读存储介质，存储有用于执行上述用于口腔咽喉部手术的轻量级导航定位方法的计算机可读程序指令，解决了口腔咽喉部手术过程中病人和医生的舒适性偏低的技术问题。与现有技术相比，本申请实施例提供的计算机可读存储介质的有益效果与上述实施例提供的用于口腔咽喉部手术的轻量级导航定位方法的有益效果相同，在此不做赘述。
实施例五
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的用于口腔咽喉部手术的轻量级导航定位方法的步骤。
本申请提供的计算机程序产品解决了口腔咽喉部手术过程中病人和医生的舒适性偏低的技术问题。与现有技术相比，本申请实施例提供的计算机程序产品的有益效果与上述实施例提供的用于口腔咽喉部手术的轻量级导航定位方法的有益效果相同，在此不做赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (9)

1.一种用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述用于口腔咽喉部手术的轻量级导航定位系统包括：
环形曲面板，所述环形曲面板上带有自识别视觉标记，用于作为导航定位的参照物；
口腔定位器，用于口腔定位，其中，所述口腔定位器上安装有第一相机以及至少三个基准球；
牙科手术器械，用于执行口腔咽喉部手术，其中，所述牙科手术器械上安装有第二相机；
控制主机，用于在术前执行所述口腔定位器上的第一相机与口腔三维模型的配准以及所述牙科手术器械的手术工作端与第二相机标定，并在术中通过对所述环形曲面板上的自识别视觉标记进行实时检测与定位，进行口腔导航定位；
其中，所述控制主机用于在术中控制所述第一相机对所述自识别视觉标记进行检测，基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记坐标系中的三维坐标计算得到第一相机坐标系与所述标记坐标系之间的第二位姿；根据所述第一相机坐标系与口腔三维模型的坐标系之间的第一位姿以及所述第二位姿，求出所述口腔三维模型下的坐标系与所述标记坐标系之间的第三位姿；根据所述第三位姿，将所述口腔三维模型投射到所述标记坐标系中，得到所述口腔三维模型在所述标记坐标系中的三维坐标；控制所述第二相机对所述自识别视觉标记进行检测，基于检测到的标记点在相机平面内的二维像素坐标和所述标记点在标记坐标系中的三维坐标计算得到第二相机坐标系与所述标记坐标系之间的第四位姿；根据所述牙科所述器械的手术工作端在所述第二相机坐标系下的三维工作坐标以及所述第四位姿，求出所述手术工作端在所述标记坐标系下的三维坐标；根据得到所述口腔三维模型与所述手术工作端分别在所述标记坐标系中的三维坐标，以进行口腔导航定位。
2.根据权利要求1所述的用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述环形曲面板上附带所述自识别视觉标记，所述自识别视觉标记是一种黑白块交替的棋盘格图案，其中，各所述黑白块中至多包含一个圆点，所述圆点用于对所述自识别视觉标记进行编码，在所述棋盘格的区域黑白格之间的交叉点为标记点，各所述标记点具有对应的标号。
3.根据权利要求1所述的用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述口腔定位器包括口外部分和口内部分，其中，所述口外部分包括所述第一相机，所述第一相机用于检测所述自识别视觉标记；所述口内部分整体呈倒凹形，用于包裹口腔内牙齿的咬合面、颊面以及舌面，所述口内部分至少包括三个基准球，所述基准球用于建立口腔三维模型和确定所述第一相机的位姿。
4.根据权利要求1所述的用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述第二相机用于检测所述自识别视觉标记。
5.根据权利要求1所述的用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述控制主机用于在术前对手术病患在佩戴所述口腔定位器时对应的多源扫描数据进行配准与融合，建立所述口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，标定出所述第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；获取所述自识别视觉标记在不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；将所述牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在所述第二相机坐标系下的三维工作坐标。
6.根据权利要求5所述的用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述控制主机用于控制所述第一相机获取至少三个基准球共同在至少三个不同位置下的拍摄图像；提取各所述拍摄图像中基准球的中心二维像素位置，再根据所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标以及各所述中心二维像素位置，标定出所述第一相机坐标系与所述口腔三维模型的坐标系之间的第一位姿。
7.根据权利要求5所述的用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述控制主机用于控制所述第二相机拍摄所述环形曲面板上的自识别视觉标记或标准棋盘格标定板至少六张不同角度的图像，其中，在拍摄的过程中，所述手术工作端的位置不变；分析各所述图像，确定所述第二相机与所述标记三维模型下坐标系或标准棋盘格标定板坐标系在各所述图像中的位姿；根据各所述第二相机与所述标记三维模型下坐标系的位姿，确定所述手术工作端在所述第二相机坐标系下的三维工作坐标。
8.一种用于口腔咽喉部手术的轻量级导航定位方法，采用了权利要求1至7中任一项所述的用于口腔咽喉部手术的轻量级导航定位系统，其特征在于，所述用于口腔咽喉部手术的轻量级导航定位方法包括：
通过控制主机对手术病患在佩戴口腔定位器时对应的多源扫描数据进行配准与融合，建立口腔三维模型以及所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标；
基于所述口腔定位器上的各基准球在所述口腔三维模型的坐标系下的三维坐标，对所述口腔定位器上的第一相机与口腔三维模型进行配准，得到第一相机坐标系与所述口腔三维模型下的坐标系之间的第一位姿；
获取自识别视觉标记的不同角度下的拍摄图像，并根据各所述拍摄图像建立所述自识别视觉标记的标记点坐标系及标记三维模型，得到所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标；
将牙科手术器械的手术工作端与所述牙科手术器械上的第二相机进行标定，得到所述手术工作端在第二相机坐标系下的三维工作坐标；
基于所述口腔三维模型、所述自识别视觉标记中各标记点在所述标记点坐标系的三维坐标、所述第一位姿以及所述三维工作坐标，通过所述第一相机与所述第二相机对所述自识别视觉标记进行检测，将所述口腔三维模型与所述手术工作端统一在所述标记三维模型的坐标系中，以进行口腔导航定位。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用于口腔咽喉部手术的轻量级导航定位方法的程序，所述用于口腔咽喉部手术的轻量级导航定位方法的程序被处理器执行以实现如权利要求8所述用于口腔咽喉部手术的轻量级导航定位方法的步骤。
CN202211288273.1A 2022-10-20 2022-10-20 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质 Active CN115568946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211288273.1A CN115568946B (zh) 2022-10-20 2022-10-20 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211288273.1A CN115568946B (zh) 2022-10-20 2022-10-20 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质

Publications (2)

Publication Number Publication Date
CN115568946A CN115568946A (zh) 2023-01-06
CN115568946B true CN115568946B (zh) 2023-04-07

Family

ID=84586130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211288273.1A Active CN115568946B (zh) 2022-10-20 2022-10-20 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质

Country Status (1)

Country Link
CN (1) CN115568946B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060200025A1 (en) * 2004-12-02 2006-09-07 Scott Elliott Systems, methods, and apparatus for automatic software flow using instrument detection during computer-aided surgery
US9554763B2 (en) * 2011-10-28 2017-01-31 Navigate Surgical Technologies, Inc. Soft body automatic registration and surgical monitoring system
US9844324B2 (en) * 2013-03-14 2017-12-19 X-Nav Technologies, LLC Image guided navigation system
US9554869B1 (en) * 2016-01-08 2017-01-31 Eped Inc. Bite tray having fiducial markers for head scan registration and method of use
CN111772852A (zh) * 2020-07-17 2020-10-16 雅客智慧（北京）科技有限公司 一种牙科机器人及口腔导航方法
CN112525074B (zh) * 2020-11-24 2022-04-12 杭州素问九州医疗科技有限公司 标定方法、系统、机器人、计算机装置和导航系统
CN112971986A (zh) * 2021-03-31 2021-06-18 南京逸动智能科技有限责任公司 一种用于导航手术的示踪器及定位方法
CN113693723B (zh) * 2021-08-05 2022-10-04 北京大学 一种面向口腔咽喉部手术的跨模态导航定位系统及方法
CN114549660B (zh) * 2022-02-23 2022-10-21 北京大学 基于圆柱形自识别标记物的多相机标定方法、装置及设备
CN114972528A (zh) * 2022-05-13 2022-08-30 南开大学深圳研究院 一种智慧手术室全局-局部多目标联合定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴煜，邹士琦，王霄*.《口腔种植机器人在口腔种植手术中的初步应用》.《中国微创外科杂志》.2021,第21卷(第9期),787-791. *

Also Published As

Publication number Publication date
CN115568946A (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
US8350897B2 (en) Image processing method and image processing apparatus
CN103941851B (zh) 一种实现虚拟触摸校准的方法以及系统
WO2020151119A1 (zh) 一种用于牙科手术的增强现实方法及装置
KR20060118332A (ko) 치아 화상 진찰 장치
Zhang et al. A universal and flexible theodolite-camera system for making accurate measurements over large volumes
CN110148454B (zh) 一种摆位方法、装置、服务器及存储介质
JP2008070267A (ja) 位置姿勢計測方法及び装置
JP2008216089A (ja) 被験体の３次元的位置及び向き測定装置
CN112168357B (zh) C臂机空间定位模型构建系统及方法
CN104771189B (zh) 三维头颅图像对正方法及装置
CN111882608A (zh) 一种增强现实眼镜跟踪相机和人眼之间的位姿估计方法
JP2013113805A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR20100058031A (ko) 안면 영상 촬영장치
CN115568946B (zh) 用于口腔咽喉部手术的轻量级导航定位系统、方法及介质
JP2023520902A (ja) 走査システム及びその較正
CN111374784A (zh) 一种增强现实ar定位系统及方法
WO2022184928A1 (en) Calibration method of a portable electronic device
CN114926542A (zh) 基于光学定位系统的混合现实固定参考系校准方法
CN109363687B (zh) 一种颈椎活动度检测装置及方法
JP2000020696A (ja) 医用画像合成装置
CN109345633B (zh) 一种面向增强现实装配的全景三维注册系统及方法
CN113786229A (zh) 一种基于ar增强现实的辅助穿刺导航方法
US10657726B1 (en) Mixed reality system and method for determining spatial coordinates of dental instruments
JP2012013593A (ja) ３次元形状測定機の校正方法及び３次元形状測定機
JP4810403B2 (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant