CN117338465A - 口腔定位方法、系统、设备及计算机可读存储介质 - Google Patents

口腔定位方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN117338465A
CN117338465A CN202311281636.3A CN202311281636A CN117338465A CN 117338465 A CN117338465 A CN 117338465A CN 202311281636 A CN202311281636 A CN 202311281636A CN 117338465 A CN117338465 A CN 117338465A
Authority
CN
China
Prior art keywords
oral
visual
coordinate system
oral cavity
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311281636.3A
Other languages
English (en)
Inventor
喻俊志
胡耀清
朱明珠
王绍安
李东岳
原福松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202311281636.3A priority Critical patent/CN117338465A/zh
Publication of CN117338465A publication Critical patent/CN117338465A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00—Dental auxiliary appliances
    • A61C19/06—Implements for therapeutic treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种口腔定位方法、系统、设备及计算机可读存储介质，属于口腔定位技术领域。本发明通过控制相机阵列拍摄具有第一视觉标记的目标环境图像；获取预先构建好的统一三维模型；通过统一三维模型，确定第一视觉标记与用户的用户口腔之间的第一相对位姿关系；对目标环境图像进行图像识别处理，结合统一三维模型，确定第一视觉标记在相机阵列坐标系下的第一位姿信息；基于第一相对位姿关系与第一位姿信息，确定用户口腔在相机阵列坐标系下的第一位姿参照信息，基于第一位姿参照信息，对用户口腔中的手术目标位置进行定位。本发明能够实现口腔咽喉部手术过程中对用户口腔的精确定位。

Description

口腔定位方法、系统、设备及计算机可读存储介质
技术领域
本发明涉及口腔定位技术领域，尤其涉及一种口腔定位方法、系统、设备及计算机可读存储介质。
背景技术
随着生活水平的提高，人们的卫生观念得到提升，对口腔健康越来越重视，口腔医学领域对口腔定位技术精确定位的需求也越来越高。
在现代医学中，口腔定位方法通常分为两大类：基于接触的方法和基于导航的方法。
基于接触的方法采用专门设计的手术模板或定位器，以匹配患者口腔解剖区域。这种方法所采用的手术模板或定位器由牙科医生或技术人员在手术前定制设计和制造，存在手术过程中模板无法修改导致的口腔定位不精确的问题。
基于导航的方法依赖实时光学系统来动态跟踪附着在手术工具(如口腔导板、牙科手机)上的跟踪阵列的位置和移动。这种方法存在视线遮挡和视野限制导致的口腔定位不精确的问题。
发明内容
本发明的主要目的在于提供一种口腔定位方法、系统、设备及计算机可读存储介质，旨在解决口腔外科手术过程中口腔定位不精确的技术问题。
为实现上述目的，本发明提供一种口腔定位方法，所述口腔定位方法包括以下步骤：
若检测到佩戴好口腔定位器的用户处于预设范围，控制相机阵列拍摄具有自识别视觉标记的目标环境图像，其中，所述口腔定位器包括口外结构件，所述自识别视觉标记为一种具有多个标记点的棋盘格图案，各所述标记点按预设编码方式排布，所述自识别视觉标记包括第一视觉标记，所述第一视觉标记设于所述口外结构件上；
获取预先构建好的统一三维模型，其中，所述统一三维模型为所述口腔定位器的定位器三维模型与所述用户的口腔三维模型配准后，统一在预设的标记坐标系下的三维模型；
通过所述统一三维模型，确定所述第一视觉标记与所述用户的用户口腔之间的第一相对位姿关系；
对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息；
基于所述第一相对位姿关系与所述第一位姿信息，确定所述用户口腔在相机阵列坐标系下的第一位姿参照信息，基于所述第一位姿参照信息，对所述用户口腔中的手术目标位置进行定位。
可选地，所述对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息，包括：
对所述目标环境图像进行图像识别处理，确定所述目标环境图像中各所述标记点的二维像素坐标，并获取所述相机阵列的各相机内参和各相机外参；
基于各所述二维像素坐标、所述各相机内参和所述各相机外参，确定各所述二维像素坐标的单位观测向量；
基于所述统一三维模型，获取各所述标记点在所述标记坐标系下的标记三维坐标，基于EPnP算法和各所述标记三维坐标，确定所有所述标记点在所述标记坐标系下的四个控制点坐标，及各所述标记点的齐次重心坐标；
获取所述相机阵列各相机光心到所述相机阵列坐标系的原点的光心向量，基于各所述光心向量、各所述单位观测向量和各所述齐次重心坐标，确定所有所述标记点在所述相机阵列坐标系下的四个控制点坐标；
基于所述标记坐标系的四个控制点坐标和所述相机阵列坐标系的四个控制点坐标，通过奇异值分解的方法，确定所述标记坐标系和所述相机阵列坐标系之间的坐标系位姿变换，得到位姿变换值；
采用第一最小化重投影误差策略，对所述位姿变换值进行数值优化，所述第一最小化重投影误差策略为最小化所述坐标系位姿变换下所述二维像素坐标的重投影误差平方和的策略；
对数值优化后的所述位姿变换值进行扩展卡尔曼滤波，得到所述第一视觉标记在所述相机阵列坐标系下的第一位姿信息。
可选地，所述口腔定位器还包括口内结构件，所述自识别视觉标记还包括第二视觉标记，所述第二视觉标记设于所述口内结构件上，所述口腔定位方法还包括：
获取高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，识别并处理所述目标图片，以建立所述口腔定位器的定位器三维模型；
获取口腔扫描仪扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔后得到的扫描仪扫描数据，识别并处理所述扫描仪扫描数据，以建立所述用户口腔的口腔三维模型；
对所述定位器三维模型和所述口腔三维模型进行坐标系配准，以建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型。
可选地，所述获取高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，识别并处理所述目标图片，以建立所述口腔定位器的定位器三维模型，包括：
获取所述高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，其中，所述若干组目标图片包含所述第一视觉标记的所有标记点和所述第二视觉标记的所有标记点，所述视角为拍摄视角，一个所述拍摄视角对应拍摄一组所述目标图片，第一个所述拍摄视角左边相机光心的坐标系为标记坐标系；
检测并获得各所述目标图片中包含的各所述标记点的二维像素位置；
对每一个拍摄视角下拍摄的所述目标图片中各所述标记点的所述二维像素位置进行三角测量，得到所述拍摄视角下拍摄的所述目标图片中共同的所述标记点在所述拍摄视角下的三维位置；
基于所述三维位置，确定各相邻所述拍摄视角之间的相邻位姿关系；
基于所述相邻位姿关系和所述三维位置，确定各所述拍摄视角相对于所述标记坐标系的位姿参数和各所述标记点在所述标记坐标系下的三维坐标。
基于所述位姿参数和所述三维坐标，采用第二最小化重投影误差策略，对所述三维坐标进行更新，所述第二最小化重投影误差策略为最小化所述标记点在各所述拍摄视角中的所述二维像素位置的重投影误差平方和的策略；
基于更新后的所述三维坐标，采用第三最小化重投影误差策略，对所述位姿参数进行更新，所述第三最小化重投影误差策略为最小化所述拍摄视角中各所述标记点的所述二维像素位置的重投影误差平方和的策略；
返回执行所述基于所述位姿参数和所述三维坐标，采用第二最小化重投影误差策略，对所述三维坐标进行更新的步骤，直至重投影误差满足预设条件，最后再进行一次全局优化，同时更新所述三维坐标和所述位姿参数，得到各所述标记点在所述标记坐标系下的三维坐标，从而建立所述口腔定位器在所述标记坐标系下的定位器三维模型。
可选地，所述获取口腔扫描仪扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔后得到的扫描仪扫描数据，识别并处理所述扫描仪扫描数据，以建立所述用户口腔的口腔三维模型，包括：
获取口腔扫描仪扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔后得到的扫描仪扫描数据；
基于所述扫描仪扫描数据，获得所述口内结构件及第二视觉标记的口内三维模型、所述未佩戴所述口腔定位器的用户口腔的未佩戴三维模型，以及所述已佩戴所述口腔定位器的用户口腔的已佩戴三维模型；
融合所述口内三维模型、所述未佩戴三维模型和所述已佩戴三维模型，建立所述用户口腔的口腔三维模型。
可选地，所述对所述定位器三维模型和所述口腔三维模型进行坐标系配准，以建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型，包括：
基于所述标记坐标系，确定所述第二视觉标记在所述标记坐标系中的第二位姿信息；
建立所述口腔三维模型的口腔坐标系，确定所述第二视觉标记与所述用户口腔之间的第二相对位姿关系；
基于所述第二相对位姿关系与所述第二位姿信息，得到所述用户口腔在所述标记坐标系下的第二位姿参照信息，基于所述第二位姿参照信息，建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型。
此外，为实现上述目的，本发明还提供一种口腔定位系统，所述口腔定位系统包括：
口腔定位器，所述口腔定位器包括口内结构件和口外结构件，用于辅助定位；
自识别视觉标记，所述自识别视觉标记设于所述口腔定位器上，用于辅助定位，所述自识别视觉标记为一种具有多个标记点的棋盘格图案，所述标记点按预设编码方式排布，其中，所述自识别视觉标记包括第一视觉标记，所述第一视觉标记设于所述口外结构件上；
数据采集设备，所述数据采集设备用于采集目标数据，其中，所述目标数据包括具有所述第一视觉标记的目标环境图像；
控制主机，所述控制主机与所述数据采集设备连接，用于获取并处理所述目标数据。
可选地，所述数据采集设备包括相机阵列，所述相机阵列按视角汇聚的方式排布，所述相机阵列与所述控制主机连接，用于拍摄具有所述第一视觉标记的目标环境图像，并将所述目标环境图像传输给所述控制主机。
可选地，所述自识别视觉标记还包括第二视觉标记，其中，所述第二视觉标记为平面自识别视觉标记，设于所述口内结构件上。
可选地，所述目标数据还包括若干组目标图片，所述数据采集设备还包括高精度双目相机，所述高精度双目相机用于多视角同时拍摄具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，所述若干组目标图片包含所述第一视觉标记的所有标记点和所述第二视觉标记的所有标记点。
可选地，所述目标数据还包括扫描仪扫描数据，所述数据采集设备还包括口腔扫描仪，所述口腔扫描仪与所述控制主机连接，用于扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔，得到扫描仪扫描数据，并将所述扫描仪扫描数据传输给所述控制主机。
此外，本发明还提供一种口腔定位设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的口腔定位程序，所述口腔定位程序配置为实现如上所述的口腔定位方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有口腔定位程序，所述口腔定位程序被处理器执行时实现如上所述的口腔定位方法的步骤。
本发明通过若检测到佩戴好口腔定位器的用户处于预设范围，控制相机阵列拍摄具有所述第一视觉标记的目标环境图像，其中，所述口腔定位器包括口外结构件，所述第一视觉标记设于所述口外结构件上；获取预先构建好的统一三维模型，其中，所述统一三维模型为所述口腔定位器的定位器三维模型与所述用户的口腔三维模型配准后，统一在预设的标记坐标系下的三维模型；通过所述统一三维模型，确定所述第一视觉标记与所述用户的用户口腔之间的第一相对位姿关系；对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息；基于所述第一相对位姿关系与所述第一位姿信息，确定所述用户口腔在相机阵列坐标系下的第一位姿参照信息，基于所述第一位姿参照信息，对所述用户口腔中的手术目标位置进行定位。
本发明通过预先建立好的统一三维模型获得第一视觉标记和用户口腔之间的第一相对位姿关系，对手术中实时拍摄观测到的第一视觉标记在相机阵列坐标系下的第一位姿信息处理，实现了口腔咽喉部手术过程中对用户口腔的精确定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例中相机阵列拍摄第一视觉标记的场景示意图；
图2为本发明实施例中带自识别视觉标记的口腔定位器的结构示意图；
图3为本发明实施例中构建口腔定位器的定位器三维模型的示意图；
图4为本发明实施例中构建统一三维模型的坐标系配准流程示意图；
图5为本发明实施例中相机阵列进行内外参数标定的场景示意图；
图6为本发明实施例中确定第一视觉标记在相机阵列坐标系下的第一位姿信息的示意图；
图7为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
图1至图3附图标号说明：
标号 名称 标号 名称
1 相机阵列 5 口内结构件
2 口腔定位器 6 自识别视觉标记
3 用户 7 第一视觉标记
4 口外结构件 8 第二视觉标记
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明实施例提供了一种口腔定位方法，所述口腔定位方法包括：
步骤S10：若检测到佩戴好口腔定位器的用户处于预设范围，控制相机阵列拍摄具有自识别视觉标记的目标环境图像，其中，所述口腔定位器包括口外结构件，所述自识别视觉标记为一种具有多个标记点的棋盘格图案，各所述标记点按预设编码方式排布，所述自识别视觉标记包括第一视觉标记，所述第一视觉标记设于所述口外结构件上；
在本实施例中，口腔定位器的口外结构件是一个圆柱形空心桶，第一视觉标记被立体地打印或做成贴纸贴在这个圆柱形空心桶的外表面上，目标环境图像为具有第一视觉标记的图像，相机阵列被固定在外部支架上，由多个单目工业相机按视角汇聚的方式排布组成，这种排布方式可将各个相机的拍摄视角聚焦在口腔定位器口外结构件上的第一视觉标记，拍摄到具有更多标记点的更完整的具有第一视觉标记的目标环境图像，提高对目标环境图像进行图像识别处理后，定位手术目标位置时的精确性。
可以理解的是，自识别视觉标记还包括第二视觉标记，口腔定位器还包括口内结构件。口内结构件整体呈倒凹形，共有三个面：颊面、舌面以及包裹口腔内牙齿的顶面，每个面都包含许多小孔，手术前，可变形的硅橡胶材料通过这些小孔将牙齿与口腔定位器的口内结构件紧密贴合。第二视觉标记被做成贴纸贴在口内结构件顶面的外表面上。
作为一种示例，所述口腔定位器上的第一自识别视觉标记一共包含23×6个完整的色块，色块颜色为黑白块交替分布，标记点个数是24×7＝168个；所述上的第二自识别视觉标记一共包含13×8个完整的色块，标记点个数是14×9＝126个，各所述标记点具有对应的标号，使得每个标记点都有唯一的特征，只需检测到3×3个完整的色块，就能识别所述3×3色块对应的标记点的标号。
步骤S20：获取预先构建好的统一三维模型，其中，所述统一三维模型为所述口腔定位器的定位器三维模型与所述用户的口腔三维模型配准后，统一在预设的标记坐标系下的三维模型；
在本实施例中定位器三维模型是通过对高精度双目相机拍摄口腔定位器两个自识别视觉标记得到的若干组目标图片进行图像识别处理建立的三维模型，口腔三维模型是通过分析处理口腔扫描仪扫描佩戴口腔定位器前的用户口腔、佩戴口腔定位器前的用户口腔、口腔定位器口内结构件，以及第二视觉标记得到扫描数据建立的三维模型。其中，预设的标记坐标系是指基于定位器三维模型而构建的坐标系。
步骤S30：通过所述统一三维模型，确定所述第一视觉标记与所述用户的用户口腔之间的第一相对位姿关系；
本实施例通过预先构建口腔定位器的定位器三维模型与用户的口腔三维模型配准后统一在标记坐标系下的统一三维模型，减轻了手术过程中的工作量，也避免了手术过程中重复确定第一视觉标记与用户口腔之间的相对位姿关系时可能出现的失误，从而提高手术效率和手术过程中实时口腔定位的精确性。
步骤S40：对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息；
在本实施例中相机阵列坐标系是指对相机阵列的进行内外参数标定后确定的相机阵列本体的坐标系。
在一实施例中，对目标环境图像进行图像识别处理，确定目标环境图像中各标记点的二维像素坐标，结合统一三维模型，确定各标记点在标记坐标系下的标记三维坐标，通过广义EPnP算法，确定标记坐标系和相机阵列坐标系之间的坐标系位姿变换，得到位姿变换值，采用最小化该坐标系位姿变换下所述二维像素坐标的重投影误差平方和的策略，对该位姿变换值进行数值优化，再对优化后的位姿变换值进行扩展卡尔曼滤波，从而得到更鲁棒平稳的位姿估计结果，即第一视觉标记在相机阵列坐标系下的第一位姿信息。
步骤S50：基于所述第一相对位姿关系与所述第一位姿信息，确定所述用户口腔在相机阵列坐标系下的第一位姿参照信息，基于所述第一位姿参照信息，对所述用户口腔中的手术目标位置进行定位。
在本实施例中，第一相对位姿关系为标记坐标系下第一视觉标记和用户口腔之间的相对位姿关系，第一位姿信息为相机阵列坐标系下第一视觉标记的位姿信息，第一位姿参照信息为相机阵列坐标系下用户口腔的位姿信息。
本领域技术人员可知的是，通过对第一相对位姿关系和第一位姿信息进行分析，可以确定第一位姿参照信息，进而实现手术过程中对手术目标位置的精确定位。
为了助于理解，请参照图1，本申请实施例通过控制主机控制相机阵列检测到佩戴好口腔定位器后的用户处于预设范围后，控制主机控制相机阵列实时跟踪拍摄具有口腔定位器口外结构件上第一自识别视觉标记的目标环境图像，并将目标环境图像传输给控制控制主机，控制主机再对目标环境图片进行图像识别处理，从而确定第一视觉标记在相机阵列坐标系下的第一位姿信息，结合预先构建的统一三维模型，实现对用户口腔的精确定位。
本实施例通过若检测到佩戴好口腔定位器的用户处于预设范围，控制相机阵列拍摄具有所述第一视觉标记的目标环境图像，其中，所述口腔定位器包括口外结构件，所述第一视觉标记设于所述口外结构件上；获取预先构建好的统一三维模型，其中，所述统一三维模型为所述口腔定位器的定位器三维模型与所述用户的口腔三维模型配准后，统一在预设的标记坐标系下的三维模型；通过所述统一三维模型，确定所述第一视觉标记与所述用户的用户口腔之间的第一相对位姿关系；对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息；基于所述第一相对位姿关系与所述第一位姿信息，确定所述用户口腔在相机阵列坐标系下的第一位姿参照信息，基于所述第一位姿参照信息，对所述用户口腔中的手术目标位置进行定位。
本实施例通过预先建立好的统一三维模型获得第一视觉标记和用户口腔之间的第一相对位姿关系，对手术中实时拍摄观测到的第一视觉标记在相机阵列坐标系下的第一位姿信息处理，实现了口腔咽喉部手术过程中对用户口腔的精确定位。
在一种可能的实施方式中，所述对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息，包括：
步骤A10：对所述目标环境图像进行图像识别处理，确定所述目标环境图像中各所述标记点的二维像素坐标，并获取所述相机阵列的各相机内参和各相机外参；
在本实施例中，本领域技术人员可以理解的是，相机阵列的内外参数一般会预先标定好，如图5所示，图5为本发明实施例中相机阵列进行内外参数标定的场景示意图。其中，具体的标定过程在一示例中可为：
首先准备一个规则的立体几何体，在表面贴上自识别视觉标记，使用建立定位器三维模型的方法得到该几何体上自识别视觉标记的三维模型；将表面贴有自识别视觉标记的几何体放在按汇聚视角方式排布的多个待标定相机中央附近多个不同的位置，保证每个位置上每个相机都能识别到部分自识别视觉标记，每个位置上所述多个待标定相机均对该几何体上的自识别视觉标记进行拍摄，从拍摄的图片中检测视觉标记点的二维像素位置并识别对应的标号；根据多个视觉标记点的三维坐标和二维像素位置，计算并优化每个待标定相机的标定结果。
示例性地，根据多个视觉标记点的三维坐标和二维像素位置，计算并优化每个待标定相机的标定结果，具体计算过程如下：
根据多个视觉标记点在标记坐标系下的齐次坐标和在图像平面的像素齐次坐标/>使用直接线性变换(DLT)算法估计得到每个待标定相机的投影矩阵；具体地，设投影矩阵为M，则有/>把投影矩阵写成3个行向量的形式，则有消掉λi，得到关于ui和vi的两个等式/>将至少6个视觉标记点进行堆叠，并写成矩阵的形式，得到以下等式令/>加上约束条件||m||2＝1，即可得到超定齐次线性方程组Pm＝O的解，求解该方程的方法是对矩阵P2n×12进行奇异值分解，P2n×12＝U2n×2nΣ2n×12V12×12 T，m为V12×12矩阵的最后一列，即得到了一个未知尺度的投影矩阵M'；根据估计的投影矩阵，分解出每个待标定相机的内参和外参；具体地，令内参矩阵/>畸变参数k＝[k1 k2]T，外参矩阵[R t]＝[r1 r2 r3t]，根据旋转矩阵的性质/>和投影矩阵(ρ为尺度)与内外参之间的关系得到以下关系/>令有写成一个统一的表达形式 令vij＝[m′1im′1j m′1im′2j+m′2im′1i m′2im′2j m′3im′1j+m′1im′3i m′3im′2j+m′2im′3j m′3im′3j]T，b＝[B11 B12 B22 B13 B23 B33]T，V＝[v12 T v11 T-v22 T v13 T v11 T-v33 T v23 T v22 T-v33 T]，则有VTb＝O，可以得到b的最小二乘解，当解出B之后，可以继续分解求出内参：v0＝(B12B13-B11B23)/(B11B22-B12 2)，ρ＝B33-[B13 2+v0(B12B13-B11B23)]/B11，/> γ＝-B12α2β/ρ，u0＝γv0/α-B13α2/ρ；外参由PnP算法求得；有了内参矩阵和外参矩阵，通过最小二乘的方法近似拟合畸变初始解，构建如下方程/>写成Dk＝d，则畸变参数可以得到它的最小二乘解k＝(DTD)-1DTd。
在本实施例中，可通过使用列文伯格-马夸尔特(Levenberg-Marquardt)算法对内外参同时优化，最小化标记点的重投影误差平方和，得到最终每个待标定相机参数的标定结果。
步骤A20：基于各所述二维像素坐标、所述各相机内参和所述各相机外参，确定各所述二维像素坐标的单位观测向量；
步骤A30：基于所述统一三维模型，获取各所述标记点在所述标记坐标系下的标记三维坐标，基于EPnP算法和各所述标记三维坐标，确定所有所述标记点在所述标记坐标系下的四个控制点坐标，及各所述标记点的齐次重心坐标；
步骤A40：获取所述相机阵列各相机光心到所述相机阵列坐标系的原点的光心向量，基于各所述光心向量、各所述单位观测向量和各所述齐次重心坐标，确定所有所述标记点在所述相机阵列坐标系下的四个控制点坐标；
步骤A50：基于所述标记坐标系的四个控制点坐标和所述相机阵列坐标系的四个控制点坐标，通过奇异值分解的方法，确定所述标记坐标系和所述相机阵列坐标系之间的坐标系位姿变换，得到位姿变换值；
步骤A60：采用第一最小化重投影误差策略，对所述位姿变换值进行数值优化，所述第一最小化重投影误差策略为最小化所述坐标系位姿变换下所述二维像素坐标的重投影误差平方和的策略；
步骤：A70对数值优化后的所述位姿变换值进行扩展卡尔曼滤波，得到所述第一视觉标记在所述相机阵列坐标系下的第一位姿信息。
如图6所示，图6为本发明实施例中确定第一视觉标记在相机阵列坐标系下的第一位姿信息的示意图。
在本实施例中，坐标系{C}是相机阵列坐标系，坐标系{M}是标记坐标系，向量vi0是坐标系{C}(即相机阵列坐标系)原点到每个相机光心的向量，向量fi是标记点pi的单位观测向量，坐标pi0是标记点pi在坐标系{M}(即标记坐标系)中的三维坐标。
在本实施例中，坐标系{C}(即相机阵列坐标系)是指对相机阵列的进行内外参数标定后确定的相机阵列本体的坐标系，坐标系{C}(即相机阵列坐标系)原点到每个相机光心的向量vi0在对相机阵列进行内外参数标定的过程中确定，标记点pi的单位观测向量fi可根据相机内参和该标记点的二维像素坐标推算得到，标记点pi在坐标系{M}(即标记坐标系)中的三维坐标pi0可通过统一三维模型确定。
另外，为了助于理解，作为一种示例，确定单位观测向量fi的过程，具体地，假设该标记点在该相机中的二维齐次像素坐标为ui＝[u v 1]T，则该标记点的归一化二维齐次像素坐标为xi＝K-1ui，其中K为该相机的内参矩阵，则该标记点的二维像素坐标在该相机坐标系下的单位观测向量为则该单位观测向量在标记坐标系下的表示为fi＝Ri0f′i，其中Ri0是该相机坐标系相对于坐标系{C}(相机阵列坐标系)的旋转矩阵。
另外，为了助于理解，作为一种示例，确定所有标记点在坐标系{M}(即标记坐标系)下的各标记控制点坐标，及各标记点的齐次重心坐标的过程，具体地，根据EPnP(Efficient Perspective-n-point)算法中的第一步及主成分分析(PCA)算法，第一个标记控制点c1 w选择为所有标记点的点云的重心，即其他三个标记控制点选择为点云的主方向的端点，具体操作如下，计算矩阵/>计算ATA的三个特征值λ1,λ2,λ3，对应的特征向量为v1,v2,v3，剩下三个标记控制点c2 M,c3 M,c4 M为以上求解出了四个标记控制点在坐标系{M}(即标记坐标系)下的坐标cj M，每个标记点的齐次重心坐标αij(homogeneous barycentric coordinates，简称hb坐标)通过等式/>求解。
另外，为了助于理解，作为一种示例，确定所有标记点在坐标系{C}(即相机阵列坐标系)下的各相机控制点坐标的过程，具体地，设坐标系{C}(即相机阵列坐标系)的各相机控制点坐标为c1 C,c2 C,c3 C,c4 C，每个标记点在坐标系{C}(即相机阵列坐标系)的齐次重心坐标αij和其在标记坐标系{M}的齐次重心坐标αij是相等的，对于每一个标记点pi，其在坐标系{C}(即相机阵列坐标系)中的满足pi C＝zifi+vi0，其中zi是该标记点在该观测向量的长度，也可以表示为相机控制点坐标的线性组合于是有用第三个式子表示zi，即并代入第一和第二个式子消去zi，得到：即对于每个标记点，都能得到与四个相机控制点有关，与zi无关的两个等式；将多个标记点堆叠，得到以下等式其中于是坐标系{C}(即相机阵列坐标系)的各相机控制点坐标可以根据c＝D+b得到，此时求出来的cj C和坐标系{M}(即标记坐标系)的标记控制点差一个尺度，该尺度的计算方法为对于每个相机控制点，乘以β之后得到它的真实尺度。
另外，为了助于理解，作为一种示例，确定坐标系{M}(即标记坐标系)和坐标系{C}(即相机阵列坐标系)之间的坐标系位姿变换，得到位姿变换值的过程，具体地，根据坐标系{M}(即标记坐标系)的各标记控制点坐标和坐标系{C}(即相机阵列坐标系)的各相机控制点坐标，通过奇异值分解(SVD)的方法，确定两个坐标系之间的坐标系位姿变换，从而得到位姿变换值CTM。
此外，为了助于理解，作为一种示例，确定第一视觉标记在坐标系{C}即(相机阵列坐标系)下的第一位姿信息的过程，具体地，采用最小化该坐标系位姿变换下所有相机看到的标记点的二维像素位置的重投影误差平方和的策略，对位姿变换值CTM进行数值优化，对数值优化后的位姿CTM进行扩展卡尔曼滤波，得到更鲁棒平稳的位姿估计结果，即第一视觉标记在坐标系{C}即(相机阵列坐标系)下的第一位姿信息。
如图4所示，图4为本发明实施例中构建统一三维模型的坐标系配准流程示意图。具体地，在一种可能的实施方式中，口腔定位方法还包括：
K10：获取高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，识别并处理所述目标图片，以建立所述口腔定位器的定位器三维模型；
在本实施例中，若干组目标图片包含所述第一视觉标记的所有标记点和所述第二视觉标记的所有标记点，所述视角为拍摄视角，一个所述拍摄视角对应拍摄一组所述目标图片，设第一个所述拍摄视角左边相机光心的坐标系为标记坐标系，设第一个拍摄视角左边相机光心的坐标系为标记坐标系。
在本实施例中，识别并处理所述目标图片的过程，具体地，检测并获得目标图片中各标记点的二维像素位置，对每一组目标图片中的各标记点的二维像素位置进行三角测量，得到每一组目标图片中共同的标记点在各自对应的拍摄视角下的三维位置，从而确定各相邻拍摄视角之间的相邻位姿关系，基于该相邻位姿关系和三维位置，确定各拍摄视角相对于标记坐标系的位姿参数和各标记点在标记坐标系下的三维坐标，采用最小化该标记点在所有拍摄视角中二维像素位置的重投影误差平方和的策略，对所有标记点的三维坐标进行更新，继而采用最小化该拍摄视角中所有标记点的二维像素位置的重投影误差平方和的策略，对所有位姿参数进行更新，迭代执行对所有标记点的三维坐标进行更新和对所有位姿参数进行更新的步骤，直至重投影误差满足预设条件，得到所有标记点在标记坐标系下的三维坐标，从而建立口腔定位器在标记坐标系下的定位器三维模型。
K20：获取口腔扫描仪扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔后得到的扫描仪扫描数据，识别并处理所述扫描仪扫描数据，以建立所述用户口腔的口腔三维模型；
在本实施例中，获取口腔扫描仪扫描口内结构件及第二视觉标记、未佩戴口腔定位器的用户口腔，以及已佩戴口腔定位器的用户口腔后得到的扫描仪扫描数据，基于扫描仪扫描数据，获得口内结构件及第二视觉标记的口内三维模型、未佩戴口腔定位器的用户口腔的未佩戴三维模型，以及已佩戴口腔定位器的用户口腔的已佩戴三维模型，融合口内三维模型、未佩戴三维模型和已佩戴三维模型，从而建立用户口腔的口腔三维模型。
K30：对所述定位器三维模型和所述口腔三维模型进行坐标系配准，以建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型。
在本实施例中，通过标记坐标系，确定第二视觉标记在标记坐标系中的第二位姿信息，建立所述口腔三维模型的口腔坐标系，确定第二视觉标记与用户口腔之间的第二相对位姿关系，然后基于第二相对位姿关系与第二位姿信息，得到用户口腔在标记坐标系下的第二位姿参照信息，再基于第二位姿参照信息，建立定位器三维模型和所述口腔三维模型统一在标记坐标系下的统一三维模型。
本申请对传统方法中口腔定位器口内部分顶面采用氧化锆定位球的结构进行改进，改为在顶面粘贴平面自识别视觉标记(即第二视觉标记)的结构，使得本实施例只需使用口腔扫描仪对用户口腔进行扫描，就能获取用户口腔信息(即扫描仪扫描数据)，建立用户口腔的口腔三维模型，不需要如传统方法一般拍摄CT图像重建氧化锆定位球，通过氧化锆定位球在CT图像中显影用视觉方法提取氧化锆定位球在视觉坐标系中的位置来获取用户口腔信息。相比于传统方法中，CT图像重建氧化锆定位球和视觉方法提取氧化锆球定位球在视觉坐标系中的位置存在的精度较低、配准误差较大的问题，本发明实施例仅需使用口腔扫描仪，不需要拍摄CT并重建氧化锆定位球，大大提高了配准效率，同时配准精度也较好。此外，本发明实施例通过在手术前建立用户口的口腔三维模型与口腔定位器的定位器三维模型配准后统一在标记坐标系下的统一三维模型，将用户口腔与口腔定位器的相对位姿关系借助统一三维模型表征出来，手术时只需检测定位到口腔定位器口外结构件上的第一视觉标记的位置，就能通过预先构建好的统一三维模型实现对用户口腔的精确定位，减少了手术过程中重复处理口腔定位器与用户口腔之间位姿标定的过程，也避免了这个过程中可能产生的失误，提高了口腔定位的精确性和稳定性。
如图3所示，图3为本发明实施例中构建口腔定位器的定位器三维模型的示意图。具体地，在一种可能的实施方式中，获取高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，识别并处理所述目标图片，以建立所述口腔定位器的定位器三维模型，包括：
T10：获取所述高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，其中，所述若干组目标图片包含所述第一视觉标记的所有标记点和所述第二视觉标记的所有标记点，所述视角为拍摄视角，一个所述拍摄视角对应拍摄一组所述目标图片，第一个所述拍摄视角左边相机光心的坐标系为标记坐标系；
T20：检测并获得各所述目标图片中包含的各所述标记点的二维像素位置；
T30：对每一个拍摄视角下拍摄的所述目标图片中各所述标记点的所述二维像素位置进行三角测量，得到所述拍摄视角下拍摄的所述目标图片中共同的所述标记点在所述拍摄视角下的三维位置；
T40：基于所述三维位置，确定各相邻所述拍摄视角之间的相邻位姿关系；
T50：基于所述相邻位姿关系和所述三维位置，确定各所述拍摄视角相对于所述标记坐标系的位姿参数和各所述标记点在所述标记坐标系下的三维坐标。
T60：基于所述位姿参数和所述三维坐标，采用第二最小化重投影误差策略，对所述三维坐标进行更新，所述第二最小化重投影误差策略为最小化所述标记点在各所述拍摄视角中的所述二维像素位置的重投影误差平方和的策略；
T70：基于更新后的所述三维坐标，采用第三最小化重投影误差策略，对所述位姿参数进行更新，所述第三最小化重投影误差策略为最小化所述拍摄视角中各所述标记点的所述二维像素位置的重投影误差平方和的策略；
T80：返回执行所述基于所述位姿参数和所述三维坐标，采用第二最小化重投影误差策略，对所述三维坐标进行更新的步骤，直至重投影误差满足预设条件，最后再进行一次全局优化，同时更新所述三维坐标和所述位姿参数，得到各所述标记点在所述标记坐标系下的三维坐标，从而建立所述口腔定位器在所述标记坐标系下的定位器三维模型。
在本实施例中，作为一种优选，高精度双目相机的参数标定，具体可使用该高精度相机对已知尺寸的平面棋盘格标定板进行多个角度的拍摄，得到第一预设数目组的第一拍摄图片,将各所述第一拍摄图片导入MATLAB(Matrix Laboratory，矩阵实验室)的双目标定工具箱Stereo Camera Calibrator(立体相机校准器)中进行标定，得到这所述双目相机中两个单目相机的内参和外参，其中，所述内参至少包括内参矩阵以及畸变参数，所述外参至少包括两个单目相机之间的位姿以及基础矩阵。
在本实施例中，固定该高精度双目相机，可通过该高精度双目相机获取预设数目组的不同视角的该口腔定位器上的两个自识别视觉标记的目标图片，每拍摄一个视角的目标图片，以一个能保证相邻两帧目标图片间重叠区域占3/4以上的微小角度转动该口腔定位器，拍摄下一个视角的目标图片，如此往复地旋转一周，每次旋转的角度相同，保证该口腔定位器上所有的视觉标记点都被该高精度双目相机拍摄到两次以上，选取第一个拍摄视角左边相机光心的坐标系作为标记坐标系{M}，对每张目标图片的标记点进行检测、定位和识别，通过对两个单目相机的二维像素位置进行三角测量，计算各所述目标图片中两个单目相机共同拍摄到的标记点集在对应的目标图片的拍摄视角下的三维位置，获取各相邻拍摄视角的中共同包含的标记点集对应的三维位置，通过奇异值分解的方法对该标记点集对应的坐标系进行配准，得到各相邻拍摄视角之间的旋转矩阵R和转移向量T，通过增量式的方法基于所述旋转矩阵R和所述转移向量T，计算各拍摄视角相对于标记坐标系{M}的旋转矩阵Ri和转移向量Ti(i＝2,3,…,N)，得到各拍摄视角相对于标记坐标系的位姿参数，并将在第i个的拍摄视角中但不在第一个拍摄视角中的标记点通过旋转和平移关系，拼接到坐标系{M}下，得到各所述标记点在标记坐标系{M}下的三维坐标，基于以上位姿参数和三维坐标，对所有标记点进行多视图重新三角化，其策略为最小化该标记点在所有包含该标记点的拍摄视角中二维像素位置的重投影误差平方和，即其中，Xk是该标记点的三维坐标，xik是该标记点在第i个拍摄视角下的二维像素坐标，zik是该标记点在第i个拍摄视角下的像素深度，Cli和Cri分别是第i个拍摄视角下左相机和右相机观测到的标记点集合，K是相机的内参矩阵，Ti是第i个拍摄视角在标记坐标系下的位姿参数。此过程也称为“仅优化标记点点的三维坐标的光束平差”，基于多视图重新三角化的标记点，重新确定每个拍摄视角的位姿参数，其策略为最小化该拍摄视角下相机观测到的所有标记点的二维像素位置的重投影误差平方和，即/>其中，Ti是该拍摄视角的位姿参数，xj是该拍摄视角下第j个标记点的二维像素位置，Xj是该标记点在坐标系{M}下的三维坐标，zj是该标记点在该拍摄视角下的像素深度，NCli和/>分别是第i个拍摄视角下左相机和右相机看到的标记点的数量，此过程也叫做“仅优化拍摄视角位姿参数的光束平差”，迭代运行前两个步骤，直到重投影误差收敛或迭代次数大于某个特定值，最后再进行一次全局光束平差，即再进行一次“仅优化标记点的三维坐标的光束平差”和“仅优化拍摄视角位姿参数的光束平差”，得到自识别视觉标记中的所有标记点在标记坐标系{M}(即标记坐标系)下的三维坐标，从而建立口腔定位器再标记坐标系下的定位器三维模型。
本发明实施例将第一个拍摄视角对应的坐标系定为标记坐标系，通过对高精度双目相机多视角拍摄口腔定位器上所有标记点的若干组目标图片进行图像识别处理，确定所有标记点的二维像素位置，进而确定所有相邻拍摄视角之间的位姿参数和每个拍摄视角下对应一组目标图片中共同的标记点的三维位置，并通过初步确定所有拍摄视角相对于标记坐标系的位姿参数和所有标记点再标记坐标系下的三维坐标，然后迭代优化该三维坐标的光束平差和位姿参数光束平差，得到更高精度的三维坐标和位姿参数，在此基础上，最后进行一次全局光束平差，通过这样的步骤得到的所有标记点在标记坐标系下的三维坐标无疑极为精确，以此建立的口腔定位器的定位器三维模型也将具有极高的精度。
在一种可能的实施方式中，所述对所述定位器三维模型和所述口腔三维模型进行坐标系配准，以建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型，包括：
X10：建立所述口腔三维模型的口腔坐标系，确定所述第二视觉标记在口腔坐标系中的第一三维坐标；
X20：基于所述标记坐标坐标系，确定所述第二视觉标记在所述标记坐标系中的第二三维坐标；
X30：基于所述第一三维坐标和所述第二三维坐标，确定所述口腔坐标系与所述标记坐标系之间的坐标系相对位姿，得到相对姿变换值，基于所述第相对姿变换值，建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型
本实施例通过确定口腔三维模型和定位器三维模型共有的第二视觉标记在口腔坐标系中的第一三维坐标，以及在标记坐标系中的第二三维坐标，进一步确定口腔坐标系和标记坐标系之间的坐标系相对位姿，以此将口腔三维模型整体变换拼接到标记坐标系下，构建统一三维模型，整个方法实现起来比较简单，同时保证了统一三维模型的精度。
此外，本发明还提供一种口腔定位系统，请参照图1至图3，所述口腔定位系统包括：
口腔定位器2，所述口腔定位器2包括口内结构件5和口外结构件4，用于辅助定位；
自识别视觉标记6，所述自识别视觉标记6设于所述口腔定位器2上，用于辅助定位，所述自识别视觉标记6为一种具有多个标记点的棋盘格图案，所述标记点按预设编码方式排布，其中，所述自识别视觉标记6包括第一视觉标记8，所述第一视觉标记8设于所述口外结构件4上；
数据采集设备，所述数据采集设备用于采集目标数据，其中，所述目标数据包括具有所述第一视觉标记的目标环境图像；
控制主机(未图示)，所述控制主机与所述数据采集设备连接，用于获取并处理所述目标数据。
在本实施例中，口外结构件4是一个圆柱形空心桶，第一视觉标记8被立体地打印或做成贴纸贴在口外结构件4上，口内结构件5整体呈倒凹形，共有三个面：颊面、舌面以及包裹口腔内牙齿的顶面，每个面都包含许多小孔，手术前，将口腔定位器2佩戴在用户口腔上，口内结构件5与用户口腔贴合，可变形的硅橡胶材料通过这些小孔将牙齿与口腔定位器的口内结构件紧密贴合，数据采集设备采集具有口腔定位器2的口外结构件4上第一视觉标记8的目标环境图像，控制主机与数据采集设备连接，获取数据采集设备采集的该目标环境图像，并对其进行图像识别处理，最终对口腔中手术目标位置进行定位。
如图1所示，图1为本发明实施例中相机阵列拍摄第一视觉标记的场景示意图。具体地，在一种可能的实施例中，所述数据采集设备包括相机阵列1，所述相机阵列1按视角汇聚的方式排布，所述相机阵列1与所述控制主机连接，用于拍摄具有所述第一视觉标记8的目标环境图像，并将所述目标环境图像传输给所述控制主机。
在本实施例中，相机阵列1被固定在外部支架上，由多个单目工业相机按视角汇聚的方式排布组成，这种排布方式可将各个相机的拍摄视角聚焦在口腔定位器2口外结构件4上的第一视觉标记，拍摄到具有更多标记点的更完整的具有第一视觉标记8的目标环境图像，提高对目标环境图像进行图像识别处理所得结果的精度，进而保证定位手术目标位置时的精确性。
在一种可能的实施例中，所述目标数据还包括若干组目标图片，所述数据采集设备还包括高精度双目相机(未图示)，所述高精度双目相机用于多视角同时拍摄具有所述第一视觉标记8和所述第二视觉标记7的若干组目标图片，所述若干组目标图片包含所述第一视觉标记8的所有标记点和所述第二视觉标记7的所有标记点。
在本实施例中，第二视觉标记7被做成贴纸贴在口腔定位器2的口内结构件5顶面的外表面上，高精度双目相机由两个单目工业组成，已进行过参数标定，若干组目标图片以如下方式拍摄获得：每拍摄一个视角的目标图片，以一个能保证相邻两帧目标图片间重叠区域占3/4以上的微小角度转动该口腔定位器，拍摄下一个视角的目标图片，如此往复地旋转一周，每次旋转的角度相同，保证该口腔定位器2上所有的视觉标记点都被该高精度双目相机拍摄到两次以上。
本申请通过标定的高精度双目相机按上述的拍摄方式对口腔定位器2上所有自识别视觉标记6进行拍摄，保证该口腔定位器2上所有的视觉标记点都被该高精度双目相机拍摄到两次以上，如此获得的若干组目标图片，蕴含口腔定位器2上所有标记点的信息，且相邻拍摄视角中包含的共同标记点较多，有利于建立口腔定位器2的定位器三维模型时通过这些目标图片获得更多更全面且精确的信息，建立出具有极高精度的定位器三维模型。
在一种可能的实施例中，所述目标数据还包括扫描仪扫描数据，所述数据采集设备还包括口腔扫描仪(未图示)，所述口腔扫描仪与所述控制主机连接，用于扫描所述口内结构件5及第二视觉标记7、未佩戴所述口腔定位器2的用户口腔，以及已佩戴所述口腔定位器2的用户口腔，得到扫描仪扫描数据，并将所述扫描仪扫描数据传输给所述控制主机。
本实施例中，数据采集设备还包括口腔扫描仪，通过口腔扫描仪扫描口内结构件5及第二视觉标记7、未佩戴口腔定位器2的用户口腔，以及已佩戴口腔定位器2的用户口腔，得到用户口腔的扫描仪扫描数据，并将扫描仪扫描数据传输给控制主机。
本申请基于口腔定位器2的口内结构件5上贴有平面自识别视觉标记(即第二视觉标记7)的结构，只需使用口腔扫描仪对用户口腔进行扫描，就能获取用户口腔信息(即扫描仪扫描数据)，建立用户口腔的口腔三维模型，不需要如传统方法一般拍摄CT图像重建氧化锆定位球，通过氧化锆定位球在CT图像中显影用视觉方法提取氧化锆定位球在视觉坐标系中的位置来获取用户口腔信息。相比于传统方法中，CT图像重建氧化锆定位球和视觉方法提取氧化锆球定位球在视觉坐标系中的位置存在的精度较低、配准误差较大的问题，本发明实施例仅需使用口腔扫描仪，不需要拍摄CT并重建氧化锆定位球，大大提高了配准效率，同时配准精度也较好。
参照图7，图7为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
如图7所示，该口腔定位设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图7中示出的结构并不构成对口腔定位设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
此外，本发明还提供一种口腔定位设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的口腔定位程序，所述口腔定位程序被所述处理器执行时实现如上述的口腔定位方法的步骤。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有口腔定位程序，所述口腔定位程序被处理器执行时实现如上述的口腔定位方法的步骤。
本发明计算机可读存储介质具体实施方式与上述口腔定位方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种口腔定位方法，其特征在于，所述口腔定位方法包括以下步骤：
若检测到佩戴好口腔定位器的用户处于预设范围，控制相机阵列拍摄具有自识别视觉标记的目标环境图像，其中，所述口腔定位器包括口外结构件，所述自识别视觉标记为一种具有多个标记点的棋盘格图案，各所述标记点按预设编码方式排布，所述自识别视觉标记包括第一视觉标记，所述第一视觉标记设于所述口外结构件上；
获取预先构建好的统一三维模型，其中，所述统一三维模型为所述口腔定位器的定位器三维模型与所述用户的口腔三维模型配准后，统一在预设的标记坐标系下的三维模型；
通过所述统一三维模型，确定所述第一视觉标记与所述用户的用户口腔之间的第一相对位姿关系；
对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息；
基于所述第一相对位姿关系与所述第一位姿信息，确定所述用户口腔在相机阵列坐标系下的第一位姿参照信息，基于所述第一位姿参照信息，对所述用户口腔中的手术目标位置进行定位。
2.如权利要求1所述的口腔定位方法，其特征在于，所述对所述目标环境图像进行图像识别处理，结合所述统一三维模型，确定所述第一视觉标记在相机阵列坐标系下的第一位姿信息，包括：
对所述目标环境图像进行图像识别处理，确定所述目标环境图像中各所述标记点的二维像素坐标，并获取所述相机阵列的各相机内参和各相机外参；
基于各所述二维像素坐标、所述各相机内参和所述各相机外参，确定各所述二维像素坐标的单位观测向量；
基于所述统一三维模型，获取各所述标记点在所述标记坐标系下的标记三维坐标，基于EPnP算法和各所述标记三维坐标，确定所有所述标记点在所述标记坐标系下的四个控制点坐标，及各所述标记点的齐次重心坐标；
获取所述相机阵列各相机光心到所述相机阵列坐标系的原点的光心向量，基于各所述光心向量、各所述单位观测向量和各所述齐次重心坐标，确定所有所述标记点在所述相机阵列坐标系下的四个控制点坐标；
基于所述标记坐标系的四个控制点坐标和所述相机阵列坐标系的四个控制点坐标，通过奇异值分解的方法，确定所述标记坐标系和所述相机阵列坐标系之间的坐标系位姿变换，得到位姿变换值；
采用第一最小化重投影误差策略，对所述位姿变换值进行数值优化，所述第一最小化重投影误差策略为最小化所述坐标系位姿变换下所述二维像素坐标的重投影误差平方和的策略；
对数值优化后的所述位姿变换值进行扩展卡尔曼滤波，得到所述第一视觉标记在所述相机阵列坐标系下的第一位姿信息。
3.如权利要求1所述的口腔定位方法，其特征在于，所述口腔定位器还包括口内结构件，所述自识别视觉标记还包括第二视觉标记，所述第二视觉标记设于所述口内结构件上，所述口腔定位方法还包括：
获取高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，识别并处理所述目标图片，以建立所述口腔定位器的定位器三维模型；
获取口腔扫描仪扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔后得到的扫描仪扫描数据，识别并处理所述扫描仪扫描数据，以建立所述用户口腔的口腔三维模型；
对所述定位器三维模型和所述口腔三维模型进行坐标系配准，以建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型。
4.如权利要求3所述的口腔定位方法，其特征在于，所述获取高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，识别并处理所述目标图片，以建立所述口腔定位器的定位器三维模型，包括：
获取所述高精度双目相机多视角拍摄的具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，其中，所述若干组目标图片包含所述第一视觉标记的所有标记点和所述第二视觉标记的所有标记点，所述视角为拍摄视角，一个所述拍摄视角对应拍摄一组所述目标图片，第一个所述拍摄视角左边相机光心的坐标系为标记坐标系；
检测并获得各所述目标图片中包含的各所述标记点的二维像素位置；
对每一个拍摄视角下拍摄的所述目标图片中各所述标记点的所述二维像素位置进行三角测量，得到所述拍摄视角下拍摄的所述目标图片中共同的所述标记点在所述拍摄视角下的三维位置；
基于所述三维位置，确定各相邻所述拍摄视角之间的相邻位姿关系；
基于所述相邻位姿关系和所述三维位置，确定各所述拍摄视角相对于所述标记坐标系的位姿参数和各所述标记点在所述标记坐标系下的三维坐标；
基于所述位姿参数和所述三维坐标，采用第二最小化重投影误差策略，对所述三维坐标进行更新，所述第二最小化重投影误差策略为最小化所述标记点在各所述拍摄视角中的所述二维像素位置的重投影误差平方和的策略；
基于更新后的所述三维坐标，采用第三最小化重投影误差策略，对所述位姿参数进行更新，所述第三最小化重投影误差策略为最小化所述拍摄视角中各所述标记点的所述二维像素位置的重投影误差平方和的策略；
返回执行所述基于所述位姿参数和所述三维坐标，采用第二最小化重投影误差策略，对所述三维坐标进行更新的步骤，直至重投影误差满足预设条件，最后再进行一次全局优化，同时更新所述三维坐标和所述位姿参数，得到各所述标记点在所述标记坐标系下的三维坐标，从而建立所述口腔定位器在所述标记坐标系下的定位器三维模型。
5.如权利要求3所述的口腔定位方法，其特征在于，所述获取口腔扫描仪扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔后得到的扫描仪扫描数据，识别并处理所述扫描仪扫描数据，以建立所述用户口腔的口腔三维模型，包括：
获取口腔扫描仪扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔后得到的扫描仪扫描数据；
基于所述扫描仪扫描数据，获得所述口内结构件及第二视觉标记的口内三维模型、所述未佩戴所述口腔定位器的用户口腔的未佩戴三维模型，以及所述已佩戴所述口腔定位器的用户口腔的已佩戴三维模型；
融合所述口内三维模型、所述未佩戴三维模型和所述已佩戴三维模型，建立所述用户口腔的口腔三维模型。
6.如权利要求3所述的口腔定位方法，其特征在于，所述对所述定位器三维模型和所述口腔三维模型进行坐标系配准，以建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型，包括：
基于所述标记坐标系，确定所述第二视觉标记在所述标记坐标系中的第二位姿信息；
建立所述口腔三维模型的口腔坐标系，确定所述第二视觉标记与所述用户口腔之间的第二相对位姿关系；
基于所述第二相对位姿关系与所述第二位姿信息，得到所述用户口腔在所述标记坐标系下的第二位姿参照信息，基于所述第二位姿参照信息，建立所述定位器三维模型和所述口腔三维模型统一在所述标记坐标系下的统一三维模型。
7.一种口腔定位系统，其特征在于，所述口腔定位系统包括：
口腔定位器，所述口腔定位器包括口内结构件和口外结构件，用于辅助定位；
自识别视觉标记，所述自识别视觉标记设于所述口腔定位器上，用于辅助定位，所述自识别视觉标记为一种具有多个标记点的棋盘格图案，所述标记点按预设编码方式排布，其中，所述自识别视觉标记包括第一视觉标记，所述第一视觉标记设于所述口外结构件上；
数据采集设备，所述数据采集设备用于采集目标数据，其中，所述目标数据包括具有所述第一视觉标记的目标环境图像；
控制主机，所述控制主机与所述数据采集设备连接，用于获取并处理所述目标数据。
8.如权利要求7所述的口腔定位系统，其特征在于，所述数据采集设备包括相机阵列，所述相机阵列按视角汇聚的方式排布，所述相机阵列与所述控制主机连接，用于拍摄具有所述第一视觉标记的目标环境图像，并将所述目标环境图像传输给所述控制主机。
9.如权利要求7所述的口腔定位系统，其特征在于，所述自识别视觉标记还包括第二视觉标记，其中，所述第二视觉标记为平面自识别视觉标记，设于所述口内结构件上。
10.如权利要求9所述的口腔定位系统，其特征在于，所述目标数据还包括若干组目标图片，所述数据采集设备还包括高精度双目相机，所述高精度双目相机用于多视角同时拍摄具有所述第一视觉标记和所述第二视觉标记的若干组目标图片，所述若干组目标图片包含所述第一视觉标记的所有标记点和所述第二视觉标记的所有标记点。
11.如权利要求9所述的口腔定位系统，其特征在于，所述目标数据还包括扫描仪扫描数据，所述数据采集设备还包括口腔扫描仪，所述口腔扫描仪与所述控制主机连接，用于扫描所述口内结构件及第二视觉标记、未佩戴所述口腔定位器的用户口腔，以及已佩戴所述口腔定位器的用户口腔，得到扫描仪扫描数据，并将所述扫描仪扫描数据传输给所述控制主机。
12.一种口腔定位设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的口腔定位程序，所述口腔定位程序配置为实现如权利要求1至6中任一项所述的口腔定位方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有口腔定位程序，所述口腔定位程序被处理器执行时实现如权利要求1至6中任一项所述的口腔定位方法的步骤。
CN202311281636.3A 2023-09-28 2023-09-28 口腔定位方法、系统、设备及计算机可读存储介质 Pending CN117338465A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311281636.3A CN117338465A (zh) 2023-09-28 2023-09-28 口腔定位方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311281636.3A CN117338465A (zh) 2023-09-28 2023-09-28 口腔定位方法、系统、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN117338465A true CN117338465A (zh) 2024-01-05

Family

ID=89366107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311281636.3A Pending CN117338465A (zh) 2023-09-28 2023-09-28 口腔定位方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117338465A (zh)

Similar Documents

Publication Publication Date Title
US10507002B2 (en) X-ray system and method for standing subject
JP4886560B2 (ja) 情報処理装置、情報処理方法
US20200268339A1 (en) System and method for patient positioning
US11123144B2 (en) Registration of frames of reference
EP2953569B1 (en) Tracking apparatus for tracking an object with respect to a body
CN108961326B (zh) 一种用于种牙手术视觉导航的配准方法及电子设备
WO2015054281A1 (en) Calibration of 3d scanning device
RU2018136770A (ru) Системы и способы сканирования черт лица
CN112168357B (zh) C臂机空间定位模型构建系统及方法
CN109925052B (zh) 靶点路径的确定方法、装置和系统、可读存储介质
US9691176B2 (en) Method and system for forming a virtual model of a human subject
WO2004044522A1 (ja) ３次元形状計測方法およびその装置
JP2017129567A (ja) 情報処理装置、情報処理方法、プログラム
US20150097968A1 (en) Integrated calibration cradle
JP2008216089A (ja) 被験体の３次元的位置及び向き測定装置
JP2017144498A (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
JP4095320B2 (ja) センサ較正装置、センサ較正方法、プログラム、記憶媒体
JP5198078B2 (ja) 計測装置および計測方法
CN112367943B (zh) 用于生成牙弓的3d模型的方法
KR101812001B1 (ko) 3차원 데이터 정합 장치 및 방법
CN114224489A (zh) 用于手术机器人的轨迹跟踪系统及利用该系统的跟踪方法
JP2008292407A (ja) 情報処理方法及び情報処理装置
KR20160057024A (ko) 마커리스 ３차원 객체추적 장치 및 그 방법
CN117338465A (zh) 口腔定位方法、系统、设备及计算机可读存储介质
JP2016017913A (ja) 姿勢情報作成システム、姿勢情報作成方法及び姿勢情報作成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination