CN112190328A - 一种全息透视定位系统及定位方法 - Google Patents

一种全息透视定位系统及定位方法 Download PDF

Info

Publication number
CN112190328A
CN112190328A CN202010979377.1A CN202010979377A CN112190328A CN 112190328 A CN112190328 A CN 112190328A CN 202010979377 A CN202010979377 A CN 202010979377A CN 112190328 A CN112190328 A CN 112190328A
Authority
CN
China
Prior art keywords
module
positioning
mixed reality
tracking
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010979377.1A
Other languages
English (en)
Inventor
陈亮
张嘉伟
韩曼曼
赵泉洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Jinser Medical Information Technology Co ltd
Original Assignee
Changzhou Jinser Medical Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Jinser Medical Information Technology Co ltd filed Critical Changzhou Jinser Medical Information Technology Co ltd
Priority to CN202010979377.1A priority Critical patent/CN112190328A/zh
Publication of CN112190328A publication Critical patent/CN112190328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种全息透视定位系统，包括规划模块、配准模块和定位模块等，通过规划模块重建目标实体的三维模型，通过配准模块得到位置信息在混合现实模块与光学定位模块之间的转换矩阵，最终实现目标实体与三维模型的精确定位。此外，本发明还提供一种定位方法，包括规划、事前准备、信息加载、配准、追踪、定位，提高定位精度，实现了目标实体与三维模型在混合现实模块中的深度融合，达到不同类型应用场景的智能应用。比如用在医疗领域，通过患者的医学影像数据重建患处三维模型，并进一步提高了虚拟的三维模型与患处之间的定位精度，为医生提供三维信息，且全程可视化，为医生在手术中提供精准的指导。

Description

一种全息透视定位系统及定位方法
技术领域：
本发明涉及全息透视定位技术领域，尤其涉及一种全息透视定位系统及定位方法。
背景技术：
随着智能科技的发展，全息透视定位技术目前在很多领域都有应用，比如用于医疗领域，通过患者的医学影像数据重建股骨患处三维模型，并将虚拟的三维模型叠加到患处，与真实的手术环境进行结合，为医生提供三维信息，全程可视化，为医生在手术中提供指导，帮助医生精确定位手术路径，提高手术的准确性和科学性；用于维修指导，尤其针对复杂设备的维修，通过混合现实技术可以协助维修人员快速找出有异常的部位，并针对维修的操作过程进行虚拟路径导航，提高维修的效率。
然而，目前全息透视定位技术定位精度有限，在实际应用过程中不能满足更高精度的定位要求。
发明内容：
本发明的目的是针对现有技术的缺陷，提供一种能够解决上述问题的全息透视定位系统及定位方法。
一种全息透视定位系统，包括规划模块、配准模块、追踪模块和定位模块，所述规划模块、配准模块和定位模块与控制模块连接。所述规划模块以目标实体为基础，重建目标实体的三维模型，并进行规划，生成数据包。所述配准模块包括光学定位模块、校准模块和混合现实模块，用于得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵。所述追踪模块包括固定连接的追踪光敏模块和追踪针，用来在定位过程中追踪目标实体的位置。所述定位模块包括固定连接的定位光敏模块和若干定位探针，用于实现目标实体与三维模型在混合现实模块中的深度融合。
通过设计所述配准模块，将光学定位模块的精度引入到定位系统中，达到定位误差小至毫米级，远高于现有技术中的定位精度，可以实现不同类型应用场景的高精度定位要求。
进一步地，所述校准模块包括固定连接的特征图像模块和校准光敏模块，所述校准模块可以是能够满足特征图像模块的位置与光敏模块的位置有一个可测量的固定关系的任意形态。
进一步地，所述特征图像模块包括至少一个特征图像，特征图像可以是二维码或其他计算机可识别的包含信息的图像。
进一步地，所述校准光敏模块、定位光敏模块和追踪光敏模块均包括至少三个光敏球。
进一步地，所述至少三个光敏球处于同一平面且组成的图形面积不小于40cm2。
进一步地，所述光学定位模块可以为红外定位设备或电磁定位设备，其中所述红外定位设备或电磁定位设备要求精度小于2mm。
此外，本发明还提供了一种全息透视定位系统的定位方法，包括以下步骤：
(1)规划，重建目标实体的三维模型，生成数据包；
(2)事前准备，将规划模块、光学定位模块、混合现实模块与控制模块连接，并校验所述校准模块；
(3)信息加载，启动所述混合现实模块，控制系统将数据包发送给混合现实模块，使其加载数据包；
(4)配准，通过所述校准模块获得同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵
Figure BDA0002686977380000021
通过设计配准模块，将光学定位模块的精度引入到定位系统中，大大提高定位精度。
(5)追踪，实时追踪目标实体的位置；
(6)定位，通过所述定位模块实现目标实体与三维模型在混合现实模块中的深度融合。
进一步地，所述三维模型上预设有若干模型定位点。
进一步地，校验过程为：通过调整光学定位模块和校准模块的位置和角度，使所述校准光敏模块能够被所述光学定位模块探测到。
进一步地，配准过程为：首先所述光学定位模块追踪所述校准光敏模块，计算得到所述特征图像模块中心点在所述光学定位模块中的位置数据，然后所述混合现实模块追踪所述特征图像模块，得到所述特征图像中心点在所述混合现实模块中的位置数据，基于所述特征图像模块中心点在所述光学定位模块和所述混合现实模块中的位置数据，得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵
Figure BDA0002686977380000031
进一步地，所述特征图像模块中心点在所述光学定位模块中的位置数据的计算过程为：首先通过光学定位模块获得校准模块的位置矩阵为
Figure BDA0002686977380000032
由于校准模块中特征图像的中心点与光学定位模块4识别的光敏模块22具有刚性位置关系
Figure BDA0002686977380000033
可得其在光学定位模块中位置为
Figure BDA0002686977380000034
进一步地，所述坐标转换矩阵的计算过程为：通过混合现实模块获取特征图像在混合现实坐标系中的位置矩阵为
Figure BDA0002686977380000035
可计算出光学定位模块4的坐标系在混合现实模块1坐标系中的转换矩阵为
Figure BDA0002686977380000036
进一步地，追踪过程为：把追踪模块的追踪针固定在目标实体上并调整方向，使追踪光敏模块能够被光学追踪模块识别到。
进一步的，所述定位过程中，定位模块上的定位探针按照顺序依次选择定位点，并计算得到所述定位探针在所述混合现实模块中的位置信息，然后根据加载的三维模型上的对应的模型定位点的信息，实现三维模型中模型定位点在混合现实模块中与目标实体的定位探针的针尖位置一一绑定，达到了定位模块与三维模型在混合现实模块中实时保持定位点规划时的相对姿态关系，之后通过将定位模块上的定位探针的针尖移动到场景中的对应目标实体上的各实体定位点，实现目标实体与三维模型在混合现实模块中的深度融合。
进一步地，所述定位探针在所述混合现实模块中的位置信息的计算过程为：通过所述光学定位模块追踪定位模块上的定位光敏模块的空间位置与姿态，计算得到若干定位探针在所述光学定位模块中的空间位置坐标，再通过转换矩阵
Figure BDA0002686977380000041
将其转换为混合现实模块中的空间位置坐标。
本发明一种全息透视定位系统及定位方法的有益效果是：
(1)本发明提供了一种全息透视定位系统，包括规划模块、配准模块和定位模块，通过规划模块重建目标实体的三维模型，通过配准模块得到位置信息在混合现实模块与光学定位模块之间的转换矩阵，最终实现目标实体与三维模型的精确定位。定位误差小至毫米级，实现了目标实体与三维模型在混合现实模块中的深度融合，大大提高了现有设备的定位精度，满足了术中指导、设备维修等领域的更高精度的定位要求。
(2)本发明的配准模块将光学定位模块的精度引入到混合现实模块中，通过校准模块建立光学定位模块和混合现实模块之间的联系，基于所述校准模块上特征图像模块中心点在所述光学定位模块和所述混合现实模块中的位置数据，得到对应的空间配准矩阵，获取所述光学定位模块与所述混合现实模块的坐标转换矩阵，方便了后续模型与实物之间的精确定位。
(3)通过设定校准模块的机械结构，加工时设计特征图像和光敏球的固定空间位置，并通过特征图像分别在光学定位模块和混合现实模块识别位置进行空间拟合，获取两种不同类型空间定位设备的高精度空间匹配。
附图说明：
图1为本发明工作原理示意图，
图2为本发明配准模块的结构示意图，
图3为本发明校准模块的结构示意图，
图4为本发明定位模块的结构示意图，
图中：1规划模块，2校准模块，21特征图像模块，22校准光敏模块，3混合现实模块，4光学定位模块，5追踪模块，6定位模块，61定位探针，62定位光敏模块，7控制模块，8目标实体。
具体实施方式：
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易被本领域人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
实施例1
见图1至图4，一种全息透视定位系统，包括规划模块1、配准模块、定位模块6、追踪模块5和控制模块7，所述规划模块1、配准模块、定位模块6与控制模块7连接。
所述规划模块1以目标实体8为基础，通过重建目标实体8的三维模型，并预设三维模型的结构及定位过程中进行深度融合的若干模型定位点，生成数据包。本实施例中，用于股骨手术中的术中定位，目标实体为股骨，通过患者的医学影像数据重建股骨患处三维模型，并进行手术规划，确定截骨的角度及厚度，以及定位过程中进行深度融合的解剖标志点(即模型定位点)，生成手术数据包，本申请将实现该功能的这一模块定义为规划模块，可利用现有技术来实现。
所述配准模块包括光学定位模块4、校准模块2和混合现实模块3，所述光学定位模块4为红外定位设备或电磁定位设备等，所述配准模块通过所述校准模块2获得同一空间位置在所述混合现实模块3与所述光学定位模块4之间的坐标转换矩阵
Figure BDA0002686977380000061
其中，所述校准模块2包括固定连接的特征图像模块21和校准光敏模块22。所述特征图像模块21包括一个或多个特征图像，所述多个特征图像的大小、排列不受限制，可任意排列，本实施例特征图像为3个，且不在同一条直线上。满足特征图像模块的位置与校准光敏模块的位置有一个可测量的固定关系的任意形态的校准板都可以，不局限于图3的形态。特征图像为二维码或其他计算机可识别的包含信息的图像。
所述追踪模块5包括固定连接的追踪光敏模块和追踪针，所述追踪针定位在股骨上，所述追踪光敏模块与所述光学定位模块4配合以便在定位过程中追踪股骨的位置。所述定位模块4包括固定连接的定位光敏模块62和定位探针61，用于实现股骨与三维模型在混合现实模块3中的深度融合。
光学定位模块4用于追踪所述校准光敏模块22、定位光敏模块62和追踪光敏模块。所述校准光敏模块22、定位光敏模块62和追踪光敏模块包括4个光敏球，所述各光敏球处于同一平面且组成的图形面积不小于40cm2。所述混合现实模块可选用头戴式眼镜设备。
此外，本发明还提供了一种全息透视定位系统的定位方法，包括以下步骤：
(1)规划，首先重建股骨的三维模型，通过事先采集数据重建股骨的三维模型，并进行手术规划，确定截骨的角度及厚度，以及定位过程中进行深度融合的解剖标志点(即模型定位点)，生成手术数据包。
规划模块中，首先要根据事先采集的相关数据按照实物的形状、结构来规划模型及定位中进行深度融合的模型定位点，模型定位点有三个或三个以上，其规划过程为：依次选择目标实体的易于识别及选择的三个或三个以上的特征点。
(2)事前准备，首先将规划模块1、光学定位模块4、混合现实模块3与控制模块7连接，然后校验所述校准模块2的位置(通过调整光学定位模块的位置和角度，使所述校准光敏模块能够被所述光学定位模块探测到)。
(3)信息加载，启动所述混合现实模块3，控制系统7将数据包发送给混合现实模块3，混合现实模块3加载数据包，得到三维模型与其上预设的若干模型定位点的信息。
(4)配准，将校准模块2放置到待手术的股骨处，调整光学定位模块4的位置和角度，通过所述校准模块2获得同一空间位置在所述混合现实模块3与所述光学定位模块4之间的坐标转换矩阵
Figure BDA0002686977380000071
因为校准模块上的校准光敏模块与特征图像模块具有刚性固定关系，光学定位模块4追踪校准光敏模块22，得到位置信息
Figure BDA0002686977380000072
并通过校准板的机械结构关系矩阵
Figure BDA0002686977380000073
得到所述特征图像模块中心点在所述光学定位模块中的位置数据
Figure BDA0002686977380000074
由
Figure BDA0002686977380000075
计算得到特征图像模块在混合现实模块3坐标系中的坐标
Figure BDA0002686977380000076
基于特征图像模块在光学定位模块4和混合现实模块3中的位置数据，计算得到对应空间配准矩阵
Figure BDA0002686977380000077
具体的，首先通过光学定位模块追踪校准光敏模块22，获得校准模块的位置矩阵为
Figure BDA0002686977380000078
由于校准模块的精密机械加工结构，校准模块中3个特征图像的中心点与光学定位设备识别的校准光敏模块具有刚性位置关系
Figure BDA0002686977380000079
可得其在光学定位位置为
Figure BDA00026869773800000710
通过混合现实模块获取特征图像模块在混合现实坐标系中的位置矩阵分别为
Figure BDA00026869773800000711
可计算出光学定位模块的坐标系在混合现实设备坐标系中的转换矩阵为
Figure BDA00026869773800000712
即可通过此转换矩阵实时计算出光学定位模块探测到光敏模块在混合现实坐标下的实时位置矩阵
Figure BDA00026869773800000713
此外，对于配准过程中得到的坐标转换矩阵
Figure BDA0002686977380000081
由混合现实模块3与光学定位模块4在同一时刻内识别校准模块得到的位置矩阵
Figure BDA0002686977380000082
和
Figure BDA0002686977380000083
计算得到。(混合现实模块的坐标原点为模块启动时刻确定，之后模块的移动不会改变该原点位置，该混合现实模块具备SLAM空间定位能力，所以确定
Figure BDA0002686977380000084
后该值不会改变。
(5)追踪，把追踪模块5的追踪针通过固定在股骨上并调整方向，确保追踪光敏模块能够被光学追踪模块识别到，以便实时追踪目标实体的位置。
(6)定位，用所述定位模块6上的定位探针61按照顺序在股骨上依次选择定位点，所述光学定位模块6通过追踪定位光敏模块62的空间位置与姿态，通过计算得到定位探针61在所述光学定位模块4中的空间位置坐标，再通过转换矩阵
Figure BDA0002686977380000085
将其转换为混合现实模块3中的空间位置坐标，然后根据导入的三维模型上的对应的模型定位点的信息，即可实现三维模型中模型定位点在混合现实模块中与目标实体的定位探针的针尖位置一一绑定，达到了定位模块与三维模型在混合现实模块中实时保持定位点规划时的相对姿态关系，之后通过将定位模块上的定位探针的针尖依次移动到场景中的股骨上的各实体定位点，实现股骨与三维模型在混合现实模块中的深度融合。
定位过程中，通过光学定位模块获得定位模块上定位光敏模块的空间位置(a′p,b′p,c′p,d′p…n′p)，其中每个空间位置都是三维空间坐标点，比如a′p的坐标是(xa′,ya′,za′)。事先规划的模型定位点为(ap,bp,cp,dp…np)，其中ap的坐标是(xa,ya,za)。通过二者的一一对应关系计算出算出
Figure BDA0002686977380000086
对应关系如下：
Figure BDA0002686977380000088
Figure BDA0002686977380000089
Figure BDA00026869773800000810
Figure BDA0002686977380000091
Figure BDA0002686977380000096
Figure BDA0002686977380000092
Figure BDA0002686977380000093
为了求解该变换矩阵
Figure BDA0002686977380000094
的9个未知参数，理论上至少需要9个方程联立求解，即需要3组点集，n≥3，当n>3时用最小二乘法求解未知参数。并且这三组点不在同一条线上。
从实际应用上讲，将(a′p,b′p,c′p,d′p…n′p)组成的点集形状，通过刚性转换到(ap,bp,cp,dp…np)组成的点集形状，所以
Figure BDA0002686977380000097
中只是包含平移和旋转操作，不包含放大缩小操作。求解过程应用原理如下：
a)首先将(a′p,b′p,c′p,d′p…n′p)作为整体通过平移和旋转操作，将a′p与ap点重合。
b)之后分别遍历X/Y/Z三轴旋转，使得得到变换后的(a′p,b′p,c′p,d′p…n′p)与(ap,bp,cp,dp…np)的综合误差最小。
c)随后微调平移位置，使得综合误差进一步缩小。
d)最后得到
Figure BDA0002686977380000095
定位完成，退出定位操作。
实施例2
本实施例中，用于股骨手术中的术中定位，目标实体为股骨，定位系统的组成和定位方法基本同实施例1，区别之处在于：所采用的校准模块中，特征图像的数目为4个，且呈一条直线排列。光敏模块中具有5个光敏球，所述各光敏球处于同一平面且组成的图形面积不小于60cm2。
实施例3
一种全息透视定位系统，包括规划模块1、配准模块、定位模块6、追踪模块5和控制模块7，所述规划模块1、配准模块、定位模块6与控制模块7连接。
所述规划模块1以目标实体8为基础，通过重建目标实体8的三维模型，并预设三维模型的结构及及定位过程中进行深度融合的若干模型定位点，生成数据包。本实施例中，用于设备的维修指导，目标实体为待维修设备，通过实现采集的数据重建设备的三维模型，并进行规划，确定设备内待维修处的结构，以及定位中进行深度融合的标志点(即模型定位点)，生成数据包。
所述配准模块、光学定位模块同实施例1。
所述追踪模块5包括固定连接的追踪光敏模块和追踪针，所述追踪针定位在待维修设备上，所述追踪光敏模块与所述光学定位模块4配合以便在定位过程中追踪待维修设备的位置。所述定位模块4包括固定连接的定位光敏模块62和若干定位探针61(如图4所示)，用于实现待维修设备与三维模型在混合现实模块3中的深度融合。
此外，本发明还提供了一种全息透视定位系统的定位方法，包括以下步骤：
(1)规划，首先重建待维修设备的三维模型，通过事先采集数据重建待维修设备的三维模型，并进行规划，将待维修部位的结构在虚拟可视化的环境中模拟出来，以及定位中进行深度融合的标志点(即模型定位点)，生成数据包。通过混合现实设备将待维修设备的实物收集后，混合现实设备可以协助维修人员快速找出有异常的部位，并针对维修的操作过程进行虚拟指导。
规划模块中，模型标志点的规划过程同实施例1。
(2)事前准备，首先将规划模块1、光学定位模块4、混合现实模块3与控制模块7连接，然后校验所述校准模块2的位置(通过调整光学定位模块的位置和角度，使所述校准光敏模块能够被所述光学定位模块探测到)。
(3)信息加载，启动所述混合现实模块3，控制系统7将数据包发送给混合现实模块3，混合现实模块3加载数据包，得到三维模型与其上预设的若干模型定位点的信息。
(4)配准，将校准模块2放置到待维修设备处，调整光学定位模块4的位置和角度，通过所述校准模块2获得同一空间位置在所述混合现实模块3与所述光学定位模块4之间的坐标转换矩阵
Figure BDA0002686977380000111
因为校准模块上的校准光敏模块与特征图像模块具有刚性固定关系，光学定位模块4通过追踪校准光敏模块21，再通过转换矩阵计算得到特征图像模块在混合现实模块3坐标系中的坐标，基于特征图像模块在光学定位模块和混合现实模块3中的坐标信息，计算得到对应空间配准矩阵
Figure BDA0002686977380000112
(5)追踪，把追踪模块5的追踪针通过固定在待维修设备上并调整方向，确保追踪光敏模块能够被光学追踪模块识别到，以便实时追踪待维修设备的位置。
(6)定位，用所述定位模块6上的定位探针61按照顺序在待维修设备上依次选择定位点，所述光学定位模块6通过追踪定位光敏模块62的空间位置与姿态，通过计算得到若干定位探针61在所述光学定位模块4中的空间位置坐标，再通过转换矩阵
Figure BDA0002686977380000113
将其转换为混合现实模块3中的空间位置坐标，然后根据导入的三维模型上的对应的模型定位点的信息，即可实现三维模型中模型定位点在混合现实模块中与目标实体的定位探针的各针尖位置一一绑定，达到了定位模块与三维模型在混合现实模块中实时保持定位点规划时的相对姿态关系，之后通过将定位模块上的定位探针的针尖移动到场景中的待维修设备上的各实体定位点，实现待维修设备与三维模型在混合现实模块中的深度融合。
其他条件或算法同实施例1。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (15)

1.一种全息透视定位系统，其特征在于，包括规划模块、配准模块、追踪模块和定位模块，所述规划模块、配准模块和定位模块与控制模块连接；
所述规划模块以目标实体为基础，重建目标实体的三维模型，并进行规划，生成数据包；
所述配准模块包括光学定位模块、校准模块和混合现实模块，用于得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵；
所述追踪模块用来在定位过程中追踪目标实体的位置，其包括固定连接的追踪光敏模块和追踪针，其中，所述光学定位模块通过追踪所述追踪光敏模块，获得所述追踪针的实时位置；
所述定位模块用于目标实体与三维模型在混合现实模块中的定位，其包括固定连接的定位光敏模块和定位探针，其中，所述光学定位模块通过追踪所述定位光敏模块，获得所述定位探针的实时位置。
2.根据权利要求1所述的全息透视定位系统，其特征在于，所述校准模块包括固定连接的特征图像模块和校准光敏模块。
3.根据权利要求2所述的全息透视定位系统，其特征在于，所述特征图像模块包括至少一个特征图像。
4.根据权利要求2所述的全息透视定位系统，其特征在于，所述校准光敏模块、定位光敏模块和追踪光敏模块均包括至少三个光敏球。
5.根据权利要求4所述的全息透视定位系统，其特征在于，所述至少三个光敏球处于同一平面且组成的图形面积不小于40cm2。
6.根据权利要求1所述的全息透视定位系统，其特征在于，所述光学定位模块为红外定位设备或电磁定位设备。
7.根据权利要求1-6任一所述的全息透视定位系统的定位方法，其特征在于，包括以下步骤：
(1)规划：重建目标实体的三维模型，生成数据包；
(2)事前准备：将规划模块、光学定位模块、混合现实模块与控制模块连接，并校验所述校准模块；
(3)信息加载：启动所述混合现实模块，控制系统将数据包发送给混合现实模块，使其加载数据包；
(4)配准：通过所述校准模块获得同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵；
(5)追踪：实时追踪目标实体的位置；
(6)定位：将目标实体与三维模型在混合现实模块中进行定位，实现深度融合。
8.根据权利要求7所述的全息透视定位系统的定位方法，其特征在于：所述步骤(1)中，包括在三维模型上预设若干模型定位点。
9.根据权利要求7所述的全息透视定位系统的定位方法，其特征在于：所述步骤(2)中，校验过程为：通过调整光学定位模块和校准模块的位置和角度，使所述校准光敏模块能够被所述光学定位模块探测到。
10.根据权利要求7所述的全息透视定位系统的定位方法，其特征在于：所述步骤(4)中，配准过程为：首先所述光学定位模块追踪所述校准光敏模块，计算得到所述特征图像模块中心点在所述光学定位模块中的位置数据，然后所述混合现实模块追踪所述特征图像模块，得到所述特征图像中心点在所述混合现实模块中的位置数据，基于所述特征图像模块中心点在所述光学定位模块和所述混合现实模块中的位置数据，得到同一空间位置在所述混合现实模块与所述光学定位模块之间的坐标转换矩阵
Figure FDA0002686977370000021
11.根据权利要求10所述的全息透视定位系统的定位方法，其特征在于：所述特征图像模块中心点在所述光学定位模块中的位置数据的计算过程为：首先通过光学定位模块获得校准模块的位置矩阵为
Figure FDA0002686977370000031
由于校准模块中特征图像的中心点与光学定位模块4识别的光敏模块具有刚性位置关系
Figure FDA0002686977370000032
可得其在光学定位模块中位置为
Figure FDA0002686977370000033
12.根据权利要求11所述的全息透视定位系统的定位方法，其特征在于：所述坐标转换矩阵的计算过程为：通过混合现实模块获取特征图像在混合现实坐标系中的位置矩阵为
Figure FDA0002686977370000034
可计算出光学定位模块4的坐标系在混合现实模块1坐标系中的转换矩阵为
Figure FDA0002686977370000035
13.根据权利要求7所述的全息透视定位系统的定位方法，其特征在于：所述步骤(5)中，追踪过程为：把追踪模块的追踪针固定在目标实体上并调整方向，使追踪光敏模块能够被光学追踪模块识别到。
14.根据权利要求7所述的全息透视定位系统的定位方法，其特征在于：所述定位过程中，定位模块上的定位探针按照顺序在目标实体上依次选择定位点，并计算得到所述定位探针在所述混合现实模块中的位置信息，然后根据加载的三维模型上的对应的模型定位点的信息，实现三维模型中模型定位点在混合现实模块中与目标实体的定位探针的针尖位置一一绑定，达到定位模块与三维模型在混合现实模块中实时保持定位点规划时的相对姿态关系，之后通过将定位模块上的定位探针的针尖移动到场景中的对应目标实体上的各定位点，实现目标实体与三维模型在混合现实模块中的深度融合。
15.根据权利要求14所述的全息透视定位系统的定位方法，其特征在于：所述定位探针在所述混合现实模块中的位置信息的计算过程为：通过所述光学定位模块追踪定位模块上的定位光敏模块的空间位置与姿态，计算得到若干定位探针在所述光学定位模块中的空间位置坐标，再通过转换矩阵
Figure FDA0002686977370000041
将其转换为混合现实模块中的空间位置坐标。
CN202010979377.1A 2020-09-17 2020-09-17 一种全息透视定位系统及定位方法 Pending CN112190328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010979377.1A CN112190328A (zh) 2020-09-17 2020-09-17 一种全息透视定位系统及定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010979377.1A CN112190328A (zh) 2020-09-17 2020-09-17 一种全息透视定位系统及定位方法

Publications (1)

Publication Number Publication Date
CN112190328A true CN112190328A (zh) 2021-01-08

Family

ID=74015370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010979377.1A Pending CN112190328A (zh) 2020-09-17 2020-09-17 一种全息透视定位系统及定位方法

Country Status (1)

Country Link
CN (1) CN112190328A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113648061A (zh) * 2021-07-15 2021-11-16 上海交通大学医学院附属第九人民医院 一种基于混合现实的头戴式导航系统及导航配准方法
CN113662663A (zh) * 2021-08-20 2021-11-19 中国人民解放军陆军军医大学第二附属医院 一种ar全息手术导航系统坐标系转换方法、装置及系统
CN113925611A (zh) * 2021-12-16 2022-01-14 北京诺亦腾科技有限公司 对象三维模型和对象实体的匹配方法、装置、设备及介质
CN114209431A (zh) * 2021-12-24 2022-03-22 杭州柳叶刀机器人有限公司 光学探针识别方法、装置、电子设备及存储介质
CN114791274A (zh) * 2022-04-26 2022-07-26 北京商询科技有限公司 一种空间定位方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936556A (zh) * 2012-11-09 2015-09-23 蓝带技术公司 用于导航和控制植入体定位装置的系统和方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
US20180116732A1 (en) * 2016-10-18 2018-05-03 The Board Of Trustees Of The Leland Stanford Junior University Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality
US20190142359A1 (en) * 2016-06-08 2019-05-16 Tinavi Medical Technologies Co., Ltd. Surgical positioning system and positioning method
CN209392096U (zh) * 2018-08-30 2019-09-17 上海霖晏医疗科技有限公司 一种手术导航系统
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
CN111281540A (zh) * 2020-03-09 2020-06-16 北京航空航天大学 基于虚实融合的骨科微创术中实时可视化导航系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936556A (zh) * 2012-11-09 2015-09-23 蓝带技术公司 用于导航和控制植入体定位装置的系统和方法
US20190142359A1 (en) * 2016-06-08 2019-05-16 Tinavi Medical Technologies Co., Ltd. Surgical positioning system and positioning method
US20180116732A1 (en) * 2016-10-18 2018-05-03 The Board Of Trustees Of The Leland Stanford Junior University Real-time Three Dimensional Display of Flexible Needles Using Augmented Reality
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN209392096U (zh) * 2018-08-30 2019-09-17 上海霖晏医疗科技有限公司 一种手术导航系统
CN110353806A (zh) * 2019-06-18 2019-10-22 北京航空航天大学 用于微创全膝关节置换手术的增强现实导航方法及系统
CN111281540A (zh) * 2020-03-09 2020-06-16 北京航空航天大学 基于虚实融合的骨科微创术中实时可视化导航系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113648061A (zh) * 2021-07-15 2021-11-16 上海交通大学医学院附属第九人民医院 一种基于混合现实的头戴式导航系统及导航配准方法
CN113648061B (zh) * 2021-07-15 2022-08-09 上海交通大学医学院附属第九人民医院 一种基于混合现实的头戴式导航系统及导航配准方法
CN113662663A (zh) * 2021-08-20 2021-11-19 中国人民解放军陆军军医大学第二附属医院 一种ar全息手术导航系统坐标系转换方法、装置及系统
CN113925611A (zh) * 2021-12-16 2022-01-14 北京诺亦腾科技有限公司 对象三维模型和对象实体的匹配方法、装置、设备及介质
CN114209431A (zh) * 2021-12-24 2022-03-22 杭州柳叶刀机器人有限公司 光学探针识别方法、装置、电子设备及存储介质
CN114209431B (zh) * 2021-12-24 2023-11-21 杭州柳叶刀机器人有限公司 光学探针识别方法、装置、电子设备及存储介质
CN114791274A (zh) * 2022-04-26 2022-07-26 北京商询科技有限公司 一种空间定位方法、装置及设备
CN114791274B (zh) * 2022-04-26 2023-11-03 北京商询科技有限公司 一种空间定位方法、装置及设备

Similar Documents

Publication Publication Date Title
CN112190328A (zh) 一种全息透视定位系统及定位方法
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
CN114041875A (zh) 一种一体式手术定位导航系统
CN105852970B (zh) 神经外科机器人导航定位系统及方法
CN103619273B (zh) 包括位置跟踪系统的用于操纵骨的组件
USRE43952E1 (en) Interactive system for local intervention inside a non-homogeneous structure
Sun et al. Automated dental implantation using image-guided robotics: registration results
CN111494009B (zh) 用于手术导航的图像配准方法、装置和手术导航系统
CN111388087A (zh) 手术导航系统及执行手术导航方法的计算机与存储介质
CN110101452A (zh) 一种用于外科手术的光磁一体化定位导航方法
US20160000518A1 (en) Tracking apparatus for tracking an object with respect to a body
CN106691600A (zh) 一种脊柱椎弓根钉植入定位装置
CN110811832B (zh) 截骨校验方法、校验设备、可读存储介质及骨科手术系统
US20220361959A1 (en) System and Method for Computation of Coordinate System Transformations
CN110264504A (zh) 一种用于增强现实的三维配准方法和系统
CN107049489B (zh) 一种手术导航方法及系统
Martin-Gomez et al. STTAR: surgical tool tracking using off-the-shelf augmented reality head-mounted displays
CN110916799A (zh) 基于5g网络的穿刺机器人导航系统
CA3135928A1 (en) Registration method and setup
Cai et al. Distributed visual positioning for surgical instrument tracking
CN116919595B (zh) 基于光学和电磁定位及卡尔曼滤波的骨针位置跟踪装置
Bhutani et al. Neuro-registration and navigation unit for surgical manipulation
CN113349931B (zh) 一种高精度手术导航系统的病灶配准方法
CN117679178B (zh) 一种创伤骨科微创手术机器人系统
CN109793558A (zh) 基于双目视觉定位的穿刺手术空间映射方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination