CN112545649A - 基于混合现实的股骨头髓芯减压手术导航实现系统 - Google Patents
基于混合现实的股骨头髓芯减压手术导航实现系统 Download PDFInfo
- Publication number
- CN112545649A CN112545649A CN202011403957.2A CN202011403957A CN112545649A CN 112545649 A CN112545649 A CN 112545649A CN 202011403957 A CN202011403957 A CN 202011403957A CN 112545649 A CN112545649 A CN 112545649A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- marker
- model
- femoral head
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006837 decompression Effects 0.000 title claims abstract description 23
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000010276 construction Methods 0.000 claims abstract description 5
- 239000003550 marker Substances 0.000 claims description 93
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000001356 surgical procedure Methods 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 17
- 238000003780 insertion Methods 0.000 claims description 13
- 230000037431 insertion Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 4
- 230000017074 necrotic cell death Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002285 radioactive effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 238000000338 in vitro Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于手术导航辅助系统领域，具体涉及一种基于混合现实的股骨头髓芯减压手术导航实现系统，旨在解决现有的导航系统显示与操作难以同时兼顾、使用复杂，导致导航准确率低以及技术成本高昂、需长期暴露在发射性环境中的问题。本发明方法包括：获取模块，配置为获取扫描图像及深度信息；模型构建模块，配置为构建三维点云模型；所述模型匹配模块，配置为匹配三维点云模型与预存储的CT模型；所述位置计算模块，配置为获取配准后的CT模型在Unity3D中的位置信息；所述同和显示模块，配置为基于位置信息，将配准后的CT模型平移至MR端显示，并结合骨钻的位姿进行导航。本发明提高了导航准确率，并降低了技术成本、放射性的影响。
Description
技术领域
本发明属于手术导航辅助系统领域，具体涉及一种基于混合现实的股骨头髓芯减压手术导航实现系统。
背景技术
股骨头坏死又称缺血性股骨头坏死，系骨科常见且难治性疾病，由于非创伤性股骨头坏死病理机制尚未完全明了，因此从源头上防止此病尚不可能，但目前国内外专家对诊疗主要方面存在共识，国内发表的专家建议和专家共识对股骨头坏死规范化的诊疗起了重要作用。对病患施行股骨头坏死髓芯减压手术是治疗股骨头坏死的一种有效方法，但该手术本身难度高，危险性大，对医生的专业素质与手术经验要求相对较高，因此目前尚未得到推广，仅在部分设施相对完备的大型医院才有实施的设备条件与人员条件。
当前相关的骨科手术导航辅助技术普遍依赖安装在患者体外或体内的追踪标记点，或者需要额外增加使用带有标记点的特殊手术器械，通过对这些辅助器材的追踪间接实现导航，辅助手术进行。现有的技术手段主要可以分为两大类：体外定位方式与体内定位方式。体外定位方式主要通过绑定式定位支架等辅助器械，对患者进行固定，以确保患者位置不变；体内定位方式主要通过钛钉等额外器械实现追踪导航。
现有技术的实现方式大都是通过光学导航与电磁导航相互结合的方式，或者需要采用一些额外的器械辅助进行定位，在成本方面，现有技术需要额外的手术耗材，成本相对较高；在环境方面，医生和病人需要暴露在放射性条件下，以此获取内部解剖影像，存在一定健康隐患；在显示方面，现有技术都是使用单独的显示装置，医生在施术过程中难以兼顾手术操作与对操作进程的把控；在操作方面，现有技术的导航操作系统相对复杂，需要进行长时间的培训才能保证导航系统的正确合理使用。基于此，本发明提出了一种基于混合现实的股骨头髓芯减压手术导航实现系统。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的股骨头髓芯减压手术导航系统显示与操作难以同时兼顾、使用复杂，导致导航准确性低以及技术成本高昂、需长期暴露在放射性环境中的问题，本发明提出了一种基于混合现实的股骨头髓芯减压手术导航实现系统，该系统包括：设置于相机端的获取模块、模型构建模块、模型匹配模块；设置于PC端的位置计算模块；设置于MR端的融合显示模块；所述相机端、所述PC端、所述MR端通过通信链路连接；
所述获取模块，配置为通过扫描相机对患者待手术的股骨头部位及周围预设的标记物进行扫描，获取包含有股骨头部位、标记物的扫描图像以及患者待手术股骨头的部位的位置信息、深度信息；
所述模型构建模块，配置为基于所述扫描图像、所述深度信息，构建包含有股骨头部位、标记物的三维点云模型，作为第一模型；
所述模型匹配模块，配置为将所述第二模型与所述第一模型进行自动配准，并获取第一矩阵；所述第二模型为预存储的标记有进针路径的患者待手术部位的股骨头的CT模型；所述第一矩阵为所述第二模型与相机坐标系之间的转换矩阵；
所述位置计算模块，配置为通过所述PC端的相机获取所述标记物的图像，并结合标记物坐标系与相机坐标系的平移参数、旋转参数、缩放参数以及所述第一矩阵，获取配准后的第二模型在Unity 3D中的位置信息；
所述融合显示模块，配置为基于所述位置信息，将配准后的第二模型平移至MR端的坐标系下进行显示，并结合实时采集的骨钻的位姿，对骨钻的进针方向进行导航。
在一些优选的实施方式中，所述标记物的坐标系为左手坐标系，该坐标系以第一图像的中心点为原点、垂直于所述第一图像的轴为y轴、所述第一图像的左右方向为x轴、所述图像的上下方向为z轴；所述第一图像为标记物对应图像。
在一些优选的实施方式中，所述标记物的坐标系与所述相机坐标系下的平移参数，其获取方法为：
构建第一标记点与第三标记点、第二标记点与第三标记点之间的直线方程；所述第一标记点、所述第二标记点、所述第三标记点分别为所述第一图像左上、左下与右上预设的标记点；
分别获取各直线方程对应的直线在所述标记物对应的坐标系下与x轴的交点，作为第一交点、第二交点；
分别计算所述第一交点到所述第三标记点、所述第二交点到所述第三标记点的距离与对应的直线的比例；
对所述第一交点、所述第二交点，结合其对应的比例，计算其在相机坐标系的坐标，作为第三交点、第四交点；
根据所述标记物的坐标系的原点在所述第一交点与所述第二交点之间直线上的位置，并结合所述第三交点与所述第四交点的直线，得到所述标记物的坐标系的原点在相机坐标系下的坐标；
基于所述原点分别在所述标记物的坐标系、所述相机坐标系下的坐标，可得到两坐标系之间的平移参数。
在一些优选的实施方式中，所述标记物的坐标系与所述相机坐标系之间的x轴、z轴旋转参数，其获取方法为：
α＝Atan(-C/B)/π*180
β＝Atan(-A/B)/π*180
A＝(p2y-p1y)*(p3z-p1z)-(p3y-p1y)*(p2z-p1z)
B＝-(p2x-p1x)*(p3z-p1z)+(p3x-p1x)*(p2z-p1z)
C＝(p2x-p1x)*(p3y-p1y)-(p3x-p1x)*(p2y-p1y)
其中，α表示x轴旋转参数，β表示z轴旋转参数，p1、p2、p3分别表示第一标记点、第二标记点、第三标记点，(x，y，z)表示各标记点对应的坐标。
在一些优选的实施方式中，若α存在多种解，则选取小于180度的解作为x轴旋转参数；若β存在多种解，则判断所述标记物的坐标系与所述相机坐标系的y轴是否为同向，若是，则将对应的解作为z轴旋转参数，否则，则获取的解加180度后作为z轴旋转参数。
在一些优选的实施方式中，所述标记物的坐标系与所述相机坐标系之间的y轴的旋转参数，其获取方法为：
分别计算经过x轴、z轴旋转后的各标记点的坐标、所述标记物坐标系下各标记点的坐标与原点之间连线的夹角，并取平均值，作为y轴的旋转参数。
在一些优选的实施方式中，所述相机坐标系与unity 3D坐标系、MR坐标系的缩放参数为0.001；所述相机坐标系与所述第二模型的缩放参数为1。
在一些优选的实施方式中，所述融合模块“实时采集的骨钻的位姿”，其方法为：将骨钻上固定一个标记物，测量标记物与骨钻中心线之间的位置关系，并使用Unity 3D内置的Vuforia模块实时识别标记物；根据预先得到的标记物与骨钻中心的相对位姿物理关系，实时获取骨钻的位姿。
本发明的有益效果：
本发明提高了导航准确性低，并降低了技术成本以及放射性的影响。
(1)本发明由相机端、PC端与MR端组成，相比与现有技术，结构简单，使用方便快捷；
(2)本发明额外耗材仅为小型塑料制品，帮助操作过程进行标记，降低了相应的技术成本；
(3)本发明利用纯视觉的方法进行骨钻的定位跟踪，无需患者与医生长期暴露在放射性环境下，相对健康安全；
(4)本发明在MR端使用Hololens眼镜，借助混合现实技术，在施术过程中依照预先确定的最优进针路径，进行钻孔方向的实时导航，辅助医生进行手术，能够保证医生在视野的合适位置处观察到当前的实时追踪结果，不需要医生暂停手术操作观察追踪结果，使得医生可以同时兼顾显示与操作，极大的提高了导航准确率。
另外，本发明系统操作简单，不需要进行长时间的培训学习即可熟练使用本发明研制的手术导航辅助系统，减小对医生自身经验的依赖，降低了手术的门槛，达到推广该手术的目标。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于混合现实的股骨头髓芯减压手术导航实现系统的流程示意图；
图2为本发明一种实施例的基于混合现实的股骨头髓芯减压手术导航实现系统的框架示意图；
图3是本发明一种实施例的获取的包含有股骨头部位、标记物的扫描图像的示意图；
图4是本发明一种实施例的包含有股骨头部位、标记物的三维点云模型的示意图；
图5是本发明一种实施例的标记物坐标系的示意图；
图6是本发明一种实施例的MR端中第二模型与骨钻中心的显示效果的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于混合现实的股骨头髓芯减压手术导航实现系统，如图1、图2所示，该系统包括：设置于相机端的获取模块100、模型构建模块200、模型匹配模块300；设置于PC端的位置计算模块400；设置于MR端的融合显示模块500；所述相机端、所述PC端、所述MR端通过通信链路连接；
所述获取模块100，配置为通过扫描相机对患者待手术的股骨头部位及周围预设的标记物进行扫描，获取包含有股骨头部位、标记物的扫描图像以及患者待手术股骨头的部位的位置信息、深度信息；
所述模型构建模块200，配置为基于所述扫描图像、所述深度信息，构建包含有股骨头部位、标记物的三维点云模型，作为第一模型；
所述模型匹配模块300，配置为将所述第二模型与所述第一模型进行自动配准，并获取第一矩阵；所述第二模型为预存储的标记有进针路径的患者待手术部位的股骨头的CT模型；所述第一矩阵为所述第二模型与相机坐标系之间的转换矩阵；
所述位置计算模块400，配置为通过所述PC端的相机获取所述标记物的图像，并结合标记物坐标系与相机坐标系的平移参数、旋转参数、缩放参数以及所述第一矩阵，获取配准后的第二模型在Unity 3D中的位置信息；
所述融合显示模块500，配置为基于所述位置信息，将配准后的第二模型平移至MR端的坐标系下进行显示，并结合实时采集的骨钻中心的位姿，对骨钻的进针方向进行导航。
为了更清晰地对本发明基于混合现实的股骨头髓芯减压手术导航实现系统进行说明，下面对本发明系统一种实施例中各模块进行展开详述。
本发明主要分为两个实施阶段：术前阶段、术中阶段。
术前阶段：获取患者股骨头的CT扫描数据，确定病灶中心，并规划进行股骨头坏死髓芯减压手术的最优进针路径，构建带有进针路径的患者待手术部位的股骨头的CT模型。
术中阶段为本发明的核心部分，可将其分为相机端、PC端与MR端三个部分，本发明中MR端优选采用HoloLens眼镜，三个操作端分别负责不同的功能，并进行信息传输，最终实现MR技术辅助股骨头坏死髓芯减压导航辅助，根据具体需求可将具体功能指派到不同操作端进行实现。具体如下：
相机端包括获取模块100、模型构建模块200、模型匹配模块300；
获取模块100，配置为通过扫描相机对患者待手术的股骨头部位及周围预设的标记物进行扫描，获取包含有股骨头部位、标记物的扫描图像以深度信息。
在本实施例中，为了获取股骨头的真实位置信息，需要通过扫描相机对患者待手术股骨头的部位和预设的标记物进行扫描，以获得包含有股骨头部位、标记物的扫描图像及患者股骨头部位的位置信息和深度信息。扫描图像如图3所示。
本发明中，使用的扫描相机型号为HDI-series 51092，在具体的扫描过程中，需要调整扫描相机的位置，使其正对患者待手术的股骨头部位，保证视野完整、光线充足，待手术的股骨头部位无遮挡，相机与患者待手术的股骨头部位的距离优选为50-80cm。
模型构建模块200，配置基于所述扫描图像、所述深度信息，构建包含有股骨头部位、标记物的三维点云模型，作为第一模型。
在本实施中，基于获取的包含有股骨头部位、标记物的扫描图像以及对应的深度信息，构建对应的三维点云模型，作为第一模型。三维点云模型如图4所示。
模型匹配模块300，配置为将所述第二模型与所述第一模型进行自动配准，并获取第一矩阵；所述第二模型为预存储的标记有进针路径的患者待手术部位的股骨头的CT模型；所述第一矩阵为所述第二模型与相机坐标系之间的转换矩阵。
在本实施例中，将构建的三维点云模型与术前构建的带有进针路径的患者待手术部位的股骨头的CT模型进行自动配准，获取CT模型到相机坐标系下的转换矩阵。
位置计算模块400，配置为通过所述PC端的相机获取所述标记物的图像，并结合标记物坐标系与相机坐标系的平移参数、旋转参数、缩放参数以及所述第一矩阵，获取配准后的第二模型在Unity 3D中的位置信息。
在本实施例中，为了实现相机坐标系与CT坐标系两个坐标系之间的转换，需要使用标记物作为之间的媒介。本发明中，对PC端或MR端使用了高通公司开发的Vuforia插件实现图片识别的功能。当检测到预设的标记物时，即可自动获取标记物的中点坐标与标记物的旋转信息，以及标记物上预设的标记点的具体坐标。标记点在本发明中优选采用十字标记点，分别标记在标记物图像的左上、左下、右上，分别记为第一标记点、第二标记点、第三标记点。对于相机端，需要获取相机坐标系下三个标记点的坐标。第一标记点、第二标记点、第三标记点分别为图5中的1号点、2号点、3号点。
两个坐标系转换需要7个参数，分别为三个平移参数、三个旋转参数、一个缩放参数。已知相机坐标系下的基本单位是毫米，Unity 3D坐标系和MR(HoloLens)坐标系的基本单位都是米，可得到相机坐标系与unity 3D、HoloLens坐标系之间的缩放参数为0.001。
1)平移参数的获取方法
由于标记物的坐标系的原点在相机坐标系中的坐标实际上就是两坐标系的平移参数，故可以直接求解原点在相机坐标系中的坐标。本发明中引入标记物坐标系，以标记物对应的图像的中心点为原点，标记物对应的图像的左右方向为x轴，垂直标记物对应的图像的轴为y轴，标记物对应的图像的上下方向为z轴，建立一个左手坐标系。具体如图5所示。基于构建的标记物的坐标系获取平移参数的过程，具体如下：
步骤A100，求解在相机坐标系下第一标记点与第三标记点的直线方程，第二标记点与第三标记点的直线方程；
步骤A200，分别求解各直线方程对应的直线与x轴的交点坐标，记为第一交点、第二交点，并分别计算第一、第二交点到第三标记点的距离与两条直线的长度的比例；
步骤A300，根据所述比例，分别求第一、第二交点在相机坐标系下的坐标，作为第三交点、第四交点；
步骤A400，由于交点均在x轴上，那么原点必在其交点的连线上。即在标记物的坐标系下求解原点在第一交点、第二交点直线段上的位置信息，可获得标记物的坐标系的原点在相机坐标系下的坐标，即标记坐标系的平移参数。
2)旋转参数的获取方法
首先根据上述求解出的平移参数将两个坐标系平移值原点进行重合，然后求解旋转参数。具体如下：
若标记物坐标系首先绕y轴旋转某一角度b，那么此时x轴与z轴仍旧处于标记物坐标系的xz平面上，y轴重合；若再绕z轴旋转某一角度c，那么z轴仍处于原来的xz平面上；假设若再绕x轴旋转某一角度a，此时就得到了相机坐标系，那么逆推这一过程可以看出，首先第一步需要绕x轴旋转，使z轴落在标记物坐标系的xz平面上，注意到此时z轴仍旧处在相机坐标系的yz平面上，且两坐标系原点重合，那么可以看出，旋转后的z轴实际上就是标记物坐标系的xz平面与相机坐标系的yz平面交线，计算该交线与z轴夹角即可得到x轴的旋转参数。
步骤B100，求解x轴旋转参数
根据平面方程通式且相机坐标系原点必定在标记物平面上(这是由于此时两坐标系原点重合，而标记物坐标系原点在标记物平面上)，故标记物平面在相机坐标系下必定满足Ax+By+Cz＝0的形式，又由于标记物平面与相机坐标系的yz平面相交，故所求交线满足x＝0且z＝ky的形式。X轴旋转参数表示为α，具体获取方法如下：
A＝(p2y-p1y)*(p3z-p1z)-(p3y-p1y)*(p2z-p1z) (1)
B＝-(p2x-p1x)*(p3z-p1z)+(p3x-p1x)*(p2z-p1z) (2)
C＝(p2x-p1x)*(p3y-p1y)-(p3x-p1x)*(p2y-p1y) (3)
α＝Atan(-C/B)/π*180(4)
其中，α表示x轴的旋转参数，p1、p2、p3表示第一标记点、第二标记点、第三标记点，(x，y，z)表示坐标。
由于轴带有方向性，故存在两种解，默认取180度内的夹角为x轴旋转参数。
步骤B200，求解z轴旋转参数
在进行x轴的旋转后，各点坐标相应进行旋转更新，此时的三个标记点再次获得新的坐标，根据平面方程通式且相机坐标系原点必定在标记物平面上(这是由于此时两坐标系原点重合，而标记物坐标系原点在标记物平面上)，故标记物平面在相机坐标系下必定满足Ax+By+Cz＝0的形式，又由于标记物平面与相机坐标系的xy平面相交，故所求交线满足z＝0且y＝mx的形式。X轴旋转参数表示为β，获取过程如下所示：
β＝Atan(-A/B)/π*180 (5)
其中，β表示z轴旋转参数。
步骤B300，进行z轴旋转后，分别计算三个标记点的新坐标、标记物坐标系下的坐标与原点之间连线的夹角关系，并取平均值，即为y轴旋转参数θ。
由于Unity 3D对模型操作可直接通过7个坐标系转换参数进行，故需要从CT模型到相机坐标的转换矩阵提取对应的7个参数，对于CT模型与相机而言，其尺度一致，故放缩量为1，且两者都是右手坐标系，将其转换矩阵变换到左手坐标系中，而CT坐标系统与相机坐标系两种坐标系在本发明场景中仅x轴相反，故x轴旋转参数不变，而y轴与z轴的旋转参数取相反数，其转换矩阵的前三行前三列形式如式(6)所示：
转换矩阵最后一列的三个参数，第一个取相反数，后两个保持不变，即分别为x轴、y轴、z轴的平移参数。据此可以将模型平移到Hololens坐标系下的正确位置。
融合显示模块500，配置为基于所述位置信息，将配准后的第二模型平移至MR端的坐标系下进行显示，并结合实时采集的骨钻的位姿，对骨钻的进针方向进行导航。
在本发明中，为了实现MR技术，主要依赖的设备为Hololens。Hololens是微软首个不受线缆限制的全息计算机设备，当前的主要应用案例主要包括模型观察与教学、沙盘互动、远程通讯与知识分享、虚拟仪表与物联网等。为了实现综合虚拟现实(virtualreality，VR)与增强现实(augment reality，AR)，将真实场景与数字渲染的虚拟场景混合的效果，Hololens首先需要解决的是定位与三维重建问题(simultaneous localizationand mapping，SLAM)。SLAM中传统的获取深度的方法主要有三种：基于视差原理的双目视觉方法；将光通过编码的方式射出打在物体上，由于编码光打在不同物体上的畸变程度不同，从而推断出物体立体信息的结构光方法；通过对光发射到物理表面并反射回来的时间差计算出物体距离的ToF(time of flight)方法。
在本实施例中，在骨钻(即钻孔笔)上固定一个标记物，测量标记物与骨钻中心线之间的位置关系，使用Unity 3D内置的Vuforia模块实时识别标记物，间接实现实时跟踪骨钻中心线，根据预先得到的标记物与骨钻中心的相对位姿物理关系构造出骨钻中心直线模型，实时获取骨钻的位姿。图6为跟踪后的模型与骨钻在Hololens眼镜中的显示效果，其中灰白色部分为股骨头模型，股骨头模型椭圆端的白色部分为病灶中心，病灶中心附近的细直线为规划的进针路径，粗直线部分为虚拟的骨钻。在本发明中，在确定标记物与骨钻型号之后该物理位置关系也是确定的，无需进行额外的测量操作。
需要说明的是，上述实施例提供的基于混合现实的股骨头髓芯减压手术导航实现系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，该系统包括：设置于相机端的获取模块、模型构建模块、模型匹配模块；设置于PC端的位置计算模块；设置于MR端的融合显示模块；所述相机端、所述PC端、所述MR端通过通信链路连接；
所述获取模块，配置为通过扫描相机对患者待手术的股骨头部位及周围预设的标记物进行扫描，获取包含有股骨头部位、标记物的扫描图像以及深度信息；
所述模型构建模块，配置为基于所述扫描图像、所述深度信息，构建包含有股骨头部位、标记物的三维点云模型，作为第一模型；
所述模型匹配模块，配置为将所述第二模型与所述第一模型进行自动配准，并获取第一矩阵；所述第二模型为预存储的标记有进针路径的患者待手术部位的股骨头的CT模型；所述第一矩阵为所述第二模型与相机坐标系之间的转换矩阵；
所述位置计算模块，配置为通过所述PC端的相机获取所述标记物的图像，并结合标记物坐标系与相机坐标系的平移参数、旋转参数、缩放参数以及所述第一矩阵，获取配准后的第二模型在Unity 3D中的位置信息；
所述融合显示模块，配置为基于所述位置信息，将配准后的第二模型平移至MR端的坐标系下进行显示，并结合实时采集的骨钻的位姿，对骨钻的进针方向进行导航。
2.根据权利要求1所述的基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，所述标记物的坐标系为左手坐标系，该坐标系以第一图像的中心点为原点、垂直于所述第一图像的轴为y轴、所述第一图像的左右方向为x轴、所述图像的上下方向为z轴；所述第一图像为标记物对应图像。
3.根据权利要求2所述的基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，所述标记物的坐标系与所述相机坐标系下的平移参数，其获取方法为：
构建第一标记点与第三标记点、第二标记点与第三标记点之间的直线方程；所述第一标记点、所述第二标记点、所述第三标记点分别为所述第一图像左上、左下与右上预设的标记点；
分别获取各直线方程对应的直线在所述标记物对应的坐标系下与x轴的交点，作为第一交点、第二交点；
分别计算所述第一交点到所述第三标记点、所述第二交点到所述第三标记点的距离与对应的直线的比例；
对所述第一交点、所述第二交点，结合其对应的比例，计算其在相机坐标系的坐标，作为第三交点、第四交点；
根据所述标记物的坐标系的原点在所述第一交点与所述第二交点之间直线上的位置，并结合所述第三交点与所述第四交点的直线，得到所述标记物的坐标系的原点在相机坐标系下的坐标；
基于所述原点分别在所述标记物的坐标系、所述相机坐标系下的坐标，可得到两坐标系之间的平移参数。
4.根据权利要求3所述的基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，所述标记物的坐标系与所述相机坐标系之间的x轴、z轴旋转参数，其获取方法为：
α＝Atan(-C/B)/π*180
β＝Atan(-A/B)/π*180
A＝(p2y-p1y)*(p3z-p1z)-(p3y-p1y)*(p2z-p1z)
B＝-(p2x-p1x)*(p3z-p1z)+(p3x-p1x)*(p2z-p1z)
C＝(p2x-p1x)*(p3y-p1y)-(p3x-p1x)*(p2y-p1y)
其中，α表示x轴旋转参数，β表示z轴旋转参数，p1、p2、p3分别表示第一标记点、第二标记点、第三标记点，(x，y，z)表示坐标。
5.根据权利要求4所述的基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，若α存在多种解，则选取小于180度的解作为x轴旋转参数；若β存在多种解，则判断所述标记物的坐标系与所述相机坐标系的y轴是否为同向，若是，则将对应的解作为z轴旋转参数，否则，则获取的解加180度后作为z轴旋转参数。
6.根据权利要求3所述的基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，所述标记物的坐标系与所述相机坐标系之间的y轴的旋转参数，其获取方法为：
分别计算经过x轴、z轴旋转后的各标记点的坐标、所述标记物坐标系下各标记点的坐标与原点之间连线的夹角，并取平均值，作为y轴的旋转参数。
7.根据权利要求1所述的基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，所述相机坐标系与unity 3D坐标系、MR坐标系的缩放参数为0.001；所述相机坐标系与所述第二模型的缩放参数为1。
8.根据权利要求1所述的基于混合现实的股骨头髓芯减压手术导航实现系统，其特征在于，所述融合模块“实时采集的骨钻的位姿”，其方法为：
将骨钻上固定一个标记物，测量标记物与骨钻中心线之间的位置关系，并使用Unity3D内置的Vuforia模块实时识别标记物；根据预先得到的标记物与骨钻中心的相对位姿物理关系，实时获取骨钻的位姿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403957.2A CN112545649B (zh) | 2020-12-02 | 2020-12-02 | 基于混合现实的股骨头髓芯减压手术导航实现系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403957.2A CN112545649B (zh) | 2020-12-02 | 2020-12-02 | 基于混合现实的股骨头髓芯减压手术导航实现系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112545649A true CN112545649A (zh) | 2021-03-26 |
| CN112545649B CN112545649B (zh) | 2022-03-25 |
Family
ID=75048097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011403957.2A Active CN112545649B (zh) | 2020-12-02 | 2020-12-02 | 基于混合现实的股骨头髓芯减压手术导航实现系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112545649B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114587657A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
| CN114587657B (zh) * | 2022-02-06 | 2024-05-31 | 上海诠视传感技术有限公司 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107874832A (zh) * | 2017-11-22 | 2018-04-06 | 合肥美亚光电技术股份有限公司 | 骨科手术器械导航系统及方法 |
| CN108784832A (zh) * | 2017-04-26 | 2018-11-13 | 中国科学院沈阳自动化研究所 | 一种脊柱微创手术增强现实导航方法 |
| CN109512514A (zh) * | 2018-12-07 | 2019-03-26 | 陈玩君 | 一种混合现实骨科微创手术导航系统及使用方法 |
| CN109674532A (zh) * | 2019-01-25 | 2019-04-26 | 上海交通大学医学院附属第九人民医院 | 基于mr的手术导航系统及其设备、方法和存储介质 |
| CN110215284A (zh) * | 2019-06-06 | 2019-09-10 | 上海木木聚枞机器人科技有限公司 | 一种可视化系统和方法 |
| CN110353806A (zh) * | 2019-06-18 | 2019-10-22 | 北京航空航天大学 | 用于微创全膝关节置换手术的增强现实导航方法及系统 |
| CN111281540A (zh) * | 2020-03-09 | 2020-06-16 | 北京航空航天大学 | 基于虚实融合的骨科微创术中实时可视化导航系统 |
-
2020
- 2020-12-02 CN CN202011403957.2A patent/CN112545649B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108784832A (zh) * | 2017-04-26 | 2018-11-13 | 中国科学院沈阳自动化研究所 | 一种脊柱微创手术增强现实导航方法 |
| CN107874832A (zh) * | 2017-11-22 | 2018-04-06 | 合肥美亚光电技术股份有限公司 | 骨科手术器械导航系统及方法 |
| CN109512514A (zh) * | 2018-12-07 | 2019-03-26 | 陈玩君 | 一种混合现实骨科微创手术导航系统及使用方法 |
| CN109674532A (zh) * | 2019-01-25 | 2019-04-26 | 上海交通大学医学院附属第九人民医院 | 基于mr的手术导航系统及其设备、方法和存储介质 |
| CN110215284A (zh) * | 2019-06-06 | 2019-09-10 | 上海木木聚枞机器人科技有限公司 | 一种可视化系统和方法 |
| CN110353806A (zh) * | 2019-06-18 | 2019-10-22 | 北京航空航天大学 | 用于微创全膝关节置换手术的增强现实导航方法及系统 |
| CN111281540A (zh) * | 2020-03-09 | 2020-06-16 | 北京航空航天大学 | 基于虚实融合的骨科微创术中实时可视化导航系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114587657A (zh) * | 2022-02-06 | 2022-06-07 | 上海诠视传感技术有限公司 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
| CN114587657B (zh) * | 2022-02-06 | 2024-05-31 | 上海诠视传感技术有限公司 | 一种基于混合现实技术的口腔种植辅助导航方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112545649B (zh) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7570987B2 (en) | Perspective registration and visualization of internal areas of the body | |
| Chu et al. | Registration and fusion quantification of augmented reality based nasal endoscopic surgery | |
| Colchester et al. | Development and preliminary evaluation of VISLAN, a surgical planning and guidance system using intra-operative video imaging | |
| US5526812A (en) | Display system for enhancing visualization of body structures during medical procedures | |
| EP2153794B1 (en) | System for and method of visualizing an interior of a body | |
| WO2017211087A1 (zh) | 一种内窥镜手术导航方法和系统 | |
| CN110264504B (zh) | 一种用于增强现实的三维配准方法和系统 | |
| US8004524B2 (en) | Method for displaying 3D structures in 2D projection images | |
| Pokhrel et al. | A novel augmented reality (AR) scheme for knee replacement surgery by considering cutting error accuracy | |
| CN109195527A (zh) | 用于与骨骼手术一起使用的设备及方法 | |
| CN112971982B (zh) | 基于肝内血管配准的手术导航系统 | |
| Gerard et al. | Combining intraoperative ultrasound brain shift correction and augmented reality visualizations: a pilot study of eight cases | |
| CN102784003A (zh) | 一种基于结构光扫描的椎弓根内固定手术导航系统 | |
| Lai et al. | Fusion of augmented reality imaging with the endoscopic view for endonasal skull base surgery; a novel application for surgical navigation based on intraoperative cone beam computed tomography and optical tracking | |
| Zeng et al. | A surgical robot with augmented reality visualization for stereoelectroencephalography electrode implantation | |
| Groves et al. | Accuracy assessment for the co-registration between optical and VIVE head-mounted display tracking | |
| Mewes et al. | Concepts for augmented reality visualisation to support needle guidance inside the MRI | |
| WO2014050019A1 (ja) | 仮想内視鏡画像生成装置および方法並びにプログラム | |
| EP3932357A1 (en) | System for assisting a user in placing a penetrating device in tissue | |
| Hummel et al. | 2D/3D registration of endoscopic ultrasound to CT volume data | |
| CN112545649B (zh) | 基于混合现实的股骨头髓芯减压手术导航实现系统 | |
| EP4270313A1 (en) | Registering projection images to volumetric images | |
| Wengert et al. | Endoscopic navigation for minimally invasive suturing | |
| Soler et al. | Augmented reality in minimally invasive digestive surgery | |
| Chen et al. | Video-guided calibration of an augmented reality mobile C-arm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |