CN112155732A - 可读存储介质、骨建模配准系统及骨科手术系统 - Google Patents

可读存储介质、骨建模配准系统及骨科手术系统 Download PDF

Info

Publication number
CN112155732A
CN112155732A CN202011052618.4A CN202011052618A CN112155732A CN 112155732 A CN112155732 A CN 112155732A CN 202011052618 A CN202011052618 A CN 202011052618A CN 112155732 A CN112155732 A CN 112155732A
Authority
CN
China
Prior art keywords
bone
bone model
virtual
cartilage
virtual bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011052618.4A
Other languages
English (en)
Other versions
CN112155732B (zh
Inventor
曾好
陆天威
邵辉
何超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaowei Changxing Robot Co ltd
Original Assignee
Suzhou Xiaowei Changxing Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaowei Changxing Robot Co ltd filed Critical Suzhou Xiaowei Changxing Robot Co ltd
Priority to CN202011052618.4A priority Critical patent/CN112155732B/zh
Publication of CN112155732A publication Critical patent/CN112155732A/zh
Priority to BR112023005691A priority patent/BR112023005691A2/pt
Priority to AU2021354680A priority patent/AU2021354680A1/en
Priority to PCT/CN2021/108603 priority patent/WO2022068341A1/zh
Priority to US18/445,062 priority patent/US20230410453A1/en
Priority to EP21874003.3A priority patent/EP4223246A4/en
Application granted granted Critical
Publication of CN112155732B publication Critical patent/CN112155732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

本发明提供一种可读存储介质、骨建模配准系统及骨科手术系统，所述可读存储介质上存储有程序，所述程序被执行时实现：获取预定对象的骨表面图像信息；所述骨表面图像信息来自于一立体视觉扫描装置；根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行配准；基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。如此配置，无需在骨头上安置靶标，不会造成病人二次受创，减少了器械与人体部位的接触，减小了污染几率，方便器械清洗。此外，系统设置简单，简化了手术中配准注册工具的安装，简化了配准流程。

Description

可读存储介质、骨建模配准系统及骨科手术系统
技术领域
本发明涉及机器人辅助手术系统领域，特别涉及一种可读存储介质、骨建模配准系统及骨科手术系统。
背景技术
近年来，手术导航系统越来越多地被运用到外科手术当中，特别是骨科手术中。例如MAKO骨科手术导航系统、Robodoc骨科手术导航系统等，均是利用机械臂以及红外光学导航设备的结合，根据医生的术前规划，结合术中的注册配准技术，使用机器人辅助医生完成手术操作。这其中，骨注册配准技术，是获得导航系统第一虚拟骨模型与实际骨头的坐标转换关系，但是目前通用的注册工具以及方法存在着以下的问题：
(1)流程繁琐，耗时多。传统的注册方法需要在骨头手术部位上安装靶标。靶标的安装要求其可靠不易松动，否则注册需要重做；特别当进行手术部位注册时，需要使用探针点选一定数量的注册点完成配准，由于部位注册对精度有较严格的要求，因此注册成功率较低，可能需要反复注册才能满足要求，流程繁琐且增加了手术时间。
(2)可靠性差、容错率低。对于骨注册，由于注册精度直接影响到整个系统精度，影响到整个手术的效果好坏，因此骨注册要求极高的注册精度，对于传统注册算法，实际骨头与CT数据的匹配程度，注册点的数量、位置选择都会影响注册精度，特别是骨头表面覆盖了一层软组织需要探针刺破才能选中合适的注册点，因此容易发生注册精度不满足需求需要重新注册的情况，另外精度最好的地方往往就是点选注册点的地方，而其余部位的匹配精度无法保证维持高准确度从而影响整个系统的可靠性。
(3)导致病患的二次伤害，由上文可知目前的手术注册方式需要在人体，例如股骨、胫骨上安装骨靶标，会对骨头造成新的损伤，增加患者休养周期，且若操作人员经验不足，则存在骨钉安装位置不到位的情况，导致必须重新安装靶标的可能性，进一步增加手术风险。
发明内容
本发明的目的在于提供一种可读存储介质、骨建模配准系统及骨科手术系统，以解决现有骨注册配准所存在的问题。
为解决上述技术问题，根据本发明的第一个方面，提供了一种可读存储介质，所述可读存储介质上存储有程序，所述程序被执行时实现：
获取预定对象的骨表面图像信息；所述骨表面图像信息来自于一立体视觉扫描装置；
根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；
将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行配准；
基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。
可选的，所述骨表面图像信息包括至少两幅不同视角的图像数据。
可选的，根据所述至少两幅不同视角的骨表面图像信息进行三维重建，得到第一虚拟骨模型的步骤包括：
对所述骨表面图像信息进行分割处理，获取骨轮廓点云数据；
基于所述骨轮廓点云数据进行三维重建，得到所述第一虚拟骨模型。
可选的，所述可读存储介质上的程序被执行时，基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标的步骤包括：
基于所述立体视觉扫描装置与一靶标的预定连接关系，得到立体视觉扫描装置坐标系与靶标坐标系之间的第一坐标转换关系；
基于导航装置对所述靶标的定位，得到所述靶标坐标系与导航装置坐标系之间的第二坐标转换关系；
基于所述第一虚拟骨模型与所述第二虚拟骨模型的配准，获得立体视觉扫描装置坐标系与导航影像坐标系之间的第三坐标转换关系；
基于所述第一坐标转换关系、所述第二坐标转换关系和所述第三坐标转换关系，对所述第一虚拟骨模型进行坐标转换，得到所述预定对象于所述导航影像坐标系下的坐标。
可选的，预置的第二虚拟骨模型根据MRI扫描所述预定对象的骨表面建立。
可选的，预置的第二虚拟骨模型根据CT扫描所述预定对象的骨表面建立，将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行配准的步骤包括：
根据软骨补偿算法获取软骨补偿数据；
基于所述软骨补偿数据对所述第一虚拟骨模型进行修正，并利用修正后的第一虚拟骨模型与所述第二虚拟骨模型进行配准。
可选的，所述可读存储介质上的程序被执行时，所述软骨补偿算法包括：使用Canny算子获取所述预定对象的软骨清除区域的边缘，计算所述边缘的梯度变化，根据所述梯度变化拟合邻近所述软骨清除区域的非清除区域的深度变化，迭代覆盖整个软骨区域，得到所述软骨补偿数据。
可选的，所述可读存储介质上的程序被执行时，所述软骨补偿算法包括：使用Canny算子获取所述预定对象的多个软骨清除区域的边缘，计算多个所述边缘的梯度变化，根据所述梯度变化从各软骨清除区域向周围扩展拟合得到清除深度；逐渐扩展清除范围直至覆盖整个软骨区域，得到所述软骨补偿数据。
可选的，所述可读存储介质上的程序被执行时，当两个扩展区域相交时，交界处的清除深度根据距离所述交界处最近的软骨清除区域的中心点的梯度变化拟合得到。
可选的，所述可读存储介质上的程序被执行时，所述软骨补偿算法包括：使用经训练集完成训练的神经元网络对所述第一虚拟骨模型进行计算，得到所述软骨补偿数据。
可选的，所述可读存储介质上的程序被执行时，将所述第一虚拟骨模型与预置的第二虚拟骨模型进行配准的步骤包括：
将所述第一虚拟骨模型和所述第二虚拟骨模型进行粗配准；
使用Ransac一致性算法去除可能的错误点；
使用icp算法迭代，直至满足预设的收敛条件，拟合出配准矩阵。
可选的，所述可读存储介质上的程序被执行时还实现，获取预定对象的实时的骨表面图像信息，所述实时的骨表面图像信息来自于位姿固定的立体视觉扫描装置；
根据实时的骨表面图像信息进行三维重建，得到实时的第一虚拟骨模型；
将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行实时配准；得到所述预定对象于导航影像坐标系下的实时坐标。
为解决上述技术问题，根据本发明的第二个方面，还提供了一种骨建模配准系统，其包括：处理器以及立体视觉扫描装置；所述立体视觉扫描装置用于获取预定对象的骨表面图像信息，并将所述骨表面图像信息反馈至所述处理器；
所述处理器与所述立体视觉扫描装置通信连接；所述处理器被配置为，获取所述立体视觉扫描装置的位姿信息，以及获取所述立体视觉扫描装置所得到的预定对象的骨表面图像信息；根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；将所述第一虚拟骨模型与预置的第二虚拟骨模型进行配准，基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。
可选的，在所述骨建模配准系统中，所述立体视觉扫描装置的位姿固定，所述立体视觉扫描装置的位姿信息通过标定获取。
可选的，所述骨建模配准系统还包括：导航装置和靶标，所述靶标与所述立体视觉扫描装置连接，所述导航装置与所述靶标相适配，用以获取所述靶标的实时坐标信息，并将所述实时坐标信息传输至所述处理器；所述处理器与所述导航装置通信连接，基于所述导航装置所反馈的所述靶标的实时坐标信息获得所述立体视觉扫描装置的位姿信息。
为解决上述技术问题，根据本发明的第三个方面，还提供了一种骨科手术系统，其包括如上所述的骨建模配准系统，还包括机械臂、手术台车及导航台车中的至少一者。
综上所述，在本发明提供的可读存储介质、骨建模配准系统及骨科手术系统中，所述可读存储介质上存储有程序，所述程序被执行时实现：获取预定对象的骨表面图像信息；所述骨表面图像信息来自于一立体视觉扫描装置；根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行配准；基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。
如此配置，利用立体视觉扫描装置获取骨表面图像信息，重建得到第一虚拟骨模型，基于第一虚拟骨模型与预置的第二虚拟骨模型的配准及各坐标系之间的转换，即可得到预定对象于导航影像坐标系下的坐标。即实现了术前影像模型与术中实际骨模型的配准。无需在骨头上安置靶标，不会造成病人二次受创，减少了器械与人体部位的接触，减小了污染几率，方便器械清洗。此外，骨建模配准系统的设置简单，简化了手术中配准注册工具的安装，简化了配准流程，降低了手术的复杂度，缩减了手术时间。此外，立体视觉扫描装置的扫描相比传统点选的方式精度更高，更能反应骨表面结构，提升注册精度。
附图说明
本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
图1是本发明涉及的骨科手术系统的手术场景示意图；
图2是本发明涉及的骨科手术过程的流程图；
图3是本发明实施例一的骨建模配准系统的示意图；
图4是本发明实施例一的软骨清除区域的示意图；
图5是本发明实施例一的软骨清除后扫描的示意图；
图6是本发明实施例一的坐标转换示意图；
图7是本发明实施例二的软骨清除区域的示意图；
图8是本发明实施例二的软骨清除后扫描的示意图；
图9是本发明实施例三的软骨清除区域的示意图；
图10是本发明实施例三的软骨清除后扫描的示意图；
图11是本发明实施例四的骨建模配准系统的示意图。
附图中：
1-手术台车；2-机械臂；3-工具靶标；4-截骨导向工具；5-手术工具；6-跟踪仪；7-辅助显示器；8-主显示器；9-导航台车；10-键盘；12-股骨；14-胫骨；17-患者；18-操作者；
T1-导航装置坐标系；T2-靶标坐标系；T3-立体视觉扫描装置坐标系；T4-导航影像坐标系；
100-立体视觉扫描装置；200-导航装置；300-靶标；400-软骨清除区域。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近被操作对象的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的核心思想在于提供一种可读存储介质、骨建模配准系统及骨科手术系统，以解决现有骨注册配准所存在的问题。
请参考图1和图2，其中，图1是本发明涉及的骨科手术系统的手术场景示意图；图2是本发明涉及的骨科手术系统的骨科手术过程的流程图。
图1示出了一个示范性的实施例中，利用所述骨科手术系统进行膝关节置换的应用场景，然而，本发明的骨科手术系统对应用环境没有特别的限制，也可应用于其他的骨科手术。以下描述中，以用于膝关节置换为示例对骨科手术系统进行说明，但不应以此作为对本发明的限定。
如图1所示，所述骨科手术系统包括控制装置、骨建模配准系统、机械臂2以及截骨导向工具4。机械臂2设置在手术台车1上，所述控制装置在一些实施例中为一台计算机，但本发明对此不作限制，该计算机配置了处理器、主显示器8和键盘10，更优选还包括辅助显示器7。所述辅助显示器7和主显示器8所显示的内容可以是一致的，也可以不同。所述截骨导向工具4安装在机械臂2的末端，从而通过机械臂2来支撑截骨导向工具4，并调整截骨导向工具4的空间位置和姿态。
在一些实施例中，骨科手术系统还包括导航装置，所述导航装置可以是电磁定位导航装置、光学定位导航装置或者惯性导航装置。优选的，所述导航装置为光学定位导航装置，相比于其他的导航方式，测量精度高，可有效提高截骨导向工具4的定位精度。以下描述中，以光学定位导航装置作为示例进行说明，但不以此为限。
可选的，利用跟踪仪6来捕捉工具靶标3反射的信号(优选光学信号)并记录工具靶标3的位姿(即工具靶标3在基座标系下的位置和姿态)，再由控制装置的存储器内存储的计算机程序被处理器执行时，根据工具靶标3的当前位姿和期望位姿，控制机械臂2运动，机械臂2驱动截骨导向工具4和工具靶标3运动，并使工具靶标3到达期望位姿，工具靶标3的期望位姿对应于截骨导向工具4的期望位姿。
因此，对于骨科手术系统的应用，可实现截骨导向工具4的自动定位，且手术过程中由工具靶标3跟踪并反馈截骨导向工具4的实时位姿(包括位置和姿态)，并通过控制机械臂的运动实现截骨导向工具4的位置和姿态的调整，不仅截骨导向工具4的定位精度高，而且通过机械臂2来支撑截骨导向工具4，而无需将导向工具固定在人体上，可避免对人体产生二次伤害。
一般的，所述骨科手术系统还包括手术台车1和导航台车9。所述控制装置和一部分所述导航装置安装在导航台车9上，例如所述处理器安装在导航台车9的内部，所述键盘10放置在导航台车9的外部进行操作，所述主显示器8、辅助显示器7和跟踪仪6均安装在一个支架上，所述支架竖直固定在导航台车9上，而所述机械臂2安装在手术台车1上。手术台车1和导航台车9的使用，使整个手术操作更为方便。
请参考图2，在执行膝关节置换手术时，本实施例的骨科手术系统的使用过程大致包括以下操作：
步骤SK1：将手术台车1及导航台车9移动至病床旁边合适的位置；
步骤SK2：安装导航标志物、截骨导向工具4以及其他相关部件(如无菌袋)；
步骤SK3：术前规划；具体的，操作者18将患者17的骨头CT/MRI扫描影像数据导入所述计算机进行术前规划，得到截骨方案，该截骨方案例如包括截骨平面坐标、假体的型号以及假体的安装方位等信息；具体地，所述计算机根据CT/MRI扫描得到的患者膝关节影像数据，创建三维膝关节虚拟模型，进而根据三维膝关节虚拟模型创建截骨方案，以便手术操作者根据截骨方案进行术前评估，更具体地，基于三维膝关节虚拟模型，并结合得到的假体的尺寸规格以及截骨板的安装位置等确定截骨方案，所述截骨方案最终以手术报告形式输出，其记录有截骨平面坐标、截骨量、截骨角度、假体规格、假体的安装位置、手术辅助工具等一系列参考数据，特别还包括一系列理论说明，如选取该截骨角度的原因说明等，以为手术操作者提供参考；其中，三维膝关节虚拟模型可通过主显示器8进行显示，且操作者可通过键盘10输入手术参数，以便进行术前规划；
步骤SK4：骨实时配准；术前评估后，需要实时获取骨头特征点位置，然后处理器可以通过特征匹配算法得到股骨12及胫骨14的实际方位，并与股骨12及胫骨14的图像方位相对应。通过骨建模配准系统将股骨12及胫骨14的实际方位与步骤SK3中根据术前CT/MRI扫描得到的患者膝关节影像数据所创建三维膝关节虚拟模型配准，使得股骨12及胫骨14的实际方位与机械臂在导航装置下的坐标相统一，机械臂2可以根据导航装置中规划的骨位置进行手术；
步骤SK5：驱动机械臂运动到位，执行操作；进而通过导航装置将术前规划的截骨平面坐标发送给机械臂2，所述机械臂2通过工具靶标3定位截骨平面并运动到预定位置后，使机械臂2进入保持状态(即不动)，此后，操作者即可使用摆锯或电钻等手术工具5通过截骨导向工具4进行截骨和/或钻孔操作。完成截骨及钻孔操作后，操作者即可安装假体及进行其他手术操作。
传统手术及没有机械臂参与定位的导航手术系统，需要手动调整截骨导向定位工具，精度差，调整效率低，而使用机械臂定位截骨导向工具，操作者不需要使用额外的骨钉将截骨导向工具固定在骨头上，减少病人的创伤面，并缩减手术时间。
基于上述骨科手术系统，可实现机器人辅助手术，帮助操作者定位需截骨的位置，以便于操作者实施截骨。为解决现有骨注册配准所存在的问题，本发明提供了一种骨建模配准系统，其包括：处理器以及立体视觉扫描装置100；这里的处理器可以为设置在手术台车1上的计算机内的共用的处理器，也可以是独立设置的处理器；所述立体视觉扫描装置100用于获取预定对象的骨表面图像信息，即骨头表面三维数据，并将所述骨表面图像信息反馈至所述处理器；所述处理器与所述立体视觉扫描装置100通信连接；所述处理器被配置为，获取所述立体视觉扫描装置100的位姿信息，以及获取所述立体视觉扫描装置100所得到的预定对象的骨表面图像信息；根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；将所述第一虚拟骨模型与预置的第二虚拟骨模型进行配准，基于所述立体视觉扫描装置100的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。本发明所述骨科手术系统包括如上所述的骨建模配准系统，优选还包括机械臂2、手术台车1及导航台车9中的至少一者。如此配置，即可利用该骨建模配准系统在术前或术中对骨位置进行配准。配置过程中无需在骨头上安置靶标，不会造成病人二次受创，减少了器械与人体部位的接触，减小了污染几率，方便器械清洗。此外，骨建模配准系统的设置简单，简化了手术中配准注册工具的安装，简化了配准流程，降低了手术的复杂度，缩减了手术时间。此外，立体视觉扫描装置的扫描相比传统点选的方式精度更高，更能反应骨表面结构，提升注册精度。
下面通过若干实施例，结合附图，对本发明提供的可读存储介质、骨建模配准系统及骨科手术系统进行详细的说明。
【实施例一】
请参考图3至图6，其中，图3是本发明实施例一的骨建模配准系统的示意图；图4是本发明实施例一的软骨清除区域的示意图；图5是本发明实施例一的软骨清除后扫描的示意图；图6是本发明实施例一的坐标转换示意图。
图3示出了本实施例一提供的骨建模配准系统，其包括处理器(未图示)以及立体视觉扫描装置100，优选的，所述骨建模配准系统还包括：导航装置200和靶标300，导航装置200可以利用前述骨科手术系统中的跟踪仪6，也可以独立设置。下面以跟踪仪6作为导航装置200的范例进行说明，相对应的，靶标300为与跟踪仪6相适配的光学靶标。所述靶标300与所述立体视觉扫描装置100连接，所述导航装置200与所述靶标300相适配，用以获取所述靶标300的实时坐标信息，并将所述实时坐标信息传输至所述处理器；所述处理器与所述导航装置200通信连接，基于所述导航装置200所反馈的所述靶标300的实时坐标信息获得所述立体视觉扫描装置100的位姿信息。
具体的，立体视觉扫描装置100利用双目立体视觉原理扫描预定对象(如膝关节)，获取大范围高精度的三维深度信息，即膝关节表面三维数据信息。双目立体视觉原理是建立三维成像效果的基础，其基于视差原理，利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。立体视觉扫描装置100可选择目前市场上成熟的双目或三目扫描仪。处理器在获得来自立体视觉扫描装置100所扫描得到的骨表面图像信息或深度信息后，即可根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型，以上对于图像信息进行三维重建的步骤也可由立体扫描装置直接进行，并将三维重建后的信息发送给所述处理器。优选的，所述骨表面图像信息包括至少两幅不同视角的图像数据。进一步的，处理器可以获取预先置入的第二虚拟骨模型，该预置的第二虚拟骨模型可根据术前CT扫描所述预定对象的骨表面建立，或MRI扫描所述预定对象的骨表面建立。
可选的，立体视觉扫描装置100与靶标300固定连接，两者具有可知的相对位置关系，由此，导航装置200通过靶标300，即可获知立体视觉扫描装置100的位姿信息，导航装置200进一步将立体视觉扫描装置100的位姿信息传输至处理器，处理器将所述第一虚拟骨模型与预置的第二虚拟骨模型进行配准，基于所述立体视觉扫描装置100的位姿信息，即可得到所述预定对象于导航影像坐标系下的坐标。由此实现了对实际骨的位置与导航影像的配准。在一些实施例中，立体视觉扫描装置100与靶标300的相对位置关系可以是固定的，如通过机械设计文件或者通过标定的方式获得。
由此，本实施例一还提供一种可读存储介质，例如，计算机可读存储介质，其上存储有程序，如计算机程序，所述程序被执行时实现：
步骤SA1：获取预定对象的骨表面图像信息；所述骨表面图像信息来自于一立体视觉扫描装置100；
步骤SA2：根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；
步骤SA3：将所述第一虚拟骨模型与预置的第二虚拟骨模型进行配准；
步骤SA4：基于所述立体视觉扫描装置100的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。
进一步的，步骤SA2具体包括：
步骤SA21：对所述骨表面图像信息进行分割处理，获取骨轮廓点云数据；
步骤SA22：基于所述骨轮廓点云数据进行三维重建，得到所述第一虚拟骨模型，亦即重建后的股骨的虚拟模型。
优选的，步骤SAT3具体包括：将所述第一虚拟骨模型和所述第二虚拟骨模型进行粗配准；使用Ransac一致性算法去除可能的错误点；使用icp算法迭代，直至满足预设的收敛条件，拟合出配准矩阵。具体的，点云注册配准即将两个不同坐标系下的点云坐标转换到对方坐标系下。步骤SAT3提供的算法，是传统icp(Iteractive Closest Point)算法的改良版，传统icp算法的步骤可归纳如下：
a)确定目标点云中对应点集qi；
b)拟合R，T矩阵，使得源点云pi与qi之间距离最短，判断距离误差公式E如下：
Figure BDA0002710017370000111
c)不断收敛迭代直到E满足收敛条件为止。
步骤SAT3提供的算法中，首先将基于扫描的骨表面图像信息所建立的第一虚拟骨模型和预置的第二虚拟骨模型进行粗配准，使两模型尽可能地接近，随后使用Ransac一致性算法去除可能的错误点，再运行icp算法不断迭代直到满足收敛条件拟合出最终配准矩阵。
优选的，在步骤SA4中将各坐标系进行统一。具体的，导航装置200自带的坐标系为导航装置坐标系T1，靶标的坐标系为靶标坐标系T2，立体视觉扫描装置100自带的坐标系为立体视觉扫描装置坐标系T3，预置的第二虚拟骨模型的坐标系为导航影像坐标系T4；
步骤SA4包括：基于所述立体视觉扫描装置100与一靶标300的预定连接关系，得到立体视觉扫描装置坐标系T3与靶标坐标系T2之间的第一坐标转换关系；基于导航装置200对所述靶标300的定位，得到所述靶标坐标系T2与导航装置坐标系T1之间的第二坐标转换关系；基于步骤SA3中第一虚拟骨模型与第二虚拟骨模型的配准，获得立体视觉扫描装置坐标系T3与导航影像坐标系T4之间的第三坐标转换关系；基于所述第一坐标转换关系、所述第二坐标转换关系和所述第三坐标转换关系，对所述第一虚拟骨模型进行坐标转换，得到所述预定对象于导航影像坐标系T4下的坐标。
具体的，请参考图6，由于立体视觉扫描装置100与靶标300具有预定连接关系，立体视觉扫描装置100与靶标300之间的相对位置是可以预知的，因此立体视觉扫描装置坐标系T3与靶标坐标系T2之间的第一坐标转换关系是可知的，如通过机械设计文件或者通过标定的方式获得。由于导航装置200与靶标300两者是相适配的，导航装置200可以实时地获知靶标300的位置信息，因此靶标坐标系T2和导航装置坐标系T1之间的转换关系可通过导航装置200对靶标300的跟踪获知。基于步骤SA3中第一虚拟骨模型与第二虚拟骨模型的配准，可以获得导航装置坐标系T1与导航影像坐标系T4之间的转换关系。其具体过程如下：
Figure BDA0002710017370000121
Figure BDA0002710017370000122
Figure BDA0002710017370000123
其中，
Figure BDA0002710017370000124
分别为第一坐标转换关系的转换矩阵、第二坐标转换关系的转换矩阵及第三坐标转换关系的转换矩阵。通过上述的转换，基于立体视觉扫描装置100获取的骨表面图像信息所建立的第一虚拟骨模型，从立体视觉扫描装置坐标系T3根据第一坐标转换关系的转换矩阵
Figure BDA0002710017370000131
转移到靶标坐标系T2下，利用导航装置200跟踪靶标300获取第二坐标转换关系的转换矩阵
Figure BDA0002710017370000132
将骨表面图像信息从靶标坐标系T2转换到导航装置坐标系T1中，进而根据步骤SA3中第一虚拟骨模型与第二虚拟骨模型的配准，获取导航装置坐标系T1与导航影像坐标系T4间的转换关系。由此，基于导航装置200对靶标300的跟踪，即可得到根据立体视觉扫描装置100获取的骨表面图像信息所建立的第一虚拟骨模型于导航影像坐标系T4下的坐标。亦即实现了对骨位置进行配准。
本实施例中，由于立体视觉扫描装置100被操作者握持时，其位置相对于患者可以是运动的，而生成的配准矩阵无法在不稳定的坐标系中完成导航，因此将导航装置坐标系T1设置为世界坐标系，将第一虚拟骨模型转换到导航装置坐标系T1下，导航装置200在扫描完成后保持固定，只要患者保持固定，那么导航装置200相对患者同样保持静止不动，固定的导航装置200就可以让立体视觉扫描装置100在完成扫描后撤除，而不会妨碍接下来的手术。
可以理解的，本实施例提供的可读存储介质、骨建模配准系统及骨科手术系统并不局限于术前使用，在术中如果有配准需求，如患者的腿部位置发生了改变，也可以使用立体视觉扫描装置100对改变位置后的骨头进行扫描，实现再次配准。
需要注意的是，由于骨头表面存在一层软组织，直接利用立体视觉扫描装置100扫描得到的骨表面图像信息一般是包含了骨头表面软骨的点云数据。根据第二虚拟骨模型的来源不同，后续会包含两种处理途径。当预置入的第二虚拟骨模型是根据核磁共振(即MRI)扫描影像建立的，则其包含了骨头的软骨数据，而恰好使用立体视觉扫描装置100扫描获取的骨表面图像信息同样是包含了软骨的数据，故两者可直接利用前述的方法进行注册配准。
而当预置的第二虚拟骨模型是根据CT扫描影像建立的，其为不包括软骨组织的硬骨点云数据，故通过立体视觉扫描装置100扫描获取的骨表面图像信息需要再使用补偿算法以从中提取硬骨表面点云数据来完成配准。因此，上述步骤S3包括：根据软骨补偿算法获取软骨补偿数据；基于所述软骨补偿数据对所述第一虚拟骨模型进行修正，并利用修正后的第一虚拟骨模型与所述第二虚拟骨模型进行配准。
可选的，在本实施例中，使用铣刀磨除的方式清除软骨，软骨清除区域的位置见图4，该软骨清除区域400大致为一点状区域，该软骨清除区域由术前规划的医生决定具体位置。
图5演示了铣刀对软骨清除后进行扫描的过程，铣刀磨除软骨清除区域的软组织后，再利用立体视觉扫描装置100扫描骨表面，进而运行单点软骨补偿算法来获取软骨补偿数据。
进一步的，所述单点软骨补偿算法包括如下步骤：首先使用Canny算子获取所述预定对象的软骨清除区域的边缘，计算边缘的梯度变化，根据梯度变化拟合邻近软骨清除区域的非清除区域的深度变化，不断迭代覆盖整个软骨区域，最终拟合出软骨补偿数据，用于接下来的注册配准。需要说明的，Canny算子是一种多级边缘检测算法，计算边缘的梯度变化，拟合邻近区以及迭代覆盖等具体的计算方法均为本领域技术人员所公知，这里不做展开说明。
综上，根据预置的第二虚拟骨模型的不同来源，本实施例提供了两种不同的处理途径，无需在骨头上安置靶标，即实现了术前影像模型与术中实际骨模型的配准，不会造成病人二次受创，减少了器械与人体部位的接触，减小了污染几率，方便器械清洗。此外，骨建模配准系统的设置简单，简化了手术中配准注册工具的安装，简化了配准流程，降低了手术的复杂度，缩减了手术时间。此外，立体视觉扫描装置的扫描相比传统点选的方式精度更高，更能反应骨表面结构，提升注册精度。
【实施例二】
请参考图7和图8，其中，图7是本发明实施例二的软骨清除区域的示意图；图8是本发明实施例二的软骨清除后扫描的示意图。
本发明实施例二提供的可读存储介质、骨建模配准系统及骨科手术系统与实施例一提供的可读存储介质、骨建模配准系统及骨科手术系统基本相同，对于相同部分不再叙述，以下仅针对不同点进行描述。
实施例二中，针对根据CT扫描影像建立的第二虚拟骨模型，利用软骨补偿数据的获取方式与实施例一不同。具体的，实施例二同样使用铣刀磨除的方式清除软骨，软骨清除区域的位置见图7，该软骨清除区域大致为多个点状区域，这些软骨清除区域由术前规划的医生决定具体位置。
图8演示了铣刀对软骨清除后进行扫描的过程，磨除不同位置处的软骨无需按照特别的顺序，铣刀磨除多个软骨清除区域的软组织后，可直接利用立体视觉扫描装置100扫描骨表面，进而运行多点软骨补偿算法来获取软骨补偿数据。
进一步的，所述多点软骨补偿算法包括如下步骤：首先使用Canny算子获取所述预定对象的多个软骨清除区域的边缘，计算多个边缘的梯度变化，根据梯度变化从各软骨清除区域向周围扩展拟合得到清除深度；逐渐扩展清除范围直至覆盖整个软骨区域，得到所述软骨补偿数据。
更进一步的，当两个扩展区域相交时，交界处的清除深度根据距离所述交界处最近的软骨清除区域的中心点的梯度变化拟合得到。
由于本实施例采用了多点软骨补偿算法，其拟合精度较实施例一的单点软骨补偿算法更高。但需要对骨头的多个软骨清除区域进行磨除。
【实施例三】
请参考图9和图10，其中，图9是本发明实施例三的软骨清除区域的示意图；图10是本发明实施例三的软骨清除后扫描的示意图。
本发明实施例三提供的可读存储介质、骨建模配准系统及骨科手术系统与实施例一提供的可读存储介质、骨建模配准系统及骨科手术系统基本相同，对于相同部分不再叙述，以下仅针对不同点进行描述。
实施例三中，针对根据CT扫描影像建立的第二虚拟骨模型，利用软骨补偿数据的获取方式与实施例一不同。具体的，实施例三使用划刀划线的方式清除软骨，软骨清除区域的位置见图9，该软骨清除区域大致为条状区域，这些软骨清除区域由术前规划的医生决定具体位置。
图10演示了划刀对软骨清除后进行扫描的过程，划刀划线去除软骨清除区域的软组织后，可利用立体视觉扫描装置100扫描骨表面，进而运行划刻区域软骨补偿算法来获取软骨补偿数据。
划刻区域软骨补偿算法与实施例一的单点补偿算法基本相同，通过划刻区域边缘梯度变化拟合周围区域的清除深度，直至覆盖全软骨区域，得到软骨补偿数据。具体请参考实施例一，这里不再重复。
【实施例四】
请参考图11，其是本发明实施例四的骨建模配准系统的示意图。
本发明实施例四提供的可读存储介质、骨建模配准系统及骨科手术系统与实施例一提供的可读存储介质、骨建模配准系统及骨科手术系统基本相同，对于相同部分不再叙述，以下仅针对不同点进行描述。
如图11所示，相比实施例一提供的骨建模配准系统，本实施例四提供的骨建模配准系统中，取消了导航装置200和靶标300的设置，而将立体视觉扫描装置100的位姿固定，所述立体视觉扫描装置100的位姿信息通过标定获取。在一个示范性的实施例中，立体视觉扫描装置100由一机械臂所持，对立体视觉扫描装置100的位姿信息进行标定后，即固定机械臂，保持立体视觉扫描装置100的位姿不变。
由于立体视觉扫描装置100的位姿是固定的，其获取的骨表面图像信息所建立的第一虚拟骨模型相对于世界坐标系的坐标转换关系是可知的，因此通过将第一虚拟骨模型与第二虚拟骨模型配准后，即可直接获知第一虚拟骨模型与第二虚拟骨模型的配准矩阵。
相应的，所述可读存储介质中的程序被执行时还实现：获取预定对象的实时的骨表面图像信息，所述实时的骨表面图像信息来自于位姿固定的立体视觉扫描装置；根据实时的骨表面图像信息进行三维重建，得到实时的第一虚拟骨模型；将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行实时配准；得到所述预定对象于导航影像坐标系下的实时坐标。
进一步的，在获取配准矩阵后，保持立体视觉扫描装置100的位姿不变，保持扫描骨表面的状态，这样时刻运行配准算法获取实时配准矩阵，可以达到实时跟踪的目的。如此配置，即使术中骨头的位置发生了改变，也可以实时配准。
【实施例五】
本发明实施例五提供的可读存储介质、骨建模配准系统及骨科手术系统与实施例一提供的可读存储介质、骨建模配准系统及骨科手术系统基本相同，对于相同部分不再叙述，以下仅针对不同点进行描述。
实施例五中，针对根据CT扫描影像建立的第二虚拟骨模型，软骨补偿数据的获取方式与实施例一不同。具体的，实施例五不使用铣刀或者划刀等机械方式完成软骨补偿，而是通过机器学习算法训练神经元网络来自动清除软骨的数据信息。具体的，软骨补偿算法包括：使用经训练集完成训练的神经元网络对所述第一虚拟骨模型进行计算，得到所述软骨补偿数据。需要说明的，神经元网络通过训练集进行训练的方法为本领域技术人员所公知，这里不再展开说明。
需要说明的，上述若干实施例的可读存储介质、骨建模配准系统及骨科手术系统按递进的描述方式进行说明，各实施例中不同的部分可相互组合，本发明对此不作限制。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (16)

1.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序，所述程序被执行时实现：
获取预定对象的骨表面图像信息，所述骨表面图像信息来自于一立体视觉扫描装置；
根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；
将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行配准；
基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。
2.根据权利要求1所述的可读存储介质，其特征在于，所述骨表面图像信息包括至少两幅不同视角的图像数据。
3.根据权利要求1所述的可读存储介质，其特征在于，根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型的步骤包括：
对所述骨表面图像信息进行分割处理，获取骨轮廓点云数据；
基于所述骨轮廓点云数据进行三维重建，得到所述第一虚拟骨模型。
4.根据权利要求1所述的可读存储介质，其特征在于，基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标的步骤包括：
基于所述立体视觉扫描装置与一靶标的预定连接关系，得到立体视觉扫描装置坐标系与靶标坐标系之间的第一坐标转换关系；
基于导航装置对所述靶标的定位，得到所述靶标坐标系与导航装置坐标系之间的第二坐标转换关系；
基于所述第一虚拟骨模型与所述第二虚拟骨模型的配准，获得立体视觉扫描装置坐标系与导航影像坐标系之间的第三坐标转换关系；
基于所述第一坐标转换关系、所述第二坐标转换关系和所述第三坐标转换关系，对所述第一虚拟骨模型进行坐标转换，得到所述预定对象于所述导航影像坐标系下的坐标。
5.根据权利要求1所述的可读存储介质，其特征在于，预置的第二虚拟骨模型根据MRI扫描所述预定对象的骨表面建立。
6.根据权利要求1所述的可读存储介质，其特征在于，预置的第二虚拟骨模型根据CT扫描所述预定对象骨表面建立，将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行配准的步骤包括：
根据软骨补偿算法获取软骨补偿数据；
基于所述软骨补偿数据对所述第一虚拟骨模型进行修正，并利用修正后的第一虚拟骨模型与所述第二虚拟骨模型进行配准。
7.根据权利要求6所述的可读存储介质，其特征在于，所述软骨补偿算法包括：使用Canny算子获取所述预定对象的软骨清除区域的边缘，计算所述边缘的梯度变化，根据所述梯度变化拟合邻近所述软骨清除区域的非清除区域的深度变化，迭代覆盖整个软骨区域，得到所述软骨补偿数据。
8.根据权利要求6所述的可读存储介质，其特征在于，所述软骨补偿算法包括：使用Canny算子获取所述预定对象的多个软骨清除区域的边缘，计算多个所述边缘的梯度变化，根据所述梯度变化从各软骨清除区域向周围扩展拟合得到清除深度；逐渐扩展清除范围直至覆盖整个软骨区域，得到所述软骨补偿数据。
9.根据权利要求8所述的可读存储介质，其特征在于，当两个扩展区域相交时，交界处的清除深度根据距离所述交界处最近的软骨清除区域的中心点的梯度变化拟合得到。
10.根据权利要求6所述的可读存储介质，其特征在于，所述软骨补偿算法包括：使用经训练集完成训练的神经元网络对所述第一虚拟骨模型进行计算，得到所述软骨补偿数据。
11.根据权利要求1所述的可读存储介质，其特征在于，将所述第一虚拟骨模型与预置的第二虚拟骨模型进行配准的步骤包括：
将所述第一虚拟骨模型和所述第二虚拟骨模型进行粗配准；
使用Ransac一致性算法去除可能的错误点；
使用icp算法迭代，直至满足预设的收敛条件，拟合出配准矩阵。
12.根据权利要求1所述的可读存储介质，其特征在于，所述程序被执行时还实现：
获取预定对象的实时的骨表面图像信息，所述实时的骨表面图像信息来自于位姿固定的立体视觉扫描装置；
根据实时的骨表面图像信息进行三维重建，得到实时的第一虚拟骨模型；
将所述第一虚拟骨模型与所述预定对象的预置的第二虚拟骨模型进行实时配准；得到所述预定对象于导航影像坐标系下的实时坐标。
13.一种骨建模配准系统，其特征在于，包括：处理器以及立体视觉扫描装置；所述立体视觉扫描装置用于获取预定对象的骨表面图像信息，并将所述骨表面图像信息反馈至所述处理器；
所述处理器与所述立体视觉扫描装置通信连接；所述处理器被配置为，获取所述立体视觉扫描装置的位姿信息，以及获取所述立体视觉扫描装置所得到的预定对象的骨表面图像信息；根据所述骨表面图像信息进行三维重建，得到第一虚拟骨模型；将所述第一虚拟骨模型与预置的第二虚拟骨模型进行配准，基于所述立体视觉扫描装置的位姿信息，得到所述预定对象于导航影像坐标系下的坐标。
14.根据权利要求13所述的骨建模配准系统，其特征在于，所述立体视觉扫描装置的位姿固定，所述立体视觉扫描装置的位姿信息通过标定获取。
15.根据权利要求13所述的骨建模配准系统，其特征在于，所述骨建模配准系统还包括：导航装置和靶标，所述靶标与所述立体视觉扫描装置连接，所述导航装置与所述靶标相适配，用以获取所述靶标的实时坐标信息，并将所述实时坐标信息传输至所述处理器；所述处理器与所述导航装置通信连接，基于所述导航装置所反馈的所述靶标的实时坐标信息获得所述立体视觉扫描装置的位姿信息。
16.一种骨科手术系统，其特征在于，包括根据权利要求13～15中任一项所述的骨建模配准系统，还包括机械臂、手术台车及导航台车中的至少一者。
CN202011052618.4A 2020-09-29 2020-09-29 可读存储介质、骨建模配准系统及骨科手术系统 Active CN112155732B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202011052618.4A CN112155732B (zh) 2020-09-29 2020-09-29 可读存储介质、骨建模配准系统及骨科手术系统
BR112023005691A BR112023005691A2 (pt) 2020-09-29 2021-07-27 Meio de armazenamento legível, sistema de registro de modelagem óssea e sistema cirúrgico ortopédico
AU2021354680A AU2021354680A1 (en) 2020-09-29 2021-07-27 Readable storage medium, bone modeling registration system and orthopedic surgical system
PCT/CN2021/108603 WO2022068341A1 (zh) 2020-09-29 2021-07-27 可读存储介质、骨建模配准系统及骨科手术系统
US18/445,062 US20230410453A1 (en) 2020-09-29 2021-07-27 Readable storage medium, bone modeling registration system and orthopedic surgical system
EP21874003.3A EP4223246A4 (en) 2020-09-29 2021-07-27 READABLE STORAGE MEDIUM, BONE MODELING REGISTRATION SYSTEM AND ORTHOPEDIC SURGICAL SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011052618.4A CN112155732B (zh) 2020-09-29 2020-09-29 可读存储介质、骨建模配准系统及骨科手术系统

Publications (2)

Publication Number Publication Date
CN112155732A true CN112155732A (zh) 2021-01-01
CN112155732B CN112155732B (zh) 2022-05-17

Family

ID=73860765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011052618.4A Active CN112155732B (zh) 2020-09-29 2020-09-29 可读存储介质、骨建模配准系统及骨科手术系统

Country Status (6)

Country Link
US (1) US20230410453A1 (zh)
EP (1) EP4223246A4 (zh)
CN (1) CN112155732B (zh)
AU (1) AU2021354680A1 (zh)
BR (1) BR112023005691A2 (zh)
WO (1) WO2022068341A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统
CN113524201A (zh) * 2021-09-07 2021-10-22 杭州柳叶刀机器人有限公司 机械臂位姿主动调节方法、装置、机械臂和可读存储介质
CN113539444A (zh) * 2021-08-30 2021-10-22 上海联影医疗科技股份有限公司 医学图像重建方法、装置、电子设备和存储介质
CN114224508A (zh) * 2021-11-12 2022-03-25 苏州微创畅行机器人有限公司 医学图像处理方法、系统、计算机设备和存储介质
WO2022068341A1 (zh) * 2020-09-29 2022-04-07 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
TWI790181B (zh) * 2022-08-03 2023-01-11 國立陽明交通大學 手術機器人系統
CN115830247A (zh) * 2023-02-14 2023-03-21 北京壹点灵动科技有限公司 髋关节旋转中心的拟合方法和装置、处理器及电子设备
CN116563379A (zh) * 2023-07-06 2023-08-08 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117420917B (zh) * 2023-12-19 2024-03-08 烟台大学 基于手部骨架的虚拟现实控制方法、系统、设备及介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102155940A (zh) * 2011-03-17 2011-08-17 北京信息科技大学 用于双目视觉定位跟踪系统的立体靶标
US20140171962A1 (en) * 2012-12-13 2014-06-19 Mako Surgical Corp. Registration and navigation using a three-dimensional tracking sensor
CN105139442A (zh) * 2015-07-23 2015-12-09 昆明医科大学第一附属医院 一种结合ct和mri二维图像建立人体膝关节三维仿真模型的方法
CN105852970A (zh) * 2016-04-29 2016-08-17 北京柏惠维康科技有限公司 神经外科机器人导航定位系统及方法
CN106344152A (zh) * 2015-07-13 2017-01-25 中国科学院深圳先进技术研究院 腹部外科手术导航配准方法及系统
US20170085855A1 (en) * 2008-05-22 2017-03-23 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
CN106560163A (zh) * 2015-09-30 2017-04-12 合肥美亚光电技术股份有限公司 手术导航系统及手术导航系统的配准方法
CN107510504A (zh) * 2017-06-23 2017-12-26 中南大学湘雅三医院 一种辅助骨科手术的非放射线透视视觉导航方法及系统
CN107970060A (zh) * 2018-01-11 2018-05-01 上海联影医疗科技有限公司 手术机器人系统及其控制方法
CN109496143A (zh) * 2016-05-27 2019-03-19 马科外科公司 术前规划和对手术系统的相关术中配准
CN109512514A (zh) * 2018-12-07 2019-03-26 陈玩君 一种混合现实骨科微创手术导航系统及使用方法
CN109692041A (zh) * 2019-01-30 2019-04-30 杭州键嘉机器人有限公司 一种针对覆盖软骨的骨表面配准方法
CN109925055A (zh) * 2019-03-04 2019-06-25 北京和华瑞博科技有限公司 全数字化全膝关节置换手术机器人系统及其模拟手术方法
CN110169820A (zh) * 2019-04-24 2019-08-27 艾瑞迈迪科技石家庄有限公司 一种关节置换手术位姿标定方法及装置
CN110443839A (zh) * 2019-07-22 2019-11-12 艾瑞迈迪科技石家庄有限公司 一种骨骼模型空间配准方法及装置
CN111028278A (zh) * 2018-10-09 2020-04-17 武汉大学中南医院 一种基于断层成像技术提供人体关节数据的方法
CN111297475A (zh) * 2020-02-19 2020-06-19 苏州微创畅行机器人有限公司 骨注册方法、骨注册系统、骨注册控制装置及可跟踪元件
CN111493878A (zh) * 2020-03-17 2020-08-07 北京天智航医疗科技股份有限公司 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011134083A1 (en) * 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US9241657B2 (en) * 2010-06-30 2016-01-26 Brainlab Ag Medical image registration using a rigid inner body surface
WO2017185170A1 (en) * 2016-04-28 2017-11-02 Intellijoint Surgical Inc. Systems, methods and devices to scan 3d surfaces for intra-operative localization
CA3053633A1 (en) * 2017-02-22 2018-08-30 Orthosoft Inc. Bone and tool tracking in robotized computer-assisted surgery
CN109785374B (zh) * 2019-01-23 2020-12-04 北京航空航天大学 一种牙科增强现实手术导航的自动实时无标记图像配准方法
CN112155734B (zh) * 2020-09-29 2022-01-28 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112155732B (zh) * 2020-09-29 2022-05-17 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112155733B (zh) * 2020-09-29 2022-01-28 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170085855A1 (en) * 2008-05-22 2017-03-23 The Trustees Of Dartmouth College Surgical navigation with stereovision and associated methods
CN102155940A (zh) * 2011-03-17 2011-08-17 北京信息科技大学 用于双目视觉定位跟踪系统的立体靶标
US20140171962A1 (en) * 2012-12-13 2014-06-19 Mako Surgical Corp. Registration and navigation using a three-dimensional tracking sensor
CN106344152A (zh) * 2015-07-13 2017-01-25 中国科学院深圳先进技术研究院 腹部外科手术导航配准方法及系统
CN105139442A (zh) * 2015-07-23 2015-12-09 昆明医科大学第一附属医院 一种结合ct和mri二维图像建立人体膝关节三维仿真模型的方法
CN106560163A (zh) * 2015-09-30 2017-04-12 合肥美亚光电技术股份有限公司 手术导航系统及手术导航系统的配准方法
CN105852970A (zh) * 2016-04-29 2016-08-17 北京柏惠维康科技有限公司 神经外科机器人导航定位系统及方法
CN109496143A (zh) * 2016-05-27 2019-03-19 马科外科公司 术前规划和对手术系统的相关术中配准
CN107510504A (zh) * 2017-06-23 2017-12-26 中南大学湘雅三医院 一种辅助骨科手术的非放射线透视视觉导航方法及系统
CN107970060A (zh) * 2018-01-11 2018-05-01 上海联影医疗科技有限公司 手术机器人系统及其控制方法
CN111028278A (zh) * 2018-10-09 2020-04-17 武汉大学中南医院 一种基于断层成像技术提供人体关节数据的方法
CN109512514A (zh) * 2018-12-07 2019-03-26 陈玩君 一种混合现实骨科微创手术导航系统及使用方法
CN109692041A (zh) * 2019-01-30 2019-04-30 杭州键嘉机器人有限公司 一种针对覆盖软骨的骨表面配准方法
CN109925055A (zh) * 2019-03-04 2019-06-25 北京和华瑞博科技有限公司 全数字化全膝关节置换手术机器人系统及其模拟手术方法
CN110169820A (zh) * 2019-04-24 2019-08-27 艾瑞迈迪科技石家庄有限公司 一种关节置换手术位姿标定方法及装置
CN110443839A (zh) * 2019-07-22 2019-11-12 艾瑞迈迪科技石家庄有限公司 一种骨骼模型空间配准方法及装置
CN111297475A (zh) * 2020-02-19 2020-06-19 苏州微创畅行机器人有限公司 骨注册方法、骨注册系统、骨注册控制装置及可跟踪元件
CN111493878A (zh) * 2020-03-17 2020-08-07 北京天智航医疗科技股份有限公司 用于骨科手术的光学三维扫描设备及测量骨骼表面的方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068341A1 (zh) * 2020-09-29 2022-04-07 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112826590A (zh) * 2021-02-02 2021-05-25 复旦大学 基于多模态融合和点云配准的膝关节置换术空间注册系统
CN113539444A (zh) * 2021-08-30 2021-10-22 上海联影医疗科技股份有限公司 医学图像重建方法、装置、电子设备和存储介质
CN113539444B (zh) * 2021-08-30 2024-04-19 上海联影医疗科技股份有限公司 医学图像重建方法、装置、电子设备和存储介质
CN113524201A (zh) * 2021-09-07 2021-10-22 杭州柳叶刀机器人有限公司 机械臂位姿主动调节方法、装置、机械臂和可读存储介质
CN114224508A (zh) * 2021-11-12 2022-03-25 苏州微创畅行机器人有限公司 医学图像处理方法、系统、计算机设备和存储介质
TWI790181B (zh) * 2022-08-03 2023-01-11 國立陽明交通大學 手術機器人系統
CN115830247A (zh) * 2023-02-14 2023-03-21 北京壹点灵动科技有限公司 髋关节旋转中心的拟合方法和装置、处理器及电子设备
CN116563379A (zh) * 2023-07-06 2023-08-08 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及系统
CN116563379B (zh) * 2023-07-06 2023-09-29 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及系统

Also Published As

Publication number Publication date
EP4223246A1 (en) 2023-08-09
WO2022068341A1 (zh) 2022-04-07
BR112023005691A2 (pt) 2023-04-25
AU2021354680A1 (en) 2023-05-11
CN112155732B (zh) 2022-05-17
US20230410453A1 (en) 2023-12-21
EP4223246A4 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
CN112155732B (zh) 可读存储介质、骨建模配准系统及骨科手术系统
US11103315B2 (en) Systems and methods of merging localization and vision data for object avoidance
WO2022126827A1 (zh) 关于置换手术机器人导航定位系统及方法
CN109152615B (zh) 在机器人手术过程期间识别和跟踪物理对象的系统和方法
US20230355312A1 (en) Method and system for computer guided surgery
EP4159149A1 (en) Surgical navigation system, computer for performing surgical navigation method, and storage medium
EP1855607B1 (en) Image-guided robotic system for keyhole neurosurgery
AU2018316801B2 (en) Ultrasound bone registration with learning-based segmentation and sound speed calibration
US20170132389A1 (en) Patient specific instrumentation with mems in surgery
US20190142359A1 (en) Surgical positioning system and positioning method
US11918194B2 (en) Osteotomy calibration method, calibration device and orthopedic surgery system
WO2022083453A1 (zh) 手术操作工具的校验方法及校验系统
CN112006776A (zh) 一种手术导航系统及手术导航系统的配准方法
CN114224508A (zh) 医学图像处理方法、系统、计算机设备和存储介质
US20220168048A1 (en) Autonomous robot tracking
US20230020760A1 (en) Registration and/or tracking of a patient's bone employing a patient specific bone jig
JP2023502727A (ja) 骨切り術校正方法、校正装置、読み取り可能な記憶媒体、および整形外科手術システム
CN117338418A (zh) 一种基于肝肿瘤消融的超声定位系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant