CN116983086A - 一种自主关节置换手术机器人导航定位系统 - Google Patents

一种自主关节置换手术机器人导航定位系统 Download PDF

Info

Publication number
CN116983086A
CN116983086A CN202311251944.1A CN202311251944A CN116983086A CN 116983086 A CN116983086 A CN 116983086A CN 202311251944 A CN202311251944 A CN 202311251944A CN 116983086 A CN116983086 A CN 116983086A
Authority
CN
China
Prior art keywords
bone
osteotomy
dimensional
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311251944.1A
Other languages
English (en)
Other versions
CN116983086B (zh
Inventor
张逸凌
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longwood Valley Medtech Co Ltd
Original Assignee
Longwood Valley Medtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longwood Valley Medtech Co Ltd filed Critical Longwood Valley Medtech Co Ltd
Priority to CN202311251944.1A priority Critical patent/CN116983086B/zh
Publication of CN116983086A publication Critical patent/CN116983086A/zh
Application granted granted Critical
Publication of CN116983086B publication Critical patent/CN116983086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1732—Guides or aligning means for drills, mills, pins or wires for bone breaking devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1739—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body
    • A61B17/1764—Guides or aligning means for drills, mills, pins or wires specially adapted for particular parts of the body for the knee
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2/4603—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof
    • A61F2/461—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor for insertion or extraction of endoprosthetic joints or of accessories thereof of knees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/46—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor
    • A61F2002/4632—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery
    • A61F2002/4633—Special tools or methods for implanting or extracting artificial joints, accessories, bone grafts or substitutes, or particular adaptations therefor using computer-controlled surgery, e.g. robotic surgery for selection of endoprosthetic joints or for pre-operative planning

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Transplantation (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Cardiology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgical Instruments (AREA)

Abstract

本申请提供了一种自主关节置换手术机器人导航定位系统，包括：三维导入单元，用于导入膝关节的三维骨骼图像；假体规划单元，用于基于三维骨骼图像对膝关节假体进行规划；骨骼配准单元，用于对所述三维骨骼图像与真实手术场景中的待截骨骨骼进行配准；路径规划单元，用于通过人工势场法对截骨路径进行规划；机械臂控制单元，用于根据规划的截骨路径，控制机械臂完成自动截骨。本申请中，基于骨骼配准，将截骨平面映射到真实手术场景中，完成自动截骨操作，实现自主关节置换手术机器人导航定位系统在手术过程中的自动化操作，减少人为干预，进而减小由于人为干预所带来的误差，提高了手术的准确性、稳定性以及手术效率。

Description

一种自主关节置换手术机器人导航定位系统
技术领域
本申请涉及医疗器械技术领域，具体而言，涉及一种自主关节置换手术机器人导航定位系统。
背景技术
关节置换手术是一种常见且复杂的外科手术过程，用于治疗关节相关的疾病和损伤。传统的关节置换手术通常需要医生凭借丰富的经验和视觉判断来进行操作，但这种方式存在一定的局限性和风险。近年来，随着机器人技术和计算机辅助手术的发展，关节置换手术机器人逐渐成为一种新兴的技术，为关节置换手术带来了巨大的变革和进步。
当前，在引入关节置换手术机器人的情况下，关节置换手术机器人仅参与术前规划，对于术中的这些操作一般都是手动进行的，这种手术方式速度慢，且由于手术经验的差异造成医生的手术水平参差不齐，手术效果可能不及预期。
发明内容
本申请解决的问题是当前手动手术由于个体不同造成的手术水平参差不齐，手术效果不及预期问题。
为解决上述问题，本申请提供了一种自主关节置换手术机器人导航定位系统，其包括：
三维导入单元，用于导入膝关节的三维骨骼图像；
假体规划单元，用于基于三维骨骼图像对膝关节假体位置、假体型号与截骨平面位姿信息进行规划；
骨骼配准单元，用于对所述三维骨骼图像与真实手术场景中的待截骨骨骼进行配准，确定待截骨骨骼的截骨平面位姿信息；
路径规划单元，用于根据待截骨骨骼的截骨平面位姿信息，通过人工势场法对截骨路径进行规划；
机械臂控制单元，用于根据规划的截骨路径，控制机械臂完成自动截骨。
进一步地，所述骨骼配准单元，在对所述三维骨骼图像与真实手术场景中的待截骨骨骼进行配准，确定待截骨骨骼的截骨平面位姿信息时，具体用于：
获取RGB双目相机的二维图像，该二维图像中包含视觉标记物，获取红外双目相机的视觉标记物定位数据；
根据三维骨骼图像对应的至少一个三维骨骼关键点，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述视觉标记物、所述视觉标记物定位数据、所述RGB双目相机的二维图像以及所述三维骨骼模型，对三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
使用所述探针点触待截骨骨骼表面，基于探针的形状数据以及点触时红外双目相机坐标系下的探针的视觉标记物定位数据，确定红外双目相机坐标系下的点触位置坐标；
通过迭代最近点算法，将所述点触位置坐标与三维骨骼模型进行配准，确定所述三维骨骼模型与所述点触位置坐标的映射关系；
基于所述三维骨骼模型与所述点触位置坐标的映射关系，将规划的截骨平面位姿信息映射至待截骨骨骼的标记定位架的局部坐标系中。
进一步地，所述骨骼配准单元，在对三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准时，具体用于：
识别所述二维图像中探针的视觉标记物的坐标信息，确定探针的局部坐标系与RGB相机坐标系的映射关系；
根据探针的局部坐标系与RGB相机坐标系的映射关系，将所述三维骨骼模型投影至RGB相机坐标系下的所述二维图像中，所述二维图像中为RGB相机坐标系下的真实手术场景图像；
调节所述探针的位姿以更改所述三维骨骼模型的位姿，直至所述三维骨骼模型在所述二维图像上的投影与该二维图像上的待截骨骨骼重合为止；
在三维骨骼模型的投影与所述待截骨骨骼重合状态下，获取探针的所述视觉标记物在所述红外双目相机坐标系下的定位数据；
基于探针的所述视觉标记物在所述红外双目相机坐标系下的定位数据，以及待截骨骨骼的标记定位架的所述视觉标记物在所述红外双目相机坐标系下的定位数据，确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系；
基于所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，将所述三维骨骼模型的坐标系转换至所述待截骨骨骼的标记定位架的局部坐标系下，完成所述数字孪生配准。
进一步地，所述骨骼配准单元中，在所述待截骨骨骼包括待截骨胫骨和待截骨股骨的情况下，通过所述数字孪生配准过程分别对三维骨骼模型中的胫骨三维图像和真实手术场景中的待截骨胫骨、三维骨骼模型中的股骨三维图像和真实手术场景中的待截骨股骨进行配准。
进一步地，所述路径规划单元，在根据待截骨骨骼的截骨平面位姿信息，通过人工势场法对截骨路径进行规划时，具体用于：
根据待截骨骨骼的截骨平面位姿信息和三维骨骼模型，生成截骨平面边界和软组织保护区域；
确定截骨路径的计算公式，设置道面远端为目标位置，设置软组织保护区域为引力场；
设置截骨平面边界为强约束安全策略，基于所述强约束安全策略生成多个路点，所述路点的组合为规划的截骨路径。
进一步地，所述截骨路径的计算公式为：
，
其中，F a 为引力势场，F r 为斥力势场，m为势能场常数，k a 为正比例系数，x g 为目标位置，x为当前位置，k r 为正系数，x 0为障碍物位置，ρ(x)为当前位置到障碍物距离，ρ 0为影响距离。
进一步地，所述路径规划单元，在基于所述强约束安全策略生成多个路点时，具体用于：
根据引力场和斥力场生成一个路点；
判断生成的路点是否位于截骨平面边界内；
在路点位于截骨平面边界外的情况下，将该路点沿着朝向引力场形心的方向平移至接骨平面边界内；
在路点位于截骨平面边界内的情况下，根据引力场和斥力场生成下一路点；
判断当前生成的路点是否到达截骨平面边界远端；
在所述路点未到达截骨平面边界远端的情况下，返回所述判断生成的路点是否位于截骨平面边界内流程；
在所述路点到达截骨平面边界远端的情况下，更新所述引力场、所述斥力场和所述截骨平面边界；
在剩余截骨面积大于预设阈值的情况下，返回所述根据引力场和斥力场生成一个路点流程。
进一步地，所述机械臂控制单元，在根据规划的截骨路径，控制机械臂完成自动截骨时，具体用于：
获取已标定的截骨工具坐标系；
基于截骨工具坐标系将规划的所述截骨路径映射为机械臂法兰坐标系下的截骨路径；
基于运动学约束公式将机械臂法兰坐标系下的截骨路径生成各个关节的关节角轨迹；
对各个关节的关节角轨迹进行插值；
通过前馈型PID控制器输出各个关节角的关节角速度，对机械臂进行控制；
实时获取截骨工具定位架的定位数据和待截骨骨骼的标记定位架的定位数据；
基于截骨工具定位架的定位数据和待截骨骨骼的标记定位架的定位数据更新目标关节角轨迹，并返回所述对各个关节的关节角轨迹进行插值流程。
进一步地，所述PID控制器的表现形式为：
，
其中，为比例积分微分控制器输出的关节角速度，q r 为目标关节角轨迹，K p 、K i 、K d 为控制器参数。
进一步地，所述三维导入单元，在导入膝关节的三维骨骼图像时，具体用于：
采集关节置换对象的膝关节CT图像；
对膝关节CT图像中的骨骼部分与非骨骼部分进行图像分割，得到骨骼部分的分割结果；
基于连通域分析对骨骼部分的分割结果进行骨骼提取，提取出胫骨、股骨、髌骨和腓骨的骨骼结构；
基于提取出的胫骨、股骨、髌骨和腓骨的骨骼结构创建膝关节的三维骨骼图像，该三维骨骼图像中包含胫骨、股骨、髌骨和腓骨的三维图像。
本申请中，可以基于术前-术中的高精度骨骼配准，将截骨平面位姿信息映射到真实手术场景中的待截骨骨骼上，控制机械臂完成自动截骨操作，实现自主关节置换手术机器人导航定位系统在手术过程中的自动化操作，减少人为干预，进而减小由于人为干预所带来的误差，提高了手术的准确性、稳定性以及手术效率。
本申请中，可以结合三维成像与机器人技术进行个性化自动截骨规划，并利用自主关节置换手术机器人导航定位系统高精度自动完成截骨。传统手动方式相比，本系统可以显著提高截骨的精度、效率和安全性。
附图说明
图1为根据本申请实施例的自主关节置换手术机器人导航定位系统的硬件示意图；
图2为根据本申请实施例的自主关节置换手术机器人导航定位系统的架构图；
图3为根据本申请实施例的自主关节置换手术机器人导航定位系统三维导入单元的处理过程；
图4为根据本申请实施例的自主关节置换手术机器人导航定位系统MarchingCubes重建过程的示意图；
图5为根据本申请实施例的自主关节置换手术机器人导航定位系统假体规划单元的处理过程；
图6为根据本申请实施例的自主关节置换手术机器人导航定位系统骨骼配准单元的处理过程；
图7为根据本申请实施例的自主关节置换手术机器人导航定位系统骨骼配准单元的粗配准的处理过程；
图8为RGB相机获取的真实手术场景的模拟示意图；
图9为根据本申请实施例的自主关节置换手术机器人导航定位系统路径规划单元的处理过程；
图10为根据本申请实施例的自主关节置换手术机器人导航定位系统路径规划单元的生成多个路点的具体过程；
图11为根据本申请实施例的自主关节置换手术机器人导航定位系统路径规划单元的生成多个路点的流程示意图；
图12为根据本申请实施例的自主关节置换手术机器人导航定位系统路机械臂控制单元的处理过程。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
关节置换手术是一种常见且复杂的外科手术过程，用于治疗关节相关的疾病和损伤。传统的关节置换手术通常需要医生凭借丰富的经验和视觉判断来进行操作，但这种方式存在一定的局限性和风险。近年来，随着机器人技术和计算机辅助手术的发展，关节置换手术机器人逐渐成为一种新兴的技术，为关节置换手术带来了巨大的变革和进步。
当前，在引入关节置换手术机器人的情况下，关节置换手术机器人仅参与术前规划，对于术中的这些操作一般都是手动进行的，这种手动截骨方式存在一下问题：
截骨精度依赖于医生的经验，存在个体差异，难以保证截骨效果。
手动操作劳损大，速度慢，效率低下；截骨动作重复且费力，医生容易产生疲劳。
手动操作存在打滑、走样等人为误差风险，可能损伤软骨或韧带。
上述问题均会导致手术效果不及预期。
针对上述问题，本申请提供一种新的自主关节置换手术机器人导航定位系统方案，能够通过术前规划、术中配准、建立人工势场控制机械臂完成膝关节截骨，解决当前手动手术由于个体不同造成的手术水平参差不齐，手术效果不及预期的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
本申请实施例提供了一种自主关节置换手术机器人导航定位系统，该系统的具体方案由图1-图12所示。
结合图1、图2所示，其为根据本申请一个实施例的自主关节置换手术机器人导航定位系统的架构图；其中，所述自主关节置换手术机器人导航定位系统，包括：
三维导入单元101，用于导入膝关节的三维骨骼图像；
本申请中，导入膝关节的三维骨骼图像为三维的立体图像数据，该图像数据是由膝关节的医学图像生成的，膝关节的医学图像可以为CT图像和/或X射线图像。
假体规划单元102，用于基于三维骨骼图像对膝关节假体位置、假体型号与截骨平面位姿信息进行规划；
本申请中，膝关节假体的型号参数，可以基于实际的膝关节假体进行测量或采集对应的医学数据获得，也可以由对应医疗器械公司提供获取，具体获取方式不再赘述。
本申请中，规划好膝关节假体位置、假体型号与截骨平面位姿信息后，可以将规划的内容与三维骨骼图像结合显示，基于该显示可以供医护人员对规划信息进行调整，以达到更加准确的规划效果。
骨骼配准单元103，用于对所述三维骨骼图像与真实手术场景中的待截骨骨骼进行配准，确定待截骨骨骼的截骨平面位姿信息；
本申请中的骨骼配准，是将截骨平面位姿信息映射到真实手术场景中的待截骨骨骼上，从而基于映射后的信息进行截骨。
路径规划单元104，用于根据待截骨骨骼的截骨平面位姿信息，通过人工势场法对截骨路径进行规划；
机械臂控制单元105，用于根据规划的截骨路径，控制机械臂完成自动截骨。
结合图1所示，其为自主关节置换手术机器人导航定位系统的硬件示意图；其中展示有安装在台车上的机械臂、视觉传感器（红外双目相机、RGB双目相机等）以及显示器；此外自主关节置换手术机器人导航定位系统还设置有用于控制及处理上述硬件装置的控制软件。
如图2所示，其为自主关节置换手术机器人导航定位系统的架构图；由图中可以看出自主关节置换手术机器人导航定位系统所包含的各个单元。
需要说明的是，自主关节置换手术机器人导航定位系统所包含的各个单元，可以认为是上述硬件装置的控制软件，也可以认为是各个单元由上述硬件装置的控制软件以及软件控制的硬件组成。
本申请中，通过膝关节的三维骨骼图像进行假体术前规划，通过骨骼配准截骨平面位姿信息映射到真实手术场景中的待截骨骨骼上，以实现截骨规划与截骨场景的高精度对应，从而在此基础上完成关节置换的截骨。
需要说明的是，在完成高精度截骨后，即可以由对应医护人员完成规划的假体安装以及手术缝合，从而完成整个关节置换手术，基于此可以看出，本申请中自主关节置换手术机器人导航定位系统主要参与整个置换手术的术前规划与术中截骨部分，对于截骨之后的假体安装以及手术缝合，由医护人员进行完成（这是由于截骨后需要进行假体方面的校对，该种校对一般是基于医护人员经验，且工作量较小，因此改为由医护人员完成，不仅可以提高整个置换手术的安全性，也可以增加自主关节置换手术机器人导航定位系统的普适性）。本申请中，对截骨后的操作内容（由医护人员完成）不再赘述。
需要说明的是，自主关节置换手术机器人导航定位系统主要用于术前规划及术中截骨，其中的导航即为引导截骨工具的截骨运动，定位即为对手术中的各个位置或关键点进行位置确定，在此基础上，也可以将其认定为自主关节置换手术机器人导航定位截骨系统，并不影响整个申请文件的含义表达。
本申请中，可以基于术前-术中的高精度骨骼配准，将截骨平面位姿信息映射到真实手术场景中的待截骨骨骼上，控制机械臂完成自动截骨操作，实现自主关节置换手术机器人导航定位系统在手术过程中的自动化操作，减少人为干预，进而减小由于人为干预所带来的误差，提高了手术的准确性、稳定性以及手术效率。
本申请中，可以结合三维成像与机器人技术进行个性化自动截骨规划，并利用自主关节置换手术机器人导航定位系统高精度自动完成截骨。传统手动方式相比，本系统可以显著提高截骨的精度、效率和安全性。
结合图3所示，其为自主关节置换手术机器人导航定位系统的三维导入单元的处理过程，其中，所述三维导入单元101，在导入膝关节的三维骨骼图像时，具体用于：
采集关节置换对象的膝关节CT图像；
对膝关节CT图像中的骨骼部分与非骨骼部分进行图像分割，得到骨骼部分的分割结果；
基于连通域分析对骨骼部分的分割结果进行骨骼提取，提取出胫骨、股骨、髌骨和腓骨的骨骼结构；
基于提取出的胫骨、股骨、髌骨和腓骨的骨骼结构创建膝关节的三维骨骼图像，该三维骨骼图像中包含胫骨、股骨、髌骨和腓骨的三维图像。
本申请中，导入三维骨骼图像信息是截骨的基础，首先采集病人的膝关节CT扫描图像，该采集方式可以是使用医学图像处理软件(如Mimics, 3D Slicer等)读取原始的DICOM格式扫描图像。在此之后，可以设置阈值，使用图像分割算法(比如基于区域生长、级联分类器等)将骨骼与非骨骼组织分割开。分割开骨骼组织后，通过连通域分析等算法，从分割结果中精确提取出胫骨、股骨、腓骨的骨骼结构。然后对提取出的骨骼进行三维重建，转换为体数据模型（三维骨骼图像模型）。
需要说明的是，在部分截骨不受腓骨、髌骨影响的情况下，也可以在进行骨骼提取时仅提取胫骨、股骨的骨骼结构，从而降低需要提取的骨骼信息，提高三维图像生成速度。
本申请中，基于提取出的胫骨、股骨、髌骨和腓骨的骨骼结构创建膝关节的三维骨骼图像中，分别基于不同的骨骼结构进行不同的三维图像创建，具体可以为：基于提取出的胫骨的骨骼结构创建膝关节胫骨的三维骨骼图像，基于提取出的股骨的骨骼结构创建膝关节股骨的三维骨骼图像，和/或，基于提取出的髌骨的骨骼结构创建膝关节髌骨的三维骨骼图像，和/或，基于提取出的腓骨的骨骼结构创建膝关节腓骨的三维骨骼图像。
本申请中，不同骨骼的三维图像创建是分别进行的，但是依然保留不同骨骼间的相对位置关系（该相对位置关系可以在三维图像创建过程中保持）。
本申请中，使用Marching Cubes算法基于提取出的胫骨、股骨、髌骨和腓骨的骨骼结构创建膝关节的三维骨骼图像。
结合图4所示，其为Marching Cubes重建过程的示意图；其中，使用MarchingCubes算法基于提取出的胫骨、股骨、髌骨和腓骨的骨骼结构创建膝关节的三维骨骼图像的具体过程为：
将三维空间分割成若干个小方格，对每个方格内的骨骼结构数据点进行插值；根据设定的等值面阈值，判断方格内等值面与方格边的交点；根据方格边上交点的组合情况，基于预设的拓扑表，构建方格内的等值面三角片片段；拼接每个方格内构建的局部三角片片段，最终得到骨骼结构的整体三维等值面，即为三维骨骼图像。
结合图5所示，其为自主关节置换手术机器人导航定位系统的假体规划单元102的处理过程，其中，所述假体规划单元102，在基于三维骨骼图像对膝关节假体位置、假体型号与截骨平面位姿信息进行规划时，具体用于：
将三维骨骼图像输入训练完成的点识别深度强化学习模型，获取对应的三维骨骼关键点；
基于所述三维骨骼关键点计算膝关节的医学数据；
基于所述膝关节的医学数据确定膝关节的假体型号；
根据所述膝关节的假体信号，确定所述膝关节的假体位置以及截骨平面位姿信息，所述截骨平面位姿信息基于所述膝关节的三维图像与膝关节的假体的重合位置信息确定；
所述点识别深度强化学习模型是基于三维骨骼图像样本训练得到的，所述三维骨骼图像样本上标注有关键点数据。
本申请中，通过点识别深度强化学习模型对三维骨骼关键点进行识别，一方面可以通过后台进行点识别深度强化学习模型的训练，降低实时计算量；另一方面可以在规划时直接使用训练完成的模型进行关键点识别，从而大大提高识别效率。
需要说明的是，本申请中需要识别的三维骨骼关键点，是基于进行假体规划时的实际需求确定的，例如，若仅需要髁间窝关键点即可完成假体规划，则该点识别深度强化学习模型即为髁间窝识别深度强化学习模型。
本申请中，根据实际需求进行点识别深度强化学习模型的训练和使用，从而在实质上降低计算量，提高对应速度。
本申请中，通过假体规划单元102进行假体位置与型号自动规划，从而减少假体安装经验判断差异引起的术后评估关键信息异常。
本申请中，膝关节的医学数据为可以决定假体位置与型号的医学数据，例如股骨外侧伸直间隙：股骨外侧远端点到截骨面垂直距离；股骨外侧屈曲间隙：股骨外侧后髁点到后髁截骨面距离；股骨内侧伸直间隙：股骨内侧远端点到截骨面垂直距离；股骨内侧屈曲间隙：股骨内侧后髁点到后髁截骨面距离；胫骨内侧伸直间隙：胫骨平台内侧点到截骨面距离；胫骨内侧屈曲间隙：胫骨平台内侧点到截骨面距离等等，具体使用的医学数据可以根据实际需求确定。
本申请中，所述截骨平面位姿信息基于所述膝关节的三维图像与膝关节的假体的重合位置信息确定，即是就爱给你膝关节的三维图像与膝关节的假体的重合位置作为需要截掉的部分，重合位置的边界即为截骨平面位姿信息。
结合图6所示，其为自主关节置换手术机器人导航定位系统的骨骼配准单元103的处理过程，其中，所述骨骼配准单元103，在对所述三维骨骼图像与真实手术场景中的待截骨骨骼进行配准，确定待截骨骨骼的截骨平面位姿信息时，具体用于：
获取RGB双目相机的二维图像，该二维图像中包含视觉标记物，获取红外双目相机的视觉标记物定位数据；
根据三维骨骼图像对应的至少一个三维骨骼关键点，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述视觉标记物、所述视觉标记物定位数据、所述RGB双目相机的二维图像以及所述三维骨骼模型，对三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
使用所述探针点触待截骨骨骼表面，基于探针的形状数据以及点触时红外双目相机坐标系下的探针的视觉标记物定位数据，确定红外双目相机坐标系下的点触位置坐标；
通过迭代最近点算法，将所述点触位置坐标与三维骨骼模型进行配准，确定所述三维骨骼模型与所述点触位置坐标的映射关系；
基于所述三维骨骼模型与所述点触位置坐标的映射关系，将规划的截骨平面位姿信息映射至待截骨骨骼的标记定位架的局部坐标系中。
本申请中，所述RGB双目相机和所述红外双目相机均朝向真实手术场景，可以获取该场景下的待截骨骨骼信息。需要说明的是，真实手术场景下的待截骨骨骼和手术机器人的机械臂末端、以及探针上均会安装视觉标记物，基于该视觉标记物可以确定待截骨骨骼和手术机器人的机械臂末端、以及探针上的位姿信息。
需要说明的是，真实手术场景下的待截骨骨骼和手术机器人的机械臂末端、以及探针上安装视觉标记物，其与视觉标识物的相对位姿关系是确定的，且是已知的（具体确定方式本申请中不再赘述）。基于该相对位姿关系，可以直接确定待截骨骨骼和手术机器人的机械臂末端、以及探针的位姿；且基于该相对位姿关系，在视觉标记物进行坐标系映射后，待截骨骨骼和手术机器人的机械臂末端、以及探针的位置信息也可以同步映射为新的坐标系。
需要说明的是，红外双目相机虽然朝向真实手术场景，但是仅获取该真实手术场景下各个视觉标记物的位置数据，并不处理该真实手术场景下的其余数据（无论是否获取），通过该种方式，可以大大降低红外双目相机所需处理的数据量。
本申请中，所述红外双目相机为NDI相机。
本申请中，探针的形状数据为预先确定的，基于该探针的形状数据，可以在已知探针的视觉标记物定位数据的情况下，确定探针的针尖位置坐标，也即是点触位置的坐标。
本申请中，通过RGB相机完成粗配准，通过NDI相机完成精配准，从而在粗配准阶段计算量大的情况下，降低精度提高传输速率；在精配准阶段，降低获取的真实手术场景数据，以降级计算量，提高计算速度/反应速度。
本申请中，骨骼配准目的为建立图像坐标系与真实空间的刚性变换关系。
精配准过程中，利用探针探测骨骼表面时的数据，基于传统迭代最近点（Iterative Closest Point,简称ICP）算法进行点云迭代计算直至误差收敛至预设阈值内。
结合图7所示，其为自主关节置换手术机器人导航定位系统的骨骼配准单元103的粗配准的处理过程，其中，所述骨骼配准单元103，在对三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准时，具体用于：
识别所述二维图像中探针的视觉标记物的坐标信息，确定探针的局部坐标系与RGB相机坐标系的映射关系；
根据探针的局部坐标系与RGB相机坐标系的映射关系，将所述三维骨骼模型投影至RGB相机坐标系下的所述二维图像中，所述二维图像中为RGB相机坐标系下的真实手术场景图像；
调节所述探针的位姿以更改所述三维骨骼模型的位姿，直至所述三维骨骼模型在所述二维图像上的投影与该二维图像上的待截骨骨骼重合为止；
在三维骨骼模型的投影与所述待截骨骨骼重合状态下，获取探针的所述视觉标记物在所述红外双目相机坐标系下的定位数据；
基于探针的所述视觉标记物在所述红外双目相机坐标系下的定位数据，以及待截骨骨骼的标记定位架的所述视觉标记物在所述红外双目相机坐标系下的定位数据，确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系；
基于所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，将所述三维骨骼模型的坐标系转换至所述待截骨骨骼的标记定位架的局部坐标系下，完成所述数字孪生配准。
结合图8所示，其为RGB相机获取的真实手术场景的模拟示意图，该图中包含真实手术场景中的待截骨骨骼位置的模拟以及探针的视觉标记物的模拟、规划的三维骨骼模型的模拟；其中，实线绘制的骨骼为真实手术场景中的待截骨骨骼的示意图，其所处位置为当前的二维图像中的待截骨骨骼位置（真实手术场景中待截骨骨骼固定后不再移动），虚线绘制的骨骼为三维骨骼模型的示意图，其与探针的相对位置固定，探针上的四个同心圆用以表示视觉标记物，通过人为移动探针，则该示意图中的探针的视觉标记物、规划的三维骨骼模型也会同步移动；当示意图中的三维骨骼模型与待截骨骨骼位置重合后，即完成了粗配准。
需要说明的是，示意图中显示的为三维骨骼模型在二维图像上的投影，但是该投影会随着三维骨骼模型的位姿变化而变化。
本申请中，探针本身具有局部坐标系，该局部坐标系中，探针的视觉标记物具有各自的坐标，同时，由于探针与三维骨骼模型具有固定的相对关系，可以认为此时的三维骨骼模型的坐标也为探针局部坐标系下的坐标（即是不是，也可以在建立探针与三维骨骼模型的初始位姿关系时进行统一，该统一可以是将探针的视觉标志物坐标统一到三维骨骼模型的坐标系下，也可以是将三维骨骼模型统一到探针的视觉标志物的坐标系下，但是统一后均称为探针的局部坐标系）；识别所述二维图像中探针的视觉标记物的坐标信息时，二维图像为RGB相机坐标系下的坐标，则其中的探针的视觉标记物的坐标也为RGB相机坐标系下的坐标；此时基于探针的视觉标记物所具有的两个坐标系下的坐标，建立映射关系；基于该映射关系就可以将三维骨骼模型的坐标转换坐标系，并基于该坐标系下的二维图像所在平面计算投影，并将该投影显示出来。此时人为移动探针，则投影同步移动，医护人员可以基于显示的投影和二维图像移动探针，直至投影与二维图像中的对应骨骼重合，此时的状态即是粗配准状态。
本申请中，所述数字孪生配准为粗配准过程，通过将探针与三维骨骼模型固定关联后，人为移动探针，此时会同步移动三维骨骼模型，直至三维骨骼模型与真实手术场景中的待截骨骨骼位置重合，即完成了粗配准；记录该状态，并根据红外双目相机坐标系下的探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，即可将三维骨骼模型的具体数据映射到待截骨骨骼上。
本申请中，通过显示真实手术场景并投影三维骨骼模型，从而由人为参与完成粗配准，一方面可以无需大量计算即可快速完成粗配准；另一方面还可以大大增加粗配准的精度，提高后续精配准的速度，降低精配准的计算量。
在一种实施方式中，所述骨骼配准单元103中，在所述待截骨骨骼包括待截骨胫骨和待截骨股骨的情况下，通过所述数字孪生配准过程分别对三维骨骼模型中的胫骨三维图像和真实手术场景中的待截骨胫骨、三维骨骼模型中的股骨三维图像和真实手术场景中的待截骨股骨进行配准。
需要说明的是，人体骨骼三维模型中的各个骨骼结构的相对位置为术前拍摄位置，该位置与术中的手术位置并不相同，因此在配准时，需要对胫骨和股骨单独配准。
结合图9所示，其为自主关节置换手术机器人导航定位系统的路径规划单元104的处理过程，其中，所述路径规划单元104，在根据待截骨骨骼的截骨平面位姿信息，通过人工势场法对截骨路径进行规划时，具体用于：
根据待截骨骨骼的截骨平面位姿信息和三维骨骼模型，生成截骨平面边界和软组织保护区域；
确定截骨路径的计算公式，设置道面远端为目标位置，设置软组织保护区域为引力场；
设置截骨平面边界为强约束安全策略，基于所述强约束安全策略生成多个路点，所述路点的组合为规划的截骨路径。
本申请中，设置截骨平面边界为强约束安全策略，从而将截骨区域与软组织保护区域分割开，从而执行仅有引力场（也可以将截骨平面边界视为特殊斥力场）情况下的路径规划。
本申请中，基于待截骨骨骼的截骨平面位姿信息和三维骨骼模型（或者是对应位置的CT图像，或者是骨骼部分与非骨骼部分进行图像分割时的非骨骼分割结果），获取软组织保护区域，该软组织保护区域位于截骨平面外侧。具体确定方式，本申请中对此不做限制。
本申请中，人工势场法（Artificial Potential Field）简称APF，基本思想是在障碍物周围构建障碍物斥力势场（Obstacle Potential Field），在目标点周围构建引力势场（Goal Potential Field）；被控对象在这两种势场组成的复合场中同时受到斥力作用和引力作用，斥力和引力的合力方向（势场梯度）指引着被控对象的运动，生成无碰撞的路径。
在一中实施方式中，所述截骨路径的计算公式为：
，
其中，F a 为引力势场，F r 为斥力势场，m为势能场常数，k a 为正比例系数，x g 为目标位置，x为当前位置，k r 为正系数，x 0为障碍物位置，ρ(x)为当前位置到障碍物距离，ρ 0为影响距离。
需要说明的是，本申请中，在不设置斥力场的情况下，将所述斥力势场归零。
在一种实施方式中，结合图10所示，其为生成多个路点的具体过程，其中，所述路径规划单元104，在基于所述强约束安全策略生成多个路点时，具体用于：
根据引力场和斥力场生成一个路点；
判断生成的路点是否位于截骨平面边界内；
在路点位于截骨平面边界外的情况下，将该路点沿着朝向引力场形心的方向平移至接骨平面边界内；
在路点位于截骨平面边界内的情况下，根据引力场和斥力场生成下一路点；
判断当前生成的路点是否到达截骨平面边界远端；
在所述路点未到达截骨平面边界远端的情况下，返回所述判断生成的路点是否位于截骨平面边界内流程；
在所述路点到达截骨平面边界远端的情况下，更新所述引力场、所述斥力场和所述截骨平面边界；
在剩余截骨面积大于预设阈值的情况下，返回所述根据引力场和斥力场生成一个路点流程。
结合图11所示，其为生成多个路点的流程示意图，横向从左至右观察可知，第一幅图中生成了截骨平面边界，第二幅图中生成了软组织保护区域和目标位置的引力场，第三幅图中，生成了一条路径的五个路点，且该路径到达截骨平面边界远端；第四幅图中，基于已经生成的五个路点的路径，以该路径为新的截骨平面边界，更新所述引力场、所述斥力场和所述截骨平面边界；第五幅图为生成的所有截骨路径的路点，此时剩余截骨面积已经小于预设阈值，截骨规划完成。
本申请中，软组织区域为障碍物引力场，引力场形心为引力场中心，。
本申请中，软组织区域引力场吸引路点的强约束为截骨平面边界，设置软组织保护区域为引力场的目的是：使得路径紧贴软组织区域，但利用平面边界进行约束后使得其无法穿越边界，形成安全策略。
本申请中，当路径中的路点出现在非截骨平面边界内时，将路点置为非截骨平面边界内，当路点靠近目标位置时，一条路径生成结束，利用已生成路径更新引力场边界。直至残留面积小于阈值。
结合图12所示，其为机械臂控制单元105的处理过程，其中，所述机械臂控制单元105，在根据规划的截骨路径，控制机械臂完成自动截骨时，具体用于：
获取已标定的截骨工具坐标系；
基于截骨工具坐标系将规划的所述截骨路径映射为机械臂法兰坐标系下的截骨路径；
基于运动学约束公式将机械臂法兰坐标系下的截骨路径生成各个关节的关节角轨迹；
对各个关节的关节角轨迹进行插值；
通过前馈型PID控制器输出各个关节角的关节角速度，对机械臂进行控制；
实时获取截骨工具定位架的定位数据和待截骨骨骼的标记定位架的定位数据；
基于截骨工具定位架的定位数据和待截骨骨骼的标记定位架的定位数据更新目标关节角轨迹，并返回所述对各个关节的关节角轨迹进行插值流程。
本申请中，运动学约束公式为常规运动学公式，在此不再赘述。
本申请中，PID控制器（Proportion Integration Differentiation，比例-积分-微分控制器），由比例单元(P)、积分单元(I)和微分单元(D)组成。
本申请中，基坐标系：机械臂的基座为原点的坐标系
本申请中，机械臂法兰坐标系，即为末端关节坐标系：一般机械臂末端关节会覆盖一层法兰，因此机械臂末端关节坐标系又为法兰末端坐标系。
具体执行时，末端关节坐标系在基坐标系下的位姿，即为机械臂位姿。
工具末端坐标系：机械臂在工作过程中，机械臂末端会搭载工具，实际执行时，工具移动到某个位置，而不是机械臂末端运动到某个位置，此时我们需要为工具建立一个坐标系，也即是工具末端坐标系。本申请中，所述截骨工具坐标系即为工具末端坐标系。
本申请中，对各个关节的关节角轨迹进行插值时，每个关节的关节角的插值数量不同，具体插值数据基于该关节角的转动情况确定。
本申请中，机械臂法兰坐标系下的截骨路径包含多个路点，每个路点在各个关节的关节角轨迹中具有对应的轨迹点。
本申请中，各个关节的关节角轨迹进行插值，即为对相邻轨迹点之间进行插值。
本申请中，通过实时获取截骨工具定位架的定位数据和待截骨骨骼的标记定位架的定位数据，从而确定截骨工具和待截骨骨骼的实时位置，从而基于该实时追踪的位置调整PID控制器，以达到及时反馈，准确执行的目的。
在一种实施方式中，所述PID控制器的表现形式为：
，
其中，为比例积分微分控制器输出的关节角速度，q r 为目标关节角轨迹，K p 、K i 、K d 为控制器参数。
本申请中，根据配准结果与图像规划结果，结合红外双目获取的机械臂工具定位架形成动态调节的规划轨迹与当前机械臂关节角的误差模型即完成闭环控制。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、系统、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、系统、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、系统、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种自主关节置换手术机器人导航定位系统，其特征在于，包括：
三维导入单元，用于导入膝关节的三维骨骼图像；
假体规划单元，用于基于三维骨骼图像对膝关节假体位置、假体型号与截骨平面位姿信息进行规划；
骨骼配准单元，用于对所述三维骨骼图像与真实手术场景中的待截骨骨骼进行配准，确定待截骨骨骼的截骨平面位姿信息；
路径规划单元，用于根据待截骨骨骼的截骨平面位姿信息，通过人工势场法对截骨路径进行规划；
机械臂控制单元，用于根据规划的截骨路径，控制机械臂完成自动截骨。
2.根据权利要求1所述的自主关节置换手术机器人导航定位系统，其特征在于，所述骨骼配准单元，在对所述三维骨骼图像与真实手术场景中的待截骨骨骼进行配准，确定待截骨骨骼的截骨平面位姿信息时，具体用于：
获取RGB双目相机的二维图像，该二维图像中包含视觉标记物，获取红外双目相机的视觉标记物定位数据；
根据三维骨骼图像对应的至少一个三维骨骼关键点，建立探针与三维骨骼模型的初始位姿关系，该初始位姿关系下，所述探针与所述三维骨骼模型的相对位置固定不变；
基于所述视觉标记物、所述视觉标记物定位数据、所述RGB双目相机的二维图像以及所述三维骨骼模型，对三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准；
使用所述探针点触待截骨骨骼表面，基于探针的形状数据以及点触时红外双目相机坐标系下的探针的视觉标记物定位数据，确定红外双目相机坐标系下的点触位置坐标；
通过迭代最近点算法，将所述点触位置坐标与三维骨骼模型进行配准，确定所述三维骨骼模型与所述点触位置坐标的映射关系；
基于所述三维骨骼模型与所述点触位置坐标的映射关系，将规划的截骨平面位姿信息映射至待截骨骨骼的标记定位架的局部坐标系中。
3.根据权利要求2所述的自主关节置换手术机器人导航定位系统，其特征在于，所述骨骼配准单元，在对三维骨骼模型和真实手术场景中的待截骨骨骼进行数字孪生配准时，具体用于：
识别所述二维图像中探针的视觉标记物的坐标信息，确定探针的局部坐标系与RGB相机坐标系的映射关系；
根据探针的局部坐标系与RGB相机坐标系的映射关系，将所述三维骨骼模型投影至RGB相机坐标系下的所述二维图像中，所述二维图像中为RGB相机坐标系下的真实手术场景图像；
调节所述探针的位姿以更改所述三维骨骼模型的位姿，直至所述三维骨骼模型在所述二维图像上的投影与该二维图像上的待截骨骨骼重合为止；
在三维骨骼模型的投影与所述待截骨骨骼重合状态下，获取探针的所述视觉标记物在所述红外双目相机坐标系下的定位数据；
基于探针的所述视觉标记物在所述红外双目相机坐标系下的定位数据，以及待截骨骨骼的标记定位架的所述视觉标记物在所述红外双目相机坐标系下的定位数据，确定所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系；
基于所述探针的局部坐标系与所述待截骨骨骼的标记定位架的局部坐标系的映射关系，将所述三维骨骼模型的坐标系转换至所述待截骨骨骼的标记定位架的局部坐标系下，完成所述数字孪生配准。
4.根据权利要求2所述的自主关节置换手术机器人导航定位系统，其特征在于，所述骨骼配准单元中，在所述待截骨骨骼包括待截骨胫骨和待截骨股骨的情况下，通过所述数字孪生配准过程分别对三维骨骼模型中的胫骨三维图像和真实手术场景中的待截骨胫骨、三维骨骼模型中的股骨三维图像和真实手术场景中的待截骨股骨进行配准。
5.根据权利要求1-4中任一项所述的自主关节置换手术机器人导航定位系统，其特征在于，所述路径规划单元，在根据待截骨骨骼的截骨平面位姿信息，通过人工势场法对截骨路径进行规划时，具体用于：
根据待截骨骨骼的截骨平面位姿信息和三维骨骼模型，生成截骨平面边界和软组织保护区域；
确定截骨路径的计算公式，设置道面远端为目标位置，设置软组织保护区域为引力场；
设置截骨平面边界为强约束安全策略，基于所述强约束安全策略生成多个路点，所述路点的组合为规划的截骨路径。
6.根据权利要求5所述的自主关节置换手术机器人导航定位系统，其特征在于，所述截骨路径的计算公式为：
，
其中，F a 为引力势场，F r 为斥力势场，m为势能场常数，k a 为正比例系数，x g 为目标位置，x为当前位置，k r 为正系数，x 0为障碍物位置，ρ(x)为当前位置到障碍物距离，ρ 0为影响距离。
7.根据权利要求5所述的自主关节置换手术机器人导航定位系统，其特征在于，所述路径规划单元，在基于所述强约束安全策略生成多个路点时，具体用于：
根据引力场和斥力场生成一个路点；
判断生成的路点是否位于截骨平面边界内；
在路点位于截骨平面边界外的情况下，将该路点沿着朝向引力场形心的方向平移至接骨平面边界内；
在路点位于截骨平面边界内的情况下，根据引力场和斥力场生成下一路点；
判断当前生成的路点是否到达截骨平面边界远端；
在所述路点未到达截骨平面边界远端的情况下，返回所述判断生成的路点是否位于截骨平面边界内流程；
在所述路点到达截骨平面边界远端的情况下，更新所述引力场、所述斥力场和所述截骨平面边界；
在剩余截骨面积大于预设阈值的情况下，返回所述根据引力场和斥力场生成一个路点流程。
8.根据权利要求1-4中任一项所述的自主关节置换手术机器人导航定位系统，其特征在于，所述机械臂控制单元，在根据规划的截骨路径，控制机械臂完成自动截骨时，具体用于：
获取已标定的截骨工具坐标系；
基于截骨工具坐标系将规划的所述截骨路径映射为机械臂法兰坐标系下的截骨路径；
基于运动学约束公式将机械臂法兰坐标系下的截骨路径生成各个关节的关节角轨迹；
对各个关节的关节角轨迹进行插值；
通过前馈型PID控制器输出各个关节角的关节角速度，对机械臂进行控制；
实时获取截骨工具定位架的定位数据和待截骨骨骼的标记定位架的定位数据；
基于截骨工具定位架的定位数据和待截骨骨骼的标记定位架的定位数据更新目标关节角轨迹，并返回所述对各个关节的关节角轨迹进行插值流程。
9.根据权利要求8所述的自主关节置换手术机器人导航定位系统，其特征在于，所述PID控制器的表现形式为：
，
其中，为比例积分微分控制器输出的关节角速度，q r 为目标关节角轨迹，K p 、K i 、K d 为控制器参数。
10.根据权利要求1-4中任一项所述的自主关节置换手术机器人导航定位系统，其特征在于，所述三维导入单元，在导入膝关节的三维骨骼图像时，具体用于：
采集关节置换对象的膝关节CT图像；
对膝关节CT图像中的骨骼部分与非骨骼部分进行图像分割，得到骨骼部分的分割结果；
基于连通域分析对骨骼部分的分割结果进行骨骼提取，提取出胫骨、股骨、髌骨和腓骨的骨骼结构；
基于提取出的胫骨、股骨、髌骨和腓骨的骨骼结构创建膝关节的三维骨骼图像，该三维骨骼图像中包含胫骨、股骨、髌骨和腓骨的三维图像。
CN202311251944.1A 2023-09-26 2023-09-26 一种自主关节置换手术机器人导航定位系统 Active CN116983086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311251944.1A CN116983086B (zh) 2023-09-26 2023-09-26 一种自主关节置换手术机器人导航定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311251944.1A CN116983086B (zh) 2023-09-26 2023-09-26 一种自主关节置换手术机器人导航定位系统

Publications (2)

Publication Number Publication Date
CN116983086A true CN116983086A (zh) 2023-11-03
CN116983086B CN116983086B (zh) 2024-01-09

Family

ID=88530499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311251944.1A Active CN116983086B (zh) 2023-09-26 2023-09-26 一种自主关节置换手术机器人导航定位系统

Country Status (1)

Country Link
CN (1) CN116983086B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671215A (zh) * 2024-01-04 2024-03-08 北京长木谷医疗科技股份有限公司 关节置换手术机器人虚拟安全墙约束方法及装置
CN117653265A (zh) * 2024-01-31 2024-03-08 鑫君特(苏州)医疗科技有限公司 针对龙骨槽结构的胫骨截骨规划装置和胫骨自动截骨装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200330159A1 (en) * 2019-04-22 2020-10-22 Beihang University Path planning method with artificial potential field based on obstacle classification and medical system for steering flexible needle
CN112975939A (zh) * 2019-12-12 2021-06-18 中国科学院沈阳自动化研究所 一种协作型机械臂的动态轨迹规划方法
CN113842213A (zh) * 2021-09-03 2021-12-28 北京长木谷医疗科技有限公司 手术机器人导航定位方法及系统
CN113855236A (zh) * 2021-09-03 2021-12-31 北京长木谷医疗科技有限公司 手术机器人追踪和移动的方法及系统
CN114027985A (zh) * 2021-10-19 2022-02-11 山东建筑大学 一种用于骨关节置换手术的机器人
WO2022126827A1 (zh) * 2020-12-18 2022-06-23 北京长木谷医疗科技有限公司 关于置换手术机器人导航定位系统及方法
CN115005981A (zh) * 2022-06-07 2022-09-06 武汉联影智融医疗科技有限公司 手术路径规划方法、系统、设备、介质和手术操作系统
CN116327360A (zh) * 2021-12-24 2023-06-27 北京天智航医疗科技股份有限公司 用于髋关节置换手术的机器人辅助导航系统及手术系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200330159A1 (en) * 2019-04-22 2020-10-22 Beihang University Path planning method with artificial potential field based on obstacle classification and medical system for steering flexible needle
CN112975939A (zh) * 2019-12-12 2021-06-18 中国科学院沈阳自动化研究所 一种协作型机械臂的动态轨迹规划方法
WO2022126827A1 (zh) * 2020-12-18 2022-06-23 北京长木谷医疗科技有限公司 关于置换手术机器人导航定位系统及方法
CN113842213A (zh) * 2021-09-03 2021-12-28 北京长木谷医疗科技有限公司 手术机器人导航定位方法及系统
CN113855236A (zh) * 2021-09-03 2021-12-31 北京长木谷医疗科技有限公司 手术机器人追踪和移动的方法及系统
CN114027985A (zh) * 2021-10-19 2022-02-11 山东建筑大学 一种用于骨关节置换手术的机器人
CN116327360A (zh) * 2021-12-24 2023-06-27 北京天智航医疗科技股份有限公司 用于髋关节置换手术的机器人辅助导航系统及手术系统
CN115005981A (zh) * 2022-06-07 2022-09-06 武汉联影智融医疗科技有限公司 手术路径规划方法、系统、设备、介质和手术操作系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671215A (zh) * 2024-01-04 2024-03-08 北京长木谷医疗科技股份有限公司 关节置换手术机器人虚拟安全墙约束方法及装置
CN117671215B (zh) * 2024-01-04 2024-05-28 北京长木谷医疗科技股份有限公司 关节置换手术机器人虚拟安全墙约束方法及装置
CN117653265A (zh) * 2024-01-31 2024-03-08 鑫君特(苏州)医疗科技有限公司 针对龙骨槽结构的胫骨截骨规划装置和胫骨自动截骨装置
CN117653265B (zh) * 2024-01-31 2024-04-26 鑫君特(苏州)医疗科技有限公司 针对龙骨槽结构的胫骨截骨规划装置和胫骨自动截骨装置

Also Published As

Publication number Publication date
CN116983086B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
US11666388B2 (en) Method and system for computer assisted surgery
CN116983086B (zh) 一种自主关节置换手术机器人导航定位系统
US10194990B2 (en) Method for augmenting a surgical field with virtual guidance content
US20230355312A1 (en) Method and system for computer guided surgery
CN113842213B (zh) 手术机器人导航定位方法及系统
US20200038112A1 (en) Method for augmenting a surgical field with virtual guidance content
CN109069208B (zh) 用于无线超声跟踪和通信的超宽带定位
WO2023029784A1 (zh) 手术机器人追踪和移动的方法及系统
WO2023029363A1 (zh) 一种手术机器人导航定位系统及方法
JP2020511239A (ja) ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
WO2018200767A1 (en) Method for augmenting a surgical with virtual guidance content
Woo et al. Autonomous bone reposition around anatomical landmark for robot-assisted orthognathic surgery
CN113850851B (zh) 手术机器人骨骼的配准方法及系统
US20230225799A1 (en) Intraoperative implant augmentation
US20180199996A1 (en) Configuring a surgical tool
WO2023116823A1 (zh) 定位方法、系统、装置、计算机设备和存储介质
CN112972076B (zh) 膝关节假体股骨部件与股骨的拟合方法及机器人手术系统
Gonçalves et al. A vision system for robotic ultrasound guided orthopaedic surgery
US20200069372A1 (en) Method and system for navigating a bone model in computer-assisted surgery
US20230013210A1 (en) Robotic revision knee arthroplasty virtual reconstruction system
CN114224508A (zh) 医学图像处理方法、系统、计算机设备和存储介质
US20240024035A1 (en) Preoperative imaging combined with intraoperative navigation before and after alteration of a surgical site to create a composite surgical three dimensional structural dataset
Liu et al. A robotic system for implant modification in single-stage cranioplasty
Gonçalves et al. On the development and simulation of a robotic ultrasound guided system for orthopedic surgical procedures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant