CN109998687A - 骨折复位手术机器人系统及方法 - Google Patents

骨折复位手术机器人系统及方法 Download PDF

Info

Publication number
CN109998687A
CN109998687A CN201910310370.8A CN201910310370A CN109998687A CN 109998687 A CN109998687 A CN 109998687A CN 201910310370 A CN201910310370 A CN 201910310370A CN 109998687 A CN109998687 A CN 109998687A
Authority
CN
China
Prior art keywords
fracture
reduction
robot
graphical interfaces
planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910310370.8A
Other languages
English (en)
Other versions
CN109998687B (zh
Inventor
郑钢铁
祝世杰
陈煜�
潘勇卫
赵喆
邓玖征
朱剑津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201710361356.1A external-priority patent/CN107049496B/zh
Priority claimed from CN201711102592.8A external-priority patent/CN107970064A/zh
Application filed by Tsinghua University filed Critical Tsinghua University
Publication of CN109998687A publication Critical patent/CN109998687A/zh
Application granted granted Critical
Publication of CN109998687B publication Critical patent/CN109998687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B17/58Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor for osteosynthesis, e.g. bone plates, screws, setting implements or the like
    • A61B17/68Internal fixation devices, including fasteners and spinal fixators, even if a part thereof projects from the skin
    • A61B17/80Cortical plates, i.e. bone plates; Instruments for holding or positioning cortical plates, or for compressing bones attached to cortical plates
    • A61B17/808Instruments for holding or positioning bone plates, or for adjusting screw-to-plate locking mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B17/58Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor for osteosynthesis, e.g. bone plates, screws, setting implements or the like
    • A61B17/88Osteosynthesis instruments; Methods or means for implanting or extracting internal or external fixation devices
    • A61B17/8866Osteosynthesis instruments; Methods or means for implanting or extracting internal or external fixation devices for gripping or pushing bones, e.g. approximators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/32Surgical robots operating autonomously
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00022Sensing or detecting at the treatment site
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A61B2017/00123Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation and automatic shutdown
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00199Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B2017/564Methods for bone or joint treatment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/56Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor
    • A61B17/58Surgical instruments or methods for treatment of bones or joints; Devices specially adapted therefor for osteosynthesis, e.g. bone plates, screws, setting implements or the like
    • A61B17/68Internal fixation devices, including fasteners and spinal fixators, even if a part thereof projects from the skin
    • A61B2017/681Alignment, compression, or distraction mechanisms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/304Surgical robots including a freely orientable platform, e.g. so called 'Stewart platforms'
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Neurosurgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Neurology (AREA)
  • Manipulator (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)

Abstract

本发明公开了一种骨折复位手术机器人系统及方法,其中,系统包括:手术图像采集设备,用于采集手术实时的透视图像;远程控制工作站,远程控制工作站包括图形界面,用于接收透视图像,并通过图形界面显示透视图像,以生成或接收医生的骨折复位规划路径,并且通过图形界面显示骨折复位规划路径,以及根据骨折复位规划路径获取机器人控制量;骨折复位机器人,用于接收机器人控制量,并根据机器人控制量执行相应运动,以完成骨折复位手术。该系统有效避免了额外标志物的安装以及标定与注册过程,且比起传统基于“术前规划‑术中执行”机器人控制方法可以获得更高的手术精度,并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。

Description

骨折复位手术机器人系统及方法
技术领域
本发明涉及手术机器人技术领域,特别涉及一种骨折复位手术机器人系统及方法。
背景技术
微创技术是创伤性骨折手术复位固定中广泛采用的技术,但带之而来的问题是,医生需要暴露在X光下操作。而对于复杂的骨折手术,术中往往需要进行大量X光照射,造成医生遭受大量辐射,影响健康,因而一种远程操控的手术机器人的系统成为一种急迫的需要。
现有研究中的骨科手术机器人根据专门的手术导航系统提供的坐标进行相应的操作。其中常用的手术导航技术有CT与X光配准,光学跟踪与定位等等。这些手术导航技术都是基于物理空间的绝对坐标,即导航系统的任务是获取手术器械,手术部位的位置和姿态在同一个绝对坐标系下的表示,既所谓的注册过程。然后手术机器人根据绝对坐标下的位置和姿态信息进行操作。这种导航方法有如下三个缺点:其一是手术前需要对X光机等成像设备进行标定,不仅费时,还可能由标定误差引起导航精度下降;其二是需要在手术器械和手术部位上安装额外的标志物,增加了手术步骤,也增加了对患者的创伤;其三是往往需要额外配置专用的导航设备,如术中CT和红外光学跟踪定位系统等等,大大增加的设备成本。
另一方面,现有的大部分手术机器人运动使用的是开环控制。具体来说,就是手术前先通过导航系统获取手术操作端,手术部位或手术操作端夹持的肢体在绝对坐标下的位置信息,然后据此计算出机器人需要运动的轨迹,手术中按照事先计算好的轨迹进行操作。简言之就是“术前规划-术中执行”,因此只能刚性地执行任务,不具备手术过程中实时校正的能力。这样一来,术前规划的误差,术中标志物的错动,乃至病人呼吸等原因引起的手术部位的运动都会大大降低手术精度,甚至导致手术失败。如相关技术中,骨折复位机器人采用的就是“术前规划-术中执行”的控制策略,通过术前的CT信息计算出骨折复位所需要的手术机器人操作端的运动量,术中按照实现计算好的方式运动,没有通过视觉信息实时反馈校正的能力。
尽管部分手术机器人引入了术中实时反馈的手段,但都是通过红外光学定位等间接手段而不是直接的图像信息进行反馈的。如相关技术中介绍的骨折复位和髓内钉固定机器人系统,采用术前的CT和X光图像进行规划,术中采用红外光学定位装置进行反馈(在骨头上安装了红外标志点),但术中没有直接利用X光等图像信息,在肌肉张力,骨骼的变形等因素原因的影响下标志点可能发生位移,进而导致定位精度下降。
近年来,对运动的视觉伺服控制方法在机器人领域受到越来越多的关注。所谓视觉伺服运动控制,即通过视觉传感器获取目标和机器人的位置或运动信息,然后将这些信息实时地用于机器人的运动控制,以引导机器人完成特定的任务。由于采用视觉反馈对机器人进行闭环控制,机器人的定位精度相比开环控制更高,且能够对实际任务中可能发生的目标位置的变化做出相应的调整。而视觉伺服技术中的一个分支,即“基于图像的免标定视觉伺服”技术,比如,一种多任务手术机器人的视觉伺服控制方法,由于采用相对坐标的概念,避免了传统视觉伺服中的标定步骤,使得使用流程大大简化。另外,随着数字图像处理技术的进步,视觉伺服对目标和机械手臂前端人为安装的标志物的依赖也越来越小,利用目标和机械臂前端在图像中的特征点和边缘等图像特征信息即可完成对机器人的控制。但目前该视觉伺服技术还未应用在手术机器人技术领域。
骨折复位的成功和效率依赖于复位策略和断骨运动的路径规划方法。尽管人工智能技术已经取得了显著的进步,但对于复杂的骨折和信息不完整的情况,仍然不能够胜任。此外,为保证安全性,对于人工智能算法给出的复位路径和复位策略,也需要医生进行检验确认。因此,需要手术机器人系统具备一个交互界面,供医生进行人工路径规划和对人工智能算法输出结果进行检验,比如,一种远程操控的骨折复位手术机器人系统及复位控制方法。
发明内容
本申请是基于发明人对以下问题的认识和发现做出的:
相关技术中,(1)一种多任务手术机器人的视觉伺服控制方法,由于采用相对坐标的概念,避免了传统视觉伺服中的标定步骤,使得使用流程大大简化。但是仅提供了一个普遍适用的手术机器人控制方法。(2)一种远程操控的骨折复位手术机器人系统及复位控制方法,但是仅提供了基于图形界面的骨折复位的路径规划规划实施方法。
相比较相关技术,本发明专利提供了完整的不依赖于导航系统的骨折复位机器人系统,并通过安装力传感器提供了一种安全防护方法。
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种骨折复位手术机器人系统,该系统具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。
本发明的另一个目的在于提出一种骨折复位手术机器人方法。
为达到上述目的,本发明一方面实施例提出了一种骨折复位手术机器人系统,包括:手术图像采集设备,用于采集手术实时的透视图像;远程控制工作站,所述远程控制工作站包括图形界面,用于接收所述透视图像,并通过所述图形界面显示所述透视图像,以生成或接收医生的骨折复位规划路径,并且通过所述图形界面显示骨折复位规划路径,以及根据所述骨折复位规划路径获取机器人控制量;骨折复位机器人,用于接收所述机器人控制量,并根据所述机器人控制量执行相应运动,以完成骨折复位手术。
本发明实施例的骨折复位手术机器人系统,在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制,取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点,特别是在长骨骨折复位时,不再需要用钢钉将患者的骨断端固定在机器人操作端上,且操作图形界面使得医生可以进行人工骨折复位路径规划,检验人工智能算法的路径规划结果,从而有效避免了额外标志物的安装以及标定与注册过程,且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度,并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。
另外,根据本发明上述实施例的骨折复位手术机器人系统还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述手术图像采集设备为G型臂或C型臂X光机,其中,所述C型臂具备采集两幅正交X光图像的能力,使得所述X光图像通过数据线或无线网络连接所述远程控制工作站。
进一步地,在本发明的一个实施例中,所述远程控制工作站通过数据线或者无线网络连接所述骨折复位机器人,且安装的规划复位路径的所述图形界面通过显示器展示。
进一步地,在本发明的一个实施例中,还包括:可拆装的消毒工作平台,所述消毒工作平台安装在所述骨折复位机器的操作平台之上,所述消毒工作平台和肢体之间通过固定装置相连接,并且所述骨折复位机器人的每个推杆上安装力传感器。
进一步地,在本发明的一个实施例中,所述力传感器用于同时测量力和力的变化率。
进一步地,在本发明的一个实施例中,还包括:报警装置,所述报警装置用于在所述力超过预设幅值或所述力的变化率出现突变时,进行报警提示。
进一步地,在本发明的一个实施例中,还包括:控制装置,用于在接收到所述报警提示时,控制所述骨折复位机器人停止运动。
进一步地,在本发明的一个实施例中,还包括:所述骨折复位机器人为实现骨折六自由度运动的机器人。
进一步地,在本发明的一个实施例中,还包括:所述实现骨折六自由度运动的机器人为Stewart型并联机器人。
为达到上述目的,本发明另一方面实施例提出了一种骨折复位手术机器人系统的控制方法,采用如上述实施例所述的系统,其中,所述方法包括以下步骤:控制所述手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像,通过数据线或无线网络发送到所述远程控制工作站上,远程控制所述远程控制工作站生成相应的规划复位路径的所述图形界面;通过所述图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位,或者通过判断复位误差的绝对值是否小于预设值判断是否需要继续复位:若不需要,则骨折复位结束;若需要继续复位,则在所述图形界面重新进行复位路径规划,或者采用人工智能算法给出的复位路径规划,确认骨折复位规划路径,以及在所述图形界面中确认机器人运动后不会超出工作空间后,计算控制误差;根据所述控制误差按照视觉伺服控制律计算相应的机器人控制量;将所述机器人控制量发送给所述骨折复位机器人,以根据所述机器人控制量进行运动。
本发明实施例的骨折复位手术机器人系统的控制方法,在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制,取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点,特别是在长骨骨折复位时,不再需要用钢钉将患者的骨断端固定在机器人操作端上,且操作图形界面使得医生可以进行人工骨折复位路径规划,检验人工智能算法的路径规划结果,从而有效避免了额外标志物的安装以及标定与注册过程,且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度,并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明一个实施例的骨折复位手术机器人系统的结构示意图;
图2为根据本发明一个实施例的手术室中机器人系统的组成和布局;
图3为根据本发明一个实施例的Stewart型并联机器人的立体图;
图4(a)是用于将患者的脚连接到机器人的末端执行器的脚固定装置的透视图;
图4(b)是用于将患者的脚连接到机器人的末端执行器的脚固定装置的透视图;
图5为根据本发明一个实施例的Stewart型并联机器人的实施例中的用于骨折复位的图形用户界面的示图;
图6为根据本发明一个实施例的用于骨盆骨折复位手术的Stewart型并联机器人;
图7为根据本发明一个实施例的Stewart型并联机器人用于骨折复位手术的示意图;
图8为根据本发明一个实施例的骨折复位手术机器人系统的控制方法的流程图;
图9为根据本发明一个实施例的视觉伺服控制算法的流程图;
图10为根据本发明一个实施例的应用卷积神经网络进行骨折复位路径规划的AI方法流程图;
图11为根据本发明一个实施例的收集和预处理用于训练卷积神经网络的数据的过程示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的骨折复位手术机器人系统及方法,首先将参照附图描述根据本发明实施例提出的骨折复位手术机器人系统。
图1是本发明一个实施例的骨折复位手术机器人系统的结构示意图。
如图1所示,该骨折复位手术机器人系统100包括:手术图像采集设备110、远程控制工作站120和骨折复位机器人130。
其中,手术图像采集设备110用于采集手术实时的透视图像;远程控制工作站120远程控制工作站包括图形界面,用于接收透视图像,并通过图形界面显示透视图像,以生成或接收医生的骨折复位规划路径,并且通过图形界面显示骨折复位规划路径,以及根据骨折复位规划路径获取机器人控制量。骨折复位机器人130用于接收机器人控制量,并根据机器人控制量执行相应运动,以完成骨折复位手术。本发明实施例的系统100有效避免了额外标志物的安装以及标定与注册过程,且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度,并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。
可以理解的是,本发明实施例的系统100为不依赖于导航技术的远程操控的骨折复位手术机器人系统,征是没有导航所需的设备,但包括:手术图像采集设备110,骨折复位机器人130和远程控制工作站120;其中远程控制工作站130上安装有用于医生进行手术的规划复位路径的图形界面。工作时,手术图像采集设备110采集手术实时的透视图像并传递到远程工作站;远程控制工作站120将接收到的图像在规划复位路径的图像界面上显示出来,医生手动或人工智能算法自动进行骨折复位路径规划,并将规划结果显示在图形界面上;远程控制工作站120根据路径规划结果计算得到机器人控制量并发送给骨折复位机器人130,骨折复位机器人130根据接收到的控制量完成相应运动。
具体而言,本发明实施例的系统100包括:手术图像采集设备110,骨折复位机器人130、安全防护系统和远程控制工作站120。手术图像采集设备110通过数据线或无线网络连接远程控制工作站。远程控制工作站120通过数据线或者无线网络连接骨折复位机器人130,远程控制工作站120上安装有规划复位路径的图形界面,图像界面通过显示器展示,图形操作界面上提供了使得机器人运动返回上一步的按钮。
进一步地,在本发明的一个实施例中,手术图像采集设备110可以为G型臂或C型臂X光机,但不限于此,本领域技术人员可以根据实际情况进行设置,在此不做具体限定。其中,C型臂具备采集两幅正交X光图像的能力,使得X光图像通过数据线或无线网络连接远程控制工作站。
进一步地,在本发明的一个实施例中,骨折复位机器人130为实现骨折六自由度运动的机器人,其中,实现骨折六自由度运动的机器人可以为Stewart型并联机器人或者串联机器人。
可以理解的是,骨折复位机器人130可以是并联机器人(例如Stewart型)也可以是串联机器人(例如机械臂),需要说明的是,骨折复位机器人并不限于此,可以是能够实现骨折六自由度运动的任何类型的机器人,在此仅作为示例,不做具体限定。
进一步地,在本发明的一个实施例中,还包括:可拆装的消毒工作平台、力传感器、报警装置和控制装置。
其中,消毒工作平台安装在骨折复位机器的操作平台之上,消毒工作平台和肢体之间通过固定装置相连接,并且骨折复位机器人的每个推杆上安装力传感器。力传感器用于同时测量力和力的变化率。报警装置,报警装置用于在力超过预设幅值或力的变化率出现突变时,进行报警提示。控制装置,用于在接收到报警提示时,控制骨折复位机器人停止运动。
具体而言,本发明实施例还在机器人的操作平台之上安装可拆装的消毒工作平台,消毒工作平台和患者肢体通过固定装置相连接,并且每个推杆上安装力传感器。力传感器用于同时测量力和力的变化率,当力超过规定幅值后或力的变化率出现突变时,经由控制软件自动报警并停止机器人运动。
需要说明的是,本发明实施例的系统100和现有手术机器人在系统构成上的最大区别在于,本发明不需要进行导航和注册,这样就不需要光学标志点和视觉跟踪系统。
下面将通过具体实施例对骨折复位手术机器人系统100进行进一步阐述。
如图2所示,图2是本发明实施例提出的手术室中系统的组成和布局,包括:Stewart型并联机器人1、用于在长骨骨折复位手术中将患者的脚连接到机器人的末端执行器的固定器2、在远程操作的屏幕上示出的图形用户界面3、远程控制工作站120和手术图像采集设备110。
在该实施例中,手术图像采集设备110以G型臂X射线机为例,具体地,手术图像采集设备110通过数据线或无线网络连接到远程操作工作站120。远程操作工作站120通过数据线或无线网络连接到骨折复位机器人130。远程操作工作站120配备有用于控制骨折复位机器人120的视觉伺服控制软件,用于规划骨折复位路径的人工智能算法软件,以及图形用户界面3。在操作期间,手术图像采集设备110获取两个实时图像,一个来自AP视图(竖直图像),另一个来自LT视图(水平图像),它们被发送到远程操作工作站120。操作员利用图形用户界面3和远程操作工作站120上显示的图像制作骨折复位路径计划,计算控制量,然后根据路径规划结果将它们发送给骨折复位机器人1130。最终,骨折复位机器人1130根据接收到的控制量进行移动。
其中,手术图像采集设备110可以是任何常用的图像采集装置,例如C臂或G臂X射线机,其用于获取骨折部位的AP或LT图像。
进一步而言,骨折复位机器人需要6个自由度,但不要求机器人的具体类型。在该实施例中,Stewart型并联机器人1用于操纵断裂的肢体并执行骨折复位。图3是本发明该实施例提供的Stewart型并联机器人的透视图。
具体地,1-1是用于将机器人安装在移动台(例如台车或固定台)上的固定平台。1-2是用于将直线推杆1-4连接到固定平台1-1的安装板;1-3是用于实现Stewart型并联机器人特征的万向节;1-5是单自由度力传感器,用于测量机器人运动过程中的力和力的变化;1-6是末端执行器,也称为平台。与传统的Stewart型并联机器人不同,在该实施例中,添加消毒工作平台1-8并通过多个连接柱1-7连接到机器人的末端执行器1-6,连接柱1-7通过以下方式固定到两个平台上:多个卡环1-9,用于容易地组装和拆卸消毒工作平台1-8。
图4(a)是用于将患者的脚连接到机器人的末端执行器的脚固定装置的透视图,该脚踏固定装置是该实施例中的消毒工作平台1-8。2-1是用于将脚固定装置连接到消毒工作平台1-8的固定基座;2-2是用于调节L形支架2-5的倾斜角度的连杆;2-3是用于固定连杆2-2的螺栓;2-4是用于连接L形支架2-5的滑轨,其上连接有用于固定患者足部的夹紧靴;2-6是用于将L形支架2-5固定到滑轨2-4的销孔。
图4(b)是用于将患者的脚连接到机器人的末端执行器的脚固定装置的另一个透视图,该脚踏固定装置是该实施例中的消毒工作平台1-8。2-7是用于支撑脚的底板。2-8和2-9为脚提供侧面限制,它们可以绕轴2-10旋转。手柄结构2-11和2-12用于固定用于将患者的脚固定到装置上的绷带。L形支架2-7用于支撑患者的脚并且连接到滑轨2-4。
在该实施例中,如图2所示,骨折肢体的患者足部固定在消毒工作平台1-8上的足部固定装置2上。对于胫骨骨折,首先将高于患者踝关节的鞋面夹在患者的脚上,然后通过柔性绳或柔性绷带将脚固定在L形支架2-5上。通过沿着滑轨2-4移动连杆2-2,将倾斜角度调节到适当的值。根据解剖学常识,如果骨折骨是股骨,为保护踝关节和膝关节,应使用柔性绷带将一对夹板从踝关节固定到膝关节。虽然图2仅描述了下肢的实施例,对于上肢骨折复位,根据解剖学常识,手应该用柔性绷带系在机器人的末端执行器上,如果需要,在它之间安装一对夹板,将腕关节和肘关节用弹性绷带与之固定。
图6示出了骨盆骨折复位的实施例,其中骨盆的一部分固定在手术台上,骨盆的另一部分通过多个金属销固定到Stewart型机器人的末端执行器上。为了将骨盆暴露于X射线,患者骨盆下方的空间应留给X光机5。因此,使用由对X射线不显影的材料制成的板6进行固定。骨盆的骨折部分到机器人的末端执行器1-8。
图7示出了当患者具有不能留下足够空间来布置X射线机的较短腿时将脚连接到机器人的方式。10是连接图4所示的脚固定装置到机器人的工作平台1-8的延伸梁。
综上,本发明实施例的系统特点及有益效果如下:
(1)系统构成简单,图形界面清晰直观,只需在2维图像上进行规划,不需要进行2维到3维的坐标转换,便于医生后续完成手术。此外,相比全自动的机器人骨折复位系统,本发明可以应对更为复杂的骨折复位情况。
(2)采用了远程操控的方法,即操作者可以在手术室远离辐射的区域通过图形界面向机器人发送指令,彻底免受辐射伤害。此外由于采用了远程操控的方式,手术专家可以在外地通过操控手术机器人进行复位,进而完成手术,有助于提高落后地区的医疗水平,节约了因手术专家奔赴外地进行手术所耗费的时间。
(3)手术机器人系统采用“视觉伺服”的运动控制方式,可以利用手术过程中采集的视觉信息对机器人的运动进行反馈,可以有效避免术前规划误差和术中手术部位移动等原因导致的手术精度下降,从而相比传统的“术前规划-术中执行”的手术机器人工作模式能获得更高的手术精度。也更符合医生的临床思维和骨折复位操作习惯。
(4)手术导航技术采用了“基于图像的免标定视觉伺服”技术,避免了额外标志物的安装以及标定过程,可以有效减少手术准备时间,且“基于图像的免标定视觉伺服”技术能有效补偿患者手术部位位移,图像采集设备位移等不确定因素带来的误差,不需要对将患肢刚性固定在机器人操作端。
(5)手术图像采集设备为G型臂或C型臂等手术室常用设备,无需额外添置术中CT或红外光学系统等昂贵设备,不仅节约了成本也减少了培训医务人员所需要的时间。
根据本发明实施例提出的骨折复位手术机器人系统,在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制,取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点,特别是在长骨骨折复位时,不再需要用钢钉将患者的骨断端固定在机器人操作端上,且操作图形界面使得医生可以进行人工骨折复位路径规划,检验人工智能算法的路径规划结果,从而有效避免了额外标志物的安装以及标定与注册过程,且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度,并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。
其次参照附图描述根据本发明实施例提出的骨折复位手术机器人系统的控制方法。
图8是本发明一个实施例的骨折复位手术机器人系统的控制方法的流程图。
如图8所示,该骨折复位手术机器人系统的控制方法,采用如上述实施例的系统,其中,首先将患者骨折的肢体部分固定在机器人操作端,方法包括以下步骤:
在步骤S801中,控制手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像,通过数据线或无线网络发送到远程控制工作站上,远程控制远程控制工作站生成相应的规划复位路径的图形界面。
可以理解的是,手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像各一张,通过数据线或无线网络发送到远程控制工作站上,远程控制工作站生成相应的规划复位路径的图形界面。
具体而言,人工智能算法首先对图像进行处理,包括边缘提取、中线划定、路径规划、复位位置显示;医生根据图像界面显示的上述信息,判断骨边缘提取质量、中线划定正确否和路径规划是否合理,如果认为存在问题,则删除人工智能算结果在图形界面上的显示,进行人工中线划定(或人工调整骨头轮廓线)和人工路径规划。
在步骤S802中,通过图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位,或者通过判断复位误差的绝对值是否小于预设值判断是否需要继续复位:若不需要,则骨折复位结束;若需要继续复位,则在图形界面重新进行复位路径规划,或者采用人工智能算法给出的复位路径规划,确认骨折复位规划路径,以及在图形界面中确认机器人运动后不会超出工作空间后,计算控制误差。
其中,复位误差w,是描述骨折近侧断端和远侧断端之间相对位置关系的向量,可以是对应点的像素坐标差值以及骨折移动端和骨折固定端中线之间的夹角组成的向量,该误差表示了控制误差,理想状态是控制误差收敛到0。
具体而言,在人工状态下,操作者通过图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位,或者通过判断复位误差w的绝对值是否小于设定值判断是否需要继续复位:若不需要,则骨折复位结束;若需要继续复位,则在图形界面上通过点击相应按钮进行复位路径规划,完成后在图形界面中确认机器人运动后不会超出其工作空间,然后计算控制误差e。
其中,复位误差w的计算方法如下:
令图形界面中正位透视图像中代表骨折固定端中线的线段与水平方向的夹角为θ1,其靠近骨折断端一侧的端点的像素坐标为(x1,y1),代表骨折移动端中线的线段与水平方向的夹角为其靠近骨折断端一侧的端点的像素坐标为侧位透视图像中代表骨折固定端中线的线段与水平方向的夹角为θ2,其靠近骨折断端一侧的端点的像素坐标为(x2,y2),代表骨折移动端中线的线段与水平方向的夹角为其靠近骨折断端一侧的端点的像素坐标为
骨折复位完成的标志是复位误差w为0,既实现解剖复位。
控制误差e的计算方法如下:
e=[Δx1 Δy1 Δθ1 Δx2 Δy2 Δθ2 α]T
其中Δx1、Δy1、Δθ1分别是医生通过操作图形界面使得在正位透视图像中“代表机器人运动后骨折移动端将到达的位置的轮廓线”以及“代表机器人运动后骨折移动端的中线将到达的位置的线段”沿水平方向移动的距离、沿竖直方向移动的距离以及旋转的角度。Δx2、Δy2、Δθ2分别是医生通过操作图形界面使得在侧位透视图像中“代表机器人运动后骨折移动端将到达的位置的轮廓线”以及“代表机器人运动后骨折移动端的中线将到达的位置的线段”沿水平方向移动的距离,沿竖直方向移动的距离以及旋转的角度。α表示代表机器人运动后移动端沿骨轴线转动角度的双向箭头和竖直方向的夹角。
在步骤S803中,根据控制误差按照视觉伺服控制律计算相应的机器人控制量。
可以理解的是,利用步骤S802得到的控制误差e,按照视觉伺服控制律计算相应的机器人控制量r,其特征在于该计算过程只用到了控制误差e,图像特征的变化历史和机器人控制量的变化历史,不需要借助CT或者红外光学导航系统提供的数据。
具体而言,利用步骤S802得到的控制误差e,按照基于图像的免标定视觉伺服控制律计算相应的机器人控制量r,表达式如下:
其中,如果采用Stewart型机器人,控制量r为骨折复位机器人中六个杆的杆长改变量,为矢量;kP、kI、kD分别为视觉伺服控制律的比例系数、积分系数、微分系数;J为雅克比矩阵;∫edt为控制误差e对时间t的积分,为控制误差e对时间t的导数。
在步骤S804中,将机器人控制量发送给骨折复位机器人,以根据机器人控制量进行运动。
具体而言,远程控制工作站将步骤S803中计算得到的控制量r发送给骨折复位机器人,机器人根据该控制量进行运动;运动完成后,重新返回步骤S801。安装在机器人操作端和患肢固定装置之间的力传感器测量机器人运动过程中的力的幅值变化率,当力突然增加时,即认为骨断端之间出现接触,控制系统自动停止机器人运动,并报警。医生通过拍摄的X光图像对骨折复位情况进行检查,如果复位完成,则停止操作,否则重新进行路径规划,重新返回步骤S801或步骤S802。
下面将通过具体实施例对骨折复位手术机器人系统的控制方法进行进一步阐述。
如图9所示,图9示出了视觉伺服控制软件的流程图。该软件安装在远程操作工作站中。如图2所示,远程操作工作站4包括工作站主机,显示器,键盘和鼠标。远程操作工作站配备有用于骨折复位路径规划的图形用户界面3和用于机器人控制量计算的骨折复位机器人控制程序。安装在远程操作工作站上的用于骨折复位路径规划的图形用户界面在图3中示出。控制算法的流程图如图9所示。图5的细节解释和基于视觉伺服的机器人运动控制方法描述如下:
1)考虑到骨折复位的要求,在本实施例中使用G臂X射线机5。(或C臂X射线机从垂直方向获取图像。)由G臂X射线机获取的图像显示在图形用户的X射线图像显示区域3-1和3-2上界面3分别显示AP图像和LT图像。
2)在每个图像中的相应位置上显示路径规划相关的标记线,轮廓和箭头。如图5所示,路径规划相关的标记线和轮廓包括:“表示近端骨段中线的标记线”3-3和3-4,“表示远端骨段中线的标记线”3-5和3-6,“在机器人运动“3-7和3-8”之后,标记线代表远端骨段的中线,远端骨段“3-9和3-10”的轮廓线,在远端骨段之后的轮廓线机器人运动“3-11和3-12,以及”表示机器人运动后远端骨段轴线旋转角度的双箭头“3-13。
3)用于手动骨折复位路径规划的按钮包括AP和LT图像显示区域下方的6个按钮3-14,分别表示“向上移动”,“向下移动”,“向左移动”,“向右移动”,“顺时针旋转”“和”逆时针旋转“。当按下这些按钮时,“表示远端骨段中线的标记线”3-5和3-6,以及“远端骨段的轮廓线”3-9和3-10将平移或相应地旋转。按钮还包括两个按钮3-15,表示“顺时针旋转”和“逆时针旋转”。当按下这两个按钮时,“表示机器人移动后的远端骨段的轴的旋转角度的双箭头”3-13将相应地旋转。
4)当按下用于路径规划的按钮时,3-19中所示的并联机器人的状态也相应地改变。在如图2所示的实施例中,如图2所示,如果直线推杆1-4超过其行程限制或万向节1-3超过其角度限制,则支直线推杆1-4或接头1-3的颜色将相应地改变。
5)当按下复位按钮时,路径规划相关的标记线,轮廓和箭头将返回其原始位置,即“表示机器人移动后远端骨段中线的标记线”3-7并且3-8回到“代表远端骨段中线的标记线”3-5和3-6;“机器人运动后的远端骨段的轮廓线”3-11和3-12返回到“远端骨段的轮廓线”3-9和3-10的位置;“表示机器人运动后远端骨段轴线旋转角度的双箭头”3-13返回竖直方向。
6)当按下翻转按钮3-17时,“表示远端骨段的中线的标记线”3-5和3-6将交换位置,其中“标记线代表近端骨段的中线;删除现有的轮廓线3-9和3-10,示出了另一个骨段的轮廓线,并且该骨段现在称为远端骨段。该功能用于图像处理算法错误地将远端骨段作为近端骨段或将近端骨段作为远端骨段的情况。
7)当按下运行按钮3-18时,工作站4计算控制误差并将该控制误差发送到机器人控制程序以计算机器人控制量。将Δx1,Δy1和Δθ1设为AP图像上的“机器人运动后远端骨段轮廓线”与“机器人运动后代表远端骨段中线的标记线”之间的水平位移,垂直位移和旋转角度。医生通过图形用户界面在AP图像中进行操作。将Δx2、Δy2、Δθ2设为LT图像上的“机器人运动后远端骨段轮廓线”与“机器人运动后代表远端骨段中线的标记线”之间的水平位移,垂直位移和旋转角度。在LT图像中通过图形用户界面。设α为垂直方向与“表示机器人移动后的远端骨段的轴的旋转角度的双箭头”之间的角度。因此,控制误差e由下式给出:
e=[Δx1 Δy1 Δθ1 Δx2 Δy2 Δθ2 α]T
8)由于控制误差e,根据“无模型基于图像的视觉伺服”控制律,控制量r可以给出如下:
其中,r是表示Stewart平台的六个直线推杆的长度变化的矢量;kP,kI,kD分别是比例系数,积分系数和微分系数;J是通过卡尔曼滤波图像特征(骨碎片的标记线)和机器人控制指令获得的雅可比矩阵,其建立了图像的变化与骨折复位机器人的运动之间的关系;∫edt是控制误差e随时间的积分,是控制误差e随时间的导数。然后让机器人根据控制量r移动。设l为表示Stewart平台的六个直线推杆的当前长度的矢量,然后将所需的直线推杆长度l+r发送到Stewart平台并相应地移动;
计算复位误差w。在AP透视图像中,令水平方向和表示近端骨段中线的标记线之间的角度为θ1,并且其端点靠近断裂段的侧面的像素坐标为(x1,y1);令水平方向和表示远端骨段中线的标记线之间的角度为并且其端点靠近断裂段的侧面的像素坐标为在LT荧光检查图像中,令水平方向和表示近端骨段中线的标记线之间的角度为θ2,并且其端点靠近断裂段的侧面的像素坐标为(x2,y2);令水平方向和表示远端骨段中线的标记线之间的角度为并且其端点靠近断裂段的侧面的像素坐标为根据这些定义,减少误差w由下式给出:
随后,若||w||≥ε则获取新的透视图像;如果||w||<ε则停止循环并且断裂减少则过程结束。根据手术要求,阈值ε是提前设定好的预定阈值。
9)在操作界面上提供了返回上一步的按钮3-20,以避免因为操作者对旋转角度方向判断错误导致的误操作。
另外,如图10所示,AI(Artificial Intelligence,人工智能)路径规划算法是U-net和基于FCN(Fully Convolutional Networks,完整卷积网络)开发。网络的输入是断裂部分的X射线图像,输出是复位路径,其由一系列基本操作表示,包括牵引、弯曲、旋转或它们的组合。
应用AI技术的一个重要步骤是用CNN(Convolutional Neural Networks,卷积神经网络)训练数据。数据收集和预处理过程如图11所示:
(1)收集临床骨折复位手术病例的X射线图像序列,使每个图像序列记录完整的骨折复位过程;
(2)归一化这些图像序列,包括尺寸归一化和灰度归一化;
(3)分析序列中相邻图像之间的差异,从图像序列中提取运动信息;
(4)将这些运动分类为若干基本操作,包括牵引,弯曲,旋转或它们的组合,以这种方式将每个图像序列的缩小过程描述为一系列基本操作。
训练数据分别是上述步骤(2)和步骤(4)的归一化图像序列和相应的基本操作序列。
根据本发明实施例提出的骨折复位手术机器人系统的控制方法,在手术中仅依赖于手术室普遍采用的G型或C型X光机进行闭环控制,取消了复杂且给患者带来额外损伤和痛苦的基于导航技术所需要的注册过程及附带的光学标志点,特别是在长骨骨折复位时,不再需要用钢钉将患者的骨断端固定在机器人操作端上,且操作图形界面使得医生可以进行人工骨折复位路径规划,检验人工智能算法的路径规划结果,从而有效避免了额外标志物的安装以及标定与注册过程,且比起传统基于“术前规划-术中执行”机器人控制方法可以获得更高的手术精度,并具有构成简单、使用方法清晰直观、且可以应对各种复杂的骨折情况的优点。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种骨折复位手术机器人系统,其特征在于,包括:
手术图像采集设备,用于采集手术实时的透视图像;
远程控制工作站,所述远程控制工作站包括图形界面,用于接收所述透视图像,并通过所述图形界面显示所述透视图像,以生成或接收医生的骨折复位规划路径,并且通过所述图形界面显示骨折复位规划路径,以及根据所述骨折复位规划路径获取机器人控制量;以及
骨折复位机器人,用于接收所述机器人控制量,并根据所述机器人控制量执行相应运动,以完成骨折复位手术。
2.根据权利要求1所述的系统,其特征在于,所述手术图像采集设备为G型臂或C型臂X光机,其中,所述C型臂具备采集两幅正交X光图像的能力,使得所述X光图像通过数据线或无线网络连接所述远程控制工作站。
3.根据权利要求1所述的系统,其特征在于,所述远程控制工作站通过数据线或者无线网络连接所述骨折复位机器人,且安装的规划复位路径的所述图形界面通过显示器展示。
4.根据权利要求1所述的系统,其特征在于,还包括:
可拆装的消毒工作平台,所述消毒工作平台安装在所述骨折复位机器的操作平台之上,所述消毒工作平台和肢体之间通过固定装置相连接,并且所述骨折复位机器人的每个推杆上安装力传感器。
5.根据权利要求4所述的系统,其特征在于,所述力传感器用于同时测量力和力的变化率。
6.根据权利要求5所述的系统,其特征在于,还包括:
报警装置,所述报警装置用于在所述力超过预设幅值或所述力的变化率出现突变时,进行报警提示。
7.根据权利要求6所述的系统,其特征在于,还包括:
控制装置,用于在接收到所述报警提示时,控制所述骨折复位机器人停止运动。
8.根据权利要求1-7所述的系统,其特征在于,所述骨折复位机器人为实现骨折六自由度运动的机器人。
9.根据权利要求8所述的系统,其特征在于,所述实现骨折六自由度运动的机器人为Stewart型并联机器人或者串联机器人。
10.一种骨折复位手术机器人系统的控制方法,其特征在于,采用如权利要求1-9任一项所述的系统,其中,所述方法包括以下步骤:
控制所述手术图像采集设备实时采集骨折患处的正位透视图像和侧位透视图像,通过数据线或无线网络发送到所述远程控制工作站上,远程控制所述远程控制工作站生成相应的规划复位路径的所述图形界面;
通过所述图形界面上显示的正位透视图像和侧位透视图像判断骨折是否需要继续复位,或者通过判断复位误差的绝对值是否小于预设值判断是否需要继续复位:若不需要,则骨折复位结束;若需要继续复位,则在所述图形界面重新进行复位路径规划,或者采用人工智能算法给出的复位路径规划,确认骨折复位规划路径,以及在所述图形界面中确认机器人运动后不会超出工作空间后,计算控制误差;
根据所述控制误差按照视觉伺服控制律计算相应的机器人控制量;
将所述机器人控制量发送给所述骨折复位机器人,以根据所述机器人控制量进行运动。
CN201910310370.8A 2017-05-22 2019-04-17 骨折复位手术机器人系统及方法 Active CN109998687B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201710361356.1A CN107049496B (zh) 2017-05-22 2017-05-22 一种多任务手术机器人的视觉伺服控制方法
CN201711102592.8A CN107970064A (zh) 2017-11-10 2017-11-10 一种远程操控的骨折复位手术机器人系统及复位控制方法
US16/138,889 2018-09-21
US16/138,889 US10874469B2 (en) 2017-05-22 2018-09-21 Remotely operated orthopedic surgical robot system for fracture reduction with visual-servo control method

Publications (2)

Publication Number Publication Date
CN109998687A true CN109998687A (zh) 2019-07-12
CN109998687B CN109998687B (zh) 2021-04-13

Family

ID=66246059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910310370.8A Active CN109998687B (zh) 2017-05-22 2019-04-17 骨折复位手术机器人系统及方法

Country Status (2)

Country Link
US (1) US10874469B2 (zh)
CN (1) CN109998687B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428489A (zh) * 2019-07-26 2019-11-08 北京罗森博特科技有限公司 弧形通道规划方法及装置
CN110786930A (zh) * 2020-01-06 2020-02-14 南京佗道医疗科技有限公司 一种基于5g的椎体强化遥操作系统
CN111590584A (zh) * 2020-05-27 2020-08-28 京东方科技集团股份有限公司 安全限位区的确定方法和装置、复位方法和医用机器人
CN112043384A (zh) * 2020-07-29 2020-12-08 上海大学 一种骨折复位机器人的外力预测方法
CN112370157A (zh) * 2020-11-13 2021-02-19 毕建平 一种双骨折复位轨迹规划方法及复位系统
CN112370290A (zh) * 2020-11-13 2021-02-19 毕建平 面向四肢骨折的复位及固定一体化手术系统及控制方法
CN112370158A (zh) * 2020-11-13 2021-02-19 毕建平 一种机器人骨折复位路径规划方法、规划系统及机器人
CN112386327A (zh) * 2020-11-13 2021-02-23 毕建平 负压环境骨水泥单孔注射骨折固定系统及工作方法
CN113561220A (zh) * 2020-01-23 2021-10-29 诺创智能医疗科技(杭州)有限公司 手术机械臂、计算机设备及计算机可读存储介质
CN113907882A (zh) * 2021-08-26 2022-01-11 四川大学华西医院 一种用于骨折手术的复位定位机器人
CN113974817A (zh) * 2021-11-25 2022-01-28 云南欧铂斯智能科技有限公司 一种电控骨折复位装置安全控制系统
CN114098938A (zh) * 2021-11-25 2022-03-01 云南欧铂斯智能科技有限公司 一种骨折复位系统
CN114451991A (zh) * 2021-01-30 2022-05-10 威海威高骨科手术机器人有限公司 基于虚拟复位碰撞检测的骨折复位路径规划方法
WO2022095289A1 (zh) * 2020-11-03 2022-05-12 中国人民解放军总医院第一医学中心 一种空间混联骨盆骨折复位机器人
CN114974509A (zh) * 2022-05-26 2022-08-30 哈尔滨工业大学 骨折复位路径规划方法、骨折复位方法及电子设备
CN115869072A (zh) * 2023-02-27 2023-03-31 武汉市第四医院 一种骨折复位机器人系统及其控制方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU101008B1 (en) * 2018-11-26 2020-05-26 Metamorphosis Gmbh Bone fracture detection and classification
US11673275B2 (en) 2019-02-08 2023-06-13 Yaskawa America, Inc. Through-beam auto teaching
US20220133409A1 (en) * 2019-03-04 2022-05-05 Hangzhou Santan Medical Technology Co., Ltd Method for Determining Target Spot Path
CN113576641B (zh) * 2020-03-10 2022-08-30 河北医科大学第三医院 用于下肢骨折断骨前后畸形的复位系统
CN112370170B (zh) * 2020-11-13 2022-06-17 毕建平 一种机器人联合牵引协同骨折复位系统及其控制方法
CN215960253U (zh) 2020-12-11 2022-03-08 捷多(常州)医疗科技有限公司 固定在骨骼上的机器人辅助关节置换手术装置
CN112716603B (zh) * 2021-01-19 2021-11-26 威海威高骨科手术机器人有限公司 一种骨科复位定位机器人
CN113545851B (zh) * 2021-06-11 2022-07-29 诺创智能医疗科技(杭州)有限公司 重建器械术野中心的控制方法、系统、设备和存储介质
CN114732522B (zh) * 2022-03-14 2024-05-14 天津大学 柔性丝驱动骨折复位手术机器人
CN114993235B (zh) * 2022-08-08 2022-10-25 施莱德(山东)机械设备有限公司 一种钢筋智能化角度测量装置及测量方法
CN116172682B (zh) * 2023-03-13 2024-03-19 深圳市中医院 一种骨科批量取钉手术装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000640A (zh) * 2014-05-12 2014-08-27 北京航空航天大学 一种主从同构遥操作骨折复位机构
CN107970064A (zh) * 2017-11-10 2018-05-01 清华大学 一种远程操控的骨折复位手术机器人系统及复位控制方法
CN108095811A (zh) * 2018-01-23 2018-06-01 上海大学 一种长骨骨折复位力测试装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5971984A (en) * 1995-03-01 1999-10-26 Smith & Nephew, Inc. Method of using an orthopaedic fixation device
SE9802052L (sv) * 1998-04-01 1999-10-02 Stig Lindequist Förfarande och anordningar för håltagning och bestämning av riktning vid håltagning
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
DE10130485C2 (de) * 2001-06-25 2003-06-26 Robert Riener Programmierbarer Gelenksimulator
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
CN101448467B (zh) * 2006-05-19 2014-07-09 马科外科公司 用于控制触觉设备的方法和装置
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
WO2009097539A2 (en) * 2008-01-30 2009-08-06 The Trustees Of Columbia University In The City Of New York Systems, devices, and methods for robot-assisted micro-surgical stenting
US8333766B2 (en) * 2009-03-10 2012-12-18 Stryker Trauma Sa External fixation system
WO2011116332A2 (en) 2010-03-18 2011-09-22 SPI Surgical, Inc. Surgical cockpit comprising multisensory and multimodal interfaces for robotic surgery and methods related thereto
GB201115586D0 (en) * 2011-09-09 2011-10-26 Univ Bristol A system for anatomical reduction of bone fractures
US9610101B2 (en) 2012-06-11 2017-04-04 Lihai Zhang Long-bone fracture-reduction robot
EP3133998B1 (en) * 2014-04-21 2019-07-03 The Trustees of Columbia University in the City of New York Human movement research, therapeutic, and diagnostic devices, methods, and systems
US11458028B2 (en) * 2016-01-11 2022-10-04 Kambiz Behzadi Prosthesis installation and assembly
US10568703B2 (en) * 2016-09-21 2020-02-25 Verb Surgical Inc. User arm support for use in a robotic surgical system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104000640A (zh) * 2014-05-12 2014-08-27 北京航空航天大学 一种主从同构遥操作骨折复位机构
CN107970064A (zh) * 2017-11-10 2018-05-01 清华大学 一种远程操控的骨折复位手术机器人系统及复位控制方法
CN108095811A (zh) * 2018-01-23 2018-06-01 上海大学 一种长骨骨折复位力测试装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428489A (zh) * 2019-07-26 2019-11-08 北京罗森博特科技有限公司 弧形通道规划方法及装置
CN110786930A (zh) * 2020-01-06 2020-02-14 南京佗道医疗科技有限公司 一种基于5g的椎体强化遥操作系统
CN113561220B (zh) * 2020-01-23 2022-07-01 诺创智能医疗科技(杭州)有限公司 手术机械臂、计算机设备及计算机可读存储介质
CN113561220A (zh) * 2020-01-23 2021-10-29 诺创智能医疗科技(杭州)有限公司 手术机械臂、计算机设备及计算机可读存储介质
CN111590584B (zh) * 2020-05-27 2021-12-10 京东方科技集团股份有限公司 安全限位区的确定方法和装置、复位方法和医用机器人
CN111590584A (zh) * 2020-05-27 2020-08-28 京东方科技集团股份有限公司 安全限位区的确定方法和装置、复位方法和医用机器人
CN112043384A (zh) * 2020-07-29 2020-12-08 上海大学 一种骨折复位机器人的外力预测方法
CN112043384B (zh) * 2020-07-29 2023-07-18 上海大学 一种骨折复位机器人外力预测系统
WO2022095289A1 (zh) * 2020-11-03 2022-05-12 中国人民解放军总医院第一医学中心 一种空间混联骨盆骨折复位机器人
CN112370158A (zh) * 2020-11-13 2021-02-19 毕建平 一种机器人骨折复位路径规划方法、规划系统及机器人
CN112386327B (zh) * 2020-11-13 2022-06-03 毕建平 负压环境骨水泥单孔注射骨折固定系统及工作方法
CN112370157A (zh) * 2020-11-13 2021-02-19 毕建平 一种双骨折复位轨迹规划方法及复位系统
CN112370290A (zh) * 2020-11-13 2021-02-19 毕建平 面向四肢骨折的复位及固定一体化手术系统及控制方法
CN112370158B (zh) * 2020-11-13 2022-03-11 毕建平 一种机器人骨折复位路径规划方法、规划系统及机器人
CN112370157B (zh) * 2020-11-13 2022-06-03 毕建平 一种双骨折复位轨迹规划方法及复位系统
CN112386327A (zh) * 2020-11-13 2021-02-23 毕建平 负压环境骨水泥单孔注射骨折固定系统及工作方法
CN114451991A (zh) * 2021-01-30 2022-05-10 威海威高骨科手术机器人有限公司 基于虚拟复位碰撞检测的骨折复位路径规划方法
CN114451991B (zh) * 2021-01-30 2024-02-27 威海威高骨科手术机器人有限公司 基于虚拟复位碰撞检测的骨折复位路径规划方法
CN113907882A (zh) * 2021-08-26 2022-01-11 四川大学华西医院 一种用于骨折手术的复位定位机器人
CN114098938A (zh) * 2021-11-25 2022-03-01 云南欧铂斯智能科技有限公司 一种骨折复位系统
CN113974817A (zh) * 2021-11-25 2022-01-28 云南欧铂斯智能科技有限公司 一种电控骨折复位装置安全控制系统
CN114098938B (zh) * 2021-11-25 2024-04-30 云南欧铂斯智能科技有限公司 一种骨折复位系统
CN114974509A (zh) * 2022-05-26 2022-08-30 哈尔滨工业大学 骨折复位路径规划方法、骨折复位方法及电子设备
CN114974509B (zh) * 2022-05-26 2024-05-10 哈尔滨工业大学 骨折复位路径规划方法、骨折复位方法及电子设备
CN115869072A (zh) * 2023-02-27 2023-03-31 武汉市第四医院 一种骨折复位机器人系统及其控制方法

Also Published As

Publication number Publication date
US10874469B2 (en) 2020-12-29
US20190125461A1 (en) 2019-05-02
CN109998687B (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
CN109998687A (zh) 骨折复位手术机器人系统及方法
US11950859B2 (en) Navigation and positioning system and method for joint replacement surgery robot
US6033415A (en) System and method for performing image directed robotic orthopaedic procedures without a fiducial reference system
EP2969410B1 (en) Systems and methods for monitoring a surgical procedure with critical regions
JP7157111B2 (ja) 受動的なエンドエフェクタを有する外科手術ロボット
US20140379038A1 (en) System for anatomical reduction of bone fractures
US5806518A (en) Method and system for positioning surgical robot
US20050113659A1 (en) Device for data input for surgical navigation system
EP3926639A1 (en) Machine learning system for navigated orthopedic surgeries
US20220378526A1 (en) Robotic positioning of a device
Viant et al. A computer assisted orthopaedic surgical system for distal locking of intramedullary nails
US10603111B2 (en) Computer assistance system and method for image-guided reduction of fracture
Bouazza-Marouf et al. Robotic-assisted internal fixation of femoral fractures
CN110786930B (zh) 一种基于5g的椎体强化遥操作系统
CN107049496B (zh) 一种多任务手术机器人的视觉伺服控制方法
CN116019558B (zh) 电磁导航穿刺机器人系统及其定位方法
EP1016030A1 (en) Method and system for registering the position of a surgical system with a preoperative bone image
CN114224428A (zh) 一种截骨平面定位方法、系统及装置
CN114224508A (zh) 医学图像处理方法、系统、计算机设备和存储介质
Sinh et al. Integration of computer-assisted fracture reduction system and a hybrid 3-DOF-RPS mechanism for assisting the orthopedic surgery
Binder et al. Image guided positioning for an interactive C-arm fluoroscope
Zhu et al. Development of a surgeon and patient-friendly orthopedic surgical robot
Wang et al. A Series-Parallel Hybrid Pelvic Fracture Reduction Surgical Robotic System Based on Novel 6-DOF Force Amplification Mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant