CN114027985A - 一种用于骨关节置换手术的机器人 - Google Patents

一种用于骨关节置换手术的机器人 Download PDF

Info

Publication number
CN114027985A
CN114027985A CN202111217192.8A CN202111217192A CN114027985A CN 114027985 A CN114027985 A CN 114027985A CN 202111217192 A CN202111217192 A CN 202111217192A CN 114027985 A CN114027985 A CN 114027985A
Authority
CN
China
Prior art keywords
robot
image
camera
dimensional
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111217192.8A
Other languages
English (en)
Inventor
高焕兵
王涛
鲁守银
侯宇翔
高诺
付超超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202111217192.8A priority Critical patent/CN114027985A/zh
Publication of CN114027985A publication Critical patent/CN114027985A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种用于骨关节置换手术的机器人，其将CT三维重建、三维模型与实际坐标系转换、术中视觉伺服、基于人工势场法的路径规范方法融合到骨关节手术机器人中，全新提出了一种可用于肩关节、髋关节、膝关节置换或单髁置换的手术机器人，比现有的骨关节手术机器人功能更全面，定位和导航规划的速度更快、精确性更高。并采用基于三维可视化与特征点匹配的增强现实技术，实现术前病人CT图像的三维重建。进一步在机器人手腕安装六维力度传感器，实时测得的接触力，用于机械臂寻找手术位置中的碰撞检测和术中安全检测，结合急停措施，保障了机器人手术的安全。本发明的主要目的是提供一种具备完成髋关节、膝关节骨科手术功能的骨关节置换手术机器人。

Description

一种用于骨关节置换手术的机器人
技术领域
本发明涉及一种机器人，特别是涉及一种用于骨关节置换手术的机器人。
背景技术
医疗机器人行业的市场规模潜力非常大，而在世界范围内，骨科机器人作为医疗机器人的细分行业却长期被美国的医疗器械龙头(如美敦力公司、史赛克公司、捷迈邦美公司)垄断，唯一一家来自于中国的骨科机器人公司是北京天智航医疗科技股份公司，其主要产品正式“天玑”骨科机器人。其是世界上能开展全节段手术的骨科机器人，但是由于其用途为创伤性骨折手术，并非是适合于本发明的骨关节置换手术领域。
因此专科型骨科手术机器人成为未来发展的必然趋势。骨关节手术机器人是最早投入研究的骨科机器人，起始研究可追溯到20世纪80年代。目前，国外已有多家研究机构开发出骨关节手术机器人系统，而且部分系统(如美国的MAKO)已经成功实现商业应用，但国外机器人售价高昂，且耗材与维护费用也较高，从而导致病人使用费用较高。国内的骨关节手术机器人产品尚处于前期研发或临床试验阶段，大多是在某个技术上有突破，全面普及和进入临床还尚待时日。随着市场的巨大需求和国家的高度重视，和国内产学研合作的逐步深入，数字化、智能化成为智能医疗机器人重要发展方向。研制我国自主知识产权的骨关节手术机器人，可以打破国外垄断，行业将迎来良性竞争，降低骨科机器人的使用成本。骨关节手术机器人对提高手术精度、减小手术损伤、减轻医生强度具有重要意义。同时，围绕骨关节手术机器人建立配套的服务体系和数据共享平台，对智慧医疗水平的提高觉有重要战略意义。
骨科手术机器人作为推动精准、微创骨科手术发展的核心智能化装备应运而生。北京天智航医疗科技股份公司联合北京积水潭医院、北京航空航天大学等单位研发出了完全自主知识产权的“天玑”骨科手术机器人，第三代产品已于2016年获得国家食品药品监督管理总局(China Food and Drug Administration，CFDA)颁发的医疗器械注册证。“天玑”是世界上能开展全节段手术的骨科机器人，手术精度高，适应证范围及定位精度处于世界领先水平。该产品目前已应用于北京、四川、上海、河南、河北、山东及安徽等地的三级甲等医院，临床治疗效果良好。威高集团、微创医疗目前也正在积极推进骨科手术机器人的产品研发。但是，“天玑”不能进行关节置换手术，即不是骨关节手术机器人，而是创伤骨折手术机器人。
就骨关节机器人而言，史赛克的Mako关节手术机器人系统在世界范围内已广泛使用，全球市占率达9％。并已经CFDA获证，是目前唯一在国内能开展关节置换的骨科手术机器人。但国内目前尚没有国产骨科关节置换手术机器人注册获批，虽然申请号201010131125.X的专利申请公开了一种关节手术机器人，但是主要是提供了一种进行多种手术姿态变换的机构。申请号201810167101.6虽然是踝关节手术机器人，但是不是关节置换手术，而是类似于“天玑”机器人的创伤性治疗手术。申请号201910161479.X虽然提供了一个关节置换手术机器人，但是该技术仅能完成膝关节置换。
另外天智航医疗公司的申请号202010177303.6的《全膝关节置换手术机器人辅助系统、控制方法及电子设备》，仅能用于进行膝关节置换，且其仅是提供了机器人手术的辅助系统和辅助电子设备。为此发明人希望能提供一种新的骨科关节置换手术机器人技术，构成完整的国产用于骨关节置换手术的机器人。
发明内容
本发明要解决的技术问题是提供一种结构简单、成本低、操作安全简便的用于骨关节置换手术的机器人。本发明主要目的在于针对骨关节手术的临床需求,提供一种骨关节手术机器人，自主完成髋关节、膝关节、肩关节置换骨科手术，与医生协作完成全髋关节置换、全膝关节置换、全肩关节置换、单髁置换手术；次一目的在于提供能突破术中医学影像及三维重建的技术、以及手术规划与导航技术、导航配准技术、患部\手术工具位姿信息跟踪技术等相关技术，提供一种可以提高髋臼等组件放置的准确性，增加手术过程的稳定性，减少患者的创伤和出血量，切实解决传统手术遇到的难题，缩短手术时间，提高手术的精准性的手术机器人
为了解决上述技术问题，本申请提供了如下技术方案：本发明一种用于骨关节置换手术的机器人，包括其主要包括由上位机、上位机显示器、场景摄像机、手术显示器、手术台、机械臂、下位机及软件模块所构成的机械臂系统、导航系统和主控台系统；上述系统的部件组成上位机单元、手术台及下位机单元；
其中下位机单元具有能于地面自由移动且具有锁定装置的下位机工作台，机械臂是具有6自由度电机驱动机械臂，其与下位机及其内置的机械臂控制系统及均设置于该下位机工作台上；
该机械臂末端安装有一个设计相机构成手眼系统，与场景摄像机配合完成视觉伺服的视频采集；
机械臂末端夹持或固定安装手术工具；
所述上位机、下位机之间采用WiFi无线网络连接，该场景摄像机连接上位机，而手眼系统相机连接下位机；
该场景摄像机是用于整体场景图像数据采集，
上位机为控制整个机器人的控制计算机，该上位机配备有一个供手术协作人员进行术前机器人配置和术中数据观察的上位机显示器及另一个供主刀医师观察术中数据的手术显示器；
所述上位机内置有CT三维重建模块、三维模型与实际坐标系转换模块、术中视觉伺服模块、及路径规范模块，能接受CT图像数据，进行自动分割，生成骨骼三维模型，并基于该模型进行手术方案的智能规划；
在完成机器人系统标定后，将设计数据以指定的数据格式传输到下位机上的术中执行系统的控制台，通过术中影像导航系统的术前、术中影像匹配模块将其映射到术中机器人的执行空间；机械臂按照设计方案给定的目标位置或者目标路径，完成术中轨迹规划和任务实施。
本发明一种用于骨关节置换手术的机器人，其中所述智能规划包括假体配型、规划手术位置量的计算。
本发明一种用于骨关节置换手术的机器人，其中所述机器人系统标定包括手眼标定、工具标定以及传感器标定。
本发明一种用于骨关节置换手术的机器人，其中所述机械臂末端安装有用于辅助碰撞检测力/力矩传感器。
本发明一种用于骨关节置换手术的机器人，其中所述CT三维重建模块是通过读取CT图像数据对骨骼组织的自动分割及对皮肤肌肉等非骨骼组织的分割，并将分割结果的三维可视化。
本发明一种用于骨关节置换手术的机器人，其中所述CT三维重建模块为采用了基于三维可视化与特征点匹配的增强现实技术的模块。
本发明一种用于骨关节置换手术的机器人，其中所述机器人调用系统的摄像机拍摄患者，并透视三维模型与手术患者进行匹配融合，然后通过三维模型对手术患者病灶区域进行定位。
本发明一种用于骨关节置换手术的机器人，其中所述骨关节手术机器人具有单目场景/单目手眼混合视觉结构，场景相机倾斜向下固定在控制台前部上方，其采集的图像信息经上位机处理后获得人体标识物在机器人参考系中的位置，手眼相机安装于机械臂末端，手眼相机在前、与机械臂末端的相对位置固定，其采集的图像信息经下位机处理后获得目标作物的精确信息，用于手术位置跟踪；上位机根据场景相机图像信息及下位机反馈的各工作部件的状态信息产生控制指令传递给下位机；下位机依据上位机指令、手眼相机图像信息以及各传感器信息，控制机械臂定位。
本发明一种用于骨关节置换手术的机器人，其中所述机器人包含有术中系统安全装置。
本发明一种用于骨关节置换手术的机器人，其中所述安全装置是在机械臂末端关节和工具之间安装有六维力传感器，借助腕力感知功能来实现末端碰撞感知。其中，算机辅助骨科手术子系统包含医学图像的解析与预处理模块、基于交互式的骨骼分割模块、骨骼的自动分割模块、及人体数据场的三维可视化模块。
与现有技术相比，本发明一种用于骨关节置换手术的机器人至少具有以下有益效果：
本发明一种用于骨关节置换手术的机器人相对于人工手术具有如下优点：
定位准确，创伤小，出血量少，恢复快。其将CT三维重建、三维模型与实际坐标系转换、术中视觉伺服、基于人工势场法的路径规范方法融合到骨关节手术机器人中，全新提出了一种可用于肩关节、髋关节、膝关节置换或单髁置换的手术机器人，比现有的骨关节手术机器人功能更全面，定位和导航规划的速度更快、精确性更高。基于三维可视化与特征点匹配的增强现实技术，实现术前病人CT图像的三维重建。机器人手腕(末端连杆与手术工具的连接处)安装六维力度传感器，实时测得的接触力，用于机械臂寻找手术位置中的碰撞检测和术中安全检测，结合急停措施，保障了机器人手术的安全。
下面结合附图对本发明一种用于骨关节置换手术的机器人作进一步说明。
附图说明
图1为本发明一种用于骨关节置换手术的机器人的系统组成示意图；
图2为本发明一种用于骨关节置换手术的机器人的基于增强现实的辅助系统框架图；
图3为本发明一种用于骨关节置换手术的机器人的骨骼组织分割流程图；
图4为本发明一种用于骨关节置换手术的机器人的基于图割算法的骨骼分割流程图；
图5为基于三维可视化与特征点匹配的增强现实技术的实现流程；
图6为空间坐标变换过程；
图7为平截头体的透视图；
图8为PnP问题中摄像机、屏幕点以及空间点之间的关系示意；
图9为系统辅助骨科手术定位的流程图；
图10为术前路径规划的任务框图；
图11为定位跟踪实现原理示意；
图12为视觉伺服系统结构示意图；
图13为视觉伺服控制系统框图；
图14为视觉伺服控制系统框图；
图15为机器人在人工势场模型下的受力示意图；
图16为机器人的视场示意图；
图17为关节极限约束斥力场示意图；
图18为结合视觉系统的机械臂运动控制框图；
图19为碰撞检测流程图。
其中：1.控制计算机(上位机)；2.上位机显示器；3.场景摄像机；4.手术显示器；5.手术台；6.机械臂；7.机械臂控制系统(下位机)。
具体实施方式
本发明的一种用于骨关节置换手术的机器人，具备完成髋关节、膝关节骨科手术的功能。根据手术的复杂程度的不同，其能自主完成髋关节、膝关节、肩关节置换骨科手术，以及与医生协作完成全髋关节置换、全膝关节置换、全肩关节置换、单髁置换手术。
该系统硬件部分通常主要由三部分组成：机械臂系统、导航系统和主控台系统；软件部分根据国内医生习惯，采用了优化人机交互策略，嵌入完全自主研发的术中安全保护策略算法，可以有效防止术中误伤患者重要组织，从而进一步保证了手术的安全性和精准度。如图1所示，本发明主要包括控制计算机(上位机)1；上位机显示器2；场景摄像机3；手术显示器4；手术台5；机械臂6；机械臂控制系统(下位机)7。在本具体实施例中，上述构件分成三个单元，即上位机单元、手术台及下位机单元。
其中，机械臂6是采用6自由度电机驱动机械臂，安装在配有四个万向轮的下位机工作台上，该工作台的柜体内部是机械臂的控制系统(下位机)，工作台位置调整好之后，锁死万向轮，使工作台不再移动。使用高性能计算机作为整个系统的控制计算机(上位机)，该上位机位于上位机平台，其配备两个显示器，一个供手术协作人员进行术前机器人配置和术中数据观察，另一个供主刀医师观察术中数据，该上位机平台也可配有万向轮，以便可移动定位。系统配置场景设计相机1个，用于整体场景图像数据采集。机械臂末端安装一个设计相机构成手眼系统，与场景摄像机配合完成视觉伺服的视频采集。
机械臂末端夹持或固定安装手术工具，考虑手术工具的重量范围，机械臂设计载荷5kg，采用轻量化协作机械臂，减少系统成本，提高人机协作作业的安全性。
为避免走线妨碍手术现场，上下位机之间采用WiFi无线网络连接。场景摄像机连接上位机，手眼系统相机连接下位机。上位机完成配准、规划之后，手术过程中下位机可以脱离上位机独立运行，以保证手术过程控制的实时性、安全性。
机器人骨关节手术的工作流程分为三个阶段：
术前诊断阶段，术前首先对CT图像进行自动分割，生成骨骼三维模型，并基于该模型进行手术方案的智能规划，包括假体配型、规划手术位置量等；
手术实施前(术前准备)，完成机器人系统标定(包括手眼标定、工具标定以及传感器标定)，并将设计数据以特定的数据格式传输到术中执行系统的控制台，通过术中影像导航系统的术前、术中影像匹配模块将其映射到术中机器人的执行空间；
执行阶段，机器人系统的执行机构按照设计方案给定的目标位置或者目标路径，完成术中轨迹规划和任务实施。
一、基于CT数据的三维影像配准技术
机器人骨关节手术首先要解决的问题就是要建立足够复杂和精确的三维影像，从CT图像中准确地分割提取骨骼组织是进行骨骼分析研究的基础，也是实现人体骨骼三维重建以及其他诸多应用的前提。骨骼组织是计算机辅助骨科手术系统的主要研究对象，准确地将骨骼组织分割出来具有非常重要的意义。根据CT图像成像特点，原始的CT图像难免会存在噪声、伪影等，为了最大程度地还原医学图像的真实信息，在提取骨骼组织前需要对原始图像数据进行预处理操作。另外，同一段CT序列图像中通常包含不同的器官、组织等，图像中的骨骼组织像素会被肌肉、软组织等像素包围，造成骨骼组织的提取存在一定的难度。
基于上述问题，本发明对医学图像中骨骼组织的提取进行了研究。研发了一种基于增强现实的计算机辅助骨科手术系统，请参见图2，其为本发明的基于增强现实的计算机辅助系统框架图。本发明的基于增强现实的计算机辅助骨科手术系统，包含计算机辅助骨科手术子系统及增强现实子系统，其中计算机辅助骨科手术子系统包含医学图像的解析与预处理、基于交互式的骨髂分割、骨髂的自动分割、人体数据场的三维可视化等模块；增强现实子系统包含三维模型的可视化以及位姿控制、三维模型的空间位姿求解、视频目标的检测与发展、摄像机视频图像处理等模块。
以下结合具体实施例对术前诊断阶段，对CT图像进行自动分割，生成骨骼三维模型一些具体方案分别说明如下：
1、骨骼组织分割
该机器人在工作中，首先要将骨骼组织完整地分割出来，然后进行骨骼间的分割、及进行骨骼三维重建。请参见图3，为本发明一种用于骨关节置换手术的机器人的骨骼组织分割流程图。本发明一具体实施例中是采用基于自适应阈值与三维区域生长算法的骨骼组织分割算法进行。
如图所示，计算机辅助骨科手术子系统首先要对医学图像(CT图像)进行解析与预处理。本发明的医学CT图像的解析和预处理，包括医学图像DICOM格式的介绍和解析、图像格式转换、图像滤波等；然后进行骨骼组织的分割。
本发明的骨骼组织的分割方法，是先用基于自适应阈值法进行粗分隔，以分割出疑似骨骼组织区域，再使用基于三维区域生长法对疑似骨骼组织进行精分割。
2、基于图割算法的骨骼自动分割
虽然借助上述1、中的骨骼组织分割方法可以有效地从CT图像中提取出所有骨骼组织的像素，可以完成对序列中整个骨骼架构的研究。但是，由于它提取的结果是整个序列的骨骼像素，该结果并没有将骨骼组织中的每块骨骼区域分割开，导致不能提取某一块特定骨骼进行单独研究。由此，为了能从CT图像中自动分割出每块骨骼组织的连通区域，本发明进一步提供了一种改进的基于图割算法的骨骼自动分割来实现骨骼区域的自动分割。该算法首先利用图像锐化处理和基于Heesian矩阵的三维结构增强滤波器的优点，在保留骨骼区域细节信息的同时，极大地增强了组织结构较弱的骨骼边缘信息，避免了分割过程将组织结构较弱的骨骼像素标记为非骨骼的情况；其次利用形态学的腐蚀运算能将连通区域缩小的作用，将紧密相连的骨骼连通区域分离开，获得相邻骨骼的连接处，再对该连接处的像素进行的分割，从而有效提高分割的准确性。
具体的来说，首先用图像锐化处理对CT图像进行图像增强，将图像高频部分加到原图像中，保留图像原来细节的同时达到增强图像边缘的目的；其次采用基于Hessian矩阵的三维结构滤波器进一步增强图像的骨骼边缘，利用Hessian矩阵可以编码三维空间结构的能力，增强包括骨组织较弱的松质骨的骨骼轮廓，为图割算法提供更多的分割依据；然后将图像分割问题转化为图论分割问题，使用标准的6-邻域系统将CT图像的三维数据场映射成图论的存储结构，得到用于图割算法的图；接着使用能量函数最小化来表示图的最小割，利用CT图像骨骼的CT值和增强滤波器的响应值构建图的能量函数；最后使用最大流最小割算法求解图的最小割，将图割的结果转回图像形式，得到骨骼的标签图像。同时，对于图像中紧密相连的骨骼区域，使用形态学的腐蚀运算将两块骨骼连通区域分开，获得相连骨骼的连接区域，针对该连通区域再次进行图割算法即可将相连的骨骼分开，提高骨骼分割的精确性。整体流程如图4所示。
3、基于三维可视化与特征点匹配的增强现实技术
在上述1、及2方法所产生的数据均可用于本节1、基于三维可视化与特征点匹配的增强现实”的数据来源，其中基于图割算法的骨骼自动分割是对基于自适应阈值与三维区域生长算法的骨骼组织分割算法的一个技术改进，可以进一步提高三维建模执行过程的效率。
3.1总体流程
骨骼的数字三维模型是计算机辅助骨科手术系统最常用的研究对象，而在计算机辅助骨科手术系统中应用AR技术具有较高的临床价值。一方面，医生能借助AR技术进行术前的模拟仿真来提高自身对患者病灶区域定位的了解程度，从而确保手术方案的正确性，另一方面，AR技术具有实时性的特点，医生在骨科手术中能迅速及时地将信息方案共享给其他成员，交流完善手术方案以随时应对意外情况发生。借助AR技术可以提高医生对患者病灶区域定位的准确性，而且具有实时性，对临床医疗的病灶区域定位具有重要意义。实现AR技术需要对视频图像的目标进行匹配跟踪，而匹配的准确度则非常依赖特征点的匹配。由于视频图像的光线变化和视角变化会图像变得模糊或者产生噪点，对特征点造成很大的干扰；另外，在视频采集过程中可能会由于硬件等原因使视频丢帧，对目标跟踪造成重大的影响，视频图像的目标匹配问题一直是个颇具挑战的问题。针对上述问题，本发明拟采用一种基于改进的SURF特征点视频图像匹配算法，对视频图像的目标进行匹配跟踪，然后求解目标的空间姿态，再对虚拟的三维物体进行相应的空间变换，从而实现增强现实的效果。
首先使用基于Marching Cubes面绘制算法对得到的骨骼像素进行三维重建，得到用于AR系统的数字三维模型；其次采用基于改进的SURF特征点匹配算法，对视频图像中的目标进行匹配跟踪，获得模型在二维图像中的位置；然后使用N点透视位姿求解，将二维图像中目标的位置到对应三维模型空间的位置的空间变换求解出来；最后对三维模型进行相应的空间变换，并在二维图像中渲染即可实现二维图像与三维模型的匹配融合。基于三维可视化与特征点匹配的增强现实技术的实现流程流程如图5所示。
3.2基于改进SURF特征点匹配的视频图像匹配算法
在增强现实系统中，二维的视频图像中的目标和三维的虚拟模型的匹配融合是关键的技术。匹配融合的基础是先对二维图像中的目标进行检测，通常使用基于特征点匹配的方法。而SURF特征点具有匹配速度快、旋转尺度不变性的特点，使其在视频图像匹配中具有非常好的表现。基于SURF特征点的图像匹配包括两个步骤：特征点的提取和特征点的匹配。为了实现更加稳定的增强现实效果，本发明首先采用了改进的SURF特征点，用于描述图像的局部特征；然后改进了FLANN算法，以提高改进的SURF特征点的匹配效率。
本发明提出的SURF算法与FLANN结合的改进算法，其图像匹配流程主要分为四个阶段：去除噪点，提取特征点，生成特征点描述子，特征点匹配。
由于视频图像的光线变化和视角变化会图像变得模糊或者产生噪点。而噪点的存在将影响图像特征点的生成,从而降低图像间的配准度。因此，需要对采集的图像采取图像预处理消除噪点，本专利采用双边滤波去噪。双边滤波即能去除噪声,又能进行边缘保护。所以,经双边滤波处理的待检测图像将具有较好的鲁棒性检测区域,特征点更具顽健性。
在提取特征点阶段，充分考虑到越靠近关键点的像素点对关键点的主方向贡献越大。将中间检测点与同尺度和上下相邻层距离最近的26个点进行比较改为与最近的14个点进行比较，以此来减少冗余信息量和降低算法计算复杂度。
在特征点的匹配阶段采用FLANN预匹配，但得到的匹配点对存在精度不够理想的情况，目标识别的准确度将受到一定影响,所以需要对错误匹配点进行删除。本专利基于RANSAC删除错误匹配点,是鲁棒性较好的特征匹配筛选算法之一,将大幅减少误匹配点。
SURF特征点是SIFT的加速版，同样具有旋转尺度不变性，相较于后者，前者的速度理论上比后者快3倍，更加适用于视频图像的匹配。SURF特征点的提取过程跟SIFT类似，都是先在尺度空间中检测特征关键点，然后生成特征关键点的描述符算子。由于视频图像比较复杂，即使SURF特征点的性能较好，也很容易出现特征点错误匹配的情况，因此本文采用了改进的SURF特征点的描述符算子，将描述符算子扩大到特征点的4-邻域内的特征点描述符，使其能够更好地描述局部信息。
SURF特征点匹配算法主要有：暴力法(Brute Force,BF)、快速最近邻算法(FastLibrary for Approximate Nearest Neighbors,FLANN)算法、随机抽样一致算法(RandomSample Consensus,RANSAC)等算法。由于视频图像的特征点匹配对匹配的速度要求较高，暴力法和RANSAC算法的特征点匹配耗时较长，不适用于视频图像的特征点匹配；而FLANN算法对于改进的SURF特征点的匹配效率不高，故本文采用了改进的FLANN算法，用于对改进的SURF特征点的匹配。
3.3目标的三维空间姿态求解和变换
从三维模型到二维图像的过程中，空间坐标变换，请参见图6所示，为空间坐标变换过程示意图。
通过特征点的匹配可以实现对目标位置的跟踪，这是实现增强现实技术的基础。实现增强现实的另外一个关键步骤是虚拟三维模型的显示及姿态变换，而三维模型的位姿状态则通过二维图像的目标的状态来求解。为了实现以二维图像目标的姿态将三维模型渲染在二维图像中，首先通过引入OpenGL的渲染技术来介绍三维空间与二维图像中的变换，其次通过透视N点投影(Perspective-n-Point,PnP)问题来求解三维模型的空间位姿，最后进行三维模型在空间中的位姿变换。
计算机中3D图形是通过OpenGL来实现高效渲染的，3D图形经过一系列的变换、投影、着色、纹理贴图、光栅化等操作后映射成二维的视觉图像，其深度信息给人眼带来的视觉错觉而产生了3D效果。3D图形的渲染处理都是围绕顶点处理进行操作的，顶点的处理是通过空间坐标变换完成的。
空间坐标空间是为了方便在不同的场景下有合适的坐标系，更是为了方便对三维模型进行不同的变换。空间坐标变换的本质是矩阵变换，从三维模型的局部空间坐标到二维图像坐标，其主要的矩阵变换有三种：
(1)模型-视图变换。模型自身的旋转、平移、缩放变换，以及摄像机的角度、位置变换，两者变换过程都是相对的，故通常将两个变换过程组合起来，如下式所示。
Figure BDA0003311211280000081
式中，(xobj,yobj,zobj)是三维模型某点的局部空间坐标，(xeye,yeye,zeye)是变换后的视图空间坐标。Mmodel是模型变换矩阵，Mview是视图变换矩阵，他们通常是以组合的形式存在，是由三维模型以及摄像机的旋转、平移、缩放变换来决定的。变量wobj和weye是齐次坐标的附加分量，表示空间中的点与摄像机观测点的远近，用于后续的将三维坐标映射到屏幕坐标中作透视除法的除数。
(2)透视投影变换。投影变换的作用是将观测到的空间范围投射到三维裁剪空间中，它通过创建一个平截头体的透视视景体，将视景体外的范围裁剪掉，如图7所示，为平截头体的透视图。
其矩阵变换如下式所示
Figure BDA0003311211280000082
式中，(xclip,yclip,zclip)是裁剪空间坐标，也就是三维模型可视的部分坐标。Mprojection是投影变换矩阵，由视景体的远、近截面的参数决定。
投影变换得到了观测点的裁剪空间，经过透视除法变换后转换成规范化设备坐标系，即在空间中距离观测点近的物体变大，距离观测点远的物体变小，使得三维场景效果更加真实。透视除法本质：对坐标除以额外的分量wclip，使裁剪空间坐标归一化成标准坐标，如下式所示。
Figure BDA0003311211280000083
式中，(xndc,yndc,zndc)是标准化设备坐标，用于转换到屏幕坐标。
(3)视口变换。视口变换的目的是将标准化的设备坐标进行缩放、平移以适应屏幕显示，变换如下式所示。
Figure BDA0003311211280000091
式中，(xndc,yndc,zndc)是标准化设备坐标，(Sx,Sy)、ws、hs是输出窗口的左下角原点坐标以及宽高。f、n是输出深度范围，决定了zs的范围。(xs,ys,zs)是输出窗口中(xndc,yndc,zndc)对应的坐标点，(xs,ys)就是输出窗口的像素点位置，zs分量是该点的渲染深度缓冲。
最终变换的结果将输送到OpenGL管道中进行最后的图元混合和光栅化即可得到二维的像素图像。
本发明的骨关节手术机器人，借助上述技术提高了智能化水平，使机器人手术前的数据准备效率更高、准确度更高。借助1、的方法对CT扫描数据对骨骼组织分割，以得到准确的骨骼图像数据；然后使用基于三维可视化与特征点匹配的增强现实的方法对CT原始数据进一步处理，得到了病人骨骼三维模型，为后面现实世界坐标系到机器人坐标系转换提供数据源。
二、本发明的骨关节手术机器人导航方法如下：
在本具体实施例中，本发明是采用了基于三维模型与机器视觉的手术机器人导航方法。
1、通过PnP问题求解估计三维模型的空间位姿
通过系统标定实现机器人机械坐标系与视觉导航坐标系的统一，从而进一步将目标位置和路径映射到机器人执行机构的机械坐标系中，完成机器人在时间轴上的运动规划。同时，借助视觉、力觉、生理信号监测等传感器的反馈信息，制定安全控制策略，执行运动跟踪控制和受力补偿控制等，最终实现对规划路径的精准执行和对器械、骨块等目标的稳定把持。
要实现三维模型与二维图像的融合，则需要通过二维图像来求解三维模型对应的空间位姿。由于在世界空间中三维模型的位姿与摄像机的位姿是相对的，故可通过摄像机的位姿来确定三维模型的位姿。摄像机的空间位姿可通过经典的N点透视(PnP)问题求解来估计，即通过n对匹配点(三维-二维)，计算出其对应的投影关系，来求解摄像机(模型)在空间中的位姿。
2、基于线性变换法的PnP问题求解
PnP问题是计算机视觉中经典的三维位姿估计方法，它是通过世界坐标空间以及对应的二维像素坐标点，求解出摄像机的外参(摄像机在世界空间中的旋转矩阵R和平移矩阵T)的过程。而世界空间坐标系中模型与相机的位置是相对的，他们在空间坐标系中的关系如图8所示，故可通过PnP来求解三维模型相应的位姿。一般PnP问题的求解可分为三种：①基于立体几何关系的求解，典型的代表是P3P求解；②通过坐标空间的线性变换求解；③利用迭代求重投影误差最小的解。
请参见图8，展示了PnP问题中摄像机、屏幕点以及空间点之间的关系。
在PnP问题求解过程中，配对点(世界空间坐标和屏幕坐标)的数量n是关键，讨论了PnP问题的解的情况：当n小于3时，摄像机的位姿有无数个解；当n等于3时，这种情况是经典的P3P问题，摄像机的位姿有4个非线性相关的解；当n等于4时，在P3P的基础上增加了一个约束项，故PnP问题有且只有一个解；当n大于4时，则需要根据实际情况求得唯一解或者无解。基于立体几何关系的求解方法主要是计算摄像机光心到空间点的距离，将点的几何关系转化为二元二次方程组的求解，这种方法只利用了3组配对点的空间信息，最后一组配对点只用来验证最优解，容易造成较大的误差；基于迭代法的方法，通过迭代求重投影误差最小的解，这种方法不一定是最优解，而且当4组世界空间坐标点不共面时，得到的解不是摄像机正确的位姿。基于坐标空间线性变换的方法，是通过将坐标转为齐次坐标，然后求解世界空间坐标到屏幕坐标的映射矩阵，再通过摄像机的内参将映射矩阵分解成摄像机的位姿变换矩阵；该方法优点是可以直接通过线性变换来求位姿变换，但求解前需要先对摄像机进行标定以获得摄像机的内参，因此本具体实施例采用基于线性变换的方法来求解摄像机在三维空间的位姿。
线性变换法的求解过程是基于空间变换的关系。根据上面的介绍，从世界空间坐标变换到二维的像素图像坐标，要经过视图(摄像机)空间、裁剪空间，最后变换到屏幕空间。线性变换法的求解是以摄像机坐标为中间枢纽，将变换过程划分为两步：首先是从世界空间坐标变换到视图空间坐标，然后将视图空间坐标变换为屏幕空间坐标。因此，世界空间坐标到视图空间变换的过程如下式所示。
Figure BDA0003311211280000101
式中，(xw,yw,zw)是三维模型在世界空间的坐标点，(xeye,yeye,zeye)是视图空间的坐标点。Mview是摄像机变换矩阵，它由增广矩阵[R∣T]构成，rij(i,j＝1,2,3)是旋转变换矩阵R的参数，ti(i＝1,2,3)是平移矩阵T的参数，R和T的参数都是待求的变量。
视图空间变换到屏幕空间则依赖于摄像机的内部参数，摄像机的内部参数可通过摄像机标定求解。根据摄像机的成像原理，摄像机坐标系(也就是视图空间坐标系)的坐标点与屏幕空间坐标系的坐标点的关系如下式所示。
Figure BDA0003311211280000102
式中，(x,y)为屏幕空间点的坐标，即像素点坐标。(xeye,yeye,zeye)是视图空间点的坐标。
(fx,fy,u0,v0)为摄像机的内部参数，M1是摄像机的内参矩阵，可通过摄像机标定得到。s是尺度因子，有s＝zeye，代表该点在离摄像机光心的距离，也是该点的渲染深度缓冲。世界空间坐标到像素点坐标之间的映射关系，如下式所示。
Figure BDA0003311211280000103
式中，M1是摄像机的内参矩阵，Mview是视图变换矩阵，也称为摄像机的外参矩阵。
M＝M1Mview称为映射矩阵。展开整理，消去s分量，得到如下式所示。
Figure BDA0003311211280000111
式中，rij(i,j＝1,2,3)和ti(i＝1,2,3)是待求解的未知参数，共有12个未知变量。由于旋转变换矩阵R是正交矩阵，通过1组特征点能确定6个线性方程组；而一组配对点能确定两个线性方程组，需要通过3组配对点能确定6个线性方程组。因此，可通过4组配对点即可求出摄像机的旋转矩阵R和平移矩阵T。
3、三维模型的空间位姿变换
通过PnP问题的求解来估计三维模型在空间中的位姿，得到了旋转矩阵R和平移矩阵T，这样就可以对三维模型进行相应的变换来实现与二维图像的融合。三维模型的变换主要有旋转、平移和缩放，都是通过矩阵变换完成的。
三维模型的各种变换都是在世界空间坐标系中完成的，通常使用齐次坐标来统一变换的形式。三维模型的缩放变换只改变坐标的尺度，如下式所示。
Figure BDA0003311211280000112
式中，S为缩放变换矩阵，Sx、Sy、Sz分别是x、y、z三个方向上的缩放尺度，为了保持模型的整体比例，通常这三个缩放尺度都相等。
三维模型的旋转是通过自身的中心点为旋转中心，绕x轴方向的旋转角记为θ，绕y轴方向的旋转角记为ω，绕z轴方向的旋转角记为γ。其中，本文是按x轴、y轴、z轴的顺序进行旋转的，旋转变换如下式所示。
Figure BDA0003311211280000113
式中，Rx是绕x轴的旋转矩阵，Ry是绕y轴的旋转矩阵，Rz是绕z轴的旋转矩阵，上一小节得到的旋转矩阵满足R＝RzRyRx。三维模型的平移是将坐标系沿着一个向量(t1,t2,t3)进行位移，不改变其坐标轴的方向，其中t1是沿着x轴方向的位移，t2是沿着y轴方向的位移，t3是沿着z轴方向的位移，平移变换如下式所示。
Figure BDA0003311211280000114
式中，量t1、t2和t3是上一小节的平移矩阵T＝[t1 t2 t3]T的元素，T'是T的齐次变换矩阵。由于三维模型的变换都是通过矩阵变换完成的，矩阵变换先后顺序的不同会导致变换结果不一样。而且从空间坐标系的角度看，单一的变换对空间坐标系的影响也不一样：缩放变换不改变原来的世界空间坐标轴的方向和原点位置，旋转变换只改变坐标轴的方向而不改变原点位置，平移变换只改变原点位置而不改变坐标轴方向。为了使变换不互相影响，常理的模型变换顺序一般都是：先进行缩放变换，然后进行旋转变换，最后进行平移变换。因此，由上一小节得到的三维模型的旋转矩阵R和平移矩阵T'进行变换，其过程如下式所示。
Figure BDA0003311211280000121
式中，缩放变换矩阵S的参数通常在初始化时确定。
通过上式，即可将三维模型进行相应的姿态变换，变换后即可实现三维模型与二维图像中的目标进行融合，实现增强现实的效果。
三维模型的空间位姿变换完成后，即可完成骨关节三维模型辅助定位，其中系统辅助骨科手术定位的流程图如图9所示。
3.4基于三维影像的手术导航术前规划
手术前的机器人路径路径规划是手术机器人的重要任务之一。术前路径规划的任务框图如图10所示。
其中，术前诊断过程中的术前数据采集则是所有流程的重要前提和基础。在手术导航流程中，将术前检查数据的采集、影像三维建模、方案制定和模拟的过程统称为手术导航术前规划数据，其涉及的主要技术包括基于CT或MRI的医学影像可视化三维建模、多源三维影像信息融合、三维影像特征提取、三维模型编辑(包括三维模型分割、测量、移动等)
在使用术前采集的多种三维图像信息进行手术方案模拟之前，一个很重要的步骤就是将多源图像统一到同坐标系下，即多源影像融合。目前很多计算机辅助设计软件都集成了这项功能，其核心原理都是通过迭代最近点(IterationClosest Point，ICP)算法将两个相同或者相似的三维物体表面点云信息重叠到一起，从而计算出两个物体坐标系之间的转移矩阵，实现坐标系转换。
3.5基于NDI和3D-DIC结合的术中导航系统
手术机器人术导航系统由全局相机和局部相机组成。在本具体实施例中，全局相机是采用目前临床上应用较为广泛的NDI Polaris被动式双目相机，而局部相机则采用了一套自主搭建的基于灰度图像和数字图像相关算法的双目相机。两套相机均基于双目立体测量原理，两套系统在术中对不同目标的定位跟踪实现原理如图11所示。
本发明采用的全局相机为基于被动式反光标记的NDI双目相机，左右相机分别识别红外反光球的球心点；通过双目相机建模计算反光球球心在空间中的三维坐标；通过四个红外反光球构建定位跟踪装置的物体坐标系；将跟踪装置与刚体目标固联，通过实时计算跟踪装置在全局坐标系中的位姿变换实现刚体目标的跟踪。其中，相机建模和标定都已在设备封装过程中完成，实际操作过程中跟踪装置的标定(坐标系建立和位姿计算)就成了NDI系统计算的核心步骤。
基于灰度图像信息的立体视觉测量方法的视场范围受场地和设备影响较小,可根据自然或人工标记点自动识别跟踪目标,从而避免人工交互带来的识别误差,DIC算法是一种通过将前后两幅图像关联匹配，然后基于像素来计算两幅图像差异，从而实现变形或位移测量的方法。而3D-DIC算法基于物体表面的随机纹理特征，通过图像子区的相关匹配算法分析物体的三维运动轨迹，其精度可达到亚像素级。
3D-DIC目前被广泛应用于物理测量领域，特别是用于测量物体表面形变,因此，通常需要在被测曲面表面设计较为密集的采样点，并使用种子点扩散的方法对所有采样点进行遍历。这种方法虽然测量精度较高，但由于计算量较大，无法保证实时性。整像素搜索和亚像素迭代作为DIC的两个主要步骤，也是决定运算速度的关键因素。因此，很多学者针对整像素的搜索策略和亚像素迭代流程策略提出了改进，在一定程度上提高了3D-DIC的实时性。
另一方面，对于外科手术导航而言，跟踪目标主要是一些刚性物体，稀疏离散的采样点即可满足定位跟踪的需求。因此本文采用了离散人工标记点的方式建立对手术器械和目标组织的跟踪,并且针对传统的种子点扩散法无法适用于离散采样点的问题，提出了专门针对外科手术人工标记点的间隔整像素的搜索法。同时，同样针对离散标记点的跟踪，提出了在迭代优化步骤只对标记点区域进行亚像素迭代的匹配策略，即仅在标记点区域将迭代的步长设为亚像素，大大提高3D-DIC系统的实时性。
3.6图像匹配与位姿解算
双目相机模型建立以后，每个相机获取到的图像经过图像预处理和三维重建计算出采样点在空间中的三维坐标。在采样点坐标识别的基础上，根据正颌外科手术对术中导航的功能需求，导航系统需要完成术前-术中影像匹配、目标定位、目标跟踪等功能。
在空间中定位一个刚体的位姿通常需要先通过刚体上至少3个不共线的点来建立物体坐标系，然后求解物体坐标系与导航全局坐标之间的夹角，通过欧拉矩阵或者四元数的形式将其表示为刚体的位姿。而在正颌手术导航系统中，需要定位和跟踪的刚体分为两种:手术器械和上颌骨骨块。前者需要按照传统的流程,通过手术器械注册来新建物体坐标系，从而求解出在导航全局坐标系中的位姿；而后者，由于术前设计软件中已经存在了物体坐标系和骨块最终位置的位姿，因此可以通过坐标转化直接骨块目标位姿和初始位姿到目标位置的转移矩阵映射到导航坐标系中。在手术执行过程中，影像导航系统的作用就是实时定位骨块或器械的位置和姿态，并将其与规划的位姿相比较，计算误差并提供给机器人用以规划下一步的运动路径,从而达到引导的目的。
三、机器人视觉伺服方法
3.1视觉伺服系统构成
在视觉伺服系统中，相机安装位置通常有手眼视觉结构(Eye-in-Hand)和场景视觉结构(Eye-to-Hand)两种。手眼视觉结构中的相机安装在机械手末端，工作过程中随机械手一起运动，可有效避免视野遮挡、并观测到目标的局部细节，工作精度高，适合定位、跟踪任务；但同时也存在视野范围小、伺服空间有限的缺点。场景视觉结构中的相机一般安装在机器人本体上或机器人本体之外，具有较大的视野范围，但目标易被遮挡，且控制精度较低。视觉系统也可根据相机的数量分为单目、双目和多目系统，尽管采用较多的相机可更容易地解决一些视觉问题，但视觉信息的处理(如多幅图像间的特征匹配等)也会耗费更多的计算资源，将可能难以满足伺服系统实时性的要求。
结合手术机器人目标定位精度与实时性要求较高的特点，本发明拟采用基于单目场景/单目手眼混合视觉结构的骨关节手术机器人方案。视觉伺服系统结构示意图如图15所示。
场景相机倾斜向下固定在控制台前部上方，其采集的图像信息经控制计算机(上位机)处理后获得人体标识物在机器人参考系中的位置。手眼相机安装于机械臂末端，手眼相机在前、与机械臂末端的相对位置固定，其采集的图像信息经下位机处理后获得目标作物的精确信息，用于手术位置跟踪。上位机根据场景相机图像信息及下位机反馈的各工作部件的状态信息产生控制指令传递给下位机；下位机依据上位机指令、手眼相机图像信息以及各传感器信息，控制机械臂定位。
请参见图12，为视觉伺服系统结构示意图。
3.2骨关节手术人视觉伺服控制算法
3.2.1控制规则
视觉伺服控制系统的目标是误差函数e(t)趋向于零，其典型的定义为
e(t)＝s(m(t),a)-s*
其中，矢量m(t)代表一个图像检测量集(如作物质心的图像坐标、作物图像矩、特征点的图像坐标等)，α为代表了系统一些先验知识的参数集(如相机的内参数、目标的三维模型等)，s(m(t),α)表示根据m(t)和α计算得到的包含多个视觉特征的特征矢量，s*表示特征矢量s的期望值。
若采用速度控制器，需要建立s的时间导数
Figure BDA0003311211280000149
与相机相对于目标作物运动速度v间的关系，即
Figure BDA0003311211280000141
式中Ls——特征雅可比矩阵
对于喷雾作业中具有固定姿态并且不动的目标，s*是一个常量，即
Figure BDA0003311211280000142
为使误差函数e(t)能以指数收敛，可使
Figure BDA0003311211280000143
式中λ——衰减系数
整理前面公式，可得
Figure BDA0003311211280000144
式中
Figure BDA0003311211280000145
——LS的逆矩阵，实际计算时，
Figure BDA0003311211280000146
可用其近似矩阵或LS近似矩阵的伪逆
Figure BDA0003311211280000147
替代。
目前，视觉伺服控制器多采用速度控制器，其系统框图如13所示。图13为视觉控制系统框图。
设计速度控制器的关键问题是选取合适的视觉特征矢量s,并计算特征雅克比矩阵LS或其估计值
Figure BDA0003311211280000148
根据选取的视觉特征矢量s的不同，视觉伺服方法通常可分为基于位置的视觉伺服(Position-Based Visual Servo,PBVS)和基于图像的视觉伺服(Image-Based VisualServo,IBVS)。PBVS中的s通常由基于图像检测量及系统先验知识估计的三维参数构成，而IBVS中的s通常由图像数据中直接得到的特征构成。
视觉伺服控制系统的结构如图14所示。图14为本发明的视觉控制系统框图。本发明的系统对手眼相机采集的作物图像进行背景分割与特征提取，获取作物包围圆特征；基于该特征与手眼相机的运动，确定喷头相对于期望喷雾位置在X、Y、Z三个方向上的位置偏差(δxδyδz)；该偏差输入速度控制器获得骨关节手术机器人的机械臂相对于作物的移动速度v,该速度为移动平台与骨关节手术机器人的机械臂的合成速度，即v＝vh+vc,移动平台速度vh可按照近似梯形速度曲线算法估算；并进一步利用vc和骨关节手术机器人的机械臂逆微分运动学方程获得各关节转速
Figure BDA0003311211280000154
四、机器人手术路径规划方法
4.1机器人手术路径规划方法
机器人轨迹规划非常重要，有必要对视觉伺服过程进行改进，在其基础上加入各种约束，并应用路径规划方法对机械臂运动进行合理规划。目前，常见的轨迹规划方法有人工势场法、向量场法、栅格法、微分几何法、模拟退火法、遗传算法、人工神经网络等。其中，人工势场法结构简单，便于底层的实时控制，规划出的路径一般比较平滑并且安全，在实时避障和平滑轨迹控制等方面得到了广泛应用。
人工势场法由Khatib教授于1986年首次提出，其基本思想是将机器人在规划空间中的运动抽象为一种在虚拟力场中的受力运动。目标处设置引力场，对机器人产生引力，引力随二者间距的增大而增加，方向指向目标点；障碍物或威胁区域处设置斥力场，对机器人产生排斥力，排斥力随二者间距的减小而增大，方向指向远离障碍物或威胁区域方向。机器人在合力的作用下朝着目标点运动。机器人在人工势场模型下的受力示意图如图15所示。图15为机器人在人工势场模型下的受力示意图。
传统的引力场、斥力场通常定义为：
Uatt(P)＝0.5a|Pt-P|2
Figure BDA0003311211280000151
其中，P、Pt分别代表机器人、目标点位置向量，P0表示障碍物距机器人最近点位置向量，P0表示障碍物斥力场的影响距离，α、β分别引力、斥力正比例增益系数。
引力、斥力分别等于引力场、斥力场函数的负梯度，即
Figure BDA0003311211280000152
Figure BDA0003311211280000153
而机器人所受虚拟力为两者矢量和，即
F＝Fatt+Frep
人工势场法以迭代方式规划出离散的机器人运动轨迹，虚拟力决定下一个时间步机器人的运动方向，即
Figure BDA0003311211280000161
其中，Pk、Pk+1分别表示当前、下一步机器人位置向量，ε表示迭代步长。
人工势场法通常存在以下缺陷:(1)目标不可达，当目标点与障碍物距离很近时、或者障碍物与目标点和机器人共线且位于二者之间时、或者通过狭窄通道无法找到可行路径时，机器人易提前陷入局部势场极小点而无法到达目标；(2)陷入徘徊抖动状态，机器人在多个局部极小点附近或者所受合力方向突变时易陷入徘徊抖动状态；(3)动态规划能力不足，由于忽略了环境中的各种动态不确定因素，导致规划的轨迹难以适应动态环境。
尽管存在一些缺陷，但相对于诸多复杂的路径规划算法，人工势场法简单实用且具有良好的实时性和安全性，因此，近些年来许多学者对其进行了较深入的应用研究，并提出了诸多有效的改进方法。本发明在满足视场约束、关节极限约束等的条件下，应用改进的人工势场法对骨关节手术机器人的机械臂的轨迹进行规划。
鉴于在某个点，由于引斥力刚好相等,方向相反,此时机器人会容易陷入局部最优解。因此本发明在人工势场法运行前增加一个预处理，将地图各点是否为障碍的状态保存，当机器人入局部最优解时，排除当前点的斥力方向，基于当前点到目标点的引力方向，找出当前点的前进的方向，根据前进方向检查预先保存的数据下一点的状态，若不是障碍，前进，直至跳出局部最优解；若未找到可行路径，添加随机扰动，让其跳出局部最优值。若跳出局部最优解，继续运行人工势场法的法。
4.2基于改进势场法的轨迹规划与运动控制
连续运动模式下，手术机械臂需要在运动过程中完成对人体位置跟踪。在传统人工势场中，引入速度势场以满足跟踪作业的要求，同时，引入视场约束和关节极限位置约束，以保证伺服控制及机械臂运动的有效性。并在此基础上，在笛卡尔空间中规划出一条可行轨迹，并采用基于图像的视觉伺服方法实现对轨迹的跟踪。
为防止目标脱离手眼相机视野，导致伺服过程失败，需要添加视场约束，即将视场的四个边界视为障碍物。另外，骨关节手术机器人的机械臂由于结构限制，其腰部、大臂、小臂关节均有一定的运动范围，该范围两侧的极限位置也应视为障碍。视场边界障碍定义在图像空间内，关节极限障碍定义在关节空间内，引力场的速度项定义在笛卡尔空间内，其位置项定义在图像空间内。可采用《Path planning for robust image-based control》中的方法，实现虚拟力在不同描述空间中的转换，即若势场函数Uf＝U(f(P)),且f(P)在P可行域内连续可微，则
Figure BDA0003311211280000162
式中
Figure BDA0003311211280000163
——偏导数
Figure BDA0003311211280000164
的逆(或伪逆)
本发明在满足视场约束、关节极限约束的前提下，先利用势场法在笛卡尔空间规划离散的相机运行轨迹，后将该轨迹映射到图像空间，采用基于图像的视觉伺服控制器实现对曲线的跟踪。
设当人体图像标识点k0(u0,v0)满足u0∈(umin,umax)、v0∈(vmin,vmax)时，人体图像保持在相机视野内，并设d为边界的影响距离。当k0运动到Mι、Mτ、Mt、Mb区域时，将受到相应斥力，促使其返回安全区M0。视场示意图如图16所示。图16为视场示意图。
骨关节手术机器人的机械臂关节变量均有一定的变化范围，设qi∈(qimin,qimax),i＝1,2,3，设θ为关节极限位置的影响距离。采用与现场约束同样的定义方法，其斥力场(如图所示)为
Figure BDA0003311211280000171
其中
Figure BDA0003311211280000172
设Γ＝{qi∈[qimin+θ,qimax-θ]，i＝1,2,3}，则骨关节手术机器人的机械臂关节极限约束斥力Frepq可表示为
Figure BDA0003311211280000173
其中，Lr为骨关节手术机器人的机械臂雅可比矩阵
Figure BDA0003311211280000174
请参见图17，为关节极限约束斥力场示意图。
根据上述定义的引力与斥力，得到骨关节手术机器人的机械臂在笛卡尔空间的合力为
F(P)＝Fatt(P)+βFrepv(P)+γFrepq(P)
其中，β、γ为缩放因子。
可通过调整β、γ的值改变各分力在合力中的比重。
利用F(P)可以在笛卡尔空间中为手眼相机规划一条可行的离散轨迹Γ＝{Pk|k＝0，1···n}
Figure BDA0003311211280000175
其中εk为第k个控制周期的步长。进一步地，可以利用相机模型计算出各轨迹点Pk处应对的矩特征组
Figure BDA0003311211280000181
的值
Figure BDA0003311211280000182
即在图像空间中得到了一条对应的离散轨迹
Figure BDA0003311211280000183
下面，利用基于图像的视觉伺服控制跟踪这条轨迹。设在第k个控制周期时，图像特征的误差定义为:
Figure BDA0003311211280000184
选用速度控制器，并使误差按指数规律下降
Figure BDA0003311211280000185
根据《基于人工势场法的竞争型网络机器人攻防规划》，控制器可选为
Figure BDA0003311211280000186
其中，
Figure BDA0003311211280000187
为图像雅可比矩阵LS估计值的伪逆。
结合视觉系统的机械臂运动控制框图如图18所示，根据《基于人工势场法的竞争型网络机器人攻防规划》可知，该控制器可使系统对模型误差及噪声扰动具有很好的鲁棒性。
五、机器人术中系统安全装置
5.1碰撞检测
机器人手术过程中，具体关节置换手术动作由医生负责完成，手术工具由机械臂夹持或固定，但手术工具的启停、动作由医生完成，保证了真正手术时的安全性。但机械臂运动过程的确存在碰撞人体和其他设备的风险，需要为机器人增加碰撞检测功能。因为系统已经布置了场景相机和手眼相机，所以可以以基于视觉的碰撞检测为主。然而，完全依赖视觉信息往往会导致在环境复杂或者视觉信号丢失等情况下的系统功能丧失。事实上，与人类的感知系统类似，除视觉之外，机器人系统也需要更多形式的感知信息来实现与外部世界更好的交互，力觉感知就是其中一项重要的功能。因此，本发明利用机械臂末端(腕部)安装的力/力矩传感器来实现辅助碰撞检测。同时，针对现有力觉位置检测方法必须依赖几何约束的局限性，将系统中的影像导航信息与力感知信息相结合，建立了基于视觉-力觉相融合的碰撞检测算法。
碰撞点(或接触点〉的检测通常是借助触觉感知，即在接触物体表面安装触觉传感器来实现的，但由于骨关节手术这项任务的特殊性，接触物体和把持工具的表面都无法安装触觉传感装置。因此，本发明在机械臂末端关节和工具之间(即腕部)安装六维力传感器的方法，借助腕力感知功能来实现末端碰撞感知。腕力传感器安装于机械臂与末端工具的连接处，靠法兰盘与螺钉固定。而且传感器与末端工具之间一般为固定联结,固定以后不会再有相对位移。在末端工具(或机器人所把持骨块)发生碰撞时，用于力感知运算数据的应当是碰撞过程所产生的外力，包括垂直于碰撞表面的压力和与碰撞表面相切的摩擦力。在手术机器人运动过程中，传感器实际的读数并不等于碰撞外力，而是还包含了传感器本身以及负载的重力、传感器安装过程由于挤压产生的装配压力、末端运动加速度所产生的惯性力、噪声等多种复杂因素。本发明将按照基本原理、重力和动态补偿、基于不同约束条件的求解方法等方面对基于腕力传感器的末端碰撞位置检测方法进行研究。本发明碰撞检测流程图如图19所示。
5.2术中接触力检测
腕力传感器除了在机械臂运动过程中辅助检测碰撞之外，另一个重要的作用就是手术过程中的安全保护。手术过程中进行实时接触力检测，当作用力超过预设的力度极限向医生发出报警提示，为医生的判断提供参考依据，保证手术过程中病人的安全。
5.3急停措施
在机械臂控制柜、计算机控制柜上均配置急停按钮，手术团队根据现场情况，拍击紧急按钮即可停止机械臂。机械臂控制柜设置紧急断点开关，出现紧急险情可以拍击断点开关，是系统断电，从而停止机器人的所有动作，防止危害进一步发生。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种用于骨关节置换手术的机器人，其特征在于，其主要包括由上位机(1)、上位机显示器(2)、场景摄像机(3)、手术显示器(4)、手术台(5)、机械臂(6)、下位机及软件模块所构成的机械臂系统、导航系统和主控台系统；上述系统的部件组成上位机单元、手术台及下位机单元；
其中下位机单元具有能于地面自由移动且具有锁定装置的下位机工作台，机械臂(6)是具有6自由度电机驱动机械臂，其与下位机及其内置的机械臂控制系统(7)及均设置于该下位机工作台上；
该机械臂(6)末端安装有一个设计相机构成手眼系统，与场景摄像机配合完成视觉伺服的视频采集；
机械臂末端夹持或固定安装手术工具；
所述上位机、下位机之间采用WiFi无线网络连接，该场景摄像机连接上位机，而手眼系统相机连接下位机；
该场景摄像机是用于整体场景图像数据采集，
上位机为控制整个机器人的控制计算机，该上位机配备有一个供手术协作人员进行术前机器人配置和术中数据观察的上位机显示器及另一个供主刀医师观察术中数据的手术显示器；
所述上位机内置有CT三维重建模块、三维模型与实际坐标系转换模块、术中视觉伺服模块、及路径规范模块，能接受CT图像数据，进行自动分割，生成骨骼三维模型，并基于该模型进行手术方案的智能规划；
在完成机器人系统标定后，将设计数据以指定的数据格式传输到下位机上的术中执行系统的控制台，通过术中影像导航系统的术前、术中影像匹配模块将其映射到术中机器人的执行空间；机械臂按照设计方案给定的目标位置或者目标路径，完成术中轨迹规划和任务实施。
2.根据权利要求1所述的一种用于骨关节置换手术的机器人一种用于骨关节置换手术的机器人，其特征在于，所述智能规划包括假体配型、规划手术位置量的计算。
3.根据权利要求2所述的一种用于骨关节置换手术的机器人，其特征在于，所述机器人系统标定包括手眼标定、工具标定以及传感器标定。
4.根据权利要求3所述的一种用于骨关节置换手术的机器人，其特征在于，所述机械臂末端安装有用于辅助碰撞检测力/力矩传感器。
5.根据权利要求1-4任一权利要求所述的一种用于骨关节置换手术的机器人，其特征在于，所述CT三维重建模块是通过读取CT图像数据对骨骼组织的自动分割及对皮肤肌肉等非骨骼组织的分割，并将分割结果的三维可视化。
6.根据权利要求5所述的一种用于骨关节置换手术的机器人，其特征在于，所述CT三维重建模块为采用了基于三维可视化与特征点匹配的增强现实技术的模块，该模块是采用了SURF算法与FLANN结合的改进算法，其图像匹配流程主要分为四个阶段：去除噪点，提取特征点，生成特征点描述子，特征点匹配；
其中，去除噪点是采用双边滤波去噪对采集的图像采取图像预处理消除噪点；
在提取特征点阶段，是将中间检测点与同尺度和上下相邻层距离最近的26个点进行比较改为与最近的14个点进行比较，以此来减少冗余信息量和降低算法计算复杂度；
在特征点的匹配阶段采用基于RANSAC删除错误匹配点以大幅减少误匹配点。
7.根据权利要求1所述的一种用于骨关节置换手术的机器人，其特征在于，该机器人调用系统的摄像机拍摄患者，并透视三维模型与手术患者进行匹配融合，然后通过三维模型对手术患者病灶区域进行定位。
8.根据权利要求1所述的一种用于骨关节置换手术的机器人，其特征在于，该机器人具有单目场景/单目手眼混合视觉结构，场景相机倾斜向下固定在控制台前部上方，其采集的图像信息经上位机处理后获得人体标识物在机器人参考系中的位置，手眼相机安装于机械臂末端，手眼相机在前、与机械臂末端的相对位置固定，其采集的图像信息经下位机处理后获得目标作物的精确信息，用于手术位置跟踪；上位机根据场景相机图像信息及下位机反馈的各工作部件的状态信息产生控制指令传递给下位机；下位机依据上位机指令、手眼相机图像信息以及各传感器信息，控制机械臂定位。
9.根据权利要求1所述的一种用于骨关节置换手术的机器人，其特征在于，所述机器人包含有术中系统安全装置。
10.根据权利要求9所述的一种用于骨关节置换手术的机器人，其特征在于，所述安全装置是在机械臂末端关节和工具之间安装有六维力传感器，借助腕力感知功能来实现末端碰撞感知，其中，算机辅助骨科手术子系统包含医学图像的解析与预处理模块、基于交互式的骨骼分割模块、骨骼的自动分割模块、及人体数据场的三维可视化模块。
CN202111217192.8A 2021-10-19 2021-10-19 一种用于骨关节置换手术的机器人 Withdrawn CN114027985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111217192.8A CN114027985A (zh) 2021-10-19 2021-10-19 一种用于骨关节置换手术的机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111217192.8A CN114027985A (zh) 2021-10-19 2021-10-19 一种用于骨关节置换手术的机器人

Publications (1)

Publication Number Publication Date
CN114027985A true CN114027985A (zh) 2022-02-11

Family

ID=80135494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111217192.8A Withdrawn CN114027985A (zh) 2021-10-19 2021-10-19 一种用于骨关节置换手术的机器人

Country Status (1)

Country Link
CN (1) CN114027985A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549861A (zh) * 2022-02-25 2022-05-27 中科芯集成电路有限公司 一种基于特征点及卷积优化计算的目标匹配的方法、存储介质
CN114795376A (zh) * 2022-05-11 2022-07-29 北京易迈医疗科技有限公司 一种关节置换辅助截骨系统
CN116983086A (zh) * 2023-09-26 2023-11-03 北京长木谷医疗科技股份有限公司 一种自主关节置换手术机器人导航定位系统
CN118252614A (zh) * 2024-04-16 2024-06-28 南方医科大学 经椎间孔入路腰椎间盘突出射频消融术穿刺路径规划方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549861A (zh) * 2022-02-25 2022-05-27 中科芯集成电路有限公司 一种基于特征点及卷积优化计算的目标匹配的方法、存储介质
CN114795376A (zh) * 2022-05-11 2022-07-29 北京易迈医疗科技有限公司 一种关节置换辅助截骨系统
CN116983086A (zh) * 2023-09-26 2023-11-03 北京长木谷医疗科技股份有限公司 一种自主关节置换手术机器人导航定位系统
CN116983086B (zh) * 2023-09-26 2024-01-09 北京长木谷医疗科技股份有限公司 一种自主关节置换手术机器人导航定位系统
CN118252614A (zh) * 2024-04-16 2024-06-28 南方医科大学 经椎间孔入路腰椎间盘突出射频消融术穿刺路径规划方法
CN118252614B (zh) * 2024-04-16 2024-09-06 南方医科大学 经椎间孔入路腰椎间盘突出射频消融术穿刺路径规划方法

Similar Documents

Publication Publication Date Title
CN114041878A (zh) 骨关节置换手术机器人的ct图像的三维重建方法及系统
US20230355312A1 (en) Method and system for computer guided surgery
CN114027985A (zh) 一种用于骨关节置换手术的机器人
Devernay et al. Towards endoscopic augmented reality for robotically assisted minimally invasive cardiac surgery
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
US20100331855A1 (en) Efficient Vision and Kinematic Data Fusion For Robotic Surgical Instruments and Other Applications
Martin-Gomez et al. STTAR: surgical tool tracking using off-the-shelf augmented reality head-mounted displays
Lee et al. From medical images to minimally invasive intervention: Computer assistance for robotic surgery
JPH09508994A (ja) 像形成装置及び方法
EP3720554B1 (en) Patient positioning using a skeleton model
Gonçalves et al. A vision system for robotic ultrasound guided orthopaedic surgery
Coste-Manière et al. Planning, simulation, and augmented reality for robotic cardiac procedures: the STARS system of the ChIR team
Beyl et al. Time-of-flight-assisted Kinect camera-based people detection for intuitive human robot cooperation in the surgical operating room
US11972531B2 (en) Multi-modal visualization in computer-assisted tele-operated surgery
Iqbal et al. Semi-automatic infrared calibration for augmented reality systems in surgery
Wang et al. A HoloLens based augmented reality navigation system for minimally invasive total knee arthroplasty
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
Chen et al. Towards safer robot-assisted surgery: A markerless augmented reality framework
Wörn et al. New augmented reality and robotic based methods for head‐surgery
Luo et al. Survey of Navigation Guided Robotics for Orthopedic Surgical Assistance–Concept and Components
CN114886558A (zh) 一种基于增强现实的内窥镜投影方法及系统
Guo et al. A method of decreasing transmission time of visual feedback for the Internet-based surgical training system
CN118628539A (zh) 基于三维轮廓匹配的镜下对象位姿配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220211

WW01 Invention patent application withdrawn after publication