CN114041878A - 骨关节置换手术机器人的ct图像的三维重建方法及系统 - Google Patents
骨关节置换手术机器人的ct图像的三维重建方法及系统 Download PDFInfo
- Publication number
- CN114041878A CN114041878A CN202111215711.7A CN202111215711A CN114041878A CN 114041878 A CN114041878 A CN 114041878A CN 202111215711 A CN202111215711 A CN 202111215711A CN 114041878 A CN114041878 A CN 114041878A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- bone
- points
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000988 bone and bone Anatomy 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 56
- 230000009466 transformation Effects 0.000 claims abstract description 55
- 238000001356 surgical procedure Methods 0.000 claims abstract description 47
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 230000003190 augmentative effect Effects 0.000 claims abstract description 30
- 230000000399 orthopedic effect Effects 0.000 claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 238000012800 visualization Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000002829 reductive effect Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000009792 diffusion process Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 4
- 230000018109 developmental process Effects 0.000 claims description 4
- 238000003707 image sharpening Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 2
- 210000000629 knee joint Anatomy 0.000 abstract description 7
- 210000004394 hip joint Anatomy 0.000 abstract description 6
- 210000000323 shoulder joint Anatomy 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000013461 design Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000010882 preoperative diagnosis Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000007921 spray Substances 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013150 knee replacement Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 206010021403 Illusion Diseases 0.000 description 1
- 206010049514 Traumatic fracture Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000002050 maxilla Anatomy 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012829 orthopaedic surgery Methods 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
Abstract
本发明涉及骨关节置换手术机器人领域，公开了一种骨关节置换手术机器人的CT图像的三维重建方法及一种基于增强现实的计算机辅助骨科手术系统，首先获取CT图像的骨骼分割数据；然后根据获得的CT图像的骨骼分割数据生成骨骼三维模型；采用一种基于改进的SURF特征点视频图像匹配算法，对视频图像的目标进行匹配跟踪，然后求解目标的空间姿态，再对虚拟的三维物体进行相应的空间变换，从而实现增强现实的效果。本发明的主要目的是为术前病人CT图像的三维重建提供能建立足够复杂和精确的三维影像技术，以使手术机器人能借此自主完成髋关节、膝关节、肩关节置换骨科手术。
Description
技术领域
本发明涉及一种机器人，特别是涉及一种骨关节置换手术机器人的CT图像的三维重建方法及系统。
背景技术
医疗机器人行业的市场规模潜力非常大，而在世界范围内，骨科机器人作为医疗机器人的细分行业却长期被美国的医疗器械龙头(如美敦力公司、史赛克公司、捷迈邦美公司)垄断，唯一一家来自于中国的骨科机器人公司是北京天智航医疗科技股份公司，其主要产品正式“天玑”骨科机器人。其是世界上能开展全节段手术的骨科机器人，但是由于其用途为创伤性骨折手术，并非是适合于本发明的骨关节置换手术领域。
由于骨科手术分类以及手术术式的多样性，一般通用机器人难以满足手术需求，因此专科型骨科手术机器人成为未来发展的必然趋势。但国内目前尚没有国产骨科关节置换手术机器人注册获批，虽然申请号201010131125.X的专利申请公开了一种关节手术机器人，但是主要是提供了一种进行多种手术姿态变换的机构。申请号201810167101.6虽然是踝关节手术机器人，但是不是关节置换手术，而是类似于“天玑”机器人的创伤性治疗手术。申请号201910161479.X虽然提供了一个关节置换手术机器人，但是该技术仅能完成膝关节置换。
另外天智航医疗公司的申请号202010177303.6的《全膝关节置换手术机器人辅助系统、控制方法及电子设备》，仅能用于进行膝关节置换，且其仅是提供了机器人手术的辅助系统和辅助电子设备。由于关节手术更加复杂，要求精度更高，为此发明人希望能提供一些能用于骨科关节置换手术机器人的相关技术，以能构成完整的国产骨关节置换手术机器人。机器人骨关节手术首先要解决的问题就是要建立足够复杂和精确的三维影像，从CT图像中准确地分割提取骨骼组织是进行骨骼分析研究的基础，也是实现人体骨骼三维重建以及其他诸多应用的前提。在术前诊断阶段，CT图像的三维重建首先是对CT图像进行自动分割，生成骨骼三维模型，以便机器人能基于该模型进行手术方案的智能规划，包括假体配型、规划手术位置量等。
本发明主要提供一种基于CT数据的三维影像配准技术，鉴于机器人骨关节手术首先要解决的问题就是要建立足够复杂和精确的三维影像，从CT图像中准确地分割提取骨骼组织是进行骨骼分析研究的基础，也是实现人体骨骼三维重建以及其他诸多应用的前提。骨骼组织是计算机辅助骨科手术系统的主要研究对象，准确地将骨骼组织分割出来具有非常重要的意义。根据CT图像成像特点，原始的CT图像难免会存在噪声、伪影等，为了最大程度地还原医学图像的真实信息，在提取骨骼组织前需要对原始图像数据进行预处理操作。另外，同一段CT序列图像中通常包含不同的器官、组织等，图像中的骨骼组织像素会被肌肉、软组织等像素包围，造成骨骼组织的提取存在一定的难度。
发明内容
本发明要解决的技术问题是提供一种能适合于骨关节置换手术机器人的CT图像的三维重建方法及手术辅助系统，能建立足够复杂和精确的三维影像，以使手术机器人能借此自主完成髋关节、膝关节、肩关节置换骨科手术。
为了解决上述技术问题，本申请提供了如下技术方案：
一种骨关节置换手术机器人的CT图像的三维重建方法，其包含：
步骤一、骨骼CT图像进分割获取CT图像的骨骼分割数据；
步骤二、根据获得的CT图像的骨骼分割数据生成骨骼三维模型；
采用一种基于改进的SURF特征点视频图像匹配算法，对视频图像的目标进行匹配跟踪，然后求解目标的空间姿态，再对虚拟的三维物体进行相应的空间变换，从而实现增强现实的效果。
本发明骨关节置换手术机器人的CT图像的三维重建方法，步骤一的具体步骤包括：
1)输入CT图像序列
2)DICOM格式文件解析
3)基于中值滤波的各向异性扩散的图像滤波
4)基于自适应阈值的骨骼组织粗分割
5)基于三维区域生长法的骨骼组织精分割。
本发明骨关节置换手术机器人的CT图像的三维重建方法，其具体步骤还包括：
首先用图像锐化处理对CT图像进行图像增强，将图像高频部分加到原图像中，保留图像原来细节的同时达到增强图像边缘的目的；其次采用基于Hessian矩阵的三维结构滤波器进一步增强图像的骨骼边缘，利用Hessian矩阵可以编码三维空间结构的能力，增强包括骨组织较弱的松质骨的骨骼轮廓，为图割算法提供更多的分割依据；然后将图像分割问题转化为图论分割问题，使用标准的6-邻域系统将CT图像的三维数据场映射成图论的存储结构，得到用于图割算法的图；接着使用能量函数最小化来表示图的最小割，利用CT图像骨骼的CT值和增强滤波器的响应值构建图的能量函数；最后使用最大流最小割算法求解图的最小割，将图割的结果转回图像形式，得到骨骼的标签图像；同时，对于图像中紧密相连的骨骼区域，使用形态学的腐蚀运算将两块骨骼连通区域分开，获得相连骨骼的连接区域，针对该连通区域再次进行图割算法即可将相连的骨骼分开，提高骨骼分割的精确性。
本发明骨关节置换手术机器人的CT图像的三维重建方法，在步骤二中，首先使用基于Marching Cubes面绘制算法对得到的骨骼像素进行三维重建，得到用于AR系统的数字三维模型；其次采用基于改进的SURF特征点匹配算法，对视频图像中的目标进行匹配跟踪，获得模型在二维图像中的位置；然后使用N点透视位姿求解，将二维图像中目标的位置到对应三维模型空间的位置的空间变换求解出来；最后对三维模型进行相应的空间变换，并在二维图像中渲染即可实现二维图像与三维模型的匹配融合。
本发明骨关节置换手术机器人的CT图像的三维重建方法，所述改进的SURF特征点匹配算法采用改进的SURF特征点的描述符算子，将描述符算子扩大到特征点的4-邻域内的特征点描述符，使其能够更好地描述局部信息。
本发明骨关节置换手术机器人的CT图像的三维重建方法，在通过特征点的匹配实现对目标位置的跟踪还包含有虚拟三维模型的显示及姿态变换步骤，通过二维图像的目标的状态来求解三维模型的位姿状态，首先通过引入OpenGL的渲染技术来介绍三维空间与二维图像中的变换，其次通过透视N点投影问题来求解三维模型的空间位姿，最后进行三维模型在空间中的位姿变换。
本发明的一种基于增强现实的计算机辅助骨科手术系统，包含术前病人CT图像的三维重建装置，应用于骨关节置换手术机器人，由计算机辅助骨科手术子系统和增强现实子系统构成；
其中，算机辅助骨科手术子系统包含医学图像的解析与预处理模块、基于交互式的骨骼分割模块、骨骼的自动分割模块、及人体数据场的三维可视化模块；
增强现实子系统包含摄像机视频图像处理模块、视频目标的检测与发展模块、三维模型的空间位姿求解、及三维模型的可视化及位姿控制模块。
与现有技术相比，本发明骨关节置换手术机器人应用的CT图像的三维重建方法及系统，至少具有以下有益效果：
借助基于三维可视化与特征点匹配的增强现实技术，实现术前病人CT图像的三维重建。能建立足够复杂和精确的三维影像，以使手术机器人能借此自主完成髋关节、膝关节、肩关节置换骨科手术。
下面结合附图对本发明骨关节置换手术机器人作进一步说明。
附图说明
图1为本发明骨关节置换手术机器人的系统组成示意图；
图2为本发明骨关节置换手术机器人的基于增强现实的辅助系统框架图；
图3为本发明骨关节置换手术机器人的骨骼组织分割流程图；
图4为本发明骨关节置换手术机器人的基于图割算法的骨骼分割流程图；
图5为基于三维可视化与特征点匹配的增强现实技术的实现流程；
图6为空间坐标变换过程；
图7为平截头体的透视图；
图8为PnP问题中摄像机、屏幕点以及空间点之间的关系示意；
图9为系统辅助骨科手术定位的流程图；
图10为术前路径规划的任务框图；
图11为定位跟踪实现原理示意；
图12为视觉伺服系统结构示意图；
图13为视觉伺服控制系统框图；
图14为视觉伺服控制系统框图；
图15为机器人在人工势场模型下的受力示意图；
图16为机器人的视场示意图；
图17为关节极限约束斥力场示意图；
图18为结合视觉系统的机械臂运动控制框图。
其中：1.控制计算机(上位机)；2.上位机显示器；3.场景摄像机；4.手术显示器；5.手术台；6.机械臂；7.机械臂控制系统(下位机)。
具体实施方式
本发明的骨关节置换手术机器人，具备完成髋关节、膝关节骨科手术的功能。根据手术的复杂程度的不同，其能自主完成髋关节、膝关节、肩关节置换骨科手术，以及与医生协作完成全髋关节置换、全膝关节置换、全肩关节置换、单髁置换手术。
如图1所示，该系统硬件部分主要由三部分组成：机械臂系统、导航系统和主控台系统；软件部分根据国内医生习惯，优化人机交互策略，嵌入完全自主研发的术中安全保护策略算法，可以有效防止术中误伤患者重要组织，从而进一步保证了手术的安全性和精准度。其主要包括控制计算机(上位机)1；上位机显示器2；场景摄像机3；手术显示器4；手术台5；机械臂6；机械臂控制系统(下位机)7。
其中，机械臂6是采用6自由度电机驱动机械臂，安装在配有四个万向轮的工作台上，工作台柜体内部是机械臂的控制系统(下位机)，工作台位置调整好之后，锁死万向轮，使工作台不再移动。使用高性能计算机作为整个系统的控制计算机(上位机)，上位机配备两个显示器，一个供手术协作人员进行术前机器人配置和术中数据观察，另一个供主刀医师观察术中数据。系统配置场景设计相机1个，用于整体场景图像数据采集。机械臂末端安装一个设计相机构成手眼系统，与场景摄像机配合完成视觉伺服的视频采集。
机械臂末端夹持或固定安装手术工具，考虑手术工具的重量范围，机械臂设计载荷5kg，采用轻量化协作机械臂，减少系统成本，提高人机协作作业的安全性。
为避免走线妨碍手术现场，上下位机之间采用WiFi无线网络连接。场景摄像机连接上位机，手眼系统相机连接下位机。上位机完成配准、规划之后，手术过程中下位机可以脱离上位机独立运行，以保证手术过程控制的实时性、安全性。
机器人骨关节手术的工作流程分为三个阶段：
术前诊断阶段，术前首先对CT图像进行自动分割，生成骨骼三维模型，并基于该模型进行手术方案的智能规划，包括假体配型、规划手术位置量等；
手术实施前(术前准备)，完成机器人系统标定(包括手眼标定、工具标定以及传感器标定)，并将设计数据以特定的数据格式传输到术中执行系统的控制台，通过术中影像导航系统的术前、术中影像匹配模块将其映射到术中机器人的执行空间；
执行阶段，机器人系统的执行机构按照设计方案给定的目标位置或者目标路径，完成术中轨迹规划和任务实施。
基于现有技术的问题，本发明对医学图像中骨骼组织的提取进行了研究。研发了一种基于增强现实的计算机辅助骨科手术系统，
请参见图2，其为本发明的基于增强现实的计算机辅助系统框架图。本发明的基于增强现实的计算机辅助骨科手术系统，包含计算机辅助骨科手术子系统及增强现实子系统，其中计算机辅助骨科手术子系统包含医学图像的解析与预处理、基于交互式的骨骼分割、骨骼的自动分割、人体数据场的三维可视化等模块；增强现实子系统包含三维模型的可视化以及位姿控制、三维模型的空间位姿求解、视频目标的检测与发展、摄像机视频图像处理等模块。
以下结合具体实施例对术前诊断阶段，对CT图像进行自动分割，生成骨骼三维模型一些具体方案分别说明如下：
1、骨骼组织分割
该机器人在工作中，首先要将骨骼组织完整地分割出来，然后进行骨骼间的分割、及进行骨骼三维重建。请参见图3，为本发明骨关节置换手术机器人的骨骼组织分割流程图。本发明一具体实施例中是采用基于自适应阈值与三维区域生长算法的骨骼组织分割算法进行。
如图所示，计算机辅助骨科手术子系统首先要对医学图像(CT图像)进行解析与预处理。本发明的医学CT图像的解析和预处理，包括医学图像DICOM格式的介绍和解析、图像格式转换、图像滤波等；然后进行骨骼组织的分割。
本发明的骨骼组织的分割方法，是先用基于自适应阈值法进行粗分隔，以分割出疑似骨骼组织区域，再使用基于三维区域生长法对疑似骨骼组织进行精分割。
其具体步骤包括：
1)输入CT图像序列
2)DICOM格式文件解析
3)基于中值滤波的各向异性扩散的图像滤波
4)基于自适应阈值的骨骼组织粗分割
5)基于三维区域生长法的骨骼组织精分割。
2、基于图割算法的骨骼自动分割
虽然仅借助上述步骤的骨骼组织分割方法就可以有效地从CT图像中提取出所有骨骼组织的像素，可以完成对序列中整个骨骼架构的研究。但是，由于它提取的结果是整个序列的骨骼像素，该结果并没有将骨骼组织中的每块骨骼区域分割开，导致不能提取某一块特定骨骼进行单独研究。由此，为了能从CT图像中自动分割出每块骨骼组织的连通区域，本发明进一步提供了一种改进的基于图割算法的骨骼自动分割来实现骨骼区域的自动分割。该算法首先利用图像锐化处理和基于Heesian矩阵的三维结构增强滤波器的优点，在保留骨骼区域细节信息的同时，极大地增强了组织结构较弱的骨骼边缘信息，避免了分割过程将组织结构较弱的骨骼像素标记为非骨骼的情况；其次利用形态学的腐蚀运算能将连通区域缩小的作用，将紧密相连的骨骼连通区域分离开，获得相邻骨骼的连接处，再对该连接处的像素进行的分割，从而有效提高分割的准确性。
具体的来说，首先用图像锐化处理对CT图像进行图像增强，将图像高频部分加到原图像中，保留图像原来细节的同时达到增强图像边缘的目的；其次采用基于Hessian矩阵的三维结构滤波器进一步增强图像的骨骼边缘，利用Hessian矩阵可以编码三维空间结构的能力，增强包括骨组织较弱的松质骨的骨骼轮廓，为图割算法提供更多的分割依据；然后将图像分割问题转化为图论分割问题，使用标准的6-邻域系统将CT图像的三维数据场映射成图论的存储结构，得到用于图割算法的图；接着使用能量函数最小化来表示图的最小割，利用CT图像骨骼的CT值和增强滤波器的响应值构建图的能量函数；最后使用最大流最小割算法求解图的最小割，将图割的结果转回图像形式，得到骨骼的标签图像。同时，对于图像中紧密相连的骨骼区域，使用形态学的腐蚀运算将两块骨骼连通区域分开，获得相连骨骼的连接区域，针对该连通区域再次进行图割算法即可将相连的骨骼分开，提高骨骼分割的精确性。整体流程如图4所示。
3、基于三维可视化与特征点匹配的增强现实技术
在上述1、及2方法所产生的数据均可用于“基于三维可视化与特征点匹配的增强现实”的数据来源，其中基于图割算法的骨骼自动分割是对基于自适应阈值与三维区域生长算法的骨骼组织分割算法的一个技术改进，可以进一步提高三维建模执行过程的效率。
3.1总体流程
骨骼的数字三维模型是计算机辅助骨科手术系统最常用的研究对象，而在计算机辅助骨科手术系统中应用AR技术具有较高的临床价值。一方面，医生能借助AR技术进行术前的模拟仿真来提高自身对患者病灶区域定位的了解程度，从而确保手术方案的正确性，另一方面，AR技术具有实时性的特点，医生在骨科手术中能迅速及时地将信息方案共享给其他成员，交流完善手术方案以随时应对意外情况发生。借助AR技术可以提高医生对患者病灶区域定位的准确性，而且具有实时性，对临床医疗的病灶区域定位具有重要意义。实现AR技术需要对视频图像的目标进行匹配跟踪，而匹配的准确度则非常依赖特征点的匹配。所述视频图像是视觉伺服系统的输入数据源，即来自机械臂手眼系统的相机和场景相机。根据获得的人体图像，从人体图像中寻找跟踪点，判断人体在实际坐标系中的位置变化。
由于视频图像的光线变化和视角变化会图像变得模糊或者产生噪点，对特征点造成很大的干扰；另外，在视频采集过程中可能会由于硬件等原因使视频丢帧，对目标跟踪造成重大的影响，视频图像的目标匹配问题一直是个颇具挑战的问题。针对上述问题，本发明拟采用一种基于改进的SURF特征点视频图像匹配算法，对视频图像的目标进行匹配跟踪，然后求解目标的空间姿态，再对虚拟的三维物体进行相应的空间变换，从而实现增强现实的效果。
首先使用基于Marching Cubes面绘制算法对得到的骨骼像素进行三维重建，得到用于AR系统的数字三维模型；其次采用基于改进的SURF特征点匹配算法，对视频图像中的目标进行匹配跟踪，获得模型在二维图像中的位置；然后使用N点透视位姿求解，将二维图像中目标的位置到对应三维模型空间的位置的空间变换求解出来；最后对三维模型进行相应的空间变换，并在二维图像中渲染即可实现二维图像与三维模型的匹配融合。基于三维可视化与特征点匹配的增强现实技术的实现流程如图5所示。
3.2基于改进SURF特征点匹配的视频图像匹配算法
在增强现实系统中，二维的视频图像中的目标和三维的虚拟模型的匹配融合是关键的技术。匹配融合的基础是先对二维图像中的目标进行检测，通常使用基于特征点匹配的方法。而SURF特征点具有匹配速度快、旋转尺度不变性的特点，使其在视频图像匹配中具有非常好的表现。基于SURF特征点的图像匹配包括两个步骤：特征点的提取和特征点的匹配。为了实现更加稳定的增强现实效果，本发明首先采用了改进的SURF特征点，用于描述图像的局部特征；然后改进了FLANN算法，以提高改进的SURF特征点的匹配效率。
SURF特征点是SIFT的加速版，同样具有旋转尺度不变性，相较于后者，前者的速度理论上比后者快3倍，更加适用于视频图像的匹配。SURF特征点的提取过程跟SIFT类似，都是先在尺度空间中检测特征关键点，然后生成特征关键点的描述符算子。由于视频图像比较复杂，即使SURF特征点的性能较好，也很容易出现特征点错误匹配的情况，因此本文采用了改进的SURF特征点的描述符算子，将描述符算子扩大到特征点的4-邻域内的特征点描述符，使其能够更好地描述局部信息。
SURF特征点匹配算法主要有：暴力法(Brute Force,BF)、快速最近邻算法(FastLibrary for Approximate Nearest Neighbors,FLANN)算法、随机抽样一致算法(RandomSample Consensus,RANSAC)等算法。由于视频图像的特征点匹配对匹配的速度要求较高，暴力法和RANSAC算法的特征点匹配耗时较长，不适用于视频图像的特征点匹配；而FLANN算法对于改进的SURF特征点的匹配效率不高，故本文采用了改进的FLANN算法，用于对改进的SURF特征点的匹配。
本发明提出的SURF算法与FLANN结合的改进算法，其图像匹配流程主要分为四个阶段：去除噪点，提取特征点，生成特征点描述子，特征点匹配。
于视频图像的光线变化和视角变化会图像变得模糊或者产生噪点。而噪点的存在将影响图像特征点的生成,从而降低图像间的配准度。因此，需要对采集的图像采取图像预处理消除噪点，本专利采用双边滤波去噪。双边滤波即能去除噪声,又能进行边缘保护。所以,经双边滤波处理的待检测图像将具有较好的鲁棒性检测区域,特征点更具顽健性。
在提取特征点阶段，充分考虑到越靠近关键点的像素点对关键点的主方向贡献越大。将中间检测点与同尺度和上下相邻层距离最近的26个点进行比较改为与最近的14个点进行比较，以此来减少冗余信息量和降低算法计算复杂度。
在特征点的匹配阶段采用FLANN预匹配，但得到的匹配点对存在精度不够理想的情况，目标识别的准确度将受到一定影响,所以需要对错误匹配点进行删除。本专利基于RANSAC删除错误匹配点,是鲁棒性较好的特征匹配筛选算法之一,将大幅减少误匹配点。
3.3目标的三维空间姿态求解和变换
从三维模型到二维图像的过程中，空间坐标变换，请参见图6所示，为空间坐标变换过程示意图。
通过特征点的匹配可以实现对目标位置的跟踪，这是实现增强现实技术的基础。实现增强现实的另外一个关键步骤是虚拟三维模型的显示及姿态变换，而三维模型的位姿状态则通过二维图像的目标的状态来求解。为了实现以二维图像目标的姿态将三维模型渲染在二维图像中，首先通过引入OpenGL的渲染技术来介绍三维空间与二维图像中的变换，其次通过透视N点投影(Perspective-n-Point,PnP)问题来求解三维模型的空间位姿，最后进行三维模型在空间中的位姿变换。
计算机中3D图形是通过OpenGL来实现高效渲染的，3D图形经过一系列的变换、投影、着色、纹理贴图、光栅化等操作后映射成二维的视觉图像，其深度信息给人眼带来的视觉错觉而产生了3D效果。3D图形的渲染处理都是围绕顶点处理进行操作的，顶点的处理是通过空间坐标变换完成的。
空间坐标空间是为了方便在不同的场景下有合适的坐标系，更是为了方便对三维模型进行不同的变换。空间坐标变换的本质是矩阵变换，从三维模型的局部空间坐标到二维图像坐标，其主要的矩阵变换有三种：
(1)模型-视图变换。模型自身的旋转、平移、缩放变换，以及摄像机的角度、位置变换，两者变换过程都是相对的，故通常将两个变换过程组合起来，如下式所示。
式中，(xobj,yobj,zobj)是三维模型某点的局部空间坐标，(xeye,yeye,zeye)是变换后的视图空间坐标。Mmodel是模型变换矩阵，Mview是视图变换矩阵，他们通常是以组合的形式存在，是由三维模型以及摄像机的旋转、平移、缩放变换来决定的。变量wobj和weye是齐次坐标的附加分量，表示空间中的点与摄像机观测点的远近，用于后续的将三维坐标映射到屏幕坐标中作透视除法的除数。
(2)透视投影变换。投影变换的作用是将观测到的空间范围投射到三维裁剪空间中，它通过创建一个平截头体的透视视景体，将视景体外的范围裁剪掉，如图7所示，为平截头体的透视图。
其矩阵变换如下式所示
式中，(xcl ip,ycl ip,zcl ip)是裁剪空间坐标，也就是三维模型可视的部分坐标。Mprojection是投影变换矩阵，由视景体的远、近截面的参数决定。
投影变换得到了观测点的裁剪空间，经过透视除法变换后转换成规范化设备坐标系，即在空间中距离观测点近的物体变大，距离观测点远的物体变小，使得三维场景效果更加真实。透视除法本质：对坐标除以额外的分量wcl ip，使裁剪空间坐标归一化成标准坐标，如下式所示。
式中，(xndc,yndc,zndc)是标准化设备坐标，用于转换到屏幕坐标。
(3)视口变换。视口变换的目的是将标准化的设备坐标进行缩放、平移以适应屏幕显示，变换如下式所示。
式中，(xndc,yndc,zndc)是标准化设备坐标，(Sx,Sy)、ws、hs是输出窗口的左下角原点坐标以及宽高。f、n是输出深度范围，决定了zs的范围。(xs,ys,zs)是输出窗口中(xndc,yndc,zndc)对应的坐标点，(xs,ys)就是输出窗口的像素点位置，zs分量是该点的渲染深度缓冲。
最终变换的结果将输送到OpenGL管道中进行最后的图元混合和光栅化即可得到二维的像素图像。
本发明的骨关节手术机器人，借助上述技术提高了骨关节手术机器人的智能化水平，使机器人手术前的数据准备效率更高、准确度更高。借助上述方法对CT扫描数据对骨骼组织分割，以得到准确的骨骼图像数据；然后使用基于三维可视化与特征点匹配的增强现实的方法对CT原始数据进一步处理，得到了病人骨骼三维模型，为后面现实世界坐标系到机器人坐标系转换提供数据源。
机器人需要通过系统标定实现机器人机械坐标系与视觉导航坐标系的统一，从而进一步将目标位置和路径映射到机器人执行机构的机械坐标系中，完成机器人在时间轴上的运动规划。同时，借助视觉、力觉、生理信号监测等传感器的反馈信息，制定安全控制策略，执行运动跟踪控制和受力补偿控制等，最终实现对规划路径的精准执行和对器械、骨块等目标的稳定把持。在本发明的骨关节手术机器人的导航是采用了基于三维模型与机器视觉的手术机器人导航方法。现简要说明如下：
1、通过PnP问题求解估计三维模型的空间位姿
要实现三维模型与二维图像的融合，需要通过二维图像来求解三维模型对应的空间位姿。由于在世界空间中三维模型的位姿与摄像机的位姿是相对的，故可通过摄像机的位姿来确定三维模型的位姿。摄像机的空间位姿可通过经典的N点透视(PnP)问题求解来估计，即通过n对匹配点(三维-二维)，计算出其对应的投影关系，来求解摄像机(模型)在空间中的位姿。
2、基于线性变换法的PnP问题求解
PnP问题是计算机视觉中经典的三维位姿估计方法，它是通过世界坐标空间以及对应的二维像素坐标点，求解出摄像机的外参(摄像机在世界空间中的旋转矩阵R和平移矩阵T)的过程。而世界空间坐标系中模型与相机的位置是相对的，他们在空间坐标系中的关系如图8所示，故可通过PnP来求解三维模型相应的位姿。一般PnP问题的求解可分为三种：①基于立体几何关系的求解，典型的代表是P3P求解；②通过坐标空间的线性变换求解；③利用迭代求重投影误差最小的解。
请参见图8，展示了PnP问题中摄像机、屏幕点以及空间点之间的关系。
在PnP问题求解过程中，配对点(世界空间坐标和屏幕坐标)的数量n是关键，讨论了PnP问题的解的情况：当n小于3时，摄像机的位姿有无数个解；当n等于3时，这种情况是经典的P3P问题，摄像机的位姿有4个非线性相关的解；当n等于4时，在P3P的基础上增加了一个约束项，故PnP问题有且只有一个解；当n大于4时，则需要根据实际情况求得唯一解或者无解。本具体实施例采用基于线性变换的方法来求解摄像机在三维空间的位姿。
从世界空间坐标变换到二维的像素图像坐标，要经过视图(摄像机)空间、裁剪空间，最后变换到屏幕空间。线性变换法的求解是以摄像机坐标为中间枢纽，将变换过程划分为两步：首先是从世界空间坐标变换到视图空间坐标，然后将视图空间坐标变换为屏幕空间坐标。
视图空间变换到屏幕空间则依赖于摄像机的内部参数，摄像机的内部参数可通过摄像机标定求解。
3、三维模型的空间位姿变换
通过PnP问题的求解来估计三维模型在空间中的位姿，得到了旋转矩阵R和平移矩阵T，这样就可以对三维模型进行相应的变换来实现与二维图像的融合。三维模型的变换主要有旋转、平移和缩放，都是通过矩阵变换完成的。
三维模型的各种变换都是在世界空间坐标系中完成的，通常使用齐次坐标来统一变换的形式。
三维模型的旋转是通过自身的中心点为旋转中心，将三维模型进行相应的姿态变换，变换后即可实现三维模型与二维图像中的目标进行融合，实现增强现实的效果。
三维模型的空间位姿变换完成后，即可完成骨关节三维模型辅助定位，其中系统辅助骨科手术定位的流程图如图9所示。可进一步进行术中定位步骤。
3.4基于三维影像的手术导航术前规划
手术前的机器人路径规划是手术机器人的重要任务之一。术前路径规划的任务框图如图10所示。
其中，术前诊断过程中的术前数据采集则是所有流程的重要前提和基础。在手术导航流程中，将术前检查数据的采集、影像三维建模、方案制定和模拟的过程统称为手术导航术前规划数据，其涉及的主要技术包括基于CT或MRI的医学影像可视化三维建模、多源三维影像信息融合、三维影像特征提取、三维模型编辑(包括三维模型分割、测量、移动等)
在使用术前采集的多种三维图像信息进行手术方案模拟之前，一个很重要的步骤就是将多源图像统一到同坐标系下，即多源影像融合。目前很多计算机辅助设计软件都集成了这项功能，其核心原理都是通过迭代最近点(IterationClosest Point，ICP)算法将两个相同或者相似的三维物体表面点云信息重叠到一起，从而计算出两个物体坐标系之间的转移矩阵，实现坐标系转换。
3.5基于NDI和3D-DIC结合的术中导航系统
手术机器人术导航系统由全局相机和局部相机组成。在本具体实施例中，全局相机是采用目前临床上应用较为广泛的NDI Polaris被动式双目相机，而局部相机则采用了一套自主搭建的基于灰度图像和数字图像相关算法的双目相机。两套相机均基于双目立体测量原理，两套系统在术中对不同目标的定位跟踪实现原理如图11所示。
本发明采用的全局相机为基于被动式反光标记的NDI双目相机，左右相机分别识别红外反光球的球心点；通过双目相机建模计算反光球球心在空间中的三维坐标；通过四个红外反光球构建定位跟踪装置的物体坐标系；将跟踪装置与刚体目标固联，通过实时计算跟踪装置在全局坐标系中的位姿变换实现刚体目标的跟踪。其中，相机建模和标定都已在设备封装过程中完成，实际操作过程中跟踪装置的标定(坐标系建立和位姿计算)就成了NDI系统计算的核心步骤。
基于灰度图像信息的立体视觉测量方法的视场范围受场地和设备影响较小,可根据自然或人工标记点自动识别跟踪目标,从而避免人工交互带来的识别误差,DIC算法是一种通过将前后两幅图像关联匹配，然后基于像素来计算两幅图像差异，从而实现变形或位移测量的方法。而3D-DIC算法基于物体表面的随机纹理特征，通过图像子区的相关匹配算法分析物体的三维运动轨迹，其精度可达到亚像素级。
3D-DIC目前被广泛应用于物理测量领域，特别是用于测量物体表面形变,因此，通常需要在被测曲面表面设计较为密集的采样点，并使用种子点扩散的方法对所有采样点进行遍历。这种方法虽然测量精度较高，但由于计算量较大，无法保证实时性。整像素搜索和亚像素迭代作为DIC的两个主要步骤，也是决定运算速度的关键因素。因此，很多学者针对整像素的搜索策略和亚像素迭代流程策略提出了改进，在一定程度上提高了3D-DIC的实时性。
另一方面，对于外科手术导航而言，跟踪目标主要是一些刚性物体，稀疏离散的采样点即可满足定位跟踪的需求。因此本文采用了离散人工标记点的方式建立对手术器械和目标组织的跟踪,并且针对传统的种子点扩散法无法适用于离散采样点的问题，提出了专门针对外科手术人工标记点的间隔整像素的搜索法。同时，同样针对离散标记点的跟踪，提出了在迭代优化步骤只对标记点区域进行亚像素迭代的匹配策略，即仅在标记点区域将迭代的步长设为亚像素，大大提高3D-DIC系统的实时性。
3.6图像匹配与位姿解算
双目相机模型建立以后，每个相机获取到的图像经过图像预处理和三维重建计算出采样点在空间中的三维坐标。在采样点坐标识别的基础上，根据正颌外科手术对术中导航的功能需求，导航系统需要完成术前-术中影像匹配、目标定位、目标跟踪等功能。
在空间中定位一个刚体的位姿通常需要先通过刚体上至少3个不共线的点来建立物体坐标系，然后求解物体坐标系与导航全局坐标之间的夹角，通过欧拉矩阵或者四元数的形式将其表示为刚体的位姿。而在正颌手术导航系统中，需要定位和跟踪的刚体分为两种:手术器械和上颌骨骨块。前者需要按照传统的流程,通过手术器械注册来新建物体坐标系，从而求解出在导航全局坐标系中的位姿；而后者，由于术前设计软件中已经存在了物体坐标系和骨块最终位置的位姿，因此可以通过坐标转化直接骨块目标位姿和初始位姿到目标位置的转移矩阵映射到导航坐标系中。在手术执行过程中，影像导航系统的作用就是实时定位骨块或器械的位置和姿态，并将其与规划的位姿相比较，计算误差并提供给机器人用以规划下一步的运动路径,从而达到引导的目的。
三、机器人视觉伺服方法
3.1视觉伺服系统构成
在视觉伺服系统中，相机安装位置通常有手眼视觉结构(Eye-in-Hand)和场景视觉结构(Eye-to-Hand)两种。手眼视觉结构中的相机安装在机械手末端，工作过程中随机械手一起运动，可有效避免视野遮挡、并观测到目标的局部细节，工作精度高，适合定位、跟踪任务；但同时也存在视野范围小、伺服空间有限的缺点。场景视觉结构中的相机一般安装在机器人本体上或机器人本体之外，具有较大的视野范围，但目标易被遮挡，且控制精度较低。视觉系统也可根据相机的数量分为单目、双目和多目系统，尽管采用较多的相机可更容易地解决一些视觉问题，但视觉信息的处理(如多幅图像间的特征匹配等)也会耗费更多的计算资源，将可能难以满足伺服系统实时性的要求。
结合手术机器人目标定位精度与实时性要求较高的特点，本发明拟采用基于单目场景/单目手眼混合视觉结构的骨关节手术机器人方案。视觉伺服系统结构示意图如图12所示。
场景相机倾斜向下固定在控制台前部上方，其采集的图像信息经控制计算机(上位机)处理后获得人体标识物在机器人参考系中的位置。手眼相机安装于机械臂末端，手眼相机在前、与机械臂末端的相对位置固定，其采集的图像信息经下位机处理后获得目标作物的精确信息，用于手术位置跟踪。上位机根据场景相机图像信息及下位机反馈的各工作部件的状态信息产生控制指令传递给下位机；下位机依据上位机指令、手眼相机图像信息以及各传感器信息，控制机械臂定位。
请参见图12，为本发明视觉伺服系统结构示意图。
3.2骨关节手术人视觉伺服控制算法
3.2.1控制规则
视觉伺服控制系统的目标是误差函数e(t)趋向于零，其典型的定义为
e(t)＝s(m(t),a)-s*
其中，矢量m(t)代表一个图像检测量集(如作物质心的图像坐标、作物图像矩、特征点的图像坐标等)，α为代表了系统一些先验知识的参数集(如相机的内参数、目标的三维模型等)，s(m(t),α)表示根据m(t)和α计算得到的包含多个视觉特征的特征矢量，s*表示特征矢量s的期望值。
若采用速度控制器，需要建立s的时间导数
与相机相对于目标作物运动速度v间的关系，即
式中Ls——特征雅可比矩阵
对于喷雾作业中具有固定姿态并且不动的目标，s*是一个常量，即
为使误差函数e(t)能以指数收敛，可使
式中λ——衰减系数
整理前面公式，可得
式中
——LS的逆矩阵，实际计算时，
可用其近似矩阵或LS近似矩阵的伪逆
替代。
目前，视觉伺服控制器多采用速度控制器，其系统框图如13所示。图13为视觉控制系统框图。
设计速度控制器的关键问题是选取合适的视觉特征矢量s,并计算特征雅克比矩阵LS或其估计值
根据选取的视觉特征矢量s的不同，视觉伺服方法通常可分为基于位置的视觉伺服(Position-Based Visual Servo,PBVS)和基于图像的视觉伺服(Image-Based VisualServo,IBVS)。PBVS中的s通常由基于图像检测量及系统先验知识估计的三维参数构成，而IBVS中的s通常由图像数据中直接得到的特征构成。
视觉伺服控制系统的结构如图14所示。图14为视觉控制系统框图
系统对手眼相机采集的作物图像进行背景分割与特征提取，获取作物包围圆特征；基于该特征与手眼相机的运动，确定喷头相对于期望喷雾位置在X、Y、Z三个方向上的位置偏差(δxδyδz)；该偏差输入速度控制器获得骨关节手术机器人的机械臂相对于作物的移动速度v,该速度为移动平台与骨关节手术机器人的机械臂的合成速度，即v＝vh+vc,移动平台速度vh可按照近似梯形速度曲线算法估算；并进一步利用vc和骨关节手术机器人的机械臂逆微分运动学方程获得各关节转速
四、机器人手术路径规划方法研究
4.1机器人手术路径规划方法分析
机器人轨迹规划非常重要，有必要对视觉伺服过程进行改进，在其基础上加入各种约束，并应用路径规划方法对机械臂运动进行合理规划。目前，常见的轨迹规划方法有人工势场法、向量场法、栅格法、微分几何法、模拟退火法、遗传算法、人工神经网络等。其中，人工势场法结构简单，便于底层的实时控制，规划出的路径一般比较平滑并且安全，在实时避障和平滑轨迹控制等方面得到了广泛应用。
人工势场法由Khatib教授于1986年首次提出，其基本思想是将机器人在规划空间中的运动抽象为一种在虚拟力场中的受力运动。目标处设置引力场，对机器人产生引力，引力随二者间距的增大而增加，方向指向目标点；障碍物或威胁区域处设置斥力场，对机器人产生排斥力，排斥力随二者间距的减小而增大，方向指向远离障碍物或威胁区域方向。机器人在合力的作用下朝着目标点运动。机器人在人工势场模型下的受力示意图如图15所示。图15为机器人在人工势场模型下的受力示意图。
传统的引力场、斥力场通常定义为：
Uatt(P)＝0.5a|Pt-P|2
其中，P、Pt分别代表机器人、目标点位置向量，P0表示障碍物距机器人最近点位置向量，P0表示障碍物斥力场的影响距离，α、β分别引力、斥力正比例增益系数。
引力、斥力分别等于引力场、斥力场函数的负梯度，即
而机器人所受虚拟力为两者矢量和，即
F＝Fatt+Frep
人工势场法以迭代方式规划出离散的机器人运动轨迹，虚拟力决定下一个时间步机器人的运动方向，即
其中，Pk、Pk+1分别表示当前、下一步机器人位置向量，ε表示迭代步长。
人工势场法通常存在以下缺陷:(1)目标不可达，当目标点与障碍物距离很近时、或者障碍物与目标点和机器人共线且位于二者之间时、或者通过狭窄通道无法找到可行路径时，机器人易提前陷入局部势场极小点而无法到达目标；(2)陷入徘徊抖动状态，机器人在多个局部极小点附近或者所受合力方向突变时易陷入徘徊抖动状态；(3)动态规划能力不足，由于忽略了环境中的各种动态不确定因素，导致规划的轨迹难以适应动态环境。
尽管存在一些缺陷，但相对于诸多复杂的路径规划算法，人工势场法简单实用且具有良好的实时性和安全性，因此，近些年来许多学者对其进行了较深入的应用研究，并提出了诸多有效的改进方法。本发明在满足视场约束、关节极限约束等的条件下，应用改进的人工势场法对骨关节手术机器人的机械臂的轨迹进行规划。
鉴于在某个点，由于引斥力刚好相等,方向相反,此时机器人会容易陷入局部最优解。因此本发明在人工势场法运行前增加一个预处理，将地图各点是否为障碍的状态保存，当机器人入局部最优解时，排除当前点的斥力方向，基于当前点到目标点的引力方向，找出当前点的前进的方向，根据前进方向检查预先保存的数据下一点的状态，若不是障碍，前进，直至跳出局部最优解；若未找到可行路径，添加随机扰动，让其跳出局部最优值。若跳出局部最优解，继续运行人工势场法的法。
4.2基于改进势场法的轨迹规划与运动控制
连续运动模式下，手术机械臂需要在运动过程中完成对人体位置跟踪。在传统人工势场中，引入速度势场以满足跟踪作业的要求，同时，引入视场约束和关节极限位置约束，以保证伺服控制及机械臂运动的有效性。并在此基础上，在笛卡尔空间中规划出一条可行轨迹，并采用基于图像的视觉伺服方法实现对轨迹的跟踪。
为防止目标脱离手眼相机视野，导致伺服过程失败，需要添加视场约束，即将视场的四个边界视为障碍物。另外，骨关节手术机器人的机械臂由于结构限制，其腰部、大臂、小臂关节均有一定的运动范围，该范围两侧的极限位置也应视为障碍。视场边界障碍定义在图像空间内，关节极限障碍定义在关节空间内，引力场的速度项定义在笛卡尔空间内，其位置项定义在图像空间内。可采用《Path planning for robust image-based control》中的方法，实现虚拟力在不同描述空间中的转换，即若势场函数Uf＝U(f(P)),且f(P)在P可行域内连续可微，则
式中
——偏导数
的逆(或伪逆)
本发明在满足视场约束、关节极限约束的前提下，先利用势场法在笛卡尔空间规划离散的相机运行轨迹，后将该轨迹映射到图像空间，采用基于图像的视觉伺服控制器实现对曲线的跟踪。
设当人体图像标识点k0(u0,v0)满足u0∈(umin,umax)、v0∈(vmin,vmax)时，人体图像保持在相机视野内，并设d为边界的影响距离。当k0运动到Mι、Mτ、Mt、Mb区域时，将受到相应斥力，促使其返回安全区M0。视场示意图如图16所示。图16为视场示意图。
骨关节手术机器人的机械臂关节变量均有一定的变化范围，设qi∈(qimin,qimax),i＝1,2,3，设θ为关节极限位置的影响距离。采用与现场约束同样的定义方法，其斥力场(如图所示)为
其中
设Γ＝{qi∈[qimin+θ,qimax-θ]，i＝1,2,3}，则骨关节手术机器人的机械臂关节极限约束斥力Frepq可表示为
其中，Lr为骨关节手术机器人的机械臂雅可比矩阵
请参见图17，为关节极限约束斥力场示意图。
根据上述定义的引力与斥力，得到骨关节手术机器人的机械臂在笛卡尔空间的合力为
F(P)＝Fatt(P)+βFrepv(P)+γFrepq(P)
其中，β、γ为缩放因子。
可通过调整β、γ的值改变各分力在合力中的比重。
利用F(P)可以在笛卡尔空间中为手眼相机规划一条可行的离散轨迹Γ＝{Pk|k＝0，1···n}
其中εk为第k个控制周期的步长。进一步地，可以利用相机模型计算出各轨迹点Pk处应对的矩特征组
的值
即在图像空间中得到了一条对应的离散轨迹
下面，利用基于图像的视觉伺服控制跟踪这条轨迹。设在第k个控制周期时，图像特征的误差定义为:
选用速度控制器，并使误差按指数规律下降
根据《基于人工势场法的竞争型网络机器人攻防规划》，控制器可选为
其中，
为图像雅可比矩阵LS估计值的伪逆。
结合视觉系统的机械臂运动控制框图如图18所示，根据《基于人工势场法的竞争型网络机器人攻防规划》可知，该控制器可使系统对模型误差及噪声扰动具有很好的鲁棒性。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.一种骨关节置换手术机器人的CT图像的三维重建方法，其特征在于，其包含：
步骤一、骨骼CT图像进行分割获取CT图像的骨骼分割数据；
步骤二、根据获得的CT图像的骨骼分割数据生成骨骼三维模型；
采用一种基于改进的SURF特征点视频图像匹配算法，对视频图像的目标进行匹配跟踪，然后求解目标的空间姿态，再对虚拟的三维物体进行相应的空间变换，从而实现增强现实的效果。
2.根据权利要求1所述的骨关节置换手术机器人的CT图像的三维重建方法，其特征在于，步骤一的具体步骤包括：
1)输入CT图像序列
2)DICOM格式文件解析
3)基于中值滤波的各向异性扩散的图像滤波
4)基于自适应阈值的骨骼组织粗分割
5)基于三维区域生长法的骨骼组织精分割。
3.根据权利要求2所述的骨关节置换手术机器人的CT图像的三维重建方法，其特征在于，其具体步骤还包括：
首先用图像锐化处理对CT图像进行图像增强，将图像高频部分加到原图像中，保留图像原来细节的同时达到增强图像边缘的目的；其次采用基于Hessian矩阵的三维结构滤波器进一步增强图像的骨骼边缘，利用Hessian矩阵可以编码三维空间结构的能力，增强包括骨组织较弱的松质骨的骨骼轮廓，为图割算法提供更多的分割依据；然后将图像分割问题转化为图论分割问题，使用标准的6-邻域系统将CT图像的三维数据场映射成图论的存储结构，得到用于图割算法的图；接着使用能量函数最小化来表示图的最小割，利用CT图像骨骼的CT值和增强滤波器的响应值构建图的能量函数；最后使用最大流最小割算法求解图的最小割，将图割的结果转回图像形式，得到骨骼的标签图像；同时，对于图像中紧密相连的骨骼区域，使用形态学的腐蚀运算将两块骨骼连通区域分开，获得相连骨骼的连接区域，针对该连通区域再次进行图割算法即可将相连的骨骼分开，提高骨骼分割的精确性。
4.根据权利要求1所述的骨关节置换手术机器人的CT图像的三维重建方法，其特征在于，在步骤二中，首先使用基于Marching Cubes面绘制算法对得到的骨骼像素进行三维重建，得到用于AR系统的数字三维模型；其次采用基于改进的SURF特征点匹配算法，对视频图像中的目标进行匹配跟踪，获得模型在二维图像中的位置；然后使用N点透视位姿求解，将二维图像中目标的位置到对应三维模型空间的位置的空间变换求解出来；最后对三维模型进行相应的空间变换，并在二维图像中渲染即可实现二维图像与三维模型的匹配融合。
5.据权利要求4所述的骨关节置换手术机器人的CT图像的三维重建方法，其特征在于，所述改进的SURF特征点匹配算法采用改进的SURF特征点的描述符算子，将描述符算子扩大到特征点的4-邻域内的特征点描述符，使其能够更好地描述局部信息。
6.根据权利要求4所述的骨关节置换手术机器人的CT图像的三维重建方法，其特征在于，在通过特征点的匹配实现对目标位置的跟踪还包含有虚拟三维模型的显示及姿态变换步骤，通过二维图像的目标的状态来求解三维模型的位姿状态，首先通过引入OpenGL的渲染技术来介绍三维空间与二维图像中的变换，其次通过透视N点投影问题来求解三维模型的空间位姿，最后进行三维模型在空间中的位姿变换。
7.根据权利要求4所述的骨关节置换手术机器人的CT图像的三维重建方法，其特征在于，
所述CT三维重建采用了基于三维可视化与特征点匹配的增强现实技术，该模块增强现实技术是采用了SURF算法与FLANN结合的改进算法，其图像匹配流程主要分为四个阶段：去除噪点，提取特征点，生成特征点描述子，特征点匹配；
其中，去除噪点是采用双边滤波去噪对采集的图像采取图像预处理消除噪点；
在提取特征点阶段，是将中间检测点与同尺度和上下相邻层距离最近的26个点进行比较改为与最近的14个点进行比较，以此来减少冗余信息量和降低算法计算复杂度；
在特征点的匹配阶段采用基于RANSAC删除错误匹配点以大幅减少误匹配点。
8.一种基于增强现实的计算机辅助骨科手术系统，包含术前病人CT图像的三维重建装置，应用于骨关节置换手术机器人，其特征在于，由计算机辅助骨科手术子系统和增强现实子系统构成；
其中，算机辅助骨科手术子系统包含医学图像的解析与预处理模块、基于交互式的骨骼分割模块、骨骼的自动分割模块、及人体数据场的三维可视化模块；
增强现实子系统包含摄像机视频图像处理模块、视频目标的检测与发展模块、三维模型的空间位姿求解、及三维模型的可视化及位姿控制模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111215711.7A CN114041878A (zh) | 2021-10-19 | 2021-10-19 | 骨关节置换手术机器人的ct图像的三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111215711.7A CN114041878A (zh) | 2021-10-19 | 2021-10-19 | 骨关节置换手术机器人的ct图像的三维重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114041878A true CN114041878A (zh) | 2022-02-15 |
Family
ID=80205664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111215711.7A Pending CN114041878A (zh) | 2021-10-19 | 2021-10-19 | 骨关节置换手术机器人的ct图像的三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114041878A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114998816A (zh) * | 2022-08-08 | 2022-09-02 | 深圳市指南针医疗科技有限公司 | 基于骨骼ai视频的病例改进方法、装置及存储介质 |
| CN115393272A (zh) * | 2022-07-15 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
| CN115619790A (zh) * | 2022-12-20 | 2023-01-17 | 北京维卓致远医疗科技发展有限责任公司 | 一种基于双目定位的混合透视方法、系统及设备 |
| CN115919472A (zh) * | 2023-01-09 | 2023-04-07 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
| CN117237242A (zh) * | 2023-11-16 | 2023-12-15 | 深圳爱递医药科技有限公司 | 基于结构光数据的口腔颌面外科术后护理系统 |
| CN117351215A (zh) * | 2023-12-06 | 2024-01-05 | 上海交通大学宁波人工智能研究院 | 一种人工肩关节假体设计系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140241576A1 (en) * | 2013-02-28 | 2014-08-28 | Electronics And Telecommunications Research Institute | Apparatus and method for camera tracking |
| CN106250938A (zh) * | 2016-07-19 | 2016-12-21 | 易视腾科技股份有限公司 | 目标跟踪方法、增强现实方法及其装置 |
| CN107862708A (zh) * | 2017-11-08 | 2018-03-30 | 合肥工业大学 | 一种sar与可见光图像配准方法 |
| CN108171791A (zh) * | 2017-12-27 | 2018-06-15 | 清华大学 | 基于多深度摄像机的动态场景实时三维重建方法及装置 |
| CN108389260A (zh) * | 2018-03-19 | 2018-08-10 | 中国计量大学 | 一种基于Kinect传感器的三维重建方法 |
| CN111080529A (zh) * | 2019-12-23 | 2020-04-28 | 大连理工大学 | 一种加强鲁棒性的无人机航拍图像拼接方法 |
| WO2020134617A1 (zh) * | 2018-12-28 | 2020-07-02 | 南京航空航天大学 | 基于街景图像匹配重复结构建筑的定位方法 |
| CN111553845A (zh) * | 2020-04-29 | 2020-08-18 | 南京邮电大学 | 一种基于优化的三维重建的快速图像拼接方法 |
-
2021
- 2021-10-19 CN CN202111215711.7A patent/CN114041878A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140241576A1 (en) * | 2013-02-28 | 2014-08-28 | Electronics And Telecommunications Research Institute | Apparatus and method for camera tracking |
| CN106250938A (zh) * | 2016-07-19 | 2016-12-21 | 易视腾科技股份有限公司 | 目标跟踪方法、增强现实方法及其装置 |
| CN107862708A (zh) * | 2017-11-08 | 2018-03-30 | 合肥工业大学 | 一种sar与可见光图像配准方法 |
| CN108171791A (zh) * | 2017-12-27 | 2018-06-15 | 清华大学 | 基于多深度摄像机的动态场景实时三维重建方法及装置 |
| CN108389260A (zh) * | 2018-03-19 | 2018-08-10 | 中国计量大学 | 一种基于Kinect传感器的三维重建方法 |
| WO2020134617A1 (zh) * | 2018-12-28 | 2020-07-02 | 南京航空航天大学 | 基于街景图像匹配重复结构建筑的定位方法 |
| CN111080529A (zh) * | 2019-12-23 | 2020-04-28 | 大连理工大学 | 一种加强鲁棒性的无人机航拍图像拼接方法 |
| CN111553845A (zh) * | 2020-04-29 | 2020-08-18 | 南京邮电大学 | 一种基于优化的三维重建的快速图像拼接方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张志敏, 基于骨骼组分割与增强现实技术的计算机辅助骨科手术系统, vol. 060, no. 2, pages 47 - 55 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393272A (zh) * | 2022-07-15 | 2022-11-25 | 北京长木谷医疗科技有限公司 | 基于深度学习的膝关节髌骨置换三维术前规划系统及方法 |
| CN114998816A (zh) * | 2022-08-08 | 2022-09-02 | 深圳市指南针医疗科技有限公司 | 基于骨骼ai视频的病例改进方法、装置及存储介质 |
| CN115619790A (zh) * | 2022-12-20 | 2023-01-17 | 北京维卓致远医疗科技发展有限责任公司 | 一种基于双目定位的混合透视方法、系统及设备 |
| CN115619790B (zh) * | 2022-12-20 | 2023-05-02 | 北京维卓致远医疗科技发展有限责任公司 | 一种基于双目定位的混合透视方法、系统及设备 |
| CN115919472A (zh) * | 2023-01-09 | 2023-04-07 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
| CN115919472B (zh) * | 2023-01-09 | 2023-05-05 | 北京云力境安科技有限公司 | 一种机械臂定位方法及相关系统、装置、设备及介质 |
| CN117237242A (zh) * | 2023-11-16 | 2023-12-15 | 深圳爱递医药科技有限公司 | 基于结构光数据的口腔颌面外科术后护理系统 |
| CN117237242B (zh) * | 2023-11-16 | 2024-02-27 | 深圳爱递医药科技有限公司 | 基于结构光数据的口腔颌面外科术后护理系统 |
| CN117351215A (zh) * | 2023-12-06 | 2024-01-05 | 上海交通大学宁波人工智能研究院 | 一种人工肩关节假体设计系统及方法 |
| CN117351215B (zh) * | 2023-12-06 | 2024-02-23 | 上海交通大学宁波人工智能研究院 | 一种人工肩关节假体设计系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114041878A (zh) | 骨关节置换手术机器人的ct图像的三维重建方法及系统 | |
| Devernay et al. | Towards endoscopic augmented reality for robotically assisted minimally invasive cardiac surgery | |
| Wang et al. | Video see‐through augmented reality for oral and maxillofacial surgery | |
| US8792963B2 (en) | Methods of determining tissue distances using both kinematic robotic tool position information and image-derived position information | |
| EP0741540B1 (en) | Imaging device and method | |
| US8971597B2 (en) | Efficient vision and kinematic data fusion for robotic surgical instruments and other applications | |
| US20090088897A1 (en) | Methods and systems for robotic instrument tool tracking | |
| US20090088773A1 (en) | Methods of locating and tracking robotic instruments in robotic surgical systems | |
| EP3789965B1 (en) | Method for controlling a display, computer program and mixed reality display device | |
| Lee et al. | From medical images to minimally invasive intervention: Computer assistance for robotic surgery | |
| CN114027985A (zh) | 一种用于骨关节置换手术的机器人 | |
| Coste-Manière et al. | Planning, simulation, and augmented reality for robotic cardiac procedures: the STARS system of the ChIR team | |
| US20220319135A1 (en) | Multi-modal visualization in computer-assisted tele-operated surgery | |
| Zhang et al. | Visual servo control of endoscope-holding robot based on multi-objective optimization: System modeling and instrument tracking | |
| Speidel et al. | Recognition of risk situations based on endoscopic instrument tracking and knowledge based situation modeling | |
| CN111658142A (zh) | 一种基于mr的病灶全息导航方法及系统 | |
| Traub et al. | Augmented reality for port placement and navigation in robotically assisted minimally invasive cardiovascular surgery | |
| Yu et al. | Robust 3-D motion tracking from stereo images: A model-less method | |
| Zhang et al. | Real-time human motion capture with simple marker sets and monocular video | |
| CN114886558A (zh) | 一种基于增强现实的内窥镜投影方法及系统 | |
| Moll et al. | Ball joints for marker-less human motion capture | |
| CN112368739A (zh) | 用于肝脏手术的对准系统 | |
| Guo et al. | A method of decreasing transmission time of visual feedback for the Internet-based surgical training system | |
| Rasool et al. | Virtual knee arthroscopy using haptic devices and real surgical images | |
| WO2023000560A1 (zh) | 面向并联骨折手术机器人的复位轨迹自动式规划方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |