CN111297479B - 一种打钉机器人系统及其打钉控制方法 - Google Patents
一种打钉机器人系统及其打钉控制方法 Download PDFInfo
- Publication number
- CN111297479B CN111297479B CN201911045998.6A CN201911045998A CN111297479B CN 111297479 B CN111297479 B CN 111297479B CN 201911045998 A CN201911045998 A CN 201911045998A CN 111297479 B CN111297479 B CN 111297479B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- image
- nailing
- image acquisition
- acquisition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000005553 drilling Methods 0.000 claims abstract description 81
- 238000012937 correction Methods 0.000 claims abstract description 53
- 230000033001 locomotion Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 7
- 239000002184 metal Substances 0.000 claims description 90
- 239000002985 plastic film Substances 0.000 claims description 7
- 229920006255 plastic film Polymers 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 210000001503 joint Anatomy 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 12
- 238000003384 imaging method Methods 0.000 description 30
- 238000001356 surgical procedure Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000011478 gradient descent method Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000642 iatrogenic effect Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 210000002436 femur neck Anatomy 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 208000032839 leukemia Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000006740 morphological transformation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
- A61B17/1604—Chisels; Rongeurs; Punches; Stamps
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
- A61B17/17—Guides or aligning means for drills, mills, pins or wires
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种打钉机器人系统及其打钉控制方法，其中，打钉机器人系统包括：机械臂，在机械臂前端安装的力传感器、注册装置和手术器械；力传感器安装于机械臂和手术器械之间，用于检测钻孔打钉过程中力的变化；注册装置安装在机械臂前端的机械接口位置，用于进行机械臂和图像采集装置之间的注册；图像畸变校正装置与图像采集装置连接，用于对图像采集装置进行畸变校正；图像采集装置用于采集手术图像；远程工作站与机械臂和图像采集装置通过数据线连接，用于对图像采集装置采集的手术图像进行处理，对打钉路径进行规划以及控制机械臂运动。该系统对硬件设备要求低，降低手术成本，根据术中实时反馈的图像信息进行调整，提高打钉精度。
Description
技术领域
本发明涉及手术机器人技术领域，特别涉及一种打钉机器人系统及其打钉控制方法。
背景技术
在骨科手术中精确钻孔是常见的手术步骤，如脊柱手术中的椎弓根螺钉植入，创伤手术中的股骨颈螺钉置入，髓内针内固定的远端锁定等等，都需要进行精确的钻孔。钻孔的精度，包括入钉点的位置和钻孔的方向，都直接影响到手术的最终效果，而不正确的钻孔操作将可能造成对患者的致命伤害。为了提高钻孔操作的精度，机器人和计算机技术近年来逐步应用于临床手术，目前市场上也有众多的手术导航或手术机器人的商用产品可供医生选择。
目前大多数用于钻孔打钉操作的手术导航系统或者手术机器人系统都是基于光学定位技术且依赖术中或术前的三维图像数据，包括在X光导引下的经皮介入手术。这些导航技术基于物理空间中的绝对坐标。换言之他们的功能本质上是获取在物理空间中手术器械和手术部位的位置和姿态。然后医生或者机器人根据这些位置和姿态信息进行进一步的操作。
尽管现有的导航方式借助光学定位技术和三维图像信息可以达到相当高的定位精度，但是其缺点也是明显的。首先术中使用的图像采集设备必须经过标定，换言之传统手术室中的标准设备不进行进一步改装不能直接用于手术导航系统。其二，手术部位和手术器械上必须安装专门的光学标志物，这既增加了手术步骤又给病人带来了额外的医源性创伤。其三，与传统的手术相比，现有的导航方式借助额外的光学跟踪设备和术前或术中的CT扫描，使得手术的成本显著提高。
近年来，视觉伺服技术在机器人领域受到了越来越多的关注。所谓的视觉伺服，即通过视觉传感器获取目标和机器人的位置或移动信息，然后用这些信息实时地引导机器人完成特定的任务。在视觉伺服控制框架中，由于采用了图像反馈对控制进行闭环，其定位精度要高于开环控制。反馈机制的引入使得最终的控制精度对模型和标定误差不敏感。另一方面，随着数字图像处理技术的发展，视觉伺服中对于目标对象上安装专门的视觉标志物的需求越来越低，而目标本身的几何形状信息则得到了越来越好的利用，然而这些图像反馈控制的技术目前并未运用到手术机器人上。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种打钉机器人系统，该系统对硬件设备要求低，在降低手术成本的同时还可以提高手术的打钉精度。
本发明的另一个目的在于提出一种打钉机器人系统的打钉控制方法。
为达到上述目的，本发明一方面实施例提出了一种打钉机器人系统，包括：
机械臂、注册装置、力传感器、手术器械、图像采集装置、图像畸变校正装置和远程工作站；
所述机械臂包括至少三个平动自由度和两个旋转自由度，在所述机械臂前端有机械接口，通过机械接口安装所述注册装置或所述手术器械；
所述力传感器安装于所述机械臂和所述手术器械之间，用于检测钻孔打钉过程中力的变化；
所述注册装置安装在所述机械臂前端的机械接口位置，用于进行所述机械臂和所述图像采集装置之间的注册；
所述图像畸变校正装置与所述图像采集装置连接，用于对所述图像采集装置进行畸变校正；
所述图像采集装置用于采集手术图像，并发送给所述远程工作站；
所述远程工作站与所述机械臂和所述图像采集装置通过数据线连接，用于对所述图像采集装置采集的手术图像进行处理，对所钻孔打钉路径进行规划以及控制所述机械臂运动。
本发明实施例的打钉机器人系统，对硬件的需求相对较低，普通手术室常用的C臂或者G臂X光机不用进行进一步改造即可直接作为本发明的手术图像采集设备，降低了手术成本，设备购置成本，同时操作方法简单也节约了相应的人员培训时间。图像畸变校正装置可以快速拆卸，无需精确安装，校正计算自动完成，使得成像畸变较大的低成本图像采集设备也可用于本系统。通过在机械臂上安装不同的手术器械，提供了机器人自动钻孔和机器人把持导向器引导医生手动钻孔两种工作模式，以适应不同手术的需求。同时自动钻孔模式下有力传感器进行监控，医生也可以随时通过图形界面中止或者暂停钻孔，从而为手术提供了双重安全保障。
另外，根据本发明上述实施例的一种打钉机器人系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述图像畸变校正装置为由X光下不显影的材料制成的基板嵌入金属球阵列制成。
进一步地，在本发明的一个实施例中，所述注册装置由X光下不显影的基座嵌入大于等于8个的空间排列的金属球制成；
所述金属球分为两组，两组金属球直径相差大于等于百分之四十，两组金属球分别各组成一个平面，且两个平面不重合，每组金属球的球心构成一个凸多边形的顶点；
将每组金属球两两分成若干对，每对金属球球心之间的连线在空间相中交于同一点，每对金属球中两个金属球球心到交点的距离之比不相同。
进一步地，在本发明的一个实施例中，所述机械臂前端的机械接口分为三段，第一段和第二段之间隔有塑料薄膜，通过所述塑料薄膜将所述手术器械或所述注册装置隔离为无菌区，所述手术器械或所述注册装置通过第二段和第三段之间的机械接口对接，相邻两段机械接口之间的对接通过锁紧环旋转锁定。
为达到上述目的，本发明另一方面实施例提出了一种打钉机器人系统的打钉控制方法，包括：
S1，在图像采集装置上安装畸变校正装置，在手术需要的预设的两个透视角度下对所述图像采集装置进行畸变校正；
S2，在机械臂前端安装注册装置，在所述预设的两个透视角度下，分别进行注册以获得所述图像采集装置的成像模型参数和所述图像采集装置与所述机械臂之间的空间位置关系，注册结束后，取下所述注册装置；
S3，根据选定的手术模式在所述机械臂前端安装相应的手术器械；
S4，通过所述图像采集装置采集所述预设的两个角度下的透视图像，并发送至远程工作站，通过所述远程工作站在采集的透视图像上规划钻孔打钉路径；
S5，根据规划的钻孔打钉路径、所述图像采集装置的成像模型参数和所述图像采集装置与所述机械臂之间的空间位置关系，所述远程工作站基于空间位置的方法计算所述机械臂的运动量，并控制所述机械臂进行相应运动移动到指定位置；
S6，根据手术需要在所述预设的两个透视角度各重新采集透视图像，通过图像处理算法提取所述机械臂前端的手术器械在新采集的透视图像中的位置和方向，根据所述图像处理算法提取的位置和方向及步骤S4中规划的钻孔打钉路径计算当前定位误差，根据当前定位误差对所述机械臂进行调整；
S7，所述机械臂根据选定的手术模式进行钻孔打钉操作。
本发明实施例的一种打钉机器人系统的打钉控制方法，手术时先对图像采集装置进行畸变校正以及进行机械臂和图像采集装置之间的注册，然后采集手术区域的透视图像；医生通过远程工作站上的图形界面规划打钉路径；远程工作站计通过基于空间位置的方法计算出机械臂运动量，机械臂移动到指定位置，然后重新进行图像采集；远程工作站根据图像中打钉路径与手术器械的相对位置，通过图像反馈控制方法计算出机械臂运动量并控制机械臂进行精细位置调整；由机械臂驱动电钻完成钻孔操作，或者由机械臂把持导向器，医生来在导向器协助下手动完成钻孔操作。由此，在手术中钻孔打钉位置更加精准，减少了病人额外的医源性创伤，为手术提供了安全保障。
另外，根据本发明上述实施例的一种打钉机器人系统的打钉控制方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述S1进一步包括：
S11，在所述图像采集装置上安装所述畸变校正装置，移动所述图像采集装置至手术需要的第一预设透视角度，采集一张第一透视图像；
S12，提取所述畸变校正装置中的金属球阵列在所述第一预设透视图像中的实际位置；
S13，根据单应性原理计算所述畸变校正装置中的金属球阵列在所述第一透视图像中的理论位置；
S14，通过所述S12中提取的实际位置和所述S13中计算的理论位置拟合出所述第一预设透视角度下的所述第一透视图像的畸变场；
S15，移动所述图像采集装置至手术需要的第二预设透视角度，采集一张第二透视图像，重复步骤S12-S14，拟合出所述第二预设透视角度下的所述第二透视图像的畸变场。
进一步地，在本发明的一个实施例中，所述S2进一步包括：
S21，在所述机械臂前端安装所述注册装置，移动所述图像采集装置至手术需要的第一预设透视角度；
S22，移动所述机械臂使所述注册装置位于所述图像采集装置的视场中，通过所述图像采集装置采集一张透视图像并通过所述畸变校正装置进行畸变校正；
S23，提取所述注册装置中的金属球在所述S22中畸变校正后的透视图像中的位置；
S24，根据所述机械臂的当前位姿，计算出所述注册装置中的金属球在机械臂基坐标系中的位置；
S25，根据所述注册装置中的金属球的空间排列方式，将所述注册装置中的金属球在所述S24中提取的位置和所述S23中计算的位置进行一一对应；
S26，根据所述S25得到的一一对应关系，使用Faugeras相机标定算法，计算出所述图像采集装置在所述第一透视角度下的成像模型参数以及所述图像采集装置在机械臂基坐标系中的位置，再使用梯度下降法进行优化；
S27，移动所述图像采集装置至手术需要的所述第二预设透视角度，重复S22-S26，得到所述图像采集装置在所述第二预设透视角度下的成像模型参数以及所述图像采集装置在机械臂基坐标系中的位置。
进一步地，在本发明的一个实施例中，所述S5进一步包括：
S51，根据注册得到的在所述预设的两个透视角度下的所述图像采集装置的成像模型参数和所述图像采集装置与所述机械臂之间的空间位置关系以及所述钻孔打钉路径，计算所述钻孔打钉路径在机械臂基坐标系中的位置和方向；
S52，根据所述机械臂的当前位姿计算出手术器械在机械臂基坐标系中的位置和方向；
S53，将所述S51中所述钻孔打钉路径在机械臂基坐标系中的位置和方向和S52中计算的手术器械在机械臂基坐标系中的位置和方向进行比较，根据比较结果得到所述机械臂的运动量。
进一步地，在本发明的一个实施例中，所述S6进一步包括：
S61，根据注册得到的在所述预设的两个透视角度下的所述图像采集装置的成像模型参数和所述图像采集装置与所述机械臂之间的空间位置关系以及所述钻孔打钉路径，计算所述钻孔打钉路径在机械臂基坐标系中的位置和方向；
S62，根据所述图像采集装置的成像模型参数以及通过图像处理算法提取所述机械臂前端的手术器械在新采集的透视图像中的位置和方向，计算手术器械在机械臂基坐标系中的位置和方向；
S63，将所述S61计算的所述钻孔打钉路径在机械臂基坐标系中的位置和方向和所述S62计算的手术器械在机械臂基坐标系中的位置和方向进行比较得到当前定位误差，根据当前定位误差得到所述机械臂的运动量，并对所述机械臂进行调整。
进一步地，在本发明的一个实施例中，所述S7，还包括：
S71，通过所述远程工作站监控所述机械臂进行钻孔打钉操作，在监控到位置异常时，通过步骤S6对所述机械臂进行调整；
S72，通过安装于所述机械臂和手术器械之间的力传感器检测钻孔过程中力的变化，在检测到异常力信号时，所述机械臂停止工作，对所述机械臂进行调整。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的一种打钉机器人系统结构示意图；
图2为根据本发明又一个实施例的一种打钉机器人系统结构示意图；
图3为根据本发明一个实施例的机械臂前端安装注册装置的结构示意图；
图4为根据本发明一个实施例的机械臂前端安装导向器的结构示意图；
图5为根据本发明一个实施例的机械臂前端安装电钻的结构示意图；
图6为根据本发明一个实施例的机械臂前端机械接口结构示意图；
图7为根据本发明又一个实施例的机械臂前端机械接口结构示意图；
图8为根据本发明一个实施例的图像畸变校正装置示意图；
图9为根据本发明一个实施例的注册装置结构示意图；
图10为根据本发明一个实施例的一种打钉机器人系统的打钉控制方法流程图；
图11为根据本发明一个实施例的通过图形界面在透视图像中规划打钉路径示意图。
附图标记：机械臂-100、注册装置-110、力传感器-120、手术器械-130、图像采集装置-200、图像畸变校正装置-210、远程工作站-300、图形界面-310、手术对象-400、数据线-500、导向器-27、电钻-28。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的一种打钉机器人系统及其打钉控制方法。
首先将参照附图描述根据本发明实施例提出的一种打钉机器人系统。
图1和图2为根据本发明一个实施例的打钉机器人系统结构示意图。
如图1和图2所示，该一种打钉机器人系统包括：机械臂100、图像采集装置200和远程工作站300。
在打钉机器人系统中，还包括注册装置110、力传感器120和图像畸变校正装置210。
其中，机械臂100包括至少三个平动自由度和两个旋转自由度，机械臂前端带有机械接口，可以快速换装注册装置110和手术器械130。
手术器械130包括但不限于电钻28和导向器27，根据手术需要确定采用自动钻孔模式或手动钻孔模式，若采用自动钻孔模式，将电钻28安装于机械臂100前端，若采用手动钻孔模式，将导向器27安装于机械臂前端。
力传感器120安装于机械臂100和手术器械130之间，用于检测钻孔打钉过程中力的变化。
注册装置110安装在机械臂前端的机械接口位置，用于进行机械臂100和图像采集装置200之间的注册。
图像畸变校正装置210与图像采集装置200连接，用于对图像采集装置200进行畸变校正。
图像采集装置200用于采集手术图像，并发送给远程工作站300，图像采集装置200可以为提供二维透视图像的C型臂X光机或者G型臂X光机。
远程工作站300与机械臂100和图像采集装置200通过数据线500连接，用于对图像采集装置200采集的手术图像进行处理，对钻孔打钉路径进行规划以及控制机械臂100运动。
远程工作站300安装有控制算法软件以及用于医生操作的图形界面310，医生可以通过图像图形界面310对手术进行监测或对机器人系统下达指示命令。
如图3、4、5所示，分别展示了机械臂前端安装注册装置110、手术器械130为导向器27和手术器械130为电钻28的结构示意图，其中，力传感器120安装在机械臂100和手术器械130或注册装置110之间，用于检测作用在前端工具(注册装置或手术器械)上的外力。
机械臂前端的机械接口分为三段，第一段和第二段之间隔有塑料薄膜，通过塑料薄膜将手术器械或注册装置隔离为无菌区，手术器械或注册装置通过第二段和第三段之间的机械接口对接，相邻两段机械接口之间的对接通过锁紧环旋转锁定。
如图6和图7所示，展示了机械臂机械接口的结构，本实施例中的接口分为三段，分别为29，30，31，手术时29和30对接在一起，中间隔有塑料薄膜，将29以上部分(图中为29右侧)隔离为无菌区。对接后旋转锁紧环32即可将29和30锁定。机械臂末端安装的注册装置或者手术器械通过30和31之间的接口对接，类似的，30和31之间的对接通过旋转锁紧环33进行锁定。拆卸时只需反向旋转锁紧环即可完成解锁。
如图8所示，展示了本发明的打钉机器人系统中使用的图像畸变校正装置的结构，它包括一个X光下不显影的材料制成的平面基板1，其上嵌入了金属球阵列2。
金属球阵列的排列形式是事先给定的，如本实施例中金属球沿两个垂直的方向等距离重复排列。进行畸变校正时将畸变校正装置通过快拆装置安装于手术图像采集设备的影像增强器上，然后采集手术图像。安装时畸变校正装置只需覆盖整个影像增强器，对安装角度没有要求，从而采集的到的手术图像被金属球阵列充满。
本发明的打钉机器人系统的注册装置由X光下不显影的基座嵌入至少8个的空间排列的金属球制成；金属球分为两组，一组直径较大，一组直径较小，两组金属球直径相差大于等于百分之四十，两组金属球分别各组成一个平面，且两个平面不重合，每组金属球的球心构成一个凸多边形的顶点；将每组金属球两两分成若干对，每对金属球球心之间的连线在空间相中交于同一点，每对金属球中两个金属球球心到交点的距离之比不相同。
如图9所示，展示了本发明的打钉机器人系统的注册装置的结构，它包括空间中不显影的基座3，以及嵌入其上的空间中排列的金属球4，5，6，7，9，10，11，12。本实施例中金属球分为大小两组，每组各四个。在一个实施例子中，可以取较大的四个金属球(9，10，11，12)的直径是较小的金属球(4，5，6，7)的1.5倍，但至少应不少于40％。较大的四个金属球(9，10，11，12)的球心位于同一平面上，较小的四个金属球(4，5，6，7)的球心也位于同一平面上，两个平面相距一定距离。金属球9，10，11，12的球心和金属球4，5，6，7的球心各自构成一个凸四边形。较大的四个金属球可以分为两对，9，11构成一对，10，12构成一对，9，11之间的连线段和10，12之间的连线段交于一点13，金属球10和12到交点13的距离之比与金属球9和11到交点13的距离之比不相同。较小的四个金属球也可以分为两对，4，6构成一对，5，7构成一对，4，6之间的连线段和5，7之间的连线段交于一点8，金属球4和6到交点8的距离之比与金属球5和7到交点8的距离之比不相同。
根据本发明实施例提出的一种打钉机器人系统，对硬件的需求相对较低，普通手术室常用的C臂或者G臂X光机不用进行进一步改造即可直接作为本发明的手术图像采集设备，降低了手术成本，设备购置成本，同时操作方法简单也节约了相应的人员培训时间。图像畸变校正装置可以快速拆卸，无需精确安装，校正计算自动完成，使得成像畸变较大的低成本图像采集设备也可用于本系统。通过在机械臂上安装不同的手术器械，提供了机器人自动钻孔和机器人把持导向器引导医生手动钻孔两种工作模式，以适应不同手术的需求。同时自动钻孔模式下有力传感器进行监控，医生也可以随时通过图形界面中止或者暂停钻孔，从而为手术提供了双重安全保障。
其次参照附图描述根据本发明实施例提出的一种打钉机器人系统的打钉控制方法。
现有的机器人打钉技术在使用过程中存在很多问题，包括对硬件要求过高，使用较为复杂，对病人有额外的损伤等问题，本发明实施例提出的基于术中二维图像引导的打钉机器人系统及基于图像反馈控制的打钉控制方法，有效的解决上述问题，图像反馈控制方法仅仅依赖二维术中X光透视图像，换言之，普通手术室中常用的G臂或C臂X光机皆可满足使用，从而避免了在患者身上安装光学标志带来的额外损伤，以及CT扫描带来的额外成本，同时降低了患者因此导致的白血病发病几率。下面结合附图及实施例详细介绍本发明实施例的打钉机器人系统的打钉控制方法。
图10为根据本发明一个实施例的一种打钉机器人系统的打钉控制方法流程图。
如图10所示，该一种打钉机器人系统的打钉控制方法包括：
S1，在图像采集装置上安装畸变校正装置，在手术需要的预设的两个透视角度下对图像采集装置进行畸变校正。
可以理解的是，本发明实用的图像采集装置可以为提供二维透视图像的C型臂X光机或者G型臂X光机，当X光机图形没有畸变时，如平板X光机和自带畸变矫正功能的X光机，可以跳过该过程，不进行畸变校正。
如图8所示，为图像畸变校正装置的结构示意图，由X光下不显影的材料制成的基板嵌入金属球阵列制成，使用时通过快拆装置安装在手术图像采集设备上，安装时只要能覆盖手术图像采集设备的影像增强器即可，对安装角度没有要求。
进一步地，在本发明的实施例中，S1进一步包括：
S11，在图像采集装置上安装畸变校正装置，移动图像采集装置至手术需要的第一预设透视角度，采集一张第一透视图像；
S12，提取畸变校正装置中的金属球阵列在第一预设透视图像中的实际位置；
S13，根据单应性原理计算畸变校正装置中的金属球阵列在第一透视图像中的理论位置；
S14，通过S12中提取的实际位置和S13中计算的理论位置拟合出第一预设透视角度下的第一透视图像的畸变场；
S15，移动图像采集装置至手术需要的第二预设透视角度，采集一张第二透视图像，重复步骤S12-S14，拟合出第二预设透视角度下的第二透视图像的畸变场。
可以理解的是，在上述步骤S14中，进行拟合时，使用的拟合函数包括但不限于多项式，三角函数，分段样条等形式。
畸变校正结束后，此后的手术操作过程中，每次获得的原始X光图像都先根据上面所得到的畸变场进行修正后再显示在远程工作站的图形界面上。
具体地，步骤S1的畸变校正具体过程如下：
a)移动图像采集装置至特定手术所要求的第一个透视角度，采集一张X光图像；
b)提取图像采集装置中的金属球阵列在a)中X光图像中的位置，以像素坐标的形式进行表示，不妨设一共提取到了N个金属球的坐标点，记为P1，P2，……，PN；
c)计算图像采集装置中的金属球阵列在a)中X光图像中的理论位置，过程为：
i、根据畸变校正装置上金属球阵列的实际排列方式，求出畸变校正装置坐标系中所有M个金属球的坐标，记为Q1，Q2，……，QM；
ii、找出b)中P1，P2，……，PN中离视场中央最近的点及其周围最近的四个点，记为
类似地找出Q1，Q2，……，QM中位于畸变校正装置最中央的点及其周围最近的四个点，记为
根据这五个点的对应关系，即
到
的对应关系，根据单应性原理求出粗略的单应变换矩阵H0；
iii、根据单应变换矩阵H0计算图像上所采集到的金属球坐标P1，P2，……，PN在畸变校正装置上的理论位置
根据就近对应的原则，将
与畸变校正装置上金属球的实际坐标Q1，Q2，……，QM进行匹配，从而得到P1，P2，……，PN相对应的畸变校正装置上金属球的实际坐标
根据这N个点的对应关系，即P1，P2，……，PN到
的对应关系，根据单应性原理求出精确的单应变换矩阵H。然后再根据该单应变换矩阵H以及
求出图像中的金属球在没有图像畸变的情况下理论位置
d)通过金属球阵列在图像中的实际位置P1，P2，……，PN和理论位置
拟合出该透视角度下图像的畸变场，其过程如下：
i、确定畸变场拟合函数f的形式，包括但不限于多项式，三角函数，分段样条等形式。畸变场拟合函数的含义为，对于未畸变图像上的一点坐标P，在畸变后的图像上坐标变为f(P，θ)，其中θ是畸变场拟合函数的待定系数；
ii、使用梯度下降法优化待定系数θ使得拟合误差
取极小值，从而得到最终的畸变场拟合函数fθ；
iii、通过fθ求出X光图像中每个像素畸变之后与畸变之前的像素坐标之差，从而得到整个X光图像的畸变场；
e)在特定手术所要求的第二个透视角度下采集一张X光图像，重复步骤b)-d)，得到第二个透视角度下的畸变场。
S2，在机械臂前端安装注册装置，在预设的两个透视角度下，分别进行注册以获得图像采集装置的成像模型参数和图像采集装置与机械臂之间的空间位置关系，注册结束后，取下注册装置。
如图9所示，为注册装置的结构示意图，注册装置安装在机械臂前端的机械接口处，用于进行机械臂和图像采集装置间的注册，注册装置由X光下不显影的基座嵌入不少于8个空间排列的金属球制成，金属球分为两组，一组直径较大，一组直径较小，两组直径至少相差百分之四十。
进一步地，在本发明的实施例中，S2进一步包括：
S21，在机械臂前端安装注册装置，移动图像采集装置至手术需要的第一预设透视角度；
S22，移动机械臂使注册装置位于图像采集装置的视场中，通过图像采集装置采集一张透视图像并通过畸变校正装置进行畸变校正；
S23，提取注册装置中的金属球在S22中畸变校正后的透视图像中的位置；
S24，根据机械臂的当前位姿，计算出注册装置中的金属球在机械臂基坐标系中的位置；
S25，根据注册装置中的金属球的空间排列方式，将注册装置中的金属球在S24中提取的位置和S23中计算的位置进行一一对应；
S26，根据S25得到的一一对应关系，使用Faugeras相机标定算法，计算出图像采集装置在第一透视角度下的成像模型参数以及图像采集装置在机械臂基坐标系中的位置，再使用梯度下降法进行优化；
S27，移动图像采集装置至手术需要的第二预设透视角度，重复S22-S26，得到图像采集装置在第二预设透视角度下的成像模型参数以及图像采集装置在机械臂基坐标系中的位置。
具体地，步骤S2的注册过程具体如下：
a)移动图像采集装置至特定手术所要求的第一个透视角度；
b)移动机械臂使得安装在其前端的注册装置位于图像采集装置的视场中，然后采集一张X光图像并进行畸变校正；
c)提取注册装置上的金属球在b)中采集的，进行畸变校正之后的图像中的位置；
d)根据机械臂当前的位姿，计算出注册装置的金属球在机械臂基坐标系中的坐标，其中四个较大的金属球的坐标记为C1，C2，C3，C4，四个较小的金属球的坐标记为C5，C6，C7，C8；
e)根据金属球的空间排列方式，将提取的金属球在三维空间中的位置d)以及计算的图像中的位置c)进行一一对应，具体过程如下：
i、根据图像中金属球占据的区域大小将较大的金属球和较小的金属球区分开来；
ii、考虑较大的四个金属球，由于实施例中四个金属球构成凸多边形的顶点，可以指定按照顺时针顺序进行编号，设其在设其在图像中的坐标为A1，A2，A3，A4；求出A1，A3之间的连线段和A2，A4之间的连线段的交点坐标B，计算四个点到B的归一化距离，即
类似的，也可以根据四个较大的金属球在机械臂基坐标系中的坐标C1，C2，C3，C4求出其对应的归一化距离d1，d2，d3，d4；由于归一化距离在不同的透视角度下近似不变，且根据上述实施例中所涉及到的注册装置的特征，四个较大金属球的归一化距离各不相同，因此对于l1，l2，l3，l4，在d1，d2，d3，d4中选取与之取值最相近的项分别进行对应，即可得到图像中的四个较大金属球与注册装置上四个较大的金属球的一一对应关系，不妨记C1，C2，C3，C4对应的图像上的坐标为
iii、类似ii中可以得到四个较小的金属球在机械臂基坐标系中的坐标C5，C6，C7，C8以及一一对应的图像上四个较小的金属球的坐标
f)根据e)中C1，C2，……，C8到
的一一对应关系，使用Faugeras相机标定算法计算出图像采集装置在该透视角度下的成像模型参数以及图像采集装置在机械臂基坐标系中的位置，再使用梯度下降法对结果进行优化；得到的图像采集装置在该透视角度下的成像模型参数用相机内参矩阵A1表示，图像采集装置在机械臂基坐标系中的位置用姿态矩阵R1和位置矢量t1表示；
g)移动图像采集装置至特定手术所要求的第二个透视角度，重复b)-f)得到图像采集装置在第二个透视角度下的成像模型参数以及图像采集装置在机械臂基坐标系中的位置，其中图像采集装置在该透视角度下的成像模型参数用相机内参矩阵A2表示，图像采集装置在机械臂基坐标系中的位置用姿态矩阵R2和位置矢量t2表示。
需要说明的是，上述步骤S1和S2中，X光图像畸变校正装置和注册装置上的金属球在图像中的位置通过基于数字化重建透视图像(DRR)模板匹配，形态学变换等图像处理算法自动提取出来。
S3，根据选定的手术模式在机械臂前端安装相应的手术器械。
可以理解的是，根据手术需要确定采用自动钻孔模式或手动钻孔模式。若采用自动钻孔模式，将电钻安装于机械臂前端，若采用手动钻孔模式，将导向器安装于机械臂前端。
S4，通过图像采集装置采集预设的两个角度下的透视图像，并发送至远程工作站，通过远程工作站在采集的透视图像上规划钻孔打钉路径。
图11给出了一个通过图形界面在透视图像中打钉路径规划的例子。14和15是从两个所述预设角度采集的X光图像。本实施例中14从患者的正位采集，15从患者的侧位采集。线段16和17为医生在图像上划定的打钉路径的位置，包含了打钉路径的位置和角度信息。本图形界面还可以根据事先输入的螺钉的直径和长度在图像上叠加显示钉子的轮廓线，如18和19所示，以便于医生规划打钉路径。
可以理解的是，医生在步骤S1中两个方向采集的透视图像上规划钻孔路径用入钉点在两幅透视图像中的像素坐标
以及钻孔路径在两幅图像中的方向向量
表示。
S5，根据规划的钻孔打钉路径、图像采集装置的成像模型参数和图像采集装置与机械臂之间的空间位置关系，远程工作站通过空间位置的方法计算机械臂的运动量，并控制机械臂进行相应运动移动到指定位置。
进一步地，在本发明的实施例中，S5进一步包括：
S51，根据注册得到的在预设的两个透视角度下的图像采集装置的成像模型参数和图像采集装置与机械臂之间的空间位置关系以及钻孔打钉路径，计算钻孔打钉路径在机械臂基坐标系中的位置和方向；
S52，根据机械臂的当前位姿计算出手术器械在机械臂基坐标系中的位置和方向；
S53，将S51中打钉路径在机械臂基坐标系中的位置和方向和S52中计算的手术器械在机械臂基坐标系中的位置和方向进行比较，根据比较结果得到机械臂的运动量。
具体地，通过空间位置的方法计算机械臂的运动量，具体步骤为：
a)根据步骤S2中得到的图像采集装置在步骤S1的两个透视角度下的成像模型参数及其在机械臂基坐标系中的位置，以及步骤S4中医生在透视图像上的规划的钻孔路径，计算出钻孔路径在机械臂基坐标系中的位置和方向，钻孔路径的位置用路径上一点的三维坐标
表示，其方向用单位向量
表示；
b)根据机械臂当前所处位姿和机械臂的正向运动学模型计算出当前手术器械(如钻头\导针\穿刺针等)在机械臂基坐标系中的位置及其方向，手术器械的位置用其端点的三维坐标
表示，其方向用单位向量
表示；
c)比较a)中打钉路径位置
和方向
以及b)中手术器械当前的位置
及方向
得到机械臂的运动量；具体过程如下：
i、机械臂的旋转运动量rw根据下式求得：
其中
其中，rw的方向表示机械臂做旋转运动的旋转轴方向，rw的模表示机械臂做旋转运动的角度大小；
ii、机械臂的平移运动量dw根据下式求得：
其中，
通过求解如下线性方程组获得：
其中，
其中，
表示
的第j个元素，
表示
的第j个元素，(ai)jk表示Ai的第j行第k个元素。
S6，根据手术需要在预设的两个透视角度各重新采集透视图像，通过图像处理算法提取机械臂前端的手术器械在新采集的透视图像中的位置和方向，根据图像处理算法提取的位置和方向及步骤S4中规划的钻孔打钉路径计算当前定位误差，根据当前定位误差对机械臂进行调整。
进一步地，在本发明的实施例中，S6进一步包括：
S61，根据注册得到的在预设的两个透视角度下的图像采集装置的成像模型参数和图像采集装置与机械臂之间的空间位置关系以及钻孔打钉路径，计算钻孔打钉路径在机械臂基坐标系中的位置和方向；
S62，根据图像采集装置的成像模型参数以及通过图像处理算法提取机械臂前端的手术器械在新采集的透视图像中的位置和方向，计算手术器械在机械臂基坐标系中的位置和方向；
S63，将S61计算的钻孔打钉路径在机械臂基坐标系中的位置和方向和S62计算的手术器械在机械臂基坐标系中的位置和方向进行比较得到当前定位误差，根据当前定位误差得到机械臂的运动量，并对机械臂进行调整。
图11给出了一个提取到的机械臂前端的手术器械在透视图像中的位置和方向的示例。图中20和21是自动提取到的手术器械(本示例中为一导向器)的中轴线，22和23是手术器械中轴线20和21的延长线。定位误差通过比较22，23和16，17之间的相对位置得到。
可以理解的是，从特定手术要求的两个透视方向各采集一张新的透视图像。手术器械(如钻头\导针、穿刺针)在透视图像中的位置和角度由图像算法提取出来并显示在图形界面上。其中，手术器械(如钻头\导针\穿刺针等)在透视图像中的位置和指向，通过自适应二值化，边缘检测，Hough变换，形态学运算等图像处理算法自动提取出来，结果用手术器械端点在最新采集到的两幅透视图像中的像素坐标
以及手术器械轴线在图像中的方向向量
表示。
当前的定位误差由远程工作站自动计算出来，包括位置误差和角度误差：位置误差定义为当前最新采集的两张透视图像中，手术器械端部到步骤S4的打钉路径的垂线段长度的均方根；角度误差定义为当前最新采集的两张透视图像中，手术器械和步骤S4的打钉路径之间所成夹角的均方根。
如果误差已经能满足当前手术的精度需要，那么定位步骤完成。如果误差不能满足当前手术的需要，则远程工作站通过图像反馈控制方法计算出机械臂的运动量并控制机械臂进行一步精细调整。
具体地，基于图像反馈的控制方法包括以下过程：
a)根据步骤S2中得到的图像采集装置在特定手术所要求两个透视角度下的成像模型参数及其在机械臂基坐标系中的位置，以及步骤S4中医生在透视图像上的规划的打钉路径，计算出机械臂基坐标系中三维空间中打钉路径的位置和方向，钻孔路径的位置用路径上一点的三维坐标
表示，其方向用单位向量
表示；
b)根据步骤S2中得到的图像采集装置在步骤S1的两个透视角度下的成像模型参数及其在机械臂基坐标系中的位置，以及步骤S6中提取出来的手术器械(如钻头\导针\穿刺针等)在图像中的位置和指向，计算出机械臂基坐标系中手术器械所在的位置和方向，手术器械的位置用其端点的三维坐标
表示，其方向用单位向量
表示；
c)比较a)中打钉路径位置
和方向
以及b)中通过图像信息计算出来的手术器械当前的位置
及方向
得到机械臂的运动量。
根据打钉路径\手术器械在两幅透视图像中的位置s1，s2以及方向n1，n2后，计算打钉路径\手术器械在机械臂基坐标系中的位置和方向的具体过程如下：
i、打钉路径\手术器械的位置xw通过求解如下线性方程组获得：
其中，V1＝A1-[0 0 s1]，V2＝A2-[0 0 s2]；
ii、打钉路径\手术器械的方向根据下式求得：
其中，
其中，(ni)j表示ni的第j个元素，(si)j表示si的第j个元素，(ai)jk表示Ai的第j行第k个元素。
可以理解的是，在步骤S5和步骤S6中，都计算了机械臂的运动量，在步骤S5中，通过空间位置的方法计算得到机械臂的运动量，步骤S6通过图像反馈的方法得到机械臂的运动量，两种方法的区别在于：
(1)基于空间位置的方法中，手术器械在机械臂基坐标系中的位置和方向根据机械臂当前所处的位姿和正向运动学模型计算得到；
(2)基于图像反馈的控制方法中，手术器械在机械臂基坐标系中的位置和方向根据两幅透视图像中手术器械的位置和方向以及两个透视角度下图像采集设备的成像模型参数及其在机械臂基坐标系中的位置计算出来，由于打钉路径和手术器械的位置信息都通是通过同样两幅图像计算出来的，所以注册误差可以被补偿掉。
S7，机械臂根据选定的手术模式进行钻孔打钉操作。
进一步地，在本发明的实施例中，S7，还包括：
S71，通过远程工作站监控机械臂进行钻孔打钉操作，在监控到位置异常时，通过步骤S6对机械臂进行调整。
进一步地，在本发明的实施例中，S7，还包括：
S72，通过安装于机械臂和手术器械之间的力传感器检测钻孔过程中力的变化，在检测到异常力信号时，机械臂停止工作，对机械臂进行调整。
可以理解的是，对于采用自动钻孔的情况，电钻旋转并在机械臂的带动下沿着钻头的轴向运动。钻孔的深度和速度由医生通过远程工作站上的图形界面预先设定。在钻孔的过程中医生也可以暂停并重复步骤S6中的精细调整以修正钻孔过程中可能产生的误差，进一步提高打钉精度。
整个钻孔过程受到安装于机械臂和电钻之间的力传感器的监控。如果力传感器检测到了异常的力的变化信号，电钻会停止转动以避免危险情况的发生；在经皮钻孔的情况下，可以设定当阻力突然增加时，停止钻孔，进行X光图像采集，以在钻头进入骨头或器官前，对钻孔路径进行再次校验或微调；对于手动钻孔的情形，医生在安装于机械臂前端的导向器的引导下进行钻孔操作。
本发明实施例的方法还可以适用于经皮介入手术操作，包括X光导引下的操作和CT导引下的操作。在CT导引时，鉴于CT获得的图像是横切面，为获得穿刺针的空间位置信息，需要利用多个横断面的图像获得穿刺针在纵向断面的方向信息，从而实现了一机多用，节约医院设备采购成本。
在经皮钻孔时，可以设定力传感器读数突变时停止钻孔，拍摄预设的两个角度的X光透视图像，进行精度校验，如满足要求，继续钻孔，否则利用步骤S6的图像反馈方法，对钻孔位置和角度进行进一步精细调整。
综上所述，本发明对于硬件的需求相对较低，一方面普通手术室常用的C臂或者G臂X光机不用进行进一步改造即可直接作为本发明实施例中的手术图像采集装置。另一方面，本发明的实施例所提供的视觉伺服引导方法不需要借助三维图像信息和光学定位系数，因而也不需要购置额外的术中或术前CT扫描设备和光学定位系统，不仅降低了手术成本，设备购置成本，也节约了相应的人员培训时间。此外，本发明实施例同时提供了用于校正图像畸变的图像畸变校正装置和畸变校正方法，X光图像畸变校正装置可以快速拆卸，无需精确安装，校正计算自动完成，使得成像畸变较大的低成本图像采集设备也可用于本发明实施例的方法。
本发明实施例中的手术机器人系统采用了粗调和细调相结合，基于图像反馈的控制方法利用术中采集的图像信息对机器人运动进行实时反馈，在一次定位精度不高的情况下，系统可以根据图像中打钉路径和手术器械的相对位置自动进行微调修正，可以显著减少由于术前规划误差和术中手术部位移动带来的精度损失。同时本实施例的方法也避免了对于光学标志的依赖，大大缩短了手术准备时间。同时，该方法不仅结合了基于位置的视觉伺服方法(粗调过程)和基于图像的视觉伺服方法(细调过程)的优点，而且是专门针对钻孔与打钉这类手术操作进行优化过的，提高了针对这类任务的精度。
本发明实施例的方法对于钻孔打钉这类操作有较好的通用性，提供了机器人自动钻孔和机器人把持导向器引导医生手动钻孔两种工作模式，以适应不同手术的需求。同时自动钻孔模式下有力传感器进行监控，医生也可以随时通过图形界面中止或者暂停钻孔，从而为手术提供了双重安全保障。
需要说明的是，前述对一种打钉机器人系统实施例的解释说明也适用于该实施例的控制方法，此处不再赘述。
根据本发明实施例提出的一种打钉机器人系统的打钉控制方法，手术时先对图像采集装置进行畸变校正以及进行机械臂和图像采集装置之间的注册，然后采集手术区域的透视图像；医生通过远程工作站上的图形界面规划打钉路径；远程工作站计通过基于空间位置的方法计算出机械臂运动量，机械臂移动到指定位置，然后重新进行图像采集；远程工作站根据图像中打钉路径与手术器械的相对位置，通过图像反馈控制方法计算出机械臂运动量并控制机械臂进行精细位置调整；由机械臂驱动电钻完成钻孔操作，或者由机械臂把持导向器，医生来在导向器协助下手动完成钻孔操作。由此，在手术中钻孔打钉位置更加精准，减少了病人额外的医源性创伤，为手术提供了安全保障。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (4)
1.一种打钉机器人系统，其特征在于，包括：
机械臂、注册装置、力传感器、手术器械、图像采集装置、图像畸变校正装置和远程工作站；
所述机械臂包括至少三个平动自由度和两个旋转自由度，在所述机械臂前端有机械接口，通过机械接口安装所述注册装置或所述手术器械；
所述力传感器安装于所述机械臂和所述手术器械之间，用于检测钻孔打钉过程中力的变化；
所述注册装置安装在所述机械臂前端的机械接口位置，用于进行所述机械臂和所述图像采集装置之间的注册；
所述图像畸变校正装置与所述图像采集装置连接，用于对所述图像采集装置进行畸变校正；
所述图像采集装置用于采集手术图像，并发送给所述远程工作站；
所述远程工作站与所述机械臂和所述图像采集装置通过数据线连接，用于对所述图像采集装置采集的手术图像进行处理，对钻孔打钉路径进行规划以及控制所述机械臂运动，包括：根据所述手术图像中提取所述手术器械的位置和方向及所述规划的钻孔打钉路径计算当前定位误差，根据当前定位误差对所述机械臂进行调整。
2.根据权利要求1所述的打钉机器人系统，其特征在于，
所述图像畸变校正装置为由X光下不显影的材料制成的基板嵌入金属球阵列制成。
3.根据权利要求1所述的打钉机器人系统，其特征在于，
所述注册装置由X光下不显影的基座嵌入大于等于8个的空间排列的金属球制成；
所述金属球分为两组，两组金属球直径相差大于等于百分之四十，两组金属球分别各组成一个平面，且两个平面不重合，每组金属球的球心构成一个凸多边形的顶点；
将每组金属球两两分成若干对，每对金属球球心之间的连线在空间相中交于同一点，每对金属球中两个金属球球心到交点的距离之比不相同。
4.根据权利要求1所述的打钉机器人系统，其特征在于，
所述机械臂前端的机械接口分为三段，第一段和第二段之间隔有塑料薄膜，通过所述塑料薄膜将所述手术器械或所述注册装置隔离为无菌区，所述手术器械或所述注册装置通过第二段和第三段之间的机械接口对接，相邻两段机械接口之间的对接通过锁紧环旋转锁定。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911045998.6A CN111297479B (zh) | 2019-10-30 | 2019-10-30 | 一种打钉机器人系统及其打钉控制方法 |
| US17/237,397 US20210259711A1 (en) | 2019-10-30 | 2021-04-22 | 2d-image guided robotic distal locking system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911045998.6A CN111297479B (zh) | 2019-10-30 | 2019-10-30 | 一种打钉机器人系统及其打钉控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111297479A CN111297479A (zh) | 2020-06-19 |
| CN111297479B true CN111297479B (zh) | 2021-07-16 |
Family
ID=71161930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911045998.6A Active CN111297479B (zh) | 2019-10-30 | 2019-10-30 | 一种打钉机器人系统及其打钉控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111297479B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112869856B (zh) * | 2021-02-08 | 2022-04-01 | 清华大学 | 二维图像引导的髓内针远端锁定机器人系统及其锁定方法 |
| CN112006777B (zh) * | 2020-07-31 | 2022-03-29 | 清华大学 | 基于表面跟踪的打钉手术机器人系统及控制方法 |
| CN111759463B (zh) * | 2020-07-31 | 2022-03-15 | 南京普爱医疗设备股份有限公司 | 一种提高手术机械臂定位精度的方法 |
| CN112587243B (zh) * | 2020-12-15 | 2022-06-07 | 深圳市精锋医疗科技股份有限公司 | 手术机器人及其控制方法、控制装置 |
| CN112674876B (zh) * | 2020-12-23 | 2022-08-02 | 中国人民解放军总医院第六医学中心 | 一种用于手术的操作臂、操作臂的控制方法及手术机器人 |
| CN115245386A (zh) * | 2020-12-30 | 2022-10-28 | 北京和华瑞博医疗科技有限公司 | 机械臂运动控制方法、系统及外科手术系统 |
| CN113172886A (zh) * | 2021-05-18 | 2021-07-27 | 青岛科技大学 | 智能微控打印设备及智能微控打印方法 |
| CN113876429B (zh) * | 2021-06-23 | 2023-01-20 | 上海极睿医疗科技有限公司 | 脊柱手术机器人的路径规划系统及机器人系统 |
| CN113907886A (zh) * | 2021-06-23 | 2022-01-11 | 上海极睿医疗科技有限公司 | 脊柱手术机器人的手术执行臂、系统及控制系统 |
| CN113855254B (zh) * | 2021-10-24 | 2023-11-03 | 北京歌锐科技有限公司 | 一种医疗设备以及基于所述医疗设备的手术方法 |
| CN115281829A (zh) * | 2022-08-16 | 2022-11-04 | 上海阅行医疗科技有限公司 | 基于二维图像的手术规划方法、系统、设备及介质 |
| CN115619868B (zh) * | 2022-12-01 | 2023-03-17 | 苏州一目万相科技有限公司 | 位置标记装置、图像注册系统和手术导航系统 |
| CN115869072B (zh) * | 2023-02-27 | 2023-05-30 | 武汉市第四医院 | 一种骨折复位机器人系统及其控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130073091A1 (en) * | 2011-09-21 | 2013-03-21 | Seiko Epson Corporation | Robot control apparatus and robot system |
| WO2019139841A1 (en) * | 2018-01-09 | 2019-07-18 | Covidien Lp | Sterile interface module for robotic surgical assemblies |
| CN110123456A (zh) * | 2019-05-15 | 2019-08-16 | 北京天智航医疗科技股份有限公司 | 示踪设备和定位系统 |
| CN110197461A (zh) * | 2019-06-06 | 2019-09-03 | 上海木木聚枞机器人科技有限公司 | 一种坐标转换关系确定方法、装置、设备和存储介质 |
-
2019
- 2019-10-30 CN CN201911045998.6A patent/CN111297479B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130073091A1 (en) * | 2011-09-21 | 2013-03-21 | Seiko Epson Corporation | Robot control apparatus and robot system |
| WO2019139841A1 (en) * | 2018-01-09 | 2019-07-18 | Covidien Lp | Sterile interface module for robotic surgical assemblies |
| CN110123456A (zh) * | 2019-05-15 | 2019-08-16 | 北京天智航医疗科技股份有限公司 | 示踪设备和定位系统 |
| CN110197461A (zh) * | 2019-06-06 | 2019-09-03 | 上海木木聚枞机器人科技有限公司 | 一种坐标转换关系确定方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 曹延祥.股骨干骨折智能微创手术机器人系统研发及测试.《中国优秀硕士学位论文全文数据库 医药卫生科技辑（月刊）》.2018,(第03期),E066-274. * |
| 股骨干骨折智能微创手术机器人系统研发及测试;曹延祥;《中国优秀硕士学位论文全文数据库 医药卫生科技辑（月刊）》;20180315(第03期);E066-274 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111297479A (zh) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111297479B (zh) | 一种打钉机器人系统及其打钉控制方法 | |
| EP3711700B1 (en) | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices | |
| JP6912481B2 (ja) | 画像ベースのロボット誘導 | |
| EP3119342B1 (en) | System for maintaining a tool pose | |
| US8046054B2 (en) | Bi-planar fluoroscopy guided robot system for minimally invasive surgery and the control method thereof | |
| US7008373B2 (en) | System and method for robot targeting under fluoroscopy based on image servoing | |
| US6837892B2 (en) | Miniature bone-mounted surgical robot | |
| US11197723B2 (en) | Medical guidance system and method using localized insertion plane | |
| CN114650785A (zh) | 装置的机器人定位 | |
| US20210128261A1 (en) | 2d image-guided surgical robot system | |
| EP3881791A1 (en) | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices | |
| USRE40176E1 (en) | Apparatus and method for planning a stereotactic surgical procedure using coordinated fluoroscopy | |
| US20240108417A1 (en) | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices | |
| JP7323489B2 (ja) | 誘導された生検針の軌道をロボットによりガイダンスするためのシステムと、関連する方法および装置 | |
| US20190175293A1 (en) | Image guidance for a decoupled kinematic control of a remote-center-of-motion | |
| JP2024012198A (ja) | 画像内に放射線不透過性基準を使用しない手術ナビゲーション及びロボット誘導のための３ｄ及び２ｄ画像の位置合わせ | |
| CN114886561B (zh) | 一种机器人手术路径规划装置及其规划方法 | |
| CN112869856B (zh) | 二维图像引导的髓内针远端锁定机器人系统及其锁定方法 | |
| EP3865069B1 (en) | System and method of determining optimal 3-dimensional position and orientation of imaging device for imaging patient bones | |
| KR102612603B1 (ko) | 2d-3d 이미지 정합 방법 및 이를 수행하는 수술용 로봇 시스템 | |
| EP3858284A1 (en) | Patient stabilization system | |
| Wang et al. | Modeling kinematics of mobile C-arm and operating table as an integrated six degrees of freedom imaging system | |
| CN117398185A (zh) | 用于恢复3d图像体积的配准的系统 | |
| US20200297451A1 (en) | System for robotic trajectory guidance for navigated biopsy needle, and related methods and devices | |
| CN115192190A (zh) | 一种基于动态平面的路径规划装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221201 Address after: 100084 No. 1 Tsinghua Yuan, Beijing, Haidian District Patentee after: TSINGHUA University Patentee after: BEIJING TSINGHUA CHANGGUNG Hospital Address before: 100084 Tsinghua Yuan, Beijing, Haidian District Patentee before: TSINGHUA University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230601 Address after: Room 512, Building B4-B8, Building B6, Wuhan National Bioindustry (Jiufeng Innovation) Base, No. 666 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430205 Patentee after: Tuobate Medical Technology (Wuhan) Co.,Ltd. Address before: 100084 No. 1 Tsinghua Yuan, Beijing, Haidian District Patentee before: TSINGHUA University Patentee before: BEIJING TSINGHUA CHANGGUNG Hospital |