CN113476141B - 位姿控制方法及其适用的光学导航系统、手术机器人系统 - Google Patents

位姿控制方法及其适用的光学导航系统、手术机器人系统 Download PDF

Info

Publication number
CN113476141B
CN113476141B CN202110785262.3A CN202110785262A CN113476141B CN 113476141 B CN113476141 B CN 113476141B CN 202110785262 A CN202110785262 A CN 202110785262A CN 113476141 B CN113476141 B CN 113476141B
Authority
CN
China
Prior art keywords
optical
tracking system
monitoring
optical tracking
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110785262.3A
Other languages
English (en)
Other versions
CN113476141A (zh
Inventor
刘赫
何锐
邵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaowei Changxing Robot Co ltd
Original Assignee
Suzhou Xiaowei Changxing Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaowei Changxing Robot Co ltd filed Critical Suzhou Xiaowei Changxing Robot Co ltd
Publication of CN113476141A publication Critical patent/CN113476141A/zh
Priority to PCT/CN2022/101378 priority Critical patent/WO2023274100A1/zh
Application granted granted Critical
Publication of CN113476141B publication Critical patent/CN113476141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种位姿控制方法及其适用的光学导航系统、手术机器人系统，位姿控制方法包括如下步骤：获取光学追踪系统与手术区域之间的监测区域的至少一幅监测图像；其中，所述手术区域是基于至少一个光学标记物的位置而确定的；当根据所述监测图像而确定所述监测区域内存在遮挡物体时，调整所述光学追踪系统的位置和/或姿态，以使所述遮挡物体位于调整后的所述光学追踪系统与手术区域之间所形成的新的监测区域之外。本发明的位姿控制方法可以解决现有技术中光学手术导航系统中标记物被遮挡影响手术效率和流畅性的问题。

Description

位姿控制方法及其适用的光学导航系统、手术机器人系统
技术领域
本发明涉及医疗设备技术领域，特别涉及一种位姿控制方法及其适用的光学导航系统、手术机器人系统。
背景技术
手术导航系统的出现符合精准外科的发展趋势，手术导航系统将病人术前或术中影像数据和手术床上病人解剖结构准确对应，手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。手术导航系统通过对患者医学影像的分析以及术中各种传感器的应用，为手术操作提供更丰富的参考信息和更精准的引导，成为辅助医生完成手术的有力工具。光学手术导航方式具有较高的精度，使用简单，无辐射，对手术流程影响较小，因此在手术导航系统中获得了广泛的应用。
光学手术导航系统中常用的方式是利用光学追踪系统实时追踪具有固定形状且容易识别的光学标记物。将光学标记物置于目标解剖结构上，利用光学追踪系统对标记物的追踪，间接获得目标解剖结构的实时位置和姿态。然而，受限于光学特性，若要追踪标记物需保证光学追踪系统和标记物之间没有其他物体，且标记物需保持在光学追踪系统的视野范围内。这对手术室内人的移动、设备的放置等有很高要求。
发明内容
本发明的目的在于提供一种位姿控制方法及其适用的光学导航系统、手术机器人系统、计算机设备、支撑装置及计算机可读存储介质，可以解决现有技术中光学手术导航系统中标记物被遮挡影响手术效率和流畅性的问题。
为解决上述技术问题，本发明提供一种光学追踪系统的位姿控制方法，包括如下步骤：获取光学追踪系统与手术区域之间的监测区域的至少一幅监测图像；其中，所述手术区域是基于至少一个光学标记物的位置而确定的；当根据所述监测图像而确定所述监测区域内存在遮挡物体时，调整所述光学追踪系统的位置和/或姿态，以使所述遮挡物体位于调整后的所述光学追踪系统与手术区域之间所形成的新的监测区域之外。
进一步的，所述手术区域大于或等于以所述至少一个光学标记物的位置为边界的空间范围。
进一步的，所述监测区域包括：根据所述手术区域的边界与所述光学追踪系统的视角范围而围成的空间范围。
进一步的，根据所述监测图像确定所述监测区域内存在遮挡物体的步骤包括以下至少一种：
通过提取所述监测图像中对应所述监测区域的图像区域中的前景图像，确定所述监测区域内存在遮挡物体；通过检测至少两幅所述监测图像中所表示的所述监测区域的图像区域中的图像变化，确定所述监测区域内存在遮挡物体；所述监测图像为深度图像；通过检测所述监测图像中对应所述监测区域内的实体位置，确定所述监测区域内存在遮挡物体；以及通过检测至少两幅所述监测图像中对应所述监测区域内的图像数据对之间的视差，确定所述监测区域内存在遮挡物体。
进一步的，所述调整所述光学追踪系统的位置和/或姿态的步骤包括：
根据所述监测图像中对应遮挡物体和光学追踪系统之间的姿态关系、或者相对位置关系，调整所述光学追踪系统的位置和/或姿态。
进一步的，所述调整所述光学追踪系统的位置和/或姿态的步骤包括：
按照预设的调整单位，逐次调整所述光学追踪系统的位置和/或姿态，直至根据所获取的监测图像确定所述监测区域内无遮挡物体。
进一步的，所述调整所述光学追踪系统的位置和/或姿态的步骤包括以下任一种：以所述手术区域为中心，调整所述光学追踪系统的位置和姿态；或者，根据通过分析所述监测图像而确定的所述遮挡物体和光学追踪系统之间的姿态关系、或位置关系，平移所述光学追踪系统的位置。
本发明还提供了一种计算机设备，包括：至少一个存储器，存储至少一个计算机程序；至少一个处理器，执行所述计算机程序时实现如上所述光学追踪系统的位姿控制方法。
本发明还提供了一种支撑装置，用于支撑光学追踪系统，其中，所述光学追踪系统用于外科手术中获取光学标记物的位置信息，所述支撑装置包括：至少一个关节，其中，所述关节用于提供至少一个自由度的运动；控制器，与每个所述关节电气连接，用于根据所接收的控制指令控制所述至少一个关节运动；其中，所述控制指令来自于如前所述的计算机设备。
进一步的，所述计算机设备内置于所述支撑装置中。
本发明还提供了一种光学导航系统，包括：图像获取装置，包括：第一摄像模组和第二摄像模组；其中，所述第一摄像模组，用于获取包含至少一个光学标记物的定位图像；其中，所述至少一个所述光学标记物的位置标识一手术区域；第二摄像模组，用于获取对应所述手术区域与第一摄像模组之间的监测区域的监测图像；所述光学导航系统还包括：如上所述的支撑装置，其与所述图像获取装置连接。
进一步的，所述第一摄像模组和第二摄像模组具有重叠的视角范围。
本发明还提供了一种手术机器人系统，包括：光学导航系统，用于根据所摄取的包含至少一个光学标记物的定位图像确定所述至少一个光学标记物的位置信息；其中，至少一个所述光学标记物的位置标识一手术区域；支撑装置，用于装配所述光学导航系统；监测装置，用于获取对应所述手术区域与第一摄像模组之间的监测区域的监测图像；手术机械臂，用于连接手术器械；如前所述的计算机设备，分别与支撑装置、光学导航系统、监测装置、和所述手术机械臂通信连接；其中，所述计算机设备通过执行所述位姿控制方法向所述支撑装置发送控制指令以使所述支撑装置调整光学导航系统的位置和/或姿态；以及，所述计算机设备还用于根据所述至少一个光学标记物的位置信息向所述手术机械臂发出控制指令以使手术机械臂调整所装配的手术器械的位置和/或姿态。
进一步的，所述监测装置配置于光学导航系统中。
本发明还提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时实现如上所述的控制方法。
综上所述，与现有技术相比，本发明提供的光学追踪系统的位姿控制方法及其适用的光学导航系统、手术机器人系统、计算机设备、支撑装置及计算机可读存储介质具有以下优点：
本发明提供的光学追踪系统的位姿控制方法可以在手术过程中，通过实时获取监测区域内的监测图像，可以确定监测区域内是否有遮挡光学标记物的障碍物，可识别任意形状的障碍物，并调整光学追踪系统使监测区域不被遮挡，无需添加人工标记，应用场景广泛。
并且，能进一步根据障碍物的位置信息规划光学追踪系统的避障运动，并按照规划的运动轨迹移动光学追踪系统，避免光学标记物被遮挡。此外，本发明的控制方法在光学追踪系统的避障运动过程中可以始终保证需要被追踪的光学标记物在光学追踪系统的视野中央范围内，避免手术导航过程被中断。
本发明提供的支撑装置具有可控运动功能，根据规划的避障运动，自动移动光学追踪系统避开障碍物，无需医生手动调整，避免标记物被遮挡导致导航流程中断。
本发明提供的光学导航系统集成度高，且具备避障功能，光学导航系统可以通过执行光学追踪系统的控制方法解决监测空间内存在遮挡物体的问题。
本发明的手术机器人系统将立体视觉技术与机器人技术相结合，解决光学手术导航系统中普遍存在的监测区域被遮挡的问题，且整个导航调整系统不与患者或医护人员接触，免消毒，降低感染的可能。并且避障运动无需更改原手术导航系统的流程，对医生使用来说，不需要额外的软硬件操作，原手术导航系统的功能也不受影响，可降低医生的学习曲线，提高手术室利用效率。
附图说明
图1为本发明一实施方式中的一种光学追踪系统的位姿控制方法的流程示意图；
图2为本发明一实施方式中的膝关节置换的骨科手术导航系统的示意图；
图3为本发明实施例1中的手术机器人系统中各组件的示意图；
图4为本发明实施例1中的光学追踪系统的位姿控制方法中确定监测区域的示意图；
图5为本发明实施例1中的光学追踪系统的位姿控制方法中三者坐标系的变换示意图；
图6为本发明实施例1中的光学追踪系统的位姿控制方法中障碍物遮挡光学标记物的示意图；
图7为本发明实施例1中的光学追踪系统的位姿控制方法中光学追踪系统避障运动的示意图；
图8为本发明实施例1中的光学追踪系统的位姿控制方法中光学追踪系统避障运动的变换示意图；
图9为本发明实施例1中的光学追踪系统的位姿控制方法中光学追踪系统避障运动时机械臂的运动示意图；
图10为本发明实施例2中的光学追踪系统的位姿控制方法中双目相机的安装示意图；
图11为本发明实施例2中的光学追踪系统的位姿控制方法中双目相机的成像示意图；
图12为本发明实施例2中的光学追踪系统的位姿控制方法中监测区域在双目相机上的成像示意图；
图13为本发明实施例2中的光学追踪系统的位姿控制方法中判断监测区域中是否存在障碍物的原理示意图；
图14为本发明实施例2中的光学追踪系统的位姿控制方法中监测区域内存在单个障碍物时光学追踪系统在成像空间内的避障运动示意图；
图15为本发明实施例2中的光学追踪系统的位姿控制方法中监测区域内存在多个障碍物时光学追踪系统在成像空间内的避障运动示意图；
图16为本发明实施例2中的光学追踪系统的位姿控制方法中光学追踪系统在各坐标系内的运动参数变换示意图。
其中，附图标记如下：
1-手术台车；2-手术机械臂；3-工具标记物3；4-截骨导向工具；5-摆锯；6-光学追踪系统；7-辅助显示器；8-主显示器；9-导航台车；10-键盘；11-股骨标记物；12-股骨；13-胫骨标记物；14-胫骨；15-基座标记物；16-手术台；17-患者；18-机械臂；19-深度相机；20-最小包围球；21-光学追踪系统的光轴；22-圆柱形空间；23-点云；24-光学追踪系统的转动方向；25,26-单目相机；27,29-成像平面；28,30-最小包围球的投影区域；31-圆环区域；32,34-障碍投影区域；33-光学追踪系统在成像空间中的运动方向。
具体实施方式
以下结合附图和具体实施方式对本发明提出的一种光学追踪系统的控制方法、计算机设备、支撑装置、光学导航系统、手术机器人系统及计算机可读存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。
需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在手术室这种空间有限且人员、设备等位置复杂的环境中，光学手术导航系统的应用面临如下几个问题：光学追踪系统容易因障碍物遮挡导致无法追踪标记物，进而打断整个导航流程；障碍物可以是存在于光学追踪系统和标记物之间的任何人或物体，难以实时识别并获取其位置；移动光学追踪系统时容易将标记物移到视野外，导致标记物追踪失败。
上述这些问题会影响光学手术导航系统的使用体验，增加医生的额外操作，降低手术的效率和流畅性，甚至产生影响手术安全性的风险。
本发明的核心思想之一在于提供一种光学追踪系统的位姿控制方法，以解决现有技术中光学手术导航系统中光学追踪系统在追踪标记物时被遮挡影响手术效率和流畅性的问题。
为实现上述思想，本发明提供一种光学追踪系统的位姿控制方法，如图1所示，包括如下步骤：
获取光学追踪系统与手术区域之间的监测区域的至少一幅监测图像；其中，所述手术区域是基于至少一个光学标记物的位置而确定的；当根据所述监测图像而确定所述监测区域内存在遮挡物体时，调整所述光学追踪系统的位置和/或姿态，以使所述遮挡物体位于调整后的所述光学追踪系统与手术区域之间所形成的新的监测区域之外。
本发明提供的上述光学追踪系统的位姿控制方法中，通过实时获取监测空间的监测图像，并根据检测图像判断监测空间内是否存在遮挡物体(也即障碍物)，一旦确定监测到空间内有障碍物时，可以对光学追踪系统的位姿进行调整，以此来控制光学追踪系统运动绕开障碍物，避免光学标记物被遮挡，这样就克服了标记物被遮挡影响手术效率和流畅性的问题。
其中，本发明的手术区域大于或等于以所述至少一个光学标记物的位置为边界的空间范围。例如，根据所述至少一个光学标记物的位置可以得到一个最小包围球，光学标记物都位于该最小包围球的范围内，手术区域可以是这个最小包围球的区域，也可以是比最小包围球区域稍大的区域。确定好手术区域后，可以根据手术区域确定所述监测区域，其中所述监测区域可以根据所述手术区域的边界与所述光学追踪系统的视角范围而围成的空间范围。例如可以是光学追踪系统的视角范围与上面提到的最小包围球围合而成的一圆柱形空间范围。又如，为了安全起见而设置的比该圆柱形空间范围略大的空间范围。
本发明的位姿控制方法中，据所述监测图像确定所述监测区域内存在遮挡物体的步骤可以包括以下至少一种：
通过提取所述监测图像中对应所述监测区域的图像区域中的前景图像，确定所述监测区域内存在遮挡物体。例如在手术前就可以确定好整个监测区域内各手术相关器械的位置，得到不存在遮挡时监测区域对应的标准图像，并将该标准图像作为背景图像。在手术过程中，实时获取监测图像，根据背景图像，若能够从所述监测图像中对应所述监测区域的图像区域中提取出前景图像，则确定所述监测区域存在障碍物；反之，则不存在障碍物。
或者，通过检测至少两幅所述监测图像中对应所述监测区域的图像区域中的图像变化，确定所述监测区域内存在遮挡物体。例如，通过获取具有一定时间差的两幅监测图像，对这两幅监测图像进行比对，观察两幅监测图像中对应监测区域的图像区域内的图像变化，若监测区域内存在遮挡物体时，则在同一图像区域内，后一副图像相比前一副图像会多出遮挡的障碍物，以此确定监测区域内是否存在障碍物。
或者，所述监测图像为深度图像；通过检测所述监测图像中所表示的所述监测区域内的实体位置，确定所述监测区域内存在遮挡物体。其中，所述实体位置指遮挡物体在监测区域中的位置。例如，当采用深度相机对监测区域进行检测时，可以采集得到监测区域的监测图像，此时的监测图像可以直接显示监测区域内各物体的位置，可以直观的判断监测区域内是否存在遮挡。
或者，通过检测至少两幅所述监测图像中对应所述监测区域内的图像数据对之间的视差，确定所述监测区域内存在遮挡物体。其中，所述图像数据对表示不同监测图像中各自描述监测区域内的同一物体的相匹配的图像数据。例如，采用双目摄像装置拍摄具有视差的两幅监测图像，然后对这两幅监测图像进行比对，当根据视差确定两幅监测图像中描述有监测区域内的同一障碍物的图像数据对时，确定在监测区域内存在障碍物。
本领域技术人员应当明了，除了上述列举的几种根据监测图像确定监测区域内是否有障碍物的方案外，还可以采用其他利用监测图像确定障碍物的方案，只要能根据监测图像识别监测区域内存在遮挡物即可，都属于本发明的保护范畴。
当确定监测空间内存在遮挡物体后，调整所述光学追踪系统的位置和/或姿态的步骤可以包括：根据所述监测图像中对应遮挡物体和光学追踪系统之间的姿态关系、或者相对位置关系，调整所述光学追踪系统的位置和/或姿态。可以根据监测空间中障碍物的位置信息对光学追踪系统的运动轨迹进行规划，然后对光学追踪系统进行定量的调整绕开障碍物，可以使光学追踪系统的运动不再是未经规划的随意移动，其运动轨迹得到精确控制，可以保证光学追踪系统在移动过程中，需要追踪的光学标记物一直在光学追踪系统的视野中，防止手术中断。
此外，对光学追踪系统的调整，除上述提到的方案外，也可以采用逐次调整的方式，例如按照预设的调整单位，逐次调整所述光学追踪系统的位置和/或姿态，直至根据所获取的新的监测图像确定所述监测区域内无遮挡物体。预设的调整单位包括但不限于是设定的长度，和/或设定的角度。例如按照设定的长度平移调整光学追踪系统，或者是按照设定的角度绕手术区域转动调整光学追踪系统。
对光学追踪系统的位置和/或姿态进行调整的方式举例包括：以所述手术区域为中心，调整所述光学追踪系统的位置和姿态。例如，以光学追踪系统与手术区域之间的距离为半径，以手术区域的中心为圆心，规划一圆弧线形路线，并据此调整光学追踪系统的为位置和姿态。
对光学追踪系统的位置和/或姿态进行调整的方式还举例包括：根据通过分析所述监测图像而确定的所述遮挡物体和光学追踪系统之间的姿态关系、或位置关系，平移所述光学追踪系统的位置。例如，当通过分析监测图像而确定遮挡物体遮挡手术区域的边缘，通过平移光学追踪系统来改变遮挡物体、手术区域和光学追踪系统三者的位置关系，使得光学追踪系统的监测区域内无遮挡物体。
需要说明的是，上述各调整方式可通过分析监测图像而选择使用。或者结合两种调整方式而规划调整路线。例如，调整光学追踪系统包括平移和圆弧线的路线，或者依据平移和圆弧而优化的非圆弧形弧线等。以下结合具体的手术实例对本发明提供的光学追踪系统的控制方法进行更进一步的详细描述，手术以膝关节置换的骨科手术导航系统为例，本领域技术人员应当理解，本发明提供的避障方法及系统并不仅仅局限于膝关节置换的骨科手术导航系统，还可以应用于其他光学手术导航系统中。
如图2所示，本发明提供了一种膝关节置换的骨科手术导航系统和其手术应用场景，在该具体实施中，手术导航系统具体可以包括：手术台车1；安装在手术台车1上的手术机械臂2；以及安装在手术机械臂2上的各种手术器械，例如图1中的截骨导向工具4、摆锯5等手术器械；手术台16；以及手术台16上的患者17，患者17的待手术部位，例如在膝关节置换的骨科手术中，待手术部位包括股骨12和胫骨14；各种光学标记物，光学标记物主要分为两大类，一类是设置在患者待手术部位上，例如分别设置在股骨12和胫骨14上的股骨标记物11和胫骨标记物13，这一类标记物可以用来标识手术部位的位置，方便手术部位被追踪，另一类是设置在手术台车1及其附属部件上的各类标记物，例如设置在截骨导向工具4上的工具标记物3、设置在手术台车1上的基座标记物15等，这一类标记物用来标识手术机器人的位置，方便手术器械等被追踪；手术导航系统还包括导航台车9，以及安装在导航台车9上的光学追踪系统6，光学追踪系统6用来追踪上述这些光学标记物的实时位置，此外，在导航台车9上还设置了计算机系统，用来进行全局的控制，可以包括设置在导航台车9上的主显示器8、键盘10以及位于导航台车9内的控制器等，另外，还可以增设一面辅助显示器7，方便多人操作。
膝关节置换导航机器人系统的主要使用步骤如下：
首先，将手术台车1及导航台车9放置在病床手术台16旁边合适的位置，在患者17的待手术部位如股骨12和胫骨14上安装股骨标记物11和胫骨标记物13，在手术台车1上安装手术机械臂系统2、截骨导向工具4、摆锯5等手术器械，并在手术台车1及其附属部件的对应位置安装基座标记物15、工具标记物3等，同时还可以在手术台车1上放置其他手术必要的器具，如无菌袋等。
其次，医生将患者的术前规划导入计算机，术前规划主要包括截骨平面坐标，假体型号及假体安装方位等。
然后，医生使用光学追踪探针识别患者17的股骨12及胫骨14的特征点，光学追踪系统6以股骨标记物11和胫骨标记物13为基准，分别记录患者骨头特征点位置，并将骨头特征点位置发送给计算机，然后计算机通过特征匹配算法得到股骨12及胫骨14的实际方位与其CT图像方位的对应关系，并将股骨12、胫骨14的实际方位与安装在股骨12及胫骨14上的相应标记物相联系，从而使股骨标记物11和胫骨标记物13可以实时跟踪骨头的实际位置(手术过程中，只要标记物与骨头相对位置固定，骨头移动不会影响手术效果)。
接着，将术前规划的截骨平面坐标发送给手术机械臂2，手术机械臂2通过工具标记物3定位截骨平面并运动到预定位置，医生即可使用摆锯5或电钻通过截骨导向工具4的截骨导向槽及导向孔进行截骨及钻孔操作。这样完成截骨及钻孔操作后，医生即可安装假体及进行其他手术操作。
在上述的膝关节置换手术导航过程中，要求光学追踪系统6始终能获取到相关标记物的位姿信息，否则会导致整个导航流程的终端中断。
为解决标记物在导航过程中被遮挡的问题，本发明提出了一种光学追踪系统的位姿控制方法，可以有效的解决光学标记物被遮挡导致手术被中断的问题。并且，根据采集监测区域的监测图像的定位装置的不同，本发明提供了如下两种具体的实施例方案来解决光学标记物被遮挡的问题。
实施例1
本实施例1的光学追踪系统的位姿控制方法中，采用定位装置获取监测区域的至少一副监测图像，本实施例以定位装置为深度相机进行详细介绍，如图3所示，定位装置采用深度相机19来对监测区域进行检测，具体的位姿控制方法可以如下：
S1：首先设置并固定光学标记物，其中光学标记物可以包括如上所述的设置在对应部位上的股骨标记物11、胫骨标记物13、工具标记物3和基座标记物15等，将光学追踪系统6安装在一支撑装置上，其中支撑装置可以是机械臂18，也可以是其他能够运动的移动平台，本实施例以支撑装置为机械臂18为例进行介绍；
S2：所述光学追踪系统6实时追踪所述光学标记物的位置信息，根据所述光学追踪系统6和所述光学标记物的位置，确定监测区域；
具体来说，所述光学追踪系统6实时追踪所述光学标物的位置信息，具体包括：根据多个所述光学标记物的位置信息，得到一个最小包围球20，如图4所示，多个所述光学标记物均在所述最小包围球20的空间范围内；所述机械臂18带动所述光学追踪系统6运动，使所述光学追踪系统6的光轴21经过所述最小包围球的球心O，所述光学追踪系统6的光轴21一般指光学追踪系统6成像的对称中心轴。其中，手术区域可以是该最小包围球20围合成的空间，也可以是包含该最小包围球20的更大的空间区域，在下面的描述中，本实施例1以手术区域为最小包围球20围合成的空间为例进行介绍。
根据所述光学追踪系统6和所述光学标记物的位置，确定监测区域的步骤，具体包括：以所述光学追踪系统6的光轴21为中心轴，以所述最小包围球20到所述光学追踪系统6沿所述中心轴的方向的最远距离为高H，以与所述光学追踪系统6的光轴21之间的距离阈值L为半径，所确定的圆柱形空间22为所述监测区域，在此空间区域内的物体会被当作遮挡物体(即障碍物)处理，其中圆柱形空间22的半径L不小于所述最小包围球20的半径，L的实际大小可根据监控需要自行设置。
S3：安装定位装置，即在合适的位置安装深度相机19，如图3和4所示，使所述深度相机19的视野覆盖整个监测区域，这样就可以实时监控所述监测区域，深度相机19拍摄得到的图像包含了整个监测区域的信息，并且还包括了光学追踪系统6以及上述提到的最小包围球20，以及他们的位置信息，当监测区域内存在障碍物时，深度相机19拍摄得到的图像中同样包含了该障碍物及其位置信息。
S4：建立光学追踪系统6的坐标系A、深度相机19的坐标系B以及机械臂18的坐标系R三者坐标系的变换关系；图5为采用深度相机19的方案中，系统各部分的空间坐标系之间的关系图。光学追踪系统6的坐标系A与机械臂18的坐标系R之间的变换关系可通过标定和机械臂18的运动学信息计算得到，深度相机19的坐标系B也可通过标定与光学追踪系统6的坐标系A联系起来，这样整个系统的坐标系可以统一起来。光学标记物的位置被光学追踪系统6测量得到，障碍物的位置被深度相机19测量得到。
S5：所述深度相机19实时获取其视野范围内的监测图像，根据所述监测图像判断所述监测区域内是否存在障碍物，若存在障碍物，获取障碍物在监测空间内的位置信息；
其中，根据所述监测图像判断所述监测空间内是否存在障碍物的步骤具体可以包括：根据所述三者坐标系的变换关系，将所述深度相机19获取的监测图像的点云变换到所述光学追踪系统6的坐标系A中；在所述坐标系A中，比较每个点云与所述监测空间的位置关系，当所述监测空间内存在部分点云时，判定监测空间内存在障碍物，如图6所示，图中的部分点云23代表了障碍物落入监测空间范围内；当所述监测空间内不存在点云时，判定监测空间内不存在障碍物；
获取障碍物在监测空间内的位置信息具体包括：将该部分点云23中距离所述光学追踪系统6的光轴21最近的点P的位置作为所述障碍物在所述监测空间内的位置信息。
S6：根据所述障碍物的位置信息得到所述光学追踪系统6避障的运动参数，以保证光学标记物不移出所述光学追踪系统6的成像视野的同时避开障碍物的遮挡；
具体来说，如图7所示，在所述坐标系A中，根据所述最小包围球20的球心位置O、光学追踪系统6的光轴中心位置C、障碍物的位置P，确定向量
Figure BDA0003159006400000131
和
Figure BDA0003159006400000132
以及两个向量之间的夹角α；根据所述
Figure BDA0003159006400000133
和
Figure BDA0003159006400000134
以及所述夹角α获得所述光学追踪系统6避障的运动参数。其中，所述光学追踪系统6避障的运动为在第一平面内绕所述球心位置O的转动，转动方向为24，所述运动参数包括转动角速度和转动半径；所述转动角速度的大小根据所述夹角α确定，方向为
Figure BDA0003159006400000135
其中，障碍物越靠近光学追踪系统6的视线21，标记物被遮挡的概率越大，因此越应使光学追踪系统6尽快远离障碍物，即避障运动的速度大小与α的大小呈负相关关系，但为保证安全，速度应控制在一定范围内；所述转动半径为
Figure BDA0003159006400000141
所述第一平面为所述
Figure BDA0003159006400000142
和
Figure BDA0003159006400000143
所确定的平面。此外，当所述监测空间内存在多个障碍物遮挡时，可以采用上述的方法，首先计算出分别绕开单个障碍物遮挡的运动参数，然后采用矢量合成的方法计算出同时绕开多个障碍物的运动参数。
S7：所述机械臂18带动所述光学追踪系统6运动避开障碍物。具体来说，根据所述光学追踪系统6的运动参数以及所述坐标系A与所述坐标系R之间的变换关系，通过机器人逆运动学计算获取所述机械臂18各个关节的运动参数，所述机械臂18各个关节运动带动所述光学追踪系统6运动避开障碍物。然后再重复执行上述S2-S7的过程，例如所述定位装置以固定的频率获得刷新后的监测图像，根据每次获得的监测图像实时执行上述S2-S7的过程，若障碍物始终存在，则每次刷新均可以对应得到新的运动参数，即每次刷新时根据障碍物的实时位置刷新所述光学追踪系统6的转动角速度，然后以该转动角速度转过刷新时间，直至新的监测图像中不再有障碍物遮挡。这样就实现了对监测空间内的障碍物进行实时监控。
图8和图9显示了机械臂避障运动的规划方法。为保证在避障过程中各标记物不超出光学追踪系统6的追踪范围，光学追踪系统6在移动过程中应使视线光轴21始终保持正对光学标记物的最小包围球20(即光轴21穿过最小包围球的球心O)。因此，在光学追踪系统6的坐标系A中添加一个相对坐标系A固定的子坐标系As，使子坐标系As的原点与最小包围球20的球心O重合。光学追踪系统6的避障运动可表示成子坐标系As的纯转动ωs。根据子坐标系As与光学追踪系统6的坐标系A的相对位置关系，可计算得到两坐标系运动速度的关系：
Figure BDA0003159006400000144
其中，
Figure BDA0003159006400000145
为子坐标系As的线速度，
Figure BDA0003159006400000146
为坐标系A的线速度，
Figure BDA0003159006400000147
为坐标系A的角速度，
Figure BDA0003159006400000148
为子坐标系As在光学追踪系统的坐标系A中的位置向量，
Figure BDA0003159006400000149
定义如下：
Figure BDA00031590064000001410
其中，px、py、pz为
Figure BDA00031590064000001411
在x,y,z方向的分量，进而得到以As为参考坐标系的机械臂18的正运动学方程：
Figure BDA0003159006400000151
其中
Figure BDA0003159006400000152
为机械臂关节空间的运动速度，J为机械臂18关于坐标系A的雅可比矩阵，Jm为机械臂18关于子坐标系As的雅可比矩阵。根据避障运动的特点，即子坐标系As只有角速度而没有线速度，可得机械臂避障运动的逆运动学方程：
Figure BDA0003159006400000153
其中，
Figure BDA0003159006400000154
为机械臂雅可比矩阵Jm的转秩，
Figure BDA0003159006400000155
为机械臂雅可比矩阵Jm的伪逆矩阵。根据避障运动的角速度ωs，按照上述方程即可获得机械臂18各关节的角速度
Figure BDA0003159006400000156
在避开障碍物遮挡的同时，可以保证各标记物始终在光学追踪系统6的监测范围内。
实施例2
本实施例2中，定位装置采用双目相机来对障碍物进行监测，具体的位姿控制方法如下：
Y1：与实施例1的S1相似，先设置并固定光学标记物，其中光学标记物可以包括设置在对应部位上的股骨标记物11、胫骨标记物13、工具标记物3和基座标记物15等，将光学追踪系统6安装在机械臂18上；
Y2：与实施例1的S2步骤相似，所述光学追踪系统6实时追踪所述光学标记物的位置信息，根据所述光学追踪系统6和所述光学标记物的位置，确定监测区域；
同样的，所述光学追踪系统6实时追踪所述光学标物的位置信息，具体包括：根据多个所述光学标记物的位置信息，可以得到一个最小包围球20，多个所述光学标记物均在所述最小包围球20的空间范围内；所述机械臂18带动所述光学追踪系统6运动，使所述光学追踪系统6的光轴21经过所述最小包围球的球心O；其中，手术区域可以是该最小包围球20围合成的空间，也可以是包含该最小包围球20的更大的空间区域，在下面的描述中，本实施例1以手术区域为最小包围球20围合成的空间为例进行介绍。
根据所述光学追踪系统6和所述光学标记物的位置，确定监测区域的步骤，具体包括：以所述光学追踪系统6的光轴21为中心轴，以所述最小包围球20到所述光学追踪系统6沿所述中心轴的方向的最远距离为高H，以与所述光学追踪系统6的光轴21之间的距离阈值L为半径，所确定的圆柱形空间22为所述监测区域，在此空间区域内的物体会被当作障碍物处理，其中圆柱形空间22的半径L不小于所述最小包围球20的半径，所述光学追踪系统6的光轴21之间的距离阈值L的实际大小可根据监控需要自行设置。
Y3：安装定位装置，即安装双目相机，如图10所示，将所述双目相机的两个相机25和26分别安装在所述光学追踪系统6上，两个相机25和26关于所述光学追踪系统6的光轴21对称分布，且分别靠近所述光学追踪系统6的两个传感器设置，两个相机的光轴平行；将两个相机分别安装在光学追踪系统6的两个传感器附近，这样双目相机的视野范围就可以尽可能的与光学追踪系统6的视野范围接近，由于光学追踪系统6的特殊设计，其传感器主要用于识别追踪特定的光学标记物，对视野范围内的其他物体如障碍物等识别较为困难，安装双目相机后，双目相机就可以将在光学追踪系统6视野范围内但又无法被光学追踪系统6准确识别的障碍物等物体进行精确的追踪识别。
Y4：建立光学追踪系统6的坐标系A、双目相机的坐标系B以及机械臂18的坐标系R三者坐标系的变换关系；光学追踪系统6的坐标系A与机械臂18的坐标系R之间的变换关系可通过标定和机械臂18的运动学信息计算得到，双目相机的坐标系B也可通过标定与光学追踪系统6的坐标系A联系起来，这样整个系统的坐标系可以统一起来。光学标记物的位置被光学追踪系统6测量得到，障碍物的位置被双目相机测量得到。
Y5：所述双目相机实时获取其视野范围内的监测图像，根据所述监测图像判断所述监测空间内是否存在障碍物，若存在障碍物，获取障碍物在监测空间内的位置信息；
其中，与实施例1不同的地方在于，双目相机拍摄得到的监测图像是两张具有视差的二维图像，在判断所述监测空间内是否存在障碍物时，首先在双目相机的两张监测图像中，确定所述监测空间在两张二维监测图像上对应的监测投影区域，一般来说，如图11所示，所述最小包围球20分别投影到单目相机的成像平面27和29上，在两张二维的监测图像上会有对应的投影区域28和30，当有其他物体的投影覆盖到这两个区域时，可能会对光学标记物产生遮挡。这两个圆形的投影区域28和30再加上其外围宽度为a的圆环区域31(a为上述监测空间的半径L与最小包围球20的半径的差值)，如图12所示，即为所述监测空间在二维监测图像上对应的监测投影区域。通过比较两张二维监测图像上所述最小包围球20对应的投影区域，如图13所示，可以得到所述最小包围球20在双目相机中的视差D。在判断监测空间内是否有障碍物时，首先在监测图像上判断是否有其他物体在监测图像上对应的投影落入了所述监测投影区域内，如果没有落入范围内，则表明所述监测空间内不存在障碍物；如果落入了所述监测投影区域的范围内，则进一步通过两张二维的监测图像确定该其他物体在双目相机中的视差d，若d＞D，则说明该其他物体比最小包围球20距离双目相机更近，则可判断所述监测空间内存在障碍物，若d＜D，则说明该其他物体比最小包围球20距离双目相机更远，该其他物体不会遮挡所述光学追踪系统6对光学标记物的追踪，则可判断所述监测空间内不存在障碍物，该其他物体可以被忽略。
在本实施例2中，获取障碍物在监测空间内的位置信息也与实施例1不同，其步骤具体可以包括：在双目相机的所述坐标系B中，如图14所示，所述障碍物在所述监测图像中的投影为障碍投影区域32，所述最小包围球20的球心O在所述监测图像中的投影为O’；将所述障碍投影区域32中距离所述投影中心点O’最近的点P’在所述监测投影区域32中的位置信息作为所述障碍物在所述监测空间内的位置信息。
Y6：同样，可以根据所述障碍物的位置信息得到所述光学追踪系统6避障的运动参数，以保证光学标记物不移出视野的同时避开障碍物的遮挡；具体操作可以如下：在双目相机的所述坐标系B中，根据所述投影中心点的位置O’、所述障碍物的位置P’，确定向量
Figure BDA0003159006400000171
根据所述向量
Figure BDA0003159006400000172
就可获得所述光学追踪系统6避障的运动参数，包括运动速度
Figure BDA0003159006400000173
在坐标系B中，光学追踪系统6的运动方向33为向量
Figure BDA0003159006400000181
的方向，运动速度
Figure BDA0003159006400000182
的大小则与
Figure BDA0003159006400000183
呈负相关关系，
Figure BDA0003159006400000184
越小，表面障碍物距离光学追踪系统6的视线光轴21越近，遮挡越厉害，此时光学追踪系统6的运动速度应当就越大。
此外，本实施例2还提供了存在多个障碍物遮挡的情况下，如何确定光学追踪系统6的运动参数的方案，例如当所述监测空间内存在两个不同的障碍物遮挡时，如图15所示，按照上述方法分别确定这两个障碍物在监测图像上的障碍投影区域32和34，并进一步确定障碍投影区域32和34距离所述投影中心点O’最近的点P1和P2，P1和P2的位置信息分别代表了两个障碍物在所述监测空间内的位置信息，然后确定向量
Figure BDA0003159006400000185
和向量
Figure BDA0003159006400000186
接着以此确定所述光学追踪系统6分别单独避开这两个障碍物的运动速度
Figure BDA0003159006400000187
和
Figure BDA0003159006400000188
然后根据速度合成的方法，得到所述光学追踪系统6同时避开这两个障碍物的运动速度
Figure BDA0003159006400000189
该速度
Figure BDA00031590064000001810
为两个运动速度
Figure BDA00031590064000001811
和
Figure BDA00031590064000001812
的向量和。
在确定光学追踪系统6在坐标系B中的运动轨迹后，还需要将其变换到最终的机械臂18的坐标系R中，并以此来逆推得到所述机械臂18各关节的运动参数。
在本实施例2的方案中，如图16所示，光学追踪系统6在坐标系R中的避障运动为绕所述最小包围球20的球心位置O的转动，在坐标系R中的运动参数包括转动角速度ωr和转动半径r；获取这些运动参数的步骤包括：
根据向量
Figure BDA00031590064000001813
获得所述光学追踪系统6在所述坐标系B中的运动参数
Figure BDA00031590064000001814
根据所述坐标系B与坐标系A的变换关系以及所述
Figure BDA00031590064000001815
获得所述光学追踪系统在所述坐标系A中的运动参数
Figure BDA00031590064000001816
根据所述坐标系A与坐标系R的变换关系以及所述
Figure BDA00031590064000001817
获得所述光学追踪系统在所述坐标系R中的运动参数
Figure BDA00031590064000001818
根据所述
Figure BDA00031590064000001819
所述最小包围球的球心O到所述光学追踪系统的光轴中心C的矢量
Figure BDA00031590064000001820
获得所述转动角速度ωr，所述转动半径r为
Figure BDA00031590064000001821
在得到光学追踪系统6在坐标系R中的运动轨迹后，所述避障方法还包括Y7：所述机械臂18带动所述光学追踪系统6运动避开障碍物。具体来说，可根据所述光学追踪系统6在机械臂18的坐标系R中的运动参数，通过机器人逆运动学计算获取所述机械臂18各个关节的运动参数，所述机械臂18各个关节运动带动所述光学追踪系统6运动避开障碍物。与上述实施例1相似，再重复执行上述Y2-Y7的过程，以对监测空间内的障碍物进行实时监控。
其中，根据机器人逆运动学计算获取所述机械臂18各个关节的运动参数的方法，可参考实施例1的方法，在此不再赘述。
本发明还提供了一种计算机设备，包括：至少一个存储器，存储至少一个计算机程序；至少一个处理器，执行所述计算机程序时实现本发明上述实施例中提到的所述光学追踪系统的控制方法。本发明的计算机设备可以集成在所述导航台车9或手术台车1内，并且计算机设备除可以包括上面提到的存储器和处理器外，还可以包括如辅助显示器7、主显示器8、键盘10等外设。
本发明还保护一种支撑装置，用于支撑光学追踪系统6，其中，所述光学追踪系统6用于外科手术中获取光学标记物的位置信息，所述支撑装置包括：至少一个关节，其中，所述关节用于提供至少一个自由度的运动；控制器，与每个所述关节电气连接，用于根据所接收的控制指令控制所述至少一个关节运动；其中，所述控制指令来自于上述提到的计算机设备。本发明的支撑装置可以举例为机械臂18，机械臂18包括至少一个关节，并内置有控制器。其中，所述控制指令为计算机设备根据供支撑装置执行的操作而生成的用于与支撑装置通信的信息。例如，计算机设备控制支撑装置调整光学追踪系统的姿态的方式包括计算机设备通过分析监测图像而生成调整支撑装置姿态的控制指令，并发送至支撑装置；支撑装置利用运动学模型将所述控制指令中的姿态转换成用于控制至少一个关节的如扭矩、角速度等驱动数据，并发送至各关节的驱动器，以使驱动器执行调整操作。
为了实现更高的集成度，计算机设备可以直接内置在所述支撑装置中。
本发明还保护一种光学导航系统，包括：图像获取装置，包括：第一摄像模组和第二摄像模组；其中，所述第一摄像模组用于获取包含至少一个光学标记物的定位图像；其中，所述至少一个所述光学标记物的位置标识一手术区域；第二摄像模组用于获取对应所述手术区域与第一摄像模组之间的监测区域的监测图像；所述光学导航系统还包括：如上所述的支撑装置，与所述图像获取装置装配在一起；处理装置，与所述图像获取装置和支撑装置电气连接，用于执行如上所述光学追踪系统的控制方法；以及利用所述第一图像确定所述至少一个光学标记物的位置信息。其中，第一摄像模组与上述提到的光学追踪系统6的功能相似，用于获取光学标记物的定位图像，实现对光学标记物的追踪。第二摄像模组与上述提到的定位装置的功能相似，用于获取监测区域的检测图像，这两个摄像模组可以集成在一个图像获取装置上，所述第一摄像模组和第二摄像模组可以具有重叠的视角范围。
本发明还包括一种手术机器人系统，包括：光学导航系统，用于根据所摄取的包含至少一个光学标记物的定位图像确定所述至少一个光学标记物的位置信息；其中，至少一个所述光学标记物的位置标识一手术区域；支撑装置，用于装配所述光学导航系统；监测装置，用于获取对应所述手术区域与第一摄像模组之间的监测区域的监测图像；手术机械臂，用于连接手术器械；如上所述的计算机设备，分别与支撑装置、光学导航系统、监测装置、和所述手术机械臂通信连接；其中，所述计算机设备通过执行所述控制方法向所述支撑装置发送控制指令以使所述支撑装置调整光学导航系统的位置和/或姿态；以及，所述计算机设备还用于根据所述至少一个光学标记物的位置信息向所述手术机械臂发出控制指令以使手术机械臂调整所装配的手术器械的位置和/或姿态。其中，所述监测装置可以配置于光学导航系统中。
本发明还保护一种计算机可读存储介质，用于存储计算机程序，所述计算机程序被处理器执行时实现本发明实施例中提到的所述的光学追踪系统的位姿控制方法。本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
需要说明的是，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，与现有技术相比，本发明提供的光学追踪系统的位姿控制方法及其适用的光学导航系统、手术机器人系统、计算机设备、支撑装置及计算机可读存储介质具有以下优点：
本发明提供的光学追踪系统的位姿控制方法可以在手术过程中，通过实时获取监测区域内的监测图像，可以确定监测区域内是否有遮挡光学标记物的障碍物，可识别任意形状的障碍物，并调整光学追踪系统使监测区域不被遮挡，无需添加人工标记，应用场景广泛。
并且，能进一步根据障碍物的位置信息规划光学追踪系统的避障运动，并按照规划的运动轨迹移动光学追踪系统，避免光学标记物被遮挡。此外，本发明的控制方法在光学追踪系统的避障运动过程中可以始终保证需要被追踪的光学标记物在光学追踪系统的视野中央范围内，避免手术导航过程被中断。
本发明提供的支撑装置具有可控运动功能，根据规划的避障运动，自动移动光学追踪系统避开障碍物，无需医生手动调整，避免标记物被遮挡导致导航流程中断。
本发明提供的光学导航系统集成度高，且具备避障功能，光学导航系统可以通过执行光学追踪系统的控制方法解决监测空间内存在遮挡物体的问题。
本发明的手术机器人系统将立体视觉技术与机器人技术相结合，解决光学手术导航系统中普遍存在的监测区域被遮挡的问题，且整个导航调整系统不与患者或医护人员接触，免消毒，降低感染的可能。并且避障运动无需更改原手术导航系统的流程，对医生使用来说，不需要额外的软硬件操作，原手术导航系统的功能也不受影响，可降低医生的学习曲线，提高手术室利用效率。
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (14)

1.一种光学追踪系统的位姿控制方法，其特征在于，包括如下步骤：
获取光学追踪系统与手术区域之间的监测区域的至少一幅监测图像；其中，所述手术区域是基于至少一个光学标记物的位置而确定的；
当根据所述监测图像而确定所述监测区域内存在遮挡物体时，调整所述光学追踪系统的位置和/或姿态，以使所述遮挡物体位于调整后的所述光学追踪系统与手术区域之间所形成的新的监测区域之外；
根据所述监测图像确定所述监测区域内存在遮挡物体的步骤包括以下至少一种：
通过提取所述监测图像中对应所述监测区域的图像区域中的前景图像，确定所述监测区域内存在遮挡物体；
通过检测至少两幅所述监测图像中对应所述监测区域的图像区域中的图像变化，确定所述监测区域内存在遮挡物体；
所述监测图像为深度图像；通过检测所述监测图像中所表示的所述监测区域内的实体位置，确定所述监测区域内存在遮挡物体；以及
通过检测至少两幅所述监测图像中对应所述监测区域内的图像数据对之间的视差，确定所述监测区域内存在遮挡物体。
2.根据权利要求1所述的一种光学追踪系统的位姿控制方法，其特征在于，所述手术区域大于或等于以所述至少一个光学标记物的位置为边界的空间范围。
3.根据权利要求2所述的一种光学追踪系统的控制方法，其特征在于，所述监测区域包括：根据所述手术区域的边界与所述光学追踪系统的视角范围而围成的空间范围。
4.根据权利要求1所述的一种光学追踪系统的位姿控制方法，其特征在于，所述调整所述光学追踪系统的位置和/或姿态的步骤包括：
根据所述监测图像中对应遮挡物体和光学追踪系统之间的姿态关系、或者相对位置关系，调整所述光学追踪系统的位置和/或姿态。
5.根据权利要求1所述的一种光学追踪系统的位姿控制方法，其特征在于，所述调整所述光学追踪系统的位置和/或姿态的步骤包括：
按照预设的调整单位，逐次调整所述光学追踪系统的位置和/或姿态，直至根据所获取的监测图像确定所述监测区域内无遮挡物体。
6.根据权利要求1所述的一种光学追踪系统的位姿控制方法，其特征在于，所述调整所述光学追踪系统的位置和/或姿态的步骤包括以下任一种：
以所述手术区域为中心，调整所述光学追踪系统的位置和姿态；或者，
根据通过分析所述监测图像而确定的所述遮挡物体和光学追踪系统之间的姿态关系、或位置关系，平移所述光学追踪系统的位置。
7.一种计算机设备，其特征在于，包括：
至少一个存储器，存储至少一个计算机程序；
至少一个处理器，执行所述计算机程序时实现如权利要求1-6中任一项所述光学追踪系统的位姿控制方法。
8.一种支撑装置，用于支撑光学追踪系统，其中，所述光学追踪系统用于外科手术中获取光学标记物的位置信息，其特征在于，所述支撑装置包括：
至少一个关节，其中，所述关节用于提供至少一个自由度的运动；
控制器，与每个所述关节电气连接，用于根据所接收的控制指令控制所述至少一个关节运动；
其中，所述控制指令来自于如权利要求7所述的计算机设备。
9.根据权利要求8所述的支撑装置，其特征在于，所述计算机设备内置于所述支撑装置中。
10.一种光学导航系统，其特征在于，包括：
图像获取装置，包括：第一摄像模组和第二摄像模组；
其中，所述第一摄像模组，用于获取包含至少一个光学标记物的定位图像；其中，所述至少一个所述光学标记物的位置标识一手术区域；
第二摄像模组，用于获取对应所述手术区域与第一摄像模组之间的监测区域的监测图像；
所述光学导航系统还包括：
如权利要求8或9所述的支撑装置，其与所述图像获取装置连接。
11.根据权利要求10所述的光学导航系统，其特征在于，所述第一摄像模组和第二摄像模组具有重叠的视角范围。
12.一种手术机器人系统，其特征在于，包括：
光学导航系统，用于根据所摄取的包含至少一个光学标记物的定位图像确定所述至少一个光学标记物的位置信息；其中，至少一个所述光学标记物的位置标识一手术区域；
支撑装置，用于装配所述光学导航系统；
监测装置，用于获取对应所述手术区域与第一摄像模组之间的监测区域的监测图像；
手术机械臂，用于连接手术器械；
如权利要求7所述的计算机设备，分别与支撑装置、光学导航系统、监测装置、和所述手术机械臂通信连接；其中，所述计算机设备通过执行所述位姿控制方法向所述支撑装置发送控制指令以使所述支撑装置调整光学导航系统的位置和/或姿态；以及，所述计算机设备还用于根据所述至少一个光学标记物的位置信息向所述手术机械臂发出控制指令以使手术机械臂调整所装配的手术器械的位置和/或姿态。
13.根据权利要求12所述的手术机器人系统，其特征在于，所述监测装置配置于光学导航系统中。
14.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的位姿控制方法。
CN202110785262.3A 2021-06-30 2021-07-12 位姿控制方法及其适用的光学导航系统、手术机器人系统 Active CN113476141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/101378 WO2023274100A1 (zh) 2021-06-30 2022-06-27 位姿控制方法及其适用的光学导航系统、手术机器人系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021107359458 2021-06-30
CN202110735945 2021-06-30

Publications (2)

Publication Number Publication Date
CN113476141A CN113476141A (zh) 2021-10-08
CN113476141B true CN113476141B (zh) 2023-02-10

Family

ID=77938724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110785262.3A Active CN113476141B (zh) 2021-06-30 2021-07-12 位姿控制方法及其适用的光学导航系统、手术机器人系统

Country Status (2)

Country Link
CN (1) CN113476141B (zh)
WO (1) WO2023274100A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112914755A (zh) * 2021-01-25 2021-06-08 深圳市奥昇医疗科技有限责任公司 手术追踪系统及其控制方法
CN113476141B (zh) * 2021-06-30 2023-02-10 苏州微创畅行机器人有限公司 位姿控制方法及其适用的光学导航系统、手术机器人系统
CN113954082B (zh) * 2021-12-23 2022-03-08 真健康（北京）医疗科技有限公司 适用于穿刺手术机械臂的控制方法、控制设备和辅助系统
CN115381554B (zh) * 2022-08-02 2023-11-21 北京长木谷医疗科技股份有限公司 一种骨科手术机器人智能位置调整系统及方法
CN116849727B (zh) * 2023-06-19 2024-05-14 北京纳通医用机器人科技有限公司 手术机器人的状态监控系统、方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102657531A (zh) * 2012-04-28 2012-09-12 深圳泰山在线科技有限公司 基于计算机视觉的人体躯干围度测量方法和装置
CN104688351A (zh) * 2015-02-28 2015-06-10 华南理工大学 一种基于两个双目视觉系统的手术器械无遮挡定位方法
CN105496519A (zh) * 2015-12-31 2016-04-20 精微视达医疗科技（武汉）有限公司 一种b超引导下的穿刺导航系统
EP3025666A1 (en) * 2014-11-26 2016-06-01 MASMEC S.p.A. Computer-assisted system for guiding a surgical/diagnostic instrument in the body of a patient
CN112472297A (zh) * 2020-11-26 2021-03-12 微创（上海）医疗机器人有限公司 位姿监测系统、方法、手术机器人系统和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105030331A (zh) * 2015-04-24 2015-11-11 长春理工大学 位置传感器与三维腹腔镜摄像机标定装置及方法
CA3009787A1 (en) * 2015-12-31 2017-07-06 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
WO2018075784A1 (en) * 2016-10-21 2018-04-26 Syverson Benjamin Methods and systems for setting trajectories and target locations for image guided surgery
US11684425B2 (en) * 2018-03-16 2023-06-27 Shimadzu Corporation X-ray fluoroscopic imaging apparatus
US11291507B2 (en) * 2018-07-16 2022-04-05 Mako Surgical Corp. System and method for image based registration and calibration
EP3993725A1 (en) * 2019-07-03 2022-05-11 Stryker Corporation Obstacle avoidance techniques for surgical navigation
CN110897717B (zh) * 2019-12-09 2021-06-18 苏州微创畅行机器人有限公司 导航手术系统及其注册方法与电子设备
CN113476141B (zh) * 2021-06-30 2023-02-10 苏州微创畅行机器人有限公司 位姿控制方法及其适用的光学导航系统、手术机器人系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102657531A (zh) * 2012-04-28 2012-09-12 深圳泰山在线科技有限公司 基于计算机视觉的人体躯干围度测量方法和装置
EP3025666A1 (en) * 2014-11-26 2016-06-01 MASMEC S.p.A. Computer-assisted system for guiding a surgical/diagnostic instrument in the body of a patient
CN104688351A (zh) * 2015-02-28 2015-06-10 华南理工大学 一种基于两个双目视觉系统的手术器械无遮挡定位方法
CN105496519A (zh) * 2015-12-31 2016-04-20 精微视达医疗科技（武汉）有限公司 一种b超引导下的穿刺导航系统
CN112472297A (zh) * 2020-11-26 2021-03-12 微创（上海）医疗机器人有限公司 位姿监测系统、方法、手术机器人系统和存储介质

Also Published As

Publication number Publication date
CN113476141A (zh) 2021-10-08
WO2023274100A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
CN113476141B (zh) 位姿控制方法及其适用的光学导航系统、手术机器人系统
AU2022203687B2 (en) Method and system for guiding user positioning of a robot
US11844574B2 (en) Patient-specific preoperative planning simulation techniques
JP7233841B2 (ja) ロボット外科手術システムのロボットナビゲーション
JP6367905B2 (ja) 定位手術用の手術ロボットシステム及び定位手術用ロボットの制御方法
US10064682B2 (en) Collision avoidance during controlled movement of image capturing device and manipulatable device movable arms
US10070931B2 (en) System and method for maintaining a tool pose
CN109419555B (zh) 用于外科手术导航系统的定位臂
WO2017076886A1 (en) Determining a configuration of a medical robotic arm
CN113616332A (zh) 在机器人手术过程期间识别和跟踪物理对象的系统和方法
KR20190078853A (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
US20210378750A1 (en) Spatially-Aware Displays For Computer-Assisted Interventions
Li Intelligent robotic surgical assistance for sinus surgery
EP3200719B1 (en) Determining a configuration of a medical robotic arm
Hong et al. Development and validation of a two‐segment continuum robot for maxillary sinus surgery
WO2023047395A1 (en) Systems and methods for work volume mapping to facilitate dynamic collision avoidance
CN115429432A (zh) 可读存储介质、手术机器人系统和调整系统
US20230346484A1 (en) Robotic surgery system with user interfacing
Zheng et al. Automatic Tracking Motion Based on Flexible Forbidden Virtual Fixtures Design in Robot Assisted Nasal Surgery
WO2023286052A1 (en) Path planning based on work volume mapping
CN115475007A (zh) 手术机器人系统、调整方法和存储介质
CN113171173A (zh) 一种手术机器人vr术前规划方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant