CN113456220B - 对准方法、手术机器人及计算机存储介质 - Google Patents

对准方法、手术机器人及计算机存储介质 Download PDF

Info

Publication number
CN113456220B
CN113456220B CN202110738615.4A CN202110738615A CN113456220B CN 113456220 B CN113456220 B CN 113456220B CN 202110738615 A CN202110738615 A CN 202110738615A CN 113456220 B CN113456220 B CN 113456220B
Authority
CN
China
Prior art keywords
coordinate system
guide tube
mechanical arm
alignment
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110738615.4A
Other languages
English (en)
Other versions
CN113456220A (zh
Inventor
李思平
程陈
何超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202110738615.4A priority Critical patent/CN113456220B/zh
Publication of CN113456220A publication Critical patent/CN113456220A/zh
Priority to PCT/CN2022/101377 priority patent/WO2023274099A1/zh
Application granted granted Critical
Publication of CN113456220B publication Critical patent/CN113456220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种对准方法、手术机器人及计算机存储介质，用于将设置于患者操作端上的机械臂与引导管进行对准，通过获取所述患者操作端与所述引导管的当前相对位姿并建立虚拟三维模型；根据所述当前相对位姿的虚拟三维模型，规划与所述引导管对准后的所述机械臂的设定构型，以指引所述机械臂与所述引导管进行对准操作。本发明的技术方案使得在提高机械臂与引导管的对准精度的同时，还提高机械臂与引导管的对准效率和便捷性。

Description

对准方法、手术机器人及计算机存储介质
技术领域
本发明涉及医疗器械技术领域，特别涉及一种对准方法、手术机器人及计算机存储介质。
背景技术
微创手术机器人技术能够显著提高外科医生对手术的执行能力。在微创手术过程中，需要借助引导管(trocar)提供手术器械进入腔内的通道，而在手术前，引导管与机械臂的对准需要花费较多的术前准备时间，影响了手术的效率。
针对上述问题，在现有的一种手术机器人机械臂的定位装置及定位方法中，手术机器人机械臂的定位装置包括戳卡夹持器及辅助定位单元，用于确定机械臂与手术戳卡(即引导管)连接的准确位置；在该定位装置及定位方法中，使用了机械中转件，从一定程度上实现了引导管与机械臂的对准精度提高的目的，但无法更好的提升操作的便利性和快捷性，操作仍需耗费较长的术前准备时间。
因此，需要提出一种对准方法、手术机器人和计算机存储介质，以提高引导管与机械臂对准的效率和便捷性。
发明内容
本发明的目的在于提供一种对准方法、手术机器人及计算机存储介质，使得在提高机械臂与引导管的对准精度的同时，还提高机械臂与引导管的对准效率和便捷性。
为实现上述目的，本发明提供了一种对准方法，用于将机械臂与引导管进行对准，包括：
获取患者操作端与所述引导管的当前相对位姿并建立虚拟三维模型，所述机械臂设置于所述患者操作端上；
根据所述当前相对位姿的虚拟三维模型，规划与所述引导管对准后的所述机械臂的设定构型，以指引所述机械臂与所述引导管进行对准操作。
可选地，所述对准方法还包括：
将所述机械臂的设定构型与所述机械臂的当前构型进行虚实融合配准，并在增强现实装置中显示；以及，
根据所述增强现实装置中显示的所述机械臂的设定构型，指引所述机械臂与所述引导管进行对准操作。
可选地，获取所述患者操作端与所述引导管的当前相对位姿的步骤包括：采用定位装置将所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系。
可选地，所述定位装置与所述增强现实装置分离，采用所述定位装置将所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系的步骤包括：
在世界坐标系中，将所述定位装置的坐标系分别与所述患者操作端的坐标系及所述增强现实装置的坐标系建立坐标映射关系；以及，
在世界坐标系中，将所述定位装置的坐标系分别与所述引导管的坐标系及所述增强现实装置的坐标系建立坐标映射关系，以使得所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系。
可选地，所述定位装置设置于所述增强现实装置上，采用所述定位装置将所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系的步骤包括：
在世界坐标系中，将所述增强现实装置的坐标系与所述患者操作端的坐标系建立坐标映射关系；以及，
在世界坐标系中，将所述增强现实装置的坐标系与所述引导管的坐标系建立坐标映射关系，以使得所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系，其中，所述定位装置的坐标系通过机械位置与所述增强现实装置的坐标系建立坐标映射关系，所述定位装置的坐标系与世界坐标系通过旋转矩阵与平移向量建立坐标映射关系。
可选地，规划与所述引导管对准后的所述机械臂的设定构型的步骤包括：根据所述患者操作端的坐标系与所述引导管的坐标系建立的坐标映射关系以及所述机械臂的当前构型，通过规划所述机械臂的运动路径，获得对准后的所述机械臂的设定构型。
可选地，所述机械臂包括多个关节，通过规划每个关节的运动路径，以获得与所述引导管对准后的所述机械臂的每个关节的设定构型。
可选地，所述进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤包括：
步骤S41，在所述增强现实装置中判断待对准的所述机械臂的对准顺序，选择当前待对准的所述机械臂；
步骤S42，在所述增强现实装置中将当前待对准的所述机械臂的设定构型融合到当前待对准的所述机械臂上；
步骤S43，在所述增强现实装置中显示当前待对准的所述机械臂的第N关节的设定构型，以指引第N关节的对准操作。
可选地，判断待对准的所述机械臂的对准顺序的步骤包括：根据所述增强现实装置与每个所述机械臂的相对位置，选择与所述增强现实装置距离由最近至最远的所述机械臂依次作为所述当前待对准的所述机械臂。
可选地，所述进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤还包括：
步骤S44，在所述指引第N关节的对准操作的过程中，实时检测第N关节对准后的实际位置与理想位置是否重合；
若未重合，则重复执行所述步骤S43，直至第N关节对准后的实际位置与理想位置重合；
若重合，第N关节的对准操作完成，则重复循环执行所述步骤S42至所述步骤S43，并在重复所述步骤S43中将N修正为N+1，直至当前待对准的所述机械臂的所有关节的对准操作完成。
可选地，所述进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤还包括：
步骤S45，判断所有待对准的所述机械臂的对准操作是否完成，若未完成，则重复循环执行所述步骤S41至所述步骤S44，直至提示所有待对准的所述机械臂的对准操作完成。
本发明还提供了一种手术机器人，包括：
患者操作端，设置有至少一个机械臂；以及，
控制器，与所述机械臂通信连接，并被配置用于执行所述的对准方法，以实现所述机械臂与引导管的对准。
与现有技术相比，本发明的技术方案具有以下有益效果：
本发明的对准方法、手术机器人和计算机存储介质，通过获取患者操作端与引导管的当前相对位姿并建立虚拟三维模型，根据虚拟三维模型规划与引导管对准后的机械臂的设定构型，实现了所述机械臂与所述引导管的对准，使得在提高所述机械臂与所述引导管的对准精度的同时，还能提高所述机械臂与所述引导管的对准效率和便捷性，进而提高了所述手术机器人的手术效率和手术效果。
附图说明
图1是本发明一实施例的引导管与机械臂对准方法的流程图；
图2是本发明一实施例的引导管与机械臂对准操作的过程示意图；
图3是本发明一实施例的引导管与机械臂对准后的示意图；
图4是本发明一实施例的机械臂的结构示意图；
图5是本发明一实施例的获取患者操作端与引导管的当前相对位姿的示意图；
图6是本发明一实施例的患者操作端的坐标系与引导管的坐标系建立坐标映射关系的示意图；
图7是本发明一实施例的定位装置与增强现实装置分离的结构示意图；
图8是本发明另一实施例的患者操作端的坐标系与引导管的坐标系建立坐标映射关系的示意图；
图9是本发明一实施例的带定位装置的增强现实装置的结构示意图；
图10是图9所示的带定位装置的增强现实装置与定位装置间的坐标映射关系示意图；
图11是本发明一实施例的双目视觉定位原理示意图；
图12是本发明一实施例的调整臂的各个关节的运动方向的示意图；
图13是本发明一实施例的工具臂的各个关节的运动方向的示意图；
图14是本发明一实施例的机械臂的各个关节的运动方向的示意图；
图15是本发明一实施例的机械臂摆位路径实时规划场景示意图；
图16是本发明一实施例的机械臂的逐关节指引对准的示意图；
图17是本发明一实施例的增强现实装置中的引导管与机械臂对准操作场景的示意图；
图18是本发明一实施例所提供的手术机器人在工作时的示意图。
其中，附图1～图18的附图标记说明如下：
10-患者操作端；11-机械臂；111-调整臂；1111-水平移动关节；1112-第一旋转关节；1113-第二旋转关节；1114-第三旋转关节；112-工具臂；1121-第四旋转关节；1122-第五旋转关节；12-引导管；13-目标对象；20-定位装置；30-增强现实装置；40-理想位置；41-实际位置；60-医生控制端；70-辅助设备；80-工具车；90-图像台车。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下对本发明提出的对准方法、手术机器人及计算机存储介质作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
本发明一实施例提供一种对准方法，用于将机械臂与引导管进行对准，参阅图1，图1是本发明一实施例的引导管与机械臂对准方法的流程图，所述对准方法包括：
步骤S1、获取患者操作端与所述引导管的当前相对位姿并建立虚拟三维模型，所述机械臂设置于所述患者操作端上；
步骤S2、根据所述当前相对位姿的虚拟三维模型，规划与所述引导管对准后的所述机械臂的设定构型，以指引所述机械臂与所述引导管进行对准操作。
下面更为详细的介绍本实施例提供的引导管与机械臂对准方法。
按照步骤S1，获取所述患者操作端与所述引导管的当前相对位姿(位置和姿态)并建立虚拟三维模型。所述引导管可以已经插入目标对象。
参阅图3和图4，所述患者操作端10上设置有至少一个机械臂11，所述机械臂11包括相连接的调整臂111和工具臂112，所述调整臂111的一端连接在所述患者操作端10上，所述调整臂111的另一端与所述工具臂112的前端连接，所述工具臂112的末端设置有用于与所述引导管12的一端连接的接口，以使得所述工具臂112在与所述引导管12对准之后连接，所述引导管12的另一端插入所述目标对象13的内部，所述引导管12的数量与待对准的所述机械臂11的数量相同。所述目标对象13可以为患者，图3中所示的所述目标对象13为模拟的人体模型。
获取所述患者操作端与所述引导管的当前相对位姿的步骤包括：参阅图5，采用定位装置20将所述患者操作端10的坐标系与所述引导管12的坐标系建立坐标映射关系，所述定位装置20可以为双目视觉定位装置或其他建模装置。其中，参阅7，所述定位装置20与所述增强现实装置30分离，此时，所述定位装置20可以为设置有左相机和右相机的台车；或者，参阅图9，所述定位装置20设置于所述增强现实装置30上，此时，所述定位装置20可以为具有相机功能的左右模组。优选所述定位装置20的左相机和右相机以及左模组和右模组位于同一水平面上。可以通过所述定位装置上的外部相机功能和所述患者操作端与所述引导管上的靶标或特征值获取所述患者操作端与所述引导管的当前相对位姿。
具体的，参阅图6，所述定位装置20与所述增强现实装置30分离，则采用所述定位装置20将所述患者操作端10的坐标系与所述引导管12的坐标系建立坐标映射关系的步骤包括：
在世界坐标系(X0,Y0,Z0)中，将所述定位装置20的坐标系(X51,Y51,Z51)分别与所述患者操作端10的坐标系(X53,Y53,Z53)及所述增强现实装置30的坐标系(X54,Y54,Z54)建立坐标映射关系；以及，
在世界坐标系(X0,Y0,Z0)中，将所述定位装置20的坐标系(X51,Y51,Z51)分别与所述引导管12的坐标系(X52,Y52,Z52)及所述增强现实装置30的坐标系(X54,Y54,Z54)建立坐标映射关系，以使得所述患者操作端10的坐标系(X53,Y53,Z53)与所述引导管12的坐标系(X52,Y52,Z52)建立坐标映射关系。
或者，参阅图8，所述定位装置20设置于所述增强现实装置30上，则采用所述定位装置20将所述患者操作端10的坐标系与所述引导管12的坐标系建立坐标映射关系的步骤包括：
在世界坐标系(X0,Y0,Z0)中，将所述增强现实装置30的坐标系(X54,Y54,Z54)与所述患者操作端10的坐标系(X53,Y53,Z53)建立坐标映射关系；以及，
在世界坐标系(X0,Y0,Z0)中，将所述增强现实装置30的坐标系(X54,Y54,Z54)与所述引导管12的坐标系(X52,Y52,Z52)建立坐标映射关系，以使得所述患者操作端10的坐标系(X53,Y53,Z53)与所述引导管12的坐标系(X52,Y52,Z52)建立坐标映射关系。
其中，继续参阅图10，由于所述定位装置20设置于所述增强现实装置30上，使得所述定位装置20与所述增强现实装置30的相对坐标关系固定，那么，所述定位装置20的坐标系(X51,Y51,Z51)可通过机械位置与所述增强现实装置30的坐标系(X54,Y54,Z54)建立坐标映射关系，所述机械位置为所述定位装置20与所述增强现实装置30之间已知的固定相对位置。所述定位装置20的坐标系(X51,Y51,Z51)与世界坐标系(X0,Y0,Z0)可通过旋转矩阵R与平移向量t来建立坐标映射关系，公式如下：
Figure BDA0003142380070000071
其中，图10中的P(xc,yc,zc)为所述患者操作端10或所述引导管12的坐标位置；上述公式(1)中的(xc,yc,zc)为所述患者操作端10或所述引导管12的坐标，若(xc,yc,zc)为所述患者操作端10的坐标，则(xw,yw,zw)为所述引导管12的坐标，若(xc,yc,zc)为所述引导管12的坐标，则(xw,yw,zw)为所述患者操作端10的坐标，M1为向量。
另外，参阅图11，上述的采用定位装置获取所述患者操作端的坐标系、所述引导管的坐标系以及所述增强现实装置的坐标系的原理为：
所述定位装置包括左相机和右相机，在所述定位装置的坐标系中，所述左相机和所述右相机在X轴上的间距为b；P1和P2为坐标已知的两个位置点，以所述左相机的位置为坐标原点，位置点P1的坐标为(xl,yl,f)，以所述右相机的位置为坐标原点，位置点P2的坐标为(xr,yr,f)；P(x,y,z)为所述患者操作端、所述引导管或所述增强现实装置上的特征点，位置点P1位于左相机和特征点P(x,y,z)之间的连线上，位置点P2位于右相机和特征点P(x,y,z)之间的连线上，那么，根据图11获得公式：
Figure BDA0003142380070000081
上述公式(2)换算后获得特征点P(x,y,z)的如下公式(3)的坐标(x,y,z)，由此获得了所述患者操作端的坐标系、所述引导管的坐标系以及所述增强现实装置的坐标系：
Figure BDA0003142380070000082
所述增强现实装置可以为AR眼镜、AR头套等，图5～图11中所示的增强现实装置为AR眼镜。
按照步骤S2，根据所述当前相对位姿的虚拟三维模型，规划与所述引导管对准后的所述机械臂的设定构型。
所述设定构型为所述机械臂上的各个特征点在对准后的理想设定位置，所述设定构型也是虚拟的三维模型。
每个所述机械臂包括多个关节，规划与所述引导管对准后的所述机械臂的设定构型的步骤包括：根据所述步骤S1中获得的所述患者操作端的坐标系与所述引导管的坐标系建立的坐标映射关系以及所述机械臂的当前构型，通过规划所述机械臂的运动路径，获得对准后的所述机械臂的设定构型。其中，所述机械臂的运动路径包括每个关节的旋转路径和/或平移路径(即摆位路径)。
所述调整臂可以包括多个关节，例如包括相连接的至少一个水平移动关节和至少一个旋转关节，所述工具臂包括至少一个旋转关节，通过规划所述水平移动关节的平移路径和所述旋转关节的旋转路径，以获得与所述引导管对准后的所述机械臂的每个关节的设定构型。以图12～图14所示的实施例为例，所述机械臂11包括相连接的调整臂111和工具臂112，所述调整臂111包括依次连接的水平移动关节1111、第一旋转关节1112、第二旋转关节1113和第三旋转关节1114，所述工具臂112包括依次连接的第四旋转关节1121和第五旋转关节1122，所述第三旋转关节1114与所述第四旋转关节1121连接。通过规划所述水平移动关节1111的前后平移、所述第一旋转关节1112的左右旋转，所述第二旋转关节1113的上下旋转、所述第三旋转关节1114的左右旋转、所述第四旋转关节1121的左右旋转以及所述第五旋转关节1122的上下旋转的路径，以获得对准后的所述机械臂11的每个关节的设定构型。其中，所述机械臂中的每个关节可以存在多种旋转或平移的路径，但是每个关节的设定构型均是唯一的。
其中，前后平移是指在水平方向上靠近和远离所述引导管的移动，左右旋转指在水平方向上的顺时针或逆时针的旋转，上下旋转指在垂直方向上的顺时针或逆时针的旋转。从图14中可看出，对于所述第一旋转关节1112、所述第二旋转关节1113、所述第三旋转关节1114、所述第四旋转关节1121和所述第五旋转关节1122，可以从零点位置沿顺时针或逆时针方向分别对应旋转θ1、θ2、θ3、θ4和θ5的角度，且保持在限位内；对于所述水平移动关节1111，可以从零点位置在水平方向上直线平移L1mm，且保持在限位内。θ1、θ2、θ3、θ4和θ5的角度范围可以根据不同关节的旋转需要进行选择，L1的范围也根据水平移动的需要进行选择。
需要说明的是，所述调整臂和所述工具臂的关节情况不仅限于图12～图14中所示的，还可包括其他类型和数量的关节。
并且，由于在所述机械臂和所述引导管对准的过程中，佩戴所述增强现实装置的操作人员的视角会发生变化(即所述增强现实装置的坐标位置发生变化)，并且，随着机械臂的各个关节的摆位，所述机械臂上的特征点的实际位置可能未到达理想位置(例如摆位过头)，那么，需要对所述机械臂的摆位路径进行实时规划。其中，若所述定位装置与所述增强现实装置之间的相对位置的变化已知(即图6所示的实施例)或相对位置固定(即图8所示的实施例)，随着佩戴所述增强现实装置的操作人员视角的变化，可以根据所述机械臂上的特征点进行实时的位置匹配，通过所述定位装置实时的调整所述增强现实装置与所述引导管、所述患者操作端之间的坐标映射关系，通过所述增强现实装置相对于所述机械臂的坐标位置的转换实现实时标定。参阅图15，所述定位装置20与所述增强现实装置30分离，当所述增强现实装置30的坐标位置发生变化，即从坐标系(X54,Y54,Z54)移动到坐标系(X54’,Y54’,Z54’)，那么，通过所述定位装置20重新根据坐标系(X54’,Y54’,Z54’)调整所述增强现实装置30与所述引导管12、所述患者操作端10之间的坐标映射关系，进而重新规划所述机械臂的摆位路径。
所述对准方法还包括步骤S3，将所述机械臂的设定构型与所述机械臂的当前构型进行虚实融合配准，并在增强现实装置中显示。
也就是说，将所述机械臂上的特征点的对准后到达的虚拟理想位置与当前实际位置进行虚实融合坐标配准。由于所述机械臂设置于所述患者操作端上，而所述患者操作端的位置固定不变，使得在坐标配准后所述机械臂的设定构型与所述机械臂的当前构型具有相同的坐标原点，进而使得后续在采用所述增强现实装置指引所述机械臂与所述引导管进行对准操作时，能够将所述机械臂上的特征点移动到理想位置的坐标处。
所述对准方法还包括步骤S4，根据所述增强现实装置中显示的所述机械臂的设定构型，指引所述机械臂与所述引导管进行对准操作。
参阅图2，将所述机械臂的设定构型与当前构型进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤包括：
步骤S41，在所述增强现实装置中判断待对准的所述机械臂的对准顺序，选择当前待对准的所述机械臂；判断待对准的所述机械臂的对准顺序的步骤包括：根据所述增强现实装置与每个所述机械臂之间的相对位置，优先选择与所述增强现实装置距离最近的所述机械臂开始对准操作；根据与所述增强现实装置的距离由近至远的顺序，依次对各机械臂进行对准操作。
步骤S42，在所述增强现实装置中将当前待对准的所述机械臂的设定构型融合到当前待对准的所述机械臂上，也就是说，将虚拟的设定构型的建模图形和数据融合叠加到实际的当前待对准的所述机械臂上。
步骤S43，在所述增强现实装置中显示当前待对准的所述机械臂的第N关节的设定构型，操作人员通过实时规划的路径以及提示，以指引第N关节的对准操作，其中，N为正整数，初始的N＝1。
进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤还包括：
步骤S44，在指引第N关节的对准操作的过程中，实时检测第N关节上的特征点对准后的实际位置与理想位置是否重合；若未重合，则重复执行所述步骤S43，直至第N关节对准后的实际位置与理想位置重合；若重合，第N关节的对准操作完成，则重复循环执行所述步骤S42至所述步骤S43，并在重复所述步骤S43中将N修正为N+1，直至当前待对准的所述机械臂的所有关节的对准操作完成。
另外，进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤还包括：
步骤S45，判断所有待对准的所述机械臂的对准操作是否完成，若未完成，则重复循环执行所述步骤S41至所述步骤S44，直至提示所有待对准的所述机械臂的对准操作完成。
其中，参阅图16，以所述患者操作端上设置有4个机械臂(机械臂1、机械臂2、机械臂3和机械臂4)且每个机械臂包含6个关节为例，根据机械臂与增强现实装置距离由近至远的顺序，可以从机械臂1至机械臂4逐个机械臂进行对准调整；对于每个机械臂，可以逐个关节进行对准调整，当前关节的对准调整完成后启动下一关节的对准调整。每个机械臂上的每个关节均具有位置坐标，例如机械臂1上的6个关节的位置坐标分别为(X101,Y101,Z101)～(X106,Y106,Z106)，机械臂2上的6个关节的位置坐标分别为(X201,Y201,Z201)～(X206,Y206,Z206)，机械臂3上的6个关节的位置坐标分别为(X301,Y301,Z301)～(X306,Y306,Z306)，机械臂4上的6个关节的位置坐标分别为(X401,Y401,Z401)～(X406,Y406,Z406)，根据所述增强现实装置30的坐标系(X54,Y54,Z54)与每个所述机械臂上的每个关节的位置坐标之间的相对位置，实现逐个关节的指引对准。所述机械臂上的6个关节可以为所述水平移动关节1111、所述第一旋转关节1112、所述第二旋转关节1113、所述第三旋转关节1114、所述第四旋转关节1121和所述第五旋转关节1122，可以将上述6个关节依次作为第一关节至第六关节，从第一关节至第六关节依次进行对准调整。
参阅图17，图17示出了在所述增强现实装置中显示的所述调整臂的第一旋转关节1112处于调整摆位过程中的视野图，所述第一旋转关节1112需要从实际位置41(实线)摆位到理想位置40(虚线)。
并且，在检测第N关节对准后的实际位置与理想位置是否重合时，可以通过计算调整后的实际位置与规划的理想位置之间的误差来确认是否重合，若误差在需求规格允许的范围内则重合。也就是说，第N关节对准后的实际位置与理想位置重合是指实际位置与理想位置之间的误差在规格允许的范围内。
综上所述，本发明的对准方法，通过对所述患者操作端与所述引导管的当前相对位姿的分析，使得能够获取对准后的所述机械臂的准确位置和姿态；通过建立所述当前相对位姿的虚拟三维模型，将所述机械臂与所述引导管对准后的所述机械臂的设定构型进行规划，便捷的将对准操作分解到所述机械臂的各个关节；通过将所述机械臂的设定构型与所述机械臂的当前构型进行虚实融合配准，并通过所述增强现实装置中显示的所述机械臂的设定构型，将所述机械臂的各关节引导摆位到目标位置，使得摆位后的实际位置与理想位置重合，实现所述机械臂与所述引导管的对准，使得在提高所述机械臂与所述引导管的对准精度的同时，还能提高所述机械臂与所述引导管的对准效率和便捷性。
参阅图18，基于同一发明构思，本发明一实施例提供一种手术机器人，包括患者操作端10和控制器(未图示)，所述患者操作端10上设置有至少一个机械臂11；所述控制器与所述机械臂11通信连接，并被配置用于执行所述的对准方法，以实现所述机械臂11与引导管的对准。
所述手术机器人还包括医生控制端60、辅助设备70、工具车80和图像台车90，在所述机械臂11与所述引导管对准且连接之后，所述机械臂11上挂载的手术器械通过所述引导管进入所述目标对象13内部，医生通过所述医生控制端60操纵所述手术器械进行手术。
并且，本发明实施例中对所述控制器的具体设置方式不作限定，在一些实施例中，所述控制器可整体设置在所述患者操作端10处，或整体设置在医生控制端60处，或者一部分地设置在所述患者操作端10处，另一部分设置在所述医生控制端60处，只要其能够执行相应功能即可。
基于同一发明构思，本发明一实施例还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被一处理器执行时能实现本发明一实施例的所述对准方法。
所述计算机存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备，例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所描述的计算机程序可以从计算机存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收所述计算机程序，并转发该计算机程序，以供存储在各个计算/处理设备中的计算机存储介质中。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (11)

1.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下对准方法：
获取患者操作端与引导管的当前相对位姿并建立虚拟三维模型，所述患者操作端上设置有机械臂，所述引导管的一端插入目标对象；
根据所述当前相对位姿的虚拟三维模型，规划与所述引导管对准后的所述机械臂的设定构型；
将所述机械臂的设定构型与所述机械臂的当前构型进行虚实融合配准，并在增强现实装置中显示；以及，
根据所述增强现实装置中显示的所述机械臂的设定构型，指引所述机械臂与所述引导管的未插入所述目标对象的另一端进行对准操作。
2.如权利要求1所述的计算机存储介质，其特征在于，获取所述患者操作端与所述引导管的当前相对位姿的步骤包括：采用定位装置将所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系。
3.如权利要求2所述的计算机存储介质，其特征在于，所述定位装置与所述增强现实装置分离，采用所述定位装置将所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系的步骤包括：
在世界坐标系中，将所述定位装置的坐标系分别与所述患者操作端的坐标系及所述增强现实装置的坐标系建立坐标映射关系；以及，
在世界坐标系中，将所述定位装置的坐标系分别与所述引导管的坐标系及所述增强现实装置的坐标系建立坐标映射关系，以使得所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系。
4.如权利要求2所述的计算机存储介质，其特征在于，所述定位装置设置于所述增强现实装置上，采用所述定位装置将所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系的步骤包括：
在世界坐标系中，将所述增强现实装置的坐标系与所述患者操作端的坐标系建立坐标映射关系；以及，
在世界坐标系中，将所述增强现实装置的坐标系与所述引导管的坐标系建立坐标映射关系，以使得所述患者操作端的坐标系与所述引导管的坐标系建立坐标映射关系，其中，所述定位装置的坐标系通过机械位置与所述增强现实装置的坐标系建立坐标映射关系，所述定位装置的坐标系与世界坐标系通过旋转矩阵与平移向量建立坐标映射关系。
5.如权利要求2所述的计算机存储介质，其特征在于，规划与所述引导管对准后的所述机械臂的设定构型的步骤包括：根据所述患者操作端的坐标系与所述引导管的坐标系建立的坐标映射关系以及所述机械臂的当前构型，通过规划所述机械臂的运动路径，获得对准后的所述机械臂的设定构型。
6.如权利要求5所述的计算机存储介质，其特征在于，所述机械臂包括多个关节，通过规划每个关节的运动路径，以获得与所述引导管对准后的所述机械臂的每个关节的设定构型。
7.如权利要求1所述的计算机存储介质，其特征在于，所述进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤包括：
步骤S41，在所述增强现实装置中判断待对准的所述机械臂的对准顺序，选择当前待对准的所述机械臂；
步骤S42，在所述增强现实装置中将当前待对准的所述机械臂的设定构型融合到当前待对准的所述机械臂上；
步骤S43，在所述增强现实装置中显示当前待对准的所述机械臂的第N关节的设定构型，以指引第N关节的对准操作。
8.如权利要求7所述的计算机存储介质，其特征在于，判断待对准的所述机械臂的对准顺序的步骤包括：根据所述增强现实装置与每个所述机械臂的相对位置，选择与所述增强现实装置距离由最近至最远的所述机械臂依次作为所述当前待对准的所述机械臂。
9.如权利要求7所述的计算机存储介质，其特征在于，所述进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤还包括：
步骤S44，在所述指引第N关节的对准操作的过程中，实时检测第N关节对准后的实际位置与理想位置是否重合；
若未重合，则重复执行所述步骤S43，直至第N关节对准后的实际位置与理想位置重合；
若重合，第N关节的对准操作完成，则重复循环执行所述步骤S42至所述步骤S43，并在重复所述步骤S43中将N修正为N+1，直至当前待对准的所述机械臂的所有关节的对准操作完成。
10.如权利要求9所述的计算机存储介质，其特征在于，所述进行虚实融合配准以及指引所述机械臂与所述引导管进行对准操作的步骤还包括：
步骤S45，判断所有待对准的所述机械臂的对准操作是否完成，若未完成，则重复循环执行所述步骤S41至所述步骤S44，直至提示所有待对准的所述机械臂的对准操作完成。
11.一种手术机器人，其特征在于，包括：
患者操作端，设置有至少一个机械臂；以及，
控制器，与所述机械臂通信连接，并被配置用于执行如权利要求1～10中任一项所述的计算机存储介质上所存储的计算机程序，以实现所述机械臂与引导管的对准。
CN202110738615.4A 2021-06-30 2021-06-30 对准方法、手术机器人及计算机存储介质 Active CN113456220B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110738615.4A CN113456220B (zh) 2021-06-30 2021-06-30 对准方法、手术机器人及计算机存储介质
PCT/CN2022/101377 WO2023274099A1 (zh) 2021-06-30 2022-06-27 对准方法、手术机器人及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110738615.4A CN113456220B (zh) 2021-06-30 2021-06-30 对准方法、手术机器人及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113456220A CN113456220A (zh) 2021-10-01
CN113456220B true CN113456220B (zh) 2023-02-28

Family

ID=77876880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110738615.4A Active CN113456220B (zh) 2021-06-30 2021-06-30 对准方法、手术机器人及计算机存储介质

Country Status (2)

Country Link
CN (1) CN113456220B (zh)
WO (1) WO2023274099A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113456220B (zh) * 2021-06-30 2023-02-28 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质
CN113616338B (zh) * 2021-09-15 2023-10-20 上海微创医疗机器人（集团）股份有限公司 计算机可读存储介质、对准方法及系统、手术机器人系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203341819U (zh) * 2013-06-26 2013-12-18 武汉半边天医疗技术发展有限公司 一种磁性b超探头穿刺装置
CN110169822A (zh) * 2018-02-19 2019-08-27 格罗伯斯医疗有限公司 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法
CN110602976A (zh) * 2017-04-07 2019-12-20 奥瑞斯健康公司 患者导引器对准
CN110650703A (zh) * 2017-05-05 2020-01-03 斯科皮斯有限公司 手术导航系统
WO2021043684A1 (en) * 2019-09-03 2021-03-11 Koninklijke Philips N.V. Method for analysing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
CN112435521B (zh) * 2020-10-27 2022-11-11 北京控制工程研究所 一种空间遥操作机械臂在轨训练系统及方法
CN113456220B (zh) * 2021-06-30 2023-02-28 上海微创医疗机器人（集团）股份有限公司 对准方法、手术机器人及计算机存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203341819U (zh) * 2013-06-26 2013-12-18 武汉半边天医疗技术发展有限公司 一种磁性b超探头穿刺装置
CN110602976A (zh) * 2017-04-07 2019-12-20 奥瑞斯健康公司 患者导引器对准
CN110650703A (zh) * 2017-05-05 2020-01-03 斯科皮斯有限公司 手术导航系统
CN110169822A (zh) * 2018-02-19 2019-08-27 格罗伯斯医疗有限公司 用于与机器人外科手术系统一起使用的增强现实导航系统及其使用方法
WO2021043684A1 (en) * 2019-09-03 2021-03-11 Koninklijke Philips N.V. Method for analysing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system

Also Published As

Publication number Publication date
CN113456220A (zh) 2021-10-01
WO2023274099A1 (zh) 2023-01-05

Similar Documents

Publication Publication Date Title
EP3254621B1 (en) 3d image special calibrator, surgical localizing system and method
CN113456220B (zh) 对准方法、手术机器人及计算机存储介质
CN110215284B (zh) 一种可视化系统和方法
CN107049492B (zh) 手术机器人系统及手术器械位置的显示方法
WO2022141153A1 (zh) 超声定位穿刺系统和存储介质
CN113400325A (zh) 一种种植牙机器人导航定位方法
CN110916799A (zh) 基于5g网络的穿刺机器人导航系统
CN113940755B (zh) 一种术像一体的外科手术规划与导航方法
CN113442169A (zh) 机器人的手眼标定方法、装置、计算机设备和可读存储介质
WO2022218388A1 (zh) 通过x光影像定位的方法、装置、x光机及可读存储介质
Pachtrachai et al. Hand-eye calibration with a remote centre of motion
CN113180828A (zh) 基于旋量理论的手术机器人约束运动控制方法
CN112603542B (zh) 手眼标定方法、装置、电子设备和存储介质
WO2023040632A1 (zh) 计算机可读存储介质、对准方法及系统、手术机器人系统以及电子设备
CN115229805B (zh) 手术机器人手眼标定方法、装置、存储介质及处理器
CN111603205A (zh) 用于穿刺手术机器人ct舱内三维影像重建和定位分析系统
CN112754616A (zh) 超声定位穿刺系统和存储介质
CN107688293B (zh) 一种微创外科手术机器人的建模方法
CN115553945A (zh) 一种导航式牙科手机钻针的配准方法
CN114631886A (zh) 机械臂摆位方法、可读存储介质及手术机器人系统
CN115429429A (zh) 一种面向光学导航手术的手术器械标定与可视化跟踪方法
US20220015844A1 (en) Kinematics of wristed laparoscopic instruments
CN113384347B (zh) 一种机器人标定方法、装置、设备及存储介质
CN112107366B (zh) 一种混合现实超声导航系统
CN115424701A (zh) 一种关于最优路径规划的骨表面随动技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant