CN114452000B - 手术机器人及其图形化控制装置、图形化显示方法 - Google Patents

手术机器人及其图形化控制装置、图形化显示方法 Download PDF

Info

Publication number
CN114452000B
CN114452000B CN202210130963.8A CN202210130963A CN114452000B CN 114452000 B CN114452000 B CN 114452000B CN 202210130963 A CN202210130963 A CN 202210130963A CN 114452000 B CN114452000 B CN 114452000B
Authority
CN
China
Prior art keywords
manipulator
image model
virtual camera
model
configuration parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210130963.8A
Other languages
English (en)
Other versions
CN114452000A (zh
Inventor
高元倩
王建辰
王牌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Edge Medical Co Ltd
Original Assignee
Shenzhen Edge Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Edge Medical Co Ltd filed Critical Shenzhen Edge Medical Co Ltd
Priority to CN202210130963.8A priority Critical patent/CN114452000B/zh
Publication of CN114452000A publication Critical patent/CN114452000A/zh
Application granted granted Critical
Publication of CN114452000B publication Critical patent/CN114452000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087—Dual arms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0257—Proximity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40479—Use graphic display, layout of robot path, obstacles to indicate interference
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45118—Endoscopic, laparoscopic manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及一种手术机器人及其图形化控制装置、图形化显示方法，手术机器人包括：显示器；两个以上的操纵器，操纵器具有多个关节组件，各关节组件均被配置有用于感应关节组件状态的传感器；控制器，与显示器及传感器耦接，被配置成：在检测到存在处于工作模式的第一操纵器时，获取由第一操纵器的传感器感应的关节组件的状态信息；获取第一操纵器的运动学模型；获取虚拟相机的配置参数；结合虚拟相机的配置参数、第一操纵器的运动学模型及其状态信息生成在虚拟相机视点之下第一操纵器的图像模型；在显示器的第一显示窗口中显示第一操纵器的图像模型。本申请的手术机器人便于医生观察手术过程所使用的操纵器的位姿状态。

Description

手术机器人及其图形化控制装置、图形化显示方法
本申请是申请日为2020年10月8日提交中国专利局、申请号为202011068074.0、申请名称为“手术机器人及其图形化控制装置、图形化显示方法”的分案申请，该案的全文以引用的方式并入本申请中。
技术领域
本申请涉及医疗器械领域，特别是涉及一种手术机器人及其图形化控制装置、图形化显示方法。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备在人体腔体内部施行手术的一种手术方式。相比传统手术方式微创手术具有创伤小、疼痛轻、恢复快等优势。
随着科技的进步，微创手术机器人技术逐渐成熟，并被广泛应用。在多孔微创手术机器人中，该类型手术机器人通常包括主操作台及从操作设备，从操作设备包括多个操纵器，操纵器用于夹持具有末端器械的操作臂，末端器械包括图像末端器械和操作末端器械，主操作台包括显示装置及手柄，医生在显示装置显示的由图像末端器械提供的视野下通过操作手柄控制相应操纵器及其关联的操作臂运动以实施远程手术。
由于多孔手术机器人中的操作臂所具有的构型特点，即其至多具备三个影响姿态的自由度及一个开合自由度，而不具备位置自由度，进而医生通过观察显示装置显示的视野，容易观察到或者预测出操作臂之间的位姿状态，但是却无法观察到或预测出操纵器的位姿状态，这容易对远程手术的实施造成不利影响，如操纵器之间的碰撞容易引起手术事故，又如医生需要频繁中断手术操作并从显示装置外部观察操纵器容易影响手术流畅性。
发明内容
基于此，有必要提供一种便于医生观察手术过程所使用的操纵器的位姿状态的手术机器人及其图形化控制装置、图形化显示方法。
一方面，本申请提供了一种手术机器人，包括：显示器；操纵器，数量为两个以上，所述操纵器具有多个关节组件，各所述关节组件均被配置有用于感应所述关节组件状态的传感器；及控制器，与所述显示器及所述传感器耦接，并被配置成：在检测到存在处于工作模式的第一操纵器时，获取由所述第一操纵器的传感器感应的关节组件的状态信息；获取所述第一操纵器的运动学模型；获取虚拟相机的配置参数；结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及其所述状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型；在所述显示器的第一显示窗口中显示所述第一操纵器的图像模型。
其中，在检测到存在处于空闲模式的第二操纵器时，获取由所述第二操纵器的传感器感应的关节组件的状态信息；获取所述第二操纵器的运动学模型；结合所述虚拟相机的配置参数、所述第二操纵器的运动学模型及其所述状态信息生成在所述虚拟相机视点之下所述第二操纵器的图像模型；在所述显示器的所述第一显示窗口中显示所述第二操纵器的图像模型，或者，在所述显示器的第二显示窗口中显示所述第一操纵器和所述第二操纵器的图像模型。
其中，所述控制器被配置成在结合所述虚拟相机的配置参数及所述第二操纵器的运动学模型生成在所述虚拟相机视点之下所述第二操纵器的图像模型时：在确定所述第一操纵器与所述第二操纵器之间存在碰撞可能性之后，结合所述虚拟相机的配置参数、所述第二操纵器的运动学模型及其所述状态信息生成在所述虚拟相机视点之下所述第二操纵器的图像模型。
其中，所述控制器被配置成执行如下步骤以确定所述第一操纵器与所述第二操纵器之间是否存在碰撞可能性：计算所述第一操纵器的可达空间；判断所述第一操纵器的可达空间是否至少覆盖所述第二操纵器的部分；如果是，确定所述第一操纵器与所述第二操纵器之间存在碰撞可能性。
其中，所述控制器被配置成：在所述第一显示窗口或所述第二显示窗口中区别标识所述第一操纵器的图像模型和所述第二操纵器的图像模型。
其中，所述控制器被配置成：根据一操作指令在所述第一显示窗口或所述第二显示窗口中隐藏或显示任一所述操纵器的图像模型。
其中，所述控制器被配置成：计算所述第一操纵器的可达空间；结合所述虚拟相机的配置参数及所述第一操纵器的可达空间生成在所述虚拟相机视点之下所述第一操纵器的可达空间图像模型；在所述第一显示窗口或所述第二显示窗口中显示所述可达空间图像模型。
其中，所述可达空间图像模型是所述可达空间的计算机模型或投影模型。
其中，所述可达空间图像模型的原点与所述第一操纵器的运动中心重合。
其中，所述可达空间图像模型的原点在所述第一操纵器近端的关节组件的轴线上。
其中，所述第一操纵器被配置成具有在所述可达空间内的安全运动空间，所述控制器被配置成：结合所述虚拟相机的配置参数及所述第一操纵器的安全运动空间生成在所述虚拟相机视点之下所述第一操纵器的安全运动空间的图像模型；在所述第一显示窗口或所述第二显示窗口中显示所述安全运动空间的图像模型。
其中，在所述第一操纵器的图像模型从所述安全运动空间的图像模型移至所述可达空间除所述安全运动空间以外的空间的图像模型时，在所述第一显示窗口或所述第二显示窗口中形成对所述第一操纵器、所述安全运动空间及/或所述可达空间图像模型进行标识的标识。
其中，所述控制器被配置成：在所述操纵器中第三操纵器达到事件的阈时，在所述第一显示窗口或所述第二显示窗口中形成对所述第三操纵器的图像模型的至少部分进行标识的标识。
其中，所述阈是警告阈，所述事件是要避免的情况。
其中，所述警告阈基于所述第三操纵器与所述操纵器中第四操纵器之间的距离，所述要避免的情况是所述第三操纵器与所述第四操纵器之间的碰撞。
其中，所述控制器被配置成：获取所述第三操纵器与所述第四操纵器之间的最小距离并判断所述最小距离与所述警告阈之间的关系；当所述最小距离达到所述警告阈未到达要避免的情况相应的阈值时，在所述第一显示窗口或所述第二显示窗口中形成对所述第三操纵器和所述第四操纵器的图像模型上的最小距离点进行标识的第一标识。
其中，当所述最小距离达到达要避免的情况相应的阈值时，在所述第一显示窗口或所述第二显示窗口中形成对所述第三操纵器和所述第四操纵器的图像模型上的最小距离点进行标识的第二标识。
其中，所述控制器被配置成：在获取所述第三操纵器与所述第四操纵器之间的最小距离并判断所述最小距离与所述警告阈之间的关系中，包括：根据所述第三操纵器和所述第四操纵器的运动学模型及结构特征分别构建相应所述第三操纵器和所述第四操纵器的几何模型；离散所述第三操纵器和所述第四操纵器的几何模型获得在参考坐标系下所述第三操纵器和所述第四操纵器的外部信息点集；根据所述第三操纵器和所述第四操纵器的外部信息点集确定所述第三操纵器和所述第四操纵器之间的最小距离；在所述第一显示窗口或所述第二显示窗口中形成对所述第三操纵器和所述第四操纵器的图像模型上的最小距离点进行标识的标识中，包括：确定所述最小距离对应的最小距离点，并在所述第一显示窗口或所述第二显示窗口中形成对所述第三操纵器和所述第四操纵器的图像模型上的最小距离点进行标识的标识。
其中，所述控制器被配置成：当所述最小距离达到所述警告阈，根据所述第三操纵器和所述第四操纵器的图像模型上的最小距离点在参考坐标系下的位置确定碰撞方向；在所述第一显示窗口或所述第二显示窗口中形成对所述第三操纵器和所述第四操纵器之间的所述碰撞方向进行标识的标识。
其中，所述手术机器人包括与所述控制器耦接、且用于控制所述操纵器运动的机械手柄，所述控制器被配置成：根据所述碰撞方向产生阻碍所述机械手柄在关联方向上移动的阻力。
其中，所述机械手柄具有多个关节组件及驱动各所述关节组件运动的驱动电机，各所述驱动电机与所述控制器耦接，所述控制器被配置成：根据所述阻力使关联方向上的所述驱动电机产生反向力矩。
其中，所述控制器被配置成：在所述最小距离介于所述警告阈和要避免的情况相应的阈值之间时，所述反向力矩的大小与所述最小距离的大小呈负相关。
其中，所述警告阈基于所述第三操纵器中至少一个关节组件的运动范围，所述要避免的情况是所述第三操纵器中至少一个关节组件的运动范围的限制。
其中，所述控制器被配置成：在所述第一显示窗口或所述第二显示窗口中至少对所述第一操纵器进行标号。
其中，所述控制器被配置成：在检测到所述第一操纵器中的第三操纵器运动时，在所述第一显示窗口或所述第二显示窗口中形成对所述第三操纵器的图像模型进行标识的标识。
其中，所述第一操纵器的图像模型是反应所述第一操纵器的结构特征的计算机模型或投影模型。
其中，所述操作臂具有多个关节组件和感应所述关节组件状态的传感器，所述控制器被配置成：获取由所述第一操纵器上的所述操作臂的传感器感应的关节组件的状态信息；根据所述操作臂的状态信息获得所述操作臂的运动学模型；结合所述虚拟相机的配置参数及所述操作臂的运动学模型生成在所述虚拟相机视点之下所述操作臂的图像模型；在所述显示器的所述第一显示窗口中显示所述操作臂的图像模型，或者，在所述操作臂的第二显示窗口中显示所述第一操纵器及其操作臂的图像模型。
其中，所述控制器被配置成：根据一操作指令在所述第一显示窗口或所述第二显示窗口中隐藏或显示由所述第一操纵器及其上的所述操作臂构成的第一操纵器组件任一部分的图像模型。
其中，所述手术机器人包括与所述控制器耦接的输入装置，所述输入装置用于对所述虚拟相机的配置参数进行设置。
其中，所述配置参数包括所述虚拟相机在参考坐标系的位姿。
其中，所述配置参数包括所述虚拟相机的虚拟视场角及/或虚拟景深；或者所述配置参数包括所述虚拟相机的虚拟焦距及/或虚拟光圈。
其中，所述控制器被配置成：计算所述第一操纵器的可达空间；确定所述第一操纵器的可达空间的并集空间；根据所述并集空间控制所述虚拟相机始终朝向所述并集空间。
其中，所述控制器被配置成：在确定所述第一操纵器的可达空间的并集空间时，确定所述并集空间的中心；在根据所述并集空间控制所述虚拟相机始终朝向所述并集空间的步骤中，根据所述并集空间的中心控制所述虚拟相机的光轴始终相交于所述并集空间的中心。
又一方面，本申请提供了一种手术机器人的图形化显示方法，所述手术机器人包括：显示器；操纵器，数量为两个以上，所述操纵器具有多个关节组件，各所述关节组件均被配置有用于感应所述关节组件状态的传感器；所述图形化显示方法包括：在检测到存在处于工作模式的第一操纵器时，获取由所述第一操纵器的传感器感应的关节组件的状态信息；获取所述第一操纵器的运动学模型；获取虚拟相机的配置参数；结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及其所述状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型；在所述显示器的第一显示窗口中显示所述第一操纵器的图像模型。
又一方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被配置为由处理器加载并执行实现如上述任一实施例所述的图形化显示方法的步骤。
又一方面，本申请提供了一种手术机器人的图形化控制装置，包括：存储器，用于存储计算机程序；及处理器，用于加载并执行所述计算机程序；其中，所述计算机程序被配置为由所述处理器加载并执行实现如上述任一实施例所述的图形化显示方法的步骤。
本申请的手术机器人及其图形化控制装置、图形化显示方法，具有如下有益效果：
通过在虚拟相机观察位于患者体外的第一操纵器，并生成在虚拟相机视点之下第一操纵器的图像模型，进而在显示器的第一显示窗口中显示该第一操纵器的图像模型，一方面有助于医生观察第一操纵器的位姿状态以利于手术实施，另一方面节省了设置真实相机所需要的成本。
附图说明
图1为本申请一实施例的手术机器人的从操作设备的结构示意图；
图2为本申请一实施例的手术机器人的主操作设备的结构示意图；
图3为本申请一实施例的从操作设备的操纵器的结构示意图；
图4为本申请一实施例的操作臂的结构示意图；
图5为图4所示操纵器的原理结构图；
图6为本申请另一实施例的从操作设备的操纵器的结构示意图；
图7为图6所示操纵器的原理结构图；
图8为本申请一实施例手术机器人的图形化显示方法的流程图；
图9为本申请一实施例的手术机器人的手术状态的局部示意图；
图10为图9所示手术状态一实施例的图形界面；
图11为图9所示手术状态另一实施例的图形界面；
图12为本申请一实施例手术机器人的图形化显示方法的流程图；
图13至图15为图9所示手术状态不同实施例的图形界面；
图16至图17为本申请手术机器人的图形化显示方法不同实施例的流程图；
图18为本申请一实施例的手术机器人的手术状态的局部示意图；
图19至图20为图19所示手术状态不同实施例的图形界面；
图21至图26为本申请手术机器人的图形化显示方法不同实施例的流程图；
图27为本申请一实施例的手术机器人的图形化控制装置的结构示意图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的较佳实施方式。但是，本申请可以以许多不同的形式来实现，并不限于本申请所描述的实施方式。相反地，提供这些实施方式的目的是使对本申请的公开内容理解的更加透彻全面。
需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦接”另一个元件，它可以是直接耦接到另一个元件或者可能同时存在居中元件。本申请所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。本申请所使用的术语“远端”、“近端”作为方位词，该方位词为介入医疗器械领域惯用术语，其中“远端”表示手术过程中远离操作者的一端，“近端”表示手术过程中靠近操作者的一端。本申请所使用的术语“第一/第二”等表示一个部件以及一类具有共同特性的两个以上的部件。
除非另有定义，本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本申请所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1至图4所示，其分别为本申请手术机器人一实施例的结构示意图，及其局部示意图。
手术机器人包括从操作设备100及控制从操作设备100工作的主操作台200。
从操作设备100具有依次连接的主臂110、调整臂120及操纵器130。调整臂120及操纵器130均为两个以上，例如四个，主臂110远端具有定向平台，调整臂120近端均连接于定向平台，操纵器130近端连接于调整臂120远端。操纵器130用于可拆卸地连接操作臂150，操纵器130具有多个关节组件。操作臂150包括依次连接的驱动装置160、连杆170、连接组件180及末端器械190，可以由连杆170及连接组件180构成多个关节组件，也可以仅有连接组件180构成多个关节组件，连杆170中空可供驱动缆绳穿过，驱动装置160通过驱动缆绳操纵多个关节组件运动进而驱动末端器械190运动。末端器械190具有图像末端器械190及操作末端器械190。
手术时，操纵器130位于患者体外，操作臂150远端通过装设于操纵器130的穿刺器300插入患者体内，医生控制操纵器130及操作臂150联动实现对末端器械190的位姿进行调节。其中，操纵器130的多个关节组件主要用于定位，操作臂150的多个关节组件主要用于定向，操纵器130通过操纵操作臂150移动影响末端器械190的位置及姿态。
主操作台200具有手柄210及显示器，医生通过操作手柄210向从操作设备100发送控制命令，以令从操作设备100根据该控制命令执行相应操作，并通过显示器观察由图像末端器械190采集的手术区域。
其中，如图5所示，操纵器130包括两个旋转关节组件和一个平动关节组件，第二个旋转关节组件驱动一个平行四边形远心机构，从而将旋转传递到远心点处，进而实现三个自由度的轴线相交于空间中的一点(即远心点)。平动关节组件位于操纵器130的远端，平动关节组件设置有一致动装置140，平动关节组件的致动装置140与操作臂150的驱动装置160接合而实现驱动力的传输。
一实施例中，结合图6和图7参阅，可以在第一个旋转关节组件的近端增设一个旋转关节组件以增加操纵器130的运动范围，该旋转关节组件的轴线相交于远心点且不重合于第一旋转关节组件的轴线以确保操纵器130远端仍然能够绕远心点运动。
其中，操作臂150包括三个旋转关节组件，例如，连杆170相对于驱动装置160可自转，连接组件180相对连杆170可偏转和可俯仰；又例如，连杆170相对于驱动装置160固定，由连接组件180相对连杆170实现自转、偏航及俯仰；进而实现了偏转、俯仰及自转这三个基本的手腕自由度，该三个手腕自由度对位置的影响较小，因此主要用于定向。连接组件180还可具有一个张合自由度以驱动末端器械190的张合。
其中，操纵器130及其上的操作臂150联动即可以在六个自由度(三个位置自由度及三个姿态自由度)上的运动以满足手术需求。
手术机器人还包括控制器。控制器可以集成于主操作台200，也可以集成于从操作设备100。当然，控制器也可以独立于主操作台200和从操作设备100，其例如可部署在本地，又例如控制器可以部署在云端。其中，控制器可以由一个以上的处理器构成。
一实施例中，从操作设备200中的操纵器及操作臂的各关节组件中均配置有感应关节状态的传感器。这些传感器包括感应关节组件转动运动的角度传感器及感应关节组件线性运动的位移传感器，具体可根据关节组件的类型来配置适应的传感器。控制器与这些传感器耦接，并与主操作台的显示器耦接。
一实施例中，提供一种手术机器人的图形化显示方法。该图形化显示方法可以由上述的控制器执行。如图8所示，该图形化显示方法包括如下步骤：
步骤S1，检测多个操纵器中是否存在处于工作模式的第一操纵器。
操纵器处于工作模式可以简单地被理解为操纵器装设有操作臂，更精确的，可以被理解为操纵器装设有操作臂且通过穿刺器300的引导和密封插入患者体内。医生在布置手术时，通常会将装设于操纵器上的操作臂经穿刺器300插入患者体内，而不装设操作臂的操纵器就摆放于较远的位置，故可以简单认为操纵器处于工作模式即为其上装设有操作臂。与工作模式的概念相对的，还具有空闲模式，操纵器上没有装设操作臂可以认为操纵器处于空闲模式，且通常该操纵器处于静止状态。这里的第一操纵器通常指的是一类操纵器，而不应当被理解为仅指一个特定的操纵器，它代表的数量可以是一个以上。
可以在操纵器上设置检测机构以检测其上是否安装有操作臂，该检测机构例如可以采用接近传感器、压力传感器或光电传感器等。而在其他实施例中，操纵器是否处于工作模式可以由医生手动输入，这种方式下，即使该操纵器没有装设操作臂也可以将其设置成处于工作模式。
还可以在操作臂中设置存储器以存储该操作臂的基本信息如连杆参数、类型等，并在操纵器设置另一检测机构以读取操作臂的基本信息。
在步骤S1中检测到存在该第一操纵器时，进入步骤S2；否则，继续进行步骤S1。
步骤S2，获取由第一操纵器的传感器感应的关节组件的状态信息。
感应的关节组件的状态信息包括角度信息及/或位移信息。
步骤S3，获取第一操纵器的运动学模型。
例如，该运动学模型是预先建立好的。又例如，可以实时建立运动学模型，如结合第一操纵器的状态信息及连杆参数进而利用正运动学获得在参考坐标系的运动学模型。该参考坐标系例如可以是主臂近端的基坐标系，又例如可以是主臂远端的工具坐标系(即定向平台的工具坐标系)。
步骤S4，获取虚拟相机的配置参数。
顾名思义，虚拟相机为非实际存在的相机，其不会真实的采集物体的图像，其体现的仅是一种视点的概念。即使如此，仍然可以对虚拟相机进行参数配置，
可以对虚拟相机进行参数配置，虚拟相机的虚拟相机参数(即配置参数)至少包括(虚拟)位姿，相应于真实相机的相机参数如焦距及/或光圈，虚拟相机参数同样包括虚拟焦距及/或虚拟光圈。通常，(虚拟)焦距对应可调(虚拟)相机的视场角，(虚拟)光圈对应可调(虚拟)相机的景深。一实施例中，也可以描述虚拟相机参数包括视场角及/或景深，对于虚拟相机而言，视场角及/或景深也是虚拟的。即使相机的焦距、光圈是虚拟的，但同样可以利用如真实相机那样的成像原理以实现本申请的主旨。不同虚拟相机参数可以向医生展示不同的成像效果。
这些虚拟相机参数可以固化在存储于手术机器人的存储器的系统配置文件中，通过控制器读取该系统配置文件即可获取。这些虚拟相机参数还可以由医生在手术前或手术中根据需要通过一与控制器耦接的输入部来进行手动设置，这种设置方式是按需的，例如，这些虚拟相机参数可以通过在文本控件输入相关数据得到，又例如，这些虚拟相机参数可以通过从选项控件选取得到。
该虚拟相机的位姿可以相同于真实相机(即图像末端器械)的位姿，以从与真实相机相同的视点对操作臂进行观察。该虚拟相机的位姿也可以不同于真实相机的位姿，以从与真实相机不同的视点对操作臂进行观察。通常，可以选择虚拟相机的位姿不同于真实相机的位姿来进行观察，有助于获取到操作臂更全面的信息，例如此时操作臂还可以是相机臂，以由虚拟相机进行观察。
步骤S5，结合虚拟相机的配置参数、第一操纵器的运动学模型以及第一操纵器各关节组件的状态信息生成在虚拟相机视点之下第一操纵器的图像模型。
例如，该第一操纵器的图像模型可以是能够基本反应第一操纵器的结构特征的计算机模型。又例如，该第一操纵器的图像模型可以是能够基本反应第一操纵器的特征点投影的投影模型。该两种形式的第一操纵器的图像模型展现的均是在虚拟相机视点之下的图像模型，在虚拟相机视点之下两种形式的图像模型均为平面图形效果，它可以跟随第一操纵器的运动而呈现动态效果。
步骤S6，在显示器的第一显示窗口中显示第一操纵器的图像模型。
由于显示器中还显示着由图像末端器械采集的病灶处的真实图像，为了不影响手术操作，可以将第一显示窗口布置于显示器的边缘区域，如底部、侧部、顶部，然而，确有必要时也可以将第一显示窗口显示在显示器的中央区域。可以将第一显示窗口中显示的第一操纵器的图像模型生成为透视的图像模型以不妨碍医生观看病灶处的真实图像。
上述步骤S1～S6，通过在虚拟相机观察位于患者体外的第一操纵器，并生成在虚拟相机视点之下第一操纵器的图像模型，进而在显示器的第一显示窗口中显示该第一操纵器的图像模型，一方面有助于医生观察第一操纵器的位姿状态以利于手术实施例如避免第一操纵器之间的碰撞，又一方面节省了设置真实相机所需要的成本，又一方面可以消除真实相机成像带来的不必要的图像的干扰，又一方面可以实现对具有图像末端器械的操作臂的第一操纵器的观察。
一实施例中，如图9所示，手术机器人包括操纵器130a、130b、130c、130d。其中，操纵器130b、130c、130d均装设有操作臂，故视其均为第一操纵器。而操纵器130a没有装设操作臂，故视其为第二操纵器。根据上述步骤S1～步骤S6的方法，在图10中显示操纵器130b、130c、130d的图像模型，该模型为对应第一操纵器的计算机模型。事实上，在生成该计算机模型时，生成一种能够基本反应相应操纵器的结构特征的计算机模型即可，也即可以对该计算机模型进行一定程度的简化。例如，在不关注具体一操纵器在参考坐标系下的位姿及关节状态的情况下，对于任一操纵器而言，可以生成大致如图11所示的简化的计算机模型。
一实施例中，可以根据系统配置文件中对操纵器130a～130d的标号如1～4，在第一显示窗口中对第一操纵器进行标号。在如图9所示的实施例中，继续参阅图10，可以对第一操纵器130b、130c、130d的图像模型进行标号，对应的操纵器130b标号为1，操纵器130c标号为2，操纵器130d标号为3。该标号可以在对应第一操纵器的图像模型的底部，也可以在其它关联位置例如图10所示的操纵器的图像模型的近端，只要能够便于医生知悉显示器中显示的第一操纵器的图像模型与外部真实的操纵器之间的关系即可。
一实施例中，如图12所示，该图形化显示方法还包括如下步骤：
步骤S711，检测多个操纵器中是否存在处于空闲模式的第二操纵器。
在步骤S711中检测到存在第二操纵器时，进入步骤S712；否则，继续执行步骤S711。
步骤S712，获取由第二操纵器的传感器感应的关节组件的状态信息。
步骤S713，根据第二操纵器的状态信息获得第二操纵器的运动学模型。
第二操纵器的运动学模型和第一操纵器的运动学模型直接或可转换在同一参考坐标系。
步骤S714，结合虚拟相机的配置参数及第二操纵器的运动学模型生成在虚拟相机视点之下第二操纵器的图像模型。
步骤S715，在显示器的第一显示窗口中显示第二操纵器的图像模型，或者，在显示器的第二显示窗口中显示第一操纵器和第二操纵器的图像模型。
在该步骤S715中，如图13和图14所示，第二操纵器的图像模型显示在第一显示窗口时，即在第一显示窗口中同时显示了第一操纵器和第二操纵器的图像模型。
在该步骤S715中，如图15所示，第二操纵器的图像模型显示在第二显示窗口时，在第二显示窗口中同时显示了第一操纵器和第二操纵器的图像模型。这两种方式均可以向医生展示全部操纵器之间的位姿状态。其中，该第一显示窗口和第二显示窗口的尺寸可以相同或不同。例如，可以将第一显示窗口设置为相对较大以作为主辅助显示窗口，进而第二显示窗口作为次辅助显示窗口。例如，可以根据一操作指令对调第一显示窗口和第二显示窗口显示的内容，在第一显示窗口和第二显示窗口尺寸不同时，在各显示窗口内显示的内容可以按比例缩放。
上述步骤S711～步骤S715通常需要在步骤S1中检测到存在第一操纵器的基础之上进行，因为如果不存在第一操纵器，则全部操纵器均为第二操纵器，这些第二操纵器处于空闲模式，它们均在患者的体外静止，没有必要对它们进行图形化显示。这里并不特别限定步骤S1～步骤S6与步骤S711～步骤S715的先后顺序。
一实施例中，继续参阅图13至图15，可以在第一显示窗口或第二显示窗口中对第一操纵器的图像模型和第二操纵器的图像模型进行标识，以区别两者的工作模式。例如，第一操纵器和第二操纵器的图像模型的颜色不同。又例如，如图13所示，在第一显示窗口中，用不同的线型来区分第一操纵器和第二操纵器的图像模型，如第一操纵器的图像模型为实线、第二操纵器的图像模型为虚线。又例如，如图14所示，在第一显示窗口中，在第二操纵器的图像模型外部用图框来进行标识，该图框例如为虚线图框。又例如，如图15所示，在第二显示窗口中对第一操纵器的图像模型和第二操纵器的图像模型进行标识，如第一操纵器的图像模型为实线，第二操纵器的图像模型为虚线。又例如，可以在第一显示窗口或第二显示窗口中通过标号来标识第一操纵器和第二操纵器的图像模型，如第一操纵器的图像模型为实线标号，第二操纵器的图像模型为虚线标号。
通过上述步骤S711～S715，通过进一步在第一显示窗口或第二显示窗口提供第二操纵器的图像模型，有助于医生全局或全方位地观察全部操纵器的位姿状态。通过了解全部操纵器的位姿状态，一个方面有利于避免任意两个操纵器之间的碰撞。
一实施例中，可以在确定第一操纵器与第二操纵器之间存在碰撞可能性之后，再执行步骤S714。这是因为如果第一操纵器与第二操纵器之间确定不存在碰撞可能性时，医生没必要或没需求观察第二操纵器的图像模型，这样在第一显示窗口中只显示第一操纵器的图像模型而不显示第二操纵器的图像模型可以使得第一显示窗口更加简洁，避免引入无用的信息干扰医生观察。
例如，可以通过这样的检测方法来确定第一操纵器与第二操纵器之间是否存在碰撞可能性，如图16所示，该方法包括：
步骤S7131，计算第一操纵器的可达空间。
例如，可以根据第一操纵器的连杆参数及各关节组件的运动范围并利用正运动学计算出该可达空间。
步骤S7132，判断第一操纵器的可达空间是否至少覆盖第二操纵器的部分。
在步骤S7132中，可以结合第二操纵器的运动学模型及结构特征构建集合模型，并离散其几何模型获得外部信息点集，进而通过判断第一操纵器的可达空间是否包含第二操纵器的外部信息点集的至少一部分(例如求交集)来判断第一操纵器的可达空间是否至少覆盖第二操纵器的部分。
如果在步骤S7132中，第一操纵器的可达空间至少覆盖第二操纵器的部分，即确定两者存在碰撞可能性，然后进入步骤S714；否则，继续执行步骤S7131，这是由于第一操纵器的原点可能在后续被改变进而有可能在其它时刻第一操纵器与第二操纵器之间存在碰撞可能性。
一实施例中，还可以在步骤S7131，即计算第一操纵器的可达空间的基础上，结合虚拟相机的配置参数及第一操纵器的可达空间生成在虚拟相机视点之下第一操纵器的可达空间图像模型，进而在第一显示窗口或第二显示窗口中显示该可达空间图像模型。例如，该可达空间图像模型可以是可达空间的计算机模型或投影模型。在虚拟相机视点之下，该可达空间图像模型类似呈现一个封闭的边界图形。
例如，该可达空间图像模型的原点可以与第一操纵器的运动中心重合。又例如，该可达空间图像模型的原点在第一操纵器近端的关节组件的轴线上。通过在第一显示窗口或第二显示窗口中显示该可达空间图像模型，可以向医生提供第一操纵器的运动范围的指示或参考，有助于避免第一操纵器之间及/或第一操纵器与第二操纵器之间的碰撞。
一实施例中，可以在第一操纵器的可达空间内配置一级以上的安全运动空间，具体可以通过根据第一操纵器各关节组件的运动范围进行设定。进而，可以结合虚拟相机的配置参数及第一操纵器的安全运动空间生成在虚拟相机视点之下第一操纵器的安全运动空间的图像模型，并在第一显示窗口或第二显示窗口中显示安全运动空间的图像模型。通过在第一显示窗口或第二显示窗口中显示安全运动空间的图像模型，可以更清楚地向医生提供第一操纵器的推荐的运动范围的指示或参考。
此外，在第一操纵器的图像模型越过安全运动空间的图像模型向可达空间的图像模型移动时，可以在第一显示窗口或第二显示窗口中对第一操纵器、安全运动空间及/或可达空间的图像模型进行标识，以提醒医生注意。例如，可以通过上述一种以上的图像模型的闪烁或颜色变化来进行提醒。
在具有两级以上的安全运动空间时，在第一操纵器的图像模型对应于第一操纵器的移动到达不同安全运动空间的图像模型，对它们进行不同的标识。如颜色不同、线型不同等。
一实施例中，可以根据一操作指令在第一显示窗口或第二显示窗口中隐藏或显示任一操纵器的图像模型。例如，可以隐藏或显示第一操纵器的图像模型。例如，可以隐藏或显示第二操纵器的图像模型。例如，可以隐藏或显示第一操纵器或第二操纵器的图像模型的任一关节组件。又例如，可以隐藏或显示操作臂的图像模型的连杆、关节组件及末端器械中的一个以上。一方面，这对于在显示的全部操纵器的图像模型中存在在当前虚拟相机的视点之下的可见的相互遮挡而不利于医生观察操纵器的位姿状态时，通过隐藏相应操纵器的图像模型就可以观察到原本不容易观察到的操纵器的位姿状态。另一方面，有助于向医生提供简洁的辅助视图。
一实施例中，上述的图形化显示方法还可以包括：
在操纵器中第三操纵器达到事件的阈时，在第一显示窗口或第二显示窗口中对第三操纵器的图像模型的至少部分进行标识。
其中，第三操纵器同样指的是一类而不限于某具体的一个操纵器。第三操纵器可以来源于前述的第一操纵器及/或第二操纵器。其中，该阈是警告阈，该事件是要避免的情况。
一具体实施方式中，该警告阈基于第三操纵器与操纵器中第四操纵器之间的距离，例如，该警告阈可以是一个数值。要避免的情况是第三操纵器与第四操纵器之间的碰撞，例如，该要避免的情况可以是一个数值。第四操纵器同样指的是一类而不限于某具体的一个操纵器。第四操纵器可以来源于前述的第一操纵器及/或第二操纵器。例如，如图17所示，该方法可以通过如下步骤实现：
步骤S721，获取第三操纵器与第四操纵器之间的最小距离。
该步骤S721是实时进行的。
步骤S722，判断该最小距离与警告阈和要避免的情况之间的关系。
警告阈及要避免的情况均用数值表示，且在要避免的情况是第三操纵器与第四操纵器之间的碰撞的情况下，该警告阈代表的数值dlim大于要避免的情况代表的数值dmin，即dlim>dmin，第三操纵器与第四操纵器之间的最小距离用d表示。一实施例中，dmin＝0，它代表已碰撞。
在该步骤S722中，如果d>dlim，即最小距离未到达警告阈，则继续进行步骤S721；如果dmin<d≤dlim，即最小距离到达警告阈未到达要避免的情况，进入步骤S723；如果d＝dmin，即最小距离越过警告阈到达要避免的情况，进入步骤S724。
步骤S723，在第一显示窗口或第二显示窗口中对第三操纵器和第四操纵器的图像模型上的最小距离点进行第一标识。
如图18所示，操纵器130c和操纵器130d之间的最小距离到达了警告阈，此时，在该步骤S723中，可以在第三操纵器和第四操纵器的图像模型中的最小距离点P1、P2用颜色或图形框例如圆圈等进行标识，如图19所示。而在重新检测到最小距离未到达警告阈时，通常，消除在第一显示窗口或第二显示窗口中对第三操纵器和第四操纵器的图像模型上的最小距离点的标识，如图10所示。而在重新检测到最小距离到达要避免的情况时，进入步骤S724，即进行第二标识。
此外，在进行第一标识的过程中，也即在满足dmin<d≤dlim的条件时，可以随着最小距离的逐渐减小或增大，对第一标识作出改变。例如对颜色进行渐进变换，但可以不同于d＝dmin时的颜色；例如对第一标识进行频闪，但可以不同于d＝dmin时的频闪。
步骤S724，在第一显示窗口或第二显示窗口中对第三操纵器和第四操纵器的图像模型上的最小距离点进行第二标识。
第一标识与第二标识不同。在该步骤S724中，可以例如强化对第三操纵器和第四操纵器的图像模型中的最小距离点P1、P2的标识如深化颜色；或者，可以对第三操纵器和第四操纵器的图像模型中的最小距离点的标识进行闪烁；或者，可以对第三操纵器和第四操纵器的图像模型中的最小距离点的标识做出类型改变如更改图形框的类型，如图20所示，图20中用虚线圆圈替换图19中所示的实线圆圈。而在重新检测到最小距离到达警告阈未到达要避免的情况时，进入步骤S723，即进行第一标识。
通过步骤S721～S724，有助于医生掌握操纵器之间的碰撞位置。
更具体地，如图21所示，上述步骤S721可以通过如下步骤实现：
步骤S7211，根据第三操纵器和第四操纵器各自的运动学模型及结构特征分别构建相应第三操纵器和第四操纵器各自的几何模型。
在该步骤S7211中，通常可以使用提及略大的基本几何体代替实际模型进行干涉分析，以提高后续的检测效率。第三操纵器及第四操纵器各自的几何模型可以简化为例如球体、圆柱体、长方体、凸多面体或两个以上的组合。
步骤S7212，离散第三操纵器和第四操纵器各自的几何模型获得在参考坐标系下第三操纵器和第四操纵器各自的外部信息点集。
在该步骤S7212中，将第三操纵器和第四操纵器各自的几何模型进行数据化处理得到两者各自的外部信息点集。
步骤S7213，根据第三操纵器和第四操纵器各自的外部信息点集确定第三操纵器和第四操纵器之间的最小距离。
在该步骤S7213中，可以利用距离跟踪法来确定两者之间的最小距离，更具体的，可以通过遍历算法从第三操纵器和第四操纵器各自的外部信息点集中确定两者之间的最小距离。
更具体地，如图22所示，上述步骤S723可以通过如下步骤实现：
步骤S7231，确定第三操纵器和第四操纵器之间的最小距离对应的第三操纵器和第四操纵器的图像模型上的最小距离点。
步骤S7232，在第一显示窗口或第二显示窗口中对第三操纵器和第四操纵器的图像模型上的最小距离点进行第一标识。
一实施例中，如图23所示，在最小距离达到警告阈时，图形化显示方法还可以包括如下步骤：
步骤S7233，根据第三操纵器和第四操纵器的图像模型上的最小距离点在参考坐标系下的位置确定碰撞方向。
步骤S7234，在第一显示窗口或第二显示窗口中对第三操纵器和第四操纵器之间的碰撞方向进行标识。
上述通过在第一显示窗口或第二显示窗口中对第三操纵器和第四操纵器之间最小距离点及碰撞方向的标识，例如可以用箭头矢量方向来标识碰撞方向，可以为医生提供视觉反馈以避免碰撞。
主操作台的手柄采用机械手柄。一实施例中，如图24所示，对应于上述步骤S723的情况，即最小距离到达警告阈未到达要避免的情况时，包括：
步骤S7233，根据第三操纵器和第四操纵器的图像模型上的最小距离点在参考坐标系下的位置确定碰撞方向。
步骤S7235，根据碰撞方向产生阻碍机械手柄在关联方向上移动的阻力。
这样可以在操纵器之间具有碰撞趋势时，给医生提供力觉反馈以避免碰撞。
具体而言，该机械手柄具有多个关节组件、与控制器耦接用于感应各关节组件状态的传感器及与控制器耦接用于驱动各关节组件运动的驱动电机。根据碰撞方向产生阻碍机械手柄在关联方向上移动的阻力更具体地为：根据阻力使关联方向上的驱动电机产生反向力矩。
在最小距离介于警告阈和要避免的情况之间时，例如，反向力矩可以是恒定大小的；又例如，反向力矩的大小与最小距离的大小呈负相关。反向力矩的大小与最小距离的大小呈负相关的情况下，具体而言，最小距离逐渐减小时，增大反向力矩以产生更大的阻力；而最小距离逐渐增大时，减小反向力矩以产生较小的阻力，例如，该反向力矩的变化是线性的；例如，该反向力矩的变化是非线性的如阶梯式的。在最小距离到达要避免的情况时，产生的反向力矩可以至少最小为完全阻碍机械手柄在该碰撞方向上的移动，一实施例中，可以通过机械臂手柄各关节组件设置的力传感器检测医生施加的力或力矩，进而根据医生施加的力或力矩产生至少可抵消医生施加的力的反向力矩。一实施例中，也可以骤然直接将产生一个足够大的力使得一般力气的医生不足以移动机械手柄在碰撞方向上移动。
一实施例中，警告阈还可以基于第三操纵器中至少一个关节组件的运动范围，要避免的情况是第三操纵器中至少一个关节组件的运动范围的限制。同样的，可以在第三操纵器到达警告阈时，在第一显示窗口或第二显示窗口中对第三操纵器的图像模型至少相关的关节组件进行标识。此外，也可以在机械手柄处产生阻碍第三操纵器越过警告阈向要避免的情况运动的阻力。该阻力亦由关联的驱动电机产生反向力矩实现。
一实施例中，上述的图形化显示方法还可以包括：
在检测到第一操纵器中的第三操纵器运动时，在第一显示窗口或第二显示窗口中对第三操纵器的图像模型进行标识。具体可通过传感器感应第一操纵器中各关节组件的状态是否变化来判断该第一操纵器是否运动。如果状态发生变化代表了其产生了运动。
一实施例中，如图25所示，该图形化显示方法还包括：
步骤S731，确定第一操纵器的可达空间的并集空间。
步骤S732，根据第一操纵器的并集空间控制虚拟相机始终朝向该并集空间。
例如，为了便于虚拟相机容易全局的观察该空间，可以仅允许虚拟相机的位姿在该并集空间之外。又例如，如果需要局部的观察该并集空间，可以允许虚拟相机的位姿在该并集空间之内。操纵器只有一个时，这个并集空间相等于该操纵器的可达工作空间。操纵器为两个以上时，这个并集空间是各操纵器的可达工作空间的并集所对应的空间。其中，各操纵器在参考坐标系下的可达工作空间可以根据该操纵器的运动学模型确定，并存储于前述的存储单元中以供直接调用。当然，各操纵器在参考坐标系下的可达工作空间也可以根据该操纵器的运动学模型以在每次启动手术机器人时重新计算一次或多次。
为了更方便地观察第一操纵器的图像模型以了解第一操纵器的位姿状态，虚拟相机的视场角至少覆盖并集空间的部分，这样也方便了后续对虚拟相机的调整。
一实施例中，可以在第一显示窗口或第二显示窗口显示虚拟相机的图标，以利于对虚拟相机的配置参数进行设置。
一实施例中，如图26所示，上述的图形化显示方法还包括：
步骤S741，获取由第一操纵器上的操作臂的传感器感应的关节组件的状态信息。
步骤S742，根据操作臂的状态信息获得操作臂的运动学模型。
步骤S743，结合虚拟相机的配置参数及操作臂的运动学模型生成在虚拟相机视点之下操作臂的图像模型。
步骤S744，在显示器的第一显示窗口中显示操作臂的图像模型，或者，在操作臂的第二显示窗口中显示第一操纵器及其操作臂的图像模型。
上述步骤S741～步骤S744通常需要在步骤S1中检测到存在第一操纵器的基础之上进行，因为如果不存在第一操纵器，则全部操纵器均为第二操纵器，这些第二操纵器处于空闲模式，它们均在患者的体外静止，它们通常没有装设操作臂，即使它们装设了操作臂，也没有必要对它们进行图形化显示。这里并不特别限定步骤S1～步骤S6与步骤S741～步骤S744的先后顺序。
通过上述步骤S741～步骤S744，能够对由第一操纵器和装设于其上的操作臂所构成的操纵器组件进行全方位的观察，易于医生了解整个操纵器组件的位姿状态，以提前注意规避操纵器组件任意部位的碰撞。
一实施例中，可以根据一操作指令在第一显示窗口或第二显示窗口中隐藏或显示由第一操纵器及其上的操作臂构成的第一操纵器组件任一部分的图像模型。例如，可以隐藏或显示第一操纵器的图像模型。例如，可以隐藏或显示操作臂的图像模型。例如，可以隐藏或显示第一操纵器或第二操纵器的图像模型的任一关节组件。又例如，可以隐藏或显示操作臂的图像模型的连杆、关节组件及末端器械中的一个以上。一方面，这对于在显示的全部操纵器组件的图像模型中存在在当前虚拟相机的视点之下的可见的相互遮挡而不利于医生观察操纵器组件的位姿状态时，通过隐藏相应操纵器组件的图像模型的任意部分就可以观察到原本不容易观察到的操纵器组件的位姿状态。另一方面，有助于向医生提供简洁的辅助视图。
一些实施例中，如图27所示，该图形化控制装置可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503、以及通信总线504。
处理器501、通信接口502、以及存储器503通过通信总线504完成相互间的通信。
通信接口502，用于与其它设备比如各类传感器或电机或电磁阀或其它客户端或服务器等的网元通信。
处理器501，用于执行程序505，具体可以执行上述方法实施例中的相关步骤。
具体地，程序505可以包括程序代码，该程序代码包括计算机操作指令。
处理器505可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路，或者是图形处理器GPU(Graphics Processing Unit)。控制装置包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU，或者，一个或多个GPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个GPU。
存储器503，用于存放程序505。存储器503可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序505具体可以用于使得处理器501执行以下操作：
在检测到存在处于工作模式的第一操纵器时，获取由第一操纵器的传感器感应的关节组件的状态信息；获取第一操纵器的运动学模型；获取虚拟相机的配置参数；结合虚拟相机的配置参数、第一操纵器的运动学模型及其状态信息生成在虚拟相机视点之下第一操纵器的图像模型；在显示器的第一显示窗口中显示第一操纵器的图像模型。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种手术机器人，其特征在于，包括：
显示器；
操纵器，数量为两个以上，所述操纵器用于可拆卸地装设操作臂，手术时，所述操纵器位于患者体外，所述操作臂的远端通过装设于所述操纵器的穿刺器插入患者体内；及
控制器，与所述显示器及所述操纵器耦接，并被配置成：
在检测到存在处于工作模式的第一操纵器和存在处于空闲模式的第二操纵器、且在确定所述第一操纵器和所述第二操纵器之间存在碰撞可能性时，获取所述第一操纵器的运动学模型、并获取所述第二操纵器的运动学模型；
获取虚拟相机的配置参数，所述配置参数包括虚拟焦距及/或虚拟光圈；
结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及所述第一操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型，且结合所述虚拟相机的配置参数、所述第二操纵器的运动学模型及所述第二操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第二操纵器的图像模型；
在所述显示器的第一显示窗口中显示所述第一操纵器的图像模型和所述第二操纵器的图像模型；或者，在所述显示器的第一显示窗口中显示所述第一操纵器的图像模型，并在所述显示器的第二显示窗口中显示所述第二操纵器的图像模型。
2.根据权利要求1所述的手术机器人，其特征在于，所述控制器被配置成执行如下步骤以确定所述第一操纵器与所述第二操纵器之间是否存在碰撞可能性：
计算所述第一操纵器的可达空间；
在所述第一操纵器的可达空间至少覆盖所述第二操纵器的部分时，确定所述第一操纵器与所述第二操纵器之间存在碰撞可能性。
3.根据权利要求1所述的手术机器人，其特征在于，所述控制器被配置成：
区别标识所述第一操纵器的图像模型和所述第二操纵器的图像模型。
4.根据权利要求1所述的手术机器人，其特征在于，所述控制器被配置成：
根据操作指令隐藏或显示任一所述操纵器的图像模型。
5.一种手术机器人，其特征在于，包括：
显示器；
操纵器，数量为两个以上，所述操纵器用于可拆卸地装设操作臂，手术时，所述操纵器位于患者体外，所述操作臂的远端通过装设于所述操纵器的穿刺器插入患者体内；及
控制器，与所述显示器及所述操纵器耦接，并被配置成：
在检测到存在处于工作模式的第一操纵器时，获取所述第一操纵器的运动学模型；
获取虚拟相机的配置参数，所述配置参数包括虚拟焦距及/或虚拟光圈；
结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及所述第一操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型；
计算所述第一操纵器的可达空间；
结合所述虚拟相机的配置参数及所述第一操纵器的可达空间生成在所述虚拟相机视点之下所述第一操纵器的可达空间图像模型；
在所述显示器的第一显示窗口中显示所述第一操纵器的图像模型和可达空间图像模型。
6.根据权利要求5所述的手术机器人，其特征在于，所述可达空间图像模型的原点与所述第一操纵器的运动中心重合；或者，所述可达空间图像模型的原点在所述第一操纵器的近端的关节组件的轴线上。
7.根据权利要求5所述的手术机器人，其特征在于，所述第一操纵器的图像模型包括投影模型或计算机模型，所述可达空间图像模型包括投影模型或计算机模型。
8.根据权利要求1或5所述的手术机器人，其特征在于，所述配置参数包括所述虚拟相机在参考坐标系的位姿。
9.根据权利要求1或5所述的手术机器人，其特征在于，所述第一操纵器的图像模型包括透视的图像模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被配置为由处理器加载并执行实现如下步骤：
在检测到两个以上的操纵器中存在处于工作模式的第一操纵器和存在处于空闲模式的第二操纵器、且在确定所述第一操纵器和所述第二操纵器之间存在碰撞可能性时，获取所述第一操纵器的运动学模型、并获取所述第二操纵器的运动学模型，所述操纵器用于可拆卸地装设操作臂，手术时，所述操纵器位于患者体外，所述操作臂的远端通过装设于所述操纵器的穿刺器插入患者体内；
获取虚拟相机的配置参数，所述配置参数包括虚拟焦距及/或虚拟光圈；
结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及所述第一操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型，且结合所述虚拟相机的配置参数、所述第二操纵器的运动学模型及所述第二操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第二操纵器的图像模型；
在显示器的第一显示窗口中显示所述第一操纵器的图像模型和所述第二操纵器的图像模型；或者，在所述显示器的第一显示窗口中显示所述第一操纵器的图像模型，并在所述显示器的第二显示窗口中显示所述第二操纵器的图像模型。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被配置为由处理器加载并执行实现如下步骤：
在检测到两个以上的操纵器中存在处于工作模式的第一操纵器时，获取所述第一操纵器的运动学模型，所述操纵器用于可拆卸地装设操作臂，手术时，所述操纵器位于患者体外，所述操作臂的远端通过装设于所述操纵器的穿刺器插入患者体内；
获取虚拟相机的配置参数，所述配置参数包括虚拟焦距及/或虚拟光圈；
结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及所述第一操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型；
计算所述第一操纵器的可达空间；
结合所述虚拟相机的配置参数及所述第一操纵器的可达空间生成在所述虚拟相机视点之下所述第一操纵器的可达空间图像模型；
在显示器的第一显示窗口中显示所述第一操纵器的图像模型和可达空间图像模型。
12.一种手术机器人的图形化控制装置，其特征在于，包括：
存储器，用于存储计算机程序；
及处理器，用于加载并执行所述计算机程序；
其中，所述计算机程序被配置为由所述处理器加载并执行实现如下步骤：
在检测到两个以上的操纵器中存在处于工作模式的第一操纵器和存在处于空闲模式的第二操纵器、且在确定所述第一操纵器和所述第二操纵器之间存在碰撞可能性时，获取所述第一操纵器的运动学模型、并获取所述第二操纵器的运动学模型，所述操纵器用于可拆卸地装设操作臂，手术时，所述操纵器位于患者体外，所述操作臂的远端通过装设于所述操纵器的穿刺器插入患者体内；
获取虚拟相机的配置参数，所述配置参数包括虚拟焦距及/或虚拟光圈；
结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及所述第一操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型，且结合所述虚拟相机的配置参数、所述第二操纵器的运动学模型及所述第二操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第二操纵器的图像模型；
在显示器的第一显示窗口中显示所述第一操纵器的图像模型和所述第二操纵器的图像模型；或者，在所述显示器的第一显示窗口中显示所述第一操纵器的图像模型，并在所述显示器的第二显示窗口中显示所述第二操纵器的图像模型。
13.一种手术机器人的图形化控制装置，其特征在于，包括：
存储器，用于存储计算机程序；
及处理器，用于加载并执行所述计算机程序；
其中，所述计算机程序被配置为由所述处理器加载并执行实现如下步骤：
在检测到两个以上的操纵器中存在处于工作模式的第一操纵器时，获取所述第一操纵器的运动学模型，所述操纵器用于可拆卸地装设操作臂，手术时，所述操纵器位于患者体外，所述操作臂的远端通过装设于所述操纵器的穿刺器插入患者体内；
获取虚拟相机的配置参数，所述配置参数包括虚拟焦距及/或虚拟光圈；
结合所述虚拟相机的配置参数、所述第一操纵器的运动学模型及所述第一操纵器中关节组件的状态信息生成在所述虚拟相机视点之下所述第一操纵器的图像模型；
计算所述第一操纵器的可达空间；
结合所述虚拟相机的配置参数及所述第一操纵器的可达空间生成在所述虚拟相机视点之下所述第一操纵器的可达空间图像模型；
在显示器的第一显示窗口中显示所述第一操纵器的图像模型和可达空间图像模型。
CN202210130963.8A 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法 Active CN114452000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210130963.8A CN114452000B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011068074.0A CN112043396B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
CN202210130963.8A CN114452000B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011068074.0A Division CN112043396B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Publications (2)

Publication Number Publication Date
CN114452000A CN114452000A (zh) 2022-05-10
CN114452000B true CN114452000B (zh) 2023-08-22

Family

ID=73605707

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011068074.0A Active CN112043396B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
CN202210130963.8A Active CN114452000B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011068074.0A Active CN112043396B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Country Status (4)

Country Link
US (1) US20230363841A1 (zh)
EP (1) EP4205688A4 (zh)
CN (2) CN112043396B (zh)
WO (1) WO2022073289A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113274138B (zh) * 2021-05-25 2022-07-01 上海微觅医疗器械有限公司 机械臂运动空间增强显示方法、手术机器人系统和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105232155A (zh) * 2015-09-08 2016-01-13 微创（上海）医疗机器人有限公司 手术机器人调整系统
CN105748026A (zh) * 2009-06-23 2016-07-13 直观外科手术操作公司 提供包括延伸出进入引导器远端的可联接器械的运动限制范围的辅助视图的医疗机器人系统
CN109791801A (zh) * 2017-06-29 2019-05-21 威博外科公司 机器人外科手术系统中的虚拟现实训练、模拟和协作
CN111358652A (zh) * 2014-10-27 2020-07-03 直观外科手术操作公司 用于集成的手术台运动的系统和方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US10820949B2 (en) * 1999-04-07 2020-11-03 Intuitive Surgical Operations, Inc. Medical robotic system with dynamically adjustable slave manipulator characteristics
US9789608B2 (en) * 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US10258425B2 (en) * 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
FR2957000B1 (fr) * 2010-03-02 2012-03-02 Commissariat Energie Atomique Procede et systeme d'aide a la manipulation d'engins robotises en environnement encombre
KR102146708B1 (ko) * 2012-06-01 2020-08-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영-공간을 이용하여 매니퓰레이터 암들 사이의 충돌을 회피하는 시스템 및 방법
CN102814815A (zh) * 2012-08-24 2012-12-12 广东工业大学 一种虚拟工程机器人系统及控制方法
CN105188590B (zh) * 2012-12-10 2019-04-26 直观外科手术操作公司 图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免
KR20170127561A (ko) * 2015-03-17 2017-11-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
CN109275333B (zh) * 2016-06-03 2022-05-17 柯惠Lp公司 用于控制机器人递送操纵器的系统、方法和计算机可读程序产品
JP6714791B2 (ja) * 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
CN108527305A (zh) * 2018-04-11 2018-09-14 南京理工大学 一种基于虚拟现实技术的带电作业机器人力反馈主从控制方法及系统
CN109109018B (zh) * 2018-09-13 2021-09-14 上海微创医疗机器人（集团）股份有限公司 用于检测机械臂上传感设备工作状态的装置及方法、机械臂和医疗机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105748026A (zh) * 2009-06-23 2016-07-13 直观外科手术操作公司 提供包括延伸出进入引导器远端的可联接器械的运动限制范围的辅助视图的医疗机器人系统
CN111358652A (zh) * 2014-10-27 2020-07-03 直观外科手术操作公司 用于集成的手术台运动的系统和方法
CN105232155A (zh) * 2015-09-08 2016-01-13 微创（上海）医疗机器人有限公司 手术机器人调整系统
CN109791801A (zh) * 2017-06-29 2019-05-21 威博外科公司 机器人外科手术系统中的虚拟现实训练、模拟和协作

Also Published As

Publication number Publication date
CN112043396B (zh) 2022-03-04
US20230363841A1 (en) 2023-11-16
WO2022073289A1 (zh) 2022-04-14
EP4205688A1 (en) 2023-07-05
EP4205688A4 (en) 2024-09-25
CN114452000A (zh) 2022-05-10
CN112043396A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
JP7295153B2 (ja) 遠隔操作医療システムにおける器具のオフスクリーン表示のためのシステム及び方法
US11382702B2 (en) Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US11638622B2 (en) Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
CN108210070B (zh) 机械臂及其工作方法与手术机器人
EP3636194B1 (en) Surgical robot system, and method for displaying position of surgical instrument
KR102698268B1 (ko) 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법
US9516996B2 (en) Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip
CN114601564B (zh) 手术机器人及其图形化控制装置、图形化显示方法
CN112245014B (zh) 一种医疗机器人、检测机械臂碰撞的方法及存储介质
US11209954B2 (en) Surgical robotic system using dynamically generated icons to represent orientations of instruments
US20220354600A1 (en) Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
CN114452000B (zh) 手术机器人及其图形化控制装置、图形化显示方法
Bihlmaier et al. Endoscope robots and automated camera guidance
CN115429432A (zh) 可读存储介质、手术机器人系统和调整系统
US20240033005A1 (en) Systems and methods for generating virtual reality guidance
US20240208055A1 (en) Techniques for constraining motion of a drivable assembly
GB2545291A (en) Robotic system
Tsumaki et al. Virtual radar: An obstacle information display system for teleoperation
WO2024175889A1 (en) Control system for a surgical robotic system
CN118217018A (zh) 手术机器人的运动提示方法、装置及手术机器人
JPH0871071A (ja) 手術用マニピュレータシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant