CN111991085A - 手术机器人及其图形化控制装置、图形化显示方法 - Google Patents

手术机器人及其图形化控制装置、图形化显示方法 Download PDF

Info

Publication number
CN111991085A
CN111991085A CN202011068091.4A CN202011068091A CN111991085A CN 111991085 A CN111991085 A CN 111991085A CN 202011068091 A CN202011068091 A CN 202011068091A CN 111991085 A CN111991085 A CN 111991085A
Authority
CN
China
Prior art keywords
projection
arm
points
virtual camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011068091.4A
Other languages
English (en)
Other versions
CN111991085B (zh
Inventor
高元倩
王建辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Edge Medical Co Ltd
Original Assignee
Shenzhen Edge Medical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Edge Medical Co Ltd filed Critical Shenzhen Edge Medical Co Ltd
Priority to CN202210175560.5A priority Critical patent/CN114831738A/zh
Priority to CN202011068091.4A priority patent/CN111991085B/zh
Priority to CN202210177304.XA priority patent/CN114601564B/zh
Publication of CN111991085A publication Critical patent/CN111991085A/zh
Priority to EP20956605.8A priority patent/EP4218652A1/en
Priority to US18/030,919 priority patent/US20240065781A1/en
Priority to PCT/CN2020/133490 priority patent/WO2022073290A1/zh
Application granted granted Critical
Publication of CN111991085B publication Critical patent/CN111991085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种手术机器人及其图形化控制装置、图形化显示方法，手术机器人包括：输入部；显示器；操作臂，具有由有序排列的特征点构成的特征点序列，特征点表征关节；及控制器，控制器与输入部、显示器及传感器耦接，被配置成：获得操作臂的特征点序列及其对应的运动学模型；获取传感器感应的关节变量，并获取输入部选择的虚拟相机；根据运动学模型及关节变量确定特征点序列中各特征点在虚拟相机的投影平面的投影点；有序的拟合连接各投影点生成操作臂的投影图像；在显示器中显示投影图像。本发明的手术机器人便于医生全方位的观察操作臂的运动状态。

Description

手术机器人及其图形化控制装置、图形化显示方法
技术领域
本发明涉及医疗器械领域，特别是涉及一种手术机器人及其图形化控制装置、图形化显示方法。
背景技术
微创手术是指利用腹腔镜、胸腔镜等现代医疗器械及相关设备在人体腔体内部施行手术的一种手术方式。相比传统手术方式微创手术具有创伤小、疼痛轻、恢复快等优势。
随着科技的进步，微创手术机器人技术逐渐成熟，并被广泛应用。手术机器人包括主操作台及从操作设备，从操作设备包括多个操作臂，这些操作臂包括具有图像末端器械的相机臂及具有操作末端器械的手术臂。主操作台包括显示器及手柄。医生在显示器显示的由相机臂提供的视野下操作手柄控制相机臂或手术臂运动。
然而，在大多数场景下，如图1所示，相机臂34A’提供的视野往往只能观察到手术臂34B’的局部区域，能够被观察到的区域为可视区域，可知还有大片不可视区域。医生无法在可视区域观察到相机臂34A’自身的状态，也无法在不可视区域观察到手术臂34B’之间或手术臂34B’与相机臂34A’之间存在已发生的碰撞或潜在会发生的碰撞，这种情况容易引发手术安全问题。
发明内容
基于此，有必要提供一种便于医生全方位的观察操作臂的运动状态的手术机器人及其图形化控制装置、图形化显示方法。
一方面，本发明提供了一种手术机器人，包括：输入部；显示器；操作臂，包括多个关节及感应所述关节的关节变量的传感器，所述操作臂具有由有序排列的、用于关联相应所述关节的多个特征点构成的特征点序列；及控制器，所述控制器与所述输入部、显示器及所述传感器耦接，被配置成：获得所述操作臂的特征点序列及其对应的运动学模型；获取所述传感器感应的关节变量，并获取所述输入部选择的虚拟相机；根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点；有序的拟合连接各所述投影点生成所述操作臂的投影图像；在所述显示器中显示所述投影图像。
其中，所述控制器在根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点的步骤中，被配置成：根据所述运动学模型及所述关节变量获得所述特征点序列中各特征点在参考坐标系下的第一位置；将各所述第一位置分别转换成在所述虚拟相机坐标系下的第二位置；获取所述虚拟相机的虚拟焦距并根据所述虚拟焦距确定所述虚拟相机的投影平面；根据所述虚拟焦距获得各所述第二位置在所述投影平面的投影点。
其中，所述控制器在根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点的步骤中，被配置成：根据所述运动学模型及所述关节变量获得所述特征点序列中各特征点在参考坐标系下的第一位置；将各所述第一位置分别转换成在所述虚拟相机坐标系下的第二位置；获取各所述特征点对应的所述关节的轮廓信息；结合所述虚拟焦距及所述轮廓信息获得各所述第二位置在所述投影平面的投影点。
其中，所述控制器在有序的拟合连接各所述投影点生成所述操作臂的投影图像的步骤中，被配置成：结合所述轮廓信息有序的拟合连接各所述投影点生成所述操作臂的投影图像。
其中，所述控制器在有序的拟合连接各所述投影点生成所述操作臂的投影图像的步骤中，被配置成：根据各所述投影点对应的特征点在所述特征点序列中的顺序有序的连接各所述投影点进而生成所述操作臂的投影图像。
其中，所述控制器在有序的拟合连接各所述投影点生成所述操作臂的投影图像的步骤中，被配置成：获取所述操作臂的末端器械的图标；根据所述关节变量及所述运动学模型确定所述末端器械在所述虚拟相机的投影平面的位姿；根据所述末端器械在所述虚拟相机的投影平面的位姿对所述图标进行旋转及/或缩放处理；将经处理后的所述图标拼接于远端的所述投影点进而生成所述投影图像。
其中，所述控制器在获取所述操作臂的末端器械的图标的步骤中，被配置成：获取所述操作臂的类型，并根据所述类型匹配出所述操作臂的末端器械的图标。
其中，所述虚拟相机具有可选择的虚拟焦距及/或虚拟光圈，所述控制器在根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点的步骤中，被配置成：获取所述输入部选择的所述虚拟相机的虚拟焦距及/或虚拟光圈，结合所述虚拟焦距及/或虚拟光圈、所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点。
其中，所述控制器被配置成在所述显示器中显示所述投影图像的步骤之前，执行：检测所述投影图像是否失真；在检测到所述投影图像失真时，增大所述虚拟相机的虚拟焦距并重新进入结合所述虚拟焦距及/或虚拟光圈、所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点的步骤；在检测到所述投影图像未失真时，进入在所述显示器中显示所述投影图像的步骤。
其中，所述控制器被配置成：获取各所述投影点在参考坐标系的位置；获得所述投影点中落入所述投影平面的边缘区域或所述显示器中用于显示所述投影图像的显示窗口的边缘区域的第一投影点的数量；计算所述第一投影点的数量在所述投影点的总数量中的比值，并在所述比值达到阈值时，判断出所述投影图像失真。
其中，所述操作臂包括具有图像末端器械的相机臂；所述控制器还被配置成：获取所述相机臂的图像末端器械的相机参数，并根据所述相机参数计算所述图像末端器械的可见区域，所述相机参数包括焦距和光圈；根据所述相机臂的关节变量及运动学模型确定所述图像末端器械在参考坐标系下的位姿；根据在参考坐标系下所述图像末端器械的位姿及所述虚拟相机的位姿之间的转换关系将所述图像末端器械的可见区域换算为所述虚拟相机的可见区域；计算所述虚拟相机的可见区域在所述投影平面上的边界线，并在所述显示器显示的所述投影图像中显示所述边界线。
其中，所述操作臂包括具有图像末端器械的相机臂及具有操作末端器械的手术臂；所述控制器还被配置成在有序的拟合连接各所述投影点生成所述操作臂的投影图像的步骤中，执行：获取由所述相机臂的图像末端器械采集的手术区域的操作图像；从所述操作图像中识别出所述手术臂的特征部位；根据识别出的所述特征部位从所述特征点序列中匹配出关联的第一特征点；有序的拟合连接各所述投影点并标记所述投影点中关联所述第一特征点的第一投影点及与所述第一投影点连接的线段以生成所述操作臂的投影图像。
其中，所述特征点序列还包括未匹配到的第二特征点，所述控制器在根据识别出的所述特征部位从多个所述特征点序列中匹配出关联的第一特征点的步骤后，被配置成：获取未匹配到的所述第二特征点；结合所述第二特征点对应的特征部位的轮廓信息、关节变量及运动学模型生成相应所述特征部位的图像模型；将所述图像模型转换成在所述图像末端器械坐标系下的补充图像；根据所述第二特征点与所述第一特征点在所述特征点序列中的顺序关系将所述补充图像拼接到所述第一特征点对应的特征部位的图像以在所述操作图像中形成所述操作臂完整的子图像；显示具有所述操作臂完整的子图像的所述操作图像。
其中，所述控制器还被配置成：获取所述操作臂的在第一方向上的最大运动范围；根据所述操作臂的关节变量及运动学模型计算所述操作臂在所述第一方向上的运动量；根据所述第一方向上的所述最大运动范围及所述运动量生成图标；在所述显示器中显示所述图标。
其中，所述第一方向是前后进给方向。
其中，所述图标是进度条或饼图。
其中，所述控制器被配置成在所述运动量增大或减小时，相应加深或减淡所述可变长度条的颜色。
其中，所述控制器被配置成：从所述操作臂中检测出当前受控制的第一操作臂，并在所述投影图像中标识出所述第一操作臂。
其中，多个可供所述输入部选择的所述虚拟相机在参考坐标系下具有不同的位姿。
其中，所述虚拟相机在参考坐标系下的位姿基于所述操作臂在参考坐标系下的可达工作空间而确定。
其中，所述虚拟相机在参考坐标系下的位姿基于所述操作臂在参考坐标系下的可达工作空间的并集空间而确定。
其中，所述虚拟相机在参考坐标系下的位置始终位于所述并集空间的外部，且所述虚拟相机在参考坐标系下的姿态始终朝向所述并集空间。
其中，所述虚拟相机具有可供选择的虚拟焦距，所述虚拟相机的位置位于第一区域以外，所述第一区域为最短所述虚拟焦距恰好能可见所述并集空间所确定的区域。
其中，所述虚拟相机具有可供选择的虚拟焦距，所述虚拟相机的位置位于第二区域以内，所述第二区域为最长所述虚拟焦距恰好能可见所述并集空间所确定的区域。
其中，所述虚拟相机的姿态始终朝向所述并集空间的中心。
其中，所述控制器被配置成在所述显示器的第一显示窗口中显示所述投影图像，并在所述第一显示窗口中生成多个可供选择的所述虚拟相机的图标。
其中，所述图标与所述投影图像的相对位置固定，随着所述投影图像视点的变换而变换。
其中，所述图标设置成六个，分别对应从左侧、右侧、上侧、下侧、前侧及后侧对所述操作臂进行虚拟成像以生成相应视点下的所述投影图像。
其中，所述图标展现为箭头图案或相机图案，所述图标被转动选择的任意一个对应一个所述虚拟相机。
其中，所述图标展现为可转动的球体，所述图标被旋转到达的任意一个位置对应一个所述虚拟相机。
其中，所述控制器被配置成在获取所述输入部选择的虚拟相机的步骤中，执行：获取所述输入部选择的虚拟相机及所述输入部输入的所述虚拟相机的至少两个目标位置；按照所述虚拟相机的预设运动速度并根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的每一目标位置下的投影平面的目标投影点；有序的拟合连接每一所述目标位置下的各所述目标投影点生成所述操作臂的目标投影图像；根据各所述目标投影图像生成动画；按照预设频率在所述显示器上播放所述动画。
其中，所述控制器被配置成在获取所述输入部选择的虚拟相机的步骤中，执行：获取所述输入部输入的虚拟相机的运动轨迹；离散所述运动轨迹获得所述虚拟相机的各离散位置以作为目标位置；按照所述虚拟相机的预设运动速度并根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的每一所述目标位置下的投影平面的目标投影点；有序的拟合连接每一目标位置下的各所述目标投影点生成所述操作臂的目标投影图像；根据各所述目标投影图像生成动画；按照预设频率在所述显示器上播放所述动画。
其中，所述操作臂包括具有图像末端器械的相机臂；所述控制器被配置成：获取所述图像末端器械采集的手术区域的操作图像；在所述显示器中显示所述操作图像；在所述操作图像中悬浮的显示所述投影图像。
其中，所述控制器被配置成在所述操作图像中悬浮的显示所述投影图像的步骤中，执行：获取所述操作图像与所述投影图像的重叠区域，并获得所述操作图像在所述重叠区域的部分的第一图像属性；根据所述第一图像属性对所述投影图像在所述重叠区域的部分的第二图像属性进行调节。
其中，所述控制器被配置成：在所述操作臂中的第一操作臂达到事件的阈时，在所述投影图像中对所述第一操作臂的至少部分进行标识并显示于所述显示器。
其中，所述阈是警告阈，所述事件是要避免的情况。
其中，所述警告阈基于所述第一操作臂中至少一个关节的运动范围，所述要避免的情况是所述第一操作臂中至少一个关节的运动范围的限制。
其中，所述警告阈基于所述第一操作臂与所述操纵器中第二操作臂之间的距离，所述要避免的情况是所述第第一操作臂与所述第二操作臂之间的碰撞。
其中，所述控制器被配置成：获取所述第一操作臂与所述第二操作臂之间的最小距离并判断所述最小距离与所述警告阈之间的关系；当所述最小距离达到所述警告阈未到达要避免的情况相应的阈值时，形成对所述第一操作臂和所述第二操作臂的子图像上的最小距离点进行标识的第一标识。
其中，所述控制器被配置成：当所述最小距离达到达要避免的情况时，形成对所述第一操作臂和所述第二操作臂的模型上的最小距离点进行标识的第二标识。
其中，所述控制器被配置成在获取所述第一操作臂与所述第二操作臂之间的最小距离并判断所述最小距离与所述警告阈之间的关系的步骤中，执行：根据所述第一操作臂和所述第二操作臂的运动学模型及结构特征构建相应所述第一操作臂和所述第二操作臂的几何模型；离散所述第一操作臂和所述第二操作臂的几何模型获得在参考坐标系下所述第一操作臂和所述第二操作臂的外部信息点集；根据所述第一操作臂和所述第二操作臂的外部信息点集确定所述第一操作臂和所述第二操作臂之间的最小距离；对所述第一操作臂和所述第二操作臂的子图像上的最小距离点进行标识中，包括：确定所述最小距离对应的最小距离点，并对所述第一操作臂和所述第二操作臂的模型上的最小距离点进行标识。
其中，所述控制器被配置成：当所述最小距离达到所述警告阈，根据所述第一操作臂和所述第二操作臂的子图像上的最小距离点在参考坐标系下的位置确定碰撞方向；对所述第一操作臂和所述第二操作臂之间的所述碰撞方向进行标识。
其中，所述手术机器人包括与所述控制器耦接、且用于控制所述操作臂运动的机械手柄，所述控制器被配置成：根据所述碰撞方向产生阻碍所述机械手柄在关联方向上移动的阻力。
其中，所述机械手柄具有多个关节组件及驱动各所述关节组件运动的驱动电机，各所述驱动电机与所述控制器耦接，所述控制器被配置成：根据所述阻力使关联方向上的所述驱动电机产生反向力矩。
其中，所述控制器被配置成：在所述最小距离介于所述警告阈和要避免的情况相应的阈值之间时，所述反向力矩的大小与所述最小距离的大小呈负相关。
另一方面，本发明提供了一种手术机器人的图形化显示方法，所述手术机器人包括：输入部；显示器；操作臂，包括多个关节及感应所述关节的关节变量的传感器，多个所述关节构成定位自由度及/或定向自由度，所述操作臂具有由有序排列的特征点构成的特征点序列，所述特征点表征所述关节；所述控制方法包括如下步骤：获得所述操作臂的特征点序列及其对应的运动学模型；获取所述传感器感应的关节变量，并获取所述输入部选择的虚拟相机；根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点；有序的拟合连接各所述投影点生成所述操作臂的投影图像；在所述显示器中显示所述投影图像。
另一方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被配置为由处理器加载并执行实现如上述任一项实施例所述的图形化显示方法的步骤。
另一方面，本发明提供了一种手术机器人的图形化控制装置，包括：存储器，用于存储计算机程序；及处理器，用于加载并执行所述计算机程序；其中，所述计算机程序被配置为由所述处理器加载并执行实现如上述任一项实施例所述的图形化显示方法的步骤。
本发明的手术机器人及其图形化控制装置、图形化显示方法，具有如下有益效果：
通过配置虚拟相机来模拟真实相机对操作臂进行成像，可以实现对全部操作臂以及每一操作臂整体的观察，有利于医生全方位的观察操作臂的运动状态，进而有助于手术的可靠性及连续性。
附图说明
图1为现有技术手术机器人一手术状态下的局部示意图；
图2为本发明手术机器人一实施例的结构示意图；
图3为图1所示手术机器人一实施例的局部示意图；
图4为手术机器人图形化显示方法一实施例的流程图；
图5为手术机器人中操作臂与动力部的结构示意图；
图6为图1所示手术机器人一实施例的虚拟相机布局示意图；
图7为图1所示手术机器人一实施例的虚拟相机的配置界面示意图；
图8为图4所示图形化显示方法一实施例的投影成像的原理图；
图9～图10分别为图形化显示方法一实施例的显示界面示意图；
图11为手术机器人图形化显示方法一实施例的流程图；
图12～图13分别为图形化显示方法一实施例的显示界面示意图；
图14为手术机器人图形化显示方法一实施例的流程图；
图15为图形化显示方法一实施例的显示界面示意图；
图16～图17分别为手术机器人图形化显示方法一实施例的流程图；
图18为图形化显示方法一实施例的显示界面示意图；
图19为手术机器人图形化显示方法一实施例的流程图；
图20～图21分别为图1所示手术机器人一实施例的虚拟相机的配置界面示意图；
图22～图23分别为手术机器人图形化显示方法一实施例的流程图；
图24为图1所示手术机器人一实施例的虚拟相机的配置界面示意图；
图25～图27分别为手术机器人图形化显示方法一实施例的流程图；
图28为采用大视场角观察操作臂的示意图；
图29为采用如图28所示大视场角生成的显示界面示意图；
图30为调整如图28所示大视场角之后生成的显示界面示意图；
图31为手术机器人图形化显示方法一实施例的流程图；
图32为图1所示手术机器人一实施例的局部示意图；
图33～图34分别为图形化显示方法一实施例的显示界面示意图；
图35～图38分别为手术机器人图形化显示方法一实施例的流程图；
图39为本发明手术机器人另一实施例的结构示意图；
图40为本发明一实施例的手术机器人的图形化控制装置的结构示意图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。但是，本发明可以以许多不同的形式来实现，并不限于本发明所描述的实施方式。相反地，提供这些实施方式的目的是使对本发明的公开内容理解的更加透彻全面。
需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。当一个元件被认为是“耦接”另一个元件，它可以是直接耦接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。本发明所使用的术语“远端”、“近端”作为方位词，该方位词为介入医疗器械领域惯用术语，其中“远端”表示手术过程中远离操作者的一端，“近端”表示手术过程中靠近操作者的一端。本发明所使用的术语“第一/第二”等表示一个部件以及一类具有共同特性的两个以上的部件。
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图2至图3所示，其分别为本发明手术机器人一实施例的结构示意图，及其局部示意图。
手术机器人包括主操作台2及由主操作台2控制的从操作设备3。主操作台2具有运动输入设备21及显示器22，医生通过操作运动输入设备21向从操作设备3发送控制命令，以令从操作设备3根据医生操作运动输入设备21的控制命令执行相应操作，并通过显示器22观察手术区域。其中，从操作设备3具有臂体机构，臂体机构具有机械臂30及可拆卸地装设于机械臂30远端的操作臂31。机械臂30包括依次连接的基座及连接组件，连接组件具有多个关节组件。操作臂31包括依次连接的连杆32、连接组件33及末端器械34，其中，连接组件33具有多个关节组件，通过调节操作臂31的关节组件调节末端器械34的姿态；末端器械34具有图像末端器械34A及操作末端器械34B。图像末端器械34A用于采集视野内的图像，显示器22用于显示该图像。操作末端器械34B用于执行手术操作如剪切、缝合。
图1展示的手术机器人为单孔手术机器人，各操作臂31通过装设于机械臂30远端的同一个穿刺器4插入至患者体内。在单孔手术机器人中，医生一般仅对操作臂31进行控制以完成基本手术操作。此时，单孔手术机器人的操作臂31应当同时具有位置自由度(即定位自由度)和姿态自由度(即定向自由度)，以实现在一定范围内位姿的变化，例如操作臂31具有水平移动自由度x、竖直移动自由度y，自转自由度α、俯仰自由度β及偏航自由度γ，操作臂31还可以在机械臂30远端关节即动力机构301的驱动下实现前后移动自由度(即进给自由度)z。例如，动力机构301具有导轨和滑动设置于导轨上的动力部，操作臂可拆卸的装设于动力部上，一方面，动力部在导轨上的滑动提供操作臂31前后移动自由度z，另一方面，动力部为操作臂31的关节提供动力实现其余5个自由度(即[x,y,α,β,γ])。
手术机器人还包括控制器。控制器可以集成于主操作台2，也可以集成于从操作设备3。当然，控制器也可以独立于主操作台2和从操作设备3，其例如可部署在本地，又例如控制器可以部署在云端。其中，控制器可以由一个以上的处理器构成。
手术机器人还包括输入部。输入部可以集成于主操作台2。输入部可以也可以集成于从操作设备3。当然，输入部也可以独立于主操作台2和从操作设备3。输入部例如可以是鼠标、键盘、语音输入装置、触摸屏。一实施例中，采用触摸屏作为输入部，触摸屏设置于主操作台2的扶手上，可供配置的信息可显示于该触摸屏，例如待选择的虚拟相机及其虚拟相机参数等。其它实施例中，可供配置的信息可显示于主操作台2的显示器22或外置其它显示器。
操作臂31还包括感应关节的关节变量的传感器。这些传感器包括感应关节组件转动运动的角度传感器及感应关节组件线性运动的位移传感器，具体可根据关节的类型来配置适应的传感器。
控制器与这些传感器耦接，并与输入部及主操作台2的显示器22耦接。
一实施例中，提供一种手术机器人的图形化显示方法，该图形化显示方法可以由控制器执行。参阅图4，该图形化显示方法包括如下步骤：
步骤S11，获得操作臂的特征点序列及操作臂对应的运动学模型。
示例性的，如图5所示，操作臂31的驱动盒310抵接于动力机构301的动力部302的抵接面装设有存储单元311，相应在动力部302抵接于驱动盒310的抵接面装设有与存储单元311配套的读取单元303，该读取单元303与控制器耦接，操作臂31装设于动力部302时，读取单元303与耦接存储单元311通讯，读取单元303从存储单元311中读取相关信息。该存储单元311例如是存储器、电子标签。存储单元例如存储有操作臂的类型、特征点序列以及预先根据操作臂的连杆参数构建的运动学模型中的一种或两种以上的组合。特征点序列包括多个特征点，特征点可以表征操作臂中任意的特征部位，特征部位可以指操作臂的末端器械、关节、连杆中的一种或两种以上。
例如，存储单元311存储有操作臂的特征点序列及运动学模型，可以直接从该存储单元311获得所需要的操作臂的特征点序列及运动学模型。
又例如，存储单元311仅存储有操作臂的类型，而在其它与控制器耦接的存储单元存储有不同类型的操作臂的特征点序列及运动学模型。可以根据获取的操作臂的类型获得相应操作臂的特征点序列及运动学模型。
步骤S12，获取传感器感应的操作臂中各关节的关节变量。
关节变量指关节中转动关节的关节量及/或移动关节的关节偏移量。
步骤S13，获取输入部选择的虚拟相机。
顾名思义，虚拟相机为非实际存在的相机，其不会真实的采集物体的图像，其体现的仅是一种视点的概念，如图6所示，图6示意了一种虚拟相机相对于操作臂的空间分布图，默认的虚拟相机100可以定义成其中的任何一个，例如默认选择为穿刺器4上的虚拟相机100。可以对虚拟相机进行参数配置，虚拟相机的虚拟相机参数(即配置参数)至少包括(虚拟)位姿，相应于真实相机的相机参数如焦距及/或光圈，虚拟相机参数同样包括虚拟焦距及/或虚拟光圈。通常，(虚拟)焦距对应可调(虚拟)相机的视场角，(虚拟)光圈对应可调(虚拟)相机的景深。一实施例中，也可以描述虚拟相机参数包括视场角及/或景深，对于虚拟相机而言，视场角及/或景深也是虚拟的。即使相机、焦距、光圈是虚拟的，但同样可以利用如真实相机那样的成像原理以实现本发明的主旨。不同虚拟相机参数可以向医生展示不同的成像效果。
这些虚拟相机参数可以固化在存储于手术机器人的存储器的系统配置文件中，通过控制器读取该系统配置文件即可获取。这些虚拟相机参数还可以由医生在手术前或手术中根据需要通过一与控制器耦接的输入部来进行手动设置，这种设置方式是按需的，例如，这些虚拟相机参数可以通过在文本控件输入相关数据得到，又例如，这些虚拟相机参数可以通过从选项控件选取得到。
该虚拟相机的位姿可以相同于真实相机(即图像末端器械)的位姿，以从与真实相机相同的视点对操作臂进行观察。该虚拟相机的位姿也可以不同于真实相机的位姿，以从与真实相机不同的视点对操作臂进行观察。通常，可以选择虚拟相机的位姿不同于真实相机的位姿来进行观察，有助于获取到操作臂更全面的信息，例如此时操作臂还可以是相机臂，以由虚拟相机进行观察。
其中，在获取到的虚拟相机中，包括获取该虚拟相机的位姿、以及该虚拟相机的虚拟相机参数。
仅从理论上考虑，虚拟焦距最长可以无限大，最短可以无限趋近于0。示例性的，可以仿照具有例如焦距范围2mm～70mm的真实相机的镜头来配置该虚拟相机可供选择的虚拟焦距，例如可配置为2mm～50mm的虚拟焦距，如2mm、5mm、10mm、20mm。进而根据最短虚拟焦距及/或最长虚拟焦距来配置该虚拟相机的位置。其中，虚拟焦距越小，投影图像越大，越能查看局部细节；虚拟焦距越大，投影图像越小，越能查看全局。
仅从理论上考虑，虚拟光圈最大可以无限大，最小可以无限趋近于0。示例性的，可以仿照具有例如光圈范围F1，F1.2，F1.4，F2，F2.8，F4，F5.6，F8，F11，F16，F22，F32，F44，F64的真实相机的镜头来配置该虚拟相机可供选择的虚拟光圈。例如可配置为F2.8，F4，F5.6，F8的虚拟光圈。其中，虚拟光圈越大，景深越小；其中，虚拟光圈越小，景深越大。
如图7所示，示意了一种虚拟相机的配置界面。可以在该界面上选择虚拟相机的位姿、虚拟焦距及虚拟光圈。
步骤S14，根据操作臂的运动学模型及关节变量确定操作臂的特征点序列中各特征点在虚拟相机的投影平面的投影点。
例如，可以先根据操作臂的运动学模型及关节变量计算出特征点序列中各特征点在参考坐标系下的第一位置，然后根据虚拟相机坐标系与参考坐标系的坐标转换关系将该第一位置转换成虚拟相机坐标系下的第二位置，最后将第二位置投影成虚拟相机的投影平面的第三位置作为投影点。其中，虚拟相机的投影平面通常关联于虚拟相机的虚拟焦距，因而通常可以根据虚拟相机的虚拟焦距而确定虚拟相机的投影平面，进而相当于可根据该虚拟焦距获得各第二位置在投影平面的投影点。上述的参考坐标系可以设置在任何地方，通常考虑设置在手术机器人上，较佳的，设置在从操作设备上。例如，参考坐标系是从操作设备的基坐标系。又例如，参考坐标系是从操作设备中机械臂的工具坐标系。
进一步地，根据该虚拟焦距获得各第二位置在投影平面的投影点的实现过程可以分为如下两个步骤：第一步骤，获取各特征点表征(关联)的关节的轮廓信息，该轮廓信息举例包括尺寸信息及/或线型信息等；及第二步骤，结合虚拟焦距及轮廓信息获得各第二位置在投影平面的投影点。
其中，上述的第一位置、第二位置及第三位置可以是一个点位置，也可以是一个由多个点构成的区域，可知，投影点可以被理解成一个点或一个点集，具体根据特征点的选择而确定，即特征点本身选取的即为特征部位的一个点时，投影点即一个点；而特征点本身选取的即为特征部位的一个点集(即“区域”的概念)时，投影点对应为一个点集(即区域)。如果特征点的点集可以反映特征部位的几何尺寸，那么投影点也可以反映特征部位的几何尺寸，进而可以近似的展示操作臂的真实结构，以更加利于展示操作臂的运动状态。
此外，选取的特征点的数量越多或越密集，越能近似的展示操作臂的真实结构。例如，通过拟合连接这些投影点，可以更准确地体现操作臂的线型特征，如直线型，如曲线型，如曲线弧度等。
在该步骤中，更具体的，可以结合虚拟相机的虚拟焦距(虚拟视场角)及/或虚拟光圈(景深)、运动学模型及关节变量确定特征点序列中各特征点在虚拟相机的投影平面的投影点。
参阅图8，图8示意了一种投影原理。该操作臂具有特征点序列，该特征点序列包括特征点Q1、Q2、Q3及Q4，在虚拟相机的虚拟成像下，在投影平面获得投影点序列，该投影点序列对应为q1、q2、q3及q4。
示例性的，以特征点Q1和Q2为例进行说明，根据运动学模型及关节变量获得了Q1和Q2在空间中的位置分别为Q1(X1,Y1,Z1)和Q2(X2,Y2,Z2)。结合虚拟焦距确定该特征点Q1和特征点Q2在投影平面的投影点q1(x1,y1)和q2(x2,y2)可以通过如下公式获得：
x1＝fx*(X1/Z1)+cx；
y1＝fy*(Y1/Z1)+cy；
x2＝fx*(X12/Z12)+cx；
y2＝fy*(Y12/Z12)+cy；
其中，fx为水平方向焦距，fy为竖直方向焦距，cx为水平方向相对光轴偏移，cy为竖直方向相对光轴偏移。其中，fx与fy的数值可以相等，也可以不等。
步骤S15，有序的拟合连接各投影点生成操作臂的投影图像。
该步骤可以根据投影点对应的特征点在特征点序列中的顺序有序的连接各投影点以生成操作臂的投影图像，这里的“有序”指的是投影点之间对应的顺序，而并非先连哪个投影点后连哪个投影点，根据投影点之间对应的顺序从相应于操作臂真实结构的近端向远端依次连接、或者从远端向近端依次连接、或者从中间向两端依次连接均是可行的。
此外，该步骤可以结合特征部位的轮廓信息有序的拟合连接各投影点以生成操作臂的投影图像。例如，操作臂各特征部位实际的几何尺寸大致相当时，可以用与投影点尺寸相当的线段连接各投影点。
此外，“拟合连接”可指贴近特征部位线型特征的连接方式，例如，对于整体呈直线型的操作臂而言，用直线段连接相邻投影点，又例如，对于至少部分呈曲线型的操作臂而言，用曲线段连接呈曲线型的部分所对应的投影点。拟合连接的方式可以体现操作臂的线型特性。
继续参阅图8，将q1、q2、q3及q4进行有序的拟合连接即可得到相应于操作臂的投影图像。
步骤S16，在显示器中显示投影图像。
通过上述步骤S11～步骤S16，医生可以通过投影图像观察到所有操作臂及每个操作臂完整的特征部位的运动状态而不再会存在视野盲区，有助于辅助医生可靠且连续地实施手术。结合30和图33参阅，图32中在真实相机的真实可视区域外操作臂31b和31c可能发生潜在碰撞而无法观察到，而通过上述步骤S11～步骤S16，借助生成的投影图像可以观察到该潜在可能会发生的碰撞。
图9示意了一种显示界面，该显示界面仅生成了手术臂的投影图像。图10示意了另一种显示界面，该显示界面同时生成了手术臂及相机臂的投影图像。图9和图10中的投影图像均反映了对应操作臂的各特征点的运动状态。
上述实施例中，由于投影图像由一系列有序连接的投影点所形成，而这些特征点有可能并不容易直观的体现操作臂的末端器械的结构特征，因而为了较容易的体现末端器械的结构特征，如图11所示，控制器可以被配置成在上述步骤S15，即有序的拟合连接各投影点生成操作臂的投影图像的步骤中，执行：
步骤S151，获取操作臂的末端器械的图标。
例如，可以先获取操作臂的类型，然后根据操作臂的类型匹配出操作臂的末端器械的图标。又例如，可以根据获取的特征点序列匹配出操作臂的末端器械的图标。这些图标预先与操作臂的类型及/或特征点序列相关联的存储于存储单元中。
步骤S152，根据关节变量及运动学模型确定末端器械在虚拟相机坐标系下的位姿。
步骤S153，根据末端器械在虚拟相机坐标系下的位姿对图标进行旋转及/或缩放处理。
其中，通常根据末端器械在虚拟相机坐标系下的位置对图标进行缩放，根据末端器械在虚拟相机坐标系下的姿态(方向)对图标进行旋转。
步骤S154，将经处理后的图标拼接于远端的投影点进而生成投影图像。
参阅图12，图12示意了一种显示界面，该显示界面在投影图像中显示了相应操作臂的末端器械的形状，当然，该投影图像并没有反映出相应操作臂的轮廓形状。参阅图13，图13示意了另一种显示界面，该显示界面在投影图像中同样显示了相应操作臂的末端器械的形状，当然，该投影图像反映出了相应操作臂的轮廓形状。
一实施例中，本发明的手术机器人中，操作臂包括具有图像末端器械的相机臂及/或具有操作末端器械的手术臂。如图14所示，控制器还被配置成执行如下步骤：
步骤S21，检测操作臂中是否具有相机臂。
该步骤S21可以由用户通过输入部触发。该检测步骤例如还可以通过这样来实现：获取操作臂的类型，然后根据操作臂的类型来判断操作臂中是否包括相机臂。当然，手术时都必须具有相机臂。
在该步骤中检测到操作臂中具有相机臂时，进入步骤S22。
步骤S22，获取相机臂的图像末端器械的相机参数，并根据相机参数计算图像末端器械的可见区域。
其中，图像末端器械的相机参数包括焦距和光圈。
步骤S23，根据相机臂的关节变量及运动学模型确定图像末端器械在参考坐标系下的位姿。
步骤S24，根据在参考坐标系下图像末端器械的位姿及虚拟相机的位姿之间的转换关系将图像末端器械的可见区域换算为虚拟相机的可见区域。
步骤S25，计算虚拟相机的可见区域在投影平面上的边界线，并在显示器显示的投影图像中显示边界线。
参阅图15，图15示意了一种显示界面，该显示界面的投影图像中示出了图像末端器械的可视区域，该可视区域外的部分即为非可视区域。
通过上述步骤S21～步骤S25，这样便于医生从投影图像中明确感知操作臂中哪些部分属于真实视野下可见的，哪些部分是真实视野下不可见的。
一实施例中，如图16所示，控制器还被配置成在上述步骤S15，即有序的拟合连接各投影点生成操作臂的投影图像的步骤中，执行如下步骤：
步骤S151’，获取由相机臂的图像末端器械采集的手术区域的操作图像。
步骤S152’，从操作图像中识别出手术臂的特征部位。
可以采用图像识别的方式。更佳的，可以结合神经网络如卷积神经网络的方式来进行图像识别。
步骤S153’，根据识别出的特征部位从特征点序列中匹配出关联的第一特征点。
其中，在该特征点序列中，除了可以匹配到的第一特征点之外，还包括未匹配到的第二特征点。应当理解的，“第一特征点”指的是一类特征点，在本文中其指根据识别出的特征部位匹配出的全部特征点，其可能是一个也可能是两个以上。“第二特征点”指的是另一类特征点，在本文中其指特征点序列中除第一特征点之外剩余的全部特征点，其同样可能是一个也可能是两个以上。
步骤S154’，有序的拟合连接各所述投影点并标记所述投影点中关联所述第一特征点的第一投影点及与所述第一投影点连接的线段以生成所述操作臂的投影图像。
尤其适用于在特征点比较密集的场合例如每个特征部位均对应由两个以上特征点表征的场合下，通过上述步骤S151’～步骤S154’，即通过标记第一投影点及与其连接线段，能够较好的展现出操作臂在图像末端器械下可视的部分及不可视的部分。
一实施例中，参阅图17，控制器还可以被配置成在步骤S153’，即根据识别出的特征部位从特征点序列中匹配出关联的第一特征点的步骤后，执行如下步骤：
步骤S155’，获取未匹配到的第二特征点。
简单而言，从特征点序列中排除第一特征点就可以得到第二特征点。
步骤S156’，结合第二特征点对应的特征部位的轮廓信息、关节变量及运动学模型生成相应特征部位的图像模型。
这个图像模型可以是重构的计算机模型或者计算获得的投影模型。
步骤S157’，将图像模型转换成在图像末端器械坐标系下的补充图像。
步骤S158’，根据第二特征点与第一特征点在特征点序列中的顺序关系将补充图像拼接到第一特征点对应的特征部位的图像以在操作图像中形成操作臂完整的子图像。
步骤S159’，在显示器中显示具有操作臂完整的子图像的操作图像。
图18示意了一种显示界面，该显示界面将操作图像不完整的操作臂进行了补充。
通过上述步骤S155’～步骤S159’，也能够辅助医生观看到真实相机观看不到的操作臂的部分特征部位。
一实施例中，参阅图19，控制器还可以被配置成执行如下步骤：
步骤S31，获取操作臂的在第一方向上的最大运动范围。
步骤S32，根据操作臂的关节变量及运动学模型计算操作臂在第一方向上的运动量。
步骤S33，根据第一方向上的最大运动范围及运动量生成图标。
该最大运动范围可以预先存储于前述的存储单元中。
步骤S34，在显示器中显示图标。
这样的图表显示可继续参阅图9、图12及图13。
该第一方向可以是前后进给方向、左右移动方向、上下移动方向、自转方向、俯仰方向、偏航方向中一种或两种以上，具体可根据操作臂所具有的有效自由度来进行配置。示例性的，该第一方向是前后进给方向。
该图标可以是进度条或饼图。例如，在进度条中，最大运动范围呈固定长度条，运动量呈固定长度条长度范围内的可变长度条。其中，在运动量增大或减小时，相应可加深或减淡可变长度条的颜色。此外，也可以单独或结合计算运动量在最大运动范围中的比例值并在进度条的显示区域进行显示，比如显示在运动量的可变长度条中。
通过上述步骤S31～步骤S34，可以起到提示医生在相应方向注意运动范围的作用。
一实施例中，该控制器还可以被配置成：从操作臂中检测出当前受控制的第一操作臂，进而在投影图像中标识出第一操作臂。这样可以在显示器中差异化的显示出受控的操作臂和非受控的操作臂。其中，操作臂是否受控可以根据是否检测到主动控制该操作臂的启动命令来进行判断。
上述实施例中，可供输入部选择的不同虚拟相机在参考坐标系下具有不同的位姿，以从不同位置及/或姿态(方向)模拟真实相机如图像末端器械来观察操作臂。
一实施例中，虚拟相机在参考坐标系下的位姿可以基于操作臂在参考坐标系下的可达工作空间(简称可达空间)来进行确定。这样可以让虚拟相机的位姿跟其可达工作空间产生关联性以便于确定。
进一步地，虚拟相机在参考坐标系下的位姿可以基于操作臂在参考坐标系下的可达工作空间的并集空间来进行确定。操作臂只有一个时，这个并集空间相等于该操作臂的可达工作空间。操作臂为两个以上时，这个并集空间是各操作臂的可达工作空间的并集所对应的空间。其中，各操作臂在参考坐标系下的可达工作空间可以根据该操作臂的运动学模型确定，并存储于前述的存储单元中以供直接调用。当然，各操作臂在参考坐标系下的可达工作空间也可以根据该操作臂的运动学模型以在每次启动手术机器人时重新计算一次或多次。
更进一步地，虚拟相机在参考坐标系下的位置始终位于并集空间的外部，且虚拟相机在参考坐标系下的姿态始终朝向并集空间。
这样确定的虚拟相机的位姿能够满足始终能完整地观察各操作臂的运动状态，包括可观察各操作臂的运动状态及可观察操作臂之间的运动状态。
该虚拟相机被配置有可供选择的虚拟焦距。一实施例中，虚拟相机的位置只要位于最短虚拟焦距恰好能可见整个并集空间所确定的区域以外即可。一实施例中，虚拟相机的位置只要位于最小虚拟焦距恰好能可见整个并集空间所确定的区域以内也可行。一实施例中，该虚拟相机的位置可以由可供配置的最长焦距及最短焦距来共同进行限定，它位于由最长焦距确定的第一区域及最短焦距确定的第二区域之间的交集区域。
该虚拟相机的姿态(方向)始终朝向并集空间中某一相对确定的点或区域。一实施例中，虚拟相机的姿态始终朝向并集空间的中心。这样能够保证虚拟相机的虚拟成像面始终能对各操作臂进行虚拟成像。
一实施例中，控制器可以被配置成在显示器的第一显示窗口中显示投影图像，并在第一显示窗口中生成可供选择的虚拟相机的图标。
其中，对应虚拟相机的图标与投影图像的相对位置可以是固定的，随着投影图像视点的变换而同步变换。投影图像视点(即坐标)的变换跟选择的虚拟相机的位置相关。
示例性的，可以将对应虚拟相机的图标设置成六个，即代表六个不同位置的虚拟相机，该六个图标例如分别对应从左侧、右侧、上侧、下侧、前侧及后侧对操作臂进行虚拟成像以生成相应视点下的投影图像。
示例性的，图标展现为箭头图案或相机图案，图标被转动选择的任意一个对应一个虚拟相机。该图标例如还可以是一个点、或一个圆圈等。如图22所示，图标展现为箭头图案，箭头所示为视场角的调整方向。
示例性的，图标展现为可转动的球体，球体被旋转到达的任意一个位置对应一个虚拟相机。例如，可以将球体表面的任意一个位置与前述的第一区域、第二区域及/或该第一区域和第二区域的交集区域的某些位置进行对应，因此球体被旋转的任意一个位置都可以代表一个虚拟相机。当然，这些虚拟相机的姿态都朝向可达空间内的某一确定的点，以保证能够看到各完整的操作臂。如图23所示，图标展现为球体，箭头所示为视场角的可调整方向。
一实施例中，参阅图22，控制器被配置成在上述步骤S13，即获取输入部选择的虚拟相机的步骤中，执行：
步骤S131，获取输入部选择的虚拟相机及输入部输入的虚拟相机的至少两个目标位置。
在该步骤中，选择的虚拟相机主要指选定虚拟相机的虚拟焦距及/或虚拟光圈；输入的虚拟相机的至少两个目标位置可以是离散的两个以上的位置，也可以是连续的两个以上的位置。
在输入目标位置时，可以同时设置循迹模式，如单次循迹投影模式、多次循迹投影模式及往复循迹投影模式。一些列的目标位置中包括起始位置A和终点位置B，对于单次循迹投影模式而言，只进行一次A至B中每个目标位置的投影；对于多次循迹投影模式而言，进行指定次数A至B中每个目标位置的投影；对于往复循迹投影模式而言，反复进行A至B至A至B……中每个目标位置的投影。对于单次循迹投影模式及多次循迹投影模式而言，在A至B的投影过程整体结束之后，虚拟相机可以停留在一个指定位置持续进行投影，该指定位置可以是A至B中任意一个位置如A或B，也可以是其它默认的位置。
步骤S132，按照虚拟相机的预设运动速度并根据运动学模型及关节变量确定特征点序列中各特征点在虚拟相机的每一目标位置下的投影平面的目标投影点。
步骤S133，有序的拟合连接每一目标位置下的各目标投影点生成操作臂的目标投影图像。
步骤S134，根据各目标投影图像生成动画。
步骤S135，按照预设频率在显示器上播放动画。
通过上述步骤S131～步骤S135，医生可以动态的观察操作臂相互位置关系和投影信息，解决单一视角下部分信息重叠或投影失真的情况，可从多方位了解空间位置信息。
一实施例中，控制器被配置成在上述步骤S13，即获取输入部选择的虚拟相机的步骤中，执行：图23：
步骤S1311’，获取输入部输入的虚拟相机的运动轨迹。
例如，该运动轨迹可以是光标移动的轨迹，又例如，该运动轨迹可以是手指的滑动轨迹。为便于实施，示例性的，该运动轨迹的起始位置是前述某个图标对应的虚拟相机的位置，该起始位置具有坐标为(x0,y0,z0)，在该运动轨迹中，其它位置的坐标保持Z轴坐标不变，而只改变X轴坐标和Y轴坐标。其它实施例中，该运动轨迹的起始位置也并不一定是前述某个图标对应的虚拟相机的位置，但通常需要先指定整个轨迹的Z轴坐标，进而只改变X轴坐标和Y轴坐标即可。如图24所示，其示意了一种虚拟相机运动轨迹的配置界面。
步骤S1312’，离散运动轨迹获得虚拟相机的各离散位置以作为目标位置。
步骤S132，按照虚拟相机的预设运动速度并根据运动学模型及关节变量确定特征点序列中各特征点在虚拟相机的每一目标位置下的投影平面的目标投影点。
步骤S133，有序的拟合连接每一目标位置下的各目标投影点生成操作臂的目标投影图像。
步骤S134，根据各目标投影图像生成动画。
步骤S135，按照预设频率在显示器上播放动画。
一实施例中，如图25所示，该控制器通常还被配置成执行如下步骤：
步骤S41，获取图像末端器械采集的手术区域的操作图像。
步骤S42，在显示器中显示操作图像。
步骤S43，在操作图像中悬浮的显示投影图像。
这里意味着可以较容易的改变投影图像在操作图像中的位置。例如，在显示器中生成有一浮动窗口，浮动窗口显示投影图像，显示器其余区域显示操作图像。这样有助于让投影图像可以视需要避开操作图像中一些关键的位置而利于手术实施。
一实施例中，如图26所示，该控制器还可以被配置成在步骤S43中，即在操作图像中悬浮的显示投影图像的步骤中，执行：
步骤S431，获取操作图像与投影图像的重叠区域，并获得操作图像在重叠区域的部分的第一图像属性。
步骤S432，根据第一图像属性对投影图像在重叠区域的部分的第二图像属性进行调节。
这些图像属性包括颜色、饱和度、色调、亮度、对比度中的一种及两种以上的组合。例如颜色、亮度、对比度中的一种及两种以上的组合。
通过上述步骤S431～步骤S432，可以根据操作图像的图像属性对投影图像的图像属性自适应的进行调整。例如，在操作图像较暗时，可以增亮投影图像，或可以改变投影图像的颜色，以使投影图像相对操作图像比较显著以易于医生观察。
一实施例中，如图27所示，该控制器还可以被配置成在步骤S16中，即在显示器中显示投影图像的步骤之前，执行：
步骤S161，检测投影图像是否失真。
在检测到投影图像失真时，进入步骤S162；而在检测到投影图像未失真时，进入步骤S16。
示例性的，投影图像是否失真可以这样进行判断：步骤一、获取各投影点在参考坐标系的位置；步骤二、获得投影点中落入边缘区域内的第一投影点的数量；步骤三、计算第一投影点的数量在投影点的总数量中的比值，并在比值达到阈值时，判断出投影图像失真。
该边缘区域例如可以基于显示投影图像的显示窗口或投影平面划分得到。
步骤S162，增大虚拟相机的虚拟焦距。
即根据焦距与视场角之间几乎成反比的关系，减小视场角。
步骤S14’，结合虚拟焦距及/或虚拟光圈、运动学模型及关节变量确定特征点序列中各特征点在虚拟相机的投影平面的投影点的步骤。
请结合图28～28，图28示意了一种用大视场角观察操作臂的示意图；图29示意了在图28所示的视场角下生成的具有第一投影图像的显示界面，可见该投影图像的边缘区域存在压缩问题即失真了；图30示意了视场角调整后重新生成的具有第二投影图像的显示界面，可见该投影图像的边缘区域得到了展开即消除了失真问题。
上述步骤S162示例性的可以为按比例系数增大虚拟相机的虚拟焦距。简单而言，可以根据公式(1)：F＝k*f来重新确定，k为调整系数，k>1；f为调整前焦距；F为调整后焦距。
一实施例中，该虚拟焦距还可以根据如下公式(2)来重新确定，例如以重新确定水平方向的虚拟焦距为例进行说明，该公式(2)为：
fx＝k1*Fx*fx0；
其中，fx0为投影平面中心位置处的焦距；Fx为某一投影点在投影画面上距离中心位置沿X轴方向的距离；k1为设置系数；fx为某一投影点处的x方向焦距。为了增大虚拟焦距只要满足k1*Fx>1即可。
该公式(2)将虚拟相机的虚拟焦距与投影点的位置进行关联，即虚拟焦距与投影点的位置相关，待调整的虚拟焦距随投影点的变化而变化。其中，x代表投影平面中的任意一点，在投影平面中投影点P的位置表示为P(Fx,Fy)。
根据公式(2)相同的原理，还可以确定竖直方向的虚拟焦距、重新确定水平方向相对光轴偏移cx、及重新确定竖直方向相对光轴偏移cx，分别可以通过如下类似方法实现：
fy＝k2*Fy*fy0；
cx＝k3*Fx*cx0；
cy＝k4*Fy*cy0；
通过上述步骤S161～步骤S162，通过展开投影图像，可以解决大视场角条件下视场边缘的特征点具有投影压缩从而丧失观察信息有效性的问题，。
一实施例中，该控制器还可以被配置成执行：
获取显示或隐藏相应操作臂的图像的操作指令，进而根据该操作指令显示或隐藏相应操作臂的图像。
具体而言，在获取到针对操作臂的显示图像的操作指令时，则对应在步骤S14中确定该操作臂对应的投影点。而在获取到针对操作臂的隐藏图像的操作指令时，则对应在步骤S14中无需确定该操作臂对应的投影点。这样相当于可以自定义的配置投影图像，以实现简化投影图像及去除干扰的子图像等目的。一实施例中，也可以通过调节虚拟相机的虚拟光圈(虚拟景深)来至少部分实现相类似的目的，示例性的，例如可以通过调节虚拟光圈虚化掉远离虚拟相机的操作臂而只清楚的对邻近虚拟相机的操作臂进行虚拟成像。
一实施例中，上述的图形化显示方法还可以包括：
在操作臂中第一操作臂达到事件的阈时，在投影图像中对第一操作臂的至少部分进行标识并显示于显示器。
其中，第一操作臂同样指的是一类而不限于某具体的一个操作臂。该阈是警告阈，该事件是要避免的情况。
一具体实施方式中，该警告阈基于第一操作臂与操作臂中第二操作臂之间的距离，例如，该警告阈可以是一个数值。要避免的情况是第一操作臂与第二操作臂之间的碰撞，例如，该要避免的情况可以是一个数值。第二操作臂同样指的是一类而不限于某具体的一个操作臂。例如，如图31所示，该方法可以通过如下步骤实现：
步骤S51，获取第一操作臂与第二操作臂之间的最小距离。
该步骤S51是实时进行的。
步骤S52，判断该最小距离与警告阈和要避免的情况之间的关系。
警告阈及要避免的情况均用数值表示，且在要避免的情况是第一操作臂与第二操作臂之间的碰撞的情况下，该警告阈代表的数值dlim大于要避免的情况代表的数值dmin，即dlim>dmin，第一操作臂与第二操作臂之间的最小距离用d表示。一实施例中，dmin＝0，它代表已碰撞。
在该步骤S52中，如果d>dlim，即最小距离未到达警告阈，则继续进行步骤S51；如果dmin<d≤dlim，即最小距离到达警告阈未到达要避免的情况，进入步骤S53；如果d＝dmin，即最小距离越过警告阈到达要避免的情况，进入步骤S54。
步骤S53，对第一操作臂和第二操作臂的投影图像上的最小距离点进行第一标识。
如图32所示，操作臂包括相机臂31a以及手术臂31b和手术臂31c，且手术臂31b和手术臂31c之间的最小距离到达了警告阈，此时，在该步骤S53中，可以在手术臂31b(即第一操作臂)和手术臂31c(即第二操作臂)的投影图像中的最小距离点P1、P2用颜色或图形框例如圆圈等进行标识，如图33所示。而在重新检测到最小距离未到达警告阈时，通常，消除对第一操作臂和第二操作臂的投影图像上的最小距离点的标识。而在重新检测到最小距离到达要避免的情况时，进入步骤S54，即进行第二标识。
此外，在进行第一标识的过程中，也即在满足dmin<d≤dlim的条件时，可以随着最小距离的逐渐减小或增大，对第一标识作出改变。例如对颜色进行渐进变换，但可以不同于d＝dmin时的颜色；例如对第一标识进行频闪，但可以不同于d＝dmin时的频闪。
步骤S54，对第一操作臂和第二操作臂的投影图像上的最小距离点进行第二标识。
第一标识与第二标识不同。在该步骤S54中，可以例如强化对第一操作臂和第二操作臂的模型中的最小距离点P1、P2的标识如深化颜色；或者，可以对第一操作臂和第二操作臂的投影图像中的最小距离点的标识进行闪烁；或者，可以对第一操作臂和第二操作臂的投影图像中的最小距离点的标识做出类型改变如更改图形框的类型，如图34所示，图34中用虚线圆圈替换图33中所示的实线圆圈。而在重新检测到最小距离到达警告阈未到达要避免的情况时，进入步骤S53，即进行第一标识。
通过步骤S51～S54，有助于医生掌握操作臂之间的碰撞位置。
更具体地，如图35所示，上述步骤S51可以通过如下步骤实现：
步骤S511，根据第一操作臂和第二操作臂各自的运动学模型及结构特征构建相应第一操作臂和第二操作臂各自的几何模型。
在该步骤S511中，通常可以使用提及略大的基本几何体代替实际模型进行干涉分析，以提高后续的检测效率。第一操作臂及第二操作臂各自的几何模型可以简化为例如球体、圆柱体、长方体、凸多面体或两个以上的组合。
步骤S512，离散第一操作臂和第二操作臂各自的几何模型获得在参考坐标系下第一操作臂和第二操作臂各自的外部信息点集。
在该步骤S512中，将第一操作臂和第二操作臂各自的几何模型进行数据化处理得到两者各自的外部信息点集。
步骤S513，根据第一操作臂和第二操作臂各自的外部信息点集确定第一操作臂和第二操作臂之间的最小距离。
在该步骤S513中，可以利用距离跟踪法来确定两者之间的最小距离，更具体的，可以通过遍历算法从第一操作臂和第二操作臂各自的外部信息点集中确定两者之间的最小距离。
更具体地，如图36所示，，上述步骤S53可以通过如下步骤实现：
步骤S531，确定第一操作臂和第二操作臂之间的最小距离对应的第一操作臂和第二操作臂的投影图像上的最小距离点。
步骤S532，对第一操作臂和第二操作臂的投影图像上的最小距离点进行第一标识。
一实施例中，如图37所示，在最小距离达到警告阈时，图形化显示方法还可以包括如下步骤：
步骤S533，根据第一操作臂和第二操作臂的投影图像上的最小距离点在参考坐标系下的位置确定碰撞方向。
步骤S534，在投影图像中对第一操作臂和第二操作臂之间的碰撞方向进行标识。
上述通过在投影图像对第一操作臂和第二操作臂之间最小距离点及碰撞方向的标识，例如可以用箭头矢量方向来标识碰撞方向，可以为医生提供视觉反馈以避免碰撞。
主操作台的手柄采用机械手柄。一实施例中，如图38所示，对应于上述步骤S53的情况，即最小距离到达警告阈未到达要避免的情况时，包括：
步骤S533，根据第一操作臂和第二操作臂的投影图像上的最小距离点在参考坐标系下的位置确定碰撞方向。
步骤S535，根据碰撞方向产生阻碍机械手柄在关联方向上移动的阻力。
这样可以在操作臂之间具有碰撞趋势时，给医生提供力觉反馈以避免碰撞。
具体而言，该机械手柄具有多个关节组件、与控制器耦接用于感应各关节组件状态的传感器及与控制器耦接用于驱动各关节组件运动的驱动电机。根据碰撞方向产生阻碍机械手柄在关联方向上移动的阻力更具体地为：根据所述阻力使关联方向上的所述驱动电机产生反向力矩。
在最小距离介于警告阈和要避免的情况之间时，例如，反向力矩可以是恒定大小的；又例如，反向力矩的大小与最小距离的大小呈负相关。反向力矩的大小与最小距离的大小呈负相关的情况下，具体而言，最小距离逐渐减小时，增大反向力矩以产生更大的阻力；而最小距离逐渐增大时，减小反向力矩以产生较小的阻力，例如，该反向力矩的变化是线性的；例如，该反向力矩的变化是非线性的如阶梯式的。在最小距离到达要避免的情况时，产生的反向力矩可以至少最小为完全阻碍机械手柄在该碰撞方向上的移动，一实施例中，可以通过机械臂手柄各关节组件设置的力传感器检测医生施加的力或力矩，进而根据医生施加的力或力矩产生至少可抵消医生施加的力的反向力矩。一实施例中，也可以骤然直接将产生一个足够大的力使得一般力气的医生不足以移动机械手柄在碰撞方向上移动。
一实施例中，警告阈还可以基于第一操作臂中至少一个关节组件的运动范围，要避免的情况是第一操作臂中至少一个关节组件的运动范围的限制。同样的，可以在第一操作臂到达警告阈时，在第一显示窗口或第二显示窗口中对第一操作臂的模型至少相关的关节组件进行标识。此外，也可以在机械手柄处产生阻碍第一操作臂越过警告阈向要避免的情况运动的阻力。该阻力亦由关联的驱动电机产生反向力矩实现。
上述实施例的手术机器人还可以是多孔手术机器人。多孔手术机器人与单孔手术机器人之间的区别主要在从操作设备上。图39示意了一种多孔手术机器人的从操作设备。该多孔手术机器人中从操作设备的机械臂具有依次连接的主臂110、调整臂120及操纵器130。调整臂120及操纵器130均为两个以上，例如四个，主臂110远端具有定向平台，调整臂120近端均连接于定向平台，操纵器130近端连接于调整臂120远端。操纵器130用于可拆卸地连接操作臂150，操纵器130具有多个关节组件。在多孔手术机器人中，不同操作臂150通过不同的穿刺器插入患者体内，多孔手术机器人的操作臂150相较于单孔手术机器人的操作臂31而言，一般具有较少的自由度，通常，操作臂150仅具有姿态自由度(即定向自由度)，当然其姿态的变化一般也对位置产生影响，但因为影响较小通常可以被忽略。操作臂150的位置常由操纵器130辅助实现，由于操纵器130与操作臂150联动实现位姿变化，可以将这两者认为是操纵器组件，与单孔手术机器人中操作臂31相当。
一些实施例中，如图40所示，该图形化控制装置可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503、以及通信总线504。
处理器501、通信接口502、以及存储器503通过通信总线504完成相互间的通信。
通信接口502，用于与其它设备比如各类传感器或电机或电磁阀或其它客户端或服务器等的网元通信。
处理器501，用于执行程序505，具体可以执行上述方法实施例中的相关步骤。
具体地，程序505可以包括程序代码，该程序代码包括计算机操作指令。
处理器505可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路，或者是图形处理器GPU(Graphics Processing Unit)。控制装置包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU，或者，一个或多个GPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个GPU。
存储器503，用于存放程序505。存储器503可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序505具体可以用于使得处理器501执行以下操作：获得操作臂的特征点序列及其对应的运动学模型；获取传感器感应的关节变量，并获取输入部选择的虚拟相机；根据运动学模型及关节变量确定特征点序列中各特征点在虚拟相机的投影平面的投影点；有序的拟合连接各投影点生成操作臂的投影图像；在显示器中显示投影图像。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种手术机器人，其特征在于，包括：
输入部；
显示器；
操作臂，包括多个关节及感应所述关节的关节变量的传感器，所述操作臂具有由有序排列的、用于关联相应所述关节的多个特征点构成的特征点序列；
及控制器，所述控制器与所述输入部、显示器及所述传感器耦接，被配置成：
获得所述操作臂的特征点序列及其对应的运动学模型；
获取所述传感器感应的关节变量，并获取所述输入部选择的虚拟相机；
根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点；
有序的拟合连接各所述投影点生成所述操作臂的投影图像；
在所述显示器中显示所述投影图像。
2.根据权利要求1所述的手术机器人，其特征在于：
所述控制器在根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点的步骤中，被配置成：
根据所述运动学模型及所述关节变量获得所述特征点序列中各特征点在参考坐标系下的第一位置；
将各所述第一位置分别转换成在所述虚拟相机坐标系下的第二位置；
获取所述虚拟相机的虚拟焦距并根据所述虚拟焦距确定所述虚拟相机的投影平面；
根据所述虚拟焦距获得各所述第二位置在所述投影平面的投影点。
3.根据权利要求1所述的手术机器人，其特征在于：
所述控制器在根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点的步骤中，被配置成：
根据所述运动学模型及所述关节变量获得所述特征点序列中各特征点在参考坐标系下的第一位置；
将各所述第一位置分别转换成在所述虚拟相机坐标系下的第二位置；
获取各所述特征点对应的所述关节的轮廓信息；
结合所述虚拟焦距及所述轮廓信息获得各所述第二位置在所述投影平面的投影点。
4.根据权利要求3所述的手术机器人，其特征在于：
所述控制器在有序的拟合连接各所述投影点生成所述操作臂的投影图像的步骤中，被配置成：
结合所述轮廓信息有序的拟合连接各所述投影点生成所述操作臂的投影图像。
5.根据权利要求1所述的手术机器人，其特征在于：
所述控制器在有序的拟合连接各所述投影点生成所述操作臂的投影图像的步骤中，被配置成：
根据各所述投影点对应的特征点在所述特征点序列中的顺序有序的连接各所述投影点进而生成所述操作臂的投影图像。
6.根据权利要求1所述的手术机器人，其特征在于：
所述控制器在有序的拟合连接各所述投影点生成所述操作臂的投影图像的步骤中，被配置成：
获取所述操作臂的末端器械的图标；
根据所述关节变量及所述运动学模型确定所述末端器械在所述虚拟相机的投影平面的位姿；
根据所述末端器械在所述虚拟相机的投影平面的位姿对所述图标进行旋转及/或缩放处理；
将经处理后的所述图标拼接于远端的所述投影点进而生成所述投影图像。
7.根据权利要求6所述的手术机器人，其特征在于：
所述控制器在获取所述操作臂的末端器械的图标的步骤中，被配置成：
获取所述操作臂的类型，并根据所述类型匹配出所述操作臂的末端器械的图标。
8.一种手术机器人的图形化显示方法，其特征在于，所述手术机器人包括：
输入部；
显示器；
操作臂，包括多个关节及感应所述关节的关节变量的传感器，多个所述关节构成定位自由度及/或定向自由度，所述操作臂具有由有序排列的特征点构成的特征点序列，所述特征点表征所述关节；
所述控制方法包括如下步骤：
获得所述操作臂的特征点序列及其对应的运动学模型；
获取所述传感器感应的关节变量，并获取所述输入部选择的虚拟相机；
根据所述运动学模型及所述关节变量确定所述特征点序列中各特征点在所述虚拟相机的投影平面的投影点；
有序的拟合连接各所述投影点生成所述操作臂的投影图像；
在所述显示器中显示所述投影图像。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被配置为由处理器加载并执行实现如权利要求8所述的图形化显示方法的步骤。
10.一种手术机器人的图形化控制装置，其特征在于，包括：
存储器，用于存储计算机程序；
及处理器，用于加载并执行所述计算机程序；
其中，所述计算机程序被配置为由所述处理器加载并执行实现如权利要求8所述的图形化显示方法的步骤。
CN202011068091.4A 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法 Active CN111991085B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202210175560.5A CN114831738A (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
CN202011068091.4A CN111991085B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
CN202210177304.XA CN114601564B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
EP20956605.8A EP4218652A1 (en) 2020-10-08 2020-12-03 Surgical robot, and graphical control device and graphic display method therefor
US18/030,919 US20240065781A1 (en) 2020-10-08 2020-12-03 Surgical robot, and graphical control device and graphic display method therefor
PCT/CN2020/133490 WO2022073290A1 (zh) 2020-10-08 2020-12-03 手术机器人及其图形化控制装置、图形化显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011068091.4A CN111991085B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202210175560.5A Division CN114831738A (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
CN202210177304.XA Division CN114601564B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Publications (2)

Publication Number Publication Date
CN111991085A true CN111991085A (zh) 2020-11-27
CN111991085B CN111991085B (zh) 2022-03-04

Family

ID=73475081

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202210175560.5A Pending CN114831738A (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
CN202011068091.4A Active CN111991085B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法
CN202210177304.XA Active CN114601564B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210175560.5A Pending CN114831738A (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210177304.XA Active CN114601564B (zh) 2020-10-08 2020-10-08 手术机器人及其图形化控制装置、图形化显示方法

Country Status (4)

Country Link
US (1) US20240065781A1 (zh)
EP (1) EP4218652A1 (zh)
CN (3) CN114831738A (zh)
WO (1) WO2022073290A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112618020A (zh) * 2020-12-15 2021-04-09 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
CN112618029A (zh) * 2021-01-06 2021-04-09 深圳市精锋医疗科技有限公司 手术机器人及其引导手术臂移动的方法、控制装置
WO2022073290A1 (zh) * 2020-10-08 2022-04-14 深圳市精锋医疗科技有限公司 手术机器人及其图形化控制装置、图形化显示方法
WO2022127650A1 (zh) * 2020-12-15 2022-06-23 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
WO2022148336A1 (zh) * 2021-01-06 2022-07-14 深圳市精锋医疗科技有限公司 手术机器人及其引导手术臂移动的方法、控制装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116965937A (zh) * 2022-04-23 2023-10-31 深圳市精锋医疗科技股份有限公司 手术机器人系统及其控制装置
CN114886561B (zh) * 2022-05-24 2024-01-30 苏州铸正机器人有限公司 一种机器人手术路径规划装置及其规划方法
CN115847385A (zh) * 2022-11-17 2023-03-28 上海微创医疗机器人（集团）股份有限公司 调整臂控制方法、装置、系统、计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US20090088634A1 (en) * 2007-09-30 2009-04-02 Intuitive Surgical, Inc. Tool tracking systems and methods for image guided surgery
CN102076276A (zh) * 2008-06-27 2011-05-25 直观外科手术操作公司 提供延伸到进入引导器远端外的可铰接器具的辅助视图的医疗机器人系统
CN102170835A (zh) * 2008-09-30 2011-08-31 直观外科手术操作公司 提供计算机生成的摄像器械的辅助视图以控制医疗机器人系统的末端定位和取向的医疗机器人系统
CN102802550A (zh) * 2009-06-23 2012-11-28 直观外科手术操作公司 提供包括延伸出进入引导器远端的可联接器械的运动限制范围的辅助视图的医疗机器人系统
US20140276943A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation Systems and Methods for Establishing Virtual Constraint Boundaries
CN109965981A (zh) * 2018-09-30 2019-07-05 深圳市精锋医疗科技有限公司 手术机器人的启动方法、可读取存储器及手术机器人

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10820949B2 (en) * 1999-04-07 2020-11-03 Intuitive Surgical Operations, Inc. Medical robotic system with dynamically adjustable slave manipulator characteristics
CN102243764B (zh) * 2010-05-13 2015-07-15 东软集团股份有限公司 运动特征点检测方法及装置
US10398521B2 (en) * 2014-03-17 2019-09-03 Intuitive Surgical Operations, Inc. System and method for recentering imaging devices and input controls
WO2017044965A1 (en) * 2015-09-10 2017-03-16 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
US20190088162A1 (en) * 2016-03-04 2019-03-21 Covidien Lp Virtual and/or augmented reality to provide physical interaction training with a surgical robot
CN106344151B (zh) * 2016-08-31 2019-05-03 北京市计算中心 一种手术定位系统
CN107995477A (zh) * 2016-10-26 2018-05-04 中联盛世文化（北京）有限公司 图像展示方法、客户端及系统、图像发送方法及服务器
CN116035699A (zh) * 2017-04-20 2023-05-02 直观外科手术操作公司 用于约束虚拟现实手术系统的系统和方法
CA2977489C (en) * 2017-08-28 2019-11-26 Synaptive Medical (Barbados) Inc. Positioning arm for a surgical navigation system
US20200352657A1 (en) * 2018-02-02 2020-11-12 Intellijoint Surgical Inc. Operating room remote monitoring
CN111991084B (zh) * 2020-10-08 2022-04-26 深圳市精锋医疗科技股份有限公司 手术机器人及其虚拟成像控制方法、虚拟成像控制装置
CN114831738A (zh) * 2020-10-08 2022-08-02 深圳市精锋医疗科技股份有限公司 手术机器人及其图形化控制装置、图形化显示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101291635A (zh) * 2005-10-20 2008-10-22 直观外科手术公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
US20090088634A1 (en) * 2007-09-30 2009-04-02 Intuitive Surgical, Inc. Tool tracking systems and methods for image guided surgery
CN102076276A (zh) * 2008-06-27 2011-05-25 直观外科手术操作公司 提供延伸到进入引导器远端外的可铰接器具的辅助视图的医疗机器人系统
CN102170835A (zh) * 2008-09-30 2011-08-31 直观外科手术操作公司 提供计算机生成的摄像器械的辅助视图以控制医疗机器人系统的末端定位和取向的医疗机器人系统
CN102802550A (zh) * 2009-06-23 2012-11-28 直观外科手术操作公司 提供包括延伸出进入引导器远端的可联接器械的运动限制范围的辅助视图的医疗机器人系统
US20140276943A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation Systems and Methods for Establishing Virtual Constraint Boundaries
CN109965981A (zh) * 2018-09-30 2019-07-05 深圳市精锋医疗科技有限公司 手术机器人的启动方法、可读取存储器及手术机器人

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073290A1 (zh) * 2020-10-08 2022-04-14 深圳市精锋医疗科技有限公司 手术机器人及其图形化控制装置、图形化显示方法
CN112618020A (zh) * 2020-12-15 2021-04-09 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
WO2022127650A1 (zh) * 2020-12-15 2022-06-23 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
CN112618029A (zh) * 2021-01-06 2021-04-09 深圳市精锋医疗科技有限公司 手术机器人及其引导手术臂移动的方法、控制装置
WO2022148336A1 (zh) * 2021-01-06 2022-07-14 深圳市精锋医疗科技有限公司 手术机器人及其引导手术臂移动的方法、控制装置

Also Published As

Publication number Publication date
CN114601564A (zh) 2022-06-10
CN114601564B (zh) 2023-08-22
US20240065781A1 (en) 2024-02-29
CN114831738A (zh) 2022-08-02
CN111991085B (zh) 2022-03-04
WO2022073290A1 (zh) 2022-04-14
EP4218652A1 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
CN111991085B (zh) 手术机器人及其图形化控制装置、图形化显示方法
US10660716B2 (en) Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US11865729B2 (en) Tool position and identification indicator displayed in a boundary area of a computer display screen
US11941734B2 (en) Rendering tool information as graphic overlays on displayed images of tools
US11872006B2 (en) Systems and methods for onscreen identification of instruments in a teleoperational medical system
CN111991084B (zh) 手术机器人及其虚拟成像控制方法、虚拟成像控制装置
US11877816B2 (en) Systems and methods for master/tool registration and control for intuitive motion
KR102117273B1 (ko) 수술 로봇 시스템 및 그 제어 방법
WO2022127650A1 (zh) 手术机器人及其控制方法、控制装置
US20240296608A1 (en) Rendering Tool Information As Graphic Overlays On Displayed Images Of Tools

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 2b1901, phase II, smart home, 76 Baohe Avenue, Baolong community, Baolong street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Jingfeng Medical Technology Co.,Ltd.

Address before: 518000 301, building 39, Dayun software Town, 8288 Longgang Avenue, heao community, Yuanshan street, Longgang District, Shenzhen City, Guangdong Province

Applicant before: SHENZHEN JINGFENG MEDICAL TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant