CN115177365A - 一种计算机可读存储介质、电子设备及手术机器人系统 - Google Patents

一种计算机可读存储介质、电子设备及手术机器人系统 Download PDF

Info

Publication number
CN115177365A
CN115177365A CN202110313589.0A CN202110313589A CN115177365A CN 115177365 A CN115177365 A CN 115177365A CN 202110313589 A CN202110313589 A CN 202110313589A CN 115177365 A CN115177365 A CN 115177365A
Authority
CN
China
Prior art keywords
punching
image
information
image acquisition
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110313589.0A
Other languages
English (en)
Inventor
李自汉
唐文博
蒋友坤
何超
王家寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202110313589.0A priority Critical patent/CN115177365A/zh
Publication of CN115177365A publication Critical patent/CN115177365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种计算机可读存储介质、电子设备及手术机器人系统，所述计算机可读存储介质上存储有程序，当所述程序被执行时，执行如下步骤：根据患者体内的目标区域的第一图像信息建立所述目标区域的第一三维模型；根据穿过患者体表的打孔装置的打孔末端的第二图像信息和所述第一三维模型获取打孔状态信息，并生成指引信息。将所述计算机可读存储介质应用于手术机器人系统时，可监控打孔状态并生成指引信息，极大地降低了打孔操作对施术者的经验的依赖，提高手术安全性。

Description

一种计算机可读存储介质、电子设备及手术机器人系统
技术领域
本发明涉及医疗器械技术领域，具体涉及一种计算机可读存储介质、电子设备及手术机器人系统。
背景技术
手术机器人的设计理念是采用微创伤的方式精准地实施复杂的外科手术。在传统的手术操作面临种种局限的情况下发展出现了手术机器人，手术机器人突破了人眼的局限，其能够利用立体成像技术将人体内部的器官更加清晰地呈现给施术者。并且对于一些人的手部无法伸入的狭小区域，手术机器人仍可控制手术器械完成挪动、摆动、夹持及360°转动，并可避免抖动，提高手术精确度，进一步达到创口小、出血少、术后恢复快、极大地缩短患者术后住院时间的优势。因此，手术机器人深受广大医患的青睐，广泛应用于各自临床手术中。
与传统手术一样，在利用手术机器人进行手术之前，需要对病灶进行定位，并根据病灶位置确定打孔点，然后在打孔点进行打孔，进而开展手术操作。用于打孔的打孔装置通常非常的尖锐，且施术者为刺破患者体表，通常需要非常用力，因此打孔操作十分依赖施术者的经验，经验不足的施术者在打孔时极易用力过猛而导致打孔装置在穿透体表后刺伤组织，给患者带来不必要的创伤，影响手术安全。
发明内容
本发明的目的在于提供一种计算机可读存储介质、电子设备及手术机器人系统，以在打孔过程中对施术者进行指引，提高手术安全，降低对施术者的经验要求。
为实现上述目的，本发明提供了一种计算机可读存储介质，其上存储有程序，当所述程序被执行时，执行如下步骤：
根据患者体内的目标区域的第一图像信息建立所述目标区域的第一三维模型；
根据穿过患者体表的打孔装置的打孔末端的第二图像信息和所述第一三维模型获取打孔状态信息，并生成指引信息。
可选地，所述第一图像信息和所述第二图像信息由图像获取装置采集，所述图像获取装置挂载在图像臂上；所述打孔装置在实际打孔点处穿过患者体表；
所述程序还执行如下步骤：
根据所述实际打孔点的位置确定所述图像获取装置的目标位姿，以使所述图像获取装置处于所述目标位姿时，所述实际打孔点在所述图像获取装置的视野范围内；
根据所述第一三维模型、所述图像获取装置的初始位姿和所述目标位姿中的至少一者规划所述图像获取装置的运动方案；以及，
驱使所述图像臂运动以带动所述图像获取装置按照所述运动方案运动至所述目标位姿。
可选地，所述目标位姿包括目标位置；所述初始位姿包括初始位置；
所述程序执行如下步骤：
根据所述第一三维模型、所述图像获取装置的初始位置和所述目标位置规划运动路径；
驱使所述图像获取装置从所述初始位置沿所述运动路径移动至所述目标位置。
可选地，所述程序执行如下步骤：
根据所述初始位置和所述目标位置规划全局运动路径，以使所述图像获取装置沿所述全局运动路径移动时能够到达所述目标位置；
驱使所述图像获取装置沿所述全局运动路径移动。
可选地，当所述全局运动路径上有障碍物时，所述程序还执行如下步骤：
规划局部运动路径，所述局部运动路径设置在所述障碍物的边界的外侧，且所述局部运动路径的起始点和终止点均在所述全局运动路径上；
驱使所述图像获取装置沿所述局部运动路径移动，以使所述图像获取装置避开所述障碍物，并在避开所述障碍物后回到所述全局运动路径。
可选地，在所述图像获取装置抵达所述目标位置之前，所述图像获取装置实时采集所述第一图像信息；
所述程序还执行如下步骤：
每间隔第一预定时间根据当前的所述第一图像信息重新规划所述局部运动路径；和/或，
每间隔第二预定时间根据当前的所述第一图像信息更新所述第一三维模型，并根据更新后的所述第一三维模型重新规划所述全局运动路径；所述第二预定时间大于所述第一预定时间。
可选地，在所述图像获取装置沿第一次规划的所述全局运动路径移动之前，所述程序还执行如下步骤：
驱使所述图像获取装置旋转以获取所述初始位置的周围区域的第三图像信息；
根据所述第三图像信息建立所述初始位置的周围区域的第二三维模型；
根据所述第二三维模型驱使所述图像获取装置沿朝向体外的方向移动预定距离；以及，
驱使所述图像获取装置移动并返回到所述全局运动路径。
可选地，在规划所述局部运动路径时，所述程序执行如下操作：
对所述第一三维模型执行膨胀运算，以使所述障碍物的边界向外侧膨胀一安全距离而得到膨胀边界；
根据膨胀运算后的所述第一三维模型规划所述局部运动路径，所述局部运动路径设置在所述膨胀边界的外侧。
可选地，所述图像获取装置按照所述运动方案运动的过程中的最大速度为Vmax，加速度为a，所述安全距离为d，且满足如下公式：
d＝Vmax 2/(2a)。
可选地，所述目标位姿还包括目标姿态；
所述程序还执行如下步骤：
根据所述图像获取装置抵达所述目标位置时的当前姿态和所述目标姿态规划转动方案；
驱使所述图像获取装置按照所述转动方案转动至所述目标姿态。
可选地，所述第二图像信息由图像获取装置采集，在所述图像获取装置采集所述第二图像信息时，所述程序执行如下步骤：
采用视觉伺服控制所述图像获取装置的位姿，以使所述打孔末端处于所述图像获取装置的视野内。
可选地，所述打孔状态信息包括所述打孔末端的位置信息和所述打孔末端的速度信息，所述指引信息包括打孔进程信息、碰撞提醒信息和预期打孔方向信息中的至少一者；
所述程序执行如下步骤以获取所述打孔状态信息：
根据所述第二图像信息和所述第一三维模型实时地获取所述打孔末端的位置信息；
根据所述打孔末端的位置的变化获取所述打孔末端的速度；
所述程序执行以下步骤中的至少一者以获取所述指引信息：
根据所述打孔末端的当前位置信息和预定打孔深度生成所述打孔进程信息；
根据所述打孔末端的位置信息、所述打孔末端的速度信息以及所述第一三维模型获取碰撞概率，生成所述碰撞提醒信息；
根据所述打孔末端的位置信息及所述第一三维模型获取所述预期打孔方向信息。
可选地，所述程序执行如下步骤以获取所述碰撞提醒信息：
根据所述打孔末端的位置信息和所述第一三维模型得到距离所述打孔装置最近的目标组织；
计算所述打孔装置与所述目标组织之间的距离；
根据所述打孔末端的速度信息和所述距离计算碰撞发生时间，并判断所述碰撞发生时间是否大于设定的时间阈值；
若否，则判定碰撞概率大，并生成所述碰撞提醒信息。
可选地，所述程序执行如下步骤以获取所述预期打孔方向信息：
获取所述目标组织的切平面；
获取所述打孔装置的打孔末端的方向向量；
将所述方向向量投影至所述切平面上，并得到所述预期打孔方向信息。
可选地，所述打孔装置在患者体表的实际打孔点处穿透患者体表，所述程序还执行如下步骤：
根据处于第一状态的患者的第一体表数据和病灶数据建立第一体征图像模型，所述第一体征图像模型用于规划预打孔点；
根据处于第二状态的患者的第二体表数据建立第二体征图像模型；
对所述第二体征图像模型和所述第一体征图像模型执行图像配准，以将所述第一体征图像模型上的预打孔点转换为所述第二体征图像模型上的目标打孔点，以使所述目标打孔点表征患者身体上的所述实际打孔点。
为实现上述目的，本发明还提供了一种电子设备，包括处理器和如前任一项所述的计算机可读存储介质。
为实现上述目的，本发明还提供了一种手术机器人系统，包括：
工具臂，用于挂载打孔装置；所述打孔装置包括打孔末端，所述打孔末端用于在患者体表的实际打孔点处穿过患者体表并进入患者体内；
图像臂，用于挂载图像获取装置，所述图像获取装置用于插入患者体内并采集患者体内的目标区域的第一图像信息以及进入患者体内的所述打孔末端的第二图像信息；以及，
控制单元，与所述图像获取装置通信连接，并被配置用于执行如前任一项所述的计算机可读存储介质上所存储的程序。
可选地，所述手术机器人系统还包括所述图像获取装置；所述图像获取装置包括镜臂和图像采集元件；所述镜臂包括从近端到远端依次连接的第一刚性段、可控弯段和第二刚性段，所述可控弯段包括波纹管或蛇骨；所述图像采集元件设置在所述第二刚性段上，且所述图像采集元件包括双目相机、激光传感器或3D结构光相机中的任一种。
可选地，所述手术机器人系统还包括提示单元，与所述控制单元通信连接，并被配置为接收所述指引信息并进行指引。
可选地，所述手术机器人系统还包括所述打孔装置，所述打孔装置的所述打孔末端上设有标记物，所述图像获取装置用于识别所述标记物并获取所述打孔末端的所述第二图像信息。
与现有技术相比，本发明的计算机可读存储介质、电子设备及手术机器人系统具有如下优点：
前述的计算机可读存储介质上存储有程序，当所述程序被执行时，执行如下步骤：根据患者体内的目标区域的第一图像信息建立所述目标区域的第一三维模型；根据穿透患者体表的打孔装置的锥形尖端的第二图像信息和所述第一三维模型获取打孔状态信息，并生成指引信息。将所述计算机可读存储介质应用于手术机器人系统以进行打孔操作时，可实时显示所述打孔装置在患者体内目标区域的实际位置，指示施术者进行打孔操作，避免在打孔过程中刺伤组织而给患者带来不必要的损伤，降低手术风险，也减少对施术者的经验的依赖。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明根据一实施例所提供的手术打孔的指引信息应用于手术机器人系统时的示意图；
图2是本发明根据一实施例所提供的手术机器人系统在患者体表打孔时的示意图；
图3是本发明根据一实施例所提供的手术机器人系统的打孔装置的示意图；
图4是本发明根据一实施例所提供的手术机器人系统的指引方法的流程图；
图5是本发明根据一实施例所提供的手术机器人系统在患者体表确定的实际打孔点的示意图；
图6是本发明根据一实施例所提供的手术机器人系统在患者体表确定实际打孔点的流程图；
图7是本发明根据一实施例所提供的手术机器人系统利用第一影像设备获取患者的第一体表信息和病灶信息时的示意图；
图8是本发明根据一实施例所提供的手术机器人系统利用第二影像设备获取患者的第二体表信息时的示意图；
图9是本发明根据一实施例所提供的手术机器人系统对患者体表的靶标及控制单元建立映射关系时的示意图；
图10是本发明根据一实施例所提供的手术机器人系统的内窥镜的双目相机的工作原理示意图；
图11是本发明根据一实施例所提供的手术打孔的指引信息的控制单元根据第一图像信息建立第一三维模型的流程图；
图12是本发明根据一实施例所提供的手术机器人系统的控制单元规划方案并驱使内窥镜沿方案运动时的流程图；
图13是本发明根据一实施例所提供的手术机器人系统的控制单元规划内窥镜的运动路径时的示意图；
图14是本发明根据一实施例所提供的手术机器人系统的控制单元规划内窥镜的运动方案时的示意图，图示中局部运动路径与障碍物之间具有安全距离；
图15是本发明根据一实施例所提供的手术机器人系统的内窥镜在沿运动方案运动前朝向体外回撤时的示意图；
图16是本发明根据一实施例所提供的手术机器人系统的内窥镜的结构示意图；
图17是本发明根据一替代性的实施例所提供的手术机器人系统的内窥镜的结构示意图；
图18是本发明根据一实施例所提供的手术机器人系统的控制单元对内窥镜进行视觉伺服控制的原理图；
图19是本发明根据一实施例所提供的手术机器人系统的控制单元获取打孔进程的流程图；
图20是本发明根据一实施例所提供的手术机器人系统的控制单元获取碰撞提醒及打孔方向时的流程图；
图21是本发明根据一实施例所提供的手术机器人系统的控制单元获取目标组织的切平面时的示意图；
图22是本发明根据一实施例所提供的手术机器人系统的控制单元获取预期打孔方向的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，以下说明内容的各个实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，在实施为可能的前提下，本领域技术人员可依据本发明的公开内容，并视设计规范或实作需求，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施多个实施例中部分或全部的技术特征的组合，借此增加本发明实施时的弹性。
如在本说明书中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，复数形式“多个”包括两个以上的对象，除非内容另外明确指出外。如在本说明书中所使用的，术语“或”通常是以包括“和/或”的含义而进行使用的，除非内容另外明确指出外，以及术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接。可以是机械连接，也可以是电连接。可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
为使本发明的目的、优点和特征更加清楚，以下结合附图对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。附图中相同或相似的附图标记代表相同或相似的部件。
图1示出了本发明的手术机器人系统的应用场景示意图。请参考图1，所述手术机器人系统包括控制端和执行端，所述控制端包括医生控制台和设置在所述医生控制台上的医生端控制装置10。所述执行端包括患者端控制装置、手术操作装置20、图像显示装置30等设备。其中，所述手术操作装置20上挂载有图像臂300和工具臂400。所述工具臂400用于挂载一打孔装置100，所述打孔装置100用于在患者体表的实际打孔点M(如图2所示)处打孔。所述图像臂300用于挂载一图像获取装置，所述图像获取装置用于获取感兴趣的区域或装置的图像信息(例如后文中述及的第一图像信息、第二图像信息等)。所述图像获取装置例如是内窥镜200。此外，所述手术机器人系统还包括一控制单元，所述控制单元与所述图像臂300、所述工具臂400及所述内窥镜200通信连接。所述控制单元可设置在所述患者端控制装置处，或设置在医生端控制装置处，或一部分设置在所述患者端控制装置处，另一部分设置在所述医生端控制装置处。也就是说，本发明对所述控制单元的具体设置方式不作限定，只要其能够执行相关功能即可。图2示出了本发明实施例所提供的手术机器人系统在执行打孔操作时的示意图，图3示出了打孔装置的结构示意图。如图2及图3所示，所述打孔装置100包括打孔末端，例如锥形尖端110，所述锥形尖端110用于在实际打孔点M处穿透患者体表，以实现打孔操作。所述内窥镜200用于插入患者体内，并采集患者体内的目标区域的第一图像信息，以及在所述锥形尖端110穿透患者体表后(即锥形尖端进入患者体内)实时地采集所述锥形尖端110的第二图像信息。所述控制单元被配置用于根据所述第一图像信息建立所述目标区域的第一三维模型；以及在所述锥形尖端110穿透患者体表后根据所述第二图像信息和所述第一三维模型获取打孔状态信息，并生成指引信息，以指引打孔操作。
所述控制单元根据所述内窥镜200所采集的所述第一图像信息建立所述目标区域的三维模型，进而可得到所述目标区域内的各种组织的位置。且所述内窥镜200还通过实时采集已经穿透患者体表的打孔装置100的锥形尖端110的第二图像信息以监控所述打孔装置100的锥形尖端110的位置和速度，并根据各种组织的位置、锥形尖端110的位置和速度，使得施术者可实时了解打孔状态及指引信息，并根据所述指引信息调整打孔方向等操作，避免刺伤组织，降低手术对施术者的经验的依赖，提高手术安全性，缩短手术时间，降低施术者的疲劳程度。本实施例中，所述“目标区域”根据具体的手术来确定，例如在腹腔镜手术中，所述目标区域即是指腹腔，在胸腔镜手术中，所述目标区域即是胸腔，后文中以腹腔镜手术中腹腔为所述目标区域为例进行说明。进一步地，所述锥形尖端110的表面上可设置标记物111，所述标记物111可被所述内窥镜200识别，以便于所述内窥镜200获取所述锥形尖端110的所述第二图像信息，所述标记物111例如是涂覆在所述锥形尖端110表面的反光材料或发光体等。此外，本领域技术人员可理解，所述实际打孔点M是指供手术器械穿入体内的点。
所述内窥镜200在打孔(此处的打孔，是在在所述实际打孔点M处打孔)前被插入患者的腹腔，例如根据医生的经验预先插入患者的腹腔，并处于预定的初始位姿。所述内窥镜200包括图像采集元件210(如图16及图17所示)，当所述内窥镜200处于所述初始位姿时，所述图像采集元件210可采集所述第一图像信息，所述第一图像信息中显示腹腔内的目标组织的影像。当所述内窥镜200处于所述初始位姿时，所述图像采集元件210可能完全偏离所述实际打孔点M，造成所述内窥镜200不能及时地获取所述锥形尖端110穿透患者体表后的第二图像信息。因此，所述控制单元还被配置用于根据所述实际打孔点M的位置确定所述内窥镜200的目标位姿，以使所述内窥镜200在所述目标位姿时，所述实际打孔点M在所述内窥镜200的视野范围内(即实际打孔点在所述图像采集元件210的视野范围内)，这样只要所述锥形尖端110穿透患者体表，所述内窥镜200可立即采集所述第二图像信息。以及，所述控制单元还被配置为根据所述第一三维模型、所述内窥镜200的所述初始位姿和所述目标位姿规划所述内窥镜200的运动方案，并驱使所述内窥镜200按照所述运动方案运动至所述目标位姿。如前所述，所述内窥镜200挂载在所述图像臂300上，因此所述控制单元可通过控制所述图像臂300运动而带动所述内窥镜200移动。
进一步地，在进行打孔操作前，还需要在患者体表确定所述实际打孔点M的位置。本实施例中，所述实际打孔点M可由所述控制单元确定。
如此，在一个示范性的实施例中，利用所述手术机器人系统在手术打孔过程中进行打孔指引的方法可如图4所示，包括如下步骤：
步骤S10：在患者体表确定实际打孔点，例如医生手动或者利用机器人自动确定实际打孔点。
步骤S20：将所述内窥镜插入患者的腹腔，例如根据医生经验选择合适的点插入内窥镜。
步骤S30：所述内窥镜采集腹腔(即所述目标区域)的第一图像信息，并发送至所述控制单元。
步骤S40：所述控制单元根据所述第一图像信息建立腹腔的第一三维模型。
步骤S50：所述控制单元根据所述实际打孔点确定所述内窥镜的所述目标位姿。
步骤S60：所述控制单元根据所述第一三维模型、所述内窥镜的所述初始位姿和所述内窥镜的所述目标位姿规划所述内窥镜的运动方案，并驱使所述图像臂运动，以驱使所述内窥镜按照所述运动方案运动至所述目标位姿。
步骤S70：所述控制单元驱使所述工具臂运动，以利用所述打孔装置开始打孔，并且在所述打孔装置的所述锥形尖端穿透患者体表而进入腹腔后，所述内窥镜采集所述锥形尖端的第二图像信息，并发送至所述控制单元。
步骤S80：所述控制单元根据所述第二图像信息和所述第一三维模型获取打孔状态信息，并生成指引信息以指引打孔，直至孔成型(即完成打孔)。施术者根据所述打孔状态信息和所述指引信息调整打孔操作，以避免刺伤组织。
当一个打孔操作结束之后，施术者可使所述内窥镜200返回至初始位姿，该过程可采用任何合适的方法执行，例如将所述内窥镜200收回至戳卡中，然后再将内窥镜200移动至所述初始位姿。然后重复执行步骤S50至步骤S80，直至所有的打孔操作结束。
接着，本文将结合附图详细介绍图4所示的方法的各个步骤的实现方式。
图5示出了患者体表的实际打孔点M的示意图，图6示出了在患者体表确定所述实际打孔点M的流程图。
请参考图5及图6，确定患者体表的实际打孔点的方法包括如下步骤：
步骤S11：所述控制单元得到第一体征图像模型。所述第一体征图像模型是根据处于第一状态的患者的第一体表数据和病灶数据所建立第一体征图像模型。本实施例中可所述控制单元直接建立所述第一体征图像模型。而在替代性的实施例中，所述第一体征图像模型可由一外部设备建立，之后所述控制单元可通过数据传输的方式接收所述第一体征图像模型，或由施术者将所述第一体征图像模型的相关数据手动输入所述控制单元。
步骤S12：在所述第一体征图像模型上规划预打孔点。本实施例中，所述预打孔点可由所述控制装置通过三维仿真模拟患者体征，并结合机械臂的模型进行模拟打孔，且综合考虑机械臂工作空间和碰撞安全性的方式得到。或者，在替代性的实施例中，所述预打孔点可由施术者根据经验确定，之后再通过所述控制单元进行模拟打孔，以验证所述预打孔点的位置是否合适。
步骤S13：所述控制单元根据处于第二状态的患者的第二体征数据建立第二体征图像模型。
步骤S14：所述控制单元对所述第二体征图像模型和所述第一体征图像模型进行图像配准，以将所述第一体征图像模型上的预打孔点转换为所述第二体征图像模型上的目标打孔点。
步骤S15：根据所述第二体征图像模型与患者的映射关系将所述第二体征图像模型上的所述目标打孔点指示在患者的身体上，以得到所述实际打孔点。
本实施例中，如图7所示，所述第一体表数据和病灶数据由第一影像设备400获取，所述第一影像设备400可包括MRI、CT或其他X射线装置，只要其能够同时扫描患者体表特征和病灶特征即可。如图8所示，所述第二体表数据由第二影像设备500采集，所述第二影像设备包括但不限于3D视觉系统。当患者分别处于所述第一状态和所述第二状态时，患者的体位存在差异。通常，所述第一状态是指患者在确诊阶段的状态，所述第二状态是指患者处于术前准备时的状态。在腹腔镜手术中，所述第一状态是指患者气腹前的状态，所述第二状态是患者建立气腹后的状态。在其他手术中或其他环境下，所述第一状态和所述第二状态的区别也可能是由于患者憋气、饱食、排便等原因引起的不同状态。此外，本领域技术人员可理解，所述步骤S12和所述步骤S13的顺序也可互换。
实践中，所述第一影像设备400、所述第二影像设备500、所述控制单元及患者处于不同的坐标系中，但对于本领域技术人员而言，可采用常规方法在不同坐标系之间建立映射关系。在一个具体实施例中，如图7至图9所示，所述第二影像设备采集所述第二体表数据时，患者的体表分布有多个靶标1，所述靶标1可以是靶标笔或反光球。多个所述靶标1的位置由施术者标定，并根据多个所述靶标1的位置建立第一坐标系F1(即患者坐标系)。所述第二影像设备500在第二坐标系F2内，所述第二影像设备500通过获取所述靶标1的坐标以作为所述第二体表数据，由此可知所述第二坐标系F2与所述第一坐标系F1的映射关系。所述第一影像设备400在第三坐标系F3内，在步骤S14中，通过图像配准可得到所述第二坐标系F2与所述第三坐标系F3的映射关系，进而可得到所述目标打孔位置在所述第一坐标系F1内的位置。所述图像臂300在第四坐标系F4内，在世界坐标系F0中可直接获取所述第四坐标系F4与所述第一坐标系F1的映射关系。由此可建立各个坐标系之间的映射关系，实现不同坐标系之间的坐标转换，进而得到患者体表的所述实际打孔点M(如图5所示)。
接着，施术者将所述内窥镜200插入患者的腹腔，并利用所述图像采集元件210采集所述第一图像信息。需要说明的是，所述内窥镜200从患者体表的内窥镜点插入患者的腹腔，所述内窥镜点和所述实际打孔点可同时确定，即，在规划所述实际打孔点的同时还同步规划所述内窥镜点。如此，所述步骤S12中还规划了预内窥镜点，所述步骤S14中还包括将所述预内窥镜点转换为目标内窥镜点，以及所述步骤S15中还包括将所述预内窥镜点指示在患者的身体上，以得到实际的所述内窥镜点。
可选地，所述图像采集元件210为双目相机。所述双目相机包括第一相机211和第二相机212(如图10所示)，所述第一图像信息包括所述第一相机211采集的第一子图像信息和所述第二相机212采集的第二子图像信息。所以，所述步骤S30包括所述第一相机211采集所述第一子图像信息，同时所述第二相机212采集所述第二子图像信息。所述双目相机的成像原理如图10所示。图示中f为相机焦距、b为所述第一相机和所述第二相机的基线、P(x、y、z)为被拍摄的空间点的坐标。那么，f、b及P(x、y、z)满足如下关系：
Figure BDA0002990919700000151
Figure BDA0002990919700000152
Figure BDA0002990919700000153
Figure BDA0002990919700000154
本领域技术人员可理解，在替代性的实施例中，所述图像采集元件210还可以是激光扫描器或3D结构光相机。
由此，如图11所示，所述步骤S40在建立所述第一三维模型时可包括：
步骤S41：所述控制单元从所述第一子图像信息和所述第二子图像信息上提取特征点。
步骤S42：所述控制单元对所述第一子图像信息和所述第二子图像信息上的特征点进行配对，以组成特征点对。
步骤S43：控制单元根据对极线约束将所述特征点对定位到相机坐标系下的三维空间位置。由于所述内窥镜200被所述图像臂300带动运动，因此，所述相机坐标系在控制单元的坐标系下的位置可根据所述图像臂300正运动学和预先标定的相机坐标系参数计算得到。在对所有的特征点进行定位后得到特征点的点云模型。
步骤S44：所述控制单元根据所述点云模型建立所述第一三维模型。
接着，所述控制单元执行步骤S50和步骤S60。
所述步骤S50中，所述控制单元确定的所述目标位姿包括目标位置和目标姿态。其中，所述目标位置靠近所述实际打孔点，且当所述内窥镜200位于所述目标位置，并处于所述目标姿态时，所述内窥镜200的所述图像采集元件210朝向所述实际打孔点M设置，这样一来，所述实际打孔点M便在所述内窥镜200的视野范围内，从而当所述打孔装置100的所述锥形尖端110穿透患者体表后，可以立即被所述内窥镜200识别。应理解，这里所述图像采集元件210可正对所述实际打孔点M布置，也可略微偏离，只要所述实际打孔点M在所述内窥镜200的视野范围内即可。
所述步骤S60中，所述运动方案可包括沿运动路径的移动方案和在所述目标位置的转动方案。相应地，如图12所示，所述步骤S60包括：
步骤S61：所述控制单元根据所述第一三维模型、所述内窥镜的初始位置(即当所述内窥镜处于所述初始位姿时的位置)和所述内窥镜的所述目标位置规划所述运动路径；并驱使所述内窥镜沿所述运动路径移动至所述目标位置。
步骤S62：所述控制单元根据所述内窥镜的抵达所述目标位置时的当前姿态和内窥镜的目标姿态规划所述转动方案。当所述内窥镜按照所述转动方案转动时，所述内窥镜可运动至所述目标姿态。所述转动方案包括转动方向和转动角度。
步骤S63：所述控制单元驱使所述内窥镜按照所述转动方案运动至所述目标姿态。
可理解，当所述步骤S61执行完毕之后，若所述内窥镜200的当前姿态与所述目标姿态重合，那么无需规划所述转动方案，也即所述步骤S62和所述步骤S63可省略。
进一步地，请继续参考图12，并结合图13，所述运动路径可包括全局运动路径L1，所述步骤S61包括：
步骤S611：所述控制单元根据所述初始位置和所述目标位置规划所述全局运动路径L1，以使所述内窥镜沿所述全局运动路径L1移动时能够到达所述目标位置。
步骤S612：所述控制单元驱使所述内窥镜沿所述全局运动路径L1移动。
本实施例中利用所述图像臂300带动所述内窥镜200运动，所述图像臂300包括至少一个关节。因此，在规划了所述内窥镜的全局运动路径L1之后，还可对所述全局运动路径L1加以时间约束，得到所述内窥镜200的位置随时间的变化关系，并经图像臂逆运动学解算得到所述图像臂300上的关节的加速度、速度及位置，从而，所述控制单元可驱动所述图像臂300上的关节按照所述加速度、所述速度及所述位置运动，以带动所述内窥镜200按照所述全局运动路径L1移动。所述全局运动路径L1可始于所述初始位置，并终止于所述目标位置；或者，所述全局运动路径L1可始于所述内窥镜点，并终止于所述目标位置，对此本实施例不作限定，只要所述内窥镜200在沿所述全局运动路径L1移动时能够到达所述目标位置即可。
如1图12所示，在一些情况下，所述全局运动路径L1避开腹腔内的所有人体组织，此时所述控制单元可持续执行所述步骤S612，直至所述内窥镜200沿所述全局运动路径L1移动至所述目标区域。
但是，在另一些情况下，所述全局运动路径L1穿过部分人体组织。也就是说，在所述内窥镜200沿所述全局运动路径L1运动时，该部分组织会构成阻碍所述内窥镜200沿所述全局运动路径L1移动的障碍物。此时，请继续参考图12，所述运动方案还包括局部运动路径L2，那么所述步骤S61还包括：
步骤S613：所述控制单元规划局部运动路径L2，所述局部运动路径L2设置在所述障碍物S的边界的外侧，且所述局部运动路径L2的起始点和终止点均在所述全局运动路径L1上。
步骤S614：所述控制单元驱使所述内窥镜沿所述局部运动路径L2运动，以使所述内窥镜绕过所述障碍物S，并在避开所述障碍物S后回到所述全局运动路径L1上。
之后，所述控制单元返回执行所述步骤S612，继续驱使所述图像臂200带动所述内窥镜200沿所述全局运动路径L1移动(即所述控制单元继续执行所述步骤S612)。当所述全局运动路径L1上有多个所述障碍物S时，所述控制单元重复执行所述步骤S612至所述步骤S614，直至所述内窥镜200到达所述目标位置。本实施例中，所述控制单元可采用Dijkstra算法，A*算法，随机森林算法，人工势场法等方法来获取所述局部运动路径L2。
较佳地，请继续参图12，并结合图14，所述控制单元在规划所述局部运动路径L2时，还执行如下步骤：
步骤S6131：对所述第一三维模型进行膨胀运算，以使所述障碍物S的边界向外侧膨胀一安全距离而得到膨胀边界S1；
步骤S6132：根据膨胀运算后的所述第一三维模型规划所述局部运动路径，以使所述局部运动路径L2设置在所述膨胀边界S1的外侧。
可选地，在所述内窥镜200按照所述运动方案运动的过程中，所述内窥镜200的最大运动速度为Vmax，加速度为a，所述安全距离d可满足如下公式：d＝Vmax 2/(2a)。可理解，所述最大运动速度Vmax，及所述加速度a均是人为设定的值。此外，此处所述的“外侧”均是指朝向障碍物外部的一侧。
这样设置的好处在于，所述局部运动路径L2与作为所述障碍物S的组织之间至少间隔具有安全距离d，避免所述内窥镜200在移动过程中与所述障碍物S发生碰撞而损伤组织，提高安全性。
进一步地，在所述内窥镜200移动至所述目标位置之前，所述内窥镜200实时地采集所述第一图像信息，并且所述控制单元被配置为每间隔第一预定时间根据当前的所述第一图像信息重新规划所述局部运动路径L2。具体来说，是根据当前的所述第一图像信息上的所述障碍物S周围的信息来更新所述局部运动路径L2。进一步地，所述控制单元每间隔第二预定时间根据当前的所述第一图像信息更新所述第一三维模型，并根据更新后的所述第一三维模型重新规划所述全局运动路径L2。这样可保证所述运动路径适应于患者状态变化，提高内窥镜200的移动安全性。由于构建所述第一三维模型所需要所述第一图像信息较多，时间较长，因此所述第二预定时间大于所述第一预定时间。
更进一步地，在第一次的所述全局运动路径L1规划完成之后，以及所述内窥镜200沿所述全局运动路径L1运动之前，所述控制单元还被配置为驱使所述内窥镜200旋转(如图15所示中箭头a、b所示)，以获取所述内窥镜200的初始位置的周围区域的第三图像信息，并根据所述第三图像信息建立第二三维模型。这里所述内窥镜200的旋转角度可以是所述内窥镜200最大旋转角。所述控制单元根据所述第二三维模型驱使所述内窥镜200沿朝向体外的方向运动预定距离(如图15中箭头c所示)。所述“预定距离”根据实际情况确定，具体以所述内窥镜200运动预定距离后没有组织阻止所述内窥镜200回到所述全局运动路径L1上为准。之后，所述控制单元驱使所述内窥镜200运动并返回至所述全局运动路径L1上，之后所述控制单元驱使所述内窥镜200沿所述全局运动路径L1运动。这样操作，可避免内窥镜200因起始位置不佳而出现无法移动的问题。
在所述内窥镜200的运动过程中，根据所述内窥镜200的姿态，所述内窥镜200可能需要产生弯曲运动。因此，本实施例所采用的内窥镜200为可弯曲内窥镜，请参考图16及图17所示，所述内窥镜200包括所述图像采集元件210和镜臂，所述镜臂包括从近端到远端依次连接的第一刚性段221、可控弯段222和第二刚性段223。所述可控弯段222包括波纹管(如图15所示)，或所述可控弯段222包括蛇骨(如图16所示)。所述图像采集元件210设置在所述第二刚性段223上。此外，所述内窥镜200还包括拉绳(图中未示出)和光源(图中未示出)等部件，其中所述拉绳设置在所述镜臂220的拉绳孔中，通过收紧或放松所述拉绳来实现所述可控弯段222的弯曲或伸直，其具体设置在本领域中属于常规技术手段，此处不作详细介绍。所述光源设置在所述第二刚性段223上，用于为所述图像采集元件210提供光照。
如前所述，在打孔前通过运动规划及驱使所述内窥镜200运动至所述目标位姿，可使所述内窥镜200的所述图像采集元件210朝向所述实际打孔点M设置，使得所述内窥镜200及时地采集所述第二图像信息。但是在打孔过程中，当所述打孔装置100的所述锥形尖端110穿透患者体表之后，随着打孔进程的推进，所述打孔装置100进入到腹腔的部分越来越多。若所述内窥镜200始终保持在所述目标位姿不变，有可能导致所述锥形尖端110运动至所述内窥镜200的视野范围之外。为解决此问题，所述步骤S70中，所述控制单元还被配置为采用视觉伺服控制所述内窥镜200的位姿，以控制所述内窥镜运动进而使所述锥形尖端110处于所述内窥镜200的视野内，优选处于视野中心，即，使内窥镜200的视野自动捕获所述锥形尖端110。
视觉伺服控制是将实时测量得到的图像信息与给定的图像信息进行比较，利用所获得的图像误差进行反馈以形成闭环控制，使得被控制对象处于给定姿态。本实施例中，所述给定的图像信息是所述锥形尖端110在所述内窥镜200的视野中心。图18示出了所述控制单元对所述内窥镜200进行视觉伺服控制的原理示意图，如图18所示，所述控制单元包括视觉伺服控制器601和图像臂关节控制器602，所述图像臂300的所述关节上设置有关节传感器301。视觉伺服控制的过程如下：
所述内窥镜200采集所述第二图像信息作为实际图像信息，并发送至所述伺服控制器。
所述视觉伺服控制器根据所述实际图像信息判断已进入腹腔的所述锥形尖端110是否在所述内窥镜200的视野中心，若否，则所述视觉伺服控制器根据所述实际图像信息和所述给定图像信息的误差提取所述内窥镜200的实际姿态，并获取所述内窥镜200从所述实际姿态运动至所述给定姿态时的运动速度、运动方向等运动信息。
根据所述内窥镜200的所述运动信息及图像臂逆运动学求算所述图像臂300的关节的运动信息，并发送至所述图像臂关节控制器602。
所述图像臂关节控制器602驱动所述图像臂300上的相关关节运动，且所述关节传感器301实时反馈关节信息，直至所述图像臂300的关节带动所述内窥镜200运动至所述指定姿态。
在所述步骤S80中，所述控制单元获取的所述打孔状态信息包括所述锥形尖端110的位置和所述锥形尖端110的速度。所述指引信息包括打孔进程、碰撞提醒和预期打孔方向。
所述控制单元被配置用于根据所述第二图像信息和所述第一三维模型获取所述锥形尖端110的位置。根据所述锥形尖端110的位置的变化获取所述锥形尖端110的速度。根据所述锥形尖端110的所述位置和预定打孔深度获取所述打孔进程。根据所述锥形尖端110的位置、所述锥形尖端110的速度以及所述第一三维模型获取碰撞概率，并生成碰撞提醒。根据所述锥形尖端110的位置及所述第一三维模型获取所述预期打孔方向。
其中，如图19所示，获取所述打孔进程的方法包括：
步骤S81：所述控制单元根据所述锥形尖端的位置获取当前打孔深度z1。
步骤S82：所述控制单元比较所述当前打孔深度z1与预期打孔深度z0，得到两者的比值，以作为所述打孔进程。
如图20所示，获取所述碰撞提醒的方法包括如下步骤：
步骤S83：所述控制单元根据所述锥形尖端的位置和所述第一三维模型得到距离所述打孔装置最近的目标组织。
步骤S84：所述控制单元计算所述目标组织与所述打孔装置的距离。
步骤S85：所述控制单元根据所述锥形尖端的速度和所述距离计算碰撞发生时间t，本实施例中，所述锥形尖端的速度为v1，所述距离为D，则所述碰撞发生时间t满足：t＝D/v1。
步骤S86：所述控制单元判断所述时间t是否大于设定的时间阈值t0，若否，则判定碰撞概率大，并生成所述碰撞提醒，若是，则判定碰撞概率小，且不生成所述碰撞提醒。
通常，在所述控制单元判定碰撞概率大之后，才会生成预期打孔方向，而在碰撞概率小时，无需生成预期打孔方向。请继续参考图20，并结合图21和图22，所述控制单元生成所述预期打孔方向的方法如下：
步骤S87：所述控制单元获取所述目标组织的切平面Q，以及所述锥形尖端110的方向向量
Figure BDA0002990919700000221
步骤S88：所述控制单元将所述方向向量
Figure BDA0002990919700000222
投影至所述目标组织的切平面Q上，以得到所述预期打孔方向向量
Figure BDA0002990919700000223
进一步地，所述手术机器人系统还包括提示装置，所述提示装置用于与所述控制单元通信连接，以接收所述指引信息，并通过提示装置进行提示。可选地，所述提示装置可以有多种选择，例如所述提示装置可包括蜂鸣报警器，通过蜂鸣报警来提示所述碰撞提醒。所述提示装置还可包括语音提示装置，用于播报所述碰撞提醒、所述打孔进程及所述预期打孔方向。所述提示装置还可包括显示装置，用于通过文字、图像等可视化的方式显示所述碰撞提醒、所述打孔进程及所述预期打孔方向。本实施例对此不作限定。
进一步地，本发明实施例还提供了一种计算机可读存储介质，其上存储有程序，当所述程序被执行时，执行如前所述的控制单元所执行的相应步骤。
更进一步地，本发明实施例还提供了一种电子设备，包括处理器和如前所述的计算机可读存储介质。所述处理器用于执行所述计算机可读存储介质上所存储的程序。
再进一步地，本发明实施例还提供了一种打孔指引方法，其包括前述的程序所执行的步骤。
虽然本发明披露如上，但并不局限于此。本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (20)

1.一种计算机可读存储介质，其上存储有程序，其特征在于，当所述程序被执行时，执行如下步骤：
根据患者体内的目标区域的第一图像信息建立所述目标区域的第一三维模型；
根据穿过患者体表的打孔装置的打孔末端的第二图像信息和所述第一三维模型获取打孔状态信息，并生成指引信息。
2.根据权利要求1所述的计算机可读存储介质，其特征在于，所述第一图像信息和所述第二图像信息由图像获取装置采集，所述图像获取装置连接在图像臂上；所述打孔装置在实际打孔点处穿过患者体表；
所述程序还执行如下步骤：
根据所述实际打孔点的位置确定所述图像获取装置的目标位姿，以使所述图像获取装置处于所述目标位姿时，所述实际打孔点在所述图像获取装置的视野范围内；
根据所述第一三维模型、所述图像获取装置的初始位姿和所述目标位姿中的至少一者规划所述图像获取装置的运动方案；以及，
驱使所述图像臂运动以带动所述图像获取装置按照所述运动方案运动至所述目标位姿。
3.根据权利要求2所述的计算机可读存储介质，其特征在于，所述目标位姿包括目标位置；所述初始位姿包括初始位置；
所述程序执行如下步骤：
根据所述第一三维模型、所述图像获取装置的初始位置和所述目标位置规划运动路径；
驱使所述图像获取装置从所述初始位置沿所述运动路径移动至所述目标位置。
4.根据权利要求3所述的计算机可读存储介质，其特征在于，所述程序执行如下步骤：
根据所述初始位置和所述目标位置规划全局运动路径，以使所述图像获取装置沿所述全局运动路径移动时能够到达所述目标位置；
驱使所述图像获取装置沿所述全局运动路径移动。
5.根据权利要求4所述的计算机可读存储介质，其特征在于，当所述全局运动路径上有障碍物时，所述程序还执行如下步骤：
规划局部运动路径，所述局部运动路径设置在所述障碍物的边界的外侧，且所述局部运动路径的起始点和终止点均在所述全局运动路径上；
驱使所述图像获取装置沿所述局部运动路径移动，以使所述图像获取装置避开所述障碍物，并在避开所述障碍物后回到所述全局运动路径。
6.根据权利要求5所述的计算机可读存储介质，其特征在于，在所述图像获取装置抵达所述目标位置之前，所述图像获取装置实时采集所述第一图像信息；
所述程序还执行如下步骤：
每间隔第一预定时间根据当前的所述第一图像信息重新规划所述局部运动路径；和/或，
每间隔第二预定时间根据当前的所述第一图像信息更新所述第一三维模型，并根据更新后的所述第一三维模型重新规划所述全局运动路径；所述第二预定时间大于所述第一预定时间。
7.根据权利要求6所述的计算机可读存储介质，其特征在于，在所述图像获取装置沿第一次规划的所述全局运动路径移动之前，所述程序还执行如下步骤：
驱使所述图像获取装置旋转以获取所述初始位置的周围区域的第三图像信息；
根据所述第三图像信息建立所述初始位置的周围区域的第二三维模型；
根据所述第二三维模型驱使所述图像获取装置沿朝向体外的方向移动预定距离；以及，
驱使所述图像获取装置移动并返回到所述全局运动路径。
8.根据权利要求5-7中任一项所述的计算机可读存储介质，其特征在于，在规划所述局部运动路径时，所述程序执行如下操作：
对所述第一三维模型执行膨胀运算，以使所述障碍物的边界向外侧膨胀一安全距离而得到膨胀边界；
根据膨胀运算后的所述第一三维模型规划所述局部运动路径，所述局部运动路径设置在所述膨胀边界的外侧。
9.根据权利要求8所述的计算机可读存储介质，其特征在于，所述图像获取装置按照所述运动方案运动的过程中的最大速度为Vmax，加速度为a，所述安全距离为d，且满足如下公式：
d＝Vmax 2/(2a)。
10.根据权利要求3所述的计算机可读存储介质，其特征在于，所述目标位姿还包括目标姿态；
所述程序还执行如下步骤：
根据所述图像获取装置抵达所述目标位置时的当前姿态和所述目标姿态规划转动方案；
驱使所述图像获取装置按照所述转动方案转动至所述目标姿态。
11.根据权利要求1或2所述的计算机可读存储介质，其特征在于，所述第二图像信息由图像获取装置采集，在所述图像获取装置采集所述第二图像信息时，所述程序执行如下步骤：
采用视觉伺服控制所述图像获取装置的位姿，以使所述打孔末端处于所述图像获取装置的视野内。
12.根据权利要求1所述的计算机可读存储介质，其特征在于，所述打孔状态信息包括所述打孔末端的位置信息和所述打孔末端的速度信息，所述指引信息包括打孔进程信息、碰撞提醒信息和预期打孔方向信息中的至少一者；
所述程序执行如下步骤以获取所述打孔状态信息：
根据所述第二图像信息和所述第一三维模型实时地获取所述打孔末端的位置信息；
根据所述打孔末端的位置的变化获取所述打孔末端的速度；
所述程序执行以下步骤中的至少一者以获取所述指引信息：
根据所述打孔末端的当前位置信息和预定打孔深度生成所述打孔进程信息；
根据所述打孔末端的位置信息、所述打孔末端的速度信息以及所述第一三维模型获取碰撞概率，生成所述碰撞提醒信息；
根据所述打孔末端的位置信息及所述第一三维模型获取所述预期打孔方向信息。
13.根据权利要求12所述的计算机可读存储介质，其特征在于，所述程序执行如下步骤以获取所述碰撞提醒信息：
根据所述打孔末端的位置信息和所述第一三维模型得到距离所述打孔装置最近的目标组织；
计算所述打孔装置与所述目标组织之间的距离；
根据所述打孔末端的速度信息和所述距离计算碰撞发生时间，并判断所述碰撞发生时间是否大于设定的时间阈值；
若否，则判定碰撞概率大，并生成所述碰撞提醒信息。
14.根据权利要求12所述的计算机可读存储介质，其特征在于，所述程序执行如下步骤以获取所述预期打孔方向信息：
获取所述目标组织的切平面；
获取所述打孔装置的打孔末端的方向向量；
将所述方向向量投影至所述切平面上，并得到所述预期打孔方向信息。
15.根据权利要求1所述的计算机可读存储介质，其特征在于，所述打孔装置在患者体表的实际打孔点处穿透患者体表，所述程序还执行如下步骤：
根据处于第一状态的患者的第一体表数据和病灶数据建立第一体征图像模型，所述第一体征图像模型用于规划预打孔点；
根据处于第二状态的患者的第二体表数据建立第二体征图像模型；
对所述第二体征图像模型和所述第一体征图像模型执行图像配准，以将所述第一体征图像模型上的预打孔点转换为所述第二体征图像模型上的目标打孔点，以使所述目标打孔点表征患者身体上的所述实际打孔点。
16.一种电子设备，其特征在于，包括处理器和用于执行如权利要求1-15中任一项所述的计算机可读存储介质中的所述程序。
17.一种手术机器人系统，其特征在于，包括：
工具臂，用于连接打孔装置；所述打孔装置包括打孔末端，所述打孔末端用于在患者体表的实际打孔点处穿过患者体表并进入患者体内；
图像臂，用于连接图像获取装置，所述图像获取装置用于插入患者体内并采集患者体内的目标区域的第一图像信息以及进入患者体内的所述打孔末端的第二图像信息；以及，
控制单元，与所述图像获取装置通信连接，并被配置用于实现如权利要求1-15中任一项所述的程序所执行的步骤。
18.根据权利要求17所述的手术机器人系统，其特征在于，所述手术机器人系统还包括所述图像获取装置；所述图像获取装置包括镜臂和图像采集元件；所述镜臂包括从近端到远端依次连接的第一刚性段、可控弯段和第二刚性段，所述可控弯段包括波纹管或蛇骨；所述图像采集元件设置在所述第二刚性段上，且所述图像采集元件包括双目相机、激光传感器或3D结构光相机中的任一种。
19.根据权利要求17所述的手术机器人系统，其特征在于，所述手术机器人系统还包括提示单元，所述提示单元与所述控制单元通信连接，并被配置为接收所述指引信息并进行指引。
20.根据权利要求17所述的手术机器人系统，其特征在于，所述手术机器人系统还包括所述打孔装置，所述打孔装置的所述打孔末端上设有标记物，所述图像获取装置用于识别所述标记物并获取所述打孔末端的所述第二图像信息。
CN202110313589.0A 2021-03-24 2021-03-24 一种计算机可读存储介质、电子设备及手术机器人系统 Pending CN115177365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110313589.0A CN115177365A (zh) 2021-03-24 2021-03-24 一种计算机可读存储介质、电子设备及手术机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110313589.0A CN115177365A (zh) 2021-03-24 2021-03-24 一种计算机可读存储介质、电子设备及手术机器人系统

Publications (1)

Publication Number Publication Date
CN115177365A true CN115177365A (zh) 2022-10-14

Family

ID=83511546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110313589.0A Pending CN115177365A (zh) 2021-03-24 2021-03-24 一种计算机可读存储介质、电子设备及手术机器人系统

Country Status (1)

Country Link
CN (1) CN115177365A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650131A (zh) * 2023-07-31 2023-08-29 北京衔微医疗科技有限公司 防止眼科手术发生碰撞的方法、机器人、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650131A (zh) * 2023-07-31 2023-08-29 北京衔微医疗科技有限公司 防止眼科手术发生碰撞的方法、机器人、设备及存储介质

Similar Documents

Publication Publication Date Title
US11903665B2 (en) Systems and methods for offscreen indication of instruments in a teleoperational medical system
US10905506B2 (en) Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US11872006B2 (en) Systems and methods for onscreen identification of instruments in a teleoperational medical system
JP7478143B2 (ja) 解剖学的境界を規定するためのグラフィカルユーザインターフェイス
JP7469120B2 (ja) ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
WO2022199650A1 (zh) 计算机可读存储介质、电子设备及手术机器人系统
US11998282B2 (en) Systems and methods for teleoperated control of an imaging instrument
US20200000323A1 (en) Micro robotic imaging device for laparoscopic surgery
WO2022199649A1 (zh) 一种计算机可读存储介质、电子设备及手术机器人系统
CN117615724A (zh) 医疗器械指导系统和相关联方法
CN115177365A (zh) 一种计算机可读存储介质、电子设备及手术机器人系统
CN113081273B (zh) 打孔辅助系统及手术机器人系统
WO2022199651A1 (zh) 计算机可读存储介质、电子设备、手术机器人及定位系统
US20200246084A1 (en) Systems and methods for rendering alerts in a display of a teleoperational system
CN115005979A (zh) 计算机可读存储介质、电子设备及手术机器人系统
CN115120349A (zh) 计算机可读存储介质、电子设备及手术机器人系统
EP4384984A1 (en) Systems and methods for a differentiated interaction environment
WO2022147074A1 (en) Systems and methods for tracking objects crossing body wall for operations associated with a computer-assisted system
CN115120341A (zh) 一种计算机可读存储介质、电子设备及手术机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination