CN114469340B - 一种手术机器人软组织识别处理方法和系统 - Google Patents
一种手术机器人软组织识别处理方法和系统 Download PDFInfo
- Publication number
- CN114469340B CN114469340B CN202210055132.9A CN202210055132A CN114469340B CN 114469340 B CN114469340 B CN 114469340B CN 202210055132 A CN202210055132 A CN 202210055132A CN 114469340 B CN114469340 B CN 114469340B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- image
- limb part
- key frame
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004872 soft tissue Anatomy 0.000 title claims abstract description 25
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000033001 locomotion Effects 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 9
- 238000013459 approach Methods 0.000 abstract description 6
- 210000003414 extremity Anatomy 0.000 description 36
- 230000006870 function Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种手术机器人软组织识别处理方法和系统，该方法包括：获取手术机器人的机械臂上设置的摄像头手术机器人上设置的摄像头传递回来的影像；根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值；在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；获取所述压力传感器发送压力数据；在所述压力数据伴随所述机械臂向所述肢体部分的靠拢到接触的过程中经历了从零到维持固定值不变的过程的情况下，确定所述机械臂接触到了所述肢体部分的软组织。通过本申请解决了依靠操作者的观察机械臂是否已经靠近了待手术的肢体部分所导致的问题，从而提高了判断的准确性，为进一步操作提供了保障。
Description
技术领域
本申请涉及到手术机器人领域，具体而言，涉及一种手术机器人软组织识别处理方法和系统。
背景技术
机器人手术系统是集多项现代高科技手段于一体的综合体。外科医生可以远离手术台操纵机器进行手术
外科机器人手术系统主要由控制台和操作臂组成，控制台由计算机系统、手术操作监视器、机器人控制监视器、操作手柄和输入输出设备等组成。手术时外科医生可坐在远离手术台的控制台前，头靠在视野框上，双眼接受来自不同摄像机的完整图像，共同合成术野的三维立体图。医生双手控制操作杆，手部动作传达到机械臂的尖端，完成手术操作。外科手术机器人可以采用主-仆式远距离操作模式，灵活的“内腕”可消除医生手的颤抖，提高了手术的精确性和平稳性。
在进行手术的过程中，主要是依靠操作者的观察机械臂是否已经靠近了待手术的肢体部分，从而决定是否进行下一步操作，这样方式不是那么精确，容易给进一步的操作带来隐患。
发明内容
本申请实施例提供了一种手术机器人软组织识别处理方法和系统，以至少解决依靠操作者的观察机械臂是否已经靠近了待手术的肢体部分所导致的问题。
根据本申请的一个方面，提供了一种手术机器人软组织识别处理方法，包括：获取手术机器人的机械臂上设置的摄像头手术机器人上设置的摄像头传递回来的影像；根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值；在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；获取所述压力传感器发送压力数据；在所述压力数据伴随所述机械臂向所述肢体部分的靠拢到接触的过程中经历了从零到维持固定值不变的过程的情况下，确定所述机械臂接触到了所述肢体部分的软组织。
进一步地，在小于所述阈值的情况下，还包括：发送运行命令，其中，所述运动命令用于控制所述机械臂以小于预定数值的速度向所述肢体部分运动。
进一步地，在发送所述运行命令之后，还包括：发送语音提示信息，其中，所述语音提示信息用于指示所述机械臂的操作者所述机械臂的运动速度被限制在所述预定数值之内。
进一步地，在获取所述压力传感器发送的所述压力数据之后，还包括：根据所述压力数据的数值变化，向所述机械臂的控制部传递力反馈，其中，所述控制部被所述机械臂的操作者把握，所述力反馈用于使所述操作者感知所述肢体部分的软硬程度。
根据本申请的另一个方面，还提供了一种手术机器人软组织识别处理系统，包括：第一获取模块，用于获取手术机器人的机械臂上设置的摄像头手术机器人上设置的摄像头传递回来的影像；判断模块，用于根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值；发送模块，用于在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；第二获取模块，用于获取所述压力传感器发送压力数据；确定模块，用于在所述压力数据伴随所述机械臂向所述肢体部分的靠拢到接触的过程中经历了从零到维持固定值不变的过程的情况下，确定所述机械臂接触到了所述肢体部分的软组织。
进一步地，还包括：发送模块，用于在小于所述阈值的情况下，发送运行命令，其中，所述运动命令用于控制所述机械臂以小于预定数值的速度向所述肢体部分运动。
进一步地，所述发送模块，还用于在发送所述运行命令之后发送语音提示信息，其中，所述语音提示信息用于指示所述机械臂的操作者所述机械臂的运动速度被限制在所述预定数值之内。
进一步地，还包括：反馈模块，用于在获取所述压力传感器发送的所述压力数据之后，根据所述压力数据的数值变化，向所述机械臂的控制部传递力反馈，其中，所述控制部被所述机械臂的操作者把握，所述力反馈用于使所述操作者感知所述肢体部分的软硬程度。
根据本申请的另一个方面，还提供了一种存储器，用于存储软件，所述软件用于运行上述的方法。
根据本申请的另一个方面，还提供了一种处理器，用于执行软件，所述软件用于运行上述的方法。
在本申请实施例中，采用了获取手术机器人的机械臂上设置的摄像头手术机器人上设置的摄像头传递回来的影像；根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值；在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；获取所述压力传感器发送压力数据；在所述压力数据伴随所述机械臂向所述肢体部分的靠拢到接触的过程中经历了从零到维持固定值不变的过程的情况下，确定所述机械臂接触到了所述肢体部分的软组织。通过本申请解决了依靠操作者的观察机械臂是否已经靠近了待手术的肢体部分所导致的问题，从而提高了判断的准确性，为进一步操作提供了保障。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的手术机器人软组织识别处理方法的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中，提供了一种手术机器人软组织识别处理方法，图1是根据本申请实施例的手术机器人软组织识别处理方法的流程图，如图1所示，下面对图1中涉及到的方法步骤进行说明。
步骤S102，获取手术机器人的机械臂上设置的摄像头手术机器人上设置的摄像头传递回来的影像(为了描述方面，将所述影像称为第一影像)；
步骤S104，根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值；
作为一个可选的实施方式，获取所述摄像头在手术室中没有患者时拍摄得到的背景影像，其中，所述背景影像显示了所述手术室的背景图像；根据所述背景图像对所述第一影像中的关键帧进行背景去除，去除所述背景图像之后的关键帧进行识别得到所述第一影像中的肢体部分，根据去除所述背景图像之后的关键帧中的肢体部分的图像变化，确定所述摄像头到所述肢体部分的第一位置变化，根据所述摄像头在所述机械臂上的位置以及所述第一位置变化，确定所述机械臂到所述待手术的肢体部分的距离。
从关键帧的图像中去除背景图像的方式有很多种。例如，可以使用机器学习的方式来进行，使用多组训练数据对一个机器学习模型进行训练，所述多组训练数据中的每一组训练数据均包括输入数据和输出数据，所述输入数据包括两张图像，其中一张图像是带有患者的手术室的图像，另一张图像是没有患者的手术室的背景图像；输出照片是去除背景的带有患者的图像。在训练之后，将所述背景图像和所述关键帧输入到所述机器学习模型中，就可以得到去除所述背景图像之后的关键帧对应的图像。
步骤S106，在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；
步骤S108，获取所述压力传感器发送压力数据；
步骤S110，在所述压力数据伴随所述机械臂向所述肢体部分的靠拢到接触的过程中经历了从零到维持固定值不变的过程的情况下，确定所述机械臂接触到了所述肢体部分的软组织。
通过上述步骤解决了依靠操作者的观察机械臂是否已经靠近了待手术的肢体部分所导致的问题，从而提高了判断的准确性，为进一步操作提供了保障。
作为一个可选的实施方式，通过所述摄像头对所述机械臂向所述肢体部分靠拢到接触的过程进行拍摄得到视频，从所述视频中获取所述机械臂接触到所述肢体部分的关键帧，确定所述关键帧对应第一时间点，判断所述第一时间点的前后所述压力数据是否从零变成非零值，如果所述压力数据从零变成非零值，则确定所述机械臂接触到的所述肢体部分的软组织。
可选地，在小于所述阈值的情况下，还包括：发送运行命令，其中，所述运动命令用于控制所述机械臂以小于预定数值的速度向所述肢体部分运动。在发送所述运行命令之后，还包括：发送语音提示信息，其中，所述语音提示信息用于指示所述机械臂的操作者所述机械臂的运动速度被限制在所述预定数值之内。
为了能够使操作者有更多的操作感受，在获取所述压力传感器发送的所述压力数据之后，还可以包括：根据所述压力数据的数值变化，向所述机械臂的控制部传递力反馈，其中，所述控制部被所述机械臂的操作者把握，所述力反馈用于使所述操作者感知所述肢体部分的软硬程度。
本实施例中，对手术机器人的控制方式有很多种，下面结合几个例子进行说明。
例一：在该例子中的一种外科手术机器人，包括：主设备，具有输入单元；从设备，具有由所述主设备远程控制的至少一个机器人外科手术器械(即机械臂)；以及控制器，当经由所述输入单元输入用于改变操作模式的信号时，所述控制器执行模式改变过程以在预定时间内逐渐地改变从所述从设备反馈到所述输入单元的反馈信号的强度。其中，所述操作模式是力反馈模式和非力反馈模式中的任一个，所述力反馈模式将在所述至少一个机器人外科手术仪器中产生的力经由与所述外部环境的相互作用反馈给所述主设备，所述非力反馈模式不将在所述至少一个机器人外科手术仪器中产生的力反馈给所述主设备。
优选地，如果所述操作模式从力反馈模式改变为非力反馈模式，则所述控制器使用减小比例函数在预定时间内逐渐减小反馈至所述输入单元的所述反馈信号的强度。所述减小比例函数的输出值在所述预定时间内从1至0变化。所述减小比例功能由所述外科手术机器人的操作者从多个预存的减小比例功能中选择。所述预定时间可由所述外科手术机器人的操作者改变。所述预定时间根据反馈至所述输入单元的所述反馈信号的强度而改变。所述减小比例函数是非线性的。如果所述操作模式从非力反馈模式改变为力反馈模式，则所述控制器使用增加缩放函数在所述预定时间内逐渐增加被反馈至所述输入单元的所述反馈信号的强度。所述增加比例函数的输出值在所述预定时间内从0至1变化。所述增加缩放功能由所述外科手术机器人的操作者从多个预存储的增加缩放功能中选择。所述预定时间可由所述外科手术机器人的操作者改变。所述预定时间根据反馈至所述输入单元的所述反馈信号的强度而改变。，所述增加比例函数是非线性的。控制器包括在主装置或从装置中。
在上述实施例中根据所述压力数据的数值变化，向所述机械臂的控制部传递力反馈，机械臂可以称为第一机械臂，所述手术机器人还包括第二机械臂，在所述第一机械臂确定接触到的所述肢体部分的软组织之后，控制所述第二机械臂从机器人工具支架中获取外壳手术工具根据所述第一机械臂的位置对所述软组织部分进行操作。
例二：在本实施例中，提供了一种机器人工具支架，该支架包括：
外壳，被配置为由人手抓握；保持杯，位于所述外壳的远端；无线发射器，位于所述外壳内；以及多个单独的控制器，附接至所述外壳，这些控制器各自被配置成用于第一操作模式和第二操作模式两者，从而使得在该机器人的第二机械臂的该第一操作模式中，这些控制器被配置成用于响应于由该人手对这些控件的操纵通过将该第一外科手术工具插入到该保持杯中来激活物理附接到该壳体上的第一外科手术工具的对应运动，并且在所述机器人工具支架的所述第二操作模式中，所述控制器被配置为响应于所述操纵经由所述无线发射器激活第二外科手术工具远离所述壳体以及与所述壳体断开的相应运动。
优选地，所述单独的控制器包括放大/缩小调节器，所述放大/缩小调节器具有限定比率的设置，使得在所述第一操作模式中所述比率对应于给定控制件相对于所述第一外科手术工具的对应移动的移动，并且在所述第二操作模式中所述比率对应于所述给定控制件相对于所述第二外科手术工具的对应移动的移动。
优选地，所述控制器包括附接至所述壳体的柔性接头，其中，所述保持杯附接至所述柔性接头，所述柔性接头被配置成使得在所述第一操作模式中所述壳体相对于所述柔性接头的运动产生所述第一外科手术工具相对于所述柔性接头的对应运动。并且所述保持器包括处理单元和安装在所述壳体内的马达，其中所述处理单元接收来自所述多个单独控制器的信号，并且作为响应：在所述第一操作模式中操作所述马达以激活所述第一外科手术工具的所述相应的运动，并且在所述第二操作模式中使所述无线发射器激活所述第二外科手术工具的所述相应的运动。
优选地，所述保持件包括夹持系统，其中，所述夹持系统安装有所述第二外科手术工具，并且所述保持件还包括位于所述壳体外部的处理单元，所述处理单元被配置为接收来自所述无线发送器的信号，并且响应于操作所述夹持系统来执行所述第二外科手术工具的所述相应的运动。所述第二手术工具包括多个手术工具，所述多个手术工具远离所述壳体并且与所述壳体断开，所述控制器包括选择器，所述选择器被配置为在所述第二操作模式中从所述多个手术工具中选择给定的手术工具。
在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
该本实施例中就提供了这样的一种装置或系统。该系统被称为一种手术机器人软组织识别处理系统，包括：第一获取模块，用于获取手术机器人的机械臂上设置的摄像头手术机器人上设置的摄像头传递回来的影像；判断模块，用于根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值；发送模块，用于在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；第二获取模块，用于获取所述压力传感器发送压力数据；确定模块，用于在所述压力数据伴随所述机械臂向所述肢体部分的靠拢到接触的过程中经历了从零到维持固定值不变的过程的情况下，确定所述机械臂接触到了所述肢体部分的软组织。
该系统或者装置用于实现上述的实施例中的方法的功能，该系统或者装置中的每个模块与方法中的每个步骤相对应，已经在方法中进行过说明的，在此不再赘述。
例如，还包括：发送模块，用于在小于所述阈值的情况下，发送运行命令，其中，所述运动命令用于控制所述机械臂以小于预定数值的速度向所述肢体部分运动。可选地，所述发送模块，还用于在发送所述运行命令之后发送语音提示信息，其中，所述语音提示信息用于指示所述机械臂的操作者所述机械臂的运动速度被限制在所述预定数值之内。
又例如，还包括：反馈模块，用于在获取所述压力传感器发送的所述压力数据之后，根据所述压力数据的数值变化，向所述机械臂的控制部传递力反馈，其中，所述控制部被所述机械臂的操作者把握，所述力反馈用于使所述操作者感知所述肢体部分的软硬程度。
通过上述步骤解决了依靠操作者的观察机械臂是否已经靠近了待手术的肢体部分所导致的问题，从而提高了判断的准确性，为进一步操作提供了保障。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种手术机器人软组织识别处理方法，其特征在于，包括：
获取手术机器人的机械臂上设置的摄像头传递回来的影像，其中，所述影像为第一影像；
根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值；其中，获取所述摄像头在手术室中没有患者时拍摄得到的背景影像，其中，所述背景影像显示了所述手术室的背景图像；根据所述背景图像对所述第一影像中的关键帧进行背景去除，去除所述背景图像之后的关键帧进行识别得到所述第一影像中的肢体部分，根据去除所述背景图像之后的关键帧中的肢体部分的图像变化，确定所述摄像头到所述肢体部分的第一位置变化，根据所述摄像头在所述机械臂上的位置以及所述第一位置变化，确定所述机械臂到所述待手术的肢体部分的距离；从关键帧的图像中去除背景图像包括：使用机器学习的方式来进行，使用多组训练数据对一个机器学习模型进行训练，所述多组训练数据中的每一组训练数据均包括输入数据和输出数据，所述输入数据包括两张图像，其中一张图像是带有患者的手术室的图像，另一张图像是没有患者的手术室的背景图像；输出照片是去除背景的带有患者的图像；在训练之后，将所述背景图像和所述关键帧输入到所述机器学习模型中，所述机器学习模型输出去除所述背景图像之后的关键帧对应的图像；
在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；
获取所述压力传感器发送压力数据；
从所述第一影像中获取所述机械臂接触到所述肢体部分的关键帧，确定接触到所述肢体部分的关键帧对应第一时间点，判断所述第一时间点的前后所述压力数据是否从零变成非零值，如果所述压力数据从零变成非零值，则确定所述机械臂接触到了所述肢体部分的软组织。
2.根据权利要求1所述的方法，其特征在于，在小于所述阈值的情况下，还包括：
发送运动命令，其中，所述运动命令用于控制所述机械臂以小于预定数值的速度向所述肢体部分运动。
3.根据权利要求2所述的方法，其特征在于，在发送所述运动命令之后，还包括：
发送语音提示信息，其中，所述语音提示信息用于指示所述机械臂的操作者所述机械臂的运动速度被限制在所述预定数值之内。
4.根据权利要求1至3中任一项所述的方法，其特征在于，在获取所述压力传感器发送的所述压力数据之后，还包括：
根据所述压力数据的数值变化，向所述机械臂的控制部传递力反馈，其中，所述控制部被所述机械臂的操作者把握，所述力反馈用于使所述操作者感知所述肢体部分的软硬程度。
5.一种手术机器人软组织识别处理系统，其特征在于，包括：
第一获取模块，用于获取手术机器人的机械臂上设置的摄像头手术机器人上设置的摄像头传递回来的影像，其中，所述影像为第一影像；
判断模块，用于根据所述影像判断所述机械臂距离待手术的肢体部分的距离是否小于阈值，其中，获取所述摄像头在手术室中没有患者时拍摄得到的背景影像，其中，所述背景影像显示了所述手术室的背景图像；根据所述背景图像对所述第一影像中的关键帧进行背景去除，去除所述背景图像之后的关键帧进行识别得到所述第一影像中的肢体部分，根据去除所述背景图像之后的关键帧中的肢体部分的图像变化，确定所述摄像头到所述肢体部分的第一位置变化，根据所述摄像头在所述机械臂上的位置以及所述第一位置变化，确定所述机械臂到所述待手术的肢体部分的距离；从关键帧的图像中去除背景图像包括：使用机器学习的方式来进行，使用多组训练数据对一个机器学习模型进行训练，所述多组训练数据中的每一组训练数据均包括输入数据和输出数据，所述输入数据包括两张图像，其中一张图像是带有患者的手术室的图像，另一张图像是没有患者的手术室的背景图像；输出照片是去除背景的带有患者的图像；在训练之后，将所述背景图像和所述关键帧输入到所述机器学习模型中，所述机器学习模型输出去除所述背景图像之后的关键帧对应的图像；
发送模块，用于在小于所述阈值的情况下，发送启动命令，其中，所述启动命令用于启动所述机械臂上的压力传感器；
第二获取模块，用于获取所述压力传感器发送压力数据；
确定模块，用于从所述第一影像中获取所述机械臂接触到所述肢体部分的关键帧，确定接触到所述肢体部分的关键帧对应第一时间点，判断所述第一时间点的前后所述压力数据是否从零变成非零值，如果所述压力数据从零变成非零值，则确定所述机械臂接触到了所述肢体部分的软组织。
6.根据权利要求5所述的系统，其特征在于，还包括：
发送模块，用于在小于所述阈值的情况下，发送运动命令，其中，所述运动命令用于控制所述机械臂以小于预定数值的速度向所述肢体部分运动。
7.根据权利要求6所述的系统，其特征在于，
所述发送模块，还用于在发送所述运动命令之后发送语音提示信息，其中，所述语音提示信息用于指示所述机械臂的操作者所述机械臂的运动速度被限制在所述预定数值之内。
8.根据权利要求5至7中任一项所述的系统，其特征在于，还包括：
反馈模块，用于在获取所述压力传感器发送的所述压力数据之后，根据所述压力数据的数值变化，向所述机械臂的控制部传递力反馈，其中，所述控制部被所述机械臂的操作者把握，所述力反馈用于使所述操作者感知所述肢体部分的软硬程度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210055132.9A CN114469340B (zh) | 2022-01-18 | 2022-01-18 | 一种手术机器人软组织识别处理方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210055132.9A CN114469340B (zh) | 2022-01-18 | 2022-01-18 | 一种手术机器人软组织识别处理方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114469340A CN114469340A (zh) | 2022-05-13 |
| CN114469340B true CN114469340B (zh) | 2024-05-28 |
Family
ID=81511033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210055132.9A Active CN114469340B (zh) | 2022-01-18 | 2022-01-18 | 一种手术机器人软组织识别处理方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114469340B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09304203A (ja) * | 1996-05-15 | 1997-11-28 | Keepu:Kk | 接触圧測定装置 |
| KR101675775B1 (ko) * | 2016-07-27 | 2016-11-14 | 연세대학교 산학협력단 | 정위적 방사선 치료장치의 충돌방지 시스템 |
| CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2017130567A1 (ja) * | 2016-01-25 | 2018-11-22 | ソニー株式会社 | 医療用安全制御装置、医療用安全制御方法、及び医療用支援システム |
| US11357586B2 (en) * | 2020-06-30 | 2022-06-14 | Auris Health, Inc. | Systems and methods for saturated robotic movement |
-
2022
- 2022-01-18 CN CN202210055132.9A patent/CN114469340B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09304203A (ja) * | 1996-05-15 | 1997-11-28 | Keepu:Kk | 接触圧測定装置 |
| KR101675775B1 (ko) * | 2016-07-27 | 2016-11-14 | 연세대학교 산학협력단 | 정위적 방사선 치료장치의 충돌방지 시스템 |
| CN113499094A (zh) * | 2021-07-08 | 2021-10-15 | 中山大学 | 一种依靠视觉及力反馈引导的心脏彩超检查装置和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114469340A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7198630B2 (en) | Method and apparatus for controlling a surgical robot to mimic, harmonize and enhance the natural neurophysiological behavior of a surgeon | |
| WO2018159338A1 (ja) | 医療用支持アームシステムおよび制御装置 | |
| KR101891162B1 (ko) | 도구의 제어 움직임에 사용되는 프레임의 위치 및 방향을 추정하는 장치 및 방법 | |
| US6120433A (en) | Surgical manipulator system | |
| CN104114337B (zh) | 一旦器械进入可由输入装置的操作者观察的显示区域将对器械的控制切换到输入装置 | |
| JP3540362B2 (ja) | 手術用マニピュレータの制御システム及びその制御方法 | |
| EP3107286B1 (en) | Medical robotic system providing three-dimensional telestration | |
| US11095818B2 (en) | Vibration generation device and vibration control method | |
| EP3422992A1 (en) | Systems and methods for removing occluding objects in surgical images and/or video | |
| CN109223183A (zh) | 手术机器人的启动方法、可读取存储器及手术机器人 | |
| CN114521962B (zh) | 手术机器人轨迹跟踪方法、装置、机器人及存储介质 | |
| JP2021003531A (ja) | 手術支援システム、制御装置及び制御方法 | |
| JP2022020592A (ja) | 医療用アーム制御システム、医療用アーム制御方法、及びプログラム | |
| CN114469340B (zh) | 一种手术机器人软组织识别处理方法和系统 | |
| CN112135719B (zh) | 机器学习装置以及具备该机器学习装置的机器人系统 | |
| WO2018216501A1 (ja) | 制御装置、制御方法、および手術システム | |
| CN113478491A (zh) | 一种机械臂的摆位控制方法、系统、机器人及存储介质 | |
| KR101601021B1 (ko) | 자이로 센서를 이용한 3ｄ 내시경 시스템 | |
| KR20180100831A (ko) | 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치 | |
| EP4056334A1 (en) | Surgery system and control method | |
| US20230024942A1 (en) | Computer assisted surgery system, surgical control apparatus and surgical control method | |
| CN115397353A (zh) | 用于外科机器人系统的移动虚拟现实系统 | |
| CN116763461A (zh) | 一种器械就位方法及系统 | |
| JP2002045372A (ja) | 手術ナビゲーション装置 | |
| CN116459015A (zh) | 机器人控制方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |