CN113876437A - 存储介质、机器人系统以及计算机设备 - Google Patents

存储介质、机器人系统以及计算机设备 Download PDF

Info

Publication number
CN113876437A
CN113876437A CN202111069979.4A CN202111069979A CN113876437A CN 113876437 A CN113876437 A CN 113876437A CN 202111069979 A CN202111069979 A CN 202111069979A CN 113876437 A CN113876437 A CN 113876437A
Authority
CN
China
Prior art keywords
surgical
robot
data
storage medium
execution model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111069979.4A
Other languages
English (en)
Other versions
CN113876437B (zh
Inventor
梁玄清
何超
王家寅
王超
马申宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202111069979.4A priority Critical patent/CN113876437B/zh
Publication of CN113876437A publication Critical patent/CN113876437A/zh
Priority to PCT/CN2022/115145 priority patent/WO2023035980A1/zh
Application granted granted Critical
Publication of CN113876437B publication Critical patent/CN113876437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及机器人技术领域，特别是涉及一种存储介质、机器人系统以及计算机设备。存储介质上存储有计算机程序，计算机程序被处理器执行时实现手术机器人的模型的训练方法，训练方法包括：收集手术机器人所接收的手术操作指令，以及手术机器人在根据手术操作指令而运行期间的历史运行数据；以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至机器人执行模型输出符合手术操作指令的至少一个预期控制信息；其中，预期控制信息表示按照手术操作指令，控制手术机器人依时序自动运行过程的集合。采用本方法能够提升手术机器人的智能化水平。

Description

存储介质、机器人系统以及计算机设备
技术领域
本申请涉及机器人技术领域，特别是涉及一种存储介质、机器人系统以及计算机设备。
背景技术
随着现代化医疗技术的发展，机器人也广泛应用于医疗手术中，如各种微创手术、内窥镜手术等。
在传统方式中，手术机器人的主要应用形式是辅助机器人系统，即医生通过手遥操作执行机构，控制机器人完成目标动作。
但是，在该种方式中，手术机器人执行动作完全受医生控制，智能化水平较低，难以完全发挥手术机器人本身的速度和灵活性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升手术机器人的智能化水平的存储介质、机器人系统以及计算机设备。
一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现用于手术机器人的模型的训练方法，所述训练方法包括：收集手术机器人所接收的手术操作指令，以及手术机器人在根据手术操作指令而运行期间的历史运行数据；以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至机器人执行模型输出符合手术操作指令的至少一个预期控制信息；其中，预期控制信息表示按照手术操作指令，控制手术机器人依时序自动运行过程的集合。
在其中一个实施例中，以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，包括：根据手术操作指令，将相应的历史运行数据进行分类处理，以分类出手术机器人在运行期间依时序转换的至少一个动作状态；利用标记有动作状态的历史运行数据，对机器人执行模型进行训练。
在其中一个实施例中，根据手术操作指令，将相应的历史运行数据进行分类处理，包括：通过识别切换动力参数，将对应手术操作指令的历史运行数据进行分类处理。
在其中一个实施例中，所述通过识别切换动力参数，将对应手术操作指令的历史运行数据进行分类处理，包括：从至少一个手术器械的各自对应历史运行数据中不连续变化的历史运行数据中识别用于表示单一手术器械、或相配合的多手术器械的历史各运行数据发生突变的变点时刻；将所述变点时刻及其所对应的历史运行数据识别为切换动力参数，并据此对历史运行数据中相邻变点时刻之间的各历史运行数据进行分类处理。
在其中一个实施例中，动作状态包括：手术动作状态；或多个手术动作状态和相邻手术操作动作状态之间的过渡状态。
在其中一个实施例中，训练机器人执行模型的方式包括：利用强化学习中的训练方式训练机器人执行模型；以及利用强化学习中的验证方式验证经训练的机器人执行模型，以使经训练的机器人执行模型所输出的预期控制环节的概率达到符合相应的手术操作指令的置信区间。
在其中一个实施例中，历史运行数据包括以下至少一种：时间数据、内窥镜数据、机器人运动数据、环境数据以及用户交互数据。
在其中一个实施例中，所述预期控制信息包括依时序控制手术器械执行以下操作中至少一种：向病灶区移动、夹持、剪切、从病灶区移开。
一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时根据上述存储介质所执行时得到的机器人执行模型，实现手术机器人的控制方法，所述控制方法包括：计算机程序被处理器执行时还实现手术机器人的控制方法，所述控制方法包括：获取手术操作指令；将手术操作指令输入机器人执行模型，以向手术机器人输出控制信息；其中，控制信息用于控制手术机器人的机械臂及机械臂所携带的手术器械运行。
在其中一个实施例中，上述控制方法还包括：根据手术机器人所反馈的信息，对手术机器人是否能安全执行手术操作指令进行识别，以便根据所得到的识别结果，确定控制或不控制手术机器人按照机器人执行模型所输出的控制信息运行。
在其中一个实施例中，上述控制方法还包括：根据机器人执行模型运行而输出的控制信息，建立与手术机器人的机械臂的主从映射关系，以控制相应的机械臂。
在其中一个实施例中，所述控制信息包括依时序控制手术器械执行以下操作中至少一种：向病灶区移动、夹持、剪切、从病灶区移开。
一种机器人系统，所述系统包括：存储介质、处理器以及手术机器人；处理器在执行存储介质上存储的计算机程序时，输出控制信息；手术机器人用于基于控制信息执行目标动作。
在其中一个实施例中，手术机器人包括至少一个机械臂，机械臂上装载有手术器械。
在其中一个实施例中，上述机器人系统还包括：警示装置，用于在手术机器人执行目标动作时，进行安全警示。
一种计算机设备，包括存储介质和处理器，所述存储器存储有计算机程序，所述处理器执行所述存储介质上存储的计算机程序。
上述存储介质、机器人系统以及计算机设备中，计算机程序被处理器执行时实现通过收集手术机器人所接收的手术操作指令，以及手术机器人在根据手术操作指令而运行期间的历史运行数据，然后以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至机器人执行模型输出符合手术操作指令的至少一个预期控制信息，其中，预期控制信息表示按照手术操作指令，控制手术机器人依时序自动运行过程的集合。从而，可以将获取到的手术操作指令以及历史运行数据作为样本数据，使得基于样本数据训练后得到的机器人执行模型可以学习到手术操作过程中手术操作指令与对应的执行动作之间的时序关系，在后续手术机器人执行手术的时候，可以通过机器人执行模型进行自动运行控制，提升手术机器人控制与执行的智能化水平。
附图说明
图1为一个实施例中用于机器人系统的示意图；
图2为一个实施例中用于手术机器人的模型的训练方法的流程示意图；
图3为一个实施例中机器人执行切除操作的示意图；
图4为另一个实施例中机器人执行切除操作的示意图；
图5为一个实施例中历史运行数据结构化处理步骤的流程示意图；
图6为一个实施例中数据清洗步骤的示意图；
图7为一个实施例中机器人执行缝合操作的示意图；
图8为一个实施例中对机器人初始数据进行处理的流程示意图；
图9为一个实施例中数据分析与数据标注的流程示意图；
图10为一个实施例中机器人动作状态的示意图；
图11为另一个实施例中机器人动作状态的示意图；
图12为一个实施例中机器人执行模型的建立步骤的流程图；
图13为一个实施例中手术机器人的控制方法的流程图；
图14为一个实施例中用于手术机器人的模型的训练装置的结构框图；
图15为一个实施例中手术机器人的控制装置的结构框图；
图16为另一个实施例中机器人系统的示意图；
图17为一个机器人系统声音交互流程的结构框图；
图18为一个实施例中视觉交互界面的示意图；
图19为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
随着手术机器人智能化提高，在一些标准的事务性手术操作中，手术机器人可通过自动执行，来替代医生的手动操作。比如，控制内窥镜移动，或者缝合操作等。如此，医生能更专注于诊治操作，或者给医生长时间手术提供短暂的休息时间。然而，手术机器人的自动执行是离散的，一些紧凑的离散操作，需要根据操作者的启动来执行，不利于手术的执行效率，也增加了手术流程的复杂度。
本申请提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现手术机器人的模型的训练方法的步骤，以进行机器人执行模型的训练。
在本实施例中，存储介质可以是服务器的存储介质，服务器可以包括存储介质以及处理器，以下将以服务器为例进行机器人执行模型的训练的说明。
在本实施例中，参考图1，服务器102通过网络与执行端104进行通信。执行端104可以是手术机器人。服务器102用于收集手术机器人所接收的手术操作指令，以及手术机器人在根据手术操作指令而运行期间的历史运行数据，然后服务器102以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至机器人执行模型输出符合手术操作指令的至少一个预期控制信息。其中，预期控制信息表示按照手术操作指令，控制手术机器人依时序自动运行过程的集合。例如，所述预期控制信息包括依时序控制手术器械执行以下操作中至少一种：向病灶区移动、夹持、剪切、从病灶区移开等。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现，或者服务器102也可以直接通过手术机器人的控制器实现。
在一个实施例中，如图2所示，提供了一种用于手术机器人的模型的训练方法，以该方法应用于图1中的服务器，包括以下步骤：
步骤S202，收集手术机器人所接收的手术操作指令，以及手术机器人在根据手术操作指令而运行期间的历史运行数据。
其中，手术机器人是指应用于医疗治疗场景中的机器人，例如进行腹腔镜手术的手术机器人，或者切除手术、缝合手术以及活检采样的手术机器人等。
在本实施例中，手术操作指令是指示手术机器人进行手术操作的指令，不用的手术操作指令，可以使得手术机器人执行不同的手术操作，即手术机器人可以基于接收到的手术操作指令，执行对应的手术操作，如手术操作指令为腹腔镜检查指令，则手术机器人可以进行腹腔镜检查，或者手术操作指令为手术缝合指令，则手术机器人可以是进行缝合操作，手术操作指令为切除指令，则手术机器人可以进行切除操作，以及手术操作指令为活检采样指令，则手术机器人可以进行活检采样操作等，本申请对此不作限制。
在本实施例中，对于不同的手术操作，其对应的手术操作指令可以并不相同，手术操作指令可以与其对应的手术操作相对应，如缝合手术操作指令对应于缝合操作，切除手术操作指令对应于切除操作。
并且，对于同一类型的手术操作，如切除手术操作指令，其对应的手术动作并不完全相同，如参考图3，切除操作可以包括移动、夹持、剪切以及移除等四个手术动作，也可以参考图4所示，可以包括定位、下半圆、上半圆、断点以及移除等五个手术动作。
在本实施例中，历史运行数据即是指手术机器人根据手术操作指令在运行期间的手术操作的运行数据，即如前文所说的，对应于切除手术操作指令的运行数据或者是缝合手术操作指令的运行数据等。
在其中一个实施例中，服务器获取到的历史运行数据可以包括但不限于时间数据、内窥镜数据、机器人运动数据、环境数据以及用户交互数据等中一种或多种。
时间数据可以包括运行数据的采集时间，生成时间，以及手术机器人在执行某个手术操作时的各时间节点等，如对于切除操作，各时间节点包括移动、夹持、剪切以及移除等多个手术动作的时间节点等。
机器人运动数据是指手术机器人执行的具体的运动，例如，前进，后续，旋转等，或者是如前文所述的，在切除操作中，包括移动、夹持、剪切以及移除等，而在缝合手术中，包括定位、下半圆、上半圆、断点以及移除等。本领域技术人员可以理解的是，根据应用场景的不同或者是执行的具体业务功能的不同，机器人运动数据可以不相同，本申请对此不作限制。
环境数据可以是指手术机器人所处环境的数据，如温度、湿度、光照等。
用户交互数据是指医护人员通过控制端进行人机交互的数据，可以包括输入的指令数据，例如，开始、结束、执行某个目标动作、暂停等。
内窥镜数据是指在医疗场景中，在进行内窥镜探测时，获取到的数据，如肠镜、胃镜、喉镜等不同场景的数据，其具体可以是图像数据、视频数据等。
在本实施例中，以医疗手术为例，在手术过程中，当医护人员通过机器人控制端控制手术机器人执行手术操作的时候，服务器可以采集并获取控制端的手术操作指令，以及手术机器人在基于手术操作指令所执行的运行数据，以得到历史运行数据。
步骤S204，以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至机器人执行模型输出符合手术操作指令的至少一个预期控制信息。
其中，机器人执行模型是指用于进行手术机器人运行控制的模型，机器人执行模型可以基于输入的手术操作指令，输出用于控制手术机器人的预期控制信息。
在本实施例中，预期控制信息表示按照手术操作指令，控制手术机器人依时序自动运行过程的集合，例如，对于缝合手术操作指令，预期控制信息可以包括手术机器人依时序自动执行定位、下半圆、上半圆、断点以及移除等过程的集合。
在本实施例中，服务器可以将采集到的手术操作指令以及对应的历史运行数据作为样本数据，并用于进行机器人执行模型的训练。
在本实施例中，预期控制信息可以包括对应手术操作指令的至少一个动作状态。其中，动作状态是指对应于手术操作的各个手术的动作状态，如前文所述，在切除操作中，包括移动、夹持、剪切以及移除等四个手术动作，则动作状态可以是指对应于移动、夹持、剪切以及移除等手术动作的动作状态。
在本实施例中，服务器对机器人执行模型进行训练后，机器人执行模型在接收到手术操作指令时，可以输出符合手术操作指令的至少一个预期控制信息，即输出至少一个动作状态，使得手术机器人可以基于输出的动作状态，执行对应的手术动作。
在其中一个实施例中，预期控制信息可以包括对应手术操作指令的至少一个程序调用指令。其中，程序调用指令是指调用运行程序的指令，不同的程序调用指令可以调用不同的运行程序，不同的运行程序可以控制手术机器人执行不同的手术动作。
例如，在切除手术中，运行程序可以包括分别对应于移动、夹持、剪切以及移除各手术动作的运行程序，基于各运行程序可以控制手术机器人执行不同的手术动作。
在本实施例中，服务器可以基于手术操作指令后，机器人执行模型可以基于手术操作指令输出预期控制信息，以使得可以基于预期控制信息依次调用不同的运行程序，进而使得手术机器人在监测到执行完一个调用的运行程序后，自动调用下一个运行程序并执行，从而手术机器人可以连续地自动运行多个手术动作。
上述用于存储介质中，计算机程序被处理器执行时实现通过收集手术机器人所接收的手术操作指令，以及手术机器人在根据手术操作指令而运行期间的历史运行数据，然后以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至机器人执行模型输出符合手术操作指令的至少一个预期控制信息，其中，预期控制信息表示按照手术操作指令，控制手术机器人依时序自动运行过程的集合。例如，预期控制信息表示根据手术操作指令，如控制持线手术器械QX1和非持线的手术器械QX2运动的手术操作指令，而依时序产生的用于调用相应手术操作过程的多个运行程序的指令；其中，所述手术操作过程包括手术器械QX1定位于待缝合缝隙附近的过程，手术器械QX1穿行于待缝合缝隙两侧的过程，手术器械QX1将缝合针交给手术器械QX2的过程，手术器械QX1从手术器械QX2处拿取缝合针的过程，以及根据手术器械QX1的上一次定位位置而确定其新的定位位置的过程等。对应的，经训练的机器人执行模型接收样本数据，并输出的所述预期控制信息用于表示包含依时序而启动上述各过程的各控制信息。基于上述示例，所述控制信息包括依时序控制手术器械执行以下操作中至少一种：向病灶区移动、夹持、剪切、从病灶区移开等。
由此可见，通过将获取到的手术操作指令以及历史运行数据作为样本数据，使得基于样本数据训练后得到的机器人执行模型可以学习到手术操作过程中手术操作指令与对应的执行动作之间的时序关系，在后续手术机器人执行手术的时候，可以通过机器人执行模型进行自动运行控制，提升手术机器人控制与执行的智能化水平。
在其中一个实施例中，服务器以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，可以包括：根据手术操作指令，将相应的历史运行数据进行分类处理，以分类出手术机器人在运行期间依时序转换的至少一个动作状态；利用标记有动作状态的历史运行数据，对机器人执行模型进行训练。
具体地，服务器可以对获取到的历史运行数据进行结构化的处理，并进行存储。例如，参考图5，服务器可以将获取到的历史运行数据按照数据类型的不同，分别进行结构化的存储。如时间数据可以提取时间戳，然后按照索引目录进行存储；对于内窥镜数据，可以生成对应的URL(Uniform Resource Locator，统一资源定位器)，并进行存储；对于机器人运动数据，可以提取关节指令，并进行存储等。
在本实施例中，服务器在进行存储的时候，可以是按照最小单位存储信息进行存储，例如，对于时间数据，一个时间戳对应的数据作为一个数据进行存储，对于机器人运动数据，一个关节指令的数据作为一个数据进行存储。
在本实施例中，服务器经过结构化处理后的历史运行数据可以存储至数据库中进行存档，或者也可以直接进行后续的存储。具体地，当服务器将生成的历史运行数据存储至数据库中时，可以存储至有线连接的本地数据库，或通过无线传输上传至云端数据库进行存储，本申请对此不作限制。
在本实施例中，服务器可以对结构化处理后的历史运行数据进行进一步的预处理，如进行数据清洗预处理等。
具体地，服务器对结构化处理后的历史运行数据进行数据清洗可以包括剔除明显错误的数据、删除数据格式不对的数据等。
在本实施例中，服务器可以采用深度学习和神经网络模型的方式进行数据预处理，如进行数据清洗等。图6为一种数据清洗步骤的示意图，数据清洗步骤采用卷积神经网络的方法，从初始数据中提取特征信息，进行卷积、池化、卷积、全连接处理等，对初始数据进行初步清洗分类，减少空间复杂度和过拟合问题，数据清洗去噪后的数据。
进一步，服务器可以对预处理后的历史运行数据进行分类处理，如通过聚类分析的方式，生成聚类数据。
在本实施例中，服务器获取到的历史运行数据可以是来自于同一类型的不同手术机器人的数据，如同样的腹腔镜机器人，但是获取到的历史运行数据可以是A医院的腹腔镜机器人的历史运行数据，也可以是B医院的腹腔镜机器人的历史运行数据。服务器在对历史运行数据进行预处理后，可以对预处理后的历史运行数据进行聚类分析，生成聚类数据。
在本实施例中，服务器在进行聚类分析的时候，对于不同的手术操作指令的历史运行数据，可以按照不同的聚类标准进行聚类，如机器人动作数据按照各动作状态进行聚类等。
在本实施例中，服务器在对历史运行数据历史运行数据进行分类处理的时候，可以是按照前文所述的各手术操作的手术动作的动作状态进行分类，如对于切除操作中，按照移动、夹持、剪切以及移除等四个手术动作进行分类，或者是按照定位、下半圆、上半圆、断点以及移除等五个手术动作，而在在缝合操作中，如图7所示，可以按照定位、进针、出针、递针等手术动作进行分类。
进一步，服务器可以通过分类得到动作状态对历史运行数据进行标记，以得到标记有动作状态的历史运行数据。
图8示出了一个具体实施例中对历史运行数据进行处理的流程示意图，图9示出了一个具体实施例中数据分析与数据标注的流程示意图。以下结合图8和图9对历史运行数据的处理过程进行详细说明。
在本实施例中，参考图8，服务器在进行历史运行数据的处理时，可以先向数据库发出数据请求，从数据库获取手术机器人的历史运行数据。同时，服务器的操作信息可以存储至日志数据库，该操作信息为数据请求所对应的操作信息。
进一步，服务器可以对获取到的历史运行数据进行顺序处理，即进行数据清洗去噪、数据分析、数据标注以及依据标注后的数据进行机器人执行模型的训练。
在本实施例中，在构建机器人执行模型之后，服务器还可以对生成的机器人执行模型进行可行性分析，即进行验证，并在验证通过后用于后续的手术操作。若验证不通过则重新进行机器人执行模型的建立。本领域技术人员可以理解的是，此处所说的重新进行机器人执行模型的建立可以是指继续训练的过程。
上述实施例中，通过根据手术操作指令，对历史运行数据进行分类处理，以分类出手术机器人在运行期间依时序转换的至少一个动作状态，可以使得进行机器人模型训练的时候，是基于分类后的数据进行的，使得机器人执行模型的训练更具针对性，可以后续机器人模型的训练准确性以及泛化能力，提升训练速度。
在本实施例中，参考图9，数据分析可以包括参数识别过程以及状态识别过程，参数识别具体可以是指切换动力系统(SLDS)参数识别，服务器可以通过识别切换动力参数，将对应手术操作指令的历史运行数据进行分类处理。
在此，服务器从至少一个手术器械的各自对应历史运行数据中不连续变化的运行数据中，如驱动电机的功率数据、电机启动/停止数据、和移动数据等中的至少一种，识别用于表示单一手术器械、或相配合的多手术器械的各历史运行数据发生突变的变点时刻；将变点时刻及其所对应的历史运行数据识别为切换动力参数，并据此对历史运行数据的相邻变点时刻之间的历史运行数据(驱动数据)分为一类。如图4所示，服务器利用上述方式得到分别对应定位、下半圆切割、上半圆切割、断点和移除的历史运行数据的类别。其中，发生突变的历史运行数据包括以下任意一种或多种的组合：使至少一个手术器械开始运行或结束运行的驱动数据和/或传感器数据，或者驱动持有相应手术器械的至少一个工具臂开始移动或结束移动的驱动数据和/或传感器数据等。
进一步，服务器可以对识别后的数据进行数据标注。在本实施例中，数据标注可以包括聚类分析以及信息标注两个过程。
具体地，服务器在得到参数以及状态识别后的数据之后，可以对得到的数据进行聚类，例如，对于医疗领域中的数据，可以进行手术状态聚类，得到聚类数据。
进一步，服务器可以对聚类后的数据进行标注，标注各聚类数据的数据信息，如前文所说的，通过动作状态进行标注，标注历史运行数据的移动、夹持、坚持或者移除等。
进一步，服务器可以对标注后的数据进行有效性检测，如检测数据是否为完成某个操作的完整数据，或者是检测数据的数据是否准确、是否有效，检测标注的信息是否有效、是否完整等。
在其中一个实施例中，动作状态可以包括：手术动作状态；或多个手术动作状态和相邻手术操作动作状态之间的过渡状态。
具体地，参考图10，手术动作状态可以是指移动、夹持、切除以及移除等状态，过渡状态是指移动、夹持、切除以及移除之间的各过渡状态。例如，根据多个手术器械的历史运行数据中所识别出的各发生突变的运行数据，确定任意相邻的发生突变的运行数据之间的运行数据归类为过渡状态。
对于各不同的手术操作，其手术动作状态与过渡状态并不相同，如参考图11，在缝合操作中，手术动作状态包括定位、进针、出针以及递针等，而过渡状态为定位、进针、出针以及递针等手术动作之间的状态。
如前文所述，服务器可以将获取到的手术操作指令以及历史运行数据作为样本数据，并进行机器人执行模型的训练。
其中，服务器根据聚类的类型、或者聚类的类型及其所聚类的历史运行数据，对机器人执行模型进行训练。所训练出的机器人执行模型可以提供手术操作指令与所聚类的类型之间的映射关系，或者可以提供手术操作指令与所聚类的类型之间的映射关系，以及在相应类型下对导管机器人所实施的对应运行数据的驱动指令。
在其中一个实施例中，训练机器人执行模型的方式可以包括：利用强化学习中的训练方式训练机器人执行模型；以及利用强化学习中的验证方式验证经训练的机器人执行模型，以使经训练的机器人执行模型所输出的预期控制环节的概率达到符合相应的手术操作指令的置信区间。
图12示出了一个具体实施例中机器人执行模型的建立步骤的流程图。以下进行详细说明。
在本实施例中，服务器进行机器人执行模型的建立可以是采用强化学习的方法更新模型参数。
具体地，服务器进行数据聚类，并进行数据标注，得到标注数据之后，可以基于标注数据，更新状态机，即进行手术机器人的运动状态的更新。
进一步，服务器可以对更新后的状态机进行状态参数的更新，即更新各运动状态的状态参数。
进一步，服务器可以对各运动状态进行验证，并基于验证结果进行后续的处理。
具体地，服务器可以通过设置复现概率ρa以及可执行复率ρb，并基于复现概率ρa以及可执行复率ρb进行运动状态的验证。
在本实施例中，当验证结果指示验证通过率处于【0，ρa】之间时，则服务器可以确定基于标注数据，继续进行状态机的更新。当验证结果指示验证通过率处于【ρa，ρb】之间时，则服务器可以继续进行运动状态参数的更新。当验证结果指示验证通过率处于【ρb，1】之间时，则服务器可以确定运动状态通过验证，并进行机器人执行模型的验证。
具体地，继续参考图12，同理，服务器可以继续基于设置复现概率ρa以及可执行复率ρb进行机器人执行模型的验证，并在验证结果指示验证通过率处于【0，ρa】之间时，则重新进行数据标注，在验证结果指示验证通过率处于【ρa，ρb】之间时，进行状态机的更新，在验证结果指示验证通过率处于【ρb，1】之间时，则通过模型验证。
上述实施例中，通过利用强化学习中的训练方式训练机器人执行模型，可以最大化的提升模型的训练能力，进而可以提升模型训练的训练速度，以提升模型训练的训练效率。
在一个实施例中，提供了另一种存储介质，其上存储有计算机程序，存储的计算机程序被处理器执行时根据上述存储介质所执行时得到的机器人执行模型，实现手术机器人别的控制方法，如图13所示，提供了一种手术机器人的控制方法，可以包括以下步骤：
步骤S132，获取手术操作指令。
具体地，医护人员可以通过控制端生成手术操作指令，并发送至服务器，使得服务器可以获取到手术操作指令。
在本实施例中，手术操作指令可以是对应于前文所述的切除操作的切除手术操作指令、或者是缝合操作的缝合手术操作指令，或者是其他的手术操作指令，本申请对此不作限制。
步骤S134，将手术操作指令输入所训练的机器人执行模型，以向手术机器人输出控制信息；其中，控制信息用于控制手术机器人的机械臂及机械臂所携带的手术器械运行。
在本实施例中，服务器可以将输入的手术操作指令输入机器人执行模型，以使得机器人执行模型基于手术操作指令，输出对应的控制信息，并用于进行手术机器人的控制。
在本实施例中，手术机器人可以包括机械臂，机械臂上可以携带有手术器械，如手术刀、手术钳等。手术机器人可以基于机器人执行模型输出的控制信息，控制手术机器人的机械臂以及手术器械运行。
上述实施例中，通过获取手术操作指令，并基于前文所述的机器人执行模型输出控制信息，并进行手术机器人的控制，使得可以通过机器人执行模型进行自动运行控制，提升手术机器人控制与执行的智能化水平。
在其中一个实施例中，上述控制方法还包括：根据手术机器人所反馈的信息，对手术机器人是否能安全执行手术操作指令进行识别，以便根据所得到的识别结果，确定控制或不控制手术机器人按照机器人执行模型所输出的控制信息运行。
在本实施例中，服务器将手术操作指令输入所训练的机器人执行模型，以向手术机器人输出控制信息之后，可以接受手术机器人反馈的信息并进行传输安全保护的验证。
具体地，服务器进行传输安全保护的验证可以包括但不限于进行指令速度、信息来源以及信息连续性的验证。
在本实施例中，服务器对手术机器人反馈的信息进行传输安全保护验证通过之后，可以根据验证结果确定控制或不控制手术机器人按照机器人执行模型所输出的控制信息运行。如验证不通过，则确定不控制手术机器人按照机器人执行模型所输出的控制信息运行，如果验证通过，则确定控制手术机器人按照机器人执行模型所输出的控制信息运行。
上述实施例中，通过对手术机器人是否能安全执行手术操作指令进行识别验证，并根据所得到的识别结果，确定控制或不控制手术机器人按照机器人执行模型所输出的控制信息运行，从而在进行机器人控制之前，可以进行安全性判定，并进行执行，可以提升手术机器人控制的安全性以及准确性。
在其中一个实施例中，上述控制方法还包括：根据机器人执行模型运行而输出的控制信息，建立与手术机器人的机械臂的主从映射关系，以控制相应的机械臂。
在本实施例中，服务器可以通过获取手术机器人的机器人结构数据，然后根据机器人执行模型运行而输出的控制信息，建立与手术机器人的机械臂的主从映射关系。
在本实施例中，机器人结构数据可以包括手术机器人的机械臂结构等数据。服务器可以根据控制信息与机器人结构数据，建立控制信息与机械臂的映射关系，从而在进行机械臂控制的时候，可以基于主从映射关系进行机械臂的控制。
应该理解的是，虽然图2和图13的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图13中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图14所示，提供了一种用于手术机器人的模型的训练装置，包括：
收集模块141，用于收集手术机器人所接收的手术操作指令，以及手术机器人在根据手术操作指令而运行期间的历史运行数据。
训练模块142，用于以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至机器人执行模型输出符合手术操作指令的至少一个预期控制信息。
其中，预期控制信息表示按照手术操作指令，控制手术机器人依时序自动运行过程的集合。
在其中一个实施例中，训练模块142，可以包括：
分类处理子模块，用于根据手术操作指令，将相应的历史运行数据进行分类处理，以分类出手术机器人在运行期间依时序转换的至少一个动作状态。
第一训练子模块，用于利用标记有动作状态的历史运行数据，对机器人执行模型进行训练。
在其中一个实施例中，分类处理子模块用于通过识别切换动力参数，将对应手术操作指令的历史运行数据进行分类处理。
在其中一个实施例中，动作状态可以包括：手术动作状态；或多个手术动作状态和相邻手术操作动作状态之间的过渡状态。
在其中一个实施例中，训练模块142，可以包括：
第二训练子模块，用于利用强化学习中的训练方式训练机器人执行模型。
验证子模块，用于以及利用强化学习中的验证方式验证经训练的机器人执行模型，以使经训练的机器人执行模型所输出的预期控制环节的概率达到符合相应的手术操作指令的置信区间。
在其中一个实施例中，历史运行数据可以包括以下至少一种：时间数据、内窥镜数据、机器人运动数据、环境数据以及用户交互数据。
在一个实施例中，如图15所示，提供了一种手术机器人的控制装置，可以包括：
指令获取模块151，用于获取手术操作指令。
控制信息输出模块152，用于将手术操作指令输入上述任一实施例所训练的机器人执行模型，以向手术机器人输出控制信息；其中，控制信息用于控制手术机器人的机械臂及机械臂所携带的手术器械运行。
在其中一个实施例中，上述控制装置还可以包括：
识别与控制模块，用于根据手术机器人所反馈的信息，对手术机器人是否能安全执行手术操作指令进行识别，以便根据所得到的识别结果，确定控制或不控制手术机器人按照机器人执行模型所输出的控制信息运行。
在其中一个实施例中，上述控制装置还可以包括：
映射关系建立模块，用于根据机器人执行模型运行而输出的控制信息，建立与手术机器人的机械臂的主从映射关系，以控制相应的机械臂。
关于训练装置以及控制装置的具体限定可以参见上文中对于训练方法以及控制方法的限定，在此不再赘述。上述训练装置以及控制模型建立中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，参考图16，提供了一种机器人系统，所述系统可以包括：存储介质161、处理器162以及手术机器人163。
在本实施例中，存储介质161存储有计算机程序，处理器162在执行计算机程序时实现上述任一实施例的控制方法的步骤，输出控制信息。
在本实施例中，手术机器人163用于基于控制信息执行目标动作。
其中，目标动作可以是前文所述的切除操作或者是缝合操作等，此处不作限制。
在其中一个实施例中，手术机器人163可以包括至少一个机械臂。各机械臂分别连接有不同的手术器械，如手术刀，手术钳，内窥镜等，各手术器械用于执行不同的目标动作。
在本实施例中，继续参考图16，手术机器人163可以包括机械臂1621、1622、1623以及1624。
在其中一个实施例中，上述系统还可以包括：交互装置，用于与医护人员进行指令交互，并向医护人员展示手术机器人的运行状态。
在本实施例中，继续参考图16，交互装置可以包括图像台车164上的信息交互设备1641，也可以包括医生控制端装置165中的开放式显示装置1651、沉浸式显示装置1652。
在其中一个实施例中，上述机器人系统还可以包括：警示装置，用于在手术机器人183执行目标动作时，进行安全警示。
在本实施例中，当手术机器人在执行目标动作时，警示装置可以实时进行安全警示，如执行开始、执行结束、或者是执行中出现故障等均进行警示。
在本实施例中，参考图17，示出了一种机器人系统声音交互流程的结构框图。在本实施例中，当进入/退出自动手术操作中，警示装置可以通过扬声器进行语音提示。当手术操作触发安全告警时，如当不满足安全要求时，可以触发安全告警。安全告警不同，告警声音可以不同，警示装置会根据操作的情况用不同的蜂鸣器声音进行交互提示。
在本实施例中，继续参考图16，警示装置可以包括安装于图像台车164上的有扬声器1642和安装于手术机器人183上的蜂鸣器1835。
在其中一个实施例中，参考图18，示出了一种机器人系统的视觉交互界面的示意图。在视觉界面的顶端，通过浮窗提示自动操作状态。当机器人系统不满足安全条件时，改变手术器械标识1801和顶端浮窗1802的颜色，同时开启蜂鸣器告警，提示操作者注意手术状态，及时退出自动操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图19所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储机器人初始数据以及动作特征数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用于手术机器人的模型的训练方法或手术机器人的控制方法。
本领域技术人员可以理解，图19中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述任一机器人的控制模型的训练方法和/或手术机器人的控制方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现手术机器人的模型的训练方法，所述训练方法包括：
收集手术机器人所接收的手术操作指令，以及手术机器人在根据所述手术操作指令而运行期间的历史运行数据；
以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，直至所述机器人执行模型输出符合所述手术操作指令的至少一个预期控制信息；
其中，所述预期控制信息表示按照所述手术操作指令，控制手术机器人依时序自动运行过程的集合。
2.根据权利要求1所述的存储介质，其特征在于，所述以所收集的手术操作指令、及其历史运行数据为样本数据，训练手术机器人的机器人执行模型，包括：
根据手术操作指令，将相应的历史运行数据进行分类处理，以分类出手术机器人在所述运行期间依时序转换的至少一个动作状态；
利用标记有所述动作状态的历史运行数据，对所述机器人执行模型进行训练。
3.根据权利要求2所述的存储介质，其特征在于，所述根据手术操作指令，将相应的历史运行数据进行分类处理，包括：
通过识别切换动力参数，将对应手术操作指令的历史运行数据进行分类处理。
4.根据权利要求3所述的存储介质，其特征在于，所述通过识别切换动力参数，将对应手术操作指令的历史运行数据进行分类处理，包括：
从至少一个手术器械的各自对应历史运行数据中不连续变化的历史运行数据中识别用于表示单一手术器械或相配合的多手术器械的各历史运行数据发生突变的变点时刻；
将所述变点时刻及其所对应的历史运行数据识别为切换动力参数，并据此对历史运行数据中相邻变点时刻之间的各历史运行数据进行分类处理。
5.根据权利要求2所述的存储介质，其特征在于，所述动作状态包括：手术动作状态；或多个手术动作状态和相邻手术操作动作状态之间的过渡状态。
6.根据权利要求1所述的存储介质，其特征在于，所述机器人执行模型的训练方式包括：
利用强化学习中的训练方式训练所述机器人执行模型；以及
利用所述强化学习中的验证方式验证经训练的机器人执行模型，以使经训练的机器人执行模型所输出的预期控制环节的概率达到符合相应的手术操作指令的置信区间。
7.根据权利要求1所述的存储介质，其特征在于，所述历史运行数据包括以下至少一种：时间数据、内窥镜数据、机器人运动数据、环境数据以及用户交互数据。
8.根据权利要求1所述的存储介质，其特征在于，所述预期控制信息包括依时序控制手术器械执行以下操作中至少一种：向病灶区移动、夹持、剪切、从病灶区移开。
9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时根据如权利要求1至8中任一所述的存储介质所执行时得到的机器人执行模型，实现手术机器人的控制方法，所述控制方法包括：
获取手术操作指令；
将所述手术操作指令输入所述机器人执行模型，以向所述手术机器人输出控制信息；其中，所述控制信息用于控制手术机器人的机械臂及机械臂所携带的手术器械运行。
10.根据权利要求9所述的存储介质，其特征在于，所述控制方法还包括：
根据所述手术机器人所反馈的信息，对所述手术机器人是否能安全执行所述手术操作指令进行识别，以便根据所得到的识别结果，确定控制或不控制所述手术机器人按照所述机器人执行模型所输出的控制信息运行。
11.根据权利要求9所述的存储介质，其特征在于，所述控制方法还包括：
根据所述机器人执行模型运行而输出的控制信息，建立与手术机器人的机械臂的主从映射关系，以控制相应的机械臂。
12.根据权利要求9所述的存储介质，其特征在于，所述控制信息包括依时序控制手术器械执行以下操作中至少一种：向病灶区移动、夹持、剪切、从病灶区移开。
13.一种机器人系统，其特征在于，所述系统包括：权利要求9至12任一项所述的存储介质、处理器以及手术机器人；
所述处理器在执行所述存储介质上存储的计算机程序时，输出控制信息；
所述手术机器人用于基于所述控制信息执行目标动作。
14.根据权利要求13所述的系统，其特征在于，所述手术机器人包括至少一个机械臂，所述机械臂上装载有手术器械。
15.根据权利要求13所述的系统，其特征在于，所述机器人系统还包括：
警示装置，用于在所述手术机器人执行所述目标动作时，进行安全警示。
16.一种计算机设备，其特征在于，所述计算机设备包括：权利要求1至12任一项所述的存储介质和处理器，所述处理器执行所述存储介质上存储的计算机程序。
CN202111069979.4A 2021-09-13 2021-09-13 存储介质、机器人系统以及计算机设备 Active CN113876437B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111069979.4A CN113876437B (zh) 2021-09-13 2021-09-13 存储介质、机器人系统以及计算机设备
PCT/CN2022/115145 WO2023035980A1 (zh) 2021-09-13 2022-08-26 存储介质、机器人系统以及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111069979.4A CN113876437B (zh) 2021-09-13 2021-09-13 存储介质、机器人系统以及计算机设备

Publications (2)

Publication Number Publication Date
CN113876437A true CN113876437A (zh) 2022-01-04
CN113876437B CN113876437B (zh) 2024-02-23

Family

ID=79009245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111069979.4A Active CN113876437B (zh) 2021-09-13 2021-09-13 存储介质、机器人系统以及计算机设备

Country Status (2)

Country Link
CN (1) CN113876437B (zh)
WO (1) WO2023035980A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098988A (zh) * 2022-01-25 2022-03-01 亿盛欣科技(北京)有限公司 手术机器人系统及其控制方法、介质及计算机设备
CN114305702A (zh) * 2022-03-07 2022-04-12 极限人工智能有限公司 一种检测手术机器人系统的方法、装置、机器人及介质
WO2023035980A1 (zh) * 2021-09-13 2023-03-16 上海微创医疗机器人（集团）股份有限公司 存储介质、机器人系统以及计算机设备

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167256A1 (en) * 2008-02-14 2010-07-01 Douglas Michael Blash System and method for global historical database
US20140046128A1 (en) * 2012-08-07 2014-02-13 Samsung Electronics Co., Ltd. Surgical robot system and control method thereof
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots
US20190206569A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US20190272917A1 (en) * 2018-03-05 2019-09-05 Medtech S.A. Robotically-assisted surgical procedure feedback techniques
CN110245718A (zh) * 2019-06-21 2019-09-17 南京信息工程大学 一种基于联合时域频域特征的人体行为识别方法
CN110293560A (zh) * 2019-01-12 2019-10-01 鲁班嫡系机器人（深圳）有限公司 机器人行为训练、规划方法、装置、系统、存储介质及设备
CN110832597A (zh) * 2018-04-12 2020-02-21 因美纳有限公司 基于深度神经网络的变体分类器
CN110991818A (zh) * 2019-11-14 2020-04-10 广西电网有限责任公司电力科学研究院 一种融合事件检测和神经网络的负荷识别方法
CN111931626A (zh) * 2020-08-03 2020-11-13 天津理工大学 一种基于深度学习的血管介入机器人自动手术方法
US20200383734A1 (en) * 2019-06-07 2020-12-10 Verb Surgical Inc. Supervised robot-human collaboration in surgical robotics
CN112220562A (zh) * 2019-07-15 2021-01-15 数字外科有限公司 手术期间使用计算机视觉增强手术工具控制的方法和系统
TW202105406A (zh) * 2019-07-15 2021-02-01 美商外科劇院股份有限公司 用於推薦手術程序之參數的系統及方法
CN112842527A (zh) * 2015-05-15 2021-05-28 马科外科公司 用于为机器人医疗手术提供指导的系统和方法
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN112843677A (zh) * 2021-02-08 2021-05-28 脸萌有限公司 一种系统延时确定方法、装置、设备和存储介质
WO2021118733A1 (en) * 2019-12-09 2021-06-17 Covidien Lp System for checking instrument state of a surgical robotic arm
CN113040711A (zh) * 2021-03-03 2021-06-29 吾征智能技术(北京)有限公司 一种脑卒中发病风险预测系统、设备、存储介质
CN113326733A (zh) * 2021-04-26 2021-08-31 吉林大学 一种眼动点数据分类模型的构建方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4129527B2 (ja) * 2003-05-23 2008-08-06 国立大学法人 名古屋工業大学 仮想手術シミュレーションシステム
CN108320645B (zh) * 2018-01-19 2020-02-07 中南大学湘雅二医院 医学模拟训练方法
CN111796701A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 模型训练方法、操作处理方法、装置、存储介质及设备
CN113876437B (zh) * 2021-09-13 2024-02-23 上海微创医疗机器人（集团）股份有限公司 存储介质、机器人系统以及计算机设备

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167256A1 (en) * 2008-02-14 2010-07-01 Douglas Michael Blash System and method for global historical database
US20140046128A1 (en) * 2012-08-07 2014-02-13 Samsung Electronics Co., Ltd. Surgical robot system and control method thereof
US20160096272A1 (en) * 2014-10-02 2016-04-07 Brain Corporation Apparatus and methods for training of robots
CN112842527A (zh) * 2015-05-15 2021-05-28 马科外科公司 用于为机器人医疗手术提供指导的系统和方法
US20190206569A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US20190272917A1 (en) * 2018-03-05 2019-09-05 Medtech S.A. Robotically-assisted surgical procedure feedback techniques
CN110832597A (zh) * 2018-04-12 2020-02-21 因美纳有限公司 基于深度神经网络的变体分类器
CN110293560A (zh) * 2019-01-12 2019-10-01 鲁班嫡系机器人（深圳）有限公司 机器人行为训练、规划方法、装置、系统、存储介质及设备
US20200383734A1 (en) * 2019-06-07 2020-12-10 Verb Surgical Inc. Supervised robot-human collaboration in surgical robotics
CN110245718A (zh) * 2019-06-21 2019-09-17 南京信息工程大学 一种基于联合时域频域特征的人体行为识别方法
TW202105406A (zh) * 2019-07-15 2021-02-01 美商外科劇院股份有限公司 用於推薦手術程序之參數的系統及方法
CN112220562A (zh) * 2019-07-15 2021-01-15 数字外科有限公司 手术期间使用计算机视觉增强手术工具控制的方法和系统
CN110991818A (zh) * 2019-11-14 2020-04-10 广西电网有限责任公司电力科学研究院 一种融合事件检测和神经网络的负荷识别方法
WO2021118733A1 (en) * 2019-12-09 2021-06-17 Covidien Lp System for checking instrument state of a surgical robotic arm
CN111931626A (zh) * 2020-08-03 2020-11-13 天津理工大学 一种基于深度学习的血管介入机器人自动手术方法
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN112843677A (zh) * 2021-02-08 2021-05-28 脸萌有限公司 一种系统延时确定方法、装置、设备和存储介质
CN113040711A (zh) * 2021-03-03 2021-06-29 吾征智能技术(北京)有限公司 一种脑卒中发病风险预测系统、设备、存储介质
CN113326733A (zh) * 2021-04-26 2021-08-31 吉林大学 一种眼动点数据分类模型的构建方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023035980A1 (zh) * 2021-09-13 2023-03-16 上海微创医疗机器人（集团）股份有限公司 存储介质、机器人系统以及计算机设备
CN114098988A (zh) * 2022-01-25 2022-03-01 亿盛欣科技(北京)有限公司 手术机器人系统及其控制方法、介质及计算机设备
CN114305702A (zh) * 2022-03-07 2022-04-12 极限人工智能有限公司 一种检测手术机器人系统的方法、装置、机器人及介质

Also Published As

Publication number Publication date
WO2023035980A1 (zh) 2023-03-16
CN113876437B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN113876437B (zh) 存储介质、机器人系统以及计算机设备
US11819188B2 (en) Machine-learning-based visual-haptic system for robotic surgical platforms
KR102014385B1 (ko) 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
CN108472084B (zh) 具有训练或辅助功能的外科手术系统
JP6876090B2 (ja) 医療システムの作動方法及び外科手術を行うための医療システム
CN109492675A (zh) 医学影像的识别方法、装置、存储介质和电子设备
WO2021090870A1 (ja) 使用器具推定装置及び方法並びに手術補助ロボット
Qin et al. davincinet: Joint prediction of motion and surgical state in robot-assisted surgery
KR20210056239A (ko) 컴퓨터 비전에 기초한 수술 장면 평가
JP7235212B2 (ja) 外科手術ビデオのための利き手ツール検出システム
US20220104887A1 (en) Surgical record creation using computer recognition of surgical events
US20190384986A1 (en) Tool handedness determination for surgical videos
JP2023526412A (ja) 情報処理方法、電子装置、及びコンピュータ記憶媒体
KR102276862B1 (ko) 수술영상 재생제어 방법, 장치 및 프로그램
CN115553925B (zh) 内窥镜操控模型训练方法及装置、设备、存储介质
CN116725487A (zh) 激光美容诊疗区域识别系统
US20220395334A1 (en) Systems and methods for guiding surgical procedures
CN114041874B (zh) 界面显示控制方法和装置、计算机设备和系统、及介质
JP2007075520A (ja) 手術分析装置
De Rossi et al. A multi-modal learning system for on-line surgical action segmentation
WO2022190170A1 (ja) 推論用学習装置および推論用学習方法
US20230045686A1 (en) Fusion of spatial and temporal context for location determination for visualization systems
WO2023162479A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN117677359A (zh) 人工智能手术系统及其控制方法
CN113223709A (zh) 手术过程回溯系统、方法和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant