CN113925607B - 手术机器人操作训练方法、装置、系统、介质及设备 - Google Patents
手术机器人操作训练方法、装置、系统、介质及设备 Download PDFInfo
- Publication number
- CN113925607B CN113925607B CN202111342537.2A CN202111342537A CN113925607B CN 113925607 B CN113925607 B CN 113925607B CN 202111342537 A CN202111342537 A CN 202111342537A CN 113925607 B CN113925607 B CN 113925607B
- Authority
- CN
- China
- Prior art keywords
- training
- samples
- sample
- expected
- course
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 230
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000011156 evaluation Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000011084 recovery Methods 0.000 description 12
- 230000000740 bleeding effect Effects 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000002980 postoperative effect Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000007675 cardiac surgery Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000011902 gastrointestinal surgery Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
Abstract
本发明提供一种手术机器人操作训练方法、装置、系统、介质及设备，所述手术机器人操作训练方法包括：获取输入的训练种类及期望训练目的；根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本；以及根据所述匹配的样本生成教程以引导训练者。如此配置，在接收训练对象期望的训练种类及期望训练目的后，根据历史数据自动生成训练的教程，并根据教程为训练对象进行引导，由此训练对象能够根据期望的训练种类及期望训练目的获得匹配的训练教程。
Description
技术领域
本发明涉及手术机器人技术领域，特别涉及一种手术机器人操作训练方法、装置、系统、介质及设备。
背景技术
手术机器人的出现符合精准外科的发展趋势。手术机器人成为帮助医生完成手术有力工具，如da Vinci手术机器人已经应用在全球各大医院，因其伤害小、出血少、恢复快，为患者带来福音。
手术机器人其设计理念是采用微创伤方式，精准地实施复杂的外科手术。在传统的手术面临种种局限的情况下，发展出了手术机器人来替代传统手术，手术机器人突破了人眼的局限，采用立体成像技术，将内部器官更加清晰的呈现给操作者。在原来手伸不进的区域，机械臂能完成360度的转动、挪动、摆动、夹持，并避免抖动。创口小，出血少，恢复快，大大缩短了患者术后住院时间，术后存活率和康复率也能明显提高，受到广大医患的青睐，现在作为一种高端医疗器械，已广泛运用于各种临床手术中。
现今手术机器人已适用泌尿外科、妇产科、心脏外科、胸外科、肝胆外科及胃肠外科等科室，面对的场景越来越复杂，且随之产生了很多种类的手术器械。手术过程中医生的操作直接决定手术质量，因此医生需要对相应术式及器械有一定的熟练程度。医生的熟练程度，需要经过不断的实践和训练，在学习的过程中得到提升。对于手术机器人，医生训练通常需要手术机器人和动物，成本很高，且难以多次重复练习。现有技术中常通过计算机模拟训练来解决训练的问题。
然而，传统的计算机训练模拟一般为指定任务的仿真，存在以下缺陷：
1)与真实的动物实验和临床手术存在较大差距，医生在计算机训练模拟中得到的经验难以应用到动物实验及临床手术中；
2)计算机训练模拟的过程只考量最终结果，不关注训练的具体操作，这样会导致医生积累的经验并不完全正确。
发明内容
本发明的目的在于提供一种手术机器人操作训练方法、装置、系统、介质及设备，以解决现有的手术机器人的医生训练所存在的问题。
为解决上述技术问题，本发明提供一种手术机器人操作训练方法，其包括：
获取输入的训练种类及期望训练目的；
根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本；以及
根据所述匹配的样本生成教程以引导训练者。
可选的，所述手术机器人操作训练方法还包括：
演示所述教程，并引导训练对象沿所述教程所提供的轨迹操作；以及基于所述教程所提供的轨迹，对所述训练对象的实际操作进行评价。
可选的，所述历史数据库中的样本包括多个特征，所述根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本的步骤包括：
基于所述训练种类及期望训练目的，得到所述样本的各个所述特征的增益值；
根据所述历史数据库中的各个样本中各个所述特征的所述增益值，得到各个所述样本的特征索引结果；
将特征索引结果最大的样本确定为所述匹配的样本。
可选的，在基于所述训练种类及期望训练目的，得到所述历史数据库中的样本的各个所述特征的增益值的步骤前，所述根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本的步骤还包括：对所述样本的各个所述特征进行预处理；所述预处理的步骤包括：
按照预设规则对所述样本的各个所述特征分别进行分级，并对分级结果进行数值化处理，得到各个所述特征的目标特征值。
可选的，根据所述历史数据库中的各个样本中各个所述特征的所述增益值，得到各个所述样本的特征索引结果的步骤包括：
对于任一所述样本，将所述样本的各个所述特征的增益值与其对应的所述目标特征值的乘积求和，以得到所述样本的特征索引结果。
可选的，得到所述历史数据库中的样本的各个所述特征的增益值的步骤包括：
基于所述训练种类及期望训练目的，得到所述样本数量和所述特征的数量；
根据所述样本的数量，获取经验熵；
根据所述样本数量和所述特征的数量，获取条件熵；
计算所述经验熵与所述条件熵的差值，并将所述差值作为所述特征的增益值。
可选的，所述对所述训练对象的实际操作进行评价的步骤包括：
收集所述训练对象的实际操作的操作数据；
获取所述操作数据中对应于所述匹配的样本的各个所述特征的增益值；
根据所述操作数据中的各个所述特征的所述增益值，得到所述操作数据的特征索引结果；
根据所述操作数据的特征索引结果与预设阈值的比较结果，确定实际操作的评价结果。
可选的，所述对所述训练对象的实际操作进行评价的步骤包括：
收集所述训练对象的实际操作的操作数据；
获取所述操作数据中对应于所述匹配的样本的各个所述特征的实际操作值；
根据所述实际操作值与预设目标的比较结果，确定本次实际操作的各个所述特征的评价结果。
可选的，所述教程包括主控制臂预期的操作轨迹及从端器械的预期的跟随轨迹；引导训练对象沿所述教程所提供的轨迹操作的步骤包括：
驱动所述主控制臂沿预期的操作轨迹主动运动；和/或；
在从端器械的实际轨迹偏离预期的跟随轨迹时，对所述主控制臂施加引导力，以引导所述从端器械的实际轨迹回归所述预期的跟随轨迹。
可选的，所述教程包括主控制臂预期的操作轨迹及从端器械的预期的跟随轨迹；演示所述教程的步骤包括：
显示主控制臂预期的操作轨迹；
显示从端器械的预期的跟随轨迹；以及
显示所述样本对应的手术场景。
为解决上述技术问题，本发明还提供一种手术机器人操作训练装置，其包括：输入单元以及处理单元；
所述输入单元用于获取输入的训练种类及期望训练目的；
所述处理单元用于根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本，并根据所述匹配的样本生成教程以引导训练者。
可选的，所述手术机器人操作训练装置还包括执行单元及评价单元；
所述执行单元用于演示所述教程，并引导训练对象沿所述教程所提供的轨迹操作；
所述评价单元用于基于所述教程所提供的轨迹，对所述训练对象的实际操作进行评价。
为解决上述技术问题，本发明还提供一种手术机器人系统，其包括手术机器人，还包括如上所述的手术机器人操作训练装置。
为解决上述技术问题，本发明还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的手术机器人操作训练方法。
为解决上述技术问题，本发明还提供一种电子设备，其包括如上所述的可读存储介质，还包括处理器，所述处理器执行所述程序时实现如上所述的手术机器人操作训练方法。
综上所述，本发明提供的手术机器人操作训练方法、装置、系统、介质及设备中，所述手术机器人操作训练方法包括：获取输入的训练种类及期望训练目的；根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本；以及根据所述匹配的样本生成教程以引导训练者。
如此配置，在接收训练对象期望的训练种类及期望训练目的后，根据历史数据自动生成训练的教程，并根据教程为训练对象进行引导，由此训练对象能够根据期望的训练种类及期望训练目的获得匹配的训练教程。
附图说明
本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
图1是本发明实施例的手术机器人操作训练方法的流程图；
图2是本发明实施例的手术机器人操作训练系统的示意图；
图3是本发明实施例的手术机器人系统的应用场景的示意图；
图4是本发明实施例的交互界面的示意图；
图5是本发明实施例的交互界面的子界面的示意图；
图6是本发明实施例的双目视觉装置的示意图；
图7是本发明实施例的双目视觉装置的原理图；
图8是本发明实施例的双目视觉装置安装位置的示意图；
图9是本发明实施例的历史数据库中的多个样本进行数值化处理后的示意图；
图10是本发明实施例的历史数据库中的多个样本的各个特征被赋值目标特征值后的示意图；
图11是本发明实施例的显示单元的示意图；
图12a是本发明实施例的显示主控制臂预期的操作轨迹的示意图；
图12b是本发明实施例的显示从端器械预期的跟随轨迹的示意图；
图13是本发明实施例驱动主控制臂101沿预期的操作轨迹主动运动的示意图；
图14是本发明实施例的反馈边界力信息的流程图；
图15是本发明实施例的显示警示信息的示意图。
附图中：
100-主端装置；101-主控制臂；101a-预期的操作轨迹；102-成像设备；200-从端装置；201-底座；210-机械臂；221-手术器械；221a-预期的跟随轨迹；221b-实际轨迹；400-支撑装置；10-输入单元；20-处理单元；30-执行单元；40-评价单元；50-显示单元；60-数据采集单元；61-双目视觉装置。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者即靠近病灶的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的目的在于提供一种手术机器人操作训练方法、装置、系统、介质及设备，以解决现有的手术机器人的医生训练所存在的问题。
下面结合附图进行描述。
请参考图1，本实施例提供一种手术机器人操作训练方法，其包括：
步骤S1：获取输入的训练种类及期望训练目的；
步骤S2：根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本；以及
步骤S3：根据所述匹配的样本生成教程以引导训练者。
为实现上述手术机器人操作训练方法，请参考图2，本实施例提供一种手术机器人操作训练系统，其包括：输入单元10以及处理单元20。
所述输入单元10用于获取输入的训练种类及期望训练目的；所述处理单元20用于根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本，并根据所述匹配的样本生成教程以引导训练者。
可选的，所述手术机器人操作训练方法还包括：
步骤S4：演示所述教程，并引导训练对象沿所述教程所提供的轨迹操作；以及
步骤S5：基于所述教程所提供的轨迹，对所述训练对象的实际操作进行评价。
相对应的，所述手术机器人操作训练装置还包括执行单元30及评价单元40，所述执行单元30用于演示所述教程，并引导训练对象沿所述教程所提供的轨迹操作；所述评价单元40用于基于所述教程所提供的轨迹，对所述训练对象的实际操作进行评价。
下面结合图3，示范性地对本实施例的手术机器人操作训练方法所适用的一个手术机器人系统的应用场景进行说明，所述手术机器人系统包括主从式遥操作的手术机器人，即所述手术机器人系统包括主控制台车100(即医生端控制装置)、从端装置200(即患者端控制装置)、主控制器以及用于支撑手术对象进行手术的支撑装置400(例如，手术台车)。需要说明的，在一些实施例中，支撑装置400也可替换为其它的手术操作平台，本发明对此不限。
所述主控制台车100为遥操作手术机器人的操作端，并包含安装其上的主控制臂101。所述主控制臂101用于接收操作者的手部运动信息，以作为整个系统的运动控制信号输入。可选的，所述主控制器亦设置在所述主控制台车100上。优选的，主控制台车100还包括成像设备102，所述成像设备102可为操作者提供立体图像，为操作者进行手术操作提供术野图像。所述术野图像包括手术器械类型、数量、在腹中的位姿，病患器官组织以及周围器官组织血管的形态、布置等。
从端装置200为遥操作手术机器人的具体执行平台，并包括底座201及安装于其上的手术执行组件。所述手术执行组件包括机械臂210和器械，器械包括具体执行手术的手术器械221(如高频电刀等)，以及用于辅助观察的内窥镜222等。所述手术器械221用于执行具体的手术操作，如夹、切、剪等操作，或者用于辅助手术，如拍摄等。
主控制器分别与主控制台车100、从端装置200通信连接，用于根据主控制臂101的运动控制手术执行组件的运动，具体而言，所述主控制器包括主从映射模块，所述主从映射模块用于获取所述主控制臂101的末端位姿，以及预定的主从映射关系，获得手术执行组件的期望末端位姿，进而控制机械臂210驱动器械运动到期望的末端位姿。
在正常手术操作时，操作者(例如，主操作医生)在成像设备102的术野图像的引导下，通过主从遥操作，对手术器械221的末端位姿进行控制。手术中，操作者坐在位于无菌区之外的主控制台车100前，通过成像设备102观察传回的术野图像，并通过操作主控制臂101来控制手术执行组件运动，以完成各种手术操作。
需要说明的，上述示范例仅为手术机器人系统的一个示范例而非限定，本实施例的手术机器人操作训练方法还可以适用于其它类型的手术机器人系统，例如非主从式遥操作的手术机器人，如骨科机器人等，本发明对此不限。
下面对本实施例提供的手术机器人操作训练方法进行具体说明。
步骤S1由输入单元10实现。可选的，所述手术机器人操作训练系统还包括显示单元50。请参考图4，输入单元10如可包括交互界面，该交互界面可显示在所述显示单元50上，训练对象(如医生)可以在交互界面中选择或输入训练种类(图4示出的示范例中包括基础动作训练、典型术式训练以及器械训练)、查询主控制臂的数据、控制台车、登录管理员账户用以获取更高级的操作权限等。在点击或输入训练种类后，交互界面进入对应的子界面，图5示出了选择典型术式训练后所对应的子界面的一个示范例，其中展示了更具体的训练内容，以及期望训练目的的选项。可以理解的，输入单元10可以是集成于显示单元50上的触摸屏，也可以是额外附设的输入设备，如键盘、鼠标、麦克风等本领域常用的输入设备。
步骤S2和步骤S3由处理单元20实现。处理单元20与输入单元10通信连接，其能够获取输入单元10所输入的训练种类及期望训练目的的信息。进而，处理单元20根据获取的训练种类及期望训练目的的信息，自历史数据库中选择匹配的样本并生成教程，以引导训练者。
在一个可替代的实施例中，历史数据库中的样本包括临床手术和动物实验的数据，例如手术的轨迹、手术图像、手术时间、出血量、术后恢复时间、患者病症、患者体征等，这些数据可以直接作为期望训练目的的选项。
可选的，所述手术机器人操作训练系统还包括数据采集单元60，历史数据库中的样本的数据可通过数据采集单元60采集。数据采集单元60如可包括设置于主控制臂101上的第一位置传感器、设置于机械臂210上的第二位置传感器，以及其它的一些外部传感器。第一位置传感器能够采集主控制臂101的位姿信息，第二位置传感器能够采集机械臂210的位姿信息，由此数据采集单元60可以获得手术的轨迹。
在一个可替代的示范例中，外部传感器包括图像采集装置，数据采集单元60通过图像采集装置来获取主控制臂101和机械臂210以外的对象(如：患者或支撑装置400)的运动信息、以及手术图像等数据。图像采集装置可以是双目视觉、TOF、结构光和激光扫描等装置。如图6所示，由于相比其他传感器，双目视觉装置61的分辨率更高，更利于图像识别，所以本专利以双目视觉装置61为例。双目视觉装置61对同一个物体呈现的图像存在差异，也称“视差”。物体距离双目视觉装置61越远，视差越小；反之，视差越大。视差的大小对应着物体与双目视觉装置61之间距离的远近。获得图像的深度信息后，可以用于后续训练演示的图像渲染。
下面结合图7，对双目视觉装置61的原理进行说明。双目视觉装置61的两台相机O1、O2的光心距离，即基线记为b，两台相机的焦距均为f。两台相机在同一时刻观看到被测物体的同一点P(x，y，z)，在“左眼”相机O1和“右眼”相机O2中获取点P的图像P1和P2，其中P1的坐标为(xl，yl)，P2的坐标为(xr+b，yr)，根据相似三角形原理可以得到如下关系式：
由式(1)可得如下关系式：
根据上述式(2)-(4)，可得到被测物体上的点P在双目视觉装置坐标系下的三维坐标信息。同理，根据上述公式(2)-(4)可得到被测物体上的任意特征点在双目视觉装置坐标系下的三维坐标信息，进而可构建被测物体的三维模型信息。图8示出了双目视觉装置61安装位置的一个示范例，其可以安装在从端装置200的底座201上。
进一步的，数据采集单元60可以采集样本的多个特征，由此历史数据库中的样本包括多个特征(例如：手术时间、出血量、术后恢复时间、患者身高、患者体重、患者年龄等)，步骤S2中根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本的步骤包括：
步骤S21：基于所述训练种类及期望训练目的，得到所述历史数据库中的样本的各个所述特征的增益值；
步骤S22：根据所述历史数据库中的各个样本中各个所述特征的所述增益值，得到各个所述样本的特征索引结果；
步骤S23：将特征索引结果最大的样本确定为匹配的样本。
在步骤S21中，训练对象在选择训练种类(如：术式)后需要筛选出符合训练种类的数据(如：病症)；随后根据选择的期望训练目的(如手术时间、出血量或患者恢复时间等)计算各特征的增益值。计算各特征的增益值的方法如可为：决策树、线性回归、支持向量机、朴素贝叶斯等方法。
在步骤S22和步骤S23中，根据所述历史数据库中的各个样本中各个所述特征的所述增益值，可得到各个所述样本的特征索引结果。特征索引结果的最大值对应的样本即为前述期望训练目的下的最优解，则将该样本确定为本次训练的参考案例。
优选的，在步骤S21之前，步骤S2还包括：
步骤S20：对所述样本的各个所述特征进行预处理；所述预处理的步骤包括：按照预设规则对所述样本的各个所述特征分别进行分级，并对分级结果进行数值化处理，得到各个所述特征的目标特征值。
历史数据库中的样本包括多个特征，每个特征的评价单位和评价标准均不同，例如手术时间的评价单位是秒，出血量的评价单位是毫升，不同的评价单位和评价标准需要通过预处理进行处理。在一个示范例中，可根据选定的某一所述特征(如手术时间)对各所述样本进行排序，按照预定条件(如所有样本中，手术时间位于前20％)对选定的所述特征(手术时间)进行进行分级，即手术时间位于前20％定义为快，对其赋值1作为目标特征值。相反的，手术时间位于后80％定义为慢，对其赋值0作为目标特征值。数值化处理的结果如可为快慢、高低、好坏、符合不符合等可以被量化的结果，进而每个样本的各个特征均被赋值0或1的目标特征值。请参考图9，其示出了一个历史数据库中的多个样本进行数值化处理后的情况。进而图10示出了一个历史数据库中的多个样本的各个特征被赋值0或1的目标特征值后的情况，其中手术时间(快对应1，慢对应0)、出血量(少对应1，多对应0)、术后恢复时间(快对应1，慢对应0)、患者身高(高对应1，矮对应0)，训练目标分为符合与不符合，可不进行赋值。
进一步的，步骤S21中得到所述历史数据库中的样本的各个所述特征的增益值的步骤包括：
步骤S211：基于所述训练种类及期望训练目的，得到所述样本数量和所述特征的数量；训练对象在选择训练种类(如：术式)后需要筛选出符合训练种类(如：病症)的样本；随后根据选择的期望训练目的(如手术时间、出血量或患者恢复时间等)筛选出各的样本中所匹配的特征；
步骤S212：根据所述样本的数量，获取经验熵；
经验熵计算方法为：预处理后的数据集定义为D，则训练数据集D的经验熵为H(D)，|D|表示其样本容量，即样本个数。设有K个类Ck＝1，2，3，...，K，|Ck|为属于类Ck的样本个数，因此经验熵公式就可以写为：
步骤S213：根据所述样本数量和所述特征的数量，获取条件熵；
条件熵计算方法为：条件熵即该条件对于训练期望目的的影响程度，条件熵的个数等于特征的个数。设特征A有n个不同的取值{a1，a2，…，an}，根据特征A的取值将D划分为n个子集{D1，D2，…，Dn}，|Di|为Di的样本个数。记子集Di中属于Ck的样本的集合为Dik，即Dik＝Di∩Ck，|Dik|为Dik的样本个数，则根据如下公式计算条件熵H(D|A)：
步骤S214：计算所述经验熵与所述条件熵的差值，并将所述差值作为所述特征的增益值。
特征的增益值g(D，A)是相对于特征而言的，增益值g(D，A)越大，特征对最终的分类结果影响也就越大：
g(D，A)＝H(D)-H(D|A)
下面结合图10示出的示范例，对步骤S212、步骤S213和步骤S214进行举例说明。
步骤S212中，样本的数量为10，对于训练目的有6个符合，4个不符合，经验熵H(D)为：
步骤S213中，对于特征“手术时间”，“慢”对应4条数据，其中1条符合训练目的，3条不符合训练目的，“快”对应6条数据，其中5条符合训练目的，1条不符合训练目的，设“手术时间”为特征A1，则其条件熵为：
对于特征“出血量”，“多”对应3条数据，其中1条符合训练目的，2条不符合训练目的，“少”对应7条数据，其中5条符合训练目的，2条不符合训练目的，设“手术时间”为特征A2，则其条件熵为：
对于特征“术后恢复时间”，“慢”对应5条数据，其中2条符合训练目的，3条不符合训练目的，“快”对应5条数据，其中4条符合训练目的，1条不符合训练目的，设“术后恢复时间”为特征A3，则其条件熵为：
对于特征“患者身高”，“矮”对应6条数据，其中4条符合训练目的，2条不符合训练目的，“高”对应4条数据，其中2条符合训练目的，2条不符合训练目的，设“患者身高”为特征A4，则其条件熵为：
由此，可得各特征的增益值：
手术时间：g(D，A1)＝H(D)-H(D|A1)＝0.9710-0.7145＝0.2565
出血量：g(D，A2)＝H(D)-H(D|A2)＝0.9710-0.8797＝0.0904
术后恢复时间：g(D，A3)＝H(D)-H(D|A3)＝0.9710-0.8464＝0.1237
患者身高：g(D，A4)＝H(D)-H(D|A4)＝0.9710-0.9510＝0.0191
进一步的，步骤S22中根据所述历史数据库中的各个样本中各个所述特征的所述增益值，得到各个所述样本的特征索引结果的步骤包括：
步骤S221：对于任一所述样本，将所述样本的各个所述特征的增益值与其对应的所述目标特征值的乘积求和，以得到所述样本的特征索引结果。
结合图10的示范例，将10个样本的各个特征的增益值与其对应的目标特征值进行相乘并求和计算，样本1至样本10的对应的特征索引结果为：0.4897、0.2141、0.0191、0.4697、0.3460、0.3793、0.4697、0.0000、0.3651、0.1095。
根据步骤S23：将特征索引结果最大的样本1确定为匹配的样本，作为本次训练的参考案例。
步骤S4由执行单元30实现。可选的，所述教程包括主控制臂101预期的操作轨迹101a及从端器械(如手术器械221)的预期的跟随轨迹221a；演示所述教程的步骤包括：
步骤S401：显示主控制臂101预期的操作轨迹101a；
步骤S402：显示从端器械(如手术器械221)的预期的跟随轨迹221a；以及
步骤S403：显示所述样本对应的手术场景。
请参考图11，其示出了显示单元50的一个示范例，显示单元50如可与主控制台车100的成像设备102集成设置。执行单元30通过显示单元50可以显示主控制臂101预期的操作轨迹101a，如图12a所示。对应于主控制臂101的预期的操作轨迹101a，执行单元30通过显示单元50也可以显示从端器械(如手术器械221)的预期的跟随轨迹221a，如图12b所示。进一步的，执行单元30通过显示单元50还可以显示样本对应的手术场景。当然在其它的一些实施例中，显示单元50也可独立设置。
可选的，引导训练对象沿所述教程所提供的轨迹操作的步骤包括：
步骤S41：驱动所述主控制臂101沿预期的操作轨迹101a主动运动，如图13所示；
和/或；
步骤S42：在从端器械的实际轨迹221b偏离预期的跟随轨迹221a时，对所述主控制臂101施加引导力，以引导所述从端器械的实际轨迹回归所述预期的跟随轨迹221a，如图14所示。
步骤S41和步骤S42可以择一执行，也可以一同被执行。步骤S41被执行时，除了在显示单元50上进行图像演示，主控制臂101也能够按照训练预期的操作轨迹101a主动运动，为训练对象提供直观的感受。步骤S42被执行时，训练对象在操作主控制臂101运动时，在从端器械的实际轨迹偏离预期的跟随轨迹221a时，对所述主控制臂101施加引导力，以引导训练对象，使偏离的轨迹回归至预期。在一个示范例中，引导力τ的生成公式为：
τ＝JT*K*(pc-pd)
其中，τ为主控制臂101各电机的力，J为主控制臂101的雅可比矩阵，K为期望力矩增益，pc为从端器械末端的当前点位，pd为从端器械末端的期望点位。
可选的，步骤S5可由评价单元40实现。对所述训练对象的实际操作进行评价的步骤包括：
步骤S51：收集本次实际操作的操作数据；该步骤如可通过数据采集单元60执行。具体的，在训练对象的实际操作过程中，数据采集单元60可以收集主控制臂101的位姿信息、机械臂210的位姿信息、主控制臂101和机械臂210以外的物体的运动信息以及手术图像等数据，由此获得本次实际操作的操作数据。较佳的，本次实际操作的操作数据包括与历史数据库中的样本中相同的特征。
步骤S52：获取所述操作数据中对应于所述匹配的样本的各个所述特征的增益值；该步骤可以沿用前述历史数据库中的样本的各个所述特征的增益值。
步骤S53：根据所述操作数据中的各个所述特征的所述增益值，得到所述操作数据的特征索引结果；该步骤具体可参考前述步骤S221，先按照步骤S20的方式，对本次实际操作的操作数据的各特征进行预处理，然后对其中的各个特征的增益值与其对应的目标特征值的乘积求和，即可得到所述操作数据的特征索引结果。
步骤S54：根据所述操作数据的特征索引结果与预设阈值的比较结果，确定本次实际操作的评价结果。在获取本次实际操作的操作数据的特征索引结果后，可根据其与预设阈值的比较结果，来判断本次操作的总体的训练结果评价。这里的预设阈值可根据实际进行设置，例如可以是前述历史数据库中各样本中最大的特征索引结果的80％，若本次实际操作的操作数据的特征索引结果不小于前述历史数据库中各样本中最大的特征索引结果的80％，即认为本次实际操作为成功的训练，本次操作的总体的训练结果评价为成功，如图15所示。
进一步的，步骤S5中，对所述训练对象的实际操作进行评价的步骤还包括：
步骤S55：获取所述操作数据中对应于所述匹配的样本的各个所述特征的实际操作值；对实际操作进行评价的步骤可不仅包括总体的训练结果评价，还可以包括各单项评价。这里的单项即本次实际操作的操作数据所包括的若干特征。例如在图15所示出的示范例中，单项评价包括手术时间、出血量和患者恢复时间的评价。在一个可选的示范例中，数据采集单元60可以采集获取这些单项(即特征)在本次操作的操作数据中的实际操作值。
步骤S56：根据所述实际操作值与预设目标的比较结果，确定本次实际操作的各个所述特征的评价结果。在采集得到各特征在本次操作的操作数据中的实际操作值，可与预设目标进行比较，并进行评价。这里的预设目标，可以与前述预处理时的预定条件相同，也可以不同。具体的，若预设目标与预处理时的预定条件相同，例如本次操作的手术时间位于历史数据库中的样本的前20％时，判定为快，否则为慢。若预设目标与预处理时的预定条件不同，预设目标可根据实际情况进行设定，例如可设定本次操作的手术时间在一个特定的时长内为快，否则为慢。本领域技术人员可根据实际进行配置。
需要说明的，步骤S51～步骤S54的总体的训练结果评价与步骤S55～步骤S56的各单项评价可以择一执行，也可以同时执行，本实施例对此不限。
本实施例还提供一种手术机器人系统，其包括手术机器人，还包括如上所述的手术机器人操作训练装置。进一步的，本发明实施例还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的手术机器人操作训练方法。该可读存储介质可独立设置，也可以集成设置于手术机器人操作训练系统中，本发明对此不限。更进一步的，本实施例还提供一种电子设备，其包括如上所述的可读存储介质，还包括处理器，所述处理器执行所述程序时实现如上所述的手术机器人操作训练方法。
综上所述，本发明提供的手术机器人操作训练方法、装置、系统、介质及设备中，所述手术机器人操作训练方法包括：获取输入的训练种类及期望训练目的；根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本；以及根据所述匹配的样本生成教程以引导训练者。如此配置，在接收训练对象期望的训练种类及期望训练目的后，根据历史数据自动生成训练的教程，并根据教程为训练对象进行引导，由此训练对象能够根据期望的训练种类及期望训练目的获得匹配的训练教程。
需要说明的，上述若干实施例之间可相互组合。上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (12)
1.一种手术机器人操作训练方法，其特征在于，包括：
获取输入的训练种类及期望训练目的；
根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本；以及
根据所述匹配的样本生成教程以引导训练者；
演示所述教程，并引导训练对象沿所述教程所提供的轨迹操作；以及
基于所述教程所提供的轨迹，对所述训练对象的实际操作进行评价；
其中，所述历史数据库中的样本包括多个特征，所述根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本的步骤包括：
基于所述训练种类及期望训练目的，得到所述样本的各个所述特征的增益值；
根据所述历史数据库中的各个样本中各个所述特征的所述增益值，得到各个所述样本的特征索引结果；
将特征索引结果最大的样本确定为所述匹配的样本。
2.根据权利要求1所述的手术机器人操作训练方法，其特征在于，在基于所述训练种类及期望训练目的，得到所述历史数据库中的样本的各个所述特征的增益值的步骤前，所述根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本的步骤还包括：对所述样本的各个所述特征进行预处理；所述预处理的步骤包括：
按照预设规则对所述样本的各个所述特征分别进行分级，并对分级结果进行数值化处理，得到各个所述特征的目标特征值。
3.根据权利要求2所述的手术机器人操作训练方法，其特征在于，根据所述历史数据库中的各个样本中各个所述特征的所述增益值，得到各个所述样本的特征索引结果的步骤包括：
对于任一所述样本，将所述样本的各个所述特征的增益值与其对应的所述目标特征值的乘积求和，以得到所述样本的特征索引结果。
4.根据权利要求1所述的手术机器人操作训练方法，其特征在于，得到所述历史数据库中的样本的各个所述特征的增益值的步骤包括：
基于所述训练种类及期望训练目的，得到所述样本数量和所述特征的数量；
根据所述样本的数量，获取经验熵；
根据所述样本数量和所述特征的数量，获取条件熵；
计算所述经验熵与所述条件熵的差值，并将所述差值作为所述特征的增益值。
5.根据权利要求1所述的手术机器人操作训练方法，其特征在于，所述对所述训练对象的实际操作进行评价的步骤包括：
收集所述训练对象的实际操作的操作数据；
获取所述操作数据中对应于所述匹配的样本的各个所述特征的增益值；
根据所述操作数据中的各个所述特征的所述增益值，得到所述操作数据的特征索引结果；
根据所述操作数据的特征索引结果与预设阈值的比较结果，确定实际操作的评价结果。
6.根据权利要求1所述的手术机器人操作训练方法，其特征在于，所述对所述训练对象的实际操作进行评价的步骤包括：
收集所述训练对象的实际操作的操作数据；
获取所述操作数据中对应于所述匹配的样本的各个所述特征的实际操作值；
根据所述实际操作值与预设目标的比较结果，确定本次实际操作的各个所述特征的评价结果。
7.根据权利要求1所述的手术机器人操作训练方法，其特征在于，所述教程包括主控制臂预期的操作轨迹及从端器械的预期的跟随轨迹；引导训练对象沿所述教程所提供的轨迹操作的步骤包括：
驱动所述主控制臂沿预期的操作轨迹主动运动；和/或；
在从端器械的实际轨迹偏离预期的跟随轨迹时，对所述主控制臂施加引导力，以引导所述从端器械的实际轨迹回归所述预期的跟随轨迹。
8.根据权利要求1所述的手术机器人操作训练方法，其特征在于，所述教程包括主控制臂预期的操作轨迹及从端器械的预期的跟随轨迹；演示所述教程的步骤包括：
显示主控制臂预期的操作轨迹；
显示从端器械的预期的跟随轨迹；以及
显示所述样本对应的手术场景。
9.一种手术机器人操作训练装置，其特征在于，包括：输入单元、处理单元、执行单元及评价单元；
所述输入单元用于获取输入的训练种类及期望训练目的；
所述处理单元用于根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本，并根据所述匹配的样本生成教程以引导训练者；
所述执行单元用于演示所述教程，并引导训练对象沿所述教程所提供的轨迹操作；
所述评价单元用于基于所述教程所提供的轨迹，对所述训练对象的实际操作进行评价；
其中，所述历史数据库中的样本包括多个特征，所述根据所述训练种类及期望训练目的，自历史数据库中选择匹配的样本的步骤包括：
基于所述训练种类及期望训练目的，得到所述样本的各个所述特征的增益值；
根据所述历史数据库中的各个样本中各个所述特征的所述增益值，得到各个所述样本的特征索引结果；
将特征索引结果最大的样本确定为所述匹配的样本。
10.一种手术机器人系统，包括手术机器人，其特征在于，还包括如权利要求9所述的手术机器人操作训练装置。
11.一种可读存储介质，其上存储有程序，其特征在于，所述程序运行时，实现根据权利要求1~8中任一项所述的手术机器人操作训练方法。
12.一种电子设备，其特征在于，包括根据权利要求11的所述可读存储介质，还包括处理器，所述处理器执行所述可读存储介质上的程序时实现权利要求1-8中任一项所述的手术机器人操作训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111342537.2A CN113925607B (zh) | 2021-11-12 | 2021-11-12 | 手术机器人操作训练方法、装置、系统、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111342537.2A CN113925607B (zh) | 2021-11-12 | 2021-11-12 | 手术机器人操作训练方法、装置、系统、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113925607A CN113925607A (zh) | 2022-01-14 |
| CN113925607B true CN113925607B (zh) | 2024-02-27 |
Family
ID=79286504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111342537.2A Active CN113925607B (zh) | 2021-11-12 | 2021-11-12 | 手术机器人操作训练方法、装置、系统、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113925607B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104970886A (zh) * | 2015-06-23 | 2015-10-14 | 上海理工大学 | 腹腔镜模拟手术路径纠偏方法 |
| CN110000795A (zh) * | 2019-05-15 | 2019-07-12 | 苏州市职业大学 | 一种视觉伺服控制的方法、系统及设备 |
| CN111128388A (zh) * | 2019-12-03 | 2020-05-08 | 东软集团股份有限公司 | 一种值域数据匹配方法、装置及相关产品 |
| CN111670018A (zh) * | 2018-01-10 | 2020-09-15 | 柯惠Lp公司 | 用于定位患者和手术机器人的引导 |
| CN111890350A (zh) * | 2020-06-12 | 2020-11-06 | 深圳先进技术研究院 | 机器人及其控制方法、计算机可读存储介质 |
| CN112424703A (zh) * | 2018-07-19 | 2021-02-26 | 国际商业机器公司 | 以未知的倾斜执行销孔任务 |
| CN112428278A (zh) * | 2020-10-26 | 2021-03-02 | 北京理工大学 | 机械臂的控制方法、装置及人机协同模型的训练方法 |
| CN112704564A (zh) * | 2020-12-22 | 2021-04-27 | 上海微创医疗机器人（集团）股份有限公司 | 手术机器人系统、碰撞检测方法、系统及可读存储介质 |
| CN113421470A (zh) * | 2020-12-02 | 2021-09-21 | 中国人民解放军63920部队 | 一种空间机械臂遥操作仿真训练系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9786202B2 (en) * | 2010-03-05 | 2017-10-10 | Agency For Science, Technology And Research | Robot assisted surgical training |
| US10695134B2 (en) * | 2016-08-25 | 2020-06-30 | Verily Life Sciences Llc | Motion execution of a robotic system |
| CN112017516B (zh) * | 2020-08-26 | 2022-10-04 | 深圳市爱博医疗机器人有限公司 | 一种远程血管介入手术训练系统 |
| CN112507166B (zh) * | 2020-12-02 | 2024-02-09 | 深圳瑞娅互娱科技有限公司 | 运动教程智能调整方法及相关装置 |
-
2021
- 2021-11-12 CN CN202111342537.2A patent/CN113925607B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104970886A (zh) * | 2015-06-23 | 2015-10-14 | 上海理工大学 | 腹腔镜模拟手术路径纠偏方法 |
| CN111670018A (zh) * | 2018-01-10 | 2020-09-15 | 柯惠Lp公司 | 用于定位患者和手术机器人的引导 |
| CN112424703A (zh) * | 2018-07-19 | 2021-02-26 | 国际商业机器公司 | 以未知的倾斜执行销孔任务 |
| CN110000795A (zh) * | 2019-05-15 | 2019-07-12 | 苏州市职业大学 | 一种视觉伺服控制的方法、系统及设备 |
| CN111128388A (zh) * | 2019-12-03 | 2020-05-08 | 东软集团股份有限公司 | 一种值域数据匹配方法、装置及相关产品 |
| CN111890350A (zh) * | 2020-06-12 | 2020-11-06 | 深圳先进技术研究院 | 机器人及其控制方法、计算机可读存储介质 |
| CN112428278A (zh) * | 2020-10-26 | 2021-03-02 | 北京理工大学 | 机械臂的控制方法、装置及人机协同模型的训练方法 |
| CN113421470A (zh) * | 2020-12-02 | 2021-09-21 | 中国人民解放军63920部队 | 一种空间机械臂遥操作仿真训练系统及方法 |
| CN112704564A (zh) * | 2020-12-22 | 2021-04-27 | 上海微创医疗机器人（集团）股份有限公司 | 手术机器人系统、碰撞检测方法、系统及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113925607A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11737841B2 (en) | Configuring surgical system with surgical procedures atlas | |
| US11026754B2 (en) | Motion execution of a robotic system | |
| US20210157403A1 (en) | Operating room and surgical site awareness | |
| JP7481114B2 (ja) | 走査ベースの位置付けを伴う遠隔操作手術システム | |
| KR20180068336A (ko) | 훈련 또는 보조 기능들을 갖는 수술 시스템 | |
| US20210290317A1 (en) | Systems and methods for tracking a position of a robotically-manipulated surgical instrument | |
| CN106456148A (zh) | 使用眼球凝视跟踪的医疗装置、系统和方法 | |
| CN105596005A (zh) | 用于为操纵内窥镜设备的末端朝向一个或更多个界标转向提供视觉引导和在内窥镜导航中辅助操作者的系统 | |
| US20230093342A1 (en) | Method and system for facilitating remote presentation or interaction | |
| JP2019535364A (ja) | 手術技能レベルベース器具制御を備える遠隔操作手術システム | |
| EP3811378A1 (en) | Hybrid simulation model for simulating medical procedures | |
| CN113925607B (zh) | 手术机器人操作训练方法、装置、系统、介质及设备 | |
| CN113366414A (zh) | 用于在计算机辅助操作系统的操作会话期间促进成像装置视点的优化的系统和方法 | |
| US20230410499A1 (en) | Visibility metrics in multi-view medical activity recognition systems and methods | |
| KR20190133425A (ko) | 수술보조 영상 표시방법 및 프로그램 | |
| Atkins et al. | Eye monitoring applications in medicine | |
| WO2023114348A1 (en) | Methods and systems for coordinating content presentation for computer-assisted systems | |
| WO2023018685A1 (en) | Systems and methods for a differentiated interaction environment | |
| CN116508070A (zh) | 多视图医疗活动识别系统和方法中的可见性度量 | |
| Adipradana | Customer Values and Role of Latency in da Vinci Telesurgical Robot | |
| Lo | Interface Design for a Virtual Reality-enhanced Image-guided Surgery Platform Using Surgeon-controlled Viewing Techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |