CN112822989A - 外科手术培训设备、方法和系统 - Google Patents

外科手术培训设备、方法和系统 Download PDF

Info

Publication number
CN112822989A
CN112822989A CN201980059881.5A CN201980059881A CN112822989A CN 112822989 A CN112822989 A CN 112822989A CN 201980059881 A CN201980059881 A CN 201980059881A CN 112822989 A CN112822989 A CN 112822989A
Authority
CN
China
Prior art keywords
surgical
model
trainee
surgical training
training system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980059881.5A
Other languages
English (en)
Inventor
乔纳森·斯通
史蒂文·格里菲斯
尼尔森·N·斯通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Simlat Inanimate Model Co
Original Assignee
Simlat Inanimate Model Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Simlat Inanimate Model Co filed Critical Simlat Inanimate Model Co
Publication of CN112822989A publication Critical patent/CN112822989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30—Anatomical models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

一种外科手术培训设备、方法和系统，其允许外科手术受训者利用增强现实头戴式耳机以逼真的方式在解剖模型上练习外科手术技能，并且递送与如传感器在模型中或模型附近感测到的所述受训者的措施关联的针对性外科手术作业课程，以帮助所述受训者发展恰当的外科手段和决策。

Description

外科手术培训设备、方法和系统
技术领域
本发明涉及用于外科手术培训的设备、方法和系统。更具体地，本发明涉及新型模拟外科手术培训设备、方法和系统，其采用具有策略性放置的传感器的解剖模型。配备传感器的模型与增强现实头戴式耳机和计算机软件一起使用，以在模拟外科手术培训会话期间的理想时间向受训者递送指导性教学和针对性课程内容。
背景技术
由于替代方案不充足，目前许多外科手术受训者在手术室对活体患者进行练习。这可能导致患者疗效不太理想，并且不必要地增加手术时间。研究表明，更长的手术时间会增添患者风险并且增加护理成本。
关于外科手术体模模型的培训是已知的，然而，仍然需要改进的外科手术培训设备、方法和系统。具体地，在学生完成一项肌肉运动任务时，外科手术培训需要视觉和言语提示。当前，提供此教学的唯一方法是通过现场经验丰富的执业医师培训会话。遗憾的是，由于外科医生的时间限制，亲自培训仅在实际患者情况下才可行，并且因此由于外科手术效率低下而可能造成伤害或产生过多的费用。
发明内容
一种外科手术培训设备、方法和系统，其允许外科手术受训者利用增强现实头戴式耳机以逼真的方式在解剖模型上练习外科手术技能，并且递送与如传感器在模型中或模型附近感测到的所述受训者的措施关联的针对性外科手术作业课程，以帮助受训者开发恰当的外科手段和决策。
另一方面，本发明通过以下方式来进一步解决上述需求：通过增强现实头戴式耳机(AR)或其他人机接口(HCI)提供具有集成数字课程内容的配备传感器的外科手术体模模型。
另一方面，本发明提供在外科手术体模、外科手术工具与允许用户执行自我指导的培训的计算机软件之间的信息传递。
又一方面，本发明提供一种外科手术培训体模，其发射信号以便提示课程内容的递送。
信号可使用任何合适的电子部件(例如像换能器、视频图像和/或应变仪)从模型生成。
信号的生成可以任一种方式或方式组合来发起，所述方式例如像：
a)在感测到模型改变(例如像，提议的切口部位的标记、切口的制造、模拟出血的开始、模拟肿瘤的切除等)时；
b)在感测到用户移动(例如像用户的手和/或头运动)时；
c)感测到外科器械的使用，诸如身体标记笔、缝合针、针驱动器、腹腔镜器械、吸入尖端等；和/或
d)在手术过程中感测到外科手术视野内的特定视频视野(“FOV”)或“外科医生所见”。
使用任何期望的通信模式(诸如相机视觉、Wi-Fi、蓝牙、声音、光、有线连接等)将来自传感器(例如，换能器、包括可见和不可见频率的电磁光谱发射)的信号递送到运行外科手术培训软件的计算机。可采用机器学习来解析数据，从数据中学习并且根据所学内容做出明智的决策。深度学习是一种类型的机器学习，其中模型学习直接根据图像、文本或信号执行分类任务。可使用神经网络架构来实现深度学习，所述神经网络架构可由并行计算机实时计算。机器学习和/或深度学习可用于使用来自AR头戴式耳机相机和9自由度头/相机位置跟踪器的信号和图像以及来自模拟器官和/或外科器械的其他信号输出来标识、处理和分类对象。
信号由计算机外科手术培训软件程序解释，并且可能导致外科模拟培训软件的状态改变。
可对所述软件进行编程以将与外科手术体模模型培训会话的进行中的进度相对应的教程和“操作方式”指导递送给受训者。
另一方面，本发明提供一种AR平台，其检测外科手术受训者在外科手术模型上的培训手术期间的具体表现，并且通过向受训者递送对应的课程内容和/或其他信息对检测到的表现做出响应。AR头戴式耳机/或任何视频或相机馈送(包括例如来自外科器械(腹腔镜、内窥镜、关节镜、显微镜等)的视频)能够检测一个或多个“提示”，所述“提示”可以是“模型提示”和/或“运动提示”和/或“静止图像/视频提示”。
“模型提示”是由模型本身产生的离散元素或物理条件，其可由诸如AR头戴式耳机等“提示接收器”检测到。模型提示的实例包括但不限于物理标记(例如，可见或不可见油墨中的条形码或其他符号)、电子和/或光学传感器和/或嵌入或应用到外科手术模型的外表面的任何其他基准。
“标识(ID)和/或运动提示”(以下称为“ID-运动提示”)包括对AR头戴式耳机可检测到的受训者的物理存在(静止状态)和/或运动(例如，眼、头、手、手臂移动)和/或外科器械的检测。在这方面，受训者的身体部位和/或外科器械(包括可在外科手术中使用的辅助物品，诸如夹具、海绵和纱布)可提供有外加的(例如，临时粘贴上去的)传感器和/或允许对其存在(ID)和/或运动进行检测的其他基准。可通过计算机化导航系统使运动检测变得可跟踪或不可跟踪。
“静止图像/视频提示”包括来自外科手术像机(例如，腹腔镜、机器人等)的图像捕获和视频馈送。AR头戴式耳机也具有图像捕获和视频馈送功能，所述功能对外科手术系统培训软件程序产生输入。
提示接收器对模型提示和/或ID-运动提示和/或静止图像/视频提示的检测会生成信号，外科手术培训系统软件(提示接收器有线或无线连接到所述软件)被编程为将所述信号解释为模型在特定外科手术培训模块或会话的上下文内的具体措施和/或解剖参考点。
模型提示以与针对所述特定模型的软件编程相对应的方式策略性地定位在模型中或模型上。更具体地，可针对特定外科手术培训模块对软件进行编程。因此，可用模型上的指示针对所述特定外科手术培训模块的成功的外科手术的外科手术措施的有序(并且任选地，定时)序列对软件进行编程。模型中或模型上的一个或多个模型提示和/或ID-运动提示和/或静止图像/视频提示的类型和布置与针对特定外科手术会话的外科手术措施的已编程有序序列关联。如果受训者在模型上执行与如软件程序中标识的预期外科手术表现不一致的外科手术措施，则软件将检测任何此类偏离并且通过向受训者告知与预期外科手术方案的偏离来做出响应。
课程内容和/或其他信息可在检测到偏离时和/或在培训模块结束时自动生成并且被递送给受训者。
除了能够检测模型提示检测的已编程有序序列和/或定时的改变之外，模型提示和/或运动提示和/或图像捕获/视频提示可向软件提供以下信号，所述信号指示正在模型上执行的外科手术措施不符合所述培训模块的方案或者不满足所述措施的外科手术表现标准(例如，利用身体标记笔在模型上标记了错误的切口部位，较差地执行了切开、切除，或者外科器械或辅助物品的不恰当布置(诸如将海绵留在了模型中))。
系统因此可基于检测到的模型提示和/或ID-运动提示和/或图像捕获/视频提示来检测当前的外科手术培训状态，并且通过使对应的课程内容和/或其他信息显示或以其他方式提供给外科手术受训者来做出响应。可利用包括机器学习、深度学习和/或强化学习的直接视觉检测算法对软件进行编程，以开发各种提示检测功能。
另一方面，本发明提供计算机软件，其被编程来递送与受训者对外科手术培训模型的进度适时的课程内容。所述软件是基于算法决策树的，所述算法决策树为任何给定的外科手术培训会话或情形选择适当的内容。所述软件结构允许系统以任何期望的方式对内容递送给受训者的时间进行计时(包括根据需要在检测到输入之后立即计时)。所述系统可被编程为包括受训者在培训会话中的任何间隔的任选回放。
另一方面，本发明提供计算机软件，其对受训者检测到的活动进行汇总，并且为受训者所采取的各个步骤和/或外科手术培训模块的整个手术提供表现得分。例如，可基于新手与专家之间的表现差异，通过机器学习对来自上述提示的输出进行汇总和解释。软件还可被编程来计算表现得分或向受训者提供另外的教学以便改善未来的表现。
当结合附图考虑时，本发明的另外的目的、优点和新颖方面将在下面的描述中部分地列出，并且对于实践本发明的那些而言将部分地显而易见。
附图说明
通过结合附图参考以下对本发明的描述，本发明的上述和其他特征和优点以及实现它们的方式将变得显而易见且被更好地理解，其中：
图1A是示出外科手术受训者利用外科手术培训系统的实施方案的实例的本发明的实施方案的透视图；
图1B是示出提示输入、STSS、STSS数据库和输出的实施方案的流程图；
图1C是示出包括相邻器官传感器激活输出的实例的模型类型和针对每种模型类型的培训选项的实施方案的流程图；
图2A是外科手术体模模型的实例的局部平面图；
图2B是图2A的示出根据本发明的实施方案的模型上的标记的视图；
图3A是在图2B中看到的模型的局部平面图，并且其进一步示出根据本发明的实施方案的由外科手术受训者在模型上使用的外科器械；
图3B是图3A的示出根据本发明的实施方案的在制造切口的过程中的外科器械的视图；
图3C是图3B的示出根据本发明的实施方案的离开切口的模拟体液(例如，血液、胆汁、尿液等)的视图；
图4A是根据本发明的实施方案的具有模型提示的外科手术培训模型的局部视图，其中受训者将外科器械保持在模型上方；
图4B是图4A的示出根据本发明的实施方案的由外科器械外加的传感器的变形和激活的视图；
图5是根据本发明的实施方案的其中模拟肿瘤在被切除的过程中的外科手术模型的局部视图；
图6A是根据本发明的实施方案的具有模拟肿瘤的人肾的外科手术模型的局部平面图；
图6B是图6A的示出根据本发明的实施方案的切除的模拟肿瘤和定位在肾动脉上的临时夹具的视图；
图7是根据本发明的实施方案的外科手术培训过程的流程图；
图8是根据本发明的实施方案的外科手术培训过程的流程图；
图9是根据本发明的实施方案的使用神经网络培训计算机进行机器学习和深度学习的流程图；
图10是根据本发明的实施方案的使用机器/深度学习的实时对象/信号检测的流程图；
图11是根据本发明的实施方案的信号决策树和课程内容递送的流程图；
图12是根据本发明的实施方案的基于检测到的对象和信号的教学内容的流程图；
图13是根据本发明的实施方案的图像时戳和日志的流程图；并且
图14是根据本发明的实施方案的课程教学回放模式的流程图。
具体实施方式
最基本形式的外科手术培训系统包括外科手术模型、计算机(具有普通的计算机部件，例如包括但不必限于处理器、存储器、输入-输出接口、图形用户接口(GUI))等)、用于接收呈模型提示和/或ID-运动提示和/或静止图片/视频提示形式的数据输入的一个或多个“提示接收器”，以及在计算机处理器上运行的外科手术培训系统软件(“STSS”)。外科手术模型可以是存在于任何动物或人类类型中的任何器官和/或其他解剖部件。提示接收器可包括例如AR头戴式耳机、麦克风、数字相机、数字视频、电子传感器、实时时钟、触摸屏、计算机键盘、操纵杆、鼠标、轨迹球、图像扫描仪、图形板、覆盖键盘中的任何一种或组合。可在同一装置(例如，AR头戴式耳机)上提供多于一种类型的提示接收器。提示接收器将接收到的提示中继到STSS，所述STSS可通过一个或多个外科手术培训会话或模块进行编程。STSS被编程为接收并响应接收到的提示，从而生成适当的输出并且教导外科手术受训者在外科手术模型上执行外科手术。
参考图1，看到外科手术受训者10正戴着增强现实(AR)头戴式耳机12，并且正在外科手术模型14上操作(即，正在执行外科手术培训会话)，所述外科手术模型可具有任何期望的材料(例如，硅树脂、水凝胶等)。AR头戴式耳机12可包括下列一个或多个特征或其等效物，但优选为所有下列特征或其等效物：
带有透视光学器件的1080p DLP投影显示波导
WiFi和蓝牙连接
8兆像素相机
四核ARM CPU
右眼单眼
触觉反馈
语音控制
安卓5 OS
噪声消除麦克风
机载视频录制媒体
AR头戴式耳机12可有线或无线连接到具有图形用户接口(“GUI”)17的计算机，所述计算机可呈运行作为例如下载软件应用程序(“app”)的STSS 19的智能电话的形式。STSS也可远程托管在“云”21中，并且作为软件即服务(SaaS)提供给受训者。可使用任何其他类型的计算机，诸如平板电脑、膝上型电脑、台式电脑、虚拟台式电脑等，STSS可安装在所述计算机上或作为SaaS被访问。STSS 19可被编程来在装置17、监视器13和/或AR头戴式耳机12上向受训者呈现登录屏幕，其中受训者可具有受密码保护的数据文件，所述数据文件将存储受训者的外科手术培训会话数据以用于随后的检索和/或回放。STSS可连接到其他服务器和/或网络(诸如在21b处)，由此受训者的STSS文件可连接到例如在受训者的医学院服务器上托管的受训者的个人学生数据文件。这样，可记录受训者在模拟外科手术培训上花费的时间，以用于受训者的班级学分或其他目的。
STSS 19可被编程为包括不同外科手术培训会话中的一个或多个以供受训者选择，所述选择可通过语音命令或例如经由装置17上的GUI来完成。外科手术培训模型14可包括条形码14a等，所述条形码14a可由通过有线或无线连接而连接到计算机17的单独的条形码扫描仪23a或与计算机17成一体的扫描仪23b(例如，智能手机17上的扫描仪app)或所述计算机17上运行的STSS app来扫描，所述STSS app可操作来读取模型14上的条形码，并且由此标识受训者希望在上面进行培训的外科手术模型解剖类型。被编程到STSS中的每种外科手术模型类型可与受训者相关联并且向受训者显示适合于模型类型的一个或多个外科手术培训会话。例如，模型类型可被标识为肾，并且可在列表中向受训者呈现(例如，在媒体接口17、监视器13和/或AR头戴式耳机12上)匹配的外科手术培训会话选项，例如像(1)肿瘤切除；(2)肾结石去除；(3)血管破裂修复等。受训者可(例如，通过使用图形用户接口(GUI)和触摸屏、键盘或鼠标的手动输入和/或通过视觉方式(例如，眼跟踪)和/或语音命令)选择(输入)期望的外科手术培训会话，并且STSS被编程来通过启动受训者选择的STSS程序的外科手术培训会话来对输入做出响应。根据选择的培训会话，模型的某些传感器特征可由STSS自动激活(但不一定触发)，如下文进一步讨论的。
如上所述，诸如AR头戴式耳机12等提示接收器在外科手术培训会话期间的计算机输入可包括呈模型提示和/或ID-运动提示和/或静止图片/视频提示中的任何一种或组合形式的提示。各种提示输入在经由提示接收器被接收时由STSS进行分析，其中STSS通过生成呈对应的课程内容和/或其他有用信息(例如，检测到外科急症的警告、正在执行不安全的手术、由于违背方案而要遵循的修改或代替方案等)形式的输出做出响应。STSS输出可以期望的格式中的任何一种或组合提供，包括AR头戴式耳机12上和/或单独的视频监视器13上和/或手术培训室中的扬声器15上的音频输出和/或显示。例如，所生成的音频输出可以警报和/或言语教学的形式提供给受训者。这样，在此实施方案中，受训者在培训期间(实时)接收所生成的输出以供他们考虑，使得他们可了解他们的表现是否正确(一般而言，改进需要)和/或要求他们对外科手术方案本身实施改变，以纠正或解决对他们的表现所标识的任何问题。对于每个具体的外科手术培训会话，可将所生成的输出的形式和内容编程到STSS中。内容可呈存储在数据库11中的教育课程的形式。
参考图1B，看到对STSS的输入和所生成的输出的实例，其中受训者的教室课程内容被存储在数据库11中并且可由STSS 19访问。在此实例中，受训者制造了超过外科手术会话的阈值切口深度的切口的提示已经生成并且由STSS接收。STSS被编程来从数据库11生成具体的课程内容作为输出。在此实例中，超过切口深度阈值是与解剖学第2课和外科手段第3课相关的措施。因此，如框25所示，这些内容作为输出提供，并且受训者可在会话期间或会话之后阅读这些课程，以改进切口制造表现。
图1C例示框图，所述框图示出模型类型的扫描标识，其中STSS程序可为模型类型中的每一种提供多个外科手术会话选择。外科手术培训系统可包括两个或更多个模型，其中每个模型是不同的解剖模型类型。因此，软件培训程序可包括与每种模型类型相关的单独的外科手术会话程序。单独的外科手术会话程序还可包括至少两种交替的外科手术会话类型。受训者选择(例如，经由接口17)外科手术会话，并且用于所述模型和外科手术会话的某些传感器被标识为将在所述特定培训会话期间使用的传感器。例如，如果受训者扫描肾模型，则STSS呈现肾模型的可用外科手术会话的列表，在此实例中为“肿瘤切除”或“活组织检查”。受训者选择(例如，经由接口17)模型培训会话，这使STSS启动所选择会话的程序。如上所述，外科手术模型和会话可具有用于特定外科手术模型和所选择会话的一组独特的传感器。在膀胱模型实例中，受训者可选择经尿道切除或取石培训会话。经尿道切除的选择可激活传感器A和D至F(例如，经由传感器的固件(如果存在)使它们通电至“就绪”状态)，因为这些传感器是与执行所述特定外科手术会话相关联的传感器。相反，如果受训者选择取石会话，则激活与所述特定外科手术会话相关联的一组传感器，在此实例中为传感器A至C和E。例如，如果所选择模型是包括乳房、肋骨、肺和心脏模型的胸廓模型，则将向受训者呈现乳房再造和血管成形术的外科手术会话选项。如果受训者选择“乳房再造”，则将激活与所述手术相关联的一组传感器，包括肺传感器D和F以及乳房传感器K至M。相邻模型中的传感器对于指示受训者是否正在错误地侵入相邻模型结构的空间(例如，在对乳房进行作业时穿刺肺)可能很重要。因此，如图1C的框31所示，外科手术受训者已将胸廓(模型类型C)扫描到STSS中，这向受训者提供执行乳房再造或血管成形术的选项。外科手术受训者在框33处选择乳房再造培训会话，这启动STSS的特定培训会话程序。在外科手术培训会话期间，如果受训者错误地切入并穿刺肺，则肺传感器D经由提示接收器向STSS发送信号，并且STSS被编程来通过在肺穿刺的AR头戴式耳机中向受训者提供可呈视觉告警消息形式的输出做出响应，并且需要采取补救措施。STSS还可提供来自数据库11的对应于肺穿刺的课程内容作为输出。输出可以任何期望的格式提供并且在任何媒体上(例如，在监视器13上、在打印机9上打印和/或以数字方式存储在计算机17的存储器中，或者在单独的存储器存储装置(诸如记忆棒7)上，以供受训者随后检索等)。
在图2A和图2B中看到外科手术培训会话的实例，其中在腹腔镜式或机器人外科手术培训会话开始时看到人腹部16的外科手术体模模型。端口位置由附图标号18a至18d指定，并且表示将由受训者在培训会话期间在腹壁(端口)中形成的开口的位置。躯干肚脐或种脐由附图标号20表示，并且提供用于在3D空间中建立模型的总体取向的参考点(基准)。在此外科手术培训会话实例中，受训者由STSS经由AR头戴式耳机12中的音频和/或视觉显示引导和/或由单独的教学(例如，可以言语或书面形式)引导以与肚脐20相邻放置第一种脐端口18a。受训者10可由STSS进一步引导以实现种脐端口18a的恰当布置，所述STSS可被编程来使AR头戴式耳机12叠加端口18a在外科手术模型16上应放置的位置的图像。端口18a的布置使提示(例如，通过检测模型外观、受训者运动、表面或嵌入式传感器的改变)被检测到，从而触发对提示接收器(诸如AR头戴式耳机12)的输入(例如，电子信号)的生成。AR头戴式耳机12(提示接收器)将信号中继到STSS，所述STSS被编程来分析输入并且确定所述输入是否指示受训者执行了端口18a的恰当布置。如果是，则如下面进一步解释的，受训者接着可由STSS指导以将第二端口18b放置在条形码22所指定的位置。尽管为了便于描述在图2B中示出条形码22，但是应理解，可使用可由提示接收器(例如，AR头戴式耳机12)感测到的任何类型的模型提示，所述模型提示对人眼可能可见或可能不可见。此类指示器包括例如隐形油墨，所述隐形油墨可由AR头戴式耳机12检测到，但是受训者即使在戴着AR头戴式耳机12时也检测不到。这可能是期望的，因为这将要求受训者在躯干上找到恰当的端口位置，而无需可通过视觉或其他指示器立即标识。在这种情况下，可通过STSS简单地指导受训者放置第二端口，而无需显示所述第二个端口应当放置的位置。端口位置18b处的不可见模型提示或诸如静止图像/视频提示等其他提示可用于检测受训者是否将端口放置在正确的位置。
如上所述，如果期望向受训者显示恰当的端口位置，则STSS可能产生端口在受训者的AR头戴式耳机中的腹部图像，或者将端口位置的图像覆盖到外科手术模型上。AR头戴式耳机通过诸如表面标记等任何期望的提示(诸如通过扫描条形码22或其他基准(诸如肚脐20))识别端口位置18b的正确位置。同样，这可能与模型中的轻微颜色改变或人可见光谱以外的外加油墨或其他着色剂的使用一样微妙，以防止受训者过分依赖实际手术中可能不会出现的此类标记。
在第二端口18b被正确地放置之后，如由适当的提示所检测到的(所述适当的提示中继它们接收的数据作为对STSS的输入(请参见上面的讨论))，由STSS经由AR头戴式耳机12引导受训者将第三端口18c放置在位置24处，所述第三端口18c可包括可由AR头戴式耳机12检测到的任何期望的形式的提示，包括例如如上所述的模型上的条形码的形式，或者可嵌入或可不嵌入模型(并且因此人眼不可见)中的传感器的形式。传感器(例如，压力传感器)在激活时可生成由AR头戴式耳机12检测到的信号，所述信号向STSS告知第三端口18c已经被恰当地放置，所述STSS被编程来通过向受训者生成指导(例如，通过在AR头戴式耳机12和/或监视器13和/或扬声器15中发出文本和/或言语教学)做出响应，以将第四端口放置在18d处。在完成腹腔镜培训手术(如提示所检测到的)并且将其中继到STSS之后，STSS可指导受训者从模型(例如，模拟肿瘤)中去除标本，并且指导受训者在26处产生切口。
现在参考图3A至图3C，本发明的另一方面可包括使用受训者的进度的图像识别来通过STSS指导外科手术培训会话。在图3A中，呈手术刀30形式的外科器械被示出为在外科手术模型表面32上方(为清楚起见，在图3A至图3C中未示出受训者的手)。AR头戴式耳机12和STSS可被编程来(例如，经由AR头戴式耳机12)接收并且分析(处理)模型表面32、受训者手(未示出)和手术刀30的相对位置数据，并且向受训者提供关于受训者针对手头任务(例如，产生切口以进行肿瘤切除)是否在正确取向上持有手术刀30的信息(输出)。
受训者通过使用手术刀30在模型表面32中切割切口34来进行外科手术模拟会话。AR头戴式耳机和STSS可被编程来基于诸如视觉外观和/或基准参考的提示计算切口34的长度和/或深度。例如，提示可以在模型“皮肤”表面上检测到的1cm方形基准的形式提供，并且其中STSS可被编程来基于切口相对于基准的视觉检测计算距离。另选地，呈电子传感器形式的模型提示可间隔开一定距离，并且按线性或曲线顺序检测到的传感器数量对于STSS可用于计算距离(切口的长度)。
深度(从模型表面到模型主体中的距离)可由视频提示和/或运动提示基于已经延伸到模型的上表面下方或“消失”到模型中的手术刀的数量提供。在这种情况下，手术刀刀片是视觉提示并且由AR头戴式耳机12检测，所述AR头戴式耳机12可检测已经消失到模型中的刀片的百分比并且将其中继到STSS。如果STSS计算出切口34尚未被正确执行(例如，其不满足切口深度的最小编程阈值)，则STSS可被编程来使用此数据计算切口深度，并且向受训者提供适当的教学。
在图3C中，模型表面32可包括模拟体液(诸如模拟血液)，其被放置成使得其可从切口34流动。STSS可被编程来基于例如从模型表面32(例如，肤色)检测到的颜色差异(例如，对于血为红色)来识别此模拟出血36，并且向受训者提供适当的教学，例如像“使用吸力”或“保持压力”。
图4A和图4B例示呈压力传感器38形式的传感器的实例，所述传感器可操作来检测压力，软件编程将所述压力与受训者进度和表现关联。应注意，虽然在此实例中使用了压力传感器，但是应理解，可使用任何类型的传感器，包括例如应变传感器、流量传感器等。例如，受训者的手10a正持有切入模型表面32(图4B)的手术刀30(图4)。在图4A中可看到传感器处于其休眠状态。如图4B可见，传感器38可由压抵其的外科器械检测到，所述传感器38生成使STSS经由AR头戴式耳机或其他HCI(人机接口)向受训者提供某些教学的信号。当受训者经由手术刀30对传感器38施加压力时，传感器38将信号发送到提示接收器，所述提示接收器将信号中继到STSS，从而使STSS生成呈向受训者提供外科手术中的下一组教学形式的输出，例如像呈视觉和/或音频格式的“放置自保持牵开器”。传感器38还可测量由受训者使用手术刀对其施加的力并且将其传输给提示接收器和STSS。STSS可比较从传感器38接收的力值并且将所述值与预设力阈值进行比较。如果感测到的力值在可接受阈值之外，则STSS可通过向受训者生成此信息的输出来做出响应，同时带有关于受训者如何校正和/或改善表现的其他教学的选项。
图5例示根据本发明的实施方案的用于涉及肿瘤切除的外科手术培训会话的外科手术模型的实例。在此实例中，各种传感器被采用来基于感测到的受训者的表现度量来推动受训者课程内容。关于外科手术体模模型40的受训者(未示出)外科手术培训会话引导受训者切除带有供血血管44的肿瘤42。当受训者切除肿瘤42时，血管44被切割，从而释放模拟血液46。模拟血液46开始填充切除腔48，所述切除腔48由传感器50a和50b感测。应注意，传感器可如图所示策略地定位，使得它们可顺序地检测血液填充腔48的量。例如，传感器50a而非传感器50b或50c的触发可指示腔48中“n”立方厘米(“cc”)血液的存在。随着更多的血液进入腔48，传感器50b被触发，其指示“n+1”cc血液的存在。随着更多的血液进入腔48，传感器50c被触发，其指示空腔48中的“n+2”cc血液。可在模型中策略性地放置任何数量的传感器以检测血液量的增加。根据所采用的传感器的类型和感测范围，可选择传感器以便使其仅在与模拟血液物理接触时被激活，或者可每当模拟血液在传感器的预定距离内时被激活，从而警告受训者出血可能会加剧。
可进行STSS编程，使得其基于在具体培训会话或其任何段期间哪一和/或多少传感器被激活和/或传感器的次序来选择信息以提供给受训者。在图5所示的实例中，模拟血液46已经达到传感器50b的水平，这可提示STSS向受训者提供教学以更好地利用吸入管52。如果模拟血液46达到传感器50c的水平，则STSS编程可例如通过提供受训者文本(例如，经由AR头戴式耳机12)和/或语音消息(例如像：“正在发生大量失血——警告麻醉师存在活动性出血。”)向受训者提供教学。海绵51也可被示出为具有传感器53。如果受训者使用海绵51并且在闭合切口时将其留在模型内，则传感器53将向STSS发出信号，所述信号将警告受训者海绵已被留在模型内。STSS还可将与手术中的此错误关联的课程内容从数据库11递送到受训者。
如果模型中存在多个器官，则可在相邻器官内提供传感器以向受训者告知他/她是否损坏或错误地进入了相邻器官的周围空间。例如，如以上参考图1C所讨论的，如果培训会话是关于乳房模型，则肺模型可相对于乳房定位在解剖学上正确的位置。穿刺肺被认为是外科急症。因此，肺可设置有传感器，所述传感器在受训者有意或无意地刺穿肺时激活。在这种传感器激活时，STSS可发出肺穿刺的文本和/或声音警告，同时带有或不带有其他教学以供受训者采取纠正措施。如果要采取纠正措施，则可对这种措施进行分析和定时(例如，通过视频和/或其他提示)，以确定受训者是否根据STSS编程的已接受外科手术纠正措施方案采取措施。
STSS编程可指导受训者在会话期间的任何时间继续培训会话。例如，编程可向受训者提供教学以使用吸入管52和镊子54收回肿瘤42。当受训者使用吸入管52和/或镊子54收回肿瘤时，嵌入在肿瘤42中的压力传感器56可被按压并且因此被激活。STSS编程可包括指示正确的收回压力的阈值压力值。如果基于来自肿瘤压力传感器56的低信号而发生不充分的收回，则STSS可向受训者提供警告，例如，以使用吸入管52执行更多的收回。
此肿瘤切除培训会话可在STSS中进行编程，以要求结扎血管44作为去除肿瘤的手术的一部分。当传感器58感测到阈值压力时，STSS编程将识别血管的结扎。如果缝合线放置在血管44周围但不够紧密，则STSS编程可指导受训者重放或收紧缝合线，以防止例如进一步出血。
图6A和图6B例示旨在用于肾肿瘤切除培训的外科手术体模模型60中提供的模型提示的实例。STSS编程通过(例如，利用形成AR头戴式耳机12的一部分的条形码阅读器或利用诸如图1中所见的23a或23b的单独的条形码扫描仪)扫描条形码62来标识肾肿瘤模型60。条形码62可使STSS编程提供与具体外科手术培训会话(在此实例中为肾肿瘤切除)相匹配的受训者课程内容。应注意，条形码62是模型类型标记的许多可能的实例中的一种(如模型提示)。如上文所讨论的，传感器可检测标记的其他实例包括标记与模型基材和/或油墨或人可见光谱之外的其他着色剂之间的细微颜色差异，以便防止受训者注意到所述标记而可能会在其他方面产生不切实际的培训体检，因为此类标记将不会出现在实际的外科手术中。
可由STSS编程通过肿瘤64与围绕肿瘤64的肾模型基材60之间的感测到的色差来标识模拟的肾肿瘤64及其边界。肾模型60的边缘(在真实的肾中通常被脂肪覆盖)具有独特的标记，所述标记被检测到并且向STSS编程告知肾的这一部分已经暴露。受训者被要求在手术期间评估整个肾，以确保没有遗漏任何病变或其他异常。STSS将指导受训者“揭开”或“暴露”肾，直到STSS编程检测到标记66为止。
在肿瘤64的切除期间，受训者必须标识肾动脉68a和肾静脉68b。STSS编程向受训者提供教学以将临时夹具70仅放置在动脉68a上。如果放置不正确(如由模型提示和/或ID-运动提示和/或静止图像/视频提示中的任一者或多者检测到)，则STSS编程可向受训者提供夹具未恰当放置的指示和/或指导受训者将夹具70移动到正确位置。例如，如果受训者将夹具放置在静脉68b上，则此行为将被检测到(例如，通过放置在静脉68b中或静脉68b上的传感器或通过相机的视觉输入)，并且STSS编程将其标识为医疗急症，因为放置在静脉上将导致肾中有血液流入而无血液流出，从而可能引起肾爆裂。此外，正确的夹具位置垂直于血管，并且夹具的尖端应与血管的边缘交叉。视觉检查(例如，夹具与血管之间的色差)可允许STSS评估夹具相对于动脉的任何重叠和相对定位。
参考图6B，残余的肿瘤由附图标号64’指示。STSS编程可基于诸如与周围区域的剩余颜色差异等视觉数据(例如，静止图像/视频提示)来识别残余的肿瘤64'。然后，STSS编程可指导受训者继续进行肿瘤切除，直到去除所有残余的肿瘤64'为止。在残余的肿瘤64'被完全去除之后，如接收到的提示所识别(例如，在视觉数据中看不到任何剩余颜色差异)，STSS编程可接着指导受训者继续进行培训会话并且移除临时夹具70以恢复流向肾的血流。
图7例示使用易得的机器学习软件来培训STSS的过程。STSS培训是一种脱机过程，其通过以下方式执行：获取感兴趣提示(例如，缝合线质量)以通过使用机器学习软件来标识(例如，缝合质量)以进行图像处理培训。
在图8中，如图7所见生成的预处理图像特性数据由现场可编程门阵列(FPGA)中的多个(通常为数百个)GPU(通用处理单元)和/或多个应用专用数字逻辑元件和/或应用专用集成电路(ASIC)实时用于提供图像是特定对象还是图像特性的可能性的概率估计。这种实时图像处理方法允许使用由STSS解释的提示来标识外科手术进展，并且提供适当的教学以在模拟活动期间提供培训。在此实例中，提示是用户的手，并且器械是提示。分析对象的类型和使用对象的技术两者，然后在认为必要时通过计算机进行校正。
图9是根据本发明的实施方案的使用神经网络培训计算机进行机器和深度学习的流程图。切口间隔用作检测用户技术的实例。第一个框表示对提示接收器的输入(来自AR头戴式耳机视频的图像堆栈)。神经网络基于习得的图像数据库对缝合线样式进行分类，并且确定缝合线之间的间隔距离。将间隔与新手/专家使用数据进行比较，并且输出为表现得分，诸如百分位数。可接受的缝合线间隔和误差的设定阈值接着提示STSS向用户告知缝合线质量和可接受性。
图10是根据本发明的实施方案的使用机器/深度学习的实时对象/信号检测的流程图；
图11例示决策树，所述决策树描绘在多个GPU、ASIC和/或FPGA上并行运行以标识感兴趣区域(AOI)中的“Y”个对象/信号的图9的过程的“N”个实例，所述实例可由STSS用来生成各种系统输出和提示。另外，可对图像进行分类和评分，以用于度量和品质因数。例如，已知诸如缝合线间隔、伤口间隙的属性或其他外科手术属性对于改善外科手术疗效将是期望的。例如，品质因数可以是优秀、良好、中等和差。此处理以帧速率“M”迭代执行，对于模拟图像和/或信号通常以30至100Hz的帧速率运行。在每一帧期间，利用机器学习执行对象检测，之后进行基于检测到的对象来显示/通告教学内容的过程。接下来，对分类的对象和信号印时戳，并且将其存储在数据库中，以进行后期手术教学回放。最后，将运行“时间熔固器”任务，所述任务将占用未使用的处理时间，并且以每秒M帧的速率使处理同步。
图12例示如何在AR头戴式耳机12上呈现教学以提示受训者进行外科手术的下一步。基准和/或条形码用于估计检测到的对象在外科手术视野内的位置。在信号/对象检测阶段期间检测到的对象可覆盖在感兴趣区域的图像上，并且在AR头戴式耳机12上显示，以供受训者10观看。例如，如果外科手术受训者正在学习缝合，则可呈现覆盖，从而显示他们的缝合技术的瞬时得分或品质因数。例如，受训者可通过HCI提供语音提示输入，诸如“使教学推进到下一步”。另外，机器学习还可检测受训者在培训会话的特定阶段是否正在使用正确的器械，并且提示受训者使用正确的器械。
图13例示日志图像/信号，所述日志图像/信号将时戳放在检测到的对象上，并且将所述对象存储在数据库中，以供稍后在回放/汇报模式期间进行检索。
图14例示教学回放模式，所述教学回放模式使用物理模拟器官和时间同步的AR视频/音频/信号从时戳数据库中检索培训会话。可在培训会话的任何部分以与受训者互动的方式开始回放。例如，用户可随意暂停回放，在培训会话期间跳到具体时间，跳到检测到的对象的下一个实例或结束回放会话。报告将在录制/回放会话结束时生成，并且可包括度量、得分和最终报告记录。
尽管已经参考本发明的某些优选的实施方案示出并描述了本发明的设备/方法和系统，但是本领域的技术人员将理解，可在不脱离如所描述的本发明的精神和范围的情况下对形式和细节进行各种改变。

Claims (22)

1.一种外科手术培训系统，其包括：
a)人或动物的解剖部分的模型；
b)附接到所述模型的一个或多个传感器，所述一个或多个传感器可操作来响应于接收到激活输入而发射信号；
c)具有一个或多个电子和/或光学输入和输出信道的增强现实头戴式耳机，所述增强现实头戴式耳机适于从所述一个或多个传感器接收电子信号；
d)计算机处理器，所述计算机处理器可操作来从所述增强现实头戴式耳机和/或所述一个或多个传感器接收信号；
e)具有外科手术培训课程的计算机数据库，所述外科手术培训课程在其中存储有一个或多个单独的外科手术主题成分；以及
f)在所述计算机处理器上运行并且连接到所述数据库的软件程序，所述软件程序可操作来将所述一个或多个传感器信号与所述一个或多个单独的外科手术主题成分关联，所述软件程序可进一步操作来提供与接收到的信号关联的所述单独的外科手术主题成分作为输出。
2.如权利要求1所述的外科手术培训系统，其中所述一个或多个传感器包括嵌入在所述模型内并且在将开口切入所述模型中时暴露的两个或更多个传感器，所述一个或多个传感器可操作来响应于与在所述开口内流动的流体接触而发射信号。
3.如权利要求2所述的外科手术培训系统，其中两个或更多个传感器定位在所述模型内的不同深度处，并且可操作来通过依次激活所述传感器来感测增加的流体流动。
4.如权利要求3所述的外科手术培训系统，其中所述软件程序可操作来将所述两个或更多个传感器中的每一个与流体的容积量关联，其中所述传感器中的每一个与流体的不同容积量关联。
5.如权利要求4所述的外科手术培训系统，其中所述软件程序可操作来响应于流体的所述容积量达到或超过预定阈值而提供所述受训者可感知的输出。
6.如权利要求5所述的外科手术培训系统，其中所述输出是声音警报或文本消息中的一者或多者。
7.如权利要求6所述的外科手术培训系统，其中所述输出是在所述增强现实头戴式耳机中可见的文本。
8.一种外科手术培训系统，其包括：
a)人或动物的解剖部分的模型，所述模型具有一个或多个提示；
b)提示接收器，所述提示接收器可操作来从所述模型接收一个或多个提示，所述提示接收器可操作来响应于接收到提示而生成信号；
c)计算机处理器，所述计算机处理器可操作来从所述提示接收器接收信号；
e)具有外科手术培训课程的计算机数据库，所述外科手术培训课程在其中存储有一个或多个单独的外科手术主题成分；以及
f)在所述计算机处理器上运行并且连接到所述数据库的软件程序，所述软件程序可操作来将所述一个或多个接收到的信号与所述一个或多个单独的外科手术主题成分关联，所述软件程序可进一步操作来提供与接收到的信号关联的所述单独的外科手术主题成分作为输出。
9.如权利要求8所述的外科手术培训系统，其中所述提示接收器是具有以下中的一者或多者的增强现实头戴式耳机：
a)带有透视光学器件的投影显示波导；
b)WiFi和蓝牙连接；
c)相机；
d)中央处理单元；
e)单眼；
f)双眼；
g)触觉反馈；
h)语音控制；
i)操作系统；
j)噪声消除麦克风；以及
k)机载视频录制媒体。
10.如权利要求8所述的外科手术培训系统，其中所述提示接收器是数字静态相机和/或摄相机。
11.如权利要求8所述的外科手术培训系统，其中所述提示是附接到所述模型的条形码，并且所述提示接收器是条形码扫描仪。
12.如权利要求8所述的外科手术培训系统，其中所述软件程序被提供为软件即服务。
13.如权利要求8所述的外科手术培训系统，其中所述输出被提供在计算机监视器上。
14.如权利要求9所述的外科手术培训系统，其中所述输出被提供在所述增强现实头戴式耳机上。
15.如权利要求8所述的外科手术培训系统，并且其还包括所述模型中的两个或更多个，其中每个模型是不同的解剖模型类型，并且其中所述软件程序包括与所述模型类型中的每一个关联的单独的外科手术会话程序。
16.如权利要求15所述的外科手术培训系统，其中所述单独的外科手术会话程序包括至少两种交替的外科手术会话类型。
17.如权利要求16所述的外科手术培训系统，其中所述解剖部分是具有心脏和肺模型的胸廓。
18.如权利要求8所述的外科手术培训系统，其中所述解剖部分包括至少两个模型，并且其中所述软件程序被编程来响应于从所述模型中的任一者接收到信号而提供输出。
19.如权利要求16所述的外科手术培训系统，其中所述模型类型是肾，并且所述外科手术会话类型包括肿瘤切除外科手术会话和活组织检查会话。
20.一种外科手术培训系统，其包括：
a)人或动物的解剖部分的模型；
b)附接到所述模型的一个或多个传感器，所述一个或多个传感器可操作来响应于接收到激活输入而发射信号；
c)计算机处理器，所述计算机处理器可操作来从所述一个或多个传感器接收信号；
e)具有外科手术培训课程的计算机数据库，所述外科手术培训课程在其中存储有一个或多个单独的外科手术主题成分；以及
f)在所述计算机处理器上运行并且连接到所述数据库的软件程序，所述软件程序可操作来将所述一个或多个接收到的传感器信号与所述一个或多个单独的外科手术主题成分关联，所述软件程序可进一步操作来提供与接收到的信号关联的所述单独的外科手术主题成分作为输出。
21.如权利要求20所述的外科手术培训系统，其中所述传感器是接近传感器，并且所述激活输入由邻近于所述传感器定位的外科器械提供。
22.一种用于对动物或人的模拟解剖模型执行模拟外科手术培训会话的方法，所述方法包括以下步骤：
a)提供动物或人的模拟解剖模型；
b)提供连接到数据库的计算机，所述数据库具有与所述模拟解剖模型关联的教育课程；
c)提供一个或多个提示接收器，所述一个或多个提示接收器可操作来向所述计算机发送信号；
d)在所述计算机上提供软件，所述软件编程有与所述解剖模型关联的一个或多个外科手术培训会话模块，所述软件被编程来访问所述数据库并且响应于从所述提示接收器接收信号而提供所述教育课程作为人可感知的输出。
CN201980059881.5A 2018-07-18 2019-07-18 外科手术培训设备、方法和系统 Pending CN112822989A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/039,025 2018-07-18
US16/039,025 US10410542B1 (en) 2018-07-18 2018-07-18 Surgical training apparatus, methods and systems
PCT/US2019/042470 WO2020018834A1 (en) 2018-07-18 2019-07-18 Surgical training apparatus, methods and systems

Publications (1)

Publication Number Publication Date
CN112822989A true CN112822989A (zh) 2021-05-18

Family

ID=67845378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980059881.5A Pending CN112822989A (zh) 2018-07-18 2019-07-18 外科手术培训设备、方法和系统

Country Status (9)

Country Link
US (4) US10410542B1 (zh)
EP (1) EP3823549A4 (zh)
JP (1) JP7453693B2 (zh)
KR (1) KR20210022135A (zh)
CN (1) CN112822989A (zh)
AU (1) AU2019307937A1 (zh)
CA (1) CA3106659A1 (zh)
IL (1) IL280233B (zh)
WO (1) WO2020018834A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768565A (zh) * 2021-10-08 2021-12-10 巢湖市宾雄医疗器械有限公司 一种医用缝合针便携存放拿取装置及其存放方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487353B2 (en) * 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
CA3049148A1 (en) * 2017-01-24 2018-08-02 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
US11227439B2 (en) * 2018-03-29 2022-01-18 Eon Reality, Inc. Systems and methods for multi-user virtual reality remote training
US10410542B1 (en) 2018-07-18 2019-09-10 Simulated Inanimate Models, LLC Surgical training apparatus, methods and systems
EP3837535B1 (en) * 2018-09-19 2024-04-17 Edwards Lifesciences Corporation Medical implant inspection using imaging
US11349843B2 (en) * 2018-10-05 2022-05-31 Edutechnologic, Llc Systems, methods and apparatuses for integrating a service application within an existing application
US11107371B2 (en) 2019-05-24 2021-08-31 Sharp Medical Products—Chest Tube, LLC. Rib training assembly
US20220021863A1 (en) * 2020-07-14 2022-01-20 Chad Lee Methods and systems for facilitating population of a virtual space around a 2d content
EP4057181A1 (en) 2021-03-08 2022-09-14 Robovision Improved detection of action in a video stream
CN112773513A (zh) * 2021-03-13 2021-05-11 刘铠瑞 一种病变阑尾切除手术专用病理标本制作器械包
US11501502B2 (en) * 2021-03-19 2022-11-15 International Business Machines Corporation Augmented reality guided inspection
KR102414213B1 (ko) * 2021-08-19 2022-06-30 (주)리얼디멘션 인공관절수술 시뮬레이션 시스템
WO2023069782A1 (en) * 2021-10-23 2023-04-27 Simulated Inanimate Models, LLC Procedure guidance and training apparatus, methods and systems
WO2023235747A2 (en) * 2022-05-31 2023-12-07 The Board Of Supervisors Of Louisiana State University And Agricultural And Mechanical College Modular anatomical system
CN115359873B (zh) * 2022-10-17 2023-03-24 成都与睿创新科技有限公司 用于手术质量的控制方法

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038141A1 (en) * 1998-01-26 1999-07-29 Simbionix Ltd. Endoscopic tutorial system
US20030135203A1 (en) * 2002-01-16 2003-07-17 Yulun Wang Minimally invasive surgical training using robotics and tele-collaboration
US20050181342A1 (en) * 2000-10-23 2005-08-18 Toly Christopher C. Medical training simulator including contact-less sensors
CN1745404A (zh) * 2002-12-31 2006-03-08 罗伯特·里纳 三维模型的互动教学装置
US20060178559A1 (en) * 1998-11-20 2006-08-10 Intuitive Surgical Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US20090326553A1 (en) * 2008-06-27 2009-12-31 Intuitive Surgical, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US20120082970A1 (en) * 2010-10-01 2012-04-05 Applied Medical Resources Corporation Portable laparoscopic trainer
CN103299355A (zh) * 2010-11-04 2013-09-11 约翰霍普金斯大学 用于微创手术技能的评估或改进的系统和方法
WO2015027286A1 (en) * 2013-09-02 2015-03-05 University Of South Australia A medical training simulation system and method
EP2996105A1 (en) * 2014-09-12 2016-03-16 Universita Di Pisa Augmented reality surgical simulator, particularly for deformable anatomical structures
US20160210882A1 (en) * 2014-12-29 2016-07-21 Help Me See Inc. Surgical Simulator System and Method
CN106030683A (zh) * 2013-12-20 2016-10-12 直观外科手术操作公司 用于医疗程序培训的模拟器系统
US20160314712A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and associated methods
US20160343273A1 (en) * 2015-05-19 2016-11-24 Mako Surgical Corp. System and method for demonstrating planned autonomous manipulation of an anatomy
WO2017139894A1 (en) * 2016-02-16 2017-08-24 Goyal Mayank Systems and methods for routing a vessel line such as a catheter within a vessel
US20170325901A1 (en) * 2016-05-12 2017-11-16 Affera, Inc. Anatomical model controlling
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
EP3288009A1 (en) * 2016-08-23 2018-02-28 Virtamed AG Low-resistance anatomical tissue model
US20180098813A1 (en) * 2016-10-07 2018-04-12 Simbionix Ltd. Method and system for rendering a medical simulation in an operating room in virtual reality or augmented reality environment
CN107993501A (zh) * 2017-12-04 2018-05-04 菏泽学院 一种人体解剖教学系统
US20180144662A1 (en) * 2016-11-22 2018-05-24 PraxiCut, LLC Surgical simulation systems, methods, and compositions

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5279309A (en) 1991-06-13 1994-01-18 International Business Machines Corporation Signaling device and method for monitoring positions in a surgical operation
US5610811A (en) * 1992-11-09 1997-03-11 Niti-On Medical Supply Co., Ltd. Surgical instrument file system
US6474993B1 (en) 1996-12-04 2002-11-05 Erbe Elektromedizin Gmbh Artificial tissue
GB9712987D0 (en) 1997-06-19 1997-08-27 Limbs & Things Ltd Surgical training apparatus
JPH11197159A (ja) * 1998-01-13 1999-07-27 Hitachi Ltd 手術支援システム
FR2810552B1 (fr) 2000-06-26 2004-11-19 Univ Paris Curie Polymere biocompatible a structure tridimensionnelle a cellules communicantes, procede de preparation et application en medecine et en chirurgie
GB2385194B (en) 2000-09-06 2004-12-15 Chamberlain Group A cardiac surgical trainer and method for making same
US6780016B1 (en) 2000-10-23 2004-08-24 Christopher C. Toly Human surgical trainer and methods for training
US6596402B2 (en) 2000-12-29 2003-07-22 Kimberly-Clark Worldwide, Inc. Absorbent, lubricious coating and articles coated therewith
AU2002309026A1 (en) 2002-05-01 2003-11-17 Hokkaido Technology Licensing Office Co., Ltd. Gel having multiple network structure and method for preparation thereof
US20050100873A1 (en) 2003-05-02 2005-05-12 Meythaler Jay M. System for simulating cerebrospinal injury
US7850456B2 (en) 2003-07-15 2010-12-14 Simbionix Ltd. Surgical simulation device, system and method
US20050037082A1 (en) 2003-08-13 2005-02-17 Wan-Kei Wan Poly(vinyl alcohol)-bacterial cellulose nanocomposite
US7083418B2 (en) 2003-10-16 2006-08-01 Baldy By Design, Llc Pediatric congenital heart defect repair model
US20060209019A1 (en) * 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
TW200632801A (en) 2004-10-08 2006-09-16 Univ Utah Res Found System for supervised remote training
US8465771B2 (en) 2005-03-30 2013-06-18 The University Of Western Ontario Anisotropic hydrogels
US20140322688A1 (en) 2006-03-03 2014-10-30 EBM Corporation System for evaluating cardiac surgery training
US8403676B2 (en) 2006-05-19 2013-03-26 Olympus Endo Technology America Inc. Anatomical model
WO2008058039A1 (en) 2006-11-06 2008-05-15 University Of Florida Research Foundation, Inc. Devices and methods for utilizing mechanical surgical devices in a virtual environment
US20100047752A1 (en) 2006-12-21 2010-02-25 Koninklijke Philips Electronics N.V. Anatomically and functionally accurate soft tissue phantoms and method for generating same
US20090246747A1 (en) 2008-03-25 2009-10-01 Operative Experience, Inc. Simulator for major surgical operations
WO2010126018A1 (ja) 2009-04-28 2010-11-04 有限会社聖和デンタル 臓器モデル
US20100311025A1 (en) 2009-06-09 2010-12-09 The Government Of The Us, As Represented By The Secretary Of The Navy Material Formulations for Human Tissue Simulation
EP2449544B1 (en) 2009-06-29 2018-04-18 Koninklijke Philips N.V. Tumor ablation training system
US8870576B2 (en) 2009-09-22 2014-10-28 The University Of Western Ontario Surgical training aids and methods of fabrication thereof
DE102010020222A1 (de) 2010-05-11 2011-11-17 Axel Haverich Verfahren zur Herstellung einer Organnachbildung, insbesondere eines Funktionsmodells
US8613621B2 (en) 2010-07-15 2013-12-24 Colorado State University Research Foundation Simulated tissue, body lumens and body wall and methods of making same
CN202003575U (zh) 2011-01-20 2011-10-05 中国人民解放军第三军医大学第一附属医院 仿真人体模型腹腔镜技能训练装置
CA2852269C (en) 2011-10-21 2022-02-22 Applied Medical Resources Corporation Simulated tissue structure for surgical training
US8801438B2 (en) 2011-11-23 2014-08-12 Christopher Sakezles Artificial anatomic model
WO2013096632A1 (en) 2011-12-20 2013-06-27 Applied Medical Resources Corporation Advanced surgical simulation
US8992230B2 (en) * 2012-01-23 2015-03-31 Virtamed Ag Medical training systems and methods
US9123261B2 (en) * 2012-01-28 2015-09-01 Gaumard Scientific Company, Inc. Surgical simulation models, materials, and methods
US20130288218A1 (en) 2012-04-27 2013-10-31 Medtronic Cryocath Lp Cardiac model for simulating medical procedures
JP5236103B1 (ja) 2012-07-13 2013-07-17 株式会社ジェイ・エム・シー 臓器モデルの製造方法、臓器モデル製造用の型、及び臓器モデル
US20140081652A1 (en) * 2012-09-14 2014-03-20 Risk Management Solutions Llc Automated Healthcare Risk Management System Utilizing Real-time Predictive Models, Risk Adjusted Provider Cost Index, Edit Analytics, Strategy Management, Managed Learning Environment, Contact Management, Forensic GUI, Case Management And Reporting System For Preventing And Detecting Healthcare Fraud, Abuse, Waste And Errors
WO2014059533A1 (en) * 2012-10-19 2014-04-24 The Hospital For Sick Children System, method and computer program for training for ophthalmic examinations
EP2797068B1 (en) 2013-04-24 2020-08-26 Tallinn University of Technology Anatomical kidney phantom with calyxes for drainage training in interventional radiology
AU2014265412B2 (en) 2013-05-15 2018-07-19 Applied Medical Resources Corporation Hernia model
DE102013214402A1 (de) 2013-07-23 2014-09-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Organphantom
KR20160110973A (ko) 2014-01-23 2016-09-23 가부시키가이샤 리코 입체조형물 및 그 제조 방법
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
WO2015146221A1 (ja) 2014-03-24 2015-10-01 富士フイルム株式会社 生体臓器模型用水性ゲル組成物および生体臓器模型
NL2013088B1 (en) 2014-06-30 2016-07-11 Knowfort Holding B V A process for preparation of a composite layer or a laminate, and product obtained therewith.
CA3191977A1 (en) 2014-10-24 2016-04-28 Wake Forest University Health Sciences Tissue-mimicking hydrogel compositions for biofabrication
GB2547594B (en) 2014-11-10 2019-06-12 Synaptive Medical Barbados Inc Surgical training phantom with spectroscopically distinct regions
CA2974995C (en) 2015-01-29 2020-12-08 Synaptive Medical (Barbados) Inc. Physiological phantoms incorporating feedback sensors and sensing materials
KR102542516B1 (ko) 2015-02-19 2023-06-13 어플라이드 메디컬 리소시스 코포레이션 시뮬레이션된 조직 구조체들 및 방법들
CN105985925B (zh) 2015-03-04 2019-08-09 刘畅 一种全功能人工器官拟合体及其制备和培养方法
WO2016142812A1 (en) 2015-03-06 2016-09-15 Stellenbosch University Imaging phantom for radiation based equipment
JP2016177237A (ja) 2015-03-23 2016-10-06 セイコーエプソン株式会社 模擬臓器
JP2016177235A (ja) 2015-03-23 2016-10-06 セイコーエプソン株式会社 模擬臓器
JP2016177234A (ja) 2015-03-23 2016-10-06 セイコーエプソン株式会社 模擬臓器、模擬臓器の作製方法
WO2016152356A1 (ja) 2015-03-24 2016-09-29 国立大学法人 筑波大学 模型、製作システム、情報処理装置、製作方法、情報処理方法、プログラム、記録媒体
WO2016176150A1 (en) 2015-04-26 2016-11-03 Baylor College Of Medicine Phantoms and methods and kits using the same
JP2018514805A (ja) 2015-05-14 2018-06-07 アプライド メディカル リソーシーズ コーポレイション 電気手術トレーニングおよびシミュレーション用の合成組織構造
JP2017032624A (ja) 2015-07-29 2017-02-09 セイコーエプソン株式会社 模擬臓器
JP2017032689A (ja) 2015-07-30 2017-02-09 セイコーエプソン株式会社 模擬臓器、生体模擬組織および模擬臓器用ケース
JP2017032690A (ja) 2015-07-30 2017-02-09 セイコーエプソン株式会社 模擬臓器
JP2017032687A (ja) 2015-07-30 2017-02-09 セイコーエプソン株式会社 模擬臓器
JP2017032694A (ja) 2015-07-30 2017-02-09 セイコーエプソン株式会社 模擬臓器
JP2017032688A (ja) 2015-07-30 2017-02-09 セイコーエプソン株式会社 模擬臓器
JP2017032740A (ja) 2015-07-31 2017-02-09 セイコーエプソン株式会社 模擬臓器装置
US10319259B2 (en) 2015-09-23 2019-06-11 Synaptive Medical (Barbados) Inc. Anatomical simulators produced using 3d printing
US11345879B2 (en) 2015-11-17 2022-05-31 Lawrence Livermore National Security, Llc Emulsion stereolithography and 3D printing of multimaterials and nanoscale material gradients
US20170301264A1 (en) 2015-12-07 2017-10-19 Humanetics Innovative Solutions, Inc. Three-dimensionally printed internal flesh and organs for crash test dummy
JP6896999B2 (ja) 2016-03-17 2021-06-30 株式会社リコー 立体造形物、臓器モデル及びその製造方法
WO2017165176A1 (en) 2016-03-24 2017-09-28 Boston Scientific Scimed, Inc. Anatomical ultrasound access model
KR101836634B1 (ko) 2016-05-17 2018-03-09 한국표준과학연구원 집속초음파용 초음파 팬텀, 그 초음파 팬텀의 제조방법, 생체조직 모방 하이드로겔 팬텀, 그 제조방법 및 그 팬텀을 이용한 변색방법 및 약물전달방법
US20180053441A1 (en) 2016-08-19 2018-02-22 Boston Scientific Scimed, Inc. Demonstration and training model
US10410542B1 (en) * 2018-07-18 2019-09-10 Simulated Inanimate Models, LLC Surgical training apparatus, methods and systems

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999038141A1 (en) * 1998-01-26 1999-07-29 Simbionix Ltd. Endoscopic tutorial system
US20060178559A1 (en) * 1998-11-20 2006-08-10 Intuitive Surgical Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US20050181342A1 (en) * 2000-10-23 2005-08-18 Toly Christopher C. Medical training simulator including contact-less sensors
US20030135203A1 (en) * 2002-01-16 2003-07-17 Yulun Wang Minimally invasive surgical training using robotics and tele-collaboration
CN1745404A (zh) * 2002-12-31 2006-03-08 罗伯特·里纳 三维模型的互动教学装置
US20090326553A1 (en) * 2008-06-27 2009-12-31 Intuitive Surgical, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US20120082970A1 (en) * 2010-10-01 2012-04-05 Applied Medical Resources Corporation Portable laparoscopic trainer
CN103299355A (zh) * 2010-11-04 2013-09-11 约翰霍普金斯大学 用于微创手术技能的评估或改进的系统和方法
WO2015027286A1 (en) * 2013-09-02 2015-03-05 University Of South Australia A medical training simulation system and method
CN106030683A (zh) * 2013-12-20 2016-10-12 直观外科手术操作公司 用于医疗程序培训的模拟器系统
EP2996105A1 (en) * 2014-09-12 2016-03-16 Universita Di Pisa Augmented reality surgical simulator, particularly for deformable anatomical structures
US20160210882A1 (en) * 2014-12-29 2016-07-21 Help Me See Inc. Surgical Simulator System and Method
US20160314712A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and associated methods
US20160343273A1 (en) * 2015-05-19 2016-11-24 Mako Surgical Corp. System and method for demonstrating planned autonomous manipulation of an anatomy
WO2017139894A1 (en) * 2016-02-16 2017-08-24 Goyal Mayank Systems and methods for routing a vessel line such as a catheter within a vessel
US20170325901A1 (en) * 2016-05-12 2017-11-16 Affera, Inc. Anatomical model controlling
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
EP3288009A1 (en) * 2016-08-23 2018-02-28 Virtamed AG Low-resistance anatomical tissue model
US20180098813A1 (en) * 2016-10-07 2018-04-12 Simbionix Ltd. Method and system for rendering a medical simulation in an operating room in virtual reality or augmented reality environment
US20180144662A1 (en) * 2016-11-22 2018-05-24 PraxiCut, LLC Surgical simulation systems, methods, and compositions
CN107993501A (zh) * 2017-12-04 2018-05-04 菏泽学院 一种人体解剖教学系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113768565A (zh) * 2021-10-08 2021-12-10 巢湖市宾雄医疗器械有限公司 一种医用缝合针便携存放拿取装置及其存放方法
CN113768565B (zh) * 2021-10-08 2023-04-25 巢湖市宾雄医疗器械有限公司 一种医用缝合针便携存放拿取装置及其存放方法

Also Published As

Publication number Publication date
IL280233B (en) 2021-07-29
AU2019307937A1 (en) 2021-02-11
WO2020018834A1 (en) 2020-01-23
JP2021531504A (ja) 2021-11-18
CA3106659A1 (en) 2020-01-23
EP3823549A4 (en) 2022-04-06
US10410542B1 (en) 2019-09-10
US10665134B2 (en) 2020-05-26
KR20210022135A (ko) 2021-03-02
US20200027374A1 (en) 2020-01-23
US20220148459A1 (en) 2022-05-12
EP3823549A1 (en) 2021-05-26
JP7453693B2 (ja) 2024-03-21
IL280233A (en) 2021-03-01
US20210005110A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7453693B2 (ja) 外科トレーニング装置、方法及びシステム
US20230179680A1 (en) Reality-augmented morphological procedure
AU2019352792B2 (en) Indicator system
US20140011173A1 (en) Training, skill assessment and monitoring users in ultrasound guided procedures
RU209329U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
US11944344B2 (en) Guidance system, method and devices thereof
CA3092720A1 (en) Simulation-based training and assessment systems and methods
KR20110042277A (ko) 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
US20210327305A1 (en) System for validating and training invasive interventions
US11403965B2 (en) System and method for image-guided procedure analysis and training
EP3392862B1 (en) Medical simulations
RU216092U1 (ru) Автоматическое дополнение эндоскопического видеоизображения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination