CN114173693A - 用于远距监督手术程序的增强现实系统和方法 - Google Patents

用于远距监督手术程序的增强现实系统和方法 Download PDF

Info

Publication number
CN114173693A
CN114173693A CN202080054479.0A CN202080054479A CN114173693A CN 114173693 A CN114173693 A CN 114173693A CN 202080054479 A CN202080054479 A CN 202080054479A CN 114173693 A CN114173693 A CN 114173693A
Authority
CN
China
Prior art keywords
physician
experienced
real
augmented reality
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080054479.0A
Other languages
English (en)
Inventor
M·安伟萨
A·Y·格里
N·雷格夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Surgery Co
Original Assignee
Surgery Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Surgery Co filed Critical Surgery Co
Publication of CN114173693A publication Critical patent/CN114173693A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/025—LAN communication management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/08—Biomedical applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于远距监督手术程序的系统包括增强现实头戴式显示器以及计算机。所述计算机被配置来：经由所述增强现实头戴式显示器接收从现场医师的眼睛体验到的视觉图像；经由所述增强现实头戴式显示器接收由所述现场医师体验到的另外的内容；将从现场医师的眼睛体验到的所述视觉图像和所述另外的内容集成到由所述现场医师体验到的单个集成视图中；将所集成的视图传送到远程计算机以用于在远程显示器上显示；经由所述远程计算机从远程医师接收与所集成的视图的交互；并且经由所述增强现实头戴式显示器将所述交互呈现给所述现场医师。

Description

用于远距监督手术程序的增强现实系统和方法
相关申请的交叉引用
本申请要求2019年7月15日提交的美国临时专利申请序列号62/874,315的优先权，所述申请以引用方式整体并入本文中。
技术领域
本公开涉及手术程序领域，并且更具体地，涉及远距监督手术程序领域。
背景技术
手术程序可能是复杂的，其成功对于患者的健康可能至关重要。因此，为了执行手术程序，医师通常需要经历全面的培训，包括在高级且更有经验的医师的指导和督导下执行或参加手术程序。并且甚至超出最初的培训和指导，也可能需要高级医师监督由较不高级的医师执行的手术程序并且确认由较不高级的医师选择或执行的某些操纵、决策或技术。例如，涉及颅骨切开术的手术程序在开始实际程序之前可能需要高级医师批准较不高级的医师做出的标记，所述标记指示要执行的程序的位置。
随着各种通信技术的进步和可用性的增加，远距监督或远距辅助正成为个体或团队从远程位置向其他个体或团队远程提供培训、指导和支持的愈来愈受欢迎的选项。此外，增强现实技术正愈来愈多地用于通过使得远程个体能够将指令重迭在本地使用者的真实世界视图的顶部上来促进两个个体之间的远程交互。例如，增强现实技术(诸如Microsoft的Dynamic 365Remote Assist)可实现此种远程交互。然而，由于手术室内存在特定环境条件，因此具体地将此种增强现实技术用于远距监督手术程序可能是不可能或不实用的。
发明内容
一种用于远距监督手术程序的系统包括：增强现实头戴式显示器；以及计算机，所述计算机包括一个或多个处理器、一个或多个计算机可读有形存储装置和存储在所述一个或多个存储装置中的至少一个上以用于由所述一个或多个处理器中的至少一个执行的编程指令。所述编程指令被配置来：经由所述增强现实头戴式显示器接收从现场医师的眼睛体验到的视觉图像；经由所述增强现实头戴式显示器接收由所述现场医师体验到的另外的内容；将从现场医师的眼睛体验到的所述视觉图像和所述另外的内容集成到由所述现场医师体验到的单个集成视图中；将所集成的视图传送到远程计算机以用于在远程显示器上显示；经由所述远程计算机从远程医师接收与所集成的视图的交互；并且经由所述增强现实头戴式显示器将所述交互呈现给所述现场医师。
一种用于远距监督手术程序的方法包括以下步骤：经由增强现实头戴式显示器接收从现场医师的眼睛体验到的视觉图像；经由所述增强现实头戴式显示器接收由所述现场医师体验到的另外的内容；将从现场医师的眼睛体验到的所述视觉图像和所述另外的内容集成到由所述现场医师体验到的单个集成视图中；将所集成的视图传送到远程计算机以用于在远程显示器上显示；经由所述远程计算机从远程医师接收与所集成的视图的交互；以及经由所述增强现实头戴式显示器将所述交互呈现给所述现场医师。
附图说明
在附图中，示出了与下面提供的详细描述一起描述所要求保护的发明的示例性实施方案的结构。相同的元件用相同的元件符号标识。应理解，示出为单个部件的元件可用多个部件替换，并且示出为多个部件的元件可用单个部件替换。附图并未按比例绘制，且出于说明的目的，某些元件的比例可能被放大。
图1示出示例性增强现实远距监督系统。
图2示出示例性增强现实远距监督系统。
图3示出示例性增强现实远距监督系统。
图4示出示例性增强现实远距监督系统。
图5示出用于远距监督手术程序的示例性方法。
图6示出实现图1至图4的示例性增强现实远距监督系统的示例性计算机。
具体实施方式
以下缩写词和定义将帮助理解具体实施方式：
AR-增强现实-物理真实世界环境的实时视图，其元素已通过计算机生成的感官元素(诸如声音、视频或图形)得到增强。
VR-虚拟实境-3维计算机生成的环境，人们可不同程度地对所述环境进行探索并与其交互。
HMD-头戴式显示器是指可在AR或VR环境中使用的头戴式组件。它可为有线的或无线的。它还可包括一个或多个附加组件，诸如头戴式耳机、传声器、HD摄影机、红外摄影机、手跟踪器、位置跟踪器等。
控制器-包括按钮和方向控制器的装置。它可为有线的或无线的。此装置的实例为Xbox游戏台、PlayStation游戏台、Oculus touch等。
SNAP模型-SNAP壳是指使用呈DICOM文件格式的一个或多个患者扫描(CT、MR、fMR、DTI等)创建的3D纹理或3D对象。它还包括用于过滤特定范围并且以3D纹理为其他范围着色的不同分段预置。它还可包括放置在场景中的3D对象，包括用于标记感兴趣的特定点或解剖结构的3D形状、3D标签、3D测量标记、用于引导的3D箭头和3D手术工具。手术工具和装置已被建模用于教学和患者特定的预演，特别地用于适当地设定动脉瘤夹的大小。
化身-化身代表虚拟环境内部的使用者。
MD6DM-多维全球面虚拟实境6自由度模型。它提供图形化模拟环境，所述图形化模拟环境使得医师能够在全球面虚拟实境环境中体验、规划、执行和导航干预。
先前在以引用方式并入本申请中的美国专利申请号8,311,791中描述的手术预演和准备工具已被开发来基于预建SNAP模型将静态CT及MRI医学影像转换成动态且交互式多维全球面虚拟实境六(6)自由度模型(“MD6DM”)，所述预构建SNAP模型可由医师使用来实时模拟手术程序。MD6DM提供图形化模拟环境，所述图形化模拟环境使得医师能够在全球面虚拟实境环境中体验、规划、执行和导航干预。特别地，MD6DM给予外科医师使用根据传统的二维患者医学扫描构建的唯一多维模型进行导航的能力，所述唯一多维模型在整个体积球面虚拟实境模型中给予球面虚拟实境6自由度(即，线性；x、y、z和角度、偏航、俯仰、滚转)。
MD6DM使用根据患者自己的医学影像(包括CT、MRI、DTI等)的数据集构建并且是患者特定的SNAP模型实时渲染。可集成代表性脑模型(诸如Atlas数据)以创建部分患者特定的模型，如果外科医师期望如此的话。所述模型从MD6DM上的任何点给予360°球形视图。使用MD6DM，观看者虚拟地定位在解剖结构内部且可查看并观察解剖结构和病理结构两者，好像他站在患者体内部一样。观看者可向上看、向下看、环顾四周等，并且将看到关于彼此的天然结构，完全如他们在患者体内发现的那样。内侧结构之间的空间关系得以保留并且可使用MD6DM来了解。
MD6DM的算法获取医学影像信息并且将其构建到球面模型中，所述球面模型为在“飞入”解剖结构内部时可从任何角度观看的全连续实时模型。特别地，在CT、MRI等拍摄到真实有机体并且将其解构成由数千个点构建的数百个薄片之后，MD6DM通过代表这些点中的每一个的360°视图从内部和外部两者将所述数百个薄片还原到3D模型。
本文描述一种利用MD6DM模型，用于远距监督手术程序的增强现实(“AR”)系统。特别地，AR系统通过如下方式使得位于远程的医师能够与现场医师交互并且监督由所述现场医师正在对患者执行的手术程序：经由增强现实头戴式组件向远程医师提供与现场医师正在体验的相同视图，所述视图包括从现场医师的眼睛体验到的视觉图像以及另外集成的内容(诸如预构建MD6DM模型)；并且向远程医师提供用于与视图交互的构件使得现场医师体验交互。因此，向患者提供了由于现场位置处健康护理专业人员的位置和可用性而原本可能无法获得的护理和专家意见。
如本文将更详细地描述的将另外的内容和特征集成到示例性AR系统中允许增加外科医师的舒适度以及增加采用率，因为AR HMD可在整个手术程序期间穿戴而无需为了观看显微镜、安上其他放大镜等而将其拿掉。本文所描述的系统还使得医师能够更好地进行多重任务。最后，它使得远程主治医师能够更多地参与到手术程序中，并且从而增加程序的安全性并且降低程序期间的错误风险。
应了解，本文所描述的示例性系统可用于进行术前规划，在手术室中进行准备以及在实际手术程序期间使用。应进一步了解，尽管本文可描述用于在颅骨切开术期间使用的示例性应用，但是所述示例性系统可用于任何合适的手术程序。
图1示出AR远距监督系统100，所述AR远距监督系统100用于使得位于医院104(或任何类似的合适位置)中并且对患者106执行手术程序的现场医师102能够与位于远程位置110中的远程医师108通信并且与之交互。特别地，AR系统100使得远程医师108能够从远程位置110监督并且协助手术程序。监督手术程序可意指例如在手术程序期间回答问题，关于如何执行程序作出建议或提供指示并确认由现场医师102正在采取的动作是准确且正确的。应了解，尽管AR系统100被描述为在手术程序期间使用，但是AR系统100还可用于术前规划和准备。
AR系统100包括AR头戴式显示器(“HMD”)112，所述AR HMD 112用于向现场医师102提供AR视图，所述AR视图包括患者106的实时真实生活视觉图像组合另外集成的内容。例如，AR系统100包括MD6DM计算机114，所述MD6DM计算机114用于从SNAP数据库116检索SNAP模型，用于渲染MD6DM模型118，并且用于将MD6DM模型118提供给AR HMD 112。MD6DM计算机114与AR HMD 112组合被配置来使MD6DM模型与患者106的实时真实生活视觉图像同步并且将其重迭在所述实时真实生活视觉图像的顶部上，以便经由AR HMD 112创建患者106的AR视图(未示出)。
AR系统100还包括远距计算机120，所述远距计算机120被配置来将由现场医师102体验到的AR视图传送到远程计算机122。特别地，远距计算机120被配置来从AR HMD 112上的摄影机接收实时视频馈送，所述实时视频馈送捕获并且表示现场医师102所观看到的患者106的实时真实生活视觉图像。远距计算机120进一步被配置来接收另外集成的内容并且使所述另外集成的内容与来自AR HMD 112的实时视频馈送同步。例如，远距计算机120被配置来从MD6DM计算机114接收所渲染的MD6DM模型118并且使MD6DM模型118与实时视频馈送同步。
远程计算机122被配置来将患者的包括实时视频馈送124的AR视图和与实时视频馈送124同步的远程MD6DM模型128传送到远程显示器126。应了解，远程显示器126可为任何合适类型的显示器，包括头戴式显示器(未示出)。因此，远程医师108能够经由远程显示器126实时体验与由现场医师102正在体验的包括患者106的实时真实生活视觉图像和另外集成的内容的相同视图。
在一个实例中，远程位置110包括用于从远程数据库(未示出)检索另外集成的内容(诸如SNAP模型)的远程集成内容计算机(诸如MD6DM计算机(未示出))。因此，远距计算机122不需要使任何另外的内容与从AR HMD 112接收的实时视频馈送同步或集成。而是，远距计算机122将实时视频馈送传送到远程计算机122而没有另外的内容，从而节省通信带宽。在此种实例中，远程计算机122从远程集成内容计算机检索另外的内容并且在远程位置110处与实时视频馈送执行集成和同步。例如，远程计算机122被配置来从远程SNAP数据库(未示出)检索SNAP模型并渲染远程MD6DM模型128。远程计算机122进一步被配置来使远程MD6DM模型128与实时视频馈送124同步并且将两者集成到远程显示器126上以形成表示现场医师102正在体验的相同视图的视图。
远程计算机122进一步被配置来经由显示器126或经由另外的外围输入装置(未示出)接收来自远程医师108的与所述视图的交互。例如，远程计算机122可从远程医师108接收与患者的实时视频馈送124和另外的集成并同步内容(诸如远程MD6DM模型128)两者的标示、注释和其他合适的输入交互。所述交互可包括例如远程医师108操纵远程MD6DM模型128或在远程MD6DM模型128上放置标记以指示进行切口的位置。远程计算机122进一步能够区分与实时视频馈送124的交互和与另外集成的内容(诸如远程MD6DM模型128)的交互。
远程计算机122进一步被配置来将远程医师108的远程交互传送到远距计算机120，所述远距计算机120进而被配置来将所接收的远程交互结合对应的内容传送到AR HMD112并且对所接收的远程交互进行适当地渲染。远程远距计算机120被配置来基于识别的交互之间的区别来用相应内容渲染所接收的远程交互。例如，远距计算机120可被配置来使MD6DM模型118与同远程MD6DM模型128的所接收的远程交互同步并集成，使得现场医师102能够体验由远程医师108提供的MD6DM模型118中的所标记的视图。在另一个实例中，MD6DM计算机114可被配置来从远距计算机120接收交互并且使远程交互与MD6DM模型118同步并集成。应了解，尽管MD6DM计算机114和远距计算机120被描述为两个不同的计算机，但是MD6DM计算机114和远距计算机120可组合成单个计算机(未示出)。
通过将来自远程医师108的标记和其他合适的交互传送到现场医师102，AR系统100能够促进例如对颅骨切开术的监督，所述颅骨切开术需要医师标记应开始程序的进入点。仅基于真实生活实时视图提供此种标记并不总是可行或实用的，并且这通常需要另外集成的内容(诸如重迭在头骨的顶部上的MD6DM模型)的帮助。由于现场医师102和远程医师108能够彼此交互并且提供关于真实生活实时视图以及另外集成的内容两者的实时反馈，因此提供包括另外集成的内容的远程视图使得监督能力和协同能够得以改善。
在一个示例性AR系统200中，如图2所示出，与患者106的实时真实生活视觉图像集成并且包括在由现场医师体验到的视图中的另外的内容包括由内窥镜202生成的视频。例如，现场医师102可使用内窥镜来获得患者106的特写内部视图。将来自内窥镜202的特写视图并入由现场医师102经由AR HMD 112体验到的视图中。例如，来自内窥镜的特写视图可在AR HMD 112的透镜的一部分中呈现给现场医师102，使得现场医师102可容易地在均位于相同AR HMD 112内的患者的真实生活实时视图或来自内窥镜的特写视图之间来回查看。
因此，为了使远程医师108能够体验与现场医师102相同的视图，远距计算机120进一步被配置来将除由AR HMD 112上的摄影机捕获的实时视频馈送之外由内窥镜202生成的相同视频传送到远程计算机122。在一个实例中，远程计算机122被配置来将另外的内容(例如，由内窥镜202生成的视频)与来自AR HMD 112上的摄影机的实时视频馈送集成，以在显示器126上向远程医师108产生与由现场医师102体验到的相同的集成视图。具体地，远程计算机122可同时在屏幕126上在显示器126的第一部分中呈现从HMD 112上的摄影机接收的实时生活视图以及在显示器126的第二部分中呈现自内窥镜202接收的特写视图。
在另一个实例中，远程计算机122可被配置来显示从HMD 112上的摄影机接收的实时生活视图或从内窥镜202接收的特写视图中的一者，这取决于远程医师108经由远程计算机122所提供的界面进行的选择。例如，远程医师可选择性地在观看从HMD 112上的摄影机接收的实时生活视图或从内窥镜202接收的特写视图之间切换并且选择性地随时与任一者交互。在另一个实例中，远程计算机122可被配置来取决于由现场医师102采取的动作而在从HMD 112上的摄影机接收的实时生活视图或从内窥镜202接收的特写视图之间自动地切换显示。例如，AR HMD 112可被配置来跟踪现场医师102的眼睛移动。特别地，AR HMD 112可被配置来确定现场医师102的眼睛何时聚焦在AR视图中所呈现的特写视图上以及现场医师102的眼睛何时聚焦在AR视图内的其他任何地方。因此，基于现场医师102的眼睛聚焦，远程计算机122可被配置来自动地向显示器126呈现相同的对应视图。
在一个实例中，MD6DM计算机114可被配置来从内窥镜202接收特写视频馈送，并且使MD6DM模型118的特写视图与特写视频馈送同步并且重迭在所述特写视频馈送之上，之后将组合的集成特写视频馈送传送到AR HMD 112。在此种实例中，远距计算机122可被配置来向远程医师108提供由现场医师102体验到的相同视图，包括从内窥镜202生成的具有MD6DM重迭的集成并同步的特写视图以及从AR HMD 112上的摄影机接收的真实生活实时视图。
如先前所描述，远程计算机114被配置来接收并区分来自远程医师108的与视图的不同类型的交互，并且将所区分的交互传送到远距计算机120，所述远距计算机120进而对交互结合对应的内容进行适当地渲染。
在一个示例性AR系统300中，如图3所示出，与患者106的实时真实生活视觉图像集成并且包括在由现场医师体验到的视图中的另外的内容包括由显微镜302生成的视频。由显微镜302生成的视频可以或可以不与MD6DM模型同步，如先前实例中所描述。同样如在先前实例中，由显微镜302生成的视频在具有或不具有MD6DM集成的情况下可经由AR HMD 112以增强视图呈现给现场医师102并由其体验。类似地如针对内窥镜视频的先前实例所描述的，来自显微镜302的视频的另外的内容可作为所体验的视图的一部分呈现给远程医师108。
在一个实例中，不是经由AR HMD 112将来自显微镜302的视频馈送提供到AR视图中，而是现场医师可选择直接与显微镜交互来消耗显微镜视图。例如，现场医师102可通过显微镜302上的观察器查看以便观看患者106的特写视图。然而，现场医师102可能仍然穿戴着AR HMD 112并且意图使远程医师108体验相同的视图。因此，在此种实例中，来自显微镜302的视频馈送可仍然由远距计算机120提供到远程计算机122，以便使得远程计算机122能够为远程医师108生成与现场医师102体验到的相同视图。
如先前实例中所描述，远程计算机122可被配置来显示从HMD 112上的摄影机接收的实时生活视图或从显微镜302接收的特写视图中的一者，这取决于远程医师108经由远程计算机122所提供的界面进行的选择。
在另一个实例中，远程计算机122可被配置来取决于由现场医师102采取的动作而在从HMD 112上的摄影机接收的实时生活视图或从显微镜302接收的特写视图之间自动地切换显示。例如，远距计算机120可被配置来基于AR HMD 112上的运动感测器或其他合适类型的感测器并且基于从AR HMD 112接收的视频来确定现场医师102的头部方位/位置。特别地，当确定现场医师102的头部在显微镜302的观察器顶部上方倾斜或以其他方式定位在所述观察器处或其附近时，远程计算机122可被配置来自动地向显示器126呈现从显微镜馈送的视图，并且当现场医师102的头部以其他方式定位时呈现从AR HMD 112馈送的真实生活视频。
在一个实例中，MD6DM计算机114可被配置来从显微镜302接收特写视频馈送，并且使MD6DM模型118的特写视图与特写视频馈送同步并且重迭在所述特写视频馈送之上，之后将组合的集成特写视频馈送传送到AR HMD 112。在另一个实例中，MD6DM计算机114可被配置来将MD6DM模型118的特写视图直接注入、同步并重迭到通过窥视显微镜302的取景器体验到的视图中。在此种实例中，远距计算机122可被配置来向远程医师108提供由现场医师102体验到的相同视图，包括从显微镜302生成的具有MD6DM重迭的集成并同步的特写视图以及从AR HMD 112上的摄影机接收的真实生活实时视图。
如先前所描述，远程计算机114被配置来接收并区分来自远程医师108的与视图的不同类型的交互，并且将所区分的交互传送到远距计算机120，所述远距计算机120进而对交互结合对应的内容进行适当地渲染。
在一个实例中，如图4所示出，AR HMD 402可具有集成式(或可移除/可拆卸的)放大镜404用于使得现场医师102能够得到患者106的特写视图。例如，现场医师102可直接透过AR HMD 402查看以便体验患者106的真实生活实时视图。现场医师102还可选择随时透过放大镜404查看以便得到特写视图。因此，为了向远程医师108提供与现场医师观察到的相同的体验，从AR HMD 402接收并且提供到远程计算机122的实时视频的缩放水平根据由ARHMD 402确定相对于放大镜404的现场医师102的眼睛方位来调整。特别地，若AR HMD 402确定现场医师的眼睛正在透过放大镜404查看，则基于放大镜404的放大强度将由AR HMD 402上的摄影机接收并且提供到远程计算机122的实时视频放大成特写视图。在一个实例中，ARHMD 402上的摄影机被配置来基于所确定的眼睛方位而自动地放大。在另一个实例中，远距计算机120被配置来基于所确定的眼睛方位来调整从AR HMD 402的摄影机接收的实时视频。
在一个实例中，可由同步化MD6DM模型来增强经由AR HMD 402体验到的真实生活实时视图。在此种实例中，根据现场医师102的眼睛方位，可适当地调整并放大MD6DM模型。类似地，从AR HMD 402上的摄影机接收并提供到远程计算机122的真实生活实时视频可与在远程站点110处或在医院104处的MD6DM模型同步，然后被传送到远程站点110。此外，还可缩放与用于在远程站点110处呈现的真实生活实时视频同步的MD6DM模型，这取决于现场医师102的眼睛方位。
如先前所描述，远程计算机114被配置来接收并区分来自远程医师108的与视图的不同类型的交互，并且将所区分的交互传送到远距计算机120，所述远距计算机120进而对交互结合对应的内容进行适当地渲染。
图5示出用于远距监督手术程序的示例性方法。在502处，经由AR头戴式组件接收从手术程序的现场医师的眼睛体验到的视觉图像。在504处，经由AR头戴式组件接收由现场医师体验到的另外的内容。在506处，将从现场医师的眼睛体验到的视觉图像和另外的内容集成到由现场医师体验到的单个视图中。在508处，将视图提供给远程医师。在510处，接收来自远程医师的交互。在512处，经由AR头戴式组件将交互呈现给现场医师。
图6是用于实现图1的远距计算机114、MD6DM计算机116和远程计算机122的示例性计算机的示意图。示例性计算机600意图表示各种形式的数位计算机，包括膝上型计算机、桌上型计算机、手持式计算机、平板计算机、智慧手机、服务器和其他类似类型的计算装置。计算机600包括通过界面610经由总线612可操作地连接的处理器602、存储器604、存储装置606和通信端口608。
处理器602经由存储器604处理指令以供在计算机600内执行。在一个示例性实施方案中，可使用多个处理器以及多个存储器。
存储器604可为易失性存储器或非易失性存储器。存储器604可为计算机可读介质，诸如磁碟或光碟。存储装置606可为计算机可读介质，诸如软碟装置、硬碟装置、光碟装置、磁带装置、闪存存储器、相变存储器或其他类似的固态存储器装置或装置(包括位于其他配置的存储区域网络中的装置)阵列。计算机编程产品可有形地体现在计算机可读介质(诸如存储器604或存储装置606)中。
计算机600可耦接到一个或多个输入和输出装置，诸如显示器614、打印机616、扫描仪618、鼠标620和HMD 624。
如本领域技术人员将了解的，示例性实施方案可实现为方法、系统、计算机编程产品或前述的组合或者可通常利用所述方法、系统、计算机编程产品或前述的组合。因此，任何实施方案可采取包括存储在存储装置中以供在计算机硬件上执行的可执行指令的专用软件的形式，其中所述软件可存储在具有在介质中体现的计算机可用编程代码的计算机可用存储介质上。
数据库可使用可在所公开的服务器或另外的计算机服务器上运行的可商购获得的计算机应用程序(诸如开源解决方案(诸如MySQL)或封闭式解决方案(诸如MicrosoftSQL)来实现。数据库可利用关系或面向对象的范例来存储用于以上所公开的示例性实施方案的数据、模型和模型参数。此类数据库可使用已知的数据库编程设计技术来自定义以实现本文所公开的专门适用性。
任何合适的计算机可用(计算机可读)介质都可用于存储包括可执行指令的软件。计算机可用或计算机可读介质可为例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备、装置或传播介质。计算机可读介质的更特定的实例(非详尽列表)将包括以下项：具有一根或多根电线的电连接；有形介质，诸如便携式计算机软磁盘、硬碟、随机访问存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、光盘只读存储器(CDROM)或其他有形光学或磁性存储装置；或传输介质，诸如支持因特网或内联网的那些介质。
在本文档的上下文中，计算机可用或计算机可读介质可为可含有、存储、传达、传播或传送编程指令以供可包括任何合适的计算机(或计算机系统)的指令执行系统、平台、设备或装置使用或与其结合使用的任何介质，所述任何合适的计算机(或计算机系统)包括一个或多个可编程或专用处理器/控制器。计算机可用介质可包括其中体现有计算机可用编程代码(在基带中或作为载波的一部分)的传播数据信号。计算机可用编程代码可使用任何适当的介质来传输，所述任何适当的介质包括但不限于因特网、有线、光纤电缆、本地通信总线、射频(RF)或其他方式。
具有用于执行示例性实施方案的操作的可执行指令的计算机编程代码可通过常规方式使用包括任何计算机语言写入，所述等计算机语言包括但不限于：解释性或事件驱动语言(诸如BASIC、Lisp、VBA或VBScript)，或GUI实施方案(诸如visual basic)，编译编程语言(诸如FORTRAN、COBOL或Pascal)，面向对象的脚本或非脚本编程语言(诸如Java、JavaScript、Perl、Smalltalk、C++、C#、Object Pascal等)，人工智能语言(诸如Prolog)，实时嵌式语言(诸如Ada)，或使用梯形逻辑的甚至更加直接或简化的编程，组合编程语言或使用适当机器语言的直接编程。
在某种程度上就本说明书或权利要求中所用的术语“包括(includ es)”或“包括(including)”而言，其意图以与此术语在权利要求中用作过渡词时被解释的类似的方式具有包括性。此外，在某种程度上就采用术语“或”(例如，A或B)而言，其意图意指“A或B或两者”。当本申请者意图指示“仅A或B而非两者”时，则将采用术语“仅A或B而非两者”。因此，本文中术语“或”的使用为包括性的，而非排他性的使用。参见Bryan A.Garner的《现代法律用法词典624》(第2版，1995年)。同样，在某种程度上就本说明书或权利要求中所使用术语“在……中(in)”或“在……中(into)”而言，其意图另外意指“在……上(on)”或“在……上(onto)”。此外，在某种程度上就本说明书或权利要求中所使用的术语“连接”而言，其意图不仅意指“直接连接到”，而且意指“间接连接到”，诸如通过另一个部件或多个部件连接。
虽然本申请已通过描述其实施方案来示出，并且虽然实施方案已相当详细地进行了描述，但是本申请者并不意图将随附权利要求的范围约束或以任何方式限于此类细节。另外的优点及修改对本领域技术人员将是显而易见的。因此，本申请在其较广泛方面不限于特定细节、代表性设备和所示出且描述的方法和例示性实例。因此，在不脱离本申请者的一般发明概念的精神和范围的情况下，可对此类细节做出变更。

Claims (19)

1.一种用于远距监督手术程序的系统，其包括：
增强现实头戴式显示器；以及
计算机，所述计算机包括一个或多个处理器、一个或多个计算机可读有形存储装置和存储在所述一个或多个存储装置中的至少一个上以用于由所述一个或多个处理器中的至少一个执行的编程指令，所述编程指令被配置来：
经由所述增强现实头戴式显示器接收从现场医师的眼睛体验到的视觉图像；
经由所述增强现实头戴式显示器接收由所述现场医师体验到的另外的内容；
将从现场医师的眼睛体验到的所述视觉图像和所述另外的内容集成到由所述现场医师体验到的单个集成视图中；
将所集成的视图传送到远程计算机以用于在远程显示器上显示；
经由所述远程计算机从远程医师接收与所集成的视图的交互；并且
经由所述增强现实头戴式显示器将所述交互呈现给所述现场医师。
2.如权利要求1所述的系统，其中所述另外的内容包括动态且交互式多维解剖模型，并且其中所述计算机被配置来通过使所述解剖模型与患者的解剖结构的经由所述增强现实头戴式显示器体验到的真实视觉图像同步并重迭来集成所体验的所述视觉图像和所述另外的内容。
3.如权利要求1所述的系统，其中所述增强现实头戴式显示器包括摄影机，所述摄影机被配置来捕获表示如所述现场医师体验到的患者解剖结构的实时真实生活视觉图像的实时视频馈送，并且其中所述计算机被配置来将所述实时视频馈送和所述另外的内容传送到所述远程计算机。
4.如权利要求1所述的系统，其中所述交互包括标示和注释中的至少一者，所述交互指示用于执行手术程序的指令。
5.如权利要求1所述的系统，其中所述计算机被配置来区分与从现场医师的眼睛体验到的所述视觉图像的交互和与所述另外的内容的交互以用于识别区别。
6.如权利要求5所述的系统，其中所述计算机被配置来基于所识别的区别来渲染所接收的交互。
7.如权利要求3所述的系统，其中所述另外的内容包括由内窥镜生成的特写视频，并且其中所述计算机被配置来将所述实时视频馈送和所述特写视频传送到所述远程计算机。
8.如权利要求3所述的系统，其中所述增强现实头戴式显示器包括用于经由所述增强现实头戴式显示器实现特写视图的放大镜，其中所述增强现实头戴式显示器被配置来确定相对于所述放大镜的所述现场医师的眼睛方位，并且其中所述计算机被配置来基于所确定的眼睛方位来调整传送到所述远程计算机的所述实时视频馈送的缩放水平。
9.一种用于远距监督手术程序的方法，其包括：
经由增强现实头戴式显示器接收从现场医师的眼睛体验到的视觉图像；
经由所述增强现实头戴式显示器接收由所述现场医师体验到的另外的内容；
将从现场医师的眼睛体验到的所述视觉图像和所述另外的内容集成到由所述现场医师体验到的单个集成视图中；
将所集成的视图传送到远程计算机以用于在远程显示器上显示；
经由所述远程计算机从远程医师接收与所集成的视图的交互；以及
经由所述增强现实头戴式显示器将所述交互呈现给所述现场医师。
10.如权利要求9所述的方法，其中所述另外的内容包括动态且交互式多维解剖模型，并且其中集成所体验的所述视觉图像与所述另外的内容的步骤包括使所述解剖模型与患者的解剖结构的经由所述增强现实头戴式显示器体验到的真实视觉图像同步并重迭的步骤。
11.如权利要求9所述的方法，其中传送所集成的视图包括传送与由所述增强现实头戴式显示器上的摄影机捕获的表示如由所述现场医师体验到的患者解剖结构的实时真实生活视觉图像的实时视频馈送集成的另外的内容。
12.如权利要求9所述的方法，其中所述交互包括标示和注释中的至少一者，所述交互指示用于执行手术程序的指令。
13.如权利要求9所述的方法，其还包括以下步骤：区分与从现场医师的眼睛体验到的所述视觉图像的交互和与所述另外的内容的交互以用于识别区别。
14.如权利要求13所述的方法，其中呈现所述交互的步骤包括基于所识别的区别来渲染所接收的交互的步骤。
15.如权利要求11所述的方法，其中所述另外的内容包括由内窥镜生成的特写视频，并且其中传送所集成的视图的步骤包括将所述实时视频馈送和所述特写视频传送到所述远程计算机的步骤。
16.如权利要求11所述的方法，其还包括确定相对于设置在所述增强现实头戴式显示器上的放大镜的所述现场医师的眼睛方位，并且其中传送所集成的视图包括基于所确定的眼睛方位来调整传送到所述远程计算机的所述实时视频馈送的缩放水平。
17.一种用于远距监督手术程序的方法，其包括：
经由增强现实头戴式显示器接收从现场医师的眼睛体验到的视觉图像；
经由所述增强现实头戴式显示器接收由所述现场医师体验到的包括动态且交互式多维解剖模型的另外的内容；
将从现场医师的眼睛体验到的所述视觉图像和所述另外的内容集成到由所述现场医师体验到的单个集成视图中，所述集成包括使所述解剖模型与经由所述增强现实头戴式显示器体验到的患者的解剖结构的真实视觉图像同步并重迭；
确定相对于设置在所述增强现实头戴式显示器上的放大镜的所述现场医师的眼睛方位；
通过传送与由所述增强现实头戴式显示器上的摄影机捕获的表示如所述现场医师体验到的患者解剖结构的实时真实生活视觉图像的实时视频馈送集成的另外的内容，并且通过基于所确定的眼睛方位来调整传送到所述远程计算机的所述实时视频馈送的缩放水平来将所集成的视图传送到远程计算机以用于在远程显示器上显示；
区分与从现场医师的眼睛体验到的所述视觉图像的交互和与所述另外的内容的交互以用于识别区别；
经由所述远程计算机从远程医师接收与所集成的视图的交互；以及
通过基于所识别的区别渲染所接收的交互来经由所述增强现实头戴式显示器将所述交互呈现给所述现场医师。
18.如权利要求17所述的方法，其中所述另外的内容还包括由内窥镜生成的特写视频，并且其中传送所集成的视图的步骤包括将所述实时视频馈送和所述特写视频传送到所述远程计算机的步骤。
19.如权利要求17所述的方法，其中所述交互包括标示和注释中的至少一者，所述交互指示用于执行手术程序的指令。
CN202080054479.0A 2019-07-15 2020-07-15 用于远距监督手术程序的增强现实系统和方法 Pending CN114173693A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962874315P 2019-07-15 2019-07-15
US62/874,315 2019-07-15
PCT/US2020/042156 WO2021011668A1 (en) 2019-07-15 2020-07-15 Augmented reality system and method for tele-proctoring a surgical procedure

Publications (1)

Publication Number Publication Date
CN114173693A true CN114173693A (zh) 2022-03-11

Family

ID=74211336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080054479.0A Pending CN114173693A (zh) 2019-07-15 2020-07-15 用于远距监督手术程序的增强现实系统和方法

Country Status (7)

Country Link
US (1) US20210015583A1 (zh)
EP (1) EP3986314A1 (zh)
JP (1) JP2022540898A (zh)
CN (1) CN114173693A (zh)
IL (1) IL289855A (zh)
TW (1) TW202103646A (zh)
WO (1) WO2021011668A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US20210389821A1 (en) * 2020-06-12 2021-12-16 Stephen Eisenmann Visual aid device
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
CN114882976A (zh) * 2021-02-05 2022-08-09 中强光电股份有限公司 医疗用影像辅助系统及医疗用影像辅助方法
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11610682B2 (en) 2021-06-22 2023-03-21 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017526078A (ja) * 2014-05-09 2017-09-07 グーグル インコーポレイテッド 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法
EP3361979A4 (en) * 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117562678A (zh) * 2024-01-08 2024-02-20 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统
CN117562678B (zh) * 2024-01-08 2024-04-12 华中科技大学同济医学院附属协和医院 一种用于神经外科手术显微镜的辅助系统

Also Published As

Publication number Publication date
WO2021011668A1 (en) 2021-01-21
IL289855A (en) 2022-03-01
TW202103646A (zh) 2021-02-01
US20210015583A1 (en) 2021-01-21
EP3986314A1 (en) 2022-04-27
JP2022540898A (ja) 2022-09-20

Similar Documents

Publication Publication Date Title
CN114173693A (zh) 用于远距监督手术程序的增强现实系统和方法
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
US20210022812A1 (en) Surgical Navigation Inside A Body
CN109464195B (zh) 双模式增强现实外科手术系统和方法
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
US20200038119A1 (en) System and method for training and collaborating in a virtual environment
JP2021512440A (ja) 患者エンゲージメントのシステムおよび方法
US20210241534A1 (en) System and method for augmenting and synchronizing a virtual model with a physical model
CN114173692A (zh) 用于推荐手术程序的参数的系统和方法
CN115315729A (zh) 用于促进远程呈现或交互的方法和系统
Sugimoto Cloud XR (extended reality: virtual reality, augmented reality, mixed reality) and 5g mobile communication system for medical image-guided holographic surgery and telemedicine
TW202207242A (zh) 用於增強現實脊柱手術之系統及方法
TW202038255A (zh) 360 vr 體積媒體編輯器
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
Eom et al. Did You Do Well? Real-Time Personalized Feedback on Catheter Placement in Augmented Reality-Assisted Neurosurgical Training
CA3221339A1 (en) Systems, methods, and media for presenting biophysical simulations in an interactive mixed reality environment
Nedjeljka10 et al. Klapan Ivica1, 2, 3, 4*, Duspara Alen6, Majhen Zlatko5, 7, Benić Igor8, Kostelac Milan8, Kubat Goranka9

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220311

WD01 Invention patent application deemed withdrawn after publication