CN113038902B - 利用扩增实境的手术辅助装置 - Google Patents

利用扩增实境的手术辅助装置 Download PDF

Info

Publication number
CN113038902B
CN113038902B CN201980074954.8A CN201980074954A CN113038902B CN 113038902 B CN113038902 B CN 113038902B CN 201980074954 A CN201980074954 A CN 201980074954A CN 113038902 B CN113038902 B CN 113038902B
Authority
CN
China
Prior art keywords
augmented reality
surgical
image
server
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980074954.8A
Other languages
English (en)
Other versions
CN113038902A (zh
Inventor
任昇俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN113038902A publication Critical patent/CN113038902A/zh
Application granted granted Critical
Publication of CN113038902B publication Critical patent/CN113038902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Urology & Nephrology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

利用扩增实境的手术辅助装置包含：相机，拍摄患者的患处或手术部位；无线传输设备，实时收发相机拍摄的影像；智能眼镜，将无线传输设备传输的影像显示给佩戴者；及AR服务器，在影像中附加扩增实境，并向佩戴者提供扩增实境。

Description

利用扩增实境的手术辅助装置
技术领域
本发明涉及一种利用扩增实境的手术辅助装置，更具体而言，涉及一种使用智能眼镜上的扩增实境来提供与手术相关的各种信息，辅助手术成功地进行的利用扩增实境的手术辅助装置。
背景技术
以往，在进行切割身体内部的特定部位等手术时，通常在剖腹后进行手术，然而，最近是在身体的一部分进行穿孔后，通过穿孔插入相机，将相机拍摄的影像显示到监视器，由手术医生一面看着监视器，一面进行手术。
另外，在治疗口腔内部等难以用肉眼查看的部位时，也是在将通过相机拍摄的影像显示到监视器后，利用这个影像来进行治疗。或者，通过使用放大镜放大特定身体部位来容易地进行手术及处理。
然而，这种以往的手术及治疗方法(参照韩国专利申请号第10-2018-7007193号)只是放大患者的患处及手术部位来显示到监视器上，并不在监视器上显示有助于手术的信息，因此仅为简单的辅助装置。
发明内容
[发明要解决的问题]
本发明要解决的问题在于，面对利用扩增实境的手术辅助装置的需求日益增加，如何利用扩增实境的手术辅助装置是在相机拍摄的手术部位影像中显示有助于手术的信息，以提供对手术具有实质性帮助。
本发明提供一种如下说明的利用扩增实境的手术辅助装置：在相机拍摄的手术部位影像中附加扩增实境并显示在佩戴者的智能眼镜上，由此向佩戴者提供对手术具有实质性帮助的信息。
本发明要解决的问题并不限制于以上所提及的课题，本领域技术人员可根据以下记载而明确地理解未提及的其他课题。
[解决问题的手段]
为了解决上述问题，本发明的一实施例的利用扩增实境的手术辅助装置包含：相机，拍摄患者的患处或手术部位的影像；无线传输设备，实时收发相机拍摄的影像；智能眼镜，将无线传输设备传输的影像显示给佩戴者；及AR(Augmented Reality，扩增实境)服务器，在影像中附加扩增实境，并向佩戴者提供扩增实境。
为了解决上述问题，本发明的另一实施例的利用扩增实境的手术辅助装置包含：相机，拍摄患者的患处或手术部位的影像；无线传输设备，实时收发相机拍摄的影像；智能眼镜，将无线传输设备传输的影像显示给佩戴者；AR服务器，在影像中附加扩增实境，并向佩戴者提供应用有扩增实境的AR影像；及数据储存部，储存相机拍摄的拍摄影像与AR影像中的任一种影像或两者；且AR服务器基于预先设定的类别项目对所述拍摄影像及AR影像中的任一种影像或两者执行类别化作业，按照各类别对执行类别化作业产生且附加有类别信息的影像分割(segmentation)进行分类并储存到数据储存部，在发生协诊请求的情况下，AR服务器根据预先设定的协诊专科医生选择基准来选择协诊专科医生，并在储存在数据储存部中的按照各类别分类的影像分割中选择所选择的协诊专科医生所需的影像分割。
[发明的效果]
根据本发明，在相机拍摄的手术部位影像中附加扩增实境，并显示给佩戴者的智能眼镜，由此可向佩戴者提供对手术具有实质性帮助的信息。
附图说明
图1及图2分别是表示本发明的一实施例的利用扩增实境的手术辅助装置的部分装置的图；
图3是本发明的一实施例的利用扩增实境的手术辅助装置的概念图；
图4及图5分别是表示本发明的一实施例的利用扩增实境的手术辅助装置提供手术列表树的流程图与手术列表树示意图；
图6是表示本发明的一实施例的利用扩增实境的手术辅助装置根据所提供的影像来提示手术方法的流程图；
图7是表示本发明的一实施例的利用扩增实境的手术辅助装置强调手术部位的情况影像的示意图；
图8是表示本发明的一实施例的利用扩增实境的手术辅助装置使手术信息中脱离安全范围的信息闪烁的情况影像的示意图；
图9是表示本发明的一实施例的利用扩增实境的手术辅助装置向佩戴者提供实际手术进行状态及理想的手术进行状态的情况影像的示意图；
图10是表示本发明的一实施例的利用扩增实境的手术辅助装置提供协诊列表树的示意图；
图11是表示本发明的一实施例的利用扩增实境的手术辅助装置对手术方法的顺序进行再调整后重新提供的步骤流程图；
图12是表示本发明的另一实施例的利用扩增实境的手术辅助装置在协诊时向多个智能眼镜提供扩增实境的示意图。
具体实施方式
参照附图及下文中详细叙述的实施例，本发明的优点、特征及达成这些优点与特征的方法会变明确。然而，本发明并不限定于以下所揭示的实施例，能够以各种不同的形态实现，本实施例仅用于完整地揭示本发明，且是为了对本发明所属的技术领域内的普通技术人员完整地告知发明的范畴而提供，本发明仅由权利要求书的范畴界定。在整篇说明书中，相同的参照符号表示相同的构成要素。
本说明书中所使用的术语仅用于说明实施例，并非是要限制本发明。在本说明书中，只要未在句子中特别提及，则单数型也包含复数型。说明书中使用的“包含(comprises)”及/或“包含的(comprising)”是指所提及的构成要素、步骤及动作不排除一个以上的其他构成要素、步骤及动作的存在或添加。
参照图1至图3，对本发明的一实施例的利用扩增实境的手术辅助装置进行说明。图1及图2分别是表示本发明的一实施例的利用扩增实境的手术辅助装置的的部分装置的图。图3是本发明的一实施例的利用扩增实境的手术辅助装置的概念图。
参照图1至图3，本发明的一实施例的利用扩增实境的手术辅助装置包含相机10、无线传输设备30、智能眼镜70及AR服务器100。
相机10是拍摄患者的患处或手术部位的装置，根据情况，可借助照明器材20来更清晰地拍摄影像。另一方面，相机10与下文叙述的智能眼镜70可为单独的构成，与此不同，也可为能够安装到智能眼镜70或从智能眼镜70拆卸的形态。
无线传输设备30是实时接收相机10拍摄的影像并传输到其他装置的设备。具体而言，无线传输设备30可将相机10拍摄的影像提供到下文叙述的智能眼镜70，由此，可在智能眼镜70的眼镜透镜50、60上显示患处。
另外，无线传输设备30可将相机10拍摄的影像提供到AR服务器100，接收到影像的AR服务器100可在形成相关的扩增实境后，将扩增实境及附加有扩增实境的影像直接传输到智能眼镜70、或传输到无线传输设备30。
智能眼镜70是将无线传输设备30传输的影像显示给佩戴者的眼镜。更具体而言，相机10将拍摄的影像提供到无线传输设备30，透过无线传输设备30接收到影像的智能眼镜70可将影像显示在眼镜透镜50、60上。
另外，相机10拍摄的影像可经由无线传输设备30提供到AR服务器100，AR服务器100可形成与接收到的影像相关的扩增实境，并将所形成的扩增实境及附加有扩增实境的影像传输到无线传输设备30。
此后，无线传输设备30可将附加有扩增实境的影像显示到智能眼镜70的眼镜透镜50、60上。
或者，AR服务器100也可不经由无线传输设备30而将附加有扩增实境的影像显示到智能眼镜70的眼镜透镜50、60上。
这种智能眼镜70可包含陀螺传感器、地磁传感器、角速度计及六轴传感器中的任一种以上的移动感测传感器40。因此，移动感测传感器40可感测配戴智能眼镜70的佩戴者或医生等如何移动头部及脸部、与各移动的尝试次数。
具体而言，在佩戴者左右转动头部及脸部、前后移动头部及脸部、上下移动头部及脸部、或旋转头部及脸部时，移动感测传感器40可感测这种移动。
另外，移动感测传感器40可感测各移动为1次还是多次。在另一实施例中，如果进行多次移动，则移动感测传感器40可感测各移动之间的时间间隔。
这种移动分别具有不同的含义，可通过调节佩戴者移动脸部的形态、各移动的尝试次数或各移动之间的时间间隔等来实现各种行为。
例如，如果眼镜透镜50、60上显示某个列表树，则在左右转动脸部时，活性标记可在列表树上向左侧或右侧移动。与此不同，在左右转动脸部时，位于左侧或右侧的崭新的窗口也可显示到眼镜透镜50、60上。
另外，在上下移动脸部时，活性标记可在列表树上朝上下移动。
另外，在向前移动一次或多次脸部时，能够以点击的含义在列表树上选择某个项目。
即，智能眼镜70的佩戴者可向左右、前后、上下移动脸部、根据移动次数而在眼镜透镜50、60上的列表树上向左右、上下移动来选择特定项目、或显示崭新的窗口。
另一方面，特定的脸部移动及移动次数也可指示储存影像及传输所储存的影像。
AR服务器100是在相机10拍摄的影像中附加扩增实境并向佩戴者提供扩增实境的服务器。
如上所述，相机10拍摄的影像可经由无线传输设备30提供到AR服务器100，AR服务器100可形成与接收到的影像相关的扩增实境，并将所形成的扩增实境及附加有扩增实境的影像传输到无线传输设备30。
此后，无线传输设备30可将附加有扩增实境的影像显示到智能眼镜70的眼镜透镜50、60上。
或者，AR服务器100可不经由无线传输设备30而将附加有扩增实境的影像显示到智能眼镜70的眼镜透镜50、60上。
根据实施例，AR服务器100可利用AI(Artificial Intelligence，人工智能)功能来分析影像。此时，一实施例的AR服务器100可利用所搭载的AI来根据规定的基准将影像划分为分割(Segmentation)。另外，AR服务器100可按照相应的规定基准对利用AI划分的影像分割进行分类。根据实施例，规定的基准目前可包含使用手术工具、使用药物、手术方式、手术区域、是否使用AR计时器、手术参与人员的医疗经验、数据档案等各种基准。AR服务器100的AI在判断整体拍摄的影像中的一部分符合所述基准中的任一个以上的基准时，可将相应基准的标志(Mark)信息附加到该影像的分割并储存。例如，在影像中显示“使用A手术工具的手术场景”的情况下，AR服务器100的AI可在该影像中附加“A手术工具”的标志信息来储存影像分割。或者，在根据10点3分的影像确认到使用麻醉药B且在10点8分结束麻醉药B的使用的情况下，AR服务器100的AI将10点3分到8分为止的影像单独划分为分割，在对划分出的该影像分割附加表示麻醉药B的标志信息(例如，可为井号标签形态-#麻醉药B等)后，将该影像分割单独划分为数据来储存。
另一方面，所述相机10、无线传输设备30及智能眼镜70可设置在设备搁置架90，所述设备搁置架90可另外设置有显示设备80，因此可显示相机10拍摄的影像及附加有扩增实境的影像。
另外，由于可调节设备搁置架90的支撑部，因此可调节整体高度。
本发明的又一实施例的利用扩增实境的手术辅助装置还可包含数据储存部(未图示)。数据储存部可储存相机拍摄的影像及/或AR服务器100对相机拍摄的影像应用扩增实境生成的AR影像。
以上，对本发明的一实施例的利用扩增实境的手术辅助装置进行了说明。接着以下为具体地对AR服务器100生成的扩增实境的种类进行说明。
图4及图5分别是表示本发明的一实施例的利用扩增实境的手术辅助装置提供手术列表树的流程图与手术列表树示意图。
参照图4及图5，本发明的一实施例的利用扩增实境的手术辅助装置可提供手术列表树。
在开始手术时，AR服务器100可提供手术列表树作为扩增实境，这种手术列表树可显示在智能眼镜70的眼镜透镜50、60上。
佩戴者可在所显示的手术列表树上选择想要进行的手术项目，在佩戴者选择特定手术项目的情况下，能够以影像形式提供该手术方法。在这种情况下，佩戴者根据提供的影像进行手术即可，可更容易且安全地进行手术。
佩戴者在所显示的手术列表树上选择想要进行的手术项目的方法如下：佩戴者可通过左右转动脸部、或调节向左侧或右侧转动的次数而在手术列表树上激活应用于患者的手术项目。
此后，通过在激活的手术项目下前后移动脸部来点击所激活的手术项目，从而能够以扩增实境的形式提供手术项目的手术方法。
例如，参照图5，佩戴者可向右侧转动脸部2次，使活性标记到达肺癌，由此可激活肺癌项目。此后，佩戴者可执行向前移动脸部1次或2次的点击动作来选择肺癌项目。其结果，能够以扩增实境的形式将肺癌的手术方法提供到眼镜透镜50、60上。
图6是表示本发明的一实施例的利用扩增实境的手术辅助装置根据所提供的影像来提示手术方法的流程图。
参照图6，本发明的一实施例的利用扩增实境的手术辅助装置可根据相机10提供的影像来提示手术方法。
在手术时，相机10可在拍摄患处或手术部位后，将影像提供到无线传输设备30。无线传输设备30可将所提供的影像传输到AR服务器100，AR服务器100可利用AI(ArtificialIntelligence)功能来分析影像，并以扩增实境的形式将所需的手术方法提供到影像中。
此后，佩戴者可通过左右转动脸部、前后移动脸部、或旋转脸部来选择是否使用AR服务器100所提供的手术方法，在佩戴者接受所提供的手术方法的情况下，能够以扩增实境的形式提供该影像。
或者，佩戴者可拒绝AR服务器100所提供的手术方法，在此情况下，可通过左右转动脸部、前后移动脸部、或旋转脸部来向AR服务器100请求其他手术方法。
另一方面，AR服务器100也可根据提供的手术方法来进一步提示手术工具，其结果，可防止佩戴者因失误而使用错误的手术工具的情况。
图7是表示本发明的一实施例的利用扩增实境的手术辅助装置强调手术部位的情况影像的示意图。
参照图7，可利用扩增实境的手术辅助装置对佩戴者强调手术部位。在进行内部切除术时，能够以扩增实境的形式对切除部位提供如四边形虚线的强调标记A，以使佩戴者准确地掌握切除部位。根据又一实施例，能够以扩增实境的形式将“从进行切除开始到目前为止所经过的时间(例如，3秒、4秒等)”实时显示到切除部位上。
如上所述，扩增实境可强调患处中需要进行手术的部位，在需要进行手术的部位为多个的情况下，可依次强调需要进行手术的部位。在这种情况下，佩戴者可准确地掌握手术顺序，因此可防止错误地进行手术。
图8是表示本发明的一实施例的利用扩增实境的手术辅助装置使手术信息中脱离安全范围的信息闪烁的情况影像的示意图。
参照图8，利用扩增实境的手术辅助装置可使手术信息中脱离安全范围的信息闪烁。
以扩增实境的形式提供的信息可为患者的脉搏数、血压、手术经过时间及麻醉有效时间中的任一种以上的手术信息，可使这种手术信息中脱离安全范围的手术信息闪烁来提醒佩戴者。
例如，在麻醉有效时间只剩50分钟而需要尽快结束手术的情况下，可使麻醉有效时间闪烁来提醒佩戴者可进行手术的时间所剩不多。
图9是表示本发明的一实施例的利用扩增实境的手术辅助装置向佩戴者提示实际手术进行状态及理想的手术进行状态的情况影像的示意图。
参照图9，利用扩增实境的手术辅助装置可向佩戴者提示实际手术进行状态及理想的手术进行状态。
AR服务器100在手术中提供理想的手术进行状态，由此可使佩戴者对实际手术进行状态与所述理想的手术进行状态进行比较。
具体而言，在肺癌手术中切除肺的特定部位时，可在眼镜透镜50、60上提供扩增实境，以便对实际切除部位及切除尺寸D1与理想的切除部位及切除尺寸D2进行比较。根据比较结果判断为切除部位及切除尺寸相同或相似的情况下，可确认手术进行状态良好。
图10是表示本发明的一实施例的利用扩增实境的手术辅助装置提供协诊列表树的示意图。
参照图10，利用扩增实境的手术辅助装置可将协诊列表树提供到智能眼镜70的眼镜透镜50、60上。
AR服务器100提供协诊列表树作为扩增实境，佩戴者可通过左右转动脸部、或调节向左侧或右侧转动的次数而在协诊列表树上激活所期望的一个以上的协诊项目，在激活的协诊项目下前后移动脸部，由此可点击所激活的协诊项目来请求协诊。
例如，参照图10，佩戴者向右侧转动脸部2次，使活性标记到达神经外科项目，由此可激活神经外科项目。此后，佩戴者可执行向前移动脸部1次或2次的点击动作来选择神经外科项目。此后，智能眼镜70及无线传输设备30可向所选择的神经外科发送协诊委托信号。
另外，这种协诊项目可选择一种以上，除神经外科以外，也可按照相同的方式向内分泌科发送协诊请求。
图11是表示本发明的一实施例的利用扩增实境的手术辅助装置对手术方法的顺序进行再调整后重新提供的步骤流程图。
参照图11，利用扩增实境的手术辅助装置可对手术方法的顺序进行再调整后重新提供。
原先AR服务器100提供的手术方法的顺序为a步骤、b步骤、c步骤、d步骤及e步骤，但在不同情况下，根据佩戴者的任意选择，佩戴者可不按照AR服务器100提供的手术方法的顺序来进行手术。
在这种情况下，AR服务器100可利用AI并考虑至此为止进行的手术过程及患者的状态等来对手术方法的顺序进行再调整后，重新按照a步骤、c步骤、d步骤、b步骤及e步骤的顺序来提供。
另一方面，根据情况，在佩戴者错误地进行手术方法的顺序时，AR服务器100可掌握这一情况并考虑错误地进行的状态来消除该状态后，重新提供手术方法的顺序以成功地进行手术。
图12是本发明的另一实施例的利用扩增实境的手术辅助装置在协诊时将扩增实境提供到多个智能眼镜70的示意图。
参照图12，利用扩增实境的手术辅助装置可将扩增实境提供到多个智能眼镜70。
在佩戴者为多人而智能眼镜70为多个的情况下，AR服务器100可将相同的扩增实境或不同的扩增实境提供到多个智能眼镜70。
例如，由于在手术时需要协诊，因此主刀医生与麻醉医生可各自佩戴智能眼镜70。此时，主刀医生与麻醉医生可位于同一手术室，也可位于不同的空间内。
在需要协诊的情况下，主刀医生所需的扩增实境内容与麻醉医生所需的扩增实境内容可能会不同，因此AR服务器100可通过向主刀医生提供A扩增实境且向麻醉医生提供B扩增实境来提供不同的扩增实境。
另一方面，根据情况，可在智能眼镜70的左右眼镜透镜50、60上提供不同的扩增实境，在这种情况下，佩戴者可接收到各种且大量的扩增实境。
又一实施例的利用扩增实境的手术辅助装置能够以如下方案进行动作来实现用以执行协诊的方法。
如上所述，数据储存部(未图示)可储存(a)相机10拍摄的拍摄影像及/或(b)AR服务器100对拍摄影像应用扩增实境生成的AR影像。此时，一实施例的AR服务器100可利用AI将拍摄影像及AR影像中的任一种影像或两者类别化。
一实施例的“影像类别化作业”是指如下动作：在(i)预先设定有用以对影像进行分类的多个类别项目，且(ii)拍摄影像及/或AR影像的分割(segmentation)属于多个类别项目中的至少一个类别项目的情况下，AR服务器100的AI对相应的影像分割赋予类别信息来按照各类别进行分类并储存。
此时，一实施例的类别项目可包含手术工具种类、使用药物种类、手术方式、手术区域、是否使用AR计时器及手术参与人员的数据档案中的任一种以上。例如，各手术工具可附着有单独的标签(Tag)，AR服务器100的AI可通过在影像中识别标签来确认正在使用哪种手术工具，对整个影像中的使用所识别的手术工具的影像分割附加所识别的手术工具的类别信息(例如，表示手术工具A的标志等)后，按照与所识别的手术工具对应的类别对该影像分割进行分类并储存到数据储存部。
另一方面，在手术中或手术前/后有协诊请求的情况下，AR服务器100可利用AI仅选择所需的影像来提供给成为协诊请求对象的专科医生。更具体而言，AR服务器100的AI可从智能眼镜70的佩戴者接收协诊请求信号。例如，佩戴者可通过调节脸部移动形态及各移动的尝试次数来向其他医护人员请求协诊。或者，AR服务器100的AI在根据预先设定的手术列表树、手术方法等判断需要协诊的情况下，可向其他医护人员请求协诊。判断需要协诊的基准可预先设定并储存在AR服务器100。另外，选择成为协诊请求对象的协诊专科医生的选择基准可预先设定并储存在AR服务器100。
在发生协诊请求的情况下，AR服务器100的AI可根据规定的基准自动分类，并选择所储存的影像分割中的判断为作为协诊请求对象的专科医生(以下称为“协诊专科医生”)所需的影像分割来提供。此时，AR服务器100的AI可对协诊专科医生的信息与附加在影像分割中的类别信息进行比较，并将信息彼此匹配的影像分割提供给协诊专科医生。例如，在需要向麻醉医生请求协诊的情况下，AR服务器100的AI可在附加有类别信息而完成分类的影像分割中读出附加有与麻醉医生的相关性为规定值以上的类别信息(例如，“全身麻醉”、“局部麻醉”、“切开”等)的影像分割后，实时或与实际手术隔开规定时差来向麻醉医生传输所读出的影像分割。例如，被请求协诊的专科医护人员可在佩戴智能眼镜后进行协诊，可在协诊专科医生佩戴的智能眼镜上播放所读出的影像分割。或者，协诊专科医生可通过另外的监视器进行协诊，监视器可播放所读出的影像分割。
以上，参照附图，对本发明的实施例进行了说明，但本发明所属的技术领域内的普通技术人员应可理解，可不变更本发明的技术思想或必要特征而以其他具体形态实施。因此，应理解，以上所记述的实施例在所有方面均为例示，并无限定性含义。

Claims (12)

1.一种利用扩增实境的手术辅助装置，其包含：
相机，拍摄患者患处或手术部位；
无线传输设备，实时收发所述相机拍摄的影像；
智能眼镜，将所述无线传输设备传输的所述影像显示给佩戴者；及
AR服务器，在所述影像中附加扩增实境，并向所述智能眼镜提供有所述扩增实境的AR影像；及
数据储存部，储存所述相机拍摄的影像及所述AR影像；
所述AR服务器基于预先设定的类别项目而对所述相机 拍摄的 影像及所述AR影像中的一种影像或两者执行类别化作业，
按照各类别对执行所述类别化作业产生且附加有类别信息的影像分割(segmentation)进行分类并储存到所述数据储存部，
所述AR服务器根据预先设定的协诊专科医生选择基准来选择协诊专科医生，对所选择的所述协诊专科医生的信息与附加在所述影像分割中的类别信息进行比较，仅读取附加有匹配的类别信息的影像分割后，提供到所选择的所述协诊专科医生佩戴的智能眼镜上。
2.根据权利要求1所述的利用扩增实境的手术辅助装置，其中
所述智能眼镜包含陀螺传感器、地磁传感器、角速度计及六轴传感器中的任一种以上的移动感测传感器，
所述AR服务器提供手术列表树作为扩增实境，当通过所述移动感测传感器感测到佩戴者的脸部移动方向及朝该移动方向的尝试次数时，在所述手术列表树中激活应用于所述患者的手术项目，如果选择所激活的手术项目，则以扩增实境的形式提供所述手术项目的手术方法。
3.根据权利要求1所述的利用扩增实境的手术辅助装置，其中
所述无线传输设备将所述影像提供到所述AR服务器，
所述AR服务器以扩增实境的形式将所需的手术方法提供到所述影像。
4.根据权利要求3所述的利用扩增实境的手术辅助装置，其中
所述智能眼镜包含陀螺传感器、地磁传感器、角速度计及六轴传感器中的任一种以上的移动感测传感器，
所述智能眼镜根据所述移动感测传感器感测到的佩戴者的脸部移动方向及朝该移动方向的尝试次数来选择是否使用所述AR服务器所提供的所述手术方法、或向所述AR服务器请求其他手术方法。
5.根据权利要求2或3所述的利用扩增实境的手术辅助装置，其中
在所述佩戴者不按照所述AR服务器提供的所述手术方法的顺序来进行手术的情况下，所述AR服务器利用AI功能并考虑包含至此为止所进行的手术过程及患者状态的信息来对手术方法的顺序进行再调整后重新提供。
6.根据权利要求2或3所述的利用扩增实境的手术辅助装置，其中
所述AR服务器根据所提供的所述手术方法提示手术工具。
7.根据权利要求1至3中任一项所述的利用扩增实境的手术辅助装置，其中
所述扩增实境为包含所述患者的脉搏数、血压、手术经过时间及麻醉有效时间中的任一个以上的手术信息，
所述手术信息中脱离安全范围的手术信息通过闪烁来提醒所述佩戴者。
8.根据权利要求1所述的利用扩增实境的手术辅助装置，其中
所述扩增实境强调所述患者患处中需要进行手术的部位，
在需要进行手术的部位为多个的情况下，依次强调需要进行手术的部位。
9.根据权利要求1所述的利用扩增实境的手术辅助装置，其中
所述智能眼镜包含陀螺传感器、地磁传感器、角速度计及六轴传感器中的任一种以上的移动感测传感器，
所述AR服务器提供协诊列表树作为扩增实境，
所述智能眼镜根据所述移动感测传感器感测到的佩戴者的脸部移动方向及朝该移动方向的尝试次数而在所述协诊列表树中激活特定协诊项目，如果选择所激活的协诊项目，则向所述AR服务器请求协诊。
10.根据权利要求1所述的利用扩增实境的手术辅助装置，其中
在所述佩戴者为多人而所述智能眼镜为多个的情况下，
所述AR服务器向多个所述智能眼镜提供相同的扩增实境或不同的扩增实境。
11.根据权利要求1所述的利用扩增实境的手术辅助装置，其中
所述智能眼镜的左右眼镜透镜上提供有不同的扩增实境。
12.根据权利要求1所述的利用扩增实境的手术辅助装置，其中
所述类别项目包含手术工具种类、使用药物种类、手术方式、手术区域、是否使用AR计时器、及手术参与人员的数据档案中的任一种以上。
CN201980074954.8A 2018-11-14 2019-11-08 利用扩增实境的手术辅助装置 Active CN113038902B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180139902A KR102270170B1 (ko) 2018-11-14 2018-11-14 증강 현실을 이용한 수술 보조 장치
KR10-2018-0139902 2018-11-14
PCT/KR2019/015171 WO2020101283A1 (ko) 2018-11-14 2019-11-08 증강 현실을 이용한 수술 보조 장치

Publications (2)

Publication Number Publication Date
CN113038902A CN113038902A (zh) 2021-06-25
CN113038902B true CN113038902B (zh) 2022-03-11

Family

ID=70731189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980074954.8A Active CN113038902B (zh) 2018-11-14 2019-11-08 利用扩增实境的手术辅助装置

Country Status (6)

Country Link
US (1) US11291521B2 (zh)
EP (1) EP3881792A4 (zh)
JP (1) JP7014935B2 (zh)
KR (1) KR102270170B1 (zh)
CN (1) CN113038902B (zh)
WO (1) WO2020101283A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US20220104896A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Interactive information overlay on multiple surgical displays
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
CN113194299B (zh) * 2021-07-01 2021-08-31 深圳市修远文化创意有限公司 一种智能医疗场景下的口腔治疗实时画面分享方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202801804U (zh) * 2012-09-11 2013-03-20 厦门腾宸信息科技有限公司 医疗分析辅助系统
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
CN106909771A (zh) * 2015-12-23 2017-06-30 西门子医疗有限公司 用于输出增强现实信息的方法和系统
CN107016685A (zh) * 2017-03-29 2017-08-04 浙江大学 一种实时匹配的手术场景增强现实投射方法
KR20170093422A (ko) * 2016-02-05 2017-08-16 길재소프트 주식회사 증강현실 영상을 지원하는 초음파 영상 진단 시스템
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
CN107305424A (zh) * 2016-04-18 2017-10-31 美宏科技有限公司 智能巡房系统
CN107468337A (zh) * 2017-08-03 2017-12-15 苏州医视医疗科技有限公司 基于智能眼镜的手术导航平台
CN107613897A (zh) * 2015-10-14 2018-01-19 外科手术室公司 扩增实境的外科导航

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140073907A1 (en) * 2012-09-12 2014-03-13 Convergent Life Sciences, Inc. System and method for image guided medical procedures
EP2775412A1 (en) * 2013-03-07 2014-09-10 Medesso GmbH Method of generating a medical suggestion as a support in medical decision making
EP3022672A2 (en) * 2013-07-16 2016-05-25 Seiko Epson Corporation Information processing apparatus, information processing method, and information processing system
JP6311393B2 (ja) * 2014-03-28 2018-04-18 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
KR102070281B1 (ko) * 2013-08-26 2020-01-28 엘지전자 주식회사 두부 장착형 디스플레이 장치 및 이의 제어방법
US9538962B1 (en) * 2014-12-31 2017-01-10 Verily Life Sciences Llc Heads-up displays for augmented reality network in a medical environment
CN114903591A (zh) * 2016-03-21 2022-08-16 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US10660570B2 (en) * 2016-12-31 2020-05-26 Daqri, Llc Attention, comprehension, and drowsiness monitoring via head mounted device supporting augmented and mixed reality experiences
US9922172B1 (en) * 2017-02-28 2018-03-20 Digital Surgery Limited Surgical guidance system based on a pre-coded surgical procedural map

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202801804U (zh) * 2012-09-11 2013-03-20 厦门腾宸信息科技有限公司 医疗分析辅助系统
JP2015019679A (ja) * 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
CN107249497A (zh) * 2015-02-20 2017-10-13 柯惠Lp公司 手术室和手术部位感知
CN107613897A (zh) * 2015-10-14 2018-01-19 外科手术室公司 扩增实境的外科导航
CN106909771A (zh) * 2015-12-23 2017-06-30 西门子医疗有限公司 用于输出增强现实信息的方法和系统
KR20170093422A (ko) * 2016-02-05 2017-08-16 길재소프트 주식회사 증강현실 영상을 지원하는 초음파 영상 진단 시스템
CN107305424A (zh) * 2016-04-18 2017-10-31 美宏科技有限公司 智能巡房系统
CN107016685A (zh) * 2017-03-29 2017-08-04 浙江大学 一种实时匹配的手术场景增强现实投射方法
CN107468337A (zh) * 2017-08-03 2017-12-15 苏州医视医疗科技有限公司 基于智能眼镜的手术导航平台

Also Published As

Publication number Publication date
KR20200056051A (ko) 2020-05-22
KR102270170B1 (ko) 2021-06-25
EP3881792A4 (en) 2022-09-07
JP2022507478A (ja) 2022-01-18
US20210401533A1 (en) 2021-12-30
JP7014935B2 (ja) 2022-02-01
WO2020101283A1 (ko) 2020-05-22
US11291521B2 (en) 2022-04-05
EP3881792A1 (en) 2021-09-22
CN113038902A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113038902B (zh) 利用扩增实境的手术辅助装置
US20220334787A1 (en) Customization of overlaid data and configuration
US11432877B2 (en) Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
US10543046B2 (en) Digitally enhanced surgical instruments
EP3138526B1 (en) Augmented surgical reality environment system
US10073515B2 (en) Surgical navigation system and method
US11839433B2 (en) System for guided procedures
US11350994B2 (en) Surgery planning
WO2019143635A1 (en) A step-based system for providing surgical intraoperative cues
JP2023544035A (ja) どのディスプレイシステムが一次情報を表示するかを制御するためのユーザの視覚的凝視の監視
WO2016083927A1 (en) Method, system and apparatus for displaying surgical engagement paths
EP3413774A1 (en) Database management for laparoscopic surgery
WO2017151904A1 (en) Methods and systems for anatomical image registration
Gunawardena et al. Assessing surgeons' skill level in laparoscopic cholecystectomy using eye metrics
CN106097294A (zh) 基于自动对应进行骨重定位
KR102458491B1 (ko) 실시간 수술영상 태깅이 가능한 원격협진지원시스템
EP4178473A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device
CN117441212A (zh) 用渲染元素将混合直接可视化以显示混合元素以及在屏幕上和在屏幕外正在发生的动作
CN117461093A (zh) 基于触发事件来改变外科视野的显示叠加项的系统和方法
KR20230135754A (ko) 태그가 포함된 수술영상의 거래 및 사용을 위한 중개시스템
KR20240064970A (ko) 혼합현실 기반 수술 지원 장치 및 방법
EP4136651A1 (en) Mixing directly visualized with rendered elements to display blended elements and actions happening on-screen and off-screen
CA2892298A1 (en) Augmented surgical reality environment system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant