ES2899353T3 - Sistema digital para captura y visualización de video quirúrgico - Google Patents

Sistema digital para captura y visualización de video quirúrgico Download PDF

Info

Publication number
ES2899353T3
ES2899353T3 ES13785660T ES13785660T ES2899353T3 ES 2899353 T3 ES2899353 T3 ES 2899353T3 ES 13785660 T ES13785660 T ES 13785660T ES 13785660 T ES13785660 T ES 13785660T ES 2899353 T3 ES2899353 T3 ES 2899353T3
Authority
ES
Spain
Prior art keywords
roi
image
images
hmd
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13785660T
Other languages
English (en)
Inventor
Ron Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=49515442&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2899353(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Application granted granted Critical
Publication of ES2899353T3 publication Critical patent/ES2899353T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A61B5/0086—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters using infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/18—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors
    • G02B7/182—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors
    • G02B7/1822—Mountings, adjusting means, or light-tight connections, for optical elements for prisms; for mirrors for mirrors comprising means for aligning the optical axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/368—Correlation of different images or relation of image positions in respect to the body changing the image on a display according to the operator's position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35503—Eye tracking associated with head mounted display to detect eye position

Abstract

Un sistema de microscopía quirúrgica digital, que comprende: una cámara configurada para capturar imágenes de un área operada; una pantalla montada en la cabeza (HMD) configurada para mostrar aumentos de dicha área operada a un usuario, mostrando imágenes de la región de interés (ROI) recortadas de dichas imágenes; una unidad de memoria; y un dispositivo de procesamiento acoplado con dicha HMD, dicha cámara y dicha unidad de memoria, dicho dispositivo de procesamiento configurado para recibir una entrada que indica dicha ROI, y configurado para producir dichas imágenes de ROI por cualquiera de: tomar una imagen completa de un sensor de imagen de dicha cámara y recortar digitalmente dicha ROI de dicha imagen completa; o tomar dicha ROI de dicho sensor de imagen y no dicha imagen completa; en donde dicha unidad de memoria está configurada para almacenar dicha imagen completa o dicha ROI; en donde dicho sistema de microscopía quirúrgica digital es un sistema no endoscópico.

Description

DESCRIPCIÓN
Sistema digital para captura y visualización de video quirúrgico
Antecedentes
1. Campo técnico
La presente invención se refiere al campo de la formación de imágenes médicas y, más particularmente, a la captura y visualización quirúrgica digital.
2. Discusión de técnica relacionada
Las técnicas actualmente disponibles para procedimientos quirúrgicos con microscopio utilizan un microscopio óptico clásico. El microscopio quirúrgico clásico básico está construido con componentes ópticos de alta calidad, una lente de objetivo con zoom, un ocular para la vista del usuario y un motor XY. El usuario (o cirujano) ve el objeto relevante a través de canales ópticos directos. Existen técnicas para plegar los rayos de luz en el microscopio para diseñar una estructura más cómoda y ergonómica para el usuario. Sin embargo, debido a que los microscopios se basan en canales de rayos de luz directa, tienen una capacidad y flexibilidad limitadas para ubicar y desplazar el ocular. Además, debido al método clásico de visión directa del microscopio, sin medios ni sensores digitales, los usuarios no se benefician de las ventajas del dominio digital.
Durante el uso prolongado del microscopio (en particular, operaciones quirúrgicas), el usuario debe colocar su cabeza fija al microscopio durante un largo período de tiempo. El tiempo que el usuario mantiene la cabeza en el microscopio puede provocar dolores de cuello.
Las técnicas actualmente disponibles de procedimientos endoscópicos (laparoscopia, colonoscopia y similares) incluyen proyectar el video en grandes monitores fijos en el quirófano (OR). El endoscopio está acoplado a una cámara digital. El video de la cámara se proyecta en una pantalla grande. Todo el personal, en particular el cirujano principal, debe ver la operación cuando su cabeza está fija en la dirección del monitor. La falta de capacidad para mover la cabeza, verse entre sí y sus instrumentos hace que la cirugía sea más complicada, arriesgada y aumenta el tiempo de operación (en algunos de los casos también puede provocar un aumento en el número de miembros del personal). Es muy difícil para el personal de apoyo del cirujano ayudar, ya que no ven sus acciones directas y no comparten su perspectiva.
El documento de publicación de la solicitud de patente de EE.UU N.°: US 2009/0245600 A1 está dirigido a un sistema de panorámica y zoom digital para vídeo digital para su uso en sistemas quirúrgicos robóticos mínimamente invasivos. El sistema describe un dispositivo quirúrgico mínimamente invasivo que incluye un dispositivo de adquisición de imágenes (cámara endoscópica), una memoria intermedia de imágenes, un dispositivo de visualización, un dispositivo de filtrado y correspondencia digital y una interfaz de usuario. La memoria intermedia de imágenes está acoplada con la cámara endoscópica y el dispositivo de filtrado y correspondencia digital. La cámara endoscópica se mueve físicamente en el tejido de un paciente (es decir, un sitio quirúrgico mínimamente invasivo) y captura imágenes de video digital. La memoria intermedia de imágenes almacena fotogramas de las imágenes de vídeo digitales como píxeles de origen. La interfaz de usuario recibe la entrada del usuario que incluye un rectángulo de origen para seleccionar los píxeles de origen dentro de los fotogramas de las imágenes de video digital, un rectángulo de destino para seleccionar los píxeles de destino dentro del dispositivo de visualización para mostrar imágenes y una región de interés dentro de las imágenes de video digital para mostrar en el rectángulo de destino. El dispositivo de correspondencia y filtrado digital hace corresponder y filtra selectivamente los píxeles de origen en una región de interés desde la memoria intermedia de imágenes en píxeles de destino en un rectángulo de destino del dispositivo de visualización, según la entrada del usuario.
El documento de publicación Internacional PCT N.°: WO 2011/142165 A1 está dirigido a un dispositivo de entrada de operación y un sistema manipulador. El sistema incluye un sistema manipulador que incluye al menos un manipulador, un dispositivo de entrada de operación que tiene una unidad de visualización, un endoscopio, una unidad de operación, una unidad montada en la cabeza, sensores de posiciones relativas y una unidad de control. El al menos un manipulador incluye motores que cambian su respectiva posición, orientación y estado de actuación. El al menos un manipulador y el endoscopio se insertan dentro del cuerpo de un paciente. La unidad montada en la cabeza está montada en la cabeza de un operador. La unidad de operación opera un objeto visualizado que se visualiza en la pantalla. El endoscopio captura imágenes de video del interior del paciente, incluida una imagen de video del manipulador. Los sensores de posición relativa detectan la posición relativa y la orientación relativa de la unidad montada en la cabeza con respecto a la unidad operativa. Cuando la posición relativa y la orientación relativa de la unidad operativa cambian con respecto a la unidad montada en la cabeza, la unidad de control determina si el cambio se debe a un desplazamiento de la unidad montada en la cabeza o un desplazamiento de la unidad operativa. La unidad de control genera una señal de control para mover el endoscopio debido al desplazamiento de la unidad montada en la cabeza, y genera señales de control para los manipuladores debido al desplazamiento de la unidad operativa. La unidad de control acciona el objeto de visualización que se visualiza según los cambios en la posición relativa y la orientación relativa detectada por los sensores de posición relativa. Las imágenes de video capturadas por el endoscopio se muestran en la unidad montada en la cabeza para que el operador las vea.
El documento de Solicitud de patente japonesa N.°: JP 2002-85330A está dirigido a un aparato endoscópico de visión estereoscópica para ver un objeto que facilita la percepción de la profundidad por parte del usuario. El aparato endoscópico de visión estereoscópica incluye dos sistemas ópticos (un par de sistemas ópticos), un endoscopio de visión estereoscópica rígida, dos unidades de control de cámara (CCU), una pantalla de visión estereoscópica, un monitor, una unidad de control de zoom, lentes polarizados y un interruptor. El endoscopio de visión estereoscópica rígida incluye una parte de inserción alargada y una parte de extremo de base. La parte de inserción alargada incluye dos sistemas ópticos de objetos que exhiben paralaje para formar imágenes para fotografiar, y dos sistemas ópticos de retransmisión para transmitir imágenes para fotografiar (para ver por los ojos izquierdo y derecho de un usuario). La parte del extremo de la base incluye dos prismas, dos oculares, dos sistemas ópticos de ocular, dos sistemas ópticos de aumento variable y dos cámaras de televisión (TV). Cada uno de los sistemas ópticos de aumento variable incluye mecanismos de accionamiento, que a su vez incluyen motores y engranajes. Cada una de las cámaras de TV incluye un sensor de dispositivo de carga acoplada (CCD) que está conectado a un ocular respectivo. Las imágenes a fotografiar se transmiten desde los sistemas ópticos de dos objetos a los sensores CCD. Los dos prismas reflejan un eje óptico de 90 grados. Las cámaras de televisión adquieren imágenes del objeto. Las CCU reciben las imágenes de las cámaras de televisión y las procesan con la señal para generar una señal de vídeo. La pantalla de visión estereoscópica muestra las dos imágenes observadas en paralaje. La unidad de control de zoom incluye controladores de motor, que a su vez controlan los motores. Una parte del borde de los datos de imagen de las CCU se extrae y luego se compara (entre los datos de imagen del sistema óptico derecho e izquierdo) y, basándose en el resultado de la comparación, la unidad de control de zoom controla los controladores del motor. A través de los controladores del motor, la unidad de control del zoom controla los sistemas ópticos de aumento variable de modo que los mecanismos de accionamiento mueven una dirección de eje óptico hacia adelante y hacia atrás y, al hacerlo, varían el aumento, hasta que el par de imágenes de objetos a fotografiar de las CCU llegan a ser sustancialmente iguales. Al presionar el interruptor, se controlan los mecanismos de transmisión, controlando efectivamente el aumento. El monitor muestra las dos imágenes alteradas o simultáneamente. Las gafas polarizadas permiten ver el objeto con un efecto tridimensional (3-D).
Breve compendio
La invención se define en las reivindicaciones adjuntas. Una realización de esta descripción proporciona un sistema que integra datos de instrumentos de visualización quirúrgica, como microscopios, laparoscopios, datos de instrumentos de imágenes médicas existentes, como resonancias magnéticas y tomografías computarizadas, el historial médico del paciente y los signos vitales actuales disponibles en el quirófano (OR). Los nuevos sistemas también separan al usuario de cualquier instrumento fijo, haciendo que el entorno sea más ergonómico. El sistema puede mostrar una hoja de ruta en 3D y datos de referencia provenientes de instrumentos en el OR. Los datos pueden provenir de instrumentos de imágenes que capturan datos 3D en tiempo real. Otro método es recibir datos desde diferentes ángulos de captura, y el sistema generará los datos 3D para su visualización.
Otra realización de esta descripción proporciona un sistema digital que reemplaza al microscopio quirúrgico óptico clásico, mientras mantiene la resolución óptica y el campo de visión (FOV) del microscopio. Se utilizan dos cámaras digitales para capturar imágenes del área operada desde ángulos ligeramente diferentes, que luego se muestran a cada ojo, proporcionando imágenes en 3D. Otro método para capturar imágenes desde diferentes ángulos puede utilizar una cámara con un conjunto óptico especial. Las cámaras capturan un campo de visión grande, correspondiente al campo de visión más grande capturado por microscopios quirúrgicos. La imagen se muestra en un dispositivo montado en cabeza de doble pantalla. La dirección de la mirada del usuario (línea de visión del usuario) se mide mediante rastreadores de cabeza y ojos. Las imágenes capturadas y la dirección de la mirada se envían al ordenador del sistema. Según la dirección de la mirada, el ordenador recorta las imágenes de la cámara de la región de interés (ROI) relevante y las introduce en un sistema de visualización especialmente diseñado. Debe entenderse que la ROI puede tener cualquier forma y adaptarse a los fines de la aplicación.
En otra realización, la ROI puede seleccionarse mediante el uso de una entrada procedente del teclado, el ratón, la pantalla táctil y las interfaces. Además de las imágenes en 3D, el sistema de pantalla dual proporciona video de alta resolución, comparable al del ojo humano, en el área de interés actual del usuario. La pantalla puede diseñarse para presentar alta resolución en todo su campo de visión o puede diseñarse para mantener baja resolución en el campo de visión periférico para el conocimiento de la situación. Según una realización, la ROI se puede derivar rastreando un punto de una herramienta (por ejemplo, un bisturí) sostenido por un cirujano. De esta manera, la ROI se actualiza en tiempo real a medida que avanza la operación.
Otra realización más de la presente invención proporciona un sistema digital para aplicaciones que no requieren un microscopio óptico. Las aplicaciones pueden estar relacionadas (pero no solo) con la imagenología en el área de cirugía ortopédica, cirugía ginecológica, otorrinolaringología, neurocirugía, cirugía oncológica, pediátrica, oral y maxilofacial, cirugía plástica, cateterismo, laparoscopia y colonoscopia. La fuente de video es capturada por el ordenador, junto con el rastreador de cabeza. En este sistema, el ordenador recorta la ROI relevante (si la hubiera) y transmite la imagen a la pantalla. La pantalla puede ser del tipo de ojo único o doble, lo que permite 2D o 3D, según la naturaleza de la aplicación y la fuente de vídeo. La pantalla transparente permite al usuario una visión periférica. La ROI como se hace referencia en este documento en esta aplicación puede incluir no solo la ubicación de la ROI dentro de la imagen, sino también los metadatos relacionados con el ángulo de visión, el tipo de objetos que se van a ver y otros datos que pueden presentarse dentro de la ROI, como mensajes y alertas. .
En consonancia con algunas realizaciones de la presente invención, los sistemas mencionados anteriormente pueden estar provistos de elementos tales como: El procesador y las fuentes de video pueden soportar que múltiples usuarios tengan su propio conjunto de rastreador y pantalla de la dirección de la mirada. El video también se puede enviar a diferentes lugares con fines de consulta y enseñanza; El video se puede grabar para análisis y presentación futuros; La imagen de la fuente de video principal puede estabilizarse en el espacio, lo que permite el posicionamiento de otros instrumentos virtuales en direcciones convenientes para el usuario, brindando al paciente el historial, signos vitales actuales, resultados de pruebas anteriores, tomografías computarizadas y similares. El rastreador de cabeza se puede utilizar para controlar instrumentos orientables en la sala de operaciones.
Breve descripción de los dibujos
Para una mejor comprensión de las realizaciones de la invención y para mostrar cómo puede llevarse a cabo la misma, ahora se hará referencia, puramente a modo de ejemplo, a los dibujos adjuntos en los que números similares designan elementos o secciones correspondientes en todas partes.
En los dibujos adjuntos:
La Figura 1A es un diagrama de bloques esquemático que ilustra un aspecto según algunas realizaciones de la presente invención;
La Figura 1B es una vista en perspectiva que ilustra otro aspecto según algunas realizaciones de la presente invención;
La Figura 1C es un diagrama de bloques esquemático que ilustra otro aspecto según algunas realizaciones de la presente invención;
La Figura 1D es una vista en perspectiva que ilustra otro aspecto según algunas realizaciones de la presente invención;
La Figura 2A es un diagrama de bloques esquemático que ilustra otro aspecto más según algunas realizaciones de la presente invención;
La Figura 2B es una vista en perspectiva que ilustra otro aspecto más según algunas realizaciones de la presente invención;
La Figura 2C es un diagrama óptico de otro aspecto más según algunas realizaciones de la presente invención;
La Figura 2D muestra gráficos que ilustran otro aspecto más según algunas realizaciones de la presente invención;
La Figura 2E muestra vistas en perspectiva que ilustran otro aspecto más según algunas realizaciones de la presente invención;
La Figura 2F muestra imágenes que ilustran otro aspecto más según algunas realizaciones de la presente invención; y
La Figura 2G muestra imágenes que ilustran otro aspecto más según algunas realizaciones de la presente invención.
Descripción detallada
Con referencia específica ahora a los dibujos en detalle, se enfatiza que los detalles que se muestran son a modo de ejemplo y con el propósito de una discusión ilustrativa de las realizaciones preferidas de la presente invención solamente, y se presentan en la causa de proporcionar lo que se cree que sea la descripción más útil y fácilmente comprensible de los principios y aspectos conceptuales de la invención. En este sentido, no se intentan mostrar los detalles estructurales de la invención con más detalle de lo necesario para una comprensión fundamental de la invención, la descripción tomada con los dibujos pone de manifiesto para los expertos en la técnica cómo las diversas formas de la invención pueden incorporarse en la práctica.
Antes de explicar al menos una realización de la invención en detalle, debe entenderse que la invención no está limitada en su aplicación a los detalles de construcción y disposición de los componentes expuestos en la siguiente descripción o ilustrados en los dibujos. La invención es aplicable a otras realizaciones o se puede practicar o llevar a cabo de diversas formas. Además, debe entenderse que la fraseología y la terminología empleadas en este documento tienen el propósito de describir y no deben considerarse limitantes.
La presente invención, en sus realizaciones, incluye varios bloques de construcción principales como sigue: cámara o cámaras de alta resolución que tienen un FOV grande; una pantalla montada en la cabeza capaz de proyectar al usuario la resolución y el FOV deseados; un rastreador de cabeza y un rastreador ocular. Las realizaciones de la presente invención proporcionan una resolución angular que es comparable o mejor que la del ojo humano, y capaz de un aumento del objeto similar al de los microscopios quirúrgicos (aumento hasta ~30-40).
Además, algunos otros elementos también se pueden usar como sigue: una fuente de luz para iluminar la escena y el objeto, procesadores y dispositivos de interfaz. El sistema interactúa con los usuarios, el equipo del quirófano y la infraestructura necesaria, como la comunicación.
Según algunas realizaciones de la presente invención, se proporcionan aquí dos sistemas para microscopía digital. También se describe aquí un tercer sistema, principalmente para sistemas de endoscopios, pero no cae dentro del alcance de la invención. Muchos de los elementos de los sistemas son comunes a ambos sistemas y se describen a continuación, seguidos de una descripción detallada de las diferencias entre los sistemas.
Los sistemas propuestos pueden utilizar parte o todos los siguientes elementos comunes. Uno de esos elementos es una cámara de video. Los sistemas propuestos utilizan cámaras para capturar imágenes en vivo del área operada. La imagen se muestra en la pantalla montada en la cabeza (HMD) o en el monitor. La cámara o cámaras pueden ser: Reemplazo del microscopio - la cámara tiene una lente capaz de enfocar objetos a una distancia de decenas de centímetros. La cámara o cámaras se pueden agregar al microscopio - el complemento puede ser mediante el uso de un adaptador mecánico para colocarlo en un puerto dedicado (los microscopios quirúrgicos utilizan un divisor de haz para dividir la luz en el ocular del usuario y en puertos adicionales para ser utilizado por cámaras, otros oculares y similares).
La dirección de la mirada del usuario se mide mediante rastreadores de cabeza y/u ojos. Las imágenes capturadas por la cámara y la dirección de la mirada se envían al procesador del sistema. El procesador recorta la ROI relevante de las imágenes de la cámara de alta resolución. La resolución de las imágenes de la ROI se ajusta a la resolución de la pantalla. La ubicación (o coordenadas) de la ROI se calcula según la dirección de la mirada.
El procesador tiene puertos de entrada de datos para datos médicos importantes. Los datos pueden ser datos del historial del paciente, datos de monitorización o cualquier dispositivo médico externo.
El procesador realiza el procesamiento de imágenes en las imágenes capturadas. El procesamiento puede ser: Corrección de imagen, como correcciones de ruido de patrón fijo, correcciones de color, correcciones de distorsión, mejora del histograma y similares; Agregar marcadores en accesorios de imagen relevantes, rastrear objetos, enfatizar objetos y similares; Superposición de datos de monitorización o datos del historial del paciente; Fusionar el video con otro dispositivo de imágenes como CT, MRI, etc.
El procesador transmite las imágenes de ROI capturadas a los puertos de visualización. El dispositivo de visualización puede ser uno de los siguientes: HMD en color de alta calidad y alta resolución. La HMD puede ser una pantalla de dos ojos para video estéreo o una pantalla de un solo ojo para video mono. Aparte de la HMD, la pantalla puede ser cualquier monitor o dispositivo de proyección que muestre la imagen. El monitor puede ser un monitor 3D o un monitor 2D estándar. Todos los datos o parte de ellos se pueden guardar en la memoria del sistema. El control de la activación del sistema y las funciones importantes se pueden realizar mediante pedal, caja de control con teclado o activación por voz.
En este documento se describen varios tipos de sistemas. Las diferencias entre los sistemas se detallan a continuación.
Sistema I es un sistema para microscopía quirúrgica digital. En este sistema, la cámara o las cámaras capturan un área de FOV amplia, más grande que el f Ov de la pantalla. La resolución de la cámara es muy alta, por lo que es capaz de capturar todo el FOV con todos los detalles necesarios (para fines de gran aumento). Después de los primeros ajustes, el sistema no es necesario con mecanismos de movimientos mecánicos, como el movimiento XY o el zoom óptico. Debido a que la cámara captura todo el FOV de interés, la ampliación de datos o las áreas de interés se extraen digitalmente.
Sistema II es un sistema para microscopía quirúrgica digital. La cámara o cámaras capturan un área de campo de visión (FOV) amplia, más grande que el FOV de la pantalla. La resolución de la cámara es muy alta, pero puede necesitar movimientos mecánicos, como el movimiento XY o el zoom óptico para capturar un FOV extendido.
Sistema III es un sistema para endoscopia quirúrgica digital y no forma parte de la invención. En este tipo de sistema, el video se recibe de una fuente de imágenes externa como laparoscopía, colonoscopía, neurocirugía, resonancia magnética, tomografía computarizada, etc.
En consonancia con las realizaciones de la presente invención, la cámara usada en los sistemas mantiene el estándar requerido de microscopios quirúrgicos de gama alta que soportan los altos estándares de rendimiento óptico humano. Es decir, una imagen 3D nítida mientras se mantiene el conocimiento de la situación del FOV proporcionado por el microscopio. La cámara mantiene estos beneficios y proporciona al usuario una mayor funcionalidad y conciencia de la situación, mientras lo separa del microscopio. Las principales características de la cámara son: cámara 3D con ultra alta resolución; cámara 3D con resolución para cubrir todo el FOV del microscopio; y Cámara con ROI esclavizada a la HMD.
En un caso, la cámara se puede agregar a microscopios quirúrgicos. Mediante el uso de adaptadores y ópticas, la cámara se conectará a los microscopios. En otro caso, la cámara será con una lente objetivo (o lente fotográfica) que se utilizará para reemplazar todo el microscopio quirúrgico. La cámara tomará una imagen del objeto de interés y transmitirá la imagen a la unidad de procesamiento y a la pantalla (monitor o HMD). Es crucial mantener una latencia de tiempo pequeña desde la captura de la imagen hasta la visualización de la imagen. La pequeña latencia es crucial para que el usuario no sufra retrasos entre los movimientos en el plano del objeto hasta que se muestre la imagen.
En algunas realizaciones, se utilizan dos cámaras para capturar las imágenes del ojo izquierdo y derecho (proporcionadas por el microscopio) para obtener imágenes estéreo. Las cámaras están colocadas en dos ángulos diferentes para proporcionar a la pantalla imágenes desde diferentes ángulos que eventualmente crearán imágenes en 3D. Esta configuración se puede implementar en paralelo a los oculares existentes o reemplazándolos (ya sea mejorando los microscopios existentes o reemplazándolos por nuevos instrumentos).
En otras realizaciones, se pueden usar una o más cámaras para capturar imágenes desde diferentes posiciones. La captura se puede realizar para fijar la ubicación de la cámara/cámaras o cambiando la posición de las cámaras a diferentes ubicaciones. En cada lugar, las cámaras capturan la imagen y el procesador guarda las imágenes en la memoria. Las imágenes capturadas de la cámara/cámaras se pueden utilizar para generar un modelo 3D del objeto. Puede realizarse en tiempo real para cámaras fijas o no en tiempo real para cámaras en movimiento. El uso de ejemplo para esta realización puede ser la creación de un modelo 3d de la cabeza y el cerebro para neurocirugía. La cámara/cámaras se mueven a diferentes lugares alrededor de la cabeza del sujeto. Las imágenes se guardan en la memoria. El procesador utiliza las imágenes para generar un modelo 3D de la cabeza/cerebro. Se puede implementar un algoritmo de ejemplo para tal modelo 3D usando transformada de radón. Este modelo se puede utilizar durante la cirugía para ayudar al cirujano a navegar o mejorar la orientación 3D. El modelo 3D se puede mostrar al cirujano en pantalla 3D, pantalla montada en la cabeza, pantalla 2D como modelo 3D. La base de datos 3D también se puede utilizar para fines que no sean de visualización. El procesador puede realizar diferentes algoritmos en la base de datos, como correlación de imágenes, seguimiento y similares.
Según algunas realizaciones, donde están presentes una pluralidad de pantallas y una pluralidad de usuarios de varios tipos, el procesador del ordenador puede configurarse para aplicar una pluralidad de algoritmos de procesamiento de imágenes o de video predefinidos a al menos una ROI seleccionada y salidas presentes de los algoritmos sobre la pluralidad de pantallas. De esta manera, cada usuario puede seleccionar su propia ROI y recibir una imagen procesada a medida aplicando los algoritmos de procesamiento de imágenes o cualquier otra operación aplicada a la ROI y visualización específicas del usuario. Mediante las realizaciones mencionadas anteriormente, el procesador del ordenador se convierte en un medio para administrar los recursos del sistema en términos de sensores de imagen, dispositivos de entrada, ROI a seleccionar y las diversas pantallas presentes en la escena.
Como se muestra en la Figura 2B, algunos de los microscopios quirúrgicos emplean un diseño de objetivo principal común (CMO). Una gran ventaja de este diseño es la capacidad de incorporar prismas en la trayectoria óptica que permiten la desviación de parte de la luz sin afectar sustancialmente la calidad de la imagen. Las cámaras se pueden colocar en algunas de las ubicaciones prediseñadas de división del haz para capturar la imagen de cada una de las trayectorias ópticas, una para cada ojo, como se muestra en la Figura 2C.
Otro método para diseñar los microscopios quirúrgicos es mediante el diseño de Greenough, que ofrece varias ventajas. Este diseño permite la ubicación del microscopio a una gran distancia del paciente. La gran distancia es importante para reducir el riesgo de contaminación del paciente. El diseño del microscopio es más simple, abarata la producción del instrumento y admite aperturas numéricas más altas y mayores profundidades de campo. El uso de cámaras digitales permite la corrección de distorsiones ópticas, como el efecto keystone, e introduce accesorios independientes del diseño óptico, muy parecido al diseño CMO. En el caso de que las cámaras se agreguen a microscopios con brazo robótico (motorizado), el motor puede esclavizarse a los movimientos de la cabeza y los ojos, un beneficio en algunos campos de la cirugía cerebral.
En referencia ahora a la cámara del microscopio quirúrgico, en el primer concepto de sistema denunciado anteriormente (sistema I), la cámara captura el FOV completo del microscopio. La resolución de la cámara es lo suficientemente alta para que la resolución angular del sistema sea comparable a la del ojo humano. Las cámaras pueden ensamblarse de forma independiente o acoplarse a los microscopios mediante el uso de los diseños CMO o Greenough. A partir de las imágenes capturadas, las ROI se recortan y se envían a la unidad de visualización. Las coordenadas de las ROI dependen de la LOS de la cabeza y/o el ojo. Las coordenadas de ROI también se pueden extraer del joystick, el teclado, el pedestal, la activación por voz y cualquier otro dispositivo de entrada. La captura del FOV completo a la máxima resolución hace que sea factible mostrar al usuario con una resolución similar a la del ojo humano para su área de interés. Este método de trabajo ofrece varios beneficios para el usuario: proporcionar al usuario una imagen excelente; acercar la imagen digitalmente; movimiento digital XY en la imagen; proporcionar a un usuario diferente una imagen de su área de interés simultáneamente al usuario principal; registrar todo el campo de visión del microscopio para su posterior análisis; y compartir la imagen observada por el usuario con el propósito de enseñar o recibir asistencia.
El recorte de la ROI fuera del fotograma completo se puede realizar de varios métodos. El primer método consiste en tomar la imagen completa del sensor. En este método, la ROI se recorta digitalmente de la imagen completa después de la captura. La imagen completa o solo la ROI se puede almacenar en la memoria del procesador. El segundo método implica tomar solo la ROI del sensor y no el fotograma completo. La captura se puede realizar abordando solo los píxeles relevantes en la matriz de imágenes. En los dos primeros métodos, el procesador cambia el tamaño de la imagen en la ROI para que se ajuste a la resolución de la unidad de visualización. Un tercer método, que no forma parte de la presente invención, implica la captura y submuestreo de la ROI del sensor. En este método, los sensores de imágenes digitales se configuran para muestrear menos para ajustar la resolución espacial de la secuencia de vídeo a la resolución espacial de la pantalla electrónica. Un ejemplo de submuestreo es el muestreo de cada segundo píxel de la matriz en lugar de cada píxel.
En el primer método, utilizando una ROI recortada digitalmente de la imagen completa, la ROI es una herramienta poderosa para mejorar la cirugía. Cuando se captura la alta resolución completa en la memoria del procesador, se pueden usar datos importantes para diferentes aplicaciones. De la manera más sencilla, todos los datos se pueden guardar para un informe tardío. Durante la operación, cada usuario puede seleccionar diferentes ROI, según las coordenadas y aumentos requeridos, sin molestar a los demás usuarios. Esto es importante, por ejemplo, para cirugías complicadas, en las que opera más de un cirujano al mismo tiempo. No solo los cirujanos pueden usar las diferentes ROI, sino también los estudiantes, enfermeras u otros miembros del personal, usuarios que no están en el mismo quirófano, etc. Las ROI se pueden usar para múltiples usuarios, donde el otro usuario es el procesador. Por ejemplo, el cirujano puede marcar un área de interés, donde el procesador rastrea que no hay flujo sanguíneo u otro evento definido. El usuario puede marcar diferentes ROI con marcadores. En este caso, el usuario puede volver a la ROI marcada como favorita en un marco de tiempo. La transición de tiempo de ROI a ROI es un marco de tiempo. Incluye cambio de aumentos (de valores grandes a pequeños), cambio XY o cambio de emergencia.
El segundo concepto de sistema descrito anteriormente (sistema II) es esclavizar la LOS de una cámara FOV estrecha, que tiene la misma resolución angular que la cámara anterior, a la cabeza y/o al rastreador ocular. Esto permite la captura de imágenes de menor resolución, disminuyendo la cantidad de datos a ser manejados por el sistema, mientras se mantiene la resolución necesaria. Un espejo de dirección biaxial rápido escanea la imagen obtenida a través de una óptica de FOV grande en una cámara de FOV pequeño. La posición del espejo queda esclavizada a los movimientos de la cabeza y los ojos del usuario, reemplazando el área recortada de la solución anterior. Un método adicional para cambiar la LOS de la cámara es utilizar el mecanismo de giro e inclinación de algunos elementos del sistema.
En otra realización, existe una combinación del primer y segundo conceptos. En este concepto, la cámara tiene una resolución moderada con posibilidades de escaneo. Además, hay una ROI interna para mostrar en la HMD o en el monitor.
La HMD puede tener la forma de un dispositivo de visualización, que se lleva en la cabeza, que tiene una pequeña pantalla óptica delante de uno o cada ojo. La HMD puede producir imágenes bidimensionales o tridimensionales (visualización estereoscópica). En el contexto de la presente invención, se hace referencia a la HMD como una herramienta para mostrar el video, los símbolos o cualquier tipo de información visualizable. Para lograr un video de alta calidad, la HMD se puede implementar mostrando imágenes en color, 3D (para cada ojo), alta resolución y alto FOV. Sin embargo, es posible que no se implementen una o más de las cualidades mencionadas.
En algunas realizaciones se puede usar una HMD transparente, lo que permite superponer un video a una vista del mundo real. Por ejemplo, se puede superponer la vista del mundo real con video proyectando el video a través de una superficie parcialmente reflectante y viendo el mundo real directamente. La combinación de la vista del mundo real con el video también se puede hacer electrónicamente aceptando video de una cámara que captura el mundo real y mezclándolo electrónicamente con video del sistema.
Por lo general, las imágenes de la HMD se enfocan al infinito. El enfoque al infinito proporciona al espectador un esfuerzo relajado para el ojo y menos agotador. Sin embargo, cuando se utiliza una HMD transparente y los objetos del mundo real no están ubicados en el infinito (por ejemplo, una habitación cerrada), el enfoque de la HMD debe establecerse en la distancia del objeto. En general, las HMD pueden utilizar un mecanismo de enfoque dinámico, estableciendo la distancia de enfoque de la imagen proyectada a la distancia de enfoque del ojo del espectador (o a la distancia del objeto que ve el espectador).
Una HMD puede utilizar un rastreador de cabeza. El rastreador de cabeza se puede utilizar para localizar la ubicación de la cabeza del usuario en el espacio y así calcular la LOS (línea de visión) del espectador. El conocimiento de la línea de visión del espectador es una herramienta poderosa que permite diferentes funciones y aplicaciones únicas. Por ejemplo, en concreto, se puede implementar una HMD transparente con rastreador de cabeza para fijar un video virtual en el espacio (establecido fijo en relación con el mundo real), para mostrar datos en cualquier ubicación del mundo real. De manera general, se puede utilizar para fijar cualquier dato o video a una coordenada específica en el espacio.
Además, la LOS de usuario se puede utilizar para diferentes aplicaciones. Por ejemplo, la LOS se puede utilizar como controlador para motores de microscopios (para movimiento del traductor o zoom) en lugar de un joystick.
Otro ejemplo es el cambio de una ROI (región de interés) en la imagen mostrada. El cambio de ROI puede ser su coordenada en la imagen o su tamaño (zoom digital).
La HMD utiliza el rastreador de cabeza, por lo que es posible presentar símbolos, información, imágenes y similares en el campo de mirada del usuario. El campo de visión se puede definir alrededor de una línea de visión específica (por ejemplo, directamente al objeto en operación). El campo de mirada se puede definir alrededor del campo de visión.
Según algunas realizaciones, el procesador del ordenador puede configurarse para proyectar las secuencias de video sobre la pantalla electrónica en una primera y una segunda región, donde una resolución angular de la segunda región es mayor que un umbral tal como 0,0005 radianes y donde la resolución angular de la primera región es menor que el umbral mencionado anteriormente de 0,0005 radianes, y en donde la primera región tiene un campo de visión de al menos, por ejemplo, 2° y está sustancialmente centrada alrededor de la LOS del usuario.
La HMD puede utilizar un rastreador ocular. El rastreador ocular se puede utilizar para localizar la LOS ocular exacta en relación con el dispositivo HMD. El conocimiento de la LOS ocular se puede utilizar para implementar pantallas inteligentes en las que la imagen proyectada depende de la LOS ocular del observador. En general, la mayoría de las funciones mencionadas con respecto al rastreador de cabeza se pueden implementar utilizando el rastreador ocular. En combinación con el rastreador de cabeza, la HMD puede ser una herramienta muy amigable para visualizar datos fijos en el espacio y usarse como controlador.
Para cumplir con la presente invención, la HMD debe producir video de alta calidad. La calidad de la HMD del video debe ser aceptable para el usuario, en comparación con la imagen vista a través del ocular de un microscopio normal (no digital). Para lograr un video de alta calidad desde la HMD, se deben implementar varios parámetros críticos: alta resolución angular, amplio FOV, alta calidad de color y alto rango dinámico. En el alcance de esta invención nos referimos únicamente a los dos primeros parámetros: alta resolución angular y amplio FOV.
El usuario de la HMD es el espectador humano. Para lograr una visualización de alta calidad, los parámetros ópticos de la HMD deben ser lo suficientemente buenos para satisfacer la visión humana. El campo de visión de la visión humana es muy grande. Sin embargo, la resolución angular humana (o agudeza visual) depende de la ubicación de la imagen en la retina. Hay un área pequeña (pequeño FOV) de la retina con agudeza visual mejorada. Esta área se llama fóvea y cubre aproximadamente 2 grados de campo de visión visual. Al alejarse de la fóvea, la agudeza visual se degrada monótonamente (ver Figura 2D, imagen de la izquierda). El espectador humano no notará una mejora en la resolución ni tendrá la capacidad de ver más detalles mediante el uso de la HMD con una resolución angular más pequeña que la visión humana (vea la Figura 2D, imagen de la derecha). Entonces, en general, una HMD de alta calidad tendrá una resolución angular similar o mejor que la visión humana.
En referencia al microscopio quirúrgico HMD, aquí se describen dos implementaciones ejemplares y no limitantes de HMD que producirán una imagen de alta calidad y que tendrán una resolución angular lo suficientemente pequeña, por lo que el espectador humano no sentirá el efecto de observar una imagen digital:
La primera implementación de la HMD es producir una resolución angular constante en función del FOV. En general, este enfoque utiliza una pantalla de alta resolución como parte de la HMD.
La segunda implementación de la HMD es producir una resolución angular variable en función del FOV de la HMD. La resolución angular debe ser mejor que la visión humana, por lo que en esta implementación, se debe proyectar una pequeña resolución angular en el f Ov de la fóvea. En el FOV periférico (alrededor de la fóvea) la resolución angular puede ser mayor que en el área de la fóvea (Figura 2D). La HMD tiene un mecanismo para cambiar la imagen proyectada (al espectador) según el movimiento del ojo (usando el rastreador ocular). La dirección de la imagen proyectada en este caso sigue la LOS del espectador, por lo que depende del movimiento del ojo; el espectador ve una imagen frente a él.
En la Figura 2E se ilustra un ejemplo de un diseño de la segunda implementación de la HMD (que produce una resolución angular variable). En el ejemplo, hay dos micro pantallas para cada ojo. Se utiliza una micro pantalla para la imagen periférica. La segunda micro pantalla se utiliza para la imagen de la fóvea. La segunda micro pantalla se proyecta en un FOV estrecho en relación con la segunda micro pantalla. Las dos imágenes proyectadas (de las dos micro pantallas) se combinan utilizando un combinador óptico. Con un ocular, el espectador puede ver la imagen combinada (Figura 2F). Para lograr una mejor transición entre las dos imágenes superpuestas, se puede hacer algo de suavizado en el área de costura. Por ejemplo, en los bordes de la imagen de la fóvea, la resolución se puede degradar monolíticamente (usando el procesamiento de imágenes difuminado) hasta la resolución de la imagen periférica. Esto hará que las imágenes superpuestas se vean más naturales.
La imagen vista por el espectador debe tener una resolución angular mejor que la agudeza visual humana. Para lograr eso con la segunda implementación de la HMD, la micro pantalla de la imagen de la fóvea (micro pantalla central) debe moverse según la LOS del espectador. Una forma de lograrlo es mediante el uso de un espejo (MEMS, por ejemplo) para desplazar la imagen de la micro pantalla central en el plano focal del ocular. El espejo giratorio (2 ejes) se puede mover usando un rastreador ocular, esclavizando el espejo a la LOS del espectador. En la Figura 2G se muestra un ejemplo de implementación. Los componentes ópticos descritos en la Figura 2F se pueden ensamblar directamente frente al ojo o como una HMD transparente.
La imagen proyectada HMD se puede lograr utilizando micro pantallas (LCD, OLED, LCOS), DMD (Dispositivo Digital de Micro espejos), DLP (Procesamiento de Luz Digital), espejos de escaneo o cualquier otro método. En general, la HMD se puede implementar como un dispositivo transparente donde el espectador puede ver la imagen mostrada y el paisaje detrás de él. La HMD se puede implementar como un dispositivo inalámbrico o cableado que se comunica y recibe imágenes de una fuente externa.
Con referencia ahora a los rastreadores de cabeza y ojos, algunos de los usos de los rastreadores pueden incluir: controlar el movimiento del brazo robótico; controlar el movimiento de la ROI en la pantalla de alta resolución; controlar el zoom de la imagen; estabilizar la imagen en el espacio; controlar el brillo transparente. Los rastreadores de cabeza y ojos son herramientas poderosas. Su función principal en la aplicación del sistema es proporcionar la LOS del área de interés del usuario. En general, el rastreador de cabeza proporciona la LOS para el FOV de la imagen mostrada, mientras que el rastreador ocular proporciona la LOS para el FOV de alta resolución. La LOS proporcionada por los rastreadores de cabeza permite recortar la ROI relevante de la imagen de resolución ultra alta o dirigir el espejo de dirección rápida al ángulo apropiado. Luego, esta imagen es diezmada antes de ser mostrada por la pantalla periférica.
El rastreador de cabeza LOS permite a la HMD crear objetos estabilizados en el espacio. Estos objetos incluyen la imagen del microscopio y cualquier otro dato que deba estar disponible para el usuario, como historial médico, tomografías computarizadas obtenidas previamente, estadísticas vitales actuales del paciente, medidas por otros instrumentos O.R., etc. Estos pueden colocarse en ubicaciones espaciales definidas por el usuario. Por ejemplo, mirando a 45° a la izquierda, el usuario puede ver la última tomografía computarizada del paciente, mirar hacia adelante da la imagen del microscopio, mirar hacia abajo permite ver al paciente a través de la pantalla y mirar hacia arriba proporciona la visualización del tiempo. Para muchos usuarios, la capacidad de proporcionar una imagen estable es fundamental para prevenir las náuseas.
Como se mencionó anteriormente, el rastreador de cabeza también se puede usar para realizar otras tareas, a través de la interfaz de usuario, o como una fuente para dirigir los movimientos del microscopio u otro equipo médico.
Ahora se hace referencia a una cámara de conciencia de situación (SA) de FOV amplio. Es posible que la cámara de SA no forme parte del canal óptico normal del microscopio. Los microscopios ópticos no proporcionan al usuario las herramientas para SA. Cuando los ojos del usuario están fijos en el ocular del microscopio, la visión se limita al FOV limitado del alcance. Los eventos que ocurren fuera del microscopio están ocultos al usuario. Además, no hay capacidad para maniobrar la LOS del microscopio a un objeto diferente en función de la vista.
Las realizaciones de la presente invención pueden proporcionar un aumento adicional del FOV periférico con SA extendido. El aumento del FOV se proporciona mediante el uso de una cámara o cámaras de menor resolución angular. Las cámaras adicionales pueden ubicarse fuera del microscopio, en un perímetro cercano a los objetivos del microscopio. Las imágenes de las cámaras con FOV amplio pueden fusionarse (o superponerse) con las imágenes obtenidas a través de la óptica del microscopio y proporcionar un FOV periférico adicional. Otra técnica para mostrar las imágenes de FOV amplio es en una ventana diferente en el FOV de la HMD, o para presentar las imágenes de FOV amplio solapando parte de la imagen del microscopio.
Ahora se hace referencia a la activación por voz del sistema. El control del sistema se puede implementar de varias formas, a través de paneles de control dedicados, palancas y botones especialmente diseñados para ser utilizados por el usuario con sus pies, etc. De especial interés es la tecnología de activación por voz, que permite el control manos libres, dejando las manos del usuario libres para realizar las tareas adicionales, al tiempo que proporciona una interfaz flexible y rica. El reconocimiento de voz permite la identificación de palabras clave preprogramadas, reservadas para fines específicos, para ser utilizadas por cualquier usuario, y permitir a los usuarios programar sus propias palabras clave, independientemente de un idioma o diccionario. Por ejemplo, el comando oral "marcadores en" puede agregar marcadores predefinidos en la imagen mostrada. Un usuario de habla hispana puede complementar los comandos en inglés con sus comandos en su idioma nativo programándolos él mismo.
La activación por voz se puede utilizar junto con los rastreadores de cabeza y ojos para construir una interfaz de usuario elaborada pero intuitiva. Por ejemplo, el comando oral "activar acercar" puede habilitar un zoom de imagen dependiente del movimiento de la cabeza. Al mover la cabeza hacia adelante, se amplía la imagen, mientras que al moverla hacia atrás, se aleja. El comando "apagar acercar" desactiva esta función, lo que permite el funcionamiento normal.
En referencia ahora al procesador principal y la unidad de memoria, la unidad del procesador principal se usa principalmente para: interactuar con la cámara, la HMD, el rastreador de cabeza, el rastreador ocular, los monitores de video, el hardware de activación por voz, cualquier panel controlador y el microscopio; ejecutar diferentes aplicaciones de software en tiempo real; ejecutar aplicaciones de software de edición de video; reproducir el video desde la unidad de memoria; interconectar otros sistemas como MRI, CT y similares. La unidad de memoria se utiliza principalmente para grabar el video o las imágenes de las cámaras y ejecutar aplicaciones de software en tiempo real.
En referencia ahora a las interfaces de la unidad de procesador principal, la interfaz del procesador a la cámara e incluye el control de ganancia de la cámara, el control de exposición y cualquier otro control que establezca el punto de trabajo de la cámara. Además, el procesador establece la velocidad de fotogramas de video y la ROI para capturar desde la cámara. La unidad de procesador captura el video de la cámara y si el usuario selecciona grabar los datos, empuja el video a la unidad de memoria. La interfaz del procesador al rastreador de cabeza incluye el cálculo de la LOS de cabeza. La LOS de cabeza se puede calcular para 3 coordenadas (azimut, elevación y rotación) o seis coordenadas (también ubicación en el espacio) para aplicaciones más precisas. La interfaz del procesador al rastreador ocular incluye el cálculo de la LOS del ojo. La interfaz del procesador a la HMD incluye control de brillo de la HMD, control de contraste y cualquier otro ajuste de control de la imagen mostrada de la HMD. Según las entradas del rastreador ocular y cabeza, el procesador empuja a la HMD las imágenes, datos y símbolos relevantes. Para pantallas complicadas que implican la superposición de dos micro pantallas (Figura 2F), el procesador define las imágenes que se enviarán a las diferentes micro pantallas. El procesador puede controlar o transferir datos relevantes para el hardware en la HMD como los espejos de escaneo, el rastreador de cabeza, la cámara del rastreador ocular o cualquier otro hardware.
Los siguientes son ejemplos de aplicaciones en tiempo real de la unidad de procesador principal. Las aplicaciones del rastreador de cabeza pueden incluir: Controlar los motores del microscopio o la ROI para el movimiento del traductor y para el zoom óptico o digital. Por ejemplo, cuando el usuario mueve la cabeza en diferentes direcciones, los motores del microscopio siguen el movimiento de la cabeza. De esta forma, por ejemplo, el espectador puede desviar el microscopio hacia el objeto deseado. El control del zoom óptico puede realizarse moviendo la cabeza hacia adelante y hacia atrás, ajustando la función de acercar y alejar.
Otra aplicación es cambiar el brillo de la pantalla proyectada HMD transparente. Por ejemplo, el usuario puede definir que cuando se mira en una dirección específica la imagen proyectada sea brillante, y cuando se mueve la cabeza a una ubicación diferente, la imagen se vuelva más oscura para permitir una apariencia más alta del mundo real. Según la ubicación de la cabeza, la imagen mostrada puede ser un video, diferentes símbolos o información diferente.
Otra realización es cambiar la transparencia transparente en función de la ubicación de la cabeza del usuario. Cuando la cabeza del usuario está en una dirección, la transparencia es baja, por lo que el contraste de la imagen proyectada es alto. Cuando la cabeza se mueve en otra dirección, la transparencia es alta, por lo que el usuario puede tener conocimiento de la situación a través de la HMD. También se puede utilizar la combinación de la reducción del brillo de la pantalla para mejorar el contraste de la imagen de fondo. En general, el cambio de transparencia se puede realizar en parte de la pantalla transparente o en toda ella. La transparencia se puede ajustar según la selección del manual del usuario y/u otros umbrales ambientales.
El cambio de transparencia se puede realizar mediante el uso de revestimientos/almohadillas pasivos o activos en la pantalla transparente. Estos revestimientos/almohadillas se colocan en un elemento de visualización que está en la línea de visión del usuario. En general, se puede colocar sobre visera, combinador, guía de ondas o cualquier otro elemento óptico utilizado para la pantalla transparente. El revestimiento pasivo puede disminuir la transmisión de la pantalla transparente mediante el uso de iluminación UV/NIR. El revestimiento activo reduce la transmisión cuando se activa eléctricamente.
Las aplicaciones del rastreador ocular pueden incluir: Para pantallas complicadas que implican la superposición de dos micro pantallas (Figura 2F), el rastreador ocular define la ubicación de la imagen de resolución angular más pequeña (determina la ubicación de la imagen en el plano focal del ocular). Desplazamiento de toda la LOS de pantalla proyectada.
Según la LOS del espectador, la HMD transparente puede enfocar la imagen proyectada según la distancia del objeto del mundo real. Con un mecanismo adicional (como una cámara) y la LOS del espectador, la HMD puede detectar la distancia al objeto y enfocar en consecuencia. Este mecanismo de enfoque evitará el cansancio del ojo (debido a cambios de enfoque entre la pantalla y el mundo real). Las aplicaciones que se describieron con el rastreador de cabeza se pueden utilizar también con el rastreador ocular hasta el alcance del FOV humano.
El sistema y las aplicaciones de procesamiento de imágenes pueden incluir: El procesador genera diferentes marcadores de características de interés en la imagen proyectada. En el caso de la cirugía, los marcadores pueden basarse para especificar características a abordar. El procesador genera datos importantes del equipo de OR (quirófano) e información del historial del paciente para presentarlos en la pantalla proyectada de la HMD. Los datos se pueden presentar en el video que se muestra o en el campo de observación. Los marcadores se pueden enviar desde la gestión de datos automática o personal.
Los sistemas anteriores pueden utilizar una fuente de luz. El enfoque más común es una fuente de luz diseñada para iluminar desde la línea de visión óptica de la cámara. De esta manera, la lente está construida de tal manera que la luz de la fuente se dirige a través de espejos o divisores de haz para iluminar a través de la lente. Un enfoque más común es iluminar desde un punto singular en algún lugar cerca de la lente. Un tercer enfoque puede ser utilizar más de una fuente de luz. Las múltiples fuentes pueden ser las descritas en los dos primeros enfoques. Además, se puede diseñar un anillo de fuentes de luz alrededor de la lente. La distribución de las fuentes de luz produce una luz uniforme con menos sombras en la imagen.
Una vez que se utilizan las fuentes de luz, es posible utilizar el dominio digital para controlar la cámara y la fuente de luz. Para la cámara es común tener algoritmos como AGC (control automático de ganancia) y AEC (control automático de exposición) para calcular y establecer el punto de trabajo de la cámara. La ganancia y la exposición generalmente se calculan para producir una imagen con un rango dinámico máximo y saturaciones mínimas. Con una o varias fuentes de luz, se puede utilizar un ALC (control automático de luz). Basado en la imagen, el algoritmo calcula los niveles de luz de una o varias fuentes de luz. Las fuentes de luz controlables frente a las escenas se ajustan dinámicamente en base a un análisis dinámico del histograma de imagen de las secuencias de video. El nivel de las luces se ajusta para optimizar los contrastes, el rango dinámico y minimizar los reflejos especulares de los objetos.
Para algunas aplicaciones y procedimientos, es importante capturar imágenes en bandas espectrales específicas y limitadas. Por ejemplo, capturar imágenes en la banda espectral NIR (infrarrojo cercano) puede mejorar los vasos sanguíneos. Las fuentes de luz pueden diseñarse para irradiar diferentes bandas espectrales. Un método para lograr los diferentes espectros es mediante el uso de diferentes fuentes de luz. Por ejemplo el uso de diferentes tipos de LED, en diferentes colores o en el NIR. Un segundo método para lograr diferentes espectros es mediante el uso de filtros ópticos, como filtros de paso de banda frente a las fuentes de luz. Una fuente puede estar cubierta por un tipo de filtro, mientras que una fuente diferente estará cubierta por un segundo tipo de filtro.
En lugar de diseñar las fuentes de luz para diferentes espectros, o además, la cámara puede diseñarse para capturar imágenes en diferentes bandas espectrales. La óptica de la cámara puede diseñarse de modo que en algún lugar del camino óptico se inserte un filtro óptico. El mecanismo del filtro óptico puede diseñarse para que se fije de forma permanente o para permitir la extracción e inserción del filtro. El mecanismo no se limita a un filtro. Por ejemplo, se puede usar una rueda de filtros o un prisma de luz para admitir múltiples tipos de filtros para diferentes bandas espectrales. Mientras realiza el procedimiento, el usuario puede establecer la banda espectral configurando el filtro óptico correspondiente.
Los sistemas anteriores pueden utilizar un proyector que ilumina el objeto de la imagen. El proyector puede iluminar en el espectro visible o en el espectro del infrarrojo cercano. La iluminación visual puede proporcionar una guía visual a los usuarios. Por ejemplo, para marcar áreas de interés, marcar lugares para realizar cortes quirúrgicos, símbolos de dirección, etc. La iluminación en el infrarrojo cercano se puede utilizar para aplicaciones de luz estructurada. La luz estructurada se utiliza para producir una base de datos 3D de los objetos. El proyector puede ser de cualquier tipo: DMD, proyector MEMS Pico, LCD, CRT, etc.
Otra realización de esta descripción es una guía para el usuario. La guía se puede realizar mediante la creación de una ruta para las herramientas del cirujano. La ruta se crea mediante el uso de la base de datos 3D creada a partir de imágenes recibidas de las cámaras. Basado en estas imágenes, el sistema rastrea la herramienta y guía al cirujano en la dirección designada. La ruta se puede generar de forma automática, manual o mediante una combinación de ambos. El sistema puede generar una advertencia cuando el cirujano no mueve la herramienta en la dirección correcta o se acerca a áreas sensibles.
En la descripción anterior, una realización es una implementación de la invención o de otros conceptos no reivindicados de esta descripción. Las diversas apariencias de "una realización", "la realización" o "algunas realizaciones" no se refieren necesariamente todas a las mismas realizaciones.
Aunque se pueden describir varias características de la invención en el contexto de una única realización, las características también se pueden proporcionar por separado o en cualquier combinación adecuada. A la inversa, aunque la invención puede describirse en el presente documento en el contexto de realizaciones separadas para mayor claridad, la invención también puede implementarse en una única realización. Las realizaciones de la invención pueden incluir características de diferentes realizaciones descritas anteriormente, y las realizaciones pueden incorporar elementos de otras realizaciones descritas anteriormente, siempre que el resultado esté dentro del alcance de las reivindicaciones adjuntas. La descripción de elementos de la invención en el contexto de una realización específica no debe tomarse como una limitación de su uso solo en la realización específica.
Además, debe entenderse que la invención se puede llevar a cabo o poner en práctica de diversas formas y que la invención se puede implementar en realizaciones distintas de las descritas en la descripción anterior.
La invención no se limita a esos diagramas ni a las descripciones correspondientes. Por ejemplo, no es necesario que el flujo se mueva a través de cada cuadro o estado ilustrado, o exactamente en el mismo orden que se ilustra y describe.
Los significados de los términos técnicos y científicos usados en este documento deben entenderse comúnmente como por un experto en la técnica a la que pertenece la invención, a menos que se defina lo contrario.
Si bien la invención se ha descrito con respecto a un número limitado de realizaciones, estas no deben interpretarse como limitaciones del alcance de la invención, sino más bien como ejemplos de algunas de las realizaciones preferidas. Otras posibles variaciones, modificaciones y aplicaciones también están dentro del alcance de la invención, siempre que estén dentro del alcance de las reivindicaciones adjuntas.

Claims (11)

REIVINDICACIONES
1. Un sistema de microscopía quirúrgica digital, que comprende:
una cámara configurada para capturar imágenes de un área operada;
una pantalla montada en la cabeza (HMD) configurada para mostrar aumentos de dicha área operada a un usuario, mostrando imágenes de la región de interés (ROI) recortadas de dichas imágenes;
una unidad de memoria; y
un dispositivo de procesamiento acoplado con dicha HMD, dicha cámara y dicha unidad de memoria, dicho dispositivo de procesamiento configurado para recibir una entrada que indica dicha ROI, y configurado para producir dichas imágenes de ROI por cualquiera de:
tomar una imagen completa de un sensor de imagen de dicha cámara y recortar digitalmente dicha ROI de dicha imagen completa; o
tomar dicha ROI de dicho sensor de imagen y no dicha imagen completa;
en donde dicha unidad de memoria está configurada para almacenar dicha imagen completa o dicha ROI;
en donde dicho sistema de microscopía quirúrgica digital es un sistema no endoscópico.
2. El sistema de microscopía quirúrgica digital según la reivindicación 1, que comprende además un rastreador configurado para rastrear una línea de visión (LOS) del usuario de dicho usuario, dicho sistema de microscopía quirúrgica digital configurado además para cambiar una ubicación de ROI o un tamaño de ROI, según dicho LOS.
3. El sistema de microscopía quirúrgica digital según la reivindicación 2, en donde dicho rastreador es un rastreador ocular y un rastreador de cabeza.
4. El sistema de microscopía quirúrgica digital según la reivindicación 1, en donde dicho dispositivo de procesamiento está configurado para aplicar al menos un algoritmo de procesamiento de imágenes o procesamiento de video predefinido a dichas imágenes de ROI.
5. El sistema de microscopía quirúrgica digital según la reivindicación 1, en donde dicho dispositivo de procesamiento está configurado para añadir marcadores a una imagen presentada por dicha HMD.
6. El sistema de microscopía quirúrgica digital según la reivindicación 1, en donde dicha HMD es una HMD transparente cuya transparencia es ajustable.
7. El sistema de microscopía quirúrgica digital según la reivindicación 6, en donde dicha transparencia en parte de dicha HMD transparente o toda dicha HMD transparente es ajustable.
8. El sistema de microscopía quirúrgica digital según la reivindicación 1, en donde dicha toma implica cualquiera de: tomar de dicho sensor de imagen en resolución completa, y tomar de dicho sensor de imagen por submuestreo.
9. El sistema de microscopía quirúrgica digital según la reivindicación 1, en donde dicho sensor de imagen tiene una resolución de píxeles que es mayor que la resolución de píxeles de dicha HMD.
10. El sistema de microscopía quirúrgica digital según la reivindicación 1, en donde dicho procesador realiza un cambio de tamaño de la imagen en dicha ROI para ajustarse a la resolución de dicha HMD.
11. Un método no endoscópico en microscopía quirúrgica digital para mostrar aumentos de un área operada en una pantalla montada en la cabeza (HMD), comprendiendo el método:
capturar, mediante una cámara, imágenes de todo un campo de visión (FOV) de interés en dicha área operada de un paciente para la ampliación digital de dicha área operada, desde una distancia a dicho paciente;
recibir una entrada que indique una región de interés (ROI) de dicha área operada;
producir imágenes de ROI que son recortadas de dichas imágenes por cualquiera de:
tomar una imagen completa de un sensor de imagen y recortar digitalmente dicha ROI de dicha imagen completa; o
tomar dicha ROI de dicho sensor de imagen, no de dicha imagen completa; y
mostrar dichas imágenes de ROI.
ES13785660T 2012-09-10 2013-09-10 Sistema digital para captura y visualización de video quirúrgico Active ES2899353T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL221863A IL221863A (en) 2012-09-10 2012-09-10 Digital video photography system when analyzing and displaying
PCT/IL2013/050764 WO2014037953A2 (en) 2012-09-10 2013-09-10 Digital system for surgical video capturing and display

Publications (1)

Publication Number Publication Date
ES2899353T3 true ES2899353T3 (es) 2022-03-11

Family

ID=49515442

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13785660T Active ES2899353T3 (es) 2012-09-10 2013-09-10 Sistema digital para captura y visualización de video quirúrgico

Country Status (6)

Country Link
US (3) US10345582B2 (es)
EP (2) EP3725254A3 (es)
CN (1) CN104918572B (es)
ES (1) ES2899353T3 (es)
IL (1) IL221863A (es)
WO (1) WO2014037953A2 (es)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102588B2 (ja) * 2013-07-10 2017-03-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US9491365B2 (en) * 2013-11-18 2016-11-08 Intel Corporation Viewfinder wearable, at least in part, by human operator
WO2015143073A1 (en) * 2014-03-19 2015-09-24 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
KR102404559B1 (ko) 2014-03-19 2022-06-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
JP2015192697A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 制御装置および制御方法、並びに撮影制御システム
DE102014206004A1 (de) 2014-03-31 2015-10-01 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム
US10595716B2 (en) 2014-05-09 2020-03-24 X-Biomedical Inc. Portable surgical methods, systems, and apparatus
US20170099479A1 (en) * 2014-05-20 2017-04-06 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
DE102014210121A1 (de) * 2014-05-27 2015-08-27 Carl Zeiss Meditec Ag Operationsmikroskop und bildgeführtes Chirurgiesystem sowie Verfahren zu deren Betrieb
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
IL235073A (en) 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
US10539788B2 (en) 2014-10-21 2020-01-21 Signify Holding B.V. System, method and computer program for hands-free configuration of a luminous distribution
JP2016115965A (ja) * 2014-12-11 2016-06-23 ソニー株式会社 医療用眼鏡型表示装、情報処理装置及び情報処理方法
US10835119B2 (en) 2015-02-05 2020-11-17 Duke University Compact telescope configurations for light scanning systems and methods of using the same
US10238279B2 (en) * 2015-02-06 2019-03-26 Duke University Stereoscopic display systems and methods for displaying surgical data and information in a surgical microscope
GB2552279B (en) * 2015-02-12 2021-08-11 Google Llc Combining a high resolution narrow field display and a mid resolution wide field display
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
IL244255A (en) * 2016-02-23 2017-04-30 Vertical Optics Llc Wearable devices for deflecting vision
US10473942B2 (en) * 2015-06-05 2019-11-12 Marc Lemchen Apparatus and method for image capture of medical or dental images using a head mounted camera and computer system
USD809522S1 (en) 2015-06-14 2018-02-06 Google Inc. Display screen with animated graphical user interface for an alert screen
US10133443B2 (en) 2015-06-14 2018-11-20 Google Llc Systems and methods for smart home automation using a multifunction status and entry point icon
USD812076S1 (en) 2015-06-14 2018-03-06 Google Llc Display screen with graphical user interface for monitoring remote video camera
USD807376S1 (en) 2015-06-14 2018-01-09 Google Inc. Display screen with animated graphical user interface for smart home automation system having a multifunction status
USD797131S1 (en) 2015-06-14 2017-09-12 Google Inc. Display screen with user interface for mode selector icons
USD796540S1 (en) 2015-06-14 2017-09-05 Google Inc. Display screen with graphical user interface for mobile camera history having event-specific activity notifications
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
USD803241S1 (en) 2015-06-14 2017-11-21 Google Inc. Display screen with animated graphical user interface for an alert screen
US11245939B2 (en) 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
US10552676B2 (en) 2015-08-03 2020-02-04 Facebook Technologies, Llc Methods and devices for eye tracking based on depth sensing
US10297180B2 (en) 2015-08-03 2019-05-21 Facebook Technologies, Llc Compensation of chromatic dispersion in a tunable beam steering device for improved display
US10534173B2 (en) 2015-08-03 2020-01-14 Facebook Technologies, Llc Display with a tunable mask for augmented reality
US10338451B2 (en) 2015-08-03 2019-07-02 Facebook Technologies, Llc Devices and methods for removing zeroth order leakage in beam steering devices
US10459305B2 (en) 2015-08-03 2019-10-29 Facebook Technologies, Llc Time-domain adjustment of phase retardation in a liquid crystal grating for a color display
IL241033B (en) * 2015-09-02 2021-12-01 Eyeway Vision Ltd Projector system and method for ocular projection
HUE045886T2 (hu) * 2015-09-29 2020-01-28 Inst Nat Sante Rech Med Készülék és összeállítás ultrahanghullámok lágy szilárdanyag céltartományában történõ elõállítására, valamint eljárás szövet helyi kezelésére
FR3042882B1 (fr) * 2015-10-22 2018-09-21 Thales Systeme adapte a fournir a un operateur une visibilite augmentee et procede associe
US10416454B2 (en) 2015-10-25 2019-09-17 Facebook Technologies, Llc Combination prism array for focusing light
US10247858B2 (en) 2015-10-25 2019-04-02 Facebook Technologies, Llc Liquid crystal half-wave plate lens
IL242895B (en) * 2015-12-03 2021-04-29 Eyeway Vision Ltd Image projection system
US10203566B2 (en) 2015-12-21 2019-02-12 Facebook Technologies, Llc Enhanced spatial resolution using a segmented electrode array
JP6490001B2 (ja) * 2015-12-25 2019-03-27 ウエストユニティス株式会社 メディカルシステム
IL243384A (en) * 2015-12-28 2017-05-29 Schneider Ron A method and system for determining the position and orientation of an instrument's tip relative to eye tissue
US11484363B2 (en) * 2015-12-28 2022-11-01 Elbit Systems Ltd. System and method for determining the position and orientation of a tool tip relative to eye tissue of interest
KR20180099703A (ko) * 2015-12-31 2018-09-05 톰슨 라이센싱 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성
TWI576787B (zh) * 2016-02-05 2017-04-01 黃宇軒 擴增實境影像產生系統及其應用
US10890751B2 (en) 2016-02-05 2021-01-12 Yu-Hsuan Huang Systems and applications for generating augmented reality images
CN109068969B (zh) * 2016-03-10 2021-08-27 比奥普-医疗有限公司 诊断组织的装置
CN108882854B (zh) 2016-03-21 2022-05-24 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
CN105812779B (zh) * 2016-03-22 2018-01-05 华中科技大学 一种可切换场景源的头戴式内窥镜3d显示系统
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
CA3022880A1 (en) * 2016-05-05 2017-11-09 Robert D. Watson Surgical stereoscopic visualization system with movable head mounted display
CN105933588A (zh) * 2016-06-24 2016-09-07 昆山科森科技股份有限公司 一种微创手术刀图像传输系统
US10263802B2 (en) 2016-07-12 2019-04-16 Google Llc Methods and devices for establishing connections with remote cameras
USD882583S1 (en) 2016-07-12 2020-04-28 Google Llc Display screen with graphical user interface
CN106236281A (zh) * 2016-07-25 2016-12-21 上海市肺科医院 一种手术室三维可视化操作系统
WO2018053192A1 (en) * 2016-09-15 2018-03-22 Kla-Tencor Corporation Systems and methods for optimizing focus for imaging-based overlay metrology
JP7073618B2 (ja) 2016-09-23 2022-05-24 ソニーグループ株式会社 制御装置、制御方法及び医療用システム
EP3518730B1 (en) 2016-10-03 2024-04-17 Verb Surgical Inc. Immersive three-dimensional display for robotic surgery
US11238290B2 (en) 2016-10-26 2022-02-01 Google Llc Timeline-video relationship processing for alert events
USD843398S1 (en) 2016-10-26 2019-03-19 Google Llc Display screen with graphical user interface for a timeline-video relationship presentation for alert events
US10386999B2 (en) 2016-10-26 2019-08-20 Google Llc Timeline-video relationship presentation for alert events
DE102016122004B4 (de) * 2016-11-16 2024-03-21 Carl Zeiss Meditec Ag Verfahren zur Darstellung von Bildern eines digitalen Operationsmikroskops und digitales Operationsmikroskop-System
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
WO2018129234A1 (en) * 2017-01-05 2018-07-12 Lang Philipp K Improved accuracy of displayed virtual data with optical head mount displays for mixed reality
CN116230153A (zh) * 2017-01-11 2023-06-06 奇跃公司 医疗助理
IL250432A0 (en) * 2017-02-02 2017-06-29 Elbit Systems Ltd Magnified imaging with high resolution and traceability for medical use
JP7095679B2 (ja) * 2017-03-07 2022-07-05 ソニーグループ株式会社 情報処理装置、支援システム及び情報処理方法
AT519845B1 (de) * 2017-03-24 2021-09-15 Bhs Tech Gmbh Visualisierungsvorrichtung für die Übertragung von Bildern einer Mikroskopiervorrichtung
JPWO2018179610A1 (ja) 2017-03-27 2020-02-06 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置、内視鏡システム、処理方法およびプログラム
WO2018189853A1 (ja) * 2017-04-13 2018-10-18 オリンパス株式会社 立体視内視鏡光学系及びそれを備えた内視鏡
DE102017108551A1 (de) * 2017-04-21 2018-10-25 Carl Zeiss Meditec Ag Kopftragbare Darstellungsvorrichtung, Verfahren zum Betreiben derselben und medizinisch optisches Beobachtungssystem
US10972685B2 (en) 2017-05-25 2021-04-06 Google Llc Video camera assembly having an IR reflector
US10819921B2 (en) 2017-05-25 2020-10-27 Google Llc Camera assembly having a single-piece cover element
US10352496B2 (en) 2017-05-25 2019-07-16 Google Llc Stand assembly for an electronic device providing multiple degrees of freedom and built-in cables
US10175489B1 (en) 2017-07-05 2019-01-08 Microsoft Technology Licensing, Llc Compact optical system with MEMS scanners for image generation and object tracking
CA3065440C (en) * 2017-08-11 2023-10-03 Brainlab Ag Video based microscope adjustment
CA2980396C (en) * 2017-09-27 2019-01-29 Synaptive Medical (Barbados) Inc. Cognitive optical control system and methods
US11147636B2 (en) * 2017-10-04 2021-10-19 Alcon Inc. Surgical suite integration and optimization
DE102017123894B3 (de) 2017-10-13 2019-02-07 Carl Zeiss Meditec Ag Scheibe für ein HMD und HMD mit wenigstens einer Scheibe
US10469759B2 (en) * 2017-11-07 2019-11-05 Axis Ab Combining optical and digital zoom under varying image capturing conditions
WO2019099346A2 (en) * 2017-11-16 2019-05-23 Intuitive Surgical Operations, Inc. Master/slave registration and control for teleoperation
DE102018202707A1 (de) * 2018-02-22 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung von Panoramabildern
US10602132B2 (en) * 2018-03-06 2020-03-24 Varjo Technologies Oy Display apparatus and method of displaying using light source and controllable scanning mirror
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
US10713997B2 (en) * 2018-03-23 2020-07-14 Valve Corporation Controlling image display via mapping of pixel values to pixels
JP7094746B2 (ja) * 2018-03-23 2022-07-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
JP7139548B2 (ja) * 2018-04-10 2022-09-21 株式会社シンクアウト ヘッドマウントディスプレイ
DE102018110644B4 (de) 2018-05-03 2024-02-15 Carl Zeiss Meditec Ag Digitales Mikroskop und digitales Mikroskopieverfahren
JP6646880B2 (ja) * 2018-07-03 2020-02-14 ソニー株式会社 医療用観察システム、医療用観察方法、および医療用制御装置
US11304692B2 (en) * 2018-07-16 2022-04-19 Cilag Gmbh International Singular EMR source emitter assembly
CN109226967B (zh) * 2018-07-25 2021-03-09 同高先进制造科技（太仓）有限公司 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统
CN109164555B (zh) * 2018-09-30 2021-11-12 西安蜂语信息科技有限公司 光学设备的调整方法、终端、系统、设备和存储介质
FR3088530B1 (fr) * 2018-11-15 2020-12-04 Thales Sa Systeme d'imagerie 2d et 3d d'un desordre pigmentaire cutane
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
KR20210097190A (ko) * 2018-12-07 2021-08-06 아브간트 코포레이션 조향 가능한 위치 설정 요소
US10868950B2 (en) * 2018-12-12 2020-12-15 Karl Storz Imaging, Inc. Systems and methods for operating video medical scopes using a virtual camera control unit
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
CN109951642B (zh) * 2019-03-27 2021-05-04 京东方科技集团股份有限公司 显示方法及显示装置、电子设备、存储介质
US10827162B1 (en) * 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures
EP3744286A1 (en) * 2019-05-27 2020-12-02 Leica Instruments (Singapore) Pte. Ltd. Microscope system and method for controlling a surgical microscope
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11166006B2 (en) 2020-01-22 2021-11-02 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
CN111510630B (zh) * 2020-04-24 2021-09-28 Oppo广东移动通信有限公司 图像处理方法、装置及存储介质
DE102020206216A1 (de) 2020-05-18 2021-11-18 Carl Zeiss Meditec Ag Stereoskopische Aufnahmevorrichtung
EP4158889A1 (en) 2020-05-26 2023-04-05 Unify Medical Generation of three-dimensional images with digital magnification
US11683450B2 (en) * 2020-06-04 2023-06-20 FLIR Unmanned Aerial Systems AS Shutter and light signal synchronization systems and methods
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11601121B2 (en) 2020-06-26 2023-03-07 Intel Corporation Bootstrapped switch circuit, a track-and-hold circuit, an analog-to-digital converter, a method for operating a track-and-hold circuit, a base station and a mobile device
CN111724754B (zh) * 2020-06-30 2021-04-09 上海松鼠课堂人工智能科技有限公司 针对在线学习系统的护眼方法及系统
US11596567B2 (en) 2020-10-05 2023-03-07 Mazor Robotics Ltd. Systems and methods for determining and maintaining a center of rotation
CN112263331B (zh) * 2020-10-30 2022-04-05 上海初云开锐管理咨询有限公司 一种体内医疗器械视觉呈现系统及方法
CN112689088A (zh) * 2020-12-21 2021-04-20 维沃移动通信（杭州）有限公司 图像显示方法、装置和电子设备
CN114903635A (zh) * 2021-02-10 2022-08-16 苏州速迈医学科技股份有限公司 一种牙科显微诊疗系统
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US20230118522A1 (en) * 2021-10-20 2023-04-20 Nvidia Corporation Maintaining neighboring contextual awareness with zoom

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593092B2 (en) * 1990-12-07 2020-03-17 Dennis J Solomon Integrated 3D-D2 visual effects display
US6064398A (en) * 1993-09-10 2000-05-16 Geovector Corporation Electro-optic vision systems
US5876325A (en) * 1993-11-02 1999-03-02 Olympus Optical Co., Ltd. Surgical manipulation system
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
JP2002085330A (ja) * 2000-09-12 2002-03-26 Olympus Optical Co Ltd 立体視内視鏡装置
EP1356413A2 (en) * 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
WO2002100284A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system
BRPI0506340A (pt) * 2005-12-12 2007-10-02 Univ Fed Sao Paulo Unifesp sistema de visualização de realidade aumentada com computação pervasiva
JP2007219069A (ja) * 2006-02-15 2007-08-30 Konica Minolta Photo Imaging Inc 映像表示装置
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
JP2010142381A (ja) * 2008-12-17 2010-07-01 Scalar Corp 内視鏡手術用ヘッドマウントディスプレイ、及び内視鏡手術システム
CN101904770B (zh) * 2009-06-05 2012-11-14 复旦大学 一种基于光学增强现实技术的手术导航系统及方法
EP3763303B1 (en) * 2009-10-01 2024-04-03 MAKO Surgical Corp. Surgical system for positioning prosthetic component and/or for constraining movement of surgical tool
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
JP5565041B2 (ja) * 2010-03-30 2014-08-06 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
US8994819B2 (en) * 2011-02-04 2015-03-31 Raytheon Company Integrated optical detection system
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
US9087471B2 (en) * 2011-11-04 2015-07-21 Google Inc. Adaptive brightness control of head mounted display
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US8982471B1 (en) * 2012-01-04 2015-03-17 Google Inc. HMD image source as dual-purpose projector/near-eye display
US9931154B2 (en) * 2012-01-11 2018-04-03 Biosense Webster (Israel), Ltd. Touch free operation of ablator workstation by use of depth sensors
US10230943B2 (en) * 2012-01-23 2019-03-12 Washington University Goggle imaging systems and methods
WO2013157673A1 (en) * 2012-04-18 2013-10-24 Lg Electronics Inc. Optical coherence tomography and control method for the same
US9430055B2 (en) * 2012-06-15 2016-08-30 Microsoft Technology Licensing, Llc Depth of field control for see-thru display

Also Published As

Publication number Publication date
WO2014037953A2 (en) 2014-03-13
CN104918572B (zh) 2017-12-08
EP3725254A2 (en) 2020-10-21
US20210109349A1 (en) 2021-04-15
WO2014037953A3 (en) 2014-06-12
EP3725254A3 (en) 2020-12-16
EP2903551A2 (en) 2015-08-12
US10895742B2 (en) 2021-01-19
US10345582B2 (en) 2019-07-09
EP2903551B1 (en) 2021-11-03
US20150173846A1 (en) 2015-06-25
US20190293935A1 (en) 2019-09-26
CN104918572A (zh) 2015-09-16
IL221863A (en) 2014-01-30

Similar Documents

Publication Publication Date Title
ES2899353T3 (es) Sistema digital para captura y visualización de video quirúrgico
US20230122367A1 (en) Surgical visualization systems and displays
US20230255446A1 (en) Surgical visualization systems and displays
US11147443B2 (en) Surgical visualization systems and displays
US20220054223A1 (en) Surgical visualization systems and displays
US11154378B2 (en) Surgical visualization systems and displays
JP6521982B2 (ja) 手術可視化システム及びディスプレイ
US9967475B2 (en) Head-mounted displaying of magnified images locked on an object of interest
US9766441B2 (en) Surgical stereo vision systems and methods for microsurgery
US20140187857A1 (en) Apparatus and Methods for Enhanced Visualization and Control in Minimally Invasive Surgery
JP2004320722A (ja) 立体観察システム
JP2014175965A (ja) 手術用カメラ
US20220313085A1 (en) Surgery 3D Visualization Apparatus
US20210321082A1 (en) Information processing apparatus, information processing method, and program