ES2975723T3 - Corrección de imagen de una transmisión de vídeo de endoscopio quirúrgico - Google Patents

Corrección de imagen de una transmisión de vídeo de endoscopio quirúrgico Download PDF

Info

Publication number
ES2975723T3
ES2975723T3 ES19759708T ES19759708T ES2975723T3 ES 2975723 T3 ES2975723 T3 ES 2975723T3 ES 19759708 T ES19759708 T ES 19759708T ES 19759708 T ES19759708 T ES 19759708T ES 2975723 T3 ES2975723 T3 ES 2975723T3
Authority
ES
Spain
Prior art keywords
image
region
features
video stream
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19759708T
Other languages
English (en)
Inventor
Luke David Ronald Hares
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CMR Surgical Ltd
Original Assignee
CMR Surgical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CMR Surgical Ltd filed Critical CMR Surgical Ltd
Application granted granted Critical
Publication of ES2975723T3 publication Critical patent/ES2975723T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

Un método de corrección de imágenes en tiempo real de una transmisión de video desde un endoscopio quirúrgico de un sistema robótico quirúrgico. El flujo de vídeo comprende una secuencia de imágenes. El método comprende: para una imagen en la secuencia de imágenes, identificar una pluralidad de regiones, teniendo cada región un rango de valores diferente de al menos una propiedad de la imagen con respecto a otra región; aplicar una máscara a la imagen que aplica una modificación específica de la región a cada región, modificando cada modificación específica de la región al menos una propiedad de imagen de esa región; derivar datos del sistema robótico quirúrgico; determinar una relación entre características en la imagen a partir de los datos derivados; modificar la máscara para una relación prevista entre las características en el momento de una imagen posterior en el flujo de vídeo; y aplicar la máscara modificada a la imagen posterior en la secuencia de vídeo. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Corrección de imagen de una transmisión de vídeo de endoscopio quirúrgico
Antecedentes
Esta divulgación se refiere a la corrección de imágenes de la transmisión de vídeo desde un endoscopio quirúrgico de un sistema robótico quirúrgico.
En la cirugía mínimamente invasiva, se obtienen imágenes del sitio quirúrgico mediante un endoscopio quirúrgico. El endoscopio es una cámara que normalmente tiene una punta que comprende una fuente de luz para iluminar el sitio y una o más lentes para adquirir la transmisión de vídeo. La transmisión de vídeo se muestra en tiempo real en una pantalla que permite al cirujano ver el sitio de cirugía y los instrumentos quirúrgicos que él está manipulando.
Para iluminar suficientemente el sitio quirúrgico, la fuente de luz del endoscopio es muy intensa. En la transmisión de vídeo resultante, el área iluminada contrasta mucho con el resto de la imagen que está en sombras. En cirugía mínimamente invasiva, el endoscopio tiene un diámetro muy estrecho, por lo que la fuente de luz está muy cerca del eje óptico del endoscopio. El tejido está húmedo y brillante y, por lo tanto, provoca un fuerte reflejo hacia la lente cuando se ilumina, lo que se exacerba cuando el tejido está cerca del eje óptico y cerca del endoscopio. Esta parte demasiado brillante de la imagen contrasta marcadamente con la periferia de la imagen, que parece muy oscura. El tejido que está más alejado del endoscopio también aparece muy oscuro. En consecuencia, el cirujano queda con una mala visión del sitio quirúrgico con visibilidad limitada.
Se conoce aplicar una transformación a la transmisión de vídeo desde el endoscopio para mejorar la calidad de las imágenes vistas por el cirujano. El brillo y el contraste se ajustan para hacer más visible el área central de la imagen. Sin embargo, debido a que otras áreas de la imagen son mucho más oscuras que el área central, cuando la transformación se aplica uniformemente en toda la imagen, se degrada aún más la visibilidad de esas áreas más oscuras.
Se conoce aplicar una transformación diferente al área central de la imagen del endoscopio que, hacia la periferia de la imagen, por ejemplo, para oscurecer el área central e iluminar la periferia. Si bien es una mejora en la aplicación uniforme de una transformación en toda la imagen, este enfoque adolece del problema de que no mejora la visibilidad de las regiones de alto contraste dentro del área central o dentro de la periferia.
Se conocen técnicas más sofisticadas para procesar imágenes fijas, que implican la manipulación manual de las imágenes. Las técnicas que implican manipulación manual no son adecuadas para la corrección en tiempo real de una transmisión de vídeo desde un endoscopio, como se requiere en este campo para permitir al cirujano ver mejor el sitio quirúrgico en el que está operando.
Existe la necesidad de un método mejorado de corrección de imágenes de una transmisión de vídeo desde un endoscopio quirúrgico en tiempo real para mejorar la visibilidad de toda la imagen para el cirujano que opera en el sitio quirúrgico.
El documento WO 2015/162409 Se relaciona con el campo de las imágenes médicas y más específicamente con el procesamiento de imágenes endoscópicas. En particular, el documento WO'409 se refiere a la mejora de imágenes en tiempo real de imágenes de vídeo endoscópicas y a un vídeo de endoscopio adaptado para proporcionar imágenes de vídeo endoscópicas mejoradas junto con las imágenes de vídeo endoscópicas sin procesar.
El documento US 2017/084027 se relaciona con robótica quirúrgica, y particularmente con la navegación de un instrumento médico dentro de una red tubular del cuerpo de un paciente.
El documento US 2008/298685 se relaciona con el procesamiento de imágenes para corregir una imagen en movimiento.
El documento WO 2018/140788 Se relaciona con las técnicas de procesamiento de imágenes. Más específicamente, la divulgación ejemplifica técnicas para la compensación de espectro que se aplicará a una o más imágenes.
El documento US 2015/223725 se refiere a un dispositivo móvil y maniobrable, como una herramienta, un instrumento, un sensor o similar, particularmente para trabajar u observar un cuerpo. La invención se refiere preferentemente a un dispositivo médico móvil y maniobrable, en particular para trabajar u observar un cuerpo biológico, en particular un tejido.
El documento WO 2017/175452 se refiere a un aparato de procesamiento de imágenes, un aparato de imágenes, un método de procesamiento de imágenes y un programa. Y más particularmente a un aparato de procesamiento de imágenes, un aparato de imágenes, un método de procesamiento de imágenes y un programa para realizar procesamiento de imágenes usando una imagen visible y una imagen fluorescente.
Resumen de la invención
de acuerdo con la invención, que se define en la reivindicación 1, se proporciona un método de corrección de imágenes en tiempo real de una transmisión de vídeo procedente de un endoscopio quirúrgico de un sistema robótico quirúrgico, la transmisión de vídeo comprende una secuencia de imágenes, el método comprende: para una imagen en la secuencia de imágenes, identificar una pluralidad de regiones, cada región tiene un rango de valores de al menos una propiedad de imagen diferente a otra región; aplicar una máscara a la imagen que aplica una modificación específica de la región a cada región, cada modificación específica de la región que modifica al menos una propiedad de imagen de esa región; derivar datos del sistema robótico quirúrgico; determinar una relación entre características en la imagen a partir de los datos derivados; determinar una relación prevista entre las características en el momento de una imagen posterior en la transmisión de vídeo a partir de la relación entre las características de la imagen; modificar la máscara para una relación prevista entre las características en el momento de una imagen posterior en la transmisión de vídeo; y aplicar la máscara modificada a la imagen posterior en la transmisión de vídeo.
El método puede comprender además almacenar un conjunto de modificaciones predeterminadas y generar cada modificación específica de región como una combinación ponderada de dos o más modificaciones predeterminadas.
Las modificaciones predeterminadas pueden modificar una o más de las siguientes propiedades de la imagen: brillo, contraste, gamma y color.
La relación prevista entre las características en el momento de la imagen posterior puede ser tal que la forma de una o más características en la imagen haya cambiado, o que las posiciones relativas de las características hayan cambiado.
Los datos pueden comprender la posición del endoscopio quirúrgico con respecto a otra característica de la imagen.
Los datos pueden comprender información de profundidad de las características de la imagen. La información de profundidad puede derivarse del movimiento del endoscopio quirúrgico. La transmisión de vídeo puede ser una combinación de dos canales de vídeo estéreo del endoscopio quirúrgico, y el método puede comprender derivar la información de profundidad de los dos canales de vídeo estéreo del endoscopio quirúrgico.
Los datos pueden comprender la identificación de características en la imagen.
El método puede comprender seleccionar regiones de la imagen para que correspondan a características identificadas de la imagen y aplicar modificaciones específicas de características a esas regiones seleccionadas.
El método puede comprender rastrear el enfoque del cirujano, seleccionar una primera región de la imagen para centrarla en el enfoque del cirujano, seleccionar una segunda región de la imagen para excluir el enfoque del cirujano y aplicar diferentes modificaciones específicas de la región a la primera y segunda regiones.
El método puede comprender identificar una pluralidad de regiones de la imagen posterior basándose en la relación predicha entre las características en el momento de la imagen posterior en la transmisión de vídeo, en la que aplicar la máscara modificada a la imagen posterior en la transmisión de vídeo comprende aplicar una modificación específica de la región a cada región de la imagen posterior.
El método puede comprender además aplicar una máscara actualizada de forma iterativa a más imágenes de la transmisión de vídeo: derivar datos adicionales del sistema robótico quirúrgico; determinar una relación actualizada entre características en una imagen adicional de la secuencia de imágenes a partir de los datos adicionales derivados; modificar adicionalmente la máscara para formar una máscara actualizada para la relación prevista actualizada entre las características en el momento de otra imagen más en la transmisión de vídeo; aplicar la máscara actualizada a la imagen adicional en la transmisión de vídeo; y realizar iterativamente las etapas anteriores para obtener más imágenes de la transmisión de vídeo.
La máscara puede actualizarse a una velocidad más lenta que la velocidad de fotogramas de la imagen de la transmisión de vídeo. La máscara solo puede actualizarse ante cambios importantes en las características de la imagen. La máscara solo puede actualizarse tras un movimiento importante del endoscopio quirúrgico y/o del paciente en el que se encuentra el endoscopio quirúrgico.
Breve descripción de los dibujos
La presente divulgación se describirá ahora a modo de ejemplo con referencia a los dibujos adjuntos. En los dibujos:
la figura 1 ilustra una persona operada por un conjunto de robots quirúrgicos;
la figura 2 ilustra una consola de cirujano;
la figura 3 ilustra un diagrama esquemático de la porción de un sistema robótico quirúrgico relacionado con un endoscopio quirúrgico; y
La figura 4 ilustra un diagrama de flujo que muestra el proceso de corrección de imágenes de una transmisión de vídeo procedente de un endoscopio quirúrgico.
Descripción detallada
La Figura 1 ilustra robots quirúrgicos 101, 102, 103 realizando una operación en una persona 104. Cada robot comprende un brazo articulado conectado a una base. Cada uno de los robots 101 y 102 tiene un instrumento quirúrgico 105, 106 conectado al extremo de su brazo. Un endoscopio quirúrgico 107 está conectado al brazo del robot 103. Los instrumentos quirúrgicos 105, 106 y el endoscopio quirúrgico 107 acceden cada uno al sitio quirúrgico a través de una incisión en el cuerpo 104. Un cirujano controla los instrumentos quirúrgicos y, opcionalmente, el endoscopio quirúrgico, desde una consola de cirujano 200, mostrada en la figura 2. El cirujano manipula los controladores manuales 201, 202. Un sistema de control convierte el movimiento de los controladores manuales en señales de control para mover las articulaciones del brazo y/o el efector final del instrumento de uno de los robots quirúrgicos. La transmisión de vídeo desde el endoscopio quirúrgico 107 en el sitio quirúrgico se muestra en la pantalla 203. De este modo, el cirujano puede ver el sitio quirúrgico, incluido el efector final del instrumento que está manipulando con los controladores manuales 201, 202.
La Figura 3 ilustra la porción del sistema robótico quirúrgico relacionada con el endoscopio quirúrgico 107. El endoscopio quirúrgico 107 está unido al extremo del brazo robótico 103 que está distal desde su base 304. La transmisión de vídeo del endoscopio quirúrgico es recibido por la unidad de control 301 donde se procesa y luego se envía a la consola del cirujano 305 donde se muestra en la pantalla 203. La unidad de control 301 comprende un procesador 302 y una memoria 303. La memoria almacena, de forma no transitoria, código de software que puede ser ejecutado por el procesador para hacer que el procesador corrija la transmisión de vídeo desde el endoscopio quirúrgico 107 en tiempo real de la manera descrita en el presente documento. La unidad de control 301 se muestra alejada tanto de la consola del cirujano 305 como del robot quirúrgico 103. Alternativamente, la unidad de control 301 puede incorporarse dentro de la consola del cirujano 305. Como alternativa adicional, la unidad de control 301 puede incorporarse dentro del robot quirúrgico 103 u otro robot quirúrgico del sistema robótico quirúrgico.
El procesador 302 realiza la corrección de imágenes en tiempo real de la transmisión de vídeo desde el endoscopio quirúrgico 107 de acuerdo con los siguientes métodos ejemplares descritos con referencia a la figura 4.
La transmisión de vídeo comprende una secuencia de imágenes, numeradas 1, 2, 3, ..., n-1, n, n+1, ..., m-1, m, m+1, ..., p-1, p, ... en la figura 4. El procesador procesa cada imagen de la secuencia de imágenes. En la etapa 401, el procesador identifica una pluralidad de regiones en la imagen 1. Cada región consiste en uno o más píxeles. Cada región se distingue de otra región por tener un rango diferente de valores de al menos una propiedad de la imagen. Las propiedades de imagen de una región incluyen brillo, contraste, gamma y color. Una o más de estas propiedades de imagen pueden ser diferentes en diferentes regiones. En la etapa 402, el procesador aplica una máscara a la imagen 1. La máscara aplica una modificación específica de la región a cada región de la imagen. La modificación específica de una región es diferente de la modificación específica de otra región. Cada modificación específica de una región modifica al menos una propiedad de imagen de esa región. En el caso de que las regiones se identifiquen basándose en que tienen un rango diferente de valores de una propiedad de imagen particular, por ejemplo, brillo, entonces la modificación específica de la región modificaría esa propiedad de imagen particular. La modificación específica de la región también puede modificar otras propiedades de imagen de la región. El procesador aplica la misma máscara a una serie de imágenes. Por ejemplo, el procesador aplica la máscara creada a partir de la imagen 1 a las imágenes 1, 2 ..., n-1.
En la etapa 403, el procesador obtiene datos del sistema robótico quirúrgico del que forma parte el endoscopio quirúrgico. A continuación, se describen datos de ejemplo que pueden derivarse. En la etapa 404, el procesador usa los datos derivados para determinar una relación entre las características en la imagen 1. Estas características pueden ser, por ejemplo, órganos, estructuras tisulares y/o instrumentos quirúrgicos. En la etapa 405, el procesador usa la relación determinada entre las características en la imagen 1 para predecir una relación entre esas mismas características en el momento de una imagen posterior en la secuencia de imágenes. En la figura 4, esta imagen posterior es la imagen n. En la etapa 406, el procesador modifica entonces la máscara generada para la imagen 1 para la relación prevista entre las características en el momento de la imagen n. En la etapa 407, el procesador aplica la máscara modificada a la imagen n. El procesador aplica la misma máscara a una serie de imágenes. En el caso de la figura 4, el procesador aplica la máscara modificada a las imágenes n, n+1, ..., m-1.
El procesador realiza un proceso iterativo en el que la máscara se actualiza y se aplica a una serie de imágenes, y luego la máscara se actualiza nuevamente y se aplica a una serie adicional de imágenes, y así sucesivamente hasta el final de la transmisión de vídeo. Para actualizar la máscara para cada imagen adicional, se predice la relación entre las características de esa imagen adicional. En la figura 4, la siguiente imagen para la que se actualiza la máscara es la imagen m. En la etapa 408, el procesador predice la relación entre las características en la imagen m. Esta predicción puede basarse en los datos derivados del sistema robótico quirúrgico en la etapa 403 de la misma manera que se hizo la predicción para la imagen n en la etapa 405. Alternativamente, o, además, la predicción puede basarse en datos adicionales derivados del sistema robótico quirúrgico en la etapa 411. En la etapa 412, estos datos derivados adicionales se utilizan para determinar una relación actualizada entre las características en el momento en que se derivan los datos adicionales. En este caso, en la etapa 408, el procesador predice la relación entre las características en el momento de la imagen m basándose en la relación actualizada entre las características en la etapa 412. En la etapa 409, la máscara se modifica para formar una máscara actualizada para la relación prevista actualizada entre las características en el momento de la imagen m. En la etapa 410, la máscara actualizada se aplica a la imagen m. El procesador aplica la misma máscara a una serie de imágenes. En el caso de la figura 4, el procesador aplica la máscara actualizada a las imágenes m, m+1, ..., p-1. Luego, el procesador genera una máscara actualizada adicional para una serie de imágenes que comienzan con la imagen p usando el mismo proceso descrito anteriormente con respecto a la imagen m. El proceso continúa de forma iterativa hasta que se detiene la transmisión de vídeo.
Los datos que se derivan del sistema robótico quirúrgico en las etapas 403 y 411 pueden incluir datos que permitan determinar la posición y/o el movimiento relativo de características en la imagen. Por ejemplo, se puede determinar a partir de retroalimentación de fuerza o análisis visual de la imagen que un instrumento quirúrgico está tocando una estructura de tejido u órgano. Las posiciones relativas del instrumento quirúrgico y del endoscopio quirúrgico se pueden calcular a partir de: (i) las ubicaciones relativas conocidas de las bases de los brazos del robot quirúrgico que soportan el instrumento y el endoscopio; (ii) la posición del instrumento quirúrgico con respecto a su brazo robótico de soporte, que puede calcularse usando cinemática directa a partir de las posiciones de las articulaciones del brazo robótico detectadas por sensores de posición en esas articulaciones; y (iii) la posición del endoscopio quirúrgico con respecto a su brazo robótico de soporte que se puede calcular usando cinemática directa a partir de las posiciones de las articulaciones del brazo robótico detectadas por sensores de posición en esas articulaciones. Por lo tanto, se conoce la posición del endoscopio quirúrgico con respecto al instrumento quirúrgico y la estructura/órgano del tejido. Los datos relacionados con el movimiento de uno o más instrumentos quirúrgicos, endoscopio quirúrgico y paciente también pueden derivarse del sistema robótico quirúrgico. Por ejemplo, las señales de comando enviadas desde los controladores manuales del cirujano para manipular el instrumento quirúrgico especifican el movimiento del brazo robótico que sostiene el instrumento quirúrgico y el movimiento de las articulaciones del instrumento quirúrgico para llevar a cabo la manipulación ordenada. A partir de la relación inicial entre las características de la imagen y los datos relacionados con el movimiento posterior del instrumento quirúrgico, el endoscopio quirúrgico o el paciente, el procesador es capaz de predecir la relación entre las características en un momento específico en el futuro. De este modo, el procesador modifica la máscara para tener en cuenta el cambio en las posiciones relativas de las características en la imagen en ese momento especificado en el futuro, y aplica la máscara modificada a una imagen en ese momento futuro especificado en la transmisión de vídeo.
Los datos que se derivan del sistema robótico quirúrgico en las etapas 403 y 411 pueden incluir datos que permitan deducir la disposición de las características en la imagen. Específicamente, los datos pueden permitir deducir la profundidad de las características de la imagen. Este dato puede ser el movimiento del endoscopio quirúrgico. Las señales de comando que impulsan el movimiento del endoscopio quirúrgico especifican el movimiento del brazo robótico que sostiene el endoscopio quirúrgico y el movimiento de las articulaciones del endoscopio quirúrgico para llevar a cabo el movimiento ordenado. De estas señales de comando se puede deducir la distancia y la dirección en la que se mueve el endoscopio quirúrgico. Por lo tanto, se puede deducir la distancia y dirección en que se mueve la cámara en la punta del endoscopio quirúrgico y, por lo tanto, la imagen. El cambio en las características de la imagen a medida que se mueve el endoscopio permite determinar información profunda sobre esas características. Por ejemplo, si el endoscopio pasa por una característica, entonces se puede estimar la dimensión de esa característica en la dirección de desplazamiento del endoscopio. Como otro ejemplo, si el endoscopio se mueve hacia una característica distal, entonces el cambio en el tamaño de esa característica puede usarse para estimar qué tan lejos está la característica.
Los datos relacionados con la profundidad de las características de la imagen se pueden deducir de la propia transmisión de vídeo. El endoscopio puede tener dos canales de vídeo estéreo. Los dos canales están desplazados, lo que genera una vista 3D del sitio quirúrgico en la pantalla. El procesador puede estimar las dimensiones y profundidades relativas de las características de la imagen desde esta vista 3D.
A partir de la relación inicial de las características y los datos de profundidad, el procesador es capaz de predecir la relación entre las características en un momento futuro tras el movimiento del endoscopio quirúrgico. De este modo, el procesador modifica la máscara para tener en cuenta el cambio en las posiciones relativas de las características en la imagen en ese momento futuro, y aplica la máscara modificada a una imagen en ese momento futuro en la transmisión de vídeo.
Los datos que se derivan del sistema robótico quirúrgico en las etapas 403 y 411 pueden incluir datos que identifican características en la imagen. Por ejemplo, se pueden etiquetar órganos y/o estructuras tisulares en el sitio quirúrgico. Este etiquetado lo puede realizar el cirujano, otro miembro del personal del quirófano o mediante detección automática por parte de la unidad de control 301. Una vez etiquetado, el procesador puede rastrear cinemáticamente la estructura de un órgano o tejido a través de la transmisión de vídeo de una imagen a otra. El procesador puede seleccionar la estructura de órgano/tejido para que sea una región y aplicar una máscara específica de estructura de órgano/tejido a la estructura de órgano/tejido. Por ejemplo, el procesador puede almacenar una máscara definida para un riñón y, una vez identificado un riñón, aplicar la máscara específica de riñón al riñón.
La relación entre características en la imagen que se determina a partir de los datos derivados del sistema robótico quirúrgico puede comprender la disposición de características en la imagen y/o las posiciones relativas de características en la imagen. Esta relación puede cambiar con el tiempo como resultado del cambio en la forma de una o más de las características de la imagen. Si la característica ha sido identificada, entonces se puede anticipar su movimiento y/o cambio de forma a lo largo del tiempo. Por ejemplo, la forma de una característica en la imagen puede cambiar/deformarse como resultado de que la característica cambie físicamente de forma debido a un proceso fisiológico en el cuerpo. Por ejemplo, una arteria pulsa con el tiempo como resultado de los latidos del corazón del paciente, y el diafragma se mueve hacia arriba y hacia abajo como resultado de la respiración del paciente. La forma de la característica en la imagen puede cambiar como resultado de que el endoscopio quirúrgico pase más allá de la característica y, por lo tanto, la característica se vea desde un ángulo diferente. La forma de la característica en la imagen puede cambiar como resultado de su manipulación con un instrumento quirúrgico.
Como se describió anteriormente, la máscara aplica una modificación específica de la región a cada región de la imagen. La máscara modifica una o más propiedades de imagen de la región. Estas propiedades de la imagen incluyen brillo, contraste, gamma y color. Como ejemplo sencillo, el procesador puede identificar tres regiones en una imagen. La primera región es demasiado oscura, la segunda región es demasiado brillante y la tercera región tiene un brillo aceptable. La máscara que el procesador aplica a la imagen comprende modificaciones específicas de la región que aumentan el brillo de la primera región, disminuyen el brillo de la segunda región y no alteran el brillo de la tercera región. La imagen resultante tiene un contraste más uniforme, lo que mejora la visibilidad de la imagen para el cirujano.
El sitio operatorio generalmente tiene poca variación de color. En su mayoría, se trata de diferentes tonos de rojo con algunas áreas que parecen más blancas. El procesador puede generar una máscara para aplicar colores falsos a la imagen para aumentar la visibilidad de las características dentro de la imagen. Por ejemplo, una modificación específica de una región puede incluir un canal de color fluorescente que se superpondrá a la región.
La unidad de control 301 puede almacenar un conjunto de modificaciones predeterminadas en la memoria 303. Luego, el procesador aplica una o más de estas modificaciones predeterminadas a cada región. En el caso de que el procesador aplique dos o más de las modificaciones predeterminadas a una región, el procesador elige la proporción de las modificaciones predeterminadas para aplicar a la región. El procesador puede aplicar una combinación ponderada de dos o más de las modificaciones predeterminadas a la región. Por ejemplo, el procesador puede almacenar tres modificaciones predeterminadas: modificación 1, modificación 2 y modificación 3. En base a las propiedades de imagen de las regiones en la imagen, el procesador puede optar por aplicar: una modificación específica de la región a la región 1 que se compone de 5 % de modificación 1, 10 % de modificación 2 y 85 % de modificación 3; y una modificación específica de región a la región 2 que se compone de 80 % de modificación 1, 15 % de modificación 2 y 5 % de modificación 3.
La aplicación de modificaciones predeterminadas reduce la latencia de corregir la transmisión de vídeo, ya que no es necesario generar las modificaciones en sí mismas sobre la marcha, solo se aplican las proporciones de esas modificaciones. Las modificaciones predeterminadas pueden generarse con conocimiento de las propiedades de imagen típicas de las imágenes del sitio quirúrgico. Por ejemplo, los conocidos canales de color limitados, alto contraste, porciones altamente reflectantes, etc. Las modificaciones predeterminadas también pueden generarse con conocimiento de las características típicas de las imágenes del sitio quirúrgico. Por ejemplo, se puede generar una modificación predeterminada para cada uno de un conjunto de órganos y estructuras tisulares. Por ejemplo, los riñones tienen un tono púrpura, por lo que se puede generar una modificación predeterminada para un riñón que es diferente a una modificación predeterminada para una arteria que tiene un color rojo intenso.
Como se mencionó anteriormente, el endoscopio quirúrgico puede ser un endoscopio quirúrgico 3D que tiene dos canales desplazados. En este caso, el procesador aplica una máscara a cada canal de vídeo. Las imágenes recibidas de los dos canales están desplazadas y, por lo tanto, la máscara aplicada a un canal de vídeo está desplazada de la máscara aplicada al otro canal de vídeo. Las máscaras están desplazadas de tal manera que la imagen percibida vista por el cirujano tiene una visibilidad mejorada en comparación con la transmisión de vídeo no corregida.
Cuando la máscara se modifica para una relación prevista entre características en el momento de una imagen posterior en el cuadro, la modificación podría consistir en cambiar la modificación específica de una región. Por ejemplo, si se espera que una región se vuelva más clara como resultado de un movimiento o un cambio de forma en el momento de la imagen siguiente, entonces la modificación específica de la región puede alterarse para disminuir el contraste y/o el brillo en comparación con la modificación específica de región anterior.
Como se describió anteriormente, el procesador identifica una pluralidad de regiones en una imagen. El procesador analiza la imagen para seleccionar las regiones. Cada región puede ser una colección de píxeles, cada uno de los cuales está junto a al menos otro píxel en esa región. El procesador puede agrupar píxeles para formar una región basada en aquellos píxeles que tienen valores similares para una o más de las siguientes propiedades de la imagen: brillo, contraste, gamma, color, saturación.
El procesador puede agrupar píxeles para formar una región basada en la identificación de características en la imagen a partir de datos derivados del sistema robótico quirúrgico. Por ejemplo, se pueden identificar órganos y/o estructuras de tejido en la imagen, ya sea mediante análisis de imagen automatizado o cuando el cirujano identifica la característica en algún momento durante el procedimiento quirúrgico. El procesador puede identificar cada uno de esos órganos y/o estructuras tisulares como una región separada. El procesador puede implementar técnicas conocidas de búsqueda de bordes para determinar el contorno de la estructura de órgano/tejido y, por lo tanto, el límite de la región. Esta técnica de búsqueda de bordes puede ser una estimación aproximada que no es computacionalmente intensa. Esto es suficiente para permitir que el método de corrección de imágenes mejore la visibilidad percibida de la imagen, incluso si el límite de la región no coincide perfectamente con el contorno de la estructura del órgano/tejido.
El procesador puede agrupar píxeles de una región basándose en el seguimiento del enfoque del cirujano. Puede seleccionarse una primera región para que sea un área de la imagen centrada en el enfoque del cirujano. Se pueden seleccionar una o más regiones adicionales para incorporar el área restante de la imagen excluyendo la primera región. Se aplican diferentes modificaciones específicas de la región a la primera región y a las siguientes regiones. Para mejorar la calidad de la imagen percibida por el cirujano, pero teniendo en cuenta la necesidad de reducir la latencia, se puede implementar un proceso de corrección de imágenes computacionalmente más complejo en la primera región, mientras que se implementa un proceso de corrección de imágenes computacionalmente menos complejo en las regiones adicionales. Por ejemplo, la máscara para la primera región puede actualizarse con más frecuencia que las máscaras para las regiones adicionales.
El procesador puede usar regiones de imagen predeterminadas para seleccionar las regiones de la imagen. Las regiones de imagen predeterminadas pueden incluir, por ejemplo, una región interior y una región exterior de la imagen. El procesador puede generar regiones basándose en estas regiones de imagen predeterminadas, pero modificar esas regiones basándose en cualquiera de los métodos descritos anteriormente. Por ejemplo, el procesador puede almacenar regiones internas y externas predeterminadas de la imagen. El procesador también puede seguir el enfoque del cirujano. Si ese enfoque se mueve desde el centro de la pantalla, entonces el procesador puede modificar las regiones para hacer que el centro de la región interna se desplace al punto de enfoque del cirujano. Como otro ejemplo, el procesador puede almacenar regiones internas y externas predeterminadas de la imagen. El procesador también puede etiquetar y rastrear órganos/estructuras de tejidos. Si un órgano etiquetado está ubicado principalmente en la región interna de la imagen, pero se extiende parcialmente hacia la región externa, el procesador puede modificar la región interna para abarcar la totalidad del órgano etiquetado.
El procesador puede modificar las regiones para una imagen posterior. Esto puede basarse en la relación prevista entre las características de la imagen en el momento de la imagen posterior. Por ejemplo, el procesador puede predecir que la relación entre las características cambiará porque el endoscopio quirúrgico se está moviendo hacia una característica, de modo que esa característica ocupará una proporción mayor de la imagen. Si el procesador hubiera identificado esa característica como una región, entonces esa región se haría más grande, es decir, sería un conjunto más grande de píxeles, en la imagen siguiente. Al rastrear el endoscopio quirúrgico, los instrumentos quirúrgicos y etiquetar y rastrear características en la imagen, el procesador puede identificar cambios en las regiones y modificar las regiones para imágenes posteriores para permitir la relación cambiante entre las características en la imagen. La máscara modificada para la imagen siguiente se aplicaría luego a las regiones modificadas de la imagen siguiente.
La corrección de imagen de la transmisión de vídeo se realiza en tiempo real para permitir que el cirujano vea el sitio quirúrgico en el que está operando. Para permitir que el procesador realice la corrección de imagen descrita con una latencia suficientemente baja para que el cirujano no perciba un retraso entre el movimiento de un instrumento en el sitio quirúrgico y la visualización de ese movimiento en la pantalla, se pueden implementar una o más de las siguientes medidas. La máscara se puede aplicar utilizando un proceso de procesamiento de imágenes de baja latencia. Se puede aplicar la misma máscara a una serie de imágenes, como se describe con respecto a la figura 4. En este caso, la máscara se actualiza más lentamente que la velocidad de fotogramas de la imagen. La máscara podrá actualizarse a intervalos regulares. Por ejemplo, la máscara puede actualizarse una vez cada 10 fotogramas. Alternativamente, o, además, la máscara puede actualizarse cuando se activa mediante una determinada acción de un componente del sistema robótico quirúrgico. Para reducir aún más la latencia, la máscara puede actualizarse solo cuando dicha acción la active. Esta acción puede suponer un cambio importante de las características de la imagen. Un cambio importante de las características de la imagen puede resultar de un movimiento importante del endoscopio quirúrgico. Un cambio importante de las características de la imagen puede resultar de un movimiento importante del cuerpo del paciente, por ejemplo. como resultado de inclinar al paciente. Estos cambios importantes pueden determinarse a partir del análisis de imágenes o pueden derivarse del propio sistema robótico quirúrgico. La máscara puede actualizarse en respuesta a la posición y/u orientación del endoscopio quirúrgico dentro del paciente. La máscara puede actualizarse en respuesta a las características vistas en la imagen 3D recibida del endoscopio quirúrgico.
Las máscaras descritas anteriormente proporcionan un método mejorado de corrección de imágenes en tiempo real de una transmisión de vídeo desde un endoscopio quirúrgico. Además de utilizar una máscara generada como se describe anteriormente, se puede generar manualmente una máscara más precisa para una imagen específica y aplicarla a la transmisión de vídeo cuando esté disponible. Una máscara de este tipo se genera más lentamente que la generación de máscara en tiempo real descrita en el presente documento. Por lo tanto, la tasa de actualización de las máscaras creadas de esta manera será menor que la de las máscaras descritas en el presente documento.
El método de corrección de imágenes en tiempo real descrito en el presente documento podría usarse para fines distintos de corregir la transmisión de vídeo de un endoscopio quirúrgico de un sistema robótico quirúrgico durante un procedimiento quirúrgico. Por ejemplo, el método podría usarse para corregir la transmisión de vídeo desde un endoscopio de un robot usado en la fabricación de automóviles para ver el interior de un motor.
Por la presente, el solicitante divulga de forma aislada cada característica individual descrita en el presente documento y cualquier combinación de dos o más de dichas características, en la medida en que dichas características o combinaciones sean capaces de llevarse a cabo basándose en la presente especificación en su conjunto a la luz del conocimiento general común de una persona experta en la técnica, independientemente de si dichas características o combinaciones de características resuelven cualquier problema descrito en este documento, y sin limitación al alcance de las reivindicaciones. El solicitante indica que los aspectos de la presente invención pueden consistir en cualquier característica individual o combinación de características. En vista de la descripción anterior, será evidente para un experto en la técnica que se pueden realizar diversas modificaciones dentro del alcance de la invención, que se define en las reivindicaciones adjuntas.

Claims (15)

REIVINDICACIONES
1. Un método de corrección de imágenes en tiempo real de una transmisión de vídeo desde un endoscopio quirúrgico (107) de un sistema robótico quirúrgico, la transmisión de vídeo comprende una secuencia de imágenes, el método comprende:
para una imagen (1) en la secuencia de imágenes, identificar una pluralidad de regiones, cada región tiene un rango de valores diferente de al menos una propiedad de la imagen con respecto a otra región (401);
aplicar una máscara a la imagen (1) que aplica una modificación específica de la región a cada región, modificando cada modificación específica de la región al menos una propiedad de imagen de esa región (402);
derivar datos del sistema robótico quirúrgico (403);
determinar una relación entre características en la imagen (1) a partir de los datos derivados (404); determinar, a partir de la relación entre características de la imagen, una relación prevista entre las mismas características en el momento de una imagen posterior en la transmisión de vídeo (405);
modificar la máscara basándose en la relación prevista entre las características en el momento de la imagen posterior (n) en la transmisión de vídeo (406); y
aplicar la máscara modificada a la imagen posterior (n) en la transmisión de vídeo (406).
2. El método de la reivindicación 1, que comprende además almacenar un conjunto de modificaciones predeterminadas, y generar cada modificación específica de región como una combinación ponderada de dos o más modificaciones predeterminadas.
3. El método de la reivindicación 2, en el que las modificaciones predeterminadas modifican una o más de las siguientes propiedades de la imagen: brillo, contraste, gamma y color.
4. El método de cualquier reivindicación anterior, en el que la relación prevista entre las características en el momento de la imagen posterior (n) es tal que: (i) la forma de una o más de las características de la imagen (1) ha cambiado; y/o (ii) las posiciones relativas de las características han cambiado.
5. El método de cualquier reivindicación anterior, en el que los datos comprenden: la posición del endoscopio quirúrgico con respecto a otra característica en la imagen, (1) y/o información de profundidad de las características en la imagen (1).
6. El método de la reivindicación 5, que comprende derivar la información de profundidad a partir del movimiento del endoscopio quirúrgico (107).
7. El método de la reivindicación 5, en el que la transmisión de vídeo es una combinación de dos canales de vídeo estéreo del endoscopio quirúrgico (107), el método comprende derivar la información de profundidad de los dos canales de vídeo estéreo del endoscopio quirúrgico (107).
8. El método de cualquier reivindicación anterior, en el que los datos comprenden la identificación de características en la imagen (1), y opcionalmente el método comprende seleccionar regiones de la imagen para que correspondan a características identificadas de la imagen (1), y aplicar modificaciones específicas de características a aquellas regiones seleccionadas.
9. El método de cualquier reivindicación anterior, que comprende rastrear el enfoque del cirujano, seleccionar una primera región de la imagen (1) para centrarla en el enfoque del cirujano, seleccionar una segunda región de la imagen (1) para excluir el enfoque del cirujano, y aplicar diferentes modificaciones específicas de la región a la primera y segunda regiones.
10. El método de cualquier reivindicación anterior, que comprende identificar una pluralidad de regiones de la imagen posterior (n) basándose en la relación prevista entre las características en el momento de la imagen posterior (n) en la transmisión de vídeo, en el que aplicar la máscara modificada a la imagen posterior (n) en la transmisión de vídeo comprende aplicar una modificación específica de región a cada región de la imagen posterior (n).
11. El método de cualquier reivindicación anterior, que comprende además aplicar una máscara actualizada de forma iterativa a imágenes adicionales de la transmisión de vídeo mediante:
derivar más datos del sistema robótico quirúrgico (411);
determinar una relación actualizada entre características en una imagen adicional de la secuencia de imágenes a partir de los datos adicionales derivados (412);
modificar adicionalmente la máscara para formar una máscara actualizada para la relación predicha actualizada entre las características en el momento de otra imagen (m) adicional en la transmisión de vídeo (409);
aplicar la máscara actualizada a la otra imagen adicional (m) en la transmisión de vídeo (410); y
realizar iterativamente las etapas anteriores para obtener más imágenes de la transmisión de vídeo.
12. El método de la reivindicación 11, que comprende actualizar la máscara a una velocidad más lenta que la velocidad de fotogramas de la imagen de la transmisión de vídeo.
13. El método de la reivindicación 11 o 12, que comprende solo actualizar la máscara ante cambios importantes de las características en la imagen (1), y opcionalmente, el método comprende solo actualizar la máscara cuando hay un movimiento importante del endoscopio quirúrgico (107) y/o del paciente dentro del cual se encuentra el endoscopio quirúrgico (107).
14. El método de cualquier reivindicación anterior, en el que los datos derivados del sistema robótico quirúrgico comprenden datos relacionados con el movimiento de un instrumento quirúrgico (105, 106), el endoscopio quirúrgico (107) y/o un paciente (104).
15. El método de la reivindicación 14, que comprende determinar la relación prevista entre las características en el momento de la imagen posterior (n) en la transmisión de vídeo basándose en la relación entre las características de la imagen (1) y los datos relacionados con el movimiento del instrumento quirúrgico (105, 106), el endoscopio quirúrgico (107) y/o el paciente (104).
ES19759708T 2018-08-24 2019-08-23 Corrección de imagen de una transmisión de vídeo de endoscopio quirúrgico Active ES2975723T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1813877.6A GB2576574B (en) 2018-08-24 2018-08-24 Image correction of a surgical endoscope video stream
PCT/GB2019/052366 WO2020039202A1 (en) 2018-08-24 2019-08-23 Image correction of a surgical endoscope video stream

Publications (1)

Publication Number Publication Date
ES2975723T3 true ES2975723T3 (es) 2024-07-12

Family

ID=63715125

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19759708T Active ES2975723T3 (es) 2018-08-24 2019-08-23 Corrección de imagen de una transmisión de vídeo de endoscopio quirúrgico

Country Status (9)

Country Link
US (2) US11771302B2 (es)
EP (2) EP4318382A3 (es)
JP (2) JP7471275B2 (es)
CN (1) CN112584735B (es)
AU (1) AU2019326047B2 (es)
BR (1) BR112021003042A2 (es)
ES (1) ES2975723T3 (es)
GB (1) GB2576574B (es)
WO (1) WO2020039202A1 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2576574B (en) 2018-08-24 2023-01-11 Cmr Surgical Ltd Image correction of a surgical endoscope video stream
CN112739250B (zh) * 2018-09-18 2024-10-15 富士胶片株式会社 医用图像处理装置、处理器装置及医用图像处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
US20030095707A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Computer vision method and system for blob-based analysis using a probabilistic pramework
JP2006007289A (ja) 2004-06-28 2006-01-12 Daido Steel Co Ltd 高窒素鋼の製造方法
US10555775B2 (en) * 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US8971597B2 (en) * 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
JP2008300980A (ja) * 2007-05-29 2008-12-11 Canon Inc 画像処理装置および画像処理方法
DE602007012270D1 (de) * 2007-11-16 2011-03-10 Honda Res Inst Europe Gmbh Verfahren und Vorrichtung zur kontinuierlichen Objekt-Hintergrund-Segmentierung in Bildern aus dynamischen Sichtszenen
JP5269921B2 (ja) * 2011-01-24 2013-08-21 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
US9204939B2 (en) * 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
CN102622768B (zh) * 2012-03-14 2014-04-09 清华大学 一种平面视频的深度图求取方法
DE102012220116A1 (de) 2012-06-29 2014-01-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mobil handhabbare Vorrichtung, insbesondere zur Bearbeitung oder Beobachtung eines Körpers, und Verfahren zur Handhabung, insbesondere Kalibrierung, einer Vorrichtung
JP6168879B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
GB2525588A (en) * 2014-04-22 2015-11-04 Biosignatures Ltd Real-time endoscopic image enhancement
DE112015006295T5 (de) 2015-04-06 2017-11-30 Olympus Corporation Bildverarbeitungsvorrichtung, Vorrichtung zur biologischen Beobachtung und Bildverarbeitungsverfahren
CN107613839B (zh) 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
CN108778113B (zh) * 2015-09-18 2022-04-15 奥瑞斯健康公司 管状网络的导航
US10929959B2 (en) 2016-04-04 2021-02-23 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method
US11010877B2 (en) * 2017-01-27 2021-05-18 Canon U.S.A., Inc. Apparatus, system and method for dynamic in-line spectrum compensation of an image
WO2018175583A1 (en) * 2017-03-21 2018-09-27 Stryker Corporation Methods and systems to automate surgical interventions
JP7159577B2 (ja) * 2018-03-20 2022-10-25 ソニーグループ株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
GB2576574B (en) 2018-08-24 2023-01-11 Cmr Surgical Ltd Image correction of a surgical endoscope video stream

Also Published As

Publication number Publication date
EP3840629A1 (en) 2021-06-30
EP4318382A2 (en) 2024-02-07
GB2576574B (en) 2023-01-11
JP2023113689A (ja) 2023-08-16
CN112584735A (zh) 2021-03-30
JP7471275B2 (ja) 2024-04-19
GB2576574A (en) 2020-02-26
US12108930B2 (en) 2024-10-08
US20210327037A1 (en) 2021-10-21
AU2019326047A1 (en) 2021-03-11
WO2020039202A1 (en) 2020-02-27
AU2019326047B2 (en) 2021-12-09
EP4318382A3 (en) 2024-02-14
BR112021003042A2 (pt) 2021-05-11
CN112584735B (zh) 2024-06-21
JP2022503556A (ja) 2022-01-12
EP3840629B1 (en) 2024-03-06
US20230389775A1 (en) 2023-12-07
US11771302B2 (en) 2023-10-03
GB201813877D0 (en) 2018-10-10

Similar Documents

Publication Publication Date Title
JP6883222B2 (ja) 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
US7967742B2 (en) Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
JP7074065B2 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US20050054895A1 (en) Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
WO2020045015A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
US20130250081A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
JP7480477B2 (ja) 医療用観察システム、制御装置及び制御方法
US12108930B2 (en) Image correction of a surgical endoscope video stream
US11406255B2 (en) System and method for detecting abnormal tissue using vascular features
CN113038864B (zh) 配置为生成三维信息并计算估计区域的医学观察系统和相应方法
JPWO2020080209A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
CN111281534B (zh) 生成手术部位的三维模型的系统和方法
KR102313319B1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
JP7544033B2 (ja) 医療システム、情報処理装置及び情報処理方法
JP2022020501A (ja) 医療用アーム制御システム、医療用アーム制御方法及びプログラム