ES2734676T3 - Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra - Google Patents

Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra Download PDF

Info

Publication number
ES2734676T3
ES2734676T3 ES15180882T ES15180882T ES2734676T3 ES 2734676 T3 ES2734676 T3 ES 2734676T3 ES 15180882 T ES15180882 T ES 15180882T ES 15180882 T ES15180882 T ES 15180882T ES 2734676 T3 ES2734676 T3 ES 2734676T3
Authority
ES
Spain
Prior art keywords
image
endoscope
shadow
stereoscopic
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15180882T
Other languages
English (en)
Inventor
Atul Kumar
Yen-Yu Wang
Kai Che Liu
Min-Liang Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medicaltek Co Ltd
Original Assignee
Medicaltek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medicaltek Co Ltd filed Critical Medicaltek Co Ltd
Application granted granted Critical
Publication of ES2734676T3 publication Critical patent/ES2734676T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image

Abstract

Un sistema de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra, que comprende: un endoscopio monoscópico (20) que captura una imagen bidimensional (2D); una pantalla tridimensional (3D) (30); y un dispositivo de conversión de imágenes (10) conectado entre el endoscopio monoscópico (20) y pantalla tridimensional 3D (30), y que tiene: un puerto de entrada para endoscopio (11) conectado al endoscopio monoscópico (20) para recibir la imagen 2D del endoscopio monoscópico (20); una unidad de conversión 2D en 3D (12); un puerto de salida de imágenes (13) conectado con la unidad de conversión de imágenes 2D en 3D y la pantalla tridimensional (30) para recibir la imagen estereoscópica y mostrar la imagen estereoscópica en la pantalla tridimensional 3D (30); en el que la unidad de conversión 2D en 3D se configura para aplicar un algoritmo de forma a partir de sombra adaptado para calcular una dirección de luz de una fuente de luz y una posición de la cámara para la imagen 2D, y para calcular un mapa de profundidad basado en información de la distribución de luz y sombra de la imagen 2D, y para aplicar un algoritmo de renderizado basado en imágenes de profundidad para convertir la imagen 2D en una imagen estereoscópica con el mapa de profundidad, en el que se crea un mapa de disparidad usando el mapa de profundidad, los valores de disparidad en el mapa de disparidad son inversamente proporcionales a los valores de intensidad de píxel correspondientes de los mapas de profundidad y son proporcionales a una longitud focal del endoscopio monoscópico (20) y una anchura interorbital de la pantalla tridimensional 3D (30), y la imagen estereoscópica se genera usando el mapa de disparidad; y en el que el algoritmo de forma a partir de sombra combina la dirección de luz y un enfoque iterativo para resolver ecuaciones que implican una variación de gradiente de valores de intensidad de píxel en la imagen 2D.

Description

DESCRIPCIÓN
Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra
Antecedentes de la invención
Campo de la invención
La presente invención se refiere a un sistema de visualización estereoscópica para endoscopio y, más particularmente, a un sistema de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra para generar imágenes estereoscópicas.
Descripción de la técnica relacionada
La cirugía mínimamente invasiva se ha convertido en una parte indispensable en el tratamiento quirúrgico del actual comportamiento médico y se puede realizar por instrumentos quirúrgicos asistidos por endoscopio para permitir incisión más pequeña y menos traumatismo de tejido, acortando así el ciclo de recuperación del paciente y reduciendo el gasto médico total. Sin embargo, toda la cirugía mínimamente invasiva convencional emplea endoscopio monoscópico, que solo muestra imágenes bidimensionales (2D) que carecen de información de profundidad. Por tanto, es complejo para un cirujano mover con exactitud los instrumentos quirúrgicos a una localización correcta dentro del cuerpo de un paciente. Los cirujanos normalmente perciben la profundidad en imágenes 2D según paralaje de movimiento, pistas monoculares y otras evidencias indirectas para exactitud de posicionamiento. El proporcionar imágenes estereoscópicas capaces de proporcionar directamente percepción de profundidad sin pasar por medios adicionales, tales como paralaje de movimiento, pistas monoculares y otras evidencias indirectas, es todavía el mejor enfoque en la resolución del problema de posicionamiento impreciso convencional a costa de un endoscopio de doble cámara. A pesar de las ventajas de la información de profundidad o imágenes estereoscópicas requeridas por los cirujanos, el endoscopio de doble cámara tiene el inconveniente de ser mucho más caro que el endoscopio monoscópico y, por consiguiente, es menos aceptado. El documento del estado de la técnica US-A-2014/198976 proporciona un método estocástico y el sistema para la medición de distancia estereoscópica rápida incluye seleccionar un par de imágenes para procesamiento estereoscópico.
Sumario de la invención
Un objetivo de la presente invención es proporcionar un sistema de visualización estereoscópica y un método de visualización estereoscópica usando un algoritmo de forma a partir de sombra capaz de proporcionar imágenes estereoscópicas con un endoscopio monoscópico mediante el algoritmo de forma a partir de sombra.
Para lograr el objetivo anterior, el sistema de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra incluye un endoscopio monoscópico, una pantalla tridimensional (3D) y un dispositivo de conversión de imágenes.
El endoscopio monoscópico se configura para capturar las imágenes bidimensionales (2D).
El dispositivo de conversión de imágenes se puede conectar entre el endoscopio monoscópico y la pantalla tridimensional 3D y puede tener un puerto de entrada para el endoscopio y una unidad de conversión 2D en 3D. El puerto de entrada para el endoscopio se conecta al endoscopio monoscópico para recibir la imagen 2D del endoscopio monoscópico.
La unidad de conversión 2D en 3D se configura para aplicar un algoritmo de forma a partir de sombra adaptado para calcular una dirección de una fuente de luz para la imagen 2D, y para calcular un mapa de profundidad basado en información de la distribución de luz y sombra de la imagen 2D, y para aplicar el algoritmo de renderizado basado en imágenes de profundidad para convertir la imagen 2D en una imagen estereoscópica con la información de la distribución de luz y la sombra de la imagen 2D.
El puerto de salida de imágenes se conecta con la unidad de conversión de imágenes 2D en 3D y la pantalla tridimensional 3D para recibir las imágenes estereoscópicas y mostrar la imagen estereoscópica en la pantalla 3D. Para lograr el objetivo anterior, el método de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra incluye las etapas que se definen por la reivindicación 2.
Dado el sistema de visualización estereoscópica anterior y el método que usa un método de forma a partir de sombra, la imagen 2D tomada por el endoscopio monoscópico se procesa por el algoritmo de forma a partir de sombra para calcular la información de profundidad en la generación de un mapa de profundidad, y la imagen 2D junto con el mapa de profundidad forman la imagen estereoscópica que se entrega a la pantalla tridimensional 3D para que sus usuarios visualicen la imagen estereoscópica convertida. Como no existe necesidad de sustituir un endoscopio monoscópico por un endoscopio de lente doble y modificar la estructura de hardware del endoscopio monoscópico existente, se pueden resolver los problemas de que no esté disponible imagen estereoscópica para el endoscopio monoscópico y el costoso endoscopio de lente doble encontrados cuando se solicitan imágenes estereoscópicas.
Otros objetivos, ventajas y características novedosas de la invención serán más evidentes a partir de la siguiente descripción detallada cuando se toma conjuntamente con los dibujos adjuntos.
Breve descripción de los dibujos
La FIG. 1 es un diagrama de bloques funcional de un sistema de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra según la presente invención.
La FIG. 2 es un diagrama de flujo de un método de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra según la presente invención.
Descripción detallada de las realizaciones preferidas
Con referencia a la FIG. 1, un sistema de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra según la presente invención incluye un endoscopio monoscópico 20, una pantalla tridimensional (3D) 30 y un dispositivo de conversión de imágenes 10.
El dispositivo de conversión de imágenes 10 se conecta entre el endoscopio monoscópico 20 y la pantalla tridimensional 3D 30, y tiene un puerto de entrada para endoscopio 11, una unidad de conversión de imágenes 2D en 3D 12 y un puerto de salida de imágenes 13. El puerto de entrada para endoscopio 11 se conecta al endoscopio monoscópico 20. La unidad de conversión de imágenes 2D en 3D 12 se conecta eléctricamente al puerto de entrada para endoscopio 11, adquiere una imagen 2D del endoscopio monoscópico 20, genera un mapa de profundidad de la imagen 2D, y convierte las imágenes 2D y el mapa de profundidad en una imagen estereoscópica usando un algoritmo de forma a partir de sombra compilado en la unidad de conversión de imágenes 2D en 3D 12. El puerto de salida de imágenes 13 se conecta eléctricamente a la unidad de conversión de imágenes 2D en 3D 12, y también se conecta a la pantalla tridimensional 3D 30, y entrega la imagen estereoscópica a la pantalla tridimensional 3D 30 de forma que la pantalla tridimensional 3D 30 muestre las imágenes estereoscópicas convertidas.
Con referencia a la FIG. 2, un método de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra según la presente invención se realiza por la unidad de conversión de imágenes 2D en 3D 12 para convertir las imágenes 2D del endoscopio monoscópico 20 en las imágenes estereoscópicas, e incluye las siguientes etapas.
Etapa E1: Calibrar una cámara del endoscopio monoscópico. Con referencia a "Image processing, analysis and machine vision, 2a edición, vol. 68, PWS, 1998, pp. 448-457", se usa un método de calibrado de la cámara para calcular parámetros intrínsecos de la cámara del endoscopio monoscópico. El método de calibrado de la cámara estima una postura de la cámara girando y desplazando un molde de calibrado, y resuelve una ecuación no lineal para obtener los parámetros intrínsecos y los parámetros extrínsecos.
Etapa E2: Capturar una imagen 2D. Se usa un dispositivo de captura de imágenes para adquirir una imagen 2D de la cámara del endoscopio monoscópico. El dispositivo de captura de imágenes puede tener una resolución que es la definición estándar (SD) o alta definición (HD). La cámara del endoscopio monoscópico puede tener una lente de 30 grados o una lente gran angular.
Etapa E3: Generar un mapa de profundidad usando un método de forma a partir de sombra. Con referencia a "Metric depth recovery from monocular images using shape-from-shading and specularities, Visentini-Scarzanella et al. 2012 IEEE Internal Conference on Image Processing", se emplea un algoritmo de forma a partir de sombra para calcular la información de iluminación y la información de sombra de la imagen 2D generada a partir de una fuente de luz. Entonces, usar un enfoque iterativo para resolver ecuaciones que implican información de la variación de gradiente de píxel en la imagen 2d , y combinar información asociada a una dirección de iluminación y una posición de la fuente de luz para calcular un mapa de profundidad de los píxeles en la imagen 2D con respecto a la fuente de luz. Se proporciona una estimación de la posición de iluminación de la fuente de luz desvelada en "Danail Stoyanov et al., 2009 IEEE/RSJ International Conference on Intelligent Robots and System (IROS), Illumination position estimation for 3D soft tissue reconstruction in robotic minimally invasive surgery" para potenciar la exactitud en la determinación de la posición de una fuente de luz. La información de píxel de cada píxel en la imagen 2D incluye un valor de intensidad de píxel, la dirección de iluminación y el logaritmo natural de las coordenadas del píxel. Se pueden aplicar métodos de barrido rápido desvelados en "Chiu-Yen Kao et al. SIAM J., Numerical Analysis 2005, Fast sweeping methods for static Hamilton-Jacobi equation" y computación paralela para acelerar el proceso iterativo.
El algoritmo de forma a partir de sombra se puede describir a continuación por cálculo de la distribución de luz de una fuente de luz.
Suponer que se localiza una cámara en C(a, p, y), que puede estar predeterminada con la estimación de la posición de iluminación. Dado un conjunto de coordenadas de cada píxel x = (x,y) en la imagen 2D, una superficie normal n y un vector de luz l en un punto 3D M correspondiente al píxel x se pueden representar como:
Figure imgf000004_0001
1 = [x + a,y, + p,# 4- y)
donde u(x) es la profundidad en el punto x y ux, Uy son las derivadas espaciales.
Por tanto, una ecuación de irradiancia de imagen se puede expresar del siguiente modo en términos de las parametrizaciones propuestas de I y n sin ignorar el término de atenuación de la distancia entre la fuente de luz y la reflexión de superficie para resolver un modelo SFS (forma a partir de sombra) Lambertiano convencional.
Figure imgf000004_0002
donde p es un albedo de superficie.
Después de realizar la sustitución v = lnu, se puede obtener un Hamiltoniano, que se conoce como una transformación espacial entre la posición de la cámara y la fuente de luz, del siguiente modo:
Figure imgf000004_0003
donde
Figure imgf000004_0004
El mapa de profundidad de la imagen causado por la distribución de luz se puede generar así después de iteraciones de cálculo de las ecuaciones precedentes. Como son casi los mismos, se pueden simplificar el vector de luz y el vector de posición de la cámara para ser el mismo vector.
Etapa E4: Crear un mapa de disparidad usando el mapa de profundidad. El mapa de profundidad está compuesto por una imagen de nivel gris que contiene información referente a la distancia de objetos de escena en la imagen 2D desde un punto de vista. Durante el transcurso de la conversión del mapa de profundidad en un par de imágenes estereoscópicas 3D, se genera un mapa de disparidad. Los valores de disparidad en el mapa de disparidad son inversamente proporcionales a los valores de intensidad de píxel correspondientes de los mapas de profundidad, pero son proporcionales a una longitud focal de una cámara del endoscopio monoscópico y una anchura interorbital de un espectador.
Etapa E5: Generar una imagen izquierda y una imagen derecha para visión estereoscópica. Se usa el mapa de disparidad adquirido durante el transcurso de la conversión del mapa de profundidad en el par de imágenes estereoscópicas 3D para la generación de una imagen del ojo izquierdo y una imagen del ojo derecho. Cada valor de disparidad del mapa de disparidad representa una distancia entre dos puntos correspondientes en la imagen del ojo izquierdo y la imagen del ojo derecho para la generación de la imagen del ojo izquierdo y la imagen del ojo derecho asociadas al par de imágenes estereoscópicas 3D. La imagen del ojo izquierdo y la imagen del ojo derecho generadas se pueden procesar adicionalmente para diversos formatos de pantalla 3D, tales como lado a lado, entrelazadas y otros formatos de pantalla 3D, para mostrar pantallas 3D correspondientes.
Como se puede apreciar de la descripción anterior, la información de profundidad se puede calcular a partir de la imagen 2D usando el algoritmo de forma a partir de sombra. Después de la generación del mapa de profundidad, las imágenes 2D se pueden combinar con los mapas de profundidad para generar imágenes estereoscópicas correspondientes sin ya sea sustituir el endoscopio monoscópico convencional por un endoscopio de lente doble o alterar la estructura de hardware del endoscopio monoscópico convencional. Por consiguiente, se pueden resolver los problemas que surgen del endoscopio monoscópico convencional que no proporciona imágenes estereoscópicas 3D y el costoso endoscopio de lente doble.
Aunque se han expuesto numerosas características y ventajas de la presente invención en la descripción anterior, junto con detalles de la estructura y función de la invención, la divulgación solo es ilustrativa. Se pueden hacer cambios en detalle, especialmente en materias de forma, tamaño y disposición de partes dentro de los principios de la invención hasta el alcance total indicado por el amplio significado general de los términos en los que se expresan las reivindicaciones adjuntas.

Claims (4)

REIVINDICACIONES
1. Un sistema de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra, que comprende:
un endoscopio monoscópico (20) que captura una imagen bidimensional (2D);
una pantalla tridimensional (3D) (30); y
un dispositivo de conversión de imágenes (10) conectado entre el endoscopio monoscópico (20) y pantalla tridimensional 3D (30), y que tiene:
un puerto de entrada para endoscopio (11) conectado al endoscopio monoscópico (20) para recibir la imagen 2D del endoscopio monoscópico (20);
una unidad de conversión 2D en 3D (12);
un puerto de salida de imágenes (13) conectado con la unidad de conversión de imágenes 2D en 3D y la pantalla tridimensional (30) para recibir la imagen estereoscópica y mostrar la imagen estereoscópica en la pantalla tridimensional 3D (30);
en el que la unidad de conversión 2D en 3D se configura para aplicar un algoritmo de forma a partir de sombra adaptado para calcular una dirección de luz de una fuente de luz y una posición de la cámara para la imagen 2D, y para calcular un mapa de profundidad basado en información de la distribución de luz y sombra de la imagen 2D, y para aplicar un algoritmo de renderizado basado en imágenes de profundidad para convertir la imagen 2D en una imagen estereoscópica con el mapa de profundidad, en el que se crea un mapa de disparidad usando el mapa de profundidad, los valores de disparidad en el mapa de disparidad son inversamente proporcionales a los valores de intensidad de píxel correspondientes de los mapas de profundidad y son proporcionales a una longitud focal del endoscopio monoscópico (20) y una anchura interorbital de la pantalla tridimensional 3D (30), y la imagen estereoscópica se genera usando el mapa de disparidad; y
en el que el algoritmo de forma a partir de sombra combina la dirección de luz y un enfoque iterativo para resolver ecuaciones que implican una variación de gradiente de valores de intensidad de píxel en la imagen 2D.
2. Un método de visualización estereoscópica para endoscopio usando un algoritmo de forma a partir de sombra, que comprende las etapas de:
adquirir una imagen 2D de un endoscopio monoscópico con iluminación de una fuente de luz;
calcular una dirección de luz y una posición de la cámara para la imagen 2D;
generar un mapa de profundidad de la imagen 2D usando un algoritmo de forma a partir de sombra, en el que el algoritmo de forma a partir de sombra combina la dirección de luz y un enfoque iterativo para resolver ecuaciones que implican una variación de gradiente de valores de intensidad de píxel en la imagen 2D; usar el mapa de profundidad para crear un mapa de disparidad, en el que valores de disparidad en el mapa de disparidad son inversamente proporcionales a los valores de intensidad de píxel correspondientes de los mapas de profundidad y son proporcionales a una longitud focal del endoscopio monoscópico y una anchura interorbital de la pantalla 3D;
generar una imagen estereoscópica combinando el mapa de profundidad y la imagen 2D, en el que la imagen estereoscópica se genera usando el mapa de disparidad.
3. El método de visualización estereoscópica de la reivindicación 2, en el que el algoritmo de forma a partir de sombra se basa en el cálculo de la distribución de luz de una fuente de luz del siguiente modo:
suponer que se localiza una cámara en C(a, p, y), que puede estar predeterminada con una estimación de la posición de iluminación, un conjunto de coordenadas de cada píxel x = (x,y) en la imagen 2D, una superficie normal n y un vector de luz l en un punto 3D correspondiente al píxel x de la imagen 2D se representan como:
Figure imgf000006_0001
donde u(x) es una profundidad en el punto x y ux,uy son derivadas espaciales;
una ecuación de irradiancia de imagen se expresa del siguiente modo en términos del vector de luz l y la superficie normal n sin ignorar la atenuación de la distancia entre la fuente de luz y la reflexión de superficie para resolver un modelo SFS (forma a partir de sombra) Lambertiano :
donde p es un albedo de superficie;
después de realizar la sustitución v = lnu, se obtiene un Hamiltoniano, que se conoce como una transformación espacial entre la posición de la cámara y la fuente de luz, del siguiente modo:
Figure imgf000007_0001
donde
Figure imgf000007_0002
el mapa de profundidad de la imagen 2D causado por la distribución de luz se genera después de iteraciones de cálculo de las ecuaciones precedentes, y el vector de luz y el vector de posición de la cámara se simplifican para ser el mismo vector.
4. El método de visualización estereoscópica de la reivindicación 2, en el que la imagen estereoscópica se genera según el algoritmo de renderizado basado en imágenes de profundidad para proporcionar diferentes vistas de la imagen 2D con la imagen 2D y el mapa de profundidad.
ES15180882T 2015-08-13 2015-08-13 Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra Active ES2734676T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP15180882.1A EP3130273B1 (en) 2015-08-13 2015-08-13 Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm

Publications (1)

Publication Number Publication Date
ES2734676T3 true ES2734676T3 (es) 2019-12-11

Family

ID=53886916

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15180882T Active ES2734676T3 (es) 2015-08-13 2015-08-13 Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra

Country Status (3)

Country Link
EP (1) EP3130273B1 (es)
ES (1) ES2734676T3 (es)
PT (1) PT3130273T (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992431B (zh) * 2019-12-16 2023-04-18 电子科技大学 一种双目内窥镜软组织图像的联合三维重建方法
CN113140010B (zh) * 2021-05-14 2022-08-12 上海交通大学 适用少/无特征环境的三维重建方法及系统、设备、介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8929645B2 (en) * 2007-04-24 2015-01-06 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
WO2012075631A1 (en) * 2010-12-08 2012-06-14 Industrial Technology Research Institute Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same
US20150237325A1 (en) * 2012-08-15 2015-08-20 Industrial Technology Research Institute Method and apparatus for converting 2d images to 3d images

Also Published As

Publication number Publication date
PT3130273T (pt) 2019-07-04
EP3130273A1 (en) 2017-02-15
EP3130273B1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
US20170035268A1 (en) Stereo display system and method for endoscope using shape-from-shading algorithm
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
JP7076447B2 (ja) ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
CN106327587B (zh) 一种用于增强现实手术导航的腹腔镜视频精准融合方法
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
JP6458732B2 (ja) 画像処理装置、画像処理方法、プログラム
Canessa et al. Calibrated depth and color cameras for accurate 3D interaction in a stereoscopic augmented reality environment
CN110288642A (zh) 基于相机阵列的三维物体快速重建方法
ES2908588T3 (es) Método para controlar una pantalla de presentación visual, programa informático y dispositivo de presentación visual de realidad mixta
US11463676B2 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
US20220012954A1 (en) Generation of synthetic three-dimensional imaging from partial depth maps
WO2013067683A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
CN110992431B (zh) 一种双目内窥镜软组织图像的联合三维重建方法
Mahdy et al. Projector calibration using passive stereo and triangulation
Reiter et al. Surgical structured light for 3D minimally invasive surgical imaging
JP4580678B2 (ja) 注視点位置表示装置
Goncalves et al. Perspective shape from shading for wide-FOV near-lighting endoscopes
JP2022183177A (ja) ヘッドマウントディスプレイ装置
CN115919239A (zh) 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统
ES2734676T3 (es) Sistema de visualización estereoscópica y método para endoscopio usando un algoritmo de forma a partir de sombra
JP6853928B2 (ja) 三次元動画像表示処理装置、並びにプログラム
Karargyris et al. 3D representation of the digestive tract surface in Wireless Capsule Endoscopy videos
CN104887316A (zh) 基于主动立体显示技术的虚拟立体内窥镜显示方法
Zhou et al. Synthesis of stereoscopic views from monocular endoscopic videos
CN208319312U (zh) 一种面向膝盖软骨移植术的术中器具位姿导航装置