ES2805425T3 - Procedimientos y productos de programas informáticos para calibrar sistemas de imagen estéreo mediante el uso de un espejo plano - Google Patents

Procedimientos y productos de programas informáticos para calibrar sistemas de imagen estéreo mediante el uso de un espejo plano Download PDF

Info

Publication number
ES2805425T3
ES2805425T3 ES17713419T ES17713419T ES2805425T3 ES 2805425 T3 ES2805425 T3 ES 2805425T3 ES 17713419 T ES17713419 T ES 17713419T ES 17713419 T ES17713419 T ES 17713419T ES 2805425 T3 ES2805425 T3 ES 2805425T3
Authority
ES
Spain
Prior art keywords
camera
mirror
image
coordinate system
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17713419T
Other languages
English (en)
Inventor
Péter Torma
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LATERAL REALITY KFT
Original Assignee
LATERAL REALITY KFT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LATERAL REALITY KFT filed Critical LATERAL REALITY KFT
Application granted granted Critical
Publication of ES2805425T3 publication Critical patent/ES2805425T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

Un procedimiento para calibrar un sistema de imagen estéreo mediante el uso de al menos una cámara, cada una transportada por un dispositivo de cámara respectivo, y un espejo plano, el procedimiento comprendiendo las etapas de: - obtener al menos dos imágenes por medio de dicha al menos una cámara (S200), al capturar cada una de las imágenes desde una posición de cámara diferente y que contienen imágenes de una vista reflejada de la cámara utilizada para capturar la imagen, y una vista reflejada de un objeto, y se obtienen así múltiples vistas de dicho objeto, - encontrar el centro de la imagen de la vista reflejada de la cámara de captura de imágenes en cada una de las imágenes (S202), - obtener una distancia focal en píxeles (H) de la al menos una cámara como la relación de la distancia focal (f) y el tamaño de píxel (s) de la cámara (S204), - determinar la dirección del vector normal del espejo desde el centro de la vista reflejada de la cámara de captura de imágenes para cada una de las imágenes (S206) - determinar la distancia entre la cámara y el espejo para cada una de las imágenes mediante el uso de (i) un punto de referencia en el dispositivo de cámara, dicho punto de referencia tiene coordenadas conocidas en el sistema de coordenadas de la cámara, y (ii) las coordenadas del punto correspondiente de la vista reflejada del dispositivo de cámara (S208), - determinar la ecuación del plano del espejo en el sistema de coordenadas de al menos una cámara mediante el uso de la dirección y la distancia de la normal del plano del espejo y la distancia focal en píxeles (H) de la cámara (S210), - definir un vector ascendente en el plano del espejo (S212), - seleccionar un punto de referencia en el plano del espejo (S214), - definir un sistema de coordenadas de referencia con dicho punto de referencia como su origo y dicho vector ascendente como su eje vertical y (S216), - para cada imagen, determinar por separado la transformación de coordenadas del sistema de coordenadas de la cámara de captura de imágenes en dicho sistema de coordenadas de referencia, y - para cualquier par de imágenes, determinar la transformación de coordenadas del sistema de coordenadas de la cámara de la primera posición de captura de imágenes en el sistema de coordenadas de la cámara de la segunda posición de captura de imágenes (S220).

Description

DESCRIPCIÓN
Procedimientos y productos de programas informáticos para calibrar sistemas de imagen estéreo mediante el uso de un espejo plano
Campo de la invención
La invención generalmente se refiere a la producción de imágenes estéreo calibradas. Más particularmente, la presente invención se refiere a procedimientos de producción de imágenes estéreo calibradas mediante el uso de un espejo plano y productos de programas informáticos para llevar a cabo los procedimientos.
Antecedentes de la invención
La distancia entre una cámara y un punto espacial en una escena puede determinarse o estimarse bien desde la posición del punto dentro de dos o más imágenes asociadas que muestran el mismo punto, en el que la escena es estacionaria o las imágenes asociadas se capturan simultáneamente. El cálculo de la distancia todavía es posible si uno o más espejos planos se disponen en la escena, y algunas de las imágenes se capturan en el espejo. La posición tridimensional (3D) de un punto puede calcularse a partir de relaciones geométricas básicas cuando se conoce la relación entre la posición espacial del dispositivo de grabación de imágenes y la posición espacial y los parámetros específicos de las superficies reflectantes (por ejemplo, espejos). El desafío en el cálculo de una distancia desconocida de múltiples imágenes mediante el uso de superficies reflectantes se llama visión estéreo catadióptrica. En J. Gluckman y S.K. Nayar: En Catadioptric Stereo Using Planar Mirrors (International Journal on Computer Vision, 44(1), pp. 65-79, agosto de 2001), la teoría básica de la generación de imágenes estéreo catadióptricas se describe en detalle. En este documento, se presenta una configuración de captura de imágenes que incluye una cámara y un espejo plano con una posición relativa conocida de la cámara y el espejo, y por lo tanto no es necesaria la calibración. Este procedimiento da como resultado una representación 3D volumétrica de un objeto en la vista real de la cámara.
En el artículo de Hu y otros 'Multiple-view 3-D Reconstruction Using a Mirror' (ftp://ftp.cs.rochester.edu/pub/papers/robotics/05.tr863.Multiple-view_3-d_reconstruction_using_a_mirror.pdf) una cámara estacionaria y un espejo plano se utilizan para la reconstrucción de objetos tridimensionales de vista múltiple. La distancia entre el espejo y la cámara se obtiene mediante un único punto de objeto y un par de puntos de la vista reflejada del objeto. La imagen especular de la cámara se busca en las imágenes capturadas y luego los epípoles de la cámara virtual se utilizan para determinar la relación espacial entre la cámara virtual y la cámara real. Sin embargo, este procedimiento no puede utilizarse para la reconstrucción de objetos 3D si el objeto real no es visible en las imágenes capturadas.
El artículo de Kumar y otros, 'Simple calibration of non-overlapping cameras with a mirror' (http://frahm.web.unc.edu/files/2014/01/Simple-Calibration-of-Non-overlapping-Cameras-with-a-Mirror.pdf), introduce un procedimiento de calibración para un conjunto de cámaras. Aunque este procedimiento también usa las imágenes especulares de las cámaras, no usa las imágenes del objeto real y, por lo tanto, se requieren al menos cinco imágenes para recuperar la posición y orientación reales de la cámara.
La calibración de un sistema de cámara estéreo (o multivista) es una tarea complicada. En general, requiere encontrar varios puntos correspondientes en las imágenes capturadas y luego resolver un problema de optimización no lineal con seis u ocho parámetros (que dependen de si se conocen o no las distancias focales de las cámaras). En nuestros procedimientos propuestos, la calibración puede obtenerse al reducir el problema de optimización mencionado anteriormente a dos problemas de optimización independientes y mucho más simples, cada uno con tres o cuatro parámetros (que dependen de si se conocen o no las distancias focales). Debido a esta descomposición de un cálculo complicado en dos cálculos más simples, los procedimientos de la invención son más rápidos, más confiables y más robustos que los procedimientos de calibración conocidos.
El documento EP 2866466 se considera como la técnica anterior más cercana. Este documento divulga una configuración de múltiples cámaras que incluye un espejo para producir imágenes estéreo calibradas. En esta solución, se supone que las transformaciones entre los sistemas de coordenadas de las diferentes cámaras se conocen y solo una de las cámaras está frente al espejo. La cámara principal, que mira hacia el espejo, captura una imagen que muestra también la cámara misma. La posición de esta cámara principal en la imagen capturada se usa para determinar la posición real de la cámara principal. Una vez que se determina la posición real de la cámara primaria, pueden llevarse a cabo las transformaciones de coordenadas conocidas entre la cámara primaria y las otras cámaras. En esta configuración, las imágenes se capturan con cámaras fijas. Esta solución tiene las siguientes deficiencias, entre otras:
- para la generación de imágenes estéreo y el procedimiento de calibración del sistema, se requieren al menos dos cámaras, una de las cuales está frente a un espejo y observa una vista reflejada del objeto y una vista reflejada de la cámara, y
- las transformaciones de coordenadas entre cada par de cámaras se conocerán de antemano.
Es un objeto de la presente invención proporcionar un procedimiento mejorado para calibrar un sistema de imagen estéreo, que elimina al menos en parte las deficiencias de los procesos de calibración conocidos.
La idea central de los procedimientos de calibración de la presente invención es que al usar la(s) vista(s) reflejadas de la al menos una cámara junto con múltiples (diferentes) vistas reflejadas de un objeto en una o más imágenes capturadas, las coordenadas 3D de un punto en el espacio real con respecto al sistema de coordenadas del espejo puede determinarse fácilmente incluso si el sistema de coordenadas del espejo no se conoce de antemano. Además, al seleccionar dos puntos espaciales que aparecen en una o más imágenes capturadas, la distancia real entre los dos puntos seleccionados puede determinarse en función de sus puntos de imagen correspondientes.
Estos y otros objetos se consiguen al proporcionar los procedimientos de acuerdo con la presente invención.
Las características clave de los procedimientos de calibración de acuerdo con la invención incluyen las etapas para encontrar un sistema de coordenadas de referencia mediante el uso de las imágenes capturadas y luego determinar las transformaciones entre el sistema de coordenadas de referencia y los sistemas de coordenadas de la cámara. El sistema de coordenadas de referencia se selecciona de modo que su origo y sus dos ejes residan en el plano del espejo con uno de dichos dos ejes en posición vertical. Debido a la vista reflejada de la cámara que se muestra en una imagen capturada por sí misma, el plano del espejo puede determinarse fácilmente a partir de una sola imagen que muestra la cámara. Mediante el uso del sensor de gravedad de la cámara, la dirección vertical puede definirse en el plano del espejo, y se obtiene así el eje vertical y de un sistema de coordenadas del espejo. Por lo tanto, puede obtenerse un sistema de coordenadas de espejo correctamente orientado para cada imagen. Las transformaciones entre el sistema de coordenadas de referencia y los sistemas de coordenadas espejo (determinadas a partir de diferentes imágenes) pueden calcularse fácilmente a partir de cualquier par de imágenes. En el primer procedimiento de calibración de la invención, el origo del sistema de coordenadas de referencia se selecciona arbitrariamente en el plano del espejo (puede ser el origo de cualquier sistema de coordenadas del espejo o cualquier punto seleccionado por el usuario en el espejo mismo). En el segundo procedimiento de calibración de la invención, en el que se usa una sola cámara, el punto de referencia es el epípole de la imagen estéreo.
Sumario de la invención
En un primer aspecto de la presente invención, se proporciona un procedimiento para calibrar un sistema de imagen estéreo mediante el uso de al menos una cámara, cada una transportada por un dispositivo de cámara respectivo, y un espejo plano, el procedimiento comprende las etapas de:
- obtener al menos dos imágenes por medio de dicha al menos una cámara, al capturar cada una de las imágenes desde una posición de cámara diferente y que contiene las imágenes de una vista reflejada de la cámara utilizada para capturar la imagen, y una vista reflejada de un objeto, y se obtiene así múltiples vistas de dicho objeto, - encontrar el centro de la imagen de la vista reflejada de la cámara de captura de imágenes en cada una de las imágenes,
- obtener una distancia focal en píxeles de al menos una cámara como la relación de la distancia focal y el tamaño de píxel de la cámara,
- determinar la dirección del vector normal del espejo desde el centro de la vista reflejada de la cámara de captura de imágenes para cada una de las imágenes,
- determinar la distancia entre la cámara y el espejo para cada una de las imágenes mediante el uso de (i) un punto de referencia en el dispositivo de la cámara, dicho punto de referencia tiene coordenadas conocidas en el sistema de coordenadas de la cámara, y (ii) las coordenadas del punto correspondiente de la vista reflejada del dispositivo de la cámara,
- determinar la ecuación del plano del espejo en el sistema de coordenadas de al menos una cámara mediante el uso de la dirección y la distancia de la normal del plano del espejo y la distancia focal en píxeles de la cámara, - lo que define un vector ascendente en el plano del espejo,
- al seleccionar un punto de referencia en el plano del espejo,
- lo que define un sistema de coordenadas de referencia con dicho punto de referencia como su origo y dicho vector ascendente como su eje vertical y,
- para cada imagen, se determina por separado la transformación de coordenadas del sistema de coordenadas de la cámara de captura de imágenes en dicho sistema de coordenadas de referencia, y
- para cualquier par de imágenes, determinar la transformación de coordenadas del sistema de coordenadas de la cámara de la primera posición de captura de imágenes en el sistema de coordenadas de la cámara de la segunda posición de captura de imágenes.
En un segundo aspecto de la presente invención, se proporciona un procedimiento para calibrar una configuración de espejo de la cámara mediante el uso de una cámara transportada por un dispositivo de cámara y un espejo plano, el procedimiento comprende las etapas de:
- obtener una imagen capturada por la cámara, dicha imagen contiene las imágenes de un objeto, una vista reflejada del objeto y una vista reflejada de la cámara utilizada para capturar la imagen, y obtiene así múltiples vistas del objeto,
- encontrar el centro de la imagen de la vista reflejada de la cámara en la imagen,
- obtener una distancia focal en píxeles de la cámara como la relación de la distancia focal y el tamaño de píxel de la cámara,
- determinar la dirección del vector normal del espejo desde el centro de la vista reflejada de la cámara,
- determinar la distancia entre la cámara y el espejo para cada una de las imágenes mediante el uso de (i) un punto de referencia en el dispositivo de la cámara, dicho punto de referencia tiene coordenadas conocidas en el sistema de coordenadas de la cámara, y (ii) las coordenadas del punto correspondiente del dispositivo de cámara que pertenece a la misma cámara de captura de imágenes,
- determinar la ecuación del plano del espejo en el sistema de coordenadas de la cámara mediante el uso de la dirección y la distancia del vector normal del plano del espejo y la distancia focal en píxeles de la cámara, - determinar la transformación de coordenadas del sistema de coordenadas de la cámara en un sistema de coordenadas de espejo arbitrario que tiene un origo en el plano del espejo y un eje z paralelo a un vector normal del plano del espejo.
En un tercer aspecto de la invención, se proporciona un procedimiento para medir una distancia calibrada entre dos puntos de un objeto, en el que el procedimiento comprende las etapas de:
- capturar al menos una imagen, mediante una configuración de espejo de la cámara que incluye un espejo plano y una cámara frente al espejo, cada imagen capturada muestra múltiples vistas de un objeto,
- calibrar dicha configuración de espejo de la cámara a través de las etapas del procedimiento de acuerdo con el primer o segundo aspecto de la invención,
- al seleccionar un par de puntos asociado del objeto en una de las al menos una imagen capturada, y
- calcular la distancia real entre los dos puntos de dicho par de puntos seleccionados del objeto del par de píxeles de la imagen correspondiente mediante el uso de geometría epipolar.
En un cuarto aspecto de la invención, se proporciona un procedimiento de estimación de profundidad calibrada para un objeto, en el que el procedimiento comprende las etapas de:
- capturar al menos una imagen con múltiples vistas de dicho objeto mediante una configuración de espejo de la cámara que incluye un espejo plano y al menos una cámara frente al espejo,
- calibrar dicha configuración de espejo de la cámara a través de las etapas del procedimiento de acuerdo con el primer o segundo aspecto de la invención, y
- generar una imagen de profundidad del objeto a partir de la al menos una imagen capturada.
En un quinto aspecto de la invención, se proporciona un producto de programa informático, que incluye instrucciones legibles por ordenador que, cuando se ejecutan en un ordenador, llevan a cabo las etapas del procedimiento de acuerdo con el primer aspecto de la presente invención.
Los procedimientos de acuerdo con la presente invención tienen las siguientes ventajas:
- Solo una cámara que se enfrenta a un espejo puede ser suficiente para capturar imágenes en diferentes posiciones. Aunque en esta configuración de cámara única, las imágenes pueden capturarse sucesivamente, no es necesario conocer de antemano las transformaciones de coordenadas entre los sistemas de coordenadas de la cámara en las diferentes posiciones de la cámara, ya que estas transformaciones se calculan durante el procedimiento de calibración. (Se observa que el uso de esta configuración requiere que el objeto sea estacionario.)
- La calibración también puede llevarse a cabo mediante el uso de dos (o incluso más) cámaras simultáneamente.
(Se observa que, en una configuración de múltiples cámaras, el objeto puede moverse.)
- El objeto también puede residir entre la(s) cámara(s) y el espejo.
Breve descripción de los dibujos
La invención se describirá ahora en detalle a través de las realizaciones preferentes con referencia a las figuras acompañantes en las que:
- La figura 1 ilustra esquemáticamente los sistemas de coordenadas y la geometría de los procedimientos de la presente invención.
- La figura 2 ilustra esquemáticamente la configuración del espejo de la cámara de acuerdo con un primer aspecto de la presente invención.
- La figura 3 muestra dos imágenes capturadas por una cámara en diferentes posiciones en la configuración de espejo de la cámara de la figura 2.
- La figura 4 es un diagrama de flujo de las etapas principales del procedimiento de calibración de acuerdo con el primer aspecto de la presente invención.
- La figura 5 ilustra las imágenes de la figura 3 con líneas epipolares.
- La figura 6 ilustra esquemáticamente la configuración del espejo de la cámara de acuerdo con un segundo aspecto de la presente invención.
- La figura 7 muestra una imagen capturada por la cámara en la configuración de espejo de la cámara de la figura 6.
- La figura 8 es un diagrama de flujo de las etapas principales del procedimiento de calibración de acuerdo con el segundo aspecto de la presente invención.
- La figura 9 muestra otro par de imágenes ejemplares capturadas simultáneamente por dos cámaras en diferentes posiciones en la configuración de espejo de la cámara de acuerdo con el primer aspecto de la presente invención.
Descripción detallada de la invención
Dentro del contexto de la presente descripción, el término "imagen" significa el producto de captura de imágenes realizado por un dispositivo de grabación de imágenes, como un sensor de imagen o una cámara, generalmente denominado "cámara" en adelante, y el término "imagen" significa una representación visual de un objeto (o persona) dentro de una imagen capturada. Una imagen puede ser una imagen fija o un fotograma de una secuencia de video (también conocida como imagen de video). La imagen de un objeto en una imagen puede representar una vista normal de un objeto o una vista reflejada de un objeto que se muestra en el espejo.
La figura 1 ilustra los sistemas de coordenadas generalmente utilizados en los procedimientos de calibración de la presente invención. Un dispositivo de cámara real 100 tiene un sistema de coordenadas cartesianas Kc que tienen ejes mutuamente ortogonales xc , ye y zc . El dispositivo de cámara real 100 comprende una cámara real 110. El dispositivo de cámara real 100 puede ser cualquier tipo de dispositivo basado en procesador equipado con una cámara o cualquier tipo de sensor de imagen. El dispositivo de cámara 100 puede incluir, por ejemplo, un teléfono móvil, un teléfono inteligente, un phablet, una tableta, un ordenador portátil, una cámara digital o similar, o cualquier otro dispositivo de cámara capaz de capturar una imagen.
Un espejo plano 140 también tiene un sistema de coordenadas cartesianas Km que tienen ejes mutuamente ortogonales xm , yM y zm, en el que los ejes xm y yM, y por lo tanto el origo g del sistema de coordenadas del espejo Km están todos en el plano del espejo 140. El dispositivo de cámara real 100 tiene una vista reflejada, un denominado dispositivo de cámara virtual 101 que aparece detrás del espejo. El dispositivo de cámara virtual 101 también tiene una cámara virtual 111, que es una vista reflejada de la cámara real 110.
Un vector m se define para ser perpendicular al espejo 140 y tener una longitud que sea igual a la distancia entre el espejo 140 y la cámara real 110. Puede calcularse el vector m mediante el uso del punto del espejo 140 donde aparece la cámara virtual 111 en la imagen que contiene la vista reflejada de la cámara como se describirá más adelante.
De acuerdo con un primer aspecto de la presente invención, la calibración es en base a una configuración de espejo de la cámara que se muestra en la figura 2. En esta configuración, la cámara real 110 captura múltiples (al menos dos) imágenes, cada imagen capturada muestra solo un objeto reflejado 121 y la cámara reflejada 111. Aunque el objeto real 120 puede estar dentro del campo de visión de la cámara real 110 parcial o totalmente, no tiene importancia con respecto al procedimiento de calibración ya que solo los puntos de imagen de los objetos reflejados se procesan en el procedimiento de la invención de acuerdo con su primer aspecto. Significa que el objeto real puede colocarse en un volumen espacial entre la cámara real 100 y el espejo 140, o en una ubicación más alejada del espejo 140 que de la cámara 100. En este último caso, las imágenes capturadas no contienen en absoluto las vistas reflejadas del objeto real 120.
Se observa que en las figuras 1 y 2, el dispositivo de cámara real 100 tiene su cámara 110 a un lado que mira hacia el espejo 140, por lo tanto, la cámara real 110 se representa por líneas punteadas en esas figuras.
En la figura 3, se muestran dos imágenes 11 y 12, por ejemplo, cada una capturada en diferentes posiciones de cámara. En las imágenes 11 y 12, el dispositivo de cámara reflejado tiene dos imágenes D1, D2, respectivamente, en diferentes posiciones (es decir, estas son las vistas reflejadas del dispositivo de cámara 100), la cámara reflejada tiene dos imágenes C1, C2, respectivamente, en diferentes posiciones (es decir, estas son las vistas reflejadas de la cámara 110), y el objeto reflejado (es decir, la vista reflejada del objeto real 120) también tiene dos imágenes O1, O2, respectivamente, también en diferentes posiciones. En caso de que se capturen más de dos imágenes, todas las imágenes se capturan preferentemente en diferentes posiciones de cámara, mientras que se supone que la posición relativa entre el objeto y el espejo es constante. Si las imágenes 11 y 12 se capturan por dos cámaras simultáneamente, el objeto no necesita estar estacionario, siempre que las imágenes se capturen al mismo tiempo. El diagrama de flujo de la figura 4 muestra las etapas principales del procedimiento de calibración de la presente invención de acuerdo con su primer aspecto.
En la etapa S200, se obtienen al menos dos imágenes mediante el uso de la configuración de espejo de la cámara mencionada anteriormente que se muestra en la figura 2. Cada una de las imágenes contiene una vista reflejada de la cámara de captura de imágenes 110 y una vista reflejada de un objeto 120.
La parte de procesamiento de imágenes del procedimiento tiene las siguientes cuatro fases:
A) Determinar una transformación de coordenadas M*1 desde un primer sistema de coordenadas de cámara Kc1 a un sistema de coordenadas de espejo arbitrario K*m1 mediante el uso de una primera imagen y la determinación de una transformación de coordenadas M*2 desde un segundo sistema de coordenadas de cámara Kc2 a otro sistema de coordenadas de espejo arbitrario K*m2 mediante el uso de una segunda imagen. Los sistemas de coordenadas espejo K*m1 y K*m2 se seleccionan para que su origo resida en el plano del espejo y su eje z sea paralelo a un vector normal del plano del espejo.
B) Mediante el uso de un vector global libremente seleccionado, un denominado vector ascendente que puede detectarse en relación con todas las imágenes iniciales, puede definirse un eje y común de estos sistemas de coordenadas espejo K*m1 y K*M2y, por lo tanto, las transformaciones M**1 y M**2 del primer y segundo sistemas de coordenadas de cámara Kc1, Kc2 a los sistemas de coordenadas espejo K**m1 y K**m2, respectivamente. C) Determinar un origo global g y encontrar las coordenadas de este origo g en los sistemas de coordenadas espejo K**M1y K**m2, y se obtiene así un sistema de coordenadas del espejo específico Km, y luego se determinan las transformaciones de coordenadas M1 y M2 del primer y segundo sistemas de coordenadas de cámara Kc1, Kc2, respectivamente, al sistema de coordenadas del espejo común Km, que se utiliza como sistema de coordenadas de referencia.
D) Determinar una transformación de coordenadas F desde cualquier sistema de coordenadas de cámara Kck al primer sistema de coordenadas de cámara Kci al determinar la transformación de coordenadas Mk con respecto a otra imagen lk, en el que ^ i-Las fases anteriores del procedimiento de calibración de la presente invención se describirán ahora en detalle con referencia al diagrama de flujo que se muestra en la figura 4 y a la configuración que se muestra en la figura 3 que ilustra dos imágenes capturadas como ejemplo. Se observa que las imágenes 11 y 12 mostradas en la figura 3 pueden grabarse posteriormente por la misma cámara o por diferentes cámaras simultáneamente. En el último caso, las imágenes D1 y D2 pertenecen a diferentes dispositivos de cámara.
Determinación de la transformación M*
Para determinar una transformación de coordenadas de un sistema de coordenadas de cámara a un sistema de coordenadas de espejo arbitrario, el centro de las imágenes C1, C2 de las cámaras reflejadas se encuentra primero en cada una de las imágenes en la etapa S202.
En los cálculos asumimos que las transformaciones de coordenadas tienen la siguiente forma general:
M = ( R
V0 0 0 V
donde M es una matriz de transformación homogénea completa, R es una matriz de rotación de 3x3, y t es un vector de interpretación de 3x1.
Para calcular la matriz de rotación R, primero debe transformarse el eje z de la cámara al vector normal n del plano del espejo. El vector normal es Hrnll
en el que m es el vector que apunta del espejo a la cámara y ortogonal al plano del espejo. Por consiguiente, ||m|| define la distancia entre el espejo y la cámara.
La matriz de rotación R debería transformar el eje y de la cámara en la proyección del mismo vector global al plano del espejo. Por lo tanto, es necesario definir un vector u que sea común a todas las imágenes capturadas. En base a dicho vector u, la matriz de rotación puede definirse como:
R = (u x n u n)
donde u3n representa el producto cruzado de los vectores u y n. La proyección del vector global u* en el plano del espejo dará como resultado un vector ascendente u del sistema de coordenadas del espejo Km .
En un sistema de coordenadas de cámara, el plano del espejo puede formularse como:
mTx + ||m|| = 0
en el que x es cualquier punto del plano del espejo.
Tenga en cuenta que existen numerosas transformaciones posibles M* de un sistema de coordenadas de cámara en particular a un sistema de coordenadas de espejo arbitrario K*m , ya que el sistema de coordenadas del espejo no se especifica completamente en esta etapa. Las únicas restricciones para el sistema de coordenadas del espejo son _ m
que la tercera columna de la matriz de rotación R en la transformación de coordenadas M* debe ser IMI ’ y el vector de interpretación t de la transformación M* debe ser un vector que apunte desde el punto focal de la cámara a cualquier punto del plano del espejo, es decir
Figure imgf000007_0001
En la etapa S210, se determina la ecuación del plano del espejo. Para este fin, debe calcularse el valor del vector m. Esto puede hacerse en tres etapas. Primero, la dirección del vector m se determina mediante el uso del valor de una llamada "distancia focal en píxeles" adquirida en la etapa S204 y luego la longitud del vector m se determina mediante el uso de un punto seleccionado del dispositivo de cámara, dicho punto tiene coordenadas conocidas en el sistema de coordenadas de la cámara.
La distancia focal f de la cámara puede ser un valor constante y, por lo tanto, especificado por el fabricante de la cámara, o puede establecerse por el usuario al capturar las imágenes. Por lo tanto, en ambos casos, la distancia focal f de la cámara, se supone que se conoce. A continuación, el valor de la distancia focal en píxeles H se obtiene. Esto puede hacerse mediante las siguientes etapas.
Dejar Q ser un punto en el espacio (ya sea real o virtual) y dejar p denotar un píxel respectivo en la imagen capturada. Las coordenadas de píxel px,py del punto p en la imagen puede definirse en el sistema de coordenadas de la cámara mediante las ecuaciones:
Figure imgf000007_0002
dónde f es la distancia focal de la cámara de captura y s es el tamaño de píxel de la cámara. Generalmente, el tamaño de píxel s es un parámetro específico de la cámara dado por el fabricante de la cámara. Su valor es típicamente de aproximadamente 1 micra.
Para facilitar los siguientes cálculos, el parámetro "distancia focal en píxeles" H se define como la relación de la distancia focal f y el tamaño de píxel s de la cámara:
Figure imgf000007_0003
En la siguiente etapa S206, la dirección n del vector normal del espejo m se determinará. Puede calcularse mediante el uso del hecho de que la línea entre el centro de la cámara real y el centro de la vista reflejada de la cámara es perpendicular al plano del espejo. Por lo tanto, la dirección n del vector normal m del espejo puede calcularse de la siguiente manera:
Figure imgf000007_0004
en el que (Cx,Cy) son las coordenadas del centro de la imagen C1, C2 de la cámara reflejada en la imagen capturada y a es un valor escalar que da un vector de longitud 1 para n:
Figure imgf000007_0005
Para determinar el vector espejo m aún es necesario encontrar su longitud (es decir, la distancia entre el espejo y la cámara), es decir, el valor escalar del vector ||m||. Este valor se denomina "relación de aspecto" de la cámara en la imagen.
Es fácil calcular dicha relación de aspecto si el plano de la cámara es paralelo al plano del espejo (es decir, el eje z de la cámara es perpendicular al plano del espejo). En este caso, puede calcularse mediante el uso de la relación de la distancia entre dos puntos reales, la distancia de los puntos correspondientes que se muestran en la imagen, medida en píxeles.
Calcular la distancia entre la cámara y el plano del espejo será más complicado si la cámara no está paralela al espejo. Para hacer estos cálculos se supone que hay un punto U en el dispositivo de la cámara, dicho punto tiene coordenadas conocidas en el sistema de coordenadas de la cámara Kc y este punto puede detectarse en la imagen capturada.
Definamos la longitud del vector m por la expresión m = pn. Las coordenadas de la vista reflejada V del punto U en función de p puede calcularse de la siguiente manera:
V = U — 2 \i(nTU l)n
Se supone que se detecta una proyección de V en la imagen. Denotemos este punto proyectado por v. Las coordenadas de v pueden expresarse de la siguiente manera:
Figure imgf000008_0001
Vy Uy - 2 ^ n TU l) n y
Vy Vz Uz - 2[i(nTU l ) n z
Cualquiera de estas ecuaciones puede resolverse para encontrar p, ya que son lineales en esta única variable. Como se mencionó anteriormente, esto lleva a encontrar m = pn.
Se observa que uno debe asegurarse de que el punto U seleccionado no resida en la dirección del vector m, ya que en este caso la proyección sobre la imagen siempre coincidirá con la proyección del centro de la cámara y los cálculos no pueden realizarse.
Como resultado, la ecuación del plano del espejo puede obtenerse en la etapa S212 de acuerdo con la fórmula mencionada anteriormente:
mTx Imll = 0
Determinación de la transformación M**
A continuación, en la etapa S212, un vector ascendente específico u se define para el sistema de coordenadas del espejo Km de la siguiente manera.
Dejar u* ser cualquier vector en el espacio. Una posible selección para u* puede ser el vector de gravedad que puede obtenerse de un sensor de gravedad del dispositivo de la cámara, por ejemplo. Otra opción puede ser seleccionar dos puntos en el espacio con una distancia conocida del plano del espejo. En este último caso, uno debe poder encontrar los píxeles correspondientes en las imágenes capturadas. De hecho, no es necesario conocer realmente este vector u*, solo es necesario saber (o calcular) su proyección en el plano del espejo, cuyo vector se denota por u. Este vector proyectado u se considera como el llamado vector ascendente del sistema de coordenadas del espejo. El vector ascendente permite definir una transformación de coordenadas M** desde el sistema de coordenadas de la cámara al sistema de coordenadas del espejo de una manera más determinada, mediante la configuración de la segunda columna de la matriz de rotación R a u. Se observa que en este punto la matriz de rotación R se define completamente ya que la tercera columna es el vector normal normalizado del espejo y la primera columna puede adquirirse del principio de ortonormalidad.
Determinación de la transformación M
En la etapa S216, se determina el origo del sistema de coordenadas del espejo K**m . Esto puede hacerse de varias maneras, las formas más preferidas de las cuales se introducirán a continuación. En estos esquemas, el sistema de coordenadas del espejo proporcionará un sistema de coordenadas de referencia para transformaciones de coordenadas posteriores.
En una primera forma preferida, el origo del sistema de coordenadas del espejo se obtiene al seleccionar libremente un punto en el espacio en la etapa S214. Para este fin, se supone que hay un punto p a una distancia conocida d del espejo y este punto puede verse en cada una de las imágenes capturadas. Por ejemplo, este punto puede seleccionarse como una marca visual en el espejo mismo. El origo del sistema de coordenadas del espejo se considera la proyección de este punto p en el plano del espejo. Deje que las coordenadas de píxeles de la imagen del punto seleccionado p en la k-ésima imagen ser ÍPx.Py), y dejar que su distancia del espejo sea d. Dejar gr* ser el vector base del rayo de la imagen. Esto significa que el punto p con referencia a (P*'Py)puede escribirse como un múltiplo de gken el que gk puede escribirse mediante el uso de las coordenadas de píxeles y la distancia focal en píxeles de la cámara:
Figure imgf000009_0001
Las coordenadas reales en 3D p = pgk puede calcularse fácilmente en el sistema de coordenadas de la cámara al observar que es el punto de cruce de un múltiplo del vector de rayos y la interpretación del plano del espejo por d, es decir
mTx + ||m|| d = 0.
Como resultado gk puede calcularse al encontrar un factor de multiplicación p para el cual:
Figure imgf000009_0002
De la ecuación anterior las coordenadas 3D del punto p en el sistema de coordenadas de la cámara es:
llmll d ,
p -m T 1 gK b 9
El origo del sistema de coordenadas del espejo puede obtenerse al agregar un vector de longitud d y la dirección del plano del espejo normal a p, lo que da como resultado la siguiente expresión:
Figure imgf000009_0003
Una segunda forma preferida de determinar el origo del sistema de coordenadas del espejo es seleccionar un punto arbitrario en el plano del espejo en la etapa S214 (por ejemplo, la proyección del punto focal de la cámara), y encontrar el punto de imagen asociado en una de las imágenes capturadas, y luego encontrar algunos puntos correspondientes en al menos otra imagen capturada. El origo del sistema de coordenadas del espejo puede entonces calcularse por medio de un procedimiento de optimización (por ejemplo, mínimo cuadrado medio o la transformación de Hough generalizada). Se observa que, en este esquema, se necesitan más de un par de puntos asociados para los cálculos. El problema de optimización viene directamente de las ecuaciones anteriores.
Supongamos que hay algunos píxeles correspondientes en las imágenes (Px,rPy,i) ’donde el índice i denota los diferentes puntos, y el índice k denota las diferentes imágenes. Luego, el 3D del vector base del rayo de la imagen gk del punto de píxel i en una imagen k es
Figure imgf000009_0004
Se observa que las distancias de estos puntos desde el plano del espejo son desconocidas. Denotemos estas distancias por dk. Esto da como resultado el siguiente conjunto de ecuaciones:
Figure imgf000009_0005
donde las coordenadas de tk y dk se desconocen para todos los puntos. Es obvio que un par de puntos correspondiente viene con uno nuevo desconocido dk y proporciona una restricción bidimensional que se muestra arriba para cada par de imágenes. Como resultado, dos pares de puntos correspondientes determinan las interpretaciones faltantes (tk) al origo común del sistema de coordenadas del espejo.
Una tercera forma preferida de determinar el origo del sistema de coordenadas del espejo es, como se muestra en el ejemplo de las figuras 4 y 9, capturar imágenes 14, 15 mediante el uso de dos dispositivos de cámara simultáneamente de tal manera que al menos una de las imágenes incluya las imágenes Di, D2' de las vistas reflejadas de ambos dispositivos de cámara, mientras que la otra imagen (por ejemplo, la imagen 15) incluye solo la imagen D2 de la vista reflejada de la segunda cámara, como se muestra en la figura 9. Las imágenes I4, l5 también muestran las imágenes O1, O2 de la vista reflejada del objeto. Se observa que una vez que se conoce la ecuación del plano del espejo en ambos sistemas de coordenadas de la cámara, también se conocen las distancias entre los dispositivos de la cámara y el espejo. Además, también se conocen los puntos proyectados de los puntos focales de las cámaras en las imágenes. En el esquema descrito anteriormente, el punto focal proyectado de la imagen D2 de la segunda cámara reflejada puede ser el origo común. Dado que se conoce la distancia de D2 desde el espejo y la posición de píxel de este punto en la imagen I4, la interpretación al origo común (la proyección de D2 al plano del espejo) puede calcularse fácilmente para la primera imagen.
En base a los cálculos y consideraciones anteriores, la transformación de coordenadas del sistema de coordenadas de la cámara de captura de imágenes en un sistema de coordenadas de espejo se determina para cada imagen (etapa S218), y luego la transformación de coordenadas de un sistema de coordenadas de espejo particular en un sistema de coordenadas de referencia se determina para cada imagen (etapa S219).
Por lo tanto, en la etapa S220, puede llevarse a cabo una transformación de coordenadas entre dos sistemas de coordenadas de cámara, cada uno perteneciente a una posición de captura de imagen espacial particular, mediante el uso de la matriz fundamental mencionada anteriormente:
Figure imgf000010_0001
en la que Mk y Mn son las transformaciones de coordenadas de los sistemas de coordenadas de la cámara KCk y KCn, respectivamente, en el sistema de coordenadas del espejo Km. La ventaja del procedimiento de calibración descrito anteriormente es que las matrices de transformación de coordenadas M puede determinarse para cada imagen capturada por separado, por lo tanto, el cálculo de la matriz fundamental F requiere menos fuerza computacional que en otros procedimientos conocidos.
La matriz fundamental F puede visualizarse mediante líneas epipolares como se muestra en la figura 5, en la que las líneas discontinuas de las imágenes I1 e I2 con la misma letra son líneas epipolares mutuamente correspondientes. Por consiguiente, los pares de líneas epipolares correspondientes en la imagen I1 y la imagen I2 son líneas a1 y a2, respectivamente; líneas b1 y b2, respectivamente; y líneas c1 y c2, respectivamente. Significa que cualquier punto en una de las imágenes I1, I2 debe pertenecer a un punto 3D real que tenga su imagen en la otra de las imágenes I1, I2 a lo largo de la línea epipolar correspondiente (si se supone que el punto mencionado no se enmascara en las otras imágenes).
En un segundo aspecto de la presente invención, se muestran múltiples vistas del objeto dentro de una imagen, en la que una de las vistas del objeto es una vista normal y la otra vista del objeto es una vista reflejada del mismo. La imagen también contendrá la vista reflejada de la propia cámara de captura de imágenes.
De acuerdo con el segundo aspecto de la presente invención, la calibración en base a la configuración del espejo de la cámara que se muestra en la figura 6. En esta configuración, la cámara 110 captura tanto una vista normal del objeto 120 como una vista reflejada 121 del objeto 120. La vista reflejada del dispositivo de cámara 100 con su cámara 110 (es decir, el dispositivo de cámara reflejada 101 con su cámara reflejada 111) también aparece en el espejo 140. En este caso, el objeto 120 estará dentro del campo de visión de la cámara 110 al menos en parte. Se observa que en la figura 6, el dispositivo de cámara 100 tiene su cámara 110 a un lado que mira hacia el espejo 140, por lo tanto, la cámara 110 se representa con una línea de puntos.
En la figura 7, se muestra una imagen I3 capturada en la configuración de espejo de la cámara de la figura 6, por ejemplo. En la imagen I3, el dispositivo de cámara reflejada tiene una imagen D1, la cámara reflejada tiene una imagen C1, y la vista normal del objeto y la vista reflejada del objeto tienen dos imágenes O1, O1', respectivamente, en diferentes posiciones dentro de la imagen I3.
El diagrama de flujo de la figura 8 muestra las etapas principales del procedimiento de calibración de la presente invención de acuerdo con su segundo aspecto.
En la etapa S300, se captura una imagen mediante el uso de la configuración del espejo de la cámara mencionada anteriormente, como se muestra en la figura 6. La imagen capturada contiene una imagen de la vista reflejada de la cámara, así como imágenes de la vista normal y la vista reflejada de un objeto.
La parte de procesamiento de imágenes del procedimiento de acuerdo con el segundo aspecto de la presente invención requiere la única fase de procesamiento de imágenes de:
A) Determinar una transformación de coordenadas M* desde el sistema de coordenadas de la cámara Kc a un sistema de coordenadas de espejo arbitrario K*m mediante el uso de la imagen. El sistema de coordenadas del espejo K*m se selecciona para que su origo resida en el plano del espejo y su eje z sea paralelo a un vector normal del plano del espejo.
Se observa que en este aspecto de la presente invención, un sistema de coordenadas de espejo arbitrario es suficiente para la calibración de la configuración del espejo de la cámara que se muestra en la figura 6, ya que solo se captura una imagen (es decir, la imagen 13) y, en consecuencia, no es necesaria para determinar un sistema de coordenadas de espejo específico como referencia, que en el primer aspecto de la presente invención se usó para determinar las transformaciones de coordenadas entre los diferentes sistemas de coordenadas de cámara, cada uno de los cuales pertenece a una posición de captura de imagen espacial particular.
La fase A anterior del procesamiento de imágenes se lleva a cabo de la misma manera que en el primer aspecto, con la diferencia de que solo se determina una transformación de coordenadas entre el sistema de coordenadas de la cámara y el sistema de coordenadas del espejo (que puede tener su origo en cualquier lugar el plano del espejo y su vector ascendente que se extiende en cualquier dirección dentro del plano del espejo). En consecuencia, las etapas S302 a S310 corresponden a las etapas S202 a S210 del primer procedimiento, respectivamente. En particular, en la etapa S302, el centro de la imagen C1 de la cámara reflejada se encuentra en la imagen, luego en la etapa S304 se obtiene la longitud focal de captura en píxeles f/s de la cámara, seguido de determinar la dirección del vector normal del espejo en la etapa S306 y determinar la distancia entre el espejo y la cámara, es decir, el valor de ||m|| en la etapa S308. Como resultado, la ecuación del plano del espejo se obtiene en la etapa S310 sobre la base de la imagen capturada.
En este caso, el centro de la imagen C1 de la cámara reflejada es un epípole E del sistema de imagen estéreo definido por las vistas reales y reflejadas del objeto. En la presente memoria, el término "epípole" se usa para definir el punto donde las líneas epipolares se encuentran. En geometría proyectiva, el epípole es el punto donde se encuentran las líneas paralelas al vector normal del espejo. Esto significa que una línea v que conecta el epípole E con cualquier punto v 1 de la imagen O1 de la vista normal del objeto en la imagen I3 también contiene el punto V2 correspondiente de la imagen O2 del objeto reflejado. Al encontrar estos puntos V1, V2 en la imagen 13, puede determinarse la posición del punto en el espacio tridimensional real. A este respecto, se supone que las coordenadas de píxel de un punto y la vista reflejada de ese punto se conocen, mientras que solo se desconoce la distancia entre dicho punto y el espejo. En este caso hay dos restricciones específicas, a saber:
1. La distancia entre el punto y el plano del espejo es igual a la distancia entre el punto reflejado y el espejo. 2. El vector que conecta el punto real y el punto reflejado es perpendicular al plano del espejo (y, por lo tanto, también es paralelo al vector normal del plano del espejo).
A partir de las dos condiciones anteriores, la distancia entre el punto real y el espejo puede calcularse simplemente como se describe a continuación.
Dejar (ux,uy) ser las coordenadas de la imagen u de un punto real p en una imagen capturada y (vx ,vy) ser las coordenadas de la imagen v de la vista reflejada q del punto p dentro de la misma imagen. Una vez que se determina la distancia c entre el punto p y el espejo, las coordenadas 3D del punto real p en el sistema de coordenadas de la cámara pueden calcularse fácilmente mediante el uso de las ecuaciones descritas anteriormente.
p = ih ( uy ) = PiPo q = P2 ( vv ) = M o ■
Dejar pi y p2 se seleccionen de una manera que \H / y \H / Claramente, mTp d = c y mT q + d = -c.
Por lo tanto,
Figure imgf000011_0001
Además, se sabe que el vector diferencial p - q es paralelo al vector mpor lo tanto p - q = Tm. Al sustituir p<\ y p2 conduce a un sistema de ecuación lineal simple para c y t . Al resolver el sistema de ecuaciones, pueden calcularse las coordenadas 3D del punto p.
En base a los cálculos y consideraciones anteriores, la transformación de coordenadas del sistema de coordenadas de la cámara de captura de imágenes en un sistema de coordenadas de espejo arbitrario que tiene un origo en el plano del espejo y un eje z paralelo a un vector normal del plano del espejo puede determinarse en la etapa S316.
Al calcular las posiciones de otros pares de puntos asociados en la imagen, pueden calcularse las distancias entre estos puntos en el espacio 3D real.
Los procedimientos de la invención permiten determinar las coordenadas 3D reales de los puntos que aparecen en cualquiera de las al menos una imagen capturada. Por lo tanto, los procedimientos de la invención pueden usarse adicionalmente, por ejemplo, para medir la distancia entre dos puntos de un objeto, que son visibles en al menos dos vistas diferentes en la al menos una imagen capturada. Las diferentes vistas del objeto pueden incluir, por ejemplo, dos vistas espejo diferentes en dos imágenes capturadas, o una vista normal y una vista reflejada del objeto dentro de una imagen.
Por consiguiente, en un tercer aspecto de la invención, se proporciona un procedimiento para medir una distancia calibrada entre dos puntos de un objeto, en el que el procedimiento comprende las etapas de:
- capturar al menos una imagen con múltiples vistas de dicho objeto mediante una configuración de espejo de la cámara que incluye al menos una cámara y un espejo plano,
- calibrar dicha configuración de espejo de la cámara a través de las etapas del procedimiento de acuerdo con el primer o segundo aspectos de la invención,
- al seleccionar un par de puntos asociados del objeto en una de las al menos una imagen capturada, y
- calcular la distancia real entre los dos puntos de dicho par de puntos seleccionados del objeto del par de píxeles de la imagen correspondiente mediante el uso de geometría epipolar.
Una vez que el sistema de imagen estéreo descrito anteriormente se calibra mediante las etapas anteriores, puede realizarse una estimación de profundidad para un objeto capturado para generar una imagen de profundidad del objeto. Además, una vez que el sistema de imagen estéreo de la invención se calibra a través de las etapas anteriores, la medición de cualquier tipo de distancia entre dos puntos es posible al encontrar pares de puntos asociados en la al menos una imagen capturada.
Por consiguiente, en un cuarto aspecto de la invención, se proporciona un procedimiento de estimación de profundidad calibrada para un objeto, en el que el procedimiento comprende las etapas de:
- capturar al menos una imagen con múltiples vistas de dicho objeto mediante una configuración de espejo de la cámara que incluye al menos una cámara y un espejo plano,
- calibrar dicha configuración de espejo de la cámara a través de las etapas del procedimiento de cualquiera de los aspectos primero o segundo de la invención, y
- generar una imagen de profundidad del objeto a partir de la al menos una imagen capturada.
En un quinto aspecto, la presente invención también se refiere a un producto de programa informático, que incluye instrucciones legibles por ordenador que, cuando se ejecutan en un ordenador, llevan a cabo las etapas anteriores del procedimiento de acuerdo con el primer aspecto de la presente invención.
En un sexto aspecto, la presente invención también se refiere a un producto de programa informático, que incluye instrucciones legibles por ordenador que, cuando se ejecutan en un ordenador, llevan a cabo las etapas anteriores del procedimiento de acuerdo con el segundo aspecto de la presente invención.

Claims (11)

REIVINDICACIONES
1. Un procedimiento para calibrar un sistema de imagen estéreo mediante el uso de al menos una cámara, cada una transportada por un dispositivo de cámara respectivo, y un espejo plano, el procedimiento comprendiendo las etapas de:
- obtener al menos dos imágenes por medio de dicha al menos una cámara (S200), al capturar cada una de las imágenes desde una posición de cámara diferente y que contienen imágenes de una vista reflejada de la cámara utilizada para capturar la imagen, y una vista reflejada de un objeto, y se obtienen así múltiples vistas de dicho objeto,
- encontrar el centro de la imagen de la vista reflejada de la cámara de captura de imágenes en cada una de las imágenes (S202),
- obtener una distancia focal en píxeles (H) de la al menos una cámara como la relación de la distancia focal (f) y el tamaño de píxel (s) de la cámara (S204),
- determinar la dirección del vector normal del espejo desde el centro de la vista reflejada de la cámara de captura de imágenes para cada una de las imágenes (S206)
- determinar la distancia entre la cámara y el espejo para cada una de las imágenes mediante el uso de (i) un punto de referencia en el dispositivo de cámara, dicho punto de referencia tiene coordenadas conocidas en el sistema de coordenadas de la cámara, y (ii) las coordenadas del punto correspondiente de la vista reflejada del dispositivo de cámara (S208),
- determinar la ecuación del plano del espejo en el sistema de coordenadas de al menos una cámara mediante el uso de la dirección y la distancia de la normal del plano del espejo y la distancia focal en píxeles (H) de la cámara (S210),
- definir un vector ascendente en el plano del espejo (S212),
- seleccionar un punto de referencia en el plano del espejo (S214),
- definir un sistema de coordenadas de referencia con dicho punto de referencia como su origo y dicho vector ascendente como su eje vertical y (S216),
- para cada imagen, determinar por separado la transformación de coordenadas del sistema de coordenadas de la cámara de captura de imágenes en dicho sistema de coordenadas de referencia, y
- para cualquier par de imágenes, determinar la transformación de coordenadas del sistema de coordenadas de la cámara de la primera posición de captura de imágenes en el sistema de coordenadas de la cámara de la segunda posición de captura de imágenes (S220).
2. El procedimiento de la reivindicación 1, en el que el vector ascendente se obtiene al proyectar un vector de gravedad en el plano del espejo.
3. El procedimiento de la reivindicación 1, en el que el vector ascendente se obtiene al seleccionar pares de puntos correspondientes en la al menos una imagen.
4. El procedimiento de las reivindicaciones 1 a 3, en el que el dispositivo de cámara es cualquiera de un teléfono móvil, un teléfono inteligente, un phablet, una tableta, un portátil, una cámara digital o similares.
5. Un procedimiento para calibrar una configuración de espejo de la cámara mediante el uso de una cámara transportada por un dispositivo de cámara y un espejo plano, el procedimiento comprendiendo las etapas de:
- obtener una imagen capturada por la cámara (S300), dicha imagen que contiene las imágenes de un objeto, una vista reflejada del objeto y una vista reflejada de la cámara utilizada para capturar la imagen, y se obtiene así múltiples vistas del objeto,
- encontrar el centro de la imagen de la vista reflejada de la cámara en la imagen (S306),
- obtener una distancia focal en píxeles (H) de la cámara como la relación de la distancia focal (f) y el tamaño de píxel (s) de la cámara (S308),
- determinar la dirección del vector normal del espejo desde el centro de la vista reflejada de la cámara (S309), - determinar la distancia entre la cámara y el espejo mediante el uso de (i) un punto de referencia en el dispositivo de cámara, dicho punto de referencia tiene coordenadas conocidas en el sistema de coordenadas de la cámara, y (ii) las coordenadas del punto correspondiente de la vista reflejada del dispositivo de la cámara (S310),
- determinar la ecuación del plano del espejo en el sistema de coordenadas de la cámara mediante el uso de la dirección y la distancia del vector normal del plano del espejo y la distancia focal en píxeles (H) de la cámara (S312),
- determinar la transformación de coordenadas del sistema de coordenadas de la cámara en un sistema de coordenadas de espejo arbitrario que tiene un origo en el plano del espejo y un eje z paralelo a un vector normal del plano del espejo (S316).
6. El procedimiento de la reivindicación 5, en el que el dispositivo de cámara es cualquiera de un teléfono móvil, un teléfono inteligente, un phablet, una tableta, un ordenador portátil, una cámara digital o similares.
7. Un producto de programa informático, que incluye instrucciones legibles por ordenador que, cuando se ejecuta en un ordenador, realiza las etapas del procedimiento 1.
8. Un producto de programa informático, que incluye instrucciones legibles por ordenador que, cuando se ejecuta en un ordenador, lleva a cabo las etapas del procedimiento 5.
9. Un procedimiento para medir una distancia calibrada entre dos puntos de un objeto, en el que el procedimiento comprende las etapas de:
- capturar al menos una imagen, mediante una configuración de espejo de la cámara que incluye un espejo plano y al menos una cámara frente al espejo, cada imagen capturada muestra múltiples vistas de un objeto, - calibrar dicha configuración de espejo de la cámara a través de las etapas del procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 a 4,
- al seleccionar un par de puntos asociado del objeto en una de las al menos una imagen capturada, y
- calcular la distancia real entre los dos puntos de dicho par de puntos seleccionados del objeto del par de píxeles de la imagen correspondiente mediante el uso de geometría epipolar.
10. Un procedimiento de estimación de profundidad calibrada para un objeto, en el que el procedimiento comprende las etapas de:
- capturar al menos una imagen con múltiples vistas de dicho objeto por medio de una configuración de espejo de la cámara que incluye un espejo plano y al menos una cámara frente al espejo,
- calibrar dicha configuración de espejo de la cámara a través de las etapas del procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 a 4, y
- generar una imagen de profundidad del objeto a partir de la al menos una imagen capturada.
11. Un procedimiento de estimación de profundidad calibrada para un objeto, en el que el procedimiento comprende las etapas de:
- capturar una imagen con múltiples vistas de dicho objeto mediante una configuración de espejo de la cámara que incluye un espejo plano y una cámara frente al espejo,
- calibrar dicha configuración de espejo de la cámara a través de las etapas del procedimiento de acuerdo con la reivindicación 5, y
- generar una imagen de profundidad del objeto a partir de la imagen capturada.
ES17713419T 2016-03-07 2017-03-07 Procedimientos y productos de programas informáticos para calibrar sistemas de imagen estéreo mediante el uso de un espejo plano Active ES2805425T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16462003.1A EP3217355A1 (en) 2016-03-07 2016-03-07 Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
PCT/HU2017/050006 WO2017153793A1 (en) 2016-03-07 2017-03-07 Methods and computer program products for calibrating stereo imaging systems by using a planar mirror

Publications (1)

Publication Number Publication Date
ES2805425T3 true ES2805425T3 (es) 2021-02-12

Family

ID=55699597

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17713419T Active ES2805425T3 (es) 2016-03-07 2017-03-07 Procedimientos y productos de programas informáticos para calibrar sistemas de imagen estéreo mediante el uso de un espejo plano

Country Status (6)

Country Link
US (3) US10373337B2 (es)
EP (2) EP3217355A1 (es)
JP (1) JP2019510311A (es)
CN (1) CN109155070A (es)
ES (1) ES2805425T3 (es)
WO (1) WO2017153793A1 (es)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016125956A (ja) * 2015-01-07 2016-07-11 ソニー株式会社 情報処理装置、情報処理方法、および情報処理システム
EP3217355A1 (en) * 2016-03-07 2017-09-13 Lateral Reality Kft. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
CN109300163B (zh) * 2018-09-14 2021-09-24 高新兴科技集团股份有限公司 室内全景相机的空间标定方法、存储介质及电子设备
CN111275766B (zh) * 2018-12-05 2023-09-05 杭州海康威视数字技术股份有限公司 图像坐标系与gps坐标系的标定方法、装置及摄像机
CN109886879B (zh) * 2019-02-19 2022-11-01 广东建星建造第一工程有限公司 图形镜像处理方法、电子设备及存储介质
CN109934878B (zh) * 2019-03-25 2020-11-27 合肥工业大学 一种基于相机坐标系的线性标定系统及其方法
CN112180362B (zh) * 2019-07-05 2024-04-23 北京地平线机器人技术研发有限公司 雷达与相机之间的转换位姿确定方法、装置以及电子设备
CN111028299A (zh) * 2020-02-18 2020-04-17 吴怡锦 基于图像中点属性数据集计算标定点空间距的系统和方法
CN111369447B (zh) * 2020-03-09 2023-06-16 湖南警察学院 单目立体视觉图像中图像点的矫正方法
US11282233B1 (en) * 2020-09-08 2022-03-22 Weta Digital Limited Motion capture calibration
CN112258586B (zh) * 2020-10-16 2022-10-21 中国石油大学(华东) 一种面向单平面镜立体视觉模型参数的标定方法
US11621979B1 (en) 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
US11546385B1 (en) 2020-12-31 2023-01-03 Benjamin Slotznick Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform
US11330021B1 (en) 2020-12-31 2022-05-10 Benjamin Slotznick System and method of mirroring a display of multiple video feeds in videoconferencing systems
CN113205555B (zh) * 2021-05-28 2023-09-19 上海扩博智能技术有限公司 保持叶片位于相机视野中间的方法、系统、设备和存储介质
CN116051647A (zh) * 2022-08-08 2023-05-02 荣耀终端有限公司 一种相机标定方法和电子设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189100B2 (en) * 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US8929645B2 (en) * 2007-04-24 2015-01-06 21 Ct, Inc. Method and system for fast dense stereoscopic ranging
CN101796372B (zh) * 2008-07-11 2012-11-14 松下电器产业株式会社 三维形状测量装置、集成电路及方法
CN101577002B (zh) * 2009-06-16 2011-12-28 天津理工大学 应用于目标检测的鱼眼镜头成像系统标定方法
US20110007205A1 (en) * 2009-07-08 2011-01-13 Dechnia, LLC Rear to forward facing camera adapter
KR101055411B1 (ko) * 2010-03-12 2011-08-09 이상원 입체 영상 생성 방법 및 그 장치
US8908015B2 (en) * 2010-03-24 2014-12-09 Appcessories Llc Apparatus and method for producing images for stereoscopic viewing
CN101923730B (zh) * 2010-09-21 2012-05-02 北京大学 基于鱼眼相机和多平面镜装置的三维重建方法
US8896667B2 (en) * 2010-10-25 2014-11-25 Aptina Imaging Corporation Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence
US10200671B2 (en) * 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US9230325B2 (en) * 2011-08-19 2016-01-05 University Of Rochester Three-dimensional model acquisition using planar mirrors
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
CN103177442A (zh) * 2013-03-04 2013-06-26 北京邮电大学 一种无重叠视场的相机与二维激光的标定方法
US9749541B2 (en) * 2013-04-16 2017-08-29 Tout Inc. Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
KR102033309B1 (ko) 2013-10-25 2019-10-17 현대모비스 주식회사 운전석 위치를 고려하는 빔 포밍 마이크 제어 장치 및 방법
US9615081B2 (en) * 2013-10-28 2017-04-04 Lateral Reality Kft. Method and multi-camera portable device for producing stereo images
EP2866446B1 (en) * 2013-10-28 2016-07-06 Lateral Reality Kft. Method and multi-camera portable device for producing stereo images
JP2015191186A (ja) * 2014-03-28 2015-11-02 富士通株式会社 ステレオアダプタ及びステレオ撮像装置
CN104200477B (zh) * 2014-09-11 2018-04-06 云南大学 基于空间平行圆求解平面折反射摄像机内参数的方法
CN104284177A (zh) * 2014-10-28 2015-01-14 天津大学 会聚立体图像视差控制方法
CN105321174B (zh) * 2015-09-23 2019-03-26 浙江大学 一种多平面镜反射跟踪云台系统标定方法
EP3217355A1 (en) * 2016-03-07 2017-09-13 Lateral Reality Kft. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
US9930320B2 (en) * 2016-05-04 2018-03-27 Apple Inc. Resolving three dimensional spatial information using time-shared structured lighting that embeds digital communication

Also Published As

Publication number Publication date
EP3427227B1 (en) 2020-04-22
US10846885B2 (en) 2020-11-24
US20170256042A1 (en) 2017-09-07
US11010925B2 (en) 2021-05-18
EP3217355A1 (en) 2017-09-13
US20190043221A1 (en) 2019-02-07
EP3427227A1 (en) 2019-01-16
CN109155070A (zh) 2019-01-04
JP2019510311A (ja) 2019-04-11
US20190311497A1 (en) 2019-10-10
WO2017153793A1 (en) 2017-09-14
US10373337B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
ES2805425T3 (es) Procedimientos y productos de programas informáticos para calibrar sistemas de imagen estéreo mediante el uso de un espejo plano
US10001369B2 (en) Object-point three-dimensional measuring system using multi-camera array, and measuring method
JP5745178B2 (ja) ３次元測定方法、装置及びシステム、並びに画像処理装置
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
Zeller et al. Depth estimation and camera calibration of a focused plenoptic camera for visual odometry
JP5715735B2 (ja) ３次元測定方法、装置、及びシステム、並びに画像処理装置
US9615081B2 (en) Method and multi-camera portable device for producing stereo images
CN105066962B (zh) 一种多分辨率大视场角高精度摄影测量装置
JP7151879B2 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
JP2017016431A5 (es)
US20220180560A1 (en) Camera calibration apparatus, camera calibration method, and nontransitory computer readable medium storing program
Liu et al. Epipolar rectification method for a stereovision system with telecentric cameras
Angladon et al. The toulouse vanishing points dataset
KR101538014B1 (ko) 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법
Lim et al. Virtual camera rectification with geometrical approach on single-lens stereovision using a biprism
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
Mauthner et al. Region matching for omnidirectional images using virtual camera planes
Iqbal et al. Real time 3D depth estimation and measurement of un-calibrated stereo and thermal images
Straube et al. Modelling and calibration of multi-camera-systems for 3D industrial supervision applications
Boutteau et al. A 3D omnidirectional sensor for mobile robot applications
Tamboli et al. Towards euclidean auto-calibration of stereo camera arrays
KR102360522B1 (ko) 시차현상을 활용한 3차원 공간정보 획득 시스템
BOrlin Fundamentals of Photogrammetry
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
Talhada Perceção 3D utilizando uma câmara estéreo