ES2392229B1 - Método de generación de un modelo de un objeto plano a partir de vistas del objeto. - Google Patents

Método de generación de un modelo de un objeto plano a partir de vistas del objeto. Download PDF

Info

Publication number
ES2392229B1
ES2392229B1 ES201031291A ES201031291A ES2392229B1 ES 2392229 B1 ES2392229 B1 ES 2392229B1 ES 201031291 A ES201031291 A ES 201031291A ES 201031291 A ES201031291 A ES 201031291A ES 2392229 B1 ES2392229 B1 ES 2392229B1
Authority
ES
Spain
Prior art keywords
image
point
camera
points
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
ES201031291A
Other languages
English (en)
Other versions
ES2392229A1 (es
Inventor
Juan Carlos PUJOL ALCOLADO
José Luis LANDABASO DÍAZ
Óscar DIVORRA ESCODA
David MARIMÓN SANJUAN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonica SA
Original Assignee
Telefonica SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonica SA filed Critical Telefonica SA
Priority to ES201031291A priority Critical patent/ES2392229B1/es
Priority to US13/819,564 priority patent/US9380293B2/en
Priority to PCT/EP2011/061731 priority patent/WO2012025288A1/en
Priority to BR112013004682A priority patent/BR112013004682A2/pt
Priority to EP11735622.0A priority patent/EP2609570B1/en
Priority to ES11735622.0T priority patent/ES2532452T3/es
Publication of ES2392229A1 publication Critical patent/ES2392229A1/es
Application granted granted Critical
Publication of ES2392229B1 publication Critical patent/ES2392229B1/es
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

Método de generación de un modelo de un objeto plano a partir de vistas del objeto.#El método para la generación de un modelo de un objeto plano a partir de vistas tomadas por al menos dos cámaras calibradas es capaz de generar representaciones de dos dimensiones y volumétricas del objeto. Las representaciones pueden ser un mapa de profundidad, una representación volumétrica o una representación de malla. El método comprende las siguientes etapas básicas: calibrar al menos dos cámaras, calcular algunas coordenadas en 3D de al menos tres puntos que pertenecen al mismo plano del objeto plano, calcular la ecuación del plano comprendido en el objeto plano, seleccionar al menos una región que representa la superficie del objeto plano, en al menos una vista proporcionada por al menos una cámara y, calcular la intersección entre la región seleccionada que representa la superficie del objeto y la ecuación del plano.

Description

MÉTODO DE GENERACiÓN DE UN MODELO DE UN OBJETO PLANO A PARTIR DE VISTAS DEL OBJETO OBJETO DE LA INVENCiÓN
La presente invención, tal y como se expresa en el enunciado de esta memoria descriptiva se refiere a un método de generación de un modelo de un
objeto plano a partir de vistas del objeto proporcionadas por al menos dos cámaras que toman vistas del objeto. Mediante el método de la presente
invención se pueden obtener representaciones como un mapa de profundidad
del objeto plano, una representación volumétrica del objeto plano y una
representación en malla del objeto plano. El método de la presente invención está especialmente dirigido al modelado de objetos en tres dimensiones mediante el análisis de vistas en dos dimensiones para su posterior reconstrucción en tres dimensiones. Su aplicación va desde la tele-presencia por videoconferencia a la generación de modelos con diversos fines: análisis, educación , recreo, etc.
ANTECEDENTES DE LA INVENCiÓN El estado de la técnica existente divulga diferentes tipos de métodos
para modelar un objeto. Dichos métodos se clasifican principalmente en
métodos pasivos y métodos activos. En el área de los métodos activos, se
utilizan sensores tales como láser o escáneres de luz estructurada, o también
cámaras del tipo Tiempo-de-Vuelo (Time-of-Flight). Existen otras posibilidades tales como proyectar, con la ayuda de un video proyector, un patrón conocido sobre un objeto y deducir la forma del objeto mediante el análisis de la deformación sufrida por el patrón debida a la forma del objeto.
En el área de los métodos pasivos, la mayoría de las técnicas explotan
la triangulación geométrica que relaciona dos o más vistas del objeto de interés.
La presente invención está en el campo de los métodos pasivos donde se encuentran las siguientes aproximaciones de modelado de objetos basados en vistas:
• Estructura desde Movimiento, SfM (Structure from Motion), que
consiste en estimar el modelo de la escena en frente de una cámara en movimiento. Sin embargo, la técnica es sólo aplicable a un conjunto de
múltiples cámaras estáticas. Generalmente, un algoritmo SfM establece la
correspondencia entre las vistas de un conjunto de puntos en la escena. Mediante el establecimiento de esta correspondencia, es posible triangular la posición de los puntos en las tres dimensiones del espacio en frente de una o
varias cámaras. Desde este punto, existen varias posibilidades para generar
un modelo de un objeto. Una posibilidad es aprovechar la triangulación para calibrar la posición de la cámara a lo largo de su movimiento o la posición de cada cámara estática. Un modelo denso de la forma de la escena puede obtenerse, por ejemplo, por medio de la Forma-desde-Estéreo (Shape from Stereo). Otra posibilidad es asumir que la superficie entre tres puntos cualesquiera es localmente plana. Este modelo se obtiene, por lo tanto, conectando puntos en grupos de tres, por un triángulo. El conjunto de
triángulos en 3D forma una malla que representa la forma del objeto. En este
sentido son conocidos del estado de la técnica , métodos que reconstruyen
partes del objeto plano. En primer lugar, se establecen correspondencias entre
segmentos planos. Se encuentran cuatro puntos por segmento o región y después se induce una homografía . Esta homografía permite establecer la geometría epi polar entre las vistas. Finalmente, el conjunto de segmentos puede posicionarse en 3D .
• Reconstrucción volumétrica en 3D. Esta aproximación abarca desde el
menos hasta el más preciso modelado. Por ejemplo, la caja que delimita el
objeto real, sería un modelo demasiado tosco. Existen modelos más precisos
tales como la Envoltura Convexa (Convex Hull, CH), la Envoltura Visual (Visual Hull, VH) y la Foto Envoltura (Photo Hull, PH). Uno de los modelos
volumétricos más extend idos debido a su buena relación entre precisión y bajo coste computacional es la Envoltura Visual (VH). La Envoltura Visual se obtiene mediante un método denom inado Forma-desde-Silueta (Shape-fromSilhouette, SfS). En una primera fase, la Forma·desde-Silueta extrae las entidades activas de la escena (siluetas del objeto) mediante un conjunto de cámaras. La Envoltura Visual se corresponde, por lo tanto, con el volumen dentro de la intersección de los conos que van desde el centro óptico de las cámaras a través de las siluetas en los planos ópticos de las cámaras. El conjunto de cámaras debe calibrarse intrínsecamente y extrínsecamente de antemano. De este modo, la calibración puede obtenerse usando el conjunto de puntos de control cuyas coordenadas se conocen automáticamente como un conjunto de puntos característicos clave, como en la aproximación de la
Estructura desde Movimiento.
• Forma desde Sombreado, "SfSh" (Shape from Shading), se ocupa de recuperar la forma desde un variación gradual del sombreado en la vista. La idea que está detrás de la Forma desde Sombreado es que la intensidad del
color pueda describirse como una función de la superficie, la forma, y la
dirección de la fuente de luz. La mayoría de los algoritmos SfSh asumen que la
dirección de la fuente de luz es conocida. Los métodos pasivos anteriormente descritos presentan varios inconvenientes en función del método utilizado. En el caso de los métodos
basados en Estructura desde Movimiento (SfM), los inconvenientes surgen de
los objetos sin textura. De hecho, en ausencia de textura sobre la superficie del objeto, el modelo resultante es muy tosco. En el caso de textura muy
limitada pero con suficientes puntos para calibrar el conjunto de cámaras, se puede utilizar el método Forma-desde-Estéreo. Sin embargo, el resultado del
método anterior presenta el inconveniente de que no es capaz de aislar el
objeto de los objetos que forman el fondo o que rodean al objeto que se está modelado. En el caso particular de los métodos descritos anteriormente y que
se basan en encontrar cuatro puntos de un segmento y generar una
homografia, todo el proceso de calibración depende de la posibilidad de establecer correspondencia entre los planos detectados, lo cual no es viable
para objetos sin textura.
Por otro lado, la Envoltura Visual (Visual Hull) obtenida con un método genérico SfS depende principalmente de dos aspectos. En primer lugar, las posiciones de las cámaras determinan el rendimiento del método SfS. Otra limitación de la aplicabilidad de este método es que las siluetas se extraen por comparación con un fondo estático conocido. Esto implica que el objeto no
puede estar presente en la escena cuando se captura el fondo. Consecuentemente, este método sólo es válido para objetos que pueden obtenerse o introducirse fácilmente en la escena pero no para modelar una parte de una habitación, tal como una pared, o un tablero fijo.
Por lo tanto, sería deseable encontrar un método de generación de un modelo de un objeto plano a partir de vistas del objeto que no dependiera de la textura del objeto a modelar ni de la consecuente limitación que implica la
correcta calibración de las cámaras, así como de la capacidad de trasladar el
objeto a modelar respecto del fondo o de la ubicación en la que se encuentre el objeto.
DESCRIPCiÓN DE LA INVENCiÓN
Para lograr los objetivos y evitar los inconvenientes indicados anteriormente, la presente invención consiste en un método para la generación
de un modelo de un objeto plano a partir de las vistas del objeto. Dicho método está basado en dos conceptos: la geometría epipolar y la segmentación de la
imagen. La geometría epipolar establece las relaciones geométricas entre dos
o más cámaras que capturan la misma escena. La segmentación de la imagen consiste en generar segmentos (regiones) o áreas de una imagen que tienen características similares: tales como el color.
La presente invención cubre un método que genera un modelo
volumétrico de un objeto plano. El método de la presente invención aprovecha
las relaciones de la geometría epipolar entre dos o más cámaras, y la
segmentación de la superficie del objeto visto por dichas cámaras. El método está separado en dos grandes etapas. La primera etapa consiste en calcular la ecuación del plano en 3D que define la superficie del objeto plano. Para ello, el
método de la presente invención, utiliza la triangulación de tres puntos que pertenecen al objeto plano. La segunda etapa consiste en encontrar el
segmento (región), en una o más vistas, que mejor representa al objeto. Con la
calibración de las cámaras es posible encontrar el rayo definido por cada punto de imagen (pixel) que pertenece al segmento. Finalmente, la representación volumétrica del objeto se determina por la intersección de todos los rayos con
el plano definido por la ecuación del plano en tres dimensiones.
El método de generación de un modelo de un objeto plano a partir de vistas del objeto de la presente invención, genera una representación seleccionada de entre un mapa de profundidades del objeto plano, una
representación tridimensional del objeto plano y una representación en malla
del objeto plano, mediante al menos las siguientes etapas:
i) calibrar al menos una primera cámara y una segunda cámara; ii) calcular unas coordenadas en 3D de al menos tres puntos que
pertenecen a un plano del objeto plano; iii) calcular una ecuación del plano comprendido en el objeto plano;
iv) seleccionar al menos una región que represente la superficie del
objeto plano, en al menos un plano óptico o de imagen proporcionado por al
menos una cámara ; y, v) calcular la intersección entre la región seleccionada que representa la
superficie del objeto y la ecuación del plano. La etapa i) adicionalmente comprende calcular los parámetros
5 extrínsecos e intrínsecos de al menos la primera cámara y la segunda cámara
resolviendo las ecuaciones para tantos puntos en 20/30, como grados de libertad comprendan las cámaras. El paso ii) adicionalmente comprende:
• seleccionar un punto y un primer punto de imagen, en el que el primer
10 punto de imagen representa el punto seleccionado en el plano de la imagen
proporcionada por la primera cámara , y en el que el punto seleccionado está comprendido en el objeto plano;
• calcular un primer rayo que une el centro de la primera cámara con el primer punto de imagen, y también con el punto seleccionado. (Obviamente, el
15 centro de la primera cámara , el primer punto de imagen y el punto seleccionado, están alineados).
• calcular la proyección del punto seleccionado sobre el plano de imagen proporcionado por la segunda cámara.
• calcular al menos un segundo rayo por medio de al menos el plano de
20 imagen de la segunda cámara, que conecta el centro de la segunda cámara con el segundo punto de imagen, y también con el punto seleccionado;
• determinar las coordenadas en 3D del punto seleccionado mediante el cálculo del punto de intersección entre el primer rayo y el al menos un segundo rayo;
25 • repetir las etapas anteriores para al menos dos puntos más,
obteniendo al menos las coordenadas en 3D de tres puntos que pertenecen al plano del objeto plano.
La proyección mencionada anteriormente del punto seleccionado sobre el plano de imagen de la segunda cá mara se calcula por medio de una opción 30 de cálculo seleccionada entre manual y semi-automática . La opción de cálculo manual comprende que un usuario, mediante un interfaz gráfico de usuario que muestra al menos el plano de imagen
proporcionado por la segunda cámara , selecciona el punto de imagen que
mejor representa al punto previamente seleccionado mediante el plano de 35 imagen proporcionado por la primera cámara.
La opción de cálculo semi-automático se selecciona de entre un conjunto de niveles semi-automáticos comprendido por un nivel bajo, un nivel
medio y un nivel alto. Para calcular la proyección por el nivel bajo de la opción de cálculo
semi-automático, se realizan las siguientes etapas:
• calcular una línea epipolar en al menos el plano de imagen proporcionado por una segunda cámara, donde la línea epi polar es la línea dibujada sobre el plano de imagen de la segunda cámara que representa el primer rayo por medio de la calibración de las cámaras;
• representar la linea epipolar por medio de la interfaz gráfica de
usuario; y, . seleccionar un segundo punto de imagen sobre la interfaz gráfica de
usuario, donde el segundo punto de imagen es el punto seleccionado a lo largo
de la línea epipolar que mejor representa el punto seleccionado por medio del
plano de imagen proporcionado por la primera cámara. Para calcular la proyección por el nivel medio de la opción de cálculo
semi-automático. se realizan las siguientes etapas: a) determinar una primera área de la imagen que contiene al menos el primer punto de imagen y almacenar al menos un valor de información de
puntos de imagen seleccionado de entre el color, la intensidad de color y una
combinación de los mismos, de al menos el primer punto de imagen y cada
uno de los puntos de imagen que rodean al primer punto de imagen;
b) calcular una linea epi polar en al menos el plano de imagen proporcionado por una segunda cámara , donde la línea epi polar es la línea dibujada sobre el plano de imagen de la segunda cámara que representa el primer rayo por medio de la calibración de las cámaras;
c) determinar una segunda área de la imagen que comprenda al menos un punto de imagen comprendido en la línea epipolar, y almacenar al menos un valor de información del punto de imagen seleccionado de entre el color, la intensidad de color y una combinación de los mismos, de al menos el punto de
imagen contenido en la linea epipolar y cada uno de los puntos de imagen que rodean el punto de imagen contenido en la linea epipolar; d) comparar el valor de información del punto de imagen de la primera
área de imagen con el valor de información del punto de imagen de la segunda
área de imagen;
e) repetir las etapas c) y d) para cada uno de los puntos de imagen que forman la linea epi polar; y f) seleccionar un segundo punto de imagen de entre un grupo de puntos de imagen formado por los puntos de imagen obtenidos en cada repetición por
medio de una opción seleccionada entre manual y automática. La forma
automática comprende seleccionar el segundo punto de imagen como el punto de imagen del total de puntos de imagen que comprende la linea epipolar, para lo cual la segunda área de imagen del punto de imagen comprende un índice de reproducción de la primera área de imagen mayor que un umbral. La forma
manual comprende resaltar con un color predeterminado el segundo punto de
imagen, el cual se selecciona como el punto de imagen del total de puntos de
imagen que comprende la línea epipolar, para lo cual la segunda área de
imagen del segundo punto de imagen comprende un índice de reproducción de
la primera área de imagen superior a un umbral, y seleccionar un punto de
entre los puntos resaltados por la interfaz gráfica del usuario. Para calcular la proyección por el nivel alto de la opción de cálculo semi
automático, se realizan las siguientes etapas: a) determinar un grupo de puntos característicos en al menos los planos de imagen proporcionados por la primera cámara y la segunda cámara. Siendo
estos puntos característicos los localizados en las esquinas y los bordes de cualquier objeto (plano o no plano), y, sobre la superficie de objetos con textura, los puntos obtenidos por el algoritmo de detección de esquinas seleccionado entre el algoritmo de detección de esquinas de Moravec, el algoritmo de detección de esquinas de Harris y Stephens/Plessey, el operador multi-escalas de Harris, el algoritmo de detección de esquinas de Shi y Tomasi, la aproximación de la curvatura de la curva de nivel, la detección característica de DoH (Determinante de Hessianos), DoG (Diferencia de Gaussianos) y LaG (Laplaciana de Gaussianos), el algoritmo de detección de esquinas de Brady y Wang, el algoritmo de detección de esquinas de SUSAN, el algoritmo de
detección de esquinas de Hedley y Trajkovic, el detector de características
FAST, el detector de puntos de síntesis automático con programación genética, los operadores de puntos de interés con afinidad adaptada y cualquier otro del estado de la técnica;
b) emparejar el primer punto de imagen con un punto característico determinado anteriormente;
e) determinar una primera área de imagen que contiene al menos el primer punto de imagen y almacenar al menos un valor de información del
punto de imagen seleccionado de entre el color, la intensidad de color y una
combinación de los mismos para al menos el primer punto de imagen y cada
uno de los puntos de imagen que rodean al primer punto de imagen;
d) calcular una línea epipolar en al menos el plano de imagen proporcionado por la segunda cámara, donde la línea epipolar es la línea dibujada sobre el plano de imagen de la segunda cámara que representa el primer rayo por medio de la calibración de las cámaras;
e) determinar una segunda área de la imagen que comprende al menos
un punto de imagen comprendido en la línea epipolar, y almacenar al menos un valor de información del punto de imagen seleccionado de entre el color, la
intensidad de color y una combinación de los mismos, de al menos el punto de
imagen contenido en la línea epipolar y cada uno de los puntos de imagen que
rodean el punto de imagen contenido en la línea epipolar; f) comparar el valor de información del punto de imagen de la primera
área de imagen con el valor de información del punto de imagen de la segunda área de imagen;
g) repetir las etapas e) y f) para cada uno de los puntos de imagen que forman la línea epipolar; y
f) seleccionar un segundo punto de imagen de entre un grupo de puntos de imagen formado por los puntos de imagen obtenidos en cada repetición por medio de una opción seleccionada entre manual y automática. La forma
automática comprende seleccionar el segundo punto de imagen como el punto
de imagen del total de puntos de imagen que comprende la linea epipolar, para lo cual la segunda área de imagen del punto de imagen comprende un índice
de reproducción de la primera área de imagen mayor que un umbral. La forma manual comprende resaltar con un color predeterminado el segundo punto de
imagen, que se selecciona como el punto de imagen del total de puntos de
imagen que comprende la línea epipolar, para el cual la segunda área de imagen del segundo punto de imagen comprende un indice de reproducción de la primera área de imagen superior a un umbral, y seleccionar un punto de
entre los puntos resaltados por la interfaz gráfica del usuario. El primer punto de imagen y al menos el segundo punto de imagen,
permiten definir los dos rayos mencionados anteriormente en la segunda sub
etapa y la cuarta sub-etapa de la etapa ii). Un rayo (primer rayo) se define por tres puntos (centro de la cámara, primer punto de imagen y el punto seleccionado) que pertenecen a una linea. El otro al menos un rayo (uno por cámara) está definido por tres puntos (centro de la cámara, segundo punto de imagen, y el punto seleccionado) que pertenecen a una linea.
De esta fomna, el rayo que conecta el centro de la primera cámara con
el punto seleccionado y el rayo que conecta el centro de la segunda cámara con el punto seleccionado se definen por las ecuaciones de línea respectivas
por medio de las siguientes etapas: • obtener la localización en 3D del centro de la cámara del sistema de coordenadas calibrado;
· obtener la localización en 3D del primer punto de imagen y del
segundo puntos de imagen que representan el mismo punto seleccionado en al menos el plano de imagen de la primera cámara y el plano de imagen de la
segunda cámara respectivamente;
• determinar al menos una primera ecuación de línea y una segunda ecuación de línea. La primera ecuación de la línea está descrita por el vector que conecta la localización en 3D del centro de la primera cámara con la
localización en 3D del primer punto de imagen y la segunda ecuación de la linea se describe por el vector que conecta la localización en 3D del centro de la segunda cámara con la localización en 3D del segundo punto de imagen.
A continuación, para determinar las coordenadas de al menos un punto
de 3D mediante el cálculo del punto de intersección entre los al menos dos
rayos comprende además:
• establecer las coordenadas de al menos un punto en 3D cuando el punto de intersección entre los dos rayos pertenece simultáneamente a la
primera ecuación y la segunda ecuación que determinan los dos rayos;
• calcular las coordenadas de un punto en 3D cuya distancia al primer rayo y al menos el segundo rayo es mínima cuando no existe un punto de intersección entre el primer rayo y al menos el segundo rayo.
Por otra parte, la etapa iii) del método de la presente invención adicionalmente comprende calcular la expresión del plano determinado por la
siguiente ecuación:
aNo (X-Xo) + bN.(Y-Yo) + eN· (Z-Zo) = O donde Xo, Yo Y Zo son las coordenadas de un punto en 3D que pertenece al plano del objeto y aN, bN y CN son las coordenadas de un vector N normal al plano. El vector N normal al plano es el producto vectorial de dos vectores pertenecientes al plano y definidos por al menos tres puntos en el plano del objeto plano.
Además, la etapa iv) del método de la presente invención se realiza por medio de una opción seleccionada entre manual y automática;
La opción manual comprende al menos las siguientes etapas:
• calcular una sub-región que comprende seleccionar cada uno de los puntos de imagen que rodean un punto de imagen seleccionado por medio de la interfaz gráfica del usuario. Estos puntos de imagen cumplen con un criterio de similitud. El criterio de similitud es una comparación predeterminada entre valores de información de los puntos de imagen seleccionados de entre el
color, la intensidad de color y los valores de información de los puntos de
imagen seleccionados entre el color y la intensidad de color de cada uno de
dichos puntos de imagen que rodean el punto de imagen;
• repetir la etapa anterior para tantas sub-regiones como establezca el
usuario: y
• formar una región del objeto plano mediante la conexión de las subregiones calculadas anteriormente.
Por otra parte, la opCión automática comienza con el cálculo del punto seleccionado, el primer punto de imagen y al menos el segundo punto de
imagen definido anteriormente en la opción de cálculo semi-automático para
calcular la proyección del punto seleccionado sobre el plano de imagen proporcionado por la segunda cámara (tercera sub-etapa de la etapa ii del método). La opción automática comprende al menos las etapas siguientes:
• seleccionar al menos dos puntos de imagen en un mismo plano de
imagen que mejor representen los al menos dos puntos del objeto plano, en el
que estos dos puntos de imagen se seleccionan de entre los dos primeros puntos de imagen en el plano de imagen de la primera cámara y los dos segundos puntos de imagen del plano de imagen de al menos la segunda cámara;
• almacenar los valores de la información del punto de imagen
seleccionados de entre el color y la intensidad de color de los puntos de
imagen comprendidos en el segmento de línea que conecta los dos puntos de imagen seleccionados en la etapa anterior;
• calcular un histograma de dos dimensiones que represente en una dimensión todos los posibles valores de información del punto de imagen que
ha dado el punto de imagen en el dominio del espacio, y en la otra dimensión,
el número de veces que un cierto valor de información del punto de imagen
seleccionado entre el color y la intensidad de color ha aparecido en el segmento de linea. Por lo tanto, el histograma presenta picos para los valores
de la información del punto de imagen seleccionado entre el color y la intensidad de color más repetidos;
• identificar, para cada pico del histograma, los puntos de imagen, que
comprendidos en el segmento de línea, tienen los valores de información del punto de imagen de color e intensidad de color representados en cada uno de los picos;
• calcular una sub-región para cada uno de los puntos de imagen
identificadores que se forman por los puntos de imagen que rodean al punto de imagen identificador y que cumplen con el criterio de similitud;
• repetir la etapa anterior para tantas sub-regiones como puntos de
imagen identificadores que se hayan identificado; y
• formar una región del objeto plano mediante la conexión de las subregiones calculadas anteriormente.
Para calcular la intersección entre la región que representa la superficie del objeto y la ecuación del plano, el método de la presente invención
adicionalmente comprende las siguientes cuatro sub-etapas:
• encontrar, para cada región formada en el plano de imagen de la
primera cámara , al menos un rayo que pasa a través del centro de la primera cámara y de un punto comprendido en cada región ;
• encontrar el punto de intersección entre dicho al menos un rayo y el
plano. Este punto de intersección representa las coordenadas en 3D de un
punto que pertenecen a un objeto plano real;
• repetir las dos sub-etapas anteriores para cada punto que forma la región y formar una nube de puntos cuando se forma la región para al menos
dos puntos;
• unir los puntos de intersección encontrados por al menos la primera
cámara dentro de la región seleccionada.
Las cuatro sub-etapas anteriores se repiten opcionalmente reemplazando la primera cámara con la al menos segunda cámara. Además, las cuatro sub-etapas mencionadas anteriormente se ejecutan sólo una vez con al menos la segunda cámara. Por lo tanto la primera cámara puede
reemplazarse con la segunda cámara o cualquier otra cámara comprendida en
un sistema basado en dos o más cámaras.
Con todas las etapas y sub-etapas del método de la presente invención descritas de esta forma , los elementos para generar cualquiera de las
representaciones seleccionadas se obtienen desde un mapa de profundidad del plano del objeto, una representación volumétrica (también conocida como representación tridimensional) del objeto y una representación de malla del plano del objeto.
El método adicionalmente comprende las siguientes etapas para realizar la representación del mapa de profundidad del objeto plano:
• seleccionar una región plana perteneciente al objeto a modelar;
• analizar en un plano de imagen de una cámara específica , los puntos
de imagen de la región correspondientes a dicha región plana;
• calcular, para cada punto, la distancia desde el centro de la cámara a cada punto de la región plana;
• repetir las dos etapas anteriores para cada punto perteneciente a la
región plana ; y,
• representar el mapa de profundidad con las distancias anteriormente
calculadas y otorgando un valor seleccionado entre cero y un primer valor
predeterminado a todos los puntos que estén comprendidos en la región plana seleccionada. Para todos los puntos que no están comprendidos en la región
plana seleccionada pero que pertenecen al plano de imagen , se asigna un
segundo valor predeterminado. El método comprende las siguientes etapas para realizar la
representación volumétrica del objeto plano:
definir un sistema común de coordenadas mediante la calibración de una disposición de cámaras formado por al menos dos cámaras;
definir una caja delimitante que comprenda el objeto a modelar con referencia al sistema de coordenadas definido;
dividir la caja delimitante en pequeños elementos de volumen denominados voxel ;
determinar para cada voxel comprendido en la caja delimitante si dicho voxel está ocupado mediante un algoritmo seleccionado entre un algoritmo
sencillo y un algoritmo perfeccionado; y,
• representar la representación volumétrica mediante la representación
de los voxel ocupados. El algoritmo sencillo comprende realizar las siguientes sub-etapas: 5 • calcular las coordenadas del centroide de cada voxel;
• calcular la distancia desde el centroide a un punto de la nube de puntos; y,
• etiquetar el voxel como "ocupado" si la distancia calculada anteriormente entre el centroide y el punto de la nube de puntos es inferior a 10 un umbral predeterminado, y etiquetar el voxel como "no ocupado" si la
distancia calculada anteriormente es superior al umbral predeterminado. Mientras que el algoritmo perfeccionado comprende realizar las
siguientes sub-etapas:
• calcular las coordenadas del centroide de cada voxel; 15 • calcular la distancia desde el centroide al centro de la cámara;
• identificar el punto en la nube de puntos con la distancia minima al centroide y la longitud del rayo que pasa a través del voxel y el centro de la
cámara ;
• calcular la distancia entre el punto identificado en la nube de puntos y 20 el centro de la cámara; etiquetando el voxel como "ocupado" si la distancia
calculada anteriormente entre el centroide y el centro de la cámara es mayor o
igual que la distancia entre el punto identificado en la nube de puntos y el centro de la cámara y en caso contrario etiquetar el voxel con "no ocupado"; y
• aplicar mejoras sobre al algoritmo mejorado mediante unas mejoras 25 seleccionadas entre:
o una intersección por volúmenes que se obtiene mediante las dos siguientes sub-etapas:
• determinar la ocupación de los voxel que usan el centro de la
cámara proporcionado por la primera cámara y al menos la segunda 30 cámara independientemente; y,
• etiquetar el voxel como "ocupado" si y sólo si está etiquetado como 'ocupado' en cada una de las vistas proporcionadas por la primera cámara y la al menos segunda cámara;
o una ocupación por grosor, que comprende las siguientes sub-etapas: 35 • seleccionar el grosor "T" del objeto plano;
• calcular las coordenadas del centroide de cada voxel;
• calcular la distancia desde el centroide al centro de la cámara;
• identificar el punto en la nube de puntos con la distancia minima al centroide y la longitud del rayo que pasa a través del voxel y el punto
en el centro de la cámara;
• calcular la distancia entre el punto identificado en la nube de puntos y el centro de la cámara; y
• etiquetar el voxel como ocupado si la distancia calculada anteriormente entre el centroide y el centro de la cámara es mayor o
igual que la distancia entre el punto identificado en la nube de puntos y el centro de la cámara, y más pequeño que la distancia entre el
punto identificado en la nube de puntos y el centro de la cámara más
el grosor "T" y en caso contrario etiquetar el voxel como "no
ocupado";
o intersección por volúmenes con ocupación por el grosor que obtiene la intersección de los diferentes volúmenes mediante las siguientes sub-etapas:
• determinar la ocupación de los voxel usando el centro de la cámara proporcionado por la primera cámara y al menos la segunda cámara
independientemente;
• seleccionar el grosor "T" del objeto plano;
• calcular las coordenadas del centroide de cada voxel;
• calcular la distancia desde el centroide al centro de la cámara;
• identificar el punto en la nube de puntos con la distancia mínima al
centroide y la longitud del rayo que pasa a través del voxel y el punto
en el centro de la cámara;
• calcular la distancia entre el punto identificado en la nube de puntos
y el centro de la cámara;
• etiquetar, en cada vista proporcionada por la primera cámara y la segunda cámara el voxel como "ocupado" si la distancia calculada anteriormente entre el centroide y el centro de la cámara es mayor o
igual que la distancia entre el punto identificado en la nube de puntos y el centro de la cámara y menor que la distancia entre el punto identificado en la nube de puntos y el centro de la cámara más el
grosor "T" y etiquetar el voxel como "no ocupado" en caso contrario;
y,
• etiquetar el voxel como "ocupado" si y sólo si está etiquetado como
"ocupado" en cada una de las vistas proporcionadas por la primera
cámara y la al menos segunda cámara;
Por otra parte, para realizar la representación en malla del objeto plano
se realizan las siguientes etapas:
• determinar tres puntos por cada superficie localmente plana
comprendida en el objeto plano;
• unir los tres puntos formando un triángulo;
• unir los triángulos obtenidos formando una malla; y,
• representar la malla.
La descripción de este modo descrita se ha realizado principalmente en base a dos cámaras, extendiéndose a cualquier número de cámaras donde las
referencias a la segunda cámara y el plano de imagen producido por la segunda cámara se reemplazan por la tercera cámara y el plano de imagen de la tercera cámara , la cuarta cámara y el plano de imagen de la cuarta cámara,
etc. Lo mismo que ocurriría con el segundo punto de imagen.
Un modelado rápido de cualquier objeto que comprende segmentos
planos se obtiene por las etapas descritas anteriormente del método de la
presente invención. Esto se debe al proceso de calibración que es fácil y sólo
se realiza una vez para una configuración determinada de cámaras.
El modelado de objetos por medio de técnicas basadas en vistas está estrechamente relacionado con los métodos SfS y SfM. La gran ventaja de la
presente invención sobre dichos métodos es que hace posible seleccionar la
superficie del objeto manualmente o automáticamente, haciendo posible superar la limitación de la textura que tiene el método SfM. La presente
invención puede aplicarse sobre una estancia no preparada con muebles
estáticos, que implica una limitación del método SfM. Dichos métodos basados
en las técnicas SfS sólo pueden usarse después de la selección manual de los segmentos. No es posible determina r el plano, y por lo tanto, se obtiene una
representación tosca de la Envoltura Visual (Visual Hull).
La presente invención incluye dos modos para obtener un modelo de un objeto, manual o semi-automático. La presente invención permite el control en cada etapa de un proceso semi-automático en contraposición con los métooos
de la técnica anterior basados en las técnicas SfM o SfS, permitiendo un
resultado más controlado del método. BREVE DESCRIPCiÓN DE LAS FIGURAS La figura 1 muestra un diagrama de fiujo del método de la presente
invención en el que se muestran las principales etapas del método.
La figura 2 muestra una implementación del método de la presente invención en el que se muestran un objeto plano, un punto "P" comprendido en el objeto plano, tres cámaras y un sistema global de coordenadas.
La figura 3 muestra un diagrama de flujo del método de la presente
invención para calcular las coordenadas en tres dimensiones de tres puntos
que pertenecen al mismo plano.
La figura 4 muestra una implementación del método de la presente invención en el que se muestra la opción manual para seleccionar la
proyección de un punto.
La figura 5 muestra una implementación para las etapas del método de la presente invención correspondiente al nivel bajo de cálculo semi-automático
de la proyección de un punto.
La figura 6 muestra una realización para las etapas del método de la presente invención para un nivel medio y alto de la totalidad de niveles semiautomáticos para el cálculo de la proyección del punto seleccionado.
La figura 7 muestra una realización del método de la presente invención para calcular las regiones y sub-regiones comprendidas en el objeto plano por
medio de un modo automático.
La figura 8 muestra una realización del método de la presente invención aplicada al cálculo del objeto plano. DESCRIPCiÓN DE UN EJEMPLO DE REALIZACiÓN DE LA INVENCiÓN En adelante en este documento se realiza , con carácter ilustrativo y no
limitativo, una descripción de varias realizaciones de la invención, haciendo referencia a la numeración utilizada en las figuras.
La figura 1 muestra un diagrama de fiujo del método de la presente
invención en el que se muestran las principales etapas del método. Las etapas
del método son: calibrar al menos dos cámaras (1), calcular las coordenadas en 3D de al menos tres puntos que pertenecen al mismo plano del objeto plano (2), calcular la ecuación del plano comprendido en el objeto plano (3),
seleccionar al menos una región que representa la superficie del objeto plano, en al menos un plano de imagen proporcionado por al menos una cámara (4) Y
calcular la intersección entre la región seleccionada que representa la
superficie del objeto y la ecuación del plano (5). Por medio de estas etapas, se obtiene una representación seleccionada de entre un mapa de profundidad (6) del objeto plano, una representación volumétrica (7) del objeto plano y una representación de malla (8) del objeto plano.
La figura 2 muestra una implementación del método de la presente invención en la que se muestran un objeto plano (10), un punto P (11) comprendido en el objeto plano, una primera cámara (12), una segunda cámara (13), una tercera cámara (14) y un sistema global de coordenadas (15). Para calibrar las tres cámaras anteriores con respecto al sistema de
coordenadas global, se calculan los parámetros extrínsecos por medio de las matrices de traslación y rotación que relacionan el sistema de coordenadas
interior de cada cámara (12A, 13A, 14A) con el sistema de coordenadas global (15). Adicionalmente, los centros de cada cámara OL (12B), Oc (13B) y OR (14B) que pueden ser opcionalmente el punto focal de cada cámara , asi como los planos de imagen (12C, 13C, 14C) proporcionados por cada una de las tres cámaras (12, 13, 14), se obtienen con la calibración intrinseca de cada cámara. Sobre cada uno de los planos de imagen (12C, 13C, 14C), también se muestra el punto de imagen (PL, Pe, PR) que representa el punto seleccionado P (11). Además, muestra cómo se calculan las partes que comprenden geometria epipolar. En primer lugar se calcula un rayo (13E) que une, por ejemplo, el centro (Oc) de la segunda cámara con el punto de imagen (Pe) del plano de imagen que representa el punto seleccionado P (11). Puede obtenerse otro rayo (12E, 14E) para cada cámara con un procedimiento similar. A continuación se calculan las lineas epipolares (12D, 140) sobre el plano de imagen de la primera cámara y sobre el plano de imagen de la
tercera cámara respectivamente, siendo las líneas epipolares las proyecciones
calculadas del rayo (13E) sobre el plano de imagen de la primera cámara y
sobre el plano de imagen de la tercera cámara respectivamente. Las líneas
epipolares (120 y 140) están dibujadas sobre el plano de imagen (12C, 14C) de cada una de las cámaras. Las proyecciones del rayo (13E) sobre el plano de imagen se calculan con la calibración de las cámaras que está basada a su
vez sobre el sistema de posición global. La figura 3 muestra un diagrama de fiujo del método de la presente
invención para calcular las coordenadas en 3D de al menos tres puntos que
pertenecen al mismo plano. La primera etapa es seleccionar un punto del
plano comprendido en el objeto plano por medio del plano de imagen proporcionado por la primera cámara (30). La segunda etapa es calcular la proyección del punto seleccionado sobre el plano de imagen proporcionado por la segunda cámara por un modo manual o semi-automático (31). La tercera elapa es definir dos rayos por medio del plano de imagen de la primera cámara y el plano de imagen de la segunda cámara, uno por cámara y el punto
seleccionado, que conecta el centro de la primera cámara con el punto
seleccionado y el centro de la segunda cámara con el punto seleccionado (32). La cuarta etapa es determinar las coordenadas del punto seleccionado en 3D calculando el punto de intersección entre los dos rayos (33). La quinta etapa es
repetir las etapas anteriores hasta que se obtienen las coordenadas en 3D de
los tres puntos que pertenecen al plano del objeto plano (34).
La figura 4 muestra una implementación del método de la presente invención para la opción manual de calcular la proyección de un punto
seleccionado sobre el plano de imagen de la segunda cámara . La implementación comprende un objeto plano (40) que a su vez comprende tres puntos P" P" y P3, una primera cámara (41) que comprende un plano de imagen (41A) mostrado por una interfaz gráfica de usuario (43), una segunda cámara (42) que comprende un plano de imagen (42A) mostrado por medio de la interfaz gráfica de usuario (44). Un usuario (45), mediante la interfaz gráfica de usuario (44) que muestra el plano de imagen (42A) de la segunda cámara (42), selecciona el punto de imagen que mejor represen la el punto seleccionado anterionmente por medio del plano de imagen (41A) de la primera cámara (41). También se muestran los centros de la primera y la segunda cámara OL y OR, así como los rayos (46A, 46B, 46C, 47A, 47B, 47C) que unen los centros (O" O,) de las cámaras con los puntos de imagen mostrados (Pi , Pi, Pi) o seleccionados (P,", Pi ', Pi ') por el usuario (45), que también unen los puntos (P" P" P3) comprendidos en el objeto plano (40).
La figura 5 muestra una implementación para las etapas del método de la presente invención correspondientes al nivel bajo del cálculo semi
automático de la proyección de un punto "P" seleccionado por medio del plano de imagen (51 A) de la primera cámara (51) sobre el plano de imagen (52A) de la segunda cámara (52). La primera etapa es seleccionar un primer punto de imagen (P,) del plano de imagen (51 A) que representa un punto seleccionado (P) del objeto plano (50) por medio de una interfaz (53) que representa el punto seleccionado en el plano de imagen de la primera cámara (51). La segunda etapa es calcular un primer rayo "infinito" que pasa a través del centro (O,) de la primera cámara (51) Y el primer punto de imagen (P,). Para mejorar la comprensión, el primer rayo (55) y el segundo rayo (56) se muestran con una linea continua desde el centro de las cámaras al punto P, y con líneas discontinuas desde el punto P al infinito. Como las coordenadas en 3D del centro (O,) y el primer punto de imagen (P,) son conocidas, las coordenadas
del primer rayo se calculan automáticamente. La tercera etapa es calcular la
línea epipolar (57) sobre el plano de imagen de la segunda cámara (52). La línea epipolar es la línea sobre el pla no de imagen de la segunda cámara que
representa el primer rayo. La línea epipolar (57) se representa como una línea
(57A) sobre la interfaz del usuario (54). En la cuarta etapa, el usuario selecciona un segundo punto de imagen (P,) como un punto de imagen a lo largo de la linea epipolar (57) que mejor representa el punto seleccionado (P) por medio de la interfaz de usuario (54) conectada a la segunda cámara (52).
Dado que la diferencia entre el nivel medio y el nivel alto de todos los
niveles semi-automáticos se basa principalmente en el hecho de que el nivel alto comprende adicionalmente calcular los puntos característicos por medio
de los algoritmos de detección de esquinas del estado de la técnica , la implementación de la figura 6 sirve para mostrar las etapas del método
comprendido en el nivel medio así como en el nivel alto.
La figura 6 muestra una realización para las etapas del método de la
presente invención para el nivel medio y el nivel alto de la opción de cálculo
semi-automático para el cálculo de la proyección del punto seleccionado por el plano de imagen proporcionado por la primera cámara sobre el plano de
imagen proporcionado por la segunda cámara . La primera etapa del métooo
mostrada en la realización de la figura 6 es seleccionar un punto P del objeto plano (60) y un primer punto de imagen (P,) que representa el punto seleccionado en el plano de imagen (61A) de la primera cámara (61) que se muestra en una interfaz gráfica del usuario (63). La segunda etapa es determinar una primera área de imagen (68) que contiene el primer punto de imagen (P,) y los puntos de imagen que rodean al primer punto de imagen, y
almacenar los valores de información del punto de imagen seleccionados de entre el color, la intensidad de color y una combinación de los mismos (no
mostrada), de cada uno de los puntos de imagen contenidos en la primera
área de imagen. La tercera etapa es calcular un primer rayo "infinito" (65) que pasa a través del centro (O,) de la primera cámara (61) Y el primer punto de imagen (P,). Para mejorar la comprensión, el primer rayo (65) y el segundo 5 rayo (66) se muestran con linea continua desde los centros (O" 0 2) de las cámaras al punto P, y con líneas discontinuas desde el punto P al infinito. Como las coordenadas de 3D del centro (O,) de la primera cámara yel primer punto de imagen (P,) son conocidas, las coordenadas del primer rayo se calculan automáticamente. La cuarta etapa es calcular la linea epipolar (67) 10 sobre el plano de imagen (62A) de la segunda cámara (62). La linea epipolar
es la línea sobre el plano de imagen de la segunda cámara que representa el primer rayo. La línea epipolar (67) se representa como una línea (67A) sobre la
interfaz de usuario (64). La quinta etapa es detenminar una segunda área de imagen (68A, ... , 68N) que contiene un punto de imagen de la linea epipolar y 15 los puntos de imagen de alredecor del punto de imagen de la linea epipolar y almacenar los valores de información de los puntos de imagen seleccionados
de entre el color, la intensidad de color y una combinación de los mismos (no
mostrada), de cada uno de los puntos de imagen contenidos dentro de la
segunda área de imagen. La sexta etapa es comparar los valores de
20 información del punto de imagen de la segunda área con los valores de
información del punto de imagen de la primera área. La séptima etapa es
repetir la quinta etapa y la sexta etapa para cada uno de los puntos de imagen que comprende la linea epipolar. La octava etapa es seleccionar un punto de imagen (P2) , llamado el segundo punto de imagen, que mejor representa el
25 punto seleccionado (P) por medio de una opción seleccionada entre manual y automática.
La forma automática comprende seleccionar el segundo punto de
imagen como el punto de imagen del total de puntos de imagen que
comprenden la línea epipolar, para el cual su segunda área de imagen 30 comprende un índice de reducción de la primera área de imagen mayor que un umbral. La forma manual comprende resaltar con un color predeterminado el
segundo punto de imagen, que se selecciona como el punto de imagen del total de puntos de imagen que comprende la linea epipolar, para el cual la
segunda área de imagen del segundo punto de imagen comprende un índice 35 de reducción de la primera área de imagen mayor que un umbral , y seleccionar
el punto resaltado (P, ) por la interfaz gráfica del usuario (64A).
La figura 7 muestra una realización del método de la presente invención
para calcular las regiones y sub-regiones comprendidas en el objeto plano (70)
por medio del modo automático. La primera etapa es seleccionar al menos dos
puntos (P" P,) pertenecientes al plano, los puntos de imagen (Pll, P21) del plano de imagen de la primera cámara (71) que representa los puntos seleccionados, las proyecciones de estos puntos (P12 , P,,) sobre el plano de imagen (72) de la segunda cámara, siendo estas proyecciones algunos puntos seleccionados de entre los segundos puntos de imagen. La segunda etapa es dibujar el segmento de linea (73) entre los puntos de imagen (P", P12) comprendidos en el plano de imagen de la segunda cámara (72). La tercera
etapa es al macenar algunos valores de información del punto de imagen
seleccionados entre el color y la intensidad de color de los puntos de imagen
comprendidos en el segmento de línea. La cuarta etapa es calcular un
histograma de dos dimensiones (76) que representa en una dimensión (X) todos los valores posibles de información de un punto de imagen que podrían
haberse dado a un punto de imagen en el dominio del espacio, y en otra dimensión (Y), el número de veces que un cierto valor de información de un punto de imagen, seleccionado entre el color y la intensidad de color ha
aparecido en el segmento de línea. De este modo, el histograma muestra algunos picos para los valores más repetidos de color o intensidad de color. La quinta etapa es identificar, para cada pico del histograma (77), algunos puntos de imagen identificadores que, comprendidos en el segmento de linea (73),
tienen valores de color e intensidad de color representados en cada pico. La
sexta etapa es calcular una sub-región (74, 75), para cada uno de los puntos de imagen identificadores, que se forman por los puntos de imagen que rodean
el punto de imagen identificador y que cumplen con un criterio de similitud predeterminado. La séptima etapa es repetir la etapa anterior para tantas subregiones como puntos de imagen identificadores se han identificado. Finalmente, la octava etapa es formar una región del objeto plano mediante la conexión de las sub-regiones calculadas anteriormente.
La figura 8 muestra una implementación del método de la presente invención aplicada al cálculo de un objeto plano conformado arbitrariamente. Después de la calibración de cámara de la primera cámara (81) con respecto al sistema global de coordenadas (85), se calcula la ecuación del plano (84)
mediante el cálculo de las coordenadas en 3D de los tres puntos (por ejemplo, P" P" y P4 ) que pertenecen al plano (84). A continuación se selecciona una región (83) en el plano de imagen (82) de la primera cámara (81) asi como los puntos P" P" P, y P4 comprendidos en el objeto formando una nube de 5 puntos. Finalmente, el objeto plano conformado arbitrariamente (80) pemnanece definido por la intersección entre los rayos (por ejemplo: 86A, 868, 86C, 86D) definidos por el centro de la cámara (C) y cualquier punto (por ejemplo, P;, Pi, Pi, P4) comprendidos en la región seleccionada (83) que representa la superficie del objeto y la ecuación del plano (84). En otras 10 palabras, de toda la reg ión infinita que comprende la ecuación del plano, la región buscada delimita el plano obteniendo el objeto plano y por ende, sus
coordenadas en 3D.

Claims (19)

  1. REIVINDICACIONES
    1. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto plano, caracterizado porque genera una representación
    seleccionada de entre un mapa de profundidad del objeto plano, una representación volumétrica del objeto plano y una representación en malla del objeto plano, mediante al menos las siguientes etapas:
    i) calibrar al menos una primera cámara y una segunda cámara;
    ii) calcular las coordenadas en 3D de al menos tres puntos que pertenecen a un plano del objeto plano; iii) calcular una ecuación del plano comprendido en el objeto plano;
    iv) seleccionar al menos una región que represente la superficie del
    objeto plano, en al menos un plano de imagen proporcionado por al
    menos una cámara ; y, v) calcular una intersección entre la región seleccionada que representa
    la superficie del objeto y la ecuación del plano.
  2. 2. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 1, caracterizado porque la
    etapa i) adicionalmente comprende calcular los parámetros extrinsecos e
    intrínsecos de al menos la primera cámara y segunda cámara resolviendo las ecuaciones para tantos puntos en 2D/3D como grados de libertad comprendan las cámaras.
  3. 3. Método de generación de un modelo de un objeto plano a partir de vistas del objeto, de acuerdo con la reivindicación 1, caracterizado porque la etapa ii) adicionalmente comprende:
    • seleccionar un punto y un primer punto de imagen, en el que el primer punto de imagen representa el punto seleccionado en el plano de imagen proporcionado por la primera cámara , y en el que dicho punto
    seleccionado está comprendido en el objeto plano;
    • calcular un primer rayo que une el centro de la primera cámara con el
    primer punto de imagen, y también con el punto seleccionado;
    • calcular la proyección del punto seleccionado sobre el plano de
    imagen proporcionado por la segunda cámara; • calcular al menos un segundo rayo por medio de al menos el plano de imagen de la segunda cámara , que conecta el centro de la segunda
    cámara con el segundo punto de imagen y también con el punto
    seleccionado;
    • detenminar las coordenadas en 3D del punto seleccionado por medio del cálculo del punto de intersección entre el primer rayo y el menos un segundo rayo;
    • repetir las etapas anteriores para al menos dos puntos más,
    obteniendo al menos las coordenadas en 3D de tres puntos que pertenecen al plano del objeto plano.
  4. 4. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 3, caracterizado porque la proyección del punto seleccionado sobre el plano de imagen de la segunda
    cámara se calcula mediante una opción de cálculo seleccionada entre manual
    y semi-automática.
  5. 5. Método para la generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 4, caracterizado porque la
    opción de cálculo manual comprende que un usuario, mediante una interfaz
    gráfica de usuario que muestra al menos el plano de imagen proporcionado por la segunda cámara , selecciona el punto de imagen que mejor representa al
    punto previamente seleccionado mediante el plano de imagen proporcionado
    por la primera cámara.
  6. 6. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 4, caracterizado porque la opción de cálculo semi-automático se selecciona entre los niveles semiautomáticos como un conjunto comprendido por un nivel bajo, un nivel medio y un nivel alto.
  7. 7. Método para la generación de un modelo de un objeto a partir de vistas
    del objeto, de acuerdo con la reivindicación 6, caracterizado porque el nivel
    bajo comprende las siguientes etapas:
    • calcular una línea epipolar en al menos el plano de imagen
    proporcionado por la segunda cámara, donde dicha línea epipolar es la
    linea dibujada sobe el plano de imagen de la segunda cámara que representa el primer rayo por medio de la calibración de las cámaras;
    • representar la linea epipolar por medio de la interfaz gráfica de
    usuario; y,
    • seleccionar un segundo punto de imagen sobre la interfaz gráfica de
    usuario, donde el segundo punto de imagen es un punto seleccionado a
    lo largo de la linea epipolar que mejor representa el punto seleccionado mediante el plano de imagen proporcionado por la primera cámara .
  8. 8. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 6, caracterizado porque el
    nivel medio comprende las siguientes etapas: a) determinar una primera área de imagen que contiene al menos el primer punto de imagen y almacenar al menos un valor de información del punto de imagen seleccionado de entre el color, la intensidad de color y una combinación de los mismos, de al menos el primer punto de imagen y cada uno de los puntos de imagen que rodea el primer punto de imagen; b) calcular una linea epipolar en al menos el plano de imagen proporcionado por la segunda cámara , donde dicha linea epipolar es la linea dibujada sobre el plano de imagen de la segunda cámara que represenla el primer rayo por medio de la calibración de las cámaras; e) determinar una segunda área que contiene al menos un punto de imagen comprendido en la línea epi polar, y almacenar al menos un valor de información del punto de imagen seleccionado de entre el color, la intensidad de color y una combinación de los mismos, de al menos dicho primer punto de imagen comprendido en la línea epipolar y cada uno de los puntos de imagen que rodean el punto de imagen comprendido en la línea epipolar; d) comparar el valor de la información del punto de imagen de la primera área de la imagen con el valor de la información del punto de imagen de la segunda área de imagen; e) repetir las etapas c) y d) para cada uno de los puntos de imagen que forman la linea epipolar; y, f) seleccionar un segundo punto de imagen de entre un grupo de
    puntos de imagen formado por los puntos de imagen obtenidos en
    cada repetición por medio de una opción seleccionada entre manual y
    automática ; la forma automática comprende seleccionar el segundo
    punto de imagen como el punto de imagen del total de puntos de imagen que comprende la línea epipolar, para lo cual la segunda área
    de imagen del punto de imagen comprende un índice de reproducción de la primera área de imagen mayor que un umbral; la forma manual
    comprende resaltar con un color predetemninado el segundo punto de imagen, que se selecciona como el punto de imagen del total de puntos de imagen que comprende la línea epi polar, para el cual la
    segunda área de imagen del segundo punto de imagen comprende un
    índice de reprocucción de la primera área de imagen mayor que un
    umbral, y seleccionar un punto de entre los resaltados por la interfaz gráfica del usuario.
  9. 9. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 6, caracterizado porque el nivel alto comprende las siguientes etapas:
    a) determinar un conjunto de puntos característicos en al menos los planos de imagen proporcionados por la primera cámara y la segunda
    cámara , siendo dichos puntos característicos los situados en esquinas y
    bordes del objeto, y en las superficies de objetos con textura, los puntos
    obtenidos por un algoritmo de detección de esquinas;
    b) comparar el primer punto de imagen con un punto característico
    determinado anteriormente; c) determinar una primera área de imagen que contenga al menos el primer punto de imagen y almacenar al menos un valor de información
    del punto de imagen seleccionado de entre el color, la intensidad de
    color y una combinación de los mismos para al menos el primer punto
    de imagen y cada uno de los puntos de imagen que rodea al primer punto de imagen; d) calcular una linea epipolar en al menos el plano de imagen proporcionado por la segunda cámara , donde la línea epipolar es la linea dibujada sobre el plano de imagen de la segunda cámara que
    representa el primer rayo por medio de la calibración de las cámaras; e) determinar una segunda área de imagen que comprende al menos un
    punto de imagen contenido en la linea epipolar, y almacenar al menos
    un valor de información del punto de imagen seleccionado de entre el color, la intensidad de color y una combinación de los mismos de al
    menos el punto de imagen contenido en la linea epiolar y cada punto de
    imagen que rodea el punto de imagen contenido en la línea epipolar;
    f) comparar el valor de la infonmación del punto de imagen de la primera área de imagen con el valor de la información del punto de imagen de la segunda área de imagen; g) repetir las etapas e) y f) para cada uno de los puntos de imagen que forman la línea epi polar; y, h) seleccionar un segundo punto de imagen de entre un grupo de puntos de imagen formado por los puntos de imagen obtenidos en cada
    una de las repeticiones por medio de una opción seleccionada entre
    manual y automática; la forma automática comprende seleccionar el segundo punto de imagen como el punto de imagen del total de puntos de imagen que comprende la I ¡nea epipolar, para lo cual la segunda
    área de imagen del punto de imagen comprende un índice de
    reproducción de la primera área de la imagen mayor que un umbral; la
    forma manual comprende resaltar con un color predeterminado el segundo punto de imagen, que se selecciona como el punto de imagen
    del total de puntos de imagen que comprende la linea epi polar, para lo cual la segunda área de imagen del segundo punto de imagen
    comprende un índice de reproducción de la primea área de imagen
    mayor que un umbral y seleccionar un punto de entre los resaltados
    mediante la interfaz gráfica del usuario.
  10. 10. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 7, 8 ó 9, caracterizado porque el ra yo que une el centro de la primera cámara con el punto seleccionado y al menos el rayo que une el centro de la segunda cámara con el punto seleccionado están definidos por las ecuaciones de línea respectivas mediante las siguientes etapas:
    • obtener la localización en 3D del centro de la cámara del sistema de coordenadas calibrado; • obtener la localización en 3D del primer punto de imagen y del segundo punto de imagen que representan el mismo punto
    seleccionado en al menos el plano de imagen de la primera cámara y el
    plano de imagen de la segunda cámara, respectivamente; y,
    • determinar al menos una primera ecuación de línea y una segunda ecuación de línea, estando la primera ecuación de línea descrita por el vector que une la localización en 3D del centro de la primera cámara
    con la localización en 3D del primer punto de imagen y estando la
    segunda ecuación descrita por el vector que conecta la localización en
    3D del centro de la segunda cámara con la localización en 3D del
    segundo punto de imagen.
  11. 11. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 10, caracterizado porque la
    determinación de las coordenadas de al menos un punto en 3D mediante el
    cálculo del punto de intersección entre el primer rayo y al menos el segundo rayo comprende adicionalmente:
    • establecer las coordenadas de al menos un punto en 3D cuando el punto de intersección entre el primer rayo y el al menos segundo rayo
    pertenece simultáneamente a la primera ecuación y a la segunda ecuación que determinan dicho primer rayo y dicho al menos segundo
    rayo respectivamente; y,
    • calcular las coordenadas de un punto en 3D cuya distancia a dicho
    primer rayo y dicho al menos segundo rayo es mínima cuando no existe
    punto de intersección entre dicho primer rayo y dicho al menos segundo rayo.
  12. 12. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 10 u 11, caracterizado
    porque la etapa iii) adicionalmente comprende:
    • calcular la expresión del plano determinada por la siguiente ecuación :
    8N.(X -XD) + bN.(y -YD) + CN.(Z -ZD) = O donde XD, YD y ZD son las coordenadas del punto en 3D que pertenece al plano del objeto y aN, bN y CN son las coordenadas de un vector N normal al plano; el vector N normal al plano es el producto vectorial de
    dos vectores pertenecientes al plano y definidos por al menos tres
    puntos en el plano del objeto plano.
  13. 13. Método de generación de un modelo de un objeto plano a partir de vistas del objeto, de acuerdo con la reivindicación 8 ó g, caracterizado porque
    la etapa que comprende seleccionar al menos una región que represente la superficie del objeto, en al menos un plano de imagen proporcionado por al menos una cámara, se realiza mediante una opción seleccionada entre manual y automática; comprendiendo la opción manual, al menos, las siguientes
    etapas:
    · calcular una sub-región que comprende seleccionar cada uno de los
    puntos de imagen que rodean a un punto de imagen seleccionado por
    medio de la interfaz gráfica de usuario, en el que dichos puntos de imagen cumplen con un criterio de similitud ; siendo el criterio de
    similitud una comparación predeterminada entre los valores de
    información del punto de imagen seleccionados de entre el color y la
    intensidad de color de cada uno de dichos puntos de imagen que
    rodean el punto de imagen;
    • repetir la etapa anterior para tantas sub-regiones como establezca el
    usuario; y;
    • formar una región del objeto plano por medio de la conexión de las regiones calculadas anteriormente;
    y, comprendiendo la opción automática, al menos, las siguientes etapas:
    • seleccionar al menos dos puntos de imagen en el mismo plano de
    imagen que mejor representen los al menos dos puntos del objeto
    plano, en el que dichos al menos dos puntos de imagen se seleccionan de entre los dos primeros puntos de imagen de la primera cámara y los
    dos segundos puntos de imagen en el plano de imagen de al menos la
    segunda cámara;
    • almacenar los valores de la información de los puntos de imagen
    seleccionados entre el color y la intensidad de color de los puntos de imagen comprendidos en el segmento de linea que conecta los dos
    puntos de imagen seleccionados en la etapa anterior;
    • calcular un histograma de dos dimensiones que representa en una
    dimensión todos los valores de los posibles valores de información de los puntos de imagen que tiene un punto de imagen en el dominio del
    espacio, y en la otra dimensión, el número de veces que un cierto valor
    de información de punto de imagen seleccionado entre el color y la
    intensidad de color ha aparecido en el segmento de linea; de modo que el histograma presenla picos para los valores de información de puntos
    de imagen seleccionados entre los colores e intensidad de color más
    repetidos;
    • identificar, para cada pico del histograma, los puntos de imagen que,
    comprendidos en el segmento de línea, tienen los valores de información de puntos de imagen de color e intensidad de color representados en cada uno de los picos;
    • calcular una sub-región para cada uno de los puntos de imagen
    identificadores que se forman por los puntos de imagen que rodean al
    punto de imagen identificador y que cumplen con el criterio de similitud;
    • repetir las etapas anteriores para lanlas sub-regiones como puntos de
    imagen identificadores se hayan identificado; y.
    • fomnar una región del objeto plano mediante la unión de las sub
    regiones calculadas anteriormente.
  14. 14. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 13, caracterizado porque
    calcular una intersección entre la región que representa la superficie del objeto
    y la ecuación del plano comprende adicionalmente las siguientes cuatro sub
    etapas:
    • encontrar, para cada región formada en el plano de imagen de la
    primera cámara, al menos un rayo que pasa a través del centro de la primera cámara y un punto comprendido en cada una de las regiones;
    • encontrar el punto de intersección entre dicho al menos un rayo y el plano, donde dicho punto de intersección representa las coordenadas
    en 3D de un punto que pertenece al objeto plano real;
    • repetir las dos sub-etapas anteriores para cada uno de los puntos que
    forman la región y formar una nube de puntos cuando se fomna la región
    para al menos dos puntos;
    • unir los puntos de intersección encontrados por al menos la primera cámara dentro de la región seleccionada.
  15. 15. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque el método adicionalmente comprende para llevar a cabo
    la representación del mapa de profundidad del objeto plano las siguientes etapas:
    seleccionar una región plana perteneciente al objeto a modelar;
    analizar en un plano de imagen de una cámara específica, los puntos de imagen de las regiones correspondientes a dicha región plana ;
    • calcular, para cada punto, la distancia desde el centro de la cámara a
    cada punto de la región plana;
    repetir las dos etapas anteriores para cada punto perteneciente a la región plana; y,
    representar el mapa de profundidad con las distancias anteriormente calculadas y otorgando un valor seleccionado entre cero y un primer
    valor predeterminado a todos los puntos que estén comprendidos en la región plana seleccionada.
  16. 16. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con cualquiera de las reivindicaciones anteriores, caracterizado porque el método comprende para realizar la representación
    volumétrica del objeto plano las siguientes etapas:
    • definir un sistema común de coordenadas mediante la calibración de una disposición de cámaras formada por al menos dos cámaras;
    • definir una caja delimitante que comprende el objeto plano a modelar
    con referencia al sistema de coordenadas definido;
    dividir la caja delimitante en pequeños elementos de volumen denominados voxel;
    determinar para cada voxel comprendido en la caja delimitante si dicho voxel está ocupado mediante un algoritmo seleccionado entre un
    algoritmo sencillo y un algoritmo perfeccionado; y,
    • representar la representación volumétrica mediante la representación
    de los voxel ocupados.
  17. 17. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 16, caracterizado porque el
    algoritmo sencillo comprende:
    calcular las coordenadas del centroide de cada voxel;
    calcular la distancia desde el centroide a un punto de la nube de puntos; y,
    etiquetar el voxel como "ocupado" si la distancia calculada anteriormente entre el centroide y el punto de la nube de puntos es inferior a un umbral predeterminado, y etiquetar el voxel como "no ocupado" si dicha distancia es superior al umbral predeterminado.
  18. 18. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 16, caracterizado porque el
    algoritmo perfeccionado comprende:
    calcular las coordenadas del centroide de cada voxel;
    calcular la distancia desde el centroide al centro de la cámara;
    • identificar el punto en la nube de puntos con la distancia mínima al
    centroide y la longitud del rayo que pasa a través del voxel y el centro
    de la cámara;
    • calcular la distancia entre el punto identificado en la nube de puntos y
    el centro de la cámara;
    • etiquetar el voxel como "ocupado" si la distancia calculada
    anteriomnente entre el centroide y el centro de la cámara es al menos igual que la distancia entre el punto identificado en la nube de puntos y
    el centro de la cámara y etiquetar el voxel como "no ocupado" en caso contrario; y
    • aplicar mejoras sobre al algoritmo mejorado mediante unas mejoras seleccionadas entre:
    o una intersección por volúmenes que se obtiene mediante las dos siguientes sub-etapas:
    • detemninar la ocupación de los voxel por medio del centro de la
    cámara proporcionado por la primera cámara y al menos la segunda
    cámara independientemente; y,
    • etiquetar el voxel como "ocupado" si y sólo si está etiquetado como
    "ocupado" en cada una de las vistas proporcionadas por la primera cámara y al menos la segunda cámara;
    o una ocupación por grosor, que comprende las siguientes sub-etapas:
    • seleccionar el grosor "T" del objeto plano;
    calcular las coordenadas del centroide de cada voxel;
    calcular la distancia desde el centroide al centro de la cámara;
    • identificar el punto en la nube de puntos con la distancia míníma al centroide y la long itud del rayo que pasa a través del voxel y el punto en
    el centro de la cámara;
    • calcular la distancia entre el punto identificado en la nube de puntos y el centro de la cámara; y
    • etiquetar el voxel como ocupado si la distancia calculada anteriormente entre el centroide y el centro de la cámara es al menos
    igual que la dislancia entre el punto identificado en la nube de puntos y
    el centro de la cámara, y más pequeño que la distancia entre el punto
    identificado en la nube de puntos y el centro de la cámara más el grosor
    "T" y en caso contrario etiquetar el voxel como "no ocupado";
    o intersección por volúmenes con ocupación por el grosor que obtiene la intersección de los diferentes volúmenes mediante las siguientes sub
    etapas:
    • determinar la ocupación de los voxel por medio del centro de la
    cámara proporcionado por la primera cámara y el menos la segunda cámara independientemente;
    seleccionar el grosor "T" del objeto plano;
    calcular las coordenadas del centroide de cada voxel;
    calcular la distancia desde el centroide al centro de la cámara;
    identificar el punto en la nube de puntos con la distancia mínima al centroide y la long itud del rayo que pasa a través del voxel y el punto en
    el centro de la cámara;
    • calcular la distancia entre el punto identificado en la nube de puntos y
    el centro de la cámara;
    • etiquetar, en cada vista proporcionada por la primera cámara y la segunda cámara el voxel como "ocupado" si la distancia calculada anteriormente entre el centroide y el centro de la cámara es al menos
    igual que la distancia entre el punto identificado en la nube de puntos y
    el centro de la cámara y menor que la distancia entre el punto identificado en la nube de puntos y el centro de la cámara más el grosor "T" y etiquetar el voxel como "no ocupado" en caso contrario; y,
    • etiquetar el voxel como "ocupado" si y sólo si está etiquetado como
    "ocupado" en cada una de las vistas proporcionadas por la primera 5 cámara y al menos la segunda cámara;
  19. 19. Método de generación de un modelo de un objeto plano a partir de
    vistas del objeto, de acuerdo con la reivindicación 1, caracterizado porque el método adicionalmente comprende las siguientes etapas para realizar la
    10 representación en malla del objeto plano:
    • determinar tres puntos por superficie localmente plana comprendida en
    el objeto plano;
    • unir los tres puntos fonmando un triángulo;
    • unir los triángulos obtenidos formando una malla; y, 15 • representar la malla.
ES201031291A 2010-08-27 2010-08-27 Método de generación de un modelo de un objeto plano a partir de vistas del objeto. Expired - Fee Related ES2392229B1 (es)

Priority Applications (6)

Application Number Priority Date Filing Date Title
ES201031291A ES2392229B1 (es) 2010-08-27 2010-08-27 Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
US13/819,564 US9380293B2 (en) 2010-08-27 2011-07-11 Method for generating a model of a flat object from views of the object
PCT/EP2011/061731 WO2012025288A1 (en) 2010-08-27 2011-07-11 Method for generating a model of a flat object from views of the object
BR112013004682A BR112013004682A2 (pt) 2010-08-27 2011-07-11 "método para gerar um modelo de um objeto plano a partir de vistas do objeto".
EP11735622.0A EP2609570B1 (en) 2010-08-27 2011-07-11 Method for generating a model of a flat object from views of the object
ES11735622.0T ES2532452T3 (es) 2010-08-27 2011-07-11 Procedimiento de generación de un modelo de un objeto plano a partir de vistas del objeto

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201031291A ES2392229B1 (es) 2010-08-27 2010-08-27 Método de generación de un modelo de un objeto plano a partir de vistas del objeto.

Publications (2)

Publication Number Publication Date
ES2392229A1 ES2392229A1 (es) 2012-12-05
ES2392229B1 true ES2392229B1 (es) 2013-10-16

Family

ID=44561384

Family Applications (2)

Application Number Title Priority Date Filing Date
ES201031291A Expired - Fee Related ES2392229B1 (es) 2010-08-27 2010-08-27 Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
ES11735622.0T Active ES2532452T3 (es) 2010-08-27 2011-07-11 Procedimiento de generación de un modelo de un objeto plano a partir de vistas del objeto

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES11735622.0T Active ES2532452T3 (es) 2010-08-27 2011-07-11 Procedimiento de generación de un modelo de un objeto plano a partir de vistas del objeto

Country Status (5)

Country Link
US (1) US9380293B2 (es)
EP (1) EP2609570B1 (es)
BR (1) BR112013004682A2 (es)
ES (2) ES2392229B1 (es)
WO (1) WO2012025288A1 (es)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106903B2 (en) * 2011-11-18 2015-08-11 Zspace, Inc. Head tracking eyewear system
US9530240B2 (en) * 2013-09-10 2016-12-27 Disney Enterprises, Inc. Method and system for rendering virtual views
WO2015035566A1 (en) * 2013-09-11 2015-03-19 Intel Corporation Integrated presentation of secondary content
US9412040B2 (en) * 2013-12-04 2016-08-09 Mitsubishi Electric Research Laboratories, Inc. Method for extracting planes from 3D point cloud sensor data
TWI489082B (zh) 2013-12-24 2015-06-21 Univ Nat Taiwan Science Tech 用於校正雷射量測裝置的方法及其系統
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
EP3167430A4 (en) * 2014-11-04 2017-08-16 SZ DJI Technology Co., Ltd. Camera calibration
CN104657985B (zh) * 2015-02-02 2018-07-03 燕山大学 基于深度图像遮挡信息的静态视觉目标遮挡规避方法
CN108351199B (zh) 2015-11-06 2020-03-06 富士胶片株式会社 信息处理装置、信息处理方法及存储介质
WO2017082078A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 画像処理装置および画像処理方法
US9674504B1 (en) * 2015-12-22 2017-06-06 Aquifi, Inc. Depth perceptive trinocular camera system
WO2017134882A1 (ja) * 2016-02-04 2017-08-10 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법
EP3261071B1 (en) 2016-06-22 2020-04-01 Outsight Methods and systems for detecting intrusions in a monitored volume
CN106228603B (zh) * 2016-07-25 2018-11-02 武汉中观自动化科技有限公司 一种基于欧式距离统计拼接的三维模型重构系统及方法
KR101949609B1 (ko) * 2016-12-20 2019-02-19 한국과학기술원 대표 광선 기반의 점유맵 업데이트 방법 및 시스템
US20180268614A1 (en) * 2017-03-16 2018-09-20 General Electric Company Systems and methods for aligning pmi object on a model
EP3822578B1 (de) * 2019-11-15 2024-07-24 Hexagon Technology Center GmbH Adaptiver 3d-scanner mit variablem messbereich

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2812741B1 (fr) * 2000-08-02 2003-01-17 Ge Med Sys Global Tech Co Llc Procede et dispositif de reconstruction d'une image tridimensionnelle dynamique d'un objet parcouru par un produit de contraste
JP4354708B2 (ja) * 2003-01-15 2009-10-28 独立行政法人科学技術振興機構 多視点カメラシステム
JP4714050B2 (ja) * 2006-03-15 2011-06-29 独立行政法人科学技術振興機構 3次元形状モデル生成システム
US20090040220A1 (en) * 2007-02-05 2009-02-12 Jonathan Gibbs Hybrid volume rendering in computer implemented animation
US8933925B2 (en) * 2009-06-15 2015-01-13 Microsoft Corporation Piecewise planar reconstruction of three-dimensional scenes

Also Published As

Publication number Publication date
WO2012025288A1 (en) 2012-03-01
BR112013004682A2 (pt) 2016-05-10
ES2532452T3 (es) 2015-03-27
EP2609570B1 (en) 2014-12-03
ES2392229A1 (es) 2012-12-05
EP2609570A1 (en) 2013-07-03
US9380293B2 (en) 2016-06-28
US20130208098A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
ES2392229B1 (es) Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
Wang et al. Mvdepthnet: Real-time multiview depth estimation neural network
ES2766948T3 (es) Malla adaptativa de resolución para realizar metrología en 3-d de un objeto
Concha et al. Using superpixels in monocular SLAM
EP3242275B1 (en) Using photo collections for three dimensional modeling
US8699787B2 (en) Method and system for generating a 3D model from images
Hoppe et al. Online Feedback for Structure-from-Motion Image Acquisition.
Budroni et al. Automatic 3D modelling of indoor manhattan-world scenes from laser data
Alidoost et al. An image-based technique for 3D building reconstruction using multi-view UAV images
Bulatov et al. Multi-view dense matching supported by triangular meshes
US20160232705A1 (en) Method for 3D Scene Reconstruction with Cross-Constrained Line Matching
Kuschk Large scale urban reconstruction from remote sensing imagery
CN107492107A (zh) 基于平面与空间信息融合的物体识别与重建方法
Alshawabkeh Integration of laser scanning and photogrammetry for heritage documentation
Yoon et al. Targetless multiple camera-LiDAR extrinsic calibration using object pose estimation
Lee et al. Interactive 3D building modeling using a hierarchical representation
Kang et al. Automatic texture reconstruction of 3d city model from oblique images
Ding et al. Multiperspective stereo matching and volumetric reconstruction
David et al. Sparse to dense scene flow estimation from light fields
Xia et al. A novel approach for computing exact visual hull from silhouettes
Klaudiny et al. Cooperative patch-based 3D surface tracking
Pollefeys et al. Acquisition of detailed models for virtual reality
Sato et al. Omnidirectional free-viewpoint rendering using a deformable 3-d mesh model
Remondino et al. Detailed primitive-based 3D modeling of architectural elements
Alshawabkeh et al. Laser scanning and photogrammetry: A hybrid approach for heritage documentation

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2392229

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20131016

FD2A Announcement of lapse in spain

Effective date: 20210915