ES2351961T3

ES2351961T3 - Procedimiento basado en imágenes de representación y reproducción de objetos tridimensionales.

Info

Publication number: ES2351961T3
Application number: ES02254462T
Authority: ES
Inventors: Alexey Ignatenko; Mahn-Jin Han
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2001-06-29
Filing date: 2002-06-26
Publication date: 2011-02-14
Anticipated expiration: 2022-06-26
Also published as: KR20030002995A; EP1271410A2; CA2391673A1; US20030001838A1; DE60238017D1; CN1215444C; RU2216781C2; JP3840150B2; CA2391673C; KR100468851B1; EP1271410A3; US6954202B2; CN1395222A; JP2003051026A; EP1271410B1

Abstract

Un procedimiento de representación y reproducción de un objeto en tres dimensiones, que comprende las etapas de: la transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia (6, 7); la transformación de los datos de la representación intermedia en una representación de reproducción (8) bajo la forma de un cubo de circunscripción, donde una imagen de varias capas de profundidad es atribuida a cada cara (17) del cubo de circunscripción (8); la reproducción de la representación de la reproducción obtenida (8) mediante la determinación de las caras visibles (17) del cubo de circunscripción teniendo en cuenta la posición (21) del observador, transformando la imagen de varias capas de profundidad para cada una de las caras visibles en una textura, y visualizando las caras visibles con textura; caracterizado porque la etapa de transformación de la imagen de varias capas de profundidad para cada una de las caras visibles en una textura incluye: la comprobación para cada punto de la imagen de si el punto cae dentro de la textura resultante que incluye: la formación respecto de cada cara del cubo de circunscripción visible desde la posición (21) del observador de un par de matrices (Mu y Mv) como una función de u y v, respectivamente, siendo u y v las coordenadas (u, v) sobre la cara, consistiendo el par de matrices en la profundidad de los puntos contenidos dentro del cubo de circunscripción situado sobre los planos que pasan a través de los dos bordes más cercanos de la cara (17) del cubo de circunscripción y la posición (21) del observador; y la determinación de un resultado negativo para los puntos con coordenadas de puntos (u, v) situados sobre la cara y la profundidad d si d > Mu (u) o d > Mv (v); y si el resultado es negativo ignorar el punto correspondiente y pasar al punto de la imagen siguiente, si el resultado es afirmativo, transformando funcionalmente las coordenadas y la profundidad del punto de imagen en coordenadas del punto de la textura resultante.

Description

La presente invención se refiere al campo de los gráficos informáticos y, más concretamente, a unas representaciones de objetos tridimensionales (3D) fijos y animados obtenidos a partir de unas fotos de objetos del mundo real y sus representaciones geométricas, y a un procedimiento de representación y reproducción que utiliza un modelo geométrico simplificado de un objeto.

En el futuro inmediato, la reproducción de alta calidad de objetos en 3D a una velocidad interactiva serán objeto de atención principal en los sistemas gráficos modernos. La demanda de la reproducción de alta calidad de objetos en 3D necesita el diseño de unos algoritmos eficaces para comprimir los objetos y transmitirlos a través de la redes de comunicaciones en campos tales como la industria electrónica, los juegos informáticos, la ciencia, la ingeniería, la medicina. El uso de modelos tradicionales de objetos en 3D durante las últimas décadas para satisfacer simultáneamente todas estas demandas no han conseguido proporcionar el resultado pretendido. Los modelos poligonales presentan dos inconvenientes principales: el gran volumen (por ejemplo, unos modelos realistas exigen decenas de millones de triángulos) y la dificultad de su elaboración. Para resolver estas dificultades, se han recomendado en los últimos años diversos sistemas de gráficos en 3D. Los que presentan una mayor utilidad parecen ser unos procedimientos basados en imágenes de objetos, y en procedimientos basados en puntos en lugar de triángulos en el espacio en 3D.

Los procedimientos basados en la imagen representan el objeto en cuestión como un conjunto de imágenes -“fotos” del objeto -que cubren totalmente la superficie visible, y que están tomadas desde posiciones diferentes de la cámara. Además, cada imagen de este tipo viene acompañada de un mapa correspondiente de la profundidad que es una matriz de las distancias procedentes de los píxeles de la imagen plana con respecto a la superficie del objeto. Una ventaja de dichas representaciones es que las imágenes de referencia pueden proporcionar una alta calidad de la visualización del objeto con independencia de su complejidad del medio poligonal y que pueden ser comprimidas mediante técnicas de compresión de imágenes habituales sin detrimento excesivo de la calidad. Así mismo, el tiempo de reproducción es proporcional al número de píxeles de la referencia y a las imágenes de salida y no a la complejidad del objeto.

Los inconvenientes se deben al hecho de que la obtención de mapas de profundidad del objeto de la vida real (por ejemplo, esculturas) es una operación bastante complicada, así como al hecho del desarrollo insuficiente de las técnicas de manipulación de dichas representaciones.

Los procedimientos basados en puntos representan un objeto como una nube de puntos sin imponer una estructura poligonal local explícita. En este procedimiento, un conjunto de imágenes de profundidad define un conjunto de puntos (con los colores correspondientes) sobre la superficie del objeto, mediante la traslación de cada píxel de cada imagen de referencia mediante el valor correspondiente de la profundidad en la dirección ortogonal con el plano de la imagen. Por tanto, las representaciones basadas en las imágenes constituyen un caso concreto de representaciones basadas en puntos. En las líneas que siguen nos concentraremos en las representaciones basadas en la imagen en cuanto son más próximas a nuestro sistema.

En la literatura, se describen las dos tendencias mencionadas en las referencias [1] a

[13] que describen dichos procedimientos de representación y reproducción como Mapeado de Texturas en Relieve [1], Imágenes de Varias Capas de Profundidad [2], Árbol de Imágenes de Varias Capas de Profundidad [3], Qsplat [4], Surfels [5] y algunos otros que son conocidos en la técnica anterior. En el análisis posterior de los sistemas de la técnica anterior se hará referencia a las siguientes publicaciones:

[1] Manuel M. Oliveira, Gary Bishop, David McAlister, Mapeado de Texturas en Relieve [Relief Textures Mapping], Actas de SIGRAPH ’00;

[2] Jonathan Shade, Steven Gortler, Li-wei He, Richard Szeliski, Imágenes de Varis Capas de Profundidad [Layered Depth Images], Actas de SIGGRAPH ‘98;

[3] Chun-Fa Chang, Gary Bishop, Anselmo Lastra, Árbol LDI: Representación Jerárquica de la Reproducción Basada en Imágenes [LDI Tree: A Hierarchical Representation for Image -Bassed Rendering], Actas de SIGGRAPH ‘99;

[4] Szymon Rusinkiewicz, Marc Levoy, QSplat: Sistema de Reproducción de Puntos conMultirresolución para Grandes Mallas [QSplat: A Multiresolution Point Rendering System for Large Meshes], Actas de SIGGRAPH ‘00;

[5] Hanspeter Pfister, Mathias Zwicker, Jeroen van Baar, Markus Gross, Surfels: Elementos de Superficie como Primitivos de Reproducción [Surfels: Surface Elements as Rendering Primitives], Actas de SIGGRAPH ‘00;

[6] Chamberlain et al., Reproducción Rápida de Entornos Complejos Utilizando una Jerarquía Espacial [Fast Rendering of Complex Environments Using a Spatial Hierarchy], Actas de Graphics Interface ‘96;

[7] Grossman y Dally, Reproducción de muestras por puntos [Point sample rendering], Actas de Eurographics Workshops on Rendering Techniques ‘96;

[8] Lischinski y Rappoport, Reproducción Basada en Imágenes para Escenas Sintéticas no Difusas [Image -Based Rendering for Non -Diffuse Synthetic Scenes], Actas de Eurographics Workshops on Rendering Techniques ‘98;

[9] M. Levoy y T. Whitted, El Uso de Puntos como Primitivas de Visuaización [The Use of Points as Display Primitives]; Technical Report:JR 85-022, University of North Carolina at Chapel Hill, Department of Computer Science, 1985;

[10] L. Westover, Evaluación de Huellas para la Reproducción de Volúmenes, [Footprint Evaluation for Volume Rendering], Actas de SIGGRAPH ‘96.

[11] C. I.; Connolly. Generación Cumulativa de Modelos de Árbol de Ocho Octantes a partir de Datos de Rango [Cumulative Generation of Octree Models from Range Data], Actas de Intl. Conf. Robotics, pp. 25-32, Marzo 1984;

[12] G.H., Tarvbox y S.N.Gottschlich, IVIS: Un Sistema de Inspección Volumétrica Integrado [An Integrated Volumetric Inspection System], Actas del 1994 Second CAD -Baseed Vision Workshop, pp. 220-227, Febrero 1994;

[13] Curless, B., Levoy, M., Procedimiento Volumétrico para Construir Modelos Complejos a partir de Imágenes de Rango [A Volumetric Method for Building Complex Models from Range Images], Actas de SIGGRAPH ‘96;

[14] C. Bregler, Técnicas de Animación Basada en Vídeo del Movimiento Humano [Video Based Animation Techniques for Human Motion], SIGGRAPH ‘00 Course 39: Modelado y Reproducción Basadas en Imágenes [Image -based Modeling and Rendering]; y

[15] Paul F. Debevec, Camillo J. Taylor, Jitendra Malik, Arquitectura de Modelación y Reproducción a partir de Fotografías: Una Propuesta basada en Geometría Híbrida basada en la Imagen [Modeling and Rendering Architecture from Photographs: A Hybrid Geometry -and Image -based Approach] Actas de SIGGRAPH96 .

El problema habitual de los procedimientos basados en la imagen es la aparición de agujeros en la imagen resultante. A diferencia de los modelos poligonales, que son “continuos”, en el sentido de que la superficie del objeto está linealmente interpolada en el interior de todos los polígonos (normalmente, triángulos), las representaciones basadas en la imagen y basadas en puntos proporcionan unas aproximaciones “discretas” del objeto. En el caso de las representaciones basadas en la imagen, la superficie del objeto es, de hecho, aproximada con pequeños cuadrados coloreados, esto es, píxeles desplazados de las imágenes de referencia. A la vista, la dirección difiere normalmente de la dirección normal para cada uno de los planos de la imagen de referencia, las proyecciones de los cuadrados aproximativos en general no cubren completamente la proyección de la superficie del objeto. Llamemos a dichos agujeros, agujeros del primer tipo. Otra fuente de agujeros en la imagen resultante de las representaciones basadas en la imagen es el hecho de que algunas partes de la superficie pueden no ser visibles en todas las imágenes de referencia, sino que resultan visibles para algunos puntos de vista (agujeros del segundo tipo). Estos agujeros son debidos a la insuficiente información contenida en una concreta representación basada en la imagen.

El procedimiento de la textura en relieve [1] suprime los agujeros del primer tipo mediante la utilización de un análogo de la interpolación lineal, lo cual puede conducir a distorsiones y artefactos, dado que la interpolación se lleva a cabo en la proyección en dos dimensiones del objeto y no en un espacio de 3D. Lo que es más importante, los agujeros del segundo tipo solo pueden ser tratados de la misma forma mediante este sistema.

Las imágenes de varias capas de profundidad (LDI) [2] son estructuras de datos diseñadas para evitar el problema de los agujeros del segundo tipo. La LDI es una imagen cuyos píxeles contienen todos los puntos objeto que se proyectan sobre un emplazamiento fijo en el plano de referencia de la imagen. También se aplica aquí el algoritmo de predeformación rápida de [1]. Sin embargo, los problemas con los agujeros del primer tipo persisten. El salpicado (introducido primeramente en [10]) es utilizado para resolver el problema de los agujeros del primer tipo. La salpicadura es un pequeño parche de dos dimensiones con una superficie rectilínea o elíptica dotada con una cierta distribución de colores -por ejemplo con un centro gausiano en el centro del parche, o constante. El inconveniente del procedimiento de la LDI reside en su no simetría dado que la representación se basa en una proyección sobre una determinada dirección fija. Esto provoca dificultades con el llenado de los agujeros para visualizar las direcciones que son muy diferentes de dicha dirección fija.

El árbol 3 de la LDI [3] es un árbol de ocho octantes con una LDI fijada a cada célula (nodo) del árbol de ocho octantes. La ventaja de incorporar un modelo jerárquico es que no toda la LDI del árbol de ocho octantes debe ser reproducida. Aquellas celdas que están alejadas se reproducen con menor detalle mediante la utilización de puntos filtrados que son almacenados en las LDIs más altas en la jerarquía. Esta representación fue diseñada con el fin de resolver la no simetría de la LDI mediante la utilización de muchas imágenes de referencia. Sin embargo, el espacio de almacenamiento resulta muy grande. El árbol de la LDI para una imagen de 512 x 512 (obtenida a partir de 36 imágenes de referencia) ocupa 30 Mbytes de acuerdo con lo expuesto en [3], y aproximadamente la mitad de esta cantidad era la propia estructura del árbol. Como se expuso en [3], el tiempo de reproducción de este objeto es grande: de 2 a 3 segundos por cuadro en los procesadores Silicon Grapphics Onyxz con los procesadores R 10000 MIPS DE 32250 MHz (aunque el paralelismo no fue utilizado).

Otra representación adicional que combina los datos basados en la imagen en una estructura de árbol ha sido recientemente diseñada en el procedimiento Surfels [5]. Maneja un árbol específico [8] que es un cubo de varias capas de profundidad [LDC] donde, en lugar de un solo árbol de LDI, los nodos contienen tres LDIs correspondientes a tres planos ortogonales. Los resultados ofrecidos en [5] se obtuvieron para el modelo original con 81000 triángulos. La tasa de transferencia de cuadros de 11 cuadros por segundo (fps) para un 256 x 256 para un separador de salida se obtuvo en un procesador de 700 MHz Pentium III. Los Surfels son píxeles de imágenes de referencia desplazadas por un correspondiente vector de profundidad. La estructura de árbol se utiliza para acelerar los cálculos de los elementos visibles. La ocupación de agujeros se consigue mediante el filtrado del vecino más próximo o gausiano. La salpicadura es implementada en esta estructura. La alta calidad de la imagen resultante se consigue a expensas del volumen de datos y de las restricciones de la velocidad.

Debe, así mismo, ser mencionada, la representación recientemente introducida de Qsplat [4], aunque es más bien un procedimiento basado en puntos más que en imágenes. Esta propuesta utiliza una estructura de puntos jerárquica basada en bolas anidadas. Se utilizan unas salpicaduras elípticas del tamaño apropiado en la etapa de reproducción. Sin embargo, se utilizó una eliminación de caras truncada algo compleja y retardataria en [4]. La estructura de datos es también contratada, y requiere un tipo de procesamiento mayor.

La idea y diversos procedimientos de implementación para obtener un modelo en 3D estructurado en un árbol de ocho octantes a partir de lo datos de rango, como por ejemplo los conjuntos de las imágenes de profundidad se desarrollaron en [1] -[12]. [13] trata de una estructura de modelo poligonal procedente de unos datos originales que utilizan tres árboles de ocho octantes.

En el documento “Objetos Basados en Imágenes”, Oliveira y Bishop, en el simposio de 1999, acerca de los Gráficos de 3d interactivos, Atlanta, páginas 191 -198, 236, se analiza una representación compacta de unas formas tridimensionales. Los objetos son representados mediante unas imágenes con seis capas de profundidad que comparten un centro de proyección.

Duan y Ci, en el documento “Compresión de la Imagen en Varias Capas de profundidad”, describen un algoritmo de compresión de la imagen en varias capas de profundidad. La profundidad de la imagen en varias capas descrita representa un objeto con una matriz de píxeles observados a partir de una sola posición de la cámara. Se describe un algoritmo de compresión.

Todo lo expuesto se refiere a representaciones basadas en imágenes en 3D fijas. En relación con objetos animados en 3D, debe destacarse que hasta ahora solo se presentaron muy pocos procedimientos basados en imágenes. En [14] se desarrolla una idea de una modificación de imágenes faciales para una geometría de caras en 3D casi constante. Ello es solo aplicable a una clase restringida de objetos animados y no se aplica a una animación de un objeto en 3D real. En [15] se animan unas escenas arquitectónicas con la ayuda de un mapeado de estructura dependiente de la visión las cuales reconstruyen las visiones arquitectónicas derivadas de diversos puntos de vista sobre la base de unas nuevas fotografías.

Por tanto, es evidente que se necesita una representación basada en la imagen que permita un almacenamiento compacto, una reproducción rápida con una calidad de imagen de salida elevada, y apropiada con fines de animación.

Constituye un objetivo de la invención proporcionar unas representaciones de objetos en 3D en base a unas imágenes de profundidad, que permitan una reproducción rápida y de alta calidad , en las cuales los inconvenientes referidos se reduzcan o eliminen.

Constituye otro objetivo de la invención proporcionar un procedimiento de representaciones de objetos en 3D en base a unas imágenes de profundidad, que permitan una reproducción rápida y de alta calidad y la posibilidad de utilizar los medios existentes de aceleración basados en hardware.

Un objetivo adicional de la invención consiste en proporcionar un procedimiento para la representación compacta de un objeto animado en 3D, que permita su reproducción rápida y correcta. Un objetivo más de la invención consiste en proporcionar un procedimiento para la representación y reproducción de un objeto en tres dimensiones, que permita la distorsión rápida, la visualización con la ayuda de salpicaduras con un tamaño computado con precisión, y un proceso de eliminación de caras que permita evitar cálculos innecesarios, incrementando de esta manera la velocidad de reproducción. El resultado expuesto se consigue mediante un procedimiento de representación y reproducción de un objeto en tres dimensiones de acuerdo con la invención tal y como se define en la reivindicación 1.

En una forma de realización del procedimiento, dicha transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia comprende: la colocación de un modelo en tres dimensiones dentro del cubo de circunscripción; la proyección ortográfica del modelo sobre todas las caras del cubo de circunscripción para obtener, para cada cara, una imagen del modelo con una resolución de píxeles predeterminada; la computación, para cada píxel de las imágenes obtenidas, de un correspondiente valor de profundidad que consista en una distancia desde un punto situado en la superficie del modelo hasta una cara correspondiente del cubo de circunscripción, para obtener una imagen de escala de grises para cada cara, teniendo todos los puntos de la imagen de escala de grises un brillo correspondiente a la profundidad existente en este punto; el almacenamiento de los datos de las 12 imágenes obtenidas como 6 pares de mapas, consistiendo cada uno de los pares de mapas en una imagen en color y en una imagen de escala de grises correspondiente a la cara del cubo de circunscripción; y la construcción a partir de los 6 pares de mapas obtenidos de una imagen de varias capas de profundidad para cada cara del cubo de circunscripción.

En otra forma de realización del procedimiento, dicha transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia comprende la generación de una imagen de varias capas de profundidad y la constitución, a partir de la imagen de varias capas de profundidad de las correspondientes imágenes de varias capas de profundidad para cada cara del cubo de circunscripción, en la que los puntos de las imágenes intermedias son descartados si un ángulo entre la normal en el punto y la normal sobre la cara del cubo es más pequeño que un valor predeterminado.

La transformación de la imagen de varias capas de profundidad para cada cara visible en una textura comprende de modo preferente: la determinación del tamaño de la textura dependiendo de la posición del observador con respecto a la cara; la división de la cara en cuadrantes mediante unos ejes de coordenadas cuyo origen coincidan con un punto que sea la proyección ortogonal del punto de vista sobre el plano de la cara; la determinación, para cada cuadrante de una determinación transversal de la imagen de varias capas de profundidad mediante unas líneas en la dirección con respecto a dicho origen de coordenadas y mediante la profundidad desde los puntos más alejados del plano de la cara con respecto a los puntos más próximos, y la comprobación del proceso de los planos transversales de la imagen para cada punto de la imagen, si el punto cae dentro de la textura resultante, si el resultado es negativo, ignorando el punto correspondiente de la imagen y pasando al punto siguiente, y si el resultado es afirmativo, la transformación funcional de las coordenadas y de la profundidad del punto de la imagen en las coordenadas del punto de la textura resultante; y la formación de una salpicadura en el punto de textura con las coordenadas obtenidas.

Los datos de representación intermedios son, de modo preferente, utilizados para almacenar la información del modelo del objeto en tres dimensiones.

El resultado expuesto se consigue, así mismo, en un procedimiento de representación de un objeto en tres dimensiones de acuerdo con la invención según se expone en la reivindicación 8.

Las representaciones intermedias obtenidas en forma de 6 flujos de vídeo pueden ser comprimidas utilizando un formato de compresión MPEG4, en el que la información del color se almacena en unos canales de color, y los mapas de profundidad se almacenan en un canal alfa.

La invención se pondrá de manifiesto con mayor claridad a partir de la descripción detallada subsecuente de sus formas de realización con referencia a los dibujos adjuntos, en los cuales

La Fig. 1. ilustra una secuencia de las etapas de un procedimiento de representación y reproducción de un objeto en tres dimensiones; las Figs. 2a, b muestran un ejemplo de un par de encuadres compuestos por una imagen de escala de grises (a) y una imagen en color (b); las Figs. 3a, b son un ejemplo de una imagen de varias capas de profundidad en la que

(a) ilustra un principio de proyección del modelo, y (b) ilustra una estructura de datos resultante de la proyección; la Fig. 4 ilustra la comprobación de los puntos de representación intermedios en la etapa de formación de una imagen de varias capas de profundidad para cada cara del cubo de circunscripción; la Fig. 5 muestra un ejemplo de división de una cara del cubo de circunscripción en cuadrantes en la etapa de transformación de cada una de las caras visibles de la imagen de varias capas de profundidad en varias texturas; las Figs. 6a, b ilustran los principios de comprobación acerca de si cada punto de la imagen de varias capas de profundidad cae dentro de la textura resultante: (a) muestra la comprobación acerca de si un punto es visible respecto de una posición determinada del observador; (b) muestra la comprobación acerca de si los puntos caen dentro de la textura resultante.

Los mismos elementos se designan mediante los mismos números de referencia a lo largo del todo los dibujos que ilustran la invención.

La Fig. 1 muestra: las etapas 1 a 4 de un procedimiento de representación y reproducción de un objeto en tres dimensiones; el modelo 5 del objeto en tres dimensiones; las representaciones intermedias 6, 7; la representación 8 de la reproducción, las texturas 9; el modelo poligonal 10 del cubo de circunscripción; la imagen visualizada 11 del modelo.

La Fig. 2a, b muestran la imagen de escala de grises 12 y de la imagen en color 13.

La Fig. 3a, b muestra: el modelo 14; el plano de base 15; el conjunto 16 de puntos de un modelo para cada píxel de la imagen de varias capas de profundidad.

La Fig. 4 muestra: la cara 17 del cubo; los puntos 18 de la representación de reproducción, las normales 19 en los puntos 18; los conos de visibilidad 20.

La Fig. 5 muestra: la posición 21 del espectador; la posición ortogonal 22 del punto de posición del espectador sobre la cara 17; los cuadrantes 23 a 26 de la cara 27; las direcciones transversales 27 a 30 de cada uno de los cuadrantes de las caras.

La Fig. 6a, b muestra: el ángulo 31 entre la normal 19 en el punto 18 y la dirección al punto 21; la proyección 32 del plano que pasa por el punto 21 en el cual el observador está situado y el borde más cercano de la cara 17 del cubo con respecto al observador.

Con referencia ahora a la Fig. 1, un procedimiento de representación y reproducción de un objeto en tres dimensiones se lleva a cabo de la siguiente manera.

En la etapa 1, un modelo 5 de un objeto en 3D es convertido en una representación intermedia 6 (7). La representación intermedia puede ser un conjunto de seis pares de encuadres, compuestos por una imagen de escala de grises 2 y una imagen en color 13 (Figs. 2a, b) o una imagen 7de varas capas de profundidad (Figs. 3a, b). En el primer caso, la representación intermedia almacena únicamente información de la porción de la superficie del modelo visible desde la cara del cubo de circunscripción. El brillo de un punto de la imagen de escala de grises 12 (Fig. 2a) se determina por una distancia desde la cara del cubo de circunscripción a la superficie del modelo. El brillo máximo se corresponde con aquellos puntos existentes en la superficie del modelo que se sitúan sobre la cara más próxima, mientras que el brillo mínimo se corresponde con los puntos situados en la cara opuesta. Los puntos de la imagen que no se corresponden con los puntos pertenecientes a la superficie del modelo son codificados con un valor de brillo cero. La segunda representación (Fig. 3a, b) almacena la información total de la superficie del modelo 14, dado que cada píxel de la imagen de varias capas de profundidad se corresponde con un conjunto 16 de los puntos del modelo que se proyectan sobre el píxel, correspondiendo el color y la profundidad del punto de la superficie del modelo y, así mismo, de la normal con respecto a la superficie del modelo en este punto con cada punto del conjunto 16.

En la etapa 2, se forma una representación de la reproducción como una imagen de varias capas de profundidad para cada cara del cubo de circunscripción. En el caso de la utilización de la representación intermedia, para cada cara del cubo de circunscripción las coordenadas de los puntos de la parte visible de la superficie del modelo de esta cara se transforman en el sistema de coordenadas asociado con la otra cara, añadiéndose el resultado de la transformación a la imagen de la profundidad correspondiente a dicha cara. Utilizando la representación intermedia 7, la imagen de varias capas de profundidad se transforma en el sistema de coordenadas asociado con cada cara.

En el proceso de construcción de la imagen de varias caras de profundidad para cada cara utilizando la representación intermedia 7, cada punto nuevo añadido es comprobado con respecto a la visibilidad potencial de esta cara. Tal y como se muestra en la Fig. 4, el punto no será añadido a la imagen de varias caras de profundidad respecto de la cara si el ángulo 20 entre la normal 19 en el punto 18 y la normal respecto del punto 17 es menor que un valor predeterminado.

En la etapa 3, se generan las estructuras necesarias para la visualización por medios tradicionales (etapa 4). En primer lugar, las caras visibles del cubo de circunscripción se determinan teniendo en cuenta la posición actual del observador, a continuación se genera una imagen de cada cara la cual se impondrá a continuación sobre la cara como una textura. El tamaño de la textura se determina utilizando un ángulo entre la normal con respecto a la cara y el vector definido por el punto de posición del observador y por el centro de la cara. Si el ángulo es próximo a cero, el tamaño de la textura es sustancialmente igual al tamaño de la imagen original. Al aumentar el ángulo, el tamaño de la textura se reduce en la medida correspondiente. El tamaño de la textura se calcula de manera independiente para cada coordenada u, v.

El proceso de construcción de la textura implica el recorrido de los puntos de la imagen de varias capas de profundidad correspondientes a una cara del cubo de circunscripción. Tal y como se muestra en la Fig. 5, el orden del recorrido se escoge como sigue. La proyección del punto 21 de la posición del observador se encuentra sobre un plano de la cara del cubo de circunscripción. El punto 22 correspondiente a dicha proyección divide la cara en no más de cuatro cuadrantes (23, 24, 25, 26). Dentro de cada cuadrante, la dirección del recorrido de la imagen de varias capas de profundidad se selecciona de manera que los puntos sean recorridos por líneas en las direcciones 27, 28, 29, 30. A continuación, los puntos de cada cuadrante son recorridos en la dirección seleccionada, siendo los puntos con las mismas coordenadas de cada cara recorridos por orden de reducción de la profundidad. Cada punto experimenta un proceso de selección de caras que comprende dos etapas. La primera etapa se lleva a cabo si existen unos vectores normales en la imagen de varias capas de profundidad, y comprende la comprobación de la dirección de la normal con respecto a dicho punto, tal y como se muestra en la Fig. 6a. Se determina el ángulo 31 entre el vector de observación y la normal 19 en el punto 18. Si el ángulo 31 excede de 90 grados, el punto se ignora, y el proceso se desplaza hasta el siguiente punto. En otro caso, se lleva a cabo la segunda prueba que implica la supresión de los puntos que no se incluyen dentro de la textura después de la conversión funcional. Para cada cara visible del cubo de circunscripción se construyen de manera preliminar dos matrices MUy Mv (indizada mediante la correspondiente coordenada (u, v) de la cara, consistiendo las matrices en las profundidades de los puntos contenidos dentro del cubo de circunscripción y situándose sobre los planos que pasan por los bordes más próximos de la cara 17 del cubo de circunscripción y del punto 21 donde el observador está situado.

La Fig. 6a muestra la proyección 32 de uno de los planos correspondientes a la coordenada u. Los elementos de los datos de la matriz se utilizan como segundo criterio de eliminación de caras respecto de los puntos de la imagen de varias caras de profundidad. Si una profundidad del punto es mayor que el valor Mu [u] o Mv [v], donde u, v son coordenadas del punto de la cara del cubo de circunscripción, entonces el proceso avanza hasta el siguiente punto, dado que este punto no será visible en la textura resultante. A continuación, se aplica una conversión funcional unidimensional (“distorsión”, véase [1]) a cada punto elegido, dependiendo de las coordenadas de los puntos (u, v) y la profundidad d.

La conversión funcional proporciona las coordenadas (u’, v’) del sistema de coordenadas asociado con la posición elegida 21 del observador. Las conversiones se llevan a cabo para todos los puntos de las caras visibles. La salpicadura se constituye en el punto con las coordenadas obtenidas en la textura generada. El color de la salpicadura se corresponde

5 con el color del punto de las coordenadas originales (u, v, d). la forma de la salpicadura se selecciona a partir de consideraciones relacionadas con la velocidad de imposición de la textura, y generalmente es un cuadrado o un círculo. El tamaño de la salpicadura se determina por el tamaño original de la imagen, por el tamaño obtenido de la textura, y puede ser ajustado teniendo en cuenta la normal en los puntos de la imagen de varias capas de profundidad.

10 Las coordenadas del centro de la salpicadura deben corresponderse con las coordenadas (u’, v’) obtenidas mediante la distorsión. Como resultado de ello se obtiene una imagen para cada cara visible, imagen que se impone en la etapa 4 (Fig. 1) sobre la cara correspondiente del modelo poligonal. Las caras no ocupadas en las texturas obtenidas son

15 marcadas como transparentes, asegurando con ello la corrección de la imagen resultante dado que el modelo poligonal del cubo no cubre el fondo.

Un procedimiento de representación de un objeto animado se lleva a cabo de la forma siguiente. Un cubo de circunscripción se determina para un flujo de datos originales del 20 modelo, esto es, una secuencia de cuadros de animación, a continuación se construyen seis pares de encuadres para cada cuadro, consistiendo los pares de encuadres en una imagen de escala de grises y en una imagen de color de acuerdo con lo descrito con anterioridad con referencia a las Figs. 1 y 2a, b. Esto proporciona doce flujos de vídeo, dos flujos de vídeo para cada cara del cubo de circunscripción. Los flujos correspondientes a las imágenes en color 25 pueden ser comprimidos utilizando cualquier algoritmo de comprensión de flujos de vídeos con pérdidas, como por ejemplo el MPEG2. El flujo correspondiente a las imágenes de escala de grises (encuadres de profundidad) deben ser comprimidos utilizando un algoritmo de compresión sin pérdida de la calidad, como por ejemplo una compresión de canal alfa en formato MPEG4. La forma de realización preferente del procedimiento de acuerdo con la

30 invención proporciona una compresión de seis flujos de vídeo utilizando un formato de comprensión MPEG4.

35

Claims

1. Un procedimiento de representación y reproducción de un objeto en tres dimensiones, que comprende las etapas de:

la transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia (6, 7); la transformación de los datos de la representación intermedia en una representación de reproducción (8) bajo la forma de un cubo de circunscripción, donde una imagen de varias capas de profundidad es atribuida a cada cara (17) del cubo de circunscripción (8); la reproducción de la representación de la reproducción obtenida (8) mediante la determinación de las caras visibles (17) del cubo de circunscripción teniendo en cuenta la posición (21) del observador, transformando la imagen de varias capas de profundidad para cada una de las caras visibles en una textura, y visualizando las caras visibles con textura;

caracterizado porque la etapa de transformación de la imagen de varias capas de profundidad para cada una de las caras visibles en una textura incluye:

la comprobación para cada punto de la imagen de si el punto cae dentro de la textura resultante que incluye:

la formación respecto de cada cara del cubo de circunscripción visible desde la posición (21) del observador de un par de matrices (Mu y Mv) como una función de u y v, respectivamente, siendo u y v las coordenadas (u, v) sobre la cara, consistiendo el par de matrices en la profundidad de los puntos contenidos dentro del cubo de circunscripción situado sobre los planos que pasan a través de los dos bordes más cercanos de la cara (17) del cubo de circunscripción y la posición (21) del observador; y la determinación de un resultado negativo para los puntos con coordenadas de puntos (u, v) situados sobre la cara y la profundidad d si d > Mu (u) o d > Mv (v); y si el resultado es negativo ignorar el punto correspondiente y pasar al punto de la imagen siguiente, si el resultado es afirmativo, transformando funcionalmente las coordenadas y la profundidad del punto de imagen en coordenadas del punto de la textura resultante.

2. El procedimiento de acuerdo con la reivindicación 1, en el que la valoración acerca de si el punto cae dentro de la textura resultante incluye así mismo ignorar los puntos respecto de los cuales el ángulo (31) existente entre la normal (19) en ese punto y el vector de visualización desde de la posición (21) del observador al punto

(18) sobrepasa los 90º.

3. El procedimiento de acuerdo con las reivindicaciones 1 o 2, en el que dicha transformación de los datos originales del objeto en tres dimensiones en una representación intermedia comprende:

la disposición de un modelo en tres dimensiones (5) dentro del cubo de circunscruipción (8); la proyección ortográfica del modelo (5) sobre todas las caras del cubo de circunscripción (8) para obtener, para cada cara (17) una imagen modelo con una resolución de píxeles predeterminada; el cálculo para cada píxel de las imágenes obtenidas, de un valor de profundidad correspondiente que es una distancia a partir de un punto situado en la superficie del modelo hasta una cara correspondiente (17) del cubo de circunscripción, para obtener una imagen de escala de grises para cada cara

(17): teniendo cada punto de la imagen de escala de grises un brillo correspondiente a la profundidad en este punto; el almacenamiento de los datos de las doce imágenes obtenidas como seis pares de encuadres, consistiendo cada uno de los pares de encuadres en una imagen de color y en una imagen de escalas de gris correspondiente a la cara

(17): del cubo de circunscripción; y la construcción, a partir de los seis pares de encuadres de una imagen de varias capas de profundidad para cada cara del cubo de circunscripción.

4.: El procedimiento de acuerdo con la reivindicación 1, en el que dicha transformación de los datos originales de un objeto en tres dimensiones en una representación intermedia (6, 7) comprende la generación de una imagen de varias capas de profundidad y la formación a partir de la imagen de varias capas de profundidad

correspondiente a las imágenes de varias capas de profundidad para cada cara del cubo de circunscripción.

5.: El procedimiento de acuerdo con la reivindicación 4, en el que dicha formación de imágenes de varias caras de profundidad para cada cara (17) del cubo de circunscripción (8) comprende el descarte de los puntos de la imagen intermedia, si un ángulo entre la normal (19) en el punto y la normal respecto de la cara del cubo es menor que un valor predeterminado.

6.: El procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 a 4, en el que dicha etapa de transformación de la imagen de varias capas de profundidad para cada cara visible en una textura incluye:

la determinación del tamaño de la textura dependiendo de la posición (21) del observador con respecto a la cara; la división de la cara en cuadrantes mediante los ejes de coordenadas que tienen el origen coincidente con un punto que es la proyección ortogonal de la posición (21) del observador sobre el plano de la cara; la determinación, para cada cuadrante, de una dirección del recorrido de la imagen de varias caras de profundidad mediante unas líneas en la dirección de dicho origen de las coordenadas y mediante la profundidad de los puntos más alejados del plano de la cara con respecto a los puntos más próximos, y el recorrido de la imagen en la dirección transversal; la formación de una salpicadura en el punto de textura con las coordenadas obtenidas.

7.: El procedimiento de acuerdo con una cualquiera de las reivindicaciones 1 a 6, en el que dichos datos de representación intermedia son utilizados para almacenar información del modelo de objeto tridimensional.

8.: El procedimiento para la representación y producción de un objeto tridimensional animado, que comprende las etapas de:

la transformación y reproducción de una pluralidad de cuadros que utilizan la representación intermedia y un procedimiento de acuerdo con las reivindicaciones 1 o 2 para cada cuadro para obtener una secuencia de cuadros.

9.: El procedimiento de acuerdo con la reivindicación 8, en el que dicha transformación de datos originales de un objeto tridimensional en una representación intermedia comprende:

5 la disposición de un modelo tridimensional (5) dentro del cubo de circunscripción (8); para cada cuadro de animación, la proyección ortográfica del modelo (5) sobre las caras (17) del cubo de circunscripción para obtener, para cada cara imagen modelo con una resolución predeterminada de píxeles;

10 para cada píxel de las imágenes obtenidas, el cálculo de un valor de profundidad correspondiente, el cual es una distancia desde un punto situado en la superficie del modelo a una cara correspondiente (17) del cubo de circunscripción para obtener, para cada cara (17), una imagen de escala de grises, teniendo cada punto de cada imagen de escala de grises un brillo correspondiente a la

15 profundidad de este punto; el almacenamiento de los datos de las imágenes obtenidas como seis de pares de encuadres, consistiendo cada uno de los pares de encuadres en una imagen en color de escala de grises correspondiente a la cara del cubo de circunscripción; y

20 la construcción a partir de los seis de pares de encuadres obtenidos de una imagen de seis de capas de profundidad para cada cara del cubo de circunscripción.

10. El procedimiento de acuerdo con la reivindicación 9, en el que la representaciones

25 intermedias obtenidas bajo la forma de seis flujos de vídeo son comprimidas utilizando un formato de comprensión MPEG4, mientras se almacena la información de color en canales de color, y unos encuadres de profundidad en un canal alfa.