ES2400998B1

ES2400998B1 - SYSTEM AND PROCEDURE FOR CAPTURE AND PROCESSING OF THREE-DIMENSIONAL IMAGES WITH MOVEMENT

Info

Publication number: ES2400998B1
Application number: ES201130834A
Authority: ES
Inventors: Matias LOPEZ IGLESIAS
Original assignee: UNIVERSIDAD EUROPEA MIGUEL DE CERVANTES
Current assignee: UNIVERSIDAD EUROPEA MIGUEL DE CERVANTES,S.A.
Priority date: 2011-05-23
Filing date: 2011-05-23
Publication date: 2014-03-11
Anticipated expiration: 2031-05-23
Also published as: WO2012160224A1; ES2400998A2; ES2400998R1

Abstract

Sistema de captura y procesado de imágenes tridimensionales con movimiento que comprende una estancia (1) esférica, donde el objeto (2) a grabar se posiciona en el centro, un sistema de iluminación, un sistema de adquisición con una pluralidad de cámaras (3) alrededor del objeto (2), un módulo de procesamiento (4), y un sistema representación tridimensional (5), que calcula las rectas convergentes al objetivo de cada cámara (3) y pone en común la información de cada cámara (3), definiendo cada par de rectas que interseccionan un punto en el espacio tridimensional.#Procedimiento de captura y procesado de imágenes tridimensionales con movimiento que captura la imagen inicial a través de una pluralidad de cámaras (3), envía la imagen captada a un módulo de procesamiento (4) y donde un sistema de representación tridimensional (5) muestra la imagen a través de la información captada por cada cámara (3) en un mismo instante.Three-dimensional image capture and processing system with movement comprising a spherical room (1), where the object (2) to be recorded is positioned in the center, a lighting system, an acquisition system with a plurality of cameras (3) around the object (2), a processing module (4), and a three-dimensional representation system (5), which calculates the lines converging to the objective of each camera (3) and shares the information of each camera (3), defining each pair of lines that intersect a point in three-dimensional space. # Procedure for capturing and processing three-dimensional images with movement that captures the initial image through a plurality of cameras (3), sends the captured image to a processing module (4) and where a three-dimensional representation system (5) shows the image through the information captured by each camera (3) at the same moment.

Description

Sistema y procedimiento de captura y procesado de imágenes tridimensionales con movimiento. System and procedure for capturing and processing three-dimensional images with movement.

Objeto de la invención Object of the invention

El objeto de la presente invención trata de un sistema y procedimiento de captura y procesado de imágenes tridimensionales con movimiento, que captura las imágenes bidimensionales a través de una pluralidad de cámaras dispuestas alrededor del objeto, y mediante la intersección de las proyecciones de dicho objeto las transforma en una representación tridimensional para su posterior edición de texturas, animación y postproducción. The object of the present invention is about a system and method of capturing and processing three-dimensional images with movement, which captures the two-dimensional images through a plurality of cameras arranged around the object, and by intersecting the projections of said object. Transforms into a three-dimensional representation for later editing of textures, animation and postproduction.

Antecedentes de la invención Background of the invention

Las cámaras o sistemas de captura y visualización actuales utilizan lo que se conoce como luz estructurada. Por lo general, están basados en la introducción de información geométrica en la técnica de iluminación a fin de facilitar la extracción de la profundidad de la escena de análisis. Una de estas técnicas consiste en la proyección de una línea sencilla de luz sobre la escena y la imagen bidimensional es adquirida por medio de una cámara digitalizadora que se encuentra en un ángulo de toma adecuado. Current cameras and capture and display systems use what is known as structured light. They are usually based on the introduction of geometric information in the lighting technique in order to facilitate the extraction of the depth of the analysis scene. One of these techniques consists in the projection of a simple line of light on the scene and the two-dimensional image is acquired by means of a digitizing camera that is at an appropriate angle of shot.

Consiste en proyectar sobre el objeto o pieza unos patrones de luz conocidos modulados y observando la luz reflejada, que también viene modulada, obtener información sobre la estructurada de la superficie del objeto, la cual puede ser reconstruida mediante triangulación. Las fuentes de luz empleadas deben ser especiales pues deben ser capaces de emitir luz estructurada y suelen ser láseres. It consists of projecting on the object or piece known modulated light patterns and observing the reflected light, which is also modulated, obtaining information on the structured surface of the object, which can be reconstructed by triangulation. The light sources used must be special because they must be able to emit structured light and are usually lasers.

La información de profundidad se adquiere del desplazamiento relativo de los diferentes puntos de la línea de luz. Este método necesita procesar múltiples imágenes para reconstruir la escena completa, ya sea moviendo la fuente de luz o dejando el sistema de iluminación fijo y recorrer la escena. Además, no permiten capturar la imagen desde distintos puntos de vista sin necesidad de una luz externa. The depth information is acquired from the relative displacement of the different points of the light line. This method needs to process multiple images to reconstruct the entire scene, either by moving the light source or leaving the lighting system fixed and touring the scene. In addition, they do not allow capturing the image from different points of view without the need for an external light.

Se conoce el documento ES 2306089 T3, que describe un sistema foto-óptico electrónico capaz de reconocer el contorno externo de cualquier tipo de objeto y transformarlo en un conjunto de coordenadas cartesianas; y de transmitir la información matemática de la geometría de estos objetos, a través de redes, a un ordenador personal (para realizar una representación gráfica tridimensional del objeto y hacer posible a posteriori el procesamiento de la geometría del mismo por medio de programas de diseño asistido por ordenador en tres dimensiones, CAD 3D) y directamente a un dispositivo en línea, del tipo reproductor de fax, para reproducir en plástico, material compuesto o similar al papel que tengan el mismo volumen que el objeto reconocido, todo de manera automática y siguiendo una lógica predeterminada. Document ES 2306089 T3 is known, which describes an electronic photo-optical system capable of recognizing the external contour of any type of object and transforming it into a set of Cartesian coordinates; and to transmit the mathematical information of the geometry of these objects, through networks, to a personal computer (to make a three-dimensional graphical representation of the object and to make possible afterwards the processing of the geometry of the object by means of assisted design programs by computer in three dimensions, 3D CAD) and directly to an online device, of the type fax player, to reproduce in plastic, composite material or similar to paper that have the same volume as the recognized object, all automatically and following a default logic.

Descripción de la invención Description of the invention

El sistema que se propone trata de parametrizar las coordenadas de los puntos en función de la intersección de las líneas generadas por las proyecciones de las capturas de las cámaras. Esto es, que cada uno de los píxeles que captura cada cámara se representa como una recta que al intersectar con la recta calculada por otra u otras cámaras situadas con distinto ángulo de ataque entorno al objeto capturado determina un voxel tridimensional. The proposed system tries to parameterize the coordinates of the points based on the intersection of the lines generated by the projections of the camera captures. That is, each of the pixels that each camera captures is represented as a line that, when intersecting with the line calculated by another or other cameras located with different angle of attack around the captured object, determines a three-dimensional voxel.

Este sistema de triangulación no usa luz estructurada, con la ventaja que puede capturarse desde distintos puntos de vista sin necesidad de una luz tipo láser. También permite capturar consecutivamente la imagen de manera que se pueda sintetizar el movimiento secuencial. This triangulation system does not use structured light, with the advantage that it can be captured from different points of view without the need for a laser type light. It also allows the image to be captured consecutively so that sequential movement can be synthesized.

El sistema que se propone es un sistema de grabación de objetos en un espacio tridimensional secuencial en el tiempo, por el cual se genera una sucesión de imágenes tridimensionales de un objeto situado en el centro de distintas cámaras que le capturan o graban tomando imágenes bidimensionales. The proposed system is an object recording system in a time-sequential three-dimensional space, by which a succession of three-dimensional images of an object is generated located in the center of different cameras that capture or record taking two-dimensional images.

Para ello se requiere de una estancia en la una pluralidad de cámaras se distribuyen alrededor de un objeto. Preferentemente estas cámaras se distribuirán homogéneamente, pero no es imprescindible. Cuanto mayor sea el número de cámaras y de mayor resolución, mejor será el resultado. En principio tan sólo es necesario referenciar la posición exacta en el espacio de cada cámara. La estancia ha de estar bien iluminada, preferiblemente con luz difusa y disponer de un sistema homogéneo para la eliminación de fondo. This requires a stay in the plurality of cameras distributed around an object. Preferably these cameras will be distributed homogeneously, but it is not essential. The higher the number of cameras and the higher resolution, the better the result. In principle it is only necessary to reference the exact position in the space of each camera. The room must be well lit, preferably with diffused light and have a homogeneous system for background removal.

Así, en el interior de la estancia de forma esférica se distribuyen una pluralidad de cámaras, preferentemente de forma equidistante. Para lograr el objeto 3d manipulable, el proceso comprende las siguientes etapas: Thus, a plurality of chambers are distributed inside the room in a spherical manner, preferably equidistant. To achieve the manipulable 3d object, the process comprises the following stages:

--: Grabación: Captura inicial del objeto y sus movimientos Recording: Initial capture of the object and its movements

--: Modelado: Procesado y representación de la forma de mallado o matriz 3D Modeling: Processing and representation of the 3D mesh or matrix form

--: Texturización: Procesado y representación del color Texturing: Processing and color representation

--: Animación: Procesado y representación del movimiento. Animation: Processing and representation of the movement.

ES 2 400 998 A2 ES 2 400 998 A2

--: Edición: post-producción y edición de los distintos elementos. Edition: post-production and edition of the different elements.

--: Renderizado: Representación final del material audiovisual. Rendering: Final representation of the audiovisual material.

Para comenzar el proceso, se sitúa el objeto que se desea capturar en el centro de la estancia. Todas las cámaras enfocan al objeto, en el centro de la esfera de la estancia. Así, al situar el objeto en el centro de la instalación su imagen queda recogida por las cámaras sin que quede ningún rincón oculto. La función de cada una de las cámaras es conseguir la captura simultánea desde distintos puntos de vista del objeto. Todo el proceso ha de ser realizado preferentemente de manera regular y equidistante, para asegurar la homogeneidad del resultado de la captura. To begin the process, the object to be captured is placed in the center of the room. All cameras focus on the object, in the center of the room sphere. Thus, by placing the object in the center of the installation its image is collected by the cameras without any hidden corner. The function of each of the cameras is to achieve simultaneous capture from different points of view of the object. The entire process must be carried out preferably on a regular and equidistant basis, to ensure the homogeneity of the capture result.

Al situar un objeto en el interior de la instalación su imagen es capturada simultáneamente por todas las cámaras que le rodean. La información recibida es almacenada directamente en un ordenador para su correcto procesamiento. Cada fotograma capturado se almacena referenciado el momento de la toma y el lugar desde el que ha sido realizado. Es indispensable almacenar y manipular estos datos para todo el proceso. By placing an object inside the installation its image is captured simultaneously by all the cameras that surround it. The information received is stored directly on a computer for proper processing. Each captured frame is stored referenced the time of the shot and the place from which it was made. It is essential to store and manipulate this data for the entire process.

Una vez recibida la toma de datos, el sistema realiza el cálculo de la silueta provocada por cada fotograma, separando la imagen capturada y el fondo. Toda la información es fácilmente analizable de manera autónoma ya que viene digitalmente suministrada gracias al CCD o CMOS de la cámara digital, por un mapa de bits bidimensional. El contraste de color generará una línea de contorno representa el espacio ocupado por el objeto. El contorno se traslada a un programa tridimensional, representándose la superficie como intersección de rectas y vectores donde un punto del plano puede definirse por coordenadas contenidas en un plano perpendicular al ángulo de ataque de la cámara con respecto al objeto. Sabiendo, de antemano, la cámara desde la que se tomó el fotograma, se puede colocar el plano exactamente en el espacio virtual y delimitar el contorno que representa a la figura en ese preciso punto del espacio. Once the data collection is received, the system calculates the silhouette caused by each frame, separating the captured image and the background. All the information is easily analyzed autonomously since it comes digitally supplied thanks to the CCD or CMOS of the digital camera, by a two-dimensional bitmap. The color contrast will generate a contour line representing the space occupied by the object. The contour is transferred to a three-dimensional program, the surface being represented as an intersection of lines and vectors where a point on the plane can be defined by coordinates contained in a plane perpendicular to the angle of attack of the camera with respect to the object. Knowing, in advance, the camera from which the frame was taken, you can place the plane exactly in the virtual space and delimit the outline that represents the figure at that precise point of space.

La representación de cada punto-pixel de cámara indica la posición de una línea convergente, en el CCD o CMOS de la cámara, de tal forma que delimitada por los valores de inclinación, ángulo de ataque, posición y lente conocidos establecerán una única ecuación de línea. The representation of each camera pixel-point indicates the position of a converging line, in the CCD or CMOS of the camera, so that delimited by the known inclination, angle of attack, position and lens values will establish a single equation of line.

La representación del punto en el espacio se realizará mediante el cálculo de intersección de dos o más líneas gracias a la representación paramétrica de una recta en función de un punto y su vector. The representation of the point in space will be done by calculating the intersection of two or more lines thanks to the parametric representation of a line based on a point and its vector.

Las distintas representaciones planas, obtenidas en un preciso momento, gracias a la suma del total de las cámaras dispersas en el espacio, generarán una red de líneas que de manera global se combinarán para generar una estructura o malla tridimensional. The different flat representations, obtained in a precise moment, thanks to the sum of the total of the cameras dispersed in the space, will generate a network of lines that in a global way will be combined to generate a structure or three-dimensional mesh.

Las representaciones tridimensionales son el resultado de pesar, vectorialmente, los puntos de las distintas proyecciones. La uniformidad de los segmentos generados vendrá avalada por la equidistancia de las cámaras entre sí devolviendo al sistema un número proporcional de caras relacionado con el número total de cámaras instaladas y su correspondiente resolución, pudiéndose ampliar la calidad de la captura incrementando la definición de los píxeles capturados o bien incrementando el número de cámaras en la instalación. También es posible mejorar la resolución, interpolar, a posteriori; mediante un proceso de suavizado de malla para obtener un objeto de más caras y vértices. El proceso inverso habilita reducir las caras del resultante, con el fin de optimizar las operaciones requeridas reduciendo la capacidad de almacenamiento y procesamiento de los datos pero perdiendo también la calidad. Three-dimensional representations are the result of weighing, vectorially, the points of the different projections. The uniformity of the generated segments will be supported by the equidistance of the cameras from each other, returning to the system a proportional number of faces related to the total number of cameras installed and their corresponding resolution, being able to expand the quality of the capture by increasing the definition of the pixels captured or by increasing the number of cameras in the installation. It is also possible to improve resolution, interpolate, a posteriori; through a mesh smoothing process to obtain an object with more faces and vertices. The reverse process enables reducing the faces of the result, in order to optimize the operations required by reducing the storage and processing capacity of the data but also losing the quality.

Las imágenes obtenidas por la cámara servirán para generar una textura bidimensional que serán proyectadas al objeto basándose en los distintos ángulos de ataque de las cámaras. Debido a que la información de píxeles puede dar lugar a redundancia de datos, el sistema interpolará la información de los distintos puntos generando una textura de alta definición aun partiendo de cámaras que no cuenten con resolución de muchos píxeles, logrando así mejorar la calidad final del modelo. The images obtained by the camera will be used to generate a two-dimensional texture that will be projected to the object based on the different angles of attack of the cameras. Because the pixel information can lead to data redundancy, the system will interpolate the information of the different points generating a high definition texture even from cameras that do not have a resolution of many pixels, thus improving the final quality of the model.

Gracias a la información capturada por las cámaras vía CCD o CMOS del espectro de luz, se podrán aplicar distintos materiales al objeto sólido anteriormente generado, ya sea de esta manera el color difuso será la base principal y vendrá conformada por la captura en condiciones estándar de iluminación y su reflejo del espectro visible. Thanks to the information captured by the cameras via CCD or CMOS of the light spectrum, different materials can be applied to the solid object previously generated, either in this way the diffuse color will be the main base and will be shaped by the capture under standard conditions of lighting and its reflection of the visible spectrum.

El ángulo formado entre un plano y el ángulo de ataque de la cámara determinará la proyección de los puntos de todo el mapeado. El texel generado por un ángulo perpendicular tendrá una proporción cuadrada de los pixels, mientras que, si el ángulo de ataque es distinto a 90º tendrá proporciones irregulares. De esta manera, si se captura un área del espacio cuya superficie es reflejada por varias cámaras, la resolución de tal área se verá incrementada proporcionalmente al número de aquellas cámaras que incidan sobre dicha área. Para ello se podrá generar una interpolación de imagen mediante un algoritmo de retoque fotográfico dentro de los fotogramas. The angle formed between a plane and the angle of attack of the camera will determine the projection of the points of the entire mapping. The texel generated by a perpendicular angle will have a square proportion of the pixels, while if the angle of attack is different from 90º it will have irregular proportions. In this way, if an area of the space whose surface is reflected by several cameras is captured, the resolution of that area will be increased proportionally to the number of those cameras that affect that area. For this, an image interpolation can be generated by a photo retouching algorithm within the frames.

Una vez con los cálculos estáticos de los distintos instantes de la grabación se puede procesar una secuencia alterna de los objetos resultantes, lo que generará la sensación de movimiento. Es interesante procesar un interpolado entre fotogramas para alisar pasos intermedios, consiguiendo artificialmente fluidez bajo grabaciones a baja velocidad en cadencia en imágenes por segundo. La intercalación de fotogramas no pretende ser un límite de aplicación de la tecnología aquí presentada sino una herramienta más de mejora de la calidad en el producto final. Once with the static calculations of the different moments of the recording, an alternate sequence of the resulting objects can be processed, which will generate the sensation of movement. It is interesting to process an interpolation between frames to smooth intermediate steps, artificially achieving fluidity at low speed recordings in cadence in images per second. The interleaving of frames is not intended to be a limit of application of the technology presented here but rather another tool for improving the quality of the final product.

ES 2 400 998 A2 ES 2 400 998 A2

El procesado de texturas y mallados son independientes para cada instante de captura, sin embargo es recomendable cruzar la información obtenida con aquellos instantes cercanos interpretando conjuntamente iluminación y formas y así uniformar el resultado de la textura y evitar en la medida de los posible, el parpadeo por cambios de iluminación o fallos de captura. The processing of textures and meshes are independent for each moment of capture, however it is advisable to cross the information obtained with those nearby moments interpreting lighting and shapes together and thus standardize the result of the texture and avoid, as much as possible, the flickering due to lighting changes or capture failures.

El resultado del proceso será una imagen CGI de gran fidelidad al objeto capturado, tanto al ser observado estáticamente como el análisis de todos sus movimientos. El espectador será capaz de cambiar la posición de la cámara observando el objeto desde distintos puntos de vista y perspectivas. The result of the process will be a CGI image of great fidelity to the captured object, both when statically observed and the analysis of all its movements. The viewer will be able to change the position of the camera by observing the object from different points of view and perspectives.

El resultado puede ser almacenado en un único archivo. Existen varios estándares en el mercado (dwf, wrml, 3d studio 3ds, dxf, Autocad dwg, etc.). Dicho documento contendrá todos los datos (archivo único), o bien sirviendo como índice y recurso que enlaza a la información de interés en tiempos, luces, texturas, etc. The result can be stored in a single file. There are several standards in the market (dwf, wrml, 3d studio 3ds, dxf, Autocad dwg, etc.). This document will contain all the data (single file), or serving as an index and resource that links to the information of interest in times, lights, textures, etc.

Los documentos tridimensionales que engloban animación, modelado y textura tienen su utilidad como herramienta para ser observada independientemente mediante un programa renderizador o para ser integrado en un sistema de posproducción tridimensional como los que existen actualmente en el mercado. Three-dimensional documents that include animation, modeling and texture have their usefulness as a tool to be independently observed through a rendering program or to be integrated into a three-dimensional post-production system such as those currently available in the market.

Descripción de los dibujos Description of the drawings

Para completar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características del invento, de acuerdo con un ejemplo preferente de la realización práctica del mismo, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente: To complete the description that is being made and in order to help a better understanding of the characteristics of the invention, according to a preferred example of the practical realization thereof, a set of drawings is accompanied as an integral part of said description. where for illustrative and non-limiting purposes, the following has been represented:

La Figura 1.- muestra un esquema del sistema descrito en la presente invención. Figure 1 shows a scheme of the system described in the present invention.

La Figura 2.- muestra un esquema de la disposición de una pluralidad de cámaras alrededor de un objeto en una estancia circular. Figure 2 shows a diagram of the arrangement of a plurality of cameras around an object in a circular room.

Preferred Embodiment of the Invention

La presente invención trata de un sistema y un procedimiento de captura y procesado de imágenes tridimensionales con movimiento, que captura las imágenes bidimensionales a través de una pluralidad de cámaras dispuestas alrededor del objeto, y mediante la intersección de las proyecciones de dicho objeto las transforma en una representación tridimensional para su posterior edición de texturas, animación y postproducción. The present invention deals with a system and a method of capturing and processing three-dimensional images with movement, which captures two-dimensional images through a plurality of cameras arranged around the object, and by intersecting the projections of said object transforms them into a three-dimensional representation for later editing of textures, animation and postproduction.

El sistema de captura y grabación de objetos tridimensionales en movimiento que aquí se describe comprende una estancia (1) con forma esférica, donde el objeto (2) a grabar se posiciona en el centro. Toda la estancia dispone de una buena iluminación a través de un sistema de iluminación homogénea de la estancia (1) para la correcta grabación. En el interior de dicha estancia (1) esférica se disponen una pluralidad de cámaras (3) dispuestas alrededor del objeto (2), y todas equidistantes a dicho objeto. No es necesario que todas las cámaras se distribuyan de manera homogénea entre ellas, aunque es preferible para obtener los mejores resultados. Así, cada una de las cámaras (3) captura de manera simultánea desde distintos puntos de vista equidistantes el objeto (2) a grabar, asegurando de este modo la homogeneidad del resultado en la captura. The system for capturing and recording three-dimensional objects in motion described herein comprises a room (1) with a spherical shape, where the object (2) to be recorded is positioned in the center. The entire room has good lighting through a homogeneous lighting system of the room (1) for proper recording. Inside said spherical room (1) there are a plurality of cameras (3) arranged around the object (2), and all equidistant to said object. It is not necessary for all cameras to be distributed homogeneously among them, although it is preferable to obtain the best results. Thus, each of the cameras (3) simultaneously captures the object to be recorded from different points of view equidistant, thus ensuring the homogeneity of the result in the capture.

La información captada por las cámaras (3) se envía a un módulo de procesamiento (4) de la información con sistema de almacenamiento. Cada fotograma capturado es almacenado referenciando el momento de la toma y el lugar desde el cual ha sido realizado, separando la imagen captada y el fondo a través de croma. The information captured by the cameras (3) is sent to a processing module (4) of the information with storage system. Each captured frame is stored referring to the moment of the shot and the place from which it was made, separating the captured image and the background through chroma.

Así, una vez recibida la información de todas las cámaras (3), un sistema de representación tridimensional (5) realiza el cálculo de la silueta provocada por cada fotograma, separando la imagen capturada y el fondo. Se calcula las rectas convergentes al objetivo de cada cámara (3) y se pone en común la información de cada una de dichas cámaras (3), logrando la intersección de las diferentes rectas, definiendo cada par de rectas secantes un punto en el espacio tridimensional. Thus, once the information of all the cameras (3) is received, a three-dimensional representation system (5) calculates the silhouette caused by each frame, separating the captured image and the background. The convergent lines are calculated to the objective of each chamber (3) and the information of each of said chambers (3) is put in common, achieving the intersection of the different lines, each pair of secant lines defining a point in the three-dimensional space .

En cuanto al procedimiento de captura y grabación de imágenes tridimensionales con movimiento, las etapas conocidas comprenden lo siguiente As for the process of capturing and recording three-dimensional images with movement, the known steps comprise the following

--: Modelado: procesado y representación de la forma de mallado o matriz 3D Modeling: processing and representation of the 3D mesh or matrix shape

--: Animación: procesado y representación del movimiento Animation: processing and representation of the movement

--: Edición: Postproducción y edición Edition: Postproduction and edition

--: Renderizado: representación final Rendering: final representation

ES 2 400 998 A2 ES 2 400 998 A2

El procedimiento descrito en la presente invención, comprende las siguientes etapas: The process described in the present invention comprises the following steps:

(a)(to): se captura la imagen inicial del objeto (2) y sus movimientos a través de una pluralidad de cámaras (3) dispuestas alrededor de dicho objeto (2) en una estancia (1) esférica. The initial image of the object (2) and its movements are captured through a plurality of cameras (3) arranged around said object (2) in a spherical room (1).

(b)(b): se envía la imagen captada simultáneamente por todas las cámaras (3) a un módulo de procesamiento (4) para la separación de la imagen y el fondo. The image captured simultaneously by all the cameras (3) is sent to a processing module (4) for the separation of the image and the background.

(c)(C): a través de un sistema de representación tridimensional (5) se representa la imagen, mediante la puesta en común de la información captada por cada cámara (3) en un mismo instante. Through a three-dimensional representation system (5) the image is represented, by sharing the information captured by each camera (3) at the same time.

La información captada por cada cámara (3) viene dada por el cálculo de las rectas convergentes al objetivo de cada cámara (3) y la intersección de cada par de rectas secantes en un mismo instante y que definen un punto en el espacio. The information captured by each chamber (3) is given by the calculation of the lines converging to the objective of each chamber (3) and the intersection of each pair of drying lines at the same time and defining a point in space.

Las cámaras (3) se disponen de manera equidistante al objeto (2), y preferentemente se dispondrán a la misma distancia entre ellas, aunque no es imprescindible. Con la información enviada al sistema de procesamiento (4) se dispone de la posición exacta y lugar desde donde se ha capturado cada imagen del objeto (2). Esta información enviada para su tratamiento es la imagen captada de cada una de las cámara (3) captada en el mismo instante, y referenciando su posición y lugar de grabación. De este modo, el sistema de procesamiento (4) separa la imagen captada del fondo a través de croma. The cameras (3) are arranged equidistant from the object (2), and will preferably be arranged at the same distance between them, although it is not essential. With the information sent to the processing system (4) the exact position and place from where each image of the object (2) has been captured is available. This information sent for processing is the image captured from each of the cameras (3) captured at the same moment, and referring to its position and place of recording. In this way, the processing system (4) separates the image captured from the background through chroma.

La representación de la forma de mallado se realiza a través del sistema de representación tridimensional (5) que calcula las rectas convergentes al objetivo de cada cámara (3) mediante trigonometría de la retícula de mapa de bits dada por el CCD o CMOS y la posición de cada cámara (3), almacenando la información en matrices de datos, y que pone en común de los datos de cada cámara (3) e intersección de cada par de rectas secantes en un mismo instante, que definen un punto en el espacio. The representation of the meshing form is done through the three-dimensional representation system (5) that calculates the lines converging to the objective of each camera (3) by trigonometry of the bitmap grid given by the CCD or CMOS and the position of each chamber (3), storing the information in data matrices, and sharing the data of each chamber (3) and intersecting each pair of secant lines at the same time, which define a point in space.

La texturización, o procesado y representación del color, se podrá calcular en función de las variaciones cromáticas de las rectas que lo intersectan. Si la iluminación es difusa y uniforme los colores representados por cámaras con distintos ángulos serán similares en tanto en cuanto representen la superficie del objeto. The texturing, or processing and representation of the color, can be calculated based on the chromatic variations of the intersecting lines. If the lighting is diffuse and uniform the colors represented by cameras with different angles will be similar as long as they represent the surface of the object.

Se podría incluir un proceso de refinamiento de puntos, para eliminar puntos no necesarios, y mallado para lograr una mejor calidad del resultado final. It could include a process of refining points, to eliminate unnecessary points, and meshing to achieve a better quality of the final result.

Para la representación del movimiento, el proceso se repetirá por cada uno de los fotogramas capturados dependiendo de la cadencia de imágenes y la resolución de estas en función de las cámaras utilizadas. El movimiento puede ser interpolado ya que la variación espacial de los puntos definirá la animación. For the representation of the movement, the process will be repeated for each of the frames captured depending on the cadence of images and the resolution of these depending on the cameras used. The movement can be interpolated since the spatial variation of the points will define the animation.

El resultado es la captura del objeto tridimensional en el espacio y secuencial en el tiempo, que puede ser utilizado para infinidad de aplicaciones. A diferencia de los sistemas actuales basados en la representación de superficie, esta representación es una especie de nube de puntos agrupados en el espacio que juntos conforman la figura geométrica. The result is the capture of the three-dimensional object in space and sequential in time, which can be used for countless applications. Unlike current systems based on surface representation, this representation is a kind of cloud of points grouped in space that together make up the geometric figure.

La información resultante puede visualizarse trasladándose y rotándose en el espacio, al ser posible exportar los datos en formatos estandarizados puede postproducirse en distintos programas de tratamiento 3d, pudiendo calcularse la malla por proximidad de puntos. El resultado puede mejorarse añadiendo composición de imágenes, puntos de luz, efectos especiales, etc. The resulting information can be visualized by moving and rotating in space, since it is possible to export the data in standardized formats, it can be postproduced in different 3d treatment programs, and the mesh can be calculated by proximity of points. The result can be improved by adding image composition, light spots, special effects, etc.

ES 2 400 998 A2 ES 2 400 998 A2

Claims

1.- System for capturing and processing three-dimensional images with movement characterized in that it comprises a room (1) with a spherical shape, where the object (2) to be recorded is positioned in the center, a diffuse and homogeneous lighting system of the room ( one),

5 an image acquisition system, comprising a plurality of cameras (3) arranged around

of the object (2) in an equidistant manner, and preferably keeping equidistance between them, an information processing module (4) with storage system, where the cameras (3) send the captured information,

a three-dimensional representation system (5), which on the one hand, calculates the lines converging to the objective of each camera (3), and on the other hand, puts in common the information of each camera (3) to achieve the intersection

of the different lines, each pair of secant lines defining a point in three-dimensional space. 2.- Procedure for capturing and recording three-dimensional images with movement, characterized in that it comprises the following stages:

(a) the initial image of the object (2) and its movements are captured through a plurality of cameras (3) 15 arranged around said object (2) in a spherical room (1).

20 3. Procedure for capturing and recording three-dimensional images with movement, according to claim 2, characterized in that the information captured by each camera (3) is given by the calculation of the lines converging to the objective of each camera (3) and the intersection of each pair of drying lines at the same time and defining a point in space.

ES 2 400 998 A2

FIG. one

FIG. 2