ES2391185B2

ES2391185B2 - INTEGRATED SYSTEM OF CAPTURE, PROCESSING AND REPRESENTATION OF THREE-DIMENSIONAL IMAGE.

Info

Publication number: ES2391185B2
Application number: ES201100485A
Authority: ES
Inventors: José Manuel Rodríguez Ramos; José Gil Marichal Hernández; Jonas PHILIPP LUKE; Fernando Luis ROSA GONZÁLEZ; Luis Fernando RODRÍGUEZ RAMOS; Manuel MARTÍNEZ CORRAL; Carmen PASTOR SANTOS; Tomás BELENGUER DÁVILA; Roberto LÓPEZ LÓPEZ; Genaro Saavedra Tortosa; Héctor NAVARRO FRUCTUOSO
Original assignee: de la LAGUNA OTRI, University of; Instituto Nacional de Tecnica Aeroespacial Esteban Terradas; Universidad de La Laguna; Universitat de Valencia
Current assignee: de la LAGUNA OTRI, University of; Instituto Nacional de Tecnica Aeroespacial Esteban Terradas; Universidad de La Laguna; Universitat de Valencia
Priority date: 2011-04-28
Filing date: 2011-04-28
Publication date: 2013-06-19
Anticipated expiration: 2031-04-28
Also published as: WO2012146984A8; WO2012146984A3; WO2012146984A2; ES2391185A1

Abstract

Sistema integrado de captura, procesado y representación de imagen tridimensional para cámaras de objetivos intercambiables que permite convertir cualquier cámara de objetivos intercambiables en una cámara 3D y que muestra los resultados de forma que el usuario no tenga fatiga visual, que consta de un sistema portátil acoplado a una cámara convencional de objetivos intercambiables, un procedimiento de calibración de la imagen adquirida, un procedimiento para la generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista, un procedimiento de adaptación de los resultados anteriores utilizando algoritmos apropiados y la proyección posterior en un monitor basado en la colocación de microlentes delante en un display convencional.Integrated three-dimensional image capture, processing and representation system for cameras with interchangeable lenses that convert any camera with interchangeable lenses into a 3D camera and that shows the results so that the user does not have visual fatigue, which consists of a coupled portable system to a conventional camera of interchangeable objectives, a procedure of calibration of the acquired image, a procedure for the generation of the set of refocused images with superresolution, calculation of distances, generation of points of view, a procedure of adaptation of the previous results using algorithms appropriate and subsequent projection on a monitor based on the placement of microlenses in front on a conventional display.

Description

Sistema integrado de captura, procesado y representación de imagen tridimensional. Integrated system of capture, processing and representation of three-dimensional image.

Technical sector

Imagen tridimensional. Física óptica, ingeniería electrónica. Three-dimensional image Optical physics, electronic engineering.

5 Introduction

Hasta la fecha, para visualizar imágenes con sensación tridimensional, desde una superficie de emisión plana (monitor de TV) se tenían dos alternativas. El uso de gafas específicas, que separan la información que recibe cada ojo. Y por otro lado, los sistemas sin gafas, donde la selección de diferentes puntos de vista se logra mediante un sistema óptico a la salida del sistema de proyección que dirige imágenes distintas a posiciones distintas, dirigiendo 10 informaciones distintas a posiciones distintas, de tal forma, que dos observadores no perciben la misma información. To date, to visualize images with three-dimensional sensation, two alternatives were available from a flat broadcast surface (TV monitor). The use of specific glasses, which separate the information that each eye receives. And on the other hand, the systems without glasses, where the selection of different points of view is achieved by an optical system at the exit of the projection system that directs different images to different positions, directing 10 different information to different positions, in such a way , that two observers do not perceive the same information.

En el primero de los sistemas, se requiere captar dos puntos de vista (se requieren dos cámaras observando), se multiplexan en el display de salida y la selección la realiza el observador. In the first of the systems, it is necessary to capture two points of view (two observing cameras are required), multiplex in the output display and the selection is made by the observer.

En el segundo del los sistemas, la captación se produce desde multitud de puntos de vista, y esos puntos de vista pueden captarse con una sola cámara utilizando un array de microlentes, lo que se conoce como una cámara In the second of the systems, the capture takes place from a multitude of points of view, and those points of view can be captured with a single camera using an array of microlenses, which is known as a camera

15 plenóptica. 15 plenoptic.

Las cámaras plenópticas son dispositivos diseñados para la captura de imágenes 3D. Estas cámaras se basan en una idea presentada hace más de 100 años por Lippman para el registro de la información 3D en un sensor 2D. En particular, las cámaras plenópticas registran en el sensor toda una serie de imágenes elementales que son portadoras de información sobre posición e inclinación de los rayos emitidos por la muestra 3D. Esta información ya 20 permite en la actualidad el cálculo de pares estereoscópicos para su proyección en un monitor estereoscópico. Sin embargo, este tipo de proyección presenta dos desventajas esenciales. La primera es que al generar únicamente dos imágenes, se pierden las ventajas inherentes de los sistemas plenópticos, que son la visualización multiperspectiva, y el paralaje vertical. La segunda, y más importante, radica en el hecho de que para observar imágenes estereoscópicas se producen un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y Plenoptic cameras are devices designed for capturing 3D images. These cameras are based on an idea presented more than 100 years ago by Lippman for the registration of 3D information on a 2D sensor. In particular, the plenoptic cameras record in the sensor a whole series of elementary images that carry information on the position and inclination of the rays emitted by the 3D sample. This information already allows the calculation of stereoscopic pairs for projection on a stereoscopic monitor. However, this type of projection has two essential disadvantages. The first is that by generating only two images, the inherent advantages of plenoptic systems, which are multi-perspective visualization, and vertical parallax, are lost. The second, and most important, lies in the fact that to observe stereoscopic images there is a strong decoupling between the visual mechanisms of binocular convergence and

25 de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada. 25 accommodation. This conflict generates a strong discomfort and visual fatigue, which prevents prolonged observation.

State of the art

Actualmente, existen sistemas convencionales de captación de imágenes (cámaras digitales de objetivos intercambiables), y por otro lado, existen sistemas de proyección de imágenes estereoscópicas (monitores 3D). En esta invención, se propone un sistema que permite convertir cualquier cámara de objetivos intercambiables en una 30 cámara plenóptica, y proyectar el resultado de la imagen capturada en un display 3D estereoscópico, y a su vez, alimentar también los monitores autoesteroscópicos. De esta forma se resuelven los problemas presentes en algunos de los sistemas de conversión de los sistemas intercambiables en cámaras 3D, como son las limitaciones en apertura y distancia focal, de tal forma que el usuario puede utilizar sus propios objetivos, y también, se evitan los problemas de fatiga visual asociados a la visualización prolongada de imágenes 3D presentes en las tecnologías Currently, there are conventional image capture systems (digital cameras with interchangeable lenses), and on the other hand, there are stereoscopic image projection systems (3D monitors). In this invention, a system is proposed that allows converting any camera of interchangeable lenses into a plenoptic camera, and projecting the result of the image captured on a stereoscopic 3D display, and in turn, also feeding the auto-stereoscopic monitors. In this way, the problems present in some of the conversion systems of the interchangeable systems in 3D cameras are solved, such as the limitations in aperture and focal length, so that the user can use their own objectives, and also, they avoid the problems of visual fatigue associated with the prolonged visualization of 3D images present in the technologies

35 actuales. 35 current.

Mediante la incorporación del objetivo conversor propuesto, intercalado entre la cámara y el objetivo de la misma, lo captado pasa a ser una imagen plenóptica, que para ser procesada por los algoritmos aquí descritos, debe ser calibrada. En este sentido se aporta un sistema de calibración. By incorporating the proposed converter lens, interspersed between the camera and the camera lens, the captured becomes a plenoptic image, which must be calibrated to be processed by the algorithms described here. In this sense, a calibration system is provided.

Una vez calibrada la imagen, se necesita crear un par estéreo, a partir de los datos capturados por la cámara Once the image is calibrated, it is necessary to create a stereo pair, from the data captured by the camera

40 plenóptica, ya que ésta no los proporciona directamente, con el fin de alimentar un display esteroscópico. Métodos de reenfoque conocidos como los descritos en las solicitudes de patente ES200800126 y ES200600210, podrían crear pares estereoscópicos de muy baja resolución utilizando una parte de los datos capturados. Hasta ahora los métodos de reenfoque conocidos presentan una resolución mermada respecto de la resolución de la imagen plenóptica, de tal forma que si la imagen plenóptica tenía N píxeles en una de sus dimensiones (en horizontal o en 40 plenoptic, since it does not provide them directly, in order to feed an steroscopic display. Refocusing methods known as those described in patent applications ES200800126 and ES200600210 could create stereoscopic pairs of very low resolution using a portion of the captured data. Until now the known refocusing methods have a diminished resolution with respect to the resolution of the plenoptic image, so that if the plenoptic image had N pixels in one of its dimensions (horizontal or

45 vertical), la resolución en esa dimensión caía en unos casos hasta N/10 aproximadamente (ES200600210) o hasta aproximadamente la mitad, N/2 (ES200800126), dado que la creación de pares estéreo vuelve a reducir a la mitad el tamaño original de los datos de entrada, se propone un nuevo método cuya salida es del mimo tamaño que la entrada. Esto significa que, por ejemplo, una imagen captada por sensores convencionales de N=4000 píxeles en horizontal, al dividirse en dos para generar un par de imágenes estéreo, cada ojo recibiría del orden de 2000 pixeles, 45), the resolution in that dimension fell in some cases to approximately N / 10 (ES200600210) or to approximately half, N / 2 (ES200800126), since the creation of stereo pairs reduces the original size by half again of the input data, a new method is proposed whose output is the same size as the input. This means that, for example, an image captured by conventional sensors of N = 4000 pixels horizontally, when divided into two to generate a pair of stereo images, each eye would receive on the order of 2000 pixels,

50 mientras que con los métodos anteriores, como máximo se obtendrían 1000 píxeles por ojo, que estaría por debajo de la especificación asociada a la alta definición. 50 while with the above methods, at most 1000 pixels per eye would be obtained, which would be below the specification associated with high definition.

Finalmente, la imagen plenótica capturada con el sistema propuesto se puede proyectar en un display como el que se describirá, evitando así el disconfort visual típico tras observaciones prologadas en los proyectores convencionales 3D a día de hoy, tanto estereoscópicos como autoestereoscópicos. Finally, the plenotic image captured with the proposed system can be projected on a display like the one described, thus avoiding the typical visual discomfort after prolonged observations on conventional 3D projectors today, both stereoscopic and autostereoscopic.

ES 2 391 185 A1 ES 2 391 185 A1

Description of the invention

Al observar imágenes estereoscópicas en displays 3D, con gafas adaptadas o sin las mismas, se produce un fuerte desacoplamiento entre los mecanismos visuales de convergencia binocular y de acomodación. Este conflicto genera un fuerte disconfort y fatiga visual, que impiden la observación prolongada. Este problema se resuelve con el siguiente procedimiento: When observing stereoscopic images on 3D displays, with or without adapted glasses, there is a strong decoupling between the visual mechanisms of binocular convergence and accommodation. This conflict generates a strong discomfort and visual fatigue, which prevents prolonged observation. This problem is resolved with the following procedure:

1º Adquisición de la imagen plenóptica: Mediante una cámara plenóptica o mediante un objetivo plenóptico miniaturizado y portátil acoplado a una cámara convencional de objetivos intercambiables. 1st Acquisition of the plenoptic image: Through a plenoptic camera or through a miniaturized and portable plenoptic lens coupled to a conventional camera with interchangeable lenses.

2º Procedimiento de calibración de la imagen. 2nd Image calibration procedure.

3º Generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un sólo plano o con la escena completamente enfocada. 3rd Generation of the set of refocused images with super resolution, distance calculation, generation of views and sample of the result on 3D display, focusing on a single plane or with the scene completely focused.

4º Adaptación de los resultados anteriores utilizando la algoritmia apropiada (por ejemplo, el algoritmo SPOC), y colocación de microlentes delante de un display convencional para mostrar 3D sobre un display plano. 4th Adaptation of the previous results using the appropriate algorithm (for example, the SPOC algorithm), and placement of microlenses in front of a conventional display to show 3D on a flat display.

Siguiendo el procedimiento anterior se consigue generar un dispositivo que convierte cualquier cámara convencional en una cámara plenóptica, que muestra los resultados de forma que el usuario no tenga fatiga visual después de ver contenidos 3D de manera prolongada. Permite ver esos contenidos con gran variedad de puntos de vista, a diferencia del 3D estéreo convencional en el que sólo hay dos puntos de vista (uno por cada ojo), displays con gafas Following the above procedure, it is possible to generate a device that converts any conventional camera into a plenoptic camera, which shows the results so that the user does not have visual fatigue after viewing 3D content for a long time. It allows you to see these contents with a great variety of points of view, unlike conventional stereo 3D in which there are only two points of view (one for each eye), displays with glasses

o sin gafas autoestereoscópicos. or without autostereoscopic glasses.

Cada una de las etapas anteriormente indicadas se desarrolla de la siguiente forma: Each of the stages indicated above is developed as follows:

--: Etapa 1. Adquisición de la imagen plenóptica. Stage 1. Acquisition of the plenoptic image.

La adquisición de la imagen puede realizarse mediante una cámara plenóptica o mediante un objetivo plenóptico. The acquisition of the image can be done by a plenoptic camera or by a plenoptic objective.

El objetivo plenóptico propuesto es un sistema óptico compuesto por cuatro elementos claramente diferenciados. En primer lugar un conjunto óptico similar a un teleobjetivo que proyecta la imagen sobre un array de microlentes refractivas que incluye, si es necesario, una o dos lentes de campo para reconducir los rayos principales hacia el sistema multicompuesto, todo esto forma el segundo bloque óptico. Las imágenes formadas por el sistema multicompuesto o array son recogidas por un vehículo óptico de formación de imagen que constituye el tercer elemento óptico y que trabaja en modo objeto próximo que, una vez colimado el haz incidente en este subsistema es recogido por el cuarto elemento ópticos que, trabajando en modo infinito-conjugado, proyecta el conjunto de imágenes generados por el array de microlentes o sistema compuesto en un CCD o CMOS. Mediante el control de las focales de los elementos 3 y 4, anteriormente mencionados, es posible adaptar la relación de aumentos de las imágenes formadas por el elemento 2 en el plano imagen donde se ubica el CCD o CMOS. Esta adaptación puede hacerse a través de la modificación continua de las focales de uno o de los dos sistemas mediante el empleo de sistemas zoom que aseguran el mismo plano imagen con diferentes relaciones de aumentos. The proposed plenoptic objective is an optical system composed of four clearly differentiated elements. First, an optical set similar to a telephoto lens that projects the image onto an array of refractive microlenses that includes, if necessary, one or two field lenses to redirect the main rays to the multi-component system, all this forms the second optical block . The images formed by the multi-composite system or array are collected by an optical imaging vehicle that constitutes the third optical element and works in a near object mode that, once the incident beam in this subsystem is collimated, is collected by the fourth optical element. which, working in infinite-conjugate mode, projects the set of images generated by the array of microlenses or composite system in a CCD or CMOS. By controlling the focal points of elements 3 and 4, mentioned above, it is possible to adapt the magnification ratio of the images formed by element 2 in the image plane where the CCD or CMOS is located. This adaptation can be done through the continuous modification of the focal points of one or both systems by using zoom systems that ensure the same image plane with different magnification ratios.

El sistema óptico completo incluye un diafragma óptico real de apertura variable para la adaptación de la energía recibida a la sensibilidad del detector y que permite, a su vez, asegurar el muestreo espacial de la escena proyectada sobre el array de lentes o sistema multicompuesto, de forma que se controla eficazmente el aliasing del sistema óptico por la adaptación que se consigue de las frecuencias espaciales transmitidas a la frecuencia Nyquist del sistema completo. Otro diafragma colocando próximo al array de lentes o sistema multicompuesto limita correctamente la máxima extensión de la escena proyectada permitiendo una iluminación homogénea libre de viñeteo. El sistema óptico completo permite el ajuste óptico o mecánico del primer sistema para proyectar una imagen nítida en el array o sistema multicompuesto. Este elemento puede rotarse con precisión para adaptar el muestreo y ajustar la imagen intermedia que genera con las líneas detectoras del array bidimensional, CCD o CMOS utilizado para la colección de la escena. Esto permite que se alinee correctamente las direcciones principales de ambos elementos. El plano focal incluye un mecanismo de enfoque que permite tanto el ajuste axial como transversal del CCD o CMOS o, si es necesario, realizar las rotaciones en el plano focal que aseguran la máxima calidad de la imagen formada. Un ejemplo de realización de este dispositivo se muestra en la Figura 1. The complete optical system includes a real variable aperture optical diaphragm for the adaptation of the received energy to the sensitivity of the detector and which, in turn, ensures spatial sampling of the projected scene on the lens array or multi-component system, of so that the aliasing of the optical system is effectively controlled by the adaptation achieved of the spatial frequencies transmitted to the Nyquist frequency of the entire system. Another diaphragm placing near the array of lenses or multicomponent system correctly limits the maximum extent of the projected scene allowing a homogeneous illumination free of vignetting. The complete optical system allows the optical or mechanical adjustment of the first system to project a sharp image in the array or multi-composite system. This element can be accurately rotated to adapt the sampling and adjust the intermediate image it generates with the two-dimensional array, CCD or CMOS detector lines used for the scene collection. This allows the main addresses of both elements to be correctly aligned. The focal plane includes a focusing mechanism that allows both axial and transverse adjustment of the CCD or CMOS or, if necessary, perform rotations in the focal plane that ensure the highest quality of the image formed. An exemplary embodiment of this device is shown in Figure 1.

--: Etapa 2. Procedimiento de calibración de la imagen en la cámara plenóptica. Stage 2. Image calibration procedure in the plenoptic chamber.

La cámara plenóptica está basada en la utilización de un array de microlentes ubicada en el foco de un sistema de imagen, o en las proximidades de éste, de forma que se obtenga en el detector un conjunto de imágenes de la pupila de entrada en una multiplicidad de direcciones. Esta disposición física de los elementos permite realizar un muestreo eficaz del “Light field” del espacio delante de la cámara, a partir del cual pueden obtenerse muchas de las propiedades del campo visual, entre las que destaca las profundidades hasta los objetos y la fase del frente de onda. The plenoptic camera is based on the use of an array of microlenses located in the focus of an image system, or in the vicinity of it, so that a set of images of the input pupil in a multiplicity is obtained in the detector of addresses. This physical arrangement of the elements allows an effective sampling of the “Light field” of the space in front of the camera, from which many of the properties of the visual field can be obtained, among which the depths to the objects and the phase of the wave front

La construcción física de una cámara plenóptica requiere la ubicación de un array de microlentes alineado con un sensor de imagen. En la práctica, un alineado perfecto es difícil de conseguir debido a las pequeñas dimensiones de The physical construction of a plenoptic camera requires the location of an array of microlenses aligned with an image sensor. In practice, a perfect alignment is difficult to achieve due to the small dimensions of

ES 2 391 185 A1 ES 2 391 185 A1

los elementos involucrados (pixeles del orden de 10 micrómetros, microlentes de 100 micrómetros) de forma que es razonable contar con la necesidad de procesar en cierta medida las imágenes que sean obtenidas por el sensor para obtener los parámetros de orientación y posición de las microlentes respecto a éste. the elements involved (pixels of the order of 10 micrometers, microlenses of 100 micrometers) so that it is reasonable to have the need to process to some extent the images that are obtained by the sensor to obtain the orientation and position parameters of the microlenses with respect to to this.

Las deficiencias del proceso de alineado se modelan como fruto combinado de un giro y un desplazamiento lateral, aunque además habrá que obtener la medida del “pitch” de las microlentes expresado en unidades fraccionarias de pixel del sensor, el cual podrá variar levemente dependiendo del sistema de imagen utilizado(zoom). The deficiencies of the alignment process are modeled as a combined fruit of a turn and lateral displacement, although it will also be necessary to obtain the measurement of the “pitch” of the microlenses expressed in fractional pixel units of the sensor, which may vary slightly depending on the system of image used (zoom).

Los parámetros que identifican la calibración de una cámara plenóptica son: The parameters that identify the calibration of a plenoptic chamber are:

a) El pitch (frecuencia espacial de repetición) de las microlentes en la imagen del sensor, medido en pixeles. Se supondrá que es idéntico tanto para la dirección horizontal como para la vertical, aunque también se podrían admitir microlentes distribuidas hexagonalmente o con cualquier otra estructura. Como ejemplo de realización se considerará que las microlentes están fabricadas con una distribución cartesiana. a) The pitch (repetitive spatial frequency) of the microlenses in the sensor image, measured in pixels. It will be assumed that it is identical for both horizontal and vertical direction, although microlenses distributed hexagonally or with any other structure could also be admitted. As an exemplary embodiment, the microlenses will be considered to be manufactured with a Cartesian distribution.

b) El ángulo de giro o inclinación de las microlentes respecto a los pixeles del sensor. A efectos de ejemplo de realización se supondrá que este giro es relativamente pequeño respecto a la línea de pixeles del sensor, pudiendo estimarse que su tangente será inferior al tamaño de la microlente dividida por el número de pixeles de una línea, con lo que el “desalineamiento” relativo de un extremo a otro del sensor será inferior a una microlentilla. b) The angle of rotation or inclination of the microlens with respect to the pixels of the sensor. For the purposes of this example, this rotation will be assumed to be relatively small with respect to the pixel line of the sensor, and it can be estimated that its tangent will be smaller than the size of the microlens divided by the number of pixels in a line, so that the “ relative misalignment ”from one end of the sensor to the other will be less than a microlevel.

c) El desplazamiento lateral, tanto vertical como horizontal, que permite identificar la ubicación relativa de las microlentes respecto de los pixeles del sensor. c) The lateral displacement, both vertical and horizontal, that allows to identify the relative location of the microlenses with respect to the pixels of the sensor.

La obtención de los mencionados parámetros podrá hacerse utilizando alguno de los dos métodos siguientes: The aforementioned parameters may be obtained using either of the following two methods:

--: Método de reducción de apertura Opening Reduction Method

El algoritmo a utilizar debe ser siempre completamente automático, a partir de la imagen plenóptica adquirida, sin que requiera la intervención de operador alguno. The algorithm to be used must always be completely automatic, based on the plenoptic image acquired, without requiring the intervention of any operator.

En este método se requiere la utilización de una configuración especial de la cámara plenóptica en la que la apertura se cierra a una pequeña fracción de la apertura nominal del sistema. De esta forma, cada una de las microlentes tiene únicamente iluminada la parte central de la misma, estando en nivel bajo próximo al negro el resto de la imagen. También se recomienda que la escena sea uniforme, aunque ello no es estrictamente necesario. This method requires the use of a special configuration of the plenoptic chamber in which the opening is closed at a small fraction of the nominal opening of the system. In this way, each of the microlenses has only the central part of it illuminated, the rest of the image being low near the black. It is also recommended that the scene be uniform, although this is not strictly necessary.

Sobre esta imagen se realizan sucesivamente los siguientes pasos: The following steps are performed on this image:

a) Determinación aproximada del pitch. Se calcula el módulo de la transformada de Fourier bidimensional de la imagen, habiendo descontado la componente continua, averiguando seguidamente la posición del primer pico. Para una mayor precisión, se ajusta cuadráticamente el valor del pico con el de los adyacentes. Esta operación se realiza tanto en el eje horizontal como vertical, promediándose ambos valores para obtener una mejor estimación del pitch. a) Approximate determination of the pitch. The two-dimensional Fourier transform module of the image is calculated, having discounted the continuous component, then ascertaining the position of the first peak. For greater accuracy, the peak value is adjusted squarely with that of the adjacent ones. This operation is performed on both the horizontal and vertical axis, both values being averaged to obtain a better pitch estimate.

b) Sobre segmento central de la imagen se inspecciona el valor máximo, que asociaremos aproximadamente al centro de una microlente. Con esta información trazaremos una cuadrícula cartesiana que divida la imagen en las zonas correspondientes a cada microlente, la cual, aunque no tendrá en cuenta la posible inclinación, debido a que ésta es pequeña respecto al tamaño de la microlente, garantizando que el centro queda dentro de la cuadrícula correspondiente. b) On the central segment of the image the maximum value is inspected, which we will associate approximately to the center of a microlens. With this information we will draw a Cartesian grid that divides the image into the zones corresponding to each microlens, which, although it will not take into account the possible inclination, because it is small with respect to the size of the microlens, guaranteeing that the center is inside of the corresponding grid.

c) Se calcula el centro de gravedad de la luz contenida en cada una de las celdas de la cuadrícula anterior, lo cual proporcionará una estimación de las posiciones de las microlentes. c) The center of gravity of the light contained in each of the cells in the previous grid is calculated, which will provide an estimate of the positions of the microlenses.

d) Finalmente, se realiza una minimización ciega para ajustar los centros calculados a un modelo que deja libre los parámetros deseados (pitch, inclinación, desplazamiento lateral horizontal y desplazamiento lateral vertical), de forma que la suma cuadrática de las distancias de los centros del modelo y los centros calculados anteriormente sea mínima. d) Finally, a blind minimization is performed to adjust the calculated centers to a model that leaves the desired parameters free (pitch, inclination, horizontal lateral displacement and vertical lateral displacement), so that the quadratic sum of the distances of the centers of the model and centers calculated above be minimal.

La minimización realizada en último lugar explota la información disponible “a priori” de que el array de microlentes está fabricado con perfección, es decir, con un único pitch válido tanto horizontal como verticalmente, con todas las microlentes alineadas salvo un único giro del conjunto. Este paso permite solventar la posible respuesta errónea de alguna microlente, y faculta que el método sea utilizado también en imágenes que no necesariamente correspondan a una escena uniforme. The minimization carried out lastly exploits the information available “a priori” that the array of microlenses is manufactured with perfection, that is, with a single pitch valid both horizontally and vertically, with all microlenses aligned except for a single turn of the set. This step allows to solve the possible erroneous response of some microlens, and allows the method to be used also in images that do not necessarily correspond to a uniform scene.

--: Método de la Transformada de Fourier: Pitch e Inclinación Fourier Transform Method: Pitch and Tilt

Este método puede aplicarse sobre una imagen plenóptica cualquiera sin necesidad de que la apertura haya sido cerrada, lo cual la convierte en una opción más cómoda y práctica. Puede también utilizarse con cualquier escena. This method can be applied to any plenoptic image without the need for the opening to be closed, which makes it a more convenient and practical option. It can also be used with any scene.

ES 2 391 185 A1 ES 2 391 185 A1

Proporciona directamente el pitch y la inclinación existente, pero debe completarse con alguno de los procesos descritos posteriormente para obtener los desplazamientos vertical y horizontal. It directly provides the existing pitch and inclination, but must be completed with any of the processes described below to obtain vertical and horizontal displacements.

El procedimiento general es el siguiente: The general procedure is as follows:

a) Se calcula el módulo de la Transformada de Fourier bidimensional de la imagen, la cual presenta unos picos muy agudos a la frecuencia espacial inversa del pitch del array de microlentes. Para mejorar la precisión de cálculo de la misma, se procede a orlar la imagen con pixeles de valor nulo hasta completar cuatro veces el número de pixeles inicial, procediendo entonces a un ajuste cuadrático a partir del valor de frecuencia de módulo máximo y los dos adyacentes. Esta inspección del pico se realiza tanto a la izquierda como a la derecha del cero de frecuencias, promediando ambos resultados para obtener el pitch. a) The two-dimensional Fourier Transform module of the image is calculated, which has very sharp peaks at the inverse spatial frequency of the pitch of the microlens array. To improve the accuracy of calculating it, the image is made to be bordered with zero-value pixels until the initial number of pixels is completed four times, then proceeding to a quadratic adjustment based on the maximum module frequency value and the two adjacent ones . This peak inspection is performed both to the left and to the right of the zero frequencies, averaging both results to obtain the pitch.

b) A partir de las posiciones de los picos a izquierda y derecha del cero de frecuencias, se calcula la tangente de la inclinación como la mitad de la diferencia de las coordenadas de dichas posiciones. b) From the positions of the peaks to the left and right of the zero of frequencies, the tangent of the inclination is calculated as half of the difference in the coordinates of said positions.

Tanto el cálculo del pitch como el de la inclinación es susceptible de ser repetido tanto horizontal como verticalmente, e incluso utilizar los picos ubicados a frecuencias armónicas de la fundamental, obteniendo así una mejor estimación de los valores de los parámetros citados. Both the calculation of the pitch and the inclination are likely to be repeated both horizontally and vertically, and even use the peaks located at harmonic frequencies of the fundamental, thus obtaining a better estimate of the values of the parameters mentioned.

Habiendo obtenido en el punto anterior el pitch y la inclinación de una imagen plenóptica cualquiera, únicamente queda por determinar cuáles son los desplazamientos laterales del conjunto de las microlentes respecto al sensor, o lo que es lo mismo, las coordenadas del centro de alguna microlente. Este proceso puede realizarse mediante alguno de los procedimientos siguientes: Having obtained in the previous point the pitch and the inclination of any plenoptic image, it only remains to determine which are the lateral displacements of the set of the microlens with respect to the sensor, or what is the same, the coordinates of the center of some microlens. This process can be done by any of the following procedures:

Procedimiento A: correlación en fase unidimensional Procedure A: one-dimensional phase correlation

a) Se genera una imagen plenóptica simulada en la que la luz de la microlente sigue un perfil sinusoidal tanto en eje vertical como en el horizontal, cumpliendo los valores de pitch y de inclinación conocidos. Este proceso utiliza la propiedad habitual de que los centros de las microlentes están en general mucho más iluminados que los intersticios, y que la variación de la luz en el interior de la imagen de la microlente es suave. a) A simulated plenoptic image is generated in which the light of the microlenser follows a sinusoidal profile both vertically and horizontally, complying with the known pitch and inclination values. This process uses the usual property that the microlens centers are generally much brighter than the interstices, and that the variation of the light inside the microlens image is smooth.

b) Se calcula la correlación cruzada entre la imagen plenóptica de partida y la imagen generada, habiendo suprimido la componente continua (y otras frecuencias bajas si fuera necesario). b) The cross correlation between the starting plenoptic image and the generated image is calculated, having suppressed the continuous component (and other low frequencies if necessary).

c) Sobre el máximo de la correlación cruzada, se realiza una interpolación cuadrática con los valores adyacentes y se obtiene directamente el desplazamiento vertical y horizontal con precisión subpixel. c) On the maximum of the cross correlation, a quadratic interpolation with the adjacent values is performed and the vertical and horizontal displacement with subpixel precision is obtained directly.

Este método de cálculo del desplazamiento basado en la correlación tiene el inconveniente de que requiere un apreciable esfuerzo de cálculo, debido al coste computacional de la correlación cruzada. Por este motivo, se ha desarrollado también un método alternativo más simple que se basa en realizar una detección directa de la fase de una línea vertical y otra horizontal, de la forma que se describe a continuación. This method of calculating the displacement based on the correlation has the disadvantage that it requires an appreciable effort of calculation, due to the computational cost of the cross correlation. For this reason, a simpler alternative method has also been developed that is based on performing a direct detection of the phase of a vertical and a horizontal line, as described below.

El algoritmo utiliza la identidad trigonométrica que indica que el producto de un seno por un coseno puede expresarse como la suma del seno del ángulo diferencia y del seno del ángulo suma: The algorithm uses the trigonometric identity that indicates that the product of a sine by a cosine can be expressed as the sum of the sine of the difference angle and the sine of the sum angle:

Cuando ambas fases sean muy similares, el término en diferencia de ángulos será proporcional a la mitad de dicha diferencia, y el término suma corresponderá a una frecuencia doble que podrá filtrarse o considerarse cero mientras la longitud de la línea corresponda exactamente con un número entero de longitudes de onda. El proceso es el siguiente: When both phases are very similar, the term in difference of angles will be proportional to half of said difference, and the term sum will correspond to a double frequency that can be filtered or considered zero as long as the length of the line corresponds exactly to an integer number of wavelengths The process is the following:

sin(a-f ) sin(a+f )sin (a-f) sin (a + f)

without (a) cos (f) = +

Procedimiento B: correlación en fase bidimensional Procedure B: two-dimensional phase correlation

a) Se extrae de la parte central de la imagen una línea vertical, habiendo tenido en cuenta la inclinación medida anteriormente. a) A vertical line is taken from the central part of the image, taking into account the inclination measured above.

b) Se genera una línea simulada mediante una sinusoide con fase inicial cero de la frecuencia espacial medida (pitch) y de amplitud normalizada al valor máximo de la línea de la imagen. La longitud de esta línea debe ser un múltiplo del pitch medido. b) A simulated line is generated by a sinusoid with zero initial phase of the measured spatial frequency (pitch) and of amplitude normalized to the maximum value of the image line. The length of this line must be a multiple of the measured pitch.

c) Se multiplican punto a punto la línea original y la simulada, y se halla el promedio del resultado, que tenderá a la mitad de la diferencia de fase entre la línea y la señal simulada c) The original and the simulated line are multiplied point by point, and the average of the result is found, which will tend to half the phase difference between the line and the simulated signal

d) Se actualiza la fase de la señal simulada añadiendo el valor hallado en “c)”, y se vuelve al punto “b)”, iterando hasta que el valor hallado de diferencia de fase sea inferior a un cierto residuo admisible, o bien un número finito de veces, del orden de 100. d) The phase of the simulated signal is updated by adding the value found in “c)”, and it returns to point “b)”, iterating until the value found for phase difference is less than a certain permissible residue, or a finite number of times, of the order of 100.

ES 2 391 185 A1 ES 2 391 185 A1

Este procedimiento se repetirá con una línea horizontal para obtener el desplazamiento correspondiente. Un tercer método puede ser el cálculo del desplazamiento lateral mediante correlación lineal se puede realizar This procedure will be repeated with a horizontal line to obtain the corresponding displacement. A third method can be the calculation of lateral displacement by linear correlation can be performed

utilizando la correlación cruzada de una línea vertical y otra simulada, pero únicamente en una dimensión. De esa forma, con un gran ahorro de cálculo, se obtienen resultados aceptables. Se aplicaría de la forma siguiente: Procedimiento C: detección directa a) Se extrae de la parte central de la imagen una línea vertical, habiendo tenido en cuenta la inclinación medida using the cross correlation of a vertical and a simulated line, but only in one dimension. Of that form, with a great saving of calculation, acceptable results are obtained. It would be applied as follows: Procedure C: direct detection a) A vertical line is taken from the central part of the image, taking into account the measured inclination

anteriormente. b) Se genera una línea simulada mediante una sinusoide de la frecuencia espacial medida (pitch) y de amplitud previously. b) A simulated line is generated by a sinusoid of the measured spatial frequency (pitch) and amplitude

normalizada al valor máximo de la línea de la imagen. La longitud de esta línea debe ser un múltiplo del pitch medido. c) Se calcula la correlación cruzada de ambas señales. El máximo de la misma informará sobre el desplazamiento normalized to the maximum value of the image line. The length of this line must be a multiple of the pitch measured. c) The cross correlation of both signals is calculated. The maximum of it will inform about the displacement

lateral buscado. Este procedimiento se repite con una línea horizontal, para obtener el desplazamiento correspondiente. Veamos un ejemplo de calibración siguiendo alguno de los métodos anteriormente propuestos. En primer lugar se debe generar la imagen plenóptica simulada. La imagen plenóptica simulada, se compone side searched. This procedure is repeated with a horizontal line, to obtain the corresponding displacement. Let's see an example of calibration following one of the previously proposed methods. First, the simulated plenoptic image must be generated. The simulated plenoptic image is composed

sumando dos cosenos, uno en horizontal y otro en vertical donde el periodo de estos cosenos es el pitch de la imagen. adding two cosines, one horizontal and one vertical where the period of these cosines is the pitch of the image.

Por tanto, se puede obtener una imagen plenóptica simplificada en la que se alteran su pitch, inclinación y desplazamiento para conseguir una variedad de imágenes de entrada grande. Therefore, a simplified plenoptic image can be obtained in which its pitch, inclination and displacement are altered to achieve a variety of large input images.

En segundo lugar, se calcula el pitch e inclinación. En este caso se utilizará el procedimiento de la Transformada de Fourier bidimensional de la imagen, véase Figura 2, por lo tanto se tiene: Second, pitch and incline are calculated. In this case the two-dimensional Fourier Transform procedure of the image will be used, see Figure 2, therefore it has:

donde N y M son las dimensiones horizontal y vertical de la imagen. where N and M are the horizontal and vertical dimensions of the image.

Cada armónico es interpolado usando la interpolación gaussiana ( Improving FFT Frequency Measurement Resolution by Parabolic and Gaussian Spectrum Interpolation , M. Gasior, J.L. Gonzalez , CERN, CH-1211,Geneva 23, Switzerland): Each harmonic is interpolated using Gaussian interpolation (Improving FFT Frequency Measurement Resolution by Parabolic and Gaussian Spectrum Interpolation, M. Gasior, J.L. Gonzalez, CERN, CH-1211, Geneva 23, Switzerland):

Los mejores resultados se obtienen empleando la técnica de zero-padding y aplicando una ventana de Blackman-Harris de 4 términos a la imagen antes de hacer la FFT. The best results are obtained using the zero-padding technique and applying a 4-term Blackman-Harris window to the image before making the FFT.

Considerando una imagen de 1024x1024, una variación del pitch de 18 a 22 píxel, y una variación de la inclinación Considering an image of 1024x1024, a variation of the pitch from 18 to 22 pixels, and a variation of the inclination

35 0.02 a 0.02, los valores de inclinación, expresados en pixel/pixel, resultan: 35 0.02 to 0.02, the inclination values, expressed in pixel / pixel, result:

ES 2 391 185 A1 ES 2 391 185 A1

En tercer y último lugar se calcula el desplazamiento. In third and last place the displacement is calculated.

Para la misma imagen simulada anterior, se puede aplicar cualquiera de los tres procedimientos desarrollados (Procedimiento A: correlación en fase unidimensional, Procedimiento B: correlación en fase bidimensional o Procedimiento C: detección directa). For the same simulated image above, any of the three procedures developed can be applied (Procedure A: one-dimensional phase correlation, Procedure B: two-dimensional phase correlation or Procedure C: direct detection).

Considerando que se ha variado el pitch entre – y --, la inclinación entre – y --, y el desplazamiento entre 0 y el pitch dentro de cada iteración, los resultados obtenidos son: Considering that the pitch between - and - has been varied, the inclination between - and -, and the displacement between 0 and the pitch within each iteration, the results obtained are:

Tamaño de imagen de entrada Input Image Size: Método Error medio Desviación típica Method Average error Typical deviation

Correlación unidimensional One-dimensional correlation: 0.5319 0.2951 0.5319 0.2951

512x512 512x512: Correlación bidimensional 0.2957 0.1333 Two-dimensional correlation 0.2957 0.1333

Detección directa* Direct Detection *: 1.0673 0.7187 1.0673 0.7187

Correlación unidimensional One-dimensional correlation: 0.2133 0.1356 0.2133 0.1356

1024x1024 1024x1024: Correlación bidimensional 0.2254 0.0797 Two-dimensional correlation 0.2254 0.0797

Detección directa* Direct Detection *: 1.2129 0.8128 1.2129 0.8128

Correlación unidimensional One-dimensional correlation: 0.1952 0.1438 0.1952 0.1438

2048x2048 2048x2048: Correlación bidimensional 0.1051 0.0498 Two-dimensional correlation 0.1051 0.0498

Detección directa* Direct Detection *: 1.1374 0.8849 1.1374 0.8849

--: Etapa 3. Generación del conjunto de imágenes reenfocadas con superresolución, cálculo de distancias, 10 generación de puntos de vista y muestra del resultado sobre display 3D, enfocando en un sólo plano o con la escena completamente enfocada. Stage 3. Generation of the set of refocused images with super resolution, distance calculation, 10 generation of views and sample of the result on 3D display, focusing on a single plane or with the scene completely focused.

Una vez calibrada la imagen, y previamente a su proyección, se hace necesaria esta etapa. En primer lugar se necesita formar imagen reenfocada a distintas profundidades a partir de la imagen plenóptica capturada y calibrada anteriormente. Once the image is calibrated, and prior to its projection, this stage becomes necessary. First of all, it is necessary to form a refocused image at different depths from the plenoptic image captured and calibrated previously.

15 Considerando que se tiene una imagen tomada por una cámara plenóptica donde el array de microlentes se caracteriza por contener Ny filas de Nx microlentes iguales entre sí, de longitud focal f, y donde la imagen formada por las microlentes se recoge en un sensor ubicado perpendicular al eje óptico a la distancia f tras las microlentes, ocupando cada imagen tras microlente M veces M píxeles. De tal manera que la imagen se puede considerar una señal digital indexable con 4 parámetros discretos, L(x,y,u,v), con x variando entre 0 y Nx-1, y entre 0 y Ny-1, u entre 15 Considering that there is an image taken by a plenoptic camera where the array of microlenses is characterized by containing Ny rows of microlens Nx equal to each other, of focal length f, and where the image formed by the microlenses is collected in a perpendicular sensor located to the optical axis at distance f behind the microlenses, each image occupying microlens M times M pixels. So that the image can be considered an indexable digital signal with 4 discrete parameters, L (x, y, u, v), with x varying between 0 and Nx-1, and between 0 and Ny-1, or between

20 0 y M-1, y v entre 0 y M-1. 20 0 and M-1, and v between 0 and M-1.

El muestreo se asume regular en las dimensiones de microlente y pixel tras cada microlente. Se exige que el número de píxeles M tras cada microlente sea primo, para esta primera descripción. Y el doble de un número primo para el segundo uso descrito. Sampling is assumed to be regular in the dimensions of microlens and pixels after each microlens. It is required that the number of pixels M after each microlens be prime, for this first description. And twice a prime number for the second use described.

Se puede recrear la imagen con el enfoque situado a distintas distancias a partir de los datos captados con una 25 plenóptica, evaluando la siguiente integral: You can recreate the image with the approach located at different distances from the data captured with a plenoptic, evaluating the following integral:

ES 2 391 185 A1 ES 2 391 185 A1

a la imagen continua y a la señal plenóptica continua. Es común, con fines ilustrativos, referirse a una función plenóptica 2D, donde las variables y y v no son tenidas en cuenta. En ese caso la integral se convierte en una integral de línea sobre un espacio 2D. to the continuous image and to the continuous plenoptic signal. It is common, for illustrative purposes, to refer to a 2D plenoptic function, where the variables y and v are not taken into account. In that case the integral becomes a line integral over a 2D space.

Se han denotado comoThey have been denoted as

5 Sin embargo esta integral sobre una señal continua se ha de modificar para tener en cuenta que lo sensado con la cámara plenóptica es una versión discreta de la misma. Nuestro método propuesto hace una elección del método de discretización que difiere de las previamente recogidas por la literatura. 5 However, this integral over a continuous signal must be modified to take into account that the sensing with the plenoptic chamber is a discrete version of it. Our proposed method makes a choice of the method of discretization that differs from those previously collected by the literature.

Para formar imagen reenfocada a distintas profundidades a partir de la imagen plenóptica capturada y calibrada se desarrollan los siguientes pasos: To form a refocused image at different depths from the captured and calibrated plenoptic image, the following steps are developed:

10 En primer lugar, se hace corresponder lo captado por medio de un pixel del sensor con uno de los recuadros del esquema, figura 3. No se consideran puntos infinitesimales, sino que cubren un área del espacio (x,u) que se corresponde con la luz que atraviesa la superficie de una microlente, sobre el eje x, en las direcciones angulares que abarca la superficie de un pixel del sensor, eje u. Se ha elegido Nx = 5 y M = 5. 10 First of all, what is captured by means of a pixel of the sensor is matched with one of the boxes in the diagram, figure 3. They are not considered infinitesimal points, but cover an area of space (x, u) that corresponds to the light that crosses the surface of a microlens, on the x-axis, in the angular directions covered by the surface of a pixel of the sensor, axis u. Nx = 5 and M = 5 have been chosen.

Se observa que al proyectar los muestras de la función plenóptica (1, M-1), (1, M-2), … (1,0) se conforman M It is observed that when projecting the samples of the plenoptic function (1, M-1), (1, M-2),… (1,0) M

15 franjas de valor diferenciado. Al proyectar todas las muestras de la señal plenóptica discreta de esta manera se generan Nx*M valores diferenciados que se puede considerar una imagen reenfocada sobre el plano de distancia asociado a la pendiente k. Contendrá, por lo tanto, el mismo número de píxeles que tuviera el sensor empleado para la captura de la función plenóptica. 15 strips of differentiated value. When projecting all samples of the discrete plenoptic signal in this way, Nx * M generates differentiated values that can be considered as a refocused image on the distance plane associated with the slope k. It will therefore contain the same number of pixels as the sensor used to capture the plenoptic function.

En segundo lugar, se muestran las franjas de integración para todas las posibles inclinaciones en el caso M=5. Esto Secondly, the integration bands are shown for all possible inclinations in the case M = 5. This

20 es k=-4,…,-1; así como k=1, …,4, se muestran Nx=9 microlentes para dar cabida a las pendientes extras, figura 4. Cuando se procesan todas las franjas usando cada una de estas inclinaciones se obtiene un conjunto de imágenes con distintos planos de enfoque. Para una plenóptica con M píxeles por microlente se pueden obtener 2M-2 imágenes enfocadas a distintas profundidades. 20 is k = -4, ..., -1; as well as k = 1,…, 4, Nx = 9 microlenses are shown to accommodate the extra slopes, figure 4. When all the stripes are processed using each of these inclinations a set of images with different focus planes is obtained . For a plenoptic with M pixels per microlens, 2M-2 images focused at different depths can be obtained.

En tercer lugar, las franjas que se generarían para k=1, figura 5. Resaltando el hecho de que en los márgenes las 25 franjas de integración pueden rebasar los límites de la señal plenóptica captada. Third, the fringes that would be generated for k = 1, figure 5. Highlighting the fact that in the margins the 25 integration strips may exceed the limits of the captured plenoptic signal.

Con lo aquí descrito, y volviendo al caso 4D, el método se aplica evaluando la integral With what is described here, and returning to the 4D case, the method is applied by evaluating the integral

siguiendo la fórmula discreta siguiente: following the following discrete formula:

30 Haciendo variar los distintos parámetros entre los siguientes rangos: 30 By varying the different parameters between the following ranges:

Los parámetros de la imagen de salida mx, px, se pueden considerar partes de la misma dimensión x=mx*M + px, y otro tanto para y=my*M + py. The parameters of the output image mx, px, can be considered parts of the same dimension x = mx * M + px, and the same for y = my * M + py.

Por otro lado, las pendientes negativas se consiguen con la siguiente evaluación, en los mismos rangos expresados 35 previamente: On the other hand, negative slopes are achieved with the following evaluation, in the same ranges expressed previously:

ES 2 391 185 A1 ES 2 391 185 A1

De manera opcional, en estas fórmulas se puede introducir, multiplicando a los factores L(·), una función de pesado, ww w , para reflejar el hecho de que los píxeles pueden recoger más o menos luz según se hallen tras el Optionally, in these formulas you can enter, by multiplying the factors L (·), a weighing function, ww w, to reflect the fact that pixels can collect more or less light as they are after the

centro de una microlente, o en las zonas periféricas de transición entre una y otra microlente. center of a microlenser, or in the peripheral transition zones between one and the other microlens.

De esa forma se consigue una imagen reenfocada. Se hace necesario entonces, la creación de imágenes con distinto punto de vista, y enfocados a distintas distancias a partir de una imagen plenóptica. That way you get a refocused image. It becomes necessary then, the creation of images with different points of view, and focused at different distances from a plenoptic image.

Se pueden crear d2 imágenes con puntos de vista diferentes en horizontal y vertical cuando se exige que M/d sea primo y se aplica el método anteriormente descrito d2 veces, considerando en cada caso solo parte de los píxeles You can create d2 images with different views horizontally and vertically when M / d is required to be cousin and the method described above is applied d2 times, considering in each case only part of the pixels

de la imagen plenóptica. Las inclinaciones varían en el rango [-M/d…-1] y [1…M/d]. Esto implica que por cada una de las d2 habrá 2M/d-2 posibles profundidades de enfoque. Cada una de estas imágenes tendrá el tamaño Ny · M/d x Nx · M/d píxeles. of the plenoptic image. The inclinations vary in the range [-M / d ... -1] and [1 ... M / d]. This implies that for each of the d2 there will be 2M / d-2 possible depths of focus. Each of these images will have the size Ny · M / d x Nx · M / d pixels.

Por ejemplo, si d=2, se obtendrán 4 imágenes. Una primera imagen resulta de considerar solo aquellos píxeles tras microlentes donde la dimenión px varia entre 0 y M/2-1, a la vez que py lo hace entre 0 y M/2-1; otro cuadrante resulta de considerar px variando entre M/2 y M-1 mientras py lo hace entre 0 y M/2-1; otro de evaluar px entre 0 y M/2-1, mientras py lo hace entre M/2 y M-1; y por último trabajar con px entre M/2 y M-1, mientras que py varia entre M/2 y M-1. For example, if d = 2, 4 images will be obtained. A first image results from considering only those pixels after microlenses where the px dimension varies between 0 and M / 2-1, while p does between 0 and M / 2-1; another quadrant results from considering px varying between M / 2 and M-1 while py does it between 0 and M / 2-1; another to evaluate px between 0 and M / 2-1, while py does it between M / 2 and M-1; and finally work with px between M / 2 and M-1, while py varies between M / 2 and M-1.

En la parte izquierda de la figura 6 se ilustra la división de píxeles en una de las dimensiones y a la derecha los cuatro cuadrantes de la lente principal resultantes de aplicar simultáneamente divisiones en px y py. On the left side of Figure 6, the division of pixels into one of the dimensions is illustrated, and on the right, the four quadrants of the main lens resulting from simultaneously applying divisions in px and py.

Estas imágenes, que ahora son 4 por cada inclinación, cada una con ¼ del tamaño de la imagen plenóptica, se pueden combinar promediando las imágenes obtenidas con mismo rango de variación de px, pero distinto rango en py, lo que daría lugar a dos imágenes con diferente punto de vista exclusivamente en la dimensión horizontal, obteniéndose un par estereoscópico. These images, which are now 4 for each inclination, each one with ¼ the size of the plenoptic image, can be combined by averaging the images obtained with the same range of px variation, but different range in py, which would result in two images with a different point of view exclusively in the horizontal dimension, obtaining a stereoscopic pair.

La imagen plenóptica, una vez calibrada y correctamente reenfocada se debe proyectar en un monitor plenóptico, en una última etapa. The plenoptic image, once calibrated and correctly refocused, must be projected on a plenoptic monitor, in a final stage.

--: Etapa 4. Adaptación de los resultados anteriores utilizando el algoritmo SPOC, y colocación de microlentes delante de un display convencional para mostrar 3D sobre un monitor plenóptico Stage 4. Adaptation of the previous results using the SPOC algorithm, and placement of microlenses in front of a conventional display to show 3D on a plenoptic monitor

En primer lugar, la imagen plenóptica se convierte en una imagen integral utilizando el algoritmo SPOC (H. Navarro, First, the plenoptic image becomes an integral image using the SPOC algorithm (H. Navarro,

R. Martínez-Cuenca, G. Saavedra, M. Martínez-Corral, and B. Javidi, “3D integral imaging display by smart pseudoscopic-to-orthoscopic conversión,”̘Opt. Express 25, 25573-25583 (2010). Este algoritmo permite adaptar la imagen plenóptica a las características de monitor (tamaño del monitor, número de microlentes, número de píxeles), y también al del tipo de imagen que se desea proyectar (escala de la imagen, distancia de la imagen al monitor). Una vez efectuado el cálculo de la imagen integral, se proyecta sobre el monitor plenóptico, descrito a continuación. R. Martínez-Cuenca, G. Saavedra, M. Martínez-Corral, and B. Javidi, “3D integral imaging display by smart pseudoscopic-to-orthoscopic conversion,” ̘Opt. Express 25, 25573-25583 (2010). This algorithm allows to adapt the plenoptic image to the monitor characteristics (monitor size, number of microlenses, number of pixels), and also to the type of image to be projected (image scale, image distance to the monitor) . Once the integral image is calculated, it is projected onto the plenoptic monitor, described below.

El monitor plenóptico propuesto puede ser de tamaño pequeño (como los terminales de telefonía, o las mini consolas de videojuegos, las agendas electrónicas, o los marcos de fotografía digital), de tamaño intermedio (como las tabletas digitales, o los netbooks), de tamaño grande (como las pantallas de televisión o los monitores de ordenador) o de tamaño superior (como los vídeo-marcadores de los estadios deportivos, grandes paneles publicitarios o grandes monitores murales). The proposed plenoptic monitor can be small in size (such as telephony terminals, or mini video game consoles, electronic agendas, or digital photo frames), of intermediate size (such as digital tablets, or netbooks), of Large size (such as television screens or computer monitors) or larger (such as video markers of sports stadiums, large advertising panels or large wall monitors).

En todos los casos la estructura del monitor es similar. En primer lugar, la imagen integral se proyecta sobre el dispositivo electrónico de display digital (que puede ser de tipo LCD o LED en los monitores pequeños, intermedios o grandes, o compuesto por LEDS o bombillas ultra-brillantes en caso de los monitores murales.). En un plano paralelo al panel se sitúa una matriz de lentes convergentes. Las lentes configuran una matriz con malla cuadrada. Para maximizar el campo visual, sin comprometer la calidad de la imagen, la focal de las lentes es del orden de cuatro veces el diámetro de las lentes. La resolución espacial del monitor viene fijada por el tamaño de las lentes. El número de perspectivas vienen determinado por el número de píxeles presentes en la celda elemental situada detrás de cada lente. Cuanto menor sea el tamaño de las lentes, y menor el tamaño de los píxeles, mejor será la calidad de la imagen observada. Como norma de índole práctico establecemos que el tamaño de las lentes ha de ser tal que su tamaño angular, visto por el observador cuando visualiza el monitor desde una distancia normal (por ejemplo, 0.5 m para el caso de un monitor de ordenador) sea igual o menor que 10-3 rad. Con respecto al número de píxeles, para proporcionar una sensación de perspectiva continua el número de píxeles por microlente debe ser superior a 12. En los monitores pequeños y medianos la matriz de microlentes están constituidos por lentes In all cases the structure of the monitor is similar. First, the integral image is projected onto the electronic digital display device (which can be of the LCD or LED type on small, intermediate or large monitors, or composed of LEDS or ultra-bright bulbs in the case of wall monitors. ). In a plane parallel to the panel there is a matrix of converging lenses. The lenses form a matrix with square mesh. To maximize the visual field, without compromising the quality of the image, the focal length of the lenses is of the order of four times the diameter of the lenses. The spatial resolution of the monitor is fixed by the size of the lenses. The number of perspectives is determined by the number of pixels present in the elementary cell behind each lens. The smaller the lens size, and the smaller the pixel size, the better the quality of the image observed. As a practical rule, we establish that the size of the lenses must be such that their angular size, seen by the observer when viewing the monitor from a normal distance (for example, 0.5 m in the case of a computer monitor) is equal or less than 10-3 rad. With respect to the number of pixels, to provide a sense of continuous perspective, the number of pixels per microlens must be greater than 12. In small and medium monitors, the array of microlenses consists of lenses.

ES 2 391 185 A1 ES 2 391 185 A1

refractivas. En los monitores tipo mural, para evitar el gran peso de las lentes de gran diámetro, es más conveniente utilizar hojas de lentes de Fresnel o matrices de lentes difractivas tipo kinoform. refractive In wall type monitors, to avoid the large weight of large diameter lenses, it is more convenient to use Fresnel lens sheets or kinoform diffractive lens arrays.

Con este tipo de monitor se pueden proyectar imágenes 3D ortoscópicas, con paralaje total, y sin las desventajas de fatiga visual inherentes a los monitores estereoscópicos With this type of monitor, orthoscopic 3D images can be projected, with total parallax, and without the visual fatigue disadvantages inherent in stereoscopic monitors

5 Descripción de las figuras 5 Description of the figures

Figura 1: Montaje óptico del objetivo plenóptico propuesto. Figura 2: Imagen plenóptica donde se calcula el pitch y la inclinación aplicando transformada de Fourier. Figura 3: Representación esquemática donde se ilustra la correspondencia de los píxeles del sensor con los Figure 1: Optical assembly of the proposed plenoptic objective. Figure 2: Plenoptic image where pitch and inclination are calculated by applying Fourier transform. Figure 3: Schematic representation illustrating the correspondence of the pixels of the sensor with the

recuadros del esquema, en un área del espacio (x,u). En el esquema se ha resaltado la proyección de todos los outline boxes, in an area of space (x, u). In the scheme the projection of all the

10 píxeles tras una cierta microlente, x0, en este caso, x0=1. La proyección sigue la inclinación que hace que el extremo superior izquierdo del área del píxel (x0, M-1), se proyecte sobre la esquina inferior izquierda del pixel (x0-k, 0), en este caso k = 1. 10 pixels after a certain microlens, x0, in this case, x0 = 1. The projection follows the inclination that causes the upper left end of the pixel area (x0, M-1) to project over the lower left corner of the pixel (x0-k, 0), in this case k = 1.

Figura 4: Franjas de integración para todas las posibles inclinaciones en el caso M=5 Figura 5: Generación de franjas para una pendiente k=1. 15 Figura 6: Ilustración de la generación de 4 diferentes puntos de vista a partir de una imagen plenóptica. Figure 4: Integration strips for all possible inclinations in the case M = 5 Figure 5: Generation of strips for a slope k = 1. 15 Figure 6: Illustration of the generation of 4 different points of view from a plenoptic image.

ES 2 391 185 A1 ES 2 391 185 A1

Claims

1. Plenoptic objective to convert an interchangeable lens camera into a plenoptic chamber, characterized in that it comprises:

5 an optical projector set, an array of microlenses, an optical imaging vehicle, and an infinite-conjugate optical projector assembly

2. Integrated system for converting an interchangeable lens chamber into a plenoptic chamber, characterized in that it comprises a plenoptic lens according to claim 1, a real optical diaphragm of variable aperture and a second diaphragm positioned close to the array of microlenses.

10 3. Three-dimensional image capture and representation method characterized in that it comprises the following stages:

(i) acquisition of a plenoptic image, by a plenoptic camera or by a plenoptic lens according to claim 1 or an integrated system according to claim 2, coupled to a camera with interchangeable lenses between the camera and the lens thereof;

15 (ii) calibration of the acquired image;

(iii) generation of the set of refocused images with super resolution, distance calculation, generation of views and sample of the result on 3D display, focusing on a single plane or with the scene completely focused; Y

(iv) adaptation of the previous results using appropriate algorithms, such as SPOC, and placement of 20 microlenses in front on a conventional display to show 3D on a flat display.

4. Method for converting an interchangeable lens camera into a plenoptic chamber, characterized in that it comprises:

(i) incorporating a plenoptic lens according to claim 1 or an integrated system according to claim 2 between the camera and the lens thereof;

25 (ii) capture an image;

(iii) an image calibration stage to determine the characteristic parameters of a plenoptic chamber, the calibration being based on the reduction of the camera aperture and comprising: calculating the two-dimensional Fourier transform module of the image received by the optical system, associating the maximum value of the image with the center of a microlenser, 30 dividing the image by means of a Cartesian grid into cells corresponding to the microlenses,

calculate the center of gravity of the light contained in each cell, and perform a blind minimization to fit the calculated centers to a model; Y

(iv) a high-resolution refocusing stage suitable for feeding an autostereoscopic display, which includes the evaluation of the characteristic integral by means of the discrete algorithm:

35 and the calculation of negative slopes by:

ES 2 391 185 A1

where I is the refocused image, L the plenoptic signal captured

where mx, px, my, py are parameters of the output image that vary between the following ranges:

mx = 0… Mx – 1

my = 0… My – 1

px = 0… M – 1

py = 0… M – 1

with M the number of pixels per microlenser,

where k is the slope, which varies in the range k = 1… M – 1.

5.5.: Método según la reivindicación 4, caracterizado porque comprende una etapa de generación de imágenes con múltiples puntos de vista, incluyendo pares estéreo para alimentar a un display estereoscópico, y porque se exige que M/d sea primo. Method according to claim 4, characterized in that it comprises an image generation stage with multiple points of view, including stereo pairs to feed a stereoscopic display, and that M / d is required to be cousin.

6.6.: Método para convertir una cámara de objetivos intercambiables en una cámara plenóptica, caracterizado porque comprende: Method for converting an interchangeable lens camera into a plenoptic camera, characterized in that it comprises:

(i)(i): incorporar un objetivo plenóptico según la reivindicación 1 o un sistema integrado según la reivindicación 2 entre la cámara y el objetivo de la misma; incorporating a plenoptic lens according to claim 1 or an integrated system according to claim 2 between the camera and the lens thereof;

(ii)(ii): captar una imagen; capture an image;

(iii) an image calibration stage to determine the characteristic parameters of a plenoptic chamber, the calibration being based on the Fourier Transform and comprising:

calculate the two-dimensional Fourier Transform module of the image and border it;

calculate the tangent of the inclination as half of the difference in the coordinates of the positions of the peaks to the left and right of the zero frequencies; Y

determine the coordinates of the center of some microlens by means of the one-dimensional phase correlation, comprising:

--: simular una imagen plenóptica en la que la luz de la microlente sigue un perfil sinusoidal tanto en eje vertical como en el horizontal; simulate a plenoptic image in which the light of the microlenser follows a sinusoidal profile both vertically and horizontally;

--: calcular la correlación cruzada entre la imagen plenóptica de partida y la imagen generada; e calculate the cross correlation between the starting plenoptic image and the generated image; and

--: interpolar cuadráticamente sobre el máximo de la correlación cruzada. interpolate quadratically over the maximum cross correlation.

7.7.: Método según la reivindicación 6, caracterizado porque la determinación de las coordenadas del centro de alguna microlente se hace mediante correlación en fase bidimensional, comprendiendo: la extracción en la parte central de la imagen de una línea vertical; la generación de una línea simulada mediante una sinusoide con fase inicial cero de la frecuencia espacial medida y de amplitud normalizada al valor máximo de la línea de la imagen; Method according to claim 6, characterized in that the determination of the coordinates of the center of some microlens is done by means of two-dimensional phase correlation, comprising: the extraction in the central part of the image of a vertical line; the generation of a simulated line by means of a sinusoid with zero initial phase of the measured spatial frequency and of amplitude normalized to the maximum value of the image line;

the point-to-point multiplication of the original line with the simulated one and the average of the result; and iteration until the value found for the phase difference is less than a certain allowable residue.

8.8.: Método según la reivindicación 6, caracterizado porque la determinación de las coordenadas del centro de alguna microlente se hace mediante detección directa, comprendiendo: la extracción en la parte central de la imagen de una línea vertical; la generación de una línea simulada mediante una sinusoide de la frecuencia espacial medida y de amplitud Method according to claim 6, characterized in that the determination of the coordinates of the center of some microlens is done by direct detection, comprising: the extraction in the central part of the image of a vertical line; the generation of a simulated line using a sinusoid of the measured spatial frequency and amplitude

normalized to the maximum value of the image line; and the calculation of the cross correlation of both signals.

9.9.: Método según cualquiera de las reivindicaciones 6-8, caracterizado porque: Method according to any of claims 6-8, characterized in that:

ES 2 391 185 A1

The high-resolution refocusing stage that can feed an autostereoscopic display includes the evaluation of the characteristic integral by means of the discrete algorithm:

and the calculation of negative slopes by:

5 where I is the refocused image, L the plenoptic signal captured

mx = 0… Mx – 1

my = 0… My – 1

px = 0… M – 1 10 py = 0… M – 1

with M the number of pixels per microlenser,

where k is the slope, which varies in the range k = 1… M – 1,

because it includes an image generation stage with multiple points of view, including stereo pairs

to feed a stereoscopic display, 15 and because M / d is required to be a cousin.

10. A three-dimensional imaging system adapted to show the results obtained by the method according to any of claims 3-9, characterized in that it comprises an electronic digital display device, an array of lenses located in a plane parallel to the previous panel with a size such that its angular size is equal to or less than 10-3 rad, and that it contains a number of pixels per microlens greater than 12.

SPANISH OFFICE OF THE PATENTS AND BRAND

Application no .: 201100485

SPAIN

Date of submission of the application: 04.28.2011

Priority Date:

REPORT ON THE STATE OF THE TECHNIQUE

51 Int. Cl.: See Additional Sheet

RELEVANT DOCUMENTS

Categoría Category: 56 Documentos citados Reivindicaciones afectadas 56 Documents cited Claims Affected

A A A A A A A A: EP 2244484 A1 (RAYTRIX GMBH) 27.10.2010 US 2009295829 A1 (GEORGIEV TODOR G et al.) 03.12.2009 US 2008002023 A1 (CUTLER ROSS G) 03.01.2008 US 2008080852 A1 (CHEN LIANG-GEE et al.) 03.04.2008 1 1 1 1 EP 2244484 A1 (RAYTRIX GMBH) 27.10.2010 US 2009295829 A1 (GEORGIEV TODOR G et al.) 03.12.2009 US 2008002023 A1 (CUTLER ROSS G) 03.01.2008 US 2008080852 A1 (CHEN LIANG-GEE et al.) 03.04.2008 1 1 1 1

Categoría de los documentos citados X: de particular relevancia Y: de particular relevancia combinado con otro/s de la misma categoría A: refleja el estado de la técnica O: referido a divulgación no escrita P: publicado entre la fecha de prioridad y la de presentación de la solicitud E: documento anterior, pero publicado después de la fecha de presentación de la solicitud Category of the documents cited X: of particular relevance Y: of particular relevance combined with other / s of the same category A: reflects the state of the art O: refers to unwritten disclosure P: published between the priority date and the date of priority submission of the application E: previous document, but published after the date of submission of the application

El presente informe ha sido realizado • para todas las reivindicaciones • para las reivindicaciones nº: This report has been prepared • for all claims • for claims no:

Fecha de realización del informe 24.10.2012 Date of realization of the report 24.10.2012: Examinador M. C. González Vasserot Página 1/4 Examiner M. C. González Vasserot Page 1/4

REPORT OF THE STATE OF THE TECHNIQUE

Application number: 201100485

CLASSIFICATION OBJECT OF THE APPLICATION

G06T7 / 00 (2006.01) G06T15 / 20 (2011.01) G03B41 / 00 (2006.01) G02B27 / 00 (2006.01)

Minimum documentation sought (classification system followed by classification symbols)

G06T, G03B, G02B

Electronic databases consulted during the search (name of the database and, if possible, search terms used)

INVENTIONS, EPODOC, WPI

State of the Art Report Page 2/4

WRITTEN OPINION

Application number: 201100485

Date of Written Opinion: 24.10.2012

Statement

Novedad (Art. 6.1 LP 11/1986) Novelty (Art. 6.1 LP 11/1986): Reivindicaciones Reivindicaciones 1-10 SI NO Claims Claims 1-10 IF NOT

Actividad inventiva (Art. 8.1 LP11/1986) Inventive activity (Art. 8.1 LP11 / 1986): Reivindicaciones Reivindicaciones 1-10 SI NO Claims Claims 1-10 IF NOT

The application is considered to comply with the industrial application requirement. This requirement was evaluated during the formal and technical examination phase of the application (Article 31.2 Law 11/1986).

Opinion Base.-

This opinion has been made on the basis of the patent application as published.

State of the Art Report Page 3/4

WRITTEN OPINION

Application number: 201100485

1. Documents considered.-

The documents belonging to the state of the art taken into consideration for the realization of this opinion are listed below.

Documento Document: Número Publicación o Identificación Fecha Publicación Publication or Identification Number publication date

D01 D01: EP 2244484 A1 (RAYTRIX GMBH ) 27.10.2010 EP 2244484 A1 (RAYTRIX GMBH) 10/27/2010

D02 D02: US 2009295829 A1 (GEORGIEV TODOR G et al.) 03.12.2009 US 2009295829 A1 (GEORGIEV TODOR G et al.) 03.12.2009

D03 D03: US 2008002023 A1 (CUTLER ROSS G ) 03.01.2008 US 2008002023 A1 (CUTLER ROSS G) 03.01.2008

D04 D04: US 2008080852 A1 (CHEN LIANG-GEE et al.) 03.04.2008 US 2008080852 A1 (CHEN LIANG-GEE et al.) 04.04.2008

2. Statement motivated according to articles 29.6 and 29.7 of the Regulations for the execution of Law 11/1986, of March 20, on Patents on novelty and inventive activity; quotes and explanations in support of this statement

New modified report was presented on 08/10/2012, it is examined based on that report. The documents cited only show the general state of the art, and are not considered of particular relevance. Thus, the claimed invention is considered to meet the requirements of novelty, inventive activity and industrial application. 1.-The object of the present patent application consists of an integrated three-dimensional image capture, processing and representation system for cameras with interchangeable lenses that converts any camera with interchangeable lenses into a 3D camera and that shows the results so that the user does not have visual fatigue, it consists of a portable system coupled to a conventional camera of interchangeable lenses, a procedure of calibration of the acquired image, a procedure for the generation of the set of refocused images with super-resolution, calculation of distances, generation of points of view, a procedure of adaptation of the previous results using appropriate algorithms and the subsequent projection on a monitor based on the placement of microlenses in front of a conventional display. 2.-The problem posed by the applicant is when observing steroscopic images on 3D displays, with or without adapted glasses, there is a strong decoupling between the visual mechanisms of binocular convergence and accommodation. This conflict generates a strong discomfort and visual fatigue, which prevents prolonged observation. This problem is solved with the following procedure: 1 ° Acquisition of the plenoptic image: Through a plenoptic camera or by means of a miniaturized and portable plenoptic lens coupled to a conventional camera with interchangeable lenses. 2nd Image calibration procedure. 3rd Generation of the set of refocused images with super resolution, distance calculation, generation of views and sample of the result on 3D display; focusing on a single plane or with the scene fully focused. 4 ° Adaptation of the previous results using the appropriate algorithm (for example, the SPOC algorithm), and placing microlenses in front of a conventional display to show 3D on a flat display. Following the above procedure, it is possible to generate a device that converts any conventional camera into a plenoptic camera, which shows the results so that the user does not have visual fatigue after viewing 3D content in a prologue way. It allows you to see these contents with a wide variety of points of view, unlike conventional stereo 3D in which there are only two points of view (one for each eye), displays with glasses or without auterosteroscopic glasses. Document D1 can be considered as the representative of the closest state of the art since most of the claimed technical characteristics converge in this document.

Analysis of independent claim 1

D1 differs from the patent application document in that the pleniptic objective to convert an interchangeable lens camera into a plenoptic chamber does not comprise an infinite optical assembly conjugated projector. Claim 1 is new (Art. 6.1 LP 11/1986) and has inventive activity (Art. 8.1 LP11 / 1986).

Analysis of the rest of the documents

Thus, neither document D1, nor any of the rest of the documents cited in the State of the Art Report, taken alone or in combination, reveal the invention under study as defined in the independent claims, so that The documents cited only show the general state of the art, and are not considered of particular relevance. In addition, there are no suggestions in the cited documents that direct the person skilled in the art to a combination that could make the invention defined by these claims evident and it is not obvious for a person skilled in the art to apply the features included in the cited documents and reach the invention as revealed therein.

State of the Art Report Page 4/4