ES2627018T3

ES2627018T3 - Procedimiento para corregir el ajuste de zoom y/o la dislocación vertical de imágenes parciales de una película esteoreoscópica, así como control o regulación de un rig de cámara con dos cámaras

Info

Publication number: ES2627018T3
Application number: ES12742807.6T
Authority: ES
Inventors: Christian WIELAND; Matthias Lenz
Original assignee: Truality LLC
Current assignee: Truality LLC
Priority date: 2011-08-03
Filing date: 2012-07-27
Publication date: 2017-07-26
Anticipated expiration: 2032-07-27
Also published as: DE102011109301B4; EP2740273A1; DE102011109301A1; US20140362185A1; JP6352182B2; WO2013017246A1; JP2014527196A; JP2018136544A; EP2740273B1; US10356329B2

Abstract

Procedimiento para corregir el ajuste de zoom y/o la dislocación vertical en una imagen compuesta por dos imágenes parciales de una película esteoreoscópica, en donde una de las imágenes parciales es proporcionada por una primera cámara de un rig de cámara y la segunda imagen parcial es proporcionada por una segunda cámara del rig de cámara, en donde se modifica una dislocación vertical a través de una modificación del ajuste de pitch, en donde durante el funcionamiento, al tomar la película esteoreoscópica, se detecta una diferencia entre los resultados existentes del zoom en la primera imagen parcial con relación a la segunda imagen parcial y/o se detecta una dislocación vertical de los puntos de imagen existentes en la primera imagen parcial con relación a los puntos de imagen en la segunda imagen parcial, que se corresponden con estos, y basándose en este conocimiento se calculan unos valores de corrección con los que se reduce la diferencia de zoom y/o la dislocación vertical, con una aplicación correspondiente al ajuste de zoom y/o de pitch, y a cada valor de corrección se asigna un valor de tiempo y un valor de confianza.

Description

5

10

15

20

25

30

35

40

45

50

55

DESCRIPCION

Procedimiento para corregir el ajuste de zoom y/o la dislocacion vertical de imageries parciales de una pelicula esteoreoscopica, asi como control o regulacion de un rig de camara con dos camaras

Campo de la invencion

La invencion se refiere a un procedimiento para corregir el ajuste de zoom y/o la dislocacion vertical en una imagen compuesta por dos imagenes parciales de una pelicula esteoreoscopica, en donde una de las imagenes parciales es proporcionada por una primera camara de un rig de camara y la segunda imagen parcial es proporcionada por una segunda camara del rig de camara, en donde se modifica una dislocacion vertical a traves de una modificacion del ajuste de pitch. En otras palabras, se trata de la correccion de la diferencia de zoom y/o de la dislocacion vertical entre imagenes parciales de una pareja de imagenes esteoreoscopicas.

El ajuste de zoom influye en el tamano de la imagen, es decir, cuanto de la imagen esta representado de tal modo que el contenido este distribuido entre un numero determinado de pixeles a cubrir. Por dislocacion vertical se entiende la dislocacion entre dos puntos de imagen correspondientes desde una primera imagen parcial a una segunda imagen parcial, en donde las dos imagenes parciales forman en conjunto superpuestas una imagen comun, la cual puede proyectarse sobre un lienzo o puede representarse en un aparato reproductor de imagenes, como por ejemplo una television. Una imagen de este tipo provoca en el observador un efecto tridimensional y forma parte de una pelicula en 3D, que tambien recibe el nombre de pelicula esteoreoscopica.

El efecto tridimensional se consigue por medio de que cada ojo del observador fija una de las dos imagenes parciales y, a causa de la dislocacion vertical de un punto de imagen con relacion al punto de imagen correspondiente en la otra de las imagenes parciales, en el cerebro del observador se obtiene un efecto tridimensional. Este efecto 3D tambien recibe el nombre de efecto de profundidad.

El ajuste de pitch influye en el haz visual de una camara al bascular en un plano situado perpendicularmente.

Un estado de la tecnica conocido se revela tambien en el documento US 2009/0128621 A1. Alli se revela un procedimiento para la adaptacion de imagenes automatizada, esteoreoscopica. Con ello se empela un grupo de camaras para la toma de video-streams. Un ordenador esta conectado a este grupo de camaras, para determinar la orientacion geometrica de cada video-stream con la ayuda de diferentes indicadores y, basandose en ello, adaptar los distintos video-streams basandose en la orientacion geometrica. El documento US 2009/0128621 A1 se considera el estado de la tecnica mas proximo.

Se conocen otros estados de la tecnica de los documentos US 2007/0146478 A1, US 2011/0169918 A1 y US 2007/0139612 A1.

Del estado de la tecnica se conoce calibrar las dos camaras de un rig de camara, que se usa para aplicar una pelicula esteoreoscopica, antes del funcionamiento al tomar la pelicula esteoreoscopica. Para ello antes de tomar la pelicula esteoreoscopica se recorren varias etapas de zoom y se detecta la desviacion correspondiente mediante un procesador de imagenes. Las desviaciones se comparan con unos valores de correccion, los cuales se archivan en una llamada tabla basica.

Conforme a esta tabla basica se obtienen a continuacion valores de correccion para cada ajuste de zoom, es decir, para cada distancia focal.

Sin embargo, durante el funcionamiento deben compensarse numerosos factores externos, como por ejemplo aumento de temperatura a causa de la radiacion solar o a causa de los motores existentes y accionados en el rig de camara, inercia, holgura, etc. La tarea de la presente invencion consiste en ofrecer un remedio y una mejora, de tal manera que tambien durante el filmado, es decir la toma de una pelicula esteoreoscopica, las dos imagenes parciales que forman una imagen comun se “alineen”, es decir se armonicen siempre optimamente con relacion a su dislocacion de zoom y a su dislocacion vertical. Un “desajuste de zoom” o “desplazamiento vertical” de este tipo debe compensarse durante el funcionamiento de forma permanente, y de forma preferida de inmediato.

Esta tarea es resuelta conforme a la invencion mediante las caracteristicas de la reivindicacion 1, en especial por medio de que durante el funcionamiento, al tomar la pelicula esteoreoscopica, se detecta una diferencia entre los resultados existentes del zoom en la primera imagen parcial con relacion a la segunda imagen parcial y/o se detecta una dislocacion vertical de los puntos de imagen existentes en la primera imagen parcial con relacion a los puntos de imagen en la segunda imagen parcial, que se corresponden con estos, y basandose en este conocimiento se calculan unos valores de correccion con los que se reduce la diferencia de zoom y/o la dislocacion vertical, con una aplicacion correspondiente al ajuste de zoom y/o de pitch, y a cada valor de correccion se asigna un valor de tiempo y un valor de confianza. Este valor de tiempo puede llamarse tambien marcador cronologico y caracteriza el momento en el que se genera el valor de correccion. De esta manera puede reconstruirse cuando se ha generado un valor de correccion durante la pelicula esteoreoscopica.

En las reivindicaciones dependientes se reivindican unas formas de realizacion ventajosas, que explican a

5

10

15

20

25

30

35

40

45

50

55

continuacion con mas detalle.

De este modo es ventajoso que el accionamiento del rig de camaras elimine, de forma correspondiente al valor de correccion, la diferencia de zoom y/o la dislocacion vertical entre las dos imagenes parciales. Tambien es posible una correccion de imagen puramente digital.

Cada valor de correccion presenta un valor de confianza correspondiente de forma adecuada. Un valor de confianza de este tipo caracteriza la calidad del analisis de imagen que realiza un procesador de imagenes, sobre cuya base se ha generado el valor de correccion. De esta forma a cada valor de correccion esta ligada tambien una medida de fiabilidad. Los tramos entre correcciones realizadas se cubren por interpolacion, siempre que no superen una separacion maxima predefinida sobre la abscisa, para que tambien para estos tramos no visitados esten disponibles unos valores de correccion. Mediante la interpolacion se consigue un complemento mediante nuevos valores de correccion adicionales incluso para los ajustes de zoom y/o ajustes de pitch, que no se han acometido explicitamente, en el caso de unos valores de correccion nuevos situados de forma correspondientemente proxima. La interpolacion se lleva a cabo de forma preferida en funcion de los valores de tiempo y/o confianza de los valores de correccion participantes.

Los valores de correccion se obtienen o aplican siempre en el motor y se anotan en una tabla de correcciones. Para ello pueden practicarse dos variantes, que se diferencian en si la tabla de correcciones formada a partir de los valores de correccion y su interpolacion se emplea de inmediato para rectificar el ajuste de zoom y/o el ajuste de pitch de una camara del rig de camara, de tal manera que se consigue de inmediato, es decir todavia durante la pelicula, una modificacion positiva, o si se emplea desplazada en el tiempo, es decir solo despues de que un usuario la haya desbloqueado explicitamente. De este modo, en el segundo caso citado, puede establecerse un bucle de control manual, que excluye manipulaciones erroneas o calculos erroneos. Como aclaracion debe destacarse que la activacion de los motores provoca una regulacion. Cada correccion se aplica de este modo de inmediato al motor. Las dos variantes se diferencian por lo tanto en si la tabla formada por las correcciones individuales, que tambien contiene los tramos obtenidos con ayuda de interpolacion, se usa de inmediato, lo que conlleva la ventaja de que al visitarse de nuevo una distancia focal no es necesario empezar a corregir desde el principio, porque los valores de la tabla de correcciones, como se han establecido en un proceso anterior, se aplican de inmediato.

Ha quedado demostrado que es ventajoso que los valores de correccion de zoom se archiven en funcion de la direccion del zoom, que se obtiene durante su establecimiento, en una primera o segunda tabla de valores de correccion de zoom. Despues se tiene en cuenta el diferente comportamiento de camara, en funcion de la direccion del zoom. De este modo es ventajoso que, si p.ej. al hacer zoom sobre la imagen se determina que entre la imagen parcial izquierda y la derecha existe un desajuste de zoom, se siga haciendo zoom sobre la imagen sobre la que todavia no se ha hecho suficiente zoom. La direccion de zoom original, que ha llevado a la posicion final existente, se prosigue despues con la imagen sobre la que no se ha hecho suficiente zoom. La calidad del procedimiento para corregir el ajuste del zoom y/o la dislocacion vertical se mejora de este modo.

Un ejemplo de realizacion ventajoso esta caracterizado porque los valores de correccion estan conectados por calculo a un grafico y los valores de control en las zonas del grafico, en las que la pendiente/curvatura es mayor que un valor limite predefinido, no pueden aplicarse al ajuste de zoom y/o pitch, es decir, solo se anotan como candidatos pero todavia no se tienen en cuenta para formar las interpolaciones. Como aclaracion debe destacarse que despues de cada nueva correccion la interpolacion se adapta a modo de prueba. Si con ello se producen zonas con una pendiente / curvatura excesivamente grande con relacion a un valor predefinido, la ultima correccion, es decir la que lo provoca, obtiene un estado de candidato y todavia no se asume la interpolacion que se acaba de formar. Las correcciones tienen por lo tanto que respetar con relacion a sus vecinos una pendiente o curvatura maxima autorizada. Las correcciones que incumplan la pendiente / curvatura maxima autorizada se materializan en el motor y se anotan como candidatos, para esperar a una repeticion correspondiente. Solo entonces estas correcciones, que incumplen la pendiente / curvatura maxima autorizada, se convierten en un componente de pleno valor de la tabla de correcciones y de sus interpolaciones.

Asimismo es ventajoso que el grafico se defina como una nueva calibracion en un momento determinado por el usuario, cuyos valores de correccion a partir de ese momento se usen como ajuste estandar con respecto al ajuste de zoom y/o pitch. De este modo se define una nueva curva de calibracion basica, que se compone de los valores antiguos todavia no corregidos y de los nuevos valores, en donde los nuevos valores modifican los valores contenidos previamente en la tabla basica, mediante la cual se modifican los valores de correccion establecidos por los mismos, los ajustes de zoom y/o los ajustes de pitch respectivos.

Es ventajoso que los valores de correccion interpolados se calculen en funcion de la proximidad a los valores de correccion ya encontrados. De este modo se fuerza una conexion directa entre valores de correccion encontrados y valores de correccion interpolados.

La invencion se refiere tambien a un control o a una regulacion de un rig de camara con dos camaras, que esta configurado(a) para llevar a cabo el procedimiento conforme a la invencion, asi como a un procedimiento para una correccion de imagenes puramente digital.

5

10

15

20

25

30

35

40

45

50

En otras palabras, esto se describe de la forma siguiente:

mientras que las tablas basicas elaboradas durante una calibracion estan sometidas a un proceso de envejecimiento, por ejemplo a causa de la temperatura, la gravitacion, la holgura, etc., mediante la invencion se pone remedio a esto. Se ponen a disposicion funciones de correccion en linea para el zoom y la dislocacion vertical media, que se hacen efectivas cuando el error de imagen correspondiente supera una medida establecida y no se hace zoom sobre el mismo en ese momento. Todas las correcciones llevadas a cabo se registran en tablas de correcciones, se someten periodicamente a determinados criterios de seleccion y por ultimo se combinan con las tablas basicas existentes, de tal manera que la mismas tras algunos ajustes de zoom se corresponden con la nueva situacion, porque los valores interpolados estan disponibles para distancias focales no visitadas. La decision de actualizar las tablas basicas corresponde sin embargo al usuario. Para la dislocacion vertical media existe una tabla de correccion, por ejemplo con inclinacion simetrica. Para el ajuste de zoom existen sin embargo dos tablas de correccion, respectivamente una para el zoom de avance y otra para el zoom de retroceso.

Las correcciones realizadas son o bien puntuales y volatiles o bien tienen una influencia local en la tabla de correcciones:

las correcciones con un valor de confianza suficiente tienen influencia local, es decir adaptan la tabla de correcciones continuamente a su entorno, de tal manera que con una nueva visita al mismo punto ya se asume el valor de motor corregido.

Las correcciones en las que dentro de las interpolaciones se ha superado una pendiente / curvatura maxima predefinida, y las correcciones con un valor de confianza excesivamente reducido son tan solo puntuales y volatiles, es decir, se realizan en el motor y se anotan como candidatos pero sin tener influencia en la tabla de correcciones, el llamado auto-clear, es decir, en una nueva visita al mismo punto debe corregirse de nuevo de forma correspondiente. Auto-clear significa de este modo que la correccion introducida se degrada poco a poco ademas con cada variacion de zoom subsiguiente, es decir, se vuelve a los valores de correccion de la tabla basica.

Entre dos correcciones con influencia local se interpola, si estas no superan una separacion maxima predefinida sobre la abscisa de la tabla de correcciones, es decir la distancia focal. Sin embargo, en lo posible no se extrapola.

Una correccion actual con una separacion reducida respecto a una antigua sustituye a esta antigua:

las correcciones pueden sustituirse unas a otras si superan una separacion minima con relacion a la abscisa de la tabla de correcciones. La separacion, dentro de la cual tiene lugar una sustitucion, se llama pasillo de sustitucion y en su anchura depende de la antiguedad de la correccion a sustituir, es decir, cuanto mas antigua sea la correccion mas ancho es el pasillo.

Una correccion actual con influencia local sustituye a una mas antigua, siempre que esta mas antigua tuviese tambien influencia local. Si la mas antigua es de tipo puntual y volatil, es decir un candidato, no se produce una sustitucion. La mas antigua sigue existiendo como candidato.

Una correccion actual de tipo puntual y volatil sustituye a una mas antigua, siempre que esta mas antigua sea tambien de tipo puntual y volatil. Si la mas antigua tiene influencia local, no se produce una sustitucion. La correccion mas actual aparece como candidato junto a la mas antigua.

La sustitucion de una correccion se anota. Las sustituciones repetidas de dimension similar, es decir con relacion a la ordenada de la tabla de correcciones, se cuentan. Cada correccion detectada posee un contador de este tipo. Su valor se llama peso de repeticion.

Las correcciones adyacentes de dimension similar se refuerzan mutuamente:

si se visita un punto sobre la abscisa, es decir una distancia focal, que esta situada en el pasillo de sustitucion de una correccion mas antigua con influencia local y no se necesita una nueva correccion, aumenta el peso de repeticion de esta mas antigua.

Las correcciones pequenas sobre la base de una posicion interpolada confirman las dos correcciones adyacentes, que han dado pie a esta interpolacion. Se aumenta el peso de repeticion.

Las correcciones pequenas sobre la base de una posicion interpolada confirman las dos correcciones adyacentes, que han dado pie a esta interpolacion. Su marcador cronologico se ajusta al de la correccion actual.

Solo los candidatos con una determinada repeticion influyen en la estructura de la tabla de correcciones. Segun la repeticion y el peso de los candidatos, asi como la antiguedad y el peso de los vecinos existentes, se modifican hasta tres correcciones, de tal manera que se respeta finalmente la pendiente / curvatura maxima:

los candidatos, cuyo peso de repeticion supera un valor predefinido, influyen en la tabla de correcciones por medio de que se debilitan hasta tal punto, que no se incumpla la pendiente / curvatura maxima admisible

durante la interpolacion. Si existe un candidato junto a una correccion con influencia local, esto solo se produce si el peso de repeticion del candidato supera el de la otra correccion en un valor predefinido. Es ventajoso que tambien los dos vecinos del candidato se debiliten a la medida de su antiguedad y/o de su peso de confianza y/o de su peso de repeticion, es decir se ajusten algo mas al candidato, por lo tanto que 5 se reparta el debilitamiento.

La tabla de correcciones en su forma actual puede someterse periodicamente a un proceso, que limite el numero de valores de control a un numero maximo predefinido, y precisamente de tal manera, que se mantengan de forma preferida las correcciones mas actuales y/o fiables.

Los valores y/o modelos de decision predefinidos pueden someterse a un proceso de aprendizaje, p.ej. por medio de 10 que en paralelo se gestione un gran numero de posibles interpolaciones, en base en diferentes juegos de parametros, y/o unos modelos de decision y cada nueva correccion llevada a cabo conduzca a una valoracion de todas estas interpolaciones. En el trascurso del funcionamiento puede cristalizarse despues la combinacion que mejor funcione formada por un juego de parametros y una reunion de reglas.

Basicamente los mecanismos descritos pueden aplicarse a todas las correcciones, que puedan representarse 15 mediante una tabla look-up unidimensional, por ejemplo una dislocacion en altura.

Claims

5

10

15

20

25

30

35

REIVINDICACIONES

1. - Procedimiento para corregir el ajuste de zoom y/o la dislocacion vertical en una imagen compuesta por dos imageries parciales de una pelfcula esteoreoscopica, en donde una de las imagenes parciales es proporcionada por una primera camara de un rig de camara y la segunda imagen parcial es proporcionada por una segunda camara del rig de camara, en donde se modifica una dislocacion vertical a traves de una modificacion del ajuste de pitch, en donde durante el funcionamiento, al tomar la pelfcula esteoreoscopica, se detecta una diferencia entre los resultados existentes del zoom en la primera imagen parcial con relacion a la segunda imagen parcial y/o se detecta una dislocacion vertical de los puntos de imagen existentes en la primera imagen parcial con relacion a los puntos de imagen en la segunda imagen parcial, que se corresponden con estos, y basandose en este conocimiento se calculan unos valores de correccion con los que se reduce la diferencia de zoom y/o la dislocacion vertical, con una aplicacion correspondiente al ajuste de zoom y/o de pitch, y a cada valor de correccion se asigna un valor de tiempo y un valor de confianza.
2. - Procedimiento segun la reivindicacion 1, caracterizado porque la activacion del rig de camaras, de forma correspondiente al valor de correccion, elimina la diferencia de zoom y/o la dislocacion vertical entre las dos imagenes parciales.
3. - Procedimiento segun las reivindicaciones 1 o 2, caracterizado porque entre dos valores de correccion se calculan uno o varios valores de correccion adicionales mediante una interpolacion, de forma preferida en funcion de su valor de tiempo y/o de confianza.
4. - Procedimiento segun una de las reivindicaciones 1 a 3, caracterizado porque los valores de correccion se emplean de inmediato para corregir el ajuste de zoom y/o el ajuste de pitch de una camara del rig de camara o bien desplazados en el tiempo, por ejemplo solo despues de que un usuario los haya desbloqueado explfcitamente.
5. - Procedimiento segun una de las reivindicaciones 1 a 4, caracterizado porque los valores de correccion de zoom se archivan en funcion de la direccion del zoom, que es la base de su determinacion, en una primera o una segunda tablas de valores de correccion de zoom.
6. - Procedimiento segun una de las reivindicaciones 1 a 5, caracterizado porque los valores de correccion se conectan por calculo a un grafico y los valores de control en las zonas del grafico, en las que la pendiente/curvatura es mayor que un valor lfmite predefinido, aunque se aplican con relacion al ajuste de zoom y/o pitch, no se adapta todavfa para procesos posteriores una interpolacion de una tabla de correcciones que contenga los valores de correccion.
7. - Procedimiento segun la reivindicacion 6, caracterizado porque el grafico se define como una nueva curva de calibracion, cuyos valores de correccion a partir de ese momento se usan en combinacion con los valores de una tabla basica como ajuste estandar con respecto al ajuste de zoom y/o pitch.
8. - Procedimiento segun una de las reivindicaciones 3 a 7, caracterizado porque los valores de correccion interpolados se calculan en funcion de la proximidad a valores de correccion ya encontrados.
9. - Control o regulacion de un rig de camara con dos camaras, que estan configurados(as) para llevar a cabo el procedimiento segun una de las reivindicaciones 1 a 8.