ES2930087T3 - Método para la restauración automática de un estado calibrado de un sistema de proyección - Google Patents

Abstract

La invención, que se refiere a un método para restaurar automáticamente un estado calibrado de un sistema de proyección, se basa en el objeto de especificar una solución que permita una alineación simple y sin errores de un sistema de proyección en un estado original sin errores de la proyección. sistema. Este objeto se logra porque un estado calibrado de un sistema de proyección se restablece automáticamente calculando o comprobando una posición y orientación de una o más cámaras dentro del sistema de proyección, en el que se utilizan puntos fijos, en el que posteriormente m veces n marcadores (9 ') se proyectan sobre el área de proyección, siendo utilizados dichos marcadores por una o más cámaras para determinar un número reducido, en comparación con la calibración, de segundos puntos de medición (Ql ') que tienen una coordenada X, Y y Z cada uno, (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Método para la restauración automática de un estado calibrado de un sistema de proyección

[0001] La invención se refiere a un método para la restauración automática de un estado calibrado de un sistema de proyección.

[0002] La presente descripción se refiere a un cálculo de ecualizaciones geométricamente correctas para proyecciones monocanal y multicanal. También trata de determinar y calcular los fundidos geométricamente correctos en las áreas de superposición de las proyecciones individuales, a partir de las cuales se genera la proyección a gran escala. En particular, se describe una estrategia para una recalibración automatizada y volver a una calibración original para proyecciones multicanal.

[0003] Debido a la potencia lumínica y las resoluciones necesarias para una buena visibilidad, las proyecciones a gran escala se componen normalmente de varias proyecciones por separado o proyecciones individuales.

[0004] Dichas proyecciones a gran escala, que se generan por medio de un denominado sistema de proyección, generalmente se componen de varias proyecciones individuales o imágenes parciales pequeñas, donde los canales de proyección por separado, que generan las imágenes parciales, se distorsionan geométricamente y se funden de una manera adaptada a la superficie de proyección. De esta manera, se puede generar una proyección o representación homogénea correspondientemente a gran escala sobre la superficie de proyección, por ejemplo, mediante cuatros proyectores, cada uno de los cuales genera una imagen parcial de la proyección a gran escala.

[0005] Para generar una denominada proyección a gran escala continua, compuesta, por ejemplo, de dos o cuatros proyección individuales o imágenes parciales, se deben calibrar los canales de proyección por separado. Este proceso de calibrar los canales de proyección también se denomina alineación.

[0006] Para este proceso de calibración, se proyectan, por ejemplo, patrones determinados sobre la superficie de proyección. Estos patrones marcan puntos sobre la superficie de proyección o están diseñados de tal manera que se pueden derivar puntos de ellos. Los puntos derivados de esta forma se pueden obtener de dos líneas que se cruzan o, por ejemplo, de una esquina de una figura geométrica plana.

[0007] Está previsto que las posiciones espaciales (coordenadas X, Y y Z) de estos puntos se midan, por ejemplo, mediante dos cámaras. Sobre la base de un modelo de puntos 3D obtenido de esta manera, la superposición de los proyectores por separado se puede determinar en cada punto sobre la superficie de proyección (pantalla) y de esto se puede derivar una denominada fusión (blending o ajuste de brillo) para cada proyector involucrado en la generación de la proyección a gran escala. Esta fusión determinada se puede implementar, por ejemplo, por medio de máscaras de fusión, que están dispuestas en la trayectoria del rayo frente al proyector respectivo.

[0008] Según el estado de la técnica conocido anteriormente, los cambios de señal de las señales de vídeo de los canales de vídeo por separado de los proyectores, que se requieren para cada generación de imágenes parciales, se realizan después de la generación de imágenes usando métodos adecuados para distorsionar y fusionar las señales de vídeo. La señal modificada de esta manera se envía como señal de entrada a un proyector, que genera la imagen parcial correspondiente sobre la superficie de proyección. Este proceso del procesamiento de señales o cambio de señal se realiza habitualmente para cada canal de proyección que interviene en la generación de la proyección, es decir, para cada imagen parcial.

[0009] Por lo tanto, los cambios de los canales de proyección o las imágenes parciales necesarios para generar la proyección a gran escala sobre una superficie de proyección, por ejemplo, para adaptarse a la superficie de proyección dada y/o a una fusión, se aplican directamente a la señal de entrada de cada proyector y, por lo tanto, influyen en la proyección de las imágenes parciales representadas.

[0010] La configuración de una proyección a gran escala, que consta de varias proyecciones parciales o imágenes parciales, es complicada. Los denominados sistemas basados en cámaras para configurar una proyección, que tienen una cámara que mira hacia la superficie de proyección, reducen significativamente el esfuerzo involucrado en la configuración. Sin embargo, un sistema basado en cámaras requiere altos requisitos para lograr resultados de alta calidad. Por lo tanto, la cámara debería poder ver la superficie de proyección de la forma más completa posible.

[0011] De la EP 1434434 A1 se conoce un método para la calibración automática de un sistema multiproyector con al menos dos proyectores, donde con cualquier número de imágenes, que son generadas por diferentes proyectores, se genera una representación superpuesta con precisión de píxel para aumentar la luminosidad general o para habilitar una representación estéreo. Alternativamente, también se puede representar en una pantalla (grande) una imagen completa más grande compuesta por una pluralidad de imágenes de proyección individuales que se superponen al menos parcialmente con precisión de píxel. El sistema necesario para llevar a cabo el método también comprende una cámara digital y una unidad de control para controlar los proyectores y la cámara. Según el método descrito, se realiza una generación, grabación y filtración de imágenes de patrones de franjas para la calibración automática de un sistema multiproyector, donde se encuentra la superficie de proyección más grande posible y se realizan tanto un cálculo de los campos de deformación como una deformación de la imagen.

[0012] La desventaja de esta solución conocida es que no hay forma de recalibrar el sistema multiproyector. En el caso de un cambio de posición de un proyector, todo el método para calibrar automáticamente un sistema multiproyector debe realizarse de nuevo en su totalidad.

[0013] De la US 6,456,339 A1 se conoce un método para generar una visualización de alta resolución. El método usa información de corrección de píxeles almacenada, que se aplica a los datos de píxeles que se van a representar y genera datos de píxeles corregidos o modificados de esta manera. Estos datos de píxeles corregidos o modificados comprenden las distorsiones y/o correcciones necesarias, que se requieren para generar una imagen completa compuesta usando varios proyectores. Se prevé que los datos de píxeles se aplicarán en una memoria intermedia de trama y la información de corrección de píxeles se aplicará a los datos de píxeles en la memoria intermedia de trama antes de la visualización. Alternativamente, la información de corrección de píxeles se usa en primer lugar y los datos de píxeles corregidos se almacenan posteriormente en la memoria intermedia de trama. A continuación, se genera la visualización de alta resolución a partir de los datos de píxeles corregidos. En una forma de realización preferida, el sistema incluye una multitud de proyectores. La información de corrección de píxeles corrige la desalineación de las matrices de píxeles superpuestas proyectadas y garantiza la superposición sin errores de las áreas de proyección en una proyección completa a gran escala.

[0014] En otra forma de realización, las imágenes proyectadas desde varios proyectores se superponen completamente, y los proyectores tienen un factor de llenado pequeño, lo que da como resultado una visualización de alta resolución.

[0015] Para generar la información de corrección de píxeles, se proporciona una detección óptica de gráficos de prueba físicos o proyectados y su evaluación por una unidad correspondiente. Preferiblemente, un sensor óptico apropiado para detectar los gráficos de prueba comprende al menos una cámara, como, por ejemplo, una cámara CCD. Alternativamente, el sensor óptico también puede comprender varias disposiciones de sensores lineales ortogonales.

[0016] La desventaja de esta solución conocida es también que no hay posibilidad de recalibrar el sistema multiproyector. En el caso de un cambio de posición de un proyector, todo el método para la calibración automática de un sistema multiproyector debe realizarse de nuevo en su totalidad.

[0017] Si el proceso de calibración o alineación inicial se ha completado con éxito, se puede generar una proyección continua a gran escala sin errores, de modo que las áreas superpuestas ya no puedan ser percibidas por un espectador.

[0018] Dichas proyecciones a gran escala no se mantienen a menudo estables a largo plazo. Incluso un ligero cambio de la alineación de un proyector tiene un gran impacto en la proyección a gran escala, las imágenes parciales se separan. Esto puede ocurrir, por ejemplo, por cambios térmicos en los proyectores o sus marcos, o por la necesidad de cambiar la lámpara de un proyector. Debido a un ligero cambio en uno o varios proyectores, la proyección individual generada por el proyector en cuestión también cambia, por ejemplo, con respecto a su posición o extensión geométrica sobre la superficie de proyección. En este caso, se debe restaurar un estado calibrado de un sistema de proyección, lo que también se denomina recalibración, nueva calibración o realineación. A este respecto, la proyección se devuelve al estado original después de la calibración para obtener una representación sin errores de una proyección continua a gran escala nuevamente.

[0019] Es posible llevar a cabo dicha restauración de un estado calibrado de esta manera manualmente. Sin embargo, esta requiere mucho tiempo y conocimientos expertos.

[0020] También se conocen sistemas basados en cámaras para restaurar un estado calibrado. Por lo tanto, en la publicación de B. Sajadi, A. Majumder, “Autocalibrating Tiled Projectors on Piecewise Smooth Vertically Extruded Surfaces”, IEEE Transactions on Visualization and Computer Graphics, Vol. 17, N.° 9, 2011, págs. 1209-1222 describe un método para la autocalibración y recalibración de proyecciones en mosaico sobre superficies de proyección extruidas verticalmente lisas por partes, como superficies de proyección cilindricas o CAVE, donde toda la superficie de proyección se detecta por medio de una cámara. Usando imágenes de comparación, primero se examina si la proyección ha cambiado y luego se determina si el cambio se debe a un cambio en las posiciones de los proyectores, la cámara y/o la superficie de proyección. Si se detecta un cambio en la posición de uno o varios proyectores, se proyecta un patrón sobre la superficie de proyección por medio de este o estos proyectores y la proyección se calibra en comparación con el patrón grabado en el estado calibrado. Si se detecta un cambio en la posición de la cámara, se vuelve a determinar la posición de la cámara. Si se detecta un cambio en la forma o la posición de la superficie de proyección, se define de nuevo el sistema de coordinación de la proyección. El método descrito en la publicación previamente mencionada se limita a superficies de proyección extruidas verticalmente lisas por partes.

[0021] De la US 2016/353068 A1 se conoce un sistema de proyección, que permite una recalibración simple. El sistema de proyección comprende una multitud de unidades de proyección, que están configuradas para proyectar una imagen como un todo; un receptor, que está configurado para recibir una instrucción para desplazar puntos de referencia, que definen un área objetivo de proyección, sobre el cual la pluralidad de unidades de proyección proyecta toda la imagen en una calibración inicial; una unidad de almacenamiento, que está configurada para almacenar los puntos de referencia del área objetivo de proyección, que se utiliza en la calibración inicial; una unidad de control, que está configurada para iniciar una nueva calibración como reacción a un suceso; una unidad de ajuste, que está configurada, por tanto, para establecer el área objetivo de proyección en base a los puntos de referencia almacenados en la unidad de almacenamiento tras una nueva calibración; y un dispositivo de cálculo de coeficientes de corrección, que está configurado, por tanto, para calcular coeficientes de corrección para la pluralidad de unidades de proyección en base al área objetivo de proyección restablecida por la unidad de ajuste.

[0022] De la EP 2854400 A1 se conoce una recalibración, que es posible mediante un cálculo de parámetros de normalización.

[0023] Los sistemas basados en cámaras para restaurar un estado calibrado requieren una superficie de proyección que la cámara pueda ver completamente para un buen resultado de la restauración. Por lo tanto, se deben eliminar los posibles obstáculos durante el tiempo de restauración.

[0024] Esta restauración de un estado calibrado debe tener lugar lo más rápido posible y con una cantidad limitada de hardware. Las limitaciones enumeradas a continuación pueden limitar la precisión de una restauración y deben tenerse en cuenta en consecuencia durante una restauración.

[0025] En el caso de que la proyección a gran escala no se pueda ver completamente usando una cámara en sistemas basados en cámaras, la limitación está limitada por una limitación de visión. Una tal limitación puede ser causada, por ejemplo, por estructuras frente a la superficie de proyección, como, por ejemplo, una cabina en un simulador de vuelo. Debido a la vista limitada de la cámara, se pueden reconocer menos puntos de referencia sobre la superficie de proyección durante una restauración y, por lo tanto, también se pueden medir pocos puntos de referencia de lo que era posible en el proceso del calibración inicial con una vista despejada de la cámara sobre la superficie de proyección.

[0026] Otra limitación adicional de la precisión puede ser causada por imprecisiones en los marcadores recién medidos. Esta limitación se produce, por ejemplo, en el caso de que la cámara tuviera que disponerse de forma que quedara colocada fuera del campo visual del espectador. En este caso, la cámara tiene un ángulo de visión muy plano sobre la superficie de proyección.

[0027] Por ejemplo, si solo se usa una cámara y la imagen de la cámara se utiliza completamente hasta el interior de las esquinas de la imagen de la cámara, la calidad inferior de la óptica de la cámara en las áreas del borde de la lente puede conducir a una limitación de la precisión.

[0028] Una limitación de la precisión también puede ser causada por un resolución limitada o insuficiente de la cámara o la óptica.

[0029] Las imprecisiones en la determinación de la posición de la cámara en el sistema basado en cámaras, por ejemplo, debido a marcas de referencia desplazadas, como, por ejemplo, marcadores láser, también pueden limitar la precisión.

[0030] A pesar de las limitaciones descritas y las posibles fuentes de error, un sistema de restauración de un estado calibrado debería volver a proporcionar una proyección a gran escala sin saltos ni imágenes dobles, que además sea continua y lo más cercana posible a la calibración o el diseño original.

[0031] La invención se refiere a la forma en que se devuelve el estado original o se restaura el estado calibrado del sistema de proyección.

[0032] El objeto de la invención es especificar un método para restaurar automáticamente un estado calibrado de un sistema de proyección, que permite una alineación simple y sin errores de un sistema de proyección a un estado sin errores originalmente calibrado del sistema de proyección.

[0033] El objeto se logra mediante un método con las características de la reivindicación 1 de las reivindicaciones independientes. Los desarrollos adicionales se especifican en las reivindicaciones dependientes.

[0034] Los denominados métodos de calibración asistidos por ordenador para sistemas de proyección, basados en datos de diseño o medición, tienen en común que requieren una asignación de coordenadas de proyector a coordenadas 3D sobre la superficie de proyección, a la pantalla, como una solución provisional, por ejemplo, una asignación según:

(xpypi, XYZi).

[0035] Esta asignación puede ser un conjunto limitado, pero denso, de pares de puntos. Por ejemplo, 30 X 20 pares de puntos por proyector.

[0036] En base a estos datos, se pueden calcular los datos de corrección posteriores para cualquier mapeo. Si esta asignación no es o ya no es precisa, todos los datos de corrección calculados a partir de ella también serán inexactos.

[0037] El término coordenadas 3D se refiere a coordenadas en un sistema de coordenadas tridimensional con las dimensiones X, Y, Z. La presente descripción utiliza un sistema de referencia uniforme espacial, en el que se pueden describir la posición y la orientación de los componentes individuales, como la superficie de proyección (pantalla), proyectores, proyección, cámaras, etc.

[0038] Las coordenadas de proyector, que también se denominan coordenadas de la imagen del proyector o coordenadas del espacio de la pantalla, son coordenadas bidimensionales en la imagen que va a representar el proyector con las dimensiones x, y. Las designaciones xp e yp se utilizan aquí para una mejor diferenciación de las coordenadas de la cámara.

[0039] Las coordenadas de mapeo, que también se denominan coordenadas de textura, se refieren a un punto del contenido que se va a proyectar, que puede ser una imagen o una textura. Estas coordenadas suelen ser bidimensionales (2D) con las coordenadas u y v, pero se pueden ampliar en una coordinada más, por ejemplo, para poder usarlas en datos de textura volumétrica.

[0040] El término coordenadas de cámara o coordenadas de imagen de cámara se utiliza para coordenadas bidimensionales en la imagen de cámara con las dimensiones x e y. Las designaciones xc e yc se utilizan para una mejor diferenciación de las coordenadas de proyector.

[0041] Las coordenadas de cámara o coordenadas de imagen de cámara corregidas son coordinadas bidimensionales con las dimensiones x e y en una imagen de cámara idealizada sin distorsión. Aquí se utilizan las denominaciones xc' e yc'.

[0042] Se entiende que el término mapeo significa una ilustración de coordenadas 3D en el espacio a coordenadas 2D. Este mapeo se utiliza para asignar cualquier punto de la proyección a una coordenada 2D. Por ejemplo, en el caso simple de una proyección plana a lo largo del eje Z, esto sería:

[0043] Donde Xmin/Xmax representan los límites de mapeo izquierdo o derecho e Ymin/Ymax representan los límites de mapeo inferior o superior. De esta manera, se reproducen coordenadas 3D dentro del límite de mapeo a coordenadas de mapeo 2D normalizadas.

[0044] Al restaurar un estado calibrado de un sistema de proyección, como se propone aquí, se pretende que, mediante una combinación adecuada de datos potencialmente incompletos y sin lagunas de una nueva calibración (recalibración) con los datos más densos y completos de la calibración inicial o los datos de un diseño, se cerrarán las lagunas en los datos de la nueva calibración. Por lo tanto, se logra una precisión de calibración significativamente mejorada sobre toda la superficie de proyección.

[0045] Una razón para la aparición de datos incompletos y, por lo tanto, de un número disminuido o reducido de puntos de medición utilizables al volver a calibrar, por ejemplo, que áreas parciales de la superficie de proyección no se pueden ver con una o varias cámaras.

[0046] Siempre que los proyectores del sistema de proyección estén instalados de forma permanente y proyecten sobre una superficie de proyección homogénea, se supone que entre una proyección original y una proyección posterior solo hay pequeñas diferencias, que se pueden expresar mediante un vector de desplazamiento. A este respecto se asume un orden de magnitud en el rango de 1/1000 a 1/10 del tamaño de proyección individual.

[0047] También se supone que estas diferencias entre las proyecciones solo varían a bajas frecuencias dentro de una sola proyección individual. Dado que solo se pueden esperar pequeñas diferencias con una variación de baja frecuencia entre la proyección original y la proyección posterior, los método de interpolación son particularmente adecuados para la generalización, basados en muy pocos pares de puntos, que podrían generarse con una nueva calibración.

[0048] Las denominadas interpolaciones multivariantes o multidimensionales para datos dispersos, también conocidas como datos en cuadrículas irregulares, se utilizan para interpolar los datos de los puntos de medición que no se pueden generar durante una nueva calibración, por ejemplo, limitando el campo de visión de la cámara a los marcadores proyectados. Por ejemplo, "Nachster Nachbar" (k vecinos más cercanos), "Inverse Distanz" (inverso a la distancia) o "Thin Plate Spline" (splines de placa delgada), donde una limitación no se limita a estas.

[0049] Para determinar los pares de puntos de los datos de medición al restaurar el estado calibrado, se utiliza un desplazamiento (offset) tridimensional para el número reducido de puntos de medición disponibles al configurar de nuevo, por ejemplo, entre una posición de un punto de medición Q identificado durante la calibración inicial con su Coordenada X, Y y Z y la posición del mismo punto de medición Q' al calibrar de nuevo, determinada de la siguiente manera:

OffsetXYZi = XYZ¡' - XYZ¡.

[0050] En base a 3*n pares de datos se aplican:

(XYZi, OffsetXi)

(XYZi, OffsetYi)

(XYZi, OffsetZi).

[0051] A continuación, se determinan tres interpolaciones según:

OffsetX(XYZ)

OffsetY(XYZ)

OffsetZ(XYZ)

para estimar las tres coordenadas de un vector de desplazamiento.

[0052] Con la ayuda de las funciones offset determinadas ahora, se puede calcular un punto estimado XYZ' para el tiempo actual para cada punto XYZ de la siguiente manera:

X' = X OffsetX(XYZ) Y' = Y OffsetY(XYZ) Z' = Z OffsetZ(XYZ).

[0053] Dado que los datos originales también contenían la posición en el espacio del proyector para cada punto medido, ahora se pueden calcular pares de puntos (xpypi, XYZi') de la siguiente manera:

(xpypi, XYZi Offset(XIZi)).

[0054] En base a los pares de puntos recién determinados (xpypi, XYZi'), todos los datos de corrección requeridos pueden derivarse equivalentes a una calibración inicial.

[0055] Las optimizaciones al restaurar un estado calibrado de un sistema de proyección se explican a continuación.

[0056] Se puede realizar una primera optimización suponiendo una inmutabilidad o una superficie de proyección constante. En esta condición, la interpolación de los vectores de desplazamiento, para la que previamente había que tener en cuenta tres coordenadas, puede reducirse a un problema bidimensional.

[0057] Los puntos 2D en el espacio del proyector se asignan a vectores de desplazamiento 2D en un espacio tangencial 2D previamente definido de la superficie de proyección. En base a 2*n pares de datos

(xpypi, OffsetUi)

(xpypi / OffsetVi)

se determinan dos interpolaciones para reproducir las dos coordenadas de los vectores de desplazamiento según:

OffsetU(xpyp)

OffsetV(xpyp).

[0058] Se puede lograr otra optimización mediante la reducción de los errores de medición aprovechando redundancias.

[0059] Como ya se describió anteriormente, se esperan imprecisiones al restaurar un estado calibrado de un sistema de proyección debido a:

• un ángulo de visión muy plano de la cámara sobre la superficie de proyección,

• el uso de la imagen de cámara hasta el interior de las esquinas,

• la resolución limitada de la óptica de la cámara e

• imprecisiones en la determinación de posición de la cámara.

[0060] Siempre que un marcador visto en la superficie de proyección esté en el rango de detección de dos cámaras que trabajan simultáneamente o sea grabado por ellas, los errores de medición resultantes pueden reducirse significativamente.

[0061] Se puede lograr una reducción de un error de medición, por ejemplo, cuando los puntos de medición derivados de marcadores se ponderan de acuerdo con un error que se espera o una certeza que se espera.

[0062] También es posible excluir puntos de medición que son demasiado imprecisos de otro cálculo. La exclusión de puntos de medición es posible porque el concepto central está diseñado para funcionar con unos pocos datos de medición llenos de lagunas, es decir, un número reducido de puntos de medición, al restaurar el estado calibrado de un sistema de proyección.

[0063] La garantía global de los puntos de medición por separado puede estar compuesta por diferentes criterios de evaluación. En una alternativa, un único criterio de evaluación también puede ser suficiente.

[0064] Por ejemplo, cuando se utilizan varios criterios de evaluación, puede tener lugar una combinación multiplicativa de las evaluaciones de seguridad por separado, en cuyo caso se genera un valor para la seguridad total de un punto de medición: seguridad total = seguridad1 * seguridad2 * ... * seguridadN.

[0065] Un ejemplo de esto puede ser:

Seguridad total = seguridad(ángulo i) * seguridad(xcyc i) *

seguridad(resolución de cámara i) * seguridad(resolución de cámara i)

[0066] En este caso,

• el ángulo de la cámara con respecto la superficie de proyección,

• las coordenadas de la cámara corregidas xc e yc,

• la resolución de la cámara y

• la seguridad al determinar la posición de la cámara se incluyen en la determinación de la seguridad total al evaluar un punto de medición.

[0067] Si la seguridad total i de un punto de medición determinada de esta manera está por debajo de un umbral predefinido determinado, este punto de medición se puede descartar o excluir de un procesamiento posterior. Si la seguridad total i de un punto de medición determinada de esta manera está por encima del umbral predefinido, este punto de medición se utiliza para restaurar un estado calibrado de un sistema de proyección.

[0068] Si un punto de medición desde n posiciones de cámara diferentes, por ejemplo, cuando se utilizan n cámaras al mismo tiempo, los diferentes valores de medición se pueden combinar según su seguridad: punto de medición = (punto de medición1 * seguridad1 punto de medición2 * seguridad2 ... punto de mediciónN*seguridadN) / (seguridad1 seguridad2 ... seguridadN).

[0069] De esta manera, se genera un punto de medición, cuyo error de medición se reduce significativamente.

[0070] Otros detalles y otras características y ventajas de las configuraciones de la invención surgen de la siguiente descripción de ejemplos de realización con referencia a los dibujos adjuntos. Se muestran:

Figura 1: una representación esquemática de una proyección a gran escala sobre una superficie de proyección curvada mediante varios proyectores,

Figura 2: una representación ejemplar de las imágenes parciales de la proyección a gran escala, Figura 3: una proyección de marcadores sobre la superficie de proyección para calibrar el sistema de proyección,

Figura 4: una representación parcialmente ampliada del marcador sobre la superficie de proyección de la figura 3,

Figura 5: una representación de un modelo 3D generado de la superficie de proyección con puntos de medición de modelo M y puntos de medición Q,

Figura 6: una representación de una proyección a gran escala sin errores después de una calibración del sistema de proyección,

Figura 7: una proyección defectuosa de una imagen parcial después de un cambio de posición de un proyector,

Figura 8: una comparación de la proyección de marcadores sobre la superficie de proyección para calibrar el sistema de proyección antes y después de un cambio de posición de un proyector,

Figura 9: una comparación parcial de la proyección de un marcador sobre la superficie de proyección antes y después de un cambio de posición de un proyector,

Figura 10: un sistema de proyección con dos cámaras para grabar los marcadores proyectados sobre la superficie de proyección,

Figura 11: una representación de una grabación de un marcador proyectado sobre la superficie de proyección mediante dos cámaras desde diferentes posiciones,

Figura 12: una optimización de los puntos de medición 3D Qcam0 y Qcam1 determinados por dos cámaras mediante un cálculo promedio,

Figura 13: una optimización de los puntos de medición 3D determinados mediante una ponderación del ángulo a y

Figura 14: una optimización, en la que se tiene en cuenta la distancia de un punto de medición al punto central de la cámara.

[0071] En la figura 1 está representado un sistema de proyección 1, que comprende cuatros proyectores 2a, 2b, 2c, 2d a modo de ejemplo. Cada proyector 2a, 2b, 2c, 2d genera una imagen parcial 4a, 4b, 4c, 4d sobre la superficie de proyección 3 que, cuando se juntan, dan como resultado una proyección a gran escala 5. Esta proyección a gran escala 5 se genera de tal manera que entre dos imágenes parciales adyacentes 4a, 4b, 4c, 4d se crea una zona de fusión 7, en la que se superponen partes de imagen de las imágenes parciales adyacentes 4a, 4b, 4c, 4d. Las señales de imagen o vídeo de las imágenes parciales 4a, 4b, 4c, 4d requeridas para controlar los proyectores 2a, 2b, 2c, 2d se generan en una unidad central de generación de señales adecuada, que no se describe en detalle aquí porque no tiene influencia sobre las explicaciones de la presente invención.

[0072] Las imágenes parciales requeridas 4a, 4b, 4c, 4d se generan originalmente en la unidad de generación de señales de tal manera que la proyección a gran escala 5 solo puede proyectarse sobre una superficie de proyección plana 6, que está representada en la figura 1 solo para mejorar, sin errores en la representación.

[0073] Para permitir una representación sin errores sobre la superficie de proyección curvada 3, se calibra todo el sistema de proyección 1. Durante esta calibración, se generan datos que permiten distorsionar las imágenes parciales 4a, 4b, 4c, 4d de tal manera que se representan sobre la superficie de proyección curvada 3 para un observador para que sean percibidas fielmente a la original por un observador, sin cambios ni distorsiones no deseadas. Además de esta distorsión de las imágenes parciales 4a, 4b, 4c, 4d, las señales de las imágenes parciales 4a, 4b, 4c, 4d también se modifican de tal manera que se superponen en las zonas de fusión 7 con tanta precisión que el observador ya no puede percibir las imágenes parciales 4a, 4b, 4c, 4d individualmente o separadas entre sí y aparece una proyección a gran escala 5 unida. Para ello, también debe realizarse la fusión, es decir, un ajuste del brillo de las imágenes parciales 4a, 4b, 4c, 4d dentro de las zonas de fusión 7.

[0074] En la figura 2 están representadas las imágenes parciales 4a, 4b, 4c, 4d de la proyección a gran escala 5 en imágenes por separado, respectivamente. Puede verse claramente, por ejemplo, en las imágenes parciales 4a y 4b, que las imágenes parciales 4a y 4b en su lado común pueden generar una ilustración sin errores solo parcialmente superpuesta. En el ejemplo de las imágenes parciales 4a y 4b, se puede ver claramente que el ojo del pato representado debe ponerse de acuerdo para obtener una proyección a gran escala 5 sin errores.

[0075] La configuración y el funcionamiento de un sistema de proyección 1 tiene lugar, por ejemplo, en los siguientes pasos:

1. Medición

2. Diseño de proyección

3. Estructura

4. Calibración (alineación)

5. Configuración

6. Calibración nueva o retrospectiva (realineación).

[0076] La medición de la superficie de proyección 3 utilizada para la proyección y la determinación de las posibles posiciones de los proyectores 2 necesarios para la proyección de la proyección a gran escala 5 se denominan medición. A partir de esta medición se crea un primer modelo estructural del sistema de proyección 1. En base a este primer modelo estructural del sistema de proyección 1 que se ha creado, se crea un diseño de proyección. Sobre la base de este diseño de proyección creado, se pueden determinar y comprobar especificaciones, como un tipo de proyector, una resolución, posibles ópticas y el brillo. Si el diseño de proyección cumple con los criterios especificados para el sistema de proyección, el modelo del sistema de proyección 1 se implementa en la práctica, es decir, la estructura se implementa en la práctica.

[0077] Una vez que el sistema de proyección 1 se ha configurado en la práctica y finalmente se ha configurado y todas las señales de imagen se han transmitido de manera estable, el sistema de proyección 1 se puede calibrar (alinear). La transmisión de las señales de imagen se puede producir, ejemplo, mediante estándares, como DVI, HDMI o DisplayPort. Para este proceso de calibración (alineación), se proyectan m por n marcadores 8, tales como, por ejemplo, círculos o cruces, por proyector 2a, 2b, 2c, 2d sobre la superficie de proyección 3, como está representado en la figura 3. En este caso, m corresponde, por ejemplo, a un número de marcadores 8 proyectados en una fila, mientras que n indica el número de filas de los marcadores 8 en una matriz m por n. En el ejemplo de la figura 3, los marcadores 8 están representados en 7 filas, cada una con 9 marcadores, 8 por fila. Por lo tanto, en este ejemplo, m = 9 y n = 7. Estos marcadores 8 proyectados en una matriz están claramente indicados por un código Gray, por ejemplo, y detectados por una cámara. Estos marcadores 8 se pueden convertir en un punto de medición 9 Q siempre que ya exista un modelo 3D de la superficie de proyección 3 que ya se ha creado. Estos puntos de medición 9 Q tienen una posición determinada, cada uno con una coordenada X, Y y Z sobre la superficie de proyección 3. Una representación ejemplar 8 de dichos marcadores 8, por ejemplo, un proyector 2a, se muestra en la figura 3 en una vista general y en la figura 4 en una representación parcialmente ampliada. La figura 4 muestra, en el área inferior derecha, una ampliación de una sección de la superficie de proyección 3 de la parte superior izquierda de la figura 4.

[0078] En primer lugar, para cada posición de la cámara, la posición y orientación de la cámara 12 se calcula en un denominado sistema de coordenadas mediante puntos fijos. Los puntos fijos son puntos marcados en el campo visual de la(s) cámara(s) 12, cuyas posiciones en el sistema de coordenadas mundiales se han determinado previamente. Esto se puede hacer, por ejemplo, con la ayuda de un teodolito, de Disto o mediante una fotogrametría.

[0079] Al grabar un marcador proyectado 8 por medio de una cámara 12 dispuesta en el sistema de proyección 1 desde dos posiciones diferentes, por ejemplo, se calculan las coordenadas 3D de un punto de medición 9 Q (Qn, Q1, Q2, ..., Qn) del marcador 8. Ventajosamente, también se pueden disponer dos cámaras 12a y 12b en el sistema de proyección 1, donde, por ejemplo, se puede grabar un marcador 8 simultáneamente desde dos posiciones diferentes. Con ayuda de estos puntos de medición calculados 9 Q (Qn, Q1, Q2, ..., Qn) puede crearse un modelo 3D de la superficie de proyección 3 y utilizarse en la siguiente secuencia del método. Cada uno de estos puntos de medición 9 Q tiene sus propias coordenadas X, Y y Z y, por lo tanto, se puede representar claramente tanto sobre la superficie de proyección 3 como en el modelo 3D derivado de la superficie de proyección 3. Para reducir el número de puntos de medición 9 Q necesarios para describir la superficie de la superficie de proyección 3 en el modelo 3D, la superficie del modelo se dividió o descompuso en superficies parciales 11. Estas superficies parciales 11, que pueden ser, por ejemplo, triángulos u otros polígonos, están formadas respectivamente por tres o más vértices o puntos de medición del modelo 15 M y describen la superficie de la superficie de proyección 3 con suficiente precisión. Una tal representación de un modelo 3D de la superficie de proyección 3 formada por, por ejemplo, triángulos 11, está representada en la figura 5. La representación muestra un ejemplo de un triángulo 11 con los vértices M0, M1 y M2.

[0080] Las coordenadas 3D del modelo tridimensional (modelo 3D) de la superficie de proyección 3 obtenido por triangulación simulan la superficie de proyección real 3 con suficiente precisión y suelen diferir de una superficie de proyección plana ideal 6.

[0081] A partir de los marcadores 8 proyectados sobre la superficie de proyección 3 puede derivarse, de esta manera, un modelo 3D requerido en el presente método, como ya se describió anteriormente en una primera variante.

[0082] Alternativamente, en una segunda variante, se puede suponer que la superficie de proyección 3 corresponde a una superficie parcial de una esfera o un cilindro y se utiliza un modelo 3D correspondiente de una esfera o un cilindro.

[0083] Una tercera variante para generar un modelo 3D de la superficie de proyección 3 es que la superficie de proyección 3 se mida o escanee con precisión por medio de un escáner láser o un teodolito.

[0084] También se prevé que cada proyector 2a, 2b, 2c, 2d sea calibrado una vez para poder asignar las imágenes parciales de cada proyector 2a, 2b, 2c, 2d en forma de una superficie parcial sobre la superficie de proyección 3.

[0085] El siguiente paso es configurar la proyección completa. En principio, se hace una distinción entre dos casos de uso:

1. Simulación de un entorno 3D

[0086] Configuración del punto de vista (“eyepoint”), la orientación y el ángulo de apertura (“frustum”) de la(s) cámara(s) virtual(es), que está(n) o estará(n) posicionado(a)(s) en el punto de vista.

2. Vídeo

[0087] Configuración del sistema de coordenadas de mapeo y ajuste de la posición y la orientación de las secciones de imagen por separado (rectángulos de corte) por proyector.

[0088] Partiendo de

- punto de vista, orientación y ángulo de apertura de la cámara virtual o

- sistema de coordenadas de mapeo, posición y orientación de las secciones de imagen, se calculan 2 transformaciones:

pkm(coordenadas de proyector -> coordenadas de mapeo)

mkp(coordenadas de proyector <- coordenadas de mapeo).

[0089] Al determinar las transformaciones pkm y mkp, que también se denominan determinación de transformación o determinación de interpolación, los pares de coordenadas conocidos, como, por ejemplo, xpypi y uvi en los diferentes sistemas de coordenadas (coordenadas de proyector, coordenadas de mapeo) generalmente se determinan como interpolaciones, con que la función de transformación pkm y mkp se puede estimar para coordenadas arbitrarias. Para ello, se utilizan métodos de interpolación habituales, como polinomios o splines cúbicos. Estos métodos de interpolación se acercan mucho a la función de transferencia real si hay puntos de medición correspondientemente densos y la función entre ellos es continua. Cuanto más separados o fuera del rango de medición estén los puntos de medición, peor será la estimación.

[0090] Con ambas transformaciones en secuencia, las coordenadas de proyector se pueden transformar en coordenadas de mapeo (pkm) y las coordenadas de mapeo en coordenadas de proyector (mkp). Estas dos transformaciones forman la base para todos los cálculos posteriores.

[0091] El área o la zona de superposición, por ejemplo, entre las imágenes parciales por separado 4a y 4b de los proyectores por separado 2a y 2b se denomina zona de fusión 7. Para ambos casos de uso (simulación de un entorno 3D o vídeo) la fusión se calcula en un sistema de coordenadas de mapeo. Los valores de gris de la mezcla se calculan en consecuencia para cada proyección individual.

[0092] Después de calibrar y configurar la proyección, según la aplicación (simulación de un entorno 3D o vídeo), se obtiene una proyección a gran escala 5 unida. Un ejemplo para un sistema de proyección proporcionado de esta manera está representado en la figura 6. La figura 6 muestra un sistema de proyección 1 con dos proyectores 2a y 2b, que generan las imágenes parciales 4a y 4b. Los proyectores 2a y 2b se han alineado y ajustado calibrando y configurando el sistema de proyección 1 de tal manera que las imágenes parciales 4a y 4b proyectadas por ellos generan sobre la superficie de proyección 3 una proyección a gran escala 5, en la que la transición entre las imágenes parciales 4a y 4b en la zona de fusión 7 ya no se puede reconocer. En la figura 6 también están representadas, a modo de ejemplo, las máscaras de fusión 10a y 10b utilizadas para proyectar las imágenes parciales 4a y 4b, que se pueden disponer en la trayectoria del rayo del respectivo proyector 2a y 2b. La figura 6 muestra una representación de una cuadrícula generada por los dos proyectores 2a y 2b sobre la superficie de proyección 3.

[0093] Un cambio de lámpara que es necesario en un proyector 2, la deriva térmica u otras influencias externas pueden provocar un cambio en la posición y/u orientación de uno o más proyectores 2a, 2b, 2c, 2d. Estos cambios a veces solo mínimos son visibles en la proyección a gran escala 5, por ejemplo, a través de imágenes dobles. En la figura 1 se muestra una proyección modificada de esta manera. En el ejemplo de la figura 7, el proyector izquierdo 2a se ha desplazado de posición. Este cambio de la posición del proyector 2a conduce a una proyección de la imagen parcial 4a que ha cambiado de alineación y/o de posición. En la figura 7, esto se puede ver especialmente en la zona de fusión 7 de la proyección a gran escala 5 a partir de un modelo de cuadrícula de las imágenes parciales 4a y 4b que ya no coincide.

[0094] El estado de la calibración y configuración originales debe restaurarse mediante una calibración nueva o retrospectiva o una realineación del sistema de proyección 1. Los siguientes requisitos y pasos son necesarios para esto: •

• Coordenadas 3D (puntos de medición M0, M1, M2, ... , Mn) del modelo tridimensional (modelo 3D) de la superficie de proyección 3 obtenidas mediante una triangulación o alternativamente otro modelo 3D de la superficie de proyección 3 con un nivel de precisión suficientemente alto. Ya se ha descrito anteriormente una generación de un tal modelo 3D representado en la figura 4.

• Una parte suficientemente grande de la superficie de proyección 3 es vista por al menos una o varias cámaras. A este respecto, debe garantizarse que las imágenes parciales 4a, 4b, 4c, 4d de los proyectores 2a, 2b, 2c, 2e sean vistas al menos parcialmente por al menos una cámara 12. En este caso es ventajoso que ya se conozcan la posición y la orientación de una o varias cámaras. Alternativamente, la posición y la orientación se pueden determinar en un paso del método separado.

[0095] La nueva calibración o la realineación del sistema de proyección 1 se puede llevar a cabo en varios pasos del método descritos a continuación:

En un primer paso del método, se calcula la posición y orientación de la(s) cámara(s) (de realineación) dentro del sistema de proyección 1 en el caso de que esta información aun no esté disponible. Para ello, se utilizan los denominados puntos fijos, que se encuentran en el rango de detección de una cámara y cuya posición en un denominado sistema de coordenadas universales (sistema de coordenadas de origen) con coordenadas X, Y y Z asociadas es conocida. Los ledes, puntos láser, marcadores codificados u objetos notables dentro del rango de detección de la cámara se pueden usar como puntos fijos. Estos son detectados por la cámara y la posición y orientación de la cámara se pueden calcular utilizando estos puntos fijos.

[0096] En un segundo paso del método, los marcadores 8 claramente indicados se proyectan de nuevo y se reconocen para cada proyector 2a, 2b, 2c, 2d y para cada cámara dispuesta en el área del sistema de proyección 1.

[0097] Se utiliza un sistema multicámara con al menos dos cámaras, cada cámara solo ve, por ejemplo, una parte de la proyección. Los proyectores 2a, 2b, 2c, 2d, que generan estas imágenes parciales 4a, 4b, 4c, 4d, deben proyectar los patrones correspondientes de los marcadores 8, véanse, por ejemplo, la figura 3 y la figura 4.

[0098] En la figura 8 está representado un ejemplo para una proyección de patrones o marcadores 8 sobre una superficie de proyección 3 en un estado original y desplazado, en el que la posición del proyector 2 ha cambiado. Mientras que los marcadores originales 8 se identifican con el número de referencia 8, los marcadores desplazados 8' generados por el cambio de posición del proyector 2a se identificaron con un superíndice "".

[0099] En la figura 9 se muestra una representación parcial de un marcador de la figura 8. Según el modelo mostrado en la figura 5, solo están representadas dos superficies parciales 11a y 11b a modo de explicación. La primera superficie parcial 11a, designada con T0, está formada por los puntos de modelo 15 con la denominación M0, M1 y M2. La segunda superficie parcial 11b, designada con T1, está formada por los puntos de modelo 15 con la denominación M0, M2 y M3.

[0100] Está representado un punto de medición Q1, que tiene las coordenadas X, Y y Z, y se ha detectado desde el marcador 8. También está representado un punto de medición Q1' 9, que se ha detectado desde el marcador 8' con las coordenadas X, Y y Z desviadas, debido al cambio de posición del proyector 2a. El cambio resultante en la posición detectada de los puntos de medición Q1 y Q1' está representado mediante la flecha. También está representada el rayo visual original 13 de una cámara 12 sobre el marcador 8, así como el rayo visual modificado 13' de la cámara 12 sobre el marcador 8' después del cambio de posición del proyector 2a.

[0101] En la figura 10 se muestra un ejemplo para un sistema de proyección 1, en el que están instaladas, a modo de ejemplo, dos cámaras 12a y 12b. Las cámaras 12a y 12b están alineadas con su área de detección 16 o 17, es decir, su orientación, sobre la superficie de proyección 3 y permiten al menos una grabación de esta superficie de proyección 3.

[0102] De esta forma, se genera un número reducido de puntos de medición Q' con respecto a la calibración inicial, que está disponible para restaurar un estado calibrado de un sistema de proyección. Para determinar los pares de puntos de los datos de medición, ahora se determina un offset tridimensional de la nueva calibración para el número reducido de puntos de medición:

OffsetXYZi = XYZi' - XYZi.

[0103] En base a 3*n pares de datos se aplican:

(XYZi, OffsetXi)

(XYZi, OffsetYi)

(XYZi, OffsetZi).

[0104] A continuación, se determinan tres interpolaciones según:

OffsetX(XYZ)

OffsetY(XYZ)

OffsetZ(XYZ)

para estimar las tres coordenadas de un vector de desplazamiento.

[0105] Con esta función offset determinada, para cada punto XYZ de los datos originales, se puede calcular un punto estimado XYZ' para el momento actual de la siguiente manera:

X' = X OffsetX(XYZ) Y' = Y OffsetY(XYZ) Z ' = Z OffsetZ(XYZ).

[0106] Dado que los datos originales para cada punto medido también contenían la posición en el espacio del proyector, ahora se pueden calcular pares de puntos (xpypi, XiZi') de la siguiente manera:

(xpypi, XYZi Offset(XYZi)).

[0107] En base a los pares de puntos recién determinados (xpypi, XYZi'), todos los datos de corrección requeridos pueden derivarse de forma equivalente a una primera calibración.

[0108] De esta forma, se proporcionan transformaciones pkm y mkp corregidas para generar de imágenes parciales 4a, 4b, 4c, 4d para cada proyector 2a, 2b, 2c, 2d.

[0109] Después de que se haya completado la calibración nueva o retrospectiva o la realineación del sistema de proyección 1, se restaura el estado mostrado en la figura 6 de una proyección sin errores de la proyección a gran escala 5.

[0110] En el caso de que toda la superficie de proyección 3 no se pueda ver suficientemente a través de una cámara 12, se debe(n) usar una cámara 12 para grabar imágenes de diferentes posiciones dentro del sistema de proyección 1 o varias cámaras 12a y 12b, que se encuentran en diferentes posiciones. Como posición de las cámaras 12 dentro del sistema de proyección 1, pueden ser posiciones para las cámaras 12 desde las que se puede detectar sin obstáculos la sección correspondiente de la superficie de proyección 3. Por ejemplo, una cámara 12 puede estar dispuesta al lado o en diagonal detrás de un proyector en el sistema de proyección 1, como se muestra, a modo de ejemplo, en la figura 10.

[0111] Dado que el cálculo de la posición y de la orientación de las cámaras según la primera variante no es lo suficientemente precioso en la mayoría de los casos debido a las tolerancias que se producen, se pueden utilizar diferentes estrategias para la optimización de las variables determinadas y, por lo tanto, para la optimización de la proyección. Cada una de estas optimizaciones se puede utilizar sola o en combinación.

[0112] Si se detecta un marcador 8 con una o dos cámaras desde dos posiciones, como se muestra en la figura 11, se forma un promedio de estas dos coordenadas 3D detectadas Qcam0(x, y, z) y Qcam1(x, y, z). Esto se puede hacer, por ejemplo, mediante un cálculo promedio aritmético, en el que se forma el promedio Qpromedio(x, y, z). En este cálculo promedio de Qpromedio(x, y, z) se derivan las diferentes coordenadas 3D Qcam0(x, y, z) y Qcam1(x, y, z) sumadas a partir de un marcador 8 y divididas entre el número de coordenadas 3D detectadas. La coordenada 3D promedio Qpromedio(x, y, z) formada de esta manera de un marcador 8 se usa a continuación. Una tal optimización mediante un cálculo promedio está representada en la figura 12.

[0113] En la figura 12 se muestra una sección de la superficie de proyección 3 mediante dos superficies parciales 11a (To) y 11b (T1) que describen la sección. A este respecto, la primera superficie parcial triangular 11a está formada por los puntos de modelo M0, M1 y M2 y la segunda superficie parcial triangular 11b está formada por puntos de modelo M0, M2 y M3. Un marcador 8 proyectado, por ejemplo, en el área de la primera superficie parcial 11a es detectado por la primera cámara 12a, en el punto de medición Qcam0(x, y, z) según su rayo visual 13a representado. El mismo marcador 8 es detectado por la segunda cámara 12b en el punto de medición Qcam1(x, y, z) según su rayo visual 13b representado. Según la optimización descrita a través del cálculo promedio, se calcula el punto de medición Qpromedio(x, y, z), que se encuentra entre los puntos de medición Qeam0(x, y, z) y Qcam1(x, y, z), como se muestra en la figura 12.

[0114] Otra posibilidad de la optimización es tomar una decisión sobre cuáles de las coordenadas 3D de un marcador detectadas por las cámaras 12a y 12b se usarán posteriormente dependiendo de la ponderación de una posición de la respectiva cámara 12a o 12b.

[0115] El criterio para esta ponderación es el ángulo aa 14a o ab 14b, que surge entre el respectivo rayo visual 13a de la cámara 12a o el rayo visual 13b de la cámara 12b y la superficie de proyección 3, como se muestra en la figura 13.

[0116] En la figura 13 se muestra nuevamente una sección de la superficie de proyección 3 por medio de dos superficies parciales 11a y 11b que describen la sección. En este caso, la primera superficie parcial triangular 11a está formada por los puntos de modelo M0, M1 y M2 y la segunda superficie parcial triangular 11b está formada por los puntos de modelo M0, M2 y M3.

[0117] En esta optimización adicional, cuanto más pequeño es el ángulo a, más impreciso se vuelve el cálculo del punto de medición 9. Una tal optimización mediante una ponderación del ángulo a 14 está representada en la figura 13 utilizando un rayo visual 13a de la cámara 12a y un rayo visual 13b de la cámara 12b. Como se puede ver, surge un ángulo aa 14a más pequeño para el rayo visual 13a que para el rayo visual 13b con el ángulo ab 14b. Por lo tanto, el punto de medición 9 Qcam0(x, y, z) detectado por la cámara 12a se evalúa con mayor precisión y se utiliza para cálculos posteriores.

[0118] La calidad de las imágenes de cámara grabadas con las cámaras 12a y 12b disminuye bruscamente hacia el borde de la imagen, lo que tampoco puede ser compensado por la calibración de las cámaras 12a y 12b. Por lo tanto, en áreas de superposición de las cámaras 12a y 12b, la distancia entre un punto de medición Q 9 y el centro de la imagen de la cámara también puede incluirse como ponderación para la respectiva cámara 12a y 12b. Esto da como resultado una transición suave en las áreas de grabación que se superponen de las cámaras 12a y 12b. Esta optimización está representada en la figura 14. Como resultado de esta optimización, se evitan los denominados saltos bruscos en la proyección dentro de la proyección a gran escala 5.

[0119] En la figura 14 se muestra, a su vez, una sección de la superficie de proyección 3 por medio de dos superficies parciales 11a y 11b, que describen la sección. En este caso, la primera superficie parcial triangular 11a está formada por los puntos de modelo M0, M1 y M2 y la segunda superficie parcial triangular 11b está formada por los puntos de modelo M0, M2 y M3. También están representadas el área de detección 16 de la primera cámara 12a y el área de detección 17 de la segunda cámara 12b, que se superponen parcialmente. Las áreas de detección 16 y 17 tienen respectivamente dos diagonales 18, que indican el centro del área de detección 16 y 17 respectiva en su punto de intersección.

[0120] En el ejemplo, un marcador 8 proyectado sobre la superficie de proyección 3 fue detectado en el punto de medición 9 Qcam0(x, y, z) usando la primera cámara 12a. El mismo marcador 8 se detecta en el punto de medición Qcam1 (x, y, z) por medio de la segunda cámara 12b. A continuación, se determina la distancia respectiva del punto de medición 9 Qcam0(x, y, z) y Qcam1(x, y, z) determinado hacia el punto de intersección en el centro de la cámara asociada 12a y 12b. Como está representado en la figura 14, existe una primera distancia 19, que representa la distancia de separación entre el punto de intersección en el centro del área de detección 16 de la primera cámara 12a y el punto de medición Qcam0(x, y, z), y una segunda distancia 20, que representa la distancia de separación entre el punto de intersección en el centro del área de detección 17 de la segunda cámara 12b y el punto de medición Qcam1(x, y, z).

[0121] Dado que la distancia 19 determinada es significativamente menor que la distancia 20 determinada, se supone que el punto de medición 9 Qcam0(x, y, z) se determinó con mayor precisión, ya que se ha detectado más cerca del centro de la cámara asociada 12a. El punto de medición 9 Qcam0(x, y, z) recibe, de esta manera, una mayor ponderación.

[0122] Por ejemplo, se puede formar un punto de medición 9 Qponderado(x, y, z) ponderado mediante una ponderación adecuada de las distancias 19 y 20 determinadas. En el ejemplo de la figura 14, se supuso una ponderación aumentada del 80 % para la primera distancia 19 y del 20 % para la segunda distancia 20 y el punto de medición 9 Qponderado(x, y, z) representado se calculó de esta manera.

[0123] Los dos procesos descritos a continuación cuando se genera una proyección a gran escala 5 también se pueden implementar ventajosamente por medio del método descrito para la restauración automática de un estado calibrado de un sistema de proyección.

[0124] Áreas fuera de la proyección calibrada:

Las áreas que no pueden ser vistas por una cámara se pueden extrapolar durante la calibración nueva o retrospectiva (realineación). Esto es posible porque se puede suponer, por ejemplo, que la proyección solo se ha transformado ligeramente en el área no visible. En este caso, se pueden utilizar datos modificados de la calibración original.

[0125] Opcionalmente, se puede suponer que el área no visible entre los últimos puntos de medición 9 visibles y determinados discurre en forma de una superficie plana. Para la mayoría de las proyecciones, esta suposición es suficientemente preciosa para un área delimitada en su extensión.

[0126] En otra opción, la evolución de la superficie de proyección 3 o un modelo derivado de la misma puede ser mapeado con suficiente precisión por una superficie parcial de un cilindro o una esfera. En este caso, el área no visible se puede reproducir utilizando el modelo correspondiente y estos datos se utilizan para otros cálculos, como una extrapolación.

[0127] Fusión:

La evolución del brillo (función de ponderación) dentro de la zona de fusión 7 para los proyectores por separado 2a, 2b, 2c, 2d también surge de una denominada intersección de la superficie proyectada. Esta intersección forma el número de imágenes parciales 4 proyectadas una sobre otra en la zona de fusión 7. Por ejemplo, en una zona de fusión 7, en la que se superponen las imágenes parciales 4a y 4b, se puede suponer aproximadamente que el brillo básico requerido en esta zona de fusión 7 se puede reducir a la mitad para cada proyector 2a y 2b. Para un ejemplo con una zona de fusión 7, en la que las imágenes parciales 4a, 4b, 4c y 4d se superponen, se puede asumir aproximadamente que el brillo básico requerido en esta zona de fusión 7 se puede reducir un cuarto para cada proyector 2a, 2b, 2c y 2d.

[0128] La evolución del brillo también depende de la superficie parcial utilizada para representar una imagen sobre toda la superficie parcial 3. Esto se aplica, por ejemplo, a representaciones que tienen un tamaño limitado y no requieren toda la superficie de proyección 3.

[0129] En un caso especial en el que, por ejemplo, un proyector 2a no pueda proyectar su imagen parcial 4a sobre una parte de la superficie de proyección 3 debido a un obstáculo fijo en su superficie de proyección, se prevé que la representación del contenido en esta superficie sea asumida por el proyector 2b con su imagen parcial 4b. En este caso, el transcurso del brillo en esta área debe ajustarse en consecuencia para el proyector 2b, es decir, ajustarse, ya que solo él tiene que iluminar este área. Una tal adaptación solo es naturalmente posible dentro de la zona de fusión 7, ya que las imágenes parciales 4a y 4b de los proyectores 2a y 2b deben superponerse.

Lista de referencias

[0130]

1 sistema de proyección

2, 2a, 2b, 2c, 2d proyector

3 superficie de proyección (curvada)

4, 4a, 4b, 4c, 4d imagen parcial

5 proyección a gran escala

6 superficie de proyección plana

7 zona de fusión

8, 8' marcador

9, 9', 9a, 9b, 9c, 9d punto de medición (coordenadas X, Y, Z)(Qo; Q1; Q2; ...; Qn)

10 máscara de fusión

11, 11a, 11b superficie parcial (triángulo)

12, 12a, 12b cámara

13, 13a, 13b rayo visual

14, 14a, 14b ángulo a

15, 15a, 15b, 15c, 15d puntos de modelo (M0; M1; M2; ...; Mn)

16 área de detección de la primera cámara

17 área de detección de la segunda cámara

18 diagonal

19 primera distancia al centro

20 segunda distancia al centro

Claims (4)

REIVINDICACIONES

1. Método para la restauración automática de un estado calibrado de un sistema de proyección (1) con al menos dos proyectores (2),

donde, durante la calibración del sistema de proyección (1), se proyectan m por n marcadores (8) en una matriz con m marcadores (8) proyectados en una fila y n filas sobre una superficie de proyección (3), a partir de los cuales, mediante una o varias cámaras (12), se determinan m por n primeros puntos de medición detectados (9), cada uno con una dimensión X, Y y Z de una coordenada 3D (X, Y, Z), que se encuentra en la superficie de proyección (3) y, por lo tanto, sobre una superficie de un modelo 3D conocido o que se va a determinar,

donde una asignación de coordenadas de proyector (xp, yp), que son coordenadas bidimensionales en una imagen que debe ser representada por un proyector (2), a coordenadas 3D (X, Y, Z) en un sistema de coordinación tridimensional, que tiene respectivamente una dimensión X, Y y Z, se proporcionan una transformación pkm de las coordenadas de proyector (xp, yp) en al menos coordenadas de mapeo bidimensionales (u, v) y una transformación mkp de al menos coordenadas de mapeo bidimensionales (u, v) en coordenadas de proyector (xp, yp),

donde, a partir de pares de coordenadas conocidas ((xp, yp); (u, v)) en las coordenadas de proyector y las coordenadas de mapeo, se determinan interpolaciones, con las que se estiman las transformaciones pkm y mkp para cualquier coordenada, y

donde el método comprende los siguientes pasos:

calcular una posición y una orientación de una o varias cámaras (12) dentro del sistema de proyección (1), donde se usan puntos fijos,

proyectar de nuevo los m por n marcadores (8') sobre la superficie de proyección (3),

determinar, por medio de una o varias cámaras (12), una pluralidad de segundos puntos de medición (9') detectados, cada uno con una dimensión X, Y y Z de una coordenada 3D (X', Y', Z'), cuyo número se reduce en comparación con los puntos de medición detectados (9), porque las áreas parciales de la superficie de proyección (3) no pueden verse por medio de una o varias cámaras (12) y/o porque los segundos puntos de medición (9') detectados de manera imprecisa son excluidos de cualquier cálculo adicional,

calcular una pluralidad de desviaciones (OffsetX, OffsetY, OffsetZ) entre los segundos puntos de medición (9') detectados y los primeros puntos de medición (9) detectados asociados,

formar una pluralidad de vectores de desplazamiento (Offset(XYZ)) mediante la pluralidad de desviaciones,

adaptar la asignación de las coordenadas de proyector (xp, yp) a coordenadas 3D (X', Y', Z') mediante la pluralidad de vectores de desplazamiento, donde las coordenadas 3D (X', Y', Z') de los segundos puntos de medición (9') no detectados se determinan a través de una interpolación de los vectores de desplazamiento, y

proporcionar transformaciones corregidas pkm y mkp para generar imágenes parciales (4a, 4b, 4c, 4d) para cada proyector (2a, 2b, 2c, 2d).

2. Método según la reivindicación 1, donde la determinación de la pluralidad de segundos puntos de medición (9') detectados comprende:

determinar un punto de medición (9') Qpromedio en base a un cálculo promedio,

donde se determina este promedio de un segundo punto de medición (9') Qcam1 detectado por una primera cámara (12a) y un segundo punto de medición (9') Qcam2 detectado por una segunda cámara (12b) del mismo marcador (8') proyectado sobre la superficie de proyección (3).

3. Método según la reivindicación 1, donde la determinación de la pluralidad de segundos puntos de medición (9') detectados comprende:

seleccionar un segundo punto de medición (9') Qcam0 o Qcam1 detectado por una primera cámara (12a) o una segunda cámara (12b),

donde esta selección se realiza de tal manera que el segundo punto de medición (9') detectado, que pertenece a la cámara (12a o 12b), en la que entre el respectivo rayo visual (13a, 13b) de la cámara (12a, 12b) se produce el ángulo más pequeño (14a, 14b) con respecto a la superficie de proyección (3), se utiliza para el procesamiento posterior.

4. Método según la reivindicación 1, donde la determinación de la pluralidad de segundos puntos de medición (9') detectados comprende:

ponderar en dirección a un segundo punto de medición (9') Qcam0 detectado por una primera cámara (12a) o en dirección a un segundo punto de medición (9') Qcam1 detectado por una segunda cámara (12b), donde la ponderación se realiza dependiendo de una posición del segundo punto de medición (9') Qcamo o Qc ami detectado por la cámara (12a, 12b) desde el centro de la imagen de la cámara respectiva (12a, 12b), y donde se lleva a cabo una ponderación aumentada en dirección al punto de medición (9') situado más cerca del centro.