ES2910417T3

ES2910417T3 - Iluminador de modo dual para formación de imágenes bajo diferentes condiciones de iluminación

Info

Publication number: ES2910417T3
Application number: ES20201436T
Authority: ES
Inventors: William Whitehouse; Eric Foxlin; Thomas CALLOWAY; John Popoolapade
Original assignee: Thales Defense and Security Inc
Current assignee: Thales Defense and Security Inc
Priority date: 2015-03-13
Filing date: 2016-03-02
Publication date: 2022-05-12
Anticipated expiration: 2036-03-02
Also published as: EP3268798A1; JP6672326B2; EP3268798A4; IL253944A0; EP3268798B1; JP2018515958A; KR102561173B1; US10212355B2; EP3786686A1; IL253944B; ES2830178T3; EP3786686B1; KR102341181B1; KR20210154998A; KR20170137102A; US20170026560A1; WO2016148920A1; ZA201706737B

Abstract

Un aparato para seguir marcas de referencia montado en una carlinga, una cabina abierta o una cabina de una aeronave usando formación de imágenes de modo dual bajo diferentes condiciones de iluminación, comprendiendo el aparato: un casco; un sensor (610) montado en el casco y que comprende una lente y configurado para formar imágenes de una marca de referencia (608); una fuente de iluminación de modo dual (612) montada en el casco y configurada para iluminar la marca de referencia mientras que el sensor forma imágenes de la marca de referencia, en donde la fuente de iluminación de modo dual está configurada para iluminar la marca de referencia usando una primera longitud de onda de luz fuera de la banda visible bajo una primera condición de iluminación y para iluminar la marca de referencia usando una segunda longitud de onda de luz superior a 940 nm bajo una segunda condición de iluminación, en donde la fuente de iluminación de modo dual emite la primera longitud de onda de luz cuando la luz ambiental alcanza un umbral y emite la segunda longitud de onda de luz cuando la luz ambiental no alcanza el umbral.

Description

DESCRIPCIÓN

Iluminador de modo dual para formación de imágenes bajo diferentes condiciones de iluminación

Antecedentes

Campo

La presente divulgación se refiere, en general, a la formación de imágenes de modo dual bajo diferentes condiciones de iluminación, por ejemplo, para su uso en seguimiento óptico.

Antecedentes

El seguimiento óptico, por ejemplo, que involucra la formación de imágenes de marcas de referencia u objetivos es un desafío cuando las condiciones de iluminación difieren. Por ejemplo, Es difícil para un sistema de formación de imágenes formar imágenes de los objetivos con precisión durante el día cuando las condiciones de iluminación cambian entre la luz del día y la noche.

Los documentos XP060037241 y XP055655535 muestran un sistema de seguimiento basado en casco para objetivos en la carlinga de una aeronave.

El documento US 2003/093805 A1 muestra un sistema de cámara en el que durante la noche se usa un iluminador de IR y durante el día puede usarse un iluminador de luz visible artificial.

Sumario

El seguimiento óptico puede implicar la captura de una imagen de objetivos pasivos, tales como marcas de referencia, con el fin de determinar la localización de un objeto en movimiento. Por ejemplo, puede usarse una cámara u otro sensor para formar imágenes de los objetivos. A veces, la cámara puede necesitar iluminación con el fin de formar imágenes precisas de los objetivos. Las condiciones de iluminación ambiental pueden variar, y la iluminación que sea apropiada bajo una condición de iluminación puede ser inútil o problemática bajo una condición de iluminación diferente.

Las principales realizaciones de la invención se definen en las reivindicaciones independientes adjuntas. Las reivindicaciones dependientes adjuntas definen otras realizaciones.

Las ventajas adicionales y las características novedosas de estos aspectos se expondrán en parte en la descripción siguiente, y en parte serán más evidentes para los expertos en la materia al examinar lo siguiente o al aprender mediante la práctica de la invención.

Breve descripción de los dibujos

Se describirán en detalle diversos aspectos de ejemplo de los sistemas y métodos, haciendo referencia a las siguientes figuras, en las que:

La figura 1 ilustra un aparato de ejemplo que tiene un iluminador de modo dual de acuerdo con los aspectos de la presente invención.

La figura 2 ilustra una imagen de ejemplo de marcas de referencia que tiene el sol directamente detrás de ellos, para su uso de acuerdo con los aspectos de la presente invención.

La figura 3 ilustra unos componentes de seguimiento de ejemplo, de acuerdo con los aspectos de la presente invención.

La figura 4 ilustra un ejemplo de un sistema de seguimiento de objetos que tiene un iluminador de modo dual para su uso de acuerdo con los aspectos de la presente invención.

La figura 5 ilustra un ejemplo de una cabina abierta de aeronave de combate con ejes de coordenadas asociados con un sistema de seguimiento de vehículos, de acuerdo con los aspectos de la presente invención.

La figura 6 ilustra un aparato de ejemplo que tiene un iluminador de modo dual de acuerdo con los aspectos de la presente invención.

Descripción detallada

La descripción detallada que se expone a continuación en relación con los dibujos adjuntos se pretende que sea una descripción de diversas configuraciones y no se pretende que represente las únicas configuraciones en las que pueden practicarse los conceptos descritos en el presente documento. La descripción detallada incluye detalles específicos con el fin de proporcionar una comprensión profunda de diversos conceptos. No obstante, resultará evidente para los expertos en la materia que estos conceptos pueden practicarse sin estos detalles específicos. En algunos casos, las estructuras y componentes bien conocidos se muestran en forma de diagrama de bloques para evitar oscurecer tales conceptos.

Se presentarán ahora varios aspectos de los sistemas de seguimiento de movimiento haciendo referencia a diversos aparatos y métodos. Estos aparatos y métodos se describirán en la siguiente descripción detallada y se ilustrarán en los dibujos adjuntos mediante diversos bloques, componentes, circuitos, etapas, procese, algoritmos, etc. (colectivamente denominados como "elementos"). Estos elementos pueden implementarse mediante hardware electrónico, software de ordenador, o cualquier combinación de los mismos. El hecho de que dichos elementos se implementen como hardware o software depende de la aplicación específica y las restricciones de diseño impuestas sobre el sistema general.

A modo de ejemplo, un elemento, o cualquier parte de un elemento, o cualquier combinación de elementos puede implementarse con un "sistema de procesamiento" que incluye uno o más procesadores. Ejemplos de procesadores incluyen microprocesadores, microcontroladores, procesadores de señales digitales (DSP), matrices de puertas programables en campo (FPGA), dispositivos lógicos programables (PLD), máquinas de estado, lógica de puertas, circuitos de hardware discretos y otro hardware adecuado configurado para realizar las diversas funciones descritas a lo largo de la presente divulgación. Uno o más procesadores en el sistema de procesamiento pueden ejecutar software. El software se interpretará en sentido amplio como instrucciones, conjuntos de instrucciones, código, segmentos de código, código de programa, programas, subprogramas, componentes de software, aplicaciones, aplicaciones de software, paquetes de software, rutinas, subrutinas, objetos, ejecutables, hilos de ejecución, procedimientos, funciones, etc., ya sea conocido como software, firmware, middleware, microcódigo, lenguaje de descripción de hardware, o de otro modo.

En consecuencia, en una o más realizaciones a modo de ejemplo, las funciones descritas pueden implementarse en hardware, software, firmware, o cualquier combinación de los mismos. Si se implementan en software, las funciones pueden almacenarse o codificarse como una o más instrucciones o código en un medio legible por ordenador. Los medios legibles por ordenador incluyen medios de almacenamiento informático. Los medios de almacenamiento pueden ser cualquier medio disponible al que pueda accederse mediante un ordenador. A modo de ejemplo, y no de limitación, tales medios legibles por ordenador pueden comprender una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), una ROM programable eléctricamente borrable (EEPROM), un disco compacto ROM (CD-ROM) u otro almacenamiento de disco óptico, almacenamiento en disco magnético u otros dispositivos de almacenamiento magnético o cualquier otro medio que pueda usarse para transportar o almacenar código de programa deseado en la forma de instrucciones o estructuras de datos y al que puede accederse por parte del ordenador. Los discos (disk o disc en inglés), tal como se usa en el presente documento, incluyen CD, disco láser, disco óptico, disco versátil digital (DVD) y disquete donde los discos (disk) suelen reproducir datos magnéticamente, mientras que los discos (discs) reproducen los datos de manera óptica con láser. Combinaciones de los anteriores deberían incluirse también dentro del alcance de los medios legibles por ordenador.

Iluminador de modo dual

El seguimiento óptico puede implicar la captura de una imagen de objetivos pasivos, tales como marcas de referencia, con el fin de determinar la localización de un objeto en movimiento. Por ejemplo, puede usarse una cámara u otro sensor para formar imágenes de los objetivos. A veces, la cámara/sensor puede necesitar iluminación con el fin de formar imágenes de los objetivos. Las condiciones de iluminación ambiental pueden variar, y la iluminación que sea apropiada bajo una condición de iluminación puede ser inútil o problemática bajo una condición de iluminación diferente.

Por ejemplo, la luz solar directa puede dificultar formar imágenes de tales objetivos. Cuando los objetivos se colocan en una carlinga de una cabina abierta, la luz solar directa puede brillar a través de la carlinga detrás de los objetivos e interferir con la captura de una imagen precisa de ciertos objetivos. Por la noche, se produce un problema diferente, debido a que la iluminación puede ser necesaria para detectar objetivos pasivos que no emiten luz por sí mismos. Puede proporcionarse iluminación de los objetivos para ayudar al sensor a detectar los objetivos tanto a la luz solar como en condiciones más oscuras. Adicionalmente, tal iluminación puede necesitar ser compatible con el equipo NVIS de tal manera que sea invisible o no sea detectado por dicho equipo. El intervalo de longitud de onda que evita la interferencia con el equipo NVIS está cerca del borde de la curva de respuesta espectral de un sensor de imágenes de silicio ordinario. Esta característica hace que sea muy difícil iluminar un objetivo con el brillo suficiente para obtener una imagen de calidad a la luz solar durante una operación diurna. Los aspectos presentados en el presente documento resuelven tales desafíos al proporcionar un iluminador de modo dual que ilumina los objetivos usando diferentes longitudes de onda bajo diferentes condiciones de iluminación.

La figura 1 ilustra un aparato 100 de ejemplo para la formación de imágenes de modo dual bajo diferentes condiciones de iluminación. El aparato puede usarse, por ejemplo, en relación con el seguimiento de un objeto. El aparato incluye un sensor 110 configurado para formar imágenes de al menos un objetivo 108. Por ejemplo, el sensor puede comprender una cámara que captura una imagen de los objetivos con el fin de seguir el movimiento del objeto. Entre otros, una cámara de este tipo puede comprender un generador de imágenes de semiconductores de óxido de metal complementario (CMOS), tal como un generador de imágenes con obturador global CMOS. Una lente, tal como una lente de ojo de pez, también puede usarse en combinación con un generador de imágenes de este tipo. Esto puede resultar útil en circunstancias en las que el sensor se coloca muy cerca de los objetivos.

El aparato también incluye una fuente de iluminación de modo dual 112 configurada para iluminar los objetivos 108 mientras el sensor 110 forma imágenes del objetivo. La fuente de iluminación de modo dual puede configurarse para iluminar el objetivo usando una primera longitud de onda de luz bajo una primera condición de iluminación y para iluminar el objetivo usando una segunda longitud de onda de luz bajo una segunda condición de iluminación.

Por ejemplo, el iluminador 112 puede emitir la primera longitud de onda de luz cuando la luz ambiental alcanza o está por encima de un nivel umbral, tal como durante el día, y emitir la segunda longitud de onda de luz cuando la luz ambiental cae por debajo del nivel de umbral, tal como durante condiciones más oscuras o nocturnas. El iluminador 112 puede comprender al menos un LED. El iluminador 112 puede comprender dos emisores diferentes, un primer emisor que emite luz en la primera longitud de onda y un segundo emisor que emite luz en la segunda longitud de onda. Puede proporcionarse iluminación diurna, por ejemplo, por al menos un LED. La iluminación nocturna puede proporcionarse por, por ejemplo, un emisor láser de emisión de superficie de cavidad vertical (VCSEL), diodos láser, LED, etc. Dichos emisores pueden operar en el intervalo UV o en ciertas partes del espectro visible donde los NVG no son sensibles.

El iluminador 112 puede destellar o emitir luz periódicamente de otro modo para iluminar los objetivos para la formación de imágenes. Como alternativa, el iluminador puede emitir constantemente una de las dos longitudes de onda, en función de las condiciones de luz ambiental.

En condiciones de luz diurna, puede ser importante que el iluminador emita luz dentro de una parte del espectro que la cámara de seguimiento, por ejemplo, el sensor 110, es capaz de detectar de manera eficaz. La selección de una longitud de onda apropiada para el iluminador puede usarse en combinación con el ajuste del tiempo de exposición de la cámara. Por ejemplo, un tiempo de exposición reducido puede limitar los efectos de la luz solar directa 114 sobre la imagen de los objetivos. El tiempo de exposición bajo condiciones de iluminación más brillantes puede reducirse en comparación con el tiempo de exposición en condiciones de iluminación más oscuras. Por ejemplo, el tiempo de exposición puede reducirse desde un ajuste utilizable más bajo de, por ejemplo, 1 milisegundo hasta muy por debajo de 50 microsegundos con el fin de rechazar una cantidad satisfactoria de luz solar. En condiciones de luz diurna, el tiempo de exposición puede estar, por ejemplo, en el intervalo de aproximadamente 15 ps a 150 ps. Esto puede proporcionar tanto legibilidad a la luz solar como compatibilidad NVG con un diseño de iluminador único. El tiempo de exposición puede ajustarse en función de la cantidad de luz ambiental que se detecte. Puede usarse un tiempo de exposición reducido cuando se detecta que la luz ambiental alcanza un umbral.

En un ejemplo, la fuente de luz para la iluminación diurna puede seleccionarse para que sea invisible para el ojo humano. Por ejemplo, la longitud de onda puede ser una longitud de onda infrarroja. No obstante, también puede usarse una longitud de onda visible. La longitud de onda usada durante las condiciones de luz diurna puede estar aproximadamente en el intervalo de 700 a 1000 nm, por ejemplo, aproximadamente 850 nm.

Por el contrario, la longitud de onda de iluminación del modo nocturno puede seleccionarse para que esté fuera del intervalo de los NVG, para lo cual la sensibilidad suele caer a cerca de cero en 940 nm. Por lo tanto, la longitud de onda de iluminación de modo nocturno puede estar por encima de aproximadamente 940 nm, por ejemplo, aproximadamente 980 nm. En un ejemplo, Puede usarse un emisor VCSELS. Puede usarse un iluminador de longitud de onda dual que use una longitud de onda compatible NVIS por la noche, por ejemplo.

En condiciones más oscuras, puede usarse la longitud de onda compatible NVIS, junto con un tiempo de exposición más largo del que sería adecuado en condiciones de luz diurna. Por ejemplo, el tiempo de exposición más largo podría no rechazar completamente la luz solar. La exposición nocturna puede estar dentro de un intervalo de aproximadamente 500 ps hasta 2000 ps. Durante el día, puede usarse una longitud de onda más fácilmente detectable, que no necesite ser compatible NVIS. La longitud de onda más fácilmente detectable puede formar imágenes a continuación con una exposición ultra corta que rechaza la mayor parte de la interferencia de la luz solar. El tiempo de exposición más largo puede usarse cuando se detecta que la luz ambiental alcanza o cae por debajo de un umbral.

Por ejemplo, el rechazo del sol puede lograrse a 850 nm usando un número razonable de LED, pero estos LED pueden no ser compatibles NVG. El uso de VCSEL de 980 nm puede proporcionar compatibilidad n Vg , pero puede que no proporcione suficiente potencia óptica para cumplir con el corto tiempo de exposición necesario para rechazar la luz solar. Por lo tanto, en un ejemplo, puede usarse un emisor de LED que tenga una longitud de onda de 850 nm para el modo diurno, mientras que puede usarse un emisor VCSELS que tenga una longitud de onda de aproximadamente 950 nm para el modo nocturno.

Con el fin de abordar aún más el problema de la legibilidad de objetivo en la luz solar directa, puede mejorarse la formación de imágenes de los objetivos usando un filtro de interferencia 118 que tenga bandas de paso correspondientes a las dos longitudes de onda. El filtro puede colocarse, por ejemplo, entre los objetivos y el sensor, tal como entre una lente y el sensor. En el ejemplo que usa una longitud de onda de 850 nm para iluminación diurna y 980 nm para iluminación nocturna, puede usarse un filtro de interferencia que tenga dos bandas de paso estrechas en 850 nm y 980 nm, por ejemplo. Este ejemplo se usa para mostrar el uso de dos bandas de paso. Pueden usarse diferentes longitudes de onda.

Dicho iluminador de modo dual proporciona suficiente iluminación para marcadores marcas de referencia pasivas bajo diferentes condiciones de iluminación, por ejemplo, tanto en condiciones diurnas como nocturnas.

Los objetivos 108 usados en relación con el aparato de formación de imágenes de modo dual pueden configurarse para volverse más brillantes proporcionalmente cuando se iluminan a contraluz por el sol. Por ejemplo, para el seguimiento óptico en relación con una aeronave, el sensor 110 puede dirigirse hacia la carlinga de la aeronave. Por lo tanto, a veces, los objetivos pueden estar iluminados a contraluz por el sol, lo que dificulta la formación de imágenes precisa de los objetivos. El iluminador de modo dual permite que los objetivos se detecten con precisión, ya sea iluminados a contraluz por la luz solar 114 o bajo condiciones de iluminación más oscuras.

Como opción adicional, pueden usarse pegatinas retrorreflectantes para las marcas de referencia en la carlinga con el fin de superar la pérdida del cuadrado inverso de las marcas de referencia difusas y devolver la mayor cantidad posible de iluminación a la lente. Con un diseño de marcas de referencia de este tipo, las marcas de referencia pueden iluminarse con longitudes de onda compatibles NVG con el fin de obtener una alta velocidad de lectura en la mayor parte del FOV de 140 grados.

La figura 2 ilustra una imagen de sensor óptico de ejemplo 200 de las marcas de referencia 108 que tienen el sol 114 directamente detrás de los mismos, la imagen tomada usando el iluminador de modo dual en condiciones de luz diurna. Cada marca de referencia se ilustra con un número de identificación junto al mismo. Esta figura ilustra la capacidad de rechazo de la luz solar de una imagen tomada con el iluminador de modo dual. La combinación de una longitud de onda más eficaz para la iluminación diurna, una filtración de paso de banda más ajustada y un período de exposición más corto, reduce el efecto de la luz solar directa 114 sobre la imagen. La imagen de la figura 10 se toma a través de un sensor óptico HObIT de una constelación de marcas de referencia montada en plástico transparente, con el sol brillando directamente en la lente del sensor. En la figura 2, todas las marcas de referencia están claramente reconocidas, mientras que la luz 114 del sol se ha reducido a un punto del tamaño de una marca de referencia 108. Si el sol se fotografiara junto a una marca de referencia, esa marca de referencia ya no sería reconocida. No obstante, como se ilustra en la figura 2, el sol no puede ocultar más de una marca de referencia a la vez. Por lo tanto, una imagen de una constelación de múltiples marcas de referencia, tal como se ilustra en la figura 2, se ve menos afectada por la interferencia de la luz solar. La imagen y la identificación de otras marcas de referencia en la imagen pueden usarse para detectar la posición de la cámara.

La figura 3 ilustra unos componentes de iluminación de modo dual de ejemplos que pueden usarse, por ejemplo, en un seguidor óptico. La figura 3 ilustra una cámara 302 que puede usarse como sensor para formar imágenes de objetivos 304. También puede usarse una unidad de medición inercial (IMU) 306 para seguir el movimiento de un objeto, de acuerdo con los aspectos de la presente invención. Al iluminar los objetivos retrorreflectantes directamente, Pueden evitarse los problemas provocados por la iluminación ambiental, tal como sombras o exposiciones subóptimas. En un ejemplo, la fuente de iluminación de modo dual puede configurarse para rodear la cámara 302. En el ejemplo ilustrado en la figura 3, la cámara incluye una abertura 308 a través de la cual se forman imágenes de los objetivos. La figura 3 ilustra la abertura 308 como una abertura redondeada. El iluminador 310 de modo dual puede colocarse alrededor de la abertura redondeada 308. En otro ejemplo, un iluminador de modo dual puede colocarse en una posición diferente con respecto a la cámara.

En un ejemplo, los aspectos presentados en el presente documento pueden usarse en relación con un sistema de seguimiento que sigue el movimiento de un objeto. La figura 4 ilustra un sistema de seguimiento 400 para seguir un objeto 402 que se mueve en relación con una plataforma móvil 404.

Como se ilustra en la figura 4, el objeto 402 y la plataforma móvil también pueden moverse en relación con un marco de referencia externo 406. El marco de referencia externo 406 puede ser un marco de referencia fijo, por ejemplo, la Tierra, y la plataforma móvil 404 puede ser un vehículo en movimiento con el que el objeto 402 se mueve, tal como una aeronave u otro vehículo. El objeto puede ser una pantalla de usuario que se mueve en relación con el vehículo. Por ejemplo, el objeto en movimiento puede ser una pantalla montada en la cabeza (HMD) y la plataforma en movimiento puede ser un vehículo tal como una aeronave.

Los objetivos de referencia 408, tales como las marcas de referencia reflectantes, pueden fijarse a la plataforma móvil 404. En el ejemplo de una aeronave, Las marcas de referencia pueden fijarse a la carlinga de la aeronave. El sistema de seguimiento 400 puede incluir al menos un sensor 410 que forma imágenes de los objetivos 408 con el fin de seguir el movimiento del objeto 402 en relación con la plataforma móvil 404. En un ejemplo, las marcas de referencia pueden fijarse a la carlinga de una aeronave, y el objeto puede comprender un HMD.

El aparato incluye un sensor 410 configurado para formar imágenes de al menos un objetivo 408. Aunque no está ilustrado, una lente, tal como una lente de ojo de pez, también puede usarse en combinación con un generador de imágenes 410 de este tipo. Esto puede resultar útil en circunstancias en las que el sensor se coloca muy cerca de los objetivos.

La óptica para aplicaciones aeronáuticas puede necesitar una lente de ojo de pez de campo muy amplio, por ejemplo, debido a que la cámara está a solo unos 5-10 cm de la carlinga de la aeronave. Es posible que se requieran una buena formación de imágenes claras a corta distancia, por ejemplo, a lo largo de un FOV de 140. Debido a que la cámara está orientada hacia la carlinga del avión, el sol puede estar directamente en el FOV de la cámara, lo que origina algunos problemas de intervalo dinámico muy difíciles. Con el fin de abordar los desafíos potenciales provocados por la cámara dirigida hacia la carlinga, las marcas de referencia 408 pueden configurarse para volverse proporcionalmente más brillantes cuando se iluminan a contraluz por el sol. Para usar dichas marcas de referencia por la noche, puede agregarse un iluminador.

Por lo tanto, el aparato también puede incluir una fuente de iluminación de modo dual 412 configurada para iluminar los objetivos 408 mientras el sensor 410 forma imágenes del objetivo, la fuente de iluminación 412 usa al menos dos longitudes de onda de luz diferentes. El sensor 410, los objetivos 408, y la fuente de iluminación de modo dual 412 pueden ser similares a los descritos en relación con las figuras 1-3.

Por ejemplo, el iluminador 412 puede comprender dos emisores diferentes, un primer emisor 414 que emite luz en la primera longitud de onda y un segundo emisor 416 que emite luz en la segunda longitud de onda. Puede proporcionarse iluminación diurna, por ejemplo, por al menos un LED. La iluminación nocturna puede proporcionarse por, por ejemplo, un emisor láser de emisión de superficie de cavidad vertical (VCSEL), diodos láser, LED, etc. Dichos emisores pueden operar en el intervalo UV o en ciertas partes del espectro visible donde los NVG no son sensibles. Puede usarse uno de los dos emisores diferentes para iluminar el o los objetivos 408 en función de si la luz ambiental alcanza un umbral.

La figura 5 ilustra un ejemplo de una cabina abierta de aeronave de combate 500 que tiene un o unos objetivos 510 colocados en la carlinga 502. La figura 5 ilustra unos ejes de coordenadas de ejemplo asociados con la plataforma INS (p) 504, la pantalla (d) 506, el cuerpo de sensor (b) 508, la constelación de marcas de referencia (n) 510 y el suelo (i) 512 de acuerdo con los aspectos de la presente invención. La Tabla 1 enumera los cinco marcos de coordenadas asociados.

TABLA 1

La figura 6 ilustra un aparato de seguimiento de ejemplo de acuerdo con los aspectos de la presente invención. En el ejemplo de la figura 6, se sigue el movimiento de un HMD 602 en relación con una aeronave. Las marcas de referencia reflectantes 608 se colocan como objetivos en la carlinga 604 de la aeronave por encima de la cabeza del piloto. Una cámara 610 está acoplada al HMD para formar imágenes de las marcas de referencia 608 como un aspecto del movimiento de seguimiento del HMD. Se proporciona una fuente de iluminación dual 612 cerca del sensor y dirigida, en general, hacia las marcas de referencia. Las marcas de referencia 608, la cámara 610 y la fuente de iluminación dual 612 pueden ser similares a los tratados en relación con las figuras 1-4. La cámara y/o el iluminador pueden controlarse por una unidad de control 606. La unidad de control puede incluir memoria y al menos un procesador configurado para controlar la operación de la cámara y/o el iluminador como se describe en el presente documento. Por ejemplo, la unidad de control puede controlar el tiempo de exposición usado por la cámara o el sensor. La unidad de control puede recibir información con respecto a la cantidad de luz ambiental que se detecta y puede controlar el tiempo de exposición basándose en la cantidad detectada de luz ambiental y un primer umbral. La unidad de control puede controlar la longitud de onda de la luz emitida por la fuente de iluminación basándose en la cantidad detectada de luz ambiental y un segundo umbral. El primer umbral y el segundo umbral pueden ser iguales y pueden ser diferentes.

Para la recuperación de la pose óptica, puede usarse un generador de imágenes CMOS con obturador global SXGA (1280x1024) como la cámara 610. La cámara 610 puede combinarse con una lente ojo de pez de campo de visión de 150° (± 75°). La compensación de distorsión óptica en un sistema de seguimiento de este tipo, por ejemplo, permite el reconocimiento de marcas de referencia fuera del eje hasta ± 70°. El sensor proporciona sensibilidad en longitudes de onda superiores a 940 nm. El iluminador opera en longitudes de onda más allá del intervalo de sensibilidad NVG, haciéndolo de este modo compatible NVG y seguro para los ojos.

Las marcas de referencia pueden variar en tamaño desde aproximadamente 6 mm a 25 mm para aplicaciones aerotransportadas. La distancia desde el sensor hasta las marcas de referencia determina el tamaño necesario. Las aplicaciones tácticas pueden usar, entre otros, marcas de referencia de 8 mm. Pueden usarse marcas de referencia de diferentes tamaños cuando el techo es irregular. Las propias marcas de referencia pueden ser, por ejemplo, calificadas como MIL-810 para resistencia a la luz solar, para su uso con alta humedad, temperatura, choque térmico y resistencia a los fluidos de limpieza. El material base usado puede comprender un retrorreflector, como el diseñado para las señales de tráfico.

Aplicaciones potenciales

Los aspectos presentados en el presente documento pueden usarse en relación con el seguimiento de movimiento descrito en la patente de Estados Unidos número 6.474.159, titulada "Motion Tracking", emitida el 5 de noviembre de 2002 y en la solicitud provisional de los Estados Unidos número 61/ 988.106, titulada "Improved Registration for Vehicular Augmented Reality Using Auto-Harmonization", presentada el 2 de mayo de 2014 y la solicitud correspondiente núm. 14/702.402, publicada como US 2015/0317838 A1.

También existen solicitudes convincentes para la AR en diversos tipos de aeronaves y vehículos terrestres. De hecho, los primeros HMD transparentes con seguimiento en cabeza se usaron en aeronaves décadas antes de que se acuñara el término "AR". Los detalles adicionales se describen en Furness, T.A. (1986). Los desafíos de la Super cabina abierta y los factores humanos. En Ung, M. Actas de la sociedad de factores humanos, 30a Reunión anual, págs. 48-52. El seguimiento basado en la visión de los vehículos presenta desafíos muy diferentes a los de la AR terrestre normal. El entorno visual inmediato es el interior del vehículo, donde el uso de marcadores puede ser perfectamente práctico. No obstante, estos marcadores (o cualquier otra característica visual en el vehículo) se mueven en relación con el marco mundial donde los aumentos deben estabilizarse, por lo tanto, se requiere una ingeniería cuidadosa para seguir el vehículo y la cabeza en relación con el vehículo, y combinarlo todo con la precisión suficiente para lograrlo.

Varios seguidores de cabeza que estaban en uso en aeroplanos antes de 1991, por ejemplo, que eran en su mayoría mecánicos, ópticos y magnéticos, se describen en F. Ferrin, "Survey of helmet tracking technologies", SPIE, vol. 1456, págs. 86-94, 1991. Un seguidor de casco híbrido inercial para aeronaves se describe en Foxlin, E. Seguimiento de cabeza en relación con un vehículo en movimiento o una plataforma de simulación que usa sensores inerciales diferenciales. Actas de pantallas montadas en casco y cabeza V, SPIE Vol. 4021, Simposio AeroSense, Orlando, FL, 24-25 de abril de 2000. Un aspecto adicional, que incluye una óptica interior-exterior-en se describen en Foxlin, E., Altshuler, Y., Naimark, L., & Harrington, M. Seguidor de vuelo: Un nuevo seguidor óptico/inercial para una visión mejorada de la cabina abierta. Simposio internacional IEEE/ACM sobre realidad mixta y aumentada (Washington, D.C., ISMAR 2004), 2-5 de noviembre de 2004; Foxlin, E. & Naimark, L. (2003). Seguidor-VIS: Un autoseguidor de visión inercial que puede llevarse puesto. Conferencia IEEE sobre Realidad Virtual (Los Ángeles, CA, 2003); y Atac, R. & Foxlin, E. Seguidor inercial de base óptica híbrido (HObIT). Proc. SPIE 8735, Expositores montados en la cabeza y el casco XVIII: Diseño y Aplicaciones, 873502, 16 de mayo de 2013.

Los aspectos del aparato, el sistema y el método presentados en el presente documento son compatibles con diversos vehículos, incluyendo aeronaves militares y civiles. Con el fin de ser compatible con, por ejemplo, diferentes ordenadores de misión (MC) que ya pueden estar presentes en las aeronaves, un sistema de visualización de acuerdo con los aspectos de la presente invención puede implementar solo el seguimiento de cabeza genérico, funciones de reproducción y visualización que son comunes a todos los sistemas de AR de vehículos, y ninguna de las funciones de misión-específicas, como apuntar, señalizar, visión mejorada o visión sintética. Como tal un sistema sería responsable de reproducir, pero no decide qué se va a reproducir, la interfaz con el MC permite al MC definir y descargar un conjunto arbitrario de "símbolos" que incluyen cualquier forma 2D o 3D que involucre segmentos de línea de cualquier color o espesor y/o mapas de bits. El MC puede especificar que cada símbolo se estabilice en el suelo o en la cabeza o en el vehículo.

Por ejemplo, un sistema AR de ejemplo puede incluir un HMD que incluye un componente de seguimiento y una pantalla. Una unidad de control y un generador de imágenes reciben datos de seguimiento relacionados con e1HMD y comunican una imagen generada al HMD. La unidad de control también puede recibir una entrada del ordenador de misión de un vehículo, incluyendo, por ejemplo, datos de símbolos y datos de un GPS/INS de aeronave.

Los aspectos presentados en el presente documento pueden incluir la sustitución de un seguidor magnético de tal manera que el sistema no implique dispositivos activos instalados en la cabina abierta (tal como una fuente magnética o cámaras ópticas). En cambio, todos los sensores inerciales y ópticos pueden proporcionarse en un sensor autónomo montado, por ejemplo, en el casco. El sensor puede comunicarse con una unidad de control, tal como una unidad de control montada en la cabina abierta, a través de una interfaz casco-vehículo (HVI). El sensor puede comunicarse con la unidad de control, por ejemplo, usando el mismo cable HVI que el módulo de visualización. Pueden colocarse pegatinas con marcas de referencia en la carlinga sobre la cabeza del piloto o del conductor para ayudar en el seguimiento del movimiento.

Además de para aeronaves, hay una serie de aplicaciones potenciales para los aspectos de seguimiento de movimiento presentados en el presente documento. Por ejemplo, las aplicaciones de RA en vehículos terrestres. En climas como Alaska que reciben grandes cantidades de nieve, los montones de nieve pueden llegar a ser tan altos que los conductores de quitanieves no puedan ver la parte superior de los postes de guía de borde de carretera. En esta circunstancia, puede usarse un sistema AR para guiar a los conductores de arado.

Otra posibilidad es la guía AR para operadores de equipos de movimiento de tierra y otra maquinaria pesada de construcción con el fin de ayudarlos a lograr de manera más eficaz y exacta los resultados deseados planificados en un modelo CAD. Los auriculares AR también serían valiosos para proporcionar una conciencia situacional a los primeros respondedores mientras conducen hasta el lugar y después de desmontar de los vehículos en el lugar.

Los aspectos presentados en el presente documento mejoran el seguimiento del movimiento en este tipo de vehículos al mejorar la precisión de las imágenes de marcas de referencia.

Los aspectos presentados en el presente documento abordan los desafíos, incluidas las tecnologías ópticas para producir HMD pequeños y cómodos con suficiente campo de visión (FOV) y el seguimiento de cabeza que puede producir un registro espacio-temporal convincente de aumentos en sus objetos físicos correspondientes en entornos del mundo real no preparados. Pueden encontrarse detalles adicionales en Azuma, R., y Bishop, G., "Improving Static and Dynamic Registration in a See-Through HMD", Actas de SIGGRAPH 37 '94. En gráficas por ordenador, Serie de conferencias anuales, Orlando, FL., págs. 197-204, 1994; Krevelen, D.W.F, & Poelman, R. Una encuesta de tecnologías, aplicaciones y limitaciones de realidad aumentada. La revista internacional de realidad virtual, 9(2):1-20, 2010; Daniel Wagner, Gerhard Reitmayr, Alessandro Mulloni, Tom Drummond, Dieter Schmalstieg. El seguimiento de poses a partir de características naturales en teléfonos móviles. Actas del 7° Simposio Internacional IEEE/ACM sobre Realidad Mixta y Aumentada, páginas 125-134. ISMAR 2008; Welch, G., Bishop, G., Vicci, L., Brumback, S., Keller, K. & Colluci, D. (2001). Seguimiento óptico de área amplia de alto rendimiento: El sistema de seguimiento HiBall. Presencia: Teleoperadores y entornos virtuales vol. 10, número 1, Prensa MIT; y Zhou, F., Been-Lirn Duh, Henry., Billinghurst, M. Tendencias en el seguimiento de la realidad aumentada, interacción y visualización: Una revisión de diez años del ISMAR. Actas del 7° Simposio Internacional IEEE/ACM sobre Realidad Mixta y Aumentada, Páginas 193-202. ISMAR 2008; y Roberts, D., Menozzi, A., Cook, J., Sherrill, T., Snarski, S., Russler, P., ... & Welch, G. Prueba y evaluación de un sistema de realidad aumentada portátil para entornos naturales al aire libre. En defensa, seguridad y detección SPIE (págs. 87350A-87350A). Sociedad Internacional de Óptica y Fotónica. Mayo 2013.

Si bien los aspectos descritos en el presente documento se han descrito en relación con los aspectos de ejemplo descritos anteriormente, varias alternativas, modificaciones, variaciones, mejoras y/o equivalentes sustanciales, ya sean conocidos o que sean o puedan ser imprevistos actualmente, puede resultar evidente para los expertos en la materia. En consecuencia, los aspectos de ejemplo, como se ha establecido anteriormente, pretenden ser ilustrativos, no limitantes. Pueden realizarse diversos cambios sin alejarse del alcance de la invención tal como se define en las reivindicaciones adjuntas.

Por lo tanto, las reivindicaciones no pretenden limitarse a los aspectos mostrados en el presente documento, pero se le debe otorgar el alcance completo de acuerdo con las reivindicaciones del lenguaje, en las que la referencia a un elemento en singular no pretende significar "uno y solo uno" a menos que se indique específicamente, sino más bien "uno o más". Todos los equivalentes estructurales y funcionales de los elementos de los diversos aspectos descritos a lo largo de la presente divulgación que son conocidos o que posteriormente llegarán a ser conocidos por los expertos en la materia se incorporan expresamente en el presente documento como referencia y se pretende que estén abarcados por las reivindicaciones. Además, nada de lo divulgado en el presente documento está destinado a ser dedicado al público independientemente de si dicha divulgación se recita explícitamente en las reivindicaciones. Ningún elemento de reivindicación debe interpretarse como un medio más una función a menos que el elemento se indique expresamente usando la frase "medio para".

Claims

REIVINDICACIONES

1. Un aparato para seguir marcas de referencia montado en una carlinga, una cabina abierta o una cabina de una aeronave usando formación de imágenes de modo dual bajo diferentes condiciones de iluminación, comprendiendo el aparato:

un casco;

un sensor (610) montado en el casco y que comprende una lente y configurado para formar imágenes de una marca de referencia (608);

una fuente de iluminación de modo dual (612) montada en el casco y configurada para iluminar la marca de referencia mientras que el sensor forma imágenes de la marca de referencia, en donde la fuente de iluminación de modo dual está configurada para iluminar la marca de referencia usando una primera longitud de onda de luz fuera de la banda visible bajo una primera condición de iluminación y para iluminar la marca de referencia usando una segunda longitud de onda de luz superior a 940 nm bajo una segunda condición de iluminación,

en donde la fuente de iluminación de modo dual emite la primera longitud de onda de luz cuando la luz ambiental alcanza un umbral y emite la segunda longitud de onda de luz cuando la luz ambiental no alcanza el umbral.

2. El aparato de la reivindicación 1, en el que el sensor forma imágenes de la marca de referencia usando un primer tiempo de exposición cuando la marca de referencia se ilumina usando la primera longitud de onda de luz y usa un segundo tiempo de exposición cuando la marca de referencia se ilumina usando la segunda longitud de onda de luz, siendo el primer tiempo de exposición más corto o igual que el segundo tiempo de exposición.

3. El aparato de la reivindicación 2, en el que el primer tiempo de exposición está aproximadamente dentro de un primer intervalo que comprende de 15 a 150 js , y en donde el segundo tiempo de exposición está aproximadamente dentro de un segundo intervalo que comprende de 500 a 2000 js .

4. El aparato de la reivindicación 2, en el que la primera longitud de onda es 850 nm y en el que la segunda longitud de onda es 980 nm.

5. El aparato de la reivindicación 1, que comprende además:

un filtro de interferencia situado entre el sensor y la marca de referencia.

6. El aparato de la reivindicación 5, en el que el filtro de interferencia comprende:

una banda de paso estrecha en aproximadamente la primera longitud de onda; y

una segunda banda de paso estrecha en aproximadamente la segunda longitud de onda.

7. El aparato de la reivindicación 1, en el que la fuente de iluminación de modo dual comprende:

un primer emisor que emite luz en la primera longitud de onda; y

un segundo emisor que emite luz en la segunda longitud de onda.

8. El aparato de la reivindicación 1, en el que el primer emisor comprende al menos un LED, y en el que el segundo emisor comprende al menos uno seleccionado de un grupo que consiste en un emisor láser de emisión de superficie de cavidad vertical (VCSEL), un diodo láser y un diodo de emisión de luz (LED).

9. El aparato de la reivindicación 8, en el que el segundo emisor emite luz en el intervalo ultravioleta.

10. El aparato de la reivindicación 8, que comprende además una unidad de medición inercial (IMU), y en el que el sensor incluye una lente de ojo de pez.

11. El aparato de la reivindicación 1, en el que la fuente de iluminación de modo dual incluye una pluralidad de emisores situados alrededor del sensor.

12. Un sistema de formación de imágenes de modo dual para seguir marcas de referencia montadas en una carlinga, una cabina abierta o una cabina de una aeronave formando imágenes de una marca de referencia objetivo bajo diferentes condiciones de iluminación, comprendiendo el sistema:

la marca de referencia (608); y

un aparato de acuerdo con la reivindicación 1, en el que el sensor está configurado para formar imágenes de la marca de referencia, y la fuente de iluminación de modo dual está configurada para iluminar la marca de referencia mientras que el sensor forma imágenes de la marca de referencia.

13. El sistema de la reivindicación 12, en el que la marca de referencia comprende un material retrorreflectante y un tamaño de 6 mm a 25 mm.

14. El sistema de la reivindicación 12, que comprende además:

un procesador configurado para seguir una posición del casco en movimiento con respecto a la carlinga de la aeronave basándose en la imagen de la marca de referencia.

15. El sistema de la reivindicación 12, en el que la fuente de iluminación de modo dual emite la primera longitud de onda de luz cuando la luz ambiental alcanza un umbral y emite la segunda longitud de onda de luz cuando la luz ambiental no alcanza el umbral, y en donde el sensor forma imágenes de la marca de referencia usando un primer tiempo de exposición cuando la marca de referencia se ilumina usando la primera longitud de onda de luz y usa un segundo tiempo de exposición cuando la marca de referencia se ilumina usando la segunda longitud de onda de luz, siendo el primer tiempo de exposición más corto que el segundo tiempo de exposición.