ES3051684T3

ES3051684T3 - Integrity monitoring of a display system

Info

Publication number: ES3051684T3
Application number: ES18804060T
Authority: ES
Inventors: Colin Richard Mills; Ian Thomas Macken
Original assignee: BAE Systems PLC
Current assignee: BAE Systems PLC
Priority date: 2017-11-13
Filing date: 2018-11-06
Publication date: 2025-12-29
Anticipated expiration: 2038-11-06
Also published as: JP2021506191A; US11176858B2; EP3711043A1; JP7242693B2; GB2568296A; US20200349874A1; EP3711043B1; GB2568296B; WO2019092413A1; GB201718703D0

Abstract

Se proporciona un monitor de integridad para un sistema de visualización. Este sistema comprende una fuente de imagen y una pantalla. El monitor de integridad incluye un controlador configurado para analizar las características detectadas en una o más posiciones predeterminadas en un área de imagen del sistema de visualización y relacionarlas con las características predeterminadas de un estímulo al inyectarse en el sistema, determinando así la presencia de un fallo. Las características detectadas pueden detectarse óptica o no. El estímulo puede ser óptico o no. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] ES 3 051 684 T3

[0004] DESCRIPCIÓN

[0005] Monitoreo de integridad de un sistema de visualización

[0006] Campo de la invención

[0007] Esta invención se refiere al monitoreo de la integridad y, en particular, pero no exclusivamente, al monitoreo de la integridad de los sistemas de visualización.

[0008] Antecedentes

[0009] Las pantallas aviónicas, en particular las que se requieren para mostrar información crítica para la seguridad, deben funcionar con un nivel muy alto de integridad y haber sido desarrolladas con estándares muy altos asociados con la integridad. La certificación de dichos sistemas puede resultar muy cara y llevar mucho tiempo.

[0010] El documento US7.355.179B1 se refiere aun monitor de integridad del sistema de obtención de imágenes de escenas (Scene Imaging System, SIS) para monitorear el funcionamiento requerido de un sensor de imágenes de un SIS. El documento JP2007.251.555A se refiere a un aparato y método de diagnóstico, a un programa y a un medio de grabación.

[0011] Resumen de la invención

[0012] Según un primer aspecto descrito en la presente memoria, se proporciona un sistema de visualización como se define en la reivindicación 1.

[0013] Según un primer aspecto descrito en la presente memoria, se proporciona un método para monitorear la integridad de un sistema de visualización como se define en la reivindicación 8.

[0014] Descripción de los dibujos

[0015] A continuación, se describirán, únicamente a modo de ejemplo, realizaciones ejemplares de la presente invención con referencia a los dibujos adjuntos, de los cuales:

[0016] la figura 1 muestra ejemplos de componentes de un sistema de visualización que incorpora un sistema de monitoreo de integridad según un ejemplo descrito en la presente memoria;

[0017] la figura 2 muestra cómo los ejemplos de áreas de imagen de los sensores de entrada pueden relacionarse con las áreas de imagen de las pantallas de visualización, según un ejemplo descrito en la presente memoria;

[0018] la figura 3 muestra un ejemplo de un estímulo óptico o no óptico y cómo puede posicionarse en un área de imagen mostrada en la figura 2, según un ejemplo descrito en la presente memoria;

[0019] la figura 4 muestra esquemáticamente una vista en sección de los componentes de un ejemplo de proyector de imágenes para una pantalla montada en un casco, según un ejemplo descrito en la presente memoria;

[0020] la figura 5 muestra esquemáticamente una vista en sección de ejemplos de técnicas de captura de luz aplicadas a una pantalla de visualización de un proyector de imágenes, según un ejemplo descrito en la presente memoria;

[0021] la figura 6 muestra esquemáticamente una vista en sección de los componentes de un ejemplo de proyector de imágenes para una pantalla montada en un casco, como en la figura 4, que incorpora una técnica de captura de luz alternativa, según un ejemplo descrito en la presente memoria; y

[0022] la figura 7 muestra esquemáticamente una vista en sección de los componentes de un ejemplo de HUD a los que pueden aplicarse los ejemplos descritos en la presente memoria.

[0023] Descripción detallada

[0024] La certificación de las pantallas de aviónica, en particular las que se requieren para mostrar información crítica para la seguridad, requiere pruebas de que se han desarrollado con estándares de integridad muy altos y de funcionamiento con un nivel de integridad muy alto.

[0025] Un enfoque para garantizar que las pantallas aviónicas funcionen al menos con un nivel de integridad requerido es proporcionar una función de monitoreo de integridad independiente. La función de monitoreo de la integridad puede desarrollarse y puede funcionar según el nivel de integridad más alto requerido. Sin embargo, al ser una disposición

[0026] ES 3 051 684 T3

[0028] relativamente simple en comparación con un sistema de visualización de extremo a extremo típico, la certificación de la funcionalidad de monitoreo de integridad según el estándar más alto puede ser más fácil de lograr.

[0030] Los ejemplos de un monitor de integridad se describirán a continuación en un ejemplo de aplicación para sistemas de visualización. En un ejemplo particular, el monitor de integridad se describirá para monitorear la integridad de un sistema de visualización dispuesto para mostrar imágenes emitidas por una cámara de visión nocturna (Night Vision Camera,NVC) en combinación con símbolos u otros artefactos de visualización que se muestran superpuestos sobre las imágenes NVC. Sin embargo, quedará claro que los principios que se describirán pueden aplicarse al monitoreo de la integridad de otros tipos de sistemas de visualización u otros tipos de sistemas críticos para la seguridad, como sería evidente para un experto en la técnica relevante.

[0032] Los ejemplos de un monitor de integridad que se describirán funcionan según el principio de que un estímulo conocido se inyecta en una fase temprana en el sistema de visualización, adaptado a la detección de un tipo conocido particular de fallo de integridad u otro peligro. El resultado de la inyección del estímulo se detecta en una etapa posterior en el sistema de visualización y el resultado se compara con lo esperado. Además, el efecto del estímulo puede proporcionar una base para analizar la salida del sistema de visualización cuando se buscan pruebas de un fallo de integridad u otro peligro.

[0034] Como alternativa a la inyección de un estímulo conocido, un estímulo existente de forma desconocida, tal como una señal de ruido que surja dentro del sistema, puede aprovecharse para detectar al menos algunas formas de fallo del sistema de visualización o un modo de funcionamiento potencialmente peligroso, como se analizará más adelante.

[0035] En el ejemplo de sistema de visualización mencionado anteriormente, que tiene como una de sus entradas de imagen un NVC, un estímulo conocido idealmente se inyecta ópticamente en el NVC y se detecta ópticamente en una salida de visualización del sistema para ejercitar todos los componentes ópticos y electrónicos del sistema de extremo a extremo. También sería beneficioso si el estímulo conocido pudiera inyectarse y los efectos detectarse posteriormente sin perturbar la visión normal del usuario de las imágenes que se muestran en el sistema de visualización. Eso permitiría que la función de monitoreo de la integridad funcione de manera continua durante el funcionamiento normal del sistema de visualización.

[0037] Mantener una relación directa entre un estímulo inyectado ópticamente en una entrada de sensor y un efecto detectado ópticamente en una salida de pantalla requiere, en ausencia de una alternativa, una alineación de alta precisión en la posición o posiciones de inyección óptica y la posición o posiciones de detección óptica. Sin embargo, a continuación, se describirá un ejemplo de enfoque alternativo que evita la necesidad de una alineación y ensamblaje de alta precisión de los componentes de inyección y detección ópticas.

[0039] Algunos ejemplos de fallos de integridad u otros riesgos de seguridad que pueden detectarse son: en una pantalla a color, el fallo de uno o más LED rojo, verde o azul; una pantalla congelada; errores de escalado de imágenes; oscilación de imagen; errores de posicionamiento; y fallos de brillo de la imagen. Los ejemplos de los tipos de pantallas donde pueden detectarse dichos fallos o peligros incluyen las pantallas de visualización frontal(Head-Up Display,HUD), las pantallas de visualización frontal(Head-Down Display,HDD) y las pantallas montadas en la cabeza(Head-Mounted Display,HMD). Las imágenes mostradas por dichos sistemas pueden emitirse a través de dispositivos de visualización tales como dispositivos de microespejos digitales(Digital Micro-mirror Device,DMD), dispositivos de cristal líquido sobre silicio(Liquid Crystal on Silicon,LCoS), dispositivos de diodos emisores de luz orgánicos(Organic Light-Emitting Diode,OLED) u otros tipos de dispositivos de visualización digital.

[0041] Ahora se describirá un ejemplo de sistema de visualización montado en un casco con referencia a la figura 1 que incorpora una disposición de monitoreo de la integridad según una realización de la presente invención. En otro ejemplo de sistema de visualización, que se analizará a continuación, el sistema de visualización puede incluir un HUD además de o en lugar de una pantalla montada en el casco.

[0043] Haciendo referencia a la figura 1, se muestra esquemáticamente una disposición de los componentes de un sistema de visualización montado en un casco comprendiendo una cámara de visión nocturna(Night Vision Camera,NVC) 10 para detectar una escena nocturna externa 12, un procesador 14 de imágenes de sensor, un procesador/controlador de imágenes de pantalla 16 y un proyector 18 de imágenes. El proyector 18 de imágenes está dispuesto para proyectar una imagen hacia y para su reflexión a través de un visor 20 parcialmente reflectante para que la vea un usuario 22.

[0044] El sistema de visualización también incluye un generador 24 de símbolos para generar elementos de imagen tales como símbolos y otros datos que también pueden introducirse en el procesador/controlador de imágenes de la pantalla 16 para su visualización. Los símbolos pueden comprender líneas y formas tales como triángulos, círculos o cuadrados, junto con caracteres alfanuméricos o datos representados de diversas maneras. Los símbolos generados normalmente se mostrarán de tal modo que el usuario 22 los vea superpuestos sobre las imágenes suministradas por el NVC 10, cuando están en uso.

[0046] En un sistema de visualización de este tipo, pueden producirse fallos debido a fallos de componentes o fallos de diseño latentes en cualquiera de los componentes 10, 14, 16, 18 y 24, lo que lleva a una situación potencialmente peligrosa.

[0047] ES 3 051 684 T3

[0049] Puede incorporarse una disposición de monitoreo de la integridad 1 para que funcione junto con el sistema de visualización con el fin de detectar dichos fallos sin interferir con la generación y visualización de imágenes para el usuario 22. Sin embargo, al detectar un fallo u otro modo de funcionamiento peligroso, el monitor de integridad puede activar una acción, por ejemplo, para desactivar el sistema de visualización dentro de un período de tiempo predeterminado, por ejemplo, 0,5 segundos, desde que el fallo afecte por primera vez a lo que el usuario 22 ve en pantalla.

[0051] Con este fin, la disposición de monitoreo de integridad 1 comprende un procesador 30 de alta integridad proporcionado para implementar la funcionalidad de monitoreo de integridad de la disposición 1. Se proporciona una fuente 32 de inyección óptica para generar luz que tenga características predeterminadas. Según un ejemplo que no forma parte de la invención, la fuente 32 de inyección óptica puede funcionar completamente según una secuencia preconfigurada para la generación de estímulos ópticos que tengan las características predeterminadas, sin requerir ningún enlace al procesador 30 de alta integridad. La fuente 32 de inyección óptica es controlable por el procesador 30 de alta integridad para activar un estímulo óptico o generar un estímulo que tenga características específicas. La luz generada se inyecta como un estímulo óptico por medio de una fibra óptica 34 en el NVC 10. La fibra óptica 34 inyecta la luz generada por la fuente 32 de inyección óptica en una posición apropiada dentro de un sistema óptico del NVC 10. Idealmente, la fibra óptica 34 puede inyectar luz desde un punto cercano a un sensor en el NVC 10 para que la luz pueda ser detectada por el sensor en un borde de su área de detección, fuera del campo de visión permitido por el sistema óptico del NVC 10. De ese modo, no se esperaría que la luz inyectada interfiriera con la vista de la escena externa 12, tal como la puede mostrar el proyector 18 de imágenes y verla el usuario 22. Los ejemplos de características de la luz generada se analizarán con más detalle a continuación.

[0053] El estímulo óptico inyectado en el NVC 10 desde la fuente 32 de inyección óptica, al igual que la luz recibida a través de un sistema óptico del NVC 10 desde la escena externa 12, es detectado por el sensor del NVC 10 y el NVC 10 envía las señales o datos de imagen correspondientes al procesador 14 de imágenes de sensor. Los datos de señal o imagen se pasan entonces al procesador/controlador 14 de imágenes de pantalla, que controla un dispositivo de visualización del proyector 18 de imágenes para emitir una imagen correspondiente. Al menos esa parte de la imagen que incluye la vista de la escena externa 12 es proyectada por el proyector de imágenes sobre el visor 20 para que la vea el usuario 22. Cuando el estímulo óptico se inyecta en un borde del área de detección de un sensor en el NVC 10, la luz generada por un dispositivo de visualización dentro del proyector 18 de imágenes debería entonces ser detectable desde una posición correspondiente en el área de imagen del dispositivo de visualización.

[0055] La disposición de monitoreo de integridad 1 incluye un detector óptico 36 dispuesto para detectar las características de la luz capturada dentro del proyector 18 de imágenes, preferiblemente desde un punto donde se forma una imagen dentro de un sistema óptico del proyector 18 de imágenes. La luz es capturada, por ejemplo, utilizando una fibra óptica 38 colocada apropiadamente u otra disposición óptica, y canalizada por la fibra 38 al detector óptico 36. El detector óptico 36 envía datos que representan la luz detectada al procesador 30 de alta integridad para su análisis, de los que se proporcionará más detalle a continuación.

[0057] La aplicación de un estímulo óptico en el NVC 10 tiene la ventaja de que permite probar toda la funcionalidad y el hardware del NVC 10. De manera similar, la detección de una salida óptica permite probar la funcionalidad y el hardware del proyector 18 de imágenes junto con todos los componentes 14, 16 entre el NVC 10 y el proyector 18 de imágenes.

[0059] El procesador 30 de alta integridad también puede estar dispuesto para introducir un estímulo no óptico comprendiendo señales o datos, o una manipulación de datos en varios puntos dentro del sistema de visualización y para recibir datos de dichos puntos con fines de monitoreo. Por ejemplo, el procesador 30 de alta integridad puede modificar los datos emitidos por el NVC 10, que representan un área de imagen en el sistema, para sobrescribir los datos que definen uno o más grupos de píxeles en un borde del área de imagen. Los píxeles modificados deberían aparecer entonces en los datos de imagen que están siendo procesados por el procesador/controlador de imágenes de pantalla 16 y, posteriormente, en una imagen generada por el dispositivo de visualización dentro del proyector 18 de imágenes. Esta técnica proporciona una prueba adicional y más específica de diferentes partes del sistema de visualización, por ejemplo, si no es práctico inyectar un estímulo óptico.

[0061] El procesador 30 de alta integridad también está dispuesto para recibir señales o datos que representan el área de la imagen en las interfaces dentro de uno o ambos del procesador/controlador de imágenes de la pantalla 16 y el proyector 18 de imágenes. El procesador 30 de alta integridad está configurado para analizar las señales o datos recibidos para permitir que un estímulo introducido o su efecto se detecten y analicen desde cada uno de esos componentes. Además, o alternativamente, el detector óptico 36 puede detectar cualquier efecto óptico resultante relacionado con el estímulo inyectado. Las características de un estímulo no óptico se analizarán con más detalle a continuación.

[0063] Las señales o datos ópticos y no ópticos están destinados a introducir un estímulo conocido y detectable en los componentes seleccionados en las etapas de entrada del sistema de visualización. Los estímulos introducidos pueden detectarse entonces en componentes seleccionados relacionados con las salidas del sistema de visualización para revelar uno o más de los diferentes tipos de posibles fallos.

[0064] ES 3 051 684 T3

[0066] Una fuente de ruido existente en el NVC 10 o en otros componentes del sistema de visualización también puede considerarse un ejemplo de un estímulo introducido, cuyos efectos pueden detectarse en las imágenes que se muestran o en los datos que se procesan por el procesador/controlador de imágenes de la pantalla 16 o por el proyector 18 de imágenes. El ruido puede proporcionar un estímulo que varía aleatoriamente a los píxeles seleccionados, reconocible, por ejemplo, por las fluctuaciones en los bits más bajos significativos de los datos de imagen que controlan el brillo de los píxeles. Los efectos del ruido en los píxeles seleccionados pueden utilizarse para determinar si el estímulo supera el nivel de ruido esperado para el sistema en un punto de monitoreo. Por ejemplo, esto podría detectarse de manera no óptica a través del procesador 30 de alta integridad utilizando un umbral apropiado para determinar si se ha detectado una pantalla congelada. El umbral y cualquierfiltro utilizado en los datos deben configurarse adecuadamente para garantizar que las fluctuaciones del ruido no permitan que una falla pase desapercibida o que el sistema detecte fallas de manera incorrecta.

[0068] El ejemplo de sistema de visualización mostrado en la figura 1 es un sistema de visualización montado en un casco. Sin embargo, como sería evidente para un experto en la técnica, la disposición de monitoreo de la integridad puede aplicarse a otros tipos de sistemas de visualización, incluidas las pantallas de visualización frontal (Head-Up Display,HUD), las pantallas de visualización frontal(Head-Down Display,HDD) u otras formas de pantalla montadas en la cabeza. Los diferentes sistemas de visualización proporcionaron diferentes oportunidades para inyectar estímulos ópticos o no ópticos en las etapas relacionadas con la entrada del sistema de visualización y para detectar los efectos de los estímulos en las etapas del sistema de visualización relacionadas con la salida. En todos los casos, la intención es evitar perturbar la visualización normal de las imágenes por parte del usuario, como se explicará ahora, además con referencia a la figura 2.

[0070] Haciendo referencia en primer lugar a la figura 2a, se muestra un ejemplo de representación de un área 40 de sensor activo sustancialmente rectangular de un sensor en el NVC 10.

[0072] Haciendo referencia a la figura 2b, se muestra un ejemplo de representación, superpuesto sobre el área de sensor activo 40, de esa parte del área 40 de sensor activo que puede recibir luz de un campo de visión 42 del NVC 10 de una escena externa 12. El campo de visión está limitado, por ejemplo, por un sistema de lentes del NVC 10. Teniendo en cuenta la disposición de integridad 1 de la presente descripción, cualquier estímulo óptico inyectado a través del sistema de lentes del NVC 10 llegará necesariamente al sensor en algún lugar dentro de esa parte 42 que representa el campo de visión del NVC 10. Sin embargo, la inyección de un estímulo óptico desde un punto entre el sistema de lentes y el sensor del NVC 10, como se mencionó anteriormente, brinda la oportunidad de inyectar luz en el área 40 que está fuera de la región 42.

[0074] Haciendo referencia a la figura 2c, se muestra un ejemplo de representación de un área de pantalla 44 dentro del proyector 18 de imágenes o dentro del proyectorde imágenes de otro tipo de pantalla, tal como un HUD, donde puede formarse una imagen colimada.

[0076] Haciendo referencia a la figura 2d, se muestra una representación ejemplar, superpuesta sobre el área de pantalla 44, del área dentro de la pantalla que puede recibir luz emitida desde el área de imagen activa 46 del dispositivo de visualización en el proyector 18 de imágenes.

[0078] Haciendo referencia a la figura 2e, se muestra un ejemplo de representación, superpuesto sobre el área 46 de la pantalla 44, de un área de imagen 48 que sería vista por un usuario 22 al ver una imagen proyectada reflejada desde el visor 20. El área 48 representa el campo de visión disponible para un usuario 22 de la luz emitida por el dispositivo de visualización. Es decir, el usuario 22 puede ver la parte de una imagen formada en la pantalla 44 que se encuentra dentro del área 48. El campo de visión 48 visible para el usuario está determinado por la combinación de la óptica de proyección del proyector 18 de imágenes y el visor 20.

[0080] Las pantallas montadas en cascos, como las que se muestran en la figura 1, emplean visores 20 curvos. Para que la luz del proyector 18 de imágenes aparezca sin distorsiones tras la reflexión del visor 20 curvo, la luz de imagen emitida por el dispositivo de visualización es predistorsionada por el procesador/controlador de imágenes de la pantalla 16 para compensar las propiedades ópticas conocidas del visor 20 y de cualquier otra óptica del proyector 18 de imágenes. Por lo tanto, con una distorsión previa adecuada, el usuario 22 verá una imagen completa sin distorsiones si la imagen predistorsionada se emite desde esa parte 48 del área de pantalla 44 que representa el campo de visión del usuario en el proyector 18 de imágenes.

[0082] Puede disponerse que cualquier luz recibida en el NVC 10 desde el campo de visión 42 de una escena externa 12 pueda ser detectada por el sensor NVC como una imagen que puede transmitirse en datos a través del sistema y mostrarse desde dentro del área 48 de la pantalla 44. Sin embargo, como puede verse en la figura 2e, queda una región 50 de la pantalla 44 que queda fuera del área 48 que representa el campo de visión disponible para el usuario 22. La luz de esa parte de una imagen formada en la pantalla 44 en la región 50 no puede ser vista por el usuario 22, pero puede ser capturada por una fibra óptica 38 colocada adecuadamente, por ejemplo, como se muestra en la figura 1. Por lo tanto, es preferible, aunque no esencial, que la fuente 32 de inyección óptica inyecte un estímulo óptico en el NVC 10 en una posición tal dentro del área de detección del sensor del NVC que sea detectable en una imagen

[0083] ES 3 051 684 T3

[0085] formada en la pantalla 44 dentro de la región 50. La disposición de integridad 1 puede aprovechar esta propiedad para probar la integridad operativa del sistema de visualización sin perturbar el uso normal del sistema de visualización por parte del usuario.

[0087] Para evitar la necesidad de una alineación física de alta precisión de una fuente 32 de inyección óptica y un detector óptico 36, el sistema puede predeterminar el posicionamiento de cada fuente 32 de inyección óptica y/o detector óptico 36 de tal modo que el procesador 30 de alta integridad pueda utilizar esta información para determinar la posición real de estos. El procesador 30 de alta integridad puede entonces comprobar las posiciones reales de la fuente 32 de inyección óptica y generar fuentes de inyección no óptica revisadas copiando las áreas de píxeles detectadas asociadas de la fuente o fuentes de inyección no óptica o, alternativamente, generar fuentes de inyección no óptica completamente nuevas para alinearse correctamente con el detector óptico 36.

[0089] En el sistema mostrado en la figura 1, se mostró y analizó anteriormente un ejemplo de técnica con referencia a la figura 2e para inyectar un estímulo óptico en el NVC 10 utilizando una fibra óptica 34 colocada de manera apropiada. Sin embargo, pueden utilizarse otras técnicas para inyectar un estímulo óptico en el NVC 10.

[0091] Por ejemplo, el estímulo óptico puede dirigirse a una posición particular dentro de un área de sensor del NVC 10 a través de uno o más de:

[0093] • inyección de una fuente de luz colimada a través del sistema de lentes NVC, por ejemplo, por medio de una o más ópticas pequeñas montadas externamente al sistema de lentes NVC;

[0095] • inyección directamente en una posición seleccionada del sensor NVC a través de un acoplamiento de fibra óptica, sin pasar por algunos o todos los elementos del sistema de lentes NVC;

[0097] • inyección utilizando una guía de ondas colocada fuera del sistema de lentes NVC para proporcionar una imagen colimada de uno o más puntos de prueba, colocados adecuadamente;

[0099] • inyección utilizando una guía de ondas colocada internamente en el sistema de lentes NVC (dentro del tope) para proporcionar una imagen colimada de uno o más puntos de prueba, ubicados adecuadamente.

[0101] Para aprovechar la propiedad descrita anteriormente con referencia a la figura 2e utilizando un estímulo óptico, en un ejemplo, se colocan una o más fibras ópticas dentro del NVC 10 en posiciones que permiten inyectar un estímulo óptico en una o más regiones cercanas a un borde del área de detección del sensor. Alternativamente, puede colocarse una guía de ondas óptica sustancialmente transparente internamente en el sistema de lentes NVC y la guía de ondas puede inyectar un estímulo óptico en forma de una imagen colimada de un patrón de prueba a través de la guía de ondas en el sensor del NVC 10. La guía de ondas óptica está provista de una rejilla de difracción formada sobre o dentro de la guía de ondas para acoplar la luz de la guía de ondas hacia el sensor. Ahora se describirá un ejemplo de posicionamiento del estímulo óptico con referencia a la figura 3.

[0103] Haciendo referencia a la figura 3a, en un ejemplo, el estímulo óptico puede comprender uno o más marcadores 60, 62, 64, 66 comprendiendo formas de luz. Cada marcador 60-66 puede colocarse de tal modo que sea detectado por el sensor NVC en una posición cercana a un borde del área 40 del sensor activo, pero fuera del campo de visión 42 habitual del NVC 10.

[0105] Haciendo referencia a la figura 3b, la región 50 de la pantalla 44 en el proyector 18 de imágenes proporciona un área donde pueden mostrarse y detectarse uno o más marcadores 70, 72, 74, 76. Dichos marcadores pueden inyectarse como un estímulo no óptico en una fase anterior del sistema o pueden ser el resultado de un estímulo óptico inyectado en el NVC 10, por ejemplo, uno o más de los marcadores 60-66 pueden posicionarse para que se muestre un marcador 70-76 correspondiente dentro de la región 50. Cualquiera de estos cuatro marcadores 70-76 puede detectarse a través de la disposición de integridad 1 utilizando, por ejemplo, fibras ópticas 36 colocadas respectivamente, como se describirá ahora con referencia adicional a la figura 4 y a la figura 5.

[0107] Haciendo referencia adicionalmente a la figura 4, se muestra esquemáticamente una vista en sección de un ejemplo de conjunto de componentes de un proyector 18 de imágenes para una pantalla en color montada en un casco. Los componentes comprenden un dispositivo de visualización 80 dispuesto para emitir luz portadora de imágenes y para dirigir la luz a través de un sistema óptico que incluye una disposición de lentes 82 hasta un espejo plegable 86 donde la luz se redirige a través de una óptica final 88 para formar una imagen en una pantalla 44. La imagen formada en la pantalla 44 puede proyectarse entonces a través del visor 20 al usuario 22.

[0109] Haciendo referencia a la figura 5, se describirán ahora dos técnicas para capturar la luz de la región 50 de la pantalla 44, tal como se ha descrito anteriormente con referencia a la figura 2e.

[0111] Haciendo referencia en primer lugar a la figura 5a, se proporciona un ejemplo de vista en sección esquemática de la pantalla 44 a la que se acopla ópticamente un prisma 94 en un borde de la pantalla 44 correspondiente a una región 50, como se muestra en la figura 2e, para recibir y redirigir la luz a través de sustancialmente 90° hacia una sección

[0112] ES 3 051 684 T3

[0114] de fibra óptica 96. La luz redirigida se propaga a través de la fibra óptica 96 hasta que llega a un detector óptico 98 donde puede detectarse la luz y pasar los datos del sensor correspondientes al procesador 30 de alta integridad (no mostrado en la figura 5b).

[0116] Con referencia a la figura 5b, en lugar del prisma de la figura 5a, se proporciona una sección de fibra óptica 100 que tiene un extremo pulido 102 inclinado sustancialmente a 45° para recibir la salida de luz de la región 50 y redirigirla a lo largo de la fibra óptica 100 a un detector óptico 104 vinculado de manera similar al procesador 30 de alta integridad.

[0117] Como alternativa a la captura de luz de la región 50 de la pantalla 44 utilizando fibras ópticas como se muestra en la figura 5, puede utilizarse una guía de ondas como se describirá ahora con referencia a la figura 6.

[0119] Haciendo referencia a la figura 6, se muestra esquemáticamente una vista en sección del ejemplo de conjunto de componentes de un proyector 18 de imágenes para una pantalla en color montada en un casco, como en la figura 4. Una guía de ondas 110 óptica sustancialmente transparente se inserta dentro del proyector 18 de imágenes en una posición donde la imagen está sustancialmente colimada. La guía de ondas 110 está provista de un revestimiento, por ejemplo, una rejilla de difracción (no mostrada en la figura 6), dispuesta para hacer que una pequeña proporción de la luz colimada se acople a la guía de ondas 110 en un ángulo suficiente para que la luz sea capturada y se propague a lo largo de la guía de ondas 110 a través de una reflexión interna total. La luz que se propaga llega a un elemento de salida (no mostrado en la figura 6), por ejemplo, otra rejilla de difracción, dispuesta para acoplar la luz que se propaga fuera de la guía de ondas 110 y hacer pasar la luz 112 a través de una óptica 114 hasta un sensor óptico 116 de imagen. Los datos de imagen del sensor óptico 116 pueden pasarse al procesador 30 de alta integridad para su análisis, en particular para reconocer las partes de la imagen detectada que corresponden al estímulo óptico o no óptico inyectado anteriormente en el sistema.

[0121] Como se mencionó anteriormente, no es necesario que se conozcan con precisión las posiciones físicas donde se detecta la luz en la pantalla 44 o se inyecta en un sensor de imagen del NVC 10. En un ejemplo de método, como se describirá ahora, la alineación de un estímulo óptico inyectado con una o más posiciones de detección en la pantalla 44 puede realizarse en datos a través del procesador 30 de alta integridad.

[0123] En la disposición descrita anteriormente con referencia a la figura 1 y la figura 3a, las fibras ópticas 34 pueden colocarse para inyectar luz en un sensor de imagen del NVC 10 en una o más posiciones, por ejemplo, de los marcadores 60-66. Las posiciones de los marcadores 60-66 están predeterminadas durante un proceso de fabricación/calibración o dinámicamente durante la inicialización del sistema utilizando métodos evidentes para una persona con habilidades técnicas razonables. Una vez determinadas, estas posiciones se utilizan como referencia para determinar dónde debe producirse la luz inyectada en un sistema que funcione correctamente.

[0125] En la disposición descrita anteriormente con referencia a la figura 1 y la figura 5, las fibras ópticas 38 están dispuestas para acoplar la luz desde una o más posiciones fijas alrededor de un perímetro de la pantalla 44. Las posiciones de los detectores ópticos están predeterminadas durante un proceso de fabricación/calibración o dinámicamente durante la inicialización del sistema utilizando métodos evidentes para una persona con conocimientos técnicos razonables. Una vez determinadas, se utilizan como posiciones de referencia para las que el detector óptico medirá un estímulo luminoso.

[0127] Una vez establecida la posición en los datos de un estímulo óptico y/o la posición en los datos de un punto donde la luz se acopla desde la pantalla 44, el procesador 30 de alta integridad es capaz de redirigir, en datos, el efecto de un estímulo óptico desde una posición determinada en un sensor de imagen a una posición determinada correspondiente en la pantalla 44. Si el único estímulo que va a aplicarse en el sistema de visualización es un estímulo no óptico, entonces no se requiere la funcionalidad de redirección del procesador 30 de alta integridad.

[0129] Como se mencionó anteriormente, la disposición de monitoreo de integridad 1 puede aplicarse a otros tipos de sistemas de visualización, tales como un HUD, como se describirá ahora brevemente con referencia a la figura 7.

[0130] Haciendo referencia a la figura 7, se muestra esquemáticamente una vista en sección a través de un HUD que tiene un proyector 120 de imágenes contenido en una carcasa 122. El proyector 120 de imágenes incorpora una pantalla 124, de propósito equivalente a la pantalla 44 del proyector 18 de imágenes para la pantalla montada en el casco. Una imagen formada en la pantalla 124 del HUD se proyecta a través de una ventana 126 hacia un combinador 128 inclinado aproximadamente 45° con respecto al plano de la ventana 126 para redirigir la imagen proyectada hacia un usuario 130.

[0132] Las diferentes técnicas descritas anteriormente con referencia a las figuras 2, 3, 5 y 6, aplicadas al proyector 18 de imágenes de una pantalla montada en el casco para la detección de luz en las posiciones de una imagen formada en la pantalla 44, pueden aplicarse, en principio, a la detección de luz en posiciones equivalentes de la pantalla 124 en el proyector 120 de imágenes de un HUD.

[0134] Si bien la detección óptica de un resultado visualizado al inyectar un estímulo óptico ejercita todos los componentes de un sistema de visualización implicados en la visualización de imágenes, el procesador 30 de alta integridad también

[0135] ES 3 051 684 T3

[0137] puede disponerse para recibir y analizar datos de imágenes, por ejemplo, del procesador/controlador de imágenes de la pantalla 16 o del proyector 18 de imágenes. Los datos de imagen recibidos incluyen información sobre el estado de los píxeles en esa región de una imagen final prevista, incluido el resultado de cualquier estímulo inyectado. Como tal, los datos de imagen pueden ser analizados por el procesador 30 de alta integridad para buscar pruebas de fallos que requieran una acción.

[0139] Anteriormente se han descrito ejemplos de técnicas para inyectar un estímulo óptico o no óptico en un sistema de visualización y para detectar el resultado del estímulo inyectado en un proyector 18 de imágenes de una pantalla montada en un casco. Sin embargo, el estímulo óptico o no óptico inyectado bajo el control del procesador 30 de alta integridad puede tener diferentes características según el tipo de fallo del sistema o peligro a detectar. De manera similar, el análisis realizado por el procesador 30 de alta integridad de los efectos detectados ópticamente o no detectados ópticamente del estímulo inyectado será diferente para cada tipo de fallo del sistema de visualización o peligro potencial. Ahora se describirán algunos ejemplos de características de estímulo y técnicas de análisis para un rango de ejemplos de diferentes tipos de fallos o peligros del sistema de visualización.

[0141] (1) Pantalla congelada

[0143] Se produce una “ pantalla congelada” cuando la pantalla no se actualiza y, por lo tanto, muestra un contenido de imagen cambiante. Para detectar este evento, el procesador 30 de alta integridad desencadena la inyección de un estímulo óptico comprendiendo, por ejemplo, la disposición de los marcadores 60-66 que se muestra en la figura 3a. El procesador 30 de alta integridad después analiza una respuesta detectada ópticamente para garantizar que el sistema de visualización muestre el resultado del estímulo dentro de un período de tiempo predeterminado, por ejemplo, dentro de dos períodos de fotogramas de visualización de 20 ms. Puede establecerse un período más corto si el sistema de integridad está sincronizado con los períodos de fotogramas del sistema de visualización.

[0145] En una técnica alternativa, un estímulo existente en forma de ruido que surge en el NVC 10 puede aprovecharse para detectar las correspondientes fluctuaciones a pequeña escala en el brillo de los píxeles en una muestra de píxeles de la pantalla. Por ejemplo, cada uno de los marcadores 60-66 está dispuesto para afectar a un bloque de píxeles de al menos un tamaño predeterminado, de modo que la muestra de píxeles representada por los marcadores 60-66 proporcione una muestra suficientemente grande de píxeles de la pantalla para detectar una pantalla congelada. Los pequeños cambios en el brillo de los píxeles en una imagen 70-76 formada por los marcadores 60-66 durante dos o más períodos de fotogramas de, por ejemplo, 20 ms, pueden distinguirse en la salida de datos del detector óptico 36 en la disposición mostrada en la figura 1, a través de los detectores 98 o 104 de la figura 5 o a través del detector 114 en la disposición mostrada en la figura 6. Alternativamente, el procesador 30 de alta integridad puede recibir datos de imagen, por ejemplo, del procesador/controlador de imágenes de la pantalla 16 o del proyector 18 de imágenes y buscar cambios en los bits más bajos significativos en los datos de imagen para los marcadores 70 a 76 visualizados durante los mismos períodos de tiempo.

[0147] (2) Errores de escalado de imagen

[0149] Los síntomas de los errores de escalado de la imagen pueden incluir la visualización de una imagen de la escena externa 12 con un tamaño diferente al habitual, de modo que cualquier símbolo superpuesto por el generador 24 de símbolos sobre las características de esa imagen mostrada aparezca fuera de lugar. El procesador 30 de alta integridad puede detectar un error de escalado de la imagen activando la inyección de un estímulo comprendiendo dos o más marcadores de separación conocida, tales como los marcadores 60-66 de la figura 3a, y detectando los niveles de luz u otra característica esperada de las imágenes 70-76 correctamente posicionadas de esos marcadores en la pantalla 44. Un marcador colocado incorrectamente debido a un error de escala dará como resultado un nivel o característica de luz detectada diferente en cada posición en comparación con el de un marcador colocado correctamente.

[0151] Durante una fase de calibración para el sistema de integridad, la posición de los marcadores 60-66 en un estímulo óptico o en un estímulo no óptico puede ajustarse para que estén alineados, por ejemplo, con las posiciones de los acopladores ópticos 94, 102, tal como se muestra en la figura 5, y se establecen las características detectables. Cualquier error de posicionamiento sería entonces evidente a partir de la detección de diferentes características en las posiciones de los acopladores ópticos 94, 102.

[0153] La detección de un error de escalado de la imagen puede realizarse, por ejemplo, utilizando el mismo estímulo inyectado que se usó para la detección de una pantalla congelada en el punto (1) anterior.

[0155] (3) Oscilación de imagen

[0157] La oscilación de la imagen puede caracterizarse por cambios oscilatorios no deseados en el brillo de los píxeles (activar/desactivar), el nivel de escala de grises, el color o la posición de los píxeles. Cualquiera de estos síntomas puede detectarse a través del procesador 30 de alta integridad analizando las características detectadas de la luz detectada en las posiciones de los acopladores 94, 102, por ejemplo, destinada a resultar de un estímulo inyectado comprendiendo los marcadores 60-66 de la figura 3a, por ejemplo. Los marcadores 60-66 pueden tener una posición,

[0158] ES 3 051 684 T3

[0160] color y brillo fijos durante un período de tiempo de varios períodos de fotogramas, por ejemplo, de 20 ms, para permitir detectar la evidencia de la oscilación de la imagen.

[0162] (4) Errores de posicionamiento

[0164] Los errores de posicionamiento se caracterizan por la visualización de elementos de imagen en posiciones no deseadas. En cuanto a la detección de errores de escala, las diferencias detectadas en las características de la luz en las posiciones esperadas en la pantalla 44 para las imágenes 70-76 correctamente posicionadas de los marcadores 60-66, por ejemplo, determinadas durante una fase de calibración, proporcionan evidencia de errores de posicionamiento. Las posiciones visualizadas reales de los marcadores 70-76 pueden determinarse a través del análisis de los datos de imagen de un sensor 116 de imagen en la disposición descrita anteriormente con referencia a la figura 6.

[0166] (5) Fallos de brillo de la imagen

[0168] Los fallos de brillo de la imagen pueden caracterizarse por errores de brillo absoluto o errores de brillo relativo que surgen en diferentes partes del área de imagen de la pantalla. Los errores de brillo de la imagen pueden detectarse inyectando un estímulo comprendiendo uno o más marcadores, por ejemplo, los marcadores 60-66, de brillo conocido o de brillo relativo conocido, y comparando el brillo visualizado detectado o el brillo relativo de los marcadores 70-76, tal como aparecen en una imagen formada en la pantalla 44, con ese o los esperados.

[0170] (6) Fallo de uno o más LED rojo, verde o azul en una pantalla a color

[0172] El procesador 30 de alta integridad puede probar cada uno de los LED rojos, verdes y azules del proyector 18 de imágenes para una pantalla en color activando la inyección de uno o más estímulos, ya sean ópticos o no ópticos, definiendo uno o más marcadores rojos, verdes y azules y recibiendo información del proyector 18 de imágenes sobre los que se están activando los LED. Alternativamente, el detector óptico 36 puede comprender una disposición de filtros de color con detectores separados para detectar el brillo de la luz que pasa a través de cada filtro de color para identificar si alguno de los LED rojo, verde o azul ha fallado.

[0174] (7) Integridad simbológica

[0176] También puede monitorizarse la integridad de los símbolos generados por el generador 24 de símbolos. En un ejemplo de técnica, el generador 24 de símbolos puede configurarse para incluir uno o más “símbolos de integridad” en su conjunto de símbolos y para generar un símbolo de integridad en una posición predeterminada en un área de imagen del generador de símbolos. En la práctica, un “símbolo de integridad” no comprende más que una forma sólida de luz, como por ejemplo uno de los marcadores 60-66 que se muestran en la figura 3a. Durante una etapa de configuración de la disposición de monitoreo de integridad 1, la posición predeterminada para colocar el símbolo de integridad generado puede determinarse para dar como resultado la visualización de un símbolo correspondiente donde la luz sea detectable en la pantalla 44. Alternativamente, el procesador 30 de alta integridad puede aplicar un método similar para detectar una posición en los datos de un símbolo de integridad generado por el generador 24 de símbolos y redirigir el símbolo de integridad en los datos de tal modo que se muestre en la región 50 en una posición de detección de luz en la pantalla 44.

[0178] Otros ejemplos de fallo del sistema de visualización o de problemas potencialmente peligrosos del sistema de visualización pueden detectarse bajo el control del procesador 30 de alta integridad, como sería evidente para un experto en la técnica relevante. Cada uno puede detectarse inyectando un estímulo óptico o no óptico construido de manera apropiada y detectando un resultado mostrado, o que se mostrará, de ese estímulo. Se pretende que dichos ejemplos entren dentro del alcance de la presente invención.

[0180] El procesador 30 de alta integridad puede implementarse utilizando un procesador digital convencional dispuesto para ejecutar un programa informático que hace que el procesador digital implemente la funcionalidad de monitoreo de integridad descrita anteriormente. Alternativamente, o, además, la funcionalidad del procesador 30 de alta integridad puede implementarse utilizando uno o más dispositivos lógicos de hardware configurables o una combinación de uno o más dispositivos lógicos de hardware configurables y un procesador digital que ejecuta un programa informático.

[0181] Los ejemplos descritos en la presente memoria deben entenderse como ejemplos ilustrativos de realizaciones de la invención. Se prevén realizaciones y ejemplos adicionales. Cualquier característica descrita en relación con cualquier ejemplo o realización puede utilizarse sola o en combinación con otras características. Además, cualquier característica descrita en relación con cualquier ejemplo o realización también puede utilizarse en combinación con una o más características de cualquier otro de los ejemplos o realizaciones, o cualquier combinación de cualquier otro de los ejemplos o realizaciones. Además, las modificaciones no descritas en la presente memoria también pueden emplearse dentro del alcance de la invención, que se define en las reivindicaciones.

Claims

1. ES 3 051 684 T3

REIVINDICACIONES

i. Un sistema de visualización comprendiendo:

una fuente (10) de imagen;

una pantalla (18, 20), comprendiendo la pantalla un área de imagen;

una fuente (32) de inyección óptica configurada para generar e inyectar en el sistema de visualización a través de una primera fibra óptica (34) en un sensor óptico de la fuente de imágenes, un estímulo luminoso que tiene características predeterminadas;

un procesador (30) de alta integridad configurado para activar el estímulo luminoso; un procesador (14) de imágenes de sensor configurado para recibir, desde la fuente de imagen, señales o datos de imagen emitidos por la fuente de imagen y correspondientes al estímulo luminoso;

un procesador (16) de imágenes de pantalla configurado para recibir señales o datos de imagen del procesador (14) de imágenes de sensor y controlar la pantalla para emitir, como luz emitida, una imagen correspondiente;

el procesador (30) de alta integridad está configurado además para analizar las características detectadas de la luz emitida en una o más posiciones predeterminadas en el área de imagen de la pantalla y para relacionar las características detectadas con el estímulo luminoso que tiene características predeterminadas para determinarde este modo la presencia de un fallo en el sistema de visualización;

un detector óptico (36, 98, 104) dispuesto para detectar las características de la luz emitida por la pantalla (18, 20) en una o más posiciones predeterminadas en el área de imagen de la pantalla y para emitir datos indicativos de las características detectadas al procesador (30) de alta integridad; y

una o más segundas fibras ópticas (96, 100) para canalizar respectivamente la luz emitida en una o más posiciones predeterminadas (70, 72, 74, 76) hacia el detector óptico (36, 98, 104), en donde una o más posiciones predeterminadas (70, 72, 74, 76) están fuera del campo de visión (48) de un usuario de la pantalla (18, 20).

2. El sistema de visualización según la reivindicación 1, en donde el estímulo luminoso comprende luz que tiene características predeterminadas de longitud de onda, brillo y duración.

3. El sistema de visualización según la reivindicación 1 o 2, en donde el sistema de visualización comprende un generador de símbolos para su visualización, y el generador de símbolos está configurado para generar un estímulo comprendiendo uno o más símbolos, cada uno en una posición predeterminada dentro de un área de imagen del sistema.

4. El sistema de visualización según una cualquiera de las reivindicaciones 1 a 3, en donde el estímulo comprende al menos uno de:

una manipulación de los datos que representan un área de imagen en el sistema; y un componente de ruido inherente, generado por un componente del sistema, en los datos que representan un área de imagen del sistema.

5. El sistema de visualización según una cualquiera de las reivindicaciones 1 a 4, en donde el procesador (30) de alta integridad está configurado para identificar, a partir de los cambios detectados en la luz emitida desde una o más posiciones predeterminadas en el área de imagen de la pantalla durante un período de tiempo predeterminado, si la pantalla no se ha actualizado o si los elementos de la imagen que se muestran están sujetos a una oscilación no deseada.

6. El sistema de visualización según una cualquiera de las reivindicaciones 1 a 5, en donde la pantalla está dispuesta para mostrar imágenes en color o de múltiples longitudes de onda y el controlador está configurado para determinar, a partir de las características esperadas decoloro longitud de onda de un estímulo inyectado detectado en una o más posiciones predeterminadas en el área de imagen de la pantalla, si ha habido un fallo de un LED en un proyector de imágenes de la pantalla.

7. El sistema de visualización según una cualquiera de las reivindicaciones 1 a 6, en donde la pantalla comprende una o más pantallas montadas en la cabeza o en el casco, una pantalla frontal o una pantalla con la cabeza hacia abajo.

8. Un método para monitorear la integridad de un sistema de visualización, comprendiendo el sistema de visualización una fuente (10) de imagen y una pantalla (18, 20), comprendiendo la pantalla un área de imagen, comprendiendo el método:

ES 3 051 684 T3

en una fuente (32) de inyección óptica que genera e inyecta en el sistema de visualización a través de una primera fibra óptica (34) en un sensor óptico de la fuente de imagen, un estímulo luminoso que tiene características predeterminadas;

activar, en un procesador (30) de alta integridad, el estímulo luminoso;

detectar el estímulo luminoso por el sensor óptico y enviar las señales o datos de imagen correspondientes a un procesador (14) de imágenes de sensor;

pasar señales o datos de imagen desde el procesador (14) de imágenes de sensor a un procesador (16) de imágenes de pantalla;

controlar, a través del procesador (16) de imágenes de pantalla, la pantalla (18, 20) para emitir, como luz emitida, una imagen correspondiente;

en un detector óptico, detectar las características de la luz emitida por la pantalla en una o más posiciones predeterminadas en el área de imagen de la pantalla y emitir datos indicativos de las características detectadas;

en un controlador,

analizar las características detectadas de la luz emitida en una o más posiciones predeterminadas en el área de imagen de la pantalla; y relacionar las características detectadas con el estímulo luminoso que tiene características predeterminadas para determinar de este modo la presencia de un fallo en el sistema de visualización, el método comprende además proporcionar una o más segundas fibras ópticas para canalizar respectivamente la luz emitida en una o más posiciones predeterminadas hacia el detector óptico, en donde una o más posiciones predeterminadas están fuera del campo de visión de un usuario de la pantalla.