ES2700208T3 - Visión externa y/o sistema de apuntamiento de armas para vehículos terrestres militares y unidades navales militares - Google Patents
Visión externa y/o sistema de apuntamiento de armas para vehículos terrestres militares y unidades navales militares Download PDFInfo
- Publication number
- ES2700208T3 ES2700208T3 ES13801804T ES13801804T ES2700208T3 ES 2700208 T3 ES2700208 T3 ES 2700208T3 ES 13801804 T ES13801804 T ES 13801804T ES 13801804 T ES13801804 T ES 13801804T ES 2700208 T3 ES2700208 T3 ES 2700208T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- video stream
- enlarged
- under processing
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 32
- 230000008685 targeting Effects 0.000 title claims description 12
- 238000012545 processing Methods 0.000 claims abstract description 140
- 230000000877 morphologic effect Effects 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008569 process Effects 0.000 claims abstract description 21
- 230000003595 spectral effect Effects 0.000 claims abstract description 16
- 230000000717 retained effect Effects 0.000 claims abstract description 3
- 230000009466 transformation Effects 0.000 claims description 12
- 230000006872 improvement Effects 0.000 claims description 11
- 235000000391 Lepidium draba Nutrition 0.000 claims description 8
- 238000000844 transformation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 10
- 230000003628 erosive effect Effects 0.000 description 10
- 230000010339 dilation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- NIOPZPCMRQGZCE-WEVVVXLNSA-N 2,4-dinitro-6-(octan-2-yl)phenyl (E)-but-2-enoate Chemical compound CCCCCCC(C)C1=CC([N+]([O-])=O)=CC([N+]([O-])=O)=C1OC(=O)\C=C\C NIOPZPCMRQGZCE-WEVVVXLNSA-N 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/14—Indirect aiming means
- F41G3/16—Sighting devices adapted for indirect laying of fire
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/14—Indirect aiming means
- F41G3/16—Sighting devices adapted for indirect laying of fire
- F41G3/165—Sighting devices adapted for indirect laying of fire using a TV-monitor
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/22—Aiming or laying means for vehicle-borne armament, e.g. on aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30212—Military
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
- Helmets And Other Head Coverings (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Un sistema (1) de visión externo y/o de apuntamiento de arma diseñado para ser instalado a bordo de un vehículo militar terrestre y/o una unidad naval militar, que comprende: - dos sensores (11, 12) configurados para capturar flujos de vídeo que comprenden imágenes de una misma escena fuera del vehículo militar o la unidad naval militar, cada sensor (11, 12) configurado para capturar un flujo de vídeo respectivo en una banda espectral respectiva; - una unidad (13) de procesamiento electrónico conectada a los dos sensores (11, 12) para retener los dos flujos de vídeo capturados y configurada para - insertar una retícula de apuntamiento respectiva en las imágenes de cada flujo de vídeo retenido que indica el apuntamiento del sensor respectivo que ha capturado dicho flujo de vídeo, generando así un flujo de vídeo preprocesado correspondiente, y - procesar los dos flujos de vídeo preprocesados; y - una interfaz (14) de usuario conectada a la unidad (13) de procesamiento electrónico para recibir los flujos de vídeo procesados y que comprende una pantalla (15) configurada para visualizar un flujo de vídeo recibido desde dicha unidad (13) de procesamiento electrónico; caracterizado porque la unidad (13) de procesamiento electrónico está configurada para procesar los dos flujos de vídeo preprocesados por medio de: - una funcionalidad de mejora de imagen, generando así dos primeros flujos de vídeo mejorados; y - una funcionalidad de imagen en imagen, generando así dos segundos flujos mejorados de vídeo; en donde la unidad (13) de procesamiento electrónico está configurada para procesar cada uno de los dos flujos de vídeo preprocesados por medio de la funcionalidad de mejora de imagen procesando cada imagen del flujo de vídeo preprocesado bajo procesamiento de la siguiente manera: - ampliar una primera porción (24) predefinida de la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento, obteniendo así una primera subimagen (22) ampliada, dicha primera porción (24) predefinida centrada en la retícula (21) de apuntamiento de la imagen bajo procesamiento; - aplicar un algoritmo de mejora de contraste de imagen morfológica a la primera subimagen (22) ampliada, obteniendo así una imagen ampliada con contraste de imagen (23) morfológica; y - reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la imagen ampliada con contraste de imagen (23) morfológica y una tercera porción predefinida de dicha imagen bajo procesamiento con la primera subimagen (22) ampliada, generando así una imagen (2) correspondiente del primer flujo de vídeo mejorado generado con base al flujo de vídeo preprocesado bajo procesamiento; las posiciones ocupadas por la imagen (23) ampliada mejorada con contraste de imagen morfológica y la primera subimagen (22) ampliada en dicha imagen (2) de dicho primer flujo de vídeo mejorado son tales que no afectan la visualización de una región mostrada en correspondencia con la retícula (21) de apuntamiento; y en donde la unidad (13) de procesamiento electrónico está configurada para procesar cada uno de los dos flujos de vídeo preprocesados por medio de la funcionalidad de imagen en imagen procesando cada imagen del flujo de vídeo preprocesado bajo procesamiento de la siguiente manera: - ampliar sobre una primera porción (24) predefinida de la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento, obteniendo así una segunda subimagen (22) ampliada, dicha primera porción (24) predefinida centrada en la retícula (21) de apuntamiento de la imagen bajo procesamiento; - ampliar en una porción predefinida de una imagen dada del otro flujo de vídeo preprocesado, obteniendo así una tercera subimagen (23) ampliada; siendo dicha imagen dada del otro flujo de vídeo preprocesado la imagen correspondiente temporalmente a la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento; dicha porción predefinida de la imagen dada del otro flujo de vídeo preprocesado se centra en la retícula de apuntamiento de dicha imagen dada; y - reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la segunda subimagen (22) ampliada y una tercera porción predefinida de dicha imagen bajo procesamiento con la tercera subimagen (23) ampliada, obteniendo así una imagen (2) correspondiente del segundo flujo de vídeo mejorado generado en base al flujo de vídeo preprocesado bajo procesamiento; siendo las posiciones ocupadas por la segunda subimagen (22) ampliada y la tercera subimagen (23) ampliada en dicha imagen (2) de dicho segundo flujo de vídeo mejorado para no afectar la visualización de una región mostrada en correspondencia con la retícula (21) de apuntamiento.
Description
DESCRIPCIÓN
Visión externa y/o sistema de apuntamiento de armas para vehículos terrestres militares y unidades navales militares
Campo técnico de la invención
La presente invención se refiere a un sistema de visión externo y/o de apuntamiento de armas para vehículos terrestres militares tales como, por ejemplo, vehículos militares blindados, tanques, vehículos de remoción de minas, vehículos terrestres equipados con armas, etc., y para unidades navales militares tales como, por ejemplo, cruceros de batalla, barcos patrulleros, corbetas, etc.
A este respecto, por simplicidad, la presente invención se describirá a continuación solo con referencia a vehículos terrestres militares, pero sin ninguna pérdida de generalidad. De hecho, es importante subrayar el hecho de que la visión externa y/o el sistema de apuntamiento de armas de acuerdo con la presente invención también pueden ser aprovechados ventajosamente a bordo de unidades navales militares, sin tener que realizar cambios en el funcionamiento y la arquitectura de dicho sistema.
Estado de la técnica
Como se sabe, en la actualidad, los vehículos terrestres militares están generalmente equipados con sistemas de visión externos configurados para capturar vídeos, o más bien secuencias de imágenes, del entorno exterior. Por ejemplo, muchos vehículos terrestres militares están equipados con sistemas de visión diurna configurados para capturar imágenes del entorno exterior en la banda espectral visible (es decir, en longitudes de onda en el rango entre aproximadamente 380/400 nm y 700/750 nm) y/o sistemas de visión nocturna configurados para capturar imágenes del entorno exterior en la banda espectral infrarroja (es decir, en longitudes de onda en el rango de aproximadamente 0.7/0.75 pm y 1000 pm).
En general, un sistema de visión externo de un vehículo terrestre militar comprende:
• uno o más sensores instalados en el exterior del vehículo terrestre militar, cada sensor configurado para capturar un flujo de vídeo respectivo, o más bien una secuencia respectiva de imágenes, del entorno fuera del vehículo terrestre militar, por ejemplo, banda espectral visible o infrarroja (IR);
• una unidad electrónica de procesamiento y control instalada a bordo del vehículo militar terrestre, conectada a los sensores para recibir los flujos de vídeos generados por dichos sensores y configurada para procesar dichos flujos de vídeos y controlar la operación y el apuntamiento de los sensores; y
• una interfaz de usuario instalada dentro del compartimiento de la tripulación del vehículo militar terrestre, conectada a la unidad de procesamiento y control y configurada para mostrar un flujo de vídeo procesado y proporcionado por dicha unidad de procesamiento y control.
En particular, la interfaz de usuario comprende convenientemente:
• una pantalla configurada para mostrar un flujo de vídeo procesado y proporcionado por la unidad de procesamiento y control; y
• medios de control del usuario, por ejemplo, una palanca de control o una palanca de control omnidireccional y/o un panel de botones (convenientemente implementado en el borde de la pantalla o en un panel de control separado de la pantalla), configurado para permitir que un usuario controle, es decir, gobierne, el sistema de visión externo; por ejemplo, un usuario puede controlar el apuntamiento de los sensores a través de dicha palanca de control/palanca omnidireccional.
Como regla, la unidad de procesamiento y control electrónico inserta una retícula de apuntamiento en las imágenes del flujo de vídeo que muestra la interfaz de usuario para indicar el apuntamiento del sensor que ha generado dicho flujo de vídeo mostrado.
La interfaz de usuario se puede instalar en varias posiciones dentro del compartimiento de la tripulación del vehículo militar, por ejemplo, en la estación del comandante del vehículo militar.
En el caso de un vehículo militar equipado con un arma, un sistema de visión externo se asocia convenientemente con dicha arma para permitir que un artillero controle el apuntamiento, lo que da como resultado que dicho sistema de visión externo también actúe como un sistema de apuntamiento de dicha arma. En este caso, la interfaz de usuario del sistema de visión externo y de apuntamiento de armas podría instalarse convenientemente dentro del compartimiento de la tripulación del vehículo militar en la estación del artillero.
En general, la pantalla de una interfaz de usuario del sistema de visión externo de un vehículo militar es bastante pequeña debido al espacio limitado disponible a bordo del vehículo militar, con el consiguiente riesgo de hacer que las operaciones de detección e identificación de amenazas potenciales realizadas por un operador sean más lentas y más difíciles.
Además, la interfaz de usuario del sistema de visión externo de un vehículo militar normalmente no permite un cambio fácil y rápido entre las diferentes imágenes suministradas por los distintos sensores (por ejemplo, del tipo infrarrojo y/o visible).
En los documentos DE 33 42 338 A1, US 2009/195652 A1, US 2009/290019 A1 y DE 42 07 251 A1 se describen ejemplos de sistemas de visión externa y/o de apuntamiento de armas conocidos para vehículos terrestres militares y/o unidades militares navales del tipo mencionado anteriormente.
Objeto y resumen de la invención.
En los escenarios militares actuales, es cada vez más importante saber reconocer e identificar elementos de interés potencialmente hostiles en el menor tiempo posible. En particular, en el caso de un vehículo terrestre militar o una unidad naval militar que opera en entornos hostiles, una vez que se detecta una amenaza potencial, el momento de reconocerla e identificarla se vuelve crucial para la seguridad de dicho vehículo/unidad militar, incluso en un escenario de amenaza asimétrico.
De este modo, el solicitante sintió la necesidad de llevar a cabo una investigación en profundidad para desarrollar un sistema de visión externo y/o de apuntamiento de armas innovador para vehículos terrestres militares y unidades navales militares capaces de proporcionar, simultáneamente y en el menor tiempo posible, varios tipos de información generada por diferentes tipos de sensores, y permitir al usuario hacer comparaciones de las emisiones generadas por los elementos de interés en las diferentes bandas espectrales, a fin de facilitar y acelerar las operaciones de detección, reconocimiento e identificación de amenazas potenciales.
El objeto de la presente invención es, por lo tanto, el de proporcionar un sistema de visión externo y/o de apuntamiento de armas para vehículos terrestres militares y unidades navales militares del tipo mencionado anteriormente.
El objeto mencionado anteriormente se logra mediante la presente invención en la medida en que se relaciona con un sistema de visión externo y/o de apuntamiento de armas para vehículos terrestres militares y unidades navales militares, como se define en las reivindicaciones adjuntas.
En particular, la presente invención se refiere a un sistema de visión externo y/o de apuntamiento de armas diseñado para ser instalado a bordo de un vehículo militar terrestre y/o una unidad naval militar y que comprende:
• dos sensores configurados para capturar flujos de vídeo que comprenden imágenes de una misma escena fuera del vehículo militar o la unidad naval militar, cada sensor configurado para capturar un flujo de vídeo respectivo en una banda espectral respectiva;
• una unidad de procesamiento electrónico conectada a los dos sensores para retener los dos flujos de vídeo capturados y configurada para
- insertar una retícula de apuntamiento respectiva en las imágenes de cada flujo de vídeo retenido que indica el apuntamiento del sensor respectivo que ha capturado dicho flujo de vídeo, generando así un flujo de vídeo preprocesado correspondiente, y
- procesar los dos flujos de vídeo preprocesados; y
• una interfaz de usuario conectada a la unidad de procesamiento electrónico para recibir los flujos de vídeo procesados y que comprende una pantalla configurada para mostrar un flujo de vídeo recibido desde dicha unidad de procesamiento electrónico.
La visión externa y/o el sistema de apuntamiento de armas de acuerdo con la presente invención se caracteriza porque la unidad de procesamiento electrónico está configurada para procesar los dos flujos de vídeo preprocesados por medio de:
• una funcionalidad de mejora de imagen, generando así dos primeros flujos de vídeo mejorados; y
• una funcionalidad de imagen en imagen, generando así dos segundos flujos de vídeo mejorados.
En particular, la unidad de procesamiento electrónico está configurada para procesar cada uno de los dos flujos de vídeo preprocesados por medio de la funcionalidad de mejora de imagen que procesa cada imagen del flujo de vídeo preprocesado bajo procesamiento de la siguiente manera:
• ampliar a una primera porción predefinida de la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento, obteniendo así una primera subimagen ampliada, estando dicha primera porción predefinida centrada en la retícula de apuntamiento de la imagen bajo procesamiento;
• aplicar un algoritmo de mejora de contraste de imagen morfológica a la primera subimagen ampliada, obteniendo así una imagen ampliada mejorada con contraste de imagen morfológica; y
• reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la imagen ampliada mejorada con contraste de imagen morfológica y una tercera porción predefinida de dicha imagen bajo procesamiento con la primera subimagen ampliada, generando así una imagen del primer flujo de vídeo mejorado generado con base al flujo de vídeo preprocesado bajo procesamiento; siendo las posiciones ocupadas por la imagen ampliada mejorada con contraste de imagen morfológica y la primera subimagen ampliada en dicha imagen de dicho primer flujo de vídeo mejorado, de manera tal que no afecte la visualización de una región representada en correspondencia con la retícula de apuntamiento.
Adicionalmente, la unidad de procesamiento electrónico está configurada para procesar cada uno de los dos flujos de vídeo preprocesados por medio de la funcionalidad de imagen en imagen procesando cada imagen del flujo de vídeo preprocesado que se procesa de la siguiente manera:
• ampliar a una primera porción predefinida de la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento, obteniendo de este modo una segunda subimagen ampliada, estando dicha primera porción predefinida centrada en la retícula de apuntamiento de la imagen bajo procesamiento;
• ampliar en una porción predefinida de una imagen dada del otro flujo de vídeo preprocesado, obteniendo así una tercera subimagen ampliada; siendo dicha imagen del otro flujo de vídeo preprocesado la imagen correspondiente temporalmente a la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento; dicha porción predefinida de la imagen dada del otro flujo de vídeo preprocesado se centra en la retícula de apuntamiento de dicha imagen dada; y
• reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la segunda subimagen ampliada y una tercera porción predefinida de dicha imagen bajo procesamiento con la tercera subimagen ampliada, obteniendo así una imagen correspondiente del segundo flujo de vídeo mejorado generado con base al flujo de vídeo preprocesado bajo procesamiento; las posiciones ocupadas por la segunda subimagen ampliada y la tercera subimagen ampliada en dicha imagen de dicho segundo flujo de vídeo mejorado no afectarán a la visualización de una región representada en la imagen con la retícula de apuntamiento.
Breve descripción de los dibujos.
Para una mejor comprensión de la presente invención, algunas realizaciones preferidas, proporcionadas a modo de ejemplo no limitativo, se describirán ahora con referencia a los dibujos adjuntos (no a escala), donde:
• La figura 1 muestra esquemáticamente una arquitectura de ejemplo de un sistema de visión externo y/o de apuntamiento de armas para vehículos terrestres militares y unidades navales militares de acuerdo con una realización preferida de la presente invención;
• La figura 2 muestra esquemáticamente un diseño de ejemplo para imágenes de cuatro tipos diferentes de flujos de vídeo mejorados generados y mostrados por el sistema de visión externo y/o de apuntamiento de armas en la figura 1;
• La figura 3 muestra esquemáticamente los efectos del uso de un operador de erosión y un operador de dilatación en el procesamiento de una imagen; y
• La figura 4 muestra esquemáticamente, en relación con el procesamiento de una imagen, los efectos obtenidos en el histograma de intensidad de píxel de dicha imagen gracias al uso de operadores de erosión, dilatación, abertura y cierre, transformadores de sombrero de copa blanca y sombrero de copa negra y un algoritmo de mejora de contraste de imagen morfológica implementado por la visión externa y/o el sistema de apuntamiento de armas en la figura 1.
Descripción detallada de realizaciones preferidas de la invención.
La siguiente descripción se proporciona para permitir que un experto en el campo incorpore y use la invención. Diversas modificaciones a las realizaciones mostradas serán inmediatamente obvias para los expertos y los principios genéricos descritos en este documento podrían aplicarse a otras realizaciones y aplicaciones, sin embargo, sin abandonar el ámbito de la presente invención.
Por lo tanto, la presente invención no pretende limitarse únicamente a las realizaciones expuestas en el presente documento, sino que se le debe otorgar el alcance más amplio de acuerdo con los principios y características descritos en el presente documento y definidos en las reivindicaciones adjuntas.
Con respecto a esto, como se indicó anteriormente, por simplicidad, la presente invención se describirá solo con referencia a vehículos terrestres militares, pero sin ninguna pérdida de generalidad. De hecho, es importante subrayar el hecho de que la visión externa y/o el sistema de apuntamiento de armas de acuerdo con la presente invención también pueden ser aprovechados ventajosamente a bordo de unidades navales militares, sin tener que realizar cambios en el funcionamiento y la arquitectura de dicho sistema.
Como se describió anteriormente, algunos de los elementos de interés presentes en el campo de batalla pueden no ser fácilmente reconocibles o identificables con los métodos normales de representación de imágenes de los sistemas de visión externos actuales.
Por lo tanto, con el fin de facilitar la identificación e interpretación de elementos de interés difíciles de identificar, el solicitante ha desarrollado funcionalidades innovadoras de procesamiento de imágenes que permiten mejorar la información presente en correspondencia con la retícula de apuntamiento insertando los resultados de este procesamiento directamente en las imágenes del flujo de vídeo visualizado sin comprometer la visualización de la región representada en la imagen de la retícula de apuntamiento.
En particular, el solicitante ha desarrollado principalmente dos tipos de funcionalidad de procesamiento de imágenes:
• una funcionalidad de mejora de imagen; y
• una funcionalidad de imagen en imagen.
El propósito de los dos tipos de funcionalidad mencionados anteriormente es, por lo tanto, mejorar el tipo de vista seleccionada por el usuario (por ejemplo, en la banda espectral visible o infrarroja) a través de la generación de subimágenes mejoradas (subfotogramas) y la sustitución de partes predeterminadas de la imagen del flujo de vídeo original con dichas subimágenes mejoradas.
En particular, las posiciones ocupadas por las subimágenes mejoradas en las imágenes del flujo de vídeo visualizado son tales que no afectan la visualización de la región representada en correspondencia con la retícula de apuntamiento.
En detalle, las subimágenes mejoradas se colocan preferiblemente en las áreas inferior derecha e inferior izquierda de las imágenes del flujo de vídeo mostrado.
Para describir la presente invención con mayor detalle, la figura 1 muestra un diagrama de bloques que representa una arquitectura de ejemplo de un sistema de visión externo y/o de apuntamiento de armas (indicado como un todo por el numeral 1 de referencia) para vehículos terrestres militares de acuerdo con una realización de la presente invención.
En particular, la visión externa y/o el sistema 1 de apuntamiento de armas comprende:
• un primer sensor 11 instalado en el exterior del vehículo militar terrestre (no mostrado en la figura 1 por simplicidad de ilustración), por ejemplo, un tanque, y configurado para capturar un primer flujo de vídeo, o más bien una primera secuencia de imágenes, del entorno exterior del vehículo militar, preferiblemente en la banda espectral visible;
• un segundo sensor 12 instalado en el exterior del vehículo militar y configurado para capturar un segundo flujo de vídeo, o más bien una segunda secuencia de imágenes, del entorno exterior del vehículo militar, preferiblemente en la banda (IR) espectral de infrarrojos; en particular, ambos sensores 11 y 12 están convenientemente diseñados para apuntar a fin de enmarcar las mismas escenas del entorno exterior del vehículo militar;
• una unidad 13 de procesamiento y control electrónico instalada a bordo del vehículo militar terrestre, conectada a los sensores 11 y 12 para recibir, o retener, los flujos de vídeo generados por ellos, y configurados para
o procesar dichos flujos de vídeo generados por los sensores 11 y 12 mediante la implementación de las funciones de mejora de imagen y de imagen en imagen indicadas anteriormente para generar flujos de vídeo mejorados, y
o controlar el funcionamiento y el apuntamiento de dichos sensores 11 y 12; y
• una interfaz 14 de usuario instalada dentro del compartimiento de la tripulación del vehículo militar, conectada a la unidad 13 de procesamiento y control y configurada para mostrar un flujo de vídeo mejorado proporcionado por la unidad 13 de procesamiento y control electrónico.
En detalle, la interfaz 14 de usuario comprende:
• una pantalla 15 configurada para mostrar un flujo de vídeo mejorado proporcionado por la unidad 13 de procesamiento y control electrónico; y
• medios 16 de control del usuario, por ejemplo, los botones pulsadores provistos en los bordes de la pantalla 15 o en un panel de control separado de la pantalla 15, configurados para permitir que un usuario active selectivamente mostrar, en la pantalla 15, de uno de los flujos de vídeo mejorados generados por la unidad 13 de procesamiento y control electrónico.
Convenientemente, los medios 16 de control del usuario también pueden comprender:
• una palanca de control o palanca omnidireccional (no mostrada en la figura 1 para simplificar la ilustración) configurada para permitir que un usuario controle el apuntamiento de los sensores 11 y 12; y
• más botones pulsadores configurados para permitir que un usuario controle el funcionamiento de la visión externa y/o del sistema 1 de apuntamiento de armas; en particular, configurado, cuando es activado por un usuario, para enviar comandos respectivos a la unidad 13 de procesamiento y control electrónico.
La interfaz 14 de usuario puede instalarse convenientemente en varias posiciones dentro del compartimiento de la tripulación de un vehículo militar, por ejemplo, en la estación del comandante del vehículo militar, o en el caso de que el sistema 1 esté asociado operativamente con un arma del vehículo militar, y en consecuencia actúa como un sistema de visión externo y apuntamiento para dicha arma, en la estación del artillero.
La unidad 13 de procesamiento y control electrónico está además configurada para insertar:
• una primera retícula de apuntamiento en las imágenes del primer flujo de vídeo generado por el primer sensor 11 que indica el apuntamiento de dicho primer sensor 11, en particular dicha primer retícula de apuntamiento que se inserta en una región central de las imágenes del primer flujo de vídeo; y
• una segunda retícula de apuntamiento en las imágenes del segundo flujo de vídeo generado por el segundo sensor 12 que indica el apuntamiento de dicho segundo sensor 12, en particular dicha segunda retícula de apuntamiento que se inserta en una región central de las imágenes del segundo flujo de vídeo.
Además, dicha unidad 13 de procesamiento y control electrónico comprende preferiblemente un arreglo de puertos programables en campo (FPGA) (no mostrada en la figura 1 por simplicidad de ilustración) programada, a través un código de firmware oportuno, para procesar el primer flujo de vídeo generado por el primer sensor 11 y el segundo flujo de vídeo generado por el segundo sensor 12 al implementar las funcionalidades de mejora de imagen y de imagen en imagen indicadas anteriormente.
En particular, el FPGA está programado para procesar el primer flujo de vídeo por medio de la funcionalidad de mejora de imagen aplicando el siguiente procesamiento a cada imagen de dicho primer flujo de vídeo:
• ampliar, o más bien realizar una ampliación digital (2x por ejemplo), en una primera porción predefinida de la imagen bajo procesamiento del primer flujo de vídeo, obteniendo así una subimagen ampliada, dicha primera porción predefinida centrada en la primera retícula de apuntamiento;
• aplicar un algoritmo de mejora de contraste de imagen morfológica a la subimagen ampliada, obteniendo así una imagen ampliada mejorada con contraste de imagen morfológica;
• reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la imagen ampliada mejorada con contraste de imagen morfológica y una tercera porción predefinida de dicha imagen bajo procesamiento con la subimagen ampliada, obteniendo así una imagen mejorada correspondiente; las posiciones ocupadas por la imagen ampliada mejorada con contraste de imagen morfológica y por la subimagen ampliada en la imagen mejorada son tales que no afectan la visualización de la región representada en correspondencia con la primera retícula de apuntamiento.
Por lo tanto, el FPGA genera un primer flujo de vídeo mejorado al procesamiento del primer flujo de vídeo de la manera descrita anteriormente, es decir, por medio de la funcionalidad de mejora de imagen.
Entonces, si en uso un usuario activa, a través de los medios 16 de control del usuario, la visualización del primer flujo de vídeo mejorado, la pantalla 15 muestra dicho primer flujo de vídeo mejorado generado por la unidad 13 de procesamiento y control electrónico, en particular por el FPGA.
Además, el FPGA está programado para procesar el segundo flujo de vídeo por medio de la funcionalidad de mejora de imagen aplicando el siguiente procesamiento a cada imagen de dicho segundo flujo de vídeo:
• "ampliar, o más bien realizar una ampliación digital (2x por ejemplo), en una primera porción predefinida de la imagen bajo procesamiento del segundo flujo de vídeo, obteniendo así una subimagen ampliada, dicha primera porción predefinida centrada en la segunda retícula de apuntamiento;
• "aplicar un algoritmo de mejora de contraste de imagen morfológica a la subimagen ampliada, obteniendo así una imagen ampliada mejorada con contraste de imagen morfológica;
• "reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la imagen ampliada mejorada con contraste de imagen morfológica y una tercera porción predefinida de dicha imagen bajo procesamiento con la subimagen ampliada, obteniendo así una imagen mejorada correspondiente; las posiciones ocupadas por la imagen ampliada mejorada con contraste de imagen morfológica y por la subimagen ampliada en la imagen mejorada son tales que no afectan la visualización de la región representada en correspondencia con la segunda retícula de apuntamiento.
Por lo tanto, el FPGA genera un segundo flujo de vídeo mejorado al procesar el segundo flujo de vídeo de la manera descrita anteriormente, es decir, por medio de la funcionalidad de mejora de imagen.
Luego, si está en uso, un usuario activa, a través de los medios 16 de control del usuario, la visualización del segundo flujo de vídeo mejorado, la pantalla 15 muestra dicho segundo flujo de vídeo mejorado generado por la unidad 13 de procesamiento y control electrónico, en particular por el FPGA.
Además, el FPGA está programado para procesar el primer flujo de vídeo mediante la funcionalidad de imagen en imagen, aplicando el siguiente procesamiento a cada imagen de dicho primer flujo de vídeo:
• ampliar, o más bien realizar una ampliación digital (2x por ejemplo), en una primera porción predefinida de la imagen bajo procesamiento del primer flujo de vídeo, obteniendo así una primera subimagen ampliada, estando dicha primera porción predefinida centrada en la primera retícula de apuntamiento;
• ampliar, o más bien realizar una ampliación digital (2x por ejemplo), en una porción predefinida de una imagen del segundo flujo de vídeo que corresponde temporalmente a la imagen bajo procesamiento del primer flujo de vídeo, obteniendo así una segunda subimagen ampliada; dicha porción predefinida de la imagen del segundo flujo de vídeo corresponde temporalmente a la imagen bajo procesamiento del primer flujo de vídeo centrado en la segunda retícula de apuntamiento y preferiblemente que tiene el mismo tamaño que la primera porción predefinida de dicha imagen bajo procesamiento; y
• reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la primera subimagen ampliada y una tercera porción predefinida de dicha imagen bajo procesamiento con la segunda subimagen ampliada, obteniendo así una imagen mejorada correspondiente; las posiciones ocupadas por las subimágenes ampliadas en la imagen mejorada son tales que no afectan la visualización de la región representada en correspondencia con la primera retícula de apuntamiento.
Por lo tanto, el FPGA genera un tercer flujo de vídeo mejorado al procesar el primer flujo de vídeo de la manera descrita anteriormente, es decir, por medio de la funcionalidad de imagen en imagen.
Luego, si está en uso, un usuario activa, a través de los medios 16 de control del usuario, la visualización del tercer flujo de vídeo mejorado, la pantalla 15 muestra dicho tercer flujo de vídeo mejorado generado por la unidad 13 de procesamiento y control electrónico, en particular por el FPGA.
Además, el FPGA está programado para procesar el segundo flujo de vídeo mediante la funcionalidad de imagen en imagen, aplicando el siguiente procesamiento a cada imagen de dicho segundo flujo de vídeo:
• ampliar, o más bien realizar una ampliación digital (2x por ejemplo), en una primera porción predefinida de la imagen bajo procesamiento del segundo flujo de vídeo, obteniendo así una primera subimagen ampliada, dicha primera porción predefinida se centra en la segunda retícula de apuntamiento;
• ampliar, o más bien realizar un ampliación digital (2x por ejemplo), en una porción predefinida de una imagen del primer flujo de vídeo que corresponde temporalmente a la imagen bajo procesamiento del segundo flujo de vídeo, obteniendo así una segunda subimagen ampliada; dicha porción predefinida de la imagen del primer flujo de vídeo corresponde temporalmente a la imagen que está bajo procesamiento, del segundo flujo de vídeo se centra en la primera retícula de apuntamiento y, preferiblemente, tiene el mismo tamaño que la primera porción predefinida de dicha imagen que está bajo procesamiento; y
• reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la primera subimagen ampliada y una tercera porción predefinida de dicha imagen bajo procesamiento con la segunda subimagen ampliada, obteniendo así una imagen mejorada correspondiente; las posiciones ocupadas por las subimágenes ampliadas en la imagen mejorada son tales que no afectan la visualización de la región representada en correspondencia con la segunda retícula de apuntamiento.
Por lo tanto, el FPGA genera un cuarto flujo de vídeo mejorado al procesar el segundo flujo de vídeo de la manera descrita anteriormente, es decir, por medio de la funcionalidad de imagen en imagen.
Entonces, si en uso un usuario activa, a través de los medios 16 de control del usuario, la visualización del cuarto flujo de vídeo mejorado, la pantalla 15 muestra dicho cuarto flujo de vídeo mejorado generado por la unidad 13 de procesamiento y control electrónico, en particular por el FPGA.
La figura 2 muestra esquemáticamente un diseño de ejemplo de las imágenes de los cuatro tipos de flujo de vídeo mejorado generado por la unidad 13 de procesamiento y control electrónico, en particular por el FPGA.
En particular, la figura 2 muestra una imagen (indicada como un todo por el numeral 2 de referencia) que comprende:
• una retícula 21 de apuntamiento (representada esquemáticamente por un rectángulo discontinuo y una cruz discontinua) colocada en correspondencia con una región central de dicha imagen 2;
• una primera subimagen 22 (representada esquemáticamente por un primer rectángulo de puntos y guiones) posicionada en la esquina inferior derecha de dicha imagen 2; y
• una segunda subimagen 23 (representada esquemáticamente por un segundo rectángulo de puntos y guiones) posicionada en la esquina inferior izquierda de dicha imagen 2.
En el caso de que la imagen 2 sea una imagen del primer o segundo flujo de vídeo mejorado:
• la primera subimagen 22 es el resultado de una ampliación 2x de una porción 24 (representada esquemáticamente por un rectángulo discontinuo) de dicha imagen 2 centrada en la retícula 21 de apuntamiento; y
• la segunda subimagen 23 es el resultado de aplicar el algoritmo de mejora de contraste de imagen morfológica a la primera subimagen 22.
En el caso de que la imagen 2 sea una imagen del tercer flujo de vídeo mejorado:
• la primera subimagen 22 es el resultado de una ampliación 2x de la porción 24; y
• la segunda subimagen 23 es el resultado de una ampliación 2x de una porción de una imagen del segundo flujo de vídeo que corresponde temporalmente a la imagen 2; en particular, dicha porción de la imagen del segundo flujo de vídeo que corresponde temporalmente a la imagen 2 está centrada en la retícula de apuntamiento respectiva (es decir, la segunda retícula de apuntamiento mencionada anteriormente) y tiene el mismo tamaño que la porción 24.
Por último, en el caso de que la imagen 2 sea una imagen del cuarto flujo de vídeo mejorado:
• la primera subimagen 22 es el resultado de una ampliación 2x de la porción 24; y
• la segunda subimagen 23 es el resultado de una ampliación 2x de una porción de una imagen del primer flujo de vídeo que corresponde temporalmente a la imagen 2; en particular, dicha porción de la imagen del primer flujo de vídeo que corresponde temporalmente a la imagen 2 está centrada en la retícula de apuntamiento respectiva (es decir, la primera retícula de apuntamiento mencionada anteriormente) y tiene el mismo tamaño que la porción 24.
Convenientemente, la porción 24 puede, por ejemplo, comprender 120x90 píxeles y, en este caso, la primera subimagen 22 y la segunda subimagen 23 comprenden cada una 240x180 píxeles.
Así, sobre la base de la descripción anterior, se deduce que un aspecto importante de la presente invención se refiere a un nuevo diseño de imagen que debe mostrarse a un usuario/operador de un vehículo terrestre militar (o también una unidad naval militar), aplicable al sistema de apuntamiento y/o de observación de armas de un tipo indirecto y capaces de generar imágenes en los espectros visible e infrarrojo (IR).
En particular, el diseño de la imagen generada se mejora con respecto a la generada originalmente por los sensores con subimágenes que contienen información extraída de las imágenes de origen y procesadas oportunamente para facilitar y acelerar la interpretación de los elementos de interés.
La parte dominante de la imagen que se somete a la ampliación y al procesamiento luego de la activación de la mejora de imagen antes mencionada y las funcionalidades de imagen en imagen es solo la que se encuentra alrededor de la retícula de apuntamiento, para no bloquear la visualización a pantalla completa de la escena, y así permitir una mejor definición (un apuntamiento más fácil) y la interpretación de un elemento de interés sin comprometer la vigilancia y el conocimiento de la situación de toda la escena que se está filmando.
Además, la disposición de las subimágenes es tal que no altera la presencia de la retícula estándar de la OTAN y permite la superposición de una retícula balística para disparos de emergencia.
En particular, el diseño de la imagen después de la activación de la funcionalidad de mejora de la imagen permite una comparación rápida entre la firma de un elemento de interés en una determinada banda espectral (IR o visible) y la derivada de un procesamiento diferente de la misma banda espectral sin tener que realizar ningún cambio de vídeo, y por lo tanto, permite la percepción inmediata de elementos no visibles directamente.
Además, el diseño de la imagen después de la activación de la funcionalidad de imagen en imagen permite una comparación rápida entre la firma IR y la firma visible de un elemento de interés sin tener que realizar ningún cambio de vídeo y, por lo tanto, sin perder nunca la visión del objetivo en las dos bandas espectrales.
El diseño de imagen propuesto se puede visualizar en prácticamente cualquier unidad de visualización actualmente en uso en vehículos terrestres militares y en unidades navales militares, ya que respeta la resolución intrínseca de las imágenes PAL/CCIR.
Además, la decisión del diseño de utilizar un FPGA específico especialmente programado a través del firmware para ejecutar la mejora de imagen y las funcionalidades de imagen en imagen indicadas anteriormente permite tener una velocidad de cálculo mucho mayor con respecto al posible uso de un procesador programado a través de software.
De hecho, gracias al uso de un FPGA específico especialmente programado a través del firmware para ejecutar las funciones de mejora de imagen y de imagen en imagen mencionadas anteriormente, la latencia de la imagen de cada
parte de los cuatro diseños de vídeo que se muestran aquí (por lo tanto, tanto para la parte de la imagen dominante como para las subimágenes procesadas) con respecto a los flujos de vídeo de origen correspondientes no exceden los 20 ms.
El algoritmo de mejora de contraste de imagen morfológica utilizado en la implementación de la funcionalidad de mejora de imagen se describe en detalle a continuación.
En particular, dicho algoritmo de mejora del contraste de la imagen morfológica se basa en la llamada morfología matemática, que es una teoría y técnica matemática para el análisis de estructuras geométricas que se emplean habitualmente en el procesamiento digital de imágenes. La morfología matemática se basa en el filtrado no lineal (mínimo y máximo) aplicado mediante una ventana móvil denominada elemento de estructuración. Las operaciones básicas de la morfología matemática son la erosión £ y la dilatación 5.
En particular, con respecto a la operación de erosión, dada una función f(x) y un elemento estructurador B, la erosión £ de f por B en x se define como el valor mínimo tomado por f dentro de la ventana definida por B cuando B es centrado en x, específicamente:
Además, con respecto a la operación de dilatación, dada una función f(x) y un elemento de estructuración B, la dilatación 5 de f por B en x se define como el valor máximo tomado por f dentro de la ventana definida por B cuando B está centrada en x, específicamente:
Los efectos de los operadores de erosión y dilatación se muestran esquemáticamente en la figura 3.
Además, los operadores de abertura y y de cierre $ pueden derivarse de los operadores de erosión y dilatación.
En particular, con respecto a la operación de abertura, la abertura y de f por medio de un elemento estructurante B se define como la operación de erosión £ de f por B seguida de una dilatación 5 por B, específicamente:
Además, con respecto a la operación de cierre, el cierre $ por medio de un elemento estructurante B se define como la operación de dilatación 5 de f por B seguida de una erosión £ por B, específicamente:
El efecto de la operación y de abertura es el de cortar los picos de la función f de acuerdo con el tamaño del elemento B de estructuración. En cambio, la operación de cierre $ corta las bajadas de la función f.
En este punto, es posible definir las operaciones BTH de la transformación del sombrero de copa blanca y la BTH de la transformación del sombrero de copa negra de la siguiente manera:
WTH{f) = f - y ,{/)-.
Y
BTH(f) = <pB( f ) ~ f .
La transformación de sombrero de copa blanca WTH extrae los detalles luminosos de la imagen que son más pequeños que el elemento estructurante B; A la inversa, la transformación BTH del sombrero de copa negra extrae los detalles oscuros.
La idea que subyace al algoritmo de mejora de contraste de imagen morfológica utilizado en la implementación de la funcionalidad de mejora de imagen es la de calcular de forma recursiva las transformaciones del sombrero de copa de la subimagen ampliada con elementos estructurantes de tamaño creciente y hasta tres niveles y combinarlos con la subimagen ampliada original de la siguiente manera:
donde I(x, y) indica la intensidad del píxel genérico considerado (x, y) en la subimagen ampliada inicial, B indica un elemento estructurador dado, WTHíb y BHTíb indican respectivamente la transformación del sombrero de copa blanca y la transformación del sombrero de copa negra del orden ith basado en un elemento estructurante iB, e I'(x, y) indica la intensidad del píxel genérico considerado (x, y) en la imagen ampliada mejorada con contraste de imagen morfológica.
Las operaciones de suma en las transformaciones de sombrero de copa blanca WTH y del sombrero de copa negra BTH acumulan los detalles claros y oscuros, respectivamente, de la subimagen ampliada. Sumando y restando estos detalles claros y oscuros a/desde la subimagen ampliada original, los pasajes de un área clara a una oscura se amplifican en ancho, lo que permite un aumento del contraste en los bordes de los objetos dentro de la subimagen. Es decir, un aumento en el contraste morfológico de la subimagen.
Los efectos en el histograma de intensidad de píxel de los operadores de erosión, dilatación, abertura y cierre, el sombrero de copa blanca y el negro y el algoritmo de mejora de contraste de imagen morfológica utilizado en la implementación de la funcionalidad de mejora de imagen se muestran esquemáticamente en la figura 4.
Además de las ventajas en términos de velocidad de cómputo obtenidas gracias al uso de un FPGA específico especialmente programado a través de firmware para ejecutar la mejora de imagen y la funcionalidad de imagen en imagen indicadas anteriormente, el uso del algoritmo de mejora de contraste de imagen morfológica mencionado anteriormente también permite aumentar la velocidad computacional.
De hecho, la ejecución del algoritmo de mejora del contraste de imagen morfológica por parte de un FPGA tiene un coste computacional moderado y, en consecuencia, permite procesar los flujos de vídeo muy rápidamente. Con respecto a esto, y como ya se ha descrito, gracias al uso combinado del algoritmo de mejora de contraste de imagen morfológica mencionado anteriormente dentro de la funcionalidad de mejora de imagen y un FPGA específico especialmente programado a través de firmware para ejecutar la imagen mejorada indicada anteriormente y la funcionalidad de imagen en imagen, la latencia de la imagen de cada parte de los cuatro diseños de vídeo que se muestran aquí (de este modo, tanto para la porción de imagen dominante como para las subimágenes procesadas) con respecto a los flujos de vídeo de origen correspondientes, el vídeo no excede los 20 ms.
Por lo tanto, con respecto a otras técnicas de mejora de imagen para que la imagen se muestre a un usuario/operador, por ejemplo, las llamadas técnicas conocidas de fusión de imagen, la solución adoptada por la presente invención demuestra ser más fácil de aplicar e implementar, sin comprometer la efectividad, ya que requiere muchos menos recursos de hardware y menos poder de cómputo.
En particular, con respecto a los procesos de fusión de imagen absoluta, el método propuesto carece del riesgo de perder detalles del elemento de interés propio de una u otra banda espectral debido a las matemáticas del algoritmo de fusión de datos.
Finalmente, queda claro que pueden aplicarse diversas modificaciones a la presente invención sin apartarse del alcance de la invención definida en las reivindicaciones adjuntas.
Claims (8)
1. Un sistema (1) de visión externo y/o de apuntamiento de arma diseñado para ser instalado a bordo de un vehículo militar terrestre y/o una unidad naval militar, que comprende:
• dos sensores (11, 12) configurados para capturar flujos de vídeo que comprenden imágenes de una misma escena fuera del vehículo militar o la unidad naval militar, cada sensor (11, 12) configurado para capturar un flujo de vídeo respectivo en una banda espectral respectiva;
• una unidad (13) de procesamiento electrónico conectada a los dos sensores (11, 12) para retener los dos flujos de vídeo capturados y configurada para
- insertar una retícula de apuntamiento respectiva en las imágenes de cada flujo de vídeo retenido que indica el apuntamiento del sensor respectivo que ha capturado dicho flujo de vídeo, generando así un flujo de vídeo preprocesado correspondiente, y
- procesar los dos flujos de vídeo preprocesados; y
• una interfaz (14) de usuario conectada a la unidad (13) de procesamiento electrónico para recibir los flujos de vídeo procesados y que comprende una pantalla (15) configurada para visualizar un flujo de vídeo recibido desde dicha unidad (13) de procesamiento electrónico;
caracterizado porque la unidad (13) de procesamiento electrónico está configurada para procesar los dos flujos de vídeo preprocesados por medio de:
• una funcionalidad de mejora de imagen, generando así dos primeros flujos de vídeo mejorados; y
• una funcionalidad de imagen en imagen, generando así dos segundos flujos mejorados de vídeo;
en donde la unidad (13) de procesamiento electrónico está configurada para procesar cada uno de los dos flujos de vídeo preprocesados por medio de la funcionalidad de mejora de imagen procesando cada imagen del flujo de vídeo preprocesado bajo procesamiento de la siguiente manera:
• ampliar una primera porción (24) predefinida de la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento, obteniendo así una primera subimagen (22) ampliada, dicha primera porción (24) predefinida centrada en la retícula (21) de apuntamiento de la imagen bajo procesamiento;
• aplicar un algoritmo de mejora de contraste de imagen morfológica a la primera subimagen (22) ampliada, obteniendo así una imagen ampliada con contraste de imagen (23) morfológica; y
• reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la imagen ampliada con contraste de imagen (23) morfológica y una tercera porción predefinida de dicha imagen bajo procesamiento con la primera subimagen (22) ampliada, generando así una imagen (2) correspondiente del primer flujo de vídeo mejorado generado con base al flujo de vídeo preprocesado bajo procesamiento; las posiciones ocupadas por la imagen (23) ampliada mejorada con contraste de imagen morfológica y la primera subimagen (22) ampliada en dicha imagen (2) de dicho primer flujo de vídeo mejorado son tales que no afectan la visualización de una región mostrada en correspondencia con la retícula (21) de apuntamiento;
y en donde la unidad (13) de procesamiento electrónico está configurada para procesar cada uno de los dos flujos de vídeo preprocesados por medio de la funcionalidad de imagen en imagen procesando cada imagen del flujo de vídeo preprocesado bajo procesamiento de la siguiente manera:
• ampliar sobre una primera porción (24) predefinida de la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento, obteniendo así una segunda subimagen (22) ampliada, dicha primera porción (24) predefinida centrada en la retícula (21) de apuntamiento de la imagen bajo procesamiento;
• ampliar en una porción predefinida de una imagen dada del otro flujo de vídeo preprocesado, obteniendo así una tercera subimagen (23) ampliada; siendo dicha imagen dada del otro flujo de vídeo preprocesado la imagen correspondiente temporalmente a la imagen bajo procesamiento del flujo de vídeo preprocesado bajo procesamiento; dicha porción predefinida de la imagen dada del otro flujo de vídeo preprocesado se centra en la retícula de apuntamiento de dicha imagen dada; y
• reemplazar, en la imagen bajo procesamiento, una segunda porción predefinida de dicha imagen bajo procesamiento con la segunda subimagen (22) ampliada y una tercera porción predefinida de dicha imagen bajo procesamiento con la tercera subimagen (23) ampliada, obteniendo así una imagen (2) correspondiente del segundo flujo de vídeo mejorado generado en base al flujo de vídeo preprocesado bajo procesamiento; siendo las posiciones ocupadas por la segunda subimagen (22) ampliada y la tercera subimagen (23) ampliada en dicha imagen (2) de dicho segundo flujo de vídeo mejorado para no afectar la visualización de una región mostrada en correspondencia con la retícula (21) de apuntamiento.
2. El sistema de la reivindicación 1, en donde la unidad (13) de procesamiento electrónico comprende un arreglo de puertos programables en campo programado a través de firmware para procesar los dos flujos de vídeo preprocesados por medio de:
• la funcionalidad de mejora de la imagen, generando así los dos primeros flujos de vídeo mejorados; y
• La funcionalidad de imagen en imagen, generando así los dos segundos flujos mejorados de vídeo.
3. El sistema de la reivindicación 2, en donde un arreglo de puertos programables en campo está programado para aplicar el algoritmo de mejora de contraste de imagen morfológica a la primera subimagen (22) ampliada realizando las siguientes operaciones de morfología matemática:
• el cálculo recursivo de las transformaciones del sombrero de copa blanca y del sombrero de copa negra de dicha primera subimagen (22) ampliada utilizando elementos estructurantes de tamaño creciente y hasta tres niveles; y • combinar dicha primera subimagen (22) ampliada con las transformaciones calculadas del sombrero de copa blanca y del sombrero de copa negra, generando así la imagen (23) ampliada mejorada con contraste de imagen morfológica.
4. El sistema de acuerdo con la reivindicación 2 o 3, en donde un arreglo de puertos programables en campo está programado para aplicar el algoritmo de mejora de contraste de imagen morfológica a la primera subimagen (22) ampliada usando la siguiente fórmula:
donde
• x y y denotan la posición de un píxel bajo procesamiento en la primera subimagen (22) ampliada;
• I (x, y) denota la intensidad de dicho píxel bajo procesamiento en la primera subimagen (22) ampliada;
• B denota un elemento estructurante predeterminado;
• WTHiB[I(x,y)] y BHTiB[I(x,y) denotan respectivamente una transformación del sombrero de copa blanca y una transformación del sombrero de copa negra del orden / h aplicado a la intensidad de dicho píxel bajo procesamiento en la primera subimagen (22) ampliada y basada en el elemento de estructuración iB; y
• I'(x,y) denota la intensidad de un píxel correspondiente a dicho píxel bajo procesamiento en la imagen ampliada mejorada con contraste de imagen (23) morfológica.
5. El sistema de acuerdo con cualquier reivindicación precedente, en donde los sensores (11, 12) comprenden: • un primer sensor (11) configurado para capturar un primer flujo de vídeo en la banda espectral visible; y
• un segundo sensor (12) configurado para capturar un segundo flujo de vídeo en la banda espectral infrarroja.
6. El sistema de acuerdo con cualquier reivindicación precedente, en donde la interfaz (14) de usuario comprende además medios (16) de control de usuario configurados para permitir que un usuario active selectivamente mostrar, en la pantalla (15), de uno de los flujos de vídeo mejorados generado por la unidad (13) de procesamiento electrónico.
7. Un vehículo militar terrestre que comprende la visión externa y/o el sistema (1) de apuntamiento de armas reivindicado en cualquier reivindicación precedente.
8. Una unidad militar naval que comprende la visión externa y/o el sistema (1) de apuntamiento con armas reivindicado en cualquier reivindicación 1-6.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT000907A ITTO20120907A1 (it) | 2012-10-16 | 2012-10-16 | Sistema di visione esterna e/o di puntamento di un'arma per veicoli militari terrestri ed unita' navali militari |
| PCT/IB2013/059405 WO2014060972A1 (en) | 2012-10-16 | 2013-10-16 | External vision and/or weapon aiming system for military land vehicles and military naval units |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2700208T3 true ES2700208T3 (es) | 2019-02-14 |
Family
ID=48579369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES13801804T Active ES2700208T3 (es) | 2012-10-16 | 2013-10-16 | Visión externa y/o sistema de apuntamiento de armas para vehículos terrestres militares y unidades navales militares |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9384577B2 (es) |
| EP (1) | EP2909567B1 (es) |
| ES (1) | ES2700208T3 (es) |
| IL (1) | IL238252B (es) |
| IT (1) | ITTO20120907A1 (es) |
| PL (1) | PL2909567T3 (es) |
| RU (1) | RU2638509C2 (es) |
| UA (1) | UA115148C2 (es) |
| WO (1) | WO2014060972A1 (es) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ITTO20120908A1 (it) * | 2012-10-16 | 2014-04-17 | Selex Galileo Spa | Innovativo sistema di comando e controllo e di puntamento e tiro per veicoli militari terrestri equipaggiati con almeno un'arma |
| US20160381297A1 (en) | 2015-06-26 | 2016-12-29 | Jsc Yukon Advanced Optics Worldwide | Providing enhanced situational-awareness using magnified picture-in-picture within a wide field-of-view optical image |
| SE545226C2 (en) * | 2020-02-17 | 2023-05-30 | Bae Systems Haegglunds Ab | A military vehicle comprising an aiming device and an aiming operation arrangement for a vehicle operator to operate the aiming device |
| CN111652832B (zh) * | 2020-07-09 | 2023-05-12 | 南昌航空大学 | 一种基于滑动窗口技术的红外与可见光图像融合方法 |
| CN112361881A (zh) * | 2020-10-14 | 2021-02-12 | 成都鼎屹信息技术有限公司 | 一种用于枪瞄系统的智能化瞄准方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3342338A1 (de) * | 1983-11-23 | 1985-09-05 | IBP Pietzsch GmbH, 7505 Ettlingen | Verfahren und vorrichtung fuer zielzuweisung und zielbekaempfung |
| DE4207251C2 (de) * | 1992-03-07 | 1997-05-22 | Rheinmetall Ind Ag | Feuerleitanlage für Panzer |
| RU2131577C1 (ru) * | 1998-05-27 | 1999-06-10 | Конструкторское бюро приборостроения | Зенитный ракетно-пушечный комплекс |
| RU2179698C2 (ru) * | 1999-08-24 | 2002-02-20 | Государственное унитарное предприятие Пензенское конструкторское бюро моделирования | Тренажер наводчиков-операторов установок пуска ракет или стрельбы из орудий и пулеметов |
| US7206022B2 (en) * | 2002-11-25 | 2007-04-17 | Eastman Kodak Company | Camera system with eye monitoring |
| US7961909B2 (en) * | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
| IL189251A0 (en) * | 2008-02-05 | 2008-11-03 | Ehud Gal | A manned mobile platforms interactive virtual window vision system |
| US20090290019A1 (en) * | 2008-02-25 | 2009-11-26 | Aai Corporation | System, method and computer program product for integration of sensor and weapon systems with a graphical user interface |
| US8744420B2 (en) * | 2010-04-07 | 2014-06-03 | Apple Inc. | Establishing a video conference during a phone call |
-
2012
- 2012-10-16 IT IT000907A patent/ITTO20120907A1/it unknown
-
2013
- 2013-10-16 WO PCT/IB2013/059405 patent/WO2014060972A1/en active Application Filing
- 2013-10-16 US US14/434,184 patent/US9384577B2/en active Active
- 2013-10-16 PL PL13801804T patent/PL2909567T3/pl unknown
- 2013-10-16 RU RU2015118275A patent/RU2638509C2/ru active
- 2013-10-16 EP EP13801804.9A patent/EP2909567B1/en active Active
- 2013-10-16 ES ES13801804T patent/ES2700208T3/es active Active
- 2013-10-16 UA UAA201504743A patent/UA115148C2/uk unknown
-
2015
- 2015-04-12 IL IL238252A patent/IL238252B/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| RU2015118275A (ru) | 2016-12-10 |
| WO2014060972A1 (en) | 2014-04-24 |
| PL2909567T3 (pl) | 2019-02-28 |
| EP2909567B1 (en) | 2018-09-19 |
| IL238252A0 (en) | 2015-06-30 |
| EP2909567A1 (en) | 2015-08-26 |
| IL238252B (en) | 2018-07-31 |
| US9384577B2 (en) | 2016-07-05 |
| RU2638509C2 (ru) | 2017-12-13 |
| UA115148C2 (uk) | 2017-09-25 |
| ITTO20120907A1 (it) | 2014-04-17 |
| US20150235400A1 (en) | 2015-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2700208T3 (es) | Visión externa y/o sistema de apuntamiento de armas para vehículos terrestres militares y unidades navales militares | |
| ES2633742T3 (es) | Sistema para procesamiento de imagen panorámica | |
| ES2632550T3 (es) | Sistema optrónico de visión supra-hemisférica | |
| US11302041B2 (en) | High visibility overlay systems and methods | |
| US20120229596A1 (en) | Panoramic Imaging and Display System With Intelligent Driver's Viewer | |
| US20190129162A1 (en) | Long range infrared imager systems and methods | |
| US20180204364A1 (en) | High visibility overlay systems and methods | |
| US8587659B1 (en) | Method and apparatus for dynamic image registration | |
| US20150172545A1 (en) | Situational awareness by compressed display of panoramic views | |
| WO2017022172A1 (ja) | 車両用表示装置及び表示方法 | |
| JP5948170B2 (ja) | 情報表示装置、情報表示方法およびプログラム | |
| KR20160136722A (ko) | 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법 | |
| CN109941194B (zh) | 图像显示装置 | |
| CN109313025A (zh) | 用于陆地车辆的光电子观察装置 | |
| JP2010018102A (ja) | 運転支援装置 | |
| US9726486B1 (en) | System and method for merging enhanced vision data with a synthetic vision data | |
| KR20190027317A (ko) | 화상 표시 장치 | |
| US20140092255A1 (en) | Auto correlation between camera bands | |
| JP4856291B1 (ja) | 表示装置及び制御方法 | |
| AU2014201487B2 (en) | Night vision display overlaid with sensor data | |
| JP2019001325A (ja) | 車載用撮像装置 | |
| ES2679743T3 (es) | Escaneo y procesamiento de imágenes en tiempo real | |
| JP2016076912A (ja) | 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム | |
| KR102298623B1 (ko) | Hmd를 활용한 전차의 상황인식시스템 | |
| US20160321509A1 (en) | Image processing device, warning device and method for processing image |