ES2856206T3 - Procedimiento de ayuda a la localización de un objetivo y dispositivo de observación para la aplicación de dicho procedimiento - Google Patents

Procedimiento de ayuda a la localización de un objetivo y dispositivo de observación para la aplicación de dicho procedimiento Download PDF

Info

Publication number
ES2856206T3
ES2856206T3 ES17801488T ES17801488T ES2856206T3 ES 2856206 T3 ES2856206 T3 ES 2856206T3 ES 17801488 T ES17801488 T ES 17801488T ES 17801488 T ES17801488 T ES 17801488T ES 2856206 T3 ES2856206 T3 ES 2856206T3
Authority
ES
Spain
Prior art keywords
user
reference point
target
platform
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17801488T
Other languages
English (en)
Inventor
Philippe Bruneau
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nexter Systems SA
Original Assignee
Nexter Systems SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nexter Systems SA filed Critical Nexter Systems SA
Application granted granted Critical
Publication of ES2856206T3 publication Critical patent/ES2856206T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Processing Or Creating Images (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Procedimiento de ayuda a la localización de un objetivo (24,25) para un primer usuario (6) equipado con un dispositivo de observación (26) que comprende un medio de observación (11) de realidad aumentada unido a un platino soporte (12) y acoplado a un medio de cálculo (16) y asociado a medios de comunicación (18), procedimiento caracterizado por el hecho de que, siendo posicionada una plataforma (1) de referencia sobre el terreno y con un punto de referencia de orientación en el espacio llamado punto de referencia maestro (RM), y un primer punto de referencia de orientación de usuario (RU1) en el espacio llamado primer punto de referencia de usuario que se define por el diseño del dispositivo de observación, y asociado al dispositivo de observación (26) del primer usuario (6), el procedimiento comprende las etapas siguientes: - se transmiten al primer usuario (6), a partir de la plataforma (1) o por un segundo usuario (7) y a través de los medios de comunicación (18), las coordenadas del objetivo (24,25) en el punto de referencia maestro (RM); - el primer usuario (6) observa la plataforma de referencia (1) desde al menos una cámara (13) que está unida al platino (12) que lleva el primer usuario (6) y que soporta el medio de observación de realidad aumentada (11); - se compara la geometría de plataforma (1) así observada con un modelo digital de la plataforma, que se ha almacenado en una memoria (17) del medio de cálculo (16), para deducir la orientación y la localización del primer punto de referencia de usuario (RU1) con respecto al punto de referencia maestro (RM); - se calculan las coordenadas del objetivo (24,25) en el primer punto de referencia de usuario (RU1); - se visualiza en el medio de observación de realidad aumentada (11) del primer usuario (7) al menos un retículo virtual (22) que permite localizar el objetivo (24,25).

Description

DESCRIPCIÓN
Procedimiento de ayuda a la localización de un objetivo y dispositivo de observación para la aplicación de dicho procedimiento
[0001] El campo técnico de la invención es el de los procedimientos de ayuda a la localización de un objetivo a un usuario equipado con un medio de observación.
[0002] Se entiende por medio de observación en particular los dispositivos de visualización ópticos o digitales que permiten a un usuario observar una escena. Entre tales dispositivos se pueden citar las miras, los gemelos, las gafas ópticas, los sistemas de realidad aumentada instalados en un casco o las gafas.
[0003] Ya es tradicional superponer a la visión de un objetivo informaciones incrustadas que aportan informaciones sobre el objeto observado.
[0004] Las patentes EP2942717 y EP1451652 muestran así dispositivos de observación de realidad aumentada utilizados para realizar tareas de mantenimiento con o sin la ayuda de un operador remoto.
[0005] Habitualmente la localización del medio de observación (gafas o casco) con respecto a la escena observada se realiza mediante marcadores dispuestos sobre los objetos a analizar. La patente EP949513 describe tal técnica.
[0006] La patente US2007/0276590 también describe la disposición sobre el terreno de marcadores específicos que transmiten sus coordenadas al observador.
[0007] Entonces surge una dificultad cuando el observador se mueve en un entorno desconocido en el que no se puede colocar ningún marcador.
[0008] También se ha propuesto equipar al usuario con un dispositivo de observación formado por un casco que lleva medios de observación del entorno y realiza un análisis permanente de éste último con el fin de garantizar una valoración de los movimientos del casco por correlación de las imágenes sucesivas capturadas. La patente US8831277 describe un tal casco. La dificultad se sitúa entonces en el nivel de las prestaciones de cálculo en un entorno que puede cambiar rápidamente. Otra dificultad radica en la precisión de las localizaciones en el espacio del casco que se pueden obtener.
[0009] En un contexto militar o de operaciones de mantenimiento del orden, resulta efectivamente necesario localizar con mucha precisión la orientación del casco o de las gafas con el fin de permitir el posicionamiento dinámico de imágenes o de puntos de referencia en el medio de observación, por ejemplo cuando es necesario posicionar un blanco a neutralizar.
[0010] Los ángulos de localización tienen que tener entonces una precisión del orden de varios miliradianes.
[0011] Esto es difícil de garantizar en todos los casos a partir de un análisis del entorno inmediato y sin puntos de referencia fijos posicionados sobre el terreno. Resulta entonces necesario equipar el casco con una plataforma inercial para poder medir sin interrupción su orientación en el espacio.
[0012] Sin embargo tal técnica es voluminosa y costosa y no se puede optar por ella.
[0013] El objetivo de la invención consiste en proporcionar un procedimiento de ayuda a la localización de un objetivo por un usuario, procedimiento en el cual la localización se garantiza de una manera sencilla y rápida.
[0014] El procedimiento según la invención encuentra aplicación en un contexto militar y luego ayuda a la comunicación de información operativa en el campo de batalla entre diferentes operadores y entre la infantería y los ocupantes de un vehículo. El procedimiento según la invención encuentra igualmente aplicación en contextos de operaciones de mantenimiento del orden para las que puede resultar necesario transmitir la información operativa a los operadores situados a distancia de un vehículo en un terreno de operaciones.
[0015] Así la invención tiene como objeto un procedimiento de ayuda a la localización de un objetivo para un primer usuario equipado con un dispositivo de observación que comprende un medio de observación de realidad aumentada integral con un platino soporte y acoplado a un medio de cálculo y asociado con medios de comunicación, procedimiento caracterizado por el hecho de que, estando una plataforma de referencia posicionada sobre el terreno y con un punto de referencia de orientación en el espacio llamado punto de referencia maestro, y un primer punto de referencia de orientación del usuario en el espacio llamado primer punto de referencia de usuario que se define por el diseño del dispositivo de observación, y asociado al dispositivo de observación del primer usuario, el procedimiento comprende las etapas siguientes:
- se transmiten al primer usuario, a partir de la plataforma o por un segundo usuario y a través de los medios de comunicación las coordenadas del objetivo en el punto de referencia maestro;
- el primer usuario observa la plataforma de referencia desde al menos una cámara que está unida al platino que lleva el primer usuario y que soporta el medio de observación de realidad aumentada;
- la geometría de plataforma se compara así observada con un modelo digital de la plataforma, que se ha instalado en una memoria del medio de cálculo, para deducir la orientación y la localización del primer punto de referencia de usuario con respecto al punto de referencia maestro;
- las coordenadas del objetivo se calculan en el primer punto de referencia de usuario;
- se visualiza en el medio de observación de realidad aumentada del primer usuario al menos un retículo virtual que permite localizar el objetivo.
[0016] Según una forma particular de realización, las coordenadas del objetivo en el punto de referencia maestro pueden ser transmitidas a partir de la plataforma que está equipada con al menos un medio de observación maestro, acoplado a un medio de designación de objetivo, medio que permite determinar las coordenadas del objetivo en el punto de referencia maestro.
[0017] Según otra forma de realización, las coordenadas del objetivo en el punto de referencia maestro pueden ser transmitidas por un segundo usuario que estará equipado con un dispositivo de observación acoplado a un medio de cálculo y asociado a medios de comunicación, disponiendo el segundo usuario de medios que le permitan designar un objetivo.
[0018] Ventajosamente, el segundo usuario está equipado con un dispositivo de observación que comprende un medio de observación de realidad aumentada análogo al del primer usuario, estando definido un segundo punto de referencia de orientación de usuario en el espacio llamado segundo punto de referencia de usuario que se define por el diseño del dispositivo de observación, y que se asocia al dispositivo de observación del segundo usuario, procedimiento en el que:
- el segundo usuario determina las coordenadas de un objetivo a designar en el segundo punto de referencia de usuario;
- el segundo usuario observa la plataforma de referencia desde al menos una cámara que lleva el segundo usuario, cámara que está unida al platino que lleva el segundo usuario y que soporta el medio de observación de realidad aumentada del segundo usuario;
- la geometría de la plataforma se compara así observada con un modelo digital de la plataforma que se instala en una memoria del medio de cálculo para deducir la orientación y la localización del segundo punto de referencia de usuario con respecto al punto de referencia maestro;
- las coordenadas del objetivo a designar se calculan en el punto de referencia maestro;
- el segundo usuario transmite al primer usuario las coordenadas del objetivo en el punto de referencia maestro.
[0019] Según una forma de realización, la plataforma consta de un vehículo.
[0020] El modelo digital de la plataforma podrá ser un modelo de por lo menos una parte de la geometría externa del vehículo.
[0021] El modelo digital de la plataforma podrá ser o podrá incorporar al menos una parte de un modelo de la geometría interna del vehículo.
[0022] La invención también tiene como objetivo un dispositivo de observación para un primer usuario, dispositivo que comprende un medio de observación de realidad aumentada acoplado a un medio de cálculo asociado a medios de comunicación, dispositivo que permite la puesta en práctica del procedimiento según la invención. Este dispositivo se caracteriza por el hecho de que comprende un platino que lleva, fijada de una manera rígida, al menos una cámara que permite observar el espacio alrededor del primer usuario y adquirir imágenes de la plataforma, el medio de cálculo que incorpora una memoria en la que se instala un modelo digital de la plataforma y los algoritmos que permiten determinar la orientación y la localización, con respecto a un punto de referencia maestro asociado a dicha plataforma, de un primer punto de referencia de orientación del dispositivo de observación del usuario en el espacio, llamado primer punto de referencia de usuario, y convertir las coordenadas de una imagen o de un objetivo a partir del punto de referencia maestro en el primer punto de referencia e inversamente, el medio de observación de realidad aumentada que comprende al menos un colimador de proyección y al menos una lámina semitransparente que están unidos al platino, pudiendo cada colimador visualizar la imagen en una lámina semitransparente, constituyendo el platino un soporte mecánico rígido que permite fijar las posiciones y orientaciones angulares relativas de la cámara o de las cámaras, del colimador o de los colimadores y de la lámina o de las láminas semitransparentes.
[0023] Ventajosamente, el dispositivo de observación puede comprender dos láminas semitransparentes asociadas cada una a un colimador.
[0024] La invención se comprenderá mejor leyendo la descripción siguiente de una forma particular de realización, descripción hecha en referencia a los dibujos anexos y en los cuales:
- La figura 1 esquematiza la puesta en práctica de la invención sobre el terreno;
- La figura 2 muestra de manera más precisa un dispositivo de observación según la invención;
- La figura 3 es une vista esquemática desde arriba del dispositivo de observación según la figura 2.
[0025] Se ha representado en la figura 1 un teatro de operaciones militares (o de mantenimiento del orden) en el que opera un vehículo 1, que es aquí un vehículo blindado de ruedas equipado con una torreta 2 que lleva un sistema de arma 3.
[0026] En la figura 1 se ha representado el piloto 4 del vehículo que tiene la cabeza fuera del habitáculo así como a otro ocupante 5 del vehículo, como el jefe del vehículo o el tirador, que también tiene la cabeza fuera de la torreta 2. Dos soldados de infantería armados 6 y 7 se desplazan sobre el terreno.
[0027] Cada soldado de infantería está equipado con un arma individual 8 y lleva una carcasa 9 que contiene un medio de cálculo portátil asociado a medios de comunicación de los que se ha representado esquemáticamente una antena 10. Los medios de comunicación permiten que cada soldado de infantería 6, 7 interactúe con otros soldados de infantería así como con los ocupantes del vehículo 1.
[0028] Tales medios de comunicación son bien conocidos. Suelen utilizar ondas hertzianas y combinan intercambios de voz y datos.
[0029] Cada soldado de infantería también está equipado con un dispositivo de observación 26 que comprende un medio de observación de realidad aumentada 11 que está esquematizado aquí en forma de gafas de visión aumentada.
[0030] Estos medios de observación de realidad aumentada se acoplan a los medios de cálculo situados en la carcasa 9 y permiten en particular visualizar, superpuestas a la visión del terreno, imágenes o informaciones relativas a la misión en curso, informaciones que son enviadas por otros soldados de infantería o por los ocupantes del vehículo.
[0031] Según la invención, el dispositivo de observación 26 incluye un medio de observación de realidad aumentada 11 que está unido a un platino soporte 12, platino que lleva también, fijada de manera rígida, al menos una cámara 13 que permite observar el espacio alrededor del usuario en cuestión.
[0032] En la figura 1 se ha esquematizado el platino soporte 12 por un casco que lleva cada usuario. La o las cámaras 13 se fijan en la parte superior del casco.
[0033] La cámara o el grupo de cámaras se ha definido de manera que se garantice un campo de observación 14 de esta o estas cámaras 13 que tienen una cobertura angular que es sensiblemente de 360° alrededor del usuario. Se pueden elegir cámaras de campo amplio (por lo tanto de objetivo de ángulo amplio) pero también se pueden elegir cámaras con un ángulo de objetivo más reducido, se tiene entonces que aumentar el número de cámaras para garantizar la cobertura angular deseada (360°).
[0034] Por razones tecnológicas, esta cobertura de 360° sólo puede no ser efectiva a una distancia dada del usuario (por ejemplo de por lo menos un metro). En particular, cuando el usuario lleva varias cámaras 13 repartidas alrededor del casco, habrá zonas ciegas pero únicamente a proximidad del usuario, superponiéndose los campos de las cámaras a cierta distancia para garantizar la cobertura de 360°. Concretamente los campos se eligen lo suficientemente anchos para que una cámara 13 garantice siempre la observación de por lo menos una parte de una plataforma de referencia constituida aquí por el vehículo 1 como se describe a continuación.
[0035] En la figura 1, los sectores angulares 14 representados son una sección de la cobertura espacial real que tiene una forma sensiblemente esférica y por lo tanto cubre efectivamente 360° alrededor del usuario. Las zonas ciegas orientadas hacia arriba y hacia abajo no suponen ningún problema desde el punto de vista operativo. Se destaca en la figura 1 que el piloto 4 y el jefe 5 del vehículo también están equipados con dispositivos de observación 26 que incluyen medios de observación de realidad aumentada 11, dispositivos idénticos a los de los soldados de infantería 6 y 7.
[0036] Las figuras 2 y 3 muestran de manera más detallada la estructura del dispositivo de observación 26 según la invención que está unido al casco.
[0037] En estas figuras, el casco no se representa pero se ha identificado el platino 12 que asegura el soporte de los medios de observación 11 y las cámaras 13. Según el ejemplo representado, el platino 12 consta de cuatro cámaras 13, repartidas angularmente a intervalos regulares alrededor de un eje vertical 15, con el fin de garantizar una superposición de 360° de sus campos de observación.
[0038] En la figura 2 también se ha esquematizado la carcasa 9 que contiene el medio de cálculo 16 que incorpora una memoria 17, y el medio de comunicación 18.
[0039] Para simplificar la exposición se han representado en las figuras medios de cálculo 16 alojados en una carcasa 9 que lleva el soldado de infantería. Se da por supuesto que los medios de cálculo pueden disponerse estructuralmente en otro sitio además de en una carcasa dedicada 9, por ejemplo, pueden transportarse mediante el platino 12 integrado en el casco (así como también el medio de comunicación 18). Incluso pueden incorporarse a los circuitos electrónicos asociados a las cámaras 13. Estos medios de cálculo siguen siendo “portátiles” porque son en cualquier caso transportados por el usuario en cuestión.
[0040] El medio de observación de realidad aumentada 11 incluye al menos un colimador 19 de proyección y al menos una lámina semitransparente 20 que están unidos al platino 12.
[0041] De una manera tradicional el colimador 19 permite visualizar una imagen en la lámina semitransparente 20 que tiene asociada.
[0042] El dispositivo de observación 26 representado aquí incluye dos láminas semitransparentes 20, una posicionada delante de cada ojo 21 del usuario. Incluye también dos colimadores de proyección 19, uno delante de cada lámina 20. Las láminas 20 se fijan de manera rígida con respecto al platino 12 y de igual manera que los colimadores 19. El uso de dos láminas semitransparentes permite garantizar una visión estereoscópica del espacio y las imágenes proyectadas por los dos colimadores estarán adaptadas para proporcionar al usuario una imagen en relieve.
[0043] De una manera tradicional, cada colimador 19 permite por lo tanto visualizar en la lámina semitransparente 20 que tiene asociada informaciones suministradas por el medio de cálculo 16 y que completan la visión que el usuario tiene de su espacio ambiente.
[0044] En particular, y según el procedimiento de la invención, los colimadores 19 permiten proyectar en las láminas 20 una imagen que es aquí un retículo virtual 22 que permite localizar un objetivo.
[0045] El platino 12 constituye un soporte mecánico rígido que permite fijar las posiciones y orientaciones angulares con respecto a las cámaras 13, los colimadores 19 y las láminas semitransparentes 20.
[0046] Este platino 12 materializa por lo tanto un punto de referencia de orientación de los medios de observación 11 del usuario en el espacio, o punto de referencia de usuario (RU).
[0047] Resulta por supuesto posible visualizar en las láminas semitransparentes 20 otras imágenes distintas de las de un retículo virtual, por ejemplo imágenes en relieve y ampliadas de un objetivo y que se envían mediante la plataforma, con objeto, por ejemplo, de facilitar las operaciones de reconocimiento del terreno, o informaciones asociadas a un elemento u objeto presente sobre el terreno.
[0048] El objetivo del procedimiento según la invención es permitir transmitir a un usuario, de manera dinámica y a través de los medios de comunicación 18, información sobre la localización de un objetivo (por ejemplo un blanco) sin que sea necesario conocer con precisión las coordenadas de la dirección de observación del usuario.
[0049] Por esta razón y de acuerdo con la invención consideraremos una plataforma de referencia, aquí el vehículo I, que se posiciona sobre el terreno y que posee por lo tanto un punto de referencia de orientación en el espacio RM en adelante denominado punto de referencia maestro (ver la figura 1).
[0050] Además, por diseño del dispositivo de observación 26, y como resultado de la rigidez de las conexiones entre las cámaras 13 y los medios de observación 11 que proporciona el platino 12, se podrá definir para un primer usuario (por ejemplo, el soldado de infantería 6) un primer punto de referencia de orientación de usuario en el espacio o primer punto de referencia de usuario RU1. Este primer punto de referencia de usuario se asocia al dispositivo de observación 26 del primer usuario 6 (ver la figura 1), por lo tanto también a su medio de observación I I .
[0051] La plataforma o vehículo 1 está equipada con al menos un medio de observación maestro 23 que se acopla a un medio de designación de objetivo (aquí incorporado al medio de observación maestro 23).
[0052] Los medios de designación de objetivos son bien conocidos por el experto en la materia. En general, comprenden un telémetro, por ejemplo, láser, y medios para calcular la orientación de una línea de mira LV con respecto al punto de referencia maestro RM. Estos medios permiten determinar las coordenadas de un objetivo 24 en el punto de referencia maestro RM.
[0053] Estas coordenadas se pueden entonces explotar en todas las pantallas de visualización presentes en el vehículo 1 y es posible posicionar un objetivo fijado en estas pantallas cuya orientación es conocida con respecto al vehículo 1.
[0054] Según la invención se transmiten en primer lugar (etapa A) al primer usuario 6, a través de los medios de comunicación 18, las coordenadas del objetivo 24 en el punto de referencia maestro RM. Por supuesto el propio vehículo está equipado con medios de comunicación (por ejemplo mediante ondas hertzianas) que le permiten transmitir estas coordenadas al primer usuario. Se han esquematizado en la figura 1 mediante el bloque 18a los medios de comunicación del vehículo asociados a una antena 10a.
[0055] Paralelamente, y de manera permanente, la o las cámaras 13 que lleva el primer usuario 6 permiten observar la plataforma 1 de referencia.
[0056] Los algoritmos apropiados permiten transformar las imágenes de la plataforma de referencia 1 en un modelo digital instantáneo de esta plataforma (etapa B).
[0057] Se ha instalado además en la memoria 17 del medio de cálculo 16 que lleva el primer usuario un modelo digital real de la plataforma. Este modelo digital resulta del diseño asistido por ordenador de la plataforma. Es un modelo en tres dimensiones del que sólo se han excluido los datos de la plataforma que no son visibles para el usuario (formas ocultas).
[0058] Este modelo digital incorpora por supuesto los elementos dimensionales del vehículo real, lo que permitirá determinar una distancia entre el usuario y el vehículo a partir de la imagen de un vehículo de un tamaño dado.
[0059] Se procede por lo tanto (etapa C) a una comparación de la geometría de la plataforma 1 así observada (modelo digital instantáneo) con el modelo de referencia que se ha instalado en una memoria 17 del medio de cálculo portátil 16.
[0060] Esta comparación permite, mediante algoritmos de comparación, deducir al mismo tiempo tanto la orientación de los ejes del primer punto de referencia de usuario RU1 con respecto al punto de referencia maestro RM (ángulos de los ejes) como la localización del primer punto de referencia RU1 con respecto al punto de referencia maestro RM (posición del centro del primer punto de referencia RU1 en el punto de referencia maestro RM). Esta comparación aplica algoritmos de comparación de imágenes conocidos con el nombre de algoritmos SLAM, acrónimo de la denominación anglosajona: Simultaneous Localization And Mapping (localización y mapeo simultáneo). Estos algoritmos son bien conocidos por el experto en la materia y no es necesario describirlos en detalle. Se observará que realizan comparaciones de imágenes poniendo en práctica técnicas de filtrado (filtrado de Kalman, filtrado probalístico) con el fin de determinar las modificaciones de orientación de los ejes necesarias para obtener la mejor correlación. De esta forma, en cualquier momento se pueden determinar las coordenadas del primer punto de referencia de usuario RU1 en el punto de referencia maestro RM y también se pueden saber las orientaciones de los ejes del primer punto de referencia de usuario RU1 con respecto a los ejes del punto de referencia maestro RM.
[0061] Resulta fácil a continuación (etapa D) calcular las coordenadas del objetivo 24 en el primer punto de referencia de usuario RU1. Lo que permite visualizar en el medio de observación de realidad aumentada 11 del primer usuario un retículo virtual 22 que permite localizar el objetivo 24.
[0062] Por supuesto, resultará necesario en primer lugar calibrar el medio de observación 11 del dispositivo de observación 26 con las características morfológicas de un usuario (distancia entre los ojos, distancia de los ojos a las láminas semireflectantes, distancias entre las láminas y las cámaras). El modelo digital resultante de la CAD es lo suficientemente preciso para garantizar la consistencia de la localización, incluso a partir de una visión parcial de la plataforma 1 por parte del usuario. Asimismo este modelo permite evitar ser molestado por la presencia de obstáculos entre el usuario y la plataforma, obstáculos que enmascaran parcial y temporalmente la plataforma (por ejemplo otros usuarios interpuestos en el campo de visión).
[0063] La invención permite así prescindir por completo del recurso a una plataforma inercial fijada al platino 12. La precisión de localización es excelente puesto que la precisión de los modelos digitales resultantes de la CAD permite determinar las coordenadas de la línea de mira Lv maestra con una desviación angular inferior a algunos miliradianes.
[0064] La invención al permitir la localización de cualquier usuario con respecto al vehículo 1, también permite designar un blanco 25 no sólo a partir del propio vehículo 1 sino también de otro usuario, por ejemplo el soldado de infantería 7 que también está equipado con un dispositivo de observación 26 según la invención, por lo tanto que comprende un medio de observación 11 acoplado a un medio de cálculo portátil 16 y asociado a medios de comunicación 18. Este segundo usuario 7 está equipado además con medios que le permiten designar un objetivo por ejemplo un designador láser o un medio pasivo que pone en práctica los procedimientos de triangulación.
[0065] El segundo usuario 7 determinará así las coordenadas de su propia línea de mira LV2 de un objetivo 25 en su propio punto de referencia de usuario RU2.
[0066] Este segundo usuario 7 conoce la orientación y la localización de su punto de referencia RU2 en el punto de referencia maestro RM porque observa sin interrupción el vehículo 1 con ayuda de sus cámaras 13 y los algoritmos garantizan, como se ha descrito anteriormente por correlación de imágenes, la localización y la orientación del punto de referencia RU2 con respecto al punto de referencia RM.
[0067] El segundo usuario 7 podrá por lo tanto transmitir al primer usuario 6 las coordenadas del nuevo objetivo 25 en el punto de referencia maestro RM.
[0068] El primer usuario 6 pondrá a continuación en práctica el procedimiento según la invención para calcular, como se ha descrito anteriormente, las coordenadas del nuevo objetivo 25 en su propio punto de referencia RU1.
[0069] En cualquier caso lo primordial es que cada usuario tiene la posibilidad de observar el vehículo 1 mediante sus cámaras 13. A continuación, puede ubicarse en el espacio y el punto de referencia maestro RM sirve de referencia a todos los usuarios desembarcados y distribuidos alrededor del vehículo. Las prestaciones de los sistemas ópticos actuales permiten así una localización a distancias del orden de hasta varias decenas de metros del vehículo con la precisión de localización deseada.
[0070] Según una característica de la invención, no es necesario que el usuario vea todo el vehículo. Basta con que tenga en su campo de visión una parte significativa del mismo para que puedan aplicarse los algoritmos de SLAM.
[0071] Como se ha representado en la figura 1, tanto el piloto 4 como el jefe (o el tirador) 5 también están equipados con dispositivos de observación 26 que comprenden medios de observación de realidad aumentada 11 idénticos a los de los soldados de infantería 6 y 7. Este tipo de disposición permite que un miembro del equipo visualice también en sus medios de observación 11 el o los blancos designados por un usuario, ya se encuentre el miembro del equipo en el habitáculo (y observe el terreno a través de sus canales ópticos) o con la cabeza fuera.
[0072] Con el fin de garantizar la continuidad de las funciones de designación independientemente de la posición de entrada o salida de un usuario ocupante del vehículo, se incorporará por lo tanto en memoria no sólo un modelo digital de la geometría externa de la plataforma sino también un modelo digital al menos parcial de la geometría interna del vehículo. El modelo de la geometría interna se limitará esencialmente a la geometría interna del habitáculo visto por el operador, excluyendo las partes del vehículo no accesibles a la visión, con objeto de aligerar el modelo digital almacenado en la memoria.

Claims (9)

REIVINDICACIONES
1. Procedimiento de ayuda a la localización de un objetivo (24,25) para un primer usuario (6) equipado con un dispositivo de observación (26) que comprende un medio de observación (11) de realidad aumentada unido a un platino soporte (12) y acoplado a un medio de cálculo (16) y asociado a medios de comunicación (18), procedimiento caracterizado por el hecho de que, siendo posicionada una plataforma (1) de referencia sobre el terreno y con un punto de referencia de orientación en el espacio llamado punto de referencia maestro (RM), y un primer punto de referencia de orientación de usuario (RU1) en el espacio llamado primer punto de referencia de usuario que se define por el diseño del dispositivo de observación, y asociado al dispositivo de observación (26) del primer usuario (6), el procedimiento comprende las etapas siguientes:
- se transmiten al primer usuario (6), a partir de la plataforma (1) o por un segundo usuario (7) y a través de los medios de comunicación (18), las coordenadas del objetivo (24,25) en el punto de referencia maestro (RM);
- el primer usuario (6) observa la plataforma de referencia (1) desde al menos una cámara (13) que está unida al platino (12) que lleva el primer usuario (6) y que soporta el medio de observación de realidad aumentada (11);
- se compara la geometría de plataforma (1) así observada con un modelo digital de la plataforma, que se ha almacenado en una memoria (17) del medio de cálculo (16), para deducir la orientación y la localización del primer punto de referencia de usuario (RU1) con respecto al punto de referencia maestro (RM); - se calculan las coordenadas del objetivo (24,25) en el primer punto de referencia de usuario (RU1); - se visualiza en el medio de observación de realidad aumentada (11) del primer usuario (7) al menos un retículo virtual (22) que permite localizar el objetivo (24,25).
2. Procedimiento de ayuda a la localización de un objetivo según la reivindicación 1, procedimiento en el que las coordenadas del objetivo (24) en el punto de referencia maestro (RM) se transmiten desde la plataforma (1) que está equipada con al menos un medio de observación maestro (23), acoplado a un medio de designación de objetivo, medios que permiten determinar las coordenadas del objetivo (24) en el punto de referencia maestro (RM).
3. Procedimiento de ayuda a la localización de un objetivo según la reivindicación 1, procedimiento en el que las coordenadas del objetivo (25) en el punto de referencia maestro se transmiten por medio de un segundo usuario (7) que está equipado con un dispositivo de observación (26) acoplado a un medio de cálculo (16) y asociado a medios de comunicación (18), teniendo el segundo usuario medios que le permiten designar un objetivo.
4. Procedimiento de ayuda a la localización de un objetivo según la reivindicación 3 y para el cual el segundo usuario (7) está equipado con un dispositivo de observación (26) que comprende un medio de observación de realidad aumentada (11) análogo al del primer usuario, un segundo punto de referencia de orientación de usuario (RU2) en el espacio llamado segundo punto de referencia de usuario que se define por el diseño del dispositivo de observación (26), y que se asocia al dispositivo de observación (26) del segundo usuario (7), procedimiento en el cual:
- el segundo usuario (7) determina las coordenadas de un objetivo a designar (25) en el segundo punto de referencia de usuario (RU2);
- el segundo usuario (7) observa la plataforma de referencia (1) desde al menos una cámara (13) que lleva el segundo usuario (7), cámara que está unida al platino (12) que lleva el segundo usuario (7) y que soporta el medio de observación (11) de realidad aumentada del segundo usuario (7);
- la geometría de la plataforma (1) así observada se compara a un modelo digital de la plataforma que se almacena en una memoria (17) del medio de cálculo (16) para deducir la orientación y la localización del segundo punto de referencia de usuario (RU2) con respecto al punto de referencia maestro (RM); - las coordenadas del objetivo a designar (25) se calculan en el punto de referencia maestro (RM);
- el segundo usuario (7) transmite al primer usuario (6) las coordenadas del objetivo (25) en el punto de referencia maestro (RM).
5. Procedimiento de ayuda a la localización de un objetivo según una de las reivindicaciones 1 a 4, caracterizado por el hecho de que la plataforma (1) está constituida por un vehículo.
6. Procedimiento de ayuda a la localización de un objetivo según la reivindicación 5, caracterizado por el hecho de que el modelo digital de la plataforma (1) es un modelo de al menos una parte de la geometría externa del vehículo.
7. Procedimiento de ayuda a la localización de un objetivo según una de las reivindicaciones 5 ó 6, caracterizado por el hecho de que el modelo digital de la plataforma (1) es o incorpora un modelo de al menos una parte de la geometría interna del vehículo.
8. Dispositivo de observación (26) para un primer usuario que comprende un medio de observación de realidad aumentada (11) acoplado a un medio de cálculo (16) asociado a medios de comunicación (18), dispositivo que permite la puesta en práctica del procedimiento según las reivindicaciones precedentes, dispositivo caracterizado por el hecho de que comprende un platino (12) que lleva, fijada de manera rígida, al menos una cámara (13) que permite observar el espacio alrededor del primer usuario y adquirir imágenes de la plataforma (1), el medio de cálculo (16) que incorpora una memoria (17) en la que se almacena un modelo digital de la plataforma (1) y algoritmos que permiten determinar la orientación y la localización, con respecto a un punto de referencia maestro (RM) asociado a dicha plataforma, de un primer punto de referencia (RU1) de orientación del dispositivo de observación (26) del usuario en el espacio, llamado primer punto de referencia de usuario (RU1), y convertir las coordenadas de una imagen o de un objetivo a partir del punto de referencia maestro (RM) en el primer punto de referencia (RU1) e inversamente, el medio de observación de realidad aumentada (11) que comprende al menos un colimador de proyección (19) y al menos una lámina semitransparente (20) que están unidos al platino (12), cada colimador (19) pudiendo visualizar la imagen en una lámina semitransparente (20), el platino (12) constituye un soporte mecánico rígido que permite fijar las posiciones y orientaciones angulares relativas de la o de las cámaras (13), del o de los colimadores (19) y de la o de las láminas semitransparentes (20).
9. Dispositivo de observación según la reivindicación 8, caracterizado por el hecho de que comprende dos láminas semitransparentes (20) asociadas cada una a un colimador (19).
ES17801488T 2016-10-24 2017-10-12 Procedimiento de ayuda a la localización de un objetivo y dispositivo de observación para la aplicación de dicho procedimiento Active ES2856206T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1601535A FR3057950B1 (fr) 2016-10-24 2016-10-24 Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en oeuvre de ce procede
PCT/FR2017/052808 WO2018078236A1 (fr) 2016-10-24 2017-10-12 Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en œuvre de ce procede

Publications (1)

Publication Number Publication Date
ES2856206T3 true ES2856206T3 (es) 2021-09-27

Family

ID=58455080

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17801488T Active ES2856206T3 (es) 2016-10-24 2017-10-12 Procedimiento de ayuda a la localización de un objetivo y dispositivo de observación para la aplicación de dicho procedimiento

Country Status (12)

Country Link
US (1) US10902636B2 (es)
EP (1) EP3529559B8 (es)
JP (1) JP7018443B2 (es)
KR (1) KR102341700B1 (es)
AU (1) AU2017348768B2 (es)
CA (1) CA3039274A1 (es)
DK (1) DK3529559T3 (es)
ES (1) ES2856206T3 (es)
FR (1) FR3057950B1 (es)
IL (1) IL266211B (es)
SG (1) SG11201903640YA (es)
WO (1) WO2018078236A1 (es)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3057950B1 (fr) * 2016-10-24 2018-10-19 Nexter Systems Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en oeuvre de ce procede
KR102232792B1 (ko) * 2020-08-03 2021-03-26 한화시스템 주식회사 정보 제공 장치 및 정보 제공 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2706721B1 (fr) * 1993-06-11 1995-08-18 Aerospatiale Procédé et dispositif pour déterminer la localisation d'une cible.
US6625299B1 (en) 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
DE10159610B4 (de) 2001-12-05 2004-02-26 Siemens Ag System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
JP2003173475A (ja) * 2001-12-05 2003-06-20 Mitsubishi Heavy Ind Ltd 行動支援端末、行動支援システム、及び、行動支援方法
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US7599789B2 (en) * 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US8831277B1 (en) 2009-10-02 2014-09-09 Rockwell Collins, Inc. Optical helmet tracking system
KR20130000401A (ko) * 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
US20130018582A1 (en) * 2011-07-13 2013-01-17 Miller Paul A Inertial Navigation Common Azimuth Reference Determination System and Method
WO2013016518A1 (en) * 2011-07-27 2013-01-31 Mine Safety Appliances Company Navigational deployment and initialization systems and methods
US8854282B1 (en) * 2011-09-06 2014-10-07 Google Inc. Measurement method
JP6044293B2 (ja) * 2012-11-19 2016-12-14 株式会社Ihi ３次元物体認識装置および３次元物体認識方法
EP2943735A4 (en) * 2013-01-11 2016-09-21 Dennis Sammut APPARATUS AND METHOD FOR CALCULATING SIGHTPOINT INFORMATION
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150325047A1 (en) 2014-05-06 2015-11-12 Honeywell International Inc. Apparatus and method for providing augmented reality for maintenance applications
US20160033268A1 (en) * 2014-07-31 2016-02-04 Michael Franklin Abernathy Apparatus for augmented reality for optical systems
IL243772B (en) * 2016-01-25 2018-03-29 Everysight Ltd Dynamic ad-hoc networks for content sharing, based on line of sight
FR3057950B1 (fr) * 2016-10-24 2018-10-19 Nexter Systems Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en oeuvre de ce procede
WO2019084325A1 (en) * 2017-10-27 2019-05-02 Magic Leap, Inc. VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS

Also Published As

Publication number Publication date
KR20190073429A (ko) 2019-06-26
JP7018443B2 (ja) 2022-02-10
IL266211B (en) 2021-07-29
FR3057950B1 (fr) 2018-10-19
EP3529559B1 (fr) 2020-11-25
FR3057950A1 (fr) 2018-04-27
AU2017348768A1 (en) 2019-05-30
WO2018078236A1 (fr) 2018-05-03
IL266211A (en) 2019-06-30
KR102341700B1 (ko) 2021-12-21
EP3529559A1 (fr) 2019-08-28
AU2017348768B2 (en) 2022-03-17
SG11201903640YA (en) 2019-05-30
DK3529559T3 (da) 2021-03-01
EP3529559B8 (fr) 2021-01-20
US10902636B2 (en) 2021-01-26
JP2020500361A (ja) 2020-01-09
US20190272649A1 (en) 2019-09-05
CA3039274A1 (fr) 2018-05-03

Similar Documents

Publication Publication Date Title
US20170212353A1 (en) System and Method for Video Image Registration and/or Providing Supplemental Data in a Heads Up Display
US20150054826A1 (en) Augmented reality system for identifying force capability and occluded terrain
ES2755024T3 (es) Procedimiento para determinar datos de posición de un objeto objetivo en un sistema de referencia
ES2656263T3 (es) Procedimiento de determinación de correcciones de tiros de artillería
EP3287736B1 (en) Dynamic, persistent tracking of multiple field elements
US10533826B2 (en) Vehicle-mounted device with network-connected scopes for allowing a target to be simultaneously tracked by multiple other devices
JP2021534368A (ja) ダイレクト拡張ビュー光学
ES2856206T3 (es) Procedimiento de ayuda a la localización de un objetivo y dispositivo de observación para la aplicación de dicho procedimiento
Gans et al. Augmented reality technology for day/night situational awareness for the dismounted soldier
KR20210133972A (ko) 타겟을 여러 다른 디바이스에서 동시에 추적할 수 있도록 네트워크로 연결된 스코프가 있는 차량 탑재 장치
ES2938343T3 (es) Sistema y método para procesamiento de información táctica en vehículos de combate
RU2730727C1 (ru) Общевойсковая нашлемная система отображения информации, управления и целеуказания
ES2938884T3 (es) Método de puntería y de adquisición de blancos para una plataforma, góndola y dispositivo que permite llevar a cabo este método
ES2806391T3 (es) Procedimiento para la determinación de los datos de posición de un objeto objetivo en un sistema de referencia y procedimiento para el guiado de una aeronave configurada preferentemente como misil
US20220021820A1 (en) Item of optronic equipment for assisting with piloting an aircraft
RU2468331C2 (ru) Способ постановки протяженной аэрозольной завесы индивидуальными комплексами
KR20170046288A (ko) 포격 훈련용 시뮬레이션 시스템
ES2830383T3 (es) Un sistema para la determinación de la posición de un objetivo observado
US11154363B1 (en) Terminal guidance for improving the accuracy of the position and orientation of an object
Atac et al. Motion tracking for augmented and mixed reality: how good is good enough?
HRP20140173A2 (hr) Sustav za ciljanje ruäśnim oružjem primjenom proširene stvarnosti
PARSONS Augmented Reality Can Better Inform Troops
Byrne Enhancing helicopter mission effectiveness
Shabaneh Probability Grid Mapping System for Aerial Search (PGM)
RO129178A2 (ro) Metode de lucru şi complet multifuncţional de aparatură de observare, achiziţie şi ochire pe timp de zi şi de noapte, pe bază de radiaţii termice şi vizibile, cu calculator integrat