ES2927906T3 - Procedimiento de determinación de bordes en saliente de un objetivo sobre una imagen - Google Patents

Procedimiento de determinación de bordes en saliente de un objetivo sobre una imagen Download PDF

Info

Publication number
ES2927906T3
ES2927906T3 ES18842777T ES18842777T ES2927906T3 ES 2927906 T3 ES2927906 T3 ES 2927906T3 ES 18842777 T ES18842777 T ES 18842777T ES 18842777 T ES18842777 T ES 18842777T ES 2927906 T3 ES2927906 T3 ES 2927906T3
Authority
ES
Spain
Prior art keywords
mesh network
target
mesh
image
edges
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18842777T
Other languages
English (en)
Inventor
Roland Brochard
Cyril Robin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space SAS
Original Assignee
Airbus Defence and Space SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Defence and Space SAS filed Critical Airbus Defence and Space SAS
Application granted granted Critical
Publication of ES2927906T3 publication Critical patent/ES2927906T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

La invención se refiere a un método para localizar un objetivo tridimensional con respecto a un vehículo, que comprende: - adquirir una imagen del objetivo, y - a partir de una malla tridimensional del objetivo, y una estimación de la ubicación del objetivo. , determinando un conjunto de aristas que sobresalen de la malla del blanco en dicha colocación, caracterizándose el método porque la etapa de determinar las aristas que sobresalen de la malla del blanco comprende: a) posicionar la malla del blanco según la colocación , b) proyectar la malla así posicionada en dos dimensiones, c) escanear la proyección de la malla por una pluralidad de líneas de exploración y, para cada línea de exploración: - definir un conjunto de segmentos, correspondiendo cada segmento a la intersección de un elemento de malla con la línea de exploración y estando definida por los extremos de la misma, - analizando las profundidades relativas de los extremos de los segmentos, siendo la profundidad la posición en una tercera dimensión ortogonal a las dos dimensiones de la proyección, de modo que para seleccionar un conjunto de puntos de extremos de segmentos correspondientes a bordes que sobresalen de la malla. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Procedimiento de determinación de bordes en saliente de un objetivo sobre una imagen
Sector de la técnica
La invención se refiere al campo de la visión por ordenador y en particular a un procedimiento de determinación de bordes en saliente de un objeto en tres dimensiones sobre una imagen, a partir de un modelo en tres dimensiones del objeto. La invención se enmarca en un contexto de detección y de seguimiento de un objetivo, en particular en el caso de encuentros aéreos o espaciales.
Estado de la técnica
Un ejemplo de un encuentro aéreo es el reabastecimiento de combustible en vuelo de una aeronave, que requiere posicionar un avión de reabastecimiento de combustible equipado con un brazo de reabastecimiento de combustible (también conocido como boom en inglés) en relación con el avión que va a reabastecerse de combustible.
Un encuentro espacial es, normalmente, el acoplamiento de un vehículo espacial a un objetivo tal como la Estación Espacial Internacional.
En ambos casos, un vehículo de aproximación móvil debe colocarse con precisión en relación con un objetivo móvil, cuya estructura en tres dimensiones puede ser compleja. La navegación del vehículo de aproximación se basa esencialmente en el análisis de las imágenes del objetivo móvil tomadas desde el vehículo de aproximación, con el fin de determinar con precisión la colocación del objetivo móvil, es decir, su posición relativa y su orientación con respecto al vehículo que se aproxima.
Más específicamente, un procedimiento de procesamiento de imágenes para estimar la colocación del objetivo comprende una adquisición de imágenes del objetivo desde el vehículo a una frecuencia que depende de las velocidades del vehículo y del objetivo, luego el procesamiento de cada imagen para determinar la colocación del objetivo sobre la imagen.
El procesamiento de una imagen comprende convencionalmente una primera etapa de detección del objetivo sobre la imagen y una segunda etapa de determinación de la colocación del objetivo.
Haciendo referencia a la figura 1, según un procedimiento conocido, la determinación de la colocación del objetivo sobre la imagen puede implementarse gracias a un modelo en tres dimensiones del objetivo y una estimación de la colocación del objetivo sobre la imagen.
En este caso, un primera etapa 1 comprende la determinación de los bordes en saliente del modelo del objetivo en la colocación correspondiente a la estimación, luego el modelo en tres dimensiones se compara con el objetivo durante una etapa 2. Una vez obtenida la comparación entre el modelo y el objetivo, puede deducirse que la colocación del modelo corresponde a la colocación del objetivo sobre la imagen. Una etapa de optimización 3 permite refinar la estimación de la colocación.
Con respecto a la implementación de la etapa 1, se conoce un procedimiento de determinación de bordes en saliente de un objeto sobre una imagen, a partir de un modelo en tres dimensiones del objeto, durante el que se proyecta el modelo en tres dimensiones del objeto según una colocación que corresponde a una primera estimación de la colocación del objeto sobre la imagen, luego se escanea cada uno de los píxeles de la imagen obtenida para detectar, en función de las profundidades relativas de los píxeles examinados, los bordes en saliente del objeto sobre esta imagen.
Esta técnica tiene varios inconvenientes. Por un lado, el procesamiento de la imagen píxel a píxel es muy pesado en cuanto a tiempo de cálculo e implica el uso de un circuito de procesamiento dedicado para ello, que suele ser un procesador de gráficos (también llamado GPU por el acrónimo en inglés de Graphics Processing Unit), para poder seguir la cadencia del flujo de imágenes y actualizar la colocación en tiempo real.
Además, el tiempo de cálculo depende del tamaño de la imagen, lo que obliga a limitar, incluso a degradar, la resolución del flujo de imágenes adquiridas con respecto a las capacidades actuales de los sensores utilizados. Por tanto, existe la necesidad de una alternativa cuya complejidad esté mejor controlada. El artículo de Antoine Petit et al, “A robust model-based tracker combining geometrical and color edge information” 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems, 11/03/2013, XP032537635, describe un procedimiento de localización de objetivo que comprende la adquisición de una imagen del objetivo y la determinación de los bordes en saliente del objetivo en una colocación estimada, a partir de una red en malla 3D del objetivo que también combina información de color.
El artículo de Antoine Petit et al. “Vision-based Detection and Tracking for Space Navigation in a Rendezvous Context”, Int. Symp. on Artificial Intelligence, Robotics and Automation in Space, i-SAIRAS, 11/11/2012, XP055505316, describe un procedimiento de localización de objetivos que utiliza las capacidades de cálculo de tarjetas gráficas para admitir modelos 3D poligonales completos del objetivo, con el fin de generar proyecciones automáticamente de estos modelos según la colocación deseada. El artículo de J.M. Kelsey et al. “Vision-based Relative Colocación Estimation for Autonomous Rendezvous and Docking” 2006 IEEE Aerospace Conference, 2006­ 03-04, XP010928582, se refiere a la estimación precisa de la colocación de un objeto a partir de una estimación aproximada y un modelo 3D.
La publicación de la tesis de M. Wheeler: “Automatic Modeling and Localization for Object Recognition”, 25/10/1996, XP055505148 también describe el uso de un modelo 3D de un objeto para estimar la posición del objeto, mediante la determinación de los puntos visibles del modelo en la colocación estimada del objeto.
La publicación de la tesis de N. Oumer: “Visual Tracking and Motion Estimation for an On-Orbit Servicing of a Satellite”, 01/03/2016, XP055504938, describe una determinación de puntos visibles de un modelo en función de una colocación particular del objeto, mediante un método de tipo Z-buffer usando una tarjeta gráfica.
Objeto de la invención
El objetivo de la invención es proporcionar una mejora a las soluciones existentes para la detección de los bordes en saliente de un objeto sobre una imagen.
Un objetivo de la invención es proponer un procedimiento cuya complejidad esté completamente controlada, con el fin de poder adaptar esta complejidad a las capacidades de cálculo disponibles en un dispositivo capaz de realizar un encuentro espacial o aéreo.
En particular, un objetivo de la invención es proponer un procedimiento cuya complejidad sea independiente del tamaño de las imágenes.
Otro objetivo de la invención es permitir que la implementación se implemente por hardware general y no requiera el uso del procesador gráfico.
En este sentido, la invención tiene por objeto un procedimiento de localización de un objetivo en tres dimensiones con respecto a un vehículo, que comprende:
- la adquisición de una imagen del objetivo, y
- a partir de una red en malla en tres dimensiones del objetivo, y de una estimación de colocación del objetivo, la determinación de un conjunto de bordes en saliente de la red en malla del objetivo en dicha colocación, y estando el procedimiento caracterizado porque la etapa de determinación de los bordes en saliente de la red en malla del objetivo comprende:
a) la colocación de la red en malla del objetivo según la colocación,
b) la proyección en dos dimensiones de la red en malla colocada de este modo,
c) el barrido de la proyección de la red en malla mediante una pluralidad de líneas de barrido y, para cada línea de barrido:
- la definición de un conjunto de segmentos, correspondiendo cada segmento a la intersección de una malla de la red en malla con la línea de barrido y que está definido por sus extremos,
- el análisis de las profundidades relativas de los extremos de los segmentos, siendo la profundidad la posición según una tercera dimensión ortogonal a las dos dimensiones de la proyección, para seleccionar un conjunto de puntos de extremos de los segmentos correspondientes a los bordes en saliente de la red en malla.
Ventajosamente, la etapa de análisis de las profundidades relativas de los extremos de los segmentos comprende, para cada extremo de segmento de una línea de barrido:
- la determinación del conjunto de segmentos superpuestos a nivel de dicho extremo,
- el cálculo de la profundidad de los puntos de cada uno de los segmentos superpuestos a nivel del extremo de segmento considerado,
- la selección del punto cuya profundidad es mínima,
- la comparación de la profundidad del punto seleccionado con la profundidad del último segmento visible a nivel del punto seleccionado, y
- en caso de diferencia superior a un umbral determinado, la determinación del punto seleccionado como correspondiente a un borde en saliente de la red en malla.
En una realización, cada segmento se define además por la normal a la malla a la que pertenece el segmento, y la etapa de análisis de las profundidades relativas de los extremos de los segmentos comprende además, si la diferencia entre la profundidad del punto seleccionado y la profundidad del último segmento visible a nivel del punto seleccionado es inferior a dicho umbral:
- la comparación de la dirección de la normal a la malla a la que pertenece el segmento en el que se encuentra el punto seleccionado, con la dirección de la normal a la malla a la que pertenece el último segmento visible, y - en caso de diferencia superior a un umbral determinado, la determinación del punto seleccionado como correspondiente a un borde en saliente de la red en malla.
En algunas realizaciones, la etapa de proyección en dos dimensiones de la red en malla comprende además el cálculo de las normales junto con la proyección de cada malla de la red en malla.
Preferiblemente, el procedimiento comprende además, una vez que se han determinado los bordes en saliente de la red en malla del objetivo, una etapa de hacer coincidir los bordes en saliente de la red en malla del objetivo con los bordes del objetivo sobre la imagen.
En una realización, el conjunto de bordes en saliente de la red en malla del objetivo comprende un conjunto de elementos de red en malla, estando cada elemento definido por:
- las coordenadas espaciales de un punto de la red en malla,
- las coordenadas de la proyección en dos dimensiones de dicho punto de red en malla, colocado según dicha colocación, y
- la dirección de la normal de la malla en dos dimensiones de la red en malla con respecto a dicho punto.
En este caso, la etapa de coincidencia comprende, la superposición de la proyección en dos dimensiones de la red en malla sobre la imagen y, para cada elemento:
- la definición de una ventana que se extiende a lo largo de la normal del elemento,
- la detección de un borde en la parte de la imagen correspondiente a la ventana, y
- la selección de un píxel de la imagen correspondiente al borde detectado como correspondiente al elemento. Ventajosamente, el procedimiento comprende además una etapa de actualización de la estimación de la colocación del objetivo sobre la imagen mediante la minimización de la distancia entre los bordes en saliente de la red en malla del objetivo y los puntos de la imagen correspondientes.
En una realización, el procedimiento comprende además:
- para cada elemento de la red en malla perteneciente al conjunto de bordes en saliente de la red en malla, la actualización de las coordenadas de la proyección en dos dimensiones de la red en malla, después
- la repetición de la etapa de coincidencia entre los bordes en saliente de la red en malla y los bordes del objetivo sobre la imagen.
La etapa de determinación de los bordes en saliente de la red en malla puede implementarse de manera preliminar por un primer elemento de cálculo de una estación terrestre.
El procedimiento también puede comprender la asignación de coeficientes de ponderación a los elementos del conjunto de bordes en saliente.
En una realización, el procedimiento comprende la determinación de conjuntos de bordes en saliente de la red en malla colocados según una pluralidad de colocaciones predeterminadas mediante el primer elemento de cálculo, comprendiendo el procedimiento además la selección de un conjunto de bordes en saliente de la red en malla según una de las colocaciones predeterminadas más correspondiente a la colocación del objetivo sobre la imagen, y la implementación de la etapa de coincidencia sobre dicho conjunto seleccionado.
En una realización, en la que la red en malla del objetivo comprende varias partes distintas, comprendiendo cada punto de la red en malla una identificación de la parte de la red en malla a la que pertenece, y las etapas de proyección en dos dimensiones de la red en malla y el barrido de la proyección de la red en malla se implementan solo para las partes de la red en malla correspondientes a las partes del objetivo presentes sobre la imagen.
La invención también tiene como objeto un producto de programa informático, que comprende instrucciones para la implementación de un procedimiento de determinación de bordes en saliente de una red en malla de un objeto en tres dimensiones colocado según una colocación determinada, que comprende:
a) la colocación de la red en malla del objeto según la colocación,
b) la proyección en dos dimensiones de la red en malla colocada de esta manera,
c) el barrido de la proyección de la red en malla mediante una pluralidad de líneas de barrido y, para cada línea de barrido:
- la definición de un conjunto de segmentos, correspondiendo cada segmento a la intersección de una malla de la red en malla con la línea de barrido y que está definido por sus extremos,
- el análisis de las profundidades relativas de los extremos de los segmentos, siendo la profundidad la posición según una tercera dimensión ortogonal a las dos dimensiones de la proyección, para seleccionar un conjunto de puntos de extremos de segmentos correspondientes a los bordes en saliente de la red en malla,
cuando se implementa por un elemento de cálculo.
El objeto de la invención es un sistema de localización de un objetivo en tres dimensiones con respecto a un vehículo, que comprende un sensor adaptado para adquirir imágenes del objetivo, y una unidad de control que comprende un elemento de cálculo y una memoria, estando el sistema caracterizado porque está configurado para implementar el procedimiento según la descripción anterior.
El procedimiento según la invención permite, mediante un barrido de una proyección del modelo en tres dimensiones del objeto, mediante un conjunto de líneas de barrido, considerar únicamente los extremos de los segmentos correspondientes a la intersección de las mallas del modelo con las líneas de barrido como posibles elementos de los bordes en saliente del modelo.
De este modo, no es necesario recrear todos los píxeles de una imagen correspondiente a la proyección del modelo en tres dimensiones, sino que solo se consideran determinados puntos correspondientes a los bordes. Como resultado, el tiempo de cálculo necesario para la implementación del procedimiento se reduce considerablemente. Además, la complejidad del procedimiento se controla porque solo depende del tamaño del modelo en tres dimensiones y de la frecuencia de muestreo conseguida con las líneas de barrido, y por tanto no del tamaño de las imágenes a la entrada del procedimiento.
Por tanto, la implementación del procedimiento no requiere un hardware específico tal como un procesador gráfico y, por tanto, es compatible con el hardware existente, por ejemplo, para la instalación en aeronaves que ya están en uso. La independencia con respecto al tamaño de la imagen también permite utilizar, para la adquisición de las imágenes, sensores que presentan una mejor resolución espacial que los utilizados en la técnica anterior, lo que permite mejorar la precisión global del procesamiento de imágenes que se lleva a cabo a partir de estos sensores. La reducción del tiempo de cálculo también permite la adición de procesamiento adicional, mejorando por ejemplo la robustez, la integridad o la precisión de la solución.
Descripción de las figuras
Otras características, objetos y ventajas de la invención resultarán evidentes tras la siguiente descripción, con carácter meramente ilustrativo y no limitativo, y que debe leerse en conjunto con los dibujos adjuntos en los que: - La figura 1, ya descrita, representa un ejemplo de un contexto de implementación de la invención,
- Las figuras 2a y 2b representan esquemáticamente dos variantes de un sistema que permite la implementación del procedimiento.
- La figura 3 representa esquemáticamente las principales etapas de un procedimiento según una realización de la invención.
- La figura 4 representa un ejemplo de barrido de una red en malla mediante líneas de barrido horizontales.
Descripción detallada de la invención
Ahora se describirán las etapas principales de un procedimiento de determinación de bordes en saliente de un objeto en una imagen. Con referencia a las figuras 2a y 2b, este procedimiento forma parte ventajosamente de un contexto de encuentro espacial o aéreo, en donde un vehículo tal como una nave espacial o una aeronave adquiere un flujo de imágenes de un objetivo al que se aproxima, determina la colocación del objetivo mediante un análisis en tiempo real de las imágenes adquiridas, y adapta los comandos de navegación del vehículo en tiempo real en función de la colocación determinada de este modo.
Tal como se observará con más detalle a continuación, este procedimiento se implementa ventajosamente, por tanto, en tiempo real sobre un flujo de imágenes, a una frecuencia correspondiente a la frecuencia de adquisición de las imágenes, estando esta frecuencia comprendida entre 10 y 100 Hz, por ejemplo, entre 30 y 60 Hz.
En la figura 2a se representa una primera realización de un sistema para la implementación del procedimiento. Este sistema comprende un sensor 10, a bordo de un vehículo V y adaptado para adquirir imágenes del objetivo C. El sensor 10 puede ser un dispositivo de teledetección por láser o LIDAr (acrónimo de la terminología en inglés “Light Detection And Ranging"), o una cámara monocular o estéreo.
El sistema comprende además una unidad 20 de control que comprende al menos un elemento 21 de cálculo y una memoria 22. El elemento de cálculo es por ejemplo un procesador o un microprocesador.
La memoria almacena las instrucciones de código necesarias para la implementación de todo o parte del procedimiento, y el elemento de cálculo es adecuado para ejecutar estas instrucciones de código.
En una variante de realización, según la reivindicación 10, representada en la figura 2b, una parte del procedimiento se implementa de manera terrestre para reducir adicionalmente el cálculo implementado por el elemento 21 de cálculo a bordo, y, llegado el caso, permitir la implementación de procesamientos complementarios que no podrían realizarse por el elemento 21 de cálculo. Esto también puede permitir un procesamiento uniforme implementado por el sistema terrestre para varios vehículos a bordo equipados con diferentes capacidades de procesamiento.
En este caso, el sistema comprende además una unidad 30 de procesamiento terrestre, que comprende una memoria 32 y un elemento 31 de cálculo. El elemento 31 de cálculo y la memoria 32 pueden entonces presentar rendimientos y características superiores a las del elemento 21 de cálculo y la memoria 22, porque no están limitadas por los mismos problemas de integración y de suministro de energía que en el vehículo V.
Ventajosamente, el sistema puede comprender además medios de comunicación entre la unidad 30 de procesamiento terrestre y la unidad 20 de procesamiento de a bordo, comprendiendo estos medios de comunicación ventajosamente, a ambos lados, interfaces 23, 33 de conexión inalámbrica, a una red T de comunicación tal como Internet, por ejemplo, mediante Wi-Fi, 3G, 4G o incluso mediante comunicación vía satélite.
Con referencia a la figura 3, se han representado las etapas principales del procedimiento de determinación de los bordes en saliente de un objeto.
Los datos de entrada del procedimiento comprenden una imagen adquirida por el sensor 10 a bordo del vehículo V, sobre la que aparece el objetivo C, siendo el objetivo el objeto cuyos bordes en saliente se quieren identificar. Como variante, la imagen sobre la que se implementa el procedimiento también puede provenir de una biblioteca de imágenes almacenada de manera terrestre, o puede haberse generado en función de una hipótesis inicial de posiciones relativas entre el vehículo y el objetivo.
Los datos de entrada también comprenden un modelo en tres dimensiones del objetivo, así como una estimación, posiblemente aproximada, de la colocación del objetivo sobre la imagen. Esta estimación de colocación puede provenir de una etapa de detección de objetivos implementado previamente (véase la figura 1), o puede provenir de una repetición previa del procedimiento, o incluso puede provenir de una simulación de las posiciones relativas del vehículo y del objetivo según la trayectoria teórica del vehículo.
Ventajosamente, el modelo en tres dimensiones del objetivo es una red en malla del objetivo, es decir, un conjunto de mallas que forman la superficie del objetivo. Las mallas presentan formas geométricas, estando el conjunto de la red en malla realizado con la misma forma geométrica. Por ejemplo, las mallas pueden ser triangulares o poligonales, y entonces están definidas por las coordenadas en tres dimensiones de sus vértices. Como variante, las mallas pueden ser esferas o esferoides (es decir, un elipsoide de revolución), y entonces están definidas por las coordenadas en tres dimensiones de su centro y de su radio.
A continuación, se describe el procedimiento tomando el ejemplo no limitativo de una red en malla en tres dimensiones cuyas mallas son triangulares. Se observa entonces que M(a,b,c) es el triángulo M definido por sus vértices a,b,c, correspondiendo cada vértice a un vértice en tres dimensiones.
Con referencia a la figura 2b, las coordenadas de un punto de la red en malla se definen en un marco ortonormal cuyos ejes X e Y definen el plano de la imagen adquirida por el sensor, y el eje Z corresponde al eje óptico del sensor, que está orientado hacia las Z positivas. La posición de un punto en el eje Z corresponde a su proximidad con respecto al sensor, de manera que cuanto más baja es Z, más cerca está el objeto del sensor. Z puede ser opcionalmente negativa, por ejemplo, en el caso del acoplamiento de una nave espacial a la estación espacial internacional. A continuación en el presente documento, se denominará profundidad a la posición de un punto o un objeto en el eje Z.
De manera preliminar, los datos de entrada (imagen del objetivo y la red en malla en tres dimensiones) se cargan o adquieren por el elemento 21 o 31 de cálculo para la implementación del procedimiento. El procedimiento comprende entonces un etapa 100 de determinación de los bordes en saliente de la red en malla del objeto en la colocación proporcionada como entrada.
Esta etapa comprende en primer lugar la colocación 110 de la red en malla en tres dimensiones del objeto según dicha colocación.
La colocación p del objeto comprende tanto la orientación del objeto como su posición con respecto al vehículo, por lo tanto, comprende una matriz de rotación de 3x3 denominada R, y un vector columna de dimensión 3 denominado T, correspondiente a la traslación. Entonces se observa que p = (R,T).
La etapa 110 comprende entonces la transposición de cada malla del modelo según la colocación (R,T) que corresponde, para una red en malla triangular, que va a calcularse para cada triángulo M:
Figure imgf000007_0001
En donde M' es el triángulo reposicionado correspondiente a M, y a', b', c', son sus coordenadas, las cuales están ordenadas preferiblemente con respecto a su posición en el eje Z. K es una matriz de corrección 3x3 obtenida por calibración del sensor 10, la cual se asume que es conocida y constante.
Ventajosamente, pero de manera opcional, el procedimiento comprende entonces una etapa 120 de filtrado de las mallas de la red en malla en tres dimensiones que se consideran no visibles en la colocación adoptada en la etapa 110 por la red en malla, porque estas mallas se encuentran más allá del espacio delimitado por el campo de visión del sensor o aguas arriba del sensor con respecto al eje Z.
Esta etapa comprende el cálculo preliminar, para cada malla, de la normal a la malla. En el caso de un triángulo M(a, b, c), este cálculo se implementa mediante:
Figure imgf000007_0002
La normal de cada malla se ajusta según la colocación del objeto:
Figure imgf000007_0003
La etapa de filtrado 120 comprende entonces:
- el filtrado de mallas cuya normal no está orientada hacia el sensor, es decir, mallas para las que se respeta la siguiente relación:
Figure imgf000007_0004
Luego, definiéndose un parámetro Znear correspondiente a la posición mínima en el eje Z de un punto para que sea visible por el sensor, la etapa 120 incluye también el filtrado de las mallas para las que el punto de mayor profundidad Zmax es inferior:
* 7 *m ax < — 7 ¿jnear
Para todas las demás mallas, la malla se mantiene si es completamente visible, y si no, la malla se corta para mantener solo las partes visibles.
En el ejemplo de una malla triangular, comparamos la profundidad Zmin del punto de profundidad mínima con Znear, y se mantienen las mallas para las que:
^ 7 n e a r < ~ 7 ^ m u i
En el caso contrario:
- si los otros dos vértices presentan una profundidad superior a Znear, la malla se divide en tres subtriángulos definidos con dos nuevas coordenadas de manera que dos de los tres subtriángulos sean visibles y ambos subtriángulos tengan al menos uno de sus vértices a una profundidad Z=Znear, y se mantienen estos últimos, - si un único vértice adicional presenta una profundidad superior a Znear, la malla se divide en tres subtriángulos definidos con dos nuevas coordenadas de tal manera que uno de los tres subtriángulos es visible y presenta al menos uno de sus vértices a una profundidad Z= Znear, y se mantiene este último.
El procedimiento comprende entonces un etapa 130 de proyección de la red en malla en tres dimensiones del objeto colocado de este modo en el plano (X,Y) de la imagen. Teniendo en consideración un triángulo M'(a',b',c'), esta etapa se implementa calculando las coordenadas del triángulo proyectado M”(A',B',C') de la siguiente manera:
Figure imgf000008_0001
En donde a'x, a'y y a'z son las coordenadas en X, Y y Z de a'. El mismo cálculo se realiza mutatis mutandis para B' y C'.
El procedimiento comprende entonces un etapa 140 de procesamiento de la imagen mediante el barrido de la proyección de la red en malla con un conjunto de líneas de barrido. Esta etapa se realiza preferiblemente dos veces, una vez con líneas de barrido que se extienden según el eje X y otra vez con líneas de barrido que se extienden según el eje Y.
Para la descripción detallada de la implementación de esta etapa, se toma el ejemplo de líneas de barrido que se extienden según el eje Y, realizándose la transposición para las líneas de barrido que se extienden según el eje X mediante la sustitución de X por Y y viceversa.
Antes de implementar esta etapa de barrido, se ordenan las coordenadas de cada malla proyectada de la red en malla según el eje de la línea de barrido, es decir, según el eje Y en el ejemplo que se desarrolla. Además, también se calculan las normales a los lados de cada malla proyectada en el plano (X,Y).
Durante la etapa de barrido, la imagen de la red en malla proyectada según la colocación p=(R,T) es atravesada por un conjunto de líneas de barrido a una frecuencia de muestreo definida de antemano, o adaptada dinámicamente en función de una limitación que va a respetarse en cuanto a complejidad de procesamiento. Por ejemplo, es posible proporcionar tantas líneas de barrido como píxeles en el eje Y, o una línea de dos, o incluso una línea de tres.
La etapa de procesamiento mediante barrido incluye una etapa 141 representada esquemáticamente en la figura 4, y durante la que, para cada línea de barrido, se define un conjunto de segmentos en la intersección entre la línea de barrido y una malla de la red en malla. Cada segmento está definido por:
- las coordenadas en tres dimensiones de sus extremos, determinándose la profundidad (posición en Z) a partir de las coordenadas de los vértices de la malla a la que pertenece el extremo, y estando una de las otras coordenadas adicionales determinada a partir de la línea de barrido para la que es posible obtener el segmento,
- las normales a los lados de las mallas proyectadas a las que pertenecen los extremos respectivamente,
- una normal en tres dimensiones a la malla a la que pertenece el segmento, y
- un identificador de segmento.
En el ejemplo representado en la figura 4, por tanto, se obtiene:
- durante el barrido por la línea a, dos segmentos [a0, a2] y [a1, a3],
- durante el barrido por la línea b, dos segmentos [b0, b1] y [b2, b3], y
- durante el barrido por la línea c, un segmento [00, ci ].
Por tanto, se comprende que cada segmento está definido en el espacio, ya que sus extremos tienen coordenadas en tres dimensiones, pero se obtiene a partir de la intersección de una línea de barrido y una proyección en dos dimensiones de la red en malla.
Los extremos de los segmentos definidos de este modo son, por tanto, candidatos a corresponderse con los bordes en saliente de la red en malla del objeto en la colocación (R,T).
El procedimiento comprende entonces la selección 142 de extremos de los segmentos correspondientes a los bordes en saliente mediante el análisis de las profundidades relativas de dichos extremos y las normales asociadas. Para cada línea de barrido, las coordenadas del conjunto de los extremos de los segmentos definidos para la línea de barrido considerada se ordenan en el eje ortogonal al eje de la línea, es decir, el eje X en el ejemplo desarrollado. Continuando con el ejemplo anterior, los extremos de los segmentos de la línea de barrido a se ordenan de la siguiente manera: a0 , ai , a2, a3.
Luego, cada línea de barrido se recorre nuevamente desde el origen. En cada extremo de segmento encontrado, se determinan los segmentos que se apilan a nivel de dicho extremo durante un subetapa 1420 asociando a dicho extremo el identificador de los segmentos superpuestos así como la posición recalculada en Z de cada uno de los segmentos apilados a nivel de dicho extremo. Esto puede realizarse creando un conjunto al que se añade el identificador del segmento y la posición en Z cuando el extremo encontrado abre el segmento, y eliminando estos datos cuando el extremo encontrado cierra el segmento.
Todavía durante la realización de una línea de barrido, el procedimiento comprende, para cada extremo encontrado, la selección 1421 del punto del segmento más próximo al sensor de entre los segmentos apilados en este extremo, es decir, el punto cuya coordenada en Z sea mínima: es este punto el que es visible para el sensor, incluso si no se corresponde necesariamente con un borde saliente del objeto.
Volviendo al ejemplo descrito con referencia a la figura 4, para la línea a de barrido se conservan los puntos a0 , a1 y a3 de extremos.
El procedimiento comprende entonces una etapa 1422 de selección, entre los bordes visibles, de aquellos que sobresalen. Esta etapa se implementa durante la misma realización de la línea de barrido que las etapas 1420 y 1421.
Para determinar si un punto seleccionado es un borde en saliente del objeto, la coordenada Z del punto seleccionado se compara con la coordenada Z en el mismo punto del último segmento considerado como visible durante el barrido de la línea. Si existe una diferencia entre estas coordenadas superior a un umbral predeterminado, entonces se detecta una ruptura de continuidad de profundidad y el punto corresponde a un borde en saliente. El umbral predeterminado se ajusta para tener en cuenta solo rupturas claras de continuidad y para evitar seleccionar detalles irrelevantes. En el ejemplo descrito anteriormente, todos los puntos a0 , a1 y a3 pertenecen a bordes en saliente porque están ubicados en las rupturas de continuidad de profundidad de las mallas correspondientes. Durante la inicialización, el primer punto de cruce se considera como visible.
Si no, se compara la dirección de la normal del punto seleccionado con la dirección de la normal a la malla a la que pertenece el último segmento visible. La “normal del punto seleccionado” es la normal a la malla a la que pertenece el segmento en el que se encuentra el punto seleccionado.
Esta comparación normalmente se realiza calculando el producto escalar entre las normales y comparando el resultado con un umbral predeterminado.
Si existe una diferencia entre estas direcciones superior a un umbral predeterminado, entonces se detecta una discontinuidad de orientación de las mallas a las que pertenecen los puntos, y el punto corresponde a un borde saliente. Si son idénticas, entonces el punto corresponde a un borde común y no saliente entre dos mallas.
Cada punto considerado como borde en saliente del modelo se añade a un conjunto E en forma de elemento ei =(Xi, projp(Xi), ni) de la red en malla definida por los datos siguientes:
- las coordenadas en tres dimensiones del punto Xi en la red en malla,
- las coordenadas del punto en la proyección en dos dimensiones de la red en malla projp(Xi), y
- la normal ni a la proyección en dos dimensiones del lado de la malla al que pertenece el punto.
En determinadas realizaciones, los elementos del conjunto también pueden comprender información adicional, como por ejemplo un elemento de identificación, un índice de confianza o un coeficiente de ponderación, etc.
Los elementos del conjunto se almacenan en la memoria 22 o en la memoria 32 según la realización de la invención. Al final de la etapa 100, se ha construido un conjunto de bordes en saliente del modelo en la colocación (R,T) del objeto sobre la imagen, únicamente a partir de los extremos de segmentos en la intersección de las mallas y las líneas de barrido. El procedimiento descrito anteriormente permite evitar reconstruir la totalidad de los segmentos definidos de este modo y estudiar, píxel por píxel, qué mallas son visibles en la colocación considerada. Por tanto, el procedimiento es particularmente económico en cuanto a tiempo de cálculo.
Según una variante ventajosa de la invención, según la reivindicación 10, esta etapa 100 se implementa por una estación terrestre (como en la figura 2b), antes de cualquier operación de encuentro.
De hecho, es posible, según la trayectoria de aproximación de un objeto, prever una colocación predecible que tendrá el objetivo sobre la imagen adquirida desde el vehículo de aproximación, utilizándose esta colocación para la implementación de la etapa 100.
Normalmente, esto permite implementar otras operaciones de procesamiento, por ejemplo, la selección, por parte de un operario, de los elementos más relevantes del conjunto, mediante la asignación de coeficientes de ponderación relativos a cada elemento. Por ejemplo, para un elemento irrelevante, este puede asociarse con un coeficiente de ponderación muy bajo o nulo, o incluso eliminarse, y para un elemento muy relevante puede asociarse con un coeficiente de ponderación más alto.
También puede preverse en este caso calcular un conjunto de bordes en saliente de un objeto, en función de varias colocaciones predeterminadas. Entonces, durante una fase de aproximación de un objetivo a un vehículo, el sistema de procesamiento a bordo del vehículo puede elegir el conjunto de bordes en saliente correspondiente a la colocación más cercana de la colocación real del objetivo sobre la imagen del conjunto de colocaciones predeterminadas. De esta manera, no hay necesidad de implementar la etapa 100 en el vehículo (que dispone de medios de procesamiento limitados) para obtener directamente un conjunto bastante relevante de bordes en saliente.
Volviendo a la figura 3, una vez determinados los bordes en saliente de la red en malla del objeto, el procedimiento comprende una etapa 200 de coincidencia de estos bordes con los bordes del objeto sobre la imagen. Esta etapa, por otro lado, la implementa el elemento 21 de cálculo a bordo del vehículo.
Durante esta etapa, se genera, para cada elemento del conjunto de bordes en saliente construido previamente, una ventana de búsqueda de bordes centrada en el píxel de la imagen de entrada correspondiente a la posición en dos dimensiones del elemento (posición de la proyección del punto en la colocación (R,T)).
Esta ventana está construida de tal manera que se extiende en la dirección de la normal del elemento, a ambos lados de esta posición en dos dimensiones. La anchura de la ventana es de un píxel, y la longitud se elige en función de a la amplitud del movimiento previsto en la imagen, por ejemplo, puede estar comprendida entre 5 y 30 píxeles para una imagen de 2048 por 2048 píxeles. La longitud puede fijarse determinando una semilongitud que se extiende según la normal en cada una de las dos direcciones posibles con respecto al píxel considerado. La longitud es igual al doble de la semilongitud más el píxel considerado.
El procedimiento comprende entonces la implementación de un algoritmo de detección de bordes en los píxeles contenidos en la ventana. El algoritmo es preferentemente el algoritmo Deriche, conocido por los expertos en la técnica.
Para cada elemento, se selecciona un píxel de la imagen como correspondiente al elemento sobre la imagen, se observa que xi es el píxel de la imagen correspondiente al elemento ei.
Ventajosamente, una vez obtenida la coincidencia, el procedimiento comprende una etapa 300 de optimización destinada a mejorar la estimación de la colocación utilizada como entrada, y proporcionar la colocación mejorada como entrada para la siguiente repetición del procedimiento.
Esta etapa de optimización se implementa minimizando la distancia entre la proyección de los elementos del conjunto de bordes en saliente obtenido al final de la etapa 100 y las posiciones de los puntos correspondientes de la imagen identificados en la etapa 200. Esta minimización se lleva a cabo mediante el método de mínimos cuadrados implementado por el siguiente cálculo:
min I f([projp(X{) -X i ) .n i ]2)
eeE
En donde f es una función de coste, por ejemplo definida de la siguiente manera: f(x) = log(l x), f(x) = 2 x (VI X - 1) 0 f(x) = x
Ventajosamente, la función f puede elegirse para permitir mitigar la contribución de elementos desviados o aislados con respecto a los demás. En este sentido, también puede tener en cuenta datos adicionales de los elementos del conjunto de bordes en saliente, como suele ser un índice de confianza o un coeficiente de ponderación.
Durante la implementación de esta etapa, los elementos e del conjunto E siguen siendo los mismos, es decir, su posición en tres dimensiones es idéntica. Lo que cambia es la posición de su proyección sobre el plano de la imagen, que depende de la colocación p que se actualiza al final de esta etapa de optimización.
En una realización ventajosa de la etapa 300, es posible aprovechar el hecho de que se conoce la posición, tanto en colocación como en ubicación absoluta del vehículo de aproximación, para deducir de la misma la posición del objetivo con respecto al vehículo. Como resultado, puede deducirse el vector R de rotación de la colocación p=(R,T). En la etapa 300, la única optimización se refiere al vector T de traslación.
Para ello, se considera, observando que O el centro óptico del sensor en el cuadro del objetivo, y Ui los vectores unitarios cuya dirección es la de los puntos xi en el cuadro de la cámara, entonces para cada (xi, ni), existe un único plano que contiene O y que interseca el plano de la imagen en x i en una línea recta ortogonal a ni. Se observa que Ni es la normal a este plano.
Puede calcularse la posición de O, conociendo Xi y Ni, con el siguiente método:
Figure imgf000011_0001
B = y AtXt
Figure imgf000011_0002
Por tanto, la posición del objetivo en el marco del sensor es -C. Para poder aplicar esta fórmula, A debe ser invertible, lo que requiere disponer de al menos tres elementos (Xi, x i, ni). Esta determinación de la posición puede implementarse mediante un método de tipo RANSAC implementado por el elemento 21 de cálculo a bordo 21.
Entonces puede repetirse el procedimiento, con la colocación p actualizada al final de la etapa 300, y para una nueva imagen del flujo de imágenes procedente del sensor. En algunos casos, por ejemplo para los que la estimación inicial de la colocación era muy aproximada y la frecuencia de adquisición de imágenes del sensor es baja, el procedimiento también puede repetirse con la colocación actualizada sobre la misma imagen.
Como alternativa, en lugar de repetir la etapa 100 anterior, el procedimiento puede comprender una etapa 400 durante la que solo se recalculan las posiciones de las proyecciones en dos dimensiones de los elementos con la colocación actualizada, asumiendo que los elementos visibles varían ligeramente y que la pérdida de precisión vinculada a este cálculo parcial es baja.
Entonces, la etapa 400 es seguida por una nueva repetición de la etapa 200 para encontrar los puntos correspondientes sobre la imagen, y de la etapa 300 para refinar la colocación.
En este caso, el procedimiento se implementa ventajosamente por el sistema descrito con referencia a la figura 2b, que comprende una unidad 20 de procesamiento a bordo y una unidad 30 de procesamiento terrestre. En efecto, los cálculos de la etapa 100 son ejecutan entonces preferentemente por el elemento 31 de cálculo de la unidad 30 de procesamiento terrestre y solo las etapas 200, 300 y 400 se realizan por el elemento 21 de cálculo de la unidad de procesamiento a bordo. Los cálculos de la etapa 100 pueden incluso realizarse antes de una misión a partir de una estimación a priori de la colocación del objeto sobre la imagen en función del avance teórico de la misión. Por tanto, es posible cargar los elementos obtenidos al final de la etapa 100 en la memoria 22 de la unidad 20 de procesamiento a bordo.
Mediante la limitación de la intervención del elemento de cálculo a bordo únicamente a las etapas 200, 300 y 400, es posible de este modo poner a disposición del elemento de cálculo el tiempo de cálculo para que pueda realizar otros procesamientos. Esta realización también simplifica el diseño de la memoria y su integración ya que, al estar precalculados los elementos, se conoce el tamaño de la memoria a bordo necesaria para memorizarlos.
Según todavía otra variante, el procedimiento puede comprender en determinadas repeticiones una implementación parcial de la etapa 100. En este caso, durante una implementación de la etapa 100, la etapa 140 de barrido de la proyección del modelo del objeto solo se implementa para algunas, y no todas, las líneas de barrido, es decir, por ejemplo, para una banda de la proyección de una anchura determinada, comprendiendo la siguiente implementación de la etapa 100 la implementación de la etapa 140 para otras líneas de barrido, etc. Esto permite distribuir entre varias repeticiones la parte del procedimiento que requiere más tiempo de cálculo.
Según otra variante de realización, según la reivindicación 13, que puede combinarse con las diversas variantes descritas anteriormente, el modelo en tres dimensiones del objeto comprende varias subpartes, en particular si existen diversas posibles configuraciones del objetivo.
En este caso, cada punto de la red en malla está definido no solo por sus coordenadas en tres dimensiones, sino también por datos que indican la parte de la red en malla a la que pertenecen. Cada elemento del conjunto de bordes en saliente también comprende entonces datos que indican la parte de la red en malla a la que corresponden. Un procesamiento preliminar de imágenes del objetivo puede permitir determinar las partes de la red en malla que están presentes, y en este caso la implementación de las etapas 130 y 140 solo se implementa en las partes de la red en malla que son visibles.

Claims (15)

REIVINDICACIONES
1. Procedimiento de localización de un objetivo en tres dimensiones con respecto a un vehículo, implementado por un sistema que comprende un sensor (10) adaptado para la adquisición de imágenes del objetivo, y un elemento de cálculo, y que comprende:
- la adquisición de una imagen del objetivo, y
- a partir de una red en malla en tres dimensiones del objetivo, y de una estimación de la colocación del objetivo, la determinación (100) de un conjunto de bordes en saliente de la red en malla del objetivo en dicha colocación, y estando el procedimiento caracterizado porque la etapa (100) de determinación de los bordes en saliente de la red en malla del objetivo comprende:
a) la colocación (110) la red en malla del objetivo según la colocación,
b) la proyección (130) en dos dimensiones de la red en malla colocada de este modo,
c) el barrido (140) de la proyección de la red en malla mediante una pluralidad de líneas de barrido y, para cada línea de barrido:
- la definición (141) de un conjunto de segmentos, correspondiendo cada segmento a la intersección de una malla de la red en malla con la línea de barrido y que se define por sus extremos,
- el análisis de las profundidades relativas de los extremos de los segmentos, siendo la profundidad la posición según una tercera dimensión ortogonal a las dos dimensiones de la proyección, para seleccionar (142) un conjunto de puntos de extremos de segmentos correspondientes a los bordes en saliente de la red en malla.
2. Procedimiento según la reivindicación 1, en el que la etapa (142) de análisis de las profundidades relativas de los extremos de los segmentos comprende, para cada extremo de segmento de una línea de barrido:
- la determinación (1420) del conjunto de segmentos superpuestos a nivel de dicho extremo,
- el cálculo de la profundidad de los puntos de cada uno de los segmentos superpuestos a nivel del extremo del segmento considerado,
- la selección del punto (1421) cuya profundidad es mínima,
- la comparación de la profundidad del punto seleccionado con la profundidad del último segmento visible a nivel del punto seleccionado, y
- en caso de una diferencia superior a un umbral determinado, la determinación del punto (1422) seleccionado como correspondiente a un borde en saliente de la red en malla.
3. Procedimiento según la reivindicación 2, en el que cada segmento se define además por la normal a la malla a la que pertenece el segmento, y la etapa de análisis de las profundidades relativas de los extremos de los segmentos comprende además, si la diferencia entre la profundidad del punto seleccionado y la profundidad del último segmento visible a nivel del punto seleccionado es inferior a dicho umbral:
- la comparación de la dirección de la normal a la malla a la que pertenece el segmento en el que se encuentra el punto seleccionado, con la dirección de la normal a la malla a la que pertenece el último segmento visible, y - en caso de una diferencia superior a un umbral determinado, la determinación del punto (1422) seleccionado como correspondiente a un borde en saliente de la red en malla.
4. Procedimiento según la reivindicación 3, en el que la etapa de proyección en dos dimensiones de la red en malla comprende además el cálculo de las normales a los lados de la proyección de cada malla de la red en malla.
5. Procedimiento según una de las reivindicaciones anteriores, que comprende además, una vez que se determinan los bordes en saliente de la red en malla del objetivo, una etapa (200) de coincidencia de los bordes en saliente de la red en malla del objetivo con los bordes del objetivo sobre la imagen.
6. Procedimiento según una de las reivindicaciones anteriores, en el que el conjunto de bordes en saliente de la red en malla del objetivo comprende un conjunto de elementos de la red en malla, estando definido cada elemento por: - las coordenadas espaciales de un punto de la red en malla,
- las coordenadas de la proyección en dos dimensiones de dicho punto de la red en malla, colocada según dicha colocación, y
- la dirección de la normal de la malla en dos dimensiones de la red en malla con respecto a dicho punto.
7. Procedimiento según la reivindicación 6 en combinación con la reivindicación 5, en el que la etapa (200) de coincidencia comprende, la superposición de la proyección en dos dimensiones de la red en malla sobre la imagen, y para cada elemento:
- la definición de una ventana que se extiende a lo largo de la normal del elemento,
- la detección de un borde en la parte de la imagen correspondiente a la ventana, y
- la selección de un píxel de la imagen correspondiente al borde detectado como correspondiente al elemento.
8. Procedimiento según una de las reivindicaciones 5 a 7, que comprende además una etapa (300) de actualización de la estimación de la colocación del objetivo sobre la imagen mediante la minimización de la distancia entre los bordes en saliente de la red en malla del objetivo y los puntos de la imagen correspondientes.
9. Procedimiento según la reivindicación 8 combinada con la reivindicación 6, que comprende además:
- para cada elemento de la red en malla perteneciente al conjunto de bordes en saliente de la red en malla, la actualización de las coordenadas de la proyección (400) en dos dimensiones del punto de la red en malla, luego - la repetición de la etapa (200) de coincidencia entre los bordes en saliente de la red en malla y los bordes del objetivo sobre la imagen.
10. Procedimiento según una de las reivindicaciones anteriores, en el que la etapa (100) de determinación de los bordes en saliente de la red en malla se implementa de manera preliminar mediante un primer elemento (31) de cálculo de una estación terrestre.
11. Procedimiento según la reivindicación 10, que comprende además la asignación de coeficientes de ponderación a los elementos del conjunto de bordes en saliente.
12. Procedimiento según una de las reivindicaciones 10 u 11, que comprende la determinación de conjuntos de bordes en saliente de la red en malla colocada según una pluralidad de posiciones predeterminadas por el primer elemento (31) de cálculo, comprendiendo además el procedimiento la selección de un conjunto de bordes en saliente de la red en malla según una de las colocaciones predeterminadas más correspondiente a la colocación del objetivo sobre la imagen, y la implementación de la etapa (200) de coincidencia en dicho conjunto seleccionado.
13. Procedimiento según una de las reivindicaciones anteriores, en el que la red en malla del objetivo comprende varias partes diferenciadas, comprendiendo cada punto de la red en malla una identificación de la parte de la red en malla a la que pertenece, y las etapas de proyección en dos dimensiones de la red en malla y de barrido de la proyección de la red en malla solo se implementan para las partes de la red en malla correspondientes a partes del objetivo presentes sobre la imagen.
14. Producto de programa informático, que comprende instrucciones para la implementación de un procedimiento de determinación de bordes en saliente de una red en malla de un objeto en tres dimensiones colocado según una colocación determinada, que comprende:
a) la colocación (110) de la malla red en del objeto según la colocación,
b) la proyección (130) en dos dimensiones la red en malla colocada de este modo,
c) el barrido (140) de la proyección de la red en malla mediante una pluralidad de filas de barrido y, para cada línea de barrido:
- la definición (141) de un conjunto de segmentos, correspondiendo cada segmento a la intersección de una malla de la red de malla con la línea de barrido y que se define por sus extremos,
- el análisis de las profundidades relativas de los extremos de los segmentos, siendo la profundidad la posición según una tercera dimensión ortogonal a las dos dimensiones de la proyección, para seleccionar (142) un conjunto de puntos de extremos de segmentos correspondientes a los bordes en saliente de la red en malla,
cuando se implementa mediante un elemento de cálculo.
15. Sistema de localización de un objetivo en tres dimensiones con respecto a un vehículo, que comprende un sensor (10) adecuado para adquirir imágenes del objetivo, y una unidad (20) de control que comprende un elemento (21) de cálculo y una memoria, estando el sistema caracterizado porque está configurado para implementar el procedimiento según una de las reivindicaciones 1 a 14.
ES18842777T 2017-12-20 2018-12-19 Procedimiento de determinación de bordes en saliente de un objetivo sobre una imagen Active ES2927906T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1762587A FR3075433B1 (fr) 2017-12-20 2017-12-20 Procede de determination des bords saillants d'une cible sur une image
PCT/FR2018/053393 WO2019122703A1 (fr) 2017-12-20 2018-12-19 Procede de determination des bords saillants d'une cible sur une image

Publications (1)

Publication Number Publication Date
ES2927906T3 true ES2927906T3 (es) 2022-11-11

Family

ID=62017398

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18842777T Active ES2927906T3 (es) 2017-12-20 2018-12-19 Procedimiento de determinación de bordes en saliente de un objetivo sobre una imagen

Country Status (5)

Country Link
US (1) US11069087B2 (es)
EP (1) EP3679517B1 (es)
ES (1) ES2927906T3 (es)
FR (1) FR3075433B1 (es)
WO (1) WO2019122703A1 (es)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11567207B2 (en) * 2019-08-16 2023-01-31 Oregon State University Apparatus and method for efficient point cloud feature extraction and segmentation framework
CN113177281B (zh) * 2021-05-21 2022-05-20 清华大学 一种用于航空发动机近净成形叶片夹具的设计方法和系统
CN113469030B (zh) * 2021-06-30 2023-09-01 上海天齐智能建筑股份有限公司 一种基于人工智能与身体阴影评估的人员定位方法及系统
CN115063739B (zh) * 2022-06-10 2023-06-16 嘉洋智慧安全科技(北京)股份有限公司 异常行为的检测方法、装置、设备及计算机存储介质

Also Published As

Publication number Publication date
US20210012528A1 (en) 2021-01-14
WO2019122703A1 (fr) 2019-06-27
US11069087B2 (en) 2021-07-20
EP3679517A1 (fr) 2020-07-15
EP3679517B1 (fr) 2022-08-17
FR3075433A1 (fr) 2019-06-21
FR3075433B1 (fr) 2019-11-15

Similar Documents

Publication Publication Date Title
ES2927906T3 (es) Procedimiento de determinación de bordes en saliente de un objetivo sobre una imagen
US11237572B2 (en) Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof
CN109506642B (zh) 一种机器人多相机视觉惯性实时定位方法及装置
Olson et al. Rover navigation using stereo ego-motion
US11645757B2 (en) Method of and apparatus for analyzing images
US11175146B2 (en) Autonomously moving machine and method for operating an autonomously moving machine
EP2434256B1 (en) Camera and inertial measurement unit integration with navigation data feedback for feature tracking
Olson et al. Stereo ego-motion improvements for robust rover navigation
KR102347239B1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
US10288425B2 (en) Generation of map data
US9367962B2 (en) Augmented image display using a camera and a position and orientation sensor
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
CN111024072B (zh) 一种基于深度学习的卫星地图辅助导航定位方法
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN111338383A (zh) 基于gaas的自主飞行方法及系统、存储介质
JP2019504418A (ja) 移動物体の位置を判定するための方法およびシステム
Troiani et al. Low computational-complexity algorithms for vision-aided inertial navigation of micro aerial vehicles
CN113048980A (zh) 位姿优化方法、装置、电子设备及存储介质
RU2611564C1 (ru) Способ навигации летательных аппаратов
CN114077249B (zh) 一种作业方法、作业设备、装置、存储介质
CN110989619A (zh) 用于定位对象的方法、装置、设备和存储介质
Waldmann et al. Observability analysis of inertial navigation errors from optical flow subspace constraint
Klavins et al. Unmanned aerial vehicle movement trajectory detection in open environment
CN111712855A (zh) 地面信息处理方法、装置和无人驾驶车辆
Kupervasser et al. Robust positioning of drones for land use monitoring in strong terrain relief using vision-based navigation