ES2603430B2 - Sistema de detección y procedimiento de contacto de punta del botalón volador y boca del receptáculo para operaciones de repostaje aéreo con botalón - Google Patents

Abstract

Sistema y procedimiento de detección de punta del botalón volador y boca de receptáculo para repostaje aéreo con botalón.#Sistema de detección de la punta de la pértiga del botalón volador de un tanquero y de la boca del receptáculo del receptor para contacto semiautomático o automático para repostaje en vuelo con botalón, que asegura proporcionar al sistema de control del botalón del tanquero, información robusta, fiable y simultánea en tiempo real, del extremo de su pértiga y de la boca del receptáculo del receptor, en cada instante. Para ello el sistema cuenta con: 1) unos emisores de luz montados en la punta de su pértiga, 2) unos emisores de luz montados en el contorno del receptáculo del avión receptor, 3) un subsistema de procesamiento y 4) dos cámaras 3D, una cámara TOF, sincronizada con un emisor de luz y una cámara adicional junto con un emisor de luz estructurada generada con un lente de tipo DOE.

Description

5

10

15

20

25

30

DESCRIPCION

SISTEMA DE DETECCION Y PROCEDIMIENTO DE CONTACTO DE PUNTA DEL BOTALON VOLADOR Y BOCA DEL RECEPTACULO PARA OPERACIONES DE REPOSTAJE AEREO CON BOTALON

OBJETO DE LA INVENCION

Las operaciones de repostaje aereo se pueden clasificar esencialmente en dos tipos principales que son: 1.- Con manguera y cesta y 2.- Con botalon volador, denominado "flying Boom” en la literatura anglosajona.

Se define botalon ("Boom”) como aquella parte del dispositivo de repostaje, consistente en una rotula de sujecion al avion, de la que pende una carcasa hueca, alargada y rfgida y de la que puede extraerse o retraerse una pertiga o parte interna, tambien rfgida, en cuyo extremo se halla la boquilla. Esta boquilla es la que finalmente dispensa el combustible, tras conectarse al receptaculo de admision, que se halla en el avion receptor, tras abrirse la compuerta que cierra el paso de combustible.

Las operaciones de repostaje con botalon volador o simplemente botalon, requieren que el extremo de la pertiga, que se encuentra en su interior y que dispensa el combustible (denominada boquilla dispensadora, "Nozzle” en anglosajon), sea embocado en un receptaculo colocado en la superficie superior del avion receptor, en el que se halla la boca de recepcion de combustible. Una vez realizado el contacto, que consiste en introducir dicha boquilla del extremo de la pertiga del botalon, del avion tanquero, en la boca del receptaculo del avion receptor, se procede (tras un enganche por unas garras colocadas en dicha boquilla, al receptaculo del receptor), al suministro del combustible.

La gran ventaja del repostaje con botalon, frente al del tipo 1 mencionado en el parrafo primero, es por un lado, el mayor caudal alcanzable en el suministro (lo

5

10

15

20

25

30

que podrfa redundar en un menor tiempo de repostaje) y por otro, la carga de trabajo para el piloto del avion receptor, que es inferior al caso de cesta y manguera, donde la responsabilidad de la operacion recae directamente sobre el. En este ultimo metodo de manguera y cesta, el piloto del receptor es responsable de realizar el contacto de forma casi exclusiva.

La operacion con botalon es menos estresante para el piloto del avion receptor, que se limita a estar colocado en una posicion adecuada relativa al avion tanquero. Para realizar la operacion referida con botalon es necesario conocer, en cada momento, las posiciones tanto del extremo de la pertiga (es decir de la boquilla) como de la boca del receptaculo. En la actualidad, dicha informacion es adquirida visualmente por el operario encargado de realizar manualmente la operacion de contacto con el botalon (denominado "Boomer” en terminologfa anglosajona.

Si deseamos automatizar la operacion, esa informacion debe suministrarse al sistema del tanquero que controla al botalon para que modifique las "leyes de control” oportunas, que controlan su movimiento. Tambien puede ser suministrada para el control del tanquero e incluso para el del receptor. Asf los tres pueden contribuir a una operacion automatica comoda y segura.

Como ya se ha dicho, actualmente, la operacion se realiza de forma manual.

El objeto de la presente solicitud es precisamente, un sistema para realizar de forma automatica o semiautomatica, un contacto entre la boquilla o dispositivo de suministro de combustible del botalon de un primer avion tanquero y el receptaculo localizado en la superficie de un segundo avion o avion receptor, que recibira el combustible del primero.

Tambien es objetivo de los elementos involucrados en el sistema, proporcionar al primer avion, es decir al tanquero, la ubicacion del avion receptor y mas concretamente de su receptaculo, respecto a un centro de coordenadas solidario con dicho tanquero, con el fin de que una vez el segundo avion o avion receptor, se haya acercado y colocado en una posicion adecuada para el

5

10

15

20

25

30

contacto, pueda ser embocado por parte de la boquilla de la pertiga del avion tanquero y asf comience el suministro de combustible hasta la cantidad y durante el tiempo estipulados.

Asf mismo, otra faceta de esta invencion es proporcionar al sistema que gobierna al botalon del avion tanquero, la posicion de la boquilla que se encuentra en el extremo de la pertiga del mismo, respecto al mismo centro de referencia del apartado anterior y lo que es mas importante, la posicion relativa entre la salida de la boquilla de la pertiga del tanquero y la entrada al receptaculo del avion receptor.

Tal y como se ha indicado, con esos datos, el avion receptor se puede colocar en la posicion apropiada de contacto y una vez se haya situado de forma estable en la misma, a la espera de recibir el combustible, el tanquero podra conocer la posicion a la que debera mover el extremo de su botalon con el fin de embocar la boquilla en el receptaculo del receptor como suceso previo al comienzo del suministro del combustible.

En definitiva, en base a esa information, la operacion, como se ha dicho, podra convertirse en semiautomatica o automatica segun se disenen las leyes de control que gobiernan el movimiento del botalon del avion tanquero e incluso las de los mismos aviones tanquero y receptor, en funcion de dicha informacion. La obtencion y suministro de esa informacion es el objetivo de esta patente.

ANTECEDENTES DE LA INVENCION

Como se ha indicado en el parrafo inicial, el repostaje en vuelo se realiza actualmente de dos formas diferentes. Con manguera y cesta o con botalon o "Boom” volador. En el caso de que se realice con botalon, el extremo o boquilla (boquilla de salida del combustible) de su pertiga debe embocar en un receptaculo que se encuentra en la superficie de la nave que va a recibir el

5

10

15

20

25

30

combustible. Toda esta operacion se realiza actualmente de manera manual y depende de la pericia del operador del tanquero o "Boomer”.

Con el fin de tener una informacion precisa de ambos puntos (extremo de la pertiga y boca del receptaculo) se suele recurrir a dispositivos de senalizacion, y mediante el uso de sensores capaces de "ver” esas senalizaciones, se pueden determinar las posiciones de ambos.

En el estado de la tecnica se conocen las siguientes patentes relacionadas con el objeto de esta invencion.

US6752357 describe un sistema de medicion de distancia para un avion de reabastecimiento de combustible que comprende al menos un brazo extensible de reaprovisionamiento, al menos una camara y un ordenador. El brazo de repostaje esta provisto de una boquilla. La boquilla de la pertiga tiene una geometrfa adecuada para conectar con un receptaculo de repostaje de aviones. Cada camara forma una pluralidad de imagenes, tanto de la boquilla de la pertiga como del receptaculo de reabastecimiento. El ordenador recibe cada una de las imagenes, convierte las imagenes a una pluralidad de pfxeles y analiza las imagenes para determinar una distancia entre la boquilla de la pluma y el receptaculo de reabastecimiento de combustible. El extremo de la pertiga de reabastecimiento de combustible constituye un punto de referencia fijo entre el extremo de union y el avion de reabastecimiento. El punto de fijacion de la camara para el avion tambien forma un punto de referencia de la camara.

La patente US5530650 describe un sistema de guiado visual y un metodo, que incluye un subsistema que localiza tanto las estructuras de las aeronaves y de acoplamiento de la misma y tambien determina su movimiento y su tasa de cambio de movimiento. El subsistema de localizacion tiene una salida electrica que alimenta a un ordenador con los datos de localizacion y de movimiento que utiliza el software que combina los datos con otros datos en una base de datos que contiene el tamano y la configuracion dimensional de las estructuras de las aeronaves y de acoplamiento. Los datos combinados se convierten en una forma adecuada y se alimenta al monitor de la computadora que muestra las

5

10

15

20

25

30

estructuras de las aeronaves y de acoplamiento de los mismos en tiempo real durante la operacion de reabastecimiento de combustible. El monitor del cuenta con controles de imagen que permiten al operador seleccionar la perspectiva angulo de vision, asf como el contraste de la imagen y el color con el fin de mejorar las senales visuales proporcionados por la imagen y facilitar la operacion de repostaje.

US2007023575: En esta patente se describe un sistema de vision para su uso en un vehfculo cisterna de reabastecimiento en el aire que no requiere multiples camaras para proporcionar una imagen de vision estereo para que un operador de Botalon pueda realizar una operacion de reabastecimiento de combustible en un vehfculo receptor.

US20110147528: En esta patente se describe un sistema de vision en tres dimensiones de un escenario dado, permitiendo la visualization de diferentes partes del escenario con mayor grado de detalle. Tambien busca proporcionar metodos y sistemas de vision de aviones cisterna, para el seguimiento de las operaciones de repostaje de aviones receptores que permiten la visualizacion de partes seleccionadas de la zona de recarga de combustible con mayor grado de detalle. El sistema comprende al menos dos camaras de alta resolution para proporcionar senales de video de dicho escenario para la monitorizacion estereo, al menos un sistema de monitorizacion de tres dimensiones para mostrar imagenes tridimensionales de dicho escenario, y tambien comprende medios para la visualizacion de imagenes ampliadas tridimensionales de una zona seleccionada del escenario.

US7469863 es una patente donde se describe un sistema de reabastecimiento automatico y los metodos asociados, que cuenta con un dispositivo de entrada para un operador, configurado para recibir entradas, y una primera senal de entrada correspondiente a una posicion para un dispositivo de

reabastecimiento aereo. Tambien cuenta con un sensor posicionado para detectar una localizacion de por lo menos uno de los dispositivos de reabastecimiento.

5

10

15

20

25

30

US 5904729 describe un sistema de iluminacion de direccion automatica para operaciones de reabastecimiento aereo

US 2003/0205643 describe un sistema de aligeramiento de la carga del brazo de reabastecimiento de aviones que usa la luz recibida para detectar el desplazamiento del brazo y genera una senal de control para corregir el desplazamiento.

US 6966525 divulga Sistema de reabastecimiento en vuelo, sistema de alineacion, y metodo para la alineacion automatica y el acoplamiento de una pertiga de reabastecimiento en vuelo

Tambien es importante que el sistema que permite obtener las ubicaciones tanto del extremo de la pertiga y de boca de receptaculo sea un sistema robusto y permita con seguridad y en todo momento proporcionar dicha informacion, independientemente del instante, de la posicion o de la iluminacion u otras condiciones medioambientales. Esto si se consigue con el sistema objeto de esta invencion que mediante el empleo de una sensorizacion multiple (o disposicion de sensores y emisores para la obtencion de informacion), basada en distintas tecnologfas, permite, con una fusion de las mismas, obtener unos resultados fiables y robustos en todo momento.

Es por lo tanto objeto de la presente invencion desarrollar un sistema de contacto automatico del botalon con el avion receptor, para repostaje en vuelo que a continuacion se describe.

Las diferencias fundamentales de esta invencion respecto a otros inventos son: La existencia de un dispositivo activo sobre la pertiga y otro sobre el receptaculo para determinar sus posiciones exactas, precisas y fiables mediante varias tecnicas empleadas en paralelo.

5

10

15

20

25

30

Que dichos dispositivos generan una senal optica y por tanto no detectable salvo con camaras de vision que operen en la misma longitud de onda y a una muy corta distancia de estos.

La existencia de diferentes fuentes para obtener la misma informacion de la posicion del receptaculo del receptor e incluso mas fuentes para obtener la informacion de como esta colocada la boquilla de la pertiga (alta redundancia). El empleo de redes neuronales en parte del procesamiento de informacion, ademas de algoritmos convencionales, para la obtencion de resultados.

DESCRIPCION DE LA INVENCION

Tal y como se ha dicho anteriormente, el sistema busca obtener el contacto del extremo de la pertiga, o boquilla, con la boca de receptaculo, de manera automatica o semiautomatica, es decir, proporcionar al avion tanquero, la posicion del avion receptor respecto a el olo que es mas importante, la posicion relativa entre la salida de la boquilla de la pertiga del tanquero y la boca de entrada del tubo del receptaculo del avion receptor. Una vez determinadas las posiciones de la boquilla de la pertiga, de la boca del receptaculo y de los apuntamientos de estas, de forma dinamica, a lo largo del tiempo, y respecto a unos ejes comunes, podra suministrarse esta informacion a las Leyes de Control tanto del receptor como del tanquero y de su botalon haciendo realidad el contacto automatico.

El sistema comprende cuatro elementos o partes fundamentales:

• I.- Un elemento BD (que denominaremos Dispositivo de Botalon)

compuesto por una carcasa de soporte que se agarra al extremo de la pertiga. Sobre la superficie de la misma se disponen un conjunto o subsistema de emisores de luz. Estos emisores consisten en LEDs en una implementacion preferida, junto con una electronica de encendido y apagado de los mismos.

5

10

15

20

25

30

• II.- Un elemento RD (que denominaremos Dispositivo de Receptaculo) compuesto por unos emisores de luz y una electronica de control de encendido del mismo. Los emisores de luz, que en una implementacion preferida, pueden ser LEDs, se disponen el contorno del receptaculo del avion receptor. Desde ahf, senalizan la situacion de dicho receptor y a partir de esto se puede obtener la posicion de la boca del receptaculo de forma muy precisa y robusta. El encendido y apagado de los emisores de luz de RD es comandado por una unidad de procesamiento P (que se explica mas adelante). Parte de esta unidad P, puede estar ubicada junto a dichos emisores u otros lugares.

• III.- Un elemento C formado por una caja agarrada a la superficie exterior del avion, preferentemente en el cono de cola y que alberga a los tres subsistemas siguientes:

1. - Un primer subsistema de vision 3D formado, sin perdida de generalidad, por una camara izquierda y otra derecha que generan una vision 3D del escenario de trabajo (que denominamos subsistema 3D: S3D). Este subsistema S3D junto con su electronica, controla el encendido alternativo de los emisores de BD y permite en virtud de un procesado de ambas imagenes, obtener la posicion espacial de dichos elementos luminosos de BD. De una similar obtiene los elementos luminosos de RD. Tambien, mediante un procesado de imagen basado en una segmentacion, registro y calculo de distancias, obtiene la posicion del extremo del botalon y del receptaculo del avion receptor por un procedimiento diferente.

2. - Un segundo subsistema que denominaremos STOF compuesto por una camara de tipo TOF (Time Of Flight), tambien denominada de tiempo de vuelo y que tiene como particularidad que mide el tiempo que tarda un impulso de luz generado y reflejado en los diversos objetos de nuestro escenario de trabajo, desde que dicho impulso sale de nuestro generador del mismo, hasta que llega a cada pixel del sensor de imagen empleado. El subsistema STOF consta ademas de una electronica, un laser con su difusor, una lente y un

5

10

15

20

25

30

filtro F1 paso-banda estrecho para eliminar la luz diferente a la empleada para excitar nuestro escenario. Aqu la electronica tiene una funcionalidad principal que es la de calcular el tiempo de ida y vuelta de los fotones que salen del emisor laser L1, que tambien forma parte de este subsistema, y que rebotan en los objetos de los alrededores del avion para volver a cada pixel de la camara. Esta electronica sera igualmente responsable de disparar los pulsos de luz del laser. Como es obvio la longitud de onda A1 de la luz laser L1 es la misma que la central de la banda del filtro F1 de la camara TOF.

3.- Un tercer subsistema, que denominaremos SDOE, compuesto por una camara que posee, antes de llegar a su sensor, un filtro paso banda muy estrecho que deja pasar solo aquellas longitudes de onda (A2) muy proximas a aquellas generadas por un laser L2 que tambien pertenece al subsistema. A dicha camara la denominaremos en este documento, camara de tipo DOE por la finalidad que persigue. Su mision es detectar los puntos de luz de un patron conocido, creados al reflejarse en nuestro escenario, la luz procedente del laser L2, al hacerlo pasar a traves de una lente de difraccion DOE (Diffractive Optical Element), grabada con dicho patron. La camara de este subsistema SDOE esta compuesta por su electronica, sensor de imagen, lentes y filtro paso-banda estrecho F2. Este ultimo sintonizado, como se ha indicado, a una longitud de onda A2 que es la central de la de emision del laser L2. La electronica de la camara es capaz de detectar el mencionado patron de luz sobre los objetos de nuestro entorno y a partir del mismo, mediante triangulacion y trigonometna, determinar las distancias relativas al mismo de los puntos que lo forman.

• IV.- Un elemento de procesamiento que denominaremos P. Este elemento tiene dos partes: Una que consta de una combination de procesadores, tanto de tipo convencional, que ejecutan instrucciones de forma secuencial (como son aquellos los procesadores multi-nucleo o los fpga-s (Field Programmable Gate Array) y gpu-s (graphics processor

5

10

15

20

25

30

units)) y otra con otros procesadores basados en redes neuronales con capacidad de entrenamiento y procesamiento en paralelo. Ademas el elemento P consta de un subsistema de comunicaciones con el resto de los subsistemas que componen la invencion. Las funciones del elemento P consisten en obtener por un lado la posicion del receptor y por otro la ubicacion del botalon a partir de la informacion proporcionada por los subsistemas S3D, STOF y SDOE. Entre otros resultados, P obtiene una nube de puntos del receptaculo, y partes anexas a este, del avion receptor. Conocida esa nube de puntos y comparandola con informacion, almacenada en una base de datos, de los modelos 3D de los posibles aviones a contactar, se puede colocar en un espacio virtual un modelo 3D del receptor y partir de el obtener la posicion exacta del receptaculo de este. Tambien se hace pasar la nube de puntos por una red neuronal previamente entrenada para finalmente obtener de nuevo la posicion del receptaculo (de forma redundante). Lo mismo hara con los datos de las nubes de puntos y el modelo 3D del botalon. Otra funcion que realiza P es determinar las posiciones de los emisores de los elementos BD de la boquilla de la pertiga para obtener la posicion del extremo de esta y del RD del receptaculo. P calcula todos los puntos y vectores significativos ya indicados. Tambien realiza el ajuste de dimensiones y eliminacion de aberraciones procedentes de las lentes o del propio sensor. Una calibracion previa sera indispensable para el funcionamiento correcto de todo el sistema. Los componentes de P pueden estar concentrados en una ubicacion unica o dispersos en partes junto con los demas subsistemas de esta invencion.

En una primera instancia solo las camaras 3D realizan las funcionalidades necesarias. El sistema se reducirfa a dos camaras y el dispositivo BD de emisores de luz colocado en la punta de la pertiga. Todos con sus accesorios correspondientes, y a los que habrfa que anadir finalmente, el elemento de procesamiento P.

5

10

15

20

25

30

En una segunda implementacion mas completa, El sistema RD forma parte del sistema.

Otras implementaciones incluyen distintas combinaciones del resto de subsistemas que se incluyen en C.

Todo el sistema, en cualquiera de sus implementaciones, sera alimentado por una fuente de alimentacion del avion y dara como salida un conjunto de coordenadas (Xi, Yi, Zi) de los puntos clave asf como de los versores ortogonales (Vix, Viy, Viz) que vaya localizando en cada "frame” o cuadro de imagenes. Ademas todas las electronicas, que pueden considerarse como parte de P, llevan un subsistema de comunicaciones para el intercambio de informacion con el resto de subsistemas.

Los subsistemas S3D, STOF y SDOE generan, todos, unas nubes de puntos a partir de las distancias calculadas y disponen de una electronica con unos algoritmos embutidos capaces de pre-procesar la informacion recibida de sus camaras y enviarla al resto del elemento de procesamiento P que obtiene a partir de esos puntos, la ubicacion del receptaculo del avion receptor y la ubicacion de la punta del botalon a partir de sus modelos 3D una vez encajados en esas nubes de puntos obtenidas.

Salvo que se indique lo contrario, todos los elementos tecnicos y cientfficos usados en la presente memoria poseen el significado que habitualmente entiende el experto normal en la tecnica a la que pertenece esta invencion. En la practica de la presente invencion se pueden usar procedimientos y materiales similares o equivalentes a los descritos en la memoria.

El empleo de distintas combinaciones del sistema basico, con el S3D, y los subsistemas STOF y SDOE constituyen, en esencia, las distintas reivindicaciones presentes en esta patente.

5

10

15

20

25

30

A lo largo de la descripcion y de las reivindicaciones la palabra “comprende” y sus variantes no pretenden excluir otras caractensticas tecnicas, aditivos, componentes o pasos. Para los expertos en la materia, otros objetos, ventajas y caractensticas de la invencion se desprenderan en parte de la descripcion y en parte de la practica de la invencion.

EXPLICACION DE LAS FIGURAS

Para complementar la descripcion que se esta realizando y con objeto de ayudar a una mejor comprension de las caractensticas de la invencion, de acuerdo con un ejemplo preferente de realizacion practica de la misma, se acompana como parte integrante de dicha descripcion, un juego de dibujos en donde con caracter ilustrativo y no limitativo, se ha representado lo siguiente:

En la figura 1-A, BD es una representacion simplificada del dispositivo - (13) que se coloca al final de la parte extensible de la pertiga (3) del botalon (6), en la zona mas proxima posible, a la boquilla (4) de salida del combustible. P representa el elemento de procesamiento (21) que va generalmente dentro de avion. Tambien se muestra la carcasa (14) dentro de la cual se encuentran, en caso de estar en la implementacion elegida, los subsistemas S3D (9), STOF (12) Y SDOE (10), cada uno con sus correspondientes componentes auxiliares optativos. En la figura 1-A, esta carcasa solo alberga al subsistema S3D mientras que en la figura 2-A siguiente se han representado esquematicamente los tres subsistemas.

En la figura 1-B, puede observarse el dispositivo RD sobre cuyo contorno (23) se dispone un conjunto de emisores de luz (25) y un sensor (26) de luz en su parte superior. Este elemento se colocara sobre el receptaculo (28) del avion receptor (27).

En la figura 2-A, podemos observar una representacion simplificada de todos los elementos que forman parte de la invencion, en su implementacion mas completa y como pueden colocarse en (2) bajo el cono de cola (11) del avion

5

10

15

20

25

30

tanquero donde el angulo de vision (7) es el mfnimo necesario para la realizacion de las operaciones . En este, el botalon (6) pende del avion tanquero (1) en su cono de cola (11) sujeto mediante una rotula (8) y dispone de unas aletas (5) que controlan su movimiento. Del interior del botalon volador sale la pertiga (3) en cuyo extremo se ha dispuesto el elemento BD (13), justo antes de donde se encuentra la boquilla (4) de dispensacion del combustible. Esa boquilla debe embocar en la boca (24 de fig.1-B) del receptaculo (28) del avion receptor (27).

En la figura 2-B se muestra un avion receptor (27) con el receptaculo (28). DESCRIPCION DETALLADA DE LA INVENCION

El sistema objeto de esta invencion esta formado por los cuatro elementos siguientes. Algunos de sus componentes por eficiencia o comodidad, pueden estar ubicados en otro lugar del avion y aquf se indicara la implementacion y ubicacion preferida sin perdida de generalidad.

I.- Un primer elemento (BD en figura 1-A) que denominamos BD que esta instalado en la zona de la punta de la pertiga (3) del botalon (6) como un anillo que la agarra y consiste en una carcasa que protege a una electronica y que soporta a un conjunto de emisores de luz (16), que pueden consistir sin perdida de generalidad en unos LEDs o diodos laser con sus respectivos difusores . Dichos emisores, estan dispuestos en su superficie y emiten luz de forma homogenea, en determinados momentos, que sera detectada por un conjunto de camaras del subsistema S3D (9), cuya mision sera determinar la posicion de dichos emisores de luz respecto a las mismas. La electronica (22) consiste en una adaptacion de la alimentacion del avion, un conjunto de drivers o adaptadores para el encendido de los emisores de luz y un subsistema de comunicaciones que recibira ordenes de la electronica que gobierna las camaras anteriores con el fin de obtener una cierta sincronizacion entre ambos subsistemas (camaras y emisores LED).

5

10

15

20

25

30

II. - Un segundo elemento (figura 1-B) que denominamos RD que esta instalado en el contorno (23) del receptaculo del avion receptor (27)(figura 2-B) y consiste en un soporte en forma de herradura sobre el que se situan unos emisores de luz (25) y un sensor de luz (26) asf como una pequena electronics que soporta a los anteriores. Los emisores de luz, pueden consistir sin perdida de generalidad en unos LEDs o diodos laser con sus respectivos difusores. Dichos emisores, estan dispuestos en su superficie y emiten luz de forma homogenea, en determinados momentos, que sera detectada por un conjunto de camaras del subsistema S3D (9), cuya mision sera determinar la posicion de dichos emisores de luz respecto a las mismas. La electronica consiste en una adaptacion de la alimentacion del avion, un conjunto de drivers o adaptadores para el encendido de los emisores de luz y un subsistema de comunicaciones que recibira informacion desde el propio tanquero a traves del sensor de luz (26) o bien desde el interior del avion receptor (27) (figura 2-B) y a su vez tambien podra enviar informacion recibida en dicho sensor al interior del avion receptor. Este dispositivo tiene, por tanto, dos funcionalidades principales: Una la de ser localizado por las camaras del subsistema S3D (9) (que se detallara a continuacion) del tanquero y otra la de poder mantener una comunicacion entre tanquero y receptor gracias a sus emisores (25) y su sensor de luz (26).

III. - Un tercer elemento (ampliado en la figura 2-A), al que llamamos C, formado por una segunda caja o carcass (14) que alberga al resto de subsistemas de esta invencion, incluyendo parte del elemento de procesamiento final P (figura 2-A) y de interfaz con el sistema del avion donde se encuentran las Leyes de Control. Este elemento C se coloca, en una realizacion preferida, bajo el cono de cola (11) del avion tanquero (1), sin perjuicio de que los mismos subsistemas que lo integran puedan estar dispersos, colocados en diferentes zonas del tanquero en distintas implementaciones de la misma patente.

Dentro del elemento C tenemos hasta tres subsistemas distintos, dependiendo de la implementacion concreta de esta patente:

5

10

15

20

25

30

1.- En primer lugar un primer subsistema que denominamos S3D (9) que contiene a las camaras 3D (17) y es responsable de la localizacion de los LEDs del elemento BD descrito en el punto I (figura 1-A) y de determinar la posicion de dichos emisores frente a estas. Asf mismo, este subsistema se encarga de determinar la boca de entrada del receptaculo de receptor a partir de los emisores de luz (25) sobre el mismo correspondientes al elemento RD. Tambien es responsable de determinar la posicion del receptaculo a partir de las imagenes que se obtienen del avion receptor sobre cuya superficie se encuentra el mismo. Estas camaras disponen de sus respectivos sensores de imagen, electronica de procesamiento, lentes de enfoque (18) y un filtro paso- banda B3 estrecho centrado en un lugar A3 del espectro y controlable en el sentido de quita y pon. Alguna de las camaras pueden contar con unas lentes de control electronico variable (19). Esa longitud de onda es compatible con las otras camaras involucradas en la operacion de repostaje y esta centrada en la misma longitud de onda de emision de los LEDs del elemento BD. Esto ayudara en la eliminacion de fotones procedentes de otras fuentes como el propio sol. La electronica adicional tambien tiene como mision controlar el encendido de los LEDs de BD a lo largo del tiempo, generando ciertos patrones que ayudan tambien a distinguirlos de la luz emitida por otras fuentes. El procesado consiste, en esencia, en la realizacion de una correlacion cruzada entre el patron de luz, generado y la luz recibida en cada cuadro de imagen. Finalmente, esta electronica, tras detectar cada emisor LED del elemento BD, que sea visible desde las camaras, calcula la distancia y el resto de coordenadas de cada LED respecto un conjunto de ejes de referencia, que por simplicidad se colocan en el centro del sensor de una de las camaras y que denominamos CR.

Algo similar se realizara para los emisores de RD, con la diferencia de que en este dispositivo, los encendidos y apagados de sus LEDs no estan sincronizados ni controlados por P.

El subsistema S3D sera alimentado por una fuente de alimentacion del avion y dara como salida un conjunto de coordenadas (X, Y, Z) de los puntos activos

5

10

15

20

25

30

que vaya localizando en cada "frame” o cuadro de imagenes. La electronica de procesamiento abarcara funcionalidades como la deteccion de coordenadas (x, y) de cada punto activo localizado por cada camara de forma independiente asf como el calculo de las coordenadas globales respecto a los ejes de referencia con centro CR a partir de las (x, y) de ambas camaras. Tambien realizara ajuste de dimensiones y eliminacion de aberraciones procedentes de las lentes o del propio sensor. Una calibracion previa sera indispensable para el funcionamiento correcto de las mismas.

El calculo de la distancia lo realiza cada intervalo temporal de cuadro, empleando las imagenes obtenidas por ambas camaras a la frecuencia de obtencion de imagenes de estas. Ademas identificando un conjunto de puntos en ambas, podemos obtener por triangulacion la distancia de cada punto a ellas y asf obtener una nube de puntos de nuestro avion receptor y de nuestro botalon siempre que no haya interferencia geometrica y sean vistos por dos camaras.

Las camaras 3D estan dotadas, cada una, de algunos (o todos) los elementos auxiliares siguientes:

■ Lentes (18) controlables de zoom, enfoque (19) y filtrado.

■ Electronica de eliminacion de aberraciones, de pfxeles muertos, de mejora de la imagen y de calculo de coordenadas (x, y) de los LEDs del elemento BD y del receptaculo.

Ademas, en una implementacion mas completa de esta misma patente, C puede albergar alguno de los siguientes subsistemas:

2.- Un segundo subsistema que contiene una camara de tipo TOF tambien denominada de tiempo de vuelo y que tiene como particularidad que mide el tiempo, de un pulso de luz generado y reflejado en los diversos objetos de nuestro escenario de trabajo, desde que dicho pulso sale de nuestro generador del mismo, hasta que llega a cada pixel del sensor de imagen empleado. Este subsistema al que denominaremos

5

10

15

20

25

30

STOF, dispone de una electronica, una lente de enfoque y un filtro paso- banda B1 estrecho para eliminar la luz diferente a la empleada para excitar nuestro escenario. Aquf la electronica tiene una funcionalidad de calcular el tiempo de ida y vuelta de los fotones que salen de un emisor laser L1 y que rebotan en los objetos de los alrededores del avion para volver a la camara. Esta electronica sera igualmente responsable de disparar los pulsos de luz de L1. Esos calculos se realizan para cada pixel o punto del sensor de la camara TOF. Como es obvio la longitud de onda A1 de la luz de L1 es la misma que la central de la banda del filtro B1 de la camara del subsistema STOF (12). El laser estara acompanado de una lente de expansion de la luz generada para iluminar todo el escenario de trabajo, aunque en una implementacion particular esa lente puede ser una lente de difraccion que solamente emite luz a determinados puntos de nuestro escenario de trabajo. El resultado es una nube de tantos puntos como pfxeles posea el sensor TOF, que dan las distancias desde el emisor de luz hasta el punto concreto del escenario, que sea enfocado en el pixel correspondiente.

3.- Un tercer subsistema al que denominaremos SDOE (10) compuesto por una camara provista de una electronica, y una optica que incluye un filtro paso banda estrecho (20) a una longitud de onda que coincide con la de emision de un laser. El laser tambien esta provisto de unas lentes entre las que se encuentra una DOE (Diffractive Optical Element). Al pasar la emision laser por la lente DOE la luz se difracta creando un patron concreto que previamente se ha grabado en dicha lente. La mision de este subsistema SDOE es primero detectar con la camara, a la que llamaremos camara de tipo DOE, los puntos de luz reflejados en nuestro escenario y generados como consecuencia de la iluminacion estructurada que se genera. El laser L2 de longitud de onda A2, se enciende y apaga a periodos controlados para facilitar la deteccion de los puntos iluminados por el patron generado. La camara DOE esta compuesta por su electronica, sensor de imagen, lentes y filtro paso- banda B2 estrecho sintonizado a A2. Una vez detectados los puntos, la

5

10

15

20

25

30

electronica determina las distancias relativas de los puntos iluminados y recibidos en los pfxeles de la camara como segunda parte de la mision de este subsistema. Esto lo realiza mediante una triangulacion, midiendo el desplazamiento generado en funcion de la distancia y conociendo la separacion entre el laser y la camara empleada. Como ya se ha dicho, la longitud de onda A2 de la luz de L2 es la misma que la central de la banda del filtro B2 de la camara del subsistema SDOE. El resultado es por consiguiente una nueva nube de puntos correspondientes a aquellos detectados en el sensor al ser reflejados, procedentes de nuestro iluminador estructurado.

Los subsistemas descritos en 2 y 3 estan compuestos por las camaras TOF y DOE y por los emisores laser L1 y L2. Asf como demas componentes auxiliares y toda la electronica que los gobierna.

IV.- Un cuarto elemento que denominaremos elemento de procesamiento (21) P, que se ubicara en una caja en el interior del avion tanquero (1), (y parte del cual se puede considerar repartido entre las electronicas de los otros componentes de esta invencion), cuya mision es, a partir de la informacion proporcionada por los subsistemas 1, 2 y 3, generar la informacion siguiente, (toda referida a unos ejes de coordenadas comunes):

• Vector posicion del punto P1 del extremo de la pertiga = OP1;

• Versor ortogonal a la superficie que cierra la boquilla de la pertiga =

VO1;

• Vector posicion del punto P2 colocado en el extremo de la boca del receptaculo = OP2;

• Versor ortogonal a la superficie que cierra la boca del receptaculo = VO2;

• Vector velocidad relativa entre P1 y P2 = VR;

• Vector aceleracion relativa entre P1 y P2 = AR;

Asf como cualesquiera otras que pudieran ser de interes y puedan obtenerse a partir de las informaciones generadas por dichos subsistemas.

5

10

15

20

25

30

Una de las principales funciones del elemento P es obtener las nubes de puntos generadas por los subsistemas 1,2 y 3 anteriores para, a partir de ellas, determinar los valores de coordenadas y vectores especificados anteriormente. El procesamiento de informacion que P puede realizar esta basado en el empleo de dos grupos distintos de procesadores y por tanto paradigmas de calculo que se indican a continuacion. Por un lado estan los procesadores tradicionales, entendiendose como tales aquellos mas convencionales, basados en una logica micro-programada con un juego de instrucciones, que se ejecutan de forma secuencial, o bien basados en hardware de alta velocidad como fpga-s o gpu-s. Por otro lado estan aquellos basados en redes neuronales. Ademas el elemento P consta de un subsistema de comunicaciones con el resto de los subsistemas que componen la invencion. Por tanto, P se encarga de obtener los datos significativos del receptaculo del avion receptor y de la punta del botalon, a partir de las nubes de puntos obtenidas por las camaras de los distintos subsistemas que se integran en C.

El elemento P de procesamiento dispone tambien de una memoria donde alberga una base de datos de modelos 3D de los distintos aviones receptores con los que se pretenda realizar repostaje asf como informacion geometrica 3D del botalon. Para el caso de procesadores tradicionales, P realiza un ajuste de los modelos 3D con los valores de las nubes de puntos obtenidas y asf, coloca en un espacio virtual dichos modelos 3D y determina las posiciones de los valores y puntos de interes indicados. En el caso de la red neuronal, se obtienen los valores deseados tras un entrenamiento con distintas situaciones de repostaje real.

Los datos generados anteriores, permiten al sistema que gobierna las leyes de control del tanquero asf como las del botalon de este, disponer de la informacion adecuada para establecer la estrategia correcta que genere el acercamiento y posterior contacto deseado entre la boquilla de la pertiga y la boca del receptaculo. Las dos opciones de procesamiento pueden emplearse de forma combinada o cada una de forma aislada, para tratar la informacion generada por los distintos subsistemas de captacion de datos.

El procedimiento de funcionamiento del sistema de contacto automatico objeto de la invencion comprende las siguientes etapas:

5

10

15

20

25

30

- Determinar la posicion de cada punto emisor de luz de los elementos BD y RD, situados solidariamente, respectivamente en el extremo de la boquilla de la pertiga y en el contorno del receptaculo, mediante el empleo de las camaras 3D. La emision de luz por parte de estos emisores es uniforme en las direcciones de emision y permite a las camaras 3D "verlas" y asf determinar la posicion de cada una de ellas respecto a CR. Con el fin de facilitar esa labor, los emisores se hacen parpadear con ciertos patrones de forma alternativa. Los primeros sincronizados con las camaras 3D y los segundos sin esa particularidad, y todos filtrados de forma temporal respecto de los otros LEDs. Se evitan asf solapes innecesarios entre los emisores y se facilita la deteccion por tecnicas de correlacion cruzada para eliminar confusiones con otros puntos de luz. Los reflejos pueden igualmente eliminarse gracias al encendido alternativo de los emisores de forma sincronizada. Este sincronismo permite minimizar la energfa necesaria para la deteccion. El empleo de un filtro sintonizado con la longitud de onda de emision de luz de los emisores permite tambien un incremento de la relacion senal ruido, facilitando de nuevo dicha deteccion. Una vez detectados al menos tres emisores se obtiene la posicion del punto de la punta de la pertiga mediante un calculo algebraico simple basado en una triangulacion. Esto es posible porque sabemos la distancia entre camaras, la orientacion y la distancia focal de las mismas. Asf podemos calcular las coordenadas espaciales de esos emisores respecto a un Centro de Referencia (CR). Ademas a partir de las coordenadas de tres puntos adecuados, obtenemos la posicion exacta de la ubicacion del centro de la boquilla. Eso se realiza con precisiones subcentimetricas. Ademas se obtiene el vector perpendicular a la superficie que cierra la "boquilla” (4). Esto proporciona una primera fuente de informacion que corresponde al extremo del botalon con respecto a CR recogida en el elemento C. Similarmente, actuamos pon los emisores de luz del elemento RD.

5

10

15

20

25

30

Los emisores de luz pueden ser de distintos colores alternando un “color” u otro o emitiendo ambos segun convenga que sea visto por una u otra camara o bien ambas.

- Obtencion de una primera nube de puntos, mediante la identificacion de puntos concretos en ambas camaras. A partir de la imagen del extremo del botalon y de la del avion receptor colocado debajo de el, se realiza un procesado de imagen consistente en una segmentacion y un registro para identificar los mismos puntos en ambas imagenes de cuadro procedentes de ambas camaras en cada instante. A partir de sus posiciones en al menos dos camaras, y por un metodo de triangulacion similar al empleado para detectar los emisores de luz en el apartado anterior, se obtienen las coordenadas de todos los puntos identificados en todas las camaras de S3D. Ese conjunto de coordenadas no es ni mas ni menos que la nube de puntos respecto al CR que se persigue conseguir. Observese que se obtienen dos sub-nubes de puntos unidas: Una correspondiente al extremo del botalon y otra correspondiente al avion receptor.

- Obtencion de una segunda nube de puntos, que se corresponde de nuevo, con el extremo del botalon y el avion receptor a partir del subsistema STOF, L1 junto con los demas otros componentes auxiliares. El laser L1 proporciona un conjunto de pulsos de luz de longitud de onda A1. El circuito que dispara el encendido de este laser es el mismo que gobierna el disparo y adquisicion de cuadros de imagen de la camara tipo TOF incluida en STOF. Considerando la velocidad de la luz y el tiempo que tarda en recibirse el pulso generado en cada pixel del sensor de dicha camara tipo TOF, puede obtenerse la distancia del punto del escenario que refleja la luz recibida. Para facilitar esa tarea se le antepone a la camara tipo TOF un filtro paso banda estrecho B1 centrado en A1. Ademas se emplea la tecnica de desplazamiento de fase para determinar con exactitud el momento en el que el pulso emitido por L1 llega de vuelta al sensor. Eso se realiza para cada punto de nuestro

5

10

15

20

25

30

escenario que es recibido en cada pixel de nuestro sensor en la camara TOF. Se obtiene asf una nueva nube con tantos puntos como la resolucion del sensor empleado. Cada tiempo de cuadro, la camara tipo TOF proporciona una nueva nube de puntos.

- Obtener una tercera nube de puntos que se corresponde de nuevo, con el extremo del botalon y el avion receptor a partir de la informacion que nos proporciona de forma muy similar a la anterior, el subsistema SDOE formado por la camara tipo DOE mas el laser L2 y demas componentes auxiliares. El laser L2 genera un patron (este patron puede ser fijo o variable segun se controlen los demas lentes del laser) de luz estructurada gracias a la lente de difraccion, por la que lo hacemos pasar una vez colimado adecuadamente. Los elementos de este patron pueden ser identificados si somos capaces de "ver" la luz que emite el laser al ser reflejada por nuestro entorno. Para facilitarlo, empleamos un nuevo filtro paso banda B2 estrecho delante de la camara del SDOE, sintonizado con L2 y que eliminara la luz de otras longitudes de onda. Ademas, el encendido y apagado con cierta cadencia nos ayudara tambien a distinguir la luz del laser con respecto a otra, de fuentes distintas, que no parpadearan de la misma forma. Con tecnicas de correlacion cruzada obtendremos los pfxeles que son reflejados en los objetos de nuestro escenario y a partir de sus intensidades relativas determinaremos que pfxeles corresponden a determinados puntos del patron. Como resultado obtenemos un conjunto de puntos que, de nuevo, mediante tecnicas de triangulacion y trigonometna, teniendo en cuenta que conocemos la distancia del laser L2 a la camara de SDOE y los angulos de ambos, nos permitiran obtener las distancias desde la camara de SDOE a cada punto de ese conjunto de puntos. En definitiva tendremos un conjunto de coordenadas (xi, yi, zi) pertenecientes a los objetos de nuestro escenario, por cada cuadro de imagen. Asf las cosas de nuevo tenemos una nube de puntos similar a la obtenida por la camara del STOF pero a partir de una forma diferente.

5

10

15

20

25

30

- El siguiente paso es, alternativamente, bien realizar una fusion de la informacion de las nubes de puntos, por cada cuadro, para obtener la mejor nube de puntos de partida, o aplicamos uno de los metodos de procesamiento (que se explicaran mas adelante) de entre los que P puede realizar, a cada una de las nubes de puntos, para realizar una fusion de los resultados obtenidos y conseguir la mejor y mas robusta solucion de la posicion de los puntos y vectores de interes. Como se ha dicho, todo esto para cada cuadro de imagen a lo largo del tiempo. El calculo de las velocidades y aceleraciones relativas asf como de los versores ortogonales indicados, es una cuestion meramente algebraica que requiere de pocos recursos de procesamiento. Los procesamientos que podemos realizar en P a las nubes de puntos obtenidas por los distintos elementos que integran esta invencion consisten en:

• Hacerlas pasar por una red neuronal artificial entrenada para proporcionar como salidas las coordenadas de la ubicacion y vector ortogonal de los dos puntos de interes con respecto a nuestro centro de referencia CR.

• Compararlas con uno de los modelos 3D almacenados, de nuestro receptor y del botalon, para hallar la posicion tanto de la boca de repostaje de dicho receptor como del centro del extremo de la boquilla (4) de la pertiga una vez separados ambos. Dichos puntos con respecto a nuestro centro de referencia CR. La gran certidumbre que proporcionan los elementos BD y RD a la hora de obtener las posiciones tanto de la punta del botalon como de la boca del receptaculo, nos permite realizar una primera segmentacion de nuestras imagenes para obtener nubes de puntos independientes, correspondientes a dicha punta del botalon y a la boca del receptor y asf quedarnos con sub-nubes correspondientes a los distintos objetos de nuestras imagenes.

Las etapas por las que pasa el elemento P, en el caso de realizar una comparacion de las nubes de puntos con uno de los modelos 3D

5

10

15

20

25

30

almacenados, son las siguientes para el caso de procesadores convencionales:

1a - Comparacion de las nubes de puntos recibidas por cualquiera de los procedimientos anteriores, con la representacion 3D del modelo de avion al que se desea suministrar combustible y la del Botalon para encontrar coincidencias entre nubes de puntos y modelos 3D y asf determinar la posicion espacial exacta respecto al centro de coordenadas CR.

2a.- Conocida la posicion espacial se procede a colocar el modelo virtual del avion en su posicion teorica del espacio. De esta forma se puede ver la superficie de nuestro modelo 3D sobre la imagen real.

3a.- Colocado el modelo 3D en nuestro escenario de trabajo de forma virtual, se conoce la ubicacion de la boca del receptaculo y demas datos significativos. Esto nos permite colocar estos puntos de interes en su ubicacion espacial respecto al centro de coordenadas CR. En la fase de test, esto permite ver la diferencia entre la posicion real del receptaculo y la predicha por el modelo 3D y reviste un interes especial porque muestra de forma obvia cualquier error que pueda existir en dicha fase.

Por otro lado, Las etapas por las que pasa el elemento P en el caso de realizar un procesamiento de las nubes de puntos haciendolas pasar por una Red Neuronal Artificial son las siguientes:

1a.- Entrenamiento de la red neuronal mediante la introduccion de nubes de puntos y la comprobacion de las salidas para determinar y devolver a la red la informacion de error con el fin de poder entrenarla. (Esta fase se denomina de entrenamiento.)

5

10

15

20

25

30

2a - Una vez entrenada, ya en la fase de reconocimiento, se le podran proporcionar nuevas nubes de puntos, a las que respondera con los valores que la Red considera mas probables de los puntos de interes entrenados.

3a.- Supervision de los datos emitidos por la Red Neuronal para evitar incongruencias.

Para ambos tipos de procesamiento, existe una ultima tarea a realizar que consiste en:

- 4a.- Realizar una fusion de las informaciones obtenidas por metodos

alternativos para obtener la informacion de interes de una forma robusta y fiable y asf poder alimentar las leyes de control del botalon y llevar a cabo la operacion automatica de repostaje. Para realizar esta tarea, cada subsistema es asignado con el calculo de ciertos valores que se conocen como factores de calidad y nos indican en esencia cuan fiables son los resultados que han proporcionado o cual es su probabilidad de error. Esa informacion es empleada para garantizar la fusion optima de los resultados que se obtienen.

Las nubes de puntos obtenidas por los subsistemas S3D, SDOE y STOF se emplean en un calculo hfbrido con los dos procedimientos indicados, es decir, empleara conjuntamente redes neuronales y la comparacion con un modelo 3D, para obtener las posiciones y vectores de interes.

Por lo tanto, gracias al sistema y procedimiento de esta invencion, se proporciona un mecanismo de obtencion de un conjunto de datos en funcion del tiempo, con una latencia despreciable y un ritmo adecuado, para permitir al sistema que gobierna las leyes de control del tanquero y del botalon del mismo asf como al avion receptor, incorporar dichos datos en su control y asf gobernar tanto al tanquero, al botalon y al receptor para dar lugar a un contacto entre los dos ultimos de forma semiautomatica o incluso automatica, supervisada o no.

Descrita suficientemente la naturaleza de la presente invencion, asf como la manera de ponerla en practica, se hace constar que, dentro de su esencialidad, podra ser llevada a la practica en otras formas de realizacion que difieran en

detalle de la indicada a tftulo de ejemplo, y a las cuales alcanzara igualmente la proteccion que se recaba, siempre que no altere, cambie o modifique su principio fundamental.

Claims (12)

1. 5

   10

   15

   20

   25

   30

   REIVINDICACIONES

   1. - Sistema de deteccion de punta del botalon volador y boca del receptaculo para un sistema de reabastecimiento en vuelo mediante botalon volador, caracterizado porque comprende los cuatro elementos siguientes:

   • Un elemento BD (13) compuesto por una carcasa de soporte que se agarra al extremo de la pertiga (3) del botalon (6), disponiendo sobre la superficie de la misma un conjunto de elementos emisores de luz (16) que pueden ser LEDs, emisores laser o similares y una electronica asociada para el encendido y control de los mismos.

   • Un elemento RD compuesto por un soporte instalado en el contorno (23) del receptaculo del avion receptor (27) y sobre el que se disponen un conjunto de emisores de luz (25) que son o LEDs, o emisores laser o similares y una electronica asociada para el encendido y control de los mismos.

   • Un elemento C formado por una caja o carcasa (14) agarrada a la superficie exterior del avion tanquero (1), preferentemente en el cono de cola (11), con una electronica (22) que gobierna al anterior conjunto de emisores de luz (16) y tambien a un par de camaras de vision 3D (17) encargadas de la deteccion de los emisores de luz (16) del extremo de la pertiga y de los emisores de luz (25) del receptaculo del avion receptor para obtener las coordenadas (X, Y, Z) del centro de cada punto emisor de luz (16) y demas puntos de interes respecto a un centro de coordenadas comun, estando provistas ambas camaras de un filtro paso-banda estrecho (20) sintonizado con la longitud de onda de los emisores de luz.

   • Un elemento P de procesamiento (21) de informacion y de calculo.
2. 2. - Un sistema de deteccion de punta del botalon volador y boca del receptaculo segun la reivindicacion 1, caracterizado porque sus camaras 3D estan dotadas, cada una, de algunos (o todos) los elementos auxiliares siguientes:

   ■ Lentes (18) controlables de zoom, enfoque (19) y filtrado.

   5

   10

   15

   20

   25

   30

   ■ Electronica de eliminacion de aberraciones, de pfxeles muertos, de mejora de la imagen y de calculo de coordenadas (x, y) de los LEDs del subsistema BD y del receptaculo.
3. 3. - Un sistema de deteccion de punta del botalon volador y boca del

   receptaculo segun la reivindicacion 1 o la 2, caracterizado porque el

   subsistema P de procesamiento de informacion y calculo consta de: Bien procesadores tradicionales, entendiendose como tales aquellos mas convencionales, basados en una logica micro-programada con un juego de instrucciones, que se ejecutan de forma secuencial, o bien consta de hardware de alta velocidad como fpga-s o gpu-s, o aquellos basados en redes

   neuronales artificiales, todos estos ultimos con capacidad de procesamiento en paralelo, ademas el subsistema P consta de un elemento de comunicaciones con el resto de los subsistemas que componen la invencion, o bien de una combinacion de todas las anteriores.
4. 4. - Un sistema de deteccion de punta del botalon volador y boca del

   receptaculo segun las reivindicaciones 1, 2 o 3, caracterizado porque el subsistema P de procesamiento dispone de una memoria donde alberga una base de datos de modelos 3D de los distintos aviones receptores con los que se pretenda realizar repostaje asf como informacion geometrica 3D de la pertiga con los que compara la informacion que obtiene de las camaras.
5. 5. - Sistema de deteccion de punta del botalon volador y boca del receptaculo para repostaje con botalon, segun cualquiera de las reivindicaciones 1 a 4, caracterizado porque la unidad de procesamiento tiene la funcionalidad de comparar las imagenes obtenidas por cuadros sfncronos de ambas camaras 3D e identificar un conjunto de puntos en ambas.
6. 6. - Sistema de deteccion de punta del botalon volador y de la boca del receptaculo, segun cualquiera de las reivindicaciones 1 a 4, caracterizado porque la operacion de contacto en repostaje con botalon se realiza con los componentes adicionales que se detallan a continuacion:

   5

   10

   15

   20

   25

   30

   • Una camara de tipo DOE que detecta los fotones que llegan a su sensor de imagen al ser reflejados por los distintos objetos del escenario de trabajo, donde la camara DOE esta compuesta por su electronica, sensor de imagen, lentes de enfoque y filtro paso-banda B2 estrecho, sintonizado a la longitud de onda de la luz coherente emitida por un laser L2.

   • Un laser L2 provisto de una lente de difraccion DOE, en la que se ha grabado un determinado patron que es proyectado sobre el entorno al pasar por dicha lente DOE. Donde la camara tipo DOE es, o coincide con, una de las camaras 3D.
7. 7. - Sistema de deteccion de punta del botalon volador y de la boca del receptaculo segun cualquiera de las reivindicaciones 1 a la 4, con los componentes adicionales que se detallan a continuacion:

   - Una camara de tipo TOF, o camara de tiempo de vuelo que consta de una electronica, una lente y un filtro paso-banda B1 estrecho para eliminar la luz diferente a la empleada para excitar el escenario.

   - Un laser L1 sincronizado con la toma de luz por parte de la camara, contando dicho laser con elementos auxiliares como un colimador y una lente de expansion de la luz generada.
8. 8. - Sistema de deteccion de punta del botalon volador y de la boca del receptaculo, segun las reivindicaciones anteriores caracterizado por que el elemento RD consta ademas de un sensor de luz (26) que le permite recibir las emisiones por parte del tanquero pudiendo asf establecer un canal de comunicaciones bidireccional entre ambos.
9. 9. - Sistema de deteccion de punta del botalon volador y de la boca del receptaculo, segun cualquiera las reivindicaciones anteriores, caracterizado porque algunas de sus camaras cuentan con unas lentes de control electronico variable.

   5

   10

   15

   20

   25

   30
10. 10.- Procedimiento de contacto automatico para repostaje aereo con botalon volador, segun el sistema de las reivindicaciones anteriores caracterizado porque comprende las etapas de:

    - Determinar la posicion de cada punto de luz procedente de los emisores led, ubicados solidariamente con el extremo de la boquilla del botalon mediante las camaras 3D.

    - Determinar la posicion de cada punto de luz procedente de los emisores led, ubicados solidariamente con el receptaculo del avion receptor mediante las camaras 3D.

    - Obtencion de, al menos, una nube de los puntos que se corresponden con el botalon y su punta y el avion receptor, a partir de, al menos, alguno de los siguientes conjuntos de elementos:

    a) De un conjunto, que llamaremos subsistema SDOE, formado por una camara tipo DOE mas un laser y demas elementos auxiliares. Donde el laser genera un patron de luz gracias a la lente de difraccion estructurada por la que lo hacemos pasar. Los elementos de este patron pueden ser identificados mediante la ayuda de un filtro paso banda estrecho sintonizado con la longitud de onda del laser, que eliminara la luz de otras longitudes de onda. Asf mismo, el encendido y apagado con cierta cadencia nos ayudara tambien, a diferenciar la luz del laser con respecto a la de otras fuentes distintas, y con tecnicas de correlacion cruzada y filtrado digital, a obtener los pfxeles que son reflejados en los elementos de nuestro escenario. El resultado es un conjunto de puntos 2D con los que, mediante tecnicas simples de triangulacion y trigonometrfa y considerando la distancia del laser a la camara tipo DOE, podemos obtener las distancias desde dicha camara a ese conjunto de puntos. Calculada esas distancias, el resultado, por cuadro de imagen, es por tanto un conjunto de coordenadas 3D, {(xi, yi, zi)} correspondientes a puntos que pertenecen a nuestro escenario que han reflejado los fotones procedentes de nuestro laser.

    5

    10

    15

    20

    25

    30

    b) De un conjunto, que llamaremos subsistema STOF, formado por una camara de tipo TOF, un laser y otros elementos auxiliares. El laser proporciona un conjunto de pulsos de luz de una determinada longitud de onda. El circuito que dispara el encendido de este laser es el mismo que gobierna el disparo y adquisicion de cuadros de imagen de la camara tipo TOF. Considerando la velocidad de la luz y el tiempo que tarda en recibirse el pulso generado en el sensor de camara tipo TOF puede obtenerse la distancia de los puntos del escenario que reflejan la luz emitida. Para facilitar esa tarea se le antepone a la camara tipo TOF un filtro paso banda estrecho centrado en la longitud de onda del laser. En cada tiempo de cuadro, la camara tipo TOF proporciona una nube de puntos N={(xi, yi, zi)} que corresponden a las distancias a aquellos de nuestro escenario que han reflejado la luz generada por nuestro laser.

    c) Del conjunto que llamaremos subsistema S3D, formado por las dos camaras 3D que con tecnicas de identificacion de puntos significativos en ambas imagenes permiten identificar para ambas camaras una nube de puntos y partir de ambas posiciones (de cada camara) para cada punto y mediante tecnicas de triangulacion y trigonometrfa obtener las distancias de los mismos a un sistema de referencia CR (por ejemplo, centrado en el sensor de una de ellas).

    Realizar por el sistema electronico de procesamiento P una de las dos siguientes funciones con la nube o nubes de puntos obtenidas:

    a) Introducir el conjunto de puntos como entradas a una red neuronal artificial, entrenada previamente, para obtener las salidas correspondientes a las tres coordenadas del centro de la boca del receptaculo, las tres coordenadas de un vector ortogonal a la superficie que cierra dicha boca, las tres coordenadas de la

    5

    10

    15

    20

    25

    30

    boquilla de la pertiga y las tres coordenadas del vector ortogonal al cierre de dicha boquilla.

    b) Comparacion de ese conjunto de puntos con una imagen 3D de la superficie del botalon y del avion receptor, almacenadas en la correspondiente base de datos, hasta conseguir que se ajusten o que cuadren, es decir, que consigamos encontrar la correspondencia entre los puntos reales de nuestro receptor de la nube obtenida con los de los modelos 3D almacenados de nuestro avion y botalon. En ese momento, y a partir del modelo 3D de avion receptor, podremos obtener la ubicacion precisa de la boca del receptaculo y la boquilla de la pertiga, asf como de los vectores ortogonales a los cierres de los mismos y colocarlos en nuestro escenario de nuevo con respecto a un mismo centro de coordenadas CR.

    - Obtencion de los puntos de interes a partir de la posicion de los emisores colocados en BD y RD.

    - Realizacion de una fusion de datos con todos los resultados obtenidos en todos los procedimientos anteriores para obtener la mejor posicion de ambos puntos de interes y los vectores perpendiculares de las superficies que cierran ambos conductos. Todo esto para cada cuadro de imagen a lo largo del tiempo.

    - Calcular las velocidades y aceleraciones relativas de los puntos de interes hallados.
11. 11.- Procedimiento de contacto automatico para repostaje aereo con botalon volador, segun la reivindicacion 10 caracterizado porque las nubes de puntos obtenidas por los subsistemas S3D, SDOE y STOF se emplean en un calculo hfbrido con las dos funciones realizadas por el sistema electronico de procesamiento P indicadas en dicha reivindicacion. Es decir, empleara conjuntamente redes neuronales y la comparacion con un modelo 3D para obtener las posiciones y vectores de interes.

    10

    15
12. 12.- Procedimiento de contacto automatico para repostaje aereo con botalon volador segun la reivindicacion 10 caracterizado porque los emisores de luz son de tipo LED o laser y donde

    - la emision de luz por parte de los emisores es uniforme en todas las direcciones de emision y permite a las camaras 3D "verlos" y asf determinar la posicion de cada uno de estos emisores respecto a CR.

    - los emisores de luz se haran parpadear con ciertos patrones de forma alternativa y sincronizada con las camaras 3D, y filtradas de forma temporal respecto de los otros emisores de luz.

    - Los emisores de luz son de varios colores, alternando un "color” u otro o emitiendo ambos segun convenga que sea visto por una u otra camara o bien ambas.