ES2893959T3 - Métodos y sistema de aterrizaje autónomo - Google Patents

Métodos y sistema de aterrizaje autónomo

Info

Publication number
ES2893959T3
ES2893959T3 ES16913857T ES16913857T ES2893959T3 ES 2893959 T3 ES2893959 T3 ES 2893959T3 ES 16913857 T ES16913857 T ES 16913857T ES 16913857 T ES16913857 T ES 16913857T ES 2893959 T3 ES2893959 T3 ES 2893959T3
Authority
ES
Spain
Prior art keywords
marker
uav
landing
target
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16913857T
Other languages
English (en)
Inventor
Peiliang Li
Xuyang Feng
Cong Zhao
Jie Qian
You Zhou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Application granted granted Critical
Publication of ES2893959T3 publication Critical patent/ES2893959T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00—Ground or aircraft-carrier-deck installations
    • B64F1/007—Helicopter portable landing pads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)

Abstract

Un método implementado por computadora para controlar un vehículo aéreo no tripulado (UAV), que comprende: detectar un marcador de objetivo (112) basado en una pluralidad de imágenes capturadas por un dispositivo de formación de imágenes (102) portado por el UAV (100); determinar una relación espacial entre el UAV (100) y el marcador objetivo (112) en función al menos en parte de la pluralidad de imágenes; controlar el UAV (100) para acercarse al marcador objetivo (112) en función, al menos en parte, de la relación espacial mientras se controla el dispositivo de formación de imágenes (102) para rastrear el marcador objetivo (112) de modo que el marcador objetivo (112) permanezca dentro de un campo de visión (108) del dispositivo de formación de imágenes (102); controlar el UAV (100) para alinear su orientación de aterrizaje de acuerdo con un marcador de rumbo antes de aterrizar el UAV (100); y en donde el método se caracteriza en que el marcador de destino incluye un marcador de aterrizaje que indica una ubicación para aterrizar el UAV y el marcador de rumbo que indica una orientación de aterrizaje del UAV, en donde una ubicación del marcador de rumbo con respecto a un centro del marcador de aterrizaje indica una dirección de la orientación de aterrizaje del UAV (100).

Description

DESCRIPCIÓN
Métodos y sistema de aterrizaje autónomo
Campo técnico de la invención
Los modernos vehículos aéreos no tripulados (UAV) se utilizan para realizar una variedad de tareas tal como navegación, vigilancia y rastreo, detección remota, búsqueda y rescate, investigación científica y similares. El aterrizaje autónomo y preciso de los UAV no tripulados es frecuentemente una parte importante para el logro de esas tareas. Sin embargo, las tecnologías existentes no proporcionan soluciones de aterrizaje precisas y confiables.
WO 2016/070318 A1 describe sistemas, métodos y dispositivos para calibrar uno o más dispositivos de formación de imágenes. El método comprende: recibir, de cada uno del uno o más dispositivos de formación de imágenes, una pluralidad de imágenes de un objetivo de calibración que comprende una pluralidad de características y uno o más marcadores de referencia; determinar una relación espacial entre el uno o más marcadores de referencia en cada imagen de la pluralidad de imágenes y el uno o más marcadores de referencia en el objetivo de calibración; formular, con base en la relación espacial, una correspondencia entre las coordenadas de imágenes de características en cada imagen de la pluralidad de imágenes y coordenadas globales para las correspondientes características en el objetivo de calibración; y determinar, con base en la correspondencia, los parámetros de calibración para el uno o más dispositivos de formación de imágenes.
US 2012/277934 A1 describe el instrumento objetivo de despegue y aterrizaje que se va a usar en un sistema de despegue y aterrizaje automático, que comprende un objetivo que tiene tantos elementos emisores de luz como sea necesario para mostrar patrones y una unidad de control objetivo para controlar la emisión de luz de los elementos emisores de luz, en donde los elementos emisores de luz se proporcionan en una superficie de despegue y aterrizaje del objetivo y se arreglan de manera de modo que se forma una marca objetivo que tiene el centro de patrón bajo todo el estado de encendido, y en donde la unidad de control objetivo controla una emisión de luz para mostrar primero todos los patrones de encendido donde se encienden todos los elementos emisores de luz, y luego, para mostrar los elementos emisores de luz en un patrón predeterminado.
US 2010/057278 A1 describe un sistema para aterrizar automáticamente una aeronave utilizando señales de imagen y un método para controlar el sistema. El sistema incluye un altímetro instalado en la aeronave; una marca de aterrizaje colocada en una ubicación de aterrizaje en una pista de aterrizaje; una cámara instalada en la aeronave, orientada hacia la parte delantera de la aeronave, y configurada para detectar la forma de la marca de aterrizaje en forma de información de imagen; y un FCC configurado para calcular el ángulo entre la aeronave y el suelo, el alcance en tierra y el alcance inclinado entre la aeronave y la ubicación de aterrizaje utilizando la información de altitud medida por el altímetro, la información de imagen de la marca de aterrizaje capturada por la cámara, la información de ángulo compuesta por los ángulos de cabeceo, balanceo y guiñada de la aeronave, y el ángulo de entrada en la pista de aterrizaje, y configurada para controlar el aterrizaje automático de la aeronave.
US 2016/122038 A1 describe sistemas, métodos, aparatos y plataformas de aterrizaje que se proporcionan para el aterrizaje visual y/o terrestre de vehículos aéreos no tripulados. Los vehículos aéreos no tripulados pueden lograr aterrizajes autónomos con el uso de un generador de imágenes y uno o más marcadores ópticos en una plataforma de aterrizaje. Los marcadores ópticos pueden ser patrones monocromáticos rectilíneos que se pueden detectar por un sistema informático en el vehículo aéreo no tripulado. Adicionalmente, el vehículo aéreo no tripulado puede ser capaz de aterrizar automáticamente al detectar uno o más marcadores ópticos y al calcular una ubicación y/o orientación relativa desde la plataforma de aterrizaje.
Breve descripción de la invención
La presente invención se define mediante la reivindicación independiente 1 que define un método implementado por computadora para controlar un vehículo aéreo no tripulado.
La presente invención se define adicionalmente mediante la reivindicación independiente 15 que define un sistema que comprende un vehículo aéreo no tripulado y un objetivo.
Las realizaciones adicionales de la invención reivindicada se definen por las reivindicaciones dependientes.
En algunas realizaciones, el marcador objetivo puede ser un marcador de aterrizaje, un marcador de rumbo o un marcador de seguridad. El marcador objetivo puede comprender una o más características concéntricas.
En algunas realizaciones, detectar el marcador objetivo puede comprender identificar una o más características en la pluralidad de imágenes, asociar la una o más características con uno o más marcadores candidatos, asignar pesos respectivos al uno o más marcadores candidatos, cada peso indica una probabilidad de que el marcador candidato asociado sea el marcador objetivo, y seleccionar el marcador objetivo del uno o más marcadores candidatos con base en, al menos en parte, los pesos de los marcadores candidatos.
En algunas realizaciones, asociar la una o más características con el uno o más marcadores candidatos puede comprender comparar una primera característica en una primera imagen con una segunda característica en una segunda imagen con base en uno o más atributos de característica y determinar si la primera característica y la segunda característica corresponden a un mismo marcador candidato con base en la comparación.
En algunas realizaciones, el uno o más atributos de característica pueden comprender un tamaño, una perspectiva o una distancia central. La asignación de los pesos respectivos al uno o más marcadores candidatos se pueden basar al menos en parte en los tamaños relativos de la una o más características. La asignación de los pesos respectivos al uno o más marcadores candidatos se puede basar al menos en parte en si la una o más características son concéntricas. En algunas realizaciones, controlar el dispositivo de formación de imágenes para rastrear el marcador objetivo puede comprender detectar, con base en la pluralidad de imágenes, una desviación del marcador objetivo desde una posición predeterminada dentro de un campo de visión del dispositivo de formación de imágenes y efectuar un movimiento del dispositivo de formación de imágenes para corregir la desviación. Efectuar el movimiento del dispositivo de formación de imágenes puede comprender controlar un portador del dispositivo de formación de imágenes para mover el dispositivo de formación de imágenes con respecto al UAV. Efectuar el movimiento del dispositivo de formación de imágenes puede comprender controlar que el UAV se mueva con respecto a un eje de cabeceo, un eje de guiñada o un eje de balanceo del UAV.
En algunas realizaciones, determinar la relación espacial entre el UAV y el marcador objetivo puede comprender determinar, con base en al menos en parte en la pluralidad de imágenes, una primera posición del marcador objetivo en un sistema de coordenadas de cámara, y transformar la primera posición del marcador objetivo en el sistema de coordenadas de cámara en una segunda posición del marcador objetivo en un sistema de coordenadas de UAV con base en al menos en parte en una relación espacial entre el dispositivo de formación de imágenes y el UAV
En algunas realizaciones, determinar la relación espacial entre el UAV y el marcador objetivo comprende una distancia horizontal y una distancia vertical, y controlar el UAV para que se acerque al marcador objetivo con base en la relación espacial puede comprender generar uno o más comandos de control horizontales para que el UAV reduzca la distancia horizontal entre el UAV y el marcador objetivo con base en, al menos en parte, la distancia horizontal y generar uno o más comandos de control verticales para que el UAV reduzca la distancia horizontal con base en, al menos en parte, la distancia horizontal.
En algunas realizaciones, la relación espacial entre el UAV y el marcador objetivo puede comprender una distancia horizontal y una distancia vertical, y controlar el UAV para que se acerque al marcador objetivo con base en la relación espacial puede comprender generar uno o más comandos de control horizontales para que el UAV reduzca la distancia horizontal entre el UAV y el marcador objetivo con base en, al menos en parte, la distancia horizontal y generar uno o más comandos de control verticales para que el UAV reduzca la distancia horizontal con base en, al menos en parte, la distancia horizontal.
En algunas realizaciones, los comandos de control horizontal se pueden usar para controlar una velocidad horizontal del UAV. Los comandos de control vertical se pueden utilizar para controlar una velocidad vertical del UAV.
En algunas realizaciones, la velocidad vertical del UAV se puede correlacionar negativamente con la distancia horizontal entre el UAV y el marcador objetivo. Los comandos de control horizontal y los comandos de control vertical se pueden generar sustancialmente de forma simultánea.
En algunas realizaciones, un marcador de seguridad se puede detectar y verificar antes de aterrizar el UAV.
Se entenderá que diferentes aspectos de la invención se pueden apreciar individualmente, colectivamente o en combinación entre sí. Varios aspectos de la invención descritos en la presente se pueden aplicar a cualquiera de las aplicaciones particulares expuestas posteriormente o comunicación de datos entre cualquier otro tipo de objetos móviles y/o estacionarios.
Otros objetos y características de la presente invención se harán evidentes mediante una revisión de la especificación, reivindicaciones y figuras anexas.
Breve descripción de las figuras
Las características novedosas de la invención se exponen con particularidad en las reivindicaciones anexas. Se obtendrá una mejor comprensión de las características y ventajas de la presente invención mediante referencia a la siguiente descripción detallada que expone realizaciones ilustrativas, en las cuales se utilizan los principios de la invención, y las figuras anexas de las cuales:
La figura 1 ilustra un proceso de ejemplo para el aterrizaje autónomo de un UAV, de acuerdo con realizaciones.
La figura 2 ilustra un marcador de ejemplo que comprende múltiples anillos concéntricos de diferentes tamaños, de acuerdo con realizaciones.
La figura 3 ilustra otros marcadores de aterrizaje de ejemplo, de acuerdo con realizaciones.
La figura 4 ilustra un arreglo de ejemplo de marcadores de aterrizaje, de acuerdo con realizaciones.
La figura 5 ilustra marcadores de rumbo de ejemplo, de acuerdo con realizaciones.
La figura 6 ilustra marcadores de aterrizaje y rumbo de ejemplo adicionales, de acuerdo con realizaciones.
La figura 7 ilustra marcadores de aterrizaje y rumbo de ejemplo adicionales, de acuerdo con realizaciones.
La figura 8 ilustra la colocación de ejemplo de un marcador de seguridad con respecto a los marcadores de aterrizaje/rumbo, de acuerdo con realizaciones.
La figura 9 ilustra un proceso de ejemplo para aterrizaje autónomo, de acuerdo con realizaciones.
La figura 10 ilustra otro proceso de ejemplo para aterrizaje autónomo, de acuerdo con realizaciones.
La figura 11 ilustra otro proceso de ejemplo para aterrizaje autónomo, de acuerdo con realizaciones.
La figura 12 ilustra un proceso de ejemplo para detectar un marcador objetivo, de acuerdo con realizaciones.
La figura 13 ilustra otro proceso de ejemplo para detectar un marcador objetivo, de acuerdo con realizaciones.
La figura 14 ilustra un método de ejemplo para asociar características en diferentes marcos, de acuerdo con realizaciones.
La figura 15 ilustra un método de ejemplo para determinar la concentricidad de características, de acuerdo con realizaciones.
La figura 16 ilustra un proceso de ejemplo para rastrear un marcador objetivo usando un dispositivo de formación de imágenes, de acuerdo con realizaciones.
La figura 17 ilustra un método de ejemplo para mantener un objetivo en una posición predeterminada, de acuerdo con realizaciones.
La figura 18 ilustra un proceso de ejemplo para controlar un UAV para acercarse a un marcador objetivo, de acuerdo con realizaciones.
La figura 19 ilustra métodos de ejemplo para aterrizar un UAV, de acuerdo con realizaciones.
La figura 20 ilustra un objeto móvil que incluye un portador y una carga útil, de acuerdo con realizaciones.
La figura 21 es una ilustración esquemática a modo de diagrama de bloques de un sistema para controlar un objeto móvil, de acuerdo con realizaciones.
Descripción detallada de la invención
Las tecnologías existentes para el aterrizaje autónomo de UAV son insuficientes en muchas situaciones. Por ejemplo, las tecnologías basadas en GPS dependen de la disponibilidad de señales GPS, que pueden no estar disponibles o ser débiles en algunos casos (por ejemplo, en interiores o en una ciudad). Adicionalmente, las señales GPS pueden no ofrecer el nivel de precisión requerido para algunos escenarios de aterrizaje. Las tecnologías basadas en la visión se basan en el reconocimiento de ciertos marcadores visuales por una cámara unida al UAV. Sin embargo, la cámara puede ser incapaz de detectar el objetivo visual debido a su campo de visión limitado a medida que el UAV se mueve, lo que afecta la confiabilidad de las operaciones de aterrizaje.
Los sistemas, dispositivos y métodos se proporcionan para el aterrizaje autónomo, preciso y confiable del UAV que abordan algunos o todos los problemas asociados con las tecnologías existentes de aterrizaje de UAV, incluidos las descritas en la presente. En particular, uno o más procesadores a bordo y/o fueraborda de un UAV se pueden configurar para detectar un marcador objetivo con base en una pluralidad de imágenes capturadas por un dispositivo de formación de imágenes (por ejemplo, cámara) transportado por el UAV. El uno o más procesadores se pueden configurar para determinar una relación espacial entre el UAV y el marcador objetivo con base en la pluralidad de imágenes. El UAV se puede controlar (por ejemplo, por el uno o más procesadores) para acercarse al marcador objetivo con base en la relación espacial mientras que el dispositivo de formación de imágenes se controla (por ejemplo, por el uno o más procesadores) para rastrear el marcador objetivo.
El rastreo o seguimiento del marcador objetivo se puede realizar al mover el dispositivo de formación de imágenes para mantener el marcador objetivo dentro de un campo de visión del dispositivo de formación de imágenes, por ejemplo, en o cerca de una posición predeterminada del campo de visión (por ejemplo, centro). El dispositivo de formación de imágenes se puede mover por un portador que se puede controlar (por ejemplo, por el uno o más procesadores) para hacer que el dispositivo de formación de imágenes se mueva con respecto al UAV (por ejemplo, con uno o más grados de libertad). De manera alternativa, el dispositivo de formación de imágenes se puede mover mediante el movimiento del UAV. Ventajosamente, el rastreo o seguimiento del marcador objetivo mientras se aterriza evita o reduce la probabilidad de perder el marcador objetivo, y permite el control actualizado del UAV con base en la posición actualizada del marcador objetivo, mejorando de esta manera la precisión de aterrizaje.
Se pueden detectar uno o más tipos de marcadores objetivo. Los marcadores objetivo pueden incluir un marcador de aterrizaje que indica una ubicación para que el UAV aterrice. Opcionalmente, los marcadores objetivo pueden incluir un marcador de rumbo que indica un rumbo para el UAV cuando se aterriza y/o un marcador de seguridad que se utiliza para autenticar los marcadores (por ejemplo, el marcador de aterrizaje, el marcador de rumbo y/o el marcador de seguridad) y/o un proveedor de los marcadores. En algunas realizaciones, los marcadores objetivo pueden incluir patrones, colores, tamaños u otras propiedades o características que facilitan la detección robusta en diversas situaciones tal como a partir de distancias variables. Por ejemplo, los marcadores objetivo pueden incluir formas concéntricas (por ejemplo, anillos). Las características de los marcadores objetivo se pueden usar para transmitir los tipos de marcadores, las estaciones base asociadas con los marcadores, la ubicación de aterrizaje, el rumbo del UAV, la información de autenticación o cualquier otra información adecuada.
El UAV se puede controlar horizontal y verticalmente para acercarse a un marcador objetivo (por ejemplo, un marcador de aterrizaje) con base en las imágenes capturadas por el dispositivo de formación de imágenes transportado por el UAV. Por ejemplo, la velocidad horizontal y/o la velocidad vertical del UAV se pueden controlar con base en la relación espacial entre el UAV y el marcador de aterrizaje que se determina a partir de las imágenes. En algunos casos, el UAV se puede controlar para que descienda verticalmente y se mueva horizontalmente hacia el marcador de aterrizaje sustancialmente al mismo tiempo, mientras se rastrea el marcador de aterrizaje usando el dispositivo de formación de imágenes, acortando de esta manera el tiempo de aterrizaje y mejorando la precisión de aterrizaje. En algunas realizaciones, el control vertical del UAV se puede basar en una relación horizontal entre el UAV y la marca de aterrizaje. Por ejemplo, la velocidad vertical puede estar correlacionada negativamente con la distancia horizontal entre el UAV y el marcador de aterrizaje, de modo que cuanto más lejos está el UAV al marcador, más lento desciende el UAV, mejorando de esta manera la seguridad y precisión de aterrizaje.
La figura 1 ilustra un proceso de ejemplo para el aterrizaje autónomo de un UAV 100, de acuerdo con realizaciones. Específicamente, el UAV 100 se puede controlar para detectar y acercarse a un marcador objetivo 112 que indica una ubicación de aterrizaje, mientras se rastrea el marcador objetivo 112 usando un dispositivo de formación de imágenes 102 transportado por el UAV 100.
El dispositivo de formación de imágenes 102 se puede configurar para capturar imágenes del entorno circundante. Los ejemplos de dispositivo de formación de imágenes 102 pueden incluir cámara monocular, cámara de visión estéreo, radar, sonar, cámara infrarroja y similares. Las imágenes se pueden procesar, por uno o más procesadores a bordo y/o fueraborda del UAV 100, para detectar el marcador objetivo 112 y determinar la ubicación de aterrizaje 114 para el UAV 100. La ubicación de aterrizaje 114 puede estar en o cerca del centro de marcador objetivo 112. Las imágenes se pueden utilizar para determinar, por los procesadores, una relación espacial entre el UAV 100 y la ubicación de aterrizaje 114. La relación espacial puede incluir, por ejemplo, una distancia horizontal y/o una distancia vertical entre el UAV 100 y la ubicación de aterrizaje 114. Con base en la relación espacial, los procesadores pueden controlar el UAV 100 para que se mueva horizontal y/o verticalmente hacia la ubicación de aterrizaje 114.
El dispositivo de formación de imágenes 102 se puede configurar para rastrear el marcador objetivo 112 mientras el UAV 100 se acerca al marcador objetivo 112, con base al menos en parte en las imágenes tomadas por el dispositivo de formación de imágenes. Como se ilustra, el dispositivo de formación de imágenes 102 se puede controlar para que se mueva a fin de mantener el marcador objetivo 112 o una porción del mismo dentro de un campo de visión (FOV) 108 del dispositivo de formación de imágenes 102. Además, el dispositivo de formación de imágenes 102 se puede controlar de modo que el marcador objetivo 112 o una porción del mismo se mantenga en una posición predeterminada dentro del campo de visión (y por lo tanto las imágenes tomadas por el dispositivo de formación de imágenes). Por ejemplo, el dispositivo de formación de imágenes 102 se puede controlar para mantener el centro de marcador objetivo 112 en o cerca del centro del campo de visión. En otras palabras, el centro de marcador objetivo 112 se mantiene sobre o cerca del eje óptico 110 del dispositivo de formación de imágenes 102. Cualquier desviación de la posición predeterminada se puede detectar cuando se procesan las imágenes. La desviación se puede corregir al cambiar la dirección del campo de visión 108 del dispositivo de formación de imágenes 102.
El dispositivo de formación de imágenes 102 y la dirección de su campo de visión 108 se pueden mover con el movimiento del UAV 100. Por ejemplo, el dispositivo de formación de imágenes 102 se puede mover lateral y/o verticalmente cuando el UAV se mueve lateral y/o verticalmente. Adicionalmente, el dispositivo de formación de imágenes 102 y su campo de visión 108 se pueden mover por un portador 106, que se puede configurar para permitir que el dispositivo de formación de imágenes 102 se mueva con respecto al UAV 100 con respecto a ciertos grados de libertad (por ejemplo, hasta seis grados de libertad, tres traslacionales y tres rotacionales). Por ejemplo, el portador 106 puede permitir que el dispositivo de formación de imágenes 102 gire con respecto a uno, dos o tres ejes de libertad con respecto al UAV. En varias realizaciones, el UAV 100, el portador 106 y/o el dispositivo de formación de imágenes 102 se pueden controlar mediante uno o más procesadores a bordo y/o fueraborda del UAV 100.
Se pueden proporcionar marcadores para facilitar el aterrizaje autónomo de vehículos aéreos no tripulados. Se pueden proporcionar diferentes tipos de marcadores para diferentes propósitos. Por ejemplo, se puede usar un marcador de aterrizaje para indicar una ubicación para aterrizar el UAV. Se puede utilizar un marcador de rumbo para indicar una orientación o rumbo para el UAV cuando se aterriza. Se puede utilizar un marcador de seguridad para autenticar uno o más objetos tal como el marcador de seguridad, un marcador de aterrizaje y/o un marcador de rumbo, o entidades tal como un proveedor de cualquiera de los marcadores. Los marcadores se pueden ubicar en el suelo o en cualquier otra superficie adecuada (por ejemplo, la parte superior de un vehículo) que se puede detectar mediante el dispositivo de formación de imágenes del UAV.
Las figuras 2-3 ilustra marcadores de aterrizaje de ejemplo, de acuerdo con realizaciones. La figura 2 ilustra un marcador de ejemplo 200 que comprende múltiples anillos concéntricos de diferentes tamaños, de acuerdo con realizaciones. Por ejemplo, el marcador tiene un anillo interno 202, un anillo intermedio 204 y un anillo externo 206, todos concéntricos con respecto a un centro 208. En general, dos formas geométricas son concéntricas cuando sus centros geométricos coinciden en el mismo punto o están lo suficientemente cerca entre sí. En otras realizaciones, puede haber cero o más de un anillo central entre el anillo interno 202 y el anillo externo 206. El espesor de cada uno de los anillos 202, 204 y 206 puede ser el mismo o diferente. Un radio de cualquier anillo dado se puede referir al radio interno del anillo, el radio externo del anillo o un promedio de los radios interno y externo del anillo. Un tamaño de un anillo se puede indicar mediante uno o más radios del anillo o una combinación de los mismos. En algunas realizaciones como se ilustra, el centro 208 está presente en el marcador. En algunas otras realizaciones, el centro 208 puede estar ausente en el marcador.
Ventajosamente, el uso de anillos puede proporcionar robustez a los cambios en la escala, orientación y/o perspectiva. Esto puede reducir la complejidad del cálculo y mejorar la precisión y eficiencia con la que se pueden detectar los marcadores. Los anillos concéntricos pueden proporcionar la ventaja adicional de que al menos parte del conjunto de anillos se puede detectar a diferentes distancias del marcador. Por ejemplo, algunos o todos los anillos pueden ser detectables a través de un dispositivo de formación de imágenes de un cierto intervalo (por ejemplo, cuando el dispositivo de formación de imágenes es igual o menor que 5m, 7m, 10m, 15m, 20m, etc., desde el marcador). En un ejemplo, el anillo más interno en un marcador de anillo concéntrico se puede detectar incluso después de que el UAV haya aterrizado (por ejemplo, cuando la distancia entre el dispositivo de formación de imágenes y el marcador es igual o menor que 1 cm, 3 cm, 5 cm, 10 cm, etc.).
En tanto que se puede usar cualquier color o colores adecuados para los marcadores de aterrizaje o cualquier otro tipo de marcadores descritos en la presente, el uso en blanco y negro o un solo color puede proporcionar robustez a los cambios en la iluminación, mejorando de esta manera la detección de marcadores.
La figura 3 ilustra otros marcadores de aterrizaje de ejemplo, de acuerdo con realizaciones. Los marcadores pueden incluir cualquier cantidad de anillos, concéntricos o no concéntricos. Por ejemplo, como se ilustra, el marcador 302 incluye dos anillos concéntricos, mientras que el marcador 304 incluye un anillo individual. En algunas otras realizaciones, un marcador puede incluir cuatro o más anillos. Los marcadores 302 y 304 también muestran que el centro de los anillos puede ser opcional y puede o no mostrarse en los marcadores.
En algunas realizaciones, los marcadores pueden incluir formas concéntricas que no son anillos, tal como polígonos o cualquier otra forma geométrica. Por ejemplo, el marcador 306 incluye rectángulos concéntricos. Las formas concéntricas pueden no ser el mismo tipo de formas. Por ejemplo, el marcador 308 incluye un círculo y un triángulo que son concéntricos.
En algunas realizaciones, los marcadores que tienen diferentes ubicaciones, formas, colores, patrones, tamaños y/u otras características se pueden utilizar para diferenciar diferentes estaciones base, tipos de marcadores, rumbos/ubicaciiones de aterrizaje, información de seguridad y similares. Estos marcadores se pueden detectar y usar de acuerdo con sus propósitos designados.
La figura 4 ilustra un arreglo de ejemplo de marcadores de aterrizaje, de acuerdo con realizaciones. Como se ilustra, cada una de dos estaciones base 400 y 410 tiene tres marcadores de aterrizaje. Los marcadores de aterrizaje 404, 406, 408 asociados con la estación base 400 tienen un color y/o patrón diferente que para los marcadores de aterrizaje 414, 416, 418 asociados con la estación base 410. Por ejemplo, los marcadores para la estación base 400 pueden ser rojos mientras que los marcadores para la estación base 410 pueden ser verdes. Por consiguiente, los UAV destinados a aterrizar en una estación base específica se pueden configurar para detectar, usando un dispositivo de formación de imágenes, marcadores de aterrizaje que tienen el color y/o patrón designado asociado con la estación base particular.
Por ejemplo, los UAV designados para aterrizar en la estación base 400 se pueden configurar para detectar y acercarse a los marcadores rojos, mientras que los UAV designados para aterrizar en la estación base 410 se pueden configurar para detectar y acercarse a los marcadores verdes. Por ejemplo, uno o más procesadores a bordo y/o fueraborda a los UAV se pueden configurar para procesar las imágenes tomadas por el sensor de formación de imágenes mediante el filtrado de un canal de color particular correspondiente al color asociado con la estación base.
Dentro de la misma estación base, los marcadores de aterrizaje se pueden ubicar en diferentes ubicaciones de aterrizaje. Adicionalmente, diferentes marcadores de aterrizaje pueden indicar diferentes prioridades de aterrizaje o duraciones de aterrizaje. Por ejemplo, la estación base 400 tiene un área de aterrizaje 401 con dos marcadores de aterrizaje 404 y 406 y un área de espera 402 con un marcador de aterrizaje 408. El área de aterrizaje 401 puede ser un área donde los UAV aterrizan durante una duración relativamente mayor. El área de espera 402 puede ser un área donde los UAV aterrizan temporalmente o por una duración más corta, por ejemplo, cuando el área de aterrizaje 401 está llena. Los marcadores de aterrizaje 404, 406 y 408 pueden ser visualmente distintivos para evitar confusiones. Por ejemplo, el marcador de aterrizaje 404 comprende anillos concéntricos, el marcador de aterrizaje 406 comprende un anillo individual que es más grande que el anillo más externo del marcador de aterrizaje 404, y el marcador de aterrizaje 408 comprende un anillo individual que es aún más grande que el anillo individual del marcador de aterrizaje 406. La estación base 410 puede tener un arreglo similar o diferente que para la estación base 400. Puesto que los marcadores para la estación base 410 son visualmente distintos que los de la estación base 400, los aterrizajes en la estación base 410 no interferirán con los aterrizajes en la estación base 400.
Ventajosamente, el aterrizaje autónomo y eficiente de los UAV se puede lograr al menos en parte mediante el diseño y disposición de diferentes marcadores de aterrizaje en las ubicaciones deseadas, reduciendo la probabilidad de interferencia entre múltiples UAV de aterrizaje. De esta manera, se pueden reducir el tiempo y recursos utilizados para gestionar el aterrizaje de los UAV.
En algunas realizaciones, se pueden proporcionar marcadores de rumbo para indicar una orientación de aterrizaje (por ejemplo, rumbo) de UAV. Por ejemplo, el marcador de rumbo puede indicar una dirección con la que se debe alinear un eje longitudinal del UAV. Un marcador de rumbo puede ser una parte de un marcador de aterrizaje o estar ubicado muy cerca del marcador de aterrizaje de modo que el marcador de rumbo se pueda detectar con el marcador de aterrizaje dentro del mismo campo de visión o en marcos de imágenes adyacentes. Las figuras 5-7 ilustran marcadores de rumbo de ejemplo, de acuerdo con realizaciones. La figura 5 ilustra marcadores de rumbo 504 y 508 de ejemplo que están separados de los respectivos marcadores de aterrizaje 502 y 506, pero cerca de estos. La ubicación de los marcadores de rumbo con respecto al centro de los marcadores de aterrizaje puede indicar la dirección del rumbo para aterrizar un UAV. Por ejemplo, los marcadores de rumbo 504 y 508 ilustrados indican un rumbo hacia la derecha de los marcadores de aterrizaje. En algunas realizaciones, los marcadores de rumbo se distinguen visualmente de los marcadores de aterrizaje para facilitar la identificación correcta de ambos. La distinción visual entre los marcadores se puede proporcionar mediante una diferencia en forma, patrón, tamaño, color y similares. Por ejemplo, en la Figura 5, los marcadores de aterrizaje 502 y 504 se muestran como anillos concéntricos, mientras que el marcador de rumbo 504 es un anillo individual, y el marcador de rumbo 508 es un círculo sólido.
La figura 6 ilustra marcadores de aterrizaje y/o rumbo de ejemplo adicionales, de acuerdo con realizaciones. Un marcador de rumbo puede incluir o incluirse en una marca de aterrizaje. El marcador de rumbo puede incluir un componente que es parte integral de una marca de aterrizaje. En algunos casos, un marcador de aterrizaje puede ser el mismo que el marcador de rumbo. El marcador de rumbo puede ser un componente aditivo de un marcador de aterrizaje. El rumbo del UAV se puede indicar por la forma geométrica u orientación del marcador de rumbo. Por ejemplo, el marcador de rumbo 604 comprende una protuberancia que apunta a la dirección de rumbo (por ejemplo, derecha) con respecto al centro de marcador de aterrizaje 602. De manera similar, el marcador de rumbo 608 indica una dirección de rumbo similar a una barra horizontal a la derecha del centro de marcador de aterrizaje 606.
De manera alternativa o adicionalmente, la dirección de rumbo puede estar indicada por una o más aberturas, cavidades o porciones faltantes o sustractivas de un marcador de aterrizaje. En tal caso, la o las partes faltantes se pueden considerar el marcador de rumbo. Alternativamente, una porción del marcador de aterrizaje con la o las porciones faltantes o el marcador de aterrizaje en su conjunto se puede considerar el marcador de rumbo. Por ejemplo, en la Figura 6 , el marcador de aterrizaje 610 incluye una abertura en el anillo externo que indica la dirección de rumbo (por ejemplo, derecha). El marcador de aterrizaje 610 incluye tanto el anillo interno como el anillo externo con la abertura. El marcador de rumbo 612 puede hacer referencia al marcador de aterrizaje 610 en su conjunto, el anillo externo con la abertura o la abertura en sí misma. Como otro ejemplo, en la Figura 6 , el marcador de aterrizaje 614 incluye aberturas tanto en el anillo interno como en el anillo externo. Las aberturas indican colectivamente una dirección de dirección a la derecha del centro de marcador de aterrizaje. El marcador de aterrizaje 614 incluye tanto el anillo interno como el anillo externo. El marcador de rumbo 616 puede hacer referencia al marcador de aterrizaje 614 en su conjunto, el anillo interno con su abertura, el anillo externo con su abertura o las propias aberturas.
En algunas realizaciones, los marcadores pueden indicar más de un posible rumbo de aterrizaje para que el UAV aterrice. La figura 7 ilustra estos marcadores de aterrizaje y/o rumbo de ejemplo, de acuerdo con realizaciones. Los marcadores de encabezado ilustrados son similares a los descritos en la Figura 6 pero cada marcador de aterrizaje está asociado con más de un rumbo de aterrizaje. Por ejemplo, el marcador de aterrizaje 702 se asocia con tres rumbos de aterrizaje, izquierdo, arriba y derecho, como se indica por las orientaciones de las barras correspondientes 704. El marcador de aterrizaje 706 se asocia con dos rumbos de aterrizaje, hacia arriba y hacia la derecha, como se indica por los puntos de los respectivos marcadores de rumbo 708. El marcador de aterrizaje 710 se asocia con dos rumbos de aterrizaje, izquierdo y derecho, como se indica por los respectivos marcadores de rumbo 712 (aberturas) en el anillo externo. Y el marcador de aterrizaje 714 se asocia con dos rumbos de aterrizaje, izquierdo y derecho, como se indica por los respectivos marcadores de rumbo 716 (aberturas) en los anillos interno y externo. En algunas realizaciones, la pluralidad de marcadores de rumbo asociados con un marcador de aterrizaje pueden parecer similares entre sí. En algunas otras realizaciones, los marcadores de rumbo para un marcador de aterrizaje dado pueden tener diferentes formas, colores, patrones, tamaños y similares, para indicar diferentes prioridades o preferencias entre los marcadores de rumbo. Por ejemplo, un primer marcador de rumbo con una primera apariencia visual puede indicar un rumbo de aterrizaje más preferido; mientras que un segundo marcador de rumbo con una segunda apariencia visual puede indicar un rumbo de aterrizaje menos preferido.
Opcionalmente, se pueden proporcionar marcadores de seguridad con fines de seguridad o autenticación. Un marcador de seguridad puede ser capaz de transmitir información de autenticación tal como credenciales, identificadores de seguridad y similares. Un marcador de seguridad se puede implementar por cualquier marcador fiduciario adecuado tal como un código de barras o etiqueta unidimensional o bidimensional que sea legible por máquina para extraer la información de autenticación correspondiente. La información de autenticación transmitida por un marcador de seguridad se puede verificar para autenticar uno o más objetos asociados con el marcador de seguridad. Los objetos asociados con un marcador de seguridad pueden incluir un área de aterrizaje (por ejemplo, de una estación base) en la que se ubica el marcador de seguridad o un objeto (por ejemplo, una superficie superior de un vehículo) al que se une el marcador de seguridad. Adicionalmente o alternativamente, el marcador de seguridad se puede usar para autenticar uno o más objetos dentro de una cierta distancia del marcador de seguridad, tal como uno o más marcadores de aterrizaje y/o marcadores de rumbo ubicados cerca del marcador de seguridad. El marcador de seguridad también se puede usar para autenticar una o más entidades asociadas con el marcador de seguridad o cualquier otro objeto tal como un proveedor de servicios, una organización, una agencia gubernamental y similares.
El marcador de seguridad puede ser una parte de o estar ubicado cerca de un marcador de aterrizaje y/o un marcador de rumbo, de modo que el marcador de seguridad se pueda detectar con los marcadores de aterrizaje/rumbo dentro del mismo campo visual o en marcos de imagen adyacentes. La figura 8 ilustra la colocación de ejemplo de un marcador de seguridad con respecto a los marcadores de aterrizaje/rumbo, de acuerdo con realizaciones. Por ejemplo, como se ilustra, un marcador de seguridad 804 puede estar ubicado en el marcador de aterrizaje 802 (por ejemplo, en el centro o entre anillos concéntricos). Un marcador de seguridad 808 también se puede ubicar junto a un marcador de aterrizaje 806. De manera similar, un marcador de seguridad 814 se puede ubicar dentro de un marcador de rumbo 812, o un marcador de seguridad 820 se puede ubicar fuera de un marcador de rumbo 818. En algunas otras realizaciones, los marcadores de seguridad pueden ser una parte integral de un marcador de aterrizaje y/o rumbo. Por ejemplo, el diseño general del marcador de aterrizaje y/o rumbo o una porción del mismo puede codificar información de autenticación.
Los marcadores de seguridad pueden mejorar la seguridad del aterrizaje autónomo de los UAV. En algunos casos, una entidad no autorizada puede intentar interceptar un UAV que usa un marcador de aterrizaje no autorizado. Sin marcadores de seguridad, el UAV puede aterrizar o intentar aterrizar en un área no deseada, insegura o no autorizada utilizando el marcador de aterrizaje falso. En consecuencia, el UAV puede ser interceptado por la entidad no autorizada, se puede dañado o se puede perder. Al detectar y verificar un marcador de seguridad asociado al marcador de aterrizaje, un UAV puede evitar estas interceptaciones no autorizadas al no aterrizar en el marcador de aterrizaje no autorizado, cuando el marcador de seguridad no se detecta o cuando la verificación falla.
La figura 9 ilustra un proceso de ejemplo 900 para aterrizaje autónomo, de acuerdo con realizaciones. Los aspectos del proceso 900 pueden ser realizados por uno o más procesadores a bordo y/o fueraborda de un UAV. Algunos o todos los aspectos del proceso 900 (o cualquier otro proceso descrito en la presente, o variaciones y/o combinaciones de los mismos) se pueden realizar bajo el control de uno o más sistemas informáticos/de control configurados con instrucciones ejecutables y se pueden implementar como código (por ejemplo, instrucciones ejecutables, uno o más programas informáticos o una o más aplicaciones) ejecutándose colectivamente en uno o más procesadores, mediante hardware o combinaciones de los mismos. El código se puede almacenar en un medio de almacenamiento legible por computadora, por ejemplo, en forma de un programa de computadora que comprende una pluralidad de instrucciones ejecutables por uno o más procesadores. El medio de almacenamiento legible por computadora puede ser no transitorio. El orden en que se describen las operaciones no se pretende interpretar como una limitación, y cualquier número de las operaciones descritas se puede combinar en cualquier orden y/o en paralelo para implementar los procesos.
En el bloque 902, se detecta un marcador objetivo con base en, al menos en parte, una pluralidad de imágenes capturadas por un dispositivo de formación de imágenes transportado por un UAV. El marcador objetivo puede incluir un marcador de aterrizaje descrito en la presente. Las imágenes se pueden tomar cuando el UAV y/o el dispositivo de formación de imágenes se mueve de manera lateral o rotacionalmente. En algunas realizaciones, un portador puede controlar el dispositivo de formación de imágenes para que se mueva con respecto a hasta tres ejes de libertad para buscar el marcador objetivo. En algunas otras realizaciones, el dispositivo de formación de imágenes se une de forma fija al UAV y no se puede mover con respecto al UAV.
El marcador objetivo se puede detectar con base en, al menos en parte, las imágenes capturadas. Las imágenes se pueden procesar para identificar una o más características asociadas con el marcador objetivo (por ejemplo, un anillo o una porción del mismo). Las características identificadas en múltiples imágenes se pueden asociar con uno o más marcadores candidatos. Por ejemplo, se puede determinar que un primer anillo identificado en una primera imagen y un segundo anillo identificado en una segunda imagen corresponden al mismo marcador candidato que comprende el anillo. A cada uno de los marcadores candidatos se le puede asignar un peso respectivo que indica la probabilidad de que el marcador candidato sea el marcador objetivo. Un marcador candidato se puede seleccionar como el marcador objetivo con base en los pesos de los marcadores candidatos. Por ejemplo, se puede seleccionar el marcador candidato con el peso más alto.
En algunas realizaciones, se pueden detectar más de un marcador objetivo de la pluralidad de imágenes. Por ejemplo, los marcadores objetivo pueden incluir un marcador de aterrizaje, un marcador de rumbo y/o un marcador de seguridad, como se describe en la presente.
En el bloque 904, se determina una relación espacial entre el UAV y el marcador objetivo con base en, al menos en parte, las imágenes. La relación espacial entre el UAV y el marcador objetivo puede incluir una distancia horizontal y/o una distancia vertical entre el UAV y el marcador objetivo. En algunas realizaciones, la posición del marcador objetivo en un sistema de coordenadas de imagen se puede convertir en la posición del marcador objetivo en un sistema de coordenadas de cámara con base en parámetros de cámara. Los parámetros de la cámara pueden incluir parámetros internos (por ejemplo, distancia focal) y parámetros externos (por ejemplo, posición relativa). La posición del marcador objetivo en el sistema de coordenadas de cámara se puede convertir en la posición del marcador objetivo en un sistema de coordenadas de UAV con base en, al menos en parte, una relación espacial, tal como un ángulo de rotación y/o desplazamiento traslacional, entre la cámara y el UAV. La relación espacial también puede incluir un ángulo entre el rumbo actual del UAV y un rumbo indicado por el marcador objetivo (por ejemplo, marcador de rumbo).
En el bloque 906, el UAV se controla para acercarse al marcador objetivo con base en, al menos en parte, la relación espacial mientras que el marcador objetivo se rastrea usando el dispositivo de formación de imágenes. Un estado del UAV se puede controlar para hacer que el UAV se acerque al marcador objetivo de manera horizontal y/o verticalmente. El estado del UAV que se puede ajustar puede incluir velocidad, altitud, aceleración, actitud y similares. Por ejemplo, se puede controlar una velocidad horizontal y/o una velocidad vertical del UAV para disminuir la distancia entre el uAv y el marcador objetivo. Como otro ejemplo, el rumbo del UAV se puede ajustar para alinearse sustancialmente con un eje longitudinal del UAV a lo largo de una dirección indicada por un marcador de rumbo antes o durante la aproximación del UAV al marcador de aterrizaje. En algunas realizaciones, el UAV puede determinar si se aproxima a un marcador de aterrizaje con base en el resultado de la validación de un marcador de seguridad.
La figura 10 ilustra otro proceso de ejemplo 1000 para aterrizaje autónomo, de acuerdo con realizaciones. Los aspectos del proceso 1000 pueden ser realizados por uno o más procesadores a bordo y/o fueraborda de un UAV.
En el bloque 1002, se detecta un marcador. El marcador puede ser un marcador de aterrizaje que indica una ubicación de aterrizaje para el UAV. El marcador se puede detectar a partir de una o más imágenes tomadas por uno o más dispositivos de formación de imágenes transportados por el UAV. El marcador se puede identificar usando cualquier técnica adecuada de reconocimiento de patrones y/o objetos tal como las técnicas de detección descritas en la presente. La detección del marcador se puede realizar periódicamente, por ejemplo, a una frecuencia dada (por ejemplo, 1Hz, 5Hz, 10Hz, 15Hz, 16Hz, 20Hz, 50Hz, 100Hz).
En el bloque 1004, se determina un centro de marcador. En algunos casos, el centro de marcador se puede marcar y detectar explícitamente. En otros casos, el centro de marcador no está marcado y necesita ser estimado. El centro determinado del marcador puede ser un centro geométrico estimado del marcador. Por ejemplo, si el marcador comprende un anillo, el centro de marcador está en o cerca del centro del anillo. Si el marcador comprende múltiples anillos concéntricos, el centro de marcador se puede calcular con base en los centros estimados de los anillos respectivos (por ejemplo, mediante el uso de mínimos cuadrados).
La determinación de un centro de marcador puede incluir determinar una posición del centro de marcador dentro de cualquier sistema de coordenadas adecuado. Por ejemplo, se puede determinar una posición del centro de marcador dentro de un sistema de coordenadas de imagen. Adicionalmente, se puede determinar una posición del centro de marcador en un sistema de coordenadas del dispositivo de formación de imágenes y/o el sistema de coordenadas del UAV.
En el bloque 1006, se puede controlar un portador para rastrear o seguir el marcador. El rastreo o seguimiento del marcador puede incluir mantener el centro de marcador en o cerca de una posición predeterminada (por ejemplo, centro) del campo de visión del dispositivo de formación de imágenes. En algunas realizaciones, se puede controlar un cabeceo, guiñada y/o guiñada del portador para cambiar una postura del dispositivo de formación de imágenes soportado por el portador. El cambio de postura del dispositivo de formación de imágenes se puede utilizar para corregir una desviación del centro de marcador desde la posición predeterminada en el campo de visión del dispositivo de formación de imágenes. El control para el portador se puede implementar usando un mecanismo de retroalimentación de bucle de control tal como un controlador derivado integral proporcional (controlador PID). En algunas otras realizaciones, se puede controlar un cabeceo, guiñada y/o guiñada del UAV para rastrear el marcador.
En el bloque 1008, se predice la velocidad del UAV. La velocidad del UAV puede incluir uno o más componentes de velocidad horizontal y/o vertical. La velocidad del UAV se puede predecir con base en los datos del sensor obtenidos de varios sensores del UAV tal como unidad de medición inercial (IMU), sensores de imagen, sensores de ubicación (por ejemplo, GPS) y similares. La predicción de la velocidad del UAV se puede realizar periódicamente, por ejemplo, a una frecuencia dada (por ejemplo, 1Hz, 5Hz, 10Hz, 15Hz, 16Hz, 20Hz, 50Hz, 100Hz, 200Hz, 500Hz, 1000Hz).
En el bloque 1010, se determina la desviación horizontal del UAV desde el centro de marcador. La desviación horizontal se puede expresar como desplazamiento relativo entre el UAV y el centro de marcador a lo largo de dos ejes del plano horizontal (por ejemplo, eje x e eje y). La desviación horizontal se puede determinar con base en la velocidad de UAV prevista, como se determina en el bloque 1008, y/o la posición del centro de marcador, como se determina en el bloque 1004.
En el bloque 1012, se controla la velocidad horizontal del UAV. El control de la velocidad horizontal del UAV se puede basar en la desviación horizontal del UAV desde el centro de marcador, como se determina en el bloque 1010. La velocidad horizontal del UAV se puede controlar para minimizar la desviación horizontal del UAV desde el centro de marcador. El control para la velocidad horizontal del UAV se puede implementar usando un mecanismo de retroalimentación de bucle de control tal como un controlador PID.
En el bloque 1014, se controla la velocidad vertical del UAV. El control de la velocidad vertical del UAV se puede basar en una desviación vertical del UAV desde el centro de marcador. La desviación vertical se puede determinar con base en uno o más sensores tal como sensores de ultrasonido, lidar, sensores de imagen (por ejemplo, sensores de monovisión, sensores de estereo-visión) y similares. En algunos casos, la desviación vertical se puede determinar con base en el tamaño del marcador detectado en el bloque 1002. En algunas realizaciones, el control de la velocidad vertical del UAV se puede basar en la desviación horizontal desde el centro de marcador, como se determina en el bloque 1010. Por ejemplo, la velocidad vertical puede estar correlacionada negativamente con la desviación horizontal. Ventajosamente, este planteamiento puede asegurar un descenso más gradual cuando la desviación horizontal entre el UAV y el centro de marcador es grande (por ejemplo, cuando el UAV está lejos del centro de marcador) y un descenso más rápido cuando la desviación horizontal es menor (por ejemplo, cuando el UAV está directamente por encima o cerca a directamente por encima del marcador).
En el bloque 1016, se determina si el UAV ha alcanzado el suelo. La determinación se puede basar en datos de sensor de cualquier sensor adecuado tal como un sensor táctil, un sensor de proximidad, un termómetro, un sensor GPS y similares.
Si se determina, en el bloque 1016, que no se ha alcanzado el suelo, entonces el proceso 1000 vuelve al bloque 1002 para detectar el marcador. Por ejemplo, el UAV y/o el dispositivo de formación de imágenes se pueden controlar para moverse en un patrón predeterminado para buscar el marcador. De lo contrario, si se determina que el suelo no se ha alcanzado, entonces el proceso 1000 termina en el bloque 1018.
La figura 11 ilustra otro proceso de ejemplo 1100 para aterrizaje autónomo, de acuerdo con realizaciones. Los aspectos del proceso 1100 pueden ser realizados por uno o más procesadores a bordo y/o fueraborda de un UAV.
En el bloque 1102, se busca un marcador de aterrizaje. Para buscar la marca de aterrizaje, se puede controlar el UAV para que se desplace o se mueva a una o más posiciones predeterminadas. O, el UAV se puede controlar para moverse en un patrón predeterminado (por ejemplo, en un círculo). De manera adicional o alternativa, el dispositivo de formación de imágenes se puede controlar para mantener una postura predeterminada (por ejemplo, apuntar directamente hacia abajo o hacia adelante en la misma dirección que el rumbo del UAV) y/o moverse con respecto al UAV (por ejemplo, rotación alrededor de un eje de cabeceo, un eje de guiñada y/o un eje de balanceo). El movimiento del dispositivo de formación de imágenes con respecto al UAV puede ser provocado por un portador.
En algunas realizaciones, la búsqueda del marcador de aterrizaje se puede iniciar en respuesta a instrucciones (que incluyen señales y datos de control) recibidas de un dispositivo remoto (por ejemplo, un controlador remoto, una estación base, otro UAV). Las instrucciones pueden indicar que el UAV debe comenzar a buscar y descender hacia un marcador de aterrizaje. Las instrucciones se pueden generar con base en una acción del usuario (por ejemplo, operación de controlador remoto) o por un proceso automatizado o semiautomatizado que se ejecuta en el dispositivo remoto (por ejemplo, un programa de gestión de aterrizaje de UAV). En algunas otras realizaciones, la búsqueda de aterrizaje se puede iniciar de forma autónoma por el uAv con base en activadores internos o externos tal como el estado del UAV (por ejemplo, posición, actitud, altitud, duración de la batería del UAV), tiempo, ubicación geográfica, datos de sensor y similares. Por ejemplo, el UAV se puede configurar para comenzar a buscar un marcador de aterrizaje cuando su duración de batería está por debajo de un umbral predeterminado (por ejemplo, menos del 10% de una carga completa). Como otro ejemplo, el uAv se puede configurar para comenzar a buscar un marcador de aterrizaje después de que haya estado volando durante un período de tiempo predeterminado (por ejemplo, 20 minutos).
Las instrucciones sobre los marcadores a buscar se pueden transmitir o poner a disposición del UAV. Estas instrucciones pueden incluir los tipos de marcadores (por ejemplo, marcador de aterrizaje, marcador de rumbo, marcador de seguridad) que se van a buscar y las características asociadas con cada tipo de marcador. Los ejemplos de estas características de los marcadores pueden incluir color, forma, patrón, textura y similares. Por ejemplo, las instrucciones pueden indicar que un marcador de aterrizaje tiene anillos concéntricos, un marcador de rumbo tiene un anillo individual y un marcador de seguridad es un código de barras bidimensional. Las instrucciones pueden indicar si, dónde y/o cómo buscar y/o detectar los marcadores. En algunas realizaciones, las instrucciones pueden variar dependiendo de la estación base asociada con los marcadores. Por ejemplo, se puede asociar información de color diferente con marcadores para diferentes estaciones base. En algunas realizaciones, las instrucciones pueden variar dependiendo de la estrategia de aterrizaje para un UAV específico. Por ejemplo, las instrucciones pueden indicar a un UAV que aterrice hacia el anillo más pequeño detectado en un marcador de anillo concéntrico ubicado en una primera área de una estación base. De manera alternativa, las instrucciones pueden indicar al UAV que aterrice hacia el anillo más grande detectado en un marcador de un anillo individual ubicado en una segunda área de la estación base (por ejemplo, área de espera). Estas instrucciones se pueden generar con base en el estado actual del tráfico (por ejemplo, una cantidad de UAV que esperan para aterrizar y una cantidad de puntos disponibles para aterrizar), una prioridad de los UAV, un estado actual del UAV (por ejemplo, duración de la batería) y similares.
En algunas realizaciones, el tamaño real de un marcador puede estar disponible para uno o más procesadores a bordo del UAV de modo que los procesadores puedan determinar una distancia al marcador con base en una relación entre un tamaño percibido del marcador en una imagen y el tamaño real del marcador. En algunas otras realizaciones, el tamaño real del marcador no está disponible para los procesadores.
En varias realizaciones, las instrucciones analizadas anteriormente se pueden transmitir al UAV cuando el UAV está funcionando (por ejemplo, en el aire). Por ejemplo, las instrucciones se pueden transmitir dinámicamente al UAV desde un controlador remoto o estación base. En algunas otras realizaciones, estas instrucciones pueden ser generadas automáticamente por el UAV con base en el estado actual del UAV o el entorno actual. En aun algunas otras realizaciones, las instrucciones se pueden precargar en una unidad de memoria del UAV y están disponibles para uno o más procesadores a bordo del UAV. Ventajosamente, las instrucciones de aterrizaje se pueden utilizar para proporcionar control dinámico, detallado y flexible sobre el aterrizaje de los UAV.
En el bloque 1104, se determina si se detecta un marcador de aterrizaje. El marcador de aterrizaje se puede detectar a partir de una o más imágenes tomadas por un dispositivo de formación de imágenes transportado por el UAV. En algunas realizaciones, el UAV se puede configurar para transportar más de un dispositivo de formación de imágenes o sensor de visión. Las imágenes de algunos o todos estos dispositivos de formación de imágenes o sensores de visión pueden ser procesadas por uno o más procesadores a bordo y/o fueraborda del UAV para identificar un marcador de aterrizaje. Se proporciona una descripción detallada de las técnicas de detección de marcadores en las Figuras 12-15 .
Si se determina en el bloque 1104 que no se ha detectado un marcador de aterrizaje, entonces el proceso 1100 vuelve al bloque 1102 para buscar un marcador de aterrizaje, como se analizó anteriormente. De lo contrario, si se determina en el bloque 1104 que se ha detectado un marcador de aterrizaje, entonces en el bloque 1106, entonces el UAV se controla para acercarse al marcador de aterrizaje mientras que el marcador de aterrizaje se rastrea usando un dispositivo de formación de imágenes. El análisis detallado del control del UAV para acercarse al marcador de aterrizaje mientras se rastrea el marcador de aterrizaje se proporciona en las Figuras 16-19 .
En el bloque 1108, se determina si el dispositivo de formación de imágenes ha perdido la pista del marcador de aterrizaje, es decir, cuando el marcador de aterrizaje ya no está dentro del campo de visión del dispositivo de formación de imágenes. Esto puede suceder debido al movimiento del UAV y/o el dispositivo de formación de imágenes o un bloqueo temporal del marcador de aterrizaje por un obstáculo. Si se determina en el bloque 1108 que el marcador de aterrizaje se pierde, entonces el proceso 1100 vuelve al bloque 1102 para buscar un marcador de aterrizaje, como se analizó anteriormente. En algunas realizaciones, cuando el dispositivo de formación de imágenes pierde la pista de un marcador objetivo, el UAV se puede controlar para ascender a una altitud predeterminada. El UAV y/o el dispositivo de formación de imágenes se pueden controlar para rotar un patrón predeterminado (por ejemplo, alrededor de un eje de guiñada y/o un eje de cabeceo) para buscar el marcador objetivo hasta que se encuentre el marcador objetivo o hasta que haya expirado un tiempo predeterminado. Si el marcador de aterrizaje no se pierde, entonces el proceso 1100 procede al bloque 1110.
En el bloque 1110, se determina si se detecta un marcador de rumbo. En algunas realizaciones, el UAV, el portador y/o el dispositivo de formación de imágenes se pueden controlar para buscar el marcador de rumbo de una manera similar al marcador de aterrizaje descrito en el bloque 1102. El marcador de rumbo se puede detectar en imágenes iguales o diferentes a las de los marcadores de aterrizaje. En algunos casos, el marcador de rumbo se puede detectar antes de que el UAV comience a acercarse al marcador de aterrizaje o mientras el UAV se está acercando al marcador de aterrizaje.
La búsqueda del marcador de rumbo puede ser requerida o no, dependiendo de las instrucciones o parámetros de configuración accesibles al UAV. La búsqueda del marcador de rumbo, cuando sea necesario, se puede limitar a un período de tiempo predeterminado (por ejemplo, un minuto). Si el marcador de rumbo no se encuentra dentro del período de tiempo, entonces se puede permitir que el UAV aterrice con cualquier dirección de rumbo. O, el UAV se puede configurar para aterrizar en una dirección de rumbo predeterminada sin un marcador de aterrizaje.
Si se determina en el bloque 1110 que se ha detectado un marcador de rumbo, entonces en el bloque 1112, el UAV se puede controlar para alinear su rumbo de acuerdo con el marcador de rumbo detectado. Por ejemplo, si el marcador de rumbo detectado apunta hacia el norte, entonces se puede controlar que el UAV gire alrededor de su eje vertical para alinear su rumbo para apuntar hacia el norte o una dirección sustancialmente hacia el norte. En algunas realizaciones, una o más imágenes que contienen el marcador de rumbo se pueden procesar para determinar una orientación o dirección indicada por el marcador de rumbo. Por ejemplo, se pueden detectar características durante el procesamiento de imágenes. Los atributos de las características tal como dirección u orientación de borde se pueden utilizar para determinar una dirección de rumbo.
El rumbo del UAV está alineado antes del aterrizaje del UAV. En algunas realizaciones, el rumbo del UAV se alinea inmediatamente antes del aterrizaje del UAV. Por ejemplo, el UAV se puede controlar para moverse a una posición directamente por encima del marcador de aterrizaje, alinear su dirección de rumbo de acuerdo con el marcador de rumbo y luego descender para aterrizar en el marcador de aterrizaje. De manera alternativa, el rumbo del UAV se podrá ajustar en cualquier momento adecuado antes del aterrizaje. Por ejemplo, el rumbo se puede ajustar antes de que el UAV comience a descender hacia el marcador de aterrizaje o mientras que el UAV desciende hacia el marcador de aterrizaje.
Si se determina en el bloque 1110 que un marcador de rumbo no se detecta o no se requiere, entonces el proceso 1100 procede al bloque 1114, donde se determina si se detecta un marcador de seguridad. Como se analizó anteriormente, el marcador de seguridad se puede utilizar para autenticar uno o más marcadores o un proveedor de los marcadores. Por ejemplo, el marcador de seguridad puede estar ubicado cerca del marcador de aterrizaje y/o el marcador de rumbo de modo que la validación del marcador de seguridad también validaría los otros marcadores.
El marcador de seguridad se puede detectar en las mismas o diferentes imágenes que los marcadores de aterrizaje y/o de rumbo. El marcador de seguridad se puede detectar usando cualquier lector de marcadores adecuado que se pueda implementar en hardware (por ejemplo, escáner de código de barras) y/o software. Este lector de marcadores puede estar separado del dispositivo de formación de imágenes utilizado para detectar el marcador de aterrizaje. De manera alternativa, el lector de marcadores puede ser una parte integral del dispositivo de formación de imágenes. En algunas realizaciones, el marcador de seguridad se puede detectar de una manera similar a los marcadores de aterrizaje y/o rumbo.
La información de seguridad se puede extraer del marcador de seguridad (por ejemplo, por el lector de marcadores) y verificar. La información de seguridad se puede verificar contra la información precargada en el UAV. De manera alternativa, la información de seguridad se puede proporcionar a un dispositivo remoto y se puede verificar de forma remota. Entonces, el resultado de la verificación se puede transmitir de nuevo al UAV. En algunas realizaciones, la información de seguridad del marcador de seguridad se puede combinar con otra información tal como información de tiempo (por ejemplo, tiempo de GPS) y/o información de ubicación para derivar información de seguridad combinada para mejorar la seguridad. Entonces se puede verificar la información de seguridad combinada. En algunos casos, el marcador de seguridad se puede detectar antes de que el UAV comience a acercarse al marcador de aterrizaje o mientras el UAV se está acercando al marcador de aterrizaje. El marcador de seguridad se puede detectar antes o después de la detección del marcador de rumbo.
En el bloque 1118, se determina si el marcador de seguridad se ha verificado con éxito. Si se verifica con éxito, entonces en el bloque 1120, el UAV se controla para aterrizar en o cerca del marcador de aterrizaje descrito anteriormente. Si no se verifica con éxito o si el marcador de seguridad no se detecta o no se requiere, entonces el UAV se controla para no aterrizar en o cerca del marcador de aterrizaje. Por ejemplo, el UAV se puede controlar para mantener su posición actual o incluso volar lejos del marcador de aterrizaje. En algunas realizaciones, el UAV se puede configurar para proporcionar señales de advertencia. Las señales de advertencia pueden ser proporcionadas por el propio UAV (por ejemplo, a través de sonido y/o luz) o transmitidas a un dispositivo remoto (por ejemplo, un controlador remoto o estación base). Las señales de advertencia pueden incluir información sobre un marcador de seguridad no autorizado y/o marcador de aterrizaje no autorizado, tal como posiciones o imágenes de los mismos.
La figura 12 ilustra un proceso de ejemplo 1200 para detectar un marcador objetivo, de acuerdo con realizaciones El marcador objetivo se puede detectar en función de una pluralidad de imágenes capturadas por un dispositivo de formación de imágenes transportado por un UAV. El marcador objetivo puede ser un marcador de aterrizaje que indica una ubicación de aterrizaje para el UAV. Alternativamente, el marcador objetivo puede ser un marcador de rumbo que indica un rumbo de aterrizaje, o un marcador de seguridad que proporciona seguridad para el aterrizaje. Los aspectos del proceso 1200 pueden ser realizados por uno o más procesadores a bordo y/o fueraborda de un UAV. Los procesadores pueden incluir una o más unidades centrales de procesamiento (CPU), unidades de procesamiento de gráficos (GPU), conjuntos de compuertas programables en el campo (FPGA) o similares. En algunas realizaciones, al menos uno de los procesadores está acoplado operativamente al dispositivo de formación de imágenes. En algunas realizaciones, al menos uno de los procesadores es una parte del dispositivo de formación de imágenes.
En el bloque 1202, las características asociadas con el marcador objetivo (por ejemplo, un marcador de aterrizaje) se identifican en múltiples marcos de imágenes. Las imágenes se pueden capturar mediante un dispositivo de formación de imágenes transportado por un UAV. Las imágenes se procesan para detectar y aislar características asociadas con uno o más marcadores candidatos, que son candidatos potenciales para el marcador objetivo. Las características pueden incluir formas geométricas contenidas en los marcadores (por ejemplo, anillos) o porciones de las formas geométricas (por ejemplo, esquinas, bordes, arcos). Las características se pueden detectar y/o extraer usando cualquier técnica de detección/extracción de características adecuada tal como transformada de Hough, umbral, transformada de característica invariante de escala (SIFT, por sus siglas en inglés) y similares. Por ejemplo, si se sabe que el marcador objetivo es de un color particular (por ejemplo, rojo), entonces las características del canal de color particular se pueden restar usando uno o más umbrales.
En varias realizaciones, se puede usar cualquier técnica de detección de características adecuada para detectar las características marcadores. Las instrucciones que describen las características que se detectarán se pueden conocer de antemano. Por ejemplo, las instrucciones proporcionadas al UAV y/o precargadas en una unidad de memoria del UAV pueden incluir una descripción de las características. El tamaño real del marcador puede o no estar disponible para el UAV.
En el bloque 1204, las características identificadas en los múltiples marcos se asocian con marcadores candidatos. En algunas realizaciones, las características se pueden asociar directamente con marcadores candidatos. Por ejemplo, un marcador candidato puede comprender un anillo. El anillo o sus porciones se pueden detectar e identificar como características en diferentes marcos. Estas características se pueden asociar con el mismo identificador para indicar que las características corresponden al mismo marcador candidato. En algunas otras realizaciones, las características se pueden asociar primero con componentes marcadores candidatos respectivos y los componentes marcadores candidatos luego se pueden asociar con marcadores candidatos. A modo de ejemplo, un marcador candidato puede comprender múltiples anillos concéntricos, cada anillo es un componente marcador candidato. Para cada anillo, se puede identificar un conjunto de características como correspondientes al anillo y, por lo tanto, se le puede asignar un identificador único. A continuación, los anillos se pueden identificar como concéntricos y, por lo tanto, se pueden asociar con el mismo marcador candidato. Por lo tanto, a los conjuntos de características asociadas con los diversos marcadores de componente candidatos se les puede asignar el mismo identificador para indicar que todos están asociados con el mismo marcador candidato. Se puede usar cualquier técnica de detección y/o rastreo de objetivo adecuada, que incluye métodos de rastreo por detección que utilizan, por ejemplo, filtros de Kalman o filtros de partículas.
En el bloque 1206, se actualizan los pesos asociados con los marcadores candidatos. El valor de ponderación asociado con un marcador candidato indica la probabilidad de que el marcador candidato dado sea el marcador objetivo. Los valores de peso iniciales se pueden asignar a los marcadores candidatos cuando se detectan los marcadores candidatos. Los valores de peso se pueden actualizar periódica o continuamente a medida que se adquieren nuevas imágenes en función de los atributos de los marcadores candidatos tal como los tamaños relativos y si el marcador candidato incluye componentes concéntricos y similares. En algunas realizaciones, los pesos se asocian con características y se actualizan con base en los atributos de características tales como tamaños relativos y concentricidad.
En el bloque 1208, se determina un marcador objetivo a partir de marcadores candidatos en función de los pesos de los marcadores candidatos. En algunas realizaciones, los marcadores candidatos se pueden clasificar de acuerdo con sus valores de peso y el marcador candidato con el valor de peso más alto se puede seleccionar como el marcador objetivo. Si el marcador objetivo es un marcador de aterrizaje, el centro de marcador objetivo se utiliza como la ubicación de aterrizaje para el UAV. Si el marcador objetivo es un marcador de rumbo, la orientación del marcador objetivo se puede determinar y utilizar como dirección para el rumbo del UAV cuando aterrice. Si el marcador objetivo es un marcador de seguridad, se puede leer el marcador objetivo para extraer información de seguridad, que se puede verificar. En algunas realizaciones, el proceso 1200 se puede repetir a medida que se encuentran disponibles nuevas imágenes. En realizaciones donde los pesos están asociados con características, se puede seleccionar una característica (por ejemplo, anillo) con el peso más alto y se puede determinar que el centro de la característica es la ubicación de aterrizaje.
La figura 13 ilustra otro proceso de ejemplo 1300 para detectar un marcador de objetivo, de acuerdo con realizaciones Los aspectos del proceso 1300 pueden ser realizados por uno o más procesadores a bordo y/o fueraborda de un UAV.
En el bloque 1302, se recibe un nuevo marco de imagen como el marco actual. La nueva imagen puede incluir datos que se generan mediante un dispositivo de formación de imágenes transportado por un UAV. El dispositivo de formación de imágenes se puede configurar para generar marcos de nuevas imágenes de forma continua o periódica.
En el bloque 1304, la nueva imagen se puede procesar para identificar características (por ejemplo, anillos) asociadas con el marcador objetivo. La identificación de características puede incluir la detección y extracción de características. Por ejemplo, las imágenes en color pueden tener un umbral al designar un umbral separado para cada componente o canal de color (por ejemplo, rojo, verde o azul). Las características se pueden extraer de la imagen con umbral. Las características extraídas se pueden analizar para determinar si pertenecen a una cierta clase de formas tales como anillos, por ejemplo, usando la transformada de Hough. Se puede asignar una puntuación de confianza a cada característica para indicar la probabilidad de que la característica pertenezca a la clase de formas. Las características con puntuaciones de confianza por debajo de un cierto umbral pueden ignorarse o descartarse.
En el bloque 1306, se determina si alguna característica detectada en el marco actual se identificó en uno o más marcos anteriores, tal como el último marco, o los últimos marcos N donde N es mayor que 1. Si se determina que las características se identificaron en los marcos anteriores, entonces en el bloque 1308, esas características identificadas previamente se emparejan con las características identificadas actualmente, si es posible, para asociar características correspondientes al mismo objeto subyacente. El objeto subyacente puede ser un marcador o un componente marcador. Las características coincidentes comparten el mismo identificador de objeto (ID). A una característica recién identificada en el marco actual se le asigna el mismo ID de objeto para una característica coincidente de un marco anterior. Por lo tanto, el ID coincidente asocia la característica recién identificada en el marco actual con una característica coincidente en un marco anterior. La coincidencia o asociación de características a través de múltiples marcos puede basarse en diversos factores, tal como se discute en más detalle en la Figura 14. Si no hay características identificadas previamente (por ejemplo, el marco actual es el primer fotograma o no se identificó ninguna característica en los marcos anteriores) o si hay características recién identificadas no coincidentes o no asociadas en el marco actual después del bloque 1308, entonces en el bloque 1310, a las características recién identificadas no asociadas se les asignan nuevas ID de objeto que no se han asignado antes.
En el bloque 1312, los atributos de las características se actualizan con base en al menos en parte de si las características son concéntricas entre sí. Los atributos de característica pueden incluir un ID de objeto y un indicador de concentricidad que indica si es concéntrico con otra característica. Ejemplos adicionales de atributos de característica pueden incluir un identificador del marco para la característica, una posición o tamaño de la característica y similares. Las características con diferentes ID de objetos se comparan entre sí para determinar si son concéntricas entre sí. A las características concéntricas se les puede asignar el mismo ID de objeto. El indicador de concentricidad indica si una característica es concéntrica con al menos otra característica. El indicador de concentricidad puede establecerse en verdadero para las características que se determina que son concéntricas con otras características; de lo contrario, el indicador de concentricidad puede establecerse en falso. La determinación de la concentricidad se analiza adicionalmente en la Figura 15.
En el bloque 1314, las características asociadas con ponderaciones se actualizan en función de al menos en parte los atributos de las características. Un peso indica una probabilidad de que una característica es o sea parte del marcador objetivo. En algunas realizaciones, un peso se asocia con un ID de objeto por lo que las características con el mismo ID de objeto tienen el mismo peso. Un peso mayor puede indicar que es más probable que la característica asociada o el objeto asociado incluya o se incluya en un marcador objetivo; y viceversa. En una realización alternativa, el peso puede indicar una probabilidad de que una característica no es o no sea parte del marcador objetivo. En tal realización, un mayor peso puede indicar que es menos probable que la característica asociada sea el marcador objetivo; y viceversa. El peso se puede representar por un número o una cadena alfanumérica.
La asignación de peso entre las características en un marco dado se puede basar en políticas de asignación de peso predeterminadas. Las políticas de asignación de peso se pueden precargar al UAV o transmitir al UAV (por ejemplo, como parte de las instrucciones de aterrizaje). Las políticas de asignación de ponderación se pueden basar en atributos de característica tales como tamaños de característica relativos e indicadores de concentricidad. Las políticas de asignación de peso pueden reflejar diferentes prioridades dadas a diferentes marcadores y/o diferentes estrategias de aterrizaje al ser implementadas por el UAV. Por ejemplo, una política de aterrizaje de ejemplo puede especificar que se asigne mayor peso a características que son concéntricas y/o de menor tamaño. Dada esta política de asignación de peso, es más probable que el UAV se acerque y aterrice en el anillo más pequeño de un marcador concéntrico, al que se le daría el peso más alto, en lugar de otros anillos más grandes y/o no concéntricos cercanos, si los hubiera, a los que se les daría pesos más bajos. Otra política de aterrizaje de ejemplo puede especificar que se asigne un mayor peso a características que son las más grandes en tamaño y no concéntricas. Dada esta política de asignación de peso, es más probable que el UAV se acerque y aterrice en un marcador que comprenda un solo anillo grande, al que se le daría el peso más alto, en lugar de otros anillos más pequeños y/o concéntricos cercanos, si los hubiera, a los que se les daría pesos más bajos.
En algunas realizaciones, el proceso 1300 descrito anteriormente se puede repetir para cada marco recién adquirido hasta que se detiene el proceso 1300. Por ejemplo, el proceso 1300 puede detenerse cuando el UAV ha aterrizado o cuando el dispositivo de formación de imágenes deja de tomar nuevas imágenes.
La figura 14 ilustra un método de ejemplo para asociar características en diferentes marcos, de acuerdo con realizaciones. El método puede ser implementado por uno o más procesadores a bordo y/o fueraborda de un UAV. Se ilustran dos marcos, el marco 11402 y el marco 21404. El marco 11402 se puede generar antes del marco 21404. Se han identificado dos características en el marco 11402, el anillo A 1406 y el anillo B 1408. Al anillo A 1406 se le asigna un ID de objeto, 3, y al anillo B 1408 se le asigna un ID de objeto diferente, 5. Se han identificado tres características en el marco 2 1404, anillo C 1410, anillo D 1412 y el anillo E 1414. Las características en el marco 2 1404 y las características en el marco 11402 se comparan entre sí para determinar si alguna característica en el marco 2 1404 corresponde a alguna característica en el marco 11402. Tal como se ilustra, se determina que el anillo C 1410 y el anillo D 1412 en el marco 21404 corresponden respectivamente al anillo A 1406 y al anillo B 1408 en el marco 11402. Como resultado, al anillo C 1410 se le asigna el mismo ID de objeto, 3, que está asociado con el anillo A 1406 y al anillo D 1412 se le asigna el mismo ID de objeto, 5, que está asociado con el anillo B 1408. Por otro lado, el anillo E 1414 no corresponde con ninguna característica en el marco 11402 y, por lo tanto, se le asigna un nuevo ID de objeto 7, que es diferente de cualquiera de los ID de objeto existentes.
Dos características en dos marcos diferentes se pueden considerar una coincidencia cuando se cumplen uno o más criterios. Los criterios se pueden especificar en base a las propiedades de las características. En algunas realizaciones, las dos características se consideran coincidentes cuando se cumple cualquiera de los criterios. En algunas otras realizaciones, las dos características se consideran coincidentes cuando se satisfacen todos o una cierta combinación de los criterios. En algunas realizaciones, los criterios se pueden basar en una distancia entre los respectivos centros de las características, una comparación de las perspectivas respectivas de las características y/o una comparación de los tamaños respectivos de las características. Estos criterios de ejemplo se ilustran a continuación usando el anillo A 1406 y el anillo C 1410 como ejemplo.
Con respecto al criterio de distancia central, se determina la distancia entre el centro oa del anillo A 1406 y el centro oc del anillo C 1410. Si la distancia central es menor que o igual a un umbral predeterminado, entonces se cumple el criterio de distancia central. De lo contrario, no se cumple el criterio de distancia central.
Con respecto al criterio de perspectiva, se pueden comparar las perspectivas respectivas del anillo A 1406 y el anillo C 1410. En una realización, una perspectiva de un anillo se puede expresar como una relación entre dos ejes (o dos semiejes) de un anillo (por ejemplo, una elipse) tal como un eje mayor y un eje menor. En algunas otras realizaciones, la perspectiva de un anillo se puede expresar en cualquier otra fórmula adecuada. Cabe señalar que el término anillo se utiliza ampliamente para cubrir cualquier percepción o transformación de una forma circular, tal como una forma elíptica en una imagen que representa el anillo subyacente visto desde una perspectiva. Por ejemplo, las perspectivas del anillo la i reí
A 1406 y el anillo C 1410 se pueden representar mediante relaciones r“ 2 y rcz , respectivamente. El criterio de perspectiva solo se cumple si las perspectivas de dos anillos son similares (por ejemplo, cuando la diferencia es inferior o igual a un umbral determinado). Por ejemplo, el criterio de perspectiva se satisface para el anillo A 1406 y el anillo C ra i _ rci
1410 cuando ra2 rc 2
Con respecto al criterio de tamaño, se pueden comparar los tamaños respectivos del anillo A 1406 y el anillo C 1410. En una realización, un tamaño de un anillo se puede expresar en términos de los dos ejes (o dos semiejes) del anillo tal como un eje mayor y un eje menor. Por ejemplo, el tamaño del anillo A 1406 y el anillo C 1410 se pueden representar ra i+ ra2 rc í rc2
por un promedio de los dos semiejes, Y , respectivamente. En algunas otras realizaciones, el tamaño de un anillo se puede expresar en cualquier otra fórmula adecuada, tal como un área encerrada por el anillo. El criterio de tamaño solo se cumple si los tamaños de dos anillos son similares (por ejemplo, cuando la diferencia es inferior o igual a un umbral determinado). Por ejemplo, el criterio de tamaño se satisface para el anillo A 1406 y el anillo ra i+ r az _ r c l r cz
C 1410 cuando 2 2 . Aplicando los criterios discutidos anteriormente, el anillo B 1408 y el anillo D 1412 también se consideran una coincidencia.
La figura 15 ilustra un método de ejemplo para determinar la concentricidad de características, de acuerdo con realizaciones. El método se puede usar para determinar si dos anillos contenidos en un marco de imagen 1500, anillo A 1502 y anillo B 1504, son concéntricos entre sí. El método puede ser implementado por uno o más procesadores a bordo y/o fueraborda de un UAV.
Dos características se pueden considerar concéntricas entre sí cuando se cumplen uno o más criterios. Los criterios se pueden especificar en base a las propiedades de las características. En algunas realizaciones, las dos características se consideran concéntricas cuando se cumple cualquiera de los criterios. En algunas otras realizaciones, las dos características se consideran concéntricas cuando se cumplen todos o una cierta combinación de los criterios. En algunas realizaciones, los criterios se pueden basar en una distancia entre los respectivos centros de las características, una comparación de las perspectivas respectivas de las características y/o una comparación de los tamaños respectivos de las características. Estos criterios de ejemplo se ilustran a continuación usando el anillo A 1502 y el anillo B 1504 como ejemplo.
Con respecto al criterio de distancia central, se determina la distancia entre el centro oa del anillo A 1502 y el centro ob del anillo B 1504. Si la distancia central es menor que o igual a un valor umbral, entonces se cumple el criterio de distancia central. De lo contrario, no se cumple el criterio de distancia central. En algunas realizaciones, el valor umbral se puede calcular en función de los atributos de los anillos. Por ejemplo, el valor umbral puede ser un promedio de los f a i+ f a z
ejes (o semiejes) mayores y menores del anillo más pequeño A 1502, Por lo tanto, el criterio de distancia J r a i r a2
central se satisface solo cuando la distancia entre oa y ob es menor que o igual a 2
Con respecto al criterio de perspectiva, se pueden comparar las perspectivas respectivas del anillo A 1502 y el anillo B 1504. Tal como analizó anteriormente, en una realización, una perspectiva de un anillo se puede expresar como una relación entre dos ejes (o dos semiejes) de un anillo (por ejemplo, una elipse) tal como un eje mayor y un eje menor. En algunas otras realizaciones, la perspectiva de un anillo se puede expresar en cualquier otra fórmula adecuada. Por J a l J J b l ejemplo, las perspectivas del anillo A 1502 y el anillo B 1504 se pueden representar mediante relaciones a2 y bz , respectivamente. El criterio de perspectiva solo se cumple si las perspectivas de dos anillos son similares (por ejemplo, cuando la diferencia es inferior o igual a un umbral determinado). Por ejemplo, el criterio de perspectiva se satisface r a i r b l
para el anillo A 1502 y el anillo B 1504 cuando r b 2
Con respecto al criterio de tamaño, se pueden comparar los tamaños respectivos del anillo A 1502 y el anillo C 1504. Tal como se analizó anteriormente, en una realización, un tamaño de un anillo se puede expresar en términos de los dos ejes (o dos semiejes) del anillo tal como un eje mayor y un eje menor. Por ejemplo, el tamaño del anillo A 1502 y el r a i ra2 r b l r b2
anillo B 1504 se pueden representar por un promedio de los dos semiejes, 2 y 2 ’ respectivamente. En algunas otras realizaciones, el tamaño de un anillo se puede expresar en cualquier otra fórmula adecuada, tal como un área encerrada por el anillo. El criterio de tamaño se cumple solo si el tamaño de un anillo es menor que el tamaño del
Figure imgf000016_0001
otro anillo, por ejemplo, cuando1 2 2 22
Una vez que se cumplen los criterios anteriores, se determina que el anillo A 1502 y el anillo B 1504 son concéntricos entre sí. Los indicadores de concentricidad para el anillo A 1502 y el anillo B 1504 se pueden establecer en verdadero. Ventajosamente, los indicadores de concentricidad asociados con los anillos pueden asegurar que, incluso si solo se detecta uno de los dos anillos en una imagen posterior, se puede determinar que el un anillo es concéntrico con base a su indicador de concentricidad sin detectar el otro anillo. Es decir, una vez que se determina que los anillos son concéntricos, el atributo de concentricidad se propaga con los anillos a través de imágenes futuras. Ya no es necesario que ambos anillos se detecten en el mismo marco de imagen para determinar que son concéntricos. En algunas realizaciones, los ID de objeto para un conjunto concéntrico de anillos se establecen para que sean los mismos que indican el mismo marcador subyacente. En otras realizaciones, los ID de objeto para los anillos concéntricos pueden ser diferentes.
La figura 16 ilustra un proceso de ejemplo 1600 para rastrear un marcador objetivo usando un dispositivo de formación de imágenes, de acuerdo con realizaciones. Específicamente, el proceso 1600 se puede usar para rastrear un marcador objetivo usando un dispositivo de formación de imágenes transportado por un UAV. Los aspectos del proceso 1600 se pueden implementar por uno o más procesadores a bordo y/o fueraborda del UAV.
En el bloque 1602, una o más imágenes se pueden procesar para identificar un marcador objetivo. La una o más imágenes son generadas por el dispositivo de formación de imágenes. El marcador objetivo puede incluir un marcador de aterrizaje, un marcador de rumbo y/o un marcador de seguridad. El marcador objetivo se puede identificar usando cualquier técnica de identificación objetivo adecuada tal como aquellas descritas en las Figuras 12-15 . La información actual del marcador objetivo se puede generar incluyendo la posición actual, tamaño y otras características del marcador objetivo identificado. La posición actual puede ser la posición de un centro de marcador objetivo dentro de un campo de visión del dispositivo de formación de imágenes o la posición de píxeles del marcador objetivo dentro de una imagen tomada por el dispositivo de formación de imágenes. El tamaño actual puede ser el tamaño del marcador objetivo dentro de un campo visual del dispositivo de formación de imágenes o el tamaño de píxeles del marcador objetivo dentro de una imagen tomada por el dispositivo de formación de imágenes.
En el bloque 1604, se puede detectar una desviación del marcador objetivo de una posición predeterminada. La posición predeterminada (también referida como una posición esperada) puede ser una posición dentro de un campo visual o una imagen del dispositivo de formación de imágenes. La posición predeterminada puede ser una posición en o cerca de la cual se va a mantener el objetivo. Por ejemplo, la posición predeterminada puede ser el centro del campo visual. Una desviación de esta posición predeterminada se puede determinar comparando la diferencia entre la posición actual y la posición predeterminada. En algunas realizaciones, se determina que existe una desviación solo si la diferencia excede un umbral predeterminado.
En el bloque 1606, se pueden generar comandos de control para corregir la desviación. La corrección de la desviación incluye reducir la diferencia entre la posición real del marcador objetivo y la posición predeterminada. La corrección de la desviación también puede incluir reducir la diferencia de tamaño entre los tamaños real y predeterminado del marcador objetivo. Los comandos de control se pueden generar en respuesta a la desviación detectada en el bloque 1604. Los comandos de control se pueden utilizar para controlar un estado de un portador y/o un estado del UAV tal como una o más velocidades angulares.
La figura 17 ilustra un método de ejemplo para mantener una posición predeterminada de un objetivo dentro de una imagen 1700, de acuerdo con realizaciones. La imagen se puede capturar mediante una carga útil tal como un dispositivo de formación de imágenes. La carga útil se puede acoplar a un portador que permite que la carga útil se mueva con respecto al portador con respecto a hasta tres ejes de libertad, como se describe en la presente. Suponiendo que la imagen tiene un ancho de W píxeles y una altura de H píxeles (donde W y H son enteros positivos). Una posición dentro de la imagen se puede definir mediante un par de coordenadas a lo largo de un eje horizontal 801 (a lo largo del ancho de la imagen) y un eje vertical 1703 (a lo largo de la altura de la imagen), donde la esquina superior izquierda de la imagen tiene coordenadas (0, 0) y la esquina inferior derecha de la imagen tiene coordenadas (W, H).
Suponiendo que un objetivo, tal como se captura en la imagen 1700, se ubica en la posición P (u, v) 1702, y la posición esperada del objetivo es P0 (u0, v0 ) 1704 que es diferente de P 1702. En algunas realizaciones, la posición esperada del objetivo P0 (u0, v0) puede estar cerca del centro de la imagen, de modo que u0 = W/2, y/o V0 = H/2. En otra realización, la posición esperada del objetivo se puede ubicar en cualquier otro lugar dentro de la imagen (por ejemplo, descentrado). En varias realizaciones, la posición esperada del objetivo puede o no ser la misma que la posición inicial del objetivo. Suponiendo que la posición actual P se desvía de la posición esperada P0 de modo que la desviación excede un umbral predeterminado (tal como expresado por un Ax de u0, y un Ay de v0), entonces se requiere un ajuste para llevar la posición objetivo de P a cerca de la posición esperada P0.
En algunas realizaciones, la desviación de la posición objetivo esperada se puede utilizar para derivar una o más velocidades angulares para rotar el campo de visión del dispositivo de formación de imágenes (por ejemplo, sensor de imagen) alrededor de uno o más ejes. Por ejemplo, se puede utilizar una desviación a lo largo del eje horizontal 1701 de la imagen (por ejemplo, entre u y u0 ) para derivar una velocidad angular wy 1712 para rotar el campo visual del dispositivo de formación de imágenes alrededor del eje Y (guiñada) 1706, de la siguiente manera:
(úy = a * (u - Uu), donde « G E (números reales) . (1)
La rotación alrededor del eje Y para el campo de visión de un dispositivo de formación de imágenes se puede lograr mediante una rotación de la carga útil (a través del portador). En la ecuación (1), a es una constante que puede predefinirse y/o calibrarse con base en la configuración del portador. En algunas realizaciones, a es mayor que cero (a> 0). En otras realizaciones, a puede ser no mayor que cero (a < 0). En algunas realizaciones, a se puede usar para mapear un valor de píxel calculado a una cantidad o sensibilidad de palanca de control correspondiente para controlar la velocidad angular alrededor de un cierto eje (por ejemplo, eje de guiñada). En general, la palanca de control se puede utilizar para controlar el movimiento angular o lineal de un objeto controlable (por ejemplo, el portador). La mayor cantidad de palanca de control corresponde a una mayor sensibilidad y mayor velocidad (para movimiento angular o lineal). En algunas realizaciones, la cantidad de palanca de control o un intervalo de la misma se puede determinar mediante parámetros de configuración de un sistema de control para el portador. Los límites superior e inferior del intervalo de la cantidad de palanca de control pueden incluir cualquier número arbitrario. Por ejemplo, el intervalo de la cantidad de palanca de control puede ser (1000, -1000) para un sistema de control y (-1000, 1000) para otro sistema de control.
A modo de ejemplo, suponiendo que las imágenes tienen un ancho de W = 1024 píxeles y una altura de H = 768 píxeles. Por lo tanto, el tamaño de las imágenes es 1024 * 768. Además, suponiendo que la posición esperada del objetivo tiene un u 0 = 512. Por lo tanto, (u - u0) e (-512, 512). Suponiendo que el rango de la cantidad de palanca de control alrededor del eje de guiñada es (-1000, 1000), entonces la cantidad máxima de palanca de control o sensibilidad máxima es 1000 y a = 1000/512. Por lo tanto, el valor de a puede verse afectado por la resolución o el tamaño de imagen proporcionado por el dispositivo de formación de imágenes, el rango de la cantidad de palanca de control (por ejemplo, alrededor de cierto eje de rotación), la cantidad o sensibilidad máxima de palanca de control y/u otros factores.
Como se ilustra en la presente, la dirección de la rotación alrededor del eje Y (guiñada) puede depender del signo de u -u0. Por ejemplo, si la posición esperada se ubica a la derecha de la posición real (como se ilustra en la Figura 17), luego u - u0 < 0, y el campo de visión necesita girar en sentido contrario a las agujas del reloj alrededor del eje de guiñada 1706 (por ejemplo, a la izquierda) con el fin de llevar el objetivo a la posición esperada. Por otro lado, si la posición esperada se encuentra a la izquierda de la posición real, entonces u - u0 > 0, y el campo de visión necesita girar en el sentido de las agujas del reloj alrededor del eje de guiñada 1706 (por ejemplo, panorámica derecha) para llevar el objetivo a la posición esperada.
Como se ilustra en la presente, la velocidad de rotación (por ejemplo, el valor absoluto de la velocidad angular) alrededor de un eje dado (por ejemplo, el eje Y (guiñada)) puede depender de la distancia entre la posición esperada y la posición real del objetivo a lo largo del eje (es decir, |u - uo|). Cuanto mayor sea la distancia, mayor será la velocidad de rotación. Del mismo modo, cuanto más cerca esté la distancia, más lenta será la velocidad de rotación. Cuando la posición esperada coincide con la posición del objetivo a lo largo del eje (por ejemplo, u = u0), entonces la velocidad de rotación alrededor del eje es cero y la rotación se detiene.
El método para ajustar la desviación de la posición objetivo esperada y la posición objetivo real a lo largo del eje horizontal 1701, tal como se analizó anteriormente, se puede aplicar de manera similar para corregir la desviación del objetivo a lo largo de un eje diferente 1703. Por ejemplo, se puede utilizar una desviación a lo largo del eje vertical 1703 de la imagen (por ejemplo, entre v y v0) para derivar una velocidad angular wx 1714 para el campo visual del dispositivo de formación de imágenes alrededor del eje X (cabeceo) 1708, de la siguiente manera:
iOx = ¡3 * O - Vq), donde (3 E R . (2)
La rotación alrededor del eje X para el campo de visión de un dispositivo de formación de imágenes se puede lograr mediante una rotación de la carga útil (a través de un portador). Por lo tanto, en la ecuación (2), p es una constante que puede predefinirse y/o calibrarse en función de la configuración del portador. En algunas realizaciones, p es mayor que cero (p > 0). En otras realizaciones, p puede ser no mayor que cero (p < 0). En algunas realizaciones, p se puede usar para mapear un valor de píxel calculado a una cantidad de palanca de control correspondiente para controlar la velocidad angular alrededor de un eje determinado (por ejemplo, eje de inclinación). En general, la palanca de control se puede utilizar para controlar el movimiento angular o lineal de un objeto controlable (por ejemplo, portador). La mayor cantidad de palanca de control corresponde a una mayor sensibilidad y mayor velocidad (para movimiento angular o lineal). En algunas realizaciones, la cantidad de palanca de control o un intervalo de la misma se puede determinar mediante parámetros de configuración de un sistema de control de portador para un portador. Los límites superior e inferior del intervalo de la cantidad de palanca de control pueden incluir cualquier número arbitrario. Por ejemplo, el intervalo de la cantidad de palanca de control puede ser (1000, -1000) para un sistema de control y (-1000, 1000) para otro sistema de control.
Continuando con el ejemplo anterior donde las imágenes tienen un ancho de W = 1024 píxeles y una altura de H = 768 píxeles, suponiendo que la posición esperada del objetivo tiene un v 0 = 384. Por lo tanto, (v - V0) e (-384, 384). También suponiendo que el rango de la cantidad de palanca de control alrededor del eje de cabeceo es (-1000, 1000), entonces la cantidad máxima de palanca de control o sensibilidad máxima es 1000 y p = 1000/384. Por lo tanto, el valor de p puede verse afectado por la resolución o tamaño de imagen proporcionado por el dispositivo de formación de imágenes, el rango de la cantidad de palanca de control (por ejemplo, alrededor de un eje de rotación determinado), la cantidad o sensibilidad máxima de palanca de control y/u otros factores.
Como se ilustra en la presente, la dirección de la rotación alrededor del eje X (guiñada) puede depender del signo de v -V0. Por ejemplo, si la posición esperada se ubica por encima de la posición real (como se ilustra en la Figura 17), luego v - v0 > 0, y el campo de visión debe girar en el sentido de las agujas del reloj alrededor del eje de inclinación 1708 (por ejemplo, inclinación hacia abajo) para llevar el objetivo a la posición esperada. Por otro lado, si la posición esperada se encuentra por debajo de la posición real, entonces v - v0 < 0, y el campo de visión debe girar en sentido contrario a las agujas del reloj alrededor del eje de inclinación 1708 (por ejemplo, inclinación hacia arriba) para llevar el objetivo a la posición esperada.
Como se ilustra en la presente, la velocidad de rotación (por ejemplo, el valor absoluto de la velocidad angular) depende de la distancia entre la posición esperada y la posición real del objetivo (es decir, |v - v0|) a lo largo de un eje dado (por ejemplo, el eje X (cabeceo)). Cuanto mayor sea la distancia, mayor será la velocidad de rotación. Cuanto más cerca esté la distancia, más lenta será la velocidad de rotación. Cuando la posición esperada coincide con la posición del objetivo (por ejemplo, v = v0), entonces la velocidad de rotación es cero y la rotación se detiene.
En algunas realizaciones, los valores de las velocidades angulares como se calcularon anteriormente pueden estar limitados o modificados de otro modo por diversas restricciones del sistema. Estas restricciones pueden incluir la velocidad máxima y/o mínima que puede alcanzar el portador, el intervalo de cantidad de palanca de control o la cantidad máxima de palanca de control o sensibilidad máxima del sistema de control para el portador y similares. Por ejemplo, la velocidad de rotación puede ser el mínimo de la velocidad de rotación calculada y la velocidad máxima permitida.
En algunas realizaciones, el control para el portador y/o UAV se puede implementar usando una retroalimentación de bucle de control tal como un controlador PID. El controlador PID se puede configurar para calcular un valor de error como la diferencia entre el estado objetivo actual (por ejemplo, la posición objetivo actual) y un estado objetivo esperado (por ejemplo, la posición objetivo esperada), y para minimizar el error con el tiempo mediante el ajuste de una variable de control (por ejemplo, una velocidad angular). Por ejemplo, la velocidad angular de inclinación o velocidad del portador se puede controlar para mantener el centro de marcador cerca del centro de la imagen usando la siguiente fórmula: carrier _pitch_angular _rate
= carrier_P * ( marker_center_y - image_center_y ) carrier_D
* (error - error Jast).
En la fórmula anterior, carrier_P es el término proporcional y carrier_D es el término derivado. Para carrier_P, error = marker_center_y - image_center_y, es decir, el error es la distancia entre la coordenada y del centro de marcador (marker_center_y) y la coordenada y del centro de la imagen (image_center_y). Cuanto mayor es la distancia, mayor es la velocidad angular del tono portador, hasta que el marcador está en el centro de la imagen. Para el portador D, el término error - error último es la diferencia entre el término proporcional actual y el término proporcional para el último marco. Este término se puede usar para evitar la sobre-modulación del portador.
En algunas realizaciones, el marcador objetivo se puede rastrear usando el control de seguimiento descrito en la presente mientras que el UAV se controla horizontal y/o verticalmente para acercarse al marcador objetivo. El seguimiento del marcador objetivo puede reducir la probabilidad de perder de vista el objetivo y puede mejorar la precisión y la eficiencia de aterrizaje del UAV.
La figura 18 ilustra un proceso de ejemplo 1800 para controlar un UAV para acercarse a un marcador objetivo, de acuerdo con realizaciones. Los aspectos del proceso 1800 se pueden implementar por uno o más procesadores a bordo y/o fueraborda del UAV.
En el bloque 1802, se determina una distancia horizontal entre el UAV y el marcador objetivo en base a las imágenes generadas por el dispositivo de formación de imágenes. Las imágenes se pueden procesar para identificar el marcador objetivo. La ubicación del centro de marcador se puede determinar como la ubicación de aterrizaje del UAV. En algunas realizaciones, la ubicación del centro de marcador en un sistema de coordenadas del dispositivo de formación de imágenes (también denominado sistema de coordenadas de cámara) se puede determinar a partir de la ubicación del centro de marcador en las imágenes en función al menos en parte de parámetros de la cámara (por ejemplo, distancia focal) como se describe a continuación.
En un sistema de coordenadas de cámara (también referido como un marco de referencia de cámara), tres ejes ortogonales, X, Y y Z se intersectan en el centro óptico del dispositivo de formación de imágenes. El eje Z es el eje óptico del dispositivo de formación de imágenes. El plano de imagen se ubica en unidades f a lo largo del eje óptico desde el centro óptico, donde f es la distancia focal del dispositivo de formación de imágenes. Un objeto con coordenadas 3D (xc , yc , zc ) en el sistema de coordenadas de la cámara se proyecta en el plano de la imagen y se representa mediante coordenadas de píxeles (u, v). Las siguientes ecuaciones son verdaderas bajo un modelo de cámara estenopeica:
r x c
U = f * —
ZC
v — f * —
Las coordenadas del centro de marcador en el sistema de coordenadas de cámara se pueden transformar en coordenadas en un sistema de coordenadas de UAV en función al menos en parte de la relación espacial (por ejemplo, transformación de rotación y/o traslación) entre el dispositivo de formación de imágenes y el UAV (y por lo tanto los sistemas de coordenadas de este). En un sistema de coordenadas de UAV, tres ejes ortogonales X, Y y Z se intersectan en el centro del UAV (por ejemplo, centro de gravedad o centro geométrico), donde el eje Z es el eje vertical (guiñada), el eje X es el eje lateral (cabeceo) y el eje Y es el eje longitudinal (balanceo). Suponiendo que las coordenadas del centro de marcador en el sistema de coordenadas UAV son (xb, yb , zb ), donde zb representa la distancia vertical entre el UAV y el centro de marcador, y xb e yb representan componentes horizontales entre el UAV y el centro de marcador a lo largo de los ejes X e Y, respectivamente. Dado un ángulo de inclinación 0 entre el sistema de coordenadas de la cámara y el sistema de coordenadas del UAV, las siguientes ecuaciones se pueden combinar con las ecuaciones anteriores para derivar las coordenadas del centro de marcador (xb, yb , zb ) bajo el sistema de coordenadas del UAV:
7c = Vb * cos # — zb * sin 9 .
zc — zb * cos 9 y b * sin 9 .
Del mismo modo, dado un ángulo de guiñada entre el sistema de coordenadas de la cámara y el sistema de coordenadas del UAV, las siguientes ecuaciones se pueden combinar con las ecuaciones anteriores para derivar las coordenadas del centro de marcador (xb, yb, zb) bajo el sistema de coordenadas del UAV:
xc — xb * eos 9 - zb * sin 6
zc = zb * eos 6 xb * sin 6 .
En algunas realizaciones, las coordenadas del centro de marcador en el sistema de coordenadas de cámara se pueden transformar en un tercer sistema de coordenadas (por ejemplo, sistema de coordenadas mundial), que luego se puede transformar en el sistema de coordenadas UAV basado en la relación (por ejemplo, rotación y/o traslación) entre el sistema de coordenadas UAV y el tercer sistema de coordenadas. Luego se puede determinar una relación espacial (por ejemplo, distancia horizontal y/o distancia vertical) entre el marcador y el UAV en función de las coordenadas del centro de marcador en el sistema de coordenadas del UAV.
En el bloque 1804, se determina la distancia vertical entre el UAV y el marcador objetivo. En algunas realizaciones, la distancia vertical (o altitud) entre el UAV y el centro de marcador, zb, se puede determinar usando uno o más sensores a bordo del UAV, tal como un sensor de ultrasonido, un sensor lidar, un barómetro, un sensor de visión (por ejemplo, cámara de estereovisión), un sensor GPS o cualquier combinación de los mismos. En algunas otras realizaciones, zb se puede determinar en función de las imágenes del marcador obtenidas por el dispositivo de formación de imágenes, por ejemplo, mediante la comparación del tamaño detectado del marcador y el tamaño real del marcador (si se conoce). En el bloque 1806, se generan uno o más comandos de control para reducir la distancia horizontal entre el UAV y el marcador objetivo. Por ejemplo, en una realización, las velocidades horizontales vx (velocidad horizontal a lo largo del eje X del UAV) y vy (velocidad horizontal a lo largo del eje Y del UAV) se pueden controlar usando los comandos de control horizontales. Los comandos de control pueden ser generados por un controlador PID, que puede usar desviaciones horizontales (xb, yb ) entre el UAV y el marcador como valores de retroalimentación:
Vx - VX _ P * xh vx_D * (xb - xbJ a s t ) .
vy = Vy — P * y b vy_D * (yb - y b_last ) .
En el bloque 1808, se generan uno o más comandos de control para reducir la distancia vertical entre el UAV y el marcador objetivo en función de la distancia horizontal. En una realización, la velocidad vertical, vz, a lo largo del eje Z (vertical) de UAV puede estar correlacionada negativamente con la distancia horizontal, que puede estar representada por xb, yb o una combinación de los mismos. La correlación negativa puede ser lineal (como se muestra a continuación) o no lineal. Por ejemplo, la velocidad vertical del UAV se puede calcular de la siguiente manera:
Figure imgf000020_0001
En la ecuación anterior, cuanto más se desvía el UAV del marcador (cuanto mayor |xb| e |yb|), más lento desciende el UAV. El UAV comienza a descender más rápido cuando la desviación horizontal se acerca a cero (es decir, cuando el UAV está más cerca directamente por encima del marcador). La velocidad vertical puede estar limitada por una velocidad máxima Vmax (por ejemplo, 0.1 m/s, 0.2 m/s, 0.4 m/s, 1 m/s, 2 m/s). La velocidad máxima se puede predeterminar en función de las características del UAV y/o el entorno. Por otro lado, la velocidad vertical se puede mantener en cero (es decir, no descendente) cuando la desviación horizontal es igual o superior a la velocidad máxima (es decir, |xb| |yb| s Vmax). Ventajosamente, la correlación negativa entre la desviación horizontal del UAV y la velocidad vertical asegura un descenso más gradual del UAV cuando el UAV está más lejos del marcador y un descenso más precipitado cuando el UAV está directamente por encima o cerca de directamente por encima del UAV. Este enfoque puede permitir que el UAV se acerque al marcador objetivo horizontal y verticalmente sustancialmente al mismo tiempo, al tiempo que garantiza la seguridad del UAV y mejora la precisión de aterrizaje.
La figura 19 ilustra métodos de ejemplo para aterrizar un UAV 1900, de acuerdo con realizaciones En algunas realizaciones, tal como se ilustra en el proceso 1900A, el UAV 1900 se puede controlar para acercarse horizontalmente al marcador objetivo 1902 hasta que el UAV 1900 esté directamente por encima o casi directamente por encima del centro objetivo (por ejemplo, cuando la desviación horizontal entre el UAV y el centro de marcador es igual o menor que un umbral). El UAV 1900 entonces se puede controlar para descender verticalmente para aterrizar en el marcador objetivo 1902. En algunas otras realizaciones, tal como se ilustra en el proceso 1900B, el UAV 1900 se puede controlar para acercarse al marcador objetivo 1902 tanto horizontal como verticalmente sustancialmente al mismo tiempo. Cuando el UAV (1900) está directamente por encima o casi directamente por encima del centro objetivo (por ejemplo, cuando la desviación horizontal entre el UAV y el centro de marcador es igual o menor que un umbral), el UAV puede entonces ser controlado para descender verticalmente para aterrizar en el marcador objetivo (1900). El tiempo de aterrizaje podrá acortarse en este último caso. En ambos enfoques, un dispositivo de formación de imágenes 1904 se puede controlar para rastrear el marcador objetivo 1902 mientras que el UAV 1900 se controla para acercarse al marcador 1902. En algunas realizaciones, en algún momento antes del aterrizaje (por ejemplo, cuando el UAV 1900 se encuentra directamente o casi directamente por encima del centro objetivo), el UAV 1900 se puede controlar para girar su rumbo de acuerdo con un marcador de rumbo (no se muestra).
Las variaciones de las realizaciones anteriores también están dentro del alcance de la descripción. Por ejemplo, más de un dispositivo de formación de imágenes puede ser por el UAV para rastrear un marcador objetivo. El dispositivo de formación de imágenes múltiple se puede colocar en una determinada configuración para maximizar su campo de visión colectivo.
Los sistemas, dispositivos y métodos descritos en la presente se pueden aplicar a una amplia variedad de objetos móviles. Como se mencionó anteriormente, cualquier descripción en la presente de un vehículo aéreo, tal como un UAV, puede aplicarse y usarse para cualquier objeto móvil. Cualquier descripción en la presente de un vehículo aéreo se puede aplicar específicamente a los UAV. Un objeto móvil de la presente invención se puede configurar para moverse dentro de cualquier entorno adecuado, tal como en el aire (por ejemplo, una aeronave de ala fija, una aeronave de ala giratoria, o una aeronave que no tiene alas fijas ni alas giratorias), en el agua (por ejemplo, un barco o un submarino), en tierra (por ejemplo, un vehículo motorizado, tal como un automóvil, camión, autobús, camioneta, motocicleta, bicicleta; una estructura o marco móvil tal como un palo, poste de pesca; o un tren), debajo del suelo (por ejemplo, un metro), en el espacio (por ejemplo, un avión espacial, un satélite, o una sonda), o cualquier combinación de estos entornos. El objeto móvil puede ser un vehículo, tal como un vehículo descrito en otra parte en la presente. En algunas realizaciones, el objeto móvil puede ser transportado por un sujeto vivo, o despegar de un sujeto vivo, tal como un humano o un animal. Los animales adecuados pueden incluir avinos, caninos, felinos, equinos, bovinos, ovinos, porcinos, delfinos, roedores o insectos.
El objeto móvil puede ser capaz de moverse libremente dentro del entorno con respecto a seis grados de libertad (por ejemplo, tres grados de libertad en la traslación y tres grados de libertad en la rotación). De manera alternativa, el movimiento del objeto móvil se puede limitar con respecto a uno o más grados de libertad, tal como por una trayectoria, trayectoria u orientación predeterminada. El movimiento se puede accionar por cualquier mecanismo de accionamiento adecuado, tal como una máquina o un motor. El mecanismo de accionamiento del objeto móvil puede ser alimentado por cualquier fuente de energía adecuada, tal como energía eléctrica, energía magnética, energía solar, energía eólica, energía gravitacional, energía química, energía nuclear o cualquier combinación adecuada de las mismas. El objeto móvil puede ser autopropulsado a través de un sistema de propulsión, como se describe en otra parte en la presente. El sistema de propulsión puede funcionar opcionalmente en una fuente de energía, tal como energía eléctrica, energía magnética, energía solar, energía eólica, energía gravitacional, energía química, energía nuclear o cualquier combinación adecuada de las mismas. Alternativamente, el objeto móvil puede ser transportado por un ser vivo.
En algunos casos, el objeto móvil puede ser un vehículo aéreo. Por ejemplo, los vehículos aéreos pueden ser aeronaves de ala fija (por ejemplo, aviones, planeadores), aeronaves de ala giratoria (por ejemplo, helicópteros, aeronave de alas giratorias), aeronaves que tienen tanto alas fijas como alas giratorias, o aeronaves que no tienen ninguna (por ejemplo, dirigibles, globos de aire caliente). Un vehículo aéreo puede ser autopropulsado, tal como autopropulsado a través del aire. Un vehículo aéreo autopropulsado puede utilizar un sistema de propulsión, tal como un sistema de propulsión que incluye una o más máquinas, motores, ruedas, ejes, imanes, rotores, hélices, álabes, boquillas o cualquier combinación adecuada de los mismos. En algunos casos, el sistema de propulsión se puede usar para permitir que el objeto móvil despegue de una superficie, aterrice en una superficie, mantenga su posición y/u orientación actual (por ejemplo, flotar), cambie de orientación y/o cambie de posición.
El objeto móvil puede ser controlado remotamente por un usuario o controlado localmente por un ocupante dentro o sobre el objeto móvil. El objeto móvil se puede controlar de forma remota a través de un ocupante dentro de un vehículo separado. En algunas realizaciones, el objeto móvil es un objeto móvil no tripulado, tal como un UAV. Un objeto móvil no tripulado, tal como un UAV, puede no tener un ocupante a bordo del objeto móvil. El objeto móvil se puede controlar mediante un sistema de control humano o autónomo (por ejemplo, un sistema de control informático), o cualquier combinación adecuada de los mismos. El objeto móvil puede ser un robot autónomo o semiautónomo, tal como un robot configurado con una inteligencia artificial.
El objeto móvil puede tener cualquier tamaño y/o dimensiones adecuadas. En algunas realizaciones, el objeto móvil puede tener un tamaño y/o dimensiones para tener un ocupante humano dentro o sobre el vehículo. De manera alternativa, el objeto móvil puede ser de tamaño y/o dimensiones más pequeñas que aquella capaz de tener un ocupante humano dentro o sobre el vehículo. El objeto móvil puede ser de un tamaño y/o dimensiones adecuadas para ser levantado o transportado por un humano. Alternativamente, el objeto móvil puede ser más grande que un tamaño y/o dimensiones adecuadas para ser levantado o transportado por un ser humano. En algunos casos, el objeto móvil puede tener una dimensión máxima (por ejemplo, longitud, ancho, altura, diámetro, diagonal) de menos que o aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m. La dimensión máxima puede ser mayor o igual que aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m. Por ejemplo, la distancia entre ejes de rotores opuestos del objeto móvil puede ser menor o igual que aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m. Alternativamente, la distancia entre ejes de rotores opuestos puede ser mayor o igual que aproximadamente: 2 cm, 5 cm, 10 cm, 50 cm, 1 m, 2 m, 5 m o 10 m.
En algunas realizaciones, el objeto móvil puede tener un volumen de menos de 100 cm x 100 cm x 100 cm, menos de 50 cm x 50 cm x 30 cm o menos de 5 cm x 5 cm x 3 cm. El volumen total del objeto móvil puede ser menor o igual a aproximadamente: 1 cm3 ,2 cm3, 5 cm3, 10 cm3, 20 cm3, 30 cm3, 40 cm3, 50 cm3, 60 cm3, 70 cm3, 80 cm3, 90 cm3, 100 cm3, 150 cm3, 200 cm3, 300 cm3, 500 cm3, 750 cm3, 1000 cm3, 5000 cm3, 10,000 cm3, 100,000 cm3, 1 m3, o 10 m3. Por el contrario, el volumen total del objeto móvil puede ser mayor de o igual a aproximadamente: 1 cm3, 2 cm3, 5 cm3, 10 cm3, 20 cm3, 30 cm3, 40 cm3, 50 cm3, 60 cm3, 70 cm3, 80 cm3, 90 cm3, 100 cm3, 150 cm3, 200 cm3, 300 cm3, 500 cm3, 750 cm3, 1000 cm3, 5000 cm3, 10,000 cm3, 100,000 cm3, 1 m3, o 10 m3
En algunas realizaciones, el objeto móvil puede tener una huella (que puede referirse al área transversal lateral comprendida por el objeto móvil) menor o igual a aproximadamente: 32,000 cm2, 20,000 cm2, 10,000 cm2, 1,000 cm2, 500 cm2, 100 cm2, 50 cm2, 10 cm2, o 5 cm2. Por el contrario, la huella puede ser mayor que o igual a aproximadamente: 32,000 cm2, 20,000 cm2, 10,000 cm2, 1,000 cm2, 500 cm2, 100 cm2, 50 cm2, 10 cm2, o 5 cm2.
En algunos casos, el objeto móvil puede pesar no más de 1000 kg. El peso del objeto móvil puede ser menor que o igual aproximadamente: 1000 kg, 750 kg, 500 kg, 200 kg, 150 kg, 100 kg, 80 kg, 70 kg, 60 kg, 50 kg, 45 kg, 40 kg, 35 kg, 30 kg, 25 kg, 20 kg, 15 kg, 12 kg, 10 kg, 9 kg, 8 kg, 7 kg, 6 kg, 5 kg, 4 kg, 3 kg, 2 kg, 1 kg, 0.5 kg, 0.1 kg, 0.05 kg, o 0.01 kg. Por el contrario, el peso puede ser mayor que o igual a aproximadamente: 1000 kg, 750 kg, 500 kg, 200 kg, 150 kg, 100 kg, 80 kg, 70 kg, 60 kg, 50 kg, 45 kg, 40 kg, 35 kg, 30 kg, 25 kg, 20 kg, 15 kg, 12 kg, 10 kg, 9 kg, 8 kg, 7 kg, 6 kg, 5 kg, 4 kg, 3 kg, 2 kg, 1 kg, 0.5 kg, 0.1 kg, 0.05 kg, o 0.01 kg.
En algunas realizaciones, un objeto móvil puede ser pequeño en comparación con una carga transportada por el objeto móvil. La carga puede incluir una carga útil y/o un portador, tal como se describe en más detalle en otra parte de la presente. En algunos ejemplos, una relación de un peso de objeto móvil a un peso de carga puede ser mayor que, menor que o igual a aproximadamente 1:1. En algunos casos, una relación de un peso de objeto móvil a un peso de carga puede ser mayor que, menor que o igual a aproximadamente 1:1. Opcionalmente, una relación de un peso de portador a un peso de carga puede ser mayor que, menor que o igual a aproximadamente 1:1. Cuando se desea, la relación de un peso de objeto móvil a un peso de carga puede ser menor de o igual a: 1:2, 1:3, 1:4, 1:5, 1:10, o incluso menor. Por el contrario, la relación de un peso de objeto móvil a un peso de carga también puede ser mayor que o igual a: 2:1, 3:1, 4:1, 5:1, 10:1, o incluso mayor.
En algunas realizaciones, el objeto móvil puede tener un bajo consumo de energía. Por ejemplo, el objeto móvil puede utilizar menos de aproximadamente: 5 W/h, 4 W/h, 3 W/h, 2 W/h, 1 W/h o menos. En algunos casos, un portador del objeto móvil puede tener un bajo consumo de energía. Por ejemplo, el portador puede utilizar menos de aproximadamente: 5 W/h, 4 W/h, 3 W/h, 2 W/h, 1 W/h o menos. Opcionalmente, una carga útil del objeto móvil puede tener un bajo consumo de energía, tal como menos de aproximadamente: 5 W/h, 4 W/h, 3 W/h, 2 W/h, 1 W/h o menos.
El UAV puede incluir un sistema de propulsión que tiene cuatro rotores. Se puede proporcionar cualquier cantidad de rotores (por ejemplo, uno, dos, tres, cuatro, cinco, seis o más). Los rotores, conjuntos de rotor u otros sistemas de propulsión del vehículo aéreo no tripulado pueden permitir que el vehículo aéreo no tripulado se mantenga en posición, cambie de orientación y/o cambie de ubicación. La distancia entre ejes de rotores opuestos puede ser de cualquier longitud adecuada. Por ejemplo, la longitud puede ser menor o igual a 2 m, o menor a 5 m. En algunas realizaciones, la longitud puede estar dentro de un intervalo de 40 cm a 1 m, de 10 cm a 2 m, o de 5 cm a 5 m. Cualquier descripción en la presente de un UAV puede aplicarse a un objeto móvil, tal como un objeto móvil de un tipo diferente, y viceversa.
En algunas realizaciones, el objeto móvil se puede configurar para transportar una carga. La carga puede incluir uno o más pasajeros, carga, equipo, instrumentos y similares. La carga se puede proporcionar dentro de un alojamiento. El alojamiento puede estar separado de un alojamiento del objeto móvil, o ser parte de un alojamiento para un objeto móvil. De manera alternativa, la carga se puede proporcionar con un alojamiento mientras que el objeto móvil no tiene un alojamiento. De manera alternativa, se pueden proporcionar porciones de la carga o la carga completa sin un alojamiento. La carga se puede fijar rígidamente con respecto al objeto móvil. Opcionalmente, la carga puede ser movible con respecto al objeto movible (por ejemplo, traducible o giratoria con respecto al objeto movible). La carga puede incluir una carga útil y/o un portador, como se describe en otra parte en la presente.
En algunas realizaciones, el movimiento del objeto móvil, portador y carga útil con respecto a un marco de referencia fijo (por ejemplo, el entorno circundante) y/o entre sí, se puede controlar mediante una terminal. La terminal puede ser un dispositivo de control remoto en una ubicación alejada del objeto móvil, portador y/o carga útil. La terminal se puede colocar o fijar en una plataforma de soporte. De manera alternativa, el terminal puede ser un dispositivo portátil o utilizable. Por ejemplo, la terminal puede incluir un teléfono inteligente, tableta, computadora portátil, computadora, gafas, guantes, casco, micrófono o combinaciones adecuadas de los mismos. El terminal puede incluir una interfaz de usuario, tal como un teclado, ratón, palanca de mando, pantalla táctil o pantalla. Cualquier entrada de usuario adecuada se puede usar para interactuar con la terminal, tal como comandos ingresados manualmente, control de voz, control de gestos o control de posición (por ejemplo, a través de un movimiento, ubicación o inclinación de la terminal).
La terminal se puede usar para controlar cualquier estado adecuado del objeto móvil, portador y/o carga útil. Por ejemplo, la terminal se puede usar para controlar la posición y/u orientación del objeto móvil, portador y/o carga útil con respecto a una referencia fija entre sí. En algunas realizaciones, la terminal se puede utilizar para controlar elementos individuales del objeto móvil, portador y/o carga útil, tal como el montaje de accionamiento del portador, un sensor de la carga útil o un emisor de la carga útil. La terminal puede incluir un dispositivo de comunicación inalámbrica adaptado para comunicarse con uno o más del objeto móvil, portador o carga útil.
La terminal puede incluir una unidad de visualización adecuada para ver información del objeto móvil, portador y/o carga útil. Por ejemplo, la terminal se puede configurar para mostrar información del objeto móvil, portador y/o carga útil con respecto a la posición, velocidad de traslación, aceleración de traslación, orientación, velocidad angular, aceleración angular o cualquier combinación adecuada de las mismas. En algunas realizaciones, la terminal puede mostrar información proporcionada por la carga útil, tal como datos proporcionados por una carga útil funcional (por ejemplo, imágenes grabadas por una cámara u otro dispositivo de captura de imágenes).
Opcionalmente, la misma terminal puede controlar tanto el objeto móvil, portador y/o carga útil, o un estado del objeto móvil, portador y/o carga útil, así como recibir y/o mostrar información del objeto móvil, portador y/o carga útil. Por ejemplo, una terminal puede controlar el posicionamiento de la carga útil con respecto a un entorno, mientras se muestran datos de imagen capturados por la carga útil, o información sobre la posición de la carga útil. Alternativamente, se pueden usar diferentes terminales para diferentes funciones. Por ejemplo, una primera terminal puede controlar el movimiento o un estado del objeto móvil, portador y/o carga útil mientras que una segunda terminal puede recibir y/o mostrar información del objeto móvil, portador y/o carga útil. Por ejemplo, se puede usar una primera terminal para controlar el posicionamiento de la carga útil con respecto a un entorno mientras que una segunda terminal muestra datos de imagen capturados por la carga útil. Se pueden utilizar diversos modos de comunicación entre un objeto móvil y un terminal integrado que controla el objeto móvil y recibe datos, o entre el objeto móvil y múltiples terminales que controlan el objeto móvil y recibe datos. Por ejemplo, se pueden formar al menos dos modos de comunicación diferentes entre el objeto móvil y la terminal que controla el objeto móvil y recibe datos del objeto móvil.
La figura 20 ilustra un objeto móvil 2000 que incluye un portador 2002 y una carga útil 2004, de acuerdo con realizaciones. Aunque el objeto móvil 2000 se representa como una aeronave, no se pretende que esta descripción sea limitante, y se puede utilizar cualquier tipo adecuado de objeto móvil, tal como se describió anteriormente en la presente. Un experto en la técnica apreciaría que cualquiera de las realizaciones descritas en la presente en el contexto de sistemas de aeronaves se puede aplicar a cualquier objeto móvil adecuado (por ejemplo, un UAV). En algunos casos, la carga útil 2004 se puede proporcionar en el objeto móvil 2000 sin requerir el portador 2002. El objeto móvil 2000 puede incluir mecanismos de propulsión 2006, un sistema de detección 2008 y un sistema de comunicación 2010.
Los mecanismos de propulsión 2006 pueden incluir uno o más de rotores, hélices, aspas, máquinas, motores, ruedas, ejes, imanes o boquillas, como se describió anteriormente. El objeto móvil puede tener uno o más, dos o más, tres o más, o cuatro o más mecanismos de propulsión. Todos los mecanismos de propulsión pueden ser del mismo tipo. De manera alternativa, uno o más mecanismos de propulsión pueden ser diferentes tipos de mecanismos de propulsión. Los mecanismos de propulsión 2006 se pueden montar en el objeto móvil 2000 usando cualquier medio adecuado, tal como un elemento de soporte (por ejemplo, un eje de transmisión) como se describe en otra parte en la presente. Los mecanismos de propulsión 2006 se pueden montar en cualquier parte adecuada del objeto móvil 2000, tal como en la parte superior, inferior, frontal, posterior, lateral o combinaciones adecuadas de los mismos.
En algunas realizaciones, los mecanismos de propulsión 2006 pueden permitir que el objeto móvil 2000 despegue verticalmente de una superficie o aterrice verticalmente sobre una superficie sin requerir ningún movimiento horizontal del objeto móvil 2000 (por ejemplo, sin desplazarse por una pista). Opcionalmente, los mecanismos de propulsión 2006 pueden funcionar para permitir que el objeto móvil 2000 se mueva en el aire en una posición y/u orientación especificadas. Uno o más de los mecanismos de propulsión 2000 se pueden controlar independientemente de los otros mecanismos de propulsión. Alternativamente, los mecanismos de propulsión 2000 se pueden configurar para que se controlen simultáneamente. Por ejemplo, el objeto móvil 2000 puede tener múltiples rotores orientados horizontalmente que pueden proporcionar elevación y/o empuje al objeto móvil. Los múltiples rotores orientados horizontalmente se pueden accionar para proporcionar capacidades de despegue vertical, aterrizaje vertical y flotación al objeto móvil 2000. En algunas realizaciones, uno o más de los rotores orientados horizontalmente pueden girar en el sentido de las agujas del reloj, mientras que uno o más de los rotores horizontales pueden girar en el sentido contrario a las agujas del reloj. Por ejemplo, el número de rotores en el sentido de las manecillas del reloj puede ser igual al número de rotores en sentido contrario a las manecillas del reloj. La velocidad de rotación de cada uno de los rotores orientados horizontalmente se puede variar de forma independiente para controlar el levantamiento y/o empuje producido por cada rotor, y por lo tanto ajustar la disposición espacial, velocidad y/o aceleración del objeto móvil 2000 (por ejemplo, con respecto a hasta tres grados de traslación y hasta tres grados de rotación).
El sistema de detección 2008 puede incluir uno o más sensores que pueden detectar la disposición espacial, velocidad y/o aceleración del objeto móvil 2000 (por ejemplo, con respecto a hasta tres grados de traslación y hasta tres grados de rotación). El uno o más sensores pueden incluir sensores de sistema de posicionamiento global (GPS, por sus siglas en inglés), sensores de movimiento, sensores inerciales, sensores de proximidad o sensores de imagen. Los datos de detección proporcionados por el sistema de detección 2008 se pueden usar para controlar la disposición espacial, velocidad y/u orientación del objeto móvil 2000 (por ejemplo, usando una unidad de procesamiento y/o módulo de control adecuado, como se describe a continuación). De manera alternativa, el sistema de detección 2008 se puede utilizar para proporcionar datos con respecto al entorno que rodea el objeto móvil, tal como las condiciones climáticas, la proximidad a obstáculos potenciales, la ubicación de características geográficas, la ubicación de estructuras artificiales y similares.
El sistema de comunicación 2010 permite la comunicación con la terminal 2012 que tiene un sistema de comunicación 2014 a través de señales inalámbricas 2016. Los sistemas de comunicación 2010, 2014 pueden incluir cualquier número de transmisores, receptores y/o transceptores adecuados para la comunicación inalámbrica. La comunicación puede ser una comunicación unidireccional; de modo que los datos se pueden transmitir en una sola dirección. Por ejemplo, la comunicación unidireccional puede implicar solo el objeto móvil 2000 que transmite datos a la terminal 2012, o viceversa. Los datos se pueden transmitir desde uno o más transmisores del sistema de comunicación 2010 a uno o más receptores del sistema de comunicación 2012, o viceversa. De manera alternativa, la comunicación puede ser comunicación bidireccional, de modo que los datos se pueden transmitir en ambas direcciones entre el objeto móvil 2000 y la terminal 2012. La comunicación bidireccional puede implicar la transmisión de datos desde uno o más transmisores del sistema de comunicación 2010 a uno o más receptores del sistema de comunicación 2014, y viceversa.
En algunas realizaciones, la terminal 2012 puede proporcionar datos de control a uno o más del objeto móvil 2000, portador 2002 y carga útil 2004 y recibir información de uno o más del objeto móvil 2000, portador 2002 y carga útil 2004 (por ejemplo, información de posición y/o movimiento del objeto móvil, portador o carga útil; datos detectados por la carga útil tal como datos de imagen capturados por una cámara de carga útil). En algunos casos, los datos de control de la terminal pueden incluir instrucciones para posiciones relativas, movimientos, accionamientos o controles del objeto móvil, portador y/o carga útil. Por ejemplo, los datos de control pueden dar como resultado una modificación de la ubicación y/u orientación del objeto móvil (por ejemplo, mediante el control de los mecanismos de propulsión 2006), o un movimiento de la carga útil con respecto al objeto móvil (por ejemplo, mediante el control del portador 2002). Los datos de control de la terminal pueden dar como resultado el control de la carga útil, tal como el control del funcionamiento de una cámara u otro dispositivo de captura de imágenes (por ejemplo, tomar imágenes fijas o en movimiento, acercar o alejar, encender o apagar, cambiar los modos de imagenología, cambiar la resolución de la imagen, cambiar el enfoque, cambiar la profundidad de campo, cambiar el tiempo de exposición, cambiar el ángulo de visión o el campo de visión). En algunos casos, las comunicaciones del objeto móvil, portador y/o carga útil pueden incluir información de uno o más sensores (por ejemplo, del sistema de detección 2008 o de la carga útil 2004). Las comunicaciones pueden incluir información detectada de uno o más tipos diferentes de sensores (por ejemplo, sensores GPS, sensores de movimiento, sensor inercial, sensores de proximidad o sensores de imagen). Esta información puede referirse a la posición (por ejemplo, ubicación, orientación), movimiento o aceleración del objeto móvil, portador y/o carga útil. Esta información de una carga útil puede incluir datos capturados por la carga útil o un estado detectado de la carga útil. Los datos de control proporcionados transmitidos por la terminal 2012 se pueden configurar para controlar un estado de uno o más del objeto móvil 2000, portador 2002 o carga útil 2004. De manera alternativa o en combinación, el portador 2002 y la carga útil 2004 también pueden incluir cada uno un módulo de comunicación configurado para comunicarse con la terminal 2012, de modo que la terminal pueda comunicarse y controlar cada uno del objeto móvil 2000, portador 2002 y carga útil 2004 de forma independiente.
En algunas realizaciones, el objeto móvil 2000 se puede configurar para comunicarse con otro dispositivo remoto además de la terminal 2012, o en lugar de la terminal 2012. La terminal 2012 también se puede configurar para comunicarse con otro dispositivo remoto, así como con el objeto móvil 2000. Por ejemplo, el objeto móvil 2000 y/o terminal 2012 se puede comunicar con otro objeto móvil, o un portador o carga útil de otro objeto móvil. Cuando se desea, el dispositivo remoto puede ser una segunda terminal u otro dispositivo informático (por ejemplo, computadora, computadora portátil, tableta, teléfono inteligente u otro dispositivo móvil). El dispositivo remoto se puede configurar para transmitir datos al objeto móvil 2000, recibir datos del objeto móvil 2000, transmitir datos a la terminal 2012 y/o recibir datos de la terminal 2012. Opcionalmente, el dispositivo remoto se puede conectar a Internet u otra red de telecomunicaciones, de modo que los datos recibidos del objeto móvil 2000 y/o terminal 2012 se puedan cargar en un sitio web o servidor.
La figura 21 es una ilustración esquemática a modo de diagrama de bloques de un sistema 2100 para controlar un objeto móvil, de acuerdo con realizaciones. El sistema 2100 se puede usar en combinación con cualquier realización adecuada de los sistemas, dispositivos y métodos descritos en la presente. El sistema 2100 puede incluir un módulo de detección 2102, una unidad de procesamiento 2104, un medio legible por computadora no transitorio 2106, un módulo de control 2108 y un módulo de comunicación 2110.
El módulo de detección 2102 puede utilizar diferentes tipos de sensores que recopilan información relacionada con los objetos móviles de diferentes maneras. Los diferentes tipos de sensores pueden detectar diferentes tipos de señales o señales de diferentes fuentes. Por ejemplo, los sensores pueden incluir sensores inerciales, sensores GPS, sensores de proximidad (por ejemplo, lidar) o sensores de visión/imagen (por ejemplo, una cámara). El módulo de detección 2102 se puede acoplar operativamente a una unidad de procesamiento 2104 que tiene una pluralidad de procesadores. En algunas realizaciones, el módulo de detección puede acoplarse operativamente a un módulo de transmisión 2112 (por ejemplo, un módulo de transmisión de imágenes Wi-Fi) configurado para transmitir directamente datos de detección a un dispositivo o sistema externo adecuado. Por ejemplo, el módulo de transmisión 2112 se puede usar para transmitir imágenes capturadas por una cámara del módulo de detección 2102 a una terminal remota.
La unidad de procesamiento 2104 puede tener uno o más procesadores, tal como un procesador programable (por ejemplo, una unidad de procesamiento central (CPU)). La unidad de procesamiento 2104 puede acoplarse operativamente a un medio legible por computadora no transitorio 2106. El medio legible por computadora no transitorio 2106 puede almacenar lógica, código y/o instrucciones de programa ejecutables por la unidad de procesamiento 2104 para realizar uno o más pasos. El medio legible por computadora no transitorio puede incluir una o más unidades de memoria (por ejemplo, medio extraíble o almacenamiento externo tal como una tarjeta SD o memoria de acceso aleatorio (RAM)). En algunas realizaciones, los datos del módulo de detección 2102 se pueden transmitir directamente y almacenar dentro de las unidades de memoria del medio legible por computadora no transitorio 2106. Las unidades de memoria del medio legible por computadora no transitorio 2106 pueden almacenar instrucciones lógicas, de código y/o de programa ejecutables por la unidad de procesamiento 2104 para realizar cualquier realización adecuada de los métodos descritos en la presente. Las unidades de memoria pueden almacenar datos de detección del módulo de detección para ser procesados por la unidad de procesamiento 2104. En algunas realizaciones, las unidades de memoria del medio legible por computadora no transitorio 2106 se pueden usar para almacenar los resultados de procesamiento producidos por la unidad de procesamiento 2104.
En algunas realizaciones, la unidad de procesamiento 2104 se puede acoplar operativamente a un módulo de control 2108 configurado para controlar un estado del objeto móvil. Por ejemplo, el módulo de control 2108 se puede configurar para controlar los mecanismos de propulsión del objeto móvil para ajustar la disposición espacial, velocidad y/o aceleración del objeto móvil con respecto a seis grados de libertad. Alternativamente o en combinación, el módulo de control 2108 puede controlar uno o más de un estado de un portador, carga útil o módulo de detección.
La unidad de procesamiento 2104 se puede acoplar operativamente a un módulo de comunicación 2110 configurado para transmitir y/o recibir datos de uno o más dispositivos externos (por ejemplo, un terminal, dispositivo de visualización u otro controlador remoto). Se puede usar cualquier medio de comunicación adecuado, tal como comunicación por cable o comunicación inalámbrica. Por ejemplo, el módulo de comunicación 2110 puede utilizar una o más de redes de área local (LAN), redes de área amplia (WAN), infrarrojos, radio, WiFi, redes de punto a punto (P2P), redes de telecomunicaciones, comunicación en la nube y similares. Opcionalmente, se pueden usar estaciones de retransmisión, tal como torres, satélites o estaciones móviles. Las comunicaciones inalámbricas pueden depender de la proximidad o ser independientes de la proximidad. En algunas realizaciones, la línea de visión puede o no ser necesaria para las comunicaciones. El módulo de comunicación 2110 puede transmitir y/o recibir uno o más datos de detección del módulo de detección 2102, resultados de procesamiento producidos por la unidad de procesamiento 2104, datos de control predeterminados, comandos de usuario de una terminal o controlador remoto y similares.
Los componentes del sistema 2100 se pueden disponer en cualquier configuración adecuada. Por ejemplo, uno o más de los componentes del sistema 2100 se pueden ubicar en el objeto móvil, portador, carga útil, terminal, sistema de detección o un dispositivo externo adicional en comunicación con uno o más de los anteriores. Adicionalmente, aunque la Figura 21 representa una única unidad de procesamiento 2104 y un único medio legible por computadora no transitorio 2106, un experto en la técnica apreciaría que esto no pretende ser limitante, y que el sistema 2100 puede incluir una pluralidad de unidades de procesamiento y/o medios legibles por computadora no transitorios. En algunas realizaciones, una o más de la pluralidad de unidades de procesamiento y/o medios legibles por computadora no transitorios pueden estar ubicados en diferentes ubicaciones, tal como en el objeto móvil, portador, carga útil, terminal, módulo de detección, dispositivo externo adicional en comunicación con una o más de las anteriores, o combinaciones adecuadas de estos, de modo que cualquier aspecto adecuado de las funciones de procesamiento y/o memoria realizadas por el sistema 2100 puede ocurrir en una o más de las ubicaciones mencionadas anteriormente.

Claims (15)

REIVINDICACIONES
1. Un método implementado por computadora para controlar un vehículo aéreo no tripulado (UAV), que comprende: detectar un marcador de objetivo (112) basado en una pluralidad de imágenes capturadas por un dispositivo de formación de imágenes (102) portado por el UAV (100);
determinar una relación espacial entre el UAV (100) y el marcador objetivo (112) en función al menos en parte de la pluralidad de imágenes;
controlar el UAV (100) para acercarse al marcador objetivo (112) en función, al menos en parte, de la relación espacial mientras se controla el dispositivo de formación de imágenes (102) para rastrear el marcador objetivo (112) de modo que el marcador objetivo (112) permanezca dentro de un campo de visión (108) del dispositivo de formación de imágenes (102);
controlar el UAV (100) para alinear su orientación de aterrizaje de acuerdo con un marcador de rumbo antes de aterrizar el UAV (100); y en donde el método se caracteriza en que
el marcador de destino incluye un marcador de aterrizaje que indica una ubicación para aterrizar el UAV y el marcador de rumbo que indica una orientación de aterrizaje del UAV, en donde una ubicación del marcador de rumbo con respecto a un centro del marcador de aterrizaje indica una dirección de la orientación de aterrizaje del UAV (100).
2. El método de la reivindicación 1, en donde el marcador de aterrizaje comprende uno o más anillos concéntricos.
3. El método de las reivindicaciones 1 o 2, en donde el marcador de rumbo se distingue visualmente del marcador de aterrizaje.
4. El método de la reivindicación 1, en donde la detección del marcador objetivo (112) comprende:
identificar una o más características en las múltiples imágenes;
asociar una o más características con uno o más marcadores candidatos;
asignar pesos respectivos al uno o más marcadores candidatos, cada peso indica una probabilidad de que un marcador candidato asociado sea el marcador objetivo; y
seleccionar el marcador objetivo (112) del uno o más marcadores candidatos en función al menos en parte de los pesos de los marcadores candidatos.
5. El método de la reivindicación 4, en donde asociar la una o más características con el uno o más marcadores candidatos comprende:
comparar una primera característica en una primera imagen con una segunda característica en una segunda imagen en función de uno o más atributos de característica; y
determinar si la primera característica y la segunda característica corresponden a un mismo marcador candidato con base en la comparación.
6. El método de la reivindicación 5, en donde el uno o más atributos de característica comprenden un tamaño, una perspectiva o una distancia central.
7. El método de la reivindicación 4, en donde asignar los pesos respectivos al uno o más marcadores candidatos se basa al menos en parte en los tamaños relativos de la una o más características o se basa al menos en parte en si la una o más características son concéntricas.
8. El método de la reivindicación 1, en donde controlar el dispositivo de formación de imágenes (102) para rastrear el marcador objetivo (112) comprende:
detectar, con base a la pluralidad de imágenes, una desviación del marcador de destino (112) de una posición predeterminada dentro de un campo de visión (108) del dispositivo de formación de imágenes; y
efectuar un movimiento del dispositivo de formación de imágenes (102) para corregir la desviación.
9. El método de la reivindicación 8, en donde efectuar el movimiento del dispositivo de formación de imágenes (102) comprende controlar un portador del dispositivo de formación de imágenes para mover el dispositivo de formación de imágenes (102) con respecto al UAV, o en donde efectuar el movimiento del dispositivo de formación de imágenes (102) comprende controlar el UAV (100) para que se mueva con respecto a un eje de cabeceo, un eje de guiñada o un eje de balanceo del UAV (100).
10. El método de la reivindicación 1, en donde la determinación de la relación espacial entre el UAV (100) y el marcador objetivo (112) comprende:
determinar, en función al menos en parte de la pluralidad de imágenes, una primera posición del marcador objetivo (112) en un sistema de coordenadas de cámara; y
transformar la primera posición del marcador de objetivo (112) en el sistema de coordenadas de cámara a una segunda posición del marcador de objetivo (112) en un sistema de coordenadas de UAV (100) basado al menos en parte en una relación espacial entre el dispositivo de formación de imágenes (102) y el UAV (100).
11. El método de la reivindicación 1, en donde la relación espacial entre el UAV (100) y el marcador objetivo (112) comprende una distancia horizontal y una distancia vertical, y controlar el UAV (100) para acercarse al marcador objetivo (112) en función de la relación espacial comprende:
generar uno o más comandos de control horizontales para que el UAV (100) reduzca la distancia horizontal entre el UAV (100) y el marcador objetivo (112) con base al menos en parte a la distancia horizontal; y
generar uno o más comandos de control verticales para que el UAV (100) reduzca la distancia vertical en función al menos en parte de la distancia horizontal.
12. El método de la reivindicación 11, en donde el uno o más comandos de control horizontales se utilizan para controlar una velocidad horizontal o una velocidad vertical del UAV o en donde el uno o más comandos de control horizontales y el uno o más comandos de control verticales se generan sustancialmente de forma simultánea.
13. El método de la reivindicación 1, que comprende además detectar un marcador de seguridad y verificar el marcador de seguridad antes de aterrizar el UAV (100).
14. Uno o más medios de almacenamiento legibles por computadora no transitorios que almacenan instrucciones ejecutables por computadora que, cuando se ejecutan por un sistema informático, configuran el sistema informático para realizar un método de acuerdo con una de las reivindicaciones anteriores.
15. Un sistema que comprende un vehículo aéreo no tripulado (UAV) y un marcador objetivo (112), el vehículo aéreo no tripulado comprende:
una memoria configurada para almacenar una o más instrucciones ejecutables por computadora; y
uno o más procesadores configurados para acceder a la memoria y ejecutar las instrucciones ejecutables por computadora para realizar pasos que comprenden:
detectar el marcador de objetivo (112) en función de una pluralidad de imágenes capturadas por un dispositivo de formación de imágenes (102) portado por el UAV (100),
determinar una relación espacial entre el UAV (100) y el marcador objetivo (112) en función al menos en parte de la pluralidad de imágenes;
controlar el UAV (100) para acercarse al marcador objetivo (112) en función de la relación espacial mientras se controla el dispositivo de formación de imágenes (102) para rastrear el marcador objetivo (112) de manera que el marcador objetivo (112) permanezca dentro de un campo de visión (108) del dispositivo de formación de imágenes (102); y controlar el UAV (100) para alinear su orientación de aterrizaje de acuerdo con
un marcador de rumbo antes de aterrizar el vehículo aéreo no tripulado (100);
en donde el sistema se caracteriza porque el marcador de destino incluye un marcador de aterrizaje configurado para indicar una ubicación para aterrizar el UAV y el marcador de rumbo configurado para indicar una orientación de aterrizaje del UAV, en donde una ubicación del marcador de rumbo con respecto a un centro del marcador de aterrizaje indica una dirección de la orientación de aterrizaje para aterrizar el UAV (100).
ES16913857T 2016-08-26 2016-08-26 Métodos y sistema de aterrizaje autónomo Active ES2893959T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/096833 WO2018035835A1 (en) 2016-08-26 2016-08-26 Methods and system for autonomous landing

Publications (1)

Publication Number Publication Date
ES2893959T3 true ES2893959T3 (es) 2022-02-10

Family

ID=61245933

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16913857T Active ES2893959T3 (es) 2016-08-26 2016-08-26 Métodos y sistema de aterrizaje autónomo

Country Status (6)

Country Link
US (3) US11194344B2 (es)
EP (2) EP3901728B1 (es)
CN (1) CN109643129A (es)
DK (1) DK3497530T3 (es)
ES (1) ES2893959T3 (es)
WO (1) WO2018035835A1 (es)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106489062B (zh) * 2015-06-26 2019-06-28 深圳市大疆创新科技有限公司 用于测量移动平台的位移的系统和方法
WO2018015959A1 (en) * 2016-07-21 2018-01-25 Vision Cortex Ltd. Systems and methods for automated landing of a drone
US11170216B2 (en) * 2017-01-20 2021-11-09 Sony Network Communications Inc. Information processing apparatus, information processing method, program, and ground marker system
ES2978374T3 (es) * 2017-03-06 2024-09-11 Spiral Inc Sistema de control de un objeto volador, dispositivo de control del mismo y marcador del mismo
US11370559B1 (en) * 2017-03-13 2022-06-28 Amazon Technologies, Inc. Unmanned aerial vehicle expandable landing marker system
US10557936B2 (en) 2017-06-30 2020-02-11 Gopro, Inc. Target value detection for unmanned aerial vehicles
CN109814588A (zh) * 2017-11-20 2019-05-28 深圳富泰宏精密工业有限公司 飞行器以及应用于飞行器的目标物追踪系统和方法
CN109839945B (zh) * 2017-11-27 2022-04-26 北京京东乾石科技有限公司 无人机降落方法、无人机降落装置及计算机可读存储介质
US11887329B2 (en) * 2018-03-13 2024-01-30 Nec Corporation Moving body guidance apparatus, moving body guidance method, and computer-readable recording medium
CN108263633A (zh) * 2018-03-20 2018-07-10 广州亿航智能技术有限公司 一种自稳降落平台及其保持降落平面姿态的方法
US10710719B1 (en) * 2018-04-23 2020-07-14 Amazon Technologies, Inc. Deployable navigation beacons
FR3082013A1 (fr) * 2018-05-29 2019-12-06 Parrot Drones Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes
WO2020006732A1 (zh) * 2018-07-05 2020-01-09 深圳市道通智能航空技术有限公司 无人机降落方法、装置及无人机
US11467582B2 (en) 2018-11-05 2022-10-11 Usic, Llc Systems and methods for an autonomous marking apparatus
WO2020097075A1 (en) * 2018-11-05 2020-05-14 Usic, Llc Systems and methods for autonomous marking maintenance
JP7274856B2 (ja) * 2018-12-11 2023-05-17 スリーエム イノベイティブ プロパティズ カンパニー 位置検出システム、位置検出方法、角度検出方法、マーカー
FR3092387B1 (fr) 2019-01-31 2021-01-15 Airbus Helicopters Système d’éclairage directionnel équipant un aéronef et procédé d’éclairage associé
US11321873B1 (en) * 2019-02-04 2022-05-03 Amazon Technologies, Inc. Calibrating and detecting vibration of stereo ranging systems
US11094077B2 (en) * 2019-03-18 2021-08-17 John Lindsay System and process for mobile object tracking
CN109725645B (zh) * 2019-03-29 2019-07-12 中国人民解放军国防科技大学 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法
US11378986B2 (en) 2019-04-01 2022-07-05 Honeywell International Inc. Systems and methods for landing and takeoff guidance
FR3095267B1 (fr) * 2019-04-16 2021-12-24 Mbda France Dispositif de marquage de cible et systemes de localisation et de de traitement de cible comprenant un tel dispositif
CN110569838B (zh) * 2019-04-25 2022-05-24 内蒙古工业大学 一种基于视觉定位的四旋翼无人机自主降落方法
CN111796605A (zh) * 2019-05-23 2020-10-20 北京京东尚科信息技术有限公司 无人机降落控制方法、控制器和无人机
CN110221625B (zh) * 2019-05-27 2021-08-03 北京交通大学 无人机精确位置的自主降落导引方法
CN114072319B (zh) * 2019-07-17 2024-05-17 村田机械株式会社 行驶车、行驶车系统
US11873116B2 (en) * 2019-10-15 2024-01-16 Skydio, Inc. Automated docking of unmanned aerial vehicle
DE102019219751A1 (de) * 2019-12-16 2021-06-17 Zf Friedrichshafen Ag Objekterfassung
US11521378B2 (en) 2020-01-06 2022-12-06 International Business Machines Corporation Refined searching based on detected object configurations
CN111176296B (zh) * 2020-01-20 2022-06-03 重庆邮电大学 一种基于条形码码盘的移动机器人编队的控制方法
US11670181B2 (en) * 2020-01-22 2023-06-06 Honeywell International Inc. Systems and methods for aiding landing of vertical takeoff and landing vehicle
CN111324145B (zh) * 2020-02-28 2022-08-16 厦门理工学院 一种无人机自主着陆方法、装置、设备及存储介质
KR102280753B1 (ko) * 2020-02-28 2021-07-21 세종대학교산학협력단 무인 비행체의 마커 기반 착륙 기법
JP7476660B2 (ja) * 2020-05-19 2024-05-01 マツダ株式会社 車載用飛行体の制御システム
JP7351265B2 (ja) * 2020-06-26 2023-09-27 株式会社豊田自動織機 認識装置及び認識方法
CN112215860B (zh) * 2020-09-23 2024-05-10 国网福建省电力有限公司漳州供电公司 一种基于图像处理的无人机定位方法
KR102270715B1 (ko) * 2021-01-12 2021-06-28 김성필 무인 비행체 및 그 자동 착륙 방법
CN112650304B (zh) * 2021-01-20 2024-03-05 中国商用飞机有限责任公司北京民用飞机技术研究中心 无人机自主着陆系统、方法和无人机
US20220260721A1 (en) * 2021-02-17 2022-08-18 Honeywell International Inc. Structured light navigation aid
WO2022180276A1 (es) * 2021-02-23 2022-09-01 Fundación Instituto Tecnológico De Galicia Sistema, método y producto de programa de aterrizaje de precisión autónomo para drones
US20230082712A1 (en) * 2021-05-25 2023-03-16 Dragonfly Pictures, Inc. System and method for tethered unmanned aerial vehicle takeoff, landing, and storage
RU2766443C1 (ru) * 2021-06-07 2022-03-15 Задорожный Артем Анатольевич Способ блокирования связи в непосредственной близости от движущегося материального объекта
CN113655806B (zh) * 2021-07-01 2023-08-08 中国人民解放军战略支援部队信息工程大学 一种无人机群辅助降落方法
KR102578901B1 (ko) * 2021-07-29 2023-09-14 주식회사 아이팝 Gps 신호 수신 불가 시 드론의 회귀 방법
CN113608542B (zh) * 2021-08-12 2024-04-12 山东信通电子股份有限公司 一种无人机自动降落的控制方法以及设备
CN113534833A (zh) * 2021-09-17 2021-10-22 广东汇天航空航天科技有限公司 用于飞行器自主降落的视觉标签、自主降落方法及飞行器
US11443569B1 (en) * 2021-10-30 2022-09-13 Beta Air, Llc Systems and methods for battery management for a vehicle
CN114030631A (zh) * 2021-12-13 2022-02-11 江苏海洋大学 一种多旋翼无人机海上接驳数据回收与自动充电工作站
IL289357A (en) * 2021-12-23 2023-07-01 Ariel Scient Innovations Ltd An unmanned aerial vehicle and a method for landing it
CN114384925B (zh) * 2022-01-12 2024-04-12 上海赫千电子科技有限公司 一种车载无人机升降方法及配对方法
CN114489129B (zh) * 2022-01-24 2023-04-07 北京远度互联科技有限公司 无人机着陆方法及相关装置
CN116299400B (zh) * 2023-05-23 2023-08-15 中国兵器科学研究院 一种浮空平台位置调整方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101008259B1 (ko) * 2008-09-03 2011-01-13 한국항공우주연구원 영상신호를 이용한 항공기의 자동착륙 시스템 및 그 제어방법
JP5775354B2 (ja) * 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
JP5923422B2 (ja) * 2012-09-24 2016-05-24 クラリオン株式会社 カメラのキャリブレーション方法及び装置
CN102967305B (zh) * 2012-10-26 2015-07-01 南京信息工程大学 基于大小回字标志物的多旋翼无人机位姿获取方法
US9429425B2 (en) * 2013-03-05 2016-08-30 Here Global B.V. Aerial image collection
US20160122038A1 (en) 2014-02-25 2016-05-05 Singularity University Optically assisted landing of autonomous unmanned aircraft
CN103809598B (zh) * 2014-03-12 2016-08-10 北京航空航天大学 一种基于三层品字形多色降落坪的旋翼无人机自主起降系统
CN104049641B (zh) * 2014-05-29 2017-08-25 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
DE102014014446A1 (de) * 2014-09-26 2016-03-31 Airbus Defence and Space GmbH Redundantes Bestimmen von Positionsdaten für ein automatisches Landesystem
CN112097789B (zh) * 2014-10-27 2023-02-28 深圳市大疆创新科技有限公司 无人飞行器飞行显示
WO2016070318A1 (en) * 2014-11-04 2016-05-12 SZ DJI Technology Co., Ltd. Camera calibration
CN104881041B (zh) * 2015-05-27 2017-11-07 深圳市高巨创新科技开发有限公司 一种无人飞行器的电量预警方法及装置
US9889932B2 (en) * 2015-07-18 2018-02-13 Tata Consultancy Services Limited Methods and systems for landing of unmanned aerial vehicle
US10088736B2 (en) * 2015-09-24 2018-10-02 Amazon Technologies, Inc. Unmanned aerial vehicle descent
WO2017066927A1 (en) * 2015-10-20 2017-04-27 SZ DJI Technology Co., Ltd. Systems, methods, and devices for setting camera parameters
CN105550692B (zh) * 2015-12-30 2018-08-31 南京邮电大学 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
US10636150B2 (en) * 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system
EP3564620A4 (en) * 2016-12-27 2020-09-16 Sony Corporation TOP ORIENTED MARKER, IMAGE PROCESSING DEVICE, IMAGE PROCESSING PROCESS, AND PROGRAM

Also Published As

Publication number Publication date
EP3497530A1 (en) 2019-06-19
US20220091618A1 (en) 2022-03-24
CN109643129A (zh) 2019-04-16
EP3497530A4 (en) 2019-07-31
US20190187724A1 (en) 2019-06-20
US11693428B2 (en) 2023-07-04
EP3497530B1 (en) 2021-07-21
US20230350428A1 (en) 2023-11-02
US11194344B2 (en) 2021-12-07
DK3497530T3 (da) 2021-09-06
WO2018035835A1 (en) 2018-03-01
EP3901728B1 (en) 2023-10-04
EP3901728A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
ES2893959T3 (es) Métodos y sistema de aterrizaje autónomo
US11810465B2 (en) Flight control for flight-restricted regions
US20210072745A1 (en) Systems and methods for uav flight control
US20200344464A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Defects
US10599149B2 (en) Salient feature based vehicle positioning
US20190317530A1 (en) Systems and methods of unmanned aerial vehicle flight restriction for stationary and moving objects
US10466718B2 (en) Camera configuration on movable objects
ES2874506T3 (es) Procesamiento selectivo de datos de sensor
ES2850149T3 (es) Restricciones y control de altitud del vehículo
US20190068829A1 (en) Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US20190315486A1 (en) Adaptive Voxels for Aerial Light Shows
WO2016141748A1 (en) Polygon shaped flight-restriction zones
KR102578260B1 (ko) 헬리캠과 시뮬레이터를 이용한 간접여행 시스템