ES2892489T3 - Interfaz de control gráfica para UxV - Google Patents
Interfaz de control gráfica para UxV Download PDFInfo
- Publication number
- ES2892489T3 ES2892489T3 ES16779702T ES16779702T ES2892489T3 ES 2892489 T3 ES2892489 T3 ES 2892489T3 ES 16779702 T ES16779702 T ES 16779702T ES 16779702 T ES16779702 T ES 16779702T ES 2892489 T3 ES2892489 T3 ES 2892489T3
- Authority
- ES
- Spain
- Prior art keywords
- uxv
- images
- selected object
- control unit
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 1
- 101001092910 Homo sapiens Serum amyloid P-component Proteins 0.000 description 44
- 102100036202 Serum amyloid P-component Human genes 0.000 description 44
- 238000012545 processing Methods 0.000 description 15
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Sistema de vigilancia que comprende: un vehículo no tripulado (UxV), unidad (160) de control configurada para comunicarse a través de un enlace de comunicación con un UxV (120); comprendiendo el UxV una unidad (10) de detección configurada para capturar una o más imágenes de un área vigilada y transmitir las imágenes a la unidad (160) de control de UxV; la unidad de control de UxV está configurada para visualizar las una o más imágenes en un dispositivo (47) de visualización; estando el sistema de vigilancia caracterizado porque la unidad (160) de control de UxV está configurada además, sensible a los datos recibidos indicativos de un objeto (20) seleccionado en las una o más imágenes, para asignar un icono (33) de control gráfico al objeto seleccionado; siendo el icono de control gráfico una representación en 3D del objeto (20) seleccionado, en el que diferentes caras del objeto (20) seleccionado se asignan a diferentes caras respectivas del icono (33) de control gráfico; el icono (33) de control gráfico es capaz de hacerse interactuar por un operario para cambiar su orientación y, por lo tanto, exponer, hacia el operario, áreas del icono (33) de control que representan áreas respectivas del objeto (20) seleccionado que no están expuestas en las una o más imágenes visualizadas en el dispositivo de visualización y, de ese modo, permiten generar instrucciones con respecto a las áreas que no están expuestas en las una o más imágenes; por lo que el sistema de vigilancia está configurado además, sensible a la interacción de un operario con el icono de control, para indicar ángulos de visión deseados del objeto (20) seleccionado, para: determinar si la visión del objeto (20) seleccionado en los ángulos de visión deseados requiere el reposicionamiento del UxV y, de ser así, generar instrucciones para reposicionar el UxV (120) para permitir que la unidad (10) de detección vea el objeto en los ángulos de visión deseados.
Description
DESCRIPCIÓN
Interfaz de control gráfica para UxV
Campo relacionado
La materia objeto dada a conocer actualmente se refiere a sistemas de control para controlar vehículos no tripulados.
Antecedentes
Hoy en día, los vehículos no tripulados (UxV), que se usan predominantemente para aplicaciones militares y de operaciones especiales, están volviéndose cada vez más populares en aplicaciones civiles. Los UxV se usan en una gran variedad de aplicaciones que incluyen, por ejemplo, monitorización del tráfico, teledetección y reconocimiento, transporte, búsqueda y rescate, vigilancia doméstica, guerra electrónica y señuelos, etcétera. Los vehículos no tripulados incluyen diversos tipos, tales como, por ejemplo, vehículos aéreos no tripulados (UAV también conocidos como sistemas aéreos no tripulados), vehículos terrestres no tripulados (UGV), vehículos marinos no tripulados (UMV), etc.
El funcionamiento de un UxV a lo largo de su misión se controla por una estación de control que se tripula por un operario de estación de control. Por ejemplo, un UAV se controla y se monitoriza desde el despegue, durante todo el desempeño de vuelo y misión, y hasta el aterrizaje.
El documento US 2013/317667 A1 describe el control de una trayectoria de vuelo de un sistema de captura de imágenes basado en UAV para modelaje sólido. Tras determinar una trayectoria de movimiento inicial basándose en una estimación de una estructura que va a modelarse, pueden capturarse imágenes de la estructura que va a modelarse y pueden formarse hipótesis de superficie para superficies no observadas basándose en las imágenes capturadas.
El documento US 2014/192193 A1 se refiere a un método para adquirir imágenes de un objetivo fotográfico desde perspectivas arbitrarias con un vehículo aéreo no tripulado (UAV) equipado con al menos un dispositivo de adquisición de imágenes que tiene una dirección de adquisición fija con respecto al vehículo, teniendo dicho UAV medios de navegación automáticos que permiten alcanzar una ubicación arbitraria y medios de control de posición automáticos que permiten alcanzar transitoriamente una orientación arbitraria en el espacio, estando dicho objetivo fotográfico fuera del campo actual de visión del dispositivo de adquisición mientras el UAV vuela a lo largo de una trayectoria de vuelo predefinida, comprendiendo este método: calcular una posición de UAV objetivo y una orientación en el espacio requerida para adquirir una imagen deseada a partir de un conjunto de parámetros, hacerlo navegar hasta dicha posición de UAV objetivo, modificar una posición del UAV con el fin de modificar la dirección de adquisición para apuntar hacia el objetivo fotográfico, adquirir imágenes, e iniciar una fase de recuperación controlando el UAV de vuelta a la posición de crucero y hacerlo navegar de vuelta a lo largo de la trayectoria de vuelo predefinida.
Descripción general
Según un aspecto de la materia objeto dada a conocer actualmente, se proporciona un sistema de vigilancia según la reivindicación 1.
Según determinados ejemplos de la materia objeto dada a conocer actualmente, el sistema puede comprender las características adicionales (i-ix) enumeradas a continuación en cualquier combinación y/o permutación técnicamente posible:
i. El sistema comprende además el UxV; comprendiendo el UxV una unidad de control de a bordo configurada para realizar dicha determinación de si ver el objeto seleccionado en ángulos de visión deseados requiere el reposicionamiento del UxV y dicha generación;
ii. en el que la unidad de control está configurada para realizar dicha determinación de si ver el objeto seleccionado en los ángulos de visión deseados requiere el reposicionamiento del UxV;
iii. en el que la unidad de control está configurada, sensible a los datos recibidos indicativos de un objeto seleccionado en las una o más imágenes, para visualizar el icono de control gráfico sobre el objeto seleccionado en las una o más imágenes;
iv. en el que la unidad de control está configurada, sensible a los datos recibidos indicativos de un objeto seleccionado en las una o más imágenes, para visualizar el icono de control gráfico que no está directamente en el objeto seleccionado;
v. en el que la unidad de control está configurada, sensible a los datos recibidos indicativos de un objeto seleccionado en las una o más imágenes, para generar el icono de control gráfico según la forma y el tamaño del objeto seleccionado;
vi. en el que el icono de control gráfico es un icono seleccionable y redimensionable que puede adaptarse a la forma y tamaño del objeto seleccionado;
vii. en el que la unidad de control comprende una herramienta de dibujo configurada para permitir al operario dibujar el icono de control gráfico alrededor del objeto seleccionado;
viii. en el que las una o más imágenes son una sucesión de imágenes en una transmisión de vídeo; el sistema de vigilancia está configurado además para rastrear iconos de control gráfico de una imagen anterior a una imagen posterior a lo largo de la sucesión de imágenes, manteniendo de ese modo cada icono de control gráfico asociado con su objeto asignado a lo largo de la sucesión de imágenes en la transmisión de vídeo;
ix. en el que el UxV es un vehículo aéreo no tripulado.
Según otro aspecto de la materia objeto dada a conocer actualmente, se proporciona un método computarizado según la reivindicación 9.
Según determinados ejemplos de la materia objeto dada a conocer actualmente, el método puede comprender las características adicionales (i-ix) enumeradas anteriormente en cualquier combinación y/o permutación técnicamente posible.
Según otro aspecto de la materia objeto dada a conocer actualmente, se proporciona un dispositivo de almacenamiento de datos legible por ordenador según la reivindicación 13.
Breve descripción de los dibujos
Con el fin de comprender la materia objeto reivindicada y ver cómo puede llevarse a cabo en la práctica, ahora se describirán diversas realizaciones, solo a modo de ejemplo no limitante, con referencia a los dibujos adjuntos, en los que:
la figura 1 es una ilustración esquemática de un sistema de vigilancia basado en UAV, según un ejemplo de la materia objeto dada a conocer actualmente;
la figura 2 es una ilustración esquemática de una imagen visualizada, según un ejemplo de la materia objeto dada a conocer actualmente;
la figura 3 es una ilustración esquemática de una visualización e interfaz de usuario gráfica, según un ejemplo de la materia objeto dada a conocer actualmente;
la figura 4 es un diagrama de bloques funcional de un UAV conectado operativamente a un sistema de control remoto, según un ejemplo de la materia objeto dada a conocer actualmente; y
la figura 5 es un diagrama de flujo de una secuencia de operaciones según un ejemplo de la materia objeto dada a conocer actualmente.
Descripción detallada
A menos que se indique específicamente lo contrario, como es evidente a partir de las siguientes descripciones, se aprecia que a lo largo de la memoria descriptiva descripciones que utilizan términos tales como “asignar”, “cambiar”, “determinar”, “generar”, o similares, incluyen acciones y/o procesos de un dispositivo computarizado que manipulan y/o transforman datos en otros datos, estando dichos datos representados como cantidades físicas, por ejemplo, tales como cantidades electrónicas, y/o representando dichos datos objetos físicos.
Los términos “ordenador”, “dispositivo computarizado”, o cualquier otra variación de los mismos debe interpretarse ampliamente para cubrir cualquier tipo de dispositivo electrónico con capacidades de procesamiento de datos, tal como un procesador (por ejemplo, procesador de señales digitales (DSP), microcontrolador, circuito programable en campo (ASIC), etc.) o un dispositivo que comprende o está conectado operativamente a uno o más procesadores informáticos, que incluyen a modo de ejemplo no limitante, un ordenador personal, un servidor, un ordenador portátil, un sistema informático, un dispositivo de comunicación y/o cualquier combinación de los mismos.
Como se usa en el presente documento, la frase “por ejemplo”, “tal como”, “entre otros” y variantes de las mismas
describen realizaciones no limitantes de la materia objeto dada a conocer actualmente. Referencia en la memoria descriptiva a “un caso”, “algunos casos”, “otros casos” o variantes de los mismas significan que una característica, estructura o rasgo particular descrito en relación con la(s) realización/realizaciones se incluye en al menos una realización de la materia objeto dada a conocer actualmente. Por lo tanto, la aparición de la frase “un caso”, “algunos casos”, “otros casos” o variantes de las mismas no se refieren necesariamente a la(s) misma(s) realización/realizaciones.
Se aprecia que determinadas características de la materia objeto reivindicada, que se describen, para mayor claridad, en el contexto de realizaciones independientes, también pueden proporcionarse en combinación en una sola realización. Por el contrario, diversas características de la invención, que se describen, por brevedad, en el contexto de una sola realización, también pueden proporcionarse por separado o en cualquier subcombinación adecuada. Aunque la invención se ha mostrado y descrito con respecto a realizaciones particulares, no está, por tanto, limitada. Numerosas modificaciones, cambios y mejoras dentro del alcance de la materia objeto reivindicada se le ocurrirán ahora al lector.
En realizaciones de la materia objeto reivindicada, pueden ejecutarse menos, más y/o diferentes fases que las mostradas en la figura 5. En realizaciones de la materia objeto reivindicada, pueden ejecutarse una o más fases ilustradas en la figura 5 en un orden diferente y/o uno o más grupos de fases pueden ejecutarse simultáneamente. La figura 1 y la figura 4 ilustran un esquema de la arquitectura del sistema según realizaciones de la materia objeto dada a conocer actualmente. Elementos funcionales en la figura 1 y la figura 4 pueden centralizarse en una ubicación o dispersarse en más de una ubicación. En otras realizaciones de la materia objeto dada a conocer actualmente, el sistema puede comprender menos, más y/o diferentes elementos funcionales que los mostrados en la figura 1 y la figura 4.
La unidad 5 de control de a bordo de UxV, así como la unidad 160 de control representada en la figura 4 son cada una un dispositivo computarizado que comprende o está asociado de otro modo con uno o más dispositivos de procesador informático y memoria informática (que comprende las instrucciones informáticas requeridas) para proporcionar la capacidad de procesamiento requerida y ejecutar las operaciones como se da a conocer en el presente documento.
Los términos “imagen” e “imágenes” deben interpretarse ampliamente para cubrir tanto imágenes fijas como imágenes combinadas en una transmisión de vídeo.
El término “objeto” como se usa en el presente documento debe interpretarse ampliamente para incluir cualquier tipo de objeto identificable en una imagen de una escena o parte de la misma, que incluye un tipo específico de objeto en una imagen de una escena (por ejemplo, coche, edificio, persona, aeronave, etc.) así como un grupo discernible de uno o más píxeles (por ejemplo, un grupo de píxeles en movimiento o un grupo de píxeles caracterizados por una temperatura o color discernibles con respecto a su área circundante) o un área seleccionada en una imagen de la escena estudiada.
Teniendo en cuenta lo anterior, a continuación, se dirige la atención a la figura 1 que muestra una ilustración esquemática de un sistema de vigilancia, según un ejemplo de la materia objeto dada a conocer actualmente. La ilustración en la figura 1 proporciona un ejemplo de una vista de alto nivel de un sistema 100 de vigilancia y seguimiento basado en UAV. Se observa que, aunque la descripción expuesta en el presente documento se refiere principalmente a los UAV, esto se hace solo a modo de ejemplo no limitante y los principios dados a conocer con respecto a los UAV pueden implementarse de manera similar en otros tipos de vehículos no tripulados (UxV).
En general, un sistema de UxV para vigilancia y seguimiento remoto de objetos (en el presente documento denominado sistema de vigilancia) comprende un sistema 110 de control (a veces conocido como unidad de control en tierra (GCU)) en una ubicación y un UxV 120 (ejemplificado en la figura 1 por un UAV) que porta una unidad de detección en otra ubicación. La unidad de control está configurada para permitir que un operario monitorice y controle el funcionamiento de un UxV respectivo. El control del UxV puede incluir tanto el control sobre el funcionamiento del propio UAV, así como el control sobre el funcionamiento de diversos instrumentos que están instalados en el UAV. El sistema 110 de control puede comunicarse con el UxV 120 a través de un enlace de comunicación de línea de visión (LOS) y/o de más allá de la línea de visión (BLOS).
La unidad de detección, que comprende algún tipo de instrumento de adquisición de datos (por ejemplo, sensor de imagen o radar) puede usarse para vigilar una escena (área de interés 130) y transmitir datos de detección a la unidad de control. Los datos de detección incluyen datos que se adquirieron por el instrumento de adquisición de datos o datos generados usando los datos adquiridos (por ejemplo, imágenes capturadas del área de interés vigilada (AOI), datos que caracterizan objetos identificados en las imágenes capturadas, etc.). Las imágenes capturadas pueden proporcionarse por una unidad de detección en forma de imágenes fijas y/o transmisión de vídeo. Pueden visualizarse datos de detección recibidos en el sistema 110 de control en un dispositivo de visualización para su visualización por parte de los operarios del sistema 110 de control.
La unidad de detección puede configurarse además para la localización y el seguimiento de un objeto avistado. La
unidad de control permite dotar la unidad de detección de datos de control, incluyendo, por ejemplo, diferentes tipos de comandos, cada comando comprende instrucciones para dirigir la unidad de detección para realizar diversas operaciones. Los comandos incluyen, por ejemplo, comandos de bloqueo y seguimiento, comandos de zoom, comandos de centrado, etc. La unidad de detección está configurada para ejecutar el comando recibido y proporcionar a la unidad de control los datos de detección solicitados.
Según los requisitos de la norma STANAG 4586, que es la especificación de OTAN para implementar un sistema de control de UAV central (CUCS, que comprende componentes de control de UAV tanto terrestres como aéreos) el sistema 110 de control comprende un módulo de cliente (consola de operario) conectado en secuencia a la unidad de servidores de aplicaciones, módulo específico de vehículo y terminal de datos terrestre B\LOS primario.
La consola de operario puede implementarse en diversos tipos de dispositivos computarizados, que incluyen a modo de ejemplo no limitante, PC u ordenadores portátiles o cualquier otro dispositivo computarizado que comprenda memoria informática (por ejemplo, volátil y no volátil) y uno o más procesadores informáticos configurados con las capacidades de procesamiento y software dedicado requeridos. La consola de operario se usa por un operario para controlar el UAV mientras está en tierra y en el aire.
La unidad de servidores de aplicaciones comprende uno o más dispositivos computarizados (por ejemplo, servidores informáticos) configurados para permitir la ejecución de diversas tareas. Cada servidor es un dispositivo computarizado con memoria informática apropiada y uno o más procesadores informáticos que proporcionan las capacidades de procesamiento de datos requeridas.
La unidad de servidores de aplicaciones puede incluir, a modo de ejemplo no limitante: servidor de control de vuelo configurado para controlar el vuelo del UAV; diversos servidores de adquisición de datos conectados operativamente a un dispositivo de adquisición de datos respectivo (por ejemplo, cámara, radar, dispositivo inteligente de comunicación, etc.) instalado en el UAV.
El GDT de B/LOS está configurado para comunicarse con el UAV a través de un respectivo terminal de datos aéreo (B/LOS ADT) que forma parte del sistema de control de a bordo de UAV. La comunicación entre GDT y ADT puede ser comunicación de línea de visión (LOS) o basada en satélite, comunicación más allá de la línea de visión (B-LOS).
Como se ilustra en la figura 1, además del sistema 110 de control, el UAV 120 también se comunica con uno o más sistemas 140 de control de instrumento (APCS). El APCS es un sistema que permite proporcionar datos de detección directamente desde el UAV a diversas entidades distintas del sistema 110 de control. Por ejemplo, las fuerzas operativas desplegadas en un área de misión a menudo hacen uso de los datos de detección del UAV durante la ejecución de la misión. Del mismo modo, fuerzas al mando implicadas en una misión, posiblemente ubicadas fuera del área de misión, también puede usar datos de detección de UAV para controlar la misión y controlar otras fuerzas que participan en la misión. Similar al sistema 110 de control, el APCS 140 comprende un enlace de comunicación LOS y/o BLOS con el UAV y una consola de operario que permite a un operario ver los datos de detección transmitidos desde el UAV, que se visualiza en un dispositivo de visualización respectivo.
La figura 1 muestra un ejemplo de un APCS 140 basado en vehículo con una consola de operario 150 instalada dentro del vehículo. También existen otros tipos de APCS 140 que incluyen versiones más compactas que no están basadas en vehículos y comprenden, por ejemplo, un dispositivo computarizado portátil configurado para comunicarse con el UAV 120. Algunos dispositivos portátiles de APCS pueden portarse por personal de fuerza operativa permitiendo que fuerzas móviles vean datos de detección de uAv recibidos directamente desde el UAV en tiempo real. Similar a la consola de operario de unidad de control, la consola de operario de APCS puede implementarse en diversos tipos de dispositivos computarizados, que incluyen a modo de ejemplo no limitante, PC u ordenadores portátiles o cualquier otro dispositivo computarizado que comprenda memoria informática (por ejemplo, transitoria y no transitoria) y uno o más procesadores informáticos configurados con las capacidades de procesamiento y software dedicado requeridos.
A pesar de sus beneficios, el APCS 140 no proporciona todas las funcionalidades proporcionadas por el sistema 110 de control. Por ejemplo, a diferencia del sistema 110 de control, el APCS 140 no incluye controles de vuelo de UAV, y, por consiguiente, un operario de APCS no puede enviar instrucciones de control de vuelo directo al UAV. Por lo tanto, en el caso de que un operario de APCS 140 desee reposicionar el UAV, se requiere que entre en contacto con un operario del sistema 110 de control a través de un enlace de comunicación y dote al operario de unidad de control de la posición deseada del UAV. El operario de unidad de control puede entonces usar los controles de UAV disponibles en el sistema 110 de control, y dirigir el UAV a la ubicación deseada.
En algunos casos, durante las misiones de vigilancia o seguimiento, mientras se transmiten datos de obtención de imágenes de una escena vigilada al APCS 140, un operario de APCS puede desear cambiar el ángulo de visión de la unidad de detección. Para ese fin, el operario de APCS puede enviar comandos apuntadores (que comprenden instrucciones apuntadoras) al UAV dirigidos para controlar el ángulo de un dispositivo de obtención de imágenes (por ejemplo, cámara) para proporcionar imágenes en el ángulo deseado. Estos tipos de comandos
de control pueden generarse con la ayuda de algún tipo de dispositivo de control que permite al operario de APCS introducir los comandos de control relevantes. Por ejemplo, algunas consolas de operario permiten que operarios de APCS apunten con un dispositivo apuntador (por ejemplo, ratón de ordenador, palanca de mando dedicada, pantalla táctil, etc.) a un objeto de interés o área deseada en las imágenes visualizadas, y generen comandos al UAV para apuntar el dispositivo de obtención de imágenes a la ubicación deseada.
Sin embargo, en algunos casos, un operario de APCS puede desear ver un objeto o un área que no es visible en las imágenes visualizadas. Por ejemplo, considérese la imagen 200 mostrada en la figura 2 que comprende un edificio 20. El lado frontal del edificio (marcado con 23) está expuesto en la imagen visualizada permitiendo que un operario de APCS apunte con un dispositivo de entrada (por ejemplo, cursor de ratón) a cualquier punto ubicado en el lado frontal del edificio (orientado sustancialmente hacia la dirección suroeste). Por lo tanto, el operario de APCS puede dirigir el dispositivo de obtención de imágenes para apuntar y/o hacer zoom en cualquier lugar del lado frontal del edificio.
Si, sin embargo, el operario de APCS desea ver la parte trasera del edificio (orientada sustancialmente hacia la dirección nordeste), no puede hacerlo, ya que la parte trasera del edificio no está expuesta en la imagen y, por lo tanto, el operario de APCS no puede apuntar al área deseada. Por lo tanto, como se explicó anteriormente, se requiere que el operario de APCS se ponga en contacto con el operario del sistema 110 de control y solicite al operario que reposicione el UAV para permitir ver el edificio desde la dirección deseada. Claramente, este proceso es inconveniente, conlleva mucho tiempo y depende de la existencia de un enlace de comunicación disponible entre el sistema 110 de control y el APCS 140.
Por lo tanto, según la materia objeto dada a conocer actualmente, se proporciona una interfaz de usuario gráfica de APCS. La interfaz de usuario gráfica dada a conocer en el presente documento está configurada para permitir a un operario de UxV (por ejemplo, un operario de APCS) dirigir el UxV para ver un objeto seleccionado desde un ángulo de visión deseado, a pesar del hecho de que el ángulo de visión deseado del objeto no está expuesto en la imagen visualizada. Por lo tanto, la interfaz de usuario gráfica está configurada para hacerse funcionar en un modo “esclavo a icono” en lugar del modo comúnmente conocido como “modo esclavo a sensor”.
Si bien la solución propuesta puede usarse en cualquier tipo de unidad de control de UxV, en aras de la simplicidad, se describe a continuación en el contexto de un APCS donde proporciona una solución al problema mencionado anteriormente de dirigir un UxV para ver un objeto desde los ángulos de visión deseados. Sin embargo, se observa que esto no debe interpretarse como limitante de ninguna manera.
Según el sujeto dado a conocer actualmente, se proporciona una interfaz de usuario gráfica configurada con una herramienta de control gráfico tridimensional (3D). La herramienta de control gráfico 3D permite a un operario de APCS colocar un icono de control gráfico en una posición deseada en una imagen visualizada sobre un objeto seleccionado, y usar el icono para indicar, directamente al UxV, un ángulo de visión deseado del objeto seleccionado.
La figura 3 es una ilustración esquemática que demuestra una consola de operario de APCS con una interfaz de usuario gráfica según un ejemplo de la materia objeto dada a conocer actualmente. La figura 3 muestra la pantalla 31 de una consola de operario del APCS 140 que muestra imágenes capturadas por un UAV 120. La imagen visualizada muestra la misma captura de pantalla mostrada anteriormente en la figura 2.
La figura 3 también muestra el icono 33 de control gráfico de la herramienta de control gráfico 3D dada a conocer en el presente documento, que se visualiza en la pantalla 31. El icono de control gráfico puede visualizarse, por ejemplo, en un elemento 35 de control de barra de herramientas. La barra de herramientas puede integrarse en el borde de la pantalla 31 o en una ventana de visualización. El icono de control gráfico puede mostrarse de cualquier otra manera conocida en la técnica.
El icono 33 de control gráfico puede configurarse como una forma geométrica en 3D (por ejemplo, poliedro) que puede usarse por un operario de APCS para marcar un objeto de interés en una imagen visualizada. Por ejemplo, el icono 33 de control gráfico puede arrastrarse desde su ubicación en el elemento de control de barra de herramientas hasta la pantalla y colocarse sobre el objeto de interés, apareciendo como un esqueleto externo que rodea el objeto. El icono de control gráfico puede configurarse con dimensiones redimensionables, que pueden estirarse o comprimirse para adaptarse al tamaño y la forma del objeto de interés seleccionado. Opcionalmente, pueden ponerse a disposición múltiples iconos que tienen diferentes formas y proporciones seleccionables (por ejemplo, visualizados en la barra de herramientas) que permiten al operario seleccionar convenientemente el icono más adecuado para un objeto seleccionado dado. Según un ejemplo, algunos iconos pueden preconfigurarse con las formas de determinados objetos comunes que probablemente se seleccionen en imágenes vistas. Por ejemplo, puede proporcionarse un icono en forma de vehículo para el seguimiento de vehículos. Según otro ejemplo, el icono 33 de control gráfico puede dibujarse por el operario de APCS (por ejemplo, con la ayuda de una herramienta de dibujo dedicada) en la parte superior de la imagen visualizada en la ubicación deseada.
Una vez que se coloca el icono de control gráfico en la posición correcta (y opcionalmente después de que el
operario confirme la posición del icono en la imagen), cada cara del icono de control gráfico en 3D asume la representación de una cara (o lado) respectiva del mundo real del objeto como se visualiza en la(s) imagen/imágenes.
El operario de APCS ahora puede interactuar con el icono de control gráfico para proporcionar instrucciones apuntadoras al UxV, en lugar de interactuar directamente con el objeto en la imagen visualizada. Por ejemplo, el operario de APCS puede generar instrucciones apuntadoras apuntando a un punto deseado en el icono 33 de control gráfico. En respuesta a una instrucción apuntadora generada con respecto al icono de control gráfico, se genera un comando apuntador con respecto al punto correspondiente en el objeto.
El icono de control gráfico permite al operario de APCS generar instrucciones apuntadoras para dirigir el UAV para observar cualquier cara del objeto seleccionado, que incluye aquellas no expuestas en la imagen visualizada. Una vez que se coloca en una imagen visualizada, el icono 33 de control gráfico puede manipularse por el operario de APCS para cambiar su orientación. Según un ejemplo, el icono de control que se coloca en la imagen puede manipularse por el operario para cambiar su orientación en todas las direcciones y, por lo tanto, exponer, hacia el operario, las caras del icono de control que representan caras ocultas del objeto que no están expuestas en la imagen visualizada. Por ejemplo, la rotación alrededor del centro del icono 33 de control gráfico en 3D puede hacerse mediante un clic de botón izquierdo del ratón seguido del arrastre del ratón en la orientación y dirección de rotación deseadas. Esta acción expone al operario las caras del icono, que representan las caras ocultas del objeto respectivo y permite al operario interactuar y apuntar a estas caras. Opcionalmente, en algunos casos, la rotación del icono de control gráfico puede no permitirse en todas las direcciones. Por ejemplo, un icono de control gráfico asignado a un edificio puede no permitirse que gire de tal manera que la parte inferior del edificio, estando en contacto con el suelo, está expuesto.
Alternativa o adicionalmente, la manipulación del icono de control gráfico en 3D puede hacerse en un icono diferente al colocado en la imagen visualizada, tal como un icono de control gráfico en 3D ubicado en el elemento de control de barra de herramientas que representa el icono colocado en la imagen visualizada. Esta solución permite mantener el icono de control gráfico en 3D en la imagen en la misma orientación del objeto respectivo mientras se manipula y se gira el icono de barra de herramientas con el fin de exponer caras del icono, que representan las caras ocultas del objeto respectivo. Según otro ejemplo más, un icono de control gráfico en 3D no se coloca necesariamente sobre el objeto seleccionado. Más bien, una vez que se selecciona un objeto de interés en una imagen visualizada (por ejemplo, haciendo clic en el ratón o marcando de otro modo el objeto) un respectivo icono de control gráfico en 3D colocado en una ubicación diferente (no directamente en el objeto seleccionado, por ejemplo, en el elemento de control de la barra de herramientas) se activa para recibir instrucciones con respecto al objeto seleccionado, mientras que el propio objeto en la imagen permanece sin cambios.
La figura 4 es un diagrama de bloques funcional de un UAV conectado operativamente a una unidad de control, según un ejemplo de la materia objeto dada a conocer actualmente. La unidad 140 de control puede ser, por ejemplo, APCS. La figura 4 muestra un UAV 120 que comprende la unidad 5 de control de a bordo de UAV, unidad 9 de comunicación y dispositivos 15 de control de vuelo de UAV. La unidad 9 de comunicación de UAV está configurada para proporcionar un enlace de comunicación LOS y/o BLOS con una unidad 41 de comunicación de la unidad 160 de control. La comunicación entre el UAV 120 y la unidad de control puede realizarse mediante cualquier infraestructura y protocolo de comunicación adecuado conocido en la técnica. La unidad 9 de comunicación puede comprender o estar conectada operativamente de otro modo a un terminal de datos aéreo (B/LOS ADT) como se describió anteriormente.
La unidad 5 de control de a bordo de UAV comprende un instrumento de adquisición de datos (unidad 10 de detección). La unidad de detección puede incluir un dispositivo de obtención de imágenes (por ejemplo, una cámara) configurado para capturar imágenes de una escena vigilada. Estas imágenes pueden provenir de un sensor electroóptico que puede proporcionar, por ejemplo, imágenes ópticas en color, imágenes ópticas en blanco y negro, así como un sensor de imagen infrarroja, o cualquier otro tipo de dispositivos de obtención de imágenes.
La unidad de control de a bordo de UAV comprende además un módulo 12 de procesamiento de comandos y un módulo 13 de generador de comandos. El módulo 12 de procesamiento de comandos está configurado para recibir datos de control y generar instrucciones para ejecutar los comandos respectivos. Por ejemplo, datos de control pueden incluir instrucciones apuntadoras dirigidas para apuntar el sensor de imagen en una dirección deseada.
Si se determina (por ejemplo, mediante el módulo 12 de procesamiento de comandos) que la ejecución de un comando requiere el reposicionamiento del UAV, la unidad 12 de procesamiento de comandos puede generar y proporcionar instrucciones al sistema 14 de control de vuelo de UAV configurado para controlar los dispositivos de control de vuelo para hacer navegar el UAV a una posición deseada. Por lo tanto, el módulo 12 de procesamiento de comandos puede configurarse para determinar si la ejecución de un comando apuntador recibido requiere el reposicionamiento del UAV y, de ser así, para generar instrucciones (por ejemplo, con la ayuda del generador 13 de comandos) al sistema 14 de control de vuelo de UAV para controlar los dispositivos 15 de control de vuelo de UAV para hacer navegar el UAV a la ubicación deseada y proporcionar las imágenes requeridas.
Dispositivos de control de vuelo de UAV incluyen, por ejemplo, acelerador, estabilizadores, alerones y timones de dirección, configurados para dirigir el UAV desde su posición actual a una nueva posición deseada. Obviamente, en otros tipos de UxV existen diferentes dispositivos de control dependiendo del tipo específico de vehículo. Por ejemplo, en un vehículo terrestre no tripulado, dispositivos de control pueden incluir mecanismos de dirección, transmisión, aceleración y rotura. El sistema 14 de control de vuelo de UAV puede incluir diversas unidades de control, dedicada cada una para controlar el funcionamiento de un dispositivo de control de vuelo respectivo.
Volviendo a la unidad 160 de control (por ejemplo, APCS 140), comprende (además de la unidad 41 de comunicación) la unidad 47 de visualización, el dispositivo 49 de entrada, el generador 43 de comandos y el motor gráfico 45.
La unidad 47 de visualización comprende uno o más dispositivos de visualización (por ejemplo, una o más pantallas LED) para visualizar los datos de detección recibidos del UAV 120. El dispositivo 49 de entrada está configurado para permitir que un operario interactúe con la unidad de control. El dispositivo 49 de entrada incluye, por ejemplo, teclado, palanca de mando, ratón de ordenador, panel táctil, pantalla táctil o cualquier otro dispositivo que permita la interacción del operario con el sistema de control.
El motor gráfico 3D 45 está configurado para generar y visualizar la herramienta de control gráfico en 3D para controlar el UAV. El generador 43 de comandos está configurado para generar datos de control que son sensibles a instrucciones recibidas por un operario. Por ejemplo, un operario de APCS puede interactuar con la unidad de control para generar instrucciones apuntadoras dirigidas para apuntar a la unidad de detección para proporcionar los ángulos de visión deseados de un objeto seleccionado. El generador 43 de comandos está configurado para generar un comando apuntador respectivo basándose en las instrucciones apuntadoras recibidas.
La figura 5 es un diagrama de flujo de una secuencia de operaciones llevadas a cabo según un ejemplo de la materia objeto dada a conocer actualmente. Las operaciones descritas con referencia a la figura 5 pueden ejecutarse, por ejemplo, con la ayuda de un sistema de vigilancia configurado según los principios descritos anteriormente con referencia a la figura 4. Sin embargo, se observa que cualquier descripción de operaciones que se hace con referencia a los elementos en la figura 4 se realiza a modo de ejemplo y solo con fines ilustrativos y no debe interpretarse como limitante de ninguna manera.
La unidad de detección de a bordo de un UxV (por ejemplo, UAV 120) adquiere imágenes de una escena vigilada. Los datos de detección que comprenden al menos las imágenes capturadas transmitidas desde el UxV se reciben en la unidad de control, por ejemplo, APCS 140 (bloque 501). Las imágenes capturadas pueden comprender uno o más objetos. Con el fin de proporcionar una transmisión de vídeo de la escena vigilada, las imágenes se capturan continuamente y se transmiten continuamente, y se visualizan en la unidad de control.
En el bloque 503 se generan uno o más iconos de control gráfico en 3D (por ejemplo, con la ayuda del motor gráfico 3D 45) y se visualiza en el dispositivo de visualización. Opcionalmente, los iconos de control gráfico pueden generarse automáticamente por el motor gráfico 45 y visualizarse por la unidad 47 de visualización. Por ejemplo, como se mencionó anteriormente, pueden generarse iconos de control gráfico y visualizarse en un elemento de control de barra de herramientas, poniendo el icono disponible para su uso. Entonces, el operario puede arrastrar un icono apropiado y colocarlo en un objeto de interés seleccionado en las imágenes visualizadas (o asociarse de otro modo entre el icono de control gráfico y el objeto seleccionado). Alternativa o adicionalmente, pueden generarse iconos de control gráfico en respuesta a una solicitud u operación específica de un operario. Por ejemplo, el operario de APCS puede usar el dispositivo 49 de entrada para seleccionar un objeto de interés visualizado en una o más imágenes y, por lo tanto, hacer que el motor gráfico 45 genere un icono de control gráfico en 3D que rodee el objeto seleccionado. Para este fin, la unidad 160 de control puede comprender un módulo de procesamiento de imágenes configurado para determinar la forma y posiblemente también el tamaño del objeto seleccionado y proporcionar al motor gráfico instrucciones para generar un icono de control gráfico apropiado.
Según otro ejemplo, un operario de APCS puede usar el dispositivo 49 de entrada (configurado junto con el motor gráfico como una herramienta de dibujo) para marcar los contornos de un objeto de interés mostrado en una o más imágenes, y, por lo tanto, hacer que el motor gráfico 45 genere un icono de control gráfico en 3D según el contorno del objeto, marcado por el operario.
Como se explicó anteriormente, una vez que el icono de control gráfico se coloca en la posición correcta (y opcionalmente la posición se confirma por el operario), cada cara del icono de control gráfico en 3D asume la representación de una cara (o lado) respectiva del mundo real del objeto como se muestra en la(s) imagen/imágenes. La asociación entre las caras del objeto y las caras del icono puede realizarse, por ejemplo, mediante el motor gráfico 45.
En la transmisión de vídeo, los iconos de control gráfico se rastrean desde una imagen anterior hasta una imagen posterior a lo largo de una sucesión de imágenes capturadas, manteniendo de ese modo cada icono de control gráfico asociado con su objeto respectivo a lo largo de la sucesión de imágenes en la transmisión de vídeo. Los métodos para el rastreo de objetos desde una imagen anterior hasta una imagen posterior a lo largo de una
sucesión de imágenes son muy conocidos en la técnica e incluyen, por ejemplo, un algoritmo de detección de movimiento de vídeo (que permite el rastreo de objetos en movimiento), identificación del centro de gravedad, detección de bordes, correlación, etc.
Después de que se haya seleccionado un objeto de interés y se haya asignado un respectivo icono de control gráfico en 3D al objeto seleccionado (y que en algunos casos también se haya colocado correctamente sobre el objeto seleccionado), el operario puede interactuar con el icono para generar instrucciones apuntadoras. En el bloque 505 se reciben instrucciones apuntadoras (por ejemplo, desde un operario) que indican los ángulos de visión deseados para ver el objeto seleccionado. Las instrucciones apuntadoras pueden recibirse por un operario usando un dispositivo de entrada para apuntar al icono de control gráfico en 3D asignado al objeto seleccionado. Las instrucciones apuntadoras se procesan por la unidad de control (por ejemplo, con la ayuda del generador 43 de comandos) y se genera un comando respectivo y se transmite al UxV (bloque 507). En particular, en algunos casos, siendo sensible a la selección de un objeto de interés, la unidad de control está configurada inicialmente para emitir un comando de centrado (por ejemplo, con la ayuda del generador 43 de comandos) que ordena al UAV que posicione el objeto seleccionado en el centro de las imágenes visualizadas.
El comando recibido (apuntador) se procesa (por ejemplo, con la ayuda del módulo 12 de procesamiento de comandos) para, entre otros, determinar si las instrucciones apuntadoras respectivas requieren el reposicionamiento del UxV (bloque 509). La ubicación apuntadora en el icono de control gráfico en 3D se considera y se compara con la posición actual del UxV. La posición de UxV puede obtenerse a partir de un posicionamiento de a bordo tal como un receptor GPS y/o INS. En algunos casos, las dimensiones (por ejemplo, altura) del objeto seleccionado también pueden obtenerse a partir de la imagen vista y usarse para determinar si se requiere el reposicionamiento del UxV. Como se mencionó anteriormente, el operario puede manipular el icono de control gráfico para cambiar su orientación (por ejemplo, girando el icono alrededor de su eje central en diversas direcciones) y, por lo tanto, exponer, para la interacción, áreas de los iconos que representan áreas respectivas del objeto de interés asignado que no son visibles para la unidad de detección y, por lo tanto, no están expuestas en las imágenes visualizadas.
En el caso de que se realizara el apuntamiento en una parte del icono de control en 3D, que representa una parte respectiva del objeto seleccionado que actualmente es visible para la unidad 10 de detección y, por lo tanto, está expuesto en la imagen visualizada, y se determine que no se requiere el reposicionamiento del UxV, solo se genera un comando apuntador (bloque 513). El comando apuntador incluye instrucciones para dirigir el sensor de imagen para apuntar en la dirección deseada. Si un comando de centrado inicial ya ha llevado al sensor de imagen a apuntar en la dirección deseada, no se ejecutan necesariamente comandos adicionales.
Si, sin embargo, el apuntamiento se realizó en una parte del icono de control en 3D, que representa una parte respectiva del objeto seleccionado que actualmente no es visible para la unidad 10 de detección, y, por lo tanto, no está expuesto en la imagen visualizada, se genera un comando de reposicionamiento de UAV (bloque 511). El comando de reposicionamiento incluye instrucciones para hacer navegar el UAV a una nueva posición desde la cual el sensor de imagen puede ver el punto deseado.
Opcionalmente, puede generarse un comando apuntador además del comando de reposicionamiento para dirigir el dispositivo de detección hacia un punto determinado. Alternativamente, puede generarse un comando apuntador (o un comando de centrado) basándose en las instrucciones apuntadoras recibidas del operario después de que el UAV haya alcanzado su nueva posición.
Según un enfoque alternativo, el procesamiento del comando, para determinar si se requiere el reposicionamiento del UxV, se realiza por la unidad de control. Para este fin, la unidad 160 de control puede comprender el módulo 51 de procesamiento de comandos configurado para ejecutar operaciones como se describió anteriormente con referencia a los bloques 509 a 513. Después de que se complete el procesamiento, el comando respectivo puede transmitirse al UxV donde puede ejecutarse.
Se procesan comandos apuntadores recibidos para generar instrucciones para dirigir el sensor de imagen en una dirección deseada. Se procesan comandos de navegación (reposicionamiento) de UAV recibidos para generar instrucciones para los elementos de control de vuelo de UAV para hacer navegar el UAV a una nueva posición desde la que puede obtenerse el punto de vista deseado del objeto.
Si bien la materia objeto dada a conocer actualmente proporciona a un operario de APCS la capacidad de generar instrucciones dirigidas a reposicionar un UxV, en sistemas de vigilancia tales como el ilustrado anteriormente con referencia a la figura 1, el operario del sistema 110 de control puede mantenerse en el bucle para controlar el UxV. Por ejemplo, el operario del sistema 110 de control puede tener comandos de superposición sobre el operario de APCS, y, por consiguiente, puede confirmar o abortar las instrucciones generadas de APCS antes de que se ejecuten por el UxV.
En diferentes escenarios de vuelo, la progresión de un UxV está restringida por diversas restricciones. Por ejemplo, un vuelo de UAV a veces está restringido por zonas no de vuelo (NFZ), que son áreas sobre las cuales no se
permite que vuelen aeronaves. De manera similar, el espacio aéreo restringido es un área (volumen) del espacio aéreo en la que el tráfico aéreo está restringido. Tales restricciones se establecen comúnmente por las autoridades por razones militares, de seguridad o de protección. Por ejemplo, por razones de seguridad nacional, a menudo se permite que las aeronaves crucen las fronteras entre países vecinos, solo después de ser autorizadas formalmente para hacerlo. En algunos casos, cuando la frontera delimita el territorio enemigo, el cruce de una frontera de este tipo puede estar completamente prohibido. Del mismo modo, algunas aeronaves (tales como UAV) no pueden volar sobre áreas pobladas por razones de seguridad humana.
Otras restricciones de vuelo están relacionadas con la topografía y/o la ocupación de suelo en áreas urbanas. Por ejemplo, las trayectorias de vuelo pueden estar restringidas en las proximidades de montañas o edificios altos para evitar el riesgo de colisión.
Otro ejemplo de una restricción de vuelo está relacionado con el funcionamiento de una cámara de a bordo. Con el fin de mantener la cámara continuamente operativa, es imprescindible mantener una línea de visión abierta entre la cámara y el(los) objeto(s) de interés (por ejemplo, en la dirección del suelo). Sin embargo, mientras gira, el banqueo de las alas puede posicionar el fuselaje de UAV entre la cámara (ubicada, por ejemplo, en el lado ventral del fuselaje) y la dirección de la tierra, bloqueando así la línea de visión entre la cámara y el/los objeto(s) que están capturándose. Cabe señalar, que el banqueo del UAV dirige el FOV de cámara lejos del objeto de interés.
Del mismo modo, la progresión de un UGV puede estar restringida por la existencia de agujeros, grietas o cualquier otro tipo de desnivelación en el suelo que puedan poner en peligro el vehículo.
Según algunos ejemplos, durante la ejecución del comando de reposicionamiento, la unidad 14 de control de vuelo de UAV puede configurarse para considerar una o más restricciones de vuelo y adaptar la trayectoria de vuelo del UAV con el fin de evitar la violación de cualquier restricción posible. Para este fin, la unidad 14 de control de vuelo de UAV puede configurarse, después de determinar la nueva posición del UAV, para considerar los datos relacionados con las restricciones disponibles (que son indicativos de una o más restricciones) y adaptar la trayectoria de vuelo a la nueva posición con el fin de evitar la violación de restricciones existentes.
En algunos casos, el reposicionamiento del UAV no puede lograrse sin la violación de determinadas restricciones. La unidad 14 de control de vuelo de UAV está configurada para determinar, basándose en datos prioritarios, si la restricción se superpone al comando de reposicionamiento, o viceversa, y determinar, por consiguiente, si ejecutar el comando. En tales casos, el operario del sistema 110 de control puede ser responsable de determinar si las instrucciones de reposicionamiento emitidas deben ejecutarse o no.
La materia objeto dada a conocer actualmente contempla un programa informático implementado en un medio que puede usarse por ordenador no transitorio que es legible por un ordenador para ejecutar el método de la materia objeto dada a conocer actualmente. La materia objeto dada a conocer actualmente contempla además una memoria de ordenador no transitoria legible por ordenador que incorpora de manera tangible un programa de instrucciones ejecutables por el ordenador para ejecutar el método de la materia objeto dada a conocer actualmente.
El término “no transitorio” se usa en el presente documento para excluir señales de propagación transitorias, pero por otro lado incluye cualquier tecnología de memoria informática volátil o no volátil adecuada para la aplicación.
Debe entenderse que la materia objeto dada a conocer actualmente no está limitada en su aplicación a los detalles expuestos en la descripción contenida en el presente documento o ilustrada en los dibujos. La materia objeto dada a conocer actualmente es capaz de otras realizaciones y de ponerse en práctica y llevarse a cabo de diversas maneras. Por ejemplo, aunque la descripción anterior se refiere predominantemente a un sistema de control para controlar UAV, esto se hace solo a modo de ejemplo no limitante en aras de la simplicidad. La materia objeto dada a conocer actualmente no se limita solo a los UAV, y las enseñanzas dadas a conocer en el presente documento con respecto a UAV pueden usarse para controlar otras unidades tales como vehículos terrestres no tripulados, vehículos marinos no tripulados, vehículos submarinos no tripulados o cualquier otro tipo de vehículo o dispositivo controlado de manera remota (por ejemplo, robots). Términos en la memoria descriptiva y las reivindicaciones (tales como ADT), que pertenecen a la aplicación de UAV, se proporcionan como ejemplos no limitantes y deben interpretarse en sentido amplio para incluir cualquier elemento funcional equivalente que se use en otros tipos de UxV.
Por lo tanto, debe entenderse que la fraseología y la terminología empleadas en el presente documento tienen fines descriptivos y no deben considerarse limitantes. Como tal, los expertos en la materia apreciarán que la concepción en la que se basa esta descripción puede utilizarse fácilmente como base para diseñar otras estructuras, métodos, y sistemas para llevar a cabo los diversos propósitos de la materia objeto dada a conocer actualmente.
Claims (13)
1. Sistema de vigilancia que comprende:
un vehículo no tripulado (UxV), unidad (160) de control configurada para comunicarse a través de un enlace de comunicación con un UxV (120); comprendiendo el UxV una unidad (10) de detección configurada para capturar una o más imágenes de un área vigilada y transmitir las imágenes a la unidad (160) de control de UxV; la unidad de control de UxV está configurada para visualizar las una o más imágenes en un dispositivo (47) de visualización;
estando el sistema de vigilancia caracterizado porque la unidad (160) de control de UxV está configurada además, sensible a los datos recibidos indicativos de un objeto (20) seleccionado en las una o más imágenes, para asignar un icono (33) de control gráfico al objeto seleccionado; siendo el icono de control gráfico una representación en 3D del objeto (20) seleccionado, en el que diferentes caras del objeto (20) seleccionado se asignan a diferentes caras respectivas del icono (33) de control gráfico;
el icono (33) de control gráfico es capaz de hacerse interactuar por un operario para cambiar su orientación y, por lo tanto, exponer, hacia el operario, áreas del icono (33) de control que representan áreas respectivas del objeto (20) seleccionado que no están expuestas en las una o más imágenes visualizadas en el dispositivo de visualización y, de ese modo, permiten generar instrucciones con respecto a las áreas que no están expuestas en las una o más imágenes;
por lo que el sistema de vigilancia está configurado además, sensible a la interacción de un operario con el icono de control, para indicar ángulos de visión deseados del objeto (20) seleccionado, para:
determinar si la visión del objeto (20) seleccionado en los ángulos de visión deseados requiere el reposicionamiento del UxV y, de ser así, generar instrucciones para reposicionar el UxV (120) para permitir que la unidad (10) de detección vea el objeto en los ángulos de visión deseados.
2. Sistema según la reivindicación 1, que comprende además una unidad (5) de control de a bordo que puede montarse a bordo de un UxV y configurada para realizar dicha determinación de si la visión del objeto seleccionado en los ángulos de visión deseados requiere reposicionar el UxV, y dicha generación de instrucciones para reposicionar el UxV.
3. Sistema según la reivindicación 1, en el que la unidad (160) de control de UxV está configurada para realizar dicha determinación de si la visión del objeto (20) seleccionado en los ángulos de visión deseados requiere reposicionar el UxV.
4. Sistema según una cualquiera de las reivindicaciones 1 a 3, en el que la unidad (160) de control de UxV está configurada, sensible a los datos recibidos indicativos de un objeto (20) seleccionado en las una o más imágenes, para generar el icono de control gráfico según la forma y el tamaño del objeto seleccionado.
5. Sistema según una cualquiera de las reivindicaciones 1 a 3, en el que el icono (33) de control gráfico es un icono seleccionable y redimensionable que puede adaptarse a la forma y el tamaño del objeto seleccionado.
6. Sistema según una cualquiera de las reivindicaciones 1 a 3, en el que la unidad (160) de control de UxV comprende una herramienta de dibujo configurada para permitir al operario dibujar el icono (33) de control gráfico alrededor del objeto seleccionado.
7. Sistema según una cualquiera de las reivindicaciones 1 a 6, en el que las una o más imágenes son una sucesión de imágenes en una transmisión de vídeo; el sistema de vigilancia está configurado además para rastrear iconos de control gráfico de una imagen anterior a una imagen posterior a lo largo de la sucesión de imágenes, manteniendo así cada icono de control gráfico asociado con su objeto asignado a lo largo de la sucesión de imágenes en la transmisión de vídeo.
8. Sistema según una cualquiera de las reivindicaciones anteriores, que comprende además el UxV, en el que el UxV es un vehículo (120) aéreo no tripulado.
9. Método computarizado para controlar un vehículo (120) no tripulado (UxV) en un sistema de vigilancia; comprendiendo el sistema de vigilancia una unidad (160) de control de UxV configurada para comunicarse a través de un enlace de comunicación con el UxV; comprendiendo el UxV una unidad de detección configurada para capturar una o más imágenes de un área vigilada y transmitir las imágenes a la unidad de control de UxV; la unidad de control de UxV está configurada para visualizar las una o más imágenes en un dispositivo (47) de visualización; estando el método caracterizado por usar uno o más procesadores para:
sensible a los datos recibidos en la unidad de control, indicativos de un objeto (20) seleccionado en las una o más imágenes, asignar un icono de control gráfico al objeto seleccionado; siendo el icono (33) de control gráfico una
representación en 3D del objeto seleccionado, en el que diferentes caras del objeto seleccionado se asignan a diferentes caras respectivas del icono (33) de control gráfico;
el icono (33) de control gráfico es capaz de hacerse interactuar por un operario para cambiar su orientación y, por lo tanto, exponer, hacia el operario, áreas del icono (33) de control que representan áreas respectivas del objeto (20) seleccionado que no están expuestas en las una o más imágenes visualizadas en el dispositivo de visualización y, de ese modo, permiten generar instrucciones con respecto a las áreas que no están expuestas en las una o más imágenes;
sensible a la interacción de un operario con el icono de control para indicar ángulos de visión deseados del objeto (20) seleccionado, determinar si la visión del objeto (20) seleccionado en los ángulos de visión deseados requiere reposicionar el UxV; y, si es así,
generar instrucciones para reposicionar el UxV (120) para permitir que la unidad de detección vea el objeto en los ángulos de visión deseados.
10. Método según la reivindicación 9, en el que la determinación de si la visión del objeto seleccionado en los ángulos de visión deseados requiere reposicionar el UxV (120) y la generación de instrucciones se realiza por una unidad (5) de control que puede montarse en el UxV (120).
11. Método según una cualquiera de las reivindicaciones 9 a 10, que comprende, además: siendo sensible a los datos recibidos indicativos de un objeto seleccionado en las una o más imágenes, generar el icono de control gráfico según la forma y el tamaño del objeto (20) seleccionado.
12. Método según una cualquiera de las reivindicaciones 9 a 11, en el que las una o más imágenes son una sucesión de imágenes en una transmisión de vídeo; comprendiendo además el método:
rastrear iconos de control gráfico de una imagen anterior a una imagen posterior a lo largo de la sucesión de imágenes, manteniendo de ese modo cada icono de control gráfico asociado con su objeto asignado a lo largo de la sucesión de imágenes en la transmisión de vídeo.
13. Dispositivo de almacenamiento de datos legible por ordenador que comprende un programa de instrucciones ejecutables por el ordenador para realizar el método según la reivindicación 9.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IL238318A IL238318B (en) | 2015-04-16 | 2015-04-16 | Aircraft control interface without a pilot |
| PCT/IL2016/050358 WO2016166745A1 (en) | 2015-04-16 | 2016-04-03 | Control interface for uxv |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2892489T3 true ES2892489T3 (es) | 2022-02-04 |
Family
ID=57125837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES16779702T Active ES2892489T3 (es) | 2015-04-16 | 2016-04-03 | Interfaz de control gráfica para UxV |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10429834B2 (es) |
| EP (1) | EP3283368B1 (es) |
| ES (1) | ES2892489T3 (es) |
| IL (1) | IL238318B (es) |
| SG (1) | SG11201707171WA (es) |
| WO (1) | WO2016166745A1 (es) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10553122B1 (en) * | 2016-03-22 | 2020-02-04 | Amazon Technologies, Inc. | Unmanned aerial vehicle data collection for routing |
| WO2018073878A1 (ja) * | 2016-10-17 | 2018-04-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | ３次元形状推定方法、３次元形状推定システム、飛行体、プログラム、及び記録媒体 |
| KR20180080892A (ko) * | 2017-01-05 | 2018-07-13 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| CN107396051A (zh) * | 2017-08-09 | 2017-11-24 | 广州云从信息科技有限公司 | 一种采用无人机进行人脸识别监控的方法 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5521817A (en) * | 1994-08-08 | 1996-05-28 | Honeywell Inc. | Airborne drone formation control system |
| DE60113552T3 (de) | 2000-05-17 | 2009-07-30 | The Boeing Co., Chicago | Intuitives fahrzeug und maschinensteuerung |
| US6925382B2 (en) | 2000-10-16 | 2005-08-02 | Richard H. Lahn | Remote image management system (RIMS) |
| US6732024B2 (en) * | 2001-05-07 | 2004-05-04 | The Board Of Trustees Of The Leland Stanford Junior University | Method and apparatus for vehicle control, navigation and positioning |
| US6963795B2 (en) * | 2002-07-16 | 2005-11-08 | Honeywell Interntaional Inc. | Vehicle position keeping system |
| SE0300871D0 (sv) * | 2003-03-27 | 2003-03-27 | Saab Ab | Waypoint navigation |
| US7911497B2 (en) | 2003-04-25 | 2011-03-22 | Lockheed Martin Corporation | Method and apparatus for video on demand |
| EP1761741A2 (en) * | 2004-02-06 | 2007-03-14 | Icosystem Corporation | Methods and systems for area search using a plurality of unmanned vehicles |
| JP2005339746A (ja) * | 2004-05-31 | 2005-12-08 | Pioneer Electronic Corp | 圧縮データファイルの付加情報読込方法およびその方法を実行するプログラム |
| US7418320B1 (en) * | 2005-01-24 | 2008-08-26 | International Business Machines Corporation | Navigating a UAV having an on-board digital camera to capture desired geographic area |
| US20080144884A1 (en) | 2006-07-20 | 2008-06-19 | Babak Habibi | System and method of aerial surveillance |
| US8718838B2 (en) | 2007-12-14 | 2014-05-06 | The Boeing Company | System and methods for autonomous tracking and surveillance |
| US8170840B2 (en) * | 2008-10-31 | 2012-05-01 | Eagle View Technologies, Inc. | Pitch determination systems and methods for aerial roof estimation |
| US20100228406A1 (en) | 2009-03-03 | 2010-09-09 | Honeywell International Inc. | UAV Flight Control Method And System |
| US8977407B2 (en) | 2009-05-27 | 2015-03-10 | Honeywell International Inc. | Adaptive user interface for semi-automatic operation |
| FR2957266B1 (fr) | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
| EP2558817B1 (en) * | 2010-09-30 | 2019-05-15 | Empire Technology Development LLC | Automatic flight control for uav based solid modeling |
| EP2538298A1 (en) | 2011-06-22 | 2012-12-26 | Sensefly Sàrl | Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers |
| FR2985581B1 (fr) | 2012-01-05 | 2014-11-28 | Parrot | Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs |
| NO334183B1 (no) | 2012-03-22 | 2014-01-13 | Prox Dynamics As | Metode og anordning for å kontrollere og overvåke det omliggende område til et ubemannet luftfartøy |
| US9002719B2 (en) * | 2012-10-08 | 2015-04-07 | State Farm Mutual Automobile Insurance Company | Device and method for building claim assessment |
| US8903568B1 (en) | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
-
2015
- 2015-04-16 IL IL238318A patent/IL238318B/en active IP Right Grant
-
2016
- 2016-04-03 EP EP16779702.6A patent/EP3283368B1/en active Active
- 2016-04-03 US US15/557,985 patent/US10429834B2/en active Active
- 2016-04-03 WO PCT/IL2016/050358 patent/WO2016166745A1/en active Application Filing
- 2016-04-03 ES ES16779702T patent/ES2892489T3/es active Active
- 2016-04-03 SG SG11201707171WA patent/SG11201707171WA/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP3283368A4 (en) | 2018-12-26 |
| EP3283368B1 (en) | 2021-07-28 |
| US10429834B2 (en) | 2019-10-01 |
| WO2016166745A1 (en) | 2016-10-20 |
| SG11201707171WA (en) | 2017-10-30 |
| EP3283368A1 (en) | 2018-02-21 |
| IL238318B (en) | 2020-09-30 |
| US20180046178A1 (en) | 2018-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2892489T3 (es) | Interfaz de control gráfica para UxV | |
| US20090087029A1 (en) | 4D GIS based virtual reality for moving target prediction | |
| JP2013014318A (ja) | 航空機内の合成ビジョンシステムを動作させる方法 | |
| EP2142875B1 (en) | Self-orienting reticle | |
| ES2938343T3 (es) | Sistema y método para procesamiento de información táctica en vehículos de combate | |
| EP2523062B1 (en) | Time phased imagery for an artificial point of view | |
| US11328612B2 (en) | System, method, and apparatus for drone positioning control | |
| US11249306B2 (en) | System and method for providing synthetic information on a see-through device | |
| US11669088B2 (en) | Apparatus, method and software for assisting human operator in flying drone using remote controller | |
| EP3659332A1 (en) | Systems and methods for processing and displaying image data based on attitude information | |
| US20210191392A1 (en) | Vehicle control system | |
| Lichtenstern et al. | IMU-and GNSS-assisted single-user control of a MAV-swarm for multiple perspective observation of outdoor activities | |
| Aksenov et al. | An Application of Computer Vision Systems to Unmanned Aerial Vehicle Autolanding | |
| US11967035B1 (en) | Visualizing area covered by drone camera | |
| Sedlmajer et al. | Effective Remote Drone Control using Augmented Virtuality. | |
| WO2022175385A1 (en) | Apparatus, method and software for assisting human operator in flying drone using remote controller | |
| CN117203596A (zh) | 辅助操作人员使用遥控器驾驶无人机的设备、方法和软件 | |
| Varga et al. | Computer-aided system for 360° heads up display of safety/mission critical data | |
| WO2021090312A2 (en) | Line of sight maintenance during object tracking |