IT202100018587A1

IT202100018587A1 - Universal assisted piloting system

Info

Publication number: IT202100018587A1
Application number: IT102021000018587A
Authority: IT
Inventors: Daniele Cafolla; Rico Betsy Dayana Marcela Chaparro
Original assignee: Daniele Cafolla; Rico Betsy Dayana Marcela Chaparro; Sebastiano Fabio; R4Pso S R L
Priority date: 2021-07-14
Filing date: 2021-07-14
Publication date: 2023-01-14

Description

DESCRIZIONE DESCRIPTION

A corredo di una domanda di brevetto per invenzione industriale avente per titolo: ?Sistema universale di pilotaggio assistito? Accompanying a patent application for an industrial invention entitled: ?Universal assisted piloting system?

La ?teleoperazione? conosciuta anche come ?controllo remoto?, ovvero la manipolazione di sistemi remoti a distanza, ha guadagnato popolarit? in varie applicazioni, comprese le operazioni di costruzione, sorveglianza, soccorso ed esplorazione. La chiave per un sistema di teleoperazione di successo ? il design dell'interfaccia uomo-macchina che aiuta a rafforzare la consapevolezza situazionale dell?operatore umano. The ?teleoperation? also known as ?remote control?, or the manipulation of remote systems from a distance, has gained popularity in various applications, including construction, surveillance, rescue and exploration operations. The key to a successful teleoperation system? the design of the human-machine interface that helps strengthen the situational awareness of the human operator.

Nella maggior parte dei casi, le azioni di comando dell?operatore di controllo corrispondono direttamente alle azioni basiche nel dispositivo controllato, come ad esempio in un aeromodello radiocomandato quando muovendo il joystick del radiocomando verso avanti, esso compie lo stesso movimento basico. Laddove i ritardi nelle comunicazioni rendono impraticabile il controllo diretto o si desidera ridurre il carico di lavoro dell'operatore, il dispositivo non sar? controllato direttamente tramite azioni basiche, ma verr? programmato per seguire un percorso specificato. A livelli di sofisticazione crescenti, il dispositivo pu? funzionare in modo alquanto indipendente in questioni come l?evitamento degli ostacoli. Normalmente, una telecamera remota fornisce una rappresentazione visiva della vista della piattaforma. In genere, la telecamera consente un controllo intuitivo ma pu? presentare problemi in quanto la velocit?, la risoluzione e la larghezza di banda spesso non sono adeguate. In dettaglio, il problema principale delle piattaforme autonome riguarda la difficolt? nel poter bypassare la traiettoria preimpostata in caso di malfunzionamenti e/o problemi. Tale difficolt? ? dovuta alla complessit? del sistema e dei comandi stessi da dover mandare che possono essere inficiati dai problemi di comunicazioni sopracitati. Nel caso di bypass del sistema autonomo, viene utilizzato il sistema di teleoperazione tradizionale, il radiocomando. In most cases, the command actions of the controlling operator correspond directly to the basic actions in the controlled device, such as in a radio controlled model aircraft when moving the joystick of the radio controller forward, it performs the same basic movement. Where communication delays make direct control impractical, or where there is a desire to reduce operator workload, the device will not be available. controlled directly through basic actions, but will come? programmed to follow a specified path. At increasing levels of sophistication, the device can? function somewhat independently in matters such as obstacle avoidance. Normally, a far end camera provides a visual representation of the platform view. Typically, the camera allows for intuitive control but can present problems as the speed, resolution and bandwidth are often not adequate. In detail, the main problem of autonomous platforms concerns the difficulty? in being able to bypass the pre-set trajectory in the event of malfunctions and/or problems. This difficulty? ? due to the complexity of the system and of the commands themselves to be sent which may be affected by the aforementioned communication problems. In the case of bypass of the autonomous system, the traditional remote operation system, the radio control, is used.

In tutte le situazioni analizzate, i problemi di coordinazione occhio-mano diventano quindi di cruciale importanza richiedendo una capacit? del teleoperatore avanzata e un suo allenamento specifico. In dettaglio normalmente ? necessario che tali sistemi siano manovrati da piloti qualificati e dotati di specifiche certificazioni ? l?idea proposta si pone l?obiettivo di innovare e rivoluzionare detto settore sia per le caratteristiche strutturali, sia per le modalit? di utilizzo. In all situations analysed, hand-eye coordination problems therefore become of crucial importance requiring an ability to? of the advanced teleoperator and his specific training. In detail usually ? Is it necessary for these systems to be operated by qualified pilots with specific certifications? the proposed idea aims to innovate and revolutionize this sector both for the structural characteristics and for the modalities? of use.

All?attuale stato dell?arte sono state riscontrate idee che affrontano tipologie di prodotti analoghe all?invenzione in esame, recanti le descrizioni come di seguito riportate: a) US4725956?VOICE COMMAND AIR VEHICLE CONTROL SYSTEM; In the current state of the art, ideas have been found which deal with typologies of products similar to the invention in question, bearing the descriptions as indicated below: a) US4725956?VOICE COMMAND AIR VEHICLE CONTROL SYSTEM;

b) SISTEMA DI GUIDA E CONTROLLO AUTOMATICO PER VEICOLI (Pagina Numero deposito: RN2015A000006/102015902331961 ? Codice WIPO: 10RN2015A00000). b) AUTOMATIC GUIDANCE AND CONTROL SYSTEM FOR VEHICLES (Page Deposit Number: RN2015A000006/102015902331961 ? WIPO Code: 10RN2015A00000).

Nel dettaglio, soprattutto l?invenzione di cui al punto a) ? consistente nel sistema di controllo di un veicolo a comando vocale, utilizzato con pilotaggio da remoto attraverso un riconoscitore vocale per convertire comandi di spoglio in segnali di controllo compatibili, trasmessi al veicolo. Tuttavia, bench? vi siano similarit?, l?invenzione di cui al punto a) si differenzia dall? attuale proposta di brevetto per due ordini di ragioni: sia perch? limitata alla sola applicazione su veicoli aerei, sia perch? non ha la possibilit? n? di navigazione con rete cellulare, n? di utilizzare un sistema cloud per la trasmissione dei comandi vocali e/o della trasmissione dei rilevamenti provenienti da eventuali dispositivi incorporati nella piattaforma. Dall?altra parte, in aggiunta, l?invenzione ricercata di cui al punto b), quale ? il sistema di guida e controllo automatico per veicoli, ? applicabile in qualsivoglia settore e ricorre al sistema radio cellulare opportunamente specializzato che, in tempo reale, invia al centro di controllo le proprie coordinate di volo, in modo che queste vengano vagliate e confrontate con le informazioni di richiesta volo. A ben vedere, anche questa invenzione si diversifica dall?attuale proposta di invenzione, in quanto la sua capacit? di pilotaggio ? limitata alla sola programmazione predefinita prima dell?attivazione, precludendo ogni possibilit? di guida in tempo reale. Nonostante, infatti, le analogie tra le due invenzioni, il sistema al punto b), al fine del suo utilizzo, necessita di una preventiva richiesta e di una preventiva comunicazione al sistema che sovraintende il controllo e la guida per poi poter effettuare un percorso di viaggio. Al contrario, l?attuale proposta di brevetto consente in aggiunta di essere utilizzato sul momento senza alcuna predelineata indicazione del tipo di viaggio da seguire, semplicemente utilizzando i comandi vocali che condizionano il movimento del dispositivo mobile sul quale ? installato. In detail, especially the invention referred to in point a) ? consisting of a voice-activated vehicle control system used remotely piloted through a voice recognizer to convert counting commands into compatible control signals transmitted to the vehicle. However, though? there are similarities?, the invention referred to in point a) differs from the? current patent proposal for two orders of reasons: both because? limited to the only application on aerial vehicles, both because? does not have the possibility? n? navigation with cellular network, n? to use a cloud system for the transmission of voice commands and/or the transmission of readings from any devices incorporated into the platform. On the other hand, in addition, the sought-after invention referred to in point b), which one is it? the automatic guidance and control system for vehicles, ? applicable in any sector and uses a suitably specialized cellular radio system which, in real time, sends its flight coordinates to the control centre, so that these are examined and compared with the flight request information. On closer inspection, this invention also differs from the current invention proposal, as its capacity? of piloting ? limited to the only default programming before activation, precluding any possibility? driving in real time. Despite, in fact, the similarities between the two inventions, the system in point b), in order to use it, requires a prior request and a prior communication to the system which oversees the control and guidance in order to then be able to carry out a voyage. On the contrary, the current patent proposal also allows it to be used on the spot without any predefined indication of the type of journey to follow, simply by using the voice commands that condition the movement of the mobile device on which it is used. installed.

Lo scopo che l?attuale invenzione si propone di perseguire ?, dunque, quello di migliorare il sistema di pilotaggio guidato da remoto attraverso l?applicazione di uno speciale sistema di controllo, non solo funzionante attraverso semplici comandi vocali e con il ricorso a innovative modalit? di trasmissione e trasferimento dati tramite etere, ma anche ricorrendo alla modalit? di guida in tempo reale, simultaneamente al suo stesso utilizzo. Il combinato di tutti questi elementi mostra un sistema di pilotaggio da remoto in grado di agire su uno spazio fisico di azione pi? vasto, senza limiti definiti, in quanto possibilmente pilotato da qualsiasi distanza, purch? sussista, come unico requisito, la copertura della rete mobile. The aim that the current invention proposes to pursue is, therefore, that of improving the remotely guided piloting system through the application of a special control system, which not only functions through simple voice commands but also with the use of innovative methods ? transmission and data transfer over the air, but also using the mode? real-time driving, simultaneously with its use. The combination of all these elements shows a remote piloting system capable of acting on a larger physical space of action. vast, without defined limits, as possibly piloted from any distance, as long as? mobile network coverage is the only requirement.

L?invenzione viene descritta con riferimento alla Figura 1 allegata: La Figura 1 presenta uno schema concettuale della struttura del sistema. The invention is described with reference to the attached Figure 1: Figure 1 presents a conceptual diagram of the system structure.

Con riferimento alla Figura 1, il sistema universale di pilotaggio assistito (1) consiste in un microcontrollore assistente (2). Il microcontrollore assistente (2) ? in grado di connettersi al cloud (3) tramite rete cellulare. L?utente (4) a sua volta, tramite una stazione di terra o un semplice smartphone, ? in grado di inviare dei comandi vocali al cloud (3). I comandi vocali, pertanto, vengono ascoltati dall?assistente (2) collegato al cloud (3) tramite rete mobile e vengono convertirti in comandi di testo strutturati. Nello specifico, il comando vocale, attraversando il cloud (3), viene interpretato da un server che lo comunica tramite etere all? assistente (2), il quale, in ultimo, lo trasmette tramite WiFi (5) al controllore della piattaforma mobile (6) che effettua la manovra di guida desiderata. In breve: ogni volta che viene ricevuto un comando, l?assistente (2), connesso alla piattaforma mobile (6), comunica il comando da effettuare che viene poi eseguito in concreto; il tutto, senza limiti spaziali e nella pi? ampia e vasta copertura d?azione della rete mobile. I dati acquisiti da eventuali dispositivi embedded (7) della piattaforma mobile (6) possono essere visualizzati dall? utente (4) grazie all? assistente (2) che li rileva e li trasmette al cloud (3). In questo modo, l?utente (4), avendo contezza degli ambienti, ? in grado di guidare agevolmente la piattaforma mobile (6). With reference to Figure 1, the universal assisted driving system (1) consists of an assistant microcontroller (2). The assistant microcontroller (2) ? able to connect to the cloud (3) via cellular network. The user (4) in turn, via a ground station or a simple smartphone, is capable of sending voice commands to the cloud (3). Voice commands are therefore listened to by the assistant (2) connected to the cloud (3) via mobile network and are converted into structured text commands. Specifically, the voice command, crossing the cloud (3), is interpreted by a server that communicates it over the air to the assistant (2), who finally transmits it via WiFi (5) to the controller of the mobile platform (6) which carries out the desired driving manoeuvre. In short: every time a command is received, the assistant (2), connected to the mobile platform (6), communicates the command to be performed which is then actually executed; all, without spatial limits and in the pi? large and extensive action coverage of the mobile network. The data acquired by any embedded devices (7) of the mobile platform (6) can be viewed by the user (4) thanks to the assistant (2) which detects them and transmits them to the cloud (3). In this way, the user (4), being aware of the environments, ? able to easily drive the mobile platform (6).

Il sistema proposto risulta quindi universale, scalabile e modulare, e consente a qualsiasi utente di guidare veicoli senza peculiari capacit?, poich? ? sufficiente pronunciare a voce le indicazioni del percorso che progressivamente si intende far seguire al veicolo. The proposed system is therefore universal, scalable and modular, and allows any user to drive vehicles without specific skills, since ? it is sufficient to pronounce aloud the indications of the route that you intend to have the vehicle follow progressively.

La natura dell?invenzione attualmente proposta la rende, quindi, applicabile su diverse tipologie di veicoli ? quali, ad esempio, piattaforme robotiche mobili, droni o, pi? in generale, qualsiasi piattaforma che pu? ricevere comandi specifici tramite rete WiFi ? e pu? essere utilizzato per la loro guida, in modo da risultare come un vero e proprio assistente di pilotaggio. Does the nature of the invention currently proposed therefore make it applicable to different types of vehicles? such as, for example, mobile robotic platforms, drones or, more in general, any platform that can? receive specific commands via WiFi network ? and can be used for their driving, in order to be like a real pilot's assistant.

Inoltre, in un?ottica preventiva e nell?ottica emergenziale, va rilevato che l?esecuzione di diversi compiti quali soccorso, consegna di medicinali o esplorazione di zone pericolose pu? rendersi pi? efficiente proprio con l?utilizzo di un sistema di pilotaggio remoto guidato secondo le modalit? e le funzionalit? dell?attuale proposta data la sua immediatezza di utilizzo senza la necessit? di particolari abilit?. Furthermore, from a preventive and emergency point of view, it should be noted that the execution of various tasks such as rescue, delivery of medicines or exploration of dangerous areas can make yourself more efficient precisely with? the use of a remote piloting system guided according to the modalities? and the features? of? the current proposal given its immediacy of use without the need? of particular skills.

La presente invenzione ? descritta con riferimento a forme predefinite di realizzazione. ? da intendersi che possono esistere altre forme di realizzazione che afferiscono al medesimo nucleo inventivo, come definito dall?ambito di protezione delle rivendicazioni dichiarate. The present invention ? described with reference to predefined embodiments. ? it should be understood that there may exist other embodiments which pertain to the same inventive core, as defined by the scope of protection of the declared claims.

Claims

1. Universal assisted piloting system (1) composed of: an assistant microcontroller (2) able to connect to the cloud (3); a cloud (3) which interprets the vocal messages and transforms them into structured text messages and interconnects the assistant microcontroller (2) with the interface (4); an interface (4) which acquires voice commands and transfers them in real time to the cloud (3); a WiFi network (5) for exchanging information between the assistant microcontroller (2) and a mobile platform (6); a mobile platform (6) equipped with embedded devices (7).

2. Universal assisted driving system (1), according to claim 1, wherein the interface (4) is? consisting of a smartphone, a PDA or a PC equipped with acoustic and visual devices capable of receiving voice commands through a microphone and showing output through a display.

3. Universal assisted piloting system (1), according to claim 1, with cloud (3) which consists of a server with an installed artificial intelligence module and an interconnected dynamic database;

said artificial intelligence module consists of a Natural Language Understanding (NLU) platform suitable for understanding natural language and characterized by the fact that the voice message is ? classified and associated with a corresponding pilot command;

said dynamic database consists of a NoSQL structure able to synchronize and memorize in real time the flow of information between the assistant microcontroller (2) and the interface (4).

4. Universal assisted driving system (1), according to claims 1, 2 and 3, wherein the assistant microcontroller (2) and the interface (4) connect to the cloud (3) via cellular network.

5. Universal assisted driving system (1), according to claims 1 and 4, wherein the mobile platform (6) is composed of a locomotion module and a microcontroller;

said microcontroller ? connected to the assistant microcontroller (2) via WiFi (5) and ? configured to read the drive command and implement it in the locomotion module.

6. Universal assisted driving system (1), according to claim 1, 2, 3, 4 and 5, wherein the embedded devices (7) consist of a communication module and sensors;

said communication module connects to the mobile platform (6) and to the assistant microcontroller (2) through the use of cables and/or wireless technologies; said sensors, of distinct technology and in particular ultrasonic and LiDAR, are configured to operate in symbiosis and provide the measurements suitable for the reconstruction of three-dimensional environments in the interface (2) for navigation.