IT202000020956A1 - Metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e relativo sistema di auto-apprendimento - Google Patents

Metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e relativo sistema di auto-apprendimento Download PDF

Info

Publication number
IT202000020956A1
IT202000020956A1 IT102020000020956A IT202000020956A IT202000020956A1 IT 202000020956 A1 IT202000020956 A1 IT 202000020956A1 IT 102020000020956 A IT102020000020956 A IT 102020000020956A IT 202000020956 A IT202000020956 A IT 202000020956A IT 202000020956 A1 IT202000020956 A1 IT 202000020956A1
Authority
IT
Italy
Prior art keywords
tool
operator
coordinates
learning
processing
Prior art date
Application number
IT102020000020956A
Other languages
English (en)
Inventor
Davide Passoni
Original Assignee
Sir Soc Italiana Resine Spa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sir Soc Italiana Resine Spa filed Critical Sir Soc Italiana Resine Spa
Priority to IT102020000020956A priority Critical patent/IT202000020956A1/it
Priority to PCT/IB2021/057981 priority patent/WO2022049500A1/en
Priority to EP21777845.5A priority patent/EP4208315A1/en
Publication of IT202000020956A1 publication Critical patent/IT202000020956A1/it

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36436—Arm follows movement of handheld device, camera detects, analyses motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36442—Automatically teaching, teach by showing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Description

Descrizione di Brevetto per Invenzione Industriale avente per titolo: ?METODO IMPLEMENTATO MEDIANTE COMPUTER PER AUTO-APPRENDIMENTO DI UN ROBOT ANTROPOMORFO E RELATIVO SISTEMA DI AUTO-APPRENDIMENTO?.
DESCRIZIONE
La presente invenzione si riferisce ad un metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e ad un relativo sistema di auto-apprendimento.
Con riferimento alla robotica per applicazione industriale, sono note tecnologie di programmazione di robot antropomorfi basate sull?apprendimento dei punti sul campo o sulla programmazione offline dei percorsi.
Tuttavia, tali tecnologie comportano tempi lunghi di programmazione e necessitano di almeno un programmatore specializzato.
Il compito principale della presente invenzione ? quello di escogitare un metodo implementato mediante computer ed un sistema di autoapprendimento per un robot antropomorfo che consentano di eseguire un apprendimento automatico (auto-teach) di percorsi complessi per un robot antropomorfo, mediante ?imitazione? dei medesimi movimenti effettuati da un operatore umano.
Altro scopo del presente trovato ? quello di escogitare un metodo implementato mediante computer ed un sistema di auto-apprendimento per un robot antropomorfo che consentano di ridurre considerevolmente i tempi di programmazione di un robot antropomorfo.
Gli scopi sopra esposti sono raggiunti dal presente metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo secondo le caratteristiche della rivendicazione 1.
Gli scopi sopra esposti sono raggiunti dal presente sistema di autoapprendimento per un robot antropomorfo secondo le caratteristiche della rivendicazione 9.
Altre caratteristiche e vantaggi della presente invenzione risulteranno maggiormente evidenti dalla descrizione di una forma di esecuzione preferita, ma non esclusiva, di un metodo implementato mediante computer e di un sistema per auto-apprendimento di un robot antropomorfo, illustrata a titolo indicativo, ma non limitativo, nelle unite tavole di disegni in cui: la figura 1 ? uno schema generale del metodo implementato mediante computer secondo il trovato;
la figura 2 illustra schematicamente il sistema di auto-apprendimento secondo il trovato;
la figura 3 illustra schematicamente la nuvola di punti individuabili dal metodo e dal sistema secondo il trovato sulla mano di un operatore.
Il metodo e il sistema secondo l?invenzione si propongono di eseguire un apprendimento automatico (auto-teach) di percorsi complessi per un robot antropomorfo, mediante ?imitazione? dei medesimi movimenti effettuati da un operatore umano. In tal modo, i movimenti delle lavorazioni mediante il robot antropomorfo, in particolare le operazioni di finitura, possono essere facilmente programmati in un lasso di tempo estremamente ridotto.
In particolare, con riferimento al metodo e al sistema proposti, l?operatore effettua un movimento o una traiettoria che, identificata e interpretata mediante opportuni dispositivi ed un opportuno software, pu? essere facilmente ripetuta da un robot antropomorfo, effettuando quindi un vero e proprio processo di ?insegnamento? nei confronti del robot stesso.
Con particolare riferimento alla figura 1, si ? indicato globalmente con M un metodo implementato mediante computer per l?auto-apprendimento di un robot antropomorfo.
Il metodo M comprende una prima fase 1 di gestione di almeno un sensore di visione tridimensionale V e di nuvole di punti N acquisite.
In particolare, il metodo M comprende un passo 12 di acquisizione ad intervalli temporali predefiniti e mediante almeno un sensore di visione tridimensionale V di una sequenza di immagini I relative ad una lavorazione eseguita da un operatore O su di un oggetto di riferimento R all?interno di un?area di apprendimento.
L?oggetto di riferimento R da lavorare ? costituito da un elemento fisico (ad esempio un particolare meccanico) esattamente uguale all?oggetto che il robot antropomorfo dovr? lavorare nell?applicazione industriale.
Preliminarmente al passo 12 di acquisizione, il metodo M comprende almeno un passo 11 di calibrazione del sensore di visione tridimensionale V rispetto ad almeno un marker di riferimento tridimensionale.
Inoltre, il metodo M comprende, per ciascuna delle immagini acquisite della sequenza di immagini I, un passo 13 di elaborazione di una nuvola di punti N relativa all?operatore O e all?oggetto di riferimento R all?interno dell?area di apprendimento inquadrata.
Preferibilmente, il passo 12 di acquisizione delle sequenza di immagini I ? eseguito mediante una pluralit? di sensori di visione tridimensionale V disposti in modo da coprire a 360 gradi l?area di apprendimento inquadrata. In caso di utilizzo di una pluralit? di sensori di visione tridimensionale V, il metodo M comprende almeno un passo 14 di unione delle singole nuvole di punti N ottenute dalle immagini I acquisite in un determinato istante da ciascuno dei sensori di visione tridimensionale V, per ottenere un?unica nuvola di punti N? ricostruita di tutta l?area di apprendimento inquadrata. Successivamente, come illustrato schematicamente in figura 1, il metodo M comprende una fase 2 di gestione di un utensile utilizzato dall?operatore O (o tool operatore).
In particolare, per ciascuna nuvola di punti N elaborata o per la nuvola di punti unione N?, nel caso di utilizzo di una pluralit? di sensori di visione tridimensionale V, il metodo M implementato mediante computer comprende un passo 21 di individuazione di almeno un utensile U utilizzato da detto operatore O durante detta lavorazione e di differenti parti del corpo dell?operatore O stesso.
Inoltre, il metodo M comprende un passo 22 di determinazione di coordinate X, Y, Z di assi di movimento relative all?utensile U e alle differenti parti del corpo dell?operatore O.
In particolare, partendo dalla successione di immagini I ricostruite, quindi dalla successione delle nuvole di punti unione N?, il metodo M implementato mediante computer ? in grado di riconoscere, per ognuna delle nuvole di punti, come illustrato schematicamente nelle figure 2 e 3, lo snodo del gomito, del polso e le nocche delle dita, le falangi, le estremit? delle dita dell?operatore.
Preferibilmente, le coordinate X, Y, Z di assi di movimento relative all?utensile U comprendono coordinate relative alle posizioni finali dell?indice e del pollice della mano utilizzata dall?operatore O per la lavorazione o coordinate relative ad un utensile di riferimento impugnato da dall?operatore O durante la lavorazione.
Sempre secondo una preferita forma di attuazione, le coordinate X, Y, Z di assi di movimento relativi a differenti parti del corpo dell?operatore O comprendono coordinate relative alle nocche delle dita indice, medio, anulare e mignolo della stessa mano.
In particolare, risultano molto importanti le posizioni dell?indice e del pollice giunte, che simboleggiano l?utensile U (tool) o end-effector di lavorazione del robot antropomorfo. Il movimento di queste due dita in posizione congiunta sull?elemento da lavorare, identificato da una successione di punti X, Y, Z, ? in sostanza la traiettoria che l?utensile o end-effector a bordo del robot dovr? compiere, intendendo con utensile U (tool) del robot la posizione estrema dell?end-effector stesso (ad esempio la fresa di un mandrino).
La posizione estrema dell?utensile U rappresenta infatti il punto di contatto con il pezzo reale durante la lavorazione.
Successivamente, come illustrato schematicamente in figura 1, il metodo M implementato mediante computer comprende una fase 3 di gestione di una simulazione (off-line).
In particolare, il metodo M comprende almeno un passo 31 di calcolo di una matrice di rototraslazione RX, RY, RZ dell?utensile U nello spazio a partire dalle coordinate X, Y, Z di assi di movimento relative all?utensile U e alle differenti parti del corpo dell?operatore O.
In particolare, il passo 31 di calcolo della matrice di rototraslazione RX, RY, RZ comprende:
- ricevere in ingresso i dati relativi alla sequenza di dette coordinate X, Y, Z dell?utensile U, relative alle due dita congiunte dell?operatore O o dell?utensile U di riferimento, e delle coordinate delle quattro nocche dell?operatore stesso;
- calcolare la media delle coordinate delle quattro nocche;
- conoscendo la condizione di ?angolo 0? della mano dell?operatore, calcolare la matrice di rototraslazione tra l?utensile U (due dita congiunte o utensile di riferimento) e la posizione mediata X, Y, Z delle nocche, ricavando gli angoli di Eulero RX, RY, RZ delle due dita congiunte o dell?utensile di riferimento nello spazio.
Inoltre, il metodo M comprende almeno un passo 32 di calcolo della traiettoria T completa dell?utensile U (si pensi ad esempio alla fresa di un mandrino) a partire dalla successione delle coordinate X, Y, Z degli assi di movimento dell?utensile U e dalla successione degli angoli della matrice di rototraslazione RY, RY, RZ che identificano l?inclinazione spaziale degli assi di movimento dell?utensile stesso.
Pertanto, la macro incorporata nel software di simulazione off-line disegner? automaticamente la traiettoria T dell?utensile U all?interno della simulazione. Tale traiettoria T comprender? quote e angoli e sar? posizionata sulla rappresentazione virtuale dell?elemento da lavorare.
La differenza in rototraslazione tra l?end-effector umano (le dita) e quello del robot nell?ambiente virtuale (la fresa del mandrino, con le sue dimensioni), verr? automaticamente calcolata dal simulatore spostando la terna di riferimento dalla posizione virtuale delle dita congiunte a quella dell?estremit? della fresa (rototraslazione della terna del tool).
In alternativa alle dita congiunte, l?operatore manuale potrebbe tenere in mano, durante la fase di auto-teach, un tool dummy (finto) delle stesse dimensioni dell?utensile U reale, ad esempio della fresa: in tal caso le X, Y, Z del punto estremo dell?utensile U non saranno pi? quelle delle sue due dita congiunte, ma quelle della punta del tool dummy individuata anch?essa dai sensori oppure, nel caso questa identificazione non sia possibile (tool molto piccolo), quelle relative a un marker tridimensionale posizionato sul tool dummy stesso.
Utilmente, il metodo M comprende almeno un passo 33 di normalizzazione e correzione della traiettoria calcolata per ottenere una traiettoria normalizzata T?.
In particolare, una volta sovrapposto il disegno della traiettoria T al pezzo virtuale all?interno del simulatore offline, ? possibile, tramite un?apposita funzione, normalizzare porzioni di traiettoria (selezionabili per sequenze di punti), riducendole a segmenti rettilinei o circolari, oppure porzioni delle inclinazioni (sempre selezionabili per sequenze di punti), al fine di correggere eventuali errori dovuti alla mano malferma dell?operatore umano. Il percorso sul simulatore ? quindi completamente editabile, per cui ? possibile correggere quote o angoli, se queste/i comportano zone di collisione, di singolarit?, di fuori area degli assi robot. E? anche possibile avvicinare o allontanare la traiettoria T nella sua completezza alla/dalla superfice dell?elemento da lavorare, in modo tale che l?utensile possa imprimere pi? o meno forza durante la lavorazione a contatto.
Le stesse correzioni si possono applicare ai dati di arrotondamento della traiettoria T (precisione di passaggio nei punti fly-by) e a quelli di velocit? di esecuzione del percorso.
Il raffinamento della traiettoria T sul simulatore avviene rapidamente (essendo la traiettoria gi? stata realizzata) e si presume comporti solo poche correzioni. Al termine di processo, mediante un tasto di esecuzione, sar? possibile visualizzare (simulare) in anteprima il comportamento del robot nell?eseguire la traiettoria normalizzata T?.
Successivamente, il metodo M comprende almeno un passo 34 di conversione della traiettoria T calcolata, eventualmente normalizzata, in un modulo di programma P per un robot antropomorfo provvisto di almeno un utensile. Nello specifico, il modulo di programma P comprende una sequenza di istruzioni per la movimentazione dell?utensile lungo detta traiettoria T mediante un robot antropomorfo.
Pertanto, una volta verificata nella rappresentazione virtuale la bont? della traiettoria T del simulatore, il modulo di programma P del robot (sequenza delle istruzioni di movimento che compongono la traiettoria) viene trasferito via Ethernet o altro bus al robot della cella reale.
Come illustrato schematicamente in figura 1, il metodo M implementato mediante computer comprende una fase 4 di gestione del robot reale all?interno della cella reale.
In particolare, il metodo M comprende un passo 41 di esecuzione della traiettoria T o della traiettoria normalizzata T? sulla cella reale, mediante il robot antropomorfo.
Il robot (mondo reale), essendo opportunamente calibrato con il mondo virtuale e con il mondo di auto-teach e condividendo con tali mondi le stesse terne di riferimento, ? in grado di conseguenza di ripetere la traiettoria realmente (ovverosia nel mondo reale), con gli stessi risultati visualizzati nella simulazione offline.
Il metodo implementato mediante computer pu? comprendere, inoltre, un ulteriore passo 42 di correzione fine della traiettoria T o della traiettoria normalizzata T?, per eventuali correzioni volte ad ottenere una qualit? ottimale della lavorazione.
Il sistema S di auto-apprendimento per robot antropomorfo ? illustrato schematicamente in figura 2 e comprendente mezzi per l?esecuzione del metodo M implementato mediante computer descritto sopra.
Il sistema S comprende una stazione di apprendimento comprendente almeno un?unit? di elaborazione E e almeno un sensore di visione tridimensionale V.
Il sensore di visione tridimensionale V ? operativamente connesso all?unit? di elaborazione E ed ? configurato per eseguire il passo 12 di acquisizione, ad intervalli temporali predefiniti, della sequenza di immagini I durante una lavorazione eseguita da un operatore O sull?oggetto di riferimento R, all?interno di un?area di apprendimento.
L?unit? di elaborazione E ? configurata per eseguire il passo 13 di elaborazione, per ciascuna delle immagini I acquisite della sequenza di immagini, della nuvola di punti N relativa all?operatore O e all?oggetto di riferimento R all?interno dell?area di apprendimento inquadrata.
Preferibilmente, il sensore di visione tridimensionale V impiegato ? un sensore stereoscopico ad alta velocit?.
Sempre secondo una preferita forma di attuazione, la stazione di apprendimento comprende una pluralit? di sensori di visione tridimensionale V disposti in modo da coprire a 360 gradi detta area di apprendimento inquadrata.
In tal caso, l?unit? di elaborazione E ? configurata per eseguire il passo 14 di unione delle singole nuvole di punti N ottenute dalle immagini I acquisite in un determinato istante da ciascuno dei sensori di visione tridimensionale V, per ottenere un?unica nuvola di punti N? ricostruita di tutta l?area di apprendimento inquadrata.
Pertanto, nel caso in cui i sensori di visione tridimensionale V siano pi? di uno, sono collegati tra di loro e alla unit? di elaborazione E che, una volta ricevuta l?immagine I da tutti i sensori, effettua un?operazione di unione delle singole immagini I ottenute, in modo da ottenere un?unica nuvola di punti N? ricostruita di tutto il campo inquadrato, a partire dalle singole nuvole di punti N di ciascun sensore di visione tridimensionale V.
Se il sensore di visione tridimensionale V ? uno solo, la nuvola di punti unione N? generata dall?unit? di elaborazione E corrisponde a alla nuvola di punti N in uscita dal singolo sensore.
L?unit? di elaborazione E pu? eseguire la computazione dell?immagine unione N? in runtime se le risorse computazionali lo permettono, oppure pu? essere effettuata in un tempo successivo previa memorizzazione delle nuvole singole N.
In particolare, per memorizzare i movimenti dell?operatore O durante la lavorazione dell?oggetto di riferimento R, occorrono n immagini successive acquisite per un certo lasso di tempo, necessario a completare la lavorazione, da ciascuno dei sensori di visione tridimensionale V, secondo una campionatura temporale che prevede una acquisizione ogni m millisecondi. Si otterranno alla fine n x x nuvole di punti singole provenienti da ciascuno dei sensori di visione, dove x ? il numero di sensori, ed n nuvole di punti N? complessive, oggetto della ricostruzione dell?intera scena ad ogni intervallo di tempo (unione delle x nuvole singole N al tempo m, unione delle x nuvole singole N al tempo 2*m, etc.).
I sensori di visione tridimensionale V devono avere un punto comune di calibrazione (terna nello spazio) affinch? tutte le immagini tridimensionali possano essere montate secondo un riferimento noto.
L?utilizzo di una pluralit? di sensori di visione tridimensionale V pu? rendersi necessaria per evitare i sottosquadri e perch? alcuni movimenti potranno essere visibili, in determinati momenti, da un sensore e non da un altro (o viceversa). Nulla per? vieta di semplificare la stazione di apprendimento ad un solo sensore.
L?oggetto di riferimento R da lavorare ? costituito da un elemento fisico (ad esempio un particolare meccanico) esattamente uguale all?oggetto che il robot dovr? lavorare nell?applicazione industriale.
Tale oggetto di riferimento R deve essere posizionato all?interno della stazione di apprendimento su di un attrezzo di fissaggio F uguale a quello che il robot utilizzer? nella lavorazione reale.
Utilmente, l?unit? di elaborazione E ? configurata per eseguire il passo 11 di calibrazione dell?almeno un sensore di visione tridimensionale V rispetto ad almeno un marker di riferimento tridimensionale.
In particolare, il sistema S comprende almeno un primo marker di riferimento tridimensionale disposto all?interno della stazione di addestramento. Preferibilmente, tale primo marker ? associato ad almeno un attrezzo di fissaggio F dell?oggetto di riferimento R all?interno della stazione di addestramento.
Tale primo marker rappresenta l?origine delle coordinate user del workobject (coordinate principali del sistema).
Tale primo marker ? comune anche al robot reale e alla rappresentazione simulata dello stesso.
Inoltre, il sistema S comprende almeno un secondo marker di riferimento tridimensionale associato all?oggetto di riferimento R da lavorare.
Tale secondo marker rappresenta l?origine delle coordinate object del workobject del sistema e sar? utilizzato per correggere eventuali deviazioni in rototraslazione della posizione del pezzo reale rispetto alla terna principale definita dal primo marker (user).
I sensori di visione tridimensionali V vengono calibrati rispetto alle coordinate del primo marker (coordinate user del workobject), che rappresenta l?origine delle coordinate e la terna di riferimento di tutto il sistema S.
L?unit? di elaborazione E ? inoltre configurata per eseguire il passo 21 di individuazione di almeno un utensile U utilizzato dall?operatore O durante la lavorazione e di differenti parti del corpo dell?operatore stesso, ed il passo 22 di determinazione di coordinate X, Y, Z di assi di movimento relative all?utensile U e alle differenti parti del corpo dell?operatore stesso.
L?unit? di elaborazione E della stazione di apprendimento comprende un software di simulazione robotica offline, di tipo noto. Tale software di simulazione comprende una rappresentazione virtuale CAD di una cella di lavorazione reale, compresi il robot (con relativo controllo di movimento), l?attrezzo di fissaggio, l?oggetto da lavorare, e l?utensile reale che sar? montato a bordo del robot (ad esempio un mandrino con una fresa).
I sistemi di riferimento (terne workobject) della rappresentazione virtuale saranno gli stessi dei sensori di visione e della cella con il robot reale.
In particolare, l?unit? di elaborazione E ? configurata per eseguire il passo 31 di calcolo di una matrice di rototraslazione RX, RY, RZ dell?utensile U nello spazio a partire dalle coordinate X, Y, Z di assi di movimento relative all?utensile U e alle differenti parti del corpo dell?operatore O.
Inoltre, l?unit? di elaborazione E ? configurata per eseguire il passo 32 di calcolo della traiettoria T completa dell?utensile U a partire dalla successione delle coordinate X, Y, Z degli assi di movimento dell?utensile U e dalla successione degli angoli della matrice di rototraslazione RY, RY, RZ che identificano l?inclinazione spaziale degli assi di movimento dell?utensile stesso.
Utilmente, l?unit? di elaborazione E ? configurata per eseguire il passo 33 di normalizzazione e correzione della traiettoria T calcolata.
Inoltre, l?unit? di elaborazione E ? configurata per eseguire il passo 34 di conversione della traiettoria T? calcolata in un modulo di programma P per un robot antropomorfo provvisto di almeno un utensile, in cui il modulo di programma P comprende una sequenza di istruzioni per la movimentazione dell?utensile lungo la traiettoria T?.
Si ? in pratica constatato come il trovato descritto raggiunga gli scopi proposti.
In particolare, si sottolinea il fatto che il metodo implementato mediante computer ed il sistema di auto-apprendimento per un robot antropomorfo secondo l?invenzione consentano di eseguire un apprendimento automatico (auto-teach) di percorsi complessi per un robot antropomorfo, mediante ?imitazione? dei medesimi movimenti effettuati da un operatore umano. Inoltre, il metodo implementato mediante computer ed il sistema di autoapprendimento per un robot antropomorfo secondo l?invenzione consentono di ridurre considerevolmente i tempi di programmazione di un robot antropomorfo.

Claims (16)

RIVENDICAZIONI
1) Metodo (M) implementato mediante computer per auto-apprendimento di un robot antropomorfo, caratterizzato dal fatto che comprende almeno i seguenti passi:
- acquisizione ad intervalli temporali predefiniti e mediante almeno un sensore di visione tridimensionale (V) di una sequenza di immagini (I) relative ad una lavorazione eseguita da un operatore (O) su di un oggetto di riferimento (R) all?interno di un?area di apprendimento (passo 12);
- elaborazione, per ciascuna delle immagini (I) acquisite di detta sequenza di immagini, di una nuvola di punti (N) relativa all?operatore (O) e all?oggetto di riferimento (R) all?interno di detta area di apprendimento inquadrata (passo 13);
- per ciascuna nuvola di punti (N) elaborata, individuazione di almeno un utensile (U) utilizzato da detto operatore (O) durante detta lavorazione e di differenti parti del corpo di detto operatore (O) (passo 21);
- determinazione di coordinate (X, Y, Z) di assi di movimento relative a detto utensile (U) e a dette differenti parti del corpo dell?operatore (O) (passo 22);
- calcolo di una matrice di rototraslazione (RX, RY, RZ) di detto utensile (U) nello spazio a partire da dette coordinate (X, Y, Z) di assi di movimento relative a detto utensile (U) e a dette differenti parti del corpo dell?operatore (O) (passo 31);
- calcolo della traiettoria (T) completa di detto utensile (U) a partire dalla successione di dette coordinate (X, Y, Z) degli assi di movimento dell?utensile (U) e dalla successione degli angoli di detta matrice di rototraslazione (RY, RY, RZ) che identificano l?inclinazione spaziale di detti assi di movimento dell?utensile (U);
- conversione di detta traiettoria (T) calcolata in un modulo di programma (P) per un robot antropomorfo provvisto di almeno un utensile (U), in cui detto modulo di programma (P) comprende una sequenza di istruzioni per la movimentazione di detto utensile (U) lungo detta traiettoria (T).
2) Metodo (M) implementato mediante computer secondo la rivendicazione 1, caratterizzato dal fatto che detto passo (12) di acquisizione ? eseguito mediante una pluralit? di sensori di visione tridimensionale (V).
3) Metodo (M) implementato mediante computer secondo la rivendicazione 2, caratterizzato dal fatto che detto passo (13) di elaborazione comprende almeno un passo di unione delle singole nuvole di punti (N) ottenute dalle immagini (I) acquisite in un determinato istante da ciascuno di detti sensori di visione tridimensionale (V), per ottenere un?unica nuvola di punti unione (N?) di tutta l?area di apprendimento inquadrata.
4) Metodo (M) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende almeno un passo (11) di calibrazione di detto almeno un sensore di visione tridimensionale (V) rispetto ad almeno un marker di riferimento tridimensionale.
5) Metodo (M) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato da fatto che dette coordinate (X, Y, Z) di assi di movimento relative a detto utensile (U) comprendono coordinate relative alle posizioni finali dell?indice e del pollice della mano utilizzata da detto operatore (O) per la lavorazione o coordinate relative ad un utensile (U) di riferimento impugnato da detto operatore (O) durante la lavorazione.
6) Metodo (M) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato da fatto che dette coordinate (X, Y, Z) di assi di movimento relativi a differenti parti del corpo di detto operatore (O) comprendono coordinate relative alle nocche delle dita indice, medio, anulare e mignolo della stessa mano.
7) Metodo (M) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che detto passo di calcolo della matrice di rototraslazione (RX, RY, RZ) comprende:
- ricevere in ingresso i dati relativi alla sequenza di dette coordinate (X, Y, Z) dell?utensile (U) e di dette coordinate delle quattro nocche di detto operatore (O);
- calcolare la media delle coordinate delle quattro nocche;
- calcolare la matrice di rototraslazione tra l?utensile (U) e la posizione mediata (X, Y, Z) delle nocche, ricavando gli angoli di Eulero (RX, RY, RZ) delle due dita congiunte o dell?utensile (U) di riferimento nello spazio.
8) Metodo (M) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato da fatto che comprende almeno un passo (21) di normalizzazione e correzione di detta traiettoria (T) calcolata.
9) Sistema (S) di auto-apprendimento per robot antropomorfo, comprendente mezzi per l?esecuzione del metodo (M) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende:
- una stazione di apprendimento comprendente almeno un?unit? di elaborazione (E) e detto almeno un sensore di visione tridimensionale (V), detto almeno un sensore di visione tridimensionale (V) essendo operativamente connesso a detta unit? di elaborazione (E) ed essendo configurato per eseguire detto passo (12) di acquisizione di detta sequenza di immagini (I);
- in cui detta unit? di elaborazione (E) ? configurata per eseguire detto passo di elaborazione (13) di detta nuvola di punti (N), detto passo (21) di individuazione di almeno un utensile (U) e di differenti parti del corpo di detto operatore (O), detto passo (22) di determinazione di coordinate (X, Y, Z) di assi di movimento; detto passo (31) di calcolo di una matrice di rototraslazione (RX, RY, RZ), detto passo (32) di calcolo della traiettoria (T) completa di detto utensile (U), detto passo (34) di conversione di detta traiettoria (T) calcolata in un modulo di programma (P) per un robot antropomorfo.
10) Sistema (S) secondo la rivendicazione 9 precedenti, caratterizzato dal fatto che detto almeno un sensore di visione tridimensionale (V) ? un sensore stereoscopico ad alta velocit?.
11) Sistema (S) secondo una o pi? delle rivendicazioni 9 e 10, caratterizzato dal fatto che detta stazione di apprendimento comprende una pluralit? di sensori di visione tridimensionale (V).
12) Sistema (S) secondo la rivendicazione 11, caratterizzato dal fatto che detta unit? di elaborazione (E) ? configurata per eseguire detto passo (14) di unione delle singole nuvole di punti (N) ottenute dalle immagini (I) acquisite in un determinato istante da ciascuno di detti sensori di visione tridimensionale (V), per ottenere un?unica nuvola di punti unione (N?) ricostruita di tutta l?area di apprendimento inquadrata.
13) Sistema (S) secondo una o pi? delle rivendicazioni dalla 9 alla 12, caratterizzato dal fatto che detta unit? di elaborazione (E) ? configurata per eseguire detto passo (11) di calibrazione di detto almeno un sensore di visione tridimensionale (V) rispetto ad almeno un marker di riferimento tridimensionale.
14) Sistema (S) secondo la rivendicazione 13, caratterizzato dal fatto che comprende almeno un primo marker di riferimento tridimensionale disposto all?interno di detta stazione di addestramento.
15) Sistema (S) secondo la rivendicazione 14, caratterizzato dal fatto che comprende almeno un secondo marker di riferimento tridimensionale associato a detto oggetto di riferimento (R) da lavorare.
16) Sistema (S) secondo una o pi? delle rivendicazioni dalla 9 alla 15, caratterizzato da fatto che detta unit? di elaborazione (E) ? configurata per eseguire detto almeno un passo (33) di normalizzazione e correzione di detta traiettoria (T) calcolata.
IT102020000020956A 2020-09-03 2020-09-03 Metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e relativo sistema di auto-apprendimento IT202000020956A1 (it)

Priority Applications (3)

Application Number Priority Date Filing Date Title
IT102020000020956A IT202000020956A1 (it) 2020-09-03 2020-09-03 Metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e relativo sistema di auto-apprendimento
PCT/IB2021/057981 WO2022049500A1 (en) 2020-09-03 2021-09-01 Computer-implemented method for self-learning of an anthropomorphic robot and related self-learning system
EP21777845.5A EP4208315A1 (en) 2020-09-03 2021-09-01 Computer-implemented method for self-learning of an anthropomorphic robot and related self-learning system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102020000020956A IT202000020956A1 (it) 2020-09-03 2020-09-03 Metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e relativo sistema di auto-apprendimento

Publications (1)

Publication Number Publication Date
IT202000020956A1 true IT202000020956A1 (it) 2022-03-03

Family

ID=73139293

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102020000020956A IT202000020956A1 (it) 2020-09-03 2020-09-03 Metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e relativo sistema di auto-apprendimento

Country Status (3)

Country Link
EP (1) EP4208315A1 (it)
IT (1) IT202000020956A1 (it)
WO (1) WO2022049500A1 (it)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120071892A1 (en) * 2010-09-21 2012-03-22 Intuitive Surgical Operations, Inc. Method and system for hand presence detection in a minimally invasive surgical system
WO2014093822A1 (en) * 2012-12-14 2014-06-19 Abb Technology Ag Bare hand robot path teaching
US20160303737A1 (en) * 2015-04-15 2016-10-20 Abb Technology Ltd. Method and apparatus for robot path teaching
CN110561450A (zh) * 2019-08-30 2019-12-13 哈尔滨工业大学（深圳） 一种基于动捕的机器人装配离线示例学习系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120071892A1 (en) * 2010-09-21 2012-03-22 Intuitive Surgical Operations, Inc. Method and system for hand presence detection in a minimally invasive surgical system
WO2014093822A1 (en) * 2012-12-14 2014-06-19 Abb Technology Ag Bare hand robot path teaching
US20160303737A1 (en) * 2015-04-15 2016-10-20 Abb Technology Ltd. Method and apparatus for robot path teaching
CN110561450A (zh) * 2019-08-30 2019-12-13 哈尔滨工业大学（深圳） 一种基于动捕的机器人装配离线示例学习系统和方法

Also Published As

Publication number Publication date
EP4208315A1 (en) 2023-07-12
WO2022049500A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
CN106625666B (zh) 冗余机械臂的控制方法及装置
CN108268129B (zh) 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
Zou et al. Virtual manipulator-based binocular stereo vision positioning system and errors modelling
Xu A neural network approach for hand gesture recognition in virtual reality driving training system of SPG
CN107953331B (zh) 一种应用于人形机器人动作模仿的人体姿态映射方法
Mustafa et al. Self-calibration of a biologically inspired 7 DOF cable-driven robotic arm
US20150217444A1 (en) Wearable Robot Assisting Manual Tasks
JP2007030054A (ja) ロボット装置
Mukherjee et al. Inverse kinematics of a NAO humanoid robot using kinect to track and imitate human motion
Xie et al. Calibration of 6-DOF industrial robots based on line structured light
Shahverdi et al. A simple and fast geometric kinematic solution for imitation of human arms by a NAO humanoid robot
Liang et al. An augmented discrete-time approach for human-robot collaboration
Ibrahim et al. Modelling and control of SCARA manipulator
Hu et al. Calibrating human hand for teleoperating the HIT/DLR hand
KR101439929B1 (ko) 로봇의 삼차원 시뮬레이션 방법 및 시스템
IT202000020956A1 (it) Metodo implementato mediante computer per auto-apprendimento di un robot antropomorfo e relativo sistema di auto-apprendimento
Srinivas et al. Multipurpose supernumerary robotic limbs for industrial and domestic applications
Pomares et al. Dynamic visual servo control of a 4-axis joint tool to track image trajectories during machining complex shapes
CN112805127A (zh) 用于创建机器人控制程序的方法和设备
Vicente et al. Calibration of kinematic body sensor networks: Kinect-based gauging of data gloves “in the wild”
Kawasaki et al. Virtual robot teaching for humanoid hand robot using muti-fingered haptic interface
Gunawardane et al. Control of robot arm based on hand gesture using leap motion sensor technology
Inoue et al. Finger motion measurement system for telexistence hand manipulation
Kajita et al. ZMP and Dynamics
Jha et al. An integrated approach for robot training using Kinect and human arm kinematics