IT202000025567A1 - Metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e relativo sistema di controllo in tempo-reale - Google Patents

Metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e relativo sistema di controllo in tempo-reale Download PDF

Info

Publication number
IT202000025567A1
IT202000025567A1 IT102020000025567A IT202000025567A IT202000025567A1 IT 202000025567 A1 IT202000025567 A1 IT 202000025567A1 IT 102020000025567 A IT102020000025567 A IT 102020000025567A IT 202000025567 A IT202000025567 A IT 202000025567A IT 202000025567 A1 IT202000025567 A1 IT 202000025567A1
Authority
IT
Italy
Prior art keywords
anthropomorphic robot
operator
grippers
implemented
movement
Prior art date
Application number
IT102020000025567A
Other languages
English (en)
Inventor
Davide Passoni
Original Assignee
Sir Soc Italiana Resine Spa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sir Soc Italiana Resine Spa filed Critical Sir Soc Italiana Resine Spa
Priority to IT102020000025567A priority Critical patent/IT202000025567A1/it
Priority to PCT/IB2021/059822 priority patent/WO2022090895A1/en
Priority to EP21807253.6A priority patent/EP4237210A1/en
Publication of IT202000025567A1 publication Critical patent/IT202000025567A1/it

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37567—3-D vision, stereo vision, with two cameras

Description

Descrizione di Brevetto per Invenzione Industriale avente per titolo: ?METODO IMPLEMENTATO MEDIANTE COMPUTER PER IL CONTROLLO IN TEMPO-REALE DI UN ROBOT ANTROPOMORFO E RELATIVO SISTEMA DI CONTROLLO IN TEMPO-REALE?.
DESCRIZIONE
La presente invenzione si riferisce ad un metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e ad un relativo sistema di controllo in tempo-reale.
Con riferimento alla robotica per applicazione industriale, sono note applicazioni, in particolar modo con riferimento ad operazioni complesse di handling, in cui un robot non pu? svolgere efficacemente le funzioni previste mediante un programma automatico preimpostato.
A titolo esemplificativo, una possibile applicazione estremamente problematica dal punto di vista dell?automazione robotica ? quella dello smistamento dei rifiuti. Infatti, un robot dedito allo smistamento di rifiuti all?interno di un cassone non pu? agire in modo autonomo, in quanto non pu? conoscere a priori quali elementi dovr? manipolare e quale ? il materiale che compone ciascun elemento. In tal caso, persino l?applicazione di sistemi di visione avanzati non consente di risolvere il problema.
Il compito principale della presente invenzione ? quello di ideare un metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e ad un relativo sistema di controllo in tempo-reale che consentano un controllo efficace in tempo-reale di un robot.
Gli scopi sopra esposti sono raggiunti dal presente metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo secondo le caratteristiche descritte nella rivendicazione 1.
Gli scopi sopra esposti sono inoltre raggiunti dal presente sistema per il controllo in tempo-reale di un robot antropomorfo secondo le caratteristiche descritte nella rivendicazione 11.
Altre caratteristiche e vantaggi della presente invenzione risulteranno maggiormente evidenti dalla descrizione di una forma di esecuzione preferita, ma non esclusiva, di un metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e di un relativo sistema di controllo in tempo-reale, illustrata a titolo indicativo, ma non limitativo, nelle unite tavole di disegni in cui:
la figura 1 ? una vista schematica di una cella robotizzata del sistema secondo il trovato;
la figura 2 ? una vista schematica di una stazione di controllo in tempo-reale del sistema secondo il trovato;
la figura 3 illustra schematicamente una possibile immagine visualizzata all?interno della stazione di controllo e raccolta da una telecamera sul robot antropomorfo all?interno della cella robotizzata;
la figura 4 ? uno schema blocchi generale del metodo implementato mediante computer secondo il trovato.
Con particolare riferimento a tali figure, si ? indicato globalmente con 1 un sistema per il controllo in tempo-reale di un robot antropomorfo 2.
Il sistema 1 comprende una cella robotizzata 3, schematizzata in figura 1. La cella robotizzata 3 comprende il robot antropomorfo 2 e almeno una zona 4 destinata ad accogliere almeno un oggetto 5 da manipolare mediante il robot antropomorfo 2.
In particolare, in caso di utilizzo del sistema 1 per lo smistamento di oggetti 5 tra loro eterogenei, la cella robotizzata 3 comprende una zona principale 4 destinata ad accogliere una pluralit? di oggetti 5 tra loro eterogenei da smistare ed almeno una zona secondaria 6 destinata ad accogliere gli oggetti 5 smistati della medesima tipologia.
Ad esempio, la zona principale 4 all?interno delle cella robotizzata 3 pu? comprendente almeno un cassone contenente una pluralit? di oggetti 5 tra loro eterogenei da smistare mediante il robot antropomorfo 2, mentre la zona secondaria 6 pu? comprendere una pluralit? (due o pi?) di altri cassoni destinati ad accogliere gli oggetti 5 smistati.
Secondo una possibile forma di attuazione, in cui il sistema 1 ? impiegato per la manipolazione di oggetti, il robot antropomorfo 2 comprende pinze di presa 7 atte ad afferrare e a manipolare l?oggetto 5.
Ad esempio, le pinze di presa 7 del robot antropomorfo 2 possono essere a due o a tre griffe. In caso di applicazione per lo smistamento, le pinze di presa 7 sono preferibilmente realizzate ad artiglio (cio? con chiusura a compasso). Non si esclude tuttavia, l?impiego di pinze di presa 7 di tipo differente.
Inoltre, il robot antropomorfo 2 comprende almeno una telecamera 8 disposta in corrispondenza delle pinze di presa 7.
Secondo una preferita forma di attuazione, la telecamera 8 ? disposta in posizione sostanzialmente centrale tra le pinze di presa 7.
Preferibilmente, la telecamera 8 ? integrata nel polso del robot antropomorfo 2 in posizione centrale tra le pinze di presa 7.
Secondo una possibile forma di attuazione del sistema 1, la cella robotizzata 3 comprende una telecamera aggiuntiva 9 associata al robot antropomorfo 2 in posizione differente rispetto alla telecamera 8 e/o disposta in posizione fissa all?interno della cella robotizzata stessa.
Ad esempio, la telecamera aggiuntiva 9 pu? essere posizionata sul polso del robot antropomorfo 2 ma esternamente alle pinze di presa 7.
In alternativa, la telecamera aggiuntiva 9 pu? essere posizionata all?interno della cella robotizzata 3, in alto e in posizione fissa, in modo da inquadrare tutta l?area di lavoro del robot antropomorfo 2.
Inoltre, il sistema 1 comprende almeno un sensore di distanza 10 associato alle pinze di presa 7 del robot antropomorfo 2.
Il sensore di distanza 10 ? impiegato per individuare l?altezza (distanza verticale) delle pinze di presa 7 rispetto ad un oggetto 5 da prelevare.
Il sensore di distanza 10 pu? comprendere almeno uno tra un sensore ad ultrasuoni, un sensore laser od un sensore a contatto.
Il sistema 1 comprende, inoltre, una stazione di controllo in tempo-reale 11 del robot antropomorfo 2, illustrata schematicamente in figura 2.
La stazione di controllo in tempo-reale 11 comprende almeno un?unit? di elaborazione 12 operativamente collegata al robot antropomorfo 2.
L?unit? di elaborazione 12 pu? essere costituita da uno o pi? elaboratori del tipo di personal computer o simili.
Inoltre, la stazione di controllo in tempo-reale 11 comprende mezzi di interfaccia grafica utente 13 accessibili da un operatore O, operativamente collegati all?unit? di elaborazione 12 e configurati per visualizzare le immagini rilevate da detta telecamera 8 e/o le immagini rilevate dalla telecamera aggiuntiva 9.
La stazione di controllo in tempo reale 11 comprende, inoltre, almeno un sensore di visione tridimensionale 14 operativamente collegato all?unit? di elaborazione 12 e configurato per rilevare i movimenti almeno delle mani dell?operatore O.
Preferibilmente, il sensore di visione tridimensionale 14 ? un sensore stereoscopico ad alta velocit?.
Il sensore di visione tridimensionale 14 ? preferibilmente posizionato di fronte all?operatore O ed inquadra le mani dell?operatore stesso per rilevarne i movimenti.
Il sensore di visione tridimensionale 14 invia in modalit? continua le immagini acquisite all?unit? di elaborazione 12.
L?unit? di elaborazione 12 comprende mezzi di elaborazione 15 per l?esecuzione del metodo implementato mediante computer descritto di seguito per il controllo in tempo-reale del robot antropomorfo 2.
Tali mezzi di elaborazione 15 sono implementati mediante uno o pi? programmi software dedicati.
In particolare, i mezzi di elaborazione 15 per l?esecuzione del metodo implementato mediante computer comprendono un programma software di riconoscimento delle gestures umane (e in particolare di tutti gli snodi, o assi di movimento, degli arti umani).
Pertanto, partendo dall?immagine proveniente dal sensore di visione tridimensionale 14 che inquadra l?operatore O, il software di riconoscimento delle gestures umane ? in grado di riconoscere lo snodo del gomito, del polso, le nocche delle dita, le falangi, le estremit? delle dita della mano destra e sinistra.
Inoltre, i mezzi di elaborazione 15 comprendono un programma software di gestione della cella robotizzata 3 configurato per ricevere in ingresso comandi dal software di individuazione delle gestures, immagini in ingresso dalla telecamera 8, oltre che da una o pi? telecamere aggiuntive 9, nonch? dati di distanza dal sensore di distanza 10.
Il programma software di gestione della cella robotizzata 3 riceve inoltre dati in ingresso dal controllo del robot antropomorfo 2, quali velocit? lineare e di riorientamento, stato del movimento, stato delle pinze di presa 7.
Inoltre, il programma software di gestione della cella robotizzata 3 invia comandi e istruzioni di movimento predefinite (lineari o di riorientamento) al robot antropomorfo 2, nonch? dati relativi alla velocit? da impostare (lineare e di riorientamento).
Il metodo 100 implementato mediante computer per il controllo in temporeale di un robot antropomorfo ? descritto nel dettaglio di seguito ed ? illustrato schematicamente in figura 4.
Il metodo 100 implementato mediante computer comprende almeno i seguenti passi:
- mediante la telecamera 8 disposta in corrispondenza delle pinze di presa 7 del robot antropomorfo 2, rilevare immagini relative ad almeno un oggetto 5 da manipolare ed alla zona circostante (passo 110);
- mediante i mezzi di interfaccia grafica utente 13 accessibili da un operatore O, visualizzare almeno le immagini rilevate dalla telecamera 8 (passo 120);
- mediante il sensore di visione tridimensionale 14, rilevare i movimenti almeno delle mani dell?operatore O (passo 130);
- movimentare il robot antropomorfo 2 in funzione dei movimenti dell?operatore O rilevati, per la manipolazione in tempo-reale dell?oggetto 5 (passo 140).
In particolare, il passo 130 di rilevare i movimenti almeno delle mani dell?operatore O comprende almeno i seguenti passi:
- acquisire mediante il sensore di visione tridimensionale 14 almeno un immagine relativa alle mani e/o ad altre parti del corpo dell?operatore O; - a partire dalla almeno un?immagine acquisita, elaborare almeno una nuvola di punti relativa alle mani e/o ad altre parti del corpo dell?operatore;
- a partire da tale nuvola di punti elaborata, individuare almeno un comando per la movimentazione in tempo-reale del robot antropomorfo 2.
Secondo una possibile forma di attuazione del metodo 100, il passo
di individuare almeno un comando per la movimentazione in tempo-reale del robot antropomorfo 2 comprende almeno i seguenti passi:
- a partire dalla nuvola di punti elaborata, determinare coordinate (X, Y, Z) di assi di movimento relative alle mani e/o ad altre parti del corpo dell?operatore O;
- calcolare una matrice di rototraslazione (RX, RY, RZ) delle mani e/o di altre parti del corpo dell?operatore O nello spazio a partire dalle coordinate (X, Y, Z);
- determinare almeno un comando per la movimentazione in tempo-reale del robot antropomorfo 2 a partire dalle coordinate (X, Y, Z) degli assi di movimento e dalla successione degli angoli della matrice di rototraslazione (RY, RY, RZ).
In particolare, le coordinate (X, Y, Z) degli assi di movimento comprendono coordinate relative alle nocche delle dita indice, medio, anulare e mignolo di una mano dell?operatore O.
Utilmente, il metodo 100 comprende almeno un passo di selezionare una velocit? (lineare e di riorientamento) di movimento di detto robot antropomorfo.
In particolare, per prima cosa mediante un comando del programma software di gestione della cella robotizzata 3 il robot antropomorfo 2 viene messo in modalit? automatica (motori accesi e stato automatico).
Mediante l?interfaccia di gestione del programma software di gestione della cella robotizzata 3, ? inoltre possibile selezionare (tramite text-box) la velocit? (lineare e di riorientamento) dei successivi movimenti.
Utilmente, il metodo 100 implementato mediante computer comprende almeno un passo preliminare di posizionamento del robot antropomorfo 2 in una posizione iniziale di home retratta al centro della cella robotizzata 3, in seguito ad un comando predefinito rilevato mediante il sensore di visione tridimensionale 14.
Ad esempio, secondo una possibile forma di attuazione, il comando di posizione iniziale di home pu? essere dato dall?operatore O con la mano sinistra (pugno chiuso e pollice verso il basso). In seguito a tale comando, il robot antropomorfo 2 si muove fino a raggiungere la posizione di home (fuori ingombro da tutti i cassoni e in posizione retratta al centro della cella). Se intende interrompere il movimento, l?operatore O pu? sollevare la mano sinistra aperta (stop). Tali comandi sono rilevati dal sensore di visione tridimensionale 14 e interpretati dal programma software di controllo delle gestures implementato sull?unit? di elaborazione 12.
Secondo una preferita forma di attuazione, il metodo 100 comprende, in seguito ad un comando predefinito rilevato mediante il sensore di visione tridimensionale 14, almeno un passo di posizionamento del robot antropomorfo 2 in una posizione iniziale di prelievo, in cui le pinze di presa 7 sono aperte e disposte superiormente a all?oggetto 5 (o agli oggetti) da manipolare.
Ad esempio, secondo una possibile forma di attuazione, l?operatore O pu? dare il comando di posizione iniziale di prelievo con la mano sinistra (pugno chiuso e pollice verso l?alto). In seguito a tale comando, il robot antropomorfo 2 si muove fino a raggiungere la posizione iniziale di prelievo sopra e al centro del cassone degli oggetti 5 da prelevare, con le pinze di presa 7 aperte. Se intende interrompere il movimento, l?operatore O pu? sollevare la mano sinistra aperta (stop). Tali comandi sono rilevati dal sensore di visione tridimensionale 14 e interpretati dal programma software di controllo delle gestures implementato sull?unit? di elaborazione 12.
Inoltre, il metodo 100 comprende, in seguito ad un comando predefinito rilevato mediante detto sensore di visione tridimensionale, almeno un passo di avvio di una modalit? operativa in tempo-reale del robot antropomorfo 2, in cui il robot antropomorfo 2 ? pronto a ricevere ed eseguire comandi in tempo-reale.
Pertanto, una volta posizionato nella posizione iniziale di prelievo, il robot antropomorfo 2 viene messo in modalit? operativa (run) in tempo-reale (ad esempio, mediante comando pugno chiuso senza pollice verso l?alto o verso il basso). In questa modalit? il robot antropomorfo 2 ? pronto a ricevere comandi di movimento nelle varie direzioni mediante le relative gestures dell?operatore O. Se intende interrompere il movimento, l?operatore O alzer? la mano sinistra aperta (stop). Tali comandi sono rilevati dal sensore di visione tridimensionale 14 e interpretati dal programma software di controllo delle gestures implementato sull?unit? di elaborazione 12.
Nella posizione iniziale di prelievo, l?operatore O vede l?immagine degli oggetti O da prelevare all?interno del cassone tramite la telecamera 8 sul polso del robot antropomorfo 2, quindi dal ?punto di vista? delle pinza di presa 7. La posizione e la rotazione delle pinze di presa 7 (e conseguentemente delle griffe) ? sempre visibile correttamente, poich? i dati di rotazione dell?asse del polso sono continuamente inviati dal robot antropomorfo 2 al programma software di gestione, che aggiorner? la grafica visualizzata dai i mezzi di interfaccia grafica utente 13 di conseguenza. Preferibilmente, le griffe sono visualizzate sovrapposte all?immagine visualizzata e sono scalate in dimensioni a seconda della distanza tra le pinze di presa 7 e oggetti 5 nel cassone, individuata dal sensore di distanza 10. I suddetti passi di 130 e 140 di rilevare i movimenti dell?operatore O e di movimentare il robot antropomorfo 2 comprendono, rispettivamente, almeno i seguenti passi:
- rilevare mediante il sensore di visione tridimensionale 14 almeno un movimento di una mano dell?operatore O lungo almeno una direzione su di un piano orizzontale e/o verticale (passo 131);
- in caso di movimento sul piano orizzontale e/o verticale rilevato, movimentare le pinze di presa 7 lungo tale almeno una direzione sul piano orizzontale e/o verticale (passo 141).
Pertanto, a questo punto l?operatore O, tramite le gestures, pu? posizionarsi sull?oggetto 5 che desidera prelevare.
Se intende spostarsi sul piano orizzontale, deve muovere la mano avanti, indietro, a destra, a sinistra sul piano orizzontale. Tali movimenti sono rilevati dal sensore di visione tridimensionale 14 e interpretati dal programma software di controllo delle gestures implementato sull?unit? di elaborazione 12. Al robot antropomorfo 2 vengono inviate le corrispondenti istruzioni di movimento lineare (rispettivamente avanti, indietro, a destra, a sinistra della posizione attuale in modo incrementale) con la velocit? lineare precedentemente selezionata.
Secondo una preferita forma di attuazione, il movimento del robot antropomorfo 2 nella direzione selezionata continua fino a quando l?operatore O non effettua il movimento contrario (se ha mosso la mano in avanti, la deve muovere leggermente all?indietro): il cambio di direzione viene interpretato come uno stop. Sono possibili anche i movimenti in diagonale avanti-destra, indietro-destra, avanti-sinistra, indietro-sinistra. Analogamente, l?operatore O, tramite le gestures, pu? movimentare le pinze di presa 7 del robot antropomorfo 2 anche sul piano verticale, variando la distanza rispetto all?oggetto da prelevare. Se intende spostarsi sul piano verticale, deve muovere la mano in alto, basso, a destra, a sinistra sul piano verticale. Tali movimenti sono rilevati dal sensore di visione tridimensionale 14 e interpretati dal programma software di controllo delle gestures implementato sull?unit? di elaborazione 12. Al robot antropomorfo 2 vengono inviate delle istruzioni di movimento lineare con la velocit? lineare precedentemente selezionata. Il movimento del robot nella direzione selezionata continua fino a quando l?operatore O non effettua il movimento contrario (se ha mosso la mano in alto, la deve muovere leggermente in basso): il cambio di direzione viene interpretato come uno stop. Sono possibili anche i movimenti in diagonale alto-destra, basso-destra, altosinistra, basso-sinistra.
E? possibile effettuare movimenti congiunti sia sul piano orizzontale che verticale, muovendo la mano lungo una diagonale nello spazio.
Il metodo 100 comprende, inoltre, almeno i seguenti passi:
- mediante il sensore di distanza 10 associato alle pinze di presa 7 del robot antropomorfo 2, rilevare la distanza delle pinze di presa 7 dall?oggetto 5 da manipolare (passo 150);
- mediante i mezzi di interfaccia grafica utente 13, segnalare visivamente all?operatore O la distanza delle pinze di presa 7 dall?oggetto O da manipolare (passo 160).
In particolare, il passo 160 di segnalare visivamente la distanza delle pinze di presa 7 dall?oggetto O da manipolare comprende il visualizzare segnali di differente colore in funzione della distanza.
Ad esempio, quando le pinze di presa 7, durante la fase di discesa, cominciano ad avvicinarsi all?oggetto O da prelevare, i mezzi di interfaccia grafica utente 13 visualizzano un segnale di differente colore in funzione della distanza: verde nel caso in cui le pinze di presa 7 siano fuori ingombro, giallo nel caso in cui si trovino a poca distanza dall?elemento da prelevare, rosso nel caso in cui si trovino in posizione vicina alla collisione (near collision) con l?oggetto O da prelevare (o in generale con gli elementi all?interno di un cassone).
Il movimento delle pinze di presa 7 in discesa ? inibito per ragioni di sicurezza dopo che si ? entrati in zona rossa.
Inoltre, il passo 160 di segnalare visivamente la distanza delle pinze di presa 7 dall?oggetto O da manipolare comprende il visualizzare la distanza approssimativa tra le pinze e l?oggetto stessi.
Mediante i mezzi di interfaccia utente 13, sono inoltre visualizzati ulteriori caselle di testo in cui ? indicata la posizione attuale del robot antropomorfo 2 in coordinate cartesiane (X, Y, Z e angoli di Eulero RX, RY, RZ) e in angoli assoluti degli assi (Asse 1, Asse 2, Asse 3, Asse 4, Asse 5, Asse 6). Inoltre, i suddetti passi di 130 e 140 di rilevare i movimenti dell?operatore O e di movimentare il robot antropomorfo 2 comprendono, rispettivamente, almeno i seguenti passi:
- rilevare mediante il sensore di visione tridimensionale 14 almeno una rotazione di una mano dell?operatore O attorno ad almeno un asse di rotazione (passo 132);
- in caso di rotazione attorno ad almeno un asse rilevato, ruotare le pinze di presa 7 attorno a detto almeno un asse di rotazione (passo 142). Pertanto, il metodo 100 secondo il trovato consente di effettuare con il robot antropomorfo 2 anche movimenti interpolati e non solo lineari.
Ad esempio, si ipotizza come ?angolo 0? nelle tre direzioni dello spazio la posizione della mano destra con nocche pi? o meno orizzontali (si consideri l?avanbraccio in posizione orizzontale e in avanti). Se la mano (e di conseguenza le nocche) viene ruotata in senso orario, il robot antropomorfo 2 orienter? l?asse del polso, e di conseguenza le pinze di presa 7, in senso orario. Se la mano (e di conseguenza le nocche) viene ruotata in senso antiorario, il robot antropomorfo 2 orienter? l?asse del polso, e di conseguenza le pinze di presa 7, in senso antiorario. Questo ? necessario per allineare le griffe delle pinze di presa 7 all?oggetto O in modo da effettuare una presa ottimale. Al robot antropomorfo 2 verranno inviate delle istruzioni di movimento di riorientamento del polso (rispettivamente in senso orario e antiorario per l?asse del polso rispetto alla posizione angolare attuale, in modo incrementale) con la velocit? di riorientamento precedentemente selezionata. Il movimento di riorientamento dell?asse del polso ? in sostanza un movimento di rotazione attorno all?asse Z del tool robot, la cui origine della terna di riferimento ? posizionata all?estremit? delle pinze di presa 7 (Z uscente dalla pinza e parallela all?asse verticale della stessa). Il movimento di riorientamento del robot antropomorfo 2 nella direzione selezionata continua fino a quando l?operatore non effettua il movimento contrario (se ha ruotato la mano in senso orario, la deve riportare in posizione di zero o di riposo o effettuare il movimento opposto): il cambio di direzione viene interpretato come uno stop.
L?operatore O pu? effettuare con il robot antropomorfo 2 anche movimenti interpolati pi? complessi, per gestire l?eventuale presa inclinata di un oggetto O. Tali movimenti rappresentano in sostanza una rotazione attorno agli assi X e Y del tool robot, la cui origine della terna di riferimento ? posizionata all?estremit? delle pinze di presa 7 (Z uscente dalla pinza e parallela all?asse verticale della stessa).
Ferma restando la definizione di ?angolo 0? di cui sopra, se le nocche vengono orientate (tramite rotazione della mano) verso destra, sinistra, avanti, indietro, il robot antropomorfo 2 effettuer? il rispettivo movimento di rotazione del tool intorno all?asse X (identificato dalla rotazione destra/sinistra della mano) o Y (identificato dalla rotazione avanti/indietro della mano). La terna origine del tool, posizionata all?estremit? delle pinze di presa 7, rimarr? il punto fisso della rotazione.
Il metodo 100 secondo il trovato comprende almeno un passo di gestione di movimenti di rotazione interpolata su due assi in seguito al rilevamento dell?inclinazione delle nocche della mano dell?operatore avanti-destra, avanti-sinistra, indietro-destra, indietro-sinistra. Al robot antropomorfo 2 vengono inviate le rispettive istruzioni di movimento di rotazione attorno agli assi X e Y del tool e rispetto alla posizione angolare attuale, in modo incrementale, con la velocit? di riorientamento precedentemente selezionata. Il movimento di riorientamento del robot antropomorfo 2 nella direzione selezionata continua fino a quando l?operatore O non effettua il movimento contrario (se ha ruotato la mano in una direzione, la deve riportare in posizione di 0 o effettuare il movimento opposto): il cambio di direzione viene interpretato come uno stop.
I suddetti passi di 130 e 140 di rilevare i movimenti dell?operatore O e di movimentare il robot antropomorfo 2 comprendono, rispettivamente, almeno i seguenti passi:
- rilevare mediante il sensore di visione tridimensionale 14 almeno un comando di chiusura pinza od un comando di apertura pinza (passo 133);
- in caso di comando di chiusura pinza o di comando di apertura pinza rilevato, chiudere/aprire dette pinze di presa 7 per afferrare/rilasciare detto oggetto O da manipolare (passo 143).
In particolare, secondo una possibile forma di attuazione, una volta in posizione di presa, il robot antropomorfo 2 ? portato in modalit? di stop aprendo la mano sinistra in aria. Una volta che il movimento del robot antropomorfo 2 si ? arrestato, l?operatore O pu? chiudere in posizione congiunta il pollice e l?indice della mano destra: tale operazione viene interpretata dal robot antropomorfo 2 come comando di chiusura pinza. La chiusura pinza pu? avvenire solo con il robot in modalit? di stop: gestures di chiusura e apertura delle dita durante la fase di movimento non verranno presi in carico dal software di gestione.
Una volta afferrato l?oggetto 5 da manipolare, l?operatore O, dopo aver rimesso il robot antropomorfo 2 in condizione di movimento con la mano sinistra (pugno chiuso senza pollice verso l?alto o verso il basso), potr? riportare il robot antropomorfo 2 in posizione di fuori ingombro sopra il cassone con l?oggetto 5 prelevato in mano, utilizzando per la salita i movimenti precedentemente descritti per la mano destra. In alternativa, se le condizioni e la posizione attuale del robot lo permettono, pu? dare con la mano sinistra il comando start picking position (pugno chiuso e pollice verso l?alto, come il segno di OK), che riporta automaticamente il robot antropomorfo 2 nella posizione di fuori ingombro sopra il cassone di prelievo.
Inoltre, i suddetti passi di 130 e 140 di rilevare i movimenti dell?operatore O e di movimentare il robot antropomorfo 2 comprendono, rispettivamente, almeno i seguenti passi:
- rilevare mediante il sensore di visione tridimensionale 14 almeno un movimento dell?avanbraccio dell?operatore O (134);
- in caso di movimento dell?avanbraccio rilevato, movimentare il robot antropomorfo 2 tra una posizione di prelievo ed una posizione di deposito (144).
In particolare, secondo una possibile forma di attuazione, per ruotare il braccio del robot antropomorfo 2 in posizione di deposito, ad esempio su tre differenti cassoni in cui smistare gli oggetti 5, l?operatore O muove completamente l?avanbraccio in senso orario (il robot compie un movimento di riorientamento orario sull?asse 1, alla sua base) oppure antiorario (il robot compie un movimento di riorientamento antiorario sull?asse 1, alla sua base). Il movimento del robot antropomorfo 2 nella direzione selezionata continua fino a quando l?operatore O non effettua il movimento contrario (se ha ruotato l?avanbraccio in senso orario, la deve ruotare nuovamente in posizione di zero, diritto davanti a s?, quindi con un movimento antiorario): il cambio di direzione viene interpretato come uno stop. La velocit? utilizzata per il movimento dell?asse 1 del robot antropomorfo 2 ? quella di riorientamento precedentemente selezionata. L?operatore O pu? inoltre utilizzare tutti gli altri movimenti di tipo lineare precedentemente descritti per il posizionamento corretto sopra il cassone di deposito selezionato.
Successivamente al prelievo dell?oggetto 5 da manipolare, la prima telecamera 8 ? oscurata dalla presenza dell?oggetto 5 in presa. Per visionare i movimenti del robot antropomorfo 2 durante il posizionamento verso i cassoni di deposito, l?operatore O utilizzer? quindi come riferimento la telecamera aggiuntiva 9 posta sul polso robot (ma esterna alla pinza) oppure posta in alto sopra la cella.
Quando l?operatore O giudica di essere posizionato correttamente nella posizione di deposito, sopra il cassone desiderato, potr? fermare il movimento, portando il robot antropomorfo 2 in modalit? di stop.
Una volta che il movimento del robot antropomorfo 2 si ? arrestato, l?operatore O potr? aprire, distendendole completamente, le dita della mano destra: tale operazione viene interpretata come comando di apertura pinza, depositando quindi l?oggetto 5 nel cassone di deposito. L?apertura delle pinze di presa 7 pu? avvenire solo con il robot antropomorfo 2 in modalit? di stop: gestures di chiusura e apertura delle dita durante la fase di movimento non verranno presi in carico dal software di gestione.
Mediante un comando di run e i vari movimenti precedentemente descritti, il robot potr? essere posizionato nuovamente nella posizione di fuori ingombro sopra il cassone di prelievo degli elementi grezzi, per cominciare un nuovo ciclo. In alternativa, se le condizioni e la posizione attuale del robot lo permettono, si potr? dare con la mano sinistra il comando posizione iniziale di prelievo, che riporta automaticamente il robot nella medesima posizione.
Si ? in pratica constatato come il trovato descritto raggiunga gli scopi proposti.

Claims (16)

RIVENDICAZIONI
1) Metodo (100) implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo (2), caratterizzato dal fatto che comprende almeno i seguenti passi:
- mediante almeno una telecamera (8) disposta in corrispondenza di pinze di presa (7) di un robot antropomorfo (2), rilevare immagini relative ad almeno un oggetto (5) da manipolare ed alla zona circostante;
- mediante mezzi di interfaccia grafica utente (13) accessibili da un operatore (O), visualizzare almeno dette immagini rilevate da detta telecamera (8);
- mediante almeno un sensore di visione tridimensionale (14), rilevare i movimenti almeno delle mani di detto operatore (O);
- movimentare detto robot antropomorfo (2) in funzione di detti movimenti dell?operatore (O) rilevati per la manipolazione in tempo-reale di detto almeno un oggetto (5).
2) Metodo (100) implementato mediante computer secondo la rivendicazione 1, caratterizzato dal fatto che detto passo di rilevare i movimenti almeno delle mani di detto operatore (O) comprende almeno i seguenti passi:
- acquisire mediante detto un sensore di visione tridimensionale (14) almeno un immagine relativa alle mani e/o ad altre parti del corpo di detto operatore (O);
- a partire da detta almeno un?immagine acquisita, elaborare almeno una nuvola di punti relativa alle mani e/o ad altre parti del corpo di detto operatore (O);
- a partire da detta nuvola di punti elaborata, individuare almeno un comando per la movimentazione in tempo-reale di detto robot antropomorfo (2).
3) Metodo (100) implementato mediante computer secondo la rivendicazione 2, caratterizzato dal fatto che detto passo di individuare almeno un comando per la movimentazione in tempo-reale di detto robot antropomorfo (2) comprende almeno i seguenti passi:
- a partire da detta nuvola di punti, determinare coordinate (X, Y, Z) di assi di movimento relative a dette mani e/o ad altre parti del corpo dell?operatore (O);
- calcolare una matrice di rototraslazione (RX, RY, RZ) di dette mani e/o di altre parti del corpo dell?operatore (O) nello spazio a partire da dette coordinate (X, Y, Z);
- determinare detto comando per la movimentazione in tempo-reale di detto robot antropomorfo (2) a partire da dette coordinate (X, Y, Z) degli assi di movimento e dalla successione degli angoli di detta matrice di rototraslazione (RY, RY, RZ).
4) Metodo (100) implementato mediante computer secondo la rivendicazione 3, caratterizzato da fatto che dette coordinate (X, Y, Z) di assi di movimento comprendono coordinate relative alle nocche delle dita indice, medio, anulare e mignolo della stessa mano.
5) Metodo (100) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende, in seguito ad un comando predefinito, rilevato mediante detto sensore di visione tridimensionale (14), almeno un passo di posizionamento di detto robot antropomorfo (2) in una posizione iniziale di prelievo, in cui detta pinza del robot antropomorfo (2) ? aperta e disposta superiormente a detto almeno un oggetto (5) da manipolare.
6) Metodo (100) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende almeno i seguenti passi:
- rilevare mediante detto sensore di visione tridimensionale (14) almeno un movimento di una mano di detto operatore (O) lungo almeno una direzione su di un piano orizzontale e/o verticale (passo 131);
- in caso di movimento sul piano orizzontale e/o verticale rilevato, movimentare dette pinze di presa (7) lungo detta almeno una direzione sul piano orizzontale e/o verticale (passo 141).
7) Metodo (100) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende almeno i seguenti passi:
- mediante almeno un sensore di distanza (10) associato a dette pinze di presa (7) del robot antropomorfo (2), rilevare la distanza di dette pinze di presa (7) da detto oggetto (5) da manipolare passo 150);
- mediante detti mezzi di interfaccia grafica utente (13), segnalare visivamente a detto operatore (O) la distanza di dette pinze di presa (7) da detto oggetto (5) da manipolare (passo 160).
8) Metodo (100) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende almeno i seguenti passi:
- rilevare mediante detto sensore di visione tridimensionale (14) almeno una rotazione di una mano di detto operatore (O) attorno ad almeno un asse di rotazione (passo 132);
- in caso di rotazione attorno ad almeno un asse rilevato, ruotare dette pinze di presa (7) attorno a detto almeno un asse di rotazione (passo 142).
9) Metodo (100) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende almeno i seguenti passi:
- rilevare mediante detto sensore di visione tridimensionale (14) almeno un comando di chiusura pinza od un comando di apertura pinza (passo 133); - in caso di comando di chiusura pinza o di comando di apertura pinza rilevato, chiudere/aprire dette pinze di presa (7) per afferrare/rilasciare detto oggetto (5) da manipolare (passo 143).
10) Metodo (100) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti, caratterizzato dal fatto che comprende almeno i seguenti passi:
- rilevare mediante detto sensore di visione tridimensionale (14) almeno un movimento dell?avanbraccio di detto operatore (O) (passo 134);
- in caso di movimento dell?avanbraccio rilevato, movimentare detto robot antropomorfo (2) tra una posizione di prelievo ed una posizione di deposito (passo 144).
11) Sistema (1) per il controllo in tempo-reale di un robot antropomorfo (2), caratterizzato dal fatto che comprende:
- una cella robotizzata (3) comprendente detto robot antropomorfo (2) e almeno una zona (4, 6) destinata ad accogliere almeno un oggetto (5) da manipolare mediante detto robot antropomorfo (2), in cui detto robot antropomorfo (2) comprende pinze di presa (7) atte ad afferrare e a manipolare detto almeno un oggetto (5) ed in cui detto robot antropomorfo (2) comprende almeno una telecamera (8) disposta in corrispondenza di dette pinze di presa (7);
- una stazione di controllo in tempo-reale (11) di detto robot antropomorfo (2), comprendente almeno un?unit? di elaborazione (12) operativamente collegata a detto robot antropomorfo (2), mezzi di interfaccia grafica utente (13) operativamente collegati a detta unit? di elaborazione (12) e configurati per visualizzare almeno dette immagini rilevate da detta telecamera (8), ed almeno un sensore di visione tridimensionale (14) operativamente collegato a detta unit? di elaborazione (12) e configurato per rilevare i movimenti almeno delle mani di detto operatore (O), in cui detta unit? di elaborazione (12) comprende mezzi di elaborazione (15) per l?esecuzione del metodo (100) implementato mediante computer secondo una o pi? delle rivendicazioni precedenti.
12) Sistema (1) secondo la rivendicazione 11, caratterizzato dal fatto che detta telecamera (8) ? disposta in posizione sostanzialmente centrale tra dette pinze di presa (7).
13) Sistema (1) secondo una o pi? delle rivendicazioni 11 e 12, caratterizzato dal fatto che comprende almeno una telecamera (8) aggiuntiva associata a detto robot antropomorfo (2) in posizione differente rispetto a detta telecamera (8) e/o disposta in posizione fissa all?interno di detta cella robotizzata (3).
14) Sistema (1) secondo una o pi? delle rivendicazioni dalla 11 alla 13, caratterizzato dal fatto che comprende almeno un sensore di distanza (10) associato a dette pinze di presa (7) del robot antropomorfo (2).
15) Sistema (1) secondo una o pi? delle rivendicazioni dalla 11 alla 14, caratterizzato dal fatto che detti mezzi di elaborazione (15) per l?esecuzione del metodo (100) implementato mediante computer comprendono un programma software di riconoscimento delle gestures umane.
16) Sistema (1) secondo una o pi? delle rivendicazioni dalla 11 alla 15, caratterizzato dal fatto che detti mezzi di elaborazione (15) per l?esecuzione del metodo (100) implementato mediante computer comprendono un programma software di gestione della cella robotizzata (3) configurato per ricevere in ingresso comandi dal software di riconoscimento delle gestures ed immagini in ingresso provenienti da detta telecamera (8) e detta telecamera aggiuntiva (9) e di dati di distanza provenienti da detto sensore di distanza (10).
IT102020000025567A 2020-10-28 2020-10-28 Metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e relativo sistema di controllo in tempo-reale IT202000025567A1 (it)

Priority Applications (3)

Application Number Priority Date Filing Date Title
IT102020000025567A IT202000025567A1 (it) 2020-10-28 2020-10-28 Metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e relativo sistema di controllo in tempo-reale
PCT/IB2021/059822 WO2022090895A1 (en) 2020-10-28 2021-10-25 Computer-implemented method for the real-time control of an antropomorphic robot and related system for the real-time control
EP21807253.6A EP4237210A1 (en) 2020-10-28 2021-10-25 Computer-implemented method for the real-time control of an antropomorphic robot and related system for the real-time control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102020000025567A IT202000025567A1 (it) 2020-10-28 2020-10-28 Metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e relativo sistema di controllo in tempo-reale

Publications (1)

Publication Number Publication Date
IT202000025567A1 true IT202000025567A1 (it) 2022-04-28

Family

ID=74184764

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102020000025567A IT202000025567A1 (it) 2020-10-28 2020-10-28 Metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e relativo sistema di controllo in tempo-reale

Country Status (3)

Country Link
EP (1) EP4237210A1 (it)
IT (1) IT202000025567A1 (it)
WO (1) WO2022090895A1 (it)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110620A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの動作を制御する方法およびロボットシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011110620A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの動作を制御する方法およびロボットシステム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KOFMAN JONATHAN ET AL: "Robot-Manipulator Teleoperation by Markerless Vision-Based Hand-Arm Tracking", INTERNATIONAL JOURNAL OF OPTOMECHATRONICS, vol. 1, no. 3, 7 September 2007 (2007-09-07), US, pages 331 - 357, XP055813514, ISSN: 1559-9612, Retrieved from the Internet <URL:https://www.tandfonline.com/doi/pdf/10.1080/15599610701580467?needAccess=true> [retrieved on 20210614], DOI: 10.1080/15599610701580467 *
LEONIDAS DELIGIANNIDIS ET AL: "Designing a Lightweight Gesture Recognizer Based on the Kinect Version 2", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, COMPUTER VISION, AND PATTERN RECOGNITION (IPCV), 1 January 2015 (2015-01-01), Athens, pages 10 - 16, XP055813622, Retrieved from the Internet <URL:http://worldcomp-proceedings.com/proc/p2015/IPC2434.pdf> [retrieved on 20210614] *
PARK TAE MUN ET AL: "Force feedback based gripper control on a robotic arm", 2016 IEEE 20TH JUBILEE INTERNATIONAL CONFERENCE ON INTELLIGENT ENGINEERING SYSTEMS (INES), IEEE, 30 June 2016 (2016-06-30), pages 107 - 112, XP032953295, DOI: 10.1109/INES.2016.7555102 *
YANG YUANRUI ET AL: "Real-time human-robot interaction in complex environment using kinect v2 image recognition", 2015 IEEE 7TH INTERNATIONAL CONFERENCE ON CYBERNETICS AND INTELLIGENT SYSTEMS (CIS) AND IEEE CONFERENCE ON ROBOTICS, AUTOMATION AND MECHATRONICS (RAM), IEEE, 15 July 2015 (2015-07-15), pages 112 - 117, XP033206516, ISBN: 978-1-4673-7337-1, [retrieved on 20150923], DOI: 10.1109/ICCIS.2015.7274606 *

Also Published As

Publication number Publication date
EP4237210A1 (en) 2023-09-06
WO2022090895A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US8965580B2 (en) Training and operating industrial robots
CN113696186B (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
EP3383593B1 (en) Teaching an industrial robot to pick parts
Kofman et al. Teleoperation of a robot manipulator using a vision-based human-robot interface
EP3342562A1 (en) Remote control robot system
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
CN105598987B (zh) 借助机器人确定关于对象的抓取空间
KR20120025582A (ko) 로봇의 교시 데이터를 작성하는 방법 및 로봇 교시 시스템
Stückler et al. Real-Time 3D Perception and Efficient Grasp Planning for Everyday Manipulation Tasks.
US20220080581A1 (en) Dual arm robot teaching from dual hand human demonstration
CN114405866B (zh) 视觉引导钢板分拣方法、视觉引导钢板分拣装置和系统
CN106144524A (zh) 一种高速运动中用ccd视觉定位方法及装置
CN108436882A (zh) 一种转运整理机器人
Kumar et al. Computer vision based object grasping 6DoF robotic arm using picamera
Yang et al. Real-time human-robot interaction in complex environment using kinect v2 image recognition
JP2012187666A (ja) ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
CN108067440A (zh) 一种眼药水瓶分拣和装箱系统及方法
CN114670189A (zh) 存储介质、以及生成机器人的控制程序的方法及系统
CN113894774A (zh) 一种机器人抓取控制方法、装置、存储介质和机器人
US20200246974A1 (en) Handling assembly comprising a handling device for carrying out at least one work step, method, and computer program
US20180354133A1 (en) Control Device And Robot System
Watanabe et al. Cooking behavior with handling general cooking tools based on a system integration for a life-sized humanoid robot
CN206645534U (zh) 一种基于双相机的机器人无序抓取装置
IT202000025567A1 (it) Metodo implementato mediante computer per il controllo in tempo-reale di un robot antropomorfo e relativo sistema di controllo in tempo-reale
Andersen et al. Using robot skills for flexible reprogramming of pick operations in industrial scenarios