ITMI940346A1 - Metodo per riprendere immagini tridimensionali di carichi - Google Patents

Metodo per riprendere immagini tridimensionali di carichi Download PDF

Info

Publication number
ITMI940346A1
ITMI940346A1 IT000346A ITMI940346A ITMI940346A1 IT MI940346 A1 ITMI940346 A1 IT MI940346A1 IT 000346 A IT000346 A IT 000346A IT MI940346 A ITMI940346 A IT MI940346A IT MI940346 A1 ITMI940346 A1 IT MI940346A1
Authority
IT
Italy
Prior art keywords
loads
image
space
load
stack
Prior art date
Application number
IT000346A
Other languages
English (en)
Inventor
Tatsuo Hayashi
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Publication of ITMI940346A0 publication Critical patent/ITMI940346A0/it
Publication of ITMI940346A1 publication Critical patent/ITMI940346A1/it
Application granted granted Critical
Publication of IT1273342B publication Critical patent/IT1273342B/it

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Holo Graphy (AREA)

Description

DESCRIZIONE
SFONDO DELL ' INVENZIONE
Settore dell'invenzione
La presente invenzione riguarda un metodo per riprendere immagini tridimensionali di carichi a scopo d'osservazione di carichi impilati, quali scatole di cartone ondulato, facendo uso di una tecnica di proiezione di una lama di luce (altrimenti definita metodo del taglio di luce) o di una tecnica di proiezione di luce con andamento codificato a spazio. Tecnica nota
La distribuzione fisica annovera molti casi in cui carichi di forma scatolare vengono impilati su pallet o simili, trasportati in un altro punto ed ivi scaricati .
In questo settore d'attività, può accadere che i carichi di forma scatolare regolarmente impilati dal palletizzatore debbano essere scaricati da robot tuttofare o dal depalletizzatore senza godere di un sistema di visione. L'inconveniente è che i carichi spesso sono impilati irregolarmente, a causa di interventi umani o di perturbazioni occorse in transito.
E' per questo che si ammette l'esigenza di un sistema di visione in grado di monitorare gli assetti tridimensionali di carichi impilati in modo che, giunti alla loro destinazione, i carichi possano essere depalletizzati da robot in maniera affidabile e flessibile. Sebbene sia stata proposta e commercializzata una molteplicità di sistemi di visione per il monitoraggio di carichi, nessuno di essi mostra di avere soddisfatto tutti i requisiti del sistema di visione desiderato.
Per scopi generici, sono stati proposti svariati metodi per riprendere immagini tridimensionali di materiali onde individuarne le forme e posizioni in modo senza contatto. Alcuni di tali metodi si basano sulla triangolazione e si avvalgono della tecnica di proiezione della lama di luce (chiamata anche metodo del taglio di luce) e della tecnica di proiezione di luce con andamento codificato a spazio.
La tecnica di proiezione della lama di luce viene applicata illustrativamente alla misurazione di carichi come mostrato nella figura 16 (A). Questa tecnica comporta il frazionamento dello spazio contenente carichi W in regioni di misurazione cuneiformi, da RO a Rn, con un proiettore 51 che proietta una lama di luce su ciascuna delle regioni RO-Rn di misurazione, e con una camera 52 che riprende immagini dei carichi ogni volta che viene proiettata la lama di luce. Le immagini riprese di ciascuna delle regioni di misurazione vengono sovrapposte a costituire una immagine tridimensionale. Questa immagine tridimensionale si compone di elementi d'immagine includenti i dati relativi alle distanze dalla camera 52 ai carichi W. La linea di mira della camera 52 puntata sui punti bersaglio P interseca il piano di ciascuna regione di misurazione cuneiforme, cosicché si acquisiscono le coordinate tridimensionali di ogni punto bersaglio P. Anche se la figura 16 (A) non rappresenta che 10 regioni cuneiformi circa, da R0 a Rn, lo spazio contenente il carico viene in pratica suddiviso generalmente in parecchie centinaia di regioni cuneiformi.
La tecnica della proiezione di luce con andamento codificato a spazio comporta la proiezione di vari disegni di luce invece della lama di luce, con criterio di serie temporale. Questa tecnica permette di acquisire immagini aventi dati di distanza differenti relativi alle regioni di misurazione cuneiformi RO-Rn di suddivisione.
Uno svantaggio della tecnica di figura 16 (A) è che richiede tempo per completare quantità enormi di calcoli. In altre parole, le posizioni e gli assetti dei carichi W nello strato superiore della pila di carichi vengono conosciuti soltanto dopo che siano state ricavate le coordinate tridimensionali di tutti gli elementi di immagine di tutti i carichi e che siano state perciò riconosciute le forme dei carichi. Nel lavoro di scarico, non esiste necessità di conoscere le forme di tutti i carichi W; alla squadra di movimentazione basta conoscere la forma della sommità, il centro di gravità, l'inclinazione su un piano e l'altezza di ciascun carico W nello strato più in alto della pila di carichi. Le tecniche convenzionali sopra delineate tendono a sprecare tempo nella richiesta di esecuzione di compiti non indispensabili.
L'inventore era inizialmente dell'avviso che, dell'intera immagine codificata a spazio dei carichi W (figura 16 (B)), si dovesse estrarre soltanto l'immagine del carico superiore WQ (figura 16 (C)), di modo che venisse sottoposta al calcolo delle coordinate la sola immagine estratta. (L'intera immagine codificata a spazio comprende come suoi elementi Pc d'immagine i codici di spazio corrispondenti alle regioni cuneiformi da RO a Rn.) In particolare, il caso di cui sopra comporta l'estrazione dell'immagine dei carichi superiori come segue: le regioni cuneiformi da RO a Rn formate in cima a ciascun carico W vengono disposte linearmente ed in parallelo con la direzione R di proiezione della luce dal proiettore 51. Gli elementi PC d'immagine nella direzione orizzontale di figura 16 (B) condividono lo stesso codice di spazio nel medesimo piano. Così,per ogni sequenza orizzontale di elementi PC d'immagine, la scelta degli elementi PC d'immagine aventi codice di spazio massimo consente di estrarre un'immagine del carico superiore Wg come mostrato in figura 16 (C).
Se i carichi W sono però costituiti da scatole di cartone ondulato, la forma della loro sommità può spesso deformarsi in maniera concava come illustrato nella figura 17 (A). In tal caso, le regioni cuneiformi RO-Rn risultano costituite da linee distorte ad onda. Se l'elemento PC d'immagine avente codice di spazio massimo dovesse essere scelto fra ciascuna sequenza orizzontale di elementi PC d'immagine, verrebbero estratti soltanto elementi PC d'immagine distribuiti discretamente, come mostrato in figura 17 (C). Ciò rende impossibile il riconoscimento della forma della sommità del carico W.
SOMMARIO DELL'INVENZIONE
Un primo scopo della presente invenzione è perciò di fornire un metodo per riprendere immagini tridimensionali di carichi, grazie al quale l'immagine dei carichi siti più in alto nella pila di carichi, a differenza dall'immagine dei restanti carichi, si ottiene con una elaborazione semplice e veloce.
Un secondo scopo della presente invenzione è di fornire un metodo per riprendere immagini tridimensionali di carichi, mediante il quale il centro di gravità dei carichi siti più in alto viene acquisito con una elaborazione semplice.
Il primo scopo può essere conseguito per un primo aspetto dell'invenzione, che prevede un metodo per riprendere immagini tridimensionali di carichi, comprendente principalmente le fasi di ottenimento di una immagine codificata a spazio dell'intera pila di carichi, e di acquisizione da tale immagine codificata a spazio di una immagine dei carichi superiori nella pila di carichi. L'immagine codificata a spazio si ottiene come segue: uno spazio bersaglio contenente la pila di carichi (W) viene suddiviso in regioni (rO-rn) cuneiformi di misurazione disposte a strati una sull'altra. Codici di spazio vengono assegnati sequenzialmente alle regioni cuneiformi di misurazione in modo da ottenere l'immagine codificata a spazio della pila di carichi, l'immagine codificata a spazio includendo i codici di spazio come dati degli elementi di immagine. Illustrativamente, si riprendono immagini di ciascuna delle regioni cuneiformi (rO-rn), e le si sovrappongono per comporre l'immagine codificata a spazio. Quindi, da ciascuna sequenza di elementi d'immagine in una direzione prefissata nell'ambito dell'immagine codificata a spazio, l'immagine dei carichi nello strato superiore della pila di cariche viene acquisita mediante l'eliminazione di tutti gli elementi d'immagine eccettuati gli elementi comprendenti i codici di spazio rappresentativi delle regioni cuneiformi che vanno da uno con angolo massimo ad uno con un angolo prefissato.
Il secondo scopo può essere conseguito per un secondo aspetto dell'invenzione che prevede un metodo per riprendere immagini tridimensionali di carichi comprendente le fasi di: calcolo, previa acquisizione dell'immagine dei carichi nello strato superiore della pila di carichi secondo il metodo sopra menzionato, delle coordinate tridimensionali di una pluralità di punti appartenenti a ciascuno dei lati dei carichi nello strato superiore della pila di carichi; ed ottenimento del centro di gravità dei carichi nello strato superiore della pila di carichi in un piano orizzontale di proiezione della sommità dei carichi avvalendosi delle coordinate tridimensionali calcolate.
In accordo con il primo aspetto dell'invenzione, l'immagine dei carichi superiori nella pila di carichi si ottiene semplicemente eliminando tutti gli elementi d'immagine eccettuati quelli comprendenti i codici di spazio rappresentantivi delle regioni cuneiformi che vanno da uno con angolo massimo ad uno con un angolo prefissato. Questo fornisce l’immagine delle porzioni dei carichi superiori che vanno dalla sommità vera e propria dei carichi fino ad una altezza di un valore prefissato al di sotto della sommità. In altre parole, anche se le sommità dei carichi superiori subiscono deformazione concava, è possibile riprendere l'immagine dell'intera sommità dei carichi. Dato che vengono riprese solo le immagini dei carichi superiori nella pila di carichi, la necessaria quantità di dati da calcolare per vari tipi di elaborazione susseguente risulta limitata. Ciò significa che i dati necessari relativi ai carichi superiori vengono acquisiti in maniera semplice e veloce.
In accordo con il secondo aspetto dell'invenzione, le coordinate tridimensionali di una pluralità di punti appartenenti a ciascuno dei lati dei carichi superiori nella pila di carichi vengono calcolate utilizzando i dati d'immagine relativi ai carichi superiori. Dalle coordinate tridimensionali cosi calcolate, si ricava il centro di gravità di ciascun carico superiore della pila di carichi in un piano di proiezione orizzontale della sommità dei carichi. Queste modalità consentono di acquisire il centro di gravità del carico superiore con precisione indipendentemente da variazioni della linea di mira dei mezzi di misurazione ed indipendentemente dalla deformazione concava della sommità del carico.
BREVE DESCRIZIONE DEI DISEGNI
Le figure 1 (A), 1 (B), 1 (C), 1 (D), 1 (E), 1 (F), 1 (G), 1 (H), 1 (I) e 1 (J) sono viste schematiche che illustrano l'intera procedura del metodo per riprendere immagini tridimensionali di carichi, secondo 1 'invenzione;
- la figura 2 (Al) è una vista in prospettiva che illustra una relazione tipica fra l'oggetto da misurare ed i mezzi di misurazione;
- la figura 2 (A2) è una vista del lato sinistro della situazione in figura 2 (Al);
- la figura 3 (B) è una vista di una immagine a densità variabile di una pila di carichi, ripresa da sopra la pallet;
- le figure 3 (Cl), 3 (C2) e 3 (C3) sono viste di immagini in spaccato di luce della pila di carichi, riprese ad angoli di proiezione della luce diversi; - la figura 4 è una vista di un'immagine codificata a spazio di una pila di carichi;
- la figura 5 è una vista di un'immagine ripresa dei carichi superiori nella pila di carichi;
- la figura 6 è una vista di un'immagine raggruppata di carichi, ripresa dei carichi superiori nella pila di carichi;
- la figura 7 è una vista che illustra un processo di estrazione di punti su lati del carico per la trasformazione in dati di coordinate tridimensionali; - la figura 8 {H) è una vista che illustra un processo di trasformazione di punti su un carico superiore in coordinate tridimensionali;
- la figura 8 (I) è una vista che illustra un processo di ottenimento del centro di gravità del carico;
- la figura 8 (J) è una vista illustrante un processo di ottenimento dell'altezza media del carico;
- la figura 9 è una vista in prospettiva di un carico deformato;
- la figura 10 è una vista di un'immagine codificata a spazio che rappresenta la porzione F mostrata in figura 9;
- la figura 11 è uno schema di flusso di fasi per l’estrazione degli elementi d'immagine di un carico superiore in una pila di carichi;
- la figura 12 è uno schema a blocchi di un sistema di misurazione operante in base al metodo inventivo per riprendere immagini tridimensionali di immagini;
- la figura 13 è una vista schematica di processi che vanno dall'entrata di una immagine alla trasformazione dei dati d'immagine in un'immagine indicativa di distanze;
- la figura 14 è una vista illustrante come lavora la tecnica di proiezione di luce con andamento codificato a spazio;
la figura 15 è una vista che mostra andamenti codificati a grigio della luce;
- la figure 16 (A), 16 (B) e 16 (C) sono viste che descrivono come vengono convenzionalmente misurati i carichi con criterio di tridimensionalità;
- le figure 17 (A), 17 (B) e 17 (C) sono viste di processi convenzionali implicati nel trattamento di carichi deformati.
DESCRIZIONE DETTAGLIATA DI FORMA REALIZZATIVA PREFERITA
Una forma realizzativa preferita dell'invenzione verrà ora descritta con riferimento alle figure da 1 a 13. Le figure da 1 (A) a l (J) sono viste schematiche che illustrano l'intera procedura per riprendere immagini tridimensionali di carichi secondo l'invenzione.
Le figure da 2 a 8 sono viste ingrandite di quanto mostrato nelle figure da 1 (A) a 1 (J). Come illustrato nelle figure 2 (Al) e 2 (A2), il bersaglio da misurare è una pila di carichi (W) su una pallet 1. Ciascuno dei carichi W è una scatola di cartone ondulato avente al centro una linea Wa di combaciamento definita dai bordi delle sue due falde di chiusura superiore ripiegate. La figura 2 (Al) è una vista in prospettiva dei carichi W di figura 2 (A2) guardando dalla linea q di mira.
I mezzi di misurazione comprendono un proiettore 2 collegato dietro ed al di sopra della pallet 1 ed una camera CCD (Charge-Coupled Device = dispositivo a trasferimento di cariche) 3 di piazzata al di sopra del centro della pallet 1 e puntata diritta verso il basso. Questa forma realizzativa adotta la tecnica cosiddetta della proiezione di luce con andamento codificato a spazio. Il proiettore 2 proietta vari andamenti luminosi con criterio di serie temporale in modo da suddividere lo spazio bersaglio contenente la pila di carichi in regioni cuneiformi di misurazione, da rO a rn, disposte a strati una sull'altra.
La figura 12 è uno schema a blocchi di un sistema di misurazione operante in base al metodo inventivo per la ripresa di immagini tridimensionali di carichi. Nella figura 12, il proiettore 2 ha un otturatore 4 a cristalli liquidi che produce una sequenza di stretti otturatori di luce a forma di strisce fatti di cristallo liquido. Usando segnali elettrici, l'otturatore 4 a cristalli liquidi ammette ed esclude la trasmettenza di ciascuna delle strisce in modo da generare andamenti di luce richiesti. Una apparecchiatura 5 elaboratrice d'immagine dedicata controlla l'attivazione e la disattivazione del proiettore 2, il cambiamento di andamento dell'otturatore 4 . a cristalli liquidi, e la temporizzazione di ripresa delle immagini della camera 3 a seconda dei comandi di controllo inviati. La risoluzione della camera 3 è illustrativamente di 512 per 512 elementi d'immagine, e l'apparecchiatura 5 elaboratrice d'immagine ha una memoria d'immagine di 512 per 512 per 8 bit (= 256 kilobyte). Su ricezione di un comando, l'apparecchiatura 5 elaboratrice d'immagine genera un'immagine codificata a spazio e trasmette i dati d'immagine ad una stazione 6 di lavoro ospitante. Dai dati d'immagine, la stazione 6 di lavoro ospitante estrae un'immagine dei carichi siti più in alto nella pila dei carichi e calcola le coordinate tridimensionali, il centro di gravità e l'altezza della sommità di questi carichi superiori, come si chiarirà più avanti.L'apparecchiatura 5 elaboratrice d'immagine ha un display 7 a monitor, e la stazione 6 di lavoro ospitante include un display 8.
La figura 14 illustra come lavora la tecnica della proiezione di luce con andamento codificato a spazio. Il principio operativo di questa tecnica verrà descritto con riferimento alla figura 14 al fine di facilitare la comprensione della forma realizzativa preferita. Nella figura 14, un <11>1" rappresenta una parte illuminata ed uno "0" una parte non illuminata. Quando viene proiettato un andamento A, la metà posteriore del carico viene codificata come "1" e la metà anteriore come "0". Quando viene proiettato un andamento B il quarto posteriore estremo del carico viene codificato come "1", il quarto posteriore precedente quello estremo del carico come "0", il quarto successivo come "l", ed il quarto anteriore come "0" . Analogamente, quando viene proiettato un andamento C, le parti di suddivisione del carico vengono codificate "1", "0", "1", "0", ecc., come illustrato.
Pertanto, l'uso dei tre andamenti A, B e C comporta la suddivisione dello spazio contenente il carico in otto regioni cuneiformi che vengono codificate in tre bit da "000" a "111". Un punto T in figura 14 giace nella regione cuneiforme codificata come "101". In applicazioni pratiche includenti questa forma realizzativa, si usano andamenti codificati a grigio (codice binario riflesso), mostrati in figura 15, per minimizzare gli errori di bit.
I numeri binari composti ciascuno da un numero appropriato di bit ed assegnati alle regioni cuneiformi vengono chiamati codici a spazio. Laddove la tecnica della proiezione della lama di luce viene adattata a proiettare lame di luce sequenzialmente sulle regioni cuneiformi, codici appropriati assegnati a queste regioni per distinzióne vengono chiamati anch'essi codici a spazio. L'immagine composta dai codici a spazio usati come elementi d'immagine viene chiamata immagine codificata a spazio.
La figura 13 rappresenta un flusso fondamentale di processi di misurazione che va dalla proiezione di luce con andamento codificato a grigio alla acquisizione di una immagine indicativa di distanze. Per ogni andamento luminoso, si svolgono i tre processi seguenti: (1) un andamento di luce codificato a grigio viene proiettato sulla regione di misurazione; (2) la camera 3 riprende un'immagine del bersaglio, con le porzioni illuminate e non illuminate dell'immagine codificate nella notazione binaria; e (3) l'immagine codificata in binario viene inserita nel piano di bit di una memoria d'immagine multivalore nell'ordine in cui è stato proiettato l'andamento di luce attuale. I processi da (1) a (3) vengono ripetuti per n andamenti di luce in modo da generare nella memoria d'immagine un'immagine codificata a spazio in codici di grigio di n bit. I codici di spazio vengono convertiti dal formato di codice grigio nel formato di codice binario. Si ottiene quindi un'immagine del bersaglio indicativa di distanze mediante il calcolo delle sue coordinate tridimensionali in base all'immagine codificata a spazio .
Le coordinate tridimensionali del bersaglio vengono calcolate in linea di principio come segue (espressioni omesse): regioni cuneiformi prodotte frazionando la spazio bersaglio vengono considerate ciascuna come un piano. Una data posizione tridimensionale sul bersaglio viene individuata come il punto d'intersezione fra uno di questi piani e la linea di mira della camera. La direzione in piano di una data regione cuneiforme corrisponde al codice di spazio di tale regione, e l'equazione definente il piano viene ricavata direttamente dal valore del codice di spazio interessato. Al contempo, viene ricavata l'equazione definente una retta identica alla linea di mira della camera in base alla posizione dell'elemento d'immagine in questione nell'ambito dell'immagine. Le coordinate di un punto di misurazione sulla superficie bersaglio vengono perciò calcolate facendo uso delle coordinate di camera di quel particolare elemento d'immagine e mediante il codice di spazio rappresentativo di tale elemento d'immagine.
Per ritornare in argomento, la forma realizzativa preferita utilizza il sistema di misurazione della figura 12. Un'immagine codificata a spazio dei carichi W in figura 2 viene dapprima ripresa facendo uso della luce con andamento codificato a grigio in base al principio discusso con riferimento alle figure da 13 a 15. La figura 3 (B) è un'immagine a densità variabile dei carichi W guardando da sopra la pallet 1. La ripresa di questa immagine a densità variabile dei carichi W non è indispensabile all'attuazione dell'invenzione; viene qui illustrata soltanto per riferimento. Le figure da 3 (Cl) a 3 (C3) sono immagini in spaccato luminoso del bersaglio riprese dalla camera 3 usando luce proiettata sulle regioni cuneiformi di misurazione, da rO a rn, suddivise come mostrato in figura 2 (A2). Le porzioni ombreggiate nelle figure da 3 (Cl) a 3 (C3) sono quelle parti illuminate dei carici W di cui vengono riprese immagini. Secondo la tecnica della proiezione di luce con andamento codificato a spazio sulla quale si basa la forma realizzativa, le regioni cuneiformi da rO a rn, sono le regioni frazionate come risultato della combinazione di andamenti di luce differenti. In altre parole, le immagini nelle figure da 3 (Cl) a 3 (C3) non sono immagini riprese ciascuna in concomitanza con un'unica proiezione di luce. Per contro, laddove si utilizza la tecnica della proiezione della lama di luce, la lama di luce viene proiettata su ciascuna delle regioni cuneiformi da rO a rn, e perciò le immagini nelle figure da 3 (Cl) a .3 (C3) sono immagini riprese ciascuna in concomitanza con una singola proiezione di luce .
La figura 3 (Cl) rappresenta un'immagine ripresa quando l'angolo di proiezione della luce sia (regione r3 in Fig. 2 (A2), codice "3" in figura 4). Viene ripresa l'immagine del carico posteriore W sito più in basso. La figura 3 (C2) rappresenta un'immagine ripresa quando l'angolo di proiezione della luce sia <£b, maggiore dell'angolo <|>a. Viene ripresa l'immagine delle porzioni posteriori di carici W più in alto nella pila di carichi. La figura 3 (C3) rappresenta un'immagine ripresa con un angolo <j>c di proiezione della luce ancor più grande. Viene ripresa l'immagine del solo carico anteriore W sito più in alto.
Questi dati d'immagine vengono raccolti per produrre un'immagine codificata a spazio dell’intera pila di carichi come mostrato in figura 4. Nella figura 4, i numerali assegnati a ciascuno dei carichi W sono codici di spazio, e le linee sottili rappresentano i limiti fra porzioni il cui codice di spazio sia il medesimo. La figura 4 rappresenta meno regioni di suddivisione di quante ne siano effettivamente previste, per facilità di comprensione. Nella figura, le porzioni riempite con linee diagonali corrispondono alle porzioni che non contengono carichi W od alle superfici del carico sulle quali non sono disponibili dati d'immagine perchè la luce diretta su di esse dal proiettore 2 è intercettata da altri carichi W.
Dall’immagine codificata a spazio generale sopra descritta, l'immagine dei carichi W superiori mostrata in figura 5 viene estratta come segue: da ogni sequenza orizzontale di elementi L d'immagine (11, L2, ecc.) nell'immagine codificata a spazio della figura 5 vengono scartati elementi d'immagine eccettuati quelli comprendenti i codici di spazio rappresentativi delle regioni cuneiformi che vanno da uno avente angolo massimo ad uno avente un angolo prefissato.
Per esempio, si consideri la sequenza orizzontale L4 di elementi d'immagine nell'immagine codificata a spazio della figura 4. In questa sequenza, gli elementi d'immagine vanno da quello del carico W inferiore con assegnato un codice di spazio "4" a quello del carico W superiore con codice di spazio "12". L’elemento d'immagine con il codice di spazio più alto "12" viene salvato e gli altri elementi vengono scartati. In questo caso, i codici di spazio rappresentativi della sequenza 14 di elementi d'immagine non sono tutti "12"; alcuni elementi d'immagine sono "11" e "10". Se un valore di 2 viene impostato per definire l'angolo di tolleranza prefissato, gli elementi d'immagine salvati includono quelli aventi un codice di spazio minimo "10", cioè del valore di 2 più piccolo del codice di spazio massimo "12".
La procedura di cui sopra viene ripetuta per ognuna delle sequenze L di elementi d'immagine finché vengono estratti soltanto gli elementi d'immagine dei carichi W superiori. Anche se la sommità di un carico W superiore è leggermente deformata in maniera concava come mostrato in figura 9, l'immagine dell'intera sommità può essere acquisita grazie all'angolo di tolleranza prefissato. La precondizione per questo è che le regioni frazionate da rO a rn in figura 2 (A2) debbano essere porzioni a banda che si estendono orizzontalmente e che i codici di spazio assegnati a queste regioni debbano essere in ordine crescente dall'alto verso il basso come mostrato nella figura.
Quando si adotta la tecnica della proiezione di luce a lama, la luce proiettata dal proiettore 2 forma una banda luminosa che si estende nella direzione orizzontale della figura, la banda luminosa venendo proiettata sequenzialmente dall'alto verso il basso.
Come l'immagine dei carichi superiori venga estratta verrà ora descritto in maggior dettaglio con riferimento alle figure 9 e 10. La figura 10 mostra un'immagine codificata a spazio che presenta la porzione F in figura 9. In figura 10, ciascun rettangolo rappresenta un elemento Pc d'immagine ed il numerale in esso contenuto è un codice di spazio. Se la sommità del carico è perfettamente piana, gli elementi d’immagine nella medesima sequenza orizzontale condividono lo stesso codice di spazio; il codice di spazio viene incrementato di 1 per la sequenza di elementi d'immagine immediatamente più in basso. Dato che la sommità del carico W in figura 9 ha subito una deformazione concava, i codici di spazio rappresentativi degli elementi d'immagine interessati sono alquanto dispersi. Più precisamente, nella prima sequenza LI di elementi d'immagine, il codice di spazio massimo è "9” ed alcuni elementi hanno ciascuno un codice di spazio "7". Se s'imposta un valore di 2, gli elementi d'immagine aventi codici di spazio di 7 e superiori vengono salvati, il valore "7" essendo minore di 2 del codice di spazio massimo "9". Gli elementi d'immagine con codici di spazio "5" e "4" vengono scartati. Nella seconda sequenza L2 di elementi d'immagine, il codice di spazio massimo è "10". Pertanto, gli elementi d'immagine con codici di spazio di 8 e superiori vengono salvati e gli altri vengono scartati. Il processo viene ripetuto finché tutti gli elementi d'immagine rappresentanti la sommità del carico W superiore sono salvati e gli elementi d'immagine rappresentanti i carichi W inferiori (indicati con linee a tratto) sono scartati. Ciò permette l'estrazione dell'immagine codificata a spazio del carico W sito più in alto.
La figura 11 è uno schema di flusso di fasi operative per estrarre gli elementi d'immagine del carico superiore nella pila di carichi. Nella fase SI la linea (sequenza orizzontale) di elementi d'immagine dalla quale iniziare il processo di estrazione viene impostata come linea superiore dell'immagine, e viene istituito il codice di spazio massimo dell'elemento d'immagine .
Nella fase S2, si effettua una ricerca del codice di spazio massimo degli elementi d'immagine nella linea attualmente istituita (cioè, la sequenza attuale di elementi d'immagine). Nella fase S4, viene impostato un codice di spazio minimo che è di un appropriato valore prefissato minore del codice di spazio massimo. Tale valore viene inviato preventivamente. Nella fase S5, dalla linea attuale vengono estratti, nel modo descritto con riferimento alla figura 10, gli elementi d'immagine che hanno almeno il codice di spazio minimo.
Dopo l'estrazione degli elementi d'immagine dalla linea attuale, nella fase S7 viene incrementato un contatore di linee. Si torna quindi alla fase S2 per un altro processo.
Dalla seconda linea in poi, viene dapprima inviata la fase S2 nella quale si ricerca per la linea il codice di spazio massimo. La fase S2 è seguita dalla fase S3, nella quale il codice di spazio massimo della linea rivelato viene confrontato con il codice di spazio massimo istituito. Se il codice di spazio massimo della linea in questione è maggiore del codice di spazio massimo istituito, quest'ultimo viene aggiornato dal primo. Le restanti fasi sono le medesime. Il processo viene ripetuto fino a raggiungere l'ultima linea di elementi d'immagine. Questo assicura l'estrazione di un'immagine corretta del carico W superiore indipendentemente dalla sua collocazione fisica .
Quando sia stata ripresa l'immagine di tutti i carichi superiori, l'immagine viene raggruppata, illustrativamente secondo carichi WA, WB e Wc per la misurazione, come mostrato in figura 6. Il raggruppamento si ottiene illustrativamente riprendendo come un gruppo unico gli elementi d’immagine adiacenti che hanno codici di spazio rientranti in un certo intervallo, gli elementi d'immagine costituendo una zona nella quale le regioni cuneiformi da rO a rn si trovano in prossimità sufficientemente stretta. Agli elementi d'immagine nel medesimo gruppo può essere assegnata la medesima identificazione (numero) ciascuno. In altre parole, l'identificazione viene applicata non soltanto alla concatenazione generalmente attuata degli elementi d'immagine che hanno lo stesso codice di spazio, ma anche agli elementi d'immagine adiacenti che hanno codici di spazio adiacenti. In alternativa, i carichi Wj , Wg e Wc possono essere raggruppati (suddivisi in zone) prendendo le cave o vuoti rilevate fra di essi e traducendole nelle variazioni di codice di spazio rappresentative delle discontinuità degli elementi d'immagine schierati.
Dall'immagine dei carichi superiori così raggruppati, si preleva un gruppo alla volta e le linee LI di contorno dei lati componenti il gruppo vengono In accordo con il primo aspetto dell'invenzione, l'immagine dei carichi superiori nella pila di carichi si ottiene semplicemente eliminando tutti gli elementi d'immagine! eccettuati quelli comprendenti i codici di spazio rappresentativi delle regioni cuneiformi che vanno da una avente angolo massimo ad una avente un angolo prefissato. Questo permette di distinguere i carichi superiori dal resto dei carichi per immagine. Anche se la sommità di un carico superiore ha subito deformazione concava, è possibile riprendere l'immagine dell'intera sommità del carico. Dato che si riprendono soltanto le immagini dei carichi superiori nella pila di carichi, la necessaria quantità di dati da calcolare per vari tipi di elaborazione susseguente risulta limitata. Questo significa acquisire i dati necessari inerenti ai carichi superiori in maniera semplice e veloce.
In accordo con il secondo aspetto dell'invenzione, i dati d'immagine dei carichi superiori così ottenuti vengono trasformati in coordinate tridimensionali di una pluralità di punti su ognuno dei lati di questi carichi. Dalle coordinate tridimensionali cosi calcolate si ricava il centro di gravità di ciascun carico superiore nella pila di carichi in un piano di proiezione orizzontale della sommità del carico. Queste modalità consentono di acquisire con precisione il centro di gravità del carico sito più in alto, indipendentemente dal variare della linea di mira dei mezzi di misurazione ed indipendentemente da una eventuale deformazione concava della sommità del carico. Detto altrimenti, i dati necessari vengono ottenuti prontamente, facilitando perciò lo scarico della pila di carichi anche se i carichi si presentano in una disposizione irregolare.

Claims (2)

  1. RIVENDICAZIONI 1. Metodo per riprendere immagini tridimensionali di carichi, comprendente le fasi di: suddivisione di uno spazio bersaglio contenente una pila di carichi in regioni di misurazione cuneiformi disposte a strati una sull’altra; assegnazione di codici di spazio sequenzialmente a dette regioni di misurazione cuneiformi; ottenimento di un'immagine codificata a spazio di detta pila di carichi, detta immagine codificata a spazio includendo detti codici di spazio come dati di elementi d'immagine; ed acquisizione, da ciascuna sequenza di elementi d'immagine in una direzione prefissata nell'ambito di detta immagine codificata a spazio, dell'immagine dei carichi nello strato superiore di detta pila di carichi mediante l'eliminazione di tutti gli elementi d'immagine eccettuati gli elementi che comprendono i codici di spazio rappresentativi delle regioni cuneiformi che vanno da una avente angolo massimo ad una avente un angolo prefissato.
  2. 2. Metodo per riprendere immagini tridimensionali di carichi secondo la rivendicazione 1, comprendente inoltre le fasi di: calcolo, previa acquisizione dell'immagine di detti carichi nello strato superiore di detta pila di carichi, delle coordinate estratte come mostrato in figura 7. Da queste linee, vengono estratti punti Cii-Ci3-Ci3-C2i-C3i-C33 e C^-C^ por la trasformazione in dati di coordinate tridimensionali. Il numero di punti di trasformazione deve essere stabilito in anticipo secondo opportune regole. Per ognuno dei punti C^-C^, 3⁄4 ■3⁄4 ' c31“c33 e c41-c43 estratti per la trasformazione, la posizione d'elemento d'immagine del punto in questione nell'immagine e l'angolo del piano costituente la regione cuneiforme corrispondente al codice di spazio interessato vengono combinati per calcolare le coordinate tridimensionali (coordinate globali) di tale punto. La figura 8 (H) mostra le posizioni a coordinate tridimensionali di questi punti congiunte da una linea a tratto e punto. Le coordinate tridimensionali dei punti così ottenute vengono proiettate in un piano orizzontale (X,Y), come illustrato in figura 8 (I). Da questo si acquisiscono il centro di gravità G (Xg, Jg ) e l'inclinazione φ del carico bersaglio sul piano X-Y. Le coordinate nella direzione dell'asse Z (cioè, nella direzione perpendicolare) vengono acquisite come segue: dei quattro lati del carico, vengono scelti come mostrato in figura (J) i tre che hanno le elevazioni massime, ed una media (ZQ)delle elevazioni scelte viene ricavata come posizione del carico sull'asse Z. Nell'esempio della figura 8 (J), vengono selezionati i lati 1,2 e 4 e le loro coordinate Z vengono mediate per poter calcolare la posizione della sommità del carico sull'asse Z. Dato che si prende una media dei tre lati più alti, la posizione della sommità del carico sull'asse Z viene misurata con precisione anche se il lato 3 è deformato come illustrato in figura 9. Il metodo per riprendere immagini tridimensionali sopra descritto consente di riconoscere ognuno dei carichi W superiori e di conoscere il centro di gravità e l'inclinazione φ del carico su un piano orizzontale. In possesso di tali dati, è facile per robot tuttofare o depalletizzatori scaricare la pila di carichi in maniera accurata e flessibile anche se la posizione e l'assetto del carico W superiore sono irregolari. Dato che la quantità di calcoli implicata è limitata, un processore di struttura semplice può facilmente occuparsi dei calcoli ad alta velocità. La forma realizzativa di cui sopra opera in base alla tecnica di proiezione della luce con andamento codificato a spazio nell'acquisizione delle immagini codificate a spazio. Come alternativa, in un'altra forma realizzativa dell'invenzione si potrebbe adottare la tecnica della proiezione della lama di luce. tridimensionali di una pluralità di punti appartenenti a ciascuno dei lati di detti carichi nello strato superiore di detta pila di carichi; e ricavo del centro di gravità di detti carichi nello strato superiore di detta pila di carichi in un piano di proiezione orizzontale della sommità del carico utilizzando le coordinate tridimensionali calcolate.
ITMI940346A 1993-02-26 1994-02-25 Metodo per riprendere immagini tridimensionali di carichi IT1273342B (it)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5062908A JP3028016B2 (ja) 1993-02-26 1993-02-26 積荷の三次元画像計測方法

Publications (3)

Publication Number Publication Date
ITMI940346A0 ITMI940346A0 (it) 1994-02-25
ITMI940346A1 true ITMI940346A1 (it) 1994-08-27
IT1273342B IT1273342B (it) 1997-07-08

Family

ID=13213830

Family Applications (1)

Application Number Title Priority Date Filing Date
ITMI940346A IT1273342B (it) 1993-02-26 1994-02-25 Metodo per riprendere immagini tridimensionali di carichi

Country Status (4)

Country Link
JP (1) JP3028016B2 (it)
DE (1) DE4405849A1 (it)
FR (1) FR2702055B1 (it)
IT (1) IT1273342B (it)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692603B2 (ja) * 1994-07-13 1997-12-17 村田機械株式会社 三次元計測方法
JP3444171B2 (ja) * 1997-12-17 2003-09-08 三菱電機株式会社 物品認識装置
KR100442817B1 (ko) * 1998-09-09 2004-09-18 삼성전자주식회사 한 장의 2차원 영상에 의한 3차원 물체 인식방법 및 그 모델베이스 생성방법
JP3654042B2 (ja) * 1999-04-21 2005-06-02 松下電工株式会社 物体特定方法及び装置
DE10143504A1 (de) 2001-09-05 2003-03-20 Sick Ag Überwachungsverfahren und optoelektronischer Sensor
CH697014A5 (de) * 2003-07-25 2008-03-14 Supercomputing Systems Ag Absicherung und/oder Ueberwachung von Systemen.
JP2006300929A (ja) * 2005-03-22 2006-11-02 Jfe Engineering Kk 物体の3次元位置認識装置およびデパレタイズシステム
JP5088278B2 (ja) * 2008-09-17 2012-12-05 株式会社安川電機 物体検出方法と物体検出装置およびロボットシステム
US20120062725A1 (en) * 2010-09-10 2012-03-15 Gm Global Technology Operations, Inc. System for error-proofing manual assembly operations using machine vision
JP5798318B2 (ja) * 2010-12-15 2015-10-21 キヤノン株式会社 距離データ生成装置、位置姿勢計測装置、距離データ生成装置の制御方法およびプログラム
CN105953776A (zh) * 2016-04-28 2016-09-21 北京派得伟业科技发展有限公司 一种基于立体摄影测量获取玉米植株形态参数的方法
JP6319395B2 (ja) * 2016-10-14 2018-05-09 オムロン株式会社 3次元測定装置および3次元測定方法
CN110062870B (zh) * 2019-03-13 2021-08-13 深圳市汇顶科技股份有限公司 编码阵列的确定方法、初始化方法、结构光编码方法、光学装置以及三维测量装置
JP7280655B2 (ja) * 2019-08-30 2023-05-24 株式会社日立オートメーション 移載対象ワーク高さ計測システム
CN111439594B (zh) * 2020-03-09 2022-02-18 兰剑智能科技股份有限公司 基于3d视觉引导的拆垛方法和系统
CN112541896B (zh) * 2020-12-14 2023-04-07 湖南镭目科技有限公司 一种炉口堆渣情况辨识方法及系统
KR102463034B1 (ko) * 2021-03-31 2022-11-03 한국로봇융합연구원 Rgb-d 카메라를 이용한 적재 화물의 레이어 분리 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2606871B1 (fr) * 1986-11-13 1990-11-09 Imajesa Dispositif de reconnaissance d'objets disposes sur un plan, et systeme de depalettisation mettant en oeuvre un tel dispositif
CA1313040C (en) * 1988-03-31 1993-01-26 Mitsuaki Uesugi Method and apparatus for measuring a three-dimensional curved surface shape
FR2643707B1 (fr) * 1989-02-24 1993-01-15 Syspro Dispositif de reconnaissance de position d'objets
DE4115445C2 (de) * 1990-07-05 1994-02-17 Reinhard Malz Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip und Vorrichtung hierzu

Also Published As

Publication number Publication date
ITMI940346A0 (it) 1994-02-25
FR2702055A1 (fr) 1994-09-02
JP3028016B2 (ja) 2000-04-04
IT1273342B (it) 1997-07-08
FR2702055B1 (fr) 1995-08-04
JPH06249631A (ja) 1994-09-09
DE4405849A1 (de) 1994-09-01

Similar Documents

Publication Publication Date Title
ITMI940346A1 (it) Metodo per riprendere immagini tridimensionali di carichi
EP3766644B1 (en) Workpiece picking device and workpiece picking method
Silver Determining shape and reflectance using multiple images
Garcia et al. A combined temporal tracking and stereo-correlation technique for accurate measurement of 3D displacements: application to sheet metal forming
JP5350729B2 (ja) 出来型確認システムおよび出来型確認プログラム、並びに出来型確認方法
CN101135556B (zh) 图案的偏差测定方法以及图案测定装置
US8098928B2 (en) Apparatus for picking up objects
JPH0364808B2 (it)
CN103196370B (zh) 一种导管接头空间位姿参数的测量方法和装置
CN102460065A (zh) 信息处理设备、信息处理方法和程序
US7456831B2 (en) Method for generating 3D mesh based on unorganized sparse 3D points
JP4766269B2 (ja) 物体検出方法、物体検出装置、及びそれを備えたロボット
CN109716061B (zh) 标记器和使用了标记器的姿势推定方法
Dorai et al. From images to models: Automatic 3D object model construction from multiple views
CN106097431A (zh) 一种基于三维栅格地图的物体整体识别方法
US20050012056A1 (en) Method for determining corresponding points in three-dimensional measurement
EP2458556A1 (en) Marker generation device, marker generation detection system, marker generation detection device, marker, marker generation method, and program therefor
CN105910551B (zh) 预制混凝土质控装置、质控系统及装置操作方法
US11763473B2 (en) Multi-line laser three-dimensional imaging method and system based on random lattice
CN105205859B (zh) 一种基于三维栅格地图的环境特征的相似性度量方法
CN106918300A (zh) 一种基于多立体跟踪器的大型物体三维测量数据拼接方法
Chen et al. Passive and active stereo vision for smooth surface detection of deformed plates
US11348261B2 (en) Method for processing three-dimensional point cloud data
JPH06243236A (ja) 視覚認識装置の座標系校正パラメータ設定装置
CN109508141B (zh) 用于点云数据贴合的冗余点检测方法

Legal Events

Date Code Title Description
0001 Granted