ITTO20010904A1

ITTO20010904A1 - THREE-DIMENSIONAL VISION SYSTEM.

Info

Publication number: ITTO20010904A1
Application number: IT2001TO000904A
Authority: IT
Inventors: Piero Perlo; Luca Liotti; Pier Mario Repetto; Marie Marguerite Dugand; Elena Borello; Elena Balocco
Original assignee: Fiat Ricerche
Priority date: 2001-09-21
Filing date: 2001-09-21
Publication date: 2003-03-21
Also published as: ITTO20010904A0

Description

DESCRIZIONE dell'invenzione industriale dal titolo: "Sistema di visione tridimensionale" DESCRIPTION of the industrial invention entitled: "Three-dimensional vision system"

TESTO DELLA DESCRIZIONE TEXT OF THE DESCRIPTION

La presente invenzione si riferisce al campo dei sistemi di visione tridimensionale, del tipo comprendente : The present invention relates to the field of three-dimensional vision systems, of the type comprising:

un modulo di trasmissione, includente una sorgente di luce, a transmission module, including a light source,

- un modulo di ricezione, comprendente almeno un elemento fotosensibile nella stessa finestra spettrale del modulo dì trasmissione, per rilevare la radiazione riflessa da un ostacolo che riceve la radiazione emessa dal modulo di trasmissione, e - a receiving module, comprising at least one photosensitive element in the same spectral window as the transmitting module, for detecting the radiation reflected by an obstacle that receives the radiation emitted by the transmitting module, and

- mezzi elettronici di controllo ed elaborazione associati al modulo di ricezione. - electronic control and processing means associated with the receiving module.

Lo scopo della presente invenzione è quello di realizzare un sistema di visione tridimensionale del tipo sopra specificato che sia in grado di ricostruire una scena compresa in un campo di vista FOV ed in una profondità di campo limitata fra un valore dmin e un valore dmax. The object of the present invention is to provide a three-dimensional vision system of the type specified above which is capable of reconstructing a scene comprised in a FOV field of view and in a depth of field limited between a dmin value and a dmax value.

In vista di raggiungere tale scopo, il sistema secondo l'invenzione è caratterizzato dal fatto che il modulo di trasmissione è costituito da una sorgente impulsata, che, per ciascun rilievo tridimensionale, emette N=mxn impulsi di durata At, con frequenza di ripetizione pari a f=dc/At (de essendo il duty cycle del segnale della sorgente); e dal fatto che i suddetti mezzi elettronici di controllo ed elaborazione comprendono mezzi di sincronizzazione di elaborazione in grado di eseguire: In order to achieve this purpose, the system according to the invention is characterized by the fact that the transmission module is constituted by a pulsed source, which, for each three-dimensional survey, emits N = mxn pulses of duration At, with a repetition frequency equal to a f = dc / At (de being the duty cycle of the source signal); and by the fact that the aforesaid electronic control and processing means comprise processing synchronization means capable of performing:

a) l'integrazione del treno di impulsi di echo in n (con n >3) sequenze di finestra di integrazione, ogni sequenza, composta da m finestre con frequenza di ripetizione f, essendo sfasata temporalmente rispetto alla precedente di un tempo uguale a At; e lo sfasamento tra la prima finestra della prima sequenza e il profilo della salita del primo impulso trasmesso essendo pari a σ; a) the integration of the train of echo pulses in n (with n> 3) integration window sequences, each sequence, composed of m windows with repetition frequency f, being temporally out of phase with respect to the previous one by a time equal to At ; and the phase shift between the first window of the first sequence and the rise profile of the first transmitted pulse being equal to σ;

b) il calcolo della distanza effettuata pesando i livelli dei segnali integrati per le diverse sequenze, e sulla base dell'estrapolazione del tempo di volo dell'impulso (pari alla distanza temporale tra istante di emissione e profilo di salita dell'impulso echo); il livello di segnale integrato in ogni sequenza dipendendo dalla percentuale di impulso che viene integrato nella sequenza, tale valore dipendendo dall'istante di arrivo dell' impulso. b) the calculation of the distance carried out by weighing the levels of the integrated signals for the different sequences, and on the basis of the extrapolation of the pulse flight time (equal to the temporal distance between the moment of emission and the rise profile of the echo pulse); the signal level integrated in each sequence depending on the percentage of pulse that is integrated in the sequence, this value depending on the instant of arrival of the pulse.

Nella forma preferita di attuazione dell'invenzione, il sistema di visione tridimensionale è predisposto per avere una durata At dell'impulso pari a In the preferred embodiment of the invention, the three-dimensional vision system is designed to have a pulse duration At equal to

ove c è la velocità della luce e n è il numero delle sequenze. where c is the speed of light and n is the number of sequences.

Il suddetto modulo di trasmissione può essere basato su un laser o su un array di laser su un LED od un array di LED o altre sorgente di luce, preferibilmente con emissione nell'IR (0.78 μm - 1.1 μm) oppure può emettere radiazione nell'infrarosso. The aforementioned transmission module can be based on a laser or a laser array on an LED or an array of LEDs or other light sources, preferably with emission in the IR (0.78 μm - 1.1 μm) or it can emit radiation in the infrared.

Il modulo dì ricezione è preferibilmente una matrice di sensori CCD o una matrice di sensori CMOS. The receiving module is preferably a CCD sensor array or a CMOS sensor array.

Il modulo di trasmissione può essere scansionato meccanicamente o elettronicamente. The transmission module can be scanned mechanically or electronically.

Alternativamente, il modulo di ricezione è costituito da un singolo sensore scansionato meccanicamente o elettro-otticamente. Alternatively, the receiving module consists of a single mechanically or electro-optically scanned sensor.

Ulteriori caratteristiche e vantaggi dell'invenzione risulteranno dalla descrizione che segue con riferimento ai disegni annessi, forniti a puro titolo di esempio non limitativo, in cui: Further characteristics and advantages of the invention will emerge from the following description with reference to the attached drawings, provided purely by way of non-limiting example, in which:

- la Figura 1 è uno schema a blocchi del sistema di visione tridimensionale secondo l'invenzione, e le Figure 2, 3, 4 sono diagrammi che illustrano i principi di base del sistema di visione secondo l'invenzione. Figure 1 is a block diagram of the three-dimensional vision system according to the invention, and Figures 2, 3, 4 are diagrams illustrating the basic principles of the vision system according to the invention.

Con riferimento alla figura 1, il numero 1 indica nel suo insieme il modulo di trasmissione del sistema secondo l'invenzione, mentre il numero di riferimento 2 indica il modulo di ricezione, che riceve il segnale riflesso da un ostacolo facente parte della scena che viene colpita dalla radiazione emessa dal modulo di trasmissione 1. Al modulo di trasmissione 1 e ricezione 2 sono associati mezzi di sincronizzazione di elaborazione elettronica 3. With reference to Figure 1, the number 1 indicates as a whole the transmission module of the system according to the invention, while the reference number 2 indicates the reception module, which receives the signal reflected from an obstacle forming part of the scene being struck by the radiation emitted by the transmission module 1. Electronic processing synchronization means 3 are associated with the transmission 1 and reception module 2.

Nel seguito viene descritto brevemente il principio teorico che è alla base del sistema secondo l'invenzione. The theoretical principle underlying the system according to the invention is briefly described below.

Supponiamo di voler misurare la distanza di oggetti in un range D. Il tempo che un segnale luminoso impiega per percorrere 2D è Suppose we want to measure the distance to objects in a range D. The time a light signal takes to travel 2D is

ove c è la velocità della luce. where c is the speed of light.

Il tempo T0 è anche il tempo massimo che l'impulso luminoso impiega per essere rilevato, se è stato riflesso da oggetti con distanza non superiore a D. The time T0 is also the maximum time that the light pulse takes to be detected, if it has been reflected by objects with a distance not greater than D.

Nel sistema secondo l'invenzione, all'istante T0 uguale a 0 il modulo di trasmissione 1 emette un primo impulso luminoso di durata At. Si impone che At sia un sottomultiplo intero di T0, cioè soddisfi la relazione (k-l)At=T0 ove k è un numero reale. Tale situazione è illustrata nel diagramma della figura 2. In the system according to the invention, at the instant T0 equal to 0 the transmission module 1 emits a first light pulse of duration At. At is required to be an integer submultiple of T0, that is, it satisfies the relation (k-l) At = T0 where k is a real number. This situation is illustrated in the diagram in Figure 2.

L'impulso trasmesso colpisce un ostacolo, viene riflesso e una percentuale di esso (dipendente dalla distanza, dalla riflettività, ecc.) torna indietro e viene rivelato dal ricevitore 2. Nello stesso istante to=0 il ricevitore inizia a integrare segnali ricevuti in k finestre temporali consecutive di lunghezza At, nelle quali vengono accumulati un numero nj (j= 1, ..., k) di elettroni (vedere figura 3). The transmitted impulse hits an obstacle, is reflected and a percentage of it (depending on the distance, reflectivity, etc.) goes back and is detected by the receiver 2. At the same instant to = 0 the receiver starts integrating signals received in k consecutive time windows of length At, in which a number nj (j = 1, ..., k) of electrons are accumulated (see Figure 3).

In tal modo vengono integrati nelle k finestre (di ampiezza totale T0+At) tutti e soli gli impulsi riflessi da oggetti con distanza compresa fra 0 e D, che cadono rispettivamente nella prima e nell'ultima finestra. Impulsi riflessi da ostacoli a distanza maggiore di D non vengono rivelati. L'impulso di echo riflesso dall'oggetto cade all'interno di uno o due finestre di integrazione. In generale una prima frazione dell'impulso di echo lungo Ati cadranno nella i-esima finestra, e il resto di lunghezza At2 cadrà nella i+lesima finestra (At2+Ati=At). Se l'impulso di echo cade interamente in una sola finestra sarà allora At∑ = 0. In this way, all and only the pulses reflected by objects with a distance between 0 and D, which fall into the first and last window respectively, are integrated into the k windows (of total width T0 + At). Impulses reflected by obstacles at a distance greater than D are not detected. The echo pulse reflected by the object falls within one or two integration windows. In general a first fraction of the echo pulse along Ati will fall in the i-th window, and the remainder of length At2 will fall in the i + lesima window (At2 + Ati = At). If the echo pulse falls entirely in one window it will then be At∑ = 0.

L'intervallo temporale tra l'istante t0=0 e il profilo di salita dell'impulso echo è pari al tempo di volo (time of flight) dell'impulso, e permette di risalire alla distanza dell'oggetto. Il numero di elettroni integrati in ogni singola finestra dipende dal segnale di background e dall'intensità del segnale echo ricevuto, che a sua volta dipende dalla riflettività e dalla distanza dell'oggetto (vedere figura 4). The time interval between the instant t0 = 0 and the rise profile of the echo pulse is equal to the time of flight of the pulse, and allows to trace the distance of the object. The number of integrated electrons in each single window depends on the background signal and the intensity of the received echo signal, which in turn depends on the reflectivity and distance of the object (see figure 4).

Se per ogni singola finestra l'integrazione, N è il numero di elettroni di background e NeCho è il numero totale di elettroni del segnale ricevuto, allora il numero ni degli elettroni integrati nella i-esima finestra è pari a: If for each single window the integration, N is the number of background electrons and NeCho is the total number of electrons of the received signal, then the number ni of the integrated electrons in the i-th window is equal to:

^ ^ ^ ^

Risolvendo queste equazióni si ottiene che Solving these equations we obtain that

La distanza d dell'oggetto è The distance d of the object is

La formula per la misura della distanza contiene il rapporto fra il numero di elettroni integrati nelle finestre interessate: il risultato è quindi già indipendente dalla riflettività dell'oggetto, e dipende solo dalla sua distanza dal ricevitore. L'errore sulle singole quantità nj dipende da vari fattori: shot noise, dark noise, reset noise, ecc. Nel caso dell'invenzione, si tiene conto solo dello shot noise del segnale, che in condizioni di luminosità normale è il contributo dominante. L'errore su ogni quantità nj sarà The formula for the distance measurement contains the ratio between the number of electrons integrated in the windows involved: the result is therefore already independent of the reflectivity of the object, and depends only on its distance from the receiver. The error on the individual quantities nj depends on various factors: shot noise, dark noise, reset noise, etc. In the case of the invention, only the shot noise of the signal is taken into account, which in conditions of normal brightness is the dominant contribution. The error on any quantity nj will be

Propagando gaussianamente l'errore sulla formula per Ati si ottiene l'errore ad sulla misura della distanza By gaussian propagation of the error on the formula for Ati, the error ad on the distance measurement is obtained

a to

tenendo conto che ni+i+ni-2N è il numero di elettroni integrati generati dal solo segnale trasmesso, si trova che taking into account that ni + i + ni-2N is the number of integrated electrons generated by the transmitted signal alone, we find that

Supponiamo che il duty cycle del segnale trasmesso sia pari a de. Ogni singolo impulso viene inviato con una frequenza di ripetizione pari a Suppose that the duty cycle of the transmitted signal is equal to de. Each single pulse is sent with a repetition rate equal to

Se il tempo di integrazione totale del rivelatore è Tint allora la frequenza di refresh per ogni singola finestra è If the total integration time of the detector is Tint then the refresh rate for each single window is

La frequenza di refresh totale si ottiene quindi dividendo per il numero totale di finestre di integrazione The total refresh rate is then obtained by dividing by the total number of integration windows

L'acquisizione delle varie quantità nk avviene integrando serialmente il segnale nelle singole finestre per un numero elevato di volte. Il simbolo di approssimazione dipende dal fatto che sono stati trascurati alcuni fattori di ritardo, come ad esempio i tempi di lettura. The acquisition of the various quantities nk takes place by serially integrating the signal in the single windows for a large number of times. The approximation symbol depends on the fact that some delay factors, such as reading times, have been neglected.

Naturalmente, fermo restando il principio del trovato, i particolari di costruzione e le forme di attuazione potranno ampiamente variare rispetto a quanto descritto ed illustrato a puro titolo di esempio, senza per questo uscire dall'ambito della presente invenzione. Naturally, the principle of the invention remaining the same, the details of construction and the embodiments may vary widely with respect to those described and illustrated purely by way of example, without thereby departing from the scope of the present invention.

Claims

CLAIMS 1. Three-dimensional vision system, comprising: a transmission module, including a radiation source, - a receiving module, comprising at least one photosensitive element in the same spectral window as the transmitting module, for detecting the radiation reflected by an obstacle that receives the radiation emitted by the transmitting module, and - electronic means of control and processing associated with the receiving module, characterized by the fact that the transmission module is constituted by a pulsed source, which, for each three-dimensional survey, emits N = mxn pulses of duration At, with a repetition frequency equal to f = dc / At (de being the duty cycle of the source); and by the fact that the aforesaid electronic control and processing means comprise processing synchronization means capable of performing: a) the integration of the train of echo pulses in n (with n> 3) integration window sequences, each sequence, composed of m windows with repetition frequency f, being out of phase, a temporally with respect to the previous one by an equal time to At; and the phase shift between the first window of the first sequence and the rise profile of the first transmitted pulse being equal to σ; b) the calculation of the distance carried out by weighing the levels of the integrated signals for the different sequences, and on the basis of the extrapolation of the pulse flight time (equal to the temporal distance between the emission instant and the rise profile of the echo pulse); the signal level integrated in each sequence depending on the percentage of the pulse that is integrated in the sequence, this value depending on the instant of arrival of the pulse.

2. Three-dimensional vision system according to claim 1 in which the phase shift σ between the first window of the first sequence and the rise profile of the first transmitted pulse is equal to the flight time of a pulse reflected by an object at the minimum distance.

3. Three-dimensional vision system according to claim 1 in which the duration of the pulse At is equal to

with c speed of light and n number of sequences.

4. Three-dimensional vision system according to claim 1 in which the transmitter is based on a laser or a laser array.

5. Three-dimensional vision system according to claim 1 in which the transmitter emits radiation in the near infrared (0.7 ÷ 1.1 μπι).

6. Three-dimensional vision system according to claim 1 in which the receiver is a matrix of CCD sensors.

7. Three-dimensional vision system according to claim 1 in which the receiver is a CMOS sensor matrix.

8. Three-dimensional vision system according to claim 1 in which the transmitter is mechanically or electronically scanned.

9. Three-dimensional vision system according to claim 1 in which the receiver is a single sensor and is mechanically or electro-optically scanned.

10. Three-dimensional vision system according to claim 1 in which zmax = 15rn and Ζπώη = 0, n = 3, m = 1500, dc = 0, 1%, At = 50ns.

11. Three-dimensional vision system according to claim 1 in which zmax = 30m and Zmin = 0, n = 3, m = 1500, dc = 0, 1%, At = 100ns.

12. Three-dimensional vision system according to claim 1 in which zmax = 30iti and zmin = 0, n = 5, m = 900f dc = 0.1%, At = 50ns.

13. Three-dimensional vision system according to claim 1 in which the integration windows are made with an electro-optical modulator.

14. Three-dimensional vision system according to claim 1 in which the integration windows are made with an electromechanical modulator.