ITRM20090367A1

ITRM20090367A1 - SENSOR FOR THREE-DIMENSIONAL ENVIRONMENTAL RECONSTRUCTION AT HIGH PRECISION.

Info

Publication number: ITRM20090367A1
Application number: IT000367A
Authority: IT
Inventors: Ruvo Pasquale De; Arcangelo Distante; Francescomaria Marino; Massimiliano Nitti; Ettore Stella
Original assignee: Consiglio Nazionale Ricerche
Priority date: 2009-07-15
Filing date: 2009-07-15
Publication date: 2011-01-16

Description

SENSORE PER LA RICOSTRUZIONE AMBIENTALE TRIDIMENSIONALE SENSOR FOR THREE-DIMENSIONAL ENVIRONMENTAL RECONSTRUCTION

AD ALTA PRECISIONE HIGH PRECISION

DESCRIZIONE DESCRIPTION

La presente descrizione si riferisce ad un sistema per la ricostruzione tridimensionale di un ambiente. The present description refers to a system for the three-dimensional reconstruction of an environment.

La ricostruzione tridimensionale di un ambiente richiede tipicamente l'esecuzione di due distinte operazioni: l'allargamento del campo visivo e quindi la vera e propria ricostruzione dei dati tridimensionali. The three-dimensional reconstruction of an environment typically requires the execution of two distinct operations: the enlargement of the visual field and therefore the actual reconstruction of the three-dimensional data.

Allargamento del campo visivo. Come è noto, differenti metodi sono già stati provati per ottenere un ampio campo visivo azimutale (fino a 360 gradi), e sono classificati relativamente alla tecnologia applicata. Per l'aumento del campo visivo vengono normalmente utilizzati degli obiettivi speciali (fish eye) da applicare ai dispositivi di ripresa. Alternativamente, vengono utilizzati sistemi di acquisizione di immagine multipla per mezzo di camere o strutture dotate di più camere con campi di visibilità complementari. Ancora, una terza possibilità è quella offerta dai sistemi cosiddetti "Catadioptrics", cioè combinazioni di dispositivi di acquisizione di immagini e di specchi. Widening of the visual field. As is known, different methods have already been tried to obtain a wide azimuthal field of view (up to 360 degrees), and are classified according to the applied technology. To increase the field of view, special lenses (fish eye) are normally used to be applied to the shooting devices. Alternatively, multiple image acquisition systems are used by means of cameras or structures equipped with multiple cameras with complementary fields of vision. Again, a third possibility is that offered by the so-called "Catadioptrics" systems, ie combinations of image acquisition devices and mirrors.

Gli obiettivi fish eye sono sistemi di formazione dell’immagine con una lunghezza focale molto breve che dà un campo visivo emisferico. Le immagini acquisite godono buona risoluzione sul centro ma scadente sulla regione marginale. Nella visione umana, una zona centrale della retina, denominato "fovea centralis", fornisce una visione di alta qualità, mentre la regione periferica fornisce immagini meno dettagliate. Di conseguenza la visione acquistata da un obiettivo fish eye è in qualche modo simile alla visione umana dal punto di vista di distribuzione di risoluzione. Tuttavia, gli obiettivi fish eye introducono la distorsione radiale che è difficile da rimuovere. Un altro svantaggio importante degli obiettivi fish eye è la mancanza di singolo punto di vista essendo essi questi piuttosto distribuiti in una regione detta "diacaustica". Di conseguenza, sebbene le camere con obiettivo grandangolare possono fornire immagini adatte ad un certo numero di applicazioni, la modellistica di dette immagini è un processo che subisce complicazioni a causa delle imperfezioni tipiche quali la distorsione radiale, la risoluzione non uniforme e la mancanza di punto di vista unico. Fish eye lenses are imaging systems with a very short focal length that gives a hemispherical field of view. The acquired images enjoy good resolution in the center but poor in the marginal region. In human vision, a central area of the retina, called "fovea centralis", provides high quality vision, while the peripheral region provides less detailed images. Consequently, the vision acquired by a fish eye lens is somewhat similar to human vision from the point of view of resolution distribution. However, fish eye lenses introduce radial distortion which is difficult to remove. Another important disadvantage of fish eye lenses is the lack of a single point of view as they are rather distributed in a region called "diacaustic". Consequently, although wide-angle lens cameras can provide images suitable for a number of applications, modeling such images is a complicated process due to typical imperfections such as radial distortion, non-uniform resolution and lack of dot. of unique sight.

I sistemi di acquisizione di immagine multipla consentono di ottenere viste panoramiche ad alta risoluzione attraverso un mosaico costituito dalle immagini multiple fornite da una camera mobile (rotante). Alternativametne, camere fisse, con i campi di visibilità complementari superano alcuni problemi delle strutture basate su camere mobili, ma l'apparato diventa più difficile da calibrare poiché coinvolge più camere. Perciò l'uso di camere mobili o configurazioni di più camere che osservano la scena offre immagini di qualità molto buona ed ad alta risoluzione. Tuttavia, a questi vantaggi si contrappone un insieme di svantaggi. Nel caso di camera mobile, la parte della scena dietro il piano immagine è nascosta, e di conseguenza, questo tipo di camere non può essere utilizzato nelle applicazioni in tempo reale, mentre la vista omnidirezionale ottenuta da parecchie immagini parziali è difficile da installare, costosa e può contenere delle discontinuità. Come detto, un altro modo di ottenere immagini omnidirezionali è di usare una camera che è puntata su uno specchio progettato ad hoc. La combinazione di specchi (catoptrics) e di obiettivi (dioptrics) è conosciuta come catadioptrics. Il grande interesse generato dai catadioptrics è dovuto ai loro vantaggi rispetto ad altri sistemi omnidirezionali, particolarmente prezzo e compattezza. The multiple image acquisition systems allow to obtain high resolution panoramic views through a mosaic consisting of the multiple images provided by a mobile (rotating) camera. Alternatively, fixed cameras with complementary fields of vision overcome some problems of structures based on mobile cameras, but the apparatus becomes more difficult to calibrate as it involves multiple cameras. Therefore the use of moving cameras or multi-camera configurations that observe the scene provides very good quality and high resolution images. However, these advantages are offset by a number of disadvantages. In the case of a mobile camera, the part of the scene behind the image plane is hidden, and consequently, this type of camera cannot be used in real-time applications, while the omnidirectional view obtained from several partial images is difficult to install, expensive. and may contain discontinuities. As mentioned, another way of obtaining omnidirectional images is to use a camera that is pointed at a specially designed mirror. The combination of mirrors (catoptrics) and lenses (dioptrics) is known as catadioptrics. The great interest generated by catadioptrics is due to their advantages over other omnidirectional systems, particularly price and compactness.

Questa tecnica è ad esempio descritta in: This technique is for example described in:

Nayar S.K. Catadioptric Ominidirectional Camera, IEEE Intern. Conf. on Computer Vision and Pattern Recognition, pp.482-488 (1997); e Nayar S.K. Catadioptric Ominidirectional Camera, IEEE Intern. Conf. On Computer Vision and Pattern Recognition, pp. 482-488 (1997); And

Baker S., Nayar S.K, A Theory of Single Viewpoint Catadrioptic Image Formation, Int. Journal of Computer Vision 35(2), pp. 175-196, Kluwer Academic Publishers, (1999). Baker S., Nayar S.K, A Theory of Single Viewpoint Catadrioptic Image Formation, Int. Journal of Computer Vision 35 (2), pp. 175-196, Kluwer Academic Publishers, (1999).

Nel tempo questa tecnica ha subito diverse evoluzioni, specie in relazione alla forma degli specchi utilizzati, infatti, lo specchio deve rispettare le caratteristiche di essere “Single View Point” (SVP), nel senso che tutti i raggi luminosi provenienti dai punti della scena, devono convergere in un punto caratteristico dello specchio (fuoco). Solo gli specchi parabolici convessi e quelli iperbolici sono, tra gli SVP, quelli idonei per realizzare un sistema visivo omnidirezionale. I parabolici hanno la caratteristica di riflettere i raggi luminosi in modo parallelo al proprio asse, mentre gli iperbolici li concentrano nel secondo fuoco (esterno). Per cui, le telecamere prospettiche utilizzate per acquisire immagini riflesse da tali specchi devono, nel caso parabolico, essere dotate di obiettivi telecentrici (senza vincoli di posizione rispetto allo specchio), mentre nel caso degli iperbolici, usare obiettivi tradizionali (rispettando il vincolo di avere il proprio fuoco coincidente con il fuoco esterno dello specchio). Poiché sistemi omnidirezionali parabolici pongono meno problemi di calibrazione rispetto agli iperbolici, risultano quelli più utilizzati. Sistemi commerciali sono quelli prodotti dalla Remote Reality (www.remotereality.com). Over time this technique has undergone several evolutions, especially in relation to the shape of the mirrors used, in fact, the mirror must respect the characteristics of being "Single View Point" (SVP), in the sense that all the light rays coming from the points of the scene, they must converge in a characteristic point of the mirror (focus). Only the convex and hyperbolic parabolic mirrors are, among the SVP, those suitable for creating an omnidirectional visual system. Parabolics have the characteristic of reflecting light rays parallel to their axis, while hyperbolics concentrate them in the second (external) focus. Therefore, the perspective cameras used to acquire images reflected by such mirrors must, in the parabolic case, be equipped with telecentric lenses (without position constraints with respect to the mirror), while in the case of hyperbolic ones, use traditional lenses (respecting the constraint of having one's focus coinciding with the external focus of the mirror). Since parabolic omnidirectional systems pose fewer calibration problems than hyperbolics, they are the most commonly used. Commercial systems are those produced by Remote Reality (www.remotereality.com).

I sistemi omnidirezionali hanno il principale vantaggio nel permettere una visione a 360° della scena, ma proprio per questo, poiché il loro campo di vista è più esteso di una telecamera tradizionale, essi presentano una risoluzione finale più bassa. Questo ne ha limitato l'utilizzo in dispostivi prettamente scenici di qualità non accurata (come telecamere per la videoconferenza in cui tutti i partecipanti nello stesso ambiente vengono contemporaneamente ripresi). Ad esempio, sono state sviluppate alcune applicazioni nell'ambito della video sorveglianza, ma solo per rilevare le aree interessate da intrusioni, poi analizzate da telecamere tradizionali che permettono una risoluzione più alta. Inoltre, il limite principale dei sistemi esistenti è legato all'utilizzo di telecamere standard a bassa risoluzione (640x480 pixels), perché al momento in cui tali sistemi sono stati sviluppati, pur esistendo telecamere a più alta risoluzione (2048x2048), esse non erano utilizzabili per via delle prestazioni operative molto basse e del costo sconveniente. Omnidirectional systems have the main advantage in allowing a 360 ° view of the scene, but precisely for this reason, since their field of view is wider than a traditional camera, they have a lower final resolution. This has limited its use in purely scenic devices of inaccurate quality (such as video conferencing cameras in which all participants in the same environment are simultaneously filmed). For example, some applications have been developed in the field of video surveillance, but only to detect the areas affected by intrusions, then analyzed by traditional cameras that allow a higher resolution. Furthermore, the main limitation of existing systems is linked to the use of standard low resolution cameras (640x480 pixels), because at the time these systems were developed, even though there are higher resolution cameras (2048x2048), they were not usable. due to very low operational performance and inconvenient cost.

Esistono in letteratura dei sistemi omnidirezionali orientati alla stima della distanza. Tali sistemi o accoppiano due sistemi gemelli omnidirezionali oppure ridisegnano lo specchio in modo opportuno (ad es., due specchi sferici sovrapposti con raggi diversi (Fiala M., Basu A., Panoramic stereo reconstruction using non-svp optics, Int. Conf. on Pattern Recognition, Vol. 4, pp. 27-30, (2002) ), ma tali sistemi (che risultano essenzialmente essere solo degli esercizi teorici) sono caratterizzati da una precisione influenzata in maniera significativa dalla risoluzione delle telecamere. In the literature there are omnidirectional systems oriented to the estimation of the distance. These systems either couple two omnidirectional twin systems or redesign the mirror appropriately (e.g., two superimposed spherical mirrors with different radii (Fiala M., Basu A., Panoramic stereo reconstruction using non-svp optics, Int. Conf. On Pattern Recognition, Vol. 4, pp. 27-30, (2002)), but these systems (which are essentially only theoretical exercises) are characterized by a precision significantly influenced by the resolution of the cameras.

Ricostruzione dei dati tridimensionali. Lo stato dell'arte sui sistemi per la ricostruzione tridimensionale di ambienti evidenzia due metodologie: le tecniche attive e passive. Reconstruction of three-dimensional data. The state of the art on systems for the three-dimensional reconstruction of environments highlights two methodologies: active and passive techniques.

La ricostruzione tridimensionale passiva è ottenuta solitamente tramite sistemi stereo di formazione delle immagini che si dividono in "area based" e "feature based". The three-dimensional passive reconstruction is usually obtained through stereo imaging systems that are divided into "area based" and "feature based".

Le tecniche "area based" consistono nel considerare più finestra dell'immagine di mxm pixels, in genere estratte in corrispondenza di zone ad alta varianza di intensità (edge, texture, ecc.). Ognuno di tale finestra viene convoluta con un'altra immagine della stessa scena, acquisita da un punto di vista differente. Per ogni posizione di convoluzione viene determinata una misura di similarità (coeff. di correlazione, SSD, ecc.). Le posizioni con valore di similiratà più alto corrispondono a porzioni della stessa scena. La disparità ottenuta dalle posizioni delle due finestre correlate nelle due differenti stereo-immagini permette di stimare la distanza della porzione di scena in base a relazioni geometriche e al setup di acquisizione. Ovviamente la stima di distanza è una stima di distanza media della finestra che viene assegnata in modo eguale a tutti i pixel della finestra, per cui tali metodi producono una mappa di distanze densa (ogni pixel ha un valore di distanza) ma la risoluzione in distanza è bassa. Dal punto di vista delle prestazioni, tali tecniche sono realizzabili in hardware e permettono di raggiungere prestazioni realtime. The "area based" techniques consist in considering more window of the image of mxm pixels, generally extracted in correspondence of areas with high intensity variance (edge, texture, etc.). Each of this window is convoluted with another image of the same scene, acquired from a different point of view. A similarity measure is determined for each convolution position (correlation coefficient, SSD, etc.). Positions with the highest similarity value correspond to portions of the same scene. The disparity obtained from the positions of the two correlated windows in the two different stereo-images allows to estimate the distance of the portion of the scene on the basis of geometric relationships and the acquisition setup. Obviously the distance estimate is an estimate of the average distance of the window that is assigned equally to all the pixels of the window, so these methods produce a dense distance map (each pixel has a distance value) but the resolution in distance it is low. From the performance point of view, these techniques are feasible in hardware and allow realtime performance to be achieved.

Le tecniche "feature based" invece determinano la disparità, e quindi la distanza, solo in punti particolari dell'immagine (feature) che si possono caratterizzare in modo univoco. Tali caratteristiche sono infatti utilizzate per determinare i corrispondenti nell'altra immagine e quindi determinare la disparità. Tali tecniche producono una valutazione di distanza più puntuale, ma la mappa di distanze complessiva risulta essere sparsa, proprio perchè solo alcuni punti dell'immagine sono utilizzati nella stima. Dal punto di vista prestazionale, tali tecniche necessitano di importanti risorse di calcolo e non permettono, per la loro complessità metodologica, una implementazione ad hardware per cui non possono operare in realtime. The "feature based" techniques instead determine the disparity, and therefore the distance, only in particular points of the image (feature) that can be uniquely characterized. These characteristics are in fact used to determine the correspondents in the other image and thus determine the disparity. These techniques produce a more precise distance evaluation, but the overall distance map is sparse, precisely because only some points of the image are used in the estimation. From the performance point of view, these techniques require important computing resources and do not allow, due to their methodological complexity, a hardware implementation for which they cannot operate in real time.

Come si evince, la ricerca delle corrispondenze in immagini stereo è generalmente un difficile compito, sebbene facilitato da vincoli epipolari. Un significativo aiuto a questo problema è stato individuato nell'uso di luce strutturata, alla base delle tecniche di ricostruzione dette attive, in quanto prevedono l'emissione di una forma di energia sulla scena (laser). As can be seen, the search for matches in stereo images is generally a difficult task, although facilitated by epipolar constraints. A significant help to this problem has been identified in the use of structured light, at the base of the so-called active reconstruction techniques, as they involve the emission of a form of energy on the scene (laser).

Le tecniche attive sfruttano due tecnologie: il laser scanner e la profilometria laser. Un laser scanner è uno strumento che permette la stima della distanza attraverso la valutazione del tempo di volo o la differenza di fase tra un raggio laser emesso e la sua riflessione su una superficie. Tipicamente un raggio laser puntiforme viene emesso da un diodo laser, la sua riflessione sulla superficie della scena viene catturata da un fotodiodo. La differenza di fase o la stima del tempo di volo tra i due raggi permette di determinare la distanza del sensore dalla superficie irradiata. Il sensore così descritto permette solo una determinazione tridimensionale in un punto della scena. Per ottenere una ricostruzione più estesa, prima di irradiare la scena il raggio laser emesso viene fatto riflettere su uno specchio piano che è fatto ruotare da un motore. In questo modo è possibile ottenere un numero più ampio di misurazioni, tutte relative a punti disposti su un profilo circolare. La ricostruzione tridimensionale dell'ambiente è ottenuta muovendo il sensore perpendicolarmente alla direzione di misura ed ottenendo per ogni posizione un profilo circolare di distanze. Active techniques exploit two technologies: laser scanner and laser profilometry. A laser scanner is an instrument that allows the estimation of the distance through the evaluation of the time of flight or the phase difference between an emitted laser beam and its reflection on a surface. Typically a point laser beam is emitted by a laser diode, its reflection on the surface of the scene is captured by a photodiode. The phase difference or the estimate of the time of flight between the two beams allows to determine the distance of the sensor from the irradiated surface. The sensor thus described allows only a three-dimensional determination in one point of the scene. To obtain a more extensive reconstruction, before irradiating the scene, the laser beam emitted is made to reflect on a plane mirror which is rotated by a motor. In this way it is possible to obtain a larger number of measurements, all relating to points arranged on a circular profile. The three-dimensional reconstruction of the environment is obtained by moving the sensor perpendicular to the direction of measurement and obtaining a circular profile of distances for each position.

Le tecniche profilometriche accoppiano un profilo laser lineare con una telecamera, posizionate uno rispetto all'altra in modo calibrato. La telecamera acquisisce l'immagine della scena illuminata dalla linea laser ed è in grado di determinare l'altezza (e quindi la distanza di ciascun punto della scena illuminato dalla linea laser) in base a valutazioni trigonometriche. Punti della scena a diverse altezze deformano la vista prospettica della linea vista dalla telecamera. Per aumentare la risoluzione, in genere si proietta una linea laser avente un gradiente di intensità secondo un modello gaussiano, in modo che si possa attraverso un processo di interpolazione superare le limitazioni spaziali imposte dalla risoluzione della telecamera (precisione subpixel). Le limitazioni di tali tecniche sono legate al campo di vista limitato della telecamera, per cui risoluzioni alte, nella valutazione della distanza, sono possibili su campi di vista molto limitati. Una estensione a 360° di tali sistemi necessariamente prevede l'utilizzo di sistemi multipli (telecamera e laser) che comportano oltre a grossi problemi di calibrazione, costi abbastanza elevati. Inoltre il sistema profilometrico fornisce una misura di distanza per punti su una linea. Se si vuole ottenere una mappa di distanza di una superficie estesa è necessario muovere, in modo calibrato, o la scena sotto il setup di acquisizione o viceversa. Profilometric techniques couple a linear laser profile with a camera, positioned relative to each other in a calibrated way. The camera acquires the image of the scene illuminated by the laser line and is able to determine the height (and therefore the distance of each point of the scene illuminated by the laser line) based on trigonometric evaluations. Points in the scene at different heights deform the perspective view of the line as seen by the camera. To increase the resolution, a laser line is generally projected having an intensity gradient according to a Gaussian model, so that through an interpolation process it is possible to overcome the spatial limitations imposed by the resolution of the camera (subpixel precision). The limitations of these techniques are related to the limited field of view of the camera, so that high resolutions, in the evaluation of the distance, are possible on very limited fields of view. A 360 ° extension of these systems necessarily involves the use of multiple systems (camera and laser) which entail, in addition to big calibration problems, quite high costs. In addition, the profilometric system provides a distance measurement for points on a line. If you want to obtain a distance map of an extended surface it is necessary to move, in a calibrated way, or the scene under the acquisition setup or vice versa.

Da un punto di vista comparativo, mentre i laser scanner permettono la ricostruzione tridimensionale globale dell'ambiente ma sono fortemente limitati dalla velocità di rotazione dello specchio, i sistemi a profilometria laser sono, per le prestazioni, solo dipendenti dalla velocità di acquisizione della telecamera (che oggi può arrivare a migliaia di frame al secondo, e sono comunque legate inversamente alla risoluzione del singolo frame) ma sono limitati da un campo di vista ridotto. L'idea alla base del sistema proposto dal seguente brevetto è la possibilità di ottenere le prestazioni dei sistemi a profilometria laser ma su un campo di vista esteso, come i sistemi laser scanner. From a comparative point of view, while laser scanners allow the global three-dimensional reconstruction of the environment but are severely limited by the rotation speed of the mirror, laser profilometry systems are, for performance, only dependent on the acquisition speed of the camera ( which today can reach thousands of frames per second, and are in any case inversely linked to the resolution of the single frame) but are limited by a reduced field of view. The idea behind the system proposed by the following patent is the possibility of obtaining the performance of laser profilometry systems but over an extended field of view, such as laser scanner systems.

La presente invenzione può essere fatta rientrare tra le tecniche di ricostruzione attive basate su profilometria laser ed il suo scopo è quello di risolvere molti dei limiti di tali tecniche quando applicate alla ricostruzione 3D di ambienti complessi. Questo risultato viene raggiunto fornendo un sistema per la rilevazione di coordinate tridimensionali di un target in un ambiente come definito nella rivendicazione n.1. The present invention can be included among the active reconstruction techniques based on laser profilometry and its purpose is to solve many of the limitations of these techniques when applied to the 3D reconstruction of complex environments. This result is achieved by providing a system for the detection of three-dimensional coordinates of a target in an environment as defined in claim 1.

Un ulteriore oggetto della presente invenzione è un veicolo come definito nella rivendicazione n.12. A further object of the present invention is a vehicle as defined in claim 12.

Caratteristiche secondarie della presente invenzione sono invece definite nelle rispettive rivendicazioni dipendenti. Secondary characteristics of the present invention are instead defined in the respective dependent claims.

Il principale vantaggio della presente invenzione risiede nel fatto che accoppiando un sistema omnidirezionale formato da: uno specchio parabolico di dimensione ed equazione opportuna, una telecamera ad alta risoluzione ed una telecentrica comunque reperibili sul mercato, con un sistema di illuminatori laser come, a mero titolo esemplificativo, quello composto da tre illuminatori a linea rappresentato in fig. 2, calibrati in modo opportuno è possibile realizzare un sistema a profilometria laser con campo di vista fino a 360°, in grado di permettere stime di distanza ad elevata precisione. Il sensore così realizzato può essere installato su un mezzo mobile, in modo che permetta rilevazioni di distanza, lungo il profilo laser complessivo, nella direzione perpendicolare alla direzione di marcia. Come per i sistemi profilometrici, la rilevazione di una scena estesa può essere ottenuta muovendo il mezzo mobile. Il vantaggio principale di tale invenzione è che le prestazioni sono solo e soltanto legate al frame rate della telecamera. La tecnologia attuale è in grado di raggiungere prestazioni pari a 5000 fps con una telecamera con risoluzione spaziale di 4096x4096 pixels, permettendo così di raggiungere velocità di acquisizioni pari a 200 km/h con risoluzioni in distanza dell'ordine di [1mm – 1 cm] nei range [1m – 5m]. Tali precisioni sono raggiungibili anche perché, come per i sistemi profilometrici attuali, le linee laser possono avere un profilo di intensità gaussiano e quindi raggiungere precisioni a subpixel. Solo che a differenza dei sistemi tradizionali, il processo di interpolazione deve essere effettuato su una scena riflessa da uno specchio parabolico, per cui è stata sviluppata una tecnica ad hoc sia per la ricostruzione, che per la fase di calibratura. The main advantage of the present invention lies in the fact that by coupling an omnidirectional system consisting of: a parabolic mirror of suitable size and equation, a high resolution camera and a telecentric camera, however available on the market, with a system of laser illuminators such as, purely exemplary, the one consisting of three line illuminators shown in fig. 2, properly calibrated, it is possible to create a laser profilometry system with a field of view up to 360 °, capable of allowing high-precision distance estimates. The sensor thus created can be installed on a mobile means, so that it allows distance measurements, along the overall laser profile, in the direction perpendicular to the direction of travel. As for the profilometric systems, the detection of an extended scene can be obtained by moving the mobile vehicle. The main advantage of this invention is that the performances are only and only related to the frame rate of the camera. The current technology is able to reach performances equal to 5000 fps with a camera with a spatial resolution of 4096x4096 pixels, thus allowing to reach acquisition speeds equal to 200 km / h with distance resolutions of the order of [1mm - 1 cm] in the range [1m - 5m]. These accuracies are also achievable because, as for current profilometry systems, the laser lines can have a Gaussian intensity profile and therefore reach subpixel accuracies. Except that unlike traditional systems, the interpolation process must be carried out on a scene reflected by a parabolic mirror, for which an ad hoc technique has been developed both for the reconstruction and for the calibration phase.

L'idea di base di realizzare un sistema profilometrico omnidirezionale non è nuova. In (Orghidan R., Mouaddib E., Salvi J., A Computer Vision Sensor for Panoramic Depth Perception, Iberian Conf. on Pattern Recognition and Image Analysis, Springer-Verlag, (2005)) viene presentato un sistema simile a quello descritto dall'invenzione che accoppia un sistema visivo omnidirezionale commerciale (realizzato dal Remote Reality) consistente di uno specchio parabolico è una telecamera a bassa risoluzione (550x558 pixels) e un proiettore laser a 360° ottenuto proiettando un laser a profilo circolare su uno specchio conico. Le capacità dell'intero sistema sono legate alla bontà della calibrazione del sistema di proiezione con quello di ripresa. Il sistema di ripresa è chiuso e calibrato dalla fabbrica, per cui gli autori concentrano i loro sforzi nella calibrazione del sistema di proiezione. La procedura di calibrazione descritta è molto complessa ed è affetta da diverse approssimazioni che producono errore medio nella stima della distanza variabile tra [9 cm - 31 cm] a 5 mt, e la cui varianza, tra l'altro, non è documentata in letteratura, ciò a significare che gli errori medi vantati potrebbero anche derivare da errori ben più ampi, di segno opposto. Inoltre, il sistema è utilizzato per scopi differenti da quelli proposti dall'invenzione, in quanto ha come obiettivo quello di determinare la distanza di ostacoli durante il moto di un veicolo mobile, e per tale task, la valutazione della distanza media del veicolo da superfici piane può ritenersi accettabile anche a queste risoluzioni. Viceversa, l'obiettivo dell'invenzione è quello di ricostruire globalmente l'ambiente di movimento di un robot non solo per applicazioni quali quelle di path planning, quanto quelle di effettuare il controllo di qualità su superfici rilevando anomalie (crepe, fratture) ad una risoluzione molto più ambiziosa (1mm a distanze di 1m). The basic idea of creating an omnidirectional profilometric system is not new. In (Orghidan R., Mouaddib E., Salvi J., A Computer Vision Sensor for Panoramic Depth Perception, Iberian Conf. On Pattern Recognition and Image Analysis, Springer-Verlag, (2005)) a system similar to that described by he invention that couples a commercial omnidirectional visual system (made by Remote Reality) consisting of a parabolic mirror is a low resolution camera (550x558 pixels) and a 360 ° laser projector obtained by projecting a laser with a circular profile on a conical mirror. The capabilities of the entire system are linked to the goodness of the calibration of the projection system with the shooting system. The camera system is closed and factory calibrated, so the authors focus their efforts on calibrating the projection system. The calibration procedure described is very complex and is affected by various approximations that produce average error in the estimation of the variable distance between [9 cm - 31 cm] to 5 meters, and whose variance, among other things, is not documented in the literature. , this means that the claimed average errors could also derive from much larger errors of opposite sign. Furthermore, the system is used for purposes other than those proposed by the invention, as its objective is to determine the distance of obstacles during the motion of a mobile vehicle, and for this task, the evaluation of the average distance of the vehicle from surfaces. flat can be considered acceptable even at these resolutions. Conversely, the aim of the invention is to globally reconstruct the movement environment of a robot not only for applications such as path planning, but also for carrying out quality control on surfaces by detecting anomalies (cracks, fractures) in a much more ambitious resolution (1mm at 1m distances).

Un ulteriore problema nel sistema descritto da Orghidan et al. è derivante dalla tecnologia attuale di realizzazione degli specchi. Attualmente uno specchio è realizzato in acciaio mediante torni a controllo numerico, e successivamente lucidati. La capacità di precisione dei torni meccanici non permette di ottenere una rugosità superficiale comparabile con la lunghezza d'onda del laser proiettato, per cui il raggio laser proiettato su tale specchio subisce uno scattering tale che la l'intensità luminosa utile alla ricostruzione risulta non solo fortemente attenuata ma anche deformata. A further problem in the system described by Orghidan et al. it derives from the current technology of making mirrors. Currently a mirror is made of steel by means of numerically controlled lathes, and subsequently polished. The precision capacity of mechanical lathes does not allow to obtain a surface roughness comparable with the wavelength of the projected laser, so the laser beam projected on this mirror undergoes such a scattering that the light intensity useful for reconstruction is not only strongly attenuated but also deformed.

Di conseguenza, pur ipotizzando di proiettare un laser con un profilo di intensità gaussiana, il profilo riflesso da tale specchio che andrà ad incidere sulla scena avrà perso la caratteristica gaussiana, rendendo inattuabili artifici di interpolazione, utili a ottenere risoluzioni a livello del sub-pixel. Tale problema, è stato da noi riscontrato sperimentalmente dopo aver realizzato un prototipo basato sulla geometria descritta da Orghidan et al.. Anche in questo caso, la ns. invenzione supera tale problema grazie alla scelta di illuminare direttamente la scena, scelta che permette non solo un processo di calibrazione più semplice ma consente (mantenendo intatto il profilo di intensità gaussiana della sorgente laser) una precisione più elevata, in quanto rende attuabili tecniche di interpolazione sui livelli di intensità. Consequently, even assuming to project a laser with a Gaussian intensity profile, the profile reflected by this mirror that will affect the scene will have lost the Gaussian characteristic, making interpolation tricks impractical, useful for obtaining resolutions at the sub-pixel level. . This problem has been found by us experimentally after having realized a prototype based on the geometry described by Orghidan et al. Also in this case, the ns. This invention overcomes this problem thanks to the choice to illuminate the scene directly, a choice that not only allows a simpler calibration process but allows (keeping intact the Gaussian intensity profile of the laser source) higher precision, as it makes interpolation techniques feasible on intensity levels.

Ulteriori vantaggi, così come le caratteristiche e modalità di impiego della presente invenzione, risulteranno evidenti dalla seguente descrizione dettagliata di una sua forma di realizzazione preferita, presentata a scopo esemplificativo e non limitativo, facendo riferimento alle figure dei disegni allegati, in cui: Further advantages, as well as the characteristics and methods of use of the present invention, will become evident from the following detailed description of a preferred embodiment thereof, presented by way of non-limiting example, with reference to the figures of the attached drawings, in which:

le figure 1A, 1B, 1C e 1D sono viste di prospetti ed una prospettiva di un sistema secondo la presente invenzione; Figures 1A, 1B, 1C and 1D are elevation views and a perspective view of a system according to the present invention;

la figura 2 è una vista prospettica esemplificativa di un gruppo di emettitori laser secondo la presente invenzione; Figure 2 is an exemplary perspective view of a group of laser emitters according to the present invention;

la figura 3 è una proiezione ortografica su un piano immagine π; figure 3 is an orthographic projection on an image plane π;

la figura 4 è una vista in sezione dello specchio parabolico sul piano πτed in un sistema di coordinate cartesiane xOy ; Figure 4 is a sectional view of the parabolic mirror on the πτed plane in a Cartesian coordinate system xOy;

la figura 5 è una proiezione ortografica del sistema sul piano πτ; figure 5 is an orthographic projection of the system on the πτ plane;

le figura 6A e 6B rappresentano la sensibilità del sistema; Figures 6A and 6B represent the sensitivity of the system;

le figure da 7A a 7F mostrano l'errore del sistema per (Rm [mm], pT[mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), (80, 3000), (100, 3000), con a [1/mm] e [0.001, 0.1] e la baseline b [mm] in un range centrato sul 57.7% di pTcioè, [450, 700] (per le fig. 7A, 7C, 7E) e [1350, 2100] (per le fig. 7B, 7D, 7F); Figures 7A to 7F show the system error for (Rm [mm], pT [mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), ( 80, 3000), (100, 3000), with a [1 / mm] and [0.001, 0.1] and the baseline b [mm] in a range centered on 57.7% of pT that is, [450, 700] (for figs 7A, 7C, 7E) and [1350, 2100] (for figs. 7B, 7D, 7F);

le figure da 7G a 71 mostrano l'errore del sistema per (Rm [mm], pT[mm]) = (60, 5000), (80, 5000), (100, 5000), con a [1/mm] e [0.001, 0.1] e la baseline b [mm] in un range centrato sul 57.7% di pTcioè, [2250, 3500]; Figures 7G to 71 show the system error for (Rm [mm], pT [mm]) = (60, 5000), (80, 5000), (100, 5000), with a [1 / mm] e [0.001, 0.1] and baseline b [mm] in a range centered on 57.7% of pT that is, [2250, 3500];

le figure da 8A a 8F mostrano l'errore del sistema per (Rm [mm], pT[mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), (80, 3000), (100, 3000), con a [1/mm] e [0.001, 0.1] e la baseline b [mm] e [400, 1500] per ogni pT; Figures 8A to 8F show the system error for (Rm [mm], pT [mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), ( 80, 3000), (100, 3000), with a [1 / mm] and [0.001, 0.1] and the baseline b [mm] and [400, 1500] for each pT;

le figure da 8G a 81 mostrano l'errore del sistema per (Rm [mm], pT[mm]) = (60, 5000), (80, 5000), (100, 5000), con a [1/mm] e [0.001, 0.1] e la baseline b [mm] e [400, 1500] per ogni pT; Figures 8G to 81 show the system error for (Rm [mm], pT [mm]) = (60, 5000), (80, 5000), (100, 5000), with a [1 / mm] e [0.001, 0.1] and the baseline b [mm] e [400, 1500] for each pT;

le figure da 9A a 9F mostrano l'errore del sistema per (Rm [mm], pT[mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), (80, 3000), (100, 3000), con a [1/mm] e Figures 9A to 9F show the system error for (Rm [mm], pT [mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), ( 80, 3000), (100, 3000), with a [1 / mm] and

[0.001, 0.1] e la baseline b [mm] e [400, 1500] per ogni pT; [0.001, 0.1] and the baseline b [mm] and [400, 1500] for each pT;

le figure da 9G a 91 mostrano l'errore del sistema per (Rm [mm], pT[mm]) = (60, 5000), (80, 5000), (100, 5000), con a [1/mm] e [0.001, 0.1] e la baseline b [mm] e [400, 1500] per ogni pT; Figures 9G to 91 show the system error for (Rm [mm], pT [mm]) = (60, 5000), (80, 5000), (100, 5000), with a [1 / mm] e [0.001, 0.1] and the baseline b [mm] e [400, 1500] for each pT;

le figure 10A, 10B e 10C mostrano apparecchiature meccanico goniometriche di precisione per la regolazione del sistema; Figures 10A, 10B and 10C show precision mechanical goniometric apparatuses for regulating the system;

le figure da 11 a 15 sono viste dell'interfaccia software di ausilio alla calibrazione del sistema. Figures 11 to 15 are views of the software interface to aid in the calibration of the system.

La presente invenzione sarà nel seguito descritta facendo riferimento alle figure suindicate. The present invention will be described below with reference to the figures indicated above.

Con il termine target, nell'ambito della presente descrizione si vuole intendere un qualsiasi punto di un ambiente di cui si vuol ricostruire una mappatura tridimensionale. Facendo innanzitutto riferimento alle figure 1 A, 1B, 1C e 2, queste mostrano un sistema S secondo la presente invenzione. The term target, in the context of the present description, is intended to mean any point of an environment of which a three-dimensional mapping is to be reconstructed. Referring first of all to Figures 1A, 1B, 1C and 2, these show a system S according to the present invention.

Il sistema secondo la presente invenzione comprende, secondo una forma di realizzazione preferita: The system according to the present invention comprises, according to a preferred embodiment:

• uno o più emettitori laser L; • one or more laser emitters L;

• uno specchio parabolico M di raggio Rm; • a parabolic mirror M with radius Rm;

• un gruppo ottico OG comprendente un obiettivo telecentrico TO avente preferibilmente lo stesso raggio Rm dello specchio M, ed An optical group OG comprising a telecentric lens TO preferably having the same radius Rm as the mirror M, and

• un dispositivo di acquisizione digitale di immagini C, preferibilmente camera digitale avente una matrice CMOS di Np x Np pixel. • a digital image acquisition device C, preferably digital camera having a CMOS matrix of Np x Np pixels.

Secondo la forma di realizzazione preferita, il sistema secondo la presente invenzione comprende uno o più emettitori laser L. In particolare, il sistema S comprende più dispositivi tra loro identici, preferibilmente ad emissione lineare, posizionati reciprocamente per coprire il campo visivo designato. According to the preferred embodiment, the system according to the present invention comprises one or more laser emitters L. In particular, the system S comprises several devices identical to each other, preferably with linear emission, mutually positioned to cover the designated visual field.

Nella figura 2, a titolo esemplificativo, un campo visivo di 270° è ottenuto da tre emettitori ciascuno dei quali ha un'apertura di 90°. In figure 2, by way of example, a field of view of 270 ° is obtained by three emitters each of which has an opening of 90 °.

Lo scopo del sistema è di rilevare le coordinate di un target generico T (zτ, Ρτ, ΘT) in un sistema coordinato 3-D (z, p, Θ}, costruito con l'origine O e l'asse z coincidenti rispettivamente con il vertice V e l'asse dello specchio parabolico M, in cui p e Θ sono le coordinate polari 2-D classiche su un normale piano proiettivo ortografico a z. The purpose of the system is to detect the coordinates of a generic target T (zτ, Ρτ, ΘT) in a 3-D coordinate system (z, p, Θ}, constructed with the origin O and the z axis coinciding respectively with the vertex V and the axis of the parabolic mirror M, in which p and Θ are the classical 2-D polar coordinates on a normal projective plane orthographic to z.

Il funzionamento prevede che gli emettitori laser L illuminino il target T da ricostruire con un fascio laser F, quindi, il fascio F viene riflesso dal target in un fascio FR che, a sua volta, viene riflesso dallo specchio M in un fascio luminoso FL. Questo fascio luminoso FL viene acquisito dal dispositivo di acquisizione di immagini C. The operation foresees that the laser emitters L illuminate the target T to be reconstructed with a laser beam F, therefore, the beam F is reflected from the target in a beam FR which, in turn, is reflected by the mirror M in a light beam FL. This FL light beam is acquired by the imaging device C.

II sistema comprende mezzi di elaborazione di queste immagini, elaborazione basata sulla conoscenza della geometria del sistema, permette l'esatta ricostruzione delle coordinate tridimensionali di T. The system includes means of processing these images, processing based on the knowledge of the geometry of the system, allowing the exact reconstruction of the three-dimensional coordinates of T.

Tali mezzi di elaborazione possono essere implementati via software oppure, preferibilmente, via hardware, secondo tecnologie note ed alla portata di un esperto del settore. Per tale motivo, non si ritiene necessario entrare nel merito di una loro descrizione. La selezione delle tecnologia dipenderà da scelte progettuali legate al contesto della specifica applicazione da implementare. Such processing means can be implemented via software or, preferably, via hardware, according to known technologies and within the reach of an expert in the field. For this reason, it is not considered necessary to enter into the merits of their description. The selection of technology will depend on design choices related to the context of the specific application to be implemented.

Nel seguito, con riferimento alle figure 3, 4 e 5, sarà illustrata la geometria del sistema 1 e quindi i principali e basilari concetti alla base dell'elaborazione delle immagini acquisite. Lo scopo prefissato può essere raggiunto attraverso l'analisi di una proiezione ortografica 2-D R' (su un piano di immagine π) di un punto R che è l'immagine (sulla superficie dello specchio parabolico) della luce laser che lo specchio riflette su T (si veda figura 3). In the following, with reference to Figures 3, 4 and 5, the geometry of the system 1 and therefore the main and basic concepts underlying the processing of the acquired images will be illustrated. The intended purpose can be achieved through the analysis of a 2-D R 'orthographic projection (on an image plane π) of a point R which is the image (on the surface of the parabolic mirror) of the laser light that the mirror reflects on T (see figure 3).

Da esso, ΘTè direttamente ricavabile (essendo coincidente con ΘR· , la coordinata Θ di R), mentre pR(d'ora in poi, /) sarà usata per rilevare la zTe pT, come descritto nel seguito. From it, ΘT is directly obtainable (being coincident with ΘR ·, the coordinate Θ of R), while pR (from now on, /) will be used to detect the zTe pT, as described below.

Per meglio chiarire le relazioni geometriche sfruttate dal sensore, si consideri anche il piano πτ, normale al piano immagine π e ruotato di un angolo θτrispetto ad un piano orizzontale. Di conseguenza πτ, comprenderà il target T, l'asse dello specchio parabolico (e quindi, il relativo fuoco F e vertice V), così come la sorgente laser L. To better clarify the geometric relationships exploited by the sensor, consider also the πτ plane, normal to the image plane π and rotated by an angle θτ with respect to a horizontal plane. Consequently, πτ, will include the target T, the axis of the parabolic mirror (and therefore, its focus F and vertex V), as well as the laser source L.

Nel piano πτ, il sistema di coordinato 3-D principale (z, p, Θ} è semplificato in un sistema 2-D cartesiano xOy avente gli assi x e y che coincidono rispettivamente con p e z. In the πτ plane, the principal 3-D coordinate system (z, p, Θ} is simplified into a Cartesian 2-D system xOy having the x and y axes which coincide with p and z, respectively.

Il piano πτinterseca lo specchio in una parabola γ che ha equazione nel sistema xOy: The πτ plane intersects the mirror in a parabola γ which has equation in the xOy system:

y: y=«x<2>(1) y: y = «x <2> (1)

dove a è il parametro che descrive la curvatura della parabola (figura 4). where a is the parameter that describes the curvature of the parabola (figure 4).

Come indicato nella figura 5, il fascio laser emesso da L interseca πτrL, mentre l'intersezione fra π e πτproduce la retta τπ. Si noti che, benché un fascio laser opposto (emesso da un'altra fonte) intersechi πτanche in rL' (cioè, la retta simmetrica di rLrispetto a z), la regione di πτdi interesse è solo quella per cui x>0, in quanto è solo questa che necessariamente contiene T, a causa della rotazione θτintorno a z di πτ. As indicated in Figure 5, the laser beam emitted by L intersects πτrL, while the intersection between π and πτ produces the line τπ. Note that although an opposite laser beam (emitted from another source) intersects πτ also in rL '(i.e., the symmetric line of rL with respect to z), the region of πτ of interest is only that for which x> 0, as it is only this which necessarily contains T, due to the rotation θτ around z of πτ.

Supposta l'esistenza di un target T (xT, yr) lungo rL, il suo riflesso R sullo specchio parabolico, avente come proiezione ortografica (sul piano immagine π) il punto R', si troverà nell'intersezione fra rTe γ, essendo rTla linea che unisce T con il fuoco di γ, F. Di conseguenza, sia / (=XR=PR) la distanza misurata sul piano π fra R e F' , cioè, le proiezioni rispettivamente di F e di R su π, allora, le coordinate xT(=PT) e yT(=zT) del target T possono essere dedotte geometricamente, attraverso la distanza LV e la geometria di γ. A questo fine, si consideri la similitudine fra i triangoli (RQF) e (TFL), dove: Assuming the existence of a target T (xT, yr) along rL, its reflection R on the parabolic mirror, having as orthographic projection (on the image plane π) the point R ', will be found in the intersection between rT and γ, being rTla line joining T with the focus of γ, F. Consequently, let / (= XR = PR) be the distance measured on the π plane between R and F ', that is, the projections of F and R on π respectively, then, the coordinates xT (= PT) and yT (= zT) of the target T can be deduced geometrically, through the distance LV and the geometry of γ. To this end, consider the similarity between the triangles (RQF) and (TFL), where:

tenendo conto della misura di / e dell'equazione di γ: taking into account the measure of / and the equation of γ:

detto b (baseline) il valore di yLnoto dalla geometria del sistema, si ottiene: called b (baseline) the value of yL known from the geometry of the system, we obtain:

A causa delle relazioni geometriche, il sistema proposto presenta una sensitività intrinseca all'errore, quando / (=PR) e Θ vengono misurate sul piano immagine commettendo un errore bidimensionale S2D(Δ/, ΔΘ). Si vedano a tal proposito le figure 6A e 6B. Due to the geometric relationships, the proposed system exhibits an intrinsic sensitivity to error, when / (= PR) and Θ are measured on the image plane by committing a two-dimensional error S2D (Δ /, ΔΘ). In this regard, see figures 6A and 6B.

Infatti, quando un errato punto R*', anziché il punto R (corretto) viene rilevato dal sistema come la proiezione ortografica di R su π, il sistema ricostruirà un target T* (invece di T) commettendo un errore ε (Δρτ, Δθτ), dove In fact, when a wrong point R * ', instead of the point R (corrected) is detected by the system as the orthographic projection of R on π, the system will reconstruct a target T * (instead of T) making an error ε (Δρτ, Δθτ ), where is it

Δθτ= Δθ (4) Δθτ = Δθ (4)

mentre Δρτsarà funzione di Al ottenibile differenziando la Eq. (3), ottenendo: while Δρτ will be a function of Al obtainable by differentiating Eq. (3), obtaining:

Poiché la / dipende dalla distanza pT, e precisamente: Since / depends on the distance pT, namely:

) )

ottenuta risolvendo la Eq. (3), si può anche esprimere la sensitività in funzione di pT, sostituend obtained by solving Eq. (3), we can also express the sensitivity as a function of pT, substituting

L'Eq. (5) mostra le dipendenze dell'errore rispetto a Al, l, a e b. Si ha che: Eq. (5) shows the dependencies of the error with respect to Al, l, a and b. We have that:

• Al in una prima approssimazione può essere considerato come: • Al in a first approximation can be considered as:

Al 2Rm/Np (8) Al 2Rm / Np (8)

cioè, due volte il rapporto fra il raggio dello specchio e la dimensione lineare in pixel della matrice di acquisizione CMOS; precisioni più alte (risoluzione sub-pixel) possono essere raggiunte per mezzo di interpolazioni; that is, twice the ratio between the radius of the mirror and the linear dimension in pixels of the CMOS acquisition matrix; higher accuracies (sub-pixel resolution) can be achieved by means of interpolations;

• / dipende dalla distanza pT, e risolvendo Eq. (3), risulta: • / depends on the distance pT, and solving Eq. (3), it results:

mentre a e b sono parametri geometrici del sistema. while a and b are geometric parameters of the system.

E' quindi possibile tracciare i grafici del valore assoluto dell'errore per differenti configurazioni (Rm, pT), in funzione della curvatura a dello specchio e della baseline b cioè la distanza VL. It is therefore possible to plot the graphs of the absolute value of the error for different configurations (Rm, pT), as a function of the curvature a of the mirror and the baseline b that is the distance VL.

La figura 7 visualizza i grafici 3-D per le configurazioni (Rm [mm], pT[mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), (80, 3000), (100, 3000), (60, 5000), (80, 5000), (100, 5000) variando la baseline b [mm] e la curvatura a [1/mm] (la variazione di a è mantenuta nella gamma [0.001, 0.1]). Figure 7 displays 3-D graphs for configurations (Rm [mm], pT [mm]) = (60, 1000), (80, 1000), (100, 1000), (60, 3000), (80 , 3000), (100, 3000), (60, 5000), (80, 5000), (100, 5000) by varying the baseline b [mm] and the curvature a [1 / mm] (the variation of a is maintained in the range [0.001, 0.1]).

Nelle figure, per leggibilità sono evidenziate, soltanto le regioni con errori <pT/1000. Si osservi che è possibile determinare delle configurazioni ottimali per ridurre a 0 l'errore sistematico possono essere trovate annullando l'errore, cioè annullando il numeratore della (7), mantenendo il suo denominatore non nullo. Tale condizione è comunque verificata per ogni a non nullo (specchio curvo). In the figures, only the regions with errors <pT / 1000 are highlighted for readability. Observe that it is possible to determine optimal configurations to reduce the systematic error to 0 can be found by canceling the error, that is, by canceling the numerator of (7), keeping its denominator non-zero. However, this condition is verified for every non-zero a (curved mirror).

Quindi, eguagliando a 0 il numeratore della (7): Hence, equating the numerator of (7) to 0:

ponendo k=pr/b , dopo alcuni passaggi: setting k = pr / b, after a few steps:

in cui, ponendo in which, by placing

(12) (12)

che produce 2 soluzioni: which produces 2 solutions:

cioè baseline - pT/ 4c ^ infìnita, condizione chiaramente non realizzabile in pratica, e: i.e. baseline - pT / 4c ^ infinite, a condition clearly not feasible in practice, and:

La valenza pratica della (13.b), indica che all'aumentare del prodotto ab (che nel seguito The practical value of (13.b) indicates that as the product ab (which in the following

è indicato con d), c tende a 3, cioè a significare che per un dato , la baseline ottimale è b0PT= ρτ/V 3 = 57.73%pTis indicated with d), c tends to 3, that is to say that for a given, the optimal baseline is b0PT = ρτ / V 3 = 57.73% pT

Questo è evidenziato anche dai grafici (figure 7A-7I), in cui si vede come le configurazioni di minimo convergono asintoticamente alla baseline= 57.7% di pTper qualsiasi Rm, pTe a. This is also highlighted by the graphs (Figures 7A-7I), in which we see how the minimum configurations asymptotically converge at the baseline = 57.7% of pT for any Rm, pTe a.

In altre parole, tale relazione consente il progetto ottimale di un sensore che deve monitorare target ad una distanza nota: è sufficiente che i parametri a e b siano tali da soddisfare la (14) affinché il sensore sia affetto da un errore sistematico nullo. In other words, this relationship allows the optimal design of a sensor that must monitor targets at a known distance: it is sufficient that parameters a and b are such as to satisfy (14) for the sensor to be affected by a null systematic error.

Tale asserto può sembrare un controsenso, in quanto può sembrare che la conoscenza a priori di pTrenderebbe del tutto inutile la ricostruzione dell'ambiente, e l'esistenza stessa del sensore. In realtà esistono una serie di applicazioni in cui la ricostruzione dell'ambiente è altamente strategica, pur conoscendo a priori una stima di pT. This assertion may seem a contradiction, as it may seem that the a priori knowledge of it would make the reconstruction of the environment and the very existence of the sensor useless. In reality, there are a series of applications in which the reconstruction of the environment is highly strategic, even if a priori estimate of pT is known.

Benché quanto detto indichi una precisa strategia progettuale tesa a eliminare l'errore sistematico in determinate applicazioni, è altresì, chiaro che per alcune applicazioni e distanze dell'obiettivo, realizzare una b0 PTpuò risultare poco pratico o irrealizzabile. Di conseguenza, nella figura 8 sono stati evidenziati gli errori per le stesse configurazioni della figura 7, ma limitando i grafici al valore massimo per b di 1500 mm e visualizzando le configurazioni con errori <pT/100. Although what has been said indicates a precise design strategy aimed at eliminating the systematic error in certain applications, it is also clear that for some applications and target distances, making a b0 PT can be impractical or impractical. Consequently, in Figure 8 the errors were highlighted for the same configurations as in Figure 7, but limiting the graphs to the maximum value for b of 1500 mm and displaying the configurations with errors <pT / 100.

Sotto queste restrizioni, è evidente che errori per target a 1000, 3000 o 5000 mm, rispettivamente l-Eioool ~ 0 mm, |.3⁄4ooo| < 1 mm, |.3⁄4ooo| < 7 mm possono essere raggiunti adottando configurazioni opportune. Under these restrictions, it is evident that errors for 1000, 3000 or 5000 mm targets, respectively l-Eioool ~ 0 mm, | .3⁄4ooo | <1 mm, | .3⁄4ooo | <7 mm can be achieved by adopting suitable configurations.

Errori ancora più bassi (livelli di precisione sub-pixel) possono essere raggiunti sfruttando l'interpolazione nell'immagine acquisita. In un terzo insieme dei grafici (figura 9), si è inoltre considerata la misura /. Ciò perché, alcune configurazioni possono generare / fuori dalla regione di specchio osservata dall'obiettivo telecentrico (Rm, il raggio dello specchio, descrive non soltanto lo specchio, ma la regione dello specchio coperto dall'obiettivo). Queste figure indicano quali curvature a sono richieste per limitare adeguatamente /. Even lower errors (sub-pixel precision levels) can be achieved by exploiting interpolation in the captured image. In a third set of graphs (Figure 9), the measure / was also considered. This is because, some configurations may generate / out of the mirror region observed by the telecentric lens (Rm, the mirror beam, describes not only the mirror, but the region of the mirror covered by the lens). These figures indicate which curvatures a are required to adequately limit /.

Per ricostruire correttamente le coordinate 3-D degli oggetti circostanti, il sistema proposto richiede che il fuoco e il vertice dello specchio parabolico debbano essere posizionati sullo stesso asse z del dispositivo di acquisizione di immagini. To correctly reconstruct the 3-D coordinates of surrounding objects, the proposed system requires that the focus and vertex of the parabolic mirror must be positioned on the same z-axis as the imaging device.

Per ottenere questa calibrazione il sistema è stato vantaggiosamente dotato di apparecchiature meccanico goniometriche di precisione. In tale maniera, sia il laser che lo specchio sono stati forniti di 5 gradi di libertà, ed un ulteriore grado di libertà è stato conferito alla camera. To obtain this calibration, the system has been advantageously equipped with precision mechanical goniometric equipment. In this way, both the laser and the mirror have been provided with 5 degrees of freedom, and an additional degree of freedom has been given to the camera.

Inoltre, è stato sviluppato un tool hardware/software di calibratura automatica. Esso rileva il fuoco F ed il vertice V dello specchio, suggerendo all'utente i movimenti di calibrazione opportuni per raggiungere l'allineamento di F e V sullo stesso asse z. In addition, a hardware / software tool for automatic calibration was developed. It detects the focus F and the vertex V of the mirror, suggesting to the user the appropriate calibration movements to achieve the alignment of F and V on the same z axis.

Viene in primo luogo acquisita una immagine per la messa a punto. Tra le possibili (per esempio, modelli striati, linee ortogonali, ecc), abbiamo selezionato una che presenta alcuni target circolari. Infatti, per questi, i centri di massa, possono essere rilevati automaticamente anche in presenza di distorsione sulla superficie parabolica dello specchio. Inoltre, abbiamo posizionato questi target in modo tale che essi compaiano negli angoli dell'immagine (cioè le regioni dell'immagine più lontano dal centro), mentre le loro immagini riflesse compaiono il più possibile vicino al centro dell'immagine stessa. Questa disposizione, sebbene non perfettamente nella gamma di messa a fuoco della camera, eleva le distanze fra i punti e la loro immagine riflessa: questa circostanza, minimizza gli errori che si commettono nel tracciare automaticamente le linee che congiungono tali target con le loro rispettive immagini riflesse. First, an image is acquired for fine-tuning. Among the possible ones (for example, striated patterns, orthogonal lines, etc.), we have selected one that has some circular targets. In fact, for these, the centers of mass can be automatically detected even in the presence of distortion on the parabolic surface of the mirror. Furthermore, we have positioned these targets in such a way that they appear in the corners of the image (i.e. the regions of the image furthest from the center), while their reflected images appear as close to the center of the image as possible. This arrangement, although not perfectly in the focusing range of the camera, increases the distances between the points and their reflected image: this circumstance minimizes the errors that are committed in automatically tracing the lines that connect these targets with their respective images. reflected.

Queste linee sono le basi della procedura per la rilevazione del fuoco, poiché, a causa delle proprietà ottico-geometriche, il fuoco dello specchio necessariamente si trova sulle linee che uniscono i punti reali con la loro immagine riflessa (queste linee possono essere considerate come le intersezioni del piano immagine con i piani che contengono i target e il loro riflesso sullo specchio). Di conseguenza, il tool realizzato rileva il fuoco come l'intersezione di tali linee (fig.11). Tuttavia, a causa di rumore (per esempio, scattering, instabilità nell'illuminazione, rumore elettronico dell'allineamento del CCD, ecc.) queste intersezioni non collimano in un singolo e unico punto, ma costituiscono una regione. Per cui, quando la dimensione di questa regione risulta contenuta in un quadrato della dimensione accettabilmente ridotta (per esempio, 0.5x0.5 pixel<2>) esso è considerata valido ed il fuoco è derivato automaticamente come centro di massa di tale regione. Il vertice V dello specchio parabolico è rilevato come il centro dell'ellissoide che coincide con il profilo dello specchio così come estratto nell'immagine acquisita. These lines are the basis of the procedure for detecting the focus, since, due to the optical-geometric properties, the focus of the mirror necessarily lies on the lines that connect the real points with their reflected image (these lines can be considered as the intersections of the image plane with the planes containing the targets and their reflection on the mirror). Consequently, the tool created detects the fire as the intersection of these lines (fig. 11). However, due to noise (for example, scattering, instability in illumination, electronic noise of the CCD alignment, etc.) these intersections do not coincide in a single and single point, but constitute a region. Therefore, when the size of this region is contained in a square of acceptably small size (for example, 0.5x0.5 pixel <2>) it is considered valid and the focus is automatically derived as the center of mass of that region. The vertex V of the parabolic mirror is detected as the center of the ellipsoid which coincides with the profile of the mirror as extracted in the acquired image.

Brevemente, un'immagine dello specchio, acquisita in una condizione di illuminazione con lo specchio fortemente contrastato rispetto allo sfondo viene "sogliata", e parecchi punti del bordo dello specchio vengono estratti. Le coordinate di questi punti (ottenuti con livelli di precisione subpixel, grazie a tecniche di interpolazione) sono usate come i parametri di un sistema sovradimensionato che ha come soluzione le coordinate del centro dell'ellisse che attraversa i punti stessi. I valori di coordinate che ottimizzano la soluzione di tale sistema vengono considerate come il vertice dello specchio (fig.12). Il metodo impiegato rileva il profilo dello specchio raggiungendo una precisione del subpixel dell'ordine di 10<-2>pixel con un�≈0.02. Su richiesta, (per esempio, dopo che un certo numero di acquisizioni e relative elaborazioni) il tool fornisce un grafico in cui la posizione relativa fuoco/vertice è indicato (vedi fig. 13 e fig. 14). In questo grafico, le differenti posizioni relative sono visualizzate insieme alla loro media e varianza. Briefly, a mirror image, acquired in a lighting condition with the mirror highly contrasted with respect to the background, is "thresholded", and several points of the mirror edge are extracted. The coordinates of these points (obtained with subpixel precision levels, thanks to interpolation techniques) are used as the parameters of an oversized system whose solution is the coordinates of the center of the ellipse that crosses the points themselves. The coordinate values that optimize the solution of this system are considered as the vertex of the mirror (fig. 12). The method used detects the mirror profile reaching a subpixel precision of the order of 10 <-2> pixels with a �≈0.02. Upon request, (for example, after a certain number of acquisitions and related processing) the tool provides a graph in which the relative focus / vertex position is indicated (see fig. 13 and fig. 14). In this graph, the different relative positions are displayed together with their mean and variance.

Queste informazioni quindi sono usate per la calibrazione fine della posizione dello specchio, operando adeguatamente ai goniometri meccanici del sistema. This information is then used for fine calibration of the mirror position, operating adequately on the mechanical goniometers of the system.

A calibrazione raggiunta, le coordinate del centro dell'ellisse (cioè, il vertice dello specchio) coincidono con quelle del fuoco e la verifica a posteriori è effettuata valutando lo stato di eccentricità nulla (in caso di acquisizione coassiale, la forma ellittica dello specchio è collassata in un cerchio). Once the calibration is reached, the coordinates of the center of the ellipse (that is, the vertex of the mirror) coincide with those of the focus and the a posteriori verification is carried out by evaluating the state of zero eccentricity (in case of coaxial acquisition, the elliptical shape of the mirror is collapsed into a circle).

Un sistema quale quello finora descritto, può essere vantaggiosamente impiegato per la ricostruzione tridimensionale di un ambiente. A system such as the one described up to now can be advantageously used for the three-dimensional reconstruction of an environment.

A tale scopo il sistema può essere montato a bordo di un veicolo atto a muoversi nell'ambiente da ricostruire. Ad esempio, si pensi ad un sistema montato a bordo di un veicolo ferroviario, che permette così la ricostruzione dell'ambiente circostante i binari, di tutte le strutture in esso presenti ecc. For this purpose, the system can be mounted on board a vehicle able to move in the environment to be reconstructed. For example, think of a system mounted on board a railway vehicle, which thus allows the reconstruction of the environment surrounding the tracks, of all the structures present in it, etc.

Le caratteristiche, prese da sole o in combinazione, che permettono al sistema di raggiungere le prestazioni desiderate sono: The features, taken alone or in combination, that allow the system to achieve the desired performance are:

<�>Specchio parabolico di dimensione e parametri opportuni; <�> Parabolic mirror of suitable size and parameters;

<�>Telecamera di risoluzione elevata (fino a 4096x4096 pixels) con un frame rate fino a 5000 fps. <�> High resolution camera (up to 4096x4096 pixels) with a frame rate up to 5000 fps.

<�>Laser lineari di adeguata potenza con profilo gaussiano allineati attraverso una procedura di calibrazione ad hoc in grado di coprire i 360° e disporli su un piano perpendicolare all'asse ottico dello specchio. <�> Linear lasers of adequate power with Gaussian profile aligned through an ad hoc calibration procedure capable of covering 360 ° and placing them on a plane perpendicular to the optical axis of the mirror.

<�>Procedura di calibrazione ad hoc per allineare asse dello specchio con quello ottico della telecamera <�> Ad hoc calibration procedure to align the mirror axis with the optical one of the camera

La presente invenzione è stata fin qui descritta con riferimento ad una sua forma di realizzazione preferita. È da intendersi che possono esistere altre forme di realizzazione che afferiscono al medesimo nucleo inventivo, tutte rientranti nell’ambito di protezione delle rivendicazioni qui di seguito riportate. The present invention has been described up to now with reference to a preferred embodiment thereof. It is to be understood that there may be other embodiments that refer to the same inventive core, all falling within the scope of the claims set out below.

Claims

CLAIMS 1. System for the detection of three-dimensional coordinates of a target (T) in an <environment, comprising:> � one or more laser emitters (L) arranged in such a way as to illuminate said target <(T) with at least one incident laser beam (F);> � a parabolic mirror (M) of radius (Rm), suitable for reflecting a laser beam (FR) reflected by the illuminated target (T), generating a light beam (FL); � a digital image acquisition device (C) comprising a photosensitive matrix arranged in such a way as to intercept said light beam (FL); and> � means of processing said acquired images, said mirror, and said image acquisition device (C), being aligned in such a way as to have respective axes substantially parallel to each other, the mirror showing its convex surface to the image acquisition device (C) which is such as to acquire images comprising said light beam (FL).

System according to claim 1, wherein said digital image acquisition device (C) comprising an optical unit (OG), interposed between the mirror (M) and the photosensitive matrix.

System according to claim 2, wherein said optical group (OG) comprises a telecentric lens (TO) preferably having the same radius (Rm) as the mirror (M).

System according to claim 2 or 3, wherein said optical group (OG) has an axis which is in turn substantially parallel with the respective axes of the mirror and of the image acquisition device (C).

5. System according to claim 4, wherein said optical unit (OG), said mirror and said image acquisition device (C) have respective axes coinciding with each other.

System according to any one of the preceding claims, wherein said image acquisition device (C) comprises a digital camera having a CMOS matrix of pixels.

System according to any one of the preceding claims, wherein said one or more laser emitters (L) is of the linear emission type, positioned in such a way as to cover a predetermined visual field.

8. System according to claim 7, wherein said one or more laser emitters (L) comprises four linear emitters (L), each of which has an opening of 90 °, mutually positioned in such a way as to cover a total field of vision of 360 °.

System according to any one of the preceding claims, further comprising precision mechanical goniometric equipment (ADJ), for adjusting the positions of the laser emitters (L), of the mirror (M) and of the image acquisition device (C), to in order to allow a calibration phase for the alignment of the respective axes.

10. System according to claim 9, further comprising auxiliary means (CAL) adapted to cooperate with said precision mechanical goniometric equipment (ADJ) for carrying out said calibration step.

11. System according to claim 10, wherein said aid means (CAL) comprise visual alignment luminous devices, interfaced with an interface and / or control software of said precision mechanical goniometric devices (ADJ).

12. System according to any one of the preceding claims, wherein said parabolic mirror (M) is made in such a way that, being "y = ax <2>" the equation of its parabola, "b" is the distance between the vertex of the mirror and the laser emission plane (baseline) and "ρГ" the average distance from the target system axis (T), and also called "c = (ρГ / b) <2>" and "d = a * b ", it turns out c = (768 d <2> -288d + 48) / 256d <2>.

13. Vehicle, characterized in that it comprises a system according to any one of the preceding claims.