ITUB20154942A1 - Metodo per rilevare un veicolo in arrivo e relativo sistema - Google Patents

Metodo per rilevare un veicolo in arrivo e relativo sistema Download PDF

Info

Publication number
ITUB20154942A1
ITUB20154942A1 ITUB2015A004942A ITUB20154942A ITUB20154942A1 IT UB20154942 A1 ITUB20154942 A1 IT UB20154942A1 IT UB2015A004942 A ITUB2015A004942 A IT UB2015A004942A IT UB20154942 A ITUB20154942 A IT UB20154942A IT UB20154942 A1 ITUB20154942 A1 IT UB20154942A1
Authority
IT
Italy
Prior art keywords
lamps
region
vehicle
regions
lbs
Prior art date
Application number
ITUB2015A004942A
Other languages
English (en)
Inventor
Denis Bollea
Marco Patander
Paolo Zani
Original Assignee
Magneti Marelli Spa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magneti Marelli Spa filed Critical Magneti Marelli Spa
Priority to ITUB2015A004942A priority Critical patent/ITUB20154942A1/it
Priority to EP16194553.0A priority patent/EP3168779A1/en
Publication of ITUB20154942A1 publication Critical patent/ITUB20154942A1/it

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Description

"Metodo per rilevare un veicolo in arrivo e relativo sistema"
TESTO DELLA DESCRIZIONE
Campo tecnico
La presente descrizione si riferisce a tecniche per identificare un veicolo in arrivo basandosi su immagini acguisite da una o più videocamere montate su un veicolo, comprendenti 1'elaborazione di dette immagini al fine di identificare al fine di identificare macchie di luce corrispondenti alle lampade per veicoli.
Descrizione della tecnica precedente
Il rilevamento ed identificazione dell'ostacolo è un problema ampiamente studiato nel settore automobilistico, poiché è una tecnologia abilitante non solo per Veicoli Terresti Autonomi o Autonomous Ground Vehicles (AGV), ma anche per molti Sistemi Avanzati di Assistenza alla Guida o Avanced Driver Assistance Systems (ADAS). Sono stati studiati svariati approcci all'identificazione di un veicolo, sia utilizzando dati da un solo sensore sia unendo sorgenti multiple per migliorare 1'affidabilità del rilevamento. I dispositivi più comunemente utilizzati sono i radar, i laser, e le camere, e ciascuno è fornito del proprio insieme di vantaggi e svantaggi.
Sono note le tecniche del fascio adattativo, che regolano la posizione del fanale anteriore se è rilevato un ostacolo, cioè un autoveicolo in arrivo. Tali tecniche richiedono distanze ben oltre quelle fornite da un'unità LIDAR. Mentre un RADAR potrebbe fornire un campo di rilevamento sufficiente, esso non è solitamente sufficientemente accurato per sfruttare completamente il potenziale delle lampade LED di nuova generazione. D'altro canto, le camere hanno il vantaggio di essere economiche ed ampiamente diffuse, fornendo ancora nel frattempo sia il necessario campo di rilevamento sia 1'accuratezza; tuttavia, 1'estrazione di informazioni utili dai loro dati richiede una quantità non irrilevante di potenza di calcolo ed elaborazione complessa.
Nella letteratura esistono svariati approcci al rilevamento di lampade per veicoli (fanali anteriori, fanali posteriori o entrambi) durante la notte. Molti di essi iniziano con 1'etichettatura di un'immagine sorgente binarizzata: a seconda delle intenzioni la binarizzazione è effettuata con una soglia adattiva per avere maggiore richiamo e robustezza a cambiamenti di illuminazione, o con una fissa per avere maggiore velocità di calcolo, o con qualche compromesso. Successivamente i massimi locali si trovano nell<1>immagine e sono utilizzati come semi per 1'espansione.
Il problema con tali metodi è che alcune grandi superfici riflettenti (ad esempio un cartello stradale) possono passare attraverso questo stadio e necessitano essere successivamente rimosse.
Scopo e sintesi
Uno scopo di una o più forme di attuazione è di superare le limitazioni inerenti nelle soluzioni conseguibili dalla tecnica precedente.
Secondo una o più forme di attuazione, quello scopo è conseguito grazie ad un metodo di identificazione avente le caratteristiche specificate nella rivendicazione 1. Una o più forme di attuazione possono riferirsi ad un corrispondente sistema di identificazione.
Rivendicazioni formano parte integrante dell<1>insegnamento tecnico di fornito in relazione alle varie forme di attuazione.
Secondo la soluzione gui descritta, il metodo comprende far funzionare un'operazione di classificazione utilizzando caratteristiche personalizzate per addestrare classificatori adattivi multipli, ciascuno con un diverso rapporto di aspetto per le regioni classificate.
La soluzione gui descritta si riferisce anche ad un corrispondente sistema.
Breve descrizione dei disegni
Le forme di realizzazione verranno ora descritte a puro titolo di esempio non limitativo con riferimento ai disegni annessi, in cui:
la Figura 1 rappresenta uno scenario di un'applicazione del metodo di descritto;
la Figura 2 mostra schematicamente un<1>immagine acguisita dal metodo gui descritto;
- la Figura 3 rappresenta un diagramma di flusso del metodo gui descritto;
- la Figura 4 rappresenta schematicamente un'ulteriore immagine gestita dal metodo gui descritto;
- la Figura 5 rappresenta schematicamente ulteriori immagini gestite dal metodo gui descritto;
- la Figura 6 rappresenta una configurazione grafica utilizzata dal metodo gui descritto;
la Figura 7 rappresenta regioni identificate dal metodo gui descritto;
- la Figura 8 rappresenta regioni di funzionamento del metodo gui descritto,
Descrizione dettagliata di forme di attuazione
La conseguente descrizione che illustra vari dettagli immigrati ad una comprensione approfondita delle forme di attuazione. Le forme di attuazione possono essere implementate senza uno o più dei dettagli specifici, o con altri metodi, componenti, materiali, eco, In altri casi, note strutture, materiali, o operazioni non sono illustrati o descritti nel dettaglio così i vari aspetti delle forme di realizzazione non verranno oscurati.
Il riferimento ad "una forma di attuazione" nell'ambito della presente descrizione intende indicare che una particolare configurazione, struttura, o caratteristica descritte in relazione alla forma di attuazione è compresa in almeno una forma di attuazione. Pertanto, frasi guali "in una forma di attuazione" che possono essere presenti in uno o più punti della presente descrizione non fanno necessariamente riferimento ad una e alla stessa forma di attuazione. Inoltre, particolari conformazioni, strutture, o caratteristiche possono essere combinate in gualsiasi modo adeguato in una o più forme di attuazione.
I riferimenti gui utilizzati sono forniti semplicemente per comodità e pertanto non definiscono 1'ambito di protezione o la portata delle forme di attuazione.
Nella Figura 1 è mostrato un sistema di rilevamento, che comprende un modulo di videocamera C, che nell<1>esempio li mostrato comprende due camere CMOS CI, C2, montate sulla parte anteriore di un veicolo V (ego-veicolo), che guardano in avanti. Nella Figura 1 , X rappresenta l'asse longitudinale, corrispondente alla direzione longitudinale di una strada R, cioè esso corrisponde alla direzione in avanti, mentre Y è la direzione laterale, corrispondente alla larghezza della strada R, e che 1'altezza da un piano zero orizzontale Z, che corrisponde al terreno, cioè alla pavimentazione della strada R.
Il fatto di avere una "buona" immagine di lampade per veicoli durante la notte è molto importante per massimizzare la probabilità di rilevamento. Il contrasto delle lampade luminose contro 1'ambiente scuro è sovente percepito con occhi umani molto meglio che con una camera, per via della gamma dinamica superiore del precedente, guindi necessita essere cercata una configurazione di impostazione ottimale dei parametri della camera.
Le due camere Gl e C2 hanno sostanzialmente lo stesso campo di veduta FV nel piano XY. L'asse del campo di veduta FW è preferibilmente non inclinato rispetto all'asse X come mostrato nella Figura 1, ma è sostanzialmente parallelo all'asse longitudinale X. Nella Figura 1 sono mostrate due videocamere CI, C2, che sono identiche, poiché gueste camere fanno parte di un sistema di stereo-camera, tuttavia, nel metodo gui descritto, è preferibilmente utilizzata solo una camera. Di conseguenza, verrà effettuato nel seguito riferimento solo ad un modulo di camera C con un campo di veduta FV. Entrambe le camere CI eC2 forniscono una funzionalità ad Alta Gamma Dinamica o High Dynamic Range (HDR) functionality. La modalità HDR è stata scelta poiché un alone distintivo attorno ai fanali e li separa meglio nella lunga distanza, è stata impiegata per acquisire sequenze di immagini per 1'addestramento e le prove non in linea (offline). Con L sono indicati i fanali anteriori del veicolo V.
Un secondo veicoli in arrivo IV è mostrato nella figura 1, con rispettivi fanali anteriori IL.
Nella Figura 2 è mostrata schematicamente un 'immagine I catturata dal modulo di camera C, durante un<1>operazione di rilevamento di un veicolo nella notte . Il metodo proposto è in grado di distinguere tra macchie luminose, o bright spot, LBS originate dai fanali anteriori IL del veicolo in arrivo IV, che sono evidenziati con riguadri di delimitazione RB ed altre macchie di luce luminose spurie SBS che si possono trovare nell'immagine I.
Nella Figura 3 è mostrato un diagramma di flusso del metodo per identificare un veicolo in arrivo gui descritto, indicato interamente con il numero di riferimento 100. Tale metodo prende come ingresso le immagini I acguisite dal modulo di camera C montato sul veicolo V ed emette un<1>informazione sul veicolo rilevato in arrivo IDV, che è rilevata nelle immagini I. Il metodo 100 identifica veicoli in arrivo IV sia da fanali anteriori accoppiati sia scoppiati .
Il metodo 100 comprende fornire un 'immagine inizialmente acguisita I ad una procedura di elaborazione multiscala 110, che comprende sostanzialmente un<1>operazione di estrazione di un punto chiave 111 seguita da un 'estrazione di un punto luminoso 114.
L'operazione di estrazione del punto chiave 111 comprende inizialmente eseguire sull<1>immagine acguisita I un passo di generazione di un'immagine a piramide 112.
Tale passo di generazione di un 'immagine a piramide 112 comprende costruire una rappresentazione dello spazio in scala, in cui 1'immagine I è regolarizzata e sottoc ampionata, diminuire la risoluzione, in passi multipli , a successive scale su diverse ottave, cioè un cambiamento di risoluzione alla potenza di due, mediante una tecnica che di per sé è nota ad un esperto della tecnica : ciascuna ottava è costruita dalla precedente dimezzando ciascuna dimensione lineare . In questo modo il sottocampionamento da un 'ottava alla successiva si può eseguire senza interpolazione senza alcuna perdita di precisione critica. Le scale, cioè la rappresentazione dello spazio in scala, della prima ottava sono costruite da un 'immagine a dimensione completa I conti interpolazione bilineare , ed i fattori di scala sono scelti come potenze consecutive di un valore di base (lan_<eslItlEL>radice di 0.5, con n il numero di scale per ottava) per conseguire un<1>uniformità. Di conseguenza al passo 112 è costruita una pluralità di immagini scalate in modo diverso, cioè una piramide di immagini con una risoluzione decrescente tramite ottave .
Successivamente un seguente passo di un<1>estrazione di un punto (o chiave) di interesse 113 comprende il fatto che si calcola in ciascuna scala la risposta dell<1>immagine con un'approssimazione Laplaciano di Gaussiana (LoG) di dimensione fissa che produce aree come macchie luminose LBS come LBS come chiazze (blob) , mentre sono successivamente estratti i massimi da tali macchie luminose LBS . Il tasto di estrazione del punto di interesse 113 produce di conseguenza un insieme Mi...Mndi massimi regioni dell 'immagine contrassegnata come macchie luminose LBS. L'operazione di estrazione del punto chiave 111 è molto efficace per trovare anche macchie luminose molto piccole , come si può vedere nella Figura 4, dove sono mostrati le macchie luminose LBS, che appaiono come blob, quando rilevate e i corrispondenti massimi Ciascuna macchia luminosa LBS del fanale anteriore all'operazione 111 corrisponde per principio all'area di un fanale anteriore in arrivo IL.
Tuttavia, la macchia luminosa LBS del fanale anteriore dall<1>operazione 111 può avere le esigenze di essere meglio definito. Dalla stessa Figura 4 si può osservare che gualche volta si può verificare uno scostamento tra 1 'effettivo centro del fanale anteriore , cioè il centro della macchia luminosa LBS del fanale anteriore e il punto dove la risposta del filtro del blob è ad un massimo Mi...Mn; al fine di correggerlo, è eseguito in un<1>operazione di estrazione della macchia luminosa 114 un passo di etichettatura a riempimento (floodf ili labelization) 117 utilizzando ciascun punto massimo Mi...Mncome un seme, e si determina una posizione del centroide del blob tramite 1 'etichettatura a riempimento . Il passo di etichettatura riempimento 117 comprende anche rimuovere massimi spuri, come quelli con una dimensione di blob maggiore di una soglia, o il cui centroide corrisponde ad un punto scuro.
Successivamente , è eseguito un passo di unione 118, dove massimi vicini nell'insieme di massimi Mi...Mnsono uniti assieme per rimuovere duplicati . I punti validati da scale diverse sono uniti per prossimità, come mostrato con riferimento alla Figura 5 che rappresenta un 'immagine I del modulo di camera C, con la macchia luminosa LBS in un riquadro di delimitazione RB, dove ciascuna croce XC rappresenta un massimo della risposta del filtro di blob del passo 113 ad una certa scala. Croci multiple XC possono identificare la stessa macchia luminosa LBS del fanale anteriore . Il passo di unione 118 raggruppa le croci XC per ciascuna macchia luminosa LBS ed identifica un singolo punto di massimo M per ciascuna macchia luminosa LBS.
Si deve notare che non ogni macchia luminosa corrisponde ad una lampada per veicolo: vi sono anche luci stradali ed oggetti riflettenti , che danno origine ad una macchia luminosa spuria SBS , come indicato nella Figura 2. Una linea di orizzonte HO ed una regione di lampade lontane FLR meglio descritte nel seguito sono anche visibili nella Figura 5.
Dopo la procedura di elaborazione multiscala 110, che produce come uscita un insieme di punti luminosi finali LBS ed un insieme di massimi Mi„.Mnassociati iniziando dall 'immagine I, come mostrato nella Figura 2, tali dati pertinenti al punto luminoso finale LBS e ad un insieme di massimi associati sono alimentati in un ramo di classificazione della regione comprendente una procedura di classificazione 12 0 e in parallelo ad un ramo che esegue ulteriori passi , cioè passi di tracciamento della macchia luminosa 131 ed un passo di validazione ad-hoc 132 su tali macchia luminosa finale LBS ed insieme di massimi Mi...Mnche sono aggiuntivi o complementari alla procedura di classificazione 120 . I passi 131 e 132 sono mostrati come consecutivi, ma il generale essi possono non essere consecutivi, in particolare il passo di validazione 132 in una forma di attuazione alimenta i dati al passo di tracciamento 131.
La procedura di classificazione 120 comprende in un passo 121 il fatto che i punti estratti nella procedura di elaborazione precedente 110 sono utilizzati come semi per generare regioni candidate CR per essere classificate .
Sono addestrati classificatori multipli, a seconda del rapporto di aspetto della regione candidata CR, per gestire correttamente 1<1>alta variabilità causata da diverse forme di luce, intensità, distanze di veicoli e dimensioni senza dover allungare i contenuti della regione. Di conseguenza, ciascun punto massimo Mi...Mndiventa una sorgente di un insieme di regioni candidate rettangolari CR alla sua scala migliore , cioè guella dove esso ha la risposta maggiore al filtro di blob, con ciascun rapporto di aspetto essendo associato ad un diverso classificatore; regioni multiple sono generate per guai siasi classificatore/ rapporto di aspetto per aumentare la robustezza utilizzando un approccio alla finestra di scorrimento . Per ridurre il numero di candidati l'area di ricerca è limitata secondo un 'impostazione precedente sulla larghezza di una coppia di lampade : sono utilizzati solo quelli candidati CR la cui larghezza è entro un dato intervallo che dipende dalla riga di immagine del candidato, cioè la riga media del rettangolo . Avendo la larghezza di una coppia di lampade definite in coordinate mondiali , tali intervalli dipendono dalla completa calibrazione della camera C; per calcolare gli intervalli si ipotizza che i veicoli in arrivo IV siano frontoparalleli . Tale limitazione di orientamento del veicolo potrebbe essere rimossa impostando 1'intervallo minimo sempre su zero. Altre tre limitazioni sono fisse: su un 'altezza Z delle lampade IL dal piano zero orizzontale (Z =0), sulla dimensione mondiale del veicolo W tra una dimensione minima Wmine dimensione massima Wmaxe su una distanza massima Dmaxdall'osservatore misurata lungo l'asse longitudinale X, 0 ≤ X ≤ D^y. In tali condizioni la larghezza proiettata nuovamente w di un veicolo in arrivo IV è massima (minima) quando il veicolo in arrivo IV è centrato (al confine di ) nell 'immagine, la larghezza mondiale W è massima (minima) e la distanza è minima (massima).
Inoltre la limitazione di orientamento del veicolo può essere rimossa mettendo sempre su zero il limite inferiore dell'intervallo di ricerca. È facile trovare valori dei parametri delle limitazioni poiché essi sono espressi in coordinate mondiali. I problemi:
min w, maxw
<■>t in m W — Smax
< U ( IV. Z) < Wm ax
0 < X(w,Z) <
sono non lineari per via delle relazioni proiettive tra i parametri sconosciuti (spazio di immagine) e di limitazione (spazio mondiale), ma grazie alla convessità si può trovare una soluzione a forma chiusa. Inoltre, le ipotesi menzionate sopra semplificano i calcoli, poiché le disuguaglianze si possono trasformare in uguaglianza. Ciò conduce ad un<1>implementazione efficace che si può calcolare in linea (online) utilizzando i parametri di camera compensati con un'informazione sul movimento ego EVI dai sensori inerziali e di odometria del veicolo V. Il movimento ego è definito come il movimento tridimensionale o 3D di una camera all'interno di un ambiente, di conseguenza 1<1>odometria del veicolo V può fornire informazioni sul movimento della camera C che è fissata al veicolo V.
Segue successivamente un passo 122 di classificazioni delle regioni candidate CR. Al fine di classificare le regioni candidate ottenute CR, è stato scelto un classificatore AdaBoost (Boosting Adattavo) per via della sua robustezza e prestazione in tempo reale. Dato il contenuto di informazioni relativamente basso nelle regioni candidate CR, è stata definita una caratteristica ad-hoc, comprendente, preferibilmente tutti i seguenti parametri, sebbene diversi, in particolare sono possibili insiemi ridotti:
- luminanza,
- dimensione,
- forma,
- profilo di luminosità,
- gradiente di intensità,
- risposta del filtro LoG al passo 113,
- numero e posizione di massimi locali Mi dentro la regione candidata CR, e
-la correlazione con una configurazione fissa P che rappresenta una configurazione di intensità di luce della coppia di lampade, guale la configurazione P della Figura 6, che è rappresentata lungo tre assi indicanti rispettivamente la riga RW di pixel, la colonna CL di pixel e il livello dei grigi LG per ciascun pixel in una coordinata (RW, CL).
Le regioni classificate come positive, che sono visibili nella Figura 7, che rappresentano regioni di immagini non unite classificate come positive IPR sono successivamente aggregate in un passo di raggruppamento 123 basandosi sulla loro sovrapposizione per trovare una regione univoca per ciascun obiettivo all<1>interno della scena. Nella Figura 7 si può osservare un insieme di macchie luminose SL sopra 1'orizzonte HO che corrispondono alle luci emesse dalle lampade stradali al lato della strada R.
Di conseguenza, i passi 123 producono regioni positive univoche IPR.
Il metodo 100 non scarta immediatamente i punti luminosi LBS corrispondenti alle regioni che sono classificate come negative nel passo 122 (cioè regioni non positive IPR), piuttosto li utilizza come ingresso di un passo di vaiidazione 132 nel ramo parallelo anche mostrato nella Figura 3. Questo approccio ha due benefici principali: esso migliora la distanza di rilevamento, poiché più lontano le coppie di lampade tendono a collassare in un singolo blob ed il classificatore 122 può contrassegnarlo in modo errato come negativo, ed esso migliora la prestazione nel caso di sorgenti di luce guali una motocicletta, o automobili con una luce guasta.
Il passo di classificazione delle regioni 120 è seguito da un passo di tracciamento della regione 124, mentre le macchie luminose LBS all'uscita dell'elaborazione a multiscala 110, come menzionato sono anche parallelamente inviati ad un passo di tracciamento della macchia luminosa 131, poiché le regioni positive IPR e le macchie luminose LBS, secondo il metodo proposto sono tracciati in modo indipendente.
Le regioni positive IPR sono tracciate nel passo 124 utilizzando un Filtro di Kalman Inodore o Unscented Kalman Filter (UKF). Lo stato di tale filtro LTKF è la posizione mondiale e velocità longitudinale della regione positiva IPR; si ipotizza che il veicolo in arrivo IV ha una larghezza costante e che esso viaggi a velocità costante con un'altezza fissa dal piano zero Z=0. L'osservazione del filtro UKF è la posizione del centro della regione positiva IPR assieme alla larghezza della regione.
Le regioni sono associate assieme secondo la distanza euclidea dai centri delle stime e delle osservazioni.
E anche eseguito un tracciamento indipendente diretto alla macchia luminosa e non alle regioni. Le macchie luminose LBS dalla procedura di elaborazione multiscala 110 sono tracciate in un passo di tracciamento delle lampade 131 utilizzando un semplice passo di predizione di velocità costante ed un'associazione basata sulla distanza euclidea dalle posizioni predette ed osservate; ciò evita la complessità associata all'impostazione della configurazione di un filtro di Kalman come nel passo 124. In questo caso, un<1>associazione avida può condurre a corrispondenze sbagliate, quindi 1'algoritmo ungherese per 1'assegnazione, di per sé noto, è preferibilmente utilizzato per trovare la migliore assegnazione. Per migliorare la precisione del passo di predizione 1 'ipotesi di velocità costante e effettuata nelle coordinate mondiali e proiettata nuovamente sul piano d'immagine utilizzando la calibrazione della camera.
Il tasso di tracciamento delle lampade 131 comprende preliminarmente una sottoclasse che tenta di assegnare una lampada o macchia luminosa ad una coppia di lampade di uno stesso veicolo.
L<1>assegnazione di una lampada ad una coppia è effettuata utilizzando le seguenti politiche. I positivi del classificatore aggregato sono trattati come coppie di lampade cioè in ciascuna regione si cerca la coppia di lampade come quella più probabile di lampade della regione a seconda della loro posizione. Inoltre ciascuna coppia di lampade tracciata nell'immagine I ottiene un voto per ciascuna regione di delimitazione RB classificata come regione positiva IPR. Tali voti sono integrati nel tempo. Ogni coppia di lampade il cui voto supera una soglia ed è un massimo per entrambe le lampade è considerata come una coppia di lampade valida. Ciò consente di mantenere le informazioni di accoppiamento anche quando il classificatore manca il rilevamento ed ha qualche grado di robustezza rispetto a risultati di classificazione sbagliati.
Ogni volta che una singola lampada è assegnata ad una coppia la stima della sua posizione e velocità è calcolata utilizzando le informazioni congiunte da entrambe le lampade per conseguire maggiore stabilità ed accuratezza. Inoltre, il tracciamento delle regioni rettangolari è più stabile se effettuato tracciando le lampade allegate invece del centroide della regione rettangolare.
Durante il passo di predizione il passo di tracciamento 131 considera il movimento dell'ego-veicolo V come determinato dai dati dei sensori e di odometria IMU EVI.
Come indicato precedentemente , guando la falsificazione 120 fallisce, cioè il passo 122 classifica regioni candidate CR come negative, il metodo 100 comprende un passo di vaiidazione ad-hoc 132 nel ramo parallelo che consente ancora di rilevare la presenza di un veicolo dai punti estratti nel passo di elaborazione multiscala 110. Questo passo di vaiidazione ad-hoc 132 comprende il fatto che una regione di interesse IR, come visualizzato nella Figura 8, corrispondente alla locazione più probabile della strada R davanti sia calcolata secondo la velocità attuale e il tasso di imbardata dell'ego-veicolo V, ipotizzando che una curvatura della strada k non cambi bruscamente; la curvatura k è calcolata come:
k ìfΦ < V fcmax
<■>mas altrimenti
(1)
con v essendo la velocità lineare del veicolo e φ il suo tasso di imbardata. indica un valore di saturazione che evita i picchi nei dati, sfruttando 1'ipotesi di uno scenario simile ad un<1>autostrada. Le macchie luminose LBS che rientrano nella regione calcolata R sono validati nel passo di tracciamento 124, o anche 131, utilizzando dati quali la dimensione di blob e le statistiche sul loro movimento, l'età sotto la linea di orizzonte HO, l'età all'interno della regione classificata in modo positivo. Di conseguenza un passo di validazione ad-hoc 132 aggiunge ulteriori punti validi.
Nella figura 8 è mostrato che nell 'ipotesi di curvatura costante il movimento del veicolo (blu nell'immagine) sovrappone un settore anulare AS. La regione di interesse IR è generata considerando la porzione di tale area tra una distanza minima dm:Ìried una distanza massima dmaxdall'attuale posizione del veicolo V.
Dopo il passo di tracciamento 131,124, è eseguita un'operazione di nuova proiezione 3D 140.
Sebbene il cercare di ottenere la posizione 3D da un punto di immagine bidimensionale (2D) sia mal posto nel caso generale, tuttavia la distanza tra le due lampade in una coppia si può utilizzare per stimare accuratamente la distanza del veicolo poiché i centri delle lampade rimangono approssimativamente gli stessi indipendentemente dalla loro potenza, distanza ed intensità. Con queste ipotesi le posizioni mondiali 3D delle due lampade Eq e Eq sono fornite dalla seguente equazione:
·4| /ìj
p. ΐ\
(z)
dove Ai ,A2sono i vettori epipolari calcolati dai due punti d'immagine, cioè i loro massimi, Po è la posizione del foro stenopeico della camera e il rapporto k è:
d|,.J,||(3)
con W essendo la larghezza mondiale tra i due punti. Con la notazione Ai,*si intende il componente (longitudinale) x del vettore epipolare Ai.
La nuova proiezione , nonostante fornisca migliori risultati con entrambe le lampade di una coppia, si può eseguire anche con una singola lampada, ipotizzando che la sua altezza sia dal piano zero, per mezzo di una mappatura prospettica inversa. Ciò consente di avere una stima della posizione e 3D anche per guei punti che non fanno intrinsecamente parte di una coppia, per cui il metodo menzionato prima non può essere applicato.
Di conseguenza, i vantaggi del metodo e sistema per identificare un veicolo in arrivo nella notte appena descritti sono chiari.
Il metodo e sistema forniscono un sistema di rilevamento di lampade di veicoli che, per massimizzare la prestazione del rilevamento, sono state sfruttate immagini ad alta gamma dinamica, con l'utilizzo di un filtro software personalizzato quando non direttamente disponibile dai sensori.
Il metodo nella fase di classificazione segue un nuovo approccio in cui sono utilizzate per addestrare classificatori AdaBoost multipli caratteristiche personalizzate, ciascuna con un diverso rapporto di aspetto per le regioni classificate.
Al fine di migliorare la stabilità dell'uscita, il metodo proposto comprende eseguire il tracciamento delle regioni positive utilizzando la posizione delle lampade allegate, invece di quella della stessa regione.
Il metodo proposto utilizza vantaggiosamente le informazioni sul movimento ottenute dall'odometria del veicolo e dati IMU per fornire non solo una compensazione per i parametri della camera, ma anche un rinforzo alla prestazione dell'algoritmo di classificazione con una priorità per la vaiidazione delle lampade.
Naturalmente , fermi restando i principi di fondo, i particolari e le forme di attuazione possono ampiamente variare rispetto a quanto è stato descritto a puro titolo di esempio senza discostarsi dall' ambito delle presenti forme di attuazione , come definite dalle rivendicazioni annesse .

Claims (10)

  1. RIVENDICAZIONI 1, Metodo per identificare un veicolo in arrivo (IV) basandosi su immagini (I) acquisite da una o più videocamere (C) montate su un veicolo (V), comprendente elaborare dette immagini (I) al fine di identificare macchie di luce corrispondenti alle lampade per veicoli , comprendente eseguire una procedure di elaborazione multiscala (110) per estrarre aree di macchie luminose (LBS) dalle immagini (I) e valori massimi (Ml...Mn) di dette aree di macchie luminose (LBS), caratterizzato dal fatto che comprende tracciare (124) regioni positive (IPR) corrispondenti a dette macchie luminose (LBS ) e tracciare in modo indipendente (131) le stesse macchie luminose (LBS), il tracciamento di dette regioni positive (IPR) essendo preceduto da una procedura di classificazione (120) comprendente generare (121) regioni candidate (CR) da classificare, addestrare (122) classificatori multipli , secondo un rapporto di aspetto della regione candidata (CR).
  2. 2. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che detto passo di generazione di regioni candidate (121) comprende il fatto che i valori massimi (Mi...Mn) estratti nella fase di multielaborazione (110) sono utilizzati come semi per generare dette regioni candidate (CR), ciascun valore massimo (Mi...Mn) che diventa una sorgente di un insieme di regioni candidate rettangolari (CR) alla sua miglior scala, in particolare quella dove esso ha la risposta maggiore al filtro di blob, con ciascun rapporto di aspetto della regione candidata rettangolare essendo successivamente associato ad un diverso classificatore;
  3. 3. Metodo secondo la rivendicazione 1 o 2, caratterizzato dal fatto che detto passo di generazione (121) comprende il fatto che regioni multiple sono generate per gualsiasi dato classificatore o rapporto di aspetto utilizzando un approccio a finestra di scorrimento.
  4. 4. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che detto passo di generazione (121) comprende limitare un'area di ricerca dei candidati (CR) secondo un'impostazione sulla larghezza di una coppia di lampade.
  5. 5 . Metodo secondo gualsiasi delle rivendicazioni precedenti , caratterizzato dal fatto che detto passo di classificazione (120) comprende inoltre un passo di raggruppamento (123) per trovare una regione univoca per ciascun candidato (CR) basandosi sulla loro sovrapposizione all' interno della scena ed è seguito da detto passo di tracciamento di regione (124), che traccia regioni positive (IPR) .
  6. 6. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che comprende un passo di tracciamento di lampada (131) che segue detta procedura di elaborazione multiscala (110) in cui il tracciamento delle regioni positive (IPR) è eseguito utilizzando la posizione delle lampade annesse alla regione, invece della posizione della stessa regione.
  7. 7. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che comprende un passo di vaiidazione ad-hoc (132 ) per rilevare lampade non rilevate dal passo di classificazione (120) comprendente definire una regione di interesse (IR) corrispondente alla locazione più probabile della strada (R) davanti , validare macchie luminose che rientrano in detta regione di interesse (IR) utilizzando la dimensione di blob e statistiche sul loro movimento, 1'età sotto la linea di orizzonte , 1'età all'interno di una regione classificata positivamente.
  8. 8. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che comprende detto passo di tracciare in modo indipendente (131) le macchie luminose (LBS) dalla fase di multielaborazione (110), comprende preliminarmente un tentativo di assegnare una lampada o una coppia di lampade a una macchia luminosa (LBS) di uno stesso veicolo, detto tracciare comprendente definire come coppie di lampade regioni positive (IPR) fornite dal classificatore (120), e ogni volta che una singola lampada è assegnata ad una coppia di lampade, calcolare la stima della sua posizione e velocità utilizzando le informazioni congiunte da entrambe le lampade
  9. 9. Metodo secondo la rivendicazione 1, caratterizzato considerando le informazioni sul movimento (EVI) ottenute dall'odometria del veicolo e dati IMLI in detti passo di tracciamento di regione (124) e passo di tracciamento di lampada (131).
  10. 10. Sisterna per identificare un veicolo in arrivo (IV) comprendente una o più videocamere (C) montate su un veicolo (V) per acguisire immagini (I), comprendente un modulo di elaborazione che elabora dette immagini al fine di identificare macchie di luce corrispondenti alle lampade per veicoli, caratterizzato dal fatto che detto modulo di elaborazione è configurato per eseguire le operazioni secondo guaisiasi delle rivendicazioni 1 a 9.
ITUB2015A004942A 2015-10-23 2015-10-23 Metodo per rilevare un veicolo in arrivo e relativo sistema ITUB20154942A1 (it)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ITUB2015A004942A ITUB20154942A1 (it) 2015-10-23 2015-10-23 Metodo per rilevare un veicolo in arrivo e relativo sistema
EP16194553.0A EP3168779A1 (en) 2015-10-23 2016-10-19 Method for identifying an incoming vehicle and corresponding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ITUB2015A004942A ITUB20154942A1 (it) 2015-10-23 2015-10-23 Metodo per rilevare un veicolo in arrivo e relativo sistema

Publications (1)

Publication Number Publication Date
ITUB20154942A1 true ITUB20154942A1 (it) 2017-04-23

Family

ID=55173928

Family Applications (1)

Application Number Title Priority Date Filing Date
ITUB2015A004942A ITUB20154942A1 (it) 2015-10-23 2015-10-23 Metodo per rilevare un veicolo in arrivo e relativo sistema

Country Status (2)

Country Link
EP (1) EP3168779A1 (it)
IT (1) ITUB20154942A1 (it)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382735B (zh) * 2018-12-29 2023-05-30 浙江宇视科技有限公司 夜间车辆检测方法、装置、设备及存储介质
CN111612852B (zh) * 2020-05-20 2023-06-09 阿波罗智联(北京)科技有限公司 用于验证相机参数的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069400A1 (en) * 2006-07-07 2008-03-20 Ying Zhu Context adaptive approach in vehicle detection under various visibility conditions
WO2008088880A1 (en) * 2007-01-18 2008-07-24 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking
WO2010006361A1 (en) * 2008-07-14 2010-01-21 National Ict Australia Limited Detection of vehicles in images of a night time scene
US20110255740A1 (en) * 2010-04-15 2011-10-20 National Chiao Tung University Vehicle tracking system and tracking method thereof
EP2523174A1 (en) * 2011-05-12 2012-11-14 Delphi Technologies, Inc. Vision based night-time rear collision warning system, controller, and method of operating the same
WO2015114654A1 (en) * 2014-01-17 2015-08-06 Kpit Technologies Ltd. Vehicle detection system and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080069400A1 (en) * 2006-07-07 2008-03-20 Ying Zhu Context adaptive approach in vehicle detection under various visibility conditions
WO2008088880A1 (en) * 2007-01-18 2008-07-24 Siemens Corporate Research, Inc. System and method for vehicle detection and tracking
WO2010006361A1 (en) * 2008-07-14 2010-01-21 National Ict Australia Limited Detection of vehicles in images of a night time scene
US20110255740A1 (en) * 2010-04-15 2011-10-20 National Chiao Tung University Vehicle tracking system and tracking method thereof
EP2523174A1 (en) * 2011-05-12 2012-11-14 Delphi Technologies, Inc. Vision based night-time rear collision warning system, controller, and method of operating the same
WO2015114654A1 (en) * 2014-01-17 2015-08-06 Kpit Technologies Ltd. Vehicle detection system and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAOYA KOSAKA ET AL: "Vision-Based Nighttime Vehicle Detection Using CenSurE and SVM", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, vol. 16, no. 5, 25 September 2015 (2015-09-25), Piscataway, NJ, USA, pages 2599 - 2608, XP055280050, ISSN: 1524-9050, DOI: 10.1109/TITS.2015.2413971 *

Also Published As

Publication number Publication date
EP3168779A1 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
US20200265550A1 (en) Dense structure from motion
JP6013884B2 (ja) 物体検出装置及び物体検出方法
US20180225529A1 (en) Hazard detection from a camera in a scene with moving shadows
US8908924B2 (en) Exterior environment recognition device and exterior environment recognition method
US20170116488A1 (en) Method for identifying an incoming vehicle and corresponding system
Hu et al. A multi-modal system for road detection and segmentation
CN105335955A (zh) 对象检测方法和对象检测装置
Kum et al. Lane detection system with around view monitoring for intelligent vehicle
JPWO2009072507A1 (ja) 路面標示認識装置,路面標示認識方法及び路面標示認識プログラム
US11887336B2 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
CN110371016B (zh) 车辆前灯的距离估计
JP2015197829A (ja) レーンマーク認識装置
JP5402625B2 (ja) ステレオ画像処理を用いた車両検出装置
JP2016206721A (ja) 路面標示検出装置及び路面標示検出方法
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US9558410B2 (en) Road environment recognizing apparatus
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
ITUB20154942A1 (it) Metodo per rilevare un veicolo in arrivo e relativo sistema
Zhang et al. Real-time obstacle detection based on stereo vision for automotive applications
Müller et al. Multi-camera system for traffic light detection: About camera setup and mapping of detections
Zhang et al. Night time vehicle detection and tracking by fusing sensor cues from autonomous vehicles
KR20140109011A (ko) 터널 인식에 의한 차량 제어장치 및 제어방법
Ibisch et al. Towards highly automated driving in a parking garage: General object localization and tracking using an environment-embedded camera system
Zarbakht et al. Lane detection under adverse conditions based on dual color space
Umamaheswaran et al. Stereo vision based speed estimation for autonomous driving