IT201600094858A1 - Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo - Google Patents

Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo

Info

Publication number
IT201600094858A1
IT201600094858A1 IT102016000094858A IT201600094858A IT201600094858A1 IT 201600094858 A1 IT201600094858 A1 IT 201600094858A1 IT 102016000094858 A IT102016000094858 A IT 102016000094858A IT 201600094858 A IT201600094858 A IT 201600094858A IT 201600094858 A1 IT201600094858 A1 IT 201600094858A1
Authority
IT
Italy
Prior art keywords
cross traffic
traffic alert
point
horizontal
motion
Prior art date
Application number
IT102016000094858A
Other languages
English (en)
Inventor
Giuseppe Spampinato
Salvatore Curti
Nunziata Ivana Guarneri
Arcangelo Ranieri Bruna
Original Assignee
St Microelectronics Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by St Microelectronics Srl filed Critical St Microelectronics Srl
Priority to IT102016000094858A priority Critical patent/IT201600094858A1/it
Priority to EP17162248.3A priority patent/EP3299994A1/en
Priority to CN201710190150.7A priority patent/CN107845290B/zh
Priority to US15/471,138 priority patent/US10242272B2/en
Publication of IT201600094858A1 publication Critical patent/IT201600094858A1/it

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Description

“Procedimento per un Cross Traffic Alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per Cross Traffic Alert e veicolo”
TESTO DELLA DESCRIZIONE
Campo Tecnico
La presente descrizione è relativa a un procedimento per un Cross Traffic Alert (CTA) avanzato e un corrispondente sistema per Cross Traffic Alert.
Il procedimento per un Cross Traffic Alert (CTA) è un elemento distintivo importante degli ADAS (Automotive Advanced Driver Assistance System). Il sistema per Cross Traffic Alert (CTA) è progettato per allertare i conducenti nel caso in cui sia rilevato un veicolo invadente.
Sfondo
Nell’ultimo decennio, le aziende automobilistiche hanno investito molto nell’innovazione per quanto concerne molti aspetti degli ADAS (Automatic Driver Assistance System). A causa dell’attenzione sempre maggiore verso i sistemi automotive smart, sono stati fatti molti sforzi nei termini di nuovi apparati hardware e software.
Per esempio, le auto moderne possono usare telecamere posteriori, anteriori e/o laterali per differenti scopi. Alcune delle applicazioni più diffuse sono: CTA (Cross Traffic Alert), LDW (Lane Departure Warning), CA (Collision Avoidance) e BSD (Blind Spot Detection).
Le differenti soluzioni di Advanced Driver Assistance Systems (ADAS) possono essere vantaggiose in differenti scenari stradali. Per esempio, il CTA può essere utile negli ambienti stradali in città, dove altri veicoli possono attraversare la strada. Per contro, il Lane Departure Warning (LDW) o il Blind Spot Detection (BSD) possono essere utili sulle autostrade, dove l’auto raggiunge alte velocità e una breve distrazione del conducente può condurre a un incidente.
Perciò, un’ampia gamma di tecnologie avanzate stanno venendo introdotte attualmente nelle automobili in produzione, investendo molto in termini dell’innovazione circa molti aspetti per quanto riguarda gli ADAS (Advanced Driver Assistance System).
Come detto in precedenza, un ADAS (Advanced Driver Assistance System) è un sistema di controllo di veicoli che usa sensori ambientali (per es. radar, laser, visione, una telecamera di immagini) per migliorare la sicurezza del traffico assistendo il conducente nel riconoscere e nel reagire a situazioni di traffico potenzialmente pericolose.
Differenti tipi di sistemi di assistenza di veicoli intelligenti possono essere usati come sistemi informativi per conducente, come:
- i sistemi avanzati di navigazione stradale (“advanced route navigation”), come quello descritto in S. Jeong, T. Kim, J. Lee, S. Lee e J.Lee, “Design analysis of precision Navigation System”, 12th International Conference on Control, Automation and Systems (ICCAS), 2012;
- i sistemi di avvertimento del conducente (“driver warning”), come i sistemi di Lane Departure Warning (LDW), come descritto in T. Aung e M. H. Zaw, “Video Based Lane Departure Warning System”, International Conference on Advances in Engineering and Technology, 2014;
- la Collision Avoidance (CA), un esempio del quale è descritto in A. Choudhary, Y. Moon e R. Nawkhare, “Design and Implementation of Wireless Security System in Vehicle”, International Journal of Innovative Research in Computer and Communication Engineering, 2015;
- il Blind Spot Detection (BSD), come la soluzione descritta in B. F. Wu, C. C. Kao, Y. F. Li e M. Y. Tsai, “A Real-Time Embedded Blind Spot Safety Assistance System”, International Journal of Vehicular Technology, 2012; e
- i sistemi di intervento (“intervening system”), come l’Adaptive Cruiser Control (ACC), un esempio del quale è descritto in P. Shakouri, J. Czeczot e A. Ordys, “Adaptive Cruise Control System using Balance-Based Adaptive Control technique”, 17th International Conference on Methods and Models in Automation and Robotics (MMAR), 2012.
In particolare, i sistemi di avvertimento del conducente avvertono attivamente il conducente di un potenziale pericolo, consentendo al conducente di intraprendere azioni correttive appropriate al fine di mitigare o di evitare completamente l’evento pericoloso.
Tra questi sistemi, in aggiunta agli strumenti di aiuto per la sicurezza (“security aid”), il Cross Traffic Alert (CTA) è un sistema importante per ridurre lo stress percepito dal conducente, ad esempio come descritto nel documento B. Reimer, B. Mehler e J. F. Coughlin, “An Evaluation of Driver Reactions to New Vehicle Parking Assist Technologies Developed to Reduce Driver Stress”, New England University Transportation Center, White Paper, Tutti questi sistemi sono progettati per allertare i conducenti, per esempio con suoni di segnalazione di avvertimento acustico, della presenza di veicoli invadenti. Questo avvertimento può essere utile in differenti situazioni, come in retromarcia dalle piazzole di posteggio e/o arrivando ai/partendo dai semafori o dagli incroci.
Una limitazione fisica del sistema di Cross Traffic Alert (CTA) è che i sensori non possono rivelare veicoli o oggetti che sono di ostruzione nella scena, così in questo caso non possono funzionare in modo appropriato.
Il sistema di Cross Traffic Alert (CTA) richiede algoritmi efficienti e procedimenti per l’elaborazione in tempo reale delle informazioni raccolte. Un sensore di distanza (“range sensor”) montato sul veicolo potrebbe fornire una soluzione pratica al problema.
Tipicamente, un sensore radar o sensori sia radar sia di immagine sono stati proposti a questo scopo, come descritto per esempio nel documento T. Komoguchi, T. Kawasaki e Y. Takahashi, “Rear cross traffic alert device”, US 2014/0015693 A1, 2014 e in S. Zeng, “Cross traffic collision alert system”, US 2011/0133917 A1, 2011.
Questi sistemi noti raggiungono buone prestazioni, ma sono troppo costosi per entrare nel mercato automotive di massa.
Inoltre, approcci interessanti al problema sono le tecniche di fusione di dati (“data fusion”), che combinano informazioni da vari sensori al fine di fornire una visione completa dell’ambiente.
Inoltre, sono anche stati proposti differenti approcci con buone prestazioni, come i sensori di immagine alla luce visibile e all’infrarosso, come descritto per esempio nel documento J. Thomanek e G. Wanielik, “A new pixel-based fusion framework to enhance object detection in automotive applications”, 17th International Conference on Information Fusion (FUSION), 2014, un sensore di rilevazione di oggetti (radar o telecamera), e un sensore all’interno del veicolo (“in-vehicle sensor”) (per esempio, per il volante e il tachimetro) come descritto in S. Zeng, J. A. Salinger e P. V. V. Ganesan, “Method and apparatus for rear cross traffic collision avoidance”, US 2008/0306666 A1, 2008, e così via.
Sfortunatamente, questi sistemi meno cari non sono così economici da essere adatti per un potenziale mercato automotive di massa.
Poiché si sente la necessità di sistemi realmente di basso costo, l’attenzione è stata focalizzata soltanto su telecamere di immagini singole di basso costo.
Nella tecnica, sono stati proposti differenti approcci, basati su telecamere di immagini singole di basso costo:
- segmentazione del piano stradale basata su retroproiezione a istogramma, in base ai canali di valore e di saturazione del video come descritto in R. Tan, “A safety concept for camera based ADAS based on multicore MCU”, IEEE International Conference on Vehicular Electronics and Safety (ICVES), 2014;
- posizione e dimensione del veicolo basate su video, come descritto in E. Dagan, O. Mano, G. P. Stein e A. Shashua, “Forward collision warning with a single camera”, IEEE Intelligent Vehicles Symposium, 2004;
- rilevazione di un veicolo basata su Haar e Adaboost e calibrazione della telecamera, come descritto in J. Cui, F. Liu, Z. Li e Z. Jia, “Vehicle Localisation Using a Single Camera”, IEEE Intelligent Vehicles Symposium, 2010; - classificatore di Bayes e rilevazione dell’ombra con un approccio basato sulla simmetria, come descritto in Y. Jheng, Y. Yen e T. Sun, “A symmetry-based forward vehicle detection and collision warning system on Android smartphone”, IEEE International Conference on Consumer Electronics - Taiwan (ICCE-TW), 2015;
- classificatore di Adaboost ed elemento distintivo simile ad Haar e, insieme a un classificatore di macchina vettoriale di supporto (SVM, “Support Vector Machine”) con elemento distintivo di istogramma di gradienti orientati (HOG, “Histogram of Oriented Gradients”) come descritto in Y. Deng, H. Liang, Z. Wang e J. Huang, “An integrated forward collision warning system based on monocular vision”, IEEE International Conference on Robotics and Biomimetics (ROBIO), 2014;
- classificatore di SVM come descritto in E. Salari e D. Ouyang, “Camera-based Forward Collision and lane departure warning systems using SVM”, IEEE 56th International Midwest Symposium on Circuits and Systems (MWSCAS), 2013, e così via.
A livello sistemistico, questi approcci sono basati tipicamente su una combinazione di un sensore di immagine e un processore di immagine, come descritto per esempio nel documento C. A. Green e U. H. Balbale, “Cross traffic alert system for a vehicle, and related alert display method”, US 2010/0201508 A1, 2010, e di solito su una unità di controllo del motore (ECU, “Engine Control Unit”) con MCU (Micro Controller Unit) multi-core come descritto in V. Balisavira e V. K. Pandey, “Real-time Object Detection by Road Plane Segmentation Technique for ADAS”, Eighth International Conference on Signal Image Technology and Internet Based Systems (SITIS), 2012, per elaborare in modo intensivo i dati di immagine.
Gli inconvenienti principali delle tecniche precedenti citate sono la necessità di almeno un Processore di Immagine (“Image Processor”) esterno per un calcolo pesante dei dati di immagine e la necessità di un sensore invehicle (stato del cambio, velocità del veicolo) per affinare i risultati.
Sintesi
In considerazione di quanto precede, uno scopo delle varie forme di attuazione della presente descrizione è di fornire soluzioni per un procedimento e un sistema per un Cross Traffic Alert di basso costo.
Un Procedimento per un Cross Traffic Alert è progettato per allertare i conducenti nel caso in cui siano rilevati dei veicoli invadenti.
Questo procedimento è efficace in differenti situazioni, come in retromarcia dalle piazzole di posteggio e/o arrivando lentamente ai/partendo lentamente dai semafori o dagli incroci.
Molte case automobilistiche (come Volvo, Toyota, Ford e così via) hanno implementato questo procedimento per il mercato di fascia alta.
Lo scopo della presente descrizione è focalizzato su un sistema di Cross Traffic Alert di basso costo per rivolgersi al mercato automotive di massa.
Secondo una o più forme di attuazione, uno o più degli scopi precedenti sono raggiunti per mezzo di un procedimento per un Cross Traffic Alert avente gli elementi distintivi esposti specificamente nelle rivendicazioni che seguono.
In particolare, la soluzione proposta per il procedimento per un Cross Traffic Alert è basata su una telecamera di basso costo ed è basata interamente sull’elaborazione dei dati di Flusso Ottico (OF, “Optical Flow”).
Il procedimento raggiunge prestazioni elevate usando solamente i dati di Flusso Ottico (OF).
Le rivendicazioni sono parte integrante dell’insegnamento tecnico della descrizione qui fornita.
In una o più forme di attuazione, il procedimento comprende inoltre le fasi di:
- filtrare il Flusso Ottico secondo l’orientamento, e selezionare soltanto i Vettori di Moto che giacciono sulla strada al fine di formare un insieme ridotto;
- calcolare il Punto in Evanescenza (“Vanishing Point”) per ciascun fotogramma (“frame”) come la posizione media di tutte le intersezioni tra le linee generate dalle direzioni dei Vettori di Moto che appartengono all’insieme ridotto;
- verificare il Punto in Evanescenza e stimare la posizione del Punto in Evanescenza VP nel frame corrente;
- sovrapporre una griglia sopra l’immagine se la posizione del Punto in Evanescenza del frame corrente appartiene all’area centrale della griglia; e
- calcolare la media aritmetica tra le posizioni valide del Punto in Evanescenza rispetto ai frame successivi.
In aggiunta, in una o più forme di attuazione calcolare il sottoinsieme di Filtro Orizzontale comprende le fasi di:
- verificare la BB Bound Box e mantenere in detto sottoinsieme i Vettori di Moto all’interno della Lista delle Caselle di Delimitazione (“Bound Box List”) calcolata precedentemente;
- effettuare una verifica orizzontale nella quale i vettori di moto al di fuori della Lista delle Caselle di Delimitazione calcolata precedentemente sono verificati e i Vettori di Moto MV orizzontali sono filtrati, e se il Vettore di Moto è considerato Orizzontale è mantenuto nel sottoinsieme, altrimenti è scartato.
Breve descrizione delle figure
Le forme di attuazione della presente descrizione saranno ora descritte con riferimento ai disegni annessi, che sono forniti puramente a titolo di esempio non limitativo, e nei quali:
- la Figura 1 rappresenta una forma di attuazione di un sistema per il Cross Traffic Alert secondo la presente descrizione,
- la Figura 2 rappresenta una forma di attuazione della fasi del procedimento per un Cross Traffic Alert secondo la presente descrizione;
- le Figure 3 e 4 rappresentano un esempio di una possibile implementazione di alcuni dettagli delle fasi del procedimento della Figura 2;
- le Figure 5 e 6 rappresentano un esempio di una possibile implementazione di alcuni dettagli delle fasi della Figura 4,
- le Figure 7A, 7B, 8A, 8B, 9A e 9B sono esempi delle uscite, rispettivamente della fase di Clustering e del sistema CTA.
Descrizione Dettagliata
Nella descrizione che segue, sono forniti numerosi dettagli specifici per fornire una comprensione approfondita delle forme di attuazione. Le forme di attuazione possono essere attuate senza uno o vari dettagli specifici o con altri procedimenti, componenti, materiali, ecc. In altri casi, operazioni, materiali o strutture ben note non sono rappresentate o descritte in dettaglio in modo da evitare di rendere poco chiari gli aspetti delle forme di attuazione.
Un riferimento a “una forma di attuazione” in tutta questa descrizione significa che una particolare caratteristica, elemento distintivo o struttura descritta con riferimento alla forma di attuazione è inclusa in almeno una forma di attuazione. Così, le comparse delle frasi “in una forma di attuazione” in vari punti in tutta questa descrizione non fanno necessariamente riferimento tutte alla stessa forma di attuazione. Inoltre, le particolari caratteristiche, elementi distintivi o strutture possono essere combinate in un modo adeguato qualsiasi in una o più forme di attuazione.
I riferimenti forniti qui sono semplicemente per convenienza e non interpretano l’ambito o il significato delle forme di attuazione.
In particolare, il sistema di Cross Traffic Alert (CTA) è atto a rilevare veicoli che si muovono nel percorso di guida del veicolo dal lato sinistro o da quello destro.
Si ipotizza che la telecamera che acquisisce un’immagine dell’area circostante sia non soltanto su un veicolo fermo, per es. arrestato a un semaforo o ad un’intersezione stradale, ma anche che si muova lentamente, per es. in una zona di parcheggio per auto.
Siccome un numero crescente di aziende producono sensori di immagine con analisi del Flusso Ottico (OF) implementata in hardware, come descritto in A. A. Stocker e R. J. Douglas, “Analog integrated 2-D optical flow sensor with programmable pixels”, Proceedings of the 2004 International Symposium on Circuits and Systems (ISCAS), 2004, il sistema di Cross Traffic Alert (CTA) qui descritto può funzionare direttamente nel Processore di Segnale di Immagine (ISP, “Image Signal Processor”), interno alla telecamera di immagine, evitando di sovraccaricare l’Unità di Controllo del Motore (ECU) ed evitando di trasmettere l’intero flusso di immagine, senza necessità di avere un processore di immagine esterno.
Ciò consente di ottenere un sistema per Cross Traffic Alert (CTA) in tempo reale con un basso sforzo computazionale supplementare, che offre buone prestazioni.
La Figura 1 rappresenta una possibile soluzione per un sistema di Cross Traffic Alert (CTA) di basso costo.
Come menzionato in precedenza, il sistema di Cross Traffic Alert (CTA) può funzionare direttamente nel Processore di Segnale di Immagine (ISP) della telecamera, senza la necessità di avere un Processore di Immagine esterno.
Nell’esempio considerato, almeno una telecamera di immagine 10 che genera un’immagine IMG è posta su un veicolo, quale un’auto, un camion o un motociclo. La telecamera di immagine 10 è posta sul veicolo ed è configurata per monitorare la situazione stradale anteriore, posteriore e/o laterale rispetto al veicolo.
La telecamera di immagine 10 comprende un modulo di elaborazione 20, per esempio un sistema per l’analisi di Cross Traffic Alert e la generazione di allarmi, che è atto ad analizzare la situazione stradale e a produrre un allarme al conducente secondo alcune circostanze.
Un tipico sistema di rilevazione può comprendere perciò una telecamera 10, un modulo di elaborazione 20 e un dispositivo di allarme 30, quale un visualizzatore (“display”) visivo, un elemento acustico e/o un attuatore aptico.
Perciò, l’allarme fornito al conducente può essere di tipo differente. Per esempio, il dispositivo di allarme può comprendere un elemento audio 32, un elemento di visualizzazione 34 e/o un attuatore aptico 36.
In particolare, la comunicazione aptica o cinestetica ricrea il senso del tocco applicando forze, vibrazioni o moti all’utente, e in particolare sul volante del veicolo.
In varie forme di attuazione della presente descrizione, l’allarme può essere la somma o il mixaggio dell’allarme acustico, di quello visibile e di quello aptico.
Nella forma di attuazione considerata, per esempio, il sistema di Cross Traffic Alert (CTA) genera un video di uscita che rappresenta la scena di ingresso dove gli oggetti in movimento o i veicoli rilevati sono circondati da una Casella di Delimitazione BB (si veda per esempio la Figura 7A).
In particolare, il modulo di elaborazione 20 del Cross Traffic Alert (CTA) è basato interamente sul Flusso Ottico (OF), per es. la raccolta di Vettori di Moto (MV) che indicano il moto di un elemento distintivo nel frame corrente in confronto allo stesso elemento distintivo nel frame precedente.
Il Flusso Ottico (OF) è calcolato direttamente all’interno del Processore di Segnale di Immagine (ISP) della telecamera 10, per esempio dal modulo di elaborazione 20, assicurando un’elaborazione in tempo reale.
Per essere più precisi, il sistema di Cross Traffic Alert (CTA) usa soltanto il Flusso Ottico (OF) disponibile dai sensori/ISP (per esempio, dal nuovo dispositivo sensore STV0991).
Inoltre, il dispositivo sensore STV0991 è un processore di segnale di immagine con acceleratori HardWare per l’analitica video (cioè Rilevatore di Linea e Flusso Ottico) che funziona in parallelo a codificatori video embedded. Una CPU basata su ARM a 500 MHz, un codificatore video H264 e un piccolo motore di renderizzazione (“rendering engine”) consentono applicazioni in tempo reale. La procedura di Cross Traffic Alert (CTA) è eseguita sulla CPU dell’STV0991 sfruttando il suo acceleratore HW embedded di analitica video. In particolare, è usato soltanto il Flusso Ottico.
Inoltre, come menzionato in precedenza, il sistema di Cross Traffic Alert (CTA) non ha necessità del contenuto di immagine, consentendo di ridurre il consumo di potenza e i requisiti del processore, perché può funzionare direttamente in un sistema con basse risorse, cioè direttamente nel Processore di Segnale di Immagine (ISP) della telecamera 10.
Questo può evitare di sovraccaricare l’Unità di Controllo del Motore (ECU) e di trasmettere l’intero flusso di immagine tra i differenti moduli del sistema.
Il modulo di elaborazione 20 comprende un primo modulo 22 configurato in modo da analizzare le immagini IMG fornite dalla telecamera 10 al fine di generare dati di Flusso Ottico OF. Per esempio, in varie forme di attuazione, i dati di Flusso Ottico OF comprendono una raccolta/lista di Vettori di Moto (MV) che indicano il moto di rispettivi elementi distintivi nel frame/immagine corrente in confronto al frame/immagine precedente. I dati di Flusso Ottico OF sono calcolati in hardware, permettendo con ciò un’elaborazione in tempo reale, per es., con 30 fps.
Comunemente, il calcolo dei dati di Flusso Ottico OF, in particolare dei Vettori di Moto, è ben noto nella tecnica, rendendo inutile qui una descrizione più dettagliata.
Nella forma di attuazione considerata, il modulo di elaborazione 20 di Cross Traffic Alert (CTA) riceve i dati di Flusso Ottico OF, per es. i vettori di moto MV, che sono stati stimati dal modulo 22.
In una o più forme di attuazione come esemplificato nella Figura 2, il modulo di elaborazione 20 esegue le fasi seguenti di una procedura di Cross Traffic Alert (CTA) che possono comprendere:
- calcolare in un modulo 24 il Punto in Evanescenza VP partendo dai dati di Flusso Ottico OF stimati dal modulo 22; questa fase prende in ingresso i dati di Flusso Ottico OF, e calcola il Punto in Evanescenza VP, per es. il punto medio di tutte le intersezioni di linee rette che passano attraverso i vettori di zoom (vettori che giacciono nella strada);
- calcolare in un modulo 26 il sottoinsieme di Filtro Orizzontale OF’; tenendo conto del Punto in Evanescenza VP calcolato nel modulo 24 e della Lista delle Caselle di Delimitazione BB List del frame precedente (ricevuto in ingresso come reazione di retroazione), filtrare dal Flusso Ottico OF totale i Vettori di Moto MV orizzontali, ottenere un sottoinsieme di Flusso Ottico OF, chiamato sottoinsieme OF’;
- in un modulo di Clustering 28 il sottoinsieme OF’ di Flusso Ottico è organizzato in cluster e viene generata la Lista delle Caselle di Delimitazione BB che è inviata al dispositivo di Generazione degli Allarmi 30; dal sottoinsieme OF’ preso dal Flusso Ottico OF, recuperare gli oggetti in movimento in una scena, ipotizzando una telecamera stazionaria, e ottenere una Lista di BB come uscita.
In maggior dettaglio, nei sotto-paragrafi seguenti saranno descritte in dettaglio le fasi sopra menzionate.
Prima di tutto, il modulo di elaborazione 20 calcola il Punto in Evanescenza VP usando il modulo del Punto in Evanescenza 24.
Una delle informazioni più utili per la comprensione della scena è la posizione del Punto in Evanescenza VP. Da un punto di vista teorico, la posizione del Punto in Evanescenza VP nella scena si sovrappone al centro dell’immagine soltanto nel caso di una situazione ideale: una strada perfettamente piana (nessuna pendenza e nessuna curva), una telecamera anteriore posta orizzontalmente al terreno (nessun angolo di inclinazione) e perpendicolarmente all’asse principale dell’auto (nessun angolo di panoramica (“pan”)).
Il caso reale (che è lo scenario target per l’applicazione proposta) presenta parametri di calibrazione della telecamera differenti da zero (per esempio, angoli di inclinazione e di panoramica) e, principalmente, l’auto host passa attraverso strade che hanno pendenze e curve.
Perciò, in un ambiente reale, la posizione del Punto in Evanescenza VP non coincide con il centro dell’immagine e per questo motivo è stimata.
In una o più forme di attuazione, la posizione del Punto in Evanescenza VP è importante non solo perché delimita l’orizzonte della scena, ma anche perché contribuisce alla selezione dei Vettori di Moto MV che appartengono potenzialmente a un veicolo che è incrociato nel sotto-blocco di Filtro Orizzontale successivo.
In una o più forme di attuazione, il Punto in Evanescenza VP è calcolato usando soltanto l’OF.
Tutte o alcune delle fasi di elaborazione della procedura sono esemplificate nella Figura 3. Le fasi possono essere sintetizzate come segue:
• in una fase 240 il Flusso Ottico OF ricevuto in ingresso dal modulo 24 è filtrato in un modulo di filtro di Ingrandimento (“Zoom-out”) 240; secondo l’orientamento, soltanto i Vettori di Moto MV che giacciono sulla strada sono selezionati e raccolti al fine di costituire un insieme ridotto indicato con OF’’;
• in una fase 242 il Punto in Evanescenza VP è calcolato per ciascun frame come la posizione media di tutte le intersezioni tra le linee generate dalle direzioni dei Vettori di Moto MV che appartengono all’insieme ridotto OF’’; l’uscita di questa fase 242 è il Punto in Evanescenza VP; si veda per esempio il documento N. Takeda e M. Watanabe, “Device and method for detection of moving obstacles”, US 5777690 A, 1998;
• in una fase 244 il Punto in Evanescenza VP è verificato; la posizione del Punto in Evanescenza VP stimata nel frame corrente contribuirà alla stima della posizione temporale del Punto in Evanescenza VP soltanto se supera una specifica verifica; sovrapporre una griglia 3x3 sopra l’immagine, se la posizione del Punto in Evanescenza VP del frame corrente appartiene all’area centrale della griglia, allora sarà usata per la media temporale, altrimenti sarà scartata in una fase 248;
• in una fase 246 la posizione del Punto in Evanescenza VP convalidata è sottoposta a una Media Temporale; è calcolata la media aritmetica tra le posizioni valide del Punto in Evanescenza VP rispetto ai frame successivi; si veda per esempio il documento M. Jähnisch, M. Siebeneicher, A. Fietz, A. Haja, D. Liebehenschel e C. Söhnel, “Method and apparatus for calibration of a telecamera system of a motor vehicle”, DE102014209137 A1, 2015; a causa della presenza di un valore anomalo nell’insieme di zoom-out OF’’, le successive posizioni del Punto in Evanescenza VP possono essere leggermente differenti; l’approccio temporale consente di appianare (“smoothing”) queste differenze assicurando un punto del Punto in Evanescenza VP più affidabile e regolare; la posizione temporale del Punto in Evanescenza VP è inizializzata al centro del piano di immagine e raggiunge la sua posizione stabile in alcuni frame (circa 10 frame).
Inoltre, il modulo di elaborazione 20 calcola il sottoinsieme OF’ usando il modulo di Filtro Orizzontale 26 e ricevendo in ingresso il Flusso Ottico OF e il Punto in Evanescenza VP. Inoltre, anche la Lista delle Caselle di Delimitazione BB generata dal modulo di Clustering 28 è ricevuta in ingresso come reazione di retroazione.
Affinché la successiva fase di Clustering 28 funzioni correttamente, poiché funziona soltanto con una telecamera stazionaria, è importante rimuovere i Vettori di Moto MV che sono nella stessa direzione del movimento del veicolo, filtrando i Vettori di Moto MV orizzontali.
Perciò, il modulo di elaborazione 20 è configurato per applicare un filtraggio in base alla Lista delle Caselle di Delimitazione BB di un frame precedente, al Punto in Evanescenza VP e agli orientamenti dei Vettori di Moto MV.
In particolare, come indicato nella Figura 4, il modulo di Filtro Orizzontale 26 agisce secondo le fasi seguenti:
• fase di Verifica di BB 260: i Vettori di Moto MV all’interno della Lista delle Caselle di Delimitazione BB calcolata precedentemente sono conservati, e mantenuti nel sottoinsieme OF’, per evitare di eliminare i cluster veri nella successiva fase di Clustering 28; naturalmente questi Vettori di Moto MV possono essere compensati come moto, ipotizzando una velocità costante nella scena; i Vettori di Moto MV nei veicoli sul lato sinistro della scena che si muovono a sinistra (e i veicoli sul lato destro della scena che si muovono a destra) possono essere confusi facilmente con i Vettori di Moto MV da eliminare; introducendo la fase di Verifica di BB 260, si supera il problema, ipotizzando che i veicoli sul lato sinistro della scena che si muovono a sinistra (e i veicoli sul lato destro della scena che si muovono a destra) siano stati precedentemente nella scena muovendosi partendo dal lato opposto della scena e quindi siano stati identificati precedentemente dalla fase di Clustering 28;
• fase di Verifica Orizzontale 262: i Vettori di Moto MV al di fuori della Lista delle Caselle di Delimitazione BB calcolata precedentemente sono verificati e i Vettori di Moto MV orizzontali sono filtrati;
se il Vettore di Moto è considerato Orizzontale è mantenuto nel sottoinsieme OF’, altrimenti è scartato; un vettore è conservato, cioè è considerato orizzontale, se sono soddisfatte entrambe due condizioni:
1) il suo orientamento si trova intorno a un orientamento orizzontale (zero o 180 gradi), come indicato nella Figura 5; nell’esempio, l’angolo è di θ=ρ=10 gradi; e 2) la differenza di orientamento tra l’orientamento del Vettore di Moto MV e l’orientamento del Vettore di Moto MV traslato su un Punto in Evanescenza VP supera una soglia dinamica TH valutata, come indicato nella Figura 6; questa soglia dinamica TH può essere valutata come una percentuale della differenza tra l’orientamento massimo e minimo che si trova intorno al Vettore di Moto MV considerato; in particolare, per ciascun Vettore di Moto MV la vicinanza considerata è impostata ±1 in entrambe le direzioni.
In particolare, il modulo di Clustering 28 riceve il sottoinsieme OF’ dal modulo di Filtro Orizzontale 26 e calcola la Lista delle Caselle di Delimitazione BB.
In modo più specifico, il Clustering è il compito di raggruppare un insieme di informazioni in modo tale che le informazioni nello stesso gruppo (chiamato cluster) siano più simili le une alle altre di quelle in altri gruppi.
In questa applicazione è importante identificare le auto in movimento che si avvicinano trasversalmente al veicolo monitorato sul quale è installato il sistema di Cross Traffic Alert (CTA).
La fase di Clustering applicata nel modulo 28 è basata, come menzionato in precedenza, soltanto sull’analisi del Flusso Ottico, che proviene dalla fase di Filtro Orizzontale 26 precedente. Per esempio, in una o più forme di attuazione la fase di Clustering 28 può essere implementata come descritto nel documento G. Spampinato, A. Bruna, V. D’Alto, “A clustering method and system, corresponding apparatus and computer program product”, application N. 102015000082886, Ufficio Brevetti Italiano, 2015.
Sono stati eseguiti molti test con differenti scenari e differenti telecamere a differenti risoluzioni, con lenti sia lineari sia a occhio di pesce (“fish-eye”), ottenendo risultati visivi realmente buoni.
Per l’effettuazione di test in tempo reale, la Richiedente ha usato il dispositivo STV0991 di STMicroelectronics, elementi specifici del quale possono essere trovati sul sito web in Internet http://www.st.com/web/catalog/mmc/FM132/SC51/PF255756.
Questo dispositivo è un processore di immagine che non ha soltanto la tradizionale pipeline per ricostruire l’immagine da un’immagine di Bayer, ma esso integra anche il Flusso Ottico, che può essere usato direttamente come ingresso per il procedimento per un Cross Traffic Alert.
In questo processore di immagine, c’è una CPU embedded ARM Cortex-R4 a 500 MHz, perciò il procedimento può essere caricato direttamente su di essa, senza processori host esterni, avendo nel chip la soluzione completa per testare “dal vivo” (“live”) il comportamento del procedimento per un Cross Traffic Alert.
Un esempio di un Cross Traffic Alert CTA Posteriore con telecamera a occhio di pesce è rappresentato nella Figura 7A e nella Figura 7B. Nel caso del Cross Traffic Alert CTA Posteriore, la telecamera è montata sulla parte posteriore del veicolo e in questo caso il veicolo sta facendo retromarcia dagli spazi di parcheggio.
L’uscita della sola fase di Clustering 28 rappresentata nella Figura 7A rappresenta delle Caselle di Delimitazione BB false sul terreno, poiché la telecamera è montata in una auto in movimento e le linee sul terreno si muovono. Al contrario, con il procedimento di Cross Traffic Alert CTA proposto, rappresentato nella Figura 7B, le Caselle di Delimitazione BB false sono rimosse, poiché sono correttamente identificate e rimosse dalla fase di Filtro Orizzontale 26.
Inoltre, un altro esempio di arrivo lento a un incrocio con una telecamera lineare è rappresentato nella Figura 8A e nella Figura 8B.
In questo caso, la telecamera è montata nella parte anteriore del veicolo e il veicolo si sta avvicinando a un incrocio. L’uscita della sola fase di Clustering 28, rappresentata nella Figura 8A, rappresenta Caselle di Delimitazione BB false sul terreno, sulle foglie degli alberi e sul segnale stradale.
Per contro, con il procedimento di Cross Traffic Alert CTA proposto, rappresentato nella Figura 8B tutte le Caselle di Delimitazione BB false sono rimosse, lasciando le Caselle di Delimitazione BB delle due auto che si incrociano.
Inoltre, un altro esempio di una partenza lenta da un incrocio con una telecamera lineare è rappresentato nella Figura 9A e nella Figura 9B.
In questo caso, la telecamera è montata nella parte anteriore del veicolo e il veicolo sta partendo da un incrocio. L’uscita della sola fase di Clustering 28, rappresentata nella Figura 9A, mostra Caselle di Delimitazione BB false sul terreno e sulle foglie degli alberi.
Per contro, con il procedimento di Cross Traffic Alert CTA proposto, rappresentato nella Figura 9B, tutte le Caselle di Delimitazione BB false sono rimosse, lasciando le Caselle di Delimitazione BB dell’auto incrociata.
La soluzione proposta è stata testata sperimentalmente su un insieme di dati rappresentativo di scene ottenendo risultati efficaci in termini di accuratezza. In particolare, molti dei test sono stati eseguiti con differenti scenari e differenti telecamere ottenendo risultati visivi realmente buoni. Per esempio, sono state testate lenti Lineari e a Occhio di Pesce e differenti telecamere e risoluzioni.
È stato sviluppato un procedimento di Cross Traffic Alert CTA a basso costo e molto affidabile con le seguenti caratteristiche:
- è una tecnica molto semplice;
- basso consumo di potenza;
- nessun Processore di Immagine esterno necessario; - nessun requisito di memoria aggiuntiva; e
- il procedimento proposto è molto flessibile, così può essere usato con qualsiasi algoritmo per Flusso Ottico OF, calcolo del Punto in Evanescenza VP e operazione di Clustering.
In particolare, il tempo di calcolo è circa 800 frame/secondo per una sequenza VGA su un processore a 2,3 GHz (come un ARM Cortex-A15).
Il sistema è deterministico, cioè lo stesso ingresso produce sempre la stessa uscita.
Tutta l’elaborazione di Cross Traffic Alert CTA è all’interno dell’ISP della telecamera, e inoltre per la rilevabilità della soluzione possono essere usati:
- stimoli di ingresso/uscita ad-hoc,
- sequenze di test con rumore casuale basso/medio, - sequenze di test con incrocio di oggetti multipli.
Naturalmente, fermi restando i principi di fondo dell’invenzione, i dettagli di costruzione e le forme di attuazione possono variare, anche in modo apprezzabile, rispetto a quanto è stato descritto e illustrato qui, puramente a titolo di esempio, senza uscire con ciò dall’ambito della presente invenzione, come definita dalle rivendicazioni che seguono.

Claims (8)

  1. RIVENDICAZIONI 1. Procedimento per un Cross Traffic Alert comprendente le fasi di: - ricevere una sequenza di immagini (IMG) da una telecamera (10) montata su un veicolo; - elaborare (20) detta sequenza di immagini (IMG) al fine di generare dati di Flusso Ottico (OF) comprendenti una lista di Vettori di Moto che sono associati a rispettivi elementi distintivi in detta sequenza di immagini (IMG); - analizzare detti dati di Flusso Ottico (OF) al fine di calcolare (24) il Punto in Evanescenza (VP) calcolando il punto medio di tutte le intersezioni di linee rette che passano attraverso i vettori che giacciono nella strada; - calcolare (26) un sottoinsieme di Filtro Orizzontale (OF’) tenendo conto del Punto in Evanescenza (VP) e di una lista di Caselle di Delimitazione (BB) di un frame precedente e filtrare dal Flusso Ottico (OF) i Vettori di Moto orizzontale; - effettuare un Clustering (28) del sottoinsieme (OF’) del Flusso Ottico e generare la lista delle Caselle di Delimitazione (BB) recuperando gli oggetti in movimento in una scena, in cui detta lista è inviata a un dispositivo di Generazione degli Allarmi (30); e - generare un video di uscita che mostra la scena di ingresso dove gli oggetti in movimento rilevati sono circondati da una Casella di Delimitazione (BB).
  2. 2. Procedimento per un Cross Traffic Alert secondo la rivendicazione 1, comprendente le fasi di: - filtrare (240) il Flusso Ottico (OF) secondo l’orientamento, e selezionare soltanto i Vettori di Moto (MV) che giacciono sulla strada al fine di formare un insieme ridotto (OF’’); - calcolare (242) il Punto in Evanescenza (VP) per ciascun frame come la posizione media di tutte le intersezioni tra le linee generate dalle direzioni dei Vettori di Moto (MV) che appartengono all’insieme ridotto (OF’’); - verificare (244) il Punto in Evanescenza (VP) e stimare la posizione del Punto in Evanescenza VP nel frame corrente; - sovrapporre una griglia sopra l’immagine se la posizione del Punto in Evanescenza (VP) del frame corrente appartiene all’area centrale della griglia; e - calcolare (246) la media aritmetica tra le posizioni valide del Punto in Evanescenza VP rispetto ai frame successivi.
  3. 3. Procedimento per un Cross Traffic Alert secondo la rivendicazione 1 o la rivendicazione 2, in cui calcolare (26) il sottoinsieme di Filtro Orizzontale (OF’) comprende le fasi di: - verificare la BB (260) e mantenere in detto sottoinsieme (OF’) i Vettori di Moto (MV) all’interno della Lista delle Caselle di Delimitazione (BB) calcolata precedentemente; - effettuare una Verifica Orizzontale (262) in cui i Vettori di Moto (MV) al di fuori della lista delle Caselle di Delimitazione (BB) calcolata precedentemente sono verificati e i Vettori di Moto MV orizzontali sono filtrati e se il Vettore di Moto (MV) è considerato Orizzontale è mantenuto nel sottoinsieme (OF’), altrimenti è scartato.
  4. 4. Procedimento per un Cross Traffic Alert secondo la rivendicazione 3, in cui un Vettore di Moto (MV) è considerato orizzontale, se sono soddisfatte entrambe le due condizioni: - l’orientamento del Vettore di Moto (MV) si trova intorno a un orientamento orizzontale; e - la differenza di orientamento tra l’orientamento del Vettore di Moto (MV) e l’orientamento del Vettore di Moto (MV) traslato su un Punto in Evanescenza (VP) supera una soglia dinamica (TH) valutata.
  5. 5. Procedimento per un Cross Traffic Alert secondo la rivendicazione 4, in cui detta soglia dinamica (TH) può essere valutata come una percentuale della differenza tra l’orientamento massimo e minimo che si trova intorno al Vettore di Moto (MV) considerato e, in particolare, per ciascun Vettore di Moto (MV) la vicinanza considerata è impostata ±1 in entrambe le direzioni.
  6. 6. Sistema di elaborazione che è configurato in modo da eseguire il procedimento secondo una qualsiasi delle rivendicazioni precedenti.
  7. 7. Sistema di Cross Traffic Alert comprendente una telecamera (10), un dispositivo di Generazione degli Allarmi (30) e un sistema di elaborazione secondo la rivendicazione 6.
  8. 8. Veicolo comprendente un Sistema di Cross Traffic Alert secondo la rivendicazione 7.
IT102016000094858A 2016-09-21 2016-09-21 Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo IT201600094858A1 (it)

Priority Applications (4)

Application Number Priority Date Filing Date Title
IT102016000094858A IT201600094858A1 (it) 2016-09-21 2016-09-21 Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
EP17162248.3A EP3299994A1 (en) 2016-09-21 2017-03-22 A method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle
CN201710190150.7A CN107845290B (zh) 2016-09-21 2017-03-27 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
US15/471,138 US10242272B2 (en) 2016-09-21 2017-03-28 Method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102016000094858A IT201600094858A1 (it) 2016-09-21 2016-09-21 Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo

Publications (1)

Publication Number Publication Date
IT201600094858A1 true IT201600094858A1 (it) 2018-03-21

Family

ID=57796883

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102016000094858A IT201600094858A1 (it) 2016-09-21 2016-09-21 Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo

Country Status (4)

Country Link
US (1) US10242272B2 (it)
EP (1) EP3299994A1 (it)
CN (1) CN107845290B (it)
IT (1) IT201600094858A1 (it)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930120B2 (ja) * 2017-02-02 2021-09-01 株式会社リコー 表示装置、移動体装置及び表示方法。
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
KR102047303B1 (ko) * 2018-06-01 2019-11-21 엘지전자 주식회사 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
SG11202111248UA (en) * 2018-06-13 2021-11-29 Ride Vision Ltd A rider assistance system and method
KR20200016627A (ko) * 2018-08-07 2020-02-17 삼성전자주식회사 자체 운동 추정 방법 및 장치
US11315256B2 (en) * 2018-12-06 2022-04-26 Microsoft Technology Licensing, Llc Detecting motion in video using motion vectors
KR20210073313A (ko) * 2019-12-10 2021-06-18 팅크웨어(주) 주행 관련 안내 서비스를 제공하는 차량용 단말 장치, 서비스 제공 서버, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
GB2598082A (en) * 2020-07-08 2022-02-23 Continental Automotive Gmbh Road mirror detection system and method
WO2023170927A1 (ja) * 2022-03-11 2023-09-14 三菱電機株式会社 移動方向判定装置、移動方向判定方法、及び移動方向判定プログラム
CN115082701B (zh) * 2022-08-16 2022-11-08 山东高速集团有限公司创新研究院 一种基于双摄像头的多水线交叉识别定位方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04118360A (ja) * 1990-09-06 1992-04-20 Daido Signal Co Ltd 踏切障害物検知装置
JPH08329398A (ja) * 1995-05-30 1996-12-13 Nissan Motor Co Ltd 走行路検出装置
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
KR100466458B1 (ko) * 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
US6501794B1 (en) * 2000-05-22 2002-12-31 Microsoft Corporate System and related methods for analyzing compressed media content
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
WO2005024754A1 (ja) * 2003-09-02 2005-03-17 Fujitsu Limited 車載用画像処理装置
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
JP3931885B2 (ja) * 2004-02-16 2007-06-20 日産自動車株式会社 障害物検知装置
US7248718B2 (en) * 2004-02-19 2007-07-24 Siemens Corporate Research, Inc. System and method for detecting a passing vehicle from dynamic background using robust information fusion
JP3846494B2 (ja) * 2004-07-13 2006-11-15 日産自動車株式会社 移動障害物検出装置
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
US20080306666A1 (en) 2007-06-05 2008-12-11 Gm Global Technology Operations, Inc. Method and apparatus for rear cross traffic collision avoidance
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US20100201508A1 (en) 2009-02-12 2010-08-12 Gm Global Technology Operations, Inc. Cross traffic alert system for a vehicle, and related alert display method
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
US8232872B2 (en) 2009-12-03 2012-07-31 GM Global Technology Operations LLC Cross traffic collision alert system
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法
CN102157072B (zh) * 2011-03-29 2013-03-20 北京航空航天大学 一种交叉口车辆合流诱导装置及其诱导方法
US9064408B2 (en) 2011-09-26 2015-06-23 Toyota Jidosha Kabushiki Kaisha Rear cross traffic alert device
CN102592454A (zh) * 2012-02-29 2012-07-18 北京航空航天大学 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US9460354B2 (en) * 2012-11-09 2016-10-04 Analog Devices Global Object detection
KR102077498B1 (ko) * 2013-05-13 2020-02-17 한국전자통신연구원 상호 기하 관계가 고정된 카메라 군의 이동 경로 추출 장치 및 방법
US8977060B2 (en) * 2013-05-16 2015-03-10 Microsoft Technology Licensing, Llc Motion stabilization and detection of articulated objects
CN103942560B (zh) * 2014-01-24 2017-06-16 北京理工大学 一种智能交通监控系统中的高分辨率视频车辆检测方法
CN109884618B (zh) * 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
DE102014209137B4 (de) 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
JP5949861B2 (ja) * 2014-09-05 2016-07-13 トヨタ自動車株式会社 車両の接近物体検出装置及び車両の接近物体検出方法
CN105574552A (zh) * 2014-10-09 2016-05-11 东北大学 一种基于单目视觉的车辆测距与碰撞预警方法
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5777690A (en) * 1995-01-20 1998-07-07 Kabushiki Kaisha Toshiba Device and method for detection of moving obstacles

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IKURO SATO ET AL: "Crossing obstacle detection with a vehicle-mounted camera", INTELLIGENT VEHICLES SYMPOSIUM (IV), 2011 IEEE, IEEE, 5 June 2011 (2011-06-05), pages 60 - 65, XP031998914, ISBN: 978-1-4577-0890-9, DOI: 10.1109/IVS.2011.5940404 *
LEFAIX G ET AL: "Motion-based obstacle detection and tracking for car driving assistance", PATTERN RECOGNITION, 2002. PROCEEDINGS. 16TH INTERNATIONAL CONFERENCE ON QUEBEC CITY, QUE., CANADA 11-15 AUG. 2002, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, vol. 4, 11 August 2002 (2002-08-11), pages 74 - 77, XP010613474, ISBN: 978-0-7695-1695-0, DOI: 10.1109/ICPR.2002.1047403 *
YAMAGUCHI K ET AL: "Moving Obstacle Detection using Monocular Vision", 2006 IEEE INTELLIGENT VEHICLES SYMPOSIUM : MEGURO-KU, JAPAN, 13 - 15 JUNE 2006, IEEE, PISCATAWAY, NJ, USA, 13 June 2006 (2006-06-13), pages 288 - 293, XP010937028, ISBN: 978-4-901122-86-3, DOI: 10.1109/IVS.2006.1689643 *

Also Published As

Publication number Publication date
US20180082132A1 (en) 2018-03-22
CN107845290A (zh) 2018-03-27
EP3299994A1 (en) 2018-03-28
US10242272B2 (en) 2019-03-26
CN107845290B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
IT201600094858A1 (it) Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
JP7144398B2 (ja) 自車両の周辺領域を捕捉するためのカメラ装置並びに方法
US9547912B2 (en) Method for measuring the height profile of a vehicle passing on a road
Yang et al. Ds-pass: Detail-sensitive panoramic annular semantic segmentation through swaftnet for surrounding sensing
IT201600094414A1 (it) Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo
JP4899424B2 (ja) 物体検出装置
US20190325597A1 (en) Simultaneous Localization And Mapping Constraints In Generative Adversarial Networks For Monocular Depth Estimation
US20240062657A1 (en) Temporal information prediction in autonomous machine applications
JP5782088B2 (ja) 歪みのあるカメラ画像を補正するシステム及び方法
JP4271720B1 (ja) 車両周辺監視装置
JP2013225289A (ja) 複眼カメラ装置、及びそれを備えた車両
JP2010198552A (ja) 運転状況監視装置
JP4486997B2 (ja) 車両周辺監視装置
JP2016009487A (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
US20170318279A1 (en) Stereo camera apparatus and vehicle comprising the same
TWI531499B (zh) Anti-collision warning method and device for tracking moving object
WO2016151976A1 (ja) 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
US10417507B2 (en) Freespace detection apparatus and freespace detection method
IT201900001833A1 (it) Un procedimento per rilevare oggetti in movimento mediante una telecamera in movimento, e relativo sistema di elaborazione, dispositivo e prodotto informatico
Thakurdesai et al. Computer vision based position and speed estimation for accident avoidance in driverless cars
Rill et al. Collision Avoidance Using Deep Learning-Based Monocular Vision
Nambi et al. FarSight: a smartphone-based vehicle ranging system
Nikolić Embedded vision in advanced driver assistance systems