DE112010004163B4

DE112010004163B4 - Querverkehrkollisions-Warnsystem

Info

Publication number: DE112010004163B4
Application number: DE112010004163.6T
Authority: DE
Inventors: Shuqing Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2009-12-03
Filing date: 2010-10-13
Publication date: 2021-12-16
Anticipated expiration: 2030-10-14
Also published as: CN102792314A; DE112010004163T5; WO2011068593A2; US8232872B2; WO2011068593A3; CN102792314B; US20110133917A1

Abstract

Querverkehrkollisions-Warnsystem, das umfasst:eine bildgestützte Detektierungsvorrichtung zum Erfassen von Bewegungsdaten von Objekten in einem Gebiet (15) einer Fahrtrichtung eines gefahrenen Fahrzeugs (12);ein Bewegungsanalysemodul (22) zum Überwachen der erfassten Bewegungsdaten, wobei das Bewegungsanalysemodul (22) potentiell sich bewegende Objekte in den erfassten Bewegungsdaten identifiziert;ein Modul (24) für die Detektierung wesentlicher Gebiete zum Identifizieren interessierender Gebiete innerhalb der erfassten Bewegungsdaten, das wenigstens Abschnitte potentiell sich bewegender Objekte angibt, wobei das Modul (24) wesentlicher Gebiete innerhalb der erfassten Bewegungsdaten Gebiete detektiert, die veränderliche Eigenschaften aufweisen;ein voraussagendes Objektdetektierungsmodul (26), das auf die Ausgaben des Bewegungsanalysemoduls (22) und des Moduls (24) für die Detektierung wesentlicher Gebiete anspricht, um auf der Grundlage potentiell sich bewegender Objekte, die durch das Bewegungsanalysemodul (22) und durch das Modul (24) für die Detektierung wesentlicher Gebiete identifiziert werden, wenigstens einen Objektkandidaten zu erzeugen;nicht abbildende Objektdetektierungssensoren (16) zum Detektieren des wenigstens einen Objektkandidaten in einem durch die nicht abbildenden Objektdetektierungssensoren (16) erfassten Gebiet (17);ein Objektnachführungsmodul (28) zum Nachführen des wenigstens einen durch das voraussagende Objektdetektierungsmodul (26) und durch die nicht abbildenden Objektdetektierungssensoren (16) detektierten Objektkandidaten, wobei das Objektnachführungsmodul (28) den wenigstens einen Objektkandidaten, der zwischen dem durch die nicht abbildenden Objektdetektierungssensoren (16) erfassten Gebiet (17) und dem durch die bildgestützte Erfassungsvorrichtung erfassten Gebiet (15) übergeht, vereinigt, wobei das Objektnachführungsmodul (28) eine Position und eine Geschwindigkeit des wenigstens einen Objektkandidaten in Bezug auf das gefahrene Fahrzeug (12) nachführt, wobei das Vereinigen des wenigstens einen Objektkandidaten, der zwischen den Gebieten (15, 17) übergeht, das Zusammenführen von Objektdaten, die den wenigstens einen Objektkandidaten in den Bewegungsdaten repräsentieren, mit potentiellen Objekten in dem Gebiet (17), die durch die nicht abbildenden Objektdetektierungssensoren (16) erfasst wurden, enthält; undein Gefahrbeurteilungsmodul (30) zum Bestimmen einer Gefahrbeurteilung einer potentiellen Kollision zwischen einem nachgeführten Objektkandidaten und dem gefahrenen Fahrzeug (12), wobei das Gefahrbeurteilungsmodul (30) bestimmt, ob in Ansprechen auf die Gefahrbeurteilung eine Warnung ausgegeben werden soll.

Description

HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich allgemein auf das Bestimmen einer Kollisionsgefahr für Querverkehrskollisionen.
Im Gebiet sind verschiedene Arten von Sicherheitssystemen bekannt, um die Insassen eines Fahrzeugs im Fall einer Kollision zu schützen. Einige dieser Systeme versuchen, die Kollision zu verhindern, bevor sie auftritt, indem sie den Fahrzeugbetreiber vor einer potentiellen Kollisionssituation warnen. Zum Beispiel kann ein Vorwärtskollisions-Warnsystem (FCW) eine nach vorn blickende Laser- oder Radarvorrichtung nutzen, die den Fahrzeugfahrer vor einer potentiellen Kollisionsgefahr warnt. Die Warnungen können eine visuelle Angabe auf dem Armaturenbrett des Fahrzeugs oder auf einer Headup-Anzeige (HUD) sein und/oder können eine Audio-Warnung oder eine Vibrationsvorrichtung wie etwa ein HAPTIC-Sitz sein. Andere Systeme versuchen eine Kollision dadurch zu verhindern, dass sie direkt eine Bremsaktion anwenden, falls der Fahrer nicht auf rechtzeitige Weise auf eine Warnung anspricht.
DE 10 2008 026 396 A1 offenbart ein Verfahren und eine Vorrichtung zur Vermeidung einer Kollision mit rückwärtigem Querverkehr. Im Fall einer Kollisionsgefahr durch den Querverkehr wird beispielsweise ein Fahreralarm oder ein automatisches Bremsen bereitgestellt. Zum Detektieren von Objekten in dem Querverkehr weist das System Objektsensoren, beispielsweise Ultrabreitband-Radar- und/oder ein Kamerasystem auf.
US 2007/0168128 A1 beschreibt ein Fahrunterstützungssystem für ein Fahrzeug, das das Fahren eines Fahrzeugs unter Verwendung eines Radar- und Bilderkennungsmittels als Hinderniserfassungsmittel unterstützt.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Vorteil einer Ausführungsform ist die Detektierung von Querverkehr durch Nachführen und Vereinigen von durch kurzreichweitige Radarsensoren und bilderkennungsgestützte Vorrichtungen erfassten Daten. Wenn die Objekte detektiert worden sind, werden die Position und die Geschwindigkeit der Objekte nachgeführt, um eine potentielle Interaktion mit dem gefahrenen Fahrzeug zu bestimmen.
Eine Ausführungsform betrachtet ein Querverkehrkollisions-Warnsystem für ein gefahrenes Fahrzeug. Ein Querverkehrkollisions-Warnsystem enthält eine bildgestützte Detektierungsvorrichtung zum Erfassen von Bewegungsdaten von Objekten in einem Gebiet einer Fahrtrichtung eines gefahrenen Fahrzeugs. Ein Bewegungsanalysemodul überwacht die erfassten Bewegungsdaten. Das Bewegungsanalysemodul identifiziert potentielle bewegte Objekte in den erfassten Bewegungsdaten. Ein Modul für die Detektierung wesentlicher Gebiete identifiziert innerhalb der erfassten Bewegungsdaten interessierende Gebiete, die wenigstens Abschnitte potentiell bewegter Objekte angeben. Das Modul für wesentliche Gebiete detektiert Gebiete, die innerhalb der erfassten Bewegungsdaten veränderliche Eigenschaften aufweisen. Ein voraussagendes Objektdetektierungsmodul, das auf die Ausgaben des Bewegungsanalysemoduls und des Moduls für die Detektierung wesentlicher Gebiete anspricht, erzeugt auf der Grundlage der durch das Bewegungsanalysemodul und durch das Modul für die Detektierung wesentlicher Gebiete identifizierten potentiellen bewegten Objekte wenigstens einen Objektkandidaten. Nicht abbildende Objektdetektierungssensoren detektieren den wenigstens einen Objektkandidaten in einem durch die nicht abbildenden Objektdetektierungssensoren erfassten Gebiet. Ein Objektnachführungsmodul führt den wenigstens einen durch das voraussagende Objektdetektierungsmodul und durch die nicht abbildenden Objektdetektierungssensoren detektierten Objektkandidaten nach. Das Objektnachführungsmodul vereinigt den wenigstens einen Objektkandidaten, der zwischen dem durch die nicht abbildenden Objektdetektierungssensoren erfassten Gebiet und dem durch die abbildungsgestützte Erfassungsvorrichtung erfassten Gebiet übergeht. Das Objektnachführungsmodul führt eine Position und eine Geschwindigkeit des wenigstens einen Objektkandidaten in Bezug auf das gefahrene Fahrzeug nach. Der wenigstens eine Objektkandidat, der zwischen den Gebieten übergeht, wird vereinigt, was das Zusammenführen von Objektdaten, die den wenigstens einen Objektkandidaten in den Bewegungsdaten repräsentieren, mit Sätzen von Partikeln, die potentielle Objekte in dem durch die nicht abbildenden Objektdetektierungssensoren erfassten Gebiet repräsentieren, enthält. Ein Gefahrbeurteilungsmodul bestimmt eine Gefahrbeurteilung einer potentiellen Kollision zwischen einem nachgeführten Objektkandidaten und dem gefahrenen Fahrzeug. Das Gefahrbeurteilungsmodul bestimmt, ob in Ansprechen auf die Gefahrbeurteilung eine Warnung gegeben werden sollte.
Es wird ein Verfahren zum Detektieren einer potentiellen Kollision zwischen einem gefahrenen Fahrzeug und einem Objekt, das einen Weg des gefahrenen Fahrzeugs kreuzt, geschaffen. Ein potentielles bewegtes Objekt wird unter Verwendung von nicht abbildenden Objektdetektierungssensoren in einem durch die nicht abbildenden Objektdetektierungssensoren erfassten Gebiet detektiert. Bewegungsdaten von Objekten in einem Gebiet einer Fahrtrichtung des gefahrenen Fahrzeugs werden durch eine bildgestützte Detektierungsvorrichtung erfasst. Es werden potentielle bewegte Objekte aus den erfassten Bewegungsdaten in dem durch die bildgestützte Detektierungsvorrichtung erfassten Gebiet detektiert. Innerhalb der erfassten Bilddaten, die potentielle bewegte Objekte enthalten, werden interessierende Gebiete identifiziert. Es wird eine voraussagende Objektdetektierungsanalyse angewendet, die auf das identifizierte potentielle bewegte Objekt und auf die identifizierten interessierenden Gebiete innerhalb der erfassten Bewegungsdaten anspricht, um bei dem identifizierten potentiellen bewegten Objekt, das potentiell auf einem Kollisionsweg mit dem gefahrenen Fahrzeug ist, nachzuführen. Die potentiellen bewegten Objekte, die zwischen einem durch die nicht abbildenden Objektdetektierungssensoren erfassten Gebiet und dem durch die bildgestützte Erfassungsvorrichtung erfassten Gebiet übergehen, werden vereinigt. Das Objektnachführungsmodul führt eine Position und eine Geschwindigkeit der potentiellen bewegten Objekte in Bezug auf das gefahrene Fahrzeug nach. Es wird eine Gefahrbeurteilung einer potentiellen Kollision zwischen einem nachgeführten Objekt und dem gefahrenen Fahrzeug bestimmt. In Ansprechen auf die Gefahrbeurteilung wird eine Warnung vor einer potentiellen Kollision zwischen einem Objekt und dem gefahrenen Fahrzeug ausgegeben.
Figurenliste

1 ist eine Darstellung eines mit einem Querverkehr-Detektierungssystem ausgestatteten Fahrzeugs.
2 ist eine Draufsicht eines Fahrzeugs in einem Fahrzeugkoordinatensystem.
3 ist ein Blockschaltplan eines Querverkehr-Detektierungsprozesses.
4 ist ein Ablaufplan für die Bewegungsanalyse.
5 ist ein Ablaufplan zum Identifizieren interessierender wesentlicher Gebiete.
6 ist eine beispielhafte Darstellung einer Kantendetektierungskarte.
7 ist eine beispielhafte Darstellung einer Eckendetektierungskarte.
8 ist eine beispielhafte Darstellung einer Blob-Detektierungskarte.
9 ist eine beispielhafte Darstellung einer Karte zur Detektierung interessierender wesentlicher Gebiete.
10 ist ein Blockschaltplan eines voraussagenden Objektdetektierungsmoduls.
11 ist ein Fahrzeugdynamikmodul zweier interagierender Fahrzeuge.
12 ist ein Ablaufplan für einen Gefahrbeurteilungsprozess.

AUSFÜHRLICHE BESCHREIBUNG
In 1 ist allgemein bei 10 eine Darstellung eines Fahrzeugs 12 gezeigt, das mit einem Querverkehrsobjekt-Detektierungssystem zum Überwachen eines erfassten Gebiets auf potentielle Kollisionen mit Querverkehr ausgestattet ist. Das Fahrzeug 12, wie es gezeigt ist, dient zu Beispielzwecken, und es ist festzustellen, dass das Fahrzeug irgendeinem Fahrzeugtyp wie etwa einen PKW, einen LKW, ein SUV oder ein Motorrad enthalten kann. Das Fahrzeug ist mit einer Videoabbildungsvorrichtung 14 zum Erfassen von Bildern in einem Gebiet 15 und mit nicht abbildenden Objektdetektierungssensoren 16 (z. B. kurzreichweitigen Radarsensoren), die auf jeder Seite des Fahrzeugs eingebaut sind, um Objekte in einem Gebiet 17 (d. h. auf beiden Seiten des Fahrzeugs) zu detektieren, ausgestattet. Die in 1 gezeigte Videoabbildungsvorrichtung 14 ist der Rückseite des Fahrzeugs 12 zugewandt eingebaut, um Bilder in einer Rückansichtsposition zu erfassen. Die nicht abbildenden Objektdetektierungssensoren 16 sind an den rückwärtigen Seiten des Fahrzeugs eingebaut, um zusammenwirkend mit der Videoabbildungsvorrichtung 14 Objekte entlang eines Querfahrwegs des sich rückwärts bewegenden Fahrzeugs 12 zu detektieren. Im Ergebnis enthalten die jeweiligen Detektierungsgebiete sowohl der Videoabbildungsvorrichtung 14 als auch der nicht abbildenden Objektdetektierungssensoren 16 nicht überlappende Gebiete. Überlappende Gebiete wie etwa jene bei 18 Gezeigten können durch eine Überlappung des Gebiets 15 und des Gebiets 17 gebildet werden. Das hintere Querverkehrsobjekt-Detektierungssystem vermeidet eine potentielle Kollision zwischen dem Fahrzeug 12, das sich aus einem Stellplatz herausbewegt, und einem Fahrzeug 19, das den Weg des Fahrzeugs 12 wie in 2 dargestellt kreuzt. Obgleich sich die hier beschriebene Ausführungsform auf ein rückwärts gefahrenes Fahrzeug bezieht, ist festzustellen, dass das System, für ein vorwärts gefahrenes Fahrzeug genutzt werden kann, bei dem die Sensoren und die Videoabbildungsvorrichtung an anderer Stelle eingebaut sein können, um vorderen Querverkehr zu detektieren.
3 veranschaulicht einen Blockschaltplan des Querverkehrsobjekt-Detektierungsprozesses. Es wird hier eine Zusammenfassung des Systems beschrieben. Ein Videodatenstrom 20, der durch die Videoabbildungsvorrichtung erfasst wird, wird an ein Bewegungsanalysemodul 22 und an ein Modul 24 für die Detektierung wesentlicher Gebiete angelegt.
Das Bewegungsanalysemodul 22 überwacht den erfassten Eingangsvideodatenstrom und hebt Bewegungs-Blobs in dem Bild hervor. Der Begriff Blob, wie er hier verwendet ist, repräsentiert etwas, das in dem Bild vorhanden ist, im Moment aber nicht gut definiert ist, um zu bestimmen, ob das Bild ein Fahrzeug, ein sich bewegendes Objekt, ein feststehendes Objekt oder eine andere Entität ist.
Das Modul 24 für die Detektierung wesentlicher Gebiete überwacht jedes Einzelbild des erfassten Videoeingangsdatenstroms und liefert interessierende Gebiete, die die Anwesenheit von Objekten oder Teilen von Objekten in einer jeweiligen Bildebene angeben könnten. Die Ausgaben von dem Bewegungsanalysemodul 22 und von dem Modul 24 für die Detektierung wesentlicher Gebiete werden an ein voraussagendes Objektdetektierungsmodul 26 geliefert.
Das voraussagende Objektdetektierungsmodul 26 überwacht die Ausgaben des Bewegungsanalysemoduls 22 und des Moduls 24 für die Detektierung wesentlicher Gebiete, um für jedes hervorgehobene Objekt mehrere Bildkandidaten zu erzeugen. Die Ausgabe des voraussagenden Objektdetektierungsmoduls 26 wird durch ein Objektnachführungsmodul 28 analysiert. An das Objektnachführungsmodul 28 werden Ausgaben von den nicht abbildenden Objektdetektierungssensoren 16 geliefert.
Das Objektnachführungsmodul 28 vereinigt die Objekte auf der Grundlage der von dem voraussagenden Objektdetektierungsmodul 26 und von den nicht abbildenden Objektdetektierungssensoren 16 zugeführten Daten und identifiziert jeweilige Attribute wie etwa die Position und die Geschwindigkeit eines jeweiligen Objekts. Die vereinigten Daten von dem Objektnachführungsmodul 28 werden an ein Gefahrbeurteilungsmodul 30 geliefert, das die Gefahr eines kreuzenden Objekts bestimmt und das außerdem bestimmt, ob eine Warnmeldung über eine HMI 31 oder ähnlich an den Fahrer des Fahrzeugs zu betätigen ist.
4 veranschaulicht einen Blockschaltplan eines Bewegungsanalysemoduls 22. Das Bewegungsanalysemodul 22 segmentiert Bewegungsmerkmale von dem Bild als Ganzes. Die Bewegungsmerkmale werden aus zwei aufeinanderfolgenden Eingangseinzelbildern 32 und 34 abgeleitet. Die Eingangseinzelbilder 32 und 34 werden zu jeweiligen Einzelbildern 36 und 38 normalisiert. Auf die normalisierten Einzelbilder 36 und 38 wird ein Lichtflussoperator angewendet, um ein Bewegungsmerkmalbild 40 zu erzeugen. Aus dem Bewegungsmerkmalbild 40 werden segmentierte Objekte 42 abgeleitet. Die segmentierten Objekte 42 werden durch Ermitteln eines Blobs eines lokalen Maximums in dem Bewegungsmerkmalbild 40 bestimmt.
Für ein jeweiliges Bild, auf das das Bild-Einzelbild angewendet wird, sei It(x, y) das Bild-Einzelbild zum Zeitpunkt t, wobei x und y die Zeilen bzw. Spalten der Pixel repräsentieren. Die normalisierten Einzelbilder 36 und 38 werden durch die Formel wie folgt repräsentiert: $N (x, y) = \frac{I (x, y) - μ {I (x, y)}}{σ {I (x, y)}} σ' + μ',$
wobei der Operator µ{} den Mittelwert repräsentiert und der Operator σ{} die Standardabweichung einer Intensität der Pixel im Bild-Einzelbild I(x, y) repräsentiert und µ' und σ' vorgegebene Parameter sind.
Auf zwei aufeinanderfolgende Bild-Einzelbilder I_t-1(x, y) und It(x, y) wird ein Lichtflussoperator wie etwa Lucas-Kanada angewendet. Der Zeitpunkt t repräsentiert ein Einzelbild zum gegenwärtigen Zeitpunkt für das erfasste Bild, während der Zeitpunkt t-1 ein Einzelbild zum vorhergehenden Zeitpunkt des erfassten Bilds repräsentiert. Im Ergebnis kann auf der Grundlage der Bewegung des Objekts zwischen dem Einzelbild t zum gegenwärtigen Zeitpunkt und dem Einzelbild t-1 zum vorhergehenden Zeitpunkt, was als Lichtflussbild bekannt ist, ein bewegtes Objekt detektiert werden. Auf das Lichtflussbild wird eine Nachführung eines Schwellenwerts und verbundener Komponenten angewendet, um in dem Ausgangsbild Gebiete von Kandidaten zu identifizieren, wo erhebliche Bewegung detektiert wird.
Das wie in 1 beschriebene Modul 24 für wesentliche Gebiete detektiert Gebiete in dem Bild, die im Vergleich zu anderen Objekten in dem Bild erheblich veränderliche Eigenschaften (z. B. hellere oder dunklere Eigenschaften) aufweisen oder die mehr Kanten und Ecken als die umgebenden Objekte in dem Bild aufweisen. Diese jeweiligen Gebiete schließen üblicherweise Objekte oder Teile von Objekten ein, sodass es vorteilhaft ist, solche jeweiligen Gebiete zur weiteren Bewertung zu identifizieren.
5 veranschaulicht den Prozess zum Identifizieren wesentlicher interessierender Gebiete. In Schritt 50 wird die Routine zum Identifizieren der wesentlichen interessierenden Gebiete initiiert. In Schritt 51 wird der Eingangsvideodatenstrom erfasst und analysiert.
In Schritt 52 werden aus dem Eingangsvideodatenstrom Kanten bestimmt. In 6 ist eine Kantenkarte gezeigt, die die Kanten identifiziert.
In Schritt 53 werden aus dem Eingangsvideodatenstrom Ecken bestimmt. In 7 ist eine Eckenkarte gezeigt, die Ecken identifiziert.
In Schritt 54 werden aus dem Eingangsvideodatenstrom Blobs bestimmt. In 8 ist eine Karte wesentlicher Blobs gezeigt, die Blobs identifiziert.
In Schritt 55 werden die detektierten Kanten, Ecken und wesentlichen Blobs kombiniert, um wesentliche interessierende Gebiete zu identifizieren. In 9 ist eine Karte wesentlicher interessierender Gebiete, die interessierende Gebiete identifiziert, gezeigt.
In Bezug auf den Prozess zum Detektieren wesentlicher Blobs aus 54 wird auf das Bild ein Gauß'scher Operator angewendet. Für das Eingangsbild I(x, y) wird das Bild mit einem Gaußschen Kern gefaltet, der durch die folgende Formel repräsentiert wird: $\begin{array}{l} g (x, y, t) = \frac{1}{2 π t} e^{\frac{(x^{2} + y)}{2 t}} \\ , \end{array}$
die in einer bestimmte Skale t gegeben ist, um eine Skalenraumdarstellung zu liefern. Diese ist durch die folgende Formel repräsentiert: $\begin{array}{l} L (x, y, t) = g (x, y, t) * f (x, y) \\ . \end{array}$
Es wird ein skalennormalisierter Operator der Differenz Gauß'scher Operatoren (DoG-Operator) berechnet. Der DoG-Operator wird durch die folgende Formel repräsentiert: $\begin{array}{l} D o G {I (x, y); t} = \frac{1}{2 Δ t} (L (x, y; t + Δ t) - L (x, y); t - Δ t) \\ . \end{array}$
Um die wesentlichen Blobs zu ermitteln, werden Punkte identifiziert, die gleichzeitig lokale Maxima/ Minima der DoG-Operation sowohl in Bezug auf den Raum als auch in Bezug auf die Skale sind. Dies kann durch die folgende Formel repräsentiert werden: $(\hat{x}, \hat{y}, \hat{t}) = {arg max min}_{(x, y, t)} (D o G {I (x, y), t})$
10 veranschaulicht einen Blockschaltplan eines voraussagenden Objektdetektierungsmoduls 26. Das voraussagende Objektdetektierungsmodul 26 überwacht Ausgaben von dem Bewegungsanalysemodul und von dem Modul zum Detektieren wesentlicher Blobs. Außerdem empfängt das voraussagende Objektdetektierungsmodul 26 von dem Objektnachführungsmodul Ausgaben zu einem früheren Zeitpunkt. Die an das voraussagende Objektdetektierungsmodul 26 gelieferten wesentlichen interessierenden Gebiete können als Positionen und Größen in dem Bild-Einzelbild repräsentiert werden. Ein Bildausschnitt-Extraktionsmodul 61 extrahiert ein Teilbild S_k, das ein Objekt einschließen kann, durch Angabe des Orts und der Größe der Eingangsbildausschnitte oder der vorhergehenden Position und Größe eines Objekts. Ein Merkmalsextraktionsmodell 62 berechnet eine Verteilung der Kanten, der Ecken oder ein Erscheinen des ausgewählten Teilbildausschnitts Sk. Die berechnete Verteilung wird auf einen Merkmalsdeskriptorvektor f_k abgebildet. Daraufhin klassifiziert das Objektdetektormodul 63, ob der Merkmalsdeskriptorvektor ein Objekt repräsentiert. Ein Vektor p_k = (u, v) repräsentiert einen Ort eines unteren Abschnitts des Teilbilds Sk, wobei u der Zeilen- und v der Spaltenindex des Orts ist.
In der Merkmalsextraktion werden zahlreiche Merkmalsdeskriptoren [engl.: „featured descriptors“], einschließlich, aber nicht beschränkt auf, skaleninvarianter Merkmalstransformation (SIFT), beschleunigter robuster Merkmale (SURF), maximal stabiler Extremgebiete (MSER), Histogramm orientierter Gradienten (HOG) und Eigenbildkoeffizienten, verwendet. Ein Kernteil des Objektdetektormoduls enthält einen statistischen Klassierer, der unter Verwendung einer erheblichen Anzahl von Objekt- und Nicht-Objekt-Bildproben trainiert wird. Solche Klassierer können eine Unterstützungsvektormaschine (SVM) und ein neuronales Netzwerk (NN) enthalten, sind darauf aber nicht beschränkt.
Das Objektnachführungsmodul 28 überwacht Ausgaben des voraussagenden Detektierungsmoduls 26 und der kurzreichweitigen Radarerfassungsvorrichtungen (SRR-Erfassungsvorrichtungen) und vereinigt Objektinformationen, die von diesen jeweiligen Sensoren erhalten werden. Das Objektnachführungsmodul 28 erzeugt vereinigte Objektdaten wie etwa Position und Geschwindigkeit in einem Trägerfahrzeug-Koordinatensystem. Von dem Objektnachführungsmodul kann eine Partikelfilterung verwendet werden.
Die durch die SRR-Erfassungsvorrichtungen erhaltenen SRR-Entfernungsdaten können repräsentiert werden durch: ${q_{k} = (r_{n}, {\dot{r}}_{n}, θ_{n}) | n = 1,...., M |},$
wobei r die Entfernung, ̇̇r die Entfernungsrate und θ den Azimutwinkel des n-ten Radarobjekts repräsentiert.
Unter der Annahme, dass das Objektdetektormodul N Objektkandidaten liefert, die durch die Orte {p₁k | k = 1, ..., N} in der Bildebene repräsentiert werden, kann das k-te Objekt in der homogenen Darstellung wie folgt geschrieben werden: $q_{k} = {(u_{k}, v_{k},1)}^{τ} | k = 1,...., N |$
Falls angenommen wird, dass die Bodenoberfläche durch eine flache Ebene angenähert werden kann, gibt es zwischen der Bodenebene und der Bildebene der Kamera eine homographische Transformation H, sodass $q = H X$
gilt, wobei q die homogene Darstellung des Bildorts repräsentiert und die folgende Formel die homogene Darstellung der Objektposition in der Bodenebene repräsentiert: $\begin{array}{l} X = {(x', y',1)}^{τ} \\ . \end{array}$
H kann durch die intrinsischen Parameter (z. B. Brennweite, optische Mitte und Verzerrung) und durch die extrinsischen Parameter (z. B. den Ort und die Orientierung der Videoerfassungsvorrichtung in dem Trägerfahrzeugsystem) der Videoerfassungsvorrichtung bestimmt werden, die durch einen Kalibrierungsprozess der Videoerfassungsvorrichtung erhalten werden können.
Ferner wird angenommen, dass der Ort p_k des k-ten Objekts der Projektion des Objekts auf die Bodenebene entspricht. Somit können die Zielpositionen in dem Fahrzeugsystem als homogene Koordinaten {X_k = H^-1q_k | k = 1, ..., N} geschrieben werden. Somit kann für das k-te Objekt X_k = {x'_ok, y'_ok, c_k}, die x-y-Koordinate in dem Fahrzeugsystem geschrieben werden als: $\begin{array}{l} x_{o k} = \frac{x'_{o k}}{c_{k}}, y_{o k} = \frac{y'_{o k}}{c_{k}} \\ . \end{array}$
11 veranschaulicht ein Anlagenmodell einer dynamischen Bewegung zwischen dem rückwärts gefahrenen Fahrzeug und dem Zielfahrzeug zur Bestimmung eines geplanten Wegs des rückwärts gefahrenen Fahrzeugs. Die Attribute des Fahrzeugs für das Objektnachführungsmodul enthalten x = (x, y, Φ, ω, v), wobei in dieser Reihenfolge x, y die x-y-Position repräsentiert, Φ die Stellung repräsentiert, ω die Winkelgeschwindigkeit (z. B. die Änderungsrate der Stellung) repräsentiert und v die Geschwindigkeit des Objekts repräsentiert.
Die dynamischen Entwicklungen des Objekts können wie folgt repräsentiert werden: $x' = x + (v cos θ + y ω_{H} - v_{x H}) Δ T + Δ T cos ϕ_{O_{2}};$
$y' = y + (v cos θ + x ω_{H} - v_{x H}) Δ T + Δ T sin ϕ_{O_{2}};$
$ϕ' = ϕ + (ω - ω_{H}) Δ T + Δ T' o_{1};$
$ω' = ω +' o_{1}$
und $v' = ω +' o_{2}$
wobei x' = (x', y', Φ', ω', v') den Objektzustand zum nächsten Zeitpunkt repräsentiert; v_xH und v_yH die Längsgeschwindigkeit bzw. die Quergeschwindigkeit des Trägerfahrzeugs repräsentieren und ω_H die Gierrate des Trägerfahrzeugs repräsentiert.
Die Messwerte des Objekts in dem Fahrzeugsystem können einen Videoschätzwert (x_1ok, y_1ok), einen Radarschätzwert (rn, ṙ_n, θ_n) oder beide enthalten. Im Ergebnis können die Messwertgleichungen wie folgt geschrieben werden: $x_{o k} = x + v_{1};$
$y_{o k} = y + v_{2};$
$r_{k} = \sqrt{x^{2} + y^{2}} + v_{3};$
${\dot{r}}_{k} = \frac{x v cos ϕ + y v sin ϕ}{r_{k}} + v_{4};$
$\begin{array}{l} θ_{k} = {tan}^{- 1} (\frac{y}{x}) + v_{5} \\ , \end{array}$
wobei v einen Messwert mit dem Mittelwert 0 für weißes Gaußsches Rauschen für jede Frage repräsentiert.
Das Bedrohungsbeurteilungsmodul beurteilt alle nachgeführten Objekte und bestimmt, ob ein Objekt eine unmittelbare Bedrohung ist oder nicht.
Die Ausgabe des Objektnachführungsmoduls kann als Satz von Partikeln angesehen werden, wobei jeder Satz von Partikeln mögliche Zustandsvektoren eines nachgeführten Objekts repräsentiert. Für ein k-tes Objekt wird der folgende Partikelsatz durch die folgende Gleichung repräsentiert: $\begin{array}{l} s = {x_{k}^{(i)} | i = 1,...., K} \\ , \end{array}$
wo K eine maximale Anzahl von Partikeln für jedes Objekt repräsentiert. Zur Bestimmung, ob das Fahrzeug auf einem geplanten Weg des Trägerfahrzeugs liegt, kann ein ähnliches Zielauswahlverfahren wie das in der gleichzeitig anhängigen Anmeldung mit der laufenden Nummer 11/758,187, eingereicht am 5. Juni 2007, die hier durch Bezugnahme mit aufgenommen ist, beschriebene verwendet werden. Außerdem kann die Bedrohungsbeurteilungswarnung durch Bestimmen der Merker in dem Zielauswahlverfahren verwendet werden. Der Prozentsatz der Merker wird zum Aktivieren einer Warnung für alle Partikel im Satz (s) des k-ten Objekts eingestellt. Falls der Prozentsatz höher als ein Schwellenwert (z. B. 90 %) ist, stellen die Objekte für das Trägerfahrzeug eine unmittelbare Bedrohung dar und ist eine geeignete Kollisionsgegenmaßnahme auszulösen.
12 veranschaulicht einen Ablaufplan der Bedrohungsbeurteilungsprozedur. In Schritt 70 werden alle nachgeführten Objekte von der Ausgabe des Objektnachführungsmoduls gesammelt.
In Schritt 71 wird eine Bestimmung vorgenommen, ob alle nachgeführten Objekte gesehen worden sind. Falls eine Bestimmung erfolgt, dass alle nachgeführten Objekte gesehen worden sind, wird die Routine in Schritt 72 abgeschlossen. Falls die Bestimmung erfolgt, dass nicht alle nachgeführten Objekte gesehen worden sind, geht die Routine zu Schritt 73 über, um ein ungesehenes Objekt von dem nachgeführten Objekt auszuwählen.
In Schritt 74 wird ein Prozentsatz der Partikel des Objekts bestimmt, um die Merker auszulösen, die eine Warnung oder automatische Bremsung aktivieren.
In Schritt 75 wird eine Bestimmung vorgenommen, ob der Prozentsatz höher als ein Schwellenwert ist. Falls der Prozentsatz nicht höher als der Schwellenwert ist, kehrt die Routine zu Schritt 71 zurück. Falls der Prozentsatz höher als der Schwellenwert ist, geht die Routine zu Schritt 76 über.
In Schritt 76 wird in Ansprechen darauf, dass der Prozentsatz höher als der Schwellenwert ist, ein Aktivierungssignal an eine Fahrzeug-Mensch-Maschine-Schnittstelle ausgegeben. Daraufhin kehrt die Routine zu Schritt 71 zurück.
Obwohl bestimmte Ausführungsformen der vorliegenden Erfindung ausführlich beschrieben worden sind, erkennt der Fachmann auf dem Gebiet, auf das sich diese Erfindung bezieht, verschiedene alternative Entwürfe und Ausführungsformen, um die wie durch die folgenden Ansprüche definierte Erfindung zu verwirklichen.

Claims

Querverkehrkollisions-Warnsystem, das umfasst: eine bildgestützte Detektierungsvorrichtung zum Erfassen von Bewegungsdaten von Objekten in einem Gebiet (15) einer Fahrtrichtung eines gefahrenen Fahrzeugs (12); ein Bewegungsanalysemodul (22) zum Überwachen der erfassten Bewegungsdaten, wobei das Bewegungsanalysemodul (22) potentiell sich bewegende Objekte in den erfassten Bewegungsdaten identifiziert; ein Modul (24) für die Detektierung wesentlicher Gebiete zum Identifizieren interessierender Gebiete innerhalb der erfassten Bewegungsdaten, das wenigstens Abschnitte potentiell sich bewegender Objekte angibt, wobei das Modul (24) wesentlicher Gebiete innerhalb der erfassten Bewegungsdaten Gebiete detektiert, die veränderliche Eigenschaften aufweisen; ein voraussagendes Objektdetektierungsmodul (26), das auf die Ausgaben des Bewegungsanalysemoduls (22) und des Moduls (24) für die Detektierung wesentlicher Gebiete anspricht, um auf der Grundlage potentiell sich bewegender Objekte, die durch das Bewegungsanalysemodul (22) und durch das Modul (24) für die Detektierung wesentlicher Gebiete identifiziert werden, wenigstens einen Objektkandidaten zu erzeugen; nicht abbildende Objektdetektierungssensoren (16) zum Detektieren des wenigstens einen Objektkandidaten in einem durch die nicht abbildenden Objektdetektierungssensoren (16) erfassten Gebiet (17); ein Objektnachführungsmodul (28) zum Nachführen des wenigstens einen durch das voraussagende Objektdetektierungsmodul (26) und durch die nicht abbildenden Objektdetektierungssensoren (16) detektierten Objektkandidaten, wobei das Objektnachführungsmodul (28) den wenigstens einen Objektkandidaten, der zwischen dem durch die nicht abbildenden Objektdetektierungssensoren (16) erfassten Gebiet (17) und dem durch die bildgestützte Erfassungsvorrichtung erfassten Gebiet (15) übergeht, vereinigt, wobei das Objektnachführungsmodul (28) eine Position und eine Geschwindigkeit des wenigstens einen Objektkandidaten in Bezug auf das gefahrene Fahrzeug (12) nachführt, wobei das Vereinigen des wenigstens einen Objektkandidaten, der zwischen den Gebieten (15, 17) übergeht, das Zusammenführen von Objektdaten, die den wenigstens einen Objektkandidaten in den Bewegungsdaten repräsentieren, mit potentiellen Objekten in dem Gebiet (17), die durch die nicht abbildenden Objektdetektierungssensoren (16) erfasst wurden, enthält; und ein Gefahrbeurteilungsmodul (30) zum Bestimmen einer Gefahrbeurteilung einer potentiellen Kollision zwischen einem nachgeführten Objektkandidaten und dem gefahrenen Fahrzeug (12), wobei das Gefahrbeurteilungsmodul (30) bestimmt, ob in Ansprechen auf die Gefahrbeurteilung eine Warnung ausgegeben werden soll.
System nach Anspruch 1, das ferner fahrzeuginterne Sensoren zum Erfassen der Lenkung und der Bewegung des gefahrenen Fahrzeugs (12) umfasst, wobei das Objektnachführungsmodul (28) in Ansprechen auf erfasste Eingangssignale von den fahrzeuginternen Sensoren einen Fahrtweg des gefahrenen Fahrzeugs (12) voraussagt, wobei das Objektnachführungsmodul (28) eine Rückkopplung des geplanten Wegs des gefahrenen Fahrzeugs (12) an das voraussagende Objektdetektierungsmodul (26) zum Vergleich zwischen einem Einzelbild (34) zum gegenwärtigen Zeitpunkt und einem Einzelbild (32) zum vorhergehenden Zeitpunkt des potentiell sich bewegenden Objekts liefert, um zu beurteilen, ob der wenigstens eine Objektkandidat potentiell auf einem Kollisionsweg mit dem gefahrenen Fahrzeug (12) liegt.
System nach Anspruch 1, wobei zum Bestimmen des geplanten Wegs des gefahrenen Fahrzeugs (12) ein Anlagenmodell verwendet wird.
System nach Anspruch 1, wobei das Objektnachführungsmodul (28) vereinigte Objektdaten erzeugt, die Positions- und Geschwindigkeitsdaten enthalten.
System nach Anspruch 1, wobei das voraussagende Objektdetektierungsmodul (26) Bewegungsanalyse und Szeneanalyse zum Identifizieren wesentlicher interessierender Gebiete verwendet.
System nach Anspruch 5, das ferner ein Bildausschnitt-Extraktionsmodul (61) zum Extrahieren von Bildausschnitten, das potentielle Objekte identifiziert, umfasst.
System nach Anspruch 6, das ferner ein Merkmalsextraktionsmodul (62) zum Bestimmen einer Verteilung von Kanten und Ecken eines Bildausschnitts umfasst, wobei die bestimmte Verteilung auf einen Merkmalsbeschreibungsvektor abgebildet wird.
System nach Anspruch 7, das ferner ein Objektdetektormodul (63) umfasst, um zu klassifizieren, ob der Merkmalsdeskriptorvektor ein Objekt repräsentiert.
System nach Anspruch 1, wobei die Objektdetektierungssensoren (16) kurzreichweitige Radarsensoren enthalten.
System nach Anspruch 1, wobei die Objektdetektierungssensoren (16) Seiten-Blindzonen-Warnsensoren enthalten.
System nach Anspruch 1, wobei die Bilderfassungsvorrichtung eine Videokamera (14) enthält.
System nach Anspruch 1, wobei das Objektnachführungsmodul (28) ein Partikelfilter zum Vereinigen von Kandidatenobjekten verwendet.
System nach Anspruch 1, wobei das durch die nicht abbildenden Detektierungssensoren (16) erfasste Gebiet (17) und das durch die bildgestützte Erfassungsvorrichtung erfasste Gebiet (15) nicht überlappende Gebiete (18) sind.
System nach Anspruch 1, wobei das durch die nicht abbildenden Erfassungssensoren erfasste Gebiet (17) und das durch die bildgestützte Detektierungsvorrichtung erfasste Gebiet (15) ein überlappendes Gebiet (18) enthalten, wobei das Objektnachführungsmodul (28) das wenigstens eine Kandidatenobjekt durch gemeinsame Verwendung der nicht abbildenden Detektierungssensoren (16) und der bildgestützten Detektierungsvorrichtung nachführt, während das wenigstens eine Kandidatenobjekt in dem überlappenden Gebiet (18) ist.
Verfahren zum Detektieren einer potentiellen Kollision zwischen einem gefahrenen Fahrzeug (12) und einem Objekt, das einen Weg des gefahrenen Fahrzeugs (12) kreuzt, wobei das Verfahren die folgenden Schritte umfasst: Detektieren eines potentiell sich bewegenden Objekts unter Verwendung nicht abbildender Objektdetektierungssensoren (16) in einem durch die nicht abbildenden Objektdetektierungssensoren (16) erfassten Gebiet (17); Erfassen von Bewegungsdaten von Objekten in einem Gebiet (15) einer Fahrtrichtung des gefahrenen Fahrzeugs (12) durch eine bildgestützte Detektierungsvorrichtung; Identifizieren eines potentiell sich bewegenden Objekts aus den erfassten Bewegungsdaten in dem durch die bildgestützte Detektierungsvorrichtung erfassten Gebiet (15); Identifizieren interessierender Gebiete innerhalb der erfassten Bilddaten, die potentiell sich bewegende Objekte enthalten; Anwenden einer voraussagenden Objektdetektierungsanalyse, die auf das identifizierte potentiell sich bewegende Objekt und auf die identifizierten interessierenden Gebiete innerhalb der erfassten Bewegungsdaten anspricht, um das identifizierte potentiell sich bewegende Objekt potentiell auf einem Kollisionsweg mit dem gefahrenen Fahrzeug (12) nachzuführen; Vereinigen der potentiell sich bewegenden Objekte, die zwischen einem durch die nicht abbildenden Objektdetektierungssensoren (16) erfassten Gebiet (17) und dem durch die bildgestützte Erfassungsvorrichtung erfassten Gebiet (15) übergehen, wobei das Vereinigen des wenigstens einen Objektkandidaten, der zwischen den interessierenden Gebieten übergeht, das Zusammenführen von Objektdaten, die den wenigstens einen Objektkandidaten in den Bewegungsdaten repräsentieren, mit potentiellen Objekten in dem Gebiet (17), die durch die nicht abbildenden Objektdetektierungssensoren (16) erfasst werden, enthält, wobei eine Position und eine Geschwindigkeit der potentiell sich bewegenden Objekte in Bezug auf das gefahrene Fahrzeug (12) nachgeführt werden; Bestimmen einer Bedrohungsbeurteilung einer potentiellen Kollision zwischen einem nachgeführten Objekt und dem gefahrenen Fahrzeug (12); und Ausgeben einer Warnung einer potentiellen Kollision zwischen einem Objekt und dem gefahrenen Fahrzeug (12) in Ansprechen auf die Gefahrbeurteilung.
Verfahren nach Anspruch 15, wobei zuvor gemeinsam nachgeführte Daten für die Objekte auf die Voraussageobjekt-Detektierungsanalyse angewendet werden.
Verfahren nach Anspruch 15, wobei das Anwenden der voraussagenden Objektdetektierungsanalyse eine Bewegungsanalyse und eine Szeneanalyse zum Identifizieren wesentlicher interessierender Gebiete verwendet.
Verfahren nach Anspruch 17, wobei das Anwenden der voraussagenden Objektdetektierungsanalyse das Extrahieren von Bildausschnitten zum Identifizieren potentieller Objekte enthält.
Verfahren nach Anspruch 18, wobei das Anwenden der voraussagenden Objektdetektierungsanalyse das Bestimmen einer Verteilung von Kanten und Ecken in dem Bildausschnitt enthält.
Verfahren nach Anspruch 19, wobei die bestimmte Verteilung auf einen Merkmalsbeschreibungsvektor abgebildet wird.
Verfahren nach Anspruch 20, wobei das Anwenden der voraussagenden Objektdetektierungsanalyse das Klassifizieren, ob der Merkmalsdeskriptor ein Objekt repräsentiert, enthält.
Verfahren nach Anspruch 15, wobei das durch die nicht abbildenden Detektierungssensoren (16) erfasste Gebiet (17) und das durch die bildgestützte Detektierungsvorrichtung erfasste Gebiet (15) nicht überlappend sind, wobei das Objektnachführungsmodul (28) die potentiell sich bewegenden Objekte vereinigt, während es zwischen den nicht überlappenden Gebieten übergeht.
Verfahren nach Anspruch 15, wobei das durch die nicht abbildenden Detektierungssensoren (16) erfasste Gebiet (17) und das durch die bildgestützte Detektierungsvorrichtung erfasste Gebiet (15) ein überlappendes Gebiet (18) sind, wobei das Objektnachführungsmodul (28) die potentiell sich bewegenden Objekte durch gemeinsame Verwendung der nicht abbildenden Detektierungssensoren (16) und der bildgestützten Detektierungsvorrichtung, während die potentiell sich bewegenden Objekte in dem überlappenden Gebiet (18) sind, nachführt.