DE102010005290A1

DE102010005290A1 - Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem

Info

Publication number: DE102010005290A1
Application number: DE102010005290A
Authority: DE
Inventors: Shuqing Sterling Heights Zeng
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2009-01-26
Filing date: 2010-01-21
Publication date: 2010-08-19

Abstract

Ein Verfahren zum Steuern eines Fahrzeugs, das während eines dynamischen Fahrzeugereignisses betrieben wird, umfasst, dass ein erstes Eingangsbild überwacht wird, ein erstes verfolgtes Objekt in dem ersten Eingangsbild in einem ersten Verfolgungszyklus überwacht wird, ein zweites Eingangsbild überwacht wird, ein zweites verfolgtes Objekt in dem zweiten Eingangsbild in einem zweiten Verfolgungszyklus überwacht wird und ein Unterschiedlichkeitsmaß ermittelt wird, das das erste verfolgte Objekt mit dem zweiten verfolgten Objekt vergleicht. Das Unterschiedlichkeitsmaß schätzt, ob das erste verfolgte Objekt und das zweite verfolgte Objekt ein einzelnes verfolgtes Objekt in der Nähe des Fahrzeugs darstellen. Das Verfahren umfasst ferner, dass das erste verfolgte Objekt und das zweite verfolgte Objekt auf der Grundlage des Unterschiedlichkeitsmaßes zugeordnet werden und die zugeordneten Objekte in einem Kollisionsvorbereitungssystem verwendet werden, um den Betrieb des Fahrzeugs zu steuern.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Priorität der vorläufigen US-Anmeldung Nr. 61/147,175, die am 26. Januar 2009 eingereicht wurde und deren Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist.
TECHNISCHES GEBIET
Diese Offenbarung betrifft allgemein Objektverfolgungssysteme und insbesondere Messsysteme, die Objektverfolgungssystemen zugeordnet sind, die mit dem Fahrzeugbetrieb in Beziehung stehen.
HINTERGRUND
Die Aussagen in diesem Hintergrund stellen lediglich Hintergrundinformationen bezüglich der vorliegenden Offenbarung bereit und müssen nicht unbedingt Stand der Technik darstellen.
Moderne Fahrzeuge können mit verschiedenen Erfassungseinrichtungen und -systemen ausgestattet sein, die einen Fahrzeugbediener beim Verwalten des Fahrzeugbetriebs und der Navigation unterstützen. Bekannte Systeme für Bodenfahrzeuge können autonome Steuersysteme zum Steuern des Fahrzeugbetriebs umfassen. Beispielsweise verwenden Fahrzeuge Tempomatsysteme, um eine Fahrgeschwindigkeit des Fahrzeugs auf einer von einem Bediener ausgewählten Geschwindigkeit zu halten. Ferner verwenden Fahrzeuge Systeme eines adaptiven Tempomaten zum Steuern der Geschwindigkeit auf der Grundlage von sowohl der von dem Bediener ausgewählten Geschwindigkeit als auch des Vorhandenseins von und der Distanz zu einem anderen Fahrzeug auf einem projizierten Fahrpfad, beispielsweise einem anderen Fahrzeug auf der momentanen Spur des betreffenden Fahrzeugs. Beispielhafte Fahrzeugdetektionssysteme, die durch Systeme eines adaptiven Tempomaten verwendet werden, umfassen Radardetektionseinrichtungen und LIDAR-Detektionseinrichtungen, um die Position und Geschwindigkeit anderer Fahrzeuge auf dem projizierten Fahrpfad des betreffenden Fahrzeugs zu detektieren.
Bekannte Fahrzeugsysteme umfassen autonome und semiautonome Fahrzeugsteuersysteme, die Manövrierfähigkeiten umfassen. Bekannte autonome Fahrzeugsteuersysteme umfassen Fahrpfad- und Geschwindigkeitsregelungsfähigkeiten. Ein beispielhaftes autonomes Steuersystem mit einer Manövrierfähigkeit ist ein autonomes Spurwechselsystem. Bekannte autonome Spurwechselsysteme umfassen fahrzeugeigene Überwachungssysteme, die ausgestaltet sind, um Zielfahrzeuge auf einer momentanen Spur des betreffenden Fahrzeugs und Zielfahrzeuge auf Spuren, die benachbart zu dem betreffenden Fahrzeug sind und sich in der Nähe dieses befinden, zu detektieren. Bekannte Fahrzeugdetektionssysteme umfassen kamerabasierte Systeme, Radardetektionseinrichtungen und LIDAR-Detektionseinrichtungen, um relative Orte und Trajektorien von Fahrzeugen und anderen Objekten zu identifizieren. Das autonome Spurwechselsystem umfasst eine Mensch-Maschine-Schnittstelleneinrichtung, um Befehle von dem Fahrzeugbediener und Aktoren zum automatischen Lenken des betreffenden Fahrzeugs zu empfangen, um die Fahrzeugtrajektorie in Ansprechen auf die Befehle zu ändern. Der Betrieb des autonomen Spurwechselsystems umfasst eine Fahrzeugbedienerbefehlsaktivie rung des autonomen Spurwechselsystems durch die Mensch-Maschine-Schnittstelleneinrichtung, wodurch ein Wunsch, die Fahrspur des betreffenden Fahrzeugs zu wechseln, angegeben wird. Wenn das autonome Spurwechselsystem aktiviert ist, überwacht das autonome Spurwechselsystem benachbarte Fahrspuren und betreibt es das Lenksystem des betreffenden Fahrzeugs, um das betreffende Fahrzeug auf die benachbarte Spur zu manövrieren.
Fahrzeuge umfassen auch eine Anzahl von Sicherheitssystemen, die entworfen sind, um die Auswirkungen einer Kollision zu verringern. Ein genaues Vorhersagen eines unmittelbar bevorstehenden Kollisionsereignisses ist bei der Vorbereitung für ein Kollisionsereignis erwünscht.
ZUSAMMENFASSUNG
Ein Verfahren zum Steuern eines Fahrzeugbetriebs während eines dynamischen Fahrzeugereignisses umfasst, dass ein erstes Eingangsbild überwacht wird, ein erstes verfolgtes Objekt in dem ersten Eingangsbild in einem ersten Verfolgungszyklus überwacht wird, ein zweites Eingangsbild überwacht wird, ein zweites verfolgtes Objekt in dem zweiten Eingangsbild in einem zweiten Verfolgungszyklus überwacht wird und ein Unterschiedlichkeitsmaß ermittelt wird, dass das erste verfolgte Objekt mit dem zweiten verfolgten Objekt vergleicht. Das Unterschiedlichkeitsmaß schätzt, ob das erste verfolgte Objekt und das zweite verfolgte Objekt ein einzelnes verfolgtes Objekt in der Nähe des Fahrzeugs darstellen. Das Verfahren umfasst ferner, dass das erste verfolgte Objekt und das zweite verfolgte Objekt auf der Grundlage des Unterschiedlichkeitsmaßes zugeordnet werden und die zugeordneten Objekte in einem Kollisionsvorbereitungssystem verwendet werden, um den Betrieb des Fahrzeugs zu steuern.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Nachstehend werden eine oder mehrere Ausführungsformen beispielhaft mit Bezug auf die begleitenden Zeichnungen beschrieben, wobei:
1 schematisch eine beispielhafte Anordnung eines Fahrzeugs, das mit einer Kamera und einem Radarbilderfassungssystem ausgestattet ist, gemäß der vorliegenden Offenbarung zeigt;
2 schematisch ein beispielhaftes Fahrzeug, das Sensoren verwendet, um eine vereinigte Verfolgung eines Objekts zu erzeugen, gemäß der vorliegenden Offenbarung zeigt;
3 schematisch einen beispielhaften Prozess zum Überwachen von Sensoreingängen und Erzeugen einer Verfolgungsliste gemäß einer Ausführungsform der vorliegenden Offenbarung zeigt;
4 schematisch ein beispielhaftes System, durch das Sensoreingänge zu Objektverfolgungen vereinigt werden, die in einem Kollisionsvorbereitungssystem nützlich sind, gemäß der vorliegenden Offenbarung zeigt;
5 schematisch ein beispielhaftes Vereinigungsmodul gemäß der vorliegenden Offenbarung zeigt;
6 ein beispielhaftes Steuerschema zum Identifizieren von hervorstechenden Bildbereichen und Bildbereichen, die einer Bewegung zugeordnet sind, gemäß der vorliegenden Offenbarung zeigt;
7 schematisch eine beispielhafte Bank von Kalman-Filtern, die arbeiten, um die Position und Geschwindigkeit einer Gruppe von Objekten zu schätzen, gemäß der vorliegenden Offenbarung zeigt; und
8 beispielhafte einer entsprechenden Bildebene überlagerte Entfernungsdaten gemäß der vorliegenden Offenbarung zeigt.
DETAILLIERTE BESCHREIBUNG
Nun auf die Zeichnungen Bezug nehmend, in denen die Darstellungen lediglich dem Zweck des Erläuterns bestimmter beispielhafter Ausführungsformen und nicht dem Zweck des Einschränkens dieser dienen, zeigt 1 eine beispielhafte Anordnung einer Kamera 11, die an der Front eines Fahrzeugs 10 angeordnet ist und auf den Boden vor dem Fahrzeug 10 gerichtet ist, gemäß der Offenbarung. Die Kamera 11 steht mit dem Steuermodul 5 in Kommunikation, das eine Logik enthält, um Eingänge von der Kamera 11 zu verarbeiten. Das Fahrzeug 10 kann auch mit einem Radarbilderfassungssystem 13 ausgestattet sein, das, wenn es vorhanden ist, auch mit dem Steuermodul 5 in Kommunikation steht. Fachleute werden erkennen, dass das Fahrzeug 10 zusätzlich zu der Verwendung der Kamera 11 und des Radarbilderfassungssystems 13, oder alternativ dazu, eine Anzahl von Verfahren zum Identifizieren von Straßenbedingungen verwenden könnte, die eine GPS-Information, eine Information von anderen Fahrzeugen, die mit dem Fahrzeug 10 in Kommunikation stehen, Verlaufsdaten hinsichtlich der bestimmten Fahrbahn, eine biometrische Information, wie beispielsweise Systeme, die den Blickpunkt des Fahrers lesen, ein Radarbilderfassungssystem oder andere ähnliche Systeme umfassen. Die Offenbarung hierin kann auf verschiedene Einrichtungsanordnungen angewandt werden und ist daher nicht dadurch beschränkt.
Die Kamera 11 ist eine Einrichtung, die in der Technik weithin bekannt ist und visuelle Eingänge in Form von Licht, Infrarot- oder einer anderen elektromagnetischen Strahlung (EM-Strahlung) in ein Datenformat übersetzen kann, das leicht analysiert werden kann, z. B. ein digitales Pixel-Bild. Bei einer Ausführungsform verwendet die Kamera 11 einen Sensor einer ladungsgekoppelten Einrichtung (CCD-Sensor) zum Erzeugen von Bildern, die ein Sichtfeld angeben. Vorzugsweise ist die Kamera 11 für eine kontinuierliche Bilderzeugung, z. B. 30 erzeugte Bilder pro Sekunde, ausgestaltet. Durch die Kamera 11 erzeugte Bilder können in einem Speicher in der Kamera 11 gespeichert werden oder für eine Speicherung und/oder Analyse an das Steuermodul 5 übertragen werden. Vorzugsweise ist jedes durch die Kamera 11 erzeugte Bild ein zweidimensionales Bild mit bekannten Pixel-Dimensionen, das mehrere identifizierbare Pixel umfasst. Die mehreren identifizierbaren Pixel können unter Verwendung eines Array gespeichert und analysiert werden. Jedes Pixel kann in dem Array als Satz von Bits oder mehrere Sätze von Bits dargestellt werden, wobei die Bits einer Farbe an einer vorbestimmten Palette oder Farbkarte entsprechen. Jedes Pixel kann als Funktion mehrerer Farbintensitätswerte, wie beispielsweise in einem Rot-Grün-Blau-Farbmodell (RGB-Farbmodell) oder einem Cyan-Magenta-Gelb-Key-Farbmodell (CMYK-Farbmodell), ausgedrückt werden. Vorzugsweise umfasst jedes Pixel mehrere Sätze von Bits, wobei jeder Satz von Bits einer Farbintensität und einem Farbintensitätswert entspricht, z. B. entspricht ein erster Satz von Bits einem Wert einer roten Farbintensität, entspricht ein zweiter Satz von Bits einem Wert einer grünen Farbintensität und entspricht ein dritter Satz von Bits einem Wert einer blauen Farbintensität an dem RGB-Farbmodell.
Die Radarbilderfassungseinrichtung 13 ist eine in der Technik weithin bekannte Einrichtung, die einen Sender, der Funkwellen oder eine andere EM-Strahlung aussenden kann, eine Empfängereinrichtung, die die ausgesendeten Wellen erfassen kann, die von Objekten vor dem Sender zu dem Empfänger zurückreflektiert werden, und ein Mittel zum Übertragen der erfassten Wellen in ein Datenformat umfasst, das analysefähig ist und beispielsweise die Entfernung und den Winkel von den Objekten, von denen die Wellen reflektiert wurden, angibt. Alternativ kann die Radarbilderfassungseinrichtung 13 durch ein Light Detection And Ranging-System (LIDAR-System), das ausgestaltet ist, um optische Energie zu senden und zu empfangen, ersetzt oder ergänzt werden. Die empfangene optische Energie kann verwendet werden, um die geometrischen Abmessungen eines Objekts und/oder die geometrische Nähe zu dem Fahrzeug 10 zu ermitteln. Es sei angemerkt, dass die Radarbilderfassungseinrichtung 13 optional und nicht notwendig ist, um viele der hierin offenbarten Verfahren auszuführen, wobei die Verarbeitung von visuellen Bildern eine Detektion eines freien Pfads ausführen kann. Der Begriff ”freier Pfad” soll, wie er hierin verwendet wird, für einen Fachmann eine gewöhnliche und übliche Bedeutung darstellen (und ist nicht auf eine spezielle oder spezifisch angepasste Bedeutung beschränkt) und bezieht sich ohne Einschränkung auf einen Pfad, der frei von Objekten ist, die einen Schwellenwert übersteigen, z. B. einen Pfad, der frei von Objekten ist, die in der oben erwähnten zweiten und dritten Kategorie klassifiziert sind.
Das Steuermodul 5 ist in 1 gezeigt und hierin als diskretes Element beschrieben. Diese Darstellung dient der Vereinfachung der Beschreibung und es sei angemerkt, dass das Steuermodul 5 jede geeignete Form an nehmen kann, die verschiedene Kombinationen eines/r oder mehrerer anwendungsspezifischen/r integrierten/r Schaltkreise(s) (ASIC), elektronischen/r Schaltkreise(s), zentralen/r Verarbeitungseinheit(en) (vorzugsweise Mikroprozessor(en)) und zugeordneten/r Speicher(s) (Nur-Lese-Speicher, programmierbarer Nur-Lese-Speicher, Direktzugriffsspeicher, Festplatte etc.), die ein oder mehrere Software- oder Firmwareprogramme ausführen, Schaltkreise(s) einer kombinatorischen Logik, Eingabe/Ausgabe-Schaltkreise(s) und -Einrichtungen, geeigneten Signalkonditionierungs- und -pufferschaltung und andere geeignete Komponenten umfasst, um die beschriebene Funktionalität bereitzustellen. Das Steuermodul weist einen Satz von Steueralgorithmen auf, die residente Software-Programmanweisungen und Kalibrierungen umfassen, die in dem Speicher gespeichert sind und ausgeführt werden, um die gewünschten Funktionen bereitzustellen. Die Algorithmen werden vorzugsweise während vorab festgelegter Schleifenzyklen ausgeführt. Die Algorithmen werden beispielsweise durch eine zentrale Verarbeitungseinheit ausgeführt und dienen dazu, Eingänge von Erfassungseinrichtungen und anderen vernetzten Steuermodulen zu überwachen und Steuer- und Diagnoseroutinen zum Steuern des Betriebs der Aktoren auszuführen. Die Schleifenzyklen können in regelmäßigen Intervallen, beispielsweise alle 3,125, 6,25, 12,5, 25 und 100 Millisekunden, während des fortwährenden Maschinen- und Fahrzeugbetriebs ausgeführt werden. Alternativ können Algorithmen in Reaktion auf das Auftreten eines Ereignisses ausgeführt werden.
Das Steuermodul 5 führt einen darin gespeicherten algorithmischen Code aus, um in Beziehung stehende Geräte, wie beispielsweise die Kamera 11 und das Radarbilderfassungssystem 13, zu überwachen und Befehle oder Datenübertragungen wie durch die Analyse, die in dem Verarbeitungsmodul durchgeführt wird, angegeben auszuführen. Das Steuermodul 5 kann Algorithmen und Mechanismen zum Betätigen einer autonomen Fahr steuerung durch Mittel, die in der Technik bekannt und hierin nicht beschrieben sind, umfassen, oder das Steuermodul 5 kann einfach eine Information an ein separates autonomes Fahrsystem liefern. Das Steuermodul 5 ist geeignet, um in Abhängigkeit von der genauen Ausführungsform, die in Verbindung mit dem Steuermodul verwendet wird, nach Bedarf Eingangssignale von anderen Systemen und dem Bediener zu empfangen.
2 zeigt schematisch das beispielhafte Fahrzeug 10, das Sensoren verwendet, um eine vereinigte Verfolgung eines Objekts zu erzeugen, gemäß der vorliegenden Offenbarung. Das beispielhafte Fahrzeug umfasst einen Personenkraftwagen, der zur Verwendung auf Schnellstraßen vorgesehen ist, wobei anzumerken sei, dass die hierin beschriebene Offenbarung auf jedes Fahrzeug oder jedes andere System anwendbar ist, das die Position und Trajektorie von entfernten Fahrzeugen und anderen Objekten überwachen möchte. Das Fahrzeug umfasst ein Steuersystem, das verschiedene Algorithmen und Kalibrierungen enthält, die zu verschiedenen Zeitpunkten ausgeführt werden. Das Steuersystem ist vorzugsweise ein Teilsatz einer gesamten Fahrzeugsteuerarchitektur und stellt eine koordinierte Fahrzeugsystemsteuerung bereit. Das Steuersystem überwacht Eingänge von verschiedenen Sensoren, synthetisiert entsprechende Informationen und Eingänge und führt Algorithmen zum Steuern verschiedener Aktoren, um Steuerziele zu erreichen, aus, wobei Parameter wie beispielsweise eine Kollisionsvermeidung und ein adaptiver Tempomat umfasst sind. Die Fahrzeugsteuerarchitektur umfasst mehrere verteilte Prozessoren und Einrichtungen, die einen System-Controller umfassen, der eine Funktionalität, wie beispielsweise ein Antiblockiersystem, eine Traktionssteuerung und eine Fahrzeugstabilität, bereitstellt.
Das beispielhafte Erfassungssystem umfasst vorzugsweise Objektlokalisierungssensoren, die mindestens zwei nach vorne gerichtete Entfernungserfassungseinrichtungen 14 und 16 und begleitende Subsysteme oder Prozessoren umfassen. Die Objektlokalisierungssensoren können die Radarbilderfassungseinrichtung 13 wie hierin oben beschrieben umfassen, die derart ausgestaltet ist, dass sie ein Nahbereichsradarsubsystem, ein Fernbereichsradarsubsystem und ein Vorwärtssichtsystem umfasst. Die Objektlokalisierungserfassungseinrichtungen können beliebige Entfernungssensoren wie die hierin oben beschriebenen umfassen, die FM-CW-Radare (Frequency Modulated Continuous Wave-Radare), Impuls- und FSK-Radare (Frequency Shift Keying-Radare) und LIDAR-Einrichtungen und Ultraschalleinrichtungen, die auf Effekten, wie beispielsweise Doppler-Effekt-Messungen, beruhen, um sich vorne befindende Objekte zu lokalisieren, umfassen. Die möglichen Objektlokalisierungseinrichtungen umfassen die Kamera 11, wie hierin oben beschrieben, die Verfahren einer digitalen Fotografie verwendet, um sich vorne befindende Objekte zu ”sehen”. Solche Erfassungssysteme werden zum Detektieren und Lokalisieren von Objekten in Kraftfahrzeuganwendungen eingesetzt, die mit Systemen verwendet werden können, die z. B. einen adaptiven Tempomat, eine Kollisionsvermeidung, eine Sicherheit vor dem Unfall (pre-crash) und eine Seitenobjektdetektion umfassen. Das beispielhafte Fahrzeugsystem kann auch ein globales Positionsbestimmungssystem (GPS-System) umfassen.
Diese Sensoren sind vorzugsweise innerhalb des Fahrzeugs 10 an relativ hindernisfreien Positionen relativ zu einer Sicht vor dem Fahrzeug positioniert. Es sei auch angemerkt, dass jeder dieser Sensoren einen Schätzwert eines tatsächlichen Orts oder einer tatsächlichen Bedingung eines Zielobjekts bereitstellt, wobei der Schätzwert eine geschätzte Position und eine Standardabweichung umfasst. Somit werden eine Sensordetektion und eine Messung von Objektorten und Bedingungen typischerweise als ”Schätzwerte” bezeichnet. Es sei ferner angemerkt, dass die Eigenschaften dieser Sensoren darin komplementär sind, dass einige beim Schätzen bestimmter Parameter zuverlässiger sind als andere. Herkömmliche Sensoren weisen verschiedene Betriebsreichweiten und Winkelabdeckungen auf und können innerhalb ihrer Betriebsreichweite verschiedene Parameter abschätzen. Beispielsweise können Radarsensoren für gewöhnlich die Entfernung, die Entfernungsänderung und den Azimutort eines Objekts schätzen, sie sind normalerweise jedoch beim Schätzen des Umfangs eines detektierten Objekts nicht stabil. Eine Kamera mit Sichtprozessor ist beim Schätzen einer Form und einer Azimutposition des Objekts stabiler, ist jedoch beim Schätzen der Entfernung und Entfernungsänderung des Objekts weniger effizient. LIDARe vom Abtasttyp arbeiten in Bezug auf das Schätzen von Entfernung und Azimutposition effizient und genau, können jedoch typischerweise die Entfernungsänderung nicht abschätzen und sind daher in Bezug auf eine Erlangung/Erkennung eines neuen Objekts nicht genau. Ultraschallsensoren können eine Entfernung abschätzen, können jedoch im Allgemeinen nicht die Entfernungsänderung und die Azimutposition schätzen oder berechnen. Ferner sei angemerkt, dass das Leistungsvermögen jeder Sensortechnologie durch unterschiedliche Umgebungsbedingungen beeinflusst wird. Somit stellen herkömmliche Sensoren parametrische Abweichungen dar, wobei die wirksame Überlappung dieser Sensoren Möglichkeiten für eine Sensorvereinigung erzeugt.
Jeder Objektlokalisierungssensor und jedes Subsystem stellt einen Ausgang bereit, der eine Entfernung R, eine zeitbasierte Entfernungsänderung R_dot und einen Winkel Θ, vorzugsweise in Bezug auf eine Langsachse des Fahrzeugs, umfasst und als Messvektor (o) geschrieben werden kann, d. h. Sensordaten. Ein beispielhaftes Nahbereichsradarsubsystem weist ein Sichtfeld (FOV) von 160 Grad und eine maximale Reichweite von dreißig Metern auf. Ein beispielhaftes Fernbereichsradarsubsystem weist ein Sichtfeld von 17 Grad und eine maximale Reichweite von 220 Metern auf. Ein beispielhaftes Vorwärtssichtsubsystem weist ein Sichtfeld von 45 Grad und eine maximale Reichweite von fünfzig (50) Metern auf. Für jedes Subsystem ist das Sichtfeld vorzugsweise um die Längsachse des Fahrzeugs 10 ausgerichtet. Das Fahrzeug ist vorzugsweise auf ein Koordinatensystem, bezeichnet als XY-Koordinatensystem 20, ausgerichtet, wobei die Längsachse des Fahrzeugs 10 die X-Achse mit einer Ortslinie an einem Punkt, der für das Fahrzeug und eine Signalverarbeitung geeignet ist, festlegt, und wobei die Y-Achse durch eine Achse festgelegt ist, die orthogonal zur Langsachse des Fahrzeugs 10 ist und in einer horizontalen Ebene liegt, die somit parallel zur Bodenfläche ist.
Der Offenbarungsgehalt des US-Patents Nr. 7,460,951 mit dem Titel SYSTEM AND METHOD OF TARGET TRACKING USING SENSOR FUSION ist hierin durch Bezugnahme vollständig mit eingeschlossen, so dass das Verfahren und die Vorrichtung zum Vereinigen von Verfolgungsdaten von mehreren Sensoren zum genaueren Schätzen eines Orts eines Objekts hierin nicht ausführlich beschrieben werden muss.
Auf 2 Bezug nehmend ist ein Fahrzeug 10 gezeigt, das ein Paar von Erfassungssystemen 14 und 16 umfasst. Das Fahrzeug 10 kann als Koordinatensystem (X, Y) 20 bezeichnet werden, wobei die Koordinaten in Bezug auf eine Langsachse des Fahrzeugs und eine seitliche Position, beispielsweise im Vergleich zu einer Mittellinie des Fahrzeugs, definiert sind. Die Erfassungssysteme 14 und 16 können ein beliebiges der beispielhaften oben beschriebenen Systeme oder der Systeme sein, die in der Technik bekannt sind und eine Verfolgung eines erfassten Objekts zurückgeben können. Die Sensoren können ihr eigenes Koordinatensystem aufweisen. Ein beispielhaftes Koordinatensystem (u, V) 21 ist in Bezug auf das Sensorsystem 14 gezeigt. Ein Objekt 30 ist zu drei verschiedenen Zeitpunkten gezeigt. Das Sensorsystem 14, das Objekte innerhalb des FOV(A) erfasst, gibt drei Orte eines verfolgten Objekts für das Objekt 30 zurück, die mit r_a1, r_a2 und r_a3 bezeichnet sind. Das Sensorsystem 16, das Objekte innerhalb des FOV(B) erfasst, gibt auf ähnliche Weise drei Orte eines verfolgten Objekts für das Objekt 30 zurück, die mit r_b1, r_b2 und r_b3 bezeichnet sind. Vereinigte Positionen für das Objekt 30 können auf der Grundlage der verfügbaren Information bezüglich des Objekts 30 beschrieben werden. In der Technik sind Verfahren zum Vereinigen mehrerer Sätze von Daten zu einem vereinigten Satz bekannt. Beispielhafte Verfahren können beispielsweise Gewichte oder gemessene Abweichungen in den verschiedenen Datenpunkten anwenden, und der Beitrag jedes individuellen Punkts zu dem vereinigten Satz kann von den Gewichten oder Abweichungen abhängen. 2 zeigt einen beispielhaften Satz von vereinigten Datenpunkten, die mit r_f1, r_f2 und r_f3 bezeichnet sind.
3 zeigt schematisch einen beispielhaften Prozess zum Überwachen von Sensoreingängen und Erzeugen einer Verfolgungsliste, die detektierten Objekten entspricht, gemäß der vorliegenden Offenbarung. Das beispielhafte Fahrzeug 10 umfasst allgemein ein Steuersystem mit einem Beobachtungsmodul 22, einem Datenzuordnungs- und Clustering-Modul (DAC-Modul) 24, das ferner ein Kalman-Filter 24A umfasst, und einem Verfolgungslebensdauerverwaltungsmodul (TLM-Modul von track life management module) 26, das eine Verfolgungsliste 26A verfolgt, die mehrere Objektverfolgungen umfasst. Genauer gesagt umfasst das Beobachtungsmodul die Sensoren 14 und 16, ihre jeweiligen Sensorprozessoren und die Verbindung zwischen den Sensoren, den Sensorprozessoren und dem DAC-Modul 24.
Das obige beispielhafte Objektverfolgungssystem zeigt ein Verfahren, durch das ein Objekt oder mehrere Objekte verfolgt werden können. Es sei jedoch angemerkt, dass gleichermaßen eine Anzahl von verschiedenen Sensoren, die eine Information bezüglich der Umgebung um das Fahrzeug herum erfassen, verwendet werden könnte, und dass die Offenbarung nicht auf die hierin beschriebenen bestimmten Ausführungsformen beschränkt sein soll. Ferner ist das hierin oben beschriebene Datenvereinigungsverfahren ein beispielhaftes Verfahren, durch das die Details der verschiedenen Eingangssensoren zu einer einzelnen nützlichen Verfolgung eines Objekts vereinigt werden könnten. Es sind jedoch zahlreiche Datenvereinigungsverfahren in der Technik bekannt, und die Offenbarung soll nicht auf die hierin beschriebene bestimmte beispielhafte Ausführungsform beschrankt sein.
Hierin sind Verfahren zum Steuern des Fahrzeugbetriebs unter Verwendung eines Kollisionsvorbereitungssystems und einer Bewegung von identifizierten Objekten offenbart. Das identifizierte Objekt wird analysiert, um eine wahrscheinlich bevorstehende oder unmittelbar bevorstehende Kollision auf der Grundlage der Objektbewegung relativ zu dem Fahrzeug zu identifizieren. Das Kollisionsvorbereitungssystem ist ausgestaltet, um einen Fahrzeugbediener hinsichtlich einer bevorstehenden Kollision zu alarmieren, und ist ausgestaltet, um den Fahrzeugbetrieb beispielsweise durch automatisches Bremsen zu steuern, wenn die Kollision als unvermeidbar betrachtet wird, um die Kollisionsschwere zu reduzieren.
Sichtsysteme stellen eine alternative Quelle eines Sensoreingangs zur Verwendung bei Fahrzeugsteuersystemen bereit. Es ist in der Technik bekannt, dass Verfahren zum Analysieren einer visuellen Information eine Mustererkennung, eine Eckendetektion, eine Detektion vertikaler Kanten, eine Erkennung vertikaler Objekte und andere Verfahren umfassen. Es sei jedoch angemerkt, dass visuelle Darstellungen mit hoher Auflösung des Felds in der Nähe eines Fahrzeugs, die mit einer hohen Rate aktualisiert werden, die notwendig ist, um die Bewegungen in Echtzeit wahrzunehmen, einen sehr großen zu analysierenden Umfang an Informationen umfassen. Eine Echtzeitanalyse einer visuellen Information kann äußerst aufwendig sein. Es wird ein Verfahren zum Vereinigen eines Eingangs von einem Sichtsystem mit einer vereinigten Verfolgung offenbart, die durch Verfahren, wie beispielsweise das oben beschriebene beispielhafte Verfolgungsvereinigungsverfahren, erzeugt wird, um eine Sichtanalyse auf einen Teil der visuellen Information zu richten, der am wahrscheinlichsten eine Kollisionsgefahr darstellt, und wobei die fokussierte Analyse verwendet wird, um auf ein wahrscheinlich unmittelbar bevorstehendes Kollisionsereignis hinzuweisen. Ferner wird ein Verfahren beschrieben, das iterative Verfolgungszyklen zum Identifizieren eines verfolgten Objekts, beispielsweise unter Verwendung einer Information, die in einem Zyklus ermittelt wird, um eine Ermittlung einer Information in dem nächsten Zyklus zu unterstützen, einsetzt. Ferner wird ein Verfahren beschrieben, um eine Bank von Filtern auf ein verfolgtes Objekt in einem Bild anzuwenden und durch eine Anwendung eines Modells zu ermitteln, welcher Filterausgang die beste Schätzung des verfolgten Objekts ist.
4 zeigt schematisch ein beispielhaftes Steuerschema 100 für ein Kollisionsvorbereitungssystem gemäß der vorliegenden Offenbarung. Das Steuerschema ist in 4 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann das Steuerschema 100 in dem Steuermodul 5 realisiert sein. Das Steuersche ma 100 umfasst das Überwachen von Sensoreingangsdaten, die eine Umgebung um das Fahrzeug 10 herum beschreiben, wobei Entfernungssensoren 102, Kamerabilder 104 und fahrzeuginterne Sensoren 106 umfasst sind. Vorzugsweise überwacht das Steuerschema 100 kontinuierlich die Umgebung des Fahrzeugs unter Verwendung seiner Entfernungssensoren (z. B. Radare und LIDARe) und Kameras.
Ein Datenvereinigungsmodul 110 gibt die Sensordaten ein. Das Datenvereinigungsmodul 110 analysiert, filtert oder priorisiert die Eingänge relativ zu der Zuverlässigkeit der verschiedenen Eingänge, und die priorisierten oder gewichteten Eingänge werden summiert, um Verfolgungsschätzwerte für Objekte in der Nähe des Fahrzeugs 10 zu erzeugen. Diese Objektverfolgungen werden dann in das Kollisionsgefahrenbewertungsmodul 120 eingegeben, wobei jede Verfolgung hinsichtlich einer Wahrscheinlichkeit für eine Kollision bewertet wird. Es sei angemerkt, dass für den Einsatz der hierin beschriebenen Verfahren keine Kollision stattfinden muss, sondern dass stattdessen auf der Grundlage einer Bewertung eines dynamischen Fahrzeugereignisses (beispielsweise eines Änderns der Beziehung eines detektierten Objekts zu dem Host-Fahrzeug, was auf eine unmittelbar bevorstehende Kollision hindeutet) eine Wahrscheinlichkeit einer Kollision bewertet werden kann. Diese Wahrscheinlichkeit für eine Kollision kann beispielsweise hinsichtlich einer Schwellenwertwahrscheinlichkeit für eine Kollision bewertet werden, und wenn eine Kollision als wahrscheinlich bestimmt wird, können Kollisionsgegenmaßnahmen initiiert werden. Die Wahrscheinlichkeit für eine Kollision eines identifizierten Objekts wird durch ein Kollisionsgegenmaßnahmenmodul 150 analysiert.
Kollisionsgegenmaßnahmen können in der Technik viele Formen annehmen. Beispielsweise können bei einem Versuch, das Fahrzeug vor einem Aufprall zu verlangsamen, automatisch Fahrzeugbremssysteme aktiviert werden. Ähnlich kann der Motor gedrosselt werden, um die Geschwindigkeit des Fahrzeugs und die kinetische Energie des Fahrzeugs vor dem Aufprall zu reduzieren. Beispielsweise kann ein automatisiertes Lenken aktiviert werden, um das Fahrzeug vor der Kollision abzugleichen, um die Auswirkungen eines schrägen Aufpralls zu vermeiden. Ähnlich können, wenn ein Seitenaufprall als unmittelbar bevorstehend projiziert wird, ein Lenken und eine Vorwärtsbewegung des Fahrzeugs gesteuert werden, um den Aufprall von dem Fahrgastraum des Fahrzeugs weg anzupassen. Ähnlich kann, wenn ein Heckaufprall als unmittelbar bevorstehend projiziert wird, die Drosselung des Fahrzeugs erhöht werden, um den Unterschied der Geschwindigkeiten der Fahrzeuge zum Zeitpunkt des Aufpralls zu reduzieren. Ferner können andere Fahrzeugsysteme bei der Vorbereitung für einen Aufprall gesteuert werden. Beispielsweise können die Sicherheitsgurte der Insassen bei einer Vorbereitung für den Aufprall gestrafft und/oder verriegelt werden. Die Kopfstützen des Fahrzeugs können verändert werden, um den Hals und Nacken der Insassen des Fahrzeugs bestmöglich zu schützen. Einen Moment vor dem projizierten Aufprall können Air-Gags präventiv, beispielsweise mit einem verringerten Druck, entfaltet werden, um auf diese Weise die Wahrscheinlichkeit zu reduzieren, dass der Insasse durch die für gewöhnlich schnelle Entfaltung der Airbags beeinträchtigt wird. Vor dem Aufprall können automatisch die Fenster geschlossen und die Türen verriegelt werden. Die Fußpedale können in eine zurückgezogene Stellung angepasst werden, um die Wahrscheinlichkeit einer Interaktion mit dem Fahrzeugbediener während des Aufpralls zu reduzieren. Durch ein drahtloses Kommunikationsnetz kann ein anfängliches Notrufsignal übertragen werden, um Rettungskräfte zu alarmieren, wobei ein Unvermögen des Systems zu Kommunizieren, wenn der Aufprall den Betrieb des Systems beschädigt, umgangen wird. Es kann ein akustischer Alarm einer unmittelbar bevorstehenden Kollision ertönen, um die Insassen des Fahrzeugs zu alarmieren. Es wird eine Anzahl von Kollisionsgegenmaßnahmen in Betracht gezogen, und die Offenbarung soll nicht auf die hierin beschriebenen bestimmten beispielhaften Ausführungsformen beschränkt sein.
Bei einer Ausführungsform wird das hierin oben beschriebene beispielhafte Steuerschema 100 verwendet, um ein Fahrzeug zu steuern, das während eines dynamischen Fahrzeugereignisses betrieben wird. Das Verfahren umfasst, dass eine Entfernungssensorinformation und eine Sichtsysteminformation überwacht werden. Ein Überlagern der Entfernungssensorinformation an der Sichtsysteminformation erzeugt ein modifiziertes Bild. Unter Verwendung einer Kantendetektion, einer Eckendetektion und einer Detektion eines optischen Flusses werden hervorstechende Bildbereiche in dem modifizierten Bild identifiziert, wobei die hervorstechenden Bildbereiche, die dem Boden entsprechen, ausgeschlossen werden. Das Verfahren umfasst ferner, dass in einem ersten Zeitschritt ein erstes Objekt in einem Fahrzeugsichtfeld unter Verwendung der hervorstechenden Bildbereiche identifiziert wird und in einem nachfolgenden Zeitschritt ein zweites Objekt in dem Fahrzeugsichtfeld unter Verwendung der hervorstechenden Bildbereiche identifiziert wird. Es wird eine Position des ersten Objekts in dem nachfolgenden Zeitschritt vorhergesagt und auf der Grundlage eines Vergleichens der vorhergesagten Position des ersten Objekts mit dem identifizierten zweiten Objekt mit dem zweiten Objekt in Übereinstimmung gebracht. Es wird eine Objektverfolgung der in Übereinstimmung gebrachten Objekte ermittelt, und es wird eine Wahrscheinlichkeit für eine Kollision zwischen dem in Übereinstimmung gebrachten Objekt und dem Fahrzeug auf der Grundlage der Objektverfolgung ermittelt. Das Fahrzeug wird auf der Grundlage der Wahrscheinlichkeit für eine Kollision gesteuert.
5 zeigt schematisch das beispielhafte Bildvereinigungsmodul 120 gemäß der vorliegenden Offenbarung. Das Vereinigungsmodul 110 integriert einen Eingang von verschiedenen Erfassungseinrichtungen, die Kameras 104 und Entfernungssensoren 102 umfassen, und erzeugt eine vereinigte Verfolgung eines Objekts in der Nähe des Fahrzeugs 10. Die Entfernungssensordaten umfassen Positionsdaten einer Liste von Objekten in einem zweidimensionalen Fahrzeugkoordinatensystem. Bei einer beispielhaften Ausführungsform werden die Objekte an den Kameradaten projiziert oder überlagert, um ein modifiziertes Bild in einem Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets zu erzeugen, wobei vorzugsweise vorbestimmte Kamerakalibrierungsparameter verwendet werden, die entsprechend dem zweidimensionalen Fahrzeugkoordinatensystem angepasst werden. Eine Entfernungsinformation, wie beispielsweise Radarrückführungen, die mit entsprechenden Gebieten des Bilds in Übereinstimmung gebracht wird, kann verwendet werden, um Orte potentieller Objekte in dem Bild zu identifizieren. Auf die Kameradaten und das modifizierte Bild kann ferner eine Beleuchtungsnormalisierung angewandt werden. Eine Normalisierung ist ein Prozess, der den Bereich von Pixel-Intensitätswerten ändert. Der Zweck der Normalisierung ist, das Bild in einen Bereich zu bringen, der für einen Maschinenprozess geeigneter ist, um die Zuverlässigkeit zu verbessern. Beispielsweise wird jeder Pixel-Wert auf einen Mittelwert von Null und eine Einheitsvarianz normalisiert, um den Bildkontrast zu verbessern, insbesondere in einer Umgebung mit schwacher Beleuchtung, oder wenn der Kontrast aufgrund einer Blendung schlecht ist.
Das Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets identifiziert Bildbereiche für eine weitere Analyse, die eine Schwellenwertkonfidenz für ein Erhalten von Objekten oder Teilen von Objekten aufweisen. Die Bildbereiche, die zuvor identifizierten Objekten entsprechen, werden unter Verwendung einer a priori-Information ermittelt, die eine Objektinformation eines vorherigen Zeitschritts umfasst, wie beispielsweise die Objektverfolgung und -position. Bei einer Ausführungsform werden die Objekte an dem modifizierten Bild unter Verwendung der Objektposition, der verstrichenen Zeit zwischen Iterationen und einer zugeordneten Objektverfolgung projiziert. Die hervorstechenden Bildbereiche können unter Verwendung von Extraktionsalgorithmen identifiziert werden, die z. B. eine skaleninvariante Merkmalstransformation (SIFT von scale-invariant feature transform), einen Algorithmus beschleunigter robuster Merkmale (SURF von speeded up robust feature) und/oder einen Algorithmus eines maximal stabilen Extremgebiets (MSER von maximally stable extreme region) umfassen. Bei einer Ausführungsform können ein Gradientenorientierungshistogramm (HOG von histogram of oriented gradients) und Eigenbildkoeffizienten verwendet werden.
Andere interessierende Gebiete des modifizierten Bilds können unter Verwendung von Kanten-, Eckendetektionsverfahren und Detektionsverfahren eines hervorstechenden Blobs identifiziert werden. Unter Verwendung einer Detektion eines optischen Flusses zwischen aufeinander folgenden modifizierten Bildern und durch Projizieren zuvor identifizierter Objekte auf das modifizierte Bild wie hierin nachstehend beschrieben können zusätzliche interessierende Gebiete identifiziert werden. Unter Verwendung eines mehrerer bekannter Verfahren kann eine Kantendetektion ausgeführt werden. Unter Verwendung eines mehrerer Algorithmen, die einen Harris-Eckendetektionsalgorithmus umfassen, können Ecken identifiziert werden.
Für die oben beschriebene Identifikation hervorstechender Blobs an dem modifizierten Bild wird ein Gauss-Operator auf das modifizierte Bild an gewandt. Im Betrieb wird ein modifiziertes Bild I(x, y), wobei x und y Zeilen- und Spaltenindizes des Bilds sind, durch einen Gauss-Kernel wie den folgenden gefaltet.
Das modifizierte Bild wird durch den Gauss-Kernel mit einer bestimmten Skalierung t gefaltet, um eine Skalenraumdarstellung, wie beispielsweise die folgende Beziehung, zu erhalten. L(x, y, t) = g(x, y, t)·f(x, y) [2]
Nach dem Falten des modifizierten Bilds wird ein skalennormalisierter Gauss-Differenz-Operator auf der Grundlage der Skalenraumdarstellung ermittelt. Der skalennormalisierte Gauss-Differenz-Operator (DoG-Operator von Difference of Gaussian operator) kann unter Verwendung der folgenden Beziehung ermittelt werden.
Die hervorstechenden Blobs werden durch Hervorheben von Punkten an dem modifizierten Bild lokalisiert, die eine gleichzeitige Entsprechung mit lokalen Maxima/Minima des Gauss-Differenz-Operators in Bezug auf sowohl Raum als auch Skalierung aufweisen. Die lokalen Maxima/Minima des Gauss-Differenz-Operators können unter Verwendung der folgenden Beziehung ermittelt werden. (x ^, y ^, t ^) = arg max min( x , y , t )(DoG{I(x, y), t}) [4]
Eines mehrerer Detektionsverfahren eines optischen Flusses kann verwendet werden, um Bildbereiche zu identifizieren, die eine Bewegung zwischen aufeinander folgenden modifizierten Bildern aufweisen. Ein Verfahren umfasst das Analysieren der aufeinanderfolgenden modifizierten Bilder I_t-1(x, y) und I_t(x, y) unter Verwendung eines Lucas-Kanade-Operators eines optischen Flusses, um interessierende Gebiete, die einer Bewegung entsprechen, zu ermitteln. Zusätzlich können eine Schwellenwertbildung und eine Komponentenverfolgung mit 4-fach verbundener Nachbarschaft (4-neighborhood connected component tracking) auf das Bild eines optischen Flusses angewandt werden, um Gebiete zu identifizieren, die eine signifikante Bewegung angeben. Das Anwenden eines Lucas-Kanade-Operators eines optischen Flusses zwischen aufeinander folgenden modifizierten Bildern liefert bei einer Ausführungsform eine Abbildung eines optischen Flusses, die Pixel umfasst, die einer Bewegung zwischen modifizierten Bildern zugeordnet sind.
Durch Analysieren von Pixeln hinsichtlich visueller Eigenschaften wie beispielsweise Farbe und/oder Struktur, die einem Boden entsprechen, in dem Bereich benachbart des Fahrzeugs 10 können zusätzlich interessierende Bereiche in dem modifizierten Bild identifiziert werden. Die Pixel-Bereiche, die dem Boden entsprechen, enthalten wahrscheinlich keine Objekte, und können korrekt vernachlässigt werden. Ferner können bei einer Ausführungsform Bildbereiche, die eine Schwellenwertquantität von Boden entsprechenden Pixeln aufweisen, vernachlässigt werden. Ferner liefert eine Disassoziation mit durch die Entfernungssensordaten identifizierten Objekten eine Information bezüglich einer Pixel-Entsprechung mit dem Boden. Die Pixel-Klassifizierungen von Pixeln in segmentierten Bildbereichen oder Stücken des modifizierten Bilds werden analysiert. Bildbereiche, die eine vorbestimmte Anzahl von einer Bodenklassifizierung zugeordneten Pixeln enthalten, enthalten weniger wahrscheinlich ein Objekt.
Nach dem Analysieren des modifizierten Bilds hinsichtlich hervorstechender Gebiete und Bildbereiche, die einer Bewegung und Merkmalen zugeordnet sind, identifiziert das Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets Bildbereiche, die einem Konfidenzniveau zugeordnet sind, das größer als eine vorbestimmte Schwellenwertentsprechung mit einem Objekt und Ausgängen der identifizierten Bildbereiche ist. Bei einer Ausführungsform werden Gewichte, die eine Konfidenzentsprechung mit einem Objektvorhandensein angeben, bestimmten identifizierten Merkmalen zugeordnet und auf der Grundlage einer Merkmalsneigung in dem Bildbereich quantitativ angewandt. Gleichermaßen können Gewichte auf hervorstechende Gebiete, einer Bewegung zugeordnete Bildbereiche und Bildbereiche, die zuvor identifizierte Objekte enthalten, angewandt werden. Die den Bildbereichen zugeordneten Gewichte können summiert werden, wobei die Bildbereiche, die einem Schwellenwertgewicht entsprechen, von dem Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets ausgegeben werden. Bei einer Ausführungsform werden jedes extrahierte Merkmal, die einer Bewegung zugeordneten Bildbereiche, die in einem vorherigen Zeitschritt identifizierten Objekte und die nicht als Boden klassifizierten Bildbereiche miteinander vereinigt. Die einem Schwellenwert vereinigter Pixel zugeordneten Bildbereiche werden von dem Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets ausgegeben.
6 zeigt ein beispielhaftes Steuerschema 600 zum Identifizieren von hervorstechenden Bildbereichen und Bildbereichen, die einer Bewegung zugeordnet sind, unter Verwendung von hierin oben beschriebenen Verfahren gemäß der vorliegenden Offenbarung. Das Steuerschema 600 ist in 6 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Diese Darstellung dient der Vereinfachung der Beschreibung und es sei angemerkt, dass die durch diese Elemente ausgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Bei einer Ausführungsform ist das Steuerschema 600 in dem Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets realisiert.
Das Steuerschema 600 gibt kontinuierlich modifizierte Bilder, die unter Verwendung der hierin oben beschriebenen Kameradaten und Entfernungssensordaten erzeugt werden, ein und überwacht diese 602. Unter Verwendung von in der Technik bekannten oder hierin beschriebenen Verfahren ermittelt das Steuerschema 600 eine Kantenabbildung 604, eine Eckenabbildung unter Verwendung des Harris-Eckendetektionsalgorithmus 606 und eine Lucas-Kanade-Abbildung eines optischen Flusses 608. Es sei angemerkt, dass die Schritte 604 bis 608 Muster in dem Bild identifizieren, die wahrscheinlich Objekte umfassen, die von dem Boden oder einer Fahrbahn unterscheidbar sind, auf dem oder der das Fahrzeug fahren kann. Durch in der Technik bekannte Verfahren, die eine Analyse von Pixel-Eigenschaften und eine Analyse von Gebieten des Bilds, die Faktoren wie beispielsweise eine Farbe und Linienmuster beschreiben, umfassen, können Gebiete des Bilds, die wahrscheinlich den Boden um fassen, identifiziert werden. Durch Vergleichen dieses Gebiets oder dieser Gebiete mit den identifizierten Gebieten mit Mustern, die Objekte beschreiben, kann eine Ermittlung vorgenommen werden, um Bereiche oder Gebiete des Bilds zu definieren, die wahrscheinlich einen Boden umfassen und keine zu verfolgenden Objekte angeben. Der Prozess 600 definiert Bereiche, die den Boden angeben 610, auf der Grundlage des eingegebenen modifizierten Bilds wie hierin oben beschrieben. Die in einer a priori-Iteration identifizierten Objekte werden wie hierin oben beschrieben an dem modifizierten Bild projiziert 612. Die Kantenabbildung, die Eckenabbildung, die Lucas-Kanade-Abbildung eines optischen Flusses, die Bildbereiche, die nicht dem Boden entsprechen, und die projizierten Objekte werden vereinigt, um Bildbereiche an dem modifizierten Bild zu identifizieren, die einem Objekt entsprechen 614.
Wieder auf 5 Bezug nehmend gibt das Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets nach dem Identifizieren von Bildbereichen an dem modifizierten Bild die Objektposition (P) und die identifizierten Bildbereiche, die einen definierten Bereich von Merkmalen (I) umfassen, für eine weitere Analyse an ein Merkmalsextraktionsmodul 114 aus. Das Merkmalsextraktionsmodul 114 analysiert den Bildbereich durch Anwenden bekannter Merkmalsidentifikationsalgorithmen auf das Stück. Die Merkmalsidentifikationsalgorithmen durchsuchen die verfügbare visuelle Information hinsichtlich charakteristischer Muster in dem Bildbereich, der einem Objekt zugeordnet ist, einschließlich Merkmalen, die durch eine Linienausrichtung, einen Linienort, eine Farbe, Eckeneigenschaften, andere visuelle Attribute und gelernte Attribute definiert sind. Bei einer Ausführungsform können die Merkmalsidentifikationsalgorithmen auf sequentielle Bilder angewandt werden, um Änderungen zu identifizieren, die einer Fahrzeugbewegung entsprechen, wobei die Änderungen, die nicht einer Bodenbewegung zugeordnet sind, als nicht freier Pfad identifiziert werden können. Das Merkmalsextraktionsmodul 114 überwacht die Bildbereiche des modifizierten Bilds und ermittelt einen Merkmalsdeskriptor für jeden Bildbereich. Der Merkmalsdeskriptor kann unter Verwendung von Merkmalsextraktionsalgorithmen und Transformationen, wie beispielsweise ein Histogramm vorbestimmter Unterscheidungsmerkmale, wie beispielsweise vertikale Kanten, Symmetrie, ein Gradientenorientierungshistogramm (HOG), und unter Verwendung einer Projektion auf einen linearen Subraum, z. B. eine Hauptkomponentenanalyse, ermittelt werden. Durch in der Technik bekannte Verfahren, wie beispielsweise Haar-Wavelet, Gabor-Wavelet und Leung-Malik-Filterbank, können zusätzliche Unterscheidungsmerkmale definiert werden.
Das Klassifizierungsmodul 116 analysiert jeden Bildbereich und ordnet jedem identifizierten Objekt und zugeordneten Bildbereichen auf der Grundlage eines vorab trainierten Klassifizierers ein Kennzeichen (L) zu. Das Klassifizierungsmodul 116 nimmt die extrahierten Merkmale und die vorherigen identifizierten Objekte (a priori) und die zugeordneten Daten, die eine Position, einen Bildbereich und ein Klassifizierungskennzeichen umfassen, welche für den momentanen Zeitschritt in einem Vorhersageprozessmodul 117 aktualisiert werden, als Eingang, und führt sie einem Klassifizierer zu, um zu ermitteln, ob ein Bildbereich ein Objekt umgibt. Die Klassifizierung ermittelt das Kennzeichen jedes identifizierten Objekts gemäß einer beliebigen Anzahl von Klassifizierern. Beispielhafte Klassifizierungen umfassen z. B. ein sich schnell bewegendes Objekt, wie beispielsweise ein Fahrzeug in Bewegung, ein sich langsam bewegendes Objekt, wie beispielsweise ein Fußgänger, und ein stationäres Objekt, wie beispielsweise ein Verkehrsschild. Das Klassifizierungsmodul 116 verwendet statistische Klassifiziererverfahren mit Trainings-Klassifizierung für eine Entsprechung mit Merkmalen oder Attributen in dem Bildbereich unter Verwendung einer signifikanten Anzahl von Objekt- und Nicht-Objekt-Bildabtastwerten. Die Entsprechung gelernter Attribute mit Merkmalen in dem Bildbereich kann durch Maschinenlernalgorithmen in dem Fahrzeug gelernt werden, wird jedoch zumeist offline programmiert und kann experimentell, empirisch, prädiktiv, durch eine Modellerstellung oder andere Techniken entwickelt werden, die geeignet sind, um Unterscheidungsattribute genau zu trainieren. Diese Attribute ermöglichen dem Steuerschema, eine Konfidenz zwischen Null und Eins zu entwickeln, dass die in dem Bildbereich identifizierten Merkmale einem vorbestimmten klassifizierten Objekt entsprechen. Es kann eine Schwellenwertkonfidenz festgelegt werden, die die Konfidenz definiert, die erforderlich ist, um einen bestimmten Bildbereich als ein Objekt angebend zu identifizieren.
Eines mehrerer Verfahren kann verwendet werden, um trainierte Klassifizierer auf die von den Bildbereichen extrahierten Merkmale anzuwenden. Ein erstes Verfahren analysiert die Merkmale unter Verwendung eines Trainingssatzes von Bildern. Eine Information von den trainierten Klassifizierern wird verwendet, um das Merkmal als ein bestimmtes Objekt angebend zu klassifizieren oder zu gewichten, wobei die bestimmte Klassifizierung von der Stärke von Vergleichen mit den trainierten Daten abhängt. Eine Klassifizierung des Merkmals, wenn das Merkmal das einzige Merkmal in dem Bildbereich ist, kann direkt auf den Bildbereich angewandt werden. Eine Klassifizierung eines Bildbereichs mit mehreren identifizierten Merkmalen kann viele Formen annehmen, die den Bildbereich, der durch das umfasste Merkmal definiert wird, das den Bildbereich, der einem bestimmten Objekt entspricht, am stärksten angibt, oder den Bildbereich, der durch eine gewichtete Summe aller darin umfassten Merkmale definiert ist, umfassen.
Ein zusätzliches Verfahren, das zum Anwenden trainierter Klassifizierer auf die von den Bildbereichen extrahierten Merkmale zum Identifizieren und Klassifizieren eines Objekts in den Bildbereichen verwendet wird, umfasst das Verwenden einer Stützvektormaschine (SVM von support vector machine) und eines neuronalen Netzes. Wie ein Fachmann erkennen wird, sind künstliche neuronale Netze oder neuronale Netze Computersysteme, die für eine komplexe und adaptierbare Entscheidungsfindung erzeugt werden. Während herkömmliche Rechenmittel auf einer sequentiellen Verarbeitung von Daten durch einen Algorithmus, der vorhersagbare Ergebnisse liefert, basieren, ist bekannt, dass neuronale Netze Daten in aufeinander folgenden Schichten und parallelen Pfaden innerhalb jeder Schicht durch wechselnde Knoten verarbeiten. Das neuronale Netz wird anfänglich mit Daten trainiert, die einen bekannten Satz von Ergebnissen liefern. Als Ergebnis dieses Trainings werden Gewichte zwischen den Schichten und unter den Knoten angewandt, wobei sich das Netz automatisch an die Trainingsdaten anpasst und die Gewichte einstellt, um ein näheres Modell für die Daten zu erstellen. Bei einer späteren Verwendung kann das neuronale Netz die Trainingsanpassungen beibehalten und sie über die Lebensdauer des Netzes anwenden, oder das Netz kann verschiedene bekannte Verfahren zum Lernen von laufenden Datenmustern einsetzen. Durch Trainieren und Abstimmen eines neuronalen Netzes können Eingangsdaten, die mehrere identifizierte Merkmale umfassen, analysiert werden, um Objekte in den Bildbereichen zu identifizieren und zu klassifizieren.
Nach dem Ermitteln des Kennzeichens in dem Klassifizierungsmodul 116 kann ein Objekt in einem Eingangsbild entsprechend P, I und L gemäß den oben beschriebenen Verfahren beschrieben werden. Ein Datenzuordnungsmodul 118 analysiert die momentane Objektliste mit P, I und L, wobei die vorherigen Objekte (a priori) und die zugeordneten Daten, die eine Position, Bildbereichsmerkmale und ein Klassifizierungskennzeichen umfassen, für den momentanen Zeitschritt in dem Vorhersageprozessmodul 117 unter Verwendung eines Objektdynamikmodells aktualisiert werden. Das Datenzuordnungsmodul 118 bringt die momentanen identifizierten Objekte mit den vorherigen identifizierten Objekten in Übereinstimmung und gibt eine Liste von in Übereinstimmung gebrachten Objektmessungspaaren aus. Die vorherigen identifizierten Objekte werden unter Verwendung des Vorhersageprozessmoduls 117 wie hierin nachstehend beschrieben mit dem momentanen Zeitschritt aktualisiert.
Durch Vergleichen eines Objekts (P, I und L) in einem zweiten Verfolgungszyklus, der ein zweites Eingangsbild analysiert, mit einem anderen Objekt (P, I und L) in einem ersten Verfolgungszyklus, der ein erstes Eingangsbild analysiert, kann ermittelt werden, ob sich die beiden Objekte wahrscheinlich auf das gleiche verfolgte Objekt in der Nähe des Fahrzeugs beziehen. Bei einem beispielhaften Verfahren kann die momentane Objektliste mit der vorhergesagten Objektliste unter Verwendung eines Unterschiedlichkeitsmaßes zwischen den Deskriptoren eines Objekts P, I und L in Übereinstimmung gebracht werden. Die Unterschiedlichkeit D(ô_β, x_α) zwischen den beiden Objekten α und β ist wie folgt definiert: D(ôβ, xα) = wPd(P ^β, Pα) + wId(Îβ, Iα) + wLd(L ^β, Lα) [5]wobei d(P ^_β, P_α) die Positionsdistanz zwischen den Objekten α und β, die verglichen werden, ist, d(Î_β, I_α) die Unterschiedlichkeit zwischen den beiden Objekten ist, berechnet als Distanz zwischen zwei entsprechenden Merkmalsdeskriptorvektoren, und
einen binären Faktor beschreibt, der die Kennzeichen der beiden Objekte vergleicht. w_P, w_I und w_L sind Gewichte, die experimentell ermittelt und kalibriert werden. Durch Vergleichen der Position der verfolgten Objekte, der Bildmerkmale in der Nähe der verfolgten Objekte und der Kennzeichen der verfolgten Objekte kann geschätzt werden, ob die beiden Objekte das gleiche verfolgte Objekt in der Nähe des Fahrzeugs darstellen.
Im Betrieb wird ein α-tes vorhergesagtes Objekt von der vorhergesagten Objektliste (a priori) mit x_α = (I_α, P_α, L_α) bezeichnet, wobei I_α ein Merkmalsdeskriptor des entsprechenden Bildstücks ist, P_α die Position des Objekts ist und L_α das Klassifizierungskennzeichen ist (z. B. Fahrzeug, Fußgänger, Motorrad, Fahrrad, Reh). Ein β-tes detektiertes momentanes Objekt wird mit ô_β = (Î_β, P ^_β, L ^_β) bezeichnet. Wenn die Unterschiedlichkeit D(ô_β, x_α) kleiner als ein Schwellenwert ist, wird das beobachtete Objekt ô_β dem vorhergesagten Objekt x_α zugeordnet.
Ein Objektverfolgermodul 119 überwacht den Ausgang des Datenzuordnungsmoduls 118, um aktualisierte Positionen und Geschwindigkeitsattribute der Objekte unter Verwendung einer Bank von Kalman-Filtern zu ermitteln. 7 zeigt schematisch das Objektverfolgermodul 119, das eine beispielhafte Bank von Kalman-Filtern 206 zeigt, die ausgestaltet sind, um die Position und Geschwindigkeit einer Gruppe von Objekten zu schätzen, gemäß der vorliegenden Offenbarung. Es werden verschiedene Filter für Objekte verwendet, die verschiedenen dynamischen Eigenschaften zugeordnet sind, wie beispielsweise Objekte, die mit konstanter Geschwindigkeit fahren, Objekte mit Manövern mit starker Längsrichtung, Objekte mit Manövern mit starker Querrichtung und stationäre Objekte. Es wird ein Markov-Entscheidungsprozess-Modell (MDP-Modell von Markov decision process model) 208 verwendet, um das Kalman-Filter mit dem größten gewichteten Wert auszuwählen, das für eine Entsprechung mit genauen Positionen und einer Geschwindigkeitsschätzung für das Objekt verwendet wird. Ein Auswählen eines Kalman-Filters unter Verwendung des Markov-Entscheidungsprozesses reduziert die Verfolgungslatenzzeit, was eine größere Kollisionsvorbereitungssystemfunktionalität ermöglicht. Das ausgewählte Kalman-Filter wird durch das Aktualisierungsobjektmodul 210 zum Aktualisieren der Objektdaten, die Position und Geschwindigkeit umfassen, verwendet.
Hierin ist ein beispielhafter Markov-Entscheidungsprozess in Bezug auf 7 und das Objektverfolgermodul 119 beschrieben. Der Markov-Entscheidungsprozess 208 wird verwendet, um ein Kalman-Filter aus der Bank von Kalman-Filtern 206 auszuwählen, um eine Position und Geschwindigkeit eines Objekts zu aktualisieren. Unter Verwendung eines ausgewählten i-ten Kaiman-Filters einer Bank von Kalman-Filtern 206 mit einer beliebigen Anzahl n wird zu einem momentanen Zeitschritt t_k ein Objektzustand
in Bezug auf einen Merkmalsdeskriptor
, eine Position und Geschwindigkeit des Objekts
und ein Klassifizierungskennzeichen
ermittelt. Das ausgewählte i-te Kalman-Filter zeigte eine größte Wahrscheinlichkeit aller i-ten Kalman-Filter, den Objektzustand
genau zu ermitteln. Eine Markov-Übergangsmatrix T kann verwendet werden, um eine Wahrscheinlichkeit zu beschreiben, dass ein anderes Kalman-Filter den Objektzustand
zu einem zukünftigen Zeitschritt t_k+1 genauer ermittelt. Daher stellt T_ij eine Wahrscheinlichkeit dar, dass sich der Objektzustand
von einem i-ten Kalman-Filter zu einem j-ten Kalman-Filter zu einem Zeitschritt t_k+1 ändert.
Die Wahrscheinlichkeiten werden durch einen Datenauswertungsprozess (data mining process), der an einer öffentlichen Straße gesammelte Verkehrsdaten verwendet, oder einfach durch heuristische Regeln vorbestimmt. Mit über eine im Wesentlichen lange Sequenz aufgezeichneten Fahrzeugdaten mehrerer Fahrzeuge wird jedes Fahrzeug
zu einem Zeitpunkt t_k mit einem bestimmten Modell auf der Grundlage von Bodenwirklichkeitsdaten gekennzeichnet (gesammelt durch ein anderes Messverfahren, z. B. GPS-Daten). Dann kann die Übergangswahrscheinlichkeit T_ij durch die folgende Beziehung ermittelt werden:
wobei
die Häufigkeit bezeichnet, dass ein Fahrzeugzustand zu einem Zeitschritt t_k+1 zu einem Modell j gehört, und
die Häufigkeit bezeichnet, dass ein Fahrzeugzustand zu Zeitschritten t_k bzw. t_k+1 zu einem Modell i bzw. einem Modell j gehört.
Hierin ist in Bezug auf 7 und das Objektverfolgermodul 119 ein beispielhafter Markov-Entscheidungsprozess beschrieben. Der Markov-Entscheidungsprozess 208 wird verwendet, um ein Kalman-Filter von der Bank von Kalman-Filtern 206 auszuwählen, um eine Position und Geschwindigkeit eines Objekts zu aktualisieren. Zu einem momentanen Zeitschritt t_k wird ein Objektzustand
in Bezug auf einen Merkmalsdeskriptor
, eine Position und Geschwindigkeit des Objekts
und ein Klassifizierungskennzeichen
unter Verwendung eines ausgewählten i-ten Kaiman-Filters einer Bank von Kalman-Filtern 206 mit einer beliebi gen Anzahl n ermittelt. Das ausgewählte i-te Kalman-Filter zeigte eine größte Wahrscheinlichkeit aller i-ten Kalman-Filter, um den Objektzustand x_k genau zu ermitteln.
Jedes Kalman-Filter ist ausgestaltet, um einen Objektzustand
zu einem momentanen Zeitschritt k in Bezug auf einen Merkmalsdeskriptor
, eine Position und Geschwindigkeit des Objekts
und ein Klassifizierungskennzeichen
auf der Grundlage des Ausgangs des Datenzuordnungsmoduls 118 und der Fahrzeugkinematikdaten, die Fahrzeuggeschwindigkeit und Gierrate von den Fahrzeugsensoren 204 umfassen, zu aktualisieren. Ferner ist jedes Kalman-Filter ausgestaltet, um eine Positionsmessung
auf der Grundlage von Messungen von den Entfernungserfassungseinrichtungen 14 und 16 und der Kamera 11 zu aktualisieren. Jedes i-te Kalman-Filter der unabhängigen Bank von n Kalman-Filtern 206 kann dargestellt werden mit:
wobei Aⁱ und Bⁱ Systemmatrizen des i-ten Kaiman-Filters sind,
einen Fahrzeugbedienereingang und Fahrzeugkinematikdaten, die z. B. eine Brems- und eine Gaspedalstellung, einen Lenkradwinkel und eine Fahrzeuggierrate umfassen, zu einem Zeitschritt t_k darstellt, νⁱ einen Modellerstellungsfehler für das i-te Modell bezeichnet, verteilt als Gauss-Wahrscheinlichkeitsverteilungsfunktion (WVF), d. h. νⁱ = N(O, Qⁱ), wobei Qⁱ eine Kovarianzmatrix ist, Hⁱ die Messmatrix für ein i-tes Kalman-Filter ist und ωⁱ den Messfehler für das i-te Kalman-Filter bezeichnet, verteilt als Gauss-WVF, d. h. ωⁱ = N(O, Rⁱ), wobei Rⁱ die Kovarianzmatrix des Messfehlers des i-ten Kalman-Filters ist.
Der Markov-Entscheidungsprozess 208 wählt ein Kalman-Filter aus, um den Objektzustand
und die Positionsmessung
zu aktualisieren, die im Vergleich zu den Gewichten aller Kalman-Filter einem größten Gewicht wⁱ eines i-ten Kalman-Filters zugeordnet ist. Das Gewicht wⁱ beschreibt eine Wahrscheinlichkeit, dass ein bestimmtes Kalman-Filter i den Objektzustand x genau ermittelt. Im Betrieb initiiert der Markov-Entscheidungsprozess 208 jedes Kalman-Filter für die Bank von Kalman-Filtern 206 mit gemischten Variablen, die das Gewicht w i / 0, den Mittelwert x ^ i / 0 und die Kovarianz P i / 0 umfassen. Die Kalman-Filter werden nach dem Empfangen einer neuen Messung zu einem Zeitpunkt k aktualisiert, wobei vorherige Schätzwerte verwendet werden, die zu einem vorherigen Zeitschritt t_k-1 ermittelt werden und ein Gewicht
einen Mittelwert
und eine Kovarianzmatrix
für das i-te Kalman-Filter umfassen.
Unter Verwendung einer Übergangswahrscheinlichkeitsmatrix T, die wie hierin oben beschrieben ermittelt wird und auf der Grundlage der verglichenen Kalman-Filter ausgewählt wird, werden gemischte Variablen iterativ ermittelt. Die gemischten Variablen werden in die Bank von Kalman-Filtern 206 eingegeben. Für jedes Kalman-Filter i kann ein gemischter gewichteter Wert, der einen Zeitschritt k beschreibt, unter Verwendung der folgenden Beziehung ermittelt werden:
wobei T_ij die Wahrscheinlichkeit darstellt, dass ein Objekt von einer bestimmten vorhergesagten Klassifizierung i, z. B. einer Klassifizierung eines stationären Objekts, in eine andere bestimmte Klassifizierung j, z. B. ein Fahren mit konstanter Geschwindigkeit, wechselt.
Für jedes Kalman-Filter kann unter Verwendung der folgenden Beziehung ein gemischter Mittelwert ermittelt werden.
Für jedes Kalman-Filter wird unter Verwendung einer Rückkopplung, die einen geschätzten Modellbedingungszustand und eine geschätzte Fehlerkovarianz umfasst, die unter Verwendung der hierin unten beschriebenen Beziehungen [19] und [20] bereitgestellt werden, iterativ ein gemischter Kovarianzwert ermittelt. Der gemischte Kovarianzwert kann unter Verwendung der folgenden Beziehung ermittelt werden.
Nach dem Ermitteln der gemischten Variablen ermittelt die Bank von Kalman-Filtern die folgenden Beziehungen:
wobei Aⁱ und Bⁱ Systemmatrizen des i-ten Kalman-Filters sind;
einen Fahrzeugbedienereingang und Fahrzeugkinematikdaten, die z. B. eine Brems- und eine Gaspedalstellung, einen Lenkradwinkel und eine Fahrzeuggierrate umfassen, zu einem Zeitindex t_k darstellt; Qⁱ eine Kovarianzmatrix bezeichnet, die einen Modellvorhersagefehler für das i-te Kalman-Filter darstellt; Hⁱ die Messmatrix für das i-te Kalman-Filter ist; I eine Identitätsmatrix darstellt;
eine Kalman-Verstärkung für das i-te Kalman-Filter zu einem Zeitschritt t_k darstellt;
und
den geschätzten Mittelwert und die entsprechende Kovarianzmatrix für das Objekt zum Zeitschritt t_k bezeichnen; und Rⁱ eine Kovarianzmatrix bezeichnet, die einen Messfehler für das i-te Kalman-Filter darstellt.
Es wird eine Wahrscheinlichkeitsanalyse verwendet, um eine Wahrscheinlichkeit zu ermitteln, dass ein i-tes Kalman-Filter mit momentanen Mess beobachtungen übereinstimmt. Die Wahrscheinlichkeitsanalyse wird unter Verwendung der folgenden Beziehung ausgeführt:
wobei γⁱ ein Normalisierungskoeffizient ist, der verwendet wird, um die WVF auf 1 zu integrieren,
und
den geschätzten Mittelwert und die entsprechende Kovarianzmatrix bezeichnen, die hierin oben unter Verwendung der Beziehungen [12] und [13] ermittelt werden, und
Nach dem Ausführen der Wahrscheinlichkeitsanalyse wird ein gewichteter Wert für die vorhergesagte Klassifizierung gemäß der folgenden Beziehung aktualisiert.
wobei
und Lⁱ in den Beziehungen [9] bzw. [17] berechnet werden.
Nach dem Aktualisieren des gewichteten Werts werden der geschätzte Modellbedingungszustand und die geschätzte Fehlerkovarianz unter Verwendung der folgenden Beziehungen ermittelt:
wobei
Die Beziehungen [19] und [20] sind der Schätzungsausgang einer Objektposition und -geschwindigkeit des Objektverfolgermoduls 119. Der Merkmalsdeskriptor und das Klassifizierungskennzeichnen, die den Objekten zugeordnet werden, bleiben von dem Datenzuordnungsmodul 118 unverändert. Die Ausgänge sind Eingänge in eine Objektverfolgungsdatenbank 113, die ausgestaltet ist, um eine Objektinformation zu speichern, die Objektverfolgungsdateien und entsprechende Bildbereiche und Klassifizierungskennzeichen umfasst. Die Objektinformation wird für einen iterativen Vergleich mit neuen Daten und für eine Vorhersage einer relativen Bewegung des Fahrzeugs, die auf ein wahrscheinliches oder unmittelbar bevorstehendes Kollisionsereignis hindeutet, gespeichert. Ferner können ein interessierendes Gebiet oder interessierende Gebiete, die zuvor ausgewählte Bildbereiche reflektieren, an das Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets, das die Bildbereichsidentifikation durchführt, weitergeleitet werden, um eine Kontinuität der Analyse von iterativen Sichtdaten bereitzustellen. Auf diese Weise werden Entfernungsdaten oder eine Entfernungsverfolgungsinformation der Bildebene überlagert, um die Schätzung zu verbessern.
Nachdem das Datenvereinigungsmodul 110 Verfolgungsschätzwerte für Objekte in der Nähe des Fahrzeugs 10 erzeugt hat, werden die Objektverfolgungen dann in das Kollisionsgefahrenbewertungsmodul 120 eingegeben, wobei jede Verfolgung für eine Wahrscheinlichkeit für eine Kollision bewertet wird. Jede Objektverfolgung umfasst eine Mischung aus einer Gauss-Verteilung mit
wobei x ^ⁱ und Pⁱ hierin in den Beziehungen [15] bzw. [16] beschrieben sind und wobei die Zeitindextiefstellung t_k ignoriert wird. Diese Verteilung kann zufällig abgetastet werden, um einen Satz von Partikeln zu erhalten, der eine Wahrscheinlichkeitsverteilung des Objekts darstellt.
Beispielsweise stellt für ein n-tes Objekt ein entsprechender Partikelsatz s = {x (ϛ) / n|ϛ = 1,..., M}, wobei M die Anzahl von Partikeln bezeichnet, die Wahrscheinlichkeitsverteilung war. Der ϛ-te Partikel x (ϛ) / n =(x (ϛ) / n, y (ϛ) / n, vx (ϛ) / n, vy (ϛ) / n), wobei die Längsverschiebung des n-ten Objekts ist, y (ϛ) / n die Querverschiebung ist, vx (ϛ) / n und vy (ϛ) / n die Längs- bzw. Quergeschwindigkeit des Objekts sind. Wenn sich das Objekt x auf dem Kollisionspfad befindet und die Zeitdauer bis zur Kollision (TTC) TTC^(ϛ) = –x (ϛ) / n/vx (ϛ) / n kleiner als ein Schwellenwert ist (z. B. 2 Sekunden), wird der Partikel als Gefahr bezeichnet. Das Kollisionsgefahrenbewertungsmodul 120 ermittelt die Wahrscheinlichkeit für eine Kollision auf der Grundlage eines Prozentsatzes einer Anzahl von Gefahren pro einem Objekt zugeordneten Gesamtpartikeln. Die Wahrscheinlichkeit für eine Kollision wird an das Kollisionsgegenmaßnahmenmodul 150 ausgegeben.
Die Wahrscheinlichkeit für eine Kollision eines identifizierten Objekts wird durch ein Kollisionsgegenmaßnahmenmodul 150 analysiert. Diese Wahrscheinlichkeit für eine Kollision kann beispielsweise hinsichtlich einer Schwellenwertwahrscheinlichkeit für eine Kollision bewertet werden, und wenn eine Kollision als wahrscheinlich ermittelt wird, können Kollisionsgegenmaßnahmen initiiert werden. Wenn beispielsweise die Wahrscheinlichkeit für eine Kollision größer als ein Schwellenwert ist (z. B. 90%), stellt das Objekt eine unmittelbare Gefahr für das Host-Fahrzeug bereit und werden geeignete Kollisionsgegenmaßnahmen ausgeführt. Die Kollisionsgegenmaßnahmen können eine Sicherheitsgurtstraffung, einen Drosselleerlauf, ein automatisches Bremsen, eine Airbag-Vorbereitung, ein Anpassen der Kopfstützen, eine Hupen- und Scheinwerferaktivierung, eine Anpassung der Pedale oder der Lenksäule, Anpassungen auf der Grundlage einer geschätzten relativen Aufprallgeschwindigkeit, Anpassungen der Aufhängungssteuerung und Anpassungen von Stabilitätssteuersystemen umfassen. Eine Reaktion auf wahrscheinliche Kollisionsereignisse kann auf der Grundlage einer erhöhten Wahrscheinlichkeit skaliert werden. Beispielsweise kann ein leichtes automatisches Bremsen in dem Fall verwendet werden, dass eine geringe Schwellenwertwahrscheinlichkeit ermittelt wird, und können drastischere Maßnahmen in Ansprechen auf die Ermittlung einer hohen Schwellenwertwahrscheinlichkeit ergriffen werden.
Ferner sei angemerkt, dass eine verbesserte Genauigkeit des Beurteilens einer Wahrscheinlichkeit durch ein iteratives Trainieren der Alarmmodelle erreicht werden kann. Wenn beispielsweise ein Alarm ausgegeben wird, kann dem Fahrer durch eine Sprachaufforderung und eine Anfrage an einem Bildschirm oder durch ein beliebiges anderes Eingabeverfahren eine Überprüfungsoption bereitgestellt werden, die anfordert, dass der Fahrer bestätigt, ob der Alarm einer unmittelbar bevorstehenden Kollision angemessen war. Es ist eine Anzahl von Verfahren in der Technik bekannt, um korrekte Alarme, falsche Alarme oder verpasste Alarme anzupassen. Beispielsweise sind Maschinenlernalgorithmen in der Technik bekannt und können sie verwendet werden, um adaptiv eine Programmierung zu verwenden, die Gewichte und Gewichtungen alternativen Berechnungen in Abhängigkeit von der Natur der Rückmeldung zuordnet. Ferner kann eine Fuzzy-Logik verwendet werden, um Eingänge in ein System gemäß skalierbaren Faktoren auf der Grundlage einer Rückmeldung zu konditionieren. Auf diese Weise kann eine Genauigkeit des Systems über der Zeit und basierend auf den bestimmten Fahrgewohnheiten eines Bedieners verbessert werden.
8 zeigt beispielhafte einer entsprechenden Bildebene überlagerte Entfernungsdaten gemäß der vorliegenden Offenbarung. Die schraffierten Balken sind die Radarverfolgungen, die dem Bild einer nach vorn gerichteten Kamera überlagert sind. Wie hierin oben beschrieben extrahiert das Modul 112 für eine Bewegungsanalyse und eine Detektion eines hervorstechenden Gebiets die Bildbereiche, die die Entfernungssensorverfolgungen umgeben. Das Merkmalsextraktionsmodul 114 berechnet den Merkmalsdeskriptor der Bildbereiche. Das Klassifizierungsmodul 116 nimmt die extrahierten Merkmale als Eingang her und führt sie einem Klassifizierer zu, um zu ermitteln, ob ein Bildbereich ein Objekt umgibt. Die Klassifizierung ermittelt das Kennzeichen jedes Bildbereichs. Beispielsweise werden in 8 die Kasten A und B als Fahrzeuge identifiziert, während der nicht bezeichnete Kasten als Objekt am Straßenrand identifiziert wird. Das Vorhersageprozessmodul 117 verwendet eine Information des Objekts aus der Vergangenheit (d. h. Position, Bildstück und Kennzeichen eines vorherigen Zyklus) und sagt die momentanen Werte vorher. Das Datenzuordnungsmodul 118 verbindet die momentanen Messungen mit den vorhergehenden Objekten oder ermittelt, ob die Quelle einer Messung (d. h. Position, Bildstück und Kennzeichen) von einem spezifischen Objekt stammt. Das Objektverfolgermodul 119 erzeugt aktualisierte Positionen für die Objekte für eine Speicherung in der Objektverfolgungsdatenbank 113.
Die Offenbarung beschrieb bestimmte bevorzugte Ausführungsformen und Abwandlungen dieser. Weitere Abwandlungen und Änderungen können für Dritte beim Lesen und Verstehen der Beschreibung ersichtlich werden. Daher soll die Offenbarung nicht auf die bestimmte(n) Ausführungsform(en) beschrankt sein, die als die beste Ausführungsart offenbart ist/sind, die zur Ausführung dieser Offenbarung in Betracht gezogen wird, sondern die Offenbarung soll alle Ausführungsformen umfassen, die in den Schutzumfang der beigefügten Ansprüche fallen.

Claims

Verfahren zum Steuern eines Fahrzeugbetriebs während eines dynamischen Fahrzeugereignisses, wobei das Verfahren umfasst, dass ein erstes Eingangsbild überwacht wird; ein erstes verfolgtes Objekt in dem ersten Eingangsbild in einem ersten Verfolgungszyklus überwacht wird; ein zweites Eingangsbild überwacht wird; ein zweites verfolgtes Objekt in dem zweiten Eingangsbild in einem zweiten Verfolgungszyklus überwacht wird; ein Unterschiedlichkeitsmaß ermittelt wird, das das erste verfolgte Objekt mit dem zweiten verfolgten Objekt vergleicht, wobei das Unterschiedlichkeitsmaß abschätzt, ob das erste verfolgte Objekt und das zweite verfolgte Objekt ein einzelnes verfolgtes Objekt in der Nähe des Fahrzeugs darstellen; das erste verfolgte Objekt und das zweite verfolgte Objekt auf der Grundlage des Unterschiedlichkeitsmaßes zugeordnet werden; und die zugeordneten Objekte in einem Kollisionsvorbereitungssystem verwendet werden, um den Betrieb des Fahrzeugs zu steuern.
Verfahren nach Anspruch 1, das ferner umfasst, dass in dem ersten Eingangsbild das erste verfolgte Objekt ermittelt wird; eine Position in dem ersten Eingangsbild des ersten verfolgten Objekts ermittelt wird; Merkmale in dem ersten Eingangsbild in der Nähe des ersten verfolgten Objekts definiert werden; ein erstes Kennzeichen ermittelt wird, das eine wahrscheinliche Klassifizierung des ersten verfolgten Objekts beschreibt; in dem zweiten Eingangsbild das zweite verfolgte Objekt ermittelt wird; eine Position in dem zweiten Eingangsbild des zweiten verfolgten Objekts ermittelt wird; Merkmale in dem zweiten Eingangsbild in der Nähe des zweiten verfolgten Objekts definiert werden; ein zweites Kennzeichen ermittelt wird, das eine wahrscheinliche Klassifizierung des zweiten verfolgten Objekts beschreibt; und wobei das Ermitteln des Unterschiedlichkeitsmaßes, das das erste verfolgte Objekt mit dem zweiten verfolgten Objekt vergleicht, umfasst, dass die Positionen jedes der verfolgten Objekte, die Merkmale in der Nähe jedes der verfolgten Objekte und die Kennzeichen verglichen werden.
Verfahren nach Anspruch 2, wobei die Wahrscheinlichkeitsklassifizierungen ein sich schnell bewegendes Objekt, ein sich langsam bewegendes Objekt und ein stationäres Objekt umfassen.
Verfahren nach Anspruch 2, das ferner umfasst, dass Entfernungssensordaten, die jedem der Eingangsbilder entsprechen, überwacht werden; und wobei das Ermitteln der verfolgten Objekte in den Eingangsbildern auf den Entfernungssensordaten basiert, die jedem der Eingangsbilder entsprechen.
Verfahren nach Anspruch 2, wobei das zweite Kennzeichen auf dem ersten Kennzeichen basiert.
Verfahren nach Anspruch 2, wobei das Ermitteln der verfolgten Objekte in den Eingangsbildern umfasst, dass hervorstechende Bildbereiche und einer Bewegung zugeordnete Bereiche in jedem der Bilder identifiziert werden.
Verfahren nach Anspruch 6, wobei das Identifizieren von hervorstechenden Bildbereichen und einer Bewegung zugeordneten Bereichen in jedem der Bilder umfasst, dass eine Kantenabbildung ermittelt wird; eine Eckenabbildung ermittelt wird; eine Lucan-Kanade-Abbildung eines optischen Flusses ermittelt wird; ein Bereich des Eingangsbilds, der einen Boden angibt, ermittelt wird; und die hervorstechenden Bildbereiche und die einer Bewegung zugeordneten Bereiche, die auf der Kantenabbildung, der Eckenabbildung, der Lucan-Kanade-Abbildung eines optischen Flusses und dem Bereich des Eingangsbilds, der einen Boden angibt, basieren, identifiziert werden.
Verfahren nach Anspruch 7, wobei das Identifizieren von hervorstechenden Bildbereichen und einer Bewegung zugeordneten Bereichen ferner umfasst, dass eine Objektinformation von einem vorherigen Eingangsbild an dem Eingangsbild projiziert wird; und wobei das Identifizieren der hervorstechenden Bildbereiche und der einer Bewegung zugeordneten Bereiche ferner auf dem Pro jizieren der Objektinformation von dem vorherigen Eingangsbild basiert.
Verfahren nach Anspruch 1, wobei das erste Objekt a priori für einen Vergleich mit dem zweiten Objekt ausgewählt wird.
Verfahren nach Anspruch 1, das ferner umfasst, dass die zugeordneten verfolgten Objekte mit einer Bank von Kalman-Filtern analysiert werden; und wobei das Verwenden der zugeordneten verfolgten Objekte in dem Kollisionsvorbereitungssystem umfasst, dass die analysierten zugeordneten verfolgten Objekte verwendet werden.
Verfahren nach Anspruch 10, wobei das Analysieren der zugeordneten Objekte mit einer Bank von Kalman-Filtern umfasst, dass eine Geschwindigkeit und eine Gierrate des Fahrzeugs überwacht werden; die Bank von Kalman-Filtern auf die zugeordneten Objekte und die Geschwindigkeit und Gierrate des Fahrzeugs angewandt wird; und ein Markov-Entscheidungsprozess an dem Ausgang von der Bank von Kalman-Filtern verwendet wird, um die analysierten zugeordneten Objekte zu erzeugen.
Verfahren zum Steuern eines Fahrzeugs, das während eines dynamischen Fahrzeugereignisses betrieben wird, wobei das Verfahren umfasst, dass eine Entfernungssensorinformation und eine Sichtsysteminformation überwacht werden; die Entfernungssensorinformation der Sichtsysteminformation überlagert wird, um ein modifiziertes Bild zu erzeugen; hervorstechende Bildbereiche in dem modifizierten Bild unter Verwendung einer Kantendetektion, einer Eckendetektion und einer Detektion eines optischen Flusses identifiziert werden; die hervorstechenden Bildbereiche, die dem Boden entsprechen, ausgeschlossen werden; iterativ Objekte in einem Fahrzeugsichtfeld unter Verwendung der hervorstechenden Bildbereiche identifiziert werden, was umfasst, dass ein erstes Objekt in dem Fahrzeugsichtfeld unter Verwendung der hervorstechenden Bildbereiche in einem ersten Zeitschritt identifiziert wird und ein zweites Objekt in dem Fahrzeugsichtfeld unter Verwendung der hervorstechenden Bildbereiche in einem nachfolgenden Zeitschritt identifiziert wird; eine Position des ersten Objekts in dem nachfolgenden Zeitschritt vorhergesagt wird; das erste Objekt mit dem zweiten Objekt auf der Grundlage eines Vergleichens der vorhergesagten Position des ersten Objekts und des identifizierten zweiten Objekts in Übereinstimmung gebracht wird; Objektverfolgungen der in Übereinstimmung gebrachten Objekte ermittelt werden; eine Wahrscheinlichkeit für eine Kollision zwischen jedem der in Übereinstimmung gebrachten Objekte und dem Fahrzeug auf der Grundlage der Objektverfolgungen ermittelt wird; und das Fahrzeug auf der Grundlage der Wahrscheinlichkeit für eine Kollision gesteuert wird.
System zum Betreiben eines Kollisionsvorbereitungssystems in einem Fahrzeug, wobei das System umfasst: ein Sichtsystem; ein Entfernungssensorsystem; und ein Steuermodul, das Daten von dem Entfernungssensor und Bilder von dem Sichtsystem überwacht; iterativ Objekte in einem Fahrzeugsichtfeld auf der Grundlage der Entfernungssensordaten und der Bilder identifiziert, was umfasst, dass ein erstes Objekt in dem Fahrzeugsichtfeld unter Verwendung der Entfernungssensordaten und der Bilder in einem ersten Zeitschritt identifiziert wird und ein zweites Objekt in dem Fahrzeugsichtfeld unter Verwendung der Entfernungssensordaten und der Bilder in einem nachfolgenden Zeitschritt identifiziert wird, eine Position des ersten Objekts in dem nachfolgenden Zeitschritt vorhersagt, das erste Objekt und das zweite Objekt auf der Grundlage der vorhergesagten Position des ersten Objekts zuordnet, eine Objektverfolgung der zugeordneten Objekte ermittelt, eine Wahrscheinlichkeit für eine Kollision zwischen den zugeordneten Objekten und dem Fahrzeug auf der Grundlage der Objektverfolgung ermittelt, und das Fahrzeug auf der Grundlage der Wahrscheinlichkeit für eine Kollision steuert.
System nach Anspruch 13, wobei das Ermitteln der Objektverfolgung der zugeordneten Objekte umfasst, dass die zugeordneten Objekte mit mehreren Kalman-Filtern verarbeitet werden; und die Objektverfolgung auf der Grundlage einer Auswahl eines Ausgangs der mehreren Kalman-Filter unter Verwendung eines Markov-Entscheidungsprozesses ermittelt wird.
System nach Anspruch 13, wobei das Identifizieren von Objekten in dem Fahrzeugsichtfeld umfasst, dass die Entfernungssensordaten einem der Bilder überlagert werden, um ein modifiziertes Bild zu erzeugen; Bildbereiche an dem modifizierten Bild, die der Entfernungssensorinformation zugeordnet sind, extrahiert werden; ein Merkmalsdeskriptor der Bildbereiche ermittelt wird; und Objekte in den Bildbereichen auf der Grundlage des Merkmalsdeskriptors identifiziert werden.
System nach Anspruch 15, wobei der Merkmalsdeskriptor unter Verwendung eines Histogramms vorbestimmter Merkmale und/oder eines Gradientenorientierungshistogramms und/oder einer Hauptkomponentenanalyse ermittelt wird.
System nach Anspruch 16, wobei die vorbestimmten Merkmale unter Verwendung eines Haar-Wavelet und/oder eines Gabor-Wavelet und/oder einer Leung-Malik-Filterbank ermittelt werden.
System nach Anspruch 13, wobei das Zuordnen des ersten Objekts und des zweiten Objekts auf der Grundlage der vorhergesagten Position des ersten Objekts umfasst, dass ein Unterschiedlichkeitsmaß zwischen dem ersten und zweiten Objekt ermittelt wird; und das erste und zweite Objekt in Übereinstimmung gebracht werden, wenn die Unterschiedlichkeit kleiner als ein vorbestimmter Schwellenwert ist.
System nach Anspruch 13, wobei das Ermitteln der Wahrscheinlichkeit für eine Kollision zwischen den zugeordneten Objekten und dem Fahrzeug auf der Grundlage der Objektverfolgung umfasst: Ermitteln einer Gauss-Verteilung für die Objektverfolgung; zufälliges Abtasten der Gauss-Verteilung, um einen Satz von Partikeln zu erhalten; Ermitteln einer Längs- und Querverschiebung jedes Partikels; Ermitteln, ob sich jeder Partikel auf einem Kollisionspfad mit dem Fahrzeug befindet; Ermitteln einer Zeitdauer bis zur Kollision für jeden Partikel auf einem Kollisionspfad; Bezeichnen jedes Partikels auf einem Kollisionspfad als Gefahr, wenn die Zeitdauer bis zur Kollision für den jeweiligen Partikel kleiner als eine Schwellenwertzeitdauer ist; und Ermitteln, dass eine Kollision unmittelbar bevorsteht, wenn ein vorbestimmter Prozentsatz des Satzes von Partikeln, die als Gefahr bezeichnet sind, größer als ein Schwellenwertprozentsatz ist.