-
TECHNISCHES
GEBIET
-
Die
vorliegende Erfindung betrifft Kollisionswarn- und Gegenmaßnahmensysteme
für ein
Kraftfahrzeug und insbesondere ein System und ein Verfahren zur
Ausführung
von Objektdetektion und -zuordnung mit Hilfe von mehreren gleichartigen
und ungleichartigen Sensoren.
-
HINTERGRUND
DER ERFINDUNG
-
Kollisionswarn-
und Gegenmaßnahmensysteme
werden zunehmend verbreitet eingesetzt. Kollisionswarnsysteme können vorzugsweise
ein etwa 50 m – 100
m von einem Trägerfahrzeug
entferntes Objekt erfassen und beurteilen, ob das erfasste Objekt ein
Hindernis ist und eine Bedrohung für das Trägerfahrzeug darstellt. Diese
Systeme vermitteln einem Fahrzeugführer auch Wissen und Gewahrsein
von Hindernissen oder Fahrzeugen innerhalb großer zeitlicher Nähe, so dass
der Fahrer Maßnahmen
ergreifen kann, um eine Kollision mit den erfassten Hindernissen
zu verhindern. Gegenmaßnahmensysteme gibt
es in verschiedenen passiven und aktiven Ausführungen. Manche Gegenmaßnahmensysteme
werden dazu genutzt, zum Verhindern einer Kollision beizutragen,
andere werden dazu genutzt, zum Verhindern einer Verletzung eines
Fahrzeugführers
beizutragen.
-
Manche
Kollisionswarnsysteme und Gegenmaßnahmensysteme können ein
Fahrzeug oder Objekt in großer
Nähe zu
einem Trägerfahrzeug
erfassen und den Fahrer eines Trägerfahrzeugs
warnen, so dass der Fahrer vorbeugende Schritte zur Verhinderung
einer Kollision oder Verletzung ergreifen kann. Die Kollisionswarnsysteme
können
nach vorne oder nach hinten erfassen. Diese Systeme zeigen einem
Fahrzeugführer
an, dass sich ein Objekt, das für den
Fahrzeugführer
eventuell nicht sichtbar ist, innerhalb eines bestimmten Abstands
und einer bestimmten Position zum Trägerfahrzeug befindet. Der Fahrzeugführer kann
dann entsprechend reagieren. Andere Kollisionswarnsysteme und Gegenmaßnahmensysteme
aktivieren passive Gegenmaßnahmen wie
Airbags, kraftbegrenzende Sitzgurte oder aktive Fahrzeugregelung
einschließlich
Lenkregelung, Beschleunigungsregelung oder Bremsregelung, wodurch
das System selbst zur Verhinderung einer Kollision oder Verletzung
beiträgt.
-
Getrennt
von Kollisionswarnsystemen und Gegenmaßnahmensystemen gibt es andere
Systeme für
das autonome Regeln eines Fahrzeugs. Diese Systeme können Sensoren
wie Kameras, Radarsensoren oder Ultraschallsensen zum Erheben von
Informationen und Nutzen dieser Informationen bei Aktivierung der
Lenkregelung, Bremsregelung und Beschleunigungsregelung einschließen. Autonome Systeme
wurden bisher vorrangig für
militärische
Anwendungen eingesetzt, wurden aber nicht für das Ausgeben einer Kollisionswarnung
oder für
das Verhindern einer Verletzung bei Kraftfahrzeugen genutzt.
-
Bei
der Bedrohungseinstufung, Detektion und Erkennung eines Objekts
auf der Strecke eines Trägerfahrzeugs
wurden bisher mehrere Sensoren unterschiedlicher Arten verwendet.
Die Sensoren werden zum Erfassen eines Objekts verwendet, gefolgt
vom Einsatz parametrischer Zuordnungs-/Schätzverfahren, um zu bestätigen, wann
ein Objekt eine mögliche
Bedrohung für
das Trägerfahrzeug
und für
die Insassen des Trägerfahrzeugs
darstellt. Das betroffene Objekt kann ein reales Objekt oder ein
falsches Objekt sein. Falsche Objekte können zum Beispiel erfasst werden,
wenn sich ein stehendes Objekt am Fahrbahnrand befindet, das als echtes,
möglicherweise
eine Kollision verursachendes Objekt prognostiziert wird, oder wenn
sich ein kleines Objekt, das keine mögliche Bedrohung darstellt,
auf der Strecke des Trägerfahrzeugs
befindet und als ein möglicherweise
eine Kollision verursachendes Objekt erkannt und falsch klassifiziert
wird. Ein weiteres Beispiel für
die Erzeugung falscher Objekte ist, wie in dem Gebiet bekannt, das
falsche Erzeugen eines fiktiven Objekts, das in Wirklichkeit nicht
existiert, durch das Kollisionswarn- und Gegenmaßnahmensystem.
-
Die
Kollisionswarn- und Gegenmaßnahmensysteme
erheben Daten von mehreren Sensoren und assoziieren, verschmelzen
oder kombinieren die Daten, um zu ermitteln, ob es sich bei den
erfassten Objekten um reale Objekte und nicht um falsche Objekte handelt.
Die Vorteile der Verwendung von Daten von mehreren Sensoren umfassen
größere räumliche und
zeitliche Erfassung, größere Genauigkeit
bei der Ermittlung, ob ein Objekt eine mögliche Bedrohung darstellt,
und größere Zuverlässigkeit
bei der Detektion von Objekten in großer Nähe zum Trägerfahrzeug, wodurch eine bessere
Beurteilung der Umgebung des Fahrzeugs möglich wird.
-
Die
Wahl der Architektur für
das Verarbeiten der Objektinformationen, welche kostengünstig ist und
die relevanten Informationen so schnell liefern kann, dass eine
geeignete Maßnahme
ergriffen werden kann, ist ausschlaggebend für die Ermittlung, ob eine bestimmte
Technologie praktisch geeignet ist. Zur Zeit ist man bestrebt, Kameras
bei der Detektion und Klassifizierung von Objekten zu verwenden.
Leider ist die derzeitige Kameratechnologie nicht kostengünstig und
fordert ein hohes Maß an
Verarbeitungsleistung und -zeit für die Berechnung der relevanten
Informationen, die zur Verwendung im Fahrzeug benötigt werden.
Die Bildverarbeitung einer Kamera mit ladungsgekoppelten Bauelementen
(CCD) ist aufgrund einer großen
Datenmenge, die pro Bild erhoben wird, etwa 640 × 480 Pixel pro Einzelbild
bei 30 Einzelbildern pro Sekunde, zeitaufwändig. Zeit ist bei der Verhinderung
einer Kollision ausschlaggebend. Das präzise Klassifizieren und Verfolgen
eines Objekts kann die Aufnahme von einigen zehn bis einigen hundert
Einzelbildern mit Daten erfordern, die jeweils eine gewünschte Mindestauflösung aufweisen,
wodurch die derzeitige Kameratechnologie für Verwendung im Fahrzeug unbrauchbar
wird.
-
Es
besteht der Wunsch, ein sichereres Kraftfahrzeug mit größerer Kollisionswarn- und Sicherheitsgegenmaßnahmenintelligenz
an die Hand zu geben, um die Wahrscheinlichkeit einer Kollision oder
einer Verletzung zu verringern. Daher ist es wünschenswert, ein verbessertes
Kollisionswarn- und Sicherheitsgegenmaßnahmensystem für ein Kraftfahrzeug
an die Hand zu geben, das die Nutzung von Multisensortechnologien
integriert und ein wirksameres Kollisions- und Verletzungsverhinderungssystem
für ein
Kraftfahrzeug an die Hand gibt.
-
ZUSAMMENFASSENDE
BESCHREIBUNG DER ERFINDUNG
-
Die
vorliegende Erfindung gibt ein System und ein Verfahren für das Detektieren
von Objekten in großer
Nähe zu
einem Kraftfahrzeug mit Hilfe von Objektdetektions- und Bilderzeugungstechnologien wie
zum Beispiel elektromagnetische bzw. elektrooptische Technologien
an die Hand. Ein Verfahren für das
Ausführen
einer Objektdetektion in einem Kollisionswarn- und Gegenmaßnahmensystem
wird an die Hand gegeben. Das Verfahren umfasst das Erfassen & Erzeugen eines
Objektdetektionssignals und das Erzeugen eines Bilddetektionssignals.
Als Reaktion auf das Objektdetektionssignal und das Bilddetektionssignal
werden Reflexionszentren und Intensitätszentren ermittelt. Die Intensitätszentren
werden für mehrere
Einzelbilder den Reflexionszentren zugeordnet. Es werden pro Einzelbild
Unterschiede zwischen den Reflexionszentren und den Intensitätszentren
ermittelt und es wird ein Sensordifferenzsignal erzeugt. Ein Objekt
wird als Reaktion auf das Sensordifferenzsignal klassifiziert.
-
Einer
von mehreren Vorteilen der vorliegenden Erfindung liegt darin, dass
sie ein Kollisionswarn- und Gegenmaßnahmensystem an die Hand gibt,
das die Bildverarbeitungszeit, die Prozessoranforderungen, die Speicheranforderungen
und die Komplexität minimiert,
so dass es eine kostengünstige
und praktikable Lösung
für den
Einsatz bereits existierender Kameratechnologie im Fahrzeug an die
Hand gibt.
-
Ein
weiterer Vorteil der vorliegenden Erfindung liegt darin, dass sie
ein Verfahren für
das Zuordnen von Daten, die von elektromagnetischen und elektrooptischen
Sensoren wie Radarsensoren und Kameras erhoben werden, an die Hand
gibt, um die Objekte besser und effizienter klassifizieren und zu verfolgen.
-
Weiterhin
passt die vorliegende Erfindung für jedes Einzelbild kontinuierlich
einen relevanten Bereich und ein entsprechendes Intensitätszentrum
an, um eine größere Gewissheit
bezüglich
eines Objekts und eine verbesserte Verfolgungsleistung an die Hand
zu geben.
-
Die
vorliegende Erfindung selbst lässt
sich zusammen mit den damit einhergehenden Vorteilen am Besten durch
Lesen der folgenden eingehenden Beschreibung in Verbindung mit den
Begleitfiguren verstehen.
-
KURZBESCHREIBUNG
DER ZEICHNUNGEN
-
Für ein umfassenderes
Verständnis
dieser Erfindung soll nun Bezug auf die in den Begleitfiguren detaillierter
dargestellten und nachstehend anhand von erfindungsgemäßen Beispielen
beschriebenen Ausführungen
genommen werden. Hierbei zeigen:
-
1 eine Blockdiagrammdarstellung
eines Kollisionswarn- und Gegenmaßnahmensystems für ein Kraftfahrzeug
nach einer erfindungsgemäßen Ausführung;
-
2A ein Logikflussdiagramm,
welches ein Verfahren zur Ausführung
der Objektdetektion innerhalb des Kollisionswarn- und Gegenmaßnahmensystems
nach einer erfindungsgemäßen Ausführung zeigt;
-
2B eine Fortsetzung des
Logikflussdiagramms von 2A nach
einer erfindungsgemäßen Ausführung;
-
3 ein Beispiel einer Darstellung
eines elektromagnetischen Sensorerfassungsbereichs, welches die
Entfernung und die Azimutwinkel erfasster Objekte gemäß einer
erfindungsgemäßen Ausführung veranschaulicht;
-
4 ein beispielhaftes Einzelbild
nach einer erfindungsgemäßen Ausführung, das
den erfassten Objekten von 3 entspricht;
-
5 ein Beispiel eines Einzelbilds
mit Perspektivenumwandlung, welches beispielhafte relevante Bereiche,
Reflexionszentren und Intensitätszentren
nach einer erfindungsgemäßen Ausführung veranschaulicht;
-
6 ein Einzelbilddiagramm,
welches beispielhafte Radarbilder und zugeordnete Einzelbilder nach
einer erfindungsgemäßen Ausführung veranschaulicht;
-
7A ein Diagramm eines beispielhaften Einzelbilds
nach einer erfindungsgemäßen Ausführung, welches
aktualisierte relevante Bereiche für Objekte zeigt, die sich einem
Trägerfahrzeug
nähern; und
-
7B ein beispielhaftes Einzelbild
nach einer erfindungsgemäßen Ausführung, welches
prognostizierte relevante Bereiche für Objekte zeigt, die sich vom
Trägerfahrzeug
entfernen.
-
EINGEHENDE
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNG
-
In
den folgenden Figuren werden die gleichen Bezugszeichen zur Bezeichnung
gleicher Teile verwendet. Zwar wird die vorliegende Erfindung bezüglich eines
Systems und Verfahrens zur Detektion und Verfolgung von Objekten
in großer
Nähe zu
einem Kraftfahrzeug mit Hilfe sowohl elektromagnetischer Erfassung
als auch elektrooptischer Technologien beschrieben, doch kann die
vorliegende Erfindung an verschiedene Systeme angepasst und auf diese übertragen
werden, darunter: Kollisionswarnsysteme, Kollisionsvermeidungssysteme,
Parkhilfesysteme, Rückfahrhilfesystemen,
Gegenmaßnahmensysteme,
Fahrzeugsysteme oder andere Systeme, die eine Kollisionsvermeidung
oder Kollisionsabschätzung
erfordern können.
-
In
der folgenden Beschreibung werden verschiedene Betriebsparameter
und – komponenten
für eine
Konstruktionsausführung
beschrieben. Diese spezifischen Parameter und Komponenten dienen als
Beispiele und sollen nicht einschränkend gelten.
-
In
der folgenden Beschreibung kann zudem der Begriff "Ausführen" das Aktivieren,
Einsetzen, Einleiten, Einschalten und andere in dem Gebiet bekannte
Begriffe einschließen,
die die Art und Weise beschreiben, in welcher eine passive Gegenmaßnahme vorgenommen
werden kann.
-
Ferner
kann der Begriff "Gegenmaßnahme" in der folgenden
Beschreibung reversible oder irreversible Gegenmaßnahmen
bezeichnen. Reversible Gegenmaßnahmen
bezeichnen Gegenmaßnahmen, die
wieder in ihren ursprünglichen
Zustand versetzt werden können
oder ohne ein erhebliches Maß funktioneller
Einbuße
wiederholt verwendet werden können,
welche von einem Systemdesigner ermittelt werden können. Irreversible
Gegenmaßnahmen
bezeichnen Gegenmaßnahmen
wie Airbags, die nach einmaliger Verwendung nicht wiederverwendbar sind.
-
Zudem
kann ein Gegenmaßnahmensignal Informationen
bezüglich
der oben genannten reversiblen und irreversiblen Gegenmaßnahmen
umfassen oder kann andere Informationen wie z.B. Kollisionswarninformationen
umfassen. Das Gegenmaßnahmensignal
kann zum Beispiel Objektdetektionsinformationen enthalten, welche
dazu genutzt werden können,
einem Fahrzeugführer
das Vorhandensein oder die große
Nähe eines
erfassten Objekts anzuzeigen.
-
Unter
Bezug nun auf 1 wird
eine Blockdiagrammdarstellung eines Kollisionswarn- und Gegenmaßnahmensystems 10 für ein Kraftfahrzeug bzw.
ein Trägerfahrzeug 12 nach
einer erfindungsgemäßen Ausführung gezeigt.
Das System 10 umfasst elektromagnetische Sensoren 14 und
mindestens einen elektrooptischen Sensor 16, welche mit
einem Hauptsteuergerät 18 elektrisch
verbunden sind. Das Steuergerät 18 kombiniert
die von den elektromagnetischen Sensoren 14 und dem elektrooptischen
Sensor 16 empfangenen Informationen, um Objekte von mehreren
Sensoren für
den Zweck der Objektverfolgung und Bedrohungsbeurteilung innerhalb
großer Nähe zum Fahrzeug 12 zu
erfassen und zuzuordnen. Das System 10 kann auch verschiedene
Fahrzeugdynamiksensoren 20, aktive Gegenmaßnahmen 22, passive
Gegenmaßnahmen 24 und
eine Anzeige 26 umfassen, die allesamt mit dem Steuergerät 18 elektrisch
verbunden sind. Das Hauptsteuergerät 18 kann die Gegenmaßnamen 22 und 24 aktivieren
oder einem Fahrzeugführer
verschiedene Objekt- und Fahrzeuginformationen über die Anzeige 26 anzeigen,
um eine Fahrzeugkollision und eine Verletzung der Fahrzeuginsassen
zu verhindern.
-
Bei
der Ermittlung von Sensoren, die für eine bestimmte Anwendung
geeignet sind, werden Faktoren wie Entfernung, Entfernungsunterschied,
Form und Größe eines
Objekts berücksichtigt.
In einer bevorzugten erfindungsgemäßen Ausführung werden aktive Sensoren
in Form von Radar als elektromagnetische Sensoren 14 und
ein passiver Sensor in Form einer Kamera als elektrooptischer Sensor 16 für den Zugriff
auf die Umgebung des Trägerfahrzeugs 12 verwendet.
Radar liefert abgeleitete Messungen wie Entfernung, Entfernungsunterschied, Azimutwinkel,
Höhe und
ungefähre
Größe eines
Objekts sowie andere in dem Gebiet bekannte Informationen. Eine
Kamera kann abgeleitete Messungen wie Ort, Größe und Form eines Objekts liefern.
-
Die
elektromagnetischen Sensoren 14 können von unterschiedlicher
Sensortechnologie sein, wie Radar, Lidar oder andere in dem Gebiet
bekannte Sensortechnologieformen, und können als aktive Sensoren bezeichnet
werden. Die elektromagnetischen Sensoren 14 erzeugen bei
Erfassen von einem oder mehreren Objekten unterschiedlicher Größe und Form
mehrere Objektdetektionssignale (RCS, Frequenz & Zeit). Zwar werden vier elektromagnetische
Sensoren gezeigt, doch kann eine beliebige Anzahl an elektromagnetischen
Sensoren verwendet werden. In der vorliegenden Erfindung werden
die Objektdetektionssignale dazu benutzt, abgeleitete Messungen
wie die relative Entfernung, den Azimutwinkel, die Geschwindigkeit
und Peilwerte eines Objekts sowie andere in dem Gebiet bekannte Objektinformationen
zu berechnen.
-
Wenngleich
der elektrooptische Sensor 16 bevorzugt eine Kamera mit
ladungsgekoppelten Bauelementen (CCD) ist, kann er auch von anderer
Art sein, zum Beispiel eine Kamera, welche eine komplementäre Metalloxid-Halbleitertechnologie
nutzt (CMOS). Der elektrooptische Sensor 16 kann als passiver
Sensor bezeichnet werden. Der elektrooptische Sensor 16 ist
ein zweidimensionales Bauteil, das unterschiedliche Auflösung, Genauigkeit,
Bildfeld (FOV) und Siliziumwafereignung aufweisen kann.
-
Die
elektromagnetischen Sensoren 14 können als primäre Sensoren
und die elektrooptischen Sensoren 16 können als sekundäre Sensoren
betrachtet werden.
-
Das
Hauptsteuergerät 18 beruht
vorzugsweise auf einem Mikroprozessor wie z.B. einem Rechner mit
einer zentralen Recheneinheit, Speicher (RAM und/oder ROM) und zugehörigen Eingabe-
und Ausgabebussen. Das Hauptsteuergerät 18 kann ein Teil einer
zentralen Fahrzeug-Hauptsteuervorrichtung, eines interaktiven Fahrzeugdynamikmoduls,
eines Rückhaltesteuermoduls,
eines Hauptsicherheitssteuergeräts
sein oder kann wie gezeigt ein autonomes Steuergerät sein.
-
Die
Fahrzeugdynamiksensoren 20 können einen Übertragungsrotationssensor,
einen Raddrehzahlfühler,
einen Beschleunigungsaufnehmer, einen optischen Sensor oder andere
in dem Gebiet bekannte Geschwindigkeits- oder Beschleunigungssensoren
umfassen. Die Fahrzeugdynamiksensoren 20 werden zur Ermittlung
der Geschwindigkeit und Beschleunigung des Fahrzeugs 20 und
zur Erzeugung eines Fahrzeugdynamiksignals verwendet.
-
Die
aktiven Gegenmaßnahmen 22 können die
Steuerung einer Bremsanlage 22a, eines Antriebsstrangsystems 22b,
einer Lenkung 22c, einer Fahrwerksteuerung 22d und
andere in dem Gebiet bekannte aktive Gegenmaßnahmen umfassen.
-
Die
passiven Gegenmaßnahmen 24 können passive
Gegenmaßnahmen
wie Airbags 24a, Gurtstraffmechanismen 24b, aufblasbare
Sicherheitsgurte 24c, eine kraftbegrenzende Pedal- und
Lenksäule 24d und
andere in dem Gebiet bekannte passive Gegenmaßnahmen und Steuerungen derselben
umfassen. Einige mögliche
passive Gegenmaßnahmen, die
enthalten sein können,
aber nicht gezeigt sind, sind eine Sicherheitsgurtsteuerung, Knieschutzpolstersteuerung,
Kopfstützensteuerung,
kraftbegrenzende Pedalsteuerung, kraftbegrenzende Lenksteuerung,
Gurtstraffmechanismussteuerung, externe Airbagsteuerung und Fußgängerschutzsteuerung.
Die Gurtstraffmechanismussteuerung kann die Steuerung von pyrotechnischen
und motorisierten Gurtstraffmechanismen umfassen.
-
Die
Airbagsteuerung kann die Steuerung von Front-, Seiten, sogenannten
Curtain-, Motorhauben-, Armaturenbrett-Airbags oder anderen Arten
von Airbags umfassen. Die Fußgängerschutzsteuerung kann
das Steuern einer auslösbaren
Fahrzeugmotorhaube, eines Stoßfängersystems
oder anderer Fußgängerschutzvorrichtungen
umfassen.
-
Die
Anzeige 26 dient zur Signalerzeugung oder Anzeige eines
Kollisionswarnsignals oder eines Objektidentifikationssignals als
Reaktion auf die Objektdetektionssignale. Die Anzeige 26 kann
ein Videosystem, ein Audiosystem, eine LED, eine Leuchte, ein Navigationssystem,
eine in das Sichtfeld eingeblendete Anzeige, einen Scheinwerfer,
ein Rücklicht, ein
Anzeigesystem, ein telematisches System oder eine andere Anzeige
umfassen. Die Anzeige 26 kann Warnsignale, kollisionsbezogene
Informationen, externe Warnsignale für Objekte oder Fußgänger außerhalb
des Fahrzeugs 12 oder andere Prä- und Postkollisionsinformationen
liefern.
-
Bezüglich der 2A–B wird nun ein Logikflussdiagramm
gezeigt, welches ein Verfahren für das
Ausführen
einer Objektdetektion innerhalb des Kollisionswarn- und Gegenmaßnahmensystems 10 veranschaulicht.
-
Das
System 10 wird bei Schritt 100 initialisiert.
Das Steuergerät 18 ermittelt,
ob Radardaten bei einer Frequenz von etwa 2 Hz verfügbar sind.
Sind Radardaten verfügbar,
geht das Steuergerät 18 zu Schritt 101,
andernfalls erkennt das Steuergerät 18, dass ein Fehler
vorliegen kann und zeigt einen Fehler an. Ferner wird ein Radarbilddesignator
j gleich 1 gesetzt.
-
Bei
Schritt 101 können
die elektromagnetischen Sensoren 14 ein oder mehrere Objektdetektionssignale
erzeugen. Die elektromagnetischen Sensoren 14 führen Anstiegsflankenerfassungen 30 und Abstiegsfankenerfassungen 32 aus.
Die Objektdetektionssignale enthalten Objekt-Designatoren 34, die
sowohl in den Anstiegsflankenerfassungen 30 als auch in
den Anstiegsflankenerfassungen 32 erzeugt werden und den
detektierten Objekten 36 entsprechen, welche durch Vergleichen
eines empfangenen Echosignals mit einem ursprünglich übermittelten Signal erhalten
werden, um Entfernung und Azimutwinkel bei jeder der Erfassungen 30 und 32 zu
ermitteln, was in Schritt 104 weiter beschrieben wird.
Zielen oder Elementen 34 in jeder der Erfassungen 30 und 32 werden
daher Polarkoordinaten (r, θ)
und ein gelieferter Intensitätswert
zugeordnet.
-
Bei
Schritt 102 wird durch Verwendung von Sensordaten wie Entfernung,
Azimutwinkel und gelieferte Intensität eine erste Datenfusionsebene
erreicht, um Objekte aus den Erfassungen 30 und 32 zu
verknüpfen
und zu detektieren. Die Elemente 34 werden für jedes
detektierte Objekt 36 verknüpft und gepaart. Hierbei können die
Elemente 34 mit Hilfe anderer in dem Gebiet bekannter Verfahren
gemittelt oder kombiniert werden, so dass ein einziges resultierendes
Ziel 38 für
jedes Objekt 36 erzeugt wird. In einer erfindungsgemäßen Ausführung werden
die Anstiegsflankenobjekte mit den Abstiegsflankenobjekten gepaart,
so dass sie bei einem bestimmten Azimutwinkel eine ähnliche
gelieferte Intensität
und ähnliche
Doppler-Frequenzen aufweisen.
-
Bei
Schritt 104 werden Entfernung, Entfernungsunterschied und
Fortbewegungsrichtung für
jedes resultierende Ziel 38 zum Trägerfahrzeug ermittelt. Der
Entfernungsunterschied bzw. die relative Geschwindigkeit eines Objekts
kann als Reaktion auf die Doppler-Verschiebung ermittelt werden,
was in dem Gebiet bekannt ist.
-
3 zeigt ein Beispiel für die Schritte 100–104.
Ein erstes Objekt 40 wird mit einem ersten Anstiegsflankenziel 42 und
einem ersten Abstiegsflankenziel 44 zusammen mit einem
zweiten Objekt 46 mit einem zweiten Anstiegsflankenziel 48 und
einem zweiten Abstiegsflankenziel 50 gezeigt. Die Anstiegsflankenziele 42 und 48 sowie
die Abstiegsflankenziele 44 und 50 werden für jedes
Objekt 36 verknüpft
und gepaart, um jeweils resultierende Ziele 38 zu bilden.
Die resultierenden Ziele 38 weisen jeweils Entfernungen
R1 und R2 sowie
Azimutwinkel θ1 und θ2 auf.
-
Unter
erneutem Bezug auf 2 erfasst
und speichert die bilderzeugende Einheit 16 bei Schritt 106 Bildsignale.
Jedes Bildsignal besitzt ein Einzelbild 52, wie am Besten
in 4 ersichtlich wird,
mit einem Bildfeld 54 und mit Bildern bzw. einem Bild der Ziele 55,
welche den bei Schritt 100 detektierten Objekten 36 entsprechen.
-
In
den folgenden Figuren einschließlich 4 sind die Objekte, die
relevanten Bereiche, Blöcke,
etc. zum Zweck der Beschreibung und des Verständnisses vergrößert und
nicht maßstabsgetreu und
können
allesamt in Wirklichkeit jeweils kleiner sein und von der Größe her relativ
unterschiedlich sein.
-
Bei
Schritt 108 werden Reflexionszentren 56 als Reaktion
auf jedes der Objektdetektionssignale ermittelt.
-
Bei
Schritt 108A werden die Polarkoordinaten für jedes
Ziel 38 in ein Weltkoordinatensystem umgewandelt. Die Koordinaten
für jedes
Ziel 38 entsprechen dem Reflexionszentrum 56,
welches Objektzentren in einem elektromagnetischen Sensorfeld darstellt.
Die erste Entfernung R1 und der erste Azimutwinkel θ1 für
das erste Objekt 40 zum Beispiel werden in Weltkoordinaten
(X1w, Y1w und Z1w) umgewandelt.
-
Bei
Schritt 108B wird zu jeder der Weltkoordinaten jedes Ziels 38 eine
perspektivische Umwandlung ausgeführt, was zur Übertragung
der Reflexionszentren 56 von dem Weltkoordinatensystem
in ein Bildkoordinatensystem führt.
Zum Beispiel werden für
das erste Objekt 40 die kartesischen Koordinaten X1w, Y1w und Z1w in entsprechende Bildkoordinaten X1i, Y1i umgewandelt.
Die Bildkoordinaten für jedes
Ziel 38 werden, wie am Besten in 5 ersichtlich ist, praktisch über das
Einzelbild 52 gelegt. Die Bildkoordinaten X1i,
Y1i stellen ein Reflexionszentrum 58 für das erste
Objekt 40 dar.
-
Bei
Schritt 108C wird ein anfänglicher Differenzparameter
d0 für
jedes der Objekte 36 ermittelt. Der Anfangswert des Differenzparameters
d0 ist eine ungefähre Zahl. Der Wert des Parameters
d0 ist proportional zu Geschwindigkeit und
zur Entfernung eines Objekts gegenüber dem Trägerfahrzeug 12 und ist
ebenfalls proportional zu einem Durchschnittsparameter davg und wird für zugeordnete Fehler berichtigt.
Der Durchschnittsdifferenzparameter davg,
welcher Teil des Sensordifferenzsignals ist, wird als Reaktion auf
einen Satz von Differenzparametern di, Reflexionszentren 56 und
Intensitätszentren 59 erzeugt. Die
Intensitätszentren 59 sind
intensitätsgemittelte Zentrumsdesignatoren
für Objekte
in jedem relevanten Bereich 60, wie nachstehend beschrieben
wird. Der Durchschnittsparameter davg ist
für einen
ersten Zeitraum gleich Null und berücksichtigt für jedes
Objekt 36 Fehler zwischen den Reflexionszentren 56 und
den zugeordneten Intensitätszentren 59.
Der Durchschnittsparameter davg wird mit
Hilfe von Differenzvektoren ermittelt, die aus vorherigen Daten
erhalten wurden, zum Beispiel unter Verwendung des Radarbilds 1 und
des Einzelbilds 1–15.
Der Durchschnittsparameter davg wird auch
durch die Geschwindigkeit und Größe eines
in einem Einzelbild detektierten Objekts modifiziert. Um die Reflexionszentren 56 wird
ein ungefährer
Kreis oder Bereich mit einem Radius d gebildet.
-
Bei
Schritt 110 werden die relevanten Bereiche 60 um
jedes der Reflexionszentren 56 für jedes Objekt 36 festgelegt.
Die Größe der relevanten
Bereiche 60 wird als Reaktion auf frühere Daten ermittelt. Die relevanten
Bereiche 60 können
von unterschiedlicher Größe und Form
sein. Die vorliegende Erfindung verwendet die elektromagnetischen
Sensoren 14 zur Lieferung eines Ausgangsbezugspunkts, wie z.B.
jedes Reflexionszentrum 56, in einer Bildebene für jedes
detektierte Objekt. Die relevanten Bereiche 60 werden um
die Reflexionszentren 56 erzeugt. Die Größe jedes
ersten relevanten Bereichs 60 wird als Reaktion auf frühere Daten
ermittelt. In einer erfindungsgemäßen Ausführung entspricht zum Beispiel die
Höhe und
Breite des ersten relevanten Bereichs 60 der Höhe und Breite
eines großen
hergestellten Fahrzeugs. Die früheren
Daten können
auch Objektgeschwindigkeit und Entfernung zum Trägerfahrzeug 12 umfassen.
Die Objektabmessungen können
in eine Reihe von Pixeln in X- und Y-Richtungen einer Bildebene
umgewandelt werden und in Verbindung mit der Objektentfernung zum
Trägerfahrzeug 12 verwendet
werden, um die Größe des ersten
relevanten Bereichs 60 zu berechnen. Im Allgemeinen ist
der relevante Bereich um so kleiner, je größer die relative Entfernung
eines Objekts von dem Fahrzeug 12 ist.
-
Für einen
nächsten
oder folgenden Satz von Einzelbildern wird die entsprechende Größe der relevanten
Bereiche 60 als Reaktion auf die Geschwindigkeit und Fortbewegungsrichtung
der detektierten Objekte 36 bezüglich des Trägerfahrzeugs 12 angepasst,
wie in den 7A und 7B durch vorhergesagte relevante
Bereiche 70 für
die detektierten Objekte 36 gezeigt wird. 7A ist eine beispielhafte Darstellung
der Objekte 36, die sich von dem Fahrzeug 12 wegbewegen,
und 7B ist ein Beispiel
der Objekte 36, die sich dem Fahrzeug 12 nähern. Die
Größe der relevanten
Bereiche nimmt zu, wenn das detektierte Objekt 36 sich
dem Trägerfahrzeug 12 nähert, und
nimmt ab, wenn sich die detektierten Objekte von dem Trägerfahrzeug 12 entfernen.
Wenn sich die detektierten Objekte 36 dem Trägerfahrzeug 12 nähern, nimmt
ihr entsprechendes Bild an Größe zu, und
umgekehrt, wenn sich die detektierten Objekte von dem Trägerfahrzeug 12 entfernen.
Die Geschwindigkeit, mit der die relevanten Bereiche 60 zunehmen
oder abnehmen, hängt
auch von der Geschwindigkeit der detektierten Objekte 36 gegenüber dem
Trägerfahrzeug 12 ab.
-
Bei
Schritt 112 wird ein Zentroid 62, wie in 5 ersichtlich, für jedes
Objekt 40 entsprechend den Intensitätszentren 55 ermittelt.
Das Steuergerät 18 kann
Bildverarbeitungsverfahren wie z.B. Bildfilterung (Tief-, Hochpass),
Flankenerkennung, Segmentierung oder andere in dem Gebiet bekannte
Verarbeitungsverfahren bei dem Einzelbild 52 einsetzen, um
ein Objekt in den relevanten Bereichen 60 zu detektieren.
Die Zentroide 62 werden als Reaktion auf Kontur, Höhe, Breite,
Fläche
und Pixelintensität
jedes in den relevanten Bereichen 60 detektierten Objekts ermittelt
oder das Zentroid 62 kann durch Ermitteln eines durchschnittlichen
gewichteten Zentrums der Pixelintensität für das in den relevanten Bereichen 60 detektierte
Objekt ermittelt werden.
-
Unter
Bezug nun auch auf 6 wird
bei Schritt 114 ein Satz Vektoren 64, welche durch
d1-d15 repräsentiert
werden, zwischen den Reflexionszentren 56 und den entsprechenden
Zentroiden 62 für
die Einzelbilder 65 und die entsprechenden Radarbilder 66 ermittelt.
Jeder Vektor 64 weist einen zugehörigen Entfernungswert oder
Differenzparameter di auf, wobei i die Vektorzahl
ist. Das Steuergerät 18 ermittelt für jedes
Einzelbild 65, das einem Radarbild 66 zugeordnet
ist, die Differenzen di zwischen den Reflexionszentren 56 und
den entsprechenden Zentroiden 62.
-
Bei
Schritt 116 vergleicht das Steuergerät 18 die Differenz
zwischen jedem der Vektoren 64 mit dem Durchschnittsparameter
davg, um zu ermitteln, ob sie kleiner oder
gleich dem Durchschnittsparameter davg sind.
-
Bei
Schritt 116A ist, wenn die Vektoren 64 kleiner
oder gleich dem Durchschnittsparameter davg sind,
das Objekt in dem entsprechenden Radarbild gleich einem in einem
entsprechenden Einzelbild detektierten Objekt. Hierbei liefert die
vorliegende Erfindung eine verbesserte Verknüpfung zugehöriger Objektziele in zwei ungleichartigen
Modalitäten
oder ungleichartigen Sensoren. Der Durchschnittsparameter davg wird auch bei der Ermittlung eines Anfangswert-Differenzparameters
d0 für
den nächsten
sequentiellen Satz Radarbilder und das entsprechende Einzelbild
verwendet.
-
Bei
Schritt 116B wird, wenn ein Differenzparameter di größer als
der Durchschnittsparameter davg ist, dieser
Differenzparameter di verworfen. In einer erfindungsgemäßen Ausführung werden
Sensordaten von zwei ungleichartigen Sensoren mit unterschiedlichen
Abtastzeiten ausgerichtet und zugeordnet. In einer erfindungsgemäßen Ausführung weisen die
elektromagnetischen Sensoren 14 eine Abtastzeit von etwa
zwei Einzelbildern pro Sekunde auf und der elektrooptische Sensor 16 weist
eine Abtastzeit von etwa 30 Einzelbildern pro Sekunde auf. Um die Daten
von den Sensoren 14 und 16 auszurichten und zuzuordnen,
werden die Einzelbilder 65 jedem Radarbild 66 zugeordnet.
Somit weist der Satz Vektoren 64 für ein erstes Radarbild RFA 15 zugeordnete Einzelbilder IFA1-IFA15 auf.
-
Das
Steuergerät 18 ermittelt
bei Schritt 118 die Differenzparameter di zwischen
den Reflexionszentren und dem Zentroid, welche für die fünfzehn Radarbilder relativ
zum ersten Einzelbild erhalten wurden. Nach Ermitteln aller Differenzparameter
di wird ein Durchschnittsdifferenzparameterwert
davg als Reaktion auf die Differenzparameter
di ermittelt und wird als Apriori-Information
für die
Berechnung der Differenzparameter di für einen
folgenden Satz Radarbilder verwendet. Die Schritte 101–118 werden
für jedes
detektierte Objekt solange wiederholt, bis sich das detektierte
Objekt nicht länger
in großer
Nähe zu dem
Trägerfahrzeug 12 befindet,
d.h. alle Differenzparameter di größer als
die anfängliche
Entfernung d0 sind. In einer erfindungsgemäßen Ausführung wird ein
Objekt als in großer
Nähe befunden,
wenn mindestens etwa 60% der Differenzparameter di kleiner oder
gleich der anfänglichen
Differenz d0 sind. Wenn der Prozentsatz
der Differenzparameter di, die kleiner oder
gleich der anfänglichen
Differenz d0 sind, steigt, steigt die Wahrscheinlichkeit,
dass das Objekt bedenklich ist, und umgekehrt. In einer weiteren
erfindungsgemäßen Ausführung wird,
wenn weniger als 60% der Differenzparameter di kleiner
oder gleich der anfänglichen
Differenz d0 sind, das detektierte Objekt als "fiktives Objekt" oder falsches Objekt
klassifiziert. Wird ein fiktives Objekt oder ein falsches Objekt
detektiert, wird ein Fehlersignal erzeugt und das Steuergerät 18 kehrt
zu Schritt 100 zurück.
-
Wenn
zum Beispiel der aktuell Satz von Einzelbildern IFA1-15 ist,
wobei er das entsprechende Radarbild RFA besitzt,
dann ist der nächste
oder folgende Satz von Einzelbildern IFB1-15 und
weist das entsprechende Radarbild RFB auf.
Der folgende Satz von Einzelbildern IFB1-15 wiederholt
das gleiche Vorgehen, wie es für
den aktuellen Satz von Einzelbildern IFA1-15 ausgeführt wurde.
Es werden Polarkoordinaten für
das folgende Radarbild RFB des detektierten
Objekts ermittelt, gefolgt vom Ausführen einer Koordinatensystemumwandlung
und perspektivischen Umwandlung, um neue oder folgende Bildkoordinaten
IFB1-15 zu erhalten, wie bei Schritt 108 erwähnt.
-
Bei
Schritt 120 wird ein folgender Satz relevanter Bereich
für jedes
detektierte Objekt gebildet. Die neuen relevanten Bereiche ändern sich
zwischen sequentiellen Einzelbildern. Der folgende Satz von relevanten
Bereichen kann, statt bei Beendung von Schritt 118 ermittelt
zu werden, bei Schritt 110 ermittelt werden. Der folgende
Satz von relevanten Bereichen kann, wie in Schritt 110 beschrieben,
durch Ermitteln von Intensitätszentren
für jedes
Einzelbild bezüglich
eines folgenden Radarbilds ermittelt werden. Bei Ermittlung des
folgenden Satzes von relevanten Bereichen wird der Durchschnittsparameter
davg aus einem früheren Satz von relevanten Bereichen
ermittelt, um die Genauigkeit bei der Ermittlung, ob ein detektiertes
Objekt eine potentielle Bedrohung für das Trägerfahrzeug 12 darstellt,
zu steigern. Der Radarbilddesignator j wird gleich dem aktuellen
Wert von j plus 1 gesetzt. Wird ein Fehler festgestellt, kann das Steuergerät 18 ein
Objekt als falsches Objekt oder fiktives Objekt einstufen und setzt
den Radarbilddesignator j gleich 1 oder führt eine andere in dem Gebiet bekannte
Aufgabe aus.
-
Bei
Schritt 122 können
die detektierten realen Objekte 36 als Reaktion auf das
Sensordifferenzsignal klassifiziert und verfolgt werden. Das Steuergerät 18 kann
als Reaktion auf Objektinformationen einschließlich Objektklassifizierung
eine Kollisionswarnung und Gegenmaßnahmenausführung vorsehen. Abhängig von
den relativen Positionen, Geschwindigkeiten und Beschleunigungen
von Fahrzeug und Objekt kann das Steuergerät 18 entscheiden,
ob es einem Fahrzeugführer über die
Anzeige 26 eine mögliche
Kollision anzeigt, oder es kann entscheiden, eine passive Gegenmaßnahme oder
eine aktive Gegenmaßnahme
auszuführen.
Bei Beendigung von Schritt 124 kehrt das Steuergerät 18 zu Schritt 101 zurück, wenn
der Wert des Radarbilddesignators größer als 1 ist, um das Verfolgen
der Objekte 36 fortzusetzen, ansonsten kehrt das Steuergerät zu Schritt 100 zurück.
-
Die
oben beschriebenen Schritte sind als veranschaulichendes Beispiel
gedacht; die Schritte können
abhängig
von der Anwendung nacheinander, synchron oder in einer anderen Reihenfolge
ausgeführt
werden.
-
Die
vorliegende Erfindung gibt ein Kollisionswarn- und Gegenmaßnahmensystem
an die Hand, das Objektdetektionssensoren in Verbindung mit bilderzeugenden
Sensoren verwendet, um die Bildverarbeitung zu minimieren und zu
vereinfachen und Objekte wirksamer zu klassifizieren und zu verfolgen. Die
erfindungsgemäße Multisensor-Datenfusionsarchitektur
verringert den Umfang der Bildverarbeitung durch Verarbeiten lediglich
von ausgewählten
Bereichen eines Einzelbilds, welche als Reaktion auf Informationen
von elektromagnetischen Sensoren ermittelt wurden.
-
Zwar
wurde die Erfindung in Verbindung mit einer oder mehreren Ausführungen
beschrieben, doch versteht sich, dass die spezifischen Mechanismen
und Verfahren, die beschrieben wurden, lediglich der Veranschaulichung
der Prinzipien der Erfindung dienen und dass zahlreiche Abwandlungen
der beschriebenen Verfahren und Vorrichtung vorgenommen werden können, ohne
vom Wesen und Umfang der Erfindung, welche durch die beigefügten Ansprüche definiert
werden, abzuweichen.