DE10029866A1

DE10029866A1 - Objekterkennungssystem

Info

Publication number: DE10029866A1
Application number: DE10029866A
Authority: DE
Inventors: Morimichi Nishigaki; Masakazu Saka
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-06-16
Filing date: 2000-06-16
Publication date: 2001-02-15
Anticipated expiration: 2020-06-17
Also published as: JP4118452B2; DE10029866B4; US6731777B1; JP2000357233A

Abstract

Ein Objekterkennungssystem umfasst einen oder mehrere Bildsensoren (3, 3') und eine Steuereinrichtung, die dazu ausgelegt ist, den Abstand von dem System zum Objekt in Bezug auf jeweilige Fenster eines von den Sensoren aufgenommenen Bilds zu messen. Die Steuereinrichtung bildet Cluster durch Vereinigen benachbarter Fenster, die ähnliche gemessene Abstände haben. Das System umfasst einen Speicher (39) zum Speichern von Daten eines zuvor erkannten körperlichen Objekts. Die Steuereinrichtung inferiert oder folgert ein körperliches Objekt auf der Basis von Daten eines zuvor erkannten körperlichen Objekts und der Geschwindigkeit des Fahrzeugs relativ zu einem zuvor erkannten körperlichen Objekt, wobei die Steuereinrichtung eine Kombination von Clustern bestimmt, die am besten zu dem inferierten körperlichen Objekt passt. Die Steuereinrichtung gruppiert die Cluster zu einem oder mehreren Clustergruppen gemäß dem Abstand von dem das System tragenden Fahrzeug und wählt aus einer der Clustergruppen jene Cluster aus, die mit einem von der Steuereinrichtung inferierten körperlichen Objekt überlappen. Die Steuereinrichtung bildet Passungen von Kombinationen der gewählten Cluster mit dem inferierten körperlichen Objekt auf der Basis der Attribute der kombinierten Cluster und der Attribute des inferierten körperlichen Objekts.

Description

Die Erfindung betrifft ein optisches Objekterkennungssystem, welches Objekte vor einem Fahrzeug, wie etwa einem Automobil etc., unter Verwendung einer Bildaufnahmevorrichtung mit an diesem Fahrzeug angebrachten Kameras erfasst. Insbesondere betrifft die Erfindung ein Objekterkennungssystem, welches die charakteristischen Merkmale von Objekten unter Verwendung einer Mehrzahl von Fenstern in den aufgenom menen Bildern erkennt.

Um die Sicherheit des Fahrzeugbetriebs zu verbessern, wurden in den letzten Jahren Vorrichtungen vorgeschlagen, die den Abstand und die Größe von Objekten vor einem Fahrzeug bestimmen und die das Fahrzeug nach Maßgabe dieser Bewertung geeignet steuern.

Die japanische Patentanmeldung Kokai Nr. Hei 9-79821 beschreibt ein Beispiel einer Vorrichtung, in der eine aus zwei Lichtempfangselementen bestehende optische Abstandmessvorrichtung zur Bestimmung genutzt wird, ob ein Objekt, dessen Abstand erfasst wurde, ein körperliches Objekt oder eine Straßenfläche ist (einschließlich Buchstaben bzw. Zahlen oder weiße Linien auf der Straßenfläche). Diese Vorrichtung berechnet Abstände für jeweilige Berechnungsflächen und erkennt Flächen, in denen Hindernisse vorhanden sind, indem solche Berechnungsflächen gehäuft bzw. geclustert werden, deren gegenseitige Abstände innerhalb eines festen Bereichs liegen und die in der horizontalen Richtung einander benachbart sind. Bei der Blockbildung werden auch aus solchen Berechnungsflächen Blöcke gebildet, deren Abstände noch nicht gemessen wurden.

Bei der japanischen Patentanmeldung Kokai Nr. Hei 9-79821 erfolgt die Blockbildung in Fällen, in denen die aus benachbarten Berechnungsflächen berechneten Abstandswerte eng beieinanderliegen. Demzufolge können in Fällen, in denen eine Mehrzahl von Hindernissen in der Bildfläche einander benachbart sind, aus den Hindernissen Einzelblöcke gebildet werden und diese als einzelnes körperliches Objekt erkannt werden. Weil die Bereiche, aus denen Blöcke gebildet werden, fest sind, kann ein einzelnes Hindernis irrtümlich als eine Mehrzahl von Hindernissen erkannt werden.

Aufgabe der Erfindung ist es daher, ein System anzugeben, das die genaue Erkennung einer Mehrzahl von in der Bildfläche vorhandenen körperlichen Objekten erlaubt, indem es Information nutzt, die vorherige körperliche Objekte betrifft.

Nach einem Aspekt der Erfindung wird ein Objekterkennungssystem mit einem oder mehreren Bildsensoren und eine Steuereinrichtung vorgeschla gen, die dazu ausgelegt ist, den Abstand von dem System zu Objekten in Bezug auf jeweilige Fenster eines von den Sensoren aufgenommenen Bilds zu messen. Die Steuereinrichtung bildet Cluster durch Vereinigung benachbarter Fenster, die ähnliche gemessene Abstände haben. Das System enthält einen Speicher zum Speichern von Daten eines zuvor erkannten körperlichen Objekts. Die Steuereinrichtung inferiert oder folgert ein körperliches Objekt auf der Basis von Daten von einem zuvor erkannten körperlichen Objekt und der Geschwindigkeit des Fahrzeugs relativ zu einem zuvor erkannten körperlichen Objekt, wobei die Steuereinrichtung eine Kombination von Clustern bestimmt, die am besten zu dem inferierten körperlichen Objekt passt.

Die Steuereinrichtung gruppiert die Cluster in eine oder mehrere Cluster gruppen entsprechend dem Abstand von dem das System tragenden Fahrzeug und wählt aus einer der Clustergruppen jene Cluster, die mit einem von der Steuereinrichtung inferierten körperlichen Objekt überlappen. Die Steuereinrichtung erzeugt eine Passung von Kombinationen der gewählten Cluster mit dem inferierten körperlichen Objekt auf der Basis der Attribute der kombinierten Cluster und der Attribute des inferierten körperlichen Objekts.

Nach einem anderen Aspekt der Erfindung wird ein Verfahren zum Erkennen eines körperlichen Objekts vorgeschlagen. Das Verfahren umfasst die Schritte der Abstandsmessung von einem Fahrzeug zu einem körperlichen Objekt in Bezug auf jeweilige Fenster eines von zumindest einem Bildsensor aufgenommenen Bilds, Vereinigen benachbarter Fenster, die ähnliche gemessene Abstände haben, zur Bildung von Clustern, Inferieren oder Folgern der gegenwärtigen Position eines körperlichen Objekts auf der Basis von Daten von einem zuvor erkannten körperlichen Objekt und der Geschwindigkeit des Fahrzeugs relativ zu dem zuvor erkannten körperlichen Objekt, und Bestimmen einer Kombination von Clustern, die am besten zu dem inferierten körperlichen Objekt passt.

Der Bestimmungsschritt umfasst den Schritt des Wählens jener Cluster, die mit einem von der Steuereinrichtung inferierten körperlichen Objekt überlappen, sowie den Schritt, eine Passung von Kombinationen der gewählten Cluster mit dem inferierten körperlichen Objekt auf der Basis der Attribute der kombinierten Cluster und der Attribute des inferierten körperlichen Objekts herzustellen.

Nach einem anderen Aspekt der Erfindung wird ein Verfahren zum Erkennen eines körperlichen Objekts vorgeschlagen. Das Verfahren umfasst die Schritte der Abstandsmessung von einem Fahrzeug zu einem körperlichen Objekt in Bezug auf jedes Fenster eines von einem oder mehreren Bildsensoren aufgenommenen Bilds, Clusterbildung benachbarter Fenster, die sich in einem vorbestimmten Abstandsbereich befinden, Inferieren oder Folgern einer gegenwärtigen Position eines körperlichen Objekts, das in dem vorherigen Erkennungszyklus erkannt wurde, auf der Basis der vorherigen Position des körperlichen Objekts und der Geschwindigkeit des Fahrzeugs relativ zu dem Objekt, Wählen von Clustern, deren Abstand von dem Fahrzeug innerhalb einer vorbestimmten Toleranz relativ zu dem Abstand des inferierten körperlichen Objekts liegt und die mit dem inferierten körperlichen Objekt überlappen, Erkennen, repräsentativ für das körperliche Objekt, der kombinierten Cluster, die eines oder mehrere der in dem Wählschritt gewählten Cluster umfassen, und die Attribute haben, die den Attributen des inferierten körperlichen Objekts am nächsten bzw. am ähnlichsten sind.

Das Verfahren kann ferner die Schritte umfassen, Attribute zumindest eines körperlichen Musterobjekts zu speichern, und Vergleichen von Attributen der kombinierten Cluster, die in dem Wählschritt nicht gewählt wurden, mit Attributen des zumindest einen körperlichen Musterobjekts zur Erkennung des körperlichen Musterobjekts, das Attribute hat, die dem den kombinierten Clustern entsprechenden körperlichen Objekt am nächsten bzw. am ähnlichsten sind.

Die Steuereinrichtung kann eine Mikrosteuereinrichtung umfassen, die typischerweise eine zentrale Prozessoreinheit (CPU) oder einen Mikro prozessor enthält, sowie einen nur-Lesespeicher (ROM), der Steuer programme enthält, die bei Ausführung durch den Prozessor jeweilige Funktionen ausführen, die nachfolgend beschrieben werden. Die Steuer einrichtung enthält ferner einen Speicher mit wahlfreiem Zugriff (RAM), der eine Arbeitsebene für die CPU bildet und verschiedene Daten und Pro gramme vorübergehend speichert.

Die Erfindung wird nun in bevorzugten Ausführungsbeispielen anhand der beigefügten Zeichnungen erläutert. Es zeigen:

Fig. 1 ein Blockdiagramm der Gesamtstruktur einer Ausführung;

Fig. 2 ein Diagramm des Messprinzips durch das Triangulationsver fahren;

Fig. 3(a) ein Diagramm des aufgenommenen Bilds, und

Fig. 3(b) ein Diagramm des Bildes, das zum Bewerten von Abständen und Straßenflächen in kleine Flächen (Fenster) unterteilt ist;

Fig. 4 ein Diagramm der Clusterbildung von Fenstern.

Fig. 5(a) ein Diagramm des Verfahrens, das zum Exprimieren der Fenster als dreidimensionale Information benutzt wird, und

Fig. 5(b) ein Diagramm, das die Änderungen in der dreidimensionalen Fenster-Information zeigt, die auftreten, wenn sich das Fahrzeug bewegt;

Fig. 6(a) ein Diagramm von Clustern, gesehen von der x-y-Ebene,

Fig. 6(b) Cluster, gesehen von der x-z-Ebene,

Fig. 6(c) Clustergruppen, gesehen von der x-y-Ebene und

Fig. 6(d) Clustergruppen, gesehen von der x-z-Ebene, Erläuterung der Bestimmung von Clustergruppen;

Fig. 7(a) ein Diagramm eines zuvor aufgenommenen Bilds,

Fig. 7(b) vorherige Cluster und

Fig. 7(c) zuvor erkannte körperliche Objekte,

Fig. 7(d) das gegenwärtig aufgenommene Bild,

Fig. 7(e) das gegenwärtige Cluster und

Fig. 7(f) gegenwärtig erkannte körperliche Objekte;

Fig. 8 ein Diagramm der Erkennung körperlicher Objekte aus ver bleibenden Clustern in dem in Fig. 7 gezeigten gegenwärtig aufgenommenen Bild; und

Fig. 9 eine Tabelle von Clusterkombinationen.

Fig. 1 ist ein Gesamtblockdiagramm eines Objekterkennungssystems nach einer Ausführung. Abgesehen von den Sensoren 3 und 3' können alle Blöcke in Fig. 1 in einer Steuereinrichtung enthalten sein, die eine integrierte Halbleiterschaltung vom Ein-Chip- oder Mehr-Chip-Typ umfasst. Somit zeigt Fig. 1 Funktionsblöcke der Steuereinrichtung. Die jeweiligen Funktionen der Blöcke werden durch Ausführung jeweiliger Programme durchgeführt, die in dem ROM der Steuereinrichtung gespeichert sind.

Fig. 2 zeigt in einem Diagramm das Abstandsmessprinzip auf der Basis des Triangulationsverfahrens, das in der vorliegenden Ausführung verwendet wird. Zuerst wird ein Abstandsmessverfahren unter Verwendung eines Paars von Bildsensoren anhand von Fig. 2 beschrieben. Ein Linearsensor 21 und eine Linse 23, die eines der oben erwähnten Bildsensorpaare bilden, sind mit einem bestimmten Abstand, d. h. mit einem Abstand gleich der Basislinienlänge B in der horizontalen oder vertikalen Richtung von dem Linearsensor 22 und der Linse 24, die den anderen Bildsensor des Paars bilden, installiert. Die Linearsensoren 21 und 22 sind typischerweise eindimensionale CCDs, können jedoch auch linear angeordnete Fotosensor reihen sein. Im Hinblick auf den Gebrauch bei Nacht sind Infrarotlicht verwendende Bildsensoren bevorzugt. In diesem Fall ist es bevorzugt, infrarotdurchlässige Filter vor den Linsen 23 und 24 zu installieren und das System so auszustatten, dass ein Objekt 20 durch eine Infrarotlichtquelle mit zeitlich vorbestimmten Intervallen beleuchtet wird. Von dem Objekt 20 reflektiertes Infrarotlicht wird von den Linearsensoren 21 und 22 erfasst.

Die Linearsensoren 21 und 22 sind jeweils an der Brennweite "f" der Linsen 23 und 24 positioniert. Wenn man annimmt, dass ein Bild eines Objekts, das mit einem Abstand "a" vor der Ebene der Linsen 23 und 24 angeordnet ist, im Falle des Linearsensors 21 an einer Position abgebildet wird, die um einen Abstand X1 von der optischen Achse der Linse 23 verschoben ist, und, im Falle des Linearsensors 22, an einer Position abgebildet wird, die um einen Abstand X2 von der optischen Achse der Linse 24 verschoben ist, dann wird, gemäß dem Prinzip der Triangulation der Abstand a zu dem Objekt 20 von der Ebene der Linsen 23 und 24 durch die Gleichung bestimmt: a = B.f/(X1 + X2).

In der vorliegenden Ausführung werden die Bilder digitalisiert. Entsprechend wird der Abstand (X1 + X2) digital berechnet. Die Summe der Absolut werte der Differenzen zwischen den Digitalwerten, die die Helligkeit der entsprechenden Pixel beider Bilder von den Linearsensoren 21 und 22 indizieren, wird bestimmt, während eines oder beide der Bilder verschoben sind, und diese Summe wird als Korrelationswert genommen. Der Ver schiebungsbetrag der Bilder, wenn dieser Korrelationswert minimal ist, indiziert die Positionsabweichung zwischen den zwei Bildern, d. h. (X1 + X2). Idealisiert gesagt, ist der Abstand, um den die von den Linearsensoren 21 und 22 erhaltenen beiden Bilder bewegt werden müssen, damit die zwei Bilder einander überlappen, wie in Fig. 2 gezeigt, (X1 + X2).

Der Einfachheit wegen werden hier die Bildsensoren als eindimenisonale Linearsensoren 21 und 22 beschrieben. Jedoch werden in einer Ausführung, wie nachfolgend beschrieben, als Bildsensoren zweidimensionale CCDs oder zweidimensionale Fotosensorfelder benutzt. In diesem Fall werden die gleichen Korrelationsberechnungen wie oben beschrieben durchgeführt, indem die von den zwei Bildsensoren erhaltenen zweidimensionalen Bilder relativ verschoben werden. Der Verschiebungsbetrag an der Stelle, an der der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2).

Der in Fig. 1 gezeigte Bildsensor 3 entspricht einem der in Fig. 2 gezeigten Bildsensoren, bestehend aus der Linse 23 und dem Linearsensor 21, und der Bildsensor 3' entspricht dem anderen Bildsensor in Fig. 2, bestehend aus der Linse 24 und dem Linearsensor 22. In dieser Ausführung ist, wie in Fig. 3(b) gezeigt, die abgebildete Fläche in eine Mehrzahl von Fenstern (kleine Sektionen) W₁₁, W₁₂, . . . unterteilt, und der Abstand wird für jedes Fenster gemessen. Dementsprechend ist ein zweidimensionales Bild des gesamten Objekts erforderlich. Dementsprechend umfasst jeder Bildsensor 3 und 3' ein zweidimensionales CCD-Feld oder ein zweidimensionales Fotosensorfeld.

Fig. 3(a) zeigt ein Beispiel des erhaltenen Bilds, wenn ein anderes Fahrzeug, das vor dem das System enthaltenden Fahrzeugs fährt, von einem der Bildsensoren 3 oder 3' abgebildet wird. Fig. 3(b) zeigt das Bild in Fig. 3(a), schematisch aufgetrennt in eine Mehrzahl kleiner Sektionen, Fenster genannt. Fig. 3(b) besitzt in der vertikalen Richtung aufgereihte Reihen und in der horizontalen Richtung aufgereihte Spalten. Der Einfachheit wegen ist das Bild in 10 Reihen × 15 Spalten der Fenster unterteilt. Den jeweiligen Fenstern sind Bezugszahlen zugeordnet. Beispielsweise bezeichnet W₁₂ das Fenster in Reihe 1, Spalte 2.

Zu Fig. 1. Die Bilder der vom Bildsensor 3 und 3' aufgenommenen Objekte werden durch Analog-Digital-Wandler (A/D-Wandler) 4 und 4' in Digitaldaten gewandelt und in Bildspeichern 5 und 5' gespeichert. Die Bildabschnitte entsprechend dem Fenster W₁₁ werden jeweils aus den Bildspeichern 5 und 5' durch ein Fensterausschnittsteil 9 ausgeschnitten und zu einem Korrelationsberechnungsteil 6 gesendet. Das Korrelationsberechnungsteil verschiebt die zwei Ausschnittsbilder gleichzeitig um eine spezifische Einheit und führt die oben erwähnten Korrelationsberechnungen durch. Der Verschiebungsbetrag an dem Punkt, an dem der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2). Das Korrelationsberechnungsteil 6 sendet den somit ermittelten Wert von (X1 + X2) zu einem Abstands berechnungsteil 7.

Das Abstandsberechnungsteil 7 bestimmt den Abstand a₁₁ zu dem Objekt in dem Fenster W₁₁ durch die oben erwähnte Formel: a = B.f(X1 + X2). Der somit ermittelte Abstand a" wird in einem Abstandsspeicher 8 gespeichert. Ein ähnlicher Berechnungsprozess erfolgt nacheinander für die jeweiligen Fenster, und die erhaltenen Abstände a₁₁, a₁₂, . . . werden in dem Abstandsspeicher 8 gespeichert. Der für jedes Fenster berechnete Abstand zu einem aufgenommenen Objekt bezieht sich auf den gemessenen Abstand des Fensters.

In den bei den oben erwähnten Korrelationsberechnungen benutzten Bilddaten bestimmt die Teilung bzw. der Abstand der Elemente in dem Abbildungselementenfeld die Auflösung. Wenn daher ein Lichtempfangs element, wie etwa ein Fotosensorfeld, mit relativ großer Teilung benutzt wird, ist es bevorzugt, die Dichte der Bilddaten rechnerisch durch Zwischen teilungs-Interpolation zu verbessern. Korrelationsberechnungen können für jene Bilddaten erfolgen, deren Dichte somit verbessert worden ist.

Um Korrekturen für Schwankungen in den Charakteristiken des abbildenden Elementenfelds nach der Temperatur durchzuführen, kann ein Temperatur sensor in der Nähe des abbildenden Elementenfelds installiert sein, und die Abstandsberechnungen können auf der Basis der Temperaturinformation von dem Temperatursensor korrigiert werden.

Nun wird das Verfahren zum Clustern von Fenstern auf der Basis der wie oben berechneten gemessenen Abstände beschrieben. Das Clusterbildungs teil 33 clustert Fenster auf der Basis der gemessenen Abstände der jeweiligen Fenster. Anfänglich vergleicht das Kennungszuordnungsteil 34 in dem Clusterteil 33 die gemessenen Abstände benachbarter Fenster, und wenn diese gemessenen Abstände im Wesentlichen gleich sind, ordnet das Kennungszuordnungsteil 34 diesen benachbarten Fenstern die gleiche Kennung zu. Das Kennungszuordnungsteil 34 ordnet allen Fenstern, die gemessene Abstände haben, Kennungen zu, und Fenster, die gemeinsam die gleichen Kennungen haben, bilden ein einzelnes Cluster. Die gemesse nen Abstände benachbarter Fenster werden verglichen, weil die körperlichen Objekte verschiedene Objekte sein können, auch wenn die gemessenen Abstände gleich sind, falls die geprüften Fenster getrennt und voneinander entfernt sind.

Als Beispiel werden Fenster beschrieben, in denen ein Bild der Zeichen "60" auf der Straßenoberfläche so aufgenommen wird, wie in Fig. 3(b) gezeigt. Ein Bild der Zeichen "60" wird in einer Fläche (d. h. der in Fig. 3(b) schraffierten Fläche) aufgenommen, die von den Fenstern W₇₅, W_7B, W_A5 und W_AB umgeben ist. Beispiele der Abstände, die für die jeweiligen in dieser Fläche enthaltenen Fenster gemessen werden, sind in Fig. 4(a) gezeigt. Die Einheiten der Zahlen sind Meter. Hier sind Fenster, für die kein gemessener Abstand indiziert wird, solche Fenster, für die der Abstand wegen mangeln dem Kontrast nicht berechnet werden konnte. In Fig. 4(a) werden die gemessenen Abstände benachbarter Fenster verglichen, und wenn der Abstand in den gemessenen Abständen innerhalb eines spezifischen Bereichs liegt (z. B. eine Differenz gemessener Abstände von 0,5 Metern oder weniger, kann als in diesem spezifischen Bereich liegend betrachtet werden), dann wird die gleiche Kennung den zwei benachbarten Fenstern zugeordnet. Dieser Prozess wird für alle Fenster durchgeführt, die gemessene Abstände haben.

Beispielsweise beträgt die Differenz zwischen dem gemessenen Abstand 5,8 m des Fensters W₇₆ und dem gemessenen Abstand 6,0 m des Fensters W₇₇ 0,2 m. Demzufolge wird die Kennung "1" dem jeweiligen Fenster zugeordnet. Wenn ein ähnlicher Prozess für benachbarte Fenster an dem linken Abschnitt des Bilds durchgeführt wird, wird eine Kennung "1" jedem der Fenster in dem linken Abschnitt von Fig. 4(b) zugeordnet. In dem rechten Abschnitt des in Fig. 4(a) gezeigten Bilds beträgt die Differenz zwischen dem gemessenen Abstand 5,5 m des Fensters W₈₉ und dem gemessenen Abstand 5,6 m des Fensters W_8A (z. B. 0,1 m). Demzufolge wird die Kennung "2" den jeweiligen Fenstern zugeordnet. Hier ist weder das Fenster W₈₉ noch das Fenster W_8A einem Fenster benachbart, dem die Kennung "1" zugeordnet wurde. Demzufolge werden verschiedene Kennungen zugeordnet. Die Kennungen brauchen keine Nummern haben. Verwendbar sind jegliche Symbole, die unterscheidbar sind, wie etwa alphabetische Buchstaben.

Wenn auf diese Weise den jeweiligen Fenstern, die gemessene Abstands werte haben, Kennungen zugeordnet sind, werden eine Fläche 51, die durch die Kennung "1" vereinigt ist, und eine Fläche 52, die durch die Kennung "2" vereinigt ist, so bestimmt, wie in Fig. 4(b) gezeigt. Diese vereinigten Flächen werden "Cluster" genannt.

Dreidimensionale Daten

Zu Fig. 1. Der Dreidimensions-Wandler 35 erzeugt dreidimensionale Daten der Cluster. Wie in Fig. 5 gezeigt, enthält die dreidimensionale Information in der vorliegenden Ausführung drei Koordinaten, d. h. horizontale Position (x), vertikale Position (y) und Straßenoberflächenabstand (z). Die "x"- Koordinate, die die horizontale Position ausdrückt, entspricht der Richtung, in der die Spalten der Fenster aufgereiht sind (siehe Fig. 3(b)). Die "y"- Koordinate, die die vertikale Position ausdrückt, entspricht der Höhenrich tung von der Straßenoberfläche. Die "z"-Koordinate, die den Abstand der Straßenoberfläche angibt, entspricht der Richtung, in der die Reihen der Fenster aufgereiht sind (siehe Fig. 3(b)). Die "z"-Koordinate ist proportional zum gemessenen Abstand "d".

Der Ursprung O bezeichnet den Punkt der Straßenoberfläche, an dem sich das Fahrzeug befindet. Die "x"-, "y"- und "z"-Achsen schneiden einander rechtwinklig am Ursprung O. Die "x"-Achse erstreckt sich von links nach rechts, gesehen vom Fahrzeug aus. Die "y"-Achse erstreckt sich in Richtung orthogonal zur Straßenfläche und die "z"-Achse in der Fortbewegungs richtung des Fahrzeugs. Die Bildkamera 53 befindet sich an der Höhe "H" in Richtung der "y"-Achse von dem Ursprung O ausgehend. Das körperliche Objekt 54 hat eine Höhe "h" und eine Breite "g" und befindet sich mit einem Abstand "i" in Richtung der "z"-Achse.

Wenn das körperliche Objekt 54 nicht vorhanden ist, dann ist der Punkt 55 auf der Straßenfläche in dem von der Bildkamera 53 aufgenommenen Bild enthalten. Wenn das körperliche Objekt 54 auf der Straße vorhanden ist, dann enthält das Fenster, das das Bild vom Punkt 55 enthalten würde, einen Punkt 56 des körperlichen Objekts anstelle des Bilds vom Punkt 55 der Straßenoberfläche. Der geschätzte Abstand "D" ist der Abstand zwischen der Bildkamera 53 und dem Punkt 55 auf der Straßenfläche. Wenn kein körperliches Objekt 54 vorhanden ist, ist dieser geschätzte Abstand "D" gleich dem gemessenen Abstand zum aufgenommenen Punkt 55. In Fig. 5 ist der gemessene Abstand "d" der Abstand von der Bildkamera 53 zu Punkt 56 des körperlichen Objekts 54, der durch das oben anhand von Fig. 2 beschriebene Verfahren berechnet ist. In dem (x,y,z)-Koordinatensystem ist die Position der Bildkamera 53 (O, H, O) und die Position von Punkt 56 ist (g, h, i).

Da der geschätzte Abstand "D" für jedes Fenster und die Höhe "H" der Bildkamera von der geschätzten Straßenoberfläche Festwerte sind, können sie vorab berechnet und gespeichert werden. Wie aus Fig. 5 ersichtlich, kann die Höhe "h" des Objekts aus der folgenden Gleichung (1) bestimmt werden, und der Abstand "i" zu dem Objekt 54 kann aus der folgenden Gleichung (2) bestimmt werden.

h = (D-d) × H/D (1)

i = √d²-(H-h)² (2)

Der horizontale Abstand von dem Fahrzeug, d. i. der Abstand in der "x"- Achse in Fig. 5, wird vorab für jede Spalte von Fenstern auf der Basis der Position der Bildkamera bestimmt. Beispielsweise bezeichnet die dritte Spalte der Fenster Positionen von 1 Meter links von der Mitte des Fahr zeugs. Dementsprechend kann der Wert der "x"-Koordinate von Punkt 56 (im vorliegenden Beispiel ist dies g und ist gleich dem Wert der Breite des Bildobjekts) auf der Basis der Position desjenigen Fensters bestimmt werden, das Punkt 56 enthält. Somit können die jeweiligen Fenster, die die Cluster bilden, als x,y,z-Koordinaten ausgedrückt werden. In einer anderen Ausführung wäre es auch möglich, beispielsweise den gemessenen Abstand "d" anstatt der "z"-Koordinate, die den Straßenflächenabstand anzeigt, zu benutzen, und die Fenster könnten auch durch ein anderes Koordinatensys tem als dem oben beschriebenen Koordinatensystem ausgedrückt werden.

Somit repräsentiert der Dreidimensions-Wandler 35 die Cluster dreidimensio nal und projiziert das Bild in drei Dimensionen. Bevorzugt kann ein minimales rechtwinkliges Parallelepiped, das alle Punkte eines dreidimensional projizierten gegebenen Clusters enthält, bestimmt werden, und das Cluster kann durch dieses rechtwinklige Parallelepiped angenähert werden. Auf diese Weise können die Mittelposition, die Breite und Höhe des Objekts bestimmt und genau erkannt werden.

Wenn das oben erwähnte x,y,z-Koordinatensystem benutzt wird, ist die Breite jedes Clusters, angenähert durch ein rechtwinkliges Parallelepiped, der Wert, der erhalten ist durch Subtrahieren des minimalen "x"-Koor dinatenwerts von dem maximalen "x"-Koordinatenwert der aufgenommenen Punkte, und die Dicke des Clusters ist der Wert, der erhalten ist durch Subtrahieren des minimalen "y"-Koordinatenwerts von dem maximalen "y"- Koordinatenwert der aufgenommenen Punkte. Ferner wird die Mittelposition jedes Clusters ausgedrückt als Wert, der erhalten ist durch Subtrahieren des minimalen Werts vom maximalen Wert für jede der x-, y- und z-Koordinaten, und Halbieren des Ergebnisses. Der Abstand der Mittelposition, der horizontalen Position und der vertikalen Position und die Clusterhöhe und -breite (Cluster-Attribute) jedes somit berechneten Clusters werden in dem Clusterspeicher 48 gespeichert.

Fig. 5(b) zeigt einen Fall, in dem sich ein Fahrzeug am Ursprung O befindet, und Fig. 5(a) dessen Bewegung zu dem körperlichen Objekt 54 hin (der verschobene Ursprung wird als Ursprung O' bezeichnet), so dass der relative Abstand des Fahrzeugs zu dem körperlichen Objekt 54 um einen Abstand r verkürzt ist. Wie in Fig. 5(a) gezeigt, wird die Position von Punkt 56, der ein Teil des körperlichen Objekts 54 ist, unter Verwendung von Koordinaten spezifiziert. Wenn man annimmt, dass die Horizontalposition des körperlichen Objekts sich nicht ändert, dann ändert sich nur die z- Koordinate, weil die Vertikalposition des körperlichen Objekts sich nicht ändert (die Höhen der körperlichen Objekte sind unveränderlich). Demzu folge wird die Position von Punkt 56 ausgedrückt als (g, h, i-r).

Clustergruppe

Zurück zu Fig. 1. Das Clustergruppierungsteil 36 holt Cluster aus dem Clusterspeicher 48 und bestimmt Clustergruppen auf der Basis der Clusterattribute. Ein "Prozess zu Ende"-Flag wird für das Cluster gesetzt, das somit bearbeitet wurde. Zuerst ist bei keinem der Cluster ein "Prozess zu Ende"-Flag gesetzt. Demzufolge werden alle Cluster geholt und bearbeitet.

In der vorliegenden Ausführung vergleicht das Clustergruppierungsteil 36 die Abstände zwischen einem gegebenen Cluster und anderen Clustern sowie die Differenzen der horizontalen Positionen und der vertikalen Positionen der Cluster. Wenn die Differenzen alle gleich oder kleiner als bestimmte Schwellenwerte sind, kombiniert das Clustergruppierungsteil 36 diese Cluster zu einer Clustergruppe. Dieser Prozess wird für alle geholten Cluster durchgeführt. Wenn mehrere Cluster eng beieinander angeordnet sind, ist die Wahrscheinlichkeit hoch, dass sie zum selben Objekt gehören.

Bevorzugt werden entsprechend dem Abstand von dem Fahrzeug ver schiedene Schwellenwerte benutzt. In der vorliegenden Ausführung werden Schwellenwerte entsprechend dem Abstand der zwei Cluster gesetzt, deren Positions- und Abstandsdifferenzen bestimmt werden sollen. Der Abstand der zwei Cluster wird auf der Basis der Anzahl der Fenster, die in den jeweiligen Clustern enthalten sind, und der gemessenen Abstände dieser Fenster berechnet. Wenn man beispielsweise annimmt, dass das Bild zwei Cluster C1 und C2 enthält, sind die jeweiligen Abstände der Cluster C1 und C2 vom Fahrzeug d1 und d2, und die Anzahl der Fenster, die in den Clustern C1 und C2 enthalten sind, ist w1 bzw. w2. Der Abstand der zwei Cluster von dem Fahrzeug kann durch folgende Gleichung (3) berechnet werden. Hier werden Werte, die durch Mittelwertbildung der gemessenen Abstände der in den jeweiligen Clustern enthaltenen Fenster erhalten wurden, als die Abstände d1 und d2 der Cluster benutzt.

Abstand zweier Cluster = (d1 × w1 + d2 × w2)/(w1 + w2) (3)

In einer anderen Ausführung wäre es auch möglich, einfach den Wert, der durch Mittelwertbildung der Abstände d1 und d2 der jeweiligen Cluster erhalten ist, als den Abstand der zwei Cluster zu nehmen, anstatt auf der Basis der Anzahl der Fenster in den Clustern wie in Gleichung (3) einen gewichteten Mittelwert zu berechnen. Es wäre auch möglich, den Wert, der durch Mittelwertbildung der Abstände an den jeweiligen Mittelpositionen der Cluster C1 und C2 erhalten wird, als den Abstand der zwei Cluster zu nehmen. Da der gemessene Abstand und der Straßenflächenabstand des abgebildeten Objekts in dem durch die z-Koordinate bezeichneten Fenster proportional sind, wäre es auch möglich, Straßenflächen-Abstände zu verwenden.

Die Differenzen dx und dy in den horizontalen Positionen und vertikalen Positionen der zwei Cluster werden als Abstand der zwei Cluster ausge drückt, und die Abstandsdifferenz d2 wird als die Differenz in den Ab ständen der jeweiligen Cluster (d1 und d2 in der obigen Beschreibung) ausgedrückt. Beispielsweise zeigt Fig. 6(a) eine Mehrzahl von Clustern, gesehen von der x-y-Ebene her, und Fig. 6(b) zeigt dieselben Cluster wie in Fig. 6(a), gesehen von der x-z-Ebene her. Die Differenz in den horizontalen Positionen der Cluster C4 und C6 wird durch dx in der Richtung der "x"- Achse ausgedrückt, und die Differenz in den vertikalen Positionen wird durch dy in der Richtung der "y"-Achse ausgedrückt. Wenn die Abstände der Cluster C4 und C6 von dem Fahrzeug jeweils d4 und d6 sind, dann wird die Abstandsdifferenz durch d2 in Richtung der z-Achse ausgedrückt.

Auf der Basis des Abstands der zwei Cluster von dem Fahrzeug, berechnet mittels der obigen Gleichung (3), kann der Schwellenwert relativ zur Abstandsdifferenz zwischen den Clustern beispielsweise so gesetzt werden, wie in der folgenden Tabelle 1 gezeigt, und für die Differenzen in den horizontalen Positionen und den vertikalen Positionen der zwei Cluster, wie in der folgenden Tabelle 2 gezeigt.

Tabelle 1

Tabelle 2

Es werden größere Schwellenwerte verwendet, wenn der Abstand von dem Fahrzeug größer wird, weil die Toleranz im gemessenen Abstand größer ist, wenn das Objekt weiter vom Fahrzeug entfernt ist. Es wird ein größerer Schwellenwert für die Differenzen in den horizontalen und vertikalen Positionen verwendet, wenn der Abstand zwischen den zwei Clustern kleiner wird, wie in Tabelle 2 gezeigt. Wenn nämlich z. B. ein körperliches Objekt mit geringem Abstand vor dem das System tragenden Fahrzeug angeordnet ist, kann der Kontrast des aufgenommenen Bilds zu gering sein, um den Abstand von dem Fahrzeug in Bezug auf jedes Fenster zu berech nen, was einen Ausfall einer Anzahl von Fenstern zur Folge hat, was wiederum einen größeren Abstand zwischen den Clustern erzeugt.

Nun zu den Fig. 6(a) und 6(b). Das Clustergruppierungsteil 36 wählt zwei Cluster aus den Clustern C1 bis C6, berechnet die Abstandsdifferenz von dem Fahrzeug, der horizontalen Positionen und vertikalen Positionen und bewertet, ob die zwei Cluster in ein und derselben Clustergruppe enthalten sein sollten oder nicht. Beispielsweise im Falle der Cluster C1 und C2 sind die Abstandsdifferenzen von dem Fahrzeug und der Positionen gleich oder kleiner als die jeweiligen Schwellenwerte, so dass die Cluster C1 und C2 in derselben Clustergruppe enthalten sind. Im Falle der Cluster C2 und C4 sind Abstandsdifferenzen vom Fahrzeug und den Positionen ebenfalls gleich oder kleiner als die der jeweiligen Schwellenwerte. Daher sind auch die Cluster C2 und C4 in derselben Clustergruppe enthalten. Im Ergebnis wird bestimmt, dass die Cluster C1, C2 und C4 in derselben Clustergruppe G1 enthalten sind.

Andererseits sind im Falle der Cluster C6 und C5 die Differenzen in den horizontalen und vertikalen Positionen gleich oder kleiner als der Schwellen wert, wobei aber die Abstandsdifferenz von dem Fahrzeug den Schwellen wert überschreitet. Demzufolge wird bestimmt, dass diese Cluster zu verschiedenen Clustergruppen gehören. Daher bestimmt das Cluster gruppierungsteil 36 zwei Clustergruppen G1 und G2, wie in den Fig. 6(c) und 6(d) gezeigt. Das Clustergruppierungsteil 36 ordnet dieselben Clust erkennungen solchen Clustern zu, die zu denselben Clustergruppen gehören.

Inferierung eines körperlichen Objekts

Zu Fig. 1. Ein körperliches-Objekt-Inferierteil 40 inferiert (folgert) die Positionen körperlicher Objekte in dem gegenwärtig erhaltenen Bild auf der Basis der Position zuvor erkannter körperlicher Objekte und der Relativge schwindigkeit in Bezug auf die körperlichen Objekte. Das in dieser Ausführung benutzte Schema zum Inferieren körperlicher Objekte wird anhand von Fig. 7 beschrieben. Fig. 7(a) bis 7(c) zeigen einen vorherigen Prozess, und die Fig. 7(d) und 7(f) zeigen den gegenwärtigen Prozess. In Fig. 7(a) werden zwei Fahrzeuge 91 und 92 aufgenommen, während in Fig. 7(d) dieselben Fahrzeuge 91 und 92 wie in Fig. 7(a) sowie ein Verkehrszeichen 93 aufgenommen werden.

Fig. 7(b) zeigt Cluster C11 bis C17, die von dem Clusterbildungsteil 33 bestimmt sind und von dem Clustergruppierungsteil 36 auf der Basis des in Fig. 7(a) gezeigten aufgenommenen Bilds in Clustergruppen 63 und 64 gruppiert sind. Fig. 7(c) zeigt körperliche Objekte 65 und 66, die aus den Clustergruppen 63 und 64 erkannt wurden, entsprechend dem Fahrzeug 91 bzw. dem Fahrzeug 92. Die Positionen und Größen der körperlichen Objekte 65 und 66 wurden im vorherigen Prozess in einem körperliches-Objekt- Speicher 39 gespeichert.

Das körperliches-Objekt-Inferierteil 40 liest die Positionen und Relativge schwindigkeiten der zuvor erkannten körperlichen Objekte 65 und 66 aus dem körperliches-Objekt-Speicher 39 aus und berechnet die gegenwärtigen Positionen der körperlichen Objekte 65 und 66. Diese Berechnung kann mittels folgender Formel erfolgen:

(vorherige Position des körperlichen Objekts + Relativgeschwindig keit × Erfassungszeitintervall).

In diesem Beispiel wird angenommen, dass die Relativgeschwindigkeit in Bezug auf das körperliche Objekt 65 null ist, wird angenommen, dass die Relativgeschwindigkeit in Bezug auf das körperliche Objekt 66 -10 Kilometer pro Stunde beträgt (wenn in diesem Beispiel die Geschwindigkeit des das System tragenden Fahrzeugs größer als die Geschwindigkeit eines körperlichen Objekts ist, wird die Relativgeschwindigkeit als "minus" ausgedrückt), und wird angenommen, dass das Erfassungszeitintervall 100 Millisekunden beträgt. Der relative Abstand zu dem körperlichen Objekt 65 ist zwischen der vorherigen Erfassung und der gegenwärtigen Erfassung unverändert, und der relative Abstand zum körperlichen Objekt 66 ist um 0,3 Meter verkürzt.

Wenn man annimmt, dass die vorherige Position des körperlichen Objekts 65 als Mittelkoordinaten (x1, y1, z1) ausgedrückt ist und die Position des körperlichen Objekts 66 (x2, y2, z2) ist, wobei die Position des das System tragenden Fahrzeugs der Ursprung ist und die jeweiligen Koordinatenwerte in Metern ausgedrückt sind, kann die gegenwärtige Position des körperli chen Objekts 65 als (x1, y1, z1) geschätzt werden und die gegenwärtige Position des körperlichen Objekts 66 kann als (x2, y2, z2-0,3) geschätzt werden. Hier wird angenommen, dass die geschätzten körperlichen Objekte die gleichen Horizontalpositionen wie in der vorigen Erfassung haben. Bei dem verwendeten Koordinatensystem und Ursprung kann die Relativge schwindigkeit, falls die Geschwindigkeit des das System tragenden Fahrzeugs größer oder kleiner ist, relativ zum körperlichen Objekt ausge drückt werden als "positiv" oder "negativ". Die Positionen der körperlichen Objekte können auch durch ein anderes System als das oben beschriebene berechnet werden.

Das körperliches-Objekt-Inferierteil 40 kann die Breite und Höhe der körperlichen Objekte 65 und 66 aus dem körperliches-Objekt-Speicher 39 auslesen und die körperlichen Objekte 65 und 66 dreidimensional in ihren jeweiligen gegenwärtigen Positionen (x1, y1, z1) und (x2, y2, z2-0,3) rekonstruieren. Die Positionen der Cluster in den Bildern der inferierten körperlichen Objekte können bestimmt werden. Fig. 7(e) zeigt körperliche Objekte 75 und 76, die wie oben beschrieben durch Inferieren der körperlichen Objekte 65 und 66 erhalten sind.

Das körperliches-Objekt-Inferierteil 40 speichert die Attribute (die körperli chen Objekte betreffende Information, wie etwa Abstände, Horizontalposi tionen, Vertikalpositionen, Breiten, Höhen etc.) der inferierten körperlichen Objekte (nachfolgend als "inferierte körperliche Objekte" bezeichnet) 75 und 76 in dem inferiertes-Objekt-Speicher 49. Ferner kann der von dem körperliches-Objekt-Inferierteil 49 durchgeführte Prozess parallel zu dem Prozess durchgeführt werden, der von dem Clusterbildungsteil 33 und dem Clustergruppierungsteil 36 durchgeführt wird.

Da sich die Relativgeschwindigkeit häufig über die Zeit ändert, können die Positionen geschätzter körperlicher Objekte als Bereiche spezifiziert werden. Anstatt die Position eines geschätzten körperlichen Objekts, die bei einer bestimmten Relativgeschwindigkeit berechnet wurde, als Einzelpunkt gemäß (x, y, z) zu spezifizieren, wäre es auch möglich, diese Position als Bereich zu spezifizieren, gemäß (x - 1, y - 1, z - 1) ~ (x + 1, y + 1, z + 1). Anstatt die Position durch einen Relativabstand, der bei einer bestimmten Relativge schwindigkeit von s Kilometer/Stunde berechnet wurde, zu spezifizieren, wäre es ferner auch möglich, die Position durch einen Bereich von Relativabständen zu spezifizieren, die bei Relativgeschwindigkeiten von (x - 5) ~ (s + 5) Kilometer pro Stunde berechnet wurden. Durch diese Spezifizierung der Positionen körperlicher Objekte als Bereiche ist es auch möglich, die Positionen körperlicher Objekte auch in solchen Fällen genauer zu schätzen, in denen sich die Relativgeschwindigkeit um ein gewisses Ausmaß ändert.

Clusterauswahl

Nun zu Fig. 1. Das Clusterwählteil 41 wählt die Clustergruppe, die ein Cluster enthält, das den kürzesten Abstand von dem Fahrzeug hat. Ein inferiertes körperliches Objekt, das einen Abstand von dem Fahrzeug hat, dessen Differenz von dem Cluster in der gewählten Clustergruppe innerhalb des Schwellenwerts liegt, und das in den horizontalen und vertikalen Positionen mit der gewählten Clustergruppe überlappt, wird aus den in dem Speicher 49 gespeicherten inferierten körperlichen Objekten gewählt. Das Clusterwählteil 41 wählt alle Cluster aus der gewählten Clustergruppe, die mit dem gewählten inferierten körperlichen Objekt überlappt.

Falls keines der Cluster der gewählten Clustergruppe die Abstandsdifferenz bedingungen erfüllt oder falls keine Cluster Überlappungen mit den in dem Speicher 49 gespeicherten inferierten Objekten haben, werden hier alle Cluster, die in der gewählten Clustergruppe enthalten sind, zu einem Kandidaten-Erzeugungsteil 42 überführt. Inferierte körperliche Objekte, die keine Entsprechung mit den gegenwärtigen Clustern haben, können aus dem Speicher 49 gelöscht werden, weil diese körperlichen Objekte nicht länger in dem aufgenommenen Bild erscheinen. Der Prozess beginnt von den Clustergruppen und den inferierten körperlichen Objekten, deren Abstand von dem Fahrzeug am kürzesten ist, weil körperliche Objekte nahe dem Fahrzeug mit der höchsten Priorität erkannt werden müssen.

Im Hinblick auf jeweilige Abstände der Cluster und der inferierten körperli chen Objekte von dem Fahrzeug können die Abstände an jeweiligen Mittelpositionen dieser Cluster und inferierten körperlichen Objekten benutzt werden. Alternativ können Werte, erhalten durch Mittelwertbildung der gemessenen Abstände von clusterbildenden Fenstern, als die jeweiligen Abstände der jeweiligen Cluster benutzt werden. Die in der obigen Tabelle 1 gezeigten Werte können als die Schwellenwerte für die Abstandsdifferenz benutzt werden, oder es können andere Schwellenwerte benutzt werden. Die Überlappungsbewertung kann leicht durchgeführt werden, indem man die Cluster und die zu vergleichenden inferierten körperlichen Objekte auf die x-y-Ebene projiziert, um hierdurch die Überlappung in den horizontalen und vertikalen Positionen zu bestimmen. In den inferierten körperlichen Objekten braucht kein vollständiges Cluster enthalten sein.

In dem in Fig. 7 gezeigten Beispiel wird angenommen, dass die Fahrzeuge 91 und 92 und ein Verkehrszeichen 93, wie in Fig. 7(d) gezeigt, tatsächlich im Wesentlichen den gleichen Abstand von dem Fahrzeug haben. Fig. 7(e) zeigt die Cluster C21 bis C31 gemäß Bestimmung durch das Clusterbil dungsteil 33 auf der Basis des in Fig. 7(d) aufgenommenen Bilds. Eine einzelne Clustergruppe 72, die die Cluster C21 bis C31 aufweist, wird durch das Clusterbildungsteil 36 bestimmt.

Das Clusterwählteil 41 wählt Clustergruppen, die nächst dem Fahrzeug befindliche Cluster enthalten. Da in diesem Beispiel nur eine einzelne Clustergruppe vorhanden ist, wird die Clustergruppe 72 gewählt. Dann werden die Abstände und Positionen der die Clustergruppe 72 bildenden Cluster aus dem Clusterspeicher 48 gelesen. Die Abstände und Positionen der inferierten körperlichen Objekte 75 und 76 werden aus dem inferiertes-körperliches-Objekt-Speicher 49 gelesen. Es sind zwei inferierte körperliche Objekte vorhanden (das sind die inferierten körperlichen Objekte 75 und 76), die eine Überlappung in den horizontalen und vertikalen Positionen zeigen und einen Abstand von dem Fahrzeug haben, dessen Differenz von den Clustern der Clustergruppe 72 kleiner ist als der Schwellenwert. Wenn man annimmt, dass das inferierte körperliche Objekt 75 dem Fahrzeug näher ist als das inferierte körperliche Objekt 76, wird das inferierte körperliche Objekt 75 gewählt. Dann werden unter den Clustern der Clustergruppe 72 die Cluster C22 bis C26 gewählt, die mit dem inferierten körperlichen Objekt 75 überlappen. Somit werden die den inferierten körperlichen Objekten entsprechenden Cluster als eine Gruppe gewählt.

Kombinierte Cluster

Das Kandidaten-Erzeugungsteil 42 prüft alle möglichen Kombinationen der von dem Clusterwählteil 41 gewählten Cluster und bestimmt eine Kom bination von Clustern als Kandidaten für ein körperliches Objekt. Die Kombinationen können eine Kombination mit einem einzelnen Cluster enthalten. Fig. 9 zeigt in einer Tabelle alle möglichen Kombinationen der Cluster C22 bis C26, die für das inferierte körperliche Objekt 75 in Fig. 7(e) gewählt sind. Beispielsweise wird im kombinierten Cluster Nr. 10 in Fig. 9 eine Kombination der Cluster C23 und C24 angezeigt. Hier ist es bevorzugt, dass das minimale rechtwinklige Parallelepiped, das alle kombinierte Cluster bildenden Cluster enthält, bestimmt wird, und dass das kombinierte Cluster durch dieses rechtwinklige Parallelepiped angenähert wird. Auf diese Weise können die Attribute kombinierter Cluster (Abstand, Position, Größe ete.) leicht bestimmt werden.

Nachdem die kombinierten Cluster, welche Kandidaten für ein körperliches Objekt darstellen, durch das Kandidaten-Erzeugungsteil 42 erzeugt wurden, geht der Prozess zu einem ersten Erkennungsteil 43 weiter, wenn kom binierte Cluster ein entsprechendes inferiertes körperliches Objekt haben, und der Prozess geht zu einem zweiten Erkennungsteil 44 weiter, wenn kombinierte Cluster kein entsprechendes inferiertes körperliches Objekt haben.

Objekterkennung

Das erste Erkennungsteil 43 vergleicht nacheinander die Attribute der kombinierten Cluster, die entsprechende inferierte körperliche Objekte haben, mit den Attributen der inferierten körperlichen Objekte. Das Erkennungsteil 43 erkennt die kombinierten Cluster, die den Attributen der inferierten körperlichen Objekte nächstliegende Attribute haben, als körperliche Objekte. Hier sind die benutzten Attribute Abstand, Horizontal position, Vertikalposition, Breite und Höhe, und der Vergleich der Attribute erfolgt mittels der folgenden Gleichung (4). Die Bedeutungen der Variablen in Gleichung (4) sind in Tabelle 3 gezeigt.

E1 = √(Xc-Xt)² + (Yc-Yt)² + (Zc-Zt)²/C.Zt + |Wc-Wt| + |Hc-Ht| (4)

Tabelle 3

Gleichung (4) drückt die Differenzen zwischen kombinierten Clustern und einem inferierten körperlichen Objekt als Funktion der Differenz der Mittelposition kombinierter Cluster und eines inferierten körperlichen Objekts und als Differenz der Breite und Höhe kombinierter Cluster und eines inferierten körperlichen Objekts aus. Der Abstand (Z-Wert) hat eine Toleranz entsprechend dem Abstandswert und wird um einen Wert proportional zum Abstand Zt des inferierten körperlichen Objekts korrigiert.

In dem in Fig. 9 gezeigten Beispiel werden funktionelle Werte E1 (e01, e02, e31) für alle kombinierten Cluster 1 bis 31 entsprechend dem inferierten körperlichen Objekt 75 berechnet. Ein verknüpftes Cluster 31 mit dem kleinsten funktionellen Wert E1 wird als das körperliche Objekt 78 erkannt (Fig. 6(f)). Ein kombiniertes Cluster 31 mit dem kleinsten E1 passt am besten zu Position und Größe des inferierten körperlichen Objekts 75. Wenn man beispielsweise annimmt, dass die funktionellen Werte E1 der kom binierten Cluster 1 bis 31 gemäß Fig. 9 die Beziehung e01 < e02 . . . < e07 < e06. . . < e17 < e16. . . < e26. . . < e31 haben (eXX bezeichnet die durch Gleichung (4) berechneten Werte; einige dieser Werte sind weggelassen), dann wird das aus den Clustern C22 bis C26 bestehende kombinierte Cluster 31 entsprechend dem funktionellen Wert e31 als das körperliche Objekt 78 erkannt (Fig. 7(f)).

Als Ergebnis dieses Vergleichs von Attributen wird in Fällen, in denen (zum Beispiel) ein bestimmtes Cluster mit einer Mehrzahl geschätzter körperlicher Objekte überlappt und kleine Abschnitte der inferierten körperlichen Objekte repräsentiert, ein kombiniertes Cluster, das kein solches Cluster enthält, zur Erkennung körperlicher Objekte benutzt. Somit können körperliche Objekte genau erkannt werden.

Die Cluster C22 bis C26, die als ein körperliches Objekt erkannt wurden, und das entsprechende inferierte körperliche Objekt 75 werden in dem Clusterspeicherteil 48 bzw. in dem inferiertes körperliches-Objekt-Speicher teil 49 gespeichert, wobei "Prozess zu Ende"-Flags gesetzt werden, um anzuzeigen, dass der Erkenntnisprozess für das körperliche Objekt durchgeführt wurde.

Alle vom Clustergruppen-Bestimmungsteil 36, vom Clusterwählteil 41, vom körperliches-Objekt-Kandidaten-Extraktionsteil 42 und vom ersten körperli ches-Objekt-Erkennungsteil 43 (oder dem zweiten körperliches-Objekt- Erkennungsteil 44) durchgeführte Prozesse werden wiederholt, bis der Prozess für alle Cluster abgeschlossen ist (in diesem Beispiel, bis die "Prozess zu Ende"-Flags für alle Cluster gesetzt sind). Anders gesagt, das Clustergruppen-Bestimmungsteil 36 prüft die "Prozess zu Ende"-Flags der Cluster, die in dem Clusterspeicherteil 48 gespeichert sind, und wenn keine Cluster existieren, für die die "Prozess zu Ende"-Flags noch gesetzt werden müssen, endet die Wiederholung.

Alternativ wäre es auch möglich, das System so anzuordnen, dass eine Obergrenze (z. B. 4) vorab als die Anzahl von als körperliche Objekte zu erkennenden Objekten gesetzt wird, und die Wiederholung des Prozesses endet, wenn die Anzahl erkannter körperlicher Objekte diese Zahl erreicht.

Fig. 8 zeigt den Prozess, der dem Prozess von Fig. 7(f) folgt. Zum leichteren Verständnis werden die als körperliches Objekt erkannten Cluster C22 bis C26 und das entsprechende inferierte körperliche Objekt entfernt. Das Clustergruppen-Bestimmungsteil 36 prüft die "Prozess zu Ende"-Flags der in dem Clusterspeicherteil 48 gespeicherten Cluster und holt die Cluster C21 und C27 bis C31, für die die "Prozess zu Ende"-Flags noch nicht gesetzt wurden. Das Clustergruppen-Bestimmungsteil 36 prüft auch die "Prozess zu Ende"-Flags der inferierten körperlichen Objekte, die in dem inferiertes- körperliches-Objekt-Speicherteil 49 gespeichert sind, und holt das inferierte körperliche Objekt 76, für die ein "Prozess zu Ende"-Flag noch nicht gesetzt wurde.

Wie aus Fig. 8(a) klar zu sehen, überschreiten die Differenzen in den Horizontalpositionen der Cluster C21 und C27 bis C31 den Schwellenwert. Daher bestimmt das Clustergruppen-Bestimmungsteil 36 erneut jeweils verschiedene Clustergruppen 73 und 74. Als Ergebnis dieser neuen Bestimmung der Clustergruppen werden die Cluster C21 und C27 bis C31 nicht verbunden und irrtümlich als einzelnes Objekt erkannt, unabhängig von der Position des anderen inferierten körperlichen Objekts.

Wenn man annimmt, dass der Abstand der Clustergruppe 73 von dem Fahrzeug kürzer als der Abstand der Clustergruppe 74 von dem Fahrzeug ist, wählt das Clusterwählteil 41 die Clustergruppe 73. Das inferierte körperliche Objekt 76 wird gewählt, dessen Abstandsdifferenz von den die Clustergruppe 73 bildenden Clustern gleich oder kleiner als der Schwellen wert ist und das in den horizontalen und vertikalen Positionen überlappt.

Unter den die Clustergruppe 73 bildenden Clustern werden die Cluster C27 bis C31 gewählt, die mit dem inferierten körperlichen Objekt 76 überlappen.

Das Kandidaten-Erzeugungsteil 42 bestimmt kombinierte Cluster aus Kombinationen der Cluster C27 bis C31. Das erste Erkennungsteil 43 vergleicht die Attribute der jeweiligen kombinierten Cluster mit den Attributen des inferierten körperlichen Objekts 76. Im Ergebnis wird das aus den Clustern C27 bis C31 bestehende kombinierte Cluster als dasjenige bestimmt, das Attribute hat, die denen des inferierten körperlichen Objekts 76 am nächsten kommen, so dass das aus den Clustern C27 bis C31 bestehende kombinierte Cluster als körperliches Objekt 79 erkannt wird (Fig. 7(f)). Die Cluster C27 bis C31, die als körperliches Objekt erkannt wurden, und das entsprechende inferierte körperliche Objekt 76 werden mit "Prozess zu Ende"-Flags in dem Clusterspeicher 48 bzw. dem inferiertes körperliches-Objekt-Speicher 49 gespeichert.

Dann holt das Clustergruppierungsteil 36 aus dem Clusterspeicher 48 das Cluster C21, für das kein "Prozess zu Ende"-Flag gesetzt wurde. Da dies ein einzelnes Cluster ist, wird das Cluster C21 als Clustergruppe behandelt. In diesem Beispiel wurden alle inferierten körperlichen Objekte so bearbeitet, dass kein entsprechendes inferiertes körperliches Objekt verglichen werden muß. Dementsprechend wählt das Clusterwählteil 41 das Cluster C21 und überführt dieses zum Kandidaten-Erzeugungsteil 42. Das Kandidaten- Erzeugungsteil 42 bestimmt kombinierte Cluster aus Kombinationen aller in einer Clustergruppe enthaltener Cluster. Da das Cluster C21 ein Einzel cluster ist, wird C21 als kombiniertes Cluster behandelt. Das aus dem Cluster C21 bestehende kombinierte Cluster wird über das Bewertungsteil 37 von dem zweiten Erkennungsteil 44 bearbeitet.

Die körperliche Objekte repräsentierenden Cluster werden somit in Gruppen betrachtet. Daher beginnt die Wiederholung des Prozesses mit der Bestimmung von Clustergruppen. Wie oben beschrieben, werden die Abstände und Positionen inferierter körperlicher Objekte auf der Basis der Relativgeschwindigkeit bestimmt. Entsprechend enthalten die benutzten Werte einen bestimmten Toleranzbetrag. Wenn Cluster, die mit inferierten körperlichen Objekten überlappen, ohne die Bestimmung von Clustergruppen extrahiert werden, können Cluster, deren Horizontalpositionen weit voneinander entfernt sind, kombiniert werden und irrtümlich als ein körperliches Objekt erkannt werden.

Das zweite Erkennungsteil 44 erhält kombinierte Cluster aus dem Kandida ten-Erzeugungsteil 42, die ein oder mehrere Cluster aufweisen, die kein entsprechendes inferiertes körperliches Objekt haben, und vergleicht deren Attribute mit den Attributen vorbestimmter körperlicher Objekte, die erfasst werden sollen. Das Erkennungsteil 44 erkennt, dass eines der vorbestimm ten körperlichen Objekte, das die kleinste Differenz der Attribute hat, als das körperliche Objekt, das den kombinierten Clustern entspricht. Auch die Verwendung von Schwellenwerten ist zur Bestimmung möglich, dass das vorbestimmte körperliche Objekt, dessen Attribute sich nur gering unter scheiden, so dass die Differenz kleiner als der Schwellenwert ist, das körperliche Objekt darstellt. Dieser Vergleich mit vorbestimmten körperlichen Objekten wird für alle kombinierten Cluster durchgeführt.

Die Attribute der vorbestimmten körperlichen Objekte sind vorbestimmt und in einem körperliches-Objekt-Speicher 50 gespeichert. Wenn beispielsweise die zu erfassenden Objekte Fahrzeuge umfassen, werden die Attribute verschiedener Fahrzeugtypen gespeichert, und wenn die zu erfassenden Objekte Verkehrszeichen umfassen, werden die Attribute verschiedener Typen von Verkehrszeichen gespeichert. In dieser Ausführung werden die Breite und Höhe als die Attribute benutzt, die verglichen werden. Abstand, Horizontalposition und Vertikalposition werden nicht verglichen. Zum Vergleich der Attribute wird die unten gezeigte Gleichung (5) benutzt. Die Bedeutung der Variablen in Gleichung (5) ist in Tabelle 4 gezeigt. Gleichung (5) drückt die Differenz der Attribute kombinierter Cluster und eines vorbestimmten Objekts auf der Basis der Differenz von Breite und Höhe kombinierter Cluster und eines vorbestimmten Objekts aus.

E2 = |Wc-Wt| + |Hc-Ht| (5)

Tabelle 4

In dem in Fig. 8(c) gezeigten Beispiel vergleicht, wie oben beschrieben, das zweite Erkennungsteil 44 die Attribute des kombinierten Clusters, das aus dem vom Kandidaten-Erzeugungsteil 42 extrahierten Cluster C21 besteht, mit den Attributen verschiedener vorbestimmter körperlicher Objekte, die erfasst werden sollen, und bestimmt das zu erfassende vorbestimmte Objekt, das den kleinsten funktionellen Wert E2 hat. Daher wird das Cluster C21 als körperliches Objekt 77 erkannt (Fig. 8(d)).

Da die Information, die vorbestimmte körperliche Objekte betrifft, zur Erkennung gegenwärtiger körperlicher Objekte benutzt wird, kann eine fehlerhafte Erkennung zweier körperlicher Objekte als einzelnes körperliches Objekt auch dann vermieden werden, wenn ein vorausfahrendes Fahrzeug in der Nähe eines straßenseitigen Objekts, wie etwa eines Verkehrs zeichens, vorhanden ist oder wenn ein Fahrzeug in einer benachbarten Fahrspur sich dem vorausfahrenden Fahrzeug annähert.

Bevorzugt erfolgt eine Bewertung, ob das abgebildete Objekt ein körperli ches Objekt ist oder nicht, auf der Basis der Positionen und Größen der Cluster vor den Prozessen, die von den ersten und zweiten körperliches- Objekt-Erkennungsteilen 43 und 44 durchgeführt werden. Wenn beispiels weise ein Cluster eine Dicke in der Höhenrichtung hat, die einen vor bestimmten Wert überschreitet, kann gewertet werden, dass dies ein körperliches Objekt ist. Die Cluster, die in den ersten und zweiten körperli ches-Objekt-Erkennungsteilen 43 und 44 nicht als körperliche Objekte erkannt verbleiben, können als nicht-körperliche Objekte gewertet werden.

Die ersten und zweiten körperliches-Objekt-Erkennungsteile 43 und 44 speichern die Attribute gegenwärtig erkannter körperlicher Objekte in dem körperliches-Objekt-Speicher 39. Die Attribute früher erkannter körperlicher Objekte werden ebenfalls in dem körperliches-Objekt-Speicher 39 gespei chert. Die ersten und zweiten körperliches-Objekt-Erkennungsteile 43 und 44 berechnen die Relativgeschwindigkeit des Fahrzeugs in Bezug auf körperliche Objekte auf der Basis eines aus folgender Berechnungsformel bestimmten Werts:
(Gegenwärtiger Abstand - vorheriger Abstand)/Erfassungszeitintervall.

Die so berechnete Relativgeschwindigkeit wird in dem körperliches-Objekt- Speicher 39 gespeichert. Wie oben beschrieben, ist das Erfassungszeitinter vall die Zeitdifferenz zwischen der vorherigen Messung und der gegen wärtigen Messung und kann beispielsweise auf 100 Millisekunden gesetzt sein.

Die Fahrzeugsteuereinrichtung 45 steuert das das System tragende Fahrzeug auf der Basis der Information, wie etwa Abstand, Position und Relativgeschwindigkeit der körperlichen Objekte, die in dem körperliches- Objekt-Speicher 39 gespeichert sind, und auf der Basis der Information von Vorrichtungen, wie etwa einer Fahrgeschwindigkeits-Erfassungsvorrichtung 46 und einer Gierraten-Erfassungsvorrichtung 47, so dass der Abstand zu den körperlichen Objekten auf einem geeigneten Wert gehalten wird. Beispielsweise gibt die Fahrzeugsteuereinrichtung 45 an den Fahrer eine Warnung aus, etwa mittels einer Sprachmitteilung oder eines Alarmtons. Die Steuereinrichtung kann auch die Geschwindigkeit des Fahrzeugs durch aktive Verzögerung oder Beschleunigung regeln.

Um die Erkennung körperlicher Objekte zu gewährleisten, erfolgt bevorzugt eine Bewertung durch die ersten und zweiten körperliches-Objekt-Erken nungsteile 43 und 44 dahingehend, ob zuvor erkannte Objekte und gegenwärtig erkannte Objekte dieselben Objekte sind, und die Fahrzeug steuereinrichtung 45 reagiert, wenn eine vorbestimmte Anzahl von Malen dasselbe Objekt fortlaufend erkannt wird.

Das Korrelations-Berechnungsteil 6, das Abstandsmessteil 7, der Abstands speicher 8, das Fensterausschneideteil 13, das Clusterbildungsteil 33, das Clustergruppierungsteil 36, der Clusterspeicher 48, der körperliches-Objekt- Speicher 39, das körperliches-Objekt-Inferierteil 40, das Clusterwählteil 41, das Kandidaten-Erzeugungsteil 42, die ersten und zweiten körperliches- Objekt-Erkennungsteile 43 und 44, der inferiertes körperliches-Objekt- Speicher 49, der Objektspeicher 50 und die Fahrzeugsteuereinrichtung 45 können durch eine Mikrosteuereinrichtung implementiert sein, die typischer weise eine zentrale Prozessoreinheit (CPU), einen nur-Lesespeicher (ROM), der Steuerprogramme und Daten enthält, sowie einen Speicher mit wahlfreiem Zugriff (RAM) enthält, der eine Arbeitsebene für die CPU bildet und verschiedene Daten vorübergehend speichert. Anders gesagt, implementieren in dem ROM gespeicherte Computerprogramme die oben beschriebenen Funktionen der in Fig. 1 gezeigten Funktionsblöcke.

Der Abstandsspeicher 8, der Clusterspeicher 48, der inferiertes-körperliches- Objekt-Speicher 49, der körperliches-Objekt-Speicher 39 und der Objekt speicher 50 können durch verschiedene Speicherbereiche eines einzelnen RAM realisiert werden. Vorübergehende Speicherbereiche für Daten, die in verschiedenen Operationstypen erforderlich sind, können auch durch Abschnitte desselben RAM gebildet sein.

Die erfindungsgemäße Objekterkennungsvorrichtung kann durch ein lokales Funknetzwerk (LAN) mit einer elektronischen Motorsteuereinheit (ECU), einer Bremssteuerungseinheit ECU oder einer anderen ECU verbunden sein, und die Ausgabe von dieser Objekterkennungsvorrichtung kann zur Gesamtsteuerung des Fahrzeugs benutzt werden.

Somit wurde gezeigt, dass in der erfindungsgemäßen Vorrichtung körper liche Objekte unter Verwendung von Information in Bezug auf vorher erkannte körperliche Objekte erkannt werden. Demzufolge können körperliche Objekte genau erkannt werden, und zwar ohne jegliche Erkennungsfehler einer Mehrzahl körperlicher Objekte als einzelnem körperlichem Objekt, oder fehlerhafter Erkennung eines einzelnen körperli chen Objekts als eine Mehrzahl körperlicher Objekte. Ein körperliches Objekt kann durch einen Vergleich mit Attributen zu erkennender vorbestimmter Objekte erkannt werden. Daher können auch mehrere körperliche Objekte, die neuerlich in dem Bild erscheinen, genau erkannt werden.

Ein erfindungsgemässes Objekterkennungssystem umfasst einen oder mehrere Bildsensoren 3, 3' und eine Steuereinrichtung, die dazu ausgelegt ist, den Abstand von dem System zum Objekt in Bezug auf jeweilige Fenster eines von den Sensoren aufgenommenen Bilds zu messen. Die Steuer einrichtung bildet Cluster durch Vereinigen benachbarter Fenster, die ähnliche gemessene Abstände haben. Das System umfasst einen Speicher 39 zum Speichern von Daten eines zuvor erkannten körperlichen Objekts. Die Steuereinrichtung inferiert oder folgert ein körperliches Objekt auf der Basis von Daten eines zuvor erkannten körperlichen Objekts und der Geschwindigkeit des Fahrzeugs relativ zu einem zuvor erkannten körperli chen Objekt, wobei die Steuereinrichtung eine Kombination von Clustern bestimmt, die am besten zu dem inferierten körperlichen Objekt passt. Die Steuereinrichtung gruppiert die Cluster zu einem oder mehreren Cluster gruppen gemäß dem Abstand von dem das System tragenden Fahrzeug und wählt aus einer der Clustergruppen jene Cluster aus, die mit einem von der Steuereinrichtung inferierten körperlichen Objekt überlappen. Die Steuer einrichtung bildet Passungen von Kombinationen der gewählten Cluster mit dem inferierten körperlichen Objekt auf der Basis der Attribute der kombinierten Cluster und der Attribute des inferierten körperlichen Objekts.

Claims

1. Objekterkennungssystem mit einem oder mehreren Bildsensoren (3, 3', 53) und einer Steuereinrichtung, die ausgelegt ist, um den Abstand (d) von dem System zu Objekten (54) in Bezug auf jeweilige Fenster (W) eines von den Sensoren aufgenommenen Bilds zu messen, wobei die Steuereinrichtung durch Vereinigen benachbarter Fenster (W), die ähnliche gemessene Abstände haben, Cluster (C1, C2. . .) bildet, wobei das System umfasst:
einen Speicher (8) zum Speichern von Daten von einem zuvor erkannten körperlichen Objekt;
wobei die Steuereinrichtung ein körperliches Objekt (54) auf der Basis von Daten zu einem zuvor erkannten körperlichen Objekt und der Geschwindigkeit des Fahrzeugs relativ zu einem zuvor erkannten körperlichen Objekt inferiert und wobei die Steuereinrich tung eine Kombination von Clustern (C1, C2. . .) bestimmt, die am besten zu dem inferierten körperlichen Objekt passt.

2. System nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinrichtung die Cluster (C1, C2. . .) gemäß dem Abstand von dem das System tragenden Fahrzeug in eine oder mehrere Cluster gruppen (G1, G2. . .) gruppiert.

3. System nach Anspruch 2, dadurch gekennzeichnet, dass die Steuereinrichtung aus einer der Clustergruppen jene Cluster wählt, die mit einem durch die Steuereinrichtung inferierten körperlichen Objekt überlappen.

4. System nach Anspruch 3, dadurch gekennzeichnet, dass die Steuereinrichtung Kombinationen der gewählten Cluster mit dem inferierten körperlichen Objekt auf Basis der Attribute der kom binierten Cluster und der Attribute des inferierten körperlichen Objekts zur Passung bringt.

5. System nach Anspruch 4, dadurch gekennzeichnet, dass die Steuereinrichtung E1 gemäß folgender Gleichung berechnet und die Kombination von Clustern (C1, C2. . .), die das kleinste E1 hat, als die das körperliche Objekt repräsentierenden Cluster bestimmt:
E1 = √(Xc-Xt)² + (Yc-Yt)² + (Zc-Zt)²/C.Zt
wobei Xc die x-Koordinate der horizontalen Mitte der kombinierten Cluster ist, Yc die y-Koordinate der vertikalen Mitte der kombinierten Cluster ist, Zc die z-Koordinate ist, die den Abstand kombinierter Cluster von dem Fahrzeug indiziert, Xt die x-Koordinate der horizonta len Mitte eines inferierten körperlichen Objekts ist, Yt die y-Koor dinate der vertikalen Mitte des inferierten körperlichen Objekts ist, Zt die z-Koordinate ist, die den Abstand des inferierten körperlichen Objekts von dem Fahrzeug indiziert, und C eine Konstante ist.

6. System nach Anspruch 5, dadurch gekennzeichnet, dass Zt durch die Gleichung bestimmt wird:
vorheriges Zt + Relativgeschwindigkeit × Erfassungszeitintervall.

7. System nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass der folgende Wert zu E1 addiert wird:
|Wc-Wt| + |Hc-Ht wobei Wc und Wt die Breite kombinierter Cluster bzw. des inferierten körperlichen Objekts sind und Hc und Ht die Höhe der kombinierten Cluster bzw. des inferierten körperlichen Objekts sind.

8. System nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Relativgeschwindigkeit bestimmt wird, indem die Differenz zwischen einem Abstand (d) von dem Fahrzeug zu dem körperlichen Objekt (54), die in dem gegenwärtigen Prozesszyklus gemessen wurde, und einem Abstand (d') von dem Fahrzeug zu dem körperlichen Objekt (54), der in dem vorhergehenden Prozesszyklus gemessen wurde, durch das Erfassungszeitintervall geteilt wird.

9. Objekterkennungssystem, umfassend:
einen oder mehrere Bildsensoren (3, 3', 53);
ein Mittel zum Messen des Abstands (d) von dem System zu einem körperlichen Objekt (54) in Bezug auf jedes Fenster (W) eines von den Sensoren aufgenommenen Bilds;
ein Mittel (36) zur Clusterbildung benachbarter Fenster (W), die sich in einem vorbestimmten Abstandsbereich befinden;
ein Mittel (40) zum Inferieren der gegenwärtigen Position eines körperlichen Objekts, das in dem vorherigen Erkennungszyklus erkannt wurde, auf der Basis der vorherigen Position des körperlichen Objekts und der Geschwindigkeit des Fahrzeugs relativ zu dem Objekt;
ein Wählmittel (41) zum Wählen von Clustern, deren Abstand von dem Fahrzeug innerhalb einer vorbestimmten Toleranz relativ zu dem Abstand des inferierten körperlichen Objekts liegt und die mit dem inferierten körperlichen Objekt überlappen; und
ein Mittel (43, 44) zum Erkennen, das körperliche Objekt repräsentierend, der kombinierten Cluster, die eines oder mehrere Cluster umfassen, die von dem Wählmittel (41) erfasst wurden, und die Attribute haben, die den Attributen des inferierten körperlichen Objekts am nächsten sind.

10. System nach Anspruch 9, gekennzeichnet durch:
einen Speicher (50) zum Speichern von Attributen zumindest eines körperlichen Musterobjekts; und
ein Mittel zum Vergleichen der Attribute kombinierter Cluster, die nicht von dem Wählmittel (41) gewählt wurden, mit den At tributen zumindest eines körperlichen Musterobjekts, um das körperliche Musterobjekt zu erkennen, das Attribute hat, die dem den kombinierten Clustern entsprechenden körperlichen Objekt am nächsten sind.

11. Verfahren zum Erkennen eines körperlichen Objekts, welches die Schritte umfasst:
Messen des Abstands (d) von einem Fahrzeug zu einem körperlichen Objekt (54) in Bezug auf jeweilige Fenster (W) eines von zumindest einem Bildsensor (3, 3', 53) aufgenommenen Bilds;
Vereinigen benachbarter Fenster (W), die ähnliche gemessene Abstände haben, zur Bildung von Clustern (C1, C2. . .);
Inferieren der gegenwärtigen Position eines körperlichen Objekts auf der Basis von Daten zu einem zuvor erkannten körperli chen Objekt und der Geschwindigkeit des Fahrzeugs relativ zu dem vorher erkannten körperlichen Objekt; und
Bestimmen einer Kombination von Clustern, die am besten zu dem körperlichen Objekt passt.

12. Verfahren nach Anspruch 1 l, dadurch gekennzeichnet, dass der Bestimmungsschritt den Schritt umfasst, jene Cluster zu wählen, die mit einem von der Steuereinrichtung inferierten körperlichen Objekt überlappen.

13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass der Bestimmungsschritt den Schritt umfasst, Kombinationen der gewählten Cluster mit dem inferierten körperlichen Objekt auf der Basis der Attribute der kombinierten Cluster und der Attribute des inferierten körperlichen Objekts in Passung zu bringen.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass der Passschritt den Schritt umfasst, E1 gemäß der folgenden Gleichung zu berechnen und die Kombination von Clustern zu bestimmen, die das kleinste E1 hat:
E1 = √(Xc-Xt)² + (Yc-Yt)² + (Zc-Zt)²/C.Zt
wobei Xc die x-Koordinate der horizontalen Mitte der kombinierten Cluster ist, Yc die y-Koordinate der vertikalen Mitte der kombinierten Cluster ist, Zc die z-Koordinate ist, die den Abstand kombinierter Cluster von dem Fahrzeug indiziert, Xt die x-Koordinate der horizonta len Mitte eines inferierten körperlichen Objekts ist, Yt die y-Koor dinate der vertikalen Mitte des inferierten körperlichen Objekts ist, Zt die z-Koordinate ist, die den Abstand des inferierten körperlichen Objekts von dem Fahrzeug indiziert, und C eine Konstante ist.

15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass Zt durch die Gleichung bestimmt wird:
vorheriges Zt + Relativgeschwindigkeit × Erfassungszeitintervall.

16. Verfahren nach Anspruch 14 oder 15, dadurch gekennzeichnet, dass der folgende Wert zu E1 addiert wird:
|Wc-Wt| + |Hc-Ht|
wobei Wc und Wt die Breite kombinierter Cluster bzw. des inferierten körperlichen Objekts sind und Hc und Ht die Höhe der kombinierten Cluster bzw. des inferierten körperlichen Objekts sind.

17. Verfahren nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die Relativgeschwindigkeit bestimmt wird, indem die Differenz zwischen einem Abstand (d) von dem Fahrzeug zu dem körperlichen Objekt (54), die in dem gegenwärtigen Prozesszyklus gemessen wurde, und einem Abstand (d') von dem Fahrzeug (54) zu dem körperlichen Objekt, der in dem vorhergehenden Prozesszyklus gemessen wurde, durch das Erfassungszeitintervall geteilt wird.

18. Verfahren zum Erkennen eines körperlichen Objekts, umfassend die Schritte:
Messen eines Abstands (d) von einem Fahrzeug zu einem körperlichen Objekt (54) in Bezug auf jedes Fenster (W) eines von einem oder mehreren Bildsensoren (3, 3', 53) aufgenommenen Bilds;
Clusterbildung benachbarter Fenster (W), die sich in einem vorbestimmten Abstandsbereich befinden;
Inferieren der gegenwärtigen Position eines körperlichen Objekts, das in dem vorherigen Erkennungszyklus erkannt wurde, auf Basis der vorherigen Position des körperlichen Objekts und der Geschwindigkeit des Fahrzeugs relativ zu dem Objekt;
Wählen von Clustern (C1, C2. . .), deren Abstand von dem Fahrzeug innerhalb einer vorbestimmten Toleranz relativ zu dem Abstand des inferierten körperlichen Objekts liegt und die mit dem inferierten körperlichen Objekt überlappen;
Erkennen, das körperliche Objekt repräsentierend, der kom binierten Cluster, die einen oder mehrere Cluster umfassen, die von dem Wählschritt gewählt sind, und die Attribute haben, die den Attributen des inferierten körperlichen Objekts am nächsten sind.

19. Verfahren nach Anspruch 18, gekennzeichnet durch die Schritte:
Speichern von Attributen zumindest eines körperlichen Musterobjekts; und
Vergleichen von Attributen kombinierter Cluster, die nicht in dem Wählschritt gewählt wurden, mit Attributen zumindest eines körperlichen Musterobjekts, um das körperliche Musterobjekt zu erkennen, das Attribute hat, die dem den kombinierten Clustern entsprechenden körperlichen Objekt am nächsten sind.