DE10029423A1 - Objekterkennungssystem - Google Patents
ObjekterkennungssystemInfo
- Publication number
- DE10029423A1 DE10029423A1 DE10029423A DE10029423A DE10029423A1 DE 10029423 A1 DE10029423 A1 DE 10029423A1 DE 10029423 A DE10029423 A DE 10029423A DE 10029423 A DE10029423 A DE 10029423A DE 10029423 A1 DE10029423 A1 DE 10029423A1
- Authority
- DE
- Germany
- Prior art keywords
- distance
- cluster
- clusters
- windows
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
Ein Objekterkennungssystem umfasst einen Speicher (8) zum Speichern einer Mehrzahl von Abstandsbereichen mit verschiedenen Abstandskennungen, die den jeweiligen Abstandsbereichen zugeordnet sind. Die Steuereinrichtung wandelt gemessene Abstandswerte in Abstandskennungen entsprechend den Abstandsbereichen, zu denen die Abstandswerte gehören. Die Steuereinrichtung gruppiert die Sektionen oder Fenster eines aufgenommenen Bilds auf der Basis zugeordneter Abstandskennungen. Eine Erfassungs- oder eine Blickfläche der Sensoren (3, 3') ist in einer Mehrzahl von Abstandsbereichen entsprechend der Toleranz des gemessenen Abstands unterteilt, so dass ein breiterer Abstandsbereich definiert wird, wenn der Abstand von dem System größer wird. Die Steuereinrichtung tastet die Fenster mit Abstandskennungen unter Verwendung einer Schablone ab, die eine Verknüpfungsbeziehung für die Fenster definiert, und ordnet jedem Fenster eine Clustererkennung zu, die eine Kombination der Abstandskennung und eines Häufigkeitsindex ist, der für die Fenster die gleiche ist, die der Verknüpfungsbeziehung entsprechen. Die Steuereinrichtung vereinigt die Fenster mit denselben Clustererkennungen zu einem Cluster, erzeugt dreidimensionale Daten jedes der Cluster und kombiniert die Cluster, die einander eng benachbart sind, auf der Basis der dreidimensionalen Daten unter Bildung eines Kandidaten eines körperlichen Objekts. Das System enthält einen Speicher zum Speichern dreidimensionaler Daten von einem oder ...
Description
Die Erfindung betrifft ein optisches Objekterkennungssystem, welches
Objekte vor einem Fahrzeug, wie etwa einem Automobil etc., unter
Verwendung einer Bildaufnahmevorrichtung mit an diesem Fahrzeug
angebrachten Kameras erfasst. Insbesondere betrifft die Erfindung ein
Objekterkennungssystem, welches die charakteristischen Merkmale von
Objekten unter Verwendung einer Mehrzahl von Fenstern in den aufgenom
menen Bildern erkennt.
Um die Sicherheit des Fahrzeugbetriebs zu verbessern, wurden in den
letzten Jahren Vorrichtungen vorgeschlagen, die den Abstand und die Größe
von Objekten vor einem Fahrzeug bestimmen und die das Fahrzeug nach
Maßgabe dieser Bewertung geeignet steuern.
Die japanischen Patentanmeldungs-Schrift Kokai Nr. Hei 9-79821 beschreibt
ein Beispiel einer Vorrichtung, in der eine aus zwei Lichtempfangselementen
bestehende optische Abstandmessvorrichtung zur Bestimmung genutzt
wird, ob ein Objekt, dessen Abstand erfasst wurde, ein körperliches Objekt
oder eine Straßenfläche ist (einschließlich Buchstaben bzw. Zahlen oder
weiße Linien auf der Straßenfläche). Diese Vorrichtung berechnet Differen
zen für jeweilige Berechnungsflächen und erkennt Flächen, in denen
Hindernisse vorhanden sind, indem Berechnungsflächen gehäuft bzw.
geclustert werden, deren gegenseitige Abstände innerhalb eines festen
Bereichs liegen und die in der horizontalen Richtung einander benachbart
sind. Im Falle dieser Clusterbildung werden auch solche Berechnungsflächen
geclustert, deren Abstände noch nicht gemessen wurden.
Wenn jedoch die Clusterbildung (entsprechend der oben erwähnten
Blockbildung) mit einer großen Anzahl von Fenstern erfolgt (die den oben
erwähnten Berechnungsflächen entspricht), so dass die gemessenen
Abstandswerte mit größerer Genauigkeit erhalten werden können, ist ein
außerordentlich großer Zeitaufwand erforderlich, um zu bestimmen, ob die
Abstände innerhalb eines bestimmten Bereichs liegen oder nicht, gemäß
dem Schema, wie es in der japanischen Patentanmeldung Kokai Nr. Hei 9-
79821 beschrieben ist.
Wenn ferner herkömmlich die Abstandsbereiche vorab bestimmt werden und
Fenster innerhalb dieser Abstandsbereiche geclustert werden, war es
notwendig, zuerst den Abstandsbereich, in dem die Clusterbildung erfolgen
soll, auf der Basis von Faktoren zu bestimmen, wie etwa einer Frequenz-
bzw. Häufigkeitsverteilung der Abstände. Ferner war es zur Durchführung
der Clusterbildung erforderlich, zu bestimmen, welche Abstandsbereiche der
für die Fenster berechneten Abstandswerte dazugehören, und zu bestim
men, ob die jeweiligen Abstandsbereiche einander gleich sind oder nicht.
Dieser Prozess erfordert einen großen Zeitaufwand.
Wenn ferner die Abstandsbereiche, in denen eine Clusterbildung erfolgt, fest
sind, wie in der japanischen Patentanmeldung Kokai Nr. Hei 9-79821
beschrieben, sinkt die Präzision des Abstandswerts, wenn der Abstand
größer wird. Allgemein erfolgt die Berechnung eines Abstands "d" durch
"d = C/s (C ist eine Konstante)", wobei "s" eine Parallaxe ist. Während die
Parallaxenauflösung konstant ist, sinkt die Abstandsauflösung, wenn der
Abstand größer wird. Im Ergebnis wird, wenn ein körperliches Objekt auf
mehreren Fenstern abgebildet wird, ein größerer Fehler in den Abstands
werten für die jeweiligen Fenster erzeugt, wenn der Abstand größer wird.
Beispielsweise erfolgt gemäß Fig. 14(a) entsprechend dem Stand der
Technik die Clusterbildung mit einem festen Abstandsbereich, wie durch ein
Pfeilepaar dargestellt. In dem fahrzeugnäheren Bereich liegen ein Fenster mit
einem Abstandswert 101 und ein Fenster mit einem Abstandswert 102, die
in den festen Abstandsbereich fallen, im Cluster beieinander. Im Gegensatz
hierzu liegen in einem vom Fahrzeug weiter entfernten Bereich ein Fenster
mit einem Abstandswert 103 und ein Fenster mit einem Abstandswert 104
in verschiedenen Bereichen beieinander, auch wenn die beiden Fenster zum
selben Objekt gehören. Der Grund hierfür ist, dass sie nicht innerhalb des
festen Abstandsbereichs liegen.
Umgekehrt, wenn in einem Bereich, der vom Fahrzeug weiter entfernt ist,
wie in Fig. 14(b) gezeigt, der Abstandsbereich auf einen größeren Wert
gesetzt ist, so dass die zwei Fenster, die zum selben körperlichen Objekt
gehören, in dasselbe Cluster geclustert werden, können das Fenster mit
Abstandswert 103 und das Fenster mit Abstandswert 104 zum selben
Cluster geclustert werden. Jedoch werden in dem fahrzeugnäheren Bereich
nicht nur die Fenster mit Abstandswerten 101 und 102, sondern auch das
Fenster mit einem Abstandswert 105, der zu einem anderen körperlichen
Objekt gehört, zu ein und demselben Cluster geclustert. Wenn somit die
Clusterbildung mit einem festen Abstandsbereich erfolgt, kommt es zu
Fällen, in denen ein körperliches Objekt nicht in ein und dasselbe Cluster
geclustert werden kann, und verschiedene körperliche Objekte in ein und
demselben Cluster enthalten sind.
Eine Aufgabe der Erfindung ist es daher, ein System anzugeben, welches
die Erkennung von Objekten durch Clusterbildung von Fenstern mit hoher
Geschwindigkeit ermöglicht. Dies wird erreicht durch Clusterbildung auf der
Basis von Kennungen, die entsprechend den Abstandswerten für die Fenster
berechnet wurden. Eine weitere Aufgabe der Erfindung ist es, ein Objekt
erkennungssystem anzugeben, welches die Erkennung körperlicher Objekte
durch genaue Clusterbildung von Fenstern ermöglicht. Dies wird erreicht
durch Setzen von Abstandsbereichen entsprechend den Toleranzen in
gemessenen Abständen.
Nach einem Aspekt der Erfindung wird ein Objekterkennungssystem
vorgeschlagen, das einen oder mehrere Bildsensoren sowie eine Steuer
einrichtung aufweist, die zur Abstandsmessung zu Gegenständen für
jeweilige Fenster oder Sektionen eines von den Sensoren aufgenommenen
Bilds ausgelegt ist. Das System umfasst einen Speicher zum Speichern einer
Mehrzahl von Abstandsbereichen mit unterschiedlichen Abstandskennun
gen, die den jeweiligen Abstandsbereichen zugeordnet sind. Die Steuer
einrichtung wandelt die gemessenen Abstandswerte in Abstandskennungen
entsprechend den Abstandsbereichen, zu denen die Abstandswerte
gehören. Die Steuereinrichtung gruppiert die Sektionen oder Fenster eines
aufgenommenen Bilds auf der Basis zugeordneter Abstandskennungen. Die
Erfassungs- oder Blickfläche der Sensoren wird in eine Mehrzahl von
Abstandsbereichen entsprechend der Toleranz des gemessenen Abstands
unterteilt, so dass ein breiterer Abstandsbereich definiert wird, wenn der
Abstand von dem System größer wird.
Die Steuereinrichtung tastet die Fenster mit Abstandskennungen unter
Verwendung einer Schablone ab, die eine Verknüpfungsbeziehung für die
Fenster definiert, und ordnet jedem Fenster eine Clusterkennung zu, die eine
Kombination der Abstandskennung und eines Häufigkeitsindex ist. Der
Häufigkeitsindex ist für die Fenster gleich, die der Verknüpfungsbeziehung
entsprechen. Die Steuereinrichtung vereinigt die Fenster mit den gleichen
Clusterkennungen zu einem Cluster.
Die Steuereinrichtung erzeugt dreidimensionale Daten jedes der Cluster auf
der Basis des Abstands von dem Fahrzeug, der Höhe und der Breite der
Cluster, und kombiniert die Cluster, die eng beieinander angeordnet sind,
auf der Basis der dreidimensionalen Daten zur Bildung eines Kandidaten
eines körperlichen Objekts. Das System enthält einen Speicher zum
Speichern dreidimensionaler Daten von einem oder mehreren körperlichen
Objekten, die in dem vorherigen Erkennungszyklus erkannt wurden. Die
Steuereinrichtung inferiert bzw. schließt auf ein körperliches Objekt, das im
gegenwärtigen Zyklus auf der Basis der gespeicherten Daten erkannt würde,
und eine Geschwindigkeit des Fahrzeugs relativ zu dem körperlichen Objekt.
Die Steuereinrichtung vergleicht das inferierte körperliche Objekt mit dem
Kandidaten eines körperlichen Objekts zur Erkennung eines körperlichen
Objekts.
Der Abstand eines Clusters von dem Fahrzeug wird durch Mittelwertbildung
des Abstands von dem Fahrzeug der das Cluster bildenden Fenster
bestimmt. Die Höhe eines Clusters wird durch die Differenz zwischen einer
Position des Fensters an der Oberseite des Clusters und einer Position des
Fensters an der Unterseite des Clusters bestimmt. Die Breite eines Clusters
wird durch die Differenz zwischen einer Position des Fensters am rechten
Ende des Clusters und einer Position des Fensters am linken Ende des
Clusters bestimmt.
Die Steuereinrichtung kann eine Mikrosteuereinrichtung umfassen, die
typischerweise eine zentrale Prozessoreinheit (CPU) oder einen Mikro
prozessor enthält, sowie einen nur-Lesespeicher (ROM), der Steuer
programme enthält, die bei Ausführung durch den Prozessor jeweilige
Funktionen ausführen, die nachfolgend beschrieben werden. Die Steuer
einrichtung enthält ferner einen Speicher mit wahlfreiem Zugriff (RAM), der
eine Arbeitsebene für die CPU bildet und verschiedene Daten und Pro
gramme vorübergehend speichert.
Die Erfindung wird nun in bevorzugten Ausführungsbeispielen anhand der
beigefügten Zeichnungen erläutert. Es zeigen:
Fig. 1 ein Blockdiagramm der Gesamtstruktur mit Funktionsblöcken
der Steuereinrichtung einer Ausführung;
Fig. 2 ein Diagramm des Messprinzips durch das Triangulationsver
fahren;
Fig. 3(a) ein Diagramm des aufgenommenen Bilds, und
Fig. 3(b) das Bild, das zum Bewerten von Abständen und Straßen
flächen in kleine Flächen (Fenster) unterteilt ist, nach einer
Ausführung;
Fig. 4(a) ein Diagramm der Unterteilung der Erfassungsflächen, und
Fig. 4(b) das Setzen der Abstandsbereiche und Abstandswerte;
Fig. 5 eine Tabelle der Unterteilung der Abstände nach Maßgabe der
Fehler der gemessenen Abstände;
Fig. 6 ein Diagramm des Clusterschemas nach einer Ausführung;
Fig. 7 ein Diagramm der Schablone und das Verfahren zur Bestim
mung von Clusterkennungen, das in einer Ausführung ver
wendet wird;
Fig. 8 ein Diagramm des Verfahrens, das zur Zuordnung von Clus
terkennungen in einer Ausführung verwendet wird;
Fig. 9 ein Diagramm des Verfahrens, das zur Verknüpfung von
Clusterkennungen in einer Ausführung verwendet wird;
Fig. 10(a) ein Diagramm des Verfahrens, das zum Exprimieren von
Fenstern als dreidimensionale Information verwendet wird;
Fig. 10(b) ein Diagramm von Änderungen der dreidimensionalen Fenster
information, die auftreten, wenn sich das Fahrzeug bewegt, in
einer Ausführung;
Fig. 11(a) ein Diagramm von Clustern, gesehen von der x-y-Ebene;
Fig. 11(b) ein Diagramm der Cluster, gesehen von der x-z-Ebene;
Fig. 11(c) ein Diagramm von Clustergruppen, gesehen von der x-y-Ebene;
Fig. 11(d) ein Diagramm von Clustergruppen, gesehen von der x-z-Ebene;
Fig. 12(a) ein Diagramm des zuvor aufgenommenen Bilds;
Fig. 12(b) ein Diagramm von Clustern;
Fig. 12(c) ein Diagramm von erkannten körperlichen Objekten in einer
Ausführung;
Fig. 12(d) ein Diagramm eines gegenwärtig aufgenommenen Bilds;
Fig. 12(e) ein Diagramm von körperlichen Objekten 75 und 76, erhalten
durch Inferieren bzw. Schließen aus den körperlichen Objekten
65 und 66;
Fig. 12(f) ein Diagramm erkannter körperlicher Objekte 77, 78 und 79
entsprechend einem Verkehrzeichen 93, einem Auto 91 bzw.
einem anderen Auto 92;
Fig. 13 eine Tabelle von Clusterkombinationen in einer Ausführung;
Fig. 14 ein Diagramm der Beziehung zwischen der Clusterbildung und
dem Setzen von Abstandsbereichen in der Erfassungsfläche
nach dem Stand der Technik.
Fig. 1 ist ein Gesamtblockdiagramm eines Objekterkennungssystems nach
einer Ausführung. Abgesehen von den Sensoren 3 und 3' können alle
Blöcke in Fig. 1 in einer Steuereinrichtung enthalten sein, die eine integrierte
Halbleiterschaltung vom Ein-Chip- oder Mehr-Chip-Typ umfasst. Somit zeigt
Fig. 1 Funktionsblöcke der Steuereinrichtung. Die jeweiligen Funktionen der
Blöcke werden durch Ausführung jeweiliger Programme durchgeführt, die
in dem ROM der Steuereinrichtung gespeichert sind.
Fig. 2 zeigt in einem Diagramm das Abstandsmessprinzip auf der Basis des
Triangulationsverfahrens, das in der vorliegenden Ausführung verwendet
wird. Zuerst wird ein Abstandsmessverfahren unter Verwendung eines
Paars von Bildsensoren anhand von Fig. 2 beschrieben. Ein Linearsensor 21
und eine Linse 23, die eines der oben erwähnten Bildsensorpaare bilden,
sind mit einem bestimmten Abstand, d. h. mit einem Abstand gleich der
Basislinienlänge B in der horizontalen oder vertikalen Richtung von dem
Linearsensor 22 und der Linse 24, die den anderen Bildsensor des Paars
bilden, installiert. Die Linearsensoren 21 und 22 sind typischerweise
eindimensionale CCDs, können jedoch auch linear angeordnete Fotosensor
reihen sein. Im Hinblick auf den Gebrauch bei Nacht sind Infrarotlicht
verwendende Bildsensoren bevorzugt. In diesem Fall ist es bevorzugt,
infrarotdurchlässige Filter vor den Linsen 23 und 24 zu installieren und das
System so auszustatten, dass ein Objekt 20 durch eine Infrarotlichtquelle
mit zeitlich vorbestimmten Intervallen beleuchtet wird. Von dem Objekt 20
reflektiertes Infrarotlicht wird von den Linearsensoren 21 und 22 erfasst.
Die Linearsensoren 21 und 22 sind jeweils an der Brennweite "f" der Linsen
23 und 24 positioniert. Wenn man annimmt, dass ein Bild eines Objekts,
das mit einem Abstand "a" vor der Ebene der Linsen 23 und 24 angeordnet
ist, im Falle des Linearsensors 21 an einer Position abgebildet wird, die um
einen Abstand X1 von der optischen Achse der Linse 23 verschoben ist,
und, im Falle des Linearsensors 22, an einer Position abgebildet wird, die
um einen Abstand X2 von der optischen Achse der Linse 24 verschoben ist,
dann wird, gemäß dem Prinzip der Triangulation der Abstand a zu dem
Objekt 20 von der Ebene der Linsen 23 und 24 durch die Gleichung
bestimmt: a = B . f/(X1 + X2).
In der vorliegenden Ausführung werden die Bilder digitalisiert. Entsprechend
wird der Abstand (X1 + X2) digital berechnet. Die Summe der Absolut
werte der Differenzen zwischen den Digitalwerten, die die Helligkeit der
entsprechenden Pixel beider Bilder von den Linearsensoren 21 und 22
indizieren, wird bestimmt, während eines oder beide der Bilder verschoben
sind, und diese Summe wird als Korrelationswert genommen. Der Ver
schiebungsbetrag der Bilder, wenn dieser Korrelationswert minimal ist,
indiziert die Positionsabweichung zwischen den zwei Bildern, d. h. (X1 +
X2). Idealisiert gesagt, ist der Abstand, um den die von den Linearsensoren
21 und 22 erhaltenen beiden Bilder bewegt werden müssen, damit die zwei
Bilder einander überlappen, wie in Fig. 2 gezeigt, (X1 + X2).
Der Einfachheit wegen werden hier die Bildsensoren als eindimenisonale
Linearsensoren 21 und 22 beschrieben. Jedoch werden in einer Ausführung,
wie nachfolgend beschrieben, als Bildsensoren zweidimensionale CCDs oder
zweidimensionale Fotosensorfelder benutzt. In diesem Fall werden die
gleichen Korrelationsberechnungen wie oben beschrieben durchgeführt,
indem die von den zwei Bildsensoren erhaltenen zweidimensionalen Bilder
relativ verschoben werden. Der Verschiebungsbetrag an der Stelle, an der
der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2).
Der in Fig. 1 gezeigte Bildsensor 3 entspricht einem der in Fig. 2 gezeigten
Bildsensoren, bestehend aus der Linse 23 und dem Linearsensor 21, und der
Bildsensor 3' entspricht dem anderen Bildsensor in Fig. 2, bestehend aus
der Linse 24 und dem Linearsensor 22. In dieser Ausführung ist, wie in Fig.
3(b) gezeigt, die abgebildete Fläche in eine Mehrzahl von Fenstern (kleine
Sektionen) W11, W12, . . . unterteilt, und der Abstand wird für jedes Fenster
gemessen. Dementsprechend ist ein zweidimensionales Bild des gesamten
Objekts erforderlich. Dementsprechend umfasst jeder Bildsensor 3 und 3'
ein zweidimensionales CCD-Feld oder ein zweidimensionales Fotosensorfeld.
Fig. 3(a) zeigt ein Beispiel des erhaltenen Bilds, wenn ein anderes Fahrzeug,
das vor dem das System enthaltenden Fahrzeugs fährt, von einem der
Bildsensoren 3 oder 3' abgebildet wird. Fig. 3(b) zeigt das Bild in Fig. 3(a),
schematisch aufgetrennt in eine Mehrzahl kleiner Sektionen, Fenster
genannt. Fig. 3(b) besitzt in der vertikalen Richtung aufgereihte Reihen und
in der horizontalen Richtung aufgereihte Spalten. Der Einfachheit wegen ist
das Bild in 10 Reihen × 15 Spalten der Fenster unterteilt. Den jeweiligen
Fenstern sind Bezugszahlen zugeordnet. Beispielsweise bezeichnet W12 das
Fenster in Reihe 1, Spalte 2.
Zu Fig. 1. Die Bilder der vom Bildsensor 3 und 3' aufgenommenen Objekte
werden durch Analog-Digital-Wandler (A/D-Wandler) 4 und 4' in Digitaldaten
gewandelt und in Bildspeichern 5 und 5' gespeichert. Die BildSektionen
entsprechend dem Fenster W11 werden jeweils aus den Bildspeichern 5 und
5' durch ein Fensterausschnittsteil 9 ausgeschnitten und zu einem
Korrelationsberechnungsteil 6 gesendet. Das Korrelationsberechnungsteil
verschiebt die zwei Ausschnittsbilder gleichzeitig um eine spezifische Einheit
und führt die oben erwähnten Korrelationsberechnungen durch. Der
Verschiebungsbetrag an dem Punkt, an dem der Korrelationswert ein
Minimum erreicht, entspricht (X1 + X2). Das Korrelationsberechnungsteil
6 sendet den somit ermittelten Wert von (X1 + X2) zu einem Abstands
berechnungsteil 7.
Das Abstandsberechnungsteil 7 bestimmt den Abstand a11 zu dem Objekt
in dem Fenster W11 durch die oben erwähnte Formel: a = B . f/X1 + X2).
Der somit ermittelte Abstand a11 wird in einem Abstandsspeicher 8
gespeichert. Ein ähnlicher Berechnungsprozess erfolgt nacheinander für die
jeweiligen Fenster, und die erhaltenen Abstände a11, a12, . . . werden in dem
Abstandsspeicher 8 gespeichert. Der für jedes Fenster berechnete Abstand
zu einem aufgenommenen Objekt bezieht sich auf den gemessenen Abstand
des Fensters.
In den bei den oben erwähnten Korrelationsberechnungen benutzten
Bilddaten bestimmt die Teilung bzw. der Abstand der Elemente in dem
Abbildungselementenfeld die Auflösung. Wenn daher ein Lichtempfangs
element, wie etwa ein Fotosensorfeld, mit relativ großer Teilung benutzt
wird, ist es bevorzugt, die Dichte der Bilddaten rechnerisch durch Zwischen
teilungs-Interpolation zu verbessern. Korrelationsberechnungen können für
jene Bilddaten erfolgen, deren Dichte somit verbessert worden ist.
Um Korrekturen für Schwankungen in den Charakteristiken des abbildenden
Elementenfelds nach der Temperatur durchzuführen, kann ein Temperatur
sensor in der Nähe des abbildenden Elementenfelds installiert sein, und die
Abstandsberechnungen können auf der Basis der Temperaturinformation
von dem Temperatursensor korrigiert werden.
Zu Fig. 1. Ein Straßenflächenausschlussteil 31 schließt Fenster aus, die
lediglich Straßenfläche zeigen. Diese Straßenfläche zeigenden Fenster
werden identifiziert und durch ein Schema entfernt, das in der Deutschen
Patentanmeldung DE 100 19 462.1 beschrieben ist, deren Offenbarung hier
unter Bezugnahme aufgenommen wird und die in Kopie der vorliegenden
Anmeldung beigefügt ist. Kurz gesagt, das System vergleicht einen
vorbestimmten geschätzten Abstand jedes Fensters zur Straßenoberfläche
mit dem gemessenen Abstand eines entsprechenden Fensters. Das Fenster,
dessen gemessener Abstand im Wesentlichen gleich dem geschätzten
Abstand ist oder wesentlich größer als der geschätzte Abstand ist, wird als
Straßenfläche markiert und von dem Objekterkennungsprozess ausge
schlossen, weil dieses Fenster kein Objekt auf der Straßenfläche enthält.
Der Begriff "geschätzter Abstand" bezieht sich auf den Abstand zur
Straßenfläche, wenn das Fahrzeug parallel zur Straßenfläche ist. Beispiels
weise werden diese geschätzten Abstände vorab auf der Basis von
Montagepositionen, Installationswinkeln, Basislinienlängen, Brennweiten und
der Größe des Bildsensors 3 und 3' (realisiert durch CCD-Felder) und der
Positionen der Fenster in dem Bild berechnet und in einem Geschätzter-
Abstand-Speicher 32 gespeichert.
Die gemessenen Abstandswerte der Fenster, die gemäß Bestimmung zur
Straßenfläche gehören, können aus dem Abstandsspeicher 8 gelöscht
werden. Alternativ können Flags (Merker) für solche Fenster gesetzt
werden, die identifizieren, dass die Fenster zur Straßenfläche gehören.
Solche Fenster mit Flags können in dem Abstandsspeicher 8 gespeichert
werden.
Das Fahrzeug kann ein Gefälle bergauf oder bergab fahren. Das System
kann angeordnet sein, um die gemessenen Abstandswerte zu löschen, wenn
das Ergebnis des Vergleichs mit dem entsprechenden geschätzten Abstand
in einen spezifischen Bereich sinkt. Wenn beispielsweise die Differenz
zwischen dem gemessenen Abstand und dem geschätzten Abstand 0,5 m
oder weniger ist, kann der gemessene Abstandswert gelöscht werden.
Wenn andererseits die Differenz größer als 0,2 m ist, erfolgt anschließend
die Clusterbearbeitung.
Ein Clusterbildungsteil 33 führt eine Clusterbildung der Fenster durch, die
nicht gelöscht sind oder von dem Straßenflächen-Ausschlussteil 31 nicht als
Teil der Straßenfläche identifiziert wurden. Ein Abstandswandler 26 wandelt
die gemessenen Abstände in Abstandskennungen für das jeweilige Fenster
unter Bezug auf eine Konversionstabelle, die in einem Abstandsbereich
speicher 9 gespeichert ist. Die gemessenen Abstände werden entsprechend
den Abstandsbereichen in Abstandskennungen bzw. Abstandskennwerte
gewandelt. Das Blickfeld der Bildsensoren ist in eine Mehrzahl von
Abstandsbereichen unterteilt, und jedem Abstandsbereich ist eine jeweilige
Abstandskennung zugeordnet. Der Abstandsbereich ist kleiner, wenn der
Abstand kürzer ist, und ist größer, wenn der Abstand größer ist, um beim
Messen eines größeren Abstands eine größere Toleranz zu erlauben.
Ein Clusterkenngeber 27 ordnet den jeweiligen Fenstern auf der Basis der
Beziehung eines gegebenen Fensters und eines benachbarten Fensters
Clusterkennungen als Abstandskennungen der jeweiligen Fenster zu.
Typischerweise werden das Fenster unmittelbar links des gegebenen
Fensters, das Fenster unmittelbar rechts des gegebenen Fensters, das
Fenster unmittelbar über dem gegebenen Fenster und das Fenster un
mittelbar an der oberen rechten Ecke des gegebenen Fensters zum
Auswerten der Beziehung gewählt. Der Clusterkenngeber 27 ordnet
Clusterkennungen dem gegebenen Fenster unter Verwendung einer
Schablone zu, die diese Beziehung definiert. Ein Beispiel einer solchen
Schablone ist in Fig. 7 gezeigt, deren Details später beschrieben werden.
Cluster mit den gleichen Clusterkennungen bilden ein integrales Cluster.
Ein Dreidimensions-Wandler 35 generiert dreidimensionale Information der
Cluster. Typischerweise umfasst die dreidimensionale Information drei
Koordinaten, die horizontale Position (x), die vertikale Position (y) und der
Abstand zur Straßenfläche (z). Die dreidimensionale Information ermöglicht
die Analyse des aufgenommenen Bilds in der x-y-Ebene, das ist eine vordere
Draufsicht auf das Bild, und in der y-z-Ebene, das ist eine Seitenansicht des
Bilds.
Eine Erkennungseinheit 200 erkennt körperliche Objekte in dem aufgenom
menen Bild auf der Basis der so generierten Clusterinformation. Die Einheit
200 enthält ein erstes Erkennungsteil 43, welches körperliche Objekte unter
Verwendung von Information zu ermittelten körperlichen Objekten erkennt,
die durch ein Inferierteil erzeugt und in einem Inferiertes-Objekt-Speicher 49
gespeichert wurden. Die Einheit 200 enthält ferner ein zweites Erkennungs
teil 44, das körperliche Objekte auf der Basis von Clusterinformation
erkennt, die von einem Bewertungsteil 37 bearbeitet wurde, jedoch ohne
Nutzung der Information der inferierten körperlichen Objekte.
Ein Beispiel der Erfassungsfläche 100 ist in Fig. 4(a) gezeigt. Die Erfas
sungsfläche 100 ist eine Fläche, in der die Abstände von den Bildsensoren
3 und 3' gemessen werden können. Die Fläche 100 wird auf der Basis der
Spezifikation und der Positionen der Bildsensoren 3 und 3' bestimmt.
Beispielsweise kann die Erfassungsfläche 100 in einen Abstandsbereich von
60 Metern und einen Winkelbereich von 30 Grad gelegt werden. Obwohl die
Erfassungsfläche 100 vorab festgelegt sein kann, ist es gewünscht, die
Erfassungsfläche 100 dynamisch nach Maßgabe der Fahrgeschwindigkeit
zu setzen. In diesem Fall wird die Erfassungsfläche 100 so gesetzt, dass der
Abstandsbereich größer wird und der Winkelbereich kleiner wird, wenn die
Fahrgeschwindigkeit zunimmt.
Die Erfassungsfläche 100 wird in eine Mehrzahl von Abstandsbereiche
unterteilt, so dass keine Überlappung vorliegt. In dieser Ausführung sinkt die
Präzision der gemessenen Abstände, wenn der Abstand von dem mit dem
Bildsensor 3 und 3' ausgestatteten Fahrzeug zunimmt. Daher ist die
Erfassungsfläche 100 so unterteilt, dass die Abstandsbereiche breiter
werden, wenn der Abstand von dem Fahrzeug zunimmt (S1 bis S6 in Fig.
4(a)).
Die Abstandsbereiche werden nach Maßgabe der Toleranz in den gemesse
nen Abständen gesetzt. Hier ist der Wert der Abstandstoleranz von den
Spezifikationen etc. des Bildsensors 3 und 3' abhängig. Wenn man
beispielsweise annimmt, dass die Toleranz in den gemessenen Abständen
10% oder weniger der tatsächlichen Abstände ist, kann der Abstands
bereich für einen bestimmten gegebenen Abstand gesetzt werden als
"Abstand ~ (Abstand × (1 + 0,1))". Weil in der vorliegenden Ausführung
eine Präzision von 10% Toleranz nicht für alle Pixel gewährleistet werden
kann, werden für Hochgeschwindigkeitsprozesse die Abstandsbereiche mit
der Abstandstoleranz von 30% gesetzt. Demzufolge wird der Abstands
bereich für einen bestimmten gegebenen Abstand gesetzt als "Ab
stand ~ (Abstand × (1 + 0,3))".
Fig. 5 zeigt in einer Tabelle die Beziehung zwischen den Abständen und den
Abstandskennungen, wobei die Toleranz auf 30% gesetzt ist. Den
unterschiedlichen Abstandsbereichen sind unterschiedliche Abstands
kennungen zugeordnet. Beispielsweise ist, im Falle eines Abstands von 1 m,
30% des Abstands 0 (Werte unter dem Dezimalpunkt sind unberücksich
tigt). Daher wird die Abstandskennung "1" dem Abstand 1 m zugeordnet.
Im Falle eines Abstands von 2 m wird, weil 30% des Abstands 0 ist, die
Kennung "2" dem Abstand 2 m zugeordnet. Ähnlich wird die Kennung "3"
dem Abstand 3 zugeordnet. Weil für den Abstand 4 30% des Abstands 1 m
ist, wird die Kennung 4 dem Abstandsbereich von 4 m bis 4 + 1 = 5 m
zugeordnet. Weil ähnlich für den Abstand 6 30% des Abstands 1 m ist, wird
die Kennung 5 dem Abstandsbereich von 6 m bis 6 + 1 = 7 m zugeordnet.
Weil für den Abstand 8 m 30% des Abstands 2 m ist, wird die nächste
Kennung 6 dem Abstandsbereich von 8 m bis 8 + 2 = 10 m zugeordnet. Hier
wird die Abstandskennung jedes Mal um 1 erhöht, wenn sich der Abstands
bereich ändert. Im Falle eines Abstands von 20 m beträgt 30% des Abstands
6 m. Daher wird eine Abstandskennung "9" dem Abstandsbereich von 20 m
bis 26 m zugeordnet. Auf diese Weise werden die Abstandsbereiche von
kurzen Abständen bis zu langen Abständen progressiv gesetzt, so dass die
Erfassungsfläche 100 in eine Mehrzahl von Abstandsbereichen unterteilt ist.
Alternativ können verschiedene Abstandsbereiche mit unterschiedlichen
Abstandskennungen kombiniert werden, um einen einzigen Abstandsbereich
zu bilden.
In der vorliegenden Ausführung werden der Einfachheit wegen verschiedene
Abstandsbereiche, wie in Fig. 5 gezeigt, kombiniert, um größere Abstands
bereiche zu bilden, so dass die Abstandsbereiche S1 bis S6 so gesetzt sind,
wie in Fig. 4(b) gezeigt, und diesen Abstandsbereichen werden jeweilige
neue Abstandskennungen 1 bis 6 zugeordnet. Fig. 4(a) zeigt die Abstands
bereiche S1 bis S6 von Fig. 4(b).
Hier werden die Abstandsbereiche größer, wenn der Abstand von dem
Fahrzeug zunimmt. Ferner können auch andere unterscheidbare Symbole,
wie etwa ein alphabetischer Buchstabe, etc. als die Abstandskennungen
benutzt werden. Die Abstandsbereiche, denen die Abstandskennungen
somit zugeordnet wurden, werden als Abstandskonversionstabelle in einem
Abstandsbereichspeicher 9 gespeichert. Wenn die Erfassungsfläche vorab
festgelegt ist, ist es erwünscht, dass die Abstandsbereiche vorab berechnet
werden, und dass eine Abstandskonversionstabelle mit zugeordneten
Abstandskennungen vorab in dem Abstandsbereichspeicher 9 gespeichert
wird. Wenn andererseits die Erfassungsfläche dynamisch aktualisiert wird,
kann die gespeicherte Abstandskonversionstabelle dynamisch aktualisiert
werden.
Zu Fig. 1. Das Clusterbildungsteil 33 führt die Clusterbildung der Fenster
durch, die von dem Straßenflächen-Ausschlussteil 31 ungelöscht verbleiben.
Zuerst wandelt der Abstandswandler 26 die gemessenen Abstände in
Abstandkennungen für die jeweiligen Fenster um. Die gemessenen
Abstände der Fenster werden unter Bezug auf die Abstandskonversions
tabelle geprüft, die in dem Abstandsbereichspeicher 9 gespeichert ist, und
in die Abstandskennungen gewandelt. Hier kann im Falle von Fenstern, für
die kein gemessener Abstand erhalten wurde, weil sie beispielsweise zu
wenig Kontrast haben, eine Kennung zugeordnet werden, die nicht in der
Abstandskonversionstabelle benutzt wird (z. B. die Kennung "0"). Wenn der
Abstandswandler 26 die gemessenen Abstände in Abstandskennungen
wandelt, zählt und berechnet der Abstandswandler 26 den Häufigkeitsgrad
der Fenster in den jeweiligen Abstandsbereichen.
Zum Beispiel zeigt Fig. 6(a) die gemessenen Abstände der jeweiligen Fenster
auf dem Bild, das aufgenommen worden ist. Der Abstandswandler 26
wandelt die gemessenen Abstände gemäß Fig. 6(a) in Abstandkennungen
gemäß der in Fig. 4(b) gezeigten Abstandskonversionstabelle. Fig. 6(b) zeigt
die Abstandskennungen, die durch diese Konversion für die jeweiligen
Fenster erzeugt wurden. Gleichzeitig mit diesem Prozess zählt der Ab
standwandler 26 die Anzahl der Fenster für jede Abstandskennung und
bestimmt den Häufigkeitsgrad der Fenster für jede Abstandskennung.
Wenn der Häufigkeitsgrad der Fenster mit einer bestimmten Abstands
kennung kleiner als ein gewisser Schwellenwert ist, nachdem die Konver
sion in Abstandskennungen für alle Fenster durchgeführt wurde, setzt der
Abstandswandler 26 die Abstandskennungen auf "0". Dieser Vorgang ist
für einen Hochgeschwindigkeitsbetrieb geeignet. Weil insbesondere
bestimmt wird, dass kein wesentliches körperliches Objekt (ein voraus
fahrendes Fahrzeug etc.) im fraglichen Abstandsbereich aufgenommen
wurde, werden die Abstandskennungen auf "0" rückgesetzt. Für jeden
Abstandsbereich können verschiedene Werte als der Schwellenwert gesetzt
werden.
Im in Fig. 6(b) gezeigten Beispiel bestehen Fenster mit einer Abstands
kennung von "1" nur aus dem einzigen Fenster W31, und Fenster mit einer
Abstandskennung von "2" bestehen aus fünf Fenstern W53, W73, W66,
W68 und W48. Wenn der Schwellenwert für die Abstandskennung "1" und
"2" beispielsweise auf "10" gesetzt wird, werden die Abstandskennungen
dieser Fenster durch "0" ersetzt. Die im Ergebnis erhaltenen Abstands
kennungen sind in Fig. 6(c) gezeigt.
Zu Fig. 1. Der Clusterkenngeber 27 ordnet Clusterkennungen den jeweiligen
Fenstern auf der Basis der Abstandskennungen zu, und Fenster mit gleichen
Kennungen werden zu einem integralen Cluster geformt. Die Clusterkennun
gen werden so zugeordnet, dass benachbarte Fenster mit gleichen
Abstandskennungen Teile desselben Clusters bilden.
Der Clusterkenngeber 27 ordnet Clusterkennungen den Fenstern unter
Verwendung der in Fig. 7 gezeigten Schablone zu. T1 bis T5 in Fig. 7(a)
bezeichnen Positionen in der Schablone. "a" bis "e" in Fig. 7(b) bezeichnen
die Abstandskennungen von Fenstern jeweils entsprechend den Positionen
T1 bis T5, wenn die Schablone so angeordnet wird, dass T4 die Stelle eines
zu bearbeitenden Fensters einnimmt. "A" bis "E" in Fig. 7(c) bezeichnen die
Clusterkennungen, die den jeweiligen Fenstern entsprechend den Positionen
T1 bis T5 zugeordnet sind.
Die Tabelle in Fig. 7(d) zeigt den Typ von Clusterkennung D, der dem
Fenster an Position T4 zugeordnet ist, auf der Basis der Abstandskennungen
für die Fenster an den Positionen T1 bis T5, wenn T4 an dem zu be
arbeitenden Fenster angeordnet ist. Wenn beispielsweise die Abstands
kennungen "a" bis "e" an den Positionen T1 bis T5 die Bedingung 5 in Fig.
7(d) erfüllen, dann wird eine Clusterkennung B dem Fenster bei T4
zugeordnet. Die Clusterkennung "L" wird zugeordnet, wenn die Bedingun
gen 2 oder 3 erfüllt sind, die eine neue Clusterkennung erfordern. Der
Clusterkenngeber 27 tastet nacheinander die Fenster auf dem Bild ab, unter
Platzierung von T4 der Schablone an den jeweiligen Fenstern auf dem Bild,
um hierdurch die Clusterkennung D den jeweiligen Fenstern zuzuordnen. Die
Tabelle von Fig. 7(d) zeigt die Clusterkennungen, die sich an den jeweiligen
Fenstern entsprechend dem oben beschriebenen Schema und einem
nachfolgend beschriebenen zusätzlichen Schema ergeben.
Zu Fig. 8. Jeweilige Fenster werden als W11 bis W44 identifiziert, wie in
der Tabelle in Fig. 8(f) gezeigt. Die gemessenen Abstände der Fenster
wurden durch den Abstandswandler 26 in Abstandskennungen gewandelt,
wie in Fig. 8(a) gezeigt. Der Clusterkenngeber 27 tastet die Fenster von
links oben nach rechts unten ab. Da die Abstandskennung des Fensters
W11 "0" ist, ist die Bedingung 1 von der Tabelle in Fig. 7(d) erfüllt, und
dem Fenster W11 wird eine Clusterkennung von "0" zugeordnet. Ähnlich
wird die Clusterkennung "0" jedem der Fenster W11 bis W14 und W21
zugeordnet.
Das Fenster 22 mit der Abstandskennung "6" erfüllt die Bedingung 2 der
Tabelle in Fig. 7(d), und eine neue Clusterkennung "61" wird zugeordnet
(Fig. 8(b)). In diesem Beispiel wird die Clusterkennung durch zwei Digital
werte ausgedrückt. Der höhere Digitalwert indiziert die Abstandkennung und
der niedrigere Digitalwert indiziert die Häufigkeitszahl der Fenster mit
derselben Abstand kennung. Der zweite Digitalwert wird um 1 erhöht, jedes
Mal, wenn die Bedingungen 2 oder 3 der Tabelle in Fig. 7(d) für das Fenster
mit der gleichen Abstandskennung erfüllt ist. Als Clusterkennungen können
auch irgendwelche anderen Symbole verwendet werden, wie etwa Zahlen
und alphabetische Buchstaben.
Dann wird die Schablone so angeordnet, dass T4 mit dem Fenster W23
fluchtet. Da hier das Fenster W23 die Bedingung 4 der Tabelle in Fig. 7(d)
erfüllt, wird die gleiche Clusterkennung wie von Fenster W22, d. h. die
Clusterkennung "61", dem Fenster W23 zugeordnet (Fig. 8(c)). Da die
Fenster W24 und W31 die Bedingung 1 erfüllen, wird diesen Fenstern die
Clusterkennung "0" zugeordnet. Das Fenster W32 erfüllt Bedingung 6 der
Tabelle in Fig. 7(d), und die gleiche Clusterkennung wie das von Fenster
W22, d. h. die Clusterkennung "61" wird dem Fenster W32 zugeordnet (Fig.
8(d)). Das Fenster W33 erfüllt Bedingung 7 der Tabelle in Fig. 7(d), und die
gleiche Clusterkennung wie von Fenster W23, d. h. die Clusterkennung
"61", wird dem Fenster W33 zugeordnet. Der Rest der Fenster W34 und
W41 bis W44 erfüllen die Bedingung 1, und die Clusterkennung "0" wird
diesen Fenstern zugeordnet. Auf diese Weise werden die Clusterkennungen
so vergeben, wie in Fig. 8(e) gezeigt.
Für die in Fig. 7(a) gezeigte Schablone werden die Fenster von links oben
nach unten rechts abgetastet. Die in Fig. 7 gezeigte Schablone ist ein
Beispiel. Es wäre auch möglich, andere Schablonen zu verwenden, wobei
die Abtastfolge der Fenster entsprechend der Schablone gesetzt werden
kann.
Wenn Bedingung 8 der Tabelle in Fig. 7(d) erfüllt ist, verknüpft der
Clusterkenngeber 27 die Clusterkennungen bei T1 und T3 der Schablone
und speichert diese verknüpften Clusterkennungen in dem Clusterspeicher
48. Diese Verknüpfung wird anhand von Fig. 9 beschrieben. Die Fenster in
dem Beispiel werden von W11 bis W35 identifiziert, wie in Fig. 9(g) gezeigt.
Fig. 9(a) zeigt die Abstandskennungen der jeweiligen Fenster W11 bis W35,
die durch den Abstandswandler 26 gegeben wurden.
Zu Fig. 1. Der Clusterkenngeber 27 bewegt die Schablone über das Fenster
auf dem Bild von links oben nach rechts unten und ordnet Clusterkennungen
den Fenstern auf der Basis der Abstandskennungen in Fig. 9(a) zu, und zwar
durch das gleiche Verfahren, wie in Fig. 8 dargestellt. Die Fenster W11 bis
W15, W21 bis W23 erfüllen die Bedingung 1, und die Clusterkennungen
"0" werden diesen Fenstern zugeordnet. Da das Fenster W24 die Bedingung
2 in Fig. 7(d) erfüllt und dies das erste Auftreten eines Fensters mit der
Abstandskennung "6" ist, wird eine neue Clusterkennung "61" diesem
Fenster zugeordnet, wie in Fig. 9(b) gezeigt. Da die Fenster W25 und W31
die Bedingung 1 erfüllen, werden diesen Fenstern die Clusterkennungen "0"
zugeordnet. Das Fenster W32 erfüllt Bedingung 2, und dies ist das zweite
Auftreten eines Fensters mit der Abstandskennung 6, und es wird eine neue
Clusterkennung "62" zugeordnet (Fig. 9(c)). Da das Fenster W33 die
Bedingung 4 erfüllt, wird die Clusterkennung "62", die die gleiche ist wie
die von Fenster W32, zugeordnet (Fig. 9(d)).
Das Fenster W34 erfüllt Bedingung 8 der Tabelle in Fig. 7(d), und es wird
eine Clusterkennung "61", die die gleiche ist wie von Fenster W24, dem
Fenster W34 zugeordnet (Fig. 9(e)). Im Ergebnis sind die Clusterkennungen
der Fenster W32 und W33 von den Clusterkennungen der Fenster W24
und W34 unterschiedlich, obwohl die Fenster einander benachbart sind.
Wenn die Bedingung 8 der Tabelle in Fig. 7(d) erfüllt ist, werden die
Clusterkennungen entsprechend A und C der Schablone verknüpft. Die
Clusterkennungen "62" und "61" der Fenster W33 und W24 dieses
Beispiels werden verknüpft und in dem Clusterspeicher 48 als integrales
Cluster gespeichert. Nachdem die Clusterkennungen allen Fenstern
zugeordnet wurden, ersetzt dieselbe Clusterkennung die zwei Clus
terkennungen, die in verknüpfter Form gespeichert sind. Beispielsweise kann
die Clusterkennung "62" durch "61" ersetzt werden oder umgekehrt. Ferner
können beispielsweise "61" und "62" durch eine neue Clusterkennung "63"
ersetzt werden. Fig. 9(f) zeigt die den jeweiligen Fenstern zugeordneten
Clusterkennungen.
Zurück zu Fig. 6. Wenn Clusterkennungen den Fenstern auf der Basis der
Abstandskennungen gemäß Fig. 6(c) entsprechend dem oben beschriebenen
Verfahren zugeordnet werden, erhält man eine Clusterkennungsverteilung,
wie in Fig. 6(d) gezeigt. Fenster mit den gleichen Clusterkennungen bilden
gemeinsam ein integrales Cluster. Die so bestimmten Cluster sind in Fig.
6(e) gezeigt.
Durch Verwendung von Abstandskennungen anstatt der Behandlung der
gemessenen Abstandswerte selbst kann die Clusterbildung von Fenstern mit
hoher Geschwindigkeit erfolgen. Insbesondere wird erfindungsgemäß die
Wandlung der gemessenen Abstandswerte in Abstandskennungen parallel
zur Bestimmung der Häufigkeitsgrad-Verteilung oder Verteilungsfrequenz
jedes Abstandsbereichs durchgeführt. Somit wird inhärent bestimmt, zu
welchem Abstandsbereich die gemessenen Werte der Fenster gehören.
Durch Setzen der Abstandsbereiche auf der Basis der Toleranz in den
gemessenen Abständen wird die Genauigkeit und Geschwindigkeit der
Clusterbildung verbessert.
Zu Fig. 1. Der Dreidimensions-Wandler 35 erzeugt dreidimensionale Daten
der Cluster. Wie in Fig. 10 gezeigt, enthält die dreidimensionale Information
in der vorliegenden Ausführung drei Koordinaten, d. h. horizontale Position
(x), vertikale Position (y) und Straßenoberflächenabstand (z). Die "x"-
Koordinate, die die horizontale Position ausdrückt, entspricht der Richtung,
in der die Spalten der Fenster aufgereiht sind (siehe Fig. 3(b)). Die "y"-
Koordinate, die die vertikale Position ausdrückt, entspricht der Höhenrich
tung von der Straßenoberfläche. Die "z"-Koordinate, die den Abstand der
Straßenoberfläche angibt, entspricht der Richtung, in der die Reihen der
Fenster aufgereiht sind (siehe Fig. 3(b)). Die "z"-Koordinate ist proportional
zum gemessenen Abstand "d".
Der Ursprung O bezeichnet den Punkt der Straßenoberfläche, en dem sich
das Fahrzeug befindet. Die "x"-, "y"- und "z"-Achsen schneiden einander
rechtwinklig am Ursprung O. Die "x"-Achse erstreckt sich von links nach
rechts, gesehen vom Fahrzeug aus. Die "y"-Achse erstreckt sich in Richtung
orthogonal zur Straßenfläche und die "z"-Achse in der Fortbewegungs
richtung des Fahrzeugs. Die Bildkamera 53 befindet sich an der Höhe "H"
in Richtung der "y"-Achse von dem Ursprung O ausgehend. Das körperliche
Objekt 54 hat eine Höhe "h" und eine Breite "g" und befindet sich mit
einem Abstand "i" in Richtung der "z"-Achse. Wenn das körperliche Objekt
54 nicht vorhanden ist, dann ist der Punkt 55 auf der Straßenfläche in dem
von der Bildkamera 53 aufgenommenen Bild enthalten. Wenn das körper
liche Objekt 54 auf der Straße vorhanden ist, dann enthält das Fenster, das
das Bild vom Punkt 55 enthalten würde, einen Punkt 56 des körperlichen
Objekts anstelle des Bilds vom Punkt 55 der Straßenoberfläche. Der
geschätzte Abstand "D" ist der Abstand zwischen der Bildkamera 53 und
dem Punkt 55 auf der Straßenfläche. Wenn kein körperliches Objekt 54
vorhanden ist, ist dieser geschätzte Abstand "d" gleich dem gemessenen
Abstand zum aufgenommenen Punkt 55. In Fig. 10 ist der gemessene
Abstand "d" der Abstand von der Bildkamera 53 zu Punkt 56 des körperli
chen Objekts 54, der durch das oben anhand von Fig. 2 beschriebene
Verfahren berechnet ist. In dem (x, y, z-)Koordinatensystem ist die Position
der Bildkamera 53 (O, H, O) und die Position von Punkt 56 ist (g, h, i).
Da der geschätzte Abstand "D" für jedes Fenster und die Höhe "H" der
Bildkamera von der geschätzten Straßenoberfläche Festwerte sind, können
sie vorab berechnet und gespeichert werden. Wie aus Fig. 10 ersichtlich,
kann die Höhe "h" des Objekts aus der folgenden Gleichung (1) bestimmt
werden, und der Abstand "i" zu dem Objekt 54 kann aus der folgenden
Gleichung (2) bestimmt werden.
h = (D - d) × H/D (1)
i = √d² - (H - h)² (2)
Der horizontale Abstand von dem Fahrzeug, d. i. der Abstand in der "x"-
Achse in Fig. 10, wird vorab zur Lokalisierung von Fenstern auf der Basis
der Position der Bildkamera bestimmt. Beispielsweise bezeichnet die dritte
Reihe und die dritte Spalte der Fenster Positionen von 1 Meter links von der
Mitte des Fahrzeugs. Dementsprechend kann der Wert der "x"-Koordinate
von Punkt 56 (im vorliegenden Beispiel ist dies g und ist gleich dem Wert
der Breite des Bildobjekts) auf der Basis der Position desjenigen Fensters
bestimmt werden, das Punkt 56 enthält. Somit können die jeweiligen
Fenster, die die Cluster bilden, als x, y, z-Koordinaten ausgedrückt werden.
In einer anderen Ausführung wäre es auch möglich, beispielsweise den
gemessenen Abstand "d" anstatt der "z"-Koordinate, die den Straßen
flächenabstand anzeigt, zu benutzen, und die Fenster könnten auch durch
ein anderes Koordinatensystem als dem oben beschriebenen Koordinaten
system ausgedrückt werden.
Somit repräsentiert der Dreidimensions-Wandler 35 die Clusterdreidimensio
nal und projiziert das Bild in drei Dimensionen. Bevorzugt kann ein minimales
rechtwinkliges Parallelepiped, das alle Punkte eines dreidimensional
projizierten gegebenen Clusters enthält, bestimmt werden, und das Cluster
kann durch dieses rechtwinklige Parallelepiped angenähert werden. Auf
diese Weise können die Mittelposition, die Breite und Höhe des Objekts
bestimmt und genau erkannt werden.
Wenn das oben erwähnte x, y, z-Koordinatensystem benutzt wird, ist die
Breite jedes Clusters, angenähert durch ein rechtwinkliges Parallelepiped,
der Wert, der erhalten ist durch Subtrahieren des minimalen "x"-Koor
dinatenwerts von dem maximalen "x"-Koordinatenwert als aufgenommene
Punkte, und die Dicke des Clusters ist der Wert, der erhalten ist durch
Subtrahieren des minimalen "y"-Koordinatenwerts von dem maximalen "y"-
Koordinatenwert der aufgenommenen Punkte. Ferner wird die Mittelposition
jedes Clusters ausgedrückt als Wert, der erhalten ist durch Subtrahieren des
minimalen Werts vom maximalen Wert für jede der x-, y- und z-Koordinaten,
und Halbieren des Ergebnisses. Der Abstand der Mittelposition, der
horizontalen Position und der vertikalen Position und die Clusterhöhe und -
breite (Cluster-Attribute) jedes somit berechneten Clusters werden in dem
Clusterspeicher 48 gespeichert.
Zurück zu Fig. 1. Das Clustergruppierungsteil 36 holt Cluster aus dem
Clusterspeicher 48 und bestimmt Clustergruppen auf der Basis der
Clusterattribute. Ein "Prozess zu Ende"-Flag wird für das Cluster gesetzt,
das somit bearbeitet wurde. Zuerst ist bei keinem der Cluster ein "Prozess
zu Ende"-Flag gesetzt. Demzufolge werden alle Cluster geholt und bearbeitet.
In der vorliegenden Ausführung vergleicht das Clustergruppierungsteil 36
die Abstände zwischen einem gegebenen Cluster und anderen Clustern
sowie die Differenzen der horizontalen Positionen und der vertikalen
Positionen der Cluster. Wenn die Differenzen alle gleich oder kleiner als
bestimmte Schwellenwerte sind, kombiniert das Clustergruppierungsteil 36
diese Cluster zu einer Clustergruppe. Dieser Prozess wird für alle geholten
Cluster durchgeführt. Wenn mehrere Cluster eng beieinander angeordnet
sind, ist die Wahrscheinlichkeit hoch, dass sie zum selben Objekt gehören.
Bevorzugt werden entsprechend dem Abstand von dem Fahrzeug ver
schiedene Schwellenwerte benutzt. In der vorliegenden Ausführung werden
Schwellenwerte entsprechend dem Abstand der zwei Cluster gesetzt, deren
Positions- und Abstandsdifferenzen bestimmt werden sollen. Der Abstand
der zwei Cluster wird auf der Basis der Anzahl der Fenster, die in den
jeweiligen Clustern enthalten sind, und der gemessenen Abstände dieser
Fenster, berechnet. Wenn man beispielsweise annimmt, dass das Bild zwei
Cluster C1 und C2 enthält, sind die jeweiligen Abstände der Cluster C1 und
C2 vom Fahrzeug d1 und d2, und die Anzahl der Fenster, die in den
Clustern C1 und C2 enthalten sind, ist w1 bzw. w2. Der Abstand der zwei
Cluster von dem Fahrzeug kann durch folgende Gleichung (3) berechnet
werden. Hier werden Werte, die durch Mittelwertbildung der gemessenen
Abstände der in den jeweiligen Clustern enthaltenen Fenster erhalten
wurden, als die Abstände d1 und d2 der Cluster benutzt.
Abstand zweier Cluster = (d1 × w1 + d2 × w2)/(w1 + w2) (3)
Die Differenzen dx und dy in den horizontalen Positionen und vertikalen
Positionen der zwei Cluster werden als Abstand der zwei Cluster ausge
drückt, und die Abstandsdifferenz dz wird als die Differenz in den
Abständen der jeweiligen Cluster (d1 und d2 in der obigen Beschreibung)
ausgedrückt. Beispielsweise zeigt Fig. 11(a) eine Mehrzahl von Clustern,
gesehen von der x-y-Ebene her, und Fig. 11(b) zeigt dieselben Cluster wie
in Fig. 11(a), gesehen von der x-z-Ebene her. Die Differenz in den horizonta
len Positionen der Cluster C4 und C6 wird durch dx in der Richtung der "x"-
Achse ausgedrückt, und die Differenz in den vertikalen Positionen wird
durch dy in der Richtung der "y"-Achse ausgedrückt. Wenn die Abstände
der Cluster C4 und C6 von dem Fahrzeug jeweils d4 und d6 sind, dann wird
die Abstandsdifferenz durch d2 in Richtung der z-Achse ausgedrückt.
Auf der Basis des Abstands der zwei Cluster von dem Fahrzeug, berechnet
mittels der obigen Gleichung (3), kann der Schwellenwert relativ zur
Abstandsdifferenz zwischen den Clustern beispielsweise so gesetzt werden,
wie in der folgenden Tabelle 1 gezeigt, und für die Differenzen in den
horizontalen Positionen und den vertikalen Positionen der zwei Cluster, wie
in der folgenden Tabelle 2 gezeigt.
Es werden größere Schwellenwerte verwendet, wenn der Abstand von dem
Fahrzeug größer wird, weil die Toleranz vom gemessenen Abstand größer
ist, wenn das Objekt weiter vom Fahrzeug entfernt ist. Es wird ein größerer
Schwellenwert für die Differenzen in den horizontalen und vertikalen
Positionen verwendet, wenn der Abstand zwischen den zwei Clustern
kleiner wird, wie in Tabelle 2 gezeigt. Wenn nämlich z. B. ein körperliches
Objekt mit geringem Abstand vor dem das System tragenden Fahrzeug
angeordnet ist, kann der Kontrast des aufgenommenen Bilds zu gering sein,
um den Abstand von dem Fahrzeug in Bezug auf jedes Fenster zu berech
nen, was einen Ausfall einer Anzahl von Fenstern zur Folge hat, was
wiederum einen größeren Abstand zwischen den Clustern erzeugt.
Nun zu den Fig. 11(a) und 11(b). Das Clustergruppierungsteil 36 wählt
zwei Cluster aus den Clustern C1 bis C6, berechnet die Abstandsdifferenz
von dem Fahrzeug, der horizontalen Positionen und vertikalen Positionen
und bewertet, ob die zwei Cluster in ein und derselben Clustergruppe
enthalten sein sollten oder nicht. Beispielsweise im Falle der Cluster C1 und
C2 sind die Abstandsdifferenzen von dem Fahrzeug und der Positionen
gleich oder kleiner als die jeweiligen Schwellenwerte, so dass die Cluster C1
und C2 in derselben Clustergruppe enthalten sind. Im Falle der Cluster C2
und C4 sind Abstandsdifferenzen vom Fahrzeug und den Positionen
ebenfalls gleich oder weniger als die der jeweiligen Schwellenwerte. Daher
sind auch die Cluster C2 und C4 in derselben Clustergruppe enthalten. Im
Ergebnis wird bestimmt, dass die Cluster C1, C2 und C4 in derselben
Clustergruppe C1 enthalten sind.
Andererseits sind im Falle der Cluster C6 und C5 die Differenzen in den
horizontalen und vertikalen Positionen gleich oder kleiner als der Schwellen
wert, wobei aber die Abstandsdifferenz von dem Fahrzeug den Schwellen
wert überschreitet. Demzufolge wird bestimmt, dass diese Cluster zu
verschiedenen Clustergruppen gehören. Daher bestimmt das Cluster
gruppierungsteil 36 zwei Clustergruppen G1 und G2, wie in den Fig.
11(c) und 11(d) gezeigt. Das Clustergruppierungsteil 36 ordnet dieselben
Clusterkennungen solchen Clustern zu, die zu denselben Clustergruppen
gehören.
Zu Fig. 1. Ein körperliches-Objekt-Inferierteil 40 inferiert (folgert) die
Positionen körperlicher Objekte in dem gegenwärtig erhaltenen Bild auf der
Basis der Position zuvor erkannter körperlicher Objekte und der Relativge
schwindigkeit in Bezug auf die körperlichen Objekte. Das in dieser
Ausführung benutzte Schema zum Inferieren körperlicher Objekte wird
anhand von Fig. 12 beschrieben. Fig. 12(a) bis 12(c) zeigen einen
vorherigen Prozess, und die Fig. 12(d) und 12(f) zeigen den gegen
wärtigen Prozess. In Fig. 12(a) werden zwei Fahrzeuge 91 und 92
aufgenommen, während in Fig. 12(d) dieselben Fahrzeuge 91 und 92 wie
in Fig. 12(a) sowie ein Verkehrszeichen 93 aufgenommen werden.
Fig. 12(b) zeigt Cluster C11 bis C17, die von dem Clusterbildungsteil 33
bestimmt sind und von dem Clustergruppierungsteil 36 auf der Basis des in
Fig. 12(a) gezeigten aufgenommenen Bilds in Clustergruppen 63 und 64
gruppiert sind. Fig. 12(c) zeigt körperliche Objekte 65 und 66, die aus den
Clustergruppen 63 und 64 erkannt wurden, entsprechend dem Fahrzeug 91
bzw. dem Fahrzeug 92. Die Positionen und Größen der körperlichen Objekte
65 und 66 wurden im vorherigen Prozess in einem körperliches-Objekt-
Speicher 39 gespeichert.
Das körperliches-Objekt-Inferierteil 40 liest die Positionen und Relativge
schwindigkeiten der zuvor erkannten körperlichen Objekte 65 und 66 aus
dem körperliches-Objekt-Speicher 39 aus und berechnet die gegenwärtigen
Positionen der körperlichen Objekte 65 und 66. Diese Berechnung kann
mittels folgender Formel erfolgen:
(vorherige Position des körperlichen Objekts + Relativgeschwindig keit × Erfassungszeitintervall).
(vorherige Position des körperlichen Objekts + Relativgeschwindig keit × Erfassungszeitintervall).
In diesem Beispiel wird angenommen, dass die Relativgeschwindigkeit in
Bezug auf das körperliche Objekt 65 null ist, wird angenommen, dass die
Relativgeschwindigkeit in Bezug auf das körperliche Objekt 66 - 10 Kilometer
pro Stunde beträgt (wenn in diesem Beispiel die Geschwindigkeit des das
System tragenden Fahrzeugs größer als die Geschwindigkeit eines
körperlichen Objekts ist, wird die Relativgeschwindigkeit als "minus"
ausgedrückt), und wird angenommen, dass das Erfassungszeitintervall 100
Millisekunden beträgt. Der relative Abstand zu dem körperlichen Objekt 65
ist zwischen der vorherigen Erfassung und der gegenwärtigen Erfassung
unverändert, und der relative Abstand zum körperlichen Objekt 66 ist um
0,3 Meter verkürzt.
Wenn man annimmt, dass die vorherige Position des körperlichen Objekts
65 als Mittelkoordinaten (x1, y1, z1) ausgedrückt ist und die Position des
körperlichen Objekts 66 (x2, y2, z2) ist, wobei die Position des das System
tragenden Fahrzeugs der Ursprung ist und die jeweiligen Koordinatenwerte
in Metern ausgedrückt sind, kann die gegenwärtige Position des körperli
chen Objekts 65 als (x1, y1, z1) geschätzt werden und die gegenwärtige
Position des körperlichen Objekts 66 kann als (x2, y2, z2-0,3) geschätzt
werden. Hier wird angenommen, dass die geschätzten körperlichen Objekte
die gleichen Horizontalpositionen wie in der vorigen Erfassung haben. Bei
dem verwendeten Koordinatensystem und Ursprung kann die Relativge
schwindigkeit, falls die Geschwindigkeit des das System tragenden
Fahrzeugs größer oder kleiner ist, relativ zum körperlichen Objekt ausge
drückt werden als "positiv" oder "negativ". Die Positionen der körperlichen
Objekte können auch durch ein anderes System als das oben beschriebene
berechnet werden.
Das körperliches-Objekt-Inferierteil 40 kann die Breite und Höhe der
körperlichen Objekte 65 und 66 aus dem körperliches-Objekt-Speicher 39
auslesen und die körperlichen Objekte 65 und 66 dreidimensional in ihren
jeweiligen gegenwärtigen Positionen (x1, y1, z1) und (x2, y2, z2-0,3)
rekonstruieren. Die Positionen der Cluster in den Bildern der inferierten
körperlichen Objekte können bestimmt werden. Fig. 12(e) zeigt körperliche
Objekte 75 und 76, die wie oben beschrieben durch Inferieren der
körperlichen Objekte 65 und 66 erhalten sind.
Das körperliches-Objekt-Inferierteil 40 speichert die Attribute (die körperli
chen Objekte betreffende Information, wie etwa Abstände, Horizontalposi
tionen, Vertikalpositionen, Breiten, Höhen etc.) der inferierten körperlichen
Objekte (nachfolgend als "inferierte körperliche Objekte" bezeichnet) 75 und
76 in dem inferiertes-Objekt-Speicher 49. Ferner kann der von dem
körperliches-Objekt-Inferierteil 49 durchgeführte Prozess parallel zu dem
Prozess durchgeführt werden, der von dem Clusterbildungsteil 33 und dem
Clustergruppierungsteil 36 durchgeführt wird.
Nun zu Fig. 1. Das Clusterwählteil 41 wählt die Clustergruppe, die ein
Cluster enthält, das den kürzesten Abstand von dem Fahrzeug hat. Ein
inferiertes körperliches Objekt, das einen Abstand von dem Fahrzeug hat,
dessen Differenz von dem Cluster in der gewählten Clustergruppe innerhalb
des Schwellenwerts liegt, und das in den horizontalen und vertikalen
Positionen mit der gewählten Clustergruppe überlappt, wird aus den in dem
Speicher 49 gespeicherten inferierten körperlichen Objekten gewählt. Das
Clusterwählteil 41 wählt alle Cluster aus der gewählten Clustergruppe, die
mit dem gewählten inferierten körperlichen Objekt überlappt.
Falls keines der Cluster der gewählten Clustergruppe die Abstandsdifferenz
bedingungen erfüllt oder falls keine Cluster Überlappungen mit den in dem
Speicher 49 gespeicherten inferierten Objekten haben, werden hier alle
Cluster, die in der gewählten Clustergruppe enthalten sind, zu einem
Kandidaten-Erzeugungsteil 42 überführt. Inferierte körperliche Objekte, die
keine Entsprechung mit den gegenwärtigen Clustern haben, können aus
dem Speicher 49 gelöscht werden, weil diese körperlichen Objekte nicht
länger in dem aufgenommenen Bild erscheinen. Der Prozess beginnt von den
Clustergruppen und den inferierten körperlichen Objekten, deren Abstand
von dem Fahrzeug am kürzesten ist, weil körperliche Objekte nahe dem
Fahrzeug mit der höchsten Priorität erkannt werden müssen.
Im Hinblick auf jeweilige Abstände der Cluster und der inferierten körperli
chen Objekte von dem Fahrzeug können die Abstände an jeweiligen
Mittelpositionen dieser Cluster und inferierter körperlicher Objekte benutzt
werden. Alternativ können Werte, erhalten durch Mittelwertbildung der
gemessenen Abstände von clusterbildenden Fenstern, als die jeweiligen
Abstände der jeweiligen Cluster benutzt werden. Die in der obigen Tabelle
1 gezeigten Werte können als die Schwellenwerte für die Abstandsdifferenz
benutzt werden, oder es können andere Schwellenwerte benutzt werden.
Die Überlappungsbewertung kann leicht durchgeführt werden, indem man
die Cluster und die zu vergleichenden inferierten körperlichen Objekte auf
die x-y-Ebene projiziert, um hierdurch die Überlappung in den horizontalen
und vertikalen Positionen zu bestimmen. In den inferierten körperlichen
Objekten braucht kein vollständiges Cluster enthalten sein.
In dem in Fig. 12 gezeigten Beispiel wird angenommen, dass die Fahrzeuge
91 und 92 und ein Verkehrszeichen 93, wie in Fig. 12(d) gezeigt, tatsäch
lich im Wesentlichen den gleichen Abstand von dem Fahrzeug haben. Fig.
12(e) zeigt die Cluster C21 bis C31 gemäß Bestimmung durch das
Clusterbildungsteil 33 auf der Basis des in Fig. 12(d) aufgenommenen Bilds.
Eine einzelne Clustergruppe 72, die die Cluster C21 bis C31 aufweist, wird
durch das Clusterbildungsteil 36 bestimmt.
Das Clusterwählteil 41 wählt Clustergruppen, die nächst dem Fahrzeug
befindliche Cluster enthalten. Da in diesem Beispiel nur eine einzelne
Clustergruppe vorhanden ist, wird die Clustergruppe 72 gewählt. Dann
werden die Abstände und Positionen der die Clustergruppe 72 bildenden
Cluster aus dem Clusterspeicher 48 gelesen. Die Abstände und Positionen
der inferierten körperlichen Objekte 75 und 76 werden aus dem inferiertes-
körperliches-Objekt-Speicher 49 gelesen. Es sind zwei inferierte körperliche
Objekte vorhanden (das sind die inferierten körperlichen Objekte 75 und
76), die eine Überlappung in den horizontalen und vertikalen Positionen
zeigen und einen Abstand von dem Fahrzeug haben, dessen Differenz von
den Clustern der Clustergruppe 72 kleiner ist als der Schwellenwert. Wenn
man annimmt, dass das inferierte körperliche Objekt 75 dem Fahrzeug näher
ist als das inferierte körperliche Objekt 76, wird das inferierte körperliche
Objekt 75 gewählt. Dann werden unter den Clustern der Clustergruppe 72
die Cluster C22 bis C26 gewählt, die mit dem inferierten körperlichen Objekt
75 überlappen. Somit werden die den inferierten körperlichen Objekten
entsprechenden Cluster als eine Gruppe gewählt.
Das Kandidaten-Erzeugungsteil 42 prüft alle möglichen Kombinationen der
von dem Clusterwählteil 41 gewählten Cluster und bestimmt eine Kom
bination von Clustern als Kandidaten für ein körperliches Objekt. Die
Kombinationen können eine Kombination mit einem einzelnen Cluster
enthalten. Fig. 13 zeigt in einer Tabelle alle möglichen Kombinationen der
Cluster C22 bis C26, die für das inferierte körperliche Objekt 75 in Fig.
12(e) gewählt sind. Beispielsweise wird im kombinierten Cluster Nr. 10 in
Fig. 13 eine Kombination der Cluster C23 und C24 angezeigt. Hier ist es
bevorzugt, dass das minimale rechtwinklige Parallelepiped, das alle
kombinierte Cluster bildenden Cluster enthält, bestimmt wird, und dass das
kombinierte Cluster durch dieses rechtwinklige Parallelepiped angenähert
wird. Auf diese Weise können die Attribute kombinierter Cluster (Abstand,
Position, Größe etc.) leicht bestimmt werden.
Nachdem die kombinierten Cluster, welche Kandidaten für ein körperliches
Objekt darstellen, durch das Kandidaten-Erzeugungsteil 42 erzeugt wurden,
geht der Prozess über ein Bewertungsteil 37 zu einem ersten Erkennungs
teil 43 weiter, wenn kombinierte Cluster ein entsprechendes inferiertes
körperliches Objekt haben, und der Prozess geht über das Bewertungsteil
37 zu einem zweiten Erkennungsteil 44 weiter, wenn kombinierte Cluster
kein entsprechendes inferiertes körperliches Objekt haben.
Das Bewertungsteil 37 in Fig. 1 bestimmt, ob das Bildobjekt der Cluster ein
körperliches Objekt ist oder nicht, auf der Basis der Höhe oder Dicke der
kombinierten Cluster, die von dem Kandidaten-Erzeugungsteil 42 erzeugt
sind. Die Höhe und Dicke der kombinierten Cluster werden in dem
Clusterspeicher 48 gespeichert. Wenn zum Beispiel das zu erfassende
Objekt ein Fahrzeug ist, wäre ein entsprechendes kombiniertes Cluster bei
einem gegebenen Abstand von der geschätzten Straßenfläche 90 cm hoch,
und die Differenz zwischen der Oberseite und der Unterseite des kom
binierten Clusters wäre 80 cm oder weniger. Daher wird bestimmt, dass
kombinierte Cluster, deren Höhe von der Straßenoberfläche zur Oberseite
70 cm oder weniger ist, kein Fahrzeug sind. Durch diese Schwellenwerte
für die Höhe und Dicke können zur Straßenoberfläche gehörende kom
binierte Cluster gelöscht werden, so dass sie nicht irrtümlich als körperliches
Objekt bestimmt werden.
Das erste Erkennungsteil 43 vergleicht nacheinander die Attribute der
kombinierten Cluster, die entsprechende inferierte körperliche Objekte
haben, mit den Attributen der inferierten körperlichen Objekte. Das
Erkennungsteil 43 erkennt die kombinierten Cluster, die den Attributen der
inferierten körperlichen Objekte nächstliegende Attribute haben, als
körperliche Objekte. Hier sind die benutzten Attribute Abstand, Horizontal
position, Vertikalposition, Breite und Höhe, und der Vergleich der Attribute
erfolgt mittels der folgenden Gleichung (4). Die Bedeutungen der Variablen
in Gleichung (4) sind in Tabelle 3 gezeigt.
E1 = √(Xc - Xt)² + (Yc - Yt)² + (Zc - Zt)²/C . Zt
+ |Wc - Wt| + |Hc - Ht| (4)
Gleichung (4) drückt die Differenzen zwischen kombinierten Clustern und
einem inferierten körperlichen Objekt als Funktion der Differenz der
Mittelposition kombinierter Cluster und eines inferierten körperlichen Objekts
und als Differenz der Breite und Höhe kombinierter Cluster und eines
inferierten körperlichen Objekts aus. Der Abstand (Z-Wert) hat eine Toleranz
entsprechend dem Abstandswert und wird um einen Wert proportional zum
Abstand Zt des inferierten körperlichen Objekts korrigiert.
In dem in Fig. 13 gezeigten Beispiel werden funktionelle Werte E1 (e01,
e02, . . . e31) für alle kombinierten Cluster 1 bis 31 entsprechend dem
inferierten körperlichen Objekt 75 berechnet. Ein verknüpftes Cluster 31 mit
dem kleinsten funktionellen Wert E1 wird als das körperliche Objekt 78
erkannt (Fig. 12(f)). Ein verknüpftes Cluster 31 mit dem kleinsten E1 passt
am besten zu Position und Größe des inferierten körperlichen Objekts 75.
Wenn zum Beispiel ein bestimmtes Cluster mit einer Mehrzahl inferierter
körperlicher Objekte überlappt und somit nur Sektionen der inferierten
körperlichen Objekte darstellt, kann ein solches Cluster aus kombinierten
Clustern ausgeschlossen werden. Die Cluster C22 bis C26 und das inferierte
körperliche Objekt 75 werden in dem Clusterspeicher 48 gespeichert bzw.
in dem geschätztes-körperliches-Objekt-Speicher 49, und es wird ein
"Prozess zu Ende"-Flag gesetzt.
Der vom Clustergruppierungsteil 36, Clusterwählteil 41, Kandidaten-
Erzeugungsteil 42 und ersten und zweiten Erkennungsteil 43 und 44
durchgeführte Prozess wird wiederholt, bis alle Cluster bearbeitet sind und
die "Prozess zu Ende"-Flags gesetzt sind. Insbesondere prüft das Cluster
gruppierungsteil 36 die "Prozess zu Ende"-Flags der in dem Clusterspeicher
48 gespeicherten Cluster, und wenn alle Cluster die "Prozess zu Ende"-
Flags haben, endet der Prozess. Alternativ wäre es auch möglich, das
System so anzuordnen, dass eine Obergrenze (z. B. 4) vorab als die Anzahl
von als körperliche Objekte zu erkennenden Objekten gesetzt wird, und die
Wiederholung des Erkennungsprozesses endet, wenn die Anzahl der
erkannten körperlichen Objekte diese Zahl erreicht.
Wie oben zu Fig. 12(f) angemerkt, prüft, nachdem das körperliche Objekt
78 erkannt wurde, das Clustergruppierungsteil 36 die "Prozess zu Ende"-
Flags der in dem Clusterspeicher 48 gespeicherten Cluster und holt Cluster
C21 und Cluster C27 bis C31, für die noch keine "Prozess zu Ende"-Flags
gesetzt wurden. Das Clustergruppierungsteil 36 prüft die "Prozess zu Ende"-
Flags der inferierten körperlichen Objekte, die in dem inferierten körperli
chen-Objekt-Speicher 49 gespeichert sind und extrahiert die inferierten
körperlichen Objekte 76, für die kein "Prozess zu Ende"-Flag gesetzt wurde.
Da die Differenz der Horizontalpositionen der Cluster C21 und jene der
Cluster C27 bis C31 den Schwellenwert überschreitet, erzeugt das
Clustergruppierungsteil 36 zwei verschiedene Clustergruppen. Wenn man
annimmt, dass die aus den Clustern C27 bis C31 gebildete Clustergruppe
dem Fahrzeug näher ist, wählt das Clusterwählteil 41 zuerst die aus den
Clustern C27 bis C31 bestehende Clustergruppe, und wählt das inferierte
körperliche Objekt 76, dessen Abstand von dem Fahrzeug im Wesentlichen
gleich dem der Clustergruppe C27 bis C31 ist. "Im Wesentlichen gleich"
bedeutet, dass die Abstandsdifferenz kleiner ist als der Schwellenwert.
Anzumerken ist, dass das inferierte körperliche Objekt 76 teilweise in der
horizontalen und vertikalen Position mit der Clustergruppe C27 bis C31
überlappt. Die Cluster C27 bis C31, die mit dem inferierten körperlichen
Objekt 76 überlappen, werden unter den die Clustergruppe bildenden
Clustern gewählt.
Das Kandidaten-Erzeugungsteil 42 bestimmt kombinierte Cluster aus
Kombinationen der Cluster C27 bis C31. Das erste Erkennungsteil 43
vergleicht die Attribute der jeweiligen kombinierten Cluster mit den
Attributen des inferierten körperlichen Objekts 76. Im Ergebnis wird das aus
den Clustern C27 bis C31 bestehende kombinierte Cluster als dasjenige
bestimmt, das Attribute hat, die denen des inferierten körperlichen Objekts
76 am nächsten kommen, so dass das aus den Clustern C27 bis C31
bestehende kombinierte Cluster als körperliches Objekt 79 erkannt wird (Fig.
12(f)). Die Cluster C27 bis C31, die als körperliches Objekt erkannt wurden,
und das entsprechende inferierte körperliche Objekt 76 werden mit "Prozess
zu Ende"-Flags in dem Clusterspeicher 48 bzw. dem inferiertes körperliches-
Objekt-Speicher 49 gespeichert.
Dann holt das Clustergruppierungsteil 36 aus dem Clusterspeicher 48 das
Cluster C21, für das kein "Prozess zu Ende"-Flag gesetzt wurde. Da dies ein
einzelnes Cluster ist, wird das Cluster C21 als Clustergruppe behandelt. In
diesem Beispiel wurden alle inferierten körperlichen Objekte so bearbeitet,
dass kein entsprechendes inferiertes körperliches Objekt verglichen werden
muß. Dementsprechend wählt das Clusterwählteil 41 das Cluster C21 und
überführt dieses zum Kandidaten-Erzeugungsteil 42. Das Kandidaten-
Erzeugungsteil 42 bestimmt kombinierte Cluster aus Kombinationen aller in
einer Clustergruppe enthaltener Cluster. Da das Cluster C21 ein Einzel
cluster ist, wird C21 als kombiniertes Cluster behandelt. Das aus dem
Cluster C21 bestehende kombinierte Cluster wird über das Bewertungsteil
37 von dem zweiten Erkennungsteil 44 bearbeitet.
Die körperliche Objekte repräsentierenden Cluster werden somit in Gruppen
betrachtet. Daher beginnt die Wiederholung des Prozesses mit der
Bestimmung von Clustergruppen. Wie oben beschrieben, werden die
Abstände und Positionen inferierter körperlicher Objekte auf der Basis der
Relativgeschwindigkeit bestimmt. Entsprechend enthalten die benutzten
Werte einen bestimmten Toleranzbetrag. Wenn Cluster, die mit inferierten
körperlichen Objekten überlappen, ohne die Bestimmung von Cluster
gruppen extrahiert werden, können Cluster, deren Horizontalpositionen weit
voneinander entfernt sind, kombiniert werden und irrtümlich als ein
körperliches Objekt erkannt werden.
Das zweite Erkennungsteil 44 erhält kombinierte Cluster aus dem Kandida
ten-Erzeugungsteil 42, die ein oder mehrere Cluster aufweisen, die kein
entsprechendes inferiertes körperliches Objekt haben, und vergleicht deren
Attribute mit den Attributen vorbestimmter körperlicher Objekte, die erfasst
werden sollen. Das Erkennungsteil 44 erkennt, dass eines der vorbestimm
ten körperlichen Objekte, das die kleinste Differenz der Attribute hat, als
das körperliche Objekt, das den kombinierten Clustern entspricht. Auch die
Verwendung von Schwellenwerten ist zur Bestimmung möglich, dass das
vorbestimmte körperliche Objekt, dessen Attribute sich nur gering unter
scheiden, so dass die Differenz kleiner als der Schwellenwert ist, das
körperliche Objekt darstellt. Dieser Vergleich mit vorbestimmten körperlichen
Objekten wird für alle kombinierten Cluster durchgeführt.
Die Attribute der vorbestimmten körperlichen Objekte sind vorbestimmt und
in einem körperliches-Objekt-Speicher 50 gespeichert. Wenn beispielsweise
die zu erfassenden Objekte Fahrzeuge umfassen, werden die Attribute
verschiedener Fahrzeugtypen gespeichert, und wenn die zu erfassenden
Objekte Verkehrszeichen umfassen, werden die Attribute verschiedener
Typen von Verkehrszeichen gespeichert. In dieser Ausführung werden die
Breite und Höhe als die Attribute benutzt, die verglichen werden. Abstand,
Horizontalposition und Vertikalposition werden nicht verglichen. Zum
Vergleich der Attribute wird die unten gezeigte Gleichung (5) benutzt. Die
Bedeutung der Variablen in Gleichung (5) ist in Tabelle 4 gezeigt. Gleichung
(5) drückt die Differenz der Attribute kombinierter Cluster und eines
vorbestimmten Objekts auf der Basis der Differenz von Breite und Höhe
kombinierter Cluster und eines vorbestimmten Objekts aus.
E2 = |Wc - Wt| + |Hc - Ht| (5)
In dem in Fig. 12 gezeigten Beispiel vergleicht, wie oben beschrieben, das
zweite Erkennungsteil 44 die Attribute des kombinierten Clusters, das aus
dem vom Kandidaten-Erzeugungsteil 42 extrahierten Cluster C21 besteht,
mit den Attributen verschiedener vorbestimmter körperlicher Objekte, die
erfasst werden sollen, und bestimmt das zu erfassende vorbestimmte Objekt,
das den kleinsten funktionellen Wert E2 hat. Daher wird das Cluster C21 als
körperliches Objekt 77 erkannt (Fig. 12(f)).
Da die Information, die vorbestimmte körperliche Objekte betrifft, zur
Erkennung gegenwärtiger körperlicher Objekte benutzt wird, kann eine
fehlerhafte Erkennung zweier körperlicher Objekte als einzelnes körperliches
Objekt auch dann vermieden werden, wenn ein vorausfahrendes Fahrzeug
in der Nähe eines straßenseitigen Objekts, wie etwa eines Verkehrs
zeichens, vorhanden ist oder wenn ein Fahrzeug in einer benachbarten
Fahrspur sich dem vorausfahrenden Fahrzeug annähert.
Die ersten und zweiten körperliches-Objekt-Erkennungsteile 43 und 44
speichern die Attribute gegenwärtig erkannter körperlicher Objekte in dem
körperliches-Objekt-Speicher 39. Die Attribute früher erkannter körperlicher
Objekte werden ebenfalls in dem körperliches-Objekt-Speicher 39 gespei
chert. Die ersten und zweiten körperliches-Objekt-Erkennungsteile 43 und
44 berechnen die Relativgeschwindigkeit des Fahrzeugs in Bezug auf
körperliche Objekte auf der Basis eines aus der Berechnungsformel
bestimmten Werts:
(Gegenwärtiger Abstand - vorheriger Abstand)/Erfassungszeitintervall.
(Gegenwärtiger Abstand - vorheriger Abstand)/Erfassungszeitintervall.
Die so berechnete Relativgeschwindigkeit wird in dem körperliches-Objekt-
Speicher 39 gespeichert. Wie oben beschrieben, ist das Erfassungszeitinter
vall die Zeitdifferenz zwischen der vorherigen Messung und der gegen
wärtigen Messung und kann beispielsweise auf 100 Millisekunden gesetzt
sein.
Die Fahrzeugsteuereinrichtung 45 steuert das das System tragende
Fahrzeug auf der Basis der Information, wie etwa Abstand, Position und
Relativgeschwindigkeit der körperlichen Objekte, die in dem körperliches-
Objekt-Speicher 39 gespeichert sind, und auf der Basis der Information von
Vorrichtungen, wie etwa einer Fahrgeschwindigkeits-Erfassungsvorrichtung
46 und einer Gierraten-Erfassungsvorrichtung 47, so dass der Abstand zu
den körperlichen Objekten auf einem geeigneten Wert gehalten wird.
Beispielsweise gibt die Fahrzeugsteuereinrichtung 45 an den Fahrer eine
Warnung aus, etwa mittels einer Sprachmitteilung oder eines Alarmtons. Die
Steuereinrichtung kann auch die Geschwindigkeit des Fahrzeugs durch
aktive Verzögerung oder Beschleunigung regeln.
Um die Erkennung körperlicher Objekte zu gewährleisten, erfolgt bevorzugt
eine Bewertung durch die ersten und zweiten körperliches-Objekt-Erken
nungsteile 43 und 44 dahingehend, ob zuvor erkannte Objekte und
gegenwärtig erkannte Objekte dieselben Objekte sind, und die Fahrzeug
steuereinrichtung 45 reagiert, wenn eine vorbestimmte Anzahl von Malen
dasselbe Objekt fortlaufend erkannt wird.
Das Korrelations-Berechnungsteil 6, das Abstandmessteil 7, der Abstands
speicher 8, das Fensterausschneideteil 13, der Abstandbereichsspeicher 9,
das Clusterbildungsteil 33, das Clustergruppierungsteil 36, der Cluster
speicher 48, das Bewertungsteil 37, der körperliches-Objekt-Speicher 39,
das körperliches-Objekt-Inferierteil 40, das Clusterwählteil 41, das
Kandidaten-Erzeugungsteil 42, die erstes- und zweites-körperliches-Objekt-
Erkennungsteile 43 und 44, der inferiertes-körperliches-Objekt-Speicher 49,
der Objektspeicher 50 und die Fahrzeugsteuereinrichtung 55 können durch
eine Mikrosteuereinrichtung implementiert sein, die typischerweise eine
zentrale Prozessoreinheit (CPU), einen NUR-Lesespeicher (ROM), der
Steuerprogramme und Daten enthält, sowie einen Speicher mit wahlfreiem
Zugriff (RAM) enthält, der eine Arbeitsebene für die CPU bildet und
verschiedene Daten vorübergehend speichert. Anders gesagt, implementie
ren in dem ROM gespeicherte Computerprogramme die oben beschriebenen
Funktionen der in Fig. 1 gezeigten Funktionsblöcke.
Der Abstandsspeicher 8, der Abstandsbereichsspeicher 9, der Cluster
speicher 48, der inferiertes-körperliches-Objekt-Speicher 49, der körperli
ches-Objekt-Speicher 39 und der Objektspeicher 5 können durch ver
schiedene Speicherbereiche eines einzelnen RAM realisiert werden.
Vorübergehende Speicherbereiche für Daten, die in verschiedenen
Operationstypen erforderlich sind, können auch durch Sektionen desselben
RAM gebildet sein.
Die erfindungsgemäße Objekterkennungsvorrichtung kann durch ein lokales
Funknetzwerk (LAN) mit einer elektronischen Motorsteuereinheit (ECU),
einer Bremssteuerungseinheit ECU oder einer anderen ECU verbunden sein,
und die Ausgabe von dieser Objekterkennungsvorrichtung kann zur
Gesamtsteuerung des Fahrzeugs benutzt werden.
Erfindungsgemäß erfolgt die Clusterbildung nicht auf der Basis der
gemessenen Abstände von Fenstern, sondern auf der Basis von Kennungen,
die den Abstandsbereichen entsprechen, zu denen diese gemessenen
Abstände gehören. Daher ist eine Hochgeschwindigkeitsclusterbildung
möglich. Die Abstandsbereiche werden entsprechend den Toleranzen in den
gemessenen Abständen gesetzt. Daher ist eine genaue Clusterbildung
möglich.
Ein erfindungsgemässes Objekterkennungssystem umfasst einen Speicher
8 zum Speichern einer Mehrzahl von Abstandsbereichen mit verschiedenen
Abstandskennungen, die den jeweiligen Abstandsbereichen zugeordnet sind.
Die Steuereinrichtung wandelt gemessene Abstandswerte in Abstands
kennungen entsprechend den Abstandsbereichen, zu denen die Abstands
werte gehören. Die Steuereinrichtung gruppiert die Sektionen oder Fenster
W eines aufgenommenen Bilds auf der Basis zugeordneter Abstands
kennungen. Eine Erfassungs- oder eine Blickfläche der Sensoren 3, 3' ist in
einer Mehrzahl von Abstandsbereichen entsprechend der Toleranz des
gemessenen Abstands unterteilt, so dass ein breiterer Abstandsbereich
definiert wird, wenn der Abstand von dem System größer wird. Die
Steuereinrichtung tastet die Fenster mit Abstandskennungen unter
Verwendung einer Schablone ab, die eine Verknüpfungsbeziehung für die
Fenster definiert, und ordnet jedem Fenster eine Clustererkennung zu, die
eine Kombination der Abstandskennung und eines Häufigkeitsindex ist, der
für die Fenster die gleiche ist, die der Verknüpfungsbeziehung entsprechen.
Die Steuereinrichtung vereinigt die Fenster mit denselben Clustererkennun
gen zu einem Cluster, erzeugt dreidimensionale Daten jedes der Cluster und
kombiniert die Cluster, die einander eng benachbart sind, auf der Basis der
dreidimensionalen Daten unter Bildung eines Kandidaten eines körperlichen
Objekts. Das System enthält einen Speicher zum Speichern dreidimensiona
ler Daten von einem oder mehreren körperlichen Objekten, die im vorherigen
Erkennungszyklus erkannt wurden. Die Steuereinrichtung inferiert ein
körperliches Objekt, das im gegenwärtigen Zyklus erkannt wurde, auf der
Basis der gespeicherten Daten und einer Geschwindigkeit des Fahrzeugs
relativ zum körperlichen Objekt. Die Steuereinrichtung vergleicht das
inferierte körperliche Objekt mit dem Kandidaten eines körperlichen Objekts
zur Erkennung eines körperlichen Objekts.
Claims (20)
1. Objekterkennungssystem mit einem oder mehreren Bildsensoren (3,
3', 53) und einer Steuereinrichtung, die ausgelegt ist, um den
Abstand (a) von dem System zu Objekten (54) in Bezug auf jeweilige
Sektionen (W) eines von den Sensoren aufgenommenen Bilds zu
messen, umfassend:
einen Speicher (8) zum Speichern einer Mehrzahl von Ab standsbereichen (S1, S2 . . .), wobei jedem Abstandsbereich eine Abstandskennung (1, 2 . . .) zugeordnet ist;
wobei die Steuereinrichtung die Abstandskennungen (1, 2 . . .) den Sektionen (W) jeweils entsprechend den Abstandsbereichen (S1, S2 . . .) zuordnet, zu denen die gemessenen Abstandswerte (a) gehören.
einen Speicher (8) zum Speichern einer Mehrzahl von Ab standsbereichen (S1, S2 . . .), wobei jedem Abstandsbereich eine Abstandskennung (1, 2 . . .) zugeordnet ist;
wobei die Steuereinrichtung die Abstandskennungen (1, 2 . . .) den Sektionen (W) jeweils entsprechend den Abstandsbereichen (S1, S2 . . .) zuordnet, zu denen die gemessenen Abstandswerte (a) gehören.
2. System nach Anspruch 1, dadurch gekennzeichnet, dass das System
zum Anbringen an einem Fahrzeug ausgelegt ist und die Blickfläche
der Sensoren (3, 3', 53) entsprechend der Toleranz des von dem
Messmittel (7) gemessenen Abstands (d) in eine Mehrzahl von
Abstandsbereichen (S1, S2 . . .) unterteilt ist, so dass ein breiterer
Abstandsbereich (S6) definiert wird, wenn der Abstand von dem
System größer wird.
3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
Sektionen (W) mit der gleichen Abstandskennung in ein und demsel
ben Cluster (C1, C2 . . .) gruppiert werden.
4. System nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass
die Steuereinrichtung die die Abstandskennungen (1, 2 . . .) auf
weisenden Sektionen (W) unter Verwendung einer Schablone
abtastet, die eine Verknüpfungsbeziehung für die Sektionen (W)
definiert, und jeder Sektion (W) eine Clusterkennung (1, 2 . . .)
zuordnet, die eine Kombination der Abstandskennung und eines
Häufigkeitsindex ist, wobei der Häufigkeitsindex für diejenigen
Sektionen (W) derselbe ist, die der Verknüpfungsbeziehung ent
sprechen.
5. System nach Anspruch 4, dadurch gekennzeichnet, dass die
Sektionen (W) mit derselben Abstandskennung und demselben
Häufigkeitsindex in einem Cluster (C1, C2 . . .) vereinigt werden.
6. System nach Anspruch 5, dadurch gekennzeichnet, dass die
Steuereinrichtung dreidimensionale Information jedes der Cluster auf
der Basis des Abstands, der Höhe und der Breite der vereinigten
Cluster erzeugt.
7. System nach Anspruch 6, dadurch gekennzeichnet, dass die
Steuereinrichtung die Cluster (C1, C2 . . .) auf der Basis der dreidimen
sionalen Information in eine oder mehrere Clustergruppen (G1, G2)
gruppiert, so dass jede Clustergruppe ein mögliches körperliches
Objekt (54) repräsentiert.
8. System nach Anspruch 7, dadurch gekennzeichnet, dass die
Steuereinrichtung in einem Speicher (39) dreidimensionale Informa
tion von einem oder mehreren körperlichen Objekten (54) speichert,
die in einem vorherigen Erkennungszyklus erkannt wurden, und, auf
der Basis der gespeicherten Information und einer Geschwindigkeit
des das System tragenden Fahrzeugs relativ zu dem körperlichen
Objekt (54), ein körperliches Objekt inferiert, das in dem gegen
wärtigen Zyklus erkannt wurde.
9. Verfahren zum Erkennen eines körperlichen Objekts (54) von einem
Fahrzeug, umfassend die Schritte:
Definieren einer Mehrzahl von Abstandsbereichen (S1, S2 . . .), denen jeweils eine Abstandskennung (1, 2 . . .) zugeordnet wird;
Aufnehmen eines Bilds in der Fahrtrichtung und Messen des Abstands (d) von dem Fahrzeug zu dem Bild in Bezug auf eine Mehrzahl von Fenstern (W) des Bilds; und
Zuordnen der Abstandskennungen (1, 2 . . .) zu den jeweiligen Fenstern (W) entsprechend den Abstandsbereichen (S1, S2 . . .), zu denen die gemessenen Abstandswerte gehören.
Definieren einer Mehrzahl von Abstandsbereichen (S1, S2 . . .), denen jeweils eine Abstandskennung (1, 2 . . .) zugeordnet wird;
Aufnehmen eines Bilds in der Fahrtrichtung und Messen des Abstands (d) von dem Fahrzeug zu dem Bild in Bezug auf eine Mehrzahl von Fenstern (W) des Bilds; und
Zuordnen der Abstandskennungen (1, 2 . . .) zu den jeweiligen Fenstern (W) entsprechend den Abstandsbereichen (S1, S2 . . .), zu denen die gemessenen Abstandswerte gehören.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die
Abstandsbereiche (S1, S2 . . .) entsprechend der Toleranz des von dem
Messmittel (7) gemessenen Abstands (d) derart definiert werden,
dass ein breiterer Abstandsbereich (S6) definiert wird, wenn der
Abstand von dem System größer wird.
11. Verfahren nach Anspruch 9 oder 10, gekennzeichnet durch die
Schritte:
Abtasten der die Abstandskennungen (S1, S2 . . .) aufweisenden Fenster (W) unter Verwendung einer Schablone, die eine Ver knüpfungsbeziehung für die Fenster (W) definiert; und
Zuordnen einer Clusterkennung, die eine Kombination der Abstandskennung und eines Häufigkeitsindex ist, zu jedem Fenster (W), wobei der Häufigkeitsindex für jene Fenster derselbe ist, die der Verknüpfungsbeziehung entsprechen.
Abtasten der die Abstandskennungen (S1, S2 . . .) aufweisenden Fenster (W) unter Verwendung einer Schablone, die eine Ver knüpfungsbeziehung für die Fenster (W) definiert; und
Zuordnen einer Clusterkennung, die eine Kombination der Abstandskennung und eines Häufigkeitsindex ist, zu jedem Fenster (W), wobei der Häufigkeitsindex für jene Fenster derselbe ist, die der Verknüpfungsbeziehung entsprechen.
12. Verfahren nach Anspruch 11, gekennzeichnet durch:
Vereinigen der Fenster (W) mit denselben Clusterkennungen zu
einem Cluster.
13. Verfahren nach Anspruch 12, gekennzeichnet durch:
Erzeugen dreidimensionaler Daten jedes der Cluster (C1, C2 . . .) auf der Basis des Abstands (d) von dem Fahrzeug, der Höhe und der Breite der Cluster.
Erzeugen dreidimensionaler Daten jedes der Cluster (C1, C2 . . .) auf der Basis des Abstands (d) von dem Fahrzeug, der Höhe und der Breite der Cluster.
14. Verfahren nach Anspruch 13, gekennzeichnet durch:
Kombinieren der Cluster (C1, C2 . . .), die einander eng benach bart sind, auf der Basis der dreidimensionalen Daten zur Bildung eines Kandidaten eines körperlichen Objekts (54).
Kombinieren der Cluster (C1, C2 . . .), die einander eng benach bart sind, auf der Basis der dreidimensionalen Daten zur Bildung eines Kandidaten eines körperlichen Objekts (54).
15. Verfahren nach Anspruch 13 oder 14, gekennzeichnet durch:
Speichern dreidimensionaler Daten von einem oder mehreren körperlichen Objekten (54), die in einem vorherigen Erkennungszyklus erkannt wurden, in einem Speicher (39); und
Inferieren eines körperlichen Objekts, das im gegenwärtigen Zyklus erkannt würde, auf der Basis der gespeicherten Daten und einer Geschwindigkeit des Fahrzeugs relativ zum körperlichen Objekt.
Speichern dreidimensionaler Daten von einem oder mehreren körperlichen Objekten (54), die in einem vorherigen Erkennungszyklus erkannt wurden, in einem Speicher (39); und
Inferieren eines körperlichen Objekts, das im gegenwärtigen Zyklus erkannt würde, auf der Basis der gespeicherten Daten und einer Geschwindigkeit des Fahrzeugs relativ zum körperlichen Objekt.
16. Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekenn
zeichnet, dass der Abstand (d) von dem Fahrzeug bestimmt wird
durch Mittelwertbildung des Abstands der das Cluster (C1, C2 . . .)
bildenden Fenster (W) von dem Fahrzeug.
17. Verfahren nach einem der Ansprüche 13 bis 16, dadurch gekenn
zeichnet, dass die Höhe eines Clusters (C1, C2 . . .) bestimmt wird
durch die Differenz zwischen einer Position des Fensters (W) an der
Oberseite des Clusters und einer Position des Fensters (W) an der
Unterseite des Clusters.
18. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die
Breite eines Clusters (C1, C2 . . .) bestimmt wird durch die Differenz
zwischen einer Position des Fensters (W) am rechten Ende des
Clusters und einer Position des Fensters (W) am linken Ende des
Clusters.
19. Verfahren nach Anspruch 15, gekennzeichnet durch:
Vergleichen des inferierten körperlichen Objekts mit dem Kandidaten eines körperlichen Objekts zum Erkennen eines körperli chen Objekts.
Vergleichen des inferierten körperlichen Objekts mit dem Kandidaten eines körperlichen Objekts zum Erkennen eines körperli chen Objekts.
20. Objekterkennungssystem mit einem oder mehreren Bildsensoren (3,
3', 53) und einer Steuereinrichtung, die dazu ausgelegt ist, den
Abstand (d) von dem System zu Objekten (54) in Bezug auf jeweilige
Fenster (W) eines von den Sensoren aufgenommenen Bilds zu
messen, umfassend:
einen Speicher (8) zum Speichern einer Mehrzahl von Ab standsbereichen, wobei jedem Abstandsbereich eine Abstands kennung zugeordnet ist;
ein Mittel (33) zum Zuordnen der Abstandskennungen zu den jeweiligen Fenstern (W) gemäß den Abstandsbereichen, zu denen die gemessenen Abstandswerte gehören;
ein Mittel (36) zum Gruppieren der Fenster (W) in Cluster (C1, C2 . . .) gemäß den Abstandskennungen; und
ein Mittel (43, 44) zum Erkennen körperlicher Objekte auf der Basis der Cluster;
wobei das System zum Anbringen an einem Fahrzeug ausgelegt ist und die Blickfläche der Sensoren (3, 3', 53) ent sprechend der Toleranz des von dem Messmittel (7) gemessenen Abstands in eine Mehrzahl von Abstandsbereichen (S1, S2 . . .) unterteilt ist, so dass ein breiterer Abstandsbereich (S6) definiert wird, wenn der Abstand (d) von dem System größer wird.
einen Speicher (8) zum Speichern einer Mehrzahl von Ab standsbereichen, wobei jedem Abstandsbereich eine Abstands kennung zugeordnet ist;
ein Mittel (33) zum Zuordnen der Abstandskennungen zu den jeweiligen Fenstern (W) gemäß den Abstandsbereichen, zu denen die gemessenen Abstandswerte gehören;
ein Mittel (36) zum Gruppieren der Fenster (W) in Cluster (C1, C2 . . .) gemäß den Abstandskennungen; und
ein Mittel (43, 44) zum Erkennen körperlicher Objekte auf der Basis der Cluster;
wobei das System zum Anbringen an einem Fahrzeug ausgelegt ist und die Blickfläche der Sensoren (3, 3', 53) ent sprechend der Toleranz des von dem Messmittel (7) gemessenen Abstands in eine Mehrzahl von Abstandsbereichen (S1, S2 . . .) unterteilt ist, so dass ein breiterer Abstandsbereich (S6) definiert wird, wenn der Abstand (d) von dem System größer wird.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16956799A JP4391624B2 (ja) | 1999-06-16 | 1999-06-16 | 物体認識装置 |
JP11-169567 | 1999-06-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE10029423A1 true DE10029423A1 (de) | 2001-01-11 |
DE10029423B4 DE10029423B4 (de) | 2011-04-14 |
Family
ID=15888873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10029423A Expired - Fee Related DE10029423B4 (de) | 1999-06-16 | 2000-06-15 | Objekterkennungssystem |
Country Status (3)
Country | Link |
---|---|
US (1) | US6853738B1 (de) |
JP (1) | JP4391624B2 (de) |
DE (1) | DE10029423B4 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10219788C1 (de) * | 2002-05-03 | 2003-11-13 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen |
US6775395B2 (en) | 2000-03-27 | 2004-08-10 | Honda Giken Kogyo Kabushiki Kaisha | Object recognition system |
DE102010021807A1 (de) | 2010-05-27 | 2011-12-01 | Sick Ag | Lichttaster in V-Anordnung |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
US7208720B2 (en) * | 1999-07-06 | 2007-04-24 | Larry C. Hardin | Intrusion detection system |
US20070162248A1 (en) * | 1999-07-06 | 2007-07-12 | Hardin Larry C | Optical system for detecting intruders |
EP1415377A4 (de) * | 2001-07-06 | 2007-05-30 | Computer Ass Think Inc | System und verfahren zur verwaltung von auf objekten basierenden clustern |
EP1504276B1 (de) | 2002-05-03 | 2012-08-08 | Donnelly Corporation | Objektdetektionssystem für ein fahrzeug |
JP2004061446A (ja) * | 2002-07-31 | 2004-02-26 | Fujitsu Ten Ltd | パターンマッチング処理方法及び画像処理装置 |
JP4176430B2 (ja) * | 2002-09-18 | 2008-11-05 | 富士重工業株式会社 | 車外監視装置、及び、この車外監視装置を備えた走行制御装置 |
US7266453B2 (en) * | 2003-08-22 | 2007-09-04 | Honda Motor Co., Ltd. | Vehicular object detection system, tracking control system, and vehicle control system |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
EP1769353A2 (de) * | 2004-05-21 | 2007-04-04 | Computer Associates Think, Inc. | Verfahren und vorrichtung zur dynamischen speicherbetriebsmittelverwaltung |
EP1769352B1 (de) * | 2004-05-21 | 2013-03-20 | Computer Associates Think, Inc. | Verfahren und vorrichtung für dynamische cpu-betriebsmittelverwaltung |
JP4532171B2 (ja) * | 2004-06-01 | 2010-08-25 | 富士重工業株式会社 | 立体物認識装置 |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
JP4859390B2 (ja) * | 2005-05-10 | 2012-01-25 | 株式会社リコー | 画像処理方法及び画像処理装置 |
JP2007052626A (ja) * | 2005-08-18 | 2007-03-01 | Matsushita Electric Ind Co Ltd | メタデータ入力装置およびコンテンツ処理装置 |
US8104033B2 (en) * | 2005-09-30 | 2012-01-24 | Computer Associates Think, Inc. | Managing virtual machines based on business priorty |
US8225313B2 (en) * | 2005-10-19 | 2012-07-17 | Ca, Inc. | Object-based virtual infrastructure management |
US8108119B2 (en) * | 2006-04-21 | 2012-01-31 | Sri International | Apparatus and method for object detection and tracking and roadway awareness using stereo cameras |
US7483978B2 (en) * | 2006-05-15 | 2009-01-27 | Computer Associates Think, Inc. | Providing a unified user interface for managing a plurality of heterogeneous computing environments |
US8213734B2 (en) * | 2006-07-07 | 2012-07-03 | Sony Ericsson Mobile Communications Ab | Active autofocus window |
US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
JP5100543B2 (ja) * | 2008-07-11 | 2012-12-19 | キヤノン株式会社 | 文書管理装置、文書管理方法、及びコンピュータプログラム |
JP5038283B2 (ja) * | 2008-11-05 | 2012-10-03 | キヤノン株式会社 | 撮影システム及びレンズ装置 |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
US8452599B2 (en) * | 2009-06-10 | 2013-05-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for extracting messages |
US8269616B2 (en) * | 2009-07-16 | 2012-09-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for detecting gaps between objects |
US8337160B2 (en) * | 2009-10-19 | 2012-12-25 | Toyota Motor Engineering & Manufacturing North America, Inc. | High efficiency turbine system |
US8237792B2 (en) * | 2009-12-18 | 2012-08-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for describing and organizing image data |
US9342500B2 (en) | 2010-03-15 | 2016-05-17 | Michael V. Liguori | Object memory management system |
US8424621B2 (en) | 2010-07-23 | 2013-04-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Omni traction wheel system and methods of operating the same |
JP5454695B2 (ja) * | 2010-09-08 | 2014-03-26 | トヨタ自動車株式会社 | 危険度算出装置 |
US9280711B2 (en) * | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
JP5272042B2 (ja) * | 2011-05-12 | 2013-08-28 | 富士重工業株式会社 | 環境認識装置および環境認識方法 |
JP5537491B2 (ja) * | 2011-05-12 | 2014-07-02 | 富士重工業株式会社 | 環境認識装置 |
JP5537492B2 (ja) * | 2011-05-12 | 2014-07-02 | 富士重工業株式会社 | 環境認識装置 |
KR101340014B1 (ko) * | 2011-12-09 | 2013-12-10 | 에스엘 주식회사 | 위치 정보 제공 장치 및 방법 |
JP6197291B2 (ja) * | 2012-03-21 | 2017-09-20 | 株式会社リコー | 複眼カメラ装置、及びそれを備えた車両 |
US8824733B2 (en) * | 2012-03-26 | 2014-09-02 | Tk Holdings Inc. | Range-cued object segmentation system and method |
TWI457532B (zh) * | 2012-05-31 | 2014-10-21 | Pixart Imaging Inc | 光學物件辨識系統 |
CN103488277B (zh) * | 2012-06-12 | 2016-08-03 | 原相科技股份有限公司 | 光学物体识别系统 |
JP6494253B2 (ja) * | 2014-11-17 | 2019-04-03 | キヤノン株式会社 | 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム |
KR101665207B1 (ko) * | 2014-12-31 | 2016-10-14 | (주)베라시스 | 복수개의 검출윈도우를 통한 관심영역에서의 차량식별방법 |
US9984494B2 (en) * | 2015-01-26 | 2018-05-29 | Uber Technologies, Inc. | Map-like summary visualization of street-level distance data and panorama data |
US9766336B2 (en) * | 2015-03-16 | 2017-09-19 | Here Global B.V. | Vehicle obstruction detection |
US9898668B2 (en) * | 2015-08-27 | 2018-02-20 | Qualcomm Incorporated | System and method of object detection |
JP6462544B2 (ja) * | 2015-09-17 | 2019-01-30 | 株式会社東芝 | 推定装置、方法及びプログラム |
WO2017209213A1 (ja) * | 2016-05-31 | 2017-12-07 | Necソリューションイノベータ株式会社 | 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体 |
US10629079B2 (en) * | 2016-12-05 | 2020-04-21 | Ford Global Technologies, Llc | Vehicle collision avoidance |
US10740627B2 (en) | 2017-05-10 | 2020-08-11 | Fotonation Limited | Multi-camera vision system and method of monitoring |
US11615566B2 (en) | 2017-05-10 | 2023-03-28 | Fotonation Limited | Multi-camera vehicle vision system and method |
US10331960B2 (en) | 2017-05-10 | 2019-06-25 | Fotonation Limited | Methods for detecting, identifying and displaying object information with a multi-camera vision system |
US11488379B2 (en) | 2018-03-13 | 2022-11-01 | Harman International Industries, Incorporated | Apparatus and method for automatic failure threshold detection for images |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JP3065822B2 (ja) | 1992-11-06 | 2000-07-17 | 株式会社豊田中央研究所 | 移動物体検出装置 |
JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
JP2854805B2 (ja) * | 1994-06-15 | 1999-02-10 | 富士通株式会社 | 物体認識方法および視覚装置 |
JPH08138053A (ja) * | 1994-11-08 | 1996-05-31 | Canon Inc | 被写体情報処理装置及び遠隔装置 |
JP3035768B2 (ja) * | 1995-05-22 | 2000-04-24 | 本田技研工業株式会社 | 車両用対照物検知装置 |
JPH0979821A (ja) | 1995-09-12 | 1997-03-28 | Suzuki Motor Corp | 障害物認識装置 |
TW349211B (en) * | 1996-01-12 | 1999-01-01 | Sumitomo Electric Industries | Method snd apparatus traffic jam measurement, and method and apparatus for image processing |
JP3337197B2 (ja) * | 1997-04-04 | 2002-10-21 | 富士重工業株式会社 | 車外監視装置 |
-
1999
- 1999-06-16 JP JP16956799A patent/JP4391624B2/ja not_active Expired - Fee Related
-
2000
- 2000-05-17 US US09/572,249 patent/US6853738B1/en not_active Expired - Fee Related
- 2000-06-15 DE DE10029423A patent/DE10029423B4/de not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6775395B2 (en) | 2000-03-27 | 2004-08-10 | Honda Giken Kogyo Kabushiki Kaisha | Object recognition system |
DE10115080B4 (de) * | 2000-03-27 | 2007-07-19 | Honda Giken Kogyo K.K. | Objekterkennungssystem |
DE10219788C1 (de) * | 2002-05-03 | 2003-11-13 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen |
DE102010021807A1 (de) | 2010-05-27 | 2011-12-01 | Sick Ag | Lichttaster in V-Anordnung |
DE102010021807B4 (de) | 2010-05-27 | 2018-03-29 | Sick Ag | Lichttaster in V-Anordnung |
Also Published As
Publication number | Publication date |
---|---|
JP4391624B2 (ja) | 2009-12-24 |
US6853738B1 (en) | 2005-02-08 |
DE10029423B4 (de) | 2011-04-14 |
JP2001004368A (ja) | 2001-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10029423B4 (de) | Objekterkennungssystem | |
DE10029866B4 (de) | Objekterkennungssystem | |
DE10115080B4 (de) | Objekterkennungssystem | |
DE102018116111B4 (de) | Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung | |
DE10026586B4 (de) | Objekterfassungssystem | |
DE4308776C2 (de) | Einrichtung zum Überwachen des Außenraums eines Fahrzeugs | |
DE69937699T2 (de) | Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges | |
DE102013205952B4 (de) | Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads | |
DE102009050502A1 (de) | Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes | |
DE102009048892A1 (de) | Pixelbasierte strukturreiche Detektion eines freien Pfads | |
DE112009000949T5 (de) | Detektion eines freien Fahrpfads für ein Fahrzeug | |
DE102009050492A1 (de) | Detektion eines freien Pfads unter Verwendung eines segmentierungsbasierten Verfahrens | |
DE102009048699A1 (de) | Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads | |
DE10228638A1 (de) | Fahrzeugzonen-Überwachungsvorrichtung | |
DE102009050501A1 (de) | Verbesserte Detektion eines freien Pfads bei Vorhandensein eines Verkehrsinfrastrukturindikators | |
DE102009050504A1 (de) | Verfahren zum Detektieren eines freien Pfads durch eine Analyse einer topografischen Veränderung | |
DE102016111307B4 (de) | Fahrzeug-Außenumgebungs-Erkennungsvorrichtung | |
DE102013211930A1 (de) | Binokulares Objektvergleichsverfahren mit breiter Basislinie unter Verwendung eines Flussnetzes mit minimalen Kosten | |
DE102011111440A1 (de) | Verfahren zur Umgebungsrepräsentation | |
DE102020129096A1 (de) | Erzeugung dreidimensionaler punktwolken mittels einer polarimetrischen kamera in einem mit einem fahrassistenzsystem ausgestatteten fahrzeug | |
DE102018123393A1 (de) | Erkennung von Parkflächen | |
EP2736017A2 (de) | Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs | |
DE10019462B4 (de) | Straßensensorsystem, Straßenerfassungssystem und Verfahren zur Bestimmung der Straßenfläche | |
EP1298012B1 (de) | Verfahren zur Erkennung und Verfolgung von Objekten | |
DE102011111856B4 (de) | Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
R020 | Patent grant now final | ||
R020 | Patent grant now final |
Effective date: 20110830 |
|
R084 | Declaration of willingness to licence | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20150101 |