DE10115080B4

DE10115080B4 - Objekterkennungssystem

Info

Publication number: DE10115080B4
Application number: DE10115080A
Authority: DE
Inventors: Morimichi Wako Nishigaki; Tomoyoshi Wako Aoki; Hiromitsu Wako Yuhara; Masakazu Wako Saka
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-03-27
Filing date: 2001-03-27
Publication date: 2007-07-19
Anticipated expiration: 2021-03-28
Also published as: US6775395B2; DE10115080A1; JP2001273494A; US20010028729A1; JP4414054B2

Abstract

Objekterkennungssystem mit wenigstens zwei Bildsensoren (3, 3') und einer Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47), welche ausgebildet ist, einen Abstand (a) von dem System zu einem Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) in Bezug auf jeweilige Fenster (W₁₁, W₁₂, W_1F, W_A1, W_AF) eines durch die Sensoren (3, 3') erfassten Bildes zu messen, wobei die Steuer/Regeleinrichtung programmiert ist,
– durch Vereinigung benachbarter Fenster (W₇₅, W₈₄, W₈₅), welche ähnliche gemessene Abstände (a) aufweisen, Gruppierungen (C11-C17; C21-C31) zu bilden,
– auf Grundlage von Attributen der Gruppierung (C11-C17; C21-C31) jede Gruppierung (C11-C17; C21-C31) dahingehend zu beurteilen, ob sie gültig oder ungültig ist, und
– das körperliche Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) auf Grundlage der als gültig beurteilten...

Description

Die vorliegende Erfindung betrifft ein optisches Objekterkennungssystem, welches Objekte vor einem Fahrzeug, wie z.B. ein Automobil usw. durch Verwendung einer Bilderfassungsvorrichtung mit wenigstens zwei an dem Fahrzeug montierten Kameras erfasst. Genauer betrifft die Erfindung ein Objekterkennungssystem, welches Objekte durch Verwendung einer Mehrzahl von Fenstern in den erfassten Bildern erkennt.
In den letzten Jahren wurden Vorrichtungen, welche den Abstand und die Größe von Objekten vor einem Fahrzeug bestimmen und welche das Fahrzeug nach Maßgabe dieser Bestimmung in geeigneter Weise steuern/regeln, zum Zwecke einer Verbesserung der Sicherheit des Fahrzeugbetriebs vorgeschlagen.

Die offengelegte japanische Patentanmeldung Nr. Hei 9-79821 beschreibt ein Beispiel eines Systems, welches eine optische Abstandsmessvorrichtung, umfassend zwei Licht empfangende Elemente verwendet, um zu bestimmen, ob ein Objekt, dessen Abstand erfasst wurde, ein körperliches Objekt oder ein Fahrbahnbereich (einschließlich Buchstaben oder weißer Linien auf der Fahrbahnoberfläche) ist. Das System berechnet Abstände für jeweilige Berechnungsbereiche und erkennt die Bereiche, in welchen Hindernisse vorhanden sind durch Gruppieren von Berechnungsbereichen, deren gegenseitige Abstände sich innerhalb eines festgelegten Bereichs befinden und in der horizontalen Richtung nahe beieinander liegen. Im Falle dieses Gruppierens werden ebenso Berechnungsbereiche gruppiert, deren Abstände nicht gemessen wurden.

Die vom selben Anmelder wie die vorliegende Erfindung angemeldete japanische Patentanmeldung Nr. Hei 11-169567 (Veröffentlichungsnr.: 2001-004368), welche am 16. Juni 1999 eingereicht wurde und der DE 10029423 A1 entspricht, beschreibt ein System, welches in der Lage ist, Objekte schnell zu erkennen, indem es einzelnen Fenstern nach Maßgabe des für die jeweiligen Fenster gemessenen Abstands Abstandskennzeichnungen zuweist und die Fenster auf Grundlage der Abstandskennzeichnungen gruppiert. Die Abstandskennzeichnungen sind für Abstandsbereiche vorbestimmt, welche wiederum nach Maßgabe von Fehlern in gemessenen Abständen vorbestimmt sind. Da Fenstern Abstandskennzeichnungen entsprechend den Abstandsbereichen zugeordnet sind, zu welchen die für die jeweiligen Fenster gemessenen Abstände gehören, werden die Fenster, welche das gleiche Objekt repräsentieren exakt gruppiert, was gestattet, dass das Objekt vor dem Fahrzeug mit größerer Genauigkeit erkannt wird.

Objekterkennungssysteme, wie das oben beschriebene, erkennen Objekte jedoch unter Umständen aufgrund von Regentropfen auf der Fahrzeug-Windabschirmung, z.B. der Windschutzscheibe, vor den abbildenden Kameras oder aufgrund von Rauschen in Bildern fehlerhaft. Beim Umgang mit dieser Situation verursachen Versuche, Regentropfen unter Verwendung von Technologien zur Erkennung der Außenumgebung bei schlechtem Wetter vermittels von mit sichtbarem Licht arbeitenden Kameras, Infrarotkameras, Regensensoren oder anderen äußeren Sensoren zu erfassen, wie in der offengelegten japanischen Patentanmeldung Nr. 2000-19259 offenbart, hohe Kosten.

Andererseits erfordert ein von der Objekterkennung gesondertes Prüfen der Gültigkeit einer Objekterkennung aus erfassten Bildern, um zu verhindern, dass Objekte aufgrund von Regentropfen oder Rauschen fehlerhaft erkannt werden, zusätzliche Verarbeitungszeit und Speicherkapazität.

Die Druckschrift EP 0 874 331 A2 offenbart ein Verfahren zur Objekterkennung, bei welchem ein Bild in eine Mehrzahl von Blöcken unterteilt wird, welche wenigstens aus einem Bildelement aufgebaut sind. Blöcke mit ähnlichen Entfernungsdaten werden gesammelt und zu unabhängigen Gruppen gruppiert. Die Flächengröße der unabhängigen Gruppen wird jeweils berechnet und es werden dann Bilddaten als Objektdaten extrahiert, wenn die Flächengröße einer Gruppe einen vorbestimmten Schwellenwert übersteigt. Wird dieser Schwellenwert nicht überstiegen, werden die Bilddaten des betreffenden Blocks verworfen. Bei dem bekannten Verfahren wird eine Objekterkennung auch dann durchgeführt, wenn die Bilddaten verworfen werden.

Es ist somit eine Aufgabe der vorliegenden Erfindung, ein Objekterkennungssystem bereitzustellen, welches mit hoher Zuverlässigkeit die Gültigkeit von erfassten Bildern auf Grundlage der für Fenster gemessenen Abstände beurteilt, anstatt gesonderte Sensoren zu verwenden, und welches frei von einer durch Regentropfen oder Rauschen verursachten fehlerhaften Erkennung ist.

Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein Objekterkennungssystem bereitzustellen, welches die Gültigkeit einer Objekterkennung während des Prozesses der Objekterkennung beurteilt, was die Anforderungen an Verarbeitungszeit und Speicherkapazität verringert.

Gemäß einem Gesichtspunkt der Erfindung wird ein Objekterkennungssystem bereitgestellt mit wenigstens zwei Bildsensoren und einer Steuer/Regeleinrichtung, welche ausgebildet ist, den Abstand von dem System zu einem Objekt in bezug auf jeweilige Fenster eines durch die Sensoren erfassten Bildes zu messen. Die Steuer/Regeleinrichtung ist programmiert, durch Vereinigung benachbarter Fenster, welche ähnliche gemessene Abstände aufweisen, Gruppierungen zu bilden und auf Grundlage der Attribute der Gruppierung jede Gruppierung dahingehend zu beurteilen, ob sie gültig oder ungültig ist. Die Steuer/Regeleinrichtung ist weiter programmiert, das körperliche Objekt auf Grundlage der als gültig beurteilten Gruppierungen zu erkennen.

Gemäß einem Gesichtspunkt der Erfindung können die Attribute der Gruppierung eine Fläche der Gruppierung umfassen. Die Steuer/Regeleinrichtung kann derart programmiert sein, dass sie die Fläche der Gruppierung auf Grundlage der Anzahl von in der Gruppierung enthaltener Fenster und des gemessenen Abstands eines jeden Fensters berechnet. Die Steuer/Regeleinrichtung kann derart programmiert sein, dass sie die Gruppierung als gültig beurteilt, falls der Bereich größer als ein vorbestimmter Schwellenwert ist.

Gemäß einem zweiten Gesichtspunkt der Erfindung können die Attribute der Gruppierung die Anzahl von in der Gruppierung enthaltenen Fenstern umfassen. Die Steuer/Regeleinrichtung kann programmiert sein, zu beurteilen, dass die Gruppierung gültig ist, falls die Anzahl von in der Gruppierung enthaltenen Fenstern größer als ein Schwellenwert ist, welcher nach Maßgabe der gemessenen Abstände der in der Gruppierung enthaltenen Fenster vorbestimmt ist.

Gemäß der Erfindung ist die Steuer/Regeleinrichtung weiterhin dazu programmiert, einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen zu erfassen.

Gemäß einem weiteren Gesichtspunkt der Erfindung, kann die Steuer/Regeleinrichtung weiterhin programmiert sein, einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage des Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zur Gesamtanzahl von in dem erfassten Bild vorhandenen Gruppierungen zu erfassen.

Gemäß der Erfindung ist der Prozess des Erkennens des Objektes oder die Steuerung/Regelung des das System tragenden Fahrzeugs auf Grundlage des erkannten Objektes vorteilhafterweise deaktiviert, falls die Steuer/Regeleinrichtung beurteilt, dass sich das erfasste Bild im Fehlerzustand befindet.

Gemäß einem weiteren Gesichtspunkt der Erfindung wird ein Verfahren zur Erkennung eines körperlichen Objektes vor einem Fahrzeug bereitgestellt. Das Verfahren umfasst:

– Erfassen eines Bildes vor dem Fahrzeug unter Verwendung von wenigstens zwei Bildsensoren;
– Messen eines Abstandes von dem Fahrzeug zu einem körperlichen Objekt in Bezug auf jeweilige Fenster des erfassten Bildes;
– Vereinigen benachbarter Fenster, welche ähnliche gemessene Abstände aufweisen, um Gruppierungen zu bilden;
– Beurteilen einer jeden Gruppierung dahingehend, ob sie gültig oder ungültig ist, auf Grundlage der Attribute der Gruppierung; sowie
– Erkennen des körperlichen Objektes auf Grundlage der als gültig beurteilten Gruppierungen.

Die Attribute der Gruppierung können eine Fläche der Gruppierung umfassen. Der Schritt des Beurteilens kann umfassen:

– Berechnen der Fläche der Gruppierung auf Grundlage der Anzahl von in der Gruppierung enthaltenen Fenstern sowie des gemessenen Abstands eines jeden Fensters, und
– Beurteilen, dass die Gruppierung gültig ist, falls die Fläche größer als ein vorbestimmter Schwellenwert ist.

Gemäß einem weiteren Gesichtspunkt der Erfindung können die Attribute der Gruppierung die Anzahl von in der Gruppierung enthaltenen Fenster umfassen, und der Schritt des Beurteilens kann umfassen:

– Beurteilen, dass die Gruppierung gültig ist, falls die Anzahl von in der Gruppierung enthaltenen Fenstern größer ist als ein Schwellenwert, welcher nach Maßgabe der gemessenen Abstände der in der Gruppierung enthaltenen Fenster vorbestimmt ist.

Gemäß der Erfindung umfasst das Verfahren zur Erkennung eines physikalischen Objekts weiterhin ein Erfassen eines beliebigen Fehlerzustands des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen.

Gemäß einem weiteren Gesichtspunkt der Erfindung kann das Verfahren zur Erkennung eines körperlichen Objekts weiterhin ein Erfassen eines beliebigen Fehlerzustandes des erfassten Bildes auf Grundlage des Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zu der Gesamtanzahl von in dem erfassten Bild enthaltenen Gruppierungen umfassen.

Gemäß der Erfindung wird der Schritt des Erkennens oder die Steuerung/Regelung des Fahrzeugs auf Grundlage des erkannten Objekts deaktiviert, falls beurteilt wird, dass sich das erfasste Bild in dem Fehlerzustand befindet.

Die Steuer/Regeleinrichtung kann umfassen: eine Mikro-Steuer/Regeleinrichtung, welche typischerweise eine Zentraleinheit (CPU = central processing unit, zentrale Verarbeitungseinheit) oder einen Mikroprozessor, einen Nur-Lesespeicher (ROM = read only memory), umfassend Steuerprogramme, welche dann, wenn sie durch den Prozessor ausgeführt werden, jeweilige Funktionen ausführen, die im Folgenden erläutert werden sollen. Die Steuer/Regeleinrichtung umfasst weiterhin einen Random Access-Speicher (RAM = random access memory), welcher einen Arbeitsbereich für die CPU und einen temporären Speicher für verschiedene Daten und Programme bereitstellt.

Die Erfindung wird nun in Bezug auf bevorzugte Ausführungsformen mit Bezugnahme auf die beiliegenden Zeichnungen beschrieben werden. Es stellt dar:
1 ist ein Blockdiagramm, welches die Gesamtstruktur sowie funktionale Blöcke der Steuer/Regeleinrichtung einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
2 ist ein Diagramm, welches ein Messprinzip durch das Triangulationsverfahren veranschaulicht.
3(a) ist ein Diagramm, welches das erfasste Bild zeigt, und
3(b) zeigt das zum Zwecke einer Beurteilung von Abständen und Fahrbahnbereichen in kleine Bereiche (Fenster) unterteilte Bild gemäß einer Ausführungsform der vorliegenden Erfindung.
4(a) ist ein Diagramm, welches die Unterteilung eines Erfassungsbereichs zeigt, und
4(b) zeigt das Einstellen von Abstandsbereichen und Abstandsniveaus in einer Ausführungsform der vorliegenden Erfindung.
5 ist eine Tabelle, welche die Unterteilung von Abständen unter Berücksichtigung von Fehlern der gemessenen Abstände in einer Ausführungsform der vorliegenden Erfindung zeigt.
6 ist ein Diagramm, welches ein Gruppierungsschema gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.
7 ist ein Diagramm, welches eine Schablone und ein Verfahren zur Bestimmung von Gruppierungskennzeichnungen veranschaulicht, welche in einer Ausführungsform der vorliegenden Erfindung verwendet werden.
8(a) und 8(b) sind Diagramme, welche ein Verfahren der Bestimmung der horizontalen Länge und der vertikalen Länge eines erfassten Objekts in einer Ausführungsform der vorliegenden Erfindung veranschaulichen.
9 ist ein Diagramm, welches Veränderungen der Anzahl von ungültigen Gruppierungen in Abhängigkeit von Regenniederschlag in einer Ausführungsform der vorliegenden Erfindung zeigt.
10(a) bis 10(c) sind Diagramme, welche ein Verfahren des Erkennens von Objekten im vorhergehenden Zyklus in einer Ausführungsform der vorliegenden Erfindung veranschaulichen, wobei 10(a) ein erfasstes Bild zeigt, 10(b) Gruppierungen auf Grundlage des erfassten Bilds zeigt, und 10(c) erkannte körperliche Objekte zeigt.
10(d) bis 10(f) sind Diagramme, welche ein Verfahren des Erkennens von Objekten im aktuellen Zyklus in einer Ausführungsform der vorliegenden Erfindung veranschaulichen, wobei 10(d) ein erfasstes Bild zeigt, 10(e) Gruppierungen auf Grundlage des erfassten Bildes zeigt, und 10(f) erkannte körperliche Objekte zeigt.
11 ist eine Tabelle, welche Kombinationen von Gruppierungen in einer Ausführungsform der vorliegenden Erfindung zeigt.
1 ist ein Gesamtblockdiagramm eines Objekterkennungssystems gemäß einer Ausführungsform der vorliegenden Erfindung. Im Gegensatz zu den Sensoren 3 und 3' können alle Blöcke in 1 in einer Steuer/Regeleinrichtung eingebaut sein, welche eine halbleiter-integrierte Schaltung auf einem einzelnen Chip oder auf mehreren Chips umfasst. Somit zeigt 1 funktionale Blöcke der Steuer/Regeleinrichtung. Jeweilige Funktionen der Blöcke werden durch Ausführung jeweiliger im ROM der Steuer/Regeleinrichtung gespeicherter Programme durchgeführt.
Ein Verfahren der Erkennung von Objekten gemäß einer Ausführungsform umfasst eine Berechnung gemessener Abstände, eine Umwandlung der gemessenen Abstände in Abstandskennzeichnungen, eine Gruppierung von Fenstern, eine Beurteilung der Gültigkeit einer jeden Gruppierung, eine Erfassung eines Fehlerzustands sowie ein Erkennen von Objekten.
Im Prozess der Berechnung gemessener Abstände schneidet ein Fensterausschnittsteil 13 Fenster aus dem von Bildsensoren 3 und 3' erfassten und in Bildspeichern 5 und 5' gespeicherten Bild aus. Dann berechnet ein Korrelationsberechnungsteil 6 und ein Abstandsberechnungsteil 7 gemessene Abstände für einzelne Fenster. In dem Prozess der Umwandlung der gemessenen Abstände in Abstandskennzeichnungen weist ein Abstandswandler 10 den Fenstern Abstandskennzeichnungen nach Maßgabe der für jeweilige Fenster berechneten gemessenen Abstände zu. In dem Prozess der Gruppierung von Fenstern gruppiert ein Gruppierungsteil 11 die Fenster gemäß der zugewiesenen Abstandskennzeichnungen, um Gruppierungen zu bilden.
In dem Prozess der Beurteilung der Gültigkeit einer jeden Gruppierung beurteilt ein Gruppierungsbeurteilungsteil 12, ob jede gebildete Gruppierung gültig oder ungültig ist, nach Maßgabe ihrer Attribute. Im Prozess der Erfassung eines Fehlerzustands erfasst ein Fehlerdetektor 14 einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage der als ungültig beurteilten Gruppierungen. In dem Prozess der Erkennung von Objekten durchlaufen ein Gruppierungsauswahlteil 21, ein Kandidatenerzeugungsteil 22, ein körperliches-Objekt-Erkennungsteil 23 sowie ein körperliches-Objekt-Folgerungsteil 31 eine Objekterkennungssequenz unter Verwendung von Information über die in der Vergangenheit erkannten Objekte.
Eine Fahrzeugsteuer/-regeleinrichtung 45 steuert/regelt das Fahrzeug auf Grundlage der Ergebnisse der Objekterkennungssequenz. Falls ein Fehlerzustand durch den Fehlerdetektor 14 erfasst ist, macht die Fahrzeugsteuer/-regeleinrichtung 45 die Ergebnisse der Objekterkennungssequenz ungültig und deaktiviert die Fahrzeugsteuerung/-regelung, welche auf diesen Ergebnissen basiert. Jeder der Prozesse wird im Folgenden mit Bezugnahme auf die Zeichnungen ausführlich beschrieben werden:
Berechnung eines gemessenen Abstandes
2 ist ein Diagramm, welches das in der vorliegenden Ausführungsform verwendete, auf dem Triangulationsverfahren basierende Abstandsmessprinzip darstellt. Als erstes wird ein Abstandsmessverfahren unter Verwendung eines Paars von Bildsensoren mit Bezugnahme auf 2 erläutert werden. Ein Liniensensor 21 und eine Linse 23, welche einen aus dem oben erwähnten Paar von Bildsensoren bilden, sind bei einem bestimmten Abstand, d.h. bei einem Abstand, welcher gleich der Basislinienlänge B in der horizontalen oder vertikalen Richtung vom Liniensensor 22 und von der Linse 24 eingebaut, welche den anderen Bildsensor des Paars bilden. Die Liniensensoren 21 und 22 sind typischerweise eindimensionale CCDs, können jedoch ebenso linear angeordnete Fotosensorfelder sein. Zieht man eine Verwendung bei Nacht in Betracht, so sind Infrarotlicht verwendende Bildsensoren zu bevorzugen. In diesem Falle ist es bevorzugt, Infrarot-transparente Filter vor den Linsen 23 und 24 einzubauen und das System derart aufzubauen, dass ein Objekt 20 in vorbestimmten Zeitintervallen unter Verwendung einer Infrarotlichtquelle beleuchtet wird. Von dem Objekt 20 reflektiertes Infrarotlicht wird von den Liniensensoren 21 und 22 erfühlt bzw. erfasst.
Die Liniensensoren 21 und 22 sind jeweils bei den Brennweiten "f" der Linsen 23 und 24 angeordnet. Angenommen, ein Bild eines Objekts, welches bei Abstand "a" von der Ebene der Linsen 23 und 24 gelegen ist, ist im Falle des Liniensensors 21 an einer um einen Abstand X1 von der optischen Achse der Linse 23 verschobenen Position gebildet, und ist im Falle des Liniensensors 22 bei einer um einen Abstand X2 von der optischen Achse der Linse 24 verschobenen Position gebildet, dann ist der Abstand "a" zum Objekt 20 von der Ebene der Linsen 23 und 24 gemäß dem Triangulationsprinzip durch folgende Gleichung bestimmt: a = B·f/(X1 + X2).
In der vorliegenden Ausführungsform sind die Bilder digitalisiert. Dementsprechend wird der Abstand (X1 + X2) digital berechnet. Die Summe der Absolutwerte der Unterschiede zwischen den digitalen Werten, welche die Helligkeit der entsprechenden Pixel sowohl von dem vom Liniensensor 21 erhaltenen Bild als auch von dem vom Liniensensor 22 erhaltenen Bild anzeigen, wird bestimmt, während eines von diesen Bildern oder beide Bilder verschoben werden. Diese Summe wird als ein Korrelationswert genommen. Der Verschiebungsbetrag der Bilder zeigt dann, wenn dieser Korrelationswert bei einem Minimum ist, die Positionsabweichung zwischen den beiden Bildern an, d.h. (X1 + X2). Idealisiert ausgedrückt: Der Abstand, welchen die zwei von den Liniensensoren 21 und 22 erhaltenen Bilder bewegt werden müssen, um zu veranlassen, dass sich diese Bilder wie in 2 gezeigt überlappen, beträgt (X1 + X2).
Hier wurden der Einfachheit halber die Bildsensoren als eindimensionale Liniensensoren 21 und 22 beschrieben. In einer Ausführungsform der vorliegenden Erfindung jedoch, wie später erläutert werden wird, werden zweidimensionale CCDs oder zweidimensionale Fotosensorfelder als Bildsensoren verwendet. In diesem Falle werden die gleichen Korrelationsberechnungen wie die oben beschriebenen durch relatives Verschieben der von den beiden Bildsensoren erhaltenen zweidimensionalen Bilder durchgeführt. Der Verschiebungsbetrag an dem Punkt, an welchem der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2).
Der in 1 gezeigte Bildsensor 3 entspricht einem der Bildsensoren in 2, bestehend aus der Linse 23 und dem Liniensensor 21, und der Bildsensor 3' entspricht dem anderen Bildsensor in 2, bestehend aus der Linse 24 und dem Liniensensor 22. In dieser Ausführungsform, wie in 3(b) gezeigt ist, ist der abgebildete Bereich in eine Mehrzahl von Fenstern (kleine Abschnitte) W₁₁, W₁₂, ... unterteilt und für jedes Fenster wird ein Abstand gemessen. Dementsprechend ist ein zweidimensionales Bild des gesamten Objekts erforderlich. Dementsprechend umfasst jeder der Bildsensoren 3 und 3' ein zweidimensionales CCD-Feld oder ein zweidimensionales Fotosensorfeld.
3(a) zeigt ein Beispiel des Bildes, welches erhalten wird, wenn ein weiteres Fahrzeug, das vor dem das System der vorliegenden Erfindung tragenden Fahrzeug fährt, durch einen der Bildsensoren 3 oder 3' abgebildet wird. 3(b) zeigt das Bild in 3(a) schematisch in eine Mehrzahl von als "Fenster" bezeichneten kleinen Abschnitten geteilt. 3(b) weist in vertikaler Richtung Reihen und in horizontaler Richtung Spalten auf. Der Einfachheit halber ist das Bild in zehn Reihen mal fünfzehn Spalten von Fenstern geteilt gezeigt. Den jeweiligen Fenstern sind Bezugszeichen zugewiesen. Beispielsweise bezeichnet W₁₂ das Fenster in Reihe 1, Spalte 2.
Bezugnehmend auf 1 werden die von den Bildsensoren 3 und 3' erfassten Bilder von Objekten durch Analog-Digital-Wandler (A/D-Wandler) 4 und 4' in digitale Daten umgewandelt und in Bildspeicher 5 und 5' gespeichert. Die dem Fenster W₁₁ entsprechenden Bildabschnitte werden jeweils durch ein Fensterausschnittsteil 9 aus den Bildspeichern 5 und 5' ausgeschnitten und zu einem Korrelationsberechnungsteil 6 gesendet. Das Korrelationsberechnungsteil 6 verschiebt die zwei ausgeschnittenen Bilder pro Zeiteinheit um eine bestimmte Einheit und führt die vorgenannten Korrelationsberechnungen durch. Der Verschiebungsbetrag an dem Punkt, an welchem der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2). Das Korrelationsberechnungsteil 6 sendet den so bestimmten (X1 + X2)-Wert zu einem Abstandsberechnungsteil 7.
Das Abstandsberechnungsteil 7 bestimmt den Abstand a₁₁ zu dem Objekt im Fenster W₁₁, unter Verwendung der vorgenannten Formel: a = B f/(X1 + X2). Der so bestimmte Abstand a₁₁ wird in einem Abstandsspeicher 8 gespeichert. Ein ähnlicher Berechnungsprozess wird nachfolgend für jeweilige Fenster durchgeführt und die sich ergebenden Abstände a₁₁, a₁₂, ... werden im Abstandsspeicher 8 gespeichert. Der für jedes Fenster berechnete Abstand zu einem erfassten Objekt wird als der gemessene Abstand des Fensters bezeichnet.
Bei den in den vorgenannten Korrelationsberechnungen verwendeten Bilddaten bestimmt die Elementteilung im Abbildungselementfeld die Auflösung. Dementsprechend ist es dann, wenn ein Licht empfangendes Element, wie z.B. ein Fotosensorfeld verwendet wird, welches eine relativ große Teilung aufweist, bevorzugt, die Dichte der Bilddaten durch Durchführung von Berechnungen, umfassend eine Zwischenteilungsinterpolation, zu vergrößern. Korrelationsberechnungen können für Bilddaten durchgeführt werden, deren Dichte so erhöht wurde.
Darüber hinaus kann ein Temperatursensor in der Nähe des Bildelementfeldes angeordnet sein, um temperaturgemäße Schwankungen in den Eigenschaften des Bildelementfeldes zu korrigieren, und die Abstandsberechnungen werden auf Grundlage von Temperaturinformationen korrigiert, welche von dem Temperatursensor erhalten werden.
In einer Ausführungsform der vorliegenden Erfindung können aus den für die Fenster berechneten gemessenen Abständen die als Fahrbahnoberflächenabstände beurteilten gemessenen Abstände ausgeschlossen sein. Der Fahrbahnoberflächenabstand ist der Abstand von den Bildsensoren zur Fahrbahnoberfläche, wenn das Fahrzeug parallel zur Fahrbahnoberfläche ist. Dieser Abstand kann im Vorhinein auf Grundlage der Anbringungspositionen, Einbauwinkel, Basislinienlänge, Brennweiten und Größe der Bildsensoren 3 und 3' (realisiert durch CCD-Felder) sowie der Positionen der Fenster in dem Bild bestimmt und in einem Speicher gespeichert sein. Falls der gemessene Abstand nahe am oder größer als der Fahrbahnoberflächenabstand ist, wird beurteilt, dass das durch das Fenster repräsentierte Objekt eine Fahrbahnoberfläche und kein Objekt auf der Fahrbahn ist. Dann können diejenigen gemessenen Abstände der Fenster, welche als zur Fahrbahnoberfläche gehörend beurteilt sind, aus dem Abstandsspeicher 8 gelöscht werden.
Umwandlung von gemessenen Abständen in Abstandskennzeichnungen
Bezugnehmend auf 1 weist der Abstandswandler 10 Fenstern Abstandskennzeichnungen zu, welche Abstandsbereichen zugeordnet sind, zu welchen gemessene Abstände der jeweiligen Fenster gehören. Abstandsbereiche und zugeordnete Abstandskennzeichnungen sind voreingestellt und in einer Abstandsumwandlungstabelle 9 gespeichert.
Ein Verfahren der Einstellung von Abstandsbereichen wird unter Bezugnahme auf 4 beschrieben werden. Ein Beispiel eines Erfassungsbereichs 100 ist in 4(a) gezeigt. Der Erfassungsbereich 100 ist ein Bereich, in welchem Abstände durch die Bildsensoren 3 und 3' gemessen werden können. Der Bereich 100 ist auf Grundlage der Spezifikation und der Positionen der Bildsensoren 3 und 3' bestimmt. Beispielsweise kann der Erfassungsbereich 100 mit einem Abstandsbereich von 60 Metern und einem Winkelbereich von 30 Grad eingestellt sein. Der Erfassungsbereich 100 kann im Vorhinhein festgelegt sein.
Alternativ kann der Erfassungsbereich 100 dynamisch nach Maßgabe der Fahrzeuggeschwindigkeit eingestellt werden. In diesem Falle wird der Erfassungsbereich 100 derart eingestellt, dass mit einer Zunahme der Fahrzeuggeschwindigkeit der Abstandsbereich größer wird und der Winkelbereich kleiner wird.
Der Erfassungsbereich 100 ist in eine Mehrzahl von Abstandsbereichen derart unterteilt, dass es zu keiner Überlappung kommt. In dieser Ausführungsform sinkt die Genauigkeit der gemessenen Abstände mit einer Zunahme des Abstands von dem die Bildsensoren 3 und 3' tragenden Fahrzeug. Dementsprechend ist der Erfassungsbereich 100 derart unterteilt, dass er mit zunehmenden Abstand vom Fahrzeug ausgedehntere Abstandsbereiche aufweist, wie durch S1 bis S6 in 4 gezeigt ist.
Die Abstandsbereiche sind nach Maßgabe der Toleranz bei den gemessenen Abständen eingestellt. Dabei hängt der Wert der Abstandstoleranz von den Spezifikationen usw. der Bildsensoren 3 und 3' ab. Bei der vorliegenden Ausführungsform sind die Abstandsbereiche mit einer Abstandstoleranz von 30 % für eine Hochgeschwindigkeitsverarbeitung eingestellt, da eine Genauigkeit von 10 % Toleranz nicht für alle Pixel gewährleistet werden kann. Dementsprechend ist der Abstandsbereich für einen bestimmten gegebenen Abstand eingestellt als "Abstand ~ (Abstand × (1 + 0,3))".
Ein Verfahren zur Zuweisung von Abstandskennzeichnungen zu Abstandsbereichen wird unter Bezugnahme auf 5 erläutert werden. 5 ist eine Tabelle, welche die Beziehung zwischen Abständen und den Abstandskennzeichnungen zeigt, wobei die Toleranz auf 30 % eingestellt ist. Die Abstandseinheit beträgt 0,1 Meter. Für unterschiedliche Abstandsbereiche werden unterschiedliche Abstandskennzeichnungen bereitgestellt. Beispielsweise beträgt im Falle eines Abstands von "1" 30 % des Abstandes 0 (Werte der Dezimalstellen hinter dem Komma werden weggelassen). Dementsprechend wird die Abstandskennzeichnung "1" dem Abstand "1" zugewiesen. Im Falle eines Abstands von "2" wird diesem Abstand die Kennzeichnung "2" zugewiesen, da 30 % des Abstandes 0 beträgt. Hierbei erhöht sich die Abstandskennzeichnung jedesmal um 1, wenn sich der Abstandsbereich ändert. Im Falle eines Abstandes von "20" betragen 30 % des Abstandes "6". Dementsprechend wird dem Abstandsbereich von "20" bis "26" eine Abstandskennzeichnung "9" zugewiesen. Auf diese Weise werden die Abstandsbereiche von kurzen Abständen zu langen Abständen progressiv eingestellt, sodass jede Abstandskennzeichnung einem Abstandsbereich zugewiesen wird. Andere unterscheidbare Symbole, wie z.B. Buchstaben des Alphabets usw. können ebenso als Abstandskennzeichnungen verwendet werden.
In der vorliegenden Ausführungsform sind der Einfachheit halber einige in 5 gezeigte Abstandsbereiche kombiniert, um größere Abstandsbereiche zu bilden, sodass die Abstandsbereiche S1 bis S6 wie in 4(b) eingestellt sind, und neue Abstandskennzeichnungen 1 bis 6 diesen Abstandsbereichen jeweils zugewiesen werden. 4(a) zeigt die Abstandsbereiche S1 bis S6 von 4(b).
Wenn der Erfassungsbereich im Vorhinein festgelegt ist, sind die Abstandsbereiche, welchen so Abstandskennzeichnungen zugewiesen wurden, als eine Abstandsumwandlungstabelle 9 gespeichert. Wenn der Erfassungsbereich andererseits dynamisch aktualisiert wird, kann die gespeicherte Abstandsumwandlungstabelle dynamisch aktualisiert werden.
Der Abstandswandler 10 in 1 wandelt den gemessenen Abstand eines jeden Fensters in eine entsprechende Abstandskennzeichnung auf Grundlage der Abstandsumwandlungstabelle 9 um. Fenstern, für die beispielsweise aufgrund fehlenden Kontrastes keine gemessenen Abstände erhältlich sind, wird eine in der Abstandsumwandlungstabelle 9 nicht verwendete Kennzeichnung – beispielsweise "0" – zugewiesen.
Bezugnehmend auf 6 als ein Beispiel zeigt 6(a) die gemessenen Abstände der Fenster in einem erfassten Bild, während 6(b) die den Fenstern auf Grundlage der in 4(b) gezeigten Abstandsumwandlungstabelle 9 zugewiesenen Abstandskennzeichnungen zeigt.
Gruppieren von Fenstern
Das Gruppierungsteil 11 weist den jeweiligen Fenstern auf Grundlage der Abstandskennzeichnungen Gruppierungskennzeichnungen zu. Aus Fenstern, welche die gleichen Gruppierungskennzeichnungen aufweisen, wird eine integrale Gruppierung gebildet. Das Gruppieren kann unter Verwendung eines bekannten Verfahrens durchgeführt werden. Bei der vorliegenden Ausführungsform wird ein Gruppierungsprozess unter Verwendung einer in 7 gezeigten Schablone verwendet. Der Gruppierungsprozess ist ausführlich in der US-Patentanmeldung mit dem Aktenzeichen 09/572,249 (entspricht der DE 10029423 A1 ) beschrieben, welche hierin durch Bezugnahme enthalten ist.
Das Gruppierungsteil 11 weist den Fenstern unter Verwendung der in 7 gezeigten Schablone Gruppierungskennzeichnungen zu. T1 bis T5 in 7(a) zeigen Positionen in der Schablone an. "a" bis "e" in 7(b) zeigen die Abstandskennzeichnungen von Fenstern an, welche jeweils den Positionen T1 bis T5 entsprechen, wenn die Schablone derart positioniert ist, dass T4 die Stelle eines zu verarbeitenden Fensters annimmt. "A" bis "E" in 7(c) zeigen die den Fenstern jeweils entsprechend den Positionen T1 bis T5 zugewiesenen Gruppierungskennzeichnungen an.
Die Tabelle in 7(d) zeigt den Typ von Gruppierungskennzeichnung D, welcher dem Fenster an Position T4 auf Grundlage der Abstandskennzeichnungen für die Fenster an Positionen T1 bis T5 zugewiesen wird, wenn T4 an dem zu verarbeitenden Fenster plaziert ist. Falls beispielsweise die Abstandskennzeichnungen "a" bis "e" an Positionen T1 bis T5 Bedingung 5 in 7(d) erfüllen, wird dem Fenster bei T4 eine Gruppierungskennzeichnung B zugewiesen. Die Gruppierungskennzeichnung "L" wird zugewiesen, wenn Bedingungen 2 oder 3 erfüllt sind, was eine neue Gruppierungskennzeichnung erfordert.
Unter Heranziehung von 6(b) als Beispiel wird im Folgenden ein Gruppierungsverfahren beschrieben werden, welches die in 7 gezeigte Schablone verwendet. Das Gruppierungsteil 11 tastet die Fenster in einem Rahmen des Bildes von der oberen linken Ende zur unteren rechten Ecke ab, wobei es T4 der Schablone bei jeweiligen Fenstern an dem Bildrahmen anordnet. In diesem Beispiel wird die Gruppierungskennzeichnung durch zwei Ziffern ausgedrückt. Die höhere bzw. höherwertige Ziffer repräsentiert die Abstandskennzeichnung und die niedrigere bzw. niedrigerwertige Ziffer wird jedesmal dann um eins erhöht, wenn Bedingung 2 oder 3 in der Tabelle von 7(d) erfüllt ist. Alternativ können auch beliebige Symbole, wie z.B. Nummern oder alphabetische Zeichen als Gruppierungskennzeichnungen verwendet werden. Wenn T4 in der Schablone am Rand des Bildes angeordnet ist, weist eine oder weisen mehrere Positionen T1, T2, T3 und T5 keine entsprechenden Fenster in dem Bildrahmen auf. Von den Abstandskennzeichnungen der Fenster, welche einer oder mehreren derartigen Positionen entsprechen, wird angenommen, dass sie von der Abstandskennzeichnung des Fensters verschieden sind, welches T4 in der Schablone entspricht.
Als erstes wird T4 in der Schablone an dem Fenster W11 positioniert. Die Abstandskennzeichnung des Fensters W11 beträgt "3". Die Positionen T1, T2 und T3 weisen keine entsprechenden Fenster auf. Es wird angenommen, dass d ≠ a, dass d ≠ b und dass d ≠ c. Somit ist Bedingung 2 in 7(d) erfüllt und dem Fenster W11 wird eine Gruppierungskennzeichnung 31 zugewiesen. Als nächstes wird T4 in der Schablone an dem Fenster W12 angeordnet. Da das Fenster W12 Bedingung 4 in 7(d) erfüllt, wird ihm die gleiche Gruppierungskennzeichnung "31" wie dem Fenster W11 zugewiesen. Dann wird T4 in der Schablone am Fenster W13 angeordnet. Da das Fenster W13 Bedingung 2 in 7(d) erfüllt, wird ihm eine neue Gruppierungskennzeichnung "41" zugewiesen. Dem Fenster W14, welches ebenso Bedingung 2 in 7(d) erfüllt, wird eine neue Gruppierungskennzeichnung "51" zugewiesen. Das Fenster W15 erfüllt ebenso Bedingung 2 in 7(d) und ihm wird eine neue Gruppierungskennzeichnung "42" zugewiesen. Wenn W11 bis W18 auf diese Weise Gruppierungskennzeichnungen zugewiesen wurden, wird nacheinander W21 bis W28, W31 bis W38, .... W81 bis W88 Gruppierungskennzeichnungen zugewiesen. 6(c) zeigt die Fenstern so zugewiesenen Gruppierungskennzeichnungen.
Wenn Bedingung 8 in 7(d) erfüllt ist, verbindet das Gruppierungsteil 11 die Gruppierungskennzeichnungen bei T1 und T3 der Schablone und speichert diese verbundenen Gruppierungskennzeichnungen in einem Gruppierungsspeicher 15. Eine Verbindung wird im Folgenden mit Bezugnahme auf 6(c) und (d) beschrieben werden.
Da Bedingung 2 in 7(d) erfüllt ist, wenn T4 in der Schablone am Fenster W75 in 6(c) zugewiesen ist, wird diesem eine neue Gruppierungskennzeichnung (47) zugewiesen. Dann werden den Fenstern W76 bis W78 und W81 bis W84 Gruppierungskennzeichnungen zugewiesen. Da Bedingung 8 in 7(d) erfüllt ist, wenn T4 in der Schablone am Fenster W85 angeordnet ist, wird eine Gruppierungskennzeichnung "47" zugewiesen, welche die gleiche ist wie die des Fensters W75. Als Folge ist die Gruppierungskennzeichnung des Fensters W84 von der Gruppierungskennzeichnung des Fensters W85 verschieden, obwohl die Fenster einander benachbart sind und die gleiche Abstandskennzeichnung "4" aufweisen.
Wenn Bedingung 8 in 7(d) erfüllt ist, werden die Gruppierungskennzeichnungen verbunden, welche A und C der Schablone entsprechen. Die Gruppierungskennzeichnungen "47" und "49" der Fenster W84 und W75 in diesem Beispiel werden verbunden und im Gruppierungsspeicher 15 als eine integrale Gruppierung gespeichert. Nachdem allen Fenstern Gruppierungskennzeichnungen zugewiesen wurden, ersetzt die gleiche Gruppierungskennzeichnung die zwei in verbundender Form gespeicherten Gruppierungskennzeichnungen. Beispielsweise kann die Gruppierungskennzeichnung "47", wie in 6(d) gezeigt ist, durch "49" ersetzt werden, oder umgekehrt. Alternativ können "47" und "49" durch eine neue Gruppierungskennzeichnung ersetzt werden.
Auf diese Weise werden benachbarten Fenstern mit der gleichen Abstandskennzeichnung die gleiche Gruppierungskennzeichnung zugewiesen, wobei sie eine integrale Gruppierung bilden. Die so bestimmten Gruppierungen sind in 6(e) gezeigt. Durch Verwendung von Abstandskennzeichnungen anstelle eines Umgangs mit den gemessenen Abstandswerten selbst kann eine Gruppierung von Fenstern mit hoher Geschwindigkeit ausgeführt werden.
Die in 7 gezeigte Schablone stellt ein Beispiel dar. Andere Schablonen können ebenso verwendet werden, um Fenster abzutasten. Die Abtastreihenfolge sollte vorzugsweise gemäß der Schablonenart bestimmt sein.
Beurteilung der Gültigkeit von Grupgierungen
Zurück zu 1. Das Gruppierungsbeurteilungsteil 12 beurteilt die Gültigkeit einer jeden Gruppierung, welche durch das Gruppierungsteil 11 erhalten wurde, auf Grundlage ihrer Attribute. Als ein Gruppierungsattribut verwendet diese Ausführungsform eine Fläche einer Gruppierung oder die Anzahl von Fenstern, welche eine Gruppierung bilden. Es ist jedoch ebenso möglich, die Gültigkeit einer jeden Gruppierung durch Verwendung eines anderen bzw. eines weiteren Attributs, wie z.B. den Ort der eine Gruppierung bildenden Fenster, zu beurteilen.
Als erstes wird mit Bezugnahme auf 8 ein Verfahren der Bestimmung der Fläche A (m²) einer Gruppierung beschrieben werden. 8(a) ist ein Diagramm zur Berechnung der horizontalen Länge Xp (d.h. der Breite) eines Objekts 80, welches an einem Fenster Wp abgebildet ist. μ_h (m) bezeichnet die horizontale Länge des Fensters Wp, f(m) bezeichnet die Brennweite einer Linse 81 und Dp (m) bezeichnet den gemessenen Abstand des Fensters Wp, welcher durch das Abstandsberechnungsteil 7 wie oben beschrieben bestimmt wurde. Diese Parameter sind in Gleichung (1) ausgedrückt: Xp = μh·Dp/f' (1)
8(b) ist ein Diagramm zur Berechnung der vertikalen Länge Yp (d.h. der Höhe) des Objekts 80, welches an demselben Fenster Wp wie in 8(a) abgebildet ist. μ_v (m) bezeichnet die vertikale Länge des Fensters Wp. Diese Parameter sind in Gleichung (2) ausgedrückt: Yp = μv·Dp/f (2)
Da die horizontale Länge μ_h und die vertikale Länge μ_v des Fensters konstant sind, ist die Fläche A (m²) der Gruppierung gegeben durch Gleichung (3):
Wie durch Gleichung (4) im Folgenden ausgedrückt ist, kann der Durchschnitt D_ave der gemessenen Abstände von Fenstern andererseits durch dividieren der Summe der gemessenen Abstände Dp durch die Anzahl N von Fenstern, welche eine Gruppierung bilden, erhalten werden. Durch Verwendung des Durchschnitts D_ave der gemessenen Abstände kann Gleichung (3) durch Gleichung (5) angenähert werden.
Die Fläche A der Gruppierung wird auf diese Weise bestimmt. Das Gruppierungsbeurteilungsteil 12 beurteilt, dass die Gruppierung gültig ist, falls seine Fläche A größer als ein vorbestimmter Schwellenwert (beispielsweise 100 cm²) ist, und beurteilt, dass die Gruppierung ungültig ist, falls seine Fläche A kleiner als der vorbestimmte Schwellenwert ist. Somit werden durch Rauschen oder Regentropfen gebildete Gruppierungen als ungültig beurteilt. Dementsprechend ist es möglich, eine durch Rausch- oder Regentropfengruppierungen verursachte irrtümliche Objekterkennung zu vermeiden.
Der Schwellenwert ist in Abhängigkeit davon bestimmt, bei welcher Größe Gruppierungen als Rausch-Bestandteile ausgeschlossen werden sollten und bei welcher Größe Gruppierungen als ein Objekt erkannt werden sollten. Wenn jedoch während einer Bilderfassung der Kontrast niedrig ist, kann eine große Anzahl von kleineren Gruppierungen erzeugt werden. Daher wird unter Umständen keine Gruppierung als gültig beurteilt, falls ein zu großer Schwellenwert spezifiziert ist, selbst wenn tatsächlich ein Objekt vorhanden ist. Falls beispielsweise der Schwellenwert auf die Größe eines voraus befindlichen Fahrzeugs (z.B. 2 m²) ausgelegt ist, kann unter Umständen keine Gruppierung den Schwellenwert erreichen, was dazu führt, dass ein voraus befindliches Fahrzeug nicht als ein Objekt erkannt werden kann. Daher ist es zu bevorzugen, den Schwellenwert auf die Größe einzustellen (z.B. 1 m²), welche von Rauschbestandteilen unterschieden werden kann, und welche als ein Objekt erkannt werden sollte.
Gemäß einer alternativen Ausführungsform beurteilt das Gruppierungsbeurteilungsteil 12 die Gültigkeit einer jeden Gruppierung auf Grundlage der Anzahl N₀ von Fenstern, welche dem Schwellenwert A₀ entsprechen. Auf Grundlage von Gleichung (5) ist die Anzahl N₀ von dem Schwellenwert A₀ entsprechenden Fenstern für jeden gemessenen Abstand D der Gruppierung vorbestimmt (Gleichung (6)).
Das Gruppierungsbeurteilungsteil 12 vergleicht die Anzahl N von die Gruppierung bildenden Fenstern mit N₀. Es beurteilt, dass die Gruppierung ungültig ist falls N < N₀, und es beurteilt, dass die Gruppierung gültig ist, falls N ≥ N₀. Der Durchschnitt D_ave der gemessenen Abstände der die Gruppierung bildenden Fenster, wie durch Gleichung (4) bestimmt, kann als der gemessene Abstand D der Gruppierung verwendet werden.
Das Gruppierungsbeurteilungsteil 12 speichert die als gültig beurteilten Gruppierungen und die Anzahl der gültigen Gruppierungen im Gruppierungsspeicher 15. Das Gruppierungsbeurteilungsteil 12 speichert weiterhin die als ungültig beurteilten Gruppierungen und die Anzahl der ungültigen Gruppierungen im Gruppierungsspeicher 15. Darüber hinaus speichert das Gruppierungsbeurteilungsteil 12 die Gruppierungsflächen (d.h. die Größe und Breite des durch die Gruppierungen repräsentierten Objektes), Abstände der Gruppierungen sowie horizontale und vertikale Positionen der Gruppierungen im Gruppierungsspeicher 15. Die horizontalen und vertikalen Positionen der Gruppierungen können aus den Höhen und Breiten der Gruppierungen und der Orte, auf dem Bild, der die Gruppierungen bildenden Fenster bestimmt werden. Sie können beispielsweise in einem Koordinatensystem ausgedrückt werden, dessen Ursprung bei dem Fahrzeug liegt, welches das vorliegende Objekterkennungssystem trägt.
Erfassung eines Fehlerzustands
Auf Grundlage der Anzahl oder des Verhältnisses der durch das Gruppierungsbeurteilungsteil 12 als ungültig beurteilten Gruppierungen beurteilt der Fehlerdetektor 14, ob eine Objekterkennung ordnungsgemäß durchgeführt werden kann. Der Zustand, in welchem eine Objekterkennung nicht ordnungsgemäßdurchgeführt werden kann, wird als Fehlerzustand bezeichnet.
Da eine Gruppierung eine Gruppe von Fenstern mit tatsächlich demselben gemessenen Abstand ist, werden, falls ein erfasstes Bild viele Bereiche mit geringen Abstandsschwankungen enthält, viele Gruppierungen mit kleinen Flächen gebildet. Dies geschieht häufig deshalb, da gemessene Abstände als Folge von Korrelationsberechnungen, welche an Bereichen mit niedrigem Kontrast auf einem Bild, das Rauschen enthält, durchgeführt werden, Fehler enthalten. Um eine fehlerhafte Erkennung von Objekten zu vermeiden, ist es daher notwendig, eine Objekterkennung auf Grundlage von Gruppierungen, welche unter derartigen Bedingungen gebildet wurden, zu deaktivieren. Somit erfasst der Fehlerdetektor 14 einen Fehlerzustand unter Verwendung der Anzahl oder des Verhältnisses der ungültigen Gruppierungen als ein Index des Rauschbetrages.
9 ist ein Diagramm, welches eine Schwankung der Anzahl ungültiger Gruppierungen aufgrund von Regenniederschlag zeigt. Die horizontale Achse repräsentiert die abgelaufene Zeit, während die vertikale Achse die Anzahl von durch das Gruppierungsbeurteilungsteil 12 erfassten ungültigen Gruppierungen repräsentiert. In 9(a) zeigt Graph 85 Veränderungen in der Anzahl ungültiger Gruppierungen, welche an einem klaren Tag gemessen wurden, während Graph 86 Veränderungen in der Anzahl ungültiger Gruppierungen zeigt, welche bei leichtem Regen gemessen wurden. Graph 87 in 9(b) zeigt Veränderungen in der Anzahl ungültiger Gruppierungen, welche bei starkem Regen gemessen wurden.
Wie in Graph 85 gezeigt ist, bestehen an einem klaren Tag lediglich wenige ungültige Gruppierungen, da kein Regentropfen an der Windabschirmung bzw. Windschutzscheibe vor den Bildsensoren 3 und 3' haftet und geringes Rauschen erzeugt wird. Bei leichtem Regen, wie in Graph 86 gezeigt ist, werden mehrere ungültige Gruppierungen erfasst als einem klaren Tag, da Regentropfen an der Windabschirmung bzw. Windschutzscheibe haften und von den Bildsensoren erfasst werden. Bei starkem Regen, wie in Graph 87 gezeigt ist, werden sehr viel mehr ungültige Gruppierungen erfasst als bei leichtem Regen, da sehr viel mehr Regentropfen an der Windabschirmung bzw. Windschutzscheibe haften.
Bei den Graphen 86 und 87, bei leichtem bzw. starkem Regen, werden die periodischen Veränderungen in der Anzahl ungültiger Gruppierungen durch die Bewegung der Scheibenwischer verursacht. Da Regentropfen durch die Scheibenwischer von der Windschutzscheibe gewischt werden, nimmt die Anzahl ungültiger Gruppierungen lokal nach einem Schwenken der Wischer ab.
Der Fehlerdetektor 14 beurteilt einen Fehlerzustand, falls die Anzahl ungültiger Gruppierungen einen vorbestimmten Wert übersteigt (380 in dem Beispiel von 9). Wie aus Graph 87 in 9 zu sehen ist, wird bei starkem Regen, anders als an einem klaren Tag oder bei leichtem Regen, periodisch ein Fehlerzustand beurteilt. Alternativ ist es ebenso möglich, einen Fehlerzustand zu beurteilen, wenn das Verhältnis von ungültigen Gruppierungen zur Gesamtanzahl von Gruppierungen in dem Bild einen vorbestimmten Wert übersteigt (z.B. 80 %).
Falls der Fehlerdetektor 14 einen Fehlerzustand beurteilt, wird an bzw. auf dem im aktuellen Zyklus erfassten Bild ein Fehlerstatus-Merker gesetzt und das Bild wird mit dem Merker in einem Fehlerspeicher 16 gespeichert.
Obiekterkennung
Zurück zu 1. Ein Gruppierungsauswahlteil 21, ein Kandidatenerzeugungsteil 22, ein körperliches-Objekt-Erkennungsteil 23 und ein körperliches-Objekt-Folgerungsteil 31 führen eine Folge von Operationen durch, um ein Objekt vor dem das vorliegende System tragenden Fahrzeug auf Grundlage der durch das Gruppierungsbeurteilungsteil 12 als gültig beurteilten Gruppierungen zu erkennen. Es gibt viele Objekterkennungsverfahren, welche Gruppierungen verwenden und jede von diesen kann verwendet werden. In dieser Ausführungsform wird ein Verfahren des Folgerns der Position des Objekts im aktuellen Zyklus eingesetzt, welches Information über die im vorhergehenden Zyklus erkannten Objekte verwendet und welches die Objekte auf Grundlage des gefolgerten Objektes und als gültig beurteilter Gruppierungen erkennt. Dieser Objekterkennungsprozess ist ausführlich in der US-Patentanmeldung mit dem Aktenzeichen 09/572,249 (entspricht der DE 10029423 A1 ) beschrieben, welche hierin durch Bezugnahme enthalten ist.
Ein Objektspeicher 25 speichert die Attribute der im vorherigen Zyklus durch das körperliches-Objekt-Erkennungsteil 23 erkannten Objekte (z.B. Information über die Positionen, einschließlich Abstände sowie horizontale und vertikale Positionen, sowie über Größen, einschließlich Breiten und Höhen der Objekte usw.) ebenso wie Relativgeschwindigkeiten bezüglich der Objekte. Auf Grundlage dieser Parameter folgert das körperliches-Objekt-Folgerungsteil 31 die Position der Objekte in dem im aktuellen Zyklus erfassten Bild. Die Verarbeitung durch das körperliches-Objekt-Folgerungsteil 31 sollte vorzugsweise gleichzeitig mit dem oben beschriebenen Gruppierungsprozess ausgeführt werden.
Bezugnehmend auf 10 wird im Folgenden ein Verfahren des Folgerns von Objekten beschrieben werden, welches durch das Folgerungsteil 31 durchgeführt wird. Die 10(a) bis 10(c) zeigen eine vorherige Verarbeitung. In 10(a) sind zwei Fahrzeuge 91 und 92 im vorherigen Zyklus erfasst. 10(b) zeigt Gruppierungen C11 bis C17, welche auf Grundlage des in 10(a) gezeigten erfassten Bildes durch das Gruppierungsteil 11 bestimmt wurden. 10(c) zeigt körperliche Objekte 65 und 66, welche aus den Gruppierungen erkannt wurden, die dem Fahrzeug 91 bzw. dem Fahrzeug 92 entsprechen.
Die 10(d) bis 10(f) zeigen die aktuelle Verarbeitung. In 10(d) werden die gleichen Fahrzeuge 91 und 92 wie jene in 10(a) erfasst. Zusätzlich wird ein Verkehrsschild 93 erfasst. 10(e) zeigt Gruppierungen C21 bis C31, welche durch das Gruppierungsteil 11 auf Grundlage des in 10(d) gezeigten erfassten Bildes bestimmt werden. 10(f) zeigt körperliche Objekte 77, 78 und 79, welche im aktuellen Zyklus auf Grundlage der in 10(e) gezeigten Gruppierungen und der in 10(c) gezeigten körperlichen Objekte 65 und 66 erkannt werden.
Das körperliches-Objekt-Folgerungsteil 31 liest die Positionen und Relativgeschwindigkeiten der zuvor erkannten körperlichen Objekte 65 und 66 aus dem körperliches-Objekt-Speicher 25 aus und berechnet die aktuellen Positionen der körperlichen Objekte 65 und 66. Diese Berechnung kann unter Verwendung der folgenden Berechnungsformel durchgeführt werden:
(Position von vorherigem körperlichen Objekt + Relativgeschwindigkeit × Erfassungszeitintervall).
In diesem Beispiel wird die Relativgeschwindigkeit bezüglich des körperlichen Objekts 65 als null angenommen. Die Relativgeschwindigkeit bezüglich des körperlichen Objekts 66 wird als –10 Kilometer pro Stunde angenommen (in diesem Beispiel ist dann, wenn die Geschwindigkeit des das System tragenden Fahrzeugs größer als die Geschwindigkeit eines körperlichen Objekts ist, die Relativgeschwindigkeit als "minus" ausgedrückt. Das Erfassungszeitintervall wird als 100 Millisekunden angenommen. Der relative Abstand zu dem körperlichen Objekt 65 wird zwischen dem vorherigen Zyklus und dem aktuellen Zyklus als unverändert geschätzt und der relative Abstand zum körperlichen Objekt 66 wird als um 0,3 Meter verkürzt geschätzt.
Unter der Annahme, dass die relativen horizontalen Positionen der Objekte 65 und 66 bezüglich des das System tragenden Fahrzeugs unverändert sind, da die Größe der Objekte 65 und 66 unverändert ist, kann das Folgerungsteil 31 die aktuellen Positionen der Objekte 65 und 66 auf Grundlage der Veränderungen in den relativen Abständen folgern. 10(e) zeigt Objekte 75 und 76, die auf diese Weise gefolgert wurden, durch rechteckige Bereiche an dem Bild. Das Folgerungsteil 31 speichert die Attribute (d.h. Information betreffend die Objekte wie z.B. Abstände, horizontale Positionen, vertikale Positionen, Breiten und Höhen usw.) der gefolgerten Objekte 75 und 76 in ein gefolgertes-Objekt-Speicher 32).
Im aktuellen Zyklus liest das Gruppierungsauswahlteil 21 die Abstände sowie die horizontalen und vertikalen Positionen der Gruppierungen C21 bis C31, welche wie in 10(e) gezeigt gebildet sind, aus dem Gruppierungsspeicher 15 aus. Andererseits liest das Gruppierungsauswahlteil 21 die Abstände sowie horizontale und vertikale Positionen der gefolgerten Objekte 75 aus dem gefolgertes-Objekt-Speicher 32 aus. In dieser Ausführungsform werden die gefolgerten Objekte von dem ausgehend abgehandelt, welches dem das System tragenden Fahrzeug am nächsten liegt. Aus den Gruppierungen C21 bis C31 wählt das Gruppierungsauswahlteil 21 die Gruppierungen aus, deren Unterschied im Abstand von dem gefolgerten Objekt 75 kleiner als ein Schwellenwert ist und welche mit dem gefolgerten Objekt 75 zumindest teilweise in den horizontalen und vertikalen Positionen überlappen. Als Folge werden die Gruppierungen C22 bis C26 ausgewählt.
Vorzugsweise ist der Schwellenwert des Abstandunterschiedes nach Maßgabe der Toleranz des Abstandes von dem das System tragenden Fahrzeug bestimmt. Mit anderen Worten: Der Schwellenwert ist proportional zum Abstand vom Fahrzeug bestimmt.
Falls eine Gruppierung teilweise mit dem gefolgerten Objekt in der horizontalen und der vertikalen Richtung überlappt, wird beurteilt, dass ein Überlappen auftritt. Es ist nicht notwendig, dass eine gesamte Gruppierung in dem gefolgerten Objekt enthalten ist.
Falls eine Gruppierung die obige Abstandsbedingung für ein beliebiges der in dem Speicher 32 gespeicherten gefolgerten Objekte nicht erfüllt oder falls eine Gruppierung keine Überlappung mit allen im Speicher 32 gespei cherten gefolgerten Objekte aufweist, wird die Gruppierung dahingehend beurteilt, dass sie kein entsprechendes gefolgertes Objekt aufweist.
Das Kandidatenerzeugungsteil 42 studiert alle möglichen Kombinationen der durch das Gruppierungsauswahlteil 21 ausgewählten Gruppierungen und bestimmt kombinierte Gruppierungen als Kandidaten für ein körperliches Objekt. Die Kombination kann eine eine einzelne Gruppierung umfassende Kombination enthalten. 11 ist eine Tabelle, welche alle möglichen Kombinationen der Gruppierungen C22 bis C26 zeigt, welche für das in 10(e) gezeigte gefolgerte Objekt 75 ausgewählt sind.
Das körperliches-Objekt-Erkennungsteil 23 vergleicht nacheinander die Attribute von kombinierten Gruppierungen, welche entsprechende gefolgerte körperliche Objekte aufweisen, mit den Attributen der gefolgerten körperlichen Objekte. Das Erkennungsteil 23 erkennt die kombinierten Gruppierungen, welche Attribute aufweisen, die den Attributen der gefolgerten körperlichen Objekte am nächsten sind, als körperliche Objekte. Dabei sind die verwendeten Attribute Abstand, horizontale Position, vertikale Position, Breite und Höhe. Der Attributevergleich wird unter Verwendung der folgenden Gleichung (7) durchgeführt. Die Bedeutungen der Variablen in Gleichung (7) sind in Tabelle 1 gezeigt.
[Gleichung 7]
Tabelle 1
Gleichung (7) drückt die Unterschiede zwischen kombinierten Gruppierungen und einem gefolgerten körperlichen Objekt als eine Funktion des Unterschieds in der Mittenposition von kombinierten Gruppierungen und einem gefolgerten körperlichen Objekt sowie des Unterschieds in Breite und Höhe von kombinierten Gruppierungen und einem gefolgerten körperlichen Objekt aus. Der Abstand (Z-Wert) weist eine Toleranz gemäß dem Abstandswert auf und wird durch einen zum Abstand Zt des gefolgerten körperlichen Objekts proportionalen Wert korrigiert.
In dem in 11 gezeigten Beispiel sind Funktionswerte E1 (e01, e02, ...e31) für alle kombinierten Gruppierungen 1 bis 31 berechnet, die dem gefolgterten körperlichen Objekt 75 entsprechen. Die Verbindungsgruppierung 31 mit dem kleinsten Funktionswert E1 wird als das körperliche Objekt 78 erkannt (10(f)). Dies kommt daher, da die Verbindungsgruppierung 31 mit dem kleinsten E1 am besten mit der Position und Größe des gefolgerten körperlichen Objekts 75 übereinstimmt.
Die Gruppierungen C22 bis C26 und das gefolgerte körperliche Objekt 75 werden mit gesetzten "Verarbeitung-beendet"-Merkern in dem Gruppierungsspeicher 15 bzw. im gefolgertes-Objekt-Speicher 32 gespeichert. Der durch das Gruppierungsauswahlteil 21, das Kandidatenerzeugungsteil 22 und das Erkennungsteil 23 ausgeführte Prozess wird wiederholt, bis für alle Gruppierungen "Verarbeitung-beendet"-Merker gesetzt sind.
Nachdem das körperliche Objekt 78 erkannt worden ist, holt das Gruppierungsauswahlteil 21 Gruppierung C21 und Gruppierungen C27 bis C31 aus dem Gruppierungsspeicher 15, für welche keine "Verarbeitung-beendet"-Merker gesetzt wurden. Das Gruppierungsauswahlteil 21 holt das gefolgerte körperliche Objekt 76 aus dem gefolgertes-Objekt-Speicher 32, für welches kein "Verarbeitung-beendet"-Merker gesetzt wurde. Das Gruppierungsauswahlteil 21 wählt dann die Gruppierungen aus, deren Unterschied im Abstand von dem gefolgterten Objekt 76 kleiner als der Schwellenwert ist, und welche mit dem gefolgterten Objekt 76 wenigstens teilweise in der horizontalen und der vertikalen Position überlappen. Als Folge werden die Gruppierungen C27 bis C31 ausgewählt.
Das Kandidatenerzeugungsteil 22 bestimmt kombinierte Gruppierungen aus den Kombinationen der Gruppierungen C27 bis C31. Das Erkennungsteil 23 vergleicht die Attribute der jeweiligen kombinierten Gruppierungen mit den Attributen des gefolgerten körperlichen Objekts 76. Als Folge wird bestimmt, dass die kombinierten Gruppierungen, bestehend aus den Gruppierungen C27 bis C31, Attribute haben, welche jenen des gefolgerten körperlichen Objekts 76 am nächsten liegen, sodass die kombinierten Gruppierungen, bestehend aus den Gruppierungen C27 bis C31, als ein körperliches Objekt 79 erkannt werden (10(f)). Die als ein körperliches Objekt erkannten Gruppierungen C27 bis C31 und das jeweilige gefolgerte körperliche Objekt 76 werden mit "Verarbeitung-beendet"-Merkern in dem Gruppierungsspeicher 15 bzw. dem gefolgertes-körperliches-Objektspeicher 32 gespeichert.
Als nächstes holt das Gruppierungsauswahlteil 21 aus dem Gruppierungsspeicher 15 die Gruppierung C21, für welche kein "Verarbeitung-beendet"-Merker gesetzt wurde. Das Kandidatenerzeugungsteil 22 bestimmt die Gruppierung 21 als eine kombinierte Gruppierung und überträgt sie zu dem Erkennungsteil 23. In diesem Beispiel wurden alle gefolgerten körperliche Objekte verarbeitet, sodass die Gruppierung kein entsprechendes gefolgertes körperliches Objekt zum Vergleich besitzt. Das Erkennungsteil 23 vergleicht die Attribute der kombinierten Gruppierung mit den Attributen von vorbestimmten körperlichen Objekten, welche zu erfassen sind. Das Erkennungsteil 23 erkennt dasjenige der vorbestimmten körperliche Objekte, welches den geringsten Unterschied in den Attributen aufweist, als das der kombinierten Gruppierung entsprechende körperliche Objekt. Alternativ kann ein Schwellenwert verwendet werden, um zu entscheiden, dass das vorbestimmte körperliche Objekt das körperliche Objekt repräsentiert, dessen sich Attribute wenig unterscheiden sind, sodass der Unterschied kleiner als der Schwellenwert ist.
Die Attribute der vorbestimmten körperlichen Objekte sind vorbestimmt und in einem Speicher gespeichert. Falls beispielsweise die zu erfassenden Objekte Fahrzeuge umfassen, sind die Attribute von verschiedenen Fahrzeugtypen gespeichert, und falls die zu erfassenden Objekte Verkehrsschilder umfassen, sind die Attribute von verschiedenen Typen von Verkehrsschildern gespeichert. In dieser Ausführungsform sind Breite und Höhe als die Attribute verwendet, welche verglichen werden. Die unten gezeigte Gleichung (8) wird für den Vergleich von Attributen verwendet. Die Bedeutungen der Variablen in Gleichung (8) sind in Tabelle 2 gezeigt.
Gleichung (8) drückt den Unterschied in Attributen von kombinierten Gruppierungen und einem vorbestimmten Objekt als eine Funktion auf Grundlage eines Unterschiedes in Breite und Höhe von kombinierten Gruppierungen und einem vorbestimmten Objekt aus. E2 = |Wc – Wt| + |Hc – Ht| [Gleichung 8]
Tabelle 2
Das Erkennungsteil 23 vergleicht die Attribute der kombinierten Gruppierung, bestehend aus der durch das Kandidatenerzeugungsteil 22 extrahierten Gruppierung C21, mit den Attributen verschiedener zu erfassender vorbestimmter körperlicher Objekte und bestimmt das zu erfassende vorbestimmte Objekt, welches den kleinsten Funktionswert E2 aufweist. Somit wird die Gruppierung C21 als ein körperliches Objekt 77 erkannt (10(f)).
Falls es zwei oder mehrere Gruppierungen gibt, welche kein entsprechendes gefolgertes Objekt aufweisen, sollte das Gruppierungsauswahl 21 vorzugsweise Gruppierungen, deren Unterschiede in Abständen sowie horizontalen und vertikalen Positionen sich innerhalb vorbestimmter Bereiche befinden, in eine Gruppierungsgruppe gruppieren und sie bei einer nachfolgenden Verarbeitung als eine Gruppe behandeln. Dies dient dazu, eine fehlerhafte Objekterkennung zu vermeiden, welche beispielsweise durch Kombinieren von zwei horizontal voneinander entfernt gelegenen Gruppierungen hervorgerufen werden kann.
Falls noch irgendein gefolgertes Objekt übrig ist, wenn alle Gruppierungen verarbeitet wurden, bestimmt das Gruppierungsauswahlteil 21, dass dieses gefolgerte Objekt nicht länger in der Bildfläche erscheint und kann es aus dem gefolgertes-Objekt-Speicher 32 löschen.
Nach einem Erkennen eines Objektes speichert das körperliches-Objekt-Erkennungsteil 23 die Attribute von Objekten, welche in dem aktuellen Zyklus erkannt wurden, in dem Objektspeicher 25. Darüber hinaus verwendet das körperliches-Objekt-Erkennungsteil 23 die Abstände des in dem vorhergehenden Zyklus erkannten Objekts sowie des in dem aktuellen Zyklus erkannten Objekts und berechnet die Relativgeschwindigkeit des Fahrzeugs bezüglich des körperlichen Objekts auf Grundlage eines aus der folgenden Berechnungsformel bestimmten Wertes: (aktueller Abstand – vorheriger Abstand)/Erfassungszeitintervall. Das Erkennungsteil 23 speichert die Relativgeschwindigkeit in dem Objektspeicher 25. Wie oben beschrieben wurde, ist das Erfassungszeitintervall der Zeitunterschied zwischen der vorherigen Messung und der aktuellen Messung und kann beispielsweise bei 60 bis 100 Millisekunden eingestellt sein.
Fahrzeugsteuerung/Regelung
Die Fahrzeugsteuer/Regeleinrichtung 45 prüft, ob ein Fehlerstatus-Merker in dem Fehlerspeicher 16 gesetzt ist. Falls der Fehlerstatus-Merker gesetzt ist, befindet sich das im aktuellen Zyklus erfasste Bild in einem Fehlerzustand und die Fahrzeugssteuer/Regeleinrichtung 45 deaktiviert die Fahrzeugssteuerung/Regelung auf Grundlage der Ergebnisse einer von dem körperliches-Objekt-Erfassungsteil 23 durchgeführten Verarbeitung. In diesem Falle kann die Fahrzeugsteuer/Regeleinrichtung 45 den Fahrer von dem Fehlerzustand unterrichten.
Falls umgekehrt ein Fehlerstatusmerker nicht gesetzt ist, wird das das System tragende Fahrzeug auf Grundlage der Ergebnisse einer von dem körperliches-Objekt-Erkennungsteil 23 durchgeführten Verarbeitung gesteuert/geregelt. Die Fahrzeugsteuer/Regeleinrichtung 45 kann das Fahrzeug sowohl auf Grundlage der in dem Objektspeicher 25 gespeicherten Information wie z.B. Objektpositionen und Relativgeschwindigkeiten, als auch der von einer Fahrzeuggeschwindigkeitserfassungsvorrichtung 46 und einer Gierratenerfassungsvorrichtung 47 erhaltenen Information derart steuern/regeln, dass es einen ordnungsgemäßen Abstand zu den körperlichen Objekten beibehält.
Beispielsweise kann die Fahrzeugsteuer/Regeleinrichtung 45 eine Warnvorrichtung aktivieren, um den Fahrer vor einer zu großen Annäherung an bzw. einem zu dichten Auffahren auf das vorausfahrende Fahrzeug zu warnen, oder kann ein Signal zu einer ECU (elektronic control unit = elektronische Steuer/Regeleinheit) und einer Bremssteuer/Regeleinheit senden, um das Fahrzeug kräftig abzubremsen. Zur gleichen Zeit kann die Fahrzeugssteuer/Regeleinrichtung 45 den Fahrbereich des Fahrzeugs bestimmen und das Fahrzeug auf Grundlage von von der Fahrzeuggeschwindigkeitserfassungsvorrichtung 46 erhaltenen Geschwindigkeitsdaten des Fahrzeugs und eines von der Gierratenerfassungsvorrichtung 47 empfangenen Gierratensignals derart steuern/regeln, dass es einen ordnungsgemäßen Abstand zu den körperlichen Objekten beibehält.
Um eine Erkennung von Objekten zu gewährleisten, ist es bevorzugt, dass die Fahrzeugsteuer/Regeleinrichtung 45 das Fahrzeug nur dann steuert/regelt, wenn das gleiche Objekt eine vorbestimmte Anzahl von Malen in einer Reihe durch Überprüfen der Identität von zuvor erkannten und aktuell erkannten Objekten erkannt wird. Die Zuverlässigkeit einer Erkennung kann durch Verwenden der aus zwei oder drei Erkennungsverarbeitungszyklen erhaltenen Ergebnisse verbessert werden.
Bei der oben beschriebenen Ausführungsform wird die Folge von Objekterkennungsprozessen parallel zu dem durch den Fehlerdetektor 14 durchgeführten Fehlererfassungsprozess durchgeführt. Alternativ ist es möglich, das Ablaufen der Folge von Objekterkennungsprozessen zu starten, falls der Fehlerdetektor 14 keinen Fehlerzustand findet, und die Objekterkennungsverarbeitung zu stoppen, falls der Fehlerdetektor 14 einen Fehlerzustand findet. In diesem Fall prüft das körperliches-Objekt-Erkennungsteil 23 (oder möglicherweise das Gruppierungsauswahlteil 21 oder das Kandidatenerzeugungsteil 22), ob ein Fehlerstatusmerker im Fehlerspeicher 16 gesetzt ist. Falls der Merker gesetzt ist, wird die nachfolgende Verarbeitung des gegebenen Bildes im aktuellen Zyklus gehemmt.
Das Korrelationsberechnungsteil 6, das Abstandsmessteil 7, der Abstandsspeicher 8, das Fensterausschnittsteil 13, die Abstandsumwandlungstabelle 9, das Gruppierungsteil 11, der Gruppierungsspeicher 15, das Gruppierungsbeurteilungsteil 12, der körperliches-Objekt-Speicher 25, das körperliches-Objekt-Folgerungsteil 31, das Gruppierungsauswahlteil 21; das Kandidatenerzeugungsteil 22, das körperliches-Objekt-Erkennungsteil 23, der gefolgertes-körperliches-Objekt-Speicher 32 und die Fahrzeugsteuer/Regeleinrichtung 45 können durch eine Mikrosteuer/Regeleinrichtung realisiert sein, welche typischerweise eine zentrale Ver arbeitungseinheit (CPU = central processing unit), einen Nur-Lesespeicher (ROM = read-only memory) mit Steuerprogrammen und Daten und einen Random-Access-Speicher (RAM), welcher einen Arbeitsbereich für die CPU und einen temporären Speicher für verschiedene Daten bereitstellt, umfasst. Mit anderen Worten: Im ROM gespeicherte Computerprogramme realisieren die oben beschriebenen Funktionen der in 1 gezeigten funktionalen Blöcke.
Der Abstandsspeicher 8, die Abstandsumwandlungstabellen 9, der Gruppierungsspeicher 15, der gefolgertes-körperliches-Objekt-Speicher 32 und der körperliches-Objekt-Speicher 25 kann unter Verwendung verschiedener Speicherbereiche eines einzigen RAMs realisiert werden. Temporäre Speicherbereiche für Daten, welche in verschiedenen Operationstypen erforderlich sind, können ebenso durch Abschnitte des gleichen RAMs vorgesehen sein.
Die Objekterkennungsvorrichtung der vorliegenden Erfindung kann LAN-verbunden mit einer elektronischen Motorsteuer/Regeleinheit (Motor-ECU), einer Bremssteuerungs/Regelungs-ECU und anderen ECUs sein, und die Ausgabe von dieser Objekterkennungsvorrichtung kann für eine Gesamtsteuerung/Regelung des Fahrzeugs verwendet werden.
Ein Objekterkennungssystem umfasst wenigstens zwei Bildsensoren und eine Steuer/Regeleinrichtung, welche geeignet ist, den Abstand von dem System zu einem körperlichen Objekt bezüglich jeweiliger Fenster eines durch die Sensoren erfassten Bildes zu messen. Die Steuer/Regeleinrichtung ist weiterhin programmiert, Gruppierungen durch Vereinigen benachbarter Fenster zu bilden, welche ähnliche gemessene Abstände aufweisen. Die Steuer/Regeleinrichtung ist programmiert, auf Grundlage der Attribute der Gruppierung zu beurteilen, ob jede der Gruppierungen gültig oder ungültig ist, und ein Objekt auf Grundlage der als gültig beurteilten Gruppierungen zu erkennen. In einer Ausführungsform sind die Attribute der Gruppierung eine Fläche der Gruppierung. Die Steuer/Regeleinrichtung berechnet die Fläche der Gruppierung auf Grundlage der Anzahl von in der Gruppierung enthaltenen Fenster und des gemessenen Abstandes eines jeden Fensters und beurteilt, dass die Gruppierung gültig ist, falls die Fläche größer als ein vorbestimmter Schwellenwert ist. Die Steuer/Regeleinrichtung erfasst einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen. Bei einer weiteren Ausführungsform sind die Attribute der Gruppierung die Anzahl von in der Gruppierung enthaltenen Fenstern. Die Steuer/Regeleinrichtung beurteilt, dass die Gruppierung gültig ist, falls die Anzahl von in der Gruppierung enthaltenen Fenstern größer als ein Schwellenwert ist, welcher gemäß der gemessenen Abstände der in der Gruppierung enthaltenen Fenster vorbestimmt ist. Die Steuer/Regeleinrichtung erfasst einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage des Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zur Gesamtanzahl von in dem erfassten Bild erhaltenen Gruppierungen.
Die deutsche Patenanmeldung DE 10029423 , entsprechend der japanischen Patentanmeldung JP 11-169567 (Anmeldenummer), gilt als Teil der Offenbarung der vorliegenden Anmeldung.

Claims

Objekterkennungssystem mit wenigstens zwei Bildsensoren (3, 3') und einer Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47), welche ausgebildet ist, einen Abstand (a) von dem System zu einem Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) in Bezug auf jeweilige Fenster (W₁₁, W₁₂, W_1F, W_A1, W_AF) eines durch die Sensoren (3, 3') erfassten Bildes zu messen, wobei die Steuer/Regeleinrichtung programmiert ist, – durch Vereinigung benachbarter Fenster (W₇₅, W₈₄, W₈₅), welche ähnliche gemessene Abstände (a) aufweisen, Gruppierungen (C11-C17; C21-C31) zu bilden, – auf Grundlage von Attributen der Gruppierung (C11-C17; C21-C31) jede Gruppierung (C11-C17; C21-C31) dahingehend zu beurteilen, ob sie gültig oder ungültig ist, und – das körperliche Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) auf Grundlage der als gültig beurteilten Gruppierungen (C11-C17; C21-C31) zu erkennen, – einen Fehlerzustand des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen zu erfassen, und – die Ausführung der Objekterkennung oder die Ausführung einer Steuerung/Regelung eines das System tragenden Fahrzeugs auf Grundlage des erkannten Objektes (20; 65, 66; 75, 76; 77, 78 79; 80; 91, 92, 93) zu deaktivieren, falls der Fehlerzustand erfasst ist.
Objekterkennungssystem nach Anspruch 1, dadurch gekennzeichnet, dass die Steuer/Regeleinrichtung programmiert ist, den Fehlerzustand des erfassten Bildes auf Grundlage eines Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zur Gesamtanzahl von in dem erfassten Bild enthaltenen Gruppierungen (C11-C17; C21-C31) zu erfassen.
Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) eine Fläche (A) der Gruppierung (C11-C17; C21-C31) umfassen, und dass die Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47) programmiert ist, – eine Fläche (A) der Gruppierung (C11-C17; C21-C31) auf Grundlage der Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern und des gemessenen Abstandes (a) eines jeden Fensters zu berechnen, sowie – zu beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Fläche (A) größer als ein vorbestimmter Schwellenwert ist.
Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) die Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern (W₁₁, W₁₂, W_1F, W_A1, W_AF) umfassen, und dass die Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47) programmiert ist, zu beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern größer als ein Schwellenwert ist, welcher nach Maßgabe der gemessenen Abstände (a) der in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenster vorbestimmt ist.
Objekterkennungssystem nach Anspruch 3, dadurch gekennzeichnet, dass die Fläche (A) der Gruppierung (C11-C17; C21-C31) gemäß der folgenden Gleichung berechnet wird:
wobei μ_h die horizontale Länge eines Fensters (W₁₁, W₁₂, W_1F, W_A1, w_AF) ist, μ_v die vertikale Länge des Fensters (W₁₁, W₁₂, W_1F, W_A1, W_AF) ist, D_ave der Durchschnitt der gemessenen Abstände von die Gruppierung bildenden Fenstern ist, N die Anzahl der die Gruppierung bildenden Fenster ist und f die Brennweite einer in dem Bildsensor (3, 3') eingebauten Linse (23, 24; 81) ist.
Objekterkennungssystem nach Anspruch 4, dadurch gekennzeichnet, dass der Schwellenwert N₀ gemäß der folgenden Gleichung berechnet wird:
wobei A₀ ein vorbestimmter Schwellenwert für die Fläche der Gruppierung (C11-C17; C21-C31) ist, μ_h die horizontale Länge eines Fensters (W₁₁, W₁₂, W_1F, W_A1, W_AF) ist, μ_v die vertikale Länge des Fensters (W₁₁, W₁₂, W_1F, W_A1, W_AF) ist, D der gemessene Abstand der Gruppierung (C11-C17; C21-C31) ist und f die Brennweite einer in dem Bildsensor (3, 3') eingebauten Linse (23, 24; 81) ist.
Verfahren zur Erkennung eines körperlichen Objektes (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) vor einem Fahrzeug, gekennzeichnet durch: – Erfassen von wenigstens zwei Bildern vor dem Fahrzeug; – Messen eines Abstandes (a) von dem Fahrzeug zum körperlichen Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) in Bezug auf jeweilige Fenster (W₁₁, W₁₂, W_1F, W_A1, W_AF) der erfassten Bilder; – Vereinigen benachbarter Fenster (W₇₅, W₈₄, W₈₅), welche ähnliche gemessene Abstände (a) aufweisen, um Gruppierungen (C11-C17; C21-C31) zu bilden; – Beurteilen einer jeden Gruppierung (C11-C17; C21-C31) dahingehend, ob sie gültig oder ungültig ist, auf Grundlage von Attributen Gruppierung (C11-C17; C21-C31); sowie – Erkennen des körperlichen Objektes (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) auf Grundlage der als gültig beurteilten Gruppierungen (C11-C17; C21-C31); – Erfassen eines Fehlerzustands des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen, und – Deaktivieren einer Ausführung der Objekterkennung oder einer Ausführung einer Steuerung/Regelung des Fahrzeugs auf Grundlage des erkannten Objekts (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93), wenn der Fehlerzustand erfasst ist.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Schritt des Erfassens eines Fehlerzustands des erfassten Bildes auf Grundlage eines Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zu der Gesamtanzahl von in dem erfassten Bild enthaltenen Gruppierungen erfolgt.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) die Fläche (A) der Gruppierung (C11-C17; C21-C31) umfassen, und dass der Schritt des Beurteilens umfasst: – Berechnen einer Fläche (A) der Gruppierung (C11-C17; C21-C31) auf Grundlage der Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern sowie des gemessenen Abstands eines jeden Fensters, und – Beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Fläche (A) größer als ein vorbestimmter Schwellenwert ist.
Verfahren nach einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) die Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenster umfassen, und dass der Schritt des Beurteilens umfasst: – Beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern größer ist als ein Schwellenwert, welcher nach Maßgabe der gemessenen Abstände der in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenster vorbestimmt ist.