DE60126382T2

DE60126382T2 - Verfahren und Gerät zur Erkennung von Gegenständen

Info

Publication number: DE60126382T2
Application number: DE60126382T
Authority: DE
Inventors: Mihoko Shimano; Kenji Yokohama-shi Nagao; Toshiaki Yokohama-shi Akimoto; Tomonobu Kawasaki-shi Naruoka
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 2000-06-28
Filing date: 2001-06-27
Publication date: 2007-05-24
Anticipated expiration: 2021-06-28
Also published as: JP4624594B2; DE60126382D1; EP1179803A3; US7031496B2; JP2002083297A; US20020001398A1; EP1179803B1; EP1179803A2

Description

Die vorliegende Erfindung bezieht sich auf ein Objekterkennungsverfahren und auf eine Objekterkennungsvorrichtung.
Die Entwicklung eines fortgeschrittenen Straßenverkehrssystems (ITS: Intelligent Transport System) schreitet in den vergangenen Jahren voran. Fahrzeuge, die in dem ITS verwendet werden, sind sogenannte „Advanced Safety Vehicles (ASV)", also Fahrzeuge mit verbesserter Sicherheit, die mit einer verbesserten Intelligenz versehen sind, die aus der vollständigen Nutzung elektronischer Technologien und einer merklich verbesserten Sicherheit resultiert.
Ein Fahrzeug mit verbesserter Sicherheit (ASV) beinhaltet Funktionen zum Unterstützen eines sicheren Fahrens, wodurch Unfälle und Schäden verhindert oder vermindert werden, indem die Verkehrsumgebungen des Fahrzeugs und die Fahrbahnoberflächenbedingungen und dergleichen unter Verwendung von Kameras und Sensoren erfasst werden.
Die Implementierung verschiedener Funktionen eines derartigen Fahrzeugs mit verbesserter Sicherheit (ASV) benötigt Informationen, die durch an dem eigenen Fahrzeug befestigte Kameras und Sensoren erfasst werden und in Echtzeit zu verarbeiten sind, um schnell Informationen zu erzielen, wie beispielsweise über das Vorhandensein weiterer Fahrzeuge, die sich diesen Fahrzeugen nähern oder von diesen entfernen.
Zudem erfordert das Berechnen des Abstandes zu den in der Nähe befindlichen Fahrzeugen oder Hindernissen eine dreidimensionale Bildverarbeitung.
Die dreidimensionale Bildverarbeitung führt normalerweise zu einer sehr großen Menge von Berechnungen, weshalb Verarbeitungsverzögerungen ein Problem darstellen. Zudem erfordert ein Fahrzeug mit erhöhter Sicherheit (ASV) eine Überwachung der Um gebungen des eigenen Fahrzeugs, weshalb das Fahrzeug mit mehreren Kameras ausgerüstet werden muss (auch mit mehreren Sensoren).
Wenn die Anzahl von Kameras zunimmt, erhöht sich ebenfalls drastisch die Menge an Informationen, die der Bildverarbeitung unterliegen. Zudem erhöht sich auch das Speichervolumen, das für eine Bildverarbeitungsvorrichtung erforderlich ist, was zu größeren Mengen an Hardware und zu höheren Kosten führt.
Ferner handelt es sich um eine Prozedur, die beträchtliche Schwierigkeiten in Bezug auf die Aufnahme von Bildern von Objekten gegen einen komplizierten Hintergrund, auf die damit verbundene Bildverarbeitung, auf das Erkennen der Objekte und auf das Berechnen des Abstands zu derartigen Objekten in Echtzeit einschließt. Beispielsweise erschwert eine einfache Reduzierung der Auflösung von Bildern zum Verringern des Maßes an Verarbeitungsberechnung und Speicherplatz, etc., das Erkennen der Objekte selbst, und die Verlässlichkeit der unter Verwendung der Ergebnisse der Erkennung solcher Objekte berechneten Abstände wird zu einem Problem.
Der Artikel „Functions and Devices of Mitsubishi Active Safety ASV" (Sitzungen des 1996 IEEE Intelligent Vehicles Symposiums, 1996, Seiten 248–253) beschreibt ein Fahrzeug, das mit einem Beifahrersystem ausgerüstet ist, um Unfälle zu vermeiden. Das Beifahrersystem umfasst mehrere Kameras, die an dem Fahrzeug befestigt sind. Zwei der Kameras, eine Weitwinkelkamera und eine Kamera mit normalen Winkel, sind hinter dem Rückspiegel befestigt und nehmen Bilder der Fahrbahn vor dem Fahrzeug auf. In diesen Bildern werden die Spurmarkierungen der Fahrbahn erfasst. Eine Warnung wird initiiert, wenn der Fahrer unbewusst versucht, die Spur zu wechseln. Ferner sind drei Stereo-Kameras an den Seiten und im Heck des Fahrzeugs befestigt. Die Stereo-Kameras dienen dazu, Abstände zu Fahrzeugen auf benachbarten Spuren zu erfassen. Der Fahrer wird warnend darauf hingewiesen, keinen Spurwechsel zu versuchen, während ein weiteres Fahrzeug längsseits fährt. Weitere Kameras sind vorne, an der Seite und am Heck des Fahrzeugs befestigt. Diese Kameras ersetzen herkömmliche Seitenspiegel und liefern dem Fahrer auf einer Displayeinheit eine Ansicht von Bereichen, die sonst für den Fahrer verdeckt sind.
Das US-Patent US 4,975,969 bezieht sich auf ein Multi-Kamera-System zur Personenauthentifikation. Verschiedene Kameras nehmen Bilder eines Gesichts einer Person von verschiedenen Blickpunkten auf. Ein Informationsverarbeitungsmittel identifiziert Gesichtsparameter, wie beispielsweise Nasenlänge oder den Abstand zwischen den Augen, und vergleicht diese Parameter mit auf einer tragbaren Speicherkarte gespeicherten Gesichtsformationen. Die tragbare Speicherkarte ist beispielsweise in einer Identifikationskarte implementiert.
Das Japanische Patent JP-A-110 786 92 beschreibt eine Bildanzeigevorrichtung für ein Fahrzeug mit mehreren Kameras, die vorgesehen sind, um Bilder von der Umgebung des Fahrzeugs aufzunehmen. Die Bilder werden deformiert, synthetisiert und auf einem Monitor dargestellt.
Die vorliegende Erfindung wurde unter Berücksichtigung der zuvor beschriebenen Punkte implementiert, und es ist eine Aufgabe der vorliegenden Erfindung, ein realisierbares Objekterkennungsverfahren und eine Objekterkennungsvorrichtung zu schaffen, die es ermöglichen, die Effizienz (Verarbeitungsgeschwindigkeit) der Bildverarbeitung mit der Genauigkeit der Erfassung von Objekten und der Genauigkeit der Abstandsmessung zu den Objekten und dergleichen kompatibel zu machen.
Entsprechend kann die vorliegende Erfindung ein realisierbares Objekterkennungsverfahren und eine Objekterkennungsvorrichtung schaffen, die sowohl der Echtzeitcharakteristik als auch der Verlässlichkeit genügen.
Dies wird durch die Merkmale des unabhängigen Anspruchs erzielt.
Die zuvor beschriebenen und weitere Aufgaben und Merkmale der Erfindung werden anhand der nachfolgenden Beschreibung in Verbindung mit der beiliegenden Zeichnung deutlicher, in der ein beispielhaftes Beispiel dargestellt ist, wobei
1 ein Blockdiagramm ist, das einen Gesamtaufbau einer Objekterkennungsvorrichtung (einschließlich eines Abstandsberechnungsabschnittes) der vorliegenden Erfindung zeigt;
2 ein Blockdiagramm ist, das einen spezifischen Aufbau des Objekterkennungsabschnittes und eines Datenbankabschnittes zeigt, die in 1 dargestellt sind;
3 eine Zeichnung ist, die ein Datenbankerzeugungsverfahren und ein Objekterkennungsverfahren spezifisch erläutern soll;
4 ein Ablaufdiagramm ist, das ein Beispiel des Datenbankerzeugungsverfahrens zeigt;
5 eine Zeichnung zur Erläuterung der Inhalte des Datenbankerzeugungsverfahrens ist (Verarbeiten zum Berechnen einer Covarianz);
6 ein Ablaufdiagramm ist, das ein Objekterkennungsverfahren zeigt;
7 eine Zeichnung ist, die Beispiele von Daten über Modelle zeigt, die in einer Datenbank gespeichert sind;
8 ein Blockdiagramm ist, das ein weiteres Beispiel einer Konfiguration der Objekterkennungsvorrichtung (einschließlich eines Abstandsberechnungsabschnittes) der vorliegenden Erfindung zeigt;
9 ein Blockdiagramm ist, das ein weiteres Beispiel einer Konfiguration der Objekterkennungsvorrichtung (einschließlich eines Abstandsberechnungsabschnittes) der vorliegenden Erfindung zeigt;
10 eine Zeichnung zur Erläuterung eines Beispiels eines Verfahrens zum Berechnen des Abstandes zu einem Objekt ist;
11 eine Zeichnung zur Erläuterung eines Verfahrens zum Messen des Abstandes von einem Bild ist, das durch eine Kamera aufgenommen wird, zu einem Objekt in einem tatsächlichen Raum (dreidimensionaler Raum);
12 ein Blockdiagramm ist, das ein Beispiel der Objekterkennungsvorrichtung (ohne den Abstandsberechnungsabschnitt) der vorliegenden Erfindung zeigt, die in ein Fahrzeug eingebaut ist;
13 ein Blockdiagramm ist, das ein Beispiel der Positionen zeigt, an denen Kameras an dem Fahrzeug befestigt sind;
14A ein Beispiel eines Modus zum Bereitstellen von Fahrerunterstützungsinformationen für den Fahrer ist;
14B ein weiteres Beispiel des Modus zum Bereitstellen von Fahrerunterstützungsinformationen für den Fahrer zeigt;
15 ein Blockdiagramm ist, das ein Beispiel der Objekterkennungsvorrichtung (einschließlich den Abstandsberechnungsabschnitt) der vorliegenden Erfindung zeigt, die in einem Fahrzeug installiert ist;
16 ein Ablaufdiagramm zur Erläuterung der Operation eines Suchbereich-Fokussierabschnittes ist;
17A ein Beispiel eines Bildes eines Zielobjektes (Fahrzeug) zeigt, das durch eine Kamera aufgenommen wurde;
17B ein Beispiel eines Bildes eines Zielobjektes (Fahrzeug) zeigt, das durch eine Kamera aufgenommen wurde;
18A Fahrbahnlinien (weiße Linien) zeigt, die von einem durch eine Kamera aufgenommenen Bild extrahiert wurde;
18B einen Suchbereich zeigt, der basierend auf den extrahierten Fahrbahnlinien (weißen Linien) festgelegt wird,
19 ein Blockdiagramm ist, das ein Konfigurationsbeispiel zum Messen des Abstandes zu einem Objekt zeigt;
20 ein Ablaufdiagramm ist, das ein Verfahren zum Berechnen eines genauen Abstandes zu einem Objekt zeigt;
21 ein Beispiel eines Bildes eines vorausfahrenden Fahrzeugs zeigt, das durch eine Kamera aufgenommen wurde, die an dem eigenen Fahrzeug befestigt ist;
22 ein Beispiel eines Bildes zeigt, das durch Extrahieren horizontaler Ränder erzielt wird;
23 ein Beispiel eines Bildes zeigt, das durch Extrahieren horizontaler Ränder nach der Anwendung einer Differentialverarbeitung auf das in 21 dargestellte Bild erzielt wird;
23A eine Zeichnung zur Erläuterung der Verarbeitung zum Rekonstruieren einer dreidimensionalen Fahrbahnstruktur anhand eines durch eine Kamera aufgenommenen Bildes ist;
23B eine Zeichnung zur Erläuterung der Verarbeitung zum Rekonstruieren einer dreidimensionalen Fahrbahnstruktur anhand eines durch eine Kamera aufgenommenen Bildes ist;
23C eine Zeichnung zum Erläutern der Verarbeitung zum Rekonstruieren einer dreidimensionalen Fahrbahnstruktur anhand eines durch eine Kamera aufgenommenen Bildes ist;
24 eine Zeichnung zur Erläuterung eines Verfahrens zum Identifizieren einer die Lage betreffenden Beziehung zwischen der Fahrbahn und einem Fahrzeug ist;
25 eine Zeichnung zum Erläutern eines Verfahrens zum Rekonstruieren einer dreidimensionalen Fahrbahnstruktur anhand eines durch eine Kamera aufgenommenen Bildes und zum Identifizieren der Position des Fahrzeugs auf der dreidimensionalen Fahrbahn ist;
26 eine Konfiguration einer Vorrichtung zum Ausführungen einer Stereo-Bildaufnahme und einer Messung des Abstandes zu einem Objekt in einem dreidimensionalen Raum zeigt; und
27 eine Zeichnung zum Erläutern eines Verfahrens zum Konstruieren des Bildverarbeitungsabschnittes oder einer Datenbank der vorliegenden Erfindung auf einem Computer ist.
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen genauer beschrieben.
1 ist ein Blockdiagramm, das eine Konfiguration einer Objekterkennungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt.
Hauptmerkmale der Objekterkennungsvorrichtung dieser Ausführungsform umfassen das Eingeben von Bildsignalen von mehreren Kameras, die Bilder von verschiedenen Objekten aufgenommen haben, in einen gemeinsamen (einen) Bildverarbeitungsabschnitt, wodurch das Hardwarevolumen reduziert wird, das Fokussieren des Objektsuchbereiches durch die erste Stufe des Bildverarbeitungsabschnittes zum Reduzieren des Volumens der zu verarbeitenden Bilder und zur Verbesserung der Verarbeitungsgeschwindigkeit, das Ausführen der Objekterkennung über einen Abgleich mit Daten über Modelle (genauer gesagt Merkmalvektoren von Modellen), die vorab in einer lernenden Datenbank (genauer gesagt Merkmalvektordatenbank) gespeichert wurden, um die Objekterkennungsverarbeitung zu beschleunigen, und Bereitstellen einer lernenden Datenbank für jede Kamera und Wechseln zwischen lernenden Datenbanken in Verbindung mit der verwendeten Kamera, wodurch ein unnötiges Abgleichen verhindert wird und die Effizienz der Abgleichverarbeitung und die Genauigkeit der Objekterkennung verbessert werden.
Wie in der Figur gezeigt ist, umfasst diese Objekterkennungsvorrichtung mehrere Kameras 1a, 1b und 1c, Bildeingabeschnittstellen 2a, 2b und 2c, einen Bildverarbeitungsabschnitt 4 (einschließlich eines Suchbereich-Fokussierabschnittes 5, eines Objekterkennungsabschnittes 6 und eines Abstandsberechnungsabschnittes 7) und eine lernende Datenbank 49, die Merkmalvektordatenbanken 8a, 8b und 8c beinhaltet, die den Kameras 8a, 8b und 8c entsprechen.
Die Mehrzahl von Kameras 1a bis 1c sind in verschiedenen Richtungen ausgerichtet und nehmen Bilder von verschiedenen Objekten auf. Das bedeutet, dass, anders als bei einer Kamera zur Stereo-Bildaufnahme, die Bilder desselben Objektes unter Verwendung einer Mehrzahl von Kameras aufnimmt, jede der Kameras gemäß dieser Ausführungsform Bilder von verschiedenen Objekten unabhängig voneinander aufnehmen kann.
Die Bildaufnahme durch eine Kamera ist ausreichend, da die Bildverarbeitungsvorrichtung 4 gemäß dieser Ausführungsform bei der Verarbeitung des Messens des Abstands zu einem Objekt (die unter der Voraussetzung der Objekterkennungsverarbeitung durchgeführt wird) eine Bildverarbeitung auf die zweidimensionalen Bilddaten anwendet, die von Bildern erzielt werden, die von einer Kamera aufgenommen werden, und auf diese Weise den Abstand zu einem Objekt in dem dreidimensionalen Raum berechnen kann (dies wird nachfolgend noch näher beschrieben).
Den Bildeingabeschnittstellen 2a bis 2c werden jeweils durch Kameras 1a bis 1c aufgenommene Bildsignale zugeführt, und sie führen eine Signalverarbeitung durch, wie beispielsweise eine Störeliminierung.
Der Suchbereich-Fokussierabschnitt 5 fokussiert den Suchbereich, wobei nach Bereichen gesucht wird, in denen Objekte in einem auf den eingegebenen Bilddaten basierenden Bild wahrscheinlich vorhanden sind.
Der Objekterkennungsabschnitt (Objektschätzmittel) 6 erkennt die Position und die Art eines Objektes in dem Bild und schätzt ferner grob den Abstand zu dem Objekt an, wenn dies möglich ist. Die Objekterkennung wird ausgeführt, indem die Ähnlichkeit zwischen Merkmalvektoren beurteilt wird.
Die lernende Datenbank 49 speichert Merkmalvektoren von Modellen, die durch voranschreitendes Lernen erzielt werden. In der Lernstufe werden Bilder verschiedener Objekte unter Verwendung mehrerer Kameras 1a bis 1c aufgenommen, eine Anordnung von Dichtewerten von Pixeldaten des erzeugten Bildes wird als ein eindimensionaler Vektor betrachtet, der Inhalt des eindimensionalen Vektors wird analysiert und ein Merkmalvektor, der die Merkmale des eindimensionalen Vektors anzeigt, wird auf diese Weise extrahiert und eine Datenbank (Merkmalvektordatenbank) wird durch Speichern der Merkmalvektoren von verschiedenen Modellen erzeugt.
Es sollte klar sein, dass eine Mehrzahl von Merkmalvektordatenbanken (8a bis 8c) in einer eins-zu-eins Überstimmung mit den Kameras 1a bis 1c vorgesehen wird.
Der Abstandberechnungsabschnitt 7 berechnet den Abstand zu dem Objekt in einem tatsächlichen Raum (dreidimensionaler Raum) basierend auf den der Lage entsprechenden Informationen (der Lage entsprechende Informationen in einem zweidimensionalen Bild) des Objektes in dem Bild, das durch den Objekterkennungsabschnitt erfasst wird, und gibt das Messergebnis aus.
Die Operationen (Funktionen) der Abschnitte der Objekterkennungsvorrichtung mit dem zuvor dargestellten Aufbau werden nachfolgend beschrieben.
Insbesondere sollte klar sein, dass es die Objekterkennungsverarbeitung ist, die Merkmalvektordatenbanken 8a bis 8c gemäß der Kamera (1a bis 1c), welche die Bilder der Bilddaten aufgenommen hat, die der Bildverarbeitung unterzogen werden sollen, ändert.
Bildeingaben von der Mehrzahl von Kameras 1a bis 1c werden dem Bildverarbeitungsabschnitt 4 über die Bildeingabeschnittellen 2a bis 2c zugeführt.
Die Kameras 1a bis 1c entsprechen beispielsweise der vorderen rechten Kamera, der vorderen linken Kamera und der hinteren linken Kamera.
Nachfolgend werden die spezifischen Operationen der Abschnitte des Bildverarbeitungsabschnittes 4 beschrieben.
Die Abschnitte 5 bis 7, die in dem Bildverarbeitungsabschnitt 4 beinhaltet sind, führen die nachfolgende Verarbeitung der Bilder aus, die von der Mehrzahl von Kameras 1a bis 1c zugeführt wurden.
Das Fokussieren eines Suchbereiches, das von dem Suchbereich-Fokussierabschnitt 5 durchgeführt wird, ist das Verarbeiten des Bestimmens eines Bereiches, in dem ein Objekt mit einer sehr hohen Wahrscheinlichkeit in dem gesamten Bildbereich vorhanden ist, um die Belastung der Vorrichtung zu verringern und die Signalverarbeitung zu beschleunigen.
Wenn beispielsweise die Position eines Objektes in einem Bild vorab bekannt ist, wird der Bereich, in dem das Objekt vorhanden ist, als Suchbereich übernommen. Wenn beispielsweise ein Fahrzeug auf einer Fahrbahn fährt, kann der Suchbereich auf einen Raum auf der Fahrbahn beschränkt werden.
Jedoch ist das Suchbereich-Fokussierverfahren nicht auf dieses Verfahren beschränkt, sondern es können auch andere Fokussierverfahren verwendet werden.
Beispielsweise kann ein optisches Flussverfahren verwendet werden. Eine Bereichserfassung unter Verwendung des optischen Flussverfahrens ist beispielsweise in dem Dokument „Rear Side Monitoring by Moving Image Processing" (von Miyaoka et al., gesammelte Schriftstücke der Vorträge des vierten Symposiums in Bezug auf das Messen via Dateninformationen, Seite 351 bis 354) beschrieben.
Das bedeutet, dass ein Fall angenommen wird, in dem sich sowohl die Kamera als auch das Objekt bewegen. Aus dem Blickwinkel der Kamera bewegen sich das Objekt und der Hintergrund relativ zueinander. Da sich jedoch der Hintergrund von dem Objekt in Bezug auf den Modus und die Bewegungsgeschwindigkeit unterscheidet, ist es möglich, den Bereich, in dem sich das Objekt möglicherweise bewegt, zentriert auf diesen Unterschied in der Bewegung zu fokussieren. Die Genauigkeit der Fokussierung nimmt in diesem Fall zu.
Auf diese Weise fokussiert der Suchbereich-Fokussierabschnitt 5 den Suchbereich, indem der erfasste Bereich mit einem Rechteck dargestellt wird und die Koordinaten der Eckpunkte als Bereichsinformationen ausgegeben werden.
Nachfolgend werden die Operationen des Objekterkennungsabschnittes 6 zum Erkennen der Position und der Art des Objektes in dem Bild (ferner das Schätzen des Abstandes) zu dem Objekt, wenn dies möglich ist, beschrieben.
Der Objekterkennungsabschnitt 6 schätzt die exaktes Position, etc., des Objektes in dem Suchbereich, der durch den Suchbereich-Fokussierabschnitt 5 fokussiert wird, und sendet das Ergebnis als die Lage betreffende Informationen zu dem Abstandsberechnungsabschnitt 7.
Es gibt verschiedene Techniken zum Identifizieren der Position, etc., des Objektes in dem Bild. Beispielsweise schafft ein Verfahren zum Beurteilen der Ähnlichkeit zu Daten über ein bereits gespeichertes Modell die Erfassung mit hoher Genauigkeit, erlaubt ein schnelles Verarbeiten und wird daher bevorzugt.
Dieses Verfahren verwendet eine Mustererkennungstechnologie, und es gibt verschiedene Arten von Objekterkennungstechniken, die einen Musterabgleich verwenden.
Zum Beispiel umfassen die Objekterkennungstechniken, die einen Musterabgleich verwenden, Verfahren, wie beispielsweise ein Verfahren, bei dem Merkmale der Bilddaten individueller Modelle selbst extrahiert und diese Merkmale miteinander verglichen werden, ein Verfahren, bei dem Modelle grob in Klassen unterteilt werden, anstatt individuelle Modelle zu verwenden, bei dem Merkmale Klasse für Klasse extrahiert werden und diese Merkmale miteinander verglichen werden, oder ein Verfahren, bei dem Bilddatenelemente selbst miteinander verglichen werden, ohne Merkmale zu extrahieren.
Das Verfahren, bei dem Merkmale Klasse für Klasse miteinander verglichen werden, wird nachfolgend unter Bezugnahme auf die 2 und 3 beschrieben.
2 ist ein Blockdiagramm, das eine spezifische Konfiguration des Objekterkennungsabschnittes 6 in 1 zeigt. In dieser Figur bezeichnet die Bezugsziffer 9 einen Abschnitt, der dazu verwendet wird, eine lernende Datenbank 49 durch fortschreitendes Lernen (Lernwerkzeug) aufzubauen. Im Lernwerkzeug 9 sind in einem Lernprozess verwendete Elemente durch eine gepunktete Linie und Elemente, die zur tatsächlichen Objekterkennungsverarbeitung verwendet werden, mit Hilfe einer durchgezogenen Linie dargestellt.
Die integrierte lernende Informationsdatenbank 50, die in dem Lernwerkzeug 9 beinhaltet ist, unterteilt Fahrzeugmodelle in Klassen (beispielsweise Limousine, Lastkraftwagen, Bus) und speichert Bilddaten jeder Klasse als integrierte Lerninformation.
Ferner berechnet ein Merkmal-Extraktionsmatrixberechnungsabschnitt 48 eine Abweichung, etc., in Bezug auf Bilddaten jeder Klasse, berechnet und speichert eine Merkmal-Extraktionsmatrix zum Extrahieren eines Merkmale der Bilddaten ausdrückenden Vektors, der zu der Klasse gehört.
Die Merkmal-Extraktionsmatrix hat die folgenden Funktionen. Wenn also Bilddaten, die zu einer spezifischen Klasse gehören, und Bilddaten, die zu anderen Klassen gehören, durch eine Merkmal-Extraktionsmatrix multipliziert werden, um Merkmale einer spezifischen Klasse zu extrahieren, werden numerische Daten (Merkmalvektor) mit ähnlichen Merkmalen für sämtliche Bilddaten, die zu der spezifischen Klasse gehören, erzielt, und ganz andere numerische Daten (Merkmalvektor) für Bilddaten anderer Klassen erzielt.
Das bedeutet, dass ein Multiplizieren der Bilddaten mit einer Merkmal-Extraktionsmatrix einer vorbestimmten Klasse zu organisierten numerischen Daten mit gemeinsamen Merkmalen führt, die für die Bilddaten beansprucht werden, die zu einer gleichen Klasse gehören, jedoch zu ganz anderen numerischen Daten für die Bilddaten führt, die zu einer anderen Klasse gehören.
Der Merkmal-Extraktionsmatrixberechnungsabschnitt 48 erzielt und speichert eine solche Merkmal-Extraktionsmatrix durch Berechnungen.
Die erzielte Merkmal-Extraktionsmatrix wird beispielsweise mit einem typischen Wert (beispielsweise Durchschnittswert) der Bilddaten einer Klasse multipliziert, und ein Merkmalvektor (Vektor, der das Ergebnis der Multiplikation der Merkmal-Extraktionsmatrix zeigt) für jede Klasse wird ermittelt.
Ein Merkmalvektor wird für jede Kamera berechnet. Der Merkmalvektor, welcher der Kamera 1a entspricht, wird in der Datenbank 8a gespeichert. Der Merkmalvektor, welcher der Kamera 1b entspricht, wird in der Datenbank 8b gespeichert. In gleicher Weise wird der Merkmalvektor, welcher der Kamera 1c entspricht, in der Datenbank 8c gespeichert.
Die Pfeile mit der gepunkteten Linie in 2 zeigen die Prozedur in der Lernstufe.
In einem solchen Zustand werden Bilddaten innerhalb des Suchbereiches von dem Dateneingabeabschnitt 40 in 2 zugeführt.
Ein Informationserzeugungsabschnitt 41 erzeugt einen eindimensionalen Vektor durch Anordnen (arraigning) von Helligkeitswerten (Dichteinformationen) von das Bild erzeugenden Pixeln der Reihenfolge der Pixel. Ein Informationsintegrationsabschnitt 42 verbindet einfach die erzeugten Informationen.
Der Merkmalvektor-Extraktionsabschnitt 43 extrahiert einen Merkmalvektor durch Multiplizieren des integrierten eindimensionalen Vektors (integrierter Vektor) mit der Merkmal-Extraktionsmatrix, die durch den Merkmal-Extraktionsmatrixberechnungsabschnitt 48 wie zuvor beschrieben errechnet wurde.
Der Entscheidungsabschnitt 44 für eingegebene integrierte Informationen vergleicht den extrahierten Merkmalvektor mit dem Merkmalvektor, der von der lernenden Datenbank 59 ausgegeben wird, und berechnet die Ähnlichkeit.
Der Entscheidungsabschnitt 45 bestimmt die eingegebenen integrierten Informationen mit der höchsten Ähnlichkeit (und ihre Klasse) aus den Informationsstücken, die von dem Entscheidungsabschnitt 44 für eingegebene integrierte Informationen eingegeben wurden. Das bedeutet, dass der Entscheidungsabschnitt 45 die Position der Muster, die als solche mit der höchsten Ähnlichkeit bestimmt wurden, als die Informationen der Fahrzeugposition betrachtet. Ähnlich erlangt der Entscheidungsabschnitt 45 auch Informationen über die Art des Objektes gemäß dem Muster, das als dasjenige mit der höchsten Ähnlichkeit bestimmt wurde, und Informationen über einen groben Abstand zu dem Objekt. Um Informationen über den Abstand zu dem Objekt unter Verwendung des passenden Musters zu erhalten, sollten die Informationen der Modelle (Merkmalvektor) die in der Datenbank gespeichert sind, Abstandsdaten enthalten, wie es in 7 gezeigt ist.
Diese Entscheidungsergebnisse werden von dem Ergebnisausgabeabschnitt 46 ausgegeben.
Die Objekterkennungstechnik unter Verwendung eines Musterabgleichs, der zuvor geschrieben wurde, wird nachfolgend genauer unter Bezugnahme auf ein in 3 dargestelltes Beispiel beschrieben.
Vorliegend wird angenommen, dass Bilder des Objektes durch die Kamera 1a der drei Kameras 1a bis 1c aufgenommen werden.
Ferner werden, wie es oben links in 3 gezeigt ist, drei Fahrzeugarten als Ziele der Bildaufnahme vorausgesetzt, nämlich eine Limousine (SA), ein Lastkraftwagen (TR) und ein Bus (BS). Ferner wird angenommen, dass das Bild, das durch die Bildaufnahme erzielt wird, aus vier Blöcken ➀ bis ➁ besteht. Ein Block umfasst beispielsweise 16 Pixel (4 Pixel×4 Pixel).
Pixelwerte (nehme ein Wert zwischen 0 und 255, wenn ein Helligkeitswert mit einer 256-Abstufung vorausgesetzt wird) der Pixel des Bildes, die basierend auf den durch die Kamera 1a erzeugten Bildern der Limousine (SA) erzielt werden, sind in der Reihenfolge der Pixel angeordnet und werden als ein eindimensionaler Vektor (x1) übernommen. Unter Bezugnahme auf 3 wird angenommen, dass die Pixelwerte („0 bis 255") von 16 Pixeln des Blockes ➀ J1 bis J16 sind, die Pixelwerte von 16 Pixeln des Blockes ➁ K1 bis K16 sind, die Pixelwerte 16 Pixeln des Blockes ➂ L1 bis L16 sind und die Pixelwerte von 16 Pixeln des Blockes ➃ M1 bis M16 sind.
Ferner sind Pixelwerte von Pixeln für ein Bild, das durch Anwendung einer Randextraktionsverarbeitung durch den Randextraktionsverarbeitungsabschnitt 10 auf dieselben Bilddaten erzielt wird, in der Reihenfolge der Pixel angeordnet und werden als eindimensionaler Vektor (x2) übernommen. In diesem Fall sei angenommen, dass die Pixelwerte („0 bis 250") von 16 Pixeln des Blockes ➀ O1 bis O16 sind, die Pixelwerte von 16 Pixeln des Blockes ➁ P1 bis P16 sind, die Pixelwerte von 16 Pixeln des Blockes ➂ Q1 bis Q16 sind und die Pixelwerte von 16 Pixeln des Blockes ➃ R1 bis R16 sind. Nebenbei bemerkt, werden eindimensionale Vektoren x1 oder x2 durch den Informationserzeugungsabschnitt 41 in 2 erzeugt.
Dann verbindet der Informationsintegrationsabschnitt 2 eindimensionale Vektoren x1 und x2, um einen integrierten Vektor (d1 = x1 + x2) zu erzeugen.
Beispielsweise handelt es sich bei dem integrierten Vektor d1 um die Bilddaten, die sich auf eine von dem Unternehmen S hergestellte Limousine beziehen (gruppiert als Klasse 1). Ähnlich werden integrierte Vektoren d2 ... dn für Limousinen erzielt, die durch das Unternehmen T ... das Unternehmen U hergestellt werden. Integrierte Vektoren d1 bis dn werden in der lernenden integrierten Informationsdatenbank 50 als Bilddaten gespeichert, die sich auf die Klasse 1 beziehen.
Die hier zuvor beschriebene Verarbeitung wird auch auf die Bilddaten angewendet, die durch die Bildaufnahme von Lastkraftwagen und Bussen erzielt wurden, und die erzielten integrierten Vektoren (e1 bis en, f1 bis fn) werden in der lernenden integrierten Informationsdatenbank 50 gespeichert.
Die integrierten Vektoren e1 bis en sind Bilddaten, die sich auf die Klasse 2 (Lastkraftwagen) beziehen, und die integrierten Vektoren f1 bis fn sind Bilddaten, die sich auf die Klasse 3 (Bus) beziehen.
Anschließend werden Werte von integrierten Informationsvektoren erzielt, welche die entsprechenden Klassen (typische Werte) repräsentieren. Beispielsweise werden arithmetische Durchschnittswerte von Pixelwerten über entsprechende ➀ bis ➃, die oben links in 3 gezeigt sind, berechnet und Vektoren, die in den Durchschnittswerten der entsprechenden Pixelwerte ausgedrückt sind, werden als repräsentative Vektoren (typische Werte) ihrer entsprechenden Klassen betrachtet. Die typischen Werte der Klasse 1 bis Klasse 3, die auf diese Weise erzielt werden, werden als D1, E1 und F1 betrachtet.
Durch Analysieren der in der lernenden integrierten Informationsdatenbank 50 gespeicherten Daten und durch statistische Verarbeitungsabweichungen, etc., wird anderer seits eine Merkmal-Extraktionsmatrix A berechnet. Das genauere Berechnungsverfahren der Merkmal-Extraktionsmatrix A wird nachfolgend beschrieben.
Dann wird durch Multiplizieren eines typischen Wertes jeder Klasse (D1, E1, F1) mit der Merkmal-Extraktionsmatrix A ein Merkmalvektor für jede Klasse berechnet. 3 zeigt Merkmalvektoren für die entsprechenden Klassen als K1, K2 und K3, die durch Multiplizieren der typischen Werte mit den Merkmal-Extraktionsvektoren A, die sich auf Klasse 1 (Limousine) beziehen, erzielt werden.
Diese Merkmalvektoren (K1, K2 und K3) werden in der Merkmalvektordatenbank 8a entsprechend der Kamera 1a gespeichert.
Eine ähnliche Verarbeitung wird auf ein durch die Kamera 1b aufgenommenes Bild angewendet, ein Merkmalvektor wird ermittelt und der Merkmalvektordatenbank 8b entsprechend der Kamera 1b gespeichert. Ferner wird eine ähnliche Verarbeitung auf ein durch die Kamera 1c aufgenommenes Bild angewendet, ein Merkmalvektor ermittelt und in der Merkmalvektordatenbank 8c entsprechend Kamera 1 gespeichert. Dies beendet die Verarbeitung in der Lernstufe.
Anschließend wird ein Musterabgleich tatsächlich durchgeführt und die Verarbeitung eines Erkennens eines Objektes wird unter Bezugnahme auf die Beschreibung in dem unteren Teil der 3 beschrieben.
Vorliegend wird der Fall angenommen, indem Bilddaten, die durch die Kamera 1a aufgenommen wurde, in Echtzeit eingegeben werden. Zuerst wird die zuvor beschriebene Verarbeitung auf die Bilddaten angewendet, die durch die Kamera 1a aufgenommen wurden, und es wird ein integrierter Vektor erzeugt. Dann multipliziert der Merkmalvektor-Extraktionsabschnitt 43 den integrierten Vektor mit der Merkmal-Extraktionsmatrix A für die Kamera 1a. Als Ergebnis wird der Merkmalvektor T erzielt.
Anschließend vergleicht der Entscheidungsabschnitt zur Eingabe integrierter Informationen (Ähnlichkeitsberechnungsabschnitt) 44 den Merkmalvektor T mit den Merkmalvektoren, die sich auf Klasse 1 beziehen (K1, K2, K3), und untersucht die Ähnlichkeit der numerischen Anordnungsmuster. Jede Ähnlichkeit wird zu dem Entscheidungsabschnitt 45 gesendet, und der Entscheidungsabschnitt 45 bestimmt die Klasse mit der höchsten Ähnlichkeit.
Beispielsweise in dem Fall, in dem das Objekt, das durch die Kamera 1a aufgenommen wurde, eine Limousine (Klasse 1) ist, ist die Ähnlichkeit mit dem Merkmalvektor K1, welcher der Klasse 1 entspricht, am höchsten, wohingegen die Ähnlichkeit mit den anderen beiden Merkmalvektoren K2 und K3 sehr gering sein muss. Auf diese Weise kann das Objekt mit sehr hoher Genauigkeit und mit hoher Geschwindigkeit erkannt werden. Die Tatsache, dass es sich bei dem in dem Bild vorhandenen Objekt um eine zur Klasse 1 gehörenden Limousine handelt, wird also in Echtzeit erfasst.
Ferner werden, wie es schematisch in 7 gezeigt ist, Bilder eines Objektes (Q, R, S) mit verschiedenen Abständen zu der Kamera aufgenommen (in 7 in drei Abstandsfälle L1, L2 und L3 unterteilt), und Bildmuster der entsprechenden Objekte (Merkmalvektoren der Objekte) werden in der lernenden Datenbank gespeichert, weshalb es möglich ist, das passende Modell durch einen Musterabgleich zu identifizieren und gleichzeitig einen groben Abstand von der Kamera zu schätzen.
Wenn beispielsweise mehrere Kameras 1a bis 1i an dem Fahrzeug befestigt sind, um Bilder in verschiedenen Richtungen aufzunehmen, muss eine lernende Datenbank, wie es in 7 gezeigt ist, für jede Kamera erzeugt werden. Dabei muss nicht immer eine Mehrzahl von Kameras vorgesehen sein, wie es in 13 gezeigt ist, um eine lernende Datenbank zu erzeugen. Es ist also auch möglich, ein Verfahren anzuwenden, bei dem Bilder von Objekten in verschiedenen Richtungen durch eine Kamera aufgenommen werden, und die in 7 dargestellten Modelldaten in den Datenbanken entsprechend der jeweiligen Richtungen der Bildaufnahme zu speichern.
Nachfolgend wird ein Verfahren zum Erzeugen von Merkmalvektordatenbanken 8a, 8b und 8c für ihre entsprechenden Kameras genauer unter Bezugnahme auf die 4 und 5 beschrieben.
4 zeigt einen Ablauf eines Verfahrens zum Erzeugen einer lernenden Datenbank 49 (Merkmalvektordatenbanken 8a, 8b und 8c).
Zuerst werden durch mehrere Kameras 1a bis 1c aufgenommene Bilddaten für jede Kamera eingegeben (Schritt 301). Dann fokussiert der Suchbereich-Fokussierabschnitt 5 den Suchbereich. Auf diese Weise werden Bilder zum Musterabgleich extrahiert. Anschließend, wie in 3 erläutert ist, werden integrierte Vektoren, die basierend auf durch die entsprechenden Kameras aufgenommenen Bilder erzielt werden, bestimmt und in der lernenden integrierten Informationsvektordatenbank 50 gespeichert (Schritt 302). Die bestimmten integrierten Vektoren sind die Bilddaten, die als Basis zur Berechnung der Merkmalvektoren herangezogen werden (diese werden als „lernende Fenster" bezeichnet).
Daraufhin werden die lernenden Fenster in der lernenden integrierten Informationsvektordatenbank 50 gespeichert und in mehrere Klassen gruppiert (Schritt 303).
Dann wird eine Covarianz CW für jede Klasse ermittelt (Schritt 304). Die Covarianz CW gibt einen Satz von Bilddaten an, der zu einer Klasse gehört, wie in 5 gezeigt ist.
Dann werden Covarianz CW und eine Covarianz CT ermittelt. Wie in 5 gezeigt ist, gibt die Covarianz CW das Maß der Trennung zwischen einer Covarianz (CW1) einer Klasse und einer Covarianz (CW2) einer anderen Klasse an. Andererseits gibt die Covarianz CT die Integration über Bilddaten sämtlicher Klassen an.
Daraufhin wird eine Merkmal-Extraktionsmatrix basierend auf der ermittelten Covarianz berechnet (Schritt 306). Daraufhin wird ein Merkmalvektor durch Multiplizieren der in der lernenden integrierten Informationsvektordatenbank 50 in 2 gespeicherten lernenden Bilddaten mit der Merkmal-Extraktionsmatrix ermittelt (Schritt 307). Dann wird eine Lerndatenbank 49 (Merkmalvektordatenbanken 8a bis 8c) für jede Kamera erzeugt (Schritt 308).
Nachfolgend wird das tatsächliche Objekterkennungsverfahren unter Verwendung der erzeugten Lerndatenbank 49 unter Bezugnahme auf 6 beschrieben.
Zuerst wird ein Bild eingegeben (Schritt 60), und es werden integrierte Informationen erzeugt (Schritt 61). Daraufhin wird ein Merkmalvektor der eingegeben integrierten Informationen extrahiert (Schritt 62).
Anschließend wird der Merkmalvektor der eingegebenen integrierten Information mit dem Merkmalvektor verglichen, der in der Datenbank gespeichert ist, die Ähnlichkeit berechnet (Schritt 63), und es werden die berechneten Ähnlichkeiten verglichen und die höchste Ähnlichkeit erfasst (Schritt 64). Die Informationen über das Objekt, die durch diese Erfassung erzielt wurden (Informationen über die Art des Objektes, Informationen über die Klasse, zu der das Objekt gehört, Informationen über einen groben Abstand zu dem Objekt, etc.) werden ausgegeben (Schritt 65).
Das zuvor genannte Beispiel beschreibt das Verfahren des Gruppierens von Objekten in mehrere Klassen und das Berechnen von Ähnlichkeiten in Klasseneinheiten, wobei diese Ausführungsform jedoch nicht hierauf beschränkt ist. Es ist also auch möglich, ein Verfahren zu verwenden, bei dem Objekte mit individuellen Modellen abgeglichen werden, ohne Objekte in Klassen zu gruppieren, oder ein Verfahren zu verwenden, bei dem ein direkter Abgleich zwischen den Bilddatenelementen ohne Extraktionsmerkmale erfolgt.
Zusätzlich zu dem Verfahren, das ein Musterabgleich verwendet, gibt es auch andere Verfahren zum Lokalisieren eines Objektes in einem Bild. Beispielsweise ist ein Verfahren erhältlich, das Ränder eines Objektes verwendet. Ein Beispiel der Erfassung der Position eines Objektes unter Verwendung von Rändern ist in der nicht geprüften japanischen Patentoffenlegungsschrift Nr. HEI 8-94320 „Mobile Object Measuring Device" offenbart. Die auf diese Weise erfasste Position wird als eine die Lage betreffende Information verwendet.
Nachfolgend wird das Verfahren zum Berechnen des Abstandes zu einem Objekt in einen tatsächlichen Raum (die Operation des Abstandsberechnungsabschnittes 7 in 1) beschrieben.
Der Abstandsberechnungsabschnitt 7 in 1 berechnet den Abstand zu einem Objekt in dem tatsächlichen Raum basierend auf den die Lage betreffenden Informationen, die durch den Objekterkennungsabschnitt 6 erzielt wurde, und gibt diese als Messergebnis aus.
Als Beispiele für das System zum Berechnen des Abstandes zu einem Objekt, sind die nachfolgenden vier Techniken (erstes bis viertes System) bekannt. Da es jedoch erforderlich ist, die Anzahl von Kameras sowie die Menge an zu verarbeitenden Bilddaten zu reduzieren, ist es wünschenswert, das zweite oder das vierte System bei der vorliegenden Erfindung zu verwenden, die dazu geeignet ist, in Abstand zu einem Objekt in einem dreidimensionalen Raum unter Verwendung einer Kamera zu berechnen.
Das erste System verwendet Stereo-Bilder. 26 zeigt eine Konfiguration einer Vorrichtung zur Stereo-Bildaufnahme. Diese Vorrichtung beobachtet einen Ort, der zum Berechnen des Abstandes von dem erfassten Objekt geeignet ist (beispielsweise einen Ort, der für das Objekt spezifisch ist), bestimmt die Position des spezifischen Ortes und berechnet darüber den Abstand, wobei letzterer als das Messergebnis verwendet wird.
Das zweite System ist ein Verfahren zum Berechnen des Abstandes unter Verwendung einer Bodenoberflächenstruktur, die von einer Ebene betrachtet wird. Dieses Verfahren stellt ein effektives Verfahren dar, da Informationen über die tatsächliche Form des Untergrunds effektiv verwendet werden können, oder da das Berechnungsverfahren relativ einfach ist, wobei eine hohe Messgenauigkeit erzielt wird.
Das bedeutet, dass, wie es in 11 gezeigt ist, die Spurlinien (entsprechend den weißen Linien, die beide Enden der Fahrbahn markieren) 32a und 32b in dem Bild zuerst erfasst werden, woraufhin die Bodenstruktur in dem tatsächlichen Raum basierend darauf rekonstruiert wird. Ein Beispiel des Rekonstruktionsverfahrens ist in dem Dokument „Reconstruction of Road Shape by Local Plane Approximation" beschrieben (Watanable etc al., Technischer Bericht von IPSJ CV62-3).
Anschließend wird die Position eines Objektes in dem dreidimensionalen Raum durch Kombinieren der Position des Objektes (beispielsweise des Fahrzeuges) und der dreidimensionalen Struktur der Bodenfläche bestimmt. Die Position der rechten und linken Spurlinien (Bezugszimmer 51 und 52), die dem erfassten Objekt entsprechen, kommen also vor, wenn das Objekt in dem Bereich zwischen den beiden Spurlinien 32a und 32b vorhanden ist, und das Objekt (beispielsweise die Position des Fahrzeugs) auf der rekonstruierten dreidimensionalen Struktur der Untergrundoberfläche (Fahrbahnstruktur) wird bestimmt. Anschließend wird der Abstand des Objektes in dem tatsächlichen Raum berechnet und als Messergebnis verwendet. Dieses System ist sehr effektiv und wird unter Bezugnahme auf 18 bis 25 noch genauer beschrieben.
Das dritte System verwendet einen Laserradar. Bei diesem System wird ein Ort (ortspezifisch für ein Objekt; beispielsweise die Position eines Nummerschildes eines Fahrzeuges), der zur Berechnung des Abstandes basierend auf der erfassten Position des Objektes geeignet ist, gefunden, der Abstand entsprechend der Position mit Hilfe eines Laserradars berechnet und als Messergebnis verwendet.
Das vierte System bedient sich einer Annahme, das die Bodenoberfläche zwischen der Kamera und dem erfassten Objekt horizontal ist. Wie in der Annahme, dass die Kameraparameter (Brennweite f, Höhe in der Mitte der Linse h, Winkel zwischen der horizontalen Richtung und der optischen Achse θ der Kamera) bekannt sind, wird, wie es in 10 gezeigt ist, die Position 75 in dem tatsächlichen Raum, wenn die Position des erfassten Objektes (ix, iy) ist, anhand der Gleichung (1) berechnet.
(Gleichung 1)

px = (h·ix)/{f·sinθ – ix·cosθ} py = (h·iy)/{f·sinθ – ix·cosθ} pz = (h·f)/{f·sinθ – ix·cosθ}

Der Abstand L wird von dieser Koordinatenposition berechnet, und diese ist der Abstand zu dem ermittelten Objekt.
Wie zuvor beschrieben wurde, wird gemäß der vorliegenden Ausführungsform eine Datenbank von Objektmodellen für jede Kamera vorab gespeichert, und die größte Ähnlichkeit zwischen den entsprechenden Bildern von einer Mehrzahl von Kameras und den Daten von Objektmodellen, die in jeder Kamera gespeichert sind, wird ermittelt, so dass die Position des Objektes in dem Bild und die Art des Objektes erkannt oder ein grober Abstand zu dem Objekt geschätzt wird.
Es ist ferner möglich, den Abstand von der Kamera zu dem Objekt in dem tatsächlichen Raum basierend auf Informationen zu berechnen, welche die Position in dem fotogra fierten Bild anzeigen, an der das durch den Musterabgleich identifizierte Objekt angeordnet ist.
Die Erkennung eines Objektes betreffend existiert ferner eine Datenbank pro Kamera und die zu verwendete Datenbank wird gemäß der verwendeten Kamera bestimmt. Auf diese Weise wird das Erfordernis eliminiert, andere Datenbanken, die den anderen Kameras entsprechen, zu suchen, wodurch ein sehr effizientes Objekterkennungsverfahren erzeugt wird. Das bedeutet, dass es möglich ist, das Objekterfassungsverfahren zu beschleunigen.
Ferner wird die zu verwendete Datenbank gemäß der zu verwendenden Kamera bestimmt, und andere Datenbanken, die den anderen Kameras entsprechen, müssen nicht gesucht werden, so dass eine fehlerhafte Erkennung reduziert wird.
Wird beispielsweise angenommen, dass das Modell A in der Merkmalvektordatenbank 8a entsprechend der Kamera 1a gespeichert ist, und dass das Model A', das dem Modell A ähnelt (wobei es sich jedoch bei dem Modell A und bei dem Modell A' um verschiedene Objekte handelt) in der Merkmalvektordatenbank 8b entsprechend der Kamera 1b gespeichert ist. Im Falle einer Datenbank werden sämtliche in der Datenbank gespeicherten Modelle gesucht, und das Modell A' kann übereinstimmen, obwohl das Modell A eigentlich überstimmen sollte, so dass die Möglichkeit besteht, dass Objekte falsch erkannt werden. Im Gegensatz dazu, bestimmt die vorliegende Erfindung eine zu durchsuchende Datenbank gemäß einer Kamera, so dass die Anzahl von Modellen, die zu suchen sind, reduziert wird, und vergleicht zwischen Bildern, die durch die selbe Kamera aufgenommen wurden, weshalb die Wahrscheinlichkeit verringert wird, dass fehlerhafte Entscheidungen, wie zuvor beschrieben, getroffen werden.
Genauer gesagt sei angenommen, dass die Kamera 1a eine Kamera ist, die Bilder der rechten Seite der Fahrbahn aufnehmen soll, dass die Kamera 1b eine Kamera ist, die Bilder von der linken Seite der Fahrbahn aufnehmen soll. In diesem Fall kann ein Verkehrssignalmodell, das erzielt wird, wenn die Kamera 1a Bilder eines Verkehrssignalmastes an dem rechten Ende der Fahrbahn aufnimmt, sehr einem Strommastmodell ähnelt, das erzielt wird, wenn die Kamera Bilder eines Strommastes an dem linken Ende der Fahrbahn aufnimmt. In diesem Fall kann der Verkehrssignalmast irrtümlich für den Strommast gehalten werden. Eine derartige Fehlerkennung tritt jedoch bei der vorliegenden Erfindung nicht auf. Entsprechend verbessert die vorliegende Erfindung auch die Genauigkeit des Musterabgleiches.
Das bedeutet, dass die vorliegende Erfindung eine effiziente und genaue Erfassung von Objekten (Fahrzeuge etc.) erlaubt. Die vorliegende Erfindung ermöglicht es, den Abstand zu dem Objekt zu messen. Die vorliegende Erfindung trägt ferner zur Reduzierung der Hardware der Vorrichtung und zur Verkürzung der Verarbeitungszeit bei.
8 zeigt ein weiteres Beispiel der Objekterkennungsvorrichtung der vorliegenden Erfindung.
Die grundlegende Funktion und Operation der Vorrichtung entsprechen denjenigen der Objekterkennungsvorrichtung gemäß 1. In 8 sind gleiche Abschnitte wie diejenigen in 1 mit denselben Bezugsziffern gekennzeichnet.
Jedoch ist die Vorrichtung gemäß der vorliegenden Ausführungsform an einem Fahrzeug befestigt und derart konfiguriert, dass sie zwischen Kameras und zu verwendenden Datenbanken unter Verwendung einer Steuerinformation von einem Fahrzeugsteuerabschnitt geeignet wechselt.
In 8 steuert der Fahrzeugsteuerabschnitt 100 die Operation verschiedener elektronischer Vorrichtungen über einen Steuerbus (BUS) 105. Beispielsweise weist der Fahrzeugsteuerabschnitt 100 die Blinkerbeleuchtungsabschnitte 101a und 101b an, den rechten oder linken Blinker zu blinken.
Der Kamerawechselabschnitt 400 beobachtet ein Steuersignal, das durch den Fahrzeugsteuerabschnitt 100 ausgegeben wird, erfasst die tatsächliche Operationsbedingung des Fahrzeugs und wählt gemäß dem Erfassungsergebnis den Bildverarbeitungsabschnitt 4 zuzuführende Bilddaten aus Bilddaten aus, die durch drei Kameras 1a bis 1c aufgenommen wurden.
Wenn beispielsweise der linke Blinker blinkt, ist die Verwendbarkeit von Informationen von der Kamera, die Bilder von der rechten Seite des Fahrzeugs aufnimmt, im wesentli chen gering, weshalb die Bilddaten von der Kamera, die Bilder von der linken Seite aufnimmt, ausgewählt werden.
Ferner wählt der Datenbankwechselabschnitt 401 automatisch eine Merkmalvektordatenbank 8a, 8b oder 8c entsprechend der ausgewählten Kamera in Verbindung mit der Operation des Kamerawechselabschnittes 400 aus.
Entsprechend schafft ein Wechseln zwischen den Kameras und den zu verwendenden Datenbanken unter vollständiger Verwendung von Steuerinformationen des Fahrzeugs ein effizientes Objekterkennungsverfahren und Abstandsmessverfahren.
9 zeigt ein weiteres Beispiel der Objekterkennungsvorrichtung der vorliegenden Erfindung. Wie im Falle der zweiten Ausführungsform wird bei dieser Ausführungsform vorausgesetzt, dass die Objekterkennungsvorrichtung an einem Fahrzeug befestigt ist.
Wie im Falle der ersten und zweiten Ausführungsform ist auch die vorliegende Ausführungsform mit Datenbanken in Verbindung mit einer Kamera versehen. Jedoch unterscheidet sich die vorliegende Ausführungsform von den zuvor beschriebenen Ausführungsformen dahingehend, dass mehrere Datenbanken Verbindung mit einer Kamera vorgesehen sind.
Das bedeutet, dass die vorliegende Ausführungsform mehrere Datenbanken schafft, die auf der tatsächlichen Situation von zu erkennenden Objekten und Bedingungen, denen die Objekte ausgesetzt sind, etc. schafft. Die vorliegende Ausführungsform wechselt automatisch zwischen Datenbanken gemäß den Umgebungssituationen, etc.
Vorliegend umfassen die Bedingungen zum Wechseln zwischen Datenbanken Tages- und Nachtzeit, Zeit, Wetter, Helligkeit, etc., und in diesem Fall werden Daten gemäß der Situation in jedem Moment ausgewählt. Es ist auch möglich, verschiedene Datenbanken zu verwenden, wenn das Fahrzeug auf einer Autobahn fährt, oder wenn das Fahrzeug auf anderen Fahrbahnen fährt.
Wenn ein Fahrzeug auf einer Fahrbahn fährt, sind ferner Fälle möglich, in denen einige Bedingungen zum Fahren des Fahrzeugs an speziellen Orten oder in speziellen Regio nen hinzugefügt werden. Beispielsweise gibt es einen Fall, in dem dem Fahrzeug eine Bedingung aufgelegt wird, dass das Fahrzeug selbst während des Tages in einer bestimmten Region mit eingeschalteten Lichtern fahren sollte, wie beispielsweise eine Region, in der häufig Nebel auftreten. In diesem Fall ist es möglich, eine Technik des Downloadens von Datenbankinformationen zu verwenden, die dazu geeignet sind, in der Region zu fahren, wenn das Fahrzeug durch ein automatisches ITS-Mauttor fährt, und die Datenbanken jedes Mal zu ändern, wenn sich die Fahrbedingungen ändern.
In dem in 9 gezeigten Fall umfasst die Vorrichtung Merkmalvektordatenbanken 26a und 26b, die am Tag oder bei gutem Wetter verwendet werden, Merkmalvektordatenbanken 26d bis 26f, die am Tag und bei Regen verwendet werden, und Merkmalvektordatenbanken 26g bis 26e, die bei Nacht und Regen in Verbindung mit Kameras 1a, 1b und 1c verwendet werden.
Das bedeutet, dass drei Datenbanken für eine Kamera vorgesehen sind. Zusätzlich zu der Bedingung jeder Kamera hat die vorliegende Ausführungsform ferner eine weitere Bedingung, wenn Datenbanken verwendet werden.
Die Grundkonfiguration, die Funktion und die Operation der Objekterkennungsvorrichtung gemäß 9 entsprechen fast denjenigen der in 8 dargestellten Vorrichtung.
Der Fahrzeugsteuerabschnitt 100 sendet ein Steuersignal zum Blinkerbeleuchtungsabschnitt 101, zum Scheibenwischerantriebsabschnitt 102, zum Beleuchtungsabschnitt 103, etc., über ein Steuerbus (BUS) 105. Der Datenbankwechselabschnitt 402 überwacht das Steuersignal, das von dem Fahrzeugsteuerabschnitt 100 ausgegeben wird, schätzt die derzeitige Fahrumgebung des Fahrzeugs anhand des Steuersignals und wählt automatisch eine Datenbank gemäß der Umgebung aus.
Wenn beispielsweise der Frontscheibenscheibenwischer betrieben wird und die Lichter eingeschaltet sind, sollte klar sein, dass das Fahrzeug in einer nächtlichen Umgebung bei Regen gefahren wird. Wenn das Objekterkennungsverfahren an einem von der Kamera 1a aufgenommenen Bild durchgeführt wird, wird entsprechend die Merkmalvektordatenbank 26g ausgewählt, der eine Betriebsbedingung bei Nacht und Regen auferlegt ist.
Wie für die vorliegende Ausführungsform beschrieben wurde, ist die Technik des Bereitstellens einer Datenbank für ihre Umgebung oder Bedingung und das Auswählen einer Datenbank, die für die Umgebung oder die Bedingung geeignet ist, sehr effektiv, um die Genauigkeit der Objekterkennung und ferner die Verlässlichkeit des gemessenen Abstandes, etc., zu verbessern.
Das bedeutet, dass die Art, wie das Objekt erscheint, sich beträchtlich in Abhängigkeit vom Wetter und von der Bildaufnahmezeitdauer, etc., ändern kann, selbst wenn Bilder eines Objektes von derselben Kamera aufgenommen werden. Entsprechend kann das Wechseln der Datenbank zur Anpassung an Bedingungen während des tatsächlichen Betriebs die Genauigkeit der Objekterkennung stark verbessern.
Nachfolgend wird eine Technik zum Unterstützen des Fahrens durch Befestigen der Objekterkennungsvorrichtung an einem Fahrzeug unter Bezugnahme auf die 12 bis 26 genauer beschrieben.
12 zeigt ein Beispiel, bei dem fast dieselbe Konfiguration wie die Konfiguration der vorhergehenden Ausführungsformen der vorliegenden Erfindung auf eine Limousine 130 angewendet werden. Die Bauteile, die denjenigen in den 1 und 8 entsprechen, sind mit denselben Bezugsziffern bezeichnet.
Es sollte bei der in 12 dargestellten Konfiguration klar sein, dass die nützlichen Informationen, die sich anhand des Objekterkennungsverfahrens ergeben, dem Fahrer über einen Monitor 107 und einem Informierungsabschnitt 108 mitgeteilt werden, wobei die Komponenten der Bildverarbeitungsvorrichtung (Bildeingabeschnittstelle 2, Kamerawechselabschnitt 20, Suchbereich-Fokussierabschnitt 5, Datenbankwechselabschnitt 21, Objekterkennungsabschnitt 6, Fahrbahnstrukturerkennungsabschnitt 120 und Abstandsberechnungsabschnitt 7) durch Software implementiert sind, und die Merkmalvektordatenbanken 26a bis 26n und die Informationen über die Komponenten der Bildverarbeitungsvorrichtung können von außen heruntergeladen werden.
Bei der in 12 dargestellten Objekterkennungsvorrichtung kann der Fahrzeugsteuerabschnitt 100 beispielsweise ordnungsgemäß steuern, welches der Bilder, die durch die Kameras 1a, 1b und 1c aufgenommen werden, der Objekterkennung unterzogen werden sollte.
Normalerweise ist es realistisch, dass mehrere Kameras 1a bis 1c der Reihe nach durch Time Sharing ausgewählt werden, und Fahrzeuge, die sich dem Fahrzeug nähern, werden konstant und automatisch überwacht.
Nebenbei wird der Fahrzeugsteuerabschnitt 100 mit Informationen versorgt, welche die Fahrumgebung (beispielsweise Regen oder Nacht) und die Fahrbedingung (Geschwindigkeit, ob das Fahrzeug gerade oder Kurven fährt etc.) anzeigt, wenn dies dienlich ist.
Basierend auf verschiedenen Arten von Informationseingaben sendet der Fahrzeugsteuerabschnitt 100 ein Steuersignal an den Datenbankwechselabschnitt 21, um die Datenbanken zu wechseln.
Das Schalten des Kamerawechselabschnittes 20 kann auch unter Verwendung eines Fahrzeugindikationssystems oder anhand von GPS-Informationen erfolgen. Wenn beispielsweise der Fahrer den rechten Blinker betätigt, während das Fahrzeugnavigationssystems den Fahrer anweist, nach einer Kreuzung rechts abzubiegen, wählt der Kamerawechselabschnitt 20 die Kamera aus, um Bilder rechts des eigenen Fahrzeugs aufzunehmen, um eine dem Abbiegen nach rechts entsprechende Fahrzeugerkennung durchzuführen (Erkennung von umgebenden Fahrzeugen an einer Kreuzung). Wenn andererseits der Fahrer den rechten Blinker auf einer geraden Fahrbahn betätigt, während das Fahrzeugnavigationssystems den Fahrer anweist, geradeaus zu fahren, wählt der Kamerawechselabschnitt 20 die Kamera aus, um Bilder rechts hinter dem eigenen Fahrzeug aufzunehmen, um eine Fahrzeugerkennung entsprechend eines Spurwechsels nach rechts durchzuführen (Erfassung von Fahrzeugen, die sich von rechts hinten nähern). Ferner ändert der Kamerawechselabschnitt 20 die Kamera sequentiell mittels Time Sharing, um näher kommende Fahrzeuge zu erkennen.
Ferner werden bei der in 12 dargestellten Objekterkennungsvorrichtung Bildarten, die von dem Suchbereich-Fokussierabschnitt 5 ausgegeben werden, und Informationen, die das Objekterkennungsergebnis anzeigen, das von dem Objekterkennungsabschnitt 6 ausgegeben wird (einschließlich der Informationen des geschätzten Abstands zu dem Objekt unter Verwendung einer in 7 dargestellten Datenbank) zum Schnittstellenschaltkreis 106 gesendet.
Zudem werden auch die Informationen, die durch den Sensor 122 erlangt werden, und Steuerinformationen, die von dem Fahrzeugsteuerabschnitt 100 ausgegeben werden, dem Schnittstellenschaltkreis 106 zugeführt.
Daraufhin werden Informationen, die für den Fahrer erforderlich sind, dem Fahrer über den Monitor 107 und dem Informierungsabschnitt 108 mitgeteilt.
Ein Beispiel eines Bildes, das auf dem Monitor 107 in 12 erscheint, und ein Beispiel von Informationen, die dem Benutzer über den Informierungsabschnitt 108 in 12 zugeführt werden, sind in 14A gezeigt.
In 14A nähert sich ein Bus in einem Abstand von 5 m von rechts hinten, und der Monitor informiert den Fahrer mit Hilfe von Zeichen, dass es gefährlich ist, einen Spurwechsel durchzuführen. Zusätzlich zu den Zeichen wird auch die Richtungsinformation „rechts hinten" mit Hilfe des Informierungsabschnittes 108 anhand einer blendenden Lampe mitgeteilt, wie es rechts oben in 14A gezeigt ist.
Das bedeutet, das in dem Informierungsabschnitt 108 mehrere Lampen a bis h um das eigene Fahrzeug 103 angeordnet sind, die der Position mehrerer Kameras entsprechen. In 14A blinkt die Lampe d unten rechts, wodurch visualisiert wird, dass ein Fahrzeug sich von rechts hinten nähert.
14A zeigt ein Beispiel einer Mitteilung mit Hilfe eines Bildschirms, wobei diese Ausführungsform hierauf jedoch nicht beschränkt ist, sondern es ist eher wünschenswert, verschiedene Informationsverfahren anzuwenden, welche die fünf menschlichen Sinne ansprechen, oder Kombination dieser Verfahren.
Die vorliegende Erfindung erlaubt also eine Objekterkennung in Echtzeit unter Verwendung von Kameras. Das bedeutet, dass es möglich ist, Informationen über verschiedene Richtungen zu erhalten, wobei die Menge an erhältlichen Informationen diejenigen herkömmlicher Verfahren bei weitem übersteigt.
Jedoch könnte dies den Fahrer eher verwirren. Wenn beispielsweise ein Warnsignal anzeigt, dass „sich ein Fahrzeug von rechts hinten nähert", kann es vorkommen, dass der Fahrer nicht in der Lage ist, die Richtung rechts hinten sofort zu verstehen und eine falsche Entscheidung trifft, die eher zu einem schweren Unfall führt.
Somit ist es von großer Wichtigkeit, die erlangten Informationen dem Fahrer in einer Art und Weise mitzuteilen, ohne den Fahrer zu verwirren.
Daher verwendet die vorliegende Ausführungsform ein Verfahren, das die fünf Sinne mit Ausnahme der visuellen Wahrnehmung anspricht, wobei es sich gleichzeitig um ein Verfahren zum Informieren des Fahrers handelt, das dem Fahrer erlaubt, sofort mit seinen dreidimensionalen Sinnen zu verstehen, welche Kamera das Bild aufgenommen hat, auf dem die Informationen basieren, und zwar zusätzlich zu der Mitteilung unter Verwendung eines Konsolenbildschirms.
Die Mitteilungsverfahren, welche die fünf Sinne mit Ausnahme der visuellen Wahrnehmung ansprechen, sind die folgenden.

Tonmitteilung: Die Mitteilung von Informationsinhalten unter Verwendung der Richtung, von hoch oder tief, von laut oder leise, des Rhythmus, der Melodie, des unangenehmen Geräusches, etc., oder Kombination hiervon.
Sprachmitteilung: Mitteilung von Informationsinhalten unter Verwendung eines Stimmenklangs, etc.,
Vibrationsmitteilung: Mitteilung von Informationsinhalten unter Verwendung einer Vibrationsintensität, eine Vibrationsrichtung, eine Vibrationsart, eine Vibrationsgeschwindigkeit, etc., oder Kombination davon.
Beleuchtungsmitteilung: Mitteilung von Informationsinhalten unter Verwendung einer Beleuchtungsintensität, einer Beleuchtungsrichtung, einer Beleuchtungsart, etc. oder Kombination davon.
Geruchsmitteilung: Mitteilung von Informationsinhalten unter Verwendung einer Geruchsintensität, einer Geruchsrichtung, einer Geruchsart, etc. oder Kombination davon.
Windmitteilung: Mitteilung von Informationsinhalten unter Verwendung einer Luftstromintensität, einer Luftstromrichtung, einer Luftstromart oder Geschwindigkeit, etc. oder Kombination davon.

14B zeigt eine Konfiguration einer Vorrichtung 106 unter Verwendung einer Windmitteilung. Die in 14B dargestellte Vorrichtung 106 umfasst einen Dekodierer 109, der Objekterkennungsinformationen dekodiert (einschließlich Abstandsinformation) und ein Dekodiersignal SC ausgibt, das aus mehreren Bits besteht, und eine Windsteuervorrichtung 110, die das Dekodierungssignal SC empfängt und Steuersignale zu mehreren Windgebläseabschnitten 11a bis 11n sendet.
Die Tatsache, welcher der Mehrzahl von Windgebläseabschnitten 111a bis 111n Wind ausbläst, wie stark der Wind ist, wie lang der Wind bläst oder Temperatur der Wind hat, etc., wird durch einen Steuersignalausgang von der Windsteuervorrichtung 110 geeignet gesteuert.
Wenn sich beispielsweise ein Fahrzeug mit hoher Geschwindigkeit dem Benutzer auf der rechten Seite von hinten nähert, bläst der Windgebläseabschnitt einen Wind, der stark ist, den Benutzer jedoch nicht stört, für eine kurze Zeitdauer von der rechten Seite hinter dem Benutzer. Wenn sich hingegen ein Fahrzeug dem Nutzer langsam auf der rechten Seite von hinten nähert, bläst der Windgebläseabschnitt einen Wind, der relativ schwach ist, für eine kurze Zeitdauer von der rechten Seite hinter dem Benutzer. Oder es kann ein weiteres Verfahren verwendet werden, das den Abstand zu dem Zielfahrzeug anhand der Dauer des Blasens des Windes ausdrückt. In allen Fällen ist es bevorzugt, ein Mitteilungsverfahren zu verwenden, das dem Benutzer effizient und effektiv erlaubt, den Inhalt der ausgegebenen Information abzubilden.
Die Verwendung dieser Verfahren unabhängig voneinander oder in Kombination lässt den Benutzer wesentliche Informationen effektiv in einer einfach zu betreibenden Art und Weise wissen.
Nebenbei beinhaltet das Mitteilungsverfahren auch das folgende. Nämlich ein Verfahren, bei dem ein Alarmgeräusch, eine Stimme und ein Blinken einer Displaylampe kombiniert werden. In diesem Fall muss der Benutzer den Bildschirm nicht dauern überwachen, sondern er muss nur dann aufmerksam sein, wenn er daran erinnert wird, wodurch die dem Fahrer aufgelegte last verringert wird.
Beim Unterteilen des Bildschirms in Bereiche, wobei beispielsweise jeder Bereich eine Kamera anzeigt, erlaubt es dem Benutzer anhand der angezeigten Position zu unterscheiden, zu welcher Kamera das Bild gehört. Wie in 14A gezeigt ist, gibt es auch ein Verfahren, bei dem das Fahrzeugmodell auf dem Bildschirm gezeigt ist, etc., und bei dem der Fahrer durch eine Blinanzeige dazu bewegt wird, die Kamera zu betrachten. Eine Kombination der beiden Anzeigearten (echtes Bild und Modellbild (nur im Falle eines Gefahrsignals)), wie es in 14A gezeigt ist, erlaubt es dem Benutzer, Informationen effizient und sicher wahrzunehmen.
Wie in 27 gezeigt ist, können der Kamerawechselabschnitt 20, der Suchbereich-Fokussierabschnitt 5 und der Objekterkennungsabschnitt 6 in 12 auf ein Computer 140 unter Verwendung einer Software eingerichtet werden. Ferner kann die lernende Datenbank 49, welche die Modelldaten zur Objekterkennung speichert, in dem Computer 140 integriert sein.
Der Bildverarbeitungsabschnitt 4 und die lernende Datenbank 49 (einschließlich der Merkmalvektordatenbanken 8a, 8b und 8c) können eingerichtet werden, indem Aufzeichnungsmedien 141 und 142, wie beispielsweise eine CD-Rom, die erforderliche Informationen speichert, und Software, in den Computer 140 eingerichtet werden.
Ferner ist es auch möglich, Informationen, die spezifisch für die Regionen sind, von einem Mauttor 131 herunterzuladen, solche Informationen zusammen mit Daten, wie beispielsweise GPS, von einem Satelliten 132 herunterzuladen oder von einem Server 135 von einem Fernnetz über eine Radiobasisstation 133.
Informationen über Datenbanken, etc. können via Funk heruntergeladen werden, wenn das Fahrzeug ein automatisches Mauttor 131 in dem IST-System passiert, wie es in dem oberen Abschnitt der 12 gezeigt ist.
Ferner können erforderliche Informationen auch von einem Satelliten 132 per Funk dem Fahrzeug 103 zugeführt werden. Oder es ist auch möglich, erforderliche Informationen von einem Server 135 eines Fernnetzes 134, wie beispielsweise dem Internet, zu extrahieren und die Informationen von der Mobiltelefonbasisstation (Radiobasisstation) 133 zum Fahrzeug 103 zu senden.
In 12 werden die Operationen der Kameras 1a, 1b und 1c, etc., des Kamerawechselabschnittes 20 und des Datenbankwechselabschnittes 21, etc., durch den Fahrzeugsteuerabschnitt 100 konzentriert gesteuert. Dem Fahrzeugsteuerabschnitt 100 werden auch Informationen des Sensors 122 zugeführt (beispielsweise ein Sensor zum Messen des Drehwinkels des Fahrzeugs).
12 zeigt nur drei Kameras 12, wobei jedoch tatsächlich Kameras 1a bis 1i angeordnet sind, um die Umgehung des Fahrzeugs 130 zu überwachen, wie es in 13 gezeigt ist.
In 13 bezeichnen die Bezugsziffern 140a bis 140d Reifen. Ferner bezeichnen in 13 die schraffierten Bereiche die Überdeckung der Kameras.
Die vorliegende Erfindung erlaubt eine dreidimensionale Abstandsmessung durch eine einzelne Kamera, ohne dass es erforderlich ist, eine Stereo-Bildaufnahme zu verwenden. Entsprechend ist es möglich, eine Mehrzahl von in verschiedene Richtungen weisendenden Kameras anzuordnen und entsprechend die Umgebungssituation genauer zu überwachen.
Nachfolgend wird ein Beispiel von Positionen der an dem Fahrzeug befestigten Kameras beschrieben.
Kameras zum Erfassen von Umgebungsfahrzeugen bei einem Spurwechsel sind an den Positionen der Seitenspiegel angeordnet. Kameras zum Erfassen von Umgebungsfahrzeugen beim Parken des Fahrzeugs oder bei einem Spurwechsel sind an dem hinteren Teil des Daches des Fahrzeugs befestigt. Oder Kameras zum Erfassen von Umgebungsfahrzeugen an einer Kreuzung (blindes Überwachen: Erfassen der Situation in den Seitwärtsrichtungen, die für den Fahrer nicht einzusehen sind) sind in den Seitenrichtungen des Fahrzeugdaches vorgesehen, oder Kameras zum Erfassen von bremsenden Fahrzeugen sind vorne am Fahrzeug positioniert. Ferner können Kameras auch innerhalb des Fahrzeugraums angeordnet werden, um den seitlichen Blick des Fahrers zu erfassen. Bei den zu erkennenden Objekten kann es sich nicht nur um Fahrzeuge, sondern auch um Objekte der Umgebung handeln.
15 ist ein Blockdiagramm, das eine Konfiguration des Bildverarbeitungsvorrichtung der vorliegenden Erfindung zeigt (einschließlich dem Objekterkennungsabschnitt und dem Abstandsmessabschnitt durch Fahrbahnstrukturerkennung).
Die Grundkonfiguration der Vorrichtung in 15 entspricht fast derjenigen in 12. Jedoch unterscheidet sich die in 15 dargestellte Vorrichtung von der Konfiguration gemäß 12 dahingehend, dass die Vorrichtung mit einem Abstandsmessabschnitt 7 versehen ist, der die Position eines Objektes in einem dreidimensionalen Raum unter Verwendung eines Objekterkennungsergebnisses identifiziert und den Abstand von einer Kamera zu dem Objekt in dem dreidimensionalen Raum genau berechnet.
Die Funktionen und Operationen der Kernabschnitte der Bildverarbeitungsvorrichtung, welche die Bildverarbeitung eines sich bewegenden Fahrzeugs durchführt und in 15 gezeigt ist, werden nachfolgend der Reihe nach beschrieben.
Zuerst wird der Suchbereich-Fokussierabschnitt 5 beschrieben.
Der Suchbereich-Fokussierabschnitt 5 in 15 fokussiert den Suchbereich auf der Suche nach einem Bereich, in dem ein Fahrzeug auf der Fahrbahn wahrscheinlich vorhanden ist, basierend auf den eingegebenen Bilddaten.
Dieser Suchbereich-Fokussierabschnitt 5 kann Einstellungen vornehmen, um sich der Situation anzupassen, indem der Suchbereich erweitert wird, um einen Erfassungsverlust zu verhindern, oder indem der Suchbereich im Gegensatz dazu eingegrenzt wird, um klare Objekte effizienter zu erfassen, etc.
Das Fokussieren des Suchbereiches ist die Vorgehensweise, den gesamten Bildbereich auf einen Bereich zu fokussieren, in Bezug auf den angenommen wird, dass vorausfahrende Fahrzeuge (oder auch nachfolgende Fahrzeuge) in diesem mit einer sehr hohen Wahrscheinlichkeit vorhanden sind, um den Aufwand der Vorrichtung zu reduzieren und die Verarbeitung zu beschleunigen. Ein bevorzugtes Beispiel (Verfahren) zum Fokussieren des Suchbereiches bei dieser Ausführungsform ist in 16 gezeigt.
Zunächst werden, wie in 16 dargestellt ist, die Fahrbahnränder (weiße Linien oder Seitenstreifen auf beiden Seiten der Fahrbahn) erfasst (Schritt 200).
Danach wird der Bereich zwischen den Fahrbahnrändern unter Berücksichtigung der Höhe des Fahrzeuges um ein Maß erweitert, der erweiterte Bereich mit einem Rechteck approximiert und die Koordinaten der Eckpunkte als die Informationen über den Suchbereich angesehen (Schritt 210).
Diese Verarbeitung wird genauer unter Bezugnahme auf die 17A, 17B und 18A und 18B beschrieben.
Die 17A und 17B zeigen Beispiele von Bildern, die von den Kameras 1a und 1c aufgenommen wurden. Das bedeutet, dass die 17A und 17B Bilder desselben Fahrzeugs zeigen, die von verschiedenen Kameras aufgenommen wurden. Diese sind also Bilder eines (vorfahrenden) Fahrzeugs, das vor dem eigenen Fahrzeug fährt, die durch mehrere Kameras aufgenommen sind, die in ihrem eigenen Fahrzeug befestigt sind.
Basierend auf diesen Bilddaten fokussiert der Suchbereich-Fokussierabschnitt 5 in 15 den Suchbereich.
In den 17A und 17B bezeichnet die Bezugsziffer 310 die horizontale Linie und die Bezugsziffer 320a und 320b bezeichnen weiße Linien, welche die Ränder der Fahrbahn anzeigen. Die Bezugsziffer 330 bezeichnet das Fahrzeug (voranfahrendes Fahrzeug), das erfasst werden soll, die Bezugsziffer 340 bezeichnet ein Nummernschild.
Zuerst werden die weißen Linien an beiden Enden der Fahrbahn anhand des Bildes in 17A erfasst (Erfassung der Fahrbahnränder, Schritt 200 in 16).
18A zeigt den Zustand, in dem die weißen Linien erfasst wurden. Zu diesem Zeitpunkt, in dem einige Bereiche nicht erfasst wurden, werden diese anhand der erfassten weißen Linien unter Verwendung einer Kurvenapproximation oder anderer Verfahren ergänzt.
Dann wird, wie es in 18B gezeigt ist, der Bereich zwischen den rechten und linken weißen Linien um ein Maß unter Berücksichtigung der Höhe des Fahrzeugs erweitert, und der erweiterte Bereich wird mit einem Rechteck approximiert (Schritt 210 in 16).
Der auf diese Weise spezifizierte Bereich ist der Suchbereich Z1, der durch die gepunktete Linie in 18B eingeschlossen ist. Nebenbei ist, wie zuvor beschrieben, die Größe des rechteckigen Bereiches geeignet einstellbar.
Da das voranfahrende Fahrzeug auf der Fahrbahn fahren muss, muss das Fahrzeug zwischen weißen Linie 320a und 320b an beiden Enden positioniert sein. Da das Fahrzeug ferner eine bestimmte Höhe aufweist, sollte dies berücksichtigt werden, und die weißen Linien 320a und 320b werden parallel aufwärts verschoben und die Höhe wird innerhalb des Bereiches reguliert, der das gesamte Voranfahren des Fahrzeugs bedeckt. Der Bereich Z1 wird auf diese Weise bestimmt. Die Informationen über die Eckpunkte dieses Bereiches werden zu dem Fahrbahnerkennungsabschnitt 120 und zum Objekterkennungsabschnitt 6 in 15 gesendet.
Verglichen mit einem Fall, in dem der gesamte Bildschirm durchsucht wird, werden die zu durchsuchenden Bilddaten durch das Fokussiermaß reduziert, wodurch die Last der Erfassung der Position des Fahrzeugs und der Berechnung des Abstandes zwischen den Fahrzeugen verringert wird.
Ferner kann auch ein adäquater Spielraum in Bezug auf die Verarbeitungszeit sichergestellt werden. Zudem ist das Verfahren zum Fokussieren des Suchbereiches unter Berücksichtigung der Fahrbahnränder und der Höhe des Fahrzeugs einfach und schafft eine hohe Wahrscheinlichkeit, ein Fahrzeug verlässlich zu erfassen.
Jedoch ist diese Ausführungsform nicht auf das zuvor beschriebene Verfahren beschränkt, sondern es können auch andere Fokussierverfahren verwendet werden.
Beispielsweise ist auch das Verfahren erhältlich, das optische Ströme verwendet. Wie zuvor gezeigt wurde, ist ein Beispiel der Erfassung von Fahrzeugbereichen unter Verwendung eines optischen Stromverfahrens in dem Dokument „Rear Side Monitoring by Moving Image Processing" (von Miyaoka et al., zusammengefasste Dokumente der Vorträge des vierten Symposiums in Bezug auf das Thema „Sensing via Image Information", Seiten 351–354).
Das bedeutet, das zwei aufeinander folgende fotografierte Bilder bereitgestellt werden. Es wird untersucht, wo in dem zweiten Bild ein spezifischer Bereich in dem ersten Bild positioniert ist. Anschließend wird ein Vektor, der den spezifischen Bereich in dem ersten Bild und den spezifischen Bereich in dem zweiten Bild verbindet, als ein optischer Strom angesehen. Dann wird basierend auf der Position des optischen Stromes in dem Koordinatensystem die Position des Fahrzeugs bestimmt.
Es sei ein Fall angenommen, in dem sowohl das eigene Fahrzeug als auch das voranfahrende Fahrzeug sich bewegen. Sowohl das voranfahrende Fahrzeug als auch die Fahrbahnen bewegen sich von dem Blickwinkel des eigenen Fahrzeugs. Da sich die Fahrbahn und das fahrende Fahrzeug jedoch in der Art ihrer Bewegung in der Bewegungsgeschwindigkeit voneinander unterscheiden ist es möglich, die Unterschiede in den Bewegungen und den Bereich, in dem sich das Fahrzeug wahrscheinlich bewegt, zu fokussieren. In diesem Fall wird die Genauigkeit der Fokussierung erhöht.
Der auf diese Weise erfasste Bereich wird durch ein Rechteck repräsentiert und die Koordinaten der Eckpunkte werden als Bereichsinformationen angesehen.
Es ist ferner möglich, den Suchbereich unter Verwendung von Stereo-Bilder zu fokussieren. Ein Beispiel der Erkennung von Fahrzeugbereichen unter Verwendung von Stereo-Bildern ist in dem Dokument „Development of Object Detection Technology Using Stereo Images" (von Kigasawa et al., gesammelte Dokumente der Vorträge des zweiten Symposiums in Bezug auf das Thema „Sensing via Image Information", Seiten 259–264) beschrieben. Da das Fokussieren durch Erkennen einer dreidimensionalen Form durchgeführt wird, ist ein exaktes Fokussieren möglich.
Der auf diese Weise erfasste Bereich wird durch ein Rechteck ausgedrückt und die Koordinaten der Eckpunkte werden als die Bereichsinformationen angesehen. Nebenbei können die Höhen der erfassten dreidimensionalen Objekte, etc., geeignet eingestellt werden.
Ferner kann der optische Strom auch in Kombination mit Stereo-Bildern verwendet werden. D.h., es wird die Summe von Sätzen oder ein Produkt von Sätzen eines unter Verwendung des optischen Flusses erfassten Bereiches und eines unter Verwendung von Stereo-Bildern erfassten weiteren Bereiches berechnet, um den Bereich zu bestimmen, in dem die Bildverarbeitung durchgeführt wird.
Dies erlaubt ein Erkennen des Bereiches eines stationären Fahrzeugs, der nicht allein unter Verwendung des optischen Stroms erkannt werden kann.
Ferner werden Strukturen auf der Fahrbahn eliminiert, die unnötigerweise erfasst werden, wenn nur Stereo-Bilder verwendet werden.
Nachfolgend wird die Operation des Erkennens der Position eines Fahrzeugs und die Operation des Berechnens des Abstandes zu dem Fahrzeug beschrieben.
19 zeigt die Teile, die sich auf die Operation des Erkennens der Position eines Fahrzeugs und auf die Operation des Berechnens des Abstands zu dem Fahrzeug beziehen, wobei die Teile der Konfiguration in 15 entnommen sind. Der Objekterkennungsabschnitt 6, der Fahrbahnstrukturerkennungsabschnitt 120 und der Abstandberechnungsabschnitt 7 berechnen jeweils den Abstand zu dem Fahrzeug unter Verwendung eines in 20 dargestellten Verfahrens.
Der Objekterkennungsabschnitt 6 erfasst also die Position eines Objektes auf der Fahrbahn in einem Bild basierend auf einem durch eine Kamera aufgenommenen Bild (Schritt 80).
Dann erkennt der Fahrbahnstrukturerkennungsabschnitt 120 eine dreidimensionale Struktur basierend auf den von den Kameras aufgenommenen Bildern (Schritt 81).
Daraufhin berechnet der Abstandsberechnungsabschnitt 7 den Abstand von der Kamera zu dem Objekt in einem tatsächlichen Raum basierend auf den Informationen über die Position des Objektes und auf den Informationen über die Fahrbahnstruktur (Schritt 82).
21 zeigt ein Bildbeispiel, das von einer Kamera aufgenommen wurde.
Wie es in dieser Figur gezeigt ist, ist ein Fahrzeug 21, ein Erfassungsziel, auf der Fahrbahn 23 angeordnet. Weiße Linien 24 und 25 sind auf der rechten und linken Seite der Fahrbahn 23 gezeichnet.
Beispielsweise werden eine sekundäre Differentialverarbeitung und eine binäre Verarbeitung auf ein Eingabebild der Rückansicht des voranfahrenden Fahrzeuges angewendet. Auf diese Weise wird ein differenziertes binäres Bild erzeugt, wie in 22 gezeigt. Dann werden horizontale Randkomponenten aus dem erzielten Bild extrahiert. Der rechteckige Kasten 31, der in der Mitte von 22 gezeigt ist, repräsentiert das Modell des zu erfassenden voranfahrenden Fahrzeugs.
Dann wird da Musterabgleichverfahren, das in Bezug auf die vorherige Ausführungsform beschrieben wurde (Vergleich mit dem lernenden Modell, das in der Datenbank gespeichert ist) angewendet, und die Position und die Art, etc., des Fahrzeugs in dem Bild werden erfasst.
Ferner können die Positionen der Fahrbahnränder einfach identifiziert werden, indem beispielsweise die Position der rechten und linken weißen Linien als Ränder der Fahrbahn erfasst werden. Selbst wenn die weißen Linien unterbrochen sind, ist es möglich, die Fahrbahnränder durch Ergänzen der weißen Linien durch Kurvenkomplimentieren oder lineare Komplimentieren zu ergänzen.
Die Position des erfassten Fahrzeugs in dem Bild kann anhand der Koordinaten der das Fahrzeug repräsentierenden Punkte ausgedrückt werden. Beispielsweise kann ange nommen werden, dass der Mittelpunkt der unteren Seite des rechteckigen Kastens in 22 (Bezugsziffer 22) die Positionen des voranfahrenden Fahrzeugs ist.
Ferner kann die Position des Fahrzeugs in Verbindung mit den Fahrbahnrändern erfasst werden, wie es in 21 oder 22 gezeigt ist.
Das bedeutet, dass aus einer infiniten Anzahl von Liniensegmenten, welche die rechten und linken Ränder der Fahrbahn verbinden und durch den Koordinatenpunkt 22 des Fahrzeugs führen, das kürzeste Liniensegment (Bezugsziffer 53 in 21 und 22) ausgewählt wird.
Die beiden Punkte, in denen das ausgewählte Liniensegment 53 die Fahrbahnränder schneidet, werden als x1 und x2 angenommen. Wie in 20 gezeigt ist, wird die relative, die Lage betreffende Beziehung zwischen der Fahrbahn und dem Fahrzeug einmalig bestimmt, sobald die Abstände S1 und S2 von den Punkten x1 und x2 zu dem Koordinatenpunkt 22 des Fahrzeugs ermittelt wurden.
Das Erfassen eines Objektes (Fahrzeuges) und das Erfassen der Position desselben wurden zuvor bereits beschrieben.
Nachfolgend wird das Erfassen der dreidimensionalen Fahrbahnstruktur beschrieben.
Der Fahrbahnstrukturerkennungsabschnitt 120 erkennt die Struktur in dem tatsächlichen Raum der Fahrbahn 23 basierend auf den eingegebenen Bilddaten (Bildinformationen, die durch eine Kamera aufgenommen wurden).
Ein Beispiel eines Systems zum Erkennen der Struktur der Fahrbahnebene in dem tatsächlichen Raum anhand eines Bildes ohne Tiefeninformation (Bild, das durch eine Kamera aufgenommen wurde) ist in dem Dokument „Reconstruciton of Road Shape by Local Plane Approximation" (Watanabe et al., Technischer Bericht von IPSJ CV62-3) beschrieben.
Dieses System fokussiert auf Punkte entsprechend den rechten und linken Fahrbahnränder in einem Bild und bestimmt eine dreidimensionale Fahrbahnstruktur basierend auf der Erkenntnis der Fahrbahnform, die als „Fahrbahnmodell" bezeichnet wird.
Dieses Verfahren zum Rekonstruieren der Fahrbahnstruktur wird nachfolgend kurz unter Bezugnahme auf die 23A und 23C beschrieben.
23A kennzeichnet der Ursprung der Koordinaten „0" die Position einer Kamera. m(1) ist ein Vektor, der basierend auf dem linken Randpunkt der Fahrbahn definiert ist. m(r) ist ein Vektor, der basierend auf dem rechten Randpunkt der Fahrbahn definiert ist.
Die Koordinatenpunkte P1 und Pr bezeichnen entsprechend dem linken Endpunkt und dem rechten Endpunkt einer gleichen Linie der Fahrbahn in dem durch eine Kamera aufgenommenen Bild. Die Koordinatenpunkte R1 und Rr bezeichnen entsprechend dem linken Endpunkt und dem rechten Endpunkt der Fahrbahn auf der Fahrbahn in dem tatsächlichen Raum.
Durch Multiplizieren des linken Endpunktes und des rechten Endpunktes (P1, Pr) der Fahrbahn in dem Bild mit einem vorbestimmten arithmetischen Vektorkoeffizienten ist es möglich, die entsprechenden Koordinatenpunkte (R1, Rr) auf der Fahrbahn in dem tatsächlichen Raum zu bestimmen. Die Positionen der bestimmten Koordinatenpunkte R1 und Rr bilden die Formen der Ränder der Fahrbahn.
Das bedeutet, dass angenommen wird, dass die dreidimensionalen Formen der Fahrbahnränder die Positionen sind, die durch beide Endpunkte eines virtuellen Liniensegmentes gezogen sind, das den linken Endpunkt und den rechten Endpunkt der Fahrbahn verbindet, wenn sich das Liniensegment in einer sanften Kurve bewegt.
Obwohl die tatsächliche Fahrbahn von einem lokalen Standpunkt, wie es in 23B gezeigt ist, einen bestimmten Gradienten aufweist, können die Tangente (t) an die Fahrbahnebene und das virtuelle Liniensegment (e) betrachtet werden, als wären sie in derselben Ebene enthalten (lokale Ebenenapproximation).
Ferner, wie es in 23C gezeigt ist, wenn eine Bedingung angewendet wird, ist der Punkt der Unendlichkeit (Q) in der tangentialen Richtung der Fahrbahn auf der horizontalen Linie und das Liniensegment (P1-Pr) den Rand der Fahrbahn im rechten Winkel schneidet, können die beiden entsprechenden Punkte auf der zweidimensionalen Fahrbahn mittels Vektoroperation berechnet werden.
Die Form der Fahrbahn wird rekonstruiert, indem ein Fahrbahnmodell angewendet wird, so dass eine dreidimensionale Änderung der Positionen der berechneten rechten und linken Ränder der Fahrbahn zu einer sanften Kurve wird.
Das Fahrbahnmodell wird unter Bedingungen konstruiert, dass der Abstand zwischen den rechten und linken Fahrbahnrändern konstant ist und dass jedes Liniensegment, das diese Ränder verbindet, stets horizontal ist, das in „Reconstruction of Road Shape by Local Plane Approximation" beschrieben ist.
Nachfolgend wird das Verfahren zum Erfassen des Abstandes von dem eigenen Fahrzeug zu dem vorausfahrenden Fahrzeug durch der Abstandsberechnungsabschnitt 7 beschrieben.
24 zeigt eine relative, die Lage betreffende, Beziehung zwischen einem vorausfahrenden Fahrzeug (Erfassungsziel) in einem Bild, das von einer Kamera aufgenommen wurde, und den Rändern der Fahrbahn.
Wie zuvor unter Bezugnahme auf die 19 und 20 beschrieben wurde, wurden die Positionen des Fahrzeugs und die Positionen des rechten und linken Fahrbahnrandes entsprechend dem Fahrzeug bereits identifiziert.
Das bedeutet, dass, wie es in 24 gezeigt ist, der Koordinatenpunkt 22, der fast in der Mitte der Fahrbahn angeordnet ist, die Position des vorausfahrenden Fahrzeuges anzeigt.
Das kürzeste Liniensegment, das den Koordinatenpunkt 22 passiert, ist das Liniensegment 53. Vorliegend ist es auch möglich, das Liniensegment 53 derart zu bestimmen, dass es eine vorbestimmte Länge aufweist.
Die Punkte, an denen das Liniensegment 53 die Ränder 51 und 52 der Fahrbahn kreuzt, sind x1 und x2 (Randpunkte).
Somit werden in einem durch eine Kamera aufgenommenen Bild die Position des Fahrzeugs und die relative, die Lage betreffende, Beziehung zwischen dem Fahrzeug und den Rändern der Fahrbahn identifiziert.
Daraufhin wird die dreidimensionale Fahrbahnstruktur unter Verwendung des in den 23A bis 23C gezeigten Verfahrens rekonstruiert. Die rekonstruierte Fahrbahnstruktur ist in 25 gezeigt.
Sobald die Position des voranfahrenden Fahrzeugs auf der rekonstruierten dreidimensionalen Fahrbahnstruktur bekannt ist, kann der Abstand von der Kamera zu dem Fahrzeug in den tatsächlichen Raum durch einfache arithmetische Operationen berechnet werden (geometrische Operationen).
Die Bezugsziffer 41 in 25 bezeichnet eine Draufsicht der Form der Fahrbahn. Andererseits bezeichnet die Bezugsziffer 42 eine Seitenansicht der Form der Fahrbahnebene.
Wie in den 21 und 24 gezeigt ist, stimmen die rechten und linken Ränder der Fahrbahn in einem Bild eins-zu-eins mit den rechten und linken Rändern der Fahrbahn auf der dreidimensionalen Fahrbahnstruktur überein.
Das bedeutet, dass es möglich ist, die Punkte auf der rekonstruierten Fahrbahnstruktur, die in 25 gezeigt ist, zu bestimmen, die mit den rechten und linken Rändern der Fahrbahnrandpunkte x1 und x2 in dem in den 21 und 24 gezeigten Bild übereinstimmen.
In 25 entspricht der Punkt x1' dem Punkt x1 in 21 und in 24. Ähnlich entspricht der Punkt x2' dem Punkt x2 in 21 und 24. Sobald die Endpunkte der Fahrbahn (x1', s2') in dem tatsächlichen Raum bestimmt sind, wird entsprechend das Liniensegment 53' ermittelt, das diese Endpunkte miteinander verbindet.
Das voranfahrende Fahrzeug ist auf dem Liniensegment 53' in dem tatsächlichen Raum positioniert. Wie in den 22 und 24 gezeigt ist, ist das Fahrzeug in dem Bild in einem Abstand S1 von dem Punkt x1 und einem Abstand S2 von dem Punkt x2 angeordnet.
Die Position 22' des Fahrzeugs auf dem Liniensegment 53' in 25 wird anhand einer derartigen relativen, der Lage entsprechenden, Beziehung zwischen dem Fahrzeug und der Fahrbahn bestimmt.
Sobald die Position 22' des Fahrzeugs in dem dreidimensionalen Raum erfasst wurde, ist es möglich, den Abstand von den Koordinaten (Ursprung 0) der Kamera, die an dem eigenen Fahrzeug befestigt ist, zu dem voranfahrenden Fahrzeug durch einfache arithmetische Operation zu bestimmen.
Auf diese Weise ist es möglich, die dreidimensionale Form der Fahrbahn, die in 25 gezeigt ist, und die dreidimensionale Position des Fahrzeugs auf der Fahrbahn anhand des in 21 gezeigten Bildes zu bestimmen.
Das Verfahren zum Erfassen der Position des Fahrzeugs, zum Erfassen einer relativen Beziehung zwischen dem Fahrzeug und der Fahrbahn und zum Berechnen des Abstands zu dem voranfahrenden Fahrzeug gemäß der vorliegenden Erfindung wurden zuvor beschrieben.
Das Verfahren zur Abstandsbestimmung gemäß der vorliegenden Erfindung wird, wie in 20 gezeigt, zusammengefasst.
Die Position in einem Bild eines Objektes, das auf der Fahrbahn vorhanden ist, ist zunächst basierend auf dem Bild erfasst, das durch eine Kamera aufgenommen wurde (Schritt 80). Daraufhin wird die Fahrbahnstruktur basierend auf dem durch die Kamera aufgenommenen Bild erkannt (Schritt 81). Dann wird der Abstand in den tatsächlichen Raum von der Kamera zu dem Objekt basierend auf den Informationen über die Position des Objektes und den Informationen über die Fahrbahnstruktur berechnet (Schritt 82).
Wie es zuvor beschrieben wurde, ist es durch Präparieren der Datenbank, die das in 7 dargestellte Modell speichert, möglich, den Abstand zu einem Objekt bis zu einem bestimmten Maß allein über das Objekterkennungsverfahren zu schätzen, wobei jedoch die Genauigkeit eine bestimmte Grenze hat. In dem ein Abstandsmessabschnitt, wie er gemäß der vorliegenden Ausführungsform gezeigt ist, einbezogen wird, ist es möglich, einen genauen Abstand zu dem Objekt in dem tatsächlichen Raum von durch eine Kamera aufgenommenen Bildern zu messen.
Die Funktion und die Operation der in 15 dargestellten Konfiguration (Konfiguration, die den Abstand zu einem weiteren Fahrzeug in dem dreidimensionalen Raum durch Bildverarbeitung einschließlich Objekterkennung misst) wurden soweit beschrieben.
Die vorliegende Erfindung wurde bislang unter Bezugnahme auf ihre Ausführungsform beschrieben. Die vorliegende Erfindung ist jedoch nicht auf diese Ausführungsformen beschränkt. Die Ausführungsformen beschreiben den Fall, in dem der Abstand zu einem Objekt in dem tatsächlichen Raum gemessen wird, in dem eine Bildverarbeitung auf durch eine Kamera aufgenommene Bilder angewendet wird, wobei die vorliegende Erfindung jedoch nicht notwendigerweise auf diese Ausführungsform beschränkt ist.
Beispielsweise ist es in dem Fall, in dem das Maß der Bildverarbeitung oder der den Kameras zugeteilte Raum vergrößert werden können, nicht unmöglich, Bilder durch Stereo-Bildaufnahme unter Verwendung von zwei Kameras 60a und 60b (70a und 70b), wie es in 26 gezeigt ist, zu erhalten und den Abstand zu dem Objekt in dem dreidimensionalen Raum unter Verwendung der Stereo-Bildverarbeitungsvorrichtung 61 (71) zu messen. Die Objekterkennung unter Verwendung des Musterabgleichs gemäß der vorliegenden Erfindung ist jedoch auf diesen Fall weiterhin anwendbar.
Wie zuvor gezeigt wurde, verwendet die vorliegende Erfindung eine Konfiguration mit einer Bildverarbeitungsvorrichtung für mehrere Kameras, wodurch das Hardwarevolumen reduziert wird. Das bedeutet, dass die Bildinformationen, die durch Bildaufnahmen mit Hilfe mehrerer Kameras erzielt werden, einer gemeinsamen Bildverarbeitungsvorrichtung zugeführt werden.
Dann vergleicht die Bilderarbeitungsvorrichtung die eingegebenen Bilddaten und die Daten über Modelle, die in der Datenbank gespeichert sind (Musterabgleich), bestimmt die Ähnlichkeit und erfasst somit die Position des Objektes, die Art des Objektes und einen groben Abstand zu dem Objekt mit sehr hoher Geschwindigkeit.
Die Datenbank speichert Daten über verschiedene Modelle. Zur Verbesserung der Effizienz des Musterabgleichs zu diesem Zeitpunkt sind mehrere Datenbanken vorgesehen, wobei eine zu verwendende Datenbank gemäß der Verwendung geeignet ausgewählt wird.
Die Erzeugung der Korrespondenz zwischen Datenbanken und Kameras und das Wechseln zwischen Datenbanken gemäß der verwendeten Kamera eliminieren die Notwendigkeit unnötiger Durchsuchungen der Datenbanken und erhöhen die Verarbeitungsgeschwindigkeit. Ferner bedeutet das Fokussieren der zu durchsuchenden Datenbanken, dass die Wahrscheinlichkeit von fehlerhaften Entscheidungen abnimmt, und trägt zur Verbesserung der Genauigkeit des Musterabgleichs bei.
Zusätzlich zu dem Beispiel, bei dem eine Datenbank für jede Kamera vorgesehen ist, können auch mehrere Datenbanken vorgesehen werden, die nur auf Bedingungen basieren, wie beispielsweise Wetter oder Zeitzone. Genauer gesagt wird eine zu verwendete Datenbank gemäß der verwendeten Kamera oder eine zu verwendete Datenbank gemäß den Bildaufnahmebedingungen und der Fahrsituation des eigenen Fahrzeugs ausgewählt.
Als ein schnelles Musterabgleichverfahren gibt es eine Technik zum Multiplizieren von Eingabebilddaten mit einem Merkmalextraktionsvektor, der zuvor ermittelt wurde, wodurch ein Merkmalvektor mit Merkmalen über vorbestimmte verbesserter Modelle erzielt wird, der mit dem Merkmalvektor des in der Datenbank gespeicherten Modells verglichen wird.
Ferner ist es wünschenswert, dass die Bildverarbeitungsvorrichtung ein Verfahren zum Fokussieren des Suchbereiches eines Objektes auf einige Bereiche des eingegebenen Bildes fokussiert, um die Datenmenge, die der Bildverarbeitung unterzogen wird, zu re duzieren. Dies ermöglicht nicht nur die Verringerung der Last auf die Hardware, sondern auch das Erzielen einer Hochgeschwindigkeitsverarbeitung.
Wenn der Abstand von der Position einer Kamera zu einem erfassten Objekt gemessen wird, wird ein Musterabgleich mit einem in der Datenbank gespeicherten Modell durchgeführt, das Informationen über den Abstand zu dem Objekt als ein Parameter umfasst.
Um eine genauere Abstandsmessung durchzuführen, wird die Bildverarbeitung basierend auf den Bildinformationen von einer Kamera durchgeführt, die Bilder von dem Objekt aufgenommen hat, und der Abstand zu dem Objekt in dem dreidimensionalen Raum wird spezifiziert. Dies erlaubt es einer Kamera, den Abstand zu dem Objekt in dem dreidimensionalen Raum zu messen, ohne dass es erforderlich ist, eine Stereo-Bildaufnahme durchzuführen.
Ferner kann die Lieferung an den Nutzer (beispielsweise Fahrer eines Fahrzeugs) von Informationen über Bilder, die von mehreren Kameras aufgenommen wurden, von Informationen über die Art des Objektes, das durch Musterabgleich erkannt wurde (beispielsweise Typ des Fahrzeugs), und Informationen über den Abstand zu dem Objekt in Echtzeit die Last des Benutzers reduzieren und eine Gefahr verhindern.
Die vorliegende Erfindung erlaubt es der Bildverarbeitungsvorrichtung, die Bilder, die von mehreren Kameras zugeführt werden, verarbeitet, allgemein genutzt zu werden, wodurch die Anzahl von gehandhabten Bildverarbeitungsabschnitten verringert und die Verarbeitungslast der Vorrichtung reduziert wird.
Zudem kann die vorliegende Erfindung die zu verarbeitende Informationsmenge selbst reduzieren, die Effizienz verbessern und Objekte genauer erkennen (schätzen), indem Positionen unter Verwendung der Mustererkennung, etc., erfasst werden.
Daher kann die vorliegende Erfindung auch den Abstand zu dem Objekt genau durch diese synergetischen Effekte berechnen und ein praktisches Objekterkennungsverfahren und eine Objekterkennungsvorrichtung schaffen, die sowohl der Echtzeitcharakteristik als auch der Verlässlichkeit genügen.
Wie zuvor beschrieben wurde, kann die vorliegende Erfindung die Effizienz der Bildverarbeitung (Verarbeitungsgeschwindigkeit) mit der Genauigkeit der Objekterkennung und der Genauigkeit der Messung des Abstandes zu dem Objekt kompatibel machen. Dies erlaubt eine Hochgeschwindigkeit und eine sehr verlässliche Abstandsmessung. Die vorliegende Erfindung kann dem Benutzer ferner Echtzeit und sichere Information bieten. Die vorliegende Erfindung schafft eine sehr wichtige Elementtechnologie, indem das ITS-System in einer praktischen Anwendung verwendet wird.
Die vorliegende Erfindung ist nicht auf die zuvor beschriebenen Ausführungsformen begrenzt, und es sind verschiedene Variationen und Modifikationen möglich, ohne den Schutzbereich der vorliegenden Erfindung zu verlassen.

Claims

Objekterkennungsvorrichtung, die umfasst: eine Vielzahl von Kameras (1a, 1b, 1c), die Bilddaten erfassen, und einen Objekterkennungsabschnitt (6), dadurch gekennzeichnet, dass jede Kamera der Vielzahl von Kameras (1a, 1b, 1c) in eine andere Außenrichtung blickt und die Objekterkennungsvorrichtung des Weiteren umfasst: eine Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n), wobei jeder der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) eine Kamera (1a, 1b, 1c) aus der Vielzahl von Kameras (1a, 1b, 1c) zugeordnet ist und in ihr Modelldaten der zu erkennenden Objekte gespeichert sind, die der Blickrichtung der ihr zugeordneten Kamera entsprechen, und einen Suchbereich-Fokussierabschnitt (5), der einen Bereich in allen Bilddaten eingrenzt, in dem ein zu erfassendes Objekt wahrscheinlich vorhanden ist, und den Bereich zu einem Suchbereich macht, wobei der Objekterkennungsabschnitt (6) eine Datenbank aus der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) entsprechend der Blickrichtung der Kamera auswählt, die die Bilddaten erfasst, die Bilddaten in dem Suchbereich in allen Bilddaten mit der Vielzahl von Modelldaten in der entsprechenden Datenbank (8a, 8b, 8c; 26a–26n) vergleicht und Modelldaten, die eine größte Ähnlichkeit zu den Bilddaten aufweisen, zum Durchführen von Objekterfassung in den Bilddaten unter Verwendung der Modelldaten erfasst, und wobei der Objekterkennungsabschnitt (6) für die gemeinsame Nutzung durch die Vielzahl von Kameras (1a, 1b, 1c) vorhanden ist.
Objekterkennungsvorrichtung nach Anspruch 1, wobei die Kameras (1a, 1b, 1c) an einem Fahrzeug (130) angeordnet sind, um die Umgebung des Fahrzeugs zu überwachen.
Objekterkennungsvorrichtung nach Anspruch 1, wobei: in der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) jeweils eine Vielzahl von Merkmalsvektoren registriert sind, die ermittelt werden, indem die Bilddaten von der entsprechenden Kamera (1a, 1b, 1c) mit einer Merkmal-Extraktionsmatrix multipliziert werden, die zum Extrahieren von Merkmalen eines vorgegeben Objektes (SA, TR, BS) vorhanden ist, und der Objekterkennungsabschnitt (6) eine Vielzahl von Merkmalvektoren vergleicht, die ermittelt werden, indem die Bilddaten in dem Suchbereich in allen Bilddaten mit der Vielzahl von Merkmalvektoren in der entsprechenden Datenbank (8a, 8b, 8c; 26a–26n) multipliziert werden, und einen Merkmalvektor in der Datenbank (8a, 8b, 8c; 26a–26n), der eine größte Ähnlichkeit darstellt, und das Objekt erfasst, das der Merkmalvektor darstellt.
Objekterkennungsvorrichtung nach Anspruch 1 bis 3, wobei die Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) mit Bedingungen verknüpft sind, und der Objekterkennungsabschnitt zwischen der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) in Abhängigkeit von den Bedingungen auswählt.
Objekterkennungsvorrichtung nach Anspruch 4, wobei die Bedingungen Abstand zwischen jeder Kamera (1a, 1b, 1c) und Objekt, Richtung des Objektes in Bezug auf die Kamera (1a, 1b, 1c), Wetter und Tageszeit einschließen.
Objekterkennungsvorrichtung nach einem der Ansprüche 1 und 3 bis 5, die den Betriebszustand eines Fahrzeugs (130) überwacht, an dem die Vielzahl von Kameras (1a, 1b, 1c) angebracht ist, eine der Vielzahl von Kameras (1a, 1b, 1c) dem Betriebszustand des Fahrzeugs (130) entsprechend auswählt und zwischen der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) der ausgewählten Kamera (23) entsprechend wechselt.
Objekterkennungsvorrichtung nach Anspruch 6, die des Weiteren einen Informationszuführabschnitt (107, 108) umfasst, der dem Fahrer des Fahrzeugs (130) Informationen des durch eine beliebige der Vielzahl von Kameras (25) aufgenommenen Bildes oder durch Erkennungsverarbeitung des Objektes (SA, TR, BS) ermittelte Informationen über das Objekt zuführt.
Objekterkennungsvorrichtung nach Anspruch 7, wobei die Informationen über das Objekt (27) in einem Modus, der visuelle Wahrnehmung anspricht, einem Modus, der die fünf Sinne außer der visuellen Wahrnehmung anspricht oder einer Kombination daraus zugeführt werden.
Objekterkennungsvorrichtung nach einem der Ansprüche 6 bis 8, wobei die Daten über Objekt-Modelle, die in jeder der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) zu registrieren sind, von außerhalb des Fahrzeugs (130) unter Verwendung von Funkkommunikation heruntergeladen werden.
Objekterkennungsvorrichtung nach einem der Ansprüche 6 bis 9, die des Weiteren einen Abstandsmessabschnitt (7) umfasst, der Bildverarbeitung auf ein durch eine beliebige der Vielzahl von Kameras (29) aufgenommenes Bild anwendet, und den Abstand in dem dreidimensionalen Raum zu dem in dem Bild vorhandenen Objekt misst.
Objekterkennungsvorrichtung nach einem der Ansprüche 6 bis 9, wobei der Objekterkennungsabschnitt (6) des Weiteren die Position des Objektes in dem Bild durch Erfassen des Teils erfasst, der die größte Ähnlichkeit in Bezug auf die Modelldaten in den Bilddaten zeigt, und die Vorrichtung des Weiteren einen Abstandserfassungsabschnitt (7) enthält, der den Abstand in dem dreidimensionalen Raum von der Kamera (1a, 1b, 1c), die Bilder des Objektes (SA, TR, BS) aufgenommen hat, zu dem Objekt auf Basis der Informationen über die Position des Objektes in dem durch den Objekterkennungsabschnitt (6) erfassten Bild erfasst.
Objekterkennungsvorrichtung nach einem der Ansprüche 6 bis 11, wobei wenigstens ein typischer Merkmalvektor in jeder der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) registriert ist.
Objekterkennungsvorrichtung nach einem der Ansprüche 6 bis 12, wobei Modelldaten über ein Objekt, die ermittelt werden, indem Bilder des Objektes mit einer Kamera (1a, 1b, 1c) aufgenommen werden, während der Abstand zu dem Objekt verändert wird, in jeder der Vielzahl von Datenbanken (8a, 8b, 8c; 26a–26n) in Verbindung mit dem Abstand von der Kamera (1a, 1b, 1c) zu dem Objekt (SA, TR, BS) registriert werden.
Objekterkennungsvorrichtung nach Anspruch 11, die des Weiteren einen Informationszuführabschnitt (107, 108) umfasst, der dem Fahrer des Fahrzeugs (130) wenigstens Informationen über das durch eine beliebige der Vielzahl von Kameras (1a, 1b, 1c) aufgenommene Bild, Informationen über das durch den Objekterkennungsabschnitt (6) erfasste Objekt (SA, TR, BS), oder durch den Abstandserfassungsabschnitt (7) erfasste Abstandsinformationen zuführt.
Objekterkennungsvorrichtung nach einem der Ansprüche 6 bis 14, wobei die Vielzahl von Datenbanken (8a–8c; 26a–26n) Merkmalvektoren registrieren, die ermittelt werden, indem Bilddaten für jedes der Objekte (SA, TR, BS) verschiedener Typen die im Voraus durch Aufnehmen von Bildern der Vielzahl von Objekten (SA, TR, BS) verschiedener Typen erfasst werden, mit einer Merkmalextraktionsmatrix zum Extrahieren von Merkmalen eines vorgegebenen Objektes (SA, TR, BS) multipliziert werden, die Vorrichtung des Weiteren einen Merkmalvektor-Extrahierabschnitt (42) enthält, der einen Merkmalvektor über das aufgenommene Bild ermittelt, indem Bilddaten in dem Suchbereich mit der Merkmalextraktionsmatrix multipliziert werden, und der Objekterkennungsabschnitt (6, 44, 45) den durch den Merkmalsvektor-Extrahierabschnitt (42) ermittelten Merkmalvektor und jeden der in der Datenbank (8a–8c; 26a–26n) registrierten Vielzahl von Merkmalvektoren vergleicht, über die Ähnlichkeit entscheidet und so erfasst, dass das vorgegebene Objekt (SA, TR, BS) in dem durch eine beliebige der Vielzahl von Kameras (1a, 1b, 1c) aufgenommenen Bild vorhanden ist, und die Position des vorgegebenen Objektes (SA, TR, BS) in dem Bild erfasst.
Objekterkennungsvorrichtung nach einem der Ansprüche 6 bis 15, wobei der Abstandserfassungsabschnitt (7) die dreidimensionale Straßenstruktur rekonstruiert, die Position des Objektes (SA, TR, BS) in der rekonstruierten dreidimensionalen Straßenstruktur auf Basis der Informationen über die Position des durch den Objekterkennungsabschnitt (6) erfassten Objektes in dem Bild erfasst und den Abstand von der Kamera (1a, 1b, 1c) zu dem Objekt auf Basis der Informationen über die Position des Objektes (SA, TR, BS) in dem erfassten dreidimensionalen Raum misst, und jede der Vielzahl von Kameras (1a, 1b, 1c) Bilder verschiedner Objekte (SA, TR, BS) in verschiedenen Richtungen unabhängig voneinander aufnimmt.