DE19723963A1

DE19723963A1 - Objekterkennungsvorrichtung und -verfahren für Fahrzeuge

Info

Publication number: DE19723963A1
Application number: DE19723963A
Authority: DE
Inventors: Yoshiyuki Sogawa
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 1996-06-06
Filing date: 1997-06-06
Publication date: 1997-12-11
Anticipated expiration: 2017-06-07
Also published as: GB2313971A; GB2313971B; US6661449B1; US6169572B1; JPH09326032A; GB9711530D0; DE19723963C2; JP3866328B2

Description

Die vorliegende Erfindung betrifft eine Objekterken nungsvorrichtung und ein Objekterkennungsverfahren für ein Fahrzeug und insbesondere eine Objekterkennungsvorrichtung und ein Objekterkennungsverfahren, die für ein Fahrtunter stützungssystem eines Automobils oder für ein Steuerungssy stem für einen autonomen Fahrbetrieb eines autonom oder selbständig fahrenden Fahrzeugs verwendet werden.

Um ein sichereres Fahr- oder Betriebsgefühl eines Fahr zeugführers bei einer Fahrt durch enge Straßen mit häufig auftretenden Hindernissen, wie beispielsweise Wänden, Pfäh len, Stangen oder Lichtmasten, Leitschienen, geparkten Fahr zeugen und ähnlichen Hindernissen, zu gewährleisten, wurde eine Vorrichtung zum Erfassen solcher Hindernisse durch Tastsensoren, wie beispielsweise ein Eckenstabfühler, ein Kontaktschalter und ähnliche Einrichtungen, die auf einem Fahrzeug angeordnet sind, entwickelt.

Außerdem wurde ein Verfahren entwickelt, bei dem Ultra schallsensoren auf einer Seitenfläche oder an Ecken des Fahrzeugs angeordnet sind, um einen Abstand zu einem Hinder nis zu messen und einen Fahrzeugführer über den gemessenen Abstand zu informieren.

Außerdem wurde in den letzten Jahren ein Verfahren vor geschlagen, gemäß dem nicht nur ein Abstand zu einem Hinder nis erfaßt, sondern auch die Gestalt bzw. Form des Hinder nisses erkannt wird. Als Beispiel eines solchen Verfahrens wird durch den vorliegenden Anmelder in der offengelegten Japanischen Patentveröffentlichung Nr. 5-114099 eine Hin derniserkennungsvorrichtung beschrieben, bei der mehrere CCD-Kameras und eine Stereoskopbildverarbeitungseinrichtung zum Erkennen von um das Fahrzeug vorhandenen Hindernissen verwendet werden, um den Fahrzeugführer zu informieren. Die ses Hinderniserkennungssystem kann nicht nur eine Richtung und eine Form eines Hindernisses erkennen, sondern auch ei nen exakten Abstand zum Hindernis bestimmen.

Bei autonom oder selbständig fahrenden Fahrzeugen wird, um während der Fahrt eine Kollision oder einen Kontakt mit Hindernissen zu vermeiden, ein Verfahren angewendet, gemäß dem das Vorhandensein bzw. das Nichtvorhandensein von Hin dernissen unter Verwendung eines Infrarotsensors oder eines Ultraschallsensors erfaßt wird, wobei, wenn ein Hindernis vorhanden ist, eine Steuerung, wie beispielsweise eine Steuerung zum Anhalten des Fahrzeugs, ausgeführt wird.

Außerdem können gemäß einer kürzlich vorgeschlagenen intelligenten Steuerung für einen autonomen Fahrbetrieb für ein Fahrzeug, bei der die vorstehend erwähnte Stereoskop bildverarbeitungseinrichtung zum Erkennen von in der Nähe des Fahrzeugs vorhandenen Hindernissen verwendet wird, meh rere Hindernisse gleichzeitig erfaßt werden, um die Richtung und die Gestalt oder Form dieser Hindernisse zu erkennen und außerdem verschiedartige Steuerungen, z. B. eine Steuerung zum Anhalten des Fahrzeugs oder zum Steuern des Fahrzeugs in die Richtung, in der kein Hindernis vorhanden ist, auszufüh ren.

Bei der vorstehend erwähnten Hinderniserkennungsvor richtung, bei der Stereoskopkameras verwendet werden, tritt jedoch das Problem auf, daß, weil sie nur Hindernisse erken nen kann, die in ein Sichtfeld der Kameras kommen, z. B., Ka meras, deren Linsen in Vorwärtsrichtung des Fahrzeugs ausge richtet sind, nur im Sichtfeld der Kameras vorhandene Objek te erkannt werden können, Objekte außerhalb des Sichtfeldes jedoch nicht.

Daher besteht, wenn das Fahrzeug eine Kurve fährt bzw. eine Drehung ausführt, die Möglichkeit, daß das Fahrzeug mit einem an der Ecke stehenden Hindernis kollidiert. Um dies zu verhindern, könnten leicht zusätzliche Kameras installiert werden, um an beiden Seiten des Fahrzeugs angeordnete Hin dernisse zu erfassen, wobei diese Idee jedoch nicht geeignet ist, weil zusätzliche Kamerapositionen vorgesehen sein müs sen und die Kosten zunehmen.

Insbesondere im Fall eines autonom fahrenden Fahrzeugs, z. B. eines unbemannten Bodenreinigungsfahrzeugs, das Boden reinigungsarbeiten ausführt, ist es häufig erforderlich, ei nen genauen Arbeitsvorgang um ein Hindernis auszuführen. D.h., das Fahrzeug muß in der Lage sein, jedes um das Fahr zeug angeordnete Hindernis zu erkennen. In diesem Fall ist es aus dem gleichen Grund, wie im vorstehend erwähnten Fall, unzulässig, zusätzliche Kameras oder ähnliche Einrichtungen zu installieren.

Daher ist es eine Aufgabe der vorliegenden Erfindung, eine Objekterkennungsvorrichtung bereitzustellen, durch die Objekte um das Fahrzeug über einen weiten Bereich erfaßt werden können, ohne daß zusätzliche Kameras, Ultraschallsen soren oder andere komplizierte Objekterfassungsvorrichtungen verwendet werden. Diese Aufgabe wird durch die Merkmale der Patentansprüche gelöst.

Die Erfindung wird nachstehend unter Bezug auf die bei gefügten Zeichnungen beschrieben; es zeigen:

Fig. 1 ein Funktionsblockdiagramm eines Fahrtunterstüt zungssystems, bei dem eine erste Ausführungsform einer er findungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 2 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem die erste Ausführungsform einer erfindungsgemäßen Objekter fassungsvorrichtung verwendet wird;

Fig. 3 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem die erste Ausführungsform einer erfindungsgemäßen Objekterfas sungsvorrichtung verwendet wird;

Fig. 4 eine Ansicht zum Erläutern von bei der ersten Ausführungsform der vorliegenden Erfindung verwendeten Posi tionsinformationen über um das Fahrzeug angeordnete Objekte;

Fig. 5 eine Ansicht zum Erläutern einer gemäß der er sten Ausführungsform der vorliegenden Erfindung erfaßten Po sitionsänderung eines Objekts;

Fig. 6 eine Ansicht zum Darstellen von bei der ersten Ausführungsform der vorliegenden Erfindung vorgesehenen Ge fahrennäherungslinien;

Fig. 7 ein Ablaufdiagramm einer ersten Ausführungsform eines erfindungsgemäßen Fahrtunterstützungssystems;

Fig. 8 ein Funktionsblockdiagramm einer zweiten Ausfüh rungsform eines erfindungsgemäßen Fahrtunterstützungssy stems;

Fig. 9 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem eine zweite Ausführungsform einer erfindungsgemäßen Objekt erfassungsvorrichtung verwendet wird;

Fig. 10 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Fahrtunterstützungssystems, bei dem eine dritte Ausführungsform einer erfindungsgemäßen Objekterfas sungsvorrichtung verwendet wird;

Fig. 11 ein Ablaufdiagramm der zweiten Ausführungsform eines erfindungsgemäßen Fahrtunterstützungssystems;

Fig. 12 ein Funktionsblockdiagramm eines Steuerungssy stems für einen autonomen Fahrbetrieb, bei dem die dritte Ausführungsform einer erfindungsgemäßen Objekterfassungsvor richtung verwendet wird;

Fig. 13 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autono men Fahrbetrieb, bei dem die dritte Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 14 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autonomen Fahrbetrieb, bei dem die dritte Ausführungsform einer erfin dungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 15 eine Ansicht zum Erläutern von bei der dritten Ausführungsform der vorliegenden Erfindung verwendeten Posi tionsinformationen von um ein Fahrzeug angeordneten Objek ten;

Fig. 16 ein Ablaufdiagramm für die dritte Ausführungs form eines erfindungsgemäßen Steuerungssystems für einen au tonomen Fahrbetrieb;

Fig. 17 ein Funktionsblockdiagramm einer vierten Aus führungsform eines erfindungsgemäßen Steuerungssystems für einen autonomen Fahrbetrieb;

Fig. 18 eine schematische Seitenansicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autono men Fahrbetrieb, bei dem eine vierte Ausführungsform einer erfindungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 19 eine schematische Draufsicht zum Darstellen des Gesamtaufbaus eines Steuerungssystems für einen autonomen Fahrbetrieb, bei dem eine vierte Ausführungsform einer er findungsgemäßen Objekterfassungsvorrichtung verwendet wird;

Fig. 20 eine Ansicht zum Erläutern von bei der vierten Ausführungsform der vorliegenden Erfindung verwendeten Posi tionsinformationen von um ein Fahrzeug angeordneten Objek ten; und

Fig. 21 ein Ablaufdiagramm der vierten Ausführungsform eines erfindungsgemäßen Steuerungssystems für einen autono men Fahrbetrieb.

Fig. 2 und 3 zeigen ein motorbetriebenes Fahrzeug 1 mit einem Fahrtunterstützungssystem 2 zum Unterstützen eines Fahrers hinsichtlich der Beurteilung der Möglichkeit eines Zusammenstoßes des Fahrzeugs mit Hindernissen auf einer Straße, wie beispielsweise Seitenwänden, Leitschienen, Stan gen, Pfählen oder Lichtmasten, geparkten Autos und ähnlichen Hindernissen, und zum Darstellen des Ergebnisses dieser Be urteilung für den Fahrer.

Das Fahrtunterstützungssystem 2 weist auf: ein stereo skopisches optisches System 3 zum Aufnehmen von in einem vorgegebenen Bereich außen angeordneten Objekten, einen Lenkwinkelsensor 4 zum Erfassen eines Lenkwinkels, einen Hinterrad-Drehzahlsensor 5 zum Erfassen der Drehzahl eines Hinterrads, eine Steuerungsvorrichtung 6, durch die beur teilt wird, ob eine enge Straße durchfahren werden kann, oder die Möglichkeit einer Kollision mit Hindernissen be steht, und einen Anzeigeabschnitt 7, durch den ein Fahrzeug führer über das Ergebnis der Beurteilung informiert wird.

Das stereoskopische optische System 3 besteht aus einem Paar CCD-Kameras 3L, 3R (eine linke bzw. eine rechte Kame ra), die in einem vorgegebenen Abstand an der Decke im vor deren Abschnitt des Fahrgastraum angeordnet sind, um Stereo skopbilder von Objekten außerhalb des Fahrzeugs aufzunehmen.

Die Steuerungsvorrichtung 6 weist eine Fahrzeug- Rundumobjekterkennungsvorrichtung 10 und einen Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung auf. Im Objekterkennungsabschnitt 10 werden Positionsinfor mationen über um das Fahrzeug angeordnete Objekte basierend auf dem durch das stereoskopische optische System 3 aufge nommenen Bild, dem durch den Lenksensor 4 erfaßten Lenkwin kel und der durch den Hinterrad-Drehzahlsensor 5 erfaßten Hinterrad-Drehzahl berechnet, und im Abschnitt 20 zum Ausge ben des Ergebnisses einer Kollisionsbeurteilung wird die Möglichkeit einer Kollision mit Hindernissen basierend auf den von der Fahrzeug-Rundumobjekterkennungsvorrichtung 10 erhaltenen Positionsinformationen von Objekten, falls erfor derlich, ausgegeben.

Der Anzeigeabschnitt 7 besteht aus mehreren lichtemit tierenden Objekten, wie beispielsweise elektrischen Lampen oder Leuchtdioden. Davon bezeichnen die Bezugszeichen 7FL und 7FR einen an der Oberseite des linken bzw. des rechten Kotflügels der Fahrzeugkarosserie angeordneten Anzeigeab schnitt. Die Bezugszeichen 7IL und 7IR bezeichnen einen im Armaturenbrett bzw. in der Instrumententafel angeordneten Anzeigeabschnitt, und Bezugszeichen 7S bezeichnet einen in der Nähe des Seitenspiegels an der Beifahrerseite angeordne ten Anzeigeabschnitt. Diese Anzeigeabschnitte werden gemäß Ausgangssignalen vom Abschnitt 20 zum Ausgeben des Ergebnis ses einer Kollisionsbeurteilung aktiviert. Sie sind bei spielsweise so aufgebaut, daß eine rote Lampe flimmert oder eingeschaltet wird, wenn festgestellt wird, daß eine Kolli sion auftreten wird, eine gelbe Lampe flimmert oder einge schaltet wird, wenn festgestellt wird, daß eine Kollision in Abhängigkeit von der zukünftigen Lenkungsbetätigung des Fah rers auftreten kann, und eine grüne Lampe eingeschaltet ist, wenn festgestellt wird, daß zwischen dem Fahrzeug und Objek ten genügend Raum vorhanden ist bzw. keine Kollisionsgefahr besteht.

Die Fahrzeug-Rundumobjekterkennungsvorrichtung 10 weist ferner einen Stereoskopbildverarbeitungsabschnitt 11, einen Objekterkennungsabschnitt 12, einen Abschnitt 13 zum Berech nen von Objektpositionsinformationen und einen Speicherab schnitt 14 auf.

Im Stereoskopbildverarbeitungsabschnitt 11 wird eine Abstandsinformation gemäß einem Triangulationsprinzip aus einem Gesamtbild erhalten, das aus einem Paar durch das ste reoskopische optische System 3 aufgenommenen Stereoskopbil der besteht, werden Abstandsbilder, die dreidimensionale Ab standsverteilungen aufweisen, basierend auf dieser Abstands information gebildet und diese Abstandsbilder an den Objekt erkennungsabschnitt 12 ausgegeben. Daher wird durch das ste reoskopische optische System 3 und den Stereoskopbildverar beitungsabschnitt 11 eine Objekterfassungseinrichtung gebil det.

Im einzelnen werden im Stereoskopbildverarbeitungsab schnitt 11 die Abstandsverteilungen durch Auffinden einer Übereinstimmung von Helligkeits- oder Farbmustern zwischen dem linken und dem rechten Bild für jeden kleinen Bereich erhalten, durch die ein vorgegebenes Bild gebildet wird. Wenn das "i"-te Bildelement des linken und des rechten Bil des als A_i bzw. B_i dargestellt wird (bezüglich der Hellig keit oder der Farbe), wird die Bestimmung der Übereinstim mung zwischen dem linken und dem rechten Bild basierend auf dem folgenden City-Blockabstand H durchgeführt. D.h., es wird festgestellt, daß der linke und der rechte kleine Be reich miteinander übereinstimmen, wenn der Minimalwert des City-Blockabstands H eine vorgegebene Bedingung erfüllt.

H = Σ |A_i - B_i| (1)

Die Abstandsverteilungsinformation, d. h. die Abstandsbilder, sind in einer vorgegebenen Größe des Bildes (z. B. 400×200 Bildelementen) in einem Koordinatensystem angeordnet. In diesem Beispiel hat das Koordinatensystem einen Ursprung an der linken oberen Ecke, wobei eine "i"-Achse in Querrichtung und eine "j"-Achse in Längsrichtung angeordnet sind.

Der Objekterkennungsabschnitt 12 ist eine Objekterken nungseinrichtung zum Extrahieren mehrerer vor dem Fahrzeug angeordneter Objekte aus dem Abstandsbild, zum Berechnen der Position und der Größe jedes Objekt und zum Erzeugen eines Bildes einer Grenz- oder Umrißlinie des Objekts. Beim Extra hieren eines Objekts wird basierend auf einer Höheninforma tion in den dreidimensionalen Positionsdaten des Objekts un terschieden zwischen dem Objekt und der Straße, und durch die Abstandsinformation wird das Objekt vom Hintergrund ge trennt. Weil diese Höhen- oder Abstandsinformationen aus ei nem Bezugskoordinatensystem erhalten werden, wird zunächst das Koordinatensystem im Stereoskopbildverarbeitungsab schnitt 11 in ein neues Koordinatensystem im realen Raum oder Realraum um das Fahrzeug 1 transformiert.

Dieses praktische Koordinatensystem im Realraum wird durch orthogonale Koordinaten gebildet, deren Ursprung auf die Mitte des Fahrzeugs 1 festgelegt ist (exakt auf einen Punkt der Straßenoberfläche unmittelbar unter der Fahrzeug mitte), wobei die X-Achse des Koordinatensystems in Seiten- oder Querrichtung des Fahrzeugs 1, die Y-Achse in Längsrich tung des Fahrzeugs und die Z-Achse in vertikaler Richtung des Fahrzeugs ausgerichtet ist. In diesem Fall stimmt die X- Y-Ebene (Z=0) mit der Straßenoberfläche überein, vorausge setzt, daß die Straße eben ist. Um die dreidimensionale Po sition (X, Y, Z) eines Objekts im Realraumkoordinatensystem aus der Abstandsinformation (i, j) im Bild zu berechnen, wird gemäß den folgenden Gleichungen (2) und (3) eine Koor dinatentransformation durchgeführt.

Z = CH-Y x PW × (j - JV) (2)

X = r/2 - ρ + Y × PW × (i - IV) (3)

wobei
CH: Höhe der Kameras
PW: Sichtwinkel je Bildelement
IV: i-Koordinate eines unendlich entfernten Punk tes in Geradeausrichtung vor dem Fahrzeug 1
JV: j-Koordinate eines unendlich entfernten Punk tes in Geradeausrichtung vor dem Fahrzeug 1
r: Abstand zwischen den beiden Kameras
ρ: Abweichung des Mittelpunktes der beiden Kame ras von der Fahrzeugmitte

Umgekehrt wird die Abstandsinformation (i, j) im Bild aus der dreidimensionalen Koordinate (X, Y, Z) des Realraumkoor dinatensystems gemäß den folgenden Gleichungen (4) und (5) berechnet, die durch Transformation der Gleichungen (2) und (3) erhalten werden.

j = (CH - Z)/(Y × PW) + JV (4)

i = (X - r/2 + p)/(Y × PW) + IV (5)

Außerdem wird im Objekterkennungsabschnitt 12, wie nachstehend beschrieben wird, eine "Objekterkennung", wie beispielsweise die Erkennung von Hindernissen, z. B. von ge parkten Automobilen, getrennt von einer "Wanderfassung", z. B. der Erfassung von Seitenwänden an der Straßenseite, durchgeführt. Bei einer "Objekterkennung" wird nur ein Ob jekt aus den Abstandsbilddaten vom Stereoskopbildverarbei tungsabschnitt 11 ausgewählt, das die Fahrt des Fahrzeug be hindern kann. Das Abstandsbild wird in vertikaler Richtung in mehrere Abschnitte unterteilt. Die Breite eines Ab schnitts beträgt 8 bis 20 Bildelemente. Bei dieser Ausfüh rungsform werden, weil 400 Bildelemente in der Seitenrich tung angeordnet sind, in einem Bild 20 bis 50 Abschnitte ge bildet. Im Objekterkennungsabschnitt 12 können, weil für je den Abschnitt Objekte erfaßt werden, mehrere Objekte gleich zeitig erfaßt werden. Daraufhin wird auch der Abstand zu den erfaßten Objekten berechnet.

Bezüglich den Objekten jedes Abschnitts wird aus der Koordinate (i, j) des Bildes und dem Abstandsdatenelement Y unter Verwendung der vorstehenden Gleichungen (2) und (3) eine dreidimensionale Position (X, Y, Z) eines Objekts im Realraum berechnet. Die Höhe H des Objektes bezüglich der Straßenoberfläche wird gemäß der folgenden Gleichung berech net:

H = Z - Zr (6)

wobei Zr die Höhe der Straßenoberfläche ist. Allgemein wird vorausgesetzt, daß Zr= 0,0 m beträgt, außer für den Fall, wenn das Fahrzeug geneigt ist oder sich in vertikaler Richtung bewegt. Wenn die Höhe des Objekt kleiner ist als etwa 0,1 m, wird angenommen, daß das Objekt kein Hindernis ist, so daß die Daten des Objekts verworfen werden. Daher werden Daten der Straße selbst, von Fahrbahnmarkierungen, Schatten und ähnliche Daten aus den Bilddaten gelöscht. Andererseits kön nen Objekte, deren Höhe größer ist als das Fahrzeug, verwor fen werden, weil angenommen wird, daß diese Fußgängerbrüc ken, Straßenschilder und ähnliche Einrichtungen sind. Daher werden nur Objekte ausgewählt, durch die die Fahrt behindert wird. Durch diese Verarbeitung der Höhendaten, können im zweidimensionalen Bild der Straße überlagerte Objekte von der Straße unterschieden werden.

Daraufhin wird bezüglich der Daten der derart extra hierten Objekte eines Abschnitts die Anzahl der in einem vorgegebenen Abstand Y enthaltenen Daten gezählt, und es wird ein Histogramm erzeugt, dessen Abszissenachse der Ab stand Y ist. Der vorgegebene Abstand Y wird festgelegt, in dem die Erfassungsgrenze, die Erfassungsgenauigkeit, die Form des Objektes und ähnliche Faktoren berücksichtigt wer den.

Weil im derart erzeugten Histogramm fehlerhaft erfaßte Werte enthalten sind, erscheinen einige wenige Daten an ei ner Position, wo tatsächlich kein Objekt vorhanden ist. Wo auch immer ein Objekt mit einer gewissen Größe vorhanden ist, tritt an der Position, wo das Objekt vorhanden ist, ei ne große Häufigkeit von Datenpunkten auf. An Positionen, wo kein Objekt vorhanden ist, erscheint dagegen eine geringe Häufigkeit von Datenpunkten.

Wenn daher die Häufigkeit bei einem bestimmten Abstand Y einen vorgegebenen Wert überschreitet, wird festgestellt, daß dort ein Objekt vorhanden ist. Wenn die Häufigkeit über einen bestimmten Bereich kleiner ist als der vorgegebene Wert, wird festgestellt, daß innerhalb dieses Bereichs kein Objekt vorhanden ist, wodurch ein nachteiliger Einfluß durch Rauschen eliminiert werden kann.

Wenn festgestellt wird, daß Objekte vorhanden sind, wird der Abstand Y zu dem Objekt durch Bilden eines Mittel wertes der Abstandsdaten Y und der Daten in der Nähe von Y erhalten. Diese Verarbeitungen zum Erfassen von Objekten und zum Berechnen des Abstands werden für alle Abschnitte ausge führt. Wenn der Unterschied zwischen dem Abstand zu einem erfaßten Objekt in einem bestimmten Abschnitt und dem Ab stand zu einem erfaßten Objekt in einem in der Nähe angeord neten Abschnitt kleiner ist als ein vorgegebener Wert, wird angenommen, daß diese Objekte das gleiche Objekt darstellen. Wenn diese Differenz dagegen größer ist als ein vorgegebener Wert, werden diese Objekte als verschiedene Objekte betrach tet. Daher kann, auch wenn mehrere Objekte einander überla gert sind, ein unabhängiges Objekt durch die unterschiedli chen Abstände identifiziert werden.

Nachstehend wird die Transformation der erfaßten Objek te im dreidimensionalen Raum in den zweidimensionalen Raum beschrieben. Zunächst wird ein "dreidimensionales Fenster" eingerichtet, das die Objekte enthält, und dann wird aus diesem "dreidimensionalen Fenster" ein "zweidimensionales Fenster" erzeugt. Im einzelnen werden zweidimensionale Koor dinaten (i_n, j_n) unter Verwendung der vorstehenden Gleichun gen (4) und (5) bezüglich jedem von acht Eckpunkten (X_n, Y_n, Z_n) eines dreidimensionalen Fensters berechnet, und es wer den Polygone durch Umhüllen dieser zweidimensionalen Koordi naten (i_n, j_n) erzeugt. Dadurch werden Umrißlinien der Ob jekte aus den im dreidimensionalen Fenster enthaltenen Daten extrahiert.

Hinsichtlich der Wanderfassung im Objekterkennungsab schnitt 12, wird die Seitenwand auf der Straßenseite durch den Höhenunterschied zwischen der Seitenwand und der Stra ßenoberfläche von der Straße unterschieden. Die Seitenwand wird durch den Unterschied der Abstände in der Seiten- und in der Längsrichtung des Bildes vom fernen Hintergrund un terschieden.

D.h., es werden aus der Abstandverteilungsinformation zunächst nur Daten von Objekten extrahiert, die höher sind als die Straßenoberfläche, daraufhin werden daraus nur in einem vorgegebenen Suchbereich der Seitenwand vorhandene Da ten der Seitenwand extrahiert, wenn die Seitenwand exi stiert, wobei ihre Position durch lineare Gleichungen durch Anwenden eines Huff-Transformationsverfahrens dargestellt wird. Basierend auf diesen linearen Gleichungen wird, indem ein Seitenwandexistenzbereich eingerichtet wird, in dem die Seitenwand vermutet wird, das nächste und das entfernteste Ende der Seitenwand von diesen Objektdaten im Seitenwandexi stenzbereich erfaßt.

D.h., weil die Seitenwand auch ein Objekt ist, werden zunächst Daten von Objekten, die höher sind als die Straßen oberfläche, aus dem Abstandsbild extrahiert. Daraufhin werden die Daten von Objekten, die niedriger sind als eine Höhe von etwa 0,1 m, verworfen, weil vorausgesetzt wird, daß diese Fahrbahnmarkierungen, Verschmutzungen, Schatten oder ähnli che Objekte auf der Straße darstellen. Außerdem werden Daten von Objekten, die höher sind als die Höhe des Fahrzeugs, verworfen, weil diese als Fußgängerbrücken, Verkehrszeichen und ähnliche Einrichtungen betrachtet werden. Daher werden nur Objekte über der Straßenoberfläche ausgewählt.

Wenn die derart extrahierten Daten verarbeitet werden, wird, weil es nicht effizient ist, alle Daten im Bild zu verarbeiten, eine Grenze in einem Suchbereich festgelegt, in dem die Seitenwand gesucht werden soll.

Allgemein sind die Seitenwände an der linken und der rechten Seite der Straße parallel zum Fahrzeug 1 angeordnet. Außerdem können Daten der weit vom Fahrzeug entfernten Sei tenwand aus den erforderlichen Daten gelöscht werden. Wenn dies berücksichtigt wird, werden zwei Suchbereiche an der linken bzw. der rechten Straßenseite eingerichtet, und die Erfassung wird getrennt für jeden Suchbereich durchgeführt.

Anschließend werden die zweidimensionalen Positionen (X-, Y-Koordinaten) der in jedem der Suchbereiche enthalte nen Objekte berechnet. Weil die Daten in den Suchbereichen nicht nur Daten der Seitenwand selbst, sondern auch Daten anderer Objekte enthalten, sind auch Rauschdaten enthalten. Aus diesen verschiedenartigen Daten werden unter Verwendung des Huff-Transformationsverfahrens nur linear angeordnete Daten extrahiert, und die Umrißlinie der Seitenwand wird er zeugt.

Im einzelnen wird, wenn die Erfassung der linearen Gleichung gemäß der Huff-Transformation zunächst bezüglich einer Position (X_i, Y_i) eines Objekts beschrieben wird, eine durch P_i verlaufende gerade Linie F_i vorausgesetzt. Die Gleichung der geraden Linie wird dargestellt durch:

X = af_i × Y + bf_i (7)

Anschließend wird, wenn ein Parameterraum vorausgesetzt wird, durch den ein Gradient af und ein Achsenabschnitt oder Abschnitt bf parametrisiert werden, eine Häufigkeitsbestim mung der Kombination der Parameter af_i und bf_i bezüglich P_i (X_i, Y_i) vorgenommen.

Weil vorausgesetzt wird, daß die Seitenwand etwa paral lel zum Fahrzeug 1 angeordnet ist, sollte der Wert des Gra dienten af_i groß genug sein, z. B. im Bereich von ±20 Grad liegen. Außerdem sollte der Wert des Abschnitts bf_i -1 m bis -10 m an der linken Straßenseite und +1 m bis +10 m an der rechten Straßenseite betragen, weil die Erfassung einer weit vom Fahrzeug entfernten Seitenwand in der Praxis nicht er forderlich ist.

Durch diese Festlegung der Bereiche wird ein rechtecki ger Bereich gebildet, in dem Häufigkeitsermittlungen vorge nommen werden. Außerdem wird dieser rechteckige Bereich in mehrere Gitter unterteilt. Der Gradient af_i von Gleichung (7) wird um ein Gitterintervall Δaf innerhalb des vorgegebe nen Bereichs (z. B. ±20 Grad) geändert. Durch Ersetzen dieses Gradienten af_i und der Koordinaten (X_i, Y_i) der Objektdaten P_i in Gleichung (7), wird der Wert des Abschnitts bf_i erhal ten. Wenn der derart erhaltene Wert bf_i innerhalb des vorge gebenen Bereichs liegt, wird für ein entsprechendes Gitter des Parameterraums ein Zählwert vorwärts gezählt.

Die Positionsgenauigkeit der erfaßten Seitenwand, d. h. die Erfassungsgenauigkeit des Gradienten und des Abschnitts der linearen Gleichung, ist abhängig von Δaf und Δbf. Bei der Bestimmung des Gitterintervalls von Δaf wird Δbf unter Verwendung dieser Seitenwandinformation dem erforderlichen Pegel der Peripheriegeräte angepaßt.

Wenn als Ergebnis der Häufigkeitsermittlung im Parame terraum Daten in einer geraden Linie angeordnet sind, ent hält das den Parametern af_i, bf_i der geraden Linie entspre chende Gitter einen hohen Zählwert. Dadurch erscheint im linken und im rechten Häufigkeitsermittlungsbereich ein lo kales Maximum.

Wenn eine Seitenwand vorhanden ist, d. h., eine offen sichtliche Anordnung von Objektdaten existiert, stellt das lokale Maximum einen großen Wert dar. Wenn dagegen keine Seitenwand vorhanden ist, d. h., Objektdaten verstreut ver teilt sind, stellt das lokale Maximum einen kleinen Wert dar. Daher kann festgestellt werden, ob eine Seitenwand vor handen ist, indem erfaßt wird, ob der Wert des lokalen Maxi mums größer ist als ein vorgegebener Entscheidungswert. Die ser Entscheidungswert wird unter Berücksichtigung der Größe des Suchbereichs, des Gitterintervalls und ähnlicher Fakto ren festgelegt.

Anschließend wird, wenn eine Seitenwand vorhanden ist, die Position des nächsten und des am weitesten entfernten Endes erfaßt. Zunächst wird ein Wandexistenzbereich durch eine gerade Linie festgelegt, entlang der eine Seitenwand vermutet wird. Der Wandexistenzbereich hat eine Breite von 0,3 m bis 1,0 m, wobei die gerade Linie in der Mitte angeord net ist. Außerdem wird, nachdem dieser Bereich in der Y- Richtung in Scheiben unterteilt wurde, die Anzahl der Ob jektdaten in der Scheibe vorwärts gezählt, um ein Histogramm zu erstellen. Wenn eine Scheibe gefunden wird, in der die Häufigkeit größer ist als ein vorgegebener Wert, wird fest gestellt, daß in deren Nähe eine Seitenwand vorhanden ist. Daher wird die dreidimensionale Position für alle Seitenwän de berechnet, und das nächste und das am weitesten entfernte Ende werden erfaßt.

Bei den vorstehenden Verarbeitungen werden Parameter der Position von Objekten auf Straßen, der Form von Objekten und andere Parameter aus dem Abstandsbild gelesen und dem Abschnitt 13 zum Berechnen von Objektpositionsinformationen zugeführt, der eine Einrichtung zum Berechnen von Objektpo sitionsinformationen bildet.

Im Abschnitt 13 zum Berechnen von Objektpositionsinfor mationen werden, nachdem die im Speicherabschnitt 14 gespei cherten Objektpositionsinformationen aktualisiert wurden, basierend auf dem durch den Lenksensor 4 erfaßten Lenkwin kel, der durch den Hinterrad-Drehzahlsensor 5 erfaßten Dreh zahl des Hinterrades und der vom Objekterkennungsabschnitt 12 erhaltenen Information neue Positionsinformationen von Objekten um das Fahrzeug berechnet.

Gemäß Fig. 4 sind die neuen Positionsinformationen von Objekten um das Fahrzeug Positionsinformationen innerhalb eines Bereichs QRST, die durch neu erhaltene Informationen (Informationen innerhalb eines Bereichs PQR) vom Objekter kennungsabschnitt 12 und durch zuvor vom Objekterkennungsab schnitt 12 erhaltene Informationen gebildet werden.

D.h., wenn das Fahrzeug eine Strecke M zurückgelegt hat und neue Positionsinformationen des Bereichs PQR vom Objekt erkennungsabschnitt 12 erhalten werden, werden die vorherge henden Positionsinformationen eines Bereichs Q′R′S′T′ aktua lisiert. In diesem Fall werden die aus dem Speicherbereich überlaufenden Daten (Daten eines Bereichs TSS′T′) und die (mit den neu erhaltenen Daten des Bereichs PQR überlappen den) Daten eines Bereichs PEF gelöscht und dann die neuen Positionsinformationen des Bereichs PQR hinzugefügt. Die derart erhaltenen Daten der aktuellen Objektpositionsinfor mation werden wieder im Speicherabschnitt 14 gespeichert und an den Abschnitt 20 zum Ausgeben des Ergebnisses einer Kol lisionsbeurteilung ausgegeben. Fig. 4 zeigt anhand eines leicht verständlichen Beispiels den Fall eines in Geradeaus richtung fahrenden Fahrzeugs, wobei die aktuellen Objektpo sitionsinformationen jedoch auf ähnliche Weise erhalten wer den können, wenn das Fahrzeug eine Kurve fährt bzw. eine Drehung ausführt.

Daher können gemäß der im Zusammenhang mit der ersten Ausführungsform der vorliegenden Erfindung beschriebenen Fahrzeug-Rundumobjekterkennungsvorrichtung 10, weil die Po sition eines Objekts auch dann bekannt ist, nachdem dieses Objekt das Sichtfeld einer Kamera verlassen hat, Objekte um das Fahrzeug in einem breiten Bereich erfaßt werden, ohne daß zusätzliche Kameras oder andere komplizierte Vorrichtun gen erforderlich sind.

Die neuen Objektpositionsinformationen werden gemäß nachstehenden Gleichungen aus den vorhergehenden Objektposi tionsinformationen erhalten.

Gemäß Fig. 5 bewegt sich, wenn das Fahrzeug in Gerade ausrichtung fährt, ein Objekt an einem Punkt A (x_a, y_a) zum Punkt B (x_b, y_b). In diesem Fall ist, weil das Fahrzeug ge radeaus fährt, x_a = x_b. Wenn vorausgesetzt wird, daß der Fahr wert des Hinterrades ΔM beträgt, gilt y_b = y_a - ΔM. Die durch (x_old, y_old) dargestellte vorangehende Position verschiebt sich gemäß den folgenden Gleichungen zur durch (x_new, y_new) dargestellten neuen Position:

x_new = x_old (8)

y_new = y_old - ΔM (9)

Außerdem verschiebt sich, wenn das Fahrzeug eine Dre hung mit dem Punkt P (X_CE, Y_CE) als Mittelpunkt ausführt, der Punkt B (x_b, y_b) zum Punkt C (x_c, y_c). Wenn der Lenkwinkel durch δ dargestellt wird, werden die Koordinaten des Punktes P_C durch folgende Gleichungen dargestellt:

X_CE = f(δ) (10)

Y_CE = 0 (11)

wobei f(δ) ein unter Bezug auf eine vorgegebene Tabelle, durch die der Lenkwinkel δ parametrisiert wird, erhaltener Wert ist.

Der Drehwinkel θ_c bei Kurvenfahrt wird durch folgende Gleichung dargestellt:

θ_c = ΔM/(X_CE - X_W) (12)

wobei X_W ein Offset-Wert des Hinterrades in X-Richtung be züglich der Kameraposition ist.

Wenn das Fahrzeug eine Drehung um den Drehwinkel θ_c ausführt, verschiebt sich die vorhergehende Objektposition der Koordinate (x_old, y_old) zur Koordinate (x_new, y_new), die folgendermaßen berechnet wird:

x_new = r × cos (a + θ_c) + X_CE (13)

y_new = r × sin (a + θ_c) + Y_CE (14)

wobei r = ((x_old - X_CE)² + (y_old - Y_CE)²)^1/2
a = arctan ((y_old - Y_CE)/(x_old - X_CE))

Im Abschnitt 20 zum Ausgeben des Ergebnisses einer Kol lisionsbeurteilung wird die Wahrscheinlichkeit einer Kolli sion mit einem Objekt basierend auf der derart erhaltenen Objektpositionsinformation und einer gespeicherten Informa tion über die äußere Form des Fahrzeugs beurteilt, und das Beurteilungsergebnis wird an den vorstehend erwähnten Anzei geabschnitt 7 ausgegeben.

Wie in Fig. 6 dargestellt, sind an der linken und an der rechten Seite des Fahrzeugs eine linke Gefahrennähe rungslinie LA und eine rechte Gefahrennäherungslinie RA ein gerichtet. Wenn das Objekt oder Hindernis innerhalb dieser Gefahrennäherungslinien LA und RA vorhanden ist, wird eine der Warnlampen 7FL, 7FR, 7IL und 7IR ausgewählt, um ein ro tes Licht einzuschalten. Wenn beispielsweise das Objekt an der linken Seite des Fahrzeugs vorhanden ist, leuchten die Warnlampe 7FL auf dem linken Kotflügel und die Warnlampe 7IL auf der Instrumententafel bzw. dem Armaturenbrett auf. Wenn dagegen das Objekt an der rechten Seite des Fahrzeugs vor handen ist, leuchten die Warnlampe 7FR auf dem rechten Kot flügel und die Warnlampe 7IR auf der Instrumententafel bzw. dem Armaturenbrett auf.

Ferner sind eine linke Gefahrennäherungslinie LB und eine rechte Gefahrennäherungslinie RB außerhalb der Gefah rennäherungslinien LA bzw. RA eingerichtet. Wenn das Objekt zwischen der Gefahrennäherungslinie LA und der Gefahrennähe rungslinie LB vorhanden ist, wird festgestellt, daß das Fahrzeug in Abhängigkeit von der Handhabung bzw. Bedienung des Fahrzeugs durch den Fahrer zukünftig mit dem Objekt kol lidieren kann, wobei ein gelbes Licht in den Warnlampen 7FL und 7IL aufleuchtet. Wenn dagegen das Objekt zwischen der Gefahrennäherungslinie RA und der Gefahrennäherungslinie RB vorhanden ist, leuchtet ähnlicherweise ein gelbes Licht in den Warnlampen 7FR und 7IR auf.

Außerdem wird, wenn das Objekt außerhalb der Gefahren näherungslinien LB und RB vorhanden ist, festgestellt, daß zwischen dem Objekt und dem Fahrzeug ein geeigneter Abstand vorhanden ist, so daß keine Kollisionsgefahr besteht. In diesem Fall wird in den Warnlampen 7FL und 7IL ein grünes Licht eingeschaltet, usw.

Im in Fig. 6 dargestellten Beispiel sind die Gefahren näherungslinien LA, RA, LB und RB gerade, parallel zueinan der verlaufende Linien, diese Linien müssen jedoch nicht notwendigerweise gerade oder parallel verlaufen. Es kann ei ne beliebige Form von Linien oder Kurven ausgewählt oder in Abhängigkeit von der Fahrzeuggeschwindigkeit oder dem Lenk winkel verändert werden.

Nachstehend wird die erste Ausführungsform einer erfin dungsgemäßen Fahrtunterstützungssteuerung unter Bezug auf das in Fig. 7 dargestellte Ablaufdiagramm beschrieben.

Zunächst werden bei Schritt (nachstehend als S bezeich net) 101 ein Lenkwinkel δ und ein aus der Drehzahl des Hin terrades berechnet er Fahrwert des Hinterrades vom Lenkwin kelsensor 4 bzw. vom Hinterrad-Drehzahlsensor 5 gelesen. Au ßerdem wird gleichzeitig eine vorangehende Objektpositi onsinformation vom Speicherabschnitt 14 des Fahrzeug- Rundumobjekterkennungsabschnitts 10 gelesen.

Daraufhin schreitet das Programm zu S102 fort, wo fest gestellt wird, ob das Fahrzeug 1 eine Drehung ausführt oder geradeaus fährt. Wenn es geradeaus fährt, schreitet das Pro gramm zu S103 fort, und wenn es eine Drehung ausführt, schreitet das Programm zu S104 fort.

Wenn das Programm zu S103 fortschreitet, wird die Ob jektpositionsinformation durch Addieren eines Fahrwerts ΔM des Hinterrades zur neuen Objektpositionsinformation ver schoben. (vergl. Gleichungen (8) und (9)). Wenn das Programm dagegen zu S104 fortschreitet, werden der Drehmittelpunkt P_c und der Drehwinkel θ_c basierend auf dem Lenkwinkel δ und dem Fahrwert ΔM des Hinterrades gemäß den Gleichungen (10), (11) und (12) berechnet, und beim nächsten Schritt S105 wird die vorangehende Objektpositi onsinformation so weit gedreht, wie dem Drehwinkel θ_c um den Drehmittelpunkt P_c entspricht. Im einzelnen wird die durch die Koordinaten (x_new, y_new) dargestellte neue Objektpositi onsinformation gemäß den Gleichungen (13) und (14) berech net.

Das Programm schreitet von S103 oder S105 zu S106 fort, wo die durch die Verarbeitung bei S103 oder S105 aus dem Speicherbereich überlaufenden Daten gelöscht werden.

Anschließend schreitet das Programm zu S107 fort, wo die mit den neu erhaltenen Objektpositionsinformationen überlappenden Daten aus den vorhergehenden Objektpositi onsinformationen gelöscht werden.

Daraufhin schreitet das Programm zu S108 fort, wo die neu erhaltenen Objektpositionsinformationen gelesen werden, d. h., die Daten des Objekts, die durch die Verarbeitung des durch das stereoskopische optische System 3 aufgenommenen Bildes im Stereoskopbildverarbeitungsabschnitt 11 und im Ob jekterkennungsabschnitt 12 erhalten wurden. Anschließend schreitet das Programm zu S109 fort, wo diese Daten zu der bei S107 gebildeten vorangehenden Objektpositionsinformation addiert werden, um sie zu speichern. Die derart erhaltenen Objektpositionsinformationen sind aktualisierte neue Positi onsinformationen über um das Fahrzeug angeordnete Objekte. Die bei den Schritten S102 bis S108 ausgeführten Verarbei tungen entsprechen den im Abschnitt 13 zum Berechnen von Ob jektpositionsinformationen und im Speicherabschnitt 14 aus geführten Verarbeitungen.

Außerdem schreitet das Programm zu S110 fort, bei dem die Möglichkeit einer Kollision des Fahrzeugs mit dem Objekt basierend auf diesen aktualisierten neuen Positionsinforma tionen über um das Fahrzeug angeordnete Objekte unter Bezug auf die gespeicherte äußere Form des Fahrzeugs beurteilt wird. Daraufhin schreitet das Programm zu S111 fort, wo ge mäß dem Ergebnis der Beurteilung bei S110 ein Signal an den Anzeigeabschnitt 7 ausgegeben wird. Die bei S110 und S111 ausgeführten Verarbeitungen entsprechen den im Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung ausgeführten Verarbeitungen.

Die vorstehenden Positionsinformationen über um das Fahrzeug angeordnete Objekte werden bei der nächsten Ausfüh rung des Programms als die vorangehenden Objektpositionsin formationen eingelesen und verarbeitet.

Gemäß der ersten Ausführungsform einer Fahrzeug- Rundumobjekterkennungsvorrichtung 10 kann nicht nur die Po sition von Objekten vor dem Fahrzeug erfaßt werden, sondern es kann auch die Position von Objekten erkannt werden, die sich infolge der Bewegung des Fahrzeugs neben das Fahrzeug bewegt haben. Daher kann durch das Fahrzeugfahrtunterstüt zungssystem, in dem diese Fahrzeug-Rundumobjekterkennungs vorrichtung verwendet wird, die Bedienung des Fahrzeugs durch den Fahrer über einen weiten Bereich unterstützt wer den.

Nachstehend wird eine zweite Ausführungsform der vor liegenden Erfindung unter Bezug auf die Fig. 8 bis 11 be schrieben.

Gemäß Fig. 8 und 9 weist das Fahrtunterstützungssystem 2 einen Drehzahlsensor 5 für das linke Hinterrad, einen Drehzahlsensor 25 für das rechte Hinterrad, eine linke CCD- Kamera, eine rechte CCD-Kamera, eine Steuerungsvorrichtung 6 und Anzeigeabschnitte 7FL bis 7S auf. Die Steuerungsvorrich tung 6 weist außerdem eine Fahrzeug-Rundumobjekterken nungsvorrichtung 10 und einen Abschnitt 20 zum Ausgeben des Ergebnisses einer Kollisionsbeurteilung auf. Die Fahrzeug- Rundumobjekterkennungsvorrichtung 10 weist ferner einen Ste reoskopbildverarbeitungsabschnitt 11, einen Objekterken nungsabschnitt 12, einen Abschnitt 12 zum Berechnen von Ob jektpositionsinformationen und einen Speicherabschnitt 14 auf. Der Abschnitt 26 zum Berechnen von Objektpositionsin formationen berechnet basierend auf den Umdrehungszahlen des linken und des rechten Hinterrades und den im Speicherab schnitt 14 gespeicherten vorangehenden Positionsinformatio nen über um das Fahrzeug angeordnete Objekte neue Positi onsinformationen über um das Fahrzeug angeordnete Objekte und gibt diese an den Abschnitt 20 zum Ausgeben des Ergeb nisses einer Kollisionsbeurteilung aus.

Der Abschnitt 26 zum Berechnen von Objektpositionsin formationen hat etwa die gleiche Funktion wie der im Zusam menhang mit der ersten Ausführungsform beschriebene Ab schnitt 13 zum Berechnen von Objektpositionsinformationen. Im einzelnen wird die Verschiebung der vorangehenden Objekt positionsinformationen folgendermaßen durchgeführt.

Gemäß Fig. 5 verschiebt sich, wenn das Fahrzeug gerade aus fährt, ein Objekt an einem Punkt A (x_a, y_a) zur Position B (x_b, y_b). In diesem Fall verschiebt sich, weil der Fahr wert ΔML des linken Hinterrades dem Fahrwert ΔMR des rechten Hinterrades gleich ist und ferner x_a = x_b ist, eine durch Ko ordinaten (x_old, y_old) dargestellte vorangehende Objektposi tion gemäß den beiden folgenden Gleichungen zur durch Koor dinaten (x_new, y_new) dargestellten aktuellen neuen Objektpo sition:

x_new = x_old (15)

y_new = y_old-ΔMR (16)

Wenn das Fahrzeug dagegen eine Drehung ausführt, bewegt sich das Objekt am Punkt B (x_b, y_b) zum Punkt C (x_c, y_c). Der Drehmittelpunkt P_c (X_CE, Y_CE) wird folgendermaßen darge stellt:

X_CE = (ΔMR + ΔML)/( ΔMR - ΔML) × (Spurweite)/2 (17)

Y_CE = (Offset-Wert des Hinterrades) = 0 (18)

Außerdem wird der Drehwinkel θ_c von Punkt B zu Punkt C dargestellt durch:

θ = ( ΔMR - ΔML)/(Spurweite) (19)

Daher wird die vorangehende Objektposition durch Erset zen der Koordinaten (X_CE, Y_CE) und des Drehwinkels θ_c in den vorstehend erwähnten Gleichungen (13) und (14) auf die durch die Koordinaten (x_new, y_new) dargestellte aktuelle neue Ob jektposition verschoben.

Nachstehend wird eine Arbeitsweise der zweiten Ausfüh rungsform eines Fahrtunterstützungssystems 2 unter Bezug auf das in Fig. 11 dargestellte Ablaufdiagramm beschrieben.

Zunächst werden bei S201 die Fahrwerte ΔML und ΔMR des linken und des rechten Hinterrads vom linken bzw. vom rech ten Hinterradsensor gelesen, und ferner wird die vorangehen de Objektpositionsinformation vom Speicherabschnitt 14 der Fahrzeug-Rundumobjekterkennungsvorrichtung 10 gelesen.

Anschließend schreitet das Programm zu S202 fort, wo gemäß den Fahrwerten ΔML und ΔMR festgestellt wird, ob das Fahrzeug eine Drehung ausführt oder geradeaus fährt. Wenn das Fahrzeug geradeaus fährt, schreitet das Programm zu S203 fort, wo der Fahrwert ΔML zur vorangehenden Objektpositi onsinformation addiert wird. Wenn das Fahrzeug eine Drehung ausführt, schreitet das Programm zu S204 fort, wo der Dreh mittelpunkt P_c und der Drehwinkel θ_c berechnet werden, wor aufhin bei S105 die vorangehende Objektpositionsinformation um den Drehwinkel θ_c um den Drehmittelpunkt P_c gedreht wird. Daraufhin schreitet das Programm von S203 oder S105 zu dem Schritt S106 folgenden Schritten fort, wo die gleichen Ver arbeitungen ausgeführt werden wie bei der ersten Ausfüh rungsform.

Daher kann durch die bei der zweiten Ausführungsform vorgesehene Fahrzeug-Rundumobjekterkennungsvorrichtung ohne Verwendung des Lenkwinkelsensors die gleiche Wirkung erzielt werden wie bei der ersten Ausführungsform.

Die Fig. 12 bis 16 betreffen eine dritte Ausfüh rungsform der vorliegenden Erfindung. Die Vorrichtung gemäß der dritten Ausführungsform dient zum Ausführen von Steue rungen für einen autonomen Fahrbetrieb, wie beispielsweise einer Steuerung zum Anhalten des Fahrzeugs, zum Ausweichen von Hindernissen und ähnlicher Steuerungen, basierend auf den von der in Verbindung mit der zweiten Ausführungsform beschriebenen Fahrzeug-Rundumobjekterkennungsvorrichtung 10 erhaltenen Objektpositionsinformationen.

Bezugszeichen 30 bezeichnet ein autonom fahrendes Fahr zeug zum unbemannten Ausführen verschiedenartiger Arbeiten, wie beispielsweise zum Reinigen von Böden, Mähen von Rasen flächen und ähnlicher Arbeiten. Das autonom fahrende Fahr zeug 30 weist eine Arbeitsvorrichtung 31, z. B. einen Mäher, in der Nähe des hinteren Fahrzeugendes auf. Außerdem weist es ein Paar Antriebsräder (linkes Antriebsrad 33L und rech tes Antriebsrad 33R) an der linken bzw. der rechten Seite des Mittelabschnitts des Fahrzeugs auf. Diese Antriebsräder werden durch Antriebsmotoren 34 (linker Antriebsmotor 34L und rechter Antriebsmotor 34R) angetrieben, die durch eine Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb ge steuert werden.

Außerdem weist das autonom fahrende Fahrzeug 30 ein stereoskopisches optisches System 3 (linke und rechte CCD- Kamera) zum Aufnehmen des vorderen Bildbereichs auf. Ferner sind ein linker Antriebsraddrehzahlsensor 5 zum Erfassen der Anzahl der Umdrehungen des linken Antriebsrads 33L und ein rechter Antriebsraddrehzahlsensor 25 zum Erfassen der Anzahl der Umdrehungen des rechten Antriebsrads 33R vorgesehen. Das stereoskopische optische System 3, der linke Antriebsrad drehzahlsensor 5 und der rechte Antriebsraddrehzahlsensor 25 sind mit der Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb verbunden.

Die Steuerungsvorrichtung 35 für einen autonomen Fahr betrieb weist eine Fahrzeug-Rundumobjekterkennungsvorrich tung 10 auf, die die gleiche Funktion hat wie die bei der zweiten Ausführungsform der vorliegenden Erfindung vorgese hene Fahrzeug-Rundumobjekterkennungsvorrichtung, und einen Fahrtsteuerungsabschnitt 38 zum Ausführen von Steuerungen, wie beispielsweise einer Steuerung zum Anhalten des Fahr zeugs, zum Ausweichen von Hindernissen und ähnlicher Steue rungen, basierend auf den Objektpositionsinformationen von der Fahrzeug-Rundumobjekterkennungsvorrichtung 10.

Wie in Fig. 15 dargestellt, sind die durch die Fahr zeug-Rundumobjekterkennungsvorrichtung 10 erzeugten Objekt positionsinformationen Positionsinformationen von Objekten, die in einem vorgegebenen Bereich QRST in der X-Y-Ebene mit dem Fahrzeug als Mittelpunkt angeordnet sind. Im Fall einer Geradeausfahrt, wie beispielsweise einer Fahrt vom Punkt A (x_a, y_a) zum Punkt B (x_b, y_b), werden die neuen aktuellen Po sitionsinformationen gemäß den vorstehenden Gleichungen (15) und (16) berechnet. Andererseits werden im Fall einer Kur venfahrt, wie beispielsweise bei einer Fahrt vom Punkt B (x_b, y_b) zum Punkt C (x_c, y_c), die neuen aktuellen Positi onsinformationen durch die Gleichungen (13) und (14) erhal ten. Die aus dem Speicherbereich überlaufenden Daten und die mit den neu erhaltenen Daten überlappenden Daten (Sichtfeld der Kamera) werden jeweils gelöscht. Durch Addieren der der art erhaltenen Daten zu den neu erhaltenen Daten (Sichtfeld der Kamera) werden die neuen aktuellen Objektpositionsinfor mationen erhalten.

Im Fahrtsteuerungsabschnitt 38 wird basierend auf den vom Abschnitt 26 zum Berechnen von Objektpositionsinforma tionen erhaltenen Positionsinformationen über um das Fahr zeug angeordnete Objekte unter Bezug auf die gespeicherte äußere Form des Fahrzeugs beurteilt, ob das Fahrzeug ange halten werden sollte oder nicht. Wenn festgestellt wird, daß das Fahrzeug angehalten werden sollte, wird der Antriebsmo tor 34 ausgeschaltet. Wenn festgestellt wird, daß das Fahr zeug dem Hindernis ausweichen kann, jedoch nicht angehalten werden muß, wird einer der Antriebsmotoren 34L, 34R an der dem Hindernis abgewandten Seite gesteuert, um dessen Drehge schwindigkeit zu reduzieren.

Nachstehend wird unter Bezug auf das in Fig. 16 darge stellte Ablaufdiagramm eine durch die Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb ausgeführte autonome Fahrtsteuerung beschrieben. Die Inhalte der Schritte S201 bis S109 sind die gleichen wie diejenigen bei der zweiten Ausführungsform, mit der Ausnahme, daß anstelle von "Hinterrad" bei den Schritten S201, S203 und S204 der Aus druck "Antriebsrad" einzusetzen ist.

Bei S301 wird basierend auf den vom Abschnitt 26 zum Berechnen von Objektpositionsinformationen erhaltenen Ob jektpositionsinformationen unter Bezug auf die gespeicherte äußere Form des Fahrzeugs beurteilt, ob das Fahrzeug ange halten werden sollte oder nicht. Wenn festgestellt wird, daß das Fahrzeug angehalten werden sollte, weil es in unmittel bare Nähe eines Hindernisses kommt, schreitet das Programm zu S302 fort, wo der Antriebsmotor ausgeschaltet wird (die Steuerung zum Anhalten des Fahrzeugs aktiviert wird), um das Fahrzeug anzuhalten.

Wenn andererseits bei S301 festgestellt wird, daß das Fahrzeug nicht angehalten werden muß, schreitet das Programm zu S303 fort, wo die Steuerung zum Anhalten des Fahrzeugs deaktiviert wird. Anschließend wird bei S304 basierend auf den vom Abschnitt 26 zum Berechnen von Objektpositionsinfor mationen erhaltenen Objektpositionsinformationen unter Bezug auf die gespeicherte äußere Fahrzeugform beurteilt, ob das Fahrzeug einen Ausweichvorgang ausführen sollte oder nicht.

Wenn bei S304 festgestellt wird, daß dem Hindernis aus gewichen werden sollte, schreitet das Programm zu S305 fort, wo die Drehzahl des Motors an der dem Hindernis abgewandten Seite gesteuert wird (die Steuerung zum Ausweichen eines Hindernisses aktiviert wird), um einen berechneten reduzier ten Drehzahlwert zu erhalten, woraufhin das Programm beendet wird. Außerdem setzt das Fahrzeug, wenn bei S304 festge stellt wird, daß dem Hindernis nicht ausgewichen werden muß, seine Fahrt fort.

Dadurch können die Steuerungen für einen autonome Fahr betrieb, wie beispielsweise eine Steuerung zum Anhalten des Fahrzeugs, zum Ausweichen von Hindernissen usw., effektiv ausgeführt werden, wenn das autonom fahrende Fahrzeug mit der Fahrzeug-Rundumobjekterkennungsvorrichtung 10 ausgerü stet ist. Außerdem kann diese Fahrzeug-Rundumobjekterken nungsvorrichtung 10 für ein autonom fahrendes Fahrzeug ver wendet werden, das entlang Wänden oder wandähnlicher Objekte fährt. Insbesondere wenn diese Vorrichtung für einen Boden reinigungsroboter verwendet wird, wird ein Arbeitsvorgang in unmittelbarer Nähe einer Wand einfach.

Die Fig. 17 bis 21 betreffen eine vierte Ausfüh rungsform der vorliegenden Erfindung. Bei dieser Ausfüh rungsform ist die CCD-Kamera auf einem autonom fahrenden Fahrzeug 40 drehbar angeordnet, um Bilder in einem breiteren Bereich aufzunehmen. D.h., das stereoskopische optische Sy stem 3 ist, wie in Fig. 17 und 18 dargestellt, auf einem Drehtisch 41 angeordnet, der in horizontaler Richtung schwenkbar ist, um einen breiteren Objektinformationsbereich zu erfassen.

Der Drehtisch 41 ist mit einem Motor 42 verbunden, um den Drehwinkel des Drehtischs zu steuern. Der Drehwinkel α (wobei vorausgesetzt wird, daß der Drehwinkel in Geradeaus richtung 0 Grad beträgt) wird durch einen Drehwinkelsensor 43 erfaßt und dem Objekterkennungsabschnitt 48 zugeführt, wie in Fig. 17 dargestellt. Eine Fahrzeug-Rundumobjekterken nungsvorrichtung 47 der Steuerungsvorrichtung 45 für einen autonomen Fahrbetrieb hat mit Ausnahme des bei der vierten Ausführungsform vorgesehenen Objekterkennungsabschnitts 48 die gleiche Funktion wie die Fahrzeug-Rundumobjekterken nungsvorrichtung 10 der dritten Ausführungsform.

D.h., durch den Objekterkennungsabschnitt 48 werden Pa rameter, wie beispielsweise die Position und die Form von Objekten auf der Straße, aus dem vom Stereoskopbildverarbei tungsabschnitt 11 ausgegebenem Abstandsbild auf die gleiche Weise erhalten wie durch den Objekterkennungsabschnitt 12. Außerdem berechnet der Objekterkennungsabschnitt 48 Koordi naten eines in Fahrtrichtung erfaßten Objekts unter Bezug auf den Drehwinkel α des Drehtischs 41 und gibt diese Koor dinaten des Objekts an den Abschnitt 26 zum Berechnen von Objektpositionsinformationen aus.

Wie in Fig. 20 dargestellt, müssen bei dieser Ausfüh rungsform, weil das durch das stereoskopische optische Sy stem 3 erhaltene Bild um den Drehwinkel α von der Geradeaus richtung abweicht, die Koordinaten des Objekts korrigiert werden. Die korrigierte Objektpositionsinformation wird zu der in Geradeausrichtung erfaßten Positionsinformation ad diert.

Im Fahrtsteuerungsabschnitt 46 wird die Fahrtsteuerung, z. B. eine Steuerung zum Anhalten des Fahrzeugs, zum Auswei chen von Hindernissen und ähnliche Steuerungen, basierend auf den Objektpositionsinformationen auf die gleiche Weise ausgeführt wie im Fahrtsteuerungsabschnitt 38 der dritten Ausführungsform der vorliegenden Erfindung. Außerdem steuert der Fahrtsteuerungsabschnitt 46 das stereoskopische optische System 3 so, daß es mit konstanter Geschwindigkeit nach links und nach rechts schwenkt. In diesem Fall kann die Be wegung des stereoskopischen optischen Systems der Fahrzeug bewegung angepaßt werden, so daß beispielsweise, wenn das Fahrzeug nach links dreht, das stereoskopische optische Sy stem 3 nach links geschwenkt wird, und wenn das Fahrzeug nach rechts dreht, das stereoskopische optische System 3 nach rechts geschwenkt wird.

Der Steuerungsablauf in der Steuerungsvorrichtung 45 für einen autonomen Fahrbetrieb ist mit Ausnahme des Pro grammschritts S401 der gleiche wie in der bei der dritten Ausführungsform vorgesehenen Steuerungsvorrichtung 35 für einen autonomen Fahrbetrieb.

D.h., nachdem die mit den neu erhaltenen Positionsin formationen überlappenden Daten bei S107 aus den vorangehen den Objektpositionsinformationen gelöscht wurden, schreitet das Programm zu S401 fort, wo die mit dem Drehwinkel α des Drehtischs 41 korrigierten neuen Objektpositionsinformatio nen gelesen werden, woraufhin das Programm zu S109 fort schreitet.

Daher kann bei der vierten Ausführungsform der vorlie genden Erfindung, außer dem bei der dritten Ausführungsform erhaltenen Effekt, ein breiter Sichtfeldbereich der Kamera erhalten werden, so daß das autonom fahrende Fahrzeug exak tere und kompliziertere Arbeiten ausführen kann.

Bei den ersten bis vierten Ausführungsformen der vor liegenden Erfindung ist die Fahrzeug-Rundumobjekterkennungs vorrichtung jeweils so aufgebaut, daß Objekte um das Fahr zeug basierend auf durch die CCD-Kamera erfaßten Bildern er faßt werden, wobei jedoch anstelle der CCD-Kamera andere Vorrichtungen, wie beispielsweise Laser-Radar, ein Ultra schallsensor und ähnliche Vorrichtungen, verwendet werden können.

Außerdem wurde bei den vorstehenden Ausführungsformen der vorliegenden Erfindung die Berechnung der Objektpositi onsinformationen bezüglich eines orthogonalen Koordinatensy stems durchgeführt, wobei diese Berechnung jedoch auch be züglich eines Polarkoordinatensystems durchgeführt werden kann.

Zusammenfassend können erfindungsgemäß, weil die Posi tionsinformationen über um das Fahrzeug angeordnete Objekte permanent aktualisiert und gespeichert werden, während das Fahrzeug fährt, die Objekte in einem breiten Bereich um das Fahrzeug erfaßt werden, ohne daß zusätzliche Kameras, Senso ren und andere komplizierte Erfassungsvorrichtungen erfor derlich sind.

Claims

1. Objekterkennungsvorrichtung für ein Fahrzeug zum Erken nen von um das Fahrzeug angeordneten Objekten, mit ei ner Objekterfassungseinrichtung zum Erfassen einer Richtung von Objekten und einer Abstandsverteilung zu den Objekten und einer Objekterkennungseinrichtung zum Erkennen der durch die Objekterfassungseinrichtung er faßten Objekte als Hindernisse basierend auf der Abstandsverteilung und zum Berechnen einer Relativposi tion der Objekte bezüglich des Fahrzeugs, wobei die Ob jekterkennungsvorrichtung ferner aufweist:
eine Objektpositionsspeichereinrichtung zum Spei chern der Relativposition der Objekte bezüglich des Fahrzeugs;
eine Einrichtung zum Berechnen eines Fahrwerts, der eine Fahrtstrecke und eine Fahrtrichtung des Fahr zeugs enthält; und
eine Einrichtung zum Berechnen von Objektpositi onsinformationen zum Berechnen einer neuen Relativposi tion der Objekte bezüglich des Fahrzeugs basierend auf der Relativposition der Objekte und dem Fahrwert des Fahrzeugs und zum Aktualisieren der in der Objektposi tionsspeichereinrichtung gespeicherten Relativposition durch die neue Relativposition der Objekte, um die Ob jekte erkennen zu können, die einen Erfassungsbereich der Objekterfassungseinrichtung verlassen haben.

2. Vorrichtung nach Anspruch 1, wobei die Objekterfas sungseinrichtung aufweist: eine Einrichtung zum Aufneh men eines Stereoskopbildes der Objekte durch eine in eine Vorwärtsrichtung des Fahrzeugs ausgerichtete Abbil dungseinrichtung und zum Berechnen einer dreidimensio nalen Abstandsverteilung basierend auf dem Stereoskop bild.

3. Vorrichtung nach Anspruch 1 oder 2, wobei die Objekterfassungseinrichtung aufweist: eine Einrichtung zum Aufnehmen eines Stereoskopbildes der Objekte durch eine um einen Winkel bezüglich der Vor wärtsrichtung des Fahrzeugs gedrehte Abbildungseinrich tung, zum Berechnen einer dreidimensionalen Abstands verteilung basierend auf dem Stereoskopbild und zum Korrigieren der dreidimensionalen Abstandsverteilung gemäß dem Winkel.

4. Vorrichtung nach Anspruch 3, wobei der Winkel mit kon stanter Geschwindigkeit in die linke und in die rechte Richtung geändert wird.

5. Vorrichtung nach Anspruch 3 oder 4, wobei der Winkel in die linke Richtung geändert wird, wenn das Fahrzeug ei ne Linksdrehung ausführt, und in die rechte Richtung, wenn das Fahrzeug eine Rechtsdrehung ausführt.

6. Vorrichtung nach einem der Ansprüche 1 bis 5, wobei die Einrichtung zum Berechnen eines Fahrwertes den Fahrwert basierend auf einem Lenkwinkel und der Radumlaufzahl berechnet.

7. Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die Einrichtung zum Berechnen eines Fahrwertes den Fahrwert basierend auf der Umlaufzahl des linken und des rechten Hinterrades berechnet.

8. Objekterkennungsvorrichtung nach Anspruch 2, wobei die Abbildungseinrichtung ein Paar von auf dem Fahrzeug an geordneten CCD-Kameras ist.

9. Vorrichtung nach einem der Ansprüche 3 bis 8, wobei die Abbildungseinrichtung ein Paar von auf dem Fahrzeug drehbar angeordneten CCD-Kameras ist.

10. Verfahren zum Erkennen von um ein Fahrzeug angeordneten Objekten mit einer Objekterfassungseinrichtung zum Er fassen einer Richtung von Objekten und einer Abstands verteilung zu den Objekten und einer Objekterkennungs einrichtung zum Erkennen der Objekte als Hindernisse basierend auf der Abstandsverteilung und zum Be rechnen einer Relativposition der Objekte bezüglich des Fahrzeugs, mit den Schritten:
Speichern der Relativposition der Objekte bezüg lich des Fahrzeugs;
Berechnen eines Fahrwertes, der eine Fahrstrecke und eine Fahrtrichtung des Fahrzeugs enthält; und
Berechnen einer neuen Relativposition der Objekte bezüglich des Fahrzeugs basierend auf der Relativposi tion der Objekte und dem Fahrwert des Fahrzeugs und Ak tualisieren der in der Objektpositionsspeichereinrich tung gespeicherten Relativposition durch die neue Rela tivposition der Objekte.