DE69514580T2

DE69514580T2 - Vorrichtung zur Erkennung der Umgebung mit einer Vorrichtung zur Bildaufnahme

Info

Publication number: DE69514580T2
Application number: DE69514580T
Authority: DE
Inventors: Tatsuhiko Monzi; Eiryoh Ondoh; Makoto Shioya; Kazuaki Takano; Yasunari Tanaka
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-07-05
Filing date: 1995-06-02
Publication date: 2000-05-25
Anticipated expiration: 2015-06-03
Also published as: EP0691599B1; EP0691599A2; EP0691599A3; JPH0816999A; US5850254A; DE69514580D1; JP3287117B2

Description

Die vorliegende Erfindung betrifft eine Umgebungserkennungsvorrichtung, bei der eine Bildaufnahmevorrichtung verwendet wird, sowie eine Vorrichtung und ein Verfahren zur Erkennung der Umgebung um ein Fahrzeug herum, die in einer sich am Fahrzeug befindenden Vorrichtung zur Erkennung der Umgebung außerhalb eines Fahrzeugs verwendet bzw. angewendet werden, um ein sicheres Fahren, beispielsweise eines Fahrzeugs, zu erleichtern, und bei der bevorzugt ein Bildsensor, beispielsweise eine CCD-Kamera, als Bildaufnahmevorrichtung verwendet wird.
Zu den herkömmlichen Umgebungserkennungsvorrichtungen gehört beispielsweise eine Vorrichtung, wie sie in JP-A-3- 203 000 offenbart ist, die die Umgebung erkennt, indem eine Bildaufnahmevorrichtung, z. B. eine CCD-Kamera, die als Bildsensor in einem Fahrzeug zur Unterstützung einer sicheren Fahrt des Fahrzeugs installiert ist, verwendet wird. Ferner wurde, wie in JP-A-1-281 600 offenbart, auch eine Vorrichtung zur Entscheidung anhand von Bilddaten einer Bildaufnahmevorrichtung vorgeschlagen, ob sich ein vorausfahrendes Fahrzeug in einem sicheren Abstand befindet. Da die aufgenommenen Bilddaten je nach dem Montageort und dem Einstellwinkel des Bildsensors in der Umgebungserkennungsvorrichtung, in der die oben beschriebene Bildaufnahmevorrichtung verwendet wird, unterschiedlich sind, wird die relative Beziehung zwischen den Bilddaten und den Informationen über das zu erkennende Objekt, wie z. B. der Abstand zwischen Fahrzeugen, erst eingestellt, nachdem der Bildsensor montiert und festgelegt ist, oder der Montageort und der Einstellwinkel der Bildaufnahmevorrichtung werden so eingestellt, daß die voreingestellte relative Beziehung zwischen den Bilddaten und den Informationen über das zu erkennende Objekt erhalten werden kann.
Bei der oben beschriebenen herkömmlichen Umgebungserkennungsvorrichtung wurde jedoch kein erneutes Ausrichten bezüglich der sich mit der vergehenden Zeit ergebenden Änderungen im Hinblick auf den Montageort und den Einstellwinkel des Bildsensors in Betracht gezogen. Infolgedessen ist es möglich, daß, da sich Montageort und Einstellwinkel der Bildaufnahmevorrichtung im Hinblick auf die ursprüngliche Stellung, beispielsweise infolge von Schwingungen, durch Kontakte oder dergleichen, geändert haben, die Bildverarbeitungseinrichtung aufgrund nicht geeigneter Informationen von der Bildaufnahmevorrichtung eine falsche Beurteilung ausgibt.
Eine Vorrichtung, in der ein Punkt an einer wesentlichen Position in einem Erfassungsbereich auf der Straße vorgesehen ist, wird auf der Grundlage der Position dieses Punktes eingestellt, um eine Abweichung des Erfassungsbereichs einer Laservorrichtung zu korrigieren, ist als auf der Straße installierte Fahrzeugerfassungsvorrichtung in JP-A-S-62 099 offenbart. Ferner ist in JP-A-3-97 080 ein Monitor offenbart, der über die Größe des Abschnitts entscheidet, in dem die Helligkeit einen kritischen Wert überschreitet, was durch einen Vergleich der von einem Bildsensor eingegebenen Bildinformation mit den Daten eines Bezugsbildes berechnet wird, wodurch zwischen der Existenz eines Eindringlings und einer Abweichung am Montageort der Bildaufnahmevorrichtung durch Vibration oder dergleichen unterschieden wird. In diesen Veröffentlichungen vom Stand der Technik ist jedoch nichts über die Erfassung einer Abweichung des Montageortes eines Bildsensors (einer Bildaufnahmevorrichtung) zu finden, ferner wird der Effekt der Erfindung wesentlich dadurch bestimmt, welches der Punkt des früheren Anzeigers ist und welche Daten als Bezugsbilddaten im späteren Anzeiger gewählt wurden. Aus diesem Grunde war eine geeignete Einstellung des Punktes und der Bezugsbilddaten schwierig.
EP-A-0 132 151 offenbart eine Vorrichtung zur automatischen Korrektur der Position einer TV-Kamera, die an einem Fließband für Motorfahrzeuge verwendet wird, und die TV- Kamera wird speziell zur Ausrichtung der vorderen Scheinwerfer des Fahrzeugs verwendet. In dieser Veröffentlichung ist die TV-Kamera über dem Fließband montiert, d. h. sie ist nicht am Fahrzeug montiert, und sie ist auf zwei Fixpunkte, die auf einem Schirm angegeben sind, gerichtet, auf den die vorderen Scheinwerfer zu projizieren sind. Die TV-Kamera macht Bilder von den Bezugspunkten und zeigt sie auf einem Monitor an, auf dem die Bezugspunkte unter Verwendung von X-Y-Koordinaten erfaßt werden. Wenn die optische Achse der TV-Kamera bewegt wird, weichen die Koordinaten ab und es sind Einrichtungen vorgesehen, die diese Abweichungen auf Null reduzieren.

Zusammenfassung der Erfindung

Aufgabe der vorliegenden Erfindung ist es daher, eine Umgebungserkennungsvorrichtung mit einem Fahrzeug anzugeben, in der die beispielsweise durch Vibration verursachte Abweichung der Bildaufnahmevorrichtung vom Montageort, bezogen auf den ursprünglichen Ort, verringert werden kann. Erfindungsgemäß ist eine Umgebungserkennungsvorrichtung vorgesehen, wie in Anspruch 1 beansprucht.
In der Umgebungserkennungsvorrichtung der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung installiert, so daß eine Erkennungsmarkierung zur Bezeichnung des ursprünglichen Montageortes einer Bildaufnahmevorrichtung in einen Bildaufnahmebereich fällt.
Im einzelnen ist eine Einrichtung zur Erfassung und zum Vergleich von Ortsdaten in der Praxis angewandter Markierungen vorgesehen, deren Bilder sequentiell von der Bildaufnahmevorrichtung in bezug auf die Daten des ursprünglichen Ortes der Erkennungsmarkierung in der Bildaufnahmevorrichtung aufgenommen werden.
Ferner ist eine Markierung, die einen Montageort einer Bildaufnahmevorrichtung zeigt, in einem Fahrzeug eingerichtet, an dem die Bildaufnahmevorrichtung montiert ist. Die Ortsdaten der Markierung werden einer Prozessoreinheit als periphere Information eingegeben.
In einer erfindungsgemäßen Umgebungserkennungsvorrichtung ist eine Markierung zur Spezifizierung eines Montageortes einer Bildaufnahmevorrichtung in einem Abschnitt angeordnet, der sich innerhalb des Bildaufnahmebereichs des Bildsensors befindet, und es sind vorgesehen: ein Speicherteil zur Speicherung des ursprünglich eingestellten Ortes dieser Markierung und eine Einrichtung zur Erfassung und zum anschließenden aufeinanderfolgenden Vergleich der Markierungsorte in der Bildverarbeitungsvorrichtung. Wenn sich dann der sequentiell erkannte Markierungsort, bezogen auf den ursprünglichen Ort, geändert hat, erfolgt durch einen Alarm oder dergleichen eine Information, daß der eingestellte Ort des Bildsensors nicht zweckmäßig ist und korrigiert werden muß, oder die Stellung des Bildsensors wird automatisch korrigiert oder die Bilddaten werden korrigiert.
In der vorliegenden Erfindung wird das Wort "Umgebung" in einem breiten Sinn verwendet und gibt alle Gegenstände an, die man als Bild sehen kann, In der Ausführungsform bedeutet es eine Landschaft um das Fahrzeug herum, aber es kann auch eine Tätigkeit entlang eines Fließbandes, Textilerzeugnisse, oder, in anderen Beispielen, eine Landschaft innerhalb eines Gebäudes betreffen.

Kurze Beschreibung der Zeichnungen

Fig. 1 eine schematische Seitenansicht, die den allgemeinen Aufbau einer ersten Ausführungsform der vorliegenden Erfindung zeigt,
Fig. 2 ein Blockdiagramm, das den Aufbau einer Signalverarbeitungseinrichtung der ersten Ausführungsform zeigt,
Fig. 3 ein Flußdiagramm, das eine Verarbeitungsoperation der Ausführungsform zeigt,
Fig. 4 ein Bildfenster, das den Betrieb der Ausführungsform zeigt,
Fig. 5 eine schematische Seitenansicht, die den Aufbau einer weiteren Ausführungsform der vorliegenden Erfindung zeigt,
Fig. 6 ein Bildfenster, das den Betrieb der anderen Ausführungsform zeigt,
Fig. 7 eine schematische Seitenansicht, die eine weitere Ausführungsform der Erfindung zeigt,
Fig. 8 ein Blockdiagramm, das den Aufbau einer Signalverarbeitungseinrichtung der in Fig. 7 gezeigten Ausführungsform zeigt,
Fig. 9 ein Flußdiagramm, das die Verarbeitungsoperation der in Fig. 7 gezeigten Ausführungsform zeigt,
Fig. 10 ein Bildfenster zur Erläuterung des Betriebs der oben angegebenen Ausführungsform,
Fig. 11 eine schematische perspektivische Darstellung, die eine weitere Ausführungsform der vorliegenden Erfindung zeigt,
Fig. 12 ein Blockdiagramm, das eine Signalverarbeitungseinrichtung einer weiteren Ausführungsform der vorliegenden Erfindung zeigt,
Fig. 13 ein Flußdiagramm, das die Verarbeitungsoperation der in Fig. 12 gezeigten Ausführungsform zeigt,
Fig. 14 eine schematische perspektivische Darstellung, die eine weitere Ausführungsform der vorliegenden Erfindung zeigt, und
Fig. 15A und 15B sind allgemeine Ansichten zur Erläuterung des Betriebs der in Fig. 14 gezeigten Ausführungsform.

Beschreibung der bevorzugten Ausführungsformen

Unter Bezugnahme auf die Zeichnungen werden im folgenden Ausführungsformen der vorliegenden Erfindung beschrieben. Zu Beginn ist ein allgemeiner Aufbau einer Umgebungserkennungsvorrichtung für ein Fahrzeug, die eine Ausführungsform der vorliegenden Erfindung ist, unter Bezugnahme auf Fig. 1 gezeigt. In einem Fahrzeug 1 ist ein Bildsensor 2 zur Aufnahme eines Bildes von der Umgebung außerhalb eines Fahrzeugs installiert. Ferner ist an einer Windschutzscheibe 3 eine Markierung 5 so befestigt, daß deren Position sich innerhalb des Bildaufnahmebereichs 4 des Bildsensors 2 befindet. Ferner ist der Bildsensor 2 über eine Bildsignalleitung 6 mit einer Bildsignalverarbeitungseinheit 7 verbunden, und die Bildsignalverarbeitungseinheit 7 ist des weiteren über eine Alarmsignalleitung 8, eine Bremssteuersignalleitung 9 bzw. eine Lenksteuersignallei tung 10 mit einer Alarmeinrichtung 11, einer Bremssteuereinheit 12 und einer Lenksteuereinheit 13 verbunden.
Fig. 2 zeigt den internen Aufbau der Bildsignalverarbeitungseinheit 7, die grob in fünf Teile aufgeteilt ist, d. h., in einen Analog/Digital-Wandler 71 zum Umwandeln eines analogen Signals vom Bildsensor 2 in ein digitales Signal, einen Bildspeicher 72 zur Aufnahme von Bilddaten in eine Pixeleinheit, einen Bildverarbeitungsteil 73 zur Erkennung und Berechnung eines relativen Ortes des Fahrzeugs, bezogen auf die äußere Umgebung, einen Entscheidungsteil 74 über den Ortswechsel im Bildsensor zur Erfassung und Entscheidung über eine Ortsabweichung im Bildsensor hinsichtlich des ursprünglichen Ortes, und einen Entscheidungsteil 75 zur Gefahrenvermeidung zur Entscheidungssteuerung über die Ausgabe eines Alarms, über das Auslösen der Bremsen und über die Lenkung. Der Bildverarbeitungsteil 73 besteht aus einem Erkennungsteil 731 des vorausfahrenden Fahrzeugs, einem Rechenteil 732 für den Abstand zwischen den Fahrzeugen, einem Erkennungsteil 733 für die Fahrbahn des eigenen Fahrzeugs und einem Rechenteil 734 für die Ortsbeziehung zwischen dem eigenen Fahrzeug und der Fahrbahn. Der Entscheidungsteil 74 zum Ortswechsel des Bildsensors besteht aus einem Speicherteil 741 für den ursprünglichen Markierungsort, der mit einer Einstellvorrichtung 14 des ursprünglichen Markierungsortes, einem Markierungsentnahmeteil 742, einem Markierungsort- Erfassungsteil 743 und einem Komparator 744 verbunden ist. Der Entscheidungsteil 75 zur Gefahrenvermeidung besteht aus einem Risikoentscheidungsteil 751, einer Alarmausgabe- Entscheidungseinheit 752 und einer Stellantrieb- Entscheidungseinheit 753.
Als nächstes wird der Betrieb der vorliegenden Ausführungsform unter Bezugnahme auf die Fig. 2 bis 4 beschrieben. In Fig. 2 werden die Bilddaten vor dem eigenen Fahrzeug, die vom Bildsensor 2 aufgenommen wurden, beispiels weise mit Hilfe des Analog/Digital-Wandlers 71 in digitale Daten einer Größe von 8-Bit umgewandelt und im Bildspeicher 72 gespeichert. Auf der Grundlage dieser Daten erfolgt die Erkennung eines vorausfahrenden Fahrzeugs (731) und die Berechnung des Abstands vom vorausfahrenden Fahrzeug (732) im Bildverarbeitungsteil. Ferner wird parallel dazu die Fahrbahn des eigenen Fahrzeugs (733) erkannt und die Ortsbeziehung zwischen dem eigenen Fahrzeug und der Fahrbahn (734) berechnet. Eine nicht normale Annäherung an ein vorausfahrendes Fahrzeug, Buckel auf der Fahrbahn etc., werden auf der Grundlage dieser Berechnungsergebnisse im Risikoentscheidungsteil 751 entschieden, und wenn entschieden wurde, daß eine Kollision dadurch vermieden werden kann, daß der Fahrer durch einen Alarm von der Tatsache in Kenntnis gesetzt wird, erfolgt der Alarm von der Alarmeinrichtung 11 durch die Entscheidung der Alarmausgabeentscheidungseinheit 752, um die Aufmerksamkeit des Fahrers auf eine Handlung zur Kollisionsvermeidung zu richten. Andererseits wird, wenn im Risikoentscheidungsteil 751 entschieden wird, daß durch einen Alarm allein eine Kollision nicht vermieden werden kann, durch Entscheidung der Stellantrieb-Entscheidungseinheit 753 eine Bremssteuerung (12) und/oder eine Lenksteuerung (13) durchgeführt, um dadurch seitens des Fahrzeugs selbst, ohne Eingreifen des Fahrers, eine Kollision zu vermeiden.
Die vorstehende Beschreibung zeigt den allgemeinen Betrieb der Kollisionsvermeidungseinheit, ein charakteristischer Teil der vorliegenden Ausführungsform wird im folgenden unter Bezugnahme auf die Fig. 2 bis 4 beschrieben. Nach Abschluß der Initialisierung des Bildsensors wird die Einstellvorrichtung 14 des ursprünglichen Markierungsortes so betrieben (1001), daß sie den Ort der Markierung 5, der im Speicherteil 741 für den ursprünglichen Markierungsort gespeichert ist, im Entscheidungsteil 74 zum Ortswechsel im Bildsensor speichert(1002). Zu diesem Zeitpunkt wird ein erneut startbarer ROM oder ein RAM mit Stromzufuhr zur Da tensicherung im Speicherteil 741 für den ursprünglichen Markierungsort 741 genutzt, so daß der gespeicherte ursprüngliche Markierungsort erhalten bleibt, auch wenn der Strom der Bildsignalverarbeitungseinheit abgeschaltet wird, wenn ein Batteriekabel etc. abgeklemmt wird.
Nach Abschluß der Einstellung des ursprünglichen Markierungsortes wird die folgende Operation parallel zum normalen, oben beschriebenen Betrieb der Kollisionsvermeidung durchgeführt. Wenn nämlich das Fahrzeug fährt, wird der Ort der Markierung 5 aus den Bilddaten erfaßt und mit Hilfe des Markierungsentnahmeteils 742 und des Markierungsort-Erfassungsteils 743 (1003) in den Bildspeicher 72 übernommen. Als nächstes wird im Komparator 744 der Ort mit den im Speicherteil 741 für den ursprünglichen Markierungsort 741 gespeicherten Daten verglichen(1004). Wenn der sequentiell erfaßte Markierungsort der gleiche Ort wie der ursprüngliche Markierungsort (1005) ist, wird hier entschieden, daß sich der Ort des Bildsensors nicht geändert hat, die oben beim Bildverarbeitungsteil 73 und Entscheidungsteil 75 zur Gefahrenvermeidung beschriebenen Verarbeitungen werden durchgeführt (1006 und 1007) und die Verarbeitung kehrt zu der Operation zurück, in der das Bild des nächsten Rahmens aufgenommen wird.
Wenn zwei Markierungsorte voneinander verschieden sind, wenn also, wie bei 5 (eine ursprüngliche Position) und 5' (eine während der Fahrt erfaßte Position) gezeigt ist, wird im in Fig. 4 gezeigten Bildfenster 15 bei der Verarbeitung (1005) im Komparator 744 entschieden, daß sich die Stellung des Bildsensors bezüglich des initialisierten Ortes (1008) geändert hat, und von der Alarmausgabe- Entscheidungseinheit 752 und der Alarmeinrichtung 11 (1009) wird der Fahrer durch einen Alarm gewarnt. Dieses Mal erfolgt die Warnung des Fahrers, indem die Tonfärbung oder dergleichen geändert wird, damit der Fahrer diesen Alarm nicht mit dem Alarm zur Kollisionsvermeidung, bei spielsweise bei einer annormalen Annäherung an ein vorausfahrendes Fahrzeug und bei Buckeln auf der Fahrbahn, verwechseln kann. Darüber hinaus wird die Übertragung des Bildsignals vom Bildspeicher 72 zum Bildverarbeitungsteil 73 unterbrochen und die Entscheidungsfunktion zur Gefahrenvermeidung wird solange aufgehoben, bis der Bildsensorort erneut auf den ursprünglichen Ort eingestellt ist.
Gemäß der vorliegenden Ausführungsform ist es möglich, die Ortsänderung des Bildsensors immer durch eine Entnahme des Markierungsortes aus den sequentiell aufgenommenen Bilddaten zu überwachen und diesen Markierungsort mit dem ursprünglichen Ort zu vergleichen. Es ist daher möglich, das Problem zu vermeiden, daß ein falscher Abstand zwischen den Fahrzeugen berechnet wird, bei der die Distanz A' in einem Bildfenster in einem Zustand verwendet wird, in dem der Bildsensor eine Abweichung aufweist, wodurch eine ungeeignete Risikoentscheidung ausgegeben würde, wenn die Risikoentscheidung ursprünglich durch Berechnung der Distanz von einem vorausfahrenden Fahrzeug unter Verwendung der Distanz A im Bildfenster erfolgen sollte, wie in Fig. 4 gezeigt ist.
Als nächstes wird eine zweite Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Fig. 5 und 6 beschrieben. In dieser Ausführungsform wird eine Kühlerfigur 16, die auf der Motorhaube des eigenen Fahrzeugs montiert ist, anstelle der in der ersten Ausführungsform an der Windschutzscheibe 3 angebrachten Markierung 5 verwendet. In dieser Ausführungsform ist der Bildsensor 2 so installiert, daß sich die Kühlerfigur 16 innerhalb eines Bildaufnahmebereichs 4 befindet und der ursprünglich eingestellte Ort und der während der Bewegung der Kühlerfigur 16 innerhalb des Bildfensters 15 erfaßte Ort 16' werden sequentiell miteinander verglichen wie in Fig. 6 gezeigt, wodurch der Ortswechsel des Bildsensors überwacht und darüber entschieden wird. Hinsichtlich Aufbau und Betrieb ist die Markierung 5 der ersten, in Fig. 1 bis 3 gezeigten Ausführungsform lediglich durch die Kühlerfigur 16 ersetzt worden, und es lassen sich die gleichen Effekte wie mit der ersten Ausführungsform erzielen. Da das spätere Ankleben der Markierung 5 in dieser Ausführungsform nicht erforderlich ist, kann gegenüber der ersten Ausführungsform Arbeitszeit eingespart werden.
In der vorliegenden Ausführungsform ist die an der Kühlerhaube des eigenen Fahrzeugs angebrachte Kühlerfigur verwendet worden, es versteht sich jedoch von selbst, daß sich die gleichen Effekte auch erzielen lassen, wenn anstelle der Kühlerfigur irgendein sich am eigenen Fahrzeug befindendes Teil der Motorhaube, eine auf der Windschutzscheibe angeklebte Fahrzeugprüfmarke, ein Teil des Daches oder dergleichen verwendet wird.
Als nächstes wird eine dritte Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Fig. 7 bis 10 beschrieben. Verschieden vom Aufbau der ersten Ausführungsform ist, daß der Bildsensor 2 am eigenen Fahrzeug 1 durch ein Kugelgelenk 17 verbunden ist, das mit Hilfe eines Motors, wie in Fig. 7 gezeigt, frei in senkrechter Richtung Rb und in horizontaler Richtung Ra bewegt werden kann, und ferner, daß der Komparator 744 und das Universalgelenk 17 durch eine in Fig. 8 gezeigte Richtungssteuereinheit 76 des Bildsensors verbunden sind.
Der Betrieb der dritten Ausführungsform ist ähnlich dem der ersten Ausführungsform, wie in Fig. 3 gezeigt ist, wenn eine Abweichung der Markierung vom ursprünglichen Ort vom Komparator 744 nicht erfaßt wird, wie im Flußdiagramm in Fig. 9 unter 1002 bis 1007 gezeigt ist. Wenn jedoch eine Abweichung erfaßt wird (1005), wird in der Richtungssteuereinheit 76 des Bildsensors entschieden, ob die Größe der Abweichung korrigierbar ist oder nicht (1010). Wenn eine Korrektur möglich ist, wird auf der Grundlage der Größen a und b in horizontaler und vertikaler Richtung der Abweichungsgröße der Markierung berechnet, in welcher Richtung und in welchem Ausmaß der Winkel des Bildsensors geändert werden soll, Fig. 10 (1011), und das Kugelgelenk 17 wird vom Motor angetrieben und nimmt die Korrektur vor, so daß der Markierungsort 5' mit dem ursprünglichen Ort 5 zusammenfällt (1012). Wenn jedoch bei der Verarbeitung 1010 entschieden wird, daß sich die erforderliche Korrekturgröße der Richtung des Bildsensors außerhalb des bewegbaren Bereichs des Kugelgelenks 17 befindet (1013), wird das dem Fahrer mit der Alarmausgabe-Entscheidungseinheit 752 und der Alarmeinrichtung 11 durch einen Alarm angezeigt (1014).
In der vorliegenden Ausführungsform wird also bei einer Abweichung des Bildsensors dieser automatisch von der Einrichtung korrigiert. Ein weiterer Effekt besteht darin, daß der Fahrer von der Aufgabe des Neueinstellens befreit ist.
Als nächstes wird eine vierte Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf Fig. 11 beschrieben. Die vorliegende Ausführungsform gleicht der dritten Ausführungsform darin, daß die Richtung des Bildsensors automatisch korrigiert wird, unterscheidet sich aber von dieser darin, daß nur ein Bildaufnahmeteil 210, der aus einer Linse 201 und einem CCD-Element 202 besteht, mit Hilfe eines im Bildsensor 2 eingebauten Motors angetrieben wird, ohne daß durch das Kugelgelenk 17 die Richtung des Bildsensors als Ganzes geändert wird.
Da bei der vierten Ausführungsform das Gewicht des Antriebsteils wesentlich geringer ist, ergibt sich eine verbesserte die Ansprechgeschwindigkeit des Bildaufnahmesystems auf ein Korrektursignal, und die Sicherheit wurde über die vorteilhafte Wirkung der dritten Ausführungsform hinaus noch weiter verbessert.
Im folgenden wird unter Bezugnahme auf die Fig. 10, 12 und 13 eine fünfte Ausführungsform der vorliegenden Erfindung beschrieben. Die fünfte Ausführungsform unterscheidet sich von der ersten Ausführungsform darin, daß, wie Fig. 12 zeigt, ein Bilddatenkorrekturteil 77 zur Vornahme einer Korrektur und ein Datenspeicher zwischen dem Bildspeicher 72 und dem Bildverarbeitungsteil 73 vorgesehen ist, um so das Ergebnis des Komparators 744 zum Bilddatenkorrekturteil 77 zurückzuführen.
Der Betrieb der fünften Ausführungsform ist der gleiche wie in der ersten, in Fig. 3 gezeigten Ausführungsform, wenn keine Abweichung der Markierung in bezug auf den ursprünglichen Ort im Komparator 744, wie im Flußdiagramm von 1002 bis 1007 in Fig. 13 angegeben, erfaßt wird. Wenn demgegenüber eine Abweichung erfaßt wird (1005), wird im Bilddatenkorrekturteil 77 entschieden, ob die Abweichung im Bildfenster korrigierbar ist oder nicht (1015). Wenn eine Korrektur möglich ist, wird, wie in Fig. 10 (1016) gezeigt ist, auf der Grundlage der Größen a und b in horizontaler und vertikaler Richtung der Abweichungsgrößen a und b der Markierung berechnet, in welcher Richtung und in welchem Ausmaß die Bilddaten geändert werden sollen, und die Bilddaten werden aufgrund der berechneten Größen (1017) korrigiert. Ein einfaches Korrekturverfahren ist beispielsweise ein Verfahren zur Addition oder Subtraktion, die an allen Daten des Gesichtsfeldes vertikal oder horizontal um den Pixelanteil, um den die Markierung abgewichen ist, durchgeführt wird. Danach werden die folgenden Verarbeitungen (1006, 1007) unter Verwendung der korrigierten Daten durchgeführt. Wenn während der Verarbeitung (1015) entschieden wird, daß die erforderliche Korrekturgröße der Bilddaten sich außerhalb des bewegbaren Bereichs im Bildfenster befindet (1018), wird das dem Fahrer mit der Alarmausgabe-Entscheidungseinheit 752 und der Alarm- Einrichtung 11 durch einen Alarm angezeigt (1019).
Bei der fünften Ausführungsform können die gleichen Effekte wie in der dritten und vierten Ausführungsform erzielt werden, es ist jedoch kein Mechanismus zum Drehen des Bildsensors mehr erforderlich, wodurch sich der positive Effekt ergibt, daß, zusätzlich zu den oben beschriebenen positiven Effekten, das Gewicht und die Kosten verringert werden können und auch die Zuverlässigkeit ebenfalls merklich verbessert werden kann.
Unter Bezugnahme auf Fig. 14 und die Fig. 15A und 15B wird als nächstes eine sechste Ausführungsform beschrieben. In Fig. 14, ist ein Zustand 1', in dem ein Fahrzeug scharf bremst, für einen Vergleich mit dem normalen Fahrzeugzustand 1 eins über dem anderen Fahrzeug dargestellt, und der im Fahrzeug installierte Bildsensor 2' ist, bezogen auf seine normale Stellung 2, in diesem Zustand anders positioniert. Außerdem entsteht eine Positionsänderung dieser Art auch bei einer Fahrt über eine schlechte Straße, wie beispielsweise in Fig. 15B gezeigt ist. Aus diesem Grunde ändert sich auch der Bildaufnahmebereich von 4 zu 4', und es ändert sich die relative Beziehung zwischen dem Ort eines fahrenden Fahrzeugs und einer in der Praxis anzutreffenden Distanz zwischen den Fahrzeugen im Bildfenster, woraus sich eine falsche Beurteilung des Risikos ergibt. Bei der vorliegenden Ausführungsform wird die Positionsänderung eines Fahrzeugs auf der Grundlage der Informationen von den Höhensensoren 18a und 18b und von einem vorne und hinten am Fahrzeug angeordneten Beschleunigungsmesser 19 oder dergleichen erfaßt. Wenn eine Positionsänderung erfaßt wurde, wird entschieden, daß eine falsche Beurteilung des Risikos erfolgt sein kann, und die Übertragung eines Bildsignals vom Bildspeicher 72 zum Bildverarbeitungsteil 73 in der Bildsignalverarbeitungseinheit 7 wird unterbrochen, wie in Fig. 2 gezeigt ist. Wenn dann ein solcher Zustand wieder abgeklungen ist und die Positionsänderung ebenfalls wieder aufgehoben ist, wird die Bildsignalübertragung vom Bildspeicher 72 zum Bildverarbeitungsteil 73 erneut gestartet.
In der sechsten Ausführungsform, die sich in der genannten Hinsicht von den bisher beschriebenen Ausführungsformen unterscheidet, ist es möglich, zu verhindern, daß eine falsche Entscheidung über das Risiko gefällt wird, das auftreten könnte, auch, wenn sich die Richtung des Bildsensors hinsichtlich der ursprünglich eingestellten Richtung nicht ändert.
Bei der vorliegenden Erfindung wurde eine Bildaufnahmevorrichtung installiert, so daß eine Markierung zur Spezifizierung des Montageortes der Bildaufnahmevorrichtung in den Bildaufnahmebereich fällt, wie oben im einzelnen beschrieben ist. Es ist daher auch dann, wenn sich der Erkennungsort der Bildaufnahmevorrichtung mit der vergehenden Zeit gegenüber dem ursprünglich eingestellten Ort ändert, möglich, zu verhindern, daß die Bildverarbeitungseinheit aufgrund dieser Änderung eine falsche Entscheidung fällt. Im einzelnen ist es in einer Umgebungserkennungsvorrichtung für ein Fahrzeug möglich, eine richtige Entscheidung über eine Distanz zwischen Fahrzeugen dadurch zu fällen, daß beispielsweise eine Einrichtung zur Erkennung und zum Vergleich von Markierungsorten, die sequentiell von einer Bildaufnahmevorrichtung in einem Bildaufnahmebereich hinsichtlich des ursprünglichen Ortes der Markierung aufgenommen werden, und zur Information eines Fahrers durch einen Alarm oder dergleichen angegeben wird, daß der Installationsort der Bildaufnahmevorrichtung ungeeignet ist und korrigiert werden muß, zur automatischen Korrektkur des Montageortes der Bildaufnahmevorrichtung oder zur Korrektur der Bilddaten angegeben ist, wenn die sequentiell erkannten Markierungsorte sich in bezug auf die ursprünglich eingestellten Orte ändern.

Claims

1. Umgebungserkennungsvorrichtung in Kombination mit einem Fahrzeug, wobei die Vorrichtung enthält: eine Bildaufnahmevorrichtung (2) zur Erkennung einer Umgebung, mit der das Fahrzeug konfrontriert ist, durch Signalverarbeitung von Bildaufnahmedaten, eine Bezugsmarkierung (5), die sich zur Bestimmung eines Anordnungsortes der Bildaufnahmevorrichtung (2) in einem Bildaufnahmebereich (4) innerhalb des Sichtfeldes der Bildaufnahmevorrichtung (2) befindet, eine Speichereinrichtung (72) zur Speicherung eines Bezugsrahmens einschließlich eines Bildes der Bezugsmarkierung (5) und einen Komparator (74) für einen Vergleich des ursprünglichen Ortes der Bezugsmarkierung (5) mit mindestens einem folgenden Bild der Bezugsmarkierung für eine Überprüfung der Zielabweichung der Bildaufnahmevorrichtung (2),

dadurch gekennzeichnet,

daß die Bildaufnahmevorrichtung (2) eine Einrichtung zur Anordnung der Bildaufnahmevorrichtung (2) auf dem Fahrzeug enthält, so daß die Bildaufnahmevorrichtung (2) mit dem Fahrzeug transportiert werden kann, und daß die Bezugsmarkierung (5) am Fahrzeug befestigt ist oder durch einen Teil des Fahrzeugs gebildet ist.

2. Vorrichtung nach Anspruch 1, in der eine Alarmeinrichtung (11) vorgesehen ist, um den Fahrer des Fahrzeugs zu warnen, wenn der Komparator bestimmt, daß die Bildaufnahmevorrichtung vom Ziel abgewichen ist.

3. Vorrichtung nach Anspruch 1 oder 2, bei der eine Bildverarbeitungseinrichtung (73) zum Empfang eines Ausgabesignals von der Speichereinrichtung (72) vorgesehen ist, und bei der die Übertragung von Daten von der Speichereinrichtung (72), wenn der Komparator (74) eine Abweichung der Bildaufnahmevorrichtung vom Ziel bestimmt, solange unterbrochen wird, bis die Zieleinstellung der Bildaufnahmevorrichtung wieder auf den ursprünglichen Ort ausgerichtet ist.

4. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Bildaufnahmevorrichtung (2) ein Bildaufnahmesystem (210) enthält, das eine Linse (201) und ein Ladungsspeicherelement (CCD) (202) umfaßt.

5. Vorrichtung nach einem der vorhergehenden Ansprüche, die eine Steuereinrichtung zur Zieleinstellung der Bildaufnahmevorrichtung umfaßt.

6. Vorrichtung nach Anspruch 5, bei der die Steuereinrichtung ein Motor ist.

7. Vorrichtung nach Anspruch 6 in Verbindung mit Anspruch 4, bei der der Motor die axiale Richtung des Bildaufnahmesystems (210) nur dann steuert, wenn eine Zielabweichung der Bildaufnahmevorrichtung ermittelt wurde.

8. Vorrichtung nach einem der vorhergehenden Ansprüche, die ferner eine Gefahrenvermeidungs-Erfassungseinrichtung (75) zur Bestimmung einer Beziehung zwischen dem Fahrzeug und einem anderen Fahrzeug oder einer Straße, auf der sich das Fahrzeug bewegt, in der Weise enthält, daß eine Alarmeinrichtung (11) und/oder eine Bremssteuereinheit (12) und/oder eine Lenksteuereinheit (13) aktiviert wird, wenn bestimmt wird, daß eine Kollision unvermeidbar ist.

9. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Bezugsmarkierung eine Kappe vorne auf der Windschutzscheibe (3), ein auf der Windschutzscheibe (3) angebrachtes Siegel und eine Verbindungskappe hinten auf dem Rückfenster darstellt.

10. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Speichereinrichtung (72) ein Nur-Lese-Speicher (ROM) ist, der extern überschreibbar ist.

11. Vorrichtung nach einem der Ansprüche 1 bis 10, bei der die Speichereinrichtung (72) ein Direktzugriffsspeicher (RAM) ist, der eine Stromquelle zur Sicherung aufweist, so daß der Speicher nicht gelöscht wird, wenn der Motor angehalten wird.

12. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Bildverarbeitungsvorrichtung (73) zur Entscheidung über das Vorliegen eines vorgegebenen gefährlichen Umstands vorgesehen ist, der auf der Basis der Bildaufnahmedaten der Bildaufnahmevorrichtung (2) eine Gefahr für das Fahrzeug darstellt, und eine Alarmeinrichtung (11) zur Warnung des Fahrers vorgesehen ist, wenn der vorgegebene gefährliche Umstand von der Bildverarbeitungsvorrichtung (73) erkannt wird.

13. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Übertragung der Bilddaten von der Speichereinrichtung (72) angehalten wird, wenn von den Lageänderungssensoren (18a, 18b, 19) eine Änderung der Lage des Fahrzeugs abgetastet wird.

14. Vorrichtung nach Anspruch 13, bei der die Änderung der Lage des Fahrzeugs durch Ausgangssignale von mindestens einem Höhensensor (18a, 18b), der an einer Aufhängung des Fahrzeugs vorgesehen ist, und/oder einem an der Fahrzeugkarosserie angebrachten Beschleunigungsmesser (19) abgetastet wird.