DE19757840C1 - Vorrichtung zur optischen Erfassung und Abstandermittlung von Objekten von einem Fahrzeug aus - Google Patents

Abstract

Eine Vorrichtung zur optischen Erfassung und Abstandsermittlung von Objekten von einem Fahrzeug aus mittels eines am Fahrzeug angeordneten Scanners, der einen kollimierten Strahl von Impulsen elektromagnetischer Strahlung in ein Blickfeld lenkt, einen in Strahlrichtung blickenden Strahlungsempfänger aufweist und an eine Auswerterichtung angeschlossen ist, die aus Winkel und Laufzeit reflektierter Impulse relative Raumkoordinaten an den Objekten ermittelt, ist dadurch gekennzeichnet, daß eine elektronische Kamera vorgesehen ist, die das Blickfeld überwacht und der Auswerteinrichtung Videospiele zur kombinierten Auswertung der vom Scanner und der Kamera gewonnenen Daten zuführt.

Description

Die Erfindung betrifft eine Vorrichtung der im Oberbegriff des Anspruches 1 genannten Art.

Die optische Erfassung von Objekten von einem Fahrzeug aus ist zur Zeit Gegen­ stand vielfältiger Entwicklungen. Es geht dabei darum, Objekte wie beispielswei­ se andere Fahrzeuge, Bäume, Fußgänger und dergleichen zu erkennen, um daraus Steuerreaktionen des Fahrzeuges ableiten zu können. Das Endziel dieser Ent­ wicklungen ist ein vollautomatisch fahrendes Fahrzeug.

Es wird versucht, mit Videobildern und Bilderkennung solche Auswertungen vorzunehmen. Der Vorteil dabei ist eine hohe Bildauflösung. Nachteilig ist die fehlende Abstandsinformation, die aus einem zweidimensionalen Bild nur sehr schwierig ableitbar ist.

Aus der nicht gattungsgemäßen DE 195 30 281 A1 ist eine optische Impulslauf­ zeitmessung in scannendem Betrieb bekannt. Mit einer solchen Einrichtung läßt sich ein Bild mit Abstandsinformationen ermitteln, jedoch mit sehr geringer Bild­ auflösung.

Aus der gattungsgemäßen DE 42 22 642 A1 ist eine stationäre Vorrichtung be­ kannt, die durch eine gemeinsame Optik gleichzeitig mit einer Videokamera ein hoch auflösendes Bild ermittelt und mit einer Impulslaufzeitmesseinrichtung Ab­ stände in scannendem Betrieb ermittelt, die sich den Bilddaten in einer Auswer­ teinrichtung zuordnen lassen.

In der letztgenannten Druckschrift wird das Problem einer solchen Konstruktion erläutert. Die Scannereinrichtung erlaubt nur eine sehr geringe Bildauflösung, die nicht mit der des Videobildes vergleichbar ist. Daher wird bei der Konstruktion der letztgenannten Druckschrift mit der Scannereinrichtung stets nur ein geringer Bildausschnitt des Videobildes abgetastet, der zuvor aus dem Videobild durch heraussuchen interessanter, auf ihren Abstand hin zu untersuchender Objekte er­ mittelt wurde. Diese bekannte Konstruktion ist konstruktiv äußerst aufwendig und erfordert eine ebenfalls äußerst aufwendige Auswerteinrichtung zur Bild­ analyse und zur Koordinierung der Videodaten mit den Abstandsdaten.

Die Aufgabe der vorliegenden Erfindung besteht darin, eine gattungsgemäße Vor­ richtung vorzusehen, die hochauflösende Bilddaten sowie Abstandsdaten auf konstruktiv und rechnerisch einfache Weise zugeordnet ermittelt.

Diese Aufgabe wird erfindungsgemäß mit den Merkmalen des Anspruches 1 ge­ löst.

Erfindungsgemäß wird zur Ermittlung der Videodaten eine Zeilenkamera ver­ wendet, die schwenkend das Blickfeld zeilenweise abtastet. Die Scannereinrich­ tung ist mit der Kamera schwenkbar und wertet Auftreffpunkte in Blickrichtung der Kamera aus. Zunächst ist diese Lösung konstruktiv außerordentlich einfach. Eine Schwenksteuerung kann sowohl die Kamera als auch die Scannereinrichtung steuern. Beide blicken stets in dieselbe Richtung. In einer bestimmten Winkel­ stellung der Kamera und der Scannereinrichtung werden daher alle Bilddaten und Abstandswerte simultan und ortszugeordnet ermittelt und können auf sehr einfa­ che Weise zum Beispiel gleichzeitig parallel erfaßt werden. Daher gestaltet sich die Zuordnung von Abstandswerten zu Bildinformationen sehr einfach mit ent­ sprechend verringertem Rechenaufwand. Die Zahl, der in der Blickebene der Kamera ermittelten Auftreffpunkte, kann relativ groß gewählt werden, ohne an die sehr viel höhere mögliche Auflösung der Kamera heranreichen zu können, wird in der Regel aber schon aus Kostengründen relativ gering sein. Es wird mit der erfindungsgemäßen Konstruktion also nicht eine 1 : 1 Zuordnung von Ab­ standswerten zu Bildpixeln der Videokamera angestrebt. Dies ist aber für die vorliegenden Zwecke ohne Nachteil, da bei sauberer Bildauswertung eines Ob­ jektes und Zuordnung eines oder mehrerer Abstandswerte zu diesem Objekt der gewünschte Zweck bereits erreicht ist. Die Scannereinrichtung kann mit elektro­ magnetischen Impulsen aller Art arbeiten, vorzugsweise mit Lichtimpulsen eines Lasers. Es lassen sich aber auch Impulse anderer elektromagnetischer Wellen, z. B. Radarimpulse, verwenden, sofern der Strahl zu geeigneter Auflösung kolli­ mierbar, also als enggebündelter Strahl aussendbar ist.

Vorteilhaft sind die Merkmale des Anspruches 2 vorgesehen. Auf diese Weise lassen sich Kamera und Scanner konstruktiv sehr einfach in präziser Ausrichtung verschwenken.

Vorteilhaft sind die Merkmale des Anspruches 3 vorgesehen. Mit einer um eine lotrechte Achse gedrehten Zeilenkamera läßt sich ein größerer Blickfeldsektor überschwenken, der beispielsweise bei Anordnung der Kamera am Bug des Fahr­ zeuges über etwa 270° gehen kann. Mehrere in verschiedene Richtungen blicken­ de Kameras können kombiniert werden. Es ist jedoch auch eine 360°- Panoramaerfassung möglich, wozu die Kamera am besten auf dem Dach des Fahrzeuges montiert wird.

Es lassen sich also gegenüber feststehenden Objekten, wie z. B. Bäumen oder Fahrbahnmarkierungen, die korrekte Fahrtrichtung ermitteln. Von hinten über­ holende, seitlich vorbeifahrende oder z. B. vor dem Fahrzeug bremsende Fahr­ zeuge, können auf erforderliche Ausweichmanöver oder Bremsmanöver hin überwacht werden. Es lassen sich Notmaßnahmen, wie beispielsweise Verkehrs­ staumeldungen über Funk, das vorbeugende Betätigen passiver Sicherheitsein­ richtungen im Fahrzeug oder auch Bildabspeicherungen zur Beweissicherung bei Unfällen auslösen.

In der Zeichnung ist die Erfindung beispielsweise und schematisch dargestellt. Es zeigen:

Fig. 1 in Ansicht quer zur Fahrtrichtung ein Fahrzeug mit erfindungsge­ mäßer Vorrichtung und zwei vorausfahrenden Objekten,

Fig. 2 eine schematische Darstellung des auszuwertenden Bildes der Vor­ richtung,

Fig. 3 in Draufsicht eine vereinfachte Vorrichtung mit Zeilenkamera,

Fig. 4 einen Schnitt nach Linie 4-4 in Fig. 3 und

Fig. 5 einen Schnitt nach Linie 5-5 in Fig. 3 und Fig. 4.

Fig. 1 zeigt in Seitenansicht eine Fahrbahn 1, auf der ein Fahrzeug 2 in Richtung des Pfeiles fährt. In Fahrtrichtung vor dem Fahrzeug fahren zwei Objekte in Form eines PKW 3 und eines LKW 4.

Das Fahrzeug 2 ist mit einer Vorrichtung zur optischen Erfassung von Objekten ausgerüstet. Wie die stark schematisierte Fig. 1 zeigt, weist diese Vorrichtung eine Videokamera 5 auf, die mit einer Leitung 6 an eine Auswerteinrichtung 7 angeschlossen ist. Ferner ist ein Scanner 8 vorgesehen, der einen kollimierten Laserstrahl in zwei waagerechten Schwenkebenen 9, 9' innerhalb des in Fig. 1 mit den oberen und unteren Grenzen angedeuteten Blickfeldes 11 der Videoka­ mera 5 horizontal verschwenken kann.

Der Lichtstrahl wird in zeitlich gesteuerten Impulsen ausgesandt. Im Scanner 8 ist ein in Strahlrichtung blickender Lichtempfänger vorgesehen, der die reflektierten Lichtimpulse auffängt. Der Scanner bestimmt daraus die Zeitdifferenz, die dem Abstand zum jeweiligen Reflexionspunkt entspricht. Diese Abstandsinformation zusammen mit Informationen über den jeweiligen Raumwinkel, unter dem der Strahl gerichtet ist, wird vom Scanner 8 über eine Leitung 10 zur Auswertein­ richtung 7 gegeben.

Einzelheiten zur Konstruktion des Scanners 8 lassen sich der DE 195 30 281 A1 entnehmen, die derartige Konstruktionen beschreibt.

Die Auswerteinrichtung 7 kann aus dem auf der Leitung 6 von der Videokamera 5 zugeführten Videosignal ein Bild aufbauen, wie es in Fig. 2 innerhalb eines die Grenzen des Blickfeldes 11 der Videokamera 5 darstellenden Rahmens gezeigt ist. Man sieht den Umriß 3' des PKWs 3 sowie den Umriß 4' des LKWs 4 vom Fahrzeug 2 aus gesehen. Wie Fig. 2 zeigt, fahren die Objekte 3 und 4 etwas ver­ setzt, in Fahrtrichtung gesehen sich jedoch in den Umrissen 3' und 4' teilweise überlappend.

Mit herkömmlicher Bildauswertungstechnik kann die Auswerteinrichtung 7 die Umrisse 3' und 4' der Objekte 3 und 4 ermitteln, wobei die Differenzierung in zwei Objekte jedoch schwierig ist und eine sehr detaillierte Bildauswertung er­ fordert. In dem in Fig. 2 dargestellten flächigen Bild lassen sich außerdem Ent­ fernungen, die zur Beurteilung der Verkehrssituation von besonderem Interesse sind, mit herkömmlicher Bildauswertung nicht ermitteln. Es müßten komplexe Verfahren angewendet werden, um z. B. aus der Größe der Umrisse 3' und 4' in Vergleich mit in Tabellen abgespeicherten Umrißgrößen bekannter Fahrzeugty­ pen den Abstand zu ermitteln.

Bei der in Fig. 1 dargestellten Vorrichtung zur optischen Erfassung wertet die Auswerteinrichtung 7 jedoch außerdem die über die Leitung 10 zugeführten Da­ ten des Scanners 8 aus. Dieser liefert in den Schwenkebenen 9 und 9' nicht nur Bildinformationen, sondern vor allem auch Abstandsinformationen. In Fig. 2 sind in den Schwenkebenen 9 und 9' jeweils vier Abstandswerte (in m) angege­ ben. Die Auswerteinrichtung kann daraus feststellen, daß innerhalb des Umrisses 4' der Abstand 40 beträgt, innerhalb des Umrisses 3' 20 und außerhalb der Umris­ se ∞. Daraus ergibt sich eine eindeutige und schnelle Differenzierung der beiden Flächen innerhalb der Umrisse 3' und 4', die nun klar und eindeutig als getrennte Objekte identifizierbar sind. Außerdem ergibt sich dadurch mit sehr geringer Re­ chenleistung und mit hoher Geschwindigkeit eine eindeutige Aussage über die Abstände der beiden Objekte 3 und 4.

Bei laufender Überwachung der beiden Objekte 3 und 4 kann deren Entfernung laufend verfolgt werden. Bremst beispielsweise das Objekt 3 plötzlich ab, so kann die Auswerteinrichtung 7 an geeignete, nicht dargestellte elektronische Steuereinrichtungen des Fahrzeuges Befehle zum Abbremsen oder zur Einleitung eines Ausweichmanövers geben. Sinkt der Abstand schnell und bedrohlich ab, so können Notmaßnahmen eingeleitet werden, wie beispielsweise die Aktivierung passiver Sicherheitssysteme des Fahrzeuges 2. Es können beispielsweise das Aufblasen von Airbags oder das Betätigen von Gurtstrammern eingeleitet wer­ den, und zwar schon bevor der Aufprall stattfindet.

Aus den ermittelten Abständen können mit geringer Rechenleistung und hoher Geschwindigkeit die relativen Geschwindigkeiten zum Fahrzeug 2 ermittelt wer­ den. Auf diese Weise können bewegte Objekte, wie die vorausfahrenden Objekte 3 und 4 von stehenden Objekten, wie z. B. Bäumen und Fußgängern, sehr schnell unterschieden werden.

Die in Fig. 1 dargestellte Vorrichtung hat einige Nachteile. Das Videosignal der Videokamera 5 erfordert in der Auswerteinrichtung 7 aufwendige Bearbeitungs­ verfahren zur Ermittlung des in Fig. 2 dargestellten Bildes. Ebenso aufwendig ist die Zuordnung der Winkelkoordinaten des vom Scanner 8 ausgesandten Licht­ strahles zu den Bildkoordinaten des Videobildes. Außerdem arbeitet der Scanner 8 mit nur einem Lichtstrahl, der durch die beiden Bildebenen 9 und 9' nacheinan­ der geschwenkt wird. Es ergibt sich insgesamt eine langsame Scanrate. Auch werden nur wenige Stellen, nämlich die beiden Schwenkebenen 9 und 9' inner­ halb des Blickfeldes 11 abgetastet, also nur für wenige Punkte im Blickfeld Ab­ standsinformationen ermittelt.

Diese Nachteile werden mit der Ausführungsform der Fig. 3 und 4 beseitigt.

Bei dieser ist anstelle der Videokamera 5 eine Zeilenkamera 15 vorgesehen mit einem Gehäuse, einem Objektiv 16 und einer Empfangszeile 17 lichtempfindli­ cher Zellen. Die Zeilenkamera 15 blickt in einer Blickebene 18 parallel zur Emp­ fangszeile 17, deren Öffnungswinkel in Fig. 4 zu ersehen ist.

Die Zeilenkamera 15 ist in Pfeilrichtung schwenkbar auf einer Achse 19 gelagert, die parallel zur Blickebene 18 liegt und die in beliebigem Winkel anordenbar ist, vorzugsweise jedoch in lotrechter Stellung, z. B. auf dem Dach des Fahrzeuges 2.

Bei lotrechter Anordnung der Achse 19 kann die Zeilenkamera in beliebigem Winkel seitlich hin- und hergeschwenkt werden, beispielsweise innerhalb des in Fig. 2 dargestellten Blickfeldes 11 innerhalb des Rahmens. Die Zeilenkamera 15 kann jedoch auch um 360° zur Ermittlung eines Panoramabildes rund um das Fahrzeug 2 umlaufend geschwenkt werden, wodurch sich auch ein ruhigerer Lauf ergibt.

Die Verwendung einer Zeilenkamera ergibt erhebliche Vorteile für die Auswert­ einrichtung 7, an die die Zeilenkamera 15 angeschlossen ist. Die Auswertein­ richtung kann z. B. durch paralleles Auslesen von z. B. 1024 Zellen der Emp­ fangszeile 17 sehr einfach und schnell ein hochauflösendes Bild für eine Zeile ermitteln. In sehr kleinen Winkelabständen kann diese zeilenweise Abtastung wiederholt werden, so daß sich mit einfachen rechnerischen Mitteln ein hochauflösendes Bild ergibt, das bei mit einer herkömmlichen Videokamera 5 vergleichbarer Qualität sehr viel einfacher und schneller auswertbar ist.

Die ergänzenden Abstandsdaten können mit dem in Fig. 1 dargestellten Scanner 8 der Auswerteinrichtung 7 zugegeben und, wie bei der Ausführungsform der Fig. 1 und 2 beschrieben, zum Bild der Kamera hinzugefügt werden.

Die Fig. 3 und 5 zeigen jedoch eine andere Scannereinrichtung mit vier Scannern 20.1 bis 20.4, die an der Zeilenkamera 15 zu gemeinsamer Schwenkbewegung befestigt sind. Die Scanner 20.1 bis 20.4 zielen mit ihren Strahlen, wie in Fig. 4 mit gestrichelten Linien dargestellt, parallel und in geringem Abstand zur Blick­ ebene 18 der Kamera unter unterschiedlichen Winkeln in deren Blickfeld, so daß, vergleicht man mit der Darstellung der Fig. 2, anstelle der dort dargestellten zwei Schwenkebenen 9, 9' vier übereinander liegende Schwenkebenen entstehen.

Bei der Verwendung von mehreren Scannern anstelle eines Scanners, wie in Fig. 1 dargestellt, lassen sich die Scannerdaten parallel auswerten, beispielsweise in­ nerhalb der Auswerteinrichtung 7. Dadurch läßt sich gegenüber der Verwendung eines Scanners eine vierfach höhere Winkelauflösung für die Abstandsdaten er­ halten. Durch Vergrößern der Zahl der Scanner kann die Auflösung der Ab­ standsdaten im Bild weiter erhöht werden. Eigene Schwenkvorrichtungen für die Scanner entfallen, so daß sich eine mechanisch sehr einfache Gesamtkonstruktion ergibt.

Da die Scanner 20.1 bis 20.4 in der Blickebene 18 der Zeilenkamera 15 strahlen, kann die Auswerteinrichtung 7 alle empfangenen Daten, also die Daten der Zei­ lenkamera 15 und die der Scanner, gleichzeitig in einer Zeile vollständig aus­ weiten, wodurch die Bearbeitung vereinfacht und die Auswertgeschwindigkeit erhöht wird.

Fig. 5 zeigt gemäß Schnitt nach Linie 5-5 in den Fig. 3 und 4 eine im Blickfeld der Anordnung der Fig. 3 und 4 stehende Fläche 22, die in Fig. 5 in Frontansicht, von der Zeilenkamera 15 aus gesehen, dargestellt ist.

Fig. 5 zeigt den Abtastvorgang, bei dem zunächst eine erste Zeile 23.1 in mehre­ ren in der Zeile übereinander dargestellten Feldern von der Zeilenkamera 15 in einer ersten Winkelstellung erfaßt wird. Die in Fig. 5 dargestellten Felder der Zeile entsprechen den lichtempfindlichen Feldern der Empfangszeile 17 der Zei­ lenkamera 15.

Die Zeile 23.1 abdeckend, sind vier Auftreffpunkte 24.1-24.4 dargestellt, an denen die Strahlen der Scanner 20.1-20.4 auf die Fläche 22 fallen.

Wird die Zeilenkamera 15 im Sinne der in Fig. 3 dargestellten Schwenkrichtung um einen Winkelschritt weiterbewegt, so erfolgt die nächste Abtastung in der Position 23.2, sodann in der Position 23.3 usw.

Im dargestellten Beispiel der Fig. 5 sind relativ große Winkelschritte zwischen den einzelnen Abtastvorgängen dargestellt. Diese Winkelschritte können wesent­ lich verkleinert werden, so daß in Schwenkrichtung der Zeilenkamera 15 eine sehr hohe Auflösung möglich ist. Die Auflösung in Richtung senkrecht zur Schwenkrichtung ist durch die Zellenanzahl der Empfangszeile 17 der Kamera bestimmt. In handelsüblicher Ausführung kann eine solche Zeile beispielsweise 1024 Zellen aufweisen.

Die in den Fig. 1-4 dargestellten Scanner 8, 20 sind als Lichtstrahlscanner mit einem Laserstrahl beschrieben. Es können jedoch auch Scanner verwendet wer­ den, die mit anderer elektromagnetischer Strahlung arbeiten, z. B. sind Radarge­ räte geeigneter Auflösung verwendbar.

Claims (3)

1. Vorrichtung zur optischen Erfassung und Abstandsermittlung von Objek­ ten (3, 4) von einem Fahrzeug (2) aus, mit einer ein Blickfeld betrachten­ den elektronischen Kamera (15), sowie mit einer Scannereinrichtung (20), die wenigstens einen gebündelten Strahl von Impulsen elektromagneti­ scher Strahlung in das Blickfeld (11) lenkt und in Strahlrichtung auf Strahlauftreffpunkte (24) blickende Strahlungsempfänger aufweist, und mit einer Auswerteinrichtung (7), die aus Winkel- und Laufzeit von Auf­ treffpunkten reflektierter Impulse der Scannereinrichtung in Zuordnung zu den Bilddaten der Kamera Objekte und deren Abstände ermittelt, dadurch gekennzeichnet, daß die Kamera als um eine Achse (19) schwenkbare Zeilenkamera (15) mit Blickebene (18) parallel zur Achse ausgebildet ist, wobei die Scannereinrichtung (20) parallel zur Blickebene der Kamera mitschwenkend ausgebildet ist zur Erfassung von in der Blickebene lie­ genden Auftreffpunkten (20).

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Scan­ nereinrichtung (20.1-20.4) an der Zeilenkamera (15) starr befestigt und mit dieser gemeinsam schwenkbar angeordnet ist.

3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Achse (19) lotrecht steht.