DE4420422A1 - Technisches Komplexauge für dynamisches maschinelles Sehen - Google Patents

Description

Die Erfindung betrifft ein technisches Komplexauge für dynamisches maschinelles Sehen, insbesondere für Fahrzeuge, wie es im Oberbegriff des Patentanspruchs 1 näher beschrieben ist.

Im Stand der Technik sind autonom mobile Systeme bekannt, bei denen die Fahrtrichtung und Geschwindigkeit mit Hilfe einer Auswertung von Bildern gesteuert wird, die mit Videokameras aufgenommen werden. Dabei werden Plattformen mit Kameras verwendet, bei denen eine Weitwinkelkamera und eine Telekamera näherungsweise koaxial auf den Zielpunkt hin orientiert sind. Mit der Weitwinkelkamera soll ein großes Gesichtsfeld im Nahbereich erfaßt werden, mit der Telekamera eine hohe Auflösung bei entfernteren Zielen.

Bei dem bekannten System ist nachteilig, daß der Blickwinkel der Weitwinkelkamera nicht groß genug ist, um beispielsweise den überholenden Verkehr zu beobachten. Es ist mit dem System auch nicht möglich, gleichzeitig zur Seite und nach vorne zu schauen. Weiterhin erlaubt die Kombination aus einer Telekamera und einer nahebei angebrachten Weitwinkelkamera keine Stereo-Auswertung. Ein echtes räumliches Sehen (stationär) ist bei den bekannten Systemen daher nicht möglich. Eine dem räumlichen Sehen angenäherte Bildauswertung kann nur so erfolgen, daß aus der Veränderung der Position des Fahrzeuges gegenüber den von der Kamera erfaßten, außerhalb des Fahrzeuges befindlichen Gegenständen eine Aussage über die gegenseitige räumliche Orientierung gemacht wird. Mit dem herkömmlichen bifokalen System ist es nicht möglich, im Nahbereich, wenige Meter vor dem Fahrzeug, eine Stereo-Auswertung zu erzielen. Dies ist aber beispielsweise dann notwendig, wenn Fahrzeuge eng hintereinander in Kolonnen fahren. Das herkömmliche System versagt erst recht, wenn im Stau die Fahrzeuge dicht hintereinander stehen und die Telekamera nur einen kleinen Teil des Vorderfahrzeugs erfaßt.

Dementsprechend ist es Aufgabe der Erfindung, ein technisches Komplexauge von Fahrzeugen, insbesondere von autonom mobilen Systemen, so auszugestalten, daß ein großes Blickfeld erreicht und im zentralen Nahbereich eine echte Stereo-Auswertung ermöglicht wird, wobei weiterhin der Bereich, der für eine Stereo-Auswertung zugänglich ist, auch von einer Telekamera erfaßt werden soll: dadurch wird die Stereointerpretation erleichtert (trinokulares Stereo, Vereinfachung des Korrespondenzproblems).

Diese Aufgabe wird mit einem System von abbildenden Sensoren gelöst, das erfindungsgemäß die im Patentanspruch 1 aufgeführten Merkmale aufweist.

Die erfindungsgemäße Anordnung der Weitwinkelkameras weicht gegenüber herkömmlichen Stereo-Bildauswertungssystemen dadurch ab, daß die Kameras nicht konvergent orientiert sind, d. h. ihre optischen Achsen sind nicht auf den gleichen Zielpunkt hin orientiert, sondern sie divergieren, laufen also auseinander. Damit wird ein großer Blickbereich erreicht, so daß gleichzeitig nach vorne und zur Seite geschaut werden kann. Wenn in einem Fahrzeug vorne und hinten je eine Plattform mit dieser Ausgestaltung vorhanden ist, so kann durch zusätzliches Drehen der beiden Plattformen um relativ kleine Winkel der gesamte Bereich von 360° beobachtet werden. Der Schwenkbereich jeder Plattform des Kameraträgers um die vertikale Achse wird so ausgelegt, daß je eine Hemisphäre erfaßt werden kann. Erfindungsgemäß ist das Teleobjektiv so angeordnet und ausgebildet, daß es mit seinem Sichtbereich denjenigen Bereich abdeckt, in dem sich die Sichtbereiche der beiden Weitwinkelobjektive überlappen; damit wird direkt eine Auswertung auf multiplen Skalen ermöglicht (unterschiedliche Ortsauflösung des gleichen Szenenausschnitts). Es erlaubt eine besonders schnelle und genaue Erfassung von sich bewegenden Objekten. Wird beispielsweise in dem Weitwinkelbereich ein sich bewegendes Objekt entdeckt, dann wird die Plattform so gedreht, daß dieses Objekt in dem hochauflösenden Telebereich der Telekamera liegt, so daß es genauer analysiert werden kann (sakkadisches Sehen).

Vorzugsweise sind die Weitwinkelkameras zwischen etwa 5 und 12 cm auseinandergesetzt, so daß man gegenüber dem herkömmlichen Systemen eine vergrößerte Stereobasis erhält. Eine Stereobasis von 6,5 cm entspricht dem menschlichen Augenabstand.

Besonders bevorzugte Bemessungen für die Öffnungswinkel der Weitwinkelkameras, der Telekamera und für den Winkel zwischen den optischen Achsen der Weitwinkelkameras sind in den Unteransprüchen angegeben. Die Telekamera kann für bestimmte Anwendungen vorteilhafterweise ein Zoom-Objektiv erhalten.

Nach einer weiteren Ausgestaltung sind zwei Telekameras vorgesehen, die unterschiedliche Öffnungswinkel (und damit unterschiedliche Brennweite) besitzen, um auch hier das sakkadische Sehen auf multiplen Skalen ausnützen zu können (trifokales Sehen). Die Brennweitenverhältnisse sind vorzugsweise 1 : 4. Diese Ausgestaltung hat gegenüber dem Zoom-Objektiv den Vorteil, daß gleichzeitig Bilder unterschiedlicher Auflösung vom gleichen Objekt vorhanden sind, was zu einer vorteilhaften Gestaltung der Auswertealgorithmen genutzt werden kann.

Die Video-Kameras sind vorzugsweise als CCD-Kameras ausgeführt. In diesem Fall ist es möglich, die CCD-Sensoren und die zugehörigen Objektive der Kameras in einem Gehäuse unterzubringen, so daß man eine besonders kompakte Konstruktion erzielt (Fig. 1).

Zur Drehung der Plattform des Kameraträgers werden Stellmotoren, sogenannte Torquemotoren, eingesetzt, die hohe Drehbeschleunigungen und hohe Drehgeschwindigkeiten erlauben und damit ermöglichen, daß der Kameraträger sich schnell auf ein neues Objekt einstellen kann. Da bei hohen Drehgeschwindigkeiten die Kameras einen Bildpunkt nicht als Punkt, sondern als Strich erfassen, kann bei solchen hohen Drehgeschwindigkeiten eine vernünftige Bildauswertung nicht mehr erfolgen. Aus diesem Grunde werden nach einer weiteren Ausgestaltung der Erfindung die Plattformen der Kameraträger mit Drehgeschwindigkeits-Sensoren ausgestattet, deren Ausgangssignal einem Schwellwertdetektor zugeführt wird. Dieser Schwellwertdetektor gibt ein Statusbit ab, das dem Auswertungsrechner für die Bildsignale mitteilt, ob die aktuell abgegebenen Bildsignale für eine Bildauswertung brauchbar sind oder nicht.

Die für die Umdrehung der Plattform vorgesehenen Motoren sind vorzugsweise so dimensioniert, daß eine sogenannte "Sakkaden-Steuerung", d. h. eine der Augenbewegung entsprechende schnelle Blickrichtungsänderung für den Kameraträger möglich ist. Damit wird eine permanente Überwachung des gesamten Sichtbereiches bei reduziertem Datenstrom möglich, während bei den bisherigen Systemen hierzu eine Vielzahl von fächerartig angeordneten Kameras notwendig war. Diese Vielzahl von Kameras hat zur Folge, daß eine wesentlich größere Bilddatenmenge verarbeitet werden mußte, und insbesondere war es notwendig, beim Erkennen von sich bewegenden Objekten im Übergangsbereich zwischen zwei Kameras zeitvariabel zwei Videosignale auszuwerten, weil das Objekt von dem Blickbereich einer Kamera in den der nächsten Kamera wandert. In der vorliegenden Anordnung wird das Objekt im grobauflösenden Bild entdeckt, dann im hochauflösenden Bild nach Blickzuwendung (im Bruchteil einer Sekunde) genau analysiert, wobei keine Umschaltung zwischen Videosignalen erfolgen muß; bei gleicher Erkennungsleistung wird der Datenstrom von den abbildenden Sensoren um Größenordnungen reduziert. Das Objekt von Interesse wird immer im Zentrum eines Bildes gehalten (Blickfixierung).

Die Brennweiten der Objektive und die Pixeldichte der verwendeten CCD-Bildsensoren sind so ausgewählt, daß im Nahbereich (< etwa 5 m) eine Auflösung von etwa 5 mm/Pixel und im Fernbereich (ca. 200 m) mit der Telekamera eine Auflösung von etwa 5 cm/Pixel erreicht wird; letzteres gestattet in dieser Entfernung die einigermaßen sichere Erkennung von 12 cm breiten, normgerechten Spurbegrenzungslinien.

Wie die Praxis gezeigt hat, soll bei der Bildauswertung für sehende Straßenfahrzeuge mit bifokalen Kamerapaaren das Brennweitenverhältnis nicht größer als etwa 4 sein, damit man von der Auswertung eines Bildes auf die des anderen leicht umsteigen kann. Daraus folgt eine trifokale Brennweitenstaffelung, so daß bei 1/2-Zoll Kameras die Brennweiten beispielsweise zu 4, 16 und 50 (bzw. 64) mm gewählt werden.

Im folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispielen beschrieben und näher erläutert. Es zeigen:

Fig. 1a schematisch eine erste kompakte Ausführungsform der Erfindung von oben,

Fig. 1b die Ausführungsform von Fig. 1a von vorn, wobei eine zweite Telekamera vorgesehen ist,

Fig. 2a und 2b die Überlappung der Sichtbereiche der einzelnen Kameras.

Fig. 3 eine weitere Ausgestaltung mit zwei Weitwinkelobjektiven bei großer Stereobasis und zwei lichtstarken Telekameras,

Fig. 4 eine Ausgestaltung mit 4 käuflichen Miniatur-Einzelkameras.

Die Fig. 1(a) zeigt eine Draufsicht auf die Plattform (2) des Kameraträgers. Auf der Plattform sind am Kameragehäuse 1 mit den abbildenden Sensoren 11, 12, 13 zwei Weitwinkelkameras 3 und 4 montiert, deren optische Achsen 5, 6 einen Winkel von β_w (z. B. 52,8°) einschließen, wobei sie symmetrisch zur Blickrichtung 7 der Plattform angeordnet sind. Die Stereobasis S, die durch den Abstand der Scheitelpunkte der Öffnungswinkel bestimmt ist, beträgt zwischen 5 und 12 cm, in dem dargestellten Beispiel vorzugsweise etwa 6 cm. Zwischen den beiden Weitwinkelkameras ist eine Telekamera 8 angeordnet, deren optische Achse in einer Ebene mit den Achsen der Weitwinkelkameras liegt. Der Öffnungswinkel σ_m der Telekamera ist so gewählt, daß die Telekamera genau denjenigen Bildbereich der Weitwinkelkameras erfaßt, in dem sich deren Sichtbereiche überlappen. Ist σ_m der Öffnungswinkel der Weitwinkelkameras und σ_m der Öffnungswinkel der Telekamera, so ist der Gesichtsfeldwinkel γ = 2σ_w - σ_m. Die entsprechenden Verhältnisse sind in der Fig. 2 dargestellt. In Fig. 2a beträgt der Öffnungswinkel der Weitwinkelkameras σ_w 65°, der der Telekamera 15° und das Gesichtsfeld damit 115°. Es ist erkennbar, daß für größere Entfernungen der Überlappungsbereich der Weitwinkelkameras und damit der Stereobereich bis auf einen Randstreifen von etwa 3 cm mitten in dem Telebereich der Telekamera liegt (Fig. 2a). Die Plattform (2) ist um eine horizontale und einer vertikale Achse schwenkbar.

Die Telekamera 8 kann vorteilhaft mit einem Zoom-Objektiv ausgestattet sein. Fig. 1b zeigt eine optionale Gestaltung, bei der auf die erste Telekamera eine zweite Telekamera 9 für trifokales Sehen montiert ist.

Fig. 2a und 2b zeigen die Überlappung der Sichtbereiche der einzelnen Kameras. Ab einer Entfernung von 2 m (Einsatzbereich) sind der Stereobereich und der angegebene σ_m-Bereich für praktische Zwecke identisch (bis auf ca. 3 cm Randstreifen).

Bei trifokaler Auslegung (Fig. 2b) kann der Stereobereich σ_Stereo zusammen mit dem Gesichtsfeld γ vergrößert werden; so kann bereits in 5 m Entfernung ein Objekt der Breite 2 m (z. B. LKW) voll im Stereobereich erfaßt werden. Gleichzeitig erlaubt das zweite starke Teleobjektiv die doppelte Sichtweite bei gleicher Auflösung, was für höhere Fahrgeschwindigkeit zur Hinderniserkennung und zum Lesen von Schildern wesentliche Vorteile bringt. In Fig. 2b ist der Öffnungswinkel der Weitwinkelkameras σ_w = 77°, der Öffnungswinkel der Telekamera 8, σ_m = 23° und der der Telekamera 9, σ_τ = 7°.

Die Fig. 3 zeigt ein zweites Ausführungsbeispiel, bei dem zwischen den beiden Weitwinkelkameras zwei Telekameras angeordnet sind, wobei die optischen Achsen der Kameras vorzugsweise in einer Ebene liegen. Die CCD-Bildsensoren 11, 12, 13, 14 sind alle in dem gleichen integralen Gehäuse 15 enthalten, so daß sich eine sehr kompakte Einheit ergibt. Die Stereobasis S ist hier bewußt groß gewählt, um die kleinere Brennweite zu kompensieren. In dem dargestellten Beispiel beträgt der Winkel zwischen den optischen Achsen der Weitwinkelkameras 53°, der Öffnungswinkel der Weitwinkelkameras 3 und 4 beträgt 77°. Die Telekamera 8 dient dazu, den Stereobereich der Weitwinkelkameras mit höherer Auflösung zu erfassen; dementsprechend beträgt der Öffnungswinkel 24°. Die zweite Telekamera 9 dient zum Erfassen sehr entfernter Objekte, ihr Öffnungswinkel beträgt 5 bis 7°. Die Brennweitenstaffelung der Kameras beträgt dementsprechend 4 : 16 : 64. Der Drehwinkel der Plattform um die Vertikalachse ist in Fig. 3 mit w_z bezeichnet.

In der Tabelle 1 sind die Beziehungen zwischen Brennweite f, dem Öffnungswinkela und dem Winkel je Bildpunkt auf dem Sensor wiedergegeben, wobei die Pixeldichte des Sensors 320 pro Zeile beträgt:

Die Plattform kann seitlich um eine Vertikalachse um bis zu 60° in beide Richtungen gedreht werden und besitzt einen Nickbereich für Drehungen um eine Horizontalachse von etwa 5 bis 10° aufwärts wie abwärts.

Die Fig. 4 zeigt einen entsprechenden Aufbau aus einzelnen Miniatur-CCD-Kameras in der Draufsicht. Dem Vorteil in der Modularität steht der Nachteil größerer Bauhöhe und der Handhabung von 4 Videokabeln gegenüber. Die Bezugszeichen entsprechen denen in den vorigen Bildern. Die Brennweiten der Telekameras betragen 16 bzw. 50 mm.

Claims (11)

1. Technisches Komplexauge für dynamisches maschinelles Sehen, insbesondere für Fahrzeuge, mit einer um zwei Achsen drehbare und steuerbare Plattform, auf der drei oder mehrere abbildende Sensoren angeordnet sind dadurch gekennzeichnet, daß auf der Plattform (2) zwei Weitwinkel-Kameras (3, 4) derart angeordnet sind, daß ihre optischen Achsen (5, 6) in Richtung der Sichtachse (7) des Komplexauges (1) divergieren und sich ihre Sichtbereiche vor der Plattform (2) überlappen, und daß eine Telekamera (8) auf den Bereich ausgerichtet ist, in dem sich die Sichtbereiche der Weitwinkel-Kameras (3, 4) überlappen.

2. Technisches Komplexauge nach Anspruch 1, dadurch gekennzeichnet, daß der Öffnungswinkel der Weitwinkel-Kameras (3, 4) jeweils zwischen 50 Grad und 80 Grad beträgt, daß ihre optischen Achsen (5, 6) in einer zur Plattformebene im wesentlichen parallelen Ebene liegen und der von ihren optischen Achsen eingeschlossene Winkel zwischen 40 Grad und 60 Grad beträgt, und daß der Öffnungswinkel der Telekamera (8) zwischen 15 Grad und 25 Grad beträgt.

3. Technisches Komplexauge nach Anspruch 2, dadurch gekennzeichnet, daß die Öffnungswinkel der Weitwinkel-Kameras (3, 4) etwa 65 Grad und der Öffnungswinkel der Telekamera (8) etwa 15 Grad betragen, und daß der Winkel zwischen den optischen Achsen (5, 6) der Weitwinkel-Kameras und der Plattform-Sichtachse (7) jeweils etwa 25 Grad beträgt.

4. Technisches Komplexauge nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß eine zweite Telekamera (9) vorgesehen ist, deren optische Achse parallel zu der der anderen Telekamera ausgerichtet und deren Öffnungswinkel kleiner als der der anderen Kamera ist.

5. Technisches Komplexauge nach Anspruch 4, dadurch gekennzeichnet, daß die Öffnungswinkel der Weitwinkel-Kameras (3, 4) jeweils etwa 77 Grad, der Öffnungswinkel der ersten Tele-Kamera (8) 24 Grad und der Öffnungswinkel der zweiten Telekamera (9) 5 bis 7 Grad betragen.

6. Technisches Komplexauge nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die von den Weitwinkelkameras gebildete Stereobasis (10) zwischen 5 cm und 12 cm beträgt.

7. Technisches Komplexauge nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Kameras in einem Gehäuse integriert aufgebaut sind.

8. Technisches Komplexauge nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Plattform einen oder mehrere Drehgeschwindigkeitssensoren aufweist.

9. Technisches Komplexauge für Fahrzeuge gekennzeichnet durch einen Kameraträger nach einem der Ansprüche 1 bis 8.

10. Technisches Komplexauge für Fahrzeuge nach Anspruch 9 mit einem Auswertungsrechner, dadurch gekennzeichnet, daß das Ausgangssignal eines jeden Drehgeschwindigkeitssensors einem Schwellwertdetektor zugeführt wird, dessen Ausgangssignal dem Auswertungsrechner als Statusbit für die Bildsignalauswertung zugeführt wird.

11. Technisches Komplexauge für Fahrzeuge nach Anspruch 9 oder 10, gekennzeichnet durch eine Sakkadensteuerung, mit der die Stellmotoren der Plattform (2) so angesteuert werden, daß der Stereo-Sichtbereich bzw. der Telesichtbereich reflexartig in kürzester Zeit auf eine markante Merkmalkombination in einem der Weitwinkelbilder ausgerichtet werden.