DE3533379A1 - Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene - Google Patents

Description

Die Erfindung betrifft ein Verfahren zur stereoskopischen Wieder­ gabe von Bildszenen, bei denen sich Aufnahmesensor und aufge­ nommene Szene relativ zueinander bewegen, wie z.B. bei bewegten Video-Luftbildszenen. Bei solchen Szenen entsprechen zeitlich versetzten Bildern im allgemeinen unterschiedliche Aufnahme­ standorte, die beim Vorhandensein überlappender Szenenbereiche den zugehörigen gemeinsamen Bildinhalt aus unterschiedlichem Blickwinkel erfassen. Für diese Bereiche ist eine stereoskopische Bildwiedergabe möglich. Bei fortlaufenden Szenen, wie z.B. Video­ szenen, kann insbesondere eine stereoskopische Bewegtbilddar­ stellung, entsprechend der Aufnahmesituation, erreicht werden.

Da sich der überlappende Bereich zweier Aufnahmen bei konstanten Orientierungswinkeln des Aufnahmesensors nur über einen Teil des Bildfeldes erstreckt, läßt sich der Bildinhalt nicht im gesamten Bildfeld stereoskopisch wiedergeben. Der stereoskopisch dar­ stellbare Teil des Bildfeldes verringert sich bei zunehmendem zeitlichen Abstand der Aufnahmen für die beiden Halbbilder des Stereobildes, entsprechend einem zunehmenden Abstand der Auf­ nahmestandorte. Ein genügend großer Abstand der Aufnahmestand­ orte (Stereoaufnahmebasis), der z.B. bei Luftbildszenen in der Größenordnung von einigen zehn bis einigen hundert Metern liegen kann, ist jedoch für die erzielbare Höhenauflösung von Bedeu­ tung. Andererseits ist es für die Bildauswertung erwünscht, einen genügend großen Teil des Bildfeldes zusammenhängend ste­ reoskopisch überblicken zu können.

Eine bekannte Methode erzielt für Bildpaare von Luftbild-Reihen­ aufnahmen eine kontinuierliche stereoskopische Betrachtung, in­ dem die dort in fotografischer Form vorliegenden Bilder, die unter Berücksichtigung der translatorischen Verschiebung anein­ ander angepaßt sind, zu einem kontinuierlichen Bildstreifenpaar zusammengesetzt werden (vgl. z.B. Sigfried Schneider, "Luftbild und Luftbildinterpretation", Verlag Walter de Gruyter, Berlin/ New York 1974, Seiten 124 und 125). Diese Methode geht von einer vom momentan betrachteten Bild unabhängigen (statischen) Anpas­ sung aus und setzt damit unter anderem eine gegenüber der Ob­ jektebene weitgehend senkrechte Blickrichtung des Aufnahmesen­ sors voraus.

Aufgabe der Erfindung ist es, ein Verfahren aufzuzeigen, das bei Szenen, die sich relativ zum Aufnahmesensor fortlaufend bewegen, wie z.B. bei Video-Luftbildszenen, eine kontinuierliche stereo­ skopische Bewegtbilddarbietung gestattet und dabei in jedem dar­ gebotenen Bild nahezu das gesamte Bildfeld stereoskopisch dar­ stellt.

Diese Aufgabe wird gemäß der Erfindung durch die im Kennzeichen des Patentanspruches 1 herausgestellten Merkmale gelöst.

Dieses Verfahren arbeitet ohne eine Beschränkung auf translato­ rische Bildverschiebung und auch ohne weitgehend senkrechte Orientierung des Aufnahmesensors.

Die mit der Erfindung erzielbaren Vorteile bestehen weiter da­ rin, daß der Bildinhalt zuverlässiger ausgewertet werden kann und eine ermüdungsärmere Betrachtung mit schnellerer Adaption an den räumlichen Bildeindruck möglich ist.

Die Erfindung wird anhand der Zeichnungen nach Fig. 1 bis Fig. 6 an einem Beispiel schematisch veranschaulicht und im folgenden näher beschrieben.

Fig. 1 zeigt das Prinzip einer Aufnahmesituation mit Blick­ richtung schräg nach vorn.

Fig. 2 zeigt zwei aufeinanderfolgend aufgenommene Szenen­ flächen für die Aufnahmesituation nach Fig. 1 senk­ recht von oben gesehen.

Fig. 3 zeigt das zu den Szenenflächen nach Fig. 2 gehörende linke und rechte Halbbild (L bzw. R) des Stereobildes.

Fig. 4 zeigt vier aufeinanderfolgend aufgenommene Szenen­ flächen für die Aufnahmesituation nach Fig. 1.

Fig. 5a-c zeigen die zu den Szenenflächen nach Fig. 4 gehörenden zusammengesetzten linken und rechten Halbbilder (L bzw. R) des Stereobildes.

Fig. 6 zeigt ein Blockschaltbild einer Vorrichtung zur Durch­ führung des Verfahrens.

Fig. 1 zeigt eine Aufnahmesituation, bei der ein abbildender Sensor (z. B. Videokamera) die Szene in der Objektebene unter Schrägsichtbedingungen erfaßt. Der Neigungswinkel α liegt z.B. bei Aufnahmen aus einem Luft- oder Raumfahrzeug vorzugsweise im Bereich zwischen schräg nach vorn und schräg nach hinten. Grund­ sätzlich können alle Orientierungswinkel (Drehung um die Quer-, Hoch- und/oder Längsachse) variiert werden.

Die erfaßte Szenenfläche ist für zwei aufeinanderfolgende Auf­ nahmestandorte, die im Beispiel zwei aufeinanderfolgenden Auf­ nahmezeitpunkten entsprechen, in Fig. 2 dargestellt (Flächen B und C). In Bewegungsrichtung (y-Richtung) vergrößert sich die Breite (Ausdehnung in x-Richtung) der Fläche, so daß bei der Wiedergabe im rechteckförmigen Bildfeld der Wiedergabeeinrich­ tung (z.B. Fernsehmonitor) der Abbildungsmaßstab proportional kleiner wird. Für den schraffierten, überlappenden Bereich der beiden Flächen, in dem ein für beide Aufnahmestandorte gemein­ samer Bildinhalt vorliegt, ist eine stereoskopische Bildwieder­ gabe möglich.

Fig. 3 zeigt, ausgehend von der Darbietung der Szenenfläche B, die entsprechenden Bereiche im wiedergegebenen linksseitigen und rechtsseitigen Halbbildfeld (L bzw. R). Im Beispiel wird dem Be­ trachter linksseitig das zur Szenenfläche B gehörende Halbbild dargeboten und rechts ein Halbbild, das einen Teil der Szenen­ fläche C und einen Teil der Szenenfläche B repräsentiert. (Der dem Teil aus der Szenenfläche C entsprechende Bereich ist mit * indiziert, um die erforderliche Bewegungsanpassung unter Berück­ sichtigung der Abbildungsgeometrie zu kennzeichnen). Nur die schraffierten Bereiche des Bildfeldes erscheinen in stereoskopi­ scher Darstellung.

Zur betrachtungsrichtigen Zuordnung des links- und rechtsseiti­ gen Bildfeldes ist der abbildende Sensor bzw. die Wiedergabeein­ richtung gegenüber herkömmlicher Anwendung im allgemeinen so orientiert, daß die Szenenbewegung im Bild nicht vertikal, wie z. B. bei Videoluftbildszenen oft üblich, sondern horizontal verläuft, entsprechend der im allgemeinen horizontalen Stereo­ betrachtungsbasis (z.B. Augenbasis). Die Laufrichtung ist im Beispiel der Bilder nach Fig. 3 und Fig. 5a bis Fig. 5c von links nach rechts, d.h. die Szene bewegt sich entgegen der Be­ wegungsrichtung des Sensors relativ zur Objektebene bei der Aufnahme am Betrachter vorbei.

Nach dem erfindungsgemäßen Verfahren kann unter Verwendung wei­ terer Bilder der Aufnahmebildfolge die stereoskopische Darbie­ tung nahezu auf das gesamte Bildfeld ausgedehnt werden. Wird z.B. im Darbietungszeitpunkt der Szenenfläche B nach Fig. 4, zusätzlich der Szenenbereich für den vorausgegangenen Aufnahme­ standort berücksichtigt (Szenenfläche A), so ergeben sich in der Szenenfläche B nunmehr zwei überlappende Gebiete (schraffiert), die diese Fläche bis auf zwei schmale Streifen (unschraffiert) überdecken. Entsprechendes gilt für die Szenenfläche C, die von einem Gebiet aus der Szenenfläche B und einem Gebiet aus der Szenenfläche D überlappt wird. Vorzugsweise sollte für jeweils zwei aufeinanderfolgende Szenenflächen (A,B; B,C; C,D) ein Über­ lappungsgrad von mindestens 50% in Bewegungsrichtung vorhanden sein, um eine lückenlose Aufeinanderfolge der überlappenden Ge­ biete zu erreichen.

Die Zusammensetzung des wiedergegebenen links- und rechtsseiti­ gen Halbbildes aus den entsprechenden Teilbereichen für die Sze­ nenflächen A, B und C bzw. B, C und D sind in Fig. 5a bzw. Fig. 5b dargestellt. Fig. 5a zeigt die Situation, wenn der Bildinhalt der Szenenfläche B wiedergegeben wird (Wiedergabezeitpunkt t _B ), während sich Fig. 5b auf die Wiedergabe des Bildinhaltes der Szenenfläche C (Wiedergabezeitpunkt t _C ) bezieht. Die Indizierung mit * kennzeichnet wie vorher die notwendige Bildanpassung unter Berücksichtigung bekannter Beziehungen der Abbildungsgeometrie (vgl. z.B. H. Kazmierczak, "Erfassung und maschinelle Verarbei­ tung von Bilddaten", Springer-Verlag Wien, New York 1980, Seite 304). Der stereoskopisch wiedergegebene, schraffierte Bereich erstreckt sich, im Gegensatz zu Fig. 3, weitgehend über das ge­ samte Bildfeld. Der unschraffierte, nur monokular darstellbare Bereich ist von dem Teilbereich für die entsprechende Szenenflä­ che durch gestrichelte Linien getrennt. In Fig. 5a gehören die weißen Felder in beiden Halbbildern also zur Szenenfläche B.

Jeweils das vorhergehende und nachfolgende Aufnahmebild werden an das aktuelle Bezugsbild angepaßt. So werden z.B. im Wieder­ gabezeitpunkt t _B die Bilder A und C an das Bild B (Fig. 5a) und im Wiedergabezeitpunkt t _C die Bilder B und D an das Bild C (Fig. 5b) angepaßt. In der fortlaufenden Bildfolge ergibt sich dabei eine entsprechend fortlaufende, dynamische Bildanpassung. Alternativ zu dem in Fig. 5a und Fig. 5b dargestellten Beispiel können die Halbbilder bei genügender Bildüberlappung auch in ab­ weichender Weise zusammengesetzt werden.

Statt des direkten Überganges von Bildpaar zu Bildpaar für die einzelnen Aufnahmezeitpunkte, z.B. entsprechend dem Übergang von Fig. 5a nach Fig. 5b, ist auch ein allmählicher Übergang mög­ lich, z.B. wenn durch eine reduzierte Bildfolgefrequenz ein re­ lativ großer zeitlicher Abstand der Aufnahmebilder (z.B. 1 Se­ kunde) vorliegt und aus der damit verbundenen diskontinuier­ lichen Bewegungswiedergabe durch Einfügen von Zwischenbildern eine kontinuierliche Bewegungswiedergabe regeneriert werden soll. Für eine weitgehend vollständige stereoskopische Bildfeld­ ausnutzung werden dann Bereiche aus vier Bildern der Aufnahme­ bildfolge benötigt. Diese werden für jedes einzufügende Zwi­ schenbild dynamisch so angepaßt, daß die kontinuierliche Bewe­ gungswiedergabe entsteht.

Fig. 5c zeigt ein Beispiel für die Zusammensetzung eines Zwi­ schenbildpaares, das zwischen die Bildpaare nach Fig. 5a und 5b eingefügt werden kann. Die Anpassung der Zwischenbilder kann z.B. nach dem in der DE-OS 30 18 329 beschriebenen Verfahren geschehen. Neben den stereoskopisch und den monokular wiederge­ gebenen Bereichen (schraffierte bzw. weiße Felder in Fig. 5c) können, abhängig von der speziellen Aufnahmesituation, auch kleinere Restfelder auftreten, die keinem der Teilbereiche der Szenenflächen zuzuordnen sind und damit keine Bildinformation enthalten. Sie sind in Fig. 5c dunkel gekennzeichnet. Allgemein verändern sich bei der Einfügung von Zwischenbildern Art, Größe und Form der Bereiche so, daß im dargestellten Beispiel die Bildzusammensetzung nach Fig. 5a allmählich in die Bildzusammen­ setzung nach Fig. 5b übergeht.

Fig. 6 zeigt das Blockschaltbild eines Realisierungsvorschlags, mit dem bei einer mit reduzierter Bildfolgefrequenz vorliegenden Aufnahmebildfolge durch Einfügen von bewegungs- und abbildungs­ angepaßten Zwischenbildpaaren eine kontinuierliche stereoskopi­ sche Wiedergabe erreicht wird.

Die eingangsseitigen Bilddaten eines neuen Aufnahmebildes werden im Pufferspeicher PS zwischengespeichert und anschließend in den Bildspeicher BS 1 übertragen. Gleichzeitig übernimmt jeder der nachfolgenden Bildspeicher BS 2 - BS 4 den Inhalt des vorhergehen­ den, so daß nach Ablauf einer Initialisierungsphase vier aufein­ ander folgende Aufnahmebilder in den Bildspeichern BS 1 - BS 4 vorhanden sind.

Nach jedem Einlesen eines neuen Bildes in den Puffersspeicher PS ermittelt die Einheit BA die Parameter für die Bildanpassung zwischen diesem Bild und dem im Bildspeicher BS 1 befindlichen vorhergehenden Bild. Diese Parameter werden der Steuereinheit SE zugeführt, der ebenfalls die bereits vorher bestimmten Anpas­ sungsparameter für die in den Bildspeichern BS 1 - BS 4 zur Verfü­ gung stehen.

Die Steuereinheit SE liefert dann die Information für das bewe­ gungs-und abbildungsangepaßte Auslesen der Bildspeicher BS 1 - BS 4 und steuert das Zusammensetzen jedes der beiden auszugeben­ den Halbbilder aus den entsprechenden Teilbereichen der in den Bildspeichern befindlichen Aufnahmebilder mit Hilfe der Multi­ plexer MU 1 und Mu 2.

Wird bei einer Aufnahmebildfolge mit nichtreduzierter Bildfolge­ frequenz auf das Einfügen von Zwischenbildern verzichtet, kann der Bildspeicher BS 4 entfallen, da in diesem Fall jedes Ausgabe­ bildpaar nur aus drei aufeinander folgenden Aufnahmebildern zusammengesetzt wird.

Eine weitere Anwendung des Verfahrens besteht in der Nutzung zu einer großflächigen, d.h. weitgehend im gesamten Bildfeld wirk­ samen Ermittlung und Markierung bewegter Objekte durch Vergleich des zusammengesetzten links- und rechtsseitigen Bildfeldes im Überlappungsbereich. Dieser Vergleich kann durchgeführt werden durch Subtraktion der Bilder voneinander. Es verbleibt dann im wesentlichen die Wiedergabe bewegter Objekte, da sich diese in den subtrahierten Bildern an unterschiedlichen Stellen befinden. Eine andere Möglichkeit der Hervorhebung solcher Objekte besteht darin, die beiden Halbbilder des Stereobildes im Wechsel mono­ kular darzubieten. In diesem Fall wechselt die Darstellung eines bewegten Objektes entsprechend zwischen zwei Positionen im Bild­ feld hin und her (Blinkeffekt).

Abweichend von dem in der Zeichnung dargestellten Beispiel können Sensor und Szene je nach der Anwendung auch in anderer Weise zugeordnet sein. So kann sich die Szene z.B. auch oberhalb des Sensors befinden oder sich, wie etwa im Fall eines Transport­ bandes, vor einem feststehenden Sensor bewegen.

Denkbar wäre eine Anpassung ausgewählter Gebiete aufeinander­ folgender Bilder statt der Anpassung von Gesamtbildern, wobei die Gebiete z.B. großformatig abgebildete bewegte Objekte, beispiels­ weise Fahrzeuge, repräsentieren können. Diese Objekte können dabei auch mit ortsfestem Sensorstandort aufgenommen werden, wobei ein ortsfester Standort auch ein Hubschrauber im Schwebe­ flug sein kann.

Die Bewegtbildwiedergabe kann mit der Wiedergabe von Festbildern kombiniert werden, wobei z.B. Teile des Bildfeldes und/oder Teile der Bildfolge als Festbild dargeboten werden können. Die Wieder­ gabe der Bildfolge kann sowohl im Aufnahmezeitraster als auch mit Zeitdehnung oder Zeitraffung geschehen (siehe DE-OS 30 18 329 und DE-OS 31 44 050).

Helligkeitsunterschiede zwischen zu einem Halbbild zusammen­ zusetzenden Szenenflächen, die z.B. auf Beleuchtungsunterschiede zurückzuführen sind, können durch eine Grauwertanpassung berück­ sichtigt werden, beispielsweise wie sie in der älteren Anmeldung P 35 23 424.5 beschrieben ist.

Die Erfassung räumlich aufeinanderfolgender Szenenflächen kann von der im Beispiel dargestellten, direkten zeitlichen Aufein­ anderfolge der Aufnahmen abweichen. Zum Beispiel können auf­ einanderfolgende Szenenflächen auch aus mehreren Überquerungen der Szene gewonnen werden, wobei eine entsprechende zusätzliche Speicherung der aus vorherigen Überquerungen zuzuordnenden Bild­ information erforderlich ist.

Die stereoskopische Darbietung kann außer der visuellen Betrach­ tung z.B. auch einer maschinellen Weiterverarbeitung zugeführt werden.

Unter Videoinformation im Sinne der dargestellten Beispiele soll sowohl Information aus dem sichtbaren Spektralbereich als auch aus anderen Spektralbereichen, wie z.B. dem Infrarotbereich, verstanden werden.

Claims (8)

1. Verfahren zur stereoskopischen Bewegtbilddarbietung von Bildszenen, insbesondere Luftbildszenen, bei Relativbewegung zwischen Aufnahmesensor und aufgenommener Szene, dadurch gekennzeichnet, daß zur fortlaufenden stereoskopischen Darstellung nahezu des gesamten Bildfeldes unter Verwendung von mehr als zwei aufgenommenen Bildern einer Bildfolge mehrere Bildüberlappungsbereiche auf der Grundlage einer von dem momentan betrachteten Bild abhängigen, fortlaufenden, abbildungsbezogenen, dynamischen Anpassung zum jeweiligen Halbbild zusammengefügt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die aufgenommenen Bilder mit reduzierter Bildfolge übertragen werden und daß durch abbildungsangepaßte Interpolation und/oder Extrapolation unter Zugrundelegung von übertragenen Bildern wiedergabeseitig erzeugte Zwischenbilder in die übertragene Bildfolge eingefügt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die jeweiligen Halbbilder auf der Grundlage von momentan betrachteten Szenenausschnitten zusammengefügt werden, die momentan betrachtete Objekte repräsentieren.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekenn­ zeichnet, daß jeweils ausgewählte Halbbildpaare für eine ausgewählte Zeitdauer als Festbild dargestellt werden.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekenn­ zeichnet, daß die Bewegtbilder rekonstruierte Zwischenbilder sind.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß Teilbereiche der stereoskopisch wieder­ gegebenen Bildbereiche als Festbild wiedergegeben werden.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß zur Hervorhebung bewegter Objekte die Bildinhalte der beiden Halbbilder voneinander subtrahiert werden.

8. Verfahren nach Anspruch 1 bis 6, dadurch gekennzeichnet, daß zur Hervorhebung bewegter Objekte die beiden Halbbilder alternierend wiedergegeben werden.