AT518256A4 - Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe - Google Patents

Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe Download PDF

Info

Publication number
AT518256A4
AT518256A4 ATA50701/2016A AT507012016A AT518256A4 AT 518256 A4 AT518256 A4 AT 518256A4 AT 507012016 A AT507012016 A AT 507012016A AT 518256 A4 AT518256 A4 AT 518256A4
Authority
AT
Austria
Prior art keywords
image
rotation
pair
rotational
rotation angle
Prior art date
Application number
ATA50701/2016A
Other languages
English (en)
Other versions
AT518256B1 (de
Original Assignee
Innaq Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innaq Gmbh filed Critical Innaq Gmbh
Priority to ATA50701/2016A priority Critical patent/AT518256B1/de
Priority to PCT/EP2017/068443 priority patent/WO2018024503A1/de
Application granted granted Critical
Publication of AT518256A4 publication Critical patent/AT518256A4/de
Publication of AT518256B1 publication Critical patent/AT518256B1/de

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/024Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof deleted
    • H04N2201/02406Arrangements for positioning elements within a head
    • H04N2201/02416Rotational positioning, i.e. with respect to an axis

Abstract

Computerimplementiertes Verfahren zur Erzeugung eines für eine stereoskopische Wiedergabe vorgesehenen Panoramabilds. Erfindungsgemäß ist vorgesehen, dass das Verfahren die folgenden Schritte umfasst: a) Aufnehmen mindestens eines Bilderpaars mit einer Kameraanordnung (1), wobei jedes Bilderpaar aus einem ersten Bild und einem zweiten Bild besteht und wobei eine Aufnahmeposition (7a) des ersten Bilds relativ zu einer Aufnahmeposition (7b) des zweiten Bilds verschoben und/oder verdreht ist; b) Drehen der Kameraanordnung (1) bezogen auf eine erste Drehachse (3) um ein Drehwinkelinkrement (D) von einer Drehwinkelposition (4a) auf eine nächste Drehwinkelposition (4b); c) Wiederholen der Schritte a) und b) bis ein, vorzugsweise vorgebbarer, erster Drehwinkelbereich (6) überstrichen ist, um eine Abfolge von Aufnahmen vom mindestens einen Bilderpaar für die aufeinanderfolgenden Drehwinkelpositionen (4a, 4b, 4c,…,4n) zu erzeugen.

Description

ERZEUGUNG EINES FÜR EINE STEREOSKOPISCHE WIEDERGABE VORGESEHENEN PANORAMABILDS UND EINE SOLCHE WIEDERGABE
GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zur Erzeugung eines für eine stereoskopische Wiedergabe vorgesehenen Panoramabilds.
Außerdem betrifft die vorliegende Erfindung ein computerimplementiertes Verfahren zur stereoskopischen Wiedergabe eines mit einem erfindungsgemäßen computerimplementierten Verfahren aufgenommenen Panoramabilds mittels eines stereoskopischen Wiedergabegeräts.
STAND DER TECHNIK
Panoramafotografien bzw. Panoramabilder werden bereits seit langem angefertigt, um Szenen wie z.B. Landschaften oder Immobilien als Rundumsicht festzuhalten. Ein Benutzer bzw. Betrachter des Panoramabilds soll in der Folge einen Blickwinkel frei wählen können, wobei der Blickwinkel auf einen bestimmten Teil der Szene gerichtet ist.
Heute werden Panoramabilder durch Zusammenfügen (auch als „Stitching" bezeichnet) einzelner Aufnahmen zu einer gesamten Darstellung erstellt. Dabei werden die Aufnahmen typischerweise in einem horizontalen Drehwinkelbereich von 360° sowie in einem Höhenwinkelbereich von 180° gemacht. Die so entstandene Ansicht wird dann durch entsprechende Projektionsverfahren (z.B. sphärisch oder kubisch) so dargestellt, dass der Betrachter die zur gewünschten Blickrichtung passende Abbildung und den passenden Bildausschnitt erhält. Die so erzeugten Panoramabilder werden für monoskopische, aber auch für stereoskopische Darstellungen verwendet, was mit einer Reihe von Nachteilen verbunden ist.
Hauptnachteil ist, dass bei Änderung des Blickwinkels die in der Wirklichkeit sichtbare Bewegungsparallaxe nicht wiedergegeben werden kann. Derartige Änderungen des Blickwinkels sind insbesondere bei Anwendungen in der virtuellen Realität gebräuchlich, wo der Benutzer sich drehen kann und dabei eine entsprechende Drehung des betrachteten Panoramabilds aus der Ich-Perspektive zu sehen erwartet. Die fehlende Bewegungsparallaxe bewirkt dabei einen unnatürlichen Eindruck, was die Immersion und den Raumeindruck des Benutzers üblicherweise deutlich herabsetzt.
Insbesondere bei einer stereoskopischen - aber auch bei einer monoskopischen - Darstellung wirkt sich dies negativ aus.
Ein weiterer Nachteil bekannter Herstellungsverfahren von Panoramabildern ist die Störanfälligkeit gegenüber Änderungen der Szene. Ein typisches Beispiel für eine solche Änderung wäre ein Fahrzeug, das während der Aufnahmen durch die Szene fährt, sodass auf unterschiedlichen Aufnahmen unterschiedliche Teile (bzw. auf manchen Aufnahmen gar keine Teile) des Fahrzeugs zu sehen sind. Dies führt in der Folge dazu, dass die Aufnahmen nicht oder nur mit sehr eingeschränkter Qualität zusammengefügt werden können.
AUFGABE DER ERFINDUNG
Die vorliegende Erfindung hat es sich zur Aufgabe gesetzt, ein Verfahren zur Erzeugung von für eine stereoskopische Wiedergabe vorgesehenen Panoramabildern sowie ein stereoskopisches Wiedergabeverfahren für diese Panoramabilder zu schaffen, die die oben genannten Nachteile vermeiden. Insbesondere soll dabei eine Bewegungsparallaxe wiedergegeben werden können. Vorzugsweise soll das Verfahren zur Erzeugung der Panoramabilder robust gegenüber dynamischen Änderungen, z.B. gegenüber sich bewegenden Fahrzeugen, in aufzunehmenden Szenen sein.
DARSTELLUNG DER ERFINDUNG
Zur Lösung der genannten Aufgabe ist erfindungsgemäß ein computerimplementiertes Verfahren zur Erzeugung eines für eine stereoskopische Wiedergabe vorgesehenen Panoramabilds vorgesehen, das Verfahren umfassend die folgenden Schritte: a) Aufnehmen mindestens eines Bilderpaars mit einer Kameraanordnung, wobei jedes Bilderpaar aus einem ersten Bild und einem zweiten Bild besteht und wobei eine Aufnahmeposition des ersten Bilds relativ zu einer Aufnahmeposition des zweiten Bilds verschoben und/oder verdreht ist; b) Drehen der Kameraanordnung bezogen auf eine erste Drehachse um ein Drehwinkelinkrement von einer Drehwinkelposition auf eine nächste Drehwinkelposition; c) Wiederholen der Schritte a) und b) bis ein, vorzugsweise vorgebbarer, erster Drehwinkelbereich überstrichen ist, um eine Abfolge von Aufnahmen vom mindestens einen Bilderpaar für die aufeinanderfolgenden Drehwinkelpositionen zu erzeugen.
Dabei ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass das Verfahren den folgenden weiteren Schritt umfasst: d) Generieren mindestens einer Video-Datei aus den Bildern der Abfolge, vorzugsweise einer ersten Video-Datei aus den ersten Bildern der Abfolge und einer zweiten Video-Datei aus den zweiten Bildern der Abfolge. Dies dient vor allem der Komprimierung der einzelnen Bilder und reduziert den Speicherbedarf entsprechend. Grundsätzlich kann aber hierauf auch verzichtet werden und kann die generierte Abfolge von Bilderpaaren als solche für das Panoramabild verwendet werden. Selbstverständlich können die beiden Video-Dateien bzw. das Paar von Video-Dateien in eine einzige Video-Datei gepackt werden, um das Panoramabild besser handhaben zu können. Bzw. kann aus den Bildern der Abfolge auch direkt eine einzige Video-Datei erzeugt werden.
Das so aufgenommene Panoramabild eignet sich für die stereoskopische Wiedergabe, insbesondere bei Virtuelle-Realität (VR)-Anwendungen oder Augmented Reality (AR)-Anwendungen, z.B. mittels eines sogenannten Head Mounted Display (HMD), welches je nach Ausgestaltung auch als Videobrille, Helmdisplay, VR-Helm oder Datenhelm bezeichnet wird.
Die Aufnahmen erfolgen jeweils bei bestimmten Drehwinkelpositionen im ersten Drehwinkelbereich.
Indem mehrere Bilderpaare pro Drehwinkelposition aufgenommen werden, kann an jeder Drehwinkelposition eine Teilabfolge von Bilderpaaren, insbesondere ein Paar von Videosequenzen aufgenommen werden.
Es kann aber natürlich auch nur ein Bilderpaar pro Drehwinkelposition aufgenommen werden. Entsprechend ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass für jede Drehwinkelposition genau ein Bilderpaar aufgenommen wird, was u.a. eine besonders rasche Aufnahme des Panoramabilds ermöglicht.
Die beiden Bilder des jeweiligen Bilderpaars werden von unterschiedlichen Aufnahmepositionen aus aufgenommen, wobei die relative Anordnung der Aufnahmepositionen zueinander vorzugsweise bei allen Drehwinkelpositionen dieselbe ist. Dies schafft die Voraussetzung für die Erzeugung der Bewegungsparallaxe. Die Wiedergabe muss dabei nicht zwangsläufig stereoskopisch, sondern kann prinzipiell auch monoskopisch erfolgen. Das erfindungsgemäße Verfahren liefert stets ein Panoramabild mit Bewegungsparallaxe.
Indem diese relative Anordnung ähnlich zur relativen Anordnung der Augen eines Benutzers gewählt wird, kann das erste Bild jedes Bilderpaares grundsätzlich dem einen Auge des Benutzers zugeordnet werden und das zweite Bild jedes Bilderpaares dem anderen Auge des Benutzers. Dies schafft die Voraussetzung für stereoskopisches Sehen.
Aus der Abfolge von einzelnen Bilderpaaren, die gemäß den aufeinanderfolgenden Drehwinkelpositionen aufeinander folgen, wobei jedes Bilderpaar aus einem ersten und einem zweiten Bild besteht, können sich zwei Video-Dateien ergeben, nämlich eine Video-Datei für die Abfolge der ersten Bilder und eine Video-Datei für die Abfolge der zweiten Bilder. Falls pro Drehwinkelposition mehrere Bilderpaare aufgenommen werden, liegen bei jeder Drehwinkelposition eine Teilabfolge von mehreren ersten Bildern und eine Teilabfolge von mehreren zweiten Bildern vor. Wiederum können letztlich zwei Video-Dateien erhalten werden. Eine dieser Video-Dateien ergibt sich aus der Abfolge der Teilabfolgen der ersten Bilder, also wiederum aus einer Abfolge der ersten Bilder. Die andere dieser Video-Dateien ergibt sich aus der Abfolge der Teilabfolgen der zweiten Bilder, also wiederum aus einer Abfolge der zweiten Bilder. Im einfachsten Fall werden keine weiteren Drehungen um weitere Drehachsen vorgenommen, sodass das erzeugte Panoramabild aus der Abfolge von Bilderpaaren bzw. aus mindestens einer Video-Datei, vorzugsweise aus den besagten zwei Video-Dateien, besteht.
Die Video-Dateien können grundsätzlich in an sich bekannten Video-Formaten abgespeichert und mit an sich bekannten Werkzeugen bzw. Programmen bearbeitet und wiedergegeben werden.
Grundsätzlich ist diese Methode zur Erzeugung von Panoramabildern bei monoskopischer Wiedergabe tolerant gegenüber Veränderungen der Szenerie, da kein Stitching erfolgen muss und jedes Auge dasselbe Bild sieht.
Vorzugsweise ist die erste Drehachse parallel zur Vertikalen, sodass ein horizontaler erster Drehwinkelbereich resultiert.
Der erste Drehwinkelbereich erstreckt sich vorzugsweise von einer Drehwinkelanfangsposition zu einer Drehwinkelendposition.
Der erste Drehwinkelbereich kann z.B. 360° betragen. Typische Werte für das Drehwinkelinkrement sind im Bereich von 0,01° bis 20°, vorzugsweise von 0,1° bis 5°, besonders bevorzugt von 0,5° bis 3°.
Vorzugsweise ist das Drehwinkelinkrement konstant gewählt. In diesem Fall sind die Drehwinkelpositionen bestimmbar als Summe aus der Drehwinkelanfangsposition und einem ganzzahligen Vielfachen des Drehwinkelinkrements.
Um bei jeder Drehwinkelposition die beiden Aufnahmepositionen mit möglichst wenig konstruktivem Aufwand, insbesondere möglichst kostengünstig, gewährleisten zu können, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass die Kameraanordnung eine Kamera umfasst, die zwischen der
Aufnahmeposition des ersten Bilds und der Aufnahmeposition des zweiten Bilds hin und her bewegbar ist. Dies ist natürlich so zu verstehen, dass die beiden Aufnahmepositionen auch tatsächlich von der Kamera eingenommen werden können. Hieraus folgt, dass das erfindungsgemäße Panoramabild auch mit nur einer einzigen Kamera erzeugt werden kann.
Die Bewegung der Kamera zwischen den Aufnahmepositionen kann auf unterschiedliche Weise erfolgen. Bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens ist vorgesehen, dass die Bewegung der Kamera zwischen der Aufnahmeposition des ersten Bilds und der Aufnahmeposition des zweiten Bilds durch eine lineare Verschiebung erfolgt. Hierzu kann die Kamera beispielsweise auf einer linearen Schiene geführt sein und z.B. mittels eines Elektromotors oder mittels eines elektrischen, pneumatischen oder hydraulischen Zylinders bewegt werden. Die lineare Schiene wiederum kann um die erste Drehachse gedreht werden, um die Kameraanordnung von einer Drehwinkelposition zur nächsten überzuführen.
Um die Bewegung der Kamera zwischen den Aufnahmepositionen technisch besonders einfach, insbesondere besonders kostengünstig, verwirklichen zu können, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass die Bewegung der Kamera zwischen der Aufnahmeposition des ersten Bilds und der Aufnahmeposition des zweiten Bilds durch eine Drehung, vorzugsweise um die erste Drehachse, erfolgt.
Insbesondere wenn die Drehung um die erste Drehachse erfolgt, können dieselben technischen Mittel verwendet werden, um einerseits die Kameraanordnung von einer Drehwinkelposition zur nächsten überzuführen und andererseits die Kamera zwischen den beiden Aufnahmepositionen zu bewegen. Um der voneinander beabstandeten Anordnung der menschlichen Augen Rechnung zu tragen, werden dabei vom aufgenommenen Bild bei jeder Drehwinkelposition zwei Bildteile bzw. „Bildhälften" verwendet, die vorzugsweise überlappen können. Beispielsweise kann sich der erste Bildteil über 0% bis 70% einer Breite des Bilds erstrecken und der zweite Bildteil über 30% bis 100% der Breite des Bilds. Weiters werden zur Erzeugung des Bilderpaars an einer bestimmten Drehwinkelposition Bilder von Drehwinkelpositionen genommen, die vor und nach der bestimmten Drehwinkelposition kommen. Beispielsweise werden zur Erzeugung des Bilderpaars an der bestimmten Drehwinkelposition einerseits das Bild, welches bei zwei Drehwinkelpositionen zuvor aufgenommen ist, und andererseits das Bild, welches bei zwei Drehwinkelpositionen nachher aufgenommen ist, herangezogen.
Vorzugsweise werden zur Erzeugung des Bilderpaars an der bestimmten Drehwinkelposition einerseits das Bild, welches bei der unmittelbar vorangehenden Drehwinkelpositionen aufgenommen ist, und andererseits das Bild, welches bei der unmittelbar darauffolgenden Drehwinkelpositionen aufgenommen ist, herangezogen. Beispielhaft wird im Folgenden auf diesen Spezialfall Bezug genommen, die Erläuterung gilt aber natürlich analog für den zuvor genannten allgemeinen Fall (Drehwinkelpositionen, die vor und nach der bestimmten Drehwinkelposition kommen): Der eine Bildteil des Bilds, welches bei der Drehwinkelposition unmittelbar vor der bestimmten Drehwinkelposition aufgenommen ist, ist das erste Bild des Bilderpaars bei der bestimmten Drehwinkelposition.
Die Aufnahmeposition des ersten Bilds wird also durch die Kameraanordnung bei der Drehwinkelposition unmittelbar vor der bestimmten Drehwinkelposition festgelegt. Der andere Bildteil des Bilds, welches bei der Drehwinkelposition unmittelbar nach der bestimmten Drehwinkelposition aufgenommen ist, ist das zweite Bild des Bilderpaars bei der bestimmten Drehwinkelposition. Die Aufnahmeposition des zweiten Bilds wird also durch die Kameraanordnung bei der Drehwinkelposition unmittelbar nach der bestimmten Drehwinkelposition festgelegt.
Mit anderen Worten nimmt die Kamera an einer
Drehwinkelposition mit ihrem „linken" Bildausschnitt das Bild auf, das das rechte Auge eines Benutzers an einer früheren Position gesehen hätte, und im „rechten" Ausschnitt ist das Bild für das linke Auge, das es an einer späteren Position gesehen hätte.
Gemäß dem oben Gesagten kann Schritt b) entsprechend auch zumindest teilweise zeitgleich mit Schritt a) durchgeführt werden, was wiederum eine zeitsparende Aufnahme des Panoramabilds erlaubt.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens werden die Aufnahmen mit einem Weitwinkelobjektiv, vorzugsweise mit einem Fischaugenobjektiv, gemacht, um mit jedem Bild einen möglichst großen Bereich abzudecken.
Um eine noch schnellere und konstruktiv stabilere Möglichkeit für die Aufnahmen zu schaffen, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass die Kameraanordnung eine erste Kamera und eine relativ zu dieser verschobene und/oder verdrehte zweite Kamera umfasst, wobei das erste Bild mit der ersten Kamera aufgenommen wird und das zweite Bild mit der zweiten Kamera. Vorzugsweise nimmt die erste Kamera alle ersten Bilder auf und die zweite Kamera alle zweiten Bilder.
Vorzugsweise erfolgt die Auslösung der beiden Kameras gleichzeitig, d.h. das erste Bild und das zweite Bild werden gleichzeitig aufgenommen.
Aus der Abfolge von ersten Bildern, die mit der ersten Kamera aufgenommen werden, kann die erste Video-Datei erzeugt werden und aus der Abfolge von zweiten Bildern, die mit der zweiten Kamera aufgenommen werden, die zweite Video-Datei.
Die beiden Kameras können hierzu z.B. auf einem Halter montiert sein, wobei die Position der beiden Kameras zueinander am Halter vorzugsweise einstellbar ist. Der Halter kann sodann um die erste Drehachse gedreht werden, um die Kameraanordnung von einer Drehwinkelposition zur nächsten überzuführen. Während der Durchführung des erfindungsgemäßen Verfahrens bleibt die relative Anordnung der beiden Kameras -und damit insbesondere deren Abstand zueinander - vorzugsweise fix.
Die Variante mit zwei Kameras ist zudem auch bei stereoskopischer Wiedergabe tolerant gegenüber Veränderungen der Szenerie. Wenn sich beispielsweise während der Aufnahme ein Auto durch die Szene bewegt, so wird dies in der Regel gleichzeitig von beiden Kameras aufgenommen. Bei der stereoskopischen Wiedergabe wird das Auto daher auch jedem Auge angezeigt, d.h. es tritt nicht der Fall ein, dass z.B. das linke Auge einen Teil des Autos sieht und das rechte Auge keinen Teil des Autos.
Wenn die Aufnahmen bei den aufeinanderfolgenden Drehpositionen mit der entsprechenden Drehung langsam erfolgen, kann es lediglich passieren, dass bei einer Drehwinkelposition das Auto sichtbar ist und bei einer angrenzenden Drehwinkelposition nicht, was aber die Immersion bzw. den Raumeindruck nicht wesentlich stört. Wenn die Aufnahmen bei den aufeinanderfolgenden Drehpositionen mit der entsprechenden Drehung rasch erfolgen, kann ggf. die Bewegung des Autos gewissermaßen mitverfolgt werden. D.h. der Benutzer sieht bei Betrachtung des Panoramabilds bei den unterschiedlichen Drehwinkelpositionen das Auto an unterschiedlichen Positionen in der Szenerie und nimmt dies als Bewegung des Autos wahr, was die Immersion bzw. den Raumeindruck zusätzlich verstärken kann.
Mit anderen Worten eröffnet die rasche Aufzeichnung mit zwei Kameras die Möglichkeit, Veränderungen der Szenerie sogar aufzuzeichnen und stereoskopisch wiederzugeben.
Wie bereits gesagt, kann die Anordnung der beiden Aufnahmepositionen relativ zueinander so gewählt werden, dass eine gewisse Ähnlichkeit zur relativen Anordnung der Augen eines Benutzers für die bestimmte Szene gegeben ist. Dabei ist zu beachten, dass eine Linie, die die beiden Augen des Benutzers miteinander verbindet, bei einer Drehung des Benutzers um eine Drehachse im Allgemeinen die Drehachse nicht schneiden, sondern von dieser beabstandet sein wird. Um diesem Umstand bei der Aufnahme des Panoramabilds Rechnung zu tragen, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass die Kameraanordnung von der ersten Drehachse einen ersten Abstand aufweist. Mit anderen Worten wird die Kameraanordnung exzentrisch um die erste Drehachse gedreht.
Vorzugsweise werden der erste Abstand einerseits und die relative Anordnung der beiden Aufnahmepositionen zueinander andererseits aufeinander abgestimmt. Das so erzeugte Panoramabild erlaubt eine besonders realistisch wirkende Wiedergabe. Im Falle von VR-Anwendungen lässt sich somit eine qualitativ besonders gute Immersion des Benutzers erzielen.
Um mit dem Panoramabild einen möglichst großen Bereich abzudecken, der einer Drehung um eine zweite Drehachse entspricht, welche zweite Drehachse mit der ersten Drehachse einen Winkel ungleich null, vorzugsweise einen Winkel von 90°, einschließt, kann bei der Aufnahme ein Fischaugenobjektiv verwendet werden. Auf diese Weise kann mit jeder Aufnahme praktisch ein Bereich von 180° rund um die zweite Drehachse aufgenommen werden. Insbesondere ist es auf diese Weise möglich, einen vertikalen Bereich abzudecken, ohne dass ein tatsächliches Verschwenken der Kameraanordnung um die zweite Drehachse, die dann horizontal angeordnet wäre, notwendig wäre.
Natürlich kann aber auch bei Verwendung eines
Fischaugenobjektivs eine Drehung um die zweite Achse erfolgen, um einen noch größeren Bereich um die zweite Achse abzudecken. Vorzugsweise kommt eine Drehung um die zweite Achse aber bei Verwendung von Objektiven zum Einsatz, die keine Fischaugenobjektive sind.
Bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens ist es vorgesehen, dass die Schritte a) bis c) wiederholt werden, nachdem die Kameraanordnung um eine zweite Drehachse gedreht worden ist, wobei die zweite Drehachse mit der ersten Drehachse einen Winkel ungleich null, vorzugsweise einen Winkel von 90°, einschließt. Vorzugsweise ist vorgesehen, dass die Schritte a) bis d) wiederholt werden, nachdem die Kameraanordnung um die zweite Drehachse gedreht worden ist. Durch die Drehung oder ggf. die Drehungen um die zweite Drehachse wird eine Abfolge von zweiten Drehwinkelpositionen (bezogen auf die zweite Drehachse), vorzugsweise eine Abfolge von Höhenwinkeln, eingestellt bzw. erzeugt. D.h. bei mehreren zweiten Drehwinkelpositionen um die zweite Drehachse wird jeweils eine Abfolge von Bilderpaaren bzw. werden vorzugsweise jeweils die erste und zweite Video-Datei aufgenommen. Mit anderen Worten besteht das aufgenommene Panoramabild aus mehreren Abfolgen bzw. Paaren von Video-Dateien, wobei die Anzahl dieser Abfolgen bzw. dieser Paare gleich ist der Anzahl der eingenommenen zweiten Drehwinkelpositionen und wobei jedes der Paare aus einer der ersten Video-Dateien und der zugehörigen zweiten Video-Datei besteht.
Insbesondere kann auf diese Weise auch eine vertikale Komponente der festzuhaltenden Szene berücksichtigt werden, indem das Panoramabild nicht nur einen horizontalen Drehwinkelbereich überdeckt, sondern auch einen Höhenwinkelbereich. Der Höhenwinkelbereich ist also ein Spezialfall eines zweiten Drehwinkelbereichs, in welchem sich die zweiten Drehwinkelpositionen befinden. Dieser erstreckt sich von einer zweiten Drehwinkelanfangsposition zu einer zweiten Drehwinkelendposition. Zumindest ein Höhenwinkel (manchmal auch nur als Höhe oder Elevation bezeichnet) bzw. eine zweite Drehwinkelposition ist jedenfalls immer vorhanden.
Es können natürlich mehrere Wiederholungen stattfinden, sodass nicht nur zwei (d.h. nicht nur die zweite Drehwinkelanfangsposition und die zweite Drehwinkelendposition), sondern mehr als zwei zweite Drehwinkelpositionen eingenommen werden, welche im zweiten Drehwinkelbereich liegen.
Der zweite Drehwinkelbereich bzw. dessen Größe kann z.B. im Bereich von 45° bis 180°, vorzugsweise von 45° bis 90° liegen. Es sind aber auch größere Bereiche denkbar.
Aufeinanderfolgende zweite Drehwinkelpositionen können sich um ein, vorzugsweise konstantes, zweites Drehwinkelelement unterscheiden. Typische Werte für das zweite Drehwinkelinkrement sind im Bereich von 0,01° bis 20°, vorzugsweise von 0,1° bis 5°, besonders bevorzugt von 0,5° bis 3° .
Wie gesagt, eignen sich die erfindungsgemäß erzeugten Panoramabilder ideal für die stereoskopische Wiedergabe. Entsprechend ist erfindungsgemäß ein computerimplementiertes Verfahren zur stereoskopischen Wiedergabe eines mit einem erfindungsgemäßen computerimplementierten Verfahren aufgenommenen Panoramabilds mittels eines stereoskopischen Wiedergabegeräts vorgesehen, das Verfahren umfassend die folgenden Schritte: aa) Bestimmen eines Blickwinkels, unter dem das Panoramabild wiedergegeben werden soll; bb) Berechnen einer Darstellungsdrehwinkelposition, wobei die Darstellungsdrehwinkelposition jene Drehwinkelposition ist, welcher der Blickwinkel bezogen auf die erste Drehachse entspricht; cc) Bestimmen jener Drehwinkelposition in der Abfolge, welche der Darstellungsdrehwinkelposition am nächsten kommt; dd) Verwendung des mindestens einen Bilderpaars dieser Drehwinkelposition für die Erstellung mindestens eines Darstellungsbilderpaars; ee) Wiedergeben des mindestens einen ersten Bilds des mindestens einen Darstellungsbilderpaars mittels einer ersten Anzeige des stereoskopischen Wiedergabegeräts und des mindestens einen zweiten Bilds des mindestens einen Darstellungsbilderpaars mittels einer zweiten Anzeige des stereoskopischen Wiedergabegeräts.
Ein Benutzer sieht mit einem Auge die erste Anzeige des stereoskopischen Wiedergabegeräts und mit dem anderen Auge die zweite Anzeige. Bei Änderung des Blickwinkels wird die Bewegungsparallaxe voll wiedergegeben, was ein besonders wirklichkeitsnahes Betrachtungserlebnis für den Benutzer ergibt.
Die Verwendung des mindestens einen Bilderpaars, welches für jene Drehwinkelposition in der Abfolge aufgenommen wurde, die der Darstellungsdrehwinkelposition am nächsten kommt, zur Erstellung des mindestens einen Darstellungsbilderpaars kann unterschiedlich erfolgen. Bei einer besonders einfach zu verwirklichenden Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens ist es vorgesehen, dass bei Schritt dd) das mindestens eine Bilderpaar dieser Drehwinkelposition als das mindestens eine Darstellungsbilderpaar übernommen wird.
Insbesondere wenn die Drehwinkelpositionen rund um die erste Drehachse nicht sehr dicht liegen, wenn also das Drehwinkelinkrement bei den Aufnahmen relativ groß gewesen ist, kann ein möglichst kontinuierlicher Verlauf des Panoramabilds bzw. eine möglichst korrekte Darstellung des Panoramabilds bei der gewünschten
Darstellungsdrehwinkelposition interpoliert bzw. rechnerisch erzielt werden. Hierzu ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass bei Schritt dd) folgende Schritte durchgeführt werden: - Bestimmen einer Abweichung dieser Drehwinkelposition von der Darstellungsdrehwinkelposition; - falls die Abweichung größer als ein vorgebbarer Schwellwert ist: Berechnen des mindestens einen Darstellungsbilderpaars aus dem mindestens einen Bilderpaar jener Drehwinkelposition, die in der Abfolge unmittelbar vor der
Darstellungsdrehwinkelposition liegt, und dem mindestens einen Bilderpaar jener Drehwinkelposition, die in der Abfolge unmittelbar nach der Darstellungsdrehwinkelposition liegt; andernfalls: Übernehmen des mindestens einen Bilderpaars dieser Drehwinkelposition als das mindestens eine Darstellungsbilderpaar. Letzteres entspricht der oben genannten besonders einfach zu verwirklichenden Ausführungsvariante. Für den Fall, dass das Panoramabild in Form von zumindest einer Video-Datei, vorzugsweise in Form von zumindest einem Paar von Video-Dateien, vorliegt, sei bemerkt, dass sich die Abfolge von Bilderpaaren natürlich unmittelbar aus der mindestens einen Video-Datei, vorzugsweise aus dem zumindest einen Paar von Video-Dateien, ergibt bzw. extrahieren lässt und somit jedenfalls verfügbar ist, um die oben genannten Schritte durchzuführen.
Die Berechnung des mindestens einen Darstellungsbilderpaars kann in an sich bekannter Weise erfolgen, beispielsweise durch Überblendung der ersten Bilder des mindestens einen Bilderpaars bei jener Drehwinkelposition, die in der Abfolge unmittelbar vor der Darstellungsdrehwinkelposition liegt, und des mindestens einen Bilderpaars bei jener Drehwinkelposition, die in der Abfolge unmittelbar nach der
Darstellungsdrehwinkelposition liegt. Es sind aber auch bekannte Methoden anwendbar, bei denen die Bilder auf einen Projektionskörper (meist eine Kugel oder ein Kubus) projiziert werden, wobei der Projektionskörper rotiert und/oder translatiert wird. Bzw. sind natürlich auch Kombinationen solcher Methoden anwendbar.
Die Bestimmung des Blickwinkels kann auf unterschiedliche Weise erfolgen. Um eine technisch besonders einfach zu verwirklichende Bestimmung zu ermöglichen, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass die Bestimmung des Blickwinkels aufgrund einer mittels eines Eingabegeräts vorgenommenen Wahl erfolgt. D.h. der Benutzer kann z.B. mittels einer Tastatur, einer Maus, eines Touchscreens oder dergleichen, den gewünschten Blickwinkel eingeben bzw. wählen.
Insbesondere um dem Benutzer bei VR-Anwendungen eine qualitativ hochwertige Immersion zu ermöglichen, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass die Bestimmung des Blickwinkels aufgrund von Sensorsignalen erfolgt. D.h. eine bewusste Eingabe des Benutzers ist nicht unbedingt erforderlich. Stattdessen werden Bewegungen des Benutzers mittels Sensoren detektiert und werden die entsprechenden Sensorsignale ausgewertet. Derlei Sensorsysteme sind aus heutigen VR-Anwendungen an sich bekannt. Z.B. kann zumindest ein sogenannter Eyetracker verwendet werden, um der
Bewegung eines Auges oder der Augen des Benutzers zu folgen und darauf basierend entsprechend den aktuellen Blickwinkel zu bestimmen. Oder es kann z.B. ein sogenannter Headtracker verwendet werden, um Bewegungen des Kopfs des Benutzers zu registrieren und darauf basierend entsprechend den aktuellen Blickwinkel zu bestimmen. Weiters kann z.B. die Ausrichtung von anderen Körperteilen oder des gesamten Körpers des Benutzers mittels der Sensoren laufend bestimmt werden, um darauf basierend entsprechend den aktuellen Blickwinkel zu bestimmen. Für den Fall, dass das Panoramabild, welches mit dem erfindungsgemäßen computerimplementierten Verfahren erzeugt worden ist, Aufnahmen bei mehr als einem Höhenwinkel bzw. bei mehr als einer zweiten Drehwinkelposition enthält, ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass außerdem eine zweite Darstellungsdrehwinkelposition bestimmt wird, welcher der Blickwinkel bezogen auf die zweite Drehachse entspricht, dass jene Abfolge bestimmt wird, die einer zweiten Drehwinkelposition bezogen auf die zweite Drehachse zugeordnet werden kann, welche zweite Drehwinkelposition der zweiten Darstellungsdrehwinkelposition am nächsten kommt, und dass die Bilderpaare dieser Abfolge für die Erstellung des mindestens einen Darstellungsbilderpaars verwendet werden.
Im einfachsten Fall werden nur die Bilderpaare dieser Abfolge für die Erstellung des mindestens einen Darstellungsbilderpaars verwendet.
Es können aber auch Bilderpaare aus „angrenzenden" (bezogen auf die zweiten Drehwinkelpositionen) Abfolgen zur Erstellung des mindestens einen Darstellungsbilderpaars verwendet werden. Insbesondere wenn die zweiten Drehwinkelpositionen rund um die zweite Drehachse nicht sehr dicht liegen, wenn also das zweite Drehwinkelinkrement relativ groß gewesen ist, kann ein möglichst kontinuierlicher Verlauf des Panoramabilds bzw. eine möglichst korrekte Darstellung des Panoramabilds bei der gewünschten zweiten Darstellungsdrehwinkelposition interpoliert bzw. rechnerisch erzielt werden. Hierzu ist es bei einer bevorzugten Ausführungsform des erfindungsgemäßen computerimplementierten Verfahrens vorgesehen, dass bei der Verwendung der Bilderpaare dieser Abfolge für die Erstellung des mindestens einen Darstellungsbilderpaars folgende Schritte vorgesehen sind: - Bestimmen einer Abweichung dieser zweiten Drehwinkelposition von der zweiten Darstellungsdrehwinkelposition; - falls die Abweichung größer als ein vorgebbarer zweiter Schwellwert ist: Berechnen des mindestens einen Darstellungsbilderpaars aus dem mindestens einen Bilderpaar der Abfolge bei jener zweiten Drehwinkelposition, die unmittelbar vor der zweiten Darstellungsdrehwinkelposition liegt, und dem mindestens einen Bilderpaar der Abfolge bei jener zweiten Drehwinkelposition, die unmittelbar nach der zweiten Darstellungsdrehwinkelposition liegt; andernfalls: Übernehmen der Bilderpaare der Abfolge bei dieser zweiten Drehwinkelposition für die Erstellung des mindestens einen Darstellungsbilderpaars. Letzteres entspricht der oben genannten besonders einfach zu verwirklichenden Ausführungsvariante.
Die Berechnung des mindestens einen Darstellungsbilderpaars kann in an sich bekannter Weise erfolgen, beispielsweise durch Überblendung der Bilderpaare der Abfolgen, die bei den zweiten Drehwinkelpositionen, die an die zweite
Darstellungsdrehwinkelposition angrenzen. Es sind aber auch bekannte Methoden anwendbar, bei denen die Bilder auf einen Projektionskörper (meist eine Kugel oder ein Kubus) projiziert werden, wobei der Projektionskörper rotiert und/oder translatiert wird. Bzw. sind natürlich auch Kombinationen solcher Methoden anwendbar.
KURZE BESCHREIBUNG DER FIGUREN
Die Erfindung wird nun anhand von Ausführungsbeispielen näher erläutert. Die Zeichnungen sind beispielhaft und sollen den Erfindungsgedanken zwar darlegen, ihn aber keinesfalls einengen oder gar abschließend wiedergeben.
Dabei zeigt:
Fig. 1 eine schematische Illustration einer Kameraanordnung bei der Durchführung eines erfindungsgemäßen Verfahrens, wobei die Kameraanordnung eine Kamera aufweist
Fig. 2 eine schematische Illustration einer Kameraanordnung bei der Durchführung eines erfindungsgemäßen Verfahrens, wobei die Kameraanordnung eine erste Kamera und eine zweite Kamera aufweist
WEGE ZUR AUSFÜHRUNG DER ERFINDUNG
In Fig. 1 ist eine Kameraanordnung 1 illustriert, wie sie bei der Durchführung eines erfindungsgemäßen computerimplementierten Verfahrens zur Erzeugung eines für eine stereoskopische Wiedergabe vorgesehenen Panoramabilds verwendet wird. Dabei umfasst das erfindungsgemäße computerimplementierte Verfahren prinzipiell die folgenden Schritte: a) Aufnehmen mindestens eines Bilderpaars mit der Kameraanordnung 1, wobei jedes Bilderpaar aus einem ersten Bild und einem zweiten Bild besteht und wobei eine Aufnahmeposition 7a des ersten Bilds relativ zu einer Aufnahmeposition 7b des zweiten Bilds verschoben und/oder verdreht ist; b) Drehen der Kameraanordnung 1 bezogen auf eine erste Drehachse 3 um ein Drehwinkelinkrement Δ von einer Drehwinkelposition 4a auf eine nächste Drehwinkelposition 4b; c) Wiederholen der Schritte a) und b) bis ein, vorzugsweise vorgebbarer, erster Drehwinkelbereich 6 überstrichen ist, um eine Abfolge von Aufnahmen vom mindestens einen Bilderpaar für die aufeinanderfolgenden Drehwinkelpositionen 4a, 4b, 4c,..., 4n zu erzeugen.
Vorzugsweise wird aus Speicherplatzgründen außerdem folgender Schritt vorgenommen: d) Generieren mindestens einer Video-Datei aus den Bildern der Abfolge, vorzugsweise einer ersten Video-Datei aus den ersten Bildern der Abfolge und einer zweiten Video-Datei aus den zweiten Bildern der Abfolge.
Hierdurch wird insbesondere die Wiedergabe einer Bewegungsparallaxe ermöglicht.
Zur Wiedergabe des so aufgenommenen Panoramabilds mittels eines stereoskopischen Wiedergabegeräts, wie z.B. mittels eines Head Mounted Display (nicht dargestellt), ist erfindungsgemäß ein computerimplementiertes Verfahren vorgesehen, das die folgenden Schritte umfasst: aa) Bestimmen eines Blickwinkels, unter dem das Panoramabild wiedergegeben werden soll; bb) Berechnen einer Darstellungsdrehwinkelposition, wobei die Darstellungsdrehwinkelposition jene Drehwinkelposition ist, welcher der Blickwinkel bezogen auf die erste Drehachse 3 entspricht; cc) Bestimmen jener Drehwinkelposition in der Abfolge, welche der Darstellungsdrehwinkelposition am nächsten kommt; dd) Verwendung des mindestens einen Bilderpaars dieser Drehwinkelposition für die Erstellung mindestens eines Darstellungsbilderpaars; ee) Wiedergeben des mindestens einen ersten Bilds des mindestens einen Darstellungsbilderpaars mittels einer ersten Anzeige des stereoskopischen Wiedergabegeräts und des mindestens einen zweiten Bilds des mindestens einen Darstellungsbilderpaars mittels einer zweiten Anzeige des stereoskopischen Wiedergabegeräts. Ein Benutzer sieht mit einem Auge die erste Anzeige des stereoskopischen Wiedergabegeräts und mit dem anderen Auge die zweite Anzeige. Bei Änderung des Blickwinkels, z.B. wenn sich der Benutzer dreht und die Drehung mittels Sensoren registriert wird oder wenn der Benutzer mittels eines Eingabegeräts einen anderen Blickwinkel wählt, wird die Bewegungsparallaxe voll wiedergegeben, was ein besonders wirklichkeitsnahes Betrachtungserlebnis für den Benutzer ergibt.
Im Ausführungsbeispiel der Fig. 1 umfasst die Kameraanordnung 1 eine Kamera 9.
Die Kameraanordnung 1 ist um die erste Drehachse 3, beispielsweise mittels eines Elektromotors (nicht dargestellt), drehbar. Die erste Drehachse 3 kann - muss aber natürlich nicht - parallel zur Vertikalen sein, sodass in diesem Falle der erste Drehwinkelbereich 6 ein horizontaler erster Drehwinkelbereich 6 ist.
Der erste Drehwinkelbereich 6 ist in Fig. 1 ca. 305° groß, kann aber prinzipiell auch bis inkl. 360° betragen.
Die Drehung erfolgt exzentrisch zur ersten Drehachse 3, d.h. die Kameraanordnung 1 weist einen ersten Abstand 5 größer null von der ersten Drehachse 3 auf. Beispielsweise kann der erste Abstand 5 im Bereich von 1 cm bis 100 cm, vorzugsweise von 5 cm bis 15 cm, liegen. Typischerweise wird der Abstand ähnlich zum Radius eines menschlichen Kopfes, z.B. ca. 8 cm, gewählt, um die Perspektive des Benutzers möglichst wirklichkeitsnah einfangen zu können. Es ist aber möglich, Aufnahmen so zu machen, dass diese wie aus der Sicht eines Zwergs oder eines Riesen wirken, wofür extremere Abstände gewählt werden, die in den oben angegebenen Bereichen liegen können.
In Fig. 1 ist die Kamera 9 mit durchgezogenen Linien an der Drehwinkelposition 4a gezeichnet, wobei die Drehwinkelposition 4a einer Drehwinkelanfangsposition entspricht. Die Drehwinkelposition 4n entspricht folglich einer Drehwinkelendposition, wobei sich der erste Drehwinkelbereich von der Drehwinkelanfangsposition bis zur
Drehwinkelendposition erstreckt. Bei den Drehwinkelpositionen 4b, 4c, ..., 4n ist die Kamera 9 nur strichliert angedeutet.
Das Drehwinkelinkrement Δ ist im Ausführungsbeispiel der Fig. 1 konstant gewählt und beträgt ca. 12,5°.
Bei jeder Drehwinkelposition 4a, ..., 4n wird eine Aufnahme gemacht. Um der voneinander beabstandeten Anordnung der menschlichen Augen Rechnung zu tragen, wird dabei das aufgenommene Bild bei jeder Drehwinkelposition 4a, ..., 4n in zwei Bildteile geteilt, die einander überlappen können.
Weiters werden zur Erzeugung des Bilderpaars an einer bestimmten Drehwinkelposition Bilder von Drehwinkelpositionen genommen, die vor und nach der bestimmten Drehwinkelposition kommen. Beispielsweise werden zur Erzeugung des Bilderpaars an der bestimmten Drehwinkelposition einerseits das Bild, welches bei zwei Drehwinkelpositionen zuvor aufgenommen ist, und andererseits das Bild, welches bei zwei Drehwinkelpositionen nachher aufgenommen ist, herangezogen. Vorzugsweise werden zur Erzeugung des Bilderpaars an der bestimmten Drehwinkelposition einerseits das Bild, welches bei der unmittelbar vorangehenden Drehwinkelpositionen aufgenommen ist, und andererseits das Bild, welches bei der unmittelbar darauffolgenden Drehwinkelpositionen aufgenommen ist, herangezogen.
Anhand von Fig. 1 kann dies folgendermaßen illustriert werden, wobei die beiden dicken Striche in der Kamera 9 die beiden Bildteile des jeweils aufgenommenen Bilds symbolisieren. Aus Darstellungsgründen sind die beiden dicken Striche voneinander beabstandet, es sei aber nochmals betont, dass sich die
Bildteile tatsächlich überlappen können und im Allgemeinen auch überlappen werden. Die Drehwinkelposition 4b sei die bestimmte Drehwinkelposition. Der eine (im dargestellten Beispiel rechte) Bildteil des Bilds, welches bei der Drehwinkelposition 4a unmittelbar vor der Drehwinkelposition 4b aufgenommen ist, ist das erste Bild des Bilderpaars zur Drehwinkelposition 4b. Die Aufnahmeposition 7a des ersten Bilds des Bilderpaars zur Drehwinkelposition 4b wird also durch die Kameraanordnung 1 bei der Drehwinkelposition 4a unmittelbar vor der Drehwinkelposition 4b festgelegt. Der andere (im dargestellten Beispiel linke) Bildteil des Bilds, welches bei der Drehwinkelposition 4c unmittelbar nach der Drehwinkelposition 4b aufgenommen ist, ist das zweite Bild des Bilderpaars zur Drehwinkelposition 4b. Die Aufnahmeposition 7b des zweiten Bilds des Bilderpaars zur Drehwinkelposition 4b wird also durch die Kameraanordnung bei der Drehwinkelposition 4c unmittelbar nach der Drehwinkelposition 4b festgelegt. Für die Erzeugung der weiteren Bilderpaare zu den weiteren Drehwinkelpositionen wird völlig analog vorgegangen.
Die Kamera 9 wird also durch Drehung der Kameraanordnung 1 um die erste Drehachse 3 gleichzeitig zwischen den Aufnahmepositionen 7a, 7b hin und her bewegt. Dies stellt daher eine technisch besonders einfach zu verwirklichende Lösung dar. Gemäß dem oben Gesagten ergibt sich dabei zwischen den Aufnahmepositionen 7a, 7b ein Drehwinkel α um die erste Drehachse 3, der das 1,5-fache des Drehwinkelinkrements Δ beträgt.
In der Kameraanordnung 1 ist die Kamera 9 weiters drehbar um eine zweite Drehachse 8 gelagert und kann um diese in an sich bekannter Weise gedreht werden, beispielsweise mit einem Elektromotor (nicht dargestellt). Die zweite Drehachse 8 steht im dargestellten Ausführungsbeispiel normal auf die erste Drehachse 3. Die zweite Drehachse 8 kann - muss aber natürlich nicht - parallel zur Horizontalen sein, sodass durch Drehung der Kameraanordnung 1 um die zweite Drehachse 8 ein Höhenwinkelbereich bzw. ein zweiter Drehwinkelbereich überstrichen wird, der typischerweise im Bereich von 45° bis 180° liegt.
Es sei bemerkt, dass der Höhenwinkelbereich auch durch Verwendung eines Fischaugenobjektivs abgedeckt werden könnte, um ggf. auf eine Drehung der Kameraanordnung 1 um die zweite Drehachse 8 verzichten zu können.
Konkret kann im dargestellten Ausführungsbeispiel die Aufnahme des Panoramabilds so erfolgen, dass bei mehreren zweiten Drehwinkelpositionen um die zweite Drehachse 8 jeweils die Abfolge von Bilderpaaren bzw. die erste und zweite Video-Datei aufgenommen werden, wie oben geschildert. Dabei wird bei jeder zweiten Drehwinkelposition der erste Drehwinkelbereich 6 vorzugsweise vollständig überstrichen. D.h. es werden bei einer bestimmten zweiten Drehwinkelposition die Bilderpaare bzw. Bilder an den Drehwinkelpositionen 4a, ..., 4n aufgenommen, anschließend erfolgt die Drehung um die zweite Drehachse 8 um ein zweites Drehwinkelinkrement, worauf wieder die Bilderpaare bzw. Bilder an den Drehwinkelpositionen 4a, ..., 4n aufgenommen werden und so fort. Das Panoramabild umfasst daher bei jeder zweiten Drehwinkelposition bzw. für jede zweite Drehwinkelposition eine Abfolge von Bilderpaaren bzw. eine erste und eine zweite Video-Datei. Für den Fall, dass das Panoramabild Aufnahmen bei mehr als einem Höhenwinkel bzw. bei mehr als einer zweiten Drehwinkelposition enthält, kann bei der Wiedergabe eine zweite Darstellungsdrehwinkelposition bestimmt werden, welcher der Blickwinkel bezogen auf die zweite Drehachse 8 entspricht. Sodann wird jene Abfolge bestimmt wird, die jener zweiten Drehwinkelposition zugeordnet werden kann, die der zweiten Darstellungsdrehwinkelposition am nächsten kommt. Die
Bilderpaare dieser Abfolge werden schließlich für die Erstellung des mindestens einen Darstellungsbilderpaars verwendet.
Fig. 2 zeigt eine weitere Ausführungsvariante der Kameraanordnung 1, wie sie bei der Durchführung eines erfindungsgemäßen computerimplementierten Verfahrens zur Erzeugung eines für eine stereoskopische Wiedergabe vorgesehenen Panoramabilds verwendet wird. Im Unterschied zu Fig. 1 weist die Kameraanordnung 1 in Fig. 2 eine erste Kamera 2a und eine zweite Kamera 2b auf, was eine besonders rasche Aufnahme des Panoramabilds gestattet. Die erste Kamera 2a und die zweite Kamera 2b sind auf einer linearen Halterung 10 montiert, sodass sie eine, vorzugsweise einstellbare, feste verschobene Anordnung zueinander haben. Typischerweise weisen die beiden Kameras 2a, 2b dabei einen Abstand 11 im Bereich von 1 cm bis 100 cm, vorzugsweise von 3 cm bis 16 cm zueinander auf. Typischerweise wird der Abstand ähnlich zum Abstand der menschlichen Augen, z.B. ca. 6,4 cm, gewählt, um die Perspektive des Benutzers möglichst wirklichkeitsnah einfangen zu können. Es ist aber möglich, Aufnahmen so zu machen, dass diese wie aus der Sicht eines Zwergs oder eines Riesen wirken, wofür extremere Abstände gewählt werden, die in den oben angegebenen Bereichen liegen können. Es sei bemerkt, dass es theoretisch auch denkbar wäre, dass die Kameras 2a, 2b außerdem relativ zueinander verdreht sein können.
Die erste Kamera 2a dient zur Aufnahme der ersten Bilder und befindet sich bei jeder Drehwinkelposition 4a, ..., 4n an der Aufnahmeposition 7a. Die zweite Kamera 2b dient zur Aufnahme der zweiten Bilder und befindet sich bei jeder Drehwinkelposition 4a, ..., 4n an der Aufnahmeposition 7b. Aufgrund der relativ zueinander verschobenen Anordnung der Kameras 2a, 2b sind die Aufnahmepositionen 7a, 7b relativ zueinander entsprechend verschoben. Aus der Abfolge von ersten Bildern, die mit der ersten Kamera 2a aufgenommen werden, und der Abfolge von zweiten Bildern, die mit der zweiten Kamera 2b aufgenommen werden, kann die Abfolge von Bilderpaaren erzeugt werden. Bzw. kann aus der Abfolge von ersten Bildern, die mit der ersten Kamera 2a aufgenommen werden, schließlich die erste Video-Datei erzeugt werden und aus der Abfolge von zweiten Bildern, die mit der zweiten Kamera 2b aufgenommen werden, die zweite Video-Datei.
Bei der Drehung um die erste Drehachse 3 werden die beiden Kameras 2a, 2b gemeinsam mit der linearen Halterung 10 gedreht. Die lineare Halterung 10 ist dabei im ersten Abstand 5 von der ersten Drehachse 3 angeordnet. Der erste Abstand 5 liegt im Ausführungsbeispiel der Fig. 2 ebenfalls im Bereich von 1 cm bis 100 cm, vorzugsweise von 5 cm bis 15 cm.
Der erste Drehwinkelbereich 6 beträgt in Fig. 2 360°, wobei die Kameraanordnung 1 nur bei der Drehwinkelposition 4b mit durchgezogenen Linien dargestellt und bei den Drehwinkelpositionen 4a, 4c mit strichlierten Linien angedeutet ist. Das Drehwinkelinkrement Δ ist in Fig. 2 sehr groß gewählt und beträgt ca. 39°.
Im Ausführungsbeispiel der Fig. 2 verläuft durch die lineare Halterung 10 die zweite Drehachse 8, welche auch in diesem Fall normal auf die erste Drehachse 3 steht. Dabei bildet die zweite Drehachse 8 - wie auch im Ausführungsbeispiel der Fig. 1 - bei jeder Drehwinkelposition 4a, ..., 4n eine Tangente an einen gedachten Kreis 12, dessen Radius der erste Abstand 5 ist und dessen Zentrum auf der ersten Drehachse 3 liegt. D.h. auch die Kameraanordnung 1 der Fig. 2 gestattet die Abdeckung des ersten Drehwinkelbereichs 6 um die erste Drehachse 3 sowie des zweiten Drehwinkelbereichs um die zweite Drehachse 8. Wie oben bereits beschrieben, wird bei der Aufnahme typischerweise so vorgegangen, dass bei jeder zweiten Drehwinkelposition der erste Drehwinkelbereich 6 vollständig überstrichen wird. D.h. es werden bei einer bestimmten zweiten Drehwinkelposition die Bilderpaare an den Drehwinkelpositionen 4a, 4n aufgenommen, anschließend erfolgt die Drehung um die zweite Drehachse 8 um ein zweites Drehwinkelinkrement, worauf wieder die Bilderpaare an den Drehwinkelpositionen 4a, ..., 4n aufgenommen werden und so fort. Das Panoramabild umfasst daher bei jeder zweiten Drehwinkelposition bzw. für jede zweite Drehwinkelposition eine Abfolge von Bilderpaaren bzw. eine erste und eine zweite Video-Datei, wobei jede erste Video-Datei mit der ersten Kamera 2a aufgenommen worden ist und jede zweite Video-Datei mit der zweiten Kamera 2b.
BEZUGSZEICHENLISTE I Kameraanordnung 2a Erste Kamera 2b Zweite Kamera 3 Erste Drehachse 4a, 4b, 4c, ..., 4n Drehwinkelposition 5 Erster Abstand 6 Erster Drehwinkelbereich 7a, 7b Aufnahmeposition des ersten/zweiten Bilds 8 Zweite Drehachse 9 Kamera 10 Lineare Halterung II Abstand zwischen der ersten und der zweiten Kamera 12 Gedachter Kreis Δ Drehwinkelinkrement CC Drehwinkel zwischen den Aufnahmepositionen des ersten und zweiten Bilds

Claims (16)

  1. ANSPRÜCHE
    1. Computerimplementiertes Verfahren zur Erzeugung eines für eine stereoskopische Wiedergabe vorgesehenen Panoramabilds, das Verfahren umfassend die folgenden Schritte: a) Aufnehmen mindestens eines Bilderpaars mit einer Kameraanordnung (1), wobei jedes Bilderpaar aus einem ersten Bild und einem zweiten Bild besteht und wobei eine Aufnahmeposition (7a) des ersten Bilds relativ zu einer Aufnahmeposition (7b) des zweiten Bilds verschoben und/oder verdreht ist; b) Drehen der Kameraanordnung (1) bezogen auf eine erste Drehachse (3) um ein Drehwinkelinkrement (Δ) von einer Drehwinkelposition (4a) auf eine nächste Drehwinkelposition (4b); c) Wiederholen der Schritte a) und b) bis ein, vorzugsweise vorgebbarer, erster Drehwinkelbereich (6) überstrichen ist, um eine Abfolge von Aufnahmen vom mindestens einen Bilderpaar für die aufeinanderfolgenden Drehwinkelpositionen (4a, 4b, 4c,..., 4n) zu erzeugen.
  2. 2. Computerimplementiertes Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren den folgenden weiteren Schritt umfasst: d) Generieren mindestens einer Video-Datei aus den Bildern der Abfolge, vorzugsweise einer ersten Video-Datei aus den ersten Bildern der Abfolge und einer zweiten Video-Datei aus den zweiten Bildern der Abfolge.
  3. 3. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass die Kameraanordnung (1) eine Kamera (9) umfasst, die zwischen der Aufnahmeposition (7a) des ersten Bilds und der Aufnahmeposition (7b) des zweiten Bilds hin und her bewegbar ist.
  4. 4. Computerimplementiertes Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Bewegung der Kamera (9) zwischen der Aufnahmeposition (7a) des ersten Bilds und der Aufnahmeposition (7b) des zweiten Bilds durch eine lineare Verschiebung erfolgt.
  5. 5. Computerimplementiertes Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Bewegung der Kamera (9) zwischen der Aufnahmeposition (7a) des ersten Bilds und der Aufnahmeposition (7b) des zweiten Bilds durch eine Drehung, vorzugsweise um die erste Drehachse (3), erfolgt.
  6. 6. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 2, dadurch gekennzeichnet, dass die Kameraanordnung (1) eine erste Kamera (2a) und eine relativ zu dieser verschobene und/oder verdrehte zweite Kamera (2b) umfasst, wobei das erste Bild mit der ersten Kamera (2a) aufgenommen wird und das zweite Bild mit der zweiten Kamera (2b).
  7. 7. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass für jede Drehwinkelposition (4a, 4b, 4c,..., 4n) genau ein Bilderpaar aufgenommen wird.
  8. 8. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Kameraanordnung (1) von der ersten Drehachse (3) einen ersten Abstand (5) aufweist.
  9. 9. Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Schritte a) bis c) wiederholt werden, nachdem die Kameraanordnung (1) um eine zweite Drehachse (8) gedreht worden ist, wobei die zweite Drehachse (8) mit der ersten Drehachse (3) einen Winkel ungleich null, vorzugsweise einen Winkel von 90°, einschließt.
  10. 10. Computerimplementiertes Verfahren zur stereoskopischen Wiedergabe eines mit einem computerimplementierten Verfahren nach einem der Ansprüche 1 bis 9 aufgenommen Panoramabilds mittels eines stereoskopischen Wiedergabegeräts, das Verfahren umfassend die folgenden Schritte: aa) Bestimmen eines Blickwinkels, unter dem das Panoramabild wiedergegeben werden soll; bb) Berechnen einer Darstellungsdrehwinkelposition, wobei die Darstellungsdrehwinkelposition jene Drehwinkelposition ist, welcher der Blickwinkel bezogen auf die erste Drehachse (3) entspricht; cc) Bestimmen jener Drehwinkelposition in der Abfolge, welche der Darstellungsdrehwinkelposition am nächsten kommt; dd) Verwendung des mindestens einen Bilderpaars dieser Drehwinkelposition für die Erstellung mindestens eines Darstellungsbilderpaars; ee) Wiedergeben des mindestens einen ersten Bilds des mindestens einen Darstellungsbilderpaars mittels einer ersten Anzeige des stereoskopischen Wiedergabegeräts und des mindestens einen zweiten Bilds des mindestens einen Darstellungsbilderpaars mittels einer zweiten Anzeige des stereoskopischen Wiedergabegeräts.
  11. 11. Computerimplementiertes Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass bei Schritt dd) das mindestens eine Bilderpaar dieser Drehwinkelposition als das mindestens eine Darstellungsbilderpaar übernommen wird.
  12. 12. Computerimplementiertes Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass bei Schritt dd) folgende Schritte durchgeführt werden: - Bestimmen einer Abweichung dieser Drehwinkelposition von der Darstellungsdrehwinkelposition; - falls die Abweichung größer als ein vorgebbarer Schwellwert ist: Berechnen des mindestens einen Darstellungsbilderpaars aus dem mindestens einen Bilderpaar jener Drehwinkelposition, die in der Abfolge unmittelbar vor der Darstellungsdrehwinkelposition liegt, und dem mindestens einen Bilderpaar jener Drehwinkelposition, die in der Abfolge unmittelbar nach der Darstellungsdrehwinkelposition liegt; andernfalls: Übernehmen des mindestens einen Bilderpaars dieser Drehwinkelposition als das mindestens eine Darstellungsbilderpaar.
  13. 13. Computerimplementiertes Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, dass die Bestimmung des Blickwinkels aufgrund einer mittels eines Eingabegeräts vorgenommenen Wahl erfolgt.
  14. 14. Computerimplementiertes Verfahren nach einem der Ansprüche 10 bis 13, dadurch gekennzeichnet, dass die Bestimmung des Blickwinkels aufgrund von Sensorsignalen erfolgt.
  15. 15. Computerimplementiertes Verfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass außerdem eine zweite Darstellungsdrehwinkelposition bestimmt wird, welcher der Blickwinkel bezogen auf die zweite Drehachse (8) entspricht, dass jene Abfolge bestimmt wird, die einer zweiten Drehwinkelposition bezogen auf die zweite Drehachse (8) zugeordnet werden kann, welche zweite Drehwinkelposition der zweiten Darstellungsdrehwinkelposition am nächsten kommt, und dass die Bilderpaare dieser Abfolge für die Erstellung des mindestens einen Darstellungsbilderpaars verwendet werden.
  16. 16. Computerimplementiertes Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass bei der Verwendung der Bilderpaare dieser Abfolge für die Erstellung des mindestens einen Darstellungsbilderpaars folgende Schritte vorgesehen sind: - Bestimmen einer Abweichung dieser zweiten Drehwinkelposition von der zweiten Darstellungsdrehwinkelposition; - falls die Abweichung größer als ein vorgebbarer zweiter Schwellwert ist: Berechnen des mindestens einen Darstellungsbilderpaars aus dem mindestens einen Bilderpaar der Abfolge bei jener zweiten Drehwinkelposition, die unmittelbar vor der zweiten Darstellungsdrehwinkelposition liegt, und dem mindestens einen Bilderpaar der Abfolge bei jener zweiten Drehwinkelposition, die unmittelbar nach der zweiten Darstellungsdrehwinkelposition liegt; andernfalls: Übernehmen der Bilderpaare der Abfolge bei dieser zweiten Drehwinkelposition für die Erstellung des mindestens einen Darstellungsbilderpaars.
ATA50701/2016A 2016-08-02 2016-08-02 Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe AT518256B1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
ATA50701/2016A AT518256B1 (de) 2016-08-02 2016-08-02 Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe
PCT/EP2017/068443 WO2018024503A1 (de) 2016-08-02 2017-07-21 Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ATA50701/2016A AT518256B1 (de) 2016-08-02 2016-08-02 Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe

Publications (2)

Publication Number Publication Date
AT518256A4 true AT518256A4 (de) 2017-09-15
AT518256B1 AT518256B1 (de) 2017-09-15

Family

ID=59564143

Family Applications (1)

Application Number Title Priority Date Filing Date
ATA50701/2016A AT518256B1 (de) 2016-08-02 2016-08-02 Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe

Country Status (2)

Country Link
AT (1) AT518256B1 (de)
WO (1) WO2018024503A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018202707A1 (de) * 2018-02-22 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung von Panoramabildern

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US20160088280A1 (en) * 2014-09-22 2016-03-24 Samsung Electronics Company, Ltd. Camera system for three-dimensional video

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US20160088280A1 (en) * 2014-09-22 2016-03-24 Samsung Electronics Company, Ltd. Camera system for three-dimensional video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018202707A1 (de) * 2018-02-22 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung von Panoramabildern

Also Published As

Publication number Publication date
WO2018024503A1 (de) 2018-02-08
AT518256B1 (de) 2017-09-15

Similar Documents

Publication Publication Date Title
WO2008061490A2 (de) Anordnung und verfahren zur aufnahme und wiedergabe von bildern einer szene und/oder eines objektes
DE69812591T2 (de) Autostereoskopische Anzeigevorrichtung
DE602004008794T2 (de) Bildwiedergabe mit interaktiver bewegungsparallaxe
AT394459B (de) Verfahren zum gewinnen von bildern zur verwendung beim darstellen eines dreidimensionalen scheinbildes und bildaufzeichnungstraeger, auf dem erste und zweite gruppen von serien derartiger bilder gespeichert sind
EP3427474B1 (de) Bildverarbeitungsverfahren, bildverarbeitungsmittel und bildverarbeitungsvorrichtung zur erzeugung von abbildungen eines teils eines dreidimensionalen raums
DE112016002377T5 (de) Streamen von sphärischem video
EP2027728A2 (de) Verfahren und vorrichtung zur pseudoholographischen bilderzeugung
DE202017104934U1 (de) Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme
DE4123895A1 (de) Verfahren zur autostereokopischen bild-, film- und fernsehwiedergabe
DE102013220477A1 (de) Verfahren zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung
DE112018004592T5 (de) Wiedergabevorrichtung und -verfahren und erzeugungsvorrichtung und -verfahren
AT518256B1 (de) Erzeugung eines für eine stereoskopische wiedergabe vorgesehenen panoramabilds und eine solche wiedergabe
EP3756339A2 (de) Erzeugung von panoramabildern
US20090147072A1 (en) Image Capture System for a Digital Holographic Printer
EP3831047A1 (de) Virtuelle dreidimensionale objekte in einem livevideo
EP3086554B1 (de) System und verfahren zur herstellung und abgabe stereoskopischer videofilme
EP1600008B1 (de) Verfahren zur komprimierten übertragung von bilddaten für eine 3-dimensionale darstellung von szenen und objekten
EP3139603A1 (de) System und verfahren zur herstellung und abgabe stereoskopischer videofilme
WO2020201571A1 (de) Verfahren zur immersiven anzeige von stereokopischen bildern und bildfolgen
DE10308810B4 (de) Verfahren zur komprimierten Übertragung von Bilddaten für eine 3-dimensionale Darstellung von Szenen und Objekten
EP1941745A1 (de) Verfahren und vorrichtung zur stereoskopischen aufnahme von objekten für eine dreidimensionale visualisierung
DE102017131083A1 (de) System und Verfahren zur Aufzeichnung und Visualisierung einer 3D-Szene in Echtzeit
EP2745521B1 (de) Filmaufnahmeverfahren, welches die herstellung von räumlich wirkenden szenerien ermöglicht
WO2002075656A1 (de) Verfahren und system zur erfassung und darstellung dreidimensionaler objekte
WO2013149614A1 (de) Verfahren zur bildaufzeichnung

Legal Events

Date Code Title Description
MM01 Lapse because of not paying annual fees

Effective date: 20230802